JavaScript 本身不能直接爬虫，真正实现网页抓取的是 Node.js 环境下的 Puppeteer；它通过控制真实浏览器执行 JS、等待动态渲染后提取 DOM，适合抓取 React/Vue/Ajax 加载内容，并支持滚动加载、交互操作与请求拦截。
JavaScript 本身不能直接“爬虫”，因为它运行在浏览器中，受同源策略和安全限制，无法随意发起跨域请求或读取其他网站内容。真正能实现网页抓取的，是 Node.js 环境下的 JavaScript 工具，比如 Puppeteer —— 它是一个控制 Chrome 或 Chromium 的 Node 库，适合抓取动态渲染的网页（如 React、Vue、Ajax 加载内容）。
为什么 Puppeteer 适合抓取动态网页
传统 HTTP 请求库（如 axios、node-fetch）只能拿到服务器返回的原始 HTML，而很多现代网站初始 HTML 是空壳，真实内容由 JavaScript 在浏览器中异步加载。Puppeteer 启动真实浏览器实例，执行 JS、等待渲染完成，再提取 DOM，相当于“模拟真人操作”。
- 自动等待页面加载、JS 执行、网络请求完成
- 支持点击、输入、滚动、截图、生成 PDF 等交互操作
- 可拦截请求、修改响应、注入脚本，灵活度高
用 Puppeteer 抓取一个带滚动加载的列表页
例如抓取某电商网站的商品列表（内容随滚动懒加载）：
- 安装： npm install puppeteer
- 启动浏览器并打开页面：puppeteer.launch({ headless: true })（headless: false 可见调试）
- 用 page.goto() 访问目标 URL，并设置足够等待时间或监听网络空闲
- 滚动到底部触发懒加载：多次执行 page.evaluate(() => window.scrollTo(0, document.body.scrollHeight))，配合 page.waitForTimeout(1000)
- 等加载稳定后，用 page.$$eval() 提取所有商品标题、价格等结构化数据
注意事项与常见避坑点
Puppeteer 功能强，但易踩坑：
立即学习“Java免费学习笔记（深入）”；
- 默认启动的是精简版 Chromium，部分网站会检测并拒绝访问；可添加 --disable-blink-features=AutomationControlled 和隐藏 navigator.webdriver 来降低被识别概率
- 别依赖固定等待时长（waitForTimeout），优先用 waitForSelector、waitForFunction 等条件等待
- 记得关闭浏览器：browser.close()，否则进程残留、内存泄漏
- 遵守 robots.txt 和网站 Terms of Service，高频请求加合理延时，避免被封 IP
替代方案简要对比
不是所有场景都必须用 Puppeteer：
- 纯静态页面 → 直接用 axios + cheerio 更快更轻量
- 接口明确且有 API → 抓包找 XHR 请求，绕过前端直调后端接口（更稳定高效）
- 需要分布式/高并发 → 配合 Playwright（Puppeteer 多浏览器升级版）或搭配 Crawler 框架如 Crawl4AI
