JavaScript可用于网页抓取，主要适用于动态内容。使用Puppeteer可控制无头浏览器执行JS并提取数据；对于静态页面，可用axios结合Cheerio解析HTML；需设置请求头、用户代理以应对反爬；抓取结果可保存为JSON或CSV，并通过node-cron定时运行任务。
JavaScript 可以用于网页数据抓取，但主要适用于动态内容较多的网站。由于浏览器能执行 JavaScript，很多现代网站依赖它加载数据，因此使用支持 JS 执行的工具是关键。
使用 Puppeteer 进行动态抓取
Puppeteer 是一个由 Google 开发的 Node.js 库，能控制无头（headless）Chrome 或 Chromium 浏览器，非常适合抓取通过 JavaScript 动态生成的内容。
基本步骤：
- 安装 Puppeteer：npm install puppeteer
- 启动浏览器并打开页面
- 等待目标元素加载完成
- 提取 DOM 中的数据
- 关闭浏览器
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
// 等待某个元素出现
await page.waitForSelector('.item-title');
// 在页面上下文中执行 JS 获取数据
const titles = await page.evaluate(() => {
return Array.from(document.querySelectorAll('.item-title')).map(el => el.textContent);
});
console.log(titles);
await browser.close();
})();
使用 Cheerio 处理静态内容
如果目标网页不依赖 JavaScript 渲染，可以用 Node.js 的 axios + cheerio 组合快速抓取和解析 HTML。
立即学习“Java免费学习笔记（深入）”；
Cheerio 类似于 jQuery，能在服务器端操作 DOM 结构。
- 安装依赖：npm install axios cheerio
- 用 axios 获取 HTML 字符串
- 用 cheerio 加载并解析 HTML
- 选择元素并提取文本或属性
const axios = require('axios');
const cheerio = require('cheerio');
axios.get('https://example.com')
.then(response => {
const $ = cheerio.load(response.data);
const items = [];
$('.item').each((i, el) => {
items.push($(el).find('h2').text());
});
console.log(items);
})
.catch(err => console.error(err));
处理反爬机制与请求头
很多网站会检测自动化行为。为提高成功率：
- 设置真实用户代理（User-Agent）
- 添加 referer、accept-language 等常见请求头
- 控制请求频率，避免频繁访问
- 考虑使用代理 IP 池（高级场景）
在 Puppeteer 中可这样设置：
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36');
定时任务与数据存储
抓取到的数据可以保存为 JSON、CSV 或写入数据库。
结合 Node.js 的 fs 模块写文件：
const fs = require('fs');
fs.writeFileSync('data.json', JSON.stringify(titles, null, 2));
若需定期运行，可用系统 cron 或 Node 的 node-cron 库安排任务。
基本上就这些。选对工具，看清目标网站结构，遵守 robots.txt 和服务条款，合理使用技术。
