node.js 实现爬虫程序的核心在于利用其非阻塞 i/o 特性高效处理并发请求。1. 使用 axios 或 node-fetch 发起 http 请求，获取 html 内容；2. 利用 cheerio 或 jsdom 解析 html，提取所需数据；3. 采用 async/await 处理异步逻辑，提升代码可读性；4. 借助 p-queue 等库控制并发数量，减轻服务器压力；5. 设置 user-agent、使用代理 ip、添加请求头、延迟请求以应对反爬机制；6. 将数据存储至数据库或文件；7. 对于 javascript 渲染页面，使用 puppeteer 或 playwright 模拟浏览器行为获取完整内容；8. 遵守 robots.txt 协议、控制频率、设置请求头、使用代理、处理验证码以避免被封禁。整个过程需遵循法律法规，确保合法合规。
Node.js 实现爬虫程序，核心在于利用其非阻塞 I/O 特性，高效地并发处理多个网络请求。简单来说，就是用 Node.js 发起 HTTP 请求，解析 HTML，提取数据，然后循环这个过程。
解决方案
-
选择合适的 HTTP 客户端库： Node.js 内置了
http和https模块，但更常用的是第三方库，例如axios或node-fetch。axios提供了更简洁的 API，支持 Promise，方便处理异步操作。node-fetch则更接近浏览器端的fetchAPI，如果熟悉前端开发，上手会更快。// 使用 axios 示例 const axios = require('axios'); axios.get('https://example.com') .then(response => { console.log(response.data); // HTML 内容 }) .catch(error => { console.log(error); }); -
解析 HTML： 获取到 HTML 内容后，需要解析它。常用的 HTML 解析库有
cheerio和jsdom。cheerio类似于 jQuery，可以在 Node.js 环境中使用 jQuery 的语法操作 DOM。jsdom则提供了一个完整的 DOM 环境，更接近浏览器环境，但性能相对较差。
// 使用 cheerio 示例 const cheerio = require('cheerio'); axios.get('https://example.com') .then(response => { const $ = cheerio.load(response.data); // 提取标题 const title = $('title').text(); console.log(title); }) .catch(error => { console.log(error); }); -
处理异步请求： 爬虫程序通常需要并发发起多个请求。Node.js 的异步特性非常适合处理这种情况。可以使用
async/await语法，让异步代码更易于阅读和维护。// 使用 async/await 示例 async function scrapeData() { try { const response = await axios.get('https://example.com'); const $ = cheerio.load(response.data); const title = $('title').text(); console.log(title); } catch (error) { console.log(error); } } scrapeData(); -
控制并发： 为了避免对目标网站造成过大的压力，需要控制并发请求的数量。可以使用
p-queue或async等库来实现并发控制。// 使用 p-queue 示例 const PQueue = require('p-queue'); const queue = new PQueue({ concurrency: 5 }); // 限制并发数为 5 async function scrapeData(url) { try { const response = await axios.get(url); const $ = cheerio.load(response.data); const title = $('title').text(); console.log(`Title of ${url}: ${title}`); } catch (error) { console.log(`Error scraping ${url}: ${error}`); } } const urls = ['https://example.com', 'https://www.google.com', 'https://www.baidu.com']; urls.forEach(url => { queue.add(() => scrapeData(url)); }); -
处理反爬机制： 很多网站都有反爬机制，例如限制 IP 访问频率、使用验证码等。可以采取以下措施来应对：
- 设置 User-Agent： 模拟浏览器发送请求，避免被识别为爬虫。
- 使用代理 IP： 轮换使用不同的 IP 地址，避免 IP 被封禁。
- 设置请求头： 添加 Referer、Cookie 等请求头，模拟真实用户的行为。
- 延迟请求： 控制请求频率，避免对服务器造成过大的压力。
数据存储： 爬取到的数据可以存储到数据库（例如 MongoDB、MySQL）或文件中（例如 CSV、JSON）。
如何选择合适的 Node.js 爬虫库？
选择爬虫库时，要考虑以下几个因素：
- 易用性： API 是否简洁易懂，文档是否完善。
- 性能： 解析速度是否快，内存占用是否低。
- 功能： 是否支持并发控制、代理 IP、反爬机制等。
- 社区支持： 是否有活跃的社区，是否容易找到解决方案。
通常，axios + cheerio 是一个不错的选择，适用于大多数简单的爬虫任务。如果需要更强大的功能，可以考虑使用 puppeteer 或 playwright，它们可以模拟浏览器行为，处理 JavaScript 渲染的页面。
爬虫程序如何处理 JavaScript 渲染的页面？
有些网站的内容是通过 JavaScript 动态渲染的，直接获取 HTML 源代码无法获取到完整的数据。这时，需要使用 puppeteer 或 playwright 等库来模拟浏览器行为，执行 JavaScript 代码，获取渲染后的 HTML 内容。
puppeteer 是 Google Chrome 团队维护的 Node.js 库，可以控制 headless Chrome 或 Chromium 浏览器。playwright 是 Microsoft 维护的 Node.js 库，支持 Chrome、Firefox、Safari 等多个浏览器。
// 使用 puppeteer 示例
const puppeteer = require('puppeteer');
async function scrapeData() {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
// 等待页面加载完成
await page.waitForSelector('title');
const title = await page.$eval('title', el => el.textContent);
console.log(title);
await browser.close();
}
scrapeData();如何避免爬虫程序被网站封禁？
- 尊重 robots.txt 协议： robots.txt 文件定义了网站允许哪些爬虫访问哪些页面。
- 控制请求频率： 避免对服务器造成过大的压力。
- 设置 User-Agent： 模拟浏览器发送请求。
- 使用代理 IP： 轮换使用不同的 IP 地址。
- 处理验证码： 可以使用第三方验证码识别服务。
- 监控爬虫程序的行为： 及时发现并解决问题。
需要注意的是，爬虫程序的编写需要遵守法律法规和道德规范，不得用于非法用途。
