答案：通过控制并发数的异步爬虫可避免服务器压力过大。使用async/await结合Promise实现并发池，限制同时请求的数量，完成一个再发起下一个；配合错误重试、随机延迟和User-Agent设置，提升稳定性；Node.js环境下推荐axios进行请求管理，确保爬虫高效且友好。
实现一个支持并发请求的简单爬虫程序，核心是使用 JavaScript 的异步能力（如 fetch 或 axios）结合控制并发数的机制，避免一次性发起太多请求导致目标服务器压力过大或被封禁。
1. 基本思路：控制并发请求数量
直接用 Promise.all 可能会同时发起所有请求，不适合大量目标。更好的方式是使用“并发池”策略：限制同时进行的请求数量，完成一个再加入下一个。
以下是一个基于 async/await 和 Promise 实现的并发控制示例：
立即学习“Java免费学习笔记（深入）”；
async function concurrentCrawler(urls, maxConcurrency = 5) {
const results = [];
let currentIndex = 0;
async function fetchNext() {
const index = currentIndex++;
if (index >= urls.length) return null;
const url = urls[index];
try {
const response = await fetch(url, {
timeout: 5000 // Node.js 需要额外处理超时，浏览器中可忽略
});
const html = await response.text();
results[index] = { url, success: true, data: html };
} catch (error) {
results[index] = { url, success: false, error: error.message };
}
// 继续下一个请求
return fetchNext();}
// 启动 maxConcurrency 个并发任务
const activePromises = [];
for (let i = 0; i
// 等待所有任务完成
await Promise.all(activePromises);
return results;
}
2. 使用示例
假设你要抓取多个页面内容：
立即学习“Java免费学习笔记（深入）”；
const urls = [
'https://httpbin.org/delay/1',
'https://httpbin.org/delay/2',
'https://httpbin.org/status/200',
// 更多 URL...
];
concurrentCrawler(urls, 3).then(results => {
results.forEach(r => {
if (r.success) {
console.log(✅ ${r.url} - 获取成功，内容长度: ${r.data.length});
} else {
console.log(❌ ${r.url} - 失败: ${r.error});
}
});
});
3. 注意事项与优化建议
实际使用中还需考虑以下几点：
- 请求头设置：添加 User-Agent，模拟正常浏览器行为，避免被拦截
- 错误重试机制：对失败请求可增加重试次数
-
延时控制：在每次请求后加随机延迟（如
await new Promise(r => setTimeout(r, Math.random() * 1000))），降低被封风险 - HTML 解析：在 Node.js 中可用 cheerio 解析 HTML 内容
- 运行环境：浏览器端受限于 CORS，通常爬虫更适合在 Node.js 中运行（配合 axios 或 node-fetch）
4. Node.js 版本 + Axios 示例（推荐用于真实项目）
在 Node.js 中使用 axios 更灵活，支持超时、重试等配置：
立即学习“Java免费学习笔记（深入）”；
const axios = require('axios');
async function nodeConcurrentCrawler(urls, maxConcurrency = 3) {
const results = [];
let currentIndex = 0;
const fetchUrl = async () => {
while (currentIndex < urls.length) {
const index = currentIndex++;
const url = urls[index];
try {
const response = await axios.get(url, {
timeout: 8000,
headers: {
'User-Agent': 'Mozilla/5.0 (compatible; Mini Crawler)'
}
});
results[index] = { url, success: true, status: response.status, data: response.data };
} catch (error) {
results[index] = { url, success: false, error: error.message };
}
// 每次请求后随机延迟
await new Promise(r => setTimeout(r, Math.random() * 1000));
}};
// 创建并发任务
const promises = Array(maxConcurrency).fill().map(fetchUrl);
await Promise.all(promises);
return results;
}
基本上就这些。通过控制并发数量 + 错误处理 + 请求间隔，就能写出一个简单但稳定的并发爬虫。关键是不要贪快，尊重服务器承载能力。
