如何利用 JavaScript 实现一个支持并发请求的简单爬虫程序？-js教程-PHP中文网

如何利用 JavaScript 实现一个支持并发请求的简单爬虫程序？

紅蓮之龍

发布： 2025-09-29 12:16:02

原创

1001人浏览过

答案：通过控制并发数的异步爬虫可避免服务器压力过大。使用async/await结合Promise实现并发池，限制同时请求的数量，完成一个再发起下一个；配合错误重试、随机延迟和User-Agent设置，提升稳定性；Node.js环境下推荐axios进行请求管理，确保爬虫高效且友好。

如何利用 javascript 实现一个支持并发请求的简单爬虫程序？

实现一个支持并发请求的简单爬虫程序，核心是使用 JavaScript 的异步能力（如 fetch 或 axios）结合控制并发数的机制，避免一次性发起太多请求导致目标服务器压力过大或被封禁。

1. 基本思路：控制并发请求数量

直接用 Promise.all 可能会同时发起所有请求，不适合大量目标。更好的方式是使用“并发池”策略：限制同时进行的请求数量，完成一个再加入下一个。

以下是一个基于 async/await 和 Promise 实现的并发控制示例：

PatentPal专利申请写作

AI软件来为专利申请自动生成内容

查看详情

立即学习“Java免费学习笔记（深入）”；

async function concurrentCrawler(urls, maxConcurrency = 5) {
  const results = [];
  let currentIndex = 0;
<p>async function fetchNext() {
const index = currentIndex++;
if (index >= urls.length) return null;</p><pre class='brush:php;toolbar:false;'>const url = urls[index];
try {
  const response = await fetch(url, {
    timeout: 5000 // Node.js 需要额外处理超时，浏览器中可忽略
  });
  const html = await response.text();
  results[index] = { url, success: true, data: html };
} catch (error) {
  results[index] = { url, success: false, error: error.message };
}

// 继续下一个请求
return fetchNext();

登录后复制

}

// 启动 maxConcurrency 个并发任务 const activePromises = []; for (let i = 0; i < maxConcurrency; i++) { activePromises.push(fetchNext()); }

// 等待所有任务完成 await Promise.all(activePromises); return results; }

2. 使用示例

假设你要抓取多个页面内容：

立即学习“Java免费学习笔记（深入）”；

const urls = [
  'https://httpbin.org/delay/1',
  'https://httpbin.org/delay/2',
  'https://httpbin.org/status/200',
  // 更多 URL...
];
<p>concurrentCrawler(urls, 3).then(results => {
results.forEach(r => {
if (r.success) {
console.log(<code>✅ ${r.url} - 获取成功，内容长度: ${r.data.length}</code>);
} else {
console.log(<code>❌ ${r.url} - 失败: ${r.error}</code>);
}
});
});</p>

登录后复制

3. 注意事项与优化建议

实际使用中还需考虑以下几点：

请求头设置：添加 User-Agent，模拟正常浏览器行为，避免被拦截
错误重试机制：对失败请求可增加重试次数
延时控制：在每次请求后加随机延迟（如 await new Promise(r => setTimeout(r, Math.random() * 1000))），降低被封风险
HTML 解析：在 Node.js 中可用 cheerio 解析 HTML 内容
运行环境：浏览器端受限于 CORS，通常爬虫更适合在 Node.js 中运行（配合 axios 或 node-fetch）

4. Node.js 版本 + Axios 示例（推荐用于真实项目）

在 Node.js 中使用 axios 更灵活，支持超时、重试等配置：

立即学习“Java免费学习笔记（深入）”；

const axios = require('axios');
<p>async function nodeConcurrentCrawler(urls, maxConcurrency = 3) {
const results = [];
let currentIndex = 0;</p><p>const fetchUrl = async () => {
while (currentIndex < urls.length) {
const index = currentIndex++;
const url = urls[index];</p><pre class='brush:php;toolbar:false;'>  try {
    const response = await axios.get(url, {
      timeout: 8000,
      headers: {
        'User-Agent': 'Mozilla/5.0 (compatible; Mini Crawler)'
      }
    });
    results[index] = { url, success: true, status: response.status, data: response.data };
  } catch (error) {
    results[index] = { url, success: false, error: error.message };
  }

  // 每次请求后随机延迟
  await new Promise(r => setTimeout(r, Math.random() * 1000));
}

登录后复制

};

// 创建并发任务 const promises = Array(maxConcurrency).fill().map(fetchUrl); await Promise.all(promises); return results; }

基本上就这些。通过控制并发数量 + 错误处理 + 请求间隔，就能写出一个简单但稳定的并发爬虫。关键是不要贪快，尊重服务器承载能力。

以上就是如何利用 JavaScript 实现一个支持并发请求的简单爬虫程序？的详细内容，更多请关注php中文网其它相关文章！