如何利用JavaScript进行数据抓取(Web Scraping)？

JavaScript可用于网页抓取，主要适用于动态内容。使用Puppeteer可控制无头浏览器执行JS并提取数据；对于静态页面，可用axios结合Cheerio解析HTML；需设置请求头、用户代理以应对反爬；抓取结果可保存为JSON或CSV，并通过node-cron定时运行任务。

JavaScript 可以用于网页数据抓取，但主要适用于动态内容较多的网站。由于浏览器能执行 JavaScript，很多现代网站依赖它加载数据，因此使用支持 JS 执行的工具是关键。

使用 Puppeteer 进行动态抓取

Puppeteer 是一个由 Google 开发的 Node.js 库，能控制无头（headless）Chrome 或 Chromium 浏览器，非常适合抓取通过 JavaScript 动态生成的内容。

基本步骤：

• 安装 Puppeteer：npm install puppeteer
• 启动浏览器并打开页面
• 等待目标元素加载完成
• 提取 DOM 中的数据
• 关闭浏览器

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');

  // 等待某个元素出现
  await page.waitForSelector('.item-title');

  // 在页面上下文中执行 JS 获取数据
  const titles = await page.evaluate(() => {
    return Array.from(document.querySelectorAll('.item-title')).map(el => el.textContent);
  });

  console.log(titles);
  await browser.close();
})();

使用 Cheerio 处理静态内容

如果目标网页不依赖 JavaScript 渲染，可以用 Node.js 的 axios + cheerio 组合快速抓取和解析 HTML。

立即学习“Java免费学习笔记（深入）”；

Cheerio 类似于 jQuery，能在服务器端操作 DOM 结构。

• 安装依赖：npm install axios cheerio
• 用 axios 获取 HTML 字符串
• 用 cheerio 加载并解析 HTML
• 选择元素并提取文本或属性

const axios = require('axios');
const cheerio = require('cheerio');

axios.get('https://example.com')
  .then(response => {
    const $ = cheerio.load(response.data);
    const items = [];
    $('.item').each((i, el) => {
      items.push($(el).find('h2').text());
    });
    console.log(items);
  })
  .catch(err => console.error(err));

处理反爬机制与请求头

很多网站会检测自动化行为。为提高成功率：

行者AI

行者AI绘图创作，唤醒新的灵感，创造更多可能

100

查看详情

• 设置真实用户代理（User-Agent）
• 添加 referer、accept-language 等常见请求头
• 控制请求频率，避免频繁访问
• 考虑使用代理 IP 池（高级场景）

在 Puppeteer 中可这样设置：

await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36');

定时任务与数据存储

抓取到的数据可以保存为 JSON、CSV 或写入数据库。

结合 Node.js 的 fs 模块写文件：

const fs = require('fs');
fs.writeFileSync('data.json', JSON.stringify(titles, null, 2));

若需定期运行，可用系统 cron 或 Node 的 node-cron 库安排任务。

基本上就这些。选对工具，看清目标网站结构，遵守 robots.txt 和服务条款，合理使用技术。

以上就是如何利用JavaScript进行数据抓取(Web Scraping)？的详细内容，更多请关注php中文网其它相关文章！