利用Requests库高效抓取TechCrunch动态加载文章：API分页教程

本教程详细阐述了如何在不使用selenium或beautifulsoup等浏览器自动化工具的情况下，通过python的requests库抓取techcrunch网站上动态加载的“隐藏”文章。核心方法是识别并利用网站后端的分页api，通过模拟api请求来获取多页文章数据，从而解决“加载更多”按钮限制的问题。文章将提供具体的代码示例和操作指南，帮助读者高效地获取所需文章信息。

引言：动态加载内容与传统爬取挑战

在现代网页中，许多网站为了提升用户体验，采用JavaScript动态加载内容。例如，点击“加载更多”按钮或滚动到页面底部时，新内容才会显示。对于传统的网页抓取工具（如仅基于HTML解析的BeautifulSoup），这些初始未加载的内容是“隐藏”的，无法直接获取。虽然Selenium等浏览器自动化工具可以模拟用户行为（如点击按钮），但它们通常资源消耗较大，且在某些受限环境中可能无法使用。

本文将介绍一种更高效、更轻量级的方法：直接与网站的后端API交互。当网站使用“加载更多”机制时，往往是通过向某个API端点发送请求来获取新数据，然后用JavaScript将这些数据渲染到页面上。只要我们能识别出这个API，就可以直接模拟这些请求来获取数据。

识别网站分页API

识别动态加载内容的API是解决问题的关键一步。这通常需要借助浏览器的开发者工具：

1. 打开目标网站： 访问 https://techcrunch.com/。
2. 打开开发者工具： 在Chrome、Firefox等浏览器中，右键点击页面任意位置，选择“检查”（Inspect）或按 F12 键。
3. 切换到“网络”（Network）选项卡： 这个选项卡会显示浏览器与服务器之间所有的网络请求。
4. 过滤请求类型： 为了更容易找到API请求，可以过滤请求类型，通常选择“XHR”（XMLHttpRequest）或“Fetch/XHR”，因为API请求多通过这两种方式发送。
5. 触发“加载更多”： 在网页上找到并点击“加载更多”（Load More）按钮。
6. 观察网络请求： 点击后，在开发者工具的“网络”选项卡中会看到新的请求出现。仔细查看这些请求的URL、请求方法（GET/POST）和响应内容。
   • 通常，你会发现一个URL中包含 page= 或 offset= 等参数，并且响应内容是JSON格式的数据。
   • 对于TechCrunch，通过观察可以发现一个形如 https://techcrunch.com/wp-json/tc/v1/magazine?page={page}&_embed=true&es=true&cachePrevention=0 的URL模式，其中 {page} 参数就是控制页码的关键。

Python实现：通过Requests库获取文章数据

一旦识别出API的URL模式，我们就可以使用Python的 requests 库来模拟这些请求并获取数据。

首先，确保你已经安装了 requests 库：

LuckyCola工具库

LuckyCola工具库是您工作学习的智能助手，提供一系列AI驱动的工具，旨在为您的生活带来便利与高效。

19

查看详情

pip install requests

接下来，编写Python代码来循环请求不同页码的数据：

import requests
import json # 用于美化输出，可选

# 定义API的基础URL模板
# 注意：{page} 是一个占位符，用于插入页码
api_url_template = "https://techcrunch.com/wp-json/tc/v1/magazine?page={page}&_embed=true&es=true&cachePrevention=0"

# 定义要抓取的页数。根据需要调整这个数字。
# 例如，抓取10页，每页可能包含20篇文章，总共200篇文章。
num_pages_to_fetch = 10 

all_articles_data = []

print(f"开始抓取TechCrunch文章，预计抓取 {num_pages_to_fetch} 页...")

for page_number in range(1, num_pages_to_fetch + 1):
    # 构建当前页的完整API URL
    current_page_url = api_url_template.format(page=page_number)

    try:
        print(f"正在请求第 {page_number} 页：{current_page_url}")
        # 发送GET请求到API端点
        response = requests.get(current_page_url)

        # 检查请求是否成功（状态码200）
        response.raise_for_status() 

        # 将JSON响应解析为Python列表或字典
        page_data = response.json()

        # 如果当前页没有数据，可能已经到达了末尾
        if not page_data:
            print(f"第 {page_number} 页没有数据，停止抓取。")
            break

        for article in page_data:
            # 提取文章标题
            title = article.get("title", {}).get("rendered", "无标题")
            # 提取文章链接
            link = article.get("link", "无链接")

            print(f"  - 标题: {title}")
            print(f"    链接: {link}")

            # 将提取到的文章数据添加到总列表中
            all_articles_data.append({
                "title": title,
                "link": link,
                # 可以根据API响应结构添加更多字段，例如摘要、作者等
                # "excerpt": article.get("excerpt", {}).get("rendered", ""),
                # "author_name": article.get("_embedded", {}).get("author", [{}])[0].get("name", "")
            })

    except requests.exceptions.RequestException as e:
        print(f"请求第 {page_number} 页时发生错误: {e}")
        # 可以选择跳过当前页继续下一页，或者在此处停止

print(f"\n抓取完成！共获取到 {len(all_articles_data)} 篇文章数据。")

# 可以将所有数据保存到JSON文件或进行进一步处理
# with open("techcrunch_articles.json", "w", encoding="utf-8") as f:
#     json.dump(all_articles_data, f, ensure_ascii=False, indent=4)
# print("所有文章数据已保存到 techcrunch_articles.json")

代码解释：

• api_url_template: 这是TechCrunch分页API的URL模板。{page} 是一个占位符，我们将使用 str.format() 方法在每次循环时替换为当前的页码。
• num_pages_to_fetch: 定义了你希望抓取的总页数。你可以根据需要获取的文章数量来调整这个值。
• requests.get(current_page_url): 发送HTTP GET请求到指定的API URL。
• response.raise_for_status(): 这是一个非常有用的方法，如果HTTP请求返回了错误状态码（如4xx或5xx），它会抛出一个 HTTPError 异常。
• response.json(): 将API响应的内容解析为Python字典或列表，因为API通常返回JSON格式的数据。
• article.get("title", {}).get("rendered", "无标题"): 从文章数据字典中安全地提取标题。使用 .get() 方法可以避免键不存在时引发 KeyError，并提供默认值。_embed=true 参数通常意味着API响应中会包含更多嵌入式数据，如完整的标题 (title"]["rendered"]) 和链接 (link)。

进一步的数据提取与处理

上述代码主要演示了如何获取文章的标题和链接。根据API响应的结构，你还可以提取更多信息：

• 文章摘要/内容预览： API响应中可能包含 excerpt 字段，其中有文章的简短摘要。
• 发布日期、作者： 查找 date、author 或 _embedded 字段，这些字段可能包含发布时间、作者名称等信息。
• 完整文章HTML内容： 如果你需要文章的完整HTML内容（而不是API提供的摘要），你需要使用从API中获取到的 link 字段，对每个文章链接再次发送 requests.get() 请求，然后使用BeautifulSoup等库解析返回的HTML。
• PDF获取： 获取文章的PDF版本通常更为复杂。网站通常不会直接提供PDF下载链接，可能需要将抓取到的HTML内容转换为PDF，这需要额外的库（如 weasyprint）或服务。

注意事项与最佳实践

1. 页数限制： 在实际应用中，你可能需要确定网站总共有多少页。如果没有明确的API参数指示总页数，你可以通过循环请求直到API返回空数据来判断。
2. 错误处理： 网络请求可能会失败（例如，网络中断、服务器错误）。在代码中加入 try-except 块来捕获 requests.exceptions.RequestException 是一个好习惯，可以提高程序的健壮性。
3. 遵守网站规则： 在进行任何网页抓取活动之前，务必查看网站的 robots.txt 文件（例如 https://techcrunch.com/robots.txt）和使用条款。遵守这些规则，避免对网站服务器造成不必要的负担。
4. 请求频率： 避免在短时间内发送大量请求，这可能导致你的IP被暂时或永久封禁。可以在每次请求之间添加 time.sleep() 来设置延时。
5. User-Agent： 有时网站会检查请求的 User-Agent 头。在 requests.get() 中添加 headers={'User-Agent': 'Your Custom User-Agent'} 可以模拟浏览器请求。
6. API变更： 网站的API结构可能会发生变化。如果你的抓取代码突然失效，请重新检查开发者工具，确认API端点或响应结构是否有所调整。

总结

通过直接与网站的API交互，我们可以绕过前端动态加载的限制，高效地获取大量结构化数据，而无需依赖资源密集型的浏览器自动化工具。这种方法不仅速度更快，而且对服务器的负担也更小（如果合理控制请求频率）。掌握如何识别和利用网站API是现代网页数据抓取中一项非常重要的技能。

以上就是利用Requests库高效抓取TechCrunch动态加载文章：API分页教程的详细内容，更多请关注php中文网其它相关文章！