Python爬取动态加载内容的电话号码：直击GraphQL API获取隐藏数据

本教程旨在解决使用python爬取网站上动态加载的隐藏电话号码问题。当传统html解析（如beautifulsoup）无法获取点击按钮后才显示的内容时，通常是因为数据通过javascript异步请求加载。我们将深入探讨如何利用浏览器开发者工具识别并模拟这些api请求（特别是graphql post请求），从而直接获取所需数据，避免复杂的浏览器自动化。

在现代网页开发中，许多内容并非在初始HTML加载时就全部呈现，而是通过JavaScript在用户交互（如点击按钮）后动态获取并填充到页面中。对于这类隐藏在交互背后的数据，仅仅使用像BeautifulSoup这样的HTML解析库去处理初始页面内容是远远不够的。本教程将指导您如何绕过前端交互，直接通过模拟API请求来获取这些动态加载的数据。

理解动态内容加载机制

当您在网页上点击一个按钮，而内容随之出现时，浏览器通常会向服务器发起一个异步请求（XHR或Fetch请求）。服务器响应的数据（通常是JSON格式）随后被JavaScript处理并插入到DOM中。这意味着，您在浏览器中看到的内容，可能并不是通过简单的requests.get()就能获取到的原始HTML所包含的。

要成功爬取这类数据，关键在于识别并复现浏览器发起的这个异步请求。

识别目标API请求

这是解决问题的核心步骤，需要借助浏览器的开发者工具：

立即学习“Python免费学习笔记（深入）”；

1. 打开目标网页： 在Chrome、Firefox等浏览器中打开您想要爬取数据的页面。
2. 打开开发者工具： 按F12或右键点击页面选择“检查”/“审查元素”，然后切换到“网络”（Network）选项卡。
3. 清除网络日志： 在“网络”选项卡中，通常有一个清除按钮（一个圆圈带斜杠的图标），点击它可以清空之前的网络请求记录，方便我们观察新的请求。
4. 模拟用户交互： 点击页面上显示隐藏内容的按钮（例如本例中的“التواصل”按钮）。
5. 观察网络请求： 在“网络”选项卡中，您会看到一系列新的请求。仔细查找那些响应类型为json或方法为POST的请求。
   • 筛选： 可以使用过滤器（例如输入graphql或json）来缩小范围。
   • 检查请求详情： 点击可疑的请求，查看其“标头”（Headers）、“负载”（Payload/Request Body）和“响应”（Response）选项卡。
     • URL： 记录请求的URL。
     • 方法： 确认是GET还是POST。对于动态内容，POST请求尤其常见，特别是针对GraphQL API。
     • 请求标头（Request Headers）： 至少需要复制User-Agent，有时还需要Content-Type、Referer等。
     • 请求负载（Request Payload）： 这是POST请求的主体，对于GraphQL请求，它通常包含query和variables字段，其中variables会包含像postId这样的动态参数。
     • 响应（Response）： 确认响应数据中是否包含您需要的信息（例如电话号码）。

在本例中，我们发现点击按钮后，浏览器向https://graphql.haraj.com.sa发起了一个POST请求，其负载包含一个GraphQL查询。

来画数字人直播

来画数字人自动化直播，无需请真人主播，即可实现24小时直播，无缝衔接各大直播平台。

0

查看详情

使用Python模拟API请求

一旦识别出API请求的URL、方法、头部和负载，我们就可以使用Python的requests库来模拟这个请求。

import requests
import sys

def get_phone_number_via_api(post_id: int) -> str:
    """
    通过模拟GraphQL API请求获取指定帖子的电话号码。

    Args:
        post_id: 帖子ID，通常可以从页面URL中提取。

    Returns:
        电话号码字符串，如果获取失败则返回空字符串。
    """
    url = "https://graphql.haraj.com.sa"

    # 查询字符串参数，本例中API比较宽松，可为空
    params = {
        "queryName": "postContact",
        "token": "",
        "clientId": "",
        "version": ""
    }

    # 请求头部，至少包含User-Agent以模拟浏览器
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36."
    }

    # POST请求的JSON负载，包含GraphQL查询和变量
    payload = {   
        "query": "query postContact($postId: Int!) {postContact(postId: $postId){contactText}}",
        "variables": {
            "postId": post_id  # 动态传入帖子ID
        }
    }

    try:
        # 发送POST请求，json参数会自动设置Content-Type为application/json
        response = requests.post(url, params=params, headers=headers, json=payload)
        response.raise_for_status()  # 检查HTTP请求是否成功（状态码200）

        # 解析JSON响应
        data = response.json()
        phone_number = data.get('data', {}).get('postContact', {}).get('contactText')

        if phone_number:
            return phone_number
        else:
            print(f"未能从响应中提取电话号码: {data}")
            return ""

    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        return ""
    except ValueError as e:
        print(f"JSON解析失败: {e}")
        return ""

def main():
    # 示例帖子ID，从URL https://haraj.com.sa/1194697687 中提取 94697687
    # 注意：原始URL中的 1194697687 经过观察，实际API请求中使用的 postId 是 94697687
    example_post_id = 94697687 

    print(f"正在获取帖子ID {example_post_id} 的电话号码...")
    phone_number = get_phone_number_via_api(example_post_id)

    if phone_number:
        print(f"获取到的电话号码是: {phone_number}")
    else:
        print("未能成功获取电话号码。")

    return 0

if __name__ == "__main__":
    sys.exit(main())

代码解释：

• requests.post(url, params=params, headers=headers, json=payload): 这是发送POST请求的关键。
  • url: GraphQL API的端点。
  • params: URL的查询字符串参数。在本例中，虽然提供了，但API似乎很宽松，即使为空也能工作。在其他场景下，这些参数可能至关重要。
  • headers: 请求头，User-Agent是模拟浏览器行为的最低要求，防止被网站屏蔽。
  • json: 用于发送JSON格式的请求体。requests库会自动设置Content-Type: application/json。对于GraphQL，payload通常包含query（GraphQL查询语句）和variables（查询中使用的动态参数）。
• response.raise_for_status(): 这是一个好习惯，它会在HTTP请求返回错误状态码（如4xx或5xx）时抛出requests.exceptions.HTTPError，方便错误处理。
• response.json(): 将API响应解析为Python字典。
• 数据提取： 使用get()方法安全地从嵌套字典中提取数据，避免KeyError。

运行结果

执行上述代码，您将获得类似以下的输出：

正在获取帖子ID 94697687 的电话号码...
获取到的电话号码是: 0562038953

这表明我们成功地通过直接调用API获取了隐藏的电话号码。

注意事项与总结

1. BeautifulSoup的定位： BeautifulSoup仍然是解析静态HTML的强大工具。对于动态加载的内容，它在获取初始页面结构后就无能为力了。
2. Selenium的适用场景： 如果网站的反爬机制非常复杂，或者需要模拟更复杂的浏览器交互（如拖拽验证码、复杂的JS事件监听），Selenium等自动化测试工具可能是必要的。但对于本例，直接API调用更高效、资源消耗更少。
3. API稳定性： 直接调用API意味着您依赖于目标网站的API结构。如果API发生变化，您的爬虫可能会失效。
4. 道德与法律： 在进行任何网络爬取活动时，请务必遵守网站的robots.txt文件、服务条款以及当地的法律法规。避免对网站造成过大负担。
5. 错误处理： 在实际项目中，务必加入健壮的错误处理机制，例如重试逻辑、日志记录等。
6. postId的提取： 在本例中，postId 94697687是从原始URL https://haraj.com.sa/1194697687中观察到的。通常，您需要编写代码从页面的URL或其他元素中动态提取这个ID。

通过本教程，您应该掌握了如何通过分析网络请求并直接调用API来爬取动态加载内容的技巧。这种方法对于许多现代网站上的隐藏数据（如电话号码、商品价格、用户评论等）都非常有效。

以上就是Python爬取动态加载内容的电话号码：直击GraphQL API获取隐藏数据的详细内容，更多请关注php中文网其它相关文章！