Python爬虫如何处理分页数据_Python爬虫抓取分页网页内容的完整流程-Python教程-PHP中文网

Python爬虫如何处理分页数据_Python爬虫抓取分页网页内容的完整流程

雪夜

发布： 2025-11-09 07:15:08

原创

872人浏览过

首先分析分页结构，确定是URL参数翻页还是AJAX动态加载；接着构造对应请求循环抓取，静态页通过修改页码参数，动态内容则调用API接口获取JSON；利用“下一页”链接或总页数信息判断终止条件；最后通过设置请求头、添加延迟等反爬策略确保稳定采集。

python爬虫如何处理分页数据_python爬虫抓取分页网页内容的完整流程

爬取分页数据是Python网络爬虫中的常见需求，尤其在抓取列表类网页（如新闻列表、商品页、搜索结果）时尤为关键。要完整获取所有页面的数据，必须识别分页结构、构造请求并循环抓取。以下是处理分页数据的实用流程。

分析分页结构

开始前先观察目标网站的分页机制。常见的分页方式有两种：

URL参数翻页：页码通过URL中的参数传递，例如：https://example.com/page=2 或 https://example.com/?p=3
AJAX动态加载：点击“下一页”时页面不刷新，内容通过JavaScript异步加载，通常需要抓包分析接口请求

使用浏览器开发者工具（F12）查看网络请求，确认数据来源是HTML直出还是API接口返回JSON。

构造请求并循环抓取

若为静态分页，可通过修改URL中的页码参数发起请求。示例代码如下：

立即学习“Python免费学习笔记（深入）”；

import requests
from bs4 import BeautifulSoup
<p>base_url = "<a href="https://www.php.cn/link/0acecb86d3b3fab2fea045403bedfb1f">https://www.php.cn/link/0acecb86d3b3fab2fea045403bedfb1f</a>={}"
headers = {
"User-Agent": "Mozilla/5.0"
}</p><p>for page in range(1, 6):  # 抓取前5页
url = base_url.format(page)
response = requests.get(url, headers=headers)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('.news-item')  # 根据实际选择器调整
for item in items:
title = item.select_one('h2').get_text(strip=True)
link = item.select_one('a')['href']
print(title, link)

登录后复制

若为AJAX接口，需定位XHR请求地址，直接请求返回JSON数据：

如此AI写作

AI驱动的内容营销平台，提供一站式的AI智能写作、管理和分发数字化工具。

137

查看详情

api_url = "https://example.com/api/news?page={}"
for page in range(1, 6):
    response = requests.get(api_url.format(page), headers=headers)
    data = response.json()
    for item in data['results']:
        print(item['title'], item['url'])

登录后复制

自动检测最大页数或终止条件

有时不知道总页数，可通过以下方式判断是否结束：

解析当前页的“下一页”按钮是否存在
检查响应内容是否为空或返回错误码
从第一页提取总页数信息（如“共87条，每页10条”可推算出9页）

示例：基于“下一页”链接判断是否继续

url = "https://example.com/news"
while url:
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    parse_items(soup)  # 解析当前页数据
<pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">next_link = soup.select_one('a:contains("下一页")')
url = next_link['href'] if next_link else None
if url and not url.startswith('http'):
    url = "https://example.com" + url

登录后复制