使用 Python 进行网页数据抓取：基础教程-Python教程-PHP中文网

使用 Python 进行网页数据抓取：基础教程

碧海醫心

发布： 2025-09-07 11:39:03

原创

725人浏览过

使用 python 进行网页数据抓取：基础教程

本文档旨在提供一个关于如何使用 Python 进行网页数据抓取的基础教程。我们将使用 requests 库获取网页内容，并使用 BeautifulSoup 库解析 HTML。本文将提供代码示例，并强调在进行网页抓取时需要注意的道德和法律问题，以及应对网站结构变化的方法。

网页抓取基础

网页抓取（Web scraping）是指从网站上自动提取数据的过程。Python 提供了强大的库来简化这个过程，其中最常用的是 requests 和 BeautifulSoup。requests 库用于发送 HTTP 请求并获取网页的 HTML 内容，而 BeautifulSoup 库则用于解析 HTML 并提取所需的信息。

安装必要的库

首先，需要安装 requests 和 BeautifulSoup4 库。可以使用 pip 命令进行安装：

pip install requests beautifulsoup4

登录后复制

基本的网页抓取示例

以下是一个简单的示例，展示了如何使用 requests 和 BeautifulSoup 抓取网页上的所有链接：

立即学习“Python免费学习笔记（深入）”；

import requests
from bs4 import BeautifulSoup

def scrape_website(url):
    """
    从指定 URL 抓取网页并提取所有链接。

    Args:
        url (str): 要抓取的网页 URL。
    """
    try:
        # 发送 GET 请求
        response = requests.get(url)

        # 检查请求是否成功
        if response.status_code == 200:
            # 使用 BeautifulSoup 解析 HTML
            soup = BeautifulSoup(response.text, 'html.parser')

            # 查找所有链接（<a> 标签）
            links = soup.find_all('a')

            # 打印所有链接的 href 属性
            for link in links:
                href = link.get('href')
                if href: # 确保 href 存在
                    print(href)
        else:
            print(f"Error: 无法获取页面。状态码: {response.status_code}")

    except requests.exceptions.RequestException as e:
        print(f"Error: 请求出错: {e}")
    except Exception as e:
        print(f"Error: 发生未知错误: {e}")


# 示例用法
url_to_scrape = 'https://example.com'
scrape_website(url_to_scrape)

登录后复制

代码解释:

3.8.6雷风影视CMS

雷风影视CMS是一款采用PHP基于THINKPHP3.2.3框架开发，适合各类视频、影视网站的影视内容管理程序，具有良好的用户体验，适合美工人员快速建立站点，您也可以根据您的需要进行应用扩展来达到更加强大功能，您可以在遵循协议的情况下完全免费的使用我们的程序。雷风影视CMS 3.8.6 更新日志：2018-08-19 1.修改影片添加地址按钮颜色； 2.增加影片采集更新数据选取功能；

234

查看详情

导入库: import requests 和 from bs4 import BeautifulSoup 导入必要的库。
scrape_website(url) 函数: 这个函数接受一个 URL 作为参数。
发送 GET 请求: response = requests.get(url) 发送一个 GET 请求到指定的 URL，并将响应存储在 response 变量中。
检查状态码: if response.status_code == 200: 检查响应的状态码是否为 200（表示成功）。
解析 HTML: soup = BeautifulSoup(response.text, 'html.parser') 使用 BeautifulSoup 解析 HTML 内容。'html.parser' 是一个常用的 HTML 解析器。
查找所有链接: links = soup.find_all('a') 查找所有 <a> 标签，这些标签通常表示链接。
打印链接: 循环遍历所有找到的链接，并使用 link.get('href') 获取链接的 href 属性（即链接的目标 URL）。
错误处理: 使用 try...except 块来捕获可能发生的异常，例如网络连接错误或解析错误。

更复杂的数据提取

除了提取链接，还可以使用 BeautifulSoup 提取其他类型的数据，例如文本、图片等。关键在于理解 HTML 结构，并使用 find() 或 find_all() 方法找到相应的元素。

例如，要提取网页上的所有段落文本：

import requests
from bs4 import BeautifulSoup

def extract_paragraphs(url):
    """
    从指定 URL 抓取网页并提取所有段落文本。

    Args:
        url (str): 要抓取的网页 URL。
    """
    try:
        response = requests.get(url)
        response.raise_for_status()  # 抛出 HTTPError 异常，如果状态码不是 200

        soup = BeautifulSoup(response.text, 'html.parser')
        paragraphs = soup.find_all('p')

        for p in paragraphs:
            print(p.text.strip())  # 打印段落文本，并去除首尾空格

    except requests.exceptions.RequestException as e:
        print(f"Error: 请求出错: {e}")
    except Exception as e:
        print(f"Error: 发生未知错误: {e}")

# 示例用法
url_to_scrape = 'https://example.com'
extract_paragraphs(url_to_scrape)

登录后复制

关键点:

response.raise_for_status(): 这是一个更简洁的错误处理方式，如果请求的状态码不是 200，它会抛出一个 HTTPError 异常。
p.text.strip(): p.text 属性获取段落的文本内容，strip() 方法去除字符串首尾的空格。

网页抓取的注意事项

robots.txt: 在抓取任何网站之前，请务必查看该网站的 robots.txt 文件。该文件位于网站的根目录下（例如：https://example.com/robots.txt），其中包含了网站所有者对爬虫的限制和建议。遵守 robots.txt 的规定是进行道德网页抓取的基本要求。
频率限制: 不要过于频繁地访问网站，以免给服务器带来过大的负担。可以在代码中添加适当的延迟（例如，使用 time.sleep() 函数）来控制抓取频率。
用户代理: 设置一个合理的用户代理（User-Agent）字符串，以便网站能够识别你的爬虫。有些网站会根据用户代理来限制或阻止爬虫的访问。
网站结构变化: 网站的结构可能会随时发生变化，因此需要定期检查和更新你的抓取代码。使用更稳定的选择器（例如，CSS 类名或 ID）可以减少代码的维护成本。
法律和道德问题: 在抓取数据时，请务必遵守相关的法律和法规，尊重网站的版权和隐私政策。不要抓取未经授权的敏感信息。