Python爬虫怎样使用正则表达式_Python爬虫利用re模块提取数据的实用技巧-Python教程-PHP中文网

Python爬虫怎样使用正则表达式_Python爬虫利用re模块提取数据的实用技巧

絕刀狂花

发布： 2025-11-09 14:34:02

原创

910人浏览过

正则表达式是Python爬虫中提取网页关键信息的高效工具，适用于手机号、邮箱、URL等数据匹配。1. 使用\re模块基本语法可快速定位文本模式，如\d{11}匹配手机号，\w+匹配字母数字；2. 提取HTML内容时，通过src=["'](1+.jpg)等模式抓取图片链接，结合非捕获分组提升效率；3. 贪婪匹配.会导致跨标签错误，应使用.?实现非贪婪匹配，并利用分组提取多字段信息；4. 处理含换行的HTML需添加re.DOTALL标志，使.匹配换行符，确保多行内容正确提取。合理运用正则可显著提升爬虫解析效率。"' ↩

python爬虫怎样使用正则表达式_python爬虫利用re模块提取数据的实用技巧

在Python爬虫开发中，提取网页中的关键信息是核心任务之一。虽然有BeautifulSoup、lxml等解析工具，但面对结构不规范或只需提取简单内容时，正则表达式（re模块）依然是高效且灵活的选择。掌握re模块的使用技巧，能让你快速定位并提取所需数据。

1. 基本语法：匹配常见数据格式

正则表达式通过特定模式描述文本规则。在爬虫中常用于提取手机号、邮箱、URL、价格、标题等信息。

常用元字符与示例：

\d 匹配数字 —— 如 \d{11} 可匹配11位手机号
\w 匹配字母、数字、下划线
. 匹配任意字符（除换行符）
* 零次或多次重复
+ 一次或多次重复
? 非贪婪匹配
[] 字符集合，如 [0-9a-f]

示例：提取邮箱地址

立即学习“Python免费学习笔记（深入）”；

import re
text = "联系我：admin@example.com 或 support@site.org"
emails = re.findall(r'[\w\.-]+@[\w\.-]+\.\w+', text)
print(emails) # 输出: ['admin@example.com', 'support@site.org']

2. 提取HTML中的关键信息

网页源码通常包含大量HTML标签，使用正则可绕过解析树直接抓取内容。

注意：避免过度依赖正则处理复杂HTML，但对于简单提取非常高效。

示例：提取所有图片链接

html = '''<img src="http://example.com/1.jpg" alt="first">
<img src="http://example.com/2.png" alt="second">'''
imgs = re.findall(r'src=["\'](https?://[^"\']+\.(?:jpg|png|gif))["\']', html)
print(imgs) # 输出: ['http://example.com/1.jpg', 'http://example.com/2.png']

说明：
- 使用非捕获分组 (?:...) 提升效率
- [^"\']+ 表示不包含引号的内容，防止跨标签匹配

3. 非贪婪匹配与分组提取

默认情况下，.* 是贪婪匹配，会尽可能多地匹配内容。在提取HTML标签内容时容易出错。

AppMall应用商店

AI应用商店，提供即时交付、按需付费的人工智能应用服务

查看详情

解决方案：使用 .*? 实现非贪婪匹配。

示例：提取标题内容

html = "<h2>这是标题1</h2><h2>这是标题2</h2>"
titles = re.findall(r'<h2>(.*?)</h2>', html)
print(titles) # 输出: ['这是标题1', '这是标题2']

若写成 <h2>(.*)</h2>，会匹配从第一个开始到最后一个结束的全部内容，结果错误。

使用分组提取多字段：

html = '<a href="link1.html">新闻1</a><a href="link2.html">新闻2</a>'
results = re.findall(r'<a href="([^"]+)">([^<]+)</a>', html)
print(results) # 输出: [('link1.html', '新闻1'), ('link2.html', '新闻2')]

4. 处理换行与多行模式

网页源码通常包含换行和缩进，普通模式下 . 不匹配换行符，导致匹配失败。

解决方法：使用 re.DOTALL 标志让 . 匹配包括换行在内的所有字符。

html = '''
<div class="desc">
这是第一段描述
还有第二行
</div>'''
desc = re.search(r'<div class="desc">(.*?)</div>', html, re.DOTALL)
if desc:
print(desc.group(1).strip()) # 输出多行文本

也可使用 re.MULTILINE 配合 ^ 和 $ 处理多行开头结尾。

基本上就这些。合理使用re模块能让爬虫更轻便高效，关键是写对模式、避免贪婪、善用标志位。不复杂但容易忽略细节。

以上就是Python爬虫怎样使用正则表达式_Python爬虫利用re模块提取数据的实用技巧的详细内容，更多请关注php中文网其它相关文章！