python爬虫如何获取带有超链接的文本字段
在网络抓取中，有时需要获取带有超链接的文本字段。但由于网页结构的特殊性，标准的xpath路径可能无法获取这些字段。本文将探讨如何修改代码以成功获取带有超链接的文本信息。
问题详情
如下例所示，一个网页中包含带有超链接的文本内容“绿色发展”。标准的xpath路径仅能获取到“也是”之前的文本内容，而无法获取“绿色发展”这四个字。
立即学习“Python免费学习笔记（深入）”；
解决方案
将xpath路径修改为获取所有<p>标签下的所有节点（包括文本和标签）：
content = html.xpath('//div[@class="f14 l24 news_content mt25 zoom"]/p//node()')在处理获取到的内容时，需要区分文本节点和超链接标签。可以使用isinstance()函数进行判别：
for node in content:
if isinstance(node, etree._ElementUnicodeResult):
content_deal += node.strip() + "\n"
elif isinstance(node, etree._Element) and node.tag == 'a':
content_deal += node.text.strip() + "\n"通过上述修改，代码就可以成功获取带有超链接的文本信息，从而全面获取网页正文。
以上就是如何使用Python爬虫获取带有超链接的文本字段？的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
895
收藏
