使用 Python 和 Selenium 自动化 Google 搜索-Python教程-PHP中文网

使用 Python 和 Selenium 自动化 Google 搜索

碧海醫心

发布： 2025-08-19 17:40:17

原创

864人浏览过

使用 python 和 selenium 自动化 google 搜索

本文旨在提供一个清晰且实用的指南，教你如何使用 Python 和 Selenium 库自动化 Google 搜索。我们将解决常见的 AttributeError 错误，并提供优化的代码示例，同时讨论如何处理大量搜索请求以及如何使用 headless 模式来提高效率。本教程适用于需要从电子表格或 CSV 文件中读取关键词并自动执行 Google 搜索任务的开发者。

解决 AttributeError 并配置 ChromeDriver

初学者在使用 Selenium 进行自动化测试时，经常会遇到 AttributeError: 'str' object has no attribute 'capabilities' 错误。这个错误通常是由于 webdriver.Chrome() 函数的参数传递方式不正确导致的。在较新版本的 Selenium 中，推荐使用 Options 对象来配置 ChromeDriver，而不是直接传递 ChromeDriver 的路径字符串。

正确的配置方式如下：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# Chrome Options
chrome_options = Options()

# Path to your Chrome WebDriver executable
chrome_driver_path = '/path/to/chromedriver'  # 替换成你的 ChromeDriver 路径

# Set the executable path directly in options
chrome_options.binary_location = chrome_driver_path

# Assigning the browser variable with chromedriver of Chrome using Chrome Options
browser = webdriver.Chrome(options=chrome_options)

登录后复制

请务必将 /path/to/chromedriver 替换为你实际的 ChromeDriver 路径。

立即学习“Python免费学习笔记（深入）”；

从 Excel 或 CSV 文件读取关键词

为了从 Excel 或 CSV 文件读取关键词，你需要使用 pandas 库。如果你的关键词存储在 Excel 文件中，可以使用以下代码：

import pandas as pd

# 读取 Excel 文件
df = pd.read_excel('keywords.xlsx')

# 获取关键词列表
keywords = df['keyword'].tolist() # 假设 Excel 文件中有一列名为 'keyword'

登录后复制

如果你的关键词存储在 CSV 文件中，可以使用以下代码：

网优宝seo企业网站管理系统1.0

网优宝(woyobo)基于Asp.net 2.0 (C#) + Access 2003 架构，全站使用Div+Css 设计界面，方便修改，利于Seoer进行优化.全站使用伪静态，后台可自由切换多种后缀名的网页格式,增加对搜索引擎的友好性。网优宝的设计开发完全基于Seoer的优化习惯，本站全站采用伪静态设置，Div+Css架构，后台自带多种模板，可自由切换，后台锚文本自动添加，新闻产品定时发布，大

查看详情

import pandas as pd

# 读取 CSV 文件
df = pd.read_csv('keywords.csv')

# 获取关键词列表
keywords = df['keyword'].tolist() # 假设 CSV 文件中有一列名为 'keyword'

登录后复制

确保你的 Excel 或 CSV 文件中包含名为 'keyword' 的列，其中包含你要搜索的关键词。

自动化 Google 搜索

将 ChromeDriver 配置和关键词读取结合起来，就可以实现自动化 Google 搜索：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import pandas as pd
import time

# Chrome Options
chrome_options = Options()
chrome_options.add_argument("--headless") # 使用 headless 模式

# Path to your Chrome WebDriver executable
chrome_driver_path = '/path/to/chromedriver'  # 替换成你的 ChromeDriver 路径
chrome_options.binary_location = chrome_driver_path

# Assigning the browser variable with chromedriver of Chrome using Chrome Options
browser = webdriver.Chrome(options=chrome_options)

# 读取 CSV 文件
df = pd.read_csv('keywords.csv')
keywords = df['keyword'].tolist()

# 循环搜索关键词
for keyword in keywords:
    search_string = keyword.replace(' ', '+')
    url = "https://www.google.com/search?q=" + search_string + "&start=0"
    browser.get(url)
    time.sleep(2)  # 添加延迟，避免被封禁

    # 在这里可以添加代码来提取搜索结果
    print(f"搜索关键词: {keyword}, URL: {url}")

browser.quit()

登录后复制

这段代码首先配置 ChromeDriver，然后从 CSV 文件中读取关键词。接下来，它循环遍历关键词列表，构造 Google 搜索 URL，并使用 Selenium 打开该 URL。time.sleep(2) 用于添加延迟，避免因频繁请求而被 Google 封禁。最后，关闭浏览器。

使用 Headless 模式

chrome_options.add_argument("--headless") 开启了 headless 模式，这意味着 Selenium 将在后台运行 Chrome 浏览器，而不会显示浏览器窗口。这在处理大量搜索请求时非常有用，因为它可以节省资源并提高效率。

注意事项和总结

ChromeDriver 版本: 确保你的 ChromeDriver 版本与你的 Chrome 浏览器版本兼容。
延迟: 在循环中添加适当的延迟，避免因频繁请求而被 Google 封禁。
数据提取: 在 browser.get(url) 之后，你可以使用 Selenium 的各种方法（如 find_element_by_xpath、find_element_by_css_selector）来提取搜索结果。
异常处理: 添加适当的异常处理代码，以处理可能出现的错误，例如网络连接错误或元素未找到错误。
反爬虫机制: Google 有严格的反爬虫机制。如果需要进行大规模的数据抓取，建议使用代理 IP 或其他反爬虫技术。