使用 Python Selenium 从网页文本中精准提取特定信息

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import time

# 假设您已经启动了浏览器并加载了目标页面
# 以下代码仅为示例，您需要根据实际情况初始化 driver
# service = Service(ChromeDriverManager().install())
# driver = webdriver.Chrome(service=service)
# driver.get("your_page_url_here") # 替换为您的页面URL

# 模拟 driver 对象和页面文本，以便在没有实际浏览器的情况下演示
class MockWebElement:
    def __init__(self, text):
        self._text = text
    @property
    def text(self):
        return self._text

class MockDriver:
    def find_element(self, by, value):
        if by == By.XPATH and value == "//div[@data-test-id='message-view-body-content']//b[contains(., 'Confirmation link')]":
            # 模拟从页面找到的元素文本
            return MockWebElement("Confirmation link: https://faucetpay.io/account/confirm_account/...")
        return None

driver = MockDriver() # 在实际应用中，这里会是您的真实 Selenium WebDriver 实例

try:
    # 使用 XPath 定位元素并获取其完整文本
    message_element = driver.find_element(By.XPATH, "//div[@data-test-id='message-view-body-content']//b[contains(., 'Confirmation link')]")
    message_text = message_element.text
    print(f"原始元素文本: {message_text}")

except Exception as e:
    print(f"定位元素时发生错误: {e}")
    message_text = "" # 确保在出错时 message_text 不为空

# driver.quit() # 在实际应用中，完成操作后关闭浏览器

# 承接上一步的 message_text
if message_text:
    # 使用 "Confirmation link:" 作为分隔符进行分割
    # split() 会返回一个列表，其中包含分割后的字符串
    # 例如：["", " https://faucetpay.io/account/confirm_account/..."]
    parts = message_text.split("Confirmation link:")

    # 获取列表的最后一个元素，即冒号后的内容
    # [-1] 是 Python 中获取列表最后一个元素的简便方法
    link_from_text = parts[-1]

    # 使用 strip() 方法去除可能存在的首尾空白字符
    extracted_link = link_from_text.strip()

    print(f"提取到的链接: {extracted_link}")
else:
    print("未找到包含确认链接的文本。")

from selenium import webdriver
from selenium.webdriver.common.by import By
# 如果您需要自动管理 WebDriver，可以使用 webdriver_manager
# from selenium.webdriver.chrome.service import Service
# from webdriver_manager.chrome import ChromeDriverManager

# --- 模拟 WebDriver 和 WebElement 以便在没有实际浏览器的情况下运行 ---
class MockWebElement:
    def __init__(self, text):
        self._text = text
    @property
    def text(self):
        return self._text

class MockDriver:
    def find_element(self, by, value):
        if by == By.XPATH and value == "//div[@data-test-id='message-view-body-content']//b[contains(., 'Confirmation link')]":
            # 模拟实际页面中的文本
            return MockWebElement("Confirmation link: https://faucetpay.io/account/confirm_account/...")
        raise Exception(f"Element not found by {by} with value {value}") # 模拟找不到元素的情况

# 在实际应用中，请替换为您的真实 WebDriver 初始化代码
# 例如：
# service = Service(ChromeDriverManager().install())
# driver = webdriver.Chrome(service=service)
# driver.get("http://your-target-url.com") # 替换为您的目标网页URL

driver = MockDriver() # 使用模拟驱动器进行演示

try:
    # 1. 定位包含 "Confirmation link:" 的元素
    # XPath 表达式查找具有特定 data-test-id 的 div 内的 b 标签，该 b 标签包含指定文本
    element_text = driver.find_element(
        By.XPATH,
        "//div[@data-test-id='message-view-body-content']//b[contains(., 'Confirmation link')]"
    ).text

    print(f"原始文本: {element_text}")

    # 2. 使用 "Confirmation link:" 作为分隔符，提取冒号后的内容
    # split() 返回一个列表，[-1] 获取最后一个元素
    link_from_text = element_text.split("Confirmation link:")[-1]

    # 3. 清除提取内容两端的空白字符
    cleaned_link = link_from_text.strip()

    print(f"提取到的确认链接: {cleaned_link}")

except Exception as e:
    print(f"在提取链接时发生错误: {e}")
    print("请检查 XPath 表达式或页面是否已加载。")

finally:
    # 在实际应用中，如果使用了真实 WebDriver，这里需要关闭浏览器
    # if isinstance(driver, webdriver.Chrome):
    #     driver.quit()
    pass # 模拟驱动器不需要关闭