Selenium Python：处理动态页面刷新与元素等待的最佳实践

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException, WebDriverException
import time

def wait_for_element_and_text_robust(driver: webdriver.Remote, url: str, css_selector: str, target_text: str,
                                     timeout: int = 10, refresh_interval: float = 0.7, max_attempts: int = 50):
    """
    持续刷新页面，直到目标元素出现且其文本符合预期，或达到最大尝试次数。

    Args:
        driver: Selenium WebDriver 实例。
        url: 目标页面的 URL。
        css_selector: 目标元素的 CSS 选择器。
        target_text: 目标元素的预期文本。
        timeout: 每次等待元素出现的最大秒数。
        refresh_interval: 每次刷新后等待的秒数。
        max_attempts: 最大尝试刷新页面的次数。

    Returns:
        WebElement: 如果成功找到并匹配的元素。

    Raises:
        TimeoutException: 如果在最大尝试次数内未能找到满足条件的元素或文本。
    """
    attempts = 0
    while attempts < max_attempts:
        attempts += 1
        print(f"尝试加载页面 (第 {attempts}/{max_attempts} 次): {url}")
        try:
            driver.get(url) # 每次循环都刷新页面，确保页面内容最新

            print(f"等待元素 '{css_selector}' 出现 (超时 {timeout} 秒)...")
            # 使用 WebDriverWait 等待元素出现在DOM中
            element = WebDriverWait(driver, timeout).until(
                EC.presence_of_element_located((By.CSS_SELECTOR, css_selector))
            )

            print(f"元素已找到，当前文本: '{element.text}'")
            if element.text == target_text:
                print(f"目标文本 '{target_text}' 已匹配。")
                return element # 成功找到并匹配，返回元素
            else:
                print(f"文本不匹配，预期: '{target_text}', 实际: '{element.text}'。等待 {refresh_interval} 秒后刷新页面重试...")
                time.sleep(refresh_interval) # 文本不匹配，等待后刷新页面重试

        except TimeoutException:
            # WebDriverWait 超时，表示在指定时间内元素未出现
            print(f"在 {timeout} 秒内未找到元素 '{css_selector}'。等待 {refresh_interval} 秒后刷新页面重试...")
            time.sleep(refresh_interval)
        except WebDriverException as e:
            # 捕获其他可能的WebDriver异常，例如网络问题
            print(f"发生WebDriver异常: {e}。等待 {refresh_interval} 秒后刷新页面重试...")
            time.sleep(refresh_interval)
        except Exception as e:
            # 捕获其他未知错误
            print(f"发生未知错误: {e}。等待 {refresh_interval} 秒后刷新页面重试...")
            time.sleep(refresh_interval)

    raise TimeoutException(f"在 {max_attempts} 次尝试后，仍未找到满足条件的元素或文本。")

### 完整示例代码

```python
# 假设 driver 已经初始化，例如：
# from selenium import webdriver
# driver = webdriver.Chrome()
# driver.maximize_window() # 最大化窗口以确保元素可见性

URL = 'https://www.example.com' # 替换为你的实际目标URL
TARGET_CSS_SELECTOR = '#reser2 > ul > li' # 替换为你的实际CSS选择器
EXPECTED_TEXT = "APPLE" # 替换为你的目标文本

try:
    # 调用函数等待元素
    target_element = wait_for_element_and_text_robust(
        driver,
        URL,
        TARGET_CSS_SELECTOR,
        EXPECTED_TEXT,
        timeout=15,          # 每次等待元素的最长秒数
        refresh_interval=1,  # 每次刷新后等待的秒数
        max_attempts=30      # 最多尝试刷新页面的次数
    )
    print("自动化任务成功！最终找到的元素:", target_element)
    # 可以在这里对 target_element 进行后续操作，例如点击、获取属性等
    # target_element.click()

except TimeoutException as e:
    print(f"自动化任务失败: {e}")
except Exception as e:
    print(f"发生意外错误: {e}")
finally:
    # driver.quit() # 在所有操作完成后关闭浏览器
    pass