使用Selenium自动化展开动态下拉菜单并高效提取子分类链接

from selenium import webdriver
from selenium.webdriver.common.by import By
from time import sleep # 引入sleep模块，用于在必要时等待页面加载

# 定义目标URL
URL = "https://albiononline2d.com/en/item"

# 初始化Chrome WebDriver
# 如果WebDriver不在系统PATH中，需要指定路径，例如：
# from selenium.webdriver.chrome.service import Service
# service = Service(executable_path='/path/to/chromedriver')
# driver = webdriver.Chrome(service=service)

driver = webdriver.Chrome()

# 设置隐式等待，在查找元素时，如果元素未立即出现，WebDriver会等待指定时间
driver.implicitly_wait(5) # 增加隐式等待时间，以适应更复杂的加载情况

# 导航到目标网页
driver.get(URL)

# 初始化ActionChains，虽然在此特定解决方案中未直接使用，但在处理复杂交互时非常有用
action = webdriver.ActionChains(driver)

# 查找所有表示下拉菜单展开的“加号”图标
# 这些图标具有特定的CSS类：'icon expand-icon ion-plus-round'
# 使用CSS选择器定位这些元素
pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')

# 循环点击所有“加号”图标，直到所有下拉菜单展开
# 这里的策略是：每次循环都重新查找所有“加号”图标，并点击第一个
# 这是因为每次点击后，页面上的“加号”图标列表会动态更新（被点击的会消失或变化）
for i in range(len(pluses)):
    # 每次迭代重新查找当前页面上所有未展开的“加号”图标
    # 这样做可以确保我们总能点击到当前可见的、需要展开的第一个图标
    current_pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')

    # 如果没有找到任何“加号”图标，说明所有菜单都已展开，可以跳出循环
    if not current_pluses:
        break

    # 点击当前找到的第一个“加号”图标
    current_pluses[0].click()

    # 增加短暂的等待，确保页面有时间响应点击事件并更新DOM
    # 对于某些加载较慢的页面，这可以提高稳定性
    sleep(0.5) 

# 找到包含所有分类和子分类链接的父容器
# 根据页面结构，这个容器是第一个class为'list-group'的元素
item_categories_container = driver.find_elements(By.CLASS_NAME, 'list-group')[0]

# 在这个容器内查找所有的<a>标签（即所有链接）
all_links = item_categories_container.find_elements(By.TAG_NAME, 'a')

# 过滤并存储子分类链接
subcat_links = []
for link_element in all_links:
    href = link_element.get_attribute('href')
    # 判断链接是否包含“subcat”字符串，以识别子分类链接
    if href and 'subcat' in href:
        subcat_links.append(href)

# 打印提取到的子分类链接
print("提取到的子分类链接:")
for link in subcat_links:
    print(link)

# 关闭浏览器
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from time import sleep

# 定义目标URL
URL = "https://albiononline2d.com/en/item"

# 初始化Chrome WebDriver
driver = webdriver.Chrome()
driver.implicitly_wait(5) # 设置隐式等待时间
driver.get(URL)

# ----------------------------------------------------------------------
# 步骤1: 识别并展开所有动态下拉菜单
# ----------------------------------------------------------------------
# 查找所有表示下拉菜单展开的“加号”图标
pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')

# 循环点击所有“加号”图标
for i in range(len(pluses)):
    current_pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')
    if not current_pluses:
        break
    current_pluses[0].click()
    sleep(0.5) # 短暂等待，确保DOM更新

# ----------------------------------------------------------------------
#