高效抓取Iframe内元素：Selenium与XPath/CSS选择器实践指南

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化WebDriver
options = Options()
# options.add_argument('--headless') # 可选：无头模式
driver = webdriver.Chrome(options=options)
driver.maximize_window()
wait = WebDriverWait(driver, 10) # 设置显式等待，最长等待10秒

# 导航到目标URL
driver.get("https://bbrauncareers-bbraun.icims.com/jobs/search?ss=1&searchRelation=keyword_all&mobile=false&width=1168&height=500&bga=true&needsRedirect=false&jan1offset=120&jun1offset=180")

# 等待Iframe出现并切换到其上下文
# 示例页面中Iframe的ID为 'icims_content_iframe'
frame = wait.until(EC.presence_of_element_located((By.ID, 'icims_content_iframe')))
driver.switch_to.frame(frame)
print("已成功切换到Iframe。")

# 在Iframe内，使用CSS选择器定位所有的招聘信息行
# 这里使用CSS选择器 "[class*=JobsTable] .row" 来定位，因为它更精确且常用
table_rows = wait.until(
    EC.presence_of_all_elements_located((By.CSS_SELECTOR, "[class*=JobsTable] .row"))
)

print(f"找到 {len(table_rows)} 条招聘信息。")

# 遍历每一行并提取所需信息，例如职位标题
for i, row in enumerate(table_rows):
    try:
        # 定位职位标题，通常在 .title h2 内部
        job_title_element = row.find_element(By.CSS_SELECTOR, '.title h2')
        print(f"第 {i+1} 条职位标题: {job_title_element.text}")
    except Exception as e:
        print(f"无法获取第 {i+1} 条职位的标题: {e}")

# 操作完成后，切换回主文档
driver.switch_to.default_content()
print("已切换回主文档。")

# 关闭浏览器
driver.quit()

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def scrape_job_listings(url):
    """
    抓取指定URL页面中Iframe内的招聘信息。
    """
    options = Options()
    # options.add_argument('--headless') # 生产环境中可考虑使用无头模式
    # options.add_argument('--disable-gpu') # 禁用GPU加速，有时可避免一些问题
    # options.add_argument('--no-sandbox') # Linux环境下可能需要
    # options.add_argument('--disable-dev-shm-usage') # Linux环境下可能需要

    driver = webdriver.Chrome(options=options)
    driver.maximize_window()
    wait = WebDriverWait(driver, 20) # 增加等待时间，提高稳定性

    try:
        print(f"正在访问URL: {url}")
        driver.get(url)

        # 1. 等待Iframe出现并切换到其上下文
        print("等待Iframe加载...")
        frame = wait.until(EC.presence_of_element_located((By.ID, 'icims_content_iframe')))
        driver.switch_to.frame(frame)
        print("已成功切换到Iframe。")

        # 2. 在Iframe内，使用CSS选择器定位所有的招聘信息行
        # 招聘信息行通常具有 'row' 类，且其父容器有更具体的类名如 'JobsTable'
        print("正在Iframe内查找招聘信息行...")
        job_rows = wait.until(
            EC.presence_of_all_elements_located((By.CSS_SELECTOR, "[class*=JobsTable] .row"))
        )
        print(f"找到 {len(job_rows)} 条招聘信息。")

        # 3. 遍历每一行并提取所需信息
        extracted_jobs = []
        for i, row in enumerate(job_rows):
            try:
                # 假设职位标题在每个 .row 内部的 .title h2 元素中
                title_element = row.find_element(By.CSS_SELECTOR, '.title h2')
                job_title = title_element.text.strip()
                extracted_jobs.append(job_title)
                print(f"  - 职位 {i+1}: {job_title}")
            except Exception as e:
                print(f"  - 无法提取第 {i+1} 条职位的标题: {e}")
                # 可以选择跳过或记录错误

        return extracted_jobs

    except Exception as e:
        print(f"发生错误: {e}")
        return []
    finally:
        # 4. 无论成功与否，最终都切换回主文档并关闭浏览器
        try:
            driver.switch_to.default_content()
            print("已切换回主文档。")
        except:
            pass # 如果Iframe未加载成功，切换可能会失败，忽略
        driver.quit()
        print("浏览器已关闭。")

if __name__ == "__main__":
    target_url = "https://bbrauncareers-bbraun.icims.com/jobs/search?ss=1&searchRelation=keyword_all&mobile=false&width=1168&height=500&bga=true&needsRedirect=false&jan1offset=120&jun1offset=180"
    job_titles = scrape_job_listings(target_url)
    print("\n--- 提取到的所有职位标题 ---")
    for title in job_titles:
        print(title)