如何使用Python爬取动态网站中由按钮控制的数据

pip install selenium beautifulsoup4 pandas

import pandas as pd
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import csv
import time

def scrape_dynamic_team_stats(url, output_filename='team_per_game_stats.csv'):
    """
    使用Selenium和BeautifulSoup从动态网站爬取“每场比赛”的球队统计数据。

    Args:
        url (str): 目标网页的URL。
        output_filename (str): 数据保存的CSV文件名。
    """
    # 1. 初始化Selenium WebDriver
    # 配置Chrome选项，例如最大化窗口，可以根据需要添加headless模式等
    options = webdriver.ChromeOptions()
    options.add_argument('--start-maximized')
    # options.add_argument('--headless') # 如果不需要显示浏览器窗口，可以使用无头模式
    # options.add_argument('--disable-gpu') # 无头模式下建议禁用GPU

    driver = None
    try:
        driver = webdriver.Chrome(options=options)
        print(f"正在打开网页: {url}")
        driver.get(url)

        # 2. 定位并模拟点击切换按钮
        # 目标网站的“每场比赛”切换按钮的ID是 'basic_school_stats_per_match_toggle'
        # 使用WebDriverWait等待元素加载完成，最多等待20秒
        print("等待切换按钮加载...")
        toggle_button = WebDriverWait(driver, 20).until(
            EC.presence_of_element_located((By.ID, 'basic_school_stats_per_match_toggle'))
        )

        # 使用JavaScript点击按钮，因为有时Selenium的click()方法可能被元素遮挡
        print("点击'每场比赛'切换按钮...")
        driver.execute_script("arguments[0].click();", toggle_button)

        # 3. 等待页面内容更新
        # 给予页面足够的时间来加载或显示新的“每场比赛”数据
        # 实际等待时间可能需要根据网站响应速度调整
        print("等待数据更新...")
        time.sleep(5) # 简单等待，更健壮的方法是等待特定元素出现或数据变化

        # 4. 获取动态HTML内容
        html_source = driver.page_source
        print("已获取页面HTML源代码。")

        # 5. 使用BeautifulSoup解析HTML
        soup = BeautifulSoup(html_source, 'html.parser')

        # 6. 提取所需数据
        # 目标表格通常有一个特定的ID或class
        # 在这个网站，主要的统计表格是 'basic_school_stats'
        table = soup.find('table', id='basic_school_stats')
        if not table:
            print("未找到统计表格。")
            return []

        team_stats = []
        # 提取表头
        headers = [th.text.strip() for th in table.find('thead').find_all('th') if th.text.strip()]
        # 清理表头，例如移除排名列等
        # headers = ['Rk', 'School', 'G', 'W', 'L', 'W-L%', 'SRS', 'SOS', 'ORtg', 'DRtg', 'NRtg', 'Pace', 'FTr', '3PAr', 'TS%', 'TRB%', 'AST%', 'STL%', 'BLK%', 'eFG%', 'TOV%', 'ORB%', 'FT/FGA']
        # 简化为我们关注的列
        target_headers = ['School', 'FG%', 'ORB', 'AST', 'STL', 'BLK', 'TOV', 'PF'] # 对应data-stat属性

        team_stats.append(target_headers) # 添加处理后的表头

        # 遍历表格的每一行
        for row in table.find('tbody').find_all('tr'):
            if 'class' in row.attrs and 'thead' in row.attrs['class']: # 跳过重复的表头行
                continue

            # 提取每列数据，通过data-stat属性定位
            school_name_tag = row.find('td', {'data-stat': 'school_name'})
            fg_pct_tag = row.find('td', {'data-stat': 'fg_pct'})
            orb_tag = row.find('td', {'data-stat': 'orb'})
            ast_tag = row.find('td', {'data-stat': 'ast'})
            stl_tag = row.find('td', {'data-stat': 'stl'})
            blk_tag = row.find('td', {'data-stat': 'blk'})
            tov_tag = row.find('td', {'data-stat': 'tov'})
            pf_tag = row.find('td', {'data-stat': 'pf'})

            if school_name_tag: # 确保找到球队名称
                team_data = [
                    school_name_tag.text.strip(),
                    fg_pct_tag.text.strip() if fg_pct_tag else 'N/A',
                    orb_tag.text.strip() if orb_tag else 'N/A',
                    ast_tag.text.strip() if ast_tag else 'N/A',
                    stl_tag.text.strip() if stl_tag else 'N/A',
                    blk_tag.text.strip() if blk_tag else 'N/A',
                    tov_tag.text.strip() if tov_tag else 'N/A',
                    pf_tag.text.strip() if pf_tag else 'N/A'
                ]
                team_stats.append(team_data)

        # 7. 将数据写入CSV文件
        with open(output_filename, 'w', newline='', encoding='utf-8') as file:
            writer = csv.writer(file)
            writer.writerows(team_stats)

        print(f"数据已成功写入到 {output_filename}")
        return team_stats

    except Exception as e:
        print(f"爬取过程中发生错误: {e}")
        return []
    finally:
        # 8. 关闭WebDriver
        if driver:
            driver.quit()
            print("浏览器已关闭。")

# 执行爬取
url_to_scrape = 'https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html'
scraped_data = scrape_dynamic_team_stats(url_to_scrape)

if scraped_data:
    # 打印前几行数据以供检查
    print("\n抓取到的部分数据:")
    for row in scraped_data[:5]:
        print(row)