解决BeautifulSoup爬取动态加载内容与反爬虫限制的策略

import requests
from bs4 import BeautifulSoup

# 目标URL
url = 'https://www.binance.com/es-LA/altcoins/new'

# 模拟浏览器User-Agent
# 可以在浏览器中通过开发者工具（F12）-> Network -> 任意请求 -> Headers 中找到
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

try:
    # 发送GET请求，并带上自定义headers
    response = requests.get(url, headers=headers)
    response.raise_for_status()  # 检查HTTP请求是否成功，如果不是200会抛出异常

    # 使用BeautifulSoup解析页面内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 尝试查找目标元素
    # 假设目标表格在一个具有特定class的div中，需要根据实际页面结构调整
    # 示例中使用的class "css-1t63o3e" 来源于原问题，实际使用时需要再次确认
    target_div = soup.find(name='div', attrs={'class': 'css-1t63o3e'})

    if target_div:
        print("成功找到目标div元素！")
        # 进一步提取表格数据
        # 例如：table = target_div.find('table')
        # print(table.prettify())
    else:
        print("未找到目标div元素，请检查CSS选择器或页面内容是否为静态加载。")
        # 可以打印部分页面内容进行调试
        # print(soup.prettify()[:1000])

except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
    print(f"HTTP状态码: {response.status_code if 'response' in locals() else 'N/A'}")
except Exception as e:
    print(f"发生错误: {e}")

pip install selenium

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time

# 目标URL
url = 'https://www.binance.com/es-LA/altcoins/new'

# 配置ChromeDriver服务
# 确保chromedriver.exe在PATH中，或提供其完整路径
# service = Service(executable_path='path/to/your/chromedriver.exe')
driver_service = Service() # 如果chromedriver在PATH中，可以直接这样初始化

# 初始化Chrome浏览器（可以添加headless选项使其在后台运行）
options = webdriver.ChromeOptions()
# options.add_argument('--headless') # 启用无头模式，不显示浏览器界面
options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36') # 同样添加User-Agent
driver = webdriver.Chrome(service=driver_service, options=options)

try:
    driver.get(url)

    # 显式等待：等待页面上的某个元素加载完成，确保JavaScript已经执行
    # 这里我们假设目标表格或其父div会在页面加载后出现
    # 需要根据实际页面的HTML结构来确定等待的元素和条件
    # 示例中使用了原问题中的一个class，实际需要检查页面
    wait = WebDriverWait(driver, 20) # 最多等待20秒

    # 假设目标div的class是 'css-1t63o3e'，或者其父元素 'css-pcu8qt'
    # 我们可以等待一个更通用的元素，例如包含表格的某个容器
    # 或者直接等待表格本身

    # 尝试等待一个可能包含表格的div
    # 假设页面底部有一个加载完成的标记，或者直接等待表格本身
    # 观察页面，通常动态加载的表格会有一个特定的class或id
    # 这里我们假设表格的父容器是 'css-1t63o3e'，如果这个class不准确，需要调整

    # 更好的做法是等待页面上某个稳定出现的元素，然后获取整个页面
    # 例如，等待页面底部的一个footer元素，或者一个加载指示器消失

    # 对于Binance页面，可能需要滚动到底部或者等待一段时间让所有内容加载
    # driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    # time.sleep(3) # 给予一些时间让内容加载

    # 等待一个可能包含数据的元素出现
    # 例如，等待一个特定的div，或者等待一个表格行
    # 这里使用一个通用的选择器，实际应用中应更精确
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'div[class^="css-"][data-bn-type="table"]'))) # 假设表格有一个以css-开头的class和data-bn-type="table"属性

    # 获取完全渲染后的页面HTML
    page_source = driver.page_source

    # 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(page_source, 'html.parser')

    # 再次尝试查找目标元素
    # 假设目标表格在一个具有特定class的div中
    target_div = soup.find(name='div', attrs={'class': 'css-1t63o3e'}) # 再次尝试原问题中的class

    # 如果上面的class不准确，可以尝试更通用的查找，例如查找所有表格
    tables = soup.find_all('table')

    if target_div:
        print("成功通过Selenium找到目标div元素！")
        # 进一步提取表格数据
        # 例如：table = target_div.find('table')
        # if table:
        #     print(table.prettify())
        # else:
        #     print("在目标div中未找到表格。")
    elif tables:
        print(f"页面中找到 {len(tables)} 个表格。")
        # 可以遍历tables列表，找到您需要的那个
        # for i, table in enumerate(tables):
        #     print(f"--- 表格 {i+1} ---")
        #     print(table.prettify()[:500]) # 打印前500字符进行预览
    else:
        print("未找到目标div元素或任何表格，请检查CSS选择器或页面内容。")
        # 可以打印部分页面内容进行调试
        # print(soup.prettify()[:1000])

finally:
    # 关闭浏览器
    driver.quit()