深度解析：解决动态网页与重定向场景下BeautifulSoup元素选择失败问题

from splinter import Browser
from bs4 import BeautifulSoup as soup
from webdriver_manager.chrome import ChromeDriverManager
import time

# 1. 初始化浏览器，并指定使用Chrome驱动，开启无头模式
# executable_path=ChromeDriverManager().install() 会自动下载并管理ChromeDriver
browser = Browser('chrome', executable_path=ChromeDriverManager().install(), headless=True) 

try:
    # 2. 访问初始URL。Splinter会自动处理重定向，直到最终页面。
    initial_url = 'https://propertyinfo.knoxcountytn.gov/Datalets/Datalet.aspx?sIndex=1&idx=1'
    print(f"Navigating to: {initial_url}")
    browser.visit(initial_url)

    # 等待页面加载，可以根据实际情况调整等待时间
    time.sleep(3) 

    # 3. 检查是否需要点击“同意”按钮（例如，针对免责声明页面）
    # 假设“同意”按钮是一个input标签，value为“Agree”
    agree_button_selector = 'input[value="Agree"]'
    if browser.is_element_present_by_css(agree_button_selector, wait_time=5):
        print("Disclaimer page detected. Clicking 'Agree' button...")
        browser.find_by_css(agree_button_selector).click()
        time.sleep(3) # 点击后再次等待页面加载

    # 4. 现在应该在目标页面上。获取当前页面的HTML内容。
    html_source = browser.html

    # 5. 使用BeautifulSoup解析HTML
    owner_soup = soup(html_source, 'html.parser')

    # 尝试查找目标元素
    # 假设目标元素是class为'DataletData'的td标签
    owner_elem = owner_soup.find('td', class_='DataletData')

    if owner_elem:
        print("\nSuccessfully found element with Splinter and BeautifulSoup:")
        print(owner_elem.text.strip()) # 提取元素的文本内容
        # 如果需要元素的完整HTML，可以使用 owner_elem.prettify()
    else:
        print("\nElement 'td.DataletData' not found on the final page.")
        # 可以打印当前页面的部分HTML进行调试
        # print(html_source[:1000]) 

finally:
    # 确保在任何情况下都关闭浏览器实例
    print("\nClosing browser.")
    browser.quit()

# 假设 owner_splinter_elem 是通过 Splinter 找到的元素对象
# owner_splinter_elem = browser.find_by_css('td.DataletData')[15] 
# element_html = owner_splinter_elem.outer_html 
# print(element_html)

import requests
from bs4 import BeautifulSoup

# 1. 初始化一个requests会话，它将自动管理cookies
session = requests.Session()

# 2. 模拟访问免责声明页面并“同意”
# 首先，访问免责声明页面以获取初始的会话ID和其他潜在的隐藏表单字段（如__VIEWSTATE, __EVENTVALIDATION）
disclaimer_url = 'https://propertyinfo.knoxcountytn.gov/Search/Disclaimer.aspx?FromUrl=../search/commonsearch.aspx?mode=realprop'
print(f"Visiting disclaimer page: {disclaimer_url}")
response = session.get(disclaimer_url)
print(f"Disclaimer page status code: {response.status_code}")

# 解析免责声明页面以找到“同意”按钮的表单数据
# 实际情况中，你需要检查页面的HTML来确定表单的action和input字段的name/value
disclaimer_soup = BeautifulSoup(response.text, 'html.parser')
# 假设“同意”按钮的form action是当前URL，并且有一个隐藏字段
# 这是一个简化示例，实际可能需要更复杂的解析
form_action = disclaimer_url # 或者 disclaimer_soup.find('form').get('action')
post_data = {
    'btnAgree': 'Agree' # 假设同意按钮的name是btnAgree，value是Agree
    # 如果有__VIEWSTATE, __EVENTVALIDATION等，也需要从页面解析并包含在这里
}

# 提交“同意”表单
print("Submitting 'Agree' form...")
# 通常，同意按钮的点击会触发一个POST请求
agree_response = session.post(form_action, data=post_data, allow_redirects=True)
print(f"After agreeing, final URL: {agree_response.url}")
print(f"After agreeing, status code: {agree_response.status_code}")

# 也可以直接设置必要的Cookie，如果知道网站只检查某个Cookie值
# session.cookies.set('DISCLAIMER', '1', domain='propertyinfo.knoxcountytn.gov')

# 3. 访问目标数据页面
target_url = 'https://propertyinfo.knoxcountytn.gov/search/commonsearch.aspx?mode=realprop'
print(f"Visiting target page: {target_url}")
final_response = session.get(target_url)
print(f"Target page status code: {final_response.status_code}")

# 4. 检查响应状态码并解析HTML
if final_response.status_code == 200:
    owner_soup = BeautifulSoup(final_response.text, 'html.parser')
    owner_elem = owner_soup.find('td', class_='DataletData')

    if owner_elem:
        print("\nSuccessfully found element with requests and BeautifulSoup:")
        print(owner_elem.text.strip())
    else:
        print("\nElement 'td.DataletData' not found on the target page.")
        # 可以打印部分HTML进行调试
        # print(final_response.text[:1000])
else:
    print(f"\nFailed to retrieve target page. Status code: {final_response.status_code}")
    print("Response headers:", final_response.headers)