使用R语言与RSelenium从动态网页高效提取表格数据

# 安装并加载所需包
# install.packages(c("RSelenium", "rvest", "xml2")) # 如果尚未安装，请运行此行
library(RSelenium)
library(rvest)
library(xml2)

# 启动RSelenium驱动和客户端
# browser参数指定浏览器类型，port指定端口，verbose=FALSE减少输出信息
driver <- rsDriver(browser = "firefox", port = 4545L, verbose = FALSE) 
server <- driver$server   # 获取服务器对象
browser <- driver$client  # 获取浏览器客户端对象

# 浏览器导航到目标URL
target_url <- "http://www.medindex.am/glossary/semantic_types/B2.2-disease-syndrome-pathologic-function.php"
browser$navigate(target_url)

# 获取浏览器中当前页面的完整HTML源代码
page_source <- browser$getPageSource()[[1]]

# 使用xml2::read_html解析源代码
doc <- xml2::read_html(page_source)

# 提取页面中的所有表格
all_tables <- rvest::html_table(doc)

# 检查提取到的表格数量及内容，以确定目标表格的索引
# print(length(all_tables))
# print(all_tables[[1]]) # 打印第一个表格以供检查
# print(all_tables[[2]]) # 打印第二个表格以供检查

# 根据示例，目标表格是列表中的第二个元素
target_data_frame <- all_tables[[2]]
print(target_data_frame)

# 关闭浏览器客户端
browser$close()

# 停止RSelenium服务器
server$stop()

# 清理残留的Java进程
# 注意：此命令适用于Windows系统。在Mac/Linux系统上，您可能需要使用不同的命令
# 例如，在Mac/Linux上可以使用 `system("pkill -f java")` 或手动查找并终止相关进程
system("taskkill /im java.exe /f", intern = FALSE, ignore.stdout = FALSE)

library(RSelenium)
library(rvest)
library(xml2)

# 1. 启动RSelenium浏览器会话
# 确保Java环境和浏览器驱动已准备好
driver <- rsDriver(browser = "firefox", port = 4545L, verbose = FALSE) 
server <- driver$server
browser <- driver$client

# 2. 导航至目标网页
target_url <- "http://www.medindex.am/glossary/semantic_types/B2.2-disease-syndrome-pathologic-function.php"
browser$navigate(target_url)

# (可选) 增加等待时间，确保页面完全加载
# Sys.sleep(5) 

# 3. 获取完整的页面源代码
page_source <- browser$getPageSource()[[1]]
doc <- xml2::read_html(page_source)

# 4. 解析HTML并提取表格
all_tables <- rvest::html_table(doc)

# 根据观察，目标表格是all_tables列表中的第二个元素
# 请根据您的实际页面结构调整索引
target_data_frame <- all_tables[[2]]

# 打印提取到的数据框
print(target_data_frame)

# 5. 清理RSelenium资源
browser$close()
server$stop()
# Windows系统下清理Java进程，Mac/Linux用户可能需要调整或跳过
system("taskkill /im java.exe /f", intern = FALSE, ignore.stdout = FALSE)