使用RSelenium和rvest从动态网页高效提取表格数据到R数据框

1. 引言与挑战

在数据分析和网络爬虫领域，从网页中提取结构化数据是一项常见任务。然而，许多现代网站，特别是那些使用php、javascript等技术动态生成内容的网站，其表格数据并非直接嵌入在初始html源代码中。传统的静态网页抓取方法（如仅使用rvest的read_html）往往难以获取这些动态加载的数据。这时，就需要借助浏览器自动化工具来模拟用户行为，等待页面完全加载并渲染出所有内容。rselenium库正是r语言中解决此类问题的强大工具。

2. 核心工具介绍

为了实现从动态网页提取表格数据，我们将主要依赖以下R包：

• RSelenium: R语言与Selenium WebDriver的接口。Selenium是一个用于Web应用程序测试的工具，能够模拟用户在浏览器中的操作（如点击、滚动、填写表单、等待元素加载等）。通过RSelenium，我们可以在R中控制真实的浏览器（如Firefox、Chrome），从而获取JavaScript渲染后的页面内容。
• rvest: 一个简洁且强大的HTML解析库，由Hadley Wickham开发。它提供了易于使用的函数来读取、解析HTML文档，并使用CSS选择器或XPath提取节点内容。
• xml2: rvest的底层依赖，提供了XML和HTML文档的低级解析功能。

3. 环境准备与依赖安装

在开始之前，请确保您的R环境中已安装所需库。如果尚未安装，可以使用以下命令：

install.packages(c("RSelenium", "rvest", "xml2"))

此外，RSelenium需要一个浏览器驱动程序来控制浏览器。以Firefox为例，您需要安装geckodriver。rsDriver函数通常会自动下载并配置驱动程序，但如果遇到问题，可能需要手动下载并将其路径添加到系统环境变量中。

4. 详细操作步骤与代码示例

以下是从动态网页提取表格数据的完整流程，以一个具体的PHP网站为例。

4.1 启动RSelenium服务与浏览器客户端

首先，我们需要启动Selenium服务器和浏览器客户端。rsDriver函数会启动一个Selenium服务器，并打开指定的浏览器。

library(RSelenium)
library(rvest)
library(xml2)

# 启动RSelenium服务，并打开Firefox浏览器
# port参数建议使用未被占用的端口
driver <- rsDriver(browser = "firefox", port = 4545L, verbose = FALSE) 
server <- driver$server
browser <- driver$client

• browser = "firefox": 指定使用Firefox浏览器。您也可以选择chrome等。
• port = 4545L: 指定Selenium服务器监听的端口。
• verbose = FALSE: 减少控制台输出。

4.2 导航至目标网页

使用browser$navigate()函数让浏览器客户端访问目标URL。

# 目标URL
target_url <- "http://www.medindex.am/glossary/semantic_types/B2.2-disease-syndrome-pathologic-function.php"

# 浏览器导航到指定URL
browser$navigate(target_url)

此时，您应该会看到一个Firefox浏览器窗口被自动打开并访问了指定页面。

ChatBA

AI幻灯片生成工具

74

查看详情

4.3 获取页面源并解析HTML

一旦页面加载完成（navigate函数通常会等待页面初步加载），我们可以获取当前页面的完整HTML源代码。RSelenium的getPageSource()方法会返回当前页面的HTML内容，包括所有通过JavaScript动态生成的部分。

# 获取当前页面的完整HTML源代码
page_source <- browser$getPageSource()[[1]]

# 使用xml2::read_html解析HTML源代码
doc <- xml2::read_html(page_source)

4.4 提取表格数据

rvest::html_table()函数能够从解析后的HTML文档中提取所有HTML表格，并将其转换为R的数据框列表。

# 提取页面中所有的HTML表格
all_tables <- rvest::html_table(doc)

# 检查提取到的表格数量及结构，通常目标表格会是列表中的某一项
# 在本例中，目标表格是列表的第二个元素
target_table_df <- all_tables[[2]]

# 打印提取到的数据框
print(target_table_df)

运行上述代码后，target_table_df将包含从网页中成功提取的表格数据，格式为R数据框。例如，对于本例中的网页，输出可能如下：

# A tibble: 22,397 x 4
# CUI      Term                              Dictionary SemanticType                 
# <chr>    <chr>                             <chr>      <chr>                        
# 1 C0003865 Arthritis, Adjuvant               NDFRT      Experimental Model of Disease
# 2 C0004426 avian sarcoma                     CSP        Experimental Model of Disease
# 3 C0004565 B16 Malignant Melanoma            NCI        Experimental Model of Disease
# 4 C0007098 Carcinoma 256, Walker             NDFRT      Experimental Model of Disease
# 5 C0007125 Carcinoma, Ehrlich Tumor          NDFRT      Experimental Model of Disease
# 6 C0007128 Carcinoma, Krebs 2                NDFRT      Experimental Model of Disease
# 7 C0009075 Cloudman S91 Malignant Melanoma   NCI        Experimental Model of Disease
# 8 C0011853 Diabetes Mellitus, Experimental   NDFRT      Experimental Model of Disease
# 9 C0014072 autoimmune encephalomyelitis      CSP        Experimental Model of Disease
# 10 C0018598 Harding-Passey Malignant Melanoma NCI        Experimental Model of Disease
# ... with 22,387 more rows

4.5 清理RSelenium资源

完成数据提取后，务必关闭浏览器客户端、停止Selenium服务器，并确保相关的Java进程被终止，以释放系统资源并避免端口占用。

# 关闭浏览器客户端
browser$close()

# 停止Selenium服务器
server$stop()

# 终止残留的Java进程（RSelenium依赖Java，此步骤很重要）
# 注意：此命令是Windows系统特有的。在Linux/macOS上，您可能需要使用`system("pkill -f java")`或手动查找并终止相关进程。
system("taskkill /im java.exe /f", intern = FALSE, ignore.stdout = FALSE)

5. 注意事项与最佳实践

• 动态内容识别: RSelenium的主要优势在于能够处理JavaScript动态加载的内容。如果您的目标数据在页面加载完成后才出现，那么RSelenium是比纯rvest更好的选择。
• 等待机制: 对于某些加载时间较长的动态页面，browser$navigate()可能在所有内容完全渲染前就返回。在这种情况下，您可以使用RSelenium提供的显式等待功能，例如browser$setTimeout(type = "page load", milliseconds = 10000)来设置页面加载超时，或者使用browser$findElement(using = "css", value = "#target_element")$waitForElementToBePresent(timeout = 10000)来等待特定元素出现。
• XPath/CSS选择器: 虽然html_table()可以提取所有表格，但如果页面包含多个表格，您可能需要更精确地定位目标表格。可以通过html_node()结合XPath或CSS选择器先选中目标表格节点，再使用html_table()。例如：doc %>% html_node(xpath = "//table[@id='table_results_r_1']") %>% html_table()。
• 资源管理: 务必在数据提取完成后正确关闭浏览器和停止服务器，并清理Java进程，否则可能导致端口被占用，影响后续操作。
• 错误处理: 在实际应用中，应加入错误处理机制（如tryCatch），以应对网络中断、元素未找到等异常情况，提高代码的健壮性。
• 网站政策与道德: 在进行网络爬虫时，请务必遵守目标网站的robots.txt文件规定，并尊重网站的使用条款。避免对服务器造成过大负担，并考虑爬取频率。

6. 总结

通过结合RSelenium的浏览器自动化能力与rvest和xml2的HTML解析能力，我们能够有效地从动态生成的网页中提取表格数据并转换为R数据框。这种方法克服了传统静态爬虫的局限性，为处理现代复杂网站提供了强大的解决方案。掌握这些工具和技巧，将极大地扩展您在R中进行数据获取的能力。

以上就是使用RSelenium和rvest从动态网页高效提取表格数据到R数据框的详细内容，更多请关注php中文网其它相关文章！