R语言中动态网页数据抓取：利用V8包解析JavaScript生成内容

例如，在尝试从https://www.fatf-gafi.org/countries/这类网站抓取国家列表时，如果发现数据并非直接存在于HTML的

V8包：在R中执行JavaScript

为了克服动态网页抓取的挑战，我们需要一个能够在R环境中模拟浏览器执行JavaScript能力的工具。V8包正是为此而生。它提供了对Google V8 JavaScript引擎的R语言接口，允许用户在R中创建JavaScript上下文，执行JavaScript代码，并获取JavaScript环境中变量的值。这使得我们能够直接处理那些通过JavaScript加载或计算出的数据。

实施步骤：抓取动态加载的国家数据

以下我们将通过一个具体案例，演示如何利用httr和V8包抓取FATF网站上的国家数据。

步骤1：识别并获取JavaScript源文件

首先，我们需要确定包含目标数据的JavaScript文件。通常，这需要对网页进行一些检查（例如使用浏览器开发者工具的网络请求选项卡），以找出在页面加载过程中请求的JavaScript文件。对于FATF网站的案例，我们发现国家数据存储在一个名为country-data-multi-lang.js的JavaScript文件中。

立即学习“Java免费学习笔记（深入）”；

使用httr包，我们可以像获取普通网页一样获取这个JavaScript文件的内容。

Type

生成草稿，转换文本，获得写作帮助-等等。

下载

library(httr)
library(V8)
library(dplyr)
library(tidyr)

# 目标JavaScript文件的URL
js_url <- paste0('https://www.fatf-gafi.org/media/fatf/fatfv20/',
                 'js/country-data-multi-lang.js')

# 使用GET请求获取JavaScript文件内容
js_content <- content(GET(js_url), 'text')

# 此时js_content变量中包含了JavaScript代码的字符串

步骤2：初始化V8引擎并执行JS代码

获取到JavaScript代码后，我们需要在R中创建一个V8上下文（即一个独立的JavaScript运行环境），然后将这段JavaScript代码加载并执行。

# 创建一个V8上下文
ct <- v8()

# 在V8上下文中执行JavaScript代码
# 这将运行js_content中的所有JS语句，包括变量定义等
ct$eval(js_content)

执行ct$eval(js_content)后，js_content中定义的任何全局变量都将在ct这个V8上下文中可用。在我们的案例中，经过分析，我们知道所需数据存储在一个名为countries的JavaScript变量中。

步骤3：提取和整理数据

JavaScript代码执行完毕后，我们可以使用ct$get()方法从V8上下文中提取指定变量的值。V8包会自动将JavaScript的数据结构（如数组、对象）转换为R中对应的列表或数据框。由于countries变量是一个嵌套的数据结构，我们需要使用tidyr和dplyr进行进一步的整理。

# 从V8上下文中获取名为"countries"的变量
# V8会自动将其转换为R的数据结构，通常是嵌套的列表或数据框
country_data <- ct$get("countries")

# 对嵌套数据进行整理：
# 1. unnest(cols = c(groups))：展开'groups'列中的嵌套数据
# 2. select(c(1:2,4:14,16))：选择所需的列，这里根据实际输出进行调整
# 3. filter(!is.na(name))：过滤掉可能存在的空行或无效数据
final_data <- country_data %>% 
  unnest(cols = c(groups)) %>%
  select(c(1:2,4:14,16)) %>% # 根据实际数据结构调整列索引
  filter(!is.na(name))

# 查看最终整理好的数据
print(final_data)

完整代码示例：

library(httr)
library(V8)
library(dplyr)
library(tidyr)

# 1. 识别并获取JavaScript源文件
js_url <- paste0('https://www.fatf-gafi.org/media/fatf/fatfv20/',
                 'js/country-data-multi-lang.js')
js_content <- content(GET(js_url), 'text')

# 2. 初始化V8引擎并执行JS代码
ct <- v8()
ct$eval(js_content)

# 3. 提取和整理数据
final_data <- ct$get("countries") %>% 
  unnest(cols = c(groups)) %>%
  select(c(1:2,4:14,16)) %>% # 根据实际数据结构调整列索引
  filter(!is.na(name))

# 打印结果
print(final_data)

# 示例输出（部分）
#> # A tibble: 209 × 14
#>    name       code  FATF  APG   CFATF EAG   ESAAMLG GABAC GAFILAT GIABA MENAFATF
#>                          
#>  1 Afghanist… AF    ""    "mbr" ""    "obs" ""      ""    ""      ""    ""      
#>  2 Albania    AL    ""    ""    ""    ""    ""      ""    ""      ""    ""      
#>  3 Algeria    DZ    ""    ""    ""    ""    ""      ""    ""      ""    "mbr"   
#>  4 Andorra    AD    ""    ""    ""    ""    ""      ""    ""      ""    ""      
#>  5 Angola     AO    ""    ""    ""    "mbr" ""      ""    ""      ""    ""      
#> # … with 200 more rows, and 3 more variables: MONEYVAL ,
#> #   jurisdiction , id 

注意事项与最佳实践

1. 适用场景： V8包非常适合处理数据直接嵌入在JavaScript文件中的情况，或者当JavaScript逻辑相对简单，不涉及复杂的DOM操作或异步请求时。对于需要模拟用户交互、处理大量AJAX请求或渲染完整页面的场景，可能需要更强大的工具，如R中的RSelenium（基于Selenium WebDriver的无头浏览器）。
2. 查找数据源的技巧： 使用浏览器开发者工具是关键。在“网络”（Network）选项卡中，您可以监视页面加载时所有的HTTP请求，包括JavaScript文件。通常，文件名或响应内容会暗示其是否包含所需数据。您也可以在“元素”（Elements）选项卡中查看动态生成的HTML，并在“源”（Sources）选项卡中调试JavaScript代码以理解其逻辑。
3. 数据后处理： V8包提取的数据通常是R中的列表或数据框。对于嵌套结构，tidyr包的unnest()函数是强大的工具，可以帮助您将嵌套数据展平为更易于分析的格式。dplyr则用于选择、过滤和转换数据。
4. JavaScript变量名： 确保您ct$get()中使用的变量名与JavaScript文件中实际定义的变量名完全匹配。
5. 编码： 在读取网页内容或JavaScript文件时，指定正确的编码（如encoding = "UTF-8"）可以避免乱码问题。

总结

当传统基于HTML解析的网页抓取方法遇到瓶颈时，特别是在面对由JavaScript动态生成内容的现代网站时，V8包提供了一个强大而灵活的解决方案。通过在R环境中直接执行JavaScript代码并提取其内部变量，我们能够高效地获取到这些隐藏在动态逻辑背后的宝贵数据。掌握这种技术，将极大地扩展您在R语言中进行网页数据抓取的能力。