本文介绍了如何使用 R 语言中的 rvest 和 xml2 包从网页中提取嵌套的 URL。由于某些网页的内容是通过 JavaScript 动态加载的，直接使用 read_html 可能无法获取完整的 HTML 结构。本文提供了一种通过分析网络请求，直接获取包含 URL 的 JSON 数据的方法，并使用 httr 包和 dplyr 包进行解析和提取。
理解动态加载的网页
现代网页经常使用 JavaScript 来动态加载内容。这意味着，当你使用 read_html 函数读取网页时，你可能只能获取到初始的 HTML 结构，而缺少通过 JavaScript 加载的部分。这些动态加载的内容可能包含你想要提取的 URL。
分析网络请求
要解决这个问题，你需要分析网页的网络请求，找到加载数据的 API 接口。你可以使用浏览器的开发者工具（通常通过 F12 键打开）来查看网络请求。在 "Network" 选项卡中，你可以找到网页加载的所有资源，包括 HTML、CSS、JavaScript、图片和 JSON 数据等。
获取 JSON 数据
在找到包含 URL 的 JSON 数据后，你可以使用 httr 包来发送 HTTP 请求，获取数据。以下是一个示例：
一款无需安装的即时交流系统，只需申请一个帐号，将一段代码嵌入贵站网页中，就可以让客服人员发现所有到达您网站的访客，而且可以看到访客的来源、使用的搜索引擎等，您可以主动发起对话与访客沟通，进行产品推销，从而大大提高产品销售成功率。 还是一款协同管理软件，在保持与客户信息通畅的同时，也保持公司内部之间的信息交流，从而提高企业的工作效率和客户服务质量。 管理员帐号：biiz.cn 密码：biiz.cn
library(httr)
library(dplyr)
url <- paste0("https://thrivemarket.com/api/v1/products",
"?page_size=60&multifilter=1&cur_page=1")
content(GET(url))$products %>%
lapply(function(x) data.frame(product = x$title, url = x$url)) %>%
bind_rows() %>%
as_tibble()代码解释：
- library(httr) 和 library(dplyr): 加载 httr 用于发送 HTTP 请求，dplyr 用于数据处理。
- url : 构建 API 的 URL。你需要根据你分析的网络请求结果修改这个 URL。
- content(GET(url))$products: 使用 GET 函数发送 HTTP GET 请求，content 函数将响应内容解析为 R 对象。 $products 用于提取 JSON 数据中包含产品信息的列表。
- lapply(function(x) data.frame(product = x$title, url = x$url)): 使用 lapply 函数遍历产品列表，并提取每个产品的标题和 URL，并将它们存储在一个数据框中。
- bind_rows(): 将所有数据框合并成一个大的数据框。
- as_tibble(): 将数据框转换为 tibble 对象，这是一种更现代的数据框格式。
注意事项
- API 的 URL 可能会改变: 网页的 API 接口可能会随着时间的推移而改变。你需要定期检查你的代码，确保它仍然能够正常工作。
- 需要遵守网站的robots.txt: 在抓取网页数据时，务必遵守网站的 robots.txt 协议，尊重网站的爬取规则。
- 设置请求头 (User-Agent): 有些网站会根据请求头来判断是否为爬虫，可以在 GET 请求中设置 User-Agent 字段，模拟浏览器行为。
library(httr)
library(dplyr)
url <- paste0("https://thrivemarket.com/api/v1/products",
"?page_size=60&multifilter=1&cur_page=1")
headers = c('User-Agent' = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3')
content(GET(url, add_headers(headers)))$products %>%
lapply(function(x) data.frame(product = x$title, url = x$url)) %>%
bind_rows() %>%
as_tibble()总结
当使用 rvest 和 xml2 无法直接提取动态加载的网页内容时，分析网络请求，直接获取 JSON 数据是一种有效的替代方案。使用 httr 包发送 HTTP 请求，并使用 dplyr 包进行数据处理，可以轻松地提取你需要的 URL。记住，你需要定期检查你的代码，确保它仍然能够正常工作，并遵守网站的爬取规则。
