本文详解为何同一 CSS 选择器（如 #article）在不同年份的美联储会议纪要页面上表现不一致，并提供兼容多版本 HTML 结构的鲁棒抓取策略，含可直接运行的 rvest 代码与关键注意事项。
本文详解为何同一 css 选择器（如 `#article`）在不同年份的美联储会议纪要页面上表现不一致，并提供兼容多版本 html 结构的鲁棒抓取策略，含可直接运行的 `rvest` 代码与关键注意事项。
在使用 R 进行网页抓取时，一个常见误区是假设目标网站的 HTML 结构长期稳定。以美联储（Federal Reserve）FOMC 会议纪要页面为例：2023 年的页面使用
包裹正文，而 2011 年的页面则采用
—— 这导致仅依赖 #article 的代码在旧页面上返回空结果，看似“失效”，实则是结构差异所致。
要构建健壮、可扩展的爬虫逻辑，关键在于主动适配而非被动依赖单一选择器。推荐采用组合 CSS 选择器语法 #article, #printThis，它能同时匹配任一存在的 ID，且 html_elements()（新版 rvest 推荐函数，替代已弃用的 html_nodes()）会自动返回所有匹配节点，无匹配时返回空节点（不会报错）。
以下为生产就绪的示例代码（兼容 R 4.1+ 与 rvest ≥ 1.0）：
library(rvest)
library(stringr)
links <- c(
"https://www.federalreserve.gov/monetarypolicy/fomcminutes20230201.htm",
"https://www.federalreserve.gov/monetarypolicy/fomcminutes20111102.htm"
)
# 批量抓取：统一处理多结构页面
scraped_texts <- lapply(links, function(url) {
read_html(url) %>%
html_elements("#article, #printThis") %>% # 兼容新旧ID
html_text() %>%
str_squish() %>% # 清理多余空白符（换行、缩进、连续空格）
str_c(collapse = " ") # 合并多个匹配块（如存在多个#article）
})
# 查看结果（每条截取前80字符便于预览）
lapply(scraped_texts, str_trunc, width = 80)✅ 关键注意事项：
立即学习“前端免费学习笔记（深入）”；
- ✦ 始终优先使用 html_elements()（非 html_nodes()），后者在 rvest 1.0+ 中已被标记为废弃；
- ✦ str_squish() 比 str_trim() 更彻底——它将内部所有空白序列压缩为单个空格，避免段落间残留冗余空格；
- ✦ 若未来新增结构（如 #content-main），只需扩展选择器："#article, #printThis, #content-main"；
- ✦ 对于大规模抓取，建议添加 httr2::request() 配置超时与用户代理头，规避反爬拦截（例如 set_user_agent("Mozilla/5.0")）；
- ❌ 避免使用 html_node()（单节点）代替 html_elements()（多节点），否则首个不匹配即返回 NULL，导致静默失败。
总结而言，网页抓取的稳定性不取决于“猜对一个选择器”，而在于设计可演化的选择器策略 + 健壮的文本清洗流程。面对机构网站的历史存档页，拥抱结构多样性，才是可持续数据采集的基石。
