本文详解为何 jsoup 和 httpclient 无法获取 javascript 渲染的内容，并提供基于 htmlunit 的可靠解决方案，包括等待异步脚本执行、正确选择 dom 元素及避免重复解析等关键实践。
现代网站大量依赖 JavaScript（尤其是 React、Vue 或 AJAX）动态加载内容——例如职位列表、商品卡片或用户评论。这类内容在初始 HTML 响应中并不存在，而是由浏览器执行 JS 后异步插入 DOM。因此，Jsoup 和 HttpClient 这类纯 HTTP/HTML 解析器只能获取服务器返回的原始 HTML，无法执行 JavaScript，自然“看不见”后续渲染的元素。
你遇到的 <div class="needed content"></div> 空标签正是典型表现：服务端返回了一个占位容器，真实内容需经 JS（如 fetch() 请求数据 + document.createElement 插入）填充。此时强行用 Jsoup 再次解析 HtmlUnit 返回的 XML（如示例中 Jsoup.parse(page.asXml())）不仅冗余，还可能因序列化失真（如丢失动态属性、事件绑定状态）导致选择失败，且白白增加内存与 CPU 开销。
✅ 正确做法是：全程使用 HtmlUnit —— 它内置了 Rhino/JS Engine（新版支持 GraalVM），可真实模拟浏览器行为。关键在于两点：
- 启用 JavaScript 并容忍脚本错误（避免因第三方 JS 报错中断流程）；
- 显式等待异步脚本完成：调用 webClient.waitForBackgroundJavaScriptStartingBefore(timeoutMs)，确保所有 setTimeout、fetch、Promise.then 等异步任务执行完毕。
以下为生产就绪的示例代码（适配最新 HtmlUnit 2.70+）：
立即学习“Java免费学习笔记（深入）”；
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.DomNodeList;
public class DynamicContentScraper {
public static void main(String[] args) throws Exception {
String url = "https://chainlinklabs.com/jobs";
try (final WebClient webClient = new WebClient()) {
// 必须启用 JS，禁用 CSS 可加速（不影响结构抓取）
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setCssEnabled(false);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setTimeout(30_000); // 延长超时，应对慢网速
HtmlPage page = webClient.getPage(url);
// ⚠️ 核心：等待所有后台 JS（含异步 fetch、React hydrate）执行完成
webClient.waitForBackgroundJavaScriptStartingBefore(15_000);
// 直接使用 HtmlUnit 的强大选择器（支持 CSS Selector、XPath）
DomNodeList<DomNode> jobElements = page.querySelectorAll(".job-title");
System.out.println("✅ 成功抓取 " + jobElements.size() + " 个职位标题：");
for (DomNode node : jobElements) {
System.out.println("- " + node.asNormalizedText().trim());
}
}
}
}? 注意事项与优化建议：
- 避免 waitForBackgroundJavaScript(10000) 的旧写法：waitForBackgroundJavaScriptStartingBefore 更精准，它等待 已启动 的 JS 任务完成，而非简单休眠；
- 若页面使用现代 ES6+ 语法，HtmlUnit 2.70+ 默认支持，但复杂场景可切换至 GraalVM 模式（需额外依赖）；
- 调试技巧：临时取消注释 page.asXml() 输出，对比原始 HTML 与渲染后 HTML，确认目标元素是否真实存在；
- 替代方案权衡：Selenium 资源消耗更大（需启动真实浏览器），而 HtmlUnit 无头轻量，适合服务端批量采集；若需处理 WebAssembly 或极端复杂的 SPA，再考虑 Puppeteer Java 绑定。
总结：当内容由 JavaScript 动态生成时，放弃 Jsoup 单打独斗，转向 HtmlUnit 并严格遵循「启用 JS → 获取页面 → 等待异步完成 → 直接查询」四步法，即可稳定、高效地抓取真实渲染后的 DOM 结构。
