jsoup是java中解析html的常用工具，提供类似css选择器的api，支持从字符串或url加载页面，可提取元素、属性和文本。它适用于静态网页抓取，但无法执行javascript，对动态内容需结合其他工具或调用接口，并需注意遵守网站规则与设置合理请求参数。
使用 jsoup 解析 HTML 是 Java 开发中处理网页内容的常用方式。它提供了非常简洁的 API 来提取和操作 HTML 数据，支持类似 CSS 选择器的语法，还能处理不规范的 HTML 结构。
1. 引入 jsoup 依赖
如果你使用 Maven，在 pom.xml 中添加以下依赖：
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.16.1</version>
</dependency>
Gradle 用户则在 build.gradle 添加：
implementation 'org.jsoup:jsoup:1.16.1'
2. 从字符串或 URL 加载 HTML
jsoup 可以直接解析 HTML 字符串，也可以从网络加载页面。
立即学习“前端免费学习笔记（深入）”；
从 URL 加载：
Document doc = Jsoup.connect("https://example.com").get();
String title = doc.title();
设置请求参数（如超时、User-Agent）：
Document doc = Jsoup.connect("https://example.com")
.userAgent("Mozilla/5.0")
.timeout(3000)
.get();
解析本地 HTML 字符串：
String html = "<html><body><p class='content'>Hello jsoup!</p></body></html>"; Document doc = Jsoup.parse(html);
3. 使用选择器提取元素
jsoup 支持类似 CSS 选择器的方式查找元素。
-
获取标题：
doc.title() -
通过标签名获取：
doc.select("p") -
通过 class 获取：
doc.select(".content") -
通过 id 获取：
doc.select("#header") -
组合选择器：
doc.select("div.content p") -
获取属性值：
element.attr("href") -
获取文本内容：
element.text()
示例：提取所有链接的文本和地址
Elements links = doc.select("a[href]");
for (Element link : links) {
System.out.println("Text: " + link.text());
System.out.println("URL: " + link.attr("href"));
}
4. 处理动态内容与注意事项
jsoup 是基于静态 HTML 解析的，无法执行 JavaScript。如果目标页面内容由 AJAX 动态加载，直接用 jsoup 可能拿不到完整数据。
应对方法：
- 查看是否可通过 API 接口获取数据（如 JSON）
- 结合 Selenium 或 HtmlUnit 模拟浏览器行为
- 分析网络请求，模拟获取真实数据接口
另外注意遵守网站的 robots.txt 和服务条款，避免高频请求。
基本上就这些。jsoup 上手快，适合抓取静态网页内容，写爬虫或做内容提取都很方便。关键在于熟悉选择器语法和文档结构遍历方式。不复杂但容易忽略细节，比如编码、超时设置等。
