httpurlconnection最轻量适合基础抓取，需设user-agent、处理重定向、指定utf-8编码；jsoup更可靠，自动解析html并支持css选择器；多页爬取须限速控并发；文件保存需注意路径、编码与特殊字符处理。
用 HttpURLConnection 发起 GET 请求最轻量
不需要引入第三方库，JDK 自带的 HttpURLConnection 就能完成基础页面抓取。适合学习网络通信原理或做一次性小任务。
关键点在于设置请求头、处理重定向、读取响应流——很多初学者卡在没设 User-Agent 被 403 拒绝，或忽略 setInstanceFollowRedirects(false) 导致跳转后丢失原始响应。
- 必须调用
connect()才真正发起连接，仅 new 出对象不发包 - 响应码要用
getResponseCode()判断，getInputStream()在非 2xx/3xx 时会抛IOException -
中文乱码常见原因是没指定字符集，建议统一用
new String(bytes, "UTF-8")解码
URL url = new URL("https://example.com");
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("GET");
conn.setRequestProperty("User-Agent", "Mozilla/5.0");
conn.setConnectTimeout(5000);
conn.setReadTimeout(5000);
int code = conn.getResponseCode();
if (code == 200) {
InputStream is = conn.getInputStream();
String html = new String(is.readAllBytes(), "UTF-8");
}
用 Jsoup.connect() 解析 HTML 更可靠
纯 HTTP 工具（如 HttpURLConnection）只负责拿回字符串，要提取标题、链接、表格等内容，得自己写正则或 DOM 解析逻辑——极易出错且维护成本高。直接上 Jsoup 是更务实的选择。
它内置了 HTML 解析器、CSS 选择器支持，还能自动处理编码、标签闭合、XSS 过滤等细节。注意别漏掉 .userAgent() 和 .timeout()，否则默认超时是 3 秒，很多网站会断连。
立即学习“Java免费学习笔记（深入）”；
-
select("a[href]")比手写正则href="([^"]+)"更稳定，能正确处理换行、属性顺序、引号类型 - 用
abs("href")获取绝对 URL，避免相对路径拼接错误 - 如果目标页有 JS 渲染内容（如 Vue/React），
Jsoup无法执行脚本，此时需换用 Selenium 或 Puppeteer
Document doc = Jsoup.connect("https://example.com")
.userAgent("Mozilla/5.0")
.timeout(10000)
.get();
Elements links = doc.select("a[href]");
for (Element link : links) {
String url = link.absUrl("href"); // 不是 link.attr("href")
System.out.println(url);
}
爬取多页时必须控制并发和延迟
写个 for 循环连续请求 100 个页面，看似简单，实则大概率被封 IP 或触发反爬。服务器端看到密集短连接，会直接返回 429 或 503，甚至拉黑整个出口 IP。
最简单的缓解方式是加固定延时 + 限速，但比这更重要的是理解“为什么不能快”：HTTP 连接复用、DNS 缓存、TCP 握手开销都会被高频请求放大。盲目加线程反而加剧问题。
- 单线程下用
Thread.sleep(1000)控制每秒 1 次请求，已能满足多数静态站点 - 若必须并发，用
ExecutorService限定线程数（如Executors.newFixedThreadPool(3)），并为每个任务单独设 timeout - 不要复用同一个
Connection实例跨请求，每次Jsoup.connect()都新建连接更安全
保存数据到文件时注意编码和路径安全
把抓到的 HTML 写进本地文件，看似一步操作，实际容易踩三个坑：路径含中文导致 FileNotFoundException、Windows 默认 GBK 写入 UTF-8 内容变乱码、文件名非法字符（如 /、:）引发异常。
Java 8+ 推荐用 Files.write() 替代老式 FileWriter，它强制指定字符集，且对路径处理更健壮。
- 用
URLEncoder.encode(filename, "UTF-8")处理文件名中的特殊字符 - 路径用
Paths.get("data", "page.html")构造，避免手动拼接/或\ - 写入前确保目录存在：
Files.createDirectories(Paths.get("data"))
String content = doc.html();
String safeName = URLEncoder.encode("example.com", "UTF-8") + ".html";
Path path = Paths.get("data", safeName);
Files.createDirectories(path.getParent());
Files.write(path, content.getBytes(StandardCharsets.UTF_8));
真实项目里，反爬策略、登录态维持、增量去重、代理轮换这些环节才真正决定爬虫能否长期运行。上面这些只是让程序“跑起来”的最小可行路径。 
