java写简单爬虫核心是发请求→取响应→解析→存数据：用httpurlconnection或httpclient发请求并设user-agent、超时等；用jsoup解析html提取内容；存本地文件并去重；遵守robots.txt、控制频率、处理异常。
用Java写简单爬虫，核心是“发请求→取响应→解析内容→存数据”，不需要框架也能实现，关键在于理解HTTP通信和HTML结构。
用HttpURLConnection或HttpClient发HTTP请求
Java原生支持网络请求，HttpURLConnection轻量够用，适合学习；进阶可选Apache HttpClient（功能更全、自动处理重定向/连接池等）。注意设置User-Agent模拟浏览器，否则很多网站会拒绝访问。
- 设置请求头：Connection、User-Agent、Accept等字段要合理
- 处理重定向：HttpURLConnection默认不自动跳转，需手动判断响应码301/302并跟进Location
- 超时控制：connectTimeout和readTimeout必须设，避免程序卡死
用Jsoup解析HTML提取数据
Jsoup是Java生态中最友好的HTML解析库，语法接近jQuery，支持CSS选择器，能直接从URL、字符串或文件加载文档。
- 示例：Document doc = Jsoup.connect("https://example.com").get(); Element title = doc.select("title").first();
- 提取文本：用text()；提取属性：用attr("href")；遍历列表：select("div.item").forEach(el → ...)
- 注意编码：如果页面中文乱码，显式指定charset，如Jsoup.parse(html, "UTF-8")
基础数据保存与简单去重
初期可先存到本地文件（如CSV或TXT），避免引入数据库复杂度。对URL去重可用HashSet
立即学习“Java免费学习笔记（深入）”；
- 写文件建议用try-with-resources保证流关闭
- 避免高频请求：Thread.sleep(1000)加简单延时，尊重robots.txt和网站反爬策略
- 异常要捕获：IOException、HttpStatusException（Jsoup）、ParseException等不能忽略
规避基础反爬与注意事项
不是所有网站都欢迎爬虫。简单项目也要有基本合规意识：
- 先查看目标站根目录下的robots.txt，遵守Crawl-delay和Disallow规则
- 单IP短时间内大量请求易被封，本地测试优先用小范围URL+低频策略
- 静态页面优先抓；含JavaScript渲染的内容（如Vue/React SPA）原生Jsoup无法执行JS，需换用Selenium或对接渲染服务
不复杂但容易忽略细节，把请求、解析、存储三个环节串通，再加一点守则意识，一个可用的入门爬虫就跑起来了。
