使用Golang开发爬虫需先发送HTTP请求获取网页内容，可采用net/http库或colly等第三方库；接着用goquery解析HTML，通过CSS选择器提取标题、链接等结构化数据；随后将数据存储至MySQL、MongoDB或本地JSON/CSV文件；最后利用goroutine实现并发抓取，并设置User-Agent与限速策略避免被封IP。
使用Golang开发爬虫并存储数据，关键在于选择合适的HTTP请求库、解析工具和存储方式。Golang的高效并发特性让它非常适合做爬虫开发。下面从数据获取到存储的完整流程进行说明。
发送HTTP请求获取网页内容
使用Golang标准库net/http即可发起GET请求，配合io/ioutil读取响应体。对于更复杂的场景，推荐使用第三方库如colly或goquery。
示例代码：
resp, err := http.Get("https://example.com")
if err != nil {
log.Fatal(err)
}
defer resp.Body.Close()
body, _ := ioutil.ReadAll(resp.Body)
// body 即为网页原始内容
解析HTML提取结构化数据
使用goquery可以像jQuery一样操作HTML节点，适合处理基于DOM的页面。
立即学习“go语言免费学习笔记（深入）”；
常用方法包括：
- Find("selector")：通过CSS选择器查找元素
- Each()：遍历匹配的节点
- Text() / Attr()：获取文本或属性值
例如提取所有标题：
doc, _ := goquery.NewDocumentFromReader(strings.NewReader(string(body)))
doc.Find("h2.title").Each(func(i int, s *goquery.Selection) {
title := s.Text()
fmt.Println(title)
})
将数据存储到数据库
常见存储目标包括MySQL、PostgreSQL、MongoDB和本地文件。使用database/sql配合驱动（如mysql）可写入关系型数据库。
以MySQL为例：
- 导入"github.com/go-sql-driver/mysql"
- 打开连接：sql.Open("mysql", dsn)
- 执行插入语句，建议使用预编译防止SQL注入
代码片段：
db, _ := sql.Open("mysql", "user:password@/dbname")
stmt, _ := db.Prepare("INSERT INTO articles(title, url) VALUES(?, ?)")
stmt.Exec("示例标题", "https://example.com/1")
若偏好NoSQL，可用mongo-go-driver写入MongoDB，结构更灵活。
保存为本地文件（JSON/CSV）
适合小规模数据或临时分析。Golang内置encoding/json和encoding/csv包。
写入JSON示例：
data := []map[string]string{{"title": "test", "url": "https://..."}}
file, _ := os.Create("output.json")
defer file.Close()
json.NewEncoder(file).Encode(data)
基本上就这些。根据目标网站复杂度选择合适工具，注意设置User-Agent、限速避免被封IP。Golang的goroutine也能轻松实现并发抓取，提升效率。
