首先安装HtmlAgilityPack和ScrapySharp，再用HtmlAgilityPack解析HTML中的链接，接着使用ScrapySharp发起请求并用CSS选择器提取网页数据，最后设置User-Agent、超时及异常处理以提升爬虫稳定性。
要用C#实现一个简单的网页爬虫，HtmlAgilityPack 是最常用且功能强大的HTML解析库，而 ScrapySharp 则在它基础上提供了类似CSS选择器和简单请求管理的功能，适合快速上手。下面带你一步步入门这两个库的使用。
安装必要的NuGet包
在Visual Studio中打开你的C#项目（控制台应用即可），通过NuGet包管理器安装以下两个库：
- HtmlAgilityPack：用于解析HTML文档
- ScrapySharp：扩展HtmlAgilityPack，支持CSS选择器和网页抓取辅助功能
可以通过Package Manager Console执行命令：
Install-Package HtmlAgilityPack
Install-Package ScrapySharp
使用HtmlAgilityPack解析HTML
HtmlAgilityPack能将不规范的HTML转换为可操作的DOM树，即使网页结构混乱也能有效解析。
立即学习“前端免费学习笔记（深入）”；
示例：从本地字符串或下载的HTML中提取所有链接
var html = @" Example Google "; var doc = new HtmlAgilityPack.HtmlDocument(); doc.LoadHtml(html); var links = doc.DocumentNode.SelectNodes("//a[@href]"); foreach (var link in links) { Console.WriteLine($"Text: {link.InnerText}, URL: {link.GetAttributeValue("href", "")}"); }
用ScrapySharp简化网络请求与选择器操作
ScrapySharp提供了一个WebClient类（ScrapySharp.Network.WebClient），可以方便地发起HTTP请求，并结合CSS选择器提取数据。
示例：抓取某个网页的所有标题（假设h2标签包含文章标题）
using ScrapySharp.Network;
using HtmlAgilityPack;
var web = new ScrapingBrowser();
var page = web.NavigateToPage(new Uri("https://quotes.toscrape.com/"));
// 使用CSS选择器获取所有quote块
var quotes = page.CssSelect(".quote");
foreach (var quote in quotes)
{
var text = quote.CssSelect(".text").First().InnerText;
var author = quote.CssSelect(".author").First().InnerText;
Console.WriteLine($"'{text}' — {author}");
}
这段代码会输出名言网站上的名言和作者，CssSelect() 方法让选择元素变得像前端开发一样直观。
处理常见问题与注意事项
实际使用中需要注意几点：
- 部分网站启用JavaScript动态加载内容，HtmlAgilityPack无法执行JS，建议配合PuppeteerSharp等工具处理SPA页面
- 设置User-Agent避免被服务器拒绝
- 遵守robots.txt，合理控制请求频率，避免对目标网站造成压力
- 添加异常处理和超时机制，提高稳定性
例如设置请求头：
web.WithUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64)");
web.WithTimeout(TimeSpan.FromSeconds(10));
基本上就这些。掌握HtmlAgilityPack和ScrapySharp后，你可以轻松抓取静态网页中的文本、链接、图片等信息，是做数据采集、内容监控的基础技能。虽然功能不如Python生态丰富，但在.NET环境中足够应对大多数简单爬虫需求。
