首先安装HtmlAgilityPack和ScrapySharp，再用HtmlAgilityPack解析HTML中的链接，接着使用ScrapySharp发起请求并用CSS选择器提取网页数据，最后设置User-Agent、超时及异常处理以提升爬虫稳定性。
要用C#实现一个简单的网页爬虫，HtmlAgilityPack 是最常用且功能强大的HTML解析库，而 ScrapySharp 则在它基础上提供了类似CSS选择器和简单请求管理的功能，适合快速上手。下面带你一步步入门这两个库的使用。
在Visual Studio中打开你的C#项目（控制台应用即可），通过NuGet包管理器安装以下两个库：
可以通过Package Manager Console执行命令：
Install-Package HtmlAgilityPack<br>Install-Package ScrapySharp
HtmlAgilityPack能将不规范的HTML转换为可操作的DOM树，即使网页结构混乱也能有效解析。
立即学习“前端免费学习笔记（深入）”；
示例：从本地字符串或下载的HTML中提取所有链接
var html = @"<html><body>
<a href='https://example.com'>Example</a>
<a href='https://google.com'>Google</a>
</body></html>";
var doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(html);
var links = doc.DocumentNode.SelectNodes("//a[@href]");
foreach (var link in links)
{
Console.WriteLine($"Text: {link.InnerText}, URL: {link.GetAttributeValue("href", "")}");
}ScrapySharp提供了一个WebClient类（ScrapySharp.Network.WebClient），可以方便地发起HTTP请求，并结合CSS选择器提取数据。
示例：抓取某个网页的所有标题（假设h2标签包含文章标题）
using ScrapySharp.Network;
using HtmlAgilityPack;
var web = new ScrapingBrowser();
var page = web.NavigateToPage(new Uri("https://quotes.toscrape.com/"));
// 使用CSS选择器获取所有quote块
var quotes = page.CssSelect(".quote");
foreach (var quote in quotes)
{
var text = quote.CssSelect(".text").First().InnerText;
var author = quote.CssSelect(".author").First().InnerText;
Console.WriteLine($"'{text}' — {author}");
}这段代码会输出名言网站上的名言和作者，CssSelect() 方法让选择元素变得像前端开发一样直观。
实际使用中需要注意几点：
例如设置请求头：
web.WithUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64)");
web.WithTimeout(TimeSpan.FromSeconds(10));基本上就这些。掌握HtmlAgilityPack和ScrapySharp后，你可以轻松抓取静态网页中的文本、链接、图片等信息，是做数据采集、内容监控的基础技能。虽然功能不如Python生态丰富，但在.NET环境中足够应对大多数简单爬虫需求。
以上就是C#如何实现一个简单的爬虫？HtmlAgilityPack与ScrapySharp库入门的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告
收藏
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
319
