C#爬虫框架

 

      DotnetSpider

               地址:DotnetSpider (一) 架构的理解、应用、搭建 - Grom

               DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件,采用 C# 开发。目前是.Net开源爬虫最为优秀的爬虫之一。

      NWebCrawler

               地址:Download NWebCrawler 1.0

               NWebCrawler是一款开源的C#网络爬虫程序更多NWebCrawler

      Abot(似乎不再免费支持150美元)

               地址:GitHub - sjdirect/abot: C# web crawler built for speed and flexibility.

                Abot是一个开源的.net爬虫,速度快,易于使用和扩展。

      xNet

              地址:GitHub - X-rus/xNet: xNet - class library for .NET Framework

              这个一个俄国牛人写的开源工具,为啥说他强悍了,因为他将所有Http协议的底层都实现了一遍,这有啥好处?只要你是写爬虫的,都会遇到一个让人抓狂的问题,就是明明知道自己Http请求头跟浏览器一模一样了,为啥还会获取不到自己想要的数据。这时你如果使用HttpWebReaquest,你只能调试到GetRespone,底层的字节流是调试不到了。所以必须得有个更深入的底层组件,方便自己调试。

      AngleSharp

               地址:AngleSharp - Home

               解析HTML利器AngleSharp介绍解析HTML利器AngleSharp介绍AngleSharp是基于.NET(C#)开发的专门为解析xHTML源码的DLL组件。

      HtmlAgilityPack

              地址:Html Agility pack | Html Agility Pack

             HtmlAgilityPack是 .NET 下的一个 HTML 解析类库。支持用 XPath 来解析 HTML 。命名空间: HtmlAgilityPack

      CSQuery(未维护,开源作者推荐AngleSharp)

                地址:GitHub - jamietre/CsQuery

                 CsQuery 犀利的html代码分析库,像jq一样用c#处理html

 

以上的C#爬虫框架不一定都持续更新,可能已经很久没有维护了。So,链接不准的请自行百度。

你可能感兴趣的:(C#)