IronWebScraper:强大的抓取引擎由您掌控

IronWebScraper

C#WebScraping

#C#frameworkhtml web应用程序中提取干净、

结构化的数据

#用于系统迁移、填充搜索引擎、

竞争分析和数据挖掘


强大的抓取引擎由您掌控

只需编写一个C#网络抓取分类,即可将成千上万的网页抓取到C#类实例、JSON或下载的文件中。IronWebScraper允许您编写简洁的线性工作流来模拟人类的浏览行为。IronWebScraper会将您的代码作为大量虚拟Web浏览器运行,这些浏览器大规模并行,但上等且具有容错能力。

IronWebScraper:强大的抓取引擎由您掌控_第1张图片

简单灵活的逻辑

IronWebScraper必须进行编程以知道如何处理它遇到的每种“类型”的页面。这可以使用CSS选择器或XPath表达式以非常简洁的方式实现,并且可以在C#中完全自定义。这种自由度使您可以决定在网站中抓取哪些页面,以及如何处理提取的数据。每种方法都可以在Visual Studio中调试和查看。

IronWebScraper:强大的抓取引擎由您掌控_第2张图片

快速且礼貌的行为

IronWebScraper处理多线程和Web请求,以允许数百个并发线程,而开发人员无需管理它们。可以将礼貌设置为限制请求,从而降低目标Web服务器上过多负载的风险。

IronWebScraper:强大的抓取引擎由您掌控_第3张图片

创建虚拟用户身份

IronWebScraper可以使用一个或多个“身份”——模拟现实世界中人类需求的会话。每个请求都可以通过编程方式或随机分配其自己的身份、用户代理、Cookie、登录名甚至IP地址。请求被设置为自动唯一,并结合了URL、解析方法和post变量。

IronWebScraper:强大的抓取引擎由您掌控_第4张图片

动作回放

IronWebScraper使用高级缓存,让开发人员可以“即时”更改其代码并回放以前的每个请求,而无需联系互联网。每个抓取作业均已自动保存,并且在发生异常或断电时可以恢复。

IronWebScraper:强大的抓取引擎由您掌控_第5张图片

使用Microsoft Visual Studio快速安装

IronWebScraper可以使用Visual Studio安装程序将Web抓取工具快速放入您的手中。无论是直接从Visual Studio中的Nuget进行安装还是下载DLL,您都可以立即进行设置。只有一个DLL,没有其它依赖关系。




公司名称:北京哲想软件有限公司

北京哲想软件官方网站:www.cogitosoft.com

北京哲想软件微信公众平台账号:cogitosoftware

北京哲想软件微博:哲想软件

北京哲想软件邮箱:[email protected]

销售(俞先生)联系方式:+86(010)68421378

微信:18610247936 QQ:368531638


IronWebScraper:强大的抓取引擎由您掌控_第6张图片

你可能感兴趣的:(IronWebScraper:强大的抓取引擎由您掌控)