.NET4.5 WFP中用WebBrowser获取/操作网页html代码

引言

      想给自己之前写的网页小说爬虫程序更新换代，之前一直是用winform的形式写的程序，因此这一次更新打算把UI换成WPF（因为听说WPF很漂亮），顺便也以此引入WPF的学习。

      那么作为网页爬虫程序，最重要的就是html源码的获取了，通常的获取方式有几种：HttpWebRequest、WebRequest、WebClient、WebBrowser等。由于我这里写的爬虫软件针对的网站需要先登录才能看到小说内容，而我一次爬取的内容不多都是短篇小说，因此不需要考虑到爬取的速度，因此自然是打算使用WebBrowser来实现登陆后获取网页源码。而为了加快爬取速度我考虑多开几个WebBrowser线程，同时对多个页面进行采集，暂时不知道这个思路是否能够实现，这是后话了。（题外话，如果你要快速爬取大量网页，可以考虑使用WebClient，若有登录需求则进行模拟登录记录cookie，不过这样挺麻烦的）

问题

      新建WPF项目后，第一件事就是吧WebBrowser控件拖一个到窗口中，由于我熟悉网站开发，因此xaml对我来说倒不是什么难事。可是在获取网页源代码这一步就坑爹了，WPF中WebBrowser的属性和方法似乎没有能够获取html 的！

实践

      遇到问题先问搜索引擎，然而网上大家似乎都没有类似需求，全是WPF中如何用webbrowser操作html元素的，大概就是通过IHTMLElement接口操作DOM。不过既然都操作了DOM，那么获取html也是没问题的了。

1.引用中添加Microsoft.mshtml.dll

      在中找到需要引用的项目

2.操作Html

      之后就可以用HTMLDocument来操作Html了，记得要引用命名空间：mshtml。之后的内容以代码的形式贴上。

using mshtml;



……



webBrowser.Navigate("http://www.baidu.com/");



// ……等待网页加载……



HTMLDocument doc = this.wb3.Document as HTMLDocument;

//获取body内的html代码

string html = doc.body.innerHTML;

//暂时没搞明白应该怎么获取所有的html代码



//根据ID获取元素

//根据id获得input

IHTMLElement inputSearch = (IHTMLElement)doc.all.item("kw");

//为input设置value属性

inputSearch.setAttribute("value","设置搜索内容");

//获得搜索按钮

IHTMLElement submitSearch = (IHTMLElement)doc.all.item("su");

//点击按钮

submitSearch.click();

//获取窗体

mshtml.IHTMLWindow2 window = (mshtml.IHTMLWindow2)doc.parentWindow;

//注入javascript

window.execScript("alert(123);", "javascript");

//注入禁止弹窗等

window.execScript("function alert(){return;}", "javascript");

window.execScript("function confirm(){return;}", "javascript");

//第二次的alert将不会执行

window.execScript("alert(456);", "javascript");

 

/// <summary>

/// 这个方法据说可以屏蔽掉JS,在Navigated事件中调用，未测试

/// </summary>

/// <param name="wb"></param>

/// <param name="Hide"></param>

public void HideScriptErrors(WebBrowser wb, bool Hide)

{

　　FieldInfo fiComWebBrowser = typeof(WebBrowser).GetField("_axIWebBrowser2", BindingFlags.Instance | BindingFlags.NonPublic);

　　if (fiComWebBrowser == null) return;

　　object objComWebBrowser = fiComWebBrowser.GetValue(wb);

　　if (objComWebBrowser == null) return;

　　objComWebBrowser.GetType().InvokeMember("Silent", BindingFlags.SetProperty, null, objComWebBrowser, new object[] { Hide });

}