vbs爬取网站robots

'运行完下述代码之后你会在桌面上看到一个文本文件
'里面保存了该网站的robots协议

strFileURL="https://www.jd.com/robots.txt"
strHDLocation="D:\自己的软件\55.txt"
Set objXMLHTTP=CreateObject("MSXML2.XMLHTTP")'创建HTTP请求对象
objXMLHTTP.open "GET",strFileURL,false'打开连接
objXMLHTTP.send()'发送请求
If objXMLHTTP.Status = 200 Then
Set objADOStream = CreateObject("ADODB.Stream")
objADOStream.Open'打开数据流
objADOStream.Type=1'设置数据流为2进制
objADOStream.Write objXMLHTTP.ResponseBody'将服务器的返回内容写进数据流
objADOStream.Position = 0
Set objFSO = CreateObject("Scripting.FileSystemObject")'创建一个文件对象
If objFSO.Fileexists(strHDLocation) Then objFSO.DeleteFile strHDLocation'如果文件存在就删除它
Set objFSO=Nothing
objADOStream.SaveToFile strHDLocation'将数据流保存为文件
objADOStream.Close
Set objADOStream=Nothing
End if
Set objXMLHTTP = Nothing