web文件被更改crawlergo怎么解决_w13scan、xray被动扫描和crawlergo爬虫联动

前言

最近get到了⼀个爬⾍利器crawlergo，于是就忽然想到与被动扫描利器xray和W13scan联动。

准备

本⼈系统：mac

⼯具准备：w13scan、crawlargo、xray、chromium

W13scan 是基于Python3的⼀款开源的Web漏洞发现⼯具,它⽀持主动扫描模式

和被动扫描模式，⽬前可以发现sql注⼊、xss、jsonp泄露、命令执⾏等常⻅漏

洞。pip3 install -r requirements.txt

cd W13SCAN # 进⼊源码⽬录

python3 w13scan.py -h

参数详解：optional arguments:

-h, --help 显示此帮助信息并退出

-v, --version 显示程序的版本号并退出

--debug 显示程序的异常

--level {1,2,3,4,5} 不同级别使⽤不同的有效负载:0-5(默认为2)

Proxy:

被动代理模式选项

-s SERVER_ADDR, --server-addr SERVER_ADDR 服务器addr格式:(ip:端⼝)

Target:

必须提供选项来定义⽬标

-u URL, --url URL ⽬标URL(例如:“http://www.site.com/vuln.php?id=1”)

-f URL_FILE, --file URL_FILE 扫描⽂本⽂件中给定的多个⽬标

Request:

Network request options

--proxy PROXY 使⽤代理连接到⽬标URL，如:[email protected]:8080 --timeout TIMEOUT 超时连接之前等待的超时秒数(默认为30)

--retry RETRY 超时检索时间。

Output:

输出

--html 当选择时，输出html⽂件到输出⽬录，或者您可以指定

--json JSON json⽂件⽬录是在输出中默认⽣成的⽬录，您可以更改路径

Optimization:

优化选项

-t THREADS, --threads THREADS

最⼤并发⽹络请求数(默认为31)

--disable DISABLE [DISABLE ...]

禁⽤⼀些插件(例如——禁⽤xss sqli_error)

--able ABLE [ABLE ...]

启⽤⼀些moudle(例如:启⽤xss webpack)

由于w13scan本身不⽀持爬⾍功能，所以想到了360 0Kee-Teem公开的使⽤

golang语⾔开发的crawlargo，crawlergo使⽤chrome headless模式进⾏URL动

态爬⾍，收集包括js⽂件内容、⻚⾯注释、robots.txt⽂件和常⻅路径Fuzz，确保

不遗漏关键的⼊⼝链接。

安装之前需要安装最新版的chromium，下载地址如下：https://download-chromium.appspot.com/

下载后是这样的：

然后下载crawlargo：https://github.com/0Kee-Team/crawlergo

我是mac下载底下圈起来的：

命令参数详解：--chromium-path Path, -c Path chrome的可执⾏程序路径

--custom-headers Headers ⾃定义HTTP头，使⽤传⼊json序列化之后的数据，

这个是全局定义，将被⽤于所有请求

--post-data PostData, -d PostData 提供POST数据，⽬标使⽤POST请求⽅法

--max-crawled-count Number, -m Number 爬⾍最⼤任务数量，避免因伪静态

造成⻓时间⽆意义抓取。

--filter-mode Mode, -f Mode 过滤模式，简单：只过滤静态资源和完全重复的请

求。智能：拥有过滤伪静态的能⼒。严格：更加严格的伪静态过滤规则。

--output-mode value, -o value 结果输出模式，console：打印当前域名结果。

json：打印所有结果的json序列化字符串，可直接被反序列化解析。none：不打

印输出。

--output-json filepath 将爬⾍结果JSON序列化之后写⼊到json⽂件。

--incognito-context, -i 浏览器启动隐身模式

--max-tab-count Number, -t Number 爬⾍同时开启最⼤标签⻚，即同时爬取的

⻚⾯数量。--fuzz-path 使⽤常⻅路径Fuzz⽬标，获取更多⼊⼝。

--robots-path 从 /robots.txt ⽂件中解析路径，获取更多⼊⼝。

--request-proxy proxyAddress ⽀持socks5代理，crawlergo和chrome浏览器的

所有⽹络请求均经过代理发送。

--tab-run-timeout Timeout 单个Tab标签⻚的最⼤运⾏超时。

--wait-dom-content-loaded-timeout Timeout 爬⾍等待⻚⾯加载完毕的最⼤超

时。

--event-trigger-interval Interval 事件⾃动触发时的间隔时间，⼀般⽤于⽬标⽹

络缓慢，DOM更新冲突时导致的URL漏抓。

--event-trigger-mode Value 事件⾃动触发的模式，分为异步和同步，⽤于DOM

更新冲突时导致的URL漏抓。

--before-exit-delay 单个tab标签⻚任务结束时，延迟退出关闭chrome的时间，

⽤于等待部分DOM更新和XHR请求的发起捕获。

--ignore-url-keywords 不想访问的URL关键字，⼀般⽤于在携带Cookie访问时

排除注销链接。⽤法：-iuk logout -iuk exit。

--form-values ⾃定义表单填充的值，按照⽂本类型设置。⽀持定义类型：

default, mail, code, phone, username, password, qq, id_card, url, date,

number，⽂本类型通过输⼊框标签的id、name、class、type四个属性值关键字

进⾏识别。如，定义邮箱输⼊框⾃动填充A，密码输⼊框⾃动填充B，-fv mail=A

-fv password=B。其中default代表⽆法识别⽂本类型时的默认填充值，⽬前为

Cralwergo。

--form-keyword-values ⾃定义表单填充的值，按照关键字模糊匹配设置。关键

字匹配输⼊框标签的id、name、class、type四个属性值。如，模糊匹配pass关

键词填充123456，user关键词填充admin，-fkv user=admin -fkv

pass=123456。

--push-to-proxy 拟接收爬⾍结果的监听地址，⼀般为被动扫描器的监听地址。

--push-pool-max 发送爬⾍结果到监听地址时的最⼤并发数。

--log-level 打印⽇志等级，可选 debug, info, warn, error 和 fatal。

xray就不多说了安装对应版本即可

过程

⾸先测试爬⾍，命令为crawlergo -c YourChromiumPath -t 标签⻚数 Url./crawlergo -c chrome-mac\ 2/Chromium.app/Contents/MacOS/Chromium -t 10 http://testphp.vulnweb.com/

效果如下：

测试与xray联动：

⾸先监听：./xray_darwin_amd64 webscan --listen 127.0.0.1:7777 --html-output vulnerability.html

crawlargo开始使⽤代理爬⾍./crawlergo -c chrome-mac/Chromium.app/Contents/MacOS/Chromium -t 10--request-proxy http://127.0.0.1:7777 http://testphp.vulnweb.com/

效果如下：

如果想半⾃动化⼀点，⽐如测试多个url可以参

考：https://github.com/timwhitez/crawlergo_x_XRAY

测试与W13scan联动：

⾸先监听python3 w13scan.py -s 127.0.0.1 --html

与前⾯爬⾍⼀样的，只是多了个代理./crawlergo -c chrome-mac/Chromium.app/Contents/MacOS/Chromium -t 10

--request-proxy http://127.0.0.1:7778 http://testphp.vulnweb.com/

效果如下：

查看输出的html⽂件，⾥⾯有漏洞URL，漏洞类型，漏洞参数，漏洞利⽤的payload，还有请求信息。

我们也可以利用w8ay师傅的自动化脚本：import os

import sys

from urllib.parse import urlparse

import requests

import json

import subprocess

from lib.core.data import KB

root = os.path.dirname(os.path.realpath(__file__))

sys.path.append(os.path.join(root, "../"))

sys.path.append(os.path.join(root, "../", "W13SCAN"))

from api import modulePath, init, FakeReq, FakeResp, HTTPMETHOD, task_push_from_name, start, logger

# 爬虫文件路径

Excvpath = "/Users/boyhack/tools/crawlergo/crawlergo_darwin"

# Chrome 路径

Chromepath = "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome"

def read_test():

with open("spider_testphp.vulnweb.com.json") as f:

datas = f.readlines()

for data in datas:

item = json.loads(data)

url = item["url"]

method = item["method"]

headers = item["headers"]

data = item["data"]

try:

if method.lower() == 'post':

req = requests.post(url, data=data, headers=headers)

http_model = HTTPMETHOD.POST

else:

req = requests.get(url, headers=headers)

http_model = HTTPMETHOD.GET

except Exception as e:

logger.error("request method:{} url:{} faild,{}".format(method, url, e))

continue

fake_req = FakeReq(req.url, {}, http_model, data)

fake_resp = FakeResp(req.status_code, req.content, req.headers)

task_push_from_name('loader', fake_req, fake_resp)

logger.info("爬虫结束，开始漏洞扫描")

start()

def vulscan(target):

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "

"Chrome/74.0.3945.0 Safari/537.36",

"Spider-Name": "Baidu.Inc"

}

if target == "":

return

elif "://" not in target:

target = "http://" + target

try:

req = requests.get(target, headers=headers, timeout=60)

target = req.url

except:

return

netloc = urlparse(target).netloc

logger.info("开始爬虫:{}".format(target))

cmd = [Excvpath, "-c", Chromepath, "--fuzz-path", "--robots-path", "-t", "20", "--custom-headers",

json.dumps(headers), "--max-crawled-count", "10086", "-i", "-o", "json",

target]

rsp = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

output, error = rsp.communicate()

try:

result = json.loads(output.decode().split("--[Mission Complete]--")[1])

except IndexError:

return

if result:

all_req_list = result["req_list"]

logger.info("获得数据:{}".format(len(all_req_list)))

for item in all_req_list:

with open("spider_{}.json".format(netloc), "a+") as f:

f.write(json.dumps(item) + '\n')

url = item["url"]

method = item["method"]

headers = item["headers"]

data = item["data"]

try:

if method.lower() == 'post':

req = requests.post(url, data=data, headers=headers)

http_model = HTTPMETHOD.POST

else:

req = requests.get(url, headers=headers)

http_model = HTTPMETHOD.GET

except Exception as e:

logger.error("request method:{} url:{} faild,{}".format(method, url, e))

continue

fake_req = FakeReq(req.url, {}, http_model, data)

fake_resp = FakeResp(req.status_code, req.content, req.headers)

task_push_from_name('loader', fake_req, fake_resp)

logger.info("加入扫描目标:{}".format(req.url))

logger.info("爬虫结束，开始漏洞扫描")

start()

logger.info("漏洞扫描结束")

logger.info("发现漏洞:{}".format(KB.output.count()))

def init_w13scan():

root = modulePath()

configure = {

"debug": False, # debug模式会显示更多信息

"level": 2,

"timeout": 30,

"retry": 3,

"json": "", # 自定义输出json结果路径,

"html": True,

"threads": 30, # 线程数量,

"disable": [],

"able": [],

"excludes": ["google", "lastpass", '.gov.cn'] # 不扫描的网址

}

init(root, configure)

if __name__ == '__main__':

target = "http://testphp.vulnweb.com/"

init_w13scan()

vulscan(target)

# read_test()

可以根据自己的需求修改命令以及输出文件路径：

效果如下先对目标进行爬虫操作再进行漏洞扫描：

参考：