网络安全-实战篇 FOFA爬虫大法——API的简单利用

FOFA是一款网络空间搜索引擎，它通过进行网络空间测绘，帮助研究人员或者企业迅速进行网络资产匹配，例如进行漏洞影响范围分析、应用分布统计、应用流行度等。

何为API？如果你在百度百科上搜索，你会得到如下结果：

API（Application Programming Interface，应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。

那么通俗一点来说，API是什么呢？从技术角度来说，API指的是应用程序编程接口。很多大型企业都会为自己的客户建立应用程序编程接口，或供内部使用。

今天i春秋针对爬虫FOFA里面的数据进行统计分析，即API的简单利用，希望对大家有所帮助，本文阅读用时约5分钟。

环境

描述环境为文章中所用到的所有技术以及中间件并非全部安装，可根据使用的规模进行调整使用。

语言：python2.7（必须）

模块：requests（必须）

操作系统：MacOS 10.13.4（非必须）

分布式消息队列管理：Celery（最后一节安装）

日志记录：logging（必须）

中间价：Redis（最后一节安装）/MySQL（必须）

数据库操作：pymysql（必须）/DBUtils（必须）

安装环境

# 安装requests
pip isntall requests
# 安装celery Mac
pip install celery
# 安装celery Windows
pip isntall celery=3.1.25
# 安装 pymysql
pip install pymysql
# 安装logging
pip install logging
# 安装 DBUtils 数据库连接池
pip install DBUtils

注：Windows安装Celery时最好安装3.1.25版本，不然可能会有意想不到的惊喜。

FOFA API

文档：https://fofa.so/api

请求：https://fofa.so/api/v1/search/all

请求方式：GET

请求参数：
响应：

数据库设计

设计数据库存放FOFA爬虫数据，方便统计查询。

SQL语句

DROP TABLE IF EXISTS `fofa_spider`;
CREATE TABLE `fofa_spider` (
 `id` INT (11) NOT NULL AUTO_INCREMENT,
 `host` VARCHAR (255) NOT NULL,
 `ip` VARCHAR (255) NOT NULL,
 `port` VARCHAR (255) DEFA