基于Python的招聘信息的大数据可视化分析系统
1. 项目背景
互联网时代，网络已经完完全全走进到我们的生活当中，成为我们生活当中的一部分，其中很多求职、找工作也不例外，因此，很多招聘平台，例如像赶集网、58同城、英才网、智联招聘、前程无忧等求职网站如雨后春笋般的出现在市场上，为每一个求职者提供了便利，相对人才市场举办的线下招聘，其成本少、效率高、速度快等优点深受求职者们的青睐。由于企业招聘的特殊性，目前影响薪资的无非是地理位置、工作经验、学历、技术等，这些并非是呈传统性的线性变化。
本项目利用Python实现某一城市招聘相关信息的爬取，并对爬取的原始数据进行数据清洗，存储到数据库中，通过 Flask+echarts+Bootstrap+jquery搭建系统，分析各个区域所招聘企业的数量以及对学历、工作经验、工资等的数据分析。
招聘可视化系统录像
2. 招聘数据
招聘信息爬取流程为，先获取该市所有的在线招聘信息，以南昌市为例，通过构造循环，抓取所有分页下的招聘数据。
base_url = 'https://nanchang.xxxx.com/community/p{}/'
start = 1
end = 100
big_Region = "***" # 图片按照所在区
address = "***" # 图片按地址存储地址
quyu = "***"
small_Region = "***" # 大区域所包含小区域
count = 0
for i in range(start, end):
if i==1:
# 第2要修改的地方
url = "https://nanchang.xxxx.com/xxxx/" + quyu
else:
url="https://nanchang.xxxx.com/xxxx/" + quyu + "/" + "pg" + str(i)
link_req = requests.get(url, headers)
# print(req.status_code)
html = link_req.text
soup = BeautifulSoup(html, "lxml")
uls = soup.find('ul', class_="***Content***")通过lxml解析器对分析html页面的Dom结构，利用 Bootstrap 进行解析，获取招聘信息的详细字段信息。
同理，获取招聘下所有在招聘信息：
3. 招聘据清洗与存储
抓取的原始数据可能存在数据异常、缺失等情况，需要进行数据清洗和数据类型转换等预处理操作。清洗后的数据存储到sqlite数据库中。
# 获取excel里面的数据集
def get_bossLast(dpath):
datalist = []
df = pd.read_csv(dpath, encoding="gbk")
df = df[["职位","公司名","城市","地区","商业区","工作经验","教育水平","公司行业","规模人数","技能","福利","最低薪资","最高薪资","薪资年薪","平均工资"]]
datalist = df.values.tolist()
return datalist# 4.保存数据到sqlite3中
def saveDataDB(datalist, dbpath):
init_db(dbpath)
conn = sqlite3.connect(dbpath)
cur = conn.cursor()
for data in datalist:
for index in range(len(data)):
data[index] = '"' + *** + '"'
sql = '''
insert into ***
print(sql)
4. 招聘可视化分析系统
系统采用 flask 搭建 web 后台，利用 pandas、numpy等工具包实现对当前招聘企业的数量、学历、工作经验、工资等进行统计分析，并利用 bootstrap + echarts +bootstraps + Jquery进行前端渲染可视化。
4.1 区域数据分析
4.2 学历要求数据分析
4.3 工资数据分析
4.4 招聘福利假期行业等的词云分析
5. 总结
本项目利用Python实现某城市招聘相关信息的爬取，并对爬取的原始数据进行数据清洗，存储到数据库中，通过 flask 搭建后台，分析影响工资的各类因素，最终呈现出相关的数据分析可是画图。
注：由于是第一次写，很多不足，请多指教。