四十行Python代码，带你爬取热门音乐评论，制作评论词云图！
请求页面数据
driver.get(‘https://music.163.com/#/song?id=569213220’) #
selenium无法直接获取到嵌套页面里面的数据
switch_to.frame() 切换到嵌套网页
driver.switch_to.frame(0)
让浏览器加载的时候, 等待渲染页面
driver.implicitly_wait(10)
driver.page_source 获取请求页面的 html 数据
print(driver.page_source)
下拉页面, 直接下拉到页面的底部
js = ‘document.documentElement.scrollTop = document.documentElement.scrollHeight’
driver.execute_script(js)
控制翻页 速度太快
for page in range(10):
解析评论数据
divs = driver.find_elements_by_css_selector(‘.itm’) # 所有div css语法: 定位到 html 数据/xpath/正则
for div in divs:
cnt = div.find_element_by_css_selector(‘.cnt.f-brk’).text
cnt = re.findall(‘：(.*)’, cnt)[0] # 中英文有区别
print(cnt)
with open(‘contend.txt’, mode=‘a’, encoding=‘utf-8’) as f:
f.write(cnt + ‘\n’)
翻页 , 找到下一页标签, 点击?
driver.find_element_by_css_selector(‘.znxt’).click()
time.sleep(1)
效果
爬虫部分完事了，接下来看看词云图部分~
模块
import jieba # 中文分词库 pip install jieba
import wordcloud # 制作词云图的模块 pip install wordcloud
读取文件数据
with open(‘contend.txt’, mode=‘r’, encoding=‘utf-8’) as f:
txt = f.read()
print(txt)
词云图 分词<中文(词语)> 基于结果
txt_list = jieba.lcut(txt)
print(‘分词结果:’, txt_list)
合并
string_ = ’ '.join(txt_list) # 1 + 1 = 2 字符串的基本语法
print(‘合并分词:’, string_)
import imageio
添加系统环境变量
img = imageio.imread(‘音乐.png’)
创建词云图
wc = wordcloud.WordCloud(
width=1000, # 图片的宽
height=800, # 图片的高
background_color=‘black’, # 图片的背景色
font_path=‘msyh.ttc’, # 微软雅黑
scale=15, # 词云图默认的字体大小
mask=img, # 指定词云图的图片
停用词< 语气词, 助词,…
stopwords=set([line.strip() for line in open(‘cn_stopwords.txt’, mode=‘r’, encoding=‘utf-8’).readlines()] )
)
绘制保存
print(‘正在绘制词云图…’)
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）
6f86381401c05e862fe4e9.png)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）
