第二章:关键词与文章相似度

第二章:关键词与文章相似度_第1张图片

第二章:关键词与文章相似度_第2张图片

第二章:关键词与文章相似度_第3张图片

第二章:关键词与文章相似度_第4张图片

BeautifulSoup查看结构

第二章:关键词与文章相似度_第5张图片

第二章:关键词与文章相似度_第6张图片

第二章:关键词与文章相似度_第7张图片

第二章:关键词与文章相似度_第8张图片

把html转换成字符串,提取字符串中的内容

第二章:关键词与文章相似度_第9张图片

中文分词介绍

第二章:关键词与文章相似度_第10张图片

第二章:关键词与文章相似度_第11张图片

第二章:关键词与文章相似度_第12张图片

第二章:关键词与文章相似度_第13张图片

第二章:关键词与文章相似度_第14张图片

第二章:关键词与文章相似度_第15张图片

第二章:关键词与文章相似度_第16张图片

第二章:关键词与文章相似度_第17张图片

第二章:关键词与文章相似度_第18张图片

第二章:关键词与文章相似度_第19张图片

jieba分词

第二章:关键词与文章相似度_第20张图片

第二章:关键词与文章相似度_第21张图片

第二章:关键词与文章相似度_第22张图片

第二章:关键词与文章相似度_第23张图片

第二章:关键词与文章相似度_第24张图片

第二章:关键词与文章相似度_第25张图片

自定义词典与词性

第二章:关键词与文章相似度_第26张图片

当创新办和云计算识别不出来时,外加字典

第二章:关键词与文章相似度_第27张图片

第二章:关键词与文章相似度_第28张图片

第二章:关键词与文章相似度_第29张图片

当不知道往字典中加入新词设置多大频率时,可以参考suggest,tag是词性的意思

第二章:关键词与文章相似度_第30张图片

删除词

第二章:关键词与文章相似度_第31张图片

第二章:关键词与文章相似度_第32张图片

关键词的提取方法

第二章:关键词与文章相似度_第33张图片

第二章:关键词与文章相似度_第34张图片

第二章:关键词与文章相似度_第35张图片

第二章:关键词与文章相似度_第36张图片

第二章:关键词与文章相似度_第37张图片

第二章:关键词与文章相似度_第38张图片

第二章:关键词与文章相似度_第39张图片

第二章:关键词与文章相似度_第40张图片

第二章:关键词与文章相似度_第41张图片

第二章:关键词与文章相似度_第42张图片

jieba提取关键词

第二章:关键词与文章相似度_第43张图片

第二章:关键词与文章相似度_第44张图片

第二章:关键词与文章相似度_第45张图片

自定义idf文件的预测

第二章:关键词与文章相似度_第46张图片

第二章:关键词与文章相似度_第47张图片

jieba中使用textrank提取关键词

第二章:关键词与文章相似度_第48张图片

第二章:关键词与文章相似度_第49张图片

第二章:关键词与文章相似度_第50张图片

第二章:关键词与文章相似度_第51张图片

文本VSM的表示方法

第二章:关键词与文章相似度_第52张图片

第二章:关键词与文章相似度_第53张图片

EXCEPT是要删除的词,POS_include是要保留的词性

第二章:关键词与文章相似度_第54张图片

第二章:关键词与文章相似度_第55张图片

借助“ ”.join把unicode转换为字符串

第二章:关键词与文章相似度_第56张图片

排除频率为1的词(7000变为3000)

第二章:关键词与文章相似度_第57张图片

输出前20个频率最高的词

第二章:关键词与文章相似度_第58张图片

将词转换为id值

第二章:关键词与文章相似度_第59张图片

文本相似性计算

第二章:关键词与文章相似度_第60张图片

第二章:关键词与文章相似度_第61张图片

第二章:关键词与文章相似度_第62张图片

第二章:关键词与文章相似度_第63张图片

字典保存与加载

第二章:关键词与文章相似度_第64张图片

第二章:关键词与文章相似度_第65张图片

加载上面保存的语料

第二章:关键词与文章相似度_第66张图片

第二章:关键词与文章相似度_第67张图片

第二章:关键词与文章相似度_第68张图片

第二章:关键词与文章相似度_第69张图片

计算出相似的文本

第二章:关键词与文章相似度_第70张图片

你可能感兴趣的:(NLP情感分析)