百度paddlepaddle《青春有你2》技术打卡五天学习总结与创意赛参加
1. 心得
这是我第一次参加百度打卡训练营，之前对python稍有一些了解，因为此前包括现在的研究生硕士阶段一直常用Matlab，但现今python同样作为主要编程软件，尤其在人工智能领域，我希望能多一份python方面的学习。
整个过程一周左右，我很喜欢训练营的学习氛围和形式，助教们在媒体平台进行直播、答疑、互动等，在AI Studio进行练习实践，遇到问题我们可以在微信讨论群里问津，在AI Studio讨论区畅所欲言，所有的模式都让我觉得很舒适，节奏不快不慢，每一天的学习都是循序渐进的，适合我这类有一些基础或者是没有基础的其他同学。
在学习之后，我联想到的自己海外好朋友poly，她是一个俄罗斯女孩，在中国留学期间去过一些中国的城市，但时光荏苒，去年她毕业回国了。通过图像处理技术，我们一起游玩了其他一些城市。快看看吧。
哪张图片是原图呢？你能猜出来吗？
Paddlehub帮助Poly去了更多的地方，比如故宫。
快来我的AI Studio主页，看看如何实现这些美妙的旅程吧。
https://aistudio.baidu.com/aistudio/projectdetail/457015
2. 五天的学习
对数据的提取，画图呈现是十分基本、重要的内容，python在这些方面有着极高的效率，我们通过爬取，提取青春有你选手的体重信息分布，并绘制饼状图，如：
也通过爬取某视频软件中青春有你某一期节目的评论热词云图，热词频率图等。
Day1-Python基础练习
深度学习离不开数学分析（高等数学）、线性代数、概率论等知识，更离不开以编程为核心的动手实践。
无论是在机器学习还是深度学习中，Python 已经成为主导性的编程语言。而且，现在许多主流的深度学习框架都提供Python接口，Python被用于数据预处理、定义网络模型、执行训练过程、数据可视化等
熟悉 Python 的基础语法，并掌握 NumPy，Pandas 及其他基础工具模块的使用对深度学习实践是非常重要的！
例如我们去查找特定名称文件遍历”Day1-homework”目录下文件；找到文件名包含“2020”的文件；将文件名保存到数组result中；按照序号、文件名分行打印输出。应当怎么做呢？
`#首先需要导入OS模块
import os
#待搜索的目录路径
path = "Day1-homework"
#待搜索的名称
filename = "2020"
#定义保存结果的数组
result = []
def findfiles():
i = 1
for root, dirs, files in os.walk(path):
for iter_file in files:
if iter_file.find(filename) !=-1:
result.append(i)
result.append(os.path.realpath(iter_file))
print(result)
i += 1
result = []
return 'done searching!'
if __name__ == '__main__':
Day2-《青春有你2》选手信息爬取
任务描述
本次实践使用Python来爬取百度百科中《青春有你2》所有参赛选手的信息。数据获取：https://baike.baidu.com/item/青春有你第二季
1.上网的全过程:普通用户:
打开浏览器 --> 往目标站点发送请求 --> 接收响应数据 --> 渲染到页面上。
爬虫程序:
模拟浏览器 --> 往目标站点发送请求 --> 接收响应数据 --> 提取有用的数据 --> 保存到本地/数据库。
爬虫的过程：1.发送请求（requests模块）
2.获取响应数据（服务器返回）
3.解析并提取数据（BeautifulSoup查找或者re正则）
4.保存数据
本实践中使用以下两个模块，首先对这两个模块简单了解以下：
request模块：requests是python实现的简单易用的HTTP库，官网地址：http://cn.python-requests.org/zh_CN/latest/
requests.get(url)可以发送一个http get请求，返回服务器响应内容。
BeautifulSoup库：BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库。网址：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml，
BeautifulSoup(markup, “html.parser”)或者BeautifulSoup(markup, “lxml”)，推荐使用lxml作为解析器,因为效率更高。
import json
import re
import requests
import datetime
from bs4 import BeautifulSoup
import os
#获取当天的日期,并进行格式化,用于后面文件命名，格式:20200420
today = datetime.date.today().strftime('%Y%m%d')
def crawl_wiki_data():
"""
爬取百度百科中《青春有你2》中参赛选手信息，返回html
"""
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
url='https://baike.baidu.com/item/青春有你第二季'
try:
response = requests.get(url,headers=headers)
print(response.status_code)
#将一段文档传入BeautifulSoup的构造方法,就能得到一个文档的对象, 可以传入一段字符串
soup = BeautifulSoup(response.text,'html.parser')
#返回的是class为table-view log-set-param的所有标签
tables = soup.find_all('table',{'class':'table-view log-set-param'})
crawl_table_title = "参赛学员"
for table in tables:
#对当前节点前面的标签和字符串进行查找
table_titles = table.find_previous('div').find_all('h3')
for title in table_titles:
if(crawl_table_title in title):
return table
except Exception as e:
print(e)
二、对爬取的页面数据进行解析，并保存为JSON文件
def parse_wiki_data(table_html):
'''
从百度百科返回的html中解析得到选手信息，以当前日期作为文件名，存JSON文件,保存到work目录下
'''
bs = BeautifulSoup(str(table_html),'html.parser')
all_trs = bs.find_all('tr')
error_list = ['\'','\"']
stars = []
for tr in all_trs[1:]:
all_tds = tr.find_all('td')
star = {}
print(all_tds)
#姓名
star["name"]=all_tds[0].text
#个人百度百科链接
star["link"]= 'https://baike.baidu.com' + all_tds[0].find('a').get('href')
#籍贯
star["zone"]=all_tds[1].text
#星座
star["constellation"]=all_tds[2].text
#身高
star["height"]=all_tds[3].text
#体重
star["weight"]= all_tds[4].text
#花语,去除掉花语中的单引号或双引号
flower_word = all_tds[5].text
for c in flower_word:
if c in error_list:
flower_word=flower_word.replace(c,'')
star["flower_word"]=flower_word
#公司
if not all_tds[6].find('a') is None:
star["company"]= all_tds[6].find('a').text
else:
star["company"]= all_tds[6].text
stars.append(star)
json_data = json.loads(str(stars).replace("\'","\""))
with open('work/' + today + '.json', 'w', encoding='UTF-8') as f:
json.dump(json_data, f, ensure_ascii=False)
三、爬取每个选手的百度百科图片
def crawl_pic_urls():
'''
爬取每个选手的百度百科图片，并保存
'''
with open('work/'+ today + '.json', 'r', encoding='UTF-8') as file:
json_array = json.loads(file.read())
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
for star in json_array:
pic_urls = []
pic_set = set()
name = star['name']
link = star['link']
response = requests.get(link,headers=headers)
print(response.status_code)
#将一段文档传入BeautifulSoup的构造方法,就能得到一个文档的对象, 可以传入一段字符串
soup = BeautifulSoup(response.text,'html.parser')
#picture
imgs_middle = soup.find_all('a',{'class':'image-link'})
imgs_left = soup.find_all('div',{'class':'summary-pic'})
imgs_url = []
imgs= soup.find_all('a',{'class':'lemma-album'})
# 这种方式获取全部图册 1052张
# for item in imgs:
# imgResponse = requests.get("https://baike.baidu.com"+item['href'],headers=headers)
# imgSoup = BeautifulSoup(imgResponse.text,'html.parser')
# imgs_a= imgSoup.find_all('a',{'class':'pic-item'})
# for a_item in imgs_a:
# if a_item.img['src'] not in pic_set:
# pic_set.add(a_item.img['src'])
# pic_urls.append(a_item.img['src'])
# 这种方式获取词条图册 482张
for item in imgs_left:
imgResponse2 = requests.get("https://baike.baidu.com"+item.a['href'],headers=headers)
imgSoup2 = BeautifulSoup(imgResponse2.text,'html.parser')
imgs_a2= imgSoup2.find_all('a',{'class':'pic-item'})
for a_item in imgs_a2:
if a_item.img:
if a_item.img['src'] not in pic_set:
pic_set.add(a_item.img['src'])
pic_urls.append(a_item.img['src'])
down_pic(name,pic_urls)
def down_pic(name,pic_urls):
'''
根据图片链接列表pic_urls, 下载所有图片，保存在以name命名的文件夹中,
'''
path = 'work/'+'pics/'+name+'/'
if not os.path.exists(path):
os.makedirs(path)
print("正在下载:%s" %(str(name)))
for i, pic_url in enumerate(pic_urls):
try:
pic = requests.get(pic_url, timeout=15)
string = str(i + 1) + '.jpg'
with open(path+string, 'wb') as f:
f.write(pic.content)
print('成功下载第%s张图片: %s' % (str(i + 1), str(pic_url)))
except Exception as e:
print('下载第%s张图片时失败: %s' % (str(i + 1), str(pic_url)))
print(e)
continue
四、打印爬取的所有图片的路径
def show_pic_path(path):
'''
遍历所爬取的每张图片，并打印所有图片的绝对路径
'''
pic_num = 0
for (dirpath,dirnames,filenames) in os.walk(path):
for filename in filenames:
pic_num += 1
print("第%d张照片：%s" % (pic_num,os.path.join(dirpath,filename)))
print("共爬取《青春有你2》选手的%d照片" % pic_num)
if __name__ == '__main__':
#爬取百度百科中《青春有你2》中参赛选手信息，返回html
html = crawl_wiki_data()
#解析html,得到选手信息，保存为json文件
parse_wiki_data(html)
#从每个选手的百度百科页面上爬取图片,并保存
crawl_pic_urls()
#打印所爬取的选手图片路径
show_pic_path('/home/aistudio/work/pics/')
print("所有信息爬取完成！")
Day3-《青春有你2》选手数据分析
这次作业是选手籍贯、体重等可视化，在这里我绕了挺多弯，从网页上爬取的体重信息是含有单位，在数值比较之前需要去除体重的单位 “kg”。
import matplotlib.pyplot as plt
import numpy as np
import json
import matplotlib.font_manager as font_manager
import pandas as pd
df = pd.read_json('data/data31557/20200422.json')
grouped=df['weight']
weight_kg=[]
for weight in grouped:
weight_kg.append(weight)
a=0
b=0
c=0
d=0
for weight in weight_kg:
weight=float(weight.replace('kg', ''))
if weight > 55.0:
a=a+1
elif 55.0>= weight >=50.0:
b=b+1
elif 50.0> weight >45.0:
c=c+1
else:
d=d+1
labels ='>55kg','50~55kg','45~50kg','<=45kg'
fraces = [a,b,c,d]
explode = [0,0,0.1,0]
plt.axes(aspect=1)
plt.pie(x=fraces,labels= labels,autopct='%0f%%',explode= explode,shadow=True)
plt.show()
Day4-PaddleHub之《青春有你2》作业：五人识别
图像分类是计算机视觉的重要领域，它的目标是将图像分类到预定义的标签。近期，许多研究者提出很多不同种类的神经网络，并且极大的提升了分类算法的性能。
#CPU环境启动请务必执行该指令
%set_env CPU_NUM=1 env: CPU_NUM=1
#安装paddlehub
!pip install paddlehub==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
Step1、基础工作加载数据文件导入python包
!unzip -o file.zip -d ./dataset/unzip: cannot find or open file.zip, file.zip.zip or file.zip.ZIP.
import paddlehub as hub
Step2、加载预训练模型
接下来我们要在PaddleHub中选择合适的预训练模型来Finetune，由于是图像分类任务，因此我们使用经典的ResNet-50作为预训练模型。PaddleHub提供了丰富的图像分类预训练模型，包括了最新的神经网络架构搜索类的PNASNet，我们推荐您尝试不同的预训练模型来获得更好的性能。
Step3、数据准备接着需要加载图片数据集。
我们使用自定义的数据进行体验，请查看适配自定义数据
from paddlehub.dataset.base_cv_dataset import BaseCVDataset
class DemoDataset(BaseCVDataset):
def __init__ (self):
# 数据集存放位置
self.dataset_dir = "."
super(DemoDataset, self).__init__(
base_path=self.dataset_dir,
train_list_file="dataset/train_list.txt",
validate_list_file="dataset/validate_list.txt",
test_list_file="dataset/test_list.txt",
label_list_file="dataset/label_list.txt",
)
dataset = DemoDataset()
Step4、生成数据读取器
接着生成一个图像分类的reader，reader负责将dataset的数据进行预处理，接着以特定格式组织并输入给模型进行训练。当我们生成一个图像分类的reader时，需要指定输入图片的大小
data_reader = hub.reader.ImageClassificationReader(
image_width=module.get_expected_image_width(),
image_height=module.get_expected_image_height(),
images_mean=module.get_pretrained_images_mean(),
images_std=module.get_pretrained_images_std(),
dataset=dataset)[2020-04-26 14:54:08,965] [ INFO] - Dataset label map = {'虞书欣': 0, '许佳琪': 1, '赵小棠': 2, '安崎': 3, '王承渲': 4}
Step5、配置策略
在进行Finetune前，我们可以设置一些运行时的配置，例如如下代码中的配置，表示：use_cuda：设置为False表示使用CPU进行训练。如果您本机支持GPU，且安装的是GPU版本的PaddlePaddle，我们建议您将这个选项设置为
True；epoch：迭代轮数；
batch_size：每次训练的时候，给模型输入的每批数据大小为32，模型训练时能够并行处理批数据，因此batch_size越大，训练的效率越高，但是同时带来了内存的负荷，过大的batch_size可能导致内存不足而无法训练，因此选择一个合适的batch_size是很重要的一步；
log_interval：每隔10 step打印一次训练日志；
eval_interval：每隔50 step在验证集上进行一次性能评估；
checkpoint_dir：将训练的参数和数据保存到cv_finetune_turtorial_demo目录中；
strategy：使用DefaultFinetuneStrategy策略进行finetune；更多运行配置，请查看RunConfig同时PaddleHub提供了许多优化策略，如AdamWeightDecayStrategy、ULMFiTStrategy、DefaultFinetuneStrategy等。
config = hub.RunConfig(
use_cuda=False, #是否使用GPU训练，默认为False；
num_epoch=3, #Fine-tune的轮数；
checkpoint_dir="cv_finetune_turtorial_demo",#模型checkpoint保存路径, 若用户没有指定，程序会自动生成；
batch_size=3, #训练的批大小，如果使用GPU，请根据实际情况调整batch_size；
eval_interval=10, #模型评估的间隔，默认每100个step评估一次验证集；
strategy=hub.finetune.strategy.DefaultFinetuneStrategy()) #Fine-tune优化策略；
Step6、组建Finetune Task
有了合适的预训练模型和准备要迁移的数据集后，我们开始组建一个Task。由于该数据设置是一个二分类的任务，而我们下载的分类module是在ImageNet数据集上训练的千分类模型，所以我们需要对模型进行简单的微调，把模型改造为一个二分类模型：获取module的上下文环境，包括输入和输出的变量，以及Paddle Program；从输出变量中找到特征图提取层feature_map；在feature_map后面接入一个全连接层，生成Task；
input_dict, output_dict, program = module.context(trainable=True)
img = input_dict["image"]
feature_map = output_dict["feature_map"]
feed_list = [img.name]
task = hub.ImageClassifierTask(
data_reader=data_reader,
feed_list=feed_list,
feature=feature_map,
num_classes=dataset.num_labels,
config=config)[2020-04-26 14:54:09,034] [ INFO] - 267 pretrained paramaters loaded by PaddleHub
Step7、开始Finetune
我们选择finetune_and_eval接口来进行模型训练，这个接口在finetune的过程中，会周期性的进行模型效果的评估，以便我们了解整个训练过程的性能变化。
Step8、预测当Finetune完成后，我们使用模型来进行预测，先通过以下命令来获取测试的图片
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
with open("dataset/test_list.txt","r") as f:
filepath = f.readlines()
data = [filepath[0].split(" ")[0],filepath[1].split(" ")[0],filepath[2].split(" ")[0],filepath[3].split(" ")[0],filepath[4].split(" ")[0]]
label_map = dataset.label_dict()
index = 0
run_states = task.predict(data=data)
results = [run_state.run_results for run_state in run_states]
for batch_result in results:
print(batch_result)
batch_result = np.argmax(batch_result, axis=2)[0]
print(batch_result)
for result in batch_result:
index += 1
result = label_map[result]
print("input %i is %s, and the predict result is %s" %
(index, data[index - 1], result))
Day5-综合大作业
第一步：爱奇艺《青春有你2》评论数据爬取(参考链接：https://www.iqiyi.com/v_19ryfkiv8w.html#curid=15068699100_9f9bab7e0d1e30c494622af777f4ba39)爬取任意一期正片视频下评论评论条数不少于1000条
第二步：词频统计并可视化展示数据预处理：清理清洗评论中特殊字符（如：@#￥%、emoji表情符）,清洗后结果存储为txt文档中文分词：添加新增词（如：青你、奥利给、冲鸭），去除停用词（如：哦、因此、不然、也好、但是）统计top10高频词可视化展示高频词
第三步：绘制词云根据词频生成词云可选项-添加背景图片，根据背景图片轮廓生成词云
第四步：结合PaddleHub，对评论进行内容审核
!pip install jieba
!pip install wordcloud
!ls /usr/share/fonts/
!fc-list :lang=zh | grep ".ttf"
!wget https://mydueros.cdn.bcebos.com/font/simhei.ttf # 下载中文字体
!mkdir .fonts
!cp simhei.ttf .fonts/
#安装模型
!hub install porn_detection_lstm==1.1.0
!pip install --upgrade paddlehub
from __future__ import print_function
import requests
import json
import re #正则匹配
import time #时间处理模块
import jieba #中文分词
import numpy as np
import matplotlib
import matplotlib.pyplot as plt
import matplotlib.font_manager as font_manager
from PIL import Image
from wordcloud import WordCloud #绘制词云模块
import paddlehub as hub
#请求爱奇艺评论接口，返回response信息
def getMovieinfo(url):
'''
请求爱奇艺评论接口，返回response信息
参数 url: 评论的url
:return: response信息
'''
session=requests.Session()
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
"Accept":'application/json',
"Referer":"https://www.iqiyi.com/v_19ryfkiv8w.html",
"Origin":"http://m.iqiyi.com",
"Host":"sns-comment.iqiyi.com",
"Connection":"keep-alive",
"Accept-Language":"zh-CN,zh;q=0.9",
"Accept-Encoding":'gzip, deflate, br'
}
response=session.get(url,headers=headers)
if response.status_code==200:
return response.text
return None
#解析json数据，获取评论
def saveMovieInfoToFile(lastId,arr):
'''
解析json数据，获取评论
参数 lastId:最后一条评论ID arr:存放文本的list
:return: 新的lastId
'''
url='https://sns-comment.iqiyi.com/v3/comment/get_comments.action?agent_type=118&\
agent_version=9.11.5&business_type=17&content_id=15068699100&\
page=&page_size=10&types=time&last_id='
url+=str(lastId)
resTxt=getMovieinfo(url)
resJson=json.loads(resTxt)
comments=resJson['data']['commments']
for val in comments:
if "content" in val.keys():
arr.append(val['content'])
lastId=str(val['id'])
return lastId
#去除文本中特殊字符
def clear_special_char(content):
'''
正则处理特殊字符
参数 content:原文本
return: 清除后的文本
'''
s = re.sub(r"| |\t|\r", "", content)
s=re.sub(r'\n',' ',s)
s=re.sub(r'\*','\\*',s)
s=re.sub(r'[^\u4e00-\u9fa5^a-z^A-Z^0-9]','',s)
s=re.sub(r'[\001\002\003\004\005\006\007\x08\x09\x0a\x0b\x0c\x0d\x0e\x0f' '\x10\x11\x12\x13\x14\x15\x16\x17x18\x19\x1a\x1b\x1c\x1d\x1e\x1f' '\x20\x21\x22\x23\x24\x25\x26\x27\x28\x29\x2a\x2b\x2c\x2d\x2e\x2f' '\x30\x31\x32\x33\x34\x35\x36\x37\x38\x39\x3a\x3b\x3c\x3d\x3e\x3f]','',s)
s=re.sub(r'[a-zA-Z]','',s)
s=re.sub('^d+(\.\d+)?$','',s)
return sIn[8]def fenci(text):
'''
利用jieba进行分词
参数 text:需要分词的句子或文本
return：分词结果
'''
#jieba.load_userdict("words.txt")
# import pdb; pdb.set_trace()
seq=jieba.lcut(text,cut_all=False)
return seq
def stopwordslist():
'''
创建停用词表
参数 file_path:停用词文本路径
return：停用词list
'''
stopwords = [line.strip() for line in open('work/stopwords.txt',encoding='ISO-8859-1').readlines()]
acstopwords=['哦','因此','不然','也好','但是']
stopwords.extend(acstopwords)
return stopwordsIn[10]def movestopwords(sentense,stopwords,counts):
'''
去除停用词,统计词频
参数 file_path:停用词文本路径 stopwords:停用词list counts: 词频统计结果
return：None
'''
out=[]
for word in sentense:
if word not in stopwords:
if len(word)!=1:
counts[word]=counts.get(word,0)+1
return None
def drawcounts(counts,num):
'''
绘制词频统计表
参数 counts: 词频统计结果 num:绘制topN
return：none
'''
x_aixs=[]
y_aixs=[]
c_order=sorted(counts.items(),key=lambda x:x[1],reverse=True)
for c in c_order[:num]:
x_aixs.append(c[0])
y_aixs.append(c[1])
matplotlib.rcParams['font.sans-serif'] = ['simhei'] # 指定默认字体
#matplotlib.rcParams['axes.unicode_minus'] = False
plt.bar(x_aixs,y_aixs)
plt.title("词频统计结果")
plt.show()
return
]import sys
import os
import paddlehub as hub
#加载模型
humanseg = hub.Module(name = "deeplabv3p_xception65_humanseg")
#抠图
results = humanseg.segmentation(data = {"image":['work/beauty.jpg']})
for result in results:
print(result['origin'])
print(result['processed'])
def drawcloud(word_counts):
'''
根据词频绘制词云图
参数 word_f:统计出的词频结果
return：none
'''
# 词频展示
# 关键一步
font=r'simhei.ttf'
shape=np.array(Image.open('humanseg_output/beauty.png'))
my_wordcloud = WordCloud(font_path=font,stopwords=stopwords,background_color='white',mask=shape,width=800,height=600,
max_words=200,max_font_size = 100,random_state=20).generate_from_frequencies(word_counts)
#显示生成的词云
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()
my_wordcloud.to_file('pic.png')
return
ef text_detection(text,file_path):
'''
使用hub对评论进行内容分析
return：分析结果
'''
pdlstm=hub.Module(name='porn_detection_lstm')
test_text=[]
f = open("aqy.txt",'r',encoding='utf-8')
for line in f:
if len(line.strip())==1:
continue
test_text.append(line)
f.close()
input_dict={"text":test_text}
results=pdlstm.detection(data=input_dict,use_gpu=True,batch_size=1)
for index,item in enumerate(results):
if item['porn_detection_key']=='porn':
print(item['text'],':',item['porn_probs'])
'''
使用hub对评论进行内容分析
return：分析结果
'''
#评论是多分页的，得多次请求爱奇艺的评论接口才能获取多页评论,有些评论含有表情、特殊字符之类的
#num 是页数，一页10条评论，假如爬取1000条评论，设置num=100
if __name__ == "__main__":
num=100
lastId='0'
arr=[]
with open('aqy.txt','a',encoding='utf-8') as f:
for i in range(num):
lastId=saveMovieInfoToFile(lastId,arr)
time.sleep(0.5)
for item in arr:
Item=clear_special_char(item)
try:
f.write(Item+'\n')
except Exception as e:
print(Item)
print('含有特殊字符')
print("共爬取评论:",len(arr))
共爬取评论: 997
f =open('aqy.txt','r',encoding='utf-8')
counts={}
for line in f:
if line.strip():
words=fenci(line)
# print(words)
# import pdb; pdb.set_trace()
stopwords=stopwordslist()
movestopwords(words,stopwords,counts)
f.close()
drawcounts(counts,10)
print(len(counts))
drawcloud(counts)
file_path='aqy.txt'
test_text=[]
text_detection(test_text,file_path)
display(Image.open('pic.png')) #显示生成的词云图像
你可能感兴趣的:(百度paddlepaddle《青春有你2》技术打卡五天学习总结与创意赛参加)