自然语言处理python进阶 脚本之家_文本分类

最近读了《Python深度学习》， 是一本好书，很棒，隆重推荐。

本书由Keras之父、现任Google人工智能研究员的弗朗索瓦•肖莱(François Chollet)执笔，详尽介绍了用Python和Keras进行深度学习的探索实践，涉及计算机视觉、自然语言处理、生成式模型等应用。书中包含30多个代码示例，步骤讲解详细透彻。由于本书立足于人工智能的可达性和大众化，读者无须具备机器学习相关背景知识即可展开阅读。在学习完本书后，读者将具备搭建自己的深度学习环境、建立图像识别模型、生成图像和文字等能力。

各方面都很好，但是总感觉哪里有点欠缺，后来想想，可能是作者做得太好了，把数据预处理都做得好好的，所以你才能“20行搞定情感分析”，这可能也是学习其他深度学习工具过程中要面临的一个问题，很多工具都提供了预处理好的数据，导致学习过程中只需要调用相关接口即可。不过在实际工作中，数据的预处理是非常重要的，从数据获取，到数据清洗，再到基本的数据处理，例如中文需要分词，英文需要Tokenize, Truecase或者Lowercase等，还有去停用词等等，在将数据“喂”给工具之前，有很多事情要做。这个部分，貌似是当前一些教程有所欠缺的地方，所以才有了这个“从零开始做”的想法和系列，准备弥补一下这个缺失，第一个例子就拿《Python深度学习》这本书第一个文本挖掘例子练手：电影评论文本分类-二分类问题，这也可以归结为一个情感分析任务。

首先介绍一下这个原始的电影评论数据集aclIMDB: Large Movie Review Dataset, 这个数据集由斯坦福大学人工智能实验室于2011年推出，包含25000条训练数据和25000条测试数据，另外包含约50000条没有标签的辅助数据。训练集和测试集又分别包含12500条正例(正向评价pos)和12500负例(负向评价neg)。关于数据，更详细的介绍可参考该数据集的官网：http://ai.stanford.edu/~amaas/data/sentiment/, paper: Learning Word Vectors for Sentiment Analysis, 和数据集里的readme。

下载之后进行解压：tar -zxvf aclImdb.tar.gz，可以用tree命令看一下aclImdb的目录结构：

tree aclImdb -L 2

继续进入训练集正例的目录看一下: cd aclImdb/train/pos/:

这个里面包含了12500篇英文评论，我们随机打开一个看一下里面的文本内容：

vim 1234_10.txt

I grew up watching this movie ,and I still love it just as much today as when i was a kid. Don't listen to the critic reviews. They are not accurate on this film.Eddie Murphy really shines in his roll.You can sit down with your whole family and everybody will enjoy it.I recommend this movie to everybody to see. It is a comedy with a touch of fantasy.With demons ,dragons,and a little bald kid with God like powers.This movie takes you from L.A. to Tibet , of into the amazing view of the wondrous temples of the mountains in Tibet.Just a beautiful view! So go do your self a favor and snatch this one up! You wont regret it!