fastText 情感分类

情感分类任务就是看一段文本，然后分辨这个人是否喜欢他们在讨论的这个东西。

情感分类一个最大的挑战就是可能标记的训练集没有那么多，但是有了词嵌入，即使只有中等大小的标记的训练集，你也能构建一个不错的情感分类器

image.png

image.png

假设有一个句子：“这个衣服质量不错”

• 通过分词、去除停用词等预处理操作，得到“衣服/质量/不错”
• 获取“衣服”、“质量”、“不错” 的对应词向量（可以通过 TF-IDF、word2vec等与训练获得）。
• 求取“衣服”、“质量”、“不错”三个词向量的平均值（或者求和）
• 把特征向量输入到 softmax 分类器，获取最终的评分。

问题答疑

1、使用平均值运算的优点是什么
这个算法适用于任何长短的评论，会把所有词语的意思平均。
2、算法的缺点是什么？
没有考虑词序，尤其是一个负面的评价“缺少好的服务、好的交通”。

• https://www.jianshu.com/p/87d4e4b4f9d2