关键词抽取，从网上找的总结，实战稍后

原因是股票社区的文章，经常出现一些水军，整天讨论些风牛马不相及的内容，然后大肆的破坏社区氛围，基于此要对一个文章进行主题的抽取，有了上一篇的相似贴的分词经验，下一步应该会顺利些

https://www.zhihu.com/question/21104071

---

作者：刘知远
链接：https://www.zhihu.com/question/21104071/answer/24556905
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

我博士阶段的研究课题就是关键词抽取，欢迎下载阅读我的论文“基于文档主题结构的关键词抽取方法研究”。以我做关键词抽取的经验，建议如下：

1. TFIDF是很强的baseline，具有较强的普适性，如果没有太多经验的话，可以实现该算法基本能应付大部分关键词抽取的场景了。

2. 对于中文而言，中文分词和词性标注的性能对关键词抽取的效果至关重要。

3. 较复杂的算法各自有些问题，如Topic Model，它的主要问题是抽取的关键词一般过于宽泛，不能较好反映文章主题。这在我的博士论文中有专门实验和论述；TextRank实际应用效果并不比TFIDF有明显优势，而且由于涉及网络构建和随机游走的迭代算法，效率极低。这些复杂算法集中想要解决的问题，是如何利用更丰富的文档外部和内部信息进行抽取。如果有兴趣尝试更复杂的算法，我认为我们提出的基于SMT（统计机器翻译）的模型，可以较好地兼顾效率和效果。

4. 以上都是无监督算法，即没有事先标注好的数据集合。而如果我们有事先标注好的数据集合的话，就可以将关键词抽取问题转换为有监督的分类问题。这在我博士论文中的相关工作介绍中均有提到。从性能上来讲，利用有监督模型的效果普遍要优于无监督模型，对关键词抽取来讲亦是如此。在Web 2.0时代的社会标签推荐问题，就是典型的有监督的关键词推荐问题，也是典型的多分类、多标签的分类问题，有很多高效算法可以使用。

---

作者：fandywang
链接：https://www.zhihu.com/question/21104071/answer/291420205
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

我们的做法是分两步走：

1. 候选词匹配：基于关键词词库的多模式匹配得到候选，这里最重要的工作是词库构建，往往会融合多种方法：垂直站点专有名词，百科词条，输入法细胞词库，广告主购买词，基于大规模语料库的自动词库挖掘（推荐韩家炜团队的 shangjingbo1226/SegPhrase ，shangjingbo1226/AutoPhrase 方法）等。这里会涉及大量的数据清洗工作，甚至还可以有一个质量分类器决定哪些词条可以进入词库。
2. 候选词相关性排序：包括无监督和有监督方法，如下：

• 无监督方法：常见的有 TFIDF（需要统计 phrase 级别的 DF）， textrank（优势不明显，计算量大，慎用），topic 相似度（参见 baidu/Familia），embedding 相似度（需要训练或计算 keyword 和 doc embedding），TWE 相似度（参见 baidu/Familia）
• 有监督方法：常见的有基于统计机器翻译 SMT 的方法（转换成翻译问题，可以采用 IBM Model 1），基于序列标注模型的方法（转换成核心成分识别问题，类似 NER，状态只有0和1，即是否是核心成分，较适用于短文本），基于排序学习LTR的方法（转换成候选词排序问题，采用 pairwise 方法，或者深度语义匹配方法，如 DSSM），基于传统机器学习分类方法（转换成二元或多元分类问题）。
• 有监督方法依赖一定规模的标注数据，效果通常会显著好于无监督方法。

上面的方法仅能抽取文本字面出现的词，会有 Vocabuary Gap 问题，大部分情况下是足够的，还有一种做法可以基于生成模型的方法，自动“抽取”生成一些字面上未出现的词条，如 ACL 2017 Deep Keyphrase Generation（http://memray.me/uploads/acl17-keyphrase-generation.pdf  ，memray/seq2seq-keyphrase）。另外，也可以考虑基于字面抽取的 keyword，扩展出一些语义相似的词条作为候选词，通过打分排序选出合适的保留下来。

 

特别的，对于一些存在规律性描述模式的特殊类型文本，如 query log，还可以采用基于 bootstrapping 的软模式匹配方法，通常准确率很高，召回率一般。

---

• Jingbo Shang, Jialu Liu, Meng Jiang, Xiang Ren, Clare R Voss, Jiawei Han, "Automated Phrase Mining from Massive Text Corpora", accepted by IEEE Transactions on Knowledge and Data Engineering, Feb. 2018.

• Jialu Liu*, Jingbo Shang*, Chi Wang, Xiang Ren and Jiawei Han, "Mining Quality Phrases from Massive Text Corpora”, Proc. of 2015 ACM SIGMOD Int. Conf. on Management of Data (SIGMOD'15), Melbourne, Australia, May 2015. (* equally contributed, slides)