【论文笔记】A Unified Tagging Solution: Bidirectional LSTM Recurrent Neural Network with Word Emb

A Unified Tagging Solution: Bidirectional LSTM Recurrent Neural Network with Word Embedding

作者评估了双向LSTM RNN在POS标记，分块和NER任务上的使用。输入是与任务无关的输入功能：单词及其大小写。作者通过限制解码器输出标签的有效序列，从而结合了有关标记任务的先验知识，并提出了一种学习单词嵌入的新颖方法：随机替换序列中的单词并使用RNN来预测哪些单词正确与错误。作者表明，他们的模型与预训练的单词嵌入相结合，可以实现最先进的模型。

关键点

• 具有100维嵌入和100维像元的双向LSTM。评估1层和2层。在每个步骤中预测标签。单元的尺寸越高，改善越小。
• 词向量预训练：随机替换词，并使用LSTM预测正确/错误的词。

注释/问题

• 我们需要一种特定于任务的解码器的事实破坏了本文的目的。目的是创建一个“任务无关”的系统。客观地说，仅由于训练数据的大小，才需要此解码器。并非所有标签组合都出现在训练数据中。
• 与其他现有系统的比较在某种程度上是不公平的，因为所提出的模型在很大程度上依赖于来自外部数据的预训练词嵌入（训练超过600M词）来获得良好的性能。它还依赖于以另一种方式训练的外部嵌入。
• 很惊讶作者没有尝试将所有标记任务组合到一个模型中，这似乎是一个明显的扩展。