Google Attension Mechanism

  最近两年Google/Bing的翻译达到了可用级别,不像原来只是按词翻译。看Tensorflow的tutorial才发现,用的多层双向LSTM/GRU做encode学习源语言特征,用一个decode来翻译。传统网络encode的学习到的特征直接传入decode,由于学习到的特征存在encode最后一层,信息被压缩和失真,Google引入了Attension Mechanism,使得encode和decode间信息有映射,极大提升结果。

你可能感兴趣的:(Google Attension Mechanism)