自动文摘的METEOR评价指标

参考METEOR下载 详细文档

$ java -Xmx2G -jar meteor-*.jar example/xray/system1.hyp example/xray/reference -norm -writeAlignments -f system1
####exact match####
java -Xmx2G -jar meteor-*.jar decoded reference -norm -writeAlignments -f system1

####+stem/syn/para####
java -Xmx2G -jar meteor-*.jar decoded reference -a paraphrase-en.gz -m 'exact stem synonym paraphrase' -w '1.0 0.5 0.5 0.5' 

注意到除了exact的后几项weight越大，final score越高。

另外，METEOR中xray可用来对alignment.out图做可视化，但CNN/Daily Mail数据集下的摘要长度过大，无法实现。用gigaword数据集做标题生成任务时可用。