【sed&awk】统计文本中单词的分布

  作者:zhanhailiang 日期:2012-12-14

脚本如下：

zhanhailiang@linux-06bq:~> cat summary.sh
#/bin/sh

sed -e '{s/[.,?:;,/()]\+//g}' $1|awk -f for.awk |sort|uniq -c|awk '{printf("%30s\t%-10d\n", $2, $1);}'

其中for.awk脚本如下：

zhanhailiang@linux-06bq:~> cat for.awk 
{
    for(i = NF; i > 0 && $i ~ /^[a-zA-Z][a-zA-Z.?:\\,]+/; i--) {
        print $i;
    }
};

使用方法如下：

zhanhailiang@linux-06bq:~> ./summary.sh en
                        accept  1         
                           Add  1         
                         adult  2         
                         after  1         
                           air  1         
                           and  6         
                          area  1         
                            as  1         
                     attention  1         
                            be  2         
                      boarding  1         
                          Book  1         
                        booked  1         
                       booking  2         
                       ...