三剑客-awk？gawk

AWK程序设计语言 — AWK程序设计语言
http://awk.readthedocs.io/en/latest/

Awk教程™
https://www.yiibai.com/awk/

---

分析nginx日志中后端响应时间(响应时间大于1s的记录)
cat access.log-20180430 | awk '{print $(NF-2)}' | grep -v '-' | sort -gr | uniq -c | head -300
然后查找到指定行
for i in `cat t.md`;do; sed -n $(grep "$i" -n nf-1 | awk -F ':' '{print $1}')p access.log-20180430; done
t.md中存取的是响应时间大于1s的记录数，nf-1是通过cat access.log-20180430 | awk '{print $(NF-2)}' 筛选出来的全部响应时间(是为了节省寻找行的速度)，通过在nf-1中选出来的行数，输出源日志文件中的完整行。

---

原创链接：我就忘了

++S[$1] 的结果是将重复的数据相加，就是去重统计次数

++S[$1] 的结果是将重复的数据相加，就是去重统计次数||验证

Awk可以将输出追加/覆盖到文件中