cat access.20120104.log | awk '{a[$1]} END {for(b in a) print b\ta[b]}' | sort -k2 -r | head -n 5 [jifeng@jifeng01 hadoop]$ cat access.20120104.log | awk {a[$1]++} END {for(b in a) print b\ta[b]} | sort -k2 -r | head -n 5 210.51.237.245 99
cat access.20120104.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5
[jifeng@jifeng01 hadoop]$ cat access.20120104.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5
210.51.237.245 998
180.168.213.182 995
124124.205.50.21 994
192.250.46.129 993
211.94.163.244 9911: {a[$1]++} 对于awk 'a[$1]++'，需要了解3个知识点
1、awk数组知识
2、awk的基本命令格式 awk 'pattern{action}'
省略action时，默认action是{print}，如awk '1'就是awk '1{print}'
3、var++的形式：先读取var变量值，再对var值+1
最后实现的效果就是去除$1重复的行，并计算次数
等同于这个 awk '{a[$1]++} {print $1"->"a[$1]} ' access.20120104.log
access.20120104.log太多，只显示前面10条，测试下
[jifeng@jifeng01 hadoop]$ awk 'NR==1,NR==10 {print $0}' access.20120104.log >acc.txt
[jifeng@jifeng01 hadoop]$ awk '{a[$1]++} {print $1"->"a[$1]} ' acc.txt
120.197.87.216->1
123.126.50.73->1
203.208.60.187->1
114.112.141.6->1
114.112.141.6->2
110.6.179.88->1
116.205.130.2->1
114.112.141.6->3
114.112.141.6->4
110.75.173.35->12.{for(b in a) print b"\t"a[b]}
取出数组中的下标 b,也就是IP地址和a[b]它的个数
数组的使用
建立数组
- array[index] = value ：数组名array，下标index以及相应的值value。
-
{ for (item in array) print array[item]} # 输出的顺序是随机的
- {for(i=1;i
-
awk 'BEGIN{SUBSEP=":";array["a","b"]=1;for(i in array) print i}'
-
a:b
-
awk 'BEGIN{array["a"":""b"]=1;for(i in array) print i}'
- a:b
-k来指定列数
-t选项，后面可以设定间隔符
-n选项，要以数值来排序
-r选项
sort默认的排序方式是升序，如果想改成降序，就加个-r
-u选项，就是在输出行中去除重复行
4：head
head [参数]... [文件]...
命令参数：
-q 隐藏文件名
-v 显示文件名
-c 显示字节数
-n 显示的行数
