Linux-awk命令学习整理

awk命令学习整理

awk是依次对文件的每一行进行处理

1、对文件进行百分之一的采样，即每100行采样一次：

cat sample.txt | awk 'BEGIN{n=0}{n++;if(n%100==1)print $0}' >sample_new.txt

cat：文本输出
|：管道，把前面的信息传到后面去
awk：‘{}’，引号
BEGIN：{}条件开始
print：打印（输出）想要的内容
$0：表示我要一整行的数据(对列来说，就是要全部的列)，$1表示只要第一列的
>: 表示前面输出的内容保存至后面的文件

2、输出文件前五行的最后两列：

head sample.txt | awk '{print $NF":"$(NF-1)}'

head：输出文件前几行，head -n，前n行
$NF：最后一列
$(NF-1)：所以就是倒数第二列咯
“:”：这里使用冒号分开两列，“”引号里面的是直接打印出来的
输出样例：

1:t:2:b
1:c:2:g

3、前上述要求的前提下，（即输出文件前五行的最后两列），我只想要上述输出样例的第四列和第二列：
首先，前面的功能我们已经实现，可以直接拿下来，后面的功能怎么加，管道| 要用它：

head sample.txt | awk '{print $NF":"$(NF-1)}' | awk -F':' 'print{$4\t"$2}'

-F’:’：-F，分割，我现在要以冒号来分割数据，分成了四列
$4：第四列
$2：第二列
“\t”：用tab分开数据
输出样例：

b t
g c

4、对文件内容去重或者保留重复的文件

awk '!x[$0]++' text.txt >text_res.txt

去重，多个文件同样处理