awk：好用的数据处理工具

10多年的沧县网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。全网营销推广的优势是能够根据用户设备显示端的尺寸不同，自动调整沧县建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联公司从事“沧县网站设计”,“沧县网站推广”以来，每个客户项目都认真落实执行。

awk 也是一个非常棒的数据处理工具！sed 常常用于一整个行的处理， awk 则比较倾向于一行当中分成数个『栏位』（或者称为一个域，也就是一列）来处理。因此，awk 相当的适合处理小型的数据数据处理呢！awk 通常运行的模式是这样的：

[root@www ~]# awk '条件类型1{动作1} 条件类型2{动作2} ...' filename

awk 后面接两个单引号并加上大括号 {} 来配置想要对数据进行的处理动作。 awk 可以处理后续接的文件，也可以读取来自前个命令的 standard output 。 但如前面说的， awk 主要是处理『每一行的栏位内的数据』，而默认的『栏位的分隔符号为 "空白键" 或 "[tab]键" 』！举例来说，我们用 last 可以将登陆者的数据取出来，结果如下所示：

[root@www ~]# last -n 5 <==仅取出前五行
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in
root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)
root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)
dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)
root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

若我想要取出帐号与登陆者的 IP ，且帐号与 IP 之间以 [tab] 隔开，则会变成这样：

[root@www ~]# last -n 5 | awk '{print $1 "\t" $3}'
root    192.168.1.100
root    192.168.1.100
root    192.168.1.100
dmtsai  192.168.1.100
root    Fri

上表是 awk 最常使用的动作！透过 print 的功能将栏位数据列出来！栏位的分隔则以空白键或 [tab] 按键来隔开。 因为不论哪一行我都要处理，因此，就不需要有 "条件类型" 的限制！我所想要的是第一栏以及第三栏， 但是，第五行的内容怪怪的～这是因为数据格式的问题啊！所以罗～使用 awk 的时候，请先确认一下你的数据当中，如果是连续性的数据，请不要有空格或 [tab] 在内，否则，就会像这个例子这样，会发生误判喔！

另外，由上面这个例子你也会知道，在每一行的每个栏位都是有变量名称的，那就是 $1, $2... 等变量名称。以上面的例子来说， root 是 $1 ，因为他是第一栏嘛！至於 192.168.1.100 是第三栏， 所以他就是 $3 啦！后面以此类推～呵呵！还有个变量喔！那就是 $0 ，$0 代表『一整列数据』的意思～以上面的例子来说，第一行的 $0 代表的就是『root .... 』那一行啊！ 由此可知，刚刚上面五行当中，整个 awk 的处理流程是：

1. 读入第一行，并将第一行的数据填入 $0, $1, $2.... 等变量当中；

2. 依据 "条件类型" 的限制，判断是否需要进行后面的 "动作"；

3. 做完所有的动作与条件类型；

4. 若还有后续的『行』的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止。

经过这样的步骤，你会晓得， awk 是『以行为一次处理的单位』， 而『以栏位为最小的处理单位』。好了，那么 awk 怎么知道我到底这个数据有几行？有几栏呢？这就需要 awk 的内建变量的帮忙啦～

我们继续以上面 last -n 5 的例子来做说明，如果我想要：

• 列出每一行的帐号(就是 $1)；

• 列出目前处理的行数(就是 awk 内的 NR 变量)

• 并且说明，该行有多少栏位(就是 awk 内的 NF 变量)

则可以这样：

[root@www ~]# last -n 5| awk '{print $1 "\t lines: " NR "\t columns: " NF}'
root     lines: 1        columns: 10
root     lines: 2        columns: 10
root     lines: 3        columns: 10
dmtsai   lines: 4        columns: 10
root     lines: 5        columns: 9
# 注意喔，在 awk 内的 NR, NF 等变量要用大写，且不需要有钱字号 $ 啦！

这样可以了解 NR 与 NF 的差别了吧？好了，底下来谈一谈所谓的 "条件类型" 了吧！

注：$0 表示整行，$1 代表第一项

• awk 的逻辑运算字节

既然有需要用到 "条件" 的类别，自然就需要一些逻辑运算罗～例如底下这些：

值得注意的是那个『 == 』的符号，因为：

• 逻辑运算上面亦即所谓的大於、小於、等於等判断式上面，习惯上是以『 == 』来表示；

• 如果是直接给予一个值，例如变量配置时，就直接使用 = 而已。

好了，我们实际来运用一下逻辑判断吧！举例来说，在 /etc/passwd 当中是以冒号 ":" 来作为栏位的分隔， 该文件中第一栏位为帐号，第三栏位则是 UID。那假设我要查阅，第三栏小於 10 以下的数据，并且仅列出帐号与第三栏， 那么可以这样做：

[root@wuke ~]# cat /etc/passwd | \

> awk '{FS=":"}$3<10{print $1 "\t" $3}'

root:x:0:0:root:/root:/bin/bash

bin1

daemon2

adm3

lp4

sync5

shutdown6

halt7

mail8

有趣吧！不过，怎么第一行没有正确的显示出来呢？这是因为我们读入第一行的时候，那些变量 $1, $2... 默认还是以空白键为分隔的，所以虽然我们定义了 FS=":" 了， 但是却仅能在第二行后才开始生效。那么怎么办呢？我们可以预先配置 awk 的变量啊！ 利用 BEGIN 这个关键字喔！这样做：

[root@wuke ~]# cat /etc/passwd | \

> awk 'BEGIN{FS=":"}$3<10{print $1 "\t" $3}'

root0

bin1

daemon2

adm3

lp4

sync5

shutdown6

halt7

mail8

很有趣吧！而除了 BEGIN 之外，我们还有 END 呢！另外，如果要用 awk 来进行『计算功能』呢？以底下的例子来看， 假设我有一个薪资数据表档名为 pay.txt ，内容是这样的：

Name    1st     2nd     3th
VBird   23000   24000   25000
DMTsai  21000   20000   23000
Bird2   43000   42000   41000

如何帮我计算每个人的总额呢？而且我还想要格式化输出喔！我们可以这样考虑：

• 第一行只是说明，所以第一行不要进行加总 (NR==1 时处理)；

• 第二行以后就会有加总的情况出现 (NR>=2 以后处理)

[root@wuke shell]# cat pay.txt | \
> awk 'NR==1{printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"}
> NR>=2{total=$2+$3+$4
> printf "%10s %10d %10d %10d %10.2f\n",$1,$2,$3,$4,total}'
      Name        1st        2nd        3th      Total
     VBird      23000      24000      25000   72000.00
    DMTsai      21000      20000      23000   64000.00
     Bird2      43000      42000      41000  126000.00
     
     上面的例子有几个重要事项应该要先说明的：
awk 的命令间隔：所有 awk 的动作，亦即在 {} 内的动作，如果有需要多个命令辅助时，可利用分号『;』间隔， 或者直接以 [Enter] 按键来隔开每个命令，例如上面的范例中，鸟哥共按了三次 [enter] 喔！
逻辑运算当中，如果是『等於』的情况，则务必使用两个等号『==』！
格式化输出时，在 printf 的格式配置当中，务必加上 \n ，才能进行分行！
与 bash shell 的变量不同，在 awk 当中，变量可以直接使用，不需加上 $ 符号。
利用 awk 这个玩意儿，就可以帮我们处理很多日常工作了呢！真是好用的很～ 此外， awk 的输出格式当中，常常会以 printf 来辅助，所以， 最好你对 printf 也稍微熟悉一下比较好啦！另外， awk 的动作内 {} 也是支持 if (条件) 的喔！ 举例来说，上面的命令可以修订成为这样：
[root@wuke shell]# cat pay.txt | \
> awk '{if(NR==1) printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"}
> NR>=2{total=$2+$3+$4
> printf "%10s %10d %10d %10d %10.2f\n",$1,$2,$3,$4,total}'
      Name        1st        2nd        3th      Total
     VBird      23000      24000      25000   72000.00
    DMTsai      21000      20000      23000   64000.00
     Bird2      43000      42000      41000  126000.00

你可以仔细的比对一下上面两个输入有啥不同～从中去了解两种语法吧！我个人是比较倾向於使用第一种语法， 因为会比较有统一性啊！ ^_^

学习了awk的基本知识，现在来做一些练习加深一下印象。

假设我们有这样一个待处理的文件"grade.txt":

M.Tansley     05/99     48311     Green     8     40     44

J.Lulu     06/99     48317     green     9     24     26
P.Bunny     02/99     48     Yellow     12     35     28
J.Troll     07/99     4842     Brown-3     12     26     26
L.Tansley     05/99     4712     Brown-2     12     30     28

#打印整个文件

[root@wuke shell]# awk '{print $0}' grade.txt 

M.Tansley     05/99     48311     Green     8     40     44

J.Lulu     06/99     48317     green     9     24     26

P.Bunny     02/99     48     Yellow     12     35     28

J.Troll     07/99     4842     Brown-3     12     26     26

L.Tansley     05/99     4712     Brown-2     12     30     28

#打印第一和第四个域

[root@wuke shell]# awk '{print $1,$4}' grade.txt 

M.Tansley Green

J.Lulu green

P.Bunny Yellow

J.Troll Brown-3

L.Tansley Brown-2

[root@wuke shell]# awk 'BEGIN{print "Name        Belt\n-----------------"}

{print $1,$4}' grade.txt

Name        Belt

-----------------

M.Tansley Green

J.Lulu green

P.Bunny Yellow

J.Troll Brown-3

L.Tansley Brown-2

正则表达式相关：

为使一域号匹配正则表达式，使用符号‘～’后紧跟正则表达式，也可以用 i f语句。awk中if后面的条件用（）括起来。

#下面代码打印$4 包含 Brown 的行

[root@wuke shell]# awk '$4~/Brown/{print $0}' grade.txt 

J.Troll     07/99     4842     Brown-3     12     26     26

L.Tansley     05/99     4712     Brown-2     12     30     28

#非精确匹配

[root@wuke shell]# awk '$3~/48/{print $0}' grade.txt 

M.Tansley     05/99     48311     Green     8     40     44

J.Lulu     06/99     48317     green     9     24     26

P.Bunny     02/99     48     Yellow     12     35     28

J.Troll     07/99     4842     Brown-3     12     26     26

#精确匹配

[root@wuke shell]# awk '$3=="48"{print $0}' grade.txt 

P.Bunny     02/99     48     Yellow     12     35     28

#不匹配 使用 ‘!~’

[root@wuke shell]# awk '$0!~/Brown/' grade.txt 

M.Tansley     05/99     48311     Green     8     40     44

J.Lulu     06/99     48317     green     9     24     26

P.Bunny     02/99     48     Yellow     12     35     28

[root@wuke shell]# awk '$4!="Brown-2"{print$0}' grade.txt 

M.Tansley     05/99     48311     Green     8     40     44

J.Lulu     06/99     48317     green     9     24     26

P.Bunny     02/99     48     Yellow     12     35     28

J.Troll     07/99     4842     Brown-3     12     26     26

#小于

[root@wuke shell]# awk '$6<$7{print $0}' grade.txt 

M.Tansley     05/99     48311     Green     8     40     44

J.Lulu     06/99     48317     green     9     24     26

#设置大小写

[root@wuke shell]# awk '/[Gg]reen/' grade.txt 

M.Tansley     05/99     48311     Green     8     40     44

J.Lulu     06/99     48317     green     9     24     26

#匹配第一个域的第三个字符是‘a’

[root@wuke shell]# awk '$1~/^...a/' grade.txt 

M.Tansley     05/99     48311     Green     8     40     44

L.Tansley     05/99     4712     Brown-2     12     30     28

#'或'匹配，使用 ‘|’ ，需使用括号括起来

[root@wuke shell]# awk '$0~/(Yellow|Brown)/' grade.txt 

P.Bunny     02/99     48     Yellow     12     35     28

J.Troll     07/99     4842     Brown-3     12     26     26

L.Tansley     05/99     4712     Brown-2     12     30     28

练习：写一个脚本
      1.设定变量file的值为/etc/passwd
      2.使用循环读取文件/etc/passwd的第2,4,6,10,13,15行，并显示其内容
      3.把这些行保存至/tmp/mypasswd文件中

#! /bin/bash

file="/etc/passwd"

if [ -e /tmp/passwd];then

    b=0

else

    touch /tmp/passwd

fi

for i in 2 4 6 10 13 15

do

exec 3>>/tmp/passwd

line=`head -$i $file|tail -1`

echo "$line"

echo "$line" >&3

exec 3>&-

done

****exec的重定向

  先上我们进如/dev/fd/目录下看一下：

root@localhost:~/test#cd /dev/fd

root@localhost:/dev/fd#ls

0  1  2  255

默认会有这四个项：0是标准输入，默认是键盘。

1是标准输出，默认是屏幕/dev/tty

2是标准错误，默认也是屏幕

255

当我们执行exec 3>test时：

root@localhost:/dev/fd#exec 3>/root/test/test 

root@localhost:/dev/fd#ls

0  1  2  255  3

root@localhost:/dev/fd#

看到了吧，多了个3，也就是又增加了一个设备，这里也可以体会下linux设备即文件的理念。这时候fd3就相当于一个管道了，重定向到fd3中的文件会被写在test中。关闭这个重定向可以用exec 3>&-。

root@localhost:/dev/fd#who >&3

root@localhost:/dev/fd#ls >&3

root@localhost:/dev/fd#exec 3>&-

root@localhost:/dev/fd#cat /root/test/te

test  text  

root@localhost:/dev/fd#cat /root/test/test 

root     tty1         2010-11-16 01:13

root     pts/0        2010-11-15 22:01 (192.168.0.1)

root     pts/2        2010-11-16 01:02 (192.168.0.1)

0

1

2

255

3

每天一个linux命令（20）：find命令之exec

find是我们很常用的一个Linux命令，但是我们一般查找出来的并不仅仅是看看而已，还会有进一步的操作，这个时候exec的作用就显现出来了。 

exec解释：

-exec  参数后面跟的是command命令，它的终止是以;为结束标志的，所以这句命令后面的分号是不可缺少的，考虑到各个系统中分号会有不同的意义，所以前面加反斜杠。

{}   花括号代表前面find查找出来的文件名。

使用find时，只要把想要的操作写在一个文件里，就可以用exec来配合find查找，很方便的。在有些操作系统中只允许-exec选项执行诸如l s或ls -l这样的命令。大多数用户使用这一选项是为了查找旧文件并删除它们。建议在真正执行rm命令删除文件之前，最好先用ls命令看一下，确认它们是所要删除的文件。 exec选项后面跟随着所要执行的命令或脚本，然后是一对儿{ }，一个空格和一个\，最后是一个分号。为了使用exec选项，必须要同时使用print选项。如果验证一下find命令，会发现该命令只输出从当前路径起的相对路径及文件名。

详情请查看：http://www.cnblogs.com/peida/archive/2012/11/14/2769248.html

本文参考了一下好的文章：

shell awk 入门

http://www.cnblogs.com/zhuyp1015/archive/2012/07/11/2586985.html

每天一个linux命令（20）：find命令之exec

http://www.cnblogs.com/peida/archive/2012/11/14/2769248.html