刘嵩的小站 神様は乗り越えられる試練しか与えない。

关于awk命令的学习

2017-06-26
学习
   

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。

使用方法

awk '{pattern + action}' {filenames}

尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。**pattern就是要表示的正则表达式，用斜杠括起来。**

awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。

通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

调用awk

有三种方式调用awk。

  1. 命令行方式

    awk [-F  field-separator]  'commands'  input-file(s)

    其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

  2. shell脚本方式

    将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：#!/bin/sh
可以换成：#!/bin/awk

  3. 将所有的awk命令插入到一个单独的文件，然后调用

    awk -f awk-script-file input-file(s)

    其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

入门实例

假设last -n 5的输出如下

[root@www ~]# last -n 5 <==仅取出前五行
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in
root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)
root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)
dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)
root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

如果只是显示最近登录的5个帐号

#last -n 5 | awk  '{print $1}'
root
root
root
dmtsai
root

awk工作流程是这样的：读入有’\n’换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是”空白键” 或 “[tab]键”,所以$1表示登录用户，$3表示登录用户ip,以此类推。

如果只是显示/etc/passwd的账户

#cat /etc/passwd |awk  -F ':'  '{print $1}'  
root
daemon
bin
sys

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为’:’。

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割。(这下边的/t就表示一个tab键。)

#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root    /bin/bash
daemon  /bin/sh
bin     /bin/sh
sys     /bin/sh

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加”blue,/bin/nosh”。

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

搜索/etc/passwd有root关键字的所有行(root 关键字两边的／是awk的命令的格式的符号。)

#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

搜索支持正则，例如找root开头的: awk -F: ‘/^root/’ /etc/passwd

搜索/etc/passwd有root关键字的所有行，并显示对应的shell

# awk -F: '/root/{print $7}' /etc/passwd             
/bin/bash

这里指定了action{print $7}

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符

此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,……以此类推。

统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

使用printf替代print,可以让代码更加简洁，易读

 awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。

awk编程

变量和赋值

除了awk的内置变量，awk还可以自定义变量。

下面统计/etc/passwd的账户人数

awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
......
user count is  40

这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is  0
root:x:0:0:root:/root:/bin/bash
...
[end]user count is  40

统计某个文件夹下的文件占用的字节数

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
[end]size is  8657198

如果以M为单位显示:

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' 
[end]size is  8.25889 M

注意，统计不包括文件夹的子目录。

条件语句

awk中的条件语句是从C语言中借鉴来的，见如下声明方式：

if (expression) {
    statement;
    statement;
    ... ...
}

if (expression) {
    statement;
} else {
    statement2;
}

if (expression) {
    statement1;
} else if (expression1) {
    statement2;
} else {
    statement3;
}

统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):

ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}' 
[end]size is  8.22339 M

循环语句

awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

数组

因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。

显示/etc/passwd的账户

awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
0 root
1 daemon
2 bin
3 sys
4 sync
5 games
......

这里使用for循环遍历数组

awk内部调用shell命令 – shell

在awk中可以直接执行shell命令。

$ touch a  
$ touch b  
$ cat a.txt   
a  
b  
$ awk '{cmd="rm "$0;system(cmd)}' a.txt   
$ ls  
a.txt      dd            important    mysql                py       testdata  
daemon.py  Desktop       installer    mysql_install_db.sh  stu  
data       dfadsfadfadf  jdk1.6.0_33  Public               stu.txt

我们在awk中组装命令并且最后使用system()来执行。每次读入一个文件名并删除这个文件。

下面我们使用awk中执行命令来创建一些文件。现在想要这样做，创建99个文件，把后缀名mpx改成mp。

先通过bash的特性，创建99个文件，再用一个变量a来装我们用字符串拼凑好的一条命令，用ls把当前目录下的文件列表的标准输出传递给awk，将我们拼凑好的命令逐条执行。

$ touch {1..99}.mpx

$ ls

1.mpx	19.mpx	28.mpx	37.mpx	46.mpx	55.mpx	64.mpx	73.mpx	82.mpx	91.mpx

10.mpx	2.mpx	29.mpx	38.mpx	47.mpx	56.mpx	65.mpx	74.mpx	83.mpx	92.mpx

11.mpx	20.mpx	3.mpx	39.mpx	48.mpx	57.mpx	66.mpx	75.mpx	84.mpx	93.mpx

12.mpx	21.mpx	30.mpx	4.mpx	49.mpx	58.mpx	67.mpx	76.mpx	85.mpx	94.mpx

13.mpx	22.mpx	31.mpx	40.mpx	5.mpx	59.mpx	68.mpx	77.mpx	86.mpx	95.mpx

14.mpx	23.mpx	32.mpx	41.mpx	50.mpx	6.mpx	69.mpx	78.mpx	87.mpx	96.mpx

15.mpx	24.mpx	33.mpx	42.mpx	51.mpx	60.mpx	7.mpx	79.mpx	88.mpx	97.mpx

16.mpx	25.mpx	34.mpx	43.mpx	52.mpx	61.mpx	70.mpx	8.mpx	89.mpx	98.mpx

17.mpx	26.mpx	35.mpx	44.mpx	53.mpx	62.mpx	71.mpx	80.mpx	9.mpx	99.mpx

18.mpx	27.mpx	36.mpx	45.mpx	54.mpx	63.mpx	72.mpx	81.mpx	90.mpx

$ ls |awk -F. '{a="mv "$0" "$1".mp";system(a)}'

$ ls

1.mp	19.mp	28.mp	37.mp	46.mp	55.mp	64.mp	73.mp	82.mp	91.mp

10.mp	2.mp	29.mp	38.mp	47.mp	56.mp	65.mp	74.mp	83.mp	92.mp

11.mp	20.mp	3.mp	39.mp	48.mp	57.mp	66.mp	75.mp	84.mp	93.mp

12.mp	21.mp	30.mp	4.mp	49.mp	58.mp	67.mp	76.mp	85.mp	94.mp

13.mp	22.mp	31.mp	40.mp	5.mp	59.mp	68.mp	77.mp	86.mp	95.mp

14.mp	23.mp	32.mp	41.mp	50.mp	6.mp	69.mp	78.mp	87.mp	96.mp

15.mp	24.mp	33.mp	42.mp	51.mp	60.mp	7.mp	79.mp	88.mp	97.mp

16.mp	25.mp	34.mp	43.mp	52.mp	61.mp	70.mp	8.mp	89.mp	98.mp

17.mp	26.mp	35.mp	44.mp	53.mp	62.mp	71.mp	80.mp	9.mp	99.mp

18.mp	27.mp	36.mp	45.mp	54.mp	63.mp	72.mp	81.mp	90.mp

相似文章

上一篇 读后感-巴别塔之犬

下一篇 会计学基础的学习笔记(第五章～第?章)

内容导航