一、awk介绍
awk、sed&grep都可以匹配文本，但sed和awk可以对文本进行编辑，grep则不具有此功能；sed是非交互式的流编辑器，而awk则是一门模式匹配的编程语言。awk主要用于处理匹配的文本，同时awk还支持编程语言的一些特性，如变量、函数、循环语句等。
二、基本用法
1）awk [options] 'program' File1,File2…
program：Pattern{Action Statements}
program通常位于单引号中，多个action语句之间用逗号分隔。
2）awk [options] 'BEGIN{ action;… } pattern{ action;… } END{action;… }' file …
常用action：print printf
常用options：
-F：指明输入时用到的字段分隔符
-v var=value：声明变量
三、awk的工作原理
1）在处理文本之前，若存在BEGIN语句块，则先执行此语句块中的语句。
2）将输入的文本或标准输入按回车（\n）分割，解析为多个记录（record,默认以\n分隔，记录的分割符可以同过awk的内置变量RS来更改）。
3）记录会被切割成多个字段（filed，默认情况下，以空白字符切割不同的字段，包括空格和制表符，字段的分隔符可以通过-F选项及awk内置变量FS来指定），并将第一个字段存放在$1中，第二个字段存放在$2中，倒数第二个字段存放在$(NF-1)，最后一个字段存放在$NF中。$0则表示匹配到的整条记录。
4）如果读取到的记录与pattern想匹配，则执行器指定的action；若不匹配，则跳过action，直到完成所有的语句。
5）当以条输入记录处理完成之后，继续读取下一条记录，重复上面的动作，直到处理完全部的输入。若果输入的是文件列表，awk将按顺序处理列表中的文件。
6）awk处理完所有的输入之后，若存在END语句块，则执行END语句块中的语句。
BEGIN、END语句都是可选的。
四、awk调用方式
主要有三种调用方式，分别为：
1) awk命令行
可以在命令行中使用awk 程序设计语言，也可以在shell script 程序中引用awk 命令行甚至awk 程序脚本。
2) 使用-f 选项调用awk 程序
awk 允许将一段awk 程序写入一个文本文件，然后在awk 命令行中用-f 选项调用并执行这段程序。
3) 利用命令解释器调用awk 程序
利用命令解释器功能，我们可以将一段awk 程序写入文本文件，然后在它的第一行加上#!/bin/awk –f.
五、awk使用详解
1、print：用于输出指定的内容
print item，item2，…
要点：
1）逗号分隔多个item
2）输出的各item可以为字符串，也可以是数值、当前记录的字段、变量、awk表达式
3）如省略item，相当于print $0，即输出被pattern匹配的记录。
例：在系统上每个用户名之前加上hello
例：
2、printf命令
用于格式化输出：printf Format，item1，item2，….
1）Format 必须给出
2）不会自动换行，需要给出换行控制符，\n
3）Format中需要分别为后面的每个item指定一个格式化符号。
格式符：
%c：不现实字符本身，而是显示字符的ASCII码
%d,%i：显示十进制整数
%e，%E：以科学记数法数值显示
%f：显示为浮点数
%g，%G：以科学记数法或浮点数形式显示数值。
%u：无符号整数
%s：显示为字符串
%%：显示%自身
例：显示用户名及其ID
修饰符：对格式符进行修饰
#[.#]：第一个数字控制显示的宽度（度量值：字符数），第二个表示小数点后的精度
%3.1f
–：左对齐
+：右对齐。默认为右对齐
例：在上例中，由于用户名的长度长短不一，在输出时不够清晰。使用修饰符能让输出更具易读性。
左对齐：
]#awk -F: '{printf "username is: %-15s;userid is %i\n",$1,$3}' /etc/passwd
右对齐：
]#awk -F: '{printf "Your name is %+15s,your id is %i\n",$1,$3}' /etc/passwd
3、变量
3.1 内建变量
FS：input field separator，指定输入时的字段分隔符；默认为空白字符
OFS：output field separator：指定输出时的字段分隔符；默认为空白字符
RS：input record separator：指定输入时的换行符；默认为空白
ORS：output record separator：指定输出时的换行符，默认为空白
NF：number of field，每行的字段数量
{print NF}
$NF 标识最后一个字段
NR:number of record，文件的行的数量
FNR：若awk处理多个文件，则每个文件分别统计行数。若不指定，所有文件累计行数。
FILENAME：当前文件名
ARGC：命令行参数的
ARGV：数组，保存的是命令行所给定的各参数
例：用FS指定字段分隔符，注意，在awk中，每个变量之前需要用-v来指定。
例：指定输出的字段分隔符。
3.2 自定义变量
（1）-v var=value
注意：变量名区分大小写
（2）在program中直接定义
4、操作符
算术操作符：+ ,- ,* ,/ ,%, ^
-n:：转换为负数
+n：将字符串转换为数值
字符串操作符：没有符号的操作符，表示连接字符串
赋值操作符：= ,+= ,-= ,*= ,/= ,^= ,%= ,++ ,–
比较操作符：< ,> ,<= ,>= ,==, !=
模式操作符：
~：左侧的字符串是否被右侧的模式所匹配
!~：左侧的字符串是否被右侧的模式不匹配
逻辑操作符： && || ！
函数调用：function_name(argu1,argu2…)
条件表达式：selector？if-true-expression：if-false-expression
例：使用条件表达式判断用户是普通用户还是系统用户或管理员
awk -F: '{$3>1000?usertype="Common user":usertype="System or Sysadmin";printf "%15s:%s\n",$1,usertype}' /etc/passwd
5、PATTERN
5.1）empty：空模式，匹配每一行
5.2）/Regular Expression/：仅处理被模式匹配的每一行
例：输出/etc/fstab文件中不是以UUID开头的行的第一个字段。
输出/etc/fstab文件中以UUID开头的行的第一个字段。
5.3）relational expression：关系表达式；结果有“真”有“假”；结果为真的才被处理。
真：结果为非0值表示为真，非空字符串也表示为真
假：0表示为假，空字符串也表示为假
例：
1）输出uid大于1000的用户的用户名
2）输出小于等于1000的用户的用户名
3）输出shell为/bin/bash的用户的用户名及其shell
5.4）line ranges：指定行范围
startline，endline：/part1/,/part2/
注意：不支持直接给出数字的格式。
例：查找/etc/passwd文件中root到shutdown用户之间个用户的用户名及uid。
]#awk -F: '/^root\>/,/^shutdown\>/{print $1,$3}' /etc/passwd
例：输出/etc/passwd中从第2行（不包括第2行）到第10行（包括第10行）的用户名及其UID
5.5）BEGIN/END模式
BEGIN{}：BEGIN 语句块在awk 开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块。 END{}：END 语句块在awk 从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END 语句块中完成，它也是一个可选语句。
例：
]#awk -F: 'BEGIN{print " usernameuid\n--------------------"}{print $1,$3}END{print "-----------------\n end " }' /etc/passwd
原创文章，作者：M20-1钟明波，如若转载，请注明出处：http://www.178linux.com/48228
