GNU awk工具的使用解析

GNU awk:

简介:awk是一个数据处理工具。它比较倾向于将一行分成多个“字段”来处理。所以,awk比较适合处理小型数据。

gawk – pattern scanning and processing language

实现原理:

blob.png

基本用法:gawk [options] 'program' FILE

program:PATTERN{ACTION STATEMENTS}语句之间用分号分割

print,printf

选项:

-F:指明输入时用到的字段分隔符;

-v var=value:自定义变量;

如:

blob.png

基本常用输出命令

  • print

    • 格式:print item1,item2,…

    • 逗号为分隔符

    • 输出的各item可以为字符串,也可以为数值,当前记录的字段、变量或awk的表达式;

    • 如省略item;则打印$0。

  • 变量

    • 内建变量

FS:input field seperator,默认空白字符。

OFS:output field seperator,默认空白字符。

RS:input record seperator,输入时的换行符。

ORS:output record seperator,输出时的换行符。

NF:number of field,字段数量。

NR:number of record,行数量。

FNR:分别计算各文件行数。

FILENAME:文件名。

ARGC:命令行参数的个数;

ARGV:数组,保存的是命令行所给定的各参数:

    • 自定义变量

(1)-v var=value(变量名区分字符大小写)

blob.png

(2)在program中直接定义

blob.png

  • printf命令

    • 格式化输出:printf FORMAT,item1,item2,…

  1. FORMAT必须给出;

  2. 不会自动换行,需要给出换行控制符,\n

  3. FORMAT中需要分别为后面的每个item指定一个格式化符号;

格式符:

%c:显示字符的ASCII码;

%d,%i:显示十进制证书;

%e,%E:科学计数法数值显示;

%f:显示为浮点数;

%g,%G:以科学计数法或浮点形式显示数值;

%s:显示字符串:

%u:无符号整数:

%%:显示%自身。

修饰符:

#[.#]:第一个数字控制显示的宽度;第二个数字控制小数的精度。

-:左对齐

+:显示数值的符号

  • 操作符

算术操作符:

x+y, x-y, x*y, x/y, x^y, x%y

-x: 转换为负数

+x: 转换为数值

字符串操作符:没有符号的操作符,字符串连接

赋值操作符:

=, +=, -=, *=, /=, %=, ^= ++, —

比较操作符:

>, >=, <, <=, !=, ==

模式匹配符:

~:左边是否和右边匹配包含

!~:是否不匹配

逻辑操作符:&&,||,!

如显示系统账号与root账号

awk –F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd

blob.png

函数调用: function_name(argu1, argu2, …)

条件表达式: selector?if-true-expression:if-false-expression

  • PATTERN:根据pattern条件,过滤匹配的行,再做处理

    • (1)如果未指定:空模式,匹配每一行

    • (2) /regular expression/:仅处理能够模式匹配到的行,需要用/ /括起来

awk '/^UUID/{print $1}' /etc/fstab

awk '!/^UUID/{print $1}' /etc/fstab

    • (3) relational expression: 关系表达式;结果有“真”有“假”;结果为“ 真”才会被处理;

真:结果为非0值,非空字符串

假:结果为空字符串

    • (4) line ranges:行范围 startline,endline:/pat1/,/pat2/ 不支持直接给出数字格式

awk -F: '/^root/,/^nobody/{print $1}' /etc/passwd

awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd

    • (5) BEGIN/END模式

BEGIN{}: 仅在开始处理文件中的文本之前执行一次

END{}:仅在文本处理完成之后执行一次

如:开始结束

blob.png

  • awk控制语句if-else

    • 语法: if(condition) statement [else statement] if(condition1){statement1}else if(condition2) {statement 2}else{statement3}

    • 使用场景:对awk取得的整行或某个字段做条件判断

awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd

示例:

blob.png

  • while循环

    • 语法:while(condition) statement

    • 条件“真”,进入循环;条件“假”,退出循环

    • 使用场景: 对一行内的多个字段逐一类似处理时使用 对数组中的各元素逐一处理时使用

  • do-while循环

    • 语法:do statement while(condition)

    • 意义:无论真假,至少执行一次循环体

    • 示例:做1+2+3+…+100

awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}'

blob.png

  • for循环

    • 语法:for(expr1;expr2;expr3) statement for(variable assignment;condition;iteration process) {forbody}

    • 特殊用法:能够遍历数组中的元素; 语法:for(var in array) {for-body}

    • 示例:awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg

  • switch语句

    • 语法:switch(expression) {case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP2/: statement; …; default: statement}

    • break和continue

      • awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) {if(i%2==0){continue}sum+=i}print sum}‘

      • awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) {if(i==11){break}sum+=i}print sum}‘

      • break [n] n代表跳出第几轮循环

      • continue [n]

    • next 提前结束对本行处理而直接进入下一行处理(awk自身循环) awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd

  • 关联数组:array[index-expression]

    • index-expression:

    • (1) 可使用任意字符串;字符串要使用双引号括起来

    • (2) 如果某数组元素事先不存在,在引用时,awk会自动创建 此元素,并将其值初始化为“空串”

    • (3)若要判断数组中是否存在某元素,要使用“index in array”格 式进行遍历

  • 若要遍历数组中的每个元素,要使用for循环

  • for(var in array) {for-body}

  • 注意:var会遍历array的每个索引

  • 示例

blob.png

原创文章,作者:502795641,如若转载,请注明出处:http://www.178linux.com/48351

(0)
上一篇 2016-09-21 21:13
下一篇 2016-09-21 21:17

相关推荐

  • CentOS程序安装的3种方式{ 源码包安装 | rpm包安装 | yum安装;}

    CentOS程序安装的3种方式{ 源码包安装 | rpm包安装 | yum安装;} CentOS软件安装主要由3种方式,第一种是源码包安装,需要从网站下载并解压之后通过手动编译的方式安装,过程相对比较复杂;第二种是rpm包安装,通过rmp这个包管理器实现程序的安装、升级、卸载等操作,rpm包管理器是RPM Package Manager的简称,功能非常强大,…

    Linux干货 2016-08-24
  • ansible自动化运维工具使用详解

    一、ansible简介   1.ansible        ansible是新出现的自动化运维工具,基于Python研发。糅合了众多老牌运维工具的优点实现了批量操作系统配置、批量程序的部署、批量运行命令等功能。仅需在管理工作站上安装ansible程序配置被管控主机的IP信息,被…

    2016-04-30
  • CA服务器的搭建以及证书签署、dropbear的编译安装

    CA服务器的搭建以及证书签署、dropbear的编译安装 一、CA Server和Client: 1、CA server:创建私钥CA (1)   openssl的配置文件:/etc/pki/tls/openssl.conf   如果Client端的申请是来自不同的国家,则需要将下图中红色框内的三项,由“match”改为“opt…

    Linux干货 2016-09-23
  • 马哥教育网络20期+第五周练习博客

    1、  显示/boot/grub/grub.conf中以至少一个空白字符开头的行; [root@localhost ~]# grep "^[[:space:]]\+.*" /boot/grub/grub.conf          root (hd0…

    Linux干货 2016-08-02
  • 条件判断(if,case)和循环(for,until,while等)详解(附例题正解)

    脚本中的if条件判断和循环 在linux下,写脚本是我们必不可少的。在写脚本的过程中,if判断和各种的循环是我们常用的。这里,详细的说一下条件判断以及循环的使用。 条件判断:if 和 else 1.if shell程序中的条件分支是通过if条件语句来实现的,其格式一般为if -then -fi ,这样的是单分支语句,还有的一种就是if-then-else-f…

    Linux干货 2016-08-18

评论列表(1条)

  • 马哥教育
    马哥教育 2016-09-23 09:15

    写的很好,每一个awk用法都有一个详细的示例,如果能有一部分的示例结果,可能会直观点哦。