GNU awk工具的使用解析

GNU awk:

简介:awk是一个数据处理工具。它比较倾向于将一行分成多个“字段”来处理。所以,awk比较适合处理小型数据。

gawk – pattern scanning and processing language

实现原理:

blob.png

基本用法:gawk [options] 'program' FILE

program:PATTERN{ACTION STATEMENTS}语句之间用分号分割

print,printf

选项:

-F:指明输入时用到的字段分隔符;

-v var=value:自定义变量;

如:

blob.png

基本常用输出命令

  • print

    • 格式:print item1,item2,…

    • 逗号为分隔符

    • 输出的各item可以为字符串,也可以为数值,当前记录的字段、变量或awk的表达式;

    • 如省略item;则打印$0。

  • 变量

    • 内建变量

FS:input field seperator,默认空白字符。

OFS:output field seperator,默认空白字符。

RS:input record seperator,输入时的换行符。

ORS:output record seperator,输出时的换行符。

NF:number of field,字段数量。

NR:number of record,行数量。

FNR:分别计算各文件行数。

FILENAME:文件名。

ARGC:命令行参数的个数;

ARGV:数组,保存的是命令行所给定的各参数:

    • 自定义变量

(1)-v var=value(变量名区分字符大小写)

blob.png

(2)在program中直接定义

blob.png

  • printf命令

    • 格式化输出:printf FORMAT,item1,item2,…

  1. FORMAT必须给出;

  2. 不会自动换行,需要给出换行控制符,\n

  3. FORMAT中需要分别为后面的每个item指定一个格式化符号;

格式符:

%c:显示字符的ASCII码;

%d,%i:显示十进制证书;

%e,%E:科学计数法数值显示;

%f:显示为浮点数;

%g,%G:以科学计数法或浮点形式显示数值;

%s:显示字符串:

%u:无符号整数:

%%:显示%自身。

修饰符:

#[.#]:第一个数字控制显示的宽度;第二个数字控制小数的精度。

-:左对齐

+:显示数值的符号

  • 操作符

算术操作符:

x+y, x-y, x*y, x/y, x^y, x%y

-x: 转换为负数

+x: 转换为数值

字符串操作符:没有符号的操作符,字符串连接

赋值操作符:

=, +=, -=, *=, /=, %=, ^= ++, —

比较操作符:

>, >=, <, <=, !=, ==

模式匹配符:

~:左边是否和右边匹配包含

!~:是否不匹配

逻辑操作符:&&,||,!

如显示系统账号与root账号

awk –F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd

blob.png

函数调用: function_name(argu1, argu2, …)

条件表达式: selector?if-true-expression:if-false-expression

  • PATTERN:根据pattern条件,过滤匹配的行,再做处理

    • (1)如果未指定:空模式,匹配每一行

    • (2) /regular expression/:仅处理能够模式匹配到的行,需要用/ /括起来

awk '/^UUID/{print $1}' /etc/fstab

awk '!/^UUID/{print $1}' /etc/fstab

    • (3) relational expression: 关系表达式;结果有“真”有“假”;结果为“ 真”才会被处理;

真:结果为非0值,非空字符串

假:结果为空字符串

    • (4) line ranges:行范围 startline,endline:/pat1/,/pat2/ 不支持直接给出数字格式

awk -F: '/^root/,/^nobody/{print $1}' /etc/passwd

awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd

    • (5) BEGIN/END模式

BEGIN{}: 仅在开始处理文件中的文本之前执行一次

END{}:仅在文本处理完成之后执行一次

如:开始结束

blob.png

  • awk控制语句if-else

    • 语法: if(condition) statement [else statement] if(condition1){statement1}else if(condition2) {statement 2}else{statement3}

    • 使用场景:对awk取得的整行或某个字段做条件判断

awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd

示例:

blob.png

  • while循环

    • 语法:while(condition) statement

    • 条件“真”,进入循环;条件“假”,退出循环

    • 使用场景: 对一行内的多个字段逐一类似处理时使用 对数组中的各元素逐一处理时使用

  • do-while循环

    • 语法:do statement while(condition)

    • 意义:无论真假,至少执行一次循环体

    • 示例:做1+2+3+…+100

awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}'

blob.png

  • for循环

    • 语法:for(expr1;expr2;expr3) statement for(variable assignment;condition;iteration process) {forbody}

    • 特殊用法:能够遍历数组中的元素; 语法:for(var in array) {for-body}

    • 示例:awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg

  • switch语句

    • 语法:switch(expression) {case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP2/: statement; …; default: statement}

    • break和continue

      • awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) {if(i%2==0){continue}sum+=i}print sum}‘

      • awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) {if(i==11){break}sum+=i}print sum}‘

      • break [n] n代表跳出第几轮循环

      • continue [n]

    • next 提前结束对本行处理而直接进入下一行处理(awk自身循环) awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd

  • 关联数组:array[index-expression]

    • index-expression:

    • (1) 可使用任意字符串;字符串要使用双引号括起来

    • (2) 如果某数组元素事先不存在,在引用时,awk会自动创建 此元素,并将其值初始化为“空串”

    • (3)若要判断数组中是否存在某元素,要使用“index in array”格 式进行遍历

  • 若要遍历数组中的每个元素,要使用for循环

  • for(var in array) {for-body}

  • 注意:var会遍历array的每个索引

  • 示例

blob.png

原创文章,作者:502795641,如若转载,请注明出处:http://www.178linux.com/48351

(0)
上一篇 2016-09-21 21:13
下一篇 2016-09-21 21:17

相关推荐

  • 推荐-LVS专题: LVS的工作模型和调度算法介绍

    LVS专题: LVS的工作模型和调度算法介绍 LVS专题: LVS的工作模型和调度算法介绍 前言 什么是负载均衡? 什么是LVS? LVS的架构: LVS的实现模型: NAT实现原理: DR实现原理: TUN实现原理: FULLNAT实现原理: LVS的调度算法 静态调度算法(4种) 动态调度算法(6种): 总结 前言 本文大概介绍一下LVS的工作方式和实现…

    Linux干货 2016-04-05
  • 网络26期 第五周作业

    1. 显示当前系统上root、fedora或user1用户的默认shell egrep -o “^(root|fedora|user1)\>.*[^:]+$” /etc/passwd | cut -d: -f1,7 2. 找出/etc/rc.d/init.d/functions文件中某单词后面跟一组小括号的行,形如:hello(…

    2017-03-13
  • MogileFS基于Nginx反向代理实现分布式存储与访问

    前言 随着信息社会的发展,越来越多的信息被数据化,尤其是伴随着大数据时代的来临,数据呈爆炸式增长。传统存储在面对海量数据存储表现出的力不从心已经是不争的事实,例如:纵向扩展受阵列空间限制,横向扩展受交换设备限制,节点受文件系统限制等。而分布式存储的出现在一定程度上有效的缓解了这一问题,目前比较流行的分布式文件系统有:GFS、HDFS、GlusterFS、Mo…

    Linux干货 2015-07-08
  • 马哥教育网络班22期+第9周课程练习

    1、写一个脚本,判断当前系统上所有用户的shell是否为可登录shell(即用户的shell不是/sbin/nologin);分别这两类用户的个数;通过字符串比较来实现;            [root@test ~]# vim&nbsp…

    Linux干货 2016-10-24
  • Redis集群明细文档

    Redis目前版本是没有提供集群功能的,如果要实现多台Redis同时提供服务只能通过客户端自身去实现(Memchached也是客户端实现分布式)。目前根据文档已经看到Redis正在开发集群功能,其中一部分已经开发完成,但是具体什么时候可以用上,还不得而知。文档来源:http://redis.io/topics/cluster-spec 一、介绍   该文档是…

    Linux干货 2015-04-04
  • Linux终端和伪终端简述

    本文简述Linux各种类型终端的区别以及如何用命令查看终端类型

    Linux干货 2018-03-26

评论列表(1条)

  • 马哥教育
    马哥教育 2016-09-23 09:15

    写的很好,每一个awk用法都有一个详细的示例,如果能有一部分的示例结果,可能会直观点哦。