awk基本用法

一、awk介绍

    awk、sed&grep都可以匹配文本,但sed和awk可以对文本进行编辑,grep则不具有此功能;sed是非交互式的流编辑器,而awk则是一门模式匹配的编程语言。awk主要用于处理匹配的文本,同时awk还支持编程语言的一些特性,如变量、函数、循环语句等。   

二、基本用法

       1)awk [options] 'program' File1,File2…

       program:Pattern{Action Statements}

       program通常位于单引号中,多个action语句之间用逗号分隔。

2)awk [options] 'BEGIN{ action;… } pattern{ action;… } END{action;… }' file …

       常用action:print printf

       常用options:

       -F:指明输入时用到的字段分隔符

       -v var=value:声明变量

三、awk的工作原理

       1)在处理文本之前,若存在BEGIN语句块,则先执行此语句块中的语句。

       2)将输入的文本或标准输入按回车(\n)分割,解析为多个记录(record,默认以\n分隔,记录的分割符可以同过awk的内置变量RS来更改)。

       3)记录会被切割成多个字段(filed,默认情况下,以空白字符切割不同的字段,包括空格和制表符,字段的分隔符可以通过-F选项及awk内置变量FS来指定),并将第一个字段存放在$1中,第二个字段存放在$2中,倒数第二个字段存放在$(NF-1),最后一个字段存放在$NF中。$0则表示匹配到的整条记录。

       4)如果读取到的记录与pattern想匹配,则执行器指定的action;若不匹配,则跳过action,直到完成所有的语句。

       5)当以条输入记录处理完成之后,继续读取下一条记录,重复上面的动作,直到处理完全部的输入。若果输入的是文件列表,awk将按顺序处理列表中的文件。

       6)awk处理完所有的输入之后,若存在END语句块,则执行END语句块中的语句。

       BEGIN、END语句都是可选的。

四、awk调用方式

主要有三种调用方式,分别为:

       1) awk命令行

       可以在命令行中使用awk 程序设计语言,也可以在shell script 程序中引用awk 命令行甚至awk 程序脚本。

       2) 使用-f 选项调用awk 程序

       awk 允许将一段awk 程序写入一个文本文件,然后在awk 命令行中用-f 选项调用并执行这段程序。

       3) 利用命令解释器调用awk 程序

       利用命令解释器功能,我们可以将一段awk 程序写入文本文件,然后在它的第一行加上#!/bin/awk –f.

五、awk使用详解

1、print:用于输出指定的内容

print item,item2,…

要点:

1)逗号分隔多个item

       2)输出的各item可以为字符串,也可以是数值、当前记录的字段、变量、awk表达式

       3)如省略item,相当于print $0,即输出被pattern匹配的记录。

例:在系统上每个用户名之前加上hello

blob.png

例:

blob.png

2、printf命令

用于格式化输出:printf Format,item1,item2,….

1)Format 必须给出

2)不会自动换行,需要给出换行控制符,\n

3)Format中需要分别为后面的每个item指定一个格式化符号。

格式符:

       %c:不现实字符本身,而是显示字符的ASCII码

       %d,%i:显示十进制整数

       %e,%E:以科学记数法数值显示

       %f:显示为浮点数

       %g,%G:以科学记数法或浮点数形式显示数值。

       %u:无符号整数

       %s:显示为字符串

       %%:显示%自身

例:显示用户名及其ID

blob.png

blob.png

  修饰符:对格式符进行修饰

              #[.#]:第一个数字控制显示的宽度(度量值:字符数),第二个表示小数点后的精度

              %3.1f

              :左对齐

              +:右对齐。默认为右对齐

例:在上例中,由于用户名的长度长短不一,在输出时不够清晰。使用修饰符能让输出更具易读性。

左对齐:

]#awk -F: '{printf "username is: %-15s;userid is %i\n",$1,$3}' /etc/passwd

blob.png

右对齐:

]#awk -F: '{printf "Your name is %+15s,your id is %i\n",$1,$3}' /etc/passwd

blob.png

3、变量

3.1 内建变量

       FS:input field separator,指定输入时的字段分隔符;默认为空白字符

       OFS:output field separator:指定输出时的字段分隔符;默认为空白字符

       RS:input record separator:指定输入时的换行符;默认为空白

       ORS:output record separator:指定输出时的换行符,默认为空白

       NF:number of field,每行的字段数量

              {print NF}

              $NF 标识最后一个字段

       NR:number of record,文件的行的数量

       FNR:若awk处理多个文件,则每个文件分别统计行数。若不指定,所有文件累计行数。

       FILENAME:当前文件名

       ARGC:命令行参数的

       ARGV:数组,保存的是命令行所给定的各参数

例:用FS指定字段分隔符,注意,在awk中,每个变量之前需要用-v来指定。

blob.png

例:指定输出的字段分隔符。

blob.png

blob.png

3.2 自定义变量

       (1)-v var=value

              注意:变量名区分大小写

       (2)在program中直接定义

blob.png

blob.png

4、操作符

       算术操作符:+ ,- ,* ,/ ,%, ^

              -n::转换为负数

              +n:将字符串转换为数值

       字符串操作符:没有符号的操作符,表示连接字符串

       赋值操作符:= ,+= ,-= ,*= ,/= ,^= ,%= ,++ ,–

       比较操作符:< ,> ,<= ,>= ,==, !=

       模式操作符:

              ~:左侧的字符串是否被右侧的模式所匹配

              !~:左侧的字符串是否被右侧的模式不匹配

       逻辑操作符: && || !

       函数调用:function_name(argu1,argu2…)

       条件表达式:selector?if-true-expression:if-false-expression

例:使用条件表达式判断用户是普通用户还是系统用户或管理员

awk -F: '{$3>1000?usertype="Common user":usertype="System or Sysadmin";printf "%15s:%s\n",$1,usertype}' /etc/passwd

blob.png

5、PATTERN

5.1)empty:空模式,匹配每一行

5.2)/Regular Expression/:仅处理被模式匹配的每一行

例:输出/etc/fstab文件中不是以UUID开头的行的第一个字段。

      输出/etc/fstab文件中以UUID开头的行的第一个字段。

blob.png

5.3)relational expression:关系表达式;结果有“真”有“假”;结果为真的才被处理。

真:结果为非0值表示为真,非空字符串也表示为真

假:0表示为假,空字符串也表示为假

例:

         1)输出uid大于1000的用户的用户名

       2)输出小于等于1000的用户的用户名

       3)输出shell为/bin/bash的用户的用户名及其shell

blob.png

blob.png

5.4)line ranges:指定行范围

       startline,endline:/part1/,/part2/

       注意:不支持直接给出数字的格式。

例:查找/etc/passwd文件中root到shutdown用户之间个用户的用户名及uid。

]#awk -F: '/^root\>/,/^shutdown\>/{print $1,$3}' /etc/passwd

blob.png

例:输出/etc/passwd中从第2行(不包括第2行)到第10行(包括第10行)的用户名及其UID

blob.png

5.5)BEGIN/END模式

       BEGIN{}BEGIN 语句块在awk 开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块。  END{}END 语句块在awk 从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END 语句块中完成,它也是一个可选语句。

例:

]#awk -F: 'BEGIN{print "   usernameuid\n--------------------"}{print $1,$3}END{print "-----------------\n        end        " }' /etc/passwd

blob.png

blob.png

原创文章,作者:M20-1钟明波,如若转载,请注明出处:http://www.178linux.com/48228

(0)
上一篇 2016-09-21 13:28
下一篇 2016-09-21 14:05

相关推荐

  • 那些年我们一起追过的缓存写法(二)

    原文出处: 蘑菇先生   上次主要讨论缓存读写这块各种代码实现。本篇是就上次的问题接着来,继续看那些年我们各种缓存用法。 一:缓存预热 上次有同学问过。在第一次加载时,我们的缓存都为空,怎么进行预热。 单机Web情况下,一般我们使用RunTimeCache。相对于这种情况下: 1:我们可以在启动事件里面刷新 1 2 3 4 vo…

    Linux干货 2015-03-04
  • RPM及YUM工具介绍及使用(下)

    YUM工具 YUM工作原理 YUM工具的出现就是为了解决rpm工具不能够自动解决软件包之间的依赖关系这一难题的。它的工作原理大致如下:YUM透过分析RPM的标头资料,根据各软件的相关性找出软件所依赖的软件列表,然后去下载速度最快的yum仓库中下载所有相关RPM软件包,然后完成相应软件的安装。同时yum工具和rpm工具一样,也可以提供对软件包的查询,安装、升级…

    Linux干货 2016-12-26
  • 自制 mini linux

    思路 先装载一块硬盘,按照上面两个实验的部分结果,创建各个目录 在/boot 里面添加内核 ,添加initramfs.img文件添加grub组件  ,创建grub.conf   然后复制bash  ,ls  ,cp  等,命令和响应的库文件,并在启动的时候指定第一个进程为/bin/bash 顺便加载一个网卡驱…

    2017-05-14
  • redis-cli的一些有趣也很有用的功能

    redis-cli我们最常用的三个参数就是-h、-p、-a选项,分配用来指定连接的redis-server的host、port和登录密码。通过redis-cli –help发现,redis-cli还提供了其他很多的参数和功能。 1)-x-x选项从标准输入(stdin)读取最后一个参数。 比如从管道中读取输入: echo -en &quot…

    Linux干货 2016-04-13
  • N26第五周博客作业

    1、显示/boot/grub/grub.conf中以至少一个空白字符开头的行;grep “^[[:space:]]+” /boot/grub/grub.conf 2、显示/etc/rc.d/rc.sysinit文件中以#开头,后面跟至少一个空白字符,而后又有至少一个非空白字符的行;grep “^#[[:space:…

    Linux干货 2017-03-06
  • LINUX的初探

    一般而言,计算机的组成遵循着“冯诺依曼体系结构”。这种结构的体现实质上是一种存储程序的原理,把程序本身当作数据来对待,程序和该程序处理的数据用同样的方式来存储。这种结构的要点是:计算机的数制采用二进制;计算机应该按照程序顺序执行。

    2018-03-04