Linux基础知识之GUN awk

awk:报告生成器,格式化文本输出
    基本用法:
    gawk [options] 'program' FILE …
    options:
        -F:指明输入时用到的字段分隔符;从文本中读取数据时,以什么当做分隔符;
        -v var=value:自定义变量
    awk引用变量的值时,不应该加$
    program:PATTERN{ACTION STATEMENTS} 语句之间用分号分隔
1.print
    print item1,item2:多字段之间需使用逗号隔开
    要点:①逗号分隔符
       ②输出的各item可以是字符串,也可以是数值,也可是当前记录的字段、变量或awk的表达式;
       ③若省略 item,相当于print $0,将源文件的中的文件全都打印到屏幕上来;
    用法:
    原来/etc/fstab中的内容:
images\93-1.png    blob.png images\93-1.png

    tail -4 /etc/fstab | awk '{print $2,$3}':打印/etc/fstab文件当中的第二列和第三列内容;
    blob.png

    tail -4 /etc/fstab | awk '{print "hello",$2}':在打印的每行字符前面添加hello
    blob.png
    tail -4 /etc/fstab | awk '{print ""}':将每行都打印为空行
images\93-4.png    blob.png

    tail -4 /etv/fstab | awk '{print }' 或 tail -4 /etc/fstab | awk '{print $0}':相当于显示所有的行的内容
images\93-5.png   blob.png
2.变量
①内建变量:
    FS:input field seperator:默认为空白字符;
    OFS:output field seperator:默认为空白字符;
        awk -v FS=':' -v OFS='\t' '{print $1,$3,$7}' /etc/passwd:以:为输入字段的分割符,以\t(tab)为输出的分割符,对于指定的显示字段;
    images\93-6.pngblob.png

    RS:input record seperator:输入时的换行符;
    ORS:output record seperator:输出时的换行符;
    NF:number of field:字段数量
    eg:awk '{print NF}' /etc/fstab:显示该行有几个字段
images\93-7.png    blob.png    

      awk '{print $NF}' /etc/fstab:显示该行最后一个字段的内容
    blob.pngimages\93-8.png

    NR:number of record:打印每一个文件的行数
    FNR:对于以后的n个文件分别计数行数;
    FILENAME:显示当前正在处理的文件名,默认每行都显示文件名
    ARGC:命令行中参数的个数;
    ARGV:数组,保存的是命令行给定的各参数;
②自定义变量:
    -v var=value:变量名区分字符大小写
    在program中直接进行定义
3.printf命令:
    格式化输出:printf FORMAT,item1,item2,…
    FORMAT:为占位符,item1,item2,按照指定的格式
        ①FORMAT必须给出;
        ②不会自动执行,需要显示给出执行控制符,\n
        ③FORMAT中需要分别为后面的每一个item指定一个格式化的符号
    awk -F: '{printf "Username: %s UID: %d\n",$1,$3}' /etc/passwd
    按行显示,/etc/passwd文件中的第一个字符段;$1显示的为前面%s的格式,$3显示的为前面%d格式显示 
        格式符:
            %c:显示字符的ASCII码;
            %d,%i:显示十进制整数;
            %e,%E:科学计数法数值显示;
            %f:显示为浮点数;
            %g,%G:科学计数法或浮点形式显示数值
            %s:显示字符串
            %u:无符号整数
            %%:显示%自身
        修饰符:
            #[.#]:第一个数字控制显示字符的宽度,第二个#表示显示小数点之后的精度; %3.1f:显示字符宽度为3,小数点后精确到0.1
            -:左对齐
            +:显示数值的符号
4.操作符:
    算数操作符:
        x+y,x-y,x*y,x/y,x^y,x%y
        -x
        +x:转换为数值;
    字符串操作符:没有符号的操作符,字符串连接
    赋值操作符:
        =,+=,-=,*=,/=,%=,^=
        ++,–
    比较操作符:
        >,>=,<,<=,!=,==
    模式匹配符:
        ~:左侧的字符串是否被右边的模式所匹配 !~:是否不匹配
    逻辑操作符:
        &&:逻辑与
        || :逻辑或
    函数调用:
        function_name(argu1,argu2, …)
    内建的条件表达式:
        selector?if-ture-expression:if-false-expression
    #awk -F: '{$3>=500?usertype="Common User":usertype="Sysadmin or SysUser";printf "Username:%15s:Usertype:%s\n",$1,usertype}' /etc/passwd
5.PATTERN:
    (1)empty:空模式,为awk处理的默认方式,默认处理为全部处理;
    (2)/reguler expression/:仅处理能够被此处的模式匹配到的行;
        awk '/^UUID/{print $0}' /etc/fstab
        awk '!/^UUID/{print $0}' /etc/fstab
    blob.pngimages\93-9.png
    (3)relational expression:关系表达式,结果有“真”有“假”,结果为“真”,才会被处理;
        真:结果为非0值;非空字符串也为假。
        awk -F: -v OFS=':' '$3>=500{print $1,$3,$7}' /etc/passwd
images\93-10.png      blob.png  

         awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
        awk -F: '$NF~/bash$/{print $1,$7}' /etc/passwd
        awk -F: '$7=="/bin/bash"{print $1,$7}' /etc/passwd 
      blob.pngimages\93-11.png

    (4)line ranges:行范围:
        startline,endline:/part1/,/part2/
        注意:不支持直接给出数则的格式显示,要想使用数字方式显示,可使用下面的方式:
        awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd
        awk -F: '/^h/,/^s/{print $1}' /etc/passwd 
images\93-12.png      blob.png

    (5)BEGIN/END模式:
    BEGIN():仅在开始处理文件中的文本之前执行一次;
    awk -F: 'BEGIN{print "This is a test."}{print $0}' /etc/passwd
       blob.png

    END():仅在文本处理完成之后执行一次; 
    awk -F: 'END{print "This is a test."}{print $0}' /etc/passwd
       blob.png

6.常用的action: 
        (1)Expressions:表达式
        (2)Control statements:if,while等:
        (3)Compound statements:组合语句:
        (4)input statements:输入语句;
        (5)output statements:输出语句;
7.控制语句:
    (1)if-else: 
        if(comdition) {statements} 
            awk -F: '{if($3>=500) print $1,$3}' /etc/passwd 
        if(comdition) {statements} else {statements} 
            awk -F: '{if($3>=500) {printf"Common user:%s\n",$1} else {printf"root or Sysuser:%s\n",$1}}' /etc/passwd
(2)while 
    while(comdition) {statements} 
        条件“真”,进入循环,条件“假”,退出循环,循环体可能一次也不会执行;
        使用场景,队一行内的多个字段逐一类似处理时使用,对数组中的各元素逐一处理时使用; 
(3)do-while循环; 
    do {statements} while(comdition) 
        意义:至少循环一次循环体 
(4)for循环: 
    for(expr1;expr2;expr3) {statements} 
    特殊用法:能够遍历数组中的元素 
        awk '/^[[:space:]]*linux64/{for(i=1;i<=NF;i++){print $i,length($i)}}' /etc/grub2.cfg 
(5)switch-case语句;
    语法:switch(expression) {case VALUE1 or /REGXP/:statement;case VALUE2 or             /REGXP/:statement;…..;default:statement} 
(6)break和continue:
    break [n]:结束当前循环
    continue:
(7)next:
    提前结束对本行的处理,直接进入下一行;
    awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd
(8)array
    关联数组:array[index-expression]
    index-expression:
        (1)可使用任意字符串;字符串要使用双引号;
        (2)如果某数组元素事先不存在,在引用时,awk会自动创建此元素,并将其值初始化为"空串"。
        若要判断数组中是否存在元素,要使用"index in array" 格式进行;
        变量赋值:weekdays[mon]="Monday"
        若要遍历数组中的每个元素,要使用for循环;
    for(var in array){for-body}
        awk ‘BEGIN{weekday=["mon"]="monday";weekday["tue"]="Tuesdays";for(i in weekday) {print}}'
        awk '{ip[$i]++}END{for(i in ip) {print i,ip[i]}}' /varl/log/httpd/access_log
    注意:var会遍历array的每个索引;
         -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state){print i,state[i]}}'
        delete array[index]
        delete array
        exit
8.函数:
    (1)内置函数:
    数值处理:
        rand():返回0和1之间的一个随机数
    字符串处理:
        length([s]):返回指定字符串的长度
        sub(r,s,[t]):以r表示的模式来查找t所表示的字符串中的匹配的内容,并将其第一次出现替换为s所表示的内容; 
        gsub(r,s,[t]):以r表示的模式来查找t所表示的字符串中的匹配的内容,并将其所有出现替换为s所表示的内容; 
        split(s,a,[r]):以r为分割符切割字符s,并将切割后的结果保存至a所表示的数组中;
    (2)自定义函数: 

原创文章,作者:sjsir,如若转载,请注明出处:http://www.178linux.com/47915

(0)
sjsirsjsir
上一篇 2016-09-20
下一篇 2016-09-20

相关推荐

  • corosync v2 + pacemaker + crmsh 实现mariadb高可用

    高可用mariadb拓扑图 一、设计前提     1、时间同步 # ntpdate 172.16.0.1 或者 # chronyc sources     2、所有的主机对应的IP地址解析可以正常工作, 主机名要与命令#uname -n 所得的结果一致   &…

    Linux干货 2016-08-28
  • Ansible中文权威

    福利贴 运维神器 Ansible 本土化在际,除了每日分享,定期更新外,还有大虾不定期解惑,更多福利可关注  http://www.178linux.com/doc/ansible/  或 扫描二维码入( 372011984 )群关注.

    Linux干货 2015-08-13
  • bash脚本与程序包管理

    概述:本章主要介绍bash编程中的函数和数组以及字符串处理和程序包管理工具等,来帮助小伙伴们更进一步的了解bash编程的内容和软件的安装、更新、卸载、查询等操作。 一、函数介绍 函数function是由若干条shell命令组成的语句块,实现代码重用和模块化编程。 它与shell程序形式上是相似的,不同的是它不是一个单独的进程,不能独立运行,而是shell程序…

    Linux干货 2016-08-24
  • 海量数据处理算法—Bit-Map

    1. Bit Map算法简介         来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value, 而Key即是该元素。由于采用了Bit为单位来存储数据,因此在存储空间方面,可以大大节省。 2、 Bit Map的基本思想       &nbs…

    Linux干货 2015-11-10
  • 马哥教育网络班22期+第二周课程练习

    week2作业: 1.linux上的文件管理类命令都有哪些,其常用的使用方法及其相关示例演示。 (1)touch 功能:创建文件 示例:  [root@director1 example]# touch file1 file2 [root@director1 example]# ll to…

    Linux干货 2016-08-22
  • Linux基础知识(二)-bash基础特性,文件管理命令

    1、Linux上的文件管理类命令都有哪些,其常用的使用方法及相关示例演示。 2、bash的工作特性之命令执行状态返回值和命令行展开所涉及的内答及其示例演示 4、文件的元数据信息有哪些,分别表示什么含义,如何査看?如何修改文件的时间戳信息。 5、如何定义一个命令的别名,如何在命令中引用另一个命令的执行结果? 6、显示/var目录下所有以l开头,以一个小写字母结…

    Linux干货 2016-09-26

评论列表(1条)

  • 马哥教育
    马哥教育 2016-09-23 11:25

    awk是一个很方便的文本格式化工具,这也是以后面试题必会遇到的面试题,希望下来多加练习,熟练掌握,