Linux基础知识之GUN awk

awk:报告生成器,格式化文本输出
    基本用法:
    gawk [options] 'program' FILE …
    options:
        -F:指明输入时用到的字段分隔符;从文本中读取数据时,以什么当做分隔符;
        -v var=value:自定义变量
    awk引用变量的值时,不应该加$
    program:PATTERN{ACTION STATEMENTS} 语句之间用分号分隔
1.print
    print item1,item2:多字段之间需使用逗号隔开
    要点:①逗号分隔符
       ②输出的各item可以是字符串,也可以是数值,也可是当前记录的字段、变量或awk的表达式;
       ③若省略 item,相当于print $0,将源文件的中的文件全都打印到屏幕上来;
    用法:
    原来/etc/fstab中的内容:
images\93-1.png    blob.png images\93-1.png

    tail -4 /etc/fstab | awk '{print $2,$3}':打印/etc/fstab文件当中的第二列和第三列内容;
    blob.png

    tail -4 /etc/fstab | awk '{print "hello",$2}':在打印的每行字符前面添加hello
    blob.png
    tail -4 /etc/fstab | awk '{print ""}':将每行都打印为空行
images\93-4.png    blob.png

    tail -4 /etv/fstab | awk '{print }' 或 tail -4 /etc/fstab | awk '{print $0}':相当于显示所有的行的内容
images\93-5.png   blob.png
2.变量
①内建变量:
    FS:input field seperator:默认为空白字符;
    OFS:output field seperator:默认为空白字符;
        awk -v FS=':' -v OFS='\t' '{print $1,$3,$7}' /etc/passwd:以:为输入字段的分割符,以\t(tab)为输出的分割符,对于指定的显示字段;
    images\93-6.pngblob.png

    RS:input record seperator:输入时的换行符;
    ORS:output record seperator:输出时的换行符;
    NF:number of field:字段数量
    eg:awk '{print NF}' /etc/fstab:显示该行有几个字段
images\93-7.png    blob.png    

      awk '{print $NF}' /etc/fstab:显示该行最后一个字段的内容
    blob.pngimages\93-8.png

    NR:number of record:打印每一个文件的行数
    FNR:对于以后的n个文件分别计数行数;
    FILENAME:显示当前正在处理的文件名,默认每行都显示文件名
    ARGC:命令行中参数的个数;
    ARGV:数组,保存的是命令行给定的各参数;
②自定义变量:
    -v var=value:变量名区分字符大小写
    在program中直接进行定义
3.printf命令:
    格式化输出:printf FORMAT,item1,item2,…
    FORMAT:为占位符,item1,item2,按照指定的格式
        ①FORMAT必须给出;
        ②不会自动执行,需要显示给出执行控制符,\n
        ③FORMAT中需要分别为后面的每一个item指定一个格式化的符号
    awk -F: '{printf "Username: %s UID: %d\n",$1,$3}' /etc/passwd
    按行显示,/etc/passwd文件中的第一个字符段;$1显示的为前面%s的格式,$3显示的为前面%d格式显示 
        格式符:
            %c:显示字符的ASCII码;
            %d,%i:显示十进制整数;
            %e,%E:科学计数法数值显示;
            %f:显示为浮点数;
            %g,%G:科学计数法或浮点形式显示数值
            %s:显示字符串
            %u:无符号整数
            %%:显示%自身
        修饰符:
            #[.#]:第一个数字控制显示字符的宽度,第二个#表示显示小数点之后的精度; %3.1f:显示字符宽度为3,小数点后精确到0.1
            -:左对齐
            +:显示数值的符号
4.操作符:
    算数操作符:
        x+y,x-y,x*y,x/y,x^y,x%y
        -x
        +x:转换为数值;
    字符串操作符:没有符号的操作符,字符串连接
    赋值操作符:
        =,+=,-=,*=,/=,%=,^=
        ++,–
    比较操作符:
        >,>=,<,<=,!=,==
    模式匹配符:
        ~:左侧的字符串是否被右边的模式所匹配 !~:是否不匹配
    逻辑操作符:
        &&:逻辑与
        || :逻辑或
    函数调用:
        function_name(argu1,argu2, …)
    内建的条件表达式:
        selector?if-ture-expression:if-false-expression
    #awk -F: '{$3>=500?usertype="Common User":usertype="Sysadmin or SysUser";printf "Username:%15s:Usertype:%s\n",$1,usertype}' /etc/passwd
5.PATTERN:
    (1)empty:空模式,为awk处理的默认方式,默认处理为全部处理;
    (2)/reguler expression/:仅处理能够被此处的模式匹配到的行;
        awk '/^UUID/{print $0}' /etc/fstab
        awk '!/^UUID/{print $0}' /etc/fstab
    blob.pngimages\93-9.png
    (3)relational expression:关系表达式,结果有“真”有“假”,结果为“真”,才会被处理;
        真:结果为非0值;非空字符串也为假。
        awk -F: -v OFS=':' '$3>=500{print $1,$3,$7}' /etc/passwd
images\93-10.png      blob.png  

         awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
        awk -F: '$NF~/bash$/{print $1,$7}' /etc/passwd
        awk -F: '$7=="/bin/bash"{print $1,$7}' /etc/passwd 
      blob.pngimages\93-11.png

    (4)line ranges:行范围:
        startline,endline:/part1/,/part2/
        注意:不支持直接给出数则的格式显示,要想使用数字方式显示,可使用下面的方式:
        awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd
        awk -F: '/^h/,/^s/{print $1}' /etc/passwd 
images\93-12.png      blob.png

    (5)BEGIN/END模式:
    BEGIN():仅在开始处理文件中的文本之前执行一次;
    awk -F: 'BEGIN{print "This is a test."}{print $0}' /etc/passwd
       blob.png

    END():仅在文本处理完成之后执行一次; 
    awk -F: 'END{print "This is a test."}{print $0}' /etc/passwd
       blob.png

6.常用的action: 
        (1)Expressions:表达式
        (2)Control statements:if,while等:
        (3)Compound statements:组合语句:
        (4)input statements:输入语句;
        (5)output statements:输出语句;
7.控制语句:
    (1)if-else: 
        if(comdition) {statements} 
            awk -F: '{if($3>=500) print $1,$3}' /etc/passwd 
        if(comdition) {statements} else {statements} 
            awk -F: '{if($3>=500) {printf"Common user:%s\n",$1} else {printf"root or Sysuser:%s\n",$1}}' /etc/passwd
(2)while 
    while(comdition) {statements} 
        条件“真”,进入循环,条件“假”,退出循环,循环体可能一次也不会执行;
        使用场景,队一行内的多个字段逐一类似处理时使用,对数组中的各元素逐一处理时使用; 
(3)do-while循环; 
    do {statements} while(comdition) 
        意义:至少循环一次循环体 
(4)for循环: 
    for(expr1;expr2;expr3) {statements} 
    特殊用法:能够遍历数组中的元素 
        awk '/^[[:space:]]*linux64/{for(i=1;i<=NF;i++){print $i,length($i)}}' /etc/grub2.cfg 
(5)switch-case语句;
    语法:switch(expression) {case VALUE1 or /REGXP/:statement;case VALUE2 or             /REGXP/:statement;…..;default:statement} 
(6)break和continue:
    break [n]:结束当前循环
    continue:
(7)next:
    提前结束对本行的处理,直接进入下一行;
    awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd
(8)array
    关联数组:array[index-expression]
    index-expression:
        (1)可使用任意字符串;字符串要使用双引号;
        (2)如果某数组元素事先不存在,在引用时,awk会自动创建此元素,并将其值初始化为"空串"。
        若要判断数组中是否存在元素,要使用"index in array" 格式进行;
        变量赋值:weekdays[mon]="Monday"
        若要遍历数组中的每个元素,要使用for循环;
    for(var in array){for-body}
        awk ‘BEGIN{weekday=["mon"]="monday";weekday["tue"]="Tuesdays";for(i in weekday) {print}}'
        awk '{ip[$i]++}END{for(i in ip) {print i,ip[i]}}' /varl/log/httpd/access_log
    注意:var会遍历array的每个索引;
         -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state){print i,state[i]}}'
        delete array[index]
        delete array
        exit
8.函数:
    (1)内置函数:
    数值处理:
        rand():返回0和1之间的一个随机数
    字符串处理:
        length([s]):返回指定字符串的长度
        sub(r,s,[t]):以r表示的模式来查找t所表示的字符串中的匹配的内容,并将其第一次出现替换为s所表示的内容; 
        gsub(r,s,[t]):以r表示的模式来查找t所表示的字符串中的匹配的内容,并将其所有出现替换为s所表示的内容; 
        split(s,a,[r]):以r为分割符切割字符s,并将切割后的结果保存至a所表示的数组中;
    (2)自定义函数: 

原创文章,作者:sjsir,如若转载,请注明出处:http://www.178linux.com/47915

评论列表(1条)

  • 马哥教育
    马哥教育 2016-09-23 11:25

    awk是一个很方便的文本格式化工具,这也是以后面试题必会遇到的面试题,希望下来多加练习,熟练掌握,