Linux基础知识之GUN awk

awk：报告生成器，格式化文本输出
    基本用法：
    gawk [options] 'program' FILE …
    options：
        -F：指明输入时用到的字段分隔符；从文本中读取数据时，以什么当做分隔符；
        -v var=value：自定义变量
    awk引用变量的值时，不应该加$
    program：PATTERN{ACTION STATEMENTS} 语句之间用分号分隔
1.print
    print item1,item2：多字段之间需使用逗号隔开
    要点：①逗号分隔符
       ②输出的各item可以是字符串，也可以是数值，也可是当前记录的字段、变量或awk的表达式；
       ③若省略 item，相当于print $0，将源文件的中的文件全都打印到屏幕上来；
    用法：
    原来/etc/fstab中的内容：
     

    tail -4 /etc/fstab | awk '{print $2,$3}'：打印/etc/fstab文件当中的第二列和第三列内容；
    

    tail -4 /etc/fstab | awk '{print "hello",$2}'：在打印的每行字符前面添加hello
   
    tail -4 /etc/fstab | awk '{print ""}'：将每行都打印为空行
    

    tail -4 /etv/fstab | awk '{print }' 或 tail -4 /etc/fstab | awk '{print $0}'：相当于显示所有的行的内容
   
2.变量
①内建变量：
    FS：input field seperator：默认为空白字符；
    OFS：output field seperator：默认为空白字符；
        awk -v FS=':' -v OFS='\t' '{print $1,$3,$7}' /etc/passwd：以：为输入字段的分割符，以\t(tab)为输出的分割符，对于指定的显示字段；
    

    RS：input record seperator：输入时的换行符；
    ORS：output record seperator：输出时的换行符；
    NF：number of field：字段数量
    eg：awk '{print NF}' /etc/fstab：显示该行有几个字段
        

      awk '{print $NF}' /etc/fstab：显示该行最后一个字段的内容
    

    NR：number of record：打印每一个文件的行数
    FNR：对于以后的n个文件分别计数行数；
    FILENAME：显示当前正在处理的文件名，默认每行都显示文件名
    ARGC：命令行中参数的个数；
    ARGV：数组，保存的是命令行给定的各参数；
②自定义变量：
    -v var=value：变量名区分字符大小写
    在program中直接进行定义
3.printf命令：
    格式化输出：printf FORMAT,item1,item2,…
    FORMAT：为占位符，item1，item2，按照指定的格式
        ①FORMAT必须给出；
        ②不会自动执行，需要显示给出执行控制符，\n
        ③FORMAT中需要分别为后面的每一个item指定一个格式化的符号
    awk -F: '{printf "Username: %s UID: %d\n",$1,$3}' /etc/passwd
    按行显示，/etc/passwd文件中的第一个字符段；$1显示的为前面%s的格式，$3显示的为前面%d格式显示 
        格式符：
            %c：显示字符的ASCII码；
            %d，%i：显示十进制整数；
            %e，%E：科学计数法数值显示；
            %f：显示为浮点数；
            %g，%G：科学计数法或浮点形式显示数值
            %s：显示字符串
            %u：无符号整数
            %%：显示%自身
        修饰符：
            #[.#]：第一个数字控制显示字符的宽度，第二个#表示显示小数点之后的精度； %3.1f：显示字符宽度为3，小数点后精确到0.1
            -：左对齐
            +：显示数值的符号
4.操作符：
    算数操作符：
        x+y,x-y,x*y,x/y,x^y,x%y
        -x
        +x：转换为数值；
    字符串操作符：没有符号的操作符，字符串连接
    赋值操作符：
        =,+=,-=,*=,/=,%=,^=
        ++,–
    比较操作符：
        >,>=,<,<=,!=,==
    模式匹配符：
        ~：左侧的字符串是否被右边的模式所匹配 ！~：是否不匹配
    逻辑操作符：
        &&：逻辑与
        || ：逻辑或
    函数调用：
        function_name(argu1,argu2, …)
    内建的条件表达式：
        selector?if-ture-expression:if-false-expression
    #awk -F: '{$3>=500?usertype="Common User":usertype="Sysadmin or SysUser";printf "Username:%15s:Usertype:%s\n",$1,usertype}' /etc/passwd
5.PATTERN：
    (1)empty：空模式，为awk处理的默认方式，默认处理为全部处理；
    (2)/reguler expression/：仅处理能够被此处的模式匹配到的行；
        awk '/^UUID/{print $0}' /etc/fstab
        awk '!/^UUID/{print $0}' /etc/fstab
    
    (3)relational expression：关系表达式，结果有“真”有“假”，结果为“真”，才会被处理；
        真：结果为非0值；非空字符串也为假。
        awk -F: -v OFS=':' '$3>=500{print $1,$3,$7}' /etc/passwd
        

         awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
        awk -F: '$NF~/bash$/{print $1,$7}' /etc/passwd
        awk -F: '$7=="/bin/bash"{print $1,$7}' /etc/passwd 
      

    (4)line ranges：行范围：
        startline,endline：/part1/,/part2/
        注意：不支持直接给出数则的格式显示，要想使用数字方式显示，可使用下面的方式：
        awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd
        awk -F: '/^h/,/^s/{print $1}' /etc/passwd 
      

    (5)BEGIN/END模式：
    BEGIN()：仅在开始处理文件中的文本之前执行一次；
    awk -F: 'BEGIN{print "This is a test."}{print $0}' /etc/passwd
       

    END()：仅在文本处理完成之后执行一次； 
    awk -F: 'END{print "This is a test."}{print $0}' /etc/passwd
       

6.常用的action： 
        (1)Expressions：表达式
        (2)Control statements：if，while等：
        (3)Compound statements：组合语句：
        (4)input statements：输入语句；
        (5)output statements：输出语句；
7.控制语句：
    (1)if-else： 
        if(comdition) {statements} 
            awk -F: '{if($3>=500) print $1,$3}' /etc/passwd 
        if(comdition) {statements} else {statements} 
            awk -F: '{if($3>=500) {printf"Common user:%s\n",$1} else {printf"root or Sysuser:%s\n",$1}}' /etc/passwd
(2)while 
    while(comdition) {statements} 
        条件“真”，进入循环，条件“假”，退出循环，循环体可能一次也不会执行；
        使用场景，队一行内的多个字段逐一类似处理时使用，对数组中的各元素逐一处理时使用； 
(3)do-while循环； 
    do {statements} while(comdition) 
        意义：至少循环一次循环体 
(4)for循环： 
    for(expr1;expr2;expr3) {statements} 
    特殊用法：能够遍历数组中的元素 
        awk '/^[[:space:]]*linux64/{for(i=1;i<=NF;i++){print $i,length($i)}}' /etc/grub2.cfg 
(5)switch-case语句；
    语法：switch(expression) {case VALUE1 or /REGXP/:statement;case VALUE2 or             /REGXP/:statement;…..;default:statement} 
(6)break和continue：
    break [n]：结束当前循环
    continue：
(7)next:
    提前结束对本行的处理，直接进入下一行；
    awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd
(8)array
    关联数组：array[index-expression]
    index-expression：
        (1)可使用任意字符串；字符串要使用双引号；
        (2)如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为"空串"。
        若要判断数组中是否存在元素，要使用"index in array" 格式进行；
        变量赋值：weekdays[mon]="Monday"
        若要遍历数组中的每个元素，要使用for循环；
    for(var in array){for-body}
        awk ‘BEGIN{weekday=["mon"]="monday";weekday["tue"]="Tuesdays";for(i in weekday) {print}}'
        awk '{ip[$i]++}END{for(i in ip) {print i,ip[i]}}' /varl/log/httpd/access_log
    注意：var会遍历array的每个索引；
         -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state){print i,state[i]}}'
        delete array[index]
        delete array
        exit
8.函数：
    (1)内置函数：
    数值处理：
        rand()：返回0和1之间的一个随机数
    字符串处理：
        length([s])：返回指定字符串的长度
        sub(r,s,[t])：以r表示的模式来查找t所表示的字符串中的匹配的内容，并将其第一次出现替换为s所表示的内容； 
        gsub(r,s,[t])：以r表示的模式来查找t所表示的字符串中的匹配的内容，并将其所有出现替换为s所表示的内容； 
        split(s,a,[r])：以r为分割符切割字符s，并将切割后的结果保存至a所表示的数组中；
    (2)自定义函数：