awk入门应用

awk概述
使用语法
常用命令选项
相关输出命令
print item1,item2,…
printf FORMAT,item1,item2,….
相关格式符
相关修饰符
相关内建变量
相关内置函数
相关操作符
相关模式
相关控制语句及示例
if(condition) statements
if(condition){statements} else {statements}
while (condition){statements}
for(expr1;expr2;expr3){statements}
相关扩展 针对与使用awk统计网站访问相关
统计访问频次最高的5个ip
统计恶意ip
找出访问最多的文件(下载类网站常用,这里以.exe扩展名举例)
统计该网站的流量,统计结果以“G“”显示
查看日志中出现100次以上的IP
查看某一IP在网站内都访问了哪些资源

awk概述

awk是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件,或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的,它逐行扫描文件,从第一行到最后一行,寻找匹配的特定模式的行,并在这些行上进行你想要的操作。如果没有指定处理动作,则把匹配的行显示到标准输出(屏幕),如果没有指定模式,则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人,分别是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本,它提供了Bell实验室和GNU的一些扩展。下面介绍的awk是以GUN的gawk为例的,在linux系统中已把awk链接到gawk,所以下面全部以awk进行介绍。

使用语法

awk [ -F Ere ] [ -v Assignment ] … { -f ProgramFile | 'Program' } [ [ File … | Assignment … ] ] …

常用命令选项

-F fs or --field-separator fs 
指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F:。 
-v var=value or --asign var=value 
赋值一个用户定义变量。 
-f scripfile or --file scriptfile 
从脚本文件中读取awk命令。

相关输出命令

print item1,item2,…

要点:

逗号作为item的分隔符 
输出的item可是字符串,也可以是数值:当前记录的字段、变量或awk的表达式 
如省略item,相当于print $0

printf FORMAT,item1,item2,….

要点:

FORMAT是必须要给出的 
不会自动换行,需要显示给出换行控制符 \n 
FORMAT中需要分别为后面的每个item指定一个格式化符号

相关格式符

格式符 描述
%c 显示字符的ASCII码
%d,%i 显示十进制整数
%e,%E 科学计数法数值显示
%f 显示为浮点数
%g,%G 以科学计数法或浮点形式显示数值
%s 显示字符串
%u 无符号整数
%% 显示%自身

相关修饰符

修饰符 描述
m[.n] m表示控制显示的宽度,默认右对齐;n表示小数点后的精度
左对齐
+ 显示数值的符号

相关内建变量

变量名 描述
FS input field seperator ,指定输入分隔符,默认为空白字符
OFS output field seperator,指定输出分隔符,默认为空白字符
RS input record seperator,指定输入行分隔符
ORS output record seperator,指定输出行分隔符
NF number of field,字段数量
{print NF} 打印统计的字段数量
{print $NF} 打印每行的最后一字段
NR number of record,行数
FNR 多文件统计,各文件分别计数,显示行数
FILENAME 当前文件名
ARGC 命令行参数的个数
ARGV 命令行中给定的各参数

相关内置函数

函数表达式 描述
rand() 返回0-1之间的随机数,小数
length([$]) 返回指定字符串的长度
sub(r,s,[t]) 以r表示的模式来查找t所表示的字符串中的匹配的内容,并将其第一次出现替换为s所表示的内容
gsub(r,s,[t]) 以r表示的模式来查找t所表示的字符串中的匹配的内容,并将其所有出现全部替换为s所表示的内容
split(s,a[,r]) 以r为分隔符切割字符s,并将切割后的结果保存在a所表示的数组中

相关操作符

运算符 描述
= += -= *= /= %= ^= **= 赋值
?: C条件表达式
|| 逻辑或
&& 逻辑与
~ 匹配正则表达式
~! 不匹配正则表达式
< <= > >= != == 关系运算符
空格 连接
+ – 加,减
* / & 乘,除与求余
+ – ! 一元加,减和逻辑非
^ *** 求幂
++ – 增加或减少,作为前缀或后缀
$ 字段引用
in 数组成员

相关模式

模式 描述
empty 空模式,匹配每一行
BEGIN{} 仅在开始处理文件中的文本之前执行一次
END{} 仅在文本处理完成之后执行一次
/regular expression/ 仅处理能够被此处模式匹配到的行
relational expression 关系表达式,结果有"真"有"假",结果为"真"才会被处理,真:结果为非0值,非空字符串
line ranges 行范围,startline,endline:/pat1/,/pat2/或(NR>=startline&&NR<=endline)

相关控制语句及示例

if(condition) statements

找出系统上UID大于等于1000的用户,并将用户输出形式类似于“Conmon user: gwx”

awk -F: '{if ($3>=1000) printf "Common user: %s\n",$1}' /etc/passwd

找出系统上默认shell为/bin/bash的用户,并输出该用户的用户名

awk -F: '{if ($NF == "/bin/bash")print $1}' /etc/passwd

找出系统上默认shell为bash的用户,并输出该用户的用户名

awk -F: '{if ($NF~"bash$")print $1}' /etc/passwd

输出当前系统上fstab挂载的设备情况

awk  '{if ($1!="#")print $0}' /etc/fstab

输出当前系统使用比例超过80%的分区

df -h |awk -F% '/\/dev/{print $1}'|awk '{if ($NF>80)print $1}'

if(condition){statements} else {statements}

找出系统上UID大于等于1000的用户,并将用户输出形式类似于“Conmon user: gwx”,其余用户输出形式类似于“Sysuser:php”

awk -F: '{if ($3>=1000) {printf "Common user: %s\n",$1} else {printf "Sysuser: %s\n",$1}}' /etc/passwd

while (condition){statements}

输出当前系统/etc/grub2.cfg文件中以linux16开头的行的字符数大于等于7个的字段,并在字段的后面显示该字段的字符数

awk '/^[[:space:]]*linux16/{i=1;while (i<=NF){if (length($i)>=7){print $i,length($i)};i++}}' /etc/grub2.cfg

for(expr1;expr2;expr3){statements}

输出当前系统/etc/grub2.cfg文件中以linux16开头的行字段,并在字段的后面显示该字段的字符数

awk '/^[[:space:]]*linux16/{for (i=1;i<=NF;i++){print $i,length($i)}}' /etc/grub2.cfg

相关扩展 针对与使用awk统计网站访问相关

日志字段定义样例如下,如果日志文件做了轮替设置,请查看对应要统计的日志文件做统计分析 
10.6.9.15 – – [12/Nov/2016:16:24:15 +0800] "GET / HTTP/1.1" 200 258 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36"

统计访问频次最高的5个ip

cat /var/log/httpd/access_log |awk '{print $1}'|sort|uniq -c|sort -nr|head -5

统计恶意ip

cat /var/log/httpd/access_log|awk '{if($9~/40/){print $1}}'|sort|uniq|sort -nr

找出访问最多的文件(下载类网站常用,这里以.exe扩展名举例)

cat /var/log/httpd/access_log|awk '($7 ~/.exe/){print $10 "" $1 "" $4""$7}' |sort -n |uniq -c |sort -nr |head -10

统计该网站的流量,统计结果以“G“”显示

cat /var/log/httpd/access_log|awk '{sum+=$10} END {print sum/1024/1024/1024"G"}'

查看日志中出现100次以上的IP

cat /var/log/httpd/access_log-20161113|cut -d ' ' -f 1 |sort |uniq -c | awk '{if ($1 > 100) print $0}'

查看某一IP在网站内都访问了哪些资源

 cat /var/log/httpd/access_log-20161113| grep 10.6.9.15| awk '{print $1"\t"$7}' | sort | uniq -c | sort -nr | less

原创文章,作者:N24-wenxuan,如若转载,请注明出处:http://www.178linux.com/62423

(0)
上一篇 2016-12-04 11:58
下一篇 2016-12-04 13:48

相关推荐

  • N22-第3周作业-冥界之王

    1、列出当前系统上所有已经登录的用户的用户名,注意:同一个用户登录多次,则只显示一次即可。 [root@CentOS6 ~]# who  | cut -d " " -f1 | uniq 2、取出最后登录到当前系统的用户的相关信息。…

    Linux干货 2016-09-19
  • Linux发展史

    日期:2016-10-12  Bell,MIT与GE的『Multics』系统     早期的计算机还很不普遍,除非是军事或者高科技用途,或者学术单位的学术研究,否则真的很难接触到。而且计算机架构很难使用。那个时候,程序设计者必须先将程序相关的信息在读卡纸上面打洞然后将读卡纸插入卡片阅读机来将信息读入主机中运算…

    Linux干货 2016-10-14
  • 负载均衡LVS原理及其应用

    一、LB常用解决方案     1. 硬件负载均衡解决方案:          F5公司: BIG-IP         Citrix公司: …

    Linux干货 2015-12-28
  • ​Linux基础知识之screen命令详解

    该博文以CentOS6.8_x86_64系统为基础,Xshell5远程登录CentOS6.8系统,以root身份登录系统,以Xshell5发起screen帮助,用系统命令行界面去连接。 screen命令:         打开新的screen: screen -S [SESSION]   (打开一个名叫hel…

    Linux干货 2016-07-29
  • Linux介绍

    Linux简介 Linux是一种自由和开放源代码的类UNIX操作系统。该操作系统的内核由林纳斯·托瓦兹在1991年10月5日首次发布。在加上用户空间的应用程序之后,成为Linux操作系统。Linux也是自由软件和开放源代码软件发展中最著名的例子。只要遵循GNU通用公共许可证,任何个人和机构都可以自由地使用Linux的所有底层源代码,也可以自由地修改和再发布。…

    Linux干货 2016-10-28
  • LVM详解

    一、概述     LVM全称为Logical Volume Manager,即逻辑卷管理器。LVM可以弹性的调整文件系统的容量,可以将多个物理分区整合在一起,并且根据需要划分空间或动态的修改文件系统空间。     LVM有两个版本: lvm,lvm2 二、LVM的相关概念   &…

    Linux干货 2015-04-28