Linux三剑客之grep使用入门指南

Linux的grep是一个具有强大功能的文本搜索工具,正确的学习和使用,能很大程度上提高工作效率,减轻运维工作所面临的压力。

Linux三剑客:grepsedawk


一、grep

grep:

(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具。

Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展,支持更多的re元字符, fgrep就是fixed grep或fast grep,它们把所有的字母都看作单词,也就是说,正则表达式中的元字符表示回其自身的字面意义,不再特殊。linux使用GNU版本的grep。它功能更强,可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能

作用:

文本搜索工具,根据用户指定的“模式”对目标文本逐行进行匹配检查,它能使用正则表达式搜索文本,并把匹配的行打印出来。

模式:

由正则表达式字符及文本字符所编写的过滤条件

语法:

grep [OPTIONS] PATTERN [FILE…]

model:

root@Eric(Eric) ~]#grep  Eric /etc/passwd

Eric:x:1001:1001::/home/Eric:/bin/bash

grep的基本正则表达式命令选项:

–color=auto: 对匹配到的文本着色显示

model:

[root@centos6(Eric)~]#grep –color=auto root /etc/passwd

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

注:因为编辑器的原因,所以颜色没有高亮显示

-v: 显示不被pattern匹配到的行

[root@centos6(Eric) Eric]#grep -v root passwd

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

gopher:x:13:30:gopher:/var/gopher:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

dbus:x:81:81:System message bus:/:/sbin/nologin

usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin

rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin

rtkit:x:499:499:RealtimeKit:/proc:/sbin/nologin

avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin

vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin

abrt:x:173:173::/etc/abrt:/sbin/nologin

rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin

haldaemon:x:68:68:HAL daemon:/:/sbin/nologin

ntp:x:38:38::/etc/ntp:/sbin/nologin

apache:x:48:48:Apache:/var/www:/sbin/nologin

saslauth:x:498:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin

postfix:x:89:89::/var/spool/postfix:/sbin/nologin

gdm:x:42:42::/var/lib/gdm:/sbin/nologin

pulse:x:497:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

tcpdump:x:72:72::/:/sbin/nologin

Eric:x:500:500::/home/Eric:/bin/bash

注:为了显示匹配的效果,所以,匹配这个文本有点长,如果自己测试,可以新建或者拷贝一个文件,删除一些内容。

 

-i: 忽略字符大小写

[root@centos6(Eric) Eric]#grep eric -i passwd

Eric:x:500:500::/home/Eric:/bin/bash

 

-n:显示匹配的行号

[root@centos6(Eric) Eric]#grep Eric -n passwd

34:Eric:x:500:500::/home/Eric:/bin/bash

 

注:前面的34就是显示的行号。

-c: 统计匹配的行数

[root@centos6(Eric) Eric]#grep root -c passwd

2

下面结果证明显示的匹配到行数是正确

[root@centos6(Eric) Eric]#grep root  passwd

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

 

-o:仅显示匹配到的字符串

[root@centos6(Eric) Eric]#grep root  -o passwd

root

root

root

root

 

-q:静默模式,不输出任何信息

[root@centos6(Eric) Eric]#grep root  -q passwd

 

-A #:after,后#行

[root@centos6(Eric) Eric]#grep root  -A 3 passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

gopher:x:13:30:gopher:/var/gopher:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

 

-B #:before,前#行

[root@centos6(Eric) Eric]#grep Eric  -B 3 passwd

pulse:x:497:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

tcpdump:x:72:72::/:/sbin/nologin

Eric:x:500:500::/home/Eric:/bin/bash

 

-C #:context,前后各#行

[root@centos6(Eric) Eric]#grep ftp  -C 3 passwd

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

gopher:x:13:30:gopher:/var/gopher:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

dbus:x:81:81:System message bus:/:/sbin/nologin

usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin

 

-e:实现多个选项间的逻辑or关系

grep -e ‘Eric’ -e ‘root’ file

 

[root@centos6(Eric) Eric]#grep -e Eric -e root passwd

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

Eric:x:500:500::/home/Eric:/bin/bash

 

-w:匹配整个单词

 

[root@centos6(Eric) Eric]#grep /var/ftp -w passwd

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

 

-E:使用ERE

-F:相当于fgrep,不支持正则表达式

 

基本正则表达式

REGEXP:由一类特殊字符及文本字符所编写的模式,其中有些自负(元字符)不表示字符字面意义,而表示控制或通配的功能

程序支持:grep,sed,awk,vim,less,nginx,varnish等

 

分两类:

基本正则表达式:BRE

扩展正则表达式:ERE

grep – E,egrep

正则表达式引擎:

采用不同算法,检查处理正则表达式的软件模块PCRE(Perl Compatible Regular Expressions)

 

元字符分类:

字符匹配、匹配次数、位置锚定、分组

man 7 regex

 

字符匹配:

.: 匹配任意单个字符

 

[root@centos6(Eric) ~]#ls in*

install.log  install.log.syslog

 

[]:匹配指定范围内的任意单个字符

 

[root@centos6(Eric) ~]#ls in[a-z]tall.log

install.log

 

[^]:匹配指定范围外的任意单个字符

 

[root@centos6(Eric) ~]#touch 968a.log

[root@centos6(Eric) ~]#ls 968[^0-9].log

968a.log

 

[:alnum:]:字母和数字

 

[root@centos6(Eric) ~]#ls [[:alnum:]]*.log

968a.log  968.log  install.log

 

[:alpha:]:代表任何英文大小写字符,亦即A-Z,a-z

 

[root@centos6(Eric) ~]#ls [[:alpha:]]*.log

install.log

 

[:lower:]:小写字母

 

[root@centos6(Eric) ~]#touch Eric.log

[root@centos6(Eric) ~]#ls [[:lower:]]*.log

install.log

 

[:upper:]:大写字母

 

[root@centos6(Eric) ~]#ls [[:upper:]]*.log

Eric.log

 

[:blank:]:空白字符

[:space:]:水平和垂直的空白字符(比[:blank:]包含的范围广)

[:cntrl:]:不可打印的控制字符(退格、删除、警铃…)

[:digit:]:十进制数字

[:xdigit:]:十六进制数字

[:graph]:可打印的非空白字符

[:print:]:可打印字符

[:punct:]:标点符号

 

正则表达式

匹配次数:用在用指定次数的字符后面,用于指定前面的字符要出现的次数

 

*:匹配前面的字符任意次,包括0次

贪婪模式:尽可能长的匹配

.*:任意长度的任意字符

\?:匹配其前面的字符0次或1次

\+:匹配其前面的字符至少1次

\{n\}:匹配前面的字符b次

\{m,n\}:匹配前面的字符至少m次,至多n次

\{,n\}:匹配前面的字符至多n次

\{n,\}匹配前面的字符至少n次

 

位置锚定:定位出现的位置

^:行首锚定,用于模式的最左侧

$:行尾锚定,用于模式的最右侧

^PATTERN$:用于模式匹配整行

^$:空行

^[[:space:]]*$:空白行

\<或\b:词首锚定,用于单词模式的左侧

\>或\b:词尾锚定,用于单词模式的右侧

\<PATTERN\>:匹配整个单词

 

分组:\(\):将一个或多个字符捆绑在一起,当作一个整体进行处理,如:\(root\)\+

 

分组括号中的模式匹配到的内容会被正则表达式引擎记录于内部的变量中,这些变量的命名方式为:\1,\2,\3,…

 

\1:表示从左侧起的第一个左括号以及与之匹配右括号之间的模式所匹配到的字符

示例:

\(string1\+\(string2\)*\)

\1:string1\+\(string2\)*

\2:string2

后向引用:引用前面的分组括号中的模式所匹配字符,而非模式本身

 

或者:\|

示例:a\|b:a或b C\|cat:C或cat  \(C\|c)at:Cat或cat

 

model:

1、显示/proc/meminfo文件中以大小s开头的行(要求:使用两 种方法)

[root@centos6(Eric) Eric]#grep -i “^s” /proc/meminfo

SwapCached:            0 kB

SwapTotal:       2097148 kB

SwapFree:        2097148 kB

Shmem:               248 kB

Slab:              35684 kB

SReclaimable:       9104 kB

SUnreclaim:        26580 kB

 

以下方法都可:

grep “^[Ss]” /proc/meminfo

grep “^S\|^s” /proc/meminfo

grep -e ^s -e ^S  /proc/meminfo

 

2、显示/etc/passwd文件中不以/bin/bash结尾的行

 

[root@centos6(Eric) Eric]#grep -v “/bin/bash$” /etc/passwd

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

3、显示用户rpc默认的shell程序

[root@centos6(Eric) Eric]#grep “rpc\b” /etc/passwd  |cut -d: -f7

/        sbin/nologin

 

4、找出/etc/passwd中的两位或三位数

 

[root@centos6(Eric) Eric]#grep –color “[[:digit:]]\{2,3\}” /etc/passwd

 

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

gopher:x:13:30:gopher:/var/gopher:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin

saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin

postfix:x:89:89::/var/spool/postfix:/sbin/nologin

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

Eric:x:500:500::/home/Eric:/bin/bash

rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin

mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/bash

ntp:x:38:38::/etc/ntp:/sbin/nologin

 

5、显示CentOS7的/etc/grub2.cfg文件中,至少以一个空白

字符开头的且后面存非空白字符的行

 

[root@Eric(Eric) ~]#grep “^[[:space:]]\+[^[:space:]]” /etc/grub2.cfg

 

注:后面显示内容较多,此处省略。

 

6、找出“netstat -tan”命令的结果中以‘LISTEN’后跟任意多个空白字符结尾的行

 

[root@Eric(Eric) ~]#netstat -tan | grep “^LISTEN[[:space:]]\+”

 

7、显示CentOS7上所有系统用户的用户名和UID_

 

[root@Eric(Eric) ~]#cat /etc/passwd | cut -d: -f1,3 | grep “\b[0-9]\?[0-9]\?[0-9]\b”

root:0

bin:1

daemon:2

adm:3

lp:4

sync:5

shutdown:6

halt:7

mail:8

operator:11

games:12

ftp:14

nobody:99

 

8、添加用户bash、testbash、basher、sh、nologin(其shell 为/sbin/nologin),找出/etc/passwd用户名同shell名的行_

 

cat /etc/passwd |grep “\(^.*\)\>.*\<\1$”

cat /etc/passwd |egrep “(^.*)\>.*/\1$”

 

9、利用df和grep,取出磁盘各分区利用率,并从大到小排序

[root@centos6(Eric) Eric]#df | grep -o “[[:digit:]]\+%” |sort -nr

31%

18%

7%

0%

 

egrep及扩展的正则表达式

egrep = grep -E

 

语法:

egrep [OPTIONS] PATTERN [FILE…]

 

扩展正则表达式的元字符:

 

字符匹配:

.:任意单个字符

[]:指定范围的字符

[^]:不指定范围的字符

次数匹配:

*:匹配前面字符任意次

?:0或1次

+:1次或多次

{m}:匹配m次

{m,n}:至少m次,至多n次

位置锚定:

^:行首

$:行尾

\<,\b:词首

\>,\b:词尾

分组:

():

后向引用:\1,\2,…

或者:

a|b:a或b

C|cat:C或cat

(C|c)at:Cat或cat

 

model:

1、显示三个用户root、mage、wang的UID和默认shell

[root@centos6(Eric) Eric]#cat /etc/passwd | grep -E “^(root|mage|wang)\b” |cut -d: -f3,7

0:/bin/bash

 

2、找出/etc/rc.d/init.d/functions文件中行首为某单词(包括下划线)后面跟一个小括号的行

[root@centos6(Eric) Eric]#grep -E “^[[:alpha:]_]+\(\)” /etc/rc.d/init.d/functions

 

3、使用egrep取出/etc/rc.d/init.d/functions中其基名

[root@centos6(Eric) Eric]#echo /etc/rc.d/init.d/functions | grep -Eo “[^/]+/?$”

functions

 

4、使用egrep取出上面路径的目录名

[root@centos6(Eric) Eric]#echo /etc/rc.d/init.d/functions | grep -Eo “^/.*/”

/etc/rc.d/init.d/

 

5、统计last命令中以root登录的每个主机IP地址登录次数

[root@centos6(Eric) Eric]#last | egrep -o “^root\>.*[0-9]\.[0-9]{1,3}” |tr -s ” ” “#” | cut -d# -f3 |sort -n |uniq -c

1 172.16.15.100

26 172.16.99.1

 

[root@centos6(Eric) Eric]#last | grep ^root | egrep -o “([0-9]{1,3}\.){3}[0-9]{1,3}” | sort | uniq -c

1 172.16.15.100

26 172.16.99.1

 

6、利用扩展正则表达式分别表示0-9、10-99、100-199、 200-249、250-255

echo {1..100} |egrep -o “\b[0-9]\b”

echo {1..100} |egrep -o “\b[0-9]{2}\b”

echo {1..1000} |egrep -o “\b1[0-9][0-9]\b”

echo {1..1000} |egrep -o “\b2[0-4][0-9]+\b”

echo {1..1000} |egrep -o “\b25[0-5]+\b”

7、显示ifconfig命令结果中所有IPv4地址

ifconfig | egrep -o “([0-9]{1,3}\.){3}[0-9]{1,3}”

 

8、将此字符串:welcome to magedu linux 中的每个字符 去重并排序,重复次数多的排到前面

cho “welcome to magedu linux” |grep -Eo [a-z] | sort | uniq -c|sort -nr

本文来自投稿,不代表Linux运维部落立场,如若转载,请注明出处:http://www.178linux.com/86664

(0)
上一篇 2017-09-09 15:59
下一篇 2017-09-09 16:14

相关推荐

  • 习题

    1、找出ifconfig命令结果中本机的所有IPv4地址 2、查出分区空间使用率的最大百分比值 3、查出用户UID最大值的用户名、UID及shell类型 4、查出/tmp的权限,以数字方式显示 5、统计当前连接本机的每个远程主机IP的连接数,并按从大到小排序 6、显示/proc/meminfo文件中以大小s开头的行;(要求:使用两种方式) 7、显示/etc/…

    Linux干货 2016-08-07
  • 哥是玩程序的

      下面一组有趣的Web示例,这些示例使用Web的一些很“土”控件做出一些很有趣的玩意儿。原来,编程是可以用来玩的,看看这些玩程序的人搞出的这些有意思的玩意,简直是玩得太有意思了。不过,请注意,这些东西只能使用Chrome打开,不然,你看不到相关的效果。 用滚动条做的时间 http://toki-woki.net/p/scroll-clock/,下…

    Linux干货 2015-04-01
  • Linux下的文件管理系统

    一、文件系统的FHS标准     因为Linux的属于开源系统,开发人员多,为了统一开发标准,Linux有一个文件系统标准,也就是FHS(Filesystem HierarchyStandard)标准。有了这个标准,那些独立的软件开发商、系统开发人员以及系统的使用者就能方便的在系统上操作。 二、文件系统  &…

    Linux干货 2016-08-02
  • N22-妙手-第七周博客作业第四题:RAID各级别的特性

    什么是RAID RAID的全称是Redundant Array of Independent Disks – 独立磁盘冗余阵列。基本思想是将多个相对便宜的硬盘组合成为一个硬盘阵列,使其在性能上达到或超过一块价格昂贵、容量巨大的硬盘。RAID通常被用在服务器上,使用完全相同的硬盘组成一个逻辑扇区,因此操作系统会把其当做一块硬盘。RAID分为不同的等…

    Linux干货 2016-09-27
  • 文件压缩,解压缩及归档

        在Linux的环境中,压缩文件的扩展名大多是:“*.tar, *.tar.gz, *.gz, *.Z, *.bz2, *.xz”,因为 Linux 支持的压缩指令非常多,且不同的指令所用的压缩技术并不相同,当然彼此之间可能就无法互通压缩/解压缩文件,当你下载到某个压缩文件时,自然就需要知道该文件是由哪种压缩指令…

    Linux干货 2016-08-18
  • ☞磁盘管理、MBR、GPT、分区工具、文件系统、常见分区挂载

    磁盘管理{磁盘结构;MBR;GPT;分区工具;文件系统;分区挂载;}

    Linux干货 2016-08-29