linux三剑客之grep

linux三剑客之grep

       所谓三剑客的工具有“grep”、“sed” 、“awk”,他们都是不谋而合的文本搜索查找处理的强大工具。grep 是 Ken Thompson 写的,他也是 Unix 的创造者。

gerp及正则表达式

   grep全称(GLobal search Regular expression and print out the line   全局搜索正则表达式并打印到命令行)

   grep是文本搜索工具,根据用户指定的“模式”(过滤条件),对目标文本逐行进行匹配并打印到命令行界面

   模式:由正则表达式的元字符及文本符所编写的过滤条件

grep又分为grep、egrep、fgrep;其中grep支持基本正则表达式,egrep支持扩展正则表达式,fgrep则不支持正则表达式;至于为什么要分的那么多,因为linux系统上有很多工具,而有的工具只支持基本正则表达式进行搜索,有的却支持扩展正则表达式,至于fgrep则是用来匹配不用 “模式 ” 作为过滤条件的工具,fgrep的搜索速度比前两者快很多。

grep的使用

    命令格式:

       grep [OPTIONS] PATTERN [FILE…] 

                选项          模式         查找的文件

       grep [OPTIONS] [-e PATTERN | -f FILE] [FILE…]

                 -e:逻辑或      -f:在文件中调用模式来匹配

      命令选项:

–color=auto :对匹配到的文本高亮显示

             -i :忽略字符大小写

在搜索时不区分字符的大小写

-o:仅显示匹配到的文本字符本身

搜索到匹配的字符串时只显示字符串本身,同行的其他字符不显示

-v:仅显示不能被匹配到的行

显示不能匹配到的其他行,被匹配到的不显示

-q:静默模式,即不输出任何信息

用于测试,常用于在脚本中用于判断是否能匹配,并不关心匹配到的值

-n:给匹配到的字符所在行添加行号

给匹配到的字符所在行进行标记,行号为字符所在文本中的行数

-c:统计匹配到的行的行数

计算出匹配到的字符的所有行总数,只显示总数

-e:逻辑或

同时匹配多个条件时使用一个条件前加一个-e选项

-w:匹配的字符串为整个单词

匹配时不以字符进行匹配,必须为单独的一个单词才能匹配到

-A:显示匹配到的行的前N行(N为要显示的行数)

显示匹配到的行的前面几行

-B:显示匹配到的行的后N行(N为要显示的行数)

显示匹配到的行的后面几行

-C:显示匹配到的行的前后N行(N为要显示的行数)

显示匹配到的行的前面和后面几行

-E:使用egrep进行搜索

支持扩展正则表的式进行搜索

-F:使用fgrep进行搜索

不支持正则表达式进行搜索

基本正则表达式的元字符:

用于对要匹配的字符模糊匹配,即显示出符合模式的字符,匹配方式有:字符匹配、匹配字符次数、字符串位置锚定、分组及引用

字符匹配:

         模糊对字符进行大概的类型进行查找

. :任意单个字符

[ ]: 指定范围内的任意单个字符

[^]:指定范围外的任意单个字符

其中用于[]和[^]中的还有一些常用的元字符:

[:space:]     所有空格和tab键

[:upper:]     所有大写字母

[:lower:]     所有小写字母

[:alpha:]     所有大小写字母

[:alnum:]    所有数字和大小写字母

[:digit:]    所有数字

[:punct:]    所有标点符号

注意:如[:punct:]等是一个整体,所以使用时需在加上外围内或范围外的中括号

匹配次数:

      匹配要查找的字符出现过几次

*:匹配其前面的字符任意次(0、1、多次)

.*:匹配任意长度的任意字符

\?:匹配其前面的字符0次或1次(此字符前面一个字符可有可无)

\+:匹配其前面的字符至少1次,可以多次

\{m\}:匹配其前面的字符m次

\{m,n\}:匹配其前面的字符至少m次,至多n次(包括给定的次数)

\{0,n\}:匹配其前面的字符至多n次

\{m,\}:匹配其前面的字符至少m次

位置锚定: 

      对字符的位置进行锚定查找

          1.对行的位置进行锚定

^:  行首锚定(用于模式的最左侧)

$:行尾锚定(用于模式的最右侧)

^PATTERN$:用PATTERN匹配整行

^$:空白行(不包括空格字符)

^[[:space:]]$:空白行(包括空格字符的行)

          2.对要查找的单词进行位置锚定;单词:非特殊字符组成的字符(字符串,包括数字)

\<或\b:词首锚定,用在单词的最左侧 

\>或\b:词尾锚定,用在单词的最右侧

\<PATTERN\>:用于匹配整个完整单词

注意:\b则用在要匹配单词模式的左右则即可,在左侧则为词首,右侧则为词尾

分组及引用:

      分组:

\(\):将一个字符或多个字符捆绑在一起当做一个整体来进行处理,可以引用此前匹配到的结果

      引用:

             引用前面分组匹配到的结果;分组括号中的模式匹配到的内容会被正则表达式引擎自动记录在内部变量中,使用此变量即可调用保存的结果再次进行匹配。

变量则为:\1、\2、\3、\4………………

\1:表示模式从左侧起,第一个左括号以及与之匹配的右括号之间的模式所匹配到的字符

\2:   表示模式从左侧起,第二个左括号以及与之匹配的右括号之间的模式所匹配到的字符

 

egrep的使用

    命令格式:

       egrep [OPTIONS] PATTERN [FILE…] 

                选项          模式         查找的文件

      命令选项:

–color=auto :对匹配到的文本高亮显示

             -i :忽略字符大小写

在搜索时不区分字符的大小写

-o:仅显示匹配到的文本字符本身

搜索到匹配的字符串时只显示字符串本身,同行的其他字符不显示

-v:仅显示不能被匹配到的行

显示不能匹配到的其他行,被匹配到的不显示

-q:静默模式,即不输出任何信息

用于测试,常用于在脚本中用于判断是否能匹配,并不关心匹配到的值

-n:给匹配到的字符所在行添加行号

给匹配到的字符所在行进行标记,行号为字符所在文本中的行数

-c:统计匹配到的行的行数

计算出匹配到的字符的所有行总数,只显示总数

-w:匹配的字符串为整个单词

匹配时不以字符进行匹配,必须为单独的一个单词才能匹配到

-A:显示匹配到的行的前N行(N为要显示的行数)

显示匹配到的行的前面几行

-B:显示匹配到的行的后N行(N为要显示的行数)

显示匹配到的行的后面几行

-C:显示匹配到的行的前后N行(N为要显示的行数)

显示匹配到的行的前面和后面几行

-F:使用fgrep进行搜索匹配

不支持正则表达式进行搜索

-G:使用grep进行搜索匹配

支持正则表达式进行搜索

扩展正则表达式的元字符:

用于对要匹配的字符模糊匹配,即显示出符合模式的字符,匹配方式有:字符匹配、匹配字符次数、字符串位置锚定、分组及引用

字符匹配:

         模糊对字符进行大概的类型进行查找

. :任意单个字符

[ ]: 指定范围内的任意单个字符

[^]:指定范围外的任意单个字符

其中用于[]和[^]中的还有一些常用的元字符:

[:space:]     所有空格和tab键

[:upper:]     所有大写字母

[:lower:]     所有小写字母

[:alpha:]     所有大小写字母

[:alnum:]    所有数字和大小写字母

[:digit:]    所有数字

[:punct:]    所有标点符号

注意:如[:punct:]等是一个整体,所以使用时需在加上外围内或范围外的中括号

匹配次数:

      匹配要查找的字符出现过几次

*:任意次

?:匹配其前面的字符0次或1次(此字符前面一个字符可有可无)

+:匹配其前面的字符至少1次,可以多次

{m}:匹配其前面的字符m次

{m,n}:匹配其前面的字符至少m次,至多n次(包括给定的次数)

{0,n}:匹配其前面的字符至多n次

{m,}:匹配其前面的字符至少m次

位置锚定: 

      对字符的位置进行锚定查找

          1.对行的位置进行锚定

^:  行首锚定(用于模式的最左侧)

$:行尾锚定(用于模式的最右侧)

^PATTERN$:用PATTERN匹配整行

^$:空白行(不包括空格字符)

^[[:space:]]$:空白行(包括空格字符的行)

          2.对要查找的单词进行位置锚定;单词:非特殊字符组成的字符(字符串,包括数字)

\<或\b:词首锚定,用在单词的最左侧 

\>或\b:词尾锚定,用在单词的最右侧

\<PATTERN\>:用于匹配整个完整单词

注意:\b则用在要匹配单词模式的左右则即可,在左侧则为词首,右侧则为词尾

分组及引用:

      分组:

():将一个字符或多个字符捆绑在一起当做一个整体来进行处理,可以引用此前匹配到的结果

      引用:

             引用前面分组匹配到的结果;分组括号中的模式匹配到的内容会被正则表达式引擎自动记录在内部变量中,使用此变量即可调用保存的结果再次进行匹配。

变量则为:\1、\2、\3、\4………………

\1:表示模式从左侧起,第一个左括号以及与之匹配的右括号之间的模式所匹配到的字符

\2:   表示模式从左侧起,第二个左括号以及与之匹配的右括号之间的模式所匹配到的字符

或:

      |    :前一个或者后一个

fgrep:不支持正则表达式元字符

当不需要用到元字符去进行匹配字符时,使用fgrep速度更快

练习题:

 1、显示当前系统root、 mage或wang用户的UID和默认shell

  [root@localhost /]# egrep "^(root|wang|mage)\b" /etc/passwd | cut -d: -f3,7

 2、找出/etc/rc.d/init.d/functions文件中行首为某单词(包括下划线)后面跟一个小括号的行

[root@localhost /]# grep "^[[:alnum:]_].*()" /etc/rc.d/init.d/functions

 3、使用egrep取出/etc/rc.d/init.d/functions中其基名

    [root@localhost testdir]# echo "/etc/aa/bb/" | egrep   "[^/]+*/?$"

 4、使用egrep取出上面路径的目录名

   [root@localhost testdir]# echo "/etc/aa/bb" | egrep   "^[^[:alnum:]]+.*/"

 6、显示ifconfig命令结果中所有IPv4地址

 ifconfig | egrep --color=auto "(\b([1-9]|1[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\b\.)(\b([0-9]|1[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\b\.){2}(\b([0-9]|1[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\b)"

 7、显示/proc/meminfo文件中以大小s开头的行; (要求:使用两种方式)

[root@localhost testdir]# grep "^[S|s]" /proc/meminfo
[root@localhost testdir]# grep -i "^s" /proc/meminfo

 8、显示/etc/passwd文件中不以/bin/bash结尾的行

[root@localhost testdir]# grep -v  "/bin/bash$" /etc/passwd

 9、显示用户rpc默认的shell程序

[root@localhost testdir]# grep "^\brpc\b" /etc/passwd | cut -d: -f3,7

 10、找出/etc/passwd中的两位或三位数

[root@localhost testdir]# grep "\([[:digit:]]\)\{2,3\}" /etc/passwd

 11、显示/etc/grub.cfg文件中,至少以一个空白字符开头的且后面存非空白字符的行

[root@localhost testdir]# grep "^[[:space:]].*[^[:space:]]" /etc/grub.conf

 12、找出"netstat -tan"命令的结果中以'LISTEN'后跟0、 1或多个空白字符结尾的行

[root@localhost testdir]# netstat -tan | grep "\bLISTEN[[:space:]]*$"

13、找出/etc/passwd文件中用户名同shell名的行

[root@localhost /]# egrep "^(\<.*\>)+.*\1$" /etc/passwd
[root@localhost testdir]# egrep "^([[:alpha:]]+):.*\1$" /etc/passwd

14、用正则表达式表示IP地址

[root@localhost testdir]#  ifconfig | egrep --color=auto -o "(\b([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|2[0-2][0-3]])\b\.)(\b([0-9]|1[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\b\.){2}(\b([0-9]|1[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])\b)"

15、用正则表达式表示手机号11 13 17 15  18 

 egrep "\b1[345678][0-9]{9}\b"

原创文章,作者:Lii,如若转载,请注明出处:http://www.178linux.com/29892

(0)
上一篇 2016-08-08 16:16
下一篇 2016-08-08 16:16

相关推荐

  • LVM(逻辑卷管理)

    LVM 逻辑卷管理 概述:      LVM是将一个或多个硬盘的分区在逻辑上集合,相当于一个大硬盘来使用,当硬盘的空间不够使用的时候,可以继续将其它的硬盘的分区加入其中,这样可以实现磁盘空间的动态管理,相对于普通的磁盘分区有很大的灵活性。与传统的磁盘与分区相比,LVM为计算机提供了更高层次的磁盘存储。它使系统管理员可以更方便的为…

    Linux干货 2016-09-05
  • Linux系统中的防火墙iptables

    iptables/netfilter——Linux系统下的防火墙 基本原理 防火墙主要功能 工作于主机或者网络边缘,对进出本主机或本网络的报文进行匹配检测,对匹配到规则的报文进行于规则相对应的处理。 防火墙主要分类 按功能分类 主机防火墙网络防火墙 按构成分类 软件防火墙硬件防火墙 Linux防火墙软件iptables/netfilter(以后简称iptab…

    Linux干货 2017-06-13
  • Linux中命令的分类,hash缓存表与别名

        命令的分类:     在Linnux中,平常工作用的是字符界面。Linux输入命令后,shell接收命令通过系统调用把命令送入内核中执行。    *shell中的可执行命令分为两类        1.内部命令:为shell自带命令,利用某种形式在开机后…

    Linux干货 2017-07-15
  • 文本处理三剑客之vim

    由于Linux中的配置文件都是以文本方式存在的,所以在Linux的系统中使用文本编辑器来配置系统是一件很重要的事情。而vim由于程序简单、编辑速度快且能够检查编程中的语法错误,所以已成为最常用也最重要的文本处理工具。下面我们就来介绍一下。 一、vim的模式 Vim在使用过程中,基本上分为三种模式:命令模式、编辑模式与扩展命令模式。在三种模式下,我们可以执行的…

    Linux干货 2016-08-12
  • 网络配置与进程管理

    一、网络配置 1、ifconfig命令  ifconfig [IFACE]      显示所有启动的网络接口信息,包括网卡别名;指明网络接口时,显示指定网络接口信息 ifconfig -a     显示所有网络接口的信息,包括未启动的网卡接口。 if…

    Linux干货 2016-09-08
  • 建立私有CA的方法

    建立私有CA的方法 建立私有CA的工具:     OpenCA     Openssl 证书申请及签署步骤:     1,生成申请请求:     2,RA核验;    &…

    Linux干货 2016-09-19