文本处理工具之grep正则表达式

grep简介

grep 是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。

Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它们把所有的字母都看作单词，也就是说，正则表达式中的元字符表示回其自身的字面意义，不再特殊。linux使用GNU版本的grep。它功能更强，可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。

一、grep命令的使用
首先，我们来了解grep命令，grep (global search regular expression and printing),全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。Linux中的grep命令包括、grep, egrep和fgrep 。egrep是grep的扩展，支持更多的re元字符，fgrep就是fast grep，搜索字符比较快，但不支持正则表达式。
然后，我们再来熟悉一下grep命令，其命令格式为：grep [options] ‘pattern’ FILE 。其中grep的常见选项：
-v:反向选取，只显示不符合模式的行；
-o:只显示被模式匹配的字串，而不是整个行；
-i:不区分字符的大小写；
-r:递归搜索；
-A #:显示匹配到行时，顺带显示其后面的#个行；
-B #:显示匹配到行时，顺带显示其前面的#个行；
-C #：显示匹配到行时，顺带显示其前后的#个行；
另外 ，为了用户查看显示匹配的结果，可以在grep命令之后输入  “--color=auto”，使结果呈现颜色。
二、 正则表达式
上面我们提到使用grep命令搜索正则表达式，那么我们来学习一下什么是正则表达式。
对于正则表达式，其起源并非在linux 中，正则表达式的“鼻祖”或许可一直追溯到科学家对人类神经系统工作原理的早期研究。而其含义是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。给定一个正则表达式和另一个字符串，我们可以达到如下的目的：
1. 给定的字符串是否符合正则表达式的过滤逻辑（称作“匹配”）；
2. 可以通过正则表达式，从字符串中获取我们想要的特定部分。
正则表达式由一些普通字符和一些元字符（metacharacters）组成。元字符不表示字符本身的意义，而用于额外功能性的描述。正则表达式的类型包括基本正则表达式和扩展正则表达式。
三、基本正则表达式
^：锚定行首的符合条件内容，用法格式 "^pattern"；
$: 锚定行尾的符合条件内容，用法格式 "pattern$"；
*：匹配紧挨着其前面的字符任意次 ；
.:匹配任意单个字符；
.*:匹配任意长度的任意字符（贪婪模式，尽可能的匹配）；
r.*h (非锚定), ^r.*h$(锚定)
[] :匹配指定范围内的任意单个字符；
[^]:匹配指定范围外的任意单个字符 ；
[[:space:]]:空白字符；
\?:匹配紧挨着在其前面的字符0次或1次；
\{m,n\}:匹配其前面的字符至少m次，  至多n次；
\{m,\}:至少m次，\{0,n\}:至多n次，0-n次；
\{m\}:精确匹配到m次；
\<：锚定词首，用法格式：\<pattern；
\>: 锚定词尾，用法格式：\>pattern；
\<pattern>:锚定单词；
\(\)：分组，用法格式：\（pattern\)；
ab任意字符ab:ab.*ab；
a.b任意字符a.b；\(a.b\).*\1 （1的含义是以相同的内容出现）。
四、扩展正则表达式
.: 任意单个字符
[ ] : 匹配指定范围内的任意单个字符；
[^]:匹配指定范围外的任意单个字符 ；
*:匹配紧挨着其前面的字符任意次
+:匹配其前面的字符至少1次
{m,n}:至少m次，至多n次
（）：分组，支持引用\1,\2
a|b:二选一
\<: 锚定词首，用法格式：\<pattern；
\>: 锚定词尾，用法格式：\>pattern；
^ : 锚定行首的符合条件内容
$ : 锚定行尾的符合条件内容
正则表达式是如何运用在linux的命令中的呢下面我们一起来看看几简单的实例分析正则表达式。
五、 正则表达式与grep命令的实战演    练
1，显示/etc/rc.d/rc.sysinit文件中以不区分大小的h开头的行；
# grep  “^[hH]”  /etc/rc.d/rc.sysinit
2,  显示/etc/passwd中以sh结尾的行;
# grep  “sh$”  /etc/passwd
3,  显示/etc/fstab中以#开头，且后面跟两个或多个空白字符，而后又跟了任意非空白字符的行；
#grep  “^#[[:space:]]\{1,\}[^[:space:]]  /etc/fstab
4,  显示/etc/rc.d/rc.local中符合形为“任意单个字符n任意字符任意单个字符n”模式的行；
# grep  “\(.i\).*\1”  /etc/rc.d/rc.local
5,  查找/etc/inittab中含有“以s开头，并以d结尾的单词”模式的行；
# grep  “\<s[a-zA-Z]*d\>”  /etc/inittab
或#grep  “\<s[^[:space:]]*d\>”  /etc/inittab
6,  查找ifconfig命令结果中的1-255之间的整数；
# grep | -E "\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"
7,显示/var/log/secure文件中包含“Failed”或“FAILED”的行；而后统计相关的行数
# egrep “(Failed | FAILED )” /var/log/secure  | wc -l
8,在/etc/passwd中取出默认shell为bash，且其用户ID号最小的用户的用户名
# grep "bash$" /etc/passwd | sort -n -t: -k3 | head -1 | cut -d: -f1