正则表达式入门及应用 以grep sed为例

◆　正则表达式

正则表达式是由一类特殊字符及文本字符所编写的模式，其中有些字符（元字符） 不表示字符字面意义，而表示控制或通配的功能。 它与shell的通配符既有相似也有不同。

※　转义符\ 可将带有命令性质的符号作为一般字符使用。

正则表达式中，常用以下元字符来代表特定字符的集合：

◆　分组

    1、正则表达式中，可以用\(\) 将一个或多个字符捆绑在一起，当作一个整体进行处理。以便于减少输入量，并方便阅读。如： \(root\)\+，代表”root”作为整体，至少出现一次。

    2、：分组括号中的模式匹配到的内容会被正则表达式引擎记录于内部的变量中，这 些变量的命名方式为: \1, \2, \3, …

用法样例： \(string1\+\(string2\)*\)

\1 相当于 ：string1\+\(string2\)*

\2 相当于：string2

◆　扩展正则表达式
扩展正则表达式的用法更加简洁，但有时表达模糊，常见的扩展表达式符号有「 + 」、「 ? 」、「 | 」 等等。

◆　通配符与正则表达式的区别

◆　练习题

1、显示三个用户root、mage、wang的UID和默认shell

cat /etc/passwd | egrep -w “^(root|mage|wang)” | cut -d: -f1,7

2、找出/etc/rc.d/init.d/functions文件中行首为某单词(包括下划线)后面跟一 个小括号的行

cat /etc/rc.d/init.d/functions | egrep -w “^[[:alpha:]]*_*.*\(\)”

3、使用egrep取出/etc/rc.d/init.d/functions中其基名

echo “/etc/rc.d/init.d/functions” | egrep -o “[^/]*/?$”

4、使用egrep取出上面路径的目录名

echo “/etc/rc.d/init” | egrep -o “^.*\/”

5、统计last命令中以root登录的每个主机IP地址登录次数

last |tr -s ‘ ‘ : | grep root | egrep “\<(([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>”|cut -d: -f1,3 | uniq -c

6、利用扩展正则表达式分别表示0-9、10-99、100-199、200-249、250-255

[0-9]
[1-9][0-9]
1[0-9][0-9]
2[0-4][0-9]
25[0-5]

7、显示ifconfig命令结果中所有IPv4地址

ifconfig |egrep -o “\<(([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>”

8、将此字符串：welcome to magedu linux 中的每个字符去重并排序，重复次数多的排到前面

echo “welcome to magedu linux” |grep [[:alpha:]] -o|sort -n|uniq -c

◆　grep命令

grep命令，主要作用为将指定字符串的所在行进行输出。全称Global search REgular expression and Print out the line，使用正则表达式进行全局搜索并以行的形式输出。

◆　用法 grep [OPTIONS] PATTERN [FILE…]

◆例：

grep root /etc/passwd
grep “$USER” /etc/passwd
grep ‘$USER’ /etc/passwd
grep `whoami` /etc/passwd

※　在grep中使用正则表达式时，正则表达式中以’ ‘括起来的内容，将被当做shell的通配符。
◆　egrep命令

egrep命令可以使用诸如包含「 + 」、「 ? 」、「 | 」等在内的扩展正则表达式。
同时也可以用grep -E来代替。

◆ 练习

1、显示/proc/meminfo文件中以大小s开头的行

cat /proc/meminfo | grep -i ^s

2、显示/etc/passwd文件中不以/bin/bash结尾的行

cat /etc/passwd | grep -v “/bin/bash”

3、显示用户rpc默认的shell程序

cat /etc/passwd | grep -w rpc |cut -d ‘:’ -f7

4、找出/etc/passwd中的两位或三位数

cat /etc/passwd | egrep -wo [[:digit:]]\{2,3}

5、显示CentOS7的/etc/grub2.cfg文件中，至少以一个空白字符开头的且后面有非 空白字符的行

cat /etc/grub2.cfg | egrep ^[[:space:]]\+.*[^[:space:]]

6、找出“netstat -tan”命令结果中以LISTEN后跟任意多个空白字符结尾的行

netstat -tan | grep “\<LISTEN\>[[:space:]]*$”

7、显示CentOS7上所有系统用户的用户名和UID

cat /etc/passwd | cut -d : -f1,3 | tr : ‘ ‘

8、添加用户bash、testbash、basher、sh、nologin(其shell为/sbin/nologin),找出/etc/passwd用户名和shell同名的行

cat /etc/passwd | grep “\(\<[[:alnum:]]\+\).*/\1$”

◆　sed 命令

sed命令是针对文本流进行编辑的主要方式。它一次处理一行内容。处理时，把当前处理的行存储在临时 缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。然后读入下行，执行下一个循环。

◆　用法： sed [option]… ‘script’ inputfile…

◆　编辑命令

◆　利用sed进行查找替换

s///：查找替换,支持使用其它分隔符，s@@@，s###

替换标记：

g: 行内全局替换
p: 显示替换成功的行
w /PATH/TO/SOMEFILE：将替换成功的行保存至文件中