文本处理三剑客-grep及正则表达式初

什么是正则表达式

基本正则表达式的元字符

扩展正则表达式

grep的基本理解

grep的基本选项

grep的应用实例

什么是正则表达式

 

正则表达式,又称正规表示法、常规表示法(英语:Regular Expression,在代码中常简写为regexregexpRE),计算机科学的一个概念。正则表通常被用来检索、替换那些符合某个模式的文本。(摘自百度百科)

个人理解:正则表达式是由一些特殊字符及文本所标写的一种模式,通过搭配文本处理工具来搜索文本并将匹配数据打印出来。

  正则表达式分类

基本的正则表达式(Basic Regular Expression 又叫vfr Basic RegEx  简称 BRE

扩展的正则表达式(Extended Regular Expression 又叫 Extended RegEx 简称 ERE

引擎:采用不同算法,检查处理正则表达式的软件模块



基本正则表达式的元字符

字符匹配

.        单个字符
[]       匹配任意字符以内范围
[^]      匹配任意字符以外的的范围(取反)
[:digit:]匹配任意数字
[:lower:]匹配任意小写字母
[:upper:]匹配任意大写字母
[:alpha:]匹配任意大小写字母
[:space:]匹配任意空白或空格
[:punct:]匹配所有标点符号
[:alnum:]匹配所有字母和数字

 次数匹配

*匹配前一个字符的0到任意次
.*任意字符的任意长度
\?匹配前面的字符0-1次
\+匹配前面字符的1次以上包括1次
\{n\}匹配前面字符n次
\{m,n\}匹配前面字符最少m,最多n次
\{,m\}最少m次
\{m,\}最多m次

 

位置锚定  

^行首
$行尾
^$空行
\<词首锚定   \>词尾锚定
\b词首锚定   \b词尾锚定
\<匹配整个单词\>

 

分组  

  将一个或多个字符绑定在一起作为一个整体处理

\(\)

例如:\(root\) 匹配一行中所有为root字符的组

例如:ab*c

 表示的是b的任意次而不是说是ab的任意次,要实现这一功能,就可以使用分组\(ab\)*c

 

分组括号中的模式匹配到的内容会被正则表达式引擎自动记录在内部变量中,这些变量为:

\1:模式从左侧开始,第一个左侧括号以及与之匹配的右括号之间的模式所匹配到的字符

\2:模式从左侧开始,第二个左侧括号以及与之匹配的右括号之间的模式所匹配到的字符

括号可以内嵌但不能交叉

 



扩展正则表达式

扩展正则表达式的用法

erep -Eegrep

 

扩展正则表达式的元字符

字符匹配

.任意单个字符
[]指定范围内的字符
[]不在范围内的字符,取反

 

次数匹配

*匹配前面字符的任意次
?匹配前面自0次或1次
+匹配前面字符至少1次以上包括1次
{n}匹配n次
{n,m}匹配至少n次最多m次

 

位置锚定

^行首
$行尾
^$空行
\<,\b:句首
\>,\b:句尾
 或者使用|
A|b:A或b

 



grep的基本理解

文本搜索工具,通过正则表达式及文本字符编写的过滤条件进行搭配来对文本进行匹配检查,打印匹配并输出结果。



grep基本选项

grep -i 不区分大小写
grep -v 取反
grep -n 显示行号
grep -c 显示匹配的有多少行
grep -o 只显示匹配的字符或其他
grep -q 静默模式 就是不显示匹配的结果,什么都不显示
用echo %?得出上一条命令的结果
0为正确输出
非0位错误的命令输出
grep -A {number}匹配结果行后几行
grep -B {number}匹配结果前几行
grep -C {number}匹配结果的前后几行
grep -e 关键字 -e 关键字 多个关键字作为匹配条件(不限制说一定要匹配前后,匹配前后其中一个)
grep -w 匹配整个单词不包含包括

grep的应用实例

1、显示/proc/meminfo文件中以大小s开头的行;(要求:使用两种方式)

[root@localhost ~]# grep -i "^s" /proc/meminfo 
SwapCached:           64 kB
SwapTotal:       2097148 kB
SwapFree:        2091288 kB
Shmem:              6016 kB
Slab:             228152 kB
SReclaimable:     153116 kB
SUnreclaim:        75036 kB
[root@localhost ~]# grep -e "^S" -e "^s" /proc/meminfo 
SwapCached:           64 kB
SwapTotal:       2097148 kB
SwapFree:        2091288 kB
Shmem:              6016 kB
Slab:             228152 kB
SReclaimable:     153116 kB
SUnreclaim:        75036 kB

2、显示/etc/passwd文件中不以/bin/bash结尾的行

[root@localhost ~]# grep -v "/bin/bash$" /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:998:996:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin

3、显示用户rpc默认的shell程序

[root@localhost ~]# grep "\brpc\b" /etc/passwd |cut -d: -f7
/sbin/nologin

4、找出/etc/passwd中的两位或三位数

[root@localhost ~]# grep "\b[[:digit:]]\{2,3\}\b" /etc/passwd
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:998:996:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:997:995:User for polkitd:/:/sbin/nologin
colord:x:996:994:User for colord:/var/lib/colord:/sbin/nologin

5、显示/etc/grub2.cfg文件中,至少以一个空白字符开头的且后面存非空白字符的行

[root@localhost ~]# grep "^[[:space:]]\+[^[:space:]].*" /etc/grub2.cfg 
  load_env
   set default="${next_entry}"
   set next_entry=
   save_env next_entry
   set boot_once=true
   set default="${saved_entry}"
  menuentry_id_option="--id"
  menuentry_id_option=""
  set saved_entry="${prev_saved_entry}"
  save_env saved_entry
  set prev_saved_entry=
  save_env prev_saved_entry
  set boot_once=true
  if [ -z "${boot_once}" ];

6、找出"netstat -tan"命令的结果中以'LISTEN'后跟0、1或多个空白字符结尾的行

[root@localhost ~]# netstat -tan |grep "LISTEN[[:space:]]*$"
tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN     
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN     
tcp6       0      0 :::22                   :::*                    LISTEN     
tcp6       0      0 ::1:631                 :::*                    LISTEN     
tcp6       0      0 ::1:25                  :::*                    LISTEN     
tcp6       0      0 ::1:6010                :::*                    LISTEN

7、添加用户bash、testbash、basher以及nologin(其shell为/sbin/nologin),而后找出/etc/passwd文件中用户名同shell名的行

[root@localhost testdir]# grep "^\(\<.*\>\).*/\1$"  passwd 
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
bash:x:1001:1001::/home/bash:/bin/bash
nologin:x:1004:1004::/home/nologin:/sbin/nologin

原创文章,作者:snowbamboo,如若转载,请注明出处:http://www.178linux.com/29854

(0)
上一篇 2016-08-07 22:05
下一篇 2016-08-07 22:05

相关推荐

  • bash 数组和变量

    数组可以把多个变量集合起来,不用再一个个的声明变量,也可以调多个单个的变量使用,极大方便了我们的使用,而且Linux bash中的数组还支持同一个数组中同时有数字和字符串。下面让我们来了解一下数组。 一,数组的简介 变量:存储单个元素的内存空间 数组:存储多个元素的连续的内存空间,相当于多个变量的集合。 数组名和索引 索引:编号从0 开始,属于数值索引 注意…

    Linux干货 2016-08-24
  • 关于软硬链接那些事儿

           小编这周接触到了链接,那么重点来了,啥是链接呢小编觉得链接简单来说就是一种共享的方式,比如我们去逛超市,超市的入口就是‘链接’。在Linux中,链接又分为软连接和硬链接,想要了解他俩,就得先了解几个基本概念。 一:Inode       我们知道文件包含数据和元数据,它的数据…

    Linux干货 2017-07-22
  • 重定向、管道——Linux基本命令(9)

    1.     输出重定向 Linux默认输入是键盘,输出是显示器。可以用重定向来改变这些设置。比如用wc命令的时候本来是要手动输入一篇文字来计算字符数的,可以直接把一个已经写好的文件用‘<’指向这条命令,就直接可以统计这个文件的字符数等了。   STDOUT(标准输出)和STDERR(标准错误)可以被重…

    2017-07-20
  • 正则表达式

    grep:Global search REgular expression and Print out the line         文本搜索工具,根据用户指定的”模式“对目标文本逐行进行匹配检查;打印匹配到的行        模式:由正则表达式字符及文本字符所编写的过滤条件…

    Linux干货 2016-08-08
  • mysql cluster安装部署

    一、安装要求 安装环境:CentOS-6.5-32bit 软件名称:mysql-cluster-gpl-7.2.25-linux2.6-i686.tar.gz 下载地址:http://mysql.mirror.kangaroot.net/Downloads/ 软件包:mysql-cluster-gpl-7.2.25-linux2.6-i686.tar.gz …

    Linux干货 2016-08-22
  • lamp架构实现论坛架构及压力测试

    练习:分别使用CentOS 7和CentOS 6实现以下任务 (1) 配置四个基于名称的虚拟主机;   (a) discuzX   (b) wordpress   (c) drupal   (d) phpMyAdmin,此虚拟主机仅支持https协议; (2) 对phpMyAdmin首页做压力测试   分别给…

    Linux干货 2016-10-17