Linux三剑客之sed

    • sed 简介

    • sed 工作原理

    • 命令格式

    • 常用选项:

    • 地址定界:

    • 编辑命令:

    • 替换标记:

    • sed元字符集(正则表达式)

    • 高级编辑命令:

    • sed用法实例

    • 作业:

      • 选定行的范围:,(逗号)

      • 删除操作:d命令

      • 显示模式空间内容

      • 追加(行下):a\命令

      • 插入(行上):i\命令

      • 退出:q命令

      • 多点编辑:e命令

      • 从文件读入:r命令

      • 写入文件:w命令

      • 替换操作:s命令 替换文本中的字符串:

      • 全面替换标记g

      • 保持和获取:h命令和G命令

      • 保持和互换:h命令和x命令

      作业:

sed命令

sed 简介

Stream EDitor, 行编辑器 
sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用,功能不同凡响。

sed 工作原理

处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输出。

QQ截图20160810064434.png

命令格式

sed [options] 'command' file(s) 
sed [options] -f scriptfile file(s)

常用选项

-n :不输出模式空间内容的自动打印
-e:  多点编辑
-f / PATH/TO/SCRIPT_FILE :  从指定文件中读取编辑脚本
-r:  支持使用扩展正则表达式
-i:  原处编辑

地址定界:

(1)  不给地址:对全文进行处理
(2)  单地址:
   #:  指定的行
   /pattern/ :被此处模式所能够匹配到的每一行
(3)  地址范围:
   #,#  (3,4 表示3-4行)
   #,+#  (3,+4 表示3的基础加4行,也就是3-7行)
   /pat1/,/pat2/  (从第一个指定的“定义”到指定的第二个“定义”)
   #,/pat1/    (从第N行到指定的“定义”)
(4) ~ :步进
   1~2  奇数行
   2~2  偶数行

编辑命令:

d: 删除模式空间匹配的行 
p: 显示模式空间中的内容 
a \text :在行后面追加文本;支持使用\n 实现多行追加 
i \text :在行前面插入文本;支持使用\n 实现多行插入 
c \text :替换行为单行或多行文本 
w /path/to/somefile: 保存模式匹配的行至指定文件 
r /path/from/somefile :读取指定文件的文本至模式空间中匹配到的行后 
=: 为模式空间中的行打印行号 
!: 模式空间中匹配行取反处理 
s///:查找替换, 支持使用其它分隔符,s@@@ ,s###

替换标记:

g: 行内全局替换 
p: 显示替换成功的行 
w /PATH/TO/SOMEFILE :将替换成功的 行 保存至文件中 
x 表示互换模板块中的文本和缓冲区中的文本。 
y 表示把一个字符翻译为另外的字符(但是不用于正则表达式) 
\1 子串匹配标记 
& 已匹配字符串标记

sed元字符集(正则表达式)

^ 匹配行开始,如:/^sed/匹配所有以sed开头的行。 
$ 匹配行结束,如:/sed$/匹配所有以sed结尾的行。 
.匹配一个非换行符的任意字符,如:/s.d/匹配s后接一个任意字符,最后是d。 
* 匹配0个或多个字符,如:/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。 
[] 匹配一个指定范围内的字符,如/[ss]ed/匹配sed和Sed。 
[^] 匹配一个不在指定范围内的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头,紧跟ed的行。 
\(..\) 匹配子串,保存匹配的字符,如s/(love)able/\1rs,loveable被替换成lovers。 
& 保存搜索字符用来替换其他字符,如s/love/&/,love这成love。 
\< 匹配单词的开始,如:/\ 匹配单词的结束,如/love>/匹配包含以love结尾的单词的行。 
x\{m\} 重复字符x,m次,如:/0{5}/匹配包含5个0的行。 
x\{m,\} 重复字符x,至少m次,如:/0{5,}/匹配至少有5个0的行。 
x\{m,n\} 重复字符x,至少m次,不多于n次,如:/0{5,10}/匹配5~10个0的行。

高级编辑命令:

h: 把模式空间中的内容覆盖至保持空间中 
H:把模式空间中的内容追加至保持空间中 
g: 从保持空间取出数据覆盖至模式空间 
G :从保持空间取出内容追加至模式空间 
x: 把模式空间中的内容与保持空间中的内容进行互换 
n: 读取匹配到的行的下一行 覆盖 至模式空间 
N:追加匹配到的行的下一行至模式空间 
d: 删除模式空间中的行 
D :删除 当前模式空间开端至\n 的内容(不在传至标准输出),放弃之后的命令,但是对剩余模式空间重新执行sed

sed用法实例

选定行的范围:,(逗号)

所有在模板test和check所确定的范围内的行都被打印:

sed -n '/root/,/mageedu/p' /etc/passwd

打印从第5行开始到第一个包含以test开始的行之间的所有行:

sed -n '5,/^mageedu/p' /etc/passwd

对于模板mage和zhanghe之间的行,每行的末尾用字符串/bin/bash改成/sbin/nologin:

[root@localhost ~]# sed -i '/mage/,/zhanghe/s@/bin/bash@/sbin/nologin@' pw

删除操作:d命令

删除文件的1-16行

[root@localhost ~]# sed "1,16d" /etc/fstab 
proc                    /proc                   proc    defaults        0 0

删除开头是以#开头的行

[root@localhost ~]# sed '/^#/d' /etc/fstab

删除文件的第2行到末尾所有行:

[root@localhost ~]# sed '4,$d' /etc/fstab 

#
# /etc/fstab

删除所有以UUID开头的行

[root@localhost ~]# sed '/^UUID/d' /etc/fstab 

显示模式空间内容

[root@localhost ~]# sed -n '1,3p' /etc/fstab 

#
# /etc/fstab

追加(行下):a\命令

将 this is a test line 追加到 以UUID 开头的行后面:

[root@localhost ~]# sed '/^UUID/a\this is a test line' /etc/fstab

在 test.conf 文件第2行之后插入 #mageedu:

[root@localhost ~]# sed -i '2a\#mageedu' /etc/fstab

插入(行上):i\命令

将 this is a test line 追加到以test开头的行前面:

[root@localhost ~]# sed '/^test/i\this is a test line' file 

在test.conf文件第5行之前插入this is a test line:

[root@localhost ~]# sed -i '5i\this is a test line' test.conf

退出:q命令

打印完第10行后,退出sed

[root@localhost ~]# sed '10q' /etc/passwd

多点编辑:e命令

-e选项允许在同一行里执行多条命令:

sed -e '1,5d' -e 's/test/check/' file 

上面sed表达式的第一条命令删除1至5行,第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。

从文件读入:r命令

将/etc/issue里面的内容在/etc/fstab第二行后面插入

[root@localhost ~]# sed -r '2r /etc/issue' /etc/fstab

写入文件:w命令

将/etc/fstab里面开头#除外的行写入/tmp/fstab.new里面去

[root@localhost ~]# sed -n '/^[^#]/w /tmp/fstab.new' /etc/fstab 

替换操作:s命令 替换文本中的字符串:

[root@localhost ~]# sed 's/book/books/' file

-n选项和p命令一起使用表示只打印那些发生替换的行:

[root@localhost ~]# sed -n 's/test/TEST/p' file 

直接编辑文件选项-i,会匹配file文件中每一行的第一个book替换为books:

[root@localhost ~]# sed -i 's/book/books/g' file

全面替换标记g

使用后缀 /g 标记会替换每一行中的所有匹配:

sed 's/book/books/g' file 

当需要从第N处匹配开始替换时,可以使用 /Ng:

echo sksksksksksk | sed 's/sk/SK/2g'
skSKSKSKSKSK
echo sksksksksksk | sed 's/sk/SK/3g'
skskSKSKSKSK

保持和获取:h命令和G命令

在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,除非行被删除或者输出被取消,否则所有被处理的行都将 打印在屏幕上。接着模式空间被清空,并存入新的一行等待处理。

sed -e '/test/h' -e '$G' file 

在这个例子里,匹配test的行被找到后,将存入模式空间,h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。第二条语句的意思是,当到达最后一行后,G命令取出保持缓冲区的行,然后把它放回模式空间中,且追加到现在已经存在于模式空间中的行的末尾。在这个例子中就是追加到最后一行。简单来说,任何包含test的行都被复制并追加到该文件的末尾。

保持和互换:h命令和x命令

互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换:

sed -e '/test/h' -e '/check/x' file

作业:

1 、删除/etc/grub2.conf 文件中所有以空白开头的行行首的 
空白字符

[root@localhost ~]# sed 's@^[[:space:]]\+@@g' /etc/grub.conf

2 、删除/etc/fstab 文件中所有以# 开头,后面至少跟一个空 
白字符的行的行首的# 和空白字符

[root@localhost ~]# sed 's@^#[[:space:]]*@@' /etc/fstab

3 、在/root/install.log 每一行行首增加#号

[root@localhost ~]# sed -i 's@^@#@g' install.log

4 、在/etc/fstab 文件中不以# 开头的行的行首增加#号

[root@localhost ~]# sed 's@^[^#]@#@g' /etc/fstab

5 、处理/etc/fstab 路径, 使用sed 命令取出其目录名和基名

[root@localhost ~]# echo /etc/fstab | sed 's@[^/]\+/\?$@@'
/etc/
[root@localhost ~]# echo /etc/fstab | sed 's@[^/]+/\?$@@'
/etc/fstab

6 、利用sed 取出ifconfig 命令中本机的IPv4 地址

[root@localhost ~]# ifconfig | sed -n 2p | sed -e 's@.*inet addr:@@' -e 's@B.*@@'
10.1.252.97

7 、统计centos 安装光盘中Package 目录下的所有rpm 文件的以. 分隔倒数第二个字段的重复次数

[root@localhost Packages]# ls *.rpm | sed -r 's@.*\.(.*).rpm$@\1@' |sort |uniq -c
     4 i686
   919 noarch
  2283 x86_64

原创文章,作者:M20_he,如若转载,请注明出处:http://www.178linux.com/32822