流编辑器Sed(Stream Edit)详解

流编辑器Sed(Stream Edit)详解

 

    Grep 、sed 和awk并称为文本三剑客。使用Grep就可以很好的实现文本查找的功能,而且简单有效。然而其却无法直接对其进行编辑,sed的出现便解决了这一问题。

Sed被称为流编辑器,它是一种新型的非交互式的文本编辑器,它逐行处理文件或输入,并将结果输出到屏幕上。Sed编辑没有破坏性,它默认不会修改文件,除非使用选项主动修改。如果需要进行多项编辑任务,也可以把命令写在一个叫sed脚本的文件里。

 

Sed的工作原理

Sed从文件开头逐行处理文件或输入,并将结果输出到屏幕上。Sed 将当前处理的行放在一个叫模式空间的临时缓存区,在对其进行sed命令编辑后,就将结果输出到屏幕上(除非sed命令删除这一行或取消打印)。Sed每处理完一行就将其从模式空间中删掉,然后将下一行读入空间,进行处理和显示。处理完文件的最后一行后,sed便结束运行。

流编辑器Sed(Stream Edit)详解 

sed之正则表达式

与grep一样,sed在文件中查找模式时也要使用正则表达式和各种元字符。正则表达式是括在括在斜杆间的模式,用于查找和替换。

流编辑器Sed(Stream Edit)详解 

如果要把正则表达式分隔符改成其他字符如c,只要在这个字符前加一个反斜杆,在字符后跟上正则表达式,再跟上这个字符即可,如:

流编辑器Sed(Stream Edit)详解 

说明,如果斜杆本身是正则表达式的一部分,则需在其前加上反斜杆,以免和作用分隔符的斜杆混淆;或者使用如上方法将分隔符改成其他字符;如:

流编辑器Sed(Stream Edit)详解 

流编辑器Sed(Stream Edit)详解 

 

地址定界

地址定界用于决定对那些行进行编辑,地址的形式可以是数字、正则表达式或二者的结合。如果没有指定地址,sed 将处理文件中的所有行。定界方法(#代表数字):

无地址

对全文进行处理

#

指定的第#行

$

代表最后一行

/PATTERN/

被此处模式所能够匹配到的每一行

#1,#2

从#1行到#2行

#1,+#2

从第#1行向下共#2行

/PAT1/,/PAT2/

从第一个被PATTERN1匹配到的行开始到第 一个被PATTERN2匹配到的行及之间的所有行

#,/PATTERN/

从第#行开始到第一个能够PATTERN匹配到的行的所有行

~

步进;    eg. 1~2:奇数行; 2~2:偶数行        

 

Sed用法

Sed命令的格式为:sed [OPTION]… {script-only-if-no-other-script} [input-file]…

其中脚本又由地址定界加编辑命令组成,地址定界指明对文件中的哪些行做编辑。编辑命令则说明做什么编辑操作,如增、删、显示。

常用选项

-n

取消默认输出

-e

允许多项编辑

-f FILE

从指定文件FILE中读取编辑脚本

-r

支持使用扩展正则表达式

-i[SUIFFIX]

直接编辑原文件,后缀SUFFIX若指明则添加此后缀备份

编辑命令

Sed命令告诉sed如何处理由地址界定指定的各输入行,如果没有指定地址,sed就会处理所有的行。Sed命令有:

p

显示所匹配到的所有行

d

删除所匹配到的行

i \TEXT

在匹配到的行前面追加新行,内容为TEXT,可使用\n追加多行内容

a\TEXT

在匹配到的行后面追加新行,内容为TEXT,可使用\n追加多行内容

c\TEXT

用新文本TEXT替换匹配到的行

w

将匹配到的行保存至指定文件中;w /PATH/TO/SOMEFILE

r

将指定的文件内容追加至匹配到的行后面;r /PATH/TO/SOMEFILE

=

在匹配到的行前面显示行号,行号单独占据一行

!

取反;    eg. 地址定界!编辑命令

q

退出

s

查找并替换,s/PATTERN/STRING/修饰符,模式可用RE,其分隔符可自定义,例如s@@@,s###等等(换行符,反斜线除外)。

    STRING:使用字符串定义替换的内容,可使用后向引用\1,\2,…;

    &:sed支持的元字符之一,引用前面PATTERN所匹配到的所有内容

替换标志

p:显示替换成功的内容;

w /PATH/TO/SOMFILE:将替换成功的内容保存至指定文件当中;

i:查找替换时忽略大小写;

g:全局替换,默认只替换每行第一个被PATTERN所匹配到的内容;

y:将字符替换为另一字符。

如果要使用多条命令,或者需要在某个地址范围内嵌套地址,就必须用花括号括起来,每行只写一个命令;或者用分号分隔一行中的多个命令。

流编辑器Sed(Stream Edit)详解 

1到5行中包行etc的替换成大写的ETC,然后把第4行删除。用-e选项也可实现同样的效果。

流编辑器Sed(Stream Edit)详解 

第1至5行先删除第3行再显示。

Sed范例

下面以/etc/fstab/文件为例,对sed命令做示范

流编辑器Sed(Stream Edit)详解 

1、打印:p命令

命令p是打印,用于显示模式空间中的内容。默认情况下,sed会把输入行打印在屏幕上,选项-n可以取消默认打印。因此但选项-n与p命令同时出现时,sed可打印选定的内容。

流编辑器Sed(Stream Edit)详解 

只打印1到3行

2、多重编辑:-e选项

流编辑器Sed(Stream Edit)详解 

-e用于进行多重编辑。第一重删除1-3行,第二重将行首为UUID的行的改成小写的uuid。因为是逐行进行这两项编辑,所以编辑的命令顺序可能会影响结果。

3、插入:i命令

流编辑器Sed(Stream Edit)详解 

在含etc的行下加如hello sed,\n表示换行;也可斜杆回车如下图:blob.png

4、读文件:r命令

流编辑器Sed(Stream Edit)详解 

在第1行下读入文件/etc/issue的内容

5、否定命令:!

流编辑器Sed(Stream Edit)详解 

不删除包含etc的行。

6、替换:s命令

流编辑器Sed(Stream Edit)详解 

将所有包含0的行的所有0改成A,并且加g命令全局替换,不加g命令则只替换行里第一个0。

7、退出命令:q

退出命令表示退出,此命令将导致sed程序退出。

流编辑器Sed(Stream Edit)详解 

打印完第五行后,q命令让sed退出。

Sed高级命令

Sed执行时逐行将文件内容读至模式空间,进行编辑后再输出。然后删除模式空间,读入下一条,这样直至最后一条。但是其实sed还有一个特殊的缓存空间叫保持空间或暂存缓冲区(holding buffer),使用h/H命令可以将模式空间中的内容复制并保存在保持空间,使用共g/G则可以将保持空间中内容放回模式空间,覆盖,或追加模式空间当前行的后面。这样便有了sed的一些高级的使用方法。其命令为:

h

把模式空间中的内容覆盖至保持空间中

H

把模式空间中的内容追加至保持空间中

g

从保持空间取出数据覆盖至模式空间

G

从保持空间取出内容追加至模式空间

n

读取匹配到的行的下一行覆盖至模式空间

N

读取匹配到的行的下一行追加至模式空间

d

删除模式空间中的行,开始下一循环

D

若模式空间无多行则同d;若有,则删除模式空间所有行,并以此时的模式空间开始下一循环

x

把模式空间中的内容与保持空间中的内容进行互换

例:

流编辑器Sed(Stream Edit)详解 

当读入到包含etc的行时(第3行),将其放入保持空间,并删除模式空间的内容;当再读到包含dev的行时将保持空间中的内容即第3行放入模式空间后面。最后实现将第3行放到组后一行后面。

Sed的高级命令其实还有很多用法,如:

1、sed -n ‘n;p’FILE            显示偶数行

2、sed ‘1!G;h;$!d’FILE       文件逆序显示

3、sed  ‘$!N;$!D’FILE        显示文件的最后两行

4、sed  ‘$!d’FILE               打印最后一行

5、sed  ‘G’FILE                   每行后加一行空行

6、sed ‘g’FILE                    每一行换成空白行

7、sed  ‘/^$/d;G’FILE        把空白行删除,并把每行后加一空白行

8、sed ‘n;d’FILE                 打印数行

9、sed -n ‘1!G;h;$p’FILE    逆序打印

 

Sed脚本编程

Sed脚本就是放在文件中的一列sed命令,使用选项-f后加文件名读取脚本文件。Sed脚本中命令格式要求很特别。他要求命令的末尾不能有任何多余的空格或文本。如不命令不能独占一行,则必须以分号结尾。不能使用引号,除非它是被查找的字符串的一部分。使用反斜杆即可实现换行。

执行脚本时,sed先将输入文件中的第一行读入模式空间,然后对其执行脚本中的所有命令。每行处理完毕再读下一行直至最后一行。如果脚本语法有错误,sed脚本就会运行错误。范例:

流编辑器Sed(Stream Edit)详解 

Sed脚本:1如果有包含etc的行则在其下加入文字”this is a…”;2在所有UUID开头的行下面加一行空白行;3删除最后一行。

流编辑器Sed(Stream Edit)详解 

执行结果

原创文章,作者:beyond,如若转载,请注明出处:http://www.178linux.com/38507

(0)
beyondbeyond
上一篇 2016-08-22
下一篇 2016-08-22

相关推荐

  • 一起学WINS系列(三)界面、概览

    原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://jeffyyko.blog.51cto.com/28563/159542 上节我们讨论了有关WINS服务器的安装,本节将开始讨论WINS配置等内容。 一般情况下,我们可以在控制面板的管理工具中找到WINS,或者在【运行】内…

    Linux干货 2015-03-25
  • varnish

    Web Page Cache: squid –> varnish程序的运行具有局部性特征:时间局部性:一个数据被访问过之后,可能很快会被再次访问空间局部性:一个数据被访问时,其周边的数据也有可能被访问到 cache:命中 热区:局部性;时效性:缓存空间耗尽:LRU过期:缓存清理 缓存命中率:hit/(hit+miss)(0,1)页面命中率:…

    Linux干货 2017-05-22
  • Linux的哲学思想

    Linux的哲学思想 一切皆文件 在linux中所有的一切,都是可以通过ls进行查询的到的,甚至可以说ll查看详细信息时表现形式为文件,所有的设备,所有的文件不论后缀,只是一个单纯文件通过vim可以编辑一切 单一目的的小程序,组合小程序完成复杂任务 在linux中,每一个命令都是对应一个功能,通过不同的参数来完成不同的要求,通过繁多的小的命令来完成大型的要求…

    Linux干货 2016-10-30
  • haproxy实战之haproxy实现mysql负载均衡

    haproxy实战之haproxy实现mysql负载均衡 实验目的haproxy + mysql实现负载均衡 1.准备机器,做好时间同步,域名主机名解析 192.168.42.151 [node2 haproxy] 192.168.42.152 [node3 mariadb] 192.168.42.153 [node4 mariadb] 2.node3,no…

    Linux干货 2017-06-29
  • 源码包编译安装mariaDB

    前言     MySQL是一个关系型数据库管理系统,是最流行的关系型数据库管理系统,由于其体积小、速度快、总体拥有成本低,并且之前是完全开源,所以大受欢迎。但由于后面MySQL卖给了SUN,随后SUN被Oracle收购,虽然也有开源免费版本,但是很多功能都需要另外购买商业版本,导致现在MySQL使用份额逐渐减少。所以M…

    Linux干货 2016-02-28
  • 推荐-使用iptables作为网络防火墙构建安全的网络环境

    使用iptables作为网络防火墙构建安全的网络环境 使用iptables作为网络防火墙构建安全的网络环境 前言 网络防火墙的优势 实验拓扑图 实验环境 实验步骤 防火墙未设置前对所有服务器的测试 针对不同服务器进行”非法”访问 定义网络防火墙规则 再次针对不同服务器进行”非法”访问 测试服务器是否可访问 总结 前言 一般情况下iptables只作为主机防火…

    Linux干货 2016-03-31