文本处理工具之sed

一.介绍

sed是一个流编辑工具,可以用来实现对文本的过滤与替换,而Linux的哲学思想之一就是一切皆文件,因此对文本的操作至关重要。sed的基本工作原理是通过每次读取一行文本来来对默写符合条件的文本进行处理。要注意的是sed默认并不直接修改源文件,而是将读取到的内容复制到缓冲区在中,这个缓冲区也叫做模式空间,然后在模式空间中对文本进行处理,处理完成后将结果输送到标砖输出。

二.sed的使用

1.使用格式:

sed [options] {script} [file]

常用的选项:

–help:获取帮助
-n,–quiet:使用静默模式,可以屏蔽自动打印功能
-e <script>:指定sed脚本
-f <file>:从指定的文件中获取指令
-i:直接对源文件进行处理
-r:在脚本中使用正则表达式

2.sed中的操作地址定界

number:指定要对哪个行进行处理

start~step:指定其实位置和步长,例如偶数行:2~2

/pattern/:pattern为正则表达式指定的模式
addr1,addr2:从addr1到addr2之间的所有行
addr1,+number:从addr1开始之后的number行
$:最后一行
add1,/pattern/:从addr1开始到pattern之间的所有行

3.sed中常用的指令

a:追加 s:替换
d:删除 i:插入
c:修改 p:打印
w:保存至指定文件中 !:条件取反

三.使用示例

测试文本为fstab

  1. 在第三行后面追加'hello'

sed '3a hello' fstab

2.在第三行之前插入'hello world'

sed '3i hello world' fstab

3.将所有#开头的行删除

sed '/^#/d' fstab

4.在所有以#开头的行后面添加新行'hello'

sed '/^#/a hello' fstab

5.删除所有空白行

sed '/^$/d' fstab

6.打印奇数行

sed -n '1~2p'fstab

7.将UUID修改为uuid

sed '/UUID/c uuid' fstab


四.sed脚本

当sed指令较长时,就可以将其写到一个文件中,sed脚本的基本格式是:

address{

command1

command2

}

执行脚本时:sed -f script source_file

  1. 使用示例:

找到文本中每行的第二个test,并将其该为test2

/test/{

s//test2/2

}

2.给所有的文本中所有的test添加“”

/test/{

s//"&"/g

}

3.读取多个文件

/.*/{

$r 1.sh

}

五.sed的高级应用

在一般情况下,sed处理的文本都是在一个叫做模式空间的缓冲区中,sed在执行命令时,这个空间就是用来保存待处理的文本,但sed还有另一个缓冲区域,这个区域叫做保持空间,当sed处理模式空间中的某些行时,可以用保持空间来临时存放一些行。sed的一些高级应用会涉及到保持空间。

1.next命令

n命令会移动到数据流的下一行。

例如:(1)在文本中找到hello所在的行,并将其后面的空白行删除

sed '/hello/{ n;d}' test

(2)打印偶数行

sed -n 'n;p' test

N命令会下一行添加到模式空间中已经存在的行的后面,

例如:(1)将hello所在行的后面一行合并到hello所在行

sed '/hello/{N;s/\n/ /}' test

(2)替换出现在相连行中的文本,例如替换下面文本中test1 file为test file:

this is a test1 

file , name is test

sed 'N;s/test1\nfile/test\nfile/' test

但是替换之后原本的两行内容会被合并成一行,于是解决办法就是使用两个替换命令来处理

sed 'N;s/test1\nfile/test\nfile/;s/test1 file/test file/' test

(有点难懂,多体会体会)

2.多行删除

D:只删除模式空间中的第一行

例如:当文本中有多个空白行,现在只删除第一个空白行,对于下面的文本,删除第一个空白行

this is a test1 

file , name is test

sed '/^$/;{N;/this/D}' test

3.关于保持空间中使用的命令

h:将模式空间中的内容复制到保持空间中
H: 把模式空间中的内容追加至保持空间中
g: 把保持空间中的内容复制到模式空间
G: 把保持空间中内容追加到模式空间中
x: 交换保持空间和模式空间中的内容

使用示例:将相连的两行调换位置

sed -n '{h;n;p;g;p}' test

解释:当第一行被加载到模式空间之中,h将这一行复制到保持空间,n会跳过这一行,打印下一行,然后g命令又会将第一行复制回来,然后打印,这样,相连的两行就会被调换顺序。

4.排除命令(!)

即排除符合条件的文本,例如不答应包含hello的行

sed '/hello/!p' test

逆序打印文本:

sed -n '{1!G;h;$p}' test

解释:当第一行被载入模式空间之后,h命令会把这一行复制到保持空间,知道模式空间中遇到最后一行才打印,当到最后一行时,保持空间中的顺序是4321,于是再将保持空间中的内容打印就是逆序输出了。

5.替换符号&

&可以用来引用替换命令中所匹配到的内容

例如:将文本中的hello都加上一个引号,注意这里的&替换的是整个模式匹配到的内容,不仅仅是一个单词,只是本例中恰好一个单词而已。

sed 's/hello/"&"/' test

6.替换单独的单词

可以使用圆括号()来定义替换模式中的子模式

例如:文本中有多个world,现在只需替换文本中hello world中的world为girl

sed 's/\(hello\) \(world\)/\1 girl/' test

这个使用方法十分诡异,我的理解是文本被载入到模式空间之后,原本的顺序会被颠倒。

7.加倍行距

例如:在每个文本的每个行后面添加一个空白行

sed 'G' test

解释:因为保持空间只有一个空白行,所以每次模式空间操作完成之后,G会把保持空间中的空白行复制到模式空间,于是再次打印就会在原文件的每个行后面添加一个空白行。

8.给文件中的行编号

sed '=' test | sed 'N;s/\n/ /'

常用的也就这些,关于sed的高级用法,会有些难以理解,如有理解错误的地方,请给予指正。

原创文章,作者:zhangbao,如若转载,请注明出处:http://www.178linux.com/65829

(0)
zhangbaozhangbao
上一篇 2017-01-05 17:13
下一篇 2017-01-05 21:29

相关推荐

  • Linux发展史

    摘要:Linux无处不在的存在于我们的周围,家庭、公司、学校等等。现在的Linux已经从最初示很少的一段代码,发展成全世界应用范围最广的操作系统。本文将为大家展现Linux的发展史。 一、Linux的是什么       Linux是一套可以免费使用和自由传播的类Unix操作系统操作系统,是一个基于POSIX和UNIX的多用户、多…

    Linux干货 2016-10-18
  • 第四周作业

    1、复制/etc/skel目录为/home/tuser1,要求/home/tuser1及其内部文件的属组和其它用户均没有任何访问权限  cp -r /etc/skel  /home/tuser1   chmod 700 /home/tuser1 2、编辑/etc/gro…

    Linux干货 2016-12-27
  • 第六周小练习

    详细总结vim编辑器的使用并完成一下练习 vim编辑器的基本使用 vim模式: 1、编辑模式(命令模式) 2、输入模式 3、末行模式  一、打开文件 vim /path/to/somefile 打开单个文件 如果文件存在为打开,否则保存退出时为新建 vim /path/to/somefile vim +# : 打开文件…

    Linux干货 2016-12-19
  • 文件的元数据信息有哪些,分别表示什么含义,如何查看?如何修改文件的时间戳信息。

    1)文件的元数据信息及查看 文件的数据分两种:一种元数据,既属性数据;一种就是数据本身;可使用stat命令查看文件的元数据: 例如: ]# stat /etc/passwd 文件:"/etc/passwd" 大小:2483 块:8 IO 块:4096 普通文件 设备:fd00h/64768d Inode:136755684 硬链接:1 权…

    Linux干货 2016-11-06
  • 端口转发实例

    什么是端口转发?      端口转发(Port forwarding),有时被叫做隧道,是安全壳(SSH) 为网络安全通信使用的一种方法。端口转发是转发一个网络端口从一个网络节点到另一个网络节点的行为,其使一个外部用户从外部经过一个被激活的NAT路由器到达一个在私有内部IP地址(局域网内部)上的一个端口。 为什么需要端口转发? …

    2017-04-13
  • 178linux博客写作技巧

    为什么要写博客 为什么要写在178linux上 如何注册178linux 178linux的文章提审规则 178linux写文章的技巧 markdown 语法 为什么要写博客 写博客的好处不言而喻,也不做过多解释,眼过千遍不如手过一遍。知识的吸收需要很长的过程,这个过程越艰难越我们对知识的吸收程度也越好。对于找工作也有好处,侧面是自己工作能力的证明,大量学员…

    Linux干货 2016-09-06