Linux的文本处理工具之sed的使用

Sed文本处理工具

一、认识sed工具：

sed是一种流编辑器，一次处理一行内容。当进行处理时，把当前处理的行存储在临时的缓冲区中（俗称“模式空间”）后，再用sed命令去处理缓冲区的内容，最后把处理过的缓冲区内容送往屏幕打印显示。接着处理下一行，不断重复进行读取、处理、输出，直到文件末尾。 

注：sed命令处理文本，文件内容本身并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等 

二、使用man帮助了解sed的使用格式和常用的选项（#man sed）：

NAME（sed的介绍）

sed – stream editor for filtering and transforming text 

SYNOPSIS（sed的格式使用）

sed [OPTION]… {script-only-if-no-other-script} [input-file]…

注：“script”为‘地址命令’ 

DESCRIPTION（sed的常用选项，如下挑选的选项使用上比较多，其他选项请查阅man帮助）

-n, –quiet, –silent  静默模式，不将模式空间内容输送到屏幕上打印。

suppress automatic printing of pattern space 

-e script, –expression=script   多点编辑。

add the script to the commands to be executed 

-f script-file, –file=script-file 从指定的文件中读取已经编辑好的脚本。

add the contents of script-file to the commands to be executed

–follow-symlinks

follow symlinks when processing in place 

-i[SUFFIX], –in-place[=SUFFIX]   在原文本处编辑（此处选项不建议使用，如果实在是要在原处编辑，请做好数据备份后再操作，以免数据的丢失。）

edit files in place (makes backup if SUFFIX supplied) 

-r, –regexp-extended  支持扩展正则表达式的使用。

use extended regular expressions in the script.

三、了解sed的简单编辑命令以及高级编辑命令：

1、  简单编辑命令：

d: 删除模式空间匹配的行

p: 显示模式空间中的内容

a \text：在行后面追加文本；支持使用\n实现多行追加

i \text：在行前面插入文本；支持使用\n实现多行插入

c \text：替换行为单行或多行文本

w /path/to/somefile ：保存模式匹配的行至指定文件

r /path/from/somefile：读取指定文件的文本至模式空间中匹配到的行后

= ：为模式空间中的行打印行号

! ：模式空间中匹配行取反处理

2、  高级编辑命令：

高级编辑命令：

h: 把模式空间中的内容覆盖至保持空间中

H：把模式空间中的内容追加至保持空间中

g: 从保持空间取出数据覆盖至模式空间

G：从保持空间取出内容追加至模式空间

x: 把模式空间中的内容与保持空间中的内容进行互换

n: 读取匹配到的行的下一行覆盖至模式空间

N：追加匹配到的行的下一行至模式空间

d: 删除模式空间中的行

D：删除当前模式空间开端至\n的内容（不在传至标准输出），放弃之后的命令，但是对剩余模式空间重新执行sed

四、上面了解到sed是文本行处理的流编辑器，那么sed是如何定位要修改的内容呢？那么下面一起来学习sed的地址定界和查找替换：

1、地址定界：

(1) 不给地址：对全文进行处理。

(2) 单地址：

#: 指定的行

/pattern/：被此处模式所能够匹配到的每一行（模式空间）。

(3) 地址范围：

#,#    指定从第几行开始到第几行结束进行处理。

#,+#   指定从第几行开始，往后需要处理多少行。

/pat1/,/pat2/   模式空间定界。指定从第一个被模式空间匹配到开始，直至到被第二个模式空间匹配到结束来进行处理。

#,/pat1/   指定行与模式空间的配合使用；指定从第几行开始，到被模式空间匹配到的行进行处理。

(4) ~：步进

1~2 奇数行  只处理文本内容中的奇数行

2~2 偶数行  只处理文本内容中的偶数行

如下图：分别将文本内容中的奇数行或者偶数行删除掉

2、查找与替换：

s///：查找替换,支持使用其它分隔符，如：s@@@，s### 

替换标记：

g: 是行内全局替换

p: 将显示替换成功的行

w /PATH/TO/SOMEFILE：将替换成功的行保存至文件中 

学习了上面的理论讲述，下面进行相应的事例演示：

1、简单编辑命令的使用：

sed ‘2p’ /etc/passwd  打印文本内容中的第二行并把文本的原内容一起输送到屏幕显示，可结合静默模式的选项-n配合使用（如下一事例题）

sed -n ‘2p’ /etc/passwd

sed -n ‘1,4p’ /etc/passwd 在屏幕上打印显示文本内容中的第一行到第四行的内容。

sed -n ‘/root/p’ /etc/passwd 只打印显示被模式空间匹配到的行

sed -n ‘2,/root/p’ /etc/passwd 从2行开始，到被模式空间匹配到之间的所有行

sed -n ‘/^$/=’ /testdir/issue 显示空行行号（如下图，原文本中第三行为空行）

sed -n -e ‘/^$/p’ –e ‘/^$/=’ /testdir/issue 打印空行的行号和空行；多点编辑

sed ‘/root/a\superman’ /etc/passwd  在被模式空间匹配到的行后新增一行打印Superman

sed ‘/root/i\superman’ /etc/passwd  在被模式空间匹配到的行前新增一行打印Superman

sed ‘/root/c\superman’ /etc/passwd  将被模式空间匹配到的行全部替换成了Superman

sed ‘/^$/d’ /testdir/issue   将文本中的空行全部删除掉

sed ‘1,10d’ /testdir/passwd 将文本中的前十行删除掉，只打印显示剩余的行

nl /etc/passwd| sed‘2,5d’ 给文本加以显示行号，并删除第二行到第五行的内容

nl/ etc/passwd| sed‘2a tea’  给文本加以显示行号，并给第二行后新增一行插入单词tea

sed 's/nologin/csh/g' /testdir/passwd  在文本中全局查找nologin，并将其替换成csh

sed -n‘s/root/&superman/p’ /etc/passwd在被模式空间匹配到的单词后面增加Superman

sed -n‘s/root/superman&/p’ /etc/passwd 在被模式空间匹配到的单词前面增加Superman

2、高级编辑命令的使用：

sed -n 'n;p' /testdir/ff  打印偶数行

sed '1!G;h;$!d' /testdir/ff  逆序显示

sed '$!N;$!D' /testdir/ff 打印最后两行

sed '$!d' /testdir/ff 打印最后一行

sed ‘G’ /testdir/ff  打印所有的行，并在每一行的后面增加一个空行

# sed 'g' /testdir/ff 打印空白行

sed -n '1!G;h;$p' /testdir/ff  同样是逆序打印

# sed '/^$/d;G' /testdir/ff