文本处理——sed初步

sed是一种流编辑器，它一次处理一行内容。

处理时，把当前处理的行存储在临时缓冲区(pattern space),同时输出到屏幕，接着用sed命令处理缓冲区中的内容，接着读取下一行，这样不断重复，直到文件末尾。

用法：

sed -[options] [操作] inputfile

-n：不输出模式空间内容到屏幕，即不自动打印

-e: 多点编辑

-f：/PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本

-r: 支持使用扩展正则表达式

-i.bak: 原处编辑并且备份源文件（.bak可以改为任意字符）

操作： [地址定界]function

地址定界：最简单的是n1,n2function:从n1匹配到n2的行，然后进行操作比如：10,20[动作行为]

单地址：

#：指定的行

/pattern/:被此模式匹配到的行，如果要使用扩展的正则表达式，则要使用-f选项

地址范围：

#,#从行到行

#，+#：比如3,+6代表是从第3行开始增加6行到第9行

/pat1/,/pat2/:pat1到pat2的行，如果匹配到pat1到pat2，将其加入到缓冲区，并且会继续向下匹配

#,/pat1/

~:步进

1~2：匹配奇数行。从第一行开始，每隔2行匹配一次

2~2：匹配偶数行

function：

d: 删除模式空间匹配的行，因为是删除啊，所以 d 后面通常不接任何咚咚；

p: 显示模式空间中的内容

a [\]text：在指定行后面追加文本

支持使用\n实现多行追加

i [\]text：在行前面插入文本

c [\]text：替换行为单行或多行文本

w /path/somefile: 保存模式匹配的行至指定文件，sed ‘10,90w /root/file’ file1将从f1匹配到的行到file

r /path/somefile：读取指定文件的文本至模式空间中

匹配到的行后

=: 为模式空间中的行打印行号

!:模式空间中匹配行取反处理cat

s///：查找替换,支持使用其它分隔符，s@@@，s###

替换标记：

g: 行内全局替换

w /PATH/TO/SOMEFILE：将替换成功的行保存至文件中

数据的搜寻并执行命令

搜索/etc/passwd,找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行：

nl /etc/passwd | sed -n ‘/root/{s/bash/blueshell/;p}’

root:x:0:0:root:/root:/bin/blueshell

如果只替换/etc/passwd的第一个bash关键字为blueshell，就退出

nl /etc/passwd | sed -n ‘/bash/{s/bash/blueshell/;p;q}’

root:x:0:0:root:/root:/bin/blueshell

最后的q是退出。

案例：

nl /etc/passwd |sed ‘2d’只删除第 2 行

sed ‘/^#\|^[[:space:]]*$/d’ f1搜索出来以#号开头或有空白行

sed –n ‘2p’ /etc/passwd    输出第二行

sed –n ‘1,4p’ /etc/passwd从第一行到第四行显示

sed –n ‘/root/p’ /etc/passwd    显示匹配到root的行

sed –n ‘2,/root/p’ /etc/passwd 从2行开始匹配root，并显示

sed -n ‘/^$/=’ file 显示空行行号

sed –n –e ‘/^$/p’ –e ‘/^$/=’ file 多点编辑，我觉得类似grep的-e选项，或者的关系

sed ‘/root/a\superman’ /etc/passwd行后添加字符

sed ‘/root/i\superman’ /etc/passwd 行前

sed ‘/root/c\superman’ /etc/passwd 代替行

sed ‘/^$/d’ file删除空行，不包括空格组成的空行

sed ‘1,10d’ file

nl /etc/passwd | sed ‘2,5d’

nl /etc/passwd | sed ‘2a tea’在第二行后面添加tea

sed ‘s/test/mytest/g’ example 将test替换为mytest

sed –n ‘s/root/&superman/p’ /etc/passwd 单词后，相当于后向引用，替换为rootsuperman

sed –n ‘s/root/superman&/p’ /etc/passwd 单词前

sed -e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets

sed –i.bak ‘s/dog/cat/g’ pets 编辑前先将pets备份为pets.bak然后进行替换编辑

高级编辑命令：

h：把模式空间中的内容覆盖至保持空间中；

H：把模式空间中的内容追加至保持空间中；

g：把保持空间中的内容覆盖至模式空间中；

G：把保持空间中的内容追加至模式空间中；

x：把模式空间中的内容与保持空间中的内容互换；

n：覆盖读取匹配到的行的下一行至模式空间中；

N：追加读取匹配到的行的下一行至模式空间中；

d: 删除模式空间中的行

D：删除当前模式空间开端至\n的内容（不再传至标准输出），放弃之后的命令，但是对剩余模式空间重新执行sed

示例：

sed  -n  ‘n;p’  FILE：显示偶数行；

sed  ‘1!G;h;$!d’  FILE：逆序显示文件的内容；

sed  ’$!d’  FILE：取出最后一行；

sed  ‘$!N;$!D’ FILE：取出文件后两行；

sed ‘/^$/d;G’ FILE：删除原有的所有空白行，而后为所有的非空白行后添加一个空白行；

sed  ‘n;d’  FILE：显示奇数行；

sed ‘G’ FILE：在原有的每行后方添加一个空白行；

作业：

1.删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符

sed ‘s/^[[:space:]]*//gp’ /etc/grub2.cfg

2.删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符

sed ‘s/^#[[:space:]]\+//g’ /etc/fstab

3、在centos6系统/root/install.log每一行行首增加#号

sed ‘s/^/#/’ /root/install.log

4、在/etc/fstab文件中不以#开头的行的行首增加#号

sed  -n ‘/^#/!{s/^/#/p}’ /root/f1

sed  ‘s/^[^#]\|^$/#&/’ /root/f1

5、处理/etc/fstab路径,使用sed命令取出其目录名和基名

echo “/etc/sysconfig/network-scripts” |sed -r ‘s@(^/.*/)([^/]+/?)@\2@’

echo “/etc/sysconfig/network-scripts” |sed -r ‘s@(^/.*/)([^/]+/?)@\1@’

6、利用sed 取出ifconfig命令中本机的IPv4地址

ifconfig eth0|sed  -n -e ‘2s/^.*r://’ -e ‘2s/ .*//p’

7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数

ls -1  /misc/cd/Packages/ |sed -nr “s@(.*\.)([[:alnum:]_]+\.rpm)@\2@p” |sort |uniq -c|sort -n

8、统计/etc/init.d/functions文件中每个单词的出现次数，并排序（用grep和sed两种方法分别实现）

grep  -o “[[:alpha:]]\+” /etc/init.d/functions |sort|uniq -c|sort -nr

sed -nre ‘s/[^[:alpha:]]+/\n/gp’  /etc/init.d/functions |sort | uniq -c|sort -n

9、将文本文件的n和n+1行合并为一行，n为奇数行

nl f1|sed -n “N;s/\n//p”