文本处理三剑客：sed篇

Stream EDitor, 行编辑器

Sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。

工作原理：

sed是一种流编辑器，如上图所示，它一次处理一行内容，将读入的那行内容送入模式空间，然后根据sed的编辑命令对其进行响应的操作，处理完成后sed默认会把模式空间中的内容打印至标准输出，如果指定了-n选项，则会禁止这种默认的打印行为。sed中还有一层保持空间，用于后备的缓存区，使用其高级的编辑命令可以做出很多奇复杂而又奇妙的操作。

用法及常用选项：

    用法：

        sed[option]… 'script' inputfile…

    常用选项：

        -n：不输出模式空间内容的自动打印
        -e: 多点编辑
        -f /PATH/TO/SCRIPT_FILE: 从指定文件中读取编辑脚本
        -r: 支持使用扩展正则表达式
        -i: 原处编辑

    script:
        '地址命令'

            地址定界：
                (1) 不给地址：对全文进行处理
                (2) 单地址：
                    #: 指定的行
                    /pattern/：被此处模式所能够匹配到的每一行
                (3) 地址范围：
                    #,#
                    #,+#
                    /pat1/,/pat2/
                    #,/pat1/
                (4) ~：步进
                    1~2 奇数行
                    2~2 偶数行

        编辑命令：    

            d: 删除模式空间匹配的行
            p: 显示模式空间中的内容
            a \text：在行后面追加文本；支持使用\n实现多行追加
            i\text：在行前面插入文本；支持使用\n实现多行插入
            c \text：替换行为单行或多行文本
            w /path/to/somefile: 保存模式匹配的行至指定文件
            r /path/from/somefile：读取指定文件的文本至模式空
            间中匹配到的行后
            =: 为模式空间中的行打印行号
            !:模式空间中匹配行取反处理

            s///：查找替换,支持使用其它分隔符，s@@@，s###
                替换标记：
                g: 行内全局替换
            p: 显示替换成功的行
            w /PATH/TO/SOMEFILE：将替换成功的行保存至文件中

小练习：

1、sed‘2p’ fstab

[root@localhost ~]# cat fstab 
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
[root@localhost ~]# sed '2p' fstab //因为默认会将模式空间的内容打印出来，2p则是
     1                         //把第二行的打印出来，所以会出现两次
     2    #
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

2、sed –n ‘2p’ fstab

[root@localhost ~]# sed -n '2p' fstab //-n将禁止默认的打印行为，只显示第二行
     2    #

3、sed –n ‘1,4p’ fstab

[root@localhost ~]# sed -n '1,4p' fstab //1,4表示第一行到第四行，同样-n禁止默认打印行为
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016

4、sed –n ‘/xfs/p’ fstab

[root@localhost ~]# sed -n '/xfs/p' fstab // /xfs/为地址定界，表示将含有xfs的行打印出来
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0

5、sed-n ‘/UUID/=’fstab

[root@localhost ~]# sed -n '/UUID/=' fstab //打印行号
9
10
11
12

6、sed‘/UUID/a\superman’ fstab

[root@localhost ~]# sed '/UUID/a\superman' fstab//在含有UUID的行后追加superman
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
superman
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
superman
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
superman
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
superman

7、sed‘/UUID/i\superman’ fstab

[root@localhost ~]# sed '/UUID/i\superman' fstab //在含有UUID的行前加上superman
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
superman
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
superman
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
superman
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
superman
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

8、sed‘/UUID/c\superman’ fstab

[root@localhost ~]# sed '/UUID/c\superman' fstab //将被//匹配到的行替换为superman
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
superman
superman
superman
superman

9、sed –n –e ‘/UUID/p’ –e ‘/UUID/=’fstab

[root@localhost ~]# sed  -n -e  '/UUID/P' -e '/UUID/=' fstab //因为前面的行没有被匹配到，然后将第九行读到模式空间，然后打印出来，-e继续打印此行号，然后继续读取下一行
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
9
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
10
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
11
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
12

10、sed‘1,10d’fstab

[root@localhost ~]# sed '1,10d' fstab //删除1-10行
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

11、sed 's/UUID/uuid/g'  fstab

[root@localhost ~]# sed 's/UUID/uuid/g' fstab //将匹配到的UUID替换为uuid
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    uuid=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    uuid=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    uuid=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    uuid=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

高级编辑命令：

    h: 把模式空间中的内容覆盖至保持空间中
    H：把模式空间中的内容追加至保持空间中
    g: 从保持空间取出数据覆盖至模式空间
    G：从保持空间取出内容追加至模式空间
    x: 把模式空间中的内容与保持空间中的内容进行互换
    n: 读取匹配到的行的下一行覆盖至模式空间
    N：追加匹配到的行的下一行至模式空间
    d: 删除模式空间中的行
    D：删除当前模式空间开端至\n的内容（不在传至标准输出），放弃之后的命令，但是对剩余模式空间重新执行sed

简单举例：

1、sed -n 'n;p'  fstab

[root@localhost ~]# sed -n 'n;p' fstab /
     2    #
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     8    #
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

(1)首先-n禁止默认的打印功能，因为没有地址定界，所以默认为全文，首先读第一行至模式空间，n表示匹配到的下一行覆盖至模式空间，即用第二行覆盖模式空间内的第一行;

(2)然后读取第三行，继续-n操作，所以打印出来的都为偶数行。

2、sed '1!G;h;$!d' fstab

[root@localhost ~]# sed '1!G;h;$!d' fstab
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
     8    #
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     5    #
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     3    # /etc/fstab
     2    #
     1

(1)依然是默认为全文，首先读取第一行，1！G，不做操作，h，覆盖至保持空间，因为保持空间本开始没有内容，所以此时保持空间内容为第一行，$!d，不是最后一行，执行删除。此第一行操作完毕，此时模式空间没有内容，保持空间为第一行；

(2)再读取第二行，1！G，因为不是第一行，执行G操作，即从保持空间取出内容追加至模式空间，此时模式空间的内容为第二行+第一行，且第一行在下面，h，把模式空间中的内容覆盖至保持空间中，此时保持空间为原来的模式空间内容，$!d，不是最后一行，执行删除。此时模式空间为空，保持空间为第二行+第一行。

(3)直到读到最后一行，1！G，此时模式空间内为第十行到第一行，h，再把模式空间内容覆盖至保持空间，最后$!d,因为是最后一行，所以不予操作，最后将模式空间的内容打印出来，即逆序显示。

3、sed '$!d' fstab

[root@localhost ~]# sed '$!d' fstab 
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

默认为全文内容，$!d表示不是最后一行执行d删除操作，所以只打印出最后一行