文本处理三剑客:sed篇

Stream EDitor, 行编辑器

Sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。

工作原理:

QQ截图20160809194040.jpg

sed是一种流编辑器,如上图所示,它一次处理一行内容,将读入的那行内容送入模式空间,然后根据sed的编辑命令对其进行响应的操作,处理完成后sed默认会把模式空间中的内容打印至标准输出,如果指定了-n选项,则会禁止这种默认的打印行为。sed中还有一层保持空间,用于后备的缓存区,使用其高级的编辑命令可以做出很多奇复杂而又奇妙的操作。


用法及常用选项:

    用法:

        sed[option]… 'script' inputfile…

    常用选项:

        -n:不输出模式空间内容的自动打印
        -e: 多点编辑
        -f /PATH/TO/SCRIPT_FILE: 从指定文件中读取编辑脚本
        -r: 支持使用扩展正则表达式
        -i: 原处编辑

    script:
        '地址命令'

            地址定界:
                (1) 不给地址:对全文进行处理
                (2) 单地址:
                    #: 指定的行
                    /pattern/:被此处模式所能够匹配到的每一行
                (3) 地址范围:
                    #,#
                    #,+#
                    /pat1/,/pat2/
                    #,/pat1/
                (4) ~:步进
                    1~2 奇数行
                    2~2 偶数行

        编辑命令:    

            d: 删除模式空间匹配的行
            p: 显示模式空间中的内容
            a \text:在行后面追加文本;支持使用\n实现多行追加
            i\text:在行前面插入文本;支持使用\n实现多行插入
            c \text:替换行为单行或多行文本
            w /path/to/somefile: 保存模式匹配的行至指定文件
            r /path/from/somefile:读取指定文件的文本至模式空
            间中匹配到的行后
            =: 为模式空间中的行打印行号
            !:模式空间中匹配行取反处理

            s///:查找替换,支持使用其它分隔符,s@@@,s###
                替换标记:
                g: 行内全局替换
            p: 显示替换成功的行
            w /PATH/TO/SOMEFILE:将替换成功的行保存至文件中


小练习:

1、sed‘2p’ fstab

[root@localhost ~]# cat fstab 
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
[root@localhost ~]# sed '2p' fstab //因为默认会将模式空间的内容打印出来,2p则是
     1                         //把第二行的打印出来,所以会出现两次
     2    #
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

2、sed –n ‘2p’ fstab

[root@localhost ~]# sed -n '2p' fstab //-n将禁止默认的打印行为,只显示第二行
     2    #

3、sed –n ‘1,4p’ fstab

[root@localhost ~]# sed -n '1,4p' fstab //1,4表示第一行到第四行,同样-n禁止默认打印行为
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016

4、sed –n ‘/xfs/p’ fstab

[root@localhost ~]# sed -n '/xfs/p' fstab // /xfs/为地址定界,表示将含有xfs的行打印出来
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0

5、sed-n ‘/UUID/=’fstab

[root@localhost ~]# sed -n '/UUID/=' fstab //打印行号
9
10
11
12

6、sed‘/UUID/a\superman’ fstab

[root@localhost ~]# sed '/UUID/a\superman' fstab//在含有UUID的行后追加superman
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
superman
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
superman
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
superman
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
superman

7、sed‘/UUID/i\superman’ fstab

[root@localhost ~]# sed '/UUID/i\superman' fstab //在含有UUID的行前加上superman
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
superman
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
superman
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
superman
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
superman
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

8、sed‘/UUID/c\superman’ fstab

[root@localhost ~]# sed '/UUID/c\superman' fstab //将被//匹配到的行替换为superman
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
superman
superman
superman
superman

9、sed –n –e ‘/UUID/p’ –e ‘/UUID/=’fstab

[root@localhost ~]# sed  -n -e  '/UUID/P' -e '/UUID/=' fstab //因为前面的行没有被匹配到,然后将第九行读到模式空间,然后打印出来,-e继续打印此行号,然后继续读取下一行
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
9
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
10
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
11
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
12

10、sed‘1,10d’fstab

[root@localhost ~]# sed '1,10d' fstab //删除1-10行
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

11、sed 's/UUID/uuid/g'  fstab

[root@localhost ~]# sed 's/UUID/uuid/g' fstab //将匹配到的UUID替换为uuid
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    uuid=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    uuid=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    uuid=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    uuid=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0


高级编辑命令:

    h: 把模式空间中的内容覆盖至保持空间中
    H:把模式空间中的内容追加至保持空间中
    g: 从保持空间取出数据覆盖至模式空间
    G:从保持空间取出内容追加至模式空间
    x: 把模式空间中的内容与保持空间中的内容进行互换
    n: 读取匹配到的行的下一行覆盖至模式空间
    N:追加匹配到的行的下一行至模式空间
    d: 删除模式空间中的行
    D:删除当前模式空间开端至\n的内容(不在传至标准输出),放弃之后的命令,但是对剩余模式空间重新执行sed

简单举例:


1、sed -n 'n;p'  fstab

[root@localhost ~]# sed -n 'n;p' fstab /
     2    #
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     8    #
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

(1)首先-n禁止默认的打印功能,因为没有地址定界,所以默认为全文,首先读第一行至模式空间,n表示匹配到的下一行覆盖至模式空间,即用第二行覆盖模式空间内的第一行;

(2)然后读取第三行,继续-n操作,所以打印出来的都为偶数行。

2、sed '1!G;h;$!d' fstab

[root@localhost ~]# sed '1!G;h;$!d' fstab
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
     8    #
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     5    #
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     3    # /etc/fstab
     2    #
     1

(1)依然是默认为全文,首先读取第一行,1!G,不做操作,h,覆盖至保持空间,因为保持空间本开始没有内容,所以此时保持空间内容为第一行,$!d,不是最后一行,执行删除。此第一行操作完毕,此时模式空间没有内容,保持空间为第一行;

(2)再读取第二行,1!G,因为不是第一行,执行G操作,即从保持空间取出内容追加至模式空间,此时模式空间的内容为第二行+第一行,且第一行在下面,h,把模式空间中的内容覆盖至保持空间中,此时保持空间为原来的模式空间内容,$!d,不是最后一行,执行删除。此时模式空间为空,保持空间为第二行+第一行。

(3)直到读到最后一行,1!G,此时模式空间内为第十行到第一行,h,再把模式空间内容覆盖至保持空间,最后$!d,因为是最后一行,所以不予操作,最后将模式空间的内容打印出来,即逆序显示。

3、sed '$!d' fstab

[root@localhost ~]# sed '$!d' fstab 
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

默认为全文内容,$!d表示不是最后一行执行d删除操作,所以只打印出最后一行

原创文章,作者:我的滑板鞋,如若转载,请注明出处:http://www.178linux.com/32089

赞 (2)
我的滑板鞋我的滑板鞋
上一篇 2016-08-10 10:15
下一篇 2016-08-10 10:15

相关推荐

  • 2015 | 月入过万,再不看你就会后悔

    新的一年,又是一个轮回的开始,又有很多学员加入了我们的征途!我们本着武侠精神,传经授道,助你仗剑走天涯。为了让新的学员更加有信心我们特此列一些学员反馈的就业情况,传播正能量,我们承诺以下情况绝对真实,可找学员核实。 学员高薪就业 以上只是小部分学员,还有非常多的学员在淘宝、大众点评、腾讯、携程、新浪、九城、百度、搜狐、华泰证券、民生银行、360、乐视网等等5…

    2015-03-09
  • Linux普通权限及特殊权限讲解

    1.文件权限 文件权限主要是针对三类对象进行定义的:                          &nb…

    学员作品 2016-08-05
  • 马哥教育网络班20期+第9周博客作业

    1、写一个脚本,判断当前系统上所有用户的shell是否为可登录shell(即用户的shell不是/sbin/nologin); 分别这两类用户的个数;通过字符串比较来实现;     #!bin/bash     export clogin=0   &…

    学员作品 2016-09-10
  • 【惊爆】马哥linux2016最新全套课程(内部泄密版)

    你知道么,马哥linux2016最新全套课程(内部泄密版)被曝光了,小编刚刚得到消息,然后就给大家分享出来了,大家快来点评下,话说2016版课程如何?且听小编慢慢为你道来 全新内容,全新阵容,引入ELK和Docker内容,更加贴合生产环境应用,全新的Centos7搭载完善的实战实验室,强大的不像实力派,特别需要说明的一点:0首付0利率,机会不容错过!!! 高…

    学员作品 2015-10-21
  • vim 作业

    4、如何设置tab缩进为4个字符?  vi/vim中,可以通过在~/.vimrc中添加set ts=4 执行source ~/.vimrc 重读配置文件 5、复制/etc/rc.d/init.d/functions文件至/tmp目录;替换/tmp/functions文件中的/etc/sysconfig/init为/var/log; 拓展模式下: &…

    学员作品 2016-08-15
  • linux操作系统rpm软件包管理

    软件包管理 软件包运行环境: API:Application Programming Interface     使用标准:POSIX:     源代码运行步骤:预处理(如处理注释)—>编译成汇编代码—>链接其他库文件 ABI:applicatio…

    2016-08-22