文本处理三剑客:sed篇

Stream EDitor, 行编辑器

Sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。

工作原理:

QQ截图20160809194040.jpg

sed是一种流编辑器,如上图所示,它一次处理一行内容,将读入的那行内容送入模式空间,然后根据sed的编辑命令对其进行响应的操作,处理完成后sed默认会把模式空间中的内容打印至标准输出,如果指定了-n选项,则会禁止这种默认的打印行为。sed中还有一层保持空间,用于后备的缓存区,使用其高级的编辑命令可以做出很多奇复杂而又奇妙的操作。


用法及常用选项:

    用法:

        sed[option]… 'script' inputfile…

    常用选项:

        -n:不输出模式空间内容的自动打印
        -e: 多点编辑
        -f /PATH/TO/SCRIPT_FILE: 从指定文件中读取编辑脚本
        -r: 支持使用扩展正则表达式
        -i: 原处编辑

    script:
        '地址命令'

            地址定界:
                (1) 不给地址:对全文进行处理
                (2) 单地址:
                    #: 指定的行
                    /pattern/:被此处模式所能够匹配到的每一行
                (3) 地址范围:
                    #,#
                    #,+#
                    /pat1/,/pat2/
                    #,/pat1/
                (4) ~:步进
                    1~2 奇数行
                    2~2 偶数行

        编辑命令:    

            d: 删除模式空间匹配的行
            p: 显示模式空间中的内容
            a \text:在行后面追加文本;支持使用\n实现多行追加
            i\text:在行前面插入文本;支持使用\n实现多行插入
            c \text:替换行为单行或多行文本
            w /path/to/somefile: 保存模式匹配的行至指定文件
            r /path/from/somefile:读取指定文件的文本至模式空
            间中匹配到的行后
            =: 为模式空间中的行打印行号
            !:模式空间中匹配行取反处理

            s///:查找替换,支持使用其它分隔符,s@@@,s###
                替换标记:
                g: 行内全局替换
            p: 显示替换成功的行
            w /PATH/TO/SOMEFILE:将替换成功的行保存至文件中


小练习:

1、sed‘2p’ fstab

[root@localhost ~]# cat fstab 
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
[root@localhost ~]# sed '2p' fstab //因为默认会将模式空间的内容打印出来,2p则是
     1                         //把第二行的打印出来,所以会出现两次
     2    #
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

2、sed –n ‘2p’ fstab

[root@localhost ~]# sed -n '2p' fstab //-n将禁止默认的打印行为,只显示第二行
     2    #

3、sed –n ‘1,4p’ fstab

[root@localhost ~]# sed -n '1,4p' fstab //1,4表示第一行到第四行,同样-n禁止默认打印行为
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016

4、sed –n ‘/xfs/p’ fstab

[root@localhost ~]# sed -n '/xfs/p' fstab // /xfs/为地址定界,表示将含有xfs的行打印出来
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0

5、sed-n ‘/UUID/=’fstab

[root@localhost ~]# sed -n '/UUID/=' fstab //打印行号
9
10
11
12

6、sed‘/UUID/a\superman’ fstab

[root@localhost ~]# sed '/UUID/a\superman' fstab//在含有UUID的行后追加superman
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
superman
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
superman
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
superman
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
superman

7、sed‘/UUID/i\superman’ fstab

[root@localhost ~]# sed '/UUID/i\superman' fstab //在含有UUID的行前加上superman
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
superman
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
superman
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
superman
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
superman
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

8、sed‘/UUID/c\superman’ fstab

[root@localhost ~]# sed '/UUID/c\superman' fstab //将被//匹配到的行替换为superman
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
superman
superman
superman
superman

9、sed –n –e ‘/UUID/p’ –e ‘/UUID/=’fstab

[root@localhost ~]# sed  -n -e  '/UUID/P' -e '/UUID/=' fstab //因为前面的行没有被匹配到,然后将第九行读到模式空间,然后打印出来,-e继续打印此行号,然后继续读取下一行
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
9
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
10
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
11
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
12

10、sed‘1,10d’fstab

[root@localhost ~]# sed '1,10d' fstab //删除1-10行
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

11、sed 's/UUID/uuid/g'  fstab

[root@localhost ~]# sed 's/UUID/uuid/g' fstab //将匹配到的UUID替换为uuid
     1    
     2    #
     3    # /etc/fstab
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     5    #
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     8    #
     9    uuid=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
    10    uuid=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    11    uuid=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    12    uuid=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0


高级编辑命令:

    h: 把模式空间中的内容覆盖至保持空间中
    H:把模式空间中的内容追加至保持空间中
    g: 从保持空间取出数据覆盖至模式空间
    G:从保持空间取出内容追加至模式空间
    x: 把模式空间中的内容与保持空间中的内容进行互换
    n: 读取匹配到的行的下一行覆盖至模式空间
    N:追加匹配到的行的下一行至模式空间
    d: 删除模式空间中的行
    D:删除当前模式空间开端至\n的内容(不在传至标准输出),放弃之后的命令,但是对剩余模式空间重新执行sed

简单举例:


1、sed -n 'n;p'  fstab

[root@localhost ~]# sed -n 'n;p' fstab /
     2    #
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     8    #
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

(1)首先-n禁止默认的打印功能,因为没有地址定界,所以默认为全文,首先读第一行至模式空间,n表示匹配到的下一行覆盖至模式空间,即用第二行覆盖模式空间内的第一行;

(2)然后读取第三行,继续-n操作,所以打印出来的都为偶数行。

2、sed '1!G;h;$!d' fstab

[root@localhost ~]# sed '1!G;h;$!d' fstab
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0
    11    UUID=cbf33183-93bf-4b4f-81c0-ea6ae91cd4f6 /usr                    xfs     defaults        0 0
    10    UUID=bf3d4b2f-4629-4fd7-8d70-a21302111564 /boot                   xfs     defaults        0 0
     9    UUID=136f7cbb-d8f6-439b-aa73-3958bd33b05f /                       xfs     defaults        0 0
     8    #
     7    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
     6    # Accessible filesystems, by reference, are maintained under '/dev/disk'
     5    #
     4    # Created by anaconda on Mon Jul 25 12:06:44 2016
     3    # /etc/fstab
     2    #
     1

(1)依然是默认为全文,首先读取第一行,1!G,不做操作,h,覆盖至保持空间,因为保持空间本开始没有内容,所以此时保持空间内容为第一行,$!d,不是最后一行,执行删除。此第一行操作完毕,此时模式空间没有内容,保持空间为第一行;

(2)再读取第二行,1!G,因为不是第一行,执行G操作,即从保持空间取出内容追加至模式空间,此时模式空间的内容为第二行+第一行,且第一行在下面,h,把模式空间中的内容覆盖至保持空间中,此时保持空间为原来的模式空间内容,$!d,不是最后一行,执行删除。此时模式空间为空,保持空间为第二行+第一行。

(3)直到读到最后一行,1!G,此时模式空间内为第十行到第一行,h,再把模式空间内容覆盖至保持空间,最后$!d,因为是最后一行,所以不予操作,最后将模式空间的内容打印出来,即逆序显示。

3、sed '$!d' fstab

[root@localhost ~]# sed '$!d' fstab 
    12    UUID=5e11b173-f7e2-4994-95b9-55cc4c41f20b swap                    swap    defaults        0 0

默认为全文内容,$!d表示不是最后一行执行d删除操作,所以只打印出最后一行

原创文章,作者:我的滑板鞋,如若转载,请注明出处:http://www.178linux.com/32089

(2)
上一篇 2016-08-10 10:15
下一篇 2016-08-10 10:22

相关推荐

  • 简述加密算法的原理

    一、简述加密算法的原理: 用户空间与内核空间交换数据可通过加密协议进行加密(解密)来确保安全,(数据也可选着不进行加密) 加密算发分类: 对称加密 :数据保密 公钥加密:身份认证、密钥交换、数据加密(不常用,比对称加密慢3个数量级) 单向加密:保证数据的完整性 对称加密的加密图示: 发送端与接收端使用同一密钥进行加密或解密,将原始数据分割成固定大小的块,通过…

    2018-12-03
  • LAMP实战教程

    LAMP的环境原理 LAMP:是由Linux、Apache(httpd)、MySQL/MariaDB和PHP/Perl/Python这些开源软件所搭建起来的web应用平台。平台主机可以是独立的也可以在一台主机上。 客户端访问web服务,web服务器遵循二八法则直接将大部分静态访问资源反馈给客户,如果是动态资源则通过FastCGI协议调用php程序获取数据库的…

    2018-12-05
  • 马哥教育网络班20期-第九周课程作业

    1、写一个脚本,判断当前系统上所有用户的shell是否为可登录shell(即用户的shell不是/sbin/nologin);分别这两类用户的个数;通过字符串比较来实现; #!/bin/bash nologinsum=$(awk -F: '$NF~/\/sbin\/nologin$/{print $1}'&n…

    学员作品 2016-09-08
  • 马哥linux运维雄鹰社团第一届博客大赛

    能登上金字塔塔顶的只有鹰和蜗牛 世界那么大,我想去看看!我带着你,你带着钱,想去哪去哪!来马哥教育,夺博客大赛最佳,实现人生巅峰! 面对现状你该如何抉择 亲爱的学员们,自己一个人学习是否缺乏动力呢? 是否不知道其他人的学习进度参考,而不能及时激励自己奋进呢? 是否每每懊悔自己没有利用好时间,而导致学习进度大幅落下呢? 马哥linux为你点亮通向远方的一盏灯 …

    2015-05-20
  • sed 流编辑器 练习

    8-9 sed 练习 1、删除/etc/grub2.conf文件中所有以空白开头的行行首的 空白字符 sed 's@^[[:space:]]@@g' /etc/grub2.conf  2、删除/etc/fstab文件中所有以#开头,后面至少跟一个空 白字符的行的行首的#和空白字符 sed 's@^#[[:space:]]\{1…

    学员作品 2016-08-10
  • Linux系统安装

    概述:     上篇我们讨论了下关于Linux系统的启动流程和grub相关的内容,本篇将介绍一下Linux的系统安装相关的内容,具体分为:     1、系统安装程序anaconda的介绍     2、kickstart文件的介绍 &nbsp…

    学员作品 2016-09-15