文本处理三剑客之sed

概述

    经过上篇对正则表达式和grep相关内容的学习，我们对文本处理有了一个初步的认识，本篇将简要介绍一下文本处理三剑客之sed。具体分为以下几个部分：

    1、sed原理概述

    2、sed命令详解

第一部分    sed原理概述

    1、sed是什么

        sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为模式空间，接着用sed命令处理缓冲区中的内容，处理完成后，如果有需要进一步处理，就把模式空间的内容送到保持空间，如果不需要进一步处理，把模式空间的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出或者使用-i选项指定修改原文件。 sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。

    2、sed的模式空间和保持空间的理解

        模式空间和保持空间，实际上就是sed用来完成数据处理的两段内存空间，其中模式空间用来存储从文档中读取出来的数据，根据指定的处理动作完成对数据的处理，如果在模式空间的数据一次处理后，无法满足要求或需要后续的行进行配合处理，就需再将该行数据放到保持空间，根据需要从模式空间和保持空间之间调度数据，完成更高一级的文件处理动作

    3、sed工作原理

第二部分    sed命令详解

    1、sed命令语法格式：

        语法：sed [OPTION]…'SCRIPT' FILE…

        SCRIPT:地址定界和编辑命令的集合

        常用选项：

            -n  不输出模式空间的内容至屏幕，也就是没被模式匹配到的行，不输出到屏幕（不指定的话，默认是输出到屏幕）

                一般如果编辑命令不是d，都应该指明该选项

            -e SCRIPT  可以实现多个SCRIPT一起编辑（默认只能用一个SCRIPT）

            -f /PATH/TO/FILE  将各个SCRIPT写到文件中，然后利用-f 导入sed，进行处理。该文件中的格式为每行一个编辑命令

            -r  表示支持使用扩展正则表达式

            -i  表示直接编辑原文件

                sed –iSTRING ‘s/dog/cat/g’ pets可以实现在改变原文件时，将原文件备份一份到原文件目录下取名为源文件名后跟指定的STRING为文件名的文件

    2、sed中的地址定界

        <1>空地址：表示对全文处理

        <2>单地址：表示只对指定行进行处理

            数字：表示指定的行

            /PATTERN/：表示被此模式匹配到的每一行

            $  最后一行

        <3>地址范围

            数字1，数字2  表示从第几行到第几行之间所有的行，包括数字指定的行本身

            数字1，+数字2  表示从第几行开始，往后的多少行

            数字，/PATTERN/  表示从第几行开始，到第一次能被模式匹配到的行结束

            /PATTERN1/,/PATTERN2/  表示第一次能被模式1匹配到的行开始，到第一次能被模式2匹配到的行结束

        <4>步进长度表示法：~

            1~2：表示从第1行开始，每次步进2（此例子表示的是奇数行）

            2~2：表示从第2行开始，每次步进2（此例子表示的是偶数行）

        地址定界示例：

    3、sed中的编辑命令

        d  表示删除（此命令一般不能加-n选项，除此命令之外的其他命令都应该加上-n选项）

        p  显示能够被匹配到的模式空间的内容（一般要加上-n选项）

             例如：sed ‘1~2p’ /etc/fstab

                 表示显示全部的内容，且奇数行显示两次，因为默认会显示模式空间中的内容

                 sed -n ‘1~2p’ /etc/fstab表示只显示奇数行的内容

        a  \TEXT 加在后面，表示在模式匹配到行后面追加指定的文本TEXT,支持使用\n（换行符）实现多行插入

        i  \TEXT 加在前面，表示在模式匹配到行前面加上指定的文本TEXT,支持使用\n（换行符）实现多行插入

        c  \TEXT 把匹配到的整行，替换为此处指定的文本TEXT

        w  /PATH/TO/FILE   保存模式空间中被模式匹配到的行另存为指定文件

        r  /PATH/TO/FILE   读取指定文件的内容，至当前文件中被模式匹配到的行后面，文件合并

        =   为模式匹配到的行，打印行号，在匹配到的行的上方另起一行标注行号

        ！  条件取反，！的位置在地址定界之后，编辑命令之前

        s///   查找替换，其分隔符可执行指定，常用的有s@@@，s###

            支持替换标记：

                g  表示全局替换（默认表示只替换第一次出现的地方）

                w  /PATH/TO/FILE  将替换成成功的结果保存至指定文件

                p  显示替换成功的行

    4、sed中的高级编辑命令

        h  表示把模式空间中的内容覆盖至保持空间中

        H  表示把模式空间中的内容追加至保持空间中

        g  表示把保持空间中的内容覆盖至模式空间中

        G  表示把保持空间中的内容追加至模式空间中

        x  表示把模式空间中的内容与保持空间中的内容互换

        n  表示读取匹配到的行的下一行至模式空间中，覆盖原行

        N  表示读取匹配到的行的下一行至模式空间中，追加到原行后面

        d  表示删除模式空间中的行

        D  表示删除多行模式空间中的所有行

        示例：sed ‘1！G;h;$!d’ /etc/fstab  相当于逆序显示文件内容

        分析此命令的过程：

        几个编辑动作的意思：如果不是第一行，就做G操作，然后做h操作，然后如果不是最后一行，就做d操作

        第1行，因为是第一行，不做G操作，然后做h，将第一行的内容覆盖到保持空间，然后不是第一行，删除模式空间的内容，模式空间没内容

        第2行，因为不是第一行，做G操作，将刚才保持空间中的第一行的信息追加到模式空间，此时模式空间有第2行和第1行，然后做h操作，将模式空间的第2行和第1行覆盖到保持空间，此时保持空间有第2行和第1行，然后做d操作，删除了模式空间的所有内容

        第3行，做G操作，故模式空间有了第3行，第2行和第1行，然后再进行h操作，此时保持空间中的内容有第3行第2行第1行，然后删除模式空间

        ….

        最后一行：做G操作，把保持空间的内容追加到模式空间，然后再做h，把模式空间的内容覆盖到保持空间，然后由于是最后一行，不做d操作，故，此时模式空间的内容是最后一行…第一行 ，逆序排序了

        然后sed的默认动作是把模式空间的内容输出，故显示的结果是将文件逆序排序

        sed ‘$!d’ FILE  表示显示最后一行

        sed ‘$!N;$!D’ FILE  显示文件的最后两行的内容

        sed ‘/^$/d;G’ FILE  删除原有的所有空白行，然后为每个非空白行后添加一个空白行

        sed ‘n;d’ FILE  显示奇数行

        sed ‘G’ FILE   表示在原有的每行后面都加上一个空白行