Linux中的文本处理工具—sed

sed 处理文本工具

一、概述

  Stream EDitor,行编辑器

   sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等

   sed 是一种非交互式的文本编辑器，通过给定条件自动的逐行去处理文件。

   grep是用来检索关键字的，sed 却是搜索匹配处理文本工具。

二、功能

   sed 所具有的功能：数据的替换，删除，新增等，这里的数据可以是一些关键字，也可以是一些特定的行。

三、语法结构及用法：

  1.语法结构：sed [option]… 'script' inputfile…

  2.常用选项：

      -n：不输出模式空间内容的自动打印（静默模式）

      -e: 多点编辑，指定多脚本编辑

      -f /PATH/TO/SCRIPT_FILE: 从指定文件中读取编辑脚本并运行。

      -r: 支持使用扩展正则表达式

      -i: 原处编辑（直接修改源文件） -i.back(备份）

  3.地址界定（抽取的域）：

    (1) 不给地址：对全文进行处理

    (2) 单地址：

           #: 表示数字，指定的行

             $：最后一行

            /pattern/：被此处模式所能够匹配到的每一行

    (3) 地址范围：

        #1,#2 ：从#1行，到#2行

        #,+n：从#行开始，一直到向下的n行

        /pat1/,/pat2/：从第一次被pat1匹配到的行开始，到第一次被pat2匹配到的行结束，中间的所有行；

        #,/pat1/： 从#行开始，到第一次被pat1匹配到的行结束，中间的所有行。

    (4) ~：步进，指定起始行及步长。

         1~2 奇数行

         2~2 偶数行

  4.编辑命令：

      d: 删除模式空间匹配的行

     p: 打印模式空间中的内容

      a\text：在行后面追加文本；支持使用\n实现多行追加

      i\text：在行前面插入文本；支持使用\n实现多行插入

      c\text：替换行为单行或多行文本

      w /path/to/somefile: 把指定的内容另存至/path/to/somefile路径所指定的文件中。

      r /path/from/somefile：在文件的指定位置插入另一个文件的所有内容，完成文件合并。

      = : 为模式空间中的行打印行号

      ! :模式空间中匹配行取反处理

   注意：这里添加或替换的内容，只是在模式空间中改变，原文件并没有被修改，如果要修改源文件 加 -i 选项（慎用）

  5.查找替换（很重要）：

s///：查找替换,支持使用其它分隔符：s@@@，s###

  如：s/string1/string2/ 用string2 替换string1,string 可以是字符串也可以是正则表达式。

   替换标记：

      g: 行内全局替换

      p: 显示替换成功的行

      w /PATH/TO/SOMEFILE ：将替换成功的行保存至文件中

  6.sed示例：

      sed‘2p’ /etc/passwd

       sed–n ‘2p’ /etc/passwd

       sed–n ‘1,4p’ /etc/passwd

       sed–n ‘/root/p’ /etc/passwd

       sed–n ‘2,/root/p’ /etc/passwd从2行开始

       sed-n ‘/^$/=’ file 显示空行行号

       sed–n –e ‘/^$/p’ –e ‘/^$/=’ file

       sed‘/root/a\superman’ /etc/passwd行后

       sed‘/root/i\superman’ /etc/passwd行前

       sed‘/root/c\superman’ /etc/passwd代替行      

      sed‘/^$/d’ file   删除空行

       sed‘1,10d’ file

       nl /etc/passwd| sed‘2,5d’

       nl /etc/passwd| sed‘2a\tea’

       sed's/test/mytest/g' example

       sed–n‘s/root/&superman/p’ /etc/passwd单词后

       sed–n‘s/root/superman&/p’ /etc/passwd单词前

       sed-e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets  多次处理

       sed–i.bak ‘s/dog/cat/g’ pets

   7.保持空间及高级命令

   sed 除了“模式空间”（pattern space），还有一个“hold space”的内存空间，称之为 保持空间。

 所谓保持空间，就是，对于模式空间处理过的行，可能还有其他的处理，因此可以先把处理过的行“传送”至保存空间，然后再后续的处理中再次“传送”回模式空间中。 这就类似于加工车间和仓库的概念，好比模式空间为加工车间，保持空间为仓库，不过这里的仓库存放的都是些半成品的产品。

   高级编辑命令：

       h: 把模式空间中的内容覆盖至保持空间中

       H：把模式空间中的内容追加至保持空间中

       g: 从保持空间取出数据覆盖至模式空间

       G：从保持空间取出内容追加至模式空间

       x: 把模式空间中的内容与保持空间中的内容进行互换

       n: 读取匹配到的行的下一行覆盖至模式空间

       N：追加匹配到的行的下一行至模式空间

       d: 删除模式空间中的行

      D：删除当前模式空间开端至\n的内容（不在传至标准输出），放弃之后的命令，但是对剩余模式空间重新执行sed

示例：

       sed -n 'n;p' FILE

         sed '1!G;h;$!d' FILE

         sed '$!N;$!D' FILE

         sed '$!d' FILE

         sed ‘G’ FILE

         sed ‘g’ FILE

         sed ‘/^$/d;G’ FILE

         sed 'n;d' FILE

         sed -n '1!G;h;$p' FILE

  练习：

    1、删除/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符

   2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符

   3、在/root/install.log每一行行首增加#号

   4、在/etc/fstab文件中不以#开头的行的行首增加#号

    5、处理/etc/fstab路径,使用sed命令取出其目录名和基名

       过程分析如下

   6、利用sed 取出ifconfig命令中本机的IPv4地址

   7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数

 总结与感悟：

   1.通过对sed的学习，知道了sed相对于grep的功能更加强大。

   区别：

     grep只是一个文本过滤工具，作用就是根据用户指定的过滤条件对目标文件逐行进行匹配检查，打印匹配到的行。

     sed是一种非交互式的文本编辑器（通过给定的条件自动逐行的去处理文件），grep只是用来检索条件关键字的，而sed是搜索匹配处理文本工具，功能可以实现数据的替换、删除、新增等，更加强大。

   2.在处理一些题目时，可以采用的思路方法：

    对目标文件利用扩展的正则表达式，进行分组处理，用组表示出所有的内容，然后把想要的内容用前面的分组替换。

    注意 .* 的灵活应用，转义符 \ 的使用（在.和（）中使用）以及匹配次数的灵活应用 \+