Linux中的文本处理工具—sed

sed 处理文本工具


一、概述

  Stream EDitor,行编辑器

   sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等

   sed 是一种非交互式的文本编辑器,通过给定条件自动的逐行去处理文件。

   grep是用来检索关键字的,sed 却是搜索匹配处理文本工具。

 

二、功能

   sed 所具有的功能:数据的替换,删除,新增等,这里的数据可以是一些关键字,也可以是一些特定的行


三、语法结构及用法:


  1.语法结构:sed [option]… 'script' inputfile…


  2.常用选

      -n:不输出模式空间内容的自动打印(静默模式)

      -e: 多点编辑,指定多脚本编辑

      -f /PATH/TO/SCRIPT_FILE: 从指定文件中读取编辑脚本并运行。

      -r: 支持使用扩展正则表达式

      -i: 原处编辑(直接修改源文件) -i.back(备份)

wKioL1eqxQbio9SfAABT00bdq68462.png

  3.地址界定(抽取的域):

    (1) 不给地址:对全文进行处理

    (2) 单地址

           #: 表示数字,指定的行

             $:最后一行

            /pattern/:被此处模式所能够匹配到的每一行

    (3) 地址范围

        #1,#2 :从#1行,到#2行

        #,+n从#行开始,一直到向下的n行

wKiom1eqwm2STMUZAAAhF5hsOFE043.png

        /pat1/,/pat2/从第一次被pat1匹配到的行开始,到第一次被pat2匹配到的行结束,中间的所有行;

        #,/pat1/ 从#行开始,到第一次被pat1匹配到的行结束,中间的所有行。

wKioL1eqwu6yxP6wAAAWSlwycqg094.png

    (4) ~:步进,指定起始行及步长。

         1~2 奇数行

wKiom1eqwhHzCnk-AAAe2HSFkHg472.png

         2~2 偶数行

  4.编辑命令:

     

      d: 删除模式空间匹配的

wKiom1eqwXaAh8zRAAAfQx3NjdE921.png

     p: 打印模式空间中的内容

wKiom1eqwZaTv9xjAAAweB7nNoE301.pngwKiom1eqwcuTZPx1AAAMvAdmUhE426.png

      a\text:在行后面追加文本;支持使用\n实现多行追加

wKioL1eqwzDB56jAAAA2X_hPA6s710.png

      i\text:在行前面插入文本;支持使用\n实现多行插入

      c\text:替换行为单行或多行文本

      w /path/to/somefile: 把指定的内容另存至/path/to/somefile路径所指定的文件中。

wKiom1eqw1XCOVO3AAAXUzCEl6I980.png

      r /path/from/somefile:在文件的指定位置插入另一个文件的所有内容,完成文件合并

wKioL1eqw22DLIWFAAAvJkBYCzY411.png

      = : 为模式空间中的行打印行号

wKiom1eqxCaRsiImAAAijvmwfWk743.png

      ! :模式空间中匹配行取反处理

wKioL1eqxEviOD0bAAApG4tuj8E167.png

   注意:这里添加或替换的内容,只是在模式空间中改变,原文件并没有被修改,如果要修改源文件 加 -i 选项(慎用)


  5.查找替换(很重要):


s///:查找替换,支持使用其它分隔符s@@@,s###

  如:s/string1/string2/ 用string2 替换string1,string 可以是字符串也可以是正则表达式

   替换记:

      g: 行内全局替换

wKiom1eqxevjJ2PPAAAjXAsiO0s015.png

      p: 显示替换成功的行

      w /PATH/TO/SOMEFILE :将替换成功的行保存至文件中

  6.sed示例:

      sed‘2p’ /etc/passwd

       sed–n ‘2p’ /etc/passwd

       sed–n ‘1,4p’ /etc/passwd

       sed–n ‘/root/p’ /etc/passwd

       sed–n ‘2,/root/p’ /etc/passwd2行开始

       sed-n ‘/^$/=’ file 显示空行行号

       sed–n –e ‘/^$/p’ –e ‘/^$/=’ file

       sed‘/root/a\superman’ /etc/passwd行后

       sed‘/root/i\superman’ /etc/passwd行前

       sed‘/root/c\superman’ /etc/passwd代替行      

      sed‘/^$/d’ file   删除空行

       sed‘1,10d’ file

       nl /etc/passwd| sed‘2,5d’

       nl /etc/passwd| sed‘2a\tea’

       sed's/test/mytest/g' example

       sed–n‘s/root/&superman/p’ /etc/passwd单词后

wKiom1eqxhDRHi56AAAkLAEyNiY454.png

       sed–n‘s/root/superman&/p’ /etc/passwd单词前

       sed-e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets  多次处理

       sed–i.bak ‘s/dog/cat/g’ pets


   7.保持空间及高级命令


   sed 除了“模式空间”(pattern space),还有一个“hold space”的内存空间,称之为 保持空间

 所谓保持空间,就是,对于模式空间处理过的行,可能还有其他的处理,因此可以先把处理过的行“传送”至保存空间,然后再后续的处理中再次“传送”回模式空间中。 这就类似于加工车间和仓库的概念,好比模式空间为加工车间保持空间为仓库,不过这里的仓库存放的都是些半成品的产品。


   高级编辑命令

       h: 把模式空间中的内容覆盖至保持空间中

       H:把模式空间中的内容追加至保持空间中

       g: 从保持空间取出数据覆盖至模式空间

       G:从保持空间取出内容追加至模式空间

       x: 把模式空间中的内容与保持空间中的内容进行互换

       n: 读取匹配到的行的下一行覆盖至模式空间

       N:追加匹配到的行的下一行至模式空间

       d: 删除模式空间中的行

      D:删除当前模式空间开端至\n的内容(不在传至标准输出),放弃之后的命令,但是对剩余模式空间重新执行sed


示例:

       sed -n 'n;p' FILE

         sed '1!G;h;$!d' FILE

         sed '$!N;$!D' FILE

         sed '$!d' FILE

         sed ‘G’ FILE

         sed ‘g’ FILE

         sed ‘/^$/d;G’ FILE

         sed 'n;d' FILE

         sed -n '1!G;h;$p' FILE




  练习:

    1、删除/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符

wKioL1eqx0yziwkdAAAfS_I_d_g091.png

   2、删除/etc/fstab文件中所有以#开头,后面至少跟一个空白字符的行的行首的#和空白字符

wKioL1eqx3OgZMS-AAATRpXLiBw961.png

   3、在/root/install.log每一行行首增加#号

wKiom1eqx4OgFHNsAAAgjqLpKQk456.png

   4、在/etc/fstab文件中不以#开头的行的行首增加#号

wKioL1eqx5_j1lbIAABNXtVlwpk787.png

    5、处理/etc/fstab路径,使用sed命令取出其目录名和基名

wKiom1eqx9ijwMWNAAAftJm3pd0151.pngwKiom1eqx-zyRPFzAAAUlxDIBWI423.png

       过程分析如下

wKiom1eqyISi1TvbAAAobHaBmaI288.png

   6、利用sed 取出ifconfig命令中本机的IPv4地址

wKioL1eqyBOjncs_AAAbBFGMJCU359.png

   7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数

wKioL1eqyCLhJYU_AAAxw_VRKdU053.png

 

 

 总结与感悟:

   1.通过对sed的学习,知道了sed相对于grep的功能更加强大。

   区别:

     grep只是一个文本过滤工具,作用就是根据用户指定的过滤条件对目标文件逐行进行匹配检查,打印匹配到的行。

     sed是一种非交互式的文本编辑器(通过给定的条件自动逐行的去处理文件),grep只是用来检索条件关键字的,而sed是搜索匹配处理文本工具,功能可以实现数据的替换、删除、新增等,更加强大。

   2.在处理一些题目时,可以采用的思路方法:

    对目标文件利用扩展的正则表达式,进行分组处理,用组表示出所有的内容,然后把想要的内容用前面的分组替换。

    注意 .* 的灵活应用,转义符 \ 的使用(在.和()中使用)以及匹配次数的灵活应用 \+

 


原创文章,作者:zhumengxiaotao,如若转载,请注明出处:http://www.178linux.com/32745