Linux—文本处理(查看,统计,排序,抽取,合并,grep,基本正则表达式)

Linux的文本管理有着众多的文本命令工具,这些工具基本可以满足不同的文本处理要求,很是灵活,掌握文本管理命令对系统的维护是必备基础技能。


1.文本查看命令:

    (1)cat

       语法:

       cat [OPTION]… [FILE]…

       常用选项:

       -n:显示查看文件内容的行号;

       -A:显示文件内容中的所有特殊控制符符号,比如Tab键的字符,和换行符等;

       -E:显示文件内容中的结束控制符$;

       -s:连续的空行压缩成一行显示;

       -b:空行不显示行号;


    (2)more:有些大文件内容很多,cat命令一下输出完到底部,前面的内容没办法在命令行界面里灵活查看,more支持分页查看文件;

       语法:

       more FILE…

       支持快捷键操作:Ctrl+b,Enter,空格键;

       支持文本搜素:使用“/”后跟string关键字

       搜索查找到支持地位跳转:n:向下 N:向上;

     注意:翻到文件尾部就退出


    (3)less:命令比more命令更灵活,使用分页器,同时支持PATTERN;

       语法:

       less FILE…

       前面more的功能都支持。

    

    (4)head:定位查看文本头部内容;

       语法:

       head [options]…FILE…

       常用选项:

       -n#:指定显示前面多少行;

       -c#:显示文件头部内容的字节数;

    (5)tail:定位查看文件尾部内容;

       语法:

       tail [options]…FILE…

       常用选项:

       -c#:指定显示文件尾部字节数;

       -n#:指定显示尾部多少行

       -f:跟着显示文件尾部追加内容,不退出继续显示,用作日志监控;


2.在Linux系统中,我们需要经常对文件进行操作,除了增删改查以外,有时需要在不改变原文件属性的前提下对文件进查看,统计,排序,比较等简单操作。下面分别介绍一下这些需求。

 

    (1)文本统计工具wc命令

       wc命令

       语法 :

      wc [options]…[FILE]…

      常用选项:

      不跟选项默认显示内容分别为:文件行数,单词数,字节数;

      -l:只显示文件行数;

      -c:只显示文件中的字节数bytes;

      -w:只显示文件中的单词数;

      -m:只显示文件中的字符数chars;


    (2)文本裁剪工具cut命令和文本合并工具paste命令

       cut 命令有些文件的格式有标准分割符,组成的行和列,可以使用cut命令取出相应的行。

       语法:

       cut [options]…[FILE]…

      常用选项:

      -d:指定以什么符分割每行列;

      -f:指定第几个列,可以连续表示1-5,逗号分割;

      -c#:使用字符个数做分割列;

     

      paste 合并两个文件同行号的列到一行

      语法

      paste [OPTION]… [FILE1] [FILE2]

      常用选项:

      -d 分隔符:指定分隔符,默认用TAB

      -s : 所有行合成一行显示

    

    (3)文本字符排序工具sort和uniq命令

        sort

        语法:

        sort [options]…[FILE]

        常用选项:

        默认排序是根据字符排序

        -n:以数值大小排序

        -r:反向逆序排序

        -t:指定以什么符作为分割列;

        -k:指定第几列进行排序;

        -f:忽略大小写;

   

        uniq

        语法:

       uniq [options]…[FILE]…

       常用选项:

       默认显示连续重复的行只显示一行;

       -c:显示重复行次数;

       -u:不显示重复的行;

       -d:仅仅显示重复的行;

 

  (4)文本比较和补丁恢复工具diff和patch命令

 

        diff:是逐行比较内容

        语法:

        diff [options] [FILE1]  [FILE2]

        diff [options] [FILE1]  [FILE2] >file_patch

        常用选项:

         -u:改变比较内容输出的风格;

         重定向输出的内容为补丁文件,可以利用补丁恢复文件,

 

        patch

        语法:

        patch [options] [file_patch] [FILE]

        常用选项:

         -i:利用补丁恢复原文件;

         R:返回操作;

3.前面介绍了Linux的文本查看以及统计排序抽取比较等工具,但是对文件内容的特定的行列中的字符查找操作,前面的命令很难实现。但是Linux系统中还有许多其他工具是基于模式PATTERN处理文本,其模式要用到正则表达式。

   正则表达:正则表达式是由正则表达式的元字符和文本字符组成的过滤条件;

    正则表达式的元字符:是由一类特殊的字符组成,这些特殊字符不表示本身的含义,而是做控制、次数 或通配的功能。正则表达式根据元字符意义的不同可以分为有两种类型:如下:

      (1)基本正则表达:基本正则表达式的元字符意义如下:

            .   :表示任意单个字符;

         [ ]  :表示指定范围内的单个字符;

         [^]  :表示指定范围外的单个字符;

匹配次数:

         *   :其前字符任意次数,可以是0次1次或一次以上。

         .*  :匹配任意长度的任意字符;

           \?  :匹配其前字符0次或1次;

           \+  :匹配其前字符最少1次多了不限制。

         \{n\}  :匹配其前字符指定n次

         \{m,n\} :匹配其前字符至少m次,至多n次,

         \{0,n\} :匹配其前字符至多n次,最少不限制,可以0次 ;

          \{m,\} :匹配其前字符至少m次,至多不限制;

位置锚定:

         ^    :行首锚定,用于模式的最左侧;

         $    :行尾锚定,用于模式的最右侧;

       ^PATTERN$ :用于模式匹配整行

        ^$     :表示空白行,不包括空白字符键和Tab键;

    ^[[:space:]]  :包括Tab键字符空白字符的空白行

 

单词锚定:这里的单词表示:非特殊字符组成的的连续字符(字符串);

       \<   :锚定词首;可以用\b用于左侧;

       \>   :锚定词尾;可以用\b 用于右侧;

  \< PATTERN\>   :锚定整个单词;

 

分组及引用:前面的匹配模式只能匹配其前单个字符,要想把整个字符串当成一个整体被匹配,需要分组才能实现,同时要想在后面再次匹配其前模式匹配到的内容,保证前后匹配内容相同,只能分组引用,根据正则表达式引擎会把其前匹配到的内容保存为变量,引用变量,这样引用的不在是模式,而是变量保存的内容。达到前后匹配内容一致。

        \(\)::分组格式

        引用:

         \1  :模式从左侧起,第一个左括号以及与之匹配的右括号之间的匹的模式所匹配到的字符;

         \2  :模式从左侧起,第2个左括号以及与之匹配的右括号之间的匹的模式所匹配到的字符;

         …

         注意括号不能不能交叉,跟数学表达式括号运算顺序一样。

 

    (2)扩展正则表达式ERE: 扩展正则表达式的元字符,前面提到的元字符在这里稍微有点改变。

字符匹配:

          .  :任意单个字符

         []  :匹配指定范围的单个字符

        [^]   :匹配不在指定范围内的单个字符

 

次数匹配:

       *    :匹配其前字符任意次

     ?      : 0或1次

     +      :1次或多次

     {m}     :匹配m次

      {m,n}   :至少m,至多n次

位置锚定和单词锚定跟其前面的基本正则表达式一样意义。

分组:

    ()::分组格式

        引用:

         \1  :模式从左侧起,第一个左括号以及与之匹配的右括号之间的匹的模式所匹配到的字符;

         \2  :模式从左侧起,第2个左括号以及与之匹配的右括号之间的匹的模式所匹配到的字符;

         …

或者:

    |

   这里的或者匹配的是两边独立完整的字符串

4.grep文本处理工具:

     grep是基于模式过滤文本行,也就支持正在表达式;

            grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,      并把匹配的行打印出来。

     grep家族有三个后两个分别是egrep和fgrep;

     egrep是基于扩展的正则表达式

     fgrep是不使用正则表达式,所以匹配速度非常快,对简单的过滤模式可以使用fgrep;

     grep

     语法:

     grep [OPTIONS] PATTERN [FILE…]

     grep [OPTIONS] [-e PATTERN | -f FILE] [FILE…]

     常见选项:

     –color:对匹配到的字符和字符串高亮显示

     -o:只显示匹配到的字符和字符串;

     -v:对没有匹配到的行进行显示;

     -i:忽略大小写;

     -n:对匹配到的行显示行号;

     -q:静默模式,作用是有时候匹配不到内容grep命令也不会有任何提示,这时候只想知道匹配结果有还是没有,需要"echo $?"对命令的执行结果进行判断。

  -e :可以指定多个模式进行匹配;或者的意义;

  -w :完整单词匹配;

  -A# :对匹配到的行定位向后显示#行;

  -B# :对匹配到的行定位向前显示#行;

  -C# :对匹配到的行定位向前后分显示#行

  -f file:引用文件内的模式当做进行匹配的条件;

  -E:对于egrep,也就支持扩展的正则表达式;


  egrep:扩展的grep,默认支持的应用的是扩展正则表达式; 

  语法:

     egrep [OPTIONS] PATTERN [FILE…]

     egrep [OPTIONS] [-e PATTERN | -f FILE] [FILE…]

     常用选项:

     其前的grep选项基本支持,

     -G:支持基本正则表达式;


原创文章,作者:xiashixiang,如若转载,请注明出处:http://www.178linux.com/30211

(3)
xiashixiangxiashixiang
上一篇 2016-08-07 22:05
下一篇 2016-08-07 22:06

相关推荐

  • Bash编程之条件测试

    Bash 包含强大的编程功能,其中包括丰富的可测试文件类型和属性的函数,以及在多数编程语言中可以使用的算术和字符串比较函数。理解不同的测试并认识到 shell 还能把一些操作符解释成 shell 元字符,是学好Bash编程的重要一环。 一、测试命令 Bash中一条命令退出状态码可作为测试条件,执行成功返回0,代表布尔类型true;反之执行失败返回1-255之…

    Linux干货 2016-08-21
  • linux快捷键

    $ 用法 $变量名 表引用变量的值 $()或(单引号) 表示引用命令执行的结果 $[] 表示运算 ${变量名} 或"$变量名" 当变量名的起止不分明时,用来划定变量名的范围,同时引用变量。 {} 用法 {a..z} 表示引用指定范围的字母 {1..9999} 表示引用指定范围的数字​ {1,3,5} 表示分别引用每一个字符 TAB 用法 …

    Linux干货 2017-07-13
  • iptables 从入门到进阶

    Linux的防火墙体系主要工作在网络层,针对TCP/IP数据包实施过滤和限制,属于典型的包过滤防火墙(或网络层防火墙)。在Linux中netfilter和iptables都是指Linux防火墙。区别在于: netfilter:指的是Linux内核中实现包过滤防火墙的内部结构,不以程序或文件的形式存在,属于“内核态”的防火墙功能体系。 iptables:指的是…

    Linux干货 2017-01-10
  • 笔记–8.8 shell脚本编程

    shell编程注意事项  1,指令的执行是从上而下,从左而右的分析与执行  2,指令的下达时:指令,选项与参数之间的多个空白都会被忽略掉  3,空白行会被忽略掉,并且tab键所推开的空白同样视为空格键  4. 如果一行的内容太多,则可以使用『 \[Enter] 』来延伸至下一行  5,『 # 』可做为批注,任…

    Linux干货 2016-08-12
  • Zabbix-3.2.3实现微信(WeChat)告警

    Zabbix-3.2.3实现微信(WeChat)告警 zabbix Zabbix可以通过多种方式把告警信息发送到指定人,常用的有邮件,短信报警方式,但是越来越多的企业开始使用zabbix结合微信作为主要的告警方式,这样可以及时有效的把告警信息推送到接收人,方便告警的及时处理。 关于邮件报警可以参考:Zabbix Web 邮件报警 一、微信企业号申请 地址: …

    2017-04-21
  • Linux文件权限管理及目录文件的深入理解。

    文件权限及目录 初学Linux,感觉这个东西该复杂,而且逻辑非常的强。难~! 自己根据学习到的理论和实践,得出的对文件权限,进程,以及特殊权限的深入理解。希望能解决初学者对于权限的困惑。如有错误请指正。 文件的权限,指定的是什么? 是文件的权限位上的权限,针对三类用户,任何用户都必须是三类用户中的一种,属主属组和其他人的权限rwx   &…

    Linux干货 2016-08-10