文本处理工具

一、文本处理工具的分类:

    查看全部内容:more、less、cat、tac、rev

    截取文件内容:head 、tail

    抽取文件内容:cut

    抽取关键字:grep、egrep

    合并两个文件的内容:paste

    下面我们分别来对个命令进行讲解:

            more:

                特点:按屏显示、只能向下翻页

                翻页键:enter:向文件尾部翻一行;space:向文件尾部翻一屏幕

                选项:

                        -#:可指定一屏显示多少行

                        +#:从文件的第#行开始显示

                         +/string:从匹配到string的行开始显示

            less:

                特点:按屏显示、可以向上、向下翻页

                翻页键:enter:向文件尾部翻一行;space:向文件尾部翻一屏幕

                              k:向文件首部翻一行;b:向文件首部翻一屏幕

                选项:/string,可以查看匹配到的字符串,N|n匹配上一个或下一个

            cat:

                特点:全部显示    

                选项:

                        -n:显示每一行的行号

                        -b:只显示非空行的行号

                        -A:显示左右内容包括控制符

                        -E:显示行结束符

                        -s:压缩连续的空行为一行

            tac:

                特点:相当于cat的取反,从下往上显示

            rev:cat输出的结果,旋转180度输出。

    根据下面输出结果可以看出cat、tac、rev的区别

                [root@localhost testdir]# cat a
                1 2 3 4 5 6 7 8 9 10
                abc
                [root@localhost testdir]# tac a
                abc
                1 2 3 4 5 6 7 8 9 10
                [root@localhost testdir]# rev a
                01 9 8 7 6 5 4 3 2 1
                cba

             head:

                    -#:显示文件的前#行

                    -c:显示前N个字节

             tail:

                    -#:显示文件的后#行

                    -c:显示后N个字节

                    -f:可以监听文件或日志是否有更新

                                tail -n 0 -f /var/log/messages &

            cut:

                    特点:可根据分隔符来分割匹配到的行

                    选项:

                          -d:指定分隔符

                           -f:指定要分割的列

                           -c:按字符切割 -c1-5 指定切割每行的前5个字符

                           –output-delimiter=sting :指定输出分隔符

            paste:

                    特点:合并两个文件的同一行 到一行中显示

                    选项:

                            -d:指定两个文件的分隔符,默认时tab

                            -s:两个文件,file1文件所有内容放到一行显示,file2同file

                root@cenots6.8  ~ # paste /etc/issue /etc/passwd
                CentOS release 6.8 (Final)    root:x:0:0:root:/root:/bin/bash
                Kernel \r on an \m    bin:x:1:1:bin:/bin:/sbin/nologin
                daemon:x:2:2:daemon:/sbin:/sbin/nologin
                root@cenots6.8  ~ # paste -s /etc/issue /etc/passwd
                CentOS release 6.8 (Final)    Kernel \r on an \m    
                root:x:0:0:root:/root:/bin/bash    bin:x:1:1:bin:/bin:/sbin/nologin    daemon:x:2:2:dae

           grep:  

                    特点:查找匹配到的关键字,支持正则表达式和扩展正则表达式

                    选项:

                            -o:只显示匹配到的内容

                            -v:除了匹配到的内容,其他的内容都显示

                            -E:扩展正则表达式

                            –color:匹配到的内容显示红色

                            -i:忽略大小写匹配

                            -q:静默模式,通常用户shell脚本中,来判断是否正常输出,echo $?查看

                            -A#:显示匹配到内容及后#行

                            -B#:显示匹配到内容及前#行

                            -C#:显示匹配到的内容及前后#行

                            -e:实现多个匹配选项的或关系

二、分析文本的工具

        排序:sort

        去重:uniq

        统计数量:wc          

        比较文件:diff、patch

              sort:

                      特点:文本排序后在屏幕上显示出来

                      选项:

                            -n:按照数字大小排序

                            -t:指定分隔符

                            -k:指定排序的行默认正序

                            -r:逆序排序输出的行

                            -u:删除输出重复的行(不相邻重复的也算重复和uniq的区别)

                             -f:忽略字母大小写

              uniq:

                        特点:可以查看重复的次数,可以显示重复的和不重复的内容

                        选项:

                                -c:在行首显示该行重复的次数

                                -d:只显示重复的行

                                -c:只显示不重复的行

             wc:

                        特点:可统计单词数,字符数,行数

                        选项:

                                -l:显示行数     –line

                                -c:显示字节数 –char

                                -w:单词数       –world

              diff:

                         特点:可以比较两个文本的不同,针对不同内容可以显示出来或输出到指定文件中当做补丁使用

                          选项:   -u,为输出内容定义统一的diff格式,用于打补丁

                root@cenots6.8  /testdir # paste a b
                I am a    I am b
                haha      hello
                waht?     waht?
                a         b
                
                root@cenots6.8  /testdir # diff a b
                1,2c1,2         #    1,2c1,2 表示a文件的第1行和第二行和b文件的第一行和第二行有不同
                < I am a        #   “<”表示a文件的内容
                < haha
                ---
                > I am b        #   “>”表示a文件的内容
                > hello
                4c4
                < a
                ---
                > b

               patch:

                          特点:配合diff命令用户生成补丁文件

                          选项:-b,补丁文件的时候保留源文件

                                     -i,源文件  补丁文件 

                              不加-i,补丁文件,源文件 

                root@cenots6.8  /testdir # diff -u a b >c.patch
                root@cenots6.8  /testdir # cat c.patch 
                --- a    2016-08-08 10:12:06.173647189 +0800
                +++ b    2016-08-08 10:12:12.640741349 +0800
                @@ -1,4 +1,4 @@
                -I am a
                -haha
                +I am b
                +hello
                 waht?
                -a
                +b
                root@cenots6.8  /testdir # patch -b a c.patch   #  将a文件补丁成b文件,并保存源文件
                patching file a
                 root@cenots6.8  /testdir # cat a
                 I am b
                 hello
                waht?
                b
                            
                root@cenots6.8  /testdir # patch -i c.patch a   # 读取补丁从c.patch 输入 和上述方法一致
                patching file a                      #  只是参数位置不同                                               
                root@cenots6.8  /testdir # cat a 
                I am b
                hello
                waht?
                b
                 root@cenots6.8  /testdir # patch -b a < c.patch  # 将a文件恢复原样 
                patching file a
                Reversed (or previously applied) patch detected!  Assume -R? [n] y
                 root@cenots6.8  /testdir # cat a
                 I am a
                haha
                 waht?
                a

三、正则表达式和扩展正则表达式

            正则表达式功能非常强大,我们可以通过组合一些特殊字符或文本来匹配到我们需要的内容,有些程序功能之所以强大也因为其支持正则表达式,例如:grep、sed、vim等

            根据元字符分类:

                    字符匹配:

                                    [0-9]:匹配0-9之间任意一个数字

                                    [a-z]:匹配aAbB……yYz之间任意一个字母

                                    [A-Z]:匹配aAbB……yYz之间任意一个字母

                                    [[:alpha:]]:匹配任意一个字母

                                    [[:digit:]]:匹配任意一个数字

                                    [[:alnum:]]:匹配任意一个数字或字母

                                    [[:upper:]]:任意一个大写字母

                                    [[:lower:]]:任意一个小写字母

                                    [[:punct:]]:匹配任意一个符号

                                    [[:space:]]:匹配任意一个空格或tab

                                     \(ab\).*\1:匹配左面第一个()里面的内容

                                    .:任意单个字符

                    次数匹配:

                                    \{x,y\}:匹配至少x次,最多y次

                                    \{x,\}:匹配至少x次

                                    \{,y\}:匹配最多y次

                                    \{x\}:匹配x次

                                    \?:匹配0次或1次

                                    \+:匹配至少1次

                                     *:*前面的字符匹配任意次

                    位置锚定:

                                    ^:锚定行首

                                    $:锚定行尾

                                    \<或\b:锚定词首

                                    \>或\b:锚定词尾

                    分组:

                                \(ab\)

                    其他:

                                [^]:非

                                   \:某些具有特殊意义的字符在需要匹配的时候需要转移

       扩展正则表达式:

                扩展正则表达式,除了元字符的区别外,还多了一个 “|” 命令

                        

            根据元字符分类:

                    字符匹配:

                                    [0-9]:匹配0-9之间任意一个数字

                                    [a-z]:匹配aAbB……yYz之间任意一个字母

                                    [A-Z]:匹配aAbB……yYz之间任意一个字母

                                    [[:alpha:]]:匹配任意一个字母

                                    [[:digit:]]:匹配任意一个数字

                                    [[:alnum:]]:匹配任意一个数字或字母

                                    [[:upper:]]:任意一个大写字母

                                    [[:lower:]]:任意一个小写字母

                                    [[:punct:]]:匹配任意一个符号

                                    [[:space:]]:匹配任意一个空格或tab

                                     (ab).*\1:匹配左面第一个()里面的内容

                                    .:任意单个字符

                    次数匹配:

                                    {x,y}:匹配至少x次,最多y次

                                    {x,}:匹配至少x次

                                    {,y}:匹配最多y次

                                    {x}:匹配x次

                                    ?:匹配0次或1次

                                    +:匹配至少1次

                                    *:*前面的字符匹配任意次

                    位置锚定:

                                    ^:锚定行首

                                    $:锚定行尾

                                    \<或\b:锚定词首

                                    \>或\b:锚定词尾

                    分组:

                                (ab)

                    其他:

                                [^]:非

                                   \:某些具有特殊意义的字符在需要匹配的时候需要转移

                                   |:

                                        c | Cat :结果时c或Cat

                                    (c|C)at:结果是cat 或Cat

原创文章,作者:Naruto,如若转载,请注明出处:http://www.178linux.com/30868

(1)
上一篇 2016-08-08 10:03
下一篇 2016-08-08 16:03

相关推荐

  • 二、(2)bash的工作特性之:命令执行状态返回值及命令行展开

    bash 工作特性 命令执行状态 命令行展开

    2018-01-10
  • Linux哲学思想和常用命令的用法

    Linux哲学思想:    (1)、一切皆文件:               不仅普通的文件,目录、字符设备、块设备、套接字等在Unix、Linux中都是以文件被对待;它们虽然类型不同,但是对其提供的却是同一套…

    2017-07-02
  • mysql备份之xtrabackup

    mysql备份之xtrabackup(建议用来备份innodb) 下载地址:https://www.percona.com/downloads/XtraBackup/ 安装xtrabackup [root@node1 ~]# yum install percona-xtrabackup 完全备份 节点一 修改配置文件,…

    Linux干货 2016-07-19
  • 计算机的组成及其功能

    计算机系统由硬件系统和软件系统两大部分组成。冯诺依曼奠定了现代计算机的基本结构。 冯诺依曼体系的计算机,必须具有如下功能: #1 把需要的程序和数据送至计算机中; #2 具有长期记忆程序、数据、中间结果及最终运算结果的能力; #3 能够完成各种算术运算、逻辑运算和数据传送等数据加工处理的能力; #4 能够根据需要控制程序走向,并能根据指令控制机器的各部件协调…

    Linux干货 2016-08-15
  • LVS管理平台使用手册(第一版)[原创]

     为了更好管理、维护LVS平台,本人基于Django+certmaster+func开发了一套管理平台,主要功能模块分为性能图表、数据中心、虚拟IP池、主机管理、监控模块等功能,基本上是按F5-LTM管理平台思路来设计,下面只要对这几大块功能进行说明。1、性能图表 功能说明:以小时、日、星期、月、年的图表展示LVS SERVER、VIP、SERVE…

    Linux干货 2015-03-28
  • 优云实践:巧用Salt,实现CMDB配置自动发现

    随着互联网+新形势的发展,越来越多的企业步入双态(稳敏双态)IT时代,信息化环境越来越复杂,既有IOE三层架构,也有VCE、Openstack等云虚拟化架构和互联网化的分布式大数据架构。所以,企业急需建立一套合适的配置管理库(CMDB),像人类“大脑”一样统一存储从基础架构到业务应用各层面的配置信息,以便协调“身体”(运维系统)各部分完成复杂的运维工作。 C…

    系统运维 2016-07-26