Linux文本查看及处理工具

Linux中,日志和配置都使用文本来存储和修改,对文本的查看及处理是最基本也是最常用的操作之一。而文本处理工具中,有被称为Linux文本处理三剑客的grep、sed和awk,但不要激动,Linux文本三剑客另起文章来讲,本文先从一些经常用到的,功能简洁但非常实用的工具说起。

  1. wc命令
  2. cut命令
  3. sort命令
  4. uniq命令
  5. diff命令
  6. patch命令
  7. tr命令
  8. 文本处理相关示例

1、wc命令

wc,word count,从字面意思可以看出,这是一个统计工具,它可以实现行、字节、单词的个数统计,就个人工作而言,经常用于统计端口连接数、程序打开文件数等等。

  • wc [OPTION]… [FILE]…
    • -l:lines,统计行数
    • -w:words,统计单词数
    • -b:bytes,统计字节数

man手册是这样定义的:print newline, word, and byte counts for each file,它可以一次统计多个文件,单独打印,并在最后统计总数。

  • 例如:分别统计/etc/passwd和/etc/group文件中的行数,并统计总行数:
    [root@localhost ~]# wc -l /etc/passwd /etc/group
    42 /etc/passwd
    70 /etc/group
    112 total
  • 其余两种统计方式和行数统计相同。

2、cut命令

将标准输出裁剪后打印。

  • cut OPTION… [FILE]…
    常用的有以下两个选项:

    • -d:delimiter,指明定界符,默认定界符为tab
    • -f:fields,指明要打印的字段,以定界符分割,从左向右数
      可以打印单个字段、连续的多个字段、分散的多个字段
  • 例如,只打印出/etc/passwd中的用户名:
    [root@localhost ~]# cut -d":" -f1 /etc/passwd
    root
    bin
    daemon
    ...
  • 打印出用户名及使用的shell:
    [root@localhost ~]# cut -d":" -f1,7 /etc/passwd
    root:/bin/bash
    bin:/sbin/nologin
    daemon:/sbin/nologin
    ...

3、sort命令

基于行的工具,用于实现行的排序,默认按行首的字符排序。
可以通过指定相关参数,实现灵活排序。

  • sort [OPTION]… [FILE]…
    • -t CHAR:指定分隔符
    • -k #:指定用于排序的字段
    • -n:基于数值大小排序,而非字符
    • -r:逆序
    • -f:忽略字符大小写
    • -u:unique,重复的行只保留一份
  • 例如,使用UID的数值大小,对/etc/passwd的内容进行排序:
    [root@localhost ~]# sort -t":" -k3 -n /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    bin:x:1:1:bin:/bin:/sbin/nologin
    daemon:x:2:2:daemon:/sbin:/sbin/nologin
    adm:x:3:4:adm:/var/adm:/sbin/nologin
    ...

4、uniq命令

uniq也是基于行的工具,report or omit repeated lines,它可以对重复的行内容进行处理,显示或忽略重复的行。

  • uniq [OPTION]… [INPUT [OUTPUT]]
    • -c:显示每行的重复次数
    • -u:只显示未重复过的行
    • -d:只显示重复过的行
      uniq命令一般和sort命令结合使用,先用sort将行排序(因为uniq命令是比较相邻的行),这样可以将重复的行排在一起。
  • 先制作一个有重复行的文件:
    [root@localhost ~]# touch /tmp/uniq.test
    [root@localhost ~]# vim /tmp/uniq.test
    aaaaa
    aaaaa
    bbbbb
    ccccc
    ddddd
    aaaaa
    bbbbb
  • 显示每行的重复次数:
    [root@localhost ~]# sort /tmp/uniq.test | uniq -c
    3 aaaaa
    2 bbbbb
    1 ccccc
    1 ddddd
  • 只显示未重复过的行:
    [root@localhost ~]# sort /tmp/uniq.test | uniq -u
    ccccc
    ddddd
  • 只显示重复过的行,并显示其重复次数:
    [root@localhost ~]# sort /tmp/uniq.test | uniq -dc
    3 aaaaa
    2 bbbbb

5、diff命令

逐行比对两个文件的内容,将不一致的地方显示出来。

  • diff [OPTION]…FILES
    • -u:使用unified机制,即显示要修改的行的上下文,默认为3行。
  • 制作两个有区别的文件,复制/etc/passwd到/tmp/passwd1和/tmp/passwd2,更改passwd1中root的UID为1500。
  • 比较/tmp/passwd1和/tmp/passwd2,显示两个文件中不同的行:
    [root@localhost ~]# diff /tmp/passwd1 /tmp/passwd2
    1c1 \\显示第几行
    < root:x:1500:0:root:/root:/bin/bash \\第一个文件中的内容
    ---
    > root:x:0:0:root:/root:/bin/bash \\第二个文件中的内容
  • 可以使用-u指定显示的上下文行数,便于查看上下文关系,这里指定2行:
    [root@localhost ~]# diff -u2 /tmp/passwd1 /tmp/passwd2
    --- /tmp/passwd1 2018-05-06 17:58:52.831498629 +0800
    +++ /tmp/passwd2 2018-05-06 17:58:32.489500311 +0800
    @@ -1,3 +1,3 @@
    -root:x:1500:0:root:/root:/bin/bash
    +root:x:0:0:root:/root:/bin/bash
    bin:x:1:1:bin:/bin:/sbin/nologin
    daemon:x:2:2:daemon:/sbin:/sbin/nologin
  • diff命令还可用于生成补丁文件,用于将两个文件的不同之处保存为补丁,便于之后用patch命令打补丁。其实就是将diff命令的标准输出重定向到一个补丁文件中。比如,将/tmp/passwd1和/tmp/passwd2的不同之处保存到/tmp/passwd.patch补丁文件中:
    [root@localhost ~]# diff /tmp/passwd1 /tmp/passwd2 > /tmp/passwd.patch
    [root@localhost ~]# cat /tmp/passwd.patch
    1c1
    < root:x:1500:0:root:/root:/bin/bash
    ---
    > root:x:0:0:root:/root:/bin/bash
    这样,就可以用patch命令向/tmp/passwd1打补丁,将其内容更改为和/tmp/passwd2相同。

6、patch命令

apply a diff file to an original,将一个diff文件(补丁文件)应用于源文件。

  • patch [options] [originalfile [patchfile]]
    • -i:指明补丁文件patchfile,从patchfile中读取补丁内容
  • 例如,将上述例子中的passwd.patch打补丁到/tmp/passwd1中,再不交passwd1和passwd2,已经没有任何不同:
    [root@localhost ~]# patch -i /tmp/passwd.patch /tmp/passwd1
    patching file /tmp/passwd1
    [root@localhost ~]# diff /tmp/passwd1 /tmp/passwd2
    [root@localhost ~]#
  • 还有另一种方式,即利用输入重定向,用/tmp/passwd.patch的内容替代标准输入:
    [root@localhost ~]# patch /tmp/passwd1 < /tmp/passwd.patch

7、tr命令

translate or delete characters,转换或删除字符。

  • tr [OPTION]… SET1 [SET2]
    把输入的数据当中的字符,凡是在SET1定义范围内出现的,通通对位转换为SET2出现的字符。
    tr命令不接受文件作为输入, 所以tr命令要配合输入重定向<来使用,而且tr命令只是更改显示方式,对文件内容不做更改。

    • -d:delete,删除字符
  • 例如,将/etc/passwd中的root转换为ROOT后输出:
    [root@localhost ~]# tr [root] [ROOT] < /etc/passwd
    ROOT:x:0:0:ROOT:/ROOT:/bin/bash
  • 将/etc/passwd中的:冒号删除后输出:
    [root@localhost ~]# tr -d [:] < /etc/passwd
    rootx00root/root/bin/bash
    binx11bin/bin/sbin/nologin
    daemonx22daemon/sbin/sbin/nologin
    ...

8、文本处理相关示例

  • 列出当前系统上所有已经登录的用户的用户名,注意:同一个用户登录多次,则只显示一次即可。
    [root@localhost ~]# who | cut -d" " -f1 | uniq
    mageia
    root
  • 取出最后登录到当前系统的用户的相关信息
    [root@localhost etc]# id $(last | head -1 | cut -d' ' -f1)
    uid=1100(mageia) gid=1100(mageia) groups=1100(mageia)
  • 取出当前系统上被用户当作其默认shell的最多的那个shell。
    [root@localhost ~]# cut -d":" -f7 /etc/passwd | sort | uniq -c | sort -n | tail -1
    30 /sbin/nologin
  • 将/etc/passwd中的第三个字段数值最大的10个用户的信息全部改为大写后保存至/tmp/maxusers.txt文件中。
    [root@localhost ~]# sort -n -t":" -k3 /etc/passwd | tail -10 | tr [a-z] [A-Z] > /tmp/maxusers.txt
    [root@localhost ~]# cat /tmp/maxusers.txt
    POLKITD:X:997:995:USER FOR POLKITD:/:/SBIN/NOLOGIN
    SYSTEMD-NETWORK:X:998:996:SYSTEMD NETWORK MANAGEMENT:/:/SBIN/NOLOGIN
    SYSTEMD-BUS-PROXY:X:999:997:SYSTEMD BUS PROXY:/:/SBIN/NOLOGIN
    USER2:X:1000:1001::/HOME/USER2:/BIN/BASH
    USER3:X:1001:2223::/HOME/USER3:/BIN/BASH
    MAGEIA:X:1100:1100::/HOME/LINUX:/BIN/BASH
    SUSE2:X:1101:1101::/HOME/SUSE2HOME:/BIN/BASH
    USER:X:1102:1102::/HOME/USER:/BIN/BASH
    SLACWARE:X:2002:2016::/HOME/SLACWARE:/BIN/TCSH
    NFSNOBODY:X:65534:65534:ANONYMOUS NFS USER:/VAR/LIB/NFS:/SBIN/NOLOGIN
  • 取出当前主机的IP地址,提示:对ifconfig命令的结果进行切分。
    [root@localhost ~]# ifconfig | grep inet[[:space:]] | cut -d" " -f10 | head -1
    192.168.1.150
  • 列出/etc目录下所有以.conf结尾的文件的文件名,并将其名字转换为大写后保存至/tmp/etc.conf文件中。
    [root@localhost etc]# ls *.conf | tr [a-z] [A-Z] > /tmp/etc.conf
    [root@localhost etc]# cat /tmp/etc.conf
    ASOUND.CONF
    AUTOFS.CONF
    AUTOFS_LDAP_AUTH.CONF
    ...
  • 显示/var目录下一级子目录或文件的总个数。
    [root@localhost ~]# ll /var | wc -l
    24
  • 取出/etc/group文件中第三个字段数值最小的10个组的名字。
    [root@localhost ~]# sort -n -t":" -k3 /etc/group | head -10 | cut -d":" -f1
    root
    bin
    daemon
    sys
    adm
    tty
    disk
    lp
    mem
    kmem
  • 将/etc/fstab和/etc/issue文件的内容合并为同一个内容后保存至/tmp/etc.test文件中。
    [root@localhost ~]# cat /etc/fstab /etc/issue > /tmp/etc.test

本文来自投稿,不代表Linux运维部落立场,如若转载,请注明出处:http://www.178linux.com/97637

联系我们

400-080-6560

在线咨询

工作时间:周一至周五,9:30-18:30,节假日同时也值班

QR code