16 文本处理工具

文本处理工具一

一、杂项知识整理

1、ps axo user,ruser,cmd 查看命令发起者的身份和真正的登录身份:

[root@localhost test]# ps axo user,ruser,cmd
USER     RUSER    CMD
root     root     /usr/lib/systemd/systemd --switched-root --system --deserialize 21
root     root     [kthreadd]
root     root     [ksoftirqd/0]
root     root     [kworker/0:0H]
root     root     [migration/0]
root     root     [rcu_bh]
root     root     [rcuob/0]
root     root     [rcuob/1]

2、windows文本在Linux中,回车为^M$,linux文本中tab在文本当中表示为^I。

    cat -n 加行号

        -b 非空行编号

        -s 压缩连续的空行成一行

[root@localhost test]# cat -s test.txt
abbcc abc ccabb
abc dd      
acbabc
      
aaccbbabcacbabc
abbccdba        c
bbb
aaa
     
ccc     
123456
abc123

        -A 显示所有的控制符

        -E 显示行结束符$

3、root的umask较大因此创建的文件权限较小,是为了限制其它用户访问。root可以随时更改自己的umask。

4、rev命令:每行的内容反向:

[root@localhost test]# rev test.txt
bbacc cba ccbba
      dd cba
      cbabca
cbabcacbabbccaa
c        abdccbba
bbb
     aaa
     ccc
654321
321cba

5、suid和sgid作用于二进制程序上有效,sgid可以作用于目录。echo为内置命令,使用sgid时不能与一般的二进制程序相同。

6、perl语言的发明人,拉里.沃尔,发明diff命令。awk是三个发明人的姓名首字母。

二、命令详解及事例

今天学习了文本处理工具,包括wc,cut,sort,more,less,uniq,diff,patch,rev,head,tail,grep,egrep以及fgrep。我们在/testdir中建立一个文件test.txt内容如下,来实现今天许多文本处理工具的一些命令演示,以加强认识。

[root@localhost test]# cat test.txt
abbcc abc ccabb
abc dd
acbabc


aaccbbabcacbabc

abbccdbac
bbb
aaa


ccc
123456
abc123

1、关于more:查看文件内容或者接收标准输入的内容,只能往下翻页,到底便退出,操作是回车一行一行查看,回车翻页。也可以通过管道接收文件列表。

2、less:查看文本信息,man默认调用的工具。同样可以接收文件列表。快捷键:空格翻屏,回车下一行,f翻屏,d翻半屏,u往上翻半屏,n默认翻三行,g回到顶部,q退出。

3、head命令:获取前几行的内容,默认为十行。

    -c #  指定获取前#字节

    -n #  指定获取前#行 与 -#   指定行数相同:

[root@localhost test]# head test.txt 
abbcc abc ccabb
abc dd      
acbabc      
aaccbbabcacbabc
abbccdba        c
bbb
aaa     
[root@localhost test]# head -c 20 test.txt 
abbcc abc ccabb
abc [root@localhost test]# head -n3  test.txt 
abbcc abc ccabb
abc dd      
acbabc      
[root@localhost test]# head -3  test.txt 
abbcc abc ccabb
abc dd      
acbabc

4、tail命令:与head命令基本相反:显示后几行内容,比head更要常用。

    -c # 指定获取后#字节

    -n # 指定获取后#行 与 -#相同

    -f 跟踪显示文件新追加的内容,常用于日志监控:操作如下:找到日志文件执行命令,放入后台执行:

[root@centos68 testdir]# tail -n0 -f aaa.log & 
[1] 4180

在另一个终端执行任务改变了文件时,后台执行任务的终端就会出现新行信息但不影响操作:

[root@centos68 testdir]# echo "aaa" >> aaa.log  (console1)
[root@centos68 testdir]# aaa(console2)

关闭后台任务:

[root@centos68 testdir]# fg %1
tail -n0 -f aaa.log
^C

5、cut命令:

    -d 分隔符 : 指明分隔符,默认tab

    -f #  :第几个字段,可以是好几段如:-f1,3,5-10 

    -c  按字符切割  –output=delimiter=STRINGG指定输出分隔符

[root@localhost test]# cut -db -f 1,3  test.txt --output-delimiter=:
a:cc a
a
ac:c      
aacc:a
a:ccd
:
aaa     
ccc     
123456
a
[root@localhost test]# cut -c 2-4 test.txt 
bbc
bc 
cba
acc
bbc
bb
aa 
cc 
234
bc1

6、paste命令(粘贴):合并两个文件同行号的列到一行:

    -d 分隔符:指定分隔符,默认用tab

    -s 所有行合成一行显示:每个文件自己的行合成

[root@localhost test]# paste -d:  aaa.log test.txt 
abc:abbcc abc ccabb
abc:abc dd      
abc:acbabc      
abc:
adfasdfadsf:
adfasdfadsf:aaccbbabcacbabc
[root@localhost test]# paste -s  aaa.log test.txt 
abcabcabcabcadfasdfadsfadfasdfadsf
abbcc abc ccabbabc dd      acbabc      aaccbbabcacbabcabbccdba 
       cbbbaaa     ccc     123456abc123

7、wc命令:计数单词总数、行总数、字节总数和字符总数:可以对文件或STDIN(标准输入)中的数据运行:

        -l 只计数行数

        -w 只计数单词总数

        -c 只计数字节总数

        -m 只计数字符总数

[root@localhost test]# wc aaa.log 
 6  6 40 aaa.log
[root@localhost test]# wc -l aaa.log 
6 aaa.log
[root@localhost test]# wc -w aaa.log 
6 aaa.log
[root@localhost test]# wc -c aaa.log 
40 aaa.log
[root@localhost test]# wc -m aaa.log 
40 aaa.log

8、sort命令:把整理过的文本显示在标准输出(STDOUT),不改变原始文件。

    -r 反向整理

    -n 按数字大小整理

    -f (fold)选项忽略字符串中的字符大小写

    -u 选项删除输出中的重复行,例子中其实是有空行的,多行空行被删除只留了一行

    -t # 选项使用#作为字段界定符(文件中有的,类似cut -d)

        -k N 选项按照使用#字符分隔的N列来整理,默认字符顺序排序。   

[root@localhost test]# sort -r test.txt 
ccc     
bbb
acbabc      
abc dd      
abc123
abbccdba        c
abbcc abc ccabb
aaccbbabcacbabc
aaa     
123456
[root@localhost test]# sort -n test.txt 
aaa     
aaccbbabcacbabc
abbcc abc ccabb
abbccdba        c
abc123
abc dd      
acbabc      
bbb
ccc     
123456
[root@localhost test]# sort -f test.txt 
123456
aaa     
aaccbbabcacbabc
abbcc abc ccabb
abbccdba        c
abc dd      
abc123
acbabc      
bbb
ccc     
[root@localhost test]# sort -u test.txt 
123456
aaa     
aaccbbabcacbabc
abbcc abc ccabb
abbccdba        c
abc123
abc dd      
acbabc      
bbb
ccc  
[root@localhost test]# sort -t: -k 3 -n  /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin   
[root@localhost test]# sort -t: -k 3 -nr  /etc/passwd
bash:x:2231:2231::/home/bash:/bin/bash
tom:x:2230:3003::/home/tom:/bin/bash
alice:x:2229:3002::/home/alice:/bin/bash
user6:x:2228:2228::/home/user6:/bin/bash
user5:x:2227:2227::/home/user5:/bin/bash
user4:x:2226:2226::/home/user4:/bin/bash
user3:x:2225:2225::/home/user3:/bin/bash
user2:x:2224:2224::/home/user2:/bin/bash
user1:x:2223:2223::/home/user1:/bin/bash
sarah:x:1008:1010::/home/sarah:/bin/nologin
harry:x:1007:1009::/home/harry:/bin/bash
natasha:x:1006:1008::/home/natasha:/bin/bash
gentoo:x:1005:1006:gentoo distribution:/home/gentoo:/

9、uniq命令:从输入中删除重复的前后相接的行:

    -c 显示每行重复出现的次数

    -d 仅显示重复过的行

    -u 仅显示不重复的行

常和sort一起配合使用

[root@localhost test]# uniq -c test.txt 
      1 abbcc abc ccabb
      1 abc dd      
      1 acbabc      
      1 
      1 aaccbbabcacbabc
      1 
      1 abbccdba        c
      3 bbb
      1 aaa     
      1 
      1 aaa
      1 ccc     
      1 123456
      1 abc123
[root@localhost test]# uniq -d test.txt
bbb
[root@localhost test]# uniq -u test.txt 
abbcc abc ccabb
abc dd      
acbabc      
aaccbbabcacbabc
abbccdba        c
aaa     
aaa
ccc     
123456

10、diff命令,比较文件。

[root@localhost test]# diff test.txt test1.txt 
2c2
< 
---
> abc dd      
3a4
> 
6a8
> bbb

diff用于恢复文件,同时使用patch,需要事先用命令-u(unified统一的)将diff比较后的结果输出至文件。

[root@localhost test]# diff -u test.txt test1.txt  >  testbak.txt
[root@localhost test]# rm -f test1.txt 
[root@localhost test]# patch -b test.txt 
aaa.log      testbak.txt  test.txt     
[root@localhost test]# patch -b test.txt testbak.txt 
patching file test.txt
[root@localhost test]# ls
aaa.log  testbak.txt  test.txt  test.txt.orig

首先将对比后的结果输入备份文件,diff -u  FILE(BROKEN)  FILE(WORKS)  >  FILE.PATCH

然后恢复原WORK文件:diff  -b  FILE(BROKEN) FILE.PATCH

三、练习及作业

1、统计/etc/init.d/functions中的每个单词的使用次数:一部分结果:

[root@centos68 testdir]# cat /etc/init.d/functions  |tr -cs [:alpha:] '\n'|sort  |uniq -c 
      1 
     31 a
      5 A
      1 aA
      2 above
     12 action
      2 all
     16 ALL
      2 ALLNETDEVMTAB
      2 already
      1 an
      5 and
      1 And
      5 answer
      3 any
      1 anywhere
      1 apply
      1 Apply
      4 are
      8 arg
      1 args
      1 as
      1 ask
      2 at
      1 avoid
     23 awk
     14 b
      3 back
      1 backup
      2 bak
     36 base

此命令中:tr -sc 是取补集c和合并所有空行为一行。[:alpha:]不能写为[[]]的原因:两个括号代表至匹配一个字符,连续出现好几个特殊字符的情况就不会成功,一个括号代表通配,指所有的。BUG:出现S.U.S.E.这种单词会被拆为四个单词。

原创文章,作者:SilencePavilion,如若转载,请注明出处:http://www.178linux.com/28994