文本处理工具

文本处理工具

一、文本处理命令less,cat,more,sort

1.less

 less ：一页一页地查看文件或STDIN 输出

 查看时有用的命令包括：

  /文本  搜索 文本

  n/N 个 跳到下一个 or  上一个匹配

  less 命令是man 命令使用的分页器

2.cat

文件查看命令：cat, tac,

cat [OPTION]… [FILE]…

-E:  显示行结束符$

-n:  对显示出的每一行进行 编号

-A ：显示所有控制符

-b： 非空行编号

-s:   压缩连续的空行成一行

cat f1 f2 同列合并  paste f1 f2 同行合并

paste -d 分隔符   -s 所有行合并成一行  

3.more

 more:  分页查看文件

 more [OPTIONS…] FILE…

 -d:  显示翻页及退出提示

4.wc

wc 文件名 得到的是行数  单词数  字符数

 使用 -l 来只计数行数

 使用 -w 来只计数单词总数

 使用 -c 来只计数字节总数

 使用 -m 来只计数字符总数

   字符与字节不相同

5.sort

文本排序sort

把整理过的文本显示在STDOUT ，不改变原始文件

$ sort [options] file(s)

v 常用选项

Ü -r 执行反方向（由上至下）整理

Ü -n 执行按数字大小整理

Ü -f 选项忽略（fold ）字符串中的字符大小写

Ü -u 选项（独特，unique ）删除输出中的重复行

Ü -t c 选项使用c 做为字段界定符

Ü -k X 选项按照使用c 字符分隔的X 列来整理能够使用多次

例证：sort -t: -k 3 -n /etc/getent   对/etc/getent中以：为分隔符的第三列的内容，按照内容数字大小进行排列，若要倒序排列则+r

二、文件截取：head和tail

1.head

head [OPTION]… [FILE]…

-c #:  指定获取前# 字节

-n #:  指定获取前#行 行

-#：  指定行数

2.tail

   tail [OPTION]… [FILE]…

   -c #:  指定获取后# 字节

   -n #:  指定获取后#行

    -f:  跟踪显示文件新追加的内容, 常用日志监控

三、按列抽取：cut

     cut [OPTION]… [FILE]…

  -d DELIMITER:  指明分隔符，默认tab

   -f FILEDS:

   #:  第# 个字段

   #,#[,#] ：离散的多个字段，例如1,3,6

   #-# ：连续的多个字段,  例如1-6

   混合使用：1-3,7

   -c 按字符切割

   –output-delimiter=STRING

 举例1：cut  -d:  -f1,3,5-7  /etc/passwd

 以：作为分隔符，查看/etc/passwd中的第1,3,5-7列的内容

 举例2：使用cut将电脑的IP地址提取出来。

经过观察，这些信息极为不规则，没有明显的分隔符。这时们需要首先提取出IP地址所在的行，然后去定义一个合适的分隔符，再利用cut进行提取即可。（思路：化繁为简，化不规则为规则，这样才能更好的套用我们的命令模型）  

四、按关键字抽取：grep

   作用：文本搜索工具，根据用户指定的“模式”对目标文

本逐行进行匹配检查；打印匹配到的行；

 –color=auto:  对匹配到的文本着色显示；

 -v:  显示不能够被pattern 匹配到的行；

 -i:  忽略字符大小写

 -n： ： 显示匹配的行号

 -c:  统计匹配的行数

 -o:  仅显示匹配到的字符串；

 -q:  静默模式，不输出任何信息

 -A # ：after,  后#行 行

 -B #: before,  前#行 行

 -C # ：context,  前后各#行 行

 -e ：实现多个选项间的逻辑or 关系

   grep –e ‘cat ’ -e ‘dog’ file

 -w ：整行匹配整个单词

 -E ：使用ERE

 REGEXP ：由一类特殊字符及文本字符所编写的模式，其中有

些字符（元字符）不表示字符字面意义，而表示控制或通配

的功能

v  程序支持：grep, vim, less,nginx等 等

v  分两类：

基本正则表达式：BRE

扩展正则表达式：ERE

grep -E, egrep

v  正则表达式引擎：

采用 不同 算法，检查处理正则表达式的软件模块

PCRE（Perl Compatible Regular Expressions）

   字符匹配:

     . ：   匹配任意单个字符；

     [] ：   匹配指定范围内的任意单个字符

     [^]  ：匹配指定范围外的任意单个字符

     [:digit:] 、[:lower:] 、[:upper:] 、[:alpha:] 、[:alnum:]

     [:punct:] 、[:space:]

  匹配次数：用在要指定次数的字符后面，用于指定前面的字符要出现的次数

* ：匹配前面的字符任意次，包括0次 次

贪婪模式：尽可能长的匹配

.* ：任意长度的任意字符

\? ：匹配其前面的字符0 或1次

\+ ：匹配其前面的字符至少1次

\{m\} ：匹配前面的字符m次

\{m,n\} ：匹配前面的字符至少m 次，至多n次

\{,n\} ：匹配前面的字符至多n次

\{m,\} ：匹配前面的字符至少m次

  位置锚定：定位出现的位置

^ ：行首锚定，用于模式的最左侧

$ ：行尾锚定，用于模式的最右侧

^PATTERN$:  用于模式匹配整行

^$:  空行

^[[:space:]]*$  ：空白行

\< 或 或 \b ：词首锚定，用于单词模式的左侧

\> 或 或 \b ：词尾锚定；用于单词模式的右侧

\<PATTERN\>

分组：\(\) ：将一个或多个字符捆绑在一起，当作一个整体进

行处理，如：\(root\)\+

分组括号中的模式匹配到的内容会被正则表达式引擎记录

于内部的变量中，这些变量的命名方式为: \1, \2, \3, …

\1:  从左侧起，第一个左括号以及与之匹配右括号之间

的模式所匹配到的字符；

实例： \(string1\+\(string2\)*\)

\1: string1\+\(string2\)*

\2: string2

后向引用：引用前面的分组括号中的模式所匹配字符(而 而

非模式本身)

实例应用

  一、 tail可用于日志的监视

在命令行输入：tail -n 20  -f  /var/log/messsages  这样可以实时监测日志的变化。

通过logger “this is a test log”来触发新日志的产生

tail  -n  0  -f  filename &

二、比较两个文件之间的不同或者回复文件

diff -u a.txt  b.txt > diff.log

[root@centos6testdir]#diff  -u a.txt  b.txt >diff.log

上述操作后，a.txt和b.txt的差异记录在了diff.log中

若之后，b.txt不小心删除掉了，则可以利用a.txt和diff.log来恢复b.txt文件。

此时用到patch命令，此时得到的a.txt文件，其内容实际就是误删除掉的b.txt文件的内容，而真正的a.txt文件的内容则保留在了a.txt.orig的文件中。