文本处理三兄弟(grep,sed,awk)

linux文本处理三剑客:

grep:文本过滤工具

grep  egrep=grep -e  fgrep

sed:流编辑器  处理多个行 

awk:文本编辑工具,格式化工具

grep [OPTIONS] PATTERN [FILE…] :

文本处理搜索工具,根据用户指定的“模式”对目标文本进行匹配检查;打印匹配到的行

选项:

  • –color=auto: 对匹配到的文本着色显示
  • -v: 显示不被pattern匹配到的行
  • -i: 忽略字符大小写
  • -n: 显示匹配的行号
  • -c: 统计匹配的行数
  • -o: 仅显示匹配到的字符串
  • -q: 静默模式,不输出任何信息
  • -A #: after, 显示匹配到的行和后#行
  • -B #: before, 显示匹配到的行和前#行
  • -C #:context, 显示匹配到的行和前后各#行
  • -e: 实现多个选项间的逻辑or关系。grep –e ‘cat ’ -e ‘dog’ file
  • -w: 整行匹配整个单词
  • -E: 使用扩展正则表达式
  • -F: 相当于fgrep,不支持正则表达式

grep命令使用简单实例
1.显示所有以d开头的文件中包含 test的行

$ grep ‘test’ d*

2.显示在aa,bb,cc文件中匹配test的行。

$ grep ‘test’ aa bb cc

3.显示所有包含每个字符串至少有5个连续小写字符的字符串的行。

$ grep ‘[a-z]\{5\}’ aa

4.如果west被匹配,则es就被存储到内存中,并标记为1,然后搜索任意个字符(.*),这些字符后面紧跟着 另外一个es(\1),找到就显示该行。

$ grep ‘w\(es\)t.*\1′ aa

如果用egrep或grep -E,就不用”\”号进行转义,直接写成’w(es)t.*\1′就可以了。

#有一点要注意,您必需提供一个文件过滤方式(搜索全部文件的话用 *)。如果您忘了,’grep’会一直等着,直到该程序被中断。如果您遇到了这样的情况,按 <CTRL c> ,然后再试。


sed   [options] ‘command’ file(s)  

sed [options] -f scriptfile file(s)

sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”( pattern space),接着用sed命令处理缓冲区中的内容 ,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变 ,除非你使用重定向存储输出。Sed主要用来自动编辑一 个或多个文件,简化对文件的反复操作,编写转换程序等

-n   不输出模式空间中的内容到屏幕
-e  多点编辑   可以在一个sed命令中  同时处理多个脚本
-f  每行一个编辑命令  sed 脚本
-r   支持扩展的正则表达式
-l   直接编辑原文件
地址定界:
1.空地址:对全文进行处理
2.单地址:
#:指定行;
/pattern/:被此模式所匹配到的行; 注意/ /双斜线必须写  这是格式要求

3.地址范围:
#,#
#,+#
#,/pat1/
/pat1/,/pat2/
4.步进:(隔一行编辑)
1-2:所有的奇数行

2-2:所有的偶数行

编辑命令:
 d: 删除
p:  显示模式空间中的内容
a:\text:在行后面追加文本“text”,支持使用\n 实现多行追加
l:\text:在行前面插入文本“text”,支持使用\n实现多行插入     (转义)
c:\text:把匹配到的行替换为此处指定的文本“text”(替换一整行而不是某一个)O
w: /PATH/TO/SOMEFILE:保存模式空间到的行至指定的文件中
r 把一个文件下的内容添加到所读的文件中去  文件合并 
比如  sed ‘3r /etc/fstab /etc/passwd
把/passwd这个文件添加到   /fastab中   从第三行开始


= :为模式匹配到的行打印行号
!:条件取反  相当于^
地址定界!编辑命令
s///:查找替换,其分隔符可自行指定,常用的有s@@@,s###等
替换标记:
g:全局替换
w /PATH/HOMEFILE :将替换成功的结果保存至指定文件中
p:显示替换成功的行

高级编辑命令:
h:把模式空间中的内容覆盖至保持空间中
H:把模式空间中的内容追加至保持空间中
g:把保持空间中的内容覆盖至模式空间中
G:把保存空间中的内容追加至模式空间中
x:把模式空间中的内容与保持空间中的内容互换
n:覆盖读取匹配到的行下一行至模式空间中
N:追加读取匹配到的行下一行至模式空间中
d:删除模式空间中的行
D:删除多行模式空间中的所有行
示例
sed -n ‘n;p FILE :显示偶数行
sed ‘1!G;h;$!d’ FILE :逆序显示文件中的内容
sed ‘$!d FILE : 取出最后一行
sed ‘$!N;$!D’ FILE :显示文件的后两行
sed ’/^$/d;G FILE :删除原有的所有的空白行 而后为每一行后面都加上空白行
sed ‘n;d’ FILE :显示奇数行 
sed ‘G’ FILE :在原有的每行后方添加一个空白行

注意:
sed -i 是直接修改原文件,不是在模式空间 慎重 慎重 慎重

awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。

原创文章,作者:All well,如若转载,请注明出处:http://www.178linux.com/72311

(0)
All wellAll well
上一篇 2017-04-01
下一篇 2017-04-01

相关推荐

  • Keepalived介绍 , 配置说明 , 及实际应用

    1. Keepalived介绍 Keepalived是一个基于VRRP协议来实现的服务高可用方案,可以利用其来避免IP单点故障,类似的工具还有heartbeat、corosync、pacemaker。但是它一般不会单独出现,而是与其它负载均衡技术(如lvs、haproxy、nginx)一起工作来达到集群的高可用。 1.1 VRRP协议 VRRP全称 Virt…

    Linux干货 2016-11-04
  • 笔记二、如何在VMWare WorkStations安装CentOS6.8

    一、准备工作     1.安装VMWare WorkStatrion     2.准备好CentOS 6.8 镜像包     http://www.centoscn.com/CentosSoft/iso/    CenO…

    Linux干货 2017-02-14
  • linux基础学习-第六天

    2016-08-02 授课内容: 用户和组管理命令 理解并设置文件权限 默认权限 特殊权限 文件ACL 用户和组管理命令 用户和组的配置文件:/etc/default/useradd(相当于useradd -D)、/etc/skel(创建用户的家目录配置文件)、/etc/login.defs(修改用户的密码策略配置) /etc/default/useradd…

    Linux干货 2016-08-04
  • 常用大数据词汇中英文对照表

    A 聚合(Aggregation) – 搜索、合并、显示数据的过程 算法(Algorithms) – 可以完成某种数据分析的数学公式 分析法(Analytics) – 用于发现数据的内在涵义 异 常检测(Anomaly detection) – 在数据集中搜索与预期模式或行为不匹配的数据项。除了“Anomalies”,用来表示异常的词有以下几种:outlie…

    Linux干货 2015-03-10
  • grep及正则表达式相关练习

    grep及正则表达式相关练习 1、复制/etc/skel目录为/home/tuser1,要求/home/tuser1及其内部文件的属组和其它用户均没有任何访问权限。 ~]# cp -r /etc/skel/ /home/tuser1 ~]# chmod -R 700 /home/tuser1 ~]# ls -ld /home/tuser1 drwx&#821…

    Linux干货 2016-10-11
  • 堡垒机-麒麟开源堡垒机内置SSL VPN使用指南

      一、安装 (一)确定服务器的操作系统位数 Windws xp、2000、2003系统,在我的电脑属性里,可以很明显地看到标识。如果没有注明是64位的,那么默认就是32位的 Windows 7 系统在控制面板,点击系统,在系统类型里,标注有操作系统位数 (二)安装VPN客户端 VPN客户端分为32位系统和64位系统二…

    Linux干货 2016-05-29