文本处理、正则表达式、cut、grep、egrep、fgrep

文本处理、正则表达式、cut、grep、egrep、fgrep

Linux中文本处理工具最常用的就是文本处理三剑客grep、sed、awk再配合正则表达式,可以实现足够多的文本处理功能。工具的强大之处是因为使用它的人,如何才能发挥文本处理工具的作用呢?答案就是正则表达式,其实正则表达式,只是一种思想,一种表示方法,只要我们使用的工具支持表示这种思想那么这个工具就可以处理正则表达式的字符串。这部分内容可以说是学习shell脚本之前必学的内容,理解越深刻那么shell脚本编写能力就会越强。

文本处理

  1. 文本查看工具 

    • cat -n(包含了$回车符),-b-A(-vTE),-e(-vE),-v(有^M无^T),-s-E(回车)

    • tac -n-b-A(-vTE),-e(-vE),-v(有^M无^T),-s-E(回车)

    • rev

    • more -d(加提示),只能下翻,能命令

    • less PgUP翻页,能搜,能命令

    • head -n 前几行,默认10行

    • tail -n 后几行,默认10行,-f /var/log/messages前端监控日志,tail -n 0 -f

    • /var/log/message &后端显示新日志,不影响使用,fg 1切换前台,ctrl c终止

  2. cut 

    • cut -d-f1-5,6,7 /etc/passwd # : 号截取,第几段 –output-delimiter=+ # 替换分隔符

    • cut -c44-46 file #字符截取,监控磁盘

  3. paste 横向合并两个文件 

    • paste -d: #指定横向分隔的符号,默认Tab

    • paste -s #一个文件的内容合并成一行显示

  4. wc (word count) #字符收集统计数据 

    • wc file #行、单词、字节

    • wc -m #统计字符数

    • wc -l #统计行数

    • wc -w #统计以标点或space隔开的单词数

    • wc -c #统计字节数

    • wc 输入字符,最后输入空格开的被统计字符,再ctrl d

  5. sort #文本排序 

    • sort -t ‘.’ #使用 . 做为字段界定符

    • sort -r #反序

    • sort -f #忽略字符串中的大小写

    • sort -n #按数字排序

    • sort -u #去除重复行

    • sort -k3 #按 . 分隔符根据第3列来整理,可重复多次

    • sort -ut ‘.’ -k3 #按 . 分隔符根据第3列来整理并归类,去除不属于该类的行

  6. uniq #从输入中山城重复的前后相接的行 

    • uniq file #合并相邻的重复行

    • uniq -c file #显示合并的重复次数

    • uniq -d file #只显示重复的行

    • uniq -u file #显示不重复的行

  7. diff #比较两个文件之间的区别 

    • diff xx yy

    • diff -c xx yy

    • diff.jpg

    • 其中1-3表示行号c表示不同,常用的a表示多余的行,d表示删除的行,即少的行,<表示第一个文件,>表示第二个文件。。diff -c 会以上下文的形式显示两个文件的不同之处,文件时间不同也会进行比较,行中不同的地方会在此行前加”!”:

    • diff -u #选项来输出“统一的(unified)”diff格式文件,最适用于补丁文件

  8. patch #复制对文件改变 

    • patch -b #自动备份改变了的文

    • diff -u xx yy>zz.patch

    • patch -b xx zz.patch

  9. grep:global serarch REgular expressin and print out the line 

    • grep -E = egrep、grep -F fgrep(不支持正则表达式)

    • .bashrc加入alias grep=’grep –color=auto’

    • grep xxxx /etc/passwd /etc/group …. 在centos7上带颜色

    • grep ‘$USER’ / “$USER” / whoami /etc/passwd

    • grep -v string #显示不包含string的行,排除

    • grep -i String #忽略大小写

    • grep -n string #显示包含string的行号

    • grep -c string #统计string的行数

    • grep -o strng #仅显示string,配合正则表达式,精确匹配

    • grep -q string #静默模式,echo $?看看返回值

    • grep -A3 string #显示string与string后面(After)3行,可作为string辅助过滤,

    • grep -C3 #string前后的3行

    • grep -e ‘root’ -e ‘sbin’ file #实现多个选项的逻辑或关系,类似正则中’root|sbin’

    • grep -w string #完全匹配string,匹配单词,以标点符号或者空格Tab分隔,类似正则中\bstring\b或\<string\>,具有同等效果,但这是不同的概念,必须加以区分

    • grep -E = egrep #使用扩展的正则表达式

  10. 标准的正则表达式 

    • 由一类特殊字符及文本字符编写的模式,这些字符有控制或匹配的功能

    • man 7 regex #看正则表达式

    • 程序支持grepvimlessnginx

    • 匹配次数

    • grep r.t #匹配任意单个字符

    • grep r[a-z]t #匹配任一指定范围内的任一个字符,如[aBc]表示匹配a或B或c

    • grep r[^[1-7]]t #不在指定范围内的任一个字符

    • [:alpha:]、[:digital:]、[:alnum:]、[:punct:]、[:space:]、[:lower:]、[:upper:]

    • \* # *号前的字符重复任意次数,尽可能长匹配

    • .* # 任意长度的字符\? #前面的字符0次或1次,有和没有都会匹配

    • \+ #前面的字符至少1次

    • \{n\} #n次

    • \{m,n\} #至少m次,至多n次

    • \{,n\} #至多n次

    • \{m,\} #至少m次

    • 位置锚定

    • ^ #句子的行首锚定

    • $ #句子的行尾锚定

    • ^\$ 空行锚定,用cat-A看到的号表示换行,^I表示Tab

    • grep -v “^ *\$” #不显示以空格开头的空行

    • grep -v “^[[:space:]]*$” #不显示以空格和Tab开头的空行

    • grep '\bstr’ 或 ‘\<str’ #str开头单词的词首锚定

    • grep ‘st\b’ 或 ‘\>str’ #str结尾单词的词尾锚定

    • \<string\> #匹配整个单词

    • 分组

    • \(\):将一个或多个字符捆绑在一起,当作一个整体进行处理,如:(root)+分组括号中的模式匹配到的内容会被正则表达式引擎记录于内部的变量中,这些变量的命名方式为:\1, \2, \3, …

    • \1: 从左侧起,第一个左括号以及与之匹配右括号之间的模式所匹配到的字符

    • 实例`:(string1+(string2)*)

    • \1: string1+(string2)*

    • \2: string2

    • 后向引用:引用前面的分组括号中的模式所匹配字符(而非模式本身)

    • 逻辑或

    • (root|bash)’ #匹配root或bash

    • \(ba|c\)sh’ #匹配bash或csh

  11. egrep及扩展的正则表达式,省略了转义符 

    • egrep = grep -E #可使用扩展的正则表达式

    • 字符匹配: . [] [^]

    • 次数匹配: * ? + {n} {m,n}

    • 位置锚定: ^ $ \< \> \b

    • 分组: (``) 后向引用:\1,\2...

    • 逻辑或: (a|b) (a|b)c

    • + 与 * 的区别:* 匹配的是零次或者多次,被重复的内容可能并不会出现;+ 至少出现一次如ca+t会匹配cat和caaat,但不会匹配ct

    • 注意:使用grep -E或者egrep时不要添加上述符号的转义符

练习

8.5练习.jpg

原创文章,作者:helloc,如若转载,请注明出处:http://www.178linux.com/30332

(0)
上一篇 2016-08-07 22:05
下一篇 2016-08-07 22:06

相关推荐

  • Gitlab代码管理仓库安装部署

    GitLab是利用 Ruby on Rails一个开源的版本管理系统,实现一个自托管的Git项目仓库,可通过Web界面进行访问公开的或者私人项目。它拥有与Github类似的功能,能够浏览源代码,管理缺陷和注释。可以管理团队对仓库的访问,它非常易于浏览提交过的版本并提供一个文件历史库。它还提供一个代码片段收集功能可以轻松实现代码复用,便于日后有需要的时候进行查…

    2016-07-26
  • Hadoop伪分布式模型

    # java -version # vim /etc/profile.d/java.sh export JAVA_HOME=/usr # yum install java-1.8.0-openjdk-devel # mkdir /bdapps # tar xf hadoop-2.7.4.tar.gz -C /bdapps/ # cd /bdapps # ln…

    2017-12-08
  • CentOS启动流程及Shell脚本编程练习

    一、请详细描述CentOS系统的启动流程(详细到每个过程系统做了哪些事情) 第一步:POST加电自检 主要实现的功能是检测各个外围硬件设备是否存在而且能够正常运行起来,实现这一自检功能的是固化在主板上的ROM(主要代表为CMOS)芯片上的BIOS(Basic Input/Output System)程序。 第二步:Boot Sequence(选择启动设备以加…

    2017-11-26
  • 如何安装VMware Workstation

    1、打开安装包,直接点击“下一步” 2、选择接受条款,单击“下一步” 3、选择安装路径,单击“下一步” 4、单击“下一步”,也可以勾选掉两个选项   5、单击“下一步”   6、点击“安装”   7、完成安装  

    2017-07-11
  • Linux用户和组管理整理

    本节介绍Linux用户和组相关的配置文件,用户账号管理、查询用户信息以及切换用户的相关命令,将会让我们更了解各配置文件中各个字段的含义,以及各相关命令的使用方法,方便Linux运维人员管理Linux系统中的用户和组。 背景: Linux是个多用户、多任务的系统,考虑到每个人的隐私权、每个人喜好的工作环境以及每个用户所使用的权限等方面的不同,所以设定了“用户”…

    Linux干货 2015-06-15
  • Linxu系统的启动过程

    Linxu系统的启动过程 启动流程 1、引导Linux启动是从BIOS中的地址0xFFFF0处开始的,BIOS由两部分组成:POST代码和运行时服务,运行时服务是为操作系统提供一些接口,如温度检测等。 BIOS的第一个步骤是加电自检(POST),完成对硬件的的检测,如某些硬件出现错误无法通过检测就导致系统无法启动,POST完成之后将被清出内存; BIOS的第…

    Linux干货 2016-09-13