文本处理工具

文本处理工具

文件内容:less和 cat,more
文件截取:head和tail
文本内容处理:tr
按列抽取:cut
按关键字抽取:grep

文件查看命令:cat, tac,rev

cat  复制标准输入到当前输出

语法:cat [OPTION]… [FILE]…
选项:

  • -E: 显示行结束符$

  • -n: 对显示出的每一行进行编号

  • -A:显示所有控制符

  • -b:非空行编号

  • -s:压缩连续的空行成一行

cat ,tac,rev 区别
cat是正常读取文件,tac是把文件行号反过来读,行里面的内容保持原样而rev就行号顺序不变,内容包括单词全部反过来

[root@localhost ~]# cat /etc/issue
\S
Kernel \r on an \m

[root@localhost ~]# tac /etc/issue

Kernel \r on an \m
\S
[root@localhost ~]# rev /etc/issue
S\
m\ na no r\ lenreK

分页查看文件内容 more less

more: 分页查看文件

语法:more [OPTIONS…] FILE…    

  • -d: 显示翻页及退出提示

less:一页一页地查看文件或STDIN输出

查看时有用的命令包括:

/文本 搜索 文本
?文本  搜索 文本 向上搜索
n/N 跳到下一个 或 上一个匹配
less 命令是man命令使用的分页器

显示文本前或后行内容

语法:head [OPTION]… [FILE]…

  • -c #: 指定获取前#字节

  • -n #: 指定获取前#行

  • -#: 指定行数

tail

语法:tail [OPTION]… [FILE]…

  • -c #: 指定获取后#字节

  • -n #: 指定获取后#行

  • -#:

  • -f: 跟踪显示文件新追加的内容,常用日志监控
    -一般用法

     [root@localhost ~]# tail -n 0 -f /var/log/messages &
     [1] 10275     --------------自动追加最后一行日志信息

 tr       单个文字转换处理(translate character)

功能说明:转换字符。
语  法:tr [-cdst][第一字符集][第二字符集]
补充说明:tr指令从标准输入设备读取数据,经过字符串转译后,输出到标准输出设备。(对位转换)
参  数:

  • -c    取代所有不属于第一字符集的字符。

  • -d    删除所有属于第一字符集的字符。

    • -s    把连续重复的字符以单独一个字符表示。

  • -t    对位替换。

例如、将文件中每个单词(字母)显示在独立的一行,并无空行

[root@localhost ~]# cat file1 
adsfasf
a  fsf fsa
   afsa
asfsa  afasfa
qfwf
aaaaaaaaaaaaaa
aaaaaaaaaaaaaa
aaaaaaaaaaaaaa
sss
sss
sss
t:
f
[root@localhost ~]# cat /etc/init.d/functions |tr -cs '[:alpha:]' '\n'
adsfasf
a
fsf
fsa
afsa
asfsa
afasfa
qfwf
aaaaaaaaaaaaaa
aaaaaaaaaaaaaa
aaaaaaaaaaaaaa
sss
sss
sss
t
f

-t选项是对位替换

[root@localhost ~]# echo asdfg |tr -t 'ad' 'X'
Xsdfg
[root@localhost ~]# echo asdfgh |tr -t 'asd' 'ASWDF'
ASWfgh

注意:
tr替换的话如果第一字符和第二字符数目不相等时,以第二字符为准

[root@localhost ~]# echo asdfg |tr 'asd' 'AS'
ASSfg
[root@localhost ~]# echo asdfg |tr 'asd' 'ASDF'
ASDfg

cut

功能:cut命令用来显示行中的指定部分,删除文件中指定字段。
语法:cut(选项)(参数) 文件
选项 :

  • -c:仅显示行中指定范围的字符;

  • -d:指定字段的分隔符,默认的字段分隔符为“TAB”;

  • -f:显示指定字段的内容;一般 -f 1,2,3

  • -n:与“-b”选项连用,不分割多字节字符;

例如:
   切出/etc/passwd下的用户名和对应的shell

[root@localhost ~]# cat /etc/passwd | cut -d ':' -f 1,7

root:/bin/bash
bin:/sbin/nologin
daemon:/sbin/nologin
adm:/sbin/nologin

切出/etc/passwd下指定范围的字段

[root@localhost ~]# cat /etc/passwd | cut -c 5-25
:x:0:0:root:/root:/bi
x:1:1:bin:/bin:/sbin/

paste 横向合并两个文件同行号的列到一行

语法:paste [OPTION]… [FILE]…

  • -d 分隔符:指定分隔符,默认用TAB

  • -s : 所有行合成一行显示
    paste f1 f2
    paste  -s f1 f2

分析文本的工具

wc  收集文本统计数据

功能: 计数单词总数、行总数、字节总数和字符总数
用处: 可以对文件或STDIN中的数据运行

$ wc story.txt 
39   237  1901 story.txt
行数 字数 字符数

使用 -l 来只计数行数
使用 -w 来只计数单词总数
使用 -c 来只计数字节总数
使用 -m 来只计数字符总数

sort 文本排序

用处: 把整理过的文本显示在STDOUT,不改变原始文件
语法:$ sort [options] file(s)
常用选项:

  • -r  执行反方向(由上至下)整理

  • -n   执行按数字大小整理

  • -f  选项忽略(fold)字符串中的字符大小写

  • -u 选项(独特,unique)删除输出中的重复行

  • –t c 选项使用c做为字段界定符

  • –k X 选项按照使用c字符分隔的X列来整理能够使用多次

uniq 从输入中删除重复的前后相接的行

语法: uniq [OPTION]… [FILE]…

  • -c: 显示每行重复出现的次数

  • -d: 仅显示重复过的行

  • -u: 仅显示不曾重复的行
    注意:连续且完全相同方为重复
    常和sort 命令一起配合使用:
    sort userlist.txt |  uniq -c———统计个单词出现的次数统计/etc/passwd里面各种shell相同的用户有多少

[root@localhost ~]# cat /etc/passwd|cut -d: -f 7 |sort | uniq -c
     16 /bin/bash
     10 /bin/csh
      1 /bin/sync
      1 /etc/tcsh
      1 /sbin/halt
     38 /sbin/nologin
      1 /sbin/shutdown

diff 比较文件

语法:diff [选项] [文件一]  [文件二]

$ diff foo.conf-broken foo.conf-works
5c5
< use_widgets = no
—use_widgets = yes
5c5的意思是: 注明第5行有区别

patch 复制对文件改变(打补丁)

前提:

  1. diff 命令的输出被保存在一种叫做“补丁”的文件中

  2. 使用 -u 选项来输出“统一的(unified)”diff格式文件,最适用于补丁文件。

  3. patch 命令复制在其它文件中进行的改变(要谨慎使用!)
    **   适用 -b 选项来自动备份改变了的文件
    $ diff -u foo.conf-broken foo.conf-works > foo.patch

$ patch -b foo.conf-broken foo.patch**

对文件一还原成文件二的方法:

[root@qzx ~]# diff /tmp/issue1 /tmp/issue2
3a4
> hello  --------文件二于文件一 hello
[root@qzx ~]# diff -u /tmp/issue1 /tmp/issue2 > diff.txt ----把文件一和文件二中的不同点找出并打包
[root@qzx ~]# patch -b /tmp/issue1 diff.txt 
patching file /tmp/issue1 ----------让文件一还原成文件二
[root@qzx ~]# cat /tmp/issue1
CentOS release 6.8 (Final)
Kernel \r on an \m

hello

原创文章,作者:qzx,如若转载,请注明出处:http://www.178linux.com/29886

(0)
上一篇 2016-08-07 22:07
下一篇 2016-08-07 22:07

相关推荐

  • 初识MySQL(一)

        数据库(DATABASES)      数据库是一个单位或是一个应用领域的通用数据处理系统,存储有企业和事业部门、团体和个人的有关数据的集合,该集合中数据是从全局观点出发建立的,按一定的数据模型进行组织、描述和存储。其结构基于数据间的自然联系,从而可提供一切必要的存取路径,且数据不…

    Linux干货 2015-08-24
  • 往死里苦练脚本啊啊啊啊啊啊啊~~~~~~~~~~~~~~~~

    1、写一个脚本,判断当前系统上所有用户的shell是否为可登录shell(即用户的shell不是/sbin/nologin);分别这两类用户的个数;通过字符串比较来实现; #脚本内容 [root@centos script]# cat week9_title1.sh  #!/bin/bash #Author …

    Linux干货 2017-02-16
  • bash的重定向

    一、简介         bash的数据流重定向(redirect)是将程序的执结果重新定向到另一文件或者设备。或者把一文件重定向给一程序作为数据来源。默认情况下,命令的执行结果显示在屏幕上。文件系统中,分为:标准输入,标准输出,错误输出。 二、用法   &n…

    Linux干货 2015-08-11
  • 第二周作业

    1、Linux上的文件管理类命令都有哪些,其常用的使用方法及其相关示例演示。 目录管理类命令: cd:变更目录   命令格式:cd [DIRECTORY] pwd:显示当前目录的绝对路径 ls:显示文件或目录内容     命令格式:ls [OPTION]… [FILE]… &…

    Linux干货 2017-01-08
  • 7.22_Linux入门和帮助文件的使用

    Linux系统登录的两种方式 GUI:图形界面 Graphic User Interface 默认在Linux下面有三种可用的图形界面程序可选,分别为 1.gnome(c,图形库gtk) 2.kde(c++,图形库qt) 3.xface(轻量级桌面) 每一种图形界面下面开发的软件并不兼容,因为它们开发时候所用的开发语言也各不相同 启动方式:cli模…

    Linux干货 2016-08-04
  • Hadoop Hive sql语法详解

    Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内容,这套SQL 简称Hive SQL,使不熟悉mapredu…

    Linux干货 2015-04-13