inotify介绍及rsync + inotify 实时同步备份

1、前言

rsync (remote sync)是一款非常好的数据同步工具,能够通过对比同步双方的数据变动,实现增量同步,还可以通过LAN/WAN实现远程多台主机间文件的同步,还能结合crond任务计划来执行自动备份,又可以结合ssh实现远程数据备份的安全,种种特性使他看起来相当优秀。但如果需备份数据十分庞大时,它的不足之处就显现出来了,比如每次执行同步操作时,rsync都会扫描全部数据进而计算出增量部分,而后再同步增量数据,这将会十分耗时,使其变得低效;并且受限于crond计划任务最小时间间隔为一分钟,会导致同步源端和目的段数据不一致,这在高可用环境中是不被允许的。这个时候我们就可以构建rsync+Inotify架构来解决此应用瓶颈。

备注:关于rsync的使用请查阅http://windchasereric.blog.51cto.com/5419433/1711313

2、inotify介绍

Inotify 是一个Linux特性,是一种强大的、细粒度的、异步的文件系统监控机制,linux内核从2.6.13起便加入了Inotify支持,通过Inotify可以监控文件系统中添加、修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而Inotify-tools就是这样的一个第三方软件。Inotify反应灵敏,用法简单,并且比使用Crontab轮询高效很多。

2.1、inotify常见监控事件

  • IN_ACCESS :文件被访问

  • IN_MODIFY : 文件被修改

  • IN_ATTRIB : 文件属性被修改

  • IN_CLOSE_WRITE : 以可写方式打开的文件被关闭

  • IN_CLOSE_NOWRITE : 以不可写方式打开的文件被关闭

  • IN_OPEN : 文件被打开

  • IN_MOVED_FROM : 文件被移出监控的目录

  • IN_MOVED_TO : 文件被移入监控着的目录

  • IN_CREATE : 在监控的目录中新建文件或子目录

  • IN_DELETE : 文件或目录被删除

  • IN_DELETE_SELF : 自删除,即一个可执行文件在执行时删除自己

  • IN_MOVE_SELF : 自移动,即一个可执行文件在执行时移动自己

2.2、inotify相关的内核参数

[root@RServer ~]# ll /proc/sys/fs/inotify/
-rw-r--r-- 1 root root 0 Jun 13 17:49 max_queued_events
-rw-r--r-- 1 root root 0 Jun 13 17:49 max_user_instances
-rw-r--r-- 1 root root 0 Jun 13 17:49 max_user_watches
  • /proc/sys/fs/inotify/max_queued_events 
    该参数值是调用inotify_init时分配给实例的event队列最大值,超出该值的event被丢弃,并触发IN_Q_OVERFLOW事件。默认值:16384 
    注意,该参数定义的是events队列长度,若文件庞大且变化频繁需调整该值以适应监控。

  • proc/sys/fs/inotify/max_user_instances 
    该参数值定义了用户创建inotify实例的上限。默认值:128

  • /proc/sys/fs/inotify/max_user_watches 
    该参数定义了每个inotify示例可监控的最大目录数,如果监控文件庞大需调大该值。默认值:8192 
    参数调整示例: 
    可使用重定向方式修改 
    echo 10000000 > /proc/sys/fs/inotify/max_user_watches

2.3、inotify-tools介绍

Inotify-tools工具安装后提供了两个命令

  • /usr/bin/inotifywait:监控文件系统变化

  • /usr/bin/inotifywatch:用来统计文件系统访问的次数

2.3.1、Inotifywait用法

inotifywait  [-hcmrq] [-e <event> ] [-t <seconds> ] [--format <fmt> ] [--timefmt<fmt> ] <file> [ ... ]
   -h,–help     //输出帮助信息
   @          //排除不需要监视的文件,可以是相对路径,也可以是绝对路径
   –fromfile    //从文件读取需要监视的文件或排除的文件,一个文件一行,排除的文件以@开头
   -m,–monitor   //接收到一个事情而不退出,无限期地执行。默认行为是接收到一个事情后立即退出
   -d,–daemon    //跟–monitor一样,除了是在后台运行,需要指定 –outfile把事情输出到一个文件。也意味着使用了–syslog
   -o,–outfile    //输出事情到一个文件而不是标准输出。
   -s,–syslog    //输出错误信息到系统日志
   -r,–recursive  //监视一个目录下的所有子目录。
   -q,–quiet     //指定一次,不会输出详细信息,指定二次,除了致命错误,不会输出任何信息。
   –exclude      //正则匹配需要排除的文件,大小写敏感。
   –excludei     //正则匹配需要排除的文件,忽略大小写。
   -t,–timeout#  //设置超时时间,如果为0,则无限期地执行下去。
   -e,–event    //指定监视的事件。
   -c,–csv      //输出csv格式。
   –timefmt     //指定时间格式,用于–format选项中的%T格式。
   –format      //指定输出格式。
   %w 表示发生事件的目录
   %f 表示发生事件的文件
   %e 表示发生的事件
   %Xe 事件以“X”分隔
   %T 使用由–timefmt定义的时间格式

2.3.2、inotifywatch用法

inotifywatch [-hvzrqf] [-e <event> ] [-t <seconds> ] [-a <event> ] [-d <event> ] <file> [ … ]       
   -h,–help    # 输出帮助信息
   -v,–verbose  # 输出详细信息
   @          # 排除不需要监视的文件,可以是相对路径,也可以是绝对路径。
   –fromfile    # 从文件读取需要监视的文件或排除的文件,一个文件一行,排除的文件以@开头。
   -z,–zero    # 输出表格的行和列,即使元素为空
   –exclude     # 正则匹配需要排除的文件,大小写敏感。
   –excludei    # 正则匹配需要排除的文件,忽略大小写。
   -r,–recursive # 监视一个目录下的所有子目录。
   -t,–timeout  # 设置超时时间
   -e,–event    # 只监听指定的事件。
   -a,–ascending # 以指定事件升序排列。
   -d,–descending# 以指定事件降序排列

3、rsync + in otify 实时同步备份实验

3.1、实验拓扑

拓扑.jpg

3.2、服务器端

1、安装超级守护进程

[root@RServer data]# yum -y install xinetd

注意:要想启动rsync服务,必须先安装此进程。rsync服务是依赖xinetd来启动

2、设置开机自动启动

[root@RServer data]# chkconfig xinetd on

3、安装rsync

[root@RServer data]# yum -y install rsync

4、查看超级守护进程下自动生成的rsync服务,并设置激活

[root@RServer data]# vim /etc/xinetd.d/rsync
service rsync
{
       disable = no       # 改为no ,表示启用rsync,默认是关闭的
       flags           = IPv6
       socket_type     = stream
       wait            = no
       user            = root
       server          = /usr/bin/rsync
       server_args     = --daemon
       log_on_failure  += USERID

5、创建共享的目录文件

[root@RServer /]# mkdir /data/

6、编辑配置文件/etc/rsyncd.conf

[root@RServer data]# vim /etc/rsyncd.conf
# Global Setting
uid = nobody                    #运行rsync服务器的角色名称
gid = nobody                    #运行rsync服务器的组名称
use chroot = no             # 是否允许使用chroot
max connections = 10            #最大的连接数
strict modes = yes              # 是否启用严格检查权限,用户是否允许上传下载
pid file = /var/run/rsync.pid       # pid文件路径
log file = /var/log/rsyncd.log      #日志文件记录路径
# Directory to be synced
[tools]                     #共享存储的模块名称
path = /data                    #共享文件存储路径
ignore error = yes              #传输过程出现错误处理方式,yes表示忽略
read only = no                  #是否只读
write only = no             #是否只写,表示不允许别人看
hosts allow = 192.168.80.0/24   #允许哪些主机来实现数据同步(类似白名单)
hosts deny = *                  # 如果匹配到上面的就表示通过,否则就拒绝
list = false                    #是否允许你列出所有 {true | false}
uid = root                      #以什么身份运行,如果这里不填,将会继承上面
gid = root
auth users = wqp                #认证用户
secrets file = /etc/rsyncd.passwd   #认证用户密码的文件
# rsyncd.passwd格式为 USERNAME:PASSWORD

注意:(此文件需要手动创建,系统不会自动生成,请注意,文件名必须是rsyncd.conf,否则rsync会无法正常读取配置文件)

7、编辑密码文件

[root@RServer /]# vim /etc/rsyncd.passwd
wqp:redhat

8、启动服务

[root@RServer /]# service xinetd start

9、查看所监听的端口

[root@RServer /]# netstat -tanlp | grep xinetd
tcp        0      0 :::873         :::*               LISTEN      1362/xinetd

10、使用客户端测试连接rsync服务器

[root@RClient ~]# rsync /etc/fstab wqp@192.168.80.106::tools

3.3、客户端配置

1、安装inotify-tools

[root@RClient ~]# yum -y install inotify-tools

备注:如果使用yum安装,需要配置好epel源

2、编辑密码文件,目的是为后面脚本自动化执行

[root@RClient ~]# vim /etc/rsyncd.passwd
redhat

3、设置密码文件权限

[root@RClient ~]# chmod 600 /etc/rsyncd.passwd
# 设置密码文件夹权限为600,目的是为了更安全,而且如果不设置,有可能导致脚本读取密码文件出错

4、创建监控脚本

[root@RClient ~]# vim rsyncInotify.sh
#!/bin/bash                                        
#
host='192.168.80.106'
user='wqp'
src='/tmp/dir'
dest='tools'
passwdFile='/etc/rsyncd.passwd'
inotifywait -mrq -e modify,attrib,moved_to,moved_from,move,move_self,create,delete,delete_self --timefmt='%d/%m/%y %H:%M' --format='%T %w%f %e' $src  | while read chgeFile
dorsync -avqz --delete --progress --password-file=$passwdFile $src $user@$host::$dest &>>/var/log/rsync.log
done

5、设置开机自动启动

[root@RClient ~]# echo 'bash /root/rsyncInotify.sh &' >> /etc/rc.local

3.4、 验证试验结果

1、手动启动脚本

[root@RClient ~]# bash /root/rsyncInotify.sh &

2、在客户端上被监控的目录下创建文件

[root@RClient dir]# touch file{1..10}

3、查看服务器端rsyncd.log日志文件

[root@RServer data]# tail /var/log/rsyncd.log

1.jpg

4、查看已同步的文件

2.jpg

原创文章,作者:螃蟹,如若转载,请注明出处:http://www.178linux.com/18379

(0)
上一篇 2016-06-15 12:36
下一篇 2016-06-16 21:07

相关推荐

  • 网卡别名与bonding

    网络接口配置-bonding Bonding简介 Bonding 就是将多块网卡绑定同一IP地址对外提供服务,可以实现高 可用或者负载均衡。然,直接给两块网卡设置同一IP地址 是不可能的。通过bonding,虚拟一块网卡对外提供连接, 物理网卡的被修改为相同的MAC地址。 Bonding模式 Mode 0 (balance-rr) 轮转(Round-robi…

    Linux干货 2016-09-05
  • 关于磁盘管理的例子

    今天来说一个关于磁盘管理的例子,通过这个例子也顺便了解一下此例子涉及到的一些相关命令、文件。 练习:创建一个2G的文件系统,块大小为2048byte, 预留1%可用空间,文件系统ext4,卷标为TEST,要求此分区开机后自动挂载至/test目录,且默认有acl挂载选项 思路:1.在/etc/fstab中定义开机自动挂载信息    &nbs…

    Linux干货 2017-08-19
  • 08RPM的简单实用

    rpm命令,安装(-i,–install)、卸载、升级(-U,-F)、查询(-q,–query)、校验(-V,–verify)、数据库维护 安装:rpm {-i|–install} [install-options] PACKAGE_FILE… v:可视化 h:以#显示进度 rpm -ivh package_f…

    Linux干货 2016-11-03
  • Linux文本三剑客之grep

    一、定义:                 GREP  :Global search REgular expression and Print out the line的缩写。是一种强大的文本搜索工具,根据用户指定的“模式”对目标文本逐行进行匹配检查;并把匹配的行打印出…

    Linux干货 2016-04-05
  • N22-第二周作业

    1、linux上的文件管理类命令都有哪些,其常用的使用方法及其相关示例演示。    文件管理命令        mkdir     创建目录         &…

    Linux干货 2016-08-22
  • 初学正则表达式

      前言:     在学正则表达式之前,有小伙伴讲解说,正则表达式在文本处理上功能非常强大、使用非常普遍,并且现在很多的工具软件都支持它,以后的学习工作中会经常使用,非常灵活,但是灵活的同时又是繁琐,需要小心翼翼的仔细推敲。抱着认真、好奇的心思听完了王老的课。我自己理解的正则表达式是,给一些符号赋予一定的涵义…

    Linux干货 2016-08-12