大家好，欢迎来到IT知识分享网。
目录
4.Rsync 和 Inotify 实现数据的实时同步具体步骤
2.2 inotifywait的 –timefmt 时间格式
四.rsync结合inotify +shell脚本实现实时数据同步
一.数据实时同步技术介绍
1.实现实时同步的方法
- inotify + rsync 方式实现数据同步
- sersync ：前金山公司周洋（花椒直播）在 inotify 软件基础上进行开发的，功能更加强大
2.inotify
异步的文件系统事件监控机制，利用事件驱动机制，而无须通过诸如cron等的轮询机制来获取事件，linux内核从2.6.13起支持 inotify，通过inotify可以监控文件系统中添加、删除，修改、移动等各种事件
[root@data-centos7 ~]#grep -i inotify /boot/config-4.18.0-80.el8.x86_64 CONFIG_INOTIFY_USER=y工作原理: inotify 是 Linux 内核提供的一种文件系统监控机制，能够监控文件系统事件（如文件或目录的创建、删除、修改等）。inotify 可以被应用程序用来监视文件或目录的变化，并在这些事件发生时触发相应的动作。
特点:
1）适合于需要快速反应文件变更的应用场景，如日志监控、实时数据同步等。
2）可以被用来触发同步动作，例如当文件被修改时立即同步到其他位置或系统。
3）实时性高，能够几乎立即响应文件系统的变更。
3.rsync
工作原理: rsync 是一个开源的工具，用于在本地或远程系统之间同步文件和目录。它通过比较源和目标文件的差异来进行同步，只传输需要更新的部分，因此在传输大文件或者已有大量相同数据的文件时，可以显著减少传输的时间和带宽消耗。
特点:
1）可以使用多种算法进行文件传输和比较，包括 checksum 算法，确保数据的完整性。
2）可以通过 SSH 连接进行安全的远程同步。
3）支持增量同步，只传输变更的部分，效率高。
4.Rsync 和 Inotify 实现数据的实时同步具体步骤
使用 Inotify 监控文件变化：
使用 inotify-tools 工具或者编程接口，监控需要同步的源目录（或文件）的变化。
响应文件变化事件：
当文件发生变化（如创建、修改、删除）时，Inotify 会触发相应的事件。
触发 Rsync 同步操作：
在 Inotify 监听到文件变化事件后，触发相应的脚本或程序，调用 Rsync 命令进行同步操作。Rsync 将检查源目录和目标目录的差异，并只传输发生变化的部分。
二.inotify 实时监控
inotify是一个Linux内核提供的文件系统监控功能，通常是默认包含在大多数Linux发行版的内核中的，并不需要额外下载。它允许应用程序监视文件系统事件，比如文件或目录的创建、删除、修改等操作。
1.内核支持inotify
Linux支持inotify的内核最小版本为 2.6.13，参看man 7 inotif
[root@localhost ~]# ls -l /proc/sys/fs/inotify/ [root@localhost ~]# cat /proc/sys/fs/inotify/max_queued_events [root@localhost ~]# cat /proc/sys/fs/inotify/max_user_instances [root@localhost ~]# cat /proc/sys/fs/inotify/max_user_watches 
inotify 内核参数说明：
- max_queued_events：inotify 事件队列最大长度，如值太小会出现 Event Queue Overflow 错误，默认值：16384, 生产环境建议调大,比如:
- max_user_instances：每个用户创建inotify实例最大值，默认值：128
- max_user_watches：可以监视的文件的总数量（inotifywait 单进程），默认值：8192,建议调大
示例：
[root@localhost ~]# vim /etc/sysctl.conf fs.inotify.max_queued_events = 66666 fs.inotify.max_user_watches = [root@localhost ~]# sysctl -p [root@localhost ~]# cat /proc/sys/fs/inotify/*
2.inotify-tools工具
inotify-tools参考文档：Home · inotify-tools/inotify-tools Wiki · GitHub
安装inotify-tools：基于epel源
[root@data-centos7 ~]# yum -y install inotify-toolsinotify-tools包主要工具：
- inotifywait： 在被监控的文件或目录上等待特定文件系统事件（open ，close，delete等）发生，常用于实时同步的目录监控
- inotifywatch：收集被监控的文件系统使用的统计数据，指文件系统事件发生的次数统计
2.1 inotifywait命令
inotifywait命令用于监视文件系统事件，并在事件发生时执行指定的命令。它是Linux系统中的一个工具，特别适用于需要实时响应文件系统变化的场景。
格式：
inotifywait [ options ] file1 [ file2 ] [ file3 ] [ ... ]常用选项：
| 选项 | 解释 |
|---|---|
| -m, –monitor | 始终保持事件监听 |
| -d, –daemon | 以守护进程方式执行，和-m相似，配合-o使用 |
| -r, –recursive | 递归监控目录数据信息变化 |
| -q, –quiet | 输出少量事件信息 |
| –exclude <pattern> | 指定排除文件或目录，使用扩展的正则表达式匹配的模式实现 |
| –excludei <pattern> | 和exclude相似，不区分大小写 |
| -o, –outfile <file> | 打印事件到文件中，相当于标准正确输出，注意：使用绝对路径 |
| -s, –syslogOutput | 发送错误到syslog相当于标准错误输出 |
| –timefmt <fmt> | 指定时间输出格式 |
| –format <fmt> | 指定的输出格式；即实际监控输出内容 |
| -e | 指定监听指定的事件，如果省略，表示所有事件都进行监听 |
2.2 inotifywait的 –timefmt 时间格式
参考 man 3 strftime
| %Y | #年份信息，包含世纪信息 |
|---|---|
| %y | #年份信息，不包括世纪信息 |
| %m | #显示月份，范围 01-12 |
| %d | #每月的第几天，范围是 01-31 |
| %H | #小时信息，使用 24小时制，范围 00-23 |
| %M | #分钟，范围 00-59 |
| %S | #秒，范例 0-60 |
示例：
--timefmt "%Y-%m-%d %H:%M:%S"2.3 inotifywait的 –format 格式定义
| %T | #输出时间格式中定义的时间格式信息，通过 –timefmt option 语法格式指定时间信息 |
| %w | #事件出现时，监控文件或目录的名称信息，相当于dirname |
| %f | #事件出现时，将显示监控目录下触发事件的文件或目录信息，否则为空，相当于basename |
| %e | #显示发生的事件信息，不同的事件默认用逗号分隔 |
| %Xe | #显示发生的事件信息，不同的事件指定用X进行分隔 x表示分隔符 |
示例：
--format "%T %w%f event: %;e" --format '%T %w %f'2.4 inotifywait -e 选项指定的事件类型
| create | #文件或目录创建 |
| delete | #文件或目录被删除 |
| modify | #文件或目录内容被写入 |
| attrib | #文件或目录属性改变 |
| close_write | #文件或目录关闭，在写入模式打开之后关闭的 |
| close_nowrite | #文件或目录关闭，在只读模式打开之后关闭的 |
| close | #文件或目录关闭，不管读或是写模式 |
| open | #文件或目录被打开 |
| lsdir | #浏览目录内容 |
| moved_to | #文件或目录被移动到监控的目录中 |
| moved_from | #文件或目录从监控的目录中被移动 |
| move | #文件或目录不管移动到或是移出监控目录都触发事件 |
| access | #文件或目录内容被读取 |
| delete_self | #文件或目录被删除，目录本身被删除 |
| unmount | #取消挂载 |
示例：
-e create,delete,moved_to,close_write,attrib3.实际演示
1.基础监听目录/data （一次操作监听）
[root@localhost ~]#inotifywait /data/ #使用 inotifywait 命令监控 开启另一个终端，新建删除文件可以看到变化 ，有操作就会退出 [root@localhost ~]# touch 123
2.持续监听 -m
持续监听/data目录，执行完一次操作不会主动退出
当在/data目录下创建一个新的目录，在新的目录内进行操作并不会监听到
3.递归监听 -r
使用 -r 选项可以递归监听到/data目录下的子目录内的操作
4.持续后台监控，并记录日志
inotifywait -mr /data/ --timefmt "%Y-%m-%d %H:%M:%S" --format "%T %w%f event: %;e" -e create,delete,moved_to,close_write,attrib
三.rsync
rsync 常用于做为 linux系统下的数据镜像备份工具，实现远程同步，支持本地复制，或者与其他SSH、rsync主机同步数据，支持增量备份，配合任务计划，rsync能实现定时或间隔同步，配合inotify或sersync，可以实现触发式的实时数据同步
官方网站: rsync
软件包：rsync，rsync-daemon（CentOS 8）
服务文件：/usr/lib/systemd/system/rsyncd.service
配置文件：/etc/rsyncd.conf
端口：873/tcp
格式：
rsync [OPTION...] SRC... [DEST]rsync安装
yum install rsync -y1.rsync有三种工作方式
- 本地文件系统上实现同步。命令行语法格式为上述”Local”段的格式。
- 本地主机使用远程shell和远程主机通信。命令行语法格式为上述”Access via remote shell”段的格式。
- 本地主机通过网络套接字连接远程主机上的rsync daemon。命令行语法格式为上述”Access via rsync daemon”段的格式。
前两者的本质是通过本地或远程shell，而第3种方式则是让远程主机上运行rsyncd服务，使其监听在一个端口上，等待客户端的连接。
2.常用选项
3.实际演示
3.1 开启rsync同步服务
rsync --daemon # 开启rsync 服务 监听在 873 口上 vim /etc/rsyncd.conf ss -natp |grep rsync
3.2 设置配置文件
192.168.240.11 ：客户端
192.168.240.10 ：服务端
# 我们需要在 服务端 设置一个 共享模块 ， 并且设置真实路径 /data/backup/ [backup] path = /data/backup/设置好文件后 可以看到共享目录
[root@localhost ~]# rsync rsync://192.168.240.10
设置可写（可以上传）
cat /etc/rsyncd.conf |grep -vE "^#|^$" [backup] path = /data/ resd only = no #可写
给服务端文件夹权限
# 文件夹的权限没开 #指定目录给nobody权限，默认用户以nobody访问此目录 [root@node2]#setfacl -m u:nobody:rwx /data/ # 给nobody 用户加权限 [root@node2]#setfacl -b /data/ #清空测试：
客户端 rsync /etc/passwd rsync://192.168.91.101/backup 或者 rsync /etc/passwd 192.168.240.10::backup
4.实现验证功能
上述实验没有验证功能不安全
修改配置文件添加验证功能等
| 配置 | 解释 |
|---|---|
| uid = root | 提定以哪个用户来访问共享目录，将之指定为生成的文件所有者，默认为nobody |
| gid = root | 默认为nobody |
| port = 874 | 可指定非标准端口,默认873/tcp |
| use chroot = no | 限制在指定的模块路径来增强安全性，限制目录 |
| max connections = 0 | 最大连接数 |
| ignore errors | 忽略错误 |
| exclude = lost+found/ | 不同步的文件 |
| log file = /var/log/rsyncd.log | 日志文件位置 |
| pid file = /var/run/rsyncd.pid | pid 文件位置 |
| lock file = /var/run/rsyncd.lock | 锁文件如果 max connections 设置为 4，则 rsync 将使用锁文件来确保同时只有 4 个连接。 |
| reverse lookup = no | 不使用反向解析 |
| hosts allow = 10.0.0.0/24 | 允许同步的网段 |
| [backup] | 每个模块名对应一个不同的path目录，如果同名后面模块生效 |
| path = /data/backup/ | 指明文件的真实存放路径 |
| comment = backup dir | 备注描述 |
| read only = no | 默认是yes,即只读 no表示可写 |
| auth users = rsyncuser | 验证默认anonymous可以访问rsync服务器 ，修改成rsyncuser 用户 只有 rsyncuser 可以访问 |
| secrets file = /etc/rsync.pas | 密码文件位置 |
修改配置文件
服务端 vim /etc/rsyncd.conf uid=root gid=root max connections = 0 ignore errors exclude = lost+found/ log file = /var/log/rsyncd.log pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock reverse lookup = no [backup] path = /data/ read only = no auth users = rsyncuser secrets file = /etc/pass [root@localhost data]# echo "rsyncuser:" > /etc/pass [root@localhost data]# chmod 600 /etc/pass #必须修改 [root@localhost data]# cat /etc/rsyncd.conf |grep -vE "^#|^$" 客户端 #客户端配置密码文件 #也可将密码赋值给环境变量RSYNC_PASSWORD变量,但不安全 [root@localhost ~]# rsync /etc/passwd rsync://192.168.240.10/backup [root@localhost ~]# echo "" > /etc/pass [root@localhost ~]# chmod 600 /etc/pass 
测试：
#非交互式查看共享目录
客户端 rsync --password-file=/etc/pass rsync://rsyncuser@192.168.240.10/backup
四.rsync结合inotify +shell脚本实现实时数据同步
注意: 此脚本执行前先确保两主机初始数据处于同步状态,此脚本实现后续的数据同步
#!/bin/bash SRC='/data/' DEST='rsyncuser@192.168.240.10::backup' inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w %f' -e attrib,create,delete,moved_to,close_write ${SRC} |while read DATE TIME DIR FILE;do FILEPATH=${DIR}${FILE} rsync -az --delete --password-file=/etc/pass $SRC $DEST && echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >> /var/log/changelist.log done #查看文件传输日志 [root@data-centos8 ~]#tail -f /var/log/changelist.log在发起端上执行脚本后，在发起端上/data目录下执行操作
[root@localhost data]# touch 123 [root@localhost data]# mkdir zxy [root@localhost data]# cp -r /etc/ . 
在同步到的机器上查看（同步端）
watch -n0.5 ls /data #每隔0.5秒执行一次ls /data 命令
在发起数据同步的机器上（发起端）查看文件传输日志
tail -f /var/log/changelist.log
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/110336.html
