CentOS7通过lsyncd+rsync实现两台服务器数据实时同步备份

服务器 0

1、工具简介

        1.1、rsync   

        rsync(remote synchronize)是 Liunx/Unix 下的一个远程数据同步工具,它可通过 LAN/WAN 快速同步多台主机间的文件和目录。rsync 通过比较两边文件是否相同,不相同才进行更新。
        但是rsync无法知道“什么时候同步”,因为rsync只有执行同步命令的时候,才会去扫描文件判断哪些文件被修改了,只能建立一个定时任务,每隔一定的时间(比如5分钟,10分钟等等)去执行一次同步,这样虽然能同步,但却“不实时”。

        2.2、lsyncd     

        lsyncd实际上是lua语言封装了 inotify 和 rsync 工具,采用了 Linux 内核(2.6.13 及以后)里的 inotify 触发机制,然后通过rsync去差异同步,达到实时的效果。它完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 -通过时间延迟或累计触发事件次数实现。

2、环境准备

        源服务器(需要备份数据的服务器)——只需要部署rsync(daemon模式)

        目标服务器(接收数据的服务器)——需要部署rsync和lsyncd

        可支持多个源服务器往一个目标同步

        也支持双向同步,就是把源端也当做一个目标端,按照目标端进行配置;然后目标也是一个源端,需要按照源端配置lsyncd

        所需离线安装包

3、目标服务器部署

        3.1、安装rsync

                方式一(在线)后续步骤以此为基础:

yum -y install rsync

                方式二(离线):        

#先下载安装包https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz#将安装包放到你喜欢的文件夹#进入该文件夹并解压安装tar -zxvf rsync-3.1.2.tar.gzcd rsync-3.1.2./configure --prefix=/usr/local/rsyncmakemake install#启动/usr/local/bin/rsync --daemon#验证是否启动ps -aux |grep rsyncroot 59120 0.0 0.2 1460 972 ?? Ss 5:20PM 0:00.00 /usr/local/rsync/bin/rsync –daemon#查看监听端口状态netstat -an |grep 873tcp4 0 0 *.873 *.* LISTEN#查看日志cat /var/log/rsyncd.log

        3.2、配置rsyncd.conf

#没有该文件,需手动创建vi /etc/rsyncd.conf
#各参数具体含义可自行百度log file = /var/log/rsyncd.log #日志路径pidfile = /run/rsyncd.pidlock file = /run/rsync.locksecrets file = /etc/rsync.password #认证文件,连接的账号密码[backup] #模块名称,有多个源服务端时就在下面复制整个模块  path = /data/influxbackup/ #存储接收数据的路径  comment = sync etc from client  uid = root  gid = root  port = 873  ignore errors  use chroot = no  read only = no  list = no    max connections = 200  timeout = 600  auth users=root #认证用户,同认证文件里的  hosts allow = 10.11.1.62 #允许链接的ip  #hosts deny = x.x.x.x #不允许的ip

        3.3、创建备份目录

mkdir /data/influxbackup/

        3.4、创建账号密码

echo 'root:123456' > etc/rsync.password#查看配置是否成功cat etc/rsync.passwordroot:123456

        3.5、设置文件权限

chmod 600 /etc/rsync*ll /etc/rsync*-rw-------. 1 root root 880 Aug 13 14:54 /etc/rsyncd.conf-rw-------. 1 root root  10 Aug 13 14:55 /etc/rsync.password

        3.6、启动服务

systemctl start rsyncd  #启动服务systemctl status rsyncd #查看服务状态systemctl enable rsyncd #设置开机启动Created symlink from /etc/systemd/system/multi-user.target.wants/rsyncd.service to /usr/lib/systemd/system/rsyncd.service.

        3.7、关闭防火墙和selinux

#关闭防火墙systemctl stop firewalld #关闭selinuxsed -ri 's/^(SELINUX=).*//1disabled/g' /etc/sysconfig/selinux#刷新配置,立即生效setenforce 0

到此,目标服务器配置完成。

4、源服务器配置

        4.1、安装rsync,操作同上,只需要安装,不需要配置和启动

        4.2、配置认证文件

#指定密码,密码注意和上面的密码一致,用户可在命令中设置echo "123456" > /etc/rsyncd.passwordchmod 600 /etc/rsyncd.password #设置文件权限ll /etc/rsyncd.password

        4.3、关闭防火墙和selinux,同3.7

        4.4、使用命令手动测试同步

#同步命令rsync -avH --port 873 --progress --delete /root/soft/backuptest/ root@10.11.1.60::backup --password-file=/etc/rsyncd.password

#打印的信息
sending incremental file list
deleting 123 #删除文件也会目标服务器的删除

sent 70 bytes  received 27 bytes  194.00 bytes/sec
total size is 0  speedup is 0.00

                 出现以上结果代表rsync安装配置成功。

5、源服务器安装配置lsyncd

        5.1安装lsyncd

yum -y install lsyncd

如出现无法安装成功,则先安装epel-release

yum install -y epel-release

服务器没有外网可下载上面的离线安装包

        5.2 配置lsyncd.conf

vim /etc/lsyncd.conf
#具体参数含义可自行百度settings {    logfile = "/var/log/lsyncd/lsyncd.log",    statusFile = "/var/log/lsyncd/lsyncd.status",    inotifyMode = "CloseWrite",    maxProcesses = 8,    maxDelays = 5, #累计到多少所监控的事件激活一次同步,即使后面的delay延迟时间还未到。    nodaemon = false,}sync { #如果有多台服务器需要同步,依次往下配置多个sync即可    default.rsync,    source = "/var/lib/influxdb/engine/", #监控的需要备份的目录    target = "root@10.11.1.60::backup",     delete = true, #删除信息也同步    delay = 15, #延迟15秒同步    init = false, #false代表启动服务前的内容不会同步,如想设置为true,删掉即可,不要配置为true    rsync = {        binary = "/usr/bin/rsync", #rsync服务路径        password_file = "/etc/rsyncd.password", #认证文件        archive = true,        compress = false,        verbose = false,        init=true        _extra = {"--bwlimit=200", "--omit-link-times"}    }}

        5.3创建日志文件

mkdir /var/log/lsyncd/touch /var/log/lsyncd/lsyncd.logtouch  /var/log/lsyncd/lsyncd.status#设置权限chmod 600 /var/log/lsyncd/lsyncd.logchmod 600 /var/log/lsyncd/lsyncd.status

        5.4启动服务

systemctl start lsyncdsystemctl status lsyncd# systemctl restart rsyncd systemctl enable lsyncd #开机启动

        5.5查看日志

Wed Sep 20 17:00:50 2023 Normal: --- Startup ---
Wed Sep 20 17:00:50 2023 Normal: recursive startup rsync: /var/lib/influxdb/engine/ -> root@10.11.1.60::backup/
Wed Sep 20 17:00:56 2023 Normal: Startup of /var/lib/influxdb/engine/ -> root@10.11.1.60::backup/ finished. 

参考文章

也许您对下面的内容还感兴趣: