rsync同步文件步骤示例和命令详解

用户北仁子儿 發表於 2025-3-22 00:00:00

<div id="navCategory"><h5 class="catalogue">目录</h5><ul class="first_class_ul"><li>rsync简介</li><li>rsync安装<ul class="second_class_ul"><li>1、安装rsync</li><li>2、添加配置文件：</li><li>3、配置账户密码</li><li>4、 mysql 数据定时导出</li><li>5、修改 rsyncd.motd</li><li>6、后台进程启动：</li><li>7、在备服务器上，配置简单很多</li><li>8、主服务器防火墙放通rsync端口</li></ul></li><li>rsync命令<ul class="second_class_ul"><li>命令格式</li><li>常用选项</li><li>命令参数</li></ul></li></ul></div>rsync可以在连个计算机（服务器）之间，或者两个本地目录之间同步文件。它也可以当作文件复制工具，替代<code>cp</code>和<code>mv</code>命令。与其他文件传输工具（如 FTP 或 scp）不同，rsync 的最大特点是会检查发送方和接收方已有的文件，仅传输有变动的部分（默认规则是文件大小或修改时间有变动）。<h2>rsync简介</h2>rsync（remote sync）是类unix系统下的数据镜像备份工具。它的特性如下：<ol class=" list-paddingleft-2"><li>可以镜像保存整个目录树和文件系统。</li><li>可以很容易做到保持原来文件的权限、时间、软硬链接等等。</li><li>无须特殊权限即可安装。</li><li>快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。</li><li>安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。</li><li>支持匿名传输，以方便进行网站镜象。</li></ol><h2>rsync安装</h2><h3>1、安装rsync</h3>两台服务器安装 <code>yum install -y rsync</code>  或者在官网<code>https://rsync.samba.org/</code> 下载离线包编译安装https://download.samba.org/pub/rsync/src/rsync-3.1.3.tar.gz<h3>2、添加配置文件：</h3>rsync默认没有配置文件，需自行新建<pre>mkdir -p /etc/rsynctouch rsyncd.conf rsyncd.pw rsyncd.motdchmod 600 rsyncd.pw</pre>主服务器配置<pre>pid file = /var/run/rsyncd.pidmotd file = /etc/rsyncd/rsyncd.motdlog file = /var/log/rsync.loglog format = %t %a %m %f %bsyslog facility = local3timeout = 60port = 31873address = 192.168.100.4uid = rootgid = rootuse chroot = yesread only = yeshosts allow=192.168.100.5hosts deny=*max connections = 4# 同步代码文件path = /root/mydjangolist=yesignore errorsauth users = rootsecrets file = /etc/rsyncd/rsyncd.pwcomment =webapps data syncexclude = logs/# 同步数据文件path = /root/apps_mysqllist=yesignore errorsauth users = rootsecrets file = /etc/rsyncd/rsyncd.pwcomment =webapps mysql db data sync</pre> 参数说明：这里的端口已经被重新设定为5位数，安全考虑，并且防火墙iptables要放通该端口read only：只容许客户端对服务器的同步目录读，保证安全 ：模块名，自己定义，可以在下方添加多个模块，每个模块对应一个目录。须与客户端执行命令中的模块名一致。因为客户端命令：rsync://192.168.100.4/django_apps 这里django_apps就是模块名path：要备份的服务端文件夹路径。 hosts allow：允许的客户端连接IP，多个IP用逗号隔开，也可以写一段IP。 secrets file：服务端密码文件，内容格式为，用户名:密码，uid=root，所以这里用户名设为root，密码不需要设置为服务器登录密码，可以是其他密码。 auth users：有权限的用户名，与密码文件中用户名一致。exclude:排除不需要同步目录，例如这里 logs/注意：<code>https://download.samba.org/pub/rsync/rsync.html</code>以及https://download.samba.org/pub/rsync/rsyncd.conf.html官方使用指引，非常详细，推荐参考 <h3>3、配置账户密码</h3>这里使用root账户，但密码是随机设置，请勿设置服务器登录密码！<code>vim rsyncd.pw</code>root:Jp219881_$Ah<h3>4、 mysql 数据定时导出</h3>创建<code>mysql_daily_bak.sh</code>脚本，数据文件放在/data/bak目录下<pre># 导出目标库，以sql形式导出/opt/app/bin/mysqldump bigdata >/data/bak/bigdata-`date +%Y%m%d`.sql/opt/app/bin/mysqldump cns >/data/bak/cns-`date +%Y%m%d`.sql/opt/app/bin/mysqldump ems >/data/bak/ems-`date +%Y%m%d`.sql# 保留半年数据find /data/bak/ -mtime +180 -name '*.sql' -exec rm -rf {} \;</pre>加入到定时任务，例如每天凌晨一点备份<code>0 */1 * * * sh /etc/rsync/mysql_daily_bak.sh</code><h3>5、修改 rsyncd.motd</h3>它是定义 rysnc 服务器在客户端同步登陆显示的欢迎条，可自行定义，最好说明来自哪里的同步server<code>files syncon blog server which server IP is</code><h3>6、后台进程启动：</h3><code>rsync --daemon --config=/etc/rsync/rsyncd.conf</code>加入开机自启：在 rc.local 末尾追加一行，如下:<pre>vi /etc/rc.d/rc.local/usr/bin/rsync --daemon --config=/etc/rsync/rsyncd.conf</pre>但以上配置也会引起 rsync启动失败，因为rsync重启时需要根据rsyncd.conf创建/var/run/rsyncd.pid ，但因之前启动已经创建，导致提示文件已存在而无法启动，所以正确配置如下：创建一个脚本 <code>restart_rsync.sh</code> 可以放在/etc/rsyncd/<pre>rm -f /var/run/rsyncd.pidrsync --daemon --config=/etc/rsync/rsyncd.conf</pre>再将脚本加入到开机自启因在centos7上， /etc/rc.d/rc.local权限默认没有执行权限，需重赋权限，该文件上也有提示要加入可执行权限Please note that you must run ‘chmod +x /etc/rc.d/rc.local’ to ensure that this script will be executed during boot<code>chmod +x /etc/rc.d/rc.local</code>内容追加vi /etc/rc.d/rc.local<code>sh /etc/rsync/restart_rsync.sh</code><h3>7、在备服务器上，配置简单很多</h3>创建 /etc/rsyncd文件，里面只需要新建sh文件<code>etc/rsyncd/run_rsync.sh</code><pre>rsync -ztruvoglp--password-file=/etc/rsync/rsyncd.secrets--delete rsync://192.168.100.4:31873/django_apps/root/mydjango/# 如有多个目录，可以继续添加rsync -ztruvoglp--password-file=/etc/rsync/rsyncd.secrets--delete rsync://192.168.100.4:31873/django_blog/root/myblog/</pre> 这里rsync://IP/对应服务器rsyncd.conf配置需要同步的“module”，也就是django_apps，注意不是目录路径/root/mydjango/ 对应在备服务器上创建与主服务器一致的文件目录路径，如果备服务器已经创建了该目录，那么rsync不在创建，而是同步文件和目录rsync -ztruvoglp 参数说明<pre>-a 以archive模式操作、复制目录、符号连接-r 递归,同步目录及其子目录所有文件-l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件；-z 传输时压缩；-P 传输进度；-v 传输时的进度等信息，和-P有点关系，自己试试。可以看文档；-e ssh的参数建立起加密的连接。-u 只进行更新，防止本地新文件被重写，注意两者机器的时钟的同时--progress是指显示出详细的进度情况--delete是指如果服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致--password-file=/password/path/file来指定密码文件，这样就可以在脚本中使用而无需交互式地输入验证密码了</pre> 这里为何创建run_rsync.sh，因为rsync客户端侧，没有定时运行功能，因此需要自行写个sh，然后在crontab里设定定时任务，定时向rsync服务器端更新文件*/1 * * * * /etc/rsyncd/run_rsync.sh 每1分钟从主服务器增量同步一次也可以为不同同步目录创建不同的sh来控制其同步间隔例如大文件 */30 * * * * /etc/rsyncd/large_file_rsync.sh 每30分钟从主服务器增量同步一次注：若所同步的文件夹为小文件且数量多、更改频繁的，同步时间间隔可以设为较大值若所同步的文件为大文件，其删改频率低，同步时间间隔可以设为较大值<h3>8、主服务器防火墙放通rsync端口</h3>防火墙配置是一个非常重要环节，在很多技术产品部署过程中，很多教程都让你先关闭防火墙以便排除网络、端口连通性故障，但实际生产或者项目正式使用时，防火墙必须打开，而且需要写入精细的acl策略，保证系统安全。 centos7.5<pre>firewall-cmd --zone=public --add-port=31873/tcp --permanentfirewall-cmd --reload</pre> redhat6.5 使用iptables配置防火墙直接在shell命令行加入，通过save操作，将其写入到<code>/etc/sysconfig/iptables</code>，保证永久生效<pre>iptables -A INPUT -p tcp --dport 31873 -s 192.168.100.0/24 -j ACCEPT/etc/rc.d/init.d/iptables saveservice iptables restart</pre>或者在iptables文件中详细写入相关规则iptables 的策略配置：首先拒绝所有包访问主服务器
逐条放通某个端口或者某个IP访问该主服务器<pre>*filter:INPUT ACCEPT :FORWARD ACCEPT :OUTPUT ACCEPT # 以三条 :blog-server - -A INPUT -j blog-server-A FORWARD -j blog-server-A OUTPUT -j blog-server-A blog-server -i lo -j ACCEPT-A blog-server -p icmp --icmp-type any -j ACCEPT-A blog-server -m state --state ESTABLISHED,RELATED -j ACCEPT# 放通rsyncd端口31873，仅192.168.100.0/24可访问-A blog-server -p tcp --dport 31873 -s 192.168.100.0/24 -j ACCEPT# 放通ssh端口31873，仅192.168.100.0/24可访问-A blog-server -p tcp --dport 31022 -s 192.168.100.0/24 -j ACCEPT# 服务器禁ping-A blog-server -j REJECT --reject-with icmp-host-prohibitedCOMMIT</pre><h2>rsync命令</h2> <h3>命令格式</h3>三种模式：1）本地同步模式<pre class="brush:html;toolbar:false">rsync [选项] [源文件] [目标目录]</pre>2）通过远程ssh访问模式：需要输入服务端用户的密码拉取(pull) ：将服务端文件拉取到本地目录<pre class="brush:html;toolbar:false">rsync  [选项]  用户@主机:源文件 [本地目标地址]</pre>推送(push) ：将本地目录或文件推送到服务端<pre class="brush:html;toolbar:false">rsync [选项]  [本地源文件]  用户@主机:[目标地址]</pre>3）rsync 守护进程模式拉取：将服务端文件拉取到本地目录<pre class="brush:html;toolbar:false">rsync  [选项]  用户@主机::源文件 [目标文件]
rsync  [选项]  rsync://用户@主机:端口/源文件 [目标文件]</pre>推送：将本地目录或文件推送到服务端<pre class="brush:html;toolbar:false">rsync [选项]  [源文件]  用户@主机:源文件
rsync [选项]  [源文件]  rsync://用户@主机:端口/源文件 [目标文件]</pre><h3>常用选项</h3><pre class="brush:html;toolbar:false">-v ：详细信息输出
-z ：传输时进行压缩以提高传输效率
-a：以递归方式传输文件，并保持所有文件的属性，等同于-rlptgoD
-r：对子目录以递归模式，即目录下的所有目录都以同样的模式传输，注意是小写的r
-l：对于符号链接文件仍然复制为符号链接文件
-H：保留硬链接文件
-p：保留文件的权限标记
-t：保留文件的时间标记
-g：保留文件的属组标记(仅超级用户使用)
-o：保留文件的属主标记(仅超级用户使用)
-A ：保留ACL属性信息
-D：保留设备文件及其他特殊文件
-S：–sparse 对稀疏文件进行特殊处理以节省DST的空间
-P：显示同步的过程及传输时的进度等信息
-e：使用信道协议，指定替代rsh的shell程序，例如ssh
-n：测试选项，模拟执行
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件(不覆盖更新的文件)
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename.可以使用–suffix选项来指定不同的备份文件前缀
–backup-dir=DIR 将备份文件(如~filename)存放在指定目录下
–suffix=SUFFIX 定义备份文件前缀,默认是~（没有前缀）
–delete：刪除目标位置有而原始位置没有的文件
–checksum：根据対象的校金和来决定是否跳过文件
–exclued：指定排除不需要传输的文件模式（和tar参数一样）
–delete：是目标目录内容和源文件保持一致，删除不同的文件
–bwlimit=KBPS：限制传输速度
–progress：在传输过程中显示进度</pre><h3>命令参数</h3><pre class="brush:html;toolbar:false;">用途: rsync ... SRC ... DEST
通过远程shell访问方式:
rsync [选项]... [用户名@]HOST:SRC 
rsync [选项]... SRC ... [用户名@]HOST:DEST
通过rsync daemon访问方式:
rsync [选项]... [用户名@]HOST::SRC 
rsync [选项]... SRC ... [用户名@]HOST::DEST
rsync [选项]... SRC ... rsync://[用户名@]HOST[:PORT]/DEST
rsync [选项]... rsync://HOST[:PORT]/SRC 
 
请注意，':'会使用ssh来远程连接，而'::'以及'rsync://'则用于以tcp方式连接一个rsync daemon服务器，这个需要SRC(源),以及包含模块名字的DEST(目的)
 
选项
-v, --verbose 详细模式输出
--info=FLAGS 输出INFO级别
--debug=FLAGS 输出DEBUG级别
--msgs2stderr 用于调试的特殊输出处理
-q, --quiet 忽略非error的输出
--no-motd 忽略Daemon模式的MOTD
-c, --checksum 让自动跳过基于校验和而非默认的修改时间以及文件大小
-a, --archive 归档(压缩)模式,表示以递归方式传输文件,并保持所有文件属性等同于-rlptgoD(无 -H,-A,-X)
--no-OPTION 关闭隐含的选项(例如 --no-D)
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
--no-implied-dirs 不使用--relative发送隐含的目录
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename.可以使用--suffix选项来指定不同的备份文件前缀
--backup-dir=DIR 将备份文件(如~filename)存放在指定目录下
--suffix=SUFFIX 定义备份文件前缀,默认是~
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件(不覆盖更新的文件)
--inplace update destination files in-place (SEE MAN PAGE)
--append 将数据附加到较短的文件
--append-verify 类似--append,但是对旧数据会计算校验和
-d, --dirs 不使用递归传输目录
-l, --links 不处理符号链接(保留符号链接)
-L, --copy-links 将符号链接处理为具体的文件或者文件夹
--copy-unsafe-links 只处理不安全的符号链接
--safe-links 忽略不在SRC源目录的符号链接
--munge-links munge符号链接使它们更安全(但会无法使用)
-k, --copy-dirlinks 把指向文件夹的符号链接转换为文件夹
-K, --keep-dirlinks 把接收端的指向文件夹的符号链接当做文件夹
-H, --hard-links 保留硬链接
-p, --perms 保留权限
-E, --executability 保留文件的可执行属性
--chmod=CHMOD 影响文件或文件夹的属性
-A, --acls 保留ACLs (代表--perms)
-X, --xattrs 保留扩展属性
-o, --owner 保留所有者(仅限superuser)
-g, --group 保留组
--devices 保留设备文件(仅限superuser)
--copy-devices 把设备文件内容当做文件一样进行复制处理
--specials 保留特殊文件
-D 和--devices --specials一样
-t, --times 保留修改时间
-O, --omit-dir-times 忽略文件夹的修改时间
-J, --omit-link-times 忽略符号链接的修改时间
--super 接收端尝试使用superuser进行操作
--fake-super 使用xattrs来存储和恢复权限属性
-S, --sparse 对稀疏文件进行特殊处理以节省空间
--preallocate 在写入前预分配DST文件
-n, --dry-run 执行一个没有实际更改的试运行,只会显示文件会被如何操作
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定使用rsh,ssh方式进行数据同步
--rsync-path=PROGRAM 指定远程服务器上的rsync命令所在路径
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--ignore-existing 跳过更新已存在于DST的文件
--remove-source-files 发送方删除非文件夹的源文件
--del --delete-during的一个alias
--delete 删除那些DST中SRC没有的文件
--delete-before 传输前删除，而非传输过程中
--delete-during 在传输过程中删除
--delete-delay 在传输过程中确定要删除的,在传输结束后进行删除
--delete-after 在传输结束后删除，而非传输过程中
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--ignore-missing-args 忽略丢失的源参数不输出错误
--delete-missing-args 从DEST删除丢失的源参数
--ignore-errors 即使出现I/O错误也进行删除
--force 即使文件夹非空也强制删除
--max-delete=NUM 不删除超过指定数量的文件
--max-size=SIZE 不传输超过指定大小的文件
--min-size=SIZE 不传输小于指定大小的文件
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输(即断点续传)
--partial-dir=DIR 将因故没有完全传输的文件放到指定文件夹
--delay-updates 在传输末尾把所有更新的文件放到位
-m, --prune-empty-dirs 从文件列表中删除空目录链
--numeric-ids 不要把uid/gid值映射为用户/组名
--usermap=STRING 自定义用户名映射
--groupmap=STRING 自定义组名映射
--chown=USER:GROUP 简单的用户/组名映射
--timeout=SECONDS 设置I/O超时,单位为秒
--contimeout=SECONDS 设置Daemon连接超时,单位为秒
-I, --ignore-times 不跳过那些有同样的时间和大小的文件
-M, --remote-option=OPTION 只把指定选项发送到远端
--size-only 只跳过大小相同的文件
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T, --temp-dir=DIR 在指定文件夹中创建临时文件
-y, --fuzzy 如果DEST没有任何文件,查找类似的文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
--copy-dest=DIR 和上面的类似,但是还会复制指定文件夹中的没有改变的文件
--link-dest=DIR 和上面类似,只是没有改变的文件会被硬链接到DST
-z, --compress 在传输过程中进行压缩
--compress-level=NUM 指定压缩级别0-9,默认为6
--skip-compress=LIST 跳过压缩文件后缀在指定列表中的文件
-C, --cvs-exclude 自动跳过CVS的生成文件
-f, --filter=RULE 添加一个文件过滤规则
-F 等于--filter='dir-merge /.rsync-filter'
    重复的: --filter='- .rsync-filter'
--exclude=PATTERN 排除符合匹配规则的文件
--exclude-from=FILE 从指定文件中读取需要排除的文件
--include=PATTERN 包含(不排除)符合匹配规则的文件
--include-from=FILE 从指定文件中读取需要包含(不排除)的文件
--files-from=FILE 从指定文件中读取SRC源文件列表
-0, --from0 从文件中读取的文件名以'\0'终止
-s, --protect-args 没有空格分隔;只有通配符的特殊字符
--address=ADDRESS 绑定到指定的地址
--port=PORT 指定其他的rsync服务端口
--sockopts=OPTIONS 指定自定义的TCP选项
--blocking-io 对远程shell使用阻塞IO
--stats 提供某些文件的传输状态
-8, --8-bit-output 在输出中留下高比特的字符
-h, --human-readable 用人类可读的格式输出数字
--progress 在传输过程中显示进度
-P 等同于--partial --progress
-i, --itemize-changes 输出对所有更新的变更摘要
--out-format=FORMAT 用指定格式输出更新
--log-file=FILE 将日志保存到指定文件
--log-file-format=FMT 用指定格式更新日志
--password-file=FILE 从文件读取Daemon服务器密码
--list-only 不复制而是只列出
--bwlimit=RATE 限制套接字I/O带宽
--outbuf=N|L|B 设置输出缓冲,为None,Line或者Block
--write-batch=FILE 写入批量更新到指定文件
--only-write-batch=FILE 和上面类似,但是对DST进行只写的更新
--read-batch=FILE 从指定文件读取一个批量更新
--protocol=NUM 强制使用指定的老版本协议
--iconv=CONVERT_SPEC 对文件名进行字符编码转换
--checksum-seed=NUM 设置块/文件的校验和种子
-4, --ipv4 偏向于使用IPv4
-6, --ipv6 偏向于使用IPv6
--version 打印版本号
(-h) --help 显示帮助信息</pre> 以上就是rsync同步文件步骤示例和命令详解的详细内容，更多相关资料请阅读琼殿技术社区其它文章！

頁: [1]

琼殿技术论坛's Archiver

rsync同步文件步骤示例和命令详解