让代码更简单

Rsync工具详解并实现增量备份

重要:本文最后更新于2024-03-12 14:06:50,某些文章具有时效性,若有错误或已失效,请在下方留言或联系代码狗

由于网站迁移到了国外,对数据备份又有了新的需求,实时将网站内容备份到自己家里的小主机上,比较数据放在自己这里才是最安全的。

但是8年来狗哥发布的文章加上图片大小接近1GB,如果每次都全量备份,对网站的带宽来说压力巨大,目前使用的备份到阿里云oss插件,上传一次需要1小时多,并且上传时上传带宽被占用太严重了,为了能实现每次备份只传输修改了的文件,狗哥使用前面介绍过的Rsync工具来实现增量备份功能。

Rsync工具详解并实现增量备份

rsync工具的全量备份功能这里就不多说了,前面已经讲过了,不清楚的见:rsync命令服务器搬家传输文件

安装

rsync工具大部分Linux系统中都有,没有的可以自行安装,命令如下

Debian/Ubuntu中使用

复制
sudo apt-get update
sudo apt-get install rsync

CentOS/RHEL系统中使用

复制
sudo yum install rsync

Fedora系统中使用

复制
sudo dnf install rsync

MacOS系统中使用

复制
brew install rsync

解释命令

首先是源端和备份端的区分,rsync命令中分为这样几个部分

复制
rsync命令+参数+源端+备份端

比如说如下命令就是将(源端)本地的/www/testback/test/文件夹的内容传输到(备份端)远程的xxx.xxx.xxx.xxx主机的/www/wwwroot/test文件夹中。

复制
rsync -avztP /www/testback/test/ root@xxx.xxx.xxx.xxx:/www/wwwroot/test/

使用远程是适合,使用:指定远程地址路径,如上示例。本地的话就不用了,直接填本地路径就行了。

更多参数

复制
-v:显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
-P:显示文件传输的进度信息。(实际上"-P"="--partial --progress",其中的"--progress"才是显示进度信息的)。
-n --dry-run  :仅测试传输,而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-a --archive  :归档模式,表示递归传输并保持文件属性。等同于"-rtopgDl"。
-r --recursive:递归到目录中去。
-t --times:保持mtime属性。强烈建议任何时候都加上"-t",否则目标文件mtime会设置为系统时间,导致下次更新检查出mtime不同从而导致增量传输无效。
-o --owner:保持owner属性(属主)。
-g --group:保持group属性(属组)。
-p --perms:保持perms属性(权限,不包括特殊权限)。
-D        :是"--device --specials"选项的组合,即也拷贝设备文件和特殊文件。
-l --links:如果文件是软链接文件,则拷贝软链接本身而非软链接所指向的对象。
-z        :传输时进行压缩提高效率。
-R --relative:使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端,包括它们的属性。用法见下文示例。
--size-only :默认算法是检查文件大小和mtime不同的文件,使用此选项将只检查文件大小。
-u --update :仅在源mtime比目标已存在文件的mtime新时才拷贝。注意,该选项是接收端判断的,不会影响删除行为。
-d --dirs   :以不递归的方式拷贝目录本身。默认递归时,如果源为"dir1/file1",则不会拷贝dir1目录,使用该选项将拷贝dir1但不拷贝file1。
--max-size  :限制rsync传输的最大文件大小。可以使用单位后缀,还可以是一个小数值(例如:"--max-size=1.5m")
--min-size  :限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
--exclude   :指定排除规则来排除不需要传输的文件。
--delete    :以SRC为主,对DEST进行同步。多则删之,少则补之。注意"--delete"是在接收端执行的,所以它是在:exclude/include规则生效之后才执行的。
-b --backup :对目标上已存在的文件做一个备份,备份的文件名后默认使用"~"做后缀。
--backup-dir:指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
-e          :指定所要使用的远程shell程序,默认为ssh。
--port      :连接daemon时使用的端口号,默认为873端口。
--password-file:daemon模式时的密码文件,可以从中读取密码实现非交互式。注意,这不是远程shell认证的密码,而是rsync模块认证的密码。
-W --whole-file:rsync将不再使用增量传输,而是全量传输。在网络带宽高于磁盘带宽时,该选项比增量传输更高效。
--existing  :要求只更新目标端已存在的文件,目标端还不存在的文件不传输。注意,使用相对路径时如果上层目录不存在也不会传输。
--ignore-existing:要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能,见下文示例。

增量备份示例

复制
rsync -avztP --delete --bwlimit=200 --exclude='wp-content/cache/' --exclude='wp-content/themes/xxx/' root@xxx.xxx.xxx.xxx:/www/wwwroot/xxx/ /www/testback/xxx/

简单解释下,参数-avztP就不多说了,上面的介绍自己看,bwlimit表示限速,单位是kb/s。exclude表示排除路径,有多个排除路径的就多写几个exclude参数,并且这里不仅支持相对源端路径,也支持绝对路径。

根据上面的介绍,解读这行命令的意思就是:将远程xxx.xxx.xxx.xxx的/www/wwwroot/xxx/路径里的文件,排除/www/wwwroot/xxx/wp-content/cache/文件夹,排除/www/wwwroot/xxx/wp-content/themes/xxx/文件夹后,以归档模式压缩传输本地没有或已改变的文件到本地/www/testback/xxx/,并显示传输信息和进度,整个传输过程限速200kb/s。

使用ssh连接服务器,测试备份命令是否正常工作,然后就可以交给定时任务来操作了,解放双手。

感觉很棒!可以赞赏支持我哟~

1 打赏

评论 (1)

登录后评论
宝塔也带了这个工具
QQ咨询 邮件咨询 狗哥推荐