mongodb如何实现增量/全量备份脚本

2025-03-24 技术教程

这篇文章主要介绍了mongodb如何实现增量/全量备份脚本，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

功能

定期对mongodb数据库数据进行全量备份或增量备份（副本集架构），并可以压缩上传到阿里云oss(本地会先生成压缩包，可以设置不上传oss)。

脚本运行环境

使用python语言编写，需安装python，pymongo和mongodb shell客户端（测试时使用python 2.7.6，pymongo 3.0.3和mongodb shell 2.0.4）。

脚本部署步骤

1. 将脚本放到一台linux主机

2. 如果是增量备份，创建mongodb 备份角色用户或更高权限的admin库用户。（导出时会先切换到admin库来验证权限，需有查询local库，mongodump local库和mongodump目标库的权限）

useadmindb.addUser({user:"xxxxx",pwd:"xxxxx",roles:["backup"]})

3. 编辑config.properties，修改oss、mongodb连接等配置信息

##阿里云oss连接配置endpoint=oss.aliyuncs.comaccessKeyId=xxxxxxxaccessKeySecret=xxxxxxxbucket=db-backup##mongodb连接配置#建议用从库的地址，减少对主库压力db_host=localhostdb_port=27017#如果是增量备份方案，为步骤2中的创建的用户，或更高权限的admin用户；如果是全量备份方案，则只需有目标库的操作权限db_user=testbdb_passwd=testb#目标库db_name=che#备份到本地的临时目录db_backup_root_path=/temp/backup/#如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径mongo_shell_path=/dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/#增量备份还是全量备份1:增量备份0:全量备份is_inc_backup=1#每多少天进行一次全量备份full_backup_period=7#是否上传到oss，如果1，上传成功后会删除本地备份文件；0:不上传到ossis_upload_to_oss=0

4. 将start.py加入linux定时任务。crontab任务配置如 0 4 * * * python /xxx/start.py >> /xxx/xxx.log 2>&1

增量时恢复步骤：

1. 创建mongodb 具有applyOps权限的角色以及用此角色的用户。（需有执行 mongorestore --oplogReplay的用户权限）

useadmindb.createRole({role:"applyOpsRole",privileges:[{resource:{anyResource:true},actions:["anyAction"]}],roles:[]})db.addUser({user:"xxxx",pwd:"xxxx",roles:["applyOpsRole"]})

2. 修改 restore_inc.py里的配置

##阿里云oss配置endpoint="oss.aliyuncs.com"accessKeyId="xxxxxxx"accessKeySecret="xxxxxxx"bucket="db-backup"##mongodb导入的配置db_host="localhost"db_port=27017#步骤1创建的用户db_user="testr"db_passwd="testr"db_name="che"#recentcirclebackupdireactoryonoss最新备份文件的周期名，即备份临时目录中mongodb_inc_backup_info.json的last_circle_backup_dir_name或oss中文件夹名last_circle_backup_dir_name="mongodb_cycle_backup_20151124141133"#从oss上下载到本地的临时目录restore_local_temp_path="H:\\pythoncode\\temp\\restore\\"#如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径mongo_shell_path="/alidata1/dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/"#backupfilehasdownloadtolocal?ifTrue,willnotdownloadbackupfilesfromoss#是否备份文件已经下载到本地，如果true，则不会从oss下载和解压，本地已有has_download_to_local=False#恢复时是否先删除旧的数据库is_drop_old_restore=True

3. 导入期间停止mongodb写入

4. 执行 restore_inc.py

全量时恢复步骤：

1. 修改 restore_full.py里的配置

##阿里云oss配置endpoint="oss.aliyuncs.com"accessKeyId="xxxxxxx"accessKeySecret="xxxxxxx"bucket="db-backup"##mongodb导入的配置db_host="localhost"db_port=27017#数据库对应的用户db_user="test"db_passwd="test"db_name="che"#recentcirclebackupdireactoryonoss最新备份文件的周期名，oss上存储的文件名称是last_circle_backup_dir_name+last_full_backup_file_suffixlast_circle_backup_dir_name="mongodb_cycle_backup_20151124141133"last_full_backup_file_suffix=".tar.gz"#备份的目录，实际全量备份的路径为restore_local_temp_path+last_circle_backup_dir_name+db_namerestore_local_temp_path="H:\\pythoncode\\temp\\restore\\"#如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径mongo_shell_path="/alidata1/dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/"#backupfilehasdownloadtolocal?ifTrue,willnotdownloadbackupfilesfromoss#是否备份文件已经下载到本地，如果true，则不会从oss下载和解压，本地已有has_download_to_local=False#恢复时是否先删除旧的数据库is_drop_old_restore=True

2. 执行 restore_full.py