数据备份
概述
七牛企业级存储支持将您本地数据备份到云端,基于七牛企业级存储的多副本存储和纠删码机制,提升数据的安全性,为生产数据提供双重保障。
技术原理
完全备份
首先调用系统 API 遍历文件系统上的目录结构,通过 API 获取文件或文件夹的元数据信息(路径、创建时间、大小、属性等文件信息),备份到七牛企业级存储的指定 bucekt 中;如果是文件,会顺序获取文件的数据块备份至指定 bucket 。
增量备份
Windows 环境下的文件或文件夹都有一个“可以存档文件”或“可以存档文件夹” 的属性。当文件内容、属性发生变化或新建文件时,系统会自动设置该属性;如果已经完成备份,程序将会去除该属性标记。利用以上特性,增量备份时会通过该属性来判断文件是否发生变化,如果存在标记则会对该文件、目录进行备份,否则将不备份。
非 Windows 环境下文件系统的增量备份则是利用修改时间来判断。当文件的内容发生变化时,其修改时间也会改变。文件备份完成后,会将文件的路径和修改时间的时间戳保存在一个本地文件中。进行增量备份时,如果该文件当前的修改时间和上次备份的修改时间不一致则需进行备份,否则不备份。备份完成后再次更新本地文件中的信息。
浏览恢复
客户端从七牛云存储的bucket中获取备份文件的元数据信息及数据块,客户端生成恢复路径并根据设置的恢复策略对文件进行恢复。如果恢复的是增量时间点,则只恢复该文件从所选时间点之前最后一次完全备份到所选时间点之间最新的一份备份数据。
方案架构
方案特性
- 海量通用数据存储:七牛企业级存储可存储任意类型、任意数量、任意大小的文件
- EB级高扩展高性能:支持横向扩展,容量可扩展至EB级别,性能随容量增量线性扩展
- 高可靠:多副本存储,同时具备双活及跨地域多中心的服务能力
- 统一的数据保护:支持多种操作系统、虚拟平台、数据库的备份
- 高性能的备份恢复:支持重复数据删除、LAN-Free、断点续传、数据加密等技术,提供高效专业的保护
- 低成本:智能数据分层和纠删码技术,显著降低存储成本;一套方案来满足多种数据备份需求
方案说明
- 安装管理控制台,管理员通过管理控制台,进行数据备份、恢复及其他管理操作
- 在需要备份的服务器或计算机上部署备份客户端,客户端可以响应管理控制台的命令,提供数据备份和恢复功能
- 将七牛企业级存储通过管理控制台,添加到云存储设备中,并提供存储用户的AK/SK以进行上传等操作。备份时可以选此存储用户下的任一 bucket 作为备份目的地
文件备份
通过管理控制台创建一个基于文件系统应用类型的定时备份任务,进行文件备份。
- 支持在备份时开启源端重复数据删除,重删率可达 95%以上,大幅减少备份空间占用并提升备份效率。客户端在处理重删任务时能自行判断采用块级重删或是文件级重删。
- 支持备份时开启完全副本保留策略,可对存储空间进行循环利用,当完全备份产生的副本数到达用户的设定值,下一次完全备份成功后会自动删除最早的一份完全副本,实现备份存储的自动化管理。
- 支持开启传输和存储加密,采用AES256 和 SM4 高级加密标准算法,确保了各个阶段的数据安全。
- 支持在备份任务和自动恢复策略中添加自定义脚本,在备份和自动恢复执行前、执行成功后、执行失败后触发,能灵活满足用户更多定制化的需求。
- 支持文件过滤,当文件数量较多而用户只想备份其中的一部分文件时,人性化的文件过滤规则能进行数据源的批量选取和排除。支持的过滤规则有:
- 类型过滤可通过识别文件格式是否属于指定类型(Office 文件、音乐、 视频、图片等)而进行选取或排除;
- 文件过滤可对指定路径下的指定文件进行选取或排除;
- 目录过滤可对指定路径的文件目录进行选取或排除;
- 时间过滤可根据指定时间范围的最后修改时间、创建时间或最后访问时间进行选取或排除。
- 支持设置多重丰富的任务计划,包括:
- 完全备份、增量备份、差异备份 ;
- 制定周期性或定期任务,如一次性、每几天、每几周、某月某日
- 支持重复任务,在一次备份后的一段时间内每隔一个时间周期再次触发备份请求
文件恢复
手动操作恢复
当生产服务器发生文件数据丢失,可通过发起浏览恢复任务,恢复已备份的文件。支持将数据恢复到原机原路径、原机或异机的新路径上,同时还支持指定同名文件的替换规则:仅替换比恢复文件更旧的文件、总是直接替换已存在的文件或跳过已存在的文件
自动恢复
当用户希望备份成功后自动将数据恢复到其他客户端时,支持在文件系统的定时备份中启用自动恢复策略,实现完全备份和增量备份后的自动恢复,减少操作员的重复工作。当用户选择在增量备份后进行自动恢复时,无需将所有备份数据传输到指定客户端, 只会对增量备份这部分的数据进行恢复,即为增量恢复。