对象存储 Kodo 镜像回源服务主要用于无缝迁移数据到七牛。当业务已经在您自己建立的源站或者在其它云产品上运行,需要迁移数据,但是又不能停止服务时,可利用镜像存储功能实现数据迁移。
设置镜像回源后,可以在源站资源(文件/图片等)初次访问时自动同步到空间,实现数据平滑迁移。
说明
- 业务已有的数据可以先使用七牛提供的同步工具 qshell 迁移到七牛,同时配置镜像存储,将源站的地址配置到存储空间上。
- 七牛云回源源站时,会携带固定的 User-Agent 信息:
-qiniu-imgstg-spider-1.0,RegionID为:华东 z0、华南 z1、华北 z2、华东-浙江2 cn-east-2、北美 na0、东南亚 as0。 - 更多详情请参考镜像回源;其他相关问题请参考镜像存储。
操作步骤
- 登录 Kodo 控制台进入空间管理界面
- 单击目标空间名称,单击空间设置进入空间设置界面
- 找到镜像回源栏,如图1,单击设置,右侧将弹出设置镜像回源界面
图1:
- 单击开启,即显示图2:镜像回源设置
图2:
- 在镜像回源配置界面,按如下说明配置各项参数
操作名称 说明 规则描述 主/备线路 请按需选择线路类型 - 支持添加新的线路、修改已有线路、删除已有线路
- 主线路、备线路,回源时优先选择主线路,尝试均失败后选择备线路- 按权重选择线路进行尝试,权重相同则随机选择
- 主线路、备线路回源最多分别尝试 3 个
回源地址 请输入线路的回源请求地址 回源到镜像源的线路,支持
- 域名
- 或 IP:适用于需要使用和原有资源域名相同的域名的情况权重 请设置对应线路的权重 - 范围限制 1-100, 不填默认为 1
- 权重越大,线路被选中回源概率越大,用以控制回源请求量在不同线路上的整体分布
- 主、备线路分开比较权重镜像空间 默认当前空间 不可更改 回源 host 请按需设置回源 host - 用于生成镜像回源请求时,填充请求头中的 host 字段
- 不设置时,默认为回源地址的域名URL 参数 请按需设置是否保留 URL 参数 无 回源模式 请按需选择回源模式 - 普通:回源获取了完整的目标文件以后,再返回给请求端
- Range 透传:回源单独获取文件指定的一段 Range,然后直接返回给请求端,同时异步回源获取完整目标文件;文件回源获取完成之前,同一段 Range 的请求会再次回源
- 分片回源:以指定的分片大小(1MB、4MB)为单位对齐,回源单独获取文件的一段 Range(不一定完全等于用户请求的 Range 大小)保存在缓存,同时按请求中指定的 Range 返回数据给请求端,然后异步回源获取完整目标文件;完整文件回源获取完成之前,同一段 Range 的请求会直接从缓存中返回而不会再次回源。- 请按需开启/关闭 Etag 校验
- 按需选择分片大小 1MB/4MB
重试 Code 请按需设置源站响应做回源重试的 Code - 只允许设置 4xx Code,最多 3 个,按回车输入
- 不设置时,默认源站响应 5xx 会做回源重试传递指定的 HTTP header 请按需开启传递指定的 HTTP header,并输入 header 字段 - 设置回源时传递给源站的 HTTP header;
- 支持添加、删除设置,最多可以设置 10 个;
- 禁止设置一些标准 header,比如 Content-Length,User-Agent,Range。自动生成默认的 robots.txt 配置文件(仅当 robots.txt 不存在) 请按需开启是否配置 生成的默认文件 “robots.txt“ 将保存在当前空间内 - 按权重选择线路进行尝试,权重相同则随机选择
- 单击确定,完成镜像回源设置。
- 镜像回源设置成功后,您也可以切换关闭当前设定。
具体示例
设置镜像回源主线路 a, b, c 的权重分别为 2,3,5,备线路只有 d。
- 产生回源请求时,会先尝试使用主线路做回源请求。
- 主线路 a, b, c 按权重计算,分别有 20%,30% 和 50% 的概率被选中来做此次回源。
- 回源成功,此次镜像回源处理结束;回源失败的时候会做重试。
- 如果主线路回源 3 次都失败,会再通过备线路 d 尝试回源 1 次。
- 主线路回源请求总数如果达到 100,那线路 a, b, c 回源请求次数的分布整体大致是接近 20,30,50。
文档反馈
(如有产品使用问题,请 提交工单)