设置镜像回源
镜像回源服务主要用于无缝迁移数据到七牛,即业务已经在自己建立的源站或者在其它云产品上运行,需要迁移数据,但是又不能停止服务,此时可利用镜像存储功能实现。具体场景分析如下:
业务已有的数据可以先使用七牛提供的同步工具 qshell 迁移到七牛,同时配置镜像存储,将源站的地址配置到存储空间上。
七牛云回源源站时,会携带固定的User-Agent信息:<RegionID>-qiniu-imgstg-spider-1.0
,RegionID为:华东z0、华南z1、华北z2、北美na0、东南亚as0。
操作步骤
登录七牛开发者平台,进入某一个空间的「空间设置」界面,点击「镜像回源」的设置按钮,即可进入镜像回源的设置界面。
设置步骤如下:
- 线路设置:回源到镜像源的线路,可以是域名或IP
- 添加新的线路/修改已有线路
- 选择线路类型:主线路、备线路;回源时优先选择主线路,主线路回源失败(尝试3次)才会尝试回源备线路。
- 设置线路的回源地址:回源请求地址。
- 设置线路权重:权重越大,线路被选中回源概率越大,用以控制回源请求量在不同线路上的整体分布;主、备线路分开比较权重。
- 删除已有线路
- 设置回源host:用于生成回源请求时,填充请求头中的「Host」字段。
- 设置是否保留URL参数
- 选择回源模式
- 普通:回源获取了完整的目标文件以后,再返回给请求端。
- Range 透传:回源单独获取文件指定的一段range,然后直接返回给请求端,同时异步回源获取完整目标文件;文件回源获取完成之前,同一段range的请求会再次回源。
- 分片回源:以指定的分片大小(1MB、4MB)为单位对齐,回源单独获取文件的一段range(不一定完全等于用户请求的range大小)保存在缓存,同时按请求中指定的range返回数据给请求端,然后异步回源获取完整目标文件;完整文件回源获取完成之前,同一段range的请求会直接从缓存中返回而不会再次回源。
- 设置回源时传递给源站的HTTP header:最多可以设置10个;禁止设置一些标准header,比如Content-Length,User-Agent,Range。
示例
设置镜像回源主线路a,b,c的权重分别为2,3,5,备线路只有d。
- 产生回源请求时,会先尝试使用主线路做回源请求。
- 主线路a,b,c按权重计算,分别有20%,30%和50%的概率被选中来做此次回源。
- 回源成功,此次镜像回源处理结束;回源失败的时候会做重试。
- 如果主线路回源3次都失败,会再通过备线路d尝试回源,最多3次。
- 主线路回源请求总数如果达到 100,那线路a,b,c回源请求次数的分布整体大致是接近20,30,50。
文档反馈
(如有产品使用问题,请 提交工单)