对象存储

  • 对象存储 > 快速入门 > 设置镜像回源

    设置镜像回源

    最近更新时间: 2020-12-28 20:14:43

    镜像回源服务主要用于无缝迁移数据到七牛,即业务已经在自己建立的源站或者在其它云产品上运行,需要迁移数据,但是又不能停止服务,此时可利用镜像存储功能实现。具体场景分析如下:

    业务已有的数据可以先使用七牛提供的同步工具 qshell 迁移到七牛,同时配置镜像存储,将源站的地址配置到存储空间上。

    七牛云回源源站时,会携带固定的User-Agent信息:<RegionID>-qiniu-imgstg-spider-1.0,RegionID为:华东z0、华南z1、华北z2、北美na0、东南亚as0。


    操作步骤

    登录七牛开发者平台,进入某一个空间的「空间设置」界面,点击「镜像回源」的设置按钮,即可进入镜像回源的设置界面。

    设置步骤如下:

    1. 线路设置:回源到镜像源的线路,可以是域名或IP
    • 添加新的线路/修改已有线路
      • 选择线路类型:主线路、备线路;回源时优先选择主线路,主线路回源失败(尝试3次)才会尝试回源备线路。
      • 设置线路的回源地址:回源请求地址。
      • 设置线路权重:权重越大,线路被选中回源概率越大,用以控制回源请求量在不同线路上的整体分布;主、备线路分开比较权重。
    • 删除已有线路
    1. 设置回源host:用于生成回源请求时,填充请求头中的「Host」字段。
    2. 设置是否保留URL参数
    3. 选择回源模式
    • 普通:回源获取了完整的目标文件以后,再返回给请求端。
    • Range 透传:回源单独获取文件指定的一段range,然后直接返回给请求端,同时异步回源获取完整目标文件;文件回源获取完成之前,同一段range的请求会再次回源。
    • 分片回源:以指定的分片大小(1MB、4MB)为单位对齐,回源单独获取文件的一段range(不一定完全等于用户请求的range大小)保存在缓存,同时按请求中指定的range返回数据给请求端,然后异步回源获取完整目标文件;完整文件回源获取完成之前,同一段range的请求会直接从缓存中返回而不会再次回源。
    1. 设置回源时传递给源站的HTTP header:最多可以设置10个;禁止设置一些标准header,比如Content-Length,User-Agent,Range。

    示例

    设置镜像回源主线路a,b,c的权重分别为2,3,5,备线路只有d。

    1. 产生回源请求时,会先尝试使用主线路做回源请求。
    2. 主线路a,b,c按权重计算,分别有20%,30%和50%的概率被选中来做此次回源。
    3. 回源成功,此次镜像回源处理结束;回源失败的时候会做重试。
    4. 如果主线路回源3次都失败,会再通过备线路d尝试回源,最多3次。
    5. 主线路回源请求总数如果达到 100,那线路a,b,c回源请求次数的分布整体大致是接近20,30,50。
    以上内容是否对您有帮助?
  • Qvm free helper
    Close