对象存储

  • 对象存储 > 使用指南 > 控制台指南 > 空间管理 > 空间设置 > 设置镜像回源

    设置镜像回源

    最近更新时间: 2023-10-25 17:46:33

    对象存储 Kodo 镜像回源服务主要用于无缝迁移数据到七牛。当业务已经在您自己建立的源站或者在其它云产品上运行,需要迁移数据,但是又不能停止服务时,可利用镜像存储功能实现数据迁移。

    设置镜像回源后,可以在源站资源(文件/图片等)初次访问时自动同步到空间,实现数据平滑迁移。

    说明

    • 业务已有的数据可以先使用七牛提供的同步工具 qshell 迁移到七牛,同时配置镜像存储,将源站的地址配置到存储空间上。
    • 七牛云回源源站时,会携带固定的 User-Agent 信息:-qiniu-imgstg-spider-1.0,RegionID为:华东 z0、华南 z1、华北 z2、华东-浙江2 cn-east-2、北美 na0、东南亚 as0。
    • 更多详情请参考镜像回源;其他相关问题请参考镜像存储

    操作步骤

    1. 登录 Kodo 控制台进入空间管理界面
    2. 单击目标空间名称进入空间概览,单击空间设置进入空间设置界面
    3. 找到镜像回源栏,如图1,单击设置,右侧将弹出设置镜像回源界面
      图1:
      截屏2021-08-11 下午7.19.27.png
    4. 单击开启,即显示图2:镜像回源设置
      图2:
      截屏2021-08-11 下午7.34.43.png
    5. 在镜像回源配置界面,按如下说明配置各项参数
      操作名称 说明 规则描述
      主/备线路 请按需选择线路类型 - 支持添加新的线路、修改已有线路、删除已有线路
      - 主线路、备线路,回源时优先选择主线路,尝试均失败后选择备线路
      • 按权重选择线路进行尝试,权重相同则随机选择
      • 主线路、备线路回源最多分别尝试 3 个
      - 当前最多支持设置 10 个线路
      回源地址 请输入线路的回源请求地址 回源到镜像源的线路,支持
      - 域名
      - 或 IP:适用于需要使用和原有资源域名相同的域名的情况
      权重 请设置对应线路的权重 - 范围限制 1-100, 不填默认为 1
      - 权重越大,线路被选中回源概率越大,用以控制回源请求量在不同线路上的整体分布
      - 主、备线路分开比较权重
      镜像空间 默认当前空间 不可更改
      回源 host 请按需设置回源 host - 用于生成镜像回源请求时,填充请求头中的 host 字段
      - 不设置时,默认为回源地址的域名
      URL 参数 请按需设置是否保留 URL 参数
      回源模式 请按需选择回源模式 - 普通:回源获取了完整的目标文件以后,再返回给请求端
      - Range 透传:回源单独获取文件指定的一段 Range,然后直接返回给请求端,同时异步回源获取完整目标文件;文件回源获取完成之前,同一段 Range 的请求会再次回源
      - 分片回源:以指定的分片大小(1MB、4MB)为单位对齐,回源单独获取文件的一段 Range(不一定完全等于用户请求的 Range 大小)保存在缓存,同时按请求中指定的 Range 返回数据给请求端,然后异步回源获取完整目标文件;完整文件回源获取完成之前,同一段 Range 的请求会直接从缓存中返回而不会再次回源。
      • 请按需开启/关闭 Etag 校验
      • 按需选择分片大小 1MB/4MB
      重试 Code 请按需设置源站响应做回源重试的 Code - 只允许设置 4xx Code,最多 3 个,按回车输入
      - 不设置时,默认源站响应 5xx 会做回源重试
      传递指定的 HTTP header 请按需开启传递指定的 HTTP header,并输入 header 字段 - 设置回源时传递给源站的 HTTP header;
      - 支持添加、删除设置,最多可以设置 10 个;
      - 禁止设置一些标准 header,比如 Content-Length,User-Agent,Range。
      自动生成默认的 robots.txt 配置文件(仅当 robots.txt 不存在) 请按需开启是否配置 生成的默认文件 “robots.txt“ 将保存在当前空间内
    6. 单击确定,完成镜像回源设置。
    7. 镜像回源设置成功后,您也可以切换关闭当前设定。

    具体示例

    设置镜像回源主线路 a, b, c 的权重分别为 2,3,5,备线路只有 d。

    1. 产生回源请求时,会先尝试使用主线路做回源请求。
    2. 主线路 a, b, c 按权重计算,分别有 20%,30% 和 50% 的概率被选中来做此次回源。
    3. 回源成功,此次镜像回源处理结束;回源失败的时候会做重试。
    4. 如果主线路回源 3 次都失败,会再通过备线路 d 尝试回源 1 次。
    5. 主线路回源请求总数如果达到 100,那线路 a, b, c 回源请求次数的分布整体大致是接近 20,30,50。
    以上内容是否对您有帮助?
  • Qvm free helper
    Close