对象存储 Kodo 提供的数据迁移服务，支持您将第三方数据源轻松迁移至七牛云对象存储 Kodo。当前 Kodo 提供全托管迁移模式进行在线数据迁移服务，用户只需提交迁移任务、服务会自动执行数据迁移。Kodo 也提供 Agent 半托管迁移模式，用户需要在自己的服务器部署 Agent 以启动迁移，按需独享计算和网络资源。
您可通过控制台设置数据迁移任务，或查看数据迁移最佳实践了解其他数据迁移方案。
跨境数据传输合规提示
七牛云 Kodo 提醒您，在使用相关功能前，请自行确认相关数据来源、内容及处理行为的合法合规性，包括但不限于遵守适用的个人信息保护、数据安全及数据跨境传输等法律法规、监管政策要求。您应确保对相关数据具有合法、充分的处理及处置权限，并已取得必要授权；采取必要、合理的数据安全保护措施；并确保相关数据跨境传输或其他数据处理行为符合适用法律法规及监管政策要求。
如您违反上述声明与保证开展相关数据处理或数据跨境传输活动，由此产生的一切法律责任均由您自行承担；如因此给七牛云造成任何损失的，您还应承担相应的赔偿责任。
说明
- 当前已支持的数据源：URL 列表、S3 协议源站、LocalFS
- 当前已支持的迁移模式：
- 全托管迁移：用户仅需提交迁移任务、服务会自动执行数据迁移，更方便快捷
- 半托管 Agent 迁移：用户需要在自有服务器部署 Agent 以启动已创建的迁移任务，支持独享计算和网络带宽资源
- 费用：
- 从第三方源对象存储拉取数据会产生公网出流量费用，具体费用需要参考源存储云厂商的定价
- 数据迁移在上传期间会产生 PUT/DELETE 请求次数，成功上传到 Kodo 后会产生存储费用
- 数据校验：校验成功的文件才算迁移成功
- 默认校验源端和目标端的文件数据大小
- 如果源文件头信息携带有 Content-Md5（大小写敏感），则会校验源端和目标端信息是否一致
- 使用限制：
- 单个用户只允许同时执行 5 个迁移任务，即状态为迁移中的任务最多 5 个
- 单个任务默认带宽限额 500Mbps，支持用户自定义设置带宽限额
- 全托管模式：允许设置的范围为 10Mbps~2Gbps
- 半托管模式：允许设置的范围为 10Mbps~10Gbps
操作步骤
- 登录 Kodo 控制台界面进入数据迁移界面，如图1
图1: - 单击 +新建任务，右侧将弹出如图2:
图2: - 在新建任务界面，按如下说明配置各项参数：
任务基础信息
| 操作名称 | 必填 | 说明 | 规则描述 |
|---|---|---|---|
| 任务名称 | 是 | 请自定义数据迁移任务的名称 | - 任务名称由 1 ~ 64 个字符组成，可包含：字母、数字和下划线 - 任务名称不可重复 |
迁移源信息
| 操作名称 | 必填 | 说明 | 规则描述 |
|---|---|---|---|
| 数据源类型 | 是 | 请按需选择迁移数据源的类型 | 可选类型：URL 列表、S3 协议源站、LocalFS<ul><li>其中 LocalFS 本地文件系统，包含：本机文件系统（在本地计算机上管理和存储文件）或挂载在本机的其他文件系统（如 NAS）。`暂不支持软链接和空目录迁移`，如有则不会被统计到迁移任务的文件数和数据量中。 |
| URL 列表文件 | 是 | 指定需要迁移的文件 URL 列表 | - 仅当数据源类型为 URL 列表时必须定义 - 支持 csv 和 txt <ul><li> 使用 csv 格式时必须包含表头行，仅支持字段 url（待迁移 url）、key（迁移后的文件名）和 md5（数据内容校验值），仅支持小写且仅 url 为必需。`当同时指定 key 和迁移目标保存到指定路径时，目标文件名将按序拼接该路径和 key`</li></ul><ul><li>使用 txt 格式时，每一行表示一个要迁移的文件 URL</li></ul> |
| AccessKey | 是 | 请输入 S3 协议源站的 AccessKey | 仅当数据源类型为 S3 协议源站时必须定义 |
| SecretKey | 是 | 请输入 S3 协议源站的 SecretKey | 仅当数据源类型为 S3 协议源站时必须定义 |
| 空间名称 | 是 | 请输入的迁移源空间名称 | - 仅当数据源类型为 S3 协议源站时必须定义 - `如源端为七牛 S3 协议源站时，存在空间名不唯一、系统自动生成 S3 空间名的情况，`可参考获取七牛 S3 空间名查询 |
| 源端区域 | 是 | 请输入的迁移源空间所在区域 | - 仅当数据源类型为 S3 协议源站时必须定义 - 仅以下述示例： <ul><li>如源端为 AWS S3，区域可为 us-east-2，参考更多 AWS S3 区域 </ul></li><ul><li> 如源端为阿里云 OSS，区域可为 oss-cn-beijing，参考更多阿里云 OSS 区域</ul></li> |
| 区域 Endpoint | 是 | 请输入的迁移源空间所在区域的 Endpoint | - 仅当数据源类型为 S3 协议源站时必须定义 - 需指定 http(s) 协议，不带协议时默认为 https - `无需携带空间名称，否则会导致源端连接失败` - 仅以下述示例：<ul><li>如源端为 AWS S3，区域 Endpoint 可为 https://s3.us-east-2.amazonaws.com，更多参考 S3 Endpoint </ul></li><ul><li> 如源端为阿里云 OSS，区域 Endpoint 可为 https://oss-cn-beijing.aliyuncs.com，更多参考阿里云 OSS Endpoint </ul></li> |
| 迁移目录 | 是 | 请按需输入迁移目录的绝对路径 | - 仅当数据源类型为 LocalFS 时必须定义 - 目录必须以 / 结尾，最长 1024 个字符 |
| 文件名过滤 | 否 | 请按需选择数据迁移范围 | - 仅当数据源类型为 S3 协议源站或 LocalFS 时可定义 - 默认不过滤，迁移源空间内的全量文件 - 支持只迁移前缀匹配的文件<ul><li>文件路径前缀无需包含空间名称，每行指定一个前缀，最多 10 个</ul></li> |
| 时间范围 | 否 | 请按需选择仅迁移指定时间范围内新增或变更的文件 | - 仅当数据源类型为 S3 协议源站或 LocalFS 时可定义 - 默认不勾选指定时间范围 - 支持勾选指定时间范围<ul><li>开始时间零点⾄结束时间零点</ul></li><ul><li>所选时间段时区为东八区 UTC+8</ul></li> |
迁移目标信息
| 操作名称 | 必填 | 说明 | 规则描述 |
|---|---|---|---|
| 空间名称 | 是 | 请输入的迁移目标空间名称 | - 为成功迁移需授予服务上传权限，默认勾选“我已知晓、并授予迁移服务在任务执行期间向该空间上传文件的权限。” - 支持输入完整空间名，或搜索目标空间 - 只读空间不可写入，不支持选择只读空间 |
| AccessKey | 是 | 请输入上传到目标空间时所用的 AccessKey | - 仅当迁移模式为半托管 Agent 迁移模式时必须定义 - `如指定 IAM 子用户的 AccessKey，请确保其已拥有上传文件的权限` |
| SecretKey | 是 | 请输入上传到目标空间时所用的 SecretKey | - 仅当迁移模式为半托管 Agent 迁移模式时必须定义 - `如指定 IAM 子用户的 SecretKey，请确保其已拥有上传文件的权限` |
| 保存路径 | 否 | 请指定所迁移的数据保存到的位置 | - 默认保存到根路径，将数据以源文件名保存在根目录 - 保存到指定路径，支持指定文件前缀（例如: aaa）或以 / 结尾指定目录（例如: aaa/bbb/）<ul><li>`当同时定义保存到指定路径和迁移源 url 列表文件的 key 时，目标文件名将按序拼接指定路径和该 key`</li></ul> |
| 同名文件 | 否 | 请指定迁移时对同名文件的处理方式 | - 默认覆盖，将源空间中的文件替换目标空间中的同名文件 - 跳过，将保留目标空间中已有的同名文件 - 新文件覆盖，如源空间中文件的最后修改时间大于目标空间中的同名文件，则执行覆盖 |
| 文件存储类型 | 否 | 请按需指定文件迁移到目标空间后的存储类型 | - 与源文件一致，仅当数据源类型为 S3 协议源站时可定义<ul><li>查看 S3 存储类型与七牛存储类型对应关系</li></ul><ul><li>源文件没有可识别的存储类型（如：无存储类型信息、无 Kodo 可对应的存储类型）时，将默认迁移至标准存储类型。</li></ul>- 默认为全部使用标准存储 - 支持指定为全部使用标准存储、全部使用低频存储、全部使用智能分层存储、全部使用归档直读存储、全部使用归档存储、全部使用深度归档存储 |
迁移执行参数
| 操作名称 | 必填 | 说明 | 规则描述 |
|---|---|---|---|
| 迁移模式 | 否 | 请选择迁移模式 | - 默认选择新建迁移任务后立即启动全托管迁移<ul><li>数据源为 LocalFS 时，不支持选择</li></ul>- 新建迁移任务后手动下载 Agent 启动迁移<ul><li>用户需要在自己的服务器部署（下载 Agent）、启动迁移</li></ul> |
| Agent 名称 | 是 | 请输入 Agent 名称 | - 仅当迁移模式为半托管 Agent 迁移模式时必须定义 - 名称须和服务器中部署的 Agent 命名一致 - 由 1 ~ 32 个字符组成，可包含：字母、数字和下划线 |
| 定时迁移 | 否 | 请按需开启定时迁移 | - 默认关闭定时 - 开启定时 <ul><li>开启定时迁移的迁移任务，首次将立即执行以及时验证配置正确性，后续按照规则定时执行；首次运行完成后，系统会按设定次数和定时时间检查任务状态，如果处于任务完成状态，则会重新打开任务运行。`重新运行时对于目标桶内已经存在的同名文件，如果源桶文件的最后修改时间大于目标桶同名文件则执行覆盖，否则跳过。`</li></ul> |
| 定时类型 | 是 | 请定义定时方式，包括间隔时间和定时次数 | - 仅当开启定时后必须定义 - 任务间隔时长需为 1 ~ 24 小时 - 支持固定间隔时间 <ul><li>如：运行间隔 1 小时，定时迁移次数 5 次，则表示任务`首次运行结束后`每隔 1 小时依次打开任务运行，总共运行 `1+5` 次</li></ul>- 支持自定义 Unix Cron 格式<ul><li>如：定义 35 17 * * *，定时迁移次数 5 次，则表示任务`首次运行结束后`，在当日 17 时 35 分、次日 17 时 35 分、...，依次打开任务运行，总共运行 `1+5` 次</li></ul>- 指定定时迁移次数，支持设置的范围 1 ~ 30 次 |
| 迁移限速 | 否 | 请按需开启迁移限速 | - 默认不设置限速 - 开启限速 |
| 限速方式 | 否 | 请按需指定迁移的限速方式 | - 仅当开启限速时可定义 - 支持全时段限速，默认 500Mbps - 支持分时段限速<ul><li>当迁移周期时间跨度较大时，可以在指定时间段内使用分时段限速或不限速，利用波谷加速迁移在波峰降低速度或停止、以便保障业务和控制成本</li></ul><ul><li>所选时间段时区为东八区 UTC+8</ul></li>- 各时段限速范围<ul><li>全托管模式下 10Mbps~2000Mbps</li></ul><ul><li>半托管 Agent 模式下 10Mbps~10000Mbps</li></ul> |
注：当前默认只迁移源文件的 Content-Type 信息
4. 完成上述参数配置后，勾选“我已了解可能的迁移时间以及可能产生的相关成本”，单击确定完成新建数据迁移任务。
5. 如图1已创建的任务将以卡片的形式展示，此界面按任务状态、迁移源或任务名称进行筛选展示，您也可指定按任务的创建时间先后进行排序。仅支持查看距完成时间 180 天内的任务，超时后任务记录将被删除。
6. 在单个任务卡片中，您可查看到下述信息：
- 任务 ID
- 状态，包括：已创建、等待迁移、迁移中、迁移完成有失败文件、迁移完成无失败文件、已终止、迁移失败
- 迁移目标位置，为数据指定迁移的空间及保存路径
- 迁移源，包括：URL 列表、S3 协议源站、LocalFS
- 迁移统计，展示已迁移文件数/文件大小、失败文件数、进度
- 已迁移文件数 = 迁移成功文件数 + 已跳过文件数
- 进度 = (已迁移文件数 ＋ 失败文件数) / 迁移文件总数
- 迁移文件总数末知（文件列表未列举完毕）时进度不显示
- 创建时间，为任务创建时间
注：半托管 Agent 模式不支持过程进度统计
7. 您可在如图1的任务列表中，找到指定任务，单击目标任务栏的任务名称，即可查看该数据迁移任务的规则信息，如图3。
图3:任务规则信息
8. 对不同状态的任务，您可执行下述操作
| 状态 | 可执行的操作 | 操作说明 |
|---|---|---|
| 已创建/等待迁移/迁移中 | 编辑、终止 | - 编辑任务，仅支持修改任务开启限速或变更限速值 - 终止任务，无法再次重启 |
| 已终止/迁移完成且无失败文件/迁移失败 | 删除 | 删除该条任务记录 |
| 迁移完成且有失败文件 | 重试、导出失败列表、删除 | - 重试，重试迁移失败文件列表<ul><li>限定任务完成 30 天内可操作 </ul></li>- 导出失败列表，支持获取迁移失败文件列表链接（链接有效时长 60 分钟）或导出迁移失败文件列表<ul><li>限定任务完成 30 天内可操作</ul></li> <ul><li>失败文件列表支持最多含 10 万条数据，如超出需提交工单请求后台导出 </ul></li>- 删除该条任务记录 |
当迁移过程中出现失败文件时，您可单击查看失败列表在弹窗中实时查看迁移失败的文件、失败时间及原因
- 支持单击加载更多获取完整失败文件列表
- 支持单击下载导出已加载的失败文件列表
- 限定任务完成 30 天内可操作
9. 对任意状态的任务，均支持您单击详情查看当前任务进展状态，或单击复制进行任务快速创建。其中详情展示下述信息：
- 已迁移次数，包含任务创建后首次执行及定时迁移次数（仅开启定时迁移时展示）
- 任务执行节点及对应时间
- 如迁移失败，展示失败信息
- 迁移统计信息
- 失败/成功/跳过/待迁移文件数
- 已迁移数据量
- 进度（仅全托管模式）
- 如使用半托管 Agent 迁移模式，您可在操作栏点击 Agent 信息查看，如图4 将展示如下 Agent 信息，包含
- 迁移任务名称及任务 ID
- Agent 名称
- 各 Scheduler 和 Worker 的 IP、状态及最后一次上报时间
图4:
S3 存储类型与七牛存储类型对应关系
| AWS S3 | 七牛云存储 |
|---|---|
| STANDARD REDUCED_REDUNDANCY OUTPOSTS | 标准存储 |
| STANDARD_IA ONEZONE_IA | 低频存储 |
| INTELLIGENT_TIERING | 智能分层存储 |
| GLACIER_IA | 归档直读存储 |
| GLACIER | 归档存储 |
| DEEP_ARCHIVE | 深度归档存储 |
文档反馈
(如有产品使用问题，请 提交工单)