描述

kodoimport是可以将数据迁移到七牛云存储的工具，根据说明使用 kodoimport，您可以轻松将本地或其它云存储的数据迁移到七牛云。
迁移工具支持以下功能：

• 支持多种源站数据类型，包括本地文件夹 local、七牛云 qiniu、AWS S3 (及兼容 S3 的对象存储)、阿里云 oss、任务文件列表 http ，如果您有其他源数据类型的支持需求可以通知我们扩展。
• 支持单机模式和分布式模式。单机模式部署简单使用方便，但是单机模式迁移能力有限，如果有大规模数据迁移需求分布式模式更为合适。
• 支持流量控制。
• 支持迁移特定前缀的文件。
• 支持为迁移目标设置特定前缀。
• 支持断点续传。
• 支持并行数据下载和上传。
• 支持数据校验。
• 支持增量迁移。

下载

下载完成，解压后目录结构如下

kodoimport
├── conf
│ ├── local # local 迁移类型配置文件相关，作为参考
│ ├── qiniu # qiniu 迁移类型配置文件相关，作为参考
│ └── … # 其他迁移类型配置文件相关，，作为参考
├── kodoimport # 可运行文件
└── README.md # 使用文档，包含各种文件信息解释及操作步骤，强烈建议使用前仔细阅读

部署方式

kodoimport有单机模式和分布式模式两种部署方式。

单机模式：当您需要迁移的数据量较小时，推荐部署单机模式。您可以将 kodoimport 部署在任意一台可以访问您待迁移数据，且可以访问七牛云的机器上，根据您的迁移类型,即下面配置说明中的 src_type，参考下方配置说明和操作步骤，完成数据迁移，参考解压后目录下 conf 中不同数据源的配置文件，执行 ./kodoimport -f [src_type]/single-mode/kodoimport.conf 即可开启迁移任务。
分布式模式：当您需要迁移的数据量较大时，推荐部署分布式模式。在分布式模式下，迁移工作由调度器和执行者配合完成，其中调度器负责任务分配和整体任务信息统计及持久化，执行者向调度器申请任务，完成任务迁移工作，向调度器汇报任务完成情况。如果执行者超过一定时间没汇报任务情况，调度器会重新分配任务。在一个迁移任务中启动一个调度器，执行 ./kodoimport -f [src_type]/distributed-mode/kodoimport-scheduler.conf。根据您的机器情况和任务数据量启动适量的执行者，执行 ./kodoimport -f [src_type]/distributed-mode/kodopimport-worker.conf。（调度器和执行者角色根据配置信息确定，可运行文件是同一个）

配置说明

操作步骤

1.在服务器磁盘合适位置创建持久化信息目录，并配置在配置文件中，单机模式下的的 kodoimport.conf 中 work_dirs 或者分布式模式下 kodoimport-scheduler.conf 的 work_dirs ;
建议分布在不同的磁盘上，防止单个磁盘出现坏盘，造成持久化文件损坏，迁移任务无法继续进行。

2.启动迁移任务，单机模式下执行

./kodoimport -f kodoimport.conf #或 kodoimport.conf的绝对路径

单机模式下服务启动即是调度器也是执行者
或者分布式模式下先启动调度器，执行

./kodoimport -f kodoimport-scheduler.conf #或 kodoimport-scheduler.conf的绝对路径

然后根据实际情况启动一定数量的执行者

./kodoimport -f kodopimport-worker.conf #或 kodopimport-worker.conf 的绝对路径

执行者的配置文件可以相同，可以分布在不同的机器上
建议启动所有的服务，都建议您将任务输出运行日志重定向到文件中，供后续有疑问查看，比如

./kodoimport -f kodoimport.conf >> log

3.重试迁移失败的文件
在迁移过程中，可能会出现各种原因造成迁移失败，所有文件执行结果在本地，根据迁移结果分不同文件记录 work_dirs 目录的 [HTTP Code] 文件中，根据实际情况可以重试迁移失败的文件
注意，重试失败任务，不要手动修改 work_dirs 任何文件，只需要将记录的失败任务列表文件配置在单机模式下的的 kodoimport.conf 中 key_file 或者分布式模式下 kodoimport-scheduler.conf 的 key_file 即可,然后重启调度器服务。[HTTP Code] 文件格式参考下面文件格式说明

其他问题

查看任务进度

经过上述1、2步骤，迁移任务已经开启，您可以

1. 查看log来看迁移进度及详细信息，例如
   Scheduler progress : all task Count 27 Scheduler progress : from {.....} to {.....}, success 25,failed 2
   以上日志表示，总任务27个文件，已经完成27个，成功了25，失败2个

2. 查看work_dirs目录下的progresses前缀文件，例如
   {"progresses":[{"from":{"key":".xxxxxx","size":10244,"index":1,"req_id":"MkcAAOAxldA3HuUV" },"to":{"key":".xxxxxx","size":10244,"index":27,"req_id":"MkcAAOAxldA3HuUV"},"statuses":{"1":25,"2":2}}],"latest_offset":0,"latest_index":27,"latest_marker":"/.xxxxx","task_count":27,"done_percent":"100"}
   以上文件表示，总任务27个文件，已经完成27个，失败了25（statuses中“1”状态数量），成功2个（statuses中“2”状态数量）

    progresses文件格式说明
    progresses-*文件是指持久化的进度文件，后缀格式是[src_type]-[src_access_key]-[src_bucket]-[src_prefix]
    progresses-*文件内容不能手动修改，可以查看，文件内容格式为
    ```
    { "progresses":[{"from":{},"to":{}},{"from":{},"to":{}}], #详细进度信息
    "latest_offset": , # 当前偏移量
    "latest_index": , # 当前任务计数
    "latest_marker":, # 当前marker
    "task_count": # 总任务数，对象存储迁移依赖配置
    "done_percent": # 任务进度，已完成任务计数/总任务数，如果总任务数不准确，进度会不准确，可能超过100%或者任务已经完成不足100%
    "first_all_scan_done": #如果开启增量扫描，表示第一次全量扫描是否完成
    "latest_scan_time": #最后一次扫描开启的时间
    }
    ```
   

3. 可以请求调度器（单机模式启动服务即时调度器也是执行者），查看任务进度，例如
   ```
   请求：curl -i -v http://scheduluerIP:schedulerPort/progress

    返回：
    {"progresses":[{"from":{"key":".xxxxxx","size":10244,"index":1,"req_id":"MkcAAOAxldA3HuUV" },"to":{"key":".xxxxxx","size":10244,"index":27,"req_id":"MkcAAOAxldA3HuUV"},"statuses":{"1":25,"2":2}}],"latest_offset":0,"latest_index":27,"latest_marker":"/.xxxxx","task_count":27,"done_percent":"100"}
    ```
    http请求返回结果与progresses前缀文件名内容一致
   

文件格式说明

除了进度文件progresses-xxx外，work_dirs目录下还会有其他文件，比如work_dirs目录如下：

614-qiniu-PjFtQJWfvKrSLYkSlV-keCKWzmXzSK1Zp3R9S5MV-test-test-1574408412873886000
700-qiniu-PjFtQJWfvKrSLYkSlV-keCKWzmXzSK1Zp3R9S5MV-test-test-1574408407508440000
progresses-qiniu-PjFtQJWfvKrSLYkSlV-keCKWzmXzSK1Zp3R9S5MV-test-test

说明如下：
[HTTP Code]-*文件,后缀格式是*[src_type]-[src_access_key]-[src_bucket]-[src_prefix]-[timestamp]*
614-*文件是指上传失败，上传失败错误码为614，即指定校验信息，服务端校验失败
700-*文件是指下载失败，下载失败通常多种原因，具体根据req_id搜索log日志
还会有其他httpCode文件，如200-*，表示迁移成功
[HTTP Code]-*文件内容不能手动修改，可以查看，文件内容格式为

{"download_url":"http://test.qiniudn.com2/test5?e=1574842042\u0026token=PjFtQJWfvKrSLYkSlV-keCKWzmXzSK1Zp3R9S5MV:mk03coGY-PXVdJBH_iIA_aySk3E","key":"test5","size":36864,"req_id":"DewAAChXWoeXbdkV","worker_ua":"kodoimport/efd0ac107a (darwin/amd64; go1.13.1)/60429"}

上述如果需要重试迁移失败的文件，只需要将文件配置到"key_file"中，启动调度器见步骤2即可。重跑可以看到work_dirs目录下有如下新增文件

progresses-qiniu-PjFtQJWfvKrSLYkSlV-keCKWzmXzSK1Zp3R9S5MV-test-test-file-90e9eb3d5e7f5344a24c72685be39c4e
614-qiniu-PjFtQJWfvKrSLYkSlV-keCKWzmXzSK1Zp3R9S5MV-test2z0222-test-file-90e9eb3d5e7f5344a24c72685be39c4e-1574409378882783000

progresses-*意思与上面描述相同，这里看到多了后缀[file]-[md5(失败重跑文件)]，是为了区分每次跑的任务；例子中意思是用了本地文件跑的，用的文件的md5值是90e9eb3d5e7f5344a24c72685be39c4e，90e9eb3d5e7f5344a24c72685be39c4e是文件700-qiniu-PjFtQJWfvKrSLYkSlV-keCKWzmXzSK1Zp3R9S5MV-test-test-1574408407508440000的md5值

[HTTP Code]-*文件614-*意思与上面描述相同，这里看到多了后缀[file]-[md5(失败重跑文件)，与progresses-*文件添加后缀目的相同

如果还有迁移失败，可重复2、3步骤，直至任务完全成功