深度学习平台

  • 深度学习平台 > 使用文档 > 快速入门 > AVA快速入门

    AVA快速入门

    最近更新时间: 2018-08-23 14:26:33

    成功开通深度学习平台AVA后,就可以登录七牛云portal,开始使用这个平台进行模型训练。

    训练模型

    使用AVA平台,可以训练出满足您需求的模型,训练完成后,可以发布出来进行调用(发布的功能正在紧张开发中)。而训练一个模型,一般需要以下3步。

    • 选择数据集
    • 选择镜像
    • 选择训练资源

    下面将介绍如何使用AVA平台提供的公开数据集cifar10和公开镜像来训练一个模型。

    在左侧栏点击“训练”进入到训练模块,点击“新建训练”就可以创建一个训练。

    输入训练名称“cifar10-demo”和描述(可选)“This is a training demo for cifar10”

    选择数据集

    AVA平台提供了很多公开数据集供用户使用,在数据集模块的公开数据集tab就可以找到数据集名称为“cifar10”的数据集。cifar10数据集所包含的内容,请参考

    训练模型的框架比较多,目前AVA平台能支持的训练框架包括Caffe和Mxnet。使用这些框架进行模型训练时,使用的数据集一般是需要提前生成为特定的格式,例如,Caffe需要lmdb格式的数据,而Mxnet需要recordio格式的数据,当然也可以使用原图格式。

    所以,在开始训练之前,需要把数据集格式化成需要的格式。在此示例中,我们将使用平台提供的Mxnet的公开镜像,所以这里数据集需要格式化为recordio的数据。平台已经把cifar10的这50000条数据按照比例格式化为recordio的训练集(40000条)和验证集(10000)。数据格式化成功完成后,就可以在训练中使用了。

    在训练模型时,我们一般需要为这个训练选择“训练集”和“验证集”,训练集和验证集可以分别来自于不同的数据集的格式化数据。
    在本示例中,我们将选择3.1中的公开数据集“cifar10”格式化的recordio的数据,如下图选中百分比为80%的这条格式化数据作为训练集,

    一般情况,我们会把一个数据集拆分成2部分,一部分作为训练集,一部分作为验证集,所以当您选择cifar10的数据集中那条百分比为80%的格式化数据时,系统会提示您是否要选择同时格式化20%的格式化数据作为验证集。点击“确定”按钮,则选中了训练需要的训练集和验证集。

    选择镜像

    镜像一般包含训练的代码,以及AVA平台需要的一些SDK的代码,用户可以自己构建镜像,也可以使用公开镜像。AVA平台提供了很多公开镜像供用户使用,在本示例中,对于cifar10的数据集,我们将使用mxnet的官方代码ResNet50的网络结构训练模型,您可以在镜像模块的公开镜像tab找到“ava-mxnet-py27-gpu”的镜像,请选择版本为“latest”的镜像。

    点击“下一步”,进入到选择训练资源

    选择训练资源

    在训练资源页面,用户可以选择GPU资源或CPU资源,在这里可以选择GPU资源,目前仅提供1张GPU资源。
    执行入口填入的是指定执行的主代码文件,必填,这里填入的是“/workspace/examples/trainings/mxnet/simple/start.sh”。

    点击“创建”按钮,可以看到这个训练就处于“创建中”,分配好资源后,就可以执行训练了。

    训练执行过程中,您可以在平台中查看训练监控,查看训练日志和训练产生的模型。

    查看训练监控

    在训练列表中,找到你刚才创建的训练“cifar10-demo”,然后点击“训练监控”。

    即可查看这个训练的accuracy\loss\learning rate曲线图。

    查看训练日志

    对于正在执行中的训练,或者已经完成的训练,用户都可以查看训练的日志。现在训练的日志是存储在组共享存储空间的“/workspace/mnt/group/qiniu-group-1/avatest/run/train_cifar10-demo_out.log”文件中,查看训练日志,需要创建一个工作台,通过工作台登录到JupyterLab中,然后通过terminal进入到组共享存储空间去查看日志纪录。工作台的详细功能,请点击工作台

    训练产生的模型

    对于训练产生的模型,可以在AVA平台的模型模块->训练产生模型tab进行查看。找到上面创建的训练“cifar10-demo”,点击左边的展开加号,就可以看到训练中指定保存的训练产生模型。
    您可以下载满足您需求的模型。

    恭喜您,至此,您就在AVA平台上训练出了一个模型。

    更多基础功能教程请查看:

    1. 数据集管理
    2. 镜像管理
    3. 模型管理
    4. 工作台管理
    5. 训练
    6. 设置
    7. AVA SDK文档
    以上内容是否对您有帮助?
  • Close