深度学习平台

  • 深度学习平台 > 使用文档 > 深度学习平台概览

    深度学习平台概览

    最近更新时间: 2018-05-28 11:34:38

    七牛云自主研发的分布式深度学习平台AVA(以下简称为AVA平台),为您提供工作台、数据集管理、数据预处理、模型管理、模型训练和评估等端到端的生产工具。您可以通过平台来完成整个算法开发的过程,还可以通过JuypterLab登陆到工作台编写代码、修改训练参数以及查看更多详细信息。

    功能介绍

    七牛云深度学习平台AVA主要分为二层:

    第一层:Web UI界面
    第二层:深度学习计算资源层

    Web UI界面

    Web UI界面的主要功能

    主要功能如下:

    • 数据集管理:用户可以把需要在训练中使用的数据集在平台上进行管理,主要包括创建数据集、格式化数据集(把数据集构建为训练读取的格式,例如caffe框架支持的lmdb,MXNET框架支持的recordio等)、数据预处理以及查看数据集中数据的统计数量等。
    • 模型管理:在此模块,用户可以管理所有的模型,训练中产生的模型也可以在此进行管理和下载使用。
    • 镜像管理:用户创建的镜像和平台提供的公开进行都在此进行管理。
    • 训练管理:训练模型的过程就是一个训练,此模块提供创建训练、监控训练、查看训练走势图等等功能。
    • 工作台管理:工作台提供用户可以通过JuypterLab登录到容器中的方式,当用户需要在CPU或者GPU的容器中进行代码调试、修改参数等操作时,就可以创建一个工作台,然后进行操作。通过登录到容器中也可以看到组共享的存储空间,这样就可以在训练过程中或者训练介绍后,查看训练产生的日志。

    深度学习计算资源层

    模型训练、数据预处理和工作台所使用的计算资源使用的是七牛云的超大规模计算集群,主要包括各种计算资源的调度、管理与利用。分布式调度算法,保障模型训练的生成效率。用户可以使用深度学习平台后端的计算集群训练模型和调试程序,如果需要让深度学习平台管理训练的过程、日志和训练产生的模型,请使用AVA平台提供的SDK,详情请参考AVA SDK文档

    产品优势

    七牛云深度学习平台AVA的主要优势如下:

    端到端的深度学习平台体验

    七牛云深度学习平台AVA除了提供模型训练功能,还提供各种数据集处理功能,缩短数据准备的时间,后期还会提供在线推理和发布的功能,让训练的结果可以快速部署到业务中。

    支持主流深度学习框架

    七牛云深度学习平台AVA已经支持了Caffe和MXNET这两款主流的深度学习框架,后续还会支持Tensorflow、Pytorch等框架。

    与七牛云产品完美结合

    七牛云深度学习平台AVA可以直接使用存储在七牛云存储中的数据集和模型进行训练,更可以直接在训练中读取七牛云存储中的数据,更加便捷。

    提供组共享功能

    七牛云深度学习平台AVA提供组内共享功能,组内成员准备好的数据集、模型等成果,可以自由得在组内进行共享,提高生成效率。

    以上内容是否对您有帮助?
  • Close