对象存储 Kodo 支持通过控制台在任务与工作流中使用视频理解功能,方便您对空间(Bucket)内上传文件(Object)执行统一的工作流任务、完成视频内容理解。
在使用视频理解节点的之前,请确保您已经熟悉如何通过 工作流模板 编排任务处理流程。
说明
- 使用多模态理解前,您需要先开通多模态理解服务,以授权 Kodo 创建并使用七牛 AI 大模型服务下命名为 dataInsight 的 API Key。
- 多模态大模型的调用消耗将按您使用的模型用量计入 AI 大模型推理服务账号,模型能力、价格和可用范围以模型列表为准。
- 调用多模态大模型对空间中的资源进行理解时,可能产生外网流出流量,详情请见计量项与计费项。
操作步骤
- 登录 Kodo 控制台进入空间管理界面
- 单击目标空间名称,单击工作流模板进入如图1:工作流模板列表
图1: - 单击新建工作流,选择视频理解以新建视频理解处理规则。
| 配置项 | 说明 | 规则描述 |
|---|---|---|
| 多模态大模型 | 指定需要使用的大模型 | 仅可使用支持输入源含视频的多模态大模型,可用模型参考 模型广场 |
| 提示词 | 按需提供 Prompt 提示词 | 可前往 Agent 中心 使用模型生成提示词 |
| 输出格式 | 选择理解结果的输出格式 | 默认为文本,支持选择文件、JSON 对象 |
| 最大输出 Token 数 | 限制模型的最大输出 Token 数 | 默认不设置、使用各模型的默认值,支持指定为 ≥1 的正整数 |
| 采样温度 | 控制大模型输出的随机度 | 默认不设置、使用各模型的默认值,支持取值范围 [0.0, 2.0]、数值越大越随机 |
| 抽帧频率 | 指定每秒抽取帧数 | 默认为 1,支持取值范围 (0, 30]的正整数 |
| 起始时间 | 指定视频分析的起始时间 | 默认为 0 s,支持指定为 ≥0 s 仅对支持抽帧方式的模型生效 |
| 结束时间 | 指定视频分析的结束时间 | 默认不设置,支持指定为 ≥0 s 且不得早于起始时间 仅对支持抽帧方式的模型生效 |
您还可以通过如图2,单击文件管理,选择指定视频文件,在操作栏更多中的创建媒体处理任务点击创建工作流模板,以进入工作流模板编辑界面
注:仅支持对标准存储、低频存储、归档直读存储和智能分层类型及大小不超过 50MB 的视频文件提供对应操作
图2:
或通过如图3,在上传文件时,点击创建工作流模板,以进入工作流模板编辑界面
图3:
- 在视频理解配置界面中,您可以点击选择样例文件,在文件选择界面中点击空间内选择直接选择空间中已有的文件,并点击预览进行样式效果预览。
注:仅支持选择标准存储、低频存储、归档直读存储和智能分层存储类型,且大小不超过 50MB 的视频文件 - 或在选择样例文件后,点击上传文件,支持您直接从本地上传指定文件到您空间,并点击预览以使用该文件查看预览效果。
注:您上传的文件将存储在您空间中,仅支持上传大小不超过 50MB 的视频文件
常见问题
1、输入源非视频类型文件时,任务将执行失败。
2、多模态理解取决于使用的大模型能力,指定参数或输入内容等超出模型限制时,任务将执行失败。
文档反馈
(如有产品使用问题,请 提交工单)