工作流介绍

工作流（Pipeline）是一个数据接收、计算、导出工具，把业务流程映射到页面上，在这里您的数据业务得到可视化，方便您更直观地来进行数据分析管理。

它的操作方式类似于思维脑图，直接在组件上右键，或者先拖拽组件到工作界面，再在组件之间连线。

您可以通过访问七牛资源主页的大数据工作流引擎进入工作流管理界面。或者直接访问 https://portal.qiniu.com/pandora/dags。

在工作流首页，点击创建工作流创建工作流任务，对数据进行计算导出。

工作流提供 3 种类型的组件：数据源、计算和导出帮助您打通数据业务。

工作流还支持几种管理组件，如定时器、告警，在您创建批量计算任务的时候可以通过定时器工具设置任务定时启动/循环启动。详情请阅读管理组件。

在界面右上角您可以看到功能按钮：更新&启动、更新、退出。当您业务逻辑还没整理好的时候,但是想保存现有的操作，您可以点击更新来保存您当前所做的操作，这样做可以大大节省您的工作量。

注意1：在工作流任务里，计算组件不是必须，数据可以直接通过导出组件投递到日志分析平台。

注意2：在工作流任务里，流式计算的数据源类型只能是消息队列，批量计算的数据源只能是对象存储或者 CDN 日志。数据源详情请阅读数据源组件。

工作流支持的数据类型

对数据进行流式计算并导出到智能日志平台操作演示

注意：这里我们是从 logkit-pro 发送数据到智能日志平台，会自动创建一个工作流，工作流中包含数据源节点以及日志导出节点。

更新工作流任务后，到智能日志平台日志仓库，搜索我们刚刚计算后的数据：

符合预期。

您还可以将数据导出到对象存储服务、HTTP 地址，导出指南请阅读：

• 导出到智能日志平台

• 导出到对象存储。

• 导出到 HTTP 地址