工作流（Pipeline）

工作流（Pipeline）是一个数据接收、计算、导出工具。数据可以在工作流进行复杂的计算后再投递到日志分析平台/对象存储等进行分析。

• 工作流支持的数据源：

  • 实时数据源：消息队列（通过 logkit Pro、文件上传或者 API 采集的数据）。

  • 离线数据源：七牛对象存储日志、 CDN 日志。

• 工作流提供两种数据计算模式：

  • 流式（实时）计算：流式计算的数据源类型只能是消息队列。

  • 批量（离线）计算：批量计算的数据源只能是对象存储或者 CDN 日志。

• 工作流支持的导出节点：智能日志平台、对象存储、HTTP 地址、时序数据库。

通过 logkit-pro 采集数据并发送到智能日志平台会自动生成一个日志仓库和实时仓库以及一个工作流，用户可以直接通过实时仓库查看实时数据，也可以直接在日志仓库对日志进行搜索分析，或者在工作流对发送到消息队列的数据进行计算。