智能日志管理平台

  • 数据源

    最近更新时间:2018-07-13 10:25:24

    数据源是工作流任务的起始节点,它可以接收实时上传的数据(消息队列)或读取离线存储的数据(对象存储或 CDN 日志)。

    工作流任务中字段支持以下几种类型:

    类型 解释 数据样例
    date 日期类型,格式为RFC3339 2017-01-01T15:00:25Z07:00
    string 字符串类型 "qiniu.com"
    long 64位整数 1024
    float 单精度64位浮点 322.00
    boolean 布尔类型,值为truefalse false

    工作流支持以下几种类型的数据源:

    名称 流式计算 批量计算 备注
    消息队列 yes no 只能作用于流式计算,实时接收用户上传的数据;每一条进入消息队列的数据,都会被存储2天时间,过期自动删除
    对象存储 no yes 只能作用于批量计算,可以一次性加载大量数据
    CDN no yes 只能作用于批量计算,数据来源于七牛 CDN 服务
    HDFS no yes 只能作用于批量计算,仅支持私有云,公有云不提供此服务



    !> 注意:创建好工作流任务之后,无论是否启动该工作流,消息队列节点都会接收数据。

    消息队列节点相关参数填写

    参数 必填 说明
    名称 消息队列名称
    字段信息 字段名称和字段类型
    IP 来源 数据来源的 IP 信息
    时间字段 数据接收的时间
    服务器内部反转译 针对为了写入而被序列化产生的\t和\n进行反转译,恢复为\t和\n



    !> 注意:如果您的数据源新增了一些字段,可以使用添加新字段功能,更新消息队列。

    对象存储节点相关参数填写

    参数 必填 说明
    名称 对象存储数据源节点名称
    空间名称 您要读取的文件所在的 bucket 名称
    文件类型 您要读取文件的格式
    文件前缀 您要读取的文件名称的前缀



    CDN日志节点相关参数填写

    参数 必填 说明
    名称 CDN 日志数据源节点名称
    域名 您的 CDN 服务的域名
    文件过滤条件类型 日志产生的时间范围的选择方式(固定时间/相对时间),与文件过滤条件结合起来使用
    文件过滤条件 具体的文件过滤时间



    当文件过滤条件类型选择“相对时间”时,过滤条件里可以引入魔法变量。关于魔法变量请阅读魔法变量

    CDN 日志数据源的字段类型不可更改,与七牛 CDN 服务产生的日志格式一致。

    以上内容是否对您有帮助?
  • Close