智能日志管理平台

  • 数据投递

    最近更新时间:2018-07-09 11:45:49

    将数据源的数据直接导出(只适用于消息队列数据源)或将数据源的数据经过计算后导出到指定的地址。

    目前我们支持将数据导出到以下地址:

    1. 指定一个日志分析服务的日志仓库;
    3. 指定一个时序数据库的数据仓库下的序列;
    4. 指定一个 HTTP 服务器地址;
    5. 指定一个对象存储的 Bucket;
    

    导出到日志分析填写参数

    参数 必填 说明
    名称 导出节点名称
    仓库名称 您要进行日志分析的仓库名称,可以选择已有仓库或者创建新仓库
    数据存储时限 导出的数据存储在日志仓库的时间限制
    丢弃无效数据 是否忽略无效数据

    导出到时序数据仓库填写参数

    参数 必填 说明
    名称 导出节点名称
    数据库名称 您要进行时序数据分析的数据仓库名称
    序列名称 数据仓库的表名,数据将会被导入到这个表当中
    数据存储时限 导出的数据存储在时序数据仓库的时间限制
    时间戳 数据导出的时间,默认使用当前时间
    数据起始位置 从最早还是最新数据开始导出
    丢弃无效数据 是否忽略无效数据

    导出到 HTTP 地址填写参数

    参数 必填 说明
    名称 导出节点名称
    服务器地址 ip 或域名,例如:https://pipeline.qiniu.comhttps://127.0.0.1:7758
    请求资源路径 具体地址,例如: /test/repos
    导出类型 导出的文件格式
    数据起始位置 从最早还是最新数据开始导出,默认从最新数据导出

    导出到对象存储填写参数

    参数 必填 说明
    名称 导出节点名称
    空间名称 导出的对象存储的 bucket 名称
    文件前缀 导出的文件名称的前缀
    导出类型 可以将文件导成四种格式:json、csv、text、parquet;其中 json、csv 和 text 可以选择是否将文件压缩,而 parquet 无需选择,默认自动压缩,压缩比大概为 3-20 倍
    文件压缩 是否开启文件压缩功能
    最大文件保存天数 数据导出在对象存储中的时限,以天为单位,超过这个时间范围的文件会被自动删除,当该字段为 0 或者为空时,则永久储存
    文件分割策略 文件切割策略,可以按照文件大小切割:文件大小超过设置的值则进行切割;也可以按照时间间隔切割:文件导出时长超过设置的值则进行切割;也可以两者方式只要满足一种即进行切割
    数据起始位置 从最早还是最新数据开始导出,默认从最新数据导出

    !> 关于文件前缀,默认值为空(生成文件名会自动加上时间戳格式为yyyy-MM-dd-HH-mm-ss),支持魔法变量。

    前缀用法说明:

    1.前缀使用魔法变量
    假如前缀的取值为 kodo-parquet/date=$(year)-$(mon)-$(day)/hour=$(hour)/min=$(min)/$(sec),且生成某一文件时的北京标准时间为 2017-01-12 15:30:00, 则前缀将被解析为 kodo-parquet/date=2017-01-12/hour=15/min=30/00,其中的魔法变量 $(year)、$(mon)、$(day)、$(hour)、$(min)、$(sec) 分别对应文件生成时间 2017-01-12 15:30:00 的年、月、日、时、分、秒。

    2.前缀使用默认值
    假如生成某一文件时的北京标准时间为 2017-01-12 15:30:00, 则前缀将被解析为 2017-01-12-15-30-00

    以上内容是否对您有帮助?
  • Close