智能日志管理平台

  • 投递到对象存储服务

    最近更新时间:2018-09-25 14:10:30

    工作流支持将数据投递到七牛对象存储服务。

    填写参数

    参数 必填 说明
    名称 导出节点名称
    空间名称 导出的对象存储的 bucket 名称
    文件前缀 导出的文件名称的前缀
    导出类型 可以将文件导成四种格式:json、csv、text、parquet;其中 json、csv 和 text 可以选择是否将文件压缩,而 parquet 无需选择,默认自动压缩,压缩比大概为 3-20 倍
    文件压缩 是否开启文件压缩功能
    最大文件保存天数 数据导出在对象存储中的时限,以天为单位,超过这个时间范围的文件会被自动删除,当该字段为 0 或者为空时,则永久储存
    文件分割策略 文件切割策略,可以按照文件大小切割:文件大小超过设置的值则进行切割;也可以按照时间间隔切割:文件导出时长超过设置的值则进行切割;也可以两者方式只要满足一种即进行切割
    数据起始位置 从最早还是最新数据开始导出,默认从最新数据导出

    操作说明

    注意:关于文件前缀,默认值为空(生成文件名会自动加上时间戳格式为yyyy-MM-dd-HH-mm-ss),支持魔法变量。

    前缀用法说明:

    1.前缀使用魔法变量
    假如前缀的取值为 kodo-parquet/date=$(year)-$(mon)-$(day)/hour=$(hour)/min=$(min)/$(sec),且生成某一文件时的北京标准时间为 2017-01-12 15:30:00, 则前缀将被解析为 kodo-parquet/date=2017-01-12/hour=15/min=30/00,其中的魔法变量 $(year)、$(mon)、$(day)、$(hour)、$(min)、$(sec) 分别对应文件生成时间 2017-01-12 15:30:00 的年、月、日、时、分、秒。

    2.前缀使用默认值
    假如生成某一文件时的北京标准时间为 2017-01-12 15:30:00, 则前缀将被解析为 2017-01-12-15-30-00

    进入七牛对象存储服务,可以看到我们投递到对象存储服务的数据,并将其下载下来。

    以上内容是否对您有帮助?
  • Icon free helper
    Close