智能日志管理平台 > 使用文档 > 工作流管理（pipeline） >工作流使用指南 >数据投递 >投递到对象存储服务

投递到对象存储服务

最近更新时间: 2018-09-25 14:10:30

工作流支持将数据投递到七牛对象存储服务。

填写参数

参数	必填	说明
名称	是	导出节点名称
空间名称	是	导出的对象存储的 bucket 名称
文件前缀	是	导出的文件名称的前缀
导出类型	是	可以将文件导成四种格式：json、csv、text、parquet；其中 json、csv 和 text 可以选择是否将文件压缩，而 parquet 无需选择，默认自动压缩，压缩比大概为 3-20 倍
文件压缩	是	是否开启文件压缩功能
最大文件保存天数	是	数据导出在对象存储中的时限，以天为单位，超过这个时间范围的文件会被自动删除，当该字段为 0 或者为空时，则永久储存
文件分割策略	是	文件切割策略，可以按照文件大小切割：文件大小超过设置的值则进行切割；也可以按照时间间隔切割：文件导出时长超过设置的值则进行切割；也可以两者方式只要满足一种即进行切割
数据起始位置	是	从最早还是最新数据开始导出，默认从最新数据导出

操作说明

注意：关于文件前缀,默认值为空(生成文件名会自动加上时间戳格式为yyyy-MM-dd-HH-mm-ss),支持魔法变量。

前缀用法说明：

1.前缀使用魔法变量
假如前缀的取值为 kodo-parquet/date=$(year)-$(mon)-$(day)/hour=$(hour)/min=$(min)/$(sec),且生成某一文件时的北京标准时间为 2017-01-12 15:30:00, 则前缀将被解析为 kodo-parquet/date=2017-01-12/hour=15/min=30/00,其中的魔法变量 $(year)、$(mon)、$(day)、$(hour)、$(min)、$(sec) 分别对应文件生成时间 2017-01-12 15:30:00 的年、月、日、时、分、秒。

2.前缀使用默认值
假如生成某一文件时的北京标准时间为 2017-01-12 15:30:00, 则前缀将被解析为 2017-01-12-15-30-00。

进入七牛对象存储服务，可以看到我们投递到对象存储服务的数据，并将其下载下来。

以上内容是否对您有帮助？