实时仓库
实时仓库是实时数据进入智能日志平台的源头,无论是使用 API、传文件,还是使用专业的数据收集工具 logkit Pro 上传的实时数据,都会首先进入到实时仓库。
注意:
实时仓库中的每一条数据都将被保存 2 天时间,超过时间后自动删除,一般实时仓库的数据都会选择一个下游服务进行导出。
通过实时仓库 tab 下的仓库管理您可以对实时仓库进行创建、编辑、删除、导出等操作。
新增实时仓库
点击实时仓库管理页面右上角的新增按钮:
新增实时仓库,您需要填写实时仓库名称、绑定的工作流名称、仓库的数据字段及其类型、仓库绑定的解析规则(可不填)。
实时仓库名称命名规则
- 1-128 个字符,支持小写字母、数字、下划线;必须以大小写字母或下划线开头。
字段名称命名规则
- 1-128 个字符,支持小写字母、数字、下划线;必须以大小写字母或下划线开头。
支持的字段类型
- `string` (字符串)
- `float` (浮点数)
- `long` (整数)
- `date` (日期类型)
- `ip`(ip 类型)
- `boolean` (bool 类型)
- `array[string/long/float]` (数组类型,里面的元素仅支持基本类型 string,long,float)
- `map` (嵌套类型,可以嵌套其他类型,包括 map)
- `jsonstring` (json 序列化的字符串,相当于 map 的 json 化处理)
注意 1:
float 类型的精度是 64位。
注意 2:
jsonstring
类型的取值必须为符合 json 格式的字符串(以{}
或者[]
包括,例如{"user": "Jone", "age": 25}
、["abc", 123]
等)。jsonstring
类型适用于 json 内部字段名称、数目不确定的使用场景,例如某一jsonstring
类型可以取值为{"user": "Jone", "age": 25}
,也可以取值为{"user": "Jone", "weight": "60KG"}
,字段名称或者数目发送变化时不需要对消息队列的 schema 进行任何更改,便于导出到 logdb
类型为object
的字段中,然后就可以使用 json 内部字段名称进行常规搜索。
注意 3:
jsonstring
类型存在局限性:某一 jsonstring
类型的字段经过 transform 后将被转换为普通的 string
类型。
导入实时仓库
点击页面右上角的导入仓库按钮,您可以一键导入本地存储仓库 schema 信息的 json 文件,即可快速创建实时仓库。
您也可以点击导出将创建好的实时仓库导出,仓库的字段信息将会被保存为 json 文件,方便您下次复用,无需重复填写信息。
编辑实时仓库
您可以修改仓库的描述、新增字段、新增或修改解析规则,但不能删除已有字段,也不能修改仓库名称和绑定的工作流名称。
实时仓库解析规则绑定
支持对实时仓库绑定解析规则,原始数据进入实时仓库即可自动按照仓库的规则解析。
每个实时仓库最多绑定 5 个规则,规则的解析顺序是从前到后。您可以自由切换解析规则优先级,仓库的解析结果为所有规则解析出来字段的并集。
在实时仓库管理页面,您还可以查看授权给您的实时仓库信息。