智能日志管理平台

  • 智能日志管理平台 > 使用文档 > 数据存储和分析 >实时日志滚动输出 >实时仓库

    实时仓库

    最近更新时间: 2018-09-13 11:23:27

    实时仓库是实时数据进入智能日志平台的源头,无论是使用 API、传文件,还是使用专业的数据收集工具 logkit Pro 上传的实时数据,都会首先进入到实时仓库。

    注意:实时仓库中的每一条数据都将被保存 2 天时间,超过时间后自动删除,一般实时仓库的数据都会选择一个下游服务进行导出。

    通过实时仓库 tab 下的仓库管理您可以对实时仓库进行创建、编辑、删除、导出等操作。

    新增实时仓库

    点击实时仓库管理页面右上角的新增按钮:

    新增实时仓库,您需要填写实时仓库名称、绑定的工作流名称、仓库的数据字段及其类型、仓库绑定的解析规则(可不填)。

    实时仓库名称命名规则

    • 1-128 个字符,支持小写字母、数字、下划线;必须以大小写字母或下划线开头。

    字段名称命名规则

    • 1-128 个字符,支持小写字母、数字、下划线;必须以大小写字母或下划线开头。

    支持的字段类型

    - `string` (字符串)
    - `float` (浮点数)
    - `long` (整数)
    - `date` (日期类型)
    - `ip`(ip 类型)
    - `boolean` (bool 类型)
    - `array[string/long/float]`  (数组类型,里面的元素仅支持基本类型 string,long,float)
    - `map`  (嵌套类型,可以嵌套其他类型,包括 map)
    - `jsonstring` (json 序列化的字符串,相当于 map 的 json 化处理)
    

    注意 1: float 类型的精度是 64位。

    注意 2: jsonstring 类型的取值必须为符合 json 格式的字符串(以{}或者[]包括,例如{"user": "Jone", "age": 25}["abc", 123]等)。jsonstring 类型适用于 json 内部字段名称、数目不确定的使用场景,例如某一jsonstring 类型可以取值为{"user": "Jone", "age": 25},也可以取值为{"user": "Jone", "weight": "60KG"},字段名称或者数目发送变化时不需要对消息队列的 schema 进行任何更改,便于导出到 logdb 类型为object的字段中,然后就可以使用 json 内部字段名称进行常规搜索。

    注意 3: jsonstring 类型存在局限性:某一 jsonstring 类型的字段经过 transform 后将被转换为普通的 string 类型。

    导入实时仓库

    点击页面右上角的导入仓库按钮,您可以一键导入本地存储仓库 schema 信息的 json 文件,即可快速创建实时仓库。

    您也可以点击导出将创建好的实时仓库导出,仓库的字段信息将会被保存为 json 文件,方便您下次复用,无需重复填写信息。

    编辑实时仓库

    您可以修改仓库的描述、新增字段、新增或修改解析规则,但不能删除已有字段,也不能修改仓库名称和绑定的工作流名称。

    实时仓库解析规则绑定

    支持对实时仓库绑定解析规则,原始数据进入实时仓库即可自动按照仓库的规则解析。

    每个实时仓库最多绑定 5 个规则,规则的解析顺序是从前到后。您可以自由切换解析规则优先级,仓库的解析结果为所有规则解析出来字段的并集。

    在实时仓库管理页面,您还可以查看授权给您的实时仓库信息。

    以上内容是否对您有帮助?
  • Qvm free helper
    Close