智能日志管理平台

  • 仓库管理

    最近更新时间:2018-08-02 16:05:27

    logdb 支持日志仓库和实时仓库的管理。

    实时仓库

    实时仓库是实时数据进入的源头,无论是使用 API、传文件,还是使用专业的数据收集工具 logkit Pro 上传的实时数据,都会首先进入到实时仓库。

    注意:实时仓库中的每一条数据都将被保存 2 天时间,超过时间后自动删除,一般实时仓库的数据都会选择一个下游服务进行导出。

    实时仓库命名规则

    • 仓库名称命名规则: 1-128 个字符,支持小写字母、数字、下划线;必须以大小写字母或下划线开头。
    • 字段名称命名规则: 1-128 个字符,支持小写字母、数字、下划线;必须以大小写字母或下划线开头。
    • 字段类型:
      • string (字符串)
      • float (浮点数)
      • long (整数)
      • date (日期类型)
      • boolean (bool 类型)
      • array[string/long/float] (数组类型,里面的元素仅支持基本类型 string,long,float)
      • map (嵌套类型,可以嵌套其他类型,包括 map)
      • jsonstring (json 序列化的字符串,相当于 map 的 json 化处理)

    注意 1: float 类型的精度是 64位。
    注意 2: jsonstring 类型的取值必须为符合 json 格式的字符串(以{}或者[]包括,例如{"user": "Jone", "age": 25}["abc", 123]等)。jsonstring 类型适用于 json 内部字段名称、数目不确定的使用场景,例如某一jsonstring 类型可以取值为{"user": "Jone", "age": 25},也可以取值为{"user": "Jone", "weight": "60KG"},字段名称或者数目发送变化时不需要对消息队列的 schema 进行任何更改,便于导出到 logdb 类型为object的字段中,然后就可以使用 json 内部字段名称进行常规搜索。
    注意 3: jsonstring 类型存在局限性:某一 jsonstring 类型的字段经过 transform 后将被转换为普通的 string 类型。

    实时仓库解析规则绑定

    支持对实时仓库绑定解析规则,原始数据进入实时仓库将自动按照仓库的规则解析。

    每个实时仓库最多绑定 5 个规则,规则的解析顺序是从前到后。您可以自由切换解析规则优先级,仓库的解析结果为所有规则解析出来字段的并集。对于绑定了解析规则的实时仓库,在 logkit Pro 解析数据时可以选择 Pandora 实时仓库划词智能解析,详情请阅读 logkit 解析:Pandora实时仓库划词智能解析

    日志仓库

    日志仓库命名规则

    • 仓库名称命名规则: ^[a-z][a-z0-9_]{0,127}$,1-128个字符,支持小写字母、数字、下划线;
      必须以小写字母开头。

    • 字段名称命名规则:^[a-zA-Z_][a-zA-Z0-9_]{0,60}$,1-128个字符,支持小写字母、数字、下划线;
      必须以大小写字母或下划线开头。

    注意:_index, _type, _id, _uid, _size, _source, _all, _routing, _parent, _meta, _time, pandora_stash, pandora_pattern 作为日志仓库的保留字段,请不要使用这些作为您的仓库字段名。

    • 字段类型:
      • string(字符串)
      • float(浮点数)
      • long(整数)
      • boolean(bool 类型)
      • date(日期类型)
      • ip
      • geo_point
      • object

    其中 date 类型支持 RFC3339Nano 和 RFC3339Nano(Numeric time zone offsets format),
    例:2006-01-02T15:04:05.999999999Z07:00 和 2006-01-02T15:04:05.999999999+08:00;geo_point 为经纬度坐标,如 [ -71.34, 41.12 ]

    数据存储时限:指这个仓库内的每一条日志都会被存储指定的天数,超过这个时间的数据会被自动删除,当 存储时限 0 时,表示永久存储。

    全文索引:使用全文索引使您在检索的时候直接输入文本即可搜索,关于索引详情请参考索引术语

    Schema 分词规则:设置 schema 时,您可以根据搜索习惯对字段设置分词规则,关于分词规则请参考分词术语

    仓库配置导入导出

    支持导入 json 文件创建仓库。导入成功以后系统会自动打开创建仓库页面,并且字段全部自动添加。

    同样,您也可以导出仓库的配置到本地保存,下次如果您想创建同类型 Schema 的仓库,使用导入功能即可。

    通过导入导出功能相结合,您可以精准快速地创建数据仓库,省去重复工作。

    以上内容是否对您有帮助?
  • Close