智能日志管理平台

  • 智能日志管理平台 > 使用文档 > 数据存储和分析 >日志搜索分析 >日志仓库

    日志仓库

    最近更新时间: 2018-10-25 15:20:25

    除了实时仓库以外,我们提供日志仓库来存储大量的日志,您需要分析的日志数据最终都会进入日志仓库。

    在日志仓库管理页面,您可以对日志仓库进行新增、导入、编辑、导出、授权、删除等操作。

    新增日志仓库

    点击日志仓库管理页面右上角的新增按钮:

    新增实时仓库,您需要填写日志仓库名称、日志存储时间、是否开启全文索引、仓库的数据字段及其类型。

    日志仓库命名规则

    • 仓库名称命名规则: ^[a-z][a-z0-9_]{0,127}$,1-128个字符,支持小写字母、数字、下划线;
      必须以小写字母开头。

    字段名称命名规则

    • 字段名称命名规则:^[a-zA-Z_][a-zA-Z0-9_]{0,60}$,1-128个字符,支持小写字母、数字、下划线;
      必须以大小写字母或下划线开头。

    注意:_index, _type, _id, _uid, _size, _source, _all, _routing, _parent, _meta, _time, pandora_stash, pandora_pattern` 作为日志仓库的保留字段,请不要使用这些作为您的仓库和字段名。

    日志仓库支持的字段类型

    • string(字符串)
    • float(浮点数)
    • long(整数)
    • boolean(bool 类型)
    • date(日期类型)
    • ip
    • geo_point
    • object

    其中 date 类型支持 RFC3339Nano 和 RFC3339Nano(Numeric time zone offsets format),
    例:2006-01-02T15:04:05.999999999Z07:00 和 2006-01-02T15:04:05.999999999+08:00;geo_point 为经纬度坐标,如 [ -71.34, 41.12 ]

    数据存储时限

    指这个仓库内的每一条日志都会被存储指定的天数,超过这个时间的数据会被自动删除,当 存储时限 0 时,表示永久存储。

    全文索引

    使用全文索引使您在检索的时候直接输入文本即可搜索,关于全文索引详情请参考索引术语

    分词规则

    新增数据字段时,需要为字段指定分词规则,关于分词规则请参考分词概念

    设置联合主键

    支持对仓库设置联合主键,如:对此仓库设置联合主键为 timestamp 和 sensor,搜索日志时,选择时间字段为 timestamp,搜索结果将对指定时间范围内的全部日志根据 sensor 字段进行去重操作。

    编辑日志仓库

    您可以修改仓库的数据存储时限、新增数据字段,但不能删除或修改已有字段,也不能修改仓库名称。

    授权仓库

    点击授权仓库,您可以对其他账号授予当前仓库的查看权限。更多授权操作方式请阅读权限管理

    日志仓库的导入、导出同实时仓库导出导入,这里不再赘述。

    需要注意的是,日志仓库可以直接删除,但删除实时仓库首先需要去到实时仓库绑定的工作流,删除与该实时仓库绑定的数据计算与导出任务。

    以上内容是否对您有帮助?
  • Qvm free helper
    Close