智能日志管理平台

  • Elasticsearch

    最近更新时间:2019-01-24 20:56:01

    Elasticsearch Reader (以下简称es) 输出的是 json 字符串,需要使用 json 的 parser 解析。

    基础配置信息

    • 数据库地址(es_host):es 的 host 地址以及端口,常用端口是 9200

    • 版本(es_version):指定 Elasticsearch 客户端版本,可选参数,目前支持 3.x5.x6.x 三个版本,3.x 包含了 Elasticsearch 服务端(2.x)版本。

    • 索引名称(es_index):es 的索引名称,必填,在搜索es的数据时,会看到 _index 字段,这个对应的就是 es 的 index。如果需要按天读取,则要开启按照时间转换索引功能(es_date_shift),在此处配置索引模板,日期渲染与mysql的魔法变量相同,年份为@(YYYY),月份为@(MM),日期为@(DD),如索引按天创建某一天为 stat-2018.12.27 ,那么此次index就要填写为 stat-@(YYYY).@(MM).@(DD)

    高级选项

    • app 名称(es_type):es 的 type 名称,选填, 是 es 数据的字段类型集合, 在搜索es的数据时,会看到 _type 字段,这个对应的就是 es 的 type。
    • 定时任务(es_cron): 定时任务触发周期
      • 直接写 "loop",任务会不停的循环,执行完一次再接着执行下一次,后面可以跟循环的间歇时间,如 "loop 10s",表示每次循环间隔 10s,支持的单位还有"m(分钟)","h(小时)"
      • crontab 的写法, 类似于* * * * * * ,对应的是秒(0~59),分(0~59),时(0~23),日(1~31),月(1-12),星期(0~6),填*号表示所有遍历都执行.
      • 描述式写法,类似于 "@midnight", "@every 1h30m",必须@符合开头,目前支持@hourly,@weekly,@monthly,@yearly,@every <time duration>
    • 认证用户名(auth_username):es 的认证用户名。
    • 认证用户密码(auth_password):es 的认证用户密码。
    • 分批查询的单批次大小(es_limit_batch):es一次获取的 batch size,默认为 100 条一个 batch。
    • offset保存时间(es_keepalive): es reader 如果停止,重启后可以继续读取数据的 ID(Offset记录)在 es 服务端保存的时长,默认 1d,写法按 es 的单位为准,m分钟,h小时,d天。
    • 启动时立即执行(es_exec_onstart):true 表示启动时执行一次,以后再按 cron 处理;false 则表示到cron 预设的时间才执行,默认为 true
    • 按照时间转换索引(es_date_shift):默认关闭,开启后会将索引按照时间模板渲染。
    • 按照时间转换索引时间偏移(es_date_offset): 对索引(index)进行时间转换时,默认按当前时间,使用这个参数可以对时间进行偏移,单位为小时,如24表示往前偏移1天。通过这个功能,比如偏移24h,就可以在第二天全量导入前一天的索引,只需要每天定时执行一次即可。
    • 循环读取时offset字段名(es_cron_offset): 定时读取时作为offset字段的字段名,该字段只在es_cron中使用的是定时任务时生效,且此字段应该具有作为offset字段的特性(递增,例如:timestamp字段)
    • 魔法变量:目前支持的魔法变量,以当前时间 2017 年 6 月 5 日 6 时 35 分 24 秒为例。
      • @(YYYY) 年份,就是2017
      • @(YY) 年份后两位,就是17。
      • @(MM): 月份,补齐两位,就是06
      • @(M): 月份,不补齐,就是6
      • @(D): 日,不补齐,就是5
      • @(DD): 日,补齐两位,如05
      • @(hh): 小时,补齐两位, 如06
      • @(h): 小时,如6
      • @(mm): 分钟,补齐两位,35
      • @(m): 分钟,35
      • @(ss): 秒,补齐两位,24
      • @(s): 秒,24
    以上内容是否对您有帮助?
  • Developer floatwin
    Close