智能日志管理平台

  • 智能日志管理平台 > 使用文档 > logkit-pro 日志收集工具 >数据源(Readers) > 智能日志管理平台仓库数据

    智能日志管理平台仓库数据

    最近更新时间:2020-12-28 16:56:04

    智能日志管理平台仓库数据Reader可以根据索引模式进行正则匹配采集匹配成功的索引数据。

    必要参数

    • pdr_host: 必填项,智能日志管理平台的host以及端口,常用端口是9200
    • index_pattern: 必填项,以正则表达式匹配需要采集的索引模式串,默认为'app-*',即采集所有索引
    • distance_day: 必填项,归档距离时长,单位:天。对x天前的索引进行归档,默认为1天
    • cron: 必填项,定时任务触发周期, crontab的写法,类似于* * * * * *,对应的是秒(0~59),分(0~59),时(0~23),日(1~31),月(1-12),星期(0~6),填*号表示所有遍历都执行,cron模式为增量读取。如不填,只会针对正则匹配的数据执行一次
    • exec_onstart: 启动时立即执行一次

    高级选项

    • limit_batch: 必填项,单批次查询数据大小,默认100
    • keepalive: 必填项,logkit重启后可以继续读取数据的offset记录在服务端保存的时长,默认1d
    • max_procs: 必填项,读取的最大并发量,最多同时对多少个索引进行采集,默认1000
    • meta_path: 一个文件夹,记录本次reader的读取位置,默认会自动生成
    • datasource_tag: 把读取日志的路径名称也作为标签,记录到解析出来的数据结果中,此处填写标签名称

    采集流程

    1. 获取仓库中所有索引,按索引创建时间排序,优先采集老的索引。
    2. 对获取到的索引按正则表达式与index_pattern进行匹配,只采集匹配成功的索引。
    3. 按照crontab的定时任务周期对匹配成功的索引进行采集,最多同时对max_procs个索引进行采集,当前任务结束后才会执行下一次采集任务。
    4. 索引名模式为app-repoName-dateTime,dateTime为索引的创建时间,采集的索引时间符合dateTime + distance_day <= 当前日期
    以上内容是否对您有帮助?
  • Qvm free helper
    Close