智能日志管理平台仓库数据

智能日志管理平台仓库数据Reader可以根据索引模式进行正则匹配采集匹配成功的索引数据。

必要参数

• pdr_host: 必填项，智能日志管理平台的host以及端口，常用端口是9200
• index_pattern: 必填项，以正则表达式匹配需要采集的索引模式串，默认为'app-*'，即采集所有索引
• distance_day: 必填项，归档距离时长，单位：天。对x天前的索引进行归档，默认为1天
• cron: 必填项，定时任务触发周期, crontab的写法，类似于* * * * * *，对应的是秒(0~59)，分(0~59)，时(0~23)，日(1~31)，月(1-12)，星期(0~6)，填*号表示所有遍历都执行，cron模式为增量读取。如不填，只会针对正则匹配的数据执行一次
• exec_onstart: 启动时立即执行一次

高级选项

• limit_batch: 必填项，单批次查询数据大小，默认100
• keepalive: 必填项，logkit重启后可以继续读取数据的offset记录在服务端保存的时长，默认1d
• max_procs: 必填项，读取的最大并发量，最多同时对多少个索引进行采集，默认1000
• meta_path: 一个文件夹，记录本次reader的读取位置，默认会自动生成
• datasource_tag: 把读取日志的路径名称也作为标签，记录到解析出来的数据结果中，此处填写标签名称

采集流程

1. 获取仓库中所有索引，按索引创建时间排序，优先采集老的索引。
2. 对获取到的索引按正则表达式与index_pattern进行匹配，只采集匹配成功的索引。
3. 按照crontab的定时任务周期对匹配成功的索引进行采集，最多同时对max_procs个索引进行采集，当前任务结束后才会执行下一次采集任务。
4. 索引名模式为app-repoName-dateTime，dateTime为索引的创建时间，采集的索引时间符合dateTime + distance_day <= 当前日期。