logkit-pro 日志读取相关

最近更新时间:2018-10-10 17:15:03

问题描述: 希望读取的日志在不同路径下该如何配置?

可以使用 file reader 中的 tailx 模式。

问题描述: 如何定位 logkit Pro 读取的日志来源?

  1. 在所有 parser 中都有一个 label 功能,这个功能可以用于填写机器编号,ip,服务名、团队名称等各种各样用于区别 logkit Pro 数据来源的标签,这些标签会附加在 logkit Pro 的日志中,便于在大的方向上定位日志来源。
  2. 如果是在 tailx 模式下,一个配置文件可以读多个路径,可以使用 datasource_tag 功能,将读取的日志路径作为一个字段记录在日志中。

问题描述: 读取的时候带上通配符*就报错read line timeout, no data received,单个文件读取是正常的?

* 读取的时候,为了不使打开的句柄过多,文件会有个过期时间,默认是24小时,如果文件的最后修改时间超过了24小时,就会读取不到。如果要解决这个问题,只要将读取的模式选择为tailx,然后把 expire 的配置设置更长即可。

问题描述: 为什么尝试读取数据选择了 newest 就读取不到?

newest 是从数据最新的地方开始读,系统默认读取时间为1分钟,如果这一分钟内没有新的数据出现(追加),那么就无法读取到,建议尝试读取的时候先选择 oldest,等到获取完成数据后再改为 newest

问题描述: 为什么修改runner,选择了 newest/oldest 读取没有按照预期从最新/最老数据开始读取?

oldest和newest只是在最开始的时候有效,一旦runner启动了,就会在本地记录一个meta文件夹,记录读取的位置(offset),然后按照offset读取。使用runner的重置功能会清除这个offset记录。部分读取如kafka,offset是记录在对应的kafka服务中的,此时您需要修改其kafka_groupid,使用一个新的 id 即可。

以上内容是否对您有帮助?
  • Qvm free helper
    Close