智能日志管理平台

  • 发布历史

    最近更新时间:2018-08-20 18:09:24

    v0.3.1

    1. agent启动时立即向服务端同步本地的runner,减少服务端不必要的同步任务下发
    2. root下自动安装的agent 工作目录,由 / 改为 /var/local/logkit-pro/agent/
    3. disk queue 默认最大保存32GB数据,超过不再写入,防止磁盘爆满
    4. 【前端】修复编辑时默认的grok解析出错问题
    5. 修复尝试发送样例数据失败时由于磁盘队列导致的仍然不断重试的问题,现在最多重试3次。
    6. 修复k8stag key名字(key 应该是 sourcefilefield)错误
    7. 修复发送的嵌套数据为空不过滤的问题

    v0.3.0 (集群版本正式上线: https://logkit-pro.qiniu.com/ )

    集群版也包含单机版功能

    使用地址:https://logkit-pro.qiniu.com/
    安装方式:https://developer.qiniu.com/insight/manual/4682/logkit-pro-install

    Features

    1. 集群版正式上线, https://logkit-pro.qiniu.com/ 使用,可以自动下载安装一次配置,多次分发集群化、批量管理,最大程度减少agent管理负担。
    2. 增加 Lua transformer 可以编写lua脚本函数,自定义您的数据转换方式
    3. ip 转换支持.mmdb IP库格式
    4. socket reader支持按行分割收到的数据
    5. Pandora Sender、Stream Sender、Kodo Sender 添加自动获得七牛云存储 bucket列表、自动获得实时仓库列表等,可以通过下拉选择
    6. 增加同类产品性能比较

    Bugfixes

    1. 修复前端runner 列表刷新错位问题
    2. 修复添加收集器左侧文字过长导致显示不全的问题
    3. 修复 autofile 模式下如果文件夹内文件的最后修改时间不超过tailx expire时间,读取不到数据的问题
    4. 修复错误信息过大可能导致页面奔溃的问题,现在单条最大只显示1kb长度的错误信息,多的会截断。

    v0.3.0(单机版,功能与集群版相同,仅配置不同)


    v0.2.2(单机版)

    下载地址: https://developer.qiniu.com/insight/manual/4682/logkit-pro-install

    Features

    1. http sender增加一种整个body变为json格式发送的选项(区别于现在整个body是多行,每个行单独是json)
    2. pandora sender内置 pandora_key_convert,自动转换不符合格式的key,同时对这个转换做了性能优化
    3. 增加了dirx模式的文件读取方式,该功能类似tailx,可以以通配符的形式读取不同业务的文件夹数据
    4. mapreplace中增加了一个“new”选项,可以保留原来的数据
    5. ip transformer使用的IP库进行统一管理,使得多个runner或者多个transformer配置了相同地址的ip库使用同一份,节省了大量内存
    6. 将尝试获取数据的接口统一为读1分钟才超时,而不是原来的尝试读取3次读不到就放弃
    7. urlparam transformer不光读取request的参数,还会读取 path 和 host
    8. urlparam transformer支持select_keys选项,允许只选择部分请求参数,防止请求参数过多导致的字段暴增(超过500个字段无法发送到Pandora)
    9. file sender支持选项(file_send_timestamp_key)按数据中的时间来发送到指定文件
    10. reader、parser、transformer、sender、Metric界面根据sortkey稳定排序
    11. date transformer 遇到没有时区信息的时间字符串时默认为本地时间(一般情况下,为 CST)
    12. 增加了一种新的kafka reader,针对kafka版本在0.9及以后的版本
    13. pandora_steam sender支持服务端下发
    14. 支持Metric监控信息的采集
      1. System Metric:监控 load1、load5、load15、用户数、cpu核数以及系统启动时间等。
      2. Processes Metric: 监控处于各种状态的进程数量, 比如运行中/暂停/可中断/空闲的进程数量等。
      3. Netstat Metric: 监控处于各种状态的网络连接数, 比如Syn send/Syn Recv 等状态的网络连接数。
      4. Net Metric: 监控网络设备的状态,比如收发包的数量、收发包的字节数等。
      5. Mem Metric: 监控内存的实时状态。
      6. Swap Metric: 监控 swap 分区的状态,比如换入换出、使用率、空闲大小等。
      7. Cpu Metric: 监控 cpu 的实时状态,包括用量,中断时间占比等。
      8. Kernel Metric: 监控内核中断次数、上下文切换次数、fork 的进程数等。
      9. Disk Metric: 监控磁盘的使用情况, 包括磁盘用量、inode使用情况等。
      10. Diskio Metric: 监控磁盘读写状态, 包括读写次数、总用时等。
      11. Http Metric: 监控某个或者某些http请求。
      12. Procstat Metric: 监控某个或者某些进程的信息,包括cpu,内存,磁盘io,资源限制等。
      13. Ipmi Metric: 硬件监控,监控各类支持ipmi接口的硬件指标。
    15. 新增 csv transformer :功能与csv parser相同,可以在transformer阶段针对某个key再次做csv解析
    16. 新增 grok transformer :功能与grok parser相同,可以在transformer阶段针对某个key再次做grok解析
    17. 新增 join transformer: 可以将数组组合成字符串,数组里面的元素类型可以是任意类型。
    18. 新增了直接发送到七牛云存储(kodo)的sender
    19. 为logkit-pro pprof增加memstats页面,方便排查问题已经性能调优
    20. ip transformer 增加.mmdb IP库格式支持
    21. 新增获取 read parse transform send 历史错误信息,默人历史错误条数最大为100条
    22. 大量重构、性能优化

    Bugfixes

    1. 修复上个版本引入 mssql和postgres连接时sql报错的问题
    2. 修复含有容错功能的sender在一个runner中发送到多个sender时仍然会导致除第一个sender以为其他sender发不出数据的问题
    3. 将mysql读取原来的共用连接改为每个请求都独立创建一个连接,避免unexpected EOF连接错误
    4. sql reader保证每次读取完一张表都会存到meta中,同时修复sql reader同步数据库和表时存meta的错误
    5. 修复export到logdb检查时omitEmpty和omitInvalid为nil导致出错的情况
    6. 修复script transformer在没有脚本文件(路径填错)时可能panic的问题
    7. 修复 urlparam transformer 转换某一条数据出错就导致整批数据都不转换的问题,现在一条出错其他可以继续转换
    8. 修复syslog 出错时没有返回错误数据并导致pandora_stash记录的数据不准确的问题
    9. 修复编辑收集器的时候,extra_info 选择了false时选项变为没选中的状态
    10. 修复ip transformer在logkit迁移过来时不带format字段情况下导致不兼容的问题
    11. 【前端】添加所有错误日志列表
    12. 【前端】 每页的runner显示要增加,改为20个
    13. 【前端】 修复点击启动停止的时候,不容易点中的问题
    14. 【前端】 修复discard transform无法选中字符的问题
    15. 修复logkit-pro docker 镜像保存配置无效的问题
    16. 【前端】修复transformer key填多层(a.b.c)不支持的问题
    17. 【前端】修复时间转换一旦解析成功无法再次选择的bug
    18. 修复 docker 镜像保存配置无效的问题
    19. 【前端】修复了discard选项无法选择字段的问题

    v0.2.1 (单机版)

    Features

    • 增加了regex Transformer #326
    • Pandora sender改名 workflow-> pipeline, 数据源-> 实时仓库, 日志检索->智能日志平台 #325
    • AWS cloudtrail reader 改名 AWS S3 reader
    • 调整了前端pandora的申请开通连接 #336
    • pandora sender增加导出到kodo的rotate 大小/时间的选择,默认导出到kodo的保存时间从30天改为了永久存储 (logkit)
    • http sender增加一种模式,允许整个body变为json,区别于原来单行是json的模式 https://github.com/qiniu/logkit/pull/607
    • 在配置中保存rawData,用于下次修改配置时有个参照 https://github.com/qiniu/logkit/pull/592

    Bugfixes

    以上内容是否对您有帮助?
  • Close