智能日志管理平台

  • 发布历史

    最近更新时间:2018-11-23 21:25:26

    v1.2.2 (2018/11/23)

    1. dir/dirx数据源支持再次读取已经读完(相同inode)的文件
    2. tailx/dirx的newest改为只有在读取存量数据时有效,dirx的dataSourceTag支持具体到文件(之前是文件夹)
    3. postgres支持timestamp
    4. json、logfmt解析增加保留原始字段功能
    5. 新增定长字段提取、过滤字段转换器
    6. 发送到文件支持划分原始数据发送到多个文件,支持发送raw字段字符串到文件
    7. 监控信息采集中增加net_hw_addr字段用于区分是否为虚拟网卡
    8. tracing将部分出错信息返回
    9. 读取/发送条数、速率改为整型展示
    10. 修复发送到pandora平台非backup_only时,在某些情况下可能会一直重发导致统计数据不准的问题
    11. 修复dirx/tailx文件过多时,尝试获取数据可能会导致程序崩溃的问题
    12. 修复winlog读取时,出现RPC server is too busy to complete this operation错误时,windows句柄猛增的问题
    13. 部分转换器支持多线程

    v1.2.1 (2018/11/01)

    1. 新增VMware VSphere metric和eventlog读取功能
    2. 新增HDFS数据读取功能
    3. 支持Kafka 2.0版本数据读取
    4. tracing支持 Skywalking插件
    5. 支持服务端修改agent对机器CPU总的使用率
    6. windows event日志的部分字段修改为map类型
    7. 发送到pandora增加请求超时时间设置,可以不超时,解决因为超时导致数据重复的问题
    8. 用go的runtime.MAXPROCS 替代sender的并发数设置,去掉了 ft_procs 选项
    9. 修复了读取测试数据在10行以内时拿不到数据的问题
    10. 修复了发送到kafka实际没有错误但是报错的问题
    11. 修复了部分时间类型由于使用了time.Time而不是RFC3339导致的发送失败问题
    12. 修复了在32位机器上写数据到本地文件会导致程序奔溃的问题

    v1.2.0 (2018/10/24)

    1. 服务端支持多行读取,新版本agent默认读取10行,老版本依旧1行
    2. 服务端支持保留机器监控修改的仓库名称
    3. tracing功能支持不写ak、sk(agent需要更新至v1.2.0)
    4. transformer前端支持拖动修改顺序
    5. tranformer支持某个失败不影响其他的继续执行(需升级至v1.2.0)
    6. 前端增加个人中心和秘钥管理
    7. 收集器配置支持表单填写和界面选择同步
    8. 前端支持跳转到智能日志平台的仓库直接查询
    9. 发送到智能日志平台设置分词更人性化
    10. 修复一些新增的transformer和parser在服务端解析转换出错的问题
    11. 新增发送到mysql功能
    12. 新增sqlfile(mysql数据的文件导出)功能
    13. 新增csv格式的文件打印功能
    14. 修复dir模式lag统计没有过滤掉不符合模式的文件的问题
    15. useragent Transformer支持多核
    16. 修复xml解析可能导致进程出错的问题
    17. 修复安全信息采集在windows下运行可能导致进程出错的问题
    18. 修复agent在手动重启后可能导致机器监控数据收集出错的问题
    19. 识别prometheus的exporter自带的时间戳为date类型

    v1.1.1 (2018/9/27)

    1. runner增加历史错误提示
    2. 优化按钮、文件字体、文案,提升用户体验
    3. label transformer不用select,用input
    4. “另存为”功能直接在收集器右侧即可操作,更方便使用
    5. 新增Oracle数据同步和监控功能场景实践
    6. 新增lumberjack 数据源,支持AIX机器日志采集
    7. 新增安全数据采集功能,支持SIEM
    8. 发送给云存储(kodo)支持自定义环境地址、支持默认日志目录
    9. 支持runner能延时等待reader关闭的参数(作为高级功能,暂时还不支持前端配置)
    10. http sender增加 raw发送协议,可以把读取的原始数据当作body发送
    11. kafka sender增加 lz4压缩模式,选择gzip压缩模式时增加压缩级别选择
    12. 修复了一些特殊场景下的问题

    v1.0.4 (2018/09/13)

    1. 首栏增加<智能日志管理平台>跳转链接
    2. 增加用户“概览”首页,可以查看logkit-pro的整体情况
    3. 支持子账号登录使用,无需单独申请权限
    4. 限制删除有运行着runner的收集器,增加强制删除提示
    5. pick transformer 前端支持字段多选
    6. 修复grok划词末尾多换行的问题
    7. Elasticsearch Sender支持gzip压缩发送、支持用户密码、反馈发送错误、支持数据部分发送成功、修复部分配置错误。
    8. 发送端支持丢弃发送错误数据的选项
    9. 所有的解析器都支持了保留原始数据的功能,原始数据会保存在 raw_data 字段
    10. tracing读取支持pinpoint Span和SpanChunk
    11. 新增 windows wmi 读取,支持通过wmi协议读取windows eventlog等信息
    12. 增加了从机器的环境变量读取隐私信息的功能,如密码、sk等,避免隐私信息存在配置文件中
    13. Kafka 发送如果数据过大会二分发送
    14. 收集器编辑支持“另存为”功能,快速复制收集器配置。
    15. 修复了pandora sender统计信息"发送数据成功/失败条数"可能不准确的问题;pandora sender有别名时,如果发送出错,下一次发送时会发送空数据的问题。

    v1.0.3 (hotfix)

    1. 修复 v1.0.2 引入的在用户的runner,如果使用IP Transformer,字段中带有.号时,使用本地解析不兼容的情况。
    2. 修复 mysql 和 postgresql 读取的数据中,如果一条记录中,部分整型和浮点型字段存在null的情况会导致整条记录都被过滤的问题。

    如果您使用了上述功能,请升级


    v1.0.2 (2018/09/04)

    1. 新增tracing reader: logkit支持读取 jaeger和zipkin client打过来的tracing日志。
    2. 新增winlog reader: 支持收集windows下的系统日志(windows event log)数据。
    3. 新增logfmt parser, 可以直接解析logfmt格式的日志。
    4. 新增thinkphp5 parser,可以直接解析 thinkphp5 格式的日志。
    5. 尝试获取数据现在只显示64Kb数据,防止前端页面奔溃。
    6. grok parser 划词体验改善,欢迎使用grok划词解决您的数据解析问题。
    7. 支持发送到kodo、导出到kodo时直接设置文件尾低频存储的文件。
    8. 所有配置模块增加文档链接。
    9. 所有parser添加多线程能力,会根据logkit全局使用的进程数控制,大大提高解析性能。
    10. Socket reader 增加一种按json读取的能力,现在支持按包、按行和按json格式三种。
    11. logkit pandora sender中自动创建的工作流和仓库增加了描述信息
    12. ip Transformer 支持使用服务端解析,不再需要用户自己有IP库。
    13. 增加了选项,磁盘队列单个文件的大小和单条数据大小可以控制。

    v1.0.1

    1. 支持数据脱敏
    2. 选择获取样例数据的agent支持搜索
    3. 服务端支持展示非服务端下发的runner运行情况(主要用户支持老的logkit用户迁移到logkit-pro的场景)
    4. agent本地增加了 /logkit/status 接口支持,与开源版logkit一致
    5. 支持 nginx 解析方式
    6. 服务端支持查看历史错误信息
    7. 服务端添加收集器完毕后,会询问是否直接分发到获取数据的agent
    8. 机器列表每页显示15条,并修正样式。
    9. 增加了prometheus 监控节点读取的功能,适配了所有prometheus的监控节点,支持包括各类数据库、中间件、硬件设备在内的上百种监控。
    10. influxdb sender在 host 没有写 http 协议头时自动添加
    11. 重构了 qiniu log parser,使得其更灵活的适配七牛的日志库。
    12. 增加 influxdb 忽略超出 retention 数据的选项,修复了一旦有数据点超出retention再也无法恢复的问题
    13. 增加Mssql和Postgres schema选项,支持自定义架构
    14. 修复允许多个runner名字相同的问题,现在会禁止同名runner启动
    15. 修复某些场景下mysql 读取无法读到数据的问题
    16. 导出到kodo的分片策略设置时间和大小值,修复了把服务端配置改为默认值的问题

    v0.3.1

    1. agent启动时立即向服务端同步本地的runner,减少服务端不必要的同步任务下发
    2. root下自动安装的agent 工作目录,由 / 改为 /var/local/logkit-pro/agent/
    3. disk queue 默认最大保存32GB数据,超过不再写入,防止磁盘爆满
    4. 【前端】修复编辑时默认的grok解析出错问题
    5. 修复尝试发送样例数据失败时由于磁盘队列导致的仍然不断重试的问题,现在最多重试3次。
    6. 修复k8stag key名字(key 应该是 sourcefilefield)错误
    7. 修复发送的嵌套数据为空不过滤的问题

    v0.3.0 (集群版本正式上线: https://logkit-pro.qiniu.com/ )

    集群版也包含单机版功能

    使用地址:https://logkit-pro.qiniu.com/
    安装方式:https://developer.qiniu.com/insight/manual/4682/logkit-pro-install

    Features

    1. 集群版正式上线, https://logkit-pro.qiniu.com/ 使用,可以自动下载安装一次配置,多次分发集群化、批量管理,最大程度减少agent管理负担。
    2. 增加 Lua transformer 可以编写lua脚本函数,自定义您的数据转换方式
    3. ip 转换支持.mmdb IP库格式
    4. socket reader支持按行分割收到的数据
    5. Pandora Sender、Stream Sender、Kodo Sender 添加自动获得七牛云存储 bucket列表、自动获得实时仓库列表等,可以通过下拉选择
    6. 增加同类产品性能比较

    Bugfixes

    1. 修复前端runner 列表刷新错位问题
    2. 修复添加收集器左侧文字过长导致显示不全的问题
    3. 修复 autofile 模式下如果文件夹内文件的最后修改时间不超过tailx expire时间,读取不到数据的问题
    4. 修复错误信息过大可能导致页面奔溃的问题,现在单条最大只显示1kb长度的错误信息,多的会截断。

    v0.3.0(单机版,功能与集群版相同,仅配置不同)


    v0.2.2(单机版)

    下载地址: https://developer.qiniu.com/insight/manual/4682/logkit-pro-install

    Features

    1. http sender增加一种整个body变为json格式发送的选项(区别于现在整个body是多行,每个行单独是json)
    2. pandora sender内置 pandora_key_convert,自动转换不符合格式的key,同时对这个转换做了性能优化
    3. 增加了dirx模式的文件读取方式,该功能类似tailx,可以以通配符的形式读取不同业务的文件夹数据
    4. mapreplace中增加了一个“new”选项,可以保留原来的数据
    5. ip transformer使用的IP库进行统一管理,使得多个runner或者多个transformer配置了相同地址的ip库使用同一份,节省了大量内存
    6. 将尝试获取数据的接口统一为读1分钟才超时,而不是原来的尝试读取3次读不到就放弃
    7. urlparam transformer不光读取request的参数,还会读取 path 和 host
    8. urlparam transformer支持select_keys选项,允许只选择部分请求参数,防止请求参数过多导致的字段暴增(超过500个字段无法发送到Pandora)
    9. file sender支持选项(file_send_timestamp_key)按数据中的时间来发送到指定文件
    10. reader、parser、transformer、sender、Metric界面根据sortkey稳定排序
    11. date transformer 遇到没有时区信息的时间字符串时默认为本地时间(一般情况下,为 CST)
    12. 增加了一种新的kafka reader,针对kafka版本在0.9及以后的版本
    13. pandora_steam sender支持服务端下发
    14. 支持Metric监控信息的采集
      1. System Metric:监控 load1、load5、load15、用户数、cpu核数以及系统启动时间等。
      2. Processes Metric: 监控处于各种状态的进程数量, 比如运行中/暂停/可中断/空闲的进程数量等。
      3. Netstat Metric: 监控处于各种状态的网络连接数, 比如Syn send/Syn Recv 等状态的网络连接数。
      4. Net Metric: 监控网络设备的状态,比如收发包的数量、收发包的字节数等。
      5. Mem Metric: 监控内存的实时状态。
      6. Swap Metric: 监控 swap 分区的状态,比如换入换出、使用率、空闲大小等。
      7. Cpu Metric: 监控 cpu 的实时状态,包括用量,中断时间占比等。
      8. Kernel Metric: 监控内核中断次数、上下文切换次数、fork 的进程数等。
      9. Disk Metric: 监控磁盘的使用情况, 包括磁盘用量、inode使用情况等。
      10. Diskio Metric: 监控磁盘读写状态, 包括读写次数、总用时等。
      11. Http Metric: 监控某个或者某些http请求。
      12. Procstat Metric: 监控某个或者某些进程的信息,包括cpu,内存,磁盘io,资源限制等。
      13. Ipmi Metric: 硬件监控,监控各类支持ipmi接口的硬件指标。
    15. 新增 csv transformer :功能与csv parser相同,可以在transformer阶段针对某个key再次做csv解析
    16. 新增 grok transformer :功能与grok parser相同,可以在transformer阶段针对某个key再次做grok解析
    17. 新增 join transformer: 可以将数组组合成字符串,数组里面的元素类型可以是任意类型。
    18. 新增了直接发送到七牛云存储(kodo)的sender
    19. 为logkit-pro pprof增加memstats页面,方便排查问题已经性能调优
    20. ip transformer 增加.mmdb IP库格式支持
    21. 新增获取 read parse transform send 历史错误信息,默人历史错误条数最大为100条
    22. 大量重构、性能优化

    Bugfixes

    1. 修复上个版本引入 mssql和postgres连接时sql报错的问题
    2. 修复含有容错功能的sender在一个runner中发送到多个sender时仍然会导致除第一个sender以为其他sender发不出数据的问题
    3. 将mysql读取原来的共用连接改为每个请求都独立创建一个连接,避免unexpected EOF连接错误
    4. sql reader保证每次读取完一张表都会存到meta中,同时修复sql reader同步数据库和表时存meta的错误
    5. 修复export到logdb检查时omitEmpty和omitInvalid为nil导致出错的情况
    6. 修复script transformer在没有脚本文件(路径填错)时可能panic的问题
    7. 修复 urlparam transformer 转换某一条数据出错就导致整批数据都不转换的问题,现在一条出错其他可以继续转换
    8. 修复syslog 出错时没有返回错误数据并导致pandora_stash记录的数据不准确的问题
    9. 修复编辑收集器的时候,extra_info 选择了false时选项变为没选中的状态
    10. 修复ip transformer在logkit迁移过来时不带format字段情况下导致不兼容的问题
    11. 【前端】添加所有错误日志列表
    12. 【前端】 每页的runner显示要增加,改为20个
    13. 【前端】 修复点击启动停止的时候,不容易点中的问题
    14. 【前端】 修复discard transform无法选中字符的问题
    15. 修复logkit-pro docker 镜像保存配置无效的问题
    16. 【前端】修复transformer key填多层(a.b.c)不支持的问题
    17. 【前端】修复时间转换一旦解析成功无法再次选择的bug
    18. 修复 docker 镜像保存配置无效的问题
    19. 【前端】修复了discard选项无法选择字段的问题

    v0.2.1 (单机版)

    Features

    • 增加了regex Transformer #326
    • Pandora sender改名 workflow-> pipeline, 数据源-> 实时仓库, 日志检索->智能日志平台 #325
    • AWS cloudtrail reader 改名 AWS S3 reader
    • 调整了前端pandora的申请开通连接 #336
    • pandora sender增加导出到kodo的rotate 大小/时间的选择,默认导出到kodo的保存时间从30天改为了永久存储 (logkit)
    • http sender增加一种模式,允许整个body变为json,区别于原来单行是json的模式 https://github.com/qiniu/logkit/pull/607
    • 在配置中保存rawData,用于下次修改配置时有个参照 https://github.com/qiniu/logkit/pull/592

    Bugfixes

    以上内容是否对您有帮助?
  • Icon free helper
    Close