机器数据分析平台

  • 机器数据分析平台 > 使用文档 > 发布历史 >0.14.2

    0.14.2

    最近更新时间: 2022-01-26 10:24:03

    新功能

    • 数据采集

      • 采集概览页面:新增采集概览,直观展示采集数据量和采集效率
      • pandora2.0 & logkitpro统一登录:平台与logkitpro客户端采集统一登录,减少用户重复登录操作,提升用户体验
    • 搜索

      • SPL支持注释:可以对SPL添加解释和说明,让用户能够更加轻松地理解SPL含义
      • 向量化引擎Matrix支持数据页面查看:支持查看事件的趋势、详情、字段,支持字段添加到搜索功能
      • 向量化引擎Matrix支持仓库权限和搜索限制,控制数据权限
    • 界面管理

      • 新增视图管理界面,用户可对视图进行增删改查、授权
      • 新增导航管理界面,用户可对导航进行编辑、授权
    • 新增低代码组件

      • 新增低代码组件:Tab、文件上传、图表、应用交互,丰富低代码组件库和支持低代码页面与其他页面进行通信交互
    • 平台监控控制台APP
      平台监控控制台APP提供对平台节点、查询任务、流量、机器的统一监控:

      • 监控概览:通过单值指标、Top饼图,来直观的展现集群的核心指标,点击可以下钻到详情
      • 节点:呈现节点负载、分片、线程情况,当堆、CPU、负载和磁盘超过预警值,会分别出现黄色警告和红色危险提醒
      • 查询任务:呈现计算任务的资源使用与查询分析,统计计算任务的热点查询和慢查询
      • 流量:从采集节点和数据节点分别观察流量,根据服务器和收集器这2个维度,对采集流量进行细粒度划分。同时分析仓库的分片从创建开始,到当前时间,平均每秒的写入流量
      • 机器:根据CPU和磁盘IO判断系统瓶颈,主要呈现机器的cpu和io指标,注意需要安装logkitpro
    • 其他

      • 系统通知中心支持渲染音频

    功能优化

    • 数据采集
      • 采集入口统一:统一不同采集方法入口,提升交互体验
    • 低代码功能优化
      • 编辑APP时升级提示支持设置再次提醒时间
      • xml增加版本号
    • 告警服务
      • 告警模块权限报错优化
      • 告警抑制功能联动告警级别,只显示当前告警定义的等级
    • 其他
      • 登录页面图片支持修改
      • 主页app移动支持置顶
      • 系统日志支持删除策略
      • 功能列表增加Owner所有者筛选

    性能增强

    • 向量化引擎灰度发布,大幅提升分析效率:
      • 新增支持算子
        • join:join 的类型支持 semi、diff、semiflag、inner、left;join右表限制默认10w,可不限制,同时join同时整体性能大幅提升;
        • repartition:计算时,repartition 算子用于将数据按指定规则(随机或者Hash)重新进行分片。重新分片后, 计算引擎会为每一个分片分配一个 Task 来处理, 这些 Task 会并行的执行
        • noop:用于对当前 query 的执行计划, 优化器等配置选项进行动态调整
        • analyze:用于对查询的执行情况进行分析, 可支持从不同的并行层级观察执行状况, 帮助观察和分析性能问题
        • show:通过 show 算子, 可以观察集群各个节点任务的执行状态, 线程池信息等
      • 优化:新的分布式并行计算架构,核心特性包括数据 Shuffle 能力 、数据并行与指令并行、节点间与节点内两层并行能力支持;

    Bug修复

    • 下钻功能点击后参数丢失;
    • 仪表盘修改模版变量失败;
    • sort by 常量, 异常;
    • 新引擎 inner 多字段 join时候报错;
    • 导航授权导致list权限丢失;
    • 给角色赋予视图查看、新建权限,点击新建视图时,页面报错,所属应用选择为空,无法创建。
    以上内容是否对您有帮助?
  • Qvm free helper
    Close