使用指南
本教程讲解如何使用数据集构建您自己的基于日志仓库的 excel 表格。
构建数据透视表
在数据集管理
页面点击页面右上角创建数据集。
第一步:定义数据集的初始数据
通过选择来源仓库、时间字段、字段定义您数据集的初始数据,右侧会展示您的数据集的初始数据。完成后点击下一步。
注意,这里默认给您展示 50 条样例数据。
第二步:细化数据集
定义了数据集的初始数据之后,您可以通过编辑、排序、筛选、关联、统计
操作对数据集进行细化,让数据集接近理想分析模型。当然,您也可以在这一步修改数据集的初始数据。点击初始化操作模块->编辑
即可。
编辑:通过编辑操作,您可以指定从初始数据中移除某字段、对某字段重命名、对某字段进行计算。
排序:选中某字段,对其进行正序、逆序排序,可同时对多个字段进行排序。
筛选:
按字段关系筛选:对两个字段的类型和值进行比较。若字段类型相同,字段值满足比较条件,则将满足条件的数据过滤出来。支持添加多个筛选条件并使用或/与逻辑。
按字段内容筛选:通过字段内容过滤数据集内容。支持正则表达式。
替换字段值:选中某个字段,用新值替换字段的当前值。
字段值去重:选中某个字段,对该字段进行去重处理。
关联:关联其他数据集 join,可挑选关联结果中的字段追加到当前数据集中,关联类型分为以下三种:
所有数据:对当前数据集和关联数据集做 left join。
交集:对当前数据集和关联数据集做 inner join。
差集:返回当前数据集中不匹配关联条件的所有数据(Diff)。
统计:对数据集中的字段进行统计。
- 对 date 类型字段支持统计计数、去重计数、最早时间、最晚时间。
- 对 text、string、keyword 类型字段支持统计计数、去重计数。
- 对 long、float 类型字段支持统计计数、去重计数、平均值、最大值、最小值、求和。
新增:
对字段计算:对初始数据中的字段进行计算。如将系统 cpu 使用率转换为百分比值。
对时间计算:将当前时间字段格式化、判断工作日时间、节假日时间、计算两个时间字段之间的差值等。
正则提取:输入正则表达式提取字段内容。
- 连接字段:可连接多个字段,也可输入自定义字符串进行拼接。
- eval(高级):输入
eval 表达式
在数据集中插入新的字段。具体用法请阅读 eval 命令。 - 字段类型转换:将数值类型字段转换为字符串类型。
编辑数据集的所有的操作都会显示在左侧,您可以点击查看对应的操作详情,或对其进行编辑。
第三步:保存并查看数据集
构造好数据集后点击保存。进入数据集查询页面,选择数据集和时间范围查看数据。
数据集中的数据支持下载。
第四步:针对数据集可视化并保存到仪表盘
您配置的数据集默认会以数据表形式呈现,您可以根据分析需求对其切换图表展示类型,配置多种多样的分析报表,并将可视化结果保存到仪表盘中。
如图,数据集原始数据为:
切换图表类型为柱状图,并可配置图表样式。
注意:对于没有统计信息的数据集仅支持原始数据展示,图表类型仅支持数据表和散点图。
点击右上角编辑按钮,您可以方便地根据数据集可视化结果随时查看编辑数据集。
数据集定时导出
数据集支持定时
导出数据至日志仓库,定时导出的频率支持:每分、每时、每日、每周、每月、每季度、每年
,选择频率之后,您也可以自定义具体的导出时间。如:选择每周导出一次,您可以指定导出时间为每周五的 16:00 发送。
注意1:数据集的字段需与日志仓库的字段对应起来。您需要选择或输入日志仓库中与数据集对应的字段。
注意2:数据集导出目前仅支持非增量导出。