10 分钟玩转智能日志平台
智能日志管理平台是七牛云提供的、针对海量日志收集、存储、查询、计算的日志分析服务,您可以通过智能日志管理平台完成日志的采集、查询分析、计算以及投递到对象存储等其他产品做进一步分析。
本文档在 mac 环境下,为您演示通过 logkit-pro 采集日志完成日志的查询分析并投递到对象存储服务的基本流程。本案例涉及采集日志、日志查询分析、数据计算、数据投递等日志服务基本功能,是智能日志管理平台的入门级操作指南。
在开始本次教程之前,请确保您已经拥有七牛账号并开通了智能日志平台的服务。开通步骤请阅读开通产品。
1.采集日志
安装 logkit-pro
1.登录 logkit-pro,进入机器管理页面,点击添加机器。
2.手动安装:根据您机器的操作系统版本选择对应的命令,复制到命令行工具即可,如图所示:
详细的安装文档可以阅读 logkit-pro 安装 。
- 安装完毕后,您可以在机器列表页面看到您安装的机器:
采集日志
安装好 logkit-pro 以后,您就可以使用 logkit-pro 来收集日志。
进入数据收集页面,点击 添加收集器 -> 日志收集。
添加数据源
1.添加数据源,logkit-pro 支持多种数据源,这里选择从文件读取,填写您的日志所在路径即可。
填写好配置信息之后,点击【获取数据】,验证获取数据是否成功。
数据解析
2.根据日志格式配置合适解析方式,抽取日志中的字段。对于 csv 格式的日志,选择按 csv 格式解析即可,选择分隔符为逗号,可以修改字段名与字段类型,如图所示。然后点击解析样例数据,查看解析是否成功。
数据转换
3.可以做一些更精细的字段解析。对于教程里的数据,我们需要将 timestamp 转换成时间类型,使用 date 转换器
即可。选择需要转换的 key 为 timestamp,点击解析查看转换结果,最后点击添加使转换器生效。
发送数据
4.将数据发送至日志分析平台,填写工作流(pipeline)名称和智能日志平台的实时仓库名称即可。日志仓库名称无需填写,开启自动创建并导出到日志分析
,系统将会自动创建与实时仓库同名的日志仓库。
确认添加收集器
5.填写收集器名称,确认添加收集器收集数据。
分发收集器到机器
6.分发收集器到指定机器:确认添加收集器之后系统会提示您是否需要分发到当前机器,选择确认分发。
这样,您的数据就被采集并发送到智能日志平台了,您可以到智能日志平台对数据进行搜索分析。
2.查询分析 & 可视化
进入智能日志平台日志搜索页面,选择从 logkit Pro 发送数据时自动创建的日志仓库,选择时间过滤字段为日志入库时间字段 _time,查询刚刚发送到日志平台的日志。
配置报表
切换日志搜索结果 tab 到可视化 tab,进入图表配置页面。在这里根据分析需要可以配置各种图表,日志分析平台目前支持的图表类型包括柱状图、折线图、区域图、饼图、统计地图(中国地图、世界地图)、单值图(数字单值图、仪表单值图)、数据表格。本教程给出以下几个图表配置案例。
1.数据表格:统计不同 location 的记录数目。
选择分组字段为 location,指标为计数。
2.柱状图:不同数量的 honeybees 统计。
选择分组字段为 honeybees,指标为计数。
3.饼图:不同 sensor 的计数。
选择分组字段为 sensor,指标为计数。
点击添加到仪表盘,将图表添加到仪表盘进行统一管理、监控日志。
更多报表配置操作请阅读报表说明。
3.数据计算 & 投递
如果您还需要对数据进行计算并投递的话,进入工作流页面,找到在 logkit Pro 发送时创建的工作流,点击查看/编辑进入工作流工作界面。
1.选择数据源节点,右键并选择流式计算对数据进行实时计算。选择流式计算会自动生成一个消息队列节点。
2.在流式计算节点的编辑栏,选择计算模式为 SQL 计算,并输入 SQL 代码。
3.在新的消息队列节点上点击右键并选择导出到对象存储。
4.在对象存储节点编辑栏,填写对象存储的空间名称、导出文件的名称前缀、导出文件的类型,其他参数保持默认即可。
5.打开七牛对象存储,找到刚刚在工作流填写的空间名称,可以看到一条刚刚导出的 csv 文件:
将文件下载到本地验证是否是我们发送到工作流的数据:
验证无误,与我们通过 logkit Pro 采集并经过数据计算逻辑的数据一致。
至此,您就完成了一整套采集数据、查询数据、对数据进行可视化分析、对数据进行计算并导出到对象存储的流程啦!