智能日志管理平台

  • Apache 日志采集分析

    最近更新时间:2018-09-26 14:27:28

    在 nginx 日志分析搭建案例中大家已经明白如何快速搭建实时监控与报警平台的整个过程。除了 nginx 之外,apache(httpd) 服务也是现代 web 服务栈中重要的组件之一,本文档作为一个补充,介绍通过 logkit-pro 来收集 apache 的 access.log。

    1.安装 logkit-pro

    2.使用 logkit-pro 收集日志

    3.在智能日志分析平台搜索日志

    4.使用内置报表配置报表系统对日志进行可视化分析

    5.使用仪表盘对报表进行监控


    1.安装 logkit-pro

    1.登录 logkit-pro,进入机器管理页面,点击添加机器。

    2.手动安装:根据您机器的操作系统版本选择对应的命令,复制到命令行工具即可,如图所示:

    详细的安装文档可以阅读 logkit-pro 安装

    1. 安装完毕后,您可以在机器列表页面看到您安装的机器:


    2.使用 logkit-pro 收集日志

    在机器上安装好 logkit-pro 之后就可以开始收集数据。进入数据收集页面,点击 添加收集器 -> 日志收集

    添加数据源

    一般情况下,您的日志是写入文件的话,就选择从文件读取,不断读取文件尾追加的数据。

    数据解析

    配置好数据来源以后,就开始配置数据解析方式,我们使用 grok 表达式解析 Apache 日志,logkit Pro 提供了一些默认表达式的支持,其中%{COMMON_LOG_FORMAT} 就可以解析 Apache 日志。

    对于 grok 表达式,玩过 ELK 的用户不会陌生,我们完全支持 logstash 的 grok 表达式,对于自己配置的一些特殊 Apache 日志,可以访问我们的 wiki 页面了解进阶用法: 学习如何调试您的 grok 表达式 如何调试您的grok-patterngrokdebug用法.

    配置好后,点击解析样例数据,查看解析是否成功。

    数据转换

    日志中有 IP 和时间字段,可以将 IP 字符串解析成 IP 对应的区域、城市、省份、运营商等信息,以及将时间字符串转换成时间格式。

    解析 IP

    选择需要进行转换的 IP 字段,从本地上传 IP 数据库即可,添加好以后点击转换样例数据,可以看到,client_ip 字段已经被即解析成对应的国家、城市等信息。

    时间字段转换

    选择需要进行转换的时间字段,点击解析即可一键查看解析结果,非常方便快捷。

    注意:每个数据转换都需要点击添加才能生效哦!

    数据发送

    将数据发送至日志分析平台,填写工作流(pipeline)名称和智能日志平台的实时仓库名称即可。日志仓库名称无需填写,开启自动创建并导出到日志分析,系统将会自动创建与实时仓库同名的日志仓库。

    确认收集

    最后,填写收集器名称确认添加就大功告成啦!

    分发收集器到机器

    确认添加收集器之后系统会提示您是否需要分发到当前机器,选择确认分发。

    进入数据收集页面,找到刚刚添加的收集器,点击查看机器运行信息可以查看收集器读取条数、解析条数、错误日志等。


    在智能日志分析平台搜索日志

    进入智能日志分析平台,选择在logkit Pro 发送时填写的仓库名称,输入过滤条件搜索日志结果。


    配置报表

    在日志搜索页面,切换到可视化tab,开始配置报表。

    1.统计请求总数:

    • 统计全部请求总数:选择图表类型为单值图,选择指标为计数。

    • 统计随时间变化的请求总数:选择图表类型为单值图,分组字段为 ts ,选择指标为计数。

    图上的小字号的数字意义为相比上一个时间点请求数量增加了 15897。

    您也可以在图表样式设置里开启时序折线图,方便您直观地了解请求数量的变化趋势。

    更多单值图的图表样式设置使用方法请阅读单值图

    点击添加到仪表盘,输入仪表盘名称和此图表名称,将图表加入指定仪表盘。

    2.统计返回码分布情况:选择图表类型为饼图,选择指标为计数,分组字段为 resp_code。

    可以点击图例取消某图例的展示,只观察感兴趣的分组。

    或者通过图例选择取消全选,再点击具体图例以显示。适用于图例数量比较多的情况。

    3.统计请求方法分布:选择图表类型为饼图,选择指标为计数,分组字段为 verb。

    在样式设置里可以选择图表类型为环图玫瑰图

    更多饼图的样式设置使用说明请阅读饼图

    4.IP 分布情况:选择图表类型为饼图,指标为计数,分组字段为 client_ip。

    5.请求 path 分布情况:选择图表类型为饼图,指标为计数,分组字段为 request。

    6.统计不同国家的请求总数,选择图表类型为世界地图,指标为计数,分组字段为 country。

    通过图表样式设置可以切换地图颜色以及分块数量,详情请阅读统计地图

    7.统计国内不同城市的请求总数,选择图表类型为中国地图,指标为计数,分组字段为 Region。

    8.随时间变化的请求数量统计:选择图表类型为区域图,指标为计数,分组字段为 ts。

    区域图的样式设置请阅读区域图

    9.运营商分布:选择图表类型为柱状图,指标为计数,分组字段为 Isp。

    柱状图的样式设置请阅读柱状图

    10.统计每分钟入口流量:选择图表类型为区域图,指标为对 resp_bytes 字段求和,分组字段为 ts,按照 10m 聚合。

    使用仪表盘对报表进行监控

    进入仪表盘列表,找到保存图表时创建的仪表盘。

    在仪表盘详情页,您可以对图表进行统一管理以及实时监控数据。

    1.仪表盘支持自动刷新,您可以根据需要自定义刷新时间。

    2.仪表盘支持灵活控制图表显示时间,除了全局调整仪表盘所有图表的时间范围以外,您也可以对单个图表单独设置时间范围。

    3.使用大屏功能对图表进行监控。

    4.在仪表盘点击任意感兴趣的数据,即可下钻进入日志详情页面。

    点击下钻以后:

    仪表盘也支持编辑图表等操作,详情请阅读仪表盘

    以上内容是否对您有帮助?
  • Icon free helper
    Close