智能日志管理平台

  • Apache 日志采集分析

    最近更新时间:2018-08-15 16:02:35

    在 nginx 日志分析搭建案例中大家已经明白如何快速搭建实时监控与报警平台的整个过程。除了 nginx 之外,apache(httpd) 服务也是现代 web 服务栈中重要的组件之一,本文档作为一个补充,介绍通过 logkit Pro 来收集 apache 的 access.log。

    1.下载并启动 logkit Pro

    2.使用 logkit Pro 收集日志

    3.在智能日志分析平台搜索日志

    4.使用内置报表配置报表系统对日志进行可视化分析

    5.使用仪表盘对报表进行监控


    1.下载并运行 logkit Pro

    根据您机器的操作系统版本下载 logkit Pro,logkit Pro 下载地址请阅读 logkit 安装

    解压后您可以看到:

    其中 logkit.conf 为主配置文件,用于配置 logkit Pro 的 web 页面及端口配置,其中

    • bind_host 是设置绑定的端口,启动后可以根据这个配置打开 logkit Pro web 页面,默认的端口为 3000

    命令行进入 logkit Pro 所在文件夹,输入如下命令启动 logkit Pro:

    ./logkit-pro -f logkit-pro.conf

    通过浏览器访问 logkit Pro:

    http://127.0.0.1:3000

    logkit首页

    本地登录 logkit Pro:

    在 logkit Pro 首页右上角,点击登录

    本地登录

    本地登录的默认用户名和密码都是 admin。


    2.使用 logkit Pro 收集日志

    进入数据收集页面,点击添加收集器开始配置收集器。

    添加数据源

    一般情况下,您的日志是写入文件的话,就选择从文件读取,不断读取文件尾追加的数据。

    数据解析

    配置好数据来源以后,就开始配置数据解析方式,我们使用 grok 表达式解析 Apache 日志,logkit Pro 提供了一些默认表达式的支持,其中%{COMMON_LOG_FORMAT} 就可以解析 Apache 日志。

    对于 grok 表达式,玩过 ELK 的用户不会陌生,我们完全支持 logstash 的 grok 表达式,对于自己配置的一些特殊 Apache 日志,可以访问我们的 wiki 页面了解进阶用法: 学习如何调试您的 grok 表达式 如何调试您的grok-patterngrokdebug用法.

    配置好后,点击解析样例数据,查看解析是否成功。

    数据转换

    日志中有 IP 和时间字段,可以将 IP 字符串解析成 IP 对应的区域、城市、省份、运营商等信息,以及将时间字符串转换成时间格式。

    解析 IP

    选择需要进行转换的 IP 字段,从本地上传 IP 数据库即可,添加好以后点击转换样例数据,可以看到,client_ip 字段已经被即解析成对应的国家、城市等信息。

    时间字段转换

    选择需要进行转换的时间字段,点击解析即可一键查看解析结果,非常方便快捷。

    注意:每个数据转换都需要点击添加才能生效哦!

    数据发送

    将数据发送至智能日志分析平台,输入工作流名称,日志分析仓库名称可不填,默认使用数据仓库名称,点击下一步。

    确认收集

    最后,填写收集器名称确认添加就大功告成啦!

    分发收集器

    进入数据收集页面,找到刚刚添加的收集器,将收集器分发到机器。


    点击查看收集器可以查看收集器运行信息,读取条数、解析条数、错误日志等。


    在智能日志分析平台搜索日志

    进入智能日志分析平台,选择在logkit Pro 发送时填写的仓库名称,搜索出日志内容。


    配置报表

    在日志搜索页面,切换到可视化tab,开始配置报表。

    1.统计请求总数:

    • 统计全部请求总数:选择图表类型为单值图,选择指标为计数。

    • 统计随时间变化的请求总数:选择图表类型为单值图,分组字段为 ts ,选择指标为计数。

    图上的小字号的数字意义为相比上一个时间点请求数量增加了 9373。

    您也可以在图表样式设置里开启时序折线图,方便您直观地了解请求数量的变化趋势。

    更多单值图的图表样式设置使用方法请阅读单值图

    点击添加到仪表盘,输入仪表盘名称和此图表名称,将图表加入指定仪表盘。

    2.统计返回码分布情况:选择图表类型为饼图,选择指标为计数,分组字段为 resp_code。

    可以点击以取消图例,只观察感兴趣的分组。

    或者通过图例取消全选,再点击图例以显示。根据需要选择合适的操作方式。

    3.统计请求方法分布:选择图表类型为饼图,选择指标为计数,分组字段为 verb,在图表样式设置里选择图表类型为环图

    更多饼图的样式设置使用说明请阅读饼图

    4.IP 分布情况:选择图表类型为饼图,指标为计数,分组字段为 client_ip。

    5.请求 path 分布情况:选择图表类型为饼图,指标为计数,分组字段为 request。

    6.统计不同国家的请求总数,选择图表类型为世界地图,指标为计数,分组字段为 country。

    通过图表样式设置可以切换地图颜色以及分块数量,详情请阅读统计地图

    7.统计国内不同城市的请求总数,选择图表类型为中国地图,指标为计数,分组字段为 Region。

    8.随时间变化的请求数量统计:选择图表类型为区域图,指标为计数,分组字段为 ts。

    区域图的样式设置请阅读区域图

    9.运营商分布:选择图表类型为柱状图,指标为计数,分组字段为 Isp。

    柱状图的样式设置请阅读柱状图

    10.统计每分钟入口流量:选择图表类型为区域图,指标为对 resp_bytes 字段求和,分组字段为 ts,按照 10m 聚合。

    使用仪表盘对报表进行监控

    进入仪表盘列表,找到刚刚创建的仪表盘,进入仪表盘对图表进行监控,同时可以对仪表盘以及仪表盘里的图表进行编辑。关于仪表盘的操作,请阅读仪表盘

    以上内容是否对您有帮助?
  • Close