智能日志管理平台

  • Nginx 日志分析

    最近更新时间:2018-07-13 10:26:29

    本文档介绍如何使用 logkit Pro + 日志分析服务 + Grafana 10 分钟搭建 Nginx 日志分析和实时监控系统。

    在开始场景实践之前,请确保您已经完整体验了我们的 快速开始 下所有内容,对我们的产品有一个基础的了解。

    1.下载并启动 logkit Pro

    2.使用 logkit Pro 收集日志

    3.新建并配置 Grafana 监控图表

    4.配置报警信息


    1.下载并启动 logkit Pro

    根据机器版本下载 logkit Pro 到本地,logkit Pro 下载地址请阅读 logkit 安装

    将下载的 logkit Pro 解压后,在命令行中将路径指向 logkit Pro 文件夹;

    输入 ./logkit-pro -f logkit-pro.conf启动 logkit Pro。

    启动后,您可以直接打开浏览器访问,默认的端口为 3000

    在浏览器输入 http://127.0.0.1:3000 访问 logkit Pro 主页。

    logkit首页

    本地登录 logkit Pro,用户名和密码默认都是 admin。

    本地登录


    2.使用 logkit Pro 收集日志

    进入数据收集页面,点击添加收集器开始配置收集器。

    第一步:添加数据源,logkit Pro 支持多种数据源,这里选择从文件读取,填写您的 Nginx 日志所在路径即可。

    填写好配置信息之后,点击【获取数据】,验证获取数据是否成功。

    第二步:这根据日志格式配置合适解析方式,抽取日志中的字段。logkit Pro 支持多种格式的日志解析,这里我们选择按 grok 格式解析,logkit Pro 提供了一些默认表达式的支持,其中%{COMMON_LOG_FORMAT} 就可以解析 Nginx 日志。然后点击解析样例数据,查看解析是否成功。

    第三步:数据转换,这一步可以做一些更精细的字段解析。在这里,我们跳过这一步,直接点击下一步

    第四步:将数据发送至日志分析平台,填写日志分析仓库名称即可。

    同时需要填写工作流名称与数据源名称,将日志发送到工作流平台,方便在工作流平台对数据进行计算。

    第五步:确认收集数据,填写收集器名称确认添加数据收集器。


    3.新建并配置 Grafana 监控图表

    我们准备好了一个 nginx 监控的 dashboard 模板,点击右侧下载 json。http://op26gaeek.bkt.clouddn.com/logdbgrafana.json

    grafana

    • 选中应用市场后,先选择对应的区域为华东一区。

    grafana

    • 在 Grafana 应用页面 ,点击【部署应用】即可部署一个新的 Grafana 应用。

    grafana

    • 创建好应用之后点击应用名称,可以看到 Grafana 监控页面的访问地址以及 Grafana 管理页面的访问地址:

    • 打开 Grafana 管理页面,选择要分析的日志仓库->一键添加将数据源一键添加到 Grafana:

    然后我们登录 Grafana 就可以看到 Data Source 里有这个 repo 了。

    现在将我们刚刚下载的 json 文件导入即可:

    导入完成后,即可看到我们的实时 nginx 监控图:


    4.配置报警信息

    配置好监控 dashboard 之后,我们可以配置报警信息,进入 notification 页面,进行报警配置;

    以邮件报警为例,按下图进行配置即可;

    配置好接警方式以及接警人后,我们对需要报警提示的图表进行报警设置,以下图为例,设置了响应时间大于 1000 ms 的报警;

    最终的报警内容如下图所示:

    第一张是右键报警,第二张是slack报警。

    以上内容是否对您有帮助?
  • Close