智能日志管理平台

  • 采集 Nginx 日志

    最近更新时间:2018-09-26 12:11:43

    我们用 Pandora 智能日志管理平台的日志收集工具 logkit-pro 开始本次教程。

    步骤:

    1.安装 logkit-pro。

    2.用 logkit-pro 采集 Nginx 日志。

    3.去日志分析平台搜索日志验证采集是否成功。

    步骤 1:安装 logkit-pro 到机器

    首先需要在机器上安装 logkit-pro。

    1.登录 logkit-pro,进入机器管理页面,点击添加机器。

    2.手动安装:根据您机器的操作系统版本选择对应的命令,复制到命令行工具即可,如图所示:

    详细的安装文档可以阅读 logkit-pro 安装

    1. 安装完毕后,您可以在机器列表页面看到您安装的机器:

    步骤 2:收集数据

    在机器上安装好 logkit-pro 之后就可以开始收集数据。在这里我们引入一个收集器的概念,收集器是 logkit-pro 进行数据收集的封装容器,通过添加收集器完成数据的收集。

    进入数据收集页面,点击 添加收集器 -> 日志收集

    添加数据源

    第一步是添加数据源,logkit-pro 支持多种数据源,这里选择从文件读取,填写您的 Nginx 日志所在路径即可。

    填写好配置信息之后,点击【获取数据】,验证获取数据是否成功。

    数据解析

    这一步根据日志格式配置合适解析方式,抽取日志中的字段。logkit-pro 支持多种格式的日志解析,这里我们选择按 grok 格式解析。logkit-pro 提供了一些默认表达式的支持,其中%{COMMON_LOG_FORMAT} 就可以解析 Nginx 日志。然后点击解析样例数据,查看解析是否成功。

    数据转换

    这一步可以做一些更精细的字段解析。在这里,我们将 nginx 日志里的时间字段转换为 date 类型,方便在日志分析平台使用自带时间字段筛选日志内容。同时添加 IP 转换功能将 IP 地址转换为 IP 对应的省份、城市、运营商等信息。

    date 转换器:选择需要进行转换的时间字段,点击解析即可一键查看解析结果,点击添加将转换器应用到样例数据。

    ip 转换:选择需要进行转换的 ip 字段,从本地上传 ip 数据库即可,填好配置信息点击添加。

    转换后的数据:

    发送数据

    将数据发送至日志分析平台,填写工作流(pipeline)名称和智能日志平台的实时仓库名称即可。日志仓库名称无需填写,开启自动创建并导出到日志分析,系统将会自动创建与实时仓库同名的日志仓库。

    确认收集

    填写收集器名称确认添加数据收集器。

    分发收集器到机器

    确认添加收集器之后系统会提示您是否需要分发到当前机器,选择确认分发。

    步骤3:到日志分析平台搜索数据

    打开日志分析平台,进入实时日志输出页面,选择在 logkit-pro 发送数据时填写的实时仓库,查看采集的数据。

    可以看到,日志已经被采集到日志分析平台啦,并且完成了解析。

    以上内容是否对您有帮助?
  • Icon free helper
    Close