智能日志管理平台

  • 智能日志管理平台 > 使用文档 > 数据立方 >场景实践 >nginx 日志实时分析

    nginx 日志实时分析

    最近更新时间: 2018-10-18 19:41:20

    很多网站主通过分析 Nginx 日志来获取网站的访问情况,如网站访问量、用户下载量、上传流量、上传次数等信息,从而达到对业务进行实时监控的目的。如:关注用户下载量激增的情况判断运营策略的效果。

    如果使用智能日志平台原有的计算模式,需要将 nginx 日志发送到实时仓库,结合 Spark Streaming 对实时数据进行计算,计算过程很繁琐。数据立方功能支持日志的实时分析,并提供可视化图表呈现分析结果,这里我们选择数据立方来分析实时 Nginx 日志。操作步骤如下:

    前提:通过 logkit-pro 将日志发送到智能日志平台实时仓库。发送步骤请参考 Nginx 日志采集

    创建立方

    进入立方管理页面,点击添加数据立方。

    填写数据立方的信息,这里注意,填写的信息将会限制数据的分析,下面一一说明:

    1.填写基本属性

    • 名称:为数据立方设置一个名字。

    • 实时仓库:选择要分析的数据所在的实时仓库,数据立方将从实时仓库拉取最新数据进行数据预聚合。这里选择 Nginx 日志所在的实时仓库。

    • 时间字段:选择聚合的时间字段,此字段名称将在数据立方中被重命名为 __time。

    • 时间聚合窗口:对数据进行聚合计算的最细粒度,创建完成后不能使用更细时间粒度进行分析计算。

    • 存储时限:数据存储在数据立方中的时间限制,过期的数据将被删除。

    2.分析维度:按需添加分组字段(维度),此字段可用来作为分析的分组字段和过滤字段。

    如:在此案例里我们想统计不同用户、机房、状态码的数据,添加分组字段为 uid、idc、status。

    3.计算指标:可以按维度和时间窗口对字段进行计数、求和、去重计数等预聚合计算。

    如:在此案例里我们需要对用户流量和点击量进行统计分析,并统计访问总量,添加计算指标为对 flow,hits 求和,以及 计算 count。

    注意:添加计算指标是对原始字段选择一个指标进行预聚合,如,添加指标为对 flow 字段求和。在对立方进行分析时选择的指标实际上已经经过了预聚合。

    分析实时 nginx 日志

    1.分析用户流量,获取每天的 top N 流量用户,选择图表类型为折线图,分组字段为 uid 和 _time,指标为 flow(实际上为 flow 的求和指标)。

    2.分析用户下载量,关注用户下载量激增的情况,选择图表类型为折线图,分组字段为 uid 和 _time,指标为 hits。

    3.获取访问总量,选择图表类型为单值图,分组字段为 _time,指标为 count,在样式里面开启时序折线图。

    4.按用户维度统计发送流量,选择图表类型为折线图,分组字段为 uid 和 _time,指标为 bytes_sent。

    以上内容是否对您有帮助?
  • Qvm free helper
    Close