机器数据分析平台

  • 机器数据分析平台 > 产品手册 > SPL参考手册 > 排序与限制 >dedup

    dedup

    最近更新时间:2020-03-12 17:58:10

    dedup 命令用来对数据进行去重处理,其行为是从原始事件中移除指定字段的值相同的其他事件。若指定了多个字段,则从原始事件中移除指定字段值的组合相同的其他事件。如 “dedup a, b, c ”命令,代表根据a,b,c 三个字段对数据进行去重,如果a,b,c 字段组合值相同的话,则会将(组合值相同的)多条数据聚合成一条(一般是搜索结果第一条)返回。

    语法:

    dedup <field>[,fieldn……]
    

    参数说明

    field:去重处理的目标字段。

    示例

    1.返回每个用户的第一个登陆ip。

    原始数据:

    user loginIp
    a 127.0.0.1
    a 10.0.0.10
    b 123.98.83
    b 10.8.8.19

    去重命令:

    * | dedup user
    

    返回结果:

    user loginIp
    a 127.0.0.1
    b 123.98.83

    2.对用户和主机组合去重。
    原始数据

    user loginIp host
    a 127.0.0.1 host1
    a 10.0.0.10 host1
    a 123.98.83 host2
    b 10.8.8.19 host2

    去重命令:

    * | dedup user,host
    

    返回结果:

    user loginIp host
    a 127.0.0.1 host1
    a 123.98.83 host2
    b 10.8.8.19 host2
    以上内容是否对您有帮助?
  • Qvm free helper
    Close