机器数据分析平台

  • 机器数据分析平台 > API 文档 > 接口文档 >数据打点

    数据打点

    最近更新时间: 2021-12-06 17:13:25

    请求路径:/api/v1/data

    请求方法: POST

    请求体示例:

    POST /api/v1/data?host=<hostname>&repo=<test_repo>&sourcetype=
    <test_sourcetype>&origin=<origin>&collectTime=<collectTime>
    Header: Content-Type: application/json
    [
        {
            // 系统保留字段
            "raw": "this is a log", 
            "repo": "test_repo",
            "sourcetype": "test_sourcetype",
            "host": "hostname",
            "origin": "origin",
            "collectTime": 1582619883000,
            "timestamp": 1582619883000,
    
            // 用户扩展字段
            "key1": "value1",
            "key2": {
                "key3": value3
            }
        },
     ...
    ]
    

    请求体参数说明:

    请求体的参数分为两部分,一部分是保留字段,一部分是扩展字段。保留字段是存储数据必须要提供的内置字段,扩展字段是用户在索引数据时候根据业务需求提供的自定义字段。保留字段和扩展字段都会自动进行字段加速。

    • 保留字段的名称和类型都是固定的,其定义如下所示:
    字段名称 类型 含义 必选 说明
    raw string 数据内容 数据文本内容
    repo string 仓库名称 每条数据可以分别指定需要打入的仓库。当该字段为空时,将使用 url 中repo。如果两者都不存在将报错
    sourcetype string 来源类型 每条数据可以分别指定其关联的来源类型。当该字段为空时,将使用 url 中 sourcetype。如果两者都不存在将报错
    host string hostname 数据来源机器的 hostname
    origin string origin 数据来源,⽐如⽂件名等
    collectTime long 收集时间 ⽇志收集时间,必须为 13 位时间戳
    timestamp long 数据时间 事件时间,必须为 13 位时间戳。当该字段为空时,会根据 sourcetype 的配置从raw字段中提取,如果raw字段不存在将使用入库时间
    • 扩展字段没有对名称和类型做具体的限制,用户可以自由添加,但是需要注意的是:
    1. 扩展字段的字段名不能跟保留字段重名,否则会被当成保留字段来处理。
    2. 扩展字段不宜添加太多,否则会对性能会有影响。
    3. 嵌套字段不建议使用不可枚举的值(如自增整数、hash值、http请求路径等)作为key,这样会导致字段数量大幅度膨胀导致入库性能受到影响

    响应体示例:

    {
        "total": 123,
        "success": 121,
        "failure": 2,
        "detail": [
            {
                "startPos": 2,
                "endPos": 3,
                "status": 404,
                "message": "sourcetype not found"
            }, {
                "startPos": 10,
                "endPos": 11,
                "status": 404,
                "message": "repo not found"
            }
        ]
    }
    

    响应体参数说明:

    字段名称 类型 含义 说明
    total int 请求中的日志总数 数量与请求中的数组元素个数相同
    success int 成功条数 成功被索引的数据条数
    failure int 失败条数 无法被索引的数据条数
    detail array 失败数据详情 数组⻓度应与 failure 相同
    startPos int 失败数据下标 该数值对应请求中数组的元素位置
    endPos int - 该字段忽略
    status int 失败 code 404、500 等
    message string 失败原因 失败具体原因
    以上内容是否对您有帮助?
  • Qvm free helper
    Close