机器数据分析平台

    • 机器数据分析平台 > API 文档 > 接口文档 >数据打点

    数据打点

    最近更新时间: 2021-12-06 17:13:25

    请求路径：/api/v1/data

    请求方法： POST

    请求体示例：

    POST /api/v1/data?host=<hostname>&repo=<test_repo>&sourcetype=
<test_sourcetype>&origin=<origin>&collectTime=<collectTime>
Header: Content-Type: application/json
[
    {
        // 系统保留字段
        "raw": "this is a log", 
        "repo": "test_repo",
        "sourcetype": "test_sourcetype",
        "host": "hostname",
        "origin": "origin",
        "collectTime": 1582619883000,
        "timestamp": 1582619883000,

        // 用户扩展字段
        "key1": "value1",
        "key2": {
            "key3": value3
        }
    },
 ...
]

    请求体参数说明：

    请求体的参数分为两部分，一部分是保留字段，一部分是扩展字段。保留字段是存储数据必须要提供的内置字段，扩展字段是用户在索引数据时候根据业务需求提供的自定义字段。保留字段和扩展字段都会自动进行字段加速。

    • 保留字段的名称和类型都是固定的，其定义如下所示：
    字段名称 类型 含义 必选 说明
    raw string 数据内容 否 数据文本内容
    repo string 仓库名称 否 每条数据可以分别指定需要打入的仓库。当该字段为空时，将使用 url 中repo。如果两者都不存在将报错
    sourcetype string 来源类型 否 每条数据可以分别指定其关联的来源类型。当该字段为空时，将使用 url 中 sourcetype。如果两者都不存在将报错
    host string hostname 否 数据来源机器的 hostname
    origin string origin 否 数据来源，⽐如⽂件名等
    collectTime long 收集时间 否 ⽇志收集时间，必须为 13 位时间戳
    timestamp long 数据时间 否 事件时间，必须为 13 位时间戳。当该字段为空时，会根据 sourcetype 的配置从raw字段中提取，如果raw字段不存在将使用入库时间
    • 扩展字段没有对名称和类型做具体的限制，用户可以自由添加，但是需要注意的是：
    1. 扩展字段的字段名不能跟保留字段重名，否则会被当成保留字段来处理。
    2. 扩展字段不宜添加太多，否则会对性能会有影响。
    3. 嵌套字段不建议使用不可枚举的值（如自增整数、hash值、http请求路径等）作为key，这样会导致字段数量大幅度膨胀导致入库性能受到影响

    响应体示例：

    {
    "total": 123,
    "success": 121,
    "failure": 2,
    "detail": [
        {
            "startPos": 2,
            "endPos": 3,
            "status": 404,
            "message": "sourcetype not found"
        }, {
            "startPos": 10,
            "endPos": 11,
            "status": 404,
            "message": "repo not found"
        }
    ]
}

    响应体参数说明：

    字段名称 类型 含义 说明
    total int 请求中的日志总数 数量与请求中的数组元素个数相同
    success int 成功条数 成功被索引的数据条数
    failure int 失败条数 无法被索引的数据条数
    detail array 失败数据详情 数组⻓度应与 failure 相同
    startPos int 失败数据下标 该数值对应请求中数组的元素位置
    endPos int - 该字段忽略
    status int 失败 code 404、500 等
    message string 失败原因 失败具体原因
    以上内容是否对您有帮助？
    • Qvm free helper
    Close