机器数据分析平台

  • 机器数据分析平台 > 产品手册 > 数据接收 > 监控上传

    监控上传

    最近更新时间:2020-08-31 15:37:32

    您可以使用监控上传功能接收通过 HTTP 协议、TCP/UDP 端口、FTP服务器发送的数据。

    HTTP 协议发送

    全局配置

    使用 HTTP 监控上传功能之前,您需要通过全局设置启用 HTTP 监控收集器。

    点击监控收集器管理,切换到 HTTP 选项卡。在界面右上角,您可以看到设置按钮,即全局配置入口。全局配置预置了以下内容:

    • 端口号:即智能日志平台用于监听的端口号。
    • 默认来源类型:预置来源类型,默认以此来源类型确定上传数据的格式。
    • 默认仓库:预置仓库,HTTP 监控上传的数据默认进入此仓库。
    • 是否启用全局配置:默认为开启状态,关闭之后您无法使用 HTTP 监控上传。

    您可以手动修改全局配置的内容。

    创建 HTTP 监控收集器

    使用 HTTP 协议发送数据前,您需要创建 HTTP 监控收集器。HTTP 监控收集器可让您通过 HTTP 和安全 HTTP (HTTPS) 协议将数据和应⽤程序事件发送⾄ 智能日志平台。

    创建 HTTP 监控收集器步骤如下:

    在监控上传页面切换到 HTTP 选项卡,填写以下信息:

    • 路径(必填项):HTTP请求路径
    • 描述:HTTP监控的描述信息
    • 是否开启 Token 验证:是否开启安全验证
    • 来源类型:通过监听接口上报数据的sourcetype字段
    • 仓库:通过监听接口上报数据的repo字段
    • 数据来源名称:通过监听接口上报数据的origin字段

    注意:来源类型、仓库、数据来源名称是选填内容,如果不填则默认使用全局配置。

    填写完成点击创建。

    HTTP 监控收集器管理

    进入监控收集器管理页面,切换到 HTTP 选项卡。该页面列出了您创建的所有 HTTP 监控收集器,您可以查看 HTTP 监控收集器的运行状态,编辑 HTTP 监控收集器、禁用 HTTP 监控收集器等。

    调用HTTP 监听接口

    调用方式,curl命令如下:

    curl -XPOST 'http://<HTTP域名>:<HTTP全局设置端口>/<HTTP请求路径>?<自定义字段>=<自定义值>' -d '<HTTP请求体>'
    

    解释:

    1. HTTP域名,Pandora服务的绑定域名,本机访问可用localhost
    2. HTTP全局设置端口,在HTTP监控全局设置中设置的端口
    3. HTTP请求路径,在HTTP监控中设置的请求路径
    4. 自定义字段/自定义值,支持为上传的每条数据都将指定字段设置为自定义值,现在支持设置的字段包括:origin、host、sourcetype、repo这几个内置字段。
    5. HTTP请求体,实际上传数据,一般为按行分隔的文本数据

    curl命令示例:

    curl -XPOST http://pandora.qiniu-dumb.com:8091/nginx?sourcetype=nginx  -d '127.0.0.1 RFC1413?? UserLogin 2018-12-04 15:32:23,778 requestLine 302 1096 Apache-Coyote/1.1:80 http://ip:p/qiniu/forwardDesktop Mozilla/5.0(Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/69.0.3497.100Safari/537.36 924 316 X-Real-IP host 433149
    127.0.0.1 RFC1413?? UserLogin 2018-12-04 15:32:23,769 requestLine 200 312 Apache-Coyote/1.1:80 http://ip:p/qiniu/forwardDesktop Mozilla/5.0(Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/69.0.3497.100Safari/537.36 426 162 X-Real-IP host 75905'
    

    我们请求http://pandora.qiniu-dumb.com:8091/nginx 监控服务,并且手动指定sourcetype字段为nginx

    TCP/UDP 端口发送

    您可以配置 TCP/UDP 监控收集器接收来自任何 TCP/UDP 端口的数据。

    创建 TCP/UDP 监控收集器

    在监控上传页面切换到 TCP/UDP 选项卡,填写以下信息:

    • 端口号(必填项)
    • 选择协议(TCP/UDP)
    • 来源类型
    • 仓库
    • 数据来源名称
      • 来源类型、仓库、数据来源名称可不填,默认使用全局配置。
    • 主机名
      • 主机名可不填,默认使用主机 IP。
    • 域名限制
      • 域名限制可不填,默认接收所有主机。

    填写完成点击创建。

    TCP/UDP 监控收集器管理

    进入监控收集器管理页面,切换到 TCP/UDP 选项卡。该页面列出了您创建的所有 TCP/UDP 监控收集器,您可以查看 TCP/UDP 监控收集器的运行状态,编辑收集器、监控收集器等。

    FTP 服务器发送

    创建 FTP 监控收集器

    在监控上传页面切换到 FTP 选项卡,填写以下信息:

    • FTP名称
    • 服务器端口号
    • 服务器地址
    • 文件夹路径
    • 用户名
    • 密码
    • 来源类型
    • 仓库名称
    • 主机名
    • 数据来源名称
      • 数据来源名称可不填,默认值为文件路径。

    填写完成点击创建。

    FTP 监控收集器管理

    进入监控收集器管理页面,切换到 FTP 选项卡。该页面列出了您创建的所有 FTP 监控收集器,您可以查看 FTP 监控收集器的运行状态,编辑收集器、监控收集器等。

    以上内容是否对您有帮助?
  • Qvm free helper
    Close