机器数据分析平台

  • 机器数据分析平台 > 使用文档 > 数据采集 > 监控上传

    监控上传

    最近更新时间: 2022-02-17 11:21:51

    您可以使用服务端监控上传接收通过 HTTP 协议、TCP/UDP 端口监听、FTP服务器发送等网络传输的数据。

    HTTP 协议发送

    HTTP 监控收集器可让您通过 HTTP 和安全 HTTP (HTTPS) 协议将数据和应⽤程序事件发送⾄Pandora平台。用户可以通过配置HTTP客户端,以HTTP协议上传应用数据,减少通过客户端转发数据的复杂度,配置服务端HTTP监听端口,作为数据源发送请求的目标端以HTTP 协议实现数据接收。

    全局配置
    HTTP 监控上传默认为禁用状态,在使用 HTTP 监控上传功能创建采集任务之前,您需要通过全局设置启用 HTTP 监控收集器。
    入口:设置 > 数据采集,切换至服务端采集任务管理页,点击界面右上角的全局设置可以手动修改全局设置内容:

    • 是否启用:默认为关闭状态,只有启用后您才能使用 HTTP 监控上传数据采集能力。
    • 端口号:即Pandora平台用于HTTP监听的端口号。

    创建 HTTP 监控收集器
    使用 HTTP 协议发送数据前,您需要创建 HTTP 监控采集任务。创建步骤如下:
    入口:设置 > 数据采集,点击+新建创建采集任务,在选择数据源页面选择服务端HTTP采集。
    填写以下配置信息:

    配置项 说明
    名称 采集任务名称,可以输入数据源发送HTTP请求的目标端路径
    描述 HTTP采集器的描述信息
    使用token验证 是否开启安全验证
    来源类型 平台用于区分不同数据格式的重要标识,通过来源类型确定数据的分行方式(将数据流按照切分规则形成独立的事件)、时间戳抽取方式(为每个事件抽取时间信息)等重要信息,不同格式的数据流的分行及时间戳识别方式各有不同,同时来源类型也有助于您进行数据分类搜索。参阅来源类型
    仓库 选择数据存储的仓库
    数据来源 采集数据的origin字段,默认为http:

    填写完成点击确认完成HTTP数据源创建,提供URL作为数据源发送请求的目标端就完成了HTTP监控收集器的创建。点击curl命令示例,提供用户一段curl命令可以在终端运行测试连接是否联通并能成功上传示例数据。

    调用HTTP 监听发送数据
    您可以发送通过指定的URI发送数据到HTTP监控收集器。标准的URI格式如下:

    <protocol>://<HTTP域名>:<HTTP端口>/<HTTP请求路径>?<自定义字段>=<自定义值>' -d '<HTTP请求体>'
    

    参数说明:

    1. protocol :HTTP或HTTPS
    2. HTTP域名:Pandora服务的绑定域名,本机访问可用localhost
    3. HTTP端口:在HTTP监控全局设置中设置的端口,默认为8091
    4. HTTP请求路径:HTTP监控采集任务名称
    5. 自定义字段=自定义值:支持为上传的每条数据指定自定义字段及值,现在支持设置的字段包括:origin、host、sourcetype、repo这几个内置字段。
    6. HTTP请求体,实际上传数据,一般为按行分隔的文本数据

    通过HTTP请求发送数据示例
    下述示例使用curl命令通过HTTP 请求HTTP监听收集器的8091端口发送数据,该HTTP监听收集器的域名为http://pandora.qiniu-dumb.com,请求路径为nginx,并且指定sourcetype字段为nginx

    curl -XPOST http://pandora.qiniu-dumb.com:8091/nginx?sourcetype=nginx  -d '127.0.0.1 RFC1413?? UserLogin 2018-12-04 15:32:23,778 requestLine 302 1096 Apache-Coyote/1.1:80 http://ip:p/qiniu/forwardDesktop Mozilla/5.0(Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/69.0.3497.100Safari/537.36 924 316 X-Real-IP host 433149
    127.0.0.1 RFC1413?? UserLogin 2018-12-04 15:32:23,769 requestLine 200 312 Apache-Coyote/1.1:80 http://ip:p/qiniu/forwardDesktop Mozilla/5.0(Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/69.0.3497.100Safari/537.36 426 162 X-Real-IP host 75905'
    

    HTTP 监控收集器管理
    进入服务端采集任务管理页面,任务类型过滤出 HTTP。该页面列出了您创建的所有 HTTP 监控收集器,您可以查看 HTTP 监控收集器的基本信息、运行状态,流量统计等,并可以进行禁用、编辑、授权采集任务等操作。

    TCP/UDP 端口发送

    Pandora允许您采集通过网络端口输入的数据,可以接收来自TCP(传输控制协议)和 UDP(用户数据报协议)网络协议的数据,Pandora可以开启监听端口获取TCP/UDP协议传输的数据,您可配置 TCP/UDP 监控收集器接收来自任何 TCP/UDP 端口的数据。使用TCP协议将数据从任何远程主机发送到Pandora服务端。Pandora可以索引syslog-ng或通过TCP传输的任何其他应用程序中的远程数据,由于UDP在某些场景下不能保证数据传输质量(UDP有不提供数据包分组、组装和不能对数据包进行排序的缺点,当报文发送之后无法得知其是否安全完整到达),推荐用户尽量使用TCP协议。

    创建 TCP/UDP 监控收集器
    使用 TCP/UDP 端口监听收集数据前,您需要创建 TCP/UDP 监控采集任务。创建步骤如下:
    入口:设置 > 数据采集,点击+新建创建采集任务,在选择数据源页面选择服务端TCP/UDP采集。
    填写以下信息:

    配置项 说明
    端口号 输入监听端口号
    协议 选择TCP/UDP
    来源类型 平台用于区分不同数据格式的重要标识,通过来源类型确定数据的分行方式(将数据流按照切分规则形成独立的事件)、时间戳抽取方式(为每个事件抽取时间信息)等重要信息,不同格式的数据流的分行及时间戳识别方式各有不同,同时来源类型也有助于您进行数据分类搜索。参阅来源类型
    仓库 选择数据存储的仓库
    数据来源 采集数据的origin字段,默认为tcp/udp:<端口>
    主机名 主机名可不填,默认使用主机 IP
    域名限制 限制接收数据的特定主机域名,可不填,则默认监听指定端口上的所有连接服务器

    填写完成点击创建就完成了TCP/UDP 监控收集器的创建。

    TCP/UDP 监控收集
    进入服务端采集任务管理页面,任务类型过滤出 TCP/UDP。该页面列出了您创建的所有 TCP/UDP 监控收集器,您可以查看 TCP/UDP 监控收集器的基本信息、运行状态,流量统计等,并可以进行禁用、编辑、授权采集任务等操作。

    FTP 服务器发送

    创建 FTP 采集任务
    创建 FTP 采集任务步骤如下:
    入口:设置 > 数据采集,点击+新建创建采集任务,在选择数据源页面选择服务端FTP采集。
    填写以下配置信息:

    配置项 说明
    名称 FTP采集任务名称
    描述 FTP采集器的描述信息
    服务器地址 FTP服务器地址
    服务器端口号 FTP服务器端口号
    文件夹路径 FTP服务器上存储文件的路径
    用户名 登录FTP服务器的用户名
    密码 登录密码
    SSH 是否开启SSH(Secure Shell)加密的网络传输协议加强FTP传输安全,默认关闭,开启后则使用SFTP协议传输,默认使用22端口。
    来源类型 平台用于区分不同数据格式的重要标识,通过来源类型确定数据的分行方式(将数据流按照切分规则形成独立的事件)、时间戳抽取方式(为每个事件抽取时间信息)等重要信息,不同格式的数据流的分行及时间戳识别方式各有不同,同时来源类型也有助于您进行数据分类搜索。参阅来源类型
    仓库 选择数据存储的仓库
    数据来源 采集数据的origin字段,默认为文件路径
    主机名 采集数据的host字段,可不填,默认使用主机IP

    填写完成点击创建就完成了 FTP 监控收集器的创建。

    FTP 监控收集器管理
    进入服务端采集任务管理页面,任务类型过滤出 FTP。该页面列出了您创建的所有 FTP 监控收集器,您可以查看 FTP 监控收集器的基本信息、运行状态,流量统计等,并可以进行禁用、编辑、授权采集任务等操作。

    以上内容是否对您有帮助?
  • Qvm free helper
    Close