机器数据分析平台 > 使用文档 > 数据采集 > 监控上传

监控上传

最近更新时间: 2022-02-17 11:21:51

您可以使用服务端监控上传接收通过 HTTP 协议、TCP/UDP 端口监听、FTP服务器发送等网络传输的数据。

HTTP 协议发送

HTTP 监控收集器可让您通过 HTTP 和安全 HTTP (HTTPS) 协议将数据和应⽤程序事件发送⾄Pandora平台。用户可以通过配置HTTP客户端，以HTTP协议上传应用数据，减少通过客户端转发数据的复杂度，配置服务端HTTP监听端口，作为数据源发送请求的目标端以HTTP 协议实现数据接收。

全局配置
HTTP 监控上传默认为禁用状态，在使用 HTTP 监控上传功能创建采集任务之前，您需要通过全局设置启用 HTTP 监控收集器。
入口：设置 > 数据采集，切换至服务端采集任务管理页，点击界面右上角的全局设置可以手动修改全局设置内容：

是否启用：默认为关闭状态，只有启用后您才能使用 HTTP 监控上传数据采集能力。

端口号：即Pandora平台用于HTTP监听的端口号。

创建 HTTP 监控收集器
使用 HTTP 协议发送数据前，您需要创建 HTTP 监控采集任务。创建步骤如下：
入口：设置 > 数据采集，点击+新建创建采集任务，在选择数据源页面选择服务端HTTP采集。
填写以下配置信息：

配置项	说明
名称	采集任务名称，可以输入数据源发送HTTP请求的目标端路径
描述	HTTP采集器的描述信息
使用token验证	是否开启安全验证
来源类型	平台用于区分不同数据格式的重要标识，通过来源类型确定数据的分行方式（将数据流按照切分规则形成独立的事件）、时间戳抽取方式（为每个事件抽取时间信息）等重要信息，不同格式的数据流的分行及时间戳识别方式各有不同，同时来源类型也有助于您进行数据分类搜索。参阅来源类型
仓库	选择数据存储的仓库
数据来源	采集数据的origin字段，默认为http:

填写完成点击确认完成HTTP数据源创建，提供URL作为数据源发送请求的目标端就完成了HTTP监控收集器的创建。点击curl命令示例，提供用户一段curl命令可以在终端运行测试连接是否联通并能成功上传示例数据。

调用HTTP 监听发送数据
您可以发送通过指定的URI发送数据到HTTP监控收集器。标准的URI格式如下：

<protocol>://<HTTP域名>:<HTTP端口>/<HTTP请求路径>?<自定义字段>=<自定义值>' -d '<HTTP请求体>'

参数说明：

protocol ：HTTP或HTTPS
HTTP域名：Pandora服务的绑定域名，本机访问可用localhost
HTTP端口：在HTTP监控全局设置中设置的端口，默认为8091
HTTP请求路径：HTTP监控采集任务名称
自定义字段=自定义值：支持为上传的每条数据指定自定义字段及值，现在支持设置的字段包括：origin、host、sourcetype、repo这几个内置字段。
HTTP请求体，实际上传数据，一般为按行分隔的文本数据

通过HTTP请求发送数据示例
下述示例使用curl命令通过HTTP 请求HTTP监听收集器的8091端口发送数据，该HTTP监听收集器的域名为http://pandora.qiniu-dumb.com，请求路径为nginx，并且指定sourcetype字段为nginx。

curl -XPOST http://pandora.qiniu-dumb.com:8091/nginx?sourcetype=nginx  -d '127.0.0.1 RFC1413?? UserLogin 2018-12-04 15:32:23,778 requestLine 302 1096 Apache-Coyote/1.1:80 http://ip:p/qiniu/forwardDesktop Mozilla/5.0(Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/69.0.3497.100Safari/537.36 924 316 X-Real-IP host 433149
127.0.0.1 RFC1413?? UserLogin 2018-12-04 15:32:23,769 requestLine 200 312 Apache-Coyote/1.1:80 http://ip:p/qiniu/forwardDesktop Mozilla/5.0(Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/69.0.3497.100Safari/537.36 426 162 X-Real-IP host 75905'

HTTP 监控收集器管理
进入服务端采集任务管理页面，任务类型过滤出 HTTP。该页面列出了您创建的所有 HTTP 监控收集器，您可以查看 HTTP 监控收集器的基本信息、运行状态，流量统计等，并可以进行禁用、编辑、授权采集任务等操作。

TCP/UDP 端口发送

Pandora允许您采集通过网络端口输入的数据，可以接收来自TCP（传输控制协议）和 UDP(用户数据报协议）网络协议的数据，Pandora可以开启监听端口获取TCP/UDP协议传输的数据，您可配置 TCP/UDP 监控收集器接收来自任何 TCP/UDP 端口的数据。使用TCP协议将数据从任何远程主机发送到Pandora服务端。Pandora可以索引syslog-ng或通过TCP传输的任何其他应用程序中的远程数据，由于UDP在某些场景下不能保证数据传输质量（UDP有不提供数据包分组、组装和不能对数据包进行排序的缺点，当报文发送之后无法得知其是否安全完整到达），推荐用户尽量使用TCP协议。

创建 TCP/UDP 监控收集器
使用 TCP/UDP 端口监听收集数据前，您需要创建 TCP/UDP 监控采集任务。创建步骤如下：
入口：设置 > 数据采集，点击+新建创建采集任务，在选择数据源页面选择服务端TCP/UDP采集。
填写以下信息：

配置项	说明
端口号	输入监听端口号
协议	选择TCP/UDP
来源类型	平台用于区分不同数据格式的重要标识，通过来源类型确定数据的分行方式（将数据流按照切分规则形成独立的事件）、时间戳抽取方式（为每个事件抽取时间信息）等重要信息，不同格式的数据流的分行及时间戳识别方式各有不同，同时来源类型也有助于您进行数据分类搜索。参阅来源类型
仓库	选择数据存储的仓库
数据来源	采集数据的origin字段，默认为tcp/udp:<端口>
主机名	主机名可不填，默认使用主机 IP
域名限制	限制接收数据的特定主机域名，可不填，则默认监听指定端口上的所有连接服务器

填写完成点击创建就完成了TCP/UDP 监控收集器的创建。

TCP/UDP 监控收集
进入服务端采集任务管理页面，任务类型过滤出 TCP/UDP。该页面列出了您创建的所有 TCP/UDP 监控收集器，您可以查看 TCP/UDP 监控收集器的基本信息、运行状态，流量统计等，并可以进行禁用、编辑、授权采集任务等操作。

FTP 服务器发送

创建 FTP 采集任务
创建 FTP 采集任务步骤如下：
入口：设置 > 数据采集，点击+新建创建采集任务，在选择数据源页面选择服务端FTP采集。
填写以下配置信息：

配置项	说明
名称	FTP采集任务名称
描述	FTP采集器的描述信息
服务器地址	FTP服务器地址
服务器端口号	FTP服务器端口号
文件夹路径	FTP服务器上存储文件的路径
用户名	登录FTP服务器的用户名
密码	登录密码
SSH	是否开启SSH(Secure Shell)加密的网络传输协议加强FTP传输安全，默认关闭，开启后则使用SFTP协议传输，默认使用22端口。
来源类型	平台用于区分不同数据格式的重要标识，通过来源类型确定数据的分行方式（将数据流按照切分规则形成独立的事件）、时间戳抽取方式（为每个事件抽取时间信息）等重要信息，不同格式的数据流的分行及时间戳识别方式各有不同，同时来源类型也有助于您进行数据分类搜索。参阅来源类型
仓库	选择数据存储的仓库
数据来源	采集数据的origin字段，默认为文件路径
主机名	采集数据的host字段，可不填，默认使用主机IP

填写完成点击创建就完成了 FTP 监控收集器的创建。

FTP 监控收集器管理
进入服务端采集任务管理页面，任务类型过滤出 FTP。该页面列出了您创建的所有 FTP 监控收集器，您可以查看 FTP 监控收集器的基本信息、运行状态，流量统计等，并可以进行禁用、编辑、授权采集任务等操作。

以上内容是否对您有帮助？