您可以使用服务端监控上传接收通过 HTTP 协议、TCP/UDP 端口监听、FTP服务器发送等网络传输的数据。
HTTP 协议发送
HTTP 监控收集器可让您通过 HTTP 和安全 HTTP (HTTPS) 协议将数据和应⽤程序事件发送⾄Pandora平台。用户可以通过配置HTTP客户端,以HTTP协议上传应用数据,减少通过客户端转发数据的复杂度,配置服务端HTTP监听端口,作为数据源发送请求的目标端以HTTP 协议实现数据接收。
全局配置
HTTP 监控上传默认为禁用状态,在使用 HTTP 监控上传功能创建采集任务之前,您需要通过全局设置启用 HTTP 监控收集器。
入口:设置 > 数据采集,切换至服务端采集任务管理页,点击界面右上角的全局设置可以手动修改全局设置内容:
- 是否启用:默认为关闭状态,只有启用后您才能使用 HTTP 监控上传数据采集能力。
- 端口号:即Pandora平台用于HTTP监听的端口号。
创建 HTTP 监控收集器
使用 HTTP 协议发送数据前,您需要创建 HTTP 监控采集任务。创建步骤如下:
入口:设置 > 数据采集,点击+新建创建采集任务,在选择数据源页面选择服务端HTTP采集。
填写以下配置信息:
配置项 | 说明 |
---|---|
名称 | 采集任务名称,可以输入数据源发送HTTP请求的目标端路径 |
描述 | HTTP采集器的描述信息 |
使用token验证 | 是否开启安全验证 |
来源类型 | 平台用于区分不同数据格式的重要标识,通过来源类型确定数据的分行方式(将数据流按照切分规则形成独立的事件)、时间戳抽取方式(为每个事件抽取时间信息)等重要信息,不同格式的数据流的分行及时间戳识别方式各有不同,同时来源类型也有助于您进行数据分类搜索。参阅来源类型 |
仓库 | 选择数据存储的仓库 |
数据来源 | 采集数据的origin字段,默认为http: |
填写完成点击确认完成HTTP数据源创建,提供URL作为数据源发送请求的目标端就完成了HTTP监控收集器的创建。点击curl命令示例,提供用户一段curl命令可以在终端运行测试连接是否联通并能成功上传示例数据。
调用HTTP 监听发送数据
您可以发送通过指定的URI发送数据到HTTP监控收集器。标准的URI格式如下:
<protocol>://<HTTP域名>:<HTTP端口>/<HTTP请求路径>?<自定义字段>=<自定义值>' -d '<HTTP请求体>'
参数说明:
- protocol :HTTP或HTTPS
- HTTP域名:Pandora服务的绑定域名,本机访问可用localhost
- HTTP端口:在HTTP监控全局设置中设置的端口,默认为8091
- HTTP请求路径:HTTP监控采集任务名称
- 自定义字段=自定义值:支持为上传的每条数据指定自定义字段及值,现在支持设置的字段包括:origin、host、sourcetype、repo这几个内置字段。
- HTTP请求体,实际上传数据,一般为按行分隔的文本数据
通过HTTP请求发送数据示例
下述示例使用curl命令通过HTTP 请求HTTP监听收集器的8091端口发送数据,该HTTP监听收集器的域名为http://pandora.qiniu-dumb.com
,请求路径为nginx
,并且指定sourcetype
字段为nginx
。
curl -XPOST http://pandora.qiniu-dumb.com:8091/nginx?sourcetype=nginx -d '127.0.0.1 RFC1413?? UserLogin 2018-12-04 15:32:23,778 requestLine 302 1096 Apache-Coyote/1.1:80 http://ip:p/qiniu/forwardDesktop Mozilla/5.0(Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/69.0.3497.100Safari/537.36 924 316 X-Real-IP host 433149
127.0.0.1 RFC1413?? UserLogin 2018-12-04 15:32:23,769 requestLine 200 312 Apache-Coyote/1.1:80 http://ip:p/qiniu/forwardDesktop Mozilla/5.0(Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/69.0.3497.100Safari/537.36 426 162 X-Real-IP host 75905'
HTTP 监控收集器管理
进入服务端采集任务管理页面,任务类型过滤出 HTTP。该页面列出了您创建的所有 HTTP 监控收集器,您可以查看 HTTP 监控收集器的基本信息、运行状态,流量统计等,并可以进行禁用、编辑、授权采集任务等操作。
TCP/UDP 端口发送
Pandora允许您采集通过网络端口输入的数据,可以接收来自TCP(传输控制协议)和 UDP(用户数据报协议)网络协议的数据,Pandora可以开启监听端口获取TCP/UDP协议传输的数据,您可配置 TCP/UDP 监控收集器接收来自任何 TCP/UDP 端口的数据。使用TCP协议将数据从任何远程主机发送到Pandora服务端。Pandora可以索引syslog-ng或通过TCP传输的任何其他应用程序中的远程数据,由于UDP在某些场景下不能保证数据传输质量(UDP有不提供数据包分组、组装和不能对数据包进行排序的缺点,当报文发送之后无法得知其是否安全完整到达),推荐用户尽量使用TCP协议。
创建 TCP/UDP 监控收集器
使用 TCP/UDP 端口监听收集数据前,您需要创建 TCP/UDP 监控采集任务。创建步骤如下:
入口:设置 > 数据采集,点击+新建创建采集任务,在选择数据源页面选择服务端TCP/UDP采集。
填写以下信息:
配置项 | 说明 |
---|---|
端口号 | 输入监听端口号 |
协议 | 选择TCP/UDP |
来源类型 | 平台用于区分不同数据格式的重要标识,通过来源类型确定数据的分行方式(将数据流按照切分规则形成独立的事件)、时间戳抽取方式(为每个事件抽取时间信息)等重要信息,不同格式的数据流的分行及时间戳识别方式各有不同,同时来源类型也有助于您进行数据分类搜索。参阅来源类型 |
仓库 | 选择数据存储的仓库 |
数据来源 | 采集数据的origin字段,默认为tcp/udp:<端口> |
主机名 | 主机名可不填,默认使用主机 IP |
域名限制 | 限制接收数据的特定主机域名,可不填,则默认监听指定端口上的所有连接服务器 |
填写完成点击创建就完成了TCP/UDP 监控收集器的创建。
TCP/UDP 监控收集
进入服务端采集任务管理页面,任务类型过滤出 TCP/UDP。该页面列出了您创建的所有 TCP/UDP 监控收集器,您可以查看 TCP/UDP 监控收集器的基本信息、运行状态,流量统计等,并可以进行禁用、编辑、授权采集任务等操作。
FTP 服务器发送
创建 FTP 采集任务
创建 FTP 采集任务步骤如下:
入口:设置 > 数据采集,点击+新建创建采集任务,在选择数据源页面选择服务端FTP采集。
填写以下配置信息:
配置项 | 说明 |
---|---|
名称 | FTP采集任务名称 |
描述 | FTP采集器的描述信息 |
服务器地址 | FTP服务器地址 |
服务器端口号 | FTP服务器端口号 |
文件夹路径 | FTP服务器上存储文件的路径 |
用户名 | 登录FTP服务器的用户名 |
密码 | 登录密码 |
SSH | 是否开启SSH(Secure Shell)加密的网络传输协议加强FTP传输安全,默认关闭,开启后则使用SFTP协议传输,默认使用22端口。 |
来源类型 | 平台用于区分不同数据格式的重要标识,通过来源类型确定数据的分行方式(将数据流按照切分规则形成独立的事件)、时间戳抽取方式(为每个事件抽取时间信息)等重要信息,不同格式的数据流的分行及时间戳识别方式各有不同,同时来源类型也有助于您进行数据分类搜索。参阅来源类型 |
仓库 | 选择数据存储的仓库 |
数据来源 | 采集数据的origin字段,默认为文件路径 |
主机名 | 采集数据的host字段,可不填,默认使用主机IP |
填写完成点击创建就完成了 FTP 监控收集器的创建。
FTP 监控收集器管理
进入服务端采集任务管理页面,任务类型过滤出 FTP。该页面列出了您创建的所有 FTP 监控收集器,您可以查看 FTP 监控收集器的基本信息、运行状态,流量统计等,并可以进行禁用、编辑、授权采集任务等操作。