采集客户端从远程机器上获取数据,并将数据转发到Pandora进行索引和搜索分析。客户端采集实现标记元数据、数据压缩、使用任何可用的网络端口、采集本地运行脚本数据等功能。在大型Pandora集群中,用户可能有数百甚至数千个采集客户端,它们消费数据并转发到Pandora进行索引和分析。
Pandora可以统一管理连接到平台的采集客户端,方便用户查看客户端基本信息及运行状态,包括机器安装部署、资源配置、管理机器标签、分发采集任务、管理安装包版本等。下图显示了三个采集客户端将数据发送到Pandora接收端,然后对数据进行索引并检索。
Pandora配置客户端采集的步骤如下:
- 下载采集客户端
- 将采集客户端安装到主机上
- 为要从主机收集的数据配置采集任务,并分发到对应机器客户端
- 确认数据可以在平台检索
以下为您可以使用客户端配置采集的主要数据源:
产品入口:主页 > 设置 > 数据采集 > 机器管理
Pandora在机器管理页统一管理连接到平台的采集客户端,可查看部署了采集客户端的机器列表,您可以进行客户端安装、查看机器详情及流量统计情况,并对机器进行升级、休眠、卸载等操作。
管理列表字段释义如下:
列表项 | 说明 |
---|---|
机器名称 | 采集客户端所在机器名称 |
机器地址 | 机器IP地址 |
机器状态 | 机器上客户端的运行状态,包括在线/离线/休眠。在线表示该机器跟服务端正常连接,并处于唤醒状态能运行采集任务;休眠表示用户对机器进行休眠操作,机器可以正常连接心跳但是不运行采集进程进行数据采集;离线表示服务端无法跟机器进行连接 |
运行时间 | 采集任务在该机器上的运行持续时长 |
版本 | 客户端版本 |
系统类型 | 机器操作系统类型,如linux、windows、darwin等 |
机器标签 | 表示机器所归属的标签,用于机器组管理,便于采集任务的分发 |
客户端安装
安装采集客户端分为手动安装和自动安装两种方式。
- 手动安装:在机器上通过安装脚本手动安装新的客户端。可以选择或新建标签,填写网卡名称,选择是否开机自启(安装客户端用户需为boot账户),点击获取安装提供linux、windows以及macos三个安装脚本,在对应机器上安装即可。
- 自动安装:通过ssh连接自动安装方式安装agent,需要被录入机器开启ssh功能,且机器IP能够被采集客户端服务访问,暂时只提供linux、macos的自动安装能力。
手动安装
安装步骤如下:
- 机器管理 > 点击添加机器
- 选择手动安装,完成如下配置获取安装脚本或安装包:
配置项 | 说明 |
---|---|
机器标签 | 填写要安装采集客户端的机器所属标签,标签作为客户端分组属性,便于用户从机器组维度统一管理机器资源及分发采集任务,多个使用","隔开 |
网卡名称 | 输入网卡名称,不填写则系统自动检测可用网卡 |
安装路径 | 指定客户端安装路径,不填写则系统将默认安装到系统根目录下 |
客户端版本 | 根据选择的操作系统类型,选择要安装的客户端版本,默认选中最新版本 |
开机自启 | 选择开启开机自启后,服务器开机后客户端可以自行启动运行,该配置不适用于Mac,仅Linux、Windows适用 |
- 点击获取安装,复制安装脚本或下载安装包后,在机器上安装部署。
- Linux/Mac 用户安装:点击添加机器页面的 <复制地址> 获得安装命令后,打开命令控制台执行上述命令即可安装成功。
- Windows 用户安装:点击 <下载文件>, 在Windows系统中直接双击鼠标即可运行安装。
- 在机器上完成安装部署后,返回机器管理页,刷新即可查看所添加机器。
自动安装
当前仅支持linux、macos的自动安装,安装步骤如下:
- 机器管理 > 点击添加机器
- 选择自动安装,完成如下配置:
配置项 | 说明 |
---|---|
机器IP | 填写要安装客户端的机器IP地址,多个使用","隔开 |
网卡名称 | 服务器存在多张网卡的情况,指定安装的服务器使用的网卡名称,不填写则系统自动检测使用可用网卡 |
安装路径 | 指定客户端安装路径,不填写则系统将默认安装到系统根目录下 |
SSH端口 | 输入SSH端口号,不填写则默认使用22端口 |
登录方式 | 登录机器方式,包括密钥或密码,①选择密码则填写用户名及密码选;②择密钥则填写用户名并上传私钥文件。密钥生成步骤如下:1、使用ssh-keygen -m PEM生成密钥;2、将公钥: id_rsa.pub文件中的内容写至logkitd安装机器的~/.ssh/authorized_keys文件中;将私钥[id_rsa]文件上传到Pandora |
机器标签 | 填写要安装采集客户端的机器所属标签,标签作为客户端分组属性,便于用户从机器组维度统一管理机器资源及分发采集任务,多个使用","隔开 |
客户端版本 | 根据选择的操作系统类型,选择要安装的客户端版本,默认选中最新版本。 |
- 点击验证连通性可以预览ssh连通性,机器连通情况下才能进行客户端安装。
- 确认连通性后点击安装完成自动安装流程,客户端安装需要一段时间,点击关闭可以退出当前界面在后台进行安装,安装完成后您可在通知中心查看安装情况。
- 返回机器管理页,刷新即可查看所添加机器。
自动安装的本地目录:
- Linux用户root权限:
/var/local/logkit-lite/agent
- Linux用户非root权限:
$HOME/logkit-lite/agent
当前用户的主目录下。- Mac用户:
$HOME/logkit-pro/agent
当前用户的主目录下。
机器管理
机器设置
点击「设置」针对单个客户端或全局进行包括资源限制、审计日志记录等运行相关设置。
- 资源限制
可以配置采集客户端在所部属机器上的CPU、内存、磁盘占用限制,具体配置项如下:
配置项 | 具体说明 |
---|---|
CPU大小 | 限制采集进程的CPU大小,默认初始化配置为1核(0代表不限制,不能为负数) |
内存占比 | 限制采集进程的内存占比,默认初始化配置为10% |
内存大小 | 限制采集进程的内存大小,用户视情况填写 |
磁盘占比 | 限制采集进程的磁盘占比,默认初始化配置为10% |
磁盘大小 | 限制采集进程的磁盘大小,用户视情况填写 |
- 客户端审计日志
可以配置采集客户端审计日志收集,具体配置项如下:
配置项 | 具体说明 |
---|---|
日志路径 | 客户端审计日志的存放路径,可不填写则保存至默认路径 |
收集日志 | 默认勾选,勾选后表示将客户端审计日志及运行日志采集并默认存放至_collect_log仓库中 |
收集指标数据 | 默认勾选,勾选后表示将指标metric数据采集并默认存放至_collect_status仓库中 |
查看机器详情及运行的采集任务
- 查看机器详情
机器管理列表点击机器名称,可进入机器详情页面,查看机器运行情况,包括机器的基础信息及资源监控数据
- 管理运行任务
在机器管理列表点击采集任务数量,可查看该机器上运行的任务列表。在任务列表可查看每个任务的状态、运行时间、来源类型、存放仓库等信息,并可以重置、禁用任务,点击错误日志可查看具体的错误信息
休眠与唤醒
您可以使用休眠与唤醒功能减少平时的资源占用
休眠
- 休眠时的机器不可以删除
- 休眠时停止机器上所有收集任务
- 休眠时可以下发采集任务但不会执行,待唤醒后会与服务端同步采集任务
- 休眠时可以卸载客户端
- 休眠状态的机器在离线又重新连接上线后会保持休眠状态
唤醒
- 已经开始或停止的采集任务在唤醒后会保持原状态
机器标签管理
机器标签可起到将机器按照业务属性进行分类管理的目的,在机器标签管理模块,您可以新建、编辑、删除机器标签。
- 新建标签
点击新建按钮,输入机器名称及描述,确认无误后点击确定创建标签 - 编辑标签
可对标签描述及标签下关联的机器列表进行编辑,一个标签可以关联多台机器,一台机器也可以绑定多个标签
- 删除标签
删除标签需二次确认,确认后删除成功,之前关联的机器不再显示该标签 - 授权
可以将机器标签授权给其他角色
安装包管理
Pandora统一管理采集客户端安装包,在该页面可以上传、编辑、删除安装包,上传后的安装包可在机器上安装客户端时调用。
- 上传安装包
点击右上方上传按钮,根据提示上传安装包,可输入描述信息方便后续快速了解相关信息。上传完成后即可在管理列表中查看,点击更新详情可查看每个安装包的具体更新信息。 - 删除安装包
找到不再用的安装包,点击后方的删除按钮,二次确认后即可删除安装包