机器数据分析平台

  • 机器数据分析平台 > 使用文档 > 数据采集 > 机器管理

    机器管理

    最近更新时间:2022-01-21 19:26:13

    采集客户端从远程机器上获取数据,并将数据转发到Pandora进行索引和搜索分析。客户端采集实现标记元数据、数据压缩、使用任何可用的网络端口、采集本地运行脚本数据等功能。在大型Pandora集群中,用户可能有数百甚至数千个采集客户端,它们消费数据并转发到Pandora进行索引和分析。
    Pandora可以统一管理连接到平台的采集客户端,方便用户查看客户端基本信息及运行状态,包括机器安装部署、资源配置、管理机器标签、分发采集任务、管理安装包版本等。下图显示了三个采集客户端将数据发送到Pandora接收端,然后对数据进行索引并检索。
    image.png

    Pandora配置客户端采集的步骤如下:

    1. 下载采集客户端
    2. 将采集客户端安装到主机上
    3. 为要从主机收集的数据配置采集任务,并分发到对应机器客户端
    4. 确认数据可以在平台检索

    以下为您可以使用客户端配置采集的主要数据源:


    产品入口:主页 > 设置 > 数据采集 > 机器管理
    Pandora在机器管理页统一管理连接到平台的采集客户端,可查看部署了采集客户端的机器列表,您可以进行客户端安装、查看机器详情及流量统计情况,并对机器进行升级、休眠、卸载等操作。
    管理列表字段释义如下:

    列表项 说明
    机器名称 采集客户端所在机器名称
    机器地址 机器IP地址
    机器状态 机器上客户端的运行状态,包括在线/离线/休眠。在线表示该机器跟服务端正常连接,并处于唤醒状态能运行采集任务;休眠表示用户对机器进行休眠操作,机器可以正常连接心跳但是不运行采集进程进行数据采集;离线表示服务端无法跟机器进行连接
    运行时间 采集任务在该机器上的运行持续时长
    版本 客户端版本
    系统类型 机器操作系统类型,如linux、windows、darwin等
    机器标签 表示机器所归属的标签,用于机器组管理,便于采集任务的分发

    客户端安装

    安装采集客户端分为手动安装和自动安装两种方式。

    • 手动安装:在机器上通过安装脚本手动安装新的客户端。可以选择或新建标签,填写网卡名称,选择是否开机自启(安装客户端用户需为boot账户),点击获取安装提供linux、windows以及macos三个安装脚本,在对应机器上安装即可。
    • 自动安装:通过ssh连接自动安装方式安装agent,需要被录入机器开启ssh功能,且机器IP能够被采集客户端服务访问,暂时只提供linux、macos的自动安装能力。

    手动安装

    安装步骤如下:

    1. 机器管理 > 点击添加机器
      image.png
    2. 选择手动安装,完成如下配置获取安装脚本或安装包:
    配置项 说明
    机器标签 填写要安装采集客户端的机器所属标签,标签作为客户端分组属性,便于用户从机器组维度统一管理机器资源及分发采集任务,多个使用","隔开
    网卡名称 输入网卡名称,不填写则系统自动检测可用网卡
    安装路径 指定客户端安装路径,不填写则系统将默认安装到系统根目录下
    客户端版本 根据选择的操作系统类型,选择要安装的客户端版本,默认选中最新版本
    开机自启 选择开启开机自启后,服务器开机后客户端可以自行启动运行,该配置不适用于Mac,仅Linux、Windows适用
    1. 点击获取安装,复制安装脚本或下载安装包后,在机器上安装部署。
      • Linux/Mac 用户安装:点击添加机器页面的 <复制地址> 获得安装命令后,打开命令控制台执行上述命令即可安装成功。
      • Windows 用户安装:点击 <下载文件>, 在Windows系统中直接双击鼠标即可运行安装。
    2. 在机器上完成安装部署后,返回机器管理页,刷新即可查看所添加机器。

    自动安装

    当前仅支持linux、macos的自动安装,安装步骤如下:

    1. 机器管理 > 点击添加机器
    2. 选择自动安装,完成如下配置:
    配置项 说明
    机器IP 填写要安装客户端的机器IP地址,多个使用","隔开
    网卡名称 服务器存在多张网卡的情况,指定安装的服务器使用的网卡名称,不填写则系统自动检测使用可用网卡
    安装路径 指定客户端安装路径,不填写则系统将默认安装到系统根目录下
    SSH端口 输入SSH端口号,不填写则默认使用22端口
    登录方式 登录机器方式,包括密钥或密码,①选择密码则填写用户名及密码选;②择密钥则填写用户名并上传私钥文件。密钥生成步骤如下:1、使用ssh-keygen -m PEM生成密钥;2、将公钥: id_rsa.pub文件中的内容写至logkitd安装机器的~/.ssh/authorized_keys文件中;将私钥[id_rsa]文件上传到Pandora
    机器标签 填写要安装采集客户端的机器所属标签,标签作为客户端分组属性,便于用户从机器组维度统一管理机器资源及分发采集任务,多个使用","隔开
    客户端版本 根据选择的操作系统类型,选择要安装的客户端版本,默认选中最新版本。
    1. 点击验证连通性可以预览ssh连通性,机器连通情况下才能进行客户端安装。
    2. 确认连通性后点击安装完成自动安装流程,客户端安装需要一段时间,点击关闭可以退出当前界面在后台进行安装,安装完成后您可在通知中心查看安装情况。
    3. 返回机器管理页,刷新即可查看所添加机器。

    自动安装的本地目录:

    • Linux用户root权限:/var/local/logkit-lite/agent
    • Linux用户非root权限:$HOME/logkit-lite/agent当前用户的主目录下。
    • Mac用户:$HOME/logkit-pro/agent当前用户的主目录下。

    机器管理

    机器设置

    点击「设置」针对单个客户端或全局进行包括资源限制、审计日志记录等运行相关设置。

    • 资源限制

    可以配置采集客户端在所部属机器上的CPU、内存、磁盘占用限制,具体配置项如下:

    配置项 具体说明
    CPU大小 限制采集进程的CPU大小,默认初始化配置为1核(0代表不限制,不能为负数)
    内存占比 限制采集进程的内存占比,默认初始化配置为10%
    内存大小 限制采集进程的内存大小,用户视情况填写
    磁盘占比 限制采集进程的磁盘占比,默认初始化配置为10%
    磁盘大小 限制采集进程的磁盘大小,用户视情况填写
    • 客户端审计日志

    可以配置采集客户端审计日志收集,具体配置项如下:

    配置项 具体说明
    日志路径 客户端审计日志的存放路径,可不填写则保存至默认路径
    收集日志 默认勾选,勾选后表示将客户端审计日志及运行日志采集并默认存放至_collect_log仓库中
    收集指标数据 默认勾选,勾选后表示将指标metric数据采集并默认存放至_collect_status仓库中

    查看机器详情及运行的采集任务

    • 查看机器详情

    机器管理列表点击机器名称,可进入机器详情页面,查看机器运行情况,包括机器的基础信息及资源监控数据

    • 管理运行任务

    在机器管理列表点击采集任务数量,可查看该机器上运行的任务列表。在任务列表可查看每个任务的状态、运行时间、来源类型、存放仓库等信息,并可以重置、禁用任务,点击错误日志可查看具体的错误信息
    image.png

    休眠与唤醒

    您可以使用休眠与唤醒功能减少平时的资源占用
    休眠

    • 休眠时的机器不可以删除
    • 休眠时停止机器上所有收集任务
    • 休眠时可以下发采集任务但不会执行,待唤醒后会与服务端同步采集任务
    • 休眠时可以卸载客户端
    • 休眠状态的机器在离线又重新连接上线后会保持休眠状态

    唤醒

    • 已经开始或停止的采集任务在唤醒后会保持原状态

    机器标签管理

    机器标签可起到将机器按照业务属性进行分类管理的目的,在机器标签管理模块,您可以新建、编辑、删除机器标签。

    • 新建标签
      点击新建按钮,输入机器名称及描述,确认无误后点击确定创建标签
    • 编辑标签
      可对标签描述及标签下关联的机器列表进行编辑,一个标签可以关联多台机器,一台机器也可以绑定多个标签
      image.png
    • 删除标签
      删除标签需二次确认,确认后删除成功,之前关联的机器不再显示该标签
    • 授权
      可以将机器标签授权给其他角色

    安装包管理

    Pandora统一管理采集客户端安装包,在该页面可以上传、编辑、删除安装包,上传后的安装包可在机器上安装客户端时调用。

    • 上传安装包
      点击右上方上传按钮,根据提示上传安装包,可输入描述信息方便后续快速了解相关信息。上传完成后即可在管理列表中查看,点击更新详情可查看每个安装包的具体更新信息。
    • 删除安装包
      找到不再用的安装包,点击后方的删除按钮,二次确认后即可删除安装包
    以上内容是否对您有帮助?
  • Qvm free helper
    Close