机器数据分析平台

  • 机器数据分析平台 > 使用文档 > 数据采集 > 文件上传

    文件上传

    最近更新时间: 2020-11-13 14:12:08

    文件上传功能允许您上传一个本地计算机上的文件至Pandora机器数据分析平台。

    步骤一:选择文件上传

    点击上传区域,选择您要探索分析的数据文件上传,Pandora平台会根据该文件的类型加载并处理该文件。加载完成后,点击下一步。

    步骤二:选择来源类型

    第二步您需要为上传的数据选择或新建一个来源类型,确定Pandora平台为数据设置格式的方式。
    Pandora会尝试根据上传文件的类型自动为您的数据分配来源类型,您也可以手动修改,选择其他来源类型或者新建来源类型,使数据以您希望的换行方式和时间戳呈现。

    调整时间戳和换行规则

    如果您未在系统中找到适合的来源类型,您可以新建来源类型手动调整平台对传⼊数据处理时间戳以及事件换⾏的⽅式。

    • 换行规则
      • 自动:根据日志本身的时间戳位置拆分日志。
      • 每行:把每行视为一条日志。
      • 正则表达式:使用指定的正则表达式拆分日志。
    • 时间戳
      • 自动:根据日志内容自动定位时间戳。
      • 当前:使用当前的系统时间。
      • 自定义:自定义参数调整时间戳,参数包括
        • 时区:您想要用于数据的时区。
        • 时间戳前缀:出现在时间戳之前的内容,用于定位时间戳在每行日志中的位置。
        • 时间戳格式:例如:yyyy-MM-dd'T'HH:mm:ss,SSS Z。可以参考java的时间戳规范
        • 时间戳长度上限:仅从时间戳前缀之后长度为该大小的子字符串中解析时间戳信息。

    字段自动发现

    自定义来源类型支持选择是否开启字段自动发现,开启后Pandora会自动提取事件数据中的 KV 对 (形如 key=value) 作为数据字段。您也可以禁用字段自动发现来改进搜索性能。

    步骤三:确认数据

    第三步,您需要填写仓库名称、主机名数据入库,同时检查前两步的数据信息。

    仓库决定了上传的数据存储的位置,默认情况下,数据会进入系统默认仓库 default,您可以手动修改,选择其他仓库或者新建仓库。每个仓库间可以实现数据物理隔离,并可以单独设置存储生命周期。

    主机名称可用来标记日志数据,您可以手动输入修改主机名称。

    来源类型、仓库名、主机名均可用在搜索语句中过滤日志,详情参阅搜索手册

    以上内容是否对您有帮助?
  • Qvm free helper
    Close