Pandora 2.0 的字段提取作用于搜索过程中。这意味着我们不需要在数据入库的时候将字段全部解析完成,可以先收集日志,而后再对日志做结构化处理。这样的好处在于我们可以随时根据业务需求的变化调整我们解析数据的规则,可以快速响应新的分析需求。
平台提供了以下几种常用的字段提取方法:正则表达式、固定分隔符、JSON、键值对、XML这几种字段提取的方法。
正则表达式
⽅法使用划词辅助生成正则表达式的方式,帮助用户完成解析规则配置。
固定分隔符
⽅法设计⽤于类似CSV 等结构化数据,字段使用例如逗号、制表位等符号分隔。
JSON
方法可以将数据按照JSON(JavaScript Object Notation)数据格式解析成数据字段。
键值对
方法用于提取由KV对构成的数据。
xml
方法适用于提取XML(Extensible Markup Language)格式的数据。
字段提取步骤
通过搜索返回结果进入字段提取页面,点击字段栏或日志内容区域的提取字段。
步骤一:选择示例数据
在智能日志平台中,所有字段提取,均与指定的来源类型关联。所以在这一步,您需要选择一个来源类型获取数据。从日志内容区域跳转过来的字段提取会自动帮您把来源类型填上。
从日志列表中选择一条您想提取字段的示例数据。
步骤二:选择解析方法
根据数据类型选择解析方法。可选的方法如上所示,包含正则表达式、固定分隔符、JSON、键值对解析以及XML解析
当前截图的例子中,数据使用固定分隔符逗号隔开所有字段,所以我们可以选择固定分隔符解析方式,选择逗号分隔符,并且设置所有字段名称。
步骤三:保存解析规则
填写规则名称,确认字段信息保存解析规则。系统的所有解析规则可在解析规则列表查看。
步骤四:查看数据
提取完成后进入数据搜索页面,再次运行搜索语句,搜索结果中字段已经被提取出来。
有些情况下,单独使用一种解析方法可能不足以满足您的解析需求,这时候您需要同时结合几种解析方法来解析数据。
字段提取管理
除了从搜索界面进入提取字段之外,也可以点击字段管理选项卡,进入字段管理页面。点击右上角的创建规则按钮进入新建字段提取页面。后续步骤与通过搜索结果进入字段提取一致,这里不再赘述。
进入字段管理页面,此页面显示所有字段提取规则列表。点击详情即可查看每条规则详情。
您也可以使用导入功能,直接导入解析规则的 json 文件,一键生成解析规则。