当Pandora为数据建立索引时,会将数据解析为一系列事件,并向事件数据中添加许多字段,将字段添加到事件的过程称为字段提取。这些字段包括自动添加的系统字段以及用户指定的任何自定义字段。
根据生效阶段和作用效果,字段提取分为两种类型:
- 搜索时字段提取,当您搜索数据时进行。Pandora在执行搜索结果时创建字段,并且不会将它们存储在索引中。针对大多数机器数据数据结构不断变化的情况,使用搜索时字段提取可以最大程度地提高灵活性,可以很容易根据分析需求和应用场景对其进行修改。有关此类字段提取的信息,请参见“字段提取”。
- 字段加速,即索引字段提取,这些字段在数据入库时完成解析并存储在索引中,成为事件数据的一部分。针对具有较固定结构的数据(例如CSV文件,TSV文件和JSON数据源等)或者具有较固定分析需求的数据,您可以配置字段加速来读取这类文件的结构并在索引时提取字段,以加速数据搜索、分析及报表呈现的效率。要了解其工作原理,请参阅本手册中的“字段加速配置”。
有两种类型的索引字段:
- Pandora自动添加的系统字段。请参阅本章中的关于”系统字段”。
- 用户指定的自定义字段。
注意:字段加速功能通过提前解析数据字段,提升搜索分析的计算性能。如果选择开启字段加速,有一些限制和注意事项需要了解:
- 字段加速仅对新入库数据生效,而不会加速仓库中已有的数据;如果需要对老数据加速,建议重新导入数据。
- 如果同一仓库中,不同事件间的同一字段类型出现冲突的话,将会导致部分字段无法索引加速。如果创建字段和系统保留字段出现冲突,可能导致该字段无法索引加速。
- 字段加速会在一定程度上降低数据入库速度,并增加额外存储成本,具体数值与解析复杂程度正相关。
文档反馈
(如有产品使用问题,请 提交工单)