字段查找功能可以满足您部分场景中通过字段匹配查找,在搜索结果中增加相关信息以丰富事件数据的需求。Pandora提供多种字段查找类型,您可以将事件数据中的字段与外部查找表中的字段进行匹配,并通过这些匹配项向事件数据中添加更多查找表中的字段内容。例如通过DNS查找查找域名对应的IP地址,或在产品销售数据中添加展示更多产品基础信息:名称、描述、厂家等。
查找类型
Pandora提供三种类型的字段查找:
- CSV查找
- KV存储查找
- 外部脚本查找
查找类型 | 数据源 | 说明 |
---|---|---|
CSV查找 | CSV文件 | 从静态CSV文件中匹配字段并输出到搜索结果中。CSV表中的每一列都可作为输出字段。当您的数据量较小且相对静态时,建议使用CSV查找。 |
KV存储查找 | KV存储表 | 通过匹配KV存储表中字段,将KV存储中的相应字段输出到搜索结果中。当查找表数据量较大或经常更新时,请使用KV存储查找。 |
外部脚本查找 | 外部源 | 通过Python脚本或二进制可执行文件匹配外部源的字段值并输出到搜索结果中。 |
字段查找使用流程如下:
1、配置管理字段查找表,可以是CSV文件、KV存储或外部Python脚本输出。另外您还可以使用搜索结果来填充CSV文件或KV存储,并将其设置为查找表。详细内容请参阅配置字段查找表文件及外部查找和配置KV存储查找。
2、配置字段查找规则,然后您就可以使用lookup命令在搜索应用中进行调用。
字段查找表
当查找表跟搜索结果的相应字段匹配时,字段查找会将查找表中对应从该表中提取字段并将其输出至搜索结果中。所有字段查找类型都需要管理查找表,CVS文件的查找类型需要上传CSV查找表文件,一个查找表文件可以被多个查找规则调用。
字段查找规则
一个查找表可以配置多个查找规则,字段查找规则定义了查找名称、查找表路径、允许查找字段以及匹配规则等,另外您也可以使用自动查找,在搜索时自动将查找应用于所有搜索,这样就无需使用lookup命令在搜索中手动调用。创建规则后,您可以使用lookup命令在搜索中调用查找。详细请参阅自动字段查找。
Lookup命令
lookup:通过字段匹配向事件数据中输出字段。详细内容请参阅lookup
示例
假设您有一个字段查找规则sales_lookup,查找类型为CSV文件,该CSV文件中存储门店、地域及负责销售人员等信息。搜索结果展示门店的销量情况,您可以使用lookup将搜索结果数据的门店值与查找表中的门店值进行匹配,并将相应的地域及负责销售人员值添加到事件数据中。
... | lookup sales_lookup store AS store OUTPUT region,salesperson