机器数据分析平台 > 使用文档 > 来源类型

来源类型

最近更新时间: 2022-02-17 11:37:37

一、什么是来源类型（Sourcetype）

来源类型（sourcetype）是平台数据的内置字段，也是用来区分不同数据格式的重要标识。来源类型可以描述数据的切分方式、时间抽取方式、字段提取方式等重要信息。

对于Pandora 2.0来说，所有接入的数据都以数据流的形式，系统需要先将数据流转换成一个个时序事件，然后再存储到系统的存储设备上。因此，在数据真正入库前需要：

不同数据格式的数据流，其划分方式以及时间识别方式各有不同，应当配置不同的事件划分方式与时间识别方式来分别处理不同的数据流。因此，来源类型标记了数据流的事件划分方式和时间识别方式。当数据入库时，Pandora识别并为其添加来源类型字段，用户可以使用来源类型来搜索所有该来源类型的数据

来源类型（sourcetype）是Pandora 2.0的默认字段之一，即每一条事件都会有对应的sourcetype字段。
将不同的数据流写入到同一个仓库里是允许的。此时，该仓库里隶属于不同数据流的事件，其内置字段sourcetype将拥有不同的值，用以互相区分。

Pandora已经内置了若干来源类型，您可以为数据指定内置来源类型，或者配置自定义的来源类型。

在来源类型页面进行创建，也可以在文件上传页面以交互式的方式完成来源类型的相关配置。
各种配置的含义如下：

配置	说明
`换行规则`（也称事件划分规则）	用于定义如何将数据流划分成一个个事件
`时间提取规则`	用于定义如何从数据流中提取时间信息，用以将事件变成时序事件
`其他高级配置`	字符编码的选择，是否开启字段自动发现功能

更具体的，换行规则又分为：

配置细则	说明
`自动`	按照每个事件的首行都具有时间信息来定位各个事件的第一行。这对于诸如错误栈等横跨多行的日志特别有用
`单行`	强制按照一行一个事件划分数据流
`正则`	用正则的方式表达事件分隔符。它是`单行`配置的拓展版，`单行`等效于在`正则`里填写`\r?\n`。注意，被正则匹配上的字符会被系统吞掉，不会被算在事件里。

时间提取规则又分为：

配置细则	解释
`自动`	利用系统已知的各种时间格式，逐个尝试。省心但不高效，而且容易出现误识，在生成环境上，不建议使用。
`当前`	不尝试识别数据流中的时间，直接采用入库时的当前时间作为事件时间
`自定义`	指明时间字符串在数据流中的位置，并指明时间字符串的具体格式与可能的长度。配置繁琐，但处理高效且精度高

时间自定义模式的配置细则：

配置细则	说明
`时区`	用于指定时间的时区信息。如果时间字符串自带了时区信息，并且系统通过`时间戳格式`识别到了该时区，那么系统会采用识别到的时区，而忽略`时区`选项里的时区。
`时间戳前缀`（选填）	用正则定位时间字符串在数据流中的位置。例如，数据流中有意义的时间信息都紧跟在`# Timestamp:` 的后面。那么，就可以在该配置里填上`# Timestamp:`
`时间戳格式`（选填）	采用诸如`yyyy-MM-dd'T'HH:mm:ss,SSS Z`的格式来表达不同格式的时间字符串。详见下面的案例教学
`时间戳长度上限`	用于限定时间识别的范围。默认情况下，系统只会从时间戳前缀其后的100个字符中寻找时间信息。该限制属于用户给予系统的先验信息，利用这个信息，系统在无法找到时间信息的情况下，能够及时止损，避免不必要的系统资源浪费

其他高级配置：

配置细则	说明
`字符编码`	选择合适的字符编码，默认UTF-8
`字段自动发现`	开启后系统会自动提取日志中键值对（形如 key=value）作为数据字段

总结：

时间类别	格式表达
年	`2004`，用`yyyy`表达； `04`，用`yy`表达
月	`7`，用`M`表达； `07`，用`MM`表达； `Jul`，用`MMM`表达； `July`，用`MMMM`表达； `J`，用`MMMMM`表达
日	`09`，用`dd`表达； `9`，用`d`表达
星期	`Tue`，用`E`或`EE`或`EEE`表达； `Tuesday`，用`EEEE`表达； `T`，用`EEEEE`表达
12小时制	用小写的`h`或`hh`表达
24小时制	用大写的`H`或`HH`表达
分钟	用小写的`m`或者`mm`表达
秒	用小写的`s`或者`ss`表达
秒以下的精度	用大写的`S`表达。若精确到毫秒，则用`SSS`表达；若精确到微秒，则用`SSSSSS`表达；若精确到纳秒，则用`SSSSSSSSS`表达。注意，尽管系统能够识别纳秒级时间信息，但毫秒以下的精度不会被系统采纳
时区	`UTC+8`，用`O`表达； `UTC+08:00`，用`OOOO`或`ZZZZ`表达； `+0830`以及`+0000`，用`Z`或`ZZ`或`ZZZ`表达； `+08:30`以及`Z`，用`ZZZZZ`表达； `+00:00`，用`xxx`表达