AWS S3

AWS S3 Reader 可以持续同步 AWS S3的日志文件。对应原来的CloudTrail 数据源读取。

必要参数

• region: 必填项, S3 服务所在区域(region), 例如 us-east-1。
• s3_access_key: 必填项, AWS 的 access key ID。为了不在配置中明文存储，我们在 1.0.4 版本及以后支持使用环境变量的方式填写该字段，填写方式为：${YOUR_ENV}，其中 YOUR_ENV 为环境变量，需要在机器上将该环境变量设置为原先要填写的值，YOUR_ENV 可以根据您的实际使用需求进行修改。
• s3_secret_key: 必填项, AWS 的 secret key。为了不在配置中明文存储，我们在 1.0.4 版本及以后支持使用环境变量的方式填写该字段，填写方式为：${YOUR_ENV}，其中 YOUR_ENV 为环境变量，需要在机器上将该环境变量设置为原先要填写的值，YOUR_ENV 可以根据您的实际使用需求进行修改。
• s3_bucket: 必填项, S3存储桶名称。

高级选项

• endpoint:终端节点地址，如s3-REGION.amazonaws.com。
• s3_prefix: S3存储桶文件前缀, 当该选项不为空时, 仅将包含该文件前缀的文件同步到本地文件夹中。
• sync_directory: 本地同步目录, 将S3存储桶中的文件同步至该目录下。当该选项为空时, 默认值为当前路径。
• sync_metastore: 该文件用于存储已同步文件列表。当该选项为空时, 默认值为当前路径。
• sync_interval: 文件同步间隔，填写1m表示1分钟，10m表示10分钟，单位m表示分钟，最小设置为1分钟。
• sync_concurrent: 文件同步的并发个数，默认值为5。

工作原理介绍

ClockTrail Reader由SyncManager、BufReader组成，SyncManager采用异步的方式持续将指定存储桶的文件同步至本地目录中，并使用metastore元文件记录所有已同步的文件列表。BufReader采用Dir模式，持续从本地同步目录中读取ClockTrail文件，读取完成后可直接删除，SyncManager借助metastore元文件避免重复同步这些文件。