智能日志管理平台

  • AWS S3

    最近更新时间:2018-09-13 19:20:01

    AWS S3 Reader 可以持续同步 AWS S3的日志文件。对应原来的CloudTrail 数据源读取。

    必要参数

    • region: 必填项, S3 服务所在区域(region), 例如 us-east-1
    • s3_access_key: 必填项, AWS 的 access key ID。为了不在配置中明文存储,我们在 1.0.4 版本及以后支持使用环境变量的方式填写该字段,填写方式为:${YOUR_ENV},其中 YOUR_ENV 为环境变量,需要在机器上将该环境变量设置为原先要填写的值,YOUR_ENV 可以根据您的实际使用需求进行修改。
    • s3_secret_key: 必填项, AWS 的 secret key。为了不在配置中明文存储,我们在 1.0.4 版本及以后支持使用环境变量的方式填写该字段,填写方式为:${YOUR_ENV},其中 YOUR_ENV 为环境变量,需要在机器上将该环境变量设置为原先要填写的值,YOUR_ENV 可以根据您的实际使用需求进行修改。
    • s3_bucket: 必填项, S3存储桶名称。

    高级选项

    • s3_prefix: S3存储桶文件前缀, 当该选项不为空时, 仅将包含该文件前缀的文件同步到本地文件夹中。
    • sync_directory: 本地同步目录, 将S3存储桶中的文件同步至该目录下。当该选项为空时, 默认值为当前路径
    • sync_metastore: 该文件用于存储已同步文件列表。当该选项为空时, 默认值为当前路径
    • sync_interval: 文件同步间隔,填写1m表示1分钟,10m表示10分钟,单位m表示分钟,最小设置为1分钟
    • sync_concurrent: 文件同步的并发个数,默认值为5

    工作原理介绍

    ClockTrail Reader由SyncManager、BufReader组成,SyncManager采用异步的方式持续将指定存储桶的文件同步至本地目录中,并使用metastore元文件记录所有已同步的文件列表。BufReader采用Dir模式,持续从本地同步目录中读取ClockTrail文件,读取完成后可直接删除,SyncManager借助metastore元文件避免重复同步这些文件。

    以上内容是否对您有帮助?
  • Icon free helper
    Close