智能日志管理平台

  • 采集器整体配置

    最近更新时间:2018-09-27 22:08:08

    采集器整体配置

    当配置完 读取、解析、发送后,就会进入到采集器整体配置界面,如下图所示。

    一个采集器(Config)配置分发后,采集任务我们称之为一个Runner

    在这个页面,您甚至可以手动修改json格式的配置,快速定义您的配置。

    配置字段说明:

    1. 名称(name) 必填,用来标识采集器(也是采集任务runner)的名字,一台机器上的runner名称是唯一的,重名的runner将无法加载。
    2. 单次读取最大数据量(batch_size) 单位为byte,每读取多少数据作为一个批次。默认2097152(2MB = 2*1024*1024
    3. 最长发送间隔(batch_interval) 单位为,每读取多长时间作为一个批次的数据发送,当时间间隔达到,无论读取多少条都会发送,防止读取时间过长。默认60秒
    4. 添加额外系统信息(extra_info) 可选,为true时带上系统的hostname、ip、os等信息
    5. 关闭runner前等待reader关闭时间(max_reader_close_wait_time)单位为s,默认为0

    典型的配置如下。

    {
        "name":"logkit_runner",
        "batch_len": 1000,
        "batch_size": 2097152,
        "batch_interval": 300, 
        "extra_info": true,
        "reader":{
            "log_path":"/home/user/app/log/dir/",
            "meta_path":"./metapath",
            "donefile_retention":"7",
            "read_from":"newest",
            "mode":"dir",
            "valid_file_pattern":"qiniulog-*.log" // 可不选,默认为 "*"
        },
         "cleaner":{
            "delete_enable":"true",
            "delete_interval":"10",
            "reserve_file_number":"10",
            "reserve_file_size":"10240"
        },
        "parser":{
            "name":"json_parser",
            "type":"json"
        },
        "senders":[{
            "name":"test_sender",
            "sender_type":"pandora",
            "fault_tolerant":"false",
            "pandora_ak":"your_ak",
            "pandora_sk":"your_sk",
            "pandora_host":"https://pipeline.qiniu.com",
            "pandora_repo_name":"repo_test",
            "pandora_region":"nb",
            "pandora_schema_free":"true"
    }]
    }
    
    以上内容是否对您有帮助?
  • Icon free helper
    Close