智能日志管理平台

  • MySQL 数据库

    最近更新时间:2018-09-13 19:18:31

    以定时任务的形式去执行 mysql 语句,将 mysql 读取到的内容全部获取则任务结束,等到下一个定时任务的到来。

    基础配置信息

    • 数据库地址(mysql_datasource):

      • 明文填写:由 username: 用户名, password: 用户密码, hostname: mysql 地址, port: mysql 端口组成, 一个完整 mysql_datasource 示例:"admin:123456@tcp(10.101.111.1:3306)"!注意:请使用内网方式访问,以免出现安全隐患!
      • 环境变量填写:为了不在配置中明文存储,我们在 1.0.4 版本及以后支持使用环境变量的方式填写该字段,填写方式为:${YOUR_ENV},其中 YOUR_ENV 为环境变量,需要在机器上将该环境变量设置为原先要填写的值,YOUR_ENV 可以根据您的实际使用需求进行修改。
    • 数据查询语句(mysql_sql):要执行的 sql 语句,可以用 @(var) 使用魔法变量,用 ;分号隔开,多条语句按顺序执行。多条 sql 输出的内容必须 schema 相同,否则请添加新的收集器分开收集。

    • 数据库名称(mysql_database): 数据库名称也支持魔法变量,可以用@(var)的形式写年月日的魔法变量,具体的变量与数字的对应关系参照魔法变量的描述。当history_all为true时,表示导入历史数据,此时,数据库名称使用魔法变量只支持@(YYYY) @(YY) @(MM) @(DD) @(hh) @(mm) @(ss)的写法(不支持@(M) @(D) @(h) @(m) @(s)单个数字表示),同时支持在最后使用通配符*,表示匹配所有后缀例如 mydb@(YYYY)@(MM)@(DD)test*,会匹配出所有以 mydb 为前缀,日期早于当前时间,同时日期后紧跟着test的数据库,如果当前时间为20180601,则此时mydb20180530testmydb20180530test001mydb20180531test002都符合要求。

      • 魔法变量:目前支持的魔法变量,以当前时间 2017 年 6 月 5 日 6 时 35 分 24 秒为例。
        • @(YYYY) 年份,就是2017
        • @(YY) 年份后两位,就是17。
        • @(MM): 月份,补齐两位,就是06
        • @(M): 月份,不补齐,就是6
        • @(D): 日,不补齐,就是5
        • @(DD): 日,补齐两位,如05
        • @(hh): 小时,补齐两位, 如06
        • @(h): 小时,如6
        • @(mm): 分钟,补齐两位,35
        • @(m): 分钟,35
        • @(ss): 秒,补齐两位,24
        • @(s): 秒,24
    • 启动时立即执行(msql_exec_onstart):true 表示启动时执行一次,以后再按 cron 处理;false 则表示到cron 预设的时间才执行,默认为 true

    • 导入历史数据(history_all): 可选项,默认为false,表示不导入历史数据,设置为true时,表示导入符合条件的历史数据,配合mysql_databasemysql_table使用。

    • 数据库表名(mysql_table): 可选项,默认为空,表示读取数据库中的所有表,表名也支持魔法变量,可以用@(var)的形式写年月日的魔法变量,具体的变量与数字的对应关系参照魔法变量的描述。当history_all为true时,表示导入历史数据,此时,表名使用魔法变量只支持@(YYYY) @(YY) @(MM) @(DD) @(hh) @(mm) @(ss)的写法(不支持@(M) @(D) @(h) @(m) @(s)单个数字表示),同时支持在最后使用通配符*,表示匹配所有后缀例如 mytable@(YYYY)@(MM)@(DD)test*,会匹配出所有以 mydb 为前缀,日期早于当前时间,同时日期后紧跟着 test 的表名,如果当前时间为20180601,则此时mytable20180530testmytable20180530test001mytable20180531test002都符合要求。配合 magic_lag_duration 使用

    高级选项

    • 递增的列名称(mysql_offset_key):指定一个 mysql 的列名,作为 offset 的记录,类型必须是整型,建议使用插入(或修改)数据的时间戳(unixnano)作为该字段。每次查询会指定这个 key 做 where 条件限制,避免单次查询性能消耗过大。

    • 分批查询的单批次大小(mysql_limit_batch):mysql_sql 的语句,若数据量大,可以填写该字段,分批次查询。

      • 若 mysql_offset_key 存在,假设填写为 100,则查询范式为 select * from table where mysql_offset_key >= 0 and mysql_offset_key < 0 + 100;
      • 若没填写mysql_offset_key,则类似于 select * from table limit 0,100
    • 定时任务(mysql_cron):定时任务触发周期

      • 直接写 "loop",任务会不停的循环,执行完一次再接着执行下一次,后面可以跟循环的间歇时间,如 "loop 10s",表示每次循环间隔 10s,支持的单位还有"m(分钟)","h(小时)"
      • crontab 的写法,类似于* * * * * * ,对应的是秒(0~59),分(0~59),时(0~23),日(1~31),月(1-12),星期(0~6),填*号表示所有遍历都执行。
      • 描述式写法,类似于 "@midnight", "@every 1h30m",必须@符合开头,目前支持@hourly,@weekly,@monthly,@yearly,@every <time duration>
    • 手动定义 SQL 字段类型(sql_schema): 默认情况下会自动识别数据字段的类型,当不能识别时,可以 sql_schema 指定 mysql 数据字段的类型,目前支持 stringlongfloat 三种类型,单个字段左边为字段名称,右边为类型,空格分隔 abc float;不同的字段用逗号分隔。支持简写为float=>flong=>lstring=>s 如:"sql_schema":"abc string,bcd float,xyz long"。

    • 魔法变量时间延迟(magic_lag_duration):针对魔法变量进行时间延迟,单位支持 h(时)、m(分)、s(秒),如写 24h,则渲染出来的时间魔法变量往前 1 天,2017 年 6 月 5 日 6 时 35 分 24 秒 的 @(D) 渲染出来的就是 4。

    常见使用场景配置

    • 数据库地址mysql_datasource必填
    • 读取单个数据库单个表的所有数据,仅需要填写 数据库名称(mysql_database)数据库表名(mysql_table); 或者填写 数据库名称(mysql_database)数据查询语句(mysql_sql),查询语句为 select * from <your table>, 根据您实际的表修改SQL语句。
    • 指定查询语句查询数据,填写 数据库名称(mysql_database)数据查询语句(mysql_sql),根据您实际需要填写查询语句。
    • 读取单个数据库所有表的数据,填写 数据库名称(mysql_database),设置 导入历史数据(history_all)设置为true,其他如 数据库表名(mysql_table)数据查询语句(mysql_sql) 均无需填写。
    • 读取所有数据库的所有表,设置 导入历史数据(history_all)true,其他数据库、表名、查询语句均无需填写。
    • 读取时间相关的数据库或者数据库表名,只需在数据库名称(mysql_database)数据库表名(mysql_table)使用魔法变量即可,导入历史数据(history_all)false 并且未设置定时任务,则为完全匹配,导入历史数据(history_all)true 时,匹配所有小于等于当前时间的数据库或数据库表名的数据。
    • 定时任务设置 定时任务 进行执行,数据库名称(mysql_database)数据库表名(mysql_table)使用魔法变量时,可以和定时任务结合使用,匹配 所有小于等于定时时间的数据库或数据库表名的数据,前一个定时时间导入的数据不会重复导入。
    以上内容是否对您有帮助?
  • Icon free helper
    Close