Pandora2.0

Pandora2.0 数据源以仓库为粒度，采集数据, 输出的是 json 字符串，需要使用 json 的 parser 解析。

基础配置信息

• 数据库地址(pdr_host)：Pandora2.0 的地址以及端口，常用端口是 9999。

• 仓库名称(pdr_repo)：需要采集的 Pandora2.0 仓库名称。

• 认证token(pdr_token)：若 Pandora2.0 禁用了 internal 接口的认证，此项可不填；否则需要在 Pandora2.0 上生成 token，供接口认证使用。

• 定时任务(cron)： 定时任务触发周期，crontab 的写法, 类似于* * * * * * ，对应的是秒(0~59)，分(0~59)，时(0~23)，日(1~31)，月(1-12)，星期(0~6)，填*号表示所有遍历都执行。

• 定时任务offset字段字段名(offset_key)： 定时读取时作为offset字段的字段名,且此字段应该具有作为offset字段的特性(递增，例如:_indexTime 字段)。

• 定时任务offset字段字段初始值(offset_value)： 定时读取时作为offset字段的初始值,必须是数值型，若offset_key=_indexTime，此处填毫秒值。

• 启动时立即执行(exec_onstart)：true 表示启动时执行一次，以后再按 cron 处理;false 则表示到cron 预设的时间才执行，默认为 true。

高级选项

• 分批查询的单批次大小(limit_batch)：一次获取的 batch size，默认为 100 条一个 batch。

• offset保存时间(keepalive): reader 如果停止，重启后可以继续读取数据的 ID(Offset记录)在服务端保存的时长，默认 1d，语法 m分钟,h小时,d天。

• 魔法变量：目前支持年，月，日，时，分，秒的魔法变量，以当前时间 2017 年 6 月 5 日 6 时 35 分 24 秒为例。

  • @(YYYY) 年份，就是2017
  • @(YY) 年份后两位，就是17。
  • @(MM): 月份,补齐两位，就是06
  • @(M): 月份，不补齐,就是6
  • @(D): 日，不补齐,就是5
  • @(DD): 日，补齐两位，如05
  • @(hh): 小时，补齐两位, 如06
  • @(h): 小时,如6
  • @(mm): 分钟，补齐两位,35
  • @(m): 分钟,35
  • @(ss): 秒，补齐两位,24
  • @(s): 秒,24