CDN 刷新预取操作
针对七牛 CDN 的提交刷新、提交预取以及查询刷新、查询预取的操作说明,查询操作可多线程,但对于提交刷新或者预取,因为该操作敏感且存在 qps 限制,故不支持
设置线程数,始终为单线程。这些操作支持:
- 操作需要指定数据源,默认表示从七牛空间列举文件执行操作,如非默认或需更多条件,请先配置数据源
- 支持通过
-a=<account-name>
/-d
使用已设置的账号,则不需要再直接设置密钥,参考:账号设置
1. 刷新/预取/查询单个 URL
上传单个文件则使用 qsuits 的 single 模式来完成,必须加上 -s
参数才能使用该模式,命令举例如下:qsuits -d -s -process=cdnrefresh/cdnprefetch/refreshquery/prefetchquery -url=http://p3l1d5mx4.bkt.clouddn.com/CR1904660812.mp4
返回结果类似:
http://p3l1d5mx4.bkt.clouddn.com/CR1904660812.mp4 {"code":200,"error":"success","requestId":"5e4f3de1d308f646fd35f518","taskIds":{"http://p3l1d5mx4.bkt.clouddn.com/CR1904660812.mp4":"5e4f3de1d308f646fd35f519"},"invalidUrls":null,"invalidDirs":null,"urlQuotaDay":500,"urlSurplusDay":499,"dirQuotaDay":10,"dirSurplusDay":10}
2. 批量提交刷新
process=cdnrefresh
ak=
sk=
protocol=
domain=
indexes=
url-index=
is-dir=
参数名 | 参数值及类型 | 含义 |
---|---|---|
process | cdn 缓存刷新时设置为 cdnrefresh | 表示 cdn 缓存刷新操作 |
ak、sk | 长度40的字符串 | 七牛账号的 ak、sk,通过七牛控制台个人中心获取,当数据源(如 path= |
protocol | http/https | 使用 http 还是 https 访问资源进行抓取(默认 http) |
domain | 域名字符串 | 用于拼接文件名生成链接的域名(七牛存储空间域名可以使用 domainsfrom 命令查询),当指定 url-index 时无需设置 |
indexes | 字符串 | 设置输入行中 key 字段的下标(有默认值),参考数据源 indexes 设置 |
url-index | 字符串 | 通过 url 操作时需要设置的 url 索引(下标),未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url" |
is-dir | true/false | 是否进行目录刷新,设置为 true 时,输入的 url 或 key 必须是目录形式(即以 / 结尾),默认为 false,表示进行 url 刷新 |
1、关于 url-index
当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址,未设置的情况下则默认从 key 字段
加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见 indexes 索引
及关于 parse 和索引。
2、批量刷新的 url 条数
刷新操作分为目录刷新和普通 url 刷新,目录刷新默认每次提交 10 条,普通 url 刷新默认每次提交 30 条,如果需要其他规模,可以通过 batch-size 参数来
设置,如 batch-size=50
,但是批量刷新普通 url 的每次提交条数上限是 60,批量刷新目录的每次提交条数上限是 10。
3、命令行方式
-process=cdnrefresh -ak= -sk= -bucket= -batch-size=
3. 批量提交预取
process=cdnprefetch
ak=
sk=
protocol=
domain=
indexes=
url-index=
参数名 | 参数值及类型 | 含义 |
---|---|---|
process | cdn 缓存刷新时设置为 cdnrefresh | 表示 cdn 缓存刷新操作 |
ak、sk | 长度40的字符串 | 七牛账号的 ak、sk,通过七牛控制台个人中心获取,当数据源(如 path= |
protocol | http/https | 使用 http 还是 https 访问资源进行抓取(默认 http) |
domain | 域名字符串 | 用于拼接文件名生成链接的域名(七牛存储空间域名可以使用 domainsfrom 命令查询),当指定 url-index 时无需设置 |
indexes | 字符串 | 设置输入行中 key 字段的下标(有默认值),参考数据源 indexes 设置 |
url-index | 字符串 | 通过 url 操作时需要设置的 url 索引(下标),未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url" |
1、关于 url-index
当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址,未设置的情况下则默认从 key 字段
加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见 indexes 索引
及关于 parse 和索引。
2、批量预取的 url 条数
批量预取默认每次提交 30 条,如果需要其他规模,可以通过 batch-size 参数来设置,如 batch-size=50
,但是批量预取资源的每次提交条数上限是 60。
3、命令行方式
-process=cdnprefetch -ak= -sk= -bucket=
4. 批量查询刷新/预取结果
process=refreshquery/prefetchquery
ak=
sk=
protocol=
domain=
indexes=
url-index=
参数名 | 参数值及类型 | 含义 |
---|---|---|
process | 查询刷新结果时设置为 refreshquery,查询预取结果时设置为 prefetchquery | 表示 cdn 刷新或者预取的查询操作 |
ak、sk | 长度40的字符串 | 七牛账号的 ak、sk,通过七牛控制台个人中心获取,当数据源(如 path= |
protocol | http/https | 使用 http 还是 https 访问资源进行抓取(默认 http) |
domain | 域名字符串 | 用于拼接文件名生成链接的域名(七牛存储空间域名可以使用 domainsfrom 命令查询),当指定 url-index 时无需设置 |
indexes | 字符串 | 设置输入行中 key 字段的下标(有默认值),参考数据源 indexes 设置 |
url-index | 字符串 | 通过 url 操作时需要设置的 url 索引(下标),未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url" |
1、关于 url-index
当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址,未设置的情况下则默认从 key 字段
加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见 indexes 索引
及关于 parse 和索引。
2、批量查询的 url 条数
每次提交查询条数默认 100 条,如果需要其他规模,可以通过 batch-size 参数来设置,如 batch-size=80
,但是查询的每次提交条数上限是 100。
3、命令行方式
-process=refreshquery/prefetchquery -ak= -sk= -bucket= -batch-size=