对象存储

  • 对象存储 > 实用工具 > CDN 刷新预取操作

    CDN 刷新预取操作

    最近更新时间: 2020-02-21 10:36:23

    针对七牛 CDN 的提交刷新、提交预取以及查询刷新、查询预取的操作说明,查询操作可多线程,但对于提交刷新或者预取,因为该操作敏感且存在 qps 限制,故不支持
    设置线程数,始终为单线程。这些操作支持:

    1. 操作需要指定数据源,默认表示从七牛空间列举文件执行操作,如非默认或需更多条件,请先配置数据源
    2. 支持通过 -a=<account-name>/-d 使用已设置的账号,则不需要再直接设置密钥,参考:账号设置

    1. 刷新/预取/查询单个 URL

    上传单个文件则使用 qsuits 的 single 模式来完成,必须加上 -s 参数才能使用该模式,命令举例如下:
    qsuits -d -s -process=cdnrefresh/cdnprefetch/refreshquery/prefetchquery -url=http://p3l1d5mx4.bkt.clouddn.com/CR1904660812.mp4
    返回结果类似:

    http://p3l1d5mx4.bkt.clouddn.com/CR1904660812.mp4    {"code":200,"error":"success","requestId":"5e4f3de1d308f646fd35f518","taskIds":{"http://p3l1d5mx4.bkt.clouddn.com/CR1904660812.mp4":"5e4f3de1d308f646fd35f519"},"invalidUrls":null,"invalidDirs":null,"urlQuotaDay":500,"urlSurplusDay":499,"dirQuotaDay":10,"dirSurplusDay":10}
    

    2. 批量提交刷新

    process=cdnrefresh
    ak=
    sk=
    protocol=
    domain=
    indexes=
    url-index=
    is-dir=
    
    参数名 参数值及类型 含义
    process cdn 缓存刷新时设置为 cdnrefresh 表示 cdn 缓存刷新操作
    ak、sk 长度40的字符串 七牛账号的 ak、sk,通过七牛控制台个人中心获取,当数据源(如 path=://)指定时无需再设置
    protocol http/https 使用 http 还是 https 访问资源进行抓取(默认 http)
    domain 域名字符串 用于拼接文件名生成链接的域名(七牛存储空间域名可以使用 domainsfrom 命令查询),当指定 url-index 时无需设置
    indexes 字符串 设置输入行中 key 字段的下标(有默认值),参考数据源 indexes 设置
    url-index 字符串 通过 url 操作时需要设置的 url 索引(下标),未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url"
    is-dir true/false 是否进行目录刷新,设置为 true 时,输入的 url 或 key 必须是目录形式(即以 / 结尾),默认为 false,表示进行 url 刷新

    1、关于 url-index

    当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址,未设置的情况下则默认从 key 字段
    加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见 indexes 索引
    关于 parse 和索引

    2、批量刷新的 url 条数

    刷新操作分为目录刷新和普通 url 刷新,目录刷新默认每次提交 10 条,普通 url 刷新默认每次提交 30 条,如果需要其他规模,可以通过 batch-size 参数来
    设置,如 batch-size=50,但是批量刷新普通 url 的每次提交条数上限是 60,批量刷新目录的每次提交条数上限是 10。

    3、命令行方式

    -process=cdnrefresh -ak= -sk= -bucket= -batch-size= 
    

    3. 批量提交预取

    process=cdnprefetch
    ak=
    sk=
    protocol=
    domain=
    indexes=
    url-index=
    
    参数名 参数值及类型 含义
    process cdn 缓存刷新时设置为 cdnrefresh 表示 cdn 缓存刷新操作
    ak、sk 长度40的字符串 七牛账号的 ak、sk,通过七牛控制台个人中心获取,当数据源(如 path=://)指定时无需再设置
    protocol http/https 使用 http 还是 https 访问资源进行抓取(默认 http)
    domain 域名字符串 用于拼接文件名生成链接的域名(七牛存储空间域名可以使用 domainsfrom 命令查询),当指定 url-index 时无需设置
    indexes 字符串 设置输入行中 key 字段的下标(有默认值),参考数据源 indexes 设置
    url-index 字符串 通过 url 操作时需要设置的 url 索引(下标),未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url"

    1、关于 url-index

    当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址,未设置的情况下则默认从 key 字段
    加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见 indexes 索引
    关于 parse 和索引

    2、批量预取的 url 条数

    批量预取默认每次提交 30 条,如果需要其他规模,可以通过 batch-size 参数来设置,如 batch-size=50,但是批量预取资源的每次提交条数上限是 60。

    3、命令行方式

    -process=cdnprefetch -ak= -sk= -bucket= 
    

    4. 批量查询刷新/预取结果

    process=refreshquery/prefetchquery
    ak=
    sk=
    protocol=
    domain=
    indexes=
    url-index=
    
    参数名 参数值及类型 含义
    process 查询刷新结果时设置为 refreshquery,查询预取结果时设置为 prefetchquery 表示 cdn 刷新或者预取的查询操作
    ak、sk 长度40的字符串 七牛账号的 ak、sk,通过七牛控制台个人中心获取,当数据源(如 path=://)指定时无需再设置
    protocol http/https 使用 http 还是 https 访问资源进行抓取(默认 http)
    domain 域名字符串 用于拼接文件名生成链接的域名(七牛存储空间域名可以使用 domainsfrom 命令查询),当指定 url-index 时无需设置
    indexes 字符串 设置输入行中 key 字段的下标(有默认值),参考数据源 indexes 设置
    url-index 字符串 通过 url 操作时需要设置的 url 索引(下标),未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url"

    1、关于 url-index

    当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址,未设置的情况下则默认从 key 字段
    加上 domain 的方式访问源文件地址,key 下标用 indexes 参数设置,默认会根据 parse 类型设置为 0 或 "key",参见 indexes 索引
    关于 parse 和索引

    2、批量查询的 url 条数

    每次提交查询条数默认 100 条,如果需要其他规模,可以通过 batch-size 参数来设置,如 batch-size=80,但是查询的每次提交条数上限是 100。

    3、命令行方式

    -process=refreshquery/prefetchquery -ak= -sk= -bucket= -batch-size= 
    
    以上内容是否对您有帮助?
  • Qvm free helper
    Close