对象存储

  • 对象存储 > API 文档 > Object 接口 > 第三方资源抓取

    第三方资源抓取

    最近更新时间: 2021-11-19 15:12:08

    描述

    从指定 URL 抓取资源,并将该资源存储到指定空间中。每次只抓取一个文件,抓取时可以指定保存空间名和最终资源名。


    请求


    语法

    POST /fetch/<EncodedURL>/to/<EncodedEntryURI> HTTP/1.1
    Host:           <IOHost>
    Content-Type:   application/x-www-form-urlencoded
    Authorization:  Qiniu <AccessToken>
    

    使用说明:

    • 抓取动作是同步操作,在完成之前请求不返回。
    • 本接口在执行同步操作时,如果抓取的资源过大,可能会导致超时。
    • 如果被抓取的源站屏蔽(屏蔽可能是抓取源站有 IP、UA 等限制策略)来自七牛的抓取操作,那么不能确保一定可以抓取成功。

    请求参数

    Host: 源站下载域名。需要使用各区域对应的源站下载域名,七牛对象存储支持的区域及其源站下载域名参见 存储区域列表

    参数名称 必填 说明
    EncodedURL 指定 URL 的URL安全的Base64编码
    EncodedEntryURI <bucket>:<key> 或者 <bucket> 的 URL 安全的 Base64 编码值。如果指定为<bucket>的 URL 安全的 Base64 编码值,默认key为文件的hash值
    EncodedHost 如果指定 URL 的域名被替换成了 IP 地址,则请求路径需要加上 host 参数。参数值必须做URL安全的Base64编码

    请求头

    该请求操作的实现使用了所有操作的公共请求头。有关详细信息,请查阅公共请求头


    响应


    响应头

    该请求操作的实现使用了所有操作的公共响应头。有关详细信息,请查阅公共响应头


    响应元素

    名称 说明
    fsize 文件大小,单位为字节(Byte)。

    类型:数字
    hash 文件的HASH值,使用hash值算法计算。

    类型:字符串
    key 最终资源名

    类型:字符串
    mimeType 文件的MIME类型

    类型:字符串

    特殊错误

    该操作的实现不会返回特殊错误。有关错误和错误代码列表的一般信息,请查阅错误响应


    示例

    指定 URL 由域名组成的示例

    请求:
    POST /fetch/aHR0cHM6Ly9zYXJhaC5xaW5pdWRlbW8uY29tLzEucG5n/to/dGVzdDAyOnByaWNlLnBuZw== HTTP/1.1
    Host: iovip.qbox.me
    User-Agent: Go-http-client/1.1
    Content-Length: 0
    Authorization: Qiniu j853F3bLkWl59I5BOkWm6q1Z1mZClpr9Z9CLfDE0:FwliyUEz-rL1rb9qVkd0xYosBng=
    Content-Type: application/x-www-form-urlencoded
    Accept-Encoding: gzip
    

    响应:
    HTTP/1.1 200 OK
    Content-Length: 94
    Connection: keep-alive
    Content-Type: application/json
    Date: Tue, 19 Sep 2017 06:28:18 GMT
    Server: nginx
    X-Log: TBLMGR:1;RS:2;CFGG:5;mc.g;ONE:4;CFGG:5;DC/404;xs0EBD;mc.g;IO:23;mc.g;ONE:4;CFGG:5;DC/404;xs0EBD;mc.g;IO:23;QINIUPROXY:239;gS.h:240;uS.cpy:1;s.ph;s.put.tw;s.put.tr;s.put.tw;s.put.tr;s.ph;PFDS;PFDS;rdb.g/no such key;DBD/404;v4.get/Document not found;rs36_6.sel/not found;rs36_6.ups;rwro.upsc:1;mc.s/500;mc.d/404;mc.d/404;RS:2;uS.hdo:4;IO:255
    X-Qiniu-Zone: 0
    X-Reqid: jXwAAH8259lkr-UU
    
    {
    	"fsize": 21741,
    	"hash": "FreZ58OmkQe5ZRUktRsO3zoqRaHi",
    	"key": "price.png",
    	"mimeType": "image/png"
    }
    

    指定 URL 由 IP 组成的示例

    请求:
    POST /fetch/aHR0cDovLzEwMS4yMDEuMTcyLjIyOQ==/to/dGVzdDAy/host/d3d3LmNzZG4ubmV0 HTTP/1.1
    Host: iovip.qbox.me
    User-Agent: Go-http-client/1.1
    Content-Length: 0
    Authorization: Qiniu j853F3bLkWl59I5BOkWm6q1Z1mZClpr9Z9CLfDE0:MwbVYjz1Z-piMAYc1jkp6jK-QsU=
    Content-Type: application/x-www-form-urlencoded
    Accept-Encoding: gzip
    

    响应:
    HTTP/1.1 200 OK
    Content-Length: 128
    Connection: keep-alive
    Content-Type: application/json
    Date: Tue, 19 Sep 2017 08:04:26 GMT
    Server: nginx
    X-Log: L;QINIUPROXY:88;gS.h:128;uS.tmp;uS.cpy:3;s.ph;s.put.tw;s.put.tr:25;s.put.tw;s.put.tr:24;s.ph;PFDS:25;PFDS:25;rdb.g/no such key;DBD/404;v4.get/Document not found;rs36_17.sel/not found;rs36_17.ups;rwro.upsc:1;mc.s/500;mc.d/404;mc.d/404;RS:3;uS.hdo:45;uS.rmv;IO:182
    X-Qiniu-Zone: 0
    X-Reqid: 5GIAALHBZOyjtOUU
    
    {
    	"fsize": 99532,
    	"hash": "FpYFPe-lvCrKXBeNDpoHUsWoyNd5",
    	"key": "FpYFPe-lvCrKXBeNDpoHUsWoyNd5",
    	"mimeType": "text/html; charset=utf-8"
    }
    
    以上内容是否对您有帮助?
  • Qvm free helper
    Close