对象存储

    • 对象存储 > API 文档 > Object 接口 > 第三方资源抓取

    第三方资源抓取

    最近更新时间: 2021-11-19 15:12:08

    描述

    从指定 URL 抓取资源，并将该资源存储到指定空间中。每次只抓取一个文件，抓取时可以指定保存空间名和最终资源名。


    请求


    语法

    POST /fetch/<EncodedURL>/to/<EncodedEntryURI> HTTP/1.1
Host:           <IOHost>
Content-Type:   application/x-www-form-urlencoded
Authorization:  Qiniu <AccessToken>

    使用说明：

    • 抓取动作是同步操作，在完成之前请求不返回。
    • 本接口在执行同步操作时，如果抓取的资源过大，可能会导致超时。
    • 如果被抓取的源站屏蔽（屏蔽可能是抓取源站有 IP、UA 等限制策略）来自七牛的抓取操作，那么不能确保一定可以抓取成功。

    请求参数

    Host: 源站下载域名。需要使用各区域对应的源站下载域名，七牛对象存储支持的区域及其源站下载域名参见 存储区域列表。

    参数名称 必填 说明
    EncodedURL 是 指定 URL 的URL安全的Base64编码值
    EncodedEntryURI 是 <bucket>:<key> 或者 <bucket> 的 URL 安全的 Base64 编码值。如果指定为<bucket>的 URL 安全的 Base64 编码值，默认key为文件的hash值。
    EncodedHost 否 如果指定 URL 的域名被替换成了 IP 地址，则请求路径需要加上 host 参数。参数值必须做URL安全的Base64编码。

    请求头

    该请求操作的实现使用了所有操作的公共请求头。有关详细信息，请查阅公共请求头。


    响应


    响应头

    该请求操作的实现使用了所有操作的公共响应头。有关详细信息，请查阅公共响应头。


    响应元素

    名称 说明
    fsize 文件大小，单位为字节（Byte）。

    类型：数字
    hash 文件的HASH值，使用hash值算法计算。

    类型：字符串
    key 最终资源名

    类型：字符串
    mimeType 文件的MIME类型

    类型：字符串

    特殊错误

    该操作的实现不会返回特殊错误。有关错误和错误代码列表的一般信息，请查阅错误响应。


    示例

    指定 URL 由域名组成的示例

    请求：
POST /fetch/aHR0cHM6Ly9zYXJhaC5xaW5pdWRlbW8uY29tLzEucG5n/to/dGVzdDAyOnByaWNlLnBuZw== HTTP/1.1
Host: iovip.qbox.me
User-Agent: Go-http-client/1.1
Content-Length: 0
Authorization: Qiniu j853F3bLkWl59I5BOkWm6q1Z1mZClpr9Z9CLfDE0:FwliyUEz-rL1rb9qVkd0xYosBng=
Content-Type: application/x-www-form-urlencoded
Accept-Encoding: gzip


    响应：
HTTP/1.1 200 OK
Content-Length: 94
Connection: keep-alive
Content-Type: application/json
Date: Tue, 19 Sep 2017 06:28:18 GMT
Server: nginx
X-Log: TBLMGR:1;RS:2;CFGG:5;mc.g;ONE:4;CFGG:5;DC/404;xs0EBD;mc.g;IO:23;mc.g;ONE:4;CFGG:5;DC/404;xs0EBD;mc.g;IO:23;QINIUPROXY:239;gS.h:240;uS.cpy:1;s.ph;s.put.tw;s.put.tr;s.put.tw;s.put.tr;s.ph;PFDS;PFDS;rdb.g/no such key;DBD/404;v4.get/Document not found;rs36_6.sel/not found;rs36_6.ups;rwro.upsc:1;mc.s/500;mc.d/404;mc.d/404;RS:2;uS.hdo:4;IO:255
X-Qiniu-Zone: 0
X-Reqid: jXwAAH8259lkr-UU

{
	"fsize": 21741,
	"hash": "FreZ58OmkQe5ZRUktRsO3zoqRaHi",
	"key": "price.png",
	"mimeType": "image/png"
}

    指定 URL 由 IP 组成的示例

    请求：
POST /fetch/aHR0cDovLzEwMS4yMDEuMTcyLjIyOQ==/to/dGVzdDAy/host/d3d3LmNzZG4ubmV0 HTTP/1.1
Host: iovip.qbox.me
User-Agent: Go-http-client/1.1
Content-Length: 0
Authorization: Qiniu j853F3bLkWl59I5BOkWm6q1Z1mZClpr9Z9CLfDE0:MwbVYjz1Z-piMAYc1jkp6jK-QsU=
Content-Type: application/x-www-form-urlencoded
Accept-Encoding: gzip


    响应：
HTTP/1.1 200 OK
Content-Length: 128
Connection: keep-alive
Content-Type: application/json
Date: Tue, 19 Sep 2017 08:04:26 GMT
Server: nginx
X-Log: L;QINIUPROXY:88;gS.h:128;uS.tmp;uS.cpy:3;s.ph;s.put.tw;s.put.tr:25;s.put.tw;s.put.tr:24;s.ph;PFDS:25;PFDS:25;rdb.g/no such key;DBD/404;v4.get/Document not found;rs36_17.sel/not found;rs36_17.ups;rwro.upsc:1;mc.s/500;mc.d/404;mc.d/404;RS:3;uS.hdo:45;uS.rmv;IO:182
X-Qiniu-Zone: 0
X-Reqid: 5GIAALHBZOyjtOUU

{
	"fsize": 99532,
	"hash": "FpYFPe-lvCrKXBeNDpoHUsWoyNd5",
	"key": "FpYFPe-lvCrKXBeNDpoHUsWoyNd5",
	"mimeType": "text/html; charset=utf-8"
}
    以上内容是否对您有帮助？
    • Qvm free helper
    Close