设置爬虫相关规则

合法爬虫

合法爬虫功能提供合法搜索引擎白名单（例如Google、Bing、百度、搜狗、360、Yandex等），为域名放行合法爬虫的访问请求。

启用合法爬虫规则后，来自相关搜索引擎的合法爬虫IP将被直接放行，不经过Bot管理模块的防护检测。

爬虫威胁情报

爬虫威胁情报功能提供拨号池IP、IDC机房IP、恶意扫描工具IP以及云端实时模型生成的恶意爬虫库等多种维度的爬虫威胁情报规则，方便您在全域名或指定路径下设置阻断恶意爬虫的访问请求。

爬虫威胁情报开启后，所有网站请求默认都会经过爬虫威胁情报规则的检测。您可以通过设置Bot管理白名单，让满足条件的请求忽略爬虫威胁情报规则的检测。

开启默认规则后，当目标情报库内的来源IP向域名下任意路径发起访问请求时，一律触发观察处置，即放行请求同时进行记录。