云主机

  • 云主机服务 > 使用指南 > 网络安全产品 >Web应用防火墙 >网站防护配置 >Bot 管理 >设置爬虫相关规则

    设置爬虫相关规则

    最近更新时间:2021-05-14 18:06:39

    设置爬虫相关规则

    合法爬虫

    合法爬虫功能提供合法搜索引擎白名单(例如Google、Bing、百度、搜狗、360、Yandex等),为域名放行合法爬虫的访问请求。

    截屏2021-05-11 下午7.12.31.png

    启用合法爬虫规则后,来自相关搜索引擎的合法爬虫IP将被直接放行,不经过Bot管理模块的防护检测。

    爬虫威胁情报

    爬虫威胁情报功能提供拨号池IP、IDC机房IP、恶意扫描工具IP以及云端实时模型生成的恶意爬虫库等多种维度的爬虫威胁情报规则,方便您在全域名或指定路径下设置阻断恶意爬虫的访问请求。

    截屏2021-05-11 下午7.12.02.png

    爬虫威胁情报开启后,所有网站请求默认都会经过爬虫威胁情报规则的检测。您可以通过设置Bot管理白名单,让满足条件的请求忽略爬虫威胁情报规则的检测。

    开启默认规则后,当目标情报库内的来源IP向域名下任意路径发起访问请求时,一律触发观察处置,即放行请求同时进行记录。

    以上内容是否对您有帮助?
  • Qvm free helper
    Close