神箭手全面支持设置Robots协议

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(The Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

神箭手作为国内领先的爬虫开发平台,已全面支持Robots协议。神箭手希望营造一个更加和谐的网络环境,减少恶意爬虫的泛滥。

开发或者使用爬虫过程中,打开爬虫设置,就可以看到Robots协议的选项:

qq20180731-2340212x

 

 

发布于
  • 670 人浏览
    分类
    分享至微信朋友圈 ×
    打开微信,点击底部的“发现”,
    使用“扫一扫”即可将网页分享至朋友圈。