神箭手全面支持设置Robots协议

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(The Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

神箭手作为国内领先的爬虫开发平台,已全面支持Robots协议。神箭手希望营造一个更加和谐的网络环境,减少恶意爬虫的泛滥。

发布于
  • 256 人浏览
    分类

    神箭手支持私有云部署了,快来试试

    神箭手私有云系统上线啦~

    基于docker,只需执行两行命令就可以私有化部署一套神箭手系统。

    Webhook、RESTful API、GraphQL、数据导出和发布等功能都与公有云保持一致,还不快来试试嘛~

    发布于
  • 326 人浏览
    分类

    一大波API上架神箭云市场,接好啦~

    神箭云市场近期上架大量全面的API接口,涵盖生活服务、金融征信、娱乐休闲等不同领域。并且将会持续添加更多丰富的API接口,开发者还可以通过神箭手的SDK统一快速地进行API调用。

    戳我查看有哪些API吧

    其中包括了很多开发者常用的API,包括天气预报、历史上的今天、解梦、汇率查询、自然语言处理等接口,都是免费提供的,开发者可以免费调用。

    神箭云开放平台上线!开发者可出售应用赚取收入

    神箭手一直致力于创建开放共赢的大数据+AI产业生态。2018新年伊始,全新的神箭云开放平台首度上线。开发者可以将在神箭手上开发的爬虫、API、机器学习等大数据应用一键出售到神箭云市场,赚取收入~

    目前支持出售的应用包括爬虫和API接口。开发者打开在神箭手上开发的应用,点击“出售”,填写一些基本的信息,便可以快速上架到市场。用户购买开发者出售的应用后,8成的收入会立即充值到神箭手账户收入内,每月可以进行提现~

    tim%e6%88%aa%e5%9b%be20180312174058

    不会用rest接口?神箭手SDK来了

    很多小伙伴给我们反馈说,神箭手功能很强大,接口也开放了很多。不过写程序对接restful接口的时候,总是会遇到这样那样的问题,调试起来也不太方便,有什么更好的办法吗?

    为了方便大家更方便的集成神箭手线上爬虫,清洗的功能,神箭手推出了官方的集成调用的SDK,目前包含Java/Php/Python三种语言,现在封装了神箭手上所有restful接口的调用,将来还将加入GraphQL和API的调用。

    SDK的安装方式分别提供了手动下载和对应的集成安装环境(Maven/Composer/pip),大家根据自己熟悉的语言,选择合适的SDK即可。

    数据发布新增支持Tipask系统

    神箭手上的数据(包括从市场购买的数据、爬虫爬取的数据、本地上传或连接远程数据库的数据、数据清洗输出的数据、机器学习的训练数据等)都可以通过数据发布功能一键发布到不同的CMS网站。这也是最受使用者欢迎的功能之一。

    今日,官方的数据发布新增支持Tipask系统,使用者可以将数据一键自动发布到自己的Tipask网站上啦!

    12