奔走相告,神箭手支持Scrapy在线运行啦!

神箭手作为国内提供专业的云端爬虫服务的平台,目前已经支持了爬虫,API,清洗,Tensorflow应用的云端开发和运行,并提供了大量的周边服务包括海量IP,文件云托管,Webhooks,数据库对接等等,然而Scrapy框架,这位爬虫界皇冠上的明珠,却一直与神箭手无缘。现在,这终于成为历史。大家从此以后不仅仅可以在神箭手提供的云端IDE中直接开发的Scrapy,还可以非常轻松的将已经写好的Scrapy爬虫移植到神箭手平台,一键对接神箭手提供的IP,云托管等众多周边服务。并且可以直接使用定时功能来调度哦,还可以一键分布式运行。当Scrapy加上神箭手,一定令大家的工作效率飙升。那么我们一起来看看如何使用神箭手上的Scrapy吧:

首先当然是创建应用,点击创建应用后,就可以看到Scrapy应用啦,直接选择这把小铲子,然后起个漂亮的名字,点击创建既可:

qq20181229-1510232x

到神箭手看看什么才是真正的获取数据API

大家肯定遇到过这样的情况,爬虫爬到了很多数据,可是数据在云端,但是又不想直接导出全部数据,只希望根据自己的需要获取数据。不少其他爬虫软件都提供了通过api获取数据的功能,很多朋友问我,神箭手有没有这样的功能呢?每当这个时候,我都会微微一笑,神箭手作为对用户体验追求极致的平台,怎么会连如此基础的功能都没有呢?我们不仅有,还免费,而且强大到不敢想象。今天就给大家介绍下神箭手上这个牛逼闪闪的功能-graphql。

qq20181229-1453422x

最初我们在设计这个请求API的时候就注意到,由于请求的条件千变万化,一个简单的按条件查询数据显然是不满足需求的,但是如果设计的机制过于复杂,又可能带来接口不统一或者非常不好理解的情况。这个时候我们注意到了GraphQL,这个是由Facebook主导开源的一个网络请求协议,简单来说就是支持通过http形式对数据库进行SQL查询,那么这个正是我们想要的,并且既然是大厂的作品,从规范性和兼容性角度都有着不少的优势。下面我们一起来怎么用GraphQL请求神箭手上托管的数据:

如何修改数据发布状态,重新发布数据?

本文主要介绍在神箭手云平台上修改数据发布状态,重新发布数据的方法。

 

当你在神箭手上将数据发布到CMS网站、数据库、微信公众平台或邮箱后,由于种种原因,希望再重新发布一次数据时,该怎么办呢?莫慌,神箭手已经上线了重新发布数据的功能,你只需修改数据发布状态即可。

如何快速查看神箭手应用ID,如爬虫、API和数据清洗等?

本文主要介绍在神箭手云平台上快速查看应用ID的方法。

 

神箭手应用ID是神箭手应用(包括爬虫、API接口、数据清洗、机器学习等应用)的唯一标识,你在咨询客服或反馈工单时,都会遇到需要告知神箭手工作人员应用ID的情况哦~~

如何在神箭手上申请开增值税普通发票呢?

本文主要介绍在神箭手云平台上申请开具增值税普通发票的方法

 

不论刚接触神箭手的用户、还是老用户很多都不太清楚如何在神箭手上申请开增值税普通发票的方法,其实很容易,准备好材料,在线申请即可。

怎样在神箭手云上模糊查找爬虫采集的数据?

本文主要介绍在神箭手云平台上模糊查找爬虫采集的数据的方法。

 

模糊查找是相对于精准查找来说的,神箭手爬虫的关键字模糊查找功能非常实用,可以帮助你快速查找某个字段中符合的关键字数据,一起来看看如何操作吧:

如何在神箭手云上精确搜索和查找爬虫数据?

本文主要介绍在神箭手云平台上精确搜索和查找爬虫数据的方法。

 

如果你想在数十万神箭手爬虫或数据源数据中精确查找某些数据,该如何操作呢?直接检索是不行的,因为速度很慢,那就没有办法了吗?当然有,一起来看看如何操作吧:

12