奔走相告,神箭手支持Scrapy在线运行啦!

神箭手作为国内提供专业的云端爬虫服务的平台,目前已经支持了爬虫,API,清洗,Tensorflow应用的云端开发和运行,并提供了大量的周边服务包括海量IP,文件云托管,Webhooks,数据库对接等等,然而Scrapy框架,这位爬虫界皇冠上的明珠,却一直与神箭手无缘。现在,这终于成为历史。大家从此以后不仅仅可以在神箭手提供的云端IDE中直接开发的Scrapy,还可以非常轻松的将已经写好的Scrapy爬虫移植到神箭手平台,一键对接神箭手提供的IP,云托管等众多周边服务。并且可以直接使用定时功能来调度哦,还可以一键分布式运行。当Scrapy加上神箭手,一定令大家的工作效率飙升。那么我们一起来看看如何使用神箭手上的Scrapy吧:

首先当然是创建应用,点击创建应用后,就可以看到Scrapy应用啦,直接选择这把小铲子,然后起个漂亮的名字,点击创建既可:

qq20181229-1510232x

接着就是将已经写好的Scrapy爬虫复制到代码编辑器中,这里要注意的是。

神箭手的Scrapy爬虫基于Scrapy 1.5.1,高度兼容原生Scrapy,不过为了更好的和神箭手平台对接还是有一个需要注意的点:代码中必须显式定义scrapy.item.Item的子类。这个是为了方便神箭手平台能更好的显示数据,格式如下:

class ArticleItem(scrapy.item.Item):
 article_title = scrapy.Field(alias='文章标题', required=True)
 article_content = scrapy.Field(alias='文章内容')
 article_publish_time = scrapy.Field(alias='文章发布时间')
 article_author = scrapy.Field(alias='文章作者')

就这么简单,如果你原来就申明了这个类,那么什么都不用改就可以直接对接如神箭手云服务中了,还等什么呢,一起来享受一下Scrapy飞翔的感觉吧!timg

 

分享至微信朋友圈 ×
打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。