神箭手平台支持运行Scrapy爬虫啦~

Scrapy是非常流行的Python爬虫框架,它接口简单,很适合初学者学习,同时又足够灵活,可以实现非常复杂的爬取逻辑,是众多Python爬虫开发者的最爱。

神箭手作为国内领先的爬虫平台,现已添加了对Scrapy爬虫的支持,并与神箭手的资源做了深度整合,企业级私密代理、文件云托管、Webhook、自动发布、RESTful接口、数据源读取等统统都支持。

 

神箭手的Scrapy爬虫基于Scrapy 1.5.1,高度兼容原生Scrapy,不过还是有一些需要注意的点:

1. 代码中必须定义scrapy.item.Item的子类,暂不支持yield dict的方式

2. 爬取的数据会自动存储到神箭手数据库,不支持自定义Item Pipeline

3. 暂不支持自定义Middleware

 

开发者现在在后台创建应用时,已经可以选择创建Scrapy爬虫了。

qq20181203-1618332x

发布于
  • 163 人浏览
    分类
    分享至微信朋友圈 ×
    打开微信,点击底部的“发现”,
    使用“扫一扫”即可将网页分享至朋友圈。