如何在神箭手上导出数据?

 

本文给大家介绍如何使用神箭手数据导出服务,适用于需要将爬取/清洗/购买的数据导出的情况,方便对数据进行分析和操作。

 

在神箭手大数据平台导出数据的示例,如下图所示:

1

 

接下来,使用神箭手云市场提供的“新浪微博爬虫”进行说明。

 

步骤1

注册并登录神箭手,打开神箭手大数据市场,找到“新浪微博爬虫”,点击“获取爬虫”按钮,稍等片刻,页面会自动跳转到爬虫总览页。

2

 

步骤2

进入爬虫总览页,点击“爬虫设置”,设置神箭手“文件云托管”、“日志”和“相关自定义设置”,设置好后点击“保存”。

3

 

步骤3  

返回爬虫总览页,点击“启动爬虫”,稍等片刻,爬虫便会采集到海量数据了。

4

 

步骤4

待数据采集完毕后,便可“导出数据”了。神箭手提供了两种数据导出方式:“网页导出”和“客户端导出”,您可根据需求选择不同的数据导出方式。

 

网页导出”,支持导出成为Excel/XLSX、Excel/CSV和Mysql/SQL三种格式的文件,但一次最多导出2000条数据点此查看详细教程。

5

客户端导出”,需要下载“神箭手客户端”,同样支持导出三种格式的文件,可一次性将数据全部导出点此查看详细教程。

6

如何使用神箭手文件云托管服务?

本文给大家演示如何使用神箭手文件云托管服务,适用于需要下载图片或其他文件的情况,解决目标网站使用防盗链的问题。目的是让大家简单了解怎样给神箭手应用设置文件云托管


成功将文件托管到神箭手的示例,如下图所示:



本文使用神箭手大数据市场提供的微信文章爬虫[按公众号或关键字]”举例说明,因为搜狗微信文章的图片使用了防盗链,要想正常访问图片,就需要使用神箭手文件云托管服务


步骤1 注册并登录神箭手,打开神箭手大数据市场,找到“微信文章爬虫[按公众号或关键字]”,点击“获取爬虫”按钮,稍等片刻,页面会自动跳转到爬虫总览页。



步骤2 在爬虫总览页,点击“爬虫设置”,在“功能设置”找到“文件云托管”服务,选择托管服务器(这里我们选择“托管到神箭手”),并选择托管文件类型(默认选择“图片 / image”),点击“保存”即可。


注意:

1. 可以将文件托管到4种服务器上:七牛、阿里云、又拍云和神箭手

2. 使用神箭手云托管服务托管到不同服务器上需配置的信息是不同的,点此查看神箭手文件云托管详细教程。


1