新浪微博爬虫使用教程:如何获取用户ID或话题ID

新浪微博爬虫获取地址:http://www.shenjian.io/index.php?r=market/product&product_id=500032

一.如何获取用户ID

第一步:比如要获取萧山网的用户id,先从微博列表中找到萧山网发的一条微博,没有的话您需要先关注该用户,然后再从发布的微博中找到发布时间,点击发布时间。

一大波API上架神箭云市场,接好啦~

神箭云市场近期上架大量全面的API接口,涵盖生活服务、金融征信、娱乐休闲等不同领域。并且将会持续添加更多丰富的API接口,开发者还可以通过神箭手的SDK统一快速地进行API调用。

戳我查看有哪些API吧

其中包括了很多开发者常用的API,包括天气预报、历史上的今天、解梦、汇率查询、自然语言处理等接口,都是免费提供的,开发者可以免费调用。

如何在神箭手上快速开发爬虫——第八课 如何爬取手机瀑布流网页数据【手机网新闻】

1、本课完整的爬虫代码可以在神箭手示例代码中查看

2、如何在神箭手上运行代码,请查看文档

3、更详细的爬虫开发教程,请查看文档  

神箭云开放平台上线!开发者可出售应用赚取收入

神箭手一直致力于创建开放共赢的大数据+AI产业生态。2018新年伊始,全新的神箭云开放平台首度上线。开发者可以将在神箭手上开发的爬虫、API、机器学习等大数据应用一键出售到神箭云市场,赚取收入~

目前支持出售的应用包括爬虫和API接口。开发者打开在神箭手上开发的应用,点击“出售”,填写一些基本的信息,便可以快速上架到市场。用户购买开发者出售的应用后,8成的收入会立即充值到神箭手账户收入内,每月可以进行提现~

tim%e6%88%aa%e5%9b%be20180312174058

不会用rest接口?神箭手SDK来了

很多小伙伴给我们反馈说,神箭手功能很强大,接口也开放了很多。不过写程序对接restful接口的时候,总是会遇到这样那样的问题,调试起来也不太方便,有什么更好的办法吗?

为了方便大家更方便的集成神箭手线上爬虫,清洗的功能,神箭手推出了官方的集成调用的SDK,目前包含Java/Php/Python三种语言,现在封装了神箭手上所有restful接口的调用,将来还将加入GraphQL和API的调用。

SDK的安装方式分别提供了手动下载和对应的集成安装环境(Maven/Composer/pip),大家根据自己熟悉的语言,选择合适的SDK即可。

数据发布新增支持Tipask系统

神箭手上的数据(包括从市场购买的数据、爬虫爬取的数据、本地上传或连接远程数据库的数据、数据清洗输出的数据、机器学习的训练数据等)都可以通过数据发布功能一键发布到不同的CMS网站。这也是最受使用者欢迎的功能之一。

今日,官方的数据发布新增支持Tipask系统,使用者可以将数据一键自动发布到自己的Tipask网站上啦!

12