如何在神箭手上快速开发爬虫——第八课 如何爬取手机瀑布流网页数据【手机网新闻】

1、本课完整的爬虫代码可以在神箭手示例代码中查看

2、如何在神箭手上运行代码,请查看文档

3、更详细的爬虫开发教程,请查看文档  

 

大家好,我是来自神箭手的游牧老师。一段时间不见,不知道大家爬虫开发练习地怎么样了@@ 今天我继续给大家讲解新的爬虫开发知识点:如何爬取手机端网页和如何爬取下拉加载更多的这类瀑布流形式的网页数据!

对于基础知识还不熟悉的童鞋,请先从第一课开始学起啊:第一课点这里

 

以手机版的新闻网为例,首页地址是:http://m.cankaoxiaoxi.com/。打开可以发现是个典型的瀑布流形式的网页,访问到最底部的时候需要“下拉加载下一页”:

1

 

百度糯米电影信息采集爬虫开发教程

 

本文主要介绍“百度糯米电影信息采集爬虫”的开发教程,按三个不同类目爬取影片的基本信息,爬取字段包括电影ID、电影名称和上映时间等字段,文章结尾会附上完整的爬虫代码。

 

采集网站URLhttps://dianying.nuomi.com/movie/movielist

 

使用功能点:

· 自定义设置

· initCrawlafterDownloadPageonProcessContentPage 和 afterExtractPage回调函数

 

接下来,给你详细说明“百度糯米电影信息采集爬虫”的开发过程

如何在神箭手上快速开发爬虫——第六课 如何爬取分类数据【春雨医生健康资讯文章采集】

1、本课完整的爬虫代码可以在神箭手示例代码中查看
2、如何在神箭手上运行代码,请查看文档
3、更详细的爬虫开发教程,请查看文档  


大家好,我是神箭手的游牧老师~

今天继续给大家带来 如何在神箭手上快速开发爬虫 系列教程的第六课:如何爬取分类数据。

对于基础知识还不熟悉的童鞋,请先从第一课开始学起啊:第一课点这里


神箭手为了简化爬虫代码,默认是全站爬虫,会自动从入口页链接中自动发现新的链接,全站爬取。但是在爬取文章或者商品数据的时候,我们可能需要精准采集,比如只爬取某些分类的文章或者某个店铺某个关键字的商品。对于这种情况,有两种处理办法:

如何在神箭手上快速开发爬虫——第五课 如何设置自定义输入【58同城二手房采集】

  1. 本课完整的爬虫代码可以在神箭手示例代码中查看
  2. 如何在神箭手上运行代码,请查看文档
  3. 更详细的爬虫开发教程,请查看文档


大家好,我是神箭手的游牧老师~

今天继续给大家带来 如何在神箭手上快速开发爬虫 系列教程的第五课:如何设置爬虫的自定义输入。

从这一课开始,我们要进入进阶学习了,对于基础知识还不熟悉的童鞋,请先从第一课开始学起啊:第一课点这里

在交付爬虫使用的时候,我们通常需要能够让使用者按照自己的需求来爬取,比如只爬某些分类的文章或者只爬某个城市的数据等。那这种变量就不能直接在代码里写死了,而需要有一个界面可以让使用者设置,然后在代码中根据使用者设置的具体值来爬取某些网页。

对于这种使用场景,神箭手提供了最简单灵活的解决方案:自定义输入。开发者只需要通过注释标注某些变量,使用的时候就可以通过神箭手的爬虫设置界面输入变量值,然后在代码中根据具体值来处理了。so easy~

爬虫与诡异的字体-反爬与反反爬的奇技淫巧

本来吧,这节课准备写我自己期待很久的Javascript对抗的,但是发现上节课讲了偏技术的Cookie感觉反响一般,所以还是准备再插几节闲聊猎奇型的反爬技巧,再到最终的Javascript吧,放最后一篇文章写,不然我害怕写完那篇,就写不动了。

好了,同样前几篇文章链接:

爬虫被封IP了怎么办-反爬与反反爬的奇技淫巧

爬虫中的验证码识别-反爬与反反爬的奇技淫巧

爬虫中Cookie的伪造(非登录)-反爬与反反爬的奇技淫巧