如何填写 通用自媒体新闻采集爬虫 的设置项

通用自媒体新闻采集爬虫获取地址:http://www.shenjian.io/index.php?r=market/product&product_id=501240

该爬虫的功能很强大可以自动识别主流新闻咨询类网站的 文章搜索页、文章分类频道、用户首页等链接

以今日头条为例,如果想要采集 今日头条的娱乐频道,就在爬虫的设置页面中填入:https://www.toutiao.com/ch/news_entertainment/

或者想要采集 今日头条中 央视网新闻 发布的文章,就在爬虫的设置页面中填入:https://www.toutiao.com/c/user/50025817786/#mid=50044041847

上面的那个链接是如何获取到的呢?请往下看:

第一步:在浏览器里访问 今日头条首页

tim%e6%88%aa%e5%9b%be20190226171645

第二步:点击 娱乐 频道,然后获取浏览器地址栏里的链接(https://www.toutiao.com/ch/news_entertainment/)

tim%e6%88%aa%e5%9b%be20190226171857

第三步:打开 通用新闻文章采集爬虫,并且在应用设置页面把获取到的娱乐频道 链接设置进去:

tim%e6%88%aa%e5%9b%be20190226172045

另外获取 今日头条中的 央视网新闻 用户链接也是类似的,需要找到一篇  央视网新闻 发布的文章:

tim%e6%88%aa%e5%9b%be20190226172239

然后点击之后会进入要 央视网新闻 的文章页面,然后获取浏览器地址栏里的链接即可。

分享至微信朋友圈 ×
打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。