如何填写 通用电商商品信息采集爬虫 的设置项

通用电商商品信息采集爬虫获取地址:http://www.shenjian.io/index.php?r=market/product&product_id=501130

该爬虫的功能很强大可以自动识别主流电商的 搜索页、商品单页、店铺首页等链接。

以天猫国际为例,如果想要采集 女装 搜索出来的商品,就在爬虫的设置,填写:https://list.tmall.hk/search_product.htm?q=%C5%AE%D7%B0&spm=a2231.7718719.a2227oh.d100&type=p&from=..pc_1_searchbutton

 

tim%e6%88%aa%e5%9b%be20190118182246

上面的那个链接是如何获取到的呢?请往下看:

第一步:在浏览器里访问天猫国际首页

 

tim%e6%88%aa%e5%9b%be20190117124657

 

第二步:搜索女装,并获取浏览器地址栏里的搜索链接(https://list.tmall.hk/search_product.htm?q=%C5%AE%D7%B0&spm=a2231.7718719.a2227oh.d100&type=p&from=..pc_1_searchbutton):

 

tim%e6%88%aa%e5%9b%be20190117125114

 

第三步:打开 通用电商商品信息采集,并且在应用设置页面把获取到的搜索链接设置进去:

 

tim%e6%88%aa%e5%9b%be20190117164607

 

分享至微信朋友圈 ×
打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。