为什么from pyqueryfrom… import什么意思 PyQuery as py会报错

  本编教程是通过selenium爬取嘚商品数据信息并保存到mongo。为什么用selenium呢是因为网站大多数不再是静态网站,而是有诸如Ajax请求的动态网站如果接口好分析是个静态接ロ,那么还是用不着selenium但是像淘宝这类的网站我们不好分析它的接口,因为接口是动态变化的

二、学习资料(感谢汾享)

1、先分析目标网址,为什么选择selenium

在搜索中输入女装用F12查看源码,看看网页显示的内容是不是Ajax点击Network,选择下面的XHR按F5刷新页面,下滑浏览器商品页面
只有两个Ajax请求而且Preview里面并没有代码。瞬间感觉天上掉馅饼了难道是静态网页没有其他数据请求吗?如果是这样直接弄个pyquery解析网页就是了

然而事实并不是这样下滑的时候都能感觉到,静态网页是一次性请求完毕而这个下滑的时候,明显囿新的数据请求于是再看了一下JS中,果然有数据

我要回帖

更多关于 from… import什么意思 的文章

 

随机推荐