求大神解惑,scrapy js渲染爬网页的时候碰到js翻页怎么办

目前为了加速页面的加载速度,页面的很多部分都是用JS生成的而对于用scrapy js渲染爬虫来说就是一个很大的问题,因为scrapy js渲染没有JS engine所以爬取的都是静态页面,对于JS生成的动態页面都无法获得

  • 利用第三方中间件来提供JS渲染服务:  等。
  1. 安装, 安装好后运行docker
  2. 1)添加splash服务器地址:

     
     
     
     
     
 

我要回帖

更多关于 scrapy js渲染 的文章

 

随机推荐