随着越来越多的网站开始用JS在客戶端浏览器动态渲染网站导致很多我们需要的数据并不能由原始的html中获取,再加上Scrapy本身并不提供JS渲染解析的功能通常对这类网站数据嘚爬取我们一般采用两种方法:
本篇文章的目的就是用来介绍如何使用Scrapy-Splash来配合Scrapy抓取动态页面这个问题
Docker安装,具体安装步骤参考
主要代码就┅句,将获取到的页面发送给本地的Splash实例去渲染解析最后将结果返回给parse函数解析