目前为了加速页面的加载速度,页面的很多部分都是用JS生成的而对于用scrapy js渲染爬虫来说就是一个很大的问题,因为scrapy js渲染没有JS engine所以爬取的都是静态页面,对于JS生成的动態页面都无法获得
- 利用第三方中间件来提供JS渲染服务: 等。
- 安装, 安装好后运行docker
-
1)添加splash服务器地址:
目前为了加速页面的加载速度,页面的很多部分都是用JS生成的而对于用scrapy js渲染爬虫来说就是一个很大的问题,因为scrapy js渲染没有JS engine所以爬取的都是静态页面,对于JS生成的动態页面都无法获得
1)添加splash服务器地址: