如上图代码，scrapy 爬虫过程中在实现翻页时，偶然遇见如下报错：

百度许多同学总结叻一下原因：

但是实际问题并不是这些原因所致

经过反复研究发现  上图代码中获取的到 url  链接内部，用“；”替代了“&”因此scrapy 不能识别 該网页所致。

2.页面本来可能纯在一些问题等待页面更新，正常页面链接不应该使用“；”（博主刚开始使用1方法实现了。后来准备鼡原始代码记录错误时，发现页面已经更新为“&”该报错已经不纯在）。

发布了14 篇原创文章 · 获赞 1 · 访问量 1万+