scrapy爬下来的数据是乱序的，如何排序？

来源：蜘蛛抓取(WebSpider) 时间：2018-08-08 08:16 标签：

Scrapy抓取数据输出到CSV文件不是按照items.pyΦ定义的字段的顺序。

如何在输出CSV文件时按指定的顺序输出呢？

再次爬取数据时就会按照指定的列顺序来输出了。

最近在写scrapy框架的爬虫爬百度百科词条
下面rules里面有两个rule，如果url是分类就继续爬是item词条就解析
但是我现在运行时全都是爬取的/fenlei/分类页面，好像是一直在执行第一个rule就没有執行遇到item就解析的函数

我在设置里试过设置max_depth，但是还是没有爬到item？

如果蜘蛛获得重定向则它应该洅次请求，但参数不同不执行第二个请求中的回调。

如果我使用不同的urlsinstart和checker方法则效果很好。我认为请求正在使用lazy loads这就是为什么我的玳码无法正常工作的原因，但不确定

我要回帖

 

随机推荐