如何动态添加Scrapy的start up

最近想学习下scrapy-splash之前用了seleium配合chrome总感觉有点慢,想要研究下scrapy-splash, 那知网上的内容很多不靠谱的综合了好多文章,终于成功了记录下,以免遗忘也做一个正确的指导。

scrapy的标准用法是在start up_urls中定义爬虫开始嘚url即直接把url写到start up_urls中 但是现在有一个需求,就是想让用户自主输入开始的url然后传到scrapy中,避免修改源码 个人也想了两个办法设置全局变量或者将输入的url写入到文件中再读取,但是非常诡异的是在具体的爬虫文件(spiders文件夹)中取全局变量也好,读文件也好获取到的内容嘟是空的,根本传不进来 所以想请教下有什么可行的方法可以动态初始化scrapy的st…

我要回帖

更多关于 start up 的文章

 

随机推荐