Scrapyd 部署成功 怎么运行爬虫虫后爬虫 只进行pending就消失了是什么原因


吾爱破解所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途否则,一切后果请用户自負本站信息来自网络,版权争议与本站无关您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容如果您喜欢该程序,请支持正版软件购买注册,得到更好的正版服务如有侵权请邮件与我们联系处理。

 部署步骤3步 + 1个关于项目的增删改查的api调用

简书著作权归作者所有任何形式的转载都请联系作者获得授权并注明出处。

3、终端输入命令(命令太长没事copy一下)

4、scrapyd部署爬蟲项目之后的远程操作增删改查(API调用)

在终端 或 Xshell中输入 scrapyd 进行验证是否成功,如下图片显示则表示成功

'job'是上传过的爬虫项目

'log'是运行日志窗口,

其中‘job’ 可以看到爬虫运行情况,如下图

1、去Ubuntu里面找到项目文件夹下的scrapy.cfg 文件进行修改

2、找到该项目目录下的cfg文件vim scrapy.cfg 进入配置文件:

(表示把爬虫发布到名为100的爬虫服务器上,一般在需要同时发布爬虫到多个目标服务器时使用)

(就是把整行的注释符号#去掉OK了url是scrapyd服務器的网址)

按esc输入命令‘’:wq‘’ 保存退出 vim

三、发布爬虫: 

project:自行定义名称,跟爬虫的工程名字无关

version:自定义版本号不写的话默认为當前时间戳

(爬虫项目的远程控制查询,开启删除)

共有GET和POST两种请求,都是通过http协议进行的:

4、启动一个爬虫项目 (post请求)

5、取消、删除 (post请求)

如果指定任务处于运行状态则会被终止, 如果处于待处理状态则被删除(cancel.json)

6、获取指定项目的待处理, 正在运行和已完成的任务列表listjobs.json(GET請求) 

7、删除项目及其所有在服务器上的版本delproject.json(POST请求)

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理服務发现,断路器智...

  • 之前写了一篇网络字体反爬之pyspider爬取起点中文小说可能有人看了感觉讲的太模糊了,基本上就是一笔带过一点也...

  • 豆豆苐一次醒来的时候,四周一片混沌不是漆黑一片,而是真正的混沌仿佛一切都不存在,甚至不知道自己醒了无我无他。...

我要回帖

更多关于 怎么运行爬虫 的文章

 

随机推荐