部署步骤3步 + 1个关于项目的增删改查的api调用
简书著作权归作者所有任何形式的转载都请联系作者获得授权并注明出处。
3、终端输入命令(命令太长没事copy一下)
4、scrapyd部署爬蟲项目之后的远程操作增删改查(API调用)
在终端 或 Xshell中输入 scrapyd 进行验证是否成功,如下图片显示则表示成功
'job'是上传过的爬虫项目
'log'是运行日志窗口,
其中‘job’ 可以看到爬虫运行情况,如下图
1、去Ubuntu里面找到项目文件夹下的scrapy.cfg 文件进行修改
2、找到该项目目录下的cfg文件vim scrapy.cfg 进入配置文件:
(表示把爬虫发布到名为100的爬虫服务器上,一般在需要同时发布爬虫到多个目标服务器时使用)
(就是把整行的注释符号#去掉OK了url是scrapyd服務器的网址)
按esc输入命令‘’:wq‘’ 保存退出 vim
三、发布爬虫:
project:自行定义名称,跟爬虫的工程名字无关
version:自定义版本号不写的话默认为當前时间戳
(爬虫项目的远程控制查询,开启删除)
共有GET和POST两种请求,都是通过http协议进行的:
4、启动一个爬虫项目 (post请求)
5、取消、删除 (post请求)
如果指定任务处于运行状态则会被终止, 如果处于待处理状态则被删除(cancel.json)
6、获取指定项目的待处理, 正在运行和已完成的任务列表listjobs.json(GET請求)
7、删除项目及其所有在服务器上的版本delproject.json(POST请求)