如何在windows安装部署spark部署 求大神们的告知

来源：蜘蛛抓取(WebSpider) 时间：2017-05-08 03:10 标签： spark部署

  • 由于spark部署是用Scala来写的所以spark部署對Scala肯定是原生态支持的，因此这里以Scala为主来介绍S...

  • 背景# Apache spark部署已逐渐成为下一代大数据处理工具的典范它利用内存来处理数据，因而其处理速度远超Ha...

  • 最近在学习大数据技术朋友叫我直接学习spark部署，英雄不问出处菜鸟不问对错，于是我就开始了spark部署学习 为什...

版权声明：本文为博主原创文章遵循

版权协议，转载请附上原文出处链接和本声明

例如，你安装的hadoop版本是2.7.5；那么你应当去下载hadoop-2.7.0以上版本的bin然后用下载得到的bin文件夹替换原来hadoop路径下的bin文件夹。

接下来我们对该文件夹中的配置攵件进行修改

另外我们修改了日志文件的位置，新建相应文件夹并确保hadoop用户有权限：

如果想简单起见可以把客户端按照Master、Slave01或Slave02进行配置，但这样并不有助于我们理解spark部署因为里面很多配置对于客户端来说是多余的。事实上客户端的配置相当简单。

Windows客户端和Linux客户端配置稍有不同另外Windows也不是主流的使用spark部署的场景，这里只做简单介绍目前来看Windows客户端的最大好处是可以使用Intellij Idea进行spark部署程序的开发和调试。

  • Hadoop官方提供的在Windows下的可执行文件存在问题如果不想自己编译可以下载第三方编译的bin文件到C:\Program_Files\hadoop-2.7.3\bin，这个在网上一搜一大把例如
  • 右键计算机->属性->高级系统设置->环境变量，新建以下环境变量
  • 在Master节点上添加与执行操作的Windows用户名同名的用户并加入supergroup组：

spark部署-submit提交作业有多种模式我们使用spark蔀署自带的计算圆周率的例子进行测试，假设客户端IP为99.1.14.3以下操作在客户端上进行。Windows和Linux客户端的命令是一样的

由于cluster模式完全运行在集群仩，本地无法看到结果只能通过以下方式。依次执行：

  • 跳转后拉到底Logs一列点击刚才提交的任务Logs链接 

  

  

    由于cluster模式完全运行在集群上，本地無法看到结果只能通过以下方式。依次执行：
  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 spark部署 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐