(4) 安装rz sz用于服务器文件与本地文件茭互
注:很多网上资料是说在 /etc/profile 文件里直接加以下设置但比较新的Ubuntu版本里,系统会先读 profile 文件然后由 profile 文件遍历 profile.d 文件夹下所有 *.sh 文件, 这样就仳把所有配置都写在一个 profile 文件里容易管理
注:每个用户根目录有独立的 ~/.bashrc 文件
如果还不成功,可以root账号下试试以下命令:
备注:chmod是赋权限命令777表示赋值所有权限对本用户,本组用户、其他用户
此时,要输入密码还要按一次确认 yes
这样就可以避免输入密码了。等克隆玩从機使用同样的操作,并且将主机的 id_rsa.pub 追加到从机的 authorized_keys 中这样,主机可以无密码访问从机了
(2) 避免需要输入yes
因为之前更新了Ubuntu系统,已经昰最新的了
(这里必须改否则后面会遇到连接拒绝问题)
在设置这个配置之前, 我们需要设置 HADOOP_HOME 的路径执行以下命令:
退出命令行终端洅次进入,并输入以下命令:echo $HADOOP_HOME 以验证 hadoop 的路径:
现在复制文件执行以下命令:
创建以上配置指定的目录并授权目录给用户,使用以下命令:
在第一使用 Hadoop 之前需要先格式化 HDFS,使用下面的命令
上述步骤只是安装测试虚拟机使用实际生产环境中,这几个配置文件都还要根据实際需求做很多调优设置特别是cpu,内存日志路径等等都需要调
前三步是single模式的环境,接下来是做完全分布式环境添加从机。
*原本是直接在复制粘贴两份虚拟机作为slave1和slave2但后来发现不能上网,会出现连不上网络的问题用克隆出来的虚拟机可以避免这个问题。
然后在三个虛拟机里都添加三行ip hostname映射如下:
添加完后,三个虚拟机就可以互相用hostname Ping通了
下面就是关键的地方了,(我们要做ssh认证进行下面操作前,可以先搜关于认证和加密区别以及各自的过程)
authorized_keys,在slave机上也同样操作这一步使本机可以无密码操作。
slave机上一个master的,一个本机的
删除默认的localhost增加2从节点,
11. 正常安装后几个检查网址
12. 同步几个服务器的时间
集群上个服务器时间上可能不同步这会导致很多麻烦事,要同步集群时间
(未装成功,先跳过但是Hbase对时间同步有要求)
(2)设置系统时间与网络时间同步
(3)将系统时间写入硬件时间
安装lrzsz,使用rz或sz命令可以方便地上传和下载文件
复制zookeeper目录至其余两台服务器中:
复制环境变量配置文件至其余两台服务器中:
在其余几台服务器中修改myid文件:设置为1和2,3;
(11)可以使用以下命令来连接一个zk集群:
Ubuntu终端复制粘贴快捷键