来源：蜘蛛抓取(WebSpider)
时间：2016-04-19 02:41
标签：
hadoop2.7.4 伪分布式
-------------
新增文件夹...
新增文件夹
(多个标签用逗号分隔)
基于单机的Hadoop伪分布式运行模拟实现即其分析过程.pdf
在单机来模拟 Hadoop 基于分布式运行，最终通过在本机创建多个线程来模
拟。主要就是实现运行 Hadoop 自带的 WordCount 这个例子，具体实现过程将在
下面详细叙述。这种模式也是在一台单机上运行，但用不同的 Java 进程模仿分
布式运行中的各类结点 ( NameNode, DataNode, JobTracker, TaskTracker,
Secondary Name
在单机来模拟 Hadoop 基于分布式运行，最终通过在本机创建多个线程来模
拟。主要就是实现运行 Hadoop 自带的 WordCount 这个例子，具体实现过程将在
下面详细叙述。这种模式也是在一台单机上运行，但用不同的 Java 进程模仿分
布式运行中的各类结点 ( NameNode, DataNode, JobTracker, TaskTracker,
Secondary NameNode )，请注意分布式运行中的这几个结点的区别：
从分布式存储的角度来说，集群中的结点由一个 NameNode 和若干个
DataNode 组成, 另有一个 Secondary NameNode 作为 NameNode 的备份。从分
布式应用的角度来说， 集群中的结点由一个 JobTracker 和若干个 TaskTracker
组成，JobTracker 负责任务的调度，TaskTracker 负责并行执行任务。
TaskTracker 必须运行在 DataNode 上，这样便于数据的本地计算。JobTracker
和 NameNode 则无须在同一台机器上。
加载中...!如果长时间没有加载，请刷新页面
下载本文档需要登录，并付出相应积分（）。
文件大小:1.50 MB
所需积分:& 20
相关资讯 —
相关讨论话题 —
浏览：0次&& 下载：2次
上传时间： 22:52:15
同类热门文档
0次浏览 &110次下载
23896次浏览 &58次下载
27243次浏览 &39次下载
0次浏览 &31次下载
0次浏览 &24次下载
0次浏览 &19次下载
相关经验 -
& 9人评&5页
& 2人评&7页
& 1人评&24页
& 0人评&4页
& 1人评&19页
OPEN-OPEN, all rights reserved.Ubuntu15.10下安装Hadoop2.6.；（制作者：南阳理工学院--李留威）；一、实验环境说明；1.环境登录；无需密码自动登录，系统用户名llw，密码llw；2.环境介绍；本实验环境采用带桌面的UbuntuLinux环境；3.参考文档；本实验参考下列文档内容制作：；http://hadoop.apache.org；?blog
Ubuntu15.10下安装Hadoop2.6.0 （单机模式） （制作者：南阳理工学院--李留威） 一、实验环境说明 1. 环境登录 无需密码自动登录，系统用户名llw，密码llw 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境，实验中会用到桌面上的程序： 3. 参考文档 本实验参考下列文档内容制作： http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html ? /kinglau/p/3794433.html ? 二、Hadoop启动模式 Hadoop集群有三种启动模式： 单机模式：默认情况下运行为一个单独机器上的独立Java进程，主要用于调试环境 ? 伪分布模式：在单个机器上模拟成分布式多节点环境，每一个Hadoop守护进程都作为一个独立的Java进程运行 ? 完全分布式模式：真实的生产环境，搭建在完全分布式的集群环境 ? 三、用户及用户组 需要先添加用来运行Hadoop进程的用户组hadoop及用户hadoop。 1. 添加用户及用户组 创建用户hadoop $ sudo adduser hadoop 并按照提示输入hadoop用户的密码。 2. 添加sudo权限 将hadoop用户添加进sudo用户组 $ sudo usermod -G sudo hadoop 四、安装及配置依赖的软件包 1. 安装openssh-server、java、rsync等 $ sudo apt-get update $ sudo apt-get install openssh-server rsync $ sudo service ssh restart $ sudo apt-get install openjdk-7-jdk $ java -version 2. 配置ssh免密码登录 切换到hadoop用户，需要输入添加hadoop用户时配置的密码。后续步骤都将在hadoop用户的环境中执行。 $ su -l hadoop 配置ssh环境免密码登录。 $ ssh-keygen -t rsa -P \在/home/hadoop/.ssh目录下生成了id_rsa（私钥）和id_rsa.pub（公钥）两个文件,将公钥追加到authorized_keys中，该文件保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。 $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 验证登录本机是否还需要密码，配置正确的话是可以不需密码登录的。 $ ssh localhost 五、下载并安装Hadoop 在hadoop用户登录的环境中进行下列操作： 1. 下载Hadoop 2.6.0 $ wget http://labfile./hadoop-2.6.0.tar.gz 2. 解压并安装 $ tar zxvf hadoop-2.6.0.tar.gz $ sudo mv hadoop-2.6.0 /usr/local/hadoop $ sudo chmod 774 /usr/local/hadoop 3. 配置Hadoop $ vim /home/hadoop/.bashrc 在/home/hadoop/.bashrc文件末尾添加下列内容： #HADOOP START export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS=\#HADOOP END 保存退出后，激活新加的环境变量 $ source ~/.bashrc 至此，Hadoop单机模式安装完成，可以通过下述步骤的测试来验证安装是否成功。 六、测试验证 创建输入的数据，暂时采用/etc/protocols文件作为测试 $ cd /usr/local/hadoop $ sudo mkdir input $ sudo cp /etc/protocols ./input 执行Hadoop WordCount应用（词频统计） $ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output 查看生成的单词统计数据 $ cat output/*
Ubuntu14.04下安装Hadoop2.4.0 （伪分布模式） 一、实验环境说明 ? 注意：本实验需要按照上一节单机模式部署后继续进行操作 1. 环境登录 无需密码自动登录，系统用户名 llw，密码 llw 2. 环境介绍 本实验环境采用带桌面的 Ubuntu Linux 环境，实验中会用到桌面上的程序： 3. 参考文档 本实验参考下列文档内容制作： /kinglau/p/3796164.html ? /Linux/80p2.html ? 注意：本实验需要按照上一节单机模式部署后继续进行操作，因此您必须先完成上一节实验。 1. 相关配置文件修改 1).修改core-site.xml: $ sudo gvim /usr/local/hadoop/etc/hadoop/core-site.xml <?xml version=\<?xml-stylesheet type=\
fs.default.name hdfs://localhost:9000
hadoop.tmp.dir /home/hadoop/tmp
常用配置项说明： fs.default.name这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集 群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程 序通过这个URI跟DataNode交互，以取得文件的块列表。 ? hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在/tmp/hadoop-${user.name}这个路径中 ? 更多说明请参考core-default.xml，包含配置文件所有配置项的说明和默认值。 2).修改hdfs-site.xml: $ sudo gvim /usr/local/hadoop/etc/hadoop/hdfs-site.xml <?xml version=\<?xml-stylesheet type=\三亿文库包含各类专业文献、生活休闲娱乐、幼儿教育、小学教育、中学教育、外语学习资料、各类资格考试、90Ubuntu15.10下安装Hadoop2.6.0 (单机模式&伪分布式)等内容。
Hadoop 单机及集群配置上机 实验学时 2 指导教师 ...安装 Ubuntu14.04 使用 VMware Workstation 安装虚拟...7、伪分布式配置 (1)在 hadoop 文件夹下创建文件... 暂无评价|0人阅读|0次下载|举报文档ubuntu14.04下Hadoop2.7.2安装_计算机软件及应用_IT/计算机_专业资料。该文档介绍了Hadoop两种模式单机和伪分布式的安装方法。Ha... ubuntu hadoop单机模式安... 10页 4下载券 win7下安装和配置Hadoop... 暂无...6页 1下载券 ubuntu上hadoop和hbase伪... 5页 2下载券 hadoop伪分布式安装 ... Ubuntu14.04 下安装 Hadoop2.4.0 (单机模式)一、在 Ubuntu 下创建 hadoop 组和 hadoop 用户增加 hadoop 用户组,同时在该组里增加 hadoop 用户,后续在涉及到 ... Hadoop2.6.0 都能顺利在 CentOS 中安装并运行 ...如果用的是 Ubuntu 系统,请查看相应的 Ubuntu 安装...伪分布式实例上面的单机模式,grep 例子读取的是本地... Hadoop 集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看 Hadoop 安装教程... .tar.gz 解压完成在 oracle 用户的根目录下有一个 hadoop-2.6.0 目录 2....伪分布式模式安装hadoop... 2页 免费
hadoop2.2.0单机伪分布式... 16页 ... Ubuntu14.04安装配置Hadoop2.6.0集群_计算机软件及应用_IT/计算机_专业资料。ubuntu14.04下部署hadoop2.6.x集群 Ubuntu14.04 安装配置 Hadoop2.6.0(完全分布式...Mac 安装Hadoop教程-单机-伪分布式配置 | Nekoの喵窝
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算.本教程将指导如何用苹果Mac系统安装Hadoop。
安装homebrew习惯使用Ubuntu的同学，一定很喜欢Ubuntu系统apt-get的软件安装方式。Mac上也有类似这样的包管理器，利用Homebrew即可。安装Homebrew的方法：/usr/bin/ruby -e &$(curl -fsSL /Homebrew/install/master/install)&
需要注意的是：Homebrew安装的软件都集中在/usr/local/Cellar里面想了解更多有关Homebrew的知识，访问
ssh登录本地ssh-keygen -t rsa -P ""cat $HOME/.ssh/id_rsa.pub && $HOME/.ssh/authorized_keys
这样就可以生成ssh公钥，接下来进行测试登录本地是否成功
ssh localhost
登录成功显示结果如下：
Last login: Mon Feb 29 18:29:55 2016 from ::1
安装Hadoop输入以下代码，自动安装hadoop
brew install hadoop
安装过程会提示重要的信息，如下：
$JAVA_HOME has been set to be the output of:
/usr/libexec/java_home
在Mac中，我们可以终端输入：/usr/libexec/java_home来获取JAVA_HOME的路径Hadoop的安装需要配置JAVA_HOME，用 brew安装，就已经帮我们配置好了。
测试Hadoop是否安装成功Hadoop有三种安装模式：单机模式，伪分布式模式，分布式模式分布式模式需要在多台电脑上面测试，这里只测试前面两种，即单机模式和伪分布式模式
测试单机模式这里使用Hadoop附带的示例来检验单机模式是否运行正常。通过Homebrew安装的Hadoop，附带的示例在路径/usr/local/Cellar/hadoop/2.7.1/libexec/share/hadoop/mapreduce单词计数wordcount是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版”Hello World”，单词计数主要完成功能是：统计一系列文本文件中每个单词出现的次数.
创建input目录和output目录input作为输入目录，output目录作为输出目录
cd /usr/local/Cellar/hadoop/2.7.1/mkdir inputmkdir output
在input文件夹中创建两个测试文件file1.txt和file2.txt
cd inputecho &hello world& & file1.txtecho &hello hadoop& & file2.txt
运行示例检测单机模式
hadoop jar ./libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount ./input ./output
查看结果more output/part-r-00000
显示结果如下：
测试伪分布式模式测试为分布模式前，需要修改相关的配置文件，把之前的单机模式修改成伪分布式模式
修改core-site.xml
文件地址：/usr/local/Cellar/hadoop/2.7.1/libexec/etc/hadoop/core-site.xml
&configuration&&/configuration&
&configuration& &property&
&name&hadoop.tmp.dir&/name&
&value&/usr/local/Cellar/hadoop/hdfs/tmp&/value&
&description&A base for other temporary directories&/description& &/property& &property&
&name&fs.defaultFS&/name&
&value&hdfs://localhost:9000&/value& &/property&&/configuration&
fs.defaultFS 保存了NameNode的位置，HDFS和MapReduce组件都需要用到它，这就是它出现在core-site.xml 文件中而不是 hdfs-site.xml文件中的原因
修改hdfs-site.xml
文件地址：/usr/local/Cellar/hadoop/2.7.1/libexec/etc/hadoop/hdfs-site.xml
&configuration&&/configuration&
&configuration& &property&
&name&dfs.replication&/name&
&value&1&/value& &/property&
&property&
&name&dfs.namenode.name.dir&/name&
&value&file:/usr/local/Cellar/hadoop/hdfs/tmp/dfs/name&/value&
&/property&
&property&
&name&dfs.datanode.data.dir&/name&
&value&file:/usr/local/Cellar/hadoop/hdfs/tmp/dfs/data&/value&
&/property&&/configuration&
变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode，将此值修改为1。
hadoop namenode -format./sbin/start-all.sh
运行成功后，用浏览器访问：,可以查看相关的信息
用示例测试
估计圆周率PI的值
hadoop jar ./libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 2 5
运行结果如下：
Estimated value of Pi is 3.
wordcount统计数据
把原来用于单机模式的测试input文件上传到hdfs中
hadoop fs -put ./input input
运行wordcount
hadoop jar ./libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount input output
查看output的结果文件
hadoop fs -tail output/part-r-00000
得到的结果是：
关闭伪分布式
./sbin/stop-all.shHadoop三种安装模式：单机模式，伪分布式，真正分布式
一 单机模式standalone
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
二 伪分布模式安装
tar xzvf hadoop-0.20.2.tar.gz
Hadoop的配置文件：
conf/hadoop-env.sh &配置JAVA_HOME
core-site.xml &配置HDFS节点名称和地址
hdfs-site.xml &配置HDFS存储目录，复制数量
mapred-site.xml & &配置mapreduce的jobtracker地址
配置ssh，生成密匙，使到ssh可以免密码连接
(RSA算法，基于因数不对称加密：公钥加密私钥才能解密，私钥加密公钥才能解密)
ssh -keygen -t rsa
cp id_rsa.pub authorized_keys覆盖公钥，就能免密码连接
启动Hadoop bin/start-all.sh
停止Hadoop bin/stop-all.sh
二 完全分布式模式
1. 配置etc/hosts文件,使主机名解析为IP &或者使用DNS服务解析主机名
2. 建立hadoop运行用户: useradd grid&passwd grid
3. 配置ssh密码连入: 每个节点用grid登录，进入主工作目录，ssh -keygen -t rsa生产公钥，然后将每个节点的公钥复制到同一个文件中，再将这个包含所有节点公钥的文件复制到每个节点authorized_keys目录，这个每个节点之间彼此可以免密码连接
4. 下载并解压hadoop安装包
5. 配置namenode，修改site文件
6. 配置hadoop-env.sh
7. 配置masters和slaves文件
8. 向各个节点复制hadoop
9. 格式化namenode
10.启动hadoop
11.用jps检验各后台进程是否成功启动
vim /etc/hosts
vim /etc/sysconfig/network
vim /etc/sysconfig/network-scripts/ifcfg-eth0&
service network restart&
service NetworkManager stop
chkconfig NetworkManager off
service iptables stop
chkconfig iptables off
service ip6tables stop&
chkconfig ip6tables off
vim /etc/sysconfig/selinux
enforce--&disabled
setenforce 0
getenforce&
useradd hadoop
passwd hadoop &&
secureCRT生产公钥，将公钥拷贝到/home/hadoop/.ssh下：
chmod 700 .ssh
ssh-keygen -i -f PubKey_Master_Hadoop.pub && authorized_key
chmod 600 authorized_keys
vim /etc/ssh/sshd-config
RSAAuthentication yes # 启用
PubkeyAuthentication yes #
启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys
# 公钥文件路径（和上面生成的文件同）
PasswordAuthentication no #
禁止密码验证登陆（根据需要，不过一般启用了密钥，就不用密码了）
service sshd restart
secureCRT使用PublicKey（PubKey_Master_Hadoop.pub）连接测试
Master 使用ssh公钥连接Slave：
挂载光盘，创建yum源：
vim /etc/fstab
vim /etc/yum.repos.d/rhel-source.repo
yum -y install ssh
yum -y install rsync
Master host:
mkdir .ssh
ssh-keygen –t rsa –P ''
cat id_rsa.pub && authorized_keys
chmod 700 .ssh
chmod 600 authorized_keys
ssh localhost
scp id_rsa.pub hadoop@192.168.175.12:~/,ssh
ssh 192.168.175.12
Slave host:
mkdir .ssh
cat id_rsa.pub && authorized_keys
chmod 700 .ssh
chmod 600 authorized_keys
vim /etc/ssh/sshd-config
service sshd restart
安装java：拷贝到/usr/hava
chmod +x jdk-6u37-linux-x64.bin
vim /etc/profile 添加JAVA_HOME
source /etc profile
=================================
安装hadoop-1.2.0：拷贝到/usr/hadoop-1.2.0，所以者和组修改为hadoop&
vim /etc/profile:&
export JAVA_HOME=/usr/java/jdk1.6.0_37
export HADOOP_HOME=/usr/hadoop-1.2.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
配置hadoop-env.sh:
目录：/usr/hadoop/conf
#export HADOOP_ROOT_LOGGER=DEBUG,console
export JAVA_HOME=/usr/java/jdk1.6.0_37
export HADOOP_HOME_WARN_SUPPRESS=1
配置core-site.xml文件：
& & & & &&property&
& & & & & & & & &name&hadoop.tmp.dir&/name&
& & & & & & & & &value&/usr/hadoop-1.2.0/tmp&/value&
& & & & & & & & &description&A base for other temporary directories.&/description&
& & & & &/property&
&!-- file system properties --&
& & & & &property&
& & & & & & & & &name&fs.default.name&/name&
& & & & & & & & &value&hdfs://192.168.175.11:9000&/value&
& & & & &/property&
配置hdfs-site.xml文件：
& & & & &&property&
& & & & & & & & &name&dfs.replication&/name&
& & & & & & & & &value&1&/value&
& & & & &/property&
& & & & &property& & & & & & & & &&
& & & & & & & & &name&dfs.datanode.max.xcievers&/name& & //同时处理文件上限，hbase并发比较大，至少要4096
& & & & & & & & &value&4096&/value&
& & & & &/property&
& & & & &property&
& & & & & & & & &name&dfs.support.append&/name& & &//如不指定，在使用HDFS存储的时候，HBase可能会遗失数据
& & & & & & & & &value&true&/value&
& & & & &/property&
配置mapred-site.xml文件：
& & & & &property&
& & & & & & & & &name&mapred.job.tracker&/name&
& & & & & & & & &value&http://192.168.175.11:9001&/value&
& & & & &/property&
配置masters文件：
master.hadoop或者192.168.175.11
配置slave文件：
slave1.hadoop或者192.168.175.12
slave2.hadoop或者192.168.175.13
slave3.hadoop或者192.168.175.14
=================================
安装hadoop-2.0.5：拷贝到/usr
tar -zxvf hadoop-2.0.5-alpha.tar.gz
mv hadoop-2.0.5-alpha /usr/hadoop
chown -R hadoop:hadoop hadoop
vim /etc/profile:
# set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME:$HADOOP_HOME/bin
source /etc/profile
配置hadoop-env.sh:
目录：/usr/hadoop/etc/hadoop
在末尾添加：export JAVA_HOME=/usr/java/jdk1.6.0_37
配置yarn-env.sh和 .bash_profile：
export HADOOP_PREFIX=/usr/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin
export PATH=$PATH:$HADOOP_PREFIX/sbin
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
export HADOOP_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop
配置core-site.xml文件：
&configuration&
&property&
&name&hadoop.tmp.dir&/name&
&value&/usr/hadoop/tmp&/value&
& & & &（备注：请先在 /usr/hadoop 目录下建立 tmp 文件夹）
&description&A base for other
temporary directories.&/description&
&/property&
&!-- file system properties
&property&
&name&fs.default.name&/name&
&value&hdfs://192.168.175.11:9000&/value&
&/property&
&/configuration&
配置hdfs-site.xml文件：修改Hadoop中HDFS的配置，配置的备份方式默认为3。
&configuration&
&property&
&name&dfs.replication&/name&
&value&1&/value& & & & &(备注：replication
是数据副本数量，默认为3，salve少于3台就会报错)
&/property&
& & & & &property&
& & & & & & & & &name&dfs.namenode.name.dir&/name&
& & & & & & & & &value&file:/home/hadoop/dfs/name&/value&&
& & & & & & & & &final&true&/final&
& & & & &/property&&
& & & & &property&
& & & & & & & & &name&dfs.datanode.data.dir&/name&
& & & & & & & & &value&file:/home/hadoop/dfs/data&/value&&
& & & & & & & & &final&true&/final&
& & & & &/property&
&configuration&
配置mapred-site.xml文件：修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。
&configuration&
&property&
&name&mapred.job.tracker&/name&
&value&hdfs://192.168.175.11:9001&/value&
&/property&
&property&
& & & & & & & & &name&mapreduce.framework.name&/name&
& & & & & & & & &value&yarn&/value&
& & & & &/property&
& & & & &property&
& & & & & & & & &name&mapred.system.dir&/name&
& & & & & & & & &value&file:/home/hadoop/mapred/system&/value&
& & & & & & & & &final&true&/final&
& & & & &/property&
& & & & &property&
& & & & & & & & &name&mapred.local.dir&/name&
& & & & & & & & &value&file:/home/hadoop/mapred/local&/value&
& & & & & & & & &final&true&/final&
& & & & &/property&
& & & & &property&
& & & & & & & & &name&mapred.job.tracker&/name&
& & & & & & & & &value&hdfs://192.168.175.11:9001&/value&
& & & & &/property&
&/configuration&
配置yarn-site.xml：
&configuration&&
& & & & &property&
& & & & & & & & &name&yarn.resourcemanager.address&/name&
& & & & & & & & &value&192.168.175.11:8080&/value&
& & & & &/property&
& & & & &property&
& & & & & & & & &name&yarn.resourcemanager.scheduler.address&/name&
& & & & & & & & &value&192.168.175.11:8081&/value&
& & & & &/property&
& & & & &property&
& & & & & & & & &name&yarn.resourcemanager.resource-tracker.address&/name&
& & & & & & & & &value&192.168.175.11:8082&/value&
& & & & &/property&
& & & & &property&
& & & & & & & & &name&yarn.nodemanager.aux-services&/name&
& & & & & & & & &value&mapreduce.shuffle&/value&
& & & & &/property&
& & & & &property&
& & & & & & & & &name&yarn.nodemanager.aux-services.mapreduce.shuffle.class&/name&
& & & & & & & & &value&org.apache.hadoop.mapred.ShuffleHandler&/value&
& & & & &/property&&
&/configuration&
配置masters文件：
master.hadoop或者192.168.175.11
配置slave文件：
slave1.hadoop或者192.168.175.12
slave2.hadoop或者192.168.175.13
slave3.hadoop或者192.168.175.14
mkdir -p /usr/hadoop/tmp
mkdir -p /home/hadoop/dfs/data
mkdir -p /home/hadoop/dfs/name
mkdir -p /home/hadoop/mapred/system
mkdir -p /home/hadoop/mapred/local
格式化HDFS文件系统：使用hadoop用户，只需格式一次：hadoop namenode -format
开始守护进程
# hadoop-daemon.sh start namenode
# hadoop-daemon.sh start datanode
可以同时启动：start-dfs.sh
开始 Yarn 守护进程
# yarn-daemon.sh start resourcemanager
# yarn-daemon.sh start nodemanager
或同时启动：start-yarn.sh
检查守护进程是否启动
将hadoop日志级别改为debug，并且在控制台输出：export HADOOP_ROOT_LOGGER=DEBUG,console
本文已收录于以下专栏：
相关文章推荐
单机(非分布式)模式
这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。
伪分布式运行模式
这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各...
http://blog.csdn.net/pipisorry/article/details/
本文内容：使用docker配置hadoop单机伪分布式开发环境
本教程配置环境：
目的本人是一只hadoop新手，本篇文章主要是个人学习hadoop的学习笔记，内容是搭建单机模式下hadoop2.7.3开发环境。搭建环境及所需软件VMWare 12（64位），ubuntu-16.0...
最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。
首先要了解一下Hadoop的运行模式：
单机模式（standalone）
单机模式是Hadoop的默认模式。...
前提：熟悉Linux系统操作，掌握基本的Linux命令
注意：安装路径中不能有任何中文字符和空格！
我安装的是ubuntu14，用户名是ubuntu，机器名是ubuntu，hadoop的版本是hado...
要搭建Hadoop HA集群请戳这
今天终于把老师布置的项目做完了，闲来无事在机房的电脑上装了Ubuntu（用EasyBCD步骤非常简单，请自行百度），上学期在虚拟机上装了Hadoop，现在可以在实...
Hadoop在处理海量数据分析方面具有独天优势。今天花了在自己的Linux上搭建了伪分布模式，期间经历很多曲折，现在将经验总结如下。
首先，了解Hadoop的三种安装模式：
1. 单机模式. 单机...
http://blog.csdn.net/pipisorry/article/details/因为lz的linux系统已经安装好了很多开发环境，可能下面的步骤有遗漏。之前是在docke...
由于个人需要在自己的笔记本上搭建hadoop伪分布环境，为了方便自己使用，如想看机器也看之前的一篇博客：hadoop2.6版本集群环境搭建...
当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上...
他的最新文章
讲师：李江龙
讲师：司徒正美
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)
