问题：中国大学MOOC: 在分布式文件系統HDFS中 负责数据的存储和读取

战后科技革命的主要领域及其特征。

已知a、b互为相反数且a≠0c、d互为倒数，m的绝对值是最小的正整数求|m|－ab＋2011（a＋b)2010－cd的值．

世界产业结构发展变化的趋势。

a的相反数是－（＋2）则a=______．

哪个名族属于海洋性民族？A、希腊B、汉族C、印度D、日本

下列哪位哲学家不属于古希腊三杰之一A、柏拉图B、欧几里得C、亚里士多德D、苏格拉底

华支睾吸虫感染人体的途径可以是A.经胎盘感染B.经皮肤感染C.經口感染D.直接接触感染E.蚊媒叮咬丝

对前列腺位置的描述，正确的是A．位于耻骨联合与膀胱之间B．位于膀胱与直肠之间C．位于膀胱与尿生殖

關于我国公民权利和义务的关系下列说法正确的是（）。

下列是特殊民事主体的是（）

人民当家做主最有效最广泛的途径是（）。

社會主义建设新时期解放思想的关键是怎样认识（）。

下列发出的声音人能听到的是（）A．医院里的B超B．旗帜在风中振动（约50Hz）C．蝴蝶飛行时拍打翅膀（约2～4Hz）D．

甲公司目前有两个独立的投资项目A和B，原始投资均在投资期内发生有关资料如下：A项目的原始投资额

根据下表回答问题。① 20 ℃时溶解度最大的物质是② 50℃时，100 g 水中最多溶解 NaCl

人能感受的声音频率有一定的范围大多数人能够听到的声音的频率范圍大约是20－20000次每秒．人们把低于20次每

根据《企业会计准则第2号——长期股权投资》的规定，长期股权投资采用权益法核算时下列各项不會引起长期股权投

若曲线在点处的切线平行于轴,则

企业持有该金融资产期间取得的现金股利，应当在现金股利宣告发放日确认并记入（)科目 A．交易性金融资产 B

变电所单人值班也可以单独从事修理工作。（)

微机软件可以实现模拟控制系统中PID控制器的全部运算功能 （)

微型机監控系统的硬件由现场采样、过程通道两部分构成。 （)

电力电容器组在做冲击合闸试验时其各相电流的差值不应超过10%。 （)

公司能力是指公司配置资源并施展其生产和竞争作用的能力主要包括（)。A．研发和生产治理能力B．营销

PEST分析是指宏观环境的分析下列属于“S”分析嘚因素是（)。A．利率水平B．通货膨胀C．年龄结构D．人口

公司的缺点包括：（)A．创办公司的手续复杂，组建成本较高B．政府对公司监管较嚴C．透明度较低不利于

管理包括以下几层意思，其中正确的是（)A．管理是有意识、有组织的群体活动B．管理是动态的协调过程C

内接于拋物线与轴所围成图形的最大矩形面积为。

保险公估人是促进保险产品推销的机构或个人（)

等腰三角形的周长为，问绕这个三角形的底邊旋转一周所成的几何体的体积最大时各边长分别是多少？

保险人的欺诈主要表现为缺乏必要的偿付能力等，如非法超额承保（)

估計市场营销战略和计划的成果，并采取正确的行动以保证实现目标属于（)的内容A．市场营销分析B．市

证券交易所在开市后根据ETF申赎、赎囙清单和组合证券由各只证券的实时成交数据计算并每（)提供一次

我国的《证券投资基金法》于（)正式实施。A．1997年11月14日B．2000年10月8日C．2003年10月28日D．2004年

下列说法中正确的是（)。A．高质量的公司债券不存在经营风险B．在资产配置方案中固定收益证券的基

已知函数f（x）=x3＋2x2＋bx＋5（Ⅰ）若函数f（x）在x=－2处有极值，求实数b的值；（Ⅱ）若函数y=f（x）在区间[－21]上单调递

在托收和汇付支付条件下，单证的缮制必须以（)为依据洳有特殊要求，应参照相应文件或资料 A．信用证 B．发

装箱单证缮制时，一般不应显示货物的（) A．品名、总金额B．单价、总金额 C．包装件数、品名 D．品名、单价

对于曲柄滑块机构，长期以来人们用加配重使摆动力部分平衡的方法来减小振动（)

以下选项中，以动态静力分析方法为基础计算出来的是（)A、运动副反力B、平衡力矩C、摆动力矩D、摆

作用在机械上的力有（)。A、驱动力B、重力C、摩擦力D、生产阻力

摆動力的完全平衡会使机械的重量大为增加（)

某所大学的计算机工程学院的大一新生有160人其中男生95人，女生65人现在要抽取一个容量为20的樣本，若用分

某校高中生共有900人其中高一年级300人，高二年级200人高三年级400人，先采用分层抽取容量为45人的样本那

某地区共有10万户居民，该地区城市住户与农村住户之比为4：6根据分层抽样方法，调查了该地区1000户居民冰箱拥

某交高三年级有男生500人女生400人，为了解该年级學生的健康情况从男生中任意抽取25人，从女生中任意抽取20

已知p、q为质数且5p2＋3q=59，则以p＋31－p＋q，2p＋q－4为边长的三角形是（)．A．等边三角形B．等腰但非等

三个质数之积恰好等于它们和的5倍则这三个质数之和为（)．A．11B．12C．13D．14E．15

已知3个质数的倒数和为71／105，则这三个质数的和为（)A．13B．14C．15D．16E．以上答案均不正确

组织是由哪三项要素组成的？（)

注重于研究领导者的个人特征对于领导有效性的影响的理论是：（)

英国莋家萧伯纳曾经说过“你有一个苹果我有一个苹果，彼此交换过后每个人手中还是一个苹果;你有一种思想，我有一种思想彼此交流思想，那么我们就有了两种思想”你认为这句话对管理工作的启示在于：（)

根据《造价工程师注册管理办法》的规定，下列工作中属于慥价工程师执业范围的是（） A．

根据《工程造价咨询单位管理办法》的规定，下列表述中正确的有（） A．工程造价咨询单

我国建设工程造价管理组织包含三大系统，该三大系统是指（） A．国家行政管理系统、部

为了加强对造价工程师执业的监督和管理，我国对造价工程师执业资格实行年检制度在下列

企业如有盘盈的固定资产，应记入（）账户

下列账户属于资产备抵账户的是（）。

商场购入商品一批价款23 000元，增值税率为13%货物已验收入库，货款已用银行存款支付正

小型经济单位为简化工作，可把（）结合起来设置联合账簿。

血压骤然升高剧烈头痛，抽搐昏迷的患者，诊断最可能属下列哪项A．高血压病1级B．高血压病2级C．高血

系统性红斑狼疮发病的主要机制昰下列哪项A．内分泌功能紊乱B．紫外线及日光过敏C．T淋巴细胞的高度

急性白血病的首发症状常见的是A．出血B．发热C．贫血D．骨痛E．肝脾大

ゑ性重型再生障碍性贫血A．增生活跃B．增生明显活跃C．增生极度活跃D．增生减低E．增生明显减低

已知函数f（x）=ax7＋bx＋－2若f（2012）=6，则f（－2012）嘚值为（）

函数f（x）=ax＋a－x＋1，g（x）=ax－a－x其中a＞0，a≠1则 [ ]A．f（x）、g（x）均为偶函数　　　　 B．f（x）、g（x）均为奇函数 C．f（

中国大学MOOC: 在分咘式文件系统HDFS中， 负责数据的存储和读取

第三讲 分布式文件系统HDFS

3.1 分布式文件系统HDFS简介

两大核心计算：大数据的分布式存储、大数据的分布式处理

实现流数据读写；（与传统DFS重要区别）

支持简单的模型；（只允许縋加不能修改，牺牲部分性能以提升批量处理特性）

不适合低延时数据访问；（HBase可以进行随机读写满足实时性处理需求）

无法高效存儲大量小文件；

不支持多用户写入及任意修改文件。

块也是为了分摊磁盘读写开销；但比普通文件系统的块大很多（默认64M）。

块的设计目的：面向大规模存储降低分布式负责hdfs数据存储的是什么节点的寻址开销（三级寻址：元数据目录-数据负责hdfs数据存储的是什么节点-取数據）

块的设计也涉及MapReduce的处理。

抽象块的设计好处：支持大规模文件存储；简化系统设计；适合数据备份

名称负责hdfs数据存储的是什么节点，主负责hdfs数据存储的是什么节点负责元数据的存储，整个HDFS集群的管家（数据目录，记录信息）

数据负责hdfs数据存储的是什么节点具体負责存储数据。

元数据文件是什么，文件被分成多少块每个块和文件怎么映射，每个快被存储在哪个服务器上

数据负责hdfs数据存储的昰什么节点中的数据是保存在本地的linux文件系统中。

名称负责hdfs数据存储的是什么节点中的关键结构FsImage，保存系统文件树；Editlog记录对数据的创建、删除、重命名等操作。

FsImage存储元数据：文件的复制等级，块大小以及组成文件的块访问权限，修改和访问时间

（FsImage没有具体记录块茬哪个数据负责hdfs数据存储的是什么节点存储，是单独在内存中的一个区域进行维护的构建了一个清单）

（这是一个优化处理，将更新处悝放在Editlog提升处理性能；但是随之带来问题，Editlog不断增大这就用到了第二名称负责hdfs数据存储的是什么节点）

第二名称负责hdfs数据存储的是什麼节点作用，名称负责hdfs数据存储的是什么节点的冷备份；对Editlog进行处理

当Editlog不断增大，第二名称负责hdfs数据存储的是什么节点会定期和名称负責hdfs数据存储的是什么节点进行通信在某个阶段会通知名称负责hdfs数据存储的是什么节点停止使用Editlog文件，名称负责hdfs数据存储的是什么节点则會停止写入Editlog并生成一个新的edits.new，即又生成一个Editlog会把新的更新等操作写入到edits.new，把旧的Editlog让第二名称负责hdfs数据存储的是什么节点取走第二名稱负责hdfs数据存储的是什么节点会通过Http Get的方式，从名称负责hdfs数据存储的是什么节点把FsImage和Editlog都下载到本地然后在第二名称负责hdfs数据存储的是什麼节点进行合并操作，得到一个新的FsImage发给名称负责hdfs数据存储的是什么节点。名称负责hdfs数据存储的是什么节点就得到了更新后较大的FsImage然後把edits.new更改为Editlog。通过这种操作实现了不断增大的Editlog与FsImage的合并，也实现了冷备份的效果

数据负责hdfs数据存储的是什么节点，关键是存和取每個数据负责hdfs数据存储的是什么节点中的数据被保存在各自的本地linux文件系统中。

采用主从结构主负责hdfs数据存储的是什么节点（管家作用）提供数据目录服务。其它都是数据负责hdfs数据存储的是什么节点负责具体数据存储。

客户端访问数据首先访问名称负责hdfs数据存储的是什麼节点，获取元数据信息从而知道数据块具体的存储位置。

写数据时首先访问名称负责hdfs数据存储的是什么节点，得到存储位置信息的指令然后把相关的块存到相应的数据负责hdfs数据存储的是什么节点。

只有一个命名空间包含目录、文件、块，与传统文件系统一样也昰分级结构。

HDFS的通信协议是构建在TCP/IP之上不同组件之间的通信协议稍有差别。

客户端和名称负责hdfs数据存储的是什么节点发起TCP连接使用客戶端的协议和名称负责hdfs数据存储的是什么节点进行交互；

名称负责hdfs数据存储的是什么节点和数据负责hdfs数据存储的是什么节点交互使用专门嘚数据负责hdfs数据存储的是什么节点协议；

客户端和数据负责hdfs数据存储的是什么节点交互通过远程调用RPC实现。

HDFS客户端实际上是一个库对外堺暴露HDFS文件系统接口，隐藏了后台实现的复杂性

通过客户端可以实现文件打开、读写常见操作，可以通过java API或shell命令实现

命名空间限制，洺称负责hdfs数据存储的是什么节点是保存在内存中因此其容纳的数据对象（文件、块）的个数受到空间大小的限制。

性能的瓶颈整个分咘式系统文件的吞吐量，受限于单个名称负责hdfs数据存储的是什么节点的吞吐量

隔离问题，集群中只有一个名称负责hdfs数据存储的是什么节點只有一个命名空间，因此无法对不同的应用程序进行隔离

集群的可用性，一旦这个唯一的名称负责hdfs数据存储的是什么节点发生故障会导致整个集群变得不可用。（第二名称负责hdfs数据存储的是什么节点是冷备不是热备）

（名称负责hdfs数据存储的是什么节点发生故障必須由第二名称负责hdfs数据存储的是什么节点经过一段时间的恢复，才可以对外提供服务）

HDFS2.0解决了单点故障设置了两个名称负责hdfs数据存储的昰什么节点，分区管理热备。

数据冗余保存廉价机器频繁故障，每个数据块冗余保存（默认3份）伪分布式（单负责hdfs数据存储的是什麼节点）的冗余因子只能是1。

加快了数据传输速度（并行访问）容易检查错误（互为备份有参照），保证数据可靠性（周期性探测保证副本数量）

第一个副本就近放在应用所在负责hdfs数据存储的是什么节点，如果是外部应用则随机选择CPU、磁盘充裕的负责hdfs数据存储的是什么節点；

第二个副本放在和第一个副本所在不同机架上；

第三个副本，放在和第一个副本所在相同机架不同负责hdfs数据存储的是什么节点上；

第4/5/6……个副本根据随机算法放置

HDFS提供了一个API可以确定数据负责hdfs数据存储的是什么节点所属的机架ID，客户端也可以调用API获取自己所在的機架ID

当客户端读取数据时，从名称负责hdfs数据存储的是什么节点获得数据块不同副本的存放位置列表列表中包含了副本所在的数据负责hdfs數据存储的是什么节点，可以调用API来确定客户端和这些数据负责hdfs数据存储的是什么节点所属机架ID如有ID相同，则优先选择该数据负责hdfs数据存储的是什么节点上的副本进行读取否则随机选择一个副本读取。

（标准的数据中心一般有三四千个数据负责hdfs数据存储的是什么节点）

洺称负责hdfs数据存储的是什么节点出错暂停服务一段时间，然后从第二名称负责hdfs数据存储的是什么节点恢复最后才提供对外服务（HDFS1.0）；HDFS2.0矗接使用热备。

数据负责hdfs数据存储的是什么节点出错数据负责hdfs数据存储的是什么节点会定期通过远程调用给名称负责hdfs数据存储的是什么節点发送心跳信息，一旦名称负责hdfs数据存储的是什么节点没有收到定期心跳名称负责hdfs数据存储的是什么节点会将该数据负责hdfs数据存储的昰什么节点标记为宕机（不可用），把所有存储在这个负责hdfs数据存储的是什么节点上的数据通过其它数据负责hdfs数据存储的是什么节点上的備份数据进行复制

在数据负责hdfs数据存储的是什么节点负载不均衡的时候，也可以迁移数据负责hdfs数据存储的是什么节点上的副本可以不斷调整冗余数据副本的存放位置。

数据本身出错（磁盘损坏或其它情形）客户端读取到数据会通过校验码进行校验，校验码实在文件被創建时生成的数据块和校验码放在同一目录。因此发现读取时计算出的校验码与原先保存的不一致时判断为数据错误则通过冗余副本進行复制。

用文件系统FileSystem声明一个实例

声明一个Path类型的变量（文件打开路径）

设置文件的输入流inputStream来打开文件

在Hadoop中有一个通用抽象文件基类FileSystem鈳以通过继承它去实现很多具体子类。

如可以被分布式文件系统HDFS继承，实现DistributedFileSystem子类；通过Http方式去访问相关文件；通过FTP的方式读写文件

第┅步，打开文件用FileSystem声明一个实例对象fs，即FileSystem.get(conf)对照底层的HDFS去实现。抽象基类是FileSystem由于添加了环境变量conf，分布式文件系统底层的配置就会被調用调进来后生成一个属于它的子类DistributedFileSystem，生成的fs实例是属于HDFS的实例对象fs是跟分布式文件系统紧密相关的。（底层的转化封装是看不见的）

第二步DFSInputStream通过远程调用去和名称负责hdfs数据存储的是什么节点沟通，从而知道需要获取的数据块被保存在哪些负责hdfs数据存储的是什么节点通过ClientProtocol.getBlocklocations这个方法去询问名称负责hdfs数据存储的是什么节点（需要的数据保存在哪个负责hdfs数据存储的是什么节点），名称负责hdfs数据存储的是什麼节点会把文件的开始一部分位置信息（排序后）返回给刚才的调用

第三步，客户端获得了输入流FsDataInputStream就可以开始使用read函数读取数据，拿箌了排序后的位置信息选择距离最近的数据负责hdfs数据存储的是什么节点建立连接，然后去读数据

第四步，把数据从数据负责hdfs数据存储嘚是什么节点读到客户端读完了输入流FsDtaInputStream就要关闭和数据负责hdfs数据存储的是什么节点的连接。

第五步获取数据块信息，继续读取数据洅去让输入流通过ClientProtocol.getBlocklocations这个方法去询问名称负责hdfs数据存储的是什么节点，下一个数据存在哪里名称负责hdfs数据存储的是什么节点将返回相应的位置信息（数据负责hdfs数据存储的是什么节点列表-根据距离客户端的远近进行排序）。

第六步输入流获得地址列表后，继续通过read函数又開始和那些数据负责hdfs数据存储的是什么节点进行连接，读数据读完后又关闭和那些负责hdfs数据存储的是什么节点的连接。

依次循环往复不斷地读直到完成所有数据块的读取。

第七步关闭文件。调用输入流的关闭操作close

这是读数据的全部过程。

第二步去询问名称负责hdfs数據存储的是什么节点。DFSOutputStream要执行RPC远程调用请求名称负责hdfs数据存储的是什么节点在文件系统的命名空间中新建文件，名称负责hdfs数据存储的是什么节点会检查文件是否已存在、客户端是否有权限检查通过后，创建文件然后通过数组返回。

第三步写数据。流水线复制把数據拆分为分包，将分包放到DFSOutputStream对象的内部队列然后DFSOutputStream向名称负责hdfs数据存储的是什么节点申请保存这些数据块的数据负责hdfs数据存储的是什么节點。

第四步写入数据包。数据队列中的数据负责hdfs数据存储的是什么节点形成管道队列里的分包会再打包成数据包 发到整个数据队列中嘚第一个数据负责hdfs数据存储的是什么节点，第一负责hdfs数据存储的是什么节点再发给第二负责hdfs数据存储的是什么节点以此类推。即副本放茬多个不同数据负责hdfs数据存储的是什么节点

第五步，数据写入确认信息由数据管道中的最后一个数据负责hdfs数据存储的是什么节点依次向湔回传最后传给客户端。

第七步写操作完完成。

HDFS的基本编程方法

Reduce两个组件所以不需要另外安装HDFS。

Hadoop启动三条命令

三种shell命令区别：

注意：系统安装了分布式文件系统HDFS后，还是有本地和分布式文件系统的区别有些文件是存在了本地，有些文件是被存在了HDFS中

可以通过Web界媔去查看HDFS中的一些文件信息，如：http://localhost:50070 点击相关链接可以查看文件系统

用得比较少，了解即可

利用Java API与HDFS进行交互。（编程的方式）

实例：分咘式文件系统HDFS上是否存在某个文件

1.放置配置文件到当前工程下面（Eclipse工作目录的bin文件夹下面）

构建基础的编程环境，使用eclipse

基本的命令：hadoop fs -xx #適用于本地系统以及HDFS系统，推荐

使用Java开发必须加载jar包

检测伪分布式文件系统HDFS上是否存在input.txt文件？

第一步把配置文件放到当前工程的bin目录丅：

（没有这一步，程序返回wrong fs）

第二步编写实现代码：

shell命令和java api执行的功能是等价的，取决于哪种方法效率更高