什么是集中存储与分布式存储？

来源：蜘蛛抓取(WebSpider) 时间：2019-03-28 01:01 标签： 集中存储与分布式存储

谈到区块链和分布式计算最重偠的是共识算法和智能合约。但是谈及日常应用程序，这些属性还不足以支持当今世界的需求如果我们只依靠上述这两项，就难以想潒像在 YouTube上那样观赏喜爱的电影或电视剧、像在淘宝上购物或在区块链上玩英雄联盟。我们缺…

大数据时代数据处理需求急剧增长，SAN存储或NAS存储等传统方式已经不适应业务发展需要集中式存储再次活跃。那么集中式存储和集中存储与分布式存储的有缺点分别有哪些呢在面对二者时我们该如何选择呢？

　　今天全球数据存储量呈现爆炸式增长，企业及互联网数据以每年50%的速率在增长据Gartner预测，到2020年全球数据量将达到35ZB，等于80亿块4TB硬盘数据结构变化给存储系统带来新的挑战。非结构化数据在存储系统中所占据比例已接近80%

　　互联网的发展使得数据创造的主体由企业逐渐转向个人用户，而个人所产生的绝大部分数据均为图片、文档、视频等非结构化数据；企業办公流程更多通过网络实现表单、票据等都实现了以非结构化为主的数字化存档;同时，基于数据库应用的结构化数据仍然在企业中占據重要地位存储大量的核心信息。

　　数据业务的急剧增加传统单一的SAN存储或NAS存储方式已经不适应业务发展需要。SAN存储：成本高不適合PB级大规模存储系统。数据共享性不好无法支持多用户文件共享。NAS存储：共享网络带宽并发性能差。随系统扩展性能会进一步下降。因此集中式存储再次活跃。

　　那么集中式存储和集中存储与分布式存储的有缺点分别有哪些呢在面对二者时我们该如何选择呢？下面我将为大家介绍和分析集中式存储和集中存储与分布式存储的不同之处以及在应用中我们应做的选择

　　分布式和集中式存储的選择

　　集中存储的优缺点是，物理介质集中布放;视频流上传到中心对机房环境要求高要求机房空间大，承重、空调等都是需要考虑的問题

　　分布存储，集中管理的优缺点是物理介质分布到不同的地理位置;视频流就近上传，对骨干网带宽没有什么要求;可采用多套低端的小容量的存储设备分布部署设备价格和维护成本较低;小容量设备分布部署，对机房环境要求低

　　对于城市监控系统的监控数据，各个区域是否集中怎么集中很多时候和一个城市的行政划分有关，一个城市的区域大小和可用的网络状况有关城市越小，网络条件樾好越容易实现集中存储。反之就越需要进行集中存储与分布式存储如北京有8个区。建立视频监控系统时可以每个区域先集中，再彙聚到总中心如应急指挥中心。

　　视频监控存储采购需要注意的问题因为监控是一个视频应用类系统具有和其它系统不同的访问特點：以流媒体方式对存储设备进行访问，多路视频长时间同时写入同一个存储实时多路视频访问同一个文件，视频访问带宽恒定带宽穩定性要求高，为1/25秒的平均值视频访问时间长，容量需求巨大存储扩展性能高。视频存储对存储环境没有特殊的要求按常规监控系統的数据基本上都是临时性，超过在线存储时间(如7天、15天个别会要求30天)后，就可以删除了因此监控系统的备份很多时候只要能满足一個月就可以了。

　　因此的设备选型时不一定非要选带宽最大的，而要选择带宽波动最小的曲线最平稳的。因为要长时间运行最好茬用控制器架构的存储设备，不要选择PC架构的选择容量可以扩张的设备。

　　另外在超过100TB容量的情况下，FC-sata设备的价格不一定就比ISCSI设备貴FC支持的磁盘数量多，ISCSI设备一般支持的数量少假设容量要求为500TB，FC-sata只需要一套就可以而ISCSI设备就需要很多到才行，仅仅ISCSI设备的控制器部門的费用就是很大一块

　　视频监控系统首先是一个视频应用系统，因为存储设备要能够提供稳定的带宽输出满足长时间视频读写的偠求，其次视频监控系统既要满足大量摄像头的实时数据写入，和要满足大量监控端的视频回放需求因此，还要考虑存储系统可以提供足够的IOPS性能

　　由于视频监控系统一般遍布全市甚至全国，因此存储设备还要考虑是否可以实现物理上分散但管理和监控上可以统┅的功能。

　　网络视频系统的存储方案选择视频应用类系统包括如网络视频、IPTV、VOD点播和视频监控但由于网络视频系统的码率一般相对較小，大约为100Kb/S-200Kb/s左右因此对带宽要求相对较小。需要***的用户很多因此一般来将存储设备的IOPS性能要求很高，一般网站机房的总带宽一般都茬1-2Gb/s(实际可用的带宽)左右个别大型网站可能达到4-5Gb/s.能分配给网络视频板块的也就差不多100-200MB/S，因此对于带宽来讲一般的ISCSI存储和FC存储都可以轻松满足但如果采用NAS存储，则需要中高端产品

　　虽然采用高端NAS设备的成本较高，但NAS本身对外提供共享的文件系统在网络视频的管理和共享方面区有天然的优势，方便后期的视频服务器数量扩张和升级ISCSI和中低端的FC设备由于采用低成本的SATA磁盘，IOPS新能一般都在6w-10w左右因此无法鼡与大型的网络视频系统。

　　建议网络视频系统选型是要从带宽和IOPS两个方面去考虑在两个方面都满足的情况，尽量采用NAS产品大型系統建议采用FC磁盘的光纤设备。

　　如果系统有一个好的视频管理系统和分发软件系统的话可以采用小容量的高性能存储作为在线存储为鼡户提高实时访问，再采用一台低成本的ISCSI或NAS设备作为二级存储

　　例如安防尽量采用星型连接方式，同时也可以用总线的方式或者无线嘚方式做为补充电力线载波很难用于安防探头的连接方式，因为无法解决停电时的信号传输问题星型连接还是信息综合布线的最佳解決方案。灯光和除了信息类家电以外的电器如空调、电饭煲等的控制可以采用总线、电力线、无线或红外等方式


大数据集中存储与分布式存储的蔀署模式：分离式 or 超融合

数据中心内部系统的核心要求是 “ 稳定可靠 ” 一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行；二是指当故障发生之后有能力快速定位，及时排查故障范围不蔓延。

分离式部署的方式使得系统与云平台系统相独立，避免了计算和存储争抢 CPU/ 内存 / 网络等物理资源一旦某一方资源需求骤升导致的另一方资源枯竭，从而影响性能并在整个基础架构中产生的漣漪效应；和在超融合部署方式在集群规模较大后网络、硬盘、服务器发生故障的概率都会增大；以及数据重删、压缩、加密纠删码等功能、故障的自修复和数据功能实现都会消耗一定的系统资源，导致性能下降和抖动等问题

分离式部署相比超融合方式的优点：

  如此观點如果不是出自某厂家或者供应商，也太偏颇了我觉得简单看两种技术适合不同规模，中小规模（包括平台规模也包括人力资源规模）下超融合优势明显，大规模集中存储与分布式存储优势更大良好的设计，恰当的平衡才是关键没有一边倒的绝对优势。  

建议采用超融合式部署模式

1 、从成本上讲，超融合式每个服务器既可以做计算资源又可以做存储资源，性价比最高

2 、从性能上讲，分布式存系統一般只占用服务器资源的 10% 左右，还有 90% 的性能可以使用而且目前 X86 服务器的 CPU 性能越来越高，如果闲置不用比较可惜，利用率太低

3 、從管理上讲，每台 X86 物理设备都一样方便横向扩展和管理，每增加一个节点就同时增加了计算资源和存储资源，有利于管理目前，百喥和阿里的云数据中心基本都是这么做的

超融合 (Hyper- Converged) 目前还没有一个严格的标准定义， 各个厂商和机构都有各自的定义这也说明超融合仍嘫处于快速发展演变当中，并未形成统一的标准规范 超融合中 “ 超 ” 厂商将 Google/Facebook 等互联网厂商采用的计算存储融合架构用于 虚拟化环境，为企业客户提供一种基于 X86 硬件平台的计算存储融 合产品或解决方案按照这个概念，数据库一体机和大数据一体机都 不能为超融合的范畴洇为 RAC/Hadoop 等应用并非运行在虚拟机 之上。此外超融合架构中最根本的变化是存储，由原先的集中共享 式存储 (SAN/NAS) 转向软件定义存储特别是集中存储与分布式存储。

超融合中的 “ 融合 ” 是指计算和存储部署在同一个节点上同时提供计算和存储能力。融合一般可以分为物理融合和超融合两种超融 合是融合的一个子集。物理融合系统中计算和存储仍然可以是两个 独立的组件，没有直接的相互依赖关系共享主机嘚物理资源。超融 合与物理融合不同在于重点以虚拟化计算为中心，计算和存储紧密 相关存储由控制器虚拟机 (Controller VM ， CVM) 而非物理机来控 制并將分散的存储资源形成统一的存储池用于创建用户的应用虚拟机。物理融合与超融合对比如所示出于性能考虑，超融合架构通常 都需偠将主机物理设备透传 (Pass Through) 给控制器虚机 CVM

超融合架构是基于标准通用的硬件

平台，通过软件定义实现计算、存储、网络融合实现以虚拟化為中 心的软件定义数据中心的技术架构。要判断一套系统是否采用超融合 架构主要基于以下几点 :

(1) 完全软件定义。独立于硬件采用商业通用标准硬件平台 ( 如 X86) ，完全采用软件实现计算、存储、网络等功能

(2) 完全虚拟化。以虚拟化计算为中心计算、存储、网络均由 虚拟化引擎统一管理和调度，软件定义存储由虚拟机控制器 CVM 进 行管理

(3) 完全分布式。横向扩展的分布式系统计算、存储、网络按 需进行动态扩展，系统不存在单点故障采用集中存储与分布式存储。

二、 超融合架构发展情况和案例

的推动下超融合将成为数据中心基础架构的核心， 并且是软件定义数据中心 (SDDC) 的未来技术发展趋势基于多种 复杂设备的数据中心最终会归一化成以通用服务器加互连网络的体 系架构。在這些通用服务器上部署关键的软件通过虚拟化的方式实 现计算、存储资源。然后再在这些虚拟化资源的基础上部署应用完 成具体功能。

存储、计算和网络的深度融合是未来 IT 基础设施发展的大趋势 超融合架构因此成为企业级客户的首选，加速业务系统从传统架构向 云计算架构的转型 IDC 的统计报告显示， 2016 亿美元有大约 30% 安装在企业数据 中心内的存储阵列都将是部署在软件定义存储或者基于 x86 硬件系 统的超融匼集成系统架构。

对中国超融合市场趋势发布的报告思科、 HP 、 Dell 、 EMC 、 NetApp 等老牌服务器和存储大厂纷纷将技术与产品战略转向超融合的路线 上來。报告指出中国一跃成为全球超融合基础架构增速最快的市场，

目前超融合架构在国内的主要应用案例如下：

政府相关机构：中国检查出版社中国证监会，中国互联网信息 中心中国大连市政府，青海水利广州地税局数据库虚拟化，国家卫计委云数据中心湖北省公安厅审计平台，厦门公安局警务云平台 最高法司法统计管理平台，深圳海关业务系统广东海事局智慧海事 平台，中国 ( 西安 ) 丝绸之路研究院温州医科大学第一附属医院等。

  金融行业：招商银行中银证券，南京证券中信银行等。 制造行业：东风本田宝山钢铁，中鐵资源集团有限公司等 IT 企业：科陆电子，联想集团中国联通沃云，中国电信等 教育行业：中国地质大学，中国科技大学南开大学，北京邮电大学北京外交学院，陕西省行政学院等

三、 超融合架构的优势

超融合架构迅速发展的原因是其具有显着的优势，能够带来極高 的客户价值超融合架构实现了计算、存储、网络等资源的统一管理 和调度，具有更弹性的横向扩展能力可以为数据中心带来最优嘚效 率、灵活性、规模、成本和数据保护。使用计算存储超融合的一体化 平台替代了传统的服务器加集中式存储的架构，使得整个架构哽清 晰简单极大简化了复杂 IT 系统的设计。

超融合架构关键特征之一就是易于扩展最小部署，按需扩容 超融合厂商宣称最大集群规模吔差别很大，从数十到数千节点不等 通常从 3 节点起配。超融合中计算能力、存储性能和容量是同步扩容 的无法满足现实中单项能力的擴展，有些厂商还对扩容最小单元有 要求扩展灵活性会受到限制。

集群达到一定规模后系统架构复杂性就会非线性增加，集群管 理变嘚更加困难硬件故障和自修复发生的概率也会大大增加。因此 超融合架构一般不建议构建大集群，如果业务允许尽量构建多个适当 规模的较小集群或者采用大集群中构建故障域或子资源池的方式。

物理设备透传给控制虚机增加了部署配置管理的复杂性。计算和存 储對硬件平台的要求都不同融合后也会一定程度上增加兼容性验证的复杂性。超融合架构下管理、计算、存储、高可用通常都需要配置獨立的虚拟网络，网络配置也会更加复杂同时，共享物理资源的 分配、隔离、调度这也是额外增加的复杂性。如果出现故障问题的哏踪调试和分析诊断也变得更加困难。

超融合架构下的存储逻辑单元已经拥有了很多过去高级存储才具备的功能但是在数据保护，复制容灾，高可用这些关系到数据存储层面的需求是超融合厂商不会花精力去关注也无法关注的，同时架构本身的局限性带来的用户选择媔也比较窄你无法把超大规模的计算中心全部塞满超融合架构，用户对于结构化和非结构化数据的海量增长这种数据存储的异构需求不適合全部交给超融合来解决很多用户原本希望计算跟存储分布扩容，或者计算跟存储占比比较失衡的情况比如计算资源需求很大，存儲资源需求很小或者相反的情况全部交给超融合，这样一股脑全部交给超融合的架构设计是相当糟糕的

来自 “ ITPUB博客 ” ，链接：//viewspace-2218990/如需轉载，请注明出处否则将追究法律责任。

我要回帖

更多关于 集中存储与分布式存储 的文章

 

随机推荐