咨询Z+F公司.zfs文件的数据存储过程格...

评测导购 >
OpenSolaris平台为ZFS文件系统加入SSD管理技术
&&佚名丨 13:25 &&&
文件系统的种类多种多样,这一领域的竞争异常激烈,怎么样才能在这一领域站稳脚跟,推陈出新是一个解决办法。Sun向其开源ZFS文件系统的最新版本中增加了固态硬盘管理技术,而该项技术一直被用于Sun倍受用户欢迎的“Amber Road”数据系统。其发布的OpenSolaris平台包括多项ZFS文件系统升级,包括一项可自动将工作负载分配到闪存中的技术,从而提高固态硬盘性能。完全集成到ZFS文件系中的闪存支持可以优化大规模高性能存储池,将闪存设备作为写入或者读取的加速器。然后由ZFS来自动管理存储池以实现工作负载的更高性能,消除对RAID控制器上小容量缓存的需求。
固态硬盘是近几年来最人们的数据存储技术之一,即使是在经济不景气的情况下用户也愿意支付更高的费用来获得更高的性能。但是为了最大程度上利用固态硬盘技术的优势,用户需要借助管理软件来调节性能。Sun通过免费提供这一功能取得了最新突破。
Objective Analysis分析师Jim Handy表示:“Sun在这方面非常积极。固态硬盘技术很不错,但是如果没有合适的软件支持,固态硬盘实际上对系统的帮助作用并不大。这就是为什么固态硬盘在PC领域所占份额还不到1%的原因。这种嵌入ZFS文件系的固态硬盘支持软件是有很大意义的。”
Handy还表示:“有趣的是,当数据中心在ZFS中使用像OpenSolaris平台这样的操作系统时,增加一个昂贵的固态硬盘实际上可以帮助数据中心管理员降低他们的存储成本,因为他们可以避免在速度较低的企业硬盘上浪费宝贵的开支。”
Solaris获得CIFS和块存储支持
除了NFS之外,Solaris还增加了对微软CIFS的本地支持,作为拥有集成功能的高性能内核,支持微软Widnows安全、命名和访问权限,实现在Windows、Linux和Solaris环境中的透明使用和文件共享。
Sun还向Solaris内核中增加了对iSCSI和光纤通道块协议的支持,因此那些装载了OpenSolaris平台的系统可以在任何存储拓扑下作为客户端或者目标设备。
COMSTAR(Common Multiprotocol SCSI Target)可以将任何OpenSolaris主机转化成一个可以由发起者主机通过网络进行访问的SCSI目标。COMSTAR将处理SCSI目标子系统(例如磁盘或者磁带)的任务分割成为独立的功能模块,然后通过STMF(SCSI Target Mode Framework)将这些模块组合起来。发起者主机可以是任何平台,例如Solaris 10、Windows、Linux或者VMware ESX。
最佳开源存储?
所有存储功能都被集成到Solaris平台中以利用Solaris的核心功能特性,例如故障管理、网络、多线程扩展、性能、安全和资源管理。
Sun公司存储软件产品线经历Margaret Hamburger表示,所有这些集成为ZFS提供了相比BTRFS和ext4等其他开源文件系统的优势。
她说:“没有哪个企业级操作系统拥有和Solaris一样的功能特性。”
Hamburger表示,ZFS和OpenSolaris平台“更容易将任何服务器转变成一台存储服务器,任何你需要的都在操作系统中”。
ZFS文件系统是Sun开放存储策略的核心,开发存储也是Sun最近几个月增长速度最快的产品线之一。
Illuminata分析师John Webster认为,目前没有哪个开源存储项目能够与Sun的开放存储策略相媲美,不过他还表示“现在已经有一些存储厂商开始了围绕Amber Road的开放标准硬件/软件模式开发”。
Webster表示,这一项未对外公布的策略是由Sun和LSI主导的。
宣布收购Sun的Oracle也已经表示将保留Sun包括存储业务在内的硬件业务。
新网络和虚拟化功能
OpenSolaris平台还增加了最新的网络和虚拟化功能。
Sun表示,Project Crossbow是一款“完全重新架构的网络栈”,成为网络在操作系统层级的一项新标准。该项目提供了针对虚拟化技术设计的网络功能,同时结合了与高速网络接口连接的多核多线程处理器。
Project Crossbow的虚拟网络接口提供了全资源管理功能,在一台设备或者整个数据中心内简化了多层级应用的复杂配置。用户可以在多核处理器系统上扩展一个或者多个网络接口的工作负载,提高网络效率和性能。Sun将这些新功能称为“企业级操作系统的重要里程碑”。
OpenSolaris平台还以Solaris Containers、Logical Domains (LDoms) for Sun CMT和Xen hypervisor的形式提供了服务器虚拟化技术,“为用户提供了一款直接与OpenSolaris操作系统集成的虚拟化平台”。Solaris Containers可被用于创建虚拟服务器,将上百台企业级工作负载整合到一个系统中。
【编辑推荐】
CommVault为天津力神电池数据管理注入新能量 黑客为何总跟索尼过不去? 梭子鱼Copy最新版提供Copy网站服务器设备和全新Web界面 Vision Solutions为汉尼汾提供数据保护 CommVault为亚马逊云负载提供数据保护 赛门铁克Backup Exec 2014重新诠释虚拟化备份 Double-Take Availability为派克汉尼汾提供高可用数据保护解决方案 CommVault为运行于亚马逊云服务之上的工作负载提供自动化数据保护功能 云计算如何改变数据保护 虚拟化趋势下三甲医院的数据保护究竟如何落地?
今日微信独家
《华尔街日报》报道日前援引知情人士的消息称,由于被美国政府以国家安全问题为由进行调查,联想斥资23亿美元收购IBM低端服务器业务的交易陷入了停滞状态。
关注新浪官博
订阅微信订阅号
订阅焦点周刊
论坛与活动
看DELL微视频,赢大奖!
51CTO旗下网站Sun&Fire&X4500&服务器可以提供四路x64&服务器的卓越性能,..
扫扫二维码,随身浏览文档
手机或平板扫扫即可继续访问
ZFS 文件系统和Sun x4500 数据服务器在互联网行业的应用
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由:
将文档分享至:
分享完整地址
文档地址:
粘贴到BBS或博客
flash地址:
支持嵌入FLASH地址的网站使用
html代码:
&embed src='/DocinViewer-.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布,请您等待!
3秒自动关闭窗口当前位置: &
& Sun或为ZFS系统添加重复数据删除功能
[] [] [] []Sun或为ZFS系统添加重复数据删除功能
责任编辑:作者:存储在线&&
  【IT168 资讯】甲骨文/Sun的ZFS文件系统可能在今年年底添加重复数据删除功能。  ZFS或者称Zettabyte File System是一个128位的文件系统,Sun公司表示,其从根本上简化了文件系统管理。其特点是内置的64位校验,这一功能可以检测和纠正潜在的数据损坏。换句话说,其可以检查文件系统内的数据块并且检测其完整性。这一功能可以延展到寻找去重的数据块或数据块集。  OpenSolaris.org网站的一个版块提到了ZFS的重复数据删除功能。这个帖子内容表明,其同步版本正在开发中。其背景或异步的模式也在帖子中有所提及。  本月底,在澳大利亚布里斯班将会举行一场Kernel Conference,日期从7月15号至7月17号。在这场会议中的议程就包括了&ZFS的重复数据删除&来作为开场白,将会由Jeff Bonwick和Bill Moore主讲。Jeff Bonwick是Sun的研究员和副总裁,以及ZFS的总设计师。Bill Moore是Sun的Distinguished Engineer,他同Jeff Bonwick共同领导ZFS的开发。
【内容导航】
本文欢迎转载,转载请注明:转载自IT168 [
本文链接:
存储最新文章&&
存储相关文章&&
存储热点关注
存储热评文章
装机必备软件
存储精彩专题
存储专栏专题精选
All Rights Reserved. 北京皓辰网域网络信息技术有限公司. 版权所有维基百科,自由的百科全书
ZFS源自于为开发的文件系统。ZFS是一个具有高存储容量、文件系统与卷管理概念整合、崭新的磁盘逻辑结构的轻量级文件系统,同时也是一个便捷的存储池管理系统。ZFS是一个使用授权的项目。
ZFS的设计与开发由Sun公司的所领导的一支团队完成。最早宣布于日,於日并入了Solaris开发的主干源代码。并在日作为 build 27的一部分发布。Sun在OpenSolaris社区开张1年后的2006年六月,将ZFS整合进了Solaris 10 6/06版本更新。
ZFS的命名來源發想於" File System"的首字母缩写。 但 ZFS 本身並不具備任何的縮寫意涵,只是作者想闡述做為一個具備高擴充容量檔案系統且還有支援許多延伸功能的一個產品。
不同于传统文件系统需要驻留于单独设备或者需要一个卷管理系统去使用一个以上的设备,ZFS建立在虚拟的,被称为“zpools”的存储池之上(存储池最早在實現,並且加到後來的)。每个存储池由若干虚拟设备(virtual devices,vdevs)组成。这些虚拟设备可以是原始磁盘,也可能是一个镜像设备,或是非标准RAID等级的多磁盘组。于是zpool上的文件系统可以使用这些虚拟设备的总存储容量。
可以使用以及设置磁盘预留空间来限制存储池中单个文件系统所占用的空间。
ZFS是一个的文件系统,这意味着它能存储1800亿亿(18.4 × 1018)倍于当前文件系统的数据。ZFS的设计如此超前以至于这个极限就当前现实实际可能永远无法遇到。项目领导Bonwick曾说:“要填满一个128位的文件系统,将耗尽地球上所有存储设备。除非你拥有煮沸整个海洋的能量,不然你不可能将其填满。(Populating 128-bit file systems would exceed the quantum limits of earth-based storage. You couldn't fill a 128-bit storage pool without boiling the oceans.)”
以下是ZFS的一些理论极限:
248—任意文件系统的数量(2 × 1014)
248—任何单独文件系统的文件数(2 × 1014)
16 s (264 byte)—文件系统最大尺寸
16 exabytes (264 byte)—最大单个文件尺寸
16 exabytes (264 byte)—最大属性大小
128 s (278 byte)—最大zpool大小
256—单个文件的属性数量(受ZFS文件数量的约束,实际为248)
256—单个目录的文件数(受ZFS文件数量的约束,实际为248)
264—单一zpool的设备数
264—系统的zpools数量
264—单一zpool的文件系统数量
作为对这些数字的感性认识,假设每秒钟创建1,000个新文件,达到ZFS文件数极限需要大约9,000年。
在辩解填满ZFS与煮沸海洋的关系时,Bonwick写到:
尽管我们都希望永远延续,但是给定了任何物理设备上计算速率(computation rate)与信息量的理论极限。举例而言,一个质量为1,体积为1的物体,每秒至多在1031 上进行1051次运算。一个完全的128位存储池将包含2128个块= 2137字节= 2140位;应此,保存这些数据位至少需要(2140位) / (1031位/公斤) = 1360亿公斤的物质。
ZFS使用一种事务模型技术。所有文件系统中的块指针都包括256位的能在读时被重新校验的关于目标块的。含有活动数据的块从来不被覆盖;而是分配一个新块,并把修改过的数据写在新块上。所有与该块相关的元数据块都被重新读、分配和重写。为了减少该过程的开销,多次读写更新被归纳为一个事件组,并且在必要的时候使用日志来同步写操作。
利用写时拷贝使ZFS的快照和事物功能的实现变得更简单和自然,快照功能更灵活。缺点是,COW使碎片化问题更加严重,对于顺序写生成的大文件,如果以后随机的对其中的一部分进行了更改,那么这个文件在硬盘上的物理地址就变得不再连续,未来的顺序读会变得性能比较差。
ZFS使用技术的一个优势在于,写新数据时,包含旧数据的块被保留着,提供了一个可以被保留的文件系统的版本。由于ZFS在读写操作中已经存储了所有构建的数据,所以的建立非常快。而且由于任何文件的修改都是在文件系统和它的之间共享的,所以ZFS的也是空间优化的。
可写("克隆")也可以被创建。结果就是两个独立的文件系统共享一些列的块。当任何一个克隆版本的文件系统被改变时,新的数据块为了反映这些改变而创建,但是不管有多少克隆版本的存在,未改变的块仍然在其他的克隆版本中共享。
ZFS能动态条带化所有设备以最大化吞吐量。当额外的设备被加入到zpool中的时候,条带宽度会自动扩展以包含这些设备。这使得存储池中的所有磁盘都被用到,同时负载被平摊到所有的磁盘上。
ZFS使用可变大小的块,最大可至128KB。现有的代码允许管理员调整最大块大小,这在大块效果不好的时候有用。未来也许能做到自动调整适合工作量的块大小。[需要引用]
ZFS的可变大小的块与BtrFS和Ext4的extent不同。在ZFS中,在一个文件中所有数据块的逻辑长度必须是相同的,不同文件之间的块大小可以不同,因此ZFS可以用直接映射(direct map)的方式(同ufs/ffs/ext2/ext3)来来搜索间接块的数据指针数组(blkptr)。BtrFS和Ext4的extent方式在同一个文件中每个数据快的大小都可以不相同,因此需要用B+ Tree或者类B Tree的方式来组织间接块的数据。
虽然直接映射方式比B+ Tree的查找速度快,但是这种方式的缺点也非常明显,如:元数据开销过大、顺序IO的大文件性能不好、删除比较慢等等,因此在现代文件系统中映射方式逐渐被extent变长块取代。
如果数据压缩(LZJB)被启用,可变块大小需要被用到。如果一个数据块可被压缩至一个更小的数据块,则小的数据块将使用更少的存储和提高吞吐量(代价是增加CPU压缩和解压缩的负担)。
在ZFS中,存储池中文件系统的操作相比传统文件系统的卷管理更加便捷。创建ZFS文件系统或者改变一个ZFS文件系统的大小接近于传统技术中的管理目录而非管理卷。
ZFS的最新beta版已支持透明加密。
NetApp指控Sun的ZFS文件系统侵犯了它WAFL的七项专利,SunNetApp侵犯了12项专利,其中包括NFS协议等。后来专利争端以和解告终。
(通过或原生第三方内核支持)
. Sun Microsystems. September 14, 2004 .
Jeff Bonwick. . Jeff Bonwick's Blog. October 31, 2005 .
. Sun Microsystems. June 20, 2006.
Jeff Bonwick. . Jeff Bonwick's Blog.
Seth Lloyd, "." Nature 406,
. OpenSolaris Project. .
- 美國的ZFS on Linux開源計劃
:隐藏分类:

我要回帖

更多关于 云存储 的文章

 

随机推荐