存储系统的的关键技术之自精简技术

随着磁盘技术的发展,磁盘的体积越来越小,容量却越来越大(希捷16TB的硬盘已经上市,容量是第一块硬盘的几百万倍)。体积减小之后,一些企业将这些磁盘被整合在一个大型的设备当中,形成存储系统。存储系统最大的特点是除了存储数据之外有很多附加特性,比如RAID或者数据保护等等,通过附加的软件特性保证了存储系统的可靠性和可用性。

早期的磁盘是一个大家伙,但容量却非常小,这就好像最早的计算机一样。世界上第一个磁盘是IBM于1956年发明的,当时这块磁盘比现在对开门的冰箱还要大。虽然这个存储的体积非常之大,但其容量却小的可怜。这么大一个大家伙,它的容量仅仅才有5MB左右。

图1 世界上第一块磁盘

由于其容量太小了,因此一个磁盘通常也就只能提供给一个计算机使用。这就是所谓的DAS存储。DAS的全称为Direct-attached storage,也就是直接连接存储。也就是计算机的存储后面通过线缆直接连接存储设备。具体示意图如图2所示。

图2 DAS存储架构

由于设备本身体积较大,且线缆长度有限制,因此DAS存储最大的问题就是在数据中心中太过于分散。每个存储都跟在计算节点后面,计算节点在哪,存储就在那。这给存储设备的管理带来的巨大的挑战。

图3 数据中心中的DAS存储

如图3所示,可能在数据中心的每一层楼都有存储设备。甚至,存储设备会分散在每层楼的不同区域。因为业务量是在不断增加的,存储设备自然也会跟着增加,但是却无法保证相同业务的存储设备集中在同一个区域。

随着磁盘技术的发展,磁盘的体积越来越小,容量却越来越大(希捷16TB的硬盘已经上市,容量是第一块硬盘的几百万倍)。体积减小之后,一些企业将这些磁盘被整合在一个大型的设备当中,形成存储系统。存储系统最大的特点是除了存储数据之外有很多附加特性,比如RAID或者数据保护等等,通过附加的软件特性保证了存储系统的可靠性和可用性。

由于存储设备的巨大容量(一个存储系统通常能够支持数千块硬盘,PB的容量),通常可以满足数十台,甚至数百台计算服务器对空间的使用。但是,通常业务所需要的存储空间无法准确预测,因此经过一段时间后有些计算节点的空间使用率会非常高,而有些则非常低。如同图4所示。

图4 存储系统空间使用情况

这时,管理员就需要根据实际使用情况对存储容量做动态的调整。比如使用率低的需要做缩容操作,而使用率高的则需要做扩容操作,避免存储资源耗尽的情况产生。

这种操作非常繁琐,而且也很容易出现问题。于是自动精简配置技术就出现了。所谓自动精简配置就是简化存储系统管理员对存储容量的管理。但是该技术并非存储系统管理的特性,而是存储系统数据的特性。

传统的磁盘空间管理策略是预分配的空间管理策略。也就是说,在计算节点看到的存储空间就是其在存储系统分配的实际空间。计算节点有没有使用该存储空间,或者使用了多大比例都无关。举个例子,如果存储管理员为计算机节点划分了1TB的空间,那么在存储系统就会划分出去1TB的空间,此空间将不能被其它计算节点使用。

图5 传统存储空间管理

自动精简配置是另外一种存储空间管理技术,它并不会马上分配划分的存储空间,而是延迟分配。也就是用户使用多少空间,那么存储系统就为该存储设备分配多少空间。举个例子,比如存储管理员划分了1TB的空间给计算节点,但此时该计算节点只使用了1GB的空间,那么虽然在计算节点上可以看到1TB的存储空间,但在存储系统中实际只消耗1GB的空间。如图所示,三个不同的存储设备,虽然都分配了很大的空间,但是空间不会马上被占用,而是根据计算节点的实际使用而定的。

图6 精简存储池

通过上图估计大家也看出了精简配置的原理。其实精简配置的原理非常简单,它将存储系统的存储资源池划分为非常小粒度的单元,当计算节点存储数据的时候才会分配该单元。也就是用户看到的是一个逻辑空间,而非物理空间。

我们再详细介绍一下。我们知道磁盘的空间其实就是一个线性空间,比如一个1TB的磁盘,其空间就是从0到1TB的地址,就像一个非常大的数组一样。我们可以将磁盘空间切割为大小相等的块,比如8KB,然后以该粒度进行管理。

当从存储系统划分存储空间给计算节点时,此时给用户看到的是一个逻辑空间,也就是该空间并不会占用实际的存储资源。当用户访问该存储设备时,存储系统会根据记录确定是否有对应的物理空间,如果存在则对该物理空间进行访问,否则分配物理空间。

图7 自动精简的原理

鉴于上述思路,在实现的时候首先要有一个对磁盘空间进行管理的单元,该单元用于标记磁盘逻辑空间是否有对应的物理空间。另外要有对存储资源池资源进行管理的单元,这里要记录那些存储空间已经被使用,避免重复分配。

存储池的基本原理是简单的,但实现起来却并非那么简单,主要是需要考虑各种异常情况,实现容错处理。今天我们主要介绍了精简配置的概念和基本原理,更多细节本号后续会更加深入的介绍。

本文来自信息化观察者网,转载请注明出处。


微信扫码加入本站知识星球下载6000+最新精选行业报告

发表评论