微秒级数据处理 华为云存储的“快”节奏

微秒这个名词,相信大多数人都没有什么概念。长久以来,受限于网络和存储的因素,微秒级时延或者响应时间在实际应用中是可望不可及。

“以前(人家总以为)我们自己写胶片吹吹牛,现在不用吹,大家都知道我们是真牛了”,华为公司副总裁、华为云业务总裁郑叶来在日前成都举行的“成都·选择不凡 华为云城市峰会2019”上表示。

微秒级数据处理 华为云存储的“快”节奏

就在这次大会上,华为也发布了云存储All-Flash战略,并推出战略落地的首个产品——全新一代极速IO云硬盘,这标志着华为推动着云存储正式从毫秒走向微秒时代。

微秒级数据处理 华为云存储的“快”节奏

微秒这个名词,相信大多数人都没有什么概念。长久以来,受限于网络和存储的因素,微秒级时延或者响应时间在实际应用中是可望不可及。但是,伴随着5G等新兴技术的发展,越来越多的智能化应用都开始涌现出来——比如今年3月,中国人民解放军总医院的医生就在远隔3000公里外操作手术器械,完成全国首例基于5G的远程帕金森病“脑起搏器”植入手术。

这项成就得益于5G网络高速率、大带宽、低时延特性。既然网络已经能够提供微秒级的应用,那么对于存储介质来说也必须迎合这种发展趋势,才能够最大限度地发挥系统效能。于是,才有了刚刚我们介绍的华为云存储All-Flash战略,它的出现将传统意义上的“慢车”——存储和网络大大提速,并与计算一起,构成了数据处理迈向智能时代的“三驾马车”。

微秒级数据处理 华为云存储的“快”节奏

“从毫秒进入微秒时代,数据中心客户主要面临两大时延瓶颈:一方面是传统软硬件协同,特别是网络传输的时延瓶颈;另一方面则是传统HDD介质的物理能力瓶颈。”华为云CTO张宇昕介绍道。“在我们印象中,网络时延一直是数据处理能力的“硬伤”,这期间哪怕是瞬间的等待也会带来糟糕的体验。另一方面,HDD存储介质的发展的确遇到了越来越多的问题。如今伴随着16TB容量硬盘的出现,HDD的响应时间依然是大众吐槽的重点。”

面对大量客户的需求与痛点,华为云也从多个层面着手解决。针对系统层级的时延,华为云通过软硬件架构和数据中心架构的优化,实现了极简网络,也实现了多核免锁并发,使得软件的时延和网络的时延降到了极低。所以整个数据处理IO从进来到出去,能实现50μs -100μs的稳定时延。而关于存储介质时延问题,华为云采用Flash替代掉了HDD,将介质时延从原本四毫秒左右缩短到几十微秒的级别。

当然这并不是简单的替换就可以的。俗话说好马配好鞍,有了高速Flash介质,还需要对软件进行优化才能让介质性能得到最大限度的发挥。同时,尽可能的降低时延,达到与网络时延的一致性,需要彻底解决硬件层面的瓶颈问题。

微秒级数据处理 华为云存储的“快”节奏

“传统硬盘是物理盘片,在提供算法的时候需要考虑到大圈小圈的问题,所以之前的算法都是对于物理磁头的读写性能进行优化,随机读写方面的性能就明显低得多。”张宇昕说,“更换为Flash介质之后就完全不存在这种问题,随机读写的性能表现非常不错。但是对于Flash来说,我们需要保证不在某一个位置持续、频繁地读写,所以在算法上也要进行调整。”而对于这一点,华为云的工程师们进行了大量、复杂的算法优化工作,在提升性能、降低时延的同时,也保证了Flash介质的寿命和应用可靠性。

我们正处于数据爆炸的时代,在迈向智能化的道路上,数据成为了我们赖以生存的“食粮”,而掌握了数据应用,就能掌握未来的智能时代。据华为全球产业展望(GIV)报告预计,2025年的全球年数据增量将提升至180ZB,但是,目前企业数据利用率却只有10%,数据价值没有得到充分释放。而如果想让数据发挥价值,则需要从多个方面采取措施,为此华为本次也带来了全新的“数据底座”概念。

微秒级数据处理 华为云存储的“快”节奏

华为云指出,制约云计算为智能时代更好地服务的瓶颈就在“最后一公里”。在云端,“最后一公里”就是数据通过服务端软件、网络、存储服务器,最终抵达介质的这一过程。

为了实现“最后一公里”的百微秒级突破,华为云从存储引擎到架构,从自研芯片到算法优化,再到最终的AI加持,进行了大量的工作。这其中,AI应用是最引人期待的内容,也是华为云存储得以持续发展的源动力之一。按照张宇昕的话说,华为云存储可以做到“越用越快”,也成为了重续“摩尔定律”的重要保障。那么问题来了,我们遇到的许多电子设备都是越用越慢的,为什么华为云能够反其道而行之?

“越用越慢”这种事儿,大家在日常都有深刻的体会。比方说,刚买来的手机向来是响应快速、运行如飞。但是过了几个月之后,随着系统垃圾越来越多,手机运行速度便会下降,就需要不断地清理和优化,但是这也只是缓兵之计。等过了一年之后,手机就会变得卡顿,点开一个APP都要等几秒钟,严重影响用户体验。其实也不仅仅是手机,所有的电子产品都会有类似的问题。按照“摩尔定律”的说法,每18个月系统性能提升一倍,老系统自然也就越来越跟不上时代了。

微秒级数据处理 华为云存储的“快”节奏

但是基于AI的华为云存储正在解决这个问题。“在云端,伴随着用户越来越多,云的业务负载越来越高,资源的争抢也就越发明显。云服务商可以通过好的资源规划,通过运维人员及时响应客户需求,去调整、优化配置,但这一过程毕竟需要一定的响应时间。如今借助于人工智能,华为云存储可以在很大程度上实现系统自动化感知和调整,而不是通过人工干预。这样华为云存储就可以做到通过快速调整系统来响应客户的需求。”张宇昕表示。

很明显,张宇昕所希望的,就是借助于AI算法实现资源的自动调度,尽可能降低时延和性能损耗,并在条件允许的情况下实现“越用越快”的效果。在实现这一点之后,华为云存储也从技术层面保证了系统性能的最大化,让每一款硬件产品的性能得到尽可能的发挥,最终“逼近介质能力的极限”。

微秒级数据处理 华为云存储的“快”节奏

微秒级响应,听起来似乎有些超前,但正如张宇昕在演讲中提到,万物感知、万物智能、万物互联的时代已经到来,为加速各项依托云计算的创新产业发展、满足各类新兴应用对数据实时性的诉求,华为云将持续创新,打造出全新一代智能数据底座,最终引领云上存储进入微秒时代。

本文来自信息化观察者网,转载请注明出处。