将计算移到边缘,做共享云计算的先行者

云计算是一个技术的集合体,为不同行业的客户提供各种服务和功能,通过便捷的按需付费模式使用计算资源和各种云计算服务。

此时正在阅读这篇文章的您,有可能您的身份是想要处理大量服务于科学计算的志愿者,或者是需要处理复杂图像的图像工作者,更或者您是需要转换金融数据的金融分析师。对于以上的这些所有工作,您首先想到的应该就是需要更高性能的计算机或者是云计算,第一选择或许就是阿里云、亚马逊等云计算提供商,毕竟今天的云计算龙头代表是亚马逊、微软和谷歌,阿里云超过IBM,成为全球第四大云计算提供商。

云计算是一个技术的集合体,为不同行业的客户提供各种服务和功能,通过便捷的按需付费模式使用计算资源和各种云计算服务。云计算本质上是集中式的,大量的资源集中在少数的数据中心,以提高运营效率降低架构解决方案的复杂性。很多公司会更加愿意使用现成的优质服务,而不是将这笔钱用来够买昂贵的服务器来自己搭建一个小型云计算中心,因为成本和价格是首要考虑的因素。

但是这种集中化的云计算(公有云)存在一些局限性:在过去的几年由于物联网 (IOT),移动互联设备大量增多,在远端的位置产生大量的数据,并且通常将这些数据从远端传递到公有云。这种数据转移需要消耗大量的带宽,数据处理由于网络原因存在延迟,在传递过程中隐私性和安全性也有可能出现隐患,亚马逊更是推出用传统的物理手段来进行数据传输。例如一些大型基因研究机构的数据、一些数字电影的发行,都仍旧依靠飞机乃至邮政等非数字化手段进行传输。如下图是亚马逊的硬盘卡车服务:

AWS的硬盘卡车

在互联网应用和传输已经普及的今天,除了 AWS 之外,同样提供云服务的微软、Google、阿里实际上也有提供各式各样的物理数据(硬盘、光盘)运输服务。而随着计算规模的迅猛增长,信息传送的成本也会越来越高。

在通勤背景下我们也看到了类似的问题,我们都很熟悉从郊区到市中心的交通堵塞。但是如果引入新的工作方式,例如:在家办公,远程协同办公等。类似的可以引申到解决数据传输拥堵问题,将计算资源分布到数据源附近,允许至少做一次数据预处理,或者使用一些去中心化的计算框架进行数据处理,直接在数据源最近的设备上进行计算,减少发送回数据中心的数据量和数据传输时间。因此,云计算需要脱离传统的集中式数据中心,并使其服务更接近用户或拥有更分散调度能力和分散数据源。

当下也正面临一个新的转折点,5G 技术的发展,为万物万联做好了技术铺垫,客户端或边缘端的数据处理能力、设备数量和产生的数据量都将大幅提升。在未来的数据竞争中,数据产生在边缘却要更多的带宽和时间,将数据传输到中心化计算云端去处理之后再反馈到 IoT 设备的这种模式相比较数据在附近的技术节点计算反馈到 IoT 设备来说,显然是不占优势的。

Gravity

Gravity 希望能够打破这种僵局。Gravity 在共享计算领域,通过跨平台异构调度,构建在区块链上的算力市场,将异构算力标准化为 VCU 单元。通过去中心化异构调度,创建任务所需资源和业务场景,按照不同地理分布和不同设备的计算能力构建计算网络。 Gravity 利用闲置算力,降低算力和带宽成本,计算节点相比公有云更靠近用户边缘,计算能力比边缘计算网关算力更强。

Gravity 的主要用户分为算力提供者和算力需求者。算力提供者可以提供个人闲置资源(包括PC、公有云上空闲资源、矿机、矿池等),加入 Gravity 算力资源市场,并且根据提供的不同资源类型,接收和运行不同类型的计算任务,通过算力市场算力供需自动匹配,贡献算力的节点会自动获取相应收益。

Gravity 已经实现一个异构跨平台调度网络,能够跨越不同 OS、不同 CPU 架构,不同类型设备(盒子、手机、PC)的一个异构调度网络,调度可拆分并且有状态的 Job 作业,和容器资源调度网络进行互补。

相对应的,算力使用者,可以在 Gravity 算力市场上来购买和公有云供应商相同的云算力服务但是只需支付超低的价钱。不需要关心 IaaS 层算力的组成(可能是 arm 或服务器),相应的价格可能只是传统公有云服务的1/3。

截止到目前 Gravity 基于分散在各地的闲置算力资源,已经为企业提供高性价比的云服务,包括云端弹性服务计算 GEdge ,函数计算 GFunction 和大数据计算服务 GPMR,底层依赖于 VPC网络,通过基于 ICE 协议的网络服务实现节点之间连接。

GEdge:Gravity 弹性调度平台,算力提供者使用 Gravity 提供的客户端,管理和启动节点,来提供算力供应。算力使用者可以通过 GEdge 管理页面来进行部署私有镜像微服务等,通过 GEdge 管理页面进行实时管理、任务监控等,提供 ssh 打通到用户的所有实例,让使用者可以便捷管理、快速部署服务。

GFunction:Gravity 函数计算,对标 AWS Lambda, 用户可以方便的创建函数、快捷创建 Serverless 服务,支持 python/nodejs/go/java/php 等语言,提供基于消息队列,http 的触发器,提供使用实例自动扩展。

GPMR:Gravity Edge MapReduce,提供一个可以运行于各种常见边缘网关如手机、PC 等异构的 MapReduce 框架。计算节点之间通过 p2p 方式连接,节点之间对等,适用于在设备节点较多,数据可以大量拆分成小的分片来计算。算力使用者可以自行编写 MapReduce 代码,在数据开发平台进行提交,并获取计算结果。

以上三个产品可以根据实际业务场景和需求组合使用:

GEdge 适合于长期运行的服务 (如微服务、渲染服务等)

GFunction 适合于开发 serverless 的 api (如网络爬虫、模型训练等)

GPMR 适合于需要聚合的数据,和有状态的计算任务(如 GFunction 的输出数据)

最后

或许你会有另一个有关隐私的疑问。例如用户在 GEdge 上进行一次模型训练的工作,我们会考虑到这台机器的所有者是否可以访问我们的工作代码,并直接使用。普通用户一定不会访问这些文件,但是高级用户将会查看源代码并获取对资源的访问权限。在算力选择方面,可以选择质押或是授信的供应商,但即使是公有云计算提供商也不能保证资源安全。Gravity 的另一个优势就在于它将任务划分并将它们发送到许多不同的计算机,如果有人想要窃取完整的数据,那么他将不得不从数十台或者是上百台机器中去提取它们,同时我们提供基于 TEE 的执行环境,保障用户密钥和解密环境的安全,对于一些隐私安全较高的用户,提供作业定向调度到数据所在环境的定制化服务。

未来,Gravity 会优先支持一些优质的 SAAS服务提供者,中小企业和小型个人购买者将陆续的加入这个市场,他们能够购买与特定任务所需的资源和算力。越多人使用 Gravity 来处理自己的项目和任务,就会有越多人分享他们的电脑,参与到 Gravity 的网络中来。Gravity 的团队希望这种情况可以反过来:更多的计算机降低成本,从而吸引更多的买家。

本文来自信息化观察者网,转载请注明出处。

 

注:本站文章除标明原创外,均来自网友投稿及分享,如有侵权请联系dongxizhiku@163.com删除。

         

发表评论

您的电子邮箱地址不会被公开。