大数据时代:安防云存储应用

当前,视频安防监控技术结合大数据深度分析,使其与细分行业下用户需求相结合愈加紧密,尤其随着AI时代的到来,基于深度学习的人工智能算法结合安防场景化的落地,已经成为安防企业创新发展的试金石。在这个过程中,云存储技术正在不断适应AI+安防的应用特点,从用户需求角度出发,实现云存储技术迭代更新与应用延伸。

当前,视频安防监控技术结合大数据深度分析,使其与细分行业下用户需求相结合愈加紧密,尤其随着AI时代的到来,基于深度学习的人工智能算法结合安防场景化的落地,已经成为安防企业创新发展的试金石。在这个过程中,云存储技术正在不断适应AI+安防的应用特点,从用户需求角度出发,实现云存储技术迭代更新与应用延伸。

目前,业内的AI数据内容主要有人脸数据和结构化数据两种,包含机动车、非机动车、行人。数据类型包含了图片、抓拍记录、报警记录、图片属性信息等一系列非结构化数据。这类数据的特点是比较碎片化,与视频流数据类型不同。视频流可以保证持续不断的写入,而且文件打包大小比较均匀。但是碎片化的文件,由于其大小和数量都是未知,零散的写入对CPU和硬盘资源的消耗都是很大的。对于这种比较特别的数据类型,传统的流媒体服务无法进行处理。目前主流安防厂商都为此专门开发了用于拉取此类数据流的软件,安装在通用的存储硬件中就可实现存储功能。此外,通过应用层与底层的对接,可以实现一体化的AI数据云存储,但是当数据类型进一步进化,出现新的数据结构时,云存储将如何应对?因此,针对安防行业的业务特性,云存储的以下两大技术方向需要重点突破。

1、高效元数据组织和框架构建,解决大规模集群管理和海量文件的问题。

整个分布式系统中需要管理的节点数成百上千台,用户的一个真实文件会被分布在多台节点上,由多台节点负责承载真实数据的写入。在读取时需要经过元数据管理服务器请求拿到数据位置信息,从而发起读取。而针对元数据请求的性能是逐级递归还是一次访问就能完成操作,是衡量整个系统性能的关键要素。元数据服务作为核心,需要能在支持上千的节点、上万的客户端请求完成高速并发处理,这在基础的协议框架和信令交互模型上就需要考虑齐全,通过超高协议序列化和反序列化性能、可扩展的协议设计、网络框架模型、任务处理模型这些底层基础件上一层层向上,在每个环节中都做到高效处理。对于文件的数据块组织管理,一方面要控制较好的粒度实现IO能充分发挥多节点多磁盘的优势,另一方面需要降低元数据的管理压力,提升管理的集群规模数和文件数量。

2、明确的读写模型对提供业务使用语义,解决视频和图片不同写入和读取要求。

常见的读写并非提供一个接口就行,需要有明确的读写语义。比如文件系统提供的是文件操作语义,按open/write/read/close模式,并支持seek和修改、追加的语义;S3接口提供的是putObject/getObject接口,按照一次完成上传,上传后可以见的语义;HDFS提供的是类似文件系统的操作语义,但不支持修改。对视频而言,应该按照文件的语义但又无需支持追加和修改,仅需支持流式的写入,并支持边写边读,避免业务层需要开大缓存或者将视频文件缓存本地才能上传。对于图片写入方式也是同理,也应支持文件流方式写入。再从文件名角度看,由于每张图片对应一条前端的抓拍记录,因此对图片地址可以随结构化记录一起存储,对于用户来说无需关系图片地址生成方式,这意味着图片地址可以由系统返回进行生成。对于视频流存储后形成的录像文件来说,使用方可以无需记录每段录像文件名,通过云存储提供的指定文件名能力,按照自定义的业务逻辑生成文件名,后续按照规则进行查询即可完成录像列表或者指定录像文件的回放。

本文来自信息化观察者网,转载请注明出处。


微信扫码加入本站知识星球下载6000+最新精选行业报告

发表评论