大数据时代：安防云存储应用

当前，视频安防监控技术结合大数据深度分析，使其与细分行业下用户需求相结合愈加紧密，尤其随着AI时代的到来，基于深度学习的人工智能算法结合安防场景化的落地，已经成为安防企业创新发展的试金石。在这个过程中，云存储技术正在不断适应AI+安防的应用特点，从用户需求角度出发，实现云存储技术迭代更新与应用延伸。

目前，业内的AI数据内容主要有人脸数据和结构化数据两种，包含机动车、非机动车、行人。数据类型包含了图片、抓拍记录、报警记录、图片属性信息等一系列非结构化数据。这类数据的特点是比较碎片化，与视频流数据类型不同。视频流可以保证持续不断的写入，而且文件打包大小比较均匀。但是碎片化的文件，由于其大小和数量都是未知，零散的写入对CPU和硬盘资源的消耗都是很大的。对于这种比较特别的数据类型，传统的流媒体服务无法进行处理。目前主流安防厂商都为此专门开发了用于拉取此类数据流的软件，安装在通用的存储硬件中就可实现存储功能。此外，通过应用层与底层的对接，可以实现一体化的AI数据云存储，但是当数据类型进一步进化，出现新的数据结构时，云存储将如何应对？因此，针对安防行业的业务特性，云存储的以下两大技术方向需要重点突破。

1、高效元数据组织和框架构建，解决大规模集群管理和海量文件的问题。

整个分布式系统中需要管理的节点数成百上千台，用户的一个真实文件会被分布在多台节点上，由多台节点负责承载真实数据的写入。在读取时需要经过元数据管理服务器请求拿到数据位置信息，从而发起读取。而针对元数据请求的性能是逐级递归还是一次访问就能完成操作，是衡量整个系统性能的关键要素。元数据服务作为核心，需要能在支持上千的节点、上万的客户端请求完成高速并发处理，这在基础的协议框架和信令交互模型上就需要考虑齐全，通过超高协议序列化和反序列化性能、可扩展的协议设计、网络框架模型、任务处理模型这些底层基础件上一层层向上，在每个环节中都做到高效处理。对于文件的数据块组织管理，一方面要控制较好的粒度实现IO能充分发挥多节点多磁盘的优势，另一方面需要降低元数据的管理压力，提升管理的集群规模数和文件数量。

2、明确的读写模型对提供业务使用语义，解决视频和图片不同写入和读取要求。

常见的读写并非提供一个接口就行，需要有明确的读写语义。比如文件系统提供的是文件操作语义，按open/write/read/close模式，并支持seek和修改、追加的语义；S3接口提供的是putObject/getObject接口，按照一次完成上传，上传后可以见的语义；HDFS提供的是类似文件系统的操作语义，但不支持修改。对视频而言，应该按照文件的语义但又无需支持追加和修改，仅需支持流式的写入，并支持边写边读，避免业务层需要开大缓存或者将视频文件缓存本地才能上传。对于图片写入方式也是同理，也应支持文件流方式写入。再从文件名角度看，由于每张图片对应一条前端的抓拍记录，因此对图片地址可以随结构化记录一起存储，对于用户来说无需关系图片地址生成方式，这意味着图片地址可以由系统返回进行生成。对于视频流存储后形成的录像文件来说，使用方可以无需记录每段录像文件名，通过云存储提供的指定文件名能力，按照自定义的业务逻辑生成文件名，后续按照规则进行查询即可完成录像列表或者指定录像文件的回放。

本文来自信息化观察者网，转载请注明出处。