平安城市视频监控云平台解决方案解析
本期导读
不同于传统IPSAN存储采用RAID冗余技术来保障数据安全,云存储专门针对视频监控录像属于流媒体的特点,特地开发出保障高数据安全性和连续性的专利技术图像修复技术,即时在发生意外情况,磁盘超过冗余上限的情况下,视频不会中断,也只是会丢失其中部分图像,保持业务连续性。
云存储平台系统可分为硬件平台、存储软件系统;
硬件平台:包括网络和物理节点及节点内的硬盘、网卡、NVDIMM、内存等;
存储软件系统:主要是分布式文件系统和多种增值特性、提供对外共享的NAS共享服务、性能负载均衡、多种策略管理、提供对整个系统统一管理的管理系统。
应用云存储系统层次架构如下图所示。
结合XX市XX区的实际现状和未来建设的需求,采用视频存储云的方式来进行平安城市视频监控系统的建设规划。视频监控存储云系统按照地域划分的“三个云存储子域”。如上图所示,按照数据就近存储和读取的原则,在XX区选择甬江,洪塘,白沙三个派出所建设数据中心,每个数据中心部署一套云存储子域,每个云存储子域都能作为一个单独的视频存储系统提供视频数据的存储、读取、分析等业务。
各业务软件可以根据需要将数据存储到不同的云存储子域中,也可以从多个云存储子域中读取数据,有效的在多个云存储子域间分担了负载压力,各种业务软件可以根据需求就近获取视频数据,节约网络传输的开销。视频存储云作为平安城市视频监控系统建设的全新模式和系统架构,具备如下的关键特性和能力。
(1)视频存储云:
将XX区的存储进行云化,形成视频存储云架构,视频存储云内部将各派出所数据中心的云存储资源划分为不同的云存储子域,各存储子域构建在高带宽低延迟的IP环网上,从而将三个存储子域组合为视频存储云。各种视频监控业务系统接入到视频存储云中,可根据就近原则,保存到相对应的存储子域中,另外视频存储云可通过统一管理、统一调度、统一分配,大幅提升视频数据的使用效率,降低视频数据的使用复杂度。
(2)视频存储云策略化管理:
为保证各种业务在使用视频存储云时的灵活性,可以为接入的各种业务数据设置不同的存储策略,如:存储数据的冗余级别(根据视频数据的重要程度设置安全级别,最高可达到4份冗余,比RAID6还高两个级别。
(3)视频存储云扩展能力强:
为适应视频监控业务的快速发展和视频分析技术的不断发展,需要在存储域、容量、性能、接口等多方面满足后续长期扩展的需求。
(4)视频存储云可靠性强:
随着平安城市视频监控系统的不断发展,视频数据的重要性不断提高,关键的视频数据不能出现丢失或损坏, 视频存储云支持单个存储子域内的多种级别的数据冗余保护机制,从1份冗余到4份冗余,最高可以保证4个云节点故障数据仍然可用。
云存储详细组网
上图为单个派出所数据中心内云存储组网,从图中可以看出,和云存储相关有两套网络,一套为云存储内部数据交换网络,一套为业务网络。 其中,云存储内部数据交换网通过各云存储和两台10GE交换机互联,对于写入云存储的数据都将会切片通过内部数据网络进行分散存储。业务网络为各云节点和接入交换机连接,然后接入核心交换机,对于前端摄像头数据,经由部署在计算云中的大华流媒体存储服务器,通过业务网络,写入云存储中。
云存储方案采用是电信级可靠性理念设计,可靠性高达99.999%,具体可靠性设计技术如下:
(一)存储网络冗余设计
业务服务器通过以太网绑定方式接入IP网络,内部交换模块具备电信级可靠性,且与用户IP环境组成双交换网络,通过IP协议确保任何一个网络端口、网络交换模块(如:交换机)、网络链路发生故障,业务系统依然能够正常访问云存储中的数据,从而保证系统可靠性。
(二)硬件级可靠性
方案的核心组件采用电信级硬件,有效的提高系统的可靠性,使用的可靠性技术包括:
多BIOS设计,任何一个BIOS离线或故障,其余的BIOS将接管服务,对外业务不中断,从而使得硬件和Fireware支持在线升级;
风扇采用2+1冗余,支持热插拔、自动调速;电源采用1+1冗余。节点内热敏位置都布置了温度监控部件,通过这些部件实时监控系统中各个产生热敏位置的温度,根据温度的高低平滑的调控风扇转速。
可以有效防止系统过热,造成不稳定;
风扇无须时刻都工作在高转速状态,降低风扇的故障率和能耗;
有效减少灰尘的进入、提高了系统的可靠性;
(三)系统级可靠性
云存储能够支持比传统RAID算法更高的可靠性和更灵活的冗余策略,其设计思路是对文件进行原始分片(M份),通过纠错编码生成N个冗余校验块文件。写入时,由客户端进行切片(M)和转码(N),系统自动从各存储节点中选择一个硬盘组成一个M+N个磁盘的磁盘组,分别写入M+N份数据,同时损坏N份数据保证数据不丢失,极大的保证系统业务的连续性。数据恢复技术的技术优势主要体现在以下几个方面:
- 1.强大的数据冗余性
更加灵活的冗余方式,N+1,N+2,N+3,强于传统的RAID5、RAID6,为用户的数据存储提供更大的安全保障。
- 2.更高的读写高性能
独特的算法和软件实现,保证系统最大磁盘的并行读取,提供更高的性能体验,实现更快的访问速度。
数据恢复技术数据重构完成后不会回拷回原来槽位更换后的磁盘,而是智能的在整个系统中选择空闲空间来存储校验后的切片文件,效率比传统RAID的重构回拷方式更优。
(四)业务连续性
不同于传统IPSAN存储采用RAID冗余技术来保障数据安全,云存储专门针对视频监控录像属于流媒体的特点,特地开发出保障高数据安全性和连续性的专利技术图像修复技术,即时在发生意外情况,磁盘超过冗余上限的情况下,视频不会中断,也只是会丢失其中部分图像,保持业务连续性。
需要管理的前端规模已是1200的规模,同时随着高清摄像头的逐步普及,数据量倍增,作为XX市XX区平安城市的关键系统之一,数据完整性和可靠性极为关键。目前,安防业界普遍采用传统RAID5技术保护数据,这意味着2块硬盘故障,整个硬盘组的数据都会丢失,如一般的11盘2TB的RAID5组,一旦损坏即100%丢失约近800小时D1摄像头的数据。另外,单硬盘容量已提升2-3倍,坏盘导致数据丢失量“大得惊人”。
华为拥有数据完整性技术的专利,针对安防视频流数据特点,在云存储中实现“只要有好盘,数据即可读出”,同样类似11盘+云存储最低冗余为例,2个盘故障,数据仅会损失(非丢失)10%,即监控画面局部出现马赛克而已。结合云存储上述其它高可靠机制,关键数据“0”丢失。
-
-
{{item.createTime}}
{{item.userAccount}}
匿名评论
{{item.likeCount}} {{item.content}}
-
-
{{item.replyTime}}
{{item.replyPerson}}
{{item.replyContent}}
-
栏目简介
篇幅虽短却能网罗业内最新的热点事件、各类黑科技的前沿资讯,我们以独特的视角进行解读,并邀您一起展望行业的未来发展。