集群存储 且看云中之云如何收放自如
——从某银行案例看海康威视金融视频云存储方案设计
- 来源：a＆s《测评＆选型》
- 2016/1/7 15:01:1972353
用实力精雕云容月貌
近年来，海康威视一路狂奔，营业额始终稳居国内安防企业，并是国内市值大的安防企业，在排名中，也仅次于霍尼韦尔。根据调查显示，海康威视保持着视频监控、DVR、摄像机等多项世界的行业地位，获得了344项申请及115项登记软件著作权，主持或参与多个安防行业标准的制订。在过去11年中，海康威视获得了充分的存储技术积累和行业应用沉淀，从2004年发布的自主研发的IPSAN产品开始，历经了万兆IP网络存储、监控专用直存技术、IPTV存储到云存储架构/行业云存储设计、视频云存储产品化等存储技术及系列产品的不断演进，多达300多人的软硬件云存储研发团队在高清化、智能化、融合化的安防技术发展趋势下，还在不断提升海康威视的云存储技术，力争实现具备“数据挖掘，智能分析”功能的“云存储＋”应用。
腾云驾雾，虚实有序
海康威视的金融视频云存储方案是在充分理解金融机构需求的背景下设计和实施的，本文结合其已落地某银行机构案例进行介绍。
云存储与前端弱关联
该金融视频云存储方案中，前端监控系统可于本地自建一套本地存储系统，前端设备数据直接映射到对应的本地IPSAN、NVR、CVR等设备中进行存储。
而云存储系统中，前端摄像机视频流直接经过网络存储到云存储资源池中，省去转发等中间环节；而数据的节点存储、存储策略等，则由云存储服务器进行分配。
架构设计：混合直存，极简而
海康威视金融视频云存储系统架构由视频云存储管理服务器和视频云存储存储设备组成。视频云存储管理服务器负责系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等工作，是整个系统的控制指挥核心;视频云存储存储设备是前端数据取流、存储业务执行的基础设备。
其直接取流方式，通过管理信息与存储数据分离的多平面设计，可以保证前端的数据流直接写入存储设备，大大精简了流媒体转发服务器的使用，传输节点的减少，同时优化存储结构，有利于降低故障率，并节省成本投入，提升了系统的稳定性和可靠性。在该云存储系统架构中，除海康威视摄像机外，还可通过SDK二次开发、ONVIF、RTSP、国标GB/T28181等方式接入第三方前端设备，音视频、图片等数据流直接经过核心交换机发送到视频云存储中心。
系统架构图
而存储数据的调用与管理，则由海康威视金融管理平台iVMS-8100完成，如视频的解码上墙、录像回放、视频内容分析、系统状态监测等。
3大技术亮点保驾护航
首先是虚拟化的存储资源整合分配。即存储资源池的合而为一，无论“池”中云存储存储设备的多寡，全面整合存储容量，始终以1个“IP”地址呈现，对总容量进行管理和维护;应用中，可按照实际需求对总容量进行分配;针对业务调整，分配后的容量可以灵活进行扩大和缩小。
其次是离散存储实现高并发和大吞吐的处理性能。采用流数据离散算法对数据进行均衡切片，数据块分布式存储于存储池的节点中，由此奠定了数据性的基础;该方式有助于降低单点故障数据的丢失概率和风险;而以集群的响应方式，提供并发服务，提高响应及传输速率，如高速并发下载。
第三是集群技术保证存储系统的高可靠性和安全性。集群运行负载均衡算法，全面提升系统内设备利用率，均衡设备压力;集群根据前端数量变化、存储设备数量变化动态调整系统压力，保持业务的稳定和;系统采用N＋M系统级高可靠性和业务持续性，全面提升安全系数。
云存储物理架构
优化存储架构，为平台减负伴随云存储架构的科学设计，以云存储为数据池的平台管理也随之优化，主要是将平台中原有的功能模块直接移植到云存储系统中，在实现为平台减负的同时，充分利用了云存储系统的强大集群处理能力，如存储管理、负载均衡、录像执行、补录业务、数据转发、周期管理、索引管理、容量整合、服务整合、存储运维等，从而让平台有更多的资源执行智能分析与运维管理应用。
在此云架构下，视频云存储系统能提供一套深度贴合用户需求的存储系统，将安防行业常见应用功能封装在存储系统软件内部，持续地为用户提供、灵活、可靠的专业级存储服务，可实现视频存储、录像管理、系统管理、运维管理等功能。
系统减负前
系统减负后
特点：云布雨施，恩泽应用本段所述，为海康威视在金融领域的金融云存储的“标准云存储”方案，适用于较大规模数据存储需求。标准云存储方案突破了本地存储1对1的局限性，并实现了N(前端摄像机)对N(存储节点)的弱关联的灵活部署与取流，全面优化的压力均衡策略及全集群化的性能提升和容灾备份机制，实现了虚拟化存储资源的简洁、灵活性，提升了存储空间使用策略的性。与集中式或本地存储相比较，该云存储系统具有容量无上限、多点故障录像不中断、容量虚拟化整合、容量按需分配、容量动态调整、录像负载均衡、录像动态调整、前端直写、高速下载等特点，并通过丰富的应用接口实现视频应用扩展。
深入应用，“微视云”水到渠成
与标准云存储方案相比，海康威视“微视云”继承了标准云存储的功能及优势：在微视云环境中，前端与虚拟资源对应，与存储弱关联;系统资源虚拟化，支持动态负载均衡、分散存储、故障切换、动态接管等功能。不过“微视云”的提出，更贴合了当下云存储的项目需求，其适用于小规模安防存储、分散本地存储、分级扩容存储需求的项目，与“标准云存储”方案的主要区别是，“微视云”没有元数据服务器部署，只有存储节点，存储节点兼具云存储管理服务器和云存储存储设备的双重身份，实现自治管理。由于很强的针对性设计，主要满足于存储节点服务器数量为3-8台、监控点位在1024路以内的项目环境中应用。
该“微视云”除没有元数据服务器外，其他特点与“标准云存储”一致，如集群化、虚拟化、分散存储等;需求少、项目投入低时，采用“微视云”即可满足需求;随着后期项目需求的变化，“微视云”也可轻松升级为标准视频云存储系统，具有很强的适用性和灵活的伸缩扩展性;同时，云存储系统与本地存储系统的弱关联，为金融等行业的分散式布点的集中应用提供了集中存储、异地灾备、中心调度、集中式数据分析等全新设计方案，利于构建大数据集中管控平台。
云存储和CVR集中存储对比
云存储和IP-SAN对比
建设与维护：云淡风轻海康威视金融云存储方案为了进一步提升系统易建设、易维护、易使用的特点，开发了专用智能机柜。该机柜一体化集成了电源分配单元PDU、供配电系统、对各子系统和节点状态进行实时监控的动环主机、支持故障断电续航的UPS、确保机柜始终处于舒适运行环境的制冷除湿的精密空调以及设备运行状态指示灯等，19英寸标准机柜可承载1.5吨负重，集中式安装设计，非常便于云存储中心的快速搭建，且在专业机柜保护下，既能保证系统的长期无间断稳定运行，又便于后期维护。
另一个独特设计便是通过该云存储系统所支持的平台软件进行运检维护：
硬件运维：对视频云存储系统内的硬件系统如服务器、存储设备的CPU、内存、网络、系统压力、磁盘、块设备、风扇、温度等硬件模块进行监控和管理;
软件运维：对视频云存储系统内的软件模块运行状态进行监控、对包括资源池的存储空间利用、前端接入和录像情况等进行监控管理等；
实时监控：视频云存储运维软件采用实时采样的管理策略，动态更新当前系统的运行状况，提供管理依据；
系统告警：当视频云存储系统在运行的过程中发生如硬件故障、系统压力过大、软件资源消耗过大等状况时，运维系统会采用实时的语音、邮件等告警方式提醒管理人员采取相应的措施。
通过软硬结合，将云存储系统的建设、运维管理上紧密合为一体，体现了建设简捷、运行状态清晰、维护方便的建设思路。
干霄凌云，落地成型
以该方案为基础的视频云存储系统已经在某银行中得到成功应用，项目部署了600多个不同品牌高清摄像机，同时需要监控的区域分为工作区域和生活区域。其中，云存储系统要满足工作区域的监控点长达365天的移动侦测录像存储;生活区域的监控点要求长达存储90天的移动侦测录像。
该项目的视频云存储系统在设计方面，考虑到系统整体的运行效率、稳定性、可扩展性等因素，部署了2台管理服务器组成视频云存储管理HA共同负责整个视频云存储系统的业务响应、资源协调、策略调度等工作。视频云存储的存储设备部署方面，由于前端高清摄像头数量及存储周期规划，整个项目共采购了8台存储设备，由8台DS_ASH48高性能存储设备组成统一的存储资源池，共同对外提供存储服务(目前整合存储容量达到1500TB)。并采用了海康威视iVMS-8100金融平台，对监控区域内的所有监控视频以及摄像机、门禁、报警、对讲等设备进行统一化的管理，由于本项目涵盖了其他主流厂家的设备，所以对兼容性方便提出了很高的需求，其中用户要求云存储系统能支持第三方前端的接入，不仅要能实现其他厂家IPC的数据能接入存储，而且还要在实现接入的前提下，提供较高的稳定性和保障性。
本项目中视频云存储系统的成功实施不仅满足了项目银行视频数据存储的需要，在为客户节省大量投资的基础上，提供了一套功能完备、性能优越的视频存储解决方案，大大提高了银行内部监控系统的安全性和可靠性。
除了适用于银行领域外，该云存储方案也可在造币厂、*、平安城市、智能交通、广电、报警运营等领域应用。