云存储推动云安防落地
- 来源：中国公共安全5月刊
- 2014/7/11 11:21:004444
网络化技术的普及，使得视频资源的联网共享成为很多行业日益迫切的需求，现有分散的视频资源正在朝着大集中的方向推进；平安城市、智能交通等大行业市场通过点、线、面的密集覆盖，每时每刻都在增加新的视频源；720P，1080P，4K，更高的视频分辨率意味更大的视频信息量。
这些不断增长的视频数据在带来海量视频存储需求的同时，也对当前的视频存储技术提出了一系列新的挑战：如何实现存储容量的平滑扩展？如何有效的降低由此带来的存储成本？如何更可靠地保存、更安全地使用和更便捷地分享这些数据？如何解决越来越庞大的系统给维护管理带来的困扰？
答案就在云存储。
云存储的定义
云存储是在云计算概念上衍生和发展出来的一种技术或服务。将网络中各类存储设备汇集在云计算系统当中，通过云计算的概念组织起来协同工作，对外提供数据存储和业务访问的功能以及与存储相关的增值应用，即称为云存储。
云存储和云计算都是云架构的技术实现，任何应用都需要一个计算模型、一个存储模型和一个通信模型。云计算中，为了实现资源的弹性利用以及给用户造成资源无限的假象，必须实现资源的复用。云存储也是一样，它通过虚拟化和精简配置技术，让资源的效益大化。
与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。
云存储对外提供的是与存储相关的服务。云存储可以提供类似于磁盘阵列的裸空间服务，也可以提供基于存储的特定服务。
云存储的系统架构
要了解云存储的系统架构，需要先了解其应用架构。我们以平安城市为例来看云存储的应用架构。在平安城市中，云存储可为多个系统提供存储服务，包括视频监控、卡口电警、图像资源库、图侦分析研判等。其可完成日常视频录像资源、各个案件中所涉及的视频和图片等资源、卡口电警所产生的车辆抓拍图片等资源的统一存储。
从应用架构上看，云存储系统与传统分布式存储系统差异并不明显，其更本质的区别其实体现在内部软件架构上。
云存储系统采用大规模分布式并行文件系统，以大量的服务器和存储设备为基础，构建一个大规模存储集群，提供上百PB的存储容量，并能够在线进行容量的扩充，由此搭建的大容量存储系统整体成本远低于传统存储架构，并且具有良好的可扩充性和灵活性。
云存储系统通过元数据和存储数据分离的非对称式架构，通过负载均衡和数据并发访问策略，在普通硬件条件下获得高达数十Gbps的传输速率以及上百PB级的存储容量，并可根据用户应用发展的趋势，适时按需进行在线动态扩展。与单机的文件系统不同，分布式文件系统不是将这些数据放在一块磁盘上由上层操作系统来管理，而是存放在一个服务器集群上，由集群中的服务器，各尽其责，通力合作，提供整个文件系统的服务。
云存储系统内置了基于对象数据管理策略，能够保证在系统局部发生故障时数据的安全性和可靠性，彻底消除存储系统中的单点故障，结合自动故障探测和快速故障恢复技术，确保用户的应用持续稳定地运行，同时减少部署和管理的难度。
更直观的理解，云存储系统本身也是构建在通用磁盘阵列之上的，它通过通过操作系统的API管理磁盘上的数据，只不过这样一个系统在逻辑上可以分为元数据节点（控制节点）、数据节点（存储节点）、管理节点以及客户端四个部分，这四个部分分别对应了上面提到的云存储的4层结构模型：
1）元数据节点（控制节点）
元数据节点即控制节点，用于记录所存储的文件的各种属性，相当于整个文件系统的大脑，管理各个数据节点，收集数据节点信息，了解所有数据节点的现状，然后给它们分配任务，协调指示各数据节点为系统服务；
2）数据节点（存储节点）
数据节点即存储节点，用于管理磁盘和卷和存储用户的文件数据，是整个存储系统的存储资源提供者，它同时还负责集群构建，包括节点管理和数据分片，并承担数据冗余保护和对数据访问的负载均衡；
3）管理节点
管理节点统一管理云存储系统中的集群节点、文件、日志、告警、网关等，同时提供日志管理、性能监控、配置管理、故障管理等能力，方便系统管理维护人员管理云存储系统；
4）客户端
客户端在一个独立的进程中提供服务，为用户提供文件读写、目录操作等APIs，当用户需要使用分布式文件系统进行文件读写的时候，将客户端安装至需使用系统的服务器，即可使用系统提供的服务。
在科达云存储系统中采用三台元数据节点，起到对元数据的重要保护（冗余）和负载均衡的作用（提升系统性能）。数据节点定期向元数据节点汇报其状况，等待并处理命令，实现数据、安全读写。在系统中，数据切片的大小可以调整,以满足不同客户对数据文件存储策略的设定要求，同时采用完全镜像副本保护数据文件。
云存储与传统存储系统的对比优势
与传统存储相比，云存储具备以下几个方面的显著优势：
1）存储容量的弹性扩展
传统存储设备大容量有限，当达到一定扩展能力就很难再扩展，同时存储性能、安全性、可靠性和经济性都大大降低。云存储能够通过集群很容易获得PB级存储容量，存储扩展没有限制，可随时随地在线增加存储节点来满足存储容量需求，并且能够做到“增加存储节点，数据自动重组，减少存储节点，数据自动恢复”的弹性和可伸缩性。
2）高并发读写性能
传统存储设备的并发读写性能容易受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受网络吞吐能力的限制。云存储技术可将存储节点的带宽聚合，随着存储节点的增加可以实现带宽的线性增长，理论上带宽是无限的。同时在云存储系统中数据文件是拆分成数据块进行条带化存储在多台物理存储节点上的，能够快速的并发访问数据。另外云存储中数据存储是采用多副本策略存储的，可以实现热点数据的负载均衡访问。
3）可维护性
云存储系统采用数据冗余存储机制，硬盘或存储节点损坏时，其余节点可自动重组，数据不丢失，系统运行不受影响。这一点大大提升了海量存储节点的可维护性。当前来看，直观、能够体现云存储优势的就是可维护性。以科达云存储系统为例：传统的存储设备，通常用RAID方式进行冗余备份，当有硬盘损坏时，RAID重构时间通常要十几个小时，这期间如果再有硬盘坏掉，数据就无法恢复了，所以维护人员需要在时间赶到现场更换硬盘，7×24小时待命；科达云存储采用分布式文件系统，数据的存储和备份不再依赖单台设备的能力，有硬盘坏掉时，其余的硬盘将自动进行重构，恢复受损的数据，这只需要十几分钟的时间，维护人员只需要定期检查硬盘的损坏情况，并更换新硬盘即可，维护非常简单。
4）安全性、可靠性
传统存储设备提供的是一个透明的存储空间，原始数据直接存在存储设备上的，数据可以直接访问和使用，并不具有信息安全和私密性。云存储中的数据传输是加密的，首先用户并不知道数据存在哪个物理硬盘上，而且数据在存储设备上是按文件块存储的无法直接进行访问。用户存储的数据只有自己有权限进行访问和管理，系统管理员也无法读取。
5）资源共享性
传统存储设备一般是以单一形式工作，无法做到多台设备之间的容量和带宽聚合。而云存储集群文件系统，不受限于硬件存储节点的数量，可灵活的进行统一管理和共享。云存储可以把一个存储池共享给多个用户进行访问，传统存储受限于容量和带宽的性能是无法做到的。云存储提供全局统一命名空间，提供示准的文件访问接口，支持主流的文件传输协议，同时支持API接口可于应用程序更的结合，实现佳访问效率。
6）总拥有成本低
云存储系统采用高性价比的以太网络和存储节点构成，比传统的中存储设备具有更好的性价比优势。云存储扩容相对比较灵活，可根据业务随时随地的进行弹性扩展，用户不需要在前期一次性购入，需要时可在线进行性能和容量的扩展，从而能够保护用户的前期投资。更重要的是，云存储通过前面提到的可维护性，可以在管理维护上大大节省用户的总拥有成本（TCO）。
结束语
视频图像的存储特点是对实时的存取性能要求较高，而云存储的系统架构决定了它能够以较低的总拥有成本很好的满足海量高清或标清视频的并发写入、读取，并能实现快速配置和即插即用。
因此，虽然短期来看，云存储的需求当前主要还将集中在平安城市、智能交通等大行业市场以及基于公有云架构的民用市场，但相信未来随着网络化更全面普及和海量视频共享需求的更快速增长，其应用前景将更加广阔。