智慧城市网

　　【中国安防展览网 品牌专栏】 共享是当下非常流行的一个词汇。在我们掌握资源不充足的情况下，通过其他资源的拥有者提供有价值的资源和信息形成合力是共享的现实目的。视频内容共享平台(以下称共享平台)大致位于PAAS层，其必然以视频为核心共享资源，以数据为主要接入领域，以共享为核心精神理念，突出了能力开放，并且可以内嵌数据碰撞技术。
 

　　共享平台的任务应该是将资源分门别类地管理起来，将获取的非视频类数据存入数据湖进行存储、碰撞和关联，并且提供能力开放中间件，针对各种应用场景提供大限度的开放能力特别是视频和数据能力，有效地降低SAAS层业务软件的开发门槛。
 

　　传统的共享平台，其着重点在“平台”，因此其产品多是类似某某系统某某客户端这样的看得见摸得着的东西。本文中提到的共享平台，其着重点在“共享”，其产品是服务和能力而不是具体的客户端或者某某系统。具体呈现等这些可见化产品可以由第三方来完成。
 

 

　　数据共享存在的问题
 

　　异构排他
 

　　在不同厂家的数据平台建设中，由于各个厂家内行的运行机制和报文协议的差异，导致两两不同厂家的数据平台往往不能直接互通，我们称这种现象为“异构排他”。在这种环境下，无论是交互的报文还是流转的数据，必须通过修正才能无缝地衔接到另一方的平台中从而实现单向共享。
 

　　组网复杂
 

　　在智慧城市领域组网情况较为复杂，尤其是政务办公系统和平安城市系统，其网络环境包括视频专网、视频内网、政府政务办公网、互联网等。两两单位之间的互传，往往要跨越数个网络环境，而中间也必然包含了网闸、安全接入平台、NAT服务器等多种网络设备，在向公众发布数据资源的时候还要考虑CDN的影响。
 

　　所有这些，构成了复杂组网情况下资源互通的通路性障碍。尤其是在处理视频、交警过车等大流量数据的时候，需要对每种组网情况进行数据的针对性包装，并且在交互的时候要根据每种网络设备的情况进行特定的交互处理。
 

　　海量数据
 

　　智慧城市领域中的数据是包罗万象的，其中交通领域的过车信息、公安领域的视频监控都是海量的数据。这些数据动辄以亿条/TB为单位，他们的传输、存储、管理等都面临着的压力和困难。
 

　　稳定性传导
 

　　不同厂家的产品其稳定性、使用性、兼容性参差不齐，在数据资源的供给侧，如果数据生产和传输的服务宕机会影响到整个数据链路的传输和稳定，并且终体现在数据资源的消费侧，这对于数据平台的集成方是一个不可忽视的问题。
 

　　安全控制
 

　　安全控制体现在权限管理、数据加密、入侵检测、反病毒等多个方面。由于异构问题，导致权限兼容性差，未考虑边缘问题等；并且同样由于异构问题，导致核心信息需采用明文传输；在互联网一侧，由于远程过程调用权限甚至服务器权限的开放，导致种种异常主机入侵和非法模块注入的问题。
 

 

　　你认为的共享平台是这样的？
 

　　共享平台作为PAAS层的平台，提供的是能力和服务，当然也可以基于能力和服务开发具体的SAAS层产品，但不是主业，从这个意义上说，共享平台就是能力开放中间件。以下技术可以使共享平台架构更加合理、安全性更高，兼容性更强，资源分类和提供更加智能化。
 

　　1、综合管理技术
 

　　共享平台集成多种数据资源，必然需要用到综合管理技术。以Activity工作流机制驱动综合管理，可以根据现场不同的业务需求场景自定义工作流模板，表单可以复用，极大地简化了定制开发工作量。ProcessEngine对象和Activity工作流引擎是Activiti工作的核心，负责生成流程运行时的各种实例及数据、监控和管理流程的运行。目前主流的工作流框架还有：JBPM、OSWorkFlow、WorkFlow等，都可以用来改进综合管理的细节。
 

 

图 1 Activiti 引擎的系统服务结构图

 

　　2、深度学习和大数据技术
 

　　目前主流的智能分析产品均已采用了深度学习技术。相较于深度学习，浅度学习(例如adaboost算法)是基于统计模型的机器学习算法。利用BP(反向传播)算法让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起早先基于人工规则的系统，在很多方面显出优越性。这种人工神经网络，虽也被称作多层感知机(Multi-layer Perception)，但实际是种只含有一层隐层节点的浅层模型。
 

　　深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”才是目的。
 

　　区别于传统的浅层学习，深度学习的不同在于：1)强调了模型结构的深度，通常有许多层的隐层节点；2)明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。因此深度学习与大数据的结合是共享平台的重要特征。
 

 

　　3、安全防御技术
 

　　针对共享类平台，尤其是互联网平台的安全防御是非常重要的。安全防御包括网络安全、web安全、防入侵、防注入、重要信息加密、权限管理等策略。因此共享平台需要对安全防御做出规划。
 

　　•针对重要核心信息可以采用加密存储和传输的策略，并且规划合理的分层级的权限管理策略，尤其是针对流媒体、文件媒体等资源，需要经过认证才能申请。
 

　　•共享平台可以采用核心软件硬件化的策略防止不良模块注入，并通过对重要系统调用挂钩的方法监控调用参数和调用行为，将这些参数和行为汇总到安全监控模块，并通过大数据模块的分析产生常见调用行为和罕见调用行为的分析报表。
 

　　•共享平台也可以采用安装过滤型驱动的方法监控网络流量。例如基于winpcap方式堆叠在NIC驱动之上，在链路层即开始监控网络流量信息，绕过NDIS、TCPIP协议驱动和AFD。
 

　　一般来说，过滤得越底层，防入侵侧级别和安全性越高。这些大量的流量信息，包括源端和目的端、报文长度等细节，可以作为重要数据源汇聚到大数据模块，作为流量分析、网络异常监控的主要依据。
 

图2 网络协议栈驱动结构图

 

　　4、流媒体处理和传输技术
 

　　基于平安城市领域的建设基础和互联网视频发展的大趋势，尤其是当今三屏合一技术的发展，共享平台应该针对性地对管辖内的视频流进行了整合和协议优化，例如可以针对公安网、政务网、互联网三大共享领域规划对应的两个能力输出中间件模块，并针对视频、图片、文本数据三种数据类型分别予以考量。
 

　　•基于公安网系统同时也应考虑了网闸和安全接入平台的存在。在具备安全接入平台或网闸的情况下，要考虑其过滤传输的速度，因此在大数据量的并发上可以采取一定的限制措施和存储策略，尽量减轻网闸设备的负担。并且采用标准和通用的协议及方式进行协商会话。
 

　　例如GB28181、RTSP、RTMP、webservice等，特别是对于流媒体的处理，既支持PS\TS\RTP以及特定封装等方式的流式打包，又支持H.264、H.265、SVAC的编解码和转码，同时支持从1080P到CIF分辨率和多码率的自适应转换。为了支持传输和存储的要求，也可以增加了基于SVC时域模型策略的抽帧。这是共享平台个能力输出中间件的使命。
 

　　•基于政务网和互联网系统既要考虑网闸等因素的存在，也要考虑在互联网条件下的大规模共享和展现。这是共享平台第二个能力输出中间件的任务。为了适应三屏合一和互联网共享的要求，共享平台的门户页面可以采用Html5技术，流媒体可支持RTMP和Http live streaming两种共享机制，并且HLS的TS分片可以自定义长度，对于MMS和MPEG-DASH这样不怎么常用的协议也需要支持。这对于移动互联网条件下的传输有很大意义。
 

　　针对家庭店铺和小区安防，共享平台应支持多种私网穿越手段，大限度地接入这些设备和平台，并选用这些手段中佳的传输策略保证传输质量。共享平台对于视频的封装除了支持个中间件的流式封装外，也需要支持文件态封装，包括FLV、MP4、RMVB、AVI、webM、3GP、WMV、MKV、MPG、VOB、MOV等格式，以便于互联网条件下的视频传播，使广大人民享受智慧城市建设带来的红利。
 

 

　　5、存储/缓存技术
 

　　数据可以分为文本数据、图片、视频三类。对于文本数据可存于大数据平台中，而对于图片和视频则既可以存于IPSAN/NAS系统中，也可以存于直连式存储系统中，更可以存入公有/私有云系统中。存储的速度取决于网络传输速度或磁盘IO的速度。
 

　　同时，共享平台的流媒体服务针对互联网共享应用，可以优化缓存存储策略，例如可以在流媒体服务端提出合理的缓存置换策略，以片源文件为单位对其进行访问热度标记，通过加载filter driver的方式对操作系统中的IO管理器进行干预，屏蔽原来的缓存管理策略，针对性地优化内存页面和磁盘页面的倒换机制，使访问更加迅速，内存页面的驻留更加合理和有针对性。
 

　　6、数据接入接出技术
 

　　共享平台的数据接入接出技术主要包括物联网设备接入、数据资源平台接入接出三方面，并且要考虑复杂组网条件下的互通策略。一般来说，站在软件平台的角度，我们把设备和平台的接入叫做南向，平台的被接入称为北向。其中囊括的接入接出方式包括：
 

　　•基于二进制编码协议方式：多见于物联网设备串并口接入方式，传输的数据量较小，多用于传输控制或告警信息，读取的基本单位是bit。一条控制报文一般只有几个字节。
 

　　•基于私有报文的协议方式：多见于物联网设备厂家接入领域。例如铁塔B接口、移动B接口、厂家私有协议等。这类协议有的是基于二进制方式编码的，有的是基于HTTP方式编码的，也有的是基于自定义格式编码的。
 

　　•基于HTTP协议方式：多用于控制报文，在http协议报文头/体中封装了厂家/协会自定义的控制信息。例如视频监控领域的onvif协议的控制部分就是基于http的。
 

　　• 基于SIP方式的协议：多用于视频监控系统，对于视频会话管理有着原生的支持性和融合性。GB28181就是基于sip方式的协议。
 

　　•基于RTSP协议：用于流媒体传输控制，onvif协议的流媒体部分采用rtsp协议。
 

　　•基于RTMP协议：同样用于流媒体传输，包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种，是flash等播放器和视频互联网站支持的协议。
 

　　•基于hls协议：同样用于流媒体传输，针对CDN有良好的跨越性和操作系统兼容性，有HTTP FLV Live Stream、HTTP TS Live Stream、HTTP MP3 Live Stream、HTTP AAC Live Stream等几个子版本，实时性低于RTSP和RTMP协议。
 

　　•基于snmp协议：简单网络管理协议，主要见于运维领域，一套完整的SNMP系统主要包括管理信息库(MIB)、管理信息结构(SMI)及SNMP报文协议。在某些情况下也用作监控类设备的接入协议。
 

　　•SDK方式：在目前标准化的大格局下，sdk方式正逐渐没落。
 

　　•Webservice方式：基于http+soap协议，是对接数据类型资源的一种方式，调用者称为client端。
 

　　另外，共享平台也支持私网穿越方式平台和设备接入接出，并且针对安全接入平台和网闸有良好的透传支持性。
 

 

　　7、交换总线技术
 

　　交换一般分为主机间交换和主机内交换两种。主机间交换可以采用TCPIP协议方式，也可以采用串并口方式，或者其他物理交换方式，例如外挂的物理交换设备，通过自带的驱动程序协商传输。在面对远程传输事务的时候TCPIP是仅有的手段，不管是采用协议方式交互还是采用流式方式封装传输视频；也不管是采用webservice\SDK还是采用RPC，其本质都是TCPIP。
 

　　因此，主机间交互特别是长距交互的方式是TCPIP，抛开上层软件的处理速度，其性能瓶颈在交换、路由等节点和自身网卡的上下行能力。短距离传输除了TCPIP方式，串口的交换速度更低，而类似盘片交换等手段，速率受设备影响不一而足，不具备代表性，但是常用的也是TCPIP。
 

　　主机间交互可以不采用TCPIP手段，而采用IPC或内存映射等机制予以实现。例如报文的传输可以采用管道技术、报文队列等，文件的交换可以采用内存映射+同步机制手段予以实现。由于不采用TCPIP，因此无需经过winsocket和AFD、TCPIP协议驱动，传输效率很高。以上两种，从广义上来讲可以称之为交换总线技术。
 

　　实现的价值
 

　　•可融合：共享平台名为共享，但是隐含的前提条件却是融合。只有可融合才有数据可以共享或者把数据共享给别人。可融合是共享平台的要素。
 

　　•可标注：共享平台可以支持对重点资源进行标签标注，标注后的资源能够被快速搜索到，同时也支持个性化属性定义，支持按自己的方式搜索资源。
 

　　•可审批：共享平台也应该支持权限审批系统，只有经过审批的资源才能被发布。保证了资源的准入准出机制。
 

　　•可发布：共享平台必须支持基于互联网、公安网、政务网等多种情况下多种协议下的数据发布。
 

　　•可流通：共享平台的资源都是以流式形态进行发布的，具体地说，对于CDN、网闸、安全接入平台有着不可见的透明性，对于NAT又存在着广泛的穿透性。
 

　　•可查询：共享平台可以包含大数据模块，比如采用zookeeper+hadoop的架构，以支持亿条数据的秒级查询。
 

　　•可定价：共享平台作为能力共享平台，提供的是数据服务。有别于传统的SAAS层软件，共享平台提供的多是无形的服务而不是具体的产品。
 

　　SAAS层的产品可以交由SP来进行开发。从这个角度来说，共享平台就是能力开放的操作系统，其提供的能力服务(API)是可定价的。
 

　　从PAAS层的角度看待和理解共享平台，使之与SAAS层的业务软件解耦，内部有良好的数据碰撞机制和综合管理办法，外部突出能力输出和服务建设，这才是共享平台真正价值所在。而中兴力维的VCMS(video content manager syatem)就是这样一款产品。
 

ZNV中兴力维SCIM信息共享平台界面