海康威视：视频大数据助力智慧城市全面升级
- 来源：《中国公共安全》 作者：海康威视 潘新春
- 2016/2/19 15:07:3059630
一、什么是视频大数据？
基于这个问题，我们可以从几个方面来理解。首先，大家都知道，大数据有“4V”特征：Volume(数据规模)、Variety(数据类型)、Velocity(处理速度)、Value(数据价值)。一、数据规模，城市数据中大部分是视频数据，一个中等城市，3000路高清视频，4Mbps码流，90天将产生10.8PB的数据量，所以，视频数据基本是PB级别以上，体量足够大；二、数据类型，单就视频来说就一种类型，其实不然，视频中有各种各样的内容信息，有人、车、物等信息，有各种行为信息。同时，视频可以有多种来源，可来自城市管理、公共安全、企业、家庭等多种领域。所以说，视频内容其实是非常丰富的，当然，首先我们需要将视频内容信息提取出来，将“死”的视频数据转化成“活”的结构化数据；三、处理速度，当前，以Hadoop为代表的大数据处理技术发展非常迅速，能够针对海量的结构化、半结构化、非结构化数据提供非常高的处理效率；四、数据价值，应该说这是今后需要不断提高的一个点，视频大数据能够真正体现价值的地方，就是将视频数据全面利用起来，为城市的建设、管理、安全做出贡献。
其次，在《大数据时代》一书中，指出大数据的精髓在于我们分析数据时的三个转变，同样的，视频大数据也吻合这三个转变：一、分析数据的全集而非数据的采样。针对视频数据，由于体量太大，而存储空间有限，往往视频数据的存储周期较短(比如3个月)。当然，视频数据中大部分是无效数据，也是无需长期保存的，而视频中的内容数据却是有价值的。所以，如何将视频中的内容数据提取出来并沉淀，是构建视频大数据的基础；二、不追求性，由于数据非常多，即使出现一些不的数据，也不会影响分析结果；三、更加关心相关关系，而非因果关系，大数据的优势就在于数据的关联分析，在关联分析中能够得到很多有用的结果。
再次，从整个大数据的生态来看，数据是基础，技术是关键，服务是核心。一、数据，我们当前有的是海量的视频数据，但这些数据更多的是无用的数据，而我们真正需要的是视频中的内容数据，越多越丰富越好；二、技术，当前的分布式存储、分布式计算、内存计算、图计算、全文检索、机器学习等技术都有全面的发展，只要能够将这些技术运用到视频大数据中就能够产生效用；三、数据服务，怎样让数据产生价值，这才是核心，也是以后发展的关键，所以说今后数据工程师将是吃香的行业。
综上所述，视频大数据并不只是拥有海量的视频数据，它需要提取海量的视频内容信息，基于专业的技术工具，挖掘出价值信息，并为用户提供更好的服务。
二、视频大数据发展现状
在互联网及IT领域，大数据的发展已相当成熟。然而，在视频监控领域，大数据还处于起步阶段。当然，随着智慧城市的发展，视频大数据会逐渐发展成熟并发挥越来越重要的作用。
首先，随着智慧城市建设的不断深入，视频大数据的需求越来越强烈。比如：一个区县一年的卡口数据能够达到十亿级别，一个地级市一年的卡口数据甚至能够达到百亿级别，一个省的数据就更大了，面对如此庞大的数据，传统的系统或工具显得束手无策，即使一条简单的查询命令，响应时间也会变得非常慢，更不要说分析、统计等功能了。同时，越来越多的用户对业务提出了更高的要求，比如公安业务，要求能够从事后分析向事前预测转变。面对这些问题及需求，必须采用大数据来解决。所以，在智慧城市建设中，大数据已被推到了风口浪尖上。
其次，越来越多的视频监控企业正在接触大数据，并有了初步的探索和应用。当前的一些大数据产品及应用主要有：一、视频云存储，针对海量的视频、图像数据，提供百PB的集中存储能力。这类产品已有较多的厂商提供，其中，安防行业海康威视就在视频云存储领域占据一席之地；二、云分析，针对实时视频图像、历史视频图像，提供分布式的视频结构化能力。这类产品当前还未在市面上看到；三、数据应用。交通卡口大数据应用，针对海量的卡口数据进行快速检索、智能研判、统计分析，部分研判功能可用于刑事案件的侦察及预警。视频图像信息数据库，针对海量的案事件数据进行快速检索、分析研判。这类产品也有较多的厂商在预研并进行试点。
三、视频大数据核心技术分析
在互联网行业中，大数据的分析对象主要是日志、用户行为信息、网页索引等数据，是计算机可以识别的结构化数据；而视频监控行业中，大数据需要分析的对象主要是视频、图片、音频等非结构化数据。所以，相比互联网大数据，视频大数据有诸多不同的地方，当然也有诸多可参考借鉴的地方，毕竟技术是相通的。纵观视频大数据，其主要包含以下核心技术：
一、视频结构化。前面讲到，可以被计算机识别的结构化数据是基础，然而视频不属于这类数据，所以视频结构化是需要首先解决的关键点，这也是区别于互联网大数据的主要特征。所谓视频结构化，就是采用智能分析技术，从视频图像中提取出人、车、物、事件等内容信息，这些内容信息是可以通过结构化语言来描述、可以被计算机识别的信息。当积累了大量的视频内容信息，就有了视频大数据的基础，可通过专业的大数据处理工具进行分析、研判、统计，从中提取出价值信息。
二、大数据处理技术。当前主流的大数据处理技术是以Hadoop为代表的分布式软件，而且在互联网及IT领域，这些技术得到了很好的应用。同样的，在视频大数据领域，可以借鉴这些成熟的处理技术，具体的技术包括分布式文件系统、分布式数据库、分布式计算、内存计算、图计算、流计算、全文检索等等。
三、数据分析模型。有了海量的数据而无法提取其中的价值，那么这就是一堆没用的数据。所以说，在大数据时代，数据分析工程师的地位将变得越来越重要。数据分析工程师需要深入了解业务，构建数据分析模型，从海量数据中挖掘出价值信息。数据分析模型将是其中的核心要点，是实现业务深度应用的关键。
四、视频大数据面临的问题
随着大数据的发展，许多问题逐渐暴露出来，主要表现在以下几点：
(1)智能分析技术不够成熟。基于智能分析技术的视频结构化是实现大数据分析的基础，当前，交通卡口的车辆信息提取技术较为成熟，但是，像人体信息提取、物体信息提取、人脸比对等技术还不够成熟。
(2)数据应用不够深入。当整合足够多的数据后，如何构建数据分析模型，如何契合业务应用挖掘价值信息，当前还处于萌芽阶段。当然，其中也有一些可以借鉴的例子，比如卡口大数据系统，它可以对过车数据进行深度的智能研判：区域碰撞、轨迹分析、跟车研判等，基于这些研判功能，有助于刑侦破案效率的大幅提升。
(3)数据共享不够广泛。特别是政府、公安、交通等部门中，信息孤岛普遍存在，这主要是由于体制问题造成的，并不是技术上的问题，很难由企业来改变这个现状，只能由相关部门贯彻推行并作出改变。
(4)标准化建设不够全面。这主要是由于大数据还处于起步阶段，还需要更深入的探索和尝试。在标准化建设方面，如数据标准规范、互联互通标准规范、数据应用模式标准规范等，需要不断进行总结，并逐渐标准化。
五、视频大数据发展趋势
在视频监控行业未来的发展中，大数据势必会占据越来越重要的地位。面对发展过程中出现的问题，需要不断加以解决并完善。
(1)技术创新。首先，视频结构化，通过智能化技术，能够从视频图像中提取出人、车、物等特征信息，通过提取并整合这些信息，能够方便的对视频数据进行检索、以图搜图、深度关联分析。当这些技术得以实现，视频数据的应用效率会大幅提升，而且可以为视频数据的深入应用奠定基础。其次，大数据处理技术。视频数据结构化后，成为可以被计算机识别的数据，当越来越多的数据汇集之后，传统的技术或系统已无法进行有效处理，此时，必须采用大数据技术才能对这些海量的数据进行处理。大数据技术包括分布式文件系统、分布式数据库、全文搜索引擎、分布式计算、内存计算、流计算等，具备优异的可靠性、扩展性及处理性能，能够针对海量数据进行快速分析、挖掘，为用户提供更好的服务。
(2)业务创新。有了经过结构化后的海量视频数据，通过大数据技术，可以对这些海量数据进行深度挖掘，可以做到预测及趋势分析，当然相关的数据分析模型还需要不断探索和创新。如公安部门，视频侦查在当前来说只能是一种辅助手段，如果采用大数据技术后能够进行预测预警，那么视频侦查将会成为一种非常重要的手段，通过视侦技术，能够减少案件发生率、提高破案率。
(3)体制改善。更多的数据能够产生更大的价值，为了能够整合更多的数据，必须消除信息孤岛，而这一现象在政府部门是客观存在的一个难题。当然，在智慧城市的推动下，这一局面已有所改观，越来越多的政府部门意识到数据共享的重要性。但是，要真正实现大数据的集中和共享，还有很长的路要走。
(4)标准完善。海量数据的整合离不开标准化的过程，在标准化过程中，需要重点考虑以下几点：一、数据结构化标准规范，包括哪些数据需要结构化、结构化的数据如何表示、如何设计字典规范、如何设计数据库表等等，通过标准的结构化数据，所有系统都能够识别并处理；二、数据互联互通标准规范，包括平台与前端之间如何互联互通、平台与平台之间如何互联互通等。前端可以对视频数据进行结构化，后台也可以对视频数据进行结构化，前端和后台需要相互协作，那么前端如何告知后台哪些数据已经结构化了，哪些数据还需进一步结构化，就需要标准来规范；三、数据应用的标准规范，包括数据的服务模式、类型、规则等等。如大数据平台对海量数据进行清洗分类、深度挖掘之后，需要对上层的业务应用提供服务，这种服务就需要通过标准化的接口提供出去。
六、视频大数据对智慧城市的作用
视频大数据的建设对智慧城市的作用主要体现在以下几个方面：
一、民生服务。在我们城市的大街小巷、商场、饭店等地方，布满了大大小小的摄像头，基于这么多监控点位产生的海量数据，可以选择性的开放一些数据给公众，为城市公民提供更好的“衣食住行”相关的服务，比如实时的交通路网信息、商场的实时人流状况以及“透明厨房”等等。
二、城市安全。视频监控系统是平安城市建设的重要组成部分，视频大数据使平安城市向“智慧型”转变。随着视频大数据的逐渐发展，在治安防控、刑侦办案中出现了更多创新型的应用。首先，办案效率极大提升。当前，我们更多的是通过人工查看的方式在视频中寻找线索，效率低，人力消耗大；而通过视频大数据，我们可以像“百度”等搜索引擎一样快速搜索线索，可基于视频图像中的人员信息、车辆信息、物体信息、行为信息，或者基于以图搜图的方式快速搜索嫌疑目标。所以，在智慧型平安城市的视频监控系统建设中，已经从原先高清系统的“看得清、看得明”向基于大数据的“找得快、找得准”转变。其次，事后取证向事前预防转变。我们当前拥有了大量的视频，但都是用于事后取证，显然无法对*预防起到积极的作用。而基于视频大数据，可以对城市的*做出趋势研判、预测分析，基于这些分析结果，可以有目的的部署警力，这样可以在有限的人力下有效降低城市的*率。
三、可视化管理。视频监控系统发展到今天，可视化管理变得愈发重要。在交通、金融、电力、能源、校园、医疗等等领域，可视化管理都变成了不可或缺的一部分。当然，当前的可视化管理更多地还是靠人工在后台实时监看，效率并不高。基于视频大数据，可以将可视化管理提升一个高度，使前端的那些“眼睛”变得更加智慧，实现自动监看，释放人力。同时，区域内的监控点位可实现智慧联动，提升管理效率。
总之，在智慧城市建设中，视频大数据的数据共享更加广泛、深度应用更加丰富。
七、结语
视频大数据能够为用户构建更加智慧的系统，提供更具价值的服务。在智慧城市中，快速增长的视频图像数据、不断涌现的用户需求，预示着对视频大数据的诉求越来越强烈，同时，也有越来越多的企业涉足大数据，并有了初步的积累和应用。视频大数据不同于互联网领域的大数据，它对智能分析技术有着更高的要求，智能分析技术是实现视频大数据的基础，此外，大数据处理技术可借鉴互联网领域的成功经验，业务的深度理解及数据分析模型的构建对数据工程师提出了更高的要求，数据分析模型是实现大数据应用价值的核心关键。当然，视频大数据目前还处于起步阶段，面临着诸多问题，包括智能分析技术不够成熟、数据应用不够深入、数据共享不够广泛、标准化建设不够全面等。在未来的发展中，需要不断解决这些问题并加以完善，包括技术创新、业务创新、体制改善、标准完善。只有更加成熟的视频大数据，才能体现出更多的优势，发挥更大的价值。随着视频大数据的不断发展成熟，它必将给智慧城市发展建设带来质的提升。