智慧城市网

　　2015年两会上，“大数据(big data)”一词写入政府工作报告。在交通领域，大数据一直被视作缓解交通压力的技术利器。应用大数据有助于了解城市交通拥堵问题中人的出行规律和原因，实现交通和生活的和谐，提高城市的宜居性，为政府管理提供基于数据证据的综合决策。同时，大数据的挖掘和使用还有利于催生信息消费新模式，促进信息消费产业发展。
 

　　随着手机网络、定位系统(global positioning system，GPS)/北斗车载导航、车联网、交通物联网的发展，交通要素的人、车、路等的信息都能够实时采集，城市交通大数据来源日益丰富。在日益成熟的物联网和云计算平台下，通过城市交通大数据的采集、传输、存储、挖掘和分析等，有望实现城市交通一体化，即在一个平台上实现交通行政监管、交通企业运营、交通市民服务的集成和优化。
 

　　城市交通大数据的集成与分析技术研究，对我国智慧城市的发展具有战略性意义。交通大数据具有种类繁多、异质性、时空尺度跨越大、动态多变、高度随机性、局部性和有限生命周期等特征，如何有效地集成交通大数据，满足高时效性和知识牵引等城市交通智慧化需求，是各个大中城市所面临的的发展机遇和挑战。
 

　　本文首先简单介绍了大数据的发展状况及趋势，然后重点分析总结了城市交通大数据的若干核心技术，并提出城市交通大数据的智能应用系统解决方案，zui后重点列举了几种典型应用。
 

　　2 大数据的发展状况及趋势
 

　　近年来，数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇，信息社会正在进入大数据时代。大数据指的是涉及的资料量规模巨大到无法透过目前主流软件工具在合理时间内达到感知、撷取、管理、处理和服务的数据集合。从2009年左右开始，“大数据”开始成为互联网信息技术行业的流行词汇。
 

　　根据互联网数据中心(IDC)估测，数据一直以每年50%的速度增长(大数据摩尔定律)，这意味着人类在zui近两年产生的数据量相当于之前产生的全部数据量，预计到2020年，将总共拥有35亿GB(35 ZB)的数据。大数据处理的数据规模从TB级上升到PB、EB甚至ZB级，人们面临着如何降低数据存储成本、充分利用计算资源、提高系统并发吞吐率、支持分布式非线性迭代算法优化等众多难题。
 

　　为了应对大数据的发展趋势，更好地为行业用户和个人提供数据分析的服务，亟需构建各类不同的大数据平台，支持用户对数据的多种需求。构建大数据平台就是要将不同渠道、不同来源、不同结构的数据进行有机的整合。与传统数据平台不同的是，大数据海量的规模、多样的类型、快速的流动和动态的体系以及巨大的价值是大数据平台构建需要重点考虑的几个因素。除此之外，数据的分类存储、数据平台的开放性、数据的智能处理以及数据平台与用户的交互都为大数据平台的建设带来的挑战。
 

　　大数据平台处理的数据类型是多种多样的。目前这些平台的搭建已经有了一些有代表性的成果，如Google公司的Freebase、微软公司的Probase、国内的中文信息结构库——中国知网。在商用数据平台方面，IBM公司的Infosphere大数据分析平台、天睿公司的Teradata统一数据环境以及由国内天猫、阿里云、万网联合推出的国内*电商云工作平台聚石塔是3个典型的数据平台。
 

　　“大数据”本身是一个现象而不仅仅是一种技术，这是信息科技历史发展的必然结果。大数据的采集、传输、处理和应用所需的相关大数据处理技术，是通过系列地使用非传统工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列大数据处理技术。大数据技术的战略意义也不仅在于掌握庞大的数据信息，而更在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现等功能的有力武器。大数据发展呈现以下趋势。
 

　　（1）基于云计算的数据分析平台
 

　　云计算为大数据提供了可以弹性扩展、相对便宜的存储空间和计算资源，使得中小企业也可以像亚马逊公司一样通过云计算来完成大数据分析。云计算IT资源庞大、分布较为广泛，是异构系统较多的企业及时准确处理数据的有力方式，甚至是*的方式。
 

　　大数据要走向云计算，还有赖于数据通信带宽的提高和云资源池的建设，需要确保原始数据能迁移到云计算环境以及资源池可以随需弹性扩展。
 

　　（2）数据分析集逐步扩大，企业级数据仓库将成为主流
 

　　当人们从大数据分析中尝到甜头以后，数据分析集就会逐步扩大。目前大部分的企业分析的数据量一般以TB为单位。按照目前数据的发展速度，数据量很快将会进入PB时代。特别是目前在100~500 TB和500+ TB范围的分析数据集的数量会成倍增长。
 

　　随着数据分析集的扩大，以前部门层级的数据集将不能满足大数据分析的需求，它们将成为企业级数据库(EDW)的一个子集。因此，企业内的数据分析将从部门级过渡到企业级，从面向部门需求转向面向企业需求，从而也必将获得比部门视角更大的益处。随着政府和行业数据的开放，更多的外部数据将进入企业级数据仓库，使得数据仓库规模更大，数据的价值也更大。
 

　　（3）Hadoop对MapReduce的依赖程度越来越小
 

　　Hadoop是一个能够对大量数据进行分布式处理的软件框架，能够处理PB级数据，具有高可靠性、高扩展性、性和高容错性等特点。其新版本不只为MapReduce服务，而是和Cloudera的Impala一样用一个SQL查询引擎或者其他的方法来替代MapReduce。HBaseNoSQL数据库就是Hadoop离开MapReduce约束后的一个很好的例子。未来Hadoop平台将在大数据处理中发挥越来越重要的作用。
 

　　3 城市交通大数据
 

　　3.1 城市交通大数据的主要研究内容
 

　　（1）时效约束的大数据多尺度汇聚计算和动态图谱
 

　　交通大数据存在多源、异质、局部性、时空关联、异步性、信息稀疏性和并发性等特点，而城市交通系统存在着对大数据汇聚处理的高时效性以及对“大而信息稀疏”的交通大数据的领域知识牵引要求。现有的数据融合、计算理论与方法难以满足高时效性的大数据处理和基于数据的知识构建与转换等需求，亟需提出时效约束的大数据多尺度汇聚计算和动态图谱的交通大数据处理新理论与新方法。
 

　　（2）高维空间的隐性知识序贯挖掘与演化模型
 

　　交通主体、行为、态势、路网拓扑和环境形成了高维生态系统闭空间，相互之间存在着高度非线性、随机性和动态的耦合关系。交通态势及其演化是交通系统的宏观体现，具有约束条件下的动态性、序贯性、自组织、随机性等特点，交通态势机理解释对解决城市交通的难题非常重要。传统的交通理论难以发现隐含在如此高维空间的知识，对交通出行规律及其时空演化、大面积交通拥堵演变规律、环境与交通行为等进行综合知识和数据支撑的解释与评价，高维空间的隐性知识序贯挖掘与演化将为此提供坚实的理论与技术支撑。
 

　　（3）交通态势的预测机理与调控策略
 

　　交通态势是城市交通系统运行状态的反映，受到交通需求、网络拓扑、多交通子系统、环境、管理和调控策略等众多因素的相互影响与作用。由于城市交通态势具有时变性、不确定性、非马氏性以及影响因素之间的相关性等特点，是一个超维的复杂巨系统，其调控与预测是世界性的难题，目前尚缺乏相关的理论与方法。交通态势的预测机理与调控策略的研究，将创建复杂交通巨系统的预测及其控制的新理论与途径。
 

　　3.2 城市交通大数据相关处理技术
 

　　在城市交通蓬勃发展的过程中，其数据采集量必然成倍增长，形成海量、动态、实时的交通大数据。因此，以大数据处理技术为支撑的城市交通信息服务将成为未来智能交通发展的增长点。城市交通所涉及的大数据技术，总结起来大致包括如下内容。
 

　　（1）基于Hadoop框架的MapReduce模式技术
 

　　Hadoop是一个能够对大量数据进行分布式处理的软件框架，而map/reduce是Hadoop的核心计算模型，它将复杂地运行于大规模集群上的并行计算过程高度地抽象到了两个函数。Hadoop实现了一个分布式文件系统(Hadoop distributed file system，HDFS)。HDFS有着高容错性的特点，用来部署在低廉的硬件上。而且它能提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。
 

　　（2）数据仓库技术
 

　　数据仓库是决策支持系统(DSS)和联机分析应用数据源的结构化数据环境，研究和解决从数据库中获取信息等问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。其主要功能是将组织通过资讯系统的联机交易处理(OLTP)经年累月所累积的大量资料、数据仓库理论所*的资料存储架构进行系统的分析整理，以利于各种分析方法如线上分析处理(OLAP)、数据挖掘(data mining)的进行，进而支持决策支持系统、主管资讯系统(EIS)等系统的创建，帮助决策者快速、有效地从大量数据资料中分析出有价值的信息，以利于决策拟定及快速回应外在环境变动，帮助构建商业智能。
 

　　（3）中央数据登记簿技术
 

　　中央数据登记簿系统是平台数据统一管理、综合交通信息服务的基础，包括与交通信息有关的数据表示和交互以及交通信息服务、适合于综合交通环境的数据字典和消息模板、交通数据项定义规则、注册和管理机制等。
 

　　（4）平台GIS-T应用技术
 

　　平台GIS-T应用技术是交通地理信息系统的支撑技术，可为交通信息服务提供的信息查询功能、海量的存储功能，包括出租车、公交车、综合交通视频信息等数据；提供用户体验的WebGIS引擎，让用户享受基于浏览器的交通信息服务。
 

　　（5）基于非序列性数据操作技术
 

　　基于非序列性数据操作技术包括虚拟化环境以及流数据处理技术，通过网络将大量服务器的内存空间统合在一起，使之形成一个超大型的虚拟内存，然后在其上进行数据配置，可实现对现有设备资源的zui大使用效率，同时实现对即时性数据的反馈能力。
 

　　（6）视频大数据处理技术
 

　　视频大数据处理技术将目前各个性的视频监控系统有机地整合在一起，实现视频资源统一接入、统一转码、统一分发、统一管理和统一运营的“五统一”目标。它可整合包括交通视频、站台视频、客运站视频、高速公路视频、社会治安视频、车载视频等在内的多种视频资源，提高整体视频监控的效率，且基于视频监控基础设施之上创造更多增值性的应用，从而实现视频监控系统的zui大化效用。
 

　　（7）大数据处理技术
 

　　大数据预处理技术是将接入平台的数据根据具体的业务规则进行进一步的处理，包括对接入的数据进行有效性的检验、大数据清洗等。大数据标准化处理技术从数据库中取出经过清洗后的数据，根据业务规则将外部系统的数据格式转化为平台定义的标准格式。
 

　　（8）大数据融合处理技术
 

　　大数据融合处理技术是指采用多源交通信息融合方法，结合特征融合技术(识别/分类、神经网络、贝叶斯网络等)、目标机动信息处理技术(自适应噪声模型等)及多目标跟踪的信息融合技术，提高信息系统的顽健性及可靠性。多源交通大数据信息融合分为3级：基础级是数据级融合，它只完成数据的预处理和简单关联；第二级是特征级融合，就是根据现有数据的特征预测交通参数；第三级是状态级融合，根据当前交通流信息判断交通状态。交通流信息融合的基本过程包括多源信息提取、信息预处理、融合处理以及目标参数获取和状态估计。
 

　　（9）实时数据分发订阅技术
 

　　海量交通大数据具有数据量大、更新频繁、时效性高等特点，往往需要来自于其他系统的实时数据来支持其业务逻辑。比如浮动车辆的GPS数据、目前城市道路的路况分析和收费站排队监控分析、省级运政卫星定位联网监控系统的上报、营运车辆安全监管系统等监控分析系统需要向外单位共享的数据。
 

　　（10）大数据挖掘技术
 

　　多源交通大数据挖掘是一个多步骤的过程，可以分为问题定义、数据准备、数据分析、模式评估等基本阶段。
 

图1 交通大数据挖掘模型
 

　　4 城市交通大数据的智能应用系统
 

　　4.1 交通大数据采集内容
 

　　城市交通大数据可分为静态大数据与动态大数据。
 

　　静态交通大数据主要包括城市交通的基础空间数据(地表模型、高清正射影像等)、城市及周边基础地理信息(城市路网、交叉口布局、城市基础交通实施信息)、道路交通网络基础信息(道路等级、长度、收费信息)、道路交通客运信息(客运班线、客动票务、市区公交信息、车站线路辐射图、客运企业信息、交通换乘点等)、航班信息、列车信息、水运信息(船次、起终码点、开船时间等)、停车场信息(停车场位置、名称、总泊位数、开闭状态、空闲泊位数等)、交通管理信息(警区界限、安全界限、警力分布、交通岗位、执法站、车管所、检测场、考试场、过境检查站)以及交通抽样调查数据等。
 

　　动态交通大数据来源广泛、形式多样，主要包括通过卫星遥感、航空摄影测量，低空无人机应急平台、地面测量车、地面视频等遥感手段获取的数据以及地面智能交通系统中，通过视频、手机、公交卡、地感线圈等传感设备和移动终端采集的人、车、路等交通要素的数据。从人可以采集到的数据有驾驶行为数据、付费行为数据和出行行为数据，从车采集到的数据有车辆信息数据、车辆实时位置数据、公交车运营数据、出租车运营数据、众包路况数据，关于路的数据有卫星影像数据、航空摄影数据和道路基础设施数据。
 

　　4.2 交通大数据云计算支撑平台
 

　　城市交通大数据和相关业务的服务采用云计算技术来实现，其总体逻辑架构如图2所示。采用云计算技术来支撑一体化交通大数据，按需提供自助管理虚拟基础架构汇集成池，以服务的形式提供资源。云计算支撑平台包括数据中心物理资源管理、数据中心逻辑资源、数据中心运营平台和维护。
 

图2 城市交通大数据云计算支撑平台
 

　　城市交通云计算支撑平台包含多个子系统，各系统提供稳定的信息、管理、监控服务。为了支持智能交通7×24 h的稳定、服务，可引入云计算虚拟化平台。利用虚拟化技术将应用系统与物理机进行分离，减少因物理环境导致的系统中断服务，在不影响用户的情况下对物理资源进行删除、升级或改变。
 

　　4.3 交通大数据的智能应用系统
 

　　交通大数据的智能应用系统是基于交通大数据中心、交通云计算支撑平台来搭建的智能应用系统，采用“中心数据存储和处理”和“本地服务应用”的模式，从海量的交通数据中抓取实时数据，分析挖掘历史数据，基于历史数据对未来情况做出预测，为智能交通提供决策性建议。
 

　　交通大数据智能应用系统可分别为政府、企业、公众提供智能交通信息服务。系统可为政府部门提供交通行政监管支持，主要提供精细地理信息服务、交通管理服务、应急响应服务、路边车位监管服务、公共交通监管服务等；为公众搭建基于手机应用的交通信息服务，通过交通信息服务也可采集公众日常出行行为的数据，主要有精细地理信息服务、实时路况服务、交通信息服务、实时车辆信息服务、交通诱导信息服务、停车诱导信息服务等；为企业提供交通信息增值服务，主要有精细地理信息服务、公交车公司车辆调度及辅助决策、商业数据分析等。不同用户可共享行业数据、计算资源、个性化情报分析结果，在数据采集共享、大规模数据实时处理和分析、企业突发事件处置应对方面具有十分突出的优势，从而大大节约了系统资源和成本，提升了工作效率。
 

　　系统所采用的技术主要包括基于决策树—支持向量机(DTM-SVM)的多源异构交通信息融合技术、基于SOA的交通信息基础数据服务设计、ZigBee无线传感器网络技术、基于移动互联网的交通信息应用服务设计、基于机器学习的行程时间预测、基于位置服务(LBS)的行人交通信息服务技术等。