存储信息大爆炸时代 利用大数据分析解决行车难问题
- 来源:天地伟业
- 2017/3/16 14:12:1333150
【中国安防展览网 企业关注】 信息技术不断进步,闪存、磁盘、数据中心、DNA等各种新的存储技术不断出现。可即便如此,仍难以满足日渐庞大的数据体量的存储需求,加之IoT(物联网)行业的发展,致使数据的体量更为惊人。
不可否认,这些数据中许多都蕴含着价值,但也不能忽视数据的惊人体量。难道到2020年我们要将44ZB的数据全部记录并存储下来吗?显然是天方夜谭。物联网的发展使机器能够自行收集并保存数据,但在这些数据中,真正有价值的其实并不是全部。
比如智能设备所记载的用户数据,交通工具行驶过程中产生的数据,这类数据在当下可用性强,但当个体消失或工具报废之后,余下的数据是总结抑或是弃之不用?这些数据要存储到何时?其中需要多少费用?这些数据的价值与存储它们投入的成本是否可以成正比呢?
事实上,在这类数据中,人们只看一次的比例超过90%。因此在这个每天产生大量数据的时代,要学会优先提炼重要数据,对于边缘化的数据应适当摒弃。在数据的存储和摒弃之间找到一个平衡点,能够使数据产生更高的价值。
车辆大数据时代 利用大数据分析解决行车难问题
随着平安城市建设的扩大深入和资源整合,公安通过自建卡口电警系统加强了车辆管控,掌握了大量的车辆卡口数据和图片。
目前,过车信息的爆发式增长得益于三个方面:
一、按照中共*公厅和国务院办公厅印发《关于加强社会治安防控体系建设的意见》关于各地加快公共安全视频监控系统建设,全面提高社会治安防控体系的科技化水平要求,前端车辆抓拍点位的建设规划质量、成像效果等直接影响车辆大数据研判系统应用成效的因素都会提出优化和改进措施。包括:根据城市地域特点和布局规划,道路按照“科学布局、围绕实战、建用结合”的方法,通过治安卡口防控系统,基于“圈、块、格、线、点”的逻辑布局,在全市构建技术防控“圈”、责任明晰的管控“块”、基本封闭的单元“格”、掌握人车动态的轨迹“线”,以及防控有效的关键“点”,从而实现“区域全面监控、时空无缝衔接、目标全程追踪”的防控效果。
二、前端摄像机的智能化水平提升,使得车牌识别技术在常规视频监控系统中得到快速普及。以往需要在路口部署标准的卡口摄像机,现在可以在路段中间部署简易卡口摄像机,在对普通监控场景录像的同时自动捕获和识别车辆和车牌信息;此外,对社区出入口、加油站、停车场出入口等车辆进出口部署微型卡口摄像机,利用地形封闭的特点,对出入车辆实现自动抓拍和识别。
三、深度学习技术的发展,推动了图片结构化和特征提取的能力。早期建设的卡口系统,智能分析能力弱,图片质量以及车牌识别准确率较低,经常要根据品牌型号颜色等车辆自身固有信息,从海量过车图片或视频中,人工查找目标车辆,由于一线警力有限、劳动强度大、车型种类多、光线角度不确定等因素,无法保证查找的准确性和时效性,特别是突发紧急事件,经常贻误佳处理时机。通过使用车辆深度学习系统,对前端卡口或简易卡口获取的过车图片进行特征结构化分析识别,充分挖掘海量的卡口过车图片中有价值信息,不但可以提高车牌车型的准确率,而且增加了车辆特征的识别信息,实现了车辆子品牌、车身颜色、不系安全带、驾驶员接打电话、遮阳板状态等识别检测功能,对过车数据进行精细化校正,摆脱了传统单纯依靠车牌进行分析研判的单一手段,为卡口电警数据提供了更加丰富实用的车辆防控应用,可以实现对高危车辆的有效预警防控,优化警力部署进行针对性车辆排查,可以在大量涉车涉驾案件中有效锁定嫌疑车辆,提高刑事侦查效能,使治安防控手段从事后被动侦查向事前主动预警转变。
大数据提升城市治安及管理水平
大数据的价值在于通过对大数据进行高速捕获和实时分析,及时获取核心业务和战略决策所需的关键信息,提升管理决策水平。
依据统计学,任何动态发展的事物,只要有足够多的样本数据,就一定能从样本数据中找到动态发展的规律。数据越多,准确率越高,这就是数据的价值所在。对于商业应用,可以通过数据分析用户行为规律从而提高销售量、分析市场规律从而定点投放广告降低成本。对于公安行业,可以通过数据分析区域性*趋势,提前预防从而降低*率,可以分析交通行为规律,提前做交通疏导,提高交通的通畅率。这也是在平安城市建设过程中,企业在抓住客户需求方面可以实现业务增长的机遇。
2016年1月,政法委书记*同志提出大数据的八个推动,要求:1、推动理念创新,顺应互联网时代的要求,确立合作、互通、共赢理念。2、推动风险共担,运用众创、众包、众智理念,让大众的问题由大众来解决。3、推动“数据文化”,坚持用数据说话,防止拍脑袋随意决策。4、推动创新风险预警机制,探索“人力+科技”、“传统+现代”的风险预警模式。5、推动科技运用创新,大数据表示的是过去,但表达的是未来,得数据者得未来。6、推动运用新技术,加强基层基础建设,把“不起眼”的信息汇集起来。7、推动社会信用体系建设,坚持推行实名制和保护公民个人信息安全并重。8、推动国家信息安全维护,避免被他国“窃夺”数据信息控制权。
大数据通过对海量数据的整合和挖掘,揭示传统技术方式难以展现的关联关系,还可以预警风险,及时切断风险链。例如:
针对堵车现象,实时采集车流数据,自动控制信号灯,让堵车能有所缓解。针对城乡结合部“治安盲区”,采集人口流动信息,分析出潜在风险,警力针对性地科学调配。针对保险理赔,通过社会信息搜集分析系统,上海等地正积极探索商业保险公司参与社会治理,将保险事务由“事后理赔”转为“事先风险防范”。
针对聚集疏导,通过关键词搜索技术、热力图技术、电子巡逻技术等,探索预测人群聚集苗头和动向,人员过密时及时提示预警,适时分流人群。针对*热点,集成公安专业数据,实时掌握*轨迹、预判*热点,提高防范打击*的水平。针对安全生产,工程建设特别容易出事,建立工程建设监管和信用平台,以大数据为依托,“全程留痕”,让监管“无死角”。
车辆大数据实际使用中面临的问题
大数据的特征是大量性(规模超大、不断攀升)、高速性(高速产生、处理)、多样性(种类多样、来源多样)、低密性(有用数据提纯)。海量数据给常规技术(获取存储管理、处理传递共享、关联聚类分析)带来了众多挑战——虽然数据很多,但是有用的数据只有34%,好用的数据仅有7%,被分析的数据更是少到只有1%。如何在海量的数据中提取出有价值的信息需要多学科多技术的研究。当前的特点是大数据、小模型、小定律交叉,即使是同一类问题,每个系统也都不一样,所以模型和程序要针对数据设计。结构化数据通过数据库或者数据仓库解决,半结构化数据使用网页和搜索引擎等技术解决,非结构化数据使用深度学习、网络交互和群体智能解决。
干警在实战使用中,主要的操作应用是查询车牌信息和其他过车记录以便掌握线索。面对动辄几十亿、上百亿甚至千亿级别的海量过车数据的存储和查询压力,如何进行可靠存储和应用?传统的普通关系型数据库解决方案和技术手段存在检索难、并发难、挖掘难、扩容难、应用难等一系列问题,速度慢、准确性差,需要投入大量的精力和资源进行技术升级改造。因此,及时准确获取各类相关数据并构建大数据处理模型是建设平安城市大数据中心的前提,而这一难题目前正逐步通过先进的大数据技术进行解决。