明略观点:关于公安数据中台 读这一篇就够了
- 来源:明略科技
- 2019/5/27 9:19:4945321
【安防展览网 视点跟踪】近日在第二届中国警务信息化建设成果推介活动中,经过公安客户、技术专家和行业媒体的多轮筛选,明略科技的智慧公安数据中台荣获“佳大数据解决方案奖”。
2019年很可能成为“数据中台”元年,各行各业都在讨论的数据中台到底是什么?为什么要建立中台?备受业内认可的明略智慧公安数据中台的价值几何?此篇文章将为您一一揭晓。
什么是数据中台?
“如果需要对某个信息进行深度挖掘,但在系统中无法查询,需要用另一个系统去查,数据在各系统之间无法共享,导致效率低下。各系统之间还会有功能和数据的冲突,服务和应用的冲突。”
为解决这些问题,就需要整合挖掘数据,打造数据中台,渐渐让各个体系融合在一起,建立统一的体系,就算再扩展业务也是纳入这个中台,用相同的技术和模式进行运营。由此看出,数据中台的内核包括两方面:一个是应用数据的技术能力,另一个是数据资产的管理。
本质上,数据中台是基于方法论而实现的效率工具,行业数据中台,则是“效率工具+行业知识+方法论+佳实践“的整合;是业务驱动的数据管理变革,是实现数据智能的有效路径。
行业数据中台架构
公安行业为什么要建立数据中台?公安大数据发展主要问题:缺乏开放和融合
自2018年全国公安厅局长会议后,各地公安机关纷纷推进公安大数据战略。要达到公安大数据建设中提到的“提升智能化水平、释放警力、提能”,就必须要保证开放、融合。坚持集约化建设原则,打破部门警种壁垒,打通交换共享渠道,集聚资源,实现数据规模效益和价值大化。但从目前情况看,“开放和融合”或成为公安大数据建设面临的大问题:
数据共享渠道壁垒未打通,数据深度共享层面尚未形成:安全域数据汇聚共享难,数据共享渠道不通畅,外部数据汇聚不通畅,评价体制尚未形成;
数据治理弱,应用智能化水平不高:大数据应用标准体系没有建立,数据应用仍停留在传统应用层面,数据智能应用体系仍处于起步阶段,数据推送体系尚未建立;
体系不统一,数据应用能力不强:平台技术架构互通互操作性差,数据应用支撑能力不强,数据应用发展不均衡。
目前公安体系正在努力推进新一代公安网的建设,将从根源上解决公安大数据发展过程中的主要问题,这也为国内数据中台类的产品提供了广阔的应用场景。
公安数据中台核心价值:确保数据一致性和重用性,让数据真正产生价值
数据中台核心的是数据管理体系,包括全局数据仓库规划、数据规范定义、数据建模研发、数据连接萃取、数据运维监控、数据资产管理工具等。
公安行业构建数据中台,将能确保数据一致性和数据重用性。统一数据基础模型将业务领域的数据实现互通,避免了数据重复加工、维护带来的数据孤岛效应和成本浪费。
从技术角度讲,数据中台是增加系统的灵活性,通过整合数据、产品和技术,形成强大的共享服务层,支持前台各部门的业务发展。
从应用角度讲,数据中台是以业务视角呈现系统,让数据真正产生价值,根据不同时期业务的需求和特点,能更快产生为业务服务的时效性应用。
获得佳大数据解决方案奖的“明略公安数据中台“:多年技术与业务融合实践的再升级
明略智慧公安数据中台成功实现了对多源、海量、异构数据的实时和离线接入,打破数据孤岛;解决数据标准化和管理问题,提升数据质量,管控数据资产,增益数据效能;数据深度加工,融合关联全量异构数据形成知识图谱,挖掘沉淀数据知识,为智能化分析及应用提供数据支撑;面向全警提供大数据资源服务,实现大数据成果慧警。
在明略看来,公安数据中台包括四部分:
◆数据接入和融合:在分层解耦的前提下,对公安网络大数据平台和信息资源服务平台数据资源,以及其他公安外部社会数据进行接入和融合,实现数据资源的集中汇聚;
◆数据关联和统一:将数据中心,技术,数据库等的海量数据信息采集,计算,加工,对数据的标准和质量进行统一;
◆数据资产积累:所有数据被整理后会形成行业特有的数据标准,再进行深入的挖掘,产出业务逻辑,算法模型和抽象统一,后储存起来,生成原始库、资源库、主题库、知识库等大数据资产,为业务服务;
◆数据服务:基于前三步的准备,开始定义服务中心和服务,提供数据资产管理目录,根据实际需求提供实际业务。
因为公安数据的数据类型复杂,有上百种实体(人、案、物、地、组织等)、数类关系、成千上万的事件类型,这给构建公安数据中台带来了巨大的困难。凭借多年与公安数据打交道的经验,明略摸索出了一套基于知识图谱的大型语义化网络、对数据进行治理和知识构建的数据中台构建之道。
基于“三个统一”原则的数据治理,完成公安数据中台的艰难两步走
秉承以下“三个统一”原则的数据治理服务,明略完成了数据关联和统一、数据资产积累的艰难两步走:
◆统一数据标准,数据规范定义、数据模型设计、数据开发规范;
◆统一实体,实体的属性、关系、事件充分融合打通,让数据融通而非以数据孤岛的形式存在;
◆统一数据服务,实现数据复用,弹性可变换的模型构建,灵活支撑上层业务。
在这个过程中,明略拥有着高度产品化的工具依仗。明略自主研发的数据治理工具CONA,是行业内*支持结构化与非结构化数据的自动化治理工具,能够大规模、自动化地采集、清洗、归类和关联所有数据,形成统一数据视图,大大提高行业知识图谱构建效率。CONA集数据接入、数据清洗、数据融合、数据标准化、数据监控和数据管理于一体,实现AI驱动的数据治理。
从“数据治理”到“AI驱动的数据治理”,明略打造距离业务智能更近的数据治理方式
数据治理是任何*建设的底层工作,当面对大量原有公安业务系统中近千张表,通过传统数据治理工具需要半年以上才能完成的工作量,凭借CONA依靠AI驱动的自动数据治理能够将过程缩短到2周以内,极大地提高了数据治理和关联的效率,从而巨幅降低了行业大数据和行业人工智能的实施成本。
在数据标准化治理基础上,基于公安的数据组成形式和特点,明略公安数据中台通过多种手段整合数据,实现深度数据融合和广泛的数据关联。如:根据多点的时空轨迹特征,利用暴力挖掘、强化学习、迁移计算等方法,计算不同感知轨迹ID的关联等。
此外,通过构建多层次的数据资源组织形态,明略提供二维表到多维图的数据关联组织,实现多源异构形态数据的集成治理能力,为不同实战应用场景提供多样化的信息支撑能力。
输出统一数据服务,实现构建公安数据中台的第三步
在完成数据中台的前两步准备后(数据关联和统一、数据资产积累),就可实现输出统一数据服务了:通过服务接口实现应用与数据隔离,加强数据安全管控,基于服务总线提供数资源目录服务、全文检索服务、数据鉴权服务、标签服务、模型服务、应用服务、协同共享服务等。
公安数据中台赋能实战应用
公安数据中台赋能实战应用的呈现就是警务大脑。警务大脑的智慧,不仅仅来自数据+技术,还有大量一线民警及业务专家凝聚的研判法则,即通过业务知识实现智能模型,为应用提供支撑。
凭借多年覆盖全国的公安项目实践,基于对公安数据的治理经验及业务理解,明略逐渐形成了基于“一主两翼”的智慧警务解决方案架构,构建广受认可的警务大脑,曾在公安情报指挥、刑侦、禁毒、治安、经侦、FK等各警种的实战场景中屡获佳绩。
一主两翼的“一主”指的是以明略公安知识图谱产品为核心,融合了公安的标签、轨迹、关系三大数据体系,为公安智能化应用提供服务支撑的公安数据中台。“左翼”包括图谱关联检索、全息档案研判、在线比对碰撞等模块,提供“从案到人、从案到案”的深度研判能力。“右翼”包括智能积分模型、高危团伙挖掘模块等智能预测预警类应用,提供“从人到案、从证到供”的事前预测预警能力。
明略科技智慧警务解决方案
明略科技公安事业部总经理黄艳曾接受中国警察网采访时谈到,“数据中台衔接了数据后台与业务前台,明略在把数据后台规范化管理的同时,更把通用数据分析模型做成服务化接口,因此前台业务人员不需要关注底层数据结构,可更专注于挖掘业务数据价值,从而提高实战应用效率。”