西安交大智慧城市AI智能平台应用方案
西安交大智慧城市AI智能平台应用方案
背景
当前,我国正处在各类突发事件的高发时期,同时在将来的一段时间内我国包括城市在内的区域都要面临各类突发事件所带来的考验。突发事件具有非常规性、复杂性、关注性的特点。实践表明,我国城市的应急指挥还存在着诸多问题与不足。因此,加强城市应急指挥是社会和谐发展的需要,也是城市化发展的必然趋势。 针对现有城市应急系统中出现部分事件在处理时间上还存在拖延滞后的情况，西安交大城市应急AI智慧平台可大大增强时间的事中处理，可以让各项时间在出现问题的第一时间反馈报警，从而增加应急处理的时间，如针对防火、防汛、*爆燃、特定区域的管理等方面可提前3~10分钟时间报警，从而使得突发事件得到及时妥当的处理。
区域突发事件主要包括自然灾害、人为事故灾害、设备故障、社会安全事件，其中概率大的主要是自然灾害的城市道路洪涝灾害、城市与山林防火、工地安全生产、食品卫生安全、群访、设备年久失修导致的故障、交通或道路事故（涵隧事故）、山体滑坡、泥石流、洪水等。
以上经常发生的突发事件除部分可预防外，事故发生的第一时间报警以及应急处理的侦察设备对事故的及时处理有关键的作用。
本文依据上述面临的问题，结合当下人工智能的发展，实现了一套完备的智慧城市应急AI安全方案，具体功能介绍如下：
1. 根据城市运营管理不同特点应用不同的算法
- 消防应用：户外山火识别、城市火灾预警、消防车道堵塞识别、消防通道堆物识别
- 环境保护：户外秸秆燃烧、黑烟囱识别（可支持车辆尾气或黑烟识别）
- 城市公共运营管理：包括社区内或公共区域乱丢垃圾、人员摔倒预警、周界识别、区域入侵识别、遗留物、遗失物识别、城市管理设备设施的仪器仪表识别、路边违规摆摊、店招店牌管理、路边违规广告条幅、广告语识别、电动车上电梯识别
- 城市安防管理：高空抛物识别、社区人脸识别、车辆车牌识别
- 河道管理：水位识别、河道护栏翻越识别、河道河面禁止游泳预警
- 尾坝管理：尾坝水位识别
- 交通管理：路面交通流量统计、路面坍塌识别、路面积水识别、行人翻越路边栅栏识别
- 明厨亮灶：各餐厅后厨的卫生识别、厨师帽厨师服穿戴识别、后厨四害识别预警、抽烟识别
- 工地安监管理：安全帽佩戴识别、工地明火识别、工地人员出入人脸识别、工地禁止抽烟识别、工地移动目标侦测、
2. 日常危险事件项目主动识别管理：
• 人脸识别：通过在小区及重点区域设置人脸比对相机。统计每一位过往人员的往来情况，及所在区域，对城市所有黑名单人员进行管理；
• 支持针对特殊场合如工地上对相关进出人员的管理（工地是城市安全事件的高发区，可结合安全帽等识别技术可大限度提前预知不安全因素），统计相关人员和非相关人员进出工地情况；
• 支持针对后厨持证工作人员人脸比对上岗识别
• 支持K12教师生进出校园的人脸识别管理。
• 安全帽与工装识别：针对城市工地/后厨工作人员的着装与安全帽佩戴情况进行检测，每日主动统计上报安监部门或食药监部门，且支持对未佩戴安全帽进出工地的人员实现实时报警。
• 早期防火识别：可配合交大全光相机使用。通过在后台服务器运行明火以及烟雾检测算法，实时对监控摄像头数据进行处理，一旦发现明火与烟雾，联动消防报警或相关设备，并发送报警信息及相应位置信息给相关人员。在火情还没有蔓延开的情况下，及时灭火，避免火灾的发生。使用范围：城市重点防火区域（KTV/商场/中小学/矿山/工地重点布控区域）、山林防火、危险品区域、涵道、隧道等。
• 抽烟识别：主要配合早期防火预警使用，也可单独用于重点布控禁止吸烟区域内抽烟行为的识别与报警。
• 防汛识别：针对河道，利用全光相机支持日夜对河道的监控识别是否有人落水、违法采沙作业、涨汛等情况，并第一时间告警。
• 异常行为识别：人员倒地、人员聚集与翻越隔离带行为
• 区域入侵识别/防火通道堵塞识别：针对划定区域是否存在车、人、物的入侵，支持对于消防通道违规停放车辆或者摆放物品、斑马线人行通道乱闯红灯的告警处理。
• 越界（周界）识别：可配合我司的全光相机使用（无红外点，体积小，隐蔽性更强），支持对周界是否存在翻越事件进行识别处理。使用范围：围墙、边境。
• 失物识别：对于重点保护设备、物品的日夜监控，防止丢失；
遗留物识别：对于重点区域内出现不明物品的监控处理。
• 净空识别：针对划定区域上空的风筝、无人机、飞鸟进行识别告警。
• 其他应急识别需求（可定制）
3. 应急事件处理与管理部分
• 道路车流量识别与统计：支持2种模式下针对往来车流量的监控统计
• 低质量视频情况下对道路车流量的统计
• 高清视频情况下支持对路面车辆的分类流量统计
• 图像模糊处理（刑侦）
• 构建物分析识别：主要用于对于构建物动态扫描，可用于分析构建物的变化情况。
• 单兵全天候安保侦察设备：
• 摄像头构建品：支持通过网络链接到电脑或者其他NVR设备
• 一体机相机产品
(本照片仅供参考)
• 无人机侦察设备
主要应用于应急现场上空对地面目标的侦察管理，采用全光摄像头支持日夜全彩侦察。
4. 智慧巡检部分
针对城市公共设备的的各个仪表仪器实现自动缺陷与读数识别检测上报，减少人工巡检的麻烦。
- 仪器仪表读数识别
1 | 数字显示仪表盘检测 |
|
2 | 指针仪表盘检测 |
|
3 | 液位指示仪检测 |
|
4 | 旋钮状态检测 |
|
5 | 颜色开关状态及指示灯状态检测 |
|
同时，支持在不同角度拍摄、仪表模糊、仪表拍摄尺寸较小等情况下的表计读数。
有角度拍摄读数 模糊拍摄读数 仪表拍摄尺寸极小的读数
- 缺陷检测
- 道路异物与缺陷检测：针对路面土壤增加石头或者其他异物或者路面开裂情况。
- 路面积水检测：对于路面出现洪涝积水进行识别，可同时关联排给水设备工作。
- 污迹识别：对于重点区域或者路段出现污损、墙面漏水等情况进行监控识别。
- 设备缺陷检测
设备在长期的使用过程中，经常会出现螺丝脱落，或相关部件的损坏，如果不能及时发生，可能会造成极大的人员伤害，可通知视觉去检测设备的状态，如发现有异常情况，及时发送报警信息，进行检修。
- 鸟巢/蜂巢检测
城市或者农村有很多户外的杆式设备，经常会发生小鸟在户外设备上筑巢的情况，这种情况对设备的正常运行，存在着极大的影响，可通过户外的监控设备实施检测是否有这种情况发生，及时进行处理。
5. 可视化管理系统
搭建一整套智慧城市管理系统，集成人员安全管理、安全防范、智慧巡检等功能为一体，实现智慧城市安全秩序的智能化管理。
6. 配合无人巡检车或无人机的巡检
采取算法后端API调用的的方式可以将前端采集数据进行二次处理，也可以实现嵌入式算法设备/边缘计算计算在现场处理结果，降低计算周期，同时减轻后端计算压力和计算周期。
7. 嵌入式设备（边缘计算设备）
- GPU服务器：根据配置。
- AI边缘计算终端（边缘计算服务器）
AI边缘计算终端（边缘计算服务器）是公司自主研发的集录像存储、视频结构化存储、人脸检测、人脸识别、人脸比对于一体的All-In-One专业型嵌入式 AI 计算设备。它采用了深度学习、计算机视觉、图形计算方面的新技术，性能强大，节能高效。产品可广泛应用于智慧小区、智慧城市等专业安防领域。
产品特点：
采用嵌入式硬件和嵌入式系统，*算力、低功耗，高稳定性
集录像存储、视频结构化存储、人脸检测、人脸识别、人脸比对于一体，人脸检测、识别、比对、存储均在一台设备完成
前端可以采用普通的监控摄像机，无需的人脸抓拍相机和比对服务器
支持4/8/16/32路普通IPC的接入；
采用深度学习算法，标准环境下，人脸检出率大于 99%，检出平均响应时间小于 1s
支持同一监视画面同时捕捉、跟踪、抓拍的人脸数量大于 8 个；
产品识别比对人脸库的能力大于5 万人，比对响应时间小于 2s，误报率、漏报率小于5%
支持人脸抓拍人员动态/静态人脸库比对、在册正常/异常人员静态人脸库比对
支持以人脸、时间、位置、特征等数据的检索和统计，人脸抓拍图片及数据的检索时间小于1s
支持2个SATA硬盘接口，每个接口支持容量大8TB的硬盘
支持ONVIF协议，GB 28181，GA1400协议
产品照片
技术参数：
系统 | 主处理器 | 嵌入式工业微处理器 |
操作系统 | 嵌入式Linux操作系统 | |
图像解码标准 | H.264/H.265自适应 | |
视音频 | 网络视频输入路数 | 32路 |
网络视频接入带宽 | 400M | |
音频输入 | 4/8/16/32路IPC接入 | |
录像回放 | 支持8路1080P同步回放 | |
HDMI输出 | 1路，1920*1080/60Hz | |
音频输出/语音对讲 | 1路，RCA接口/1路，RCA接口 | |
识别内容 | 人脸检测识别能力 | 8路普通摄像机/16路人脸抓拍摄像机 |
人脸检出率 | 大于等于99%（标准环境下） | |
人脸属性识别 | 识别检测出的人脸的年龄，性别，眼睛，胡子，头饰等属性 | |
人体属性识别 | 识别检测出的人体上下衣服类型和颜色，帽子发型，背包（拎）种类等 | |
厨房要素识别 | 厨师帽、厨师服、后厨人员数量、后厨老鼠（黑白图像下）、后厨抽烟识别、后厨火险识别、后厨物品整洁度及卫生状况 | |
人脸库大小 | 10万张 | |
硬盘驱动器 | 类型/大容量 | 2个SATA接口/每个接口支持容量8TB的硬盘 |
外部接口 | 网络接口 | 1个RJ45千兆以太网口 |
USB接口 | 2个USB2.0 | |
报警输入输出 | 8路输入，4路输出 | |
其它 | 电源 | AC220V，47--63 HZ |
功耗 | <20W （不包含硬盘） | |
工作温度 | -5℃--＋55℃ | |
工作湿度 | 10％--90％ | |
尺寸 | 440mm（宽）×450mm（深）×90mm（高） （2U） | |
重量 | ≤10Kg（不包含硬盘） |
- 人脸识别相机（见星光/微光相机）
- 明火检测相机（见星光/微光相机）
- 星光/微光相机
▼产品简介
微光相机主要应用于在月光、星光或天空光等微弱自然光的条件下，进行远距离景物拍摄和图像存储，广泛应用于军事、侦查和水下作业、河道监控、桥隧监控以及重点目标的探测等领域。
▼产品特点
- 体积小，安装方便；
- DC 12V供电；
- 宽温度范围（-30℃-55℃）
- 支持200万像素（1920*1080）@60fps，图像流畅；
- 10M/100M自适应以太网口；
- 压缩图像传输，图像压缩标准（H.265+/H.265/H.264/MJPEG）；
- 支持3D数字降噪功能；
- 内置自动日夜型双滤片切换机构，具有黑白与彩色两种模式。
▼产品照片
▼工作模式
- 彩色成像，在低照度0.001Lux@F1.2微弱光亮下完成高清图像成像，上位机软件支持onvif/rtsp等协议的客户端软件，比如海康IVMS-4200监控平台，微光相机成像效果同普通工业相机成像效果对比如下：
图 普通工业相机与微光相机夜间成像效果
8. 总结：
人工智能在城市应急平台的应用重要的不仅仅是算法的先进性和可靠性，而是如何能更合适的匹配现有各部门的使用和管理。目前西安交大智慧城市解决方案已在国家军工领域以及华润发电集团，中煤集团和*等测试并使用，具有较好的通用性和可扩展性。并在实施项目过程中积攒了实际工程经验。