智慧城市网

　　【安防展览网 品牌专栏】人工智能对机器视觉的发展带来了巨大改变：传统视频技术更多是给人看的，从清晰度、部署灵活性来看，都存在很多约束；图像发展的趋势是从给人看向给机器看转移，未来人类将进入一个超级视野的时代。
 

　　图像正从“给人看”向“给机器看”发展
 

　　随着AI 技术、算力和数据量的快速发展，使得大量视频数据的“受众”已不再是人，而是机器和算法。通过目标分析等算法，使得视频中嵌入的信息发挥了越来越大的价值。图像在从“给人看”转变成 “给机器看”为主。

 

　　同时，依靠算法模型的优化和海量数据训练的优势，智能算法已经表现出超越人眼的性能，在目标检测、目标识别等多项指标上都达到新的高度，因此利用机器可以发现更多人眼忽略的细节。
 

　　低照成像是图像研究的重要课题
 

　　随着 “夜生活”成为人们生活的重要部分，摄像机在夜间也能有全彩的图像逐渐成为市场需求，突破夜间成像也成为业界的研究课题。
 

　　传统摄像机在夜间低照度下图像质量较差，尤其在拍摄运动目标时，具有噪声大、细节缺失等问题，从而导致识别率急剧下降，无法达到智能可用。为了让摄像机在夜晚也能显示高清图像，通常需要给摄像机补很亮的白光，从而导致光污染。如何让摄像机在夜间实现高清成像的同时避免刺眼的补光，成为行业迫切的诉求。
 

　　另一种夜间成像方案是使用红外补光。红外补光没有光污染，补光亮度也足够目标检测识别，但红外图像有一个缺陷是缺乏色彩，成像效果和人眼视觉不符合，人眼主观查看也容易困扰。
 

　　低照全彩技术介绍—用“算力”换“图像”
 

　　为了解决当前摄像机在夜间无法兼顾色彩、光污染、清晰度的难题，各个厂家都推出了各自的解决方案。如有的采用“硬件改造”方式，通过对光学元器件的定制改造同时增加一定补光来达到全彩效果，这一方案对设备的校准有很高的依赖同时摄像机成像的误差率会相应增高。还有的则“软硬兼施”，在强大“算力”的加持下用软件与算法升级来打造全天候极致图像体验，让人看更舒适、让机器看的更准。
 

　　华为SuperColor低照全彩技术就是“软硬兼施”的成果，通过滤光、补光、曝光、降噪、配准、融合等一系列专利技术组合，在去除光污染的同时，又兼具图像清晰度和色彩还原度。
 

　　1、分时双光采集技术
 

　　传统的摄像机安装IR-Cut双滤镜，当镜头外的红外感应点侦测到光线的强弱变化后，内置的IR-Cut自动切换滤镜能够根据外部光线的强弱随之自动切换。
 

　　由于低照全彩需要兼顾彩色和红外细节，因此在硬件层面需要让摄像机能同时接收彩色和红外图像，而达到此目的的关键在于双通滤光片的使用。双通滤光片和IR-CUT滤光片区别在于：双通滤光片让环境中的可见光全部通过，同时让所需要的红外光透过，而IR-Cut是将所有红外光过滤。

 

　　这一小改动既解决了同时透过可见光和红外光的问题，又解决了环境中红外光干扰问题，但彻底解决光干扰问题，同时实现高清真彩，还得配合软件上的优化。
 

　　2、分时配准技术
 

　　分时双光采集系统可解决低照全彩技术的信号获取问题，但在成像层面仍然面临很多问题，首要问题就因为分时采集而导致的彩色、红外图像配准。
 

　　低照全彩摄像机是同镜不同时，因此低照全彩摄像机最大的配准难题在于时域运动。在夜间低照场景下，由于噪声大、图像信号弱等问题，时域配准所依赖的光流计算难以达到可用的精度。同时由于红外和彩色特质不同，传统光流算法提取到能够匹配的特征点很少，导致图像出现重影、颜色溢出等问题。
 

　　为了提升时域配准的准确度，低照全彩采用了基于深度神经网络的配准技术，神经网络具备强大的学习能力，可以通过训练学习到彩色、红外匹配特征，从而解决直接配准问题。
 

　　3、降噪技术
 

　　噪声是在信号采集过程中引入的一种图像失真，其中最主要来自光子散粒噪声，除此之外，噪声来源还包括暗电流噪声、热点噪声、固定模式噪声以及读出噪声。为了获得高质量的图像效果，需要先对图像进行降噪处理，尽可能的保持原始图片信息的完整性，又能去除信号中的无用信息，改善编码效率。
 

　　传统的降噪算法：分为空域降噪和时域降噪。空域降噪也称单帧降噪，即对单帧图片进行降噪处理，效果较好的算法有 NL -Means( 非局部平均)和 BM3D( 三维块匹配滤波)。时域降噪是一个广义的概念，也称多帧降噪，是在空域降噪的基础上，引入几个临近帧的信息(即时域信息)，对临近帧中相似的像素块在空间域做加权平均。
 

　　时域降噪存在的问题是，如果前后帧内有运动物体，对不属于同一个物体的两个块进行滤波处理会造成错误，产生拖尾现象。所以时域降噪的难点是要准确检测出运动强度，根据检测到的运动强度，对时域滤波和空域滤波的结果做加权平均。
 

　　传统降噪基于图像底层数据进行处理，当噪声大过细节时，往往不能做很好的区分，导致降噪的同时会丢失图像的细节信息，另外，对运动强度的估计受噪声影响，当噪声较大时，在降噪强度和运动区域拖尾之间很难做均衡。
 

　　低照全彩采用基于深度学习的降噪技术(即AI降噪)，在以上方面都有较好的表现。基于深度学习的降噪技术采用全新的算法架构，利用类人脑学习，预先训练好各种噪声数据，可以更好的区分噪声和细节、运动和非运动区域，改善传统算法的运动拖尾问题，在抑制噪声的同时保留更多细节信息。
 

　　4、双光谱融合技术
 

　　在传统的RGB传感器中，RGB提供了三个颜色通道用于合成颜色。那么，红外信息是否能够提供颜色信息？还是仅仅提供了空间结构的细节信息？答案是后者。由于红外光属于人眼不感知的信号，应该将其作为空间细节的一种补充。
 

　　在某些场景下，红外图像往往与彩色图像具有非常大的特征差异。光波与分子的相互作用也会导致红外图像与彩色图像结构的不同，例如所谓wood效应，即绿色植物在红外图像中亮度非常高这一现象，造成这一现象的原因为叶绿素的存在使得绿色植物对于红外光的反射更强。同时，红外图像也会“隐藏”一些可见光下可见的细节信息。
 

　　红外图像和彩色图像在特征上差距非常大，传统的融合方案都是提取红外的细节融合到彩色图像的亮度通道上，而色彩直接使用彩色图像的色度信息。红外、彩色融合的难题在于提升清晰度的同时，要保持灰阶的准确性，典型的算法有拉普拉斯金字塔融合、泊松融合等传统算法。这些传统算法能有效增强融合后的细节，但这些算法由于融合了低频信号，会带来偏色的问题，可是如果只融合高频信号，又会导致红外和彩色亮度差异大的边缘区域效果不自然。
 

　　低照全彩技术采用AI融合方法，利用神经网络提取Low-Level特征，通过训练让网络自己进行细节融合的同时，保持色彩跟高清彩色图一致。
 

　　给机器“看”的图像质量，需要重新定义评价标准
 

　　随着算力的普惠，在光学技术已经趋于天花板而AI算力遵循摩尔定律每两年翻倍的今天，可以预见低照全彩技术在不久会成为摄像机的标配，图像将“给机器看”得更好、色彩更真实、让智能全天候可用。
 

　　有了方法路径、有了技术，自然少不了科学的评价，这样才能促进图像技术的不断发展。就如智能手机领域有DXO 标准来评价图像能力，智能摄像机的图像也应有自动化、科学的评价体系。
 

　　就在2021年，《面向机器视觉安防摄像机图像质量评测方法研究报告》正式发布了，面向目标识别任务的图像质量评价方法。当前，针对智能摄像机的关键应用场景，结合机器视觉任务进行图像质量评价是一个关键方向。