大立科技:可见光和红外双波段图像融合增强技术
- 来源:中国安防展览网 作者:大立科技
- 2017/3/23 17:29:4746702
1 引言
随着传感器技术的发展,用于成像的传感器种类日益增多。由于成像机理、工作波段和工作环境等因素的不同,不同类型的传感器对同一目标或场景进行成像时,其获取到的目标或场景信息存在差异。对于用户来说,这些差异性信息往往都是有益的。
红外探测器和CCD 可见光传感器是应用为广泛的两类成像传感器。红外探测器主要通过接收场景中目标向外辐射或者反射出来的红外辐射进行成像,其对烟雾具有较强的穿透能力,且在光照条件较差情况下仍具有较好的目标探测能力,但其所成的红外图像细节表现能力较差;CCD 可见光传感器主要利用物体的反射特性成像,其获得的可见光图像内容丰富,细节纹理清晰,空间分辨率较高,但在光照条件差时,其成像质量将受到严重影响。
对于低分辨率手持式红外热成像设备,探测器的像元数有限,其输出的红外图像常常存在边缘模糊,细节难以分辨问题,这严重制约了红外热成像技术在军事和民用领域的应用,限制了红外热成像设备向着高性能便携化方向发展。可见光和红外双波段图像融合技术综合了两种图像的特征数据,实现信息互补,并通过终的合成图像得到关于目标或场景更加可靠,更加准确,更加全面的描述。
而现有图像融合技术多使用基于小波变换、轮廓波变换、多分辨率分解等理论的方法,其原理复杂,很难在实际的硬件平台上加以实现,且实现以后的实时化问题也需多加考虑。
所以,如何开发一种应用于低分辨率手持式红外热成像设备的基于可见光和红外双波段图像增强方法,补偿探测器分辨率不足对输出图像视觉质量的影响。简化图像融合规则,在保证融合图像质量的基础上,较大程度地提高融合速度,已变得非常必要。
2 双波段图像增强技术的研发思路及验证
大立科技新研发的双波段图像增强技术的实现如图1,具体包括以下步骤:
步骤一:针对同一目标场景, 利用可见光CCD传感器和红外焦平面阵列IRFPA 探测器采集YUV格式原始可见光图像和14bits 原始红外图像。
步骤二:对采集到的原始可见光图像和原始红外图像分别进行预处理。原始红外图像预处理包括两点校正、盲元补偿和中值滤波,为了提高红外图像的对比度,预处理结束后,使用平台直方图均衡化方法对其进行增强。增强处理完成后再使用大小值线性映射法,将红外图像像素值从14 bits 数据转换成8 bits 数据。
由于可见光图像和红外图像尺寸大小存在差异,在红外图像增强处理完成后, 使用双线性插值算法将它们的尺寸大小设置成一致的。实际处理过程中,针对可见光图像的处理只在Y 分量(即亮度分量)上进行,以下步骤同理。
步骤三:对可见光图像和红外图像进行配准。
图像配准是图像融合的必要环节,其直接影响终融合图像的质量。可见光图像和红外图像采用粗配准的配准方式。通过光学和结构设计做出的保证,使得可见光CCD 传感器和红外焦平面阵列IRFPA 传感器的成像视场接近一致,即完成可见光图像和红外图像的粗配准。
步骤四:利用基于拉普拉斯金字塔分解的融合方法对配准后的图像进行图像融合。
该方法的流程如下:
1) 提取可见光图像的细节;
2) 红外图像的拉普拉斯金字塔多尺度分解;
3) 将红外图像拉普拉斯金字塔的底层图像与可见光图像的细节图像进行融合;
4) 重构融合图像。
流程图如图2 所示。
步骤五:融合图像的伪彩色显示。
鉴于人眼能够区分的灰度等级只有几十种,能分辨的色彩却多达几千种,本技术对可见光图像和红外图像融合后的图像再做伪彩色处理,进一步地增强其视觉效果。伪彩色处理采用的是灰度级—彩色变换法,通过建立灰度图像的灰度级与彩色空间中各种色彩之间的映射关系,将灰度图像转化成彩色图像。
图3-5 给出了可见光和红外双波段图像融合增强方法处理效果的一个示例。从图可以看出,由于融合了可见光图像当中的细节信息,本技术处理后的水杯图像细节更加清晰,相反,图6 中水杯的边缘部分显得较为模糊,水杯后的栏杆甚至无法分辨。对比图4 和图5 可以发现,本技术中的可见光和红外双波段图像融合增强方法,可以大大改善红外图像的视觉效果。对于低分辨率的手持式红外热成像设备,该方法可以看作是对探测器分辨率不足做的一个补偿。
3 双波段图像增强技术的优点
与其他可见光和红外融合方法相比,该技术存在以下优点:
(1)该技术将可见光图像和红外图像进行融合,综合两种图像的特征数据,实现信息互补,补偿低分辨率手持式红外热成像设备探测器分辨率不足对输出图像视觉质量的影响。
(2)该技术采用3 层拉普拉斯金字塔对红外图像进行塔式分解,并将底层的高频细节图像与从可见光图像中提取出的细节图像进行融合,在保留细节信息的同时,简化融合规则,可以较大幅度缩短融合处理时间,利于提高图像融合速度。
(3)该技术提供的可见光和红外双波段图像融合增强方法,不仅能得到较高质量的融合图像,还具有较快的融合速度,有助于低分辨率手持式红外热成像设备在军事和民用领域的应用,有利于便携化高性能红外热成像设备发展。
4 双波段图像增强技术的产品化
目前我国民用红外热像仪市场已经进入成长期,具备高增长潜力。随着红外热像仪的探测器技术突破,陶瓷封装甚至晶圆级封装低分辨率非制冷焦平面探测器的推出,大大降低了红外热像仪整机的成本,使得越来越多的行业普及应用红外热像仪,如电力、消防、建筑、石化、铁路、工业等。如何将双波段图像增强技术应用到产品中,如何产品化,这需要一个很长的过程。
经过长时间的科研,大立科技利用双波段图像增强技术,加以产品化,隆重推出“更轻、更强、更超值”的T1 手持式红外热像仪,这款外形小巧的热像仪大的特点就是具有双波段图像增强技术,并且采用了大立自主研发的探测器,整体产品国有化,是一款非常经济化,但兼有新技术和功能的产品。
T1 采用了的可见光和红外光双波段图像融合增强技术,将红外图像和可见光图像进行融合,帮助用户轻松地检测到被探测物体的细节温度变化。
T1 手持式红外热像仪主要特点:
(1)120×120探测器像素;
(2)0.06℃超高热灵敏度;
(3)固定焦距镜头,使用更便捷;
(4)双波段图像融合显示模式,图像显示更清晰,极易确定发热位置;
(5)3.2 寸液晶屏、50 Hz 图像显示;
(6)全屏高温/ 低温,配合声光报警功能;
(7)60 s 语音记录,随JPEG 格式图片一同存储;
(8)USB 具备充电/ 数据传输功能;
(9)外形小巧,符合人体工程学设计;
(10)1.5 m 抗跌落功能。
T1 手持式红外热像仪应用领域:
(1)工业电子:保温内壁磨损检测、电池漏电流的检测、评估补救措施等;
(2)建筑科学:快速探测和查找屋顶渗水现象、对商用楼和住宅楼进行红外能量评估调查、地热材料和制热地板安装检测维护;
(3)科研检测:太阳能产品隐裂和焊接不良检测、电路PCB 板可靠性检测、电子电路封装和发热检测;
(4)其它领域:钢铁、电力、石化等行业的设备检测。