CN115753629A - 一种在可见度低天气下的偏振视频还原方法 - Google Patents

Abstract

本发明涉及图像算法技术领域，且公开了一种在可见度低天气下的偏振视频还原方法，用于提升在雨、雪、雾、霾可见度低的恶劣天气下视频清晰度，包括如下步骤：S1：利用光学设备对同一场景采集偏振方向为0°、45°、90°、135°的4幅图像；通过空间校正，线扫描偏振相机可以探测到双折射、应力、表面粗糙度以及常规成像无法检测到的物理特性。偏振提供了许多好处，它不仅检测几何和表面，而且测量无法用常规成像检测的物理性质。在机器视觉中，它可以用来增强难以区分的物体的对比度。与相位检测技术相结合，偏振成像的成像灵敏感比传统成像方法高得多。

Description

一种在可见度低天气下的偏振视频还原方法

技术领域

本发明涉及图像算法技术领域，具体为一种在可见度低天气下的偏振视频还原方法。

背景技术

目前在雨、雪、雾、霾可见度低的恶劣天气，视频还原技术多采用光学原理(通过近红外可穿透雾霾原理还原图形，由于这个不可见光没有对应的可见光色彩图，所以呈现的图像为黑白色)和光电原理(在光学原理基础上增加一定图形算法处理，实现更好的视频效果)；光学原理和光电原理对雨、雪、雾、霾可见度低情况下的视频还原效果依然不尽如意。

而偏振视频还原技术是在光电还原技术基础上增加大气偏振震辐射传输模型，反演目标真实信息，实现雨、雪、雾、霾天气下视觉***的可视化清晰成像，解决了光电原理在辅助场景下目标快速发现和识别问题，显著提升光电探测装备在复杂场景、低能见度等条件下的作业距离，为复杂气候条件下成像探测提供一种新的技术手段。

目前，国内外对于透过随机散射介质实现成像的研究与探索，目前主流技术主要分为两大类：

1、图像处理去雾技术，主要对传统光学成像设备所采集到的图像进行增强或复原操作，从而实现提高图像质量的效果。

2、光学***改进技术，通过对光学成像***的改造和成像算法的优化，减小散射介质对成像质量的影响。

发明内容

解决的技术问题

针对现有技术的不足，本发明提供了一种在可见度低天气下的偏振视频还原方法，具备提升在雨、雪、雾、霾可见度低的恶劣天气下视频清晰度，尤其在危险场景需要增加视频识别预报警时，识别率达到或超过50％的优点，解决了光学原理和光电原理透雾后的图像效果依然不尽如意，图像清晰度不高，危险场景视频识别正确率不超过20％的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种在可见度低天气下的偏振视频还原方法，用于提升在雨、雪、雾、霾可见度低的恶劣天气下视频清晰度，包括如下步骤：

S1：利用光学设备对同一场景采集偏振方向为0°、45°、90°、135°的4幅图像，分别记作I(0)、I(45)、I(90)和I(135)；

S2：计算得到斯托尅矢量：S0，S1，S2，进而计算得出个像素点的偏振度及偏振角；

S3：选择出现概率最大的偏振角值作为大气光偏振角，从满足大气光偏振角的像素中计算偏振度，选取最大值为大气光偏振度；

S4：结合目标反射光强的表达式，得到目标反射光强，实现去雾操作。

优选的，采用斯托克斯参量(S0，S1，S2，S3)，S0表示光的总强度；S1表示0°与90°线偏振光分量之差；S2表示45°与135°线偏振光分量之差；S3表示右旋与左旋圆偏振光分量之差。

优选的，大气光是雾霾环境中光学成像的主要干扰因素到达探测器的总光强是直接透射光强和大气光强的非相干叠加，表达式为：

I＝L*t+A∞(1-t)

式中：t＝exp(-β*z)表示透过率，β为衰减系数，z为距离，达到探测器的大气光强表示为：A＝A∞(1-t)。

优选的，将所述表达式变形后可以得到所述S4中目标反射光强的表达式：

L＝(I-A)/(1-A/A∞)。

(三)有益效果

与现有技术相比，本发明提供了一种在可见度低天气下的偏振视频还原方法，具备以下有益效果：

1)、通过空间校正，线扫描偏振相机可以探测到双折射、应力、表面粗糙度以及常规成像无法检测到的物理特性。

2)、偏振提供了许多好处，它不仅检测几何和表面，而且测量无法用常规成像检测的物理性质。在机器视觉中，它可以用来增强难以区分的物体的对比度。与相位检测技术相结合，偏振成像的成像灵敏感比传统成像方法高得多。

附图说明

图1为偏振镜典型应用图；

图2通过偏振镜减少或消除的对比图；

图3为圆罐子上的条码图像。左侧图像中，条码下的打印号码不可读；右侧图像中，使用正交偏振镜后，打印号码清晰可见；

图4为闪光零件上的二次反射(a)。平行偏振光图像抑制额外反射(b)；

图5为使用偏振光突出金属表面的胶带；

图6为使用偏振还原的对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例中，一个可用的偏振相机，包含一个具有四线架构的CMOS传感器。由纳米线组成的微偏振器阵列被放置在硅上，纳米线的螺距为140nm，宽度为70nm，而在前三个线性阵列上，偏振滤光片的取向分别为0°、135°和90°。过滤光的强度由底层的阵列记录。第四个通道是一个未经滤波的阵列，它捕获的总强度相当于一幅传统图像，而有源阵列之间的间隙减少了空间串扰。

本实施例中，偏振相机原理图是传感器结构。将纳米线微偏振器滤光片置于硅(Si)上，在前三个线阵上分别定义0°(S)、135°和90°(P)偏振态。第四个数组是一个未经过滤的通道，它记录传统的未经过滤的图像。由Teledyne Dalsa提供。光是电磁波。它的电场、磁场和传播方向是正交的。偏振方向被定义为电场方向。电场方向垂直于纳米线振荡方向的光将会穿过滤光片，而平行于纳米线振荡方向的光将会被滤除。当线扫描相机用反射结构与腹板成一定角度安装时，0°通道传输s偏振光(偏振方向垂直于入射平面)，而90°通道传输p偏振光(偏振方向平行于入射平面)。假设相机的输出i0，i90，i135,和iUF分别从0°、90°、135°偏振和未滤波通道输出，则s偏振态和p偏振态的强度分别为：使用微偏振器滤镜的线扫描和面扫描之间的关键区别是每个像素的原始偏振状态数据的数量。区域扫描成像仪通常使用以所谓的超像素格式排列的0°，45°，90°和135°偏振滤光片，其中每个像素捕获一个原始偏振态。然后使用插值算法根据来自相邻像素的信息计算另外三个状态。由于空间分辨率的损失，导致数据精度不高。另一方面，对于线扫描相机，每个偏振态都有100％的采样。物理测量了多个自然偏振态数据。纳米线微偏振器滤光片的对比度如图2所示。

本实施例中，根据波长的不同，对比度在30～90之间。在未来的设计中可以实现更高的对比度，Stokes参数，S0，S1，S2等通常被用来分析材料的物理性质。差分偏振、线性偏振度(DoLP)和偏振角(AOP)都是有用的参数。

本实施例中，偏振图像与基于强度的传统图像基本不相关。在视觉***中，可以在每个特定的偏振状态或其组合中实现数据处理。考虑到人类无法看到偏振图像，所以这是很有用的。彩色编码的偏振图像可能是最受欢迎的一种，因为它们不仅可以提供视觉感知，而且可以在彩色成像中利用标准的数据结构和传输协议。

本实施例中，彩色编码偏振图像(a)与传统的未经滤波的图像(b)用偏振相机捕捉到的塑料尺。在偏振图像中，RGB分别代表0°(S)、90°(P)和135°偏振态。由Teledyne Dalsa提供，图3显示了由偏振相机捕获的塑料标尺的彩色编码偏振图像，其中RGB分别代表0°(s-偏振)、90°(p-偏振)和135°偏振状态。还比较了由未滤波信道捕获的常规图像。显然，偏振成像显示的是塑料尺内部积累的应力，这是常规成像无法检测到的。

本实施例中，随着检测要求的线速达到100kHz左右和物体分辨率缩小到亚微米，机器视觉行业在可检测性方面面临着许多挑战。不同的技术被陆续开发，如时间延迟积分，以提高信噪比，以及彩色和多光谱成像，以获得光谱特性。然而，基于材料物理特性的检测，则需要更高的对比度。偏振在这里起着关键的作用，因为它对表面或界面上的任何变化都非常敏感。由于相位检测技术，基于偏振的成像比基于强度的成像更加灵敏。

本实施例中，透射结构：偏振器将光源转换成线偏振光。当线偏振光通过物体时，由于双折射，通常会变成椭圆偏振。可以使用可选的补偿器，例如λ/4板。最后由偏振相机拍摄图像。由Teledyne Dalsa提供，透射结构(图4)通常用于透明材料，如玻璃和薄膜。通常偏振器被用来将光源转换成线偏振光。当线偏振光穿过物体时，由于物体的双折射，通常会发生椭圆偏振。可选补偿器(如λ/4板)也可用于光路中。最后由偏振相机拍摄图像。偏振器和补偿器的角度可以调整，以达到最佳的性能。反射结构(图5)用于不透明材料。来自半导体和金属等许多材料的反射光与偏振有关。

本实施例中，偏振器将光源转换成线偏振光。当线性偏振光从物体反射出来时，反射光一般会变成椭圆偏振光。旋转偏振片和补偿器的角度，以获得最佳的性能。由TeledyneDalsa提供，偏振器将光源转换为线偏振光。当线性偏振光从物体反射出来时，反射光一般会变成椭圆偏振光。通过旋转偏振片和补偿器的角度，可以获得到达摄像机的线偏振光。它的结构类似于椭圆仪。不同的是，相机不是使用旋转分析仪，而是同时捕获不同的偏振态，具有横向空间分辨率。光是线状光源，而不是点光源。例如，在任何一种结构中，当对象的物理属性因缺陷而发生变化时，该变化改变的偏振状态与对象的其他状态不同。然后由高灵敏度的偏振相机检测这一变化。

本实施例中，偏振像(a)与传统的未经滤波的图像(b)印刷电路的。使用偏振成像的对比度增强显示了表面的小划痕，这是常规成像无法检测到的，线扫描偏振成像结合了椭圆偏振仪的强大功能和真正的横向分辨率。椭圆偏振技术是20世纪70年代发展起来的一种非常灵敏的光学技术，其垂直分辨率仅为纳米的几分之一。它被广泛应用于测定材料的物理性质，如薄膜厚度、材料组成、表面形貌、光学常数、甚至晶体无序性。后来发展起来的成像椭圆仪增加了一定程度的横向分辨率。然而，由于使用的是点光源，它的视场很小(微米-毫米)，因此只适用于显微镜。采用线性传感器和线性光源的线扫描偏振成像克服了这一限制。

本实施例中，其中n是物体的折射率，与波长有关。对于玻璃，n≈1.52和θB≈56°，硅，n≈3.44和θB≈74°，波长为633nm。在布鲁斯特角处，p偏振光的反射最小，s-偏振态和p-偏振态反射率的差异最大，这给出了最高的灵敏度。当非偏振光在布鲁斯特角下入射，相机安装在镜面角度时，p通道捕获暗信号，而s通道仍然从反射中捕获正常信号。如果完全的p偏振光是在布鲁斯特角下入射的，安装在同一角度上的照相机会捕捉到一个黑暗的背景。表面上任何因缺陷或杂质等而产生的偏差，都会导致区域明亮。然后可以获得高对比度的图像。但是行扫描的一个挑战是，当视场比传感器的长度大得多时，就无法满足这种情况了。

本实施例中，线扫描偏振成像结合了高灵敏度的偏振相位检测和真正的横向分辨率，为下一代视觉***提供了在许多需要的应用中的可检测性。

参阅图1-6，偏振为机器视觉照明***提供了额外的、有时甚至是独特的能力。与任何照明一样，偏振并不能解决所有问题，但是对于多次反射、镜面反射、薄涂层或厚度变化、应变效应或是很难察觉细微坡度变化等应用，偏振可以说是机器视觉照明工具箱中的一件利器；

也许鲜为人知的是，偏振还可以帮助确定一个表面的坡度和倾斜度。使用偏振技术突出显示坡度需要图1所示的设置，设置中的最大区别是：当使用正交偏振镜阻挡简单的镜面反光时，最好保持偏振光源和相机(镜头上装有偏振镜)彼此靠近，并且接近零件表面的法线。通过让光源和观察点靠近，光的偏振相对反射的变化相对较小，因此相机上的偏振镜(分析器)可以通过与照明偏振镜正交来最有效地抑制影响成像效果的光。这种方法能有效地阻挡偏振的镜面反射光，并让漫射非偏振光通过。为了用偏振技术来突出斜面上的特征，从斜面表面反射的光必须在检测区域偏振。要做到这一点，需要明场照明来照亮整个表面。用一个较宽的漫射光源照亮图3中圆罐上的条码，在条形码上提供均匀明亮的反射在图3给出的案例中，使用一个较宽的漫射光源照亮了图3中圆罐上的条码，并没有使用偏振光源。这种明场照明方法通常用于有光泽的表面，目的是提供一个明亮的照明表面，用于查找缺陷、打印或其他表面特征；当有光泽的表面具有很多形状时(会导致很多亮区域和暗区域)，这是一种常用的方法。没有有光泽的表面，反射光将无法保持偏振，也无法用于观察坡度的变化。常见的亮场照明工具包括漫射光源(如灯箱)、相机前面的同轴漫射光源、漫射环形光源或光帐篷(有时称为阴天照明器)；

大角度反射与图4中的二次反射不同，其中偏振旋转90°并保持线偏振，这是因为后向反射充当法向入射反射。图4表示单一反射，光源和相机相对于零件的位置，应该使整个表面看起来明亮。初始线偏振光变为椭圆偏振光，偏振随光入射和出射入射平面的角度而变化。通过旋转相机前面的偏振镜，可以看到这种偏振的变化。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种在可见度低天气下的偏振视频还原方法，用于提升在雨、雪、雾、霾可见度低的恶劣天气下视频清晰度，其特征在于，包括如下步骤：

S1：利用光学设备对同一场景采集偏振方向为0°、45°、90°、135°的4幅图像，分别记作I(0)、I(45)、I(90)和I(135)；

S2：计算得到斯托尅矢量：S0，S1，S2，进而计算得出个像素点的偏振度及偏振角；

S3：选择出现概率最大的偏振角值作为大气光偏振角，从满足大气光偏振角的像素中计算偏振度，选取最大值为大气光偏振度；

S4：结合目标反射光强的表达式，得到目标反射光强，实现去雾操作。

2.根据权利要求1所述的一种在可见度低天气下的偏振视频还原方法，其特征在于：采用斯托克斯参量(S0，S1，S2，S3)，S0表示光的总强度；S1表示0°与90°线偏振光分量之差；S2表示45°与135°线偏振光分量之差；S3表示右旋与左旋圆偏振光分量之差。

3.根据权利要求1所述的一种在可见度低天气下的偏振视频还原方法，其特征在于：大气光是雾霾环境中光学成像的主要干扰因素到达探测器的总光强是直接透射光强和大气光强的非相干叠加，表达式为：

I＝L*t+A∞(1-t)

式中：t＝exp(-β*z)表示透过率，β为衰减系数，z为距离，达到探测器的大气光强表示为：A＝A∞(1-t)。

4.根据权利要求3所述的一种在可见度低天气下的偏振视频还原方法，其特征在于：将所述表达式变形后可以得到所述S4中目标反射光强的表达式：

L＝(I-A)/(1-A/A∞)。

Images