CN112379529B - 一种基于偏振特征的透明物体表面反射光分离方法 - Google Patents

一种基于偏振特征的透明物体表面反射光分离方法 Download PDF

Info

Publication number
CN112379529B
CN112379529B CN202011303630.8A CN202011303630A CN112379529B CN 112379529 B CN112379529 B CN 112379529B CN 202011303630 A CN202011303630 A CN 202011303630A CN 112379529 B CN112379529 B CN 112379529B
Authority
CN
China
Prior art keywords
image
light
reflected light
polarization
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011303630.8A
Other languages
English (en)
Other versions
CN112379529A (zh
Inventor
张焱
张景华
石志广
李飚
杨卫平
张宇
索玉昌
刘荻
凌峰
师晓冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011303630.8A priority Critical patent/CN112379529B/zh
Publication of CN112379529A publication Critical patent/CN112379529A/zh
Application granted granted Critical
Publication of CN112379529B publication Critical patent/CN112379529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明属于图像处理领域,涉及一种基于偏振特征的透明物体表面反射光分离方法。包括以下步骤:(S1)采集偏振图像,并进行预处理;(S2)对预处理后的图像进行偏振解算,得到平行方向和垂直方向光强图像;(S3)利用平行方向和垂直方向光强图像对反射图像进行分离;(S4)求取分离后反射光图像和透射光图像归一化互相关;(S5)反射主导像素点和透射主导像素点提取与互相关求和;(S6)利用梯度下降法求解归一化互相关最小值,得到对应的透射光偏振度和反射光偏振度,实现反射光分离。本发明方法能够实现透明物体表面反射光和透射光的分离,具有良好的分离效果。通过对反射光进行分离,能够有效提取反射信息,并对透射图像进行杂波抑制和增强。

Description

一种基于偏振特征的透明物体表面反射光分离方法
技术领域
本发明属于光学图像处理领域,涉及可见光偏振图像信息的处理与分析,实现了一种透明物体表面反射光的分离方法。
背景技术
利用探测器对玻璃等透明材质背后的景物进行成像时,获取的图像由两部分组成:透射光部分和反射光部分。由于透明物体表面反射和透射过程是同时发生的,所以反射光和透射光往往混合在一起,相互影响。随着现代化城市建设及家庭室内装修过程中,玻璃、塑料等具有透光和反光效应的材料被大量采用,透明物体表面透射光和反射光的分离及反射光抑制问题引起国内外学者的广泛关注和重点研究。一方面,反射光会在物体表面呈现虚像,掩盖玻璃背后景物的颜色细节等属性,当入射光光源较强时,还会在物体表面形成高亮区域,影响图像的品质,给计算机处理和人眼识别带来较大问题。另一方面,通过对反射光进行提取和分析,能够获取反射光源强度、位置和周围环境等信息,具有一定的应用价值。因此,透明物体表面反射光和透射光分离是计算机视觉领域中十分具有挑战性的任务,对图像分割、目标识别、立体匹配等应用具有重要的意义。
现有的反射光分离方法大致可以分为两类:一是基于图像特征的,如相机虚焦引起的反射景物边缘模糊特征、玻璃前后表面同时反射产生的重影特征等。由于反射光图像和透射光图像相互干扰、彼此重叠,单纯的基于图像特征的反射光分离效果并不理想;二是基于物理属性的,如光波反射过程中产生的偏振特征等。由于玻璃表面反射光和透射光具有明显的偏振效应,且反射光和透射光的偏振特征具有明显的差异,因此利用反射光的偏振特征能够实现反射光的分离,且相对于单纯的基于图像特征的反射光分离方法,具有更好的分离效果和稳定性。
发明内容
针对透明物体表面反射光分离问题,通过对反射区域偏振特征进行分析,结合透射光图像和反射光图像之间的相关性,利用梯度下降法求解透射光图像和反射光图像归一化互相关最小值,得到相关性最小时对应的反射偏振度和透射偏振度。然后根据透射光和反射光在透明物体表面垂直方向上和平行方向上的分布关系,通过偏振正交差分算法,利用反射光偏振度和透射光偏振度实现反射光分离。具体技术方案如下:
一种基于偏振特征的透明物体表面反射光分离方法,包括以下步骤:
(S1)采集可见光偏振图像,并进行预处理;
(S2)对步骤(S1)中预处理后的图像进行偏振态解算,计算得到平行方向光强图像和垂直方向光强图像;
(S3)选取初始的反射光偏振度和透射光偏振度并结合平行方向光强图像和垂直方向光强图像对反射光和透射光混合图像进行分离;
(S4)求取初始分离后反射光图像和透射光图像的归一化互相关;
(S5)反射主导像素点和透射主导像素点提取与互相关求和;
(S6)利用梯度下降法求解归一化互相关最小值,得到最小值对应的透射光偏振度和反射光偏振度,从而实现反射光的分离。
优选地,所述步骤(S1)中的预处理包括:包括图像校正、滤波、配准和裁剪。
优选地,所述步骤(S2)中平行方向光强图像和垂直方向光强图像解算过程为:
根据偏振光的表示形式,确定偏振光在不同起偏角下的光强计算公式为:
Figure GDA0003531052670000031
其中i、j表示图像中像素点坐标位置,φm为起偏角,φ为反射面垂直方向对应的起偏角。
令φ0=0°,将起偏角φm分别为φ0=φ0,φ45=φ0+45°,φ90=φ0+90°时获取的三通道偏振度图像I0,I45,I90分别代入上式,求得:
Figure GDA0003531052670000032
分别确定垂直方向光强I和平行方向光强I||如下:
Figure GDA0003531052670000033
Figure GDA0003531052670000034
优选地,所述步骤(S3)的具体过程为:
根据偏振正交分解原理,确定探测器接收到的光强在垂直方向上和平行方向上的分量为:
Figure GDA0003531052670000035
其中R和R||分别是垂直方向和平行方向反射率,PR是反射光源强度,
Figure GDA0003531052670000036
Figure GDA0003531052670000037
分别为反射光垂直方向和平行方向光强分量,ε和ε||分别是垂直方向和平行方向发射率,
Figure GDA0003531052670000038
为透射光垂直方向光强分量,
Figure GDA0003531052670000039
为透射光平行方向光强分量,PT是透射光源强度。
玻璃表面反射光和透射光都属于偏振光,令反射光偏振度为γ,透射光偏振度为χ:
Figure GDA0003531052670000041
Figure GDA0003531052670000042
则:
Figure GDA0003531052670000043
Figure GDA0003531052670000044
将公式(8)、(9)代入公式(5)求解得到透射光在垂直方向上和平行方向上光强分量为:
Figure GDA0003531052670000045
同时确定反射光在垂直方向上和平行方向上光强分量为:
Figure GDA0003531052670000046
总光强等于垂直方向和平行方向光强之和,因此确定玻璃表面反射光成分和透射光成分如下:
Figure GDA0003531052670000047
优选地,所述步骤(S5)的具体过程为:
将图像中任意一像素点r(i,j)处的归一化自相关
Figure GDA0003531052670000051
表示为:
Figure GDA0003531052670000052
其中U、V表示窗口大小,u、v表示像素点在窗口内位置坐标,
Figure GDA0003531052670000053
Figure GDA0003531052670000054
分别表示反射光图像和透射光图像窗口内像素灰度平均值。
(S51)反射主导像素点提取
提取反射光为主导像素点的具体步骤如下:首先设置γ=0.01,χ=0.2对混合图像进行过分离,得到过分离后的透射光图像Iover-t;然后选取γ=0.99,χ=0.2对混合图像进行欠分离,得到欠分离后的透射光图像Iunder-t;紧接着求取Iover-t和Iunder-t两者之间的相关性,得到相关性图像Rt;最后通过将相关性为负的像素点设置为1,相关性为正的像素点设置为0,从而实现反射主导像素点的提取;
Figure GDA0003531052670000055
其中Rt表示过分离后的透射光图像Iover-t和欠分离后的透射光图像Iunder-t之间的归一化互相关图像,Mt表示对Rt进行二值化之后的结果。
(S52)透射主导像素点提取:
通过选取以透射光为主导的像素点求取实际透射偏振度值,首先设置γ=0.5,χ=0.01对混合图像进行过分离,得到过分离后的反射光图像Iover-r,然后选取γ=0.99,χ=0.5对混合图像进行欠分离,得到欠分离后的透射光图像Iunder-r,求两者之间的互相关得到Rr,并对其进行二值化:
Figure GDA0003531052670000056
其中Rr表示过分离后的反射光图像Iover-r和欠分离后的反射光图像Iunder-r之间的归一化互相关图像,Mr表示对Rr进行二值化之后的结果。
(S53)反射主导像素点和透射主导像素点互相关求和:
以反射为主导的像素点归一化互相关之和fR(γ,χ)为:
Figure GDA0003531052670000061
其中row、col分别表示图像的行数和列数。
以透射为主导的像素点归一化互相关之和fT(γ,χ)为:
Figure GDA0003531052670000062
优选地,所述步骤(S6)的具体过程为:
将反射光图像和透射光图像归一化互相关fR(γ,χ)和fT(γ,χ)作为反射偏振度γ和透射偏振度χ的函数,然后分别对fR(γ,χ)和fT(γ,χ)求偏导,并让其沿着梯度方向的下降,通过多次迭代后得到fR(γ,χ)和fT(γ,χ)的最小值;
Figure GDA0003531052670000063
其中η是学习率,n表示当前迭代次数,n+1表示下一次迭代次数。当达到收敛条件时,迭代结束,此时得到归一互相关最小值fRmm)和fTmm),以及他们对应的透射偏振度γm和反射偏振度χm,从而实现反射光和透射光的最优分离。
优选地,所述反射主导像素点提取过程中,反射偏振度γ先后设置为0.01和0.99。
优选地,所述透射主导像素点提取过程中,透射偏振度χ先后设置为0.01和0.99。
为了充分理解本发明,下面对技术方案中涉及的相关原理进行说明。
利用探测器对玻璃等透明材质背后的景物进行成像时,获取的图像由两部分组成:透射光部分和反射光部分。由于透明物体表面反射和透射过程是同时发生的,所以反射光和透射光往往混合在一起,相互影响。由于透明物体表面反射光和透射光都是偏振光,且两者之间存在明显差异,其中反射光偏振方向以垂直反射面为主,透射光偏振方向以平行反射面为主,因此利用反射光和透射光的偏振特征能够实现反射光和透射光的分离。
为了实现反射光的分离,本发明利用透明物体表面反射光和透射光在垂直方向和平行方向上的分布关系,建立了反射光强和透射光强与反射偏振度和透射偏振度之间的方程关系,从而直接通过偏振度实现反射光的分离。由于反射偏振度和透射偏振度无法直接利用探测器测量得到,本发明通过梯度下降法求解反射光图像和透射光图像归一化互相关最小值,从而获取其对应的反射光偏振度和透射光偏振度,最终实现透射光和反射光的最优分离。
混合图像中反射主导点和透射主导点提取方法:在实际分解过程中,直接求图像中所有像素点的互相关之和,会存在两个问题:一是计算量大,计算速度慢;二是易受噪声干扰。为了抑制噪声干扰,同时提升计算速度,本发明提出一种提取主导像素点的算法。所谓主导像素点,是指混合图像中以透射光信息或者反射光信息为主导的像素点。由于偏振度大小和透射光与反射光的比值有关,且两者之间相差越大,偏振度越大,相差越小,偏振度越小。对于图像中的反射主导像素点和透射主导像素点,其透射光强度和反射光强度相差都比较大,所以该类像素点偏振度大、抗干扰性强。
对于以反射光为主导的像素点,在反射偏振度从小到大变化过程中,反射光分离过程会从过分解变为欠分解,此时透射光图像和反射光图像之间的相关性会从负相关变为正相关,即相关性会发生“正负”变化。而对于以透射光为主导的像素点,当反射偏振度从小到大变化过程中,其相关性变化并不明显,不存在“正负”变化现象。因此通过反射光欠分离和过分离过程中透射光图像的相关性正负变化关系,能够提取出以反射光为主导的像素点;然后利用以反射光为主导的像素点,能够准确、高效的求解出实际反射偏振度大小。
同理,对于以透射光为主导的像素点,在透射偏振度从小到大变化过程中,透射光分离过程会从过分解变为欠分解,此时透射光图像和反射光图像之间的相关性会从负相关变为正相关,即相关性会发生“正负”变化。而对于以反射光为主导的像素点,当透射偏振度从小到大变化过程中,其相关性变化并不明显,不存在“正负”变化现象。因此通过透射光图像欠分离和过分离过程中反射光图像的相关性正负变化关系,能够提取出以透射光为主导的像素点;然后利用以透射光为主导的像素点,能够准确、高效的求解出实际透射偏振度大小。
采用本发明获得的有益效果:
本发明方法能够有效分离出透明物体表面的反射光和透射光,基于反射光和透射光偏振特征,利用反射光和透射光相互作用的特点,结合反射光和透射光在垂直方向和平行方向上的光强分布关系,采用偏振正交差分分解的方法,通过反射偏振度和透射偏振度求解得到反射光图像和透射光图像。然后基于最优分离时反射光图像和透射光图像相关性最小的原理,利用梯度下降的方法,求解反射光图像和透射光图像归一化互相关最小值对应的反射偏振度和透射偏振度,最终实现透明物体表面反射光和透射的最佳分离。实验结果表明,本文方法能实现不同场景下反射光的分离。通过反射光的分离,一方面能够从反射光中获取物体表面的反射光源位置、反射光源强度等信息,为目标侦察、三维重构等数据基础,另一方面通过对反射光进行分离,实现了透明物体表面反射光的抑制,从而增强透射成分,提升玻璃背后景物的成像质量,更有利于实现复杂反射光环境下目标检测、分割等图像处理。
附图说明
图1为本发明流程图;
图2为反射光分离过程流程图;
图3为反射和透射过程示意图;
图4为反射光过分解和欠分解过程;
图5为透射光过分解和欠分解过程;
图6为反射数据采集示意图;
图7为不同场景下反射光分离结果对比图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示,为本发明的总流程图;为了测试本发明方法的分离效果和可靠性,利用偏振探测器、玻璃等器材获取了三组真实世界中的反射光图像。数据获取过程如图4所示。首先利用玻璃和偏振探测器获取真实世界中的反射光和透射光的混合图像(如图7(a1)、(b1)、(c1)所示)。然后取走玻璃,获取背景图像,即真实透射光图像(如图7(a2)、(b2)、(c2)所示)。图7(a3)、(b3)、(c3)是本发明方法分离后的透射光图像,图5(a4)、(b4)、(c4)是本发明方法分离后的反射光图像。通过将本发明方法分离后的透射光图像(如图7(a3)、(b3)、(c3)所示)与真实透射光背景图像(如7(a2)、(b2)、(c2))进行对比,可以看出,本发明分离后的透射光图像和真实背景图像接近相同,验证本发明方法的有效性,本发明方法具体步骤如下:
(S1)采集可见光偏振图像,并进行预处理;
利用可见光偏振成像探测***对目标场景采集四个通道(不同的检偏方向,如I0、I45、I90、I135)的可见光偏振图像。图像预处理包括图像校正、滤波、配准、裁剪等,校正用于抵消探测器响应的非均匀性、并补偿光学元器件的非理想性。滤波用于降低图像噪声并去除坏点。配准用于消除同一场景各偏振图像存在的微位移偏差,最后裁剪掉图像配准后的边框。
(S2)对步骤(S1)中预处理后的图像进行偏振态解算,计算得到平行方向光强图像和垂直方向光强图像;
根据偏振光的表示形式,确定偏振光在不同起偏角下的光强计算公式为:
Figure GDA0003531052670000101
其中i、j表示图像中像素点坐标位置,φm为起偏角,φ为反射面垂直方向对应的起偏角。
令φ0=0°,将起偏角φm分别为φ0=φ0,φ45=φ0+45°,φ90=φ0+90°时获取的三通道偏振度图像I0,I45,I90分别代入上式,求得:
Figure GDA0003531052670000102
分别确定垂直方向光强I和平行方向光强I||如下:
Figure GDA0003531052670000103
Figure GDA0003531052670000111
(S3)选取初始的反射光偏振度和透射光偏振度并结合平行方向光强图像和垂直方向光强图像对反射光和透射光混合图像进行分离;
根据偏振正交分解原理,确定探测器接收到的光强在垂直方向上和平行方向上的分量为:
Figure GDA0003531052670000112
其中R和R||分别是垂直方向和平行方向反射率,PR是反射光源强度,
Figure GDA0003531052670000113
Figure GDA0003531052670000114
分别为反射光垂直方向和平行方向光强分量,ε和ε||分别是垂直方向和平行方向发射率,
Figure GDA0003531052670000115
为透射光垂直方向光强分量,
Figure GDA0003531052670000116
为透射光平行方向光强分量,PT是透射光源强度。
玻璃表面反射光和透射光都属于偏振光,令反射光偏振度为γ,透射光偏振度为χ:
Figure GDA0003531052670000117
Figure GDA0003531052670000118
则:
Figure GDA0003531052670000119
Figure GDA00035310526700001110
将公式(8)、(9)代入公式(5)求解得到透射光在垂直方向上和平行方向上光强分量为:
Figure GDA0003531052670000121
同时确定反射光在垂直方向上和平行方向上光强分量为:
Figure GDA0003531052670000122
总光强等于垂直方向和平行方向光强之和,因此确定玻璃表面反射光成分和透射光成分如下:
Figure GDA0003531052670000123
(S4)求取初始分离后反射光图像和透射光图像的归一化互相关;
在已知反射光偏振度、透射光偏振度以及垂直方向、平行方向光强的前提下,利用公式(12)可以求得玻璃表面每个像素点处反射光强和透射光强,从而实现反射光的分离。但是玻璃表面反射光和透射光是同时存在、相互叠加的,无法直接利用探测器分别获取反射光偏振度和透射光偏振度。
由于玻璃表面反射光和透射光包含不同的图像内容,在理想的分离情况下,得到的反射光图像和透射光图像具有最小的相关性。因此,尽管玻璃表面反射光偏振度和透射光偏振度无法直接测量,可以通过计算反射光图像和透射光图像的相关性,得到两者相关性最小时对应的反射偏振度和透射偏振度,从而实现反射光的分离。两幅图像的相关性可以用归一化互相关NCC(normalized cross correlation)表示。图像中任意一像素点r(i,j)处的归一化互相关
Figure GDA0003531052670000124
为:
Figure GDA0003531052670000125
其中U、V表示窗口大小,u、v表示像素点在窗口内位置坐标,
Figure GDA0003531052670000131
Figure GDA0003531052670000132
分别表示反射光图像和透射光图像窗口内像素灰度平均值。
定义f(γ,χ)为分离后反射光图像和透射光图像中所有像素点归一化互相关之和:
Figure GDA0003531052670000133
(S5)反射主导像素点和透射主导像素点提取与互相关求和;
在实际分解过程中,直接求图像中所有像素点的互相关之和,会存在两个问题:一是计算量大,计算速度慢;二是易受噪声干扰。为了抑制噪声干扰,同时提升计算速度,本发明提出一种提取主导像素点的方法。所谓主导像素点,是指混合图像中以透射光信息或者反射光信息为主导的像素点。
(S51)反射主导像素点提取
提取反射光为主导像素点的具体步骤如下:首先设置γ=0.01,χ=0.2对混合图像进行过分离,得到过分离后的透射光图像Iover-t;然后选取γ=0.99,χ=0.2对混合图像进行欠分离,得到欠分离后的透射光图像Iunder-t(注:反射偏振度γ较小时,分离过程中会出现反射光过分离现象,如图4(a)所示,因此本发明将反射偏振度设置为0.01进行反射光过分离;反射偏振度γ较大时,分离过程中会出现反射光欠分离现象,如图4(c)所示,因此本发明将反射偏振度设置为0.99进行反射光欠分离;对于透射偏振度χ,大多数透明物体透射偏振度变化范围为0-0.4,因此我们选取中值0.2作为透射偏振度χ的值进行欠分离和过分离求解;通过公式12可以看出,透射光偏振度χ只会影响分离后透射光图像的强弱,并不会改变分离后透射光图像的纹理和细节,无论透射偏振度选取0.1还是0.4,其对欠分离和过分离得到的透视光图像之间的相关性影响并不大,因此设置透射光偏振度χ为0.2是合理的);紧接着求取Iover-t和Iunder-t两者之间的相关性,得到相关性图像Rt;最后通过将相关性为负的像素点设置为1,相关性为正的像素点设置为0,从而实现反射主导像素点的提取;
Figure GDA0003531052670000141
其中Rt表示过分离后的透射光图像Iover-t和欠分离后的透射光图像Iunder-t之间的归一化互相关,Mt表示对Rt进行二值化之后的结果。
(S52)透射主导像素点提取:
通过选取以透射光为主导的像素点求取实际透射偏振度值。首先设置γ=0.5,χ=0.01对混合图像进行过分离,得到过分离后的反射光图像Iover-r,然后选取γ=0.99,χ=0.5对混合图像进行欠分离,得到欠分离后的透射光图像Iunder-r(注:透射偏振度χ较小时,分离过程中会出现透射光过分离现象,如图5(a)所示;透射偏振度χ较大时,分离过程中会出现透射光欠分离现象,如图5(c)所示。因此本发明将透射偏振度分别设置为0.01和0.99进行透射光过分离和欠分离处理;对于反射偏振度γ,反射偏振度变化范围为0-1,因此我们选取中值0.5作为反射偏振度γ的值),求两者之间的互相关得到Rr,并对其进行二值化:
Figure GDA0003531052670000142
其中Rr表示过分离后的反射光图像Iover-r和欠分离后的反射光图像Iunde-r之间的归一化互相关图像,Mr表示对Rr进行二值化之后的结果。
(S53)反射主导像素点和透射主导像素点互相关求和:
Figure GDA0003531052670000151
其中row、col分别表示图像的行数和列数。
以透射为主导的像素点归一化互相关之和fT(γ,χ)为:
Figure GDA0003531052670000152
(S6)利用梯度下降法求解归一化互相关最小值,得到最小值对应的透射光偏振度和反射光偏振度,从而实现反射光的分离。
将反射光图像和透射光图像归一化互相关fR(γ,χ)和fT(γ,χ)作为反射偏振度γ和透射偏振度χ的函数。然后分别对fR(γ,χ)和fT(γ,χ)求偏导,并让其沿着梯度方向的下降,通过多次迭代后可得到fR(γ,χ)和fT(γ,χ)的最小值;
Figure GDA0003531052670000153
其中η是学习率,n表示当前迭代次数,n+1表示下一次迭代次数。当达到收敛条件时,迭代结束,此时得到归一互相关最小值fRmm)和fTmm),以及他们对应的透射偏振度γm和反射偏振度χm,从而实现反射光和透射光的最优分离。
如图7中(a3)、(b3)、(c3)所示为本发明方法分离后透射光图像结果,通过与真实背景图像进行对比,可以看出两个之间仅存在微小差别,即反射光得到了分离和抑制,验证了本发明方法的有效性。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于偏振特征的透明物体表面反射光分离方法,其特征在于,包括以下步骤:
(S1)采集可见光偏振图像,并进行预处理;
(S2)对步骤(S1)中预处理后的图像进行偏振态解算,计算得到平行方向光强图像和垂直方向光强图像;
(S3)选取初始的反射光偏振度和透射光偏振度并结合平行方向光强图像和垂直方向光强图像对反射光和透射光混合图像进行分离;
(S4)求取初始分离后反射光图像和透射光图像的归一化互相关;
(S5)反射主导像素点和透射主导像素点提取与互相关求和;
(S6)利用梯度下降法求解归一化互相关最小值,得到最小值对应的透射光偏振度和反射光偏振度,从而实现反射光的分离。
2.如权利要求1所述的一种基于偏振特征的透明物体表面反射光分离方法,其特征在于,所述步骤(S1)中的预处理包括:包括图像校正、滤波、配准和裁剪。
3.如权利要求1所述的一种基于偏振特征的透明物体表面反射光分离方法,其特征在于,所述步骤(S2)中平行方向光强图像和垂直方向光强图像求解过程为:
根据偏振光的表示形式,偏振光在不同起偏角下的光强计算公式为:
Figure FDA0003531052660000011
其中i、j表示图像中像素点坐标位置,φm为起偏角,φ为反射面垂直方向对应的起偏角。
令φ0=0°,将起偏角φm分别为φ0=φ0,φ45=φ0+45°,φ90=φ0+90°时获取的三通道偏振度图像I0,I45,I90分别代入上式,求得:
Figure FDA0003531052660000021
分别确定垂直方向光强I和平行方向光强I||如下:
Figure FDA0003531052660000022
Figure FDA0003531052660000023
4.如权利要求1所述的一种基于偏振特征的透明物体表面反射光分离方法,其特征在于,所述步骤(S3)中的结合反射光偏振度和透射光偏振度求解反射光图像和透射光图像,具体过程为:
根据偏振正交分解原理,确定探测器接收到的光强在垂直方向上和平行方向上的分量为:
Figure FDA0003531052660000024
其中R和R||分别是垂直方向和平行方向反射率,PR是反射光源强度,
Figure FDA0003531052660000025
Figure FDA0003531052660000026
分别为反射光垂直方向和平行方向光强分量,ε和ε||分别是垂直方向和平行方向发射率,
Figure FDA0003531052660000027
为透射光垂直方向光强分量,
Figure FDA0003531052660000028
为透射光平行方向光强分量,PT是透射光源强度。
玻璃表面反射光和透射光都属于偏振光,令反射光偏振度为γ,透射光偏振度为χ:
Figure FDA0003531052660000029
Figure FDA0003531052660000031
则:
Figure FDA0003531052660000032
Figure FDA0003531052660000033
将公式(8)、(9)代入公式(5)求解得到透射光在垂直方向上和平行方向上光强分量为:
Figure FDA0003531052660000034
同时确定反射光在垂直方向上和平行方向上光强分量为:
Figure FDA0003531052660000035
总光强等于垂直方向和平行方向光强之和,因此确定玻璃表面反射光成分和透射光成分如下:
Figure FDA0003531052660000036
5.如权利要求1所述的一种基于偏振特征的透明物体表面反射光分离方法,其特征在于,所述步骤(S5)中反射主导像素点和透射主导像素点提取与互相关求和具体过程为:
(S51)反射主导像素点提取
提取反射光为主导像素点的具体步骤如下:首先设置γ=0.01,χ=0.2对混合图像进行过分离,得到过分离后的透射光图像Iover-t;然后选取γ=0.99,χ=0.2对混合图像进行欠分离,得到欠分离后的透射光图像Iunder-t;紧接着求取Iover-t和Iunder-t两者之间的相关性,得到相关性图像Rt;最后通过将相关性为负的像素点设置为1,相关性为正的像素点设置为0,从而实现反射主导像素点的提取;
Figure FDA0003531052660000041
其中Rt表示过分离后的透射光图像Iover-t和欠分离后的透射光图像Iunder-t之间的归一化互相关图像,Mt表示对Rt进行二值化之后的结果。
(S52)透射主导像素点提取:
通过选取以透射光为主导的像素点求取实际透射偏振度值。首先设置γ=0.5,χ=0.01对混合图像进行过分离,得到过分离后的反射光图像Iover-r,然后选取γ=0.99,χ=0.5对混合图像进行欠分离,得到欠分离后的透射光图像Iunder-r,求两者之间的互相关得到Rr,并对其进行二值化:
Figure FDA0003531052660000042
其中Rr表示过分离后的反射光图像Iover-r和欠分离后的反射光图像Iunder-r之间的归一化互相关图像,Mr表示对Rr进行二值化之后的结果。
(S53)反射主导像素点和透射主导像素点互相关求和:
以反射为主导的像素点归一化互相关之和fR(γ,χ)为:
Figure FDA0003531052660000051
其中row、col分别表示图像的行数和列数。
以透射为主导的像素点归一化互相关之和fT(γ,χ)为:
Figure FDA0003531052660000052
6.如权利要求5所述的一种基于偏振特征的透明物体表面反射光分离方法,其特征在于,所述步骤(S6)中利用梯度下降法求解归一化互相关最小值,得到最小值对应的透射光偏振度和反射光偏振度具体过程为:
将反射光图像和透射光图像归一化互相关fR(γ,χ)和fT(γ,χ)作为反射偏振度γ和透射偏振度χ的函数,然后分别对fR(γ,χ)和fT(γ,χ)求偏导,并让其沿着梯度方向的下降,通过多次迭代后可得到fR(γ,χ)和fT(γ,χ)的最小值;
Figure FDA0003531052660000053
其中η是学习率,n表示当前迭代次数,n+1表示下一次迭代次数。当达到收敛条件时,迭代结束,此时得到归一互相关最小值fRmm)和fTmm),以及他们对应的透射偏振度γm和反射偏振度χm
7.如权利要求6所述的一种基于偏振特征的透明物体表面反射光分离方法,其特征在于,所述反射光和透射光图像互相关最小时对应的分离结果最优。
8.如权利要求5所述的一种基于偏振特征的透明物体表面反射光分离方法,其特征在于,所述反射主导像素点提取过程中,反射偏振度γ先后设置为0.01和0.99。
9.如权利要求5所述的一种基于偏振特征的透明物体表面反射光分离方法,其特征在于,所述透射主导像素点提取过程中,透射偏振度χ先后设置为0.01和0.99。
CN202011303630.8A 2020-11-19 2020-11-19 一种基于偏振特征的透明物体表面反射光分离方法 Active CN112379529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011303630.8A CN112379529B (zh) 2020-11-19 2020-11-19 一种基于偏振特征的透明物体表面反射光分离方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011303630.8A CN112379529B (zh) 2020-11-19 2020-11-19 一种基于偏振特征的透明物体表面反射光分离方法

Publications (2)

Publication Number Publication Date
CN112379529A CN112379529A (zh) 2021-02-19
CN112379529B true CN112379529B (zh) 2022-04-19

Family

ID=74584620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011303630.8A Active CN112379529B (zh) 2020-11-19 2020-11-19 一种基于偏振特征的透明物体表面反射光分离方法

Country Status (1)

Country Link
CN (1) CN112379529B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558282A (zh) * 2007-02-13 2009-10-14 松下电器产业株式会社 图像处理***、方法、装置、以及图像格式
CN107966412A (zh) * 2017-12-05 2018-04-27 天津大学 基于正交偏振图像拉伸和偏振度关联的图像去雾方法
CN109923855A (zh) * 2016-11-15 2019-06-21 索尼公司 图像处理装置、图像处理方法和程序
CN111351572A (zh) * 2019-11-21 2020-06-30 四川极智朗润科技有限公司 一种基于偏振特性的分布式反射消除的装置及方法
CN111539411A (zh) * 2020-04-20 2020-08-14 河海大学常州校区 一种利用偏振信息对不同材质物体识别的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558282A (zh) * 2007-02-13 2009-10-14 松下电器产业株式会社 图像处理***、方法、装置、以及图像格式
CN109923855A (zh) * 2016-11-15 2019-06-21 索尼公司 图像处理装置、图像处理方法和程序
CN107966412A (zh) * 2017-12-05 2018-04-27 天津大学 基于正交偏振图像拉伸和偏振度关联的图像去雾方法
CN111351572A (zh) * 2019-11-21 2020-06-30 四川极智朗润科技有限公司 一种基于偏振特性的分布式反射消除的装置及方法
CN111539411A (zh) * 2020-04-20 2020-08-14 河海大学常州校区 一种利用偏振信息对不同材质物体识别的方法

Also Published As

Publication number Publication date
CN112379529A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
Hou et al. A novel dark channel prior guided variational framework for underwater image restoration
CN108090888B (zh) 基于视觉注意模型的红外图像和可见光图像的融合检测方法
US20110043603A1 (en) System And Method For Dehazing
Gershikov et al. Horizon line detection in marine images: which method to choose?
Zhang et al. Infrared small target detection based on spatial-temporal enhancement using quaternion discrete cosine transform
WO2018171008A1 (zh) 一种基于光场图像的高光区域修复方法
CN102523464A (zh) 一种双目立体视频的深度图像估计方法
CN103761731A (zh) 一种基于非下采样轮廓波变换的红外空中小目标检测方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN116823694B (zh) 基于多聚焦信息整合的红外与可见光图像融合方法及***
Huang et al. Removing reflection from a single image with ghosting effect
CN109886195A (zh) 基于深度相机近红外单色灰度图的皮肤识别方法
CN112379529B (zh) 一种基于偏振特征的透明物体表面反射光分离方法
Gai et al. Blind separation of superimposed images with unknown motions
CN115187791A (zh) 一种融合颜色和尺度特征的orb图像匹配方法
CN114882231A (zh) 一种基于多角度先验分析的红外小目标检测方法
Xiao et al. Underwater image classification based on image enhancement and information quality evaluation
Zhou et al. Scale-aware multispectral fusion of RGB and NIR images based on alternating guidance
CN115063524A (zh) 一种3d人脸识别的重建方法及装置
CN107610170B (zh) 多目图像重聚焦的深度获取方法及***
Yao et al. Small infrared target detection based on spatio-temporal fusion saliency
Zhao et al. A Fast Detection Method Using Anisotropic Guidance for Infrared Small Target Under Complex Scenes
Zhang et al. Infrared small target detection using modified order morphology and weighted local entropy
Lan et al. Face Reflection Removal Network Using Multispectral Fusion of RGB and NIR Images
CN110264494A (zh) 基于相关性分析的逆稀疏表示的灰度-热目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant