CN109118460A - 一种分光偏振光谱信息同步处理方法及*** - Google Patents
一种分光偏振光谱信息同步处理方法及*** Download PDFInfo
- Publication number
- CN109118460A CN109118460A CN201810677743.0A CN201810677743A CN109118460A CN 109118460 A CN109118460 A CN 109118460A CN 201810677743 A CN201810677743 A CN 201810677743A CN 109118460 A CN109118460 A CN 109118460A
- Authority
- CN
- China
- Prior art keywords
- polarization
- image
- information processing
- parameter
- light splitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 171
- 230000010365 information processing Effects 0.000 title claims abstract description 25
- 238000001228 spectrum Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 14
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 14
- 238000006073 displacement reaction Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 239000011229 interlayer Substances 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 239000010410 layer Substances 0.000 claims description 3
- 230000000638 stimulation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000001845 vibrational spectrum Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000002401 inhibitory effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明公开了一种分光偏振光谱信息同步处理方法及***，该***包括下位机和上位机，其中下位机通过分光与三个CMOS相连获取同一波段同一主光轴下的三个不同方向的偏振图像；上位机通过USB口与下位机相连，将下位机获得的三个不同方向的偏振图像进行存储，采用相位相关法对三幅偏振图像进行位移变化矫正，采用线性调谐方法进行偏振参数计算得到四幅偏振参数图像，最后基于PCA方法融合偏振参数图像和偏振度图像，得到偏振特征图像，并基于双通道PCNN对偏振特征图像和合成光强图像进行融合显示。通过本发明可以实现偏振光谱信息的有效获取并且能够提高成像质量。
Description
技术领域
本发明属于图像采集与处理技术领域，具体涉及一种分光偏振光谱信息同步处理方法及***。
背景技术
偏振成像是在实时获取目标偏振信息的基础上利用所得到的信息进行目标重构增强的过程，它能够提供更多维度的目标信息，是一项具有巨大应用价值的前沿技术，特别适合于隐身、伪装、虚假目标的探测识别，在雾霾、烟尘等恶劣环境下能提高光电探测装备的目标探测识别能力。
偏振是光的基本特性之一，任何目标在反射和发射电磁辐射的过程中都会表现出由其自身特性和光学基本定律所决定的偏振特性。通过成像获得场景在不同偏振状态下的信息，可对具有偏振-光强差异的目标及背景进行有效区分，进而实现复杂背景下弱目标的检测与识别。因此，近些年偏振成像探测在气象环境科学研究、海洋的开发利用、空间探测、生物医学以及军事应用等方面受到了越来越多的重视。
目前得到应用的偏振成像探测装置主要有三种：(1)分时成像的方式。该方式通过旋转安装在镜头前的偏振片和波片以获得不同偏振方向的图像。其结构简单、易实现，但是很难实现对运动目标偏振成像。(2)分焦平面的方式。该方式采用特殊工艺制作的成像器件，其上的每一个像素分别对应不同偏振方向，并按照类似彩色图像传感器中RGB分布的Bayer格式进行排布。该方式不仅可以实现同时偏振成像，而且无需额外的分光器件，易于实现仪器的小型化，但分焦平面器件的制作工艺复杂且未实现产品化。(3)通道调制的方式。该方式采用三台相机组成三通道同步成像***，分别采集不同方向的偏振图像，再通过图像空间配准算法将不同方向偏振图像的重叠区域进行像素对齐。该方式能够实时成像且硬件复杂度低具有较低；但由于三通道的畸变参数及拍摄视角存在差异，如不能合理地校正，会使得偏振图像存在误差，影响后续的处理。(4)分振幅的方式。该方式通过分光器将入射光分为几路，各路光线经过不同偏振方向的偏振片后进入相应的探测器。该方式实现多方向偏振信息的同步采集，但是设备过于庞大。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种分光偏振光谱信息同步处理方法及***，通过控制分光偏振光谱采集装置获得目标某个波段下的三幅不同方向的偏振图像，并通过位移变化和偏振计算最后融合显示最终的成像结果。
技术方案：为实现上述发明目的，本发明采用如下技术方案：
一种分光偏振光谱信息同步处理方法，包括如下步骤：
(1)采集并存储三个CMOS图像传感器同时获取的目标0°方向、45°方向和90°方向的三幅偏振图像；
(2)采用相位相关法对三幅偏振图像进行位移变化矫正，并采用线性调谐方法进行偏振参数计算，得到四幅偏振参数图像；
(3)基于PCA方法融合偏振参数图像和偏振度图像，得到偏振特征图像，并基于双通道PCNN对偏振特征图像和合成光强图像进行融合显示。
作为优选，所述步骤(2)中偏振参数计算的方法为：
Sv＝k1I90°-k2I0°-cvI45°
Sh＝k3I0°-k4I90°-chI135°
Sd＝(k5+k6)*I45°-k6*(I0°+I90°)-cdI90°
Sr＝k7*(I0°+I90°)-(k7+k8)*I45°-crI0°
其中Sv、Sh、Sd、Sr分别为垂直方向、水平方向、45°方向和135°方向的偏振参数，k1,k2……k8为层间对立因子，满足kjj＝1,3,5,7＞1和0＜kjj＝2,4,6,8＜＝1，cv、ch、cd、cr为层外抑制因子，I表示偏振光强，下标为相应的偏振方向。
作为优选，所述步骤(3)中偏振度和合成光强依据下式计算得到：
偏振度
合成光强
作为优选，所述步骤(3)中基于PCA方法融合偏振参数图像和偏振度图像，得到偏振特征图像的方法为：将四个方向的偏振参数图像和偏振度图像中的所有元素点形成一个列向量，将这些列向量排成矩阵X；保留矩阵X的主要成分作为偏振特征图像。
作为优选，所述步骤(3)中基于双通道PCNN融合偏振特征图像和合成光强图像的方法包括：
(3.1)初始化神经网络模型参数，将合成光强图像和偏振特征图像分别作为双通道PCNN的两个输入和并根据分别得到总体刺激；式中βI和βD为联接系数；n表示迭代次数；上标I和D分别用来标记合成光强图像和偏振特征图像，下标j表示图像中像素点；和是邻域神经元的总反馈；
(3.2)更新神经网络模型参数，根据和产生脉冲输出，其中和为各通道当前时刻的阈值；
(3.3)根据更新脉冲产生次数，并使迭代变量n＝n+1，其中和为上一时刻产生脉冲总次数；
(3.4)如果迭代次数小于最大迭代次数，返回步骤(3.2)，否则，迭代结束并转为步骤(3.5)；
(3.5)迭代结束得到各点火矩阵和并通过不同通道点火次数最大值的方式进行融合输出：
作为优选，所述步骤(3)中双通道PCNN的联接系数为相应通道的图像的联合局部熵E与对比度σ的乘积；其中
H(i,j)表示点(i,j)处灰度值，N*M表示图像的尺寸。
一种用于实现所述的分光偏振光谱信息同步处理方法的分光偏振光谱信息同步处理***，包括上位机和下位机两个部分；所述下位机包括滤波片、分光棱镜组、偏振片和CMOS图像传感器，用于采集同一波段下的三幅不同偏振方向的偏振图像；
所述上位机包括图像存储单元、偏振信息处理单元和融合显示单元；
所述图像存储单元，用于存放下位机采集到的偏振图像和上位机中偏振信息处理后的图像；
所述偏振信息处理单元，用于采用相位相关法对三幅偏振图像进行位移变化矫正，并采用线性调谐方法进行偏振参数计算，得到四幅偏振参数图像；
所述融合显示单元，用于基于PCA方法融合偏振参数图像和偏振度图像，得到偏振特征图像，并基于双通道PCNN对偏振特征图像和合成光强图像进行融合显示。
作为优选，所述下位机和上位机通过USB口进行数据传输。
作为优选，所述分光棱镜组通过分光结构获取同一波段同一主光轴下的三束光，并分别通过偏振片和CMOS得到三个不同方向的偏振图像。
有益效果：本发明与现有技术相比，其优点在于：本发明通过上位机和下位机的设计可以同步采集三幅不同偏振方向的偏振图像，并且设计偏振光谱信息同步处理的步骤。该方法设计的下位机结构紧凑、工艺简单，能对运动目标进行成像，并且获得图像快捷，线性调谐的方式进行偏振计算得到的偏振参数信息量最大，而通过分级的方式进行融合使得计算量降低且信息更加完整。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明实施例***框架示意图；
图2为本发明实施例方法流程示意图；
图3为本发明实施例线性调谐偏振计算的数学模型示意图。
具体实施方式
结合附图对本发明作进一步的描述如下：
图1为本发明实施例***框架示意图。如图1所示，本发明实施例公开的一种分光偏振光谱信息同步处理***，主要包括上位机和下位机两个部分，上位机和下位机通过USB口进行通信。下位机包括滤波片、分光棱镜组、偏振片、CMOS图像传感器，用于采集同一波段下的三幅不同偏振方向的偏振图片；上位机包括图像存储单元、偏振信息处理单元和融合显示单元；其中图像存储单元用于存放下位机采集到的偏振图像和上位机中偏振信息处理后的图像；偏振信息处理单元内置有位移变化和偏振计算的算法，用于对下位机采集到的图像进行处理；融合显示用于将偏振信息处理后的图像进行融合显示。
本实施例的***中CMOS图像传感器采用选用OmniVision公司的黑白图像传感器OV2710作为成像器件，该传感器像素为200万，光学格式为1/2.7英寸，有效分辨率为1920H×1080V；在片上组合了复杂的相机功能，包括快拍技术，传感器缩放的行列跳跃采集技术以及感兴趣区域的窗口截取技术，可以通过两条串行总线进行编程修改图片尺寸、曝光时间、增益等参数；光谱响应范围为450-1050nm，成像信噪比(39dB)和动态范围分别被提高至40dB和69dB；具有3μm×3μm的像素尺寸，能有更好的响应能力(2.0V/lux-sec)；Full@30fps的帧速率能够连续捕获图像，基本上可以满足运动目标的探测需求。
分光棱镜组工作波段为425～1050nm，偏振片工作波段为400～1200nm。分光棱镜组通过分光结构获取同一波段同一主光轴下的三束光，并分别通过偏振片和CMOS得到三个不同方向的偏振图像。
图2为本发明实施例分光偏振光谱信息处理流程图，如图2所示，本发明实施例公开的一种分光偏振光谱信息同步处理方法，主要包括以下步骤：
步骤一：采集并存储三个CMOS图像传感器同时获取的目标0°方向、45°方向和90°方向的三幅偏振图像。具体包括：
①通过USB建立上位机与下位机连接；
②确认后上位机可任意选择下位机中CMOS，并发送成像参数的控制字，包括图像分辨率、曝光时间和电子增益；
③上位机发送同步采集信号使三个CMOS同时曝光，获取目标0°方向、45°方向和90°方向的偏振图像。
④下位机将三幅偏振图像传输到上位机并存储。
步骤二：采用相位相关法对三幅偏振图像进行位移变化矫正，并采用线性调谐方法进行偏振参数计算，得到四幅偏振参数图像。具体包括：
①在上位机上基于相位相关法对三幅偏振图像进行位移变化矫正，即以一幅偏振图像为基准，对另外两幅偏振图像进行位移变化，具体步骤如下：
(1)选择两幅图像f1(x,y)和f2(x,y)，它们之间存在平移量(Δx,Δy)，以f1(x,y)为参考图像，f2(x,y)为待平移图像，即f2(x,y)＝f1(x-Δx,y-Δy)；
(2)对f1(x,y)和f2(x,y)分别进行傅立叶变换：F2(u,v)＝F1(u,v)·exp[-j2π(uΔx+vΔy)]和F1(u,v)；
(3)归一化功率谱：其中F2 *(u,v)为F2(u,v)的共轭函数；
(4)对归一化功率谱进行傅立叶逆变换：f(x,y)＝δ(x-Δx,y-Δy)；
(5)计算(4)中的峰值点即求出平移参数(Δx,Δy)。
②基于线性调谐方式进行偏振计算，得到4幅偏振参数图像。
图3为本发明实施例线性调谐偏振计算的数学模型示意图。如图3所示线性调谐偏振计算为线性计算，可表示为：
式中，Iθ为不同偏振方向上的偏振光光强，且满足θ1⊥θ2，这保证θ1和θ2是一对偏振敏感对；Sv,h,d,r表示偏振敏感参数；和为对立因子，且和cv,h,d,rIθ表示邻近感光细胞组对该通道的抑制总响应，cv,h,d,r为该通道中邻近感光细胞组对偏振敏感对的抑制因子，通过改变和cv,h,d,r的幅值来调控通道中不同方向偏振光强的作用大小。调谐参数的取值将直接影响得到的偏振参数的质量，通过以下方式进行计算。调谐因子分为层间对立因子和层外抑制因子cv,h,d,r，而层间对立因子又分为增强因子kjj＝1,3,5,7和抑制因子kjj＝2,4,6,8。因为各调谐因子在模型中的作用有所不同，所以设置的取值范围也不同。令增强因子kjj＝1,3,5,7的取值范围为[1,10]，步长为0.04，令抑制因子kjj＝2,4,6,8取值范围为[0.1,1]，步长为0.01，令抑制因子cv,h,d,r取值范围为[0.001,0.05]，步长为0.0002，然后计算每个偏振通道的信息熵，并与前一调谐因子下的信息熵进行比较，如果大于的话就更新调谐因子的值直到信息熵是最大值时停止，这时的调谐因子就是最佳解。
本步骤中采用线性调谐方法进行偏振参数计算步骤为：
①计算垂直方向偏振参数Sv，Sv＝k1I90°-k2I0°-cvI45°。
②计算水平方向偏振参数Sh，Sh＝k3I0°-k4I90°-chI135°。
③计算45°方向偏振参数Sd，Sd＝(k5+k6)*I45°-k6*(I0°+I90°)-cdI90°。
④计算135°方向偏振参数Sr，Sr＝k7*(I0°+I90°)-(k7+k8)*I45°-crI0°。
基于上述偏振参数，偏振度图像和合成光强图像依据下式计算得到：
偏振度
合成光强
步骤三：在上位机上计算偏振度图像和合成光强图像，将四幅偏振参数图像、偏振度图像和合成光强图像进行融合显示。包括：
①基于PCA方法融合偏振参数图像和偏振度图像，得到偏振特征图像。
②计算联合局部熵式中H(i,j)表示点(i,j)处灰度值。
③计算对比度式中，N*M表示图像的尺寸，H(i,j)表示点(i,j)处灰度值。
④联合局部熵与对比度相乘，得到联接系数β＝E*σ。
⑤基于双通道PCNN融合偏振特征图像和合成光强图像，提高图像对比度，并显示。
其中采用PCA对偏振参数图像和偏振度图像进行初级融合得到偏振特征图像，具体如下：
将四个方向的偏振参数图像和偏振度图像中的所有元素点形成一个列向量，将这些列向量排成矩阵X，即
R∈Rn×n是X的相关矩阵，且R＝RT，求得R＝E[XXT]的特征值和特征向量为：
Rqi＝λiqi,i＝1,2....n
式中qi是特征向量，λi为特征值，对特征值排序，λ1＞λ2......＞λn，令特征值集D＝[λ1,λ2......,λn]，对应的特征向量集V＝[q1,q2......,qn]，则RV＝VD。线性变换求主成分：令
式中ci构成的向量C是X主方向上的投影，为主成分，得到：C＝VTX。由于V为正交矩阵，即VT＝V-1，故
保留前L个主要成分，即
X'即为偏振特征图像。
基于双通道PCNN进行融合的方法具体步骤如下：
(1)初始化神经网络模型中的各参数，包括联接系数、迭代次数、初始神经元反馈、脉冲阈值等，将合成光强图像和偏振特征图像分别作为双通道PCNN的两个输入和并根据分别得到总体刺激；式中βI和βD为联接系数；n表示迭代次数；上标I和D分别用来标记合成光强图像和偏振特征图像，下标j表示图像中像素点；和是邻域神经元的总反馈。
(2)更新神经网络模型的参数，根据和产生脉冲输出，其中和为各通道当前时刻的阈值。
(3)根据更新像素点j的脉冲产生次数，并使迭代变量n＝n+1。
(4)如果迭代次数小于最大迭代次数，返回步骤(2)，否则，迭代结束并转为步骤(5)。
(5)迭代结束得到各点火矩阵和并通过不同通道点火次数最大值的方式进行融合输出：
显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引伸出的显而易见的变化或变动仍处于本发明的保护范围之内。
Claims (9)
1.一种分光偏振光谱信息同步处理方法，其特征在于：包括如下步骤：
(1)采集并存储三个CMOS图像传感器同时获取的目标0°方向、45°方向和90°方向的三幅偏振图像；
(2)采用相位相关法对三幅偏振图像进行位移变化矫正，并采用线性调谐方法进行偏振参数计算，得到四幅偏振参数图像；
(3)基于PCA方法融合偏振参数图像和偏振度图像，得到偏振特征图像，并基于双通道PCNN对偏振特征图像和合成光强图像进行融合显示。
2.根据权利要求1所述的分光偏振光谱信息同步处理方法，其特征在于：所述步骤(2)中偏振参数计算的方法为：
Sv＝k1I90°-k2I0°-cvI45°
Sh＝k3I0°-k4I90°-chI135°
Sd＝(k5+k6)*I45°-k6*(I0°+I90°)-cdI90°
Sr＝k7*(I0°+I90°)-(k7+k8)*I45°-crI0°
其中Sv、Sh、Sd、Sr分别为垂直方向、水平方向、45°方向和135°方向的偏振参数，k1,k2……k8为层间对立因子，满足kj|j＝1,3,5,7＞1和0＜kj|j＝2,4,6,8＜＝1，cv、ch、cd、cr为层外抑制因子，I表示偏振光强，下标为相应的偏振方向。
3.根据权利要求2所述的分光偏振光谱信息同步处理方法，其特征在于：所述步骤(3)中偏振度和合成光强依据下式计算得到：
偏振度
合成光强
4.根据权利要求1所述分光偏振光谱信息同步处理方法，其特征在于：所述步骤(3)中基于PCA方法融合偏振参数图像和偏振度图像，得到偏振特征图像的方法为：将四个方向的偏振参数图像和偏振度图像中的所有元素点形成一个列向量，将这些列向量排成矩阵；保留矩阵的主要成分作为偏振特征图像。
5.根据权利要求1所述的分光偏振光谱信息同步处理方法，其特征在于：所述步骤(3)中基于双通道PCNN融合偏振特征图像和合成光强图像的方法包括：
(3.1)初始化神经网络模型参数，将合成光强图像和偏振特征图像分别作为双通道PCNN的两个输入和并根据分别得到总体刺激；式中βI和βD为联接系数；n表示迭代次数；上标I和D分别用来标记合成光强图像和偏振特征图像，下标j表示图像中像素点；和是邻域神经元的总反馈；
(3.2)更新神经网络模型参数，根据和产生脉冲输出，其中和为各通道当前时刻的阈值；
(3.3)根据更新脉冲产生次数，并使迭代变量n＝n+1，其中和为上一时刻产生脉冲总次数；
(3.4)如果迭代次数小于最大迭代次数，返回步骤(3.2)，否则，迭代结束并转为步骤(3.5)；
(3.5)迭代结束得到各点火矩阵和并通过不同通道点火次数最大值的方式进行融合输出：
6.根据权利要求1所述的分光偏振光谱信息同步处理方法，其特征在于：所述步骤(3)中双通道PCNN的联接系数为相应通道的图像的联合局部熵E与对比度σ的乘积；其中 H(i,j)表示点(i,j)处灰度值，N*M表示图像的尺寸。
7.一种用于实现权利要求1-6任一项所述的分光偏振光谱信息同步处理方法的分光偏振光谱信息同步处理***，其特征在于：包括上位机和下位机两个部分；所述下位机包括滤波片、分光棱镜组、偏振片和CMOS图像传感器，用于采集同一波段下的三幅不同偏振方向的偏振图像；
所述上位机包括图像存储单元、偏振信息处理单元和融合显示单元；
所述图像存储单元，用于存放下位机采集到的偏振图像和上位机中偏振信息处理后的图像；
所述偏振信息处理单元，用于采用相位相关法对三幅偏振图像进行位移变化矫正，并采用线性调谐方法进行偏振参数计算，得到四幅偏振参数图像；
所述融合显示单元，用于基于PCA方法融合偏振参数图像和偏振度图像，得到偏振特征图像，并基于双通道PCNN对偏振特征图像和合成光强图像进行融合显示。
8.根据权利要求7所述的分光偏振光谱信息同步处理***，其特征在于：所述下位机和上位机通过USB口进行数据传输。
9.根据权利要求7所述的分光偏振光谱信息同步处理***，其特征在于：所述分光棱镜组通过分光结构获取同一波段同一主光轴下的三束光，并分别通过偏振片和CMOS得到三个不同方向的偏振图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810677743.0A CN109118460B (zh) | 2018-06-27 | 2018-06-27 | 一种分光偏振光谱信息同步处理方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810677743.0A CN109118460B (zh) | 2018-06-27 | 2018-06-27 | 一种分光偏振光谱信息同步处理方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109118460A true CN109118460A (zh) | 2019-01-01 |
| CN109118460B CN109118460B (zh) | 2020-08-11 |
Family
ID=64821986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810677743.0A Active CN109118460B (zh) | 2018-06-27 | 2018-06-27 | 一种分光偏振光谱信息同步处理方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109118460B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689545A (zh) * | 2024-02-02 | 2024-03-12 | 荣耀终端有限公司 | 图像处理方法、电子设备和计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030062422A1 (en) * | 2001-09-10 | 2003-04-03 | Fateley William G. | System and method for encoded spatio-spectral information processing |
| CN103900696A (zh) * | 2014-03-07 | 2014-07-02 | 河海大学 | 一种仿螳螂虾视觉偏振拮抗感知的水下偏振成像方法 |
| US20140355861A1 (en) * | 2011-08-25 | 2014-12-04 | Cornell University | Retinal encoder for machine vision |
| CN104978724A (zh) * | 2015-04-02 | 2015-10-14 | 中国人民解放军63655部队 | 基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法 |
| CN107340546A (zh) * | 2017-07-24 | 2017-11-10 | 南京信息工程大学 | 一种水下探测分孔径双ccd实时偏振成像装置及方法 |
| CN107451984A (zh) * | 2017-07-27 | 2017-12-08 | 桂林电子科技大学 | 一种基于混合多尺度分析的红外与可见光图像融合算法 |
-
2018
- 2018-06-27 CN CN201810677743.0A patent/CN109118460B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030062422A1 (en) * | 2001-09-10 | 2003-04-03 | Fateley William G. | System and method for encoded spatio-spectral information processing |
| US20140355861A1 (en) * | 2011-08-25 | 2014-12-04 | Cornell University | Retinal encoder for machine vision |
| CN103900696A (zh) * | 2014-03-07 | 2014-07-02 | 河海大学 | 一种仿螳螂虾视觉偏振拮抗感知的水下偏振成像方法 |
| CN104978724A (zh) * | 2015-04-02 | 2015-10-14 | 中国人民解放军63655部队 | 基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法 |
| CN107340546A (zh) * | 2017-07-24 | 2017-11-10 | 南京信息工程大学 | 一种水下探测分孔径双ccd实时偏振成像装置及方法 |
| CN107451984A (zh) * | 2017-07-27 | 2017-12-08 | 桂林电子科技大学 | 一种基于混合多尺度分析的红外与可见光图像融合算法 |
Non-Patent Citations (2)
| Title |
|---|
| JIE SHEN ET AL: "Polarization and solar altitude correlation analysis and application in object detection", 《2017 INTERNATIONAL CONFERENCE ON PROGRESS IN INFORMATICS AND COMPUTING (PIC)》 * |
| 郭喆等: "一种红外偏振与光强图像的暗原色多特征分离融合方法", 《科学技术与工程》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689545A (zh) * | 2024-02-02 | 2024-03-12 | 荣耀终端有限公司 | 图像处理方法、电子设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109118460B (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jia et al. | From RGB to spectrum for natural scenes via manifold-based mapping | |
| Fu et al. | Joint camera spectral response selection and hyperspectral image recovery | |
| CN106572340B (zh) | 摄像***、移动终端及图像处理方法 | |
| Schechner et al. | Generalized mosaicing: Wide field of view multispectral imaging | |
| CN105933678B (zh) | 基于多目标智能跟踪的多焦距镜头联动成像装置 | |
| Ma et al. | Acquisition of high spatial and spectral resolution video with a hybrid camera system | |
| Zhang | Iterative closest point (ICP) | |
| CN113676628B (zh) | 成像装置和图像处理方法 | |
| CN108055452A (zh) | 图像处理方法、装置及设备 | |
| CN109886883A (zh) | 实时偏振透雾成像图像增强处理方法 | |
| Cheng et al. | A mutually boosting dual sensor computational camera for high quality dark videography | |
| CN112113661B (zh) | 一种深度学习型快照式光谱成像装置及其探测方法 | |
| Tan | Image-based modeling | |
| CN109118460A (zh) | 一种分光偏振光谱信息同步处理方法及*** | |
| CN108873366A (zh) | 多波段偏振分光与集成方法及*** | |
| Guo et al. | Low-light color imaging via cross-camera synthesis | |
| Liu et al. | Optimal led spectral multiplexing for nir2rgb translation | |
| CN110460783A (zh) | 阵列摄像模组及其图像处理***、图像处理方法和电子设备 | |
| Jayasuriya | Image sensors | |
| CN116982071A (zh) | 图像处理方法、处理装置、电子设备和存储介质 | |
| CN114125319A (zh) | 图像传感器、摄像模组、图像处理方法、装置和电子设备 | |
| Chan | Image-based rendering | |
| Cai et al. | Exploring Video Denoising in Thermal Infrared Imaging: Physics-inspired Noise Generator, Dataset and Model | |
| Zhang et al. | Long Range Imaging Using Multispectral Fusion of RGB and NIR Images | |
| Wu et al. | Real-time division-of-focal-plane polarization imaging system with progressive networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |