CN103604945A

CN103604945A - 一种三通道cmos同步偏振成像***

Info

Publication number: CN103604945A
Application number: CN201310513673.2A
Authority: CN
Inventors: 张振; 陈婷; 顾慧; 邱军林; 王鑫; 高建强
Original assignee: Hohai University HHU
Current assignee: Hohai University HHU
Priority date: 2013-10-25
Filing date: 2013-10-25
Publication date: 2014-02-26

Abstract

本发明公开一种三通道CMOS同步偏振成像***，属于光电成像探测技术领域。***包括：偏振光学***、三通道CMOS图像采集模块、DSP图像处理器模块、图像配准算法。偏振光学***由线偏振片和电动三可变镜头及其驱动模块构成。三个采集通道的线偏振的安装方向为0°、45°和90°。三通道CMOS图像采集模块由三路CMOS图像传感器构成，完成最大分辨率下的图像采集，可适用于静态图像捕捉和连续视频采集。DSP图像处理器模块可同时处理多路数字视频流。图像配准算法包括特征点检测、特征点匹配、变换模型估计、图像的变换和重采。本发明能较好的检测出水面示踪粒子，为大尺度粒子图像测速提供有效的粒子检测效果。

Description

一种三通道CMOS同步偏振成像***

技术领域

本发明涉及一种同步偏振成像***，尤其涉及一种三通道CMOS同步偏振成像***，属于光电成像探测领域。

背景技术

随着偏振成像理论的发展，偏振成像探测技术已成为现代测量技术的重要探测手段。与自然物体相比，人造物体的轮廓和表面有着明显较大的偏振度,利用偏振度信息可以提高图像中人造物体的对比度。根据偏振测量理论可知，只要测出3个不同角度的线偏振光的光强,就可以解出偏振光的偏振度和偏振角。目前的大尺度粒子图像测速大都采用传统的目标检测***来检测水面示踪粒子。通过采集水面光强信息成像，利用目标与背景的光强差异检测目标。然而，在实际的水面图像获取过程中，由于可见光在大气或水中传播时，将会受到介质中粒子的散射和反射，使传统的目标检测***获取的图像存在图像模糊，对比度低，信息丢失严重等问题，导致目标检测存在较大的难度。同时，在获取水面图像时，由于水面发生镜面反射，导致发生镜面反射的图像区域出现高亮的现象，在进行示踪粒子检测时，无法有效将示踪粒子检测出来。

本发明提出的一种三通道CMOS同步偏振成像***，与传统的光强成像相比，本方法能较好的检测出水面示踪粒子，为大尺度粒子图像测速提供有效的粒子检测效果。

发明内容

发明目的：针对现有水面示踪粒子的准确检测与识别存在的不足，提供了一种三通道CMOS同步偏振成像***。

本发明通过以下技术方案实现：

一种三通道CMOS同步偏振成像***，由偏振光学***、三通道CMOS图像采集模块、DSP图像处理器模块、图像配准算法组成，其特征在于：偏振光学***获取三路不同方向的水面偏振图像，即每一路CMOS前分别安装一个0°，45°和90°方向的线偏振片；DSP图像处理器模块控制三路CMOS进行同步曝光，从而获取三路不同方向的水面偏振图像。DSP处理器将获取到的三个不同方向的偏振图像通过网络上传给上位机。图像配准算法在上位机上采用Matlab软件来完成，利用改进的SIFT特征匹配算法对三幅偏振图像进行配准，通过解Stokes参数，获得线偏振度图像。

所述的一种三通道CMOS同步偏振成像***，其特征在于：所述的偏振光学***在TMS320DM642的控制下，由参数配置模块实现对三个CMOS进行参数同步配置。通过电动三可变镜头在不同采集条件下实现对焦距、光圈和对焦的控制。在每一路采集通道的镜头前安装三个不同方向的线偏振片，每一路CMOS前分别安装一个0°，45°和90°方向的线偏振片，用于CMOS获取偏振图像。

所述的一种三通道CMOS同步偏振成像***，其特征在于：所述的DSP图像处理器模块采用TI公司生产的DSP芯片TMS320DM642作为本***的处理器。TMS320DM642（以下简称DM642）是TI公司于2003年左右推出的一款32位定点DSP芯片，主要面向数字媒体，属于C6000系列的DSP芯片。DM642带有三个双通道数字视频口VP0、VP1、VP2，可同时处理多路数字视频流，满足本设计中要求的同时采集三路CMOS偏振图像的需求。同时，DM642上带有一个10/100M的以太网接口EMAC，该接口通过与物理层设备的无缝连接即可实现网络传输。为了满足图像采集过程中大数据量存储的需求，在DM642的CE0空间通过EMIFA接口外扩了4片4M×16bits的SDRAM存储器芯片，构成4M×16bits的SDRAM存储空间，使***的数据存储空间达到32MB。由于DM642片内不带FLASH或EEPROM，***掉电后DM642存储器中的数据和程序将全部丢失，所以DM642的外部通常需要扩展FLASH存储器，用于存储程序和重要的数据。在DM642的CE1空间外扩了一片4M×8bits的FLASH存储芯片作为程序存储器，构成4MB的程序存储空间。当DM642上电或复位时，自动从FLASH上加载程序代码。

所述的一种三通道CMOS同步偏振成像***，其特征在于：所述的图像配准算法主要计算步骤有：特征点检测、特征点匹配、变换模型估计、图像的变换和重采样。将45°方向获取的偏振图像的图像坐标作为参考坐标，图像配准的过程是指将0°方向和90°方向的偏振图像的坐标纠正到参考图像坐标上。

所述的一种三通道CMOS同步偏振成像***，其特征在于：所述的图像匹配算法采用提出了一种改进的SIFT特征匹配算法对虚假的匹配特征点对进行了排除，因而能够有效的减少错误的匹配特征点对。同时由于排除了不存在与之匹配的特征点，使得集合ptmp中的特征点数少于集合p中的特征点数，大大减少了对128维特征描述子求欧式距离比的工作量，有效的提高了***的运行效率。设参考图像中的所有特征点的集合为p={p₁,p₂,…,p_n}，特征点p_i的像素坐标为(x_i,y_i)。设待配准图像中所有特征点的集合为Q={q₁,q₂,…,q_n}，特征点(x’,y’)的像素坐标为(x_j,y_j)，计算集合p中所有特征点与集合Q中所有特征点的坐标欧氏距离：

E = \sqrt{{(x_{i} - x_{j})}^{2} - {(y_{i} - y_{j})}^{2}} - - - (a)

设定一个固定的阈值disRatio，当E满足如下关系时

E＜disRatio (b)

则认为参考图像中的特征点p_i在待配准图像中存在与之匹配的特征点，否则认为待配准图像中不存在与p_i匹配的特征点。将集合P中所有满足公式(b)的特征点保存在集合ptmp中，然后利用集合ptmp中的特征点与集合Q中的特征点，进行特征匹配。

在求得了参考图像和待配准图像中的匹配特征点对后，根据这些特征点对来估计变换模型。变换模型实际上表示的是从参考图像到待配准图像的一个映射关系。

常用变换模型有刚体变换、仿射变换、投影变换和非线性变换等。本文采用仿射变换模型来表示参考图像和待配准图像之间的变换关系。仿射变换模型可用如下式来表示：

(\begin{matrix} x^{'} \\ y^{'} \end{matrix}) = (\begin{matrix} m_{0} & m_{1} \\ m_{3} & m_{4} \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) + (\begin{matrix} m_{2} \\ m_{5} \end{matrix}) - - - (c)

其中，(x,y)和(x’,y’)是一对特征点对,(x,y)是特征点在参考图像中的坐标，(x’,y’)是特征点在待配准图像中的坐标。m₀、m₁、m₂、m₃、m₄、m₅是仿射变换模型参数。变换模型的估计即是求解该6个参数的值。本发明采用的是双线性插值法对图像进行变换和重采样。双线性插值法假定内插点P周围四个点围城的区域内的灰度变化是线性的，从而可以用线性内插方法，根据四个近邻像素的灰度值，计算出内插点P的灰度值即可。

本发明采用上述技术方案，具有以下有益效果：

1、抗干扰能力强。利用偏振度图像能够较好的提高目标与背景的对比度，从而有效抑制复杂的水面光学噪声，从而提高水流示踪物运动矢量估计的准确性。利用配准后的三个不同方向的水面偏振图像所求得的线偏振度图像较普通的光强度图像能够更好的检测出水面示踪粒子，为大尺度粒子图像测速提供了良好的目标检测结果

2、图像配准精度高。本文提出的同步参数配置方法能够实现三路不同方向的偏振图像的同步获取，同时本文提出的改进的SIFT特征匹配算法能够提供良好的图像配准效果。

3、***灵活高效。本文采用同步参数配置曝光的方法来实现三路CMOS同步曝光，，同步脉冲发生器、参数锁存与计数器和串行读写模块均有由CPLD来实现，串行读写模块在同步脉冲发生器产生的脉冲控制下，通过I²C总线将配置参数写入CMOS的内部寄存器中，完成对CMOS采集时的分辨率、曝光时间、色彩增益等的配置。

附图说明

图1是本发明的硬件***结构框图；

图2是本发明涉及的三路CMOS图像传感器模块的原理图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明的硬件***结构框图如图1所示。光学***由线偏振片和电动三可变镜头及其驱动模块构成。线偏振片安装在电动三可变镜头前，以其中一个采集通道的线偏振的安装方向为0°参考方向，另外两个采集通道的线偏振片的安装角度分别为45°和90°。由于每次采集的条件不尽相同，在不同的采集环境下，光线的强弱以及物体距离采集***的远近会对采集***的拍摄效果造成一定的影响，为了使采集的图像达到较好的效果，需要对采集***的焦距、光圈和对焦进行调节。本***由三路CMOS和一个DSP处理器构成，在每一路CMOS前分别安装一个0°，45°和90°方向的线偏振片，由DSP处理器来控制三路CMOS进行同步曝光，从而获取三路不同方向的水面偏振图像。DSP处理器将获取到的三个不同方向的偏振图像通过网络上传给上位机。由于从三路CMOS中获取的三路偏振图像存在像元不对准的情况，如果直接用该三路偏振图像来求解Stokes参数图像，会产生虚假信息，从而导致线偏振度图像中存在虚假目标，不利于水面示踪粒子的检测，因此，需要对该三路偏振图像进行图像配准。图像配准在上位机上采用Matlab软件来完成，首先将获取的彩色的偏振图像转换成灰度图，利用本文所改进的SIFT特征匹配算法对三幅偏振图像进行配准，利用配准后的偏振图像进行信息处理。DSP处理器采用TMS320DM642，它的VP0D[9：0]、VP1D[9：0]、VP2D[9：0]分别接图像采集模块的MT9T001、MT9T001、MT9T001。TMS320DM642的GPIO、EMIFA、EMAC分别接CPLD、FLASH、SDRAM、RTL8201口。电源模块可以选取12V，5V，3.3V，1.4V。在DM642的控制下，由参数配置模块实现对三个CMOS进行参数同步配置。通过电动三可变镜头在不同采集条件下实现对焦距、光圈和对焦的控制。在每一路采集通道的镜头前安装三个不同方向的线偏振片，用于CMOS获取偏振图像。在获取三个不同方向的偏振图像后，通过DM642的网口，将三个偏振图像发送给上位机，通过上位机实现三个偏振图像的配准。然后在上位机中根据Stokes理论求解线偏振度图像。根据的求得的线偏振度图像可以进行后续的目标识别。

本发明的三路CMOS图像传感器模块的原理图如图2所示。图像采集模块由三路CMOS图像传感器构成。CMOS图像传感器采用Micron公司生产的300万像素的CMOS图像传感器MT9T001，该CMOS芯片拥有开创性的Micron低噪音DigitalClarityTM技术，无需增加电源需求，即可在信噪比和弱光灵敏度的基础上，创造出与CCD画质相媲美的高分辨率优质影像，并在最大分辨率下可实现12fps的连续采集，既适用于静态图像捕捉又适用于连续视频采集。DM642通过I2C接口对MT9T001内部寄存器进行设置，从而实现对帧大小、曝光时间以及色彩增益等的控制。MT9T001的数据输出口为10bits，通过将DM642的视频口设置为10bits的RAW数据采集方式即可实现与MT9T001的无缝连接，使用方便。三路CMOS图像传感器MT9T001的数据口分别连接DM642的视频输入口VP0、VP1、VP2的低10位，采集帧大小设置为1280×1024。图像采集模块的电路原理图如图2所示，图中只画出了一路CMOS与DM642的连接原理图，其他两路CMOS的设计与之相似。DM642首先通过GPIO口将MT9T001的配置参数及参数的个数写入到参数锁存与计数器模块中，参数锁存与计数器模块通过并行总线，将配置参数同时写入到三个串行读写模块中。串行读写模块在同步脉冲发生器产生的脉冲控制下，通过I2C总线将配置参数写入CMOS的内部寄存器中，完成对CMOS采集时的分辨率、曝光时间、色彩增益等的配置。其次，在对CMOS的采集参数配置完后，DM642通过GPIO口将视频口的使能信息写入到参数锁存与计数器模块中，参数锁存与计数器通过并行总线将该使能信息写入到串行读写模块中，串行读写模块在同步脉冲发生器产生的脉冲控制下，将视频口使能信息同步写入到三个CMOS的寄存器中，实现三个CMOS的同步曝光。DM642的三个视频口在CMOS的帧、行同步信号的控制下读取CMOS中的图像数据。

Claims

1.一种三通道CMOS同步偏振成像***，由偏振光学***、三通道CMOS图像采集模块、DSP图像处理器模块、图像配准算法组成，其特征在于：偏振光学***获取三路不同方向的水面偏振图像，即每一路CMOS前分别安装一个0°、45°和90°方向的线偏振片； DSP图像处理器模块控制三路CMOS进行同步曝光，从而获取三路不同方向的水面偏振；图像配准算法在上位机上采用Matlab软件来完成，利用改进的SIFT特征匹配算法对三幅偏振图像进行配准，通过解Stokes参数，获得线偏振度图像。

2.根据权利要求1所述的一种三通道CMOS同步偏振成像***，其特征在于：所述的偏振光学***在TMS320DM642的控制下，由参数配置模块实现对三个CMOS进行参数同步配置；通过电动三可变镜头在不同采集条件下实现对焦距、光圈和对焦的控制；在每一路采集通道的镜头前安装三个不同方向的线偏振片，每一路CMOS前分别安装一个0°、45°和90°方向的线偏振片，用于CMOS获取偏振图像。

3.根据权利要求1所述的一种三通道CMOS同步偏振成像***，其特征在于：所述的DSP图像处理器模块采用TI公司生产的DSP芯片TMS320DM642作为本***的处理器；TMS320DM642（以下简称DM642）是TI公司于2003年左右推出的一款32位定点DSP芯片，主要面向数字媒体，属于C6000系列的DSP芯片；DM642带有三个双通道数字视频口VP0、VP1、VP2，可同时处理多路数字视频流，满足本设计中要求的同时采集三路CMOS偏振图像的需求；同时，DM642上带有一个10/100M的以太网接口EMAC，该接口通过与物理层设备的无缝连接即可实现网络传输；为了满足图像采集过程中大数据量存储的需求，在DM642的CE0空间通过EMIFA接口外扩了4片4M×16bits的SDRAM存储器芯片，构成4M×16bits的SDRAM存储空间，使***的数据存储空间达到32MB；由于DM642片内不带FLASH或EEPROM，***掉电后DM642存储器中的数据和程序将全部丢失，所以DM642的外部通常需要扩展FLASH存储器，用于存储程序和重要的数据；在DM642的CE1空间外扩了一片4M×8bits的FLASH存储芯片作为程序存储器，构成4MB的程序存储空间；当DM642上电或复位时，自动从FLASH上加载程序代码。

4.根据权利要求1所述的一种三通道CMOS同步偏振成像***，其特征在于：所述的图像配准算法的主要计算步骤有：特征点检测、特征点匹配、变换模型估计、图像的变换和重采样；将45°方向获取的偏振图像的图像坐标作为参考坐标，图像配准的过程是指将0°方向和90°方向的偏振图像的坐标纠正到参考图像坐标上。

5.根据权利要求1所述的一种三通道CMOS同步偏振成像***，其特征在于：所述的图像匹配算法采用提出了一种改进的SIFT特征匹配算法对虚假的匹配特征点对进行了排除，因而能够有效的减少错误的匹配特征点对；同时由于排除了与之不匹配的特征点，使得集合ptmp中的特征点数少于集合p中的特征点数，大大减少了对128维特征描述子求欧式距离比的工作量，有效的提高了***的运行效率。