CN105809640A - 基于多传感器融合的低照度视频图像增强方法 - Google Patents
基于多传感器融合的低照度视频图像增强方法 Download PDFInfo
- Publication number
- CN105809640A CN105809640A CN201610130912.XA CN201610130912A CN105809640A CN 105809640 A CN105809640 A CN 105809640A CN 201610130912 A CN201610130912 A CN 201610130912A CN 105809640 A CN105809640 A CN 105809640A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- value
- images
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005286 illumination Methods 0.000 title claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims abstract description 48
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 238000012546 transfer Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 10
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000003331 infrared imaging Methods 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 238000012876 topography Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241000239290 Araneae Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于多传感器融合的低照度视频图像增强方法,属于视频图像处理领域。根据异源视频之间的特征相似性进行匹配的,采用了多尺度的sift算法进行异源图像的配准,根据多尺度的sift算法和ransac算法的结合可以得到一个精确的变换矩阵,用该变换矩阵对红外视频图像和可见光视频图像中的每帧分别进行插值,从而把不同分辨率的图像变换为同一分辨率的图像,从而解决了不同分辨的图像配准。接着采用基于α的加权算法实现了每帧图像之间的快速融合,使得图像的融合时间满足视频实时要求,达到了视频实时显示的效果。提高了视频的清晰度,清晰的视频含有的信息也是丰富多彩的,便于后续处理。
Description
技术领域
本发明属于视频图像处理领域。
背景技术
在低照度环境下所拍摄的可见光视频可视度低,人们无法根据视频来识别具体的景物和人。这给军事、医学、民用等很多领域都带来了不便,所以该项技术的研究具有重要的作用。低照度视频图像增强技术在军事上可用于航海的监控***,或是边防的夜视***和遥感图像的应用等;在医学领域可用于对人体细胞或是血管的探测,进而分析人体的身体状况;在生活领域的应用更是广泛,可用于手机的夜间拍摄***,商场的监控***,人工智能的应用(清晰的视频有利于机器的识别并作出反应),视频的增强***(在成像质量低的情况下)等。
由于现在人们对单一传感器获取的视频的处理能力远远落后于多源传感器的整合能力。夜间拍摄的可见光的视频分辨率大,彩色信息丰富,但是可视度低、物体的轮廓也不清晰。夜间拍摄的红外视频可视度高,人们可以根据视频来识别具体的人和物,但是视频是没有彩色信息的并且视频的分辨率也比较低。以上的任何一种传感器所拍摄的视频都是有缺陷的,但是两种视频的融合却是可以达到增强的效果的。
目前,国内外对于红外视频图像和可见光视频图像在低照度下的融合的方法的研究都是比较少的,因为这种异源的视频图像具有不同的分辨率,并且在拍摄的过程中两个视频会存在着旋转、缩放和平移等变换,因此很难实现异源视频图像之间的配准,并且每帧图像的融合时间很难达到视频图像实时显示的效果。现在图像的配准方法使用最多的就是sift算法、surf算法、互信息配准算法、基于B样条的配准算法和基于MSER的配准算法等。但是使用这些算法来进行异源图像的配准得到的正确的匹配点不到5%,即使应用ransac算法来去除误匹配点,也是很难得到一个正确的匹配函数,进而很难进行图像融合的后期工作。其次对于红外图像和可见光图像的融合算法比较好的就是contourlet算法、小波变换算法和基于局部区域的融合算法等这种多分辨率的融合算法,但是算法运行的时间很长很难达到视频图像实时显示的效果。
发明内容
本发明提供一种基于多传感器融合的低照度视频图像增强方法,以解决异源多尺度视频图像配准精度低、实时性差、融合不准确等问题,提高低照度环境下的视频图像可视度,实现了异源多尺度视频图像实时融合,即保留了可见光图像丰富的色彩信息,又增加了红外图像的信息,提高了视频图像质量。
本发明采取的技术方案包括以下步骤:
一、在红外成像传感器和可见光成像传感器固定不变并且同时采集的情况下,采集了一组红外视频和可见光视频,分别读取红外视频和可见光视频的对应帧im1和im2;这里红外图像尺寸576×704,可见光图像的尺寸是640×480;
二、图像的预处理
对于红外图像进行增强,采用的方式就是对红外图像的每个像素点进行取逆,定义一个576×704的单位矩阵E,具体的实施如公式(1);
im1=255*E-im1(1)
对取逆后的红外图像采用差值滤波的方式进行平滑的处理,对取逆后的红外图像进行差值滤波如公式2所示;
三、极值点尺度空间的生成
通过高斯的差分函数来检测尺度不变的极值点,高斯的差分函数的公式如公式3所示,高斯函数如公式4所示:
其中D(x,y,kσ)表示在系数k下尺度为σ的图像的差分高斯金字塔,D(x,y,σ)表示尺度为σ高斯金字塔,I(x,y)表示原图像,表示它们间的卷积,σ为尺度因子,G(x,y,kσ)表示尺度为kσ的高斯函数,(x,y)为图像上点的坐标,把红外图像和可见光图像根据图像的降采样和上采样分别分成尺度不同的σ组,如公式5所示,每组又分成n层,如公式6所示,最后由把红外图像和可见光图像每组的相邻的层进行相减,再把im1和im2分别带入公式3中的I(x,y),从而由公式3检测到红外图像和可见光图像不同尺度的极值点。
n=log2{min(M,N)-t},t∈[0,log2{min(M,N)}](6)
这里M,N分别为图像尺寸值,对于红外图像来说,M为576,N为704,对于可见光图像来说,M为640,N为480;
四、极值点的定位
根据上面所检测到的极值点,对红外图像和可见光图像分别进行比较,进而得出相应的极值点,对于每一层的差分高斯金字塔和上下两层分别进行比较,为了寻找差分高斯金字塔上的关键点的位置和尺度,把差分高斯金字塔图像上检测出的任意一特征点作为3×3窗口中的中心点,然后再取与该层对应的上下两层的差分高斯金字塔的3×3的窗口,比较中心点的值是否比其邻近的或是上下窗口中对应的任意一点共26点的值大,如果是的话那么该点被认为是极大值点,否则不是,从而得出关键点的位置和尺度;
五、特征点的描述符
1)计算每个极值点的主方向;图像主要根据每个极值点邻域的梯度方向直方图来计算极值点的方向,具体的方法就是把极值点的邻域分成0-360度,把他们进行等间隔的划分,间距为10度,所以一共分成了36柱,根据每个柱的统计值,把最大的值作为主方向,把具有主方向能量80%的作为辅方向;
2)计算每个极值点的描述符,在得到了两幅图像的特征点后,取每个特征点邻近的16×16窗口,在这个窗口内又划分了4×4个区域,每个区域由4×4个像素点组成,对于可见光图像由于每个像素点有一个主方向和一个辅方向,因而计算每个区域的8个方向的梯度方向直方图,并对每个方向的梯度值进行累加,累加之后的8个方向的梯度值作为一个种子区域,这样一共得到了16个种子,128维向量,但是由于红外图像和可见光图像的差异性,特征点附近的局部图像的性质是不一致的,对应的特征点的方向也许几乎是一致的,但梯度值却有着很大的不同,因此在对于红外图像进行8个方向的梯度值累加时选着加权平均的方式进行累加;
六、特征点的匹配
由步骤四得到红外图像任意一个极值点的坐标(x',y'),可见光图像上检测出的所有的极值点的坐标为(X1,Y1)、(X2,Y2)…(XN,YN),找到原图像和待配准图像中余弦的最小值,从而得到一组对应的匹配点,计算过程如公式7所示:
min(arctan(x'-X1,y'-Y1),arctan(x'-X2,y'-Y2)......arctan(x'-XN,y'-YN))(7)
把红外图像上每一个极值点都重复做公式7的计算,因而得到两幅图像对应的匹配点;
七、转移矩阵的生成
当得到了两幅待配准图像的特征点之后,通过投影变换的公式(5)来求出两幅图像之间的变换关系,然后结合ransac算法去除误匹配点,进而从ransac算法中能够求得一个精确的转移矩阵。
把中间变换的矩阵称为H,其中H有8个自由度,即h0,h1.....h88个未知的参数,至少有四组对应的点就能求出H,把公式5进行变换得到了公式9:
从公式6能够看出未知的变量有8个,所以至少要有8个独立的线性方程才能解出这8个未知的变量,即至少要确定出4组对应的点,来能求出转移矩阵H,通过H矩阵便能得出目标图像在参考图像中的对应坐标,从而为图像的融合打下了很好的基础;
八、转移矩阵的精化
在改进的sift算法的基础上结合ransac算法,从而在ransac算法得到的模型中求出一个精确的变换矩阵H,应用ransac该算法的步骤如下:
1.通过已知数据中的任意的四组点来确定一个假设的模H;
2.用剩下的数据来验证假设的模型,如果某个数据能够根据该模型得到正确的匹配点对,则认为该数据是正确的,否则就认为是错误的;
3.然后对所有的数据进行分析,如果有一定量(d)的正确的数据,则认为该假设的模型是合理的,否则是不合理的;
4.接着在正确的数据中任意选择4组数据来重新假设一个模型;
5.最后,本文通过每个假设的模型的正确的数据个数与错误率(t)来进行评价,进而选择一个最佳的模型;
这样的步骤执行的一定的次数,称它为迭代次数k,参数t和d的值都是通过反复的实验进行确定的,但是参数k的值可以通过公式10求出:
其中p的值为在任意的一组迭代过程中,从所有的数据中随机选出的一个点是正确的数据点的概率;w为任意一次从所有的数据集中选取一个正确的数据点的概率;n为所有数据点的个数,假定它们都是独立的;
九、图像的融合
从上面所得到的配准参数就可以得到两幅图像的变换关系,首先通过步骤可以把两幅图像(576×704,640×480)对应的特征点求出,然后根据得到的对应的点得到:
根据上面的ur,vr产生一个以ur为行,vr为列的矩阵u,以及vr为行,ur为列的矩阵v,然后把576×704的图像在对应的点(u,v)的值给到一个矩阵im1_里,同样的原理,根据上面求得的u和v以及对应的转移矩阵H便可得到:
根据上面的u_,v_,把M1×N1的图像在对应的点(u_,v_)的值给到一个矩阵im2_里,这样便可得到两幅对应的插值图像,因此他们的融合图像为:
fusion=α*im2_+β*im1_(13)
这里的α的值只要表示了一天24小时当中不同的时间段可见光图像的融合系数,根据可见光图像的亮度来决定α的值,通过反复的实验我们可以确定一个阈值T,如果可见光图像的平均亮度大于T,则认为是白天,此时α的值是1,反之,则把可见光图像的所有亮度值进行排序,去除前20%的亮度值的点,取剩下亮度值的和和总亮度值的比值作为α的值,β的值为1-α;因此,根据公式13就能得到融合后图像,由于算法的简洁性,图像的融合已达到了实时的效果;
十、对于视频的实时处理主要是把视频图像中的每帧根据步骤八得到的精确的转移矩阵H进行配准,配准之后的两幅图像根据公式9和公式10来进行插值,最后用公式11进行融合。
本发明采用的方法是根据异源视频之间的特征相似性进行匹配的,采用了多尺度的sift算法进行异源图像的配准,根据多尺度的sift算法和ransac算法的结合可以得到一个精确的变换矩阵,用该变换矩阵对红外视频图像和可见光视频图像中的每帧分别进行插值,从而把不同分辨率的图像变换为同一分辨率的图像,从而解决了不同分辨的图像配准。接着采用基于α的加权算法实现了每帧图像之间的快速融合,使得图像的融合时间满足视频实时要求,达到了视频实时显示的效果。
本发明具有下述有益效果:提高了视频的清晰度,由于夜间的红外视频有着清晰的轮廓信息和目标信息,夜间的可见光视频有着丰富的颜色和细节信息,所以两者的融合之后的效果相比于任何一个的效果都是有着明显的提高;为视频的后续处理打下了很好的基础,由于融合后的视频的亮度和特征点都有所增强,因此增强后的视频适合各种算法的处理。清晰的视频含有的信息也是丰富多彩的,便于后续处理。
附图说明
图1a夜间红外图像;
图1b经过步骤2差值滤波处理之后的图像;
图2a夜间的远红外图像;
图2b夜间的可见光图像;
图3a传统的sift算法的匹配图;
图3b传统sift算法结合ransac算法的匹配图;
图3c多尺度sift算法的匹配图;
图3d多尺度sift算法结合ransac算法的匹配图;
图4夜间远红外图像和可见光图像的融合结果图;
图5DOG空间的极值检测图。
具体实施方式
包括下列步骤:
一、在红外成像传感器和可见光成像传感器固定不变并且同时采集的情况下,采集了一组红外视频和可见光视频,其中红外视频的大小为576*704,如图2a所示,可见光视频的大小为640*480,如图2b所示;
二、图像的预处理
由于红外图像的成像原理是根据物体对相机的辐射能量进行成像的,可见光的成像原理是根据物体对相机的反射能量进行成像的。因此对于红外图像进行增强,这里采用的方式就是对红外图像的每个像素点进行取逆,定义一个576×704的单位矩阵E,具体的实施如公式(1);
im1=255*E-im1(1)
对取逆后的红外图像采用差值滤波的方式进行平滑的处理。主要因为红外图像一般情况下都是模糊的,边缘的部分噪声也很多,在进行特征点检测时对于边缘的检测效果一般不是很明显,然而可见光图像在进行边缘检测时检测到的特征点一般情况下都是边缘的点,因为图像在边缘的部分变化最明显,容易作为极大值点而被检测出。所以两幅图像之间相关的匹配点特别少,进而很难得到一个准确的配准函数。差值滤波后的红外图像边缘清晰,有利于下一步的执行。对取逆后的红外图像进行差值滤波如公式2所示;
可见光图像保持不变;
三、极值点尺度空间的生成
由于红外图像和可见光图像是异源图像,两者的灰度有着很大的差异性,因此很难通过灰度的相似性来确定两幅图像的对应关系,本专利主要是通过两幅图像特征的相关性来确定两幅图像的相关性,但是红外图像和可见光图像在拍摄的过程中会存在着仿射变换和光线的变化,因此应该寻找一种尺度不变的特征来确定两幅图像的相关性,Lindeberg曾说过尺度归一化的高斯拉普拉斯函数和高斯差分函数由着很大的相似性,因此通过高斯的差分函数来检测尺度不变的极值点,高斯的差分函数的公式如公式3所示,高斯函数如公式4所示:
其中D(x,y,kσ)表示在系数k下尺度为σ的图像的差分高斯金字塔,D(x,y,σ)表示尺度为σ高斯金字塔,I(x,y)表示原图像,表示它们间的卷积,σ为尺度因子,G(x,y,kσ)表示尺度为kσ的高斯函数,(x,y)为图像上点的坐标,把红外图像和可见光图像根据图像的降采样和上采样分别分成尺度不同的σ组,如公式5所示,每组又分成n层,如公式6所示,最后由把红外图像和可见光图像每组的相邻的层进行相减,再把im1和im2分别带入公式3中的I(x,y),从而由公式3检测到红外图像和可见光图像不同尺度的极值点。
n=log2{min(M,N)-t},t∈[0,log2{min(M,N)}](6)
这里M,N分别为图像尺寸值,对于红外图像来说,M为576,N为704,对于可见光图像来说,M为640,N为480;
四、极值点的定位
根据上面所检测到的极值点,对红外图像和可见光图像分别进行比较,进而得出相应的极值点,如图5所示,对于每一层的差分高斯金字塔和上下两层分别进行比较,为了寻找差分高斯金字塔上的关键点的位置和尺度,把差分高斯金字塔图像上检测出的任意一特征点作为3×3窗口中的中心点,然后再取与该层对应的上下两层的差分高斯金字塔的3×3的窗口,比较中心点的值是否比其邻近的或是上下窗口中对应的任意一点共26点的值大,如果是的话那么该点被认为是极大值点,否则不是,从而得出关键点的位置和尺度;
五、特征点的描述符
1)计算每个极值点的主方向;图像主要根据每个极值点邻域的梯度方向直方图来计算极值点的方向,具体的方法就是把极值点的邻域分成0-360度,把他们进行等间隔的划分,间距为10度,所以一共分成了36柱,根据每个柱的统计值,把最大的值作为主方向,把具有主方向能量80%的作为辅方向;
2)计算每个极值点的描述符,在得到了两幅图像的特征点后,取每个特征点邻近的16×16窗口,在这个窗口内又划分了4×4个区域,每个区域由4×4个像素点组成,对于可见光图像由于每个像素点有一个主方向和一个辅方向,因而计算每个区域的8个方向的梯度方向直方图,并对每个方向的梯度值进行累加,累加之后的8个方向的梯度值作为一个种子区域,这样一共得到了16个种子,128维向量,但是由于红外图像和可见光图像的差异性,特征点附近的局部图像的性质是不一致的,对应的特征点的方向也许几乎是一致的,但梯度值却有着很大的不同,因此在对于红外图像进行8个方向的梯度值累加时选着加权平均的方式进行累加;
六、特征点的匹配
由步骤四得到红外图像任意一个极值点的坐标(x',y'),可见光图像上检测出的所有的极值点的坐标为(X1,Y1)、(X2,Y2)…(XN,YN),找到原图像和待配准图像中余弦的最小值,从而得到一组对应的匹配点,计算过程如公式7所示:
min(arctan(x'-X1,y'-Y1),arctan(x'-X2,y'-Y2)......arctan(x'-XN,y'-YN))(7)
把红外图像上每一个极值点都重复做公式7的计算,因而得到两幅图像对应的匹配点;
七、转移矩阵的生成
当得到了两幅待配准图像的特征点之后,通过投影变换的公式(5)来求出两幅图像之间的变换关系,然后结合ransac算法去除误匹配点,进而从ransac算法中能够求得一个精确的转移矩阵。
本文把中间变换的矩阵称为H,其中H有8个自由度,即h0,h1.....h88个未知的参数,从数学的原理上来说,至少有四组对应的点就能求出H,把公式5进行变换得到了公式9:
从公式6能够看出未知的变量有8个,所以至少要有8个独立的线性方程才能解出这8个未知的变量,即至少要确定出4组对应的点,来能求出转移矩阵H,通过H矩阵便能得出目标图像在参考图像中的对应坐标,从而为图像的融合打下了很好的基础;
八、转移矩阵的精化
由于初步得到的H矩阵很可能是不精确的,因此本文在改进的sift算法的基础上结合了ransac算法的使用,从而在ransac算法得到的模型中求出一个精确的变换矩阵H,ransac算法的基本思想就是根据已知的一组数据,能够去除错误的或是有误差的数据,进而得到一个准确的模型,本文应用该算法的基本步骤如下:
1.通过已知数据中的任意的四组点来确定一个假设的模H;
2.用剩下的数据来验证假设的模型,如果某个数据能够根据该模型得到正确的匹配点对,则认为该数据是正确的,否则就认为是错误的;
3.然后对所有的数据进行分析,如果有一定量(d)的正确的数据,则认为该假设的模型是合理的,否则是不合理的;
4.接着在正确的数据中任意选择4组数据来重新假设一个模型;
5.最后,本文通过每个假设的模型的正确的数据个数与错误率(t)来进行评价,进而选择一个最佳的模型;
这样的步骤执行的一定的次数,人们称它为迭代次数k,在执行的过程中要么就是因为正确的数据的个数过少而舍弃现有的模型,要么就是因为现有的模型比假设的模型性能更好而被保留,参数t和d的值都是通过反复的实验进行确定的,但是参数k的值可以通过公式10求出:
其中p的值为在任意的一组迭代过程中,从所有的数据中随机选出的一个点是正确的数据点的概率;w为任意一次从所有的数据集中选取一个正确的数据点的概率;n为所有数据点的个数,假定它们都是独立的;
图3显示了多尺度sift的匹配图和多尺度sift结合ransac的匹配图,用该图来检验转移矩阵的准确度,根据公式7求出了一个参数k(迭代次数),然后用公式8对其求精。阈值t是通过反复的实验进行确定的,参数d为总个数的90%;
九、图像的融合
从上面所得到的配准参数就可以得到两幅图像的变换关系,首先通过步骤可以把两幅图像(576×704,640×480)对应的特征点求出,然后根据得到的对应的点得到:
根据上面的ur,vr产生一个以ur为行,vr为列的矩阵u,以及vr为行,ur为列的矩阵v,然后把576×704的图像在对应的点(u,v)的值给到一个矩阵im1_里,同样的原理,根据上面求得的u和v以及对应的转移矩阵H便可得到:
根据上面的u_,v_,把M1×N1的图像在对应的点(u_,v_)的值给到一个矩阵im2_里,这样便可得到两幅对应的插值图像,因此他们的融合图像为:
fusion=α*im2_+β*im1_(13)
这里的α的值只要表示了一天24小时当中不同的时间段可见光图像的融合系数,根据可见光图像的亮度来决定α的值,通过反复的实验我们可以确定一个阈值T,如果可见光图像的平均亮度大于T,则认为是白天,此时α的值是1,反之,则把可见光图像的所有亮度值进行排序,去除前20%的亮度值的点,取剩下亮度值的和和总亮度值的比值作为α的值,β的值为1-α;因此,根据公式13就能得到融合后图像,由于算法的简洁性,图像的融合已达到了实时的效果;融合的结果如图4所示;
十、对于视频的实时处理主要是把视频图像中的每帧根据步骤八得到的精确的转移矩阵H进行配准,配准之后的两幅图像根据公式9和公式10来进行插值,最后用公式11进行融合。
实验结果及分析
实验中,仿真平台硬件环境为:2.93GHz,2G内存的PC机;红外相机的型号为Bobcat7447,波段为0.9-1.7um。(在拍摄的过程中主要通过调节曝光时间以及自动增益参数进行补偿)。采集的时间为在夏季晚上8点以后。可见光相机的型号是cannoneos60d。两个相机通过一个三脚架成一定角度的放置进行拍摄,红外相机通过pc机进行图像的采集和拍摄。软件开发工具为MATLABR2013b。具体步骤为:首先用sift算法对红外图像和可见光图像进行配准,然后用ransac算法对得到的误匹配点进行去除。采集了一组红外视频和可见光视频,这里红外图像尺寸大小为576×704,可见光图像的大小是640×480,结果见附图。
Claims (2)
1.一种基于多传感器融合的低照度视频图像增强方法,其特征在于包括下列步骤:
一、在红外成像传感器和可见光成像传感器固定不变并且同时采集的情况下,采集了一组红外视频和可见光视频,分别读取红外视频和可见光视频的对应帧im1和im2;这里红外图像尺寸576×704,可见光图像的尺寸是640×480;
二、图像的预处理
对于红外图像进行增强,采用的方式就是对红外图像的每个像素点进行取逆,定义一个576×704的单位矩阵E,具体的实施如公式(1);
im1=255*E-im1(1)
对取逆后的红外图像采用差值滤波的方式进行平滑的处理,对取逆后的红外图像进行差值滤波如公式2所示;
三、极值点尺度空间的生成
通过高斯的差分函数来检测尺度不变的极值点,高斯的差分函数的公式如公式3所示,高斯函数如公式4所示:
其中D(x,y,kσ)表示在系数k下尺度为σ的图像的差分高斯金字塔,D(x,y,σ)表示尺度为σ高斯金字塔,I(x,y)表示原图像,表示它们间的卷积,σ为尺度因子,G(x,y,kσ)表示尺度为kσ的高斯函数,(x,y)为图像上点的坐标,把红外图像和可见光图像根据图像的降采样和上采样分别分成尺度不同的σ组,如公式5所示,每组又分成n层,如公式6所示,最后由把红外图像和可见光图像每组的相邻的层进行相减,再把im1和im2分别带入公式3中的I(x,y),从而由公式3检测到红外图像和可见光图像不同尺度的极值点。
n=log2{min(M,N)-t},t∈[0,log2{min(M,N)}](6)
这里M,N分别为图像尺寸值,对于红外图像来说,M为576,N为704,对于可见光图像来说,M为640,N为480;
四、极值点的定位
根据上面所检测到的极值点,对红外图像和可见光图像分别进行比较,进而得出相应的极值点,对于每一层的差分高斯金字塔和上下两层分别进行比较,为了寻找差分高斯金字塔上的关键点的位置和尺度,把差分高斯金字塔图像上检测出的任意一特征点作为3×3窗口中的中心点,然后再取与该层对应的上下两层的差分高斯金字塔的3×3的窗口,比较中心点的值是否比其邻近的或是上下窗口中对应的任意一点共26点的值大,如果是的话那么该点被认为是极大值点,否则不是,从而得出关键点的位置和尺度;
五、特征点的描述符
1)计算每个极值点的主方向;图像主要根据每个极值点邻域的梯度方向直方图来计算极值点的方向,具体的方法就是把极值点的邻域分成0-360度,把他们进行等间隔的划分,间距为10度,所以一共分成了36柱,根据每个柱的统计值,把最大的值作为主方向,把具有主方向能量80%的作为辅方向;
2)计算每个极值点的描述符,在得到了两幅图像的特征点后,取每个特征点邻近的16×16窗口,在这个窗口内又划分了4×4个区域,每个区域由4×4个像素点组成,对于可见光图像由于每个像素点有一个主方向和一个辅方向,因而计算每个区域的8个方向的梯度方向直方图,并对每个方向的梯度值进行累加,累加之后的8个方向的梯度值作为一个种子区域,这样一共得到了16个种子,128维向量,但是由于红外图像和可见光图像的差异性,特征点附近的局部图像的性质是不一致的,对应的特征点的方向也许几乎是一致的,但梯度值却有着很大的不同,因此在对于红外图像进行8个方向的梯度值累加时选着加权平均的方式进行累加;
六、特征点的匹配
由步骤四得到红外图像任意一个极值点的坐标(x',y'),可见光图像上检测出的所有的极值点的坐标为(X1,Y1)、(X2,Y2)…(XN,YN),找到原图像和待配准图像中余弦的最小值,从而得到一组对应的匹配点,计算过程如公式7所示:
min(arctan(x'-X1,y'-Y1),arctan(x'-X2,y'-Y2)......arctan(x'-XN,y'-YN))(7)
把红外图像上每一个极值点都重复做公式7的计算,因而得到两幅图像对应的匹配点;
七、转移矩阵的生成
当得到了两幅待配准图像的特征点之后,通过投影变换的公式(5)来求出两幅图像之间的变换关系,然后结合ransac算法去除误匹配点,进而从ransac算法中能够求得一个精确的转移矩阵。
把中间变换的矩阵称为H,其中H有8个自由度,即h0,h1.....h88个未知的参数,至少有四组对应的点就能求出H,把公式5进行变换得到了公式9:
从公式6能够看出未知的变量有8个,所以至少要有8个独立的线性方程才能解出这8个未知的变量,即至少要确定出4组对应的点,来能求出转移矩阵H,通过H矩阵便能得出目标图像在参考图像中的对应坐标,从而为图像的融合打下了很好的基础;
八、转移矩阵的精化
在改进的sift算法的基础上结合ransac算法,从而在ransac算法得到的模型中求出一个精确的变换矩阵H,应用ransac该算法,执行的一定的次数,称它为迭代次数k,参数t和d的值都是通过反复的实验进行确定的,但是参数k的值可以通过公式10求出:
其中p的值为在任意的一组迭代过程中,从所有的数据中随机选出的一个点是正确的数据点的概率;w为任意一次从所有的数据集中选取一个正确的数据点的概率;n为所有数据点的个数,假定它们都是独立的;
九、图像的融合
从上面所得到的配准参数就可以得到两幅图像的变换关系,首先通过步骤可以把两幅图像(576×704,640×480)对应的特征点求出,然后根据得到的对应的点得到:
根据上面的ur,vr产生一个以ur为行,vr为列的矩阵u,以及vr为行,ur为列的矩阵v,然后把576×704的图像在对应的点(u,v)的值给到一个矩阵im1_里,同样的原理,根据上面求得的u和v以及对应的转移矩阵H便可得到:
根据上面的u_,v_,把M1×N1的图像在对应的点(u_,v_)的值给到一个矩阵im2_里,这样便可得到两幅对应的插值图像,因此他们的融合图像为:
fusion=α*im2_+β*im1_(13)
这里的α的值只要表示了一天24小时当中不同的时间段可见光图像的融合系数,根据可见光图像的亮度来决定α的值,通过反复的实验我们可以确定一个阈值T,如果可见光图像的平均亮度大于T,则认为是白天,此时α的值是1,反之,则把可见光图像的所有亮度值进行排序,去除前20%的亮度值的点,取剩下亮度值的和和总亮度值的比值作为α的值,β的值为1-α;因此,根据公式13就能得到融合后图像,由于算法的简洁性,图像的融合已达到了实时的效果;
十、对于视频的实时处理主要是把视频图像中的每帧根据步骤八得到的精确的转移矩阵H进行配准,配准之后的两幅图像根据公式9和公式10来进行插值,最后用公式11进行融合。
2.根据权利要求1所述的一种基于多传感器融合的低照度视频图像增强方法,其特征在于步骤八中应用ransac算法的步骤如下:
1.通过已知数据中的任意的四组点来确定一个假设的模H;
2.用剩下的数据来验证假设的模型,如果某个数据能够根据该模型得到正确的匹配点对,则认为该数据是正确的,否则就认为是错误的;
3.然后对所有的数据进行分析,如果有一定量(d)的正确的数据,则认为该假设的模型是合理的,否则是不合理的;
4.接着在正确的数据中任意选择4组数据来重新假设一个模型;
5.最后,本文通过每个假设的模型的正确的数据个数与错误率(t)来进行评价,进而选择一个最佳的模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610130912.XA CN105809640B (zh) | 2016-03-09 | 2016-03-09 | 基于多传感器融合的低照度视频图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610130912.XA CN105809640B (zh) | 2016-03-09 | 2016-03-09 | 基于多传感器融合的低照度视频图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105809640A true CN105809640A (zh) | 2016-07-27 |
CN105809640B CN105809640B (zh) | 2019-01-22 |
Family
ID=56467894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610130912.XA Active CN105809640B (zh) | 2016-03-09 | 2016-03-09 | 基于多传感器融合的低照度视频图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105809640B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106504211A (zh) * | 2016-11-07 | 2017-03-15 | 湖南源信光电科技有限公司 | 基于改进surf特征匹配的低照度成像方法 |
CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
CN107019280A (zh) * | 2017-04-26 | 2017-08-08 | 长春理工大学 | 一种基于4g通信的智能消防头盔装置 |
CN107095384A (zh) * | 2017-04-26 | 2017-08-29 | 长春理工大学 | 一种基于wifi传输的智能消防头盔装置 |
CN107301661A (zh) * | 2017-07-10 | 2017-10-27 | 中国科学院遥感与数字地球研究所 | 基于边缘点特征的高分辨率遥感图像配准方法 |
CN107451986A (zh) * | 2017-08-10 | 2017-12-08 | 南京信息职业技术学院 | 一种基于融合技术的单幅红外图像增强方法 |
CN109271939A (zh) * | 2018-09-21 | 2019-01-25 | 长江师范学院 | 基于单调波方向能量直方图的热红外人体目标识别方法 |
CN110310311A (zh) * | 2019-07-01 | 2019-10-08 | 成都数之联科技有限公司 | 一种基于盲文的图像配准方法 |
CN110634420A (zh) * | 2018-06-22 | 2019-12-31 | Jvc 建伍株式会社 | 影像显示装置 |
WO2020001034A1 (zh) * | 2018-06-30 | 2020-01-02 | 华为技术有限公司 | 一种图像处理的方法和设备 |
CN111160098A (zh) * | 2019-11-21 | 2020-05-15 | 长春理工大学 | 一种基于sift特征的表情变化人脸识别方法 |
CN111445429A (zh) * | 2020-03-26 | 2020-07-24 | 北京易康医疗科技有限公司 | 一种基于特征点的pet和mri图像融合方法 |
CN112686103A (zh) * | 2020-12-17 | 2021-04-20 | 浙江省交通投资集团有限公司智慧交通研究分公司 | 一种车路协同的疲劳驾驶监测*** |
CN115527293A (zh) * | 2022-11-25 | 2022-12-27 | 广州万协通信息技术有限公司 | 安全芯片基于人体特征开门的方法及安全芯片装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761721A (zh) * | 2013-12-30 | 2014-04-30 | 西北工业大学 | 一种适用于空间绳系机器人的立体视觉快速图像拼接方法 |
CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理*** |
CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
CN104156965A (zh) * | 2014-08-13 | 2014-11-19 | 徐州工程学院 | 一种矿井监控图像自动快速拼接方法 |
US20150055886A1 (en) * | 2013-08-20 | 2015-02-26 | Samsung Techwin Co., Ltd. | Image fusion system and method |
JP2015224928A (ja) * | 2014-05-27 | 2015-12-14 | 株式会社デンソー | 物標検出装置 |
CN105303518A (zh) * | 2014-06-12 | 2016-02-03 | 南京理工大学 | 一种基于区域特征的视频帧间拼接方法 |
-
2016
- 2016-03-09 CN CN201610130912.XA patent/CN105809640B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150055886A1 (en) * | 2013-08-20 | 2015-02-26 | Samsung Techwin Co., Ltd. | Image fusion system and method |
CN103761721A (zh) * | 2013-12-30 | 2014-04-30 | 西北工业大学 | 一种适用于空间绳系机器人的立体视觉快速图像拼接方法 |
CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理*** |
JP2015224928A (ja) * | 2014-05-27 | 2015-12-14 | 株式会社デンソー | 物標検出装置 |
CN105303518A (zh) * | 2014-06-12 | 2016-02-03 | 南京理工大学 | 一种基于区域特征的视频帧间拼接方法 |
CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
CN104156965A (zh) * | 2014-08-13 | 2014-11-19 | 徐州工程学院 | 一种矿井监控图像自动快速拼接方法 |
Non-Patent Citations (2)
Title |
---|
MAHMUDUL HASAN等: "MULTI-SPECTRAL REMOTE SENSING IMAGE REGISTRATION VIA SPATIAL RELATIONSHIP ANALYSIS ON SIFT KEYPOINTS", 《GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS), 2010 IEEE INTERNATIONAL》 * |
李健等: "基于SIFT的电力设备红外与可见光图像的配准和融合", 《光学与光电技术》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106504211A (zh) * | 2016-11-07 | 2017-03-15 | 湖南源信光电科技有限公司 | 基于改进surf特征匹配的低照度成像方法 |
CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
CN107019280A (zh) * | 2017-04-26 | 2017-08-08 | 长春理工大学 | 一种基于4g通信的智能消防头盔装置 |
CN107095384A (zh) * | 2017-04-26 | 2017-08-29 | 长春理工大学 | 一种基于wifi传输的智能消防头盔装置 |
CN107095384B (zh) * | 2017-04-26 | 2023-11-24 | 左志权 | 一种基于wifi传输的智能消防头盔装置 |
CN107301661B (zh) * | 2017-07-10 | 2020-09-11 | 中国科学院遥感与数字地球研究所 | 基于边缘点特征的高分辨率遥感图像配准方法 |
CN107301661A (zh) * | 2017-07-10 | 2017-10-27 | 中国科学院遥感与数字地球研究所 | 基于边缘点特征的高分辨率遥感图像配准方法 |
CN107451986A (zh) * | 2017-08-10 | 2017-12-08 | 南京信息职业技术学院 | 一种基于融合技术的单幅红外图像增强方法 |
CN110634420B (zh) * | 2018-06-22 | 2021-08-27 | Jvc 建伍株式会社 | 影像显示装置 |
CN110634420A (zh) * | 2018-06-22 | 2019-12-31 | Jvc 建伍株式会社 | 影像显示装置 |
WO2020001034A1 (zh) * | 2018-06-30 | 2020-01-02 | 华为技术有限公司 | 一种图像处理的方法和设备 |
CN109271939B (zh) * | 2018-09-21 | 2021-07-02 | 长江师范学院 | 基于单调波方向能量直方图的热红外人体目标识别方法 |
CN109271939A (zh) * | 2018-09-21 | 2019-01-25 | 长江师范学院 | 基于单调波方向能量直方图的热红外人体目标识别方法 |
CN110310311A (zh) * | 2019-07-01 | 2019-10-08 | 成都数之联科技有限公司 | 一种基于盲文的图像配准方法 |
CN110310311B (zh) * | 2019-07-01 | 2022-04-01 | 成都数之联科技股份有限公司 | 一种基于盲文的图像配准方法 |
CN111160098A (zh) * | 2019-11-21 | 2020-05-15 | 长春理工大学 | 一种基于sift特征的表情变化人脸识别方法 |
CN111445429A (zh) * | 2020-03-26 | 2020-07-24 | 北京易康医疗科技有限公司 | 一种基于特征点的pet和mri图像融合方法 |
CN111445429B (zh) * | 2020-03-26 | 2021-04-06 | 山东省肿瘤防治研究院(山东省肿瘤医院) | 一种基于特征点的pet和mri图像融合方法 |
CN112686103A (zh) * | 2020-12-17 | 2021-04-20 | 浙江省交通投资集团有限公司智慧交通研究分公司 | 一种车路协同的疲劳驾驶监测*** |
CN112686103B (zh) * | 2020-12-17 | 2024-04-26 | 浙江省交通投资集团有限公司智慧交通研究分公司 | 一种车路协同的疲劳驾驶监测*** |
CN115527293A (zh) * | 2022-11-25 | 2022-12-27 | 广州万协通信息技术有限公司 | 安全芯片基于人体特征开门的方法及安全芯片装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105809640B (zh) | 2019-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105809640A (zh) | 基于多传感器融合的低照度视频图像增强方法 | |
Zhang et al. | Image fusion meets deep learning: A survey and perspective | |
CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
Guo et al. | Multiview high dynamic range image synthesis using fuzzy broad learning system | |
Zhang et al. | A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application | |
CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
Bhalla et al. | Fusion of Infrared and Visible Images Using Fuzzy Based Siamese Convolutional Network. | |
CN111539247B (zh) | 一种超光谱人脸识别方法、装置、电子设备及其存储介质 | |
CN113450410B (zh) | 一种基于对极几何的单目深度和位姿联合估计方法 | |
CN109191416A (zh) | 基于稀疏字典学习和剪切波的图像融合方法 | |
CN110097617B (zh) | 基于卷积神经网络与显著性权重的图像融合方法 | |
CN106023187A (zh) | 一种基于sift特征和角度相对距离的图像配准方法 | |
CN104134200A (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
Xie et al. | Semantics lead all: Towards unified image registration and fusion from a semantic perspective | |
CN105809650B (zh) | 一种基于双向迭代优化的图像融合方法 | |
CN114529593A (zh) | 红外与可见光图像配准方法、***、设备、图像处理终端 | |
CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
Xiao et al. | Image Fusion | |
CN109919832A (zh) | 一种用于无人驾驶的交通图像拼接方法 | |
CN115689960A (zh) | 一种夜间场景下照度自适应的红外与可见光图像融合方法 | |
CN113139489A (zh) | 基于背景提取和多尺度融合网络的人群计数方法及*** | |
Almasri et al. | Rgb guided thermal super-resolution enhancement | |
CN117409339A (zh) | 一种用于空地协同的无人机作物状态视觉识别方法 | |
Jacobs et al. | Toward fully automatic geo-location and geo-orientation of static outdoor cameras | |
CN109583408A (zh) | 一种基于深度学习的车辆关键点对齐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |