CN110458877A - 基于仿生视觉的红外与可见光信息融合的导航方法 - Google Patents
基于仿生视觉的红外与可见光信息融合的导航方法 Download PDFInfo
- Publication number
- CN110458877A CN110458877A CN201910746880.XA CN201910746880A CN110458877A CN 110458877 A CN110458877 A CN 110458877A CN 201910746880 A CN201910746880 A CN 201910746880A CN 110458877 A CN110458877 A CN 110458877A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- registration
- vision
- visible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 42
- 230000003287 optical effect Effects 0.000 title claims abstract description 20
- 230000002708 enhancing effect Effects 0.000 claims abstract description 22
- 230000008859 change Effects 0.000 claims abstract description 7
- 238000004088 simulation Methods 0.000 claims abstract 3
- 238000000034 method Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000002156 mixing Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000036755 cellular response Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 108090000623 proteins and genes Proteins 0.000 claims description 6
- 235000013350 formula milk Nutrition 0.000 claims description 5
- KBPHJBAIARWVSC-RGZFRNHPSA-N lutein Chemical compound C([C@H](O)CC=1C)C(C)(C)C=1\C=C\C(\C)=C\C=C\C(\C)=C\C=C\C=C(/C)\C=C\C=C(/C)\C=C\[C@H]1C(C)=C[C@H](O)CC1(C)C KBPHJBAIARWVSC-RGZFRNHPSA-N 0.000 claims description 4
- 229960005375 lutein Drugs 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 210000001525 retina Anatomy 0.000 claims description 4
- KBPHJBAIARWVSC-XQIHNALSSA-N trans-lutein Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CC(O)CC1(C)C)C=CC=C(/C)C=CC2C(=CC(O)CC2(C)C)C KBPHJBAIARWVSC-XQIHNALSSA-N 0.000 claims description 4
- FJHBOVDFOQMZRV-XQIHNALSSA-N xanthophyll Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CC(O)CC1(C)C)C=CC=C(/C)C=CC2C=C(C)C(O)CC2(C)C FJHBOVDFOQMZRV-XQIHNALSSA-N 0.000 claims description 4
- 235000008210 xanthophylls Nutrition 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000010287 polarization Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims 1
- 239000010931 gold Substances 0.000 claims 1
- 229910052737 gold Inorganic materials 0.000 claims 1
- 230000002401 inhibitory effect Effects 0.000 claims 1
- 238000013178 mathematical model Methods 0.000 claims 1
- 210000005036 nerve Anatomy 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 14
- 210000004027 cell Anatomy 0.000 description 6
- 238000003331 infrared imaging Methods 0.000 description 3
- 230000004310 photopic vision Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于仿生视觉的红外与可见光信息融合的导航方法。它至少包括以下步骤：（一）、图像增强预处理，采用高斯‑拉普拉斯算子对采集图像中可见光灰度渐变问题和红外图像的噪声问题进行处理；（二）、图像配准，图像配准主要目的是去除或抑制待配准图像和参考图像之间几何空间的不一致；（三）、图像融合，利用高斯函数模拟ON对抗***，得到增强图像，利用对数函数模拟对抗***，得到抑制信号图像，然后形成伪彩色图像并进行颜色失真校正；（四）、视觉导航。该导航方法能兼具强抗干扰性和成像能力好和分辨率高的优良特性，同时采用基于显著性区域的图像配准算法，配准实时性高，使得导航算法速度快。
Description
技术领域
本发明涉及导航技术领域，特别涉及一种基于仿生视觉原理将红外与可见光视频图像信息进行融合并基于融合后的图像信息进行导航、融合配准采用基于显著性区域图像配准算法，从而兼具强抗干扰性和成像能力好和分辨率高和配准实时性高优良特性的导航方法。
背景技术
基于视觉信息的飞行器导航利用可见光或者红外信息，比无线电和GPS信号有更好的抗干扰性；与惯性导航***比不存在随时间的增加导航误差累计的情况。然而视觉导航中可见光成像虽然具有丰富的细节和敏锐的色感，但在恶劣的天气或夜间成像条件下成像能力较差；而单一红外成像虽然在夜间和复杂天候下成像清晰，但是成像分辨率较低。所以利用可见光成像和红外成像的互补性，采用红外/可见光信息融合的视觉导航方法可以提高光电对抗场景下目标的定位识别能力，满足飞行器全天候工作以及抗干扰性能。然而目前受图像处理融合算法性能的限制，使得目前的红外/可见光复合视觉导航算法速度慢，融合图像不清晰或颜色失真，无法满足应用需求；现有技术还未解决这样的问题。
发明内容
本发明的目的是针对现有导航方式抗干扰性弱或成像能力差或分辨率低或复合视觉导航算法速度慢的不足，提供一种基于仿生视觉的红外与可见光信息融合的导航方法，该导航方法基于仿生视觉原理将红外与可见光视频图像信息进行融合并基于融合后的图像信息进行导航，从而能兼具强抗干扰性和成像能力好和分辨率高的优良特性，同时红外与可见光融合配准中，采用基于显著性区域的图像配准算法，配准实时性高，使得导航算法速度快。
为了解决上述现有技术问题,本发明的技术方案是:
基于仿生视觉的红外与可见光信息融合的导航方法，它至少包括以下步骤：
（一）、图像增强预处理，采用高斯-拉普拉斯算子对采集图像中可见光灰度渐变问题和红外图像的噪声问题进行处理，使图像同时具备方向相通性，提高边缘图像的清晰性和连贯性，所述高斯-拉普拉斯算子是一个二阶微分的像增强算子，f(x,y)表示待增强图像，x和y表示为图像像素点，对图像的拉普拉斯变换方程式为：
（1）；
因为拉普拉斯变换实际是一个任意阶微分的线性操作，为方便计算和数字图像处理，用离散的形式表示这一方程式为：
（2）。
（二）、图像配准，图像配准主要目的是去除或抑制待配准图像和参考图像之间几何空间的不一致，包括平移、旋转、缩放形变，所述图像配准采用“兴趣窗”配准算法，快速捕捉包含主要特征信息的兴趣窗口进行特征配准，提高算法实时性；
所述图像配准包括以下步骤：
（1）、兴趣窗选择，利用FT（Frequency-tuned）显著性区域检测算法，首先提取红外图像中兴趣区域，然后对应选取微光与可见光图像中的区域；
（2）、特征点的提取，从待融合图像提取出的兴趣窗区域f1和f2中提取特征点点集，；
（3）、旋转角度估计，通过定义特征点对的角度直方图，并根据特征点对的直方图确定两幅待配准图像间的旋转角度，用H(θ)来估计f1和f2之间的旋转角度β；
（4）、特征点匹配，根据旋转角度β，对任意特征点对 (pi,qj)，在待配准图像中分别提取以(pi,qj)为中心的特征子图，根据对齐变换公式计算特征点对的对齐度来得到候选匹配点对，利用线性加权的方法消除错误匹配，得到真正的匹配点；
（5）、估计图像间的变换参数，利用得到的匹配点对，用最小二乘法估计来求出兴趣区域f1和f2之间的精准变换参数。
（三）、图像融合，所述图像融合包括以下步骤：
步骤1：利用高斯函数模拟ON对抗***，得到可见光增强红外信号后的图像，其方程式为：
（3）,
方程式（3）中,fIR(x,y)表示红外图像,fVis(x,y)表示可见光图像，fIR_ON(x,y)表示红外ON增强图像，利用对数函数模拟OFF对抗***，得到可见光抑制红外信号后的图像，其方程式为：
（4）,
方程式（4）中,fIR_OFF(x,y)表示红外OFF增强图像，利用高斯函数模拟ON对抗***，得到红外对可见光信号的增强图像，其方程式为：
（5）,
方程式（5）中,fVis_ON(x,y)表示可见光ON增强图像，利用对数函数模拟OFF对抗***，得到红外抑制可见光信号后的图像，其方程式为：
（6）；
步骤2、将ON对抗增强的可见光信号分别馈入两个中心-环绕对抗受域的兴奋中心细胞中，得到可见光增强信号fON_Vis(x,y)，红外图像的OFF增强图像和ON增强图像分别馈入相应神经元的环绕抑制细胞中，得到两个融合信号fVis+IR和fVis-IR，最后将得到的三个信号fVis+IR、fON-Vis和fVis-IR分别映射入R、G、B图像，形成伪彩色图像，ON对抗***细胞响应表示为：
（7）,
OFF对抗***细胞响应表示为：
（8）,
方程式（7）、（8）中，A是衰减常数，i和j为像素坐标，D表示细胞基底活性，k是颜色通道，E和F是极化常数， CK(i,j)为受域兴奋中心，其可表示为：
（9）,
SK(i,j)为受域抑制环绕区域，可表示为：
（10）,
其中， IK(i,j)为输入图像，*是卷积算子， Wc(i,j)、Ws(i,j)分别是中心区域和环绕区域的高斯分布函数，高斯模板大小分别为m×n和p×q，σc，σs分别为中心区域和环绕区域空间常数。
步骤3：通过模拟人眼视网膜颜色成像机制，利用多尺度色彩失真校正Retinex算法，得到对伪彩色融合图像进行颜色失真校正。
首先，估计伪彩色图像的亮度分量：
（11）,
其中，“*”代表卷积操作， f(x,y)为红外/可见光融合后的伪彩色图像，高斯函数，σ是高斯函数尺度参数，k为归一化因子。
然后，单一尺度下的伪彩色融合图像的反射分量计算：
（12）,
最后，伪彩色融合图像的多尺度Retinex计算，对图像进行不同尺度滤波，通过加权求和，引入分量比值调整因子进行色彩恢复：
（13）,
其中，分量比值调整因子，fc(x,y)表示不同颜色通道的图像，α为比例因子。
（四）、视觉导航，所述视觉导航通过飞行器导航软件计算步骤（三）中基于红外与可见光融合的视频图像，并结合获取的飞行参数，对飞行器的状态进行判断，并根据导航算法执行的结果，对飞行器的飞行姿态进行调整，所述视觉导航由视觉追踪和视觉匹配分别得到的结果融合成飞行器的定位信息；
所述视觉追踪是通过图像序列间的相对运动来估计当前位置，从起始位置开始连续的图像帧之间累积的偏移量加得到当前飞行器位置，帧之间的偏移量通过计算图像序列中特征点的位置变化获取；
所述视觉追踪采用 KLT （Kanade-Lucas-Tomasi Tracking）算法基于最优估计的特征点进行视觉跟踪，利用最优估计准则寻找一帧图像已知特征点在另一帧图像上的位置；
所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移包括构建高斯金字塔，所述构建高斯金字塔的步骤如下：
第一步、原融合图像作为金字塔第一层；
第二步、已知第 k 层的高斯金字塔图像，对图像进行高斯内核卷积， 将所有偶数行和列去除，得到的图像即为 k+1 层的图像；
第三步、不断迭代第二步得到整个高斯金字塔。
所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移还包括：通过构建高斯金字塔，当图像经过几次降采样之后，相邻帧图像间的运动量相对于原始图像间的运动量，缩小了多倍，能够达到小偏移量的约束条件，然后直接使用 KLT 计算偏移量。
本发明基于仿生视觉的红外与可见光信息融合的导航方法,其有益效果有：
1、本发明采用红外与可见光成像融合的方法进行飞行器导航，比采用GPS或无线电信号的导航方式具有更强的抗干扰性；比使用单一成像传感器，如仅使用可见光视觉导航具有更好的成像环境适应能力，在夜间或者雾天具有更强的成像清晰度，比单一红外成像导航具有更好的环境信息感知能力，能够有效提高导航***抗干扰性，提高定位精度；
2、本发明红外与可见光融合配准中，采用基于显著性区域的图像配准算法，可以提高配准实时性，使得导航算法速度快；
3、本发明导航方法是适用于低空飞行器（低于1000米）的自主视觉导航方法。
附图说明
图1， 为本发明基于仿生视觉的红外与可见光信息融合的导航方法的步骤(三)中图像融合的示意图；
图2，为本发明基于仿生视觉的红外与可见光信息融合的导航方法的全过程流程图；
图3，为实施例中步骤（一）图像增强预处理变换前的图像；
图4，为实施例中步骤（一）图像增强预处理采用拉普拉斯变换方程式变换后的图像；
图5，为实施例中步骤（三）图像融合中的前后图像对照图。
具体实施方式
下面结合实施例对本发明作进一步说明：
实施例：
基于仿生视觉的红外与可见光信息融合的导航方法，所述导航方法是通过摄像机对周围环境进行图像采集，并对图像进行滤波和计算，完成自身位姿确定和路径识别，并做出导航决策的一种导航技术，本发明中视觉成像***的标定模块需要对光学***的畸变进行矫正，尺寸分辨率进行标定，以得到亚像素级的标定精度，这些操作由可见光视觉***完成。
从视觉***中视频流中获取图像帧后，对红外/可见光图像进行处理，包括图像增强、图像配准、图像融合等；根据获取的飞行器飞行参数，判断飞行器当前的飞行状态；如果正在飞行，则执行视觉导航算法。图像采集控制模块利用红外、可见光视觉***采集图像，为了保证相机拍照的稳定性和相机姿态的可控，红外/可见光镜头运动控制接口模块通过一个云台对相机进行控制。
它至少包括以下步骤：
（一）、图像增强预处理，采用高斯-拉普拉斯算子对采集图像中可见光灰度渐变问题和红外图像的噪声问题进行处理，使图像同时具备方向相通性，提高边缘图像的清晰性和连贯性，所述高斯-拉普拉斯算子是一个二阶微分的像增强算子，f(x,y)表示待增强图像，x和y表示为图像像素点，本实施例中采用拉普拉斯变换方程式的离散形式进行变换：
（2）。
如图3为变换前的图像，图4为采用拉普拉斯变换方程式变换后的图像，可看出边缘图像的清晰性和对比度得到显著增强。
（二）、图像配准，图像配准主要目的是去除或抑制待配准图像和参考图像之间几何空间的不一致，包括平移、旋转、缩放形变，所述图像配准采用“兴趣窗”配准算法，快速捕捉包含主要特征信息的兴趣窗口进行特征配准，提高算法实时性；
所述图像配准包括以下步骤：
（1）、兴趣窗选择，利用FT（Frequency-tuned）显著性区域检测算法，首先提取红外图像中兴趣区域，然后对应选取微光与可见光图像中的区域；
（2）、特征点的提取，从待融合图像提取出的兴趣窗区域f1和f2中提取特征点点集，；
（3）、旋转角度估计，通过定义特征点对的角度直方图，并根据特征点对的直方图确定两幅待配准图像间的旋转角度，用H(θ)来估计f1和f2之间的旋转角度β；
（4）、特征点匹配，根据旋转角度β，对任意特征点对 (pi,qj)，在待配准图像中分别提取以(pi,qj)为中心的特征子图，根据对齐变换公式计算特征点对的对齐度来得到候选匹配点对，利用线性加权的方法消除错误匹配，得到真正的匹配点；
（5）、估计图像间的变换参数，利用得到的匹配点对，用最小二乘法估计来求出兴趣区域f1和f2之间的精准变换参数。
（三）、图像融合，所述图像融合包括以下步骤：
步骤1：利用高斯函数模拟ON对抗***，得到可见光增强红外信号后的图像，其方程式为：
（3）,
方程式（3）中,fIR(x,y)表示红外图像,fVis(x,y)表示可见光图像，fIR_ON(x,y)表示红外ON增强图像，利用对数函数模拟OFF对抗***，得到可见光抑制红外信号后的图像，其方程式为：
（4）,
方程式（4）中,fIR_OFF(x,y)表示红外OFF增强图像，利用高斯函数模拟ON对抗***，得到红外对可见光信号的增强图像，其方程式为：
（5）,
方程式（5）中,fVis_ON(x,y)表示可见光ON增强图像，利用对数函数模拟OFF对抗***，得到红外抑制可见光信号后的图像，其方程式为：
（6）；
步骤2、将ON对抗增强的可见光信号分别馈入两个中心-环绕对抗受域的兴奋中心细胞中，得到可见光增强信号fON_Vis(x,y)，红外图像的OFF增强图像和ON增强图像分别馈入相应神经元的环绕抑制细胞中，得到两个融合信号fVis+IR和fVis-IR，最后将得到的三个信号fVis+IR、fON-Vis和fVis-IR分别映射入R、G、B图像，形成伪彩色图像，ON对抗***细胞响应表示为：
（7）,
OFF对抗***细胞响应表示为：
（8）,
方程式（7）、（8）中，A是衰减常数，i和j为像素坐标，D表示细胞基底活性，k是颜色通道，E和F是极化常数， CK(i,j)为受域兴奋中心，其可表示为：
（9）,
为受域抑制环绕区域，可表示为：
（10）,
其中，IK(i,j)为输入图像，*是卷积算子， Wc(i,j)、Ws(i,j)分别是中心区域和环绕区域的高斯分布函数，高斯模板大小分别为m×n和p×q，σc，σs分别为中心区域和环绕区域空间常数。
步骤3：通过模拟人眼视网膜颜色成像机制，利用多尺度色彩失真校正Retinex算法，得到对伪彩色融合图像进行颜色失真校正。
首先，估计伪彩色图像的亮度分量：
（11）,
其中，“*”代表卷积操作， f(x,y)为红外/可见光融合后的伪彩色图像，高斯函数，σ是高斯函数尺度参数，k为归一化因子。
然后，单一尺度下的伪彩色融合图像的反射分量计算：
（12）,
最后，伪彩色融合图像的多尺度Retinex计算，对图像进行不同尺度滤波，通过加权求和，引入分量比值调整因子进行色彩恢复：
（13）,
其中，分量比值调整因子， fc(x,y)表示不同颜色通道的图像，α为比例因子。
如图5所示，图中第一列为融合前的可见光图像，图中第二列为融合前的红外图像，图中第三列为融合后的图像。
（四）、视觉导航，所述视觉导航通过飞行器导航软件计算步骤（三）中基于红外与可见光融合的视频图像，并结合获取的飞行参数，对飞行器的状态进行判断，并根据导航算法执行的结果，对飞行器的飞行姿态进行调整，所述视觉导航由视觉追踪和视觉匹配分别得到的结果融合成飞行器的定位信息；
所述视觉追踪是通过图像序列间的相对运动来估计当前位置，从起始位置开始连续的图像帧之间累积的偏移量加得到当前飞行器位置，帧之间的偏移量通过计算图像序列中特征点的位置变化获取；
所述视觉追踪采用 KLT （Kanade-Lucas-Tomasi Tracking）算法基于最优估计的特征点进行视觉跟踪，利用最优估计准则寻找一帧图像已知特征点在另一帧图像上的位置；
所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移包括构建高斯金字塔，所述构建高斯金字塔的步骤如下：
第一步、原融合图像作为金字塔第一层；
第二步、已知第 k 层的高斯金字塔图像，对图像进行高斯内核卷积， 将所有偶数行和列去除，得到的图像即为 k+1 层的图像；
第三步、不断迭代第二步得到整个高斯金字塔。
所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移还包括：通过构建高斯金字塔，当图像经过几次降采样之后，相邻帧图像间的运动量相对于原始图像间的运动量，缩小了多倍，能够达到小偏移量的约束条件，然后直接使用 KLT 计算偏移量。
计算偏移量测试数据对比：
设定飞行器在260米高空以20米/秒的速度飞行，计算间隔5帧采集的两张图像之间的偏移量，提取463个Harris特征点，计算偏移量（49.2419，-44.8575），真实偏移量（52，-48）；计算间隔10帧获取两张KLT算法的跟踪结果，提取440个特征点，计算偏移量（64.7670，-90.3478），真实偏移量（65，-99）。
以上已将本发明做一详细说明，以上所述，仅为本发明之较佳实施例而已，当不能限定本发明实施范围，即凡依本申请范围所作一般技术手段的增减或替换，皆应仍属本发明涵盖范围内。
Claims (9)
1.基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，它至少包括以下步骤：
（一）、图像增强预处理，采用高斯-拉普拉斯算子对采集图像中可见光灰度渐变问题和红外图像的噪声问题进行处理，使图像同时具备方向相通性，提高边缘图像的清晰性和连贯性，所述高斯-拉普拉斯算子是一个二阶微分的像增强算子,f(x,y)表示待增强图像，x和y表示为图像像素点，对图像的拉普拉斯变换方程式为：
（1）；
（二）、图像配准，图像配准主要目的是去除或抑制待配准图像和参考图像之间几何空间的不一致，包括平移、旋转、缩放形变，所述图像配准采用“兴趣窗”配准算法，快速捕捉包含主要特征信息的兴趣窗口进行特征配准，提高算法实时性；
（三）、图像融合，利用高斯函数模拟ON对抗***，得到可见光增强红外信号后的图像和得到红外对可见光信号的增强图像，利用对数函数模拟OFF对抗***，得到可见光抑制红外信号后的图像和得到红外抑制可见光信号后的图像；红外图像的OFF增强图像和ON增强图像分别馈入模拟神经元环绕抑制细胞的数学模型中，得到两个融合信号，最后将得到的三个信号分别映射入R、G、B图像，形成伪彩色图像，通过模拟人眼视网膜颜色成像机制，利用多尺度色彩失真校正Retinex算法，得到对伪彩色融合图像进行颜色失真校正；
（四）、视觉导航，所述视觉导航通过飞行器导航软件计算步骤（三）中基于红外与可见光融合的视频图像，并结合获取的飞行参数，对飞行器的状态进行判断，并根据导航算法执行的结果，对飞行器的飞行姿态进行调整，所述视觉导航由视觉追踪和视觉匹配分别得到的结果融合成飞行器的定位信息，
所述视觉追踪是通过图像序列间的相对运动来估计当前位置，从起始位置开始连续的图像帧之间累积的偏移量加得到当前飞行器位置，帧之间的偏移量通过计算图像序列中特征点的位置变化获取。
2.根据权利要求1所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤（一）中拉普拉斯变换方程式是一个任意阶微分的线性操作，为方便计算和数字图像处理，用离散的形式表示这一方程式为：
（2）。
3.根据权利要求1所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤（二）中图像配准包括以下步骤：
（1）、兴趣窗选择，利用FT（Frequency-tuned）显著性区域检测算法，首先提取红外图像中兴趣区域，然后对应选取微光与可见光图像中的区域；
（2）、特征点的提取，从待融合图像提取出的兴趣窗区域f1和f2中提取特征点点集，；
（3）、旋转角度估计，通过定义特征点对的角度直方图，并根据特征点对的直方图确定两幅待配准图像间的旋转角度，用H(θ)来估计f1和f2之间的旋转角度β；
（4）、特征点匹配，根据旋转角度β，对任意特征点对 (pi,qj)，在待配准图像中分别提取以(pi,qj)为中心的特征子图，根据对齐变换公式计算特征点对的对齐度来得到候选匹配点对，利用线性加权的方法消除错误匹配，得到真正的匹配点；
（5）、估计图像间的变换参数，利用得到的匹配点对，用最小二乘法估计来求出兴趣区域f1和f2之间的精准变换参数。
4.根据权利要求1所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤（三）中图像融合包括步骤1、步骤2、步骤3，所述步骤1包括：
利用高斯函数模拟ON对抗***，得到可见光增强红外信号后的图像，其方程式为：
（3），
方程式（3）中,fIR(x,y)表示红外图像,fVis(x,y)表示可见光图像，fIR_ON(x,y)表示红外增强图像；
利用对数函数模拟对抗***，得到可见光抑制红外信号后的图像，其方程式为：
（4），
方程式（4）中,fIR_OFF(x,y)表示红外OFF增强图像；
利用高斯函数模拟ON对抗***，得到红外对可见光信号的增强图像，其方程式为：
（5），
方程式（5）中,fVis_ON(x,y)表示可见光ON增强图像；
利用对数函数模拟OFF对抗***，得到红外抑制可见光信号后的图像，其方程式为：
（6）。
5.根据权利要求4所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤2包括：
将ON对抗增强的可见光信号分别馈入两个中心-环绕对抗受域的兴奋中心细胞中，得到可见光增强信号fON_Vis(x,y)，红外图像的OFF增强图像和ON增强图像分别馈入相应神经元的环绕抑制细胞中，得到两个融合信号fVis+IR和fVis-IR，最后将得到的三个信号fVis+IR、fON-Vis和fVis-IR分别映射入R、G、B图像，形成伪彩色图像，ON对抗***细胞响应表示为：
（7），
OFF对抗***细胞响应表示为：
（8），
方程式（7）、（8）中，A是衰减常数，i和j为像素坐标，D表示细胞基底活性，k是颜色通道，E和F是极化常数， CK(i,j)为受域兴奋中心，其可表示为：
（9），
SK(i,j)为受域抑制环绕区域，可表示为：
（10），
其中， IK(i,j)为输入图像，*是卷积算子， Wc(i,j)、Ws(i,j)分别是中心区域和环绕区域的高斯分布函数，高斯模板大小分别为m×n和p×q，σc，σs分别为中心区域和环绕区域空间常数。
6.根据权利要求4所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤3包括通过模拟人眼视网膜颜色成像机制，利用多尺度色彩失真校正Retinex算法，得到对伪彩色融合图像进行颜色失真校正，所述步骤3具体包括以下步骤：
首先，估计伪彩色图像的亮度分量：
（11），
其中，“*”代表卷积操作， f(x,y)为红外/可见光融合后的伪彩色图像，高斯函数，σ是高斯函数尺度参数，k为归一化因子；
第二步，单一尺度下的伪彩色融合图像的反射分量计算：
（12）；
第三步，伪彩色融合图像的多尺度Retinex计算，对图像进行不同尺度滤波，通过加权求和，引入分量比值调整因子进行色彩恢复：
（13），
其中，分量比值调整因子， fc(x,y)表示不同颜色通道的图像，α为比例因子。
7.根据权利要求1所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤（四）中：
所述视觉追踪采用 KLT （Kanade-Lucas-Tomasi Tracking）算法基于最优估计的特征点进行视觉跟踪，利用最优估计准则寻找一帧图像已知特征点在另一帧图像上的位置；
所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移包括构建高斯金字塔。
8.根据权利要求7所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述构建高斯金字塔的步骤如下：
第一步、原融合图像作为金字塔第一层；
第二步、已知第 k 层的高斯金字塔图像，对图像进行高斯内核卷积， 将所有偶数行和列去除，得到的图像即为 k+1 层的图像；
第三步、不断迭代第二步得到整个高斯金字塔。
9.根据权利要求7所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移还包括：通过构建高斯金字塔，当图像经过几次降采样之后，相邻帧图像间的运动量相对于原始图像间的运动量，缩小了多倍，能够达到小偏移量的约束条件，然后直接使用 KLT 计算偏移量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910746880.XA CN110458877B (zh) | 2019-08-14 | 2019-08-14 | 基于仿生视觉的红外与可见光信息融合的导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910746880.XA CN110458877B (zh) | 2019-08-14 | 2019-08-14 | 基于仿生视觉的红外与可见光信息融合的导航方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458877A true CN110458877A (zh) | 2019-11-15 |
| CN110458877B CN110458877B (zh) | 2023-02-24 |
Family
ID=68486291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910746880.XA Active CN110458877B (zh) | 2019-08-14 | 2019-08-14 | 基于仿生视觉的红外与可见光信息融合的导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458877B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429389A (zh) * | 2020-02-28 | 2020-07-17 | 北京航空航天大学 | 一种保持光谱特性的可见光和近红外图像融合方法 |
| CN111724333A (zh) * | 2020-06-09 | 2020-09-29 | 四川大学 | 基于早期视觉信息处理的红外图像和可见光图像融合方法 |
| CN112102217A (zh) * | 2020-09-21 | 2020-12-18 | 四川轻化工大学 | 一种可见光图像与红外图像快速融合方法及*** |
| CN112097920A (zh) * | 2020-08-04 | 2020-12-18 | 国网河南省电力公司郑州供电公司 | 变电站可移动式无线热成像测温方法 |
| CN112418296A (zh) * | 2020-11-18 | 2021-02-26 | 中国科学院上海微***与信息技术研究所 | 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法 |
| CN112991250A (zh) * | 2021-04-19 | 2021-06-18 | 吉林大学 | 基于响尾蛇视觉成像的红外与可见光图像融合方法 |
| CN113409232A (zh) * | 2021-06-16 | 2021-09-17 | 吉林大学 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
| CN114581315A (zh) * | 2022-01-05 | 2022-06-03 | 中国民用航空飞行学院 | 一种低能见度进近飞行多模态监视图像增强方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050270784A1 (en) * | 2003-02-06 | 2005-12-08 | Bayerische Motoren Werke | Method and device for visualizing a motor vehicle environment with environment-dependent fusion of an infrared image and a visual image |
| CN107464252A (zh) * | 2017-06-30 | 2017-12-12 | 南京航空航天大学 | 一种基于混合特征的可见光与红外异源图像识别方法 |
| CN108364272A (zh) * | 2017-12-30 | 2018-08-03 | 广东金泽润技术有限公司 | 一种高性能红外-可见光融合探测方法 |
| CN110120028A (zh) * | 2018-11-13 | 2019-08-13 | 中国科学院深圳先进技术研究院 | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 |
-
2019
- 2019-08-14 CN CN201910746880.XA patent/CN110458877B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050270784A1 (en) * | 2003-02-06 | 2005-12-08 | Bayerische Motoren Werke | Method and device for visualizing a motor vehicle environment with environment-dependent fusion of an infrared image and a visual image |
| CN107464252A (zh) * | 2017-06-30 | 2017-12-12 | 南京航空航天大学 | 一种基于混合特征的可见光与红外异源图像识别方法 |
| CN108364272A (zh) * | 2017-12-30 | 2018-08-03 | 广东金泽润技术有限公司 | 一种高性能红外-可见光融合探测方法 |
| CN110120028A (zh) * | 2018-11-13 | 2019-08-13 | 中国科学院深圳先进技术研究院 | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 薛琴等: "基于广义邻域结构相似度的红外和彩色可见光图像融合", 《四川大学学报(自然科学版)》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429389A (zh) * | 2020-02-28 | 2020-07-17 | 北京航空航天大学 | 一种保持光谱特性的可见光和近红外图像融合方法 |
| CN111429389B (zh) * | 2020-02-28 | 2023-06-06 | 北京航空航天大学 | 一种保持光谱特性的可见光和近红外图像融合方法 |
| CN111724333A (zh) * | 2020-06-09 | 2020-09-29 | 四川大学 | 基于早期视觉信息处理的红外图像和可见光图像融合方法 |
| CN111724333B (zh) * | 2020-06-09 | 2023-05-30 | 四川大学 | 基于早期视觉信息处理的红外图像和可见光图像融合方法 |
| CN112097920A (zh) * | 2020-08-04 | 2020-12-18 | 国网河南省电力公司郑州供电公司 | 变电站可移动式无线热成像测温方法 |
| CN112102217B (zh) * | 2020-09-21 | 2023-05-02 | 四川轻化工大学 | 一种可见光图像与红外图像快速融合方法及*** |
| CN112102217A (zh) * | 2020-09-21 | 2020-12-18 | 四川轻化工大学 | 一种可见光图像与红外图像快速融合方法及*** |
| CN112418296A (zh) * | 2020-11-18 | 2021-02-26 | 中国科学院上海微***与信息技术研究所 | 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法 |
| CN112418296B (zh) * | 2020-11-18 | 2024-04-02 | 中国科学院上海微***与信息技术研究所 | 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法 |
| CN112991250A (zh) * | 2021-04-19 | 2021-06-18 | 吉林大学 | 基于响尾蛇视觉成像的红外与可见光图像融合方法 |
| CN113409232A (zh) * | 2021-06-16 | 2021-09-17 | 吉林大学 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
| CN113409232B (zh) * | 2021-06-16 | 2023-11-10 | 吉林大学 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
| CN114581315A (zh) * | 2022-01-05 | 2022-06-03 | 中国民用航空飞行学院 | 一种低能见度进近飞行多模态监视图像增强方法 |
| CN114581315B (zh) * | 2022-01-05 | 2023-04-18 | 中国民用航空飞行学院 | 一种低能见度进近飞行多模态监视图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458877B (zh) | 2023-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458877A (zh) | 基于仿生视觉的红外与可见光信息融合的导航方法 | |
| CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN104700381B (zh) | 一种基于显著目标的红外与可见光图像融合方法 | |
| CN107862704B (zh) | 一种目标跟踪方法、***及其使用的云台相机 | |
| CN105955308B (zh) | 一种飞行器的控制方法和装置 | |
| CN108873917A (zh) | 一种面向移动平台的无人机自主着陆控制***及方法 | |
| CN108303994B (zh) | 面向无人机的群控交互方法 | |
| CN106886748B (zh) | 一种基于tld的适用于无人机的变尺度目标跟踪方法 | |
| CN113673444B (zh) | 一种基于角点池化的路口多视角目标检测方法及*** | |
| CN108645401B (zh) | 基于姿态关联图像叠加的全天时星敏感器星点提取方法 | |
| CN110795982A (zh) | 一种基于人体姿态分析的表观视线估计方法 | |
| CN113568435B (zh) | 一种基于无人机自主飞行态势感知趋势的分析方法与*** | |
| CN107453811B (zh) | 一种基于可见光视觉通信的无人机协同slam的方法 | |
| CN112348775B (zh) | 基于车载环视的路面坑塘检测***及方法 | |
| CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和*** | |
| CN111144207A (zh) | 一种基于多模态信息感知的人体检测和跟踪方法 | |
| CN113486697B (zh) | 基于空基多模态图像融合的森林烟火监测方法 | |
| CN113048951B (zh) | 一种基于人工智能的测绘无人机抖动检测方法及*** | |
| CN112561996A (zh) | 一种自主水下机器人回收对接中目标检测方法 | |
| CN108844538A (zh) | 一种基于视觉/惯导的无人机避障航点生成方法 | |
| CN112444245A (zh) | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 | |
| CN109883433A (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
| CN113379619B (zh) | 去雾成像、能见度提取和景深估计的一体化处理方法 | |
| CN115116132A (zh) | 一种物联网边缘服务环境下深度感知的人体行为分析方法 | |
| CN113298177B (zh) | 夜间图像着色方法、装置、介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |