CN110458877B - 基于仿生视觉的红外与可见光信息融合的导航方法 - Google Patents

基于仿生视觉的红外与可见光信息融合的导航方法 Download PDF

Info

Publication number
CN110458877B
CN110458877B CN201910746880.XA CN201910746880A CN110458877B CN 110458877 B CN110458877 B CN 110458877B CN 201910746880 A CN201910746880 A CN 201910746880A CN 110458877 B CN110458877 B CN 110458877B
Authority
CN
China
Prior art keywords
image
infrared
visible light
fusion
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910746880.XA
Other languages
English (en)
Other versions
CN110458877A (zh
Inventor
洪晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Kehua Junrongmin Science And Technology Research Institute Co ltd
Original Assignee
Hunan Kehua Junrongmin Science And Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Kehua Junrongmin Science And Technology Research Institute Co ltd filed Critical Hunan Kehua Junrongmin Science And Technology Research Institute Co ltd
Priority to CN201910746880.XA priority Critical patent/CN110458877B/zh
Publication of CN110458877A publication Critical patent/CN110458877A/zh
Application granted granted Critical
Publication of CN110458877B publication Critical patent/CN110458877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于仿生视觉的红外与可见光信息融合的导航方法。它至少包括以下步骤：（一）、图像增强预处理，采用高斯‑拉普拉斯算子对采集图像中可见光灰度渐变问题和红外图像的噪声问题进行处理；（二）、图像配准，图像配准主要目的是去除或抑制待配准图像和参考图像之间几何空间的不一致；（三）、图像融合，利用高斯函数模拟ON对抗***，得到增强图像，利用对数函数模拟对抗***，得到抑制信号图像，然后形成伪彩色图像并进行颜色失真校正；（四）、视觉导航。该导航方法能兼具强抗干扰性和成像能力好和分辨率高的优良特性，同时采用基于显著性区域的图像配准算法，配准实时性高，使得导航算法速度快。

Description

基于仿生视觉的红外与可见光信息融合的导航方法
技术领域
本发明涉及导航技术领域，特别涉及一种基于仿生视觉原理将红外与可见光视频图像信息进行融合并基于融合后的图像信息进行导航、融合配准采用基于显著性区域图像配准算法，从而兼具强抗干扰性和成像能力好和分辨率高和配准实时性高优良特性的导航方法。
背景技术
基于视觉信息的飞行器导航利用可见光或者红外信息，比无线电和GPS信号有更好的抗干扰性；与惯性导航***比不存在随时间的增加导航误差累计的情况。然而视觉导航中可见光成像虽然具有丰富的细节和敏锐的色感，但在恶劣的天气或夜间成像条件下成像能力较差；而单一红外成像虽然在夜间和复杂天候下成像清晰，但是成像分辨率较低。所以利用可见光成像和红外成像的互补性，采用红外/可见光信息融合的视觉导航方法可以提高光电对抗场景下目标的定位识别能力，满足飞行器全天候工作以及抗干扰性能。然而目前受图像处理融合算法性能的限制，使得目前的红外/可见光复合视觉导航算法速度慢，融合图像不清晰或颜色失真，无法满足应用需求；现有技术还未解决这样的问题。
发明内容
本发明的目的是针对现有导航方式抗干扰性弱或成像能力差或分辨率低或复合视觉导航算法速度慢的不足，提供一种基于仿生视觉的红外与可见光信息融合的导航方法，该导航方法基于仿生视觉原理将红外与可见光视频图像信息进行融合并基于融合后的图像信息进行导航，从而能兼具强抗干扰性和成像能力好和分辨率高的优良特性，同时红外与可见光融合配准中，采用基于显著性区域的图像配准算法，配准实时性高，使得导航算法速度快。
为了解决上述现有技术问题,本发明的技术方案是:
基于仿生视觉的红外与可见光信息融合的导航方法，它至少包括以下步骤：
（一）、图像增强预处理，采用高斯-拉普拉斯算子对采集图像中可见光灰度渐变问题和红外图像的噪声问题进行处理，使图像同时具备方向相通性，提高边缘图像的清晰性和连贯性，所述高斯-拉普拉斯算子是一个二阶微分的像增强算子，f(x,y)表示待增强图像，x和y表示为图像像素点，对图像的拉普拉斯变换方程式为：
Figure 97801DEST_PATH_IMAGE001
（1）；
因为拉普拉斯变换实际是一个任意阶微分的线性操作，为方便计算和数字图像处理，用离散的形式表示这一方程式为：
Figure 877538DEST_PATH_IMAGE002
（2）。
（二）、图像配准，图像配准主要目的是去除或抑制待配准图像和参考图像之间几何空间的不一致，包括平移、旋转、缩放形变，所述图像配准采用“兴趣窗”配准算法，快速捕捉包含主要特征信息的兴趣窗口进行特征配准，提高算法实时性；
所述图像配准包括以下步骤：
（1）、兴趣窗选择，利用FT（Frequency-tuned）显著性区域检测算法，首先提取红外图像中兴趣区域，然后对应选取微光与可见光图像中的区域；
（2）、特征点的提取，从待融合图像提取出的兴趣窗区域f1和f2中提取特征点点集
Figure 210430DEST_PATH_IMAGE003
，
Figure 24803DEST_PATH_IMAGE004
；
（3）、旋转角度估计，通过定义特征点对的角度直方图，并根据特征点对的直方图确定两幅待配准图像间的旋转角度，用H(θ)来估计f1和f2之间的旋转角度β；
（4）、特征点匹配，根据旋转角度β，对任意特征点对 (pi,qj)，在待配准图像中分别提取以(pi,qj)为中心的特征子图，根据对齐变换公式计算特征点对的对齐度来得到候选匹配点对，利用线性加权的方法消除错误匹配，得到真正的匹配点；
（5）、估计图像间的变换参数，利用得到的匹配点对，用最小二乘法估计来求出兴趣区域f1和f2之间的精准变换参数。
（三）、图像融合，所述图像融合包括以下步骤：
步骤1：利用高斯函数模拟ON对抗***，得到可见光增强红外信号后的图像，其方程式为：
Figure 847265DEST_PATH_IMAGE005
（3）,
方程式（3）中,fIR(x,y)表示红外图像,fVis(x,y)表示可见光图像， fIR_ON(x,y)表示红外ON增强图像，利用对数函数模拟OFF对抗***，得到可见光抑制红外信号后的图像，其方程式为：
Figure 114298DEST_PATH_IMAGE006
（4）,
方程式（4）中,fIR_OFF(x,y)表示红外OFF增强图像，利用高斯函数模拟ON对抗***，得到红外对可见光信号的增强图像，其方程式为：
Figure 500149DEST_PATH_IMAGE007
（5）,
方程式（5）中,fVis_ON(x,y)表示可见光ON增强图像，利用对数函数模拟OFF对抗***，得到红外抑制可见光信号后的图像，其方程式为：
Figure 169028DEST_PATH_IMAGE008
（6）；
步骤2、将ON对抗增强的可见光信号分别馈入两个中心-环绕对抗受域的兴奋中心细胞中，得到可见光增强信号fON_Vis(x,y)，红外图像的OFF增强图像和ON增强图像分别馈入相应神经元的环绕抑制细胞中，得到两个融合信号fVis+IR和fVis-IR，最后将得到的三个信号fVis+IR、fON-Vis和fVis-IR分别映射入R、G、B图像，形成伪彩色图像，ON对抗***细胞响应表示为：
Figure 162392DEST_PATH_IMAGE009
（7）,
OFF对抗***细胞响应表示为：
Figure 916721DEST_PATH_IMAGE010
（8）,
方程式（7）、（8）中，A是衰减常数，i和j为像素坐标，D表示细胞基底活性，k是颜色通道，E和F是极化常数， CK(i,j)为受域兴奋中心，其可表示为：
Figure 653733DEST_PATH_IMAGE011
（9）,
SK(i,j)为受域抑制环绕区域，可表示为：
Figure 114801DEST_PATH_IMAGE012
（10）,
其中， IK(i,j)为输入图像，*是卷积算子， Wc(i,j)、Ws(i,j)分别是中心区域和环绕区域的高斯分布函数，高斯模板大小分别为m×n和p×q，σc，σs分别为中心区域和环绕区域空间常数。
步骤3：通过模拟人眼视网膜颜色成像机制，利用多尺度色彩失真校正Retinex算法，得到对伪彩色融合图像进行颜色失真校正。
首先，估计伪彩色图像的亮度分量：
Figure 544646DEST_PATH_IMAGE013
（11）,
其中，“*”代表卷积操作， f(x,y)为红外/可见光融合后的伪彩色图像，高斯函数
Figure 786271DEST_PATH_IMAGE014
，σ是高斯函数尺度参数，k为归一化因子。
然后，单一尺度下的伪彩色融合图像的反射分量计算：
Figure 61395DEST_PATH_IMAGE015
（12）,
最后，伪彩色融合图像的多尺度Retinex计算，对图像进行不同尺度滤波，通过加权求和，引入分量比值调整因子进行色彩恢复：
Figure 704866DEST_PATH_IMAGE016
（13）,
其中，分量比值调整因子
Figure 728448DEST_PATH_IMAGE017
， fc(x,y)表示不同颜色通道的图像，α为比例因子。
（四）、视觉导航，所述视觉导航通过飞行器导航软件计算步骤（三）中基于红外与可见光融合的视频图像，并结合获取的飞行参数，对飞行器的状态进行判断，并根据导航算法执行的结果，对飞行器的飞行姿态进行调整，所述视觉导航由视觉追踪和视觉匹配分别得到的结果融合成飞行器的定位信息；
所述视觉追踪是通过图像序列间的相对运动来估计当前位置，从起始位置开始连续的图像帧之间累积的偏移量加得到当前飞行器位置，帧之间的偏移量通过计算图像序列中特征点的位置变化获取；
所述视觉追踪采用 KLT （Kanade-Lucas-Tomasi Tracking）算法基于最优估计的特征点进行视觉跟踪，利用最优估计准则寻找一帧图像已知特征点在另一帧图像上的位置；
所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移包括构建高斯金字塔，所述构建高斯金字塔的步骤如下：
第一步、原融合图像作为金字塔第一层；
第二步、已知第 k 层的高斯金字塔图像，对图像进行高斯内核卷积， 将所有偶数行和列去除，得到的图像即为 k+1 层的图像；
第三步、不断迭代第二步得到整个高斯金字塔。
所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移还包括：通过构建高斯金字塔，当图像经过几次降采样之后，相邻帧图像间的运动量相对于原始图像间的运动量，缩小了多倍，能够达到小偏移量的约束条件，然后直接使用 KLT 计算偏移量。
本发明基于仿生视觉的红外与可见光信息融合的导航方法,其有益效果有：
1、本发明采用红外与可见光成像融合的方法进行飞行器导航，比采用GPS或无线电信号的导航方式具有更强的抗干扰性；比使用单一成像传感器，如仅使用可见光视觉导航具有更好的成像环境适应能力，在夜间或者雾天具有更强的成像清晰度，比单一红外成像导航具有更好的环境信息感知能力，能够有效提高导航***抗干扰性，提高定位精度；
2、本发明红外与可见光融合配准中，采用基于显著性区域的图像配准算法，可以提高配准实时性，使得导航算法速度快；
3、本发明导航方法是适用于低空飞行器（低于1000米）的自主视觉导航方法。
附图说明
图1， 为本发明基于仿生视觉的红外与可见光信息融合的导航方法的步骤(三)中图像融合的示意图；
图2，为本发明基于仿生视觉的红外与可见光信息融合的导航方法的全过程流程图；
图3，为实施例中步骤（一）图像增强预处理变换前的图像；
图4，为实施例中步骤（一）图像增强预处理采用拉普拉斯变换方程式变换后的图像；
图5，为实施例中步骤（三）图像融合中的前后图像对照图。
具体实施方式
下面结合实施例对本发明作进一步说明：
实施例：
基于仿生视觉的红外与可见光信息融合的导航方法，所述导航方法是通过摄像机对周围环境进行图像采集，并对图像进行滤波和计算，完成自身位姿确定和路径识别，并做出导航决策的一种导航技术，本发明中视觉成像***的标定模块需要对光学***的畸变进行矫正，尺寸分辨率进行标定，以得到亚像素级的标定精度，这些操作由可见光视觉***完成。
从视觉***中视频流中获取图像帧后，对红外/可见光图像进行处理，包括图像增强、图像配准、图像融合等；根据获取的飞行器飞行参数，判断飞行器当前的飞行状态；如果正在飞行，则执行视觉导航算法。图像采集控制模块利用红外、可见光视觉***采集图像，为了保证相机拍照的稳定性和相机姿态的可控，红外/可见光镜头运动控制接口模块通过一个云台对相机进行控制。
它至少包括以下步骤：
（一）、图像增强预处理，采用高斯-拉普拉斯算子对采集图像中可见光灰度渐变问题和红外图像的噪声问题进行处理，使图像同时具备方向相通性，提高边缘图像的清晰性和连贯性，所述高斯-拉普拉斯算子是一个二阶微分的像增强算子，f(x,y)表示待增强图像，x和y表示为图像像素点，本实施例中采用拉普拉斯变换方程式的离散形式进行变换：
Figure 457369DEST_PATH_IMAGE002
（2）。
如图3为变换前的图像，图4为采用拉普拉斯变换方程式变换后的图像，可看出边缘图像的清晰性和对比度得到显著增强。
（二）、图像配准，图像配准主要目的是去除或抑制待配准图像和参考图像之间几何空间的不一致，包括平移、旋转、缩放形变，所述图像配准采用“兴趣窗”配准算法，快速捕捉包含主要特征信息的兴趣窗口进行特征配准，提高算法实时性；
所述图像配准包括以下步骤：
（1）、兴趣窗选择，利用FT（Frequency-tuned）显著性区域检测算法，首先提取红外图像中兴趣区域，然后对应选取微光与可见光图像中的区域；
（2）、特征点的提取，从待融合图像提取出的兴趣窗区域f1和f2中提取特征点点集
Figure 536184DEST_PATH_IMAGE003
，
Figure 34161DEST_PATH_IMAGE004
；
（3）、旋转角度估计，通过定义特征点对的角度直方图，并根据特征点对的直方图确定两幅待配准图像间的旋转角度，用H(θ)来估计f1和f2之间的旋转角度β；
（4）、特征点匹配，根据旋转角度β，对任意特征点对 (pi,qj)，在待配准图像中分别提取以(pi,qj)为中心的特征子图，根据对齐变换公式计算特征点对的对齐度来得到候选匹配点对，利用线性加权的方法消除错误匹配，得到真正的匹配点；
（5）、估计图像间的变换参数，利用得到的匹配点对，用最小二乘法估计来求出兴趣区域f1和f2之间的精准变换参数。
（三）、图像融合，所述图像融合包括以下步骤：
步骤1：利用高斯函数模拟ON对抗***，得到可见光增强红外信号后的图像，其方程式为：
Figure 805808DEST_PATH_IMAGE005
（3）,
方程式（3）中,fIR(x,y)表示红外图像,fVis(x,y)表示可见光图像， fIR_ON(x,y)表示红外ON增强图像，利用对数函数模拟OFF对抗***，得到可见光抑制红外信号后的图像，其方程式为：
Figure 694130DEST_PATH_IMAGE006
（4）,
方程式（4）中,fIR_OFF(x,y)表示红外OFF增强图像，利用高斯函数模拟ON对抗***，得到红外对可见光信号的增强图像，其方程式为：
Figure 576635DEST_PATH_IMAGE007
（5）,
方程式（5）中,fVis_ON(x,y)表示可见光ON增强图像，利用对数函数模拟OFF对抗***，得到红外抑制可见光信号后的图像，其方程式为：
Figure 929119DEST_PATH_IMAGE008
（6）；
步骤2、将ON对抗增强的可见光信号分别馈入两个中心-环绕对抗受域的兴奋中心细胞中，得到可见光增强信号fON_Vis(x,y)，红外图像的OFF增强图像和ON增强图像分别馈入相应神经元的环绕抑制细胞中，得到两个融合信号fVis+IR和fVis-IR，最后将得到的三个信号fVis+IR、fON-Vis和fVis-IR分别映射入R、G、B图像，形成伪彩色图像，ON对抗***细胞响应表示为：
Figure 871667DEST_PATH_IMAGE009
（7）,
OFF对抗***细胞响应表示为：
Figure 309602DEST_PATH_IMAGE010
（8）,
方程式（7）、（8）中，A是衰减常数，i和j为像素坐标，D表示细胞基底活性，k是颜色通道，E和F是极化常数， CK(i,j)为受域兴奋中心，其可表示为：
Figure 917169DEST_PATH_IMAGE011
（9）,
为受域抑制环绕区域，可表示为：
Figure 389739DEST_PATH_IMAGE012
（10）,
其中，IK(i,j)为输入图像，*是卷积算子， Wc(i,j)、Ws(i,j)分别是中心区域和环绕区域的高斯分布函数，高斯模板大小分别为m×n和p×q，σc，σs分别为中心区域和环绕区域空间常数。
步骤3：通过模拟人眼视网膜颜色成像机制，利用多尺度色彩失真校正Retinex算法，得到对伪彩色融合图像进行颜色失真校正。
首先，估计伪彩色图像的亮度分量：
Figure 503188DEST_PATH_IMAGE013
（11）,
其中，“*”代表卷积操作， f(x,y)为红外/可见光融合后的伪彩色图像，高斯函数
Figure 428419DEST_PATH_IMAGE014
，σ是高斯函数尺度参数，k为归一化因子。
然后，单一尺度下的伪彩色融合图像的反射分量计算：
Figure 652727DEST_PATH_IMAGE015
（12）,
最后，伪彩色融合图像的多尺度Retinex计算，对图像进行不同尺度滤波，通过加权求和，引入分量比值调整因子进行色彩恢复：
Figure 651907DEST_PATH_IMAGE016
（13）,
其中，分量比值调整因子
Figure 936258DEST_PATH_IMAGE017
，fc(x,y)表示不同颜色通道的图像，α为比例因子。
如图5所示，图中第一列为融合前的可见光图像，图中第二列为融合前的红外图像，图中第三列为融合后的图像。
（四）、视觉导航，所述视觉导航通过飞行器导航软件计算步骤（三）中基于红外与可见光融合的视频图像，并结合获取的飞行参数，对飞行器的状态进行判断，并根据导航算法执行的结果，对飞行器的飞行姿态进行调整，所述视觉导航由视觉追踪和视觉匹配分别得到的结果融合成飞行器的定位信息；
所述视觉追踪是通过图像序列间的相对运动来估计当前位置，从起始位置开始连续的图像帧之间累积的偏移量加得到当前飞行器位置，帧之间的偏移量通过计算图像序列中特征点的位置变化获取；
所述视觉追踪采用 KLT （Kanade-Lucas-Tomasi Tracking）算法基于最优估计的特征点进行视觉跟踪，利用最优估计准则寻找一帧图像已知特征点在另一帧图像上的位置；
所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移包括构建高斯金字塔，所述构建高斯金字塔的步骤如下：
第一步、原融合图像作为金字塔第一层；
第二步、已知第 k 层的高斯金字塔图像，对图像进行高斯内核卷积， 将所有偶数行和列去除，得到的图像即为 k+1 层的图像；
第三步、不断迭代第二步得到整个高斯金字塔。
所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移还包括：通过构建高斯金字塔，当图像经过几次降采样之后，相邻帧图像间的运动量相对于原始图像间的运动量，缩小了多倍，能够达到小偏移量的约束条件，然后直接使用 KLT 计算偏移量。
计算偏移量测试数据对比：
设定飞行器在260米高空以20米/秒的速度飞行，计算间隔5帧采集的两张图像之间的偏移量，提取463个Harris特征点，计算偏移量（49.2419，-44.8575），真实偏移量（52，-48）；计算间隔10帧获取两张KLT算法的跟踪结果，提取440个特征点，计算偏移量（64.7670，-90.3478），真实偏移量（65，-99）。
以上已将本发明做一详细说明，以上所述，仅为本发明之较佳实施例而已，当不能限定本发明实施范围，即凡依本申请范围所作一般技术手段的增减或替换，皆应仍属本发明涵盖范围内。

Claims (9)

1.基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，它至少包括以下步骤：
（一）、图像增强预处理，采用高斯-拉普拉斯算子对采集图像中可见光灰度渐变问题和红外图像的噪声问题进行处理，使图像同时具备方向相通性，提高边缘图像的清晰性和连贯性，所述高斯-拉普拉斯算子是一个二阶微分的像增强算子,f(x,y)表示待增强图像，x和y表示为图像像素点，对图像的拉普拉斯变换方程式为：
Figure 834588DEST_PATH_IMAGE001
（1）；
（二）、图像配准，图像配准主要目的是去除或抑制待配准图像和参考图像之间几何空间的不一致，包括平移、旋转、缩放形变，所述图像配准采用兴趣窗配准算法，快速捕捉包含主要特征信息的兴趣窗口进行特征配准，提高算法实时性，所述兴趣窗配准算法利用FT显著性区域检测算法，首先提取红外图像中兴趣区域，然后对应选取微光与可见光图像中的区域，并从待融合图像提取出的兴趣窗区域中提取特征点点集，通过定义特征点对的角度直方图，并根据特征点对的直方图确定两幅待配准图像间的旋转角度，根据旋转角度，对任意特征点对 (pi,qj)，在待配准图像中分别提取以(pi,qj)为中心的特征子图，根据对齐变换公式计算特征点对的对齐度来得到候选匹配点对，利用线性加权的方法消除错误匹配，得到真正的匹配点，估计图像间的变换参数，利用得到的匹配点对，用最小二乘法估计来求出兴趣区域之间的精准变换参数；
（三）、图像融合，利用高斯函数模拟ON对抗***，得到可见光增强红外信号后的图像和得到红外对可见光信号的增强图像，利用对数函数模拟OFF对抗***，得到可见光抑制红外信号后的图像和得到红外抑制可见光信号后的图像；红外图像的OFF增强图像和ON增强图像分别馈入模拟神经元环绕抑制细胞的数学模型中，得到两个融合信号，最后将得到的三个信号分别映射入R、G、B图像，形成伪彩色图像，通过模拟人眼视网膜颜色成像机制，利用多尺度色彩失真校正Retinex算法，得到对伪彩色融合图像进行颜色失真校正；
（四）、视觉导航，所述视觉导航通过飞行器导航软件计算步骤（三）中基于红外与可见光融合的视频图像，并结合获取的飞行参数，对飞行器的状态进行判断，并根据导航算法执行的结果，对飞行器的飞行姿态进行调整，所述视觉导航由视觉追踪和视觉匹配分别得到的结果融合成飞行器的定位信息，
所述视觉追踪是通过图像序列间的相对运动来估计当前位置，从起始位置开始连续的图像帧之间累积的偏移量加得到当前飞行器位置，帧之间的偏移量通过计算图像序列中特征点的位置变化获取。
2.根据权利要求1所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤（一）中拉普拉斯变换方程式是一个任意阶微分的线性操作，为方便计算和数字图像处理，用离散的形式表示这一方程式为：
Figure 360247DEST_PATH_IMAGE002
（2）。
3.根据权利要求1所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤（二）中图像配准包括以下步骤：
（1）、兴趣窗选择，利用FT显著性区域检测算法，首先提取红外图像中兴趣区域，然后对应选取微光与可见光图像中的区域；
（2）、特征点的提取，从待融合图像提取出的兴趣窗区域f1和f2中提取特征点点集，
Figure 970220DEST_PATH_IMAGE003
，
Figure 983044DEST_PATH_IMAGE004
；
（3）、旋转角度估计，通过定义特征点对的角度直方图，并根据特征点对的直方图确定两幅待配准图像间的旋转角度，用H(θ)来估计f1和f2之间的旋转角度β；
（4）、特征点匹配，根据旋转角度β，对任意特征点对 (pi,qj)，在待配准图像中分别提取以(pi,qj)为中心的特征子图，根据对齐变换公式计算特征点对的对齐度来得到候选匹配点对，利用线性加权的方法消除错误匹配，得到真正的匹配点；
（5）、估计图像间的变换参数，利用得到的匹配点对，用最小二乘法估计来求出兴趣区域f1和f2之间的精准变换参数。
4.根据权利要求1所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤（三）中图像融合包括步骤1、步骤2、步骤3，所述步骤1包括：
利用高斯函数模拟ON对抗***，得到可见光增强红外信号后的图像，其方程式为：
Figure 791907DEST_PATH_IMAGE005
（3），
方程式（3）中,fIR(x,y)表示红外图像,fVis(x,y)表示可见光图像， fIR_ON(x,y)表示红外增强图像；
利用对数函数模拟对抗***，得到可见光抑制红外信号后的图像，其方程式为：
Figure 539283DEST_PATH_IMAGE006
（4），
方程式（4）中,fIR_OFF(x,y)表示红外OFF增强图像；
利用高斯函数模拟ON对抗***，得到红外对可见光信号的增强图像，其方程式为：
Figure 969259DEST_PATH_IMAGE007
（5），
方程式（5）中,fVis_ON(x,y)表示可见光ON增强图像；
利用对数函数模拟OFF对抗***，得到红外抑制可见光信号后的图像，其方程式为：
Figure 384060DEST_PATH_IMAGE008
（6）。
5.根据权利要求4所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤2包括：
将ON对抗增强的可见光信号分别馈入两个中心-环绕对抗受域的兴奋中心细胞中，得到可见光增强信号fON_Vis(x,y)，红外图像的OFF增强图像和ON增强图像分别馈入相应神经元的环绕抑制细胞中，得到两个融合信号fVis+IR和fVis-IR，最后将得到的三个信号fVis+IR、fON-Vis和fVis-IR分别映射入R、G、B图像，形成伪彩色图像，ON对抗***细胞响应表示为：
Figure 857766DEST_PATH_IMAGE009
（7），
OFF对抗***细胞响应表示为：
Figure 341706DEST_PATH_IMAGE010
（8），
方程式（7）、（8）中，A是衰减常数，i和j为像素坐标，D表示细胞基底活性，k是颜色通道，E和F是极化常数， CK(i,j)为受域兴奋中心，其可表示为：
Figure 293482DEST_PATH_IMAGE011
（9），
SK(i,j)为受域抑制环绕区域，可表示为：
Figure 562789DEST_PATH_IMAGE012
（10），
其中， IK(i,j)为输入图像，*是卷积算子， Wc(i,j)、Ws(i,j)分别是中心区域和环绕区域的高斯分布函数，高斯模板大小分别为m×n和p×q，σc，σs分别为中心区域和环绕区域空间常数。
6.根据权利要求4所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤3包括通过模拟人眼视网膜颜色成像机制，利用多尺度色彩失真校正Retinex算法，得到对伪彩色融合图像进行颜色失真校正，所述步骤3具体包括以下步骤：
首先，估计伪彩色图像的亮度分量：
Figure 958129DEST_PATH_IMAGE013
（11），
其中，“*”代表卷积操作， f(x,y)为红外或可见光融合后的伪彩色图像，高斯函数
Figure 680098DEST_PATH_IMAGE014
，σ是高斯函数尺度参数，k为归一化因子；
第二步，单一尺度下的伪彩色融合图像的反射分量计算：
Figure 435564DEST_PATH_IMAGE015
（12）；
第三步，伪彩色融合图像的多尺度Retinex计算，对图像进行不同尺度滤波，通过加权求和，引入分量比值调整因子进行色彩恢复：
Figure 545996DEST_PATH_IMAGE016
（13），
其中，分量比值调整因子
Figure 361505DEST_PATH_IMAGE017
， fc(x,y)表示不同颜色通道的图像，α为比例因子。
7.根据权利要求1所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述步骤（四）中：
所述视觉追踪采用 KLT算法基于最优估计的特征点进行视觉跟踪，利用最优估计准则寻找一帧图像已知特征点在另一帧图像上的位置；
所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移包括构建高斯金字塔。
8.根据权利要求7所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述构建高斯金字塔的步骤如下：
第一步、原融合图像作为金字塔第一层；
第二步、已知第 k 层的高斯金字塔图像，对图像进行高斯内核卷积， 将所有偶数行和列去除，得到的图像即为 k+1 层的图像；
第三步、不断迭代第二步得到整个高斯金字塔。
9.根据权利要求7所述的基于仿生视觉的红外与可见光信息融合的导航方法，其特征在于，所述视觉追踪利用KLT求解连续两帧图像相同特征点的位移还包括：通过构建高斯金字塔，当图像经过几次降采样之后，相邻帧图像间的运动量相对于原始图像间的运动量，缩小了多倍，能够达到小偏移量的约束条件，然后直接使用 KLT 计算偏移量。
CN201910746880.XA 2019-08-14 2019-08-14 基于仿生视觉的红外与可见光信息融合的导航方法 Active CN110458877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910746880.XA CN110458877B (zh) 2019-08-14 2019-08-14 基于仿生视觉的红外与可见光信息融合的导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910746880.XA CN110458877B (zh) 2019-08-14 2019-08-14 基于仿生视觉的红外与可见光信息融合的导航方法

Publications (2)

Publication Number Publication Date
CN110458877A CN110458877A (zh) 2019-11-15
CN110458877B true CN110458877B (zh) 2023-02-24

Family

ID=68486291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910746880.XA Active CN110458877B (zh) 2019-08-14 2019-08-14 基于仿生视觉的红外与可见光信息融合的导航方法

Country Status (1)

Country Link
CN (1) CN110458877B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429389B (zh) * 2020-02-28 2023-06-06 北京航空航天大学 一种保持光谱特性的可见光和近红外图像融合方法
CN111724333B (zh) * 2020-06-09 2023-05-30 四川大学 基于早期视觉信息处理的红外图像和可见光图像融合方法
CN112097920A (zh) * 2020-08-04 2020-12-18 国网河南省电力公司郑州供电公司 变电站可移动式无线热成像测温方法
CN112102217B (zh) * 2020-09-21 2023-05-02 四川轻化工大学 一种可见光图像与红外图像快速融合方法及***
CN112418296B (zh) * 2020-11-18 2024-04-02 中国科学院上海微***与信息技术研究所 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法
CN112991250B (zh) * 2021-04-19 2022-08-23 吉林大学 基于响尾蛇视觉成像的红外与可见光图像融合方法
CN113409232B (zh) * 2021-06-16 2023-11-10 吉林大学 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法
CN114581315B (zh) * 2022-01-05 2023-04-18 中国民用航空飞行学院 一种低能见度进近飞行多模态监视图像增强方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
CN107464252A (zh) * 2017-06-30 2017-12-12 南京航空航天大学 一种基于混合特征的可见光与红外异源图像识别方法
CN108364272A (zh) * 2017-12-30 2018-08-03 广东金泽润技术有限公司 一种高性能红外-可见光融合探测方法
CN110120028A (zh) * 2018-11-13 2019-08-13 中国科学院深圳先进技术研究院 一种仿生响尾蛇红外和微光图像彩色融合方法及装置

Also Published As

Publication number Publication date
CN110458877A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110458877B (zh) 基于仿生视觉的红外与可见光信息融合的导航方法
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
EP2917874B1 (en) Cloud feature detection
CN107844750A (zh) 一种水面全景图像目标检测识别方法
CN109961417B (zh) 图像处理方法、装置及移动装置控制方法
CN108171715B (zh) 一种图像分割方法及装置
CN113781562B (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN113160053B (zh) 一种基于位姿信息的水下视频图像复原与拼接方法
CN110910421A (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN117665841B (zh) 一种地理空间信息采集测绘方法及装置
CN111709968A (zh) 一种基于图像处理的低空目标探测跟踪方法
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN111951339A (zh) 利用异构双目相机进行视差计算的图像处理方法
CN112465712B (zh) 一种运动模糊星图复原方法及***
CN112598709B (zh) 一种基于视频流的行人运动速度智能感知方法
CN111951295A (zh) 基于多项式拟合高精度确定飞行轨迹的方法、装置和电子设备
CN111951178A (zh) 显著提升图像质量的图像处理方法、装置和电子设备
CN114565653B (zh) 一种存在旋转变化和尺度差异的异源遥感图像匹配方法
CN115471555A (zh) 一种基于图像特征点匹配的无人机红外巡检位姿确定方法
CN115082519A (zh) 一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备
CN115797397A (zh) 一种机器人全天候自主跟随目标人员的方法及***
CN112395985A (zh) 基于无人飞行器图像的地面无人车辆视觉道路检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant