CN116205958A - 一种基于特征耦合的可见与中波红外图像配准与融合方法 - Google Patents

一种基于特征耦合的可见与中波红外图像配准与融合方法 Download PDF

Info

Publication number
CN116205958A
CN116205958A CN202211736498.9A CN202211736498A CN116205958A CN 116205958 A CN116205958 A CN 116205958A CN 202211736498 A CN202211736498 A CN 202211736498A CN 116205958 A CN116205958 A CN 116205958A
Authority
CN
China
Prior art keywords
image
wave infrared
visible light
infrared image
light image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211736498.9A
Other languages
English (en)
Inventor
张炳先
卢婧
鲍云飞
何红艳
王殿中
岳春宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Space Research Mechanical and Electricity
Original Assignee
Beijing Institute of Space Research Mechanical and Electricity
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Space Research Mechanical and Electricity filed Critical Beijing Institute of Space Research Mechanical and Electricity
Priority to CN202211736498.9A priority Critical patent/CN116205958A/zh
Publication of CN116205958A publication Critical patent/CN116205958A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于特征耦合的可见与中波红外图像配准与融合方法，包括以下步骤：对可见光图像和中波红外图像进行子块划分，利用相关相关性匹配算法提取同名点，采用仿射变换对同名点相对偏移进行纠正，完成图像的粗配准；采用改进的SIFT特征点匹配方法提取粗配准后图像的SIFT特征点，将提取的SIFT特征点作为配准控制点构建图像三角网，利用小面元配准模型完成图像的精确配准；进一步构建饱和弥散抑制模型，对精确配准的可见光图像和中波红外图像进行融合，最后利用彩色图像增强方法对融合图像进行增强处理，得到最终图像。本发明提升了可见光图像和中波红外图像的配准精度，同时提高了配准速度，实现了高保真的遥感图像融合。

Description

一种基于特征耦合的可见与中波红外图像配准与融合方法
技术领域
本发明属于遥感图像处理技术领域，特别涉及一种基于特征耦合的可见与中波红外图像配准与融合方法。
背景技术
红外图像具有细节模糊，灰度分布集中，信噪比低，对比度低等特点，而可见图像具有较高的对比度，较完善地反映了地物纹理细节信息。在应用中常常需要将同一地区的红外和可见图像进行配准融合和对比分析，达到对地物和目标的精确判读或解译。然而目前可见和中波红外图像的配准还存在以下问题：尽管使用相同时相数据，但是可见和中波红外图像之间依然存在较大的相对畸变，如地物之间存在较大的偏移，且不同区域地物的偏移方向和距离各不相同，给特征点的匹配带来极大困难；地物之间存在较大的形变，特别是在地势不平坦的山区，地物的形变更为严重，给图像畸变的纠正带来了很大困难等；可见与中波红外的图像尺寸很大，图像配准计算量大，但实际应用对图像配准的计算时效要求很高，严格的时效要求对宽幅遥感图像配准方法的设计提出了巨大挑战，需要结合遥感图像自身特点，充分降低配准方法的计算量。为了满足实际生产的需要，亟需研制一种新的图像配准与融合方法，克服上述问题。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种基于特征耦合的可见与中波红外图像配准与融合方法，提升了可见和中波红外的配准精度，同时提高了配准速度，实现了高保真的遥感图像融合。
本发明的技术解决方案是：
一种基于特征耦合的可见与中波红外图像配准与融合方法，包括以下步骤：
(1)获取同一区域的可见光图像和中波红外图像，所述可见光图像的分辨率高于中波红外图像的分辨率；
(2)对中波红外图像和可见光图像进行子块划分，基于相位相关性匹配算法获取中波红外图像和可见光图像子块的同名点，利用仿射变换对中波红外图像同名点与可见光图像子块同名点的相对畸变进行纠正，得到粗配准后的中波红外图像；
(3)对粗配准后的中波红外图像和可见光图像进行SIFT特征点提取与匹配，得到粗配准后的中波红外图像与可见光图像匹配的SIFT特征点；
(4)将匹配的SIFT特征点作为配准控制点，分别构建粗配准后的中波红外图像和可见光图像的图像三角网，对粗配准后的中波红外图像三角形面元与可见光图像对应三角形面元的相对畸变进行纠正，得到精确配准后的中波红外图像；
(5)将精确配准后的中波红外图像上采样至与可见光图像相同的分辨率后，对中波红外图像和可见光图像进行融合，得到融合图像；
(6)采用彩色图像增强方法对融合图像进行增强，得到最终的融合图像。
优选的，所述步骤(3)中，对粗配准后的中波红外图像和可见光图像进行SIFT特征点提取和匹配，具体为：
基于SIFT算法从中波红外图像和可见光图像中分别提取SIFT特征点，对相同分辨率的中波红外图像和可见光图像中提取SIFT特征点进行匹配，各SIFT特征点根据SIFT特征矢量的相似度在半径为R个像素的圆形区域内搜索匹配的SIFT特征点。
优选的，R的取值范围为3～5。
优选的，所述步骤(5)中，对中波红外图像和可见光图像进行融合，具体包括：
(51)分别获取中波红外图像和可见光图像的DN值在第k百分位数到第(100-k)百分位数之间的DN值分布；
(52)以可见光图像的DN值分布为基准，对中波红外图像进行直方图匹配，得到匹配后的中波红外图像；
(53)逐个像素计算可见光图像与匹配后的中波红外图像DN值的比值，若同一像素区域的比值大于等于1，则将可见光图像的DN值与(1+e)相乘，作为该像素区域融合后的DN值；若同一像素区域的比值小于1，则将匹配后的中波红外图像的DN值与与(1+e)相乘，作为该像素区域融合后的DN值。
优选的，k的取值范围为2～5。
优选的，所述步骤(6)中，采用彩色图像增强方法对融合图像进行增强，具体包括：
(61)将融合图像数据从RGB色彩空间转换到IHS色彩空间，表达式为：
Figure BDA0004032323800000031
Figure BDA0004032323800000032
其中，I、H、S分别代表亮度、色度、饱和度，R、G、B代表图像DN值；
(62)构建尺度参数和变换参数，其中尺度参数α的表达式为：
Figure BDA0004032323800000033
变换参数β的表达式为：
β＝I-B1*I
其中，B1代表卷积核，设置为B3样条曲线；
(63)基于构建的尺度参数和变换参数对转换到IHS色彩空间的融合图像进行变换，表达式为：
I'＝α*I+β
其中I'代表变换后的融合图像的I值。
优选的，所述步骤(62)中，卷积核B1的表达式为：
Figure BDA0004032323800000041
优选的，所述步骤(2)中，对中波红外图像和可见光图像进行子块划分，具体为：
将同一区域的中波红外图像上采样至可见光图像相同的分辨率后，对图像进行网格划分，每个网格的大小为M×M像素，再将每个网格向四周均拓展m个像素以保证图像子块之间的无缝拼接，最终得到大小为(M+2m)×(M+2m)像素的图像子块。
优选的，M的取值范围为128～1024，m的取值为M的1/6～1/5。
优选的，所述基于相位相关性匹配算法获取中波红外图像和可见光图像子块的同名点，具体为：
计算中波红外图像子块和可见光图像子块的互功率谱E，计算表达式为：
Figure BDA0004032323800000042
其中，(u,v)代表图像子块的中心坐标，F1(u,v)代表可见光图像子块的傅立叶变换，
Figure BDA0004032323800000043
代表中波红外图像子块傅立叶变换的复共轭，/>
Figure BDA0004032323800000044
代表
Figure BDA0004032323800000045
的模值；再计算互功率谱的逆傅立叶变换F-1(E)，搜索|F-1(E)|最大值点所对应的图像子块中心坐标，即为可见光图像子块和中波红外图像子块之间的相对偏移；
最后根据可见光图像子块和中波红外图像子块之间的相对偏移，得到可见光图像和中波红外图像子块的同名点。
本发明与现有技术相比的优点在于：
(1)本发明通过相位相关性匹配计算整***移，得到无相对偏移的可见和中波红外图像子块，有利于特征点的准确匹配和快速搜索；
(2)本发明通过改进SIFT特征算子来提高可见和中波红外图像的配准精度，降低了计算耗时，计算速度提升3倍以上；
(3)本发明采用基于小面元的配准模型，整体提高了图像的配准精度；
(4)本发明提出的彩色图像增强方法提升了线性模型的处理效果和处理稳定性，使得增强后的彩色图像效果达到最优。
附图说明
图1为本发明基于特征耦合的可见中波红外图像配准与融合方法的流程示意图。
具体实施方式
下面通过对本发明进行详细说明,本发明的特点和优点将随着这些说明而变得更为清楚、明确。
本发明提供了一种基于特征耦合的可见与中波红外图像配准与融合方法，包括基于区域划分的图像精确配准方法和高保真的遥感图像融合方法，提升了可见和中波红外的配准精度，降低了计算耗时，配准融合后的彩色图像效果达到最优。
本发明可见中波红外图像配准与融合方法的流程如图1所示，包括以下步骤：
(1)将可见和中波红外图像划分为多个较小的子块，将大图像的复杂畸变转化为小图像的简单畸变，然后利用仿射变换纠正子块的简单畸变，其中，其中仿射变换所需的同名点是利用相位相关性匹配算法获取的中波红外图像和可见图像的同名特征点。
具体讲，在图像分块之前，需要进行如下预处理：首先利用双线性插值将中波红外图像上采样至全色图像相同的分辨率，然后利用遥感图像的经纬度等定位信息确定可见和中波红外图像的重合区域。
进一步，将可见和中波红外图像的重合区域拆分为一系列的子块，其中，每个网格的大小为M×M像素。考虑到各子块之间无缝拼接，每个图像子块均向四周拓展m个像素，因而子块的实际大小为(M+2m)×(M+2m)像素。
M的取值范围为128～1024，m取M的1/6～1/5。
具体讲，利用相位相关性匹配算法提取可见和中波红外图像的同名点，对图像进行粗匹配，降低后续精匹配所需的时间同时提高精匹配的精度。首先，计算可见和中波红外图像子块的互功率谱E，表达式为：
Figure BDA0004032323800000061
其中，F1为全可见图像的傅立叶变换，
Figure BDA0004032323800000062
为上采样中波红外图像傅立叶变换的复共轭；然后，计算互功率谱E的逆傅立叶变换F-1(E)，搜索|F-1(E)|峰值点的坐标。该坐标代表了可见和中波红外图像子块之间的相对偏移。根据计算得到的偏移量，从子块中提取二者同名点。
进一步，仿射变化采用以下表达式进行：
Figure BDA0004032323800000063
其中，a1,a2,a3,a4,a5,a6是仿射变换的6个参数，a1,a2,a3,a4为旋转参数，a5,a6为平移参数，
Figure BDA0004032323800000064
为仿射变换前的x和y坐标，/>
Figure BDA0004032323800000065
为仿射变换后的x和y坐标。
(2)利用同分辨率特征点的匹配策略与传统的距离约束策略结合起来改进SIFT特征点匹配方法，进一步将可见和中波红外图像细分为更小的子块，基于小面元的配准模型纠正小子块的相对畸变，整体提高图像的配准精度。
具体讲，通过改进SIFT特征点的检测方法从可见和中波红外图像中提取特征点数，现有SIFT特征算子的匹配策略主要是针对大数量的特征点匹配，例如采用基于Kd-树的BBF匹配方法来降低特征点的匹配计算量。但是，这些策略并不适用于可见中波红外图像特征点匹配：首先，可见中波红外图像成像机理不同，每个子块可提取的特征点数量较少，当特征点较少时，基于Kd-树的BBF匹配方法反而比基于穷尽搜索的匹配方法更耗时。考虑到本发明在最初阶段通过粗匹配消除了图像子块的大概偏移，因此特征点的搜索限制在较小的范围内，结合这一特性，将可见中波红外图像子块中提取的SIFT特征点按分辨率分类，例如对于1米分辨率可见图像和5米分辨率中波红外图像的配准，将5米、10米、20米、40米等分辨率下提取特征划分为不同的类别；然后，对于可见和中波红外图像的同类特征点，根据SIFT特征矢量的相似度在半径为R个像素的圆形区域内搜索匹配的特征点。优选的，R的取值范围为3～5。
具体讲，将提取的匹配特征点作为配准控制点(RCP)，构建密集的图像三角网，对每个三角形面元分别进行纠正，通过建立多项式完成目标图像与参考图像之间的精确配准。
进一步，通过调整特征点提取阈值、局部增删特征点等手段控制RCP的分布，对图像建立三角网，对起伏较大的区域建立密集的三角网，而对平坦区域建立稀疏的三角网，然后对每个三角形面元分别进行纠正。用提取、匹配之后的大量密集的RCP建立三角网，然后对每一个小三角形面元建立一个一次多项式：
Figure BDA0004032323800000071
根据该三角形的3个顶点计算上式中的6个系数，再按照此多项式将目标图像上的三角形纠正到参考图像上的三角形，完成目标图像与参考影响之间的精确配准。
(3)针对配准后的可见和中波红外图像构建饱和弥散抑制模型，逐个像素计算映射可见光图像与中波红外图像的比值，经过比值计算得到最终融合图像。
具体讲，包括以下步骤：
(31)将原始的中波红外图像上采样至原始的可见光图像相同的空间分辨率，得到上采样的中波红外图像；
(32)分别计算上采样的中波红外图像和原始可见光图像像素值的第k百分位数和第(100-k)百分位数，以及上采样的中波红外图像和原始可见光图像的均值与方差，令上述最小第k百分数和最大第(100-k)百分位数的平均值为共同均值，令上述最大方差为共同方差；k的取值范围为2～5，一般取5；
(33)按照共同均值与共同方差对原始可见光图像和上采样中波红外图像进行线性映射，得到映射的中波红外图像；
(34)以可见光图像为因变量，以映射中波红外图像为自变量，利用多元线性回归计算合成低分辨率可见光图像的加权系数，并通过映射中波红外的线性加权合成低分辨率可见光图像；
(35)逐个像素计算低分辨率的可见光图像与中波红外图像的比值，比较各个比值大小，若同一区域低分辨率可见光图像与中波红外图像的比值大小大于1，取低分辨率可见光图像成分为主，小于1取中波红外图像成分为主，则将上采样中波红外图像的该位置处像素的DN值与上述比值相乘叠加到原始可见光图像上，得到最终融合图像。
(4)利用彩色图像增强方法(IEM)进行增强处理，优化融合图像质量，得到最终图像，将图像数据从RGB色彩空间转换到IHS色彩空间，对线性模型的尺度参数和变换参数进行建模，将尺度参数与原始图像进行卷积处理，然后将变换参数加入到图像的亮度分量之中，弥补增强过程中造成的图像细节丢失现象。
具体讲，包括以下步骤：
(41)对融合结果图像进行IHS变换，其中原始融合图像为单个波段图像，将原始融合图像通过复制，填充R,G,B三个空间变量得到三通道的灰度图像，然后对三通道的灰色图像进行IHS变换，具体公式如下：
Figure BDA0004032323800000081
Figure BDA0004032323800000082
其中，I、H、S表示亮度、色度和饱和度，R、G、B表示图像DN值。
(42)尺度参数和变换参数的构建，具体公式推导如下：
Figure BDA0004032323800000091
从上式中可以发现，亮度分量越小，对应的函数斜率越大，这意味着该尺度参数不仅仅能够增加彩色图像的亮度信息，还可以拉大暗区域处像素之间的亮度差异，同时，变换前后图像的最大值是一样的，这就可以有效的保证变换前后图像不会出现过饱和现象。但上述函数会缩小亮区域处像素之间的亮度差异，即减少了亮区域的纹理信息，因此变化参数需要加入到尺度参数处理后的图像之中。变换参数β的定义为：
β＝I-B1*I
上式中I表示原始彩色图像中的亮度信息，B1表示卷积核，本发明中B1被设置为B3样条曲线，并通过实验选取了一组最优的B3样条曲线用于生产变换参数，通过比较3个不同平滑率的B3样条曲线的效果，最终选取的B3样条曲线为：
Figure BDA0004032323800000092
(43)对图像进行如下变换：
y＝α*x+β
其中α为尺度参数，β为变换参数，x表示原始彩色图像中的I值，y表示变换后的I值。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (10)

1.一种基于特征耦合的可见与中波红外图像配准与融合方法，其特征在于，包括以下步骤：
(1)获取同一区域的可见光图像和中波红外图像，所述可见光图像的分辨率高于中波红外图像的分辨率；
(2)对中波红外图像和可见光图像进行子块划分，基于相位相关性匹配算法获取中波红外图像和可见光图像子块的同名点，利用仿射变换对中波红外图像同名点与可见光图像子块同名点的相对畸变进行纠正，得到粗配准后的中波红外图像；
(3)对粗配准后的中波红外图像和可见光图像进行SIFT特征点提取与匹配，得到粗配准后的中波红外图像与可见光图像匹配的SIFT特征点；
(4)将匹配的SIFT特征点作为配准控制点，分别构建粗配准后的中波红外图像和可见光图像的图像三角网，对粗配准后的中波红外图像三角形面元与可见光图像对应三角形面元的相对畸变进行纠正，得到精确配准后的中波红外图像；
(5)将精确配准后的中波红外图像上采样至与可见光图像相同的分辨率后，对中波红外图像和可见光图像进行融合，得到融合图像；
(6)采用彩色图像增强方法对融合图像进行增强，得到最终的融合图像。
2.根据权利要求1所述的一种基于特征耦合的可见与中波红外图像配准与融合方法，其特征在于，所述步骤(3)中，对粗配准后的中波红外图像和可见光图像进行SIFT特征点提取和匹配，具体为：
基于SIFT算法从中波红外图像和可见光图像中分别提取SIFT特征点，对相同分辨率的中波红外图像和可见光图像中提取SIFT特征点进行匹配，各SIFT特征点根据SIFT特征矢量的相似度在半径为R个像素的圆形区域内搜索匹配的SIFT特征点。
3.根据权利要求2所述的一种基于特征耦合的可见与中波红外图像配准与融合方法，其特征在于，R的取值范围为3～5。
4.根据权利要求1所述的一种基于特征耦合的可见与中波红外图像配准与融合方法，其特征在于，所述步骤(5)中，对中波红外图像和可见光图像进行融合，具体包括：
(51)分别获取中波红外图像和可见光图像的DN值在第k百分位数到第(100-k)百分位数之间的DN值分布；
(52)以可见光图像的DN值分布为基准，对中波红外图像进行直方图匹配，得到匹配后的中波红外图像；
(53)逐个像素计算可见光图像与匹配后的中波红外图像DN值的比值，若同一像素区域的比值大于等于1，则将可见光图像的DN值与(1+e)相乘，作为该像素区域融合后的DN值；若同一像素区域的比值小于1，则将匹配后的中波红外图像的DN值与与(1+e)相乘，作为该像素区域融合后的DN值。
5.根据权利要求4所述的一种基于特征耦合的可见与中波红外图像配准与融合方法，其特征在于，k的取值范围为2～5。
6.根据权利要求1所述的一种基于特征耦合的可见与中波红外图像配准与融合方法，其特征在于，所述步骤(6)中，采用彩色图像增强方法对融合图像进行增强，具体包括：
(61)将融合图像数据从RGB色彩空间转换到IHS色彩空间，表达式为：
Figure FDA0004032323790000021
Figure FDA0004032323790000022
其中，I、H、S分别代表亮度、色度、饱和度，R、G、B代表图像DN值；
(62)构建尺度参数和变换参数，其中尺度参数α的表达式为：
Figure FDA0004032323790000023
变换参数β的表达式为：
β＝I-B1*I
其中，B1代表卷积核，设置为B3样条曲线；
(63)基于构建的尺度参数和变换参数对转换到IHS色彩空间的融合图像进行变换，表达式为：
I'＝α*I+β
其中I'代表变换后的融合图像的I值。
7.根据权利要求6所述的一种基于特征耦合的可见与中波红外图像配准与融合方法，其特征在于，所述步骤(62)中，卷积核B1的表达式为：
Figure FDA0004032323790000031
8.根据权利要求1所述的一种基于特征耦合的可见与中波红外图像配准与融合方法，其特征在于，所述步骤(2)中，对中波红外图像和可见光图像进行子块划分，具体为：
将同一区域的中波红外图像上采样至可见光图像相同的分辨率后，对图像进行网格划分，每个网格的大小为M×M像素，再将每个网格向四周均拓展m个像素以保证图像子块之间的无缝拼接，最终得到大小为(M+2m)×(M+2m)像素的图像子块。
9.根据权利要求8所述的一种基于特征耦合的可见与中波红外图像配准与融合方法，其特征在于，M的取值范围为128～1024，m的取值为M的1/6～1/5。
10.根据权利要求1所述的一种基于特征耦合的可见与中波红外图像配准与融合方法，其特征在于，所述基于相位相关性匹配算法获取中波红外图像和可见光图像子块的同名点，具体为：
计算中波红外图像子块和可见光图像子块的互功率谱E，计算表达式为：
Figure FDA0004032323790000032
其中，(u,v)代表图像子块的中心坐标，F1(u,v)代表可见光图像子块的傅立叶变换，
Figure FDA0004032323790000041
代表中波红外图像子块傅立叶变换的复共轭，/>
Figure FDA0004032323790000042
代表/>
Figure FDA0004032323790000043
的模值；再计算互功率谱的逆傅立叶变换F-1(E)，搜索|F-1(E)|最大值点所对应的图像子块中心坐标，即为可见光图像子块和中波红外图像子块之间的相对偏移；
最后根据可见光图像子块和中波红外图像子块之间的相对偏移，得到可见光图像和中波红外图像子块的同名点。
CN202211736498.9A 2022-12-30 2022-12-30 一种基于特征耦合的可见与中波红外图像配准与融合方法 Pending CN116205958A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211736498.9A CN116205958A (zh) 2022-12-30 2022-12-30 一种基于特征耦合的可见与中波红外图像配准与融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211736498.9A CN116205958A (zh) 2022-12-30 2022-12-30 一种基于特征耦合的可见与中波红外图像配准与融合方法

Publications (1)

Publication Number Publication Date
CN116205958A true CN116205958A (zh) 2023-06-02

Family

ID=86515397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211736498.9A Pending CN116205958A (zh) 2022-12-30 2022-12-30 一种基于特征耦合的可见与中波红外图像配准与融合方法

Country Status (1)

Country Link
CN (1) CN116205958A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788532A (zh) * 2023-12-26 2024-03-29 四川新视创伟超高清科技有限公司 一种安防领域基于fpga的超高清双光融合配准方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788532A (zh) * 2023-12-26 2024-03-29 四川新视创伟超高清科技有限公司 一种安防领域基于fpga的超高清双光融合配准方法

Similar Documents

Publication Publication Date Title
CN109447922B (zh) 一种改进的ihs变换遥感影像融合方法及***
CN111080724A (zh) 一种红外和可见光的融合方法
CN112686935A (zh) 基于特征融合的机载测深雷达与多光谱卫星影像配准方法
CN113570536B (zh) 基于cpu和gpu协同处理的全色和多光谱影像实时融合方法
CN107958450B (zh) 基于自适应高斯滤波的全色多光谱影像融合方法及***
CN109801218B (zh) 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法
CN104318583B (zh) 一种可见光宽带光谱图像配准方法
CN116205958A (zh) 一种基于特征耦合的可见与中波红外图像配准与融合方法
CN111583113A (zh) 一种基于生成对抗网络的红外图像超分辨率重建方法
CN115564692B (zh) 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法
CN108154493A (zh) 一种基于fpga的双波段红外图像伪彩融合算法
CN111008664A (zh) 一种基于空谱联合特征的高光谱海冰检测方法
Zhang et al. Automatic stitching for hyperspectral images using robust feature matching and elastic warp
CN111583330A (zh) 一种多尺度时空马尔可夫遥感影像亚像元定位方法及***
CN112634184A (zh) 基于融合性卷积神经网络的rgb图像光谱反射率重建方法
CN110738693A (zh) 一种地基成像雷达多角度图像配准方法
Parmehr et al. Automatic parameter selection for intensity-based registration of imagery to LiDAR data
CN111563866B (zh) 一种多源遥感图像融合方法
CN113706387A (zh) 一种适合低山丘陵地区农作物提取遥感底图的获取方法
CN105631860A (zh) 基于局部排序方向直方图描述子的图像同名点提取方法
CN112883823A (zh) 一种基于多源遥感数据融合的土地覆盖类别亚像素定位方法
CN111523451A (zh) 一种构建高时空分辨率ndvi数据的方法
CN110084774B (zh) 一种增强的梯度传递和总变差最小化融合图像的方法
CN109785281B (zh) 基于光谱映射的灰度调幅的pansharpening方法
CN116109535A (zh) 一种图像融合方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination