CN106971385B - 一种飞行器态势感知用多源图像实时融合方法及其装置 - Google Patents
一种飞行器态势感知用多源图像实时融合方法及其装置 Download PDFInfo
- Publication number
- CN106971385B CN106971385B CN201710203953.1A CN201710203953A CN106971385B CN 106971385 B CN106971385 B CN 106971385B CN 201710203953 A CN201710203953 A CN 201710203953A CN 106971385 B CN106971385 B CN 106971385B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- sen
- parameter
- transformation parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000009466 transformation Effects 0.000 claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 46
- 230000008859 change Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000002156 mixing Methods 0.000 claims abstract description 8
- 101000984722 Bos taurus Pancreatic trypsin inhibitor Proteins 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种飞行器态势感知用多源图像实时融合方法及其装置，包括图像输入模块，FPGA模块将输入的图像进行帧同步处理，并转发至DSP配准模块；DSP配准模块计算输入图像间的尺度变换参数S，并根据S匹配相应的匹配模块，并获得变换参数Tfin；FPGA模块通过变换参数Tfin对待配准图像进行变换，变换后的图像通过FAMBED分解模块进行分解，得到多个频率层；FAMBED重构模块将频率层进行重构计算，输出融合图像。解决了飞行器机载多源图像实时融合问题，丰富下传图像的信息量，减少图像下传带宽，提高后续图像处理的有效性。
Description
技术领域
本发明属于图像融合处理领域，涉及一种飞行器态势感知用多源图像实时融合方法；还涉及一种飞行器态势感知用多源图像实时融合的装置。
背景技术
随着传感器技术的发展，飞行器态势感知***大都含有多种传感器对同一目标区域进行感知，如红外传感器、可见光传感器。传感器的阵列的增大，给数据的实时传输带来一定困难，并且在不同的环境下，单一传感器获取的目标信息有限，上传的数据目标信息含量较少，而多源图像融合技术成为解决这一难题的关键。多源图象配准与融合是多源图像融合***中的关键技术，直接决定着融合的成败，现有专利中融合的输入图像大都是经过配准的图像，或尺度变化不大，或几何特征比较明显的图像，且在地面站实现。
现有的图像融合技术中图像配准还采用的突显目标、区域分割、梯度相关方法难以解决尺度变化较大条件下异源图像的配准，如相机随意变焦；另外，还有直接采用SIFT或SURF等方法，但上述方法还是难以实现异源图像灰度纹理差异较大的配准，如红外与可见光的配准，且计算复杂度较高难以实现机载嵌入式实时图像配准，未能解决机载多源图像的实时融合问题。
公开号为CN104574332A的发明专利还提出了一种机载光电吊舱用图像融合方法，以可见光成像***的焦距值为基准进行联动计算得到红外图像的相应焦距值，进而将焦距映射为尺度变换，并对平移参数进行补偿，实现了图像的实时融合。该方法对成像***焦距的精度要求极高(误差<0.001m)，才能实现亚像素的图像配准，并且无法抗旋转变换，难以解决大尺度变换及旋转变换的实时精确融合问题。
发明内容
本发明的目的在于提供一种飞行器态势感知用多源图像实时融合方法；解决了飞行器机载多源图像实时融合问题，丰富下传图像的信息量，减少图像下传带宽，提高后续图像处理的有效性。
本发明的目的还在于提供上述飞行器态势感知用多源图像实时融合的装置，该装置能够实现可见光与红外相机的随机变焦引起的大尺度变化时的图像配准与融合，实现昼夜全天可见光与红外灰度差异较大的图像配准与融合，同时该装置能够在飞行环境下实现机载多源图像数据的实时融合。
本发明的目的是通过以下技术方案来实现的：
这种飞行器态势感知用多源图像实时融合方法，包括以下步骤：
步骤1，以可见光图像为基准图像，通过图像配准方法获取变换参数Tfin，并且对红外图像进行变换，实现图像灰度的插值，得到变换后的红外图像；
步骤2，将可见光图像从彩色空间变换到HSI空间，并提取I分量；
步骤3，通过FAMBED分解算法将可见光图像的I分量、变换后的红外图像分解到不同的频率层上；
步骤4，对分解的频率层进行融合处理，其中低频图像层采用加权平均融合，高频图像层采用分解值的最大化加权融合；
步骤5，通过FAMBED重构以及HSI逆变换，获得融合图像。
更进一步的，本发明的特点还在于：
其中步骤1中变换参数Tfin的计算步骤是：步骤1.1，对实时采集的红外图像和可见光图像进行帧同步处理；步骤1.2，计算红外图像和可见光图像的尺度变化参数S，其中S＝IVF*PsIR/IRF/PsIV，IVF为可见光相机的焦距，PsIV为可见光相机的像元尺寸，IRF为红外相机的焦距，PsIR为红外相机的像元尺寸；步骤1.3，S＜3&S＞0.3时，采用TopN-SURF匹配算法，否则采用带通纹理信息匹配算法；步骤1.4，根据相应的匹配算法确定并输出变换参数Tfin。
其中步骤1.3中TopN-SURF匹配算法包括以下步骤：步骤1.3.1，提取多个特征点，并且建立特征点的质量空间和最小堆二叉树，对手选特征点Hessian响应值进行排序；步骤1.3.2，确定图像之间的初始变换参数Tor，根据初始变换参数中的旋转参数对待匹配图像进行旋转；步骤1.3.3，根据图像实时的焦距及像元尺寸信息，通过S＝IVF*PsIR/IRF/PsIV计算图像之间的尺度变化参数S，进而对特征匹配区域范围进行限定。
其中步骤1.3中带通纹理信息匹配算法包括以下步骤：步骤1.3.a，根据尺度变化参数S和初始变换参数Tor，计算变换参数Tnew；步骤1.3.b，使用变换参数Tnew对待配准图像I_sen进行变换，得到变换后的图像TI_sen，其中TI_sen＝I_sen*Tnew；步骤1.3.c，分别对参考图像I_ref和变换后图像TI_sen的某一区域进行不同方差的高斯滤波进行带通纹理信息提取，分别得到BP_ref和BP_sen；步骤1.3.d，计算BP_ref和BP_sen的相关系数Corr，并确定最终的平移变换参数Tran_xf和Tran_yf；步骤1.3.e，输出变换参数Tfin。
其中步骤3中FAMBED分解可见光包括以下步骤：步骤3.1，将可见光图像IV提取出的I分量赋给初始图像IVI，并按照滤波器窗口的大小确定统计次序；步骤3.2，对初始图像IVI进行最大/小滤波，并平滑，获得极大/小包络曲面UE和LE，并且获得平均包络曲面ME；步骤3.3，将初始图像IVI与平均包络面ME差分得到第一层高频分量IMF1，并将平均包络面ME传回输入端；步骤3.4，将重复步骤3.1-3.3，获得第二层高频分量IMF2、第三层高频分量IMF3和低频分量Residue。
其中步骤5中FAMBED重构为：将得到的融合后的频率层求和。
本发明的另一技术方案是，一种飞行器态势感知用多源图像实时融合的装置，包括图像输入模块，FPGA模块将输入的图像进行帧同步处理，并转发至DSP配准模块；DSP配准模块计算输入图像间的尺度变换参数S，并根据S匹配相应的匹配模块，并获得变换参数Tfin；FPGA模块通过变换参数Tfin对待配准图像进行变换，变换后的图像通过FAMBED分解模块进行分解，得到多个频率层；FAMBED重构模块将频率层进行重构计算，输出融合图像。
更进一步的，本发明的特点还在于：
其中FAMBED分解模块包括存储器，存储器与存储器调度器连接，存储器调度器与包络曲面计算模块连接，包络曲面计算模块与输出模块连接。
其中FAMBED重构模块包括存储器，存储器与存储器调度器连接，存储器调度器与融合计算模块连接，融合计算模块与输出模块连接。
其中DSP配准模块判断尺度变换参数S在0.3-3之间，通过TopN-SURF匹配模块，计算匹配点对>8时，将变换参数Tfin发送至FPGA模块；尺度变换参数S＜0.3或S＞3或计算匹配点对<8时，通过BPTI匹配模块将变换参数Tfin发送至FPGA模块。
与现有技术相比，本发明的有益效果是：解决了在相机实时变焦引起的大的几何形变、环境变化引起的灰度变化的条件下的多源图像的实时融合问题。该方法采用优化特征描述TopN-SURF与带通纹理信息BPTI相结合的配准技术、优化的快速自适应二维经验模式分解FAMBED融合技术，并对上述技术进行嵌入式实现，利用该***对真实飞行数据进行了测试，实现了可见光与红外相机在不同焦距下的图像实时融合。
更进一步的，TopN-SURF匹配算法使图像纹理较丰富，尺度变化在0.3～3之间时，可实现对可见光图像(1024×768)与红外图像(640×512)的嵌入式实时配准。
本发明的有益效果还在于：采用特征描述与带通纹理信息相结合的配准技术，可实现尺度变化在20倍之内，任意旋转与平移的1080P可见光图像与红外图像的机载实时配准与融合(30f/S)，融合后的图像能够发挥红外图像对热目标敏感、穿透能力强等特点，且能保持可见光图像对比度高、目标细节明显的优势。该装置可应用于双光非共轴成像***中，以解决多路异源监控视频传输带宽不足问题、解决观测终端切换相机过程中的目标观察的连续性问题。
本发明可应用于军用侦察机、无人机、无人飞艇、导弹、航空炸弹等军用武器的多源图像融合感知，为后续深层次图像处理提供稳定可靠的信息源。
附图说明
图1为本发明的方法流程图；
图2为本发明中图像配准流程图；
图3为本发明装置嵌入式实现流程图；
图4为本发明中DSP配准模块的工作流程图；
图5为本发明中FAMBED的分解流程图；
图6为本发明中FAMBED分解模块的示意图；
图7为本发明中FAMBED重构模块的示意图；
图8为本发明第一组实施例的输入图片；
图9为本发明第一组实施例TopN-SURF算法的匹配结果示意图；
图10本发明第一组实施例的融合结果示意图；
图11为发明第二组实施例的输入图片；
图12为发明第二组实施例BPTI算法相关性最大的带通纹理图像；
图13为发明第二组实施例的融合结果示意图；
图14为本发明第三组实施例的输入图片；
图15为本发明第三组实施例BPTI算法相关性最大的带通纹理图像；
图16为本发明第三组实施例的融合结果示意图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
本发明提供了一种飞行器态势感知用多源图像实时融合方法，其具体过程如图1所示，包括以下步骤：
步骤1，以可见光图像为基准图像，通过图像配准方法获取变换参数Tfin，并且对红外图像进行变换，实现图像灰度的插值，得到变换后的红外图像；如图2所示，变换参数Tfin的计算步骤是：步骤1.1，对实时采集的红外图像和可见光图像进行帧同步处理；步骤1.2，计算红外图像和可见光图像的尺度变化参数S，其中
S＝IVF*PsIR/IRF/PsIV (1)
IVF为可见光相机的焦距，PsIV为可见光相机的像元尺寸，IRF为红外相机的焦距，PsIR为红外相机的像元尺寸；步骤1.3，S＜3&S＞0.3时，采用TopN-SURF匹配算法，否则采用带通纹理信息匹配算法；步骤1.4，根据相应的匹配算法确定并输出变换参数Tfin。
步骤1.3中TopN-SURF匹配算法包括以下步骤：步骤1.3.1，提取多个特征点，并且建立特征点的质量空间和最小堆二叉树，对手选特征点Hessian响应值进行排序；步骤1.3.2，确定图像之间的初始变换参数Tor，根据初始变换参数中的旋转参数对待匹配图像进行旋转；步骤1.3.3，根据图像实时的焦距及像元尺寸信息，通过S＝IVF*PsIR/IRF/PsIV计算图像之间的尺度变化参数S，进而对特征匹配区域范围进行限定。
在步骤1.3中，带通纹理信息匹配算法包括以下步骤：步骤1.3.a，根据尺度变化参数S和初始变换参数Tor，假设
则参考图像、待配准图像及待配准图像变换后图像的中心坐标分别为(Row_sen,Col_sen)、(Row_ref,Col_ref)和(Row_new,Col_new)，更新平移参数Tran_x和Tran_y分别为：
Tran_x＝Col_ref-(Col_sen*t11+Row_sen*t21)/Sor (3)，
Tran_y＝Row_ref-(Col_sen*t12+Row_sen*t22)/Sor (4)，
其中由此可得更新的变换参数Tnew为：
步骤1.3.b，使用变换参数Tnew对待配准图像I_sen进行变换，得到变换后的图像TI_sen，其中TI_sen＝I_sen*Tnew；步骤1.3.c，分别对参考图像I_ref和变换后图像TI_sen的某一区域进行不同方差的高斯滤波进行带通纹理信息提取，分别得到BP_ref和BP_sen，其中
BP_ref＝Gauss(δ1)*I_ref-Gauss(δ2)*I_ref (6)，
BP_sen＝Gauss(δ1)*TI_sen-Gauss(δ2)*TI_sen (7)；
步骤1.3.d，对平移换参数Tran_x和Tran_y进行(-10,10)范围内的抖动，计算BP_ref和BP_sen的相关系数Corr：
Corr＝corr2(BP_ref,BP_sen) (8)，
并确定最终的平移变换参数Tran_xf和Tran_yf；步骤1.3.e，输出变换参数Tfin，
步骤2，将可见光图像RGB从彩色空间变换到HSI空间，并提取I分量；
步骤3，通过FAMBED分解算法将可见光图像的I分量、变换后的红外图像分解到不同的频率层上；其中FAMBED分解可见光包括以下步骤：步骤3.1，将可见光图像IV提取出的I分量赋给初始图像IVI，并按照滤波器窗口的大小确定统计次序；步骤3.2，对初始图像IVI进行最大/小滤波，并平滑，获得极大/小包络曲面UE和LE，并且获得平均包络曲面ME；步骤3.3，将初始图像IVI与平均包络面ME差分得到第一层高频分量IMF1，并将平均包络面ME传回输入端；步骤3.4，将重复步骤3.1-3.3，获得第二层高频分量IMF2、第三层高频分量IMF3和低频分量Residue。
步骤4，对分解的频率层进行融合处理，其中低频图像层采用加权平均融合，高频图像层采用分解值的最大化加权融合；
步骤5，通过FAMBED重构，即将得到的融合后的频率层求和，然后进行HSI逆变换，获得融合图像。
本发明还提供了一种飞行器态势感知用多源图像实时融合的装置，该装置基于上述方法设计，如图3所示，图像输入模块包括可见光图像输入模块Vimg(i)和红外图像输入模块Fimg(i)，图像输入模块将获取到的可见光图像和红外图像输入到FPGA模块内，FPGA模块将输入的图像进行帧同步处理，并将处理后的图像发送至DSP配准模块；DSP配准模块计算输入图像间的尺度变换参数S，如图4所示DSP配准模块的工作流程是：DSP配准模块判断尺度变换参数S在0.3-3之间，通过TopN-SURF匹配模块，计算匹配点对>8时，将变换参数Tfin发送至FPGA模块；尺度变换参数S＜0.3或S＞3或计算匹配点对<8时，通过BPTI匹配模块将变换参数Tfin发送至FPGA模块；FPGA模块通过变换参数Tfin对待配准图像进行变换，变换后的图像通过FAMBED分解模块进行分解，得到多个频率层；FAMBED重构模块将频率层进行重构计算，输出融合图像。
如图6所示，FAMBED分解模块包括存储器，存储器与存储器调度器连接，存储器调度器与包络曲面计算模块连接，包络曲面计算模块与输出模块连接。
如图7所示，FAMBED重构模块包括存储器，存储器与存储器调度器连接，存储器调度器与融合计算模块连接，融合计算模块与输出模块连接。
如图5所示，可见光图像和红外图像经过FAMBED分解模块分解成多个频率层，包括第一层高频分量IMF1，第二层高频分量IMF2……第n层高频分量IMFn和低频分量Residue；然后FAMBED重构模块将其融合后的频率层求和后得到融合图像。
本发明一种飞行器态势感知用多源图像实时融合的装置，采用DSP+FPGA架构实现，对外由连接器与外部***互联。电缆需进行双绞和屏蔽处理；图像的输入和输出通过LVDS芯片实现，DSP配准模块由TMS320C6713芯片实现，其与FPGA模块之间通过UPP接口互联，传输速率可达到70M×8bit，满足实时传输图像的要求，SPI接口用于为DSP配准模块和FPGA模块之间传递配准参数，实现红外图像的配准和分解。
图像的坐标变换、图像的同步、给DSP配准模块发送/接收数据、输出图像的控制及时序生成由转接FPGA模块实现。
输入电源要求为16V-36V，使用4.5V-36V输入的LT3680芯片，其最大输出电流能力为3A。
如图4所示，DSP配准模块的工作流程为：a初始化寄存器，配置UPP接口，RS422串口，SPI接口，中断、申请缓存；b打开UPP接收FPGA模块发送的红外图像与可见光图像数据，读取红外图像与可见光图像的焦距信息，连续5帧图像焦距不变进行步骤d；c根据焦距计算尺度因子是否在0.3～3之间，是进行步骤d，否则进行步骤e；d运行ToPN-SURF配准算法，判断有效匹配对是否大于8，是进行步骤f，否则运行步骤e；e运行BPTI配准算法；f通过SPI向FPGA发送配准参数。
本发明的具体实施例为：
对某无人机采集的3组真实数据进行处理的实施例，第一组数据为尺度变化不大，纹理信息相对丰富，融合***采用ToPN-SURF进行配准，并采用FABEMD进行融合给出结果；第二组数据尺度变化较大且纹理信息清晰，融合***采用BPTI实现图像配准，然后利用FABEMD给出融合结果；第二组数据尺度变化不大但纹理信息较为模糊，融合***在ToPN-SURF失效的情况下采用BPTI实现图像配准，然后利用FABEMD实现融合。
第一组实施例
如图8所示，第一组实施例中，两幅图像的尺度变化不大且纹理信息丰富，其中图8a为可见光图像，图8b为红外图像。
根据融合***的实现流程，DSP接收到图像后首先根据图像的焦距参数IVF＝6.5mm,IRF＝25mm及传感器像元的尺寸PsIR＝15μm,PsIV＝4.75μm，由方程(1)计算图像之间的尺度变换S＝0.821，根据判决准则将可见光作为参考图像(I_ref)，红外为待配准图像(I_sen)，则***调用ToPN-SURF算法，计算得到的匹配结果如图9所示，匹配点对NCM＝130大于8，故***采用得到的变换参数Tfin进行后续的融合计算。
融合***的FPGA利用DSP给出的参数Tfin，对参考图像进行变换：
TI_sen＝I_sen*Tfin，并采用FABEMD算法对I_ref和TI_sen进行融合处理，最终融合结果如图10所示。
第二组实施例
如图11所示，第二组实施例两幅图像的尺度变化较大，其中图11a为可见光图像，图11b为红外图像。ToPN-SURF算法的特征描述向量差异较大，难以实现精确匹配。根据融合方法，DSP接收到图像后首先根据图像的焦距参数IVF＝130.2mm,IRF＝44.3mm及传感器像元的尺寸PsIR＝15μm,PsIV＝4.75μm，由方程(1)计算图像之间的尺度变换S＝9.28，根据判决准则将红外作为参考图像I_ref，可见光为待配准图像I_sen，则***调用BPTI方法，计算得到相关性最大带通信息图如图12所示，其中图12a为可将光图像某区域，图12b为红外图像对应的某区域。
融合***的FPGA利用DSP运算BPTI算法给出的参数Tfin，对参考图像进行变换：
TI_sen＝I_sen*Tfin，并采用FABEMD算法对I_ref和TI_sen进行融合处理，最终融合结果如图13所示。
第三组实施例
如图14所示，第三组实施例的输入的两幅图像的尺度变化不大，但纹理信息不够丰富，其中图14a为可见光图像，图14b为红外图像。
根据融合方法，DSP接收到图像后首先根据图像的焦距参数IVF＝130.2mm,IRF＝300mm及传感器像元的尺寸PsIR＝15μm,PsIV＝4.75μm，由方程(1)计算图像之间的尺度变换S＝1.37，根据判决准则将红外作为参考图像I_ref，可见光为待配准图像I_sen，***采用ToPN-SURF算法得到的正确匹配点对数小于8个，因此，***自动调用BPTI匹配算法，计算得到相关性最大带通信息图如图15所示，其中图15a为可见光图像某区域，图15b为红外图像对应的某区域。
融合***FPGA利用DSP的BPTI给出的参数Tfin，对参考图像进行变换：
TI_sen＝I_sen*Tfin，并采用FABEMD算法对I_ref和TI_sen进行融合处理，最终融合结果如图16所示。
Claims (6)
1.一种飞行器态势感知用多源图像实时融合方法，其特征在于，包括以下步骤：
步骤1，以可见光图像为基准图像，通过图像配准方法获取第一变换参数Tfin，并且对红外图像进行变换，实现图像灰度的插值，得到变换后的红外图像；第一变换参数Tfin的计算步骤是：
步骤1.1，对实时采集的红外图像和可见光图像进行帧同步处理；
步骤1.2，计算红外图像和可见光图像的尺度变化参数S，其中S＝IVF*PsIR/IRF/PsIV，IVF为可见光相机的焦距，PsIV为可见光相机的像元尺寸，IRF为红外相机的焦距，PsIR为红外相机的像元尺寸；
步骤1.3，S＜3&S＞0.3时，采用TopN-SURF匹配算法，否则采用带通纹理信息匹配算法；TopN-SURF匹配算法包括以下步骤：
步骤1.3.1，提取多个特征点，并且建立特征点的质量空间和最小堆二叉树，对手选特征点Hessian响应值进行排序；
步骤1.3.2，确定图像之间的初始变换参数Tor，根据初始变换参数中的旋转参数对待匹配图像进行旋转；
步骤1.3.3，根据图像实时的焦距及像元尺寸信息，通过S＝IVF*PsIR/IRF/PsIV计算图像之间的尺度变化参数S，进而对特征匹配区域范围进行限定；
步骤1.4，根据相应的匹配算法确定并输出第一变换参数Tfin；
带通纹理信息匹配算法包括以下步骤：
步骤1.3.a，根据尺度变化参数S和初始变换参数Tor，计算第二变换参数Tnew；
步骤1.3.b，使用第二变换参数Tnew对待配准图像I_sen进行变换，得到变换后的图像TI_sen，其中TI_sen＝I_sen*Tnew；
步骤1.3.c，对参考图像I_ref的某一区域通过高斯滤波进行带通纹理信息提取得到BP_ref：BP_ref＝Gauss(δ1)*I_ref-Gauss(δ2)*I_ref；对变换后图像TI_sen的某一区域通过高斯滤波进行带通纹理信息提取得到BP_sen：BP_sen＝Gauss(δ1)*TI_sen-Gauss(δ2)*TI_sen；
步骤1.3.d，计算BP_ref和BP_sen的相关系数Corr，并确定最终的平移变换参数Tran_xf和Tran_yf；
步骤1.3.e，输出第一变换参数Tfin
步骤2，将可见光图像从彩色空间变换到HSI空间，并提取I分量；
步骤3，通过FAMBED分解算法将可见光图像的I分量、变换后的红外图像分解到不同的频率层上；FAMBED分解可见光包括以下步骤：
步骤3.1，将可见光图像IV提取出的I分量赋给初始图像IVI，并按照滤波器窗口的大小确定统计次序；
步骤3.2，对初始图像IVI进行最大/小滤波，并平滑，获得极大/小包络曲面UE和LE，并且获得平均包络曲面ME；
步骤3.3，将初始图像IVI与平均包络曲面ME差分得到第一层高频分量IMF1，并将平均包络曲面ME传回输入端；
步骤3.4，重复步骤3.1-3.3，获得第二层高频分量IMF2、第三层高频分量IMF3和低频分量Residue；
步骤4，对分解的频率层进行融合处理，其中低频图像层采用加权平均融合，高频图像层采用分解值的最大化加权融合；
步骤5，通过FAMBED重构以及HSI逆变换，获得融合图像。
2.根据权利要求1所述的飞行器态势感知用多源图像实时融合方法，其特征在于，所述步骤5中FAMBED重构为：将得到的融合后的频率层求和。
3.一种基于权利要求1所述飞行器态势感知用多源图像实时融合方法的飞行器态势感知用多源图像实时融合的装置，其特征在于，包括图像输入模块；FPGA模块将输入的图像进行帧同步处理，并转发至DSP配准模块；DSP配准模块计算输入图像间的尺度变换参数S，并根据S匹配相应的匹配模块，并获得第一变换参数Tfin；FPGA模块通过第一变换参数Tfin对待配准图像进行变换，变换后的图像通过FAMBED分解模块进行分解，得到多个频率层；FAMBED重构模块将频率层进行重构计算，输出融合图像。
4.根据权利要求3所述的飞行器态势感知用多源图像实时融合的装置，其特征在于，所述FAMBED分解模块包括存储器，存储器与存储器调度器连接，存储器调度器与包络曲面计算模块连接，包络曲面计算模块与输出模块连接。
5.根据权利要求3所述的飞行器态势感知用多源图像实时融合的装置，其特征在于，所述FAMBED重构模块包括存储器，存储器与存储器调度器连接，存储器调度器与融合计算模块连接，融合计算模块与输出模块连接。
6.根据权利要求3所述的飞行器态势感知用多源图像实时融合的装置，其特征在于，所述DSP配准模块判断尺度变换参数S在0.3-3之间，通过TopN-SURF匹配模块，计算匹配点对>8时，将第一变换参数Tfin发送至FPGA模块；尺度变换参数S＜0.3或S＞3或计算匹配点对<8时，通过带通纹理信息BPTI匹配模块运行带通纹理信息匹配算法将第一变换参数Tfin发送至FPGA模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710203953.1A CN106971385B (zh) | 2017-03-30 | 2017-03-30 | 一种飞行器态势感知用多源图像实时融合方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710203953.1A CN106971385B (zh) | 2017-03-30 | 2017-03-30 | 一种飞行器态势感知用多源图像实时融合方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106971385A CN106971385A (zh) | 2017-07-21 |
| CN106971385B true CN106971385B (zh) | 2019-10-01 |
Family
ID=59335488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710203953.1A Active CN106971385B (zh) | 2017-03-30 | 2017-03-30 | 一种飞行器态势感知用多源图像实时融合方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106971385B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519498B (zh) * | 2019-08-29 | 2021-09-21 | 深圳市道通智能航空技术股份有限公司 | 一种双光相机成像校准的方法、装置和双光相机 |
| CN113838106B (zh) * | 2020-06-08 | 2024-04-05 | 浙江宇视科技有限公司 | 一种图像配准方法、装置及电子设备和存储介质 |
| CN115866155B (zh) * | 2023-02-27 | 2023-05-16 | 中铁电气化局集团有限公司 | 一种使用融合算法处理高铁检修数据的方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101968882A (zh) * | 2010-09-21 | 2011-02-09 | 重庆大学 | 一种多源图像融合方法 |
| CN201927079U (zh) * | 2011-03-07 | 2011-08-10 | 山东电力研究院 | 一种对于可见光图像和红外图像的快速实时融合处理*** |
| CN106096604A (zh) * | 2016-06-02 | 2016-11-09 | 西安电子科技大学昆山创新研究院 | 基于无人平台的多波段融合探测方法 |
-
2017
- 2017-03-30 CN CN201710203953.1A patent/CN106971385B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101968882A (zh) * | 2010-09-21 | 2011-02-09 | 重庆大学 | 一种多源图像融合方法 |
| CN201927079U (zh) * | 2011-03-07 | 2011-08-10 | 山东电力研究院 | 一种对于可见光图像和红外图像的快速实时融合处理*** |
| CN106096604A (zh) * | 2016-06-02 | 2016-11-09 | 西安电子科技大学昆山创新研究院 | 基于无人平台的多波段融合探测方法 |
Non-Patent Citations (1)
| Title |
|---|
| Multi-scale Image Registration Based on Strength;Chengcai Leng等;《2010 3rd International Congress on Image and Signal Processing》;20101231;第5卷;第1897-1900页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106971385A (zh) | 2017-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| CN107292921B (zh) | 一种基于kinect相机的快速三维重建方法 | |
| Jiang et al. | Learning to see moving objects in the dark | |
| CN111145131B (zh) | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 | |
| CN111161356B (zh) | 一种基于双层优化的红外和可见光融合方法 | |
| Bao et al. | Instereo2k: a large real dataset for stereo matching in indoor scenes | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| CN109360240A (zh) | 一种基于双目视觉的小型无人机定位方法 | |
| CN110660088A (zh) | 一种图像处理的方法和设备 | |
| CN106971385B (zh) | 一种飞行器态势感知用多源图像实时融合方法及其装置 | |
| CN111027415B (zh) | 一种基于偏振图像的车辆检测方法 | |
| CN109671044B (zh) | 一种基于可变图像分解的多曝光图像融合方法 | |
| CN106530389B (zh) | 基于中波红外人脸图像的立体重构方法 | |
| Alhatami et al. | Image Fusion Based on Discrete Cosine Transform with High Compression | |
| CN114018214A (zh) | 一种基于硬件加速***的标志物双目亚像素测距方法 | |
| CN113902659A (zh) | 一种基于显著目标增强的红外和可见光融合方法 | |
| CN108830804A (zh) | 基于线扩展函数标准差的虚实融合模糊一致性处理方法 | |
| Amamra et al. | Crime scene reconstruction with RGB-D sensors | |
| Howells et al. | Depth maps comparisons from monocular images by midas convolutional neural networks and dense prediction transformers | |
| CN112396687A (zh) | 基于红外微偏振片阵列的双目立体视觉三维重建***及方法 | |
| Gaikwad et al. | Food image 3D reconstruction using image processing | |
| Liu et al. | Study of Enhanced Multi-spectral Remote-sensing-satellite Image Technology Based on Improved Retinex-Net | |
| San et al. | Early experience of depth estimation on intricate objects using generative adversarial networks | |
| CN111010558B (zh) | 一种基于短视频图像的立木深度图生成方法 | |
| Yang et al. | P‐3.4: Plenoxels‐based Parallax Map Generation for Flexible Scale Ultra‐High Resolution in 3D Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |