CN114119443B - 一种基于多光谱相机的图像融合*** - Google Patents

一种基于多光谱相机的图像融合*** Download PDF

Info

Publication number
CN114119443B
CN114119443B CN202111427043.4A CN202111427043A CN114119443B CN 114119443 B CN114119443 B CN 114119443B CN 202111427043 A CN202111427043 A CN 202111427043A CN 114119443 B CN114119443 B CN 114119443B
Authority
CN
China
Prior art keywords
image
images
region
fusion
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111427043.4A
Other languages
English (en)
Other versions
CN114119443A (zh
Inventor
***
王海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terminus Technology Group Co Ltd
Original Assignee
Terminus Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terminus Technology Group Co Ltd filed Critical Terminus Technology Group Co Ltd
Priority to CN202111427043.4A priority Critical patent/CN114119443B/zh
Publication of CN114119443A publication Critical patent/CN114119443A/zh
Application granted granted Critical
Publication of CN114119443B publication Critical patent/CN114119443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于多光谱相机的图像融合***，属于智能图像处理技术领域。该***包括：多光谱图像采集模块、第一处理器和第二处理器；所述多光谱图像采集模块用于针对同一拍摄区域采集多张不同光谱带的图像；所述第一处理器，用于对所述多张不同光谱带的图像进行去噪处理和图像增强，得到多张第一图像；所述第二处理器，用于对多张所述第一图像进行配准，得到多张第二图像；还用于对配准后的多张所述第二图像进行融合。本发明能够智能地将多光谱相机采集得到的多张不同光谱带的图像进行融合得到一张多光谱图像，便于后续的分析和展示。在火灾预警场景中，对多张不同光谱带的图像进行融合，不仅方便存储、展示，而且利于火灾识别时的分析处理。

Description

一种基于多光谱相机的图像融合***
技术领域
本发明涉及智能图像处理技术领域，具体涉及一种基于多光谱相机的图像融合***。
背景技术
光谱成像技术是利用单个或多个光谱通道进行光谱数据采集和处理、图像显示和分析解释的技术。多光谱成像是让传感器在多个很窄的波段上感受不同的光。例如，进行火灾识别时，可以利用多光谱相机采集多光谱图像作为识别依据，与单一光谱图像，例如红外，或可见光(这里的多光谱为狭义概率)图像相比，图像细节信息更丰富，火灾识别更加精准、及时，尤其是针对火灾初期，及早发现可以避免火灾蔓延，减少损失。
多光谱相机可分为三类：
1、多镜头型多光谱相机。它具有多个镜头，每个镜头各有一个滤光片，分别让一种较窄光谱的光通过，多个镜头同时拍摄同一景物，用一张胶片同时记录几个不同光谱带的图像信息；
2、多相机型多光谱相机。它是由几台相机组合在一起，各台相机分别带有不同的滤光片，分别接收景物的不同光谱带上的信息，同时拍摄同一景物，各获得一套特定光谱带的图像信息；
3、它采用一个镜头拍摄景物，然后通过分光器或滤光片(或膜)将来自景物的光线分离为多个波段的光束，用多套图像传感器分别将各波段的光信息记录下来实现多光谱成像。
三种不同的成像方式，各有优缺点，光束分离的成像质量差，但重叠精度高。而多镜头和多相机型的多光谱相机尽管对准同一目标物进行成像，其图像的重叠一致性肯定是不可能完全一致，不过成像质量应该相对较高。
在使用上述的多相机型多光谱相机和单镜头多光谱相机进行多光谱图像采集时，不同光谱带的图像信息是分开的，也即会得到多张不同光谱带的图像。但是，在现实的应用中，人们往往需要结合不同光谱带的图像信息进行分析，鉴于方便性的考虑，往往需要将多张不同光谱带的图像融合至一张图像中。
发明内容
因此，本发明实施例要解决的技术问题在于克服现有技术中的部分多光谱相机采集得到的不同光谱带的图像信息分开在不同的图像上的缺陷，从而提供一种基于多光谱相机的图像融合***。
为此，本发明提供一种基于多光谱相机的图像融合***，包括：
多光谱图像采集模块、第一处理器和第二处理器；
所述多光谱图像采集模块用于针对同一拍摄区域采集多张不同光谱带的图像；
所述第一处理器，用于对所述多张不同光谱带的图像进行去噪处理和图像增强，得到多张第一图像；
所述第二处理器，用于对多张所述第一图像进行配准，得到多张第二图像；还用于对配准后的多张所述第二图像进行融合。
可选的，所述第二处理器，用于利用图像融合模型对配准后的多张所述第二图像进行融合；
所述图像融合模型至少包括神经网络滤波器、循环神经网络模块、超限学习机自编码器和堆叠去噪自编码器；
所述神经网络滤波器至少包括卷积层和反卷积层以及位于所述卷积层和所述反卷积层之间的对称连接层，用于对所述第二图像进行特征提取，以输出所述第二图像的第一特征；其中，所述卷积层的层数和所述反卷积层的层数相同，且所述卷积层和所述反卷积层相对于所述对称连接层对称；
所述循环神经网络模块，用于根据所述第一特征，输出所述第二图像的第二特征；
所述超限学习机自编码器，用于对所述循环神经网络模块输出的所述第二特征进行特征融合；
所述堆叠去噪自编码器，用于根据融合后的所述第二特征进行图像融合。
可选的，所述图像融合模型是通过以下方式训练得到：
随机选取所述图像融合模型的参数；
使用受限玻尔兹曼机对所述图像融合模型中的所述神经网络滤波器的参数进行预训练；
使用去噪自编码器对所述图像融合模型的参数进行逐层预训练；
用反向传播算法对所述图像融合模型的参数进行调整；
使用去噪自编码器对所述图像融合模型的参数进行逐层预训练时使用的损失函数为：
Figure GDA0003455679980000031
其中，y、x为训练样本通过所述图像融合模型进行融合后得到的融合图像、样本中通过其他融合方式得到的融合图像，f(W)为权重衰减项，a为权重值，m＝1，2，3…，M，M为所述堆叠去噪自编码器中隐藏层神经单元的数量，b为稀疏性参数，
Figure GDA0003455679980000032
为第m个隐藏神经单元的平均活跃度。
可选的，所述第二处理器还用于分别对多张所述第二图像进行区域划分，从同一所述第二图像中划分出的相邻区域之间的清晰度不同；
根据多张所述第二图像中各自的区域划分情况下，确定所有所述第二图像中的区域划分方式；所有所述第二图像的区域划分方式是一样的；
利用确定的所述区域划分方式分别对所述第二图像进行区域划分；
针对所述第二图像中的第一区域，根据各所述第二图像中所述第一区域的清晰度确定在对所述第一区域进行融合时各所述第二图像的融合权重；其中，所述第一区域为所述第二图像中的任一区域；
根据确定的所述融合权重，融合所述第二图像中的所述第一区域。
可选的，所述第二处理器还用于计算所述第二图像的局部熵，获取所述第二图像中的纹理图像；
对所述纹理图像进行腐蚀、膨胀处理和五值化处理，然后标记出连通域；
利用所述连通域作为掩膜对所述第二图像进行区域划分，得到临时区域；
计算所述临时区域内的各像素点的灰度值；
根据所述临时区域内的各像素点的灰度值，计算灰度均方差；
根据所述灰度均方差确定所述临时区域的清晰度；
若相邻的所述临时区域的清晰度相同，则合并为一个区域。
可选的，所述第二处理器还用于分别获取多张所述第二图像的灰度均值，根据各张所述第二图像的灰度均值之间的比值确定融合权重；
分别对多张所述第二图像进行连续上采样，获得每张所述第二图像的上采样金字塔；
根据所述融合权重，将各张所述第二图像的上采样金字塔的各层信息分别进行叠加得到融合图像的上采样金字塔；
对所述融合图像的上采样金字塔，利用自下向上的递推方法得到最终融合图像。
可选的，所述第二处理器用于获取所述第二图像中每个待插值像素点位置相邻的8个像素点的灰度值；
根据所述8个像素点的灰度值和预先确定的卷积核，确定所述待插值像素点位置处的灰度值。
可选的，所述第二处理器用于针对所述融合图像的上采样金字塔中的下层图像进行下采样，得到与相邻的上一层图像尺寸相同的临时图像；
计算所述临时图像与相邻的上一层图像的差值图像；
将所述差值图像与相邻的上一层图像按照平均梯度取最大法进行相加融合。
可选的，所述第一处理器用于对所述多张不同光谱带的图像分别进行离散傅里叶变换，得到所述不同光谱带的图像的频谱图；
获取所述频谱图中的高频区域和低频区域；
分别对所述频谱图中的高频区域和低频区域进行增强处理；
对处理后的所述频谱图进行重构，得到不同光谱带的增强图像。
可选的，所述第二处理器用于对待配准的两张所述第一图像分别进行边缘检测；
从其中一张所述第一图像中选取多段连续的第一边缘，所述第一边缘离散分布于所述第一图像中的各个位置；
针对每一所述第一边缘，将其与另一张所述第一图像中检测到的边缘进行几何特征匹配，得到匹配相似度；
若从另一张所述第一图像中匹配到匹配相似度大于第一预设阈值的匹配边缘，则将所述第一边缘记为第二边缘；
针对每一所述第二边缘，按照所述第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则确定配准位置和配准角度；
按照所述配准位置和所述配准角度对两张所述第一图像进行配准。
本发明实施例的技术方案，具有如下优点：
本发明实施例提供的基于多光谱相机的图像融合***，能够智能地将多光谱相机采集得到的多张不同光谱带的图像进行融合得到一张多光谱图像，不同的光谱带的图像中的图像信息不一样，将多张带有不同光谱带图像信息的图像融合，可以得到一张图像信息更加丰富的图像。将多张不同光谱带的图像融合成一张多光谱图像，可以便于后续的分析和展示。在火灾预警场景中，利用多光谱图像进行火灾识别可以大大提高火灾识别精度，在火灾起始时期及时识别到火灾，可以避免火灾蔓延，最大程度减少损失和伤害，对多张不同光谱带的图像进行融合，不仅方便存储、展示，而且利于火灾识别时的分析处理。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于多光谱相机的图像融合***的一个具体示例的原理框图；
图2为本发明实施例中的多光谱图像采集模块的一个具体示例的结构示意框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通；可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种基于多光谱相机的图像融合***，如图1所示，所述***包括：多光谱图像采集模块1、第一处理器2和第二处理器3；
所述多光谱图像采集模块1用于针对同一拍摄区域采集多张不同光谱带的图像；
所述第一处理器2，用于对所述多张不同光谱带的图像进行去噪处理和图像增强，得到多张第一图像；
所述第二处理器3，用于对多张所述第一图像进行配准，得到多张第二图像；还用于对配准后的多张所述第二图像进行融合。
本发明实施例能够智能地将多光谱相机采集得到的多张不同光谱带的图像进行融合得到一张多光谱图像，不同的光谱带的图像中的图像信息不一样，将多张带有不同光谱带图像信息的图像融合，可以得到一张图像信息更加丰富的图像。将多张不同光谱带的图像融合成一张多光谱图像，可以便于后续的分析和展示。在火灾预警场景中，利用多光谱图像进行火灾识别可以大大提高火灾识别精度，在火灾起始时期及时识别到的火灾，可以避免火灾蔓延，最大程度减少损失和伤害，对多张不同光谱带的图像进行融合，不仅方便存储、展示，而且利于火灾识别时的分析处理。
其中一种可选的具体实施方式中，所述第二处理器3，用于利用图像融合模型对配准后的多张所述第二图像进行融合；
所述图像融合模型至少包括神经网络滤波器、循环神经网络模块、超限学习机自编码器和堆叠去噪自编码器；
所述神经网络滤波器至少包括卷积层和反卷积层以及位于所述卷积层和所述反卷积层之间的对称连接层，用于对所述第二图像进行特征提取，以输出所述第二图像的第一特征；其中，所述卷积层的层数和所述反卷积层的层数相同，且所述卷积层和所述反卷积层相对于所述对称连接层对称；
所述循环神经网络模块，用于根据所述第一特征，输出所述第二图像的第二特征；
所述超限学习机自编码器，用于对所述循环神经网络模块输出的所述第二特征进行特征融合；
所述堆叠去噪自编码器，用于根据融合后的所述第二特征进行图像融合。
本实施例中，利用深度学习网络模型对多张不同光谱带的图像进行智能融合，融合的效率更高，而且随着模型的不断优化，融合的效果也会越来越好。
进一步可选的，所述图像融合模型是通过以下方式训练得到：
随机选取所述图像融合模型的参数；
使用受限玻尔兹曼机对所述图像融合模型中的所述神经网络滤波器的参数进行预训练；
使用去噪自编码器对所述图像融合模型的参数进行逐层预训练；
用反向传播算法对所述图像融合模型的参数进行调整；
使用去噪自编码器对所述图像融合模型的参数进行逐层预训练时使用的损失函数为：
Figure GDA0003455679980000081
其中，y、x为训练样本通过所述图像融合模型进行融合后得到的融合图像、样本中通过其他融合方式得到的融合图像，f(W)为权重衰减项，a为权重值，m＝1，2，3…，M，M为所述堆叠去噪自编码器中隐藏层神经单元的数量，b为稀疏性参数，
Figure GDA0003455679980000082
为第m个隐藏神经单元的平均活跃度。
本实施例中，所述图像融合模型的训练样本可以利用其他方式对多张不同光谱带的图像进行融合得到融合后的图像，且该融合后的图像是经过评估认为融合效果较好的融合图像。为了提升训练样本的数量，从而提高训练效果，可以对上述利用其他方式进行融合得到的融合图像及融合前的多张不同光谱带的图像分别按照同样的方式进行切割，从而得到多组训练样本。
另外，还可以通过信息熵、标准差和/或平均梯度对融合后的图像进行评价，使得所述图像融合模型对多张不同光谱带的图像进行融合得到的融合图像的信息熵、标准差和/或平均梯度尽可能大。
另一种可选的具体实施方式中，所述第二处理器3还用于分别对多张所述第二图像进行区域划分，从同一所述第二图像中划分出的相邻区域之间的清晰度不同；
根据多张所述第二图像中各自的区域划分情况下，确定所有所述第二图像中的区域划分方式；所有所述第二图像的区域划分方式是一样的；
利用确定的所述区域划分方式分别对所述第二图像进行区域划分；
针对所述第二图像中的第一区域，根据各所述第二图像中所述第一区域的清晰度确定在对所述第一区域进行融合时各所述第二图像的融合权重；其中，所述第一区域为所述第二图像中的任一区域；
根据确定的所述融合权重，融合所述第二图像中的所述第一区域。
其中，融合权重是根据区域中的清晰度确定，其中一张所述第二图像中的所述第一区域的清晰度越高，那么其融合权重越高。
由于不同光谱带图像中同一细节的清晰度可能存在不同，因此本实施例中为了提升融合图像的质量，根据同一细节在不同图像中的清晰度不同确定融合时各图像的权重值。
进一步可选的，所述第二处理器3还用于计算所述第二图像的局部熵，获取所述第二图像中的纹理图像；
对所述纹理图像进行腐蚀、膨胀处理和五值化处理，然后标记出连通域；
利用所述连通域作为掩膜对所述第二图像进行区域划分，得到临时区域；
计算所述临时区域内的各像素点的灰度值；
根据所述临时区域内的各像素点的灰度值，计算灰度均方差；
根据所述灰度均方差确定所述临时区域的清晰度；
若相邻的所述临时区域的清晰度相同，则合并为一个区域。
临时区域的清晰度的计算方式还可以是其他现有的方式，具体可以参考相关现有技术，这里不作具体说明。
其他可选的具体实施方式中，可以利用卷积神经网络对多张所述第二图像进行区域划分。其训练样本可以通过上述方法进行区域划分。
第三种可选的具体实施方式中，所述第二处理器3还用于分别获取多张所述第二图像的灰度均值，根据各张所述第二图像的灰度均值之间的比值确定融合权重；
分别对多张所述第二图像进行连续上采样，获得每张所述第二图像的上采样金字塔；
根据所述融合权重，将各张所述第二图像的上采样金字塔的各层信息分别进行叠加得到融合图像的上采样金字塔；
对所述融合图像的上采样金字塔，利用自下向上的递推方法得到最终融合图像。
本实施例中，，从不同空间尺度上对图像分别进行融合，再融合不同空间尺度的图像得到最终融合图像，可以提升图像中各细节特征的融合效果。在构建图像金字塔时采用上采样的方式，与下采样方式相比，可以最大程度保留图像细节，从而提高融合图像的清晰度。
可选的，所述第二处理器3用于获取所述第二图像中每个待插值像素点位置相邻的8个像素点的灰度值；
根据所述8个像素点的灰度值和预先确定的卷积核，确定所述待插值像素点位置处的灰度值。
可选的，所述第二处理器3用于针对所述融合图像的上采样金字塔中的下层图像进行下采样，得到与相邻的上一层图像尺寸相同的临时图像；
计算所述临时图像与相邻的上一层图像的差值图像；
将所述差值图像与相邻的上一层图像按照平均梯度取最大法进行相加融合。
另一种可选的具体实施方式中，分别使用滤波器对多张所述第二图像进行滤波处理筛选出所述第二图像中清晰度高的区域，对滤波处理后的所述第二图像进行图像融合。
可选的，所述第一处理器2用于对所述多张不同光谱带的图像分别进行离散傅里叶变换，得到所述不同光谱带的图像的频谱图；
获取所述频谱图中的高频区域和低频区域；
分别对所述频谱图中的高频区域和低频区域进行增强处理；
对处理后的所述频谱图进行重构，得到不同光谱带的增强图像。
具体的，可以按照以下公式对频谱图中的高频区域和低频区域进行增强处理：
P′＝(P(1-G))μ
其中，P、P′为处理前后的高频区域或低频区域，G、μ为处理系数，针对高频区域进行处理和针对低频区域进行处理时取值不同。
本发明实施例通过对图像进行傅里叶变换得到频谱图，并对该频谱图中的低频区域和高频区域分别进行处理来实现图像增强，相比基于原图像进行频谱增强的效果更好。
其他可选的具体实施方式中，所述第一处理器2用于分别提取所述多张不同光谱带的图像中相邻像素点的对比度大于第一对比度阈值的第一区域、对比度小于或等于所述第一对比度阈值且大于第二对比度阈值的第二区域、对比度小于所述第二对比度阈值的第三区域；
对所述第一区域、所述第二区域和所述第三区域分别采用不同的方式进行增强处理。
可选的，所述第二处理器3用于对待配准的两张所述第一图像分别进行边缘检测；
从其中一张所述第一图像中选取多段连续的第一边缘，所述第一边缘离散分布于所述第一图像中的各个位置；
针对每一所述第一边缘，将其与另一张所述第一图像中检测到的边缘进行几何特征匹配，得到匹配相似度；
若从另一张所述第一图像中匹配到匹配相似度大于第一预设阈值的匹配边缘，则将所述第一边缘记为第二边缘；
针对每一所述第二边缘，按照所述第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则确定配准位置和配准角度；
按照所述配准位置和所述配准角度对两张所述第一图像进行配准。
进一步可选的，所述针对每一所述第二边缘，按照所述第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则确定配准位置和配准角度，包括：
从所述第二边缘中选择一段第二边缘，按照该第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则确定可选配准位置和可选配准角度；获取在按照所述可选配准位置和所述可选配准角度进行配准时，其他的第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差；
重复上述步骤，直至获取根据每一所述第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差确定的可选配准位置和可选配准角度；
按照其他的第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则，选择其中一段所述第二边缘对应的可选配准位置和可选配准角度，作为所述配准位置和所述配准角度。
另外，所述多光谱图像采集模块1可以是多相机型多光谱相机，所述第一处理器和所述第二处理器可以是多相机型多光谱相机以外的其他处理器。所述多光谱图像采集模块1还可以是单镜头多光谱相机中的图像采集模块，所述第一处理器和所述第二处理器可以是单镜头多光谱相机中的处理器，也可以是单镜头多光谱相机以外的处理器。如图2所示，单镜头多光谱相机可以包括一个镜头11、液晶可调滤色片12和图像传感器13。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (6)

1.一种基于多光谱相机的图像融合***，其特征在于，包括：
多光谱图像采集模块、第一处理器和第二处理器；
所述多光谱图像采集模块用于针对同一拍摄区域采集多张不同光谱带的图像；
所述第一处理器，用于对所述多张不同光谱带的图像进行去噪处理和图像增强，得到多张第一图像；
所述第二处理器，用于对多张所述第一图像进行配准，得到多张第二图像；还用于对配准后的多张所述第二图像进行融合；
所述第二处理器，用于利用图像融合模型对配准后的多张所述第二图像进行融合；
所述图像融合模型至少包括神经网络滤波器、循环神经网络模块、超限学习机自编码器和堆叠去噪自编码器；
所述神经网络滤波器至少包括卷积层和反卷积层以及位于所述卷积层和所述反卷积层之间的对称连接层，用于对所述第二图像进行特征提取，以输出所述第二图像的第一特征；其中，所述卷积层的层数和所述反卷积层的层数相同，且所述卷积层和所述反卷积层相对于所述对称连接层对称；
所述循环神经网络模块，用于根据所述第一特征，输出所述第二图像的第二特征；
所述超限学习机自编码器，用于对所述循环神经网络模块输出的所述第二特征进行特征融合；
所述堆叠去噪自编码器，用于根据融合后的所述第二特征进行图像融合；
所述图像融合模型是通过以下方式训练得到：
随机选取所述图像融合模型的参数；
使用受限玻尔兹曼机对所述图像融合模型中的所述神经网络滤波器的参数进行预训练；
使用去噪自编码器对所述图像融合模型的参数进行逐层预训练；
用反向传播算法对所述图像融合模型的参数进行调整；
使用去噪自编码器对所述图像融合模型的参数进行逐层预训练时使用的损失函数为：
Figure FDA0003660522130000021
其中，y、x为训练样本通过所述图像融合模型进行融合后得到的融合图像、样本中通过其他融合方式得到的融合图像，f(W)为权重衰减项，a为权重值，m＝1,2,3…,M，M为所述堆叠去噪自编码器中隐藏层神经单元的数量，b为稀疏性参数，
Figure FDA0003660522130000022
为第m个隐藏神经单元的平均活跃度；
所述第二处理器还用于分别获取多张所述第二图像的灰度均值，根据各张所述第二图像的灰度均值之间的比值确定融合权重；
分别对多张所述第二图像进行连续上采样，获得每张所述第二图像的上采样金字塔；
根据所述融合权重，将各张所述第二图像的上采样金字塔的各层信息分别进行叠加得到融合图像的上采样金字塔；
对所述融合图像的上采样金字塔，利用自下向上的递推方法得到最终融合图像；
所述第二处理器用于针对所述融合图像的上采样金字塔中的下层图像进行下采样，得到与相邻的上一层图像尺寸相同的临时图像；
计算所述临时图像与相邻的上一层图像的差值图像；
将所述差值图像与相邻的上一层图像按照平均梯度取最大法进行相加融合；
所述第一处理器用于分别提取所述多张不同光谱带的图像中相邻像素点的对比度大于第一对比度阈值的第一区域、对比度小于或等于所述第一对比度阈值且大于第二对比度阈值的第二区域、对比度小于所述第二对比度阈值的第三区域；
对所述第一区域、所述第二区域和所述第三区域分别采用不同的方式进行增强处理。
2.根据权利要求1所述的***，其特征在于，所述第二处理器还用于分别对多张所述第二图像进行区域划分，从同一所述第二图像中划分出的相邻区域之间的清晰度不同；
根据多张所述第二图像中各自的区域划分情况下，确定所有所述第二图像中的区域划分方式；所有所述第二图像的区域划分方式是一样的；
利用确定的所述区域划分方式分别对所述第二图像进行区域划分；
针对所述第二图像中的第一区域，根据各所述第二图像中所述第一区域的清晰度确定在对所述第一区域进行融合时各所述第二图像的融合权重；其中，所述第一区域为所述第二图像中的任一区域；
根据确定的所述融合权重，融合所述第二图像中的所述第一区域。
3.根据权利要求2所述的***，其特征在于，所述第二处理器还用于计算所述第二图像的局部熵，获取所述第二图像中的纹理图像；
对所述纹理图像进行腐蚀、膨胀处理和五值化处理，然后标记出连通域；
利用所述连通域作为掩膜对所述第二图像进行区域划分，得到临时区域；
计算所述临时区域内的各像素点的灰度值；
根据所述临时区域内的各像素点的灰度值，计算灰度均方差；
根据所述灰度均方差确定所述临时区域的清晰度；
若相邻的所述临时区域的清晰度相同，则合并为一个区域。
4.根据权利要求1所述的***，其特征在于，所述第二处理器用于获取所述第二图像中每个待插值像素点位置相邻的8个像素点的灰度值；
根据所述8个像素点的灰度值和预先确定的卷积核，确定所述待插值像素点位置处的灰度值。
5.根据权利要求1所述的***，其特征在于，所述第一处理器用于对所述多张不同光谱带的图像分别进行离散傅里叶变换，得到所述不同光谱带的图像的频谱图；
获取所述频谱图中的高频区域和低频区域；
分别对所述频谱图中的高频区域和低频区域进行增强处理；
对处理后的所述频谱图进行重构，得到不同光谱带的增强图像。
6.根据权利要求1所述的***，其特征在于，所述第二处理器用于对待配准的两张所述第一图像分别进行边缘检测；
从其中一张所述第一图像中选取多段连续的第一边缘，所述第一边缘离散分布于所述第一图像中的各个位置；
针对每一所述第一边缘，将其与另一张所述第一图像中检测到的边缘进行几何特征匹配，得到匹配相似度；
若从另一张所述第一图像中匹配到匹配相似度大于第一预设阈值的匹配边缘，则将所述第一边缘记为第二边缘；
针对每一所述第二边缘，按照所述第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则确定配准位置和配准角度；
按照所述配准位置和所述配准角度对两张所述第一图像进行配准。
CN202111427043.4A 2021-11-28 2021-11-28 一种基于多光谱相机的图像融合*** Active CN114119443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111427043.4A CN114119443B (zh) 2021-11-28 2021-11-28 一种基于多光谱相机的图像融合***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111427043.4A CN114119443B (zh) 2021-11-28 2021-11-28 一种基于多光谱相机的图像融合***

Publications (2)

Publication Number Publication Date
CN114119443A CN114119443A (zh) 2022-03-01
CN114119443B true CN114119443B (zh) 2022-07-01

Family

ID=80370963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111427043.4A Active CN114119443B (zh) 2021-11-28 2021-11-28 一种基于多光谱相机的图像融合***

Country Status (1)

Country Link
CN (1) CN114119443B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393406B (zh) * 2022-08-17 2024-05-10 中船智控科技(武汉)有限公司 一种基于孪生卷积网络的图像配准方法
CN115272326A (zh) * 2022-09-28 2022-11-01 南通蘅田电子科技有限公司 一种电子元器件表面裂痕的检测方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112263A (zh) * 2014-06-28 2014-10-22 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
CN104200452A (zh) * 2014-09-05 2014-12-10 西安电子科技大学 基于谱图小波变换的红外与可见光图像融合方法及其装置
CN107038421A (zh) * 2017-04-17 2017-08-11 杭州电子科技大学 基于稀疏堆栈自编码的调制样式识别方法
CN107610692A (zh) * 2017-09-22 2018-01-19 杭州电子科技大学 基于神经网络堆叠自编码器多特征融合的声音识别方法
CN109711314A (zh) * 2018-12-21 2019-05-03 西安电子科技大学 基于特征融合与sae的雷达辐射源信号分类方法
CN109859153A (zh) * 2019-01-18 2019-06-07 武汉大学 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法
CN110555841A (zh) * 2019-09-10 2019-12-10 西安电子科技大学 基于自注意图像融合和dec的sar图像变化检测方法
CN111105346A (zh) * 2019-11-08 2020-05-05 同济大学 基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法
CN111340722A (zh) * 2020-02-20 2020-06-26 Oppo广东移动通信有限公司 图像处理方法、处理装置、终端设备及可读存储介质
CN111798396A (zh) * 2020-07-01 2020-10-20 中通服咨询设计研究院有限公司 一种基于小波变换的多功能图像处理方法
CN112232280A (zh) * 2020-11-04 2021-01-15 安徽大学 基于自编码器与3d深度残差网络的高光谱图像分类方法
CN112634882A (zh) * 2021-03-11 2021-04-09 南京硅基智能科技有限公司 端到端实时语音端点检测神经网络模型、训练方法
CN112862871A (zh) * 2021-01-20 2021-05-28 华中科技大学 图像融合方法及装置
CN112861983A (zh) * 2021-02-24 2021-05-28 广东拓斯达科技股份有限公司 图像匹配方法、装置、电子设备以及存储介质
CN113554112A (zh) * 2021-07-30 2021-10-26 西安交通大学 一种遥感图像融合方法、***、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096913B (zh) * 2011-01-25 2012-06-27 西安电子科技大学 压缩感知框架下的多策略图像融合方法
CN103854255A (zh) * 2012-11-29 2014-06-11 比亚迪股份有限公司 图像增强方法及装置
US10891527B2 (en) * 2019-03-19 2021-01-12 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
CN111080724B (zh) * 2019-12-17 2023-04-28 大连理工大学 一种红外和可见光的融合方法
CN111695407B (zh) * 2020-04-23 2023-04-07 西安电子科技大学 基于多光谱融合的性别识别方法、***、存储介质及终端

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112263A (zh) * 2014-06-28 2014-10-22 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
CN104200452A (zh) * 2014-09-05 2014-12-10 西安电子科技大学 基于谱图小波变换的红外与可见光图像融合方法及其装置
CN107038421A (zh) * 2017-04-17 2017-08-11 杭州电子科技大学 基于稀疏堆栈自编码的调制样式识别方法
CN107610692A (zh) * 2017-09-22 2018-01-19 杭州电子科技大学 基于神经网络堆叠自编码器多特征融合的声音识别方法
CN109711314A (zh) * 2018-12-21 2019-05-03 西安电子科技大学 基于特征融合与sae的雷达辐射源信号分类方法
CN109859153A (zh) * 2019-01-18 2019-06-07 武汉大学 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法
CN110555841A (zh) * 2019-09-10 2019-12-10 西安电子科技大学 基于自注意图像融合和dec的sar图像变化检测方法
CN111105346A (zh) * 2019-11-08 2020-05-05 同济大学 基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法
CN111340722A (zh) * 2020-02-20 2020-06-26 Oppo广东移动通信有限公司 图像处理方法、处理装置、终端设备及可读存储介质
CN111798396A (zh) * 2020-07-01 2020-10-20 中通服咨询设计研究院有限公司 一种基于小波变换的多功能图像处理方法
CN112232280A (zh) * 2020-11-04 2021-01-15 安徽大学 基于自编码器与3d深度残差网络的高光谱图像分类方法
CN112862871A (zh) * 2021-01-20 2021-05-28 华中科技大学 图像融合方法及装置
CN112861983A (zh) * 2021-02-24 2021-05-28 广东拓斯达科技股份有限公司 图像匹配方法、装置、电子设备以及存储介质
CN112634882A (zh) * 2021-03-11 2021-04-09 南京硅基智能科技有限公司 端到端实时语音端点检测神经网络模型、训练方法
CN113554112A (zh) * 2021-07-30 2021-10-26 西安交通大学 一种遥感图像融合方法、***、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multispectral Image Filtering Method Based on Image Fusion;Wei Zhang等;《PROCEEDINGS OF SPIE》;20151217;第1-5页 *
基于卷积神经网络的多光谱与全色遥感图像融合算法;韩文军 等;《南京师大学报（自然科学版）》;20210930;第44卷(第3期);第123-130页 *
基于多特征融合的3D打印面具攻击检测;陆经纬 等;《激光与光电子学进展》;20190228;第56卷(第3期);第1-11页 *

Also Published As

Publication number Publication date
CN114119443A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN114119443B (zh) 一种基于多光谱相机的图像融合***
CN108549874B (zh) 一种目标检测方法、设备及计算机可读存储介质
CN111062378B (zh) 图像处理方法、模型训练方法、目标检测方法及相关装置
US10657425B2 (en) Deep learning architectures for the classification of objects captured with a light-field camera
CN110431404A (zh) 表面缺陷检查方法及表面缺陷检查装置
CN110520768B (zh) 高光谱光场成像方法和***
CN112288663A (zh) 一种红外与可见光图像融合方法及***
CN102647941A (zh) 用于执行光电容积描记的方法和***
EP0499627A1 (en) Dynamic method for recognizing objects and image processing system therefor
CN109191513B (zh) 基于全局优化的电力设备立体匹配方法
CN112019719B (zh) 基于光学分幅光场相机的高分辨率光场***和成像方法
KR101928391B1 (ko) 다중분광 영상과 레이더 영상의 융합방법 및 장치
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及***
van Zwanenberg et al. Edge detection techniques for quantifying spatial imaging system performance and image quality
Duan et al. Infrared and visible image fusion using multi-scale edge-preserving decomposition and multiple saliency features
CN112613568A (zh) 基于可见光及红外多光谱图像序列的目标识别方法和装置
CN109598284A (zh) 一种基于大间隔分布和空间特征的高光谱图像分类方法
CN114694043A (zh) 复杂场景下机载多光谱多域优选特征的地面伤员识别方法、装置及介质
CN113379658A (zh) 一种无人机观测目标特征双光融合方法及***
CN104992426B (zh) 一种用于明场显微成像的多层图像融合算法
CN110033408B (zh) 针对多云雨地区的sar与多光谱遥感数据的融合方法
Espinola et al. Novel methodologies for the measurement of atmospheric turbulence effects
CN113408545B (zh) 一种基于微光学器件的端到端光电检测***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant