CN114972022B - 一种基于非对齐rgb图像的融合高光谱超分辨率方法和*** - Google Patents

一种基于非对齐rgb图像的融合高光谱超分辨率方法和*** Download PDF

Info

Publication number
CN114972022B
CN114972022B CN202210401740.0A CN202210401740A CN114972022B CN 114972022 B CN114972022 B CN 114972022B CN 202210401740 A CN202210401740 A CN 202210401740A CN 114972022 B CN114972022 B CN 114972022B
Authority
CN
China
Prior art keywords
image
resolution
hyperspectral
rgb
hyperspectral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210401740.0A
Other languages
English (en)
Other versions
CN114972022A (zh
Inventor
付莹
赖泽强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210401740.0A priority Critical patent/CN114972022B/zh
Publication of CN114972022A publication Critical patent/CN114972022A/zh
Application granted granted Critical
Publication of CN114972022B publication Critical patent/CN114972022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于非对齐RGB图像的融合高光谱超分辨率方法和***，属于超分辨率成像技术领域。首先基于深度学习理论，针对RGB图像与高光谱图像分别构建深度RGB图像特征提取器和高光谱图像特征提取器。使用特征提取器分别提取RGB参考图像和高光谱图像的多层级特征。使用多层级的深度光流估计网络，将RGB参考图像与高光谱图像的多层级特征进行对齐。当得到对齐的RGB图像特征以及高光谱图像特征之后，构建深度自适应特征解码器，对对齐后的特征进行解码，重建出高分辨率的高光谱图像。本方法无需显式的中间步骤与人工干预，仅使用高光谱相机、RGB相机以及必要的固定装置的情况下，利用拍摄到的不对齐的高分辨率RGB图像，对低分辨率高光谱进行空间超分辨率。

Description

一种基于非对齐RGB图像的融合高光谱超分辨率方法和***
技术领域
本发明涉及一种基于非对齐RGB图像的融合高光谱超分辨率方法和***，属于计算摄像学中的超分辨率成像技术领域。
背景技术
不同于传统黑白图像和RGB图像，高光谱图像在光谱维度上具有更为细致的划分，高光谱图像可能包含数百至数千个波段，因此，高光谱图像不仅可以获取到物体的图像特征，还可以获取物体的光谱特征。这种特性使得高光谱图像在各种探测领域极为实用，因为不同的实际物体会在电磁频谱中留下唯一的“光谱指纹”，这些指纹可以被用来识别物体的组成成分。例如，石油的光谱特征可以帮助矿物学家找到油田。
现有的高光谱成像设备，往往依赖于大量高灵敏度的传感器、高速电脑，以及海量存储设备来拍摄高光谱图像。这导致了高光谱成像***十分复杂、价格昂贵。为降低成本，现有的商用高光谱相机往往会在保证光谱分辨率的情况下，牺牲部分空间分辨率。
高光谱超分辨率技术，旨在使用软件的方法来提高高光谱图像的空间分辨率。现有的高光谱分辨率技术根据输入可以分为两种，一种是只输入单张低分辨率高光谱图像，通过算法重建出缺失高频细节以提高空间分辨率，这种方法通常被称为高光谱单图超分。另一种是同时输入一张低分辨率的高光谱图像和一张匹配的高分辨率RGB图像，利用RGB的高分辨率空间信息辅助高光谱的超分辨率，这种方法被称为高光谱融合。
现有的高光谱单图超分算法，大部分依赖于深度学习方法。此类基于深度学习的高光谱单图超分算法，通常使用精心设计的深层非线性神经网络来对低分辨率高光谱图像到高分辨率高光谱图像的映射进行建模，然后利用相关数据以及合适的损失函数优化网络的参数进行训练，使其逼近真实的映射关系。这类方法往往能在一定的放大倍率内(小于四倍)取得相当不错的结果。但是，对于更大的放大倍率(大于四倍)，这类单图超分算法却无法取得令人满意的结果。
高光谱融合方法，利用匹配的高分辨率的RGB图像作为辅助，进行高光谱图像超分。此类方法，有些是基于优化方法设计各种先验约束，也有一些基于深度学习。得益于配对的高分辨率RGB图像，这类方法往往能够在高放大倍率上取得较高光谱单图超分方法更好的效果。其主要缺点在于，大部分现有方法都依赖于RGB图像和高光谱图像是精确对齐的，如果RGB参考图像与高光谱图像不对齐，则这类方法的超分效果则会大打折扣。
精确对齐的高分辨率RGB参考图像在实际应用中的获取并不容易，往往需要借助分光镜将输入光路分为两路，然后分别由高光谱相机和RGB相机同时进行成像。与此同时，为了实现精确对齐，整个成像***还需要精确校准。这一系列要求，会大幅提升***的复杂度，并使成本大幅增加，且由于分光镜的使用会进一步降低输入光路的亮度，对高光谱成像十分不利。
因此，围绕如何提升高光谱图像成像质量、降低整体***成本，扩大高光谱图像应用场景，迫切需要一种能够在高分辨率RGB参考图像与低分辨率高光谱图像不完全对齐的情况下，仍能够保持较好表现的高光谱融合超分辨率方法与***。
发明内容
本发明的目的是针对现有技术存在的不足，为减少现有高光谱融合超分辨率技术对RGB参考图像精确对齐的依赖，创造性地提出一种基于非对齐RGB图像的融合高光谱超分辨率方法和***。
本发明采用以下技术方案实现。
一种基于非对齐RGB图像的融合高光谱超分辨率方法，以低分辨率的高光谱图像以及其对应的高分辨率RGB参考图像作为输入，并且不要求RGB参考图像与高光谱图像完全对齐。
本发明所述的高光谱超分辨率方法，用于提高高光谱图像的空间分辨率。将待处理的图像称为低分辨率高光谱图像，将经过超分辨率之后的图像称为相对的高分辨率高光谱图像。高分辨率RGB图像与高分辨率高光谱图像拥有相同的分辨率。高分辨率与低分辨率之间的分辨率差距，取决于模型运行时指定的缩放倍数。
步骤1：构建神经网络；
首先，基于深度学习理论，针对RGB图像与高光谱图像，分别构建深度RGB图像特征提取器和高光谱图像特征提取器；使用这两个特征提取器，分别提取RGB参考图像和高光谱图像的多层级特征；
之后，使用多层级的深度光流估计网络，将RGB参考图像与高光谱图像的多层级特征进行对齐；
得到对齐的RGB图像特征以及高光谱图像特征之后，构建深度自适应特征解码器，对对齐后的特征进行解码，重建出高分辨率的高光谱图像；
步骤2：训练阶段；
使用处理后的非对齐高光谱融合数据集，迭代训练步骤1构建的神经网络的可训练参数并进行存储；
之后，基于SIFT和RANSAC的对齐算法，对图像对进行对齐，使用光谱响应函数合成高光谱图像对应的合成RGB图像；使用基于直方图的颜色匹配算法，对合成RGB图像以及非对齐参考RGB图像进行颜色匹配；将采集到的高分辨率高光谱图像降采样，得到合成低分辨率高光谱图像；将处理好的数据作为训练数据；
步骤3：使用阶段，利用步骤1训练阶段得到的模型参数，根据输入的高光谱图像和RGB参考图像，预测对应的高分辨率高光谱图像；
首先将合成低分辨率高光谱图像以及配对的RGB图像输入深度神经网络，获得预测的高分辨率高光谱图像；然后，将预测图像与训练场景的真实高分辨率图像，计算均方误差损失函数；之后，使用反向传播技术计算深度神经网络各个节点的梯度，使用参数优化器更新网络参数；重复使用数据集中的每个样本，反复执行更新，直至损失降到设定阈值以下。
进一步地，为了有效实施上述方法，本发明提出了一种基于非对齐RGB图像的融合高光谱超分辨率***，包括数据采集子***、数据处理子***、训练子***和推理子***。
其中，数据采集子***用于采集配对的非对齐高分辨率RGB图像与低分辨率高光谱图像。这些数据将被用于训练。
可选地，数据采集子***包含高光谱相机、RGB相机和相机固定装置，其中，高光谱相机与RGB相机平行固定在固定装置上。通过调整两台相机的角度与焦距，使其能够拍摄出包含同一场景的清晰图像。
数据处理子***用于对数据采集子***采集到的不对齐图像对进行处理。具体地，处理内容可以包括：使用基于SIFT(尺度不变特征变换，Scale-invariant featuretransform)和RANSAC(随机抽样一致算法，RANdom SAmple Consensus)的对齐算法，对图像对进行对齐，使用光谱响应函数合成高光谱图像对应的合成RGB图像。使用基于直方图的颜色匹配算法，对合成RGB图像以及非对齐参考RGB图像进行颜色匹配。将采集到的高分辨率高光谱图像降采样，得到合成低分辨率高光谱图像。将处理好的数据作为训练数据。
训练子***使用经数据处理子***处理过的训练数据，对深度神经网络模型进行训练。具体地，首先将合成低分辨率高光谱图像以及配对的RGB图像输入深度神经网络，获得预测的高分辨率高光谱图像。然后，将预测图像与训练场景的真实高分辨率图像，计算均方误差损失函数。计算完成后，使用反向传播技术计算深度神经网络各个节点的梯度，之后使用参数优化器更新网络参数。重复使用数据集中的每个样本，反复执行更新，直至损失降到设定阈值以下。
推理子***使用训练好的深度神经网络模型进行推理，其输入是实际应用场景下的低分辨率高光谱图像以及不对齐的配对高分辨率RGB图像。在每次推理过程中，推理子***无需重复训练，每次均使用相同的深度神经网络模型。
有益效果
本发明，对比现有技术，具有以下优点：
1.本发明作为一种端到端的解决方案，在使用阶段能够直接根据输入的低分辨率高光谱图像和高分辨率RGB参考图像，无需显式的中间步骤与人工干预。
2.本发明能够在不需要特殊设备，仅使用高光谱相机、RGB相机以及必要的固定装置的情况下，利用拍摄到的不对齐的高分辨率RGB图像，实现对低分辨率高光谱进行空间超分辨率。
附图说明
图1是本发明方法核心算法模型的示意图。
图2是本发明***的组成示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实施例对发明做进一步说明。
传统的基于RGB图像的高光谱融合超分辨率方法通常使用手工设计的先验约束，根据高光谱图像的光谱特征，预测出RGB图像每个像素点完整的光谱信息。近年来，深度学习技术的发展使得这一类方法向数据驱动的方向进行发展。现有的基于高光谱融合的超分辨率技术通过设计特定的深度神经网络对RGB信息到光谱信息的映射关系进行建模，并使用大量数据进行训练拟合出映射关系。然而，这两种方法都基于RGB图像与光谱图像完全对齐的假设。考虑到现实生活中实现完全对齐的难度，这个假设很大程度上限制了它们的应用。
本实施例提出的一种基于非对齐RGB图像的融合高光谱超分辨率方法，基于深度学习理论，使用高分辨率RGB参考图像辅助低分辨率高光谱图像的空间超分辨率，且不要求RGB图像与高光谱图像完全对齐。如图1所示。
本实施例包含网络构建阶段、训练阶段和使用阶段。
步骤1：构建神经网络；
首先，基于深度学习理论，针对RGB图像与高光谱图像，分别构建深度RGB图像特征提取器和高光谱图像特征提取器；使用这两个特征提取器，分别提取RGB参考图像和高光谱图像的多层级特征；
之后，使用多层级的深度光流估计网络，将RGB参考图像与高光谱图像的多层级特征进行对齐；
得到对齐的RGB图像特征以及高光谱图像特征之后，构建深度自适应特征解码器，对对齐后的特征进行解码，重建出高分辨率的高光谱图像；
步骤2：训练阶段；
使用处理后的非对齐高光谱融合数据集，迭代训练步骤1构建的神经网络的可训练参数并进行存储；
之后，基于SIFT和RANSAC的对齐算法，对图像对进行对齐，使用光谱响应函数合成高光谱图像对应的合成RGB图像；使用基于直方图的颜色匹配算法，对合成RGB图像以及非对齐参考RGB图像进行颜色匹配；将采集到的高分辨率高光谱图像降采样，得到合成低分辨率高光谱图像；将处理好的数据作为训练数据；
步骤3：使用阶段，利用步骤1训练阶段得到的模型参数，根据输入的高光谱图像和RGB参考图像，预测对应的高分辨率高光谱图像；
首先将合成低分辨率高光谱图像以及配对的RGB图像输入深度神经网络，获得预测的高分辨率高光谱图像；然后，将预测图像与训练场景的真实高分辨率图像，计算均方误差损失函数；之后，使用反向传播技术计算深度神经网络各个节点的梯度，使用参数优化器更新网络参数；重复使用数据集中的每个样本，反复执行更新，直至损失降到设定阈值以下。
实施例
本实施例公开的一种基于非对齐RGB图像的融合高光谱超分辨率***，包括数据采集子***、数据处理子***、训练子***和推理子***。如图2所示。
其中，数据采集子***用于采集配对的非对齐高分辨率RGB图像与低分辨率高光谱图像。这些数据将被用于训练。
可选地，数据采集子***包含高光谱相机、RGB相机和相机固定装置，其中，高光谱相机与RGB相机平行固定在固定装置上。通过调整两台相机的角度与焦距，使其能够拍摄出包含同一场景的清晰图像。
数据处理子***用于对数据采集子***采集到的不对齐图像对进行处理。具体地，处理内容可以包括：使用基于SIFT(尺度不变特征变换，Scale-invariant featuretransform)和RANSAC(随机抽样一致算法，RANdom SAmple Consensus)的对齐算法，对图像对进行对齐，使用光谱响应函数合成高光谱图像对应的合成RGB图像。使用基于直方图的颜色匹配算法，对合成RGB图像以及非对齐参考RGB图像进行颜色匹配。将采集到的高分辨率高光谱图像降采样，得到合成低分辨率高光谱图像。将处理好的数据作为训练数据。
训练子***使用经数据处理子***处理过的训练数据，对深度神经网络模型进行训练。具体地，首先将合成低分辨率高光谱图像以及配对的RGB图像输入深度神经网络，获得预测的高分辨率高光谱图像。然后，将预测图像与训练场景的真实高分辨率图像，计算均方误差损失函数。计算完成后，使用反向传播技术计算深度神经网络各个节点的梯度，之后使用参数优化器更新网络参数。重复使用数据集中的每个样本，反复执行更新，直至损失降到设定阈值以下。
推理子***使用训练好的深度神经网络模型进行推理，其输入是实际应用场景下的低分辨率高光谱图像以及不对齐的配对高分辨率RGB图像。在每次推理过程中，推理子***无需重复训练，每次均使用相同的深度神经网络模型。
上述组成***之间的连接关系为：数据采集子***的输出端与数据处理子***的输入端相连，后者负责处理前者的数据。数据处理子***的输出端与训练子***的输入端相连，后者接受前者提供的数据，完成模型训练。训练子***的输出端与推理子***的输入端相连，后者使用前者训练好的模型，在实际部署时进行推理。
上述***的工作过程如下：
步骤1：使用数据采集子***，采集不对齐的高光谱图像和RGB参考图像对。
步骤2：使用数据处理子***，处理数据采集子***采集到的数据，进行初步对齐，裁剪出公共区域，并进行归一化与格式化，制作成数据集。
步骤3：将数据集送入训练子***，训练基于光流对齐的非对齐RGB图像的高光谱融合超分辨率网络模型。
步骤4：推理模块使用训练完成的模型，对实际场景的高光谱图像，以及RGB参考图像进行推理预测，得到预测的高分辨率高光谱图像。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于非对齐RGB图像的融合高光谱超分辨率方法，其特征在于，
将待处理的图像称为低分辨率高光谱图像，将经过超分辨率之后的图像称为相对的高分辨率高光谱图像；高分辨率RGB图像与高分辨率高光谱图像拥有相同的分辨率；高分辨率与低分辨率之间的分辨率差距，取决于模型运行时指定的缩放倍数；
以低分辨率的高光谱图像以及其对应的高分辨率RGB参考图像作为输入，并且不要求RGB参考图像与高光谱图像完全对齐；
步骤1：构建神经网络；
首先，基于深度学习理论，针对RGB图像与高光谱图像，分别构建深度RGB图像特征提取器和高光谱图像特征提取器；使用这两个特征提取器，分别提取RGB参考图像和高光谱图像的多层级特征；
之后，使用多层级的深度光流估计网络，将RGB参考图像与高光谱图像的多层级特征进行对齐；
得到对齐的RGB图像特征以及高光谱图像特征之后，构建深度自适应特征解码器，对对齐后的特征进行解码，重建出高分辨率的高光谱图像；
步骤2：训练阶段；
使用处理后的非对齐高光谱融合数据集，迭代训练步骤1构建的神经网络的可训练参数并进行存储；
之后，基于SIFT和RANSAC的对齐算法，对图像对进行对齐，使用光谱响应函数合成高光谱图像对应的合成RGB图像；使用基于直方图的颜色匹配算法，对合成RGB图像以及非对齐参考RGB图像进行颜色匹配；将采集到的高分辨率高光谱图像降采样，得到合成低分辨率高光谱图像；将处理好的数据作为训练数据；
步骤3：使用阶段，利用步骤1训练阶段得到的模型参数，根据输入的高光谱图像和RGB参考图像，预测对应的高分辨率高光谱图像；
首先将合成低分辨率高光谱图像以及配对的RGB图像输入深度神经网络，获得预测的高分辨率高光谱图像；然后，将预测图像与训练场景的真实高分辨率图像，计算均方误差损失函数；之后，使用反向传播技术计算深度神经网络各个节点的梯度，使用参数优化器更新网络参数；重复使用数据集中的每个样本，反复执行更新，直至损失降到设定阈值以下。
CN202210401740.0A 2022-04-18 2022-04-18 一种基于非对齐rgb图像的融合高光谱超分辨率方法和*** Active CN114972022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210401740.0A CN114972022B (zh) 2022-04-18 2022-04-18 一种基于非对齐rgb图像的融合高光谱超分辨率方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210401740.0A CN114972022B (zh) 2022-04-18 2022-04-18 一种基于非对齐rgb图像的融合高光谱超分辨率方法和***

Publications (2)

Publication Number Publication Date
CN114972022A CN114972022A (zh) 2022-08-30
CN114972022B true CN114972022B (zh) 2024-06-07

Family

ID=82978259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210401740.0A Active CN114972022B (zh) 2022-04-18 2022-04-18 一种基于非对齐rgb图像的融合高光谱超分辨率方法和***

Country Status (1)

Country Link
CN (1) CN114972022B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115479906A (zh) * 2022-09-27 2022-12-16 同济大学 基于rgb和高光谱图像融合的碎塑料和微塑料检测方法
CN116433551B (zh) * 2023-06-13 2023-08-22 湖南大学 基于双光路rgb融合的高分辨率高光谱成像方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598138A (zh) * 2020-04-24 2020-08-28 山东易华录信息技术有限公司 一种神经网络学习图像识别方法及装置
CN112184560A (zh) * 2020-12-02 2021-01-05 南京理工大学 基于深度闭环神经网络的高光谱图像超分辨优化方法
JPWO2022064901A1 (zh) * 2020-09-28 2022-03-31

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891527B2 (en) * 2019-03-19 2021-01-12 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598138A (zh) * 2020-04-24 2020-08-28 山东易华录信息技术有限公司 一种神经网络学习图像识别方法及装置
JPWO2022064901A1 (zh) * 2020-09-28 2022-03-31
CN112184560A (zh) * 2020-12-02 2021-01-05 南京理工大学 基于深度闭环神经网络的高光谱图像超分辨优化方法

Also Published As

Publication number Publication date
CN114972022A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
Zhang et al. SDNet: A versatile squeeze-and-decomposition network for real-time image fusion
Chen et al. Real-world single image super-resolution: A brief review
Zheng et al. Crossnet: An end-to-end reference-based super resolution network using cross-scale warping
CN114972022B (zh) 一种基于非对齐rgb图像的融合高光谱超分辨率方法和***
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
Biasutti et al. Lu-net: An efficient network for 3d lidar point cloud semantic segmentation based on end-to-end-learned 3d features and u-net
Joze et al. Imagepairs: Realistic super resolution dataset via beam splitter camera rig
Yu et al. Hallucinating unaligned face images by multiscale transformative discriminative networks
Yang et al. Progressively complementary network for fisheye image rectification using appearance flow
CN105678728A (zh) 分区域管理的高效超分辨率成像装置及方法
Albluwi et al. Image deblurring and super-resolution using deep convolutional neural networks
CN111861880A (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
Sun et al. Deep maximum a posterior estimator for video denoising
Shangguan et al. Learning cross-video neural representations for high-quality frame interpolation
Ziwei et al. Overview on image super resolution reconstruction
CN111105354A (zh) 基于多源深度残差网络的深度图像超分辨率方法及装置
CN113763300B (zh) 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
CN110378850A (zh) 一种结合块匹配和神经网络的变焦图像生成方法
CN110060208A (zh) 一种提高超分辨率算法重构性能的方法
CN112734636A (zh) 一种多源异构遥感影像的融合方法
Zhao et al. A simple yet effective pipeline for radial distortion correction
CN110895790A (zh) 基于后验降质信息估计的场景图像超分辨方法
Xiu et al. Double discriminative face super-resolution network with facial landmark heatmaps
WO2022252362A1 (zh) 一种结合几何和纹理的在线匹配优化方法和三维扫描***
CN114463192A (zh) 一种基于深度学习的红外视频畸变校正的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant