CN111968067B - 基于硅传感器相机的短波红外图像处理方法、装置及设备 - Google Patents
基于硅传感器相机的短波红外图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN111968067B CN111968067B CN201910418875.6A CN201910418875A CN111968067B CN 111968067 B CN111968067 B CN 111968067B CN 201910418875 A CN201910418875 A CN 201910418875A CN 111968067 B CN111968067 B CN 111968067B
- Authority
- CN
- China
- Prior art keywords
- sub
- image
- network model
- conversion
- decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 title claims abstract description 65
- 229910052710 silicon Inorganic materials 0.000 title claims abstract description 65
- 239000010703 silicon Substances 0.000 title claims abstract description 65
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 128
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 2
- 238000003384 imaging method Methods 0.000 abstract description 17
- 238000012549 training Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 238000004088 simulation Methods 0.000 description 8
- 238000003331 infrared imaging Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种基于硅传感器相机的短波红外图像处理方法、装置及设备，该方法包括：获取待处理的原始图像，其中，所述原始图像为包括至少两个波段的红外图像；采用预先训练好的分解网络模型，对所述原始图像进行分解，获得各波段对应的分解子图像；采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像；采用预先训练好的重构网络模型，将各所述转换子图像进行合成，获得红外短波图像可以提高成像分辨率，还可以节省成本。
Description
技术领域
本申请涉及计算机视觉和图像处理技术领域，尤其涉及一种基于硅传感器相机的短波红外图像处理方法、装置及设备。
背景技术
人眼只能感知位于400-700nm的波长范围内的可见光，对于超过可见光范围的，人眼却无法感知，但是现实生活中存在很多情况是人眼无法感知的，例如。表面看起来完好无损的机器，但是其内部的缺陷人眼无法进行感知；再例如，人眼无法感知隐藏在大雾中的物体。
对于上述的问题，现有的数据相机无法识别，可以采用短波红外成像进行识别，捕获短波红外图像需要特殊的传感器，例如InGaAs传感器最常用，因为它可以在室温下稳定工作，并且还具有功率相对较低，体积小，灵敏度高等优点。尽管如此，与传统传感器相比，InGaAs传感器还存在各种缺点，例如低空间分辨率，高价格和高像素缺陷率，这严重限制了InGaAs传感器的广泛使用。
发明内容
本申请提供一种基于硅传感器相机的短波红外图像处理方法、装置及设备，以解决现有技术短波红外成像设备成本高等缺陷。
本申请第一个方面提供一种基于硅传感器相机的短波红外图像处理方法，包括：
获取待处理的原始图像，其中，所述原始图像为包括至少两个波段的红外图像；
采用预先训练好的分解网络模型，对所述原始图像进行分解，获得各波段对应的分解子图像；
采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像；
采用预先训练好的重构网络模型，将各所述转换子图像进行合成，获得红外短波图像。
本申请第二个方面提供一种基于硅传感器相机的短波红外图像处理装置，包括：
获取模块，用于获取待处理的原始图像，其中，所述原始图像为包括至少两个波段的红外图像；
分解模块，用于采用预先训练好的分解网络模型，对所述原始图像进行分解，获得各波段对应的分解子图像；
转换模块，用于采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像；
重构模块，用于采用预先训练好的重构网络模型，将各所述转换子图像进行合成，获得红外短波图像。
本申请第三个方面提供一种基于硅传感器相机的短波红外图像处理设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的方法。
本申请第四个方面提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的方法。
本申请提供的基于硅传感器相机的短波红外图像处理方法、装置及设备，通过对采集的原始图像进行分解网络模型、转换网络模型和重构网络模型的计算，获得短波红外图像，可以提高成像分辨率，还可以节省成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的基于硅传感器相机的短波红外图像处理方法的流程示意图；
图2为本申请一实施例提供的成像***的结构示意图；
图3为本申请一实施例提供的多通道成像***的结构示意图；
图4为本申请又一实施例提供的基于硅传感器相机的短波红外图像处理方法的流程示意图；
图5a为本申请一实施例提供的原始图像对应的波长的示意图；
图5b为本申请一实施例提供的分解子图像对应的波长的示意图；
图5c为本申请一实施例提供的转换子图像对应的波长的示意图；
图5d为本申请一实施例提供的红外短波图像对应的波长的示意图；
图6为本申请再一实施例提供的基于硅传感器相机的短波红外图像处理方法的流程示意图；
图7为本申请又一实施例提供的基于硅传感器相机的短波红外图像处理方法的流程示意图；
图8为本申请一实施例提供的基于硅传感器相机的短波红外图像处理装置的结构示意图；
图9为本申请一实施例提供的基于硅传感器相机的短波红外图像处理设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
本申请一实施例提供一种图像的处理方法，用于在保留硅传感器相机价格低廉、分辨率高等优势的基础上进行短波红外成像。本实施例的执行主体为基于硅传感器相机的短波红外图像处理装置，可以设置在基于硅传感器相机的短波红外图像处理设备上，其中，基于硅传感器相机的短波红外图像处理设备可以是任意的计算机设备，比如PC电脑、笔记本电脑、平板电脑等等。
图1为本实施例提供的基于硅传感器相机的短波红外图像处理方法的流程示意图，如图1所示，该方法包括：
S101、获取待处理的原始图像，其中，所述原始图像为包括至少两个波段的红外图像；
S102、采用预先训练好的分解网络模型，对所述原始图像进行分解，获得各波段对应的分解子图像；
S103、采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像；
S104、采用预先训练好的重构网络模型，将各所述转换子图像进行合成，获得红外短波图像。
具体地，S101步骤中，获取的原始图像为包含至少两个波段的红外图像，并且获得的原始图像的质量较低，例如，红外波长一般是大于950nm，在本申请实施例中可以根据需要任意选择合适的波段，如选择1000nm-1800nm的红外短波，获取的原始图像至少包括1000nm-1800nm的红外图像。
S102步骤中，在获取原始的红外图像后，采用预先训练好的分解网络模型，对所述原始的红外图像进行分解，获得不同波段对应的分解子图像，例如，获取的原始图像中的波段为1000nm-1800nm，在这个波段中，可以选择至少两个较窄波段，例如，选择5个较窄波段，如1000nm、1050nm、1100nm、1150nm和1200nm，也就是说原始的红外图像是上述这五个波段成像的结果，在申请实施例中，采用预先训练好的分解网络模型，将原始的红外图像分解成与所述五个波段相对应的分解子图像。
需要说明的是，上述较窄波段1000nm是以1000nm为中心点，前后覆盖一定范围的一个较窄波段，以波段范围为50nm为例，1000nm较窄波段的覆盖范围应为975nm-1025nm，其他的几个也类似。
S103步骤中，在获取到各个波段对应的分解子图像后，采用预先训练好的转换网络模型对获得的分解子图像进行转换，得到与各个分解子图像对应的转换子图像；
在上述实施例的基础上，可以获得5个转换子图像，并且与5个不同波段相对应。
S104步骤中，在获得转换子图像后，采用预先训练好的重构网络模型，对得到的5个转换子图像进行合成，得到高质量的红外短波图像。
本申请提供的基于硅传感器相机的昼夜通用图像处理方法，通过对采集的原始图像进行分解网络模型、转换网络模型和重构网络模型的计算，获得短波红外图像，可以提高成像分辨率，还可以节省成本。
本申请又一实施例对上述实施例提供的方法做进一步补充说明。
可选地，所述原始图像通过增加长通滤光片去除红外滤光片的硅传感器相机获得。
在上述实施例的基础上，图2为本申请一实施例提供的成像***的结构示意图，如图2所示，在硅传感器相机上去除红外滤光片，即硅传感器相机可以用来接收红外信号，也可以接收可见光信号，在本申请实施例中，需要去除可见光信号，因此，在硅传感器相机上增加长通滤光片，用于滤除可见光信号，从而获得红外波段图像，但质量较低。
示例性地，本申请实施例中采用的是安装有长通滤光片(Thorlabs FELH0950)的普通硅相机(GS3-U3-15S5N-C)，选择深度学习神经网络作为短波红外图像合成方法的一个具体实例，从而构建了一个虚拟的短波红外成像***，能够在保留硅传感器相机价格低廉、分辨率高等优势的基础上进行短波红外成像。
可选地，所述分解网络模型、所述转换网络模型和所述重构网络模型采用深度学习神经网络计算获得。
在上述实施例的基础上，本申请实施例中，采用的所述分解网络模型、所述转换网络模型和所述重构网络模型可以采用神经网络进行训练得到，在本申请实施例中优选地，采用深度学习神经网络进行训练。
分解子网络包含n个分支，由n个相同的模块构成，用来模拟不同的带通滤光片从长通滤光片信号中进行分离的效果；转换网络与分解网络相似，也包含n个分支，每个分支对当前波段的图像进行转换，模拟专业短波红外相机在该波段内拍摄的图像；重构网络则将转换网络的输出进行合并处理，进而生成最终的短波红外图像。
示例性地，图3为本申请一实施例提供的多通道成像***的结构示意图，如图3所示，在训练神经网络模型时，需要建立一套多通道成像***，包括：额外光源、1个分光片、1台电动旋转机、n个不同波段的带通滤光片、1个长通滤光片、1台硅传感器相机和1台专业短波红外相机；其中，电动旋转机用来保证滤光片的切换不会对图像对齐产生影响，例如在同一场景下的不同滤光片切换，分光片用来保证硅传感器相机和短波红外相机实现物理对齐。
具体地，本成像***的硬件包含：1个额外光源为卤素灯、1个分光片为ThorlabsCCN1-BS015、1个电动旋转机为Thorlabs FW102C、5个不同波段的带通滤光片分别为1000nm,1050nm,1100nm,1150nm和1200nm CWL,Ednund Hard Coated 0D 4 50nm bandpassFilter、1个长通滤光片为Thorlabs FELH0950、1个硅传感器相机GS3-U3-15S5N-C和1个短波红外相机为BK-51IGA。
在搭建好多通道成像***后，利用多通道光学成像***采集不同波段下硅传感器相机和专业短波红外相机拍摄的对齐的成对图像，为本申请实施例提出的短波红外图像合成方法提供所需的训练数据集，对于每个场景需要采集2n+2张图像，为样本数据，分别为：
硅传感器相机拍摄的低质量红外波段图像1张，记为A；
专业短波红外相机拍摄的高质量短波红外图像1张，记为B；
硅传感器相机在n个较窄的不同波段下拍摄的图像n张，记为C；
专业短波红外相机在n个较窄的不同波段下拍摄的图像n张，记为D；
图4为本申请又一实施例提供的基于硅传感器相机的短波红外图像处理方法的流程示意图，如图4所示，在获取到训练样本数据后，对样本数据进行训练，
在训练的过程中主要包含三个步骤：
(1)分解阶段：将硅传感器相机拍摄的低质量红外波段图像即为上述标记的A分解为类似n个较窄的不同波段下硅传感器相机拍摄的图像即为上述标记的C，该过程可以被视为模拟物理上使用带通滤波器截取来自长通滤波器信号的特定波段信号；
具体地，将带有长通滤光片的硅传感器相机拍摄的低质量红外波段图像分解为5张图像，每张图像代表硅传感器相机在5个较窄波段(1000nm,1050nm,1100nm,1150nm和1200nm)的成像结果；其中，图5a为本申请一实施例提供的原始图像对应的波长的示意图，如图5a所示，为低质量的红外波段图像的波长，图5b为本申请一实施例提供的分解子图像对应的波长的示意图，如图5b所示，为将低质量的红外波段图像进行分解后，得到的分解子图像的波长。
也就是说，在此阶段，输入为硅传感器相机拍摄的低质量红外波段图像，输出为n张较窄的不同波段下硅传感器拍摄图像的模拟结果，理想情况下，该n张图像应该无限接近于上述标记为C的硅传感器相机拍摄的n张图像。
(2)转换阶段：在n个较窄波段内，依次对分解阶段得到的n个较窄的不同波段下硅传感器相机拍摄的图像进行处理，将其转化为接近专业短波红外相机在该波段下拍摄的图像；
具体的，学习5个不同波段内硅传感器相机和短波红外相机之间的映射关系，将不同波段的硅传感器相机拍摄的图像转换为相应波段短波红外相机拍摄的图像；
输入分解后的n张较窄的不同波段下硅传感器拍摄图像的模拟结果，输出为n张对应波段专业短波红外相机拍摄图像的模拟结果，理想情况下，该n张图像应该无限接近于上述标记为D的专业短波红外相机拍摄的n张图像，其中，图5c为本申请一实施例提供的转换子图像对应的波长的示意图，如图5c所示，为转换后的子图像的波长。
(3)重构阶段：将转换阶段得到的n个较窄波段下专业短波红外相机拍摄的图像进行综合，从而合成近似专业短波红外相机拍摄的高质量短波红外波段的图像。
具体地，根据转换阶段得到的5个不同的短波红外相机模拟图像合成近似专业短波红外相机拍摄的高质量短波红外图像。
输入转换后的子图像的张较窄的不同波段的短波红外相机拍摄图像的模拟结果，输出为专业短波红外相机拍摄的图像的模拟结果，理想情况下，该图像应该无限接近于上述标记为B的专业短波红外相加拍摄的图像，其中，图5d为本申请一实施例提供的红外短波图像对应的波长的示意图，如图5d所示，为最后得到的短波红外图像的波长。
作为一种可实施的方式，在上述实施例的基础上，可选地，所述转换网络模型包括n个转换子网络模型，其中，n为大于1的整数；
采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像，包括：
采用预先训练好的n个转换子网络模型，对n个不同波段对应的所述分解子图像进行转换，获得n个不同波段下各分解子图像对应的转换子图像。
具体地，图6为本申请再一实施例提供的基于硅传感器相机的短波红外图像处理方法的流程示意图，如图6所示，具体地：
将获取的原始图像进行分解后，得到5个分解子图像，在转换阶段，也包括5个转换子网络模型，具体在训练的过程如下：
对于第一个转换子网络模型，输入的是第一张分解子图像和第二张分解子图像，输出为第一转换子图像，通过第一转换子图像逐渐逼近专业红外短波相机在该波段下的图像，对所述第一转换子网络模型进行训练。
对于第二个转换子网络模型，输入的是第一张分解子图像、第二张分解子图像、第三张分解子图像和第一转换子图像，输出为第二转换子图像，通过第二转换子图像逐渐逼近专业红外短波相机在该波段下的图像，对所述第二转换子网络模型进行训练。
对于第三个转换子网络模型，输入的是第二张分解子图像、第三张分解子图像、第四张分解子图像和第二转换子图像，输出为第三转换子图像，通过第三转换子图像逐渐逼近专业红外短波相机在该波段下的图像，对所述第三转换子网络模型进行训练。
对于第四个转换子网络模型，输入的是第三张分解子图像、第四张分解子图像、第五张分解子图像和第三转换子图像，输出为第四转换子图像，通过第四转换子图像逐渐逼近专业红外短波相机在该波段下的图像，对所述第四转换子网络模型进行训练。
对于第五个转换子网络模型，输入的是第四张分解子图像、第五张分解子图像和第四转换子图像，输出为第五转换子图像，通过第五转换子图像逐渐逼近专业红外短波相机在该波段下的图像，对所述第五转换子网络模型进行训练。
在此训练过程中，将当前波段对应的图像的相邻几张图像及上次训练后的结果作为下一个训练模型的输入，得到的输出结果的精度更高，提高成像的分辨率。
作为另一种可实施的方式，在上述实施例的基础上，可选地，所述转换网络模型包括n个转换子网络模型和n个残差子网络模型，其中，转换子网络模型和残差子网络模型一一对应，n为大于1的整数。
可选地，所述采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像，包括：
采用预先训练好的n个转换子网络模型和n个残差子网络模型，对n个不同波段对应的所述分解子图像进行转换，获得n个不同波段下各分解子图像对应的转换子图像。
具体地，在上述实施例的基础上，在转换网络模型中增加残差子网络模型，图7为本申请又一实施例提供的基于硅传感器相机的短波红外图像处理方法的流程示意图，如图7所示，具体地：
对于第一个转换子网络模型，输入的是第一张分解子图像和第二张分解子图像，依次经过残差子网络模型和转换子网络模型，输出为第一转换子图像，通过第一转换子图像逐渐逼近专业红外短波相机在该波段下的图像，对所述第一转换子网络模型进行训练。
对于第二个转换子网络模型，将第一张分解子图像、第二张分解子图像、第三张分解子图像输入到残差子网络模型，将残差子网络的输出和得到的第一转换子图像作为转换子网络模型的输入，输出为第二转换子图像，通过第二转换子图像逐渐逼近专业红外短波相机在该波段下的图像，对所述第二转换子网络模型进行训练。
对于第三个转换子网络模型，将第二张分解子图像、第三张分解子图像、第四张分解子图像输入到残差子网络模型，将残差子网络的输出和得到的第二转换子图像作为转换子网络模型的输入，输出为第三转换子图像，通过第三转换子图像逐渐逼近专业红外短波相机在该波段下的图像，对所述第三转换子网络模型进行训练。
对于第四个转换子网络模型，将第三张分解子图像、第四张分解子图像、第五张分解子图像输入到残差子网络模型，将残差子网络的输出和得到的第三转换子图像作为转换子网络模型的输入，输出为第四转换子图像，通过第四转换子图像逐渐逼近专业红外短波相机在该波段下的图像，对所述第四转换子网络模型进行训练。
对于第五个转换子网络模型，将第四张分解子图像、第五张分解子图像输入到残差子网络模型，将残差子网络的输出和得到的第四转换子图像作为转换子网络模型的输入，输出为第五转换子图像，通过第五转换子图像逐渐逼近专业红外短波相机在该波段下的图像，对所述第五转换子网络模型进行训练。
在此训练过程中，在转换网络模型中增加残差子网络模型，得到的输出结果的精度更高，提高成像的分辨率。
具体地，在本申请实施例中采用U-Net(转换子网络模型)和Res-Net(残差子网络)作为训练网络的基本元素。对于U-Net模块，使用步长大小为2的卷积层进行下采样，并使用线性放缩的方法进行上采样。设置第一层的特征图通道数为32，后续随着特征图的尺寸减小，特征图的数量加倍。Res-Net模块由卷积层、三个残差块和卷积层堆叠构成。
对于Res-Net模块的每一层，特征图的大小保持与输入相等，特征图通道数均设置为32。对于所有卷积层，使用ReLU作为激活函数，设计卷积核大小为3×3，在进行残差传递的时候，使用沿维度拼接而不是直接相加。
在本申请实施例中，首先对带有可见光滤光片的W×H×1的图像进行归一化操作，将图像像素值从[0,65535]放缩到[0,1]，并将其作为分解子网络的输入。分解子网络包含5个分支，每个分支由1个U-Net模块组成，用来模拟不同的带通滤光片从长通滤光片信号中进行分离的效果。
转换子网络也包含五个分支，每个分支由Res-Net和U-Net拼接构成，从而将硅传感器相机捕获的信号转换为短波红外相机捕获的信号。除此之外，使用较短波长区域的模拟结果来指导相邻的波长较长区域的模拟。
重构网络则将转换子网络的输出进行合并，进而生成最终的短波红外图像。首先使用U-Net模块对每个转换分支进行处理，然后将处理结果和转换网络的输出一起送入Res-Net模块中，最后再将Res-Net模块的输出作为U-Net模块的输入，U-Net模块的输出即为最终的短波红外图像，其中，U-Net模块的最后一层的特征图的数量设置为1。
本申请实施例在NVIDIA GPU 1080Ti上进行训练，采用Kears和TensorFlow作为实现框架，在训练过程中，输入图像L经过分解子网络、转换子网络和重构子网络之后得到短波红外图像E，除了将E与目标结果G进行比较之外，还对分解子网络和转换子网络的结果进行约束。使用均方误差(NSE)和SSIN质量评价标准作为网络的Loss函数，然后采用反向传播算法，采用Adan优化方法进行参数更新和训练，初始学习率为0.001，批训练样本数为30。
使用随机剪裁和数据增强的方法避免网络过拟合，随机剪裁大小为80×80×1。训练过程采用学习率衰减方法，每经过一个epoch，学习率衰减为当前学习率的95％，当Loss不再进行下降时将学习率衰减为当前学习率的50％。当Loss低于一定阈值或者迭代次数达到上限(本实例设定为200)时停止训练，认为网络收敛，保持网络当前的参数。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
本申请又一实施例提供一种基于硅传感器相机的短波红外图像处理装置，用于执行上述实施例的方法。
图8为本申请实施例提供的基于硅传感器相机的短波红外图像处理装置的结构示意图，如图8所示，该图像处理装置包括获取模块10、分解模块20、转换模块30和重构模块40；
其中，获取模块10用于获取待处理的原始图像，其中，所述原始图像为包括至少两个波段的红外图像；
分解模块20用于采用预先训练好的分解网络模型，对所述原始图像进行分解，获得各波段对应的分解子图像；
转换模块30用于采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像；
重构模块40用于采用预先训练好的重构网络模型，将各所述转换子图像进行合成，获得红外短波图像。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本实施例提供的基于硅传感器相机的昼夜通用图像处理装置，通过对采集的原始图像进行分解网络模型、转换网络模型和重构网络模型的计算，获得短波红外图像，不仅节省成本，还可以提高成像分辨率。
本申请再一实施例对上述实施例提供的装置做进一步补充说明，用于执行上述实施例的方法。
可选地，所述原始图像通过增加长通滤光片去除红外滤光片的硅传感器相机获得。
可选地，所述分解网络模型、所述转换网络模型和所述重构网络模型采用深度学习神经网络计算获得。
可选地，所述转换网络模型包括n个转换子网络模型，其中，n为大于1的整数；
所述转换模块，具体用于：
采用预先训练好的n个转换子网络模型，对n个不同波段对应的所述分解子图像进行转换，获得n个不同波段下各分解子图像对应的转换子图像。
可选地，所述转换网络模型包括n个转换子网络模型和n个残差子网络模型，其中，转换子网络模型和残差子网络模型一一对应，n为大于1的整数。
可选地，所述转换模块，具体用于：
采用预先训练好的n个转换子网络模型和n个残差子网络模型，对n个不同波段对应的所述分解子图像进行转换，获得n个不同波段下各分解子图像对应的转换子图像。
本申请实施例提供的方法或装置可以用于农产品检测，其原理是利用短波红外和可见光的不同性质，透过果皮对农产品进行成像，从而发现农产品完好无损的表皮下可能存在的质量缺陷，进而有助于决策***做出更加准确、正确的决策。本申请也可广泛用于电路板检测、太阳能电池检测、极端天气条件下视频监控等领域。
本申请又一实施例提供一种基于硅传感器相机的短波红外图像处理设备，用于执行上述实施例提供的方法。
图9为本实施例提供的基于硅传感器相机的短波红外图像处理设备的结构示意图，如图9所示，该设备包括：至少一个处理器90和存储器91；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现上述实施例提供的方法。
本申请实施例的基于硅传感器相机的短波红外图像处理设备，通过对采集的原始图像进行分解网络模型、转换网络模型和重构网络模型的计算，获得短波红外图像，不仅节省成本，还可以提高成像分辨率。
本申请再一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述任一实施例提供的方法。
根据本实施例的计算机可读存储介质，通过对采集的原始图像进行分解网络模型、转换网络模型和重构网络模型的计算，获得短波红外图像，不仅节省成本，还可以提高成像分辨率。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Nenory，RON)、随机存取存储器(Randon Access Nenory，RAN)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (8)
1.一种基于硅传感器相机的短波红外图像处理方法，其特征在于，包括：
获取待处理的原始图像，其中，所述原始图像为包括至少两个波段的红外图像，所述原始图像通过增加长通滤光片去除红外滤光片的硅传感器相机获得；
采用预先训练好的分解网络模型，对所述原始图像进行分解，获得各波段对应的分解子图像，其中，各所述分解子图像用于反映硅传感器相机在各对应波段的拍摄图像，所述分解网络模型是通过学习硅传感器相机在各波段内的拍摄图像而得到的；
采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像，其中，各转换子图像用于反映短波红外相机在各对应波段的拍摄图像，所述转换网络模型是通过学习各波段内硅传感器相机的拍摄图像和短波红外相机的拍摄图像之间的映射关系而得到的；
采用预先训练好的重构网络模型，将各所述转换子图像进行合成，获得红外短波图像。
2.根据权利要求1所述的方法，其特征在于，所述分解网络模型、所述转换网络模型和所述重构网络模型采用深度学习神经网络计算获得。
3.根据权利要求1所述的方法，其特征在于，所述转换网络模型包括n个转换子网络模型，其中，n为大于1的整数；
采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像，包括：
采用预先训练好的n个转换子网络模型，对n个不同波段对应的所述分解子图像进行转换，获得n个不同波段下各分解子图像对应的转换子图像。
4.根据权利要求1所述的方法，其特征在于，所述转换网络模型包括n个转换子网络模型和n个残差子网络模型，其中，转换子网络模型和残差子网络模型一一对应，n为大于1的整数。
5.根据权利要求4所述的方法，其特征在于，所述采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像，包括：
采用预先训练好的n个转换子网络模型和n个残差子网络模型，对n个不同波段对应的所述分解子图像进行转换，获得n个不同波段下各分解子图像对应的转换子图像。
6.一种基于硅传感器相机的短波红外图像处理装置，其特征在于，包括：
获取模块，用于获取待处理的原始图像，其中，所述原始图像为包括至少两个波段的红外图像，所述原始图像通过增加长通滤光片去除红外滤光片的硅传感器相机获得；
分解模块，用于采用预先训练好的分解网络模型，对所述原始图像进行分解，获得各波段对应的分解子图像，其中，各所述分解子图像用于反映硅传感器相机在各对应波段的拍摄图像，所述分解网络模型是通过学习硅传感器相机在各波段内的拍摄图像而得到的；
转换模块，用于采用预先训练好的转换网络模型，对各波段对应的所述分解子图像进行转换，获得各分解子图像对应的转换子图像，其中，各转换子图像用于反映短波红外相机在各对应波段的拍摄图像，所述转换网络模型是通过学习各波段内硅传感器相机的拍摄图像和短波红外相机的拍摄图像之间的映射关系而得到的；
重构模块，用于采用预先训练好的重构网络模型，将各所述转换子图像进行合成，获得红外短波图像。
7.根据权利要求6所述的装置，其特征在于，所述分解网络模型、所述转换网络模型和所述重构网络模型采用深度学习神经网络计算获得。
8.一种基于硅传感器相机的短波红外图像处理设备，其特征在于，包括：存储器和至少一个处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910418875.6A CN111968067B (zh) | 2019-05-20 | 2019-05-20 | 基于硅传感器相机的短波红外图像处理方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910418875.6A CN111968067B (zh) | 2019-05-20 | 2019-05-20 | 基于硅传感器相机的短波红外图像处理方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111968067A CN111968067A (zh) | 2020-11-20 |
| CN111968067B true CN111968067B (zh) | 2023-08-22 |
Family
ID=73358227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910418875.6A Active CN111968067B (zh) | 2019-05-20 | 2019-05-20 | 基于硅传感器相机的短波红外图像处理方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968067B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106911876A (zh) * | 2015-12-22 | 2017-06-30 | 三星电子株式会社 | 用于输出图像的方法和设备 |
| CN108414468A (zh) * | 2017-02-09 | 2018-08-17 | 哈尔滨工业大学 | 基于小波变换和非线性变换的红外光谱波段特征增强方法 |
| CN109410159A (zh) * | 2018-09-11 | 2019-03-01 | 上海创客科技有限公司 | 双目可见光及红外热成像复合成像***、方法及介质 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
-
2019
- 2019-05-20 CN CN201910418875.6A patent/CN111968067B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106911876A (zh) * | 2015-12-22 | 2017-06-30 | 三星电子株式会社 | 用于输出图像的方法和设备 |
| CN108414468A (zh) * | 2017-02-09 | 2018-08-17 | 哈尔滨工业大学 | 基于小波变换和非线性变换的红外光谱波段特征增强方法 |
| CN109410159A (zh) * | 2018-09-11 | 2019-03-01 | 上海创客科技有限公司 | 双目可见光及红外热成像复合成像***、方法及介质 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于小波变换的双色红外图像融合检测方法;孙玉秋等;《红外与激光工程》;20070425(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111968067A (zh) | 2020-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112949565B (zh) | 基于注意力机制的单样本部分遮挡人脸识别方法及*** | |
| Zhang et al. | Single image defogging based on multi-channel convolutional MSRCR | |
| CN110097129B (zh) | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 | |
| CN111062880B (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** | |
| CN111695407B (zh) | 基于多光谱融合的性别识别方法、***、存储介质及终端 | |
| CN109255758A (zh) | 基于全1*1卷积神经网络的图像增强方法 | |
| CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
| CN109801232A (zh) | 一种基于深度学习的单幅图像去雾方法 | |
| CN111951195A (zh) | 图像增强方法及装置 | |
| CN110738622A (zh) | 基于多尺度卷积的轻量级神经网络单图像去雾方法 | |
| CN115205147A (zh) | 一种基于Transformer的多尺度优化低照度图像增强方法 | |
| CN114419392A (zh) | 高光谱快照图像恢复方法、装置、设备及介质 | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN114998667A (zh) | 多光谱目标检测方法、***、计算机设备及存储介质 | |
| Li et al. | Low-light hyperspectral image enhancement | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及*** | |
| CN114022730A (zh) | 一种基于自监督学习神经网络的点目标相位检索方法 | |
| CN114764752B (zh) | 一种基于深度学习的夜晚影像去雾算法 | |
| CN111968067B (zh) | 基于硅传感器相机的短波红外图像处理方法、装置及设备 | |
| CN113191962A (zh) | 基于环境背景光的水下图像颜色恢复方法、装置及存储介质 | |
| CN111968039B (zh) | 基于硅传感器相机的昼夜通用图像处理方法、装置及设备 | |
| CN117078574A (zh) | 一种图像去雨方法及装置 | |
| Liu et al. | Dual UNet low-light image enhancement network based on attention mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |