CN108961180A - 红外图像增强方法及*** - Google Patents
红外图像增强方法及*** Download PDFInfo
- Publication number
- CN108961180A CN108961180A CN201810650982.7A CN201810650982A CN108961180A CN 108961180 A CN108961180 A CN 108961180A CN 201810650982 A CN201810650982 A CN 201810650982A CN 108961180 A CN108961180 A CN 108961180A
- Authority
- CN
- China
- Prior art keywords
- high definition
- image
- information
- visible images
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 15
- 238000011084 recovery Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种红外图像增强方法及***,其特征在于,包括以下步骤:利用卷积神经网络提取与低分辨率红外图像对应的高清可见光图像的轮廓信息;使用超像素分割神经网络对所述低分辨率红外图像进行处理,以获得高清红外图像信息;对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理。根据本发明的红外图像增强方法,以红外和对应的可见光图像作为训练数据,通过训练得到一个可以有效恢复红外图像中物体信息的超分辨率重建网络。
Description
技术领域
本发明涉及红外图像处理技术领域,尤其涉及一种红外图像增强方法及***。
背景技术
红外图像反映场景的辐射特性,但受限于红外相机的成像原理和成本,红外图像通常是低像素和带有某些模糊效果,红外图像中的物体往往不够清晰,使得基于红外图像的跟踪定位十分困难,这种特性降低了红外相机的使用场景。因此提高红外图像的空间分辨率是一个亟待解决的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种红外图像增强方法,以红外和对应的可见光图像作为训练数据,通过训练得到一个可以有效恢复红外图像中物体信息的超分辨率重建网络。
本发明的第二个目的在于提出一种红外图像增强***。
为达到上述目的,本发明第一方面实施例提出了一种红外图像增强方法,包括以下步骤:S1:利用卷积神经网络提取与低分辨率红外图像对应的高清可见光图像的轮廓信息;S2:使用超像素分割神经网络对所述低分辨率红外图像进行处理,以获得高清红外图像信息;S3:对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理,其中,在进行处理时,将所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行比较,将所述高清红外图像信息和所述高清可见光图像的轮廓信息的轮廓差异作为训练的损失函数,反复对的所述高清红外图像的超分辨率重建的卷积神经网络参数进行更新,直到所述高清红外图像信息和所述高清可见光图像的轮廓信息的差异满足预定条件。
根据本发明的红外图像增强方法,以红外和对应的可见光图像作为训练数据,通过训练得到一个可以有效恢复红外图像中物体信息的超分辨率重建网络,并且该方法可以仅在训练阶段需要输入对应的可见光图像,一旦超分辨率重建模型训练完成,红外图像的恢复将会非常容易,红外图像中物体的细节也能得到很好的恢复。
另外,根据本发明上述实施例的红外图像增强方法还可以具有如下附加的技术特征:
根据本发明的一个实施例,训练所述卷积神经网络,并利用训练好的所述卷积神经网络提取所述高清可见光图像的轮廓信息。
根据本发明的一个实施例,训练所述卷积神经网络包括以下步骤:S11:收集所述高清可见光图像的数据集以及对应的已标注的真实边缘信息;S12:将所述可见光数据集分为训练数据、测试数据和验证数据;S13:改进所述卷积神经网络用于边缘提取任务;S14:利用所述训练数据,所述测试数据对该模型进行迭代优化,直到满足终止条件。
根据本发明的一个实施例,改进所述卷积神经网络包括以下步骤:S131:采用U型网络作为改进的基础模型;S132:在所述U型网络的每次反卷积操作之前,引入全卷积层,以获得不同尺度的分割图像;S133:将不同尺度下得到的分割图像进行加权叠加,以获得最终的所述高清可见光图像的轮廓信息。
根据本发明的一个实施例,所述低分辨率红外图像进行处理,以获得高清红外图像信息包括以下步骤:S21:收集低分辨率的红外图像;S22:使用SRCNN网络进行红外图像的超分辨率重建,并获得最终的高分辨率红外图像。
根据本发明的一个实施例,对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理时,包括以下步骤:S31:调整所述高清红外图像信息以使红外图像的尺寸与所述可见光图像的轮廓信息对应的尺寸相同;S32:利用提取所述高清可见光图像的轮廓信息的卷积神经网络提取高清红外图像信息。
根据本发明的一个实施例,对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理时,包括以下步骤:S33:输入所述高清红外图像信息与所述高清可见光图像的轮廓信息;S34:计算所述高清可见光图像的轮廓信息与所述高清红外图像信息的差异值;S35:更新所述卷积神经网络参数,直到差异值满足要求。
根据本发明的一个实施例,所述损失函数为:
其中M代表单次参与迭代的数据的个数,N代表单张图的图像平面,其中(x,y)代表图像平面中的像素点,如果像素点(x,y)是轮廓像素点,则I(x,y)=1,如果(x,y)不是轮廓像素点,则I(x,y)=0.Dc代表红外轮廓像素点与可见光轮廓像素点的距离,V(x,y)代表红外图像中轮廓像素点的位置,而Vgd是可见光轮廓图中与之最近的像素点的位置,如果他们的距离大于一定的阈值,该值为0。
为达到上述目的,本发明第二方面实施例提出了一种红外图像增强***以实现上述的红外图像增强方法。包括:含有卷积神经网络的第一轮廓提取模型,所述第一轮廓提取模型用于从低分辨率红外图像提取高清可见光图像的轮廓信息;含有超像素分割神经网络的超分辨率重建模型,所述超分辨率重建模型对所述低分辨率红外图像进行处理,以获得高清红外图像信息;和处理器,所述处理器与所述第一轮廓提取模型和所述超分辨率重建模型相连,所述处理器用于对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理,其中,在处理时,将所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行比较,将所述高清红外图像信息和所述高清可见光图像的轮廓信息的轮廓差异作为训练的损失函数,反复对的所述高清红外图像的超分辨率重建的卷积神经网络参数进行更新,直到所述高清红外图像信息和所述高清可见光图像的轮廓信息的差异满足预定条件。
根据本发明的红外图像增强***,以红外和对应的可见光图像作为训练数据,通过训练得到一个可以有效恢复红外图像中物体信息的超分辨率重建网络,并且该方法可以仅在训练阶段需要输入对应的可见光图像,一旦超分辨率重建模型训练完成,红外图像的恢复将会非常容易,红外图像中物体的细节也能得到很好的恢复。
根据本发明的一个实施例,设在所述超分辨率重建模型与所述处理器之间的第二轮廓提取模型,所述第二轮廓提取模型与所述第一轮廓提取模型具有相同的卷积神经网络。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的红外图像增强方法的流程图。
图2为根据本发明实施例的红外图像增强方法的流程图S1的流程图。
图3为根据本发明实施例的红外图像增强方法的流程图S2的流程图。
图4为根据本发明实施例的红外图像增强方法的流程图S3的流程图。
图5为根据本发明实施例的红外图像增强***的结构图。
图6为根据本发明实施例的红外图像增强***的第一轮廓提取模型的结构图。
图7为根据本发明实施例的红外图像增强方法的多尺寸轮廓图的融合示意图。
图8为根据本发明实施例的红外图像增强方法红外图像轮廓与可见光轮廓的比较图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图1-8描述本发明实施例的红外图像增强方法和***。
图1为本发明实施例的红外图像增强方法的流程图。如图1所示,该红外图像增强方法,包括以下步骤:
S1:利用卷积神经网络提取与低分辨率红外图像对应的高清可见光图像的轮廓信息。
具体地,根据本发明的一个实施例,可以训练卷积神经网络,并利用训练好的卷积神经网络提取高清可见光图像的轮廓信息。
可以理解的是,卷积神经网络(轮廓提取网络)需要被预先训练,该网络的具体结构如图6所示。基于经典的U型网络修改而成(U型网络可以将图像中的每个像素点进行分类)。
为了利用图像的多尺度信息,本发明在U型网络的基础上添加了若干其他层,如图6所示,在U型网络的右半部分,在每次反卷积操作之前,添加一个卷积核大小为1*1的全卷积网络层,以获得该尺度下的分割结果(将像素分为两类,边缘与非边缘),即获得了多尺度(不同尺寸)的轮廓图。
获得多尺度的轮廓之后,将他们调整到相同尺寸(插值算法),并进行带权重的相加,不同的权重大小代表该尺度的轮廓在最终轮廓图中所占的比重大小。该结构中需要学习的参数包括:全卷积层的参数和不同尺度轮廓图的权重。
S2:使用超像素分割神经网络对所述低分辨率红外图像进行处理,以获得高清红外图像信息。
参见图3,根据本发明的一个实施例,所述低分辨率红外图像进行处理,以获得高清红外图像信息包括以下步骤:S21:收集低分辨率的红外图像。S22:使用SRCNN网络进行红外图像的超分辨率重建,并获得最终的高分辨率红外图像。换句话说,将低分辨率的红外图像作为输入,超分辨率重建网络作为工具,目标是生成高分辨率的红外图像。许多经典的超分辨率重建模型可以用于实现此步骤,比如SRCNN,FSRCNN。当该模型训练完成,其将被用于红外图像的增强。
S3:对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理,其中,在进行处理时,将所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行比较,将所述高清红外图像信息和所述高清可见光图像的轮廓信息的轮廓差异作为训练的损失函数,反复对的所述高清红外图像的超分辨率重建的卷积神经网络参数进行更新,直到所述高清红外图像信息和所述高清可见光图像的轮廓信息的差异满足预定条件。
具体地,根据本发明的一个实施例,本步骤主要比较红外图像轮廓和可见光轮廓的细节,示意图如图8所示,将可见光图像提取的轮廓图作为参考,比较红外图像提取的轮廓图与前者的相似性,并以此为标准评价超分辨率重建模型的性能。
根据本发明的红外图像增强方法,以红外和对应的可见光图像作为训练数据,通过训练得到一个可以有效恢复红外图像中物体信息的超分辨率重建网络,并且该方法可以仅在训练阶段需要输入对应的可见光图像,一旦超分辨率重建模型训练完成,红外图像的恢复将会非常容易,红外图像中物体的细节也能得到很好的恢复。
参见图2,根据本发明的一个实施例,红外图像增强方法中,训练所述卷积神经网络包括以下步骤:
S11:收集所述高清可见光图像的数据集以及对应的已标注的真实边缘信息,以为下一步处理进行准备。
S12:将所述可见光数据集分为训练数据、测试数据和验证数据,以便于后续过程中对数据进行处理。
S13:改进所述卷积神经网络用于边缘提取任务。
根据本发明的一个实施例,改进所述卷积神经网络包括以下步骤:
S131:采用U型网络作为改进的基础模型,由此,可以便于利用图像的多尺度信息。进一步地,在S132中:在U型网络的每次反卷积操作之前,引入全卷积层,以获得不同尺度的分割图像,例如参见图6,在U型网络的右半部分,在每次反卷积操作之前,添加一个卷积核大小为1*1的全卷积网络层,以获得该尺度下的分割结果(将像素分为两类,边缘与非边缘),即获得了多尺度(不同尺寸)的轮廓图。在S133中:将不同尺度下得到的分割图像进行加权叠加,以获得最终的所述高清可见光图像的轮廓信息。
S14:利用所述训练数据,所述测试数据对该模型进行迭代优化,直到满足终止条件。换言之,获得多尺度的轮廓之后,将他们调整到相同尺寸(插值算法),并进行带权重的相加,不同的权重大小代表该尺度的轮廓在最终轮廓图中所占的比重大小。该结构中需要学习的参数包括:全卷积层的参数和不同尺度轮廓图的权重。
参见图4,根据本发明的一个实施例,对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理时,包括以下步骤:
S31:调整所述高清红外图像信息以使红外图像的尺寸与所述可见光图像的轮廓信息对应的尺寸相同。S32:利用提取所述高清可见光图像的轮廓信息的卷积神经网络提取高清红外图像信息。由此,可以便于多各种轮廓信息的处理。
根据本发明的一个实施例,对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理时,包括以下步骤:
S33:输入所述高清红外图像信息与所述高清可见光图像的轮廓信息。S34:计算所述高清可见光图像的轮廓信息与所述高清红外图像信息的差异值。S35:更新所述卷积神经网络参数,直到差异值满足要求。可以理解的是,本步骤主要描述比较红外图像轮廓和可见光轮廓的细节,将可见光图像提取的轮廓图作为参考,比较红外图像提取的轮廓图与前者的相似性,并以此为标准评价超分辨率重建模型的性能。
根据本发明的一些实施例,所述损失函数为:
其中M代表单次参与迭代的数据的个数,N代表单张图的图像平面,其中(x,y)代表图像平面中的像素点,如果像素点(x,y)是轮廓像素点,则I(x,y)=1,如果(x,y)不是轮廓像素点,则I(x,y)=0.Dc代表红外轮廓像素点与可见光轮廓像素点的距离,V(x,y)代表红外图像中轮廓像素点的位置,而Vgd是可见光轮廓图中与之最近的像素点的位置,如果他们的距离大于一定的阈值,该值为0。根据此损失函数可以更好地进行计算,以提高重建模型的性能。
参见图5,根据本发明的实施例的红外图像增强***,包括:含有卷积神经网络的第一轮廓提取模型101、含有超像素分割神经网络的超分辨率重建模型102和处理器103。
具体而言,第一轮廓提取模型101用于从低分辨率红外图像提取高清可见光图像的轮廓信息。超分辨率重建模型102对所述低分辨率红外图像进行处理,以获得高清红外图像信息。处理器103与所述第一轮廓提取模型101和所述超分辨率重建模型102相连,处理器103用于对高清红外图像信息并与高清可见光图像的轮廓信息进行处理,其中,在处理时,将高清红外图像信息并与高清可见光图像的轮廓信息进行比较,将高清红外图像信息和高清可见光图像的轮廓信息的轮廓差异作为训练的损失函数,反复对的高清红外图像的超分辨率重建的卷积神经网络参数进行更新,直到高清红外图像信息和所述高清可见光图像的轮廓信息的差异满足预定条件。
参见图5根据本发明的一个实施例,红外图像增强***可以进一步包括:设在超分辨率重建模型102与处理器103之间的第二轮廓提取模型104,第二轮廓提取模型104与第一轮廓提取模型101具有相同的卷积神经网络。
需要说明的是,前述对红外图像增强方法的实施例的解释说明也适用于该实施例的红外图像增强***,此处不再赘述。
根据本发明的红外图像增强***,以红外和对应的可见光图像作为训练数据,通过训练得到一个可以有效恢复红外图像中物体信息的超分辨率重建网络,并且该方法可以仅在训练阶段需要输入对应的可见光图像,一旦超分辨率重建模型训练完成,红外图像的恢复将会非常容易,红外图像中物体的细节也能得到很好的恢复。
根据本发明实施例的高维近邻对搜索***,首先通过第一生成模块根据样本向量的数值生成对应的样本签名,然后通过第二生成模块根据样本签名生成近邻候选组,进而通过处理模块计算每个近邻候选组中的任意两个样本之间的距离,并将距离满足预设要求的样本对作为近邻搜索结果,由此,实现了高维近邻对的有效搜索,满足用户的搜索需求,且该***简单,易于实现。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种红外图像增强方法,其特征在于,包括以下步骤:
S1:利用卷积神经网络提取与低分辨率红外图像对应的高清可见光图像的轮廓信息;
S2:使用超像素分割神经网络对所述低分辨率红外图像进行处理,以获得高清红外图像信息;
S3:对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理,其中,在进行处理时,将所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行比较,将所述高清红外图像信息和所述高清可见光图像的轮廓信息的轮廓差异作为训练的损失函数,反复对的所述高清红外图像的超分辨率重建的卷积神经网络参数进行更新,直到所述高清红外图像信息和所述高清可见光图像的轮廓信息的差异满足预定条件。
2.根据权利要求1所述的红外图像增强方法,其特征在于,训练所述卷积神经网络,并利用训练好的所述卷积神经网络提取所述高清可见光图像的轮廓信息。
3.根据权利要求2所述的红外图像增强方法,其特征在于,训练所述卷积神经网络包括以下步骤:
S11:收集所述高清可见光图像的数据集以及对应的已标注的真实边缘信息;
S12:将所述可见光数据集分为训练数据、测试数据和验证数据;
S13:改进所述卷积神经网络用于边缘提取任务;
S14:利用所述训练数据,所述测试数据对该模型进行迭代优化,直到满足终止条件。
4.根据权利要求2所述的红外图像增强方法,其特征在于,改进所述卷积神经网络包括以下步骤:
S131:采用U型网络作为改进的基础模型;
S132:在所述U型网络的每次反卷积操作之前,引入全卷积层,以获得不同尺度的分割图像;
S133:将不同尺度下得到的分割图像进行加权叠加,以获得最终的所述高清可见光图像的轮廓信息。
5.根据权利要求1所述的红外图像增强方法,其特征在于,所述低分辨率红外图像进行处理,以获得高清红外图像信息包括以下步骤:
S21:收集低分辨率的红外图像;
S22:使用SRCNN网络进行红外图像的超分辨率重建,并获得最终的高分辨率红外图像。
6.根据权利要求1所述的红外图像增强方法,其特征在于,对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理时,包括以下步骤:
S31:调整所述高清红外图像信息以使红外图像的尺寸与所述可见光图像的轮廓信息对应的尺寸相同;
S32:利用提取所述高清可见光图像的轮廓信息的卷积神经网络提取高清红外图像信息。
7.根据权利要求1所述的红外图像增强方法,其特征在于,对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理时,包括以下步骤:
S33:输入所述高清红外图像信息与所述高清可见光图像的轮廓信息;
S34:计算所述高清可见光图像的轮廓信息与所述高清红外图像信息的差异值;
S35:更新所述卷积神经网络参数,直到差异值满足要求。
8.根据权利要求1所述的红外图像增强方法,其特征在于,所述损失函数为:
其中M代表单次参与迭代的数据的个数,N代表单张图的图像平面,其中(x,y)代表图像平面中的像素点,如果像素点(x,y)是轮廓像素点,则I(x,y)=1,如果(x,y)不是轮廓像素点,则I(x,y)=0.Dc代表红外轮廓像素点与可见光轮廓像素点的距离,V(x,y)代表红外图像中轮廓像素点的位置,而Vgd是可见光轮廓图中与之最近的像素点的位置,如果他们的距离大于一定的阈值,该值为0。
9.一种红外图像增强***,其特征在于,包括:
含有卷积神经网络的第一轮廓提取模型,所述第一轮廓提取模型用于从低分辨率红外图像提取高清可见光图像的轮廓信息;
含有超像素分割神经网络的超分辨率重建模型,所述超分辨率重建模型对所述低分辨率红外图像进行处理,以获得高清红外图像信息;和
处理器,所述处理器与所述第一轮廓提取模型和所述超分辨率重建模型相连,所述处理器用于对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理,
其中,在处理时,将所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行比较,将所述高清红外图像信息和所述高清可见光图像的轮廓信息的轮廓差异作为训练的损失函数,反复对的所述高清红外图像的超分辨率重建的卷积神经网络参数进行更新,直到所述高清红外图像信息和所述高清可见光图像的轮廓信息的差异满足预定条件。
10.根据权利要求9所述的红外图像增强***,其特征在于,进一步包括:设在所述超分辨率重建模型与所述处理器之间的第二轮廓提取模型,所述第二轮廓提取模型与所述第一轮廓提取模型具有相同的卷积神经网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810650982.7A CN108961180B (zh) | 2018-06-22 | 2018-06-22 | 红外图像增强方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810650982.7A CN108961180B (zh) | 2018-06-22 | 2018-06-22 | 红外图像增强方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108961180A true CN108961180A (zh) | 2018-12-07 |
CN108961180B CN108961180B (zh) | 2020-09-25 |
Family
ID=64491616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810650982.7A Active CN108961180B (zh) | 2018-06-22 | 2018-06-22 | 红外图像增强方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108961180B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111272A (zh) * | 2019-04-24 | 2019-08-09 | 江西理工大学应用科学学院 | 一种人工智能红外图像处理仪、控制***及控制方法 |
CN110348569A (zh) * | 2019-07-18 | 2019-10-18 | 华中科技大学 | 基于卷积神经网络的实时光学层析方法和*** |
CN110490831A (zh) * | 2019-08-23 | 2019-11-22 | 中航华东光电有限公司 | 图像生成方法及*** |
CN110852947A (zh) * | 2019-10-30 | 2020-02-28 | 浙江大学 | 一种基于边缘锐化的红外图像超分辨方法 |
CN111932452A (zh) * | 2020-07-07 | 2020-11-13 | 浙江大学 | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 |
CN112132753A (zh) * | 2020-11-06 | 2020-12-25 | 湖南大学 | 多尺度结构引导图像的红外图像超分辨率方法及*** |
CN113160058A (zh) * | 2021-04-28 | 2021-07-23 | 成都东方天呈智能科技有限公司 | 一种结合分割图的热成像超分辨率重建方法及存储介质 |
CN113256525A (zh) * | 2021-05-25 | 2021-08-13 | 烟台艾睿光电科技有限公司 | 红外热成像图像增强方法、装置、设备及可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971354A (zh) * | 2014-05-19 | 2014-08-06 | 四川大学 | 低分辨率红外图像重建高分辨率红外图像的方法 |
CN104463821A (zh) * | 2014-11-28 | 2015-03-25 | 中国航空无线电电子研究所 | 一种红外图像与可见光图像的融合方法 |
CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
CN106934766A (zh) * | 2017-03-15 | 2017-07-07 | 西安理工大学 | 一种基于稀疏表示的红外图像超分辨率重建方法 |
CN107230196A (zh) * | 2017-04-17 | 2017-10-03 | 江南大学 | 基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法 |
US20170344114A1 (en) * | 2010-02-28 | 2017-11-30 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
CN107578432A (zh) * | 2017-08-16 | 2018-01-12 | 南京航空航天大学 | 融合可见光与红外两波段图像目标特征的目标识别方法 |
-
2018
- 2018-06-22 CN CN201810650982.7A patent/CN108961180B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170344114A1 (en) * | 2010-02-28 | 2017-11-30 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
CN103971354A (zh) * | 2014-05-19 | 2014-08-06 | 四川大学 | 低分辨率红外图像重建高分辨率红外图像的方法 |
CN104463821A (zh) * | 2014-11-28 | 2015-03-25 | 中国航空无线电电子研究所 | 一种红外图像与可见光图像的融合方法 |
CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
CN106934766A (zh) * | 2017-03-15 | 2017-07-07 | 西安理工大学 | 一种基于稀疏表示的红外图像超分辨率重建方法 |
CN107230196A (zh) * | 2017-04-17 | 2017-10-03 | 江南大学 | 基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法 |
CN107578432A (zh) * | 2017-08-16 | 2018-01-12 | 南京航空航天大学 | 融合可见光与红外两波段图像目标特征的目标识别方法 |
Non-Patent Citations (3)
Title |
---|
KANGLI LI ET AL.: "Infrared Image Super-Resolution by Using Sparse Dictionary and Nonsubsampled Contourlet Transform", 《2015 4TH INTERNATIONAL CONFERENCE ON ADVANCED INFORMATION TECHNOLOGY AND SENSOR APPLICATION (AITS)》 * |
MATTHIAS LIMMER ET AL.: "Infrared Colorization Using Deep Convolutional Neural Networks", 《 2016 15TH IEEE INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND APPLICATIONS (ICMLA)》 * |
王晨 等: "基于深度卷积神经网络的红外场景理解算法", 《红外技术》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111272A (zh) * | 2019-04-24 | 2019-08-09 | 江西理工大学应用科学学院 | 一种人工智能红外图像处理仪、控制***及控制方法 |
CN110348569A (zh) * | 2019-07-18 | 2019-10-18 | 华中科技大学 | 基于卷积神经网络的实时光学层析方法和*** |
CN110490831A (zh) * | 2019-08-23 | 2019-11-22 | 中航华东光电有限公司 | 图像生成方法及*** |
CN110490831B (zh) * | 2019-08-23 | 2023-03-24 | 中航华东光电有限公司 | 图像生成方法及*** |
CN110852947B (zh) * | 2019-10-30 | 2021-07-20 | 浙江大学 | 一种基于边缘锐化的红外图像超分辨方法 |
CN110852947A (zh) * | 2019-10-30 | 2020-02-28 | 浙江大学 | 一种基于边缘锐化的红外图像超分辨方法 |
CN111932452A (zh) * | 2020-07-07 | 2020-11-13 | 浙江大学 | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 |
CN111932452B (zh) * | 2020-07-07 | 2022-08-19 | 浙江大学 | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 |
CN112132753A (zh) * | 2020-11-06 | 2020-12-25 | 湖南大学 | 多尺度结构引导图像的红外图像超分辨率方法及*** |
CN112132753B (zh) * | 2020-11-06 | 2022-04-05 | 湖南大学 | 多尺度结构引导图像的红外图像超分辨率方法及*** |
CN113160058A (zh) * | 2021-04-28 | 2021-07-23 | 成都东方天呈智能科技有限公司 | 一种结合分割图的热成像超分辨率重建方法及存储介质 |
CN113160058B (zh) * | 2021-04-28 | 2024-02-09 | 成都东方天呈智能科技有限公司 | 一种结合分割图的热成像超分辨率重建方法及存储介质 |
CN113256525A (zh) * | 2021-05-25 | 2021-08-13 | 烟台艾睿光电科技有限公司 | 红外热成像图像增强方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108961180B (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961180A (zh) | 红外图像增强方法及*** | |
CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
CN110414377B (zh) | 一种基于尺度注意力网络的遥感图像场景分类方法 | |
CN107103613B (zh) | 一种三维手势姿态估计方法 | |
Kuanar et al. | Multi-path dilated convolution network for haze and glow removal in nighttime images | |
CN111860138B (zh) | 基于全融合网络的三维点云语义分割方法及*** | |
CN105005760B (zh) | 一种基于有限混合模型的行人再识别方法 | |
CN110689043A (zh) | 一种基于多重注意力机制的车辆细粒度识别方法及装置 | |
CN110879982A (zh) | 一种人群计数***及方法 | |
Ghatak et al. | An improved surveillance video synopsis framework: a HSATLBO optimization approach | |
CN111783779A (zh) | 图像处理方法、装置和计算机可读存储介质 | |
CN112183541A (zh) | 一种轮廓提取方法及装置、电子设备、存储介质 | |
CN114999637B (zh) | 多角度编码与嵌入式互学习的病理图像诊断方法与*** | |
Jonna et al. | Deep learning based fence segmentation and removal from an image using a video sequence | |
CN111275732B (zh) | 一种基于深度卷积神经网络的前景对象图像分割方法 | |
Liu et al. | Fine-grained multilevel fusion for anti-occlusion monocular 3d object detection | |
Kim et al. | Robust facial landmark extraction scheme using multiple convolutional neural networks | |
CN111598130A (zh) | 基于多视图卷积神经网络的中药识别方法 | |
CN113158970B (zh) | 一种基于快慢双流图卷积神经网络的动作识别方法与*** | |
CN110097530A (zh) | 基于超像素聚类与联合低秩表示的多聚焦图像融合方法 | |
CN108876776A (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
CN117058554A (zh) | 电力设备目标检测方法、模型训练方法和装置 | |
Raj et al. | Shape Feature Extraction Techniques for Computer Vision Applications | |
CN112699898B (zh) | 一种基于多层特征融合的图像方向识别方法 | |
Häufel et al. | Evaluation of CNNs for land cover classification in high-resolution airborne images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |