CN108665509A - 一种超分辨率重构方法、装置、设备及可读存储介质 - Google Patents
一种超分辨率重构方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN108665509A CN108665509A CN201810442314.5A CN201810442314A CN108665509A CN 108665509 A CN108665509 A CN 108665509A CN 201810442314 A CN201810442314 A CN 201810442314A CN 108665509 A CN108665509 A CN 108665509A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- terahertz image
- terahertz
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 103
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003709 image segmentation Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 239000002699 waste material Substances 0.000 abstract description 5
- 230000001737 promoting effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000001328 terahertz time-domain spectroscopy Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种超分辨率重构方法,该方法包括以下步骤:获取目标太赫兹图像;对目标太赫兹图像进行分割处理,获得多个子图像;按照预设规则,将多个子图像分别输入到相应的超分辨率处理模型中进行处理;将处理后的多个子图像进行重构,获得超分辨率的太赫兹图像。将目标太赫兹图像进行分割后,针对不同子图像进行相应的超分辨率处理。在提升图像分辨率的同时还可减少计算机资源的浪费,提升图像处理效率。本发明还公开了一种超分辨率重构装置、设备及可读存储介质,具有相应的技术效果。
Description
技术领域
本发明涉及安全检查技术领域,特别是涉及一种超分辨率重构方法、装置、 设备及可读存储介质。
背景技术
太赫兹时域光谱检测技术可以对非金属物质实现穿透性、无损探测。通过 分析含有物质物理性质和化学性质的太赫兹光谱信息,可识别出检测物中是否 藏有毒品、易燃品或炸弹等违禁物品。
但是,太赫兹时域光谱检测技术产生的太赫兹图像存在着一个比较明显的 问题,即图像的分辨率比较低。较低的分辨率不利于获取和检测太赫兹图像中 的危险品。现有的超分辨率处理技术,需要占用大量的计算机资源和较长处理 时间为太赫兹图像提升分辨率,这会导致安检速度过慢,存在安检效率低等问 题,显然不利实时安检。
综上所述,如何有效地提高太赫兹图像分辨率等问题,是目前本领域技术 人员急需解决的技术问题。
发明内容
本发明的目的是提供一种超分辨率重构方法、装置、设备及可读存储介质, 以提高太赫兹图像分辨率。
为解决上述技术问题,本发明提供如下技术方案:
一种超分辨率重构方法,包括:
获取目标太赫兹图像;
对所述目标太赫兹图像进行分割处理,获得多个子图像;
按照预设规则,将多个所述子图像分别输入到相应的超分辨率处理模型中 进行处理;
将处理后的多个所述子图像进行重构,获得超分辨率的太赫兹图像。
优选地,对所述目标太赫兹图像进行分割处理,获得多个子图像,包括:
将所述目标太赫兹图像按照1:2:1的比例,分割为上部子图像、中部子图 像和下部子图像。
优选地,对所述目标太赫兹图像进行分割处理,获得多个子图像,包括:
将所述目标太赫兹图像按照1:1:1的比例,分割为左部子图像、中部子图 像和右部子图像。
优选地,所述按照预设规则,将多个所述子图像分别输入到相应的超分辨 率处理模型中进行处理,包括:
将属于预设关键部分的子图像输入第一超分辨率图像处理模型,将不属于 所述预设关键部分的子图像输入第二超分辨率图像处理模型,以提高分辨率; 其中,所述第一超分辨率图像处理模型为递归神经网络处理模型,所述第二超 分辨率图像处理模块为卷积神经网络处理模型。
优选地,所述将处理后的多个所述子图像进行重构,获得超分辨率的太赫 兹图像,包括:
将处理后的多个所述子图像按照分割的相应位置进行重构,获得超分辨率 的太赫兹图像。
优选地,所述获取目标太赫兹图像,包括:
获取原始太赫兹图像;
对所述原始太赫兹图像做背景差分处理,获得目标太赫兹图像。
优选地,所述对所述原始太赫兹图像做背景差分处理,获得目标太赫兹图 像,包括:
计算所述原始太赫兹图像对应的矩阵与预设背景矩阵的差分矩阵;
遍历所述差分矩阵中所有元素,并将元素值大于预设阈值的元素集合对应 的图像确定目标太赫兹图像。
一种超分辨率重构装置,包括:
目标太赫兹图像获取模块,用于获取目标太赫兹图像;
图像分割模块,用于对所述目标太赫兹图像进行分割处理,获得多个子图 像;
超分辨率处理模块,用于按照预设规则,将多个所述子图像分别输入到相 应的超分辨率处理模型中进行处理;
图像重构模块,用于将处理后的多个所述子图像进行重构,获得超分辨率 的太赫兹图像。
一种超分辨率重构设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述超分辨率重构方法的步骤。
一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机 程序被处理器执行时实现上述超分辨率重构方法的步骤。
应用本发明实施例所提供的方法,获取目标太赫兹图像;对目标太赫兹图 像进行分割处理,获得多个子图像;按照预设规则,将多个子图像分别输入到 相应的超分辨率处理模型中进行处理;将处理后的多个子图像进行重构,获得 超分辨率的太赫兹图像。考虑到实际应用中,一张太赫兹图像中,要进行识别 的物体仅占整个太赫兹图像中的一部分。因此,在做提高目标太赫兹图像的分 辨率处理前,可先分割目标太赫兹图像,然后将分割后得到的子图像按照预设 规则,分别输入相应的超分辨率处理模型中进行处理。即,可将属于不同位置 部分的子图像使用不同的超分辨率处理模型。具体的,可将关键子图像输入高 精度的超分辨率处理模型进行处理,得到更为细致的图像,而对于非关键部分 的子图像则进行简单的超分辨率处理模型进行处理。然后,将分别进行超分辨 率处理之后的子图像进行重构,最终获得超分辨率的太赫兹图像。重点提高部 分图像的分辨率,可减少计算机资源的浪费,提升图像处理效率。基于该太赫 兹图像做进一步的物体识别时,还可提高识别的准确率。
相应地,本发明实施例还提供了与上述超分辨率重构方法相对应的超分辨 率重构装置、设备和可读存储介质,具有上述技术效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述 中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付 出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种超分辨率重构方法的实施流程图;
图2为本发明实施例中一种超分辨率重构方法中图像分割示意图;
图3为本发明实施例中另一种超分辨率重构方法的实施流程图;
图4为本发明实施例中一种超分辨率重构方法中图像重构示意图;
图5为本发明实施例中另一种超分辨率重构方法的实施流程图;
图6为本发明实施例中一种递归神经网络处理模型示意图;
图7为本发明实施例中一种卷积神经网络处理模型示意图;
图8为本发明实施例中一种超分辨率重构装置的结构示意图;
图9为本发明实施例中一种超分辨率重构设备的结构示意图。
具体实施方式
本发明的核心是提供一种超分辨率重构方法,将目标太赫兹图像进行分 割,分为多个部分图像,然后将分割得到的多个部分图像输入不同的超分辨率 处理模型中,最后将输出的高分辨率图像进行重构,得到最终的高分辨率图像。 如此,便可快速有效的提升太赫兹图像的分辨率,更有利于物体识别。
本发明的另一核心是提供一种超分辨率重构装置、设备和可读存储介质, 具有上述技术效果,在此不再赘述。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实 施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一 部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术 人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保 护的范围。
实施例一:
请参考图1,图1为本发明实施例中一种超分辨率重构方法的流程图,该 方法包括以下步骤:
S101、获取目标太赫兹图像。
其中,太赫兹(terahertz,THz)是波动频率单位之一,又称为太赫,或 太拉赫兹。本发明实施例中所指的太赫兹图像即为通过太赫兹成像技术获得的 图像。需要说明的是太赫兹能量很小,不会对物质产生破坏作用。获取目标太 赫兹图像的方式可以为利用太赫兹成像技术实时采集的太赫兹图像,也可以从 预设的图像库中读取预先采集并存储的太赫兹图像。当然,目标太赫兹图像可 以为直接采集得到的初始图像,也可以是经过一系列处理之后的太赫兹图像。
S102、对目标太赫兹图像进行分割处理,获得多个子图像。
在实际应用中,可以发现太赫兹图像中的重要信息,即物体影像基本都分 布在太赫兹图像中的中间部分。因此,在进行图像超分辨率处理时,可重点针 对具有物体影像的中间部分。而其他出现物体影像可能性较小的边缘部分则无 需进行较高精度的图像处理。如此,便可以重点增强物体影像的分辨率,而不 必浪费过多的计算机资源对边缘图像进行处理。为了达到这一目的,可以对目 标太赫兹图像进行分割处理,然后获得多个子图像。需要说明的是,在进行分 割时,为便于操作,可进行简易分割,例如横向分割,纵向分割,分割出的子 图像的大小可以相同也可以不同。具体的,可参见图2所示的分割方式。需要 说明的是,分割得到的多个子图像可重构成完整的目标太赫兹图像。
S103、按照预设规则,将多个子图像分别输入到相应的超分辨率处理模型 中进行处理。
其中,超分辨率(Super-Resolution)为通过硬件或软件的方法提高原有图像 的分辨率。本文应用的超分辨率技术结合深度学习的方法,运用两个不同结构 的深度学习的图像处理模型进行图像的超分辨率处理。
需要说明的是,在本发明实施例中可以针对子图像的处理方式制定规则。 例如,在预设规则中规定:属于哪个部分的子图像应输入到哪个超分辨率处理 模型中进行处理。具体的,可将物体影像存在可能性较高的子图像输入更为复 杂,处理效果更为明显的超分辨率处理模型中进行处理,而将物体影像存在可 能性较低的子图像输入相对处理效果相对较差,但结构较为简单的超分辨率处 理模型中进行处理。
具体的,在得到多个子图像之后,可按照预设规则,将多个子图像分别输 入到相应的超分辨率处理模型中进行处理。需要说明的是,对于具体使用到哪 个超分辨率处理模型,以及超分辨率处理模型的具体结构不影响本发明实施例 实现提高太赫兹图像分辨率的目的。因此,对于超分辨率处理模型的具体处理 过程可参照现有的超分辨率处理模型,在此不再赘述。
S104、将处理后的多个子图像进行重构,获得超分辨率的太赫兹图像。
当子图像经过相应的超分辨率处理模型进行处理之后,其分辨率已经得到 了相应的提升。然后将这些提升了分辨率的子图像进行重构,可获得超分辨率 的太赫兹图像。也就是说,重构后的太赫兹图像的分辨率相较于目标太赫兹图 像更高,且该太赫兹图像的分辨率的各个部分的分辨率各不相同。具体的,物 体影像存在的可能性较高的部分的分辨率相较于物体影像存在可能性较低的 部分更高。如此,更有利于物品识别。
应用本发明实施例所提供的方法,获取目标太赫兹图像;对目标太赫兹图 像进行分割处理,获得多个子图像;按照预设规则,将多个子图像分别输入到 相应的超分辨率处理模型中进行处理;将处理后的多个子图像进行重构,获得 超分辨率的太赫兹图像。考虑到实际应用中,一张太赫兹图像中,要进行识别 的物体仅占整个太赫兹图像中的一部分。因此,在做提高目标太赫兹图像的分 辨率处理前,可先分割目标太赫兹图像,然后将分割后得到的子图像按照预设 规则,分别输入相应的超分辨率处理模型中进行处理。即,可将属于不同位置 部分的子图像使用不同的超分辨率处理模型。具体的,可将关键子图像输入高 精度的超分辨率处理模型进行处理,得到更为细致的图像,而对于非关键部分 的子图像则进行简单的超分辨率处理模型进行处理。然后,将分别进行超分辨 率处理之后的子图像进行重构,最终获得超分辨率的太赫兹图像。重点提高部 分图像的分辨率,可减少计算机资源的浪费,提升图像处理效率。基于该太赫 兹图像做进一步的物体识别时,还可提高识别的准确率。
需要说明的是,基于上述实施例一,本发明实施例还提供了相应的改进方 案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参 考,相应的有益效果也可相互参照,在下文的改进实施例中不再一一赘述。
实施例二:
请参考图3,图3为本发明实施例中另一种超分辨率重构方法的流程图, 该方法包括以下步骤:
S201、获取原始太赫兹图像。
本发明实施例中的原始太赫兹图像可以为太赫兹安检图像。因安检时,检 测场景相对固定,因此所获取的原始太赫兹图像也具有相对固定的背景。需要 说明的是,这里所说的原始太赫兹图像还可以是经过简单的处理操作后的图 像。例如,原始太赫兹图像可以为去噪处理后的图像。
S202、对原始太赫兹图像做背景差分处理,获得目标太赫兹图像。
因在步骤S201中获取到的原始太赫兹图像具有相对固定的背景。且,在 实际应用中,考虑到一般人携带的危险品主要集中在人体的中部,即非固定背 景部分的图像中。因而,对太赫兹图像中的物体进行识别时,背景仅作为冗余 部分存在。因此,为了降低图像背景对图像处理过程产生干扰,以及提高图像 中物品的分辨率,以便进一步检测物品图像中的物品是否为危险品,可先将所 获取到的太赫兹图像中的背景进行分离,获得目标太赫兹图像。
S203、将目标太赫兹图像按照1:2:1的比例,分割为上部子图像、中部子 图像和下部子图像。
根据一般的生活经验,可以发现太赫兹图像中的重要信息,即物体影像基 本都分布在太赫兹图像的中间部分。因此,可将中间部分与边缘部分进行分割, 以便重点对中间部分进行超分辨率处理。例如,在进行图像分割时,可按照1: 2:1的比例将目标太赫兹图像分割上部子图像、中部子图像和下部子图像。 具体的,通过截取的目标物体的图像的矩阵的行数s和列数l,按比例为1/4、 1/2、1/4这个比例进行分割:
其中,aij为像素点,X'1,X'2,X'3分别对应图像分割出来的上部子图像、 中部子图像和下部子图像。
当然,在本发明的其他实施例中,图像的分割比例还可以为其他比例,具 体的比例可以预先确定,也可以根据实际情况进行确定和调整,在此不做限定。 另外,在本实施例中,将图像分割为上部子图像、中部子图像和下部子图像, 在本发明的其他实施例中还可分割为2个或2个以上的子图像。
S204、按照预设规则,将多个子图像分别输入到相应的超分辨率处理模型 中进行处理。
基于物体影像基本都分布在太赫兹图像的中间部分,在本实施例中,可以 将中部子图像输入至处理性能更好的超分辨率处理模型中进行处理,将上部子 图像和下部子图像输入至处理性能较为普通的超分辨率处理模型中进行处理。 如此,针对物体影像出现可能性更高的中部子图像进行高精度的处理,而对于 物体影像出现可能性相对较低的上部子图像和下部子图像中进行处理。在提高 物体影像分辨率的同时,还可降低计算机资源的浪费。
S205、将处理后的多个子图像按照分割的相应位置进行重构,获得超分辨 率的太赫兹图像。
请参考图4,将处理后的多个子图像按照分割的相应位置进行重构,获得 超分辨率的太赫兹图像。
优选地,在本发明的其他实施例中步骤S202包括:
步骤一、计算原始太赫兹图像对应的矩阵与预设背景矩阵的差分矩阵;
步骤二、遍历差分矩阵中所有元素,并将元素值大于预设阈值的元素集合 对应的图像确定目标太赫兹图像。
为便于描述。下面将上述2个步骤结合起来进行说明。
因太赫兹图像采集通常应用于如安全检测等背景环境相对固定的场景中。 在实际应用中,所获取到的原始太赫兹图像的背景几乎不会产生变化。基于此, 在本发明实施例中,可以提前获得一张物体所处的背景的图像对应的矩阵T。 然后,在要进行太赫兹图像超分辨率处理时,可将待处理的太赫兹图像对应的 矩阵W,然后将两个矩阵做差:Δ=W-T,Y=Δ={aij}0≤i≤N,0≤j≤M,其 中,i和j分别为矩阵的行号和列号,由i和j可确定出像素点位置,Y为目标 太赫兹图像的矩阵。当aij≤n(n为预设阈值,如n可以为10)时,说明该像素点不属于背景,而是物体的一部分。将小于预设阈值的所有像素点进行提取, 可提取太赫兹图像对应的矩阵W中的物体影像对应的像素,从而获取目标太 赫兹图像对应的矩阵Y。即,该目标太赫兹图像对应的矩阵Y即为从太赫兹图 像进行背景分离后,所获得的目标太赫兹图像。
将背景进行分离之后,可降低图像背景在进行超分辨率图像处理时的干 扰。且,分离背景之后得到的超分辨率的太赫兹图像,应用于物体识别、检测 中时,因无背景干扰,还可使得识别检测结果更为准确。
实施例三:
请参考图5,图5为本发明实施例中另一种超分辨率重构方法的流程图, 该方法包括以下步骤:
S301、获取目标太赫兹图像。
S302、将目标太赫兹图像按照1:1:1的比例,分割为左部子图像、中部子 图像和右部子图像。
根据一般的生活经验,可以发现太赫兹图像中的重要信息,即物体影像基 本都分布在太赫兹图像的中间部分。因此,在对图像进行超分辨率处理之前, 可以将图像进行分割,以便重点对有重要信息的中间部分进行图像处理。在对 图像分割时,可按照1:1:1的比例(即三等分),将目标太赫兹图像分割上 部子图像、中部子图像和下部子图像。
S303、将属于预设关键部分的子图像输入第一超分辨率图像处理模型,将 不属于预设关键部分的子图像输入第二超分辨率图像处理模型,以提高分辨 率。
其中,第一超分辨率图像处理模型为递归神经网络处理模型,第二超分辨 率图像处理模块为卷积神经网络处理模型。
在本实施例中,可预先设置图像的关键部分。例如,可将目标太赫兹图像 的中部设置为关键部分,相应地,分割后得到的中部子图像即为预先设置关键 部分对应的子图像。
将中部子图像输入第一超分辨率图像处理模型进行处理,将左部子图像和 右部子图像输入第二超分辨率图像处理模型进行处理。其中,第一超分辨率图 像处理模型可以为递归神经网络处理模型,第二超分辨率图像处理模型为卷积 神经网络处理模型。
其中,第一超分辨率图像处理模型,如图6,即递归神经网络组成的超分 辨率图像处理模型包括三个网络:
第一层网络为卷积网络,用于图像的特征的提取,第一层网络表示为操作 F1:F1(Y)=max(0,W1*Y+B1),其中,Y是输入图像,W1、B1分别表示滤波器和 偏差,“*”表示卷积运算。滤波器W1具体可以为支持n×f3×f3的n1滤波器。直 观地,滤波器W1对图像应用n1滤波器进行卷积,并且每个卷积的内核大小为 c×f1×f1,其中c是输入图像中的通道数,f1是滤波器的空间大小。输出由n1滤 波器特征图组成。B1是n1维向量,其每个元素与滤波器相关联。在过滤器响应 上采用ReLU(max(0,x))函数形式。
第二层网络是一个递归网络,用于图像的非线性映射,这样的递归网络解 决了为实现更好的非线性使用更多的卷积层增加网络感受野导致避免过多网 络参数的问题。这一部分的递归网络通过采集每一个中间网络的输出,输入重 构网络,保证图像信息处理的完整性。
递归网络的输入矩阵H0并计算矩阵输出HN。所有操作可以使用相同的权 重W和偏倚矩阵b。令g表示由递归层的单递归建模的函数:
g(H)=max(0,W*H+b),Hn=g(Hn-1)=max(0,W*Hn-1+b);对于n=1,..., N(n表示递归网络中的反馈卷积数)。递归网络的输出Y等价于这些基本函 数g的组合:Y=(g○g○...○)g(H)=gn(H),其中操作符“○”表示函数构成, gn表示g的n倍乘积。
第三层网络是重构网络,根据上文的不同的输出的权重,将图像重构,组 合成高分辨率图像。
重建网络表示为Y1,输入隐藏状态Hn,输出对应的目标图像Y'(高分辨率)。 具体地,重建网络为递归网络的逆运算。重构网络的公式如下:
Hn+1=max(0,Wn+1*Hn+bn+1),Y′n=max(0,Wn+2*Hn+1+bn+2)。最终输出的结果Y′为所有中间预测的加权平均值:其中n=1,...,N。其中Wn表示在递 归过程中从每个中间隐藏状态重建的预测权重。这些权重可以在训练中学习 到。
具体的,第二超分辨率图像处理模型,如图7,即卷积神经网络组成的超 分辨率图像处理模型,以提高分辨率。该模型由三个卷积层组成:
第一层是卷积网络用于图像的特征的提取,与上述的网络模型的卷积层网 络原理一样,在此不再赘述。
第二层卷积网络用于图像的非线性映射处理,实现图像块分辨率的提高。 第一层提取出每个图像块的n1维特征。在第二层网络操作中,将这些n1维度向 量映射成n2维。第二层的操作表示为F2:F2(Y)=max(0,W2*F1(Y)+B2),其中W2包 含大小为n×f1×f1的n2过滤器,B2是n2维的偏差。每个n2维的输出向量在概念 上可以用于重建的高分辨率图像块的向量表示。在实际应用中,可以通过添加 更多的卷积层以增加非线性。
第三层卷积网络用于图像块的重构,输出最终的高分辨率图像。高分辨率 图像块通常被平均以产生最终的完整图像。可以将平均值视为一组特征图上的 预定义滤波器。根据这个原理,定义卷积层操作F来产生最终的高分辨率图像:
F(Y)=W3*F2(Y)+B3,其中,W3对应于大小为n×f3×f3的c滤波器,B3是c 维向量。
S304、将处理后的多个子图像进行重构,获得超分辨率的太赫兹图像。
获得太赫兹图像之后,还可以将其输出。
相应于上面的方法实施例,本发明实施例还提供了一种超分辨率重构装 置,下文描述的超分辨率重构装置与上文描述的超分辨率重构方法可相互对应 参照。
参见图8所示,该装置包括以下模块:
目标太赫兹图像获取模块101,用于获取目标太赫兹图像;
图像分割模块102,用于对目标太赫兹图像进行分割处理,获得多个子图 像;
超分辨率处理模块103,用于按照预设规则,将多个子图像分别输入到相 应的超分辨率处理模型中进行处理;
图像重构模块104,用于将处理后的多个子图像进行重构,获得超分辨率 的太赫兹图像。
应用本发明实施例所提供的装置,获取目标太赫兹图像;对目标太赫兹图 像进行分割处理,获得多个子图像;按照预设规则,将多个子图像分别输入到 相应的超分辨率处理模型中进行处理;将处理后的多个子图像进行重构,获得 超分辨率的太赫兹图像。考虑到实际应用中,一张太赫兹图像中,要进行识别 的物体仅占整个太赫兹图像中的一部分。因此,在做提高目标太赫兹图像的分 辨率处理前,可先分割目标太赫兹图像,然后将分割后得到的子图像按照预设 规则,分别输入相应的超分辨率处理模型中进行处理。即,可将属于不同位置 部分的子图像使用不同的超分辨率处理模型。具体的,可将关键子图像输入高 精度的超分辨率处理模型进行处理,得到更为细致的图像,而对于非关键部分 的子图像则进行简单的超分辨率处理模型进行处理。然后,将分别进行超分辨 率处理之后的子图像进行重构,最终获得超分辨率的太赫兹图像。重点提高部 分图像的分辨率,可减少计算机资源的浪费,提升图像处理效率。基于该太赫 兹图像做进一步的物体识别时,还可提高识别的准确率。
在本发明的一种具体实施方式中,图像分割模块102,具体用于将目标太 赫兹图像按照1:2:1的比例,分割为上部子图像、中部子图像和下部子图像。
在本发明的一种具体实施方式中,图像分割模块102,具体用于将目标太 赫兹图像按照1:1:1的比例,分割为左部子图像、中部子图像和右部子图像。
在本发明的一种具体实施方式中,超分辨率处理模块103,具体用于将属 于预设关键部分的子图像输入第一超分辨率图像处理模型,将不属于预设关键 部分的子图像输入第二超分辨率图像处理模型,以提高分辨率;其中,第一超 分辨率图像处理模型为递归神经网络处理模型,第二超分辨率图像处理模块为 卷积神经网络处理模型。
在本发明的一种具体实施方式中,图像重构模块104,具体用于将处理后 的多个子图像按照分割的相应位置进行重构,获得超分辨率的太赫兹图像。
在本发明的一种具体实施方式中,目标太赫兹图像获取模块101,包括:
原始太赫兹图像获取单元,用于获取原始太赫兹图像;
差分处理单元,用于对原始太赫兹图像做背景差分处理,获得目标太赫兹 图像。
在本发明的一种具体实施方式中,差分处理单元,包括:
差分矩阵计算子单元,用于计算原始太赫兹图像对应的矩阵与预设背景矩 阵的差分矩阵;
目标太赫兹图像确定子单位,用于遍历差分矩阵中所有元素,并将元素值 大于预设阈值的元素集合对应的图像确定目标太赫兹图像。
相应于上面的方法实施例,本发明实施例还提供了一种超分辨率重构设 备,下文描述的一种超分辨率重构设备与上文描述的一种超分辨率重构方法可 相互对应参照。
参见图9所示,该超分辨率重构设备包括:
存储器D1,用于存储计算机程序;
处理器D2,用于执行计算机程序时实现上述方法实施例的超分辨率重构 方法的步骤。
相应于上面的方法实施例,本发明实施例还提供了一种可读存储介质,下 文描述的一种可读存储介质与上文描述的一种超分辨率重构方法可相互对应 参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处 理器执行时实现上述方法实施例的超分辨率重构方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是 与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对 于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比 较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例 的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为 了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描 述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于 技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来 使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范 围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处 理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器 (RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、 寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式 的存储介质中。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施 例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出,对于 本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本 发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围 内。
Claims (10)
1.一种超分辨率重构方法,其特征在于,包括:
获取目标太赫兹图像;
对所述目标太赫兹图像进行分割处理,获得多个子图像;
按照预设规则,将多个所述子图像分别输入到相应的超分辨率处理模型中进行处理;
将处理后的多个所述子图像进行重构,获得超分辨率的太赫兹图像。
2.根据权利要求1所述的超分辨率重构方法,其特征在于,对所述目标太赫兹图像进行分割处理,获得多个子图像,包括:
将所述目标太赫兹图像按照1:2:1的比例,分割为上部子图像、中部子图像和下部子图像。
3.根据权利要求1所述的超分辨率重构方法,其特征在于,对所述目标太赫兹图像进行分割处理,获得多个子图像,包括:
将所述目标太赫兹图像按照1:1:1的比例,分割为左部子图像、中部子图像和右部子图像。
4.根据权利要求1所述的超分辨率重构方法,其特征在于,所述按照预设规则,将多个所述子图像分别输入到相应的超分辨率处理模型中进行处理,包括:
将属于预设关键部分的子图像输入第一超分辨率图像处理模型,将不属于所述预设关键部分的子图像输入第二超分辨率图像处理模型,以提高分辨率;其中,所述第一超分辨率图像处理模型为递归神经网络处理模型,所述第二超分辨率图像处理模块为卷积神经网络处理模型。
5.根据权利要求1所述的超分辨率重构方法,其特征在于,所述将处理后的多个所述子图像进行重构,获得超分辨率的太赫兹图像,包括:
将处理后的多个所述子图像按照分割的相应位置进行重构,获得超分辨率的太赫兹图像。
6.根据权利要求1至5任一项所述的超分辨率重构方法,其特征在于,所述获取目标太赫兹图像,包括:
获取原始太赫兹图像;
对所述原始太赫兹图像做背景差分处理,获得目标太赫兹图像。
7.根据权利要求6所述的超分辨率重构方法,其特征在于,所述对所述原始太赫兹图像做背景差分处理,获得目标太赫兹图像,包括:
计算所述原始太赫兹图像对应的矩阵与预设背景矩阵的差分矩阵;
遍历所述差分矩阵中所有元素,并将元素值大于预设阈值的元素集合对应的图像确定目标太赫兹图像。
8.一种超分辨率重构装置,其特征在于,包括:
目标太赫兹图像获取模块,用于获取目标太赫兹图像;
图像分割模块,用于对所述目标太赫兹图像进行分割处理,获得多个子图像;
超分辨率处理模块,用于按照预设规则,将多个所述子图像分别输入到相应的超分辨率处理模型中进行处理;
图像重构模块,用于将处理后的多个所述子图像进行重构,获得超分辨率的太赫兹图像。
9.一种超分辨率重构设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述超分辨率重构方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述超分辨率重构方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810442314.5A CN108665509A (zh) | 2018-05-10 | 2018-05-10 | 一种超分辨率重构方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810442314.5A CN108665509A (zh) | 2018-05-10 | 2018-05-10 | 一种超分辨率重构方法、装置、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108665509A true CN108665509A (zh) | 2018-10-16 |
Family
ID=63778237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810442314.5A Pending CN108665509A (zh) | 2018-05-10 | 2018-05-10 | 一种超分辨率重构方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108665509A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903289A (zh) * | 2019-04-17 | 2019-06-18 | 广东工业大学 | 一种太赫兹图像无损检测的方法、装置以及设备 |
CN109978827A (zh) * | 2019-02-25 | 2019-07-05 | 平安科技(深圳)有限公司 | 基于人工智能的违禁物识别方法、装置、设备和存储介质 |
CN110288530A (zh) * | 2019-06-28 | 2019-09-27 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
CN110298790A (zh) * | 2019-06-28 | 2019-10-01 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
CN110473145A (zh) * | 2019-08-15 | 2019-11-19 | 广东工业大学 | 被动式太赫兹图像融合超高分辨率重建的检测方法及装置 |
WO2020134848A1 (zh) * | 2018-12-28 | 2020-07-02 | 深圳市华讯方舟太赫兹科技有限公司 | 应用于毫米波安检仪的智能检测方法、装置以及存储装置 |
CN114005514A (zh) * | 2021-11-26 | 2022-02-01 | 杭州涿溪脑与智能研究所 | 医学影像诊断方法、***及装置 |
CN118134765A (zh) * | 2024-04-30 | 2024-06-04 | 国家超级计算天津中心 | 图像处理方法、设备和存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101290682A (zh) * | 2008-06-25 | 2008-10-22 | 北京中星微电子有限公司 | 一种运动目标检测方法及装置 |
CN105678728A (zh) * | 2016-01-19 | 2016-06-15 | 西安电子科技大学 | 分区域管理的高效超分辨率成像装置及方法 |
CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
CN106709872A (zh) * | 2016-12-08 | 2017-05-24 | 中国人民解放军国防科学技术大学 | 一种快速图像超分辨率重构方法 |
US20170193680A1 (en) * | 2016-01-04 | 2017-07-06 | Kla-Tencor Corporation | Generating high resolution images from low resolution images for semiconductor applications |
CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
CN107729948A (zh) * | 2017-10-31 | 2018-02-23 | 京东方科技集团股份有限公司 | 图像处理方法及装置、计算机产品和存储介质 |
CN107944379A (zh) * | 2017-11-20 | 2018-04-20 | 中国科学院自动化研究所 | 基于深度学习的眼白图像超分辨率重建与图像增强方法 |
CN107967669A (zh) * | 2017-11-24 | 2018-04-27 | 腾讯科技(深圳)有限公司 | 图片处理的方法、装置、计算机设备及存储介质 |
US20180124415A1 (en) * | 2016-05-06 | 2018-05-03 | Magic Pony Technology Limited | Encoder pre-analyser |
-
2018
- 2018-05-10 CN CN201810442314.5A patent/CN108665509A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101290682A (zh) * | 2008-06-25 | 2008-10-22 | 北京中星微电子有限公司 | 一种运动目标检测方法及装置 |
US20170193680A1 (en) * | 2016-01-04 | 2017-07-06 | Kla-Tencor Corporation | Generating high resolution images from low resolution images for semiconductor applications |
CN105678728A (zh) * | 2016-01-19 | 2016-06-15 | 西安电子科技大学 | 分区域管理的高效超分辨率成像装置及方法 |
CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
US20180124415A1 (en) * | 2016-05-06 | 2018-05-03 | Magic Pony Technology Limited | Encoder pre-analyser |
CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
CN106709872A (zh) * | 2016-12-08 | 2017-05-24 | 中国人民解放军国防科学技术大学 | 一种快速图像超分辨率重构方法 |
CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
CN107729948A (zh) * | 2017-10-31 | 2018-02-23 | 京东方科技集团股份有限公司 | 图像处理方法及装置、计算机产品和存储介质 |
CN107944379A (zh) * | 2017-11-20 | 2018-04-20 | 中国科学院自动化研究所 | 基于深度学习的眼白图像超分辨率重建与图像增强方法 |
CN107967669A (zh) * | 2017-11-24 | 2018-04-27 | 腾讯科技(深圳)有限公司 | 图片处理的方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
周亮等: ""基于分割的图像超分辨率重构算法"", 《数据采集与处理》 * |
胡彦婷等: ""超分辨率重建技术研究进展"", 《信息技术》 * |
谢云宇等: ""超分辨率重建技术及其在太赫兹图像中的应用"", 《***仿真技术》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020134848A1 (zh) * | 2018-12-28 | 2020-07-02 | 深圳市华讯方舟太赫兹科技有限公司 | 应用于毫米波安检仪的智能检测方法、装置以及存储装置 |
CN109978827A (zh) * | 2019-02-25 | 2019-07-05 | 平安科技(深圳)有限公司 | 基于人工智能的违禁物识别方法、装置、设备和存储介质 |
CN109903289A (zh) * | 2019-04-17 | 2019-06-18 | 广东工业大学 | 一种太赫兹图像无损检测的方法、装置以及设备 |
CN110288530A (zh) * | 2019-06-28 | 2019-09-27 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
CN110298790A (zh) * | 2019-06-28 | 2019-10-01 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
CN110473145A (zh) * | 2019-08-15 | 2019-11-19 | 广东工业大学 | 被动式太赫兹图像融合超高分辨率重建的检测方法及装置 |
CN114005514A (zh) * | 2021-11-26 | 2022-02-01 | 杭州涿溪脑与智能研究所 | 医学影像诊断方法、***及装置 |
CN114005514B (zh) * | 2021-11-26 | 2022-07-29 | 杭州涿溪脑与智能研究所 | 医学影像诊断方法、***及装置 |
CN118134765A (zh) * | 2024-04-30 | 2024-06-04 | 国家超级计算天津中心 | 图像处理方法、设备和存储介质 |
CN118134765B (zh) * | 2024-04-30 | 2024-07-12 | 国家超级计算天津中心 | 图像处理方法、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108665509A (zh) | 一种超分辨率重构方法、装置、设备及可读存储介质 | |
Zhu et al. | A benchmark for edge-preserving image smoothing | |
CN109858461B (zh) | 一种密集人群计数的方法、装置、设备以及存储介质 | |
CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
CN112308200B (zh) | 神经网络的搜索方法及装置 | |
CN108520247A (zh) | 对图像中的对象节点的识别方法、装置、终端及可读介质 | |
CN109271933A (zh) | 基于视频流进行三维人体姿态估计的方法 | |
CN110310227A (zh) | 一种基于高低频信息分解的图像超分辨率重建方法 | |
CN107578453A (zh) | 压缩图像处理方法、装置、电子设备及计算机可读介质 | |
CN109117944B (zh) | 一种轮船目标遥感影像的超分辨率重建方法及*** | |
CN110222598B (zh) | 一种视频行为识别方法、装置、存储介质和服务器 | |
CN108475415A (zh) | 用于图像处理的方法和*** | |
CN105046651B (zh) | 一种图像的超分辨率重构方法和装置 | |
CN109671020A (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
CN109214366A (zh) | 局部目标重识别方法、装置及*** | |
CN107958235A (zh) | 一种人脸图像检测方法、装置、介质和电子设备 | |
CN105046672A (zh) | 一种图像超分辨率重建方法 | |
CN113469074B (zh) | 基于孪生注意力融合网络的遥感图像变化检测方法及*** | |
CN113469072B (zh) | 基于GSoP和孪生融合网络的遥感图像变化检测方法及*** | |
CN111860398A (zh) | 遥感图像目标检测方法、***及终端设备 | |
CN111160288A (zh) | 手势关键点检测方法、装置、计算机设备和存储介质 | |
CN109829353A (zh) | 一种基于空间约束的人脸图像风格化方法 | |
CN110210278A (zh) | 一种视频目标检测方法、装置及存储介质 | |
CN110084181A (zh) | 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法 | |
CN109064402A (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181016 |