CN109740688B - 一种太赫兹图像信息解译方法、网络及存储介质 - Google Patents

Abstract

本发明公开了一种太赫兹图像信息解译方法、网络及存储介质，方法包括以下步骤：获取低分辨率太赫兹图像；对获取的低分辨率太赫兹图像进行超分辨率重构，获得超分辨率太赫兹图像；利用至少一层卷积层对低分辨率太赫兹图像进行特征提取，获得低分辨率特征图；利用至少一层卷积层对超分辨率太赫兹图像进行特征提取，获得超分辨率特征图；将低分辨特征图和超分辨率特征图进行特征级图像融合，获得特征融合图；对特征融合图进行区域提议，获得候选区域；对候选区域进行区域池化，获得区域池化结果；对区域池化结果进行目标检测和/或语义分割，完成对太赫兹图像的信息解译。本发明可高效且高质量地完成对太赫兹图像的信息解译。

Description

一种太赫兹图像信息解译方法、网络及存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种太赫兹图像信息解译方法、网络及存储介质。

背景技术

太赫兹技术可以对随身隐匿危险物进行非接触自动识别，可以解决公共环境下安全检测的技术难题。长期以来，低分辨率的太赫兹图像较差的成像清晰度和对比度、边缘轮廓不清晰、相干斑噪声干扰成为阻碍太赫兹图像应用的主要因素之一。

将图像处理技术与太赫兹成像原理相结合，可以对太赫兹图像进行识别，但是使用低分辨率图像进行语义分割，尽管识别速率高，相对高分辨率图像来说失去很多小而重要的细节信息。

为了得出图像本身需要表达的信息，包括场景以及某个物体的类别信息，需要一种新的太赫兹图像信息解译方法，来满足对低分辨率太赫兹图像的高质量的解译要求。以实现实时、智能化检测等功能，使得太赫兹安检技术在城市轨道交通安检领域具有良好的应用场景。

发明内容

本发明的目的在于提供一种太赫兹图像信息解译方法、网络及存储介质，对低分辨率太赫兹图像进行高质量地解译。

为达此目的，本发明采用以下技术方案：

一种太赫兹图像信息解译方法，包括以下步骤：

对获取的低分辨率太赫兹图像进行超分辨率重构，获得超分辨率太赫兹图像；

利用至少一层卷积层对所述低分辨率太赫兹图像进行特征提取，获得低分辨率特征图；利用至少一层卷积层对所述超分辨率太赫兹图像进行特征提取，获得超分辨率特征图；

将所述低分辨率特征图和所述超分辨率特征图进行特征级图像融合，获得特征融合图；

对所述特征融合图进行区域提议，获得候选区域；对所述候选区域进行区域池化，获得区域池化结果；

对所述区域池化结果进行目标检测和/或语义分割，完成对太赫兹图像的信息解译。

可选的，所述步骤：对获取的低分辨率太赫兹图像进行超分辨率重构，获得超分辨率太赫兹图像，具体包括：

利用超分辨率重构子网络对获取的低分辨率太赫兹图像进行超分辨率重构，获得超分辨率太赫兹图像；

其中，所述超分辨率重构子网络包括至少一个递归块，各所述递归块包括至少一个残差单元；最后一个所述递归块的输出值进行卷积后与所述低分辨率太赫兹图像叠加，获得所述超分辨率太赫兹图像。

可选的，所述步骤：将所述低分辨率特征图和所述超分辨率特征图进行特征级图像融合，获得特征融合图，具体包括：

对所述低分辨率特征图依次进行反卷积、空洞卷积和L2归一化计算，获得低分辨率处理图；

对所述超分辨率特征图依次进行卷积核1*1的卷积和L2归一化计算，获得超分辨率处理图；

将所述低分辨率处理图和所述超分辨率处理图进行融合，之后进行ReLu激活函数计算，获得特征融合图。

可选的，所述步骤：对所述特征融合图进行区域提议，获得候选区域，具体包括：

针对所述特征融合图，利用锚点机制在x*y的滑动窗口上，生成多种不同大小的可能区域；

对多种所述可能区域进行分类计算和边框回归计算，获得分类结果和边框回归结果；

根据分类结果对多种所述可能区域进行初步筛选，根据边框回归结果对筛选出的可能区域进行初步偏移，获得候选区域。

可选的，所述步骤：对所述候选区域进行区域池化，获得区域池化结果，具体包括：

将所述候选区域映射到特征融合图的对应位置，获得映射区域；

将所述映射区域划分为多个相同大小的区间，对每个所述区间进行最大池化计算，获得区域池化结果。

可选的，所述步骤：对所述区域池化结果进行目标检测和/或语义分割，完成对太赫兹图像的信息解译，具体包括：

对所述区域池化结果进行反卷积；

将所述区域池化结果的反卷积结果输入全连接层转化获得一维向量；

利用区域分类器和边框回归器分别对所述一维向量进行分类计算和边框回归计算，获得分类结果和边框回归结果；

根据分类结果对所述一维向量进行初步筛选获得属于预定类别的候选框，根据边框回归结果对所述候选框的位置进行偏移，获得目标检测图；

和/或，

对所述区域池化结果的反卷积结果进行上采样；对上采样的结果利用语义分类器进行分类，之后再进行上采样，获得语义分割图；

可选的，所述步骤：对所述低分辨率特征图依次进行反卷积、空洞卷积和L2归一化计算，获得低分辨率处理图，之后还包括一步骤：

将所述低分辨率特征图的反卷积结果依次进行卷积核1*1的卷积和Softmax函数计算，获得损失值L₁；其中，Softmax函数计算利用级联标签指导的低分辨率标签；

所述步骤：利用区域分类器和边框回归器分别对所述一维向量进行分类计算和边框回归计算，获得分类结果和边框回归结果，之后还包括一步骤：

利用Softmax Loss 函数对区域分类器进行训练，获得损失值L₂₁；利用Smooth L1Loss对边框回归器进行训练，获得损失值L₂₂；将损失值L₂₁和L₂₂叠加，获得损失值L₂；

所述步骤：对上采样的结果利用语义分类器进行分类，之后还包括一步骤：

利用级联标签指导的高分辨率标签对语义分类器进行分类训练，获得损失值L₃；

所述步骤：完成对太赫兹图像的信息解译，之后还包括一步骤：

计算总损失函数L；

若仅对所述区域池化结果进行目标检测，所述总损失函数L=λ₁L₁+λ₂L₂；

若仅对所述区域池化结果进行语义分割，所述总损失函数L=λ₁L₁+λ₃L₃；

若对所述区域池化结果进行目标检测和语义分割，所述总损失函数L=λ₁L₁+λ₂L₂+λ₃L₃；

最小化总损失函数L。

一种太赫兹图像信息解译网络，包括：

超分辨率重构子网络，用于对获取的低分辨率太赫兹图像进行超分辨率重构；

特征提取子网络，用于利用至少一层卷积层对所述低分辨率太赫兹图像进行特征提取，获得低分辨率特征图；利用至少一层卷积层对所述超分辨率太赫兹图像进行特征提取，获得超分辨率特征图；

特征融合子网络，用于将所述低分辨特征图和所述超分辨率特征图进行特征级图像融合，获得特征融合图；

区域提议子网络，用于对所述特征融合图进行区域提议，获得候选区域；

区域池化子网络，用于对所述候选区域进行区域池化，获得区域池化结果；

目标检测和语义分割子网络，用于将对所述区域池化结果进行目标检测和/或语义分割，完成对太赫兹图像的信息解译；

所述超分辨率重构子网络连接所述特征提取子网络，所述特征提取子网络连接所述特征融合子网络，所述特征融合子网络连接所述区域提议子网络，所述区域提议子网络连接所述区域池化子网络。

一种存储介质，所述存储介质上存储有计算机可执行指令，其特征在于， 所述计算机可执行指令被计算机处理器执行时，实现上述的太赫兹图像信息解译方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明实现了低分辨率太赫兹图像的超分辨率重构，将重构获得的超分辨率太赫兹图像和低分辨率太赫兹图像进行特征级图像融合，对所述特征融合图进行目标检测和/或语义分割，完成了对低分辨率太赫兹图像的信息解译。可以有效地降低低分辨率太赫兹图像的识别的计算成本，同时不会降低最终输出的准确率，从而高效地完成对太赫兹图像的信息解译。并且可有效克服太赫兹成像低分辨率、高噪声等特点。本发明的信息解译方法非常有利于太赫兹图像处理技术的研究以及太赫兹图像的应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一提供的太赫兹图像信息解译方法的流程示意图。

图2为本发明实施例一提供的超分辨率重构子网络的示意图。

图3为本发明实施例一提供的递归块的示意图。

图4为本发明实施例二提供的太赫兹图像信息解译网络的示意图。

图5为本发明实施例二提供的太赫兹图像信息解译网络的示意图。

图6为本发明实施例二提供的特征融合子网络的示意图。

图示说明：11、超分辨率重构子网络；12、特征提取子网络；13、特征融合子网络；14、区域提议子网络；15、区域池化子网络；16、目标检测和语义分割子网络。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。需要说明的是，当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中设置的组件。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

实施例一

本实施例一提供了一种太赫兹图像信息解译方法，请参考图1，其包括以下步骤：

S1、对获取的低分辨率太赫兹图像进行超分辨率重构，获得超分辨率太赫兹图像；

S2、利用至少一层卷积层对低分辨率太赫兹图像进行特征提取，获得低分辨率特征图；利用至少一层卷积层对超分辨率太赫兹图像进行特征提取，获得超分辨率特征图；

S3、将低分辨率特征图和超分辨率特征图进行特征级图像融合，获得特征融合图；

S4、对特征融合图进行区域提议，获得候选区域；对候选区域进行区域池化，获得区域池化结果；

S5、对区域池化结果进行目标检测和/或语义分割，完成对太赫兹图像的信息解译。

在本实施例中，S1步骤具体包括：

利用超分辨率重构子网络11对低分辨率太赫兹图像进行超分辨率重构，获得超分辨率太赫兹图像；

其中，超分辨率重构子网络11包括至少一个递归块，各递归块包括至少一个残差单元；最后一个递归块的输出值进行卷积后与低分辨率太赫兹图像叠加，获得超分辨率太赫兹图像。

图2为包括n个递归块的超分辨率重构子网络11的示意图。图3为包括两个残差单元的递归块的示意图。其中，n≥1。

如图3所示，前一递归块的输出值，进行卷积后输入第1残差单元。在第1残差单元，输入值进行两次卷积后与输入值叠加，输出至第2残差单元；在第2残差单元，第1残差单元的输出值进行两次卷积后与第1残差单元的输入值叠加，输出至下一递归块。

若一递归块内包括m个残差单元，则在第m残差单元，第m-1残差单元的输出值进行两次卷积后与第1残差单元的输入值叠加，输出至下一递归块。其中，m≥1。

当m=1时，超分辨率重构子网络11可以表示为：

y=D(x)=f_conv(R_n(R_n-1(⋯(R₁(x))⋯)))+x

其中，R表示递归块的函数，f_conv表示最后一层卷积层函数。

S3步骤具体包括：

对低分辨率特征图依次进行反卷积、空洞卷积和L2归一化计算，获得低分辨率处理图；

对低分辨率特征图的反卷积结果依次进行卷积核1*1的卷积和Softmax函数计算，获得损失值L₁；其中，Softmax函数计算利用级联标签指导的低分辨率标签；

对超分辨率特征图依次进行卷积核1*1的卷积和L2归一化计算，获得超分辨率处理图；

将低分辨率处理图和超分辨率处理图进行融合，之后进行ReLu激活函数计算，获得特征融合图。

本实施例根据获得的损失值L₁进行训练，可以增强从低分辨率特征图至低分辨率处理图之间步骤的学习。为了结合不同分辨率的特征图，本实施例先将低分辨率特征图通过反卷积进行上采样，以其增大感受野；并且将超分辨率特征图通过卷积核1*1的卷积进行降维，得到与低分辨率特征图一样的维度；然后高分辨率和低分辨率的特征图均经过L2归一化，进行融合；再经过ReLu激活函数，就可以获得与超分辨率特征图相同分辨率的特征融合图。

S4步骤中，对特征融合图进行区域提议，获得候选区域，具体包括：

针对特征融合图，利用锚点机制在x*y的滑动窗口上，生成多种不同大小的可能区域；

对多种可能区域进行分类计算和边框回归计算，获得分类结果和边框回归结果；

根据分类结果对多种可能区域进行初步筛选，根据边框回归结果对筛选出的可能区域进行初步偏移，获得候选区域。

其中，可能区域一般为300个。

S4步骤中，对候选区域进行区域池化，获得区域池化结果，具体包括：

对候选区域映射到特征融合图的对应位置，获得映射区域；

将映射区域划分为多个相同大小的区间，对每个区间进行最大池化计算，获得区域池化结果。

S5步骤具体包括：

S51、对区域池化结果进行反卷积；

S52、对区域池化结果的反卷积结果输入全连接层转化获得一维向量；

利用区域分类器和边框回归器分别对一维向量进行分类计算和边框回归计算，获得分类结果和边框回归结果；

根据分类结果对一维向量进行初步筛选获得属于预定类别的候选框，根据边框回归结果对候选框的位置进行偏移，获得目标检测图；

其中，利用Softmax Loss 函数对区域分类器进行训练，获得损失值L₂₁利用SmoothL1 Loss对边框回归器进行训练，获得损失值L₂₂，将损失值L₂₁和L₂₂叠加，获得损失值L₂；

和/或，

S53、对区域池化结果的反卷积结果进行上采样；对上采样的结果利用语义分类器进行分类后，再进行上采样，获得语义分割图；

利用级联标签指导的高分辨率标签对语义分类器进行分类训练，获得损失值L₃。

在实现区域池化之后，通过目标检测子网络和语义分割子网络分别获得目标检测图和语义分割图，对于太赫兹图像的解译全面。

S5步骤之后还包括一步骤S6：

计算总损失函数L；

若仅对所述区域池化结果进行目标检测，所述总损失函数L=λ₁L₁+λ₂L₂；

若仅对所述区域池化结果进行语义分割，所述总损失函数L=λ₁L₁+λ₃L₃；

若对所述区域池化结果进行目标检测和语义分割，所述总损失函数L=λ₁L₁+λ₂L₂+λ₃L₃；

最小化总损失函数L。

通过最小化总损失函数可以使太赫兹图像的解译更加准确。

本发明实施例一使用具有多个递归块的分网络对低分辨率图像进行超分辨率重构，获得的超分辨率图像经过至少一层卷积层进行特征提取，同时低分辨率图像也经过至少一层卷积层进行特征提取，将特征提取后的两种分辨率的特征图进行融合，融合过程中获得损失函数L₁。再对特征融合图经过区域提议和区域池化后，进行反卷积，然后分别进行目标检测和语义分割，完成对低分辨率太赫兹图像的信息解译；其中，目标检测过程获得损失函数L₂，语义分割过程获得损失函数L₃。根据L₁、L₂和L₃，计算总损失函数并将其最小化。

以上过程有效地降低了低分辨率太赫兹图像的识别的计算成本，同时不会降低最终输出的准确率，高效地完成对太赫兹图像的信息解译。实验结果表明，此网络结构有效地提高了低分辨率太赫兹图像的小物体正确分类率，同时得到更精细的分割效果，还可以达到令人满意的分割速度。

本发明实现了低分辨率太赫兹图像的超分辨率重构、目标检测和语义分割，完成了对低分辨率太赫兹图像的信息解译。同时，超分辨率分支的卷积层数量远小于低分辨率分支，利用少量的卷积层处理超分辨率的输入数据，极短时间构建融合特征图。从而可以实现快速高分辨率的目标检测和语义分割，体现更多的细节信息，可以有效克服太赫兹成像低分辨率、高噪声等特点。本发明的信息解译方法非常有利于太赫兹图像处理技术的研究以及太赫兹图像的应用。

实施例二

本实施例提供了一种用于实现实施例一的太赫兹图像信息解译方法的太赫兹图像信息解译网络，具体包括：

超分辨率重构子网络11，用于对获取的低分辨率太赫兹图像进行超分辨率重构；

特征提取子网络12，用于利用至少一层卷积层对低分辨率太赫兹图像进行特征提取，获得低分辨率特征图，利用至少一层卷积层对超分辨率太赫兹图像进行特征提取，获得超分辨率特征图；

特征融合子网络13，用于将低分辨特征图和超分辨率特征图进行特征级图像融合，获得特征融合图；

区域提议子网络14，用于对特征融合图进行区域提议，获得候选区域；

区域池化子网络15，用于对区域池化结果进行目标检测和/或语义分割，完成对太赫兹图像的信息解译；

目标检测和语义分割子网络16，用于将对所述区域池化结果进行目标检测和/或语义分割，完成对太赫兹图像的信息解译。

超分辨率重构子网络11连接特征提取子网络12，特征提取子网络12连接特征融合子网络13，特征融合子网络13连接区域提议子网络14，区域提议子网络14连接区域池化子网络15，区域池化子网络15连接目标检测和语义分割子网络16。

图2为包括n个递归块的超分辨率重构子网络11的示意图。图3为包括两个残差单元的递归块的示意图。其中，n≥1。

如图2所示，超分辨率重构子网络11包括至少一个递归块，各递归块包括至少一个残差单元；最后一个递归块的输出值进行卷积后与低分辨率太赫兹图像叠加，获得超分辨率太赫兹图像。

如图3所示，前一递归块的输出值，进行卷积后输入第1残差单元。第1残差内，输入值进行两次卷积后与输入值叠加，输出至第2残差单元；第2残差单元内，第1残差单元的输出值进行两次卷积后与第1残差单元的输入值叠加，输出至下一递归块。

若递归块内包括m个残差单元，则第m残差单元内，第m-1残差单元的输出值进行两次卷积后与第1残差单元的输入值叠加，输出至下一递归块。其中，m≥1。

当m=1时，超分辨率重构子网络11可以表示为：

y=D(x)=f_conv(R_n(R_n-1(⋯(R₁(x))⋯)))+x

其中，R表示递归块的函数，f_conv表示最后一层卷积层函数。

请参考图5，图5为太赫兹图像信息解译网络的示意图。

如图所示，特征提取子网络12具体用于：

对低分辨率太赫兹图像经过至少一层卷积层处理，获得低分辨率特征图；

对超分辨率太赫兹图像经过至少一层卷积层处理，获得高分辨率特征图。

即特征提取子网络12包括i个用于对低分辨率太赫兹图像进行处理的卷积层，和j个用于对超分辨率太赫兹图像进行处理的卷积层；其中，i≥1，j≥1。

请参考图6，图6为特征融合子网络13的示意图。如图所示，特征融合子网络13具体用于：

对低分辨率特征图进行反卷积；

对低分辨率特征图的反卷积结果依次进行空洞卷积和L2归一化计算，获得低分辨率处理图；

对低分辨率特征图的反卷积结果依次进行卷积核1*1的卷积和Softmax函数计算，获得损失值L1；其中，Softmax函数计算利用级联标签指导的低分辨率标签；

对超分辨率特征图依次进行卷积核1*1的卷积和L2归一化计算，获得超分辨率处理图；

将低分辨率处理图和超分辨率处理图进行融合，之后进行ReLu激活函数计算，获得特征融合图。

在本实施例中，区域提议子网络14具体用于：

针对特征融合图，利用锚点机制在x*y的滑动窗口上，生成多种不同大小的可能区域；

对多种可能区域进行分类计算和边框回归计算，获得分类结果和边框回归结果；

根据分类结果对多种可能区域进行初步筛选，根据边框回归结果对筛选出的可能区域进行初步偏移，获得候选区域。

其中，可能区域一般为300个。

区域池化子网络15具体用于：

对候选区域映射到特征融合图的对应位置，获得映射区域；

将映射区域划分为多个相同大小的区间，对每个区间进行最大池化计算，获得区域池化结果。

请参考图5，目标检测和语义分割子网络16具体用于：

对区域池化结果进行反卷积；

对区域池化结果的反卷积结果输入全连接层转化获得一维向量；

利用区域分类器和边框回归器分别对一维向量进行分类计算和边框回归计算，获得分类结果和边框回归结果；

根据分类结果对一维向量进行初步筛选获得属于预定类别的候选框，根据边框回归结果对候选框的位置进行偏移，获得目标检测图；

其中，利用Softmax Loss 函数对区域分类器进行训练，获得损失值L₂₁利用SmoothL1 Loss对边框回归器进行训练，获得损失值L₂₂，将损失值L₂₁和L₂₂叠加，获得损失值L₂；

对区域池化结果的反卷积结果进行上采样；对上采样的结果利用语义分类器进行分类后，再进行上采样，获得语义分割图；

其中，利用级联标签指导的高分辨率标签对语义分类器进行分类训练，获得损失值L₃。

在本实施例中，太赫兹图像信息解译网络还包括一训练单元，该训练单元用于：计算总损失函数L；

若仅对所述区域池化结果进行目标检测，所述总损失函数L=λ₁L₁+λ₂L₂；

若仅对所述区域池化结果进行语义分割，所述总损失函数L=λ₁L₁+λ₃L₃；

若对所述区域池化结果进行目标检测和语义分割，所述总损失函数L=λ₁L₁+λ₂L₂+λ₃L₃；

最小化总损失函数L。

训练单元通过最小化总损失函数L对整个超分辨全卷积级联网络进行训练，以增强其准确性。

实施例三

本发明实施例提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例一的太赫兹图像信息解译方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种太赫兹图像信息解译方法，其特征在于，包括以下步骤：

对获取的低分辨率太赫兹图像进行超分辨率重构，获得超分辨率太赫兹图像；

利用至少一层卷积层对所述低分辨率太赫兹图像进行特征提取，获得低分辨率特征图；利用至少一层卷积层对所述超分辨率太赫兹图像进行特征提取，获得超分辨率特征图；

将所述低分辨率特征图和所述超分辨率特征图进行特征级图像融合，获得特征融合图；

对所述特征融合图进行区域提议，获得候选区域；对所述候选区域进行区域池化，获得区域池化结果；

对所述区域池化结果进行目标检测和/或语义分割，完成对太赫兹图像的信息解译；所述步骤：将所述低分辨率特征图和所述超分辨率特征图进行特征级图像融合，获得特征融合图，具体包括：

对所述低分辨率特征图依次进行反卷积、空洞卷积和L2归一化计算，获得低分辨率处理图；

对所述超分辨率特征图依次进行卷积核1*1的卷积和L2归一化计算，获得超分辨率处理图；

将所述低分辨率处理图和所述超分辨率处理图进行融合，之后进行ReLu激活函数计算，获得特征融合图；所述步骤：对所述区域池化结果进行目标检测和/或语义分割，完成对太赫兹图像的信息解译，具体包括：

对所述区域池化结果进行反卷积；

将所述区域池化结果的反卷积结果输入全连接层转化获得一维向量；

利用区域分类器和边框回归器分别对所述一维向量进行分类计算和边框回归计算，获得分类结果和边框回归结果；

根据分类结果对所述一维向量进行初步筛选获得属于预定类别的候选框，根据边框回归结果对所述候选框的位置进行偏移，获得目标检测图；

和/或，

对所述区域池化结果的反卷积结果进行上采样；对上采样的结果利用语义分类器进行分类，之后再进行上采样，获得语义分割图；所述步骤：对所述低分辨率特征图依次进行反卷积、空洞卷积和L2归一化计算，获得低分辨率处理图，之后还包括一步骤：

将所述低分辨率特征图的反卷积结果依次进行卷积核1*1的卷积和Softmax函数计算，获得损失值L₁；其中，Softmax函数计算利用级联标签指导的低分辨率标签；

所述步骤：利用区域分类器和边框回归器分别对所述一维向量进行分类计算和边框回归计算，获得分类结果和边框回归结果，之后还包括一步骤：

利用Softmax Loss 函数对区域分类器进行训练，获得损失值L₂₁；利用Smooth L1 Loss对边框回归器进行训练，获得损失值L₂₂；将损失值L₂₁和L₂₂叠加，获得损失值L₂；

所述步骤：对上采样的结果利用语义分类器进行分类，之后还包括一步骤：

利用级联标签指导的高分辨率标签对语义分类器进行分类训练，获得损失值L₃；

所述步骤：完成对太赫兹图像的信息解译，之后还包括一步骤：

计算总损失函数L；

若仅对所述区域池化结果进行目标检测，所述总损失函数L=λ₁L₁+λ₂L₂；

若仅对所述区域池化结果进行语义分割，所述总损失函数L=λ₁L₁+λ₃L₃；

若对所述区域池化结果进行目标检测和语义分割，所述总损失函数L=λ₁L₁+λ₂L₂+λ₃L₃；

最小化总损失函数L；

所述步骤：对获取的低分辨率太赫兹图像进行超分辨率重构，获得超分辨率太赫兹图像，具体包括：

利用超分辨率重构子网络对获取的低分辨率太赫兹图像进行超分辨率重构，获得超分辨率太赫兹图像；

其中，所述超分辨率重构子网络包括至少一个递归块，各所述递归块包括至少一个残差单元；最后一个所述递归块的输出值进行卷积后与所述低分辨率太赫兹图像叠加，获得所述超分辨率太赫兹图像。

2.根据权利要求1所述的太赫兹图像信息解译方法，其特征在于，所述步骤：对所述特征融合图进行区域提议，获得候选区域，具体包括：

针对所述特征融合图，利用锚点机制在x*y的滑动窗口上，生成多种不同大小的可能区域；

对多种所述可能区域进行分类计算和边框回归计算，获得分类结果和边框回归结果；

根据分类结果对多种所述可能区域进行初步筛选，根据边框回归结果对筛选出的可能区域进行初步偏移，获得候选区域。

3.根据权利要求1所述的太赫兹图像信息解译方法，其特征在于，所述步骤：对所述候选区域进行区域池化，获得区域池化结果，具体包括：

将所述候选区域映射到特征融合图的对应位置，获得映射区域；

将所述映射区域划分为多个相同大小的区间，对每个所述区间进行最大池化计算，获得区域池化结果。

4.一种太赫兹图像信息解译网络，其特征在于，包括：

超分辨率重构子网络，用于对获取的低分辨率太赫兹图像进行超分辨率重构，获得超分辨率太赫兹图像；

特征提取子网络，用于利用至少一层卷积层对所述低分辨率太赫兹图像进行特征提取，获得低分辨率特征图；利用至少一层卷积层对所述超分辨率太赫兹图像进行特征提取，获得超分辨率特征图；

特征融合子网络，用于将所述低分辨率特征图和所述超分辨率特征图进行特征级图像融合，获得特征融合图；

区域提议子网络，用于对所述特征融合图进行区域提议，获得候选区域；

区域池化子网络，用于对所述候选区域进行区域池化，获得区域池化结果；

目标检测和语义分割子网络，用于对所述区域池化结果进行目标检测和/或语义分割，完成对太赫兹图像的信息解译；

所述超分辨率重构子网络连接所述特征提取子网络，所述特征提取子网络连接所述特征融合子网络，所述特征融合子网络连接所述区域提议子网络，所述区域提议子网络连接所述区域池化子网络，所述区域池化子网络连接所述目标检测和语义分割子网络；

特征融合子网络具体用于：

对低分辨率特征图进行反卷积；

对低分辨率特征图的反卷积结果依次进行空洞卷积和L2归一化计算，获得低分辨率处理图；

对低分辨率特征图的反卷积结果依次进行卷积核1*1的卷积和Softmax函数计算，获得损失值L1；其中，Softmax函数计算利用级联标签指导的低分辨率标签；

对超分辨率特征图依次进行卷积核1*1的卷积和L2归一化计算，获得超分辨率处理图；

将低分辨率处理图和超分辨率处理图进行融合，之后进行ReLu激活函数计算，获得特征融合图；

目标检测和语义分割子网络具体用于：

对区域池化结果进行反卷积；

对区域池化结果的反卷积结果输入全连接层转化获得一维向量；

利用区域分类器和边框回归器分别对一维向量进行分类计算和边框回归计算，获得分类结果和边框回归结果；

根据分类结果对一维向量进行初步筛选获得属于预定类别的候选框，根据边框回归结果对候选框的位置进行偏移，获得目标检测图；

其中，利用Softmax Loss 函数对区域分类器进行训练，获得损失值L₂₁利用Smooth L1Loss对边框回归器进行训练，获得损失值L₂₂，将损失值L₂₁和L₂₂叠加，获得损失值L₂；

对区域池化结果的反卷积结果进行上采样；对上采样的结果利用语义分类器进行分类后，再进行上采样，获得语义分割图；

其中，利用级联标签指导的高分辨率标签对语义分类器进行分类训练，获得损失值L₃；

太赫兹图像信息解译网络还包括一训练单元，该训练单元用于：计算总损失函数L；

若仅对所述区域池化结果进行目标检测，所述总损失函数L=λ₁L₁+λ₂L₂；

若仅对所述区域池化结果进行语义分割，所述总损失函数L=λ₁L₁+λ₃L₃；

若对所述区域池化结果进行目标检测和语义分割，所述总损失函数L=λ₁L₁+λ₂L₂+λ₃L₃；

最小化总损失函数L。

5.一种存储介质，所述存储介质上存储有计算机可执行指令，其特征在于， 所述计算机可执行指令被计算机处理器执行时，实现权利要求1-3中任一权利要求所述的太赫兹图像信息解译方法的步骤。

Images