CN117095158A - 一种基于多尺度分解卷积的太赫兹图像危险品检测方法 - Google Patents

Abstract

本发明公开了一种基于多尺度分解卷积的太赫兹图像危险品检测方法，包括：利用太赫兹成像设备获取待测目标物图像；将所述待测目标物图像进行处理，构建输入图像数据集；构建目标检测网络模型，将所述待测目标物图像输入所述目标检测网络模型，生成不同尺寸大小的特征层，对所述特征层中的特征进行多尺度特征融合，提取多尺度的特征，识别隐藏危险品，其中所述目标检测网络模型通过所述输入图像数据集进行训练获得；若所述待测目标物图像中存在危险品，则输出包含危险品检测框、危险品类别号及预测概率值的隐藏危险品检测结果图像，若所述待测目标物图像中不存在危险品，则输出与输入一致的所述待测目标物图像。

Description

一种基于多尺度分解卷积的太赫兹图像危险品检测方法

技术领域

本发明属于太赫兹检测技术领域，尤其涉及一种基于多尺度分解卷积的太赫兹图像危险品检测方法。

背景技术

太赫兹成像技术使用太赫兹辐射源照射物体，并捕获物体的透射或反射光线进行成像。由于太赫兹辐射的频率和波长特性，结合对人体无害的优点，太赫兹成像技术在生物医学和安全领域具有非常大的应用潜力，如易燃易爆物、毒品、违禁***和其他危险品的检测。然而，由于太赫兹成像***的硬件和外部环境干扰等因素，太赫兹图像存在噪声干扰严重、信噪比和对比度低、图像模糊等问题。这些问题对安防检测的准确性产生了重大影响，传统的目标检测***由于无法从质量较差的太赫兹图像中准确识别与定位危险品的限制，导致***存在检测精度低、识别率低等问题。随着深度学习技术的发展，采用深度学习方式在大量样本数据集的训练和学习下可实现自动完成检测任务。此外，基于多尺度分解卷积的目标检测方法能够在提高精度的同时降低模型复杂度以便部署到终端设备。因此，开发能够更精确识别太赫兹图像中危险品种类、检测准确率高的目标检测算法非常有助于太赫兹图像检测技术的应用和发展。

发明内容

为解决上述技术问题，本发明提出了一种基于多尺度分解卷积的太赫兹图像危险品检测方法。通过深度学习目标检测算法以及网络模型优化方法，提高了太赫兹图像中危险品的检测精度和识别率。有望在地铁、机场、边境等场景的安全检测领域得到广泛应用。

为实现上述目的，本发明提供了基于多尺度分解卷积的太赫兹图像危险品检测方法，包括：

利用太赫兹成像设备获取待测目标物图像；

将所述待测目标物图像进行处理，构建输入图像数据集；

构建目标检测网络模型，将所述待测目标物图像输入所述目标检测网络模型，生成不同尺寸大小的特征层，对所述特征层中的特征进行多尺度特征融合，提取多尺度的特征，识别隐藏危险品，其中，所述目标检测网络模型通过所述输入图像数据集进行训练获得；

若所述待测目标物图像中存在危险品，则输出包含危险品检测框、危险品类别号及预测概率值的隐藏危险品检测结果图像，若所述待测目标物图像中不存在危险品，则输出与输入一致的所述待测目标物图像。

可选的，将所述待测目标物图像进行处理包括：

将所述待测目标物图像中的危险品用矩形框框出转化为标签数据，获取含有标签数据的图像；

将所述含有标签数据的图像进行mosaic增强、随机左右翻转、尺寸随机缩放处理，完成所述输入图像数据集的构建。

可选的，目标检测网络模型包括：特征提取主干网络、特征融合网络和特征检测网络；

所述特征提取主干网络通过卷积操作对所述待测目标物图像进行浅层特征提取，获取不同尺寸大小的特征层；

所述特征融合网络对所述不同尺寸大小的特征层进行多尺度特征融合，提取出多尺度的特征，获取多尺度特征图；

所述特征检测网络对所述多尺度特征图进行预测，输出预测结果图。

可选的，所述特征提取主干网络中加入了自适应多尺度大核分解卷积模块和注意力机制BRA；所述特征融合网络加入了所述自适应多尺度大核分解卷积模块和无参数量3-D局部注意力SimAM；

所述自适应多尺度大核分解卷积模块对输入的特征图进行多尺度分解和自适应融合。

可选的，所述自适应多尺度大核分解卷积模块包括深度卷积、深度扩张卷积和逐点卷积。

可选的，所述自适应多尺度大核分解卷积模块对输入的特征图进行多尺度分解和自适应融合之前包括：对输入的特征图进行卷积和分类操作，获取若干特征图。

可选的，所述自适应多尺度大核分解卷积模块对输入的特征图进行多尺度分解和自适应融合包括：

提取所述若干特征图中的一个特征图作为第一特征图；

将所述若干特征图中剩余的特征图分别输入不同的自适应多尺度大核分解卷积模块；

通过在不同的所述自适应多尺度大核分解卷积模块中设定不同的大卷积核和不同的扩张速率，对不同的所述自适应多尺度大核分解卷积模块中的深度扩张卷积、深度卷积和逐点卷积进行设置，并对所述剩余的特征图进行多尺度分解，输出若干新的特征图；

利用级联操作将若干所述新的特征图在通道维度上进行连接，获取第二特征图；

将所述第二特征图通过卷积操作进行特征融合及通道数降维，获取第三特征图；

将所述第三特征图进行Softmax以及通道分离操作，获取空间自适应权重；

将若干所述新的特征图与所述空间自适应权重进行加权聚合，获取第四特征图；

将所述第四特征图与所述第一特征图进行级联和卷积操作，获取第五特征图，实现自适应融合。

可选的，所述自适应多尺度大核分解卷积模块中的目标参数为预设目标值。

可选的，输出所述隐藏危险品检测结果图像的数学模型为：

式中，O为隐藏危险品检测结果图像，为优化参数，F′为特征提取主干网络和特征融合网络处理后得到的图像组，D(·)表示目标检测函数，Ψ是神经网络的参数，(x,y)表示输出检测框的像素坐标。

可选的，所述目标检测网络模型通过所述输入图像数据集进行训练的过程中包括：

采用SGD函数对损失函数Loss(Θ)进行优化：

L_b＝L_CIoU+L_DFL

L_DFL＝-((y_i+1-y)log(S_i)+(y-y_i)log(S_i+1))

其中，N为检测层个数，L_b为边框回归损失函数，L_c为分类损失函数，α₁，α₂为损失函数的权重系数，L_CIoU和L_DFL为边界框损失函数，IoU为交并比，ρ为预测框与真实框中心点距离，p、g分别为预测框与真实框的中心点，c为两框的最小外接矩形框的对角线距离，v为衡量长宽比一致的参数，y_i+1为距离真实值右侧最近的整数，y_i为距离真实值左侧最近的整数，n为样本数，B_i为目标值，S_i为模型输出值。

本发明技术效果：本发明通过采用自适应多尺度大核分解卷积模块，可以有效增大感受野的同时降低复杂度，提高对图像中危险品特征的识别和提取能力。另外，在特征提取主干网络和特征融合层增加注意力机制，能够利用全局特征提高对危险品的检测精度和识别率。本发明有利于太赫兹图像危险品目标检测技术的应用研究。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例目标检测算法网络模型架构示意图；

图2为本发明实施例自适应多尺度大核分解卷积模块架构示意图；

图3为本发明实施例注意力机制BRA模块架构示意图；

图4为本发明实施例一种基于多尺度分解卷积的太赫兹图像危险品检测方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图4所示，本实施例中提供一种基于多尺度分解卷积的太赫兹图像危险品检测方法，包括：利用太赫兹成像设备获取待测目标物图像；

将所述待测目标物图像进行处理，构建输入图像数据集；

构建目标检测网络模型，将所述待测目标物图像输入所述目标检测网络模型，生成不同尺寸大小的特征层，对所述特征层中的特征进行多尺度特征融合，提取多尺度的特征，识别隐藏危险品，其中所述目标检测网络模型通过所述输入图像数据集进行训练获得；

若所述待测目标物图像中存在危险品，则输出包含危险品检测框、危险品类别号及预测概率值的隐藏危险品检测结果图像，若所述待测目标物图像中不存在危险品，则输出与输入一致的所述待测目标物图像。

利用太赫兹成像设备获取待测目标物图像将所述待测目标物图像进行处理，构建输入图像数据集(制作人体携带隐藏危险品太赫兹图像训练数据集)包括：

利用太赫兹成像设备拍摄N＝3157张待检测目标物图像，每个待测目标物图像记为S_i，i＝1,2,…,3157。用矩形框将N＝3157张待测目标物图像中的危险品用矩形框框出后转化生成标签数据，获取含有标签数据的图像，再把含有标签数据的待测目标物图像经过mosaic增强、随机左右翻转、尺寸随机缩放等预处理后，得到一张预处理后的子图像。将N＝3157张待测目标物图像采用相同方式预处理后，可得到包含N＝3157张图像的输入图像集A。

通过输入图像集对目标检测网络模型进行训练。

将所述待测目标物图像输入所述目标检测网络模型，对所述待测目标物图像进行检测(目标检测算法获取人体携带隐藏危险品检测图像)包括：

如图1所示，所述目标检测算法获取人体携带隐藏危险品检测图像是通过多尺度分解卷积自适应融合深度学习神经网络来实现。将被测目标物图像I∈R^3×640×640输入到目标检测网络模型中，之后输出即为隐藏危险品检测图像O∈R^3×640×640，其数学模型可以表示如下：

O＝O(x,y)＝Φ(I,Ψ)

上式中O(x,y)表示危险品检测图像，Φ(·)表示目标检测算法神经网络模型，Ψ是神经网络的参数，(x,y)表示输出检测框的像素坐标，I为被测目标物图像。若被测目标物图像中存在危险品，则会将输出的检测框绘制在被测目标物图像上。此外，在检测框上标注出危险品的类别号以及其预测概率值。反之，若被测目标物图像中不存在危险品，则输出的图像与输入图像一致。

目标检测网络模型包括：

在特征提取主干网络中，通过卷积操作进行浅层特征提取得到尺寸大小依次减半的特征图，利用主干网络中后三层卷积操作生成的三个不同尺寸大小的特征层，在特征融合阶段进行多尺度特征融合，有利于提取出多尺度的特征，提高对隐藏危险品的识别率。

在特征提取过程中设计了一种自适应多尺度大核分解卷积模块AMDC,使得网络在增大感受野的同时降低复杂度，进而提高对图像中危险品特征的识别和提取能力。如图2所示，所设计的自适应多尺度大核分解卷积模块通过如下方式实现：给定一个C×H×W＝64×160×160的特征图f，首先将特征图进行卷积和分离操作，得到四个C/4×H×W＝16×160×160大小的特征图f₁、f₂、f₃、f₄，再将其中三个特征图f₁、f₂、f₃分别输入三个大核分解卷积模块。大核分解卷积模块中包含三个卷积，分别是深度卷积(depth-wise)、深度扩张卷积(depth-wise-dilation)、逐点卷积(point-wise)，其中深度扩张卷积由深度卷积设定扩张率实现。假设扩张率为d＝3，则一个K×K＝9×9大卷积核的常规卷积可以分解为一个(2d-1)×(2d-1)＝5×5卷积核的深度卷积、一个K/d×K/d＝3×3卷积核的深度扩张卷积和一个1×1卷积核的逐点卷积。最后在三个大核分解卷积模块中，通过设定三个不同大小的大卷积核K₁＝5、K₂＝21、K₃＝45和设定不同扩张率d₁＝1、d₂＝3、d₃＝5进行分解从而实现多尺度分解。其数学模型可以表示如下：

D_i＝P_c(D_dc(D_c(f_i))),i＝1,2,3

上式中，P_c(·)表示逐点卷积函数，D_dc(·)表示深度扩张卷积函数，D_c(·)表示深度卷积函数，D_i表示第i个大核分解卷积模块输出的特征图。

在多尺度大核分解卷积模块输出三个特征图D_i∈R^16×160×160,i＝1,2,3后，首先利用一个级联操作将三个特征图在通道维度上进行连接得到一个特征图D∈R^48×160×160。其次，将特征图D通过一个卷积核为3的卷积操作进行特征融合及通道数降维，得到特征图D′∈R^{C ″×H×W}，随后进行Softmax以及通道分离操作得到三个空间自适应权重Q_i,i＝1,2,3。将输入的三个特征图D_i∈R^16×160×160,i＝1,2,3分别与三个空间自适应权重Q_i,i＝1,2,3进行加权聚合得到一个输出的特征图D″∈R^16×160×160。最后，将输出特征图D″与特征图f₄进行级联和卷积操作得到特征图f′∈R^64×160×160，即可实现特征的自适应融合。此外，在特征提取主干部分，将自适应多尺度大核分解卷积模块AMDC的参数shortcut设定为True，则会将特征图f通过一个卷积核为1的卷积操作后与特征图f′相加实现残差连接。其数学模型可以表示如下：

D＝Concat(D₁,D₂,D₃)

[Q₁,Q₂,Q₃]＝S_p(S_o(C(D)))

D″＝Q₁D₁+Q₂D₂+Q₃D₃

f′＝C(Concat(D″,f₄))

f′＝f′+C(f),if shortcut＝True

上式中Concat(·)表示级联操作的隐函数，S_p(·)表示分离通道维度，S_o(·)表示Softmax函数，C(·)表示卷积操作的隐函数。

如图1所示，为了提高太赫兹图像危险品的全局表示能力及检测的准确率，在特征提取主干网络中设计了如图3所示的注意力机制BRA，本发明将BRA引入目标检测网络模型的特征提取主干网络中，使得网络能够利用全局特征来提高检测准确率。给定一个输入特征图I∈R^20×20×256，将特征图I分为S×S＝4×4个互不重叠的区域，将其中的特征向量转化为I^r∈R^16×25×256，同时导出张量Q,K,V∈R^16×25×256。计算出特征图每个区域中Q和K的平均值Q^r,K^r∈R^16×256，利用Q^r、K^r间的区域相关性得到邻接矩阵A^r，保留每个区域的前k个连接索引得到索引矩阵X^r。最后，将K和V分别与索引矩阵X^r聚集得到张量K^g和V^g，对聚集后的K-V对使用注意力操作得到特征图P。其数学模型可以表示如下：

Q＝I^rW^q,K＝I^rW^k,V＝I^rW^v

A^r＝Q^r(K^r)^T

K^g＝g(K,X^r),V^g＝g(V,X^r)

P＝Attention(Q,K^g,V^g)

上式中W^q,W^k,W^v∈R^C×C分别是query，key，value的投影权重，g(·)表示聚集操作的隐函数，Attention(·)表示注意力操作的隐函数。

此外，为了更好地区分危险品与背景的特征差异，在具有深层语义信息的特征融合层引入一种无参数量3-D局部注意力SimAM，如图1所示。本发明将SimAM注意力引入在网络模型的特征融合模块中，可以增强目标检测模型的特征表示，提高目标检测的准确率。其实现过程如下：给定输入特征图Z∈R^{1×128×80×80}，通过能量函数EI(·)计算推导出特征图的3-D注意权值并用sigmod(·)函数激活得到激活权值，随后将输入特征图与激活权值相乘得到输出注意力权值Q_at，其数学模型可表示如下：

Q_at＝Z×sigmod(EI(Z))

被测目标物图像经过特征提取主干网络提取特征以及特征融合后，得到n＝3个尺寸依次减半的特征图由Detect模块对特征图O′＝[O₁′,O₂′,O₃′]进行预测，输出预测结果图O。其数学模型可以表示如下：

O＝O(x,y)＝D(O′)

上式中D(·)表示目标检测函数，O′为包含n张输入特征图的数组。

在深度神经网络训练过程中，采用SGD函数对损失函数Loss(Θ)进行优化，其过程表示如下：

L_b＝L_CIoU+L_DFL

L_DFL＝-((y_i+1-y)log(S_i)+(y-y_i)log(S_i+1))

上式中N为检测层个数，L_b为边框回归损失函数，L_c为分类损失函数，α₁，α₂为损失函数的权重系数，L_CIoU和L_DFL为边界框损失函数，IoU为交并比。ρ为预测框与真实框中心点距离，p、g分别为预测框与真实框的中心点，c为两框的最小外接矩形框的对角线距离，v为衡量长宽比一致的参数，y_i+1为距离真实值右侧最近的整数，y_i为距离真实值左侧最近的整数，n为样本数，B_i为目标值，S_i为模型输出值。

经过M＝300次训练后，可以得到优化参数

对于一张由太赫兹成像设备拍摄的待测目标物图像F，经过特征提取主干网络和特征融合网络处理后得到图像组F′，最后将图像组F′输入特征检测网络后可得到危险品检测结果，即通过得到包含危险品检测框、危险品类别号以及预测概率值的隐藏危险品检测结果图像。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于多尺度分解卷积的太赫兹图像危险品检测方法，其特征在于，包括：

利用太赫兹成像设备获取待测目标物图像；

将所述待测目标物图像进行处理，构建输入图像数据集；

构建目标检测网络模型，将所述待测目标物图像输入所述目标检测网络模型，生成不同尺寸大小的特征层，对所述特征层中的特征进行多尺度特征融合，提取多尺度的特征，识别隐藏危险品，其中，所述目标检测网络模型通过所述输入图像数据集进行训练获得；

若所述待测目标物图像中存在危险品，则输出包含危险品检测框、危险品类别号及预测概率值的隐藏危险品检测结果图像，若所述待测目标物图像中不存在危险品，则输出与输入一致的所述待测目标物图像。

2.如权利要求1所述的基于多尺度分解卷积的太赫兹图像危险品检测方法，其特征在于，将所述待测目标物图像进行处理包括：

将所述待测目标物图像中的危险品用矩形框框出转化为标签数据，获取含有标签数据的图像；

将所述含有标签数据的图像进行mosaic增强、随机左右翻转、尺寸随机缩放处理，完成所述输入图像数据集的构建。

3.如权利要求1所述的基于多尺度分解卷积的太赫兹图像危险品检测方法，其特征在于，目标检测网络模型包括：特征提取主干网络、特征融合网络和特征检测网络；

所述特征提取主干网络通过卷积操作对所述待测目标物图像进行浅层特征提取，获取不同尺寸大小的特征层；

所述特征融合网络对所述不同尺寸大小的特征层进行多尺度特征融合，提取出多尺度的特征，获取多尺度特征图；

所述特征检测网络对所述多尺度特征图进行预测，输出预测结果图。

4.如权利要求3所述的基于多尺度分解卷积的太赫兹图像危险品检测方法，其特征在于，所述特征提取主干网络中加入了自适应多尺度大核分解卷积模块和注意力机制BRA；所述特征融合网络加入了所述自适应多尺度大核分解卷积模块和无参数量3-D局部注意力SimAM；

所述自适应多尺度大核分解卷积模块对输入的特征图进行多尺度分解和自适应融合。

5.如权利要求4所述的基于多尺度分解卷积的太赫兹图像危险品检测方法，其特征在于，所述自适应多尺度大核分解卷积模块包括深度卷积、深度扩张卷积和逐点卷积。

6.如权利要求5所述的基于多尺度分解卷积的太赫兹图像危险品检测方法，其特征在于，所述自适应多尺度大核分解卷积模块对输入的特征图进行多尺度分解和自适应融合之前包括：对输入的特征图进行卷积和分类操作，获取若干特征图。

7.如权利要求6所述的基于多尺度分解卷积的太赫兹图像危险品检测方法，其特征在于，所述自适应多尺度大核分解卷积模块对输入的特征图进行多尺度分解和自适应融合包括：

提取所述若干特征图中的一个特征图作为第一特征图；

将所述若干特征图中剩余的特征图分别输入不同的自适应多尺度大核分解卷积模块；

通过在不同的所述自适应多尺度大核分解卷积模块中设定不同的大卷积核和不同的扩张速率，对不同的所述自适应多尺度大核分解卷积模块中的深度扩张卷积、深度卷积和逐点卷积进行设置，并对所述剩余的特征图进行多尺度分解，输出若干新的特征图；

利用级联操作将若干所述新的特征图在通道维度上进行连接，获取第二特征图；

将所述第二特征图通过卷积操作进行特征融合及通道数降维，获取第三特征图；

将所述第三特征图进行Softmax以及通道分离操作，获取空间自适应权重；

将若干所述新的特征图与所述空间自适应权重进行加权聚合，获取第四特征图；

将所述第四特征图与所述第一特征图进行级联和卷积操作，获取第五特征图，实现自适应融合。

8.如权利要求4所述的基于多尺度分解卷积的太赫兹图像危险品检测方法，其特征在于，所述自适应多尺度大核分解卷积模块中的目标参数为预设目标值。

9.如权利要求3所述的基于多尺度分解卷积的太赫兹图像危险品检测方法，其特征在于，输出所述隐藏危险品检测结果图像的数学模型为：

式中，O为隐藏危险品检测结果图像，为优化参数，F′为特征提取主干网络和特征融合网络处理后得到的图像组，D(·)表示目标检测函数，Ψ是神经网络的参数，(x,y)表示输出检测框的像素坐标。

10.如权利要求1所述的基于多尺度分解卷积的太赫兹图像危险品检测方法，其特征在于，所述目标检测网络模型通过所述输入图像数据集进行训练的过程中包括：

采用SGD函数对损失函数Loss(Θ)进行优化：

L_b＝L_CIoU+L_DFL

L_DFL＝-((y_i+1-y)log(S_i)+(y-y_i)log(S_i+1))

其中，N为检测层个数，L_b为边框回归损失函数，L_c为分类损失函数，α₁，α₂为损失函数的权重系数，L_CIoU和L_DFL为边界框损失函数，IoU为交并比，ρ为预测框与真实框中心点距离，p、g分别为预测框与真实框的中心点，c为两框的最小外接矩形框的对角线距离，v为衡量长宽比一致的参数，y_i+1为距离真实值右侧最近的整数，y_i为距离真实值左侧最近的整数，n为样本数，B_i为目标值，S_i为模型输出值。