CN112634244B - 一种用于目标检测的三维复数图像处理方法及*** - Google Patents

Abstract

本发明公开了一种用于目标检测的三维复数图像处理方法及***，属于图像处理技术领域，包括以下步骤：S1：获取二维幅度信息图像；S2：获得目标分割掩码；S3：获得二维距离信息图像；S4：获得二维相位信息图像；S5：相位解卷绕操作；S6：整合各类信息至RGB图像中；S7：训练目标检测模型。本发明在三维复数图像最大值投影的基础上，使得图像包含更多的空间信息和相位信息，充分使用反演三维复数图像的幅度信息，空间信息和相位信息进行微波毫米波图像的目标检测，为目标检测模型提供新的信息输入，值得被推广使用。

Description

一种用于目标检测的三维复数图像处理方法及***

技术领域

本发明涉及图像处理技术领域，具体涉及一种用于目标检测的三维复数图像处理方法及***。

背景技术

微波毫米波三维全息成像安检***是主动式微波毫米波人体安检的一种重要技术手段，其成像体制主要包含有平面机械扫描式成像***、圆柱面机械扫描式成像***、二维稀疏阵列电子扫描式成像***。微波毫米波频率的电磁波可以穿透衣物，因此获取的三维全息图像可以更为丰富的表现人体体表信息，通过三维全息图像有效检测到人体衣物下隐藏的危险品，是一种有效的人体安检新手段。

微波毫米波三维全息成像***包含多种成像体制，最终都是在三维的空间网格或空间像素体中通过反演算法得到复反射率图像。微波毫米波全息成像技术，测量的不再是信号的强度，而是包含幅度与相位信息的复信号。现有目标检测方法通常采用信号幅度进行对微波毫米波图像的目标检测，使用单通道灰度图像作为目标检测的输入图像，一般通过最大值投影与标准差投影两种方法对反演图像的幅度数据进行处理获得。由于最大值投影与标准差投影只针对图像的幅度进行处理，没有充分使用三维反演图像中的空间信息和相位信息。为此，提出一种用于目标检测的三维复数图像处理方法及***。

发明内容

本发明所要解决的技术问题在于：如何解决现有技术中没有充分使用反演三维复数图像的幅度信息，空间信息和相位信息进行微波毫米波图像目标检测的问题，提供了一种用于目标检测的三维复数图像处理方法。该方法在三维复数图像最大值投影的基础上，使得图像包含更多的空间信息和相位信息，为目标检测模型提供新的信息输入。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

S1：获取二维幅度信息图像

对于微波毫米波三维复数图像O(x_i,y_k,z_j)，x为水平维度，y竖直维度，z为空间距离维度，采用最大值投影法获取二维幅度图像，即对任意i∈[1,N_x],k∈[1,N_y]找到一个j∈[1,N_z]使O(x_i,y_k,z_j)的幅度值最大，获得二维幅度信息图像Amp(x_i,y_k)；

S2：获得目标分割掩码

通过图像分割的方法将目标与背景噪声分割开，获得目标分割掩码；

S3：获得二维距离信息图像

采用最大值投影法获取二维幅度信息图像时，即对任意i∈[1,N_x],k∈[1,N_y]找到一个j∈[1,N_z]使O(x_i,y_k,z_j)的幅度值最大，记录其最大值所在距离位置j，同时根据目标分割掩码确定距离信息图像的有效像素，获得二维距离信息图像Dis(x_i,y_k)；

S4：获得二维相位信息图像

根据最大值所在距离位置j，提取对应的三维复数图像O(x_i,y_k,z_j)中的数据，将对应数据整理为一个平面内二维复数图像数据，计算其相位信息，同时根据目标分割掩码确定距离信息图像的有效像素，获得二维相位信息图像Angel(x_i,y_k)；

S5：相位解卷绕操作

对相位信息Angel(x_i,y_k)进行相位解卷绕操作，因为所获得的相位信息是一个在(-π,π]区间的数值，称为相位的主值或缠绕相位，它与真实相位的关系是相差2π的整数倍。根据缠绕相位得到真实相位的处理过程就叫做相位解缠绕；

S6：整合各类信息至RGB图像中

将幅度信息，距离信息和相位信息整合到一幅RGB图像数据中，通过如下公式计算获得同时包含幅度信息，距离信息，相位信息的RGB图像，公式为：

RGBImg(x_i,y_k,1)＝Amp(x_i,y_k)；

RGBImg(x_i,y_k,2)＝Amp(x_i,y_k)*Dis(x_i,y_k)；

RGBImg(x_i,y_k,3)＝Amp(x_i,y_k)*Angel(x_i,y_k)；

S7：训练目标检测模型

对重新构建的RGB图像数据进行目标检测标注，结合损失函数和边缘权重，训练预选取的目标检测深度学习模型，观察训练集和验证集损失，达到训练停止条件后，完成训练，保存并得到目标检测模型。

更进一步地，在所述步骤S1中，三维复数图像O(x_i,y_k,z_j)的网格点坐标为x_i，y_k，z_j，i∈[0,N_x]，j∈[0,N_z]，k∈[0,N_y]，其中N_x为x维度划分的离散网格点数，N_z为距离维度z划分的离散网格点数，N_y为y维度划分的离散网格点数。

更进一步地，在所述步骤S2中，对于每一个二维幅度图像的像素，获得其目标分割掩码，背景噪声像素为0，目标像素为1。

更进一步地，在所述步骤S3中，对于最大值投影获得的分割后二维图像数据，使用最大值投影对应的空间位置作为二维距离信息Dis(x_i,y_k)。

更进一步地，在所述步骤S4中，对于最大值投影获得的分割后二维图像数据，使用最大值投影对应的复数数据的相位作为二维相位信息Angel(x_i,y_k)。

更进一步地，在所述步骤S5中，相位解卷绕操作的具体过程为通过在相位信息的数值上增加或减少2π的方式，使其变化为一个空间上连续变化的信号，并归一化到(0,1)。

更进一步地，在所述步骤S6中，将二维幅度图像Amp(x_i,y_k)单独作为新构建图像的RGB中的第一通道中；将二维幅度图像Amp(x_i,y_k)与二维距离信息Dis(x_i,y_k)相乘作为新构建图像的RGB中的第二通道；将二维幅度图像Amp(x_i,y_k)与二维距离信息Angel(x_i,y_k)相乘作为新构建图像的RGB中的第三通道。

本发明还提供了一种用于目标检测的三维复数图像处理***，采用上述的处理方法对三维复数图像进行处理，包括：

幅度信息图像模块，用于采用最大值投影法获取二维幅度图像，即对任意i∈[1,N_x],k∈[1,N_y]找到一个j∈[1,N_z]使O(x_i,y_k,z_j)的幅度值最大，获得二维幅度信息图像Amp(x_i,y_k)；

分割掩码模块，用于通过图像分割的方法将目标与背景噪声分割开，获得目标分割掩码；

距离信息图像模块，用于采用最大值投影法获取二维幅度信息图像时，记录其最大值所在距离位置j，同时根据目标分割掩码确定距离信息图像的有效像素，获得二维距离信息图像Dis(x_i,y_k)；

相位信息图像模块，用于根据最大值所在距离位置j，提取对应的三维复数图像O(x_i,y_k,z_j)中的数据，将对应数据整理为一个平面内二维复数图像数据，计算其相位信息，同时根据目标分割掩码确定距离信息图像的有效像素，获得二维相位信息图像Angel(x_i,y_k)；

相位解卷绕模块，用于对相位信息Angel(x_i,y_k)进行相位解卷绕操作，使其变化为一个空间上连续变化的信号；

RGB图像整合模块，用于将幅度信息，距离信息和相位信息整合到一幅RGB图像数据中，通过公式计算获得同时包含幅度信息，距离信息，相位信息的RGB图像；

目标检测模型训练模块，对重新构建的RGB图像数据进行目标检测标注，结合损失函数和边缘权重，训练预选取的目标检测深度学习模型，观察训练集和验证集损失，达到训练停止条件后，完成训练，保存并得到目标检测模型；

中央处理模块，用于向其他模块发出指令，完成相关动作；

所述幅度信息图像模块、分割掩码模块、距离信息图像模块、相位信息图像模块、相位解卷绕模块、RGB图像整合模块、目标检测模型训练模块均与中央处理模块电连接。

本发明相比现有技术具有以下优点：该用于目标检测的三维复数图像处理方法，在三维复数图像最大值投影的基础上，使得图像包含更多的空间信息和相位信息，充分使用反演三维复数图像的幅度信息，空间信息和相位信息进行微波毫米波图像的目标检测，为目标检测模型提供新的信息输入，值得被推广使用。

附图说明

图1是本发明实施例二中用于目标检测的三维复数图像处理方法的流程示意图；

图2是本发明实施例二中幅度信息、距离信息、相位信息的示例图；

图3是本发明实施例二中整合幅度信息，距离信息，相位信息为一幅RGB图像的效果示例图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例一

本实施例提供一种技术方案：一种用于目标检测的三维复数图像处理方法，包括以下步骤：

(1)对于微波毫米波三维复数图像O(x_i,y_k,z_j)，x为水平维度，y竖直维度，z为空间距离维度，首先采用最大值投影法获取二维幅度图像，即对任意i∈[1,N_x],k∈[1,N_y]找到一个j∈[1,N_z]使O(x_i,y_k,z_j)的幅度值最大，获得二维幅度图像Amp(x_i,y_k)。

(2)通过图像分割的深度学习处理方法将目标与背景噪声分割开，对于每一个二维幅度图像的像素，获得其目标分割掩码，背景噪声像素为0，目标像素为1，获得掩码图像Mask(x_i,y_k)

(3)采用最大值投影法获取二维幅度图像，即遍历x,y方向的坐标，在z方向找到一个值j使O(x_i,y_k,z_j)的幅度值最大，记录其最大值所在距离位置j，同时根据目标分割掩码确定距离信息图像的有效像素，获得二维距离信息图像Dis(x_i,y_k)，归一化到(0,1)。

(4)根据最大值所在距离位置j，提取对应的三维复数图像O(x_i,y_k,z_j)中的数据，将其整理为一个平面内二维复数图像数据，计算其相位信息，同时根据目标分割掩码确定距离信息图像的有效像素，获得二维相位信息图像Angel(x_i,y_k)。

(5)由于相位信息Angel(x_i,y_k)是一个在(-π,π]区间的数值，称为相位的主值或缠绕相位，它与真实相位的关系是相差2π的整数倍。确定相位的变化趋势，改变相位信息中的跳变点，通过在相位信息的数值上增加或减少2π的方式，使其变化为一个空间上连续的信号，并归一化到(0,1)。

(6)将幅度信息，距离信息和相位信息整合到一幅RGB图像数据中，为保证图像显示效果与实际幅度图像显示相差较小，调整RGB三通道数据均与最大值幅度相关。通过如下公式计算获得同时包含幅度信息，距离信息，相位信息的RGB图像。

RGBImg(x_i,y_k,1)＝Amp(x_i,y_k)；

RGBImg(x_i,y_k,2)＝Amp(x_i,y_k)*Dis(x_i,y_k)；

RGBImg(x_i,y_k,3)＝Amp(x_i,y_k)*Angel(x_i,y_k)

(7)对重新构建的RGB图像数据进行目标检测标注，结合损失函数和边缘权重，训练预选取的目标检测深度学习模型，观察训练集和验证集损失，达到训练停止条件后，完成训练，保存并得到目标检测模型。

实施例二

如图1所示，本实施例中微波毫米波收发前端获得目标的后向散射回波信号为S(x,y,f)，通过任意回波重建算法进行图像聚焦，对成像目标区域进行离散化，得到划分的网格点坐标为x_i，y_k，z_j，并得到最终的目标三维复数图像O(x_i,y_k,z_j)，其中x为水平维度，y竖直维度，z为空间距离维度。

网格点坐标为x_i，y_k，z_j，i∈[0,N_x]，j∈[0,N_z]，k∈[0,N_y],N_x为x维度划分的离散网格点数，N_z为距离维度z划分的离散网格点数，N_y为y维度划分的离散网格点数，网格划分的标准应符合：网格大小为

网格数目

其中λ₀为射频信号中心频率，θ_x为x维度天线波束宽度，Lx为x维度覆盖的范围。网格大小Δx越小，划分的网格越细密，图像重建结果就越精细。

对二维幅度图像结果进行像素级的分割标注，对于每一张二维幅度的微波毫米波图像，需要标注出前景区域与背景区域，得到分类标签数据。前景区域包括目标成像区域，背景区域包括成像背景区域及噪声区域。以标注后的分割标签数据训练已经选择好的图像分割深度学习模型，根据损失函数和边缘权重，观察训练集和验证集损失，达到训练停止条件后，完成训练，保存并得到图像分割模型；

通过训练好的图像分割模型处理二维微波毫米波幅度图像将目标与背景噪声分割开，对于每一个二维幅度图像的像素，获得其目标分割掩码，背景噪声像素为0，目标像素为1，获得掩码图像Mask(x_i,y_k)

采用最大值投影法获取二维幅度图像，即遍历x,y方向的坐标，在z方向找到一个值j使O(x_i,y_k,z_j)的幅度值最大，记录其最大值所在距离位置j，同时根据目标分割掩码确定距离信息图像的有效像素，如果分割结果为1，则区域有效，数据为j，如果分割结果为0，则距离图像中的对应位置数据置为0。由此获得二维距离图像Dis(x_i,y_k)，并归一化到(0,1)。

根据最大值所在距离位置j，提取对应的三维复数图像O(x_i,y_k,z_j)中的数据，将其整理为一个平面内二维复数图像数据，根据目标分割掩码确定距离信息图像的有效像素，如果分割结果为1，则区域有效，数据保留原来的复数图像数据，计算其相位信息；如果分割结果为0，则距离图像中的对应位置数据置为0。获得二维相位图像Angel(x_i,y_k)。

由于相位信息Angel(x_i,y_k)是一个在(-π,π]区间的值，其在空间上表现为不连续，所以对Angel(x_i,y_k)进行相位解卷绕操作，确定相位的变化趋势，改变相位信息中的跳变点，通过在相位信息的数值上增加或减少2π的方式，使其变化为一个空间上连续变化的信号，并归一化到(0,1)。

将幅度信息，距离信息和相位信息，通过通道保留的方式整合到一幅RGB图像数据中，为保证图像显示效果与实际幅度图像显示相差较小，调整RGB三通道数据均与最大值幅度相关。其中幅度信息对应R通道，距离信息对应G通道，相位信息对应B通道，可根据显示需要的颜色变化调整信息与RGB颜色通道的对应顺序，通过如下公式计算获得同时包含幅度信息，距离信息，相位信息的RGB图像。

RGBImg(x_i,y_k,1)＝Amp(x_i,y_k)；

RGBImg(x_i,y_k,2)＝Amp(x_i,y_k)*Dis(x_i,y_k)；

RGBImg(x_i,y_k,3)＝Amp(x_i,y_k)*Angel(x_i,y_k)

对重新构建的RGB图像数据进行目标检测标注，将构建的RGB图像作为一个数据输入，传输到目标检测的训练模型中，结合损失函数和边缘权重，训练预选取的目标检测深度学习模型，观察训练集和验证集损失，达到训练停止条件后，完成训练，保存并得到目标检测模型。

综上所述，上述实施例的用于目标检测的三维复数图像处理方法，在三维复数图像最大值投影的基础上，使得图像包含更多的空间信息和相位信息，充分使用反演三维复数图像的幅度信息，空间信息和相位信息进行微波毫米波图像的目标检测，为目标检测模型提供新的信息输入，值得被推广使用，值得被推广使用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种用于目标检测的三维复数图像处理方法，其特征在于，包括以下步骤：

S1：获取二维幅度信息图像

对于微波毫米波三维复数图像O(x_i,y_k,z_j)，x为水平维度，y竖直维度，z为空间距离维度，采用最大值投影法获取二维幅度图像，即对任意i∈[1,N_x],k∈[1,N_y]找到一个j∈[1,N_z]使O(x_i,y_k,z_j)的幅度值最大，获得二维幅度信息图像Amp(x_i,y_k)，其中N_x为x维度划分的离散网格点数，N_z为距离维度z划分的离散网格点数，N_y为y维度划分的离散网格点数；

S2：获得目标分割掩码

通过图像分割的方法将目标与背景噪声分割开，获得目标分割掩码；

S3：获得二维距离信息图像

采用最大值投影法获取二维幅度信息图像时，即对任意i∈[1,N_x],k∈[1,N_y]找到一个j∈[1,N_z]使O(x_i,y_k,z_j)的幅度值最大，记录其最大值所在距离位置j，同时根据目标分割掩码确定距离信息图像的有效像素，获得二维距离信息图像Dis(x_i,y_k)；

S4：获得二维相位信息图像

根据最大值所在距离位置j，提取对应的三维复数图像O(x_i,y_k,z_j)中的数据，将对应数据整理为一个平面内二维复数图像数据，计算其相位信息，同时根据目标分割掩码确定距离信息图像的有效像素，获得二维相位信息图像Angel(x_i,y_k)；

S5：相位解卷绕操作

对相位信息Angel(x_i,y_k)进行相位解卷绕操作，使其变化为一个空间上连续变化的信号；

S6：整合各类信息至RGB图像中

将幅度信息，距离信息和相位信息整合到一幅RGB图像数据中，通过如下公式计算获得同时包含幅度信息，距离信息，相位信息的RGB图像，公式为：

RGBImg(x_i,y_k,1)＝Amp(x_i,y_k)；

RGBImg(x_i,y_k,2)＝Amp(x_i,y_k)*Dis(x_i,y_k)；

RGBImg(x_i,y_k,3)＝Amp(x_i,y_k)*Angel(x_i,y_k)；

S7：训练目标检测模型

对重新构建的RGB图像数据进行目标检测标注，结合损失函数和边缘权重，训练预选取的目标检测深度学习模型，观察训练集和验证集损失，达到训练停止条件后，完成训练，保存并得到目标检测模型。

2.根据权利要求1所述的一种用于目标检测的三维复数图像处理方法，其特征在于：在所述步骤S1中，三维复数图像O(x_i,y_k,z_j)的网格点坐标为x_i，y_k，z_j，i∈[0,N_x]，j∈[0,N_z]，k∈[0,N_y]，其中N_x为x维度划分的离散网格点数，N_z为距离维度z划分的离散网格点数，N_y为y维度划分的离散网格点数。

3.根据权利要求2所述的一种用于目标检测的三维复数图像处理方法，其特征在于：在所述步骤S2中，对于每一个二维幅度图像的像素，获得其目标分割掩码，背景噪声像素为0，目标像素为1。

4.根据权利要求3所述的一种用于目标检测的三维复数图像处理方法，其特征在于：在所述步骤S3中，对于最大值投影获得的分割后二维图像数据，使用最大值投影对应的空间位置作为二维距离信息Dis(x_i,y_k)。

5.根据权利要求4所述的一种用于目标检测的三维复数图像处理方法，其特征在于：在所述步骤S4中，对于最大值投影获得的分割后二维图像数据，使用最大值投影对应的复数数据的相位作为二维相位信息Angel(x_i,y_k)。

6.根据权利要求5所述的一种用于目标检测的三维复数图像处理方法，其特征在于：在所述步骤S5中，相位解卷绕操作的具体过程为通过在相位信息的数值上增加或减少2π的方式，使其变化为一个空间上连续变化的信号，并归一化到(0,1)。

7.根据权利要求6所述的一种用于目标检测的三维复数图像处理方法，其特征在于：在所述步骤S6中，将二维幅度图像Amp(x_i,y_k)单独作为新构建图像的RGB中的第一通道中；将二维幅度图像Amp(x_i,y_k)与二维距离信息Dis(x_i,y_k)相乘作为新构建图像的RGB中的第二通道；将二维幅度图像Amp(x_i,y_k)与二维距离信息Angel(x_i,y_k)相乘作为新构建图像的RGB中的第三通道。

8.一种用于目标检测的三维复数图像处理***，其特征在于，采用如权利要求1～7任一项所述的处理方法对三维复数图像进行处理，包括：

幅度信息图像模块，用于采用最大值投影法获取二维幅度图像，即对任意i∈[1,N_x],k∈[1,N_y]找到一个j∈[1,N_z]使O(x_i,y_k,z_j)的幅度值最大，获得二维幅度信息图像Amp(x_i,y_k)；

分割掩码模块，用于通过图像分割的方法将目标与背景噪声分割开，获得目标分割掩码；

距离信息图像模块，用于采用最大值投影法获取二维幅度信息图像时，记录其最大值所在距离位置j，同时根据目标分割掩码确定距离信息图像的有效像素，获得二维距离信息图像Dis(x_i,y_k)；

相位信息图像模块，用于根据最大值所在距离位置j，提取对应的三维复数图像O(x_i,y_k,z_j)中的数据，将对应数据整理为一个平面内二维复数图像数据，计算其相位信息，同时根据目标分割掩码确定距离信息图像的有效像素，获得二维相位信息图像Angel(x_i,y_k)；

相位解卷绕模块，用于对相位信息Angel(x_i,y_k)进行相位解卷绕操作，使其变化为一个空间上连续变化的信号；

RGB图像整合模块，用于将幅度信息，距离信息和相位信息整合到一幅RGB图像数据中，通过公式计算获得同时包含幅度信息，距离信息，相位信息的RGB图像；

目标检测模型训练模块，用于对重新构建的RGB图像数据进行目标检测标注，结合损失函数和边缘权重，训练预选取的目标检测深度学习模型，观察训练集和验证集损失，达到训练停止条件后，完成训练，保存并得到目标检测模型；

中央处理模块，用于向其他模块发出指令，完成相关动作；

所述幅度信息图像模块、分割掩码模块、距离信息图像模块、相位信息图像模块、相位解卷绕模块、RGB图像整合模块、目标检测模型训练模块均与中央处理模块电连接。

Images