CN111428855B - 一种端到端的点云深度学习网络模型和训练方法 - Google Patents

Abstract

一种端到端的点云深度学习网络模型和训练方法，可同时定位不同尺度人脸上的标识点，网络的定位精度好，定位速度快。网络模型，为类卷积神经网络CNN的深度学习网络结构，包括：(1)该网络从输入点云逐级降采样得到一系列采样点集，并使用点分布特征提取器逐级提取每个采样点集中采样点的邻域点云的点分布特征，采样点的邻域点云的点分布特征逐级抽象且空间感受野逐级扩大；(2)从采样点集中选取部分点集，并将这些采样点集中所有的采样点称为监测点，使用这些监测点对标识点进行定位；(3)对每个监测点位于不同标识点邻域的概率以及与不同的标识点的偏移量进行预测。

Description

一种端到端的点云深度学习网络模型和训练方法

技术领域

本发明涉及点云图像处理和深度学习的技术领域，尤其涉及一种端到端的点云深度学习网络模型，以及一种端到端的点云深度学习的训练方法。

背景技术

三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度的数据，表现形式包括：深度图(以灰度表达物体与相机的距离)，几何模型(由CAD软件建立)，点云模型(所有逆向工程设备都将物体采样成点云)。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体——背景解耦。点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。这些信息隐藏在点云中需要以其他提取手段将其萃取出来，提取点云中信息的过程则为三维图像处理。

点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”(PointCloud)。

点云中标识点的快速精准定位在身份识别、3D模型分割、3D模型检索等领域均有非常重要的应用，其中3D人脸点云中的标识点的自动定位在人脸识别、表情识别、头部位姿识别、头部运动估计、头部点云稠密匹配、嘴唇形状分析、头部手术以及疾病诊断等方面均有十分重要应用。

但是，目前的技术不能同时保证算法的精度与速度，速度较快的算法精度较低，而精度较高的算法速度较慢，无法满足对精度和速度同时要求较高的应用。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种端到端的点云深度学习网络模型，可同时定位不同尺度人脸上的标识点，网络的定位精度高，定位速度快。

本发明的技术方案是：这种端到端的点云深度学习网络模型，其为类卷积神经网络CNN的深度学习网络结构，其包括以下步骤：

(1)该网络从输入点云逐级降采样得到一系列采样点集，并使用点分布特征提取器逐级提取每个采样点集中采样点的邻域点云的点分布特征，采样点的邻域点云的点分布特征逐级抽象且空间感受野逐级扩大；

(2)从采样点集中选取部分点集，并将这些采样点集中的所有的采样点称为监测点，使用这些监测点对标识点进行定位；

(3)对每个监测点位于不同标识点邻域的概率以及与不同的标识点的偏移量进行预测。

本发明使用点分布特征提取器提取采样点的邻域点云分布特征，点的邻域点分布特征逐级抽象且空间感受野逐级扩大，从而能够表达不同空间范围内点的分布特征，本发明使用多个具有不同空间感受野的监测点集，使网络能够同时定位不同尺度人脸上的标识点；本网络使用端到端的训练机制，因此可使网络取得比较高的定位精度，由于算法消耗时间为点云在网络的前向传播的耗时，经过轻量型设计，算法耗时较短且较稳定。

还提供了一种端到端的点云深度学习网络模型的训练方法，其将每个监测点与多个标识点进行匹配，只要监测点与某个标识点是邻近的，便将此标识点与监测点进行匹配，使用每个监测点的特征对与它匹配的标识点的位置进行预测，将点云中标识点的定位问题转化成一个多标签预测及回归的问题。

附图说明

图1是Landmark Net的结构及其应用在一个具有正常尺度人脸点集上的应用流程图。

图2标识点是一个简单的监测点与目标标识点匹配结果的示意图。

图3是根据本发明的端到端的点云深度学习网络模型的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。

如图3所示，这种端到端的点云深度学习网络模型，其为类卷积神经网络CNN的深度学习网络结构，其包括以下步骤：

(1)该网络从输入点云逐级降采样得到一系列采样点集，并使用点分布特征提取器逐级提取每个采样点集中采样点的邻域点云的点分布特征，采样点的邻域点云点分布特征逐级抽象且空间感受野逐级扩大；

(2)从采样点集中选取部分点集，并将这儿写采样点集中的所有的采样点称为监测点，使用这些监测点对标识点进行定位；

(3)对每个监测点位于不同标识点邻域的概率以及与不同的标识点的偏移量进行预测。

本发明使用点分布特征提取器提取采样点的邻域点云分布特征，点的邻域点分布特征逐级抽象且空间感受野逐级扩大，从而能够表达不同空间范围内点的分布特征，本发明使用多个具有不同空间感受野的监测点集，可使网络能够同时定位不同尺度人脸上的标识点；本网络使用端到端的训练机制，因此可使网络取得比较高的定位精度，由于算法消耗时间为点云在网络的前向传播的耗时，经过轻量型设计，算法耗时较短且较稳定。

优选地，所述步骤(1)中，对于任意输入点云P，首先使用Voxel Grid滤波器将其降采样为点云密度为D的点云P₀；按照固定的采样比例{τ₁,τ₂,…,τ_n}从P₀中进行逐级降采样，得到采样点集{P₁,P₂,…,P_n}；

从第一个采样点集P₁开始，使用特征抽象操作逐级提取采样点集{P₁,P₂,…,P_n}中采样点的抽象特征。特征抽象操作作用于点集P_i-1，计算点集P_i中每个采样点的抽象特征，对于采样点集P_i内的第k个采样点在采样点集P_i-1内找到位于以点/>为中心的半径为r_i球形内部的邻域子集/>使用点分布特征提取器提取/>内的n_i个点及其特征向量，得到点/>的抽象特征向量/>其中，n_i与点云密度为D呈正相关。采样点集P_i中所有采样点的特征/>组成点集P_i的抽象特征集合F_i，各采样点集{P₁,P₂,…,P_n}的特征集合{F₁,F₂,…,F_n}的空间感受野是逐级扩大的，且是逐级抽象的；最终是由点云提取器作用于P_n中所有的点，将产生一个表达全局特征的特征向量。

接着，从最后一层采样点集P_n开始将逐级得到采样点集{P_n,P_n-1,…,P₁}内所有采样点的传播特征将组成传播特征集合特征传播操作作用于点集P_i+1，计算点集P_i中每个采样点的传播特征，对于采样点集P_i内的第k个采样点/>将点集P_i+1中与最近的3个点的抽象特征以与/>距离的导数为权重进行加权平均，将加权平均结果与点的抽象特征/>进行拼接，使用多个多层感知机(MLP)和非线性激活函数(ReLu函数)作用于拼接结果，得到点/>的传播特征/>采样点集P_i中所有采样点的传播特征/>组成点集P_i的传播特征集合/>由于采样点集P_n的下一级是一个特征向量，将这个特征向量当作加权平均结果与采样点集P_n中每个点的抽象特征进行拼接，得到点集P_n中每个采样点的传播特征/>

优选地，所述步骤(1)中，Voxel Grid滤波器首先将空间体素化，坐落于每个体素内的点的重心组成输出点云。

优选地，所述步骤(2)中，从采样点集{P₁,P₂,…,P_n}中选取多个点集，将其称为监测点集MPS，将这些监测点集中所有的采样点称为监测点；对于第i个监测点集P_i中的第k个监测点将/>和/>分别进行批量归一化后进行拼接，将拼接结果作为每个监测点的特征/>每个监测点的特征/>反映了此监测点邻域内的点分布特征，位于不同区域的监测点的特征是具有区分度的，根据每个监测点的特征对该监测点属于哪个目标标识点邻域进行判断，对临近目标标识点的位置进行预测。

优选地，所述步骤(3)中，若目标标试点的数目为L，对于第i个监测点集P_i中的第k个监测点使用1个输出维度为L的单层全连接层/>作用于其特征/>上，对该监测点位于各个标识点邻域内的概率进行预测，使用L个输出维度为3的单层全连接层 作用于其特征/>上，对该监测点/>与各标识点的偏移量(Δx,Δy,Δz)进行预测；第j个/>对此监测点与第j个标识点的偏移量进行预测。

优选地，所述步骤(3)中，在这些全连接层的参数在每个采样点集中是共享参数的。

图1是Landmark Net的结构及其应用在一个具有正常尺度人脸点集上的应用流程图。以下具体说明：

网络由许多特征抽象操作和特征传播操作组成。对于任意输入点云P，首先使用Voxel Grid滤波器将其降采样为点云密度为D的点云P₀。Voxel Grid滤波器首先将空间体素化，坐落于每个体素内的点的重心组成输出点云。按照固定的采样比例{τ₁,τ₂,…,τ_n}从P₀中进行逐级采样，得到采样点集{P₁,P₂,…,P_n}。从第一个采样点集P₁开始，使用特征抽象操作逐级提取采样点集{P₁,P₂,…,P_n}中采样点的抽象特征。特征抽象操作作用于点集P_i-1，计算点集P_i中每个采样点的抽象特征，对于采样点集P_i内的第k个采样点在采样点集P_i-1内找到位于以点/>为中心的半径为r_i球形内部的邻域子集/>使用点分布特征提取器(比如PointNet,RS-CNN等)作用于/>内的n_i个点及其特征向量，得到点/>的抽象特征向量/>其中，，n_i与点云密度为D呈正相关。每个采样点集中所有采样点的特征/>组成了点集P_i的抽象特征集合F_i，各采样点集{P₁,P₂,…,P_n}的特征集合{F₁,F₂,…,F_n}的空间感受野是逐级扩大的,且是逐级抽象的。最后，使用点与特征提取器作用于P_n中所有的点，将产生一个表达全局特征的特征向量。接着，从最后一层采样点集P_n开始，将逐级得到采样点集{P_n,P_n-1,…,P₁}内所有采样点的传播特征将组成传播特征集合/>特征传播操作作用于点集P_i+1，计算点集P_i中每个采样点的传播特征，对于采样点集P_i内的第k个采样点/>将点集P_i+1中与/>最近的3个点的抽象特征以与/>的距离的导数为权重进行加权平均，将加权平均结果与点/>的抽象特征/>进行拼接，使用多个多层感知机(MLP)和非线性激活函数(ReLu)作用于拼接结果，得到点/>的传播特征/>由于采样点集P_n的下一级识一个特征向量，那么将这个特征向量当作加权平均结果与采样点集P_n中每个点的抽象特征进行拼接，经过多个多层感知机(MLP)和非线性激活函数(ReLu),得到点集P_n中每个采样点的传播特征/>

从采样点集{P₁,P₂,…,P_n}中选取多个点集，将其称为监测点集(MPS),将这些监测点集中所有的采样点称为监测点。对于第i个监测点集P_i中的第k个监测点将/>和/>分别进行批量归一化后进行拼接，将拼接结果作为每个监测点的特征/>由于每个监测点的特征/>反映了此监测点邻域内的点分布特征，位于不同区域内的监测点的特征是具有区分度的，能够根据每个监测点的特征对该监测点属于哪个目标标识点邻域进行判断，并能够对临近目标标识点的位置进行预测。

若目标目标标识点的数目为L，对于第i个监测点集P_i中的第k个监测点使用1个输出维度为L的单层全连接层/>作用于其特征/>上，对该监测点位于各个标识点邻域内的概率进行预测，使用L个输出维度为3的单层全连接层作用于其特征/>上，对该监测点/>与各标识点的偏移量(Δx,Δy,Δz)进行预测。不同的/>(比如，/>)对此监测点与不同的标识点(比如，第j个标识点)的偏移量进行预测。在这些全连接层的参数在每个采样点集中是共享参数的。

具有较大空间感受野的特征能够表达更大空间范围内点的分布特征，可以被用来定位尺度较大的人脸上的标识点，反之亦然。如果使用多个具有不同空间感受野的监测点集，可使网络能够同时定位不同尺度人脸上的标识点。由于标识点的相对拓扑关系以及标识点与人脸上的特征区域的相对位置是相对固定的，全局信息对标识点的定位有帮助，由于点的传播特征包含全局信息，因此除了监测点的抽象特性外，还集成了监测点的传播特性作为监测点的特性，以提升网络的定位稳定性。

还提供了一种端到端的点云深度学习网络模型的训练方法，其将每个监测点与多个标识点进行匹配，只要监测点与某个标识点是邻近的，便将此标识点与监测点进行匹配，使用每个监测点的特征对与它匹配的标识点的位置进行预测，将点云中标识点的定位问题转化成一个多标签预测及回归的问题。

优选地，当使用此网络对具有多尺度的点集中的标识点进行定位时，将具有特定尺度的点集中标识点与具有对应大小空间感受野的监测点进行匹配，分别以金标准标识点和监测点为中心，设置一系列方框，分别叫做目标框TBX和检测框MBX。

优选地，根据训练数据的金标准设置TBX的边长(l_x ^t,l_y ^t,L_z ^t)，设置方式为公式(1)：

其中，是左外眼角，/>是右外眼角，/>是眉心，/>是下巴尖；根据用于在每个监测点/>上一级点集中产生/>的球的半径r_i设置/>的边长(l_x ^m,l_y ^m,l_z ^m)，设置方式为公式(2)：

l_x ^m＝l_y ^m＝l_z ^m＝2r_i (2)

如果第j个金标准标识点的TBX与监测点的/>的jaccard值超过阈值th_m，则根据公式(3)进行匹配：

优选地，使用公式(4)的损失函数同时对网络的所有参数进行训练，损失函数包括分类损失函数和回归损失函数

loss＝loss_c+λloss_r (4)

分类损失函数为公式(5)

其中i，k分别为监测点集的索引以及监测点集内监测点的索引；

loss_i,k为监测点的分类损失，/>是使用sigmoid函数作用于/>的输出的第j维计算所得的网络预测的监测点/>位于第j个金标准标识点邻域内部的概率，定义至少与一个金标准标识点匹配的监测点为正样本，将不与任何一个金标准标识点匹配的监测点为负样本，N_p为正样本的数量，N_e为负样本的数量；

根据loss_i,k对负样本进行排序，选择loss_i,k最大的前几个负样本计算分类损失，并保证参与计算的负样本的个数不大于正样本个数的三倍。

回归损失函数为公式(6)：

是由网络预测的监测点/>与第j个目标标识点的偏移量，为的输出；/>为对应的金标准。

图2是一个简单的监测点与目标标识点匹配结果的示意图。以下详细说明训练方法。

在网络训练阶段，需要将监测点与训练数据中的金标准进行匹配，根据匹配结果对网络进行训练。

为了解决以上两个问题，提出了多标签匹配策略(MLM)，将每个监测点与多个标识点进行匹配，只要监测点与某个标识点是邻近的，便将此标识点与监测点进行匹配，使用每个监测点的特征对与它匹配的标识点的位置进行预测，将点云中标识点的定位问题转化成一个多标签预测及回归的问题。

当使用此网络对具有多尺度的点集中的标识点进行定位时，需要将具有某特定尺度的点集中标识点与具有对应大小空间感受野的监测点进行匹配，为此分别以金标准标识点和监测点为中心，设置了一系列方框，分别叫做目标框(TBX)和检测框(MBX)。如图2所示，两个实心黑点和两个粗线方框分别代表了两个目标标识点和他们的TBX。三个斜线填充的黑点和三个细线方框分别是三个监测点和他们的MBX。

为了使TBX的大小可反映训练数据中人脸的尺度，根据训练数据的金标准设置TBX的边长(l_x ^t,l_y ^t,l_z ^t)，设置方式如下：

其中，是左外眼角，/>是右外眼角，/>是眉心，/>是下巴尖。

根据用于在每个监测点上一级点集中产生/>的球的半径r_i设置/>的边长(l_x ^m,l_y ^m,l_z ^m)，设置方式如下：

l_x ^m＝l_y ^m＝l_z ^m＝2r_i

如果第j个金标准标识点的TBX与监测点的/>的jaccard值超过阈值th_m，则将他们进行匹配/>

损失函数：使用如下损失函数对网络的所有参数进行同步训练，损失函数包括分类损失函数和回归损失函数。

loss＝loss_c+λloss_r

其中分类损失函数如下：

其中i，k分别为监测点集的索引以及监测点集内监测点的索引；loss_i,k为监测点的分类损失，/>是使用sigmoid函数作用于/>的输出的第j维计算所得的网络预测的监测点/>位于第j个金标准标识点邻域内部的概率，通过式(3)得到/>定义至少与一个金标准标识点匹配的监测点为正样本，将不与任何一个金标准标识点匹配的监测点为负样本，N_p为正样本的数量，N_e为负样本的数量。

由于负样本的数量远大于正样本的数量，根据loss_i,k对负样本进行排序，选择loss_i,k最大的前几个负样本计算分类损失，并保证参与计算的负样本的个数不大于正样本个数的三倍。

回归损失函数的定义方式如下：

通过式(3)得到 是由网络预测的监测点/>与第j个目标标识点的偏移量，为/>的输出；/>为对应的金标准。

更详细地，在网络中使用了RS-Conv作为点分布特征提取器，使用3D欧氏距离以及坐标差(3D-Ed,x_i-x_j)作为点云的低级分布关系信息h。网络共包含8个特征抽象操作和特征传播操作，采样比例{τ₁,τ₂,…,τ₇}分别为{7/20,8/10,10/15,15/20,20/25,25/60,60/120}，用于生成每个采样点的局部采样子集的采样半径{r₁,r₂,…,r₇}分别为{8,10,15,20,25,60,120}(mm)，最后一个特征抽象操作为作用于点集P₇中全部的点，使用最远采点法从上一级采样点集中采集每采样点的局部点云子集/>局部点云子集/>中采样点的数量{s₁,s₂,…,s₇}分别为{75/V,100/V,50/V,75/V,75/V,200/V,100/V}，其中V为用于降采样输入点集的Voxel Grid滤波器中网格的尺寸，V＝5mm。除此之外，λ＝1,th_m＝0.2,th_p＝0.9,th_d＝3mm,th_e＝5mm。

用于预测缺失标识点的协方差矩阵Cov(X)根据训练集中的金标准进行计算，训练数据中缺失的金标准标识点进行补齐，以完成对金标准与监测点的匹配情况的计算。

数据增强：按顺序将训练数据分别绕x，y，z轴以从-2.5°至+2.5°区间范围内随机选取的角度值进行旋转，并且在训练数据的每一个点上加入均值为0标准差为0.25mm的随机抖动。随机旋转和随机抖动将每次训练网络所使用的训练数据变得彼此不同，这将使网络训练变得稳定，因此是非常重要。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (9)

1.一种端到端的点云深度学习网络模型的预测方法，其特征在于：模型为类卷积神经网络CNN的深度学习网络结构，其包括以下步骤：

(1)该网络从输入点云逐级降采样得到一系列采样点集，并使用点分布特征提取器逐级提取每个采样点集中采样点的邻域点云的点分布特征，采样点的邻域点云的点分布特征逐级抽象且空间感受野逐级扩大；

(2)从采样点集中选取部分点集，并将这些采样点集中的所有的采样点称为监测点，使用这些监测点对标识点进行定位；

(3)对每个监测点位于不同标识点邻域的概率以及与不同的标识点的偏移量进行预测；

所述步骤(1)中，对于任意输入点云P，首先使用Voxel Grid滤波器将其降采样为点云密度为D的点云P₀；按照固定的采样比例{τ₁,τ₂,…,τ_n}从P₀中进行逐级降采样，得到采样点集{P₁,P₂,…,P_n}；从第一个采样点集P₁开始，使用特征抽象操作逐级提取采样点集{P₁,P₂,…,P_n}中采样点的抽象特征；特征抽象操作作用于点集P_i-1，计算点集P_i中每个采样点的抽象特征，对于采样点集P_i内的第k个采样点在采样点集P_i-1内找到位于以点/>为中心的半径为r_i球形内部的邻域子集/>使用点分布特征提取器提取/>内的n_i个点及其特征向量，得到点/>的抽象特征向量f_i ^k，其中，n_i与点云密度为D呈正相关；每个采样点集中所有采样点的特征f_i ^k组成点集P_i的抽象特征集合F_i，各采样点集{P₁,P₂,…,P_n}的特征集合{F₁,F₂,…,F_n}的空间感受野是逐级扩大的，且是逐级抽象的；最终使用点云特征提取器作用于P_n中所有的点，将产生一个表达全局特征的特征向量；

接着，从最后一层采样点集P_n开始，将逐级得到采样点集{P_n,P_n-1,…,P₁}内所有采样点的传播特征将组成传播特征集合特征传播操作作用于点集P_i+1，计算点集P_i中每个采样点的抽象特征，对于采样点集P_i内的第k个采样点/>将点集P_i+1中与/>最近的3个点的抽象特征以与/>的距离的倒数为权重进行加权平均，将加权平均的结果与点的抽象特征f_i ^k与进行拼接，使用多个多层感知机MLP和非线性激活函数ReLu函数作用于拼接结果，得到点/>的传播特征/>由于采样点集P_n的下一级是一个特征向量，那么将这个特征向量当作加权平均结果与采样点集P_n中每个点的抽象特征进行拼接，得到点集P_n中每个采样点的传播特征/>

2.根据权利要求1所述的端到端的点云深度学习网络模型的预测方法，其特征在于：所述步骤(1)中，Voxel Grid滤波器首先将空间体素化，坐落于每个体素内的点的重心组成输出点云。

3.根据权利要求2所述的端到端的点云深度学习网络模型的预测方法，其特征在于：所述步骤(2)中，从采样点集{P₁,P₂,…,P_n}中选取多个点集，将其称为监测点集MPS，将这些监测点集中的所有采样点称为监测点；对于第i个监测点集P_i中的第k个监测点将f_i ^k和/>分别进行批量归一化后进行拼接，将拼接结果作为每个监测点的特征/>每个监测点的特征/>反映了此监测点邻域内的点分布特征，位于不同区域内的监测点的特征是具有区分度的，根据每个监测点的特征对该监测点位于哪个目比标识点邻域进行判断，对临近目比标识点的位置进行预测。

4.根据权利要求3所述的端到端的点云深度学习网络模型的预测方法，其特征在于：所述步骤(3)中，若目标标识点的数目为L，对于第i个监测点集P_i中的第k个监测点使用1个输出维度为L的单层全连接层/>作用于其特征/>上，对该监测点位于各个标识点邻域内的概率进行预测，使用L个输出维度为3的单层全连接层作用于其特征/>上，对该监测点/>与各标识点的偏移量(Δx,Δy,Δz)进行预测；第j个/>对此监测点与第j个标识点的偏移量进行预测。

5.根据权利要求4所述的端到端的点云深度学习网络模型的预测方法，其特征在于：所述步骤(3)中，在这些全连接层的参数在每个采样点集中是共享参数的。

6.根据权利要求5所述的端到端的点云深度学习网络模型的预测方法，其特征在于：其将每个监测点与多个标识点进行匹配，只要监测点与某个标识点是邻近的，便将此标识点与监测点进行匹配，使用每个监测点的特征对与它匹配的标识点的位置进行预测，将点云中标识点的定位问题转化成一个多标签预测及回归的问题。

7.根据权利要求6所述的端到端的点云深度学习网络模型的预测方法，其特征在于：当使用此网络对具有多尺度的点集中的标识点进行定位时，将具有特定尺度的点集中标识点与具有对应大小空间感受野的监测点进行匹配，分别以金标准标识点和监测点为中心，设置一系列方框，分别叫做目标框TBX和检测框MBX。

8.根据权利要求7所述的端到端的点云深度学习网络模型的预测方法，其特征在于：根据训练数据的金标准设置TBX的边长(l_x ^t,l_y ^t,l_z ^t)，设置方式为公式(1)：

其中，是左外眼角，/>是右外眼角，/>是眉心，/>是下巴尖；

根据用于在每个监测点上一级点集中产生/>的球的半径r_i设置/>的边长(l_x ^m,l_y ^m,l_z ^m)，设置方式为公式(2)：

l_x ^m＝l_y ^m＝l_z ^m＝2r_i (2)

如果第j个金标准标识点的TBX与监测点的/>的jaccard值超过阈值th_m，则根据公式(3)进行匹配：

9.根据权利要求8所述的端到端的点云深度学习网络模型的预测方法，其特征在于：使用公式(4)的损失函数同时对网络的所有参数进行学习，损失函数包括分类损失函数和回归损失函数

loss＝loss_c+λloss_r (4)

分类损失函数为公式(5)

其中i，k分别为监测点集的索引以及监测点集内监测点的索引；

loss_i,k为监测点的分类损失，/>是使用sigmoid函数作用于/>的输出的第j维计算所得的网络预测的监测点/>位于第j个金标准标识点邻域内部的概率，定义至少与一个金标准标识点匹配的监测点为正样本，将不与任何一个金标准标识点匹配的监测点为负样本，N_p为正样本的数量，N_e为负样本的数量；

根据loss_i,k对负样本进行排序，选择loss_i,k最大的前几个负样本计算分类损失，并保证参与计算的负样本的个数不大于正样本个数的三倍；

回归损失函数为公式(6)：

是由网络预测的监测点/>与第j个目标标识点的偏移量，为的输出；/>为对应的金标准。