CN114639115B - 一种人体关键点与激光雷达融合的3d行人检测方法 - Google Patents

Abstract

本发明公开了一种人体关键点与激光雷达融合的3D行人检测方法，包括关键点检测、3D特征提取以及行人位置预测；本发明充分利用图像中的行人关键点和点云数据中的深度特征，增强了点云和图像信息用于提升行人目标识别的效果，有效提升3D行人检测的精度，弥补点云特征中缺失图像色彩信息和图像缺失目标三维位置的不足；本发明的方法在智能机器人、增强现实、自动驾驶等诸多领域具有十分重要的意义和应用价值。

Description

一种人体关键点与激光雷达融合的3D行人检测方法

技术领域

本发明属于3D目标检测技术领域，涉及一种人体关键点与激光雷达融合的3D行人检测方法。

背景技术

3D行人检测任务依托自动驾驶、增强现实和智能机器人等应用场景，是目前计算机视觉领域的研究热点之一。在上述场景下，人作为主要的行为主体，是一种最普遍的检测目标。尤其是在车辆自动驾驶的情境中，不确定因素往往来源于行人或骑行者。人在交通环境中的灵活性及其所占的重要地位，使得行人需要较高的检测精度。但因为行人目标小、特征不足和背景干扰等问题，为3D行人检测带来很大挑战。

激光雷达是一种通过探测远距离物体的激光散射来获取目标相关信息的光学遥感技术，是结合传统雷达和现代激光的技术产品。其通过探测目标物体表面的激光散射来获取信息，在测距、测速、扫描、目标检测等领域有广泛的应用。在自动驾驶技术中，感知周围空间环境主要通过激光雷达扫描器，以规划车辆行进路线，控制车辆安全的到达预定目的地。与传统测量技术相比，激光雷达数据采集器具有高测量精度、高检测效率、全天候探测、非接触探测的优点。

人体关键点检测是计算机视觉中的一个基础任务，是人体动作识别、行为分析、人机交互等的前置任务。人体骨骼关键点对于描述人体姿态、预测人体行为至关重要，是诸多计算机视觉任务的基础，例如动作分类、异常行为检测、自动驾驶等。人体关键点检测在人体识别中精度可达80％，其在人体行为预测方面也有很好的成绩。因此结合人体关键点研究基于点云和图像的三维行人检测在自动驾驶领域具有十分重要的意义和应用价值。

现有3D目标检测方式主要基于点云数据进行目标识别，此类算法具有检测精度性能较好的特点，但由于未使用图像数据，缺失色彩信息，使得部分背景特征易被错检为行人。而人体关键点检测主要用于2D场景下人体目标检测和相应的行为预测等方面研究，缺失三维空间下行人的位置和尺寸等特征。

发明内容

为了解决上述已有技术存在的不足，本发明提出一种人体关键点和激光雷达融合的3D行人检测方法，结合点云高距离测量精度和人体关键点高行人识别能力的优点，实现三维空间中3D行人目标的检测。本发明的具体技术方案如下：

一种人体关键点与激光雷达融合的3D行人检测方法，在车辆前端安装鱼眼摄像头和激光雷达，用于获取车辆前方和侧方区域的可见光图像、车辆前方和侧方区域的3D空间雷达点云数据，包括以下步骤：

S1：基于可见光图像的人体关键点检测；从图像中提取出人体关键点位置，推理得出关键点之间的连接关系，上溯至每个行人的检测框位置；

S2：搭建基于人体关键点的雷达3D点云特征提取网络进行特征提取；以基于体素的雷达信号检测网络为基础，通过特征降维与二维图像进行配准，根据配准结果精准引入关键点位置，使得网络能够围绕关键点位置进行三维特征提取；

S3：行人3D位置检测网络的训练与预测；通过神经网络对行人在3D空间的中心点位置以及长宽高信息进行回归预测，利用损失函数进行训练，得到最终的行人3D检测网络；并经过检测框后处理，给出最终的预测结果。

进一步地，所述步骤S1的具体过程为：

S1-1：标注训练数据；根据MSCOCO数据集的关键点数据和标注信息训练OpenPose关键点识别算法，对输入的图像信息进行人体关键点检测，包括14个关键点：头、颈、左右肩、左右肘、左右腕、左右腰、左右膝、左右踝；

S1-2：利用OpenPose关键点检测算法，使用步骤S1-1中的训练数据进行训练，得到行人关键点检测网络，向训练好的网络输入鱼眼摄像头获取的可见光图像，得到所有行人的关键点检测结果，再通过匈牙利算法得出每个关键点所属的行人，最终给出图像中所有人的2D关键点；

S1-3：根据关键点所属行人信息，得出该行人的最大最小位置坐标，自下而上生成人体候选区域，得到行人候选框结果。

进一步地，所述步骤S2中的基于人体关键点的雷达3D点云特征提取网络包括串联的体素划分模块、特征映射匹配模块、特征增强模块与预测模块，其中，

①所述体素划分模块，3D空间雷达点云包含三维空间信息，沿X、Y、Z轴的宽度为W、高度为H、深度为D，进行体素划分成均匀等大的长方体块，点云体素划分采用的宽度、高度、深度的最小单元分别为ν_W、ν_H、ν_D，分割后生成的三维体素网络大小为：W′＝W/ν_W、H′＝H/ν_H、D′＝D/ν_D；体素划分后，体素网格中包含雷达点，将体素网格内包含超过T个雷达点的划分为非空体素，否则为空体素，在各非空体素网格内随机采样T个点，作为体素的特征；

②所述特征映射匹配模块，通过三层卷积网络从所述体素划分模块的输出中提取点云特征，分为两路分别使用特征加和层对3D空间雷达点云进行降维处理，降维方向分别对应雷达正视图与二维鸟瞰图，其中，雷达正视图方向与可见光图像方向一致，在此方向上基于雷达正视图与可见光图像进行信号配准，并在雷达正视图中引入步骤S1中得到的人体关键点；

③所述特征增强模块，基于所述特征映射匹配模块的处理结果，从二维鸟瞰图方向进行特征堆叠和增强，引入特征加和层之前的层即所述特征映射匹配模块中的三层卷积网络的特征搭建特征金字塔，沿雷达正视图和二维鸟瞰图中的局部极值所在点周边3*3像素区域进行特征加和，再与二维鸟瞰图特征串联，得到增强后特征；

④所述预测模块，基于增强后的特征搭建预测模块预测行人的3D检测框位置，包括用于特征抽象的三个全连接层和两个预测支路，其中，每个全连接层降采样1/2，两个预测支路分别对应行人类别和行人3D坐标的预测。

进一步地，所述步骤S3的具体过程为：

S3-1：在3D行人检测数据集上统一训练步骤S2中搭建基于人体关键点信息的雷达点云特征提取网络，引入利用focal loss损失函数优化预测结果，其数学表达形式为：

FL(p_t)＝-(1-p_t)^γlog(p_t)

其中，y表示标签，由于是二分类，y的取值为{+1,-1}，p表示预测样本属于1的概率，范围为0到1；为方便表示，用p_t代替p，p_t表示样本属于正样本的概率，γ聚焦参数，γ≥0，(1-p_t)^γ是调制参数，通过增加难分类样本的权重，使不易分类的小目标在模型训练时受到关注，最终得到高精度的行人3D检测网络；

S3-2：步骤S3-1训练得到3D行人检测网络，在检测过程中，直接将关键点图像和雷达点云输入网络，网络预测出3D行人检测框，并通过非极大值抑制后输出最终结果。

本发明的有益效果在于：

1.本发明的方法结合图像中的人体关键点和激光雷达点云的深度信息，实现行人目标的3D检测。充分利用图像中的行人关键点和点云数据中的深度特征，增强了点云和图像信息中用于行人目标识别的效果，有效提升3D行人检测的精度，弥补点云特征中缺失图像色彩信息和图像中三维目标识别精度低的不足；

2.本发明的方法在自动驾驶等领域具有十分重要的意义和应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：

图1为本发明的3D行人检测主要流程示意图；

图2为本发明的方法整体设计框架示意图；

图3为本发明的区域生成网络中金字塔特征增强示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

在进行基于点云的3D行人检测研究时发现，点云数据虽然在车辆等大目标的检测方面性能突出，但对于3D行人检测任务，其精确度不高。原因是行人在整个道路场景下属于小目标，且易受背景的干扰；因为行人自身的非刚性结构，雷达扫描得到的点云信息少于车辆，甚至部分特征缺失；由于缺失图像的色彩信息，导致在行人类别分辨时缺少参照，使得不能对预测出的检测结果进一步校准，导致行人目标检测精度不高。

本发明提供了一种人体关键点和激光雷达点云融合用于3D行人目标检测的方法，通过点云数据识别带深度信息的行人3D特征，结合图像中通过人体关键点识别的行人目标，对点云识别的行人进行校准，实现3D行人目标检测。

在本发明中，提出人体关键点和激光雷达点云融合实现3D行人目标检测的方法，图1为本发明的3D行人检测流程示意图，整体思路为雷达点云的3D目标检测算法识别行人的深度信息和初步的类别预测，人体关键点检测方案实现从图像信息中识别人体的关键点特征，进而通过肢体的关联性实现行人目标的检测。通过人体关键点预测的行人信息对雷达点云预测的3D行人检测结果进行校准，输出最后的预测结果。将整体算法进行模型训练，并进行测试验证，分析检测结果。

具体地，如图1-2所示，一种人体关键点与激光雷达融合的3D行人检测方法，在车辆前端安装鱼眼摄像头和激光雷达，用于获取车辆前方和侧方区域的可见光图像、车辆前方和侧方区域的3D空间雷达点云数据，包括以下步骤：

S1：基于可见光图像的人体关键点检测；从图像中提取出人体关键点位置，推理得出关键点之间的连接关系，上溯至每个行人的检测框位置；具体过程为：

S1-1：标注训练数据；根据MSCOCO数据集的关键点数据和标注信息训练OpenPose关键点识别算法，对输入的图像信息进行人体关键点检测，包括14个关键点：头、颈、左右肩、左右肘、左右腕、左右腰、左右膝、左右踝；

S1-2：利用OpenPose关键点检测算法，使用步骤S1-1中的训练数据进行训练，得到行人关键点检测网络，向训练好的网络输入鱼眼摄像头获取的可见光图像，得到所有行人的关键点检测结果，再通过匈牙利算法得出每个关键点所属的行人，最终给出图像中所有人的2D关键点；

S1-3：根据关键点所属行人信息，得出该行人的最大最小位置坐标，自下而上生成人体候选区域，得到行人候选框结果。

S2：搭建基于人体关键点的雷达3D点云特征提取网络进行特征提取；以基于体素的雷达信号检测网络为基础，通过特征降维与二维图像进行配准，根据配准结果精准引入关键点位置，使得网络能够围绕关键点位置进行三维特征提取；

S3：行人3D位置检测网络的训练与预测；通过神经网络对行人在3D空间的中心点位置以及长宽高信息进行回归预测，利用损失函数进行训练，得到最终的行人3D检测网络；并经过检测框后处理，给出最终的预测结果。

在一些实施方式中，步骤S2中的基于人体关键点的雷达3D点云特征提取网络包括串联的体素划分模块、特征映射匹配模块、特征增强模块与预测模块，其中，

①体素划分模块，3D空间雷达点云包含三维空间信息，沿X、Y、Z轴的宽度为W、高度为H、深度为D，进行体素划分成均匀等大的长方体块，点云体素划分采用的宽度、高度、深度的最小单元分别为ν_W、ν_H、ν_D，分割后生成的三维体素网络大小为：W′＝W/ν_W、H′＝H/ν_H、D′＝D/ν_D；体素划分后，体素网格中包含雷达点，将体素网格内包含超过T个雷达点的划分为非空体素，否则为空体素，在各非空体素网格内随机采样T个点，作为体素的特征；

②特征映射匹配模块，通过三层卷积网络从体素划分模块的输出中提取点云特征，分为两路分别使用特征加和层对3D空间雷达点云进行降维处理，降维方向分别对应雷达正视图与二维鸟瞰图，其中，雷达正视图方向与可见光图像方向一致，在此方向上基于雷达正视图与可见光图像进行信号配准，并在雷达正视图中引入步骤S1中得到的人体关键点；

以KITTI数据采集车为例，将激光雷达坐标系中的空间点m转换，变到相机坐标系中的n，具体的转换关系为：

表示矫正后相机旋转矩阵，使图像在一个平面，在实际计算时，将其扩展成具体如下：

代表从激光雷达到相机的转化矩阵，表达如下：

式中表示旋转矩阵，表示平移矩阵，为激光雷达到0号灰度相机坐标系的转换矩阵。表示矫正后的相机投影矩阵，表达如下：

式中是第i个相机到0号灰度相机在X轴方向上的偏移量，要将激光雷达点云坐标系下的点投影到左侧的彩色图像中，则i取值为2。和是指相机焦距，和是指主点的偏移。

③特征增强模块，基于特征映射匹配模块的处理结果，从二维鸟瞰图方向进行特征堆叠和增强，引入特征加和层之前的层即特征映射匹配模块中的三层卷积网络的特征搭建特征金字塔，沿雷达正视图和二维鸟瞰图中的局部极值所在点周边3*3像素区域进行特征加和，再与二维鸟瞰图特征串联，得到增强后特征；

④预测模块，基于增强后的特征搭建预测模块预测行人的3D检测框位置，包括用于特征抽象的三个全连接层和两个预测支路，其中，每个全连接层降采样1/2，两个预测支路分别对应行人类别和行人3D坐标的预测。

在一些实施方式中，步骤S3的具体过程为：

S3-1：在3D行人检测数据集上统一训练步骤S2中搭建基于人体关键点信息的雷达点云特征提取网络，引入利用focal loss损失函数优化预测结果，其数学表达形式为：

FL(p_t)＝-(1-p_t)^γlog(p_t)

其中，y表示标签，由于是二分类，y的取值为{+1,-1}，p表示预测样本属于1的概率，范围为0到1；为方便表示，用p_t代替p，p_t表示样本属于正样本的概率，γ聚焦参数，γ≥0，(1-p_t)^γ是调制参数，通过增加难分类样本的权重，使不易分类的小目标在模型训练时受到关注，最终得到高精度的行人3D检测网络；

S3-2：步骤S3-1训练得到3D行人检测网络，在检测过程中，直接将关键点图像和雷达点云输入网络，网络预测出3D行人检测框，并通过非极大值抑制后输出最终结果。

综上所述，本发明提供了人体关键点与激光雷达融合用于3D行人检测的实现方法，能够应用于智能机器人、增强现实、自动驾驶等诸多领域，例如在自动驾驶中，应用相机获取的光学图像和激光雷达扫描的点云，应用本发明的方法实现多传感器融合的3D行人检测方式，本发明的方法具有传感信息全面、检测精度准确的特点，是后续3D目标检测发展的趋势，因此，具有很高的推广价值。

在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种人体关键点与激光雷达融合的3D行人检测方法，在车辆前端安装鱼眼摄像头和激光雷达，用于获取车辆前方和侧方区域的可见光图像、车辆前方和侧方区域的3D空间雷达点云数据，其特征在于，包括以下步骤：

S1：基于可见光图像的人体关键点检测；从图像中提取出人体关键点位置，推理得出关键点之间的连接关系，上溯至每个行人的检测框位置；

S2：搭建基于人体关键点的雷达3D点云特征提取网络进行特征提取；以基于体素的雷达信号检测网络为基础，通过特征降维与二维图像进行配准，根据配准结果精准引入关键点位置，使得网络能够围绕关键点位置进行三维特征提取；

S3：行人3D位置检测网络的训练与预测；通过神经网络对行人在3D空间的中心点位置以及长宽高信息进行回归预测，利用损失函数进行训练，得到最终的行人3D检测网络；并经过检测框后处理，给出最终的预测结果；

所述步骤S2中的基于人体关键点的雷达3D点云特征提取网络包括串联的体素划分模块、特征映射匹配模块、特征增强模块与预测模块，其中，

①所述体素划分模块，3D空间雷达点云包含三维空间信息，沿X、Y、Z轴的宽度为W、高度为H、深度为D，进行体素划分成均匀等大的长方体块，点云体素划分采用的宽度、高度、深度的最小单元分别为ν_W、ν_H、ν_D，分割后生成的三维体素网络大小为：W′＝

W/ν_W、H′＝H/ν_H、D′＝D/ν_D；体素划分后，体素网格中包含雷达点，将体素网格内包含超过T个雷达点的划分为非空体素，否则为空体素，在各非空体素网格内随机采样T个点，作为体素的特征；

②所述特征映射匹配模块，通过三层卷积网络从所述体素划分模块的输出中提取点云特征，分为两路分别使用特征加和层对3D空间雷达点云进行降维处理，降维方向分别对应雷达正视图与二维鸟瞰图，其中，雷达正视图方向与可见光图像方向一致，在此方向上基于雷达正视图与可见光图像进行信号配准，并在雷达正视图中引入步骤S1中得到的人体关键点；

③所述特征增强模块，基于所述特征映射匹配模块的处理结果，从二维鸟瞰图方向进行特征堆叠和增强，引入特征加和层之前的层即所述特征映射匹配模块中的三层卷积网络的特征搭建特征金字塔，沿雷达正视图和二维鸟瞰图中的局部极值所在点周边3*3像素区域进行特征加和，再与二维鸟瞰图特征串联，得到增强后特征；

④所述预测模块，基于增强后的特征搭建预测模块预测行人的3D检测框位置，包括用于特征抽象的三个全连接层和两个预测支路，其中，每个全连接层降采样1/2，两个预测支路分别对应行人类别和行人3D坐标的预测；

所述步骤S3的具体过程为：

S3-1：在3D行人检测数据集上统一训练步骤S2中搭建基于人体关键点信息的雷达点云特征提取网络，引入利用focal loss损失函数优化预测结果，其数学表达形式为：

FL(p_t)＝-(1-p_t)^γlog(p_t)

其中，y表示标签，由于是二分类，y的取值为{+1,-1}，p表示预测样本属于1的概率，范围为0到1；为方便表示，用p_t代替p，p_t表示样本属于正样本的概率，γ聚焦参数，γ≥0，(1-p_t)^γ是调制参数，通过增加难分类样本的权重，使不易分类的小目标在模型训练时受到关注，最终得到高精度的行人3D检测网络；

S3-2：步骤S3-1训练得到3D行人检测网络，在检测过程中，直接将关键点图像和雷达点云输入网络，网络预测出3D行人检测框，并通过非极大值抑制后输出最终结果。

2.根据权利要求1所述的人体关键点与激光雷达融合的3D行人检测方法，其特征在于，所述步骤S1的具体过程为：

S1-1：标注训练数据；根据MSCOCO数据集的关键点数据和标注信息训练OpenPose关键点识别算法，对输入的图像信息进行人体关键点检测，包括14个关键点：头、颈、左右肩、左右肘、左右腕、左右腰、左右膝、左右踝；

S1-2：利用OpenPose关键点检测算法，使用步骤S1-1中的训练数据进行训练，得到行人关键点检测网络，向训练好的网络输入鱼眼摄像头获取的可见光图像，得到所有行人的关键点检测结果，再通过匈牙利算法得出每个关键点所属的行人，最终给出图像中所有人的2D关键点；

S1-3：根据关键点所属行人信息，得出该行人的最大最小位置坐标，自下而上生成人体候选区域，得到行人候选框结果。