CN113838140B - 一种基于三维地图辅助的单目视频行人三维定位方法 - Google Patents

Abstract

本专利公开了一种基于三维地图辅助的单目视频行人三维定位方法：首先，获取包含待定位动态行人的单目视频图像以及视频域范围内的激光雷达点云；其次，通过提取与匹配单目视频图像与激光雷达点云中的特征点，恢复视频相机的位置、姿态和内方位元素；再次，对该视频图像里的待定位行人进行二维检测获取目标特征点像素坐标值，同时对目标所处场景的点云数据进行处理提取地平面，获取地平面在激光雷达坐标系竖直方向上的坐标值；然后，将目标行人始终垂直于地平面这一约束条件引入共线方程，基于上述过程得到的准备数据构建联合求解方程，恢复视频行人特征的三维坐标及身高信息。

Description

一种基于三维地图辅助的单目视频行人三维定位方法

技术领域

本发明属于目标追踪领域，特别是涉及到一种基于三维地图辅助的单目视频行人三维定位方法。

背景技术

动态目标三维定位在智能交通、灾害应急服务、数字城市、公共疫情防控等领域都具有很好的实用价值。当前，目标三维定位主要依赖全球定位***(Global PositioningSystem,GPS)，但在高大、密集建筑群或密闭空间中(如室内、隧道、地下停车场等)易受多路径效应及信号遮挡等因素影响导致定位失准。近年来无线定位技术，如超宽带(Ultra-WideBand,UWB)、无线网络(WIFI)、蓝牙和红外等也引起广泛关注，但其定位过程对外部条件依赖较大，成本较高、普适性差。

在过去的几十年，基于视觉和基于激光雷达的目标定位方法相继提出，并得到了广泛关注。立体视觉的定位技术相对成熟，但主要集中在车辆的三维位置估计上，而行人的身高和体形各不相同，导致缺乏足够的属性信息。传统的行人三维定位方法大多依赖于场景或行人的已知信息来，例如利用医学统计得到的身高与身体部位、步幅的关系来定位行人；或利用物理约束，通过简单的运动轨迹分析，如跳跃或奔跑，将像素测量值转换为人体高度。该类方法利用其他度量间接获得行人的三维位置，可能导致误差传播。此外，数码相机、激光雷达、无线传感器、惯性陀螺仪等传感器也可作为数据采集平台，同时获取图像数据和地理位置数据，构建三维地图实现多传感器融合定位。然而，这些方法高度依赖于设备或场景条件，不容易集成到所有公共场所。近年来，众多学者尝试利用人工智能的方法解决行人三维定位问题，提出了不同的神经网络结构，用于立体成像、定位或估计人体三维姿态。然而，在这些研究中依赖大量数据集进行训练且大多假设行人高度相同，会导致存在固有的定位误差，精度难以满足要求。

综上基于视觉的技术可以捕捉详细的姿态和纹理属性，但受限于每个空间点有且仅有一条透视投影直线与之对应，缺乏深度信息，需要额外信息实现二维到三维坐标的转换。在此背景下，我们提出了一种实现三维定位的有效替代方案，使用地面激光雷达捕捉三维地图来估计单目相机的参数。行人虽是动态目标但总是垂直于地面，所以我们能够确定其三维位置。该方法旨在解决平面定位的局限性，提高传统摄影测量在三维空间中的应用。

本发明考虑在一般情况下，针对上述单目视频动态目标三维定位存在的问题，提出了一种基于三维地图辅助的单目视频行人三维定位方法。该方法实现思路为：首先利用三维地图对单目视频图像进行标定以恢复相机参数，然后完成行人检测得到包括行人头脚位置的二维边界框，之后从单目视频的对应点云数据中提取地平面竖直方向坐标值，利用行人身体始终垂直于地面这一固有条件实现行人三维定位。本发明不依赖特殊标定物或训练数据集，不限制场景几何条件，计算过程简单高效，可获得比其他方法更准确的定位结果，还能恢复行人较为准确的身高值，同时具有理论和现实意义。

三、发明内容

(一)解决的技术方案

本发明的目的是对单目视频中的行人进行三维定位。考虑到实际场景中可能并没有可利用的几何约束，此时基于单目视频确定运动目标到摄像机的距离存在困难。针对该问题，本发明设计了一种基于三维地图辅助的单目视频行人三维定位方法，首先对视频域场景采集点云数据构建三维地图，然后利用特征匹配进行相机标定获取单目视频图像的内外方位元素，继而对包含待定位动态目标的单目视频图像进行行人检测获取行人框的像素坐标值，同时基于该视频场景的地面点云数据获取地平面竖直方向坐标，将行人始终垂直于地面这一固有条件引入共线方程，基于此对目标特征点进行联合平差求取三维位置。

(二)技术方案

为实现上述目的，本发明公开了一种基于三维地图辅助的单目视频行人三维定位方法，具体包括以下步骤：

步骤1：分别获取包含待定位动态目标的单目视频图像F和同一场景下未包含该目标的LiDAR点云C；

步骤2：利用单目视频图像F和点云C的特征点2D-3D匹配关系恢复相机的内外方位元素，并将外方位元素作为目标场景的全局变换参数；

步骤3：令P_i(i∈1，2，3,…,n)表示单目视频图像F中待定位行人，n为待定位行人总数，基于目标检测算法获取行人检测框上下边界线中点的像素坐标，分别用t_i,b_i表示；

步骤4：从该视频图像F所在场景扫描的激光雷达点云C中提取地平面，获取地平面竖直方向坐标值Z_g；

步骤5：利用行人P_i(i∈1，2，3,…,n)始终垂直于地面这一固有条件，将步骤4中提取的地平面竖直方向坐标值Z_g引入共线方程，与步骤3获取的某一行人像素坐标(u_t,v_t)，(u_b,v_b)构建联合求解模型；

步骤6：对步骤5构建的模型进行泰勒多项式展开，多次迭代后求取满足一定阈值范围内的解，即可分别得到不同行人P_i(i∈1，2，3,…,n)两几何点t_i,b_i的三维坐标，实现了单目视频行人三维定位。

(三)有益效果

1、利用本发明，能在目标真实大小未知、场景无特定几何特征的情况下，实现单目视频动态行人的三维定位。

2、本发明可为城市动态行人视频跨境追踪、轨迹分析和行为异常检测等应用提供技术支撑。

四、附图说明

图1一种基于三维地图辅助的单目视频行人三维定位方法流程图。

图2激光雷达点云与包含待定位动态行人的单目视频图像示意图。

图3单目视频图像中待定位动态行人二维检测结果示意图。

图4单目视频图像中待定位动态行人三维定位示意图。

五、具体实施方式

以图2、图3和图4为例，详细说明本发明的实现过程。具体实施方式如下：

步骤1：此处以任一待定位行人P_i(i＝1，2，3,…,n)为例进行描述。如图2所示，考虑待定位行人的动态性，首先利用三维激光扫描仪获取不含待定位行人P_i的激光雷达点云C，然后利用场景部署的监控摄像头截取包含该目标P_i的单目视频图像F。

步骤2：分别用O_F-X_FY_FZ_F和O_C-X_CY_CZ_C表示单目视频图像F和激光雷达点云C的坐标系，采用直接线性变换算法实现相机标定。从单目视频图像F和地面点云C中选取至少6对特征点，根据它们的2D-3D匹配关系恢复相机的内方位元素矩阵A(u₀,v₀,f)，其中(u₀,v₀)表示像主点坐标，f为焦距，以及视频图像F获取瞬间的外方位元素矩阵E(包含平移向量T和旋转矩阵R)，式(1)中(X_w,Y_w,Z_w)为待定位目标P_i的物方三维坐标，(u,v)是其像方二维坐标：

步骤3：如图3所示，利用YOLO目标检测器获取单目视频图像F中的行人P_i的二维检测框。YOLO算法将整个图像作为网络的输入，同时预测目标区域及其类别，将行人检测框上边缘的中点t，即行人头部的位置，和下边缘的中点b，即行人脚部的位置，作为标记点，分别用(u_t,v_t)，(u_b,v_b)表示其像素坐标。

步骤4：在激光雷达中有一个陀螺仪，保证其坐标***中的Z轴总是垂直于地面，因此，从激光雷达点云C中提取地平面，获取其竖直方向坐标值Z_g，为后续行人的三维定位提供必要的基础数据。

步骤5：如图4所示，对于仅出现在单目视频图像F中的待定位目标行人P_i，完成步骤2相机标定和姿态恢复后，将步骤4中提取的地平面竖直方向坐标值Z_g引入改进的共线方程，如公式(2)，求取行人脚点b的三维坐标(X_b,Y_b,Z_b)，其中a_i,b_i,c_i(i＝1,2,3)表示旋转矩阵R中的元素值，(X_S,Y_S,Z_S)表示平移向量T中的元素值，

步骤6：考虑到单目视觉定位的不适定性，求解过程中引入行人始终垂直于地面作为约束条件，计算待定位目标行人P_i的头部点t的重投影误差(Δu_t,Δv_t)：

上式中表示直接从视频图像F中检测得到的点t的像素坐标，则有：

相应地，公式(4)中的重投影误差可以表示为关于行人头部点t竖直方向坐标值Z_t的方程：

对式(7)进行矩阵运算计算未知数Z_t的改正数ΔZ_t，经过多次迭代，得到满足精度要求的点t三维坐标，获取行人P_i头和脚的三维坐标后，计算行人身高h：

步骤7：步骤6得到的(Y_t,Y_t,Z_t)和(X_b,Y_b,Z_b)即为满足所设置的阈值条件下的待定位目标行人P_i的头和脚三维坐标，基于此即可确定视频动态目标所处位置。

上述实施方案以任一目标为例描述了实施步骤，当有多个待定位目标时本方法同样适用。可实现单目视频动态行人的三维定位。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于三维地图辅助的单目视频行人三维定位方法，该方法包括：

步骤1：利用三维激光扫描仪获取不含待定位行人P_i的激光雷达点云C，然后利用场景部署的监控摄像头截取包含该目标P_i的单目视频图像F；

步骤2：分别用O_F-X_FY_FZ_F和O_C-X_CY_CZ_C表示单目视频图像F和激光雷达点云C的坐标系，采用直接线性变换算法实现相机标定，即从单目视频图像F和地面点云C中选取至少6对特征点，根据它们的2D-3D匹配关系按式(1)恢复相机的内方位元素矩阵A(u₀,v₀,f)

式(1)中(u₀,v₀)表示像主点坐标，f为焦距，E表示视频图像F获取瞬间的外方位元素矩阵，包含平移向量T和旋转矩阵R，(X_w,Y_w,Z_w)为待定位目标P_i的物方三维坐标，(u,v)是其像方二维坐标；

步骤3：利用YOLO目标检测器获取单目视频图像F中的行人P_i的二维检测框，即将整个图像作为网络的输入，同时预测目标区域及其类别，将行人检测框上边缘的中点t，即行人头部的位置和下边缘的中点b，即行人脚部的位置，作为标记点，分别用(u_t,v_t)，(u_b,v_b)表示其像素坐标；

步骤4：因激光扫描仪中的陀螺仪可保证点云坐标系中的Z轴始终垂直于地面，从激光雷达点云C中提取地平面，获取其竖直方向坐标值Z_g；

步骤5：对于仅出现在单目视频图像F中的待定位目标行人P_i，完成步骤2相机标定和姿态恢复后，将步骤4中提取的地平面竖直方向坐标值Z_g引入共线方程求取行人脚点b的三维坐标(X_b,Y_b,Z_b)：

其中a_i,b_i,c_i(i＝1,2,3)表示旋转矩阵R中的元素值，(X_S,Y_S,Z_S)表示平移向量T中的元素值；

步骤6：考虑到单目视觉定位的不适定性，求解过程中引入行人始终垂直于地面作为约束条件，计算待定位目标行人P_i的头部点t的重投影误差(Δu_t,Δv_t)：

上式中表示直接从视频图像F中检测得到的点t的像素坐标，则有：

相应地，公式(4)中的重投影误差可以表示为关于行人头部点t竖直方向坐标值Z_t的方程：

对式(7)进行矩阵运算计算未知数Z_t的改正数ΔZ_t，经过多次迭代，得到满足精度要求的点t三维坐标，获取行人P_i头和脚的三维坐标后，计算行人身高h：

步骤7：步骤6得到的(X_t,Y_t,Z_t)和(X_b,Y_b,Z_b)即为满足所设置的阈值条件下的待定位目标行人P_i的头和脚三维坐标，基于此即可确定视频动态目标所处位置。