CN109087323A - 一种基于精细cad模型的图像车辆三维姿态估计方法 - Google Patents

Abstract

本发明公开了一种基于精细三维模型的图像车辆姿态估计方法。首先从图像中检测出车辆的位置，并初始化车辆三维姿态参数，利用当前姿态参数将车辆三维模型渲染到图像平面上，分别提取图像车辆和模型车辆的轮廓，利用轮廓间的匹配误差构建能量函数，并采用高斯牛顿算法优化姿态参数，求解能量函数最小化问题，得到最终结果。轮廓匹配时，采用改进的随机抽样一致性(RANSAC)算法对曲线模型轮廓用分段直线拟合，再与真实车辆轮廓匹配。本发明在复杂监控场景中能准确鲁棒的恢复出监控视频中车辆相对摄像机的三维姿态参数，对监控视频理解和自动化处理有重要意义。

Description

一种基于精细CAD模型的图像车辆三维姿态估计方法

技术领域

本发明属于计算机视觉技术领域，特别是涉及一种基于精细CAD模型的图像车辆三维姿态估计方法。

背景技术

随着平安城市建设的不断推进，我国已布设超过3000万个监控摄像机，这些摄像机每日产生海量监控视频数据，因此对这些监控视频的自动化处理要求也越来越高。监控视频中，行驶车辆是重点关注对象之一。准确地估计车辆的三维姿态参数是监控视频自动化处理的基础，可广泛应用于交通监控、道路执法、安全保障以及监控视频压缩处理等领域。

监控视频中车辆姿态估计的难点在于图像数据在采集过程中丢失了三维世界中的深度信息，并且监控环境下的图像质量较低，大量细节信息得不到保障。因此，仅利用单幅图像包含的信息难以恢复出物体的三维姿态参数。为了准确地理解图像内容，恢复丢失的深度信息。需要借助先验知识，如车辆的三维模型，来估计车辆三维姿态参数。

目前，从图像中恢复目标三维姿态参数的方法主要分为如下三类：现有技术中，涉及到提出的一种基于简单线框模型的车辆姿态估计方法。该方法使用几条简单线框表示车辆的三维模型，并利用线框模型与图像中车辆轮廓的匹配误差来评价姿态参数准确性，通过演化算法优化姿态参数使匹配误差不断减小，从而得到最终的位置姿态参数。该方法计算复杂度较低，但简单线框模型难以精确表示真实车辆，因此参数估计精度不高。现有技术中，还涉及到提出的基于深度学习的目标三维姿态估计方法。该类方法首先通过目标三维模型渲染出各种不同姿态下的图像，以图像-姿态参数对作为训练数据训练卷积神经网络，在进行目标姿态估计时，将测试图像作为网络输入，输出即为对应姿态参数。这种基于图像识别的方法由于不存在严格的投影关系方程，因此很难得到目标姿态参数的准确估计值。现有技术中，还涉及到提出的提出一种基于目标掩码区域的姿态估计方法，该方法首先利用目标颜色直方图信息估计出目标所在区域的掩码图，接着提取目标和模型的***轮廓，通过最小化两个外轮廓误差来优化姿态参数。该方法是目前姿态估计领域综合效果最好的方法之一，但是由于仅利用了目标的***轮廓，没有充分利用到目标内部的轮廓信息，使得在目标被遮挡及光照复杂的情况不够鲁棒。

现有方法都存在姿态参数估计精度不高、在复杂环境下鲁棒性差等问题。为了满足在复杂监控环境下估计车辆三维姿态的需求，迫切需要一种准确、鲁棒地车辆三维姿态估计方法。

发明内容

为了解决上述的技术问题，本发明提出了一种基于精细CAD模型的图像车辆三维姿态估计方法，其特征在于，包括：

步骤1，初始化车辆相对摄像机的三维姿态参数，包括相对地面位置X,Y以及在地面上的旋转角度θ，记向量p＝(X,Y,θ)；初始化过程即仅利用图像特征粗略确定车辆相对相机的初始位置(X₀,Y₀)和旋转角θ₀；

步骤2，提取真实车辆轮廓和模型车辆轮廓，具体是采用Canny边缘检测算子提取真实车辆轮廓和模型车辆轮廓；

步骤3，对模型车辆轮廓采用直线拟合，具体是采用改进的随机抽样一致性算法(RANSAC)，先将曲线轮廓用分段直线的拟合后再进行轮廓匹配；

步骤4，计算真实车辆轮廓和模型车辆轮廓的匹配误差，具体是比较每段直线轮廓与真实车辆轮廓间的匹配误差，再将所有直线的匹配误差累加得到当前姿态下轮廓匹配误差，定义第i条直线轮廓的匹配误差为e_i，所有匹配误差构成的匹配误差向量，也即待优化的能量函数e＝[e₁,e₂,…e_n]；

步骤5，优化姿态参数，优化目标是最小化能量函数，采用高斯牛顿迭代法，通过不断地优化姿态参数来减少匹配误差，投影轮廓和图像轮廓也就不断地靠近，最终收敛到准确的姿态参数。

在上述的一种基于精细CAD模型的图像车辆三维姿态估计方法，所述步骤1具体包括以下子步骤：

步骤1.1从图像中检测出车辆所在的矩形区域，粗略假定矩形框中心位置即为车辆模型中心的投影位置；

步骤1.2根据矩形框中心位置，结合摄像机成像的投影方程可以确定车辆模型中心相对相机的位置坐标(X₀,Y₀)；

步骤1.3根据车辆的结构特点，图像中车辆的梯度方向大多分布于车辆模型坐标系的x轴和y轴；通过提取前景车辆的HOG特征可以检测到这两个方向，计算出它们的夹角，并结合投影方程可以初步确定车辆在地面上的旋转角θ₀。

在上述的一种基于精细CAD模型的图像车辆三维姿态估计方法，所述步骤2具体包括以下子步骤：

步骤2.1利用当前状态下的姿态参数，根据摄像机成像模型，采用OpenGL开源库将车辆三维模型渲染到图像平面上，得到模型车辆；

步骤2.2对图像中真实车辆和渲染的模型车辆分别采用Canny边缘检测算子提取真实车辆轮廓和模型车辆轮廓。

在上述的一种基于精细CAD模型的图像车辆三维姿态估计方法，所述步骤3具体包括以下子步骤：

步骤3.1从模型轮廓图中随机选择起始点：在现有轮廓点中先随机选择一点(x0，y0)，在以该点为中心边长为10个像素点的正方形框内搜索其它轮廓点,并保存；

步骤3.2初步拟合直线：利用搜索到的轮廓点，逐个与(x0，y0)组成直线，计算其它轮廓点到直线的距离，设定阈值T，距离小于T的轮廓点判定在该直线的附近，统计每条直线附近轮廓点的个数；附近轮廓点最多的直线作为初步选定的直线，保存该直线方向；

步骤3.3扩大搜索范围：同样以(x0，y0)为中心，在边长为100个像素点的正方形框内搜索其它轮廓点,并保存；

步骤3.4确定最终拟合直线：计算搜索到的每个轮廓点到初步选定直线的距离，保存所有距离小于T的轮廓点；沿着直线方向，从保存的轮廓点中找到两个端点，端点连线即为拟合的直线轮廓；

步骤3.5删除已经拟合轮廓点：删除选定直线附近的轮廓点，若剩下的轮廓点数小于设定的阈值，则保存所有分段直线并退出，否则返回步骤3.1，重新迭代。

在上述的一种基于精细CAD模型的图像车辆三维姿态估计方法，所述步骤4具体包括以下子步骤：

步骤4.1对于每一段模型直线轮廓，沿着其法线方向在固定长度内搜索真实车辆的轮廓点

步骤4.2计算搜索到的每一个真实车辆轮廓点到直线轮廓的垂直距离；该段直线周围所有真实车辆轮廓点到直线垂直距离的和即为该条直线轮廓的匹配误差e_i；

步骤4.3统计所有直线轮廓的匹配误差，得到当前状态下的能量函数。

在上述的一种基于精细CAD模型的图像车辆三维姿态估计方法，所述步骤5具体包括以下子步骤：

步骤5.1高斯牛顿迭代法需要利用目标函数对优化变量的雅克比矩阵J；首先计算J，J_ij反映了第j个姿态参数的变化对第i条直线轮廓匹配误差的影响；

步骤5.2记Δ_i是第i次姿态参数迭代增量，通过最小化||e(p_i)+JΔ_i||来计算Δ_i，得到Δ_i＝-(J^TJ)^-1J^Te_i；

步骤5.3更新姿态参数p_i+1＝p_i+Δ_i；

步骤5.4重复步骤5.1至步骤5.3，直到匹配误差小于设定阈值。

因此，本发明具有如下优点：1)本发明利用到了车辆模型的内外全部轮廓，更多特征的利用可以帮助提升姿态估计结果的准确性和鲁棒性；2)由于曲线轮廓间匹配复杂且精度低，本发明将模型车辆曲线轮廓用分段直线拟合再与真实车辆轮廓匹配，直线化后的轮廓不仅保留了曲线轮廓的边缘信息而且简单有序，能更加充分利用到轮廓的局部特性；3)采用高斯牛顿算法优化姿态参数，相比现有技术的梯度下降法需要更少的迭代次数，从而提升方法的实用性。

附图说明

图1是本发明实施例的实施例的基于精细CAD模型的图像车辆三维姿态估计方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供的一种基于精细CAD模型的图像车辆三维姿态估计方法，分为:初始化姿态参数，提取真实车辆和模型车辆轮廓，对模型车辆轮廓直线拟合，计算真实车辆轮廓和模型车辆轮廓匹配误差，优化姿态参数，五个阶段。

本实施例的初始化车辆相对摄像机的三维姿态参数，其具体实现包括以下子步骤：

步骤1.1从图像中检测出车辆所在的矩形区域，粗略假定矩形框中心位置即为车辆模型中心的投影位置。

步骤1.2根据矩形框中心位置，结合摄像机成像的投影方程可以确定车辆模型中心相对相机的初始位置坐标(X₀,Y₀)。

步骤1.3根据车辆的结构特点，图像中车辆的梯度方向大多分布于车辆模型坐标系的x轴和y轴。通过提取前景车辆的HOG特征可以检测到这两个方向，计算出它们的夹角，并结合投影方程可以初步确定车辆在地面上的旋转角θ₀，综上得到初始姿态参数p₀＝(X₀,Y₀,θ₀)。

本实施例的提取真实车辆轮廓和模型车辆轮廓阶段，其具体实现包括以下子步骤：

步骤2.1利用当前状态下的姿态参数，根据摄像机成像模型，采用OpenGL开源库将车辆三维模型渲染到图像平面上，得到模型车辆。

步骤2.2对图像中真实车辆和渲染的模型车辆分别采用Canny边缘检测算子提取真实车辆轮廓和模型车辆轮廓。

本实施例的对模型车辆轮廓采用直线拟合阶段，其具体实现包括以下子步骤：

步骤3.1从模型轮廓图中随机选择起始点：在现有轮廓点中先随机选择一点(x0，y0)，在以该点为中心边长为10个像素点的正方形框内搜索其它轮廓点,并保存。

步骤3.2初步拟合直线：利用搜索到的轮廓点，逐个与(x0，y0)组成直线，计算其它轮廓点到直线的距离，设定阈值T，距离小于T的轮廓点判定在该直线的附近，统计每条直线附近轮廓点的个数。附近轮廓点最多的直线作为初步选定的直线，保存该直线方向。

步骤3.3扩大搜索范围：同样以(x0，y0)为中心，在边长为100个像素点的正方形框内搜索其它轮廓点,并保存。

步骤3.4确定最终拟合直线：计算搜索到的每个轮廓点到初步选定直线的距离，保存所有距离小于T的轮廓点。沿着直线方向，从保存的轮廓点中找到两个端点，端点连线即为拟合的直线轮廓。

步骤3.5删除已经拟合轮廓点：删除选定直线附近的轮廓点，若剩下的轮廓点数小于设定的阈值，则保存所有分段直线并退出，否则返回步骤3.1，重新迭代。

本实施例的计算真实车辆轮廓和模型车辆轮廓匹配误差，其具体实现包括以下子步骤：

步骤4.1对于每一段模型直线轮廓，沿着其法线方向在固定长度内搜索真实车辆的轮廓点

步骤4.2计算搜索到的每一个真实车辆轮廓点到直线轮廓的垂直距离。该段直线周围所有真实车辆轮廓点到直线垂直距离的和即为该条直线轮廓的匹配误差e_i。

步骤4.3统计所有直线轮廓的匹配误差，得到当前状态下的能量函数e＝[e₁,e₂,…e_n]。

本实施例的优化姿态参数，其具体实现包括以下子步骤：

步骤5.1高斯牛顿迭代法需要利用目标函数mine(p)对优化变量的雅克比矩阵J。首先计算J，J_ij反映了第j个姿态参数的变化对第i条直线轮廓匹配误差的影响。

步骤5.2记Δ_i是第i次姿态参数迭代增量，通过最小化||e(p_i)+JΔ_i||来计算Δ_i，得到Δ_i＝-(J^TJ)^-1J^Te_i

步骤5.3更新姿态参数p_i+1＝p_i+Δ_i。

步骤5.4重复步骤5.1至步骤5.3，直到匹配误差小于设定阈值。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于精细CAD模型的图像车辆三维姿态估计方法，其特征在于，包括：

步骤1，初始化车辆相对摄像机的三维姿态参数，包括相对地面位置X,Y以及在地面上的旋转角度θ，记向量p＝(X,Y,θ)；初始化过程即仅利用图像特征粗略确定车辆相对相机的初始位置(X₀,Y₀)和旋转角θ₀；

步骤2，提取真实车辆轮廓和模型车辆轮廓，具体是采用Canny边缘检测算子提取真实车辆轮廓和模型车辆轮廓；

步骤3，对模型车辆轮廓采用直线拟合，具体是采用改进的随机抽样一致性算法(RANSAC)，先将曲线轮廓用分段直线的拟合后再进行轮廓匹配；

步骤4，计算真实车辆轮廓和模型车辆轮廓的匹配误差，具体是比较每段直线轮廓与真实车辆轮廓间的匹配误差，再将所有直线的匹配误差累加得到当前姿态下轮廓匹配误差，定义第i条直线轮廓的匹配误差为e_i，所有匹配误差构成的匹配误差向量，也即待优化的能量函数e＝[e₁,e₂,…e_n]；

步骤5，优化姿态参数，优化目标是最小化能量函数，采用高斯牛顿迭代法，通过不断地优化姿态参数来减少匹配误差，投影轮廓和图像轮廓也就不断地靠近，最终收敛到准确的姿态参数。

2.根据权利要求书所述的一种基于精细CAD模型的图像车辆三维姿态估计方法，其特征在于，所述步骤1具体包括以下子步骤：

步骤1.1从图像中检测出车辆所在的矩形区域，粗略假定矩形框中心位置即为车辆模型中心的投影位置；

步骤1.2根据矩形框中心位置，结合摄像机成像的投影方程可以确定车辆模型中心相对相机的位置坐标(X₀,Y₀)；

步骤1.3根据车辆的结构特点，图像中车辆的梯度方向大多分布于车辆模型坐标系的x轴和y轴；通过提取前景车辆的HOG特征可以检测到这两个方向，计算出它们的夹角，并结合投影方程可以初步确定车辆在地面上的旋转角θ₀。

3.根据权利要求书所述的一种基于精细CAD模型的图像车辆三维姿态估计方法，其特征在于，所述步骤2具体包括以下子步骤：

步骤2.1利用当前状态下的姿态参数，根据摄像机成像模型，采用OpenGL开源库将车辆三维模型渲染到图像平面上，得到模型车辆；

步骤2.2对图像中真实车辆和渲染的模型车辆分别采用Canny边缘检测算子提取真实车辆轮廓和模型车辆轮廓。

4.根据权利要求书所述的一种基于精细CAD模型的图像车辆三维姿态估计方法，其特征在于，所述步骤3具体包括以下子步骤：

步骤3.1从模型轮廓图中随机选择起始点：在现有轮廓点中先随机选择一点(x0，y0)，在以该点为中心边长为10个像素点的正方形框内搜索其它轮廓点,并保存；

步骤3.2初步拟合直线：利用搜索到的轮廓点，逐个与(x0，y0)组成直线，计算其它轮廓点到直线的距离，设定阈值T，距离小于T的轮廓点判定在该直线的附近，统计每条直线附近轮廓点的个数；附近轮廓点最多的直线作为初步选定的直线，保存该直线方向；

步骤3.3扩大搜索范围：同样以(x0，y0)为中心，在边长为100个像素点的正方形框内搜索其它轮廓点,并保存；

步骤3.4确定最终拟合直线：计算搜索到的每个轮廓点到初步选定直线的距离，保存所有距离小于T的轮廓点；沿着直线方向，从保存的轮廓点中找到两个端点，端点连线即为拟合的直线轮廓；

步骤3.5删除已经拟合轮廓点：删除选定直线附近的轮廓点，若剩下的轮廓点数小于设定的阈值，则保存所有分段直线并退出，否则返回步骤3.1，重新迭代。

5.根据权利要求书所述的一种基于精细CAD模型的图像车辆三维姿态估计方法，其特征在于，所述步骤4具体包括以下子步骤：

步骤4.1对于每一段模型直线轮廓，沿着其法线方向在固定长度内搜索真实车辆的轮廓点

步骤4.2计算搜索到的每一个真实车辆轮廓点到直线轮廓的垂直距离；该段直线周围所有真实车辆轮廓点到直线垂直距离的和即为该条直线轮廓的匹配误差e_i；

步骤4.3统计所有直线轮廓的匹配误差，得到当前状态下的能量函数。

6.根据权利要求书所述的一种基于精细CAD模型的图像车辆三维姿态估计方法，其特征在于，所述步骤5具体包括以下子步骤：

步骤5.1高斯牛顿迭代法需要利用目标函数对优化变量的雅克比矩阵J；首先计算J，J_ij反映了第j个姿态参数的变化对第i条直线轮廓匹配误差的影响；

步骤5.2记Δ_i是第i次姿态参数迭代增量，通过最小化||e(p_i)+JΔ_i||来计算Δ_i，得到Δ_i＝-(J^TJ)^-1J^Te_i；

步骤5.3更新姿态参数p_i+1＝p_i+Δ_i；

步骤5.4重复步骤5.1至步骤5.3，直到匹配误差小于设定阈值。