CN112150525B - 一种基于双目摄像头的目标定位方法 - Google Patents

Abstract

本发明公开了一种基于双目摄像头的目标定位方法。离线阶段，提取目标灰度图像的LBP纹理特征，利用支持向量机学习LBP纹理特征信息与目标X轴位置信息的关系，得到基于X轴位置的回归函数；并且提取目标深度图像的深度信息，利用支持向量机学习深度信息与目标Y轴位置信息的关系，得到基于Y轴位置的回归函数；在线阶段，利用获取图像所提取的LBP纹理特征和深度信息，计算目标的初始位置、实现粗定位。然后利用连续时间内目标位置之间的相关性，构建交互模复合型对粗定位结果进行修正，得到精定位的结果。本发明具有定位成本低，时间开销小的优点，同时提高了双目摄像头的定位精度性能。

Description

一种基于双目摄像头的目标定位方法

技术领域

本发明涉及一种基于支持向量机和交互多模型技术的双目摄像头目标定位方法，属于定位导航与机器学习技术领域。

背景技术

近年来，面向需求越来越迫切的室内位置服务，是移动互联时代的研究热点。室内定位技术发展迅速，逐步在各行各业发挥作用，给人们日常生活带来了一定程度上有益的影响。随着基于用户位置信息的相关技术的应用和发展，位置服务已经成为人们日常工作、生活所必须的一项基本服务需求，尤其在大型复杂的室内环境中，如博物馆、机场、超市、医院、地下矿井等区域，人们对位置服务有迫切需求。在移动互联网迅速发展和位置服务应用需求的推动下，当前室内定位技术处于较快的发展阶段，研究者们提出了众多室内定位技术的理论与方法。

目前，基于图像的室内定位技术主要使用单目摄像头或者双目摄像头。单目摄像头拍摄到单张图片无法建立与世界坐标与大小的对应关系，具有尺度不确定性。同时单目摄像头无法直接获取图像中物体的深度信息。

双目摄像头通过左右两个摄像头在同一时刻拍摄图片。由于两张图片是对同一物体在不同角度进行拍摄，可以通过两幅照片的视差进行距离测量。距离摄像机像面越近的点，它在左右相机中的视差越大，距离像面越远的点，它在左右相机中的视差越小。目前，随着硬件***特别是嵌入式的发展，双目视觉及其衍生出的深度相机越来越受到研究人员的重视。因此，利用双目摄像头进行目标定位在人员定位与监控、智慧交通上应用有着重大意义。然而单一距离测量仍然无法满足高精度的目标定位需求，因此，对双目摄像头深度信息的应用需要进一步扩展。

发明内容

本发明的目的在于提供一种基于双目摄像头的目标定位方法，通过利用支持向量机和交互复合模型技术，提高目标定位的精确程度。

本发明解决上述问题所采用的技术方案为：一种基于双目摄像头的目标定位方法，其特征在于：所述目标定位方法分为离线阶段和在现阶段两部分，其中离线阶段包括步骤：S1、在一个以上给定的参考位置上利用双目摄像头获取离线目标图像，提取得到LBP纹理特征和深度信息，并构建基于LBP纹理特征和深度信息的训练数据库；S2、利用支持向量机学习训练数据库中的训练样本，得到关联LBP纹理特征、深度信息的两个回归函数；

在线阶段包括步骤：S3、利用双目摄像头获取在线目标的灰度图像和深度图像，并从灰度图像中提取LBP纹理特征、从深度图像中提取深度信息；S4、利用步骤S2所得两个回归函数对在线目标位置估计，获得粗定位的初始位置；S5、构建交互复合模型，并对粗定位的初始位置修正，得到精定位的在线目标位置。

上述基于双目摄像头的目标定位方法，进一步地，在所述双目摄像头视角范围的场景中密布设置参考位置，步骤S1构建训练数据库的方法包括步骤：

S11，当离线目标在给定的一个参考位置时，利用双目摄像头获得离线目标的灰度图像和深度图像；

S12、对灰度图像提取LBP纹理特征，对深度图像提取深度信息；

S13、使离线目标遍历所有参考位置，重复步骤S11、S12，获得对应每个参考位置的LBP纹理特征、深度信息，结合参考位置的位置坐标，构建包含LBP纹理特征和参考位置X轴坐标的第一训练数据库，包含深度信息和参考位置Y轴坐标的第二训练数据库。

上述基于双目摄像头的目标定位方法，更进一步地，步骤S2中利用支持向量机学习第一训练数据库中的训练样本，得到基于X轴位置的第一回归函数，利用支持向量机学习第二训练数据库中的训练样本，得到基于Y轴位置的第二回归函数。

上述基于双目摄像头的目标定位方法，进一步地，步骤S4获得粗定位的初始位置包括步骤：

S41、利用步骤S3从灰度图像中提取的LBP纹理特征作为相对应的一个回归函数的输入，计算在线目标在X轴上的位置；

S42、利用步骤S3从深度图像中提取的深度信息作为相对应的另一个回归函数的输入，计算在线目标在Y轴上的位置；

S43、合并步骤S41、S42所得位置，得到在线目标粗定位的初始位置。

上述基于双目摄像头的目标定位方法，进一步地，步骤S5得到精定位的在线目标位置包括步骤：

S51、分析在线目标的机动特性和粗定位结果的误差，选取运动模型构建交互复合模型；

S52、利用连续时间内在线目标位置之间的变化，并利用步骤S51的交互复合模型对粗定位的初始位置进行修正，得到精定位的在线目标位置。

与现有技术相比，本发明具有突出的实质性特点和显著的进步性，其有益效果体现为：该方法充分利用了双目摄像头提供的目标图像的灰度纹理信息和深度信息，使其进行基于位置的回归学习，具有定位成本低，时间开销小，定位精度高的特点。同时利用连续时间内目标位置之间的相关性，构建交互多模型对定位结果进行修正，提高了双目摄像头的定位精度性能。

附图说明

图1为本发明方法的详细流程图。

图2为本发明方法在一个参考位置所获取的灰度图像。

图3为图2所示灰度图像的LBP纹理特征图像。

图4为本发明方法在另一个参考位置所获取的灰度图像。

图5为图4所示灰度图像的LBP纹理特征图像。

图6为本发明方法所构建的交互复合模型进行初始位置修正的流程示意图。

图7为本发明方法的定位环境示意图。

图8为本发明与现有室内定位技术的定位性能比较柱状示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。当然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明创新提出了一种基于双目摄像头的目标定位方法。如图1所示该目标定位方法的详细流程图可见，其概括性的过程描述主体分为离线阶段和在线阶段两部分，其中离线阶段包括步骤：S1、在一个以上给定的参考位置上利用双目摄像头获取离线目标图像，提取得到灰度图像中局部二值的纹理特征（以下后文均简称为LBP纹理特征）和深度信息，并构建基于LBP纹理特征和深度信息的训练数据库；S2、利用支持向量机学习训练数据库中的训练样本，得到关联LBP纹理特征、深度信息的两个回归函数；且在线阶段包括步骤：S3、利用双目摄像头获取在线目标的灰度图像和深度图像，并从灰度图像中提取LBP纹理特征、从深度图像中提取深度信息；S4、利用步骤S2所得两个回归函数对在线目标位置估计，获得粗定位的初始位置；S5、构建交互复合模型，并对粗定位的初始位置修正，得到精定位的在线目标位置。

为更清楚地理解上述方案的可实现性并理解其创新核心，以下分步骤详细阐述。首先从离线阶段来看，如图7所示的定位环境示意图可见，在所述双目摄像头视角范围的场景中设置一定规模和密度参考位置，其中每个参考位置在空间坐标系中均具有已知的X轴坐标和Y轴坐标，且相邻参考位置的间距（即密度）将影响并决定粗定位的精度。因此参考位置的数量越多、密度越大，则有利于形成更丰富的训练数据库，从而有利于之后回归函数生成及在线目标的定位估计。由此，步骤S1构建训练数据库的主要包括如下过程步骤。

S11，当离线目标在给定的一个参考位置时，利用双目摄像头获得离线目标的灰度图像和深度图像。这是几乎所有双目摄像头的相机所易于得到的摄影图像，而本发明该方法的创新特点之一是，它不仅仅利用双目摄像头获得目标图像的深度信息，同时也提出了对目标图像获取灰度纹理特征信息的要求。由此，则S12、对灰度图像提取LBP纹理特征，对深度图像提取深度信息，完成一个参考位置的训练样本的基本信息采集。而后，S13、使离线目标遍历所有参考位置，重复步骤S11、S12，获得对应每个参考位置的LBP纹理特征、深度信息，结合参考位置的位置坐标，构建包含LBP纹理特征和参考位置X轴坐标的第一训练数据库，包含深度信息和参考位置Y轴坐标的第二训练数据库。由此可见，本发明将无论是离线目标还是在线目标的X轴向定位归拢为灰度图像的LBP纹理特征信息，而将该些目标的Y轴向定位归拢为深度图像的深度信息；并且，训练数据库的规模与参考位置设置数量及密度。

以上述两个训练数据库为基础，步骤S2离线回归学习中利用支持向量机（SVM）学习第一训练数据库中的训练样本，得到LBP纹理特征与目标X轴位置信息的对应关系，进而得到基于X轴位置的第一回归函数；同样地，利用支持向量机学习第二训练数据库中的训练样本，得到深度信息与目标Y轴位置信息的对应关系，进而得到基于Y轴位置的第二回归函数。

其次从在线阶段来看，在线目标进入上述双目摄像头视角范围的场景中，其所在位置必然与相邻几个参考位置产生相似性响应。因此，步骤S3利用双目摄像头对在线目标获取灰度图像和深度图像的方法与离线阶段步骤S1相同，故省略赘述。而步骤S4获得粗定位的初始位置包括如下过程步骤。

S41、利用步骤S3从灰度图像中提取的LBP纹理特征作为相对应的一个回归函数的输入（即第一回归函数），计算在线目标在X轴上的位置；同理，S42、利用步骤S3从深度图像中提取的深度信息作为相对应的另一个回归函数的输入，计算在线目标在Y轴上的位置；在得到两轴坐标信息后执行S43、合并步骤S41、S42所得位置，得到在线目标粗定位的初始位置。这个初始位置是通过目标图像的LBP纹理特征信息和深度信息关联求得的。但仍无法达到定位精度要求。为此，本发明利用连续时间内目标位置之间的相关性，引入并结合了交互复合模型对粗定位的初始位置进行修正，提高了双目摄像头的定位性能。具体过程步骤为：S51、分析在线目标的机动特性和粗定位结果的误差，选取运动模型构建交互复合模型；S52、利用连续时间内在线目标位置之间的变化，并利用步骤S51的交互复合模型对粗定位的初始位置进行修正，得到精定位的在线目标位置。

从更具体而细化的实施例细节来看，本发明可选使用小米双目摄像头完成图像采集。相机型号为S系列，摄像头参数为：Replacable Standard M12镜头。当目标位于不同参考位置点位时，以灰度图像为例，图2和图4描述了目标在不同位置的的灰度图像。图3和图5则描述了不同位置下灰度图像的LBP纹理特征的比较。显而易见，当目标位于不同参考位置时，两幅灰度图像的特征存在明显差别，因此可以用于目标定位。然后利用基于二项式核函数的SVM进行离线阶段的回归训练。

在线阶段，利用同样的相机获取目标图像所提取的LBP纹理特征和深度信息，计算目标的初始位置，实现粗定位，并修正得到精定位结果。如图6所示，本发明选取匀速模型（CV），匀加速模型（CA），匀速转弯模型（CT），构建交互复合模型算法进行初始位置修正。

为直观认识本方法对目标定位的技术效果。如图8所示，描述了每个参考位置点取92张灰度和深度图像下的均方根误差和平均定位误差。可以发现，直接的SVM回归学习方法由于没有利用交互复合模型进行位置结果修正，所以定位性能相对较差；而由于本方法利用了CV+CA+CT模型所构建的交互复合模型，定位性能最好。

综上结合实施例及其图示的详细描述可见，本发明较之于现有方案具有突出的实质性特点和显著的进步性，该方法充分利用了双目摄像头提供的目标图像的灰度纹理信息和深度信息，使其进行基于位置的回归学习，具有定位成本低，时间开销小，定位精度高的特点。同时利用连续时间内目标位置之间的相关性，构建交互多模型对定位结果进行修正，提高了双目摄像头的定位精度性能。

Claims (5)

1.在一种基于双目摄像头的目标定位方法，其特征在于：所述目标定位方法分为离线阶段和在现阶段两部分，其中离线阶段包括步骤：

S1、在一个以上给定的参考位置上利用双目摄像头获取离线目标图像，提取得到LBP纹理特征和深度信息，并构建基于LBP纹理特征和深度信息的训练数据库；

S2、利用支持向量机学习训练数据库中的训练样本，得到关联LBP纹理特征、深度信息的两个回归函数；

在线阶段包括步骤：

S3、利用双目摄像头获取在线目标的灰度图像和深度图像，并从灰度图像中提取LBP纹理特征、从深度图像中提取深度信息；

S4、利用步骤S2所得两个回归函数对在线目标位置估计，获得粗定位的初始位置；

S5、选取匀速模型（CV），匀加速模型（CA），匀速转弯模型（CT），构建交互复合模型，并对粗定位的初始位置修正，得到精定位的在线目标位置。

2.根据权利要求1所述基于双目摄像头的目标定位方法，其特征在于：在所述双目摄像头视角范围的场景中密布设置参考位置，步骤S1构建训练数据库的方法包括步骤：

S11，当离线目标在给定的一个参考位置时，利用双目摄像头获得离线目标的灰度图像和深度图像；

S12、对灰度图像提取LBP纹理特征，对深度图像提取深度信息；

S13、使离线目标遍历所有参考位置，重复步骤S11、S12，获得对应每个参考位置的LBP纹理特征、深度信息，结合参考位置的位置坐标，构建包含LBP纹理特征和参考位置X轴坐标的第一训练数据库，包含深度信息和参考位置Y轴坐标的第二训练数据库。

3.根据权利要求2所述基于双目摄像头的目标定位方法，其特征在于：步骤S2中利用支持向量机学习第一训练数据库中的训练样本，得到基于X轴位置的第一回归函数，利用支持向量机学习第二训练数据库中的训练样本，得到基于Y轴位置的第二回归函数。

4.根据权利要求1所述基于双目摄像头的目标定位方法，其特征在于：步骤S4获得粗定位的初始位置包括步骤：

S41、利用步骤S3从灰度图像中提取的LBP纹理特征作为相对应的一个回归函数的输入，计算在线目标在X轴上的位置；

S42、利用步骤S3从深度图像中提取的深度信息作为相对应的另一个回归函数的输入，计算在线目标在Y轴上的位置；

S43、合并步骤S41、S42所得位置，得到在线目标粗定位的初始位置。

5.根据权利要求1所述基于双目摄像头的目标定位方法，其特征在于：步骤S5得到精定位的在线目标位置包括步骤：

S51、分析在线目标的机动特性和粗定位结果的误差，选取运动模型构建交互复合模型；

S52、利用连续时间内在线目标位置之间的变化，并利用步骤S51的交互复合模型对粗定位的初始位置进行修正，得到精定位的在线目标位置。

Images