CN113781525B - 一种基于原始cad模型的三维目标跟踪方法 - Google Patents

一种基于原始cad模型的三维目标跟踪方法 Download PDF

Info

Publication number
CN113781525B
CN113781525B CN202111071471.8A CN202111071471A CN113781525B CN 113781525 B CN113781525 B CN 113781525B CN 202111071471 A CN202111071471 A CN 202111071471A CN 113781525 B CN113781525 B CN 113781525B
Authority
CN
China
Prior art keywords
model
point
tracking
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111071471.8A
Other languages
English (en)
Other versions
CN113781525A (zh
Inventor
董飞
马源源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Railway Institute
Original Assignee
Shaanxi Railway Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Railway Institute filed Critical Shaanxi Railway Institute
Priority to CN202111071471.8A priority Critical patent/CN113781525B/zh
Publication of CN113781525A publication Critical patent/CN113781525A/zh
Application granted granted Critical
Publication of CN113781525B publication Critical patent/CN113781525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于原始CAD模型的三维目标跟踪算法研究，包括建立VISP、CAO格式模型建立、三维目标跟踪、投影边缘的距离计算、三维模型与目标对准、KLT的目标跟踪算法、点线协同的目标跟踪。本发明涉及CAD模型技术领域，该基于原始CAD模型的三维目标跟踪算法研究，通过对传统基于CAD模型的三维目标跟踪算法难以处理复杂模型的实时跟踪问题，提出了一种基于替代模型的跟踪方法，该方法的核心是对原始CAD模型进行简化，同时尽可能保留关键结构信息，但当钝角边缘构成对象边界时也会保留，实验证明，本文基于简化的CAD模型能够实现对复杂对象实时、准确、高效的跟踪，从而为实时注册提供准确的定位信息。

Description

一种基于原始CAD模型的三维目标跟踪方法
技术领域
本发明涉及CAD模型技术领域，具体为一种基于原始CAD模型的三维目标跟踪方法。
背景技术
增强现实技术在现代生活中的应用不断普及，包括工业、军事、医疗等领域都有广泛的应用，甚至在近两年观看的春晚节目中也频频出现，因此，增强现实技术在现代生活中起着越来越重要的作用，不断改变着日常的生活。
然而目前的CAD模型的三维目标跟踪方法在实际应用过程中，无法真实对场景中三维目标实时准确的跟踪，在缺少特征的环境中对目标进行跟踪，就需要用到人为设计的基准标志，十分的麻烦。
发明内容
针对现有技术的不足，本发明提供了一种基于原始CAD模型的三维目标跟踪方法，解决了CAD模型的三维目标跟踪方法在实际应用过程中，无法真实对场景中三维目标实时准确的跟踪，在缺少特征的环境中对目标进行跟踪，就需要用到人为设计的基准标志，十分麻烦的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种基于原始CAD模型的三维目标跟踪方法，包括其研究方法包括以下步骤：
S1、建立VISP：建立VISP平台，使其实现对实时图像进行处理和计算机视觉算法进行跟踪，在使用校准摄像机的同时，利用能够提供对象3D位置信息的CAD模型先验知识进行无标记的目标跟踪；
S2、CAO格式模型建立：选择CAO格式，分别对规则图形和不规则图形进行CAO格式建模，在对不规则图形建模时，将模型以索引三角网格为储存格式，实现模型有效网格表示，对于三角网格中的每个三角形都会与其相邻的其他三角形共享边，三角网格所要存储的信息包括顶点、边和面的信息；
S3、三维目标跟踪：对边缘特征进行检测，根据前一帧的目标位置来计算模型边缘在当前帧的图像空间中可见边缘的投影直线，计算方法是根据模型节点的投影求直线坐标的方程参数，第二步是沿投影直线方向采样，设置采样步长，求取采样点像素坐标，根据每一个采样点像素坐标及直线角度参数，选取边缘检测的单元；
S4、投影边缘的距离计算：将图像空间特征变化变换到笛卡尔坐标中，变换关系是利用点到直线距离的交互矩阵来表达的，此处，交互矩阵就是能够获取目标在三维空间平移及旋转方向的速度与图像空间坐标变化速度的关系矩阵，给定相机坐标系点P(xc，yc，zr)，与其对应的平面投影点为p(x，y)，根据投影关系求导可得：
交互矩阵是利用相机内参及深度信息进行估计的，图像空间直线参数方程x cosθ+y sinθ-ρ＝0，式中，θ代表直线和图像坐标系u轴的夹角，ρ是点到直线的距离，空间直线所在的平面方程A1xc+B1yc+C1zc+D1＝0，由此可将其对应焦距归一化图像平面的直线投影方程表示为：
Ax+By+C＝1/zc (3.2)
式中A＝-A1/D1，B＝-B1/D1，C＝-C1/D1，直线极坐标方程求导得
ρ′+(x sinθ-y cosθ)θ′＝x′cosθ+y′sinθ (3.3)
由式(3.1)、(3.2)、(3.3)能够得到
式中λρ＝-Aρcosθ-Bρsinθ-C，λθ＝-A sinθ+B cosθ，即直线的交互矩阵为：
点到直线的距离可以根据图像坐标点到斜率相等的两条直线的距离差求出，点(xd，yd)到直线(ρ，θ)的距离可表达为
σ1＝ρ-ρd1＝ρ-xd1 cosθ+yd1 sinθ (3.6)
对上式求导得
d1′＝ρ′-(xd1 cosθ+yd1 sinθ)θ′＝ρ′-αθ′ (3.7)
式中α＝xd1 cosθ+yd1 sinθ，根据直线交互矩阵得点到直线的交互矩阵Ld1＝Lρ-αLθ，表示为
式中λd1＝λρ+θλθ，用边缘点到对应模型投影直线之间的距离表示每个跟踪单元中的图像特征，当目标中存在多个跟踪单元时，应融合目标全部的图像特征，构造***的交互矩阵，完成将所有可见模型投影边缘收敛于图像边缘点，***的交互矩阵表示为
Ls＝[L1 L2 ... Lm] (3.9)
跟踪单元特征的交互矩阵表示为
式中，矩阵中的行数表示模型投影边缘采样的特征单元个数，列数表示模型在笛卡尔空间上自由度的个数，使用伪逆将图像空间特征偏差变换为模型速度变化：
式中，是交互矩阵的伪逆，vx，vy，vz，wx，wy，wz代表模型在旋转、平移方向的速度，d31 d32 ... d3m即为目标边缘点到对应模型可见投影边缘的距离；
S5、三维模型与目标对准：使模型与目标间的距离收敛到零的过程，本文使用带权重的最小二乘法，在图像空间创建表示目标边缘与模型投影特征之间偏差的目标函数，函数如下：
S6、KLT的目标跟踪算法：提取图像上的特征点，然后匹配下一帧中的特征点，得到目标在下一帧的位置，核心就是将目标跟踪转化为特征点的跟踪：
A、Harris特征点提取算法：
将图像窗口平移[u，v]，产生的灰度变化E(u，v)，则
式中，w(x，y)为窗口函数，I(x，y)为图像灰度，I(x+u，y+v)为平移后的图像灰度，利用泰勒级数对式(3.16)进行简化得
式中对窗口中每一个像素在x及y方向上的梯度Ix和Iy进行统计分析即可求得M，再利用M来计算每个像素的角点响应函数R：
R＝detM-k(traceM)2 (3.18)
式中，det M＝λ1λ2，traceM＝λ1λ2，在矩阵R中，某点同时满足R(i，j)＝det(M)-Ktrace2(M)＞T且R(i，j)是区域内局部极大值时，该点被认为是角点，其中，K的取值范围为0.04～0.06，T为阈值，检测过程中将低于该阈值的R设为0；
B、KLT匹配算法理论：
I(x，y，t+τ)＝I(x-Δx，y-Δy，t) (3.19)
给定两幅图像I和J，定义能够使SSD最小化d，SSD是Sum of Squared intensityDifference，此处用ε表示，则有：
式中，W为给定的特征窗口，w(X)为加权函数，d＝(Δx，Δy)为点X(x，y)的运动偏移量，由于d远小于X，则可将J(X+d)进行泰勒展开，再结合式(3.20)对d求导可得：
Zd2＝e (3.21)
式中，g为展开的一阶泰勒系数，对每一个点通过(3.21)式进行牛顿迭代，当迭代结果达到要求精度时就实现了图像点的跟踪，即找到了最优匹配，最终解为：
其中，d2为特征窗口中心的平移量，d2k为第k次牛顿迭代法所得的d2的值，在迭代计算时本文将初始迭代值设为0，当目标移动速度较慢时其相对的帧间位移也小，利用上述KLT匹配算法可以在降低匹配搜索范围的同时达到很高的匹配精度，但当目标运动过快时帧间位移也大，根据匹配获取的特征点对的可靠性也会下降，此时，若匹配窗口选的小，会有漏匹配，若匹配窗口选的大，会影响匹配精度，解决方法是对KLT匹配算法进行分层迭代，分层迭代匹配方法是通过高斯金字塔分解来实现的，操作步骤是对图像I及J进行精度递减的L层金字塔分解，得到Il和Jl，l的取值范围为l＝0，1，2，...，L，(1)令l＝L，初始化(2)令n＝n+1，在Il和Jl上由式(3.22)求得/>再判断迭代的次数是否执行完或者/>的精度是否已经满足要求，只要满足条件之一就执行下一步，否则重复执行第(2)步；(3)当l＝0时，迭代结束，即/>否则令/> 返回到步骤(2)进行计算，分层迭代过程中选择小的搜索窗口，然后从高层到底层不断迭代，直到最低层为止，从而提高目标作快速移动时的点对匹配精度；
S7、点线协同的目标跟踪：将基于纹理信息的相机位移估计集成在基于边缘特征的相机姿态计算过程中。
优选的，所述步骤S1中，VISP平台所提供的可用资源是三种基于模型的无标记***，分别为基于边缘信息的模型***，基于KLT关键点信息的模型***，以及基于点线协同的目标***。
优选的，所述步骤S3中，边缘检测算子根据直线的角度来确定。
优选的，所述步骤S3中，在进行边缘检测算子时，每一个采样单元在沿着直线的法线方向以及设置的像素搜索范围内进行搜索，计算每一个检测单元法线方向像素卷积最大值，从而求解出相应的像素坐标，如此，下一帧也利用求取边缘像素点坐标，不断循环直至跟踪结束。
优选的，所述步骤S5中，式中，ρ1表示鲁棒性估计参数，Mi是当前模型的投影矩阵，N是边缘跟踪特征个数，K是相机内参。
优选的，所述步骤S6中，算法采用Harris算子提取特征点并结合最优估计的KLT匹配算法来实现跟踪，跟踪过程中包括KLT***的重新初始化过程，重新初始化的标准是比较当前跟踪的特征点数目占初始检测到的特征数目的比例。
优选的，所述步骤S6的A中，Harris角点检测算法思路是在图像上设置一个局部检测窗口，当窗口沿任意方向移动都会引起灰度很大变化时，中心像素点就是检测到的角点。
优选的，所述步骤S6的B中，KLT跟踪算法的核心思想是以待跟踪窗口在视频图像帧间的灰度差平方和作为度量的，具体是操作是先给定一个包含特征纹理信息的窗口W，然后用平移模型来描述特征窗口内像素点的变化，令t时刻的图像帧为I(x,y,t)，t+τ时刻的图像帧为I(x,y,t+τ)。
优选的，所述步骤S6的B中，根据匹配得到的关键点位置信息然后结合CAD模型的信息确定目标的最优位置和形状即可实现三维目标的跟踪。
优选的，所述步骤S7中，点线协同的目标跟踪是通过最小化非线性标准来实现的。
有益效果
本发明提供了一种基于原始CAD模型的三维目标跟踪方法，与现有技术相比具备以下有益效果：
基于原始CAD模型的三维目标跟踪方法，通过对传统基于CAD模型的三维目标跟踪方法难以处理复杂模型的实时跟踪问题，提出了一种基于替代模型的跟踪方法，核心是对原始CAD模型进行简化，同时尽可能保留关键结构信息，简化过程对原始模型多边形网格结构进行突出边缘检测，检测的标准是保留锐角边缘，但当钝角边缘构成对象边界时也会保留，实验证明，本文基于简化的CAD模型能够实现对复杂对象实时、准确、高效的跟踪，从而为实时注册提供准确的定位信息。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于原始CAD模型的三维目标跟踪方法，包括其研究方法包括以下步骤：
S1、建立VISP：建立VISP平台，使其实现对实时图像进行处理和计算机视觉算法进行跟踪，在使用校准摄像机的同时，利用能够提供对象3D位置信息的CAD模型先验知识进行无标记的目标跟踪；
S2、CAO格式模型建立：选择CAO格式，分别对规则图形和不规则图形进行CAO格式建模，在对不规则图形建模时，将模型以索引三角网格为储存格式，实现模型有效网格表示，对于三角网格中的每个三角形都会与其相邻的其他三角形共享边，三角网格所要存储的信息包括顶点、边和面的信息；
S3、三维目标跟踪：对边缘特征进行检测，根据前一帧的目标位姿来计算模型边缘在当前帧的图像空间中可见边缘的投影直线，计算方法是根据模型节点的投影求直线坐标的方程参数，第二步是沿投影直线方向采样，设置采样步长，求取采样点像素坐标，根据每一个采样点像素坐标及直线角度参数，选取边缘检测的单元；
S4、投影边缘的距离计算：将图像空间特征变化变换到笛卡尔坐标中，变换关系是利用点到直线距离的交互矩阵来表达的，此处，交互矩阵就是能够获取目标在三维空间平移及旋转方向的速度与图像空间坐标变化速度的关系矩阵，给定相机坐标系点P(xc,yc,zc)，与其对应的平面投影点为p(x,y)，根据投影关系求导可得：
交互矩阵是利用相机内参及深度信息进行估计的，图像空间直线参数方程x cosθ+y sinθ-ρ＝0，式中，θ代表直线和图像坐标系u轴的夹角，ρ是点到直线的距离，空间直线所在的平面方程A1xc+B1yc+C1zc+D1＝0，由此可将其对应焦距归一化图像平面的直线投影方程表示为：
Ax+By+C＝1/zc (3.2)
式中A＝-A1/D1，B＝-B1/D1，C＝-C1/D1，直线极坐标方程求导得
ρ′+(x sinθ-y cosθ)θ′＝x′cosθ+y′sinθ (3.3)
由式(3.1)、(3.2)、(3.3)求解可得：
式中λρ＝-Aρcosθ-Bρsinθ-C，λθ＝-A sinθ+B cosθ，即直线的交互矩阵为：
点到直线的距离可以根据图像坐标点到斜率相等的两条直线的距离差求出，点(xd，yd)到直线(ρ，θ)的距离可表达为
d1＝ρ-ρd1＝ρ-xd1 cosθ+yd1 sinθ (3.6)
对上式求导得
d1′＝ρ′-(xd1 cosθ+yd1 sinθ)θ′＝ρ′-αθ′ (3.7)
式中α＝xd1 cosθ+yd1 sinθ，根据直线交互矩阵得点到直线的交互矩阵，Ld1＝Lρ-αLθ表示为
式中λd1＝λρ+θλθ，用边缘点到对应模型投影直线之间的距离表示每个跟踪单元中的图像特征，当目标中存在多个跟踪单元时，应融合目标全部的图像特征，构造***的交互矩阵，完成将所有可见模型投影边缘收敛于图像边缘点，***的交互矩阵表示为
Ls＝[L1 L2 ... Lm] (3.9)
跟踪单元特征的交互矩阵表示为
式中，矩阵中的行数表示模型投影边缘采样的特征单元个数，列数表示模型在笛卡尔空间上自由度的个数，使用伪逆将图像空间特征偏差变换为模型速度变化：
式中，是交互矩阵的伪逆，vx，vy，vz，wx，wy，wx代表模型在旋转、平移方向的速度，d31 d32 ...d3m即为目标边缘点到对应模型可见投影边缘的距离；
S5、三维模型与目标对准：使模型与目标间的距离收敛到零的过程，本文使用带权重的最小二乘法，在图像空间创建表示目标边缘与模型投影特征之间偏差的目标函数，函数如下：
S6、KLT的目标跟踪算法：提取图像上的特征点，然后匹配下一帧中的特征点，得到目标在下一帧的位置，核心就是将目标跟踪转化为特征点的跟踪：
Harris特征点提取算法：
将图像窗口平移[u，v]，产生的灰度变化E(u，v)，则
式中，w(x，y)为窗口函数，I(x，y)为图像灰度，I(x+u，y+v)为平移后的图像灰度，利用泰勒级数对式(3.16)进行简化得
式中对窗口中每一个像素在x及y方向上的梯度Ix和Iy进行统计分析即可求得M，再利用M来计算每个像素的角点响应函数R：
R＝det M-k(traceM)2 (3.18)
式中，det M＝λ1λ2，traceM＝λ1λ2，在矩阵R中，某点同时满足R(i，j)＝det(M)-Ktrace2(M)＞T且R(i，j)是区域内局部极大值时，该点被认为是角点，其中，K的取值范围为0.04～0.06，T为阈值，检测过程中将低于该阈值的R设为0；
KLT匹配算法理论：
I(x，y，t+τ)＝I(x-Δx，y-Δy，t) (3.19)
给定两幅图像I和J，定义能够使SSD最小化d，SSD是
Sum of Squared intensity Difference，此处用ε表示，则有：
式中，W为给定的特征窗口，w(X)为加权函数，d＝(Δx，Δy)为点X(x，y)的运动偏移量，由于d远小于X，则可将J(X+d)进行泰勒展开，再结合式(3.20)对d求导可得：
Zd2＝e (3.21)
式中，g为展开的一阶泰勒系数，对每一个点通过(3.21)式进行牛顿迭代，当迭代结果达到要求精度时就实现了图像点的跟踪，即找到了最优匹配，最终解为：
其中，d2为特征窗口中心的平移量，d2k为第k次牛顿迭代法所得的d2的值，在迭代计算时本文将初始迭代值设为0，当目标移动速度较慢时其相对的帧间位移也小，利用上述KLT匹配算法可以在降低匹配搜索范围的同时达到很高的匹配精度，但当目标运动过快时帧间位移也大，根据匹配获取的特征点对的可靠性也会下降，此时，若匹配窗口选的小，会有漏匹配，若匹配窗口选的大，会影响匹配精度，解决方法是对KLT匹配算法进行分层迭代，分层迭代匹配方法是通过高斯金字塔分解来实现的，操作步骤是对图像I及J进行精度递减的L层金字塔分解，得到Il和Jl，l的取值范围为l＝0，1，2，...，L，(1)令l＝L，初始化n＝0，(2)令n＝n+1，在Il和Jl上由式(3.22)求得/>再判断迭代的次数是否执行完或者的精度是否已经满足要求，只要满足条件之一就执行下一步，否则重复执行第(2)步；(3)当l＝0时迭代结束，即/>否则令/>返回到步骤(2)进行计算，分层迭代过程中选择小的搜索窗口，然后从高层到底层不断迭代，直到最低层为止，从而提高目标作快速移动时的点对匹配精度；
S7、点线协同的目标跟踪：将基于纹理信息的相机位移估计集成在基于边缘特征的相机姿态计算过程中。
本发明实施例中，步骤S1中，VISP平台所提供的可用资源是三种基于模型的无标记***，分别为基于边缘信息的模型***，基于KLT关键点信息的模型***，以及基于点线协同的目标***。
本发明实施例中，步骤S3中，边缘检测算子根据直线的角度来确定。
本发明实施例中，步骤S3中，在进行边缘检测算子时，每一个采样单元在沿着直线的法线方向以及设置的像素搜索范围内进行搜索，计算每一个检测单元法线方向像素卷积最大值，从而求解出相应的像素坐标，如此，下一帧也利用求取边缘像素点坐标，不断循环直至跟踪结束。
本发明实施例中，步骤S5中，式中，ρ1表示鲁棒性估计参数，Mi是当前模型的投影矩阵，N是边缘跟踪特征个数，K是相机内参。
本发明实施例中，步骤S6中，算法采用Harris算子提取特征点并结合最优估计的KLT匹配算法来实现跟踪，跟踪过程中包括KLT***的重新初始化过程，重新初始化的标准是比较当前跟踪的特征点数目占初始检测到的特征数目的比例。
本发明实施例中，步骤S6的A中，Harris角点检测算法思路是在图像上设置一个局部检测窗口，当窗口沿任意方向移动都会引起灰度很大变化时，中心像素点就是检测到的角点。
本发明实施例中，步骤S6的B中，KLT跟踪算法的核心思想是以待跟踪窗口在视频图像帧间的灰度差平方和作为度量的，具体是操作是先给定一个包含特征纹理信息的窗口W，然后用平移模型来描述特征窗口内像素点的变化，令t时刻的图像帧为I(x,y,t)，t+τ时刻的图像帧为I(x,y,t+τ)。
本发明实施例中，步骤S6的B中，根据匹配得到的关键点位置信息然后结合CAD模型的信息确定目标的最优位置和形状即可实现三维目标的跟踪。
本发明实施例中，步骤S7中，点线协同的目标跟踪是通过最小化非线性标准来实现的。
同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (10)

1.一种基于原始CAD模型的三维目标跟踪方法，其特征在于，其跟踪方法包括以下步骤：
S1.建立VISP：建立VISP平台，使其实现对实时图像进行处理和计算机视觉算法进行跟踪，在使用校准摄像机的同时，利用能够提供对象3D位置信息的CAD模型先验知识进行无标记的目标跟踪；
S2.CAO格式模型建立：选择CAO格式，分别对规则图形和不规则图形进行CAO格式建模，在对不规则图形建模时，将模型以索引三角网格为储存格式，实现模型有效网格表示，对于三角网格中的每个三角形都会与其相邻的其他三角形共享边，三角网格所要存储的信息包括顶点、边和面的信息；
S3.三维目标跟踪：对边缘特征进行检测，根据前一帧的目标位置来计算模型边缘在当前帧的图像空间中可见边缘的投影直线，计算方法是根据模型节点的投影求直线坐标的方程参数，第二步是沿投影直线方向采样，设置采样步长，求取采样点像素坐标，根据每一个采样点像素坐标及直线角度参数，选取边缘检测的单元；
S4.投影边缘的距离计算：将图像空间特征变化变换到笛卡尔坐标中，变换关系是利用点到直线距离的交互矩阵来表达的，此处，交互矩阵就是能够获取目标在三维空间平移及旋转方向的速度与图像空间坐标变化速度的关系矩阵，给定相机坐标系点P(xc,yc,zc)，与其对应的平面投影点为p(x,y)，根据投影关系求导可得：
交互矩阵是利用相机内参及深度信息进行估计的，图像空间直线参数方程x cosθ+ysinθ-ρ＝0，式中，θ代表直线和图像坐标系U轴的夹角，ρ是点到直线的距离，空间直线所在的平面方程A1xc+B1yc+C1zc+D1＝0，由此可将其对应焦距归一化图像平面的直线投影方程表示为：
Ax+By+C＝1/zc (3.2)
式中A＝-A1/D1，B＝-B1/D1，C＝-C1/D1，直线极坐标方程求导得：
ρ′+(xsinθ-ycosθ)θ′＝x′cosθ+y′sinθ (3.3)
由式(3.1)、(3.2)、(3.3)求解可得：
式中λρ＝-Aρcosθ-Bρsinθ-C，λθ＝-Asinθ+Bcosθ，即直线的交互矩阵为：
点到直线的距离可以根据图像坐标点到斜率相等的两条直线的距离差求出，点(xd，yd)到直线(ρ，θ)的距离可表达为：
d1＝ρ-ρd1＝ρ-xd1cosθ+yd1sinθ (3.6)
对上式求导得
d1′＝ρ′-(xd1cosθ+yd1sinθ)θ′＝ρ′-αθ′ (3.7)
式中α＝xd1cosθ+yd1sinθ，根据直线交互矩阵得点到直线的交互矩阵Ld1＝Lρ-αLθ，表示为
式中λd1＝λρ+θλθ，用边缘点到对应模型投影直线之间的距离表示每个跟踪单元中的图像特征，当目标中存在多个跟踪单元时，应融合目标全部的图像特征，构造***的交互矩阵，完成将所有可见模型投影边缘收敛于图像边缘点，***的交互矩阵表示为：
Ls＝[L1 L2 ... Lm] (3.9)
跟踪单元特征的交互矩阵表示为：
式中，矩阵中的行数表示模型投影边缘采样的特征单元个数，列数表示模型在笛卡尔空间上自由度的个数，使用伪逆将图像空间特征偏差变换为模型速度变化：
式中，是交互矩阵的伪逆，vx，vy，vz，wx，wy，wz代表模型在旋转、平移方向的速度，d31 d32 ... d3m即为目标边缘点到对应模型可见投影边缘的距离；
S5.三维模型与目标对准：使模型与目标间的距离收敛到零的过程，本文使用带权重的最小二乘法，在图像空间创建表示目标边缘与模型投影特征之间偏差的目标函数，函数如下：
S6.KLT的目标跟踪算法：提取图像上的特征点，然后匹配下一帧中的特征点，得到目标在下一帧的位置，核心就是将目标跟踪转化为特征点的跟踪：
A.Harris特征点提取算法：
将图像窗口平移[u，v]，产生的灰度变化E(u，v)，则
式中，w(x，y)为窗口函数，I(x，y)为图像灰度，I(x+u，y+v)为平移后的图像灰度，利用泰勒级数对式(3.16)进行简化得
式中对窗口中每一个像素在x及y方向上的梯度Ix和Iy进行统计分析即可求得M，再利用M来计算每个像素的角点响应函数R：
R＝det M-k(traceM)2 (3.18)
式中，det M＝λ1λ2，traceM＝λ1λ2，在矩阵R中，，某点同时满足R(i，j)＝det(M)-Ktrace2(M)＞T且R(i，j)是区域内局部极大值时，该点被认为是角点，其中，K的取值范围为0.04～0.06，T为阈值，检测过程中将低于该阈值的R设为0；
B.KLT匹配算法理论：
I(x，y，t+τ)＝I(x-Δx，y-Δy，t) (3.19)
给定两幅图像I和J，定义能够使SSD最小化的d，SSD为Sum of Squared intensityDifference，此处用ε表示，则有：
式中，W为给定的特征窗口，w(X)为加权函数，d＝(Δx，Δy)为点X(x，y)的运动偏移量，由于d远小于X，则可将J(X+d)进行泰勒展开，再结合式(3.20)对d求导可得：
Zd2＝e (3.21)
式中，g为展开的一阶泰勒系数，对每一个点通过(3.21)式进行牛顿迭代，当迭代结果达到要求精度时就实现了图像点的跟踪，即找到了最优匹配，最终解为：
其中，d2为特征窗口中心的平移量，d2k为第k次牛顿迭代法所得的d2的值，在迭代计算时本文将初始迭代值设为0，当目标移动速度较慢时其相对的帧间位移也小，利用上述KLT匹配算法可以在降低匹配搜索范围的同时达到很高的匹配精度，但当目标运动过快时帧间位移也大，根据匹配获取的特征点对的可靠性也会下降，此时，若匹配窗口选的小，会有漏匹配，若匹配窗口选的大，会影响匹配精度，解决方法是对KLT匹配算法进行分层迭代，分层迭代匹配方法是通过高斯金字塔分解来实现的，操作步骤是对图像I及J进行精度递减的L层金字塔分解，得到Il和Jl，l的取值范围为l＝0，1，2，...，L， (1)令l＝L，初始化(2)令n＝n+1，在Il和Jl上由式(3.22)求得/>再判断迭代的次数是否执行完或者/>的精度是否已经满足要求，只要满足条件之一就执行下一步，否则重复执行第(2)步，(3)当l＝0时迭代结束，即/>否则令/>l＝l-1，n＝0返回到步骤(2)进行计算，分层迭代过程中选择小的搜索窗口，然后从高层到底层不断迭代，直到最低层为止，从而提高目标作快速移动时的点对匹配精度；
S7.点线协同的目标跟踪：将基于纹理信息的相机位移估计集成在基于边缘特征的相机姿态计算过程中。
2.根据权利要求1所述的一种基于原始CAD模型的三维目标跟踪方法，其特征在于：所述步骤S1中，VISP平台所提供的可用资源是三种基于模型的无标记***，分别为基于边缘信息的模型***，基于KLT关键点信息的模型***，以及基于点线协同的目标***。
3.根据权利要求1所述的一种基于原始CAD模型的三维目标跟踪方法，其特征在于：所述步骤S3中，边缘检测算子根据直线的角度来确定。
4.根据权利要求1所述的一种基于原始CAD模型的三维目标跟踪方法，其特征在于：所述步骤S3中，在进行边缘检测算子时，每一个采样单元在沿着直线的法线方向以及设置的像素搜索范围内进行搜索，计算每一个检测单元法线方向像素卷积最大值，从而求解出相应的像素坐标，如此，下一帧也利用同样算法求解，不断循环直至跟踪结束。
5.根据权利要求1所述的一种基于原始CAD模型的三维目标跟踪方法，其特征在于：所述步骤S5中，式中，Mi是当前模型的投影矩阵，ρ1表示鲁棒性估计参数，N是边缘跟踪特征个数，K是相机内参。
6.根据权利要求1所述的一种基于原始CAD模型的三维目标跟踪方法，其特征在于：所述步骤S6中，算法采用Harris算子提取特征点并结合最优估计的KLT匹配算法来实现跟踪，跟踪过程中包括KLT***的重新初始化过程，重新初始化的标准是比较当前跟踪的特征点数目占初始检测到的特征数目的比例。
7.根据权利要求1所述的一种基于原始CAD模型的三维目标跟踪方法，其特征在于：所述步骤S6的A中，Harris角点检测算法思路是在图像上设置一个局部检测窗口，当窗口沿任意方向移动都会引起灰度很大变化时，中心像素点就是检测到的角点。
8.根据权利要求1所述的一种基于原始CAD模型的三维目标跟踪方法，其特征在于：所述步骤S6的B中，KLT跟踪算法的核心思想是以待跟踪窗口在视频图像帧间的灰度差平方和作为度量的，具体是操作是先给定一个包含特征纹理信息的窗口W，然后用平移模型来描述特征窗口内像素点的变化，令t时刻的图像帧为I(x,y,t)，t+τ时刻的图像帧为I(x,y,t+τ)。
9.根据权利要求1所述的一种基于原始CAD模型的三维目标跟踪方法，其特征在于：所述步骤S6的B中，根据匹配得到的关键点位置信息然后结合CAD模型的信息确定目标的最优位置和形状即可实现三维目标的跟踪。
10.根据权利要求1所述的一种基于原始CAD模型的三维目标跟踪方法，其特征在于：所述步骤S7中，点线协同的目标跟踪是通过最小化非线性标准来实现的。
CN202111071471.8A 2021-09-13 2021-09-13 一种基于原始cad模型的三维目标跟踪方法 Active CN113781525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111071471.8A CN113781525B (zh) 2021-09-13 2021-09-13 一种基于原始cad模型的三维目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111071471.8A CN113781525B (zh) 2021-09-13 2021-09-13 一种基于原始cad模型的三维目标跟踪方法

Publications (2)

Publication Number Publication Date
CN113781525A CN113781525A (zh) 2021-12-10
CN113781525B true CN113781525B (zh) 2024-01-23

Family

ID=78843253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111071471.8A Active CN113781525B (zh) 2021-09-13 2021-09-13 一种基于原始cad模型的三维目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113781525B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330826B (zh) * 2022-08-11 2024-02-20 创新奇智(青岛)科技有限公司 直线检测方法、装置、电子设备及计算机可读存储介质
CN115891174B (zh) * 2023-01-06 2023-07-14 江苏长脖鹿智造科技有限公司 三维可视化温控3d打印方法及3d打印机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570888A (zh) * 2016-11-10 2017-04-19 河海大学 一种基于fast角点和金字塔klt的目标跟踪方法
CN107038710A (zh) * 2017-02-15 2017-08-11 长安大学 一种以纸张为目标的视觉跟踪算法
CN109712172A (zh) * 2018-12-28 2019-05-03 哈尔滨工业大学 一种初始位姿测量结合目标追踪的位姿测量方法
CN110689573A (zh) * 2019-09-06 2020-01-14 重庆邮电大学 一种基于边缘模型的增强现实无标识跟踪注册方法及装置
CN111127519A (zh) * 2019-12-25 2020-05-08 中国电子科技集团公司信息科学研究院 一种双模型融合的目标跟踪控制***及其方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7379065B2 (ja) * 2019-10-08 2023-11-14 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570888A (zh) * 2016-11-10 2017-04-19 河海大学 一种基于fast角点和金字塔klt的目标跟踪方法
CN107038710A (zh) * 2017-02-15 2017-08-11 长安大学 一种以纸张为目标的视觉跟踪算法
CN109712172A (zh) * 2018-12-28 2019-05-03 哈尔滨工业大学 一种初始位姿测量结合目标追踪的位姿测量方法
CN110689573A (zh) * 2019-09-06 2020-01-14 重庆邮电大学 一种基于边缘模型的增强现实无标识跟踪注册方法及装置
CN111127519A (zh) * 2019-12-25 2020-05-08 中国电子科技集团公司信息科学研究院 一种双模型融合的目标跟踪控制***及其方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object Tracking;Ramin Nabati 等;《2021 IEEE Intelligent Vehicles Symposium Workshops (IV Workshops)》;全文 *
基于改进L-K光流的WebAR信息可视分析方法;裴云强 等;《图学学报》;第41卷(第6期);全文 *
计算机图像处理技术中的分辨率问题研究;董飞 等;《中国高新科技》(第2期);全文 *

Also Published As

Publication number Publication date
CN113781525A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN111561923B (zh) 基于多传感器融合的slam制图方法、***
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
CN107301654B (zh) 一种多传感器的高精度即时定位与建图方法
CN106127739B (zh) 一种结合单目视觉的rgb-d slam方法
CN111076733B (zh) 一种基于视觉与激光slam的机器人室内建图方法及***
US9613420B2 (en) Method for locating a camera and for 3D reconstruction in a partially known environment
CN112258600A (zh) 一种基于视觉与激光雷达的同时定位与地图构建方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、***及应用
CN112902953A (zh) 一种基于slam技术的自主位姿测量方法
WO2019057179A1 (zh) 一种基于点线特征的视觉slam方法和装置
CN113781525B (zh) 一种基于原始cad模型的三维目标跟踪方法
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计***及方法
CN113223045B (zh) 基于动态物体语义分割的视觉与imu传感器融合定位***
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN112927251B (zh) 基于形态学的场景稠密深度图获取方法、***及装置
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN114648584B (zh) 一种用于多源融合定位的鲁棒性控制方法和***
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及***
CN112767481B (zh) 一种基于视觉边缘特征的高精度定位及建图方法
Zhang et al. An overlap-free calibration method for LiDAR-camera platforms based on environmental perception
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及***
CN116894876A (zh) 基于实时图像的6-dof的定位方法
Zhang et al. Lidar odometry and mapping based on two-stage feature extraction
CN116679314A (zh) 融合点云强度的三维激光雷达同步建图与定位方法及***
Li et al. Feature-based SLAM for dense mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant