CN108805987B - 基于深度学习的混合跟踪方法及装置 - Google Patents
基于深度学习的混合跟踪方法及装置 Download PDFInfo
- Publication number
- CN108805987B CN108805987B CN201810491310.6A CN201810491310A CN108805987B CN 108805987 B CN108805987 B CN 108805987B CN 201810491310 A CN201810491310 A CN 201810491310A CN 108805987 B CN108805987 B CN 108805987B
- Authority
- CN
- China
- Prior art keywords
- camera
- pose
- deep learning
- factor
- loop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013135 deep learning Methods 0.000 title claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000005259 measurement Methods 0.000 claims abstract description 30
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 230000003190 augmentative effect Effects 0.000 claims abstract description 12
- 230000003287 optical effect Effects 0.000 claims abstract description 11
- 230000003044 adaptive effect Effects 0.000 claims abstract description 7
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及增强现实技术领域，具体涉及一种基于深度学习的混合跟踪方法及装置。旨在解决在快速运动或在纹理较弱的环境下相机跟踪定位精度低、鲁棒性差的问题，本方法应用于增强现实***，包括：采用视觉‑惯性对齐方法对惯性传感器进行在线初始标定，确定***的初始状态；初始化完成后，获取输入图像，使用深度学习网络获取输入特征图；基于模板特征图和输入特征图，使用Lucas‑Kanade光流法计算输入图像的单应性矩阵，并使用SVD方法计算相机位姿；根据相机位姿以及实时的惯性测量数据，使用视觉‑惯性自适应融合的方法确定相机最终位姿。本发明提高了在快速运动或在纹理较弱的环境下相机跟踪定位的精度、鲁棒性以及实时性。
Description
技术领域
本发明涉及增强现实技术领域，具体涉及一种基于深度学习的混合跟踪方法及装置。
背景技术
增强现实(Augmented Reality,AR)是一种能够增强人们视觉感知的技术，其通过跟踪相机的位置和姿态，将文字、图片、视频、三维模型等虚拟物体实时注册到真实场景恰当位置处，通过虚实融合使得虚拟物体与真实场景之间具有正确的明暗、阴影等光照匹配关系，让用户从感官上确信虚拟物体是其周围场景的组成部分。增强现实技术在科普教育、文化旅游、医疗卫生、工业维修等行业具有广泛的应用前景。
完整的增强现实***由跟踪定位、虚实融合、人机交互和***显示等子***构成，其中跟踪定位是增强现实***的关键技术，决定了其质量和性能，直接影响用户的体验。当前跟踪定位技术的不足主要体现在：特征提取方法在快速运动、弱纹理环境下会失效，导致跟踪丢失；光流法需要处理的数据量较大、实时性差，大多要求设备缓慢运动，确保获得的深度图像清晰；基于IMU的方法受噪声影响较大，累积误差大。由于跟踪定位精度低、鲁棒性弱、实时性差，导致叠加虚拟物体时会出现错误的遮挡关系，严重限制了增强现实技术的应用领域和范围。
发明内容
为了解决现有技术中的上述问题，即为了解决在快速运动或纹理较弱的环境下相机跟踪定位精度低、鲁棒性弱、实时性差的问题，本发明的一方面提出了一种基于深度学习的混合跟踪方法，应用于增强现实***，包括：
步骤1：***初始化时，采用视觉-惯性对齐方法对惯性传感器进行在线标定，并确定***的初始状态；
步骤2：***初始化完成后，获取输入图像，使用深度学习方法对该输入图像进行处理得到输入特征图；
步骤3：基于模板特征图和输入特征图，使用Lucas-Kanade光流法计算输入图像的单应性矩阵，并使用SVD方法计算相机位姿；其中，所述模板特征图为***初始化后第一张图像通过所述深度学习网络提取的图像特征图；
步骤4：根据步骤3计算得出的相机位置和姿态以及实时的惯性测量数据，使用视觉-惯性自适应融合的方法确定相机最终位姿；
其中，确定相机最终位姿基于优化方式求解：
***变量有三种：相机的位姿变量ft、场景的三维点位置ln和相机的内部参数K；影响三种变量的因子有四种：先验因子q、量程因子u、闭环因子c、相机观测因子v，设***t时刻的状态Ft如公式(6)所示：
Ft＝{f1…ft,l1…ln,K} (6)
其中，f1…ft表示相机各个时刻的位姿参数，l1…ln表示识别出的场景特征点的三维坐标，K表示相机内部参数；
量程因子u连接相邻的两个相机位姿，由惯性数据计算得到；
测量模型
表示为公式(7)：
其中，hu(·)为运动模型，表示第i时刻相机位姿与第i+1时刻相机位姿之间的关系，由于测量误差的存在，假定误差服从高斯分布，记为∈u，矩阵形式为Ωu，符号
表示将误差应用于测量模型中的各个分量；
闭环因子c连接的是具有闭环关系的两个相机位姿变量，与量程因子类似，闭环测量模型
表示为公式(8)：
其中，hc(·)为闭环模型，表示第i时刻的相机位姿与第j时刻的相机位姿相近，假定闭环模型测量误差矩阵形式为∈c，矩阵形式为Ωc；
相机观测因子v连接了相机内参，相机位姿和三维特征点的位置参数，
相机观测模型
表示为公式(9)：
其中，hv(·)为相机观测模型，与i时刻相机位姿，场景三维点坐标及相机内参有关，假定测量误差为∈v，矩阵形式为Ωv；先验因子q是对***相机初始位姿状态的先验，先验测量模型zq表示为公式(10)：
其中测量误差为∈q，矩阵形式为Ωq；
***t时刻的优化方程如公式(11)所示：
其中，
Q分别表示量程因子、闭环因子、相机观测因子的变量集合域；权重ωu,ωv分别为IMU和相机观测的自适应调整参数。
其中，步骤2中所述模板特征图为***初始化后第一张图像通过所述深度学习方法提取的图像特征图。
步骤2所述深度学习方法为全卷积神经网络，且每个卷积层后包含一个ReLU单元和批标准化单元，其中滤波器大小为5*5。
进一步地，步骤1所述在线标定时，根据图像采样间隔进行线性插值的方法获取惯性传感器数据。
进一步地，步骤1所述***的初始状态，包括在世界坐标系下的重力向量、在各个局部相机坐标系下的***速度及相机测量的尺度参数，从而确定***的初始状态。
进一步地，步骤3中所述Lucas-Kanade光流法为逆向组合法，在该步骤中只需计算一次输入图像的单应性矩阵。
本发明的另一方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于深度学习的混合跟踪方法。
本发明的第三方面，提出了一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
所述程序适于由处理器加载并执行以实现上述的基于深度学习的混合跟踪方法。
本发明以相机图像和惯性传感器数据作为输入，通过深度学习算法提取特征图，并使用Lucas-Kanade光流法计算当前相机位姿，最后使用视觉-惯性自适应融合方法确定相机最终位姿，提高了在快速运动或在纹理较弱的环境下相机跟踪定位的精度、鲁棒性以及实时性。
附图说明
图1是本发明一个实施例的基于深度学习的混合跟踪方法的流程示意图；
图2是本发明一个实施例的视觉-惯性自适应融合***因子图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明提出的基于深度学习的混合跟踪方法，应用于增强现实***，如图1所示，包括：
步骤1：***初始化时，采用视觉-惯性对齐方法对惯性传感器进行在线标定，并确定***的初始状态；
步骤2：***初始化完成后，获取输入图像，使用深度学习网络对该输入图像进行处理得到输入特征图；
步骤3：基于模板特征图和输入特征图，使用Lucas-Kanade光流法计算输入图像的单应性矩阵，并使用SVD方法计算相机位姿；
步骤4：根据步骤3计算得出的相机位置和姿态以及实时的惯性测量数据，使用视觉-惯性自适应融合的方法确定相机最终位姿。
所述深度学习网络为全卷积神经网络，且每个卷积层后包含一个ReLU单元和批标准化单元，其中滤波器大小为5*5。
所述模板特征图为***初始化后第一张图像通过所述深度学习网络提取的图像特征图。
为了更详细的对本发明技术方案进行描述，下面通过4个步骤进行详细说明。
步骤1：***初始化时，采用视觉-惯性对齐方法对惯性传感器进行在线标定，并确定***的初始状态。
惯性传感器的在线标定用于确定***的初始状态，主要依赖于视觉方法计算得出的两个图像帧的相对位移和旋转。初始化时通过视觉方法初始化成功得到相对位姿后，执行视觉-惯性对齐操作，可以得到在世界坐标系下的重力向量，在各个局部相机坐标系下的***速度及相机测量的尺度参数，从而确定***的初始状态。在本发明的一个实施例中，惯性传感器数据将根据图像采样间隔进行线性插值获取。
步骤2：***初始化完成后，获取输入图像，使用深度学习网络对该输入图像进行处理得到输入特征图。
所述深度学习网络为用于生成图像特征图的卷积神经网络，该卷积神经网络为全连接卷积神经网络，其输入层包括256*256个单元，每个卷积层后包含一个ReLU单元和批标准化单元，其中滤波器大小为5*5。
本实施例中的卷积神经网络的损失函数可以采用互熵损失函数，具体如公式(1)所示：
其中，xk为模板图像的像素坐标，zk为模板图像映射到输入图像后的坐标，d为模板图像中的像素数量。
关于学习速率和迭代次数可根据具体情况而定，此处不做特定设置。
步骤3：基于模板特征图和输入特征图，使用Lucas-Kanade光流法计算输入图像的单应性矩阵，并使用SVD(Singular Value Decomposition)方法计算相机位姿。该步骤中Lucas-Kanade光流法为逆向组合法，只需计算一次输入图像的单应性矩阵
定义x1…xk…xN为模板图像中的像素坐标，且xk＝[xk,yk]，输入图像的单应性矩阵采用八参数的单应性矩阵，即p＝(p1,…p8)T，在本实施例中，其3x3矩阵可以表示为式(2)
图像校正函数W(xk；p)是模板图像坐标为xk的像素经过单应性矩阵p变换后，在输入图像中的像素坐标，其定义如式(3)所示：
计算残差向量r，如式(4)所示：
其中，FT(xk)为模板图像中xk像素处的图像亮度，FI(W(x1；p))为输入图像中W(xk；p)像素处的图像亮度。
计算单应性矩阵变化量Δp，如式(5)所示：
Δp＝(JTJ)-1JTr (5)
其中
为图像的雅可比矩阵，这里
为模板图像在xk处的梯度，
为图像校正函数在p为0时的雅可比矩阵。
定义Δp相应的单应性矩阵为HΔ，则
Hp←HpHΔ -1
即可得到更新后输入图像的单应性矩阵，应用SVD分解方法即可得到相应的相机位姿。
步骤4：根据步骤3计算得出的相机位姿以及实时的惯性测量数据，使用视觉-惯性自适应融合的方法确定相机最终位姿。具体地，采用了基于优化的方式进行求解，其中参数可根据***运行状况自适应调整。
***的变量有三种：相机的位姿变量ft、场景的三维点位置ln和相机的内部参数K。影响三中变量的因子有四种：先验因子q、量程因子un(图2中的u1、u2)、闭环因子cn(图2种的c1、c2)、相机观测因子vn(图2中的v1--v4)。假定***t时刻的状态Ft如公式(6)所示:
Ft＝{f1…ft,l1…ln,K} (6)
其中，f1…ft表示相机各个时刻的位姿参数，l1…ln表示识别出的场景特征点的三维坐标，K表示相机内部参数。因子图中量程因子u连接相邻的两个相机位姿，由惯性数据计算得到(惯性信息计算相机的相对运动)，测量模型
表示为公式(7)：
其中，hu(·)为运动模型，表示第i时刻相机位姿与第i+1时刻相机位姿之间的关系，由于测量误差的存在，假定误差服从高斯分布，记为∈u，矩阵形式为Ωu，符号
表示将误差应用于测量模型中的各个分量。
闭环因子c连接的是具有闭环关系的两个相机位姿变量，与量程因子类似，闭环测量模型
表示为公式(8)：
其中，hc(·)为闭环模型，表示第i时刻的相机位姿与第j时刻的相机位姿相近，假定闭环模型测量误差矩阵形式为∈c，矩阵形式为Ωc。
相机观测因子v连接了相机内参，相机位姿和三维特征点的位置参数。尽管相机内参可以提前标定，但这里我们作为一个变量进行优化，因为内参标定存在误差，实际使用中也会受到温度等因素的影响而变化。相机观测模型
表示为公式(9)：
其中hv(·)为相机观测模型，与i时刻相机位姿，场景三维点坐标及相机内参有关，假定测量误差为∈v，矩阵形式为Ωv。
先验因子q是对***相机初始位姿状态的先验，不仅仅是在***初始化进行，在***运行中，由于计算能力的限制，随着时间的累计，不可能实时对所有时刻的数据进行处理，需要按需选择适当的数据量进行处理，因而，定义先验因子可以某一时刻的测量值作为新的测量的开始，提升***的鲁棒性。先验测量模型zq表示为公式(10)：
其中测量误差为∈q，矩阵形式为Ωq。
综合上述信息，***t时刻的优化方程如公式(11)所示:
其中，
Q分别表示量程因子、闭环因子、相机观测因子的变量集合域。ωu,ωv分别为IMU和相机观测的自适应调整参数，根据***运行状况调整IMU与相机的影响权重。权重采用VINS-Mono***紧耦合的方式，由惯性测量与相机测量的互协方差确定。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于深度学习的混合跟踪方法。
本发明实施例的一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于深度学习的混合跟踪方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的关说明，可以参考前述方法实施例中的对应内容，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种基于深度学习的混合跟踪方法，应用于增强现实***，其特征在于，包括：
步骤1：***初始化时，采用视觉-惯性对齐方法对惯性传感器进行在线标定，并确定***的初始状态；
步骤2：***初始化完成后，获取输入图像，使用深度学习网络对该输入图像进行处理得到输入特征图；
步骤3：基于模板特征图和输入特征图，使用Lucas-Kanade光流法计算输入图像的单应性矩阵，并使用SVD方法计算相机位姿；其中，所述模板特征图为***初始化后第一张图像通过所述深度学习网络提取的图像特征图；
步骤4：根据步骤3计算得出的相机位置和姿态以及实时的惯性测量数据，使用视觉-惯性自适应融合的方法确定相机最终位姿；
其中，确定相机最终位姿基于优化方式求解：
***变量有三种：相机的位姿变量ft、场景的三维点位置ln和相机的内部参数K；影响三种变量的因子有四种：先验因子q、量程因子u、闭环因子c、相机观测因子v，设***t时刻的状态Ft如公式(1)所示：
Ft＝{f1…ft，l1…ln，K} (1)
其中，f1…ft表示相机各个时刻的位姿参数，l1…ln表示识别出的场景特征点的三维坐标，K表示相机内部参数；
量程因子u连接相邻的两个相机位姿，由惯性数据计算得到；
测量模型
表示为公式(2)：
其中，hu(·)为运动模型，表示第i时刻相机位姿与第i+1时刻相机位姿之间的关系，由于测量误差的存在，假定误差服从高斯分布，记为∈u，矩阵形式为Ωu，符号
表示将误差应用于测量模型中的各个分量；
闭环因子c连接的是具有闭环关系的两个相机位姿变量，与量程因子类似，闭环测量模型
表示为公式(3)：
其中，hc(·)为闭环模型，表示第i时刻的相机位姿与第j时刻的相机位姿相近，假定闭环模型测量误差矩阵形式为∈c，矩阵形式为Ωc；
相机观测因子v连接了相机内参，相机位姿和三维特征点的位置参数，
相机观测模型
表示为公式(4)：
其中，hv(·)为相机观测模型，与i时刻相机位姿，场景三维点坐标及相机内参有关，假定测量误差为∈v，矩阵形式为Ωv；先验因子q是对***相机初始位姿状态的先验，先验测量模型zq表示为公式(5)：
其中测量误差为∈q，矩阵形式为Ωq；
***t时刻的优化方程如公式(6)所示：
其中，
Q分别表示量程因子、闭环因子、相机观测因子的变量集合域；权重ωu，ωv分别为IMU和相机观测的自适应调整参数。
2.根据权利要求1所述的基于深度学习的混合跟踪方法，其特征在于，所述深度学习网络为全卷积神经网络，且每个卷积层后包含一个ReLU单元和批标准化单元，其中滤波器大小为5*5。
3.根据权利要求1所述的基于深度学习的混合跟踪方法，其特征在于，所述步骤1在线标定时，根据图像采样间隔进行线性插值的方法获取惯性传感器数据。
4.根据权利要求1所述的基于深度学习的混合跟踪方法，其特征在于，所述步骤1中***的初始状态，包括在世界坐标系下的重力向量、在各个局部相机坐标系下的***速度及相机测量的尺度参数。
5.根据权利要求1所述的基于深度学习的混合跟踪方法，其特征在于，步骤3中所述Lucas-Kanade光流法为逆向组合法，在该步骤中只需计算一次输入图像的单应性矩阵。
6.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于深度学习的混合跟踪方法。
7.一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-5任一项所述的基于深度学习的混合跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810491310.6A CN108805987B (zh) | 2018-05-21 | 2018-05-21 | 基于深度学习的混合跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810491310.6A CN108805987B (zh) | 2018-05-21 | 2018-05-21 | 基于深度学习的混合跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805987A CN108805987A (zh) | 2018-11-13 |
| CN108805987B true CN108805987B (zh) | 2021-03-12 |
Family
ID=64091285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810491310.6A Active CN108805987B (zh) | 2018-05-21 | 2018-05-21 | 基于深度学习的混合跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805987B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383282B (zh) * | 2018-12-29 | 2023-12-01 | 杭州海康威视数字技术股份有限公司 | 位姿信息确定方法及装置 |
| CN109798891B (zh) * | 2019-01-25 | 2023-04-28 | 上海交通大学 | 基于高精度动作捕捉***的惯性测量单元标定*** |
| US10955245B2 (en) * | 2019-04-30 | 2021-03-23 | Samsung Electronics Co., Ltd. | System and method for low latency, high performance pose fusion |
| CN110473258B (zh) * | 2019-07-24 | 2022-05-13 | 西北工业大学 | 基于点线统一框架的单目slam***初始化算法 |
| CN110503684A (zh) * | 2019-08-09 | 2019-11-26 | 北京影谱科技股份有限公司 | 相机位姿估计方法和装置 |
| CN111696133B (zh) * | 2020-05-28 | 2022-09-30 | 武汉中海庭数据技术有限公司 | 一种实时目标跟踪方法及*** |
| CN112613526B (zh) * | 2020-12-17 | 2023-09-15 | 厦门大学 | 一种基于光流跟踪的特征匹配方法及*** |
| WO2024063589A1 (en) * | 2022-09-23 | 2024-03-28 | Samsung Electronics Co., Ltd. | System and method for intelligent user localization in metaverse |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106406338A (zh) * | 2016-04-14 | 2017-02-15 | 中山大学 | 一种基于激光测距仪的全向移动机器人的自主导航装置及其方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
| CN106780631B (zh) * | 2017-01-11 | 2020-01-03 | 山东大学 | 一种基于深度学习的机器人闭环检测方法 |
-
2018
- 2018-05-21 CN CN201810491310.6A patent/CN108805987B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106406338A (zh) * | 2016-04-14 | 2017-02-15 | 中山大学 | 一种基于激光测距仪的全向移动机器人的自主导航装置及其方法 |
Non-Patent Citations (3)
| Title |
|---|
| Monocular Visual–Inertial State Estimation With Online;Zhenfei Yang等;《IEEE Transactions on Automation Science and Engineering》;20160429;第14卷(第1期);第39-51页 * |
| VINS-Mono中的VIO紧耦合方案;一索哥传奇;《www.zhehangt.win》;20180424;全文 * |
| 基于视觉的微小型无人直升机位姿估计与目标跟踪研究;徐伟杰;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20130815(第8期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108805987A (zh) | 2018-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805987B (zh) | 基于深度学习的混合跟踪方法及装置 | |
| CN111968235B (zh) | 一种物体姿态估计方法、装置、***和计算机设备 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| US11232591B1 (en) | Hand calibration using single depth camera | |
| CN108062776A (zh) | 相机姿态跟踪方法和装置 | |
| CN108062791A (zh) | 一种重建人脸三维模型的方法和装置 | |
| CN108898628A (zh) | 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质 | |
| Lee et al. | Simultaneous localization, mapping and deblurring | |
| CN111401266B (zh) | 绘本角点定位的方法、设备、计算机设备和可读存储介质 | |
| US10706584B1 (en) | Hand tracking using a passive camera system | |
| CN108364319A (zh) | 尺度确定方法、装置、存储介质及设备 | |
| CN109615664B (zh) | 一种用于光学透视增强现实显示器的标定方法与设备 | |
| CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
| CN110648274B (zh) | 鱼眼图像的生成方法及装置 | |
| CN113011401B (zh) | 人脸图像姿态估计和校正方法、***、介质及电子设备 | |
| Kurz et al. | Handheld augmented reality involving gravity measurements | |
| JP2011085971A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び画像処理システム | |
| CN110443884B (zh) | 手部运动重建方法和装置 | |
| US11049313B2 (en) | Rendering an object | |
| JP2017532695A (ja) | Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム | |
| EP3185212B1 (en) | Dynamic particle filter parameterization | |
| CN106462738A (zh) | 用于构建个人的面部的模型的方法、用于使用这样的模型分析姿态的方法和设备 | |
| CN115830135A (zh) | 一种图像处理方法、装置及电子设备 | |
| WO2020100111A1 (en) | Methods and systems for evaluating the size of a garment | |
| CN115862124B (zh) | 视线估计方法、装置、可读存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |