CN112233252B - 一种基于特征匹配与光流融合的ar目标跟踪方法及*** - Google Patents
一种基于特征匹配与光流融合的ar目标跟踪方法及*** Download PDFInfo
- Publication number
- CN112233252B CN112233252B CN202011149675.4A CN202011149675A CN112233252B CN 112233252 B CN112233252 B CN 112233252B CN 202011149675 A CN202011149675 A CN 202011149675A CN 112233252 B CN112233252 B CN 112233252B
- Authority
- CN
- China
- Prior art keywords
- tracking
- image
- matching
- optical flow
- feature matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 238000009877 rendering Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 19
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于特征匹配与光流融合的AR目标跟踪方法及***,融合特征匹配与光流跟踪,即使在特征缺失情况下,依然能够通过光流法获取稳定的相机位姿,从而实现稳定跟踪,使得AR跟踪鲁棒性显著提高,并且对于运动快以及弱纹理场景依然具有良好的鲁棒性,有效的提升用户体验感。
Description
技术领域
本发明实施例涉及增强现实技术领域,具体涉及一种基于特征匹配与光流融合的AR目标跟踪方法及***。
背景技术
增强现实(Augmented Reality,AR)是一种实时计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界嵌套在现实世界中并进行互动。随着随身电子产品运算能力的提升,其用途将会越来越广。增强现实被广泛应用于教育、医疗、娱乐、金融、电商、汽车等领域。但是目前市面上的AR应用程序依然存在鲁棒性不高,对于弱纹理以及运动过快场景容易跟踪丢失等问题,影响用户体验。
发明内容
为此,本发明实施例提供一种基于特征匹配与光流融合的AR目标跟踪方法方法及***,以解决现有AR应用程序存在的鲁棒性不高,对于弱纹理以及运动过快场景容易跟踪丢失,影响用户体验的问题。
为了实现上述目的,本发明实施例提供如下技术方案:
根据本发明实施例的第一方面,提出了一种基于特征匹配与光流融合的AR目标跟踪方法,所述方法包括:
选取AR渲染目标图像作为渲染模板图像;
对获取的视频帧序列图像进行特征检测;
将每一个视频帧图像与所述模板图像进行特征匹配;
若特征匹配成功,则在完成跟踪初始化后进行目标跟踪并估计相机位姿;
若出现检测到模板区域太小或弱纹理,或者运动过快导致特征匹配失败,则从当前视频帧图像提取Harris角点同时进行光流跟踪;
若跟踪丢失,则输入下一帧图像数据进行特征检测和匹配,若跟踪成功,则继续保持跟踪模式,然后进行相机位姿估计;
根据估算出的相机位姿在Mask上进行实时渲染。
进一步地,对获取的视频帧序列图像进行特征检测,具体包括:
采用ORB算法对获取的视频帧序列图像进行特征检测。
进一步地,将每一个视频帧图像与所述模板图像进行特征匹配,具体包括:
检测出当前视频帧图像的ORB特征点以及模板图像ORB特征点之后,利用Hamming距离对两者之间的BRIEF描述子进行匹配,然后遍历最大Hamming距离与最小Hamming距离结合RANSAC对误差较大的点进行滤除。
进一步地,若特征匹配成功,则在完成跟踪初始化后进行目标跟踪并估计相机位姿,具体包括:
对于每一个图像匹配对,计算对极几何,估计H矩阵并通过SVD分解计算相机位姿。
根据本发明实施例的第二方面,提出了一种基于特征匹配与光流融合的AR目标跟踪***,所述***包括:
模板匹配模块,用于选取AR渲染目标图像作为渲染模板图像;
对获取的视频帧序列图像进行特征检测;
将每一个视频帧图像与所述模板图像进行特征匹配;
目标跟踪模块,用于若特征匹配成功,则在完成跟踪初始化后进行目标跟踪并估计相机位姿;
若出现检测到模板区域太小或弱纹理,或者运动过快导致特征匹配失败,则从当前视频帧图像提取Harris角点同时进行光流跟踪;
若跟踪丢失,则输入下一帧图像数据进行特征检测和匹配,若跟踪成功则继续保持跟踪模式,然后进行相机位姿估计;
渲染模块,用于根据估算出的相机位姿在Mask上进行实时渲染。
根据本发明实施例的第三方面,提出了一种计算机存储介质,所述计算机存储介质中包含一个或多个程序指令,所述一个或多个程序指令用于被一种基于特征匹配与光流融合的AR目标跟踪***执行如上所述的一种基于特征匹配与光流融合的AR目标跟踪方法。
本发明实施例具有如下优点:
本发明实施例提出的一种基于特征匹配与光流融合的AR目标跟踪方法,融合特征匹配与光流跟踪,即使在特征缺失情况下,依然能够通过光流法获取稳定的相机位姿,从而实现稳定跟踪,使得AR跟踪鲁棒性显著提高,并且对于运动快以及弱纹理场景依然具有良好的鲁棒性,有效的提升用户体验感。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例1提供的一种基于特征匹配与光流融合的AR目标跟踪方法的流程示意图;
图2为本发明实施例1提供的一种基于特征匹配与光流融合的AR目标跟踪方法的算法流程图;
图3为本发明实施例1提供的一种基于特征匹配与光流融合的AR目标跟踪***的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例1提出了一种基于特征匹配与光流融合的AR目标跟踪方法,如图1所示,该方法包括以下步骤:
S110、选取AR渲染目标图像作为渲染Mask(图片掩膜)模板图像。
S120、对获取的视频帧序列图像进行特征检测。
进一步地,对获取的视频帧序列图像进行特征检测,具体包括:采用ORB算法对获取的视频帧序列图像进行特征检测。ORB算法在效率与准确度综合评估是最好的,算法首先检测Oriented FAST角点位置,根据坐标计算BRIEF描述子。BRIEF描述子是一种二进制描述子,其描述向量由许多个0和1组成,这里的0和1编码了关键点附近两个随机像素的大小关系。同时ORB在提取关键点阶段计算了关键点的方向,所以可以利用方向信息。计算之后的ORB的描述子就具有良好的旋转不变性。
S130、将每一个视频帧图像与模板图像进行特征匹配。
一旦每个图片的特征点被提出来以后,就需要进行模板图片与视频序列之间进行特征匹配,特征匹配实际是建立两者之间的数据关联。将每一个视频帧图像与模板图像进行特征匹配,具体包括:
检测出当前视频帧图像的ORB特征点以及模板图像ORB特征点之后,利用Hamming距离对两者之间的BRIEF描述子进行匹配,然后遍历最大Hamming距离与最小Hamming距离结合RANSAC对误差较大的点进行滤除。
通过视频提取ORB特征,并且将视频帧信息与AR渲染目标进行模板匹配,直到特征匹配成功。
S140、若特征匹配成功,则在对跟踪模块完成跟踪初始化后进行目标跟踪并估计相机位姿。
对于每一个图像匹配对,计算对极几何,估计H矩阵并通过SVD分解计算相机位姿。
S150、特征匹配的同时进行Mask检测,若出现检测到模板区域太小或弱纹理,或者运动过快导致特征匹配失败,则从当前视频帧图像提取Harris角点同时进行光流跟踪。
光流(optical flow)是目标、场景或摄像机在连续两帧图像间运动造成的目标的运动。它是图像在运动过程中的二维矢量场,是通过二维图像来表示物体点三维运动的速度场,反应微小时间间隔内由于运动形成的图像变化,以确定点上的运动方向和运动速率,光流提供了恢复运动的线索,而AR目标跟踪的实质即是准确对相机运动进行估计与恢复。
S160、若跟踪丢失,则输入下一帧图像数据进行特征检测和匹配,若跟踪成功,则继续保持跟踪模式,然后进行相机位姿估计。
S170、根据估算出的相机位姿在Mask上进行实时渲染。
具体的算法流程过程参考如图2所示。
本发明实施例1提出的一种基于特征匹配与光流融合的AR目标跟踪方法,融合特征匹配与光流跟踪,即使在特征缺失情况下,依然能够通过光流法获取稳定的相机位姿,从而实现稳定跟踪,使得AR跟踪鲁棒性显著提高,并且对于运动快以及弱纹理场景依然具有良好的鲁棒性,有效的提升用户体验感。
与上述实施例1相对应的,本发明实施例2提出了一种基于特征匹配与光流融合的AR目标跟踪***,如图3所示,该***包括:
模板匹配模块210,用于选取AR渲染目标图像作为渲染模板图像;
对获取的视频帧序列图像进行特征检测;
将每一个视频帧图像与模板图像进行特征匹配;
目标跟踪模块220,用于若特征匹配成功,则在完成跟踪初始化后进行目标跟踪并估计相机位姿;
若出现检测到模板区域太小或弱纹理,或者运动过快导致特征匹配失败,则从当前视频帧图像提取Harris角点同时进行光流跟踪;
若跟踪丢失,则输入下一帧图像数据进行特征检测和匹配,若跟踪成功则继续保持跟踪模式,然后进行相机位姿估计;
渲染模块230,用于根据估算出的相机位姿在Mask上进行实时渲染。
本发明实施例提供的一种基于特征匹配与光流融合的AR目标跟踪***中各模块所执行的功能均已在上述实施例1中做了详细介绍,因此这里不做过多赘述。
本发明实施例2提出的一种基于特征匹配与光流融合的AR目标跟踪***,融合特征匹配与光流跟踪,即使在特征缺失情况下,依然能够通过光流法获取稳定的相机位姿,从而实现稳定跟踪,使得AR跟踪鲁棒性显著提高,并且对于运动快以及弱纹理场景依然具有良好的鲁棒性,有效的提升用户体验感。
本发明实施例3提出了一种计算机存储介质,计算机存储介质中包含一个或多个程序指令,一个或多个程序指令用于被一种基于特征匹配与光流融合的AR目标跟踪***执行如上的一种基于特征匹配与光流融合的AR目标跟踪方法。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (6)
1.一种基于特征匹配与光流融合的AR目标跟踪方法,其特征在于,所述方法包括:
选取AR渲染目标图像作为渲染模板图像;
对获取的视频帧序列图像进行特征检测;
将每一个视频帧图像与所述模板图像进行特征匹配;
若特征匹配成功,则在完成跟踪初始化后进行目标跟踪并估计相机位姿;
若出现检测到模板区域太小或弱纹理,或者运动过快导致特征匹配失败,则从当前视频帧图像提取Harris角点同时进行光流跟踪;
若跟踪丢失,则输入下一帧图像数据进行特征检测和匹配,若跟踪成功,则继续保持跟踪模式,然后进行相机位姿估计;
根据估算出的相机位姿在Mask上进行实时渲染。
2.根据权利要求1所述的一种基于特征匹配与光流融合的AR目标跟踪方法,其特征在于,对获取的视频帧序列图像进行特征检测,具体包括:
采用ORB算法对获取的视频帧序列图像进行特征检测。
3.根据权利要求2所述的一种基于特征匹配与光流融合的AR目标跟踪方法,其特征在于,将每一个视频帧图像与所述模板图像进行特征匹配,具体包括:
检测出当前视频帧图像的ORB特征点以及模板图像ORB特征点之后,利用Hamming距离对两者之间的BRIEF描述子进行匹配,然后遍历最大Hamming距离与最小Hamming距离结合RANSAC对误差较大的点进行滤除。
4.根据权利要求2所述的一种基于特征匹配与光流融合的AR目标跟踪方法,其特征在于,若特征匹配成功,则在完成跟踪初始化后进行目标跟踪并估计相机位姿,具体包括:
对于每一个图像匹配对,计算对极几何,估计H矩阵并通过SVD分解计算相机位姿。
5.一种基于特征匹配与光流融合的AR目标跟踪***,其特征在于,所述***包括:
模板匹配模块,用于选取AR渲染目标图像作为渲染模板图像;
对获取的视频帧序列图像进行特征检测;
将每一个视频帧图像与所述模板图像进行特征匹配;
目标跟踪模块,用于若特征匹配成功,则在完成跟踪初始化后进行目标跟踪并估计相机位姿;
若出现检测到模板区域太小或弱纹理,或者运动过快导致特征匹配失败,则从当前视频帧图像提取Harris角点同时进行光流跟踪;
若跟踪丢失,则输入下一帧图像数据进行特征检测和匹配,若跟踪成功则继续保持跟踪模式,然后进行相机位姿估计;
渲染模块,用于根据估算出的相机位姿在Mask上进行实时渲染。
6.一种计算机存储介质,其特征在于,所述计算机存储介质中包含一个或多个程序指令,所述一个或多个程序指令用于被一种基于特征匹配与光流融合的AR目标跟踪***执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011149675.4A CN112233252B (zh) | 2020-10-23 | 2020-10-23 | 一种基于特征匹配与光流融合的ar目标跟踪方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011149675.4A CN112233252B (zh) | 2020-10-23 | 2020-10-23 | 一种基于特征匹配与光流融合的ar目标跟踪方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112233252A CN112233252A (zh) | 2021-01-15 |
CN112233252B true CN112233252B (zh) | 2024-02-13 |
Family
ID=74110326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011149675.4A Active CN112233252B (zh) | 2020-10-23 | 2020-10-23 | 一种基于特征匹配与光流融合的ar目标跟踪方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112233252B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112887793B (zh) * | 2021-01-25 | 2023-06-13 | 脸萌有限公司 | 视频处理方法、显示设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102821323A (zh) * | 2012-08-01 | 2012-12-12 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、***及移动终端 |
CN104050475A (zh) * | 2014-06-19 | 2014-09-17 | 樊晓东 | 基于图像特征匹配的增强现实的***和方法 |
CN106204660A (zh) * | 2016-07-26 | 2016-12-07 | 华中科技大学 | 一种基于特征匹配的地面目标跟踪装置 |
WO2017000466A1 (zh) * | 2015-07-01 | 2017-01-05 | 中国矿业大学 | 一种基于光流法的运动目标跟踪方法及*** |
WO2019057197A1 (zh) * | 2017-09-25 | 2019-03-28 | 北京金山云网络技术有限公司 | 运动目标的视觉跟踪方法、装置、电子设备及存储介质 |
CN109636852A (zh) * | 2018-11-23 | 2019-04-16 | 浙江工业大学 | 一种单目slam初始化方法 |
WO2019205865A1 (zh) * | 2018-04-27 | 2019-10-31 | 腾讯科技(深圳)有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
CN111696133A (zh) * | 2020-05-28 | 2020-09-22 | 武汉中海庭数据技术有限公司 | 一种实时目标跟踪方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10535160B2 (en) * | 2017-07-24 | 2020-01-14 | Visom Technology, Inc. | Markerless augmented reality (AR) system |
-
2020
- 2020-10-23 CN CN202011149675.4A patent/CN112233252B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102821323A (zh) * | 2012-08-01 | 2012-12-12 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、***及移动终端 |
CN104050475A (zh) * | 2014-06-19 | 2014-09-17 | 樊晓东 | 基于图像特征匹配的增强现实的***和方法 |
WO2017000466A1 (zh) * | 2015-07-01 | 2017-01-05 | 中国矿业大学 | 一种基于光流法的运动目标跟踪方法及*** |
CN106204660A (zh) * | 2016-07-26 | 2016-12-07 | 华中科技大学 | 一种基于特征匹配的地面目标跟踪装置 |
WO2019057197A1 (zh) * | 2017-09-25 | 2019-03-28 | 北京金山云网络技术有限公司 | 运动目标的视觉跟踪方法、装置、电子设备及存储介质 |
WO2019205865A1 (zh) * | 2018-04-27 | 2019-10-31 | 腾讯科技(深圳)有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
CN109636852A (zh) * | 2018-11-23 | 2019-04-16 | 浙江工业大学 | 一种单目slam初始化方法 |
CN111696133A (zh) * | 2020-05-28 | 2020-09-22 | 武汉中海庭数据技术有限公司 | 一种实时目标跟踪方法及*** |
Non-Patent Citations (3)
Title |
---|
一种基于自然纹理特征的增强现实跟踪算法;康波;任鹏;;***工程与电子技术(第10期);202-206 * |
一种鲁棒的目标跟踪方法;贾伟;孙伟;李大健;;光子学报(第10期);1230-1235 * |
基于特征匹配的快速鲁棒数字稳像;谢征;崔少辉;李金伦;;应用光学(第06期);893-899 * |
Also Published As
Publication number | Publication date |
---|---|
CN112233252A (zh) | 2021-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11838606B2 (en) | Methods and systems for large-scale determination of RGBD camera poses | |
JP6464934B2 (ja) | カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム | |
EP3182373B1 (en) | Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm | |
Del Bue et al. | Non-rigid metric shape and motion recovery from uncalibrated images using priors | |
EP2614487B1 (en) | Online reference generation and tracking for multi-user augmented reality | |
US10033985B2 (en) | Camera pose estimation apparatus and method for augmented reality imaging | |
EP1960970B1 (en) | Stereo video for gaming | |
CN108629843B (zh) | 一种实现增强现实的方法及设备 | |
CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN107329962B (zh) | 图像检索数据库生成方法、增强现实的方法及装置 | |
CN111951325B (zh) | 位姿跟踪方法、位姿跟踪装置及电子设备 | |
CN113689503B (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
CN112819892B (zh) | 图像处理方法和装置 | |
CN111275734A (zh) | 物体辨识与追踪***及其方法 | |
CN112233252B (zh) | 一种基于特征匹配与光流融合的ar目标跟踪方法及*** | |
Sweeney et al. | Structure from motion for panorama-style videos | |
CN110009683B (zh) | 基于MaskRCNN的实时平面上物体检测方法 | |
Xu et al. | Multi-scale voxel hashing and efficient 3D representation for mobile augmented reality | |
CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
Simon et al. | Computer vision methods for registration: Mixing 3d knowledge and 2d correspondences for accurate image composition | |
CN111260544B (zh) | 数据处理方法及装置、电子设备和计算机存储介质 | |
Hamidia et al. | Markerless tracking using interest window for augmented reality applications | |
CN114608558A (zh) | 基于特征匹配网络的slam方法、***、设备及存储介质 | |
KR101844367B1 (ko) | 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치 | |
Álvarez et al. | A new marker design for a robust marker tracking system against occlusions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |