CN106952312B - 一种基于线特征描述的无标识增强现实注册方法 - Google Patents
一种基于线特征描述的无标识增强现实注册方法 Download PDFInfo
- Publication number
- CN106952312B CN106952312B CN201710142310.0A CN201710142310A CN106952312B CN 106952312 B CN106952312 B CN 106952312B CN 201710142310 A CN201710142310 A CN 201710142310A CN 106952312 B CN106952312 B CN 106952312B
- Authority
- CN
- China
- Prior art keywords
- current frame
- camera
- target
- frame
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20116—Active contour; Active surface; Snakes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于线特征描述的无标识增强现实注册方法,该方法利用颜色差分直方图获取当前帧中兴趣目标所在的局部区域,然后对当前帧中的兴趣目标使用高斯滤波来除去噪声和图像亮度调整;再对区域中目标进行轮廓特征提取,按检测到的线特征提取描述符,进行线特征匹配;再通过当前帧中二维和三维的对应关系计算虚实坐标系变换矩阵,获取采集当前帧的计算摄像机外部参数并确定摄像机位姿;最后根据计算摄像机计算的上一帧得到的计算摄像机外部参数和摄像机位姿以及当前帧中目标的线特征信息更新当前的投影矩阵,进而实现实时注册;该方法缩小了当前帧对于目标所在区域的检测范围,提高了目标检测的效率和虚实物***置匹配的效率。
Description
技术领域
本发明涉及增强现实***领域,更具体地,涉及一种基于线特征描述的无标识增强现实注册方法。
背景技术
近年来,增强现实技术作为一个新的研究领域,是一种在虚拟现实的基础上发展起来的,并通过计算机产生的图像等虚拟信息融合到真实世界中的技术,即对人的视觉***进行景象增强或者扩张,可广泛应用到军事,建筑,医疗,工程,娱乐等领域。在基于视觉的增强现实***中,需具备虚实空间的一致性结合,实时交互性和物体注册三个特点。其中,物体注册技术作为增强现实***中的核心技术,又可分为有标志和无标识注册方法。基于标志的注册方法存在有需要在场景中放置标记,其中放置标记必须是黑色和白色相间的矩形图像,会造成视觉外观的不美观及视觉环境污染,在应用场景上受到较大的局限等问题。无标识注册方法是基于现实世界的对象识别技术,例如可使用在LOGO,广告牌,杂志书籍封面,视频等无需提前预设的场景,基于此,无标识注册方法成为增强现实技术领域中有待深入研究的课题之一。
基于无标识场景的增强现实虚实物体注册过程主要包括特征提取,特征匹配,计算摄像机位姿,物体渲染等方面。目前,传统研究的无标识注册方法主要是对场景中的自然特征进行特征点提取及检测,并跟踪这些特征点,通常每一帧有500个特征点,通过这些自然特征点对摄像机位姿进行估计,把这些特征点的三维坐标投影到观察二维图像的坐标系中,并建立起二维图像平面与三维真实世界中坐标的对应关系,从而实现实时注册。目前,以特征点检测为主的无标记注册方法主要是基于特征不变描述子的方法,该方法利用特征描述子来做局部区域表达,具有旋转不变性等特性,解决目标检测最常用的算法有SIFT、SUFT等。现有传统的检测特征点的无标识注册方法存在诸多问题,主要在于***对视频图像需要全部都检测计算特征点,这使得特征点检测所耗时间很大,另外对成对立体图像的特征点匹配过程较为耗时,难以完全达到实时性的要求。特别地,场景检测到过多的特征点时将增加注册过程的迭代次数和总计算量,特征点在匹配过程中,误差会随着时间的推移而逐渐累加,误匹配容易造成注册结果的失败以及FPS(每秒传输帧数,Frames PerSecond)不流畅等问题。
发明内容
本发明提供一种基于线特征描述的无标识增强现实注册方法,该方法可实现虚实物体快速且精确叠加。
为了达到上述技术效果,本发明的技术方案如下:
一种基于线特征描述的无标识增强现实注册方法,包括以下步骤:
S1:利用颜色差分直方图获取当前帧中兴趣目标所在的局部区域;
S2:对当前帧中的兴趣目标使用高斯滤波来除去噪声和图像亮度调整;
S3:对区域中目标进行轮廓特征提取,按检测到的线特征提取描述符,进行线特征匹配;
S4:通过当前帧中二维和三维的对应关系计算虚实坐标系变换矩阵,获取采集当前帧的计算摄像机外部参数并确定摄像机位姿;
S5:根据计算摄像机计算的上一帧得到的计算摄像机外部参数和摄像机位姿以及当前帧中目标的线特征信息更新当前的投影矩阵,进而实现实时注册。
进一步地,所述步骤S1中:
首先获取视频流中兴趣目标完整出现的第一帧,并以该帧作为关键帧序列,在该关键帧图像中进行目标所在感兴趣区域分割,以此关键帧作为模版图像,然后同样在当前帧中对感兴趣区域中检测目标,将目标所在区域进行框定。
进一步地,所述步骤S3的具体过程如下:
对当前帧进行二值化处理,然后对目标进行Canny边缘检测,计算最小链码的长度及相应点的曲率,并删除小于该曲率值的链码,保留各条线段的端点计算出各条线段的中点,利用线特征的几何分布特性进行线特征描述:
采用直线的两个端点,坐标分别记为(x1,y1)和(x2,y2),一般方程为用极点到直线的距离ρ和直线与极轴的夹角θ作为表示直线的参数,以这两个参数所建立的坐标系和图像中的直线存在一一对应的关系;极点方程为ρ=y cosθ+xsinθ,对兴趣目标进行轮廓提取后,通过逼近算法对轮廓形状分析,然后对模版图像及待配准图像比较两者的轮廓矩:
对轮廓上所有点进行积分运算获取形状特征,定义一个轮廓的(p,q)矩:
其中,p对应x维度上的矩,q对应y维度上的矩,阶数表示对应部分的指数,对轮廓边界上所有像素进行求和。
进一步地,所述步骤S4中,计算摄像机外部参数,选取相邻4条直线的中点作为空间坐标的三维空间点,并获取摄像机内部参数K,具体地:
采用RANSAC算法建立当前帧关键点mc和模版图像关键点ms间的对应关系:
采用Tukey M-估计算法计算摄像机的位姿,其初始值为当前帧的前一帧的视点参数,该算法利用最小化误差残差:
获得参数的最优估计,ρ为连续对称函数,ri=||mi-λPiMi||为图像的反投影误差,通过迭代优化求解摄像机的旋转和平移矩阵。
进一步地,所述步骤S2中采用3×3的高斯滤波器来进行去噪声处理和图像亮度调整。
与现有技术相比,本发明技术方案的有益效果是:
本发明利用颜色差分直方图获取当前帧中兴趣目标所在的局部区域,然后对当前帧中的兴趣目标使用高斯滤波来除去噪声和图像亮度调整;再对区域中目标进行轮廓特征提取,按检测到的线特征提取描述符,进行线特征匹配;再通过当前帧中二维和三维的对应关系计算虚实坐标系变换矩阵,获取采集当前帧的计算摄像机外部参数并确定摄像机位姿;最后根据计算摄像机计算的上一帧得到的计算摄像机外部参数和摄像机位姿以及当前帧中目标的线特征信息更新当前的投影矩阵,进而实现实时注册;该方法直接在视频中进行虚实物体注册,保证了画面每秒传输帧数的数量,保证了注册的实时性;缩小了当前帧对于目标所在区域的检测范围,提高了目标检测的效率和虚实物***置匹配的效率;该方法明获取当前帧中线特征出现的位置,获得更多的图像信息,获取线段上的关键点,不需要复杂的矩阵计算,减少当前帧注册时的计算量,有较快的计算速度和较好的鲁棒性。
附图说明
图1为本发明具体实施内容的注册方法流程示意图;
图2为在当前帧中获取兴趣目标所在的局部区域;
图3为当前帧进行线特征检测及其边缘检测的灰度图;
图4为图像坐标系与摄像机坐标系转换对应。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,一种基于线特征描述的无标识增强现实注册方法,包括以下步骤:
1)利用颜色差分直方图获取关键帧和当前帧中兴趣目标所在的局部区域,如附图2所示;
2)对当前帧中的兴趣目标使用3×3高斯滤波器去噪声处理、图像亮度调整处理等图像预处理相关步骤;
3)对区域中目标进行轮廓特征提取,按检测到的线特征提取描述符,进行线特征匹配,如附图3所示;
4)通过图像中二维和三维的对应关系计算虚实坐标系变换矩阵,获取计算摄像机外部参数并确定摄像机位姿;
5)根据上一帧摄像机计算结果和当前帧中目标的线特征信息更新当前的投影矩阵,进而实现实时注册;
步骤1)中,首先获取视频流中兴趣目标完整出现的第一帧,并以该帧作为关键帧序列,在该关键帧图像中进行目标所在感兴趣区域分割,以此关键帧作为模版图像,然后同样在当前帧中对感兴趣区域中检测目标,将目标所在区域进行框定,如附图2所示。
步骤3)中,对当前帧进行二值化处理,然后对目标进行Canny边缘检测,计算最小链码的长度及相应点的曲率,并删除小于该曲率值的链码,保留各条线段的端点计算出各条线段的中点。利用线特征的几何分布特性进行线特征描述,具体地:
采用直线的两个端点,坐标分别记为:(x1,y1)、(x2,y2)
用极点到直线的距离ρ和直线与极轴的夹角θ作为表示直线的参数,以这两个参数所建立的坐标系和图像中的直线存在一一对应的关系。
极点方程为:ρ=y cosθ+x sinθ
对兴趣目标进行轮廓提取后,通过逼近算法对轮廓形状分析,然后对模版图像及待配准图像比较两者的轮廓矩,具体地:
对轮廓上所有点进行积分运算获取形状特征,定义一个轮廓的(p,q)矩:
其中,p对应x维度上的矩,q对应y维度上的矩,阶数表示对应部分的指数,对轮廓边界上所有像素进行求和。
步骤4)中,计算摄像机外部参数,选取相邻4条直线的中点作为空间坐标的三维空间点,并获取摄像机内部参数K,具体地:
采用RANSAC算法建立当前帧关键点mc和模版图像关键点ms间的对应关系:
建立起当前帧图像关键点与其三维空间坐标点的对应关系,转换关系如附图4所示,采用Tukey M-估计算法计算摄像机的位姿,其初始值为当前帧的前一帧的视点参数。该算法利用最小化误差残差:
获得参数的最优估计,ρ为连续对称函数,ri=||mi-λPiMi||为图像的反投影误差,通过迭代优化求解摄像机的旋转和平移矩阵。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (2)
1.一种基于线特征描述的无标识增强现实注册方法,其特征在于,包括以下步骤:
S1:利用颜色差分直方图获取当前帧中兴趣目标所在的局部区域;
S2:对当前帧中的兴趣目标使用高斯滤波来除去噪声和图像亮度调整;
S3:对区域中目标进行轮廓特征提取,按检测到的线特征提取描述符,进行线特征匹配;
S4:通过当前帧中二维和三维的对应关系计算虚实坐标系变换矩阵,获取采集当前帧的计算摄像机外部参数并确定摄像机位姿;
S5:根据计算摄像机计算的上一帧得到的计算摄像机外部参数和摄像机位姿以及当前帧中目标的线特征信息更新当前的投影矩阵,进而实现实时注册;
所述步骤S1中:
首先获取视频流中兴趣目标完整出现的第一帧,并以该帧作为关键帧序列,在该关键帧图像中进行目标所在感兴趣区域分割,以此关键帧作为模版图像,然后同样在当前帧中对感兴趣区域中检测目标,将目标所在区域进行框定;
所述步骤S3的具体过程如下:
对当前帧进行二值化处理,然后对目标进行Canny边缘检测,计算最小链码的长度及相应点的曲率,并删除小于该曲率值的链码,保留各条线段的端点计算出各条线段的中点,利用线特征的几何分布特性进行线特征描述:
采用直线的两个端点,坐标分别记为(x1,y1)和(x2,y2),一般方程为用极点到直线的距离z和直线与极轴的夹角θ作为表示直线的参数,以这两个参数所建立的坐标系和图像中的直线存在一一对应的关系;极点方程为z=ycosθ+xsinθ,对兴趣目标进行轮廓提取后,通过逼近算法对轮廓形状分析,然后对模版图像及待配准图像比较两者的轮廓矩:
对轮廓上所有点进行积分运算获取形状特征,定义一个轮廓的(p,q)矩:
其中,p对应x维度上的矩,q对应y维度上的矩,阶数表示对应部分的指数,对轮廓边界上所有像素进行求和;
所述步骤S4中,计算摄像机外部参数,选取相邻4条直线的中点作为空间坐标的三维空间点,并获取摄像机内部参数K,具体地:
采用RANSAC算法建立当前帧关键点mc和模版图像关键点ms间的对应关系:
采用Tukey M-估计算法计算摄像机的位姿,其初始值为当前帧的前一帧的视点参数,该算法利用最小化误差残差:
获得参数的最优估计,ρ为连续对称函数,ri=||mi-λPiMi||为图像的反投影误差,通过迭代优化求解摄像机的旋转和平移矩阵。
2.根据权利要求1所述的基于线特征描述的无标识增强现实注册方法,其特征在于,所述步骤S2中采用3×3的高斯滤波器来进行去噪声处理和图像亮度调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710142310.0A CN106952312B (zh) | 2017-03-10 | 2017-03-10 | 一种基于线特征描述的无标识增强现实注册方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710142310.0A CN106952312B (zh) | 2017-03-10 | 2017-03-10 | 一种基于线特征描述的无标识增强现实注册方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106952312A CN106952312A (zh) | 2017-07-14 |
CN106952312B true CN106952312B (zh) | 2020-06-05 |
Family
ID=59466815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710142310.0A Active CN106952312B (zh) | 2017-03-10 | 2017-03-10 | 一种基于线特征描述的无标识增强现实注册方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106952312B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108876900A (zh) * | 2018-05-11 | 2018-11-23 | 重庆爱奇艺智能科技有限公司 | 一种与现实场景融合的虚拟目标投射方法和*** |
CN109345560B (zh) * | 2018-09-20 | 2021-02-19 | 网易(杭州)网络有限公司 | 增强现实设备的运动跟踪精度测试方法及装置 |
CN110349163B (zh) * | 2019-07-19 | 2021-06-25 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN111489439B (zh) * | 2020-04-15 | 2024-06-07 | 京东方科技集团股份有限公司 | 一种三维线图重建方法、装置和电子设备 |
CN113674326B (zh) * | 2020-05-14 | 2023-06-20 | 惟亚(上海)数字科技有限公司 | 一种基于增强现实的频域处理的跟踪方法 |
CN113673283A (zh) * | 2020-05-14 | 2021-11-19 | 惟亚(上海)数字科技有限公司 | 一种基于增强现实的平滑跟踪方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177468A (zh) * | 2013-03-29 | 2013-06-26 | 渤海大学 | 一种基于无标记的三维运动物体增强现实注册方法 |
CN104077596A (zh) * | 2014-06-18 | 2014-10-01 | 河海大学 | 一种无标志物跟踪注册方法 |
CN106017436A (zh) * | 2016-07-27 | 2016-10-12 | 廖卫东 | 基于全站仪及摄影测量技术的bim增强现实放样*** |
-
2017
- 2017-03-10 CN CN201710142310.0A patent/CN106952312B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177468A (zh) * | 2013-03-29 | 2013-06-26 | 渤海大学 | 一种基于无标记的三维运动物体增强现实注册方法 |
CN104077596A (zh) * | 2014-06-18 | 2014-10-01 | 河海大学 | 一种无标志物跟踪注册方法 |
CN106017436A (zh) * | 2016-07-27 | 2016-10-12 | 廖卫东 | 基于全站仪及摄影测量技术的bim增强现实放样*** |
Non-Patent Citations (2)
Title |
---|
"Android的无标识增强现实注册算法实现";宋春雨 等,;《计算机仿真》;20140831;第31卷(第8期);第1-5节 * |
"基于线特征的增强现实注册算法";赵新灿 等,;《应用科学学报》;20080131;第26卷(第1期);第1-2节 * |
Also Published As
Publication number | Publication date |
---|---|
CN106952312A (zh) | 2017-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106952312B (zh) | 一种基于线特征描述的无标识增强现实注册方法 | |
CN107292965B (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
KR101175097B1 (ko) | 파노라마 영상 생성 방법 | |
CN109685913B (zh) | 基于计算机视觉定位的增强现实实现方法 | |
Zhang et al. | Detecting and extracting the photo composites using planar homography and graph cut | |
Zheng et al. | A novel projective-consistent plane based image stitching method | |
CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
CN110021029B (zh) | 一种适用于rgbd-slam的实时动态配准方法及存储介质 | |
Zhao et al. | A compatible framework for RGB-D SLAM in dynamic scenes | |
CN110895683B (zh) | 一种基于Kinect的单视点手势姿势识别方法 | |
Xu et al. | Integrated approach of skin-color detection and depth information for hand and face localization | |
CN112101208A (zh) | 高龄老人特征串联融合手势识别方法及装置 | |
CN112734914A (zh) | 一种增强现实视觉的图像立体重建方法及装置 | |
CN112613123A (zh) | 一种飞机管路ar三维注册方法及装置 | |
CN111161219B (zh) | 一种适用于阴影环境的鲁棒单目视觉slam方法 | |
CN111582036A (zh) | 可穿戴设备下基于形状和姿态的跨视角人物识别方法 | |
CN113689365B (zh) | 一种基于Azure Kinect的目标跟踪定位方法 | |
Donoser et al. | Robust planar target tracking and pose estimation from a single concavity | |
CN113469216B (zh) | 零售终端海报识别与完整性判断方法、***及存储介质 | |
Wang et al. | Hand posture recognition from disparity cost map | |
Liu et al. | Real time tracking method by using color markers | |
CN110322479B (zh) | 一种基于时空显著性的双核kcf目标跟踪方法 | |
CN115330874B (zh) | 基于超像素处理遮挡的单目深度估计方法 | |
KR101357581B1 (ko) | 깊이 정보 기반 사람의 피부 영역 검출 방법 | |
CN113012298B (zh) | 一种基于区域检测的弯曲mark三维注册增强现实方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |