CN100470452C - 一种实现三维增强现实的方法及*** - Google Patents
一种实现三维增强现实的方法及*** Download PDFInfo
- Publication number
- CN100470452C CN100470452C CNB200610101229XA CN200610101229A CN100470452C CN 100470452 C CN100470452 C CN 100470452C CN B200610101229X A CNB200610101229X A CN B200610101229XA CN 200610101229 A CN200610101229 A CN 200610101229A CN 100470452 C CN100470452 C CN 100470452C
- Authority
- CN
- China
- Prior art keywords
- mark
- frame
- video
- dimensional
- prime
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种实现三维增强现实的方法及***,该方法具体包括:视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧;对视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧进行增强现实处理,得到处理后的虚拟图形帧;虚实合成模块将得到的虚拟图形帧与视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧进行合成,得到增强现实环境的合成视频帧。本发明能够更好的支持增强现实技术在计算资源相对有限的手持移动计算设备上的实施,拓展了增强现实技术的应用领域。
Description
技术领域
本发明涉及增强现实技术,尤其涉及一种实现三维增强现实的方法及***。
背景技术
增强现实(AR,Augmented Reality)是利用虚拟物体对真实场景进行现实增强的技术。增强现实保留用户实际身处的物理环境作为用户的主要感知和交互环境,通过将文本、二维图像、三维模型等虚拟生成的信息标注在显示屏上所显示的物理环境中的物体上,从而实现对用户身处的现实物理环境的注释、说明,或者增强、强调现实环境的某些效果,比如用户戴上专用的增强现实显示眼镜,亲身到故宫实地游览,当参观到一个文物时,他不仅可以看到文物和其周围环境本身,还可以同时看到通过增强现实技术附加的多媒体方式呈现的对该文物的介绍信息。增强现实技术给用户一种虚拟对象与现实环境两相融合的体验,它能有效地帮助用户认知周围环境,实现用户与周围环境的交互。
文献《H.Billinghurst,M.Marker Tracking and HMD Calibration for avideo-based Augmented Reality Conferencing System.In Proceedings of the 2ndInternational Workshop on Augmented Reality.San Francisco,USA,October.1999》中提出了一种基于标志物的增强现实算法,并由此设计出一个开源软件包(ARToolkit)。ARToolkit使用计算机视觉技术来计算真实摄像场景与标记符号之间的相对位置关系。ARToolkit的主要算法流程为:输入实时捕获的视频图像帧,通过可设定的阈值将其转换成黑白二值图;搜索场景中标志物的黑框颜色所对应的连通区域,作为标志物黑框的候选对象;得到各连通区域的轮廓线,若能提取出四条相交的直边,则作为可能的标志物;利用四条直边找到的角特征,进行形变矫正,并计算出标志物变换成前视图的一个单应性矩阵(homography)变换;利用该homography在标志物的黑框内部区域进行采样,采样模板一般为16x16,共得到256个采样点构成一个采样向量;将这个采样向量与预先存放在标志物数据库的标志物逐个进行比较,计算标志物上相应点构成的向量与采样向量的归一化向量点积,得到一个可信度值;如果可信度值低于一个阈值,就当作是未匹配成功,否则就是匹配成功。根据匹配成功的标志物查找到相对应的虚拟物体,将虚拟物体按相机与标志物的当前相对方位进行变换,使之与标志物相吻合。
由于ARToolkit所采用的标志物中间区域内容是随意的,不是统一规范的。这带来以下主要问题:模式匹配过程计算慢,随着标志物数据库中的数量增加而计算时间增长;误配率高;需要将虚拟物体与具体标志物图案直接关联,虚实匹配关系的建立与维护都不方便。
另一方面,二维可视编码是类似于条形码的一种编码图案。如图1所示,这种二维可视化编码可以贴在物品上作为识别物品的信息和功能的唯一的标志物。手机等移动平台很适合实现二维可视化编码,因为现在手机的使用已经非常普及,并且带有摄像头的手机也越来越流行。在手机等移动计算设备上集成的摄像头用作传感器可以让用户及时地在周围环境中检测到带有二维可视化编码的物体,然后解码得到相关的数字编号,并通过编号来提供相应的信息。目前已经有一些作为商务用途的二维可视化编码软件被开发出来。
文献《Michael Rohs.Real-World Interaction with Camera-Phones.2ndInternational Symposium on Ubiquitous Computing Systems,Tokyo,Japan,November 2004》提出了一种二维可视化编码(Visual Code)技术,其编码图案如图2所示,该文献中提到通过手机所带相机来识别该编码图案,同时计算得到手机与该编码图案的一些相对运动信息,手机的相机与编码的相对倾角等运动信息可以作为手机与数字信息交互的一个参数。
上述文献的目标是得到图像的编码,并利用手机的部分运动信息进行二维的交互,因此从编码检测中得到的是编码所对应的数字、及手机与编码图案的相应倾角信息。通过手机等移动计算设备上的相机捕捉到图2中的编码图案,可解析出该二维编码图案所唯一对应的一个76位的数字。然后,利用该数字来检索出一些二维图片与文字信息,显示在手机等移动计算设备的屏幕上。但上述二维可视化编码不支持类似于ARToolkit中的三维信息的增强现实功能。
发明内容
本发明要解决的技术问题是提供一种实现三维增强现实的方法及***,用于为虚实物体之间映射关系的建立,提供一种快速、可靠的方法及***。
为解决上述技术问题,本发明的目的是通过以下技术方案实现的,提供一种实现三维增强现实的方法,该方法具体包括步骤:
A:获得二维可视编码标志物的视频帧;
B:对所述视频帧进行增强现实处理,得到虚拟图形帧;
C:将所述虚拟图形帧与视频帧进行合成,得到合成视频帧。
优选地,所述步骤A中标志物中包含图案,所述图案按照编码规则排布。
优选地,所述步骤A之前进一步包括步骤:
A1:初始化三维图形***环境、相机内部参数以及标志物文件;
A2:抓取视频帧图像,并将该图像缩放使其作为图形***中的纹理贴图;
A3:将纹理贴图绘制为背景并存储在图形***提供的帧缓存中;
A4:对步骤A2中抓取的视频帧进行图像处理;
A5:将所述视频帧图像经过图像处理的标志物与标志物文件中规定的标志物进行比较,并判断误差是否小于设定值,如果是,则判定找到标志物;
A6:记录该标志物在标志物坐标系和图像坐标系中的顶点坐标,并计算与该标志物对应的编码值。
优选地,所述步骤A4具体包括步骤:
A41:对抓取的视频帧进行图像灰度处理和二值化;
A42:对抓取的视频帧进行图像标记;
A43:对抓取的视频帧进行轮廓提取。
优选地,所述步骤B具体包括步骤:
B1:获得标志物坐标系和图像坐标系中对应的标志物顶点坐标,并计算从标志物坐标系到相机坐标系的变换矩阵;
B2:采样二维可视编码中编码图案,得出编码值。
优选地,所述步骤B2后进一步包括步骤:
B3:检索对应于该编码的三维模型,获取该三维模型,并获得所述三维模型的顶点数组。
优选地,所述步骤B3后还包括步骤:
B4:获得顶点数组中的顶点与变换矩阵的乘积,所述乘积是该三维图形在相机坐标系下的坐标数组;
B5:绘制以该坐标数组对应的三维图形,并将该三维图形存储在帧缓存中,生成虚拟图形帧。
本发明还提供一种实现三维增强现实的***,该***包括:视频帧捕获模块、视频跟踪模块、虚拟图形***模块、虚实合成模块以及视频显示模块;
视频帧捕获模块用于捕获二维可视编码标志物的视频帧,并将该视频帧发送给视频跟踪模块;
视频跟踪模块用于计算处理获得的标志物视频帧,根据计算处理结果获得从标志物坐标系到相机坐标系的变换矩阵;还用于采样二维可视编码中编码图案,获得标志物编码值,检索出与该编码值对应的三维模型,并根据该三维模型的顶点数组与变换矩阵的乘积,得到该三维图形在相机坐标系下的坐标数组;
虚拟图形***模块用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的三维图形;将该三维图形存储在帧缓存中,生成虚拟图形帧;
虚实合成模块用于将获得的虚拟图形帧与二维可视编码标志物的视频帧进行合成,得到合成视频帧。
以上技术方案可以看出,由于本发明将二维可视编码结合到三维增强现实技术中,带来以下有益效果:
1、在现有的三维增强现实技术中引入规范的二维可视化编码图像作为跟踪所用标志物,以代替现有技术中ARToolkit采用的任意形状的标志物,从而提高了其中跟踪算法速度以及可靠性低、并且加快了模式匹配处理速度。
2、在现有的二维可视化编码基础上引入对三维相对变换信息的计算与提取,检索出相应的三维媒体信息并且三维注册合成的增强现实技术,该技术不仅能识别出二维可视编码,还能将得到的其对应的三维空间位置,通过编码检索到的三维模型实时地增强显示在编码图形上,进而实现增强现实功能。
3、本方案能够更好的支持增强现实技术在计算资源相对有限的手持移动计算设备上实施,拓展增强现实技术的应用领域,并通过统一规范的编码方式,为增强现实技术中虚实物体之间的映射关系的建立提供了一种非常便捷、易用和规范的手段,为新型增强现实应用的诞生提供了新的技术基础。
附图说明
图1是一些二维可视化编码标志物与它们对应的编码值示意图;
图2是二维可视编码Visual Code的编码图案;
图3是实现三维增强现实的方法流程图;
图4是实现三维增强现实的***功能模块示意图;
图5是基于二维可视化编码标志物的增强现实算法流程图;
图6是图像灰度处理采用不同方向对象素点进行扫描示意图。
具体实施方式
请参见图3,本发明提供一种实现三维增强现实的方法,其主要通过以下步骤实现:
301:初始化三维图形***环境、相机内部参数和标志物文件;
其中,图形***环境初始化的目标是设置能够同时支持二维图形和三维图形的绘图环境,包括取得设置显示模式、设置显示参数列表、显示设备、创建显示表面、设置显示表面参数、设置视点位置和视平面等。
相机内部参数是指摄像头相机的焦距和形变等内部固有参数,该参数确定了摄像头相机的投影变换矩阵,它取决于相机本身的属性,所以对同一个相机来说其内部参数是恒定不变的。相机内部参数是通过一个独立的相机校准程序事先获得的,这里所做的是将这组参数读取到内存中。
标志物文件记录了环境标志物信息的说明文件,在程序初始化时把这些信息由文件读入内存。
302:通过相机抓取一个视频帧图像,并将该视频帧图像进行缩放,使之适合作为图形***中的纹理贴图,然后将它绘制为背景并存储在图形***提供的帧缓存中;
303:对步骤302中抓取的视频帧图像进行图像处理;
具体包括对图像进行灰度处理和二值化、标记以及轮廓提取处理。
其中,对于图像灰度处理和二值化,为了得到彩色图像的灰度值,国际电信联盟(ITU)中有一个标准亮度的计算公式:
Y=0.2126*red+0.7152*green+0.0722*blue
由于RGB在图像的锐利度和对比度中所产生的影响最小,因此其蓝色的成分被略去,于是可以采用简化公式grey=(red+green)/2来代替上述标准亮度公式。因为计算灰度值和二值化需要对每一个象素点都进行处理,计算过程比较复杂,效率也比较低。通过上述简化公式得出的灰度值比采用ITU的标准亮度公式的更为准确,而且效率要高。而得到灰度值后,要对图像进一步地进行二值化处理,但是灰度值并不能真实地再现图像的原貌,原因在于相机图像的光亮不稳定会导致编码标志物的不均匀亮度。
为了解决这一问题,采用自适应的阈值确定方法来进行处理,其基本思路如图6中的逐行采用不同方向对象素点进行扫描,采用该扫描方式可以在相机图像的光亮不稳定的情况下也能使编码标志物的亮度均匀。
请参见图6,图中的扫描路径类似于一种“蛇形”的扫描路径。由于在光照不均匀的情况下,自左向右扫描与自右向左扫描将会产生不同的二值化结果,而采用这种“蛇行”扫描路径相当于取得一个比较平均的区域,从而使光照不均匀的情况得到改善。
平均的阈值gs(n)将依据下式来进行推算:
gs(n)=gs(n-1)*(1-1/s)+pn其中pn表示第n个象素点的灰度值,s=w/8表示图像移动中的平均宽度(w表示图像宽度)gs的初始值为cs/2(其中c是最大的灰度值)。由此,就可以用下式确定每个象素点在二值化后的结果:
T(n)=1,若pn<(gs(n)/s)*(1-t/100)
其中t=15
或T(n)=0,若是其他情况。
接下来就是对图像进行区域搜索和标记,这一步骤的主要工作是找到黑象素点的相邻区域,并对区域记数,对每个区域赋予一个序号。对图像进行逐行扫描,为找到的区域预先赋值。扫描时采用之前所述的“蛇形”扫描法,具体
算法如下(以自左向右的扫描过程为例):
for(i为最左端象素点;i<图像宽度;i++){
if[pn<(gs(n)/s)*(1-t/100)]{
取得当前象素点的正上方点的标签,记为top;
取得当前象素点的左边点的标签,记为left;
If(top!=背景颜色&& left!=背景颜色){
在top的equals链表中进行搜索;
If(top的equals链表中没有left){
将left的equals链表和top的链表进行连接
}
}
else if(top!=背景颜色){
当前象素点的标签记为top;
}
else if(left!=背景颜色){
当前象素点的标签记为left;
}
else{
currentcluster++;
equals[currentcluster]=currentcluster;
当前象素点标签=currentcluster; //新标签
}
}
}
自右向左的过程与之相似,只是此时需要取得当前象素点正上方点和右方点的标签来进行比较以决定当前点的标签。
在区域搜索的过程中,有可能产生的一个问题是:两个具有不同标签的区域事实上属于同一区域。在这种情况下,将这两个区域记录在equals链表中并进行合成,而这一部分的工作就是把这样的区域连接到一起,并给每一区域赋一个新的标签。
确定编码标志物的位置要在图像中确定编码标志物,就需要先找到引导条和相应的角基石。寻找候选引导条的方法是,如果某区域的轴比率落在一个给定的理想值邻近范围内,就将其当作候选引导条,然后,根据区域的大小与方向来确定第二个引导条与三个角基石的位置,如果当前图像中相应位置确有这些特征,就算是找到了真正的引导条。
304:将经过图像处理的标志物通过特性匹配算法与标志物文件中的合法标志物进行比较,找到合法的二维可视编码标志物;
其中,对于满足大小、形状的标志物都要通过特征匹配算法与标志物文件中的合法标志物进行比较。如果误差在允许的范围内,则判定已寻找到合法的标志物,此时记录该标志物在图像坐标系中的位置,该图像坐标系是二维坐标系,以图像的横向为X轴,纵向为Y轴。利用二维可视化编码都是正方形的特征,依次记录该标志物顶点的位置,以及该标志物中的图像以及像素值信息,计算对应于该标志物的编码值。如果没有寻找到合法的标志物,则直接退出程序。
305~309:视频跟踪模块获得标志物坐标系和图像坐标系中对应的标志物顶点坐标,并计算从标志物坐标系到相机坐标系的变换矩阵,标志物在相平面上成相的过程,相当于点从三维标志物坐标系上变换到相机坐标系上,然后投影到相平面上形成标志物的二维图像;视频跟踪模块通过采样二维可视编码中间编码部分的图案,得出编码值,然后通过识别到的标志物编码值从虚实对应数据库中检索到对应于该编码的三维模型,并获得该三维模型的顶点数组,最后对顶点数组中的顶点坐标乘以变换矩阵得到该三维图形在相机坐标系下的坐标;虚拟图形***模块绘制以该坐标数组对应的三维图形,并将该三维图形存储在帧缓存中,生成虚拟图形帧;虚实合成模块将得到的虚拟图形帧与视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧进行合成,得到增强现实环境的合成视频帧。
其中,在获得了标志物坐标系和图像坐标系中对应的标志物顶点的坐标后,通过联立方程组可以解得投影矩阵和T的乘积。而投影矩阵完全取决于相机的内部参数,因此可推算得到变换矩阵T。
对基于标志物的增强现实来说,一个标志物实际上就定义了一个标志物坐标系,在标志物平面上的三维虚拟图形,事实上都是建立在标志物坐标系内的。从标志物坐标系到相机坐标系的变换与之前所提到的变换过程基本相同,假设标志物坐标系相当于一个Z=0的坐标系,这样有:
其中pij表示之前所提到的透视投影矩阵的第i行第j列的元素,而H则是一个将二维标志物坐标变换到二维图像坐标的3x3的投影矩阵,称作homography。如果进行归一化处理的话,则Eq1-1又可以表示成:
其中λ是比例系数。
有了这样的一个矩阵,可以将它写成等式的形式:
其中hij定义了H的第i行第j列元素,将其转化成线性形式:
x′(h31x+h32y+h33)=h11x+h12y+h13
y′(h31x+h32y+h33)=h21x+h22y+h23
以矩阵形式来表示:
h=[h11 h12 h13 h21 h22 h23 h31 h32 h33]T是一个9x1的向量,其中的元素正对应着H中的每个元素。通过归一化的处理,另h33=1,则h中还有8个未知量,需要由8个方程来进行求解。此时需要得到4个顶点(x1,y1),(x2,y2),(x3,y3),(x4,y4)以及它们在分别图像平面中的对应点(x1′,y1′),(x2′,y2′),(x3′,y3′),(x4′,y4′),其中(x1,y1),(x2,y2),(x3,y3),(x4,y4)在其标志物坐标系中的坐标已知。在这4个顶点的信息完整的情况下,得到如下的矩阵方程:
在求解h的过程中,需要做这样的变形
则h=C-1B,整个h的求解过程就可以归为对C的求逆过程和一次矩阵的乘法。在得到h之后,对应的图像平面上的点的坐标就可以由Eq1-2求出。
目前为止,得到的H只能用来进行2D-2D的转换,这是因为在Eq1-1里做了一定的限制,假设标志物坐标系中Z分量始终等于0,这也就限制了暂时不能在Marker坐标系中定义三维的物体。为了能够实现从标志物坐标系到图像平面坐标系的3D-2D的转换,必须得到Eq1-1中p13,p23,p33的值。
从Eq1-1中可以看出H只是在Z=0的情况下,透视投影矩阵的一个简化形式,同样可以把H定义成如下的形式:
由于R是一个旋转矩阵,则根据其正交属性可以得到:
r11 2+r21 2+r31 2=1 Eq1-7
r12 2+r22 2+r32 2=1 Eq1-8
r11 r12+r21 r22+r31 r32=0 Eq1-9
将Eq1-6代入Eq1-9,可以得到:
h11h12/fu 2+h21h22/fv 2+h31h32=0 Eq1-10
类似的,将Eq1-7和Eq1-8代入后可以得到:
λ2(h11/fu 2+h21/fv 2+h31 2)=0 Eq1-11
λ2(h12/fu 2+h22/fv 2+h32 2)=0 Eq1-12
通过消去Eq1-10和Eq1-11中的λ2,可以得到下式:
(h11 2-h12 2)/fu 2+(h21 2-h22 2)/fv 2+h31 2-h32 2=0 Eq1-13
再结合Eq1-10和Eq1-13,可以得到fu和fv的计算公式:
在得到了相机内部参数fu和fv之后,可以利用Eq1-11或者Eq1-12来计算λ的值:
再根据Eq1-1,所有的相机外部参数也可以通过计算得到:
r11=λh11/fu r12=λh12/fu r13=r21r32-r31r22 t1=λh13/fu
r21=λh21/fv r22=λh22/fv r23=r31r12-r11r32 t2=λh23/fv
r31=λh31 r32=λh32 r33=r11r22-r21r12 t3=λh33
得到了所有的相机内部参数和外部参数以后,就可以由
来实现从标志物坐标系到图像平面的3D-2D变换。
310:视频显示模块获得增强现实环境的合成视频帧,并将其输出到显示屏上。
其中,在本方案里使用OpenGL ES作为三维图形API(应用程序编程接口)。OpenGL ES是OpenGL的一个小空间子集,应用于高级的嵌入式图形处理,能支持3D游戏功能,并可用在包括定点处理器在内的广泛的平台上。为了将三维模型显示在背景前面,绘图API全部采用OpenGL ES,于是将背景作为纹理,贴在一块和屏幕同样大小的长方形上,其中设置相关数组和绘制的代码是:
glVertexPointer(3,GL_SHORT,0,vertices);//设置顶点坐标数组
glTexCoordPointer(2,GL_BYTE,0,texCoords);//设置纹理坐标数组
glDrawElements(GL_TRIANGLES,2*3,GL_UNSIGNED_BYTE,triangles);//绘制背景
在前面已经求出了三维模型在图像坐标系下的位置,只要把求出的位置坐标设置在OpenGL ES对应的顶点数组中就可以显示它了。显示三维模型的代码是:
glVertexPointer(3,GL_FLOAT,0,iVertexPointer);//设置三维物体顶点数组
glDrawElements(GL_TRIANGLES,faceNum*3,GL_UNSIGNED_SHORT,iIndex);//绘制三维物体。
本发明还提供一种实现三维增强现实的***,该***包括:视频帧捕获模块、视频跟踪模块、虚拟图形***模块、虚实合成模块以及视频显示模块;
视频帧捕获模块用于捕获真实环境中二维可视编码标志物的视频帧,并将该视频帧发送给视频跟踪模块;
视频跟踪模块用于对获得的视频帧进行计算处理,得到环境和相机的相对方位;
虚拟图形***模块用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的三维图形;
虚实合成模块用于将获得的虚拟图形帧与真实环境中二维可视编码标志物的视频帧进行合成,得到增强现实环境的合成视频帧。
请参见图4与图5,图4为实现三维增强现实的***功能模块示意图,图5为基于二维可视化编码标志物的增强现实算法流程图,下面将结合图4与图5对本发明进行详细描述。
401:视频帧捕获模块捕获真实环境中二维可视编码标志物的视频帧,并将该视频帧发送给视频跟踪模块;
其中,在视频帧捕获模块捕获真实环境中二维可视编码标志物的视频帧前,需要寻找到合法的二维可视编码标志物,请参见图5,其中包括501~504具体步骤如下:
初始化三维图形***环境、相机内部参数和标志物文件,图形***环境初始化的目标是设置能够同时支持二维图形和三维图形的绘图环境,包括取得设置显示模式、设置显示参数列表、显示设备、创建显示表面、设置显示表面参数、设置视点位置和视平面等。
相机内部参数是指摄像头相机的焦距和形变等内部固有参数,该参数确定了摄像头相机的投影变换矩阵,它取决于相机本身的属性,所以对同一个相机来说其内部参数是恒定不变的。相机内部参数是通过一个独立的相机校准程序事先获得的,这里所做的是将这组参数读取到内存中。
标志物文件记录了环境标志物信息的说明文件,在程序初始化时把这些信息由文件读入内存。
通过相机抓取一个视频帧图像,并将该视频帧图像进行缩放,使之适合作为图形***中的纹理贴图,然后将它绘制为背景并存储在图形***提供的帧缓存中。
对抓取的视频帧图像进行图像处理,具体包括对图像进行灰度处理和二值化、标记以及轮廓提取处理。
其中,对于图像灰度处理和二值化,为了得到彩色图像的灰度值,国际电信联盟(ITU)中有一个标准亮度的计算公式:
Y=0.2126*red+0.7152*green+0.0722*blue
由于RGB在图像的锐利度和对比度中所产生的影响最小,因此其蓝色的成分被略去,于是可以采用简化公式grey=(red+green)/2来代替上述标准亮度公式。因为计算灰度值和二值化需要对每一个象素点都进行处理,计算过程比较复杂,效率也比较低。通过上述简化公式得出的灰度值比采用ITU的标准亮度公式的更为准确,而且效率要高。而得到灰度值后,要对图像进一步地进行二值化处理,但是灰度值并不能真实地再现图像的原貌,原因在于相机图像的光亮不稳定会导致编码标志物的不均匀亮度。
请参见图6,图中的扫描路径类似于一种“蛇形”的扫描路径。由于在光照不均匀的情况下,自左向右扫描与自右向左扫描将会产生不同的二值化结果,而采用这种“蛇行”扫描路径相当于取得一个比较平均的区域,从而使光照不均匀的情况得到改善。
平均的阈值gs(n)将依据下式来进行推算:
gs(n)=gs(n-1)*(1-1/s)+pn其中pn表示第n个象素点的灰度值,s=w/8表示图像移动中的平均宽度(w表示图像宽度)gs的初始值为cs/2(其中c是最大的灰度值)。由此,就可以用下式确定每个象素点在二值化后的结果:
T(n)=1,若pn<(gs(n)/s)*(1-t/100)
其中t=15
或T(n)=0,若是其他情况。
接下来就是对图像进行区域搜索和标记,这一步骤的主要工作是找到黑象素点的相邻区域,并对区域记数,对每个区域赋予一个序号。对图像进行逐行扫描,为找到的区域预先赋值。扫描时采用之前所述的“蛇形”扫描法,具体
算法如下(以自左向右的扫描过程为例):
for(i为最左端象素点;i<图像宽度;i++){
if[pn<(gs(n)/s)*(1-t/100)]{
取得当前象素点的正上方点的标签,记为top;
取得当前象素点的左边点的标签,记为left;
If(top!=背景颜色&& left!=背景颜色){
在top的equals链表中进行搜索;
If(top的equals链表中没有left){
将left的equals链表和top的链表进行连接
}
}
else if(top!=背景颜色){
当前象素点的标签记为top;
}
else if(left!=背景颜色){
当前象素点的标签记为left;
}
else{
currentcluster++;
equals[currentcluster]=currentcluster;
当前象素点标签=currentcluster; //新标签
}
}
}
自右向左的过程与之相似,只是此时需要取得当前象素点正上方点和右方点的标签来进行比较以决定当前点的标签。
在区域搜索的过程中,有可能产生的一个问题是:两个具有不同标签的区域事实上属于同一区域。在这种情况下,将这两个区域记录在equals链表中并进行合成,而这一部分的工作就是把这样的区域连接到一起,并给每一区域赋一个新的标签。
确定编码标志物的位置要在图像中确定编码标志物,就需要先找到引导条和相应的角基石。寻找候选引导条的方法是,如果某区域的轴比率落在一个给定的理想值邻近范围内,就将其当作候选引导条,然后,根据区域的大小与方向来确定第二个引导条与三个角基石的位置,如果当前图像中相应位置确有这些特征,就算是找到了真正的引导条。
将经过图像处理的标志物通过特性匹配算法与标志物文件中的合法标志物进行比较,找到合法的二维可视编码标志物;
其中,对于满足大小、形状的标志物都要通过特征匹配算法与标志物文件中的合法标志物进行比较。如果误差在允许的范围内,则判定已寻找到合法的标志物,此时记录该标志物在图像坐标系中的位置,该图像坐标系是二维坐标系,以图像的横向为X轴,纵向为Y轴。利用二维可视化编码都是正方形的特征,依次记录该标志物顶点的位置,以及该标志物中的图像以及像素值信息,计算对应于该标志物的编码值。如果没有寻找到合法的标志物,则直接退出程序。
402:视频跟踪模块获得来自视频帧捕获模块的真实环境的视频帧,并对该视频帧进行计算处理;
请参见图5中505~506,其具体步骤如下:
视频跟踪模块获得标志物坐标系和图像坐标系中对应的标志物顶点坐标,并计算从标志物坐标系到相机坐标系的变换矩阵,标志物在相平面上成相的过程,相当于点从三维标志物坐标系上变换到相机坐标系上,然后投影到相平面上形成标志物的二维图像;并通过采样二维可视编码中间编码部分的图案,得出编码值,然后通过识别到的标志物编码值从虚实对应数据库中检索到对应与该编码的三维模型,并获得该三维模型的顶点数组,最后对顶点数组中的顶点坐标乘以变换矩阵得到该三维图形在相机坐标系下的坐标;
其中,在获得了标志物坐标系和图像坐标系中对应的标志物顶点的坐标后,通过联立方程组可以解得投影矩阵和T的乘积。而投影矩阵完全取决于相机的内部参数,因此可推算得到变换矩阵T。
对基于标志物的增强现实来说,一个标志物实际上就定义了一个标志物坐标系,在标志物平面上的三维虚拟图形,事实上都是建立在标志物坐标系内的。从标志物坐标系到相机坐标系的变换与之前所提到的变换过程基本相同,假设标志物坐标系相当于一个Z=0的坐标系,这样有:
其中pij表示之前所提到的透视投影矩阵的第i行第j列的元素,而H则是一个将二维标志物坐标变换到二维图像坐标的3x3的投影矩阵,称作homography。如果进行归一化处理的话,则Eq1-1又可以表示成:
其中λ是比例系数。
有了这样的一个矩阵,可以将它写成等式的形式:
其中hij定义了H的第i行第j列元素,将其转化成线性形式:
x′(h31x+h32y+h33)=h11x+h12y+h13
y′(h31x+h32y+h33)=h21x+h22y+h23
矩阵形式来表示:
h=[h11 h12 h13 h21 h22 h23 h31 h32 h33]T是一个9x1的向量,其中的元素正对应着H中的每个元素。通过归一化的处理,另h33=1,则h中还有8个未知量,需要由8个方程来进行求解。此时需要得到4个顶点(x1,y1),(x2,y2),(x3,y3),(x4,y4)以及它们在分别图像平面中的对应点(x1′,y1′),(x2′,y2′),(x3′,y3′),(x4′,y4′),其中(x1,y1),(x2,y2),(x3,y3),(x4,y4)在其标志物坐标系中的坐标已知。在这4个顶点的信息完整的情况下,得到如下的矩阵方程:
在求解h的过程中,需要做这样的变形
则h=C-1B,整个h的求解过程就可以归为对C的求逆过程和一次矩阵的乘法。在得到h之后,对应的图像平面上的点的坐标就可以由Eq1-2求出。
目前为止,得到的H只能用来进行2D-2D的转换,这是因为在Eq1-1里做了一定的限制,假设标志物坐标系中Z分量始终等于0,这也就限制了暂时不能在Marker坐标系中定义三维的物体。为了能够实现从标志物坐标系到图像平面坐标系的3D-2D的转换,必须得到Eq1-1中p13,p23,p33的值。
从Eq1-1中可以看出H只是在Z=0的情况下,透视投影矩阵的一个简化形式,同样可以把H定义成如下的形式:
由于R是一个旋转矩阵,则根据其正交属性可以得到:
r11 2+r21 2+r31 2=1 Eq1-7
r12 2+r22 2+r32 2=1 Eq1-8
r11r12+r21r22+r31r32=0 Eq1-9
将Eq1-6代入Eq1-9,可以得到:
h11h12/fu 2+h21h22/fv 2+h31h32=0 Eq1-10
类似的,将Eq1-7和Eq1-8代入后可以得到:
λ2(h11/fu 2+h21/fv 2+h31 2)=0 Eq1-11
λ2(h12/fu 2+h22/fv 2+h32 2)=0 Eq1-12
通过消去Eq1-10和Eq1-11中的λ2,可以得到下式:
(h11 2-h12 2)/fu 2+(h21 2-h22 2)/fv 2+h31 2-h32 2=0 Eq1-13
再结合Eq1-10和Eq1-13,可以得到fu和fv的计算公式:
在得到了相机内部参数fu和fv之后,可以利用Eq1-11或者Eq1-12来计算λ的值:
再根据Eq1-1,所有的相机外部参数也可以通过计算得到:
r11=λh11/fu r12=λh12/fu r13=r21r32-r31r22 t1=λh13/fu
r21=λh21/fv r22=λh22/fv r23=r31r12-r11r32 t2=λh23/fv
r31=λh31 r32=λh32 r33=r11r22-r21r12 t3=λh33
得到了所有的相机内部参数和外部参数以后,就可以由
来实现从标志物坐标系到图像平面的3D-2D变换。
403:虚拟图形***模块绘制以该坐标数组对应的三维图形,并将该三维图形存储在帧缓存中,生成虚拟图形帧;
请参见图5中507~508,虚拟图形***模块根据变换矩阵T绘制编码C对应的三维图形,并将该三维图形存储在帧缓存中,生成虚拟图形帧。
404:虚实合成模块将得到的虚拟图形帧与视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧进行合成,得到增强现实环境的合成视频帧;
405:视频显示模块获得增强现实环境的合成视频帧,并将其输入到显示器上。
其中,在本方案里使用OpenGL ES作为三维图形API(应用程序编程接口)。OpenGL ES是OpenGL的一个小空间子集,应用于高级的嵌入式图形处理,能支持3D游戏功能,并可用在包括定点处理器在内的广泛的平台上。为了将三维模型显示在背景前面,绘图API全部采用OpenGL ES,于是将背景作为纹理,贴在一块和屏幕同样大小的长方形上,其中设置相关数组和绘制的代码是:
glVertexPointer(3,GL_SHORT,0,vertices);//设置顶点坐标数组
glTexCoordPointer(2,GL_BYTE,0,texCoords);//设置纹理坐标数组
glDrawElements(GL_TRIANGLES,2*3,GL_UNSIGNED_BYTE,triangles);//绘制背景
在前面已经求出了三维模型在图像坐标系下的位置,只要把求出的位置坐标设置在OpenGL ES上,对应的顶点数组中就可以显示它了。显示三维模型的代码是:
glVertexPointer(3,GL_FLOAT,0,iVertexPointer);//设置三维物体顶点数组
glDrawElements(GL_TRIANGLES,faceNum*3,GL_UNSIGNED_SHORT,iIndex);//绘制三维物体。
以上对本发明所提供的一种二维可视编码结合到三维增强现实的方法进行了详细介绍,上述方案中二维可视编码的编码规则并不是唯一的,通过改变编码的位数、改变编码中图像的形状以及改变编码图像的识别特征或特征个数,从而获得新的编码规则的数字编码;或者采用其他三维图形应用程序编程接口,或采用其他虚拟图形生成和绘制方法,或改变虚拟图形与视频帧合成的前后顺序,均可达到本发明目的。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想和算法,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1、一种实现三维增强现实的方法,其特征在于,具体包括步骤:
A:获得二维可视编码标志物的视频帧;
B:对所述视频帧进行增强现实处理,得到虚拟图形帧;
C:将所述虚拟图形帧与视频帧进行合成,得到合成视频帧。
2、根据权利要求1所述的实现三维增强现实的方法,其特征在于,所述步骤A中二维可视编码标志物中包含图案,所述图案按照编码规则排布。
3、根据权利要求1所述的实现三维增强现实的方法,其特征在于,所述步骤A之前进一步包括步骤:
A1:初始化三维图形***环境、相机内部参数以及标志物文件;
A2:抓取标志物的视频帧图像,并将该图像缩放使其作为图形***中的纹理贴图;
A3:将纹理贴图绘制为背景并存储在图形***提供的帧缓存中;
A4:对步骤A2中抓取的视频帧图像进行图像处理;
A5:将所述视频帧图像经过图像处理的标志物与标志物文件中规定的标志物进行比较,并判断误差是否小于设定值,如果是,则判定找到标志物;
A6:记录该标志物在标志物坐标系和图像坐标系中的顶点坐标,并计算与该标志物对应的编码值。
4、根据权利要求3所述的实现三维增强现实的方法,其特征在于,所述步骤A4具体包括步骤:
A41:对抓取的视频帧进行图像灰度处理和二值化;
A42:对抓取的视频帧进行图像标记;
A43:对抓取的视频帧进行轮廓提取。
5、根据权利要求1或3所述的实现三维增强现实的方法,其特征在于,所述步骤B具体包括步骤:
B1:获得标志物坐标系和图像坐标系中对应的标志物顶点坐标,并计算从标志物坐标系到相机坐标系的变换矩阵;
B2:采样二维可视编码中编码图案,得出编码值。
6、根据权利要求5所述的实现三维增强现实的方法,其特征在于,所述步骤B2后进一步包括步骤:
B3:检索对应于该编码的三维模型,获取该三维模型,并获得所述三维模型的顶点数组。
7、根据权利要求6所述的实现三维增强现实的方法,其特征在于,所述步骤B3后还包括步骤:
B4:获得顶点数组中的顶点与变换矩阵的乘积,所述乘积是该三维图形在相机坐标系下的坐标数组;
B5:绘制以该坐标数组对应的三维图形,并将该三维图形存储在帧缓存中,生成虚拟图形帧。
8、一种实现三维增强现实的***,其特征在于,该***包括:视频帧捕获模块、视频跟踪模块、虚拟图形***模块以及虚实合成模块;
视频帧捕获模块用于捕获二维可视编码标志物的视频帧,并将该视频帧发送给视频跟踪模块;
视频跟踪模块用于计算处理获得的标志物视频帧,根据计算处理结果获得从标志物坐标系到相机坐标系的变换矩阵;还用于采样二维可视编码中编码图案,获得标志物编码值,检索出与该编码值对应的三维模型,并根据该三维模型的顶点数组与变换矩阵的乘积,得到该三维图形在相机坐标系下的坐标数组;
虚拟图形***模块用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的三维图形;将该三维图形存储在帧缓存中,生成虚拟图形帧;
虚实合成模块用于将获得的虚拟图形帧与二维可视编码标志物的视频帧进行合成,得到合成视频帧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB200610101229XA CN100470452C (zh) | 2006-07-07 | 2006-07-07 | 一种实现三维增强现实的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB200610101229XA CN100470452C (zh) | 2006-07-07 | 2006-07-07 | 一种实现三维增强现实的方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101101505A CN101101505A (zh) | 2008-01-09 |
CN100470452C true CN100470452C (zh) | 2009-03-18 |
Family
ID=39035809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB200610101229XA Active CN100470452C (zh) | 2006-07-07 | 2006-07-07 | 一种实现三维增强现实的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100470452C (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402790A (zh) * | 2010-08-20 | 2012-04-04 | 株式会社泛泰 | 用于增强现实的终端设备及方法 |
CN102479251A (zh) * | 2010-11-29 | 2012-05-30 | 株式会社泛泰 | 使用增强现实数据库提供增强现实的移动终端和方法 |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090189893A1 (en) * | 2008-01-27 | 2009-07-30 | Petrov Julian | Methods and systems for computing a hash from a three dimensional data set loaded into a resource |
CN101702233B (zh) * | 2009-10-16 | 2011-10-05 | 电子科技大学 | 视频帧中基于三点共线标记点的三维定位方法 |
US8416263B2 (en) * | 2010-03-08 | 2013-04-09 | Empire Technology Development, Llc | Alignment of objects in augmented reality |
CN101833896B (zh) * | 2010-04-23 | 2011-10-19 | 西安电子科技大学 | 基于增强现实的地理信息指引方法与*** |
CN101923791A (zh) * | 2010-05-31 | 2010-12-22 | 华中师范大学 | 一种利用增强现实技术与平面读物相结合的汉字学习方法 |
KR101383982B1 (ko) * | 2010-08-06 | 2014-04-10 | 주식회사 비즈모델라인 | 증강 현실을 위한 장치 및 방법 |
KR101330811B1 (ko) * | 2010-08-25 | 2013-11-18 | 주식회사 팬택 | 인스턴트 마커를 이용한 증강 현실 장치 및 방법 |
CN101976464B (zh) * | 2010-11-03 | 2013-07-31 | 北京航空航天大学 | 基于单应性矩阵的多平面动态的增强现实注册的方法 |
US9264515B2 (en) * | 2010-12-22 | 2016-02-16 | Intel Corporation | Techniques for mobile augmented reality applications |
KR101308184B1 (ko) * | 2011-01-13 | 2013-09-12 | 주식회사 팬택 | 윈도우 형태의 증강현실을 제공하는 장치 및 방법 |
US20120201472A1 (en) * | 2011-02-08 | 2012-08-09 | Autonomy Corporation Ltd | System for the tagging and augmentation of geographically-specific locations using a visual data stream |
CN103210360B (zh) * | 2011-02-25 | 2016-05-04 | 英派尔科技开发有限公司 | 用于增强现实演出的方法、设备和*** |
US8738754B2 (en) | 2011-04-07 | 2014-05-27 | International Business Machines Corporation | Systems and methods for managing computing systems utilizing augmented reality |
US8913086B2 (en) | 2011-04-07 | 2014-12-16 | International Business Machines Corporation | Systems and methods for managing errors utilizing augmented reality |
WO2011137764A2 (zh) * | 2011-05-11 | 2011-11-10 | 华为终端有限公司 | 实现增强现实应用的方法及*** |
EP2724262A4 (en) * | 2011-06-21 | 2015-04-01 | Ericsson Telefon Ab L M | INTERMEDIATE STORAGE SUPPORT FOR VISUAL SEARCH AND EXTENDED REALITY IN MOBILE NETWORKS |
CN102915234A (zh) * | 2011-08-04 | 2013-02-06 | ***通信集团公司 | 一种应用程序中程序界面的实现方法及装置 |
US8581738B2 (en) * | 2011-08-25 | 2013-11-12 | Sartorius Stedim Biotech Gmbh | Assembling method, monitoring method, and augmented reality system used for indicating correct connection of parts |
CN102958114B (zh) * | 2011-08-27 | 2017-10-03 | 中兴通讯股份有限公司 | 访问增强现实用户上下文的方法 |
CN102509348B (zh) * | 2011-09-26 | 2014-06-25 | 北京航空航天大学 | 一种共享增强现实场景的真实物体多方位表示方法 |
CN102346660A (zh) * | 2011-10-13 | 2012-02-08 | 苏州梦想人软件科技有限公司 | 一种混合现实与虚拟物体的***及方法 |
JP6121647B2 (ja) * | 2011-11-11 | 2017-04-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN102739872A (zh) * | 2012-07-13 | 2012-10-17 | 苏州梦想人软件科技有限公司 | 移动终端及应用于移动终端的增强现实方法 |
CN102908772B (zh) * | 2012-10-16 | 2015-02-18 | 东南大学 | 利用增强现实技术的上肢康复训练*** |
US9508146B2 (en) * | 2012-10-31 | 2016-11-29 | The Boeing Company | Automated frame of reference calibration for augmented reality |
CN102945637A (zh) * | 2012-11-29 | 2013-02-27 | 河海大学 | 一种基于增强现实的嵌入式教学模型及其方法 |
CN104969237B (zh) * | 2012-12-07 | 2018-05-18 | 奥瑞斯玛有限公司 | 匹配采集到的可视数据的特征 |
CN103873840B (zh) | 2012-12-12 | 2018-08-31 | 联想(北京)有限公司 | 显示方法及显示设备 |
KR101932537B1 (ko) * | 2013-01-08 | 2019-03-15 | 한화테크윈 주식회사 | 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치 |
TWI506563B (zh) * | 2013-01-28 | 2015-11-01 | Tencent Tech Shenzhen Co Ltd | A method and apparatus for enhancing reality of two - dimensional code |
US20140210857A1 (en) * | 2013-01-28 | 2014-07-31 | Tencent Technology (Shenzhen) Company Limited | Realization method and device for two-dimensional code augmented reality |
CN103198476B (zh) * | 2013-03-12 | 2015-07-01 | 西北工业大学 | 一种粗线型十字圆环标记的图像检测方法 |
CN104062758B (zh) * | 2013-03-19 | 2017-02-08 | 联想(北京)有限公司 | 图像显示的方法和显示设备 |
CN104102678B (zh) * | 2013-04-15 | 2018-06-05 | 腾讯科技(深圳)有限公司 | 增强现实的实现方法以及实现装置 |
CN103544724A (zh) * | 2013-05-27 | 2014-01-29 | 华夏动漫集团有限公司 | 一种利用增强现实与卡片识别技术在移动智能终端实现虚拟动漫角色的***及方法 |
WO2015062164A1 (en) * | 2013-10-31 | 2015-05-07 | The Chinese University Of Hong Kong | Method for optimizing localization of augmented reality-based location system |
CN103677211B (zh) * | 2013-12-09 | 2016-07-06 | 华为软件技术有限公司 | 实现增强现实应用的装置及方法 |
CN104157007B (zh) * | 2014-03-03 | 2018-02-27 | 腾讯科技(北京)有限公司 | 视频处理的方法及装置 |
CN104951260B (zh) * | 2014-03-31 | 2017-10-31 | 云南北方奥雷德光电科技股份有限公司 | 在嵌入式Linux平台下基于Qt的混合界面的实现方法 |
CN104166966B (zh) * | 2014-08-14 | 2017-02-01 | 马明飞 | 一种图像增强现实应用的实现方法 |
CN104634323B (zh) * | 2015-02-15 | 2016-10-12 | 四川川大智胜软件股份有限公司 | 一种多级摄像三维照相***及方法 |
RU2606874C1 (ru) * | 2015-12-02 | 2017-01-10 | Виталий Витальевич Аверьянов | Способ управления устройством формирования среды дополненной реальности |
CN107682688B (zh) * | 2015-12-30 | 2020-02-07 | 视辰信息科技(上海)有限公司 | 基于增强现实的视频实时录制方法及录制设备 |
CN107564089B (zh) * | 2017-08-10 | 2022-03-01 | 腾讯科技(深圳)有限公司 | 三维图像处理方法、装置、存储介质和计算机设备 |
CN107590453B (zh) * | 2017-09-04 | 2019-01-11 | 腾讯科技(深圳)有限公司 | 增强现实场景的处理方法、装置及设备、计算机存储介质 |
CN107885331A (zh) * | 2017-11-09 | 2018-04-06 | 北京易讯理想科技有限公司 | 一种基于增强现实技术实现音频切换的交互方法 |
CN108921889A (zh) * | 2018-05-16 | 2018-11-30 | 天津大学 | 一种基于扩增现实应用的室内三维定位方法 |
CN108805903B (zh) * | 2018-05-24 | 2021-07-27 | 讯飞幻境(北京)科技有限公司 | 一种基于ar引擎的多标记点识别方法和装置 |
CN110555879B (zh) * | 2018-05-31 | 2023-09-08 | 京东方科技集团股份有限公司 | 一种空间定位方法、其装置、其***及计算机可读介质 |
CN110120101B (zh) * | 2019-04-30 | 2021-04-02 | 中国科学院自动化研究所 | 基于三维视觉的圆柱体增强现实方法、***、装置 |
CN112529985A (zh) * | 2019-09-17 | 2021-03-19 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
CN113673283A (zh) * | 2020-05-14 | 2021-11-19 | 惟亚(上海)数字科技有限公司 | 一种基于增强现实的平滑跟踪方法 |
-
2006
- 2006-07-07 CN CNB200610101229XA patent/CN100470452C/zh active Active
Non-Patent Citations (1)
Title |
---|
Marker Tracking and HMD Calibration for a video-basedAugmented Reality conferencing System. Hirokazu Kato, Mark Billinghurst.Proceedings of the 2nd International Workshop on Augmented Reality. 1999 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402790A (zh) * | 2010-08-20 | 2012-04-04 | 株式会社泛泰 | 用于增强现实的终端设备及方法 |
CN102479251A (zh) * | 2010-11-29 | 2012-05-30 | 株式会社泛泰 | 使用增强现实数据库提供增强现实的移动终端和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101101505A (zh) | 2008-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100470452C (zh) | 一种实现三维增强现实的方法及*** | |
Mohring et al. | Video see-through AR on consumer cell-phones | |
RU2215326C2 (ru) | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта | |
KR101469398B1 (ko) | 텍스트 기반 3d 증강 현실 | |
RU2216781C2 (ru) | Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта | |
US6914599B1 (en) | Image processing apparatus | |
CN104537705B (zh) | 基于增强现实的移动平台三维生物分子展示***和方法 | |
CN112954292B (zh) | 一种基于增强现实的数字博物馆导览***和方法 | |
CN107689050B (zh) | 一种基于彩色图像边缘引导的深度图像上采样方法 | |
CN109711246B (zh) | 一种动态物体识别方法、计算机装置及可读存储介质 | |
US8340433B2 (en) | Image processing apparatus, electronic medium, and image processing method | |
CN108305291B (zh) | 利用包含定位二维码的墙体广告的单目视觉定位定姿方法 | |
CN101702233B (zh) | 视频帧中基于三点共线标记点的三维定位方法 | |
CN101520904A (zh) | 带有现实环境估算的增强现实的方法及其*** | |
KR20150105479A (ko) | 2차원 코드 증강 현실의 실현 방법 및 디바이스 | |
US20150138193A1 (en) | Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium | |
JPH0935061A (ja) | 画像処理方法 | |
CN104156998A (zh) | 一种基于图片虚拟内容融合真实场景的实现方法及*** | |
CN114240981A (zh) | 标记识别方法及装置 | |
JP6017343B2 (ja) | データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム | |
JP4649559B2 (ja) | 3次元物体認識装置、並びに3次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体 | |
GB2571953A (en) | Single view tracking of cylindrical objects | |
CN201374082Y (zh) | 基于图像特征点提取与随机树分类的增强现实*** | |
JP2010044586A (ja) | 2次元コード読取装置とそのプログラム | |
Dong et al. | Occlusion handling method for ubiquitous augmented reality using reality capture technology and GLSL |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |