CN104700384B - 基于增强现实技术的展示***及展示方法 - Google Patents

基于增强现实技术的展示***及展示方法 Download PDF

Info

Publication number
CN104700384B
CN104700384B CN201310647907.2A CN201310647907A CN104700384B CN 104700384 B CN104700384 B CN 104700384B CN 201310647907 A CN201310647907 A CN 201310647907A CN 104700384 B CN104700384 B CN 104700384B
Authority
CN
China
Prior art keywords
real world
primary objectives
target object
precision target
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310647907.2A
Other languages
English (en)
Other versions
CN104700384A (zh
Inventor
邓亮
樊春玲
冯良炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201310647907.2A priority Critical patent/CN104700384B/zh
Publication of CN104700384A publication Critical patent/CN104700384A/zh
Application granted granted Critical
Publication of CN104700384B publication Critical patent/CN104700384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种基于增强现实技术的展示***及展示方法。展示***包括:图像获取单元,被构造为获取真实世界图像;分割单元,被构造为从获取的真实世界图像中分割出初级目标对象,且被构造为判断是否需要在初级目标对象中确定精确目标对象的准确位置,且被构造为当判断是需要时在初级目标对象中确定精确目标对象的准确位置,且被构造为根据确定的精确目标对象的准确位置来分割出精确目标对象;融合单元,被构造为判断是否将虚拟对象、初级目标对象及被分割出初级目标对象的真实世界图像融合为第一增强现实图像,且被构造为将精确目标对象、虚拟对象及被分割出初级目标对象的真实世界图像融合为第二增强现实图像;显示单元,被构造为显示各种图像。

Description

基于增强现实技术的展示***及展示方法
技术领域
本发明涉及一种基于增强现实技术的展示***及展示方法。
背景技术
增强现实(Augmented reality,AR)技术是通过计算机***提供的信息增加用户对现实世界感知的技术,其将虚拟的信息应用到真实世界,并将计算机生成的虚拟物体、场景或***提示信息叠加到真实场景中,从而实现对现实的增强。增强现实技术在近些年获得了迅猛的发展,一方面得益于计算机数字媒体技术的进步,另一方面来自市场需求的推动;各大科技公司都投巨资进行相关方面的研究,如谷歌公司的谷歌眼镜等,另外,还出现了一批专业从事虚拟现实技术应用的科技公司,如国内的触角科技、梦想人科技及傲唯刃道科技等。
增强现实技术在尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术、广告等领域具有广泛的应用。在现有技术中,现有的展示技术基本上以观众被动接受为主,鲜有展示技术能够很好地调动观众的兴趣使其参与其中。
发明内容
为了解决上述现有技术存在的问题,本发明的目的在于提供一种基于增强现实技术的展示***,其中,所述展示***包括:图像获取单元,被构造为从真实世界获取真实世界图像;分割单元,被构造为从获取的所述真实世界图像中分割出初级目标对象,且被构造为判断是否需要在所述初级目标对象中确定精确目标对象的准确位置,且被构造为当所述判断是需要时在所述初级目标对象中确定所述精确目标对象的准确位置,且被构造为根据确定的所述精确目标对象的准确位置来分割出所述精确目标对象;融合单元,被构造为判断是否将存储的虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像融合为第一增强显示图像且被构造为将所述分割单元分割出的所述精确目标对象、所述虚拟对象以及被分割出所述初级目标对象的真实世界图像融合为第二增强现实图像;显示单元,被构造为显示获取的所述真实世界图像或者所述第一增强现实图像或者显示所述第二增强现实图像。
进一步地,所述分割单元包括:背景分割单元,被构造为从获取的所述真实世界图像中分割出所述初级目标对象;目标检测单元,被构造为判断是否需要在所述初级目标对象中确定所述精确目标对象的准确位置,且被构造为当判断为需要时在所述初级目标对象中确定所述精确目标对象的准确位置;精确分割单元,被构造为基于所述目标检测单元确定的所述精确目标对象的准确位置来分割出所述精确目标对象。
进一步地,当所述融合单元判断为将存储的虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像融合为所述第一增强现实图像时,所述分割单元判断是否需要在所述初级目标对象中确定所述精确目标对象的准确位置;当所述融合单元判断为不对存储的虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像进行融合时,则所述显示单元显示获取的所述真实世界图像。
进一步地,所述融合单元进一步被构造为判断是否存在已存储的精确目标对象;其中,当所述分割单元判断为不需要在所述初级目标对象中确定所述精确目标对象的准确位置时,且所述融合单元判断为存在已存储的精确目标对象时,所述融合单元将所述已存储的精确目标对象、所述虚拟对象以及被分割出所述初级目标对象的真实世界图像融合为所述第二增强现实图像,所述显示单元显示所述第二增强现实图像。
进一步地,当所述融合单元判断为不存在已存储的精确目标对象时,所述显示单元显示所述第一增强现实图像。
本发明的另一目的还在于提供一种基于增强现实技术的展示方法,其中,所述展示方法包括步骤:A)从真实世界中获取真实世界图像;B)从获取的所述真实世界图像中分割出初级目标对象;C)判断是否将存储的虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像进行融合,以形成第一增强现实图像,若判断为是,则执行步骤D);D)判断是否需要在所述初级目标对象中确定精确目标对象的准确位置;其中,若判断为是,则在所述初级目标对象中确定精确目标对象的准确位置,并执行步骤E);E)基于在所述初级目标对象中确定的精确目标对象的准确位置,分割出所述精确目标对象;F)将所述精确目标对象、所述虚拟对象以及被分割出所述初级目标对象的真实世界图像进行融合,以形成第二增强现实图像;G)显示所述第二增强现实图像。
进一步地,在所述步骤C)中,若判断为否,则显示由所述步骤A)获取的所述真实世界图像。
进一步地,在执行所述步骤F)之前,将由所述步骤E)分割出的所述精确目标对象进行存储。
进一步地,在所述步骤D)中,若判断为否,则执行步骤:H)判断是否存在已存储的精确目标对象,若判断为是,则执行所述步骤F)
进一步地,在所述步骤H)中,若判断为否,则显示所述第一增强现实图像。
进一步地,在执行步骤G)之前,将经过步骤F)融合后的精确目标对象删除。
本发明的基于增强现实技术的展示***及展示方法,采用增强现实技术将虚拟物体与现实物体叠加起来,增强用户的感官体验,并增加与用户的互动性,让用户“参与”到展示中来,从而实现很好的展示效果。
附图说明
通过下面结合附图进行的描述,本发明的上述和其他目的和特点将会变得更加清楚,附图中:
图1是示出根据本发明的实施例的基于增强现实技术的展示***的框图。
图2是示出根据本发明的实施例的可变模型目标检测滤波器的检测示意图。
图3是示出根据本发明的实施例的基于增强现实技术的展示方法的流程图。
具体实施方式
现在通过参照附图对本发明的实施例进行描述以解释本发明。此外,在下面的描述中,为了避免公知结构和/或功能的不必要的详细描述所导致的本发明构思的混淆,可省略公知结构和/或功能的不必要的详细描述。
图1是示出根据本发明的实施例的基于增强现实技术的展示***的框图。
参照图1,根据本发明的实施例的基于增强现实技术的展示***包括:图像获取单元10、分割单元20、融合单元30、显示单元40和存储单元50。
图像获取单元10被构造为从真实世界获取真实世界图像。例如,图像获取单元10可是视频摄像机或视频照相机等,其可通过拍摄真实世界来获取真实世界图像或者真实世界影像。
分割单元20被构造为从由图像获取单元10获取的所述真实世界图像中分割出初级目标对象。分割单元20被构造为判断是否需要在从所述真实世界图像中分割出的所述初级目标对象中确定精确目标对象的准确位置。当分割单元20判断为需要在所述初级目标对象中确定精确目标对象的准确位置时,分割单元20被构造为在所述初级目标对象中确定所述精确目标对象的准确位置。分割单元20被构造为根据确定的所述精确目标对象的准确位置来分割出所述精确目标对象。
融合单元30被构造为判断是否将存储在存储单元50的虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像融合为第一增强现实图像。并且,融合单元30被构造为将分割单元20分割出的所述精确目标对象、存储在存储单元50的虚拟对象以及被分割出所述初级目标对象的真实世界图像融合为第二增强现实图像。在本实施例中,融合单元30可采用,但不限于,ARToolKit软件框架(其能够提供丰富的与增强现实技术有关的API(Application Programming Interface,应用程序编程接口))来实现存储在存储单元50的虚拟对象与图像获取单元10获取的所述真实世界图像的实时融合,以及实现分割单元20分割出的所述精确目标对象、存储在存储单元50的虚拟对象和被分割出所述初级目标对象的真实世界图像的实时融合。
显示单元40被构造为显示图像,其中,这里的图像可是图像获取单元10获取的所述真实世界图像、所述第一增强现实图像或者所述第二增强现实图像中之一。例如,显示单元40可是显示屏等,其可用于显示图像(或者影像)。
继续参照图1,分割单元20可进一步包括背景分割单元21、目标检测单元22以及精确分割单元23。
背景分割单元21被构造为从由图像获取单元10获取的所述真实世界图像中分割出初级目标对象,其目的是:一方面是为了在所述真实世界图像中初步确定可能存在精确目标对象的区域,减小目标检测单元22的计算量,另一方面也是为后续的精确分割单元23提供数据。这里需要说明的是,所述初级目标对象是指存在精确目标对象的区域。例如,由图像获取单元10获取的真实世界图像中可包含有若干真实行人(即精确目标对象),背景分割单元21可在该真实世界图像中分割出包含一真实行人的区域来作为所述初级目标对象。
目标检测单元22被构造为判断是否需要在所述初级目标对象中确定所述精确目标对象的准确位置。并且,当目标检测单元22判断为需要在所述初级目标对象中确定所述精确目标对象的准确位置时,目标检测单元22被构造为在所述初级目标对象中确定所述精确目标对象的准确位置。例如,目标检测单元22判断是否需要在包含一真实行人的区域中确定该一真实行人的准确位置;当目标检测单元22判断为需要在包含一真实行人的区域中确定该一真实行人的准确位置,目标检测单元22可例如采用,但不限于,矩形框在包含一真实行人的区域中确定该一真实行人的准确位置。
精确分割单元23被构造为基于目标检测单元22确定的所述精确目标对象的准确位置来从所述初级目标对象中分割出所述精确目标对象。这里,尽管背景分割单元21已对由所述图像获取单元10获取的真实世界图像进行了初级的分割,但是由于背景分割单元21只使用了初级目标对象中包含的精确目标对象的运动信息,导致其分割出的初级目标对象并不准确,因此,通过精确分割单元23可以更加有效准确地将初级目标对象中包含的精确目标对象分割出来。例如,当目标检测单元22在包含一真实行人的区域中确定该一真实行人的准确位置时,精确分割单元23根据确定的该一真实行人的准确位置将该一真实行人从该包含一真实行人的区域中分割出来。
此外,当融合单元30判断为将存储在存储单元50的所述虚拟对象(例如一虚拟模特)、所述初级目标对象与被分割出所述初级目标对象的真实世界图像融合为所述第一增强现实图像时,分割单元20判断是否需要在所述初级目标对象中确定所述精确目标对象的准确位置;当融合单元30判断为不对存储在存储单元50的所述虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像进行融合时,则显示单元40显示由图像获取单元10获取的所述真实世界图像。例如,当融合单元30判断为将存储在存储单元50的该一虚拟模特与由图像获取单元10获取的包含有若干真实行人(即精确目标对象)的真实世界图像融合为所述第一增强现实图像时,分割单元20则判断是否需要在包含一真实行人的区域(即所述初级目标对象)中确定该一真实行人(及精确目标对象)的准确位置;当融合单元30判断为不对存储在存储单元50的该一虚拟模特与由图像获取单元10获取的包含有若干真实行人(即精确目标对象)的真实世界图像进行融合时,则显示单元40直接显示由图像获取单元10获取的包含有若干真实行人(即精确目标对象)的真实世界图像。
另外,融合单元30可被进一步构造为判断是否存在已存储的精确目标对象;其中,所述已存储的精确目标对象是指从图像获取单元10获取的之前的真实世界图像(例如之前一帧的真实世界图像)中分割并存储在存储单元50的精确目标对象。当分割单元20判断为不需要在所述初级目标对象中确定所述精确目标对象的准确位置时,在融合单元30判断为存在已存储的精确目标对象时,融合单元30将已存储的精确目标对象、所述虚拟对象以及被分割出所述初级目标对象的真实世界图像融合为所述第二增强现实图像,显示单元40显示所述第二增强现实图像。当融合单元30判断为不存在已存储的精确目标对象,则显示单元40显示所述第一增强现实图像。例如,当分割单元20判断为不需要在包含一真实行人的区域(即所述初级目标对象)中确定该一真实行人(即精确目标对象)的准确位置且融合单元30判断为存在已存储的该一真实行人(及精确目标对象)时,融合单元30将已存储的该一真实行人、该一虚拟模特以及被分割出包含一真实行人的区域的真实世界图像融合为第二增强现实图像,显示单元40显示该第二增强现实图像。在融合单元30判断为不存在已存储的该一真实行人(及精确目标对象)时,显示单元40显示由存储在存储单元50的该一虚拟模特、包含该一真实行人的区域(即所述初级目标对象)与被分割出包含该一真实行人的区域的真实世界图像融合形成的第一增强现实图像。
为了使背景分割单元21、目标检测单元22和精确分割单元23能够分别实现上述的功能,下面将对它们所采用的模型或者方法等进行详细的说明。
一、背景分割单元21
在本实施例中,背景分割单元21中采用的模型通常是高斯混合模型(GaussianMixture Models,GMMs)。该高斯混合模型是将每个像素点的分布都看成是K个高斯模型的加权和,其满足下面的式子。
这里,P(Xt)是该高斯混合模型的概率密度函数;Xt是第t时刻的像素值;K是分布的个数;ωi,t是t时刻第i个高斯模型的权值;μi,t与∑i,t分别是t时刻第i个高斯模型的均值和协方差矩阵;η为单个高斯分布的概率密度函数。
其中,单个高斯分布的概率密度函数η满足下面的式子。
这里,Xt是第t时刻的像素值;μt是t时刻该高斯混合模型的均值;∑t是t时刻该高斯混合模型的协方差矩阵。
每个像素点的高斯混合模型都是利用当前像素点的值不断更新高斯混合模型得到的,其更新方法满足下面的式子。
μt=(1-ρ)μt-1+ρXt (3)
这里,Xt是第t时刻的像素值;ρ是学习率,其用来控制当前的高斯混合模型是由哪些帧学习得到;μt是t时刻该高斯混合模型的均值;μt-1是t-1时刻该高斯混合模型的均值。σt是t时刻该高斯混合模型的方差值;σt-1是t-1时刻该高斯混合模型的方差值。
通常情况下取ρ=2/D,其中,D为学习高斯混合模型的最近帧数。将ρ=2/D代入式子(3)中,式子(3)可以展开为下面的式子。
这里,ρ是学习率;μt是t时刻该高斯混合模型的均值,Xi表示i时刻的像素值。
可以设初始均值μ0=0,那么式子(5)可以简化为下面的式子。
其中,ct,i=(1-ρ)t-i,其为学习帧的权重;ρ是学习率,Xi表示i时刻的像素值。
当i<=t-D且ρ较小时,所以当ρ较小时,高斯混合模型参数的更新(如式子(3)、式子(4))可以被认为只跟最近帧数D有关。
将上述的高斯混合模型按照每个高斯模型的权重ω与方差σ的比值ω/σ进行降序排列,选择前B个高斯分布,则B的选取方式满足下面的式子。
其中,T为真实世界图像的最小比例值,ωk表示第k个高斯模型的权重。这样,B就为满足上述条件的最小高斯模型个数。
综上所述,如果当前帧图像的像素值处于前B个高斯分布中,那么标记当前帧图像为真实世界图像,如果当前帧图像的像素值未处于前B个高斯分布中,那标记当前帧图像为包含有精确目标对象的初级目标对象。
二、目标检测单元22
本实施例的目标检测单元22可例如是可变模型目标检测滤波器,其采用可变模型检测方法来进行检测,其中,可变模型检测方法是目前目标对象检测中最为成功的方法,特别是在变化较多的运动的目标对象上。该可变模型检测方法将目标模型分为整体模型、部分模型及部分模型位置约束三个重要部分;而可变模型目标检测滤波器包括对应整体模型的根滤波器以及对应部分模型的高精度滤波器。
图2是示出根据本发明的实施例的可变模型目标检测滤波器的检测示意图。该模型由一个基本模型v0与n个部分模型v1,v2,v3,Λ,vn组成。在图2中,(a)图示出了所述根滤波器对整体模型进行整体轮廓检测;(b)图示出了高精度滤波器对部分模型进行检测,其中,一个高精度滤波器对其对应的一个部分模型进行检测;(c)图示出了各个高精度滤波器相对根滤波器的位置限制变化。
根据本发明的实施例的可变模型目标检测滤波器采用的是传统的基于目标边缘及梯度方向的梯度直方图(HOG)特征,其中,图2中的(a)图示出整体模型的HOG主方向,图2中的(b)图示出部分模型的HOG特征主方向,而图2中的(c)图示出部分模型相对整体模型的位移约束,其中,在部分模型相对整体模型的位移约束中,偏离中心位置越远代价越大。该可变模型检测方法采用传统的窗口移位法,在位置(x0,y0,l0)处的滤波结果为根滤波器的滤波值加上部分滤波器的滤波值,具体表示为下面的式子。
其中,(x0,y0,l0)表示在尺度l0上像素坐标(x0,y0)处;为根滤波器v0在坐标(x0,y0)处的滤波值;表示部分滤波器vi的滤波值,其由部分滤波器的滤波值减去偏离中心的代价;λ表示部分滤波器在位置约束下具有最佳滤波值的偏移量。其中,λ对最终的滤波值进行二值判断,其在大于阈值的位置表示存在检测的精确目标对象。
三、精确分割单元23
本实施例的精确分割单元23采用传统的基于GraphCut的分割方法来对初级目标对象进行精确的分割。该基于GraphCut的分割方法是将真实世界图像I中的像素V分配一个唯一的标签xr,r∈V,xr∈{foreground(=1),background(=0)}。标记X={xr}可以通过最小化Gibbs能量得到,能量项E(x)具体表示为下面的式子。
其中,E1为颜色项,E2为邻域项,ε为邻域对,λ为平衡因子。
颜色项分为背景(即上述的真实世界图像)颜色项与前景(即上述的精确目标对象)颜色项,其中,背景颜色项为全局背景颜色项与单个像素颜色项的加权和,混合颜色项Pmix(Ir)具体表示为下面的式子。
Pmix(Ir)=α·p(Ir|x=0)+(1-α)·PB(Ir) (10)
其中,为由背景的所有像素值训练得到的高斯混合模型,为单个像素在时间上的高斯模型,α为平衡全局背景颜色模型与单个像素模型的系数,0≤α≤1,Ir表示当前帧图像。在本实施例中,将pB(Ir)修改为时间上的高斯混合模型,具体表示为下面的式子,这样背景颜色项更为稳定,并且该时间上的高斯混合模型直接来自于背景分割部分。
前景颜色项p(Ir|x=1)由前两帧已分割出来的前景精确目标对象的像素训练得到,最终的颜色项表示为下面的式子。
邻域项其中,drs为相邻像素的差异,其定义表示为下面的式子。
其中,Ir表示当前帧图像,IB表示当前获取的背景图像,K与σz用来控制像素差异灵敏度。
图3是示出根据本发明的实施例的基于增强现实技术的展示方法的流程图。
参照图3,在步骤301中,利用图像获取单元获取真实世界图像。例如,所述图像获取单元可例如是视频摄像机或视频照相机等,其可通过拍摄真实世界来获取真实世界图像或者真实世界影像,该真实世界图像或者真实世界影像可包括若干真实行人(即精确目标对象)。
在步骤302中,利用背景分割单元从获取的所述真实世界图像中分割出初级目标对象。该步骤目的是:一方面是为了在所述真实世界图像中初步确定可能存在精确目标对象的区域,减小目标检测单元的计算量,另一方面也是为后续的精确分割单元提供数据。这里需要说明的是,所述初级目标对象是指存在精确目标对象的区域。例如,由图像获取单元获取的真实世界图像中可包含有若干真实行人(即精确目标对象),背景分割单元可在该真实世界图像中分割出包含一真实行人的区域来作为所述初级目标对象。
在步骤303中,利用融合单元判断是否将在存储在存储单元的虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像进行融合,以形成第一增强现实图像;其中,若判断为是,则执行步骤304。在本实施例中,所述融合单元可采用,但不限于,ARToolKit软件框架(其能够提供丰富的与增强现实技术有关的API(ApplicationProgramming Interface,应用程序编程接口))来实现存储在存储单元的虚拟对象与图像获取单元获取的所述真实世界图像的实时融合,以及实现分割单元分割出的所述精确目标对象、存储在存储单元的虚拟对象和被分割出所述初级目标对象的真实世界图像的实时融合。例如,利用所述融合单元判断是否将存储在存储单元的虚拟对象(例如虚拟模特)、包含一真实行人的区域(即初级目标对象)与被分割出该包含一真实行人的区域的真实世界图像进行融合,以形成第一增强现实图像;其中,如果判断为是,则执行下面的步骤304;如果判断为否,则执行步骤310,利用显示单元显示由步骤301获取的包括若干真实行人的真实世界图像。
在步骤304中,判断是否需要利用目标检测单元在所述初级目标对象中确定精确目标对象的准确位置;其中,若判断为是,则执行步骤305。例如,判断是否需要利用目标检测单元在包含一真实行人的区域中确定该真实行人(即精确目标对象)在该区域中的准确位置;其中,若判断为是,则执行步骤305。
在步骤305中,基于所述目标检测单元在所述初级目标对象中确定的精确目标对象的准确位置,利用精确分割单元分割出所述精确目标对象。例如,所述目标检测单元在包含一真实行人的区域中确定该真实行人在该区域中的准确位置,精确分割单元根据确定的该真实行人在该区域中的准确位置将该真实行人分割出。然后执行步骤306。
在步骤306中,利用融合单元将所述精确目标对象、所述虚拟对象与被分割出所述初级目标对象的真实世界图像进行融合,以形成第二增强现实图像。例如,利用所述融合单元将由步骤305分割出的该真实行人、存储在存储单元的虚拟对象(例如虚拟模特)与被分割出包含一真实行人的区域(即初级目标对象)的真实世界图像进行融合,以形成第二增强现实图像。最后执行步骤307。
在步骤307中,利用显示单元显示所述第二增强现实图像。
此外,在执行步骤306之前,要将由步骤305分割出的所述精确目标对象存储到所述存储单元中。例如,将由步骤305分割出的该真实行人保存在所述存储单元中,用于在对后续帧图像进行该真实行人融合。
此外,在步骤304中,若判断为否,则执行步骤308。在步骤308中,利用融合单元判断是否存在已存储的精确目标对象;其中,若判断为是,则执行步骤306。若判断为否,则执行步骤309。这里需要说明的是,所述已存储的精确目标对象是指从图像获取单元获取的之前的真实世界图像(例如之前一帧的真实世界图像)中分割并存储在存储单元的精确目标对象。例如,利用融合单元判断在存储单元50中是否存在已存储的该真实行人(即精确目标对象);其中,若判断为是,则执行步骤306;若判断为否,则执行步骤309。
在步骤309中,利用显示单元显示所述第一增强现实图像(其由存储在存储单元的虚拟对象(例如虚拟模特)、该包含一真实行人的区域(即初级目标对象)与被分割出包含一真实行人的区域(即初级目标对象)的真实世界图像融合形成)。
此外,在执行步骤307之前,要将经过步骤306融合后的所述精确目标对象进行删除。
上述根据本发明的基于增强现实技术的展示方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的处理方法。此外,当通用计算机访问用于实现在此示出的处理的代码时,代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
综上所述,根据本发明的实施例的基于增强现实技术的展示***及展示方法,采用增强现实技术将虚拟物体与现实物体叠加起来,增强用户的感官体验,并增加与用户的互动性,让用户“参与”到展示中来,从而实现很好的展示效果。
尽管已经参照其示例性实施例具体显示和描述了本发明,但是本领域的技术人员应该理解,在不脱离权利要求所限定的本发明的精神和范围的情况下,可以对其进行形式和细节上的各种改变。

Claims (4)

1.一种基于增强现实技术的展示***,其特征在于,所述展示***包括:
图像获取单元,被构造为从真实世界获取真实世界图像;
分割单元,被构造为从获取的所述真实世界图像中分割出初级目标对象,且被构造为判断是否需要在所述初级目标对象中确定精确目标对象的准确位置,且被构造为当所述判断是需要时在所述初级目标对象中确定所述精确目标对象的准确位置,且被构造为根据确定的所述精确目标对象的准确位置来分割出所述精确目标对象;
融合单元,被构造为判断是否将存储的虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像融合为第一增强现实图像,且被构造为将所述分割单元分割出的所述精确目标对象、所述虚拟对象以及被分割出所述初级目标对象的真实世界图像融合为第二增强现实图像;
显示单元,被构造为显示获取的所述真实世界图像或者所述第一增强现实图像或者显示所述第二增强现实图像;
当所述融合单元判断为将存储的虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像融合为所述第一增强现实图像时,所述分割单元判断是否需要在所述初级目标对象中确定所述精确目标对象的准确位置;当所述融合单元判断为不对存储的虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像进行融合时,则所述显示单元显示获取的所述真实世界图像;
所述融合单元进一步被构造为判断是否存在已存储的精确目标对象;其中,当所述分割单元判断为不需要在所述初级目标对象中确定所述精确目标对象的准确位置时,且所述融合单元判断为存在已存储的精确目标对象时,所述融合单元将所述已存储的精确目标对象、所述虚拟对象以及被分割出所述初级目标对象的真实世界图像融合为所述第二增强现实图像,所述显示单元显示所述第二增强现实图像。
2.根据权利要求1所述的展示***,其特征在于,所述分割单元包括:
背景分割单元,被构造为从获取的所述真实世界图像中分割出所述初级目标对象;
目标检测单元,被构造为判断是否需要在所述初级目标对象中确定所述精确目标对象的准确位置,且被构造为当判断为需要时在所述初级目标对象中确定所述精确目标对象的准确位置;
精确分割单元,被构造为基于所述目标检测单元确定的所述精确目标对象的准确位置来分割出所述精确目标对象。
3.根据权利要求1所述的展示***,其特征在于,当所述融合单元判断为不存在已存储的精确目标对象时,所述显示单元显示所述第一增强现实图像。
4.一种基于增强现实技术的展示方法,其特征在于,所述展示方法包括以下步骤:
A)从真实世界中获取真实世界图像;
B)从获取的所述真实世界图像中分割出初级目标对象;
C)判断是否将存储的虚拟对象、所述初级目标对象与被分割出所述初级目标对象的真实世界图像进行融合,以形成第一增强现实图像,若判断为是,则执行步骤D),若判断为否,则显示由所述步骤A)获取的所述真实世界图像;
D)判断是否需要在所述初级目标对象中确定精确目标对象的准确位置;其中,若判断为是,则在所述初级目标对象中确定精确目标对象的准确位置,并执行步骤E),若判断为否,则执行步骤H);
E)基于在所述初级目标对象中确定的精确目标对象的准确位置,分割出所述精确目标对象,并将所述精确目标对象进行存储;
F)将所述精确目标对象、所述虚拟对象以及被分割出所述初级目标对象的真实世界图像进行融合,以形成第二增强现实图像,并将经过融合后的精确目标对象删除;
G)显示所述第二增强现实图像;
H)判断是否存在已存储的精确目标对象;其中,若判断为是,则执行所述步骤F);若判断为否,则显示所述第一增强现实图像。
CN201310647907.2A 2013-12-04 2013-12-04 基于增强现实技术的展示***及展示方法 Active CN104700384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310647907.2A CN104700384B (zh) 2013-12-04 2013-12-04 基于增强现实技术的展示***及展示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310647907.2A CN104700384B (zh) 2013-12-04 2013-12-04 基于增强现实技术的展示***及展示方法

Publications (2)

Publication Number Publication Date
CN104700384A CN104700384A (zh) 2015-06-10
CN104700384B true CN104700384B (zh) 2017-12-15

Family

ID=53347472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310647907.2A Active CN104700384B (zh) 2013-12-04 2013-12-04 基于增强现实技术的展示***及展示方法

Country Status (1)

Country Link
CN (1) CN104700384B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767459A (zh) * 2016-08-18 2018-03-06 深圳市劲嘉数媒科技有限公司 基于增强现实的展示方法、装置和***
US10861236B2 (en) * 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
CN108932632A (zh) * 2018-06-01 2018-12-04 北京市商汤科技开发有限公司 广告互动方法及装置、电子设备和存储介质
CN109116990B (zh) * 2018-08-20 2019-06-11 广州市三川田文化科技股份有限公司 一种移动控制的方法、装置、设备及计算机可读存储介质
CN112887587B (zh) * 2021-01-08 2023-04-07 浙江工贸职业技术学院 一种可进行无线连接的自适应图像数据快速传输方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0907400D0 (en) * 2009-02-16 2009-06-10 Inst Information Industry Method and system for foreground detection using multi-modality fusion graph cut
CN102592301A (zh) * 2010-12-14 2012-07-18 三星电子株式会社 用于多层扩增现实的***和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0907400D0 (en) * 2009-02-16 2009-06-10 Inst Information Industry Method and system for foreground detection using multi-modality fusion graph cut
CN102592301A (zh) * 2010-12-14 2012-07-18 三星电子株式会社 用于多层扩增现实的***和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Graph Cuts Based Image Segmentation with Part-Based Models;Wei Liu等;《Research Journal of Applied Sciences, Engineering and Technology》;20130111;第5卷(第2期);摘要 *
一种适合视频的两阶段前景分割方法研究;石祥滨等;《2011 International Conference on Future Computer Science and Application》;20110716;第1页左栏第1段,第2页左栏第2段、右栏第2段,第3页最后一段 *

Also Published As

Publication number Publication date
CN104700384A (zh) 2015-06-10

Similar Documents

Publication Publication Date Title
US11030525B2 (en) Systems and methods for deep localization and segmentation with a 3D semantic map
US10767997B1 (en) Systems and methods for providing immersive extended reality experiences on moving platforms
CN108596974B (zh) 动态场景机器人定位建图***及方法
CA3035298C (en) Predicting depth from image data using a statistical model
US11954813B2 (en) Three-dimensional scene constructing method, apparatus and system, and storage medium
CN110415277B (zh) 基于光流和卡尔曼滤波的多目标追踪方法、***、装置
Vaudrey et al. Differences between stereo and motion behaviour on synthetic and real-world stereo sequences
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN104700384B (zh) 基于增强现实技术的展示***及展示方法
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及***
CN106875437A (zh) 一种面向rgbd三维重建的关键帧提取方法
CN111027505B (zh) 一种基于显著性检测的分层多目标跟踪方法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN101582171A (zh) 一种创建深度图的方法及装置
CN103051915A (zh) 一种交互式立体视频关键帧的制作方法及制作装置
Zha et al. A real-time global stereo-matching on FPGA
CN113077505A (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN110136174A (zh) 一种目标对象跟踪方法和装置
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
CN109215047B (zh) 基于深海视频的运动目标检测方法和装置
CN114463713A (zh) 一种车辆在3d空间的信息检测方法、装置及电子设备
CN109115232A (zh) 导航的方法和装置
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150610

Assignee: Dongguan Ganyu Information Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980039213

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20230808

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150610

Assignee: Dongguan Mingde Trading Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980039820

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20230816

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150610

Assignee: Shenzhen city wall Creative Technology Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980040491

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20230824

Application publication date: 20150610

Assignee: Shenzhen Mingji Agricultural Development Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980040490

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20230824

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150610

Assignee: Shenzhen Zhangchao Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980043397

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231013

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150610

Assignee: Achievement (Shenzhen) Industrial Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980043721

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231020

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150610

Assignee: Shenzhen Wufeng Lihong Trading Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044081

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231024

Application publication date: 20150610

Assignee: Shenzhen Ruofei Culture Communication Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044080

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231024

Application publication date: 20150610

Assignee: Shenzhen shengxin'an information consulting enterprise

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044079

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231024

Application publication date: 20150610

Assignee: Shenzhen Zhijun Industrial Investment Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044078

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231024

Application publication date: 20150610

Assignee: Shenzhen Wenchuang Intellectual Property Service Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044069

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231024

Application publication date: 20150610

Assignee: Jiajingjie Environmental Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044068

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231024

Application publication date: 20150610

Assignee: SHENZHEN ZHONGZHI INVESTMENT CO.,LTD.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044067

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231024

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150610

Assignee: Shenzhen Mengchuang Culture Development Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980049247

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231130

Application publication date: 20150610

Assignee: Shenzhen Jinshiwan Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980049245

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231130

Application publication date: 20150610

Assignee: Chuangke Zhinong (Shenzhen) Industrial Development Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980049240

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231130

Application publication date: 20150610

Assignee: Chuangke Port (Shenzhen) Science and Technology Innovation Center

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980049236

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231130

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150610

Assignee: Jingyun Grapefruit Technology (Shenzhen) Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051450

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231211

Application publication date: 20150610

Assignee: Shenzhen Dongfang Huilian Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051448

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231211

Application publication date: 20150610

Assignee: Shenzhen Xunming Trading Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051409

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231211

Application publication date: 20150610

Assignee: Shenzhen Nanshan District Qiangfenfu Hotel

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051406

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231211

Application publication date: 20150610

Assignee: Shenzhen Minghua Trading Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051405

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231211

Application publication date: 20150610

Assignee: Shenzhen Yingqi Consulting Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051402

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231211

Application publication date: 20150610

Assignee: Shenzhen Haocai Digital Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051250

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231212

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150610

Assignee: Shenzhen lianzhiyouwu Intelligent Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980052063

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231213

Application publication date: 20150610

Assignee: Jianyangkai Advertising Department, Nanshan District, Shenzhen

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051397

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231212

Application publication date: 20150610

Assignee: Shenzhen Weilan Sports Culture Development Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051394

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231212

Application publication date: 20150610

Assignee: Shenzhen Weigao Investment Development Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051257

Denomination of invention: Display System and Method Based on Augmented Reality Technology

Granted publication date: 20171215

License type: Common License

Record date: 20231212

EE01 Entry into force of recordation of patent licensing contract