CN104883556A - 基于增强现实的三维显示方法和增强现实眼镜 - Google Patents
基于增强现实的三维显示方法和增强现实眼镜 Download PDFInfo
- Publication number
- CN104883556A CN104883556A CN201510268636.9A CN201510268636A CN104883556A CN 104883556 A CN104883556 A CN 104883556A CN 201510268636 A CN201510268636 A CN 201510268636A CN 104883556 A CN104883556 A CN 104883556A
- Authority
- CN
- China
- Prior art keywords
- target object
- augmented reality
- left images
- described target
- split screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于增强现实的三维显示方法,通过采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。本发明还公开了一种增强现实眼镜。本发明虚实融合效果好、且易于携带。
Description
技术领域
本发明涉及视频显示领域,尤其涉及基于增强现实的三维显示方法和增强现实眼镜。
背景技术
增强现实技术是一种可以把计算机生成的二维或三维信息叠加到真实环境中,从而增强用户对真实环境的感知的一种崭新的技术领域。跟踪注册、虚实融合以及实时交互被认为是增强现实技术的三大基本特征。目前可用于增强现实***并能实现虚实融合的立体显示的头戴式显示设备主要包括视频透视式头戴显示器以及光学透视式头戴显示器。其中,光学透视式头戴显示器的特点是让用户能够直接看到真实的环境,再通过投影设备等装置把虚拟物体的影像叠加上去,但存在着虚拟物体亮度不足等缺陷。视频透视式头戴显示器包括单目式和双目式两种,单目式由于只有一个摄像头,因此无法通过单帧视频图像完全获得真实环境的深度信息,从而导致用户无法对真实物体的距离进行准备的判断,在增强现实***中会经常出现无法一次抓拿真实物体的问题。因此,如何增强虚实融合效果,是一个亟待解决的问题。
发明内容
本发明的主要目的在于提出一种基于增强现实的三维显示方法和增强现实眼镜,旨在解决虚实融合效果不佳的问题。
为实现上述目的,本发明提供的一种基于增强现实的三维显示方法,所述三维显示方法包括步骤:
采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;
将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;
对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
优选地,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤包括:
利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;
采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
优选地,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤包括:
通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对;
对所述倒立的图像对进行翻转处理,转化为正立的图像对。
优选地,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤还包括:
利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息;
根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。
优选地,所述对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上的步骤之后还包括:
若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
此外,为实现上述目的,本发明还提出一种增强现实眼镜,其特征在于,所述增强现实眼镜包括:
获取模块,用于采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;
叠加模块,用于将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;
显示模块,用于对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
优选地,所述获取模块包括:
提取单元,用于利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;
追踪单元,用于采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
优选地,所述获取模块包括:
图像获取单元,用于通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对;
翻转单元,用于对所述倒立的图像对进行翻转处理,转化为正立的图像对。
优选地,所述获取模块包括:
测量单元,用于利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息;
构建单元,用于根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。
优选地,所述显示模块还用于若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
本发明提出的基于增强现实的三维显示方法和增强现实眼镜,通过采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。本发明虚实融合效果好、且易于携带。
附图说明
图1为本发明基于增强现实的三维显示方法第一实施例的流程示意图;
图2为图1中所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤第一实施例的细化流程示意图;
图3为图1中所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤第二实施例的细化流程示意图;
图4为图1中所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤第三实施例的细化流程示意图;
图5为本发明基于增强现实的三维显示方法第二实施例的流程示意图;
图6为本发明增强现实眼镜第一实施例的功能模块示意图;
图7为图6中所述获取模块第一实施例的功能模块示意图;
图8为图6中所述获取模块第二实施例的功能模块示意图;
图9为图6中所述获取模块第三实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明第一实施例提出一种基于增强现实的三维显示方法,所述三维显示方法包括:
步骤S100、采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对。
增强现实眼镜采用双目立体摄像头从两个不同的视点观察同一目标物体,以获取所述目标物体在不同视角下的左右图像对。其中,所述左右图像对为所述双目立体摄像头从两个不同的视点采集到的、以所述目标物体为前景的两幅相互独立的图像。在本实施例中,通过双目立体摄像头从不同的角度捕捉左右图像对,首先、利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;然后,采用SIFT(Scale-invariant featuretransform,尺度不变特征变换)匹配算法对所述目标物体进行追踪。并利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息,根据所述视差信息获取所述目标物体的深度信息和三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。其中,视差信息就是从有一定距离的两个点上观察同一个目标所产生的方向差异。深度信息是指存储每个像素所用的位数,也用于量度图像的色彩分辨率。
步骤S200、将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上。
增强现实眼镜在增强现实交互环境中,预先构建与所述目标物体对应的虚拟现实场景,例如,根据所述目标物体的运动状况,构建与所述运动状况相匹配的增强现实运动项目场景,如所述增强现实眼镜追踪到所述目标在跑步时,则构建与所述跑步项目相适配的增强现实跑步机。并将所述构建的增强现实场景预先保存在增强现实数据库中,以便感知到所述目标物体的运动状况时,及时调用增强现实数据库中事先保存的增强现实场景。同时将增强现实场景分别叠加到双目立体摄像头获取的所述左右图像对上。
步骤S300、对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
增强现实眼镜通过左右屏幕对所述左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上,例如,将左屏幕画面上的图像投射到左目镜上,将右屏幕画面上的图像投射到右目镜上,从则使每个眼睛看到独立的左右画面,形成立体视觉。
本实施例提出的基于增强现实的三维显示方法,通过采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。虚实融合效果好、且易于携带。
如图2所示,图2为图1中所述步骤S100第一实施例的细化流程示意图,在本实施例中,所述步骤S100包括:
步骤S110、利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体。
增强现实眼镜利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体,其中,帧间差分法是利用图像序列中相邻帧图像之间做差来提取出所述左右图像对中的运动区域。首先将数帧图像校正在同一坐标系中,然后将同一背景不同时刻的两幅图像进行差分运算,灰度不发生变化的背景部分被减掉,由于运动目标在相邻两帧中的位置不同,且与背景灰度有所差异,两帧相减后将所述目标物体突现出来,从而大致确定所述目标物体在所述左右图像对中的位置。背景差分法是利用图像序列和参考背景模型相减实现所述目标物体检测的。背景差分法能够提供较为完整的特征数据从而提取出所述左右图像对的所述目标物体,但其对光照和外部条件造成的动态场景变化过于敏感,在非受控情部下需要加入背景图像更新机制,且不是用于与双目立体摄像头运动,或背景灰度变化较大的情况。在本实施例中,首先根据帧间差分法确定运动区域,然后在确定的运动区域内采用背景差分法和帧间差分法对所述目标物体进行提取,从而大大提高了所述目标物体识别的效率。
步骤S120、采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
增强现实眼镜采用SIFT(Scale-invariant feature transform,尺度不变特征变换匹配)算法对所述目标物体进行追踪。其主要思想是建立目标库,将所述左右图像对第一帧中的所述目标物体提取出来,进行SIFT变换后将特征数据库存入目标数据库中,每个数据库包括目标标号、质心坐标、目标坐标块以及SIFT信息。每个目标的特征信息又包括特征点坐标、特征向量以及特征向量对应的留存优选级。然后以目标库为中介,与第二帧中目标SIFT特征信息进行匹配,找到前后二帧的关联性,确定所述目标物体的位置及轨迹,然后利用库中目标与第二帧目标的匹配关系,采用特定策略更新、淘汰目标库信息。之后再以目标库为中介继续对后续帧进行处理。SIFT算法分为匹配和更新两个过程。匹配过程通过二个目标特征的匹配概率,找出前后两帧相同的目标,对目标进行关联。更新过程则是在匹配的基础上对目标库进行补充与更新,确保目标库信息与最近几帧目标保持相似性,以保证识别的正确性。
本实施例提出的基于增强现实的三维显示方法,采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;并采用尺度不变特征变换匹配算法对所述目标物体进行追踪,从而快速保证目标物体识别的正确性,提升识别的效率和准确性。
如图3所示,图3为图1中所述步骤S100第二实施例的细化流程示意图,在本实施例中,所述步骤S100包括:
步骤S130、通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对。
增强现实眼镜通过所述双目立体摄像头从两个不同的视点对所述目标物体进行观察,通过双目立体摄像头的小孔成像原理,在感光元件上成像,获取所述目标物体在不同视角下的倒立的图像对。
步骤S140、对所述倒立的图像对进行翻转处理,转化为正立的图像对。
增强现实眼镜对所述倒立的图像通过光电转换,将所述倒立的图像对的光学图像转换为电信号,并对所述倒立的图像对进行翻转处理,转化为正立的图像对。
本实施例提出的基于增强现实的三维显示方法,通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对,并对所述倒立的图像对进行翻转处理,转化为正立的图像对,以符合人们观察目标物体的视觉习惯,从而获得更好的视觉效果。
如图4所示,图4为图1中所述步骤S100第三实施例的细化流程示意图,在本实施例中,所述步骤S100包括:
步骤S150、利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息。
增强现实眼镜利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息。将反光镜放置在所述目标物体上,分别对双目立体摄相头主动射出的红外光进行幅度调制,并测定调制光往返双目立体摄相头与目标物体之间一次所产生的相位延迟,再根据调制光的波长,换算此两个相位延迟所代表的距离,再对换算的两个距离作差,获取所述目标物体的视差信息。
步骤S160、根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。
增强现实眼镜根据所述视差信息,从而获取所述增强现实眼镜的深度信息和所述目标物体特征点的三维坐标,并根据所述目标物体特征点的三维坐标,对所述目标物体进行三维重构。
本实施例提出的基于增强现实的三维显示方法,利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息,并根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。通过红外测距,三维重构定位精度高。
如图5所示,图5为本发明基于增强现实的三维显示方法第二实施例的流程示意图,在第一实施例的基础上,所述步骤S300之后包括:
步骤S400、若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
增强现实眼镜若识别到用户与分屏显示的左右图像对中的所述目标物体产生互动时,则调出事先存储在所述增强现实数据库中对应的增强现实场景,在所述分屏显示的左右图像对中进行显示。例如,增强现实眼镜若识别到用户的动作与所述目标物体的运动状况同步时,则在所述增强现实数据库中对应调出与所述运动状况相匹配的增强现实运动项目场景,如所述增强现实眼镜追踪到用户和所述目标物体都在同步跑步时,则在所述分屏显示的图像中显示与所述跑步项目相适配的增强现实跑步机。
本实施例提出的基于增强现实的三维显示方法,若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景,从而增强用户的视觉沉浸感,提高用户体验。
参照图6,本发明进一步提供一种增强现实眼镜,所述增强现实眼镜包括:
获取模块10,用于采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;
叠加模块20,用于将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;
显示模块30,用于对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
增强现实眼镜的获取模块10采用双目立体摄像头从两个不同的视点观察同一目标物体,以获取所述目标物体在不同视角下的左右图像对。其中,所述左右图像对为所述双目立体摄像头从两个不同的视点采集到的、以所述目标物体为前景的两幅相互独立的图像。在本实施例中,通过双目立体摄像头从不同的角度捕捉左右图像对,首先、利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;然后,采用SIFT(Scale-invariantfeature transform,尺度不变特征变换)匹配算法对所述目标物体进行追踪。并利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息,根据所述视差信息获取所述目标物体的深度信息和三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。其中,视差信息,就是从有一定距离的两个点上观察同一个目标所产生的方向差异。深度信息是指存储每个像素所用的位数,也用于量度图像的色彩分辨率。
增强现实眼镜的叠加模块20在增强现实交互环境中,预先构建与所述目标物体对应的虚拟现实场景,例如,根据所述目标物体的运动状况,构建与所述运动状况相匹配的增强现实运动项目场景,如所述增强现实眼镜追踪到所述目标在跑步时,则构建与所述跑步项目相适配的增强现实跑步机。并将所述构建的增强现实场景预先保存在增强现实数据库中,以便感知到所述目标物体的运动状况时,及时调用增强现实数据库中事先保存的增强现实场景。同时将增强现实场景分别叠加到双目立体摄像头获取的所述左右图像对上。
增强现实眼镜的显示模块30通过左右屏幕对所述左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上,例如,将左屏幕画面上的图像投射到左目镜上,将右屏幕画面上的图像投射到右目镜上,从而使每个眼睛看到独立的左右画面,形成立体视觉。
本实施例提出的增强现实眼镜,通过采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。虚实融合效果好、且易于携带。
如图7所示,图7为图6中所述获取模块第一实施例的功能模块示意图,所述获取模块10包括:
提取单元11,用于利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;
追踪单元12,用于采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
增强现实眼镜的提取单元11利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体,其中,帧间差分法是利用图像序列中相邻帧图像之间做差来提取出所述左右图像对中的运动区域。首先将数帧图像校正在同一坐标系中,然后将同一背景不同时刻的两幅图像进行差分运算,灰度不发生变化的背景部分被减掉,由于运动目标在相邻两帧中的位置不同,且与背景灰度有所差异,两帧相减后将所述目标物体突现出来,从而大致确定所述目标物体在所述左右图像对中的位置。背景差分法是利用图像序列和参考背景模型相减实现所述目标物体检测的。背景差分法能够提供较为完整的特征数据从而提取出所述左右图像对的所述目标物体,但其对光照和外部条件造成的动态场景变化过于敏感,在非受控情部下需要加入背景图像更新机制,且不是用于与双目立体摄像头运动,或背景灰度变化较大的情况。在本实施例中,首先根据帧间差分法确定运动区域,然后在确定的运动区域内采用背景差分法和帧间差分法对所述目标物体进行提取,从而大大提高了所述目标物体识别的效率。
增强现实眼镜的追踪单元12采用SIF算法对所述目标物体进行追踪。其主要思想是建立目标库,将所述左右图像对第一帧中的所述目标物体提取出来,进行SIFT变换后将特征数据库存入目标数据库中,每个数据库包括目标标号、质心坐标、目标坐标块以及SIFT信息。每个目标的特征信息又包括特征点坐标、特征向量以及特征向量对应的留存优选级。然后以目标库为中介,与第二帧中目标SIFT特征信息进行匹配,找到前后二帧的关联性,确定所述目标物体的位置及轨迹,然后利用库中目标与第二帧目标的匹配关系,采用特定策略更新、淘汰目标库信息。之后再以目标库为中介继续对后续帧进行处理。SIFT算法分为匹配和更新两个过程。匹配过程通过二个目标特征的匹配概率,找出前后两帧相同的目标,对目标进行关联。更新过程则是在匹配的基础上对目标库进行补充与更新,确保目标库信息与最近几帧目标保持相似性,以保证识别的正确性。
本实施例提出的增强现实眼镜,采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;并采用尺度不变特征变换匹配算法对所述目标物体进行追踪,从而快速保证目标物体识别的正确性,提升识别的效率和准确性。
如图8所示,图8为图6中所述获取模块第二实施例的功能模块示意图,在本实施例中,所述获取模块10包括:
图像获取单元13,用于通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对;
翻转单元14,用于对所述倒立的图像对进行翻转处理,转化为正立的图像对。
增强现实眼镜的图像获取单元13通过所述双目立体摄像头从两个不同的视点对所述目标物体进行观察,通过双目立体摄像头的小孔成像原理,在感光元件上成像,获取所述目标物体在不同视角下的倒立的图像对。
增强现实眼镜的翻转单元14对所述倒立的图像通过光电转换,将所述倒立的图像对的光学图像转换为电信号,并对所述倒立的图像对进行翻转处理,转化为正立的图像对。
本实施例提出的增强现实眼镜,通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对,并对所述倒立的图像对进行翻转处理,转化为正立的图像对,以符合人们观察目标物体的视觉习惯,从而获得更好的视觉效果。
如图9所示,图9为图6中所述获取模块第三实施例的功能模块示意图,在本实施例中,所述获取模块10包括:
测量单元15,用于利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息;
构建单元16,用于根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。
增强现实眼镜的测量单元15利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息。将反光镜放置在所述目标物体上,分别对双目立体摄相头主动射出的红外光进行幅度调制,并测定调制光往返双目立体摄相头与目标物体之间一次所产生的相位延迟,再根据调制光的波长,换算此两个相位延迟所代表的距离,再对换算的两个距离作差,获取所述目标物体的视差信息。
增强现实眼镜的构建单元16根据所述视差信息,从而获取所述增强现实眼镜的深度信息和所述目标物体特征点的三维坐标,并根据所述目标物体特征点的三维坐标,对所述目标物体进行三维重构。
本实施例提出的增强现实眼镜,利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息,并根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。通过红外测距,三维重构定位精度高。
进一步参见图6,在本实施例中,所述显示模块10还用于若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
增强现实眼镜的显示模块10若识别到用户与分屏显示的左右图像对中的所述目标物体产生互动时,则调出事先存储在所述增强现实数据库中对应的增强现实场景,在所述分屏显示的左右图像对中进行显示。例如,增强现实眼镜若识别到用户的动作与所述目标物体的运动状况同步时,则在所述增强现实数据库中对应调出与所述运动状况相匹配的增强现实运动项目场景,如所述增强现实眼镜追踪到用户和所述目标物体都在同步跑步时,则在所述分屏显示的图像中显示与所述跑步项目相适配的增强现实跑步机。
本实施例提出的增强现实眼镜,若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景,从而增强用户的视觉沉浸感,提高用户体验。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于增强现实的三维显示方法,其特征在于,所述三维显示方法包括步骤:
采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;
将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;
对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
2.如权利要求1所述的三维显示方法,其特征在于,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤包括:
利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;
采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
3.如权利要求1所述的三维显示方法,其特征在于,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤包括:
通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对;
对所述倒立的图像对进行翻转处理,转化为正立的图像对。
4.如权利要求1所述的三维显示方法,其特征在于,所述采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对的步骤还包括:
利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息;
根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。
5.如权利要求1至4任一项所述的三维显示方法,其特征在于,所述对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上的步骤之后还包括:
若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
6.一种增强现实眼镜,其特征在于,所述增强现实眼镜包括:
获取模块,用于采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;
叠加模块,用于将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;
显示模块,用于对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
7.如权利要求6所述的增强现实眼镜,其特征在于,所述获取模块包括:
提取单元,用于利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;
追踪单元,用于采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
8.如权利要求6所述的增强现实眼镜,其特征在于,所述获取模块包括:
图像获取单元,用于通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对;
翻转单元,用于对所述倒立的图像对进行翻转处理,转化为正立的图像对。
9.如权利要求6所述的增强现实眼镜,其特征在于,所述获取模块包括:
测量单元,用于利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息;
构建单元,用于根据所述视差信息获取所述目标物体的三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。
10.如权利要求6至9任一项所述的增强现实眼镜,其特征在于,所述显示模块还用于若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510268636.9A CN104883556B (zh) | 2015-05-25 | 2015-05-25 | 基于增强现实的三维显示方法和增强现实眼镜 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510268636.9A CN104883556B (zh) | 2015-05-25 | 2015-05-25 | 基于增强现实的三维显示方法和增强现实眼镜 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104883556A true CN104883556A (zh) | 2015-09-02 |
CN104883556B CN104883556B (zh) | 2017-08-29 |
Family
ID=53950875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510268636.9A Expired - Fee Related CN104883556B (zh) | 2015-05-25 | 2015-05-25 | 基于增强现实的三维显示方法和增强现实眼镜 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104883556B (zh) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105259655A (zh) * | 2015-09-10 | 2016-01-20 | 上海理鑫光学科技有限公司 | 提高虚实叠加真实性的3d视频*** |
CN106095090A (zh) * | 2016-06-07 | 2016-11-09 | 北京行云时空科技有限公司 | 基于智能***的空间场景的操控方法、装置和*** |
CN106373198A (zh) * | 2016-09-18 | 2017-02-01 | 福州大学 | 一种实现增强现实的方法 |
CN106843456A (zh) * | 2016-08-16 | 2017-06-13 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
CN106896732A (zh) * | 2015-12-18 | 2017-06-27 | 美的集团股份有限公司 | 家用电器的展示方法和装置 |
CN106940899A (zh) * | 2017-03-30 | 2017-07-11 | 林星森 | 一种应用于ar场景下的武器瞄准***的图层融合方法 |
CN107071394A (zh) * | 2017-04-19 | 2017-08-18 | 深圳市易瞳科技有限公司 | 一种通过fpga实现hmd低延时视频透视的方法及头戴式显示器 |
WO2017173735A1 (zh) * | 2016-04-07 | 2017-10-12 | 深圳市易瞳科技有限公司 | 一种基于视频透视的智能眼镜***及其透视方法 |
CN107273895A (zh) * | 2017-06-15 | 2017-10-20 | 幻视互动(北京)科技有限公司 | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 |
CN107277494A (zh) * | 2017-08-11 | 2017-10-20 | 北京铂石空间科技有限公司 | 立体显示***及方法 |
CN107560592A (zh) * | 2017-08-21 | 2018-01-09 | 河南中光学集团有限公司 | 一种用于光电跟踪仪联动目标的精确测距方法 |
WO2018033078A1 (zh) * | 2016-08-17 | 2018-02-22 | 丰唐物联技术(深圳)有限公司 | 一种图像显示方法及装置 |
CN107835403A (zh) * | 2017-10-20 | 2018-03-23 | 华为技术有限公司 | 一种以3d视差效果显示的方法及装置 |
CN107918956A (zh) * | 2017-12-01 | 2018-04-17 | 广州市动景计算机科技有限公司 | 增强现实的处理方法、装置及电子设备 |
CN108364504A (zh) * | 2018-01-23 | 2018-08-03 | 浙江中新电力发展集团有限公司萧山科技分公司 | 增强现实三维互动学习***及控制方法 |
CN108475118A (zh) * | 2016-01-19 | 2018-08-31 | 泰科恩促进有限公司 | 增强现实的远程交互式***及相关方法 |
CN108521564A (zh) * | 2018-05-25 | 2018-09-11 | 嘉兴玄视信息科技有限公司 | 一种虚拟现实一体机 |
CN108605166A (zh) * | 2015-12-17 | 2018-09-28 | 汤姆逊许可公司 | 采用增强现实的个性化呈现增强 |
CN109313346A (zh) * | 2016-04-06 | 2019-02-05 | 脸谱公司 | 双目视图和单目视图之间的转换 |
CN109688399A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的立体图像显示方法和*** |
CN109788199A (zh) * | 2019-01-30 | 2019-05-21 | 上海创功通讯技术有限公司 | 一种适用于具有双摄像头终端的对焦方法 |
CN110999279A (zh) * | 2017-05-26 | 2020-04-10 | 株式会社OPTiM | 可穿戴终端显示***、可穿戴终端显示方法以及程序 |
CN111625091A (zh) * | 2020-05-14 | 2020-09-04 | 佳都新太科技股份有限公司 | 基于ar眼镜的标签叠加方法及装置 |
CN112598705A (zh) * | 2020-12-17 | 2021-04-02 | 太原理工大学 | 一种基于双目视觉的车身姿态检测方法 |
CN112710608A (zh) * | 2020-12-16 | 2021-04-27 | 深圳晶泰科技有限公司 | 实验观测方法及*** |
WO2022082971A1 (zh) * | 2020-10-21 | 2022-04-28 | 歌尔股份有限公司 | 弹窗处理方法、装置及计算机可读存储介质 |
US11394953B2 (en) | 2020-07-22 | 2022-07-19 | Industrial Technology Research Institute | Light transmitting display system, image output method thereof and processing device thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101295206A (zh) * | 2007-04-25 | 2008-10-29 | 佳能株式会社 | 用于立体观察的*** |
CN101763762A (zh) * | 2008-12-22 | 2010-06-30 | 韩国电子通信研究院 | 使用虚拟现实的教育***和方法 |
CN102508363A (zh) * | 2011-12-28 | 2012-06-20 | 王鹏勃 | 一种基于增强现实技术的无线显示眼镜及其实现方法 |
-
2015
- 2015-05-25 CN CN201510268636.9A patent/CN104883556B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101295206A (zh) * | 2007-04-25 | 2008-10-29 | 佳能株式会社 | 用于立体观察的*** |
CN101763762A (zh) * | 2008-12-22 | 2010-06-30 | 韩国电子通信研究院 | 使用虚拟现实的教育***和方法 |
CN102508363A (zh) * | 2011-12-28 | 2012-06-20 | 王鹏勃 | 一种基于增强现实技术的无线显示眼镜及其实现方法 |
Non-Patent Citations (10)
Title |
---|
屈晶晶等: "连续帧间差分与背景差分相融合的运动目标检测方法", 《光子学报》 * |
徐晶等: "《计算机视觉中的运动检测与跟踪》", 30 September 2012, 国防工业出版社 * |
朱虹: "《数字图像技术与应用》", 31 March 2011, 机械工业出版社 * |
李眀: "基于SIFT特征点匹配的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 * |
李维森等: "《中国测绘学科发展蓝皮书 2010-2011卷》", 31 October 2012, 测绘出版社 * |
林佳乙等: "基于背景差分法和帧间差分法的视频运动检测", 《仪器仪表学报》 * |
汪鑫等: "基于SIFT特征匹配算法的目标跟踪及视频采集与传输研究", 《重庆理工大学学报(自然科学)》 * |
涂虬: "基于SIFT特征点的目标跟踪算法", 《上饶师范学院学报》 * |
熊英: "基于背景和帧间差分法的运动目标提取", 《计算机时代》 * |
雷依里: "《DSLR数码单反摄影圣经》", 31 March 2008, 中国青年出版社 * |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105259655A (zh) * | 2015-09-10 | 2016-01-20 | 上海理鑫光学科技有限公司 | 提高虚实叠加真实性的3d视频*** |
CN108605166A (zh) * | 2015-12-17 | 2018-09-28 | 汤姆逊许可公司 | 采用增强现实的个性化呈现增强 |
CN106896732B (zh) * | 2015-12-18 | 2020-02-04 | 美的集团股份有限公司 | 家用电器的展示方法和装置 |
CN106896732A (zh) * | 2015-12-18 | 2017-06-27 | 美的集团股份有限公司 | 家用电器的展示方法和装置 |
CN108475118A (zh) * | 2016-01-19 | 2018-08-31 | 泰科恩促进有限公司 | 增强现实的远程交互式***及相关方法 |
CN109313346A (zh) * | 2016-04-06 | 2019-02-05 | 脸谱公司 | 双目视图和单目视图之间的转换 |
CN107277495A (zh) * | 2016-04-07 | 2017-10-20 | 深圳市易瞳科技有限公司 | 一种基于视频透视的智能眼镜***及其透视方法 |
WO2017173735A1 (zh) * | 2016-04-07 | 2017-10-12 | 深圳市易瞳科技有限公司 | 一种基于视频透视的智能眼镜***及其透视方法 |
CN107277495B (zh) * | 2016-04-07 | 2019-06-25 | 深圳市易瞳科技有限公司 | 一种基于视频透视的智能眼镜***及其透视方法 |
CN106095090A (zh) * | 2016-06-07 | 2016-11-09 | 北京行云时空科技有限公司 | 基于智能***的空间场景的操控方法、装置和*** |
CN106843456A (zh) * | 2016-08-16 | 2017-06-13 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
CN106843456B (zh) * | 2016-08-16 | 2018-06-29 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
WO2018033078A1 (zh) * | 2016-08-17 | 2018-02-22 | 丰唐物联技术(深圳)有限公司 | 一种图像显示方法及装置 |
CN108295463A (zh) * | 2016-08-17 | 2018-07-20 | 丰唐物联技术(深圳)有限公司 | 一种图像显示方法及装置 |
CN106373198A (zh) * | 2016-09-18 | 2017-02-01 | 福州大学 | 一种实现增强现实的方法 |
CN106940899A (zh) * | 2017-03-30 | 2017-07-11 | 林星森 | 一种应用于ar场景下的武器瞄准***的图层融合方法 |
CN106940899B (zh) * | 2017-03-30 | 2020-06-05 | 林星森 | 一种应用于ar场景下的武器瞄准***的图层融合方法 |
CN107071394A (zh) * | 2017-04-19 | 2017-08-18 | 深圳市易瞳科技有限公司 | 一种通过fpga实现hmd低延时视频透视的方法及头戴式显示器 |
CN110999279A (zh) * | 2017-05-26 | 2020-04-10 | 株式会社OPTiM | 可穿戴终端显示***、可穿戴终端显示方法以及程序 |
CN107273895B (zh) * | 2017-06-15 | 2020-07-14 | 幻视互动(北京)科技有限公司 | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 |
CN107273895A (zh) * | 2017-06-15 | 2017-10-20 | 幻视互动(北京)科技有限公司 | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 |
CN107277494A (zh) * | 2017-08-11 | 2017-10-20 | 北京铂石空间科技有限公司 | 立体显示***及方法 |
CN107560592A (zh) * | 2017-08-21 | 2018-01-09 | 河南中光学集团有限公司 | 一种用于光电跟踪仪联动目标的精确测距方法 |
CN109688399A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的立体图像显示方法和*** |
US11080943B2 (en) | 2017-10-20 | 2021-08-03 | Huawei Technologies Co., Ltd. | Method and apparatus for displaying with 3D parallax effect |
CN107835403A (zh) * | 2017-10-20 | 2018-03-23 | 华为技术有限公司 | 一种以3d视差效果显示的方法及装置 |
CN107835403B (zh) * | 2017-10-20 | 2020-06-26 | 华为技术有限公司 | 一种以3d视差效果显示的方法及装置 |
CN107918956A (zh) * | 2017-12-01 | 2018-04-17 | 广州市动景计算机科技有限公司 | 增强现实的处理方法、装置及电子设备 |
CN108364504A (zh) * | 2018-01-23 | 2018-08-03 | 浙江中新电力发展集团有限公司萧山科技分公司 | 增强现实三维互动学习***及控制方法 |
CN108364504B (zh) * | 2018-01-23 | 2019-12-27 | 浙江中新电力工程建设有限公司自动化分公司 | 增强现实三维互动学习***及控制方法 |
CN108521564A (zh) * | 2018-05-25 | 2018-09-11 | 嘉兴玄视信息科技有限公司 | 一种虚拟现实一体机 |
CN109788199A (zh) * | 2019-01-30 | 2019-05-21 | 上海创功通讯技术有限公司 | 一种适用于具有双摄像头终端的对焦方法 |
CN111625091A (zh) * | 2020-05-14 | 2020-09-04 | 佳都新太科技股份有限公司 | 基于ar眼镜的标签叠加方法及装置 |
CN111625091B (zh) * | 2020-05-14 | 2021-07-20 | 佳都科技集团股份有限公司 | 基于ar眼镜的标签叠加方法及装置 |
US11394953B2 (en) | 2020-07-22 | 2022-07-19 | Industrial Technology Research Institute | Light transmitting display system, image output method thereof and processing device thereof |
WO2022082971A1 (zh) * | 2020-10-21 | 2022-04-28 | 歌尔股份有限公司 | 弹窗处理方法、装置及计算机可读存储介质 |
CN112710608A (zh) * | 2020-12-16 | 2021-04-27 | 深圳晶泰科技有限公司 | 实验观测方法及*** |
CN112710608B (zh) * | 2020-12-16 | 2023-06-23 | 深圳晶泰科技有限公司 | 实验观测方法及*** |
CN112598705A (zh) * | 2020-12-17 | 2021-04-02 | 太原理工大学 | 一种基于双目视觉的车身姿态检测方法 |
CN112598705B (zh) * | 2020-12-17 | 2024-05-03 | 太原理工大学 | 一种基于双目视觉的车身姿态检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104883556B (zh) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104883556A (zh) | 基于增强现实的三维显示方法和增强现实眼镜 | |
KR102417177B1 (ko) | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 | |
CN104052938B (zh) | 用于利用三维叠加的多光谱成像的设备和方法 | |
US10169915B2 (en) | Saving augmented realities | |
KR20160121798A (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
US10235806B2 (en) | Depth and chroma information based coalescence of real world and virtual world images | |
CN105212418A (zh) | 基于红外夜视功能的增强现实智能头盔研制 | |
WO2019062056A1 (zh) | 一种智能投影方法、***及智能终端 | |
US20180192032A1 (en) | System, Method and Software for Producing Three-Dimensional Images that Appear to Project Forward of or Vertically Above a Display Medium Using a Virtual 3D Model Made from the Simultaneous Localization and Depth-Mapping of the Physical Features of Real Objects | |
US9990738B2 (en) | Image processing method and apparatus for determining depth within an image | |
CN103034330A (zh) | 一种用于视频会议的眼神交互方法及*** | |
CN109035307A (zh) | 基于自然光双目视觉的设定区域目标追踪方法及*** | |
CN105898287B (zh) | 基于裸眼立体显示的机器视觉分析装置及方法 | |
US20170257614A1 (en) | Three-dimensional auto-focusing display method and system thereof | |
CN113259650A (zh) | 一种基于人眼追踪立体影像显示方法、装置、介质及*** | |
CN109255838A (zh) | 避免增强现实显示设备观看重影的方法及设备 | |
CN104216126A (zh) | 一种变焦3d显示技术 | |
KR20160039447A (ko) | 스테레오 카메라를 이용한 공간분석시스템 | |
CN112085777A (zh) | 六自由度vr眼镜 | |
CN114020150A (zh) | 图像显示方法、装置、电子设备及介质 | |
WO2018187743A1 (en) | Producing three-dimensional images using a virtual 3d model | |
RU2490819C1 (ru) | Способ получения стереоскопических телевизионных изображений с автоматическим измерением предметного пространства в реальном времени | |
US20230028976A1 (en) | Display apparatus, image generation method, and program | |
KR101680882B1 (ko) | 초다시점 영상 배열 획득을 위한 카메라 배열방법 | |
EP2887231A1 (en) | Saving augmented realities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: 518000 Guangdong city of Shenzhen province Nanshan District South Road seven No. 2 digital technology park A1 building 4 floor A District Patentee after: VR TECHNOLOGY (SHENZHEN) Ltd. Address before: 518000 Guangdong Zhenhua Road, Futian District, Shenzhen City, Guangdong, No. 37, Fu Yi, Yi Ju Dong, No. 202-1 Patentee before: VR TECHNOLOGY (SHENZHEN) Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170829 |