CN106131530B - 一种裸眼3d虚拟现实展示***及其展示方法 - Google Patents

一种裸眼3d虚拟现实展示***及其展示方法 Download PDF

Info

Publication number
CN106131530B
CN106131530B CN201610739396.0A CN201610739396A CN106131530B CN 106131530 B CN106131530 B CN 106131530B CN 201610739396 A CN201610739396 A CN 201610739396A CN 106131530 B CN106131530 B CN 106131530B
Authority
CN
China
Prior art keywords
player
actual
bore hole
camera
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610739396.0A
Other languages
English (en)
Other versions
CN106131530A (zh
Inventor
赵亚亮
崔华坤
吴伟和
周鹏
何林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vientiane 3d Vision Technology (beijing) Co Ltd
Original Assignee
Vientiane 3d Vision Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vientiane 3d Vision Technology (beijing) Co Ltd filed Critical Vientiane 3d Vision Technology (beijing) Co Ltd
Priority to CN201610739396.0A priority Critical patent/CN106131530B/zh
Publication of CN106131530A publication Critical patent/CN106131530A/zh
Application granted granted Critical
Publication of CN106131530B publication Critical patent/CN106131530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种裸眼3D虚拟现实展示***及其展示方法。本发明采用VR传感单元采集游戏者的运动信息,对三维渲染单元发布触发或操控指令,触发或控制三维渲染单元的三维虚拟场景,三维渲染单元渲染双目图像,发送至VR显示单元,使得游戏者产生沉浸式的虚拟现实体验;同时采用实际立体相机阵列,并结合绿幕抠像技术将游戏者本身放到数字化的虚拟场景里,最后将游戏者和虚拟场景以裸眼3D显示的方式呈现出来,让旁观者不用借助任何辅助设备,便能够以第三视角的方式来观察游戏者正在经历的场景;旁观者还可以人为的调整第三视角的观看位置和角度,从而根据自己的兴趣观看虚拟场景中发生的情况,也可以对整个虚拟场景进行全方位观察和分析。

Description

一种裸眼3D虚拟现实展示***及其展示方法
技术领域
本发明涉及裸眼3D显示技术,具体涉及一种裸眼3D虚拟现实展示***及其展示方法。
背景技术
人类生活在一个立体的世界中,利用立体视觉机制来感知这个立体世界。为了表达这个世界,人们已提出并发展了很多方式,其中图像是最直观的表达方式。然而,目前大多数显示设备只能实现2D(二维)显示,可表达出场景的内容却忽略了深度信息,因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。在信息化、数字化的时代,随着社会的发展,2D显示逐渐不能满足人类的需求,3D显示已成为研究人员新的研究目标,并成为显示领域中新的发展趋势。随着人们对3D显示的研究不断深入,已提出各种技术实现了多种3D显示方式。其中,多视点光栅式裸眼3D显示器可让多名观看者在较大观看视角内同时观看到立体图像,且无需任何助视设备帮助便能感受到震撼的视觉体验,因而备受人们关注。
虚拟现实(Virtual Reality,VR)是以计算机技术为核心,结合相关科学技术,生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境,用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响,可以产生亲临对应自然环境的感受和体验。虚拟现实是人类在探索自然过程中创造形成的一种用于认识自然、模拟自然,进而更好地适应和利用自然的科学方法和技术。
随着社会生产力和科学技术的不断发展,各行各业对VR技术的研究日益重视,VR技术也取得了巨大进展,并逐步成为一个新的科学技术领域。但是,虚拟现实技术目前仅供单人进行沉浸式体验,而在其旁边的观看者因为只能看到游戏者带着VR头盔在做各种各样的动作,而看不到VR显示屏上的内容,导致无法分享和理解游戏者正在经历的沉浸式感受。虽然旁观者可以通过监视器看到VR头盔中的单眼画面即第一视角画面,但是因为缺乏双目画面带来的沉浸式三维立体效果,并且旁观者只能被动地接受因游戏者头部快速移动所造成的图像快速变化,导致旁观者不仅不能分享到游戏者所经历的震撼,也会因为快速变换的图像而产生视觉疲劳。
发明内容
针对以上现有技术中存在的问题,本发明提出了一种裸眼3D虚拟现实展示***及其展示方法。
本发明的一个目的在于提出一种裸眼3D虚拟现实展示***。
本发明的裸眼3D虚拟现实展示***包括:VR传感单元、多目相机定位采集单元、三维渲染单元、VR显示单元、裸眼3D合成显示单元和绿幕空间;其中,VR传感单元、多目相机定位采集单元、VR显示单元和游戏者均位于绿幕空间内;VR传感单元和多目相机定位采集单元分别连接至三维渲染单元;三维渲染单元分别连接至VR显示单元和裸眼3D合成显示单元;根据观看对象不同,裸眼3D虚拟现实展示***分为游戏者部分和旁观者部分;在游戏者部分中,VR传感单元采集游戏者在绿幕空间中的运动信息,并将运动信息传输至三维渲染单元,触发或控制三维渲染单元中的三维虚拟场景,并控制三维渲染单元渲染游戏者视角所看到的三维虚拟场景的双目图像;双目图像传输至VR显示单元,将具有双目视差的双目图像输送给游戏者的左右眼,从而游戏者产生沉浸式的虚拟现实体验;在旁观者部分中,多目相机定位采集单元中的实际立体相机阵列拍摄位于绿幕空间的游戏者,采集不同角度的多张带有绿幕背景的游戏者图像,与实际立体相机阵列的姿态一起发送至三维渲染单元;三维渲染单元根据实际立体相机阵列的参数设置多目虚拟相机的参数,并根据实际立体相机阵列的姿态控制多目虚拟相机的姿态使得二者时刻保持同步,多目虚拟相机对由VR传感单元触发或控制的三维虚拟场景进行实时渲染,获得虚拟场景渲染图像,并将游戏者图像中的绿幕背景进行绿幕剔除,然后将绿幕抠像后的游戏者图像和虚拟场景渲染图像进行叠加,形成多张视差图像,传输至裸眼3D合成显示单元;裸眼3D合成显示单元将多张视差图进行视差图像合成,并进行裸眼3D显示;旁观者控制多目相机定位采集单元中实际立体相机阵列的姿态,通过裸眼3D合成显示单元的显示,实现第三视角的观察体验。
绿幕空间是指由绿幕搭建的一个长方体的内部空间,长方体内的每一个面均由绿幕覆盖,长方体内能够布置下VR传感单元、游戏者和多目相机定位采集单元,长方体的侧面设置有人员进出口。
VR传感单元进行游戏者与裸眼3D虚拟现实展示***的人机交互,进行游戏者与虚拟场景之间的感知传递,包括真实感触/力觉感知、三维空间方位跟踪、交互行为等信息。其中,采用三维空间跟踪定位技术,通过跟踪***来捕捉的游戏者的运动信息,使游戏者具有可以自由移动的交互空间,增加游戏者交互操作的灵活性,运动信息包括游戏者的头部位置和角度,以及肢体信息。跟踪定位技术可分为有源跟踪定位技术和无源跟踪定位技术。其中,有源跟踪定位技术的跟踪***具有发射器和接收器,能够通过发射和接收信号之间的物理联系确定游戏者的运动信息。无源跟踪定位技术的跟踪***不具有主动信号源,仅通过接收器测量接收信号的变化,确定被跟踪对象的位置和姿态。跟踪定位技术采用激光定位技术、光学定位技术、红外主动式光学技术和可见光主动式光学技术中的一种。VR传感单元将采集到的游戏者的运动信息传输至三维渲染单元。
多目相机定位采集单元包括实际立体相机阵列、空间定位追踪***和数据采集单元,实际立体相机阵列连接至数据采集单元,数据采集单元采集实际立体相机阵列的数据,再将获得数据传输至三维渲染单元;空间定位追踪***定位和追踪实际立体相机阵列在空间中的6个自由度,包括位置信息和方向信息。实际立体相机阵列包括多目实际相机,从不同角度拍摄位于绿幕空间中的游戏者,从而获取到不同视角的带有绿幕背景的游戏者图像。多目实际相机的硬件和软件参数均保持一致,硬件参数主要包括采集芯片(如CCD、CMOS)、相机电路和镜头的规格参数等,软件参数包括分辨率、曝光时间、白平衡、颜色校正、图像裁剪区域和Bayer(贝叶耳)转换类型等,这些参数均需保持一致,这样才能在裸眼3D合成显示单元上实现较好的合成效果。其中,多目实际相机以会聚式结构排布,各实际相机的光心位于同一水平线上,光轴位于同一平面内,并且相邻的实际相机的间距相等,各实际相机的光轴相交于位于实际立体相机阵列前的一点,称之为会聚点。若采用偶数个实际相机,则会聚点位于中间两个实际相机的光心连线的中垂线上;若采用奇数个相机,则会聚点位于中间的实际相机的光轴上。根据裸眼3D显示屏的规格尺寸以及双目融合能力,计算相邻实际相机的间距和会聚点的位置,保证拍摄到的游戏者在裸眼3D显示屏上的视差量是在人眼的融合范围之内,并且保证当虚拟相机的设置与实际立体相机阵列一致时,拍摄到的虚拟场景的视差量也同样在人眼的融合范围之内。
为了降低整体***的运行耗时,提高***帧率,本发明中的数据采集单元采用多线程相机采集方案,即通过调用多核CPU来并行采集实际相机的数据,再将获得的数据送往三维渲染单元,从而在很大程度上提高了***运行帧率。
空间定位追踪***定位和追踪实际立体相机阵列在空间中的6个自由度的姿态,包括位置信息和方向信息。空间定位追踪***采用的跟踪定位技术实现方法也与VR传感单元中提到的跟踪定位技术一样,采用激光定位技术、光学定位技术、红外主动式光学技术和可见光主动式光学技术中的一种。通常,为了避免两套定位***之间的信号干扰,提高各自定位的准确性和鲁棒性,常采用两套不同的跟踪定位技术分别用来对不同的物体进行定位。
三维渲染单元中,存储了三维数字化的虚拟场景和预设规则路径。首先,根据VR传感单元采集的游戏者的运动信息,触发或控制虚拟场景响应,并根据游戏者头部的位置和角度来设置虚拟双目相机的方位,渲染游戏者视角所看到的虚拟场景的双目图像,并传送到VR显示单元上显示,从而让游戏者能随着自己头部的运动看到不同角度的三维虚拟场景,并能通过肢体控制虚拟场景,与虚拟场景产生互动,进而产生沉浸式的虚拟现实体验。通过到头部的位置和视角来改变三维渲染单元中的双目图像的视角,使得游戏者的视觉***和运动感知***之间可以联系起来,感觉更逼真。
除此之外,三维渲染单元设置有与实际立体相机阵列数量、硬件参数和软件参数均相同的多目虚拟相机,三维渲染单元还要根据通过实际立体相机阵列的姿态,来设置多目虚拟相机的姿态,使其与实际立体相机阵列的参数和姿态时刻保持一致,每一个实际相机对应一个参数和姿态相同的虚拟相机,多目虚拟相机也采用同样结构的会聚式结构排布。VR传感单元的触发或操控的虚拟场景,多目虚拟相机对虚拟场景进行实时渲染,得到多张虚拟场景渲染图像,虚拟场景渲染图像为渲染纹理,即将每帧的数据分别保存到各自的渲染纹理中。另外,将实际立体相机阵列采集的带有绿幕背景的游戏者图像进行绿幕剔除后,将绿幕抠像后的游戏者图像与相对应的虚拟场景渲染图像进行叠加,形成多张视差图像,最后将多张视差图像送往裸眼3D合成显示单元,进行视差图像的立体合成及裸眼3D显示。这样,旁观者就可以借助裸眼3D显示屏,看到游戏者本人在虚拟场景中的运动状态,并且旁观者通过控制实际立体相机阵列的姿态同时控制与实际立体相机阵列相同的多目虚拟相机的姿态,从而控制观看视角,实现与游戏者的情感分享及三维体验。
VR显示单元通常包括VR显示屏和两组成像透镜,来自三维渲染单元的双目图像分别传输至VR显示屏的左右屏幕,VR显示屏上的左右屏幕分别通过一组成像透镜成像在游戏者的左右眼前方,将具有双目视差的图像输分别送给左右眼,根据大脑的融合能力,在游戏者的大脑中形成虚拟场景的立体视觉。
裸眼3D合成显示单元包括图像合成单元,以及裸眼3D显示屏。裸眼3D显示屏包括2D显示屏和光栅。图像合成单元根据裸眼3D显示屏的物理结构及3D实现原理,将多张视差图像按照裸眼3D显示屏的物理特性进行图像重新排布,下面给出了2D显示屏的每个子像素位置对应的应取哪副视差图像的关系公式:
其中,Q表示每个子像素与视差图像的映射值,k和l为子像素的图像坐标,以左上角为零点;α为光栅相对于竖直方向的夹角,X为一个光栅水平周期所占的子像素个数,K为视点数,koff为2D显示屏左上角距离下一个光栅周期左边界的子像素个数,mod()为取余函数。通过上面的公式,便可以将三维渲染单元生成的多张视差图像进行立体合成,最后将合成结果送到裸眼3D显示屏上显示。裸眼3D显示屏将不同视差图像的光线在空间中进行分开,并使其在最佳观看距离处进行会聚,来实现不同视差图像的空间分离,当旁观者的左右眼分别看到不同视差图像时,根据大脑的融合作用,便会在大脑中形成立体视觉。光栅为狭缝光栅或者为柱镜光栅。
本发明的另一个目的在于提供一种裸眼3D虚拟现实展示方法。
本发明的裸眼3D虚拟现实展示方法,根据观看对象不同,裸眼3D虚拟现实展示***分为游戏者部分和旁观者部分:
(一)游戏者部分:
1)VR传感单元采集游戏者在绿幕空间中的运动信息,并将监测到的运动信息传输至三维渲染单元;
2)游戏者的运动信息触发或控制三维渲染单元中的三维虚拟场景,并控制三维渲染单元渲染游戏者视角所看到的三维虚拟场景的双目图像,然后将双目图像传输至VR显示单元;
3)VR显示单元将具有双目视差的双目图像输送给游戏者的左右眼,根据大脑的融合能力,在游戏者的大脑中形成虚拟场景的立体视觉,从而游戏者产生沉浸式的虚拟现实体验;
(二)旁观者部分:
1)前期调试实际立体相机阵列;
2)旁观者控制实际立体相机阵列的姿态,实际立体相机阵列拍摄位于绿幕空间的游戏者,采集不同角度的多张带有绿幕背景的游戏者图像,并与实际立体相机阵列的姿态一起发送至三维渲染单元;
3)三维渲染单元根据实际立体相机阵列的参数设置多目虚拟相机的参数,并根据实际立体相机阵列的姿态控制多目虚拟相机的姿态使得二者时刻保持同步;
4)多目虚拟相机对由VR传感单元触发或控制的三维虚拟场景进行实时渲染,获得多张虚拟场景渲染图像;
5)三维渲染单元将游戏者图像中的绿幕背景进行绿幕剔除,然后将绿幕抠像后的游戏者图像和相对应的虚拟场景渲染图像进行叠加,形成多张视差图像,传输至裸眼3D合成显示单元;
6)裸眼3D合成显示单元将多张视差图进行视差图像合成,并进行裸眼3D显示;旁观者通过裸眼3D合成显示单元的显示,实现第三视角的观察体验。
其中,在步骤(一)的1)中,VR传感单元采集游戏者在绿幕空间中的运动信息包括:通过跟踪***来捕捉游戏者的运动信息,运动信息包括游戏者的头部位置和角度,以及肢体信息,肢体信息包括游戏者的位置、角度和触键信息。
在步骤(一)的2)中,三维渲染单元渲染双目图像,具体包括以下步骤:
a)VR传感单元采集的游戏者的肢体信息,触发或控制三维渲染单元虚拟场景响应;
b)三维渲染单元根据游戏者头部的位置和角度来设置虚拟双目相机的方位,虚拟双目相机对虚拟场景进行实时渲染,获得游戏者视角所看到的虚拟场景的双目图像;
c)将双目图像传送到VR显示单元。
在步骤(二)的1)中,前期调试实际立体相机阵列包括以下步骤:
a)将多目实际相机的硬件和软件参数均设置一致;
b)将多目实际相机以会聚式结构排布,各实际相机的光心位于同一水平线上,光轴位于同一平面内;
c)调整相邻的实际相机的间距相等;
d)使得各实际相机的光轴相交于位于实际立体相机阵列前的一点,称之为会聚点。
在步骤(二)的2)中,旁观者控制实际立体相机阵列的姿态,并将实际立体相机阵列的姿态发送至三维渲染单元包括:旁观者控制实际立体相机阵列在空间中的6个自由度的姿态,包括位置信息和方向信息,并通过空间定位追踪***定位和追踪实际立体相机阵列在空间中的6个自由度的姿态,然后将实际立体相机阵列的姿态传输至三维渲染单元。实际立体相机阵列设置在摄像机支架上,各个实际相机之间的相对位置和姿态不变,旁观者控制实际立体相机阵列的姿态,同时控制多目虚拟相机的姿态,从而控制观看视角,实现与游戏者的情感分享及三维体验。
在步骤(二)的3)中,多目虚拟相机的数量、硬件和软件参数均与多目实际相机一致,一个虚拟相机对应一个参数相同的实际相机。
在步骤(二)的4)中,多目虚拟相机对虚拟场景进行渲染,获得虚拟场景渲染图像,将每帧的数据分别保存到各自的渲染纹理中。
在步骤(二)的6)中,裸眼3D合成显示单元按照裸眼3D显示屏的物理结构,按照公式(1)进行视差图像合成,视差图像与裸眼3D显示屏的2D显示屏的子像素的映射关系公式:
其中,Q表示每个子像素与视差图像的映射值,k和l为子像素的图像坐标,以左上角为零点;α为光栅相对于竖直方向的夹角,X为一个光栅水平周期所占的子像素个数,K为视点数,即为实际相机的数量,koff为2D显示屏左上角距离下一个光栅周期左边界的子像素个数,mod()为取余函数。
本发明的优点:
本发明采用VR传感单元采集游戏者的运动信息,对三维渲染单元发布触发或操控指令,触发或控制三维渲染单元的三维虚拟场景,三维渲染单元渲染双目图像,发送至VR显示单元,使得游戏者产生沉浸式的虚拟现实体验;同时采用实际立体相机阵列,并结合绿幕抠像技术将游戏者本身放到数字化的虚拟场景里,最后将游戏者和虚拟场景以裸眼3D显示的方式呈现出来,让旁观者不用借助任何辅助设备,便能够以第三视角的方式来观察游戏者正在经历的场景,并能看到游戏者本身已经融入在虚拟场景中,从而可以很容易地理解游戏者做各种动作的原因,进而能与游戏者一同感受体验VR的乐趣;不仅如此,旁观者还可以人为的调整第三视角的观看位置和角度,改变虚拟场景中虚拟相机的位置和方位,从而根据自己的兴趣观看虚拟场景中发生的情况,也可以对整个虚拟场景进行全方位观察和分析。
附图说明
图1为本发明的裸眼3D虚拟现实展示***的结构框图;
图2为本发明的裸眼3D虚拟现实展示***的实际立体相机阵列的一个实施例的俯视图;
图3为本发明的裸眼3D虚拟现实展示***的结构示意图。
具体实施方式
下面结合附图,通过具体实施例,进一步阐述本发明。
如图1和图3所示,本发明的裸眼3D虚拟现实展示***包括:VR传感单元1、多目相机定位采集单元2、三维渲染单元3、VR显示单元4、裸眼3D合成显示单元5和绿幕空间6;其中,VR传感单元1、多目相机定位采集单元2、VR显示单元4和游戏者P均位于绿幕空间6内;VR传感单元1和多目相机定位采集单元分别连接至三维渲染单元3;三维渲染单元3分别连接至VR显示单元4和裸眼3D合成显示单元5。VR显示单元4将具有双目视差的图像成像在游戏者P的双眼前。旁观者L通过裸眼3D合成显示单元5的显示,实现第三视角的观察体验。
1.VR传感单元
本实施例中,VR传感单元采用HTC VIVE的VR设备,VIVE的三维空间跟踪定位技术,称之为Lighthouse室内定位技术,属于激光扫描定位技术,靠激光和光敏传感器来确定运动物体的位置。两个激光发射器被安置在对角,形成大小可调的长方形区域,最大追踪位置为4.5×4.5m。激光束由发射器里面的两排固定LED灯发出,每秒6次。每个激光发射器内有两个扫描单元,分别在水平和垂直方向轮流对绿幕空间发射激光扫描定位空间。
采用激光扫描定位技术,在游戏者头部和手持的手柄上安装多个光敏感传感器,在绿幕空间内设置多个激光发射器,激光发射器内的扫描单元轮流对对绿幕空间发射激光扫描绿幕空间,光敏感传感器接受激光,并传输至计算单元,计算单元区分头部与手柄的不同的光敏感传感器,并分别计算接收激光的时间,来分别确定头部和手柄的位置信息。
游戏者的头部佩戴头显,并且手持手柄,头显和手柄上有超过70个光敏传感器。通过计算接收激光的时间来计算传感器位置相对于激光发射器的准确位置,通过多个光敏传感器可以探测出头显的位置及方向。这里需要说明一下,HTC Vive采用的激光定位技术,定位过程中光敏传感器的ID会随着它接收到的数据同时传给计算单元的,也就是说计算单元是可以直接区分不同的光敏传感器,从而根据每个光敏传感器所固定在头显和手柄上的位置以及其他信息一起最终构建头显及手柄的三维模型,从而得到游戏者的运动信息。
2.多目相机定位采集单元
实际立体相机阵列采用多目工业相机。
实际立体相机阵列中的工业相机和镜头的规格分别如下所示:
表1相机规格参数表
表2镜头规格参数表
5目实际立体相机阵列如图2所示。根据裸眼3D显示屏的规格尺寸以及双目融合能力,计算相邻相机的间距为3.57cm,会聚距离Z0为2m,最近物体距离ZA为1.5m,CMOS实际使用像素点数为1920×1080,那么实际相机在竖直方向上的视场角约为42°。根据本实施例中裸眼3D显示屏的视点数为8,因此选用8目工业相机组成实际立体相机阵列,并将其安装在一套肩扛式摄像机支架上,便于移动拍摄。
本实施例中,对实际立体相机阵列的空间定位采用红外影像追踪技术,通过在绿幕空间上方架设空间定位追踪***对实际立体相机阵列上的标记点进行捕捉,实时得出实际立体相机阵列的位姿,位姿包括空间位置和角度。
3.三维渲染单元
三维渲染单元负责根据VIVE采集到的运动信息来控制三维虚拟场景进行触发响应,并根据头部的位置和角度数据来实时设置虚拟双目相机的方位,并渲染双目图像输出到VR显示单元上。
另外,三维渲染单元根据实际立体相机阵列的位置和角度,设置八目虚拟相机的位置和角度,虚拟相机采用与实际立体相机阵列一样的会聚式结构排布,且虚实相机的姿态与实际立体相机阵列始终保持一致。八目虚拟相机对虚拟场景进行渲染,获得虚拟场景渲染图像,将每帧的数据分别保存到各自的渲染纹理中。
八目实际相机采集的带有绿幕背景的游戏者图像,通过对逐像素进行YUV颜色空间测试,将绿色进行剔除后,将结果与虚拟场景渲染图像进行叠加,形成八张视差图像,最后将这些视差图像送往裸眼3D合成显示单元。
4.VR显示单元
VR显示单元为设置在头显上的显示设备,其单眼分辨率可达1200×1080,刷新率为90FPS,两组透镜分贝采用菲涅尔镜片,可视角度约为100°~110°。
5.裸眼3D合成显示单元
2D显示屏为P3的LED三拼一显示屏,分辨率为1920×1080,尺寸为5.76m×3.24m,最佳观看距离为10m;光栅采用狭缝光栅,视点数为8。光栅的倾斜角度的正切值为1/3,一个光栅周期所覆盖的子像素为8。那么根据公式(1)可以计算出子像素与视点的映射关系矩阵如下所示:
表3子像素与视点映射矩阵(部分)
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
8 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7
7 8 1 2 3 4 5 6 7 8 1 2 3 4 5 6
6 7 8 1 2 3 4 5 6 7 8 1 2 3 4 5
5 6 7 8 1 2 3 4 5 6 7 8 1 2 3 4
4 5 6 7 8 1 2 3 4 5 6 7 8 1 2 3
将叠加后形成的8张视差图像,根据图(1)的映射关系,进行灰度值拾取,合成为一张1920×1080的图像送显至2D显示屏上,根据狭缝光栅的遮挡作用,可以将8张视差图像在空间中进行分离,当旁观者左右眼看到其中的两张视差图像(如第1张和第2张)时,并能在大脑中形成立体视觉。
最后需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附的权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种裸眼3D虚拟现实展示***,其特征在于,所述展示***包括:VR传感单元、多目相机定位采集单元、三维渲染单元、VR显示单元、裸眼3D合成显示单元和绿幕空间;其中,所述VR传感单元、多目相机定位采集单元、VR显示单元和游戏者均位于绿幕空间内;VR传感单元和多目相机定位采集单元分别连接至三维渲染单元;所述三维渲染单元分别连接至VR显示单元和裸眼3D合成显示单元;根据观看对象不同,所述裸眼3D虚拟现实展示***分为游戏者部分和旁观者部分;在游戏者部分中,VR传感单元采集游戏者在绿幕空间中的运动信息,并将运动信息传输至三维渲染单元,触发或控制三维渲染单元中的三维虚拟场景,并控制三维渲染单元获得游戏者视角所看到的三维虚拟场景的双目图像;双目图像传输至VR显示单元,将具有双目视差的双目图像输送给游戏者的左右眼,从而游戏者产生沉浸式的虚拟现实体验;在旁观者部分中,多目相机定位采集单元中的实际立体相机阵列拍摄位于绿幕空间的游戏者,采集不同角度的多张带有绿幕背景的游戏者图像,与实际立体相机阵列的姿态一起发送至三维渲染单元;三维渲染单元根据实际立体相机阵列的参数设置多目虚拟相机的参数,并根据实际立体相机阵列的姿态控制多目虚拟相机的姿态使得二者时刻保持同步,多目虚拟相机对由VR传感单元触发或控制的三维虚拟场景进行实时渲染,获得虚拟场景渲染图像,并将游戏者图像中的绿幕背景进行绿幕剔除,然后将绿幕抠像后的游戏者图像和虚拟场景渲染图像进行叠加,形成多张视差图像,传输至裸眼3D合成显示单元;裸眼3D合成显示单元将多张视差图进行视差图像合成,并进行裸眼3D显示;旁观者控制多目相机定位采集单元中实际立体相机阵列的姿态,通过裸眼3D合成显示单元的显示,实现第三视角的观察体验。
2.如权利要求1所述的展示***,其特征在于,所述绿幕空间是指由绿幕搭建的一个长方体的内部空间,长方体内的每一个面均由绿幕覆盖,长方体内能够布置下VR传感单元、游戏者和多目相机定位采集单元,所述长方体的侧面设置有人员进出口。
3.如权利要求1所述的展示***,其特征在于,所述VR传感单元采用三维空间跟踪定位技术,通过跟踪***来捕捉的游戏者的运动信息;跟踪定位技术分为有源跟踪定位技术和无源跟踪定位技术;其中,所述有源跟踪定位技术的跟踪***具有发射器和接收器,能够通过发射和接收信号之间的物理联系确定游戏者的运动信息;所述无源跟踪定位技术的跟踪***不具有主动信号源,仅通过接收器测量接收信号的变化,确定被跟踪对象的位置和姿态;跟踪定位技术采用激光定位技术、光学定位技术、红外主动式光学技术和可见光主动式光学技术中的一种。
4.如权利要求1所述的展示***,其特征在于,所述多目相机定位采集单元包括实际立体相机阵列、空间定位追踪***和数据采集单元,实际立体相机阵列连接至数据采集单元,数据采集单元采集实际立体相机阵列的数据,再将获得数据传输至三维渲染单元;空间定位追踪***定位和追踪实际立体相机阵列在空间中的6个自由度,包括位置信息和方向信息。
5.如权利要求4所述的展示***,其特征在于,所述实际立体相机阵列包括多目实际相机,多目实际相机以会聚式结构排布,各实际相机的光心位于同一水平线上,光轴位于同一平面内,并且相邻的实际相机的间距相等,各实际相机的光轴相交于位于立体相机阵列前的一点,称之为会聚点;若采用偶数个实际相机,则会聚点位于中间两个实际相机的光心连线的中垂线上;若采用奇数个相机,则会聚点位于中间的实际相机的光轴上;多目实际相机的硬件和软件参数均保持一致,硬件参数包括采集芯片、相机电路和镜头的规格参数,软件参数包括分辨率、曝光时间、白平衡、颜色校正、图像裁剪区域和贝叶耳Bayer转换类型。
6.如权利要求4所述的展示***,其特征在于,根据裸眼3D显示屏的规格尺寸以及双目融合能力,计算相邻实际相机的间距和会聚点的位置,保证拍摄到的游戏者在裸眼3D显示屏上的视差量是在人眼的融合范围之内,并且保证当虚拟相机的设置与实际立体相机阵列一致时,拍摄到的虚拟场景的视差量也同样在人眼的融合范围之内。
7.如权利要求1所述的展示***,其特征在于,所述裸眼3D合成显示单元包括图像合成单元,以及裸眼3D显示屏;所述裸眼3D显示屏包括2D显示屏和光栅。
8.一种裸眼3D虚拟现实展示方法,所述展示方法,根据观看对象不同,裸眼3D虚拟现实展示***分为游戏者部分和旁观者部分:
(一)游戏者部分:
1)VR传感单元采集游戏者在绿幕空间中的运动信息,并将监测到的运动信息传输至三维渲染单元;
2)游戏者的运动信息触发或控制三维渲染单元中的三维虚拟场景,并控制三维渲染单元渲染游戏者视角所看到的三维虚拟场景的双目图像,然后将双目图像传输至VR显示单元;
3)VR显示单元将具有双目视差的双目图像输送给游戏者的左右眼,根据大脑的融合能力,在游戏者的大脑中形成虚拟场景的立体视觉,从而游戏者产生沉浸式的虚拟现实体验;
(二)旁观者部分:
1)前期调试实际立体相机阵列;
2)旁观者控制实际立体相机阵列的姿态,实际立体相机阵列拍摄位于绿幕空间的游戏者,采集不同角度的多张带有绿幕背景的游戏者图像,并与实际立体相机阵列的姿态一起发送至三维渲染单元;
3)三维渲染单元根据实际立体相机阵列的参数设置多目虚拟相机的参数,并根据实际立体相机阵列的姿态控制多目虚拟相机的姿态使得二者时刻保持同步;
4)多目虚拟相机对由VR传感单元触发或控制的三维虚拟场景进行实时渲染,获得多张虚拟场景渲染图像;
5)三维渲染单元将游戏者图像中的绿幕背景进行绿幕剔除,然后将绿幕抠像后的游戏者图像和相对应的虚拟场景渲染图像进行叠加,形成多张视差图像,传输至裸眼3D合成显示单元;
6)裸眼3D合成显示单元将多张视差图进行视差图像合成,并进行裸眼3D显示;旁观者通过裸眼3D合成显示单元的显示,实现第三视角的观察体验。
9.如权利要求8所述的展示方法,其特征在于,在步骤(一)的2)中,三维渲染单元渲染双目图像,具体包括以下步骤:
a)VR传感单元采集的游戏者的肢体信息,触发或控制三维渲染单元虚拟场景响应;
b)三维渲染单元根据游戏者头部的位置和角度来设置虚拟双目相机的方位,虚拟双目相机对虚拟场景进行实时渲染,获得游戏者视角所看到的虚拟场景的双目图像;
c)将双目图像传送到VR显示单元。
10.如权利要求8所述的展示方法,其特征在于,在步骤(二)的1)中,前期调试实际立体相机阵列包括以下步骤:
a)将多目实际相机的硬件和软件参数均设置一致;
b)将多目实际相机以会聚式结构排布,各实际相机的光心位于同一水平线上,光轴位于同一平面内;
c)调整相邻的实际相机的间距相等;
d)使得各实际相机的光轴相交于位于实际立体相机阵列前的一点,称之为会聚点。
CN201610739396.0A 2016-08-26 2016-08-26 一种裸眼3d虚拟现实展示***及其展示方法 Active CN106131530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610739396.0A CN106131530B (zh) 2016-08-26 2016-08-26 一种裸眼3d虚拟现实展示***及其展示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610739396.0A CN106131530B (zh) 2016-08-26 2016-08-26 一种裸眼3d虚拟现实展示***及其展示方法

Publications (2)

Publication Number Publication Date
CN106131530A CN106131530A (zh) 2016-11-16
CN106131530B true CN106131530B (zh) 2017-10-31

Family

ID=57274811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610739396.0A Active CN106131530B (zh) 2016-08-26 2016-08-26 一种裸眼3d虚拟现实展示***及其展示方法

Country Status (1)

Country Link
CN (1) CN106131530B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377355A (zh) * 2016-11-28 2018-08-07 中兴通讯股份有限公司 一种视频数据处理方法、装置及设备
CN106708074B (zh) * 2016-12-06 2020-10-30 深圳市元征科技股份有限公司 基于vr眼镜控制无人机的方法及装置
CN108614636A (zh) * 2016-12-21 2018-10-02 北京灵境世界科技有限公司 一种3d实景vr制作方法
CN106683501B (zh) * 2016-12-23 2019-05-14 武汉市马里欧网络有限公司 一种ar儿童情景扮演投影教学方法及***
CN108347415A (zh) * 2017-01-24 2018-07-31 上海乐相科技有限公司 一种基于虚拟现实***的无线通信方法及设备
CN107390173B (zh) * 2017-06-27 2020-07-17 成都理想智美科技有限公司 一种定位***
WO2019037040A1 (zh) * 2017-08-24 2019-02-28 腾讯科技(深圳)有限公司 基于虚拟现实应用录制视频的方法、终端设备及存储介质
WO2019109323A1 (zh) * 2017-12-08 2019-06-13 深圳前海达闼云端智能科技有限公司 图像显示方法、穿戴式智能设备及存储介质
CN108063938A (zh) * 2017-12-21 2018-05-22 深圳市得色科技有限公司 一种游戏引擎的裸眼3d成像显示方法及其***
CN107919085A (zh) * 2017-12-25 2018-04-17 河南新汉普影视技术有限公司 一种智能虚拟会议***
CN107948631A (zh) * 2017-12-25 2018-04-20 河南新汉普影视技术有限公司 一种基于集群和渲染的裸眼3d***
CN107976811B (zh) * 2017-12-25 2023-12-29 河南诺控信息技术有限公司 一种基于虚拟现实混合的仿真实验室及其仿真方法
CN108414978B (zh) * 2018-02-08 2020-08-11 北京理工大学 一种可扩展的基站阵列、光学跟踪***及其跟踪方法
CN108600732B (zh) * 2018-04-11 2020-07-17 成都黑萤科技有限责任公司 一种基于实体相框的裸眼3d图像展示***
CN108564623A (zh) * 2018-04-17 2018-09-21 北京轻威科技有限责任公司 一种主动光学定位方法、设备及***
CN108459722B (zh) * 2018-06-04 2021-09-07 北京虚拟映画科技有限公司 虚拟观影装置和***
CN108830943B (zh) * 2018-06-29 2022-05-31 歌尔光学科技有限公司 一种图像处理方法及虚拟现实设备
CN109032350B (zh) * 2018-07-10 2021-06-29 深圳市创凯智能股份有限公司 眩晕感减轻方法、虚拟现实设备及计算机可读存储介质
CN109254406A (zh) * 2018-11-07 2019-01-22 深圳市传智科技有限公司 一种多功能增强现实眼镜
CN109597484A (zh) * 2018-12-03 2019-04-09 山东浪潮商用***有限公司 一种基于vr虚拟现实的自助办税***及方法
CN110060349B (zh) * 2019-02-25 2023-03-10 叠境数字科技(上海)有限公司 一种扩展增强现实头戴式显示设备视场角的方法
CN109901713B (zh) * 2019-02-25 2020-07-17 山东大学 一种多人协同装配***及方法
CN110505464A (zh) * 2019-08-21 2019-11-26 佳都新太科技股份有限公司 一种数字孪生***、方法及计算机设备
CN110689570B (zh) * 2019-09-29 2020-11-27 北京达佳互联信息技术有限公司 虚拟形象直播方法、装置、电子设备及存储介质
CN110650354B (zh) * 2019-10-12 2021-11-12 苏州大禹网络科技有限公司 虚拟动漫角色直播方法、***、设备及存储介质
CN110620917A (zh) * 2019-10-22 2019-12-27 上海第二工业大学 一种虚拟现实跨屏立体显示的方法
CN111383313B (zh) * 2020-03-31 2023-05-12 歌尔股份有限公司 一种虚拟模型渲染方法、装置、设备及可读存储介质
CN112669469B (zh) * 2021-01-08 2023-10-13 国网山东省电力公司枣庄供电公司 基于无人机和全景相机的发电厂虚拟漫游***及方法
CN113192373B (zh) * 2021-03-18 2022-03-15 徐州九鼎机电总厂 一种基于沉浸式人机交互仿真***的潜望镜仿真成像方法
CN113012270A (zh) * 2021-03-24 2021-06-22 纵深视觉科技(南京)有限责任公司 一种立体显示的方法、装置、电子设备及存储介质
CN113347407A (zh) * 2021-05-21 2021-09-03 华中科技大学 一种基于裸眼3d医学图像显示***
CN113449027A (zh) * 2021-06-23 2021-09-28 上海国际汽车城(集团)有限公司 一种城市路口动态信息三维可视化展示方法及装置
CN113821107B (zh) * 2021-11-23 2022-03-04 成都索贝数码科技股份有限公司 一种实时、自由视点的室内外裸眼3d***
CN115486836A (zh) * 2022-09-20 2022-12-20 浙江大学 一种基于vr设备的视觉运动感知检测方法及其装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8025569B2 (en) * 2002-03-29 2011-09-27 Igt Simulating real gaming environments with interactive host and players
US20030220143A1 (en) * 2002-05-24 2003-11-27 Koninklijke Philips Electronics N.V. On-line gaming spectator
AU2005270750B2 (en) * 2004-08-11 2010-12-23 Aristocrat Technologies Australia Pty Ltd A tournament gaming system
CN101732858B (zh) * 2008-11-11 2013-10-30 盛乐信息技术(上海)有限公司 现实与虚拟结合的联网游戏***及实现方法

Also Published As

Publication number Publication date
CN106131530A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CN106131530B (zh) 一种裸眼3d虚拟现实展示***及其展示方法
CN205987196U (zh) 一种裸眼3d虚拟现实展示***
CN106131536A (zh) 一种裸眼3d增强现实互动展示***及其展示方法
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
CN101072366B (zh) 基于光场和双目视觉技术的自由立体显示***和方法
CN205901977U (zh) 一种裸眼3d增强现实互动展示***
CN102098524B (zh) 跟踪式立体显示设备及跟踪式立体显示方法
CN101729920B (zh) 一种自由视角立体视频显示方法
CN106843456A (zh) 一种基于姿态追踪的显示方法、装置和虚拟现实设备
CN106444023A (zh) 一种超大视场角的双目立体显示的透射式增强现实***
CN108885342A (zh) 用于低延迟渲染的宽基线立体
CN105809654A (zh) 目标对象跟踪方法、装置和立体显示设备及方法
CN107545537A (zh) 一种从稠密点云生成3d全景图片的方法
CN105791800A (zh) 立体显示***及立体显示方法
CN106507096A (zh) 一种具有超大视角的追踪式地面光场3d显示方法及***
CN102929091A (zh) 数字球幕立体电影的制作方法
CN104883561A (zh) 三维全景显示方法和头戴式显示设备
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
JP6775669B2 (ja) 情報処理装置
JP2000184398A (ja) 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体
CN109816795A (zh) 一种分布式场景目标识别的增强现实ar的***以及方法
CN107222689B (zh) 基于vr镜头的实景切换方法及装置
WO2018173206A1 (ja) 情報処理装置
CN110415354A (zh) 基于空间位置的三维沉浸式体验***及方法
CN103285585A (zh) 一种基于互联网架构的体感击剑互动装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant