CN111586394A - 一种三维交互展示***及其展示方法 - Google Patents

Abstract

本发明公开了一种三维交互展示***及其展示方法。本发明针对观看者视角设置了正向渲染单元和正向显示单元，针对展示者视角设置了反向渲染单元和反向显示单元，利用分光单元将使得两个显示方向不会发生干扰，同时展示者能够实时监看到自己和虚拟场景的合成图像，并且反向渲染单元可以叠加信息或者虚拟场景，为展示者生成三维成像视觉效果，更好的支持展示者的展示或者表演；同时，展示者的动作信息同样进入正向渲染单元，实时控制正向渲染单元输出的三维场景和内容，配合展示者的展示或者表演，并可以随时调整三维场景和内容，保证了观看者视角获得逼真、自然的三维成像视觉效果，用于舞台表演、远程教学以及产品发布能够完成出色的展示效果。

Description

一种三维交互展示***及其展示方法

技术领域

本发明涉及三维显示与交互技术，具体涉及一种三维交互展示***及其展示方法。

背景技术

人类生活在一个立体的世界中，利用立体视觉机制来感知这个立体世界。为了表达这个世界，人们已提出并发展了很多方式，其中图像是最直观的表达方式。然而，目前大多数显示设备只能实现2D(二维)显示，可表达出场景的内容却忽略了深度信息，因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。在信息化、数字化的时代，随着社会的发展，2D显示逐渐不能满足人类的需求，3D显示已成为研究人员新的研究目标，并成为显示领域中新的发展趋势。随着人们对3D显示的研究不断深入，已提出各种技术实现了多种3D显示方式。其中，空中成像技术作为三维技术的一种，因其原理简单，实现效果好而受到关注，并广泛用于展览展示、教学展示***。随着空间感知、计算机实时渲染技术的发展，展示者借助必要的装备与数字化环境中的对象进行交互作用、相互影响，以及视觉效果的设计，可以使得观众对于真实的展示者和实时渲染生成的场景叠加，产生强烈的三维空间真实感，从而实现各种震撼的视觉体验。

然而在一般的展示方法中，展示者无法实时看到自己的动作和展示内容，难以实时的做出响应，限制了本***的应用。

发明内容

针对以上现有技术中存在的问题，本发明提出了一种三维交互展示***及其展示方法。

本发明的一个目的在于提出一种三维交互展示***。

本发明的三维交互展示***包括：展示空间、传感单元、反向渲染单元、反向显示单元、展示者、观看空间、相机采集单元、正向渲染单元、正向显示单元、观看者以及分光单元；其中，展示空间为立体空间，展示者、反向显示单元和传感单元位于在展示空间内；反向显示单元位于展示空间内的水平的顶壁上；观看空间正对着展示空间，二者之间设置分光单元；分光单元与水平的地面呈45度角，分光单元采用半透半反膜；观看者、正向显示单元和相机采集单元位于观看空间内，相机采集单元与观察者位于同一视角；正向显示单元位于观看空间内的水平的底壁上；反向显示单元和正向显示单元分别位于分光单元的两侧，并且与之呈45度角；传感单元连接至反向渲染单元，反向渲染单元连接至反向显示单元；传感单元还连接至正向渲染单元，正向渲染单元连接至正向显示单元；相机采集单元连接至反向渲染单元；正向渲染单元与反向渲染单元互相连接；传感单元采集展示者在展示空间中的空间信息和动作信息，并将空间信息和动作信息实时传输至正向渲染单元；正向渲染单元根据展示者的空间信息和动作信息，触发或者控制正向渲染单元产生相应的渲染结果，并将渲染结果输出至正向显示单元；正向显示单元显示渲染结果；正向显示单元的显示内容通过分光单元反射形成正向像；这个正向像是虚像，从观察者看来是位于展示空间内的竖直平面的正像，位于展示空间内的展示者的表演通过分光单元透射，观看者看到的是在展示空间内正向显示单元的正向像叠加上展示者的表演，从而实现逼真且自然的三维成像视觉效果；相机采集单元实时采集以观看者视角采集到的图像，即采集到的是正向显示单元的正向像叠加上展示者的表演的图像；相机采集单元将以观看者视角采集到的图像实时传输至反向渲染单元；同时，传感单元采集展示者在展示空间中的空间信息和动作信息，并将空间信息和动作信息实时传输至反向渲染单元；反向渲染单元根据空间信息和动作信息，产生相应的提示内容，并叠加在以观看者视角采集到的图像上，进行渲染，得到渲染的图像，并将渲染的图像输出至反向显示单元；正向渲染单元与反向渲染单元实时进行渲染同步；反向显示单元显示以观看者视角采集到的图像叠加上提示内容的图像；反向显示单元的显示内容通过分光单元的反射形成反向像，展示给展示者，这个反向像是虚像，从展示者看来是形成于观察空间内的位于竖直平面的正像，从而展示者能够实时观看到自己的展示效果以及由反向渲染单元添加的提示内容。

展示空间是指搭建的立体的内部空间，立体内除面向观看空间外的每一个面均由黑色吸光布覆盖，立体内能够布置下传感单元和展示者，侧面设置有人员进出口。面向观看空间的一面设置分光单元。

传感单元采用跟踪定位传感器，进行展示者与三维互动展示***的人机交互，进行展示者与虚拟场景之间的感知传递，采集三维空间方位跟踪的空间信息以及肢体动作交互行为的动作信息。传感单元采用三维空间跟踪定位方法，通过跟踪***来捕捉的展示者的空间信息与运动信息，使展示者具有能偶自由移动的交互空间，增加展示者交互操作的灵活性，运动信息包括展示者的头部位置和角度，以及肢体信息。跟踪定位传感器分为有源跟踪定位传感器和无源跟踪定位传感器。其中，有源跟踪定位传感器具有发射器和接收器，能够通过发射和接收信号之间的物理联系确定展示者的运动信息。无源跟踪定位传感器不具有主动信号源，仅通过接收器测量接收信号的变化，确定被跟踪对象的位置和姿态。跟踪定位方法采用激光定位方法、光学定位方法、红外主动式光学方法和可见光主动式光学方法中的一种。传感单元将采集到的展示者的运动信息传输至正向渲染单元。

相机采集单元包括采集相机和传输线，采集相机应当具有合适的分辨率、视场角、曝光时间、白平衡、颜色校正、图像裁剪区域和Bayer转换类型等，保证在设定的光线条件下，获得低延时的图像，这样才能对于展示者的反向显示实现较好的效果。根据反向显示单元的三维显示屏的规格尺寸，计算采集相机的间距和拍摄位置，保证拍摄到的展示者与反向显示单元的图像能够很好的融合，实现良好的成像效果。

为了降低整体***的运行耗时，提高***帧率，本发明中的相机采集单元的数据采集采用USB3.0等高速接口相机采集方案，通过调用多核CPU来采集实际相机的数据，再将获得的数据送往反向渲染单元，从而在很大程度上提高了***运行帧率。

正向渲染单元中存储了三维数字化的虚拟场景和预设规则路径。首先，根据传感单元采集的展示者的空间信息和运动信息，触发或控制虚拟场景响应，并根据展示者头部的位置和角度来设置正向渲染单元的渲染内容，渲染展示者互动所在的虚拟场景的图像，并传送到反向显示单元上显示，从而让展示者能随着自己的动作操控不同的三维的虚拟场景，与虚拟场景产生互动，进而产生沉浸式的展示体验。通过头部的位置和角度来改变正向渲染单元中的图像的视角，展示者通过反向显示单元的显示内容，去修正肢体动作，正向显示单元根据展示者的动作再修正调整所显示的虚拟场景，从而使得这个展示更加逼真，使得展示者的视觉***和运动感知***之间能够联系起来，会感觉更逼真。

反向渲染单元存储了提示内容，提示内容包括与展示者的空间信息和动作信息相对应的语言内容以及动作内容，即作为提示器向展示者提示即将展示的语言或动作。

正向渲染单元与反向渲染单元之间通过数据传输线进行通讯，同步渲染数据，降低正向显示单元与反向显示单元的显示内容的延迟。

正向显示单元和反向显示单元均采用显示屏。

本发明的另一个目的在于提出一种三维交互展示***的展示方法。

本发明的三维交互展示***的展示方法，根据观看对象不同，分为展示者部分和观看者部分：

(一)观看者部分：

1)传感单元采集展示者在展示空间中的空间信息和动作信息，并将空间信息和动作信息实时传输至正向渲染单元；

2)正向渲染单元根据展示者的空间信息和动作信息，触发或者控制正向渲染单元产生相应的渲染结果，并将渲染结果输出至正向显示单元；

3)正向显示单元显示渲染结果；

4)正向显示单元的显示内容通过分光单元反射形成正向像；这个正向像是虚像，从观察者看来是位于展示空间内的竖直平面的正像，位于展示空间内的展示者的表演通过分光单元透射，观看者看到的是在展示空间内正向显示单元的正向像叠加上展示者的表演，从而实现逼真且自然的三维成像视觉效果；

(二)展示者部分：

1)相机采集单元实时采集以观看者视角采集到的图像，即采集到的是正向显示单元的正向像叠加上展示者的表演的图像；

2)相机采集单元将以观看者视角采集到的图像实时传输至反向渲染单元；同时，传感单元采集展示者在展示空间中的空间信息和动作信息，并将空间信息和动作信息实时传输至反向渲染单元；

3)反向渲染单元根据空间信息和动作信息，产生相应的提示内容，并叠加在以观看者视角采集到的图像上，进行渲染，得到渲染的图像，并将渲染的图像输出至反向显示单元；正向渲染单元与反向渲染单元实时进行渲染同步；

4)反向显示单元显示以观看者视角采集到的图像叠加上提示内容的图像；

5)反向显示单元的显示内容通过分光单元的反射形成反向像，展示给展示者，这个反向像是虚像，从展示者看来是形成于观察空间内的位于竖直平面的正像，从而展示者能够实时观看到自己的展示效果以及由反向渲染单元添加的提示内容。

其中，展示者通过反向显示单元的显示内容，去修正肢体动作，正向显示单元根据展示者的动作再修正调整所显示的虚拟场景，从而使得这个展示更加逼真，使得展示者的视觉***和运动感知***之间能够联系起来，会感觉更逼真。

本发明的优点：

本发明针对观看者视角设置了正向渲染单元和正向显示单元，针对展示者视角设置了反向渲染单元和反向显示单元，利用分光单元将使得两个显示方向不会发生干扰，同时展示者能够实时监看到自己和虚拟场景的合成图像，并且反向渲染单元能够叠加信息或者虚拟场景，为展示者生成三维成像视觉效果，更好的支持展示者的展示或者表演；同时，展示者的动作信息同样进入正向渲染单元，实时控制正向渲染单元输出的三维场景和内容，配合展示者的展示或者表演，并能够随时调整三维场景和内容，保证了观看者视角获得逼真且自然的三维成像视觉效果，用于舞台表演、远程教学以及产品发布等，能够完成出色的展示效果。

附图说明

图1为本发明的三维交互展示***的结构图；

图2为本发明的三维交互展示***的一个实施例的示意图。

具体实施方式

下面结合附图，通过具体实施例，进一步阐述本发明。

如图1和2所示，本实施例的三维交互展示***包括：展示空间、传感单元1、反向渲染单元4、反向显示单元8、展示者P、观看空间、相机采集单元2、正向渲染单元3、正向显示单元7、观看者L以及分光单元5；其中，展示空间6为立体空间，展示者P、反向显示单元8和传感单元1位于在展示空间6内；反向显示单元8位于展示空间6内的水平的顶壁上；观看空间正对着展示空间6，二者之间设置分光单元5；分光单元5与水平的地面呈45度角，分光单元5采用半透半反膜；观看者L、正向显示单元7和相机采集单元2位于观看空间内；正向显示单元7位于观看空间内的水平的底壁上；反向显示单元8和正向显示单元7分别位于分光单元5的两侧，并且与之呈45度角；传感单元1连接至反向渲染单元4，反向渲染单元4连接至反向显示单元8；传感单元1还连接至正向渲染单元3，正向渲染单元3连接至正向显示单元7；相机采集单元2连接至反向渲染单元4；反向渲染单元4与正向渲染单元3互连。

展示空间为搭建的长方体的内部空间，除对着观看空间的一面外，长方体内的每一个面均由黑色吸光布覆盖。

1.传感单元

本实施例中，传感单元采用Lighthouse室内定位技术，属于激光扫描定位技术，靠激光和光敏传感器来确定运动物体的位置。两个激光发射器被安置在对角，形成大小可调的长方形区域，最大追踪位置为4.5×4.5m。激光束由发射器里面的两排固定LED灯发出，每秒6次。每个激光发射器内有两个扫描单元，分别在水平和垂直方向轮流对展示空间发射激光扫描定位空间。

采用激光扫描定位方法，在展示者头部和身体上穿戴多个光敏感传感器，在展示空间内设置多个激光发射器，激光发射器内的扫描单元轮流对对展示空间发射激光扫描展示空间，光敏感传感器接受激光，并传输至计算单元，计算单元区分头部与身体的不同的光敏感传感器，并分别计算接收激光的时间，来分别确定头部和身体的位置信息。通过计算接收激光的时间来计算传感器位置相对于激光发射器的准确位置，通过多个光敏传感器能够探测出头部的位置及方向，以及身体的动作和手部动作。这里需要说明一下，采用的激光定位方法，定位过程中光敏传感器的ID会随着它接收到的数据同时传给计算单元的，也就是说计算单元是能够直接区分不同的光敏传感器，从而根据每个光敏传感器所固定在人体上的位置以及其他信息一起最终构建人体运动三维模型，从而得到展示者的运动信息。

2.相机采集单元

相机采集单元采用工业相机，并将其安装在摄像机支架上，便于调整拍摄方向与位置。

相机采集单元中的工业相机和镜头的规格分别如下所示：

表1相机规格参数表

表2镜头规格参数表

3.渲染单元

正向渲染单元和反向渲染单元均采用电脑，正向渲染单元负责根据传感单元采集到的运动信息来控制三维虚拟场景进行触发或控制响应，并实时设置虚拟场景状态，并渲染图像输出到正向显示单元上；反向渲染单元根据空间信息和动作信息，产生相应的提示内容，并叠加在以观看者视角采集到的图像上，进行渲染，形成提词器的效果。

4.显示单元

正向显示单元和反向显示单元均为65寸LCD，其单块分辨率可达1920×1080，刷新率为60FPS，安装在图示位置。根据实际场景情况，可以使用投影机或者LED显示屏作为显示单元。

5.分光单元

分光单元采用半透半反射膜，利用机械结构拉伸展平，保证反射率和透过率各为50％，对于正向显示单元和反向显示单元实现反射成像。正向显示单元的显示内容通过分光单元反射形成正向像R；反向显示单元的显示内容通过分光单元反射形成反向像R’。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (8)

1.一种三维交互展示***，其特征在于，所述三维交互展示***包括：展示空间、传感单元、反向渲染单元、反向显示单元、展示者、观看空间、相机采集单元、正向渲染单元、正向显示单元、观看者以及分光单元；其中，展示空间为立体空间，展示者、反向显示单元和传感单元位于在展示空间内；反向显示单元位于展示空间内的水平的顶壁上；观看空间正对着展示空间，二者之间设置分光单元；分光单元与水平的地面呈45度角，分光单元采用半透半反膜；观看者、正向显示单元和相机采集单元位于观看空间内，相机采集单元与观察者位于同一视角；正向显示单元位于观看空间内的水平的底壁上；反向显示单元和正向显示单元分别位于分光单元的两侧，并且与之呈45度角；传感单元连接至反向渲染单元，反向渲染单元连接至反向显示单元；传感单元还连接至正向渲染单元，正向渲染单元连接至正向显示单元；相机采集单元连接至反向渲染单元；正向渲染单元与反向渲染单元互相连接；传感单元采集展示者在展示空间中的空间信息和动作信息，并将空间信息和动作信息实时传输至正向渲染单元；正向渲染单元根据展示者的空间信息和动作信息，触发或者控制正向渲染单元产生相应的渲染结果，并将渲染结果输出至正向显示单元；正向显示单元显示渲染结果；正向显示单元的显示内容通过分光单元反射形成正向像；这个正向像是虚像，从观察者看来是位于展示空间内的竖直平面的正像，位于展示空间内的展示者的表演通过分光单元透射，观看者看到的是在展示空间内正向显示单元的正向像叠加上展示者的表演，从而实现逼真且自然的三维成像视觉效果；相机采集单元实时采集以观看者视角采集到的图像，即采集到的是正向显示单元的正向像叠加上展示者的表演的图像；相机采集单元将以观看者视角采集到的图像实时传输至反向渲染单元；同时，传感单元采集展示者在展示空间中的空间信息和动作信息，并将空间信息和动作信息实时传输至反向渲染单元；反向渲染单元根据空间信息和动作信息，产生相应的提示内容，并叠加在以观看者视角采集到的图像上，进行渲染，得到渲染的图像，并将渲染的图像输出至反向显示单元；正向渲染单元与反向渲染单元实时进行渲染同步；反向显示单元显示以观看者视角采集到的图像叠加上提示内容的图像；反向显示单元的显示内容通过分光单元的反射形成反向像，展示给展示者，这个反向像是虚像，从展示者看来是形成于观察空间内的位于竖直平面的正像，从而展示者能够实时观看到自己的展示效果以及由反向渲染单元添加的提示内容。

2.如权利要求1所述的三维交互展示***，其特征在于，所述展示空间是指搭建的立体的内部空间，立体内除面向观看空间外的每一个面均由黑色吸光布覆盖，立体内能够布置下传感单元和展示者，侧面设置有人员进出口。

3.如权利要求1所述的三维交互展示***，其特征在于，所述传感单元采用跟踪定位传感器，采集三维空间方位跟踪的空间信息以及肢体动作交互行为的动作信息。

4.如权利要求1所述的三维交互展示***，其特征在于，所述相机采集单元包括采集相机和传输线；根据反向显示单元的三维显示屏的规格尺寸，计算采集相机的间距和拍摄位置，保证拍摄到的展示者与反向显示单元的图像融合。

5.如权利要求1所述的三维交互展示***，其特征在于，所述正向渲染单元中存储了三维数字化的虚拟场景和预设规则路径。

6.如权利要求1所述的三维交互展示***，其特征在于，所述反向渲染单元存储了提示内容，提示内容包括与展示者的空间信息和动作信息相对应的语言内容以及动作内容，即作为提示器向展示者提示即将展示的语言或动作。

7.一种如权利要求1所述的三维交互展示***的展示方法，其特征在于，根据观看对象不同，分为展示者部分和观看者部分：

(一)观看者部分：

1)传感单元采集展示者在展示空间中的空间信息和动作信息，并将空间信息和动作信息实时传输至正向渲染单元；

2)正向渲染单元根据展示者的空间信息和动作信息，触发或者控制正向渲染单元产生相应的渲染结果，并将渲染结果输出至正向显示单元；

3)正向显示单元显示渲染结果；

4)正向显示单元的显示内容通过分光单元反射形成正向像；这个正向像是虚像，从观察者看来是位于展示空间内的竖直平面的正像，位于展示空间内的展示者的表演通过分光单元透射，观看者看到的是在展示空间内正向显示单元的正向像叠加上展示者的表演，从而实现逼真且自然的三维成像视觉效果；

(二)展示者部分：

1)相机采集单元实时采集以观看者视角采集到的图像，即采集到的是正向显示单元的正向像叠加上展示者的表演的图像；

2)相机采集单元将以观看者视角采集到的图像实时传输至反向渲染单元；同时，传感单元采集展示者在展示空间中的空间信息和动作信息，并将空间信息和动作信息实时传输至反向渲染单元；

3)反向渲染单元根据空间信息和动作信息，产生相应的提示内容，并叠加在以观看者视角采集到的图像上，进行渲染，得到渲染的图像，并将渲染的图像输出至反向显示单元；正向渲染单元与反向渲染单元实时进行渲染同步；

4)反向显示单元显示以观看者视角采集到的图像叠加上提示内容的图像；

5)反向显示单元的显示内容通过分光单元的反射形成反向像，展示给展示者，这个反向像是虚像，从展示者看来是形成于观察空间内的位于竖直平面的正像，从而展示者能够实时观看到自己的展示效果以及由反向渲染单元添加的提示内容。

8.如权利要求7所述的展示方法，其特征在于，展示者通过反向显示单元的显示内容，去修正肢体动作，正向显示单元根据展示者的动作再修正调整所显示的虚拟场景，从而使得展示更加逼真，使得展示者的视觉***和运动感知***之间能够联系起来，感觉更逼真。

Images