CN205901977U - 一种裸眼3d增强现实互动展示*** - Google Patents

Abstract

本实用新型公开了一种裸眼3D增强现实互动展示***。本实用新型在光学采集单元采用多目相机构成立体相机阵列，拍摄得到实际场景的多角度的相机图像，互动单元根据观看者所处位置、姿势或动作，对三维渲染单元发布触发和操控指令，三维渲染单元存储三维虚拟物体和场景的渲染图像，并与相机图像一起传输至裸眼3D合成单元，进行图像叠加，得到相机图像与渲染图像的混合图像作为视差图像，输出至裸眼3D显示单元中进行三维显示；观看者就能从裸眼3D显示单元上看到自己及所处的实际场景的三维立体显示效果，并混合着虚拟物体与实际场景的叠加，大大增加了裸眼3D显示单元的趣味性，更容易吸引人们的注意力。

Description

一种裸眼3D增强现实互动展示***

技术领域

本实用新型涉及裸眼3D显示技术，具体涉及一种裸眼3D增强现实互动展示***。

背景技术

人类生活在一个立体的世界中，利用立体视觉机制来感知这个立体世界。为了表达这个世界，人们已提出并发展了很多方式，其中图像是最直观的表达方式。然而，目前大多数显示设备只能实现2D(二维)显示，可表达出场景的内容却忽略了深度信息，因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。在信息化、数字化的时代，随着社会的发展，2D显示逐渐不能满足人类的需求，3D(三维)显示已成为显示研究人员的新研究目标，成为显示领域的新发展趋势。随着人们对3D显示的研究不断深入，已提出各种技术实现了多种3D显示方式。其中，多视点光栅式3D显示器可让多名观看者在较大观看视角内同时裸眼观看到立体图像，感受震撼的视觉体验，从而备受关注。相比于助视3D显示器，它摆脱了助视设备的限制；相比于其他裸视3D显示器，它具有结构简单、亮度高、数据量相对较小以及与现有的平板显示器兼容等优点。光栅3D显示根据所采用的光栅材料的不同分为狭缝光栅3D显示和柱透镜光栅3D显示，前者是基于狭缝光栅不透光部分对光线的遮挡作用来使得左右眼分别看到对应的左右视差图像，后者则是利用柱透镜的折射作用使得左右眼分别看到左右视差图像。

随着计算机技术的发展，增强现实技术(Augmented Reality，简称为AR)能够将计算机生成的物体叠加到现实景物上，以便使它们一起出现在使用者的视场中。AR技术在军事、机械、游戏娱乐、医疗，教育和文化遗产复原等领域均具有更广阔的发展前景。

但是，增强现实虽然实现了虚拟和现实的融合，但是其显示方式基本上还停留在2D显示或助视设备上。助视设备限制了人们随时随地观看3D显示的需求，并且尤其不适用于商场、机场等人流量密集的场所。

实用新型内容

为了解决以上现有技术中存在的问题，本实用新型提出了基于裸眼3D显示的增强现实互动展示***，可以实现无需佩戴助视设备，便能看到三维的虚拟与现实的融合，并可以借助互动单元，使观看者能与裸眼3D显示单元中的虚拟物体进行交互，极大增加了显示设备的趣味性和吸引性。

本实用新型的裸眼3D增强现实互动展示***包括：光学采集单元、三维渲染单元、互动单元、裸眼3D合成单元和裸眼3D显示单元；其中，互动单元连接至三维渲染单元；光学采集单元和三维渲染单元共同连接至裸眼3D合成单元；裸眼3D合成单元连接至裸眼3D显示单元；互动单元获取观看者的动作姿态，并发送指令至三维渲染单元；三维渲染单元接收指令对三维虚拟物体或场景进行实时渲染，获得渲染图像；光学采集单元采集实际场景的不同视角的相机图像，并与三维渲染单元的渲染图像一起传到裸眼3D合成单元；裸眼3D合成单元将相机图像进行畸变校正，并与渲染图像进行叠加，得到视差图像，并按照裸眼3D显示单元的物理结构进行视差图像合成；裸眼3D合成单元将合成的视差图像输出至裸眼3D显示单元中进行三维显示。

光学采集单元包括多目相机和数据采集单元。多目相机，构成立体相机阵列，从不同角度拍摄裸眼3D显示单元正前方的实际场景，从而获取到不同视角的相机图像。多目相机的硬件和软件参数均保持一致，硬件参数主要包括采集芯片(如CCD、CMOS)、相机电路和镜头的规格参数等，软件参数包括分辨率、曝光时间、白平衡、颜色校正、图像裁剪区域和贝叶耳Bayer转换类型等，这些参数均需保持一致，这样才能在裸眼3D显示单元上实现较好的合成效果。其中，相机采用立体相机，多目相机以会聚式结构排布，各相机的光心位于同一水平线上，光轴位于同一平面内，并且相邻的相机的间距相等，各相机的光轴相交于位于立体相机阵列前的一点，称之为会聚点。若采用偶数个相机，则会聚点位于中间两个相机的光心连线的中垂线上；若采用奇数个相机，则会聚点位于中间相机的光轴上。

为了降低整体***的运行耗时，提高***帧率，本实用新型中的数据采集单元采用多线程相机采集方案，即通过调用多核CPU来并行采集相机数据，再将获得的数据送往图形处理器GPU进行加速合成，从而在很大程度上提高了***运行帧率。

三维渲染单元中，存储了三维虚拟物体或场景的渲染图像，渲染图像为带透明通道的渲染纹理，即纹理中无虚拟物体或场景的位置均为透明通道，这是为了接下来的与相机拍摄的相机图像进行叠加。当互动单元发出触发指令时，三维渲染单元触发特定三维物体或场景按照预设规则或者路径出现，得到渲染图像，以便与相机采集的图像进行叠加。

互动单元是指人机交互***，通过与三维渲染单元连接协同工作，给三维渲染单元提供触发和响应指令；包括红外投影仪、红外摄像头和分析处理器，分析处理器对红外投影仪的光源进行控制编码；红外投影仪主动投射近红外光谱，照射到观看者和实际场景中，光谱发生扭曲，形成随机的反射斑点；红外摄像头采集红外影像；分析处理器分析红外摄像头采集的红外影像，然后逐帧生成准确的场景深度影像，并计算出人物的骨骼节点信息；分析处理器通过信号传输线连接至三维渲染单元，根据观看者所处位置、姿势或动作，对三维渲染单元发布触发指令或操控指令发送至三维渲染单元响应。

裸眼3D合成单元获取光学采集单元的相机图像，和三维渲染单元的实时的渲染图象，将相机图像与渲染图像进行叠加，遍历整幅图像，当渲染图像为透明通道时，则显示相机图像；当渲染图像为非透明通道时，则显示渲染图像；叠加后，得到混合图像用于裸眼3D显示的视差图像；然后将视差图像按照裸眼3D显示单元的物体特性进行视差图像合成，将合成的视差图像输出至裸眼3D显示单元。

裸眼3D显示单元包括2D显示屏和光栅，裸眼3D显示单元将不同视差图像的光线在空间中进行分开，并使其在最佳观看距离处进行会聚，来实现不同视差图像的空间分离，当观看者的左右眼分别看到不同视差图像时，根据大脑的融合作用，便会在大脑中形成立体视觉。光栅为狭缝光栅或者为柱镜光栅。

本实用新型的优点：

本实用新型在光学采集单元采用多目相机构成立体相机阵列，拍摄得到实际场景的多角度的相机图像，互动单元根据观看者所处位置、姿势或动作，对三维渲染单元发布触发和操控指令，三维渲染单元存储三维虚拟物体和场景的渲染图像，并与相机图像一起传输至裸眼3D合成单元，进行图像叠加，得到相机图像与渲染图像的混合图像作为视差图像，输出至裸眼3D显示单元中进行三维显示；观看者就能从裸眼3D显示单元上看到自己及所处的实际场景的三维立体显示效果，不仅如此，还混合着三维虚拟物体与实际场景的叠加，大大增加了裸眼3D显示单元的趣味性，更容易吸引人们的注意力；本实用新型实现无需佩戴助视设备，便能看到三维的虚拟与现实的融合，并可以借助互动单元，使观看者能与裸眼3D显示单元中的展示的三维虚拟物体进行交互，极大增加了显示设备的趣味性和吸引性。

附图说明

图1为本实用新型的基于裸眼3D显示的增强现实互动展示***的结构框图；

图2为本实用新型的基于裸眼3D显示的增强现实互动展示***的会聚式结构排布的多目相机的俯视图；

图3为本实用新型的基于裸眼3D显示的增强现实互动展示***的光学***的侧视图，其中，(a)为原理图，(b)为五目相机的实施例图。

具体实施方式

下面结合附图，通过具体实施例，进一步阐述本实用新型。

如图1所示，本实用新型的裸眼3D增强现实互动展示***包括：光学采集单元、三维渲染单元、互动单元、裸眼3D合成单元和裸眼3D显示单元；其中，互动单元连接至三维渲染单元；光学采集单元和三维渲染单元共同连接至裸眼3D合成单元；裸眼3D合成单元连接至裸眼3D显示单元。

1.裸眼3D显示单元：

包括2D显示屏和光栅，2D显示屏为P1.667的LED三合一显示屏，分辨率为1920×1080，显示屏尺寸为3.2m×1.8m，最佳观看距离为4m，视点数为5。

2.光学采集单元：

本实施例中，五目相机采用工业相机，保证硬件参数和软件参数一致，光学采集单元中的工业相机和镜头的规格分别如下所示：

表1相机规格参数表

表2镜头规格参数表

如图2所示，光学采集单元构成立体相机阵列，以会聚式结构排布，各相机的光心位于同一水平线上，光轴位于同一平面内，并且相邻的相机的间距相等，各相机的光轴相交于位于立体相机阵列前的一点，称之为会聚点。采用奇数个相机，则会聚点位于中间的相机的光轴上。

如图3(a)所示，多目相机架设在裸眼3D显示单元正上方，高度为h，相机在竖直方向上的视场角为FOV，会聚点O到相机光心所在直线的距离为Z0，称之为会聚距离。ZA为实际场景中的实际物体距离相机的最近距离，若实际物体离相机更近，则实际物体在多目相机中的视差量将超过人眼的融合范围。观看者假设身高为h0，最佳观看距离为H。

FOV值等镜头参数及相机高度、俯仰角等参数需要根据实际环境和显示屏分辨率等进行设计选型。如图3(b)所示，在本实施例中，根据裸眼3D显示单元的规格尺寸以及双目融合能力，计算相邻相机的间距为3.3cm，会聚距离Z0为5m，最近物体距离ZA为2.64m，CMOS实际使用像素点数为1920×1080，那么相机在竖直方向上的视场角约为42°，相机架在离地面2.5m的高度，相机光轴与地面的夹角调至为25.4°。

3.互动单元：

互动单元采用红外投影仪和红外摄像头对观看者的位置、姿势等进行检测。当观看者走到最佳观看距离处附近，这里的设计值为3～5m，红外摄像头会返回裸眼3D合成单元前有人的信号。当裸眼3D合成单元前方3～5m范围内无人，则会返回裸眼3D合成单元前无人的信号。互动单元会实时检测观看者的当前状态，并将状态信号传给三维渲染单元。

4.三维渲染单元：

当三维渲染单元接收到互动单元发过来的指令时，会形成渲染图像，渲染图像为带透明通道的渲染纹理，即纹理中无三维虚拟物体或场景的位置均为透明通道，这是为了接下来的与相机拍摄的相机图像进行叠加。

5.裸眼3D合成单元

裸眼3D合成单元接收到五目相机采集的相机图像，与渲染图像，根据渲染图像的透明通道为权重进行叠加，当渲染图像中某个像素为透明通道时，则对应的位置图像显示相机图像；当为非透明通道时，则对应的位置图像显示渲染图像。

处理过后，得到5幅叠加的视差图像。然后根据裸眼3D合成原理进行视差图像合成，最后将合成后的图像送到裸眼3D显示单元进行显示。那么，观看者就能从裸眼3D显示单元上看到自己及所处的实际场景的三维立体显示效果，不仅如此，还混合着三维虚拟物体与实际场景的叠加，大大增加了裸眼3D显示单元的趣味性，更容易吸引人们的注意力。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本实用新型，但是本领域的技术人员可以理解：在不脱离本实用新型及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本实用新型不应局限于实施例所公开的内容，本实用新型要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种裸眼3D增强现实互动展示***，其特征在于，所述展示***包括：光学采集单元、三维渲染单元、互动单元、裸眼3D合成单元和裸眼3D显示单元；其中，所述互动单元连接至三维渲染单元；所述光学采集单元和三维渲染单元共同连接至裸眼3D合成单元；所述裸眼3D合成单元连接至裸眼3D显示单元。

2.如权利要求1所述的展示***，其特征在于，所述光学采集单元包括多目相机和数据采集单元；多目相机连接至数据采集单元。

3.如权利要求2所述的展示***，其特征在于，所述多目相机构成立体相机阵列。

4.如权利要求3所述的展示***，其特征在于，所述多目相机的硬件和软件参数均保持一致；硬件参数主要包括采集芯片、相机电路和镜头的规格参数；软件参数包括分辨率、曝光时间、白平衡、颜色校正、图像裁剪区域和贝叶耳Bayer转换类型。

5.如权利要求3所述的展示***，其特征在于，所述相机采用立体相机，多目相机以会聚式结构排布，各相机的光心位于同一水平线上，光轴位于同一平面内，并且相邻的相机的间距相等，各相机的光轴相交于位于立体相机阵列前的一点，称之为会聚点。

6.如权利要求5所述的展示***，其特征在于，若采用偶数个相机，则会聚点位于中间两个相机的光心连线的中垂线上；若采用奇数个相机，则会聚点位于中间相机的光轴上。

7.如权利要求1所述的展示***，其特征在于，所述互动单元包括红外投影仪、红外摄像头和分析处理器；其中，所述红外投影仪和红外摄像头分别连接至分析处理器。

8.如权利要求1所述的展示***，其特征在于，所述裸眼3D显示单元包括2D显示屏和光栅。

9.如权利要求8所述的展示***，其特征在于，所述光栅为狭缝光栅或者为柱镜光栅。