CN102361497B - 一种空间立体视频的显示方法 - Google Patents

Abstract

本发明公开了一种空间立体视频的显示方法，包括以下步骤：将普通帧率的三维视频数据分割为不同深度的多层普通帧率二维视频数据；将不同深度的多层普通帧率二维视频数据重新组合成高帧率二维视频数据；通过投影的方法将高帧率二维视频数据投射到充满微小颗粒的三维空间；从与投射方向垂直的方向向充满微小颗粒的三维空间投射线状光线，同时控制线状光线的投射位置与分割前二维视频数据前后的位置同步变化，则可在上述充满微小颗粒的三维空间中构成三维活动视频影像。本发明还公开了一种空间立体视频的显示***，包括高帧率二维视频投影设备、充满微小颗粒的密闭三维空间、可控制投影位置的线状光源以及一个协调***工作的计算机。

Description

一种空间立体视频的显示方法

技术领域

本发明涉及立体视频显示技术领域，特别是一种空间立体视频的显示方法及其显示***。 

背景技术

随着技术发展，研究领域和消费市场上出现了一些显示立体效果的显示终端，主要有两大类型，其一是通过佩戴立体眼睛，根据人眼的视差在大脑中形成立体画面的显示***；其二是通过物理光学装置让双眼看到不同的画面从而形成立体视觉效应。这两种方法都是被动式的立体显示方式，即观察者不能自主选择观察视角和距离，并且每个观察者不管处于什么位置和角度都只能看到同样的立体画面，和真实生活中的立体视觉完全不同，因此能够解决上述问题的主动式立体显示就成为该领域研究的新途径。 

同时，现在大型活动展出，也越来越需要三维的图像显示，传统的方式只能进行平面展示或者是三维实物展示，在光线昏暗或者夜晚的时候，三维实物必须借助于外部光源进行展示，但是，展示效果仍然不尽如人意。 

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供空间立体视频的显示方法及其显示***。 

为了解决上述技术问题，本发明公开了一种空间立体视频的显示方法，包括以下步骤： 

步骤一，将普通帧率的三维视频数据分割为不同深度的多层普通帧率二维视频数据；所述普通帧率指50～60赫兹的帧率。 

步骤二，将不同深度的多层普通帧率二维视频数据重新组合成高帧率二维视频数据；所述高帧率一般指高于200赫兹的帧率。 

步骤三，通过投影的方法将高帧率二维视频数据投射到充满微小颗粒的三维空间； 

步骤四，从与投射方向垂直的方向向充满微小颗粒的三维空间投射线状光线，同时控制线状光线的投射位置与分割前二维视频数据前后的位置同步变化。 

将普通帧率的三维视频数据分割为不同深度的多层普通帧率二维视频数据采用平移体扫描方法，依靠平面屏幕平移运动构造出成像空间，根据平面屏幕位置对要显示的三维场景进行切片，在平面屏幕运动的过程中，把二维切片投影到平移的平面屏幕上。 

本发明中采用openGL工具获得二维切片数据，通过设定的远近裁剪平面，使得每次可视空间为三维模型空间内的一个平行于正投影平面的薄切面。 

本发明中步骤二将不同深度的多层普通帧率二维视频数据重新组合成高帧率二维视频数据，包括以下步骤： 

如果每层二维视频数据帧率为f，共有N层，视频长度为s秒，则每一层都有M帧二维数据，M＝fs，将每一层的数据帧编号为F_ij，其中i表示层数，从1...N取值；i表示帧数，从1...M取值，则排序后的二维图像帧序列的顺序为F₁₁，F₂₁，...，F_N1，F₁₂，F₂₂，...，F_N2，...，F_1M，F_2M，...，F_NM，将上述二维图像帧序列构成帧率为F的二维视频。 

本发明中步骤三采用DLP投影机投影。 

本发明中步骤四所述可控制投影位置的线状光源采用多个固定位置的线状光源群，或者采用一个高帧率二维视频投影设备通过输出视频图像。 

本发明还公开了一种显示空间立体视频的显示***，包括高帧率二维视频投影设备、充满微小颗粒的密闭三维空间、可控制投影位置的线状光源以及一套协调***工作的计算处理装置。高帧率二维视频投影设备、充满微小颗粒的密闭三维空间、可控制投影位置的线状光源呈直角形排列，充满微小颗粒的密闭三维空间位于直角上。 

所述充满微小颗粒的密闭三维空间包含自由活动的大量微小粉尘状颗粒，当颗粒数量足够多时，颗粒对光线的反射会形成类似漫反射的效果，并且不影响光线的前进，能够形成可视的光亮区域。所述的微小粉尘状颗粒可以为标准大气压下，透光率为85％～95％的烟雾状颗粒群。 

本发明中可控投影位置的线状光源为多个固定位置的线状光源群，或者一个高帧率二维视频投影设备。 

所述高帧率二维视频投影设备可以以普通视频显示帧率N倍的帧率输出视频图像，其中N表示原始三维视频被切面的次数。 

本发明中当三维空间尺度较大时，还需要在高帧率二维视频投影设备与充满微小颗粒的密闭三维空间之间增加光学透镜以保证在整个显示空间范围内都处于良好的对焦状态。 

本发明原理是利用高速投影方式将不同视觉深度的图像显示在空间不同位置，构成活动三维影像，观察者可在不同方位看到影像的表面和内部。 

有益效果：本发明主要思想是将实际场景的三维实体以切面的方式离散化，每个切面用一个二维活动视频进行表示，通过在三维空间重建这一系列二维切面从而形成活动的三维实体场景显示效果，由此实现在任意视角观察到场景的真实三维实体活动图形显示。该方法比现有的其他立体视觉产生方法更具可被接受，在医学影像处理、大屏幕视频广告、展览和宣传等方面有重要的应用前景，更有无法估计的市场商业价值，据申请人初步统计，如果公共场所里现有的二维图像显示器中的十分之一转化为 本发明所述的三维显示***，则市场前景巨大。 

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。 

图1a和图1b是本发明***框架图。 

图2a和图2b是本发明所涉及的充满微小颗粒的密闭三维空间示意图。 

图3a、图3b和图3c是本发明显示效果图。 

具体实施方式：

如图1a和图1b所示，本发明公开了一种空间立体视频的显示***，包括高帧率二维视频投影设备1、充满微小颗粒的密闭三维空间4、可控制投影位置的线状光源3以及一个协调***工作的计算机2。高帧率二维视频投影设备、充满微小颗粒的密闭三维空间、可控制投影位置的线状光源呈直角形排列，充满微小颗粒的密闭三维空间位于直角上。所述高帧率二维视频投影设备与充满微小颗粒的密闭三维空间之间设有用于转换投影光焦距的光学透镜5。所述可控制投影位置的线状光源可以由多个固定位置的线状光源群组成，如图1a所示；也可以由另外一个高帧率二维视频投影设备通过输出特定视频图像构成，如图1b所示。 

本发明公开了一种空间立体视频的显示方法，包括以下步骤： 

步骤一，将普通帧率的三维视频数据分割为不同深度的多层普通帧率二维视频数据；所述的普通帧率二维视频的帧率为50～60Hz。 

步骤二，将不同深度的多层普通帧率二维视频数据重新组合成高帧率二维视频数据。 

步骤三，通过投影的方法将高帧率二维视频数据投射到充满微小颗粒的三维空间。 

步骤四，从与投射方向垂直的方向向充满微小颗粒的三维空间投射线状光线，同时控制线状光线的投射位置与分割前二维视频数据前后的位置同步变化。 

步骤一中将普通帧率的三维视频数据分割为不同深度的多层普通帧率二维视频数据可以采用平移体扫描方法，依靠平移运动构造出成像空间。即一个平面屏幕沿着垂直它平面的轴做往复运动，运动的幅度决定了成像空间的景深。在每一个运动的瞬间，屏幕处于一个特定的位置，根据这个位置对要显示的三维场景进行切片，在屏幕运动的过程中，把二维切片投影到平移的屏幕上。具体方法如下： 

首先根据实际物体的相关信息进行三维重建得到由三角面片构成的只有表面信息的三维模型。假定该三维模型大小和实际物体大小是线性放缩关系，设实际物体所乘的线性放缩因子为ξ(ξ＜1)，同时设三维模型x，y，z方向上的体素维数分别是X1、 Y1、Z1，为方便三维模型上的像素与m×n颗粒的LED平面阵列对应，制作时保证X1＝m，Y1＝n。为获得其切片数据，首先根据事先制作的三维模型确定成像空间的景深Z、切片层数n，设最前面一层的坐标为z₁，则后面每层坐标为z_i＝z₁+(n-1)*Z/n，其中满足z_i-z₁＜Z，则z_i对应的实际屏幕的位置为z_i/ξ，如将切片看作位图，则像素在切片上的坐标位置，即为该像素在前述高帧率显示平面上的位置。接着可以依次取一个z_i，作一切平面z＝z_i，计算其与三维模型每个三角面片的交点，而后进行矩阵映射、纹理插值计算，最后得到整个切片上的图像数据。 

步骤一中可以采用openGL工具获得二维切片数据，其很好的实现缩放、平移、旋转变换，以及纹理插值、裁剪。获得数据的策略主要是通过设定好需要的远近裁剪平面，使得每次可视空间为三维模型空间内的一个平行于正投影平面的薄切面。 

步骤1：打开openGL，设置投影方式为正投影，读取三维网格数据，进行纹理贴图，作图显示。调整视口大小，确保可以容得下整个三维模型。 

步骤2：调用glOrtho函数设置可视空间。其中，***面平行于XoY平面，即方程为z＝z₁的切面，而远平面为方程为z＝z₁+dz的切面，z₁为切片的位置，dz为切片的厚度，厚度根据实际需要，可取一个或多个像素宽。 

步骤3：每层切片绘制后，调用glReadPixels函数，读取正投影后屏幕上各个点的像素值，建表，保存每个点的像素值，以及位置坐标，当然很多点是绘图窗口界面的背景点，步骤1中设定背景点像素值为(255，255，255)。 

步骤4：合理消隐。从投影方向看去，前面切片上点(x₁，y₁)上出现了三维模型表面上的像素，那么所有后面的切片上对应点(x₁，y₁)的像素就该忽略，即从表中剔除。至于如何判断某点像素是来至于三维模型表面，还是窗口界面的白色背景点，方法是，在步骤1读取三维网格数据时，如果某点像素值是(255，255，255)那么修改为(255，255，244)，显然对纹理显示无大影响，但却方便了判断。 

步骤5：上述步骤完成后，将一旋转矩阵作用于三维模型以改变视角，绕x，y，z轴的旋转矩阵(旋转角Φ)分别为： 

$R_X=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \mathrm{\Φ}& -\sin \mathrm{\Φ}& 0\\ 0& \sin \mathrm{\Φ}& \cos \mathrm{\Φ}& 0\\ 0& 0& 0& 1\end{array}\right],$

$R_Y=\left[\begin{array}{cccc}\cos \mathrm{\Φ}& 0& \sin \mathrm{\Φ}& 0\\ 0& 1& 0& 0\\ -\sin \mathrm{\Φ}& 0& \cos \mathrm{\Φ}& 0\\ 0& 0& 0& 1\end{array}\right],$

$R_Z=\left[\begin{array}{cccc}\cos \mathrm{\Φ}& -\sin \mathrm{\Φ}& 0& 0\\ \sin \mathrm{\Φ}& \cos \mathrm{\Φ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right].$

实际操作则可以调用glRotate函数完成计算。重复前面步骤，可以获得另一视角下，一组三维切片数据。 

步骤6：在提取切片的过程中，可以发现因为取的dz只有几个像素宽很小，故遗漏了z_i-1+dz到z_i这块区间，一般而言，因为切割层数比较多，故这块区间深度很小，即和dz是同等数量级的，区间内的物体沿着观察者视线方向正投影，得到的二维图像相比整个切片较小可忽略。但也不排除区间内存在着和投影方向垂直或近乎垂直的特殊面，有它投影得到的二维图像相比整个切片较大，不可忽略，为解决此问题可以令dz＝z₂-z₁，而且正是因为结合了openGL这样的编程工具，才能够保证在dz的取值变大时不增加程序的复杂度并且不降低程序的计算速度。由此便获得三维立体模型每个二维切片的数据。 

本步骤可以采用任何其他将三维视频流分割为多层二维视频数据的方法替代而不影响本发明的实施。 

本发明中，步骤二，将不同深度的多层普通帧率二维视频数据重新组合成高帧率二维视频数据的方法具体如下。 

设每层二维视频数据帧率为f，共有N层，视频长度为s秒，则每一层都有fs帧二维数据，将每一层的数据帧编号为F_ij(其中i表示层数，从1...N取值；i表示帧数，从1...M取值，M＝fs)，则排序后的二维图像帧序列的顺序为F₁₁，F₂₁，...，F_N1，F₁₂， F₂₂，...，FX，...，F_1M，F_2M，...，F_NM，则上述二维图像帧序列可构成帧率为F的二维视频。 

本发明中，步骤三，通过投影的方法将高帧率二维视频数据投射到充满微小颗粒的三维空间的时候，采用了DLI公司(美国Digital Light Innovations)的高速投影设备，该设备可以达到最高每秒291～22727帧的视频输出速率。普通二维视频的帧率为50～60Hz，因此采用该设备可以将三维视频分割5～400层。如图2b所示，扇形投影输出时，不同距离的影像需要调节光学镜头以达到正确的对焦状态，而本发明实施例中的三维空间场景尺度达到了2米，因此在光学镜头后面增加了会聚光路，使得输出光线在三维空间场景内相互平行，如图2a所示，为了显示本发明效果，图2只能以灰度形式表现。 

本实施例中采用向有机玻璃空间中灌入液氮液体，利用液氮在室温下气化后形成烟雾状气体颗粒的方法来实现充满微小颗粒的三维空间。具体方法如下： 

在长宽高为2米、1米、1米的有机玻璃体的底层中部设有一宽10厘米的金属槽，两端开口，金属槽一端略深(5厘米)，一端略浅(3厘米)，从略浅一端注入液氮液体，另一端回收剩余液氮，液氮在流动过程中气化形成白色烟雾状气体，在室温下整个空间透光率约为90％；同时由于液氮气化后比重略低于空气，因此在有机玻璃空间顶部留有约20余个直径为1厘米的小孔以平衡整个空间内气压。 

当然，也可以采用其他方式构成烟雾状环境甚至可以采用透光率在70％～90％的悬浊液或乳浊液实现。 

本步骤可以采用任何其他方式解决大尺度空间对焦的问题而不影响本发明的实施。本步骤可以采用任何其他方式构成充满微小颗粒的三维空间而不影响本发明的实施。 

本发明中，步骤四是从与投射方向垂直的方向向充满微小颗粒的三维空间投射线状光线，同时控制线状光线的投射位置与分割前二维视频数据前后的位置同步变化。其中所述可控制投影位置的线状光源可以由多个固定位置的线状光源群组成，如图1a所示；也可以由另外一个高帧率二维视频投影设备通过输出特定视频图像构成，如图1b所示。 

本实施例中采用多个固定位置的线状光源群组成，每个线光源通过计算机控制轮流点亮或关闭，从而实现顺序扫描式的发光。 

本实施例实现在任意视角观察到场景的真实三维实体活动图形显示，效果如图3a～图3c所示(为了显示本发明效果，图3a～图3c只能以灰度形式表现)。本实施例中，平面屏幕沿垂直于它的轴作往复运动，每一运动瞬间与正投影线状光束相交从而形成三维场景的一个薄切片；运动的幅度决定成像空间的深景，正投影线状光束大小决定 成像截面的大小，平面屏幕运动位置与线状光束根据原三维视频数据信息同时变化，由此再现出原三维实体场景。图3a为平面屏幕运动到三维空间的中间位置时与线状光束相交所得的三维场景的薄切片；图3b为平面屏幕运动到三维空间前端位置与线状光束相交所得的三维场景的薄切片；图3c为平面屏幕运动到后端位置与线状光束相交所得的三维场景的薄切片。 

本发明提供了一种空间立体视频的显示方法及其显示***，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。 

Claims (1)

1.一种空间立体视频的显示方法，其特征在于，包括以下步骤：

步骤一，将普通帧率的三维视频数据分割为不同深度的多层普通帧率二维视频数据；

步骤二，将不同深度的多层普通帧率二维视频数据重新组合成高帧率二维视频数据；

步骤三，将高帧率二维视频数据投影到充满烟雾状颗粒的三维空间；

步骤四，从与投射方向垂直的方向向充满微小颗粒的三维空间投射线状光线，同时控制线状光线的投射位置与分割前二维视频数据前后的位置同步变化；

将普通帧率的三维视频数据分割为不同深度的多层普通帧率二维视频数据采用平移体扫描方法，依靠平面屏幕平移运动构造出成像空间，根据平面屏幕位置对要显示的三维场景进行切片，在平面屏幕运动的过程中，把二维切片投影到平移的平面屏幕上；具体包括：根据实际物体的信息进行三维重建得到由三角面片构成的只有表面信息的三维模型，设实际物体所乘的线性放缩因子为ξ，ξ<1，同时设三维模型x，y，z方向上的体素维数分别是X1、Y1、Z1，制作时保证三维模型上的像素与m×n颗粒的LED平面阵列对应，即X1=m,Y1=n；确定成像空间的景深Z、切片层数n，设最前面一层的坐标为z₁，则后面每层坐标为，z_i=z₁+(n-1)*Z/n，其中满足z_i-z₁<Z，则z_i对应的实际屏幕的位置为z_i/ξ，依次取一个z_i作一切平面z=z_i，计算其与三维模型每个三角面片的交点，而后进行矩阵映射、纹理插值计算，最后得到整个切片上的图像数据；

采用openGL工具获得二维切片数据，通过设定的远近裁剪平面，使得每次可视空间为三维模型空间内的一个平行于正投影平面的薄切面；

步骤二将不同深度的多层普通帧率二维视频数据重新组合成高帧率二维视频数据，包括以下步骤：

如果每层二维视频数据帧率为f，共有N层，视频长度为s秒，则每一层都有M帧二维数据，M=fs，将每一层的数据帧编号为F_ij，其中i表示层数，从1…N取值；j表示帧数，从1…M取值，则排序后的二维图像帧序列的顺序为F₁₁，F₂₁，…，F_N1，F₁₂，F₂₂，…，F_N2，…，F_1M，F_2M，…，F_NM，将上述二维图像帧序列构成帧率为F的二维视频；

步骤三采用DLP投影机投影；

步骤四所述可控制投影位置的线状光源采用多个固定位置的线状光源群，或者采用一个高帧率二维视频投影设备通过输出视频图像。

Images