CN105446472A - 360度可视的直接交互式真三维虚拟显示*** - Google Patents

Abstract

本发明涉及一种360度可视的直接交互式真三维虚拟显示***，Kinect设备置于支架的上部吊杆；两个抛物面反射镜位于Kinect设备正下方；一个抛物面反射镜的开口向上，另一个抛物面反射镜置于其上端并使每个抛物面反射镜的中心处于另外一个的焦点上；视觉限制发散器与水平面呈45度角，目标物体放置在视觉限制发散器下方；下方的抛物面反射镜的固定在中空的转动台上，转动台还与光学旋转同步监测器连接；红外热反射镜放置在转动台的下方，150mm凸透镜放置在红外热反射镜下方；并使DMD高速投影仪的镜头中心对准两个相同大小的抛物面反射镜的中心。本发明还提供一种手势识别方法。本发明实现了用户与成像物体的直接交互，增强了真三维立体显示与应用中的用户体验感。

Description

360度可视的直接交互式真三维虚拟显示***

技术领域

本发明涉及一种360度可视的直接交互式真三维虚拟显示***，属于三维空间人机交互技术领域。

背景技术

真三维显示技术(True3DVolumetricDisplayTechnique)是裸眼立体显示中最新的研究方向。观察者无需佩戴任何特殊的装置即可在任意角度观察到具有物理景深的立体图像，它符合人们观察世界的真实感受，满足所有生理和心理的深度暗示。真三维显示技术能提供360度裸视立体成像，在此基础上的人机交互技术也引起了研究人员的关注。交互式真三维显示技术在计算机辅助设计、多媒体展示、教学推演和医学影像等众多领域具有广阔的应用前景和重大战略价值。

国内外对于360度可视的真三维显示已经进行了很多研究，这类显示***一般都包括这几个特点：1提供视点校正；2可以向用户实时显示立体三维图像；3可视范围为360度4不需要佩戴额外的辅助设备。并且这些显示技术正逐步趋向于提供深度提示和校正眼睛调节的视差以及水平运动视差。实践证明，360度可视的真三维显示相比于那些仅仅含有立体效果的显示可以给观看者提供更加逼真的三维感觉。

然而目前大多数的显示***都无法让用户和显示对象进行直接交互，一般来说这些***都会用玻璃罩或别的透明塑料罩把用户和显示对象隔开，这主要是因为显示对象中有一部分是处于运动的状态，或者某些器件对用户有危险性，因此它们的研究方向主要集中于显示对象***的交互，无法让用户直接与显示对象交互，这样就会妨碍用户对三维对象的真实感受。

发明内容

鉴于以上现有技术存在的问题和不足，本发明提供一种360度可视的直接交互式真三维显示***，可以让用户直接触摸显示对象。

为达到上述目的，本发明设计一种360度可视的直接交互式真三维虚拟显示***，包括支架、两个相同的抛物面反射镜、光学旋转同步监测器、DMD高速投影仪、视觉限制发散器、电机传动带、转动台、红外热反射镜、电机、150mm凸透镜、目标物体和Kinect设备；其中：

所述支架包含一个框式底座和一个上部吊杆；

所述Kinect设备安置于所述支架的上部吊杆且对准正下方；

所述两个相同的抛物面反射镜位于所述Kinect设备正下方，放置在所述框式底座的上端；其中一个抛物面反射镜的开口向上，另一个抛物面反射镜置于其上端，即呈蛤壳状对合放置，并使每个抛物面反射镜的中心处于另外一个反射镜的焦点上；

所述视觉限制发散器、目标物体放置在下方的抛物面反射镜的下凹处，其中视觉限制发散器与水平面呈度角，目标物体放置在所述视觉限制发散器下方；

下方的抛物面反射镜的下端通过支架固定在中空的转动台上，电机通过电机传动带驱动转动台，所述转动台还与光学旋转同步监测器连接；

所述红外热反射镜放置在转动台的下方，所述150mm凸透镜放置在所述红外热反射镜下方；所述DMD高速投影仪位于框式底座的最下方，并使DMD高速投影仪的镜头中心对准所述两个相同大小的抛物面反射镜的中心。

本发明还提供一种基于上述装置的手势识别方法，其特征在于包含如下步骤：

(一)对手势动作进行预定义；

(二)深度数据转换：用Kinect设备发射出镭射光，通过其红外发射器镜头前的光栅均匀地投射到目标物体上，目标物体反射形成随机的散斑，再通过红外发射器镜头记录空间的每个散斑，通过计算便得到3D深度图像；

(三)前景提取：通过Kinect设备获取的深度数据，分割成前景和背景数据；然后直接使用前景数据，即把用户的手从背景中提取出来；

(四)轮廓描绘:通过peak-and-valley算法，从前景数据中勾画出手指的轮廓；

(五)手指检测：通过循环执行卡尔曼滤波算法，识别出手指运行的具体动作。

本发明与现有技术相比，利用两个同等大小的抛物面反射镜呈蛤壳状对合放置，并使每个反射镜的中心处于另外一个反射镜的焦点上时，此时把任何一个目标物体放在处于低处的150mm凸透镜的中心区域，就能在处于高处的抛物面反射镜的上方看到该物体的立体成像，从而实现了用户与成像物体的直接交互，增强了真三维立体显示与应用中的用户体验感。本发明运行可靠，结构紧凑，稳定性高。

附图说明

图1为本发明的结构示意图

图2为实施例的原理说明图。

具体实施方式

本发明的一个实施例结合附图说明如下。参见图1，包括支架1、两个相同的抛物面反射镜2、光学旋转同步监测器3、DMD高速投影仪4、视觉限制发散器5、电机传动带6、转动台7、红外热反射镜8、电机9、150mm凸透镜10、目标物体11和Kinect设备12；其中：所述支架1包含一个框式底座和一个上部吊杆；所述Kinect设备12安置于所述支架1的上部吊杆且对准正下方；所述两个相同的抛物面反射镜2位于所述Kinect设备12正下方，放置在所述框式底座的上端；其中一个抛物面反射镜2的开口向上，另一个抛物面反射镜2置于其上端，即呈蛤壳状对合放置，并使每个抛物面反射镜2的中心处于另外一个反射镜的焦点上；所述视觉限制发散器5、目标物体11放置在下方的抛物面反射镜2的下凹处，其中视觉限制发散器5与水平面呈45度角，目标物体11放置在所述视觉限制发散器5下方；下方的抛物面反射镜2的下端通过支架固定在中空的转动台7上，电机9通过电机传动带6驱动转动台7，所述转动台7还与光学旋转同步监测器3连接；所述红外热反射镜8放置在转动台7的下方，所述150mm凸透镜10放置在所述红外热反射镜8下方；所述DMD高速投影仪4位于框式底座的的最下方，并使DMD高速投影仪4的镜头中心对准所述两个相同大小的抛物面反射镜2的中心。

作为优选，抛物面反射镜2采用Opti-Gone公司的22号Mirage模型产品，抛物面反射镜2的直径为56cm，其下凹处的开口为圆形且直径为15cm，电机9采用型号为Animacs公司的SM2316D的智能电机，DMD高速投影仪4采用TI公司的DMDDiscovery0.7”XGAD4100高速投影仪。

参见图2，上述实施例的显示原理是当两个同等大小的抛物面反射镜2呈蛤壳状对合放置、并使每个反射镜的中心处于另外一个反射镜的焦点上时，此时把任何一个目标物体11放在处于低处的镜子的中心区域时，就能在处于高处的镜子的开口上方看到该目标物体11的立体成像。

使用时，电机9通过电机传动带6带动转动台7，继而带动两个相同的抛物面反射镜2作水平旋转；视觉限制发散器5用来模拟微遮光栅格并产生所需的窄视角，视觉限制发散器5每旋转一周就会产生很多视点。DMD高速投影仪4以很高的帧率对视觉限制发散器5产生的视点进行显示，从而实现对3D场景的多渲染。DMD高速投影仪4与电机9保持同步，这样可以确保在正确的时间显示正确的图像。利用Kinect设备12的摄像机提供的深度数据，当手指触碰到3D影像时，我们可以通过深度数据把手的轮廓从背景中分割出来，然后用peak-and-valley图像处理算法来追踪用户手的轮廓并检测手指，一旦发现手指，我们就通过平均化手指周围的像素块的深度值来推断它的3D位置，继而让3D影像按照预定义的动作进行变化。

其中，光学旋转同步监测器3采用光学原理同步监测转动台7上的目标物体11；红外热反射镜8用于反射经过150mm凸透镜10处理的热光源；150mm凸透镜10用于聚焦DMD高速投影仪射出的投影光线。

本发明还可以实施一种基于上述装置的手势识别方法，具体为包含如下步骤：(一)对手势动作进行预定义；(二)深度数据转换：用Kinect设备发射出镭射光，通过其红外发射器镜头前的光栅均匀地投射到测量空间内的目标物体上，目标物体反射形成随机的散斑，再通过红外发射器镜头记录空间的每个散斑，通过处理器的计算便得到3D深度图像；(三)前景提取：通过Kinect设备获取的深度数据，分割成前景和背景数据；然后直接使用前景数据，即把用户的手从背景中提取出来；(四)轮廓描绘:通过peak-and-valley算法，从前景数据中勾画出手指的轮廓；(五)手指检测：通过循环执行卡尔曼滤波算法，识别出手指运行的具体动作。其中，步骤(四)轮廓描绘和步骤(五)手指检测使用peak-and-valley算法，其方程式如下，

P,(i+j)＝min(P(i-1),P(i+k))

ifP(i+j)＜P(i-1)andP(i+j)＜P(i+k)(1)

P,(i+j)＝min(P(i-1),P(i+k))

ifP(i+j)＞P(i-1)andP(i+j)＞P(i+k)(2)

P,(i+j)＝P(i+j)else.(3)

$\∀j=\mathrm{0,1,2},...,k-1$

其中P(i)是像素i的原始强度值，P,(i)是像素i的新强度值。方程(1)得出k个像素的valley值，方程(2)得出k个像素的peak值，方程(3)则是得出k个像素位于valley和peak之间的值。

步骤(五)中检测手指位置使用卡尔曼滤波算法，卡尔曼滤波是以最小均方误差为估计的最佳准则，来寻求一套递推估计的算法，其基本思想是：采用信号与噪声的状态空间模型，利用前一时刻的估计值和现时刻的观测值来更新对状态变量的估计，求出现时刻的估计值。它适合于实时处理和计算机运算。

现设线性时变***的离散状态防城和观测方程为：

X(k)＝F(k,k-1)·X(k-1)+T(k,k-1)·U(k-1)(4)

Y(k)＝H(k)·X(k)+N(k)(5)

其中X(k)和Y(k)分别是k时刻的状态矢量和观测矢量，F(k,k-1)为状态转移矩阵，U(k)为k时刻动态噪声，T(k,k-1)为***控制矩阵，H(k)为k时刻观测矩阵，N(k)为k时刻观测噪声。卡尔曼滤波的算法流程为：

1预估计X(k)^＝F(k,k-1)·X(k-1)

2计算预估计协方差矩阵

C(k)^＝F(k,k-1)×C(k)×F(k,k-1)'+T(k,k-1)×Q(k)×T(k,k-1)'

Q(k)＝U(k)×U(k)'

3计算卡尔曼增益矩阵

K(k)＝C(k)^×H(k)'×[H(k)×C(k)^×H(k)'+R(k)]^(-1)

R(k)＝N(k)×N(k)'

4更新估计

X(k)～＝X(k)^+K(k)×[Y(k)-H(k)×X(k)^]

5计算更新后估计协方差矩阵

C(k)～＝[I-K(k)×H(k)]×C(k)^×[I-K(k)×H(k)]'+K(k)×R(k)×K(k)'

6X(k+1)＝X(k)～

C(k+1)＝C(k)～

循环重复以上步骤

一旦发现手指，我们就通过平均化手指周围的像素块的深度值来推断它的3D位置，继而让3D影像按照预定义的动作进行变化，从而实现了用户与成像物体的直接交互。

上述仅为本发明的优选实施方式，应指出的是，对于本行业内的普通技术人员而言，在本发明的原理之下可以由一些改进和替换，该改进和替换也应视为本发明的保护范围。

Claims (2)

1.一种360度可视的直接交互式真三维虚拟显示***，包括支架（1），其特征在于：还包括两个相同的抛物面反射镜（2）、光学旋转同步监测器（3）、DMD高速投影仪（4）、视觉限制发散器（5）、电机传动带（6）、转动台（7）、红外热反射镜（8）、电机（9）、150mm凸透镜（10）、目标物体（11）和Kinect设备（12）；其中：

所述支架（1）包含一个框式底座和一个上部吊杆；

所述Kinect设备（12）安置于所述支架（1）的上部吊杆且对准正下方；

所述两个相同的抛物面反射镜（2）位于所述Kinect设备（12）正下方，放置在所述框式底座的上端；其中一个抛物面反射镜（2）的开口向上，另一个抛物面反射镜（2）置于其上端，即呈蛤壳状对合放置，并使每个抛物面反射镜（2）的中心处于另外一个反射镜的焦点上；

所述视觉限制发散器（5）、目标物体（11）放置在下方的抛物面反射镜（2）的下凹处，其中视觉限制发散器（5）与水平面呈45度角，目标物体（11）放置在所述视觉限制发散器（5）下方；

下方的抛物面反射镜（2）的下端通过支架固定在中空的转动台（7）上，电机（9）通过电机传动带（6）驱动转动台（7），所述转动台（7）还与光学旋转同步监测器（3）连接；

所述红外热反射镜（8）放置在转动台（7）的下方，所述150mm凸透镜（10）放置在所述红外热反射镜（8）下方；所述DMD高速投影仪（4）位于框式底座的的最下方，并使DMD高速投影仪（4）的镜头中心对准所述两个相同大小的抛物面反射镜（2）的中心。

2.一种基于上述装置的手势识别方法，其特征在于包含如下步骤：

（一）对手势动作进行预定义；

（二）深度数据转换：用Kinect设备（12）发射出镭射光，通过其红外发射器镜头前的光栅均匀地投射到目标物体（11）上，目标物体（11）反射形成随机的散斑，再通过红外发射器镜头记录空间的每个散斑，通过计算便得到3D深度图像；

（三）前景提取：通过Kinect设备（12）获取的深度数据，分割成前景和背景数据；然后直接使用前景数据，即把用户的手从背景中提取出来；

（四）轮廓描绘:通过peak-and-valley算法，从前景数据中勾画出手指的轮廓;

（五）手指检测：通过循环执行卡尔曼滤波算法，识别出手指运行的具体动作。