CN103336532B - 3d视听觉***的支持装置及3d视听觉*** - Google Patents

Abstract

本发明公开了一种3D视听觉***的支持装置及3D视听觉***，包括遥控云台、头戴式无线遥控发射器、3D影音无线发射装置和3D影音无线接收装置；遥控云台包括用于支撑3D影音拍摄装置的平台；3D影音无线发射装置用于接收3D影音拍摄装置输出的影音数据；3D影音无线接收装置用于接收3D影音无线发射装置发射的影音数据，然后发送给用户的头戴式3D显示器；头戴式无线遥控发射器用于固定在用户的头戴式3D显示器上，以测量头戴式3D显示器的转动信息，并发送给遥控云台；遥控云台还用于接受转动信息，并根据转动信息控制所述平台与头戴式3D显示器同步转动。本发明可实现通过虚拟装置获得实时观看3D场景的视听觉感受及交互。

Description

3D视听觉***的支持装置及3D视听觉***

技术领域

本发明涉及3D视听觉技术，尤其是涉及3D视听觉***的支持装置及3D视听觉***。

背景技术

随着传感技术的发展，人的感官在传感器的帮助下得到了极大的延伸，其中视觉技术也得到的极大的发展，除了机器视觉技术在检测监控领域的应用，视觉导航技术在自动驾驶技术上的应用等之外，3D相机、3D电影电视等装置的出现极大地满足人们对立体视觉直观的体验，但人类的需求是永无止境的，人们需要一种身临其境的视听觉感受与交互，在视觉导航、影音监控，医疗诊断、无人机观测、机器人等无线远程监测和遥控玩具及电子娱乐等方面有着重要的价值及广阔的前景。

发明内容

本发明所要解决的技术问题是，提供一种3D视听觉支持装置及一种3D视听觉***以实现通过虚拟装置获得实时观看3D场景的视听觉感受及交互。

本发明通过以下技术手段解决上述技术问题：

一种3D视听觉***的支持装置，包括遥控云台、头戴式无线遥控发射器、3D影音无线发射装置和3D影音无线接收装置；

所述遥控云台包括用于支撑3D影音拍摄装置的平台；所述3D影音无线发射装置用于接收所述3D影音拍摄装置输出的影音数据，并无线发送给所述3D影音无线接收装置；所述3D影音无线接收装置用于接收3D影音无线发射装置发射的影音数据，然后发送给用户的头戴式3D显示器；

所述头戴式无线遥控发射器用于固定在用户的头戴式3D显示器上，以测量头戴式3D显示器的转动信息，并发送给遥控云台；

所述遥控云台还用于接受所述转动信息，并根据所述转动信息控制所述平台与头戴式3D显示器同步转动。

优选地：

所述头戴式无线遥控发射器包括第一处理器，还包括分别与第一处理器连接的第一重力感应传感器、第一三轴磁阻传感器、第一陀螺仪传感器以及无线发射模块；

所述第一重力感应传感器用于测量头戴式3D显示器与第一预定平面间的第一夹角ω，第一三轴磁阻传感器用于测量头戴式3D显示器与北极地磁场之间的第一磁偏角β，第一陀螺仪传感器用于测量头戴式3D显示器三轴的第一角加速度；

所述处理器用于根据所述第一夹角ω、第一磁偏角β和第一角加速度计算出头戴式3D显示器以第一预定平面为基准的三轴旋转方向和旋转矢量，所述转动信息包括所述以第一预定平面为基准的三轴旋转方向和旋转矢量；

所述无线发射模块用于将所述以第一预定平面为基准的三轴旋转方向和旋转矢量发送给所述遥控云台；

所述遥控云台用于根据所述以第一预定平面为基准的三轴旋转方向和旋转矢量控制所述平台与所述头戴式3D显示器同步转动。

更优地：

所述头戴式无线遥控发射器还包括与所述第一处理器连接的第一预定平面设定按钮，所述第一处理器还用于将用户触发该按钮时头戴式3D显示器所处平面设定为第一预定平面。

优选地：

所述遥控云台还包括第二处理器，分别与第二处理器连接的第二重力感应传感器、第二三轴磁阻传感器、第二陀螺仪传感器以及无线接收模块；

所述第二重力感应传感器用于测量所述平台与第二预定平面间的第二夹角ω’，第二三轴磁阻传感器用于测量所述平台与北极地磁场之间的第二磁偏角β’，第二陀螺仪传感器用于测量所述平台三轴的第二角加速度；

所述无线接收模块用于接收所述头戴式3D显示器以第一预定平面为基准的三轴旋转方向和旋转矢量；

所述第二处理器用于将头戴式3D显示器以第一预定平面为基准的三轴旋转方向和旋转矢量转换为以第二预定平面为基准的三轴旋转方向和旋转矢量，然后控制所述平台按照所述以第二预定平面为基准的三轴旋转方向和旋转矢量转动。

更有地：

所述第二预定平面为所述平台的初始位置所处的平面；所述云台还包括水平调节旋钮和垂直调节旋钮，用于调节所述平台的初始位置。

所述第二陀螺仪传感器还用于测量云台震动所产生的位移方向和移动量，并传送给所述处理器，所述处理器控制所述平台向所述位移方向相反的方向移动相同的位移量。

所述头戴式无线遥控发射器还包括可调式绑缚装置，所述头戴式无线遥控发射器通过所述可调式绑缚装置固定在所述头戴式3D显示器上，该可调式绑缚装置用于调节头戴式无线遥控发射器与所述头戴式3D显示器的相对方位以获得用户认可的第一预定平面。

所述头戴式无线遥控发射器还包括与所述第一处理器连接的麦克风，所述无线发射模块还用于发射所述麦克风拾取的语音数据；所述遥控云台还包括与所述第二处理器连接的扬声器，所述无线接收模块还用于接收所述语音数据，所述扬声器用于播放所述语音数据。

所述平台上设有防震垫。

附图说明

图1是本发明具体实施例的3D视听觉***的结构示意图；

图2是图1的头戴式无线遥控发射器的电路结构框图；

图3是图1的云台的电路结构框图；

图4是图2的头戴式无线遥控发射器的工作流程图；

图5是图3的控制云台的工作流程图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，一种无线3D视听觉***，包括头戴式3D显示器100，头戴式无线遥控发射器200，3D影音无线接收装置300，3D影音无线发射装置400，遥控云台500和3D影音拍摄装置600。其中头戴式无线遥控发射器200，3D影音无线接收装置300，3D影音无线发射装置400和遥控云台500构成本实施例的3D视听觉***的支持装置。

3D影音实时拍摄装置600固定在遥控云台500用于固定拍摄装置的平台上，头戴式无线遥控发射器200固定在头戴式3D显示器100上。如图4所示，其工作流程如下：3D影音无线发射装置400接收所述3D影音拍摄装置600输出的影音数据，并无线发送给所述3D影音无线接收装置300；所述3D影音无线接收装置300接收3D影音无线发射装置发射的影音数据，然后发送给用户的头戴式3D显示器100；头戴式无线遥控发射器200测量头戴式3D显示器100的转动信息，然后发送给遥控云台500，遥控云台500根据该转动信息控制其平台使得3D影音拍摄装置600随头戴式3D显示器100同步转动。从而实现，当用户向希望观看的方位转动时，3D影音拍摄装置600即随用户头部的转动向该方位转动，以获得该方位范围内的实时音视频。

头戴式无线语音遥控发射器的典型实现方式如图2所示，其包括：

第一处理器（本实施例采用DSP作为处理器）、预定平面设定按钮、锁定开关、第一重力感应传感器(G-sensor)、第一三轴磁阻传感器(O-sensor)、第一陀螺仪传感器(Gyro-sensor)、麦克风、无线数字发射模块和方向可调式绑缚装置。

作为第一处理器的DSP,是内嵌MCU的处理器，用于控制、计算和无线通讯；

预定平面设定按钮，用于用户设定预设姿态平面即预定平面Q，当没有按此按钮时，预定平面Q默认为水平面W，当按此按钮瞬间，所述的头戴式无线语音遥控发射器的所处姿态平面将被设定为预定平面Q，当头戴式无线遥控发射器与头戴式3D显示器相互固定后，该预定平面Q与设定时头戴式3D显示器所处的姿态相对应，这样可以方便用户采用站、坐、卧等多种姿势舒适地通过头戴式3D显示器进行视频观看和遥控云台的控制。

锁定开关，用于控制遥控云台500与头戴式遥控发射器200的联动：当处于关的状态时，则表示要求遥控云台与用户头部联动，当处于开的状态时，则表示要求遥控云台与用户头部解除联动，也就是说将3D影音实时拍摄装置的水平和垂直姿态保持不动；

第一重力感应传感器，用于测量头戴式3D显示器与第一预定平面间的第一夹角ω，具体实现如下：DSP会根据第一重力感应传感器所测得的姿态矩阵，解算出水平面的位置W并计算出相对水平面的倾角Φ，然后计算出头戴式3D显示器当前姿态相对于预定平面Q的夹角ω；

第一三轴磁阻传感器，用于测量头戴式3D显示器与北极地磁场之间的第一磁偏角β，具体实现方式如下：DSP根据第一三轴磁阻传感器所测得的三轴的角度数据，解算出测量头戴式3D显示器当前姿态与北极地磁场之间的磁偏角β；

第一陀螺仪传感器，用于测量头戴式3D显示器三轴的第一角加速度，具体实现方式如下：第一陀螺仪传感器能测得三轴的角加速度数据，DSP将根据这些数据解算出以水平面为基准的x、y、z三轴旋转方向和旋转矢量，进而计算出测量头戴式3D显示器以预定平面为基准的X、Y、Z三轴旋转方向和旋转矢量；

麦克风用于高保真数字语音数据拾取，并通过无线发射模块发送给云台；

无线发射模块，用于将遥控指令以及实时获得的姿态数据(夹角ω、磁偏角β、以预定平面为基准的X、Y、Z三轴旋转方向和旋转矢量)、语音等数据无线发射给所述的遥控云台；

方向可调式绑缚装置，用于将所述的头戴式无线遥控发射器以适当的方式与所述的头戴式3D显示器绑定，该装置绑缚固定后还可以方便地调节方向以便获得用户认可的基准平面（即可被设定为预定平面的姿态平台）。

遥控云台的优选实现方式如图3所示包括：

第二处理器（本实施例采用DSP作为处理器），高速步进电机（包括水平步进马达和垂直步进马达），水平调节旋钮、垂直调节旋钮、第二重力感应传感器(G-sensor)、第二三轴磁阻传感器(O-sensor)、第二陀螺仪传感器(Gyro-sensor)、无线接收模块和扬声器。

作为第二处理器的DSP,是内嵌MCU的处理器，用于控制、计算和无线通讯，包括控制高速步进电机对云台进行水平和垂直姿态快速调整；

水平调节旋钮和垂直调节旋钮用于手动设定云台用于安装拍摄装置的平台的预设姿态，即预定平面Q’；

第二重力感应传感器，用于测量所述平台与第二预定平面间的第二夹角ω’，具体方式如下：DSP根据第二重力感应传感器所测得的姿态矩阵，解算出水平面的位置W并计算出相对水平面的倾角Φ’，进而计算出所述平台相对于云台预定平面Q’的夹角ω’；

第二三轴磁阻传感器，用于测量所述平台与北极地磁场之间的第二磁偏角β’，具体方式如下：根据第二三轴磁阻传感器测得的三轴的角度数据，通过DSP解算获得所述平台与北极地磁场之间的磁偏角β’；

第二陀螺仪传感器，用于测量所述平台三轴的角加速度。第二陀螺仪传感器能测得三轴的角加速度数据，DSP将根据这些数据解算出以水平面为基准的x’、y’、z’三轴旋转方向和旋转矢量以及以预定平面Q’为基准的X’、Y’、Z’三轴旋转方向和旋转矢量；另外，陀螺仪传感器还能侦测到微小的移动（包括位移方向和位移量），并将信号传至DSP，DSP立即计算需要补偿的位移量，然后通过高速步进电机，根据云台震动位移方向及位移量加以补偿，即：控制所述平台向所述位移方向相反的方向移动相同的位移量，以达到防抖减振效果；

本实施例的遥控云台，具有多重防抖设计，即使安装在运动装置上工作，也能使得安装于其上的3D影音实时拍摄装置获得平稳和高质量的实时3D影像。首先用于安装的底座以及安装3D影音实时拍摄装置的平台上均设计有防震垫，以减缓直接传导给3D影音实时拍摄装置的振动和抖动；其次，所述的遥控云台上的陀螺仪传感器侦测到微小的移动，并且会将信号传至DSP，DSP立即计算需要补偿的位移量，然后通过高速步进电机，根据云台抖动方向及位移量加以补偿，从而有效的克服因3D影音实时拍摄装置的振动产生的影像模糊和画面跳动而造成用户眼睛眩晕。

所述遥控云台，可选配双红外灯，红外夜视距离大于200米，彻底解决黑夜无照明条件下可视距离过近问题；可选配隔热遮阳设计兼备雨刷功能防护罩，以适用于户外恶劣环境。

本发明还提供了一种实现人们通过无线3D视听觉***，获得实时观看现实3D场景的视听觉感受与交互的方法，如图5所示，具体步骤如下：

首先，将3D影音实时拍摄装置600安装到遥控云台500上，再将3D影音无线发射装置400的数据输入端口与3D影音拍摄装置600的数据输出端口连接，上述装置均按规格与电源连接；

打开电源开关，各装置进行初始化，上述装置均初始化完成后，3D影音拍摄装置600开始工作，将获得的实时3D影音数据传送给3D影音无线发射装置400，3D影音无线发射装置400将影音数据实时发射出去。

遥控云台500中的DSP对其无线接收模块进行监测。如果没有收到来自头戴式无线语音遥控发射器200发射的转动信息，则读取通过水平调节旋钮和垂直调节旋钮所设定的预设姿态数据即预定平面Q’，将其设定为目标姿态数据(夹角ω、磁偏角β)，然后DSP控制高速步进电机对云台进行水平和垂直姿态快速调整，DSP会根据重力感应传感器所测得的姿态矩阵，解算出水平面的位置W并计算出平台相对水平面的倾角Φ’以及相对于预定平面Q’的夹角ω’；根据三轴磁阻传感器所测的三轴的角度数据，DSP可以解算出与北极地磁场之间的磁偏角β’，通过即时对比调整中的云台实时动态姿态数据(夹角ω’,磁偏角β’)与目标姿态数据(夹角ω、磁偏角β)，当在误差范围内相等，则DSP停止姿态调整。

DSP继续对无线数字接收模块进行监测，如果有收到来自头戴式无线遥控发射器200发射的转动信息，则DSP将对数据进行立即处理，对于接收到的实时语音数据解码后送入语音播放缓冲区供扬声器进行语音播放；判断接收到的锁定开关状态是否处于关的状态，如果处于开的状态，表示用户要求云台目前姿态锁定不变，那么，云台将不再做姿态调整；如果处于关的状态，那么DSP将按照接收到的以用户预定平面Q为基准的X、Y、Z三轴旋转方向和旋转矢量转化为以云台预定平面Q’为基准的X’、Y’、Z’三轴旋转方向和旋转矢量，控制高速步进电机对云台进行水平和垂直姿态快速调整，云台的DSP会根据重力感应传感器所测得的姿态矩阵，解算出水平面的位置W并近似计算出相对水平面的倾角Φ’以及相对于预定平面Q’的夹角ω’；根据三轴磁阻传感器所测的三轴的角度数据，DSP可以解算出与北极地磁场之间的磁偏角β’，通过即时对比调整中的云台实时动态姿态数据(夹角ω’,磁偏角β’)与无线数字接收模块接收到的目标姿态数据(夹角ω、磁偏角β)，当在误差范围内相等，则DSP停止姿态调整，这表示遥控云台500与佩带头戴式无线语音遥控发射器200的用户头部实现了联动。

其次，用户将头戴式3D显示器100和头戴式无线遥控发射器200用方向可调式绑缚装置固定后戴到头上，并将3D影音无线接收装置300的数据输出端与头戴式3D显示器100的数据输入端通过数据线连接好；

上述所有装置均按规格和电源连接。打开电源开关，上述装置均进行初始化；

初始化完成后，3D影音无线接收装置300开始等待接收3D影音无线发射装置600发射的影音数据，接收到影音数据后经过解码将获得的3D影音数据通过数据线传送给头戴式3D显示器100播放。

初始化完成后，头戴式无线语音遥控发射器200中的DSP对预定平面设定按钮进行监测,如果初始化后没有按过此按钮，则DSP设定水平面W为预定平面Q；如果初始化后按过此按钮，则在按此按钮瞬间，DSP将头戴式无线语音遥控发射器200的所处姿态平面设定为预定平面Q，同时DSP会根据重力感应传感器所测得的姿态矩阵，解算出水平面的位置W并计算出头戴式无线语音遥控发射器200相对水平面的倾角Φ以及相对于预定平面Q的夹角ω；根据三轴磁阻传感器所测得的三轴的角度数据，解算出与北极地磁场之间的磁偏角β；根据陀螺仪传感器测得的三轴的角加速度数据，DSP解算出以水平面为基准的x、y、z三轴旋转方向和旋转矢量以及以预定平面为基准的X、Y、Z三轴旋转方向和旋转矢量；同时，为实现交互，DSP可通过麦克风（MIC）将用户语音数据拾取后编码，连同遥控数据（含锁定开关状态）、获得的实时姿态数据(夹角ω、磁偏角β、以预定平面为基准的X、Y、Z三轴旋转方向和旋转矢量，即：转动信息)通过无线发射模块实时发送给遥控云台500，遥控云台500接收到这些数据后，由自身的DSP控制云台作姿态调整，从而与佩带头戴式无线语音遥控发射器2的用户头部实现了联动。

为实现联动快速迅捷，本实施例的遥控云台为高速防抖遥控云台，以下方面的延迟时间优选符合如下要求：

头戴式无线遥控发射器200的姿态计算延迟时间控制在1ms（毫秒）内；头戴式无线遥控发射器200与遥控云台500之间的通讯延迟时间控制在0.5ms(毫秒)内；遥控云台500从接收到目标姿态数据后，到经过姿态调整达到目标姿态之间所需要的控制时间控制在10ms(毫秒)内。

本发明通过上述装置和方法实现了通过虚拟装置获得实时观看逼真的现实3D场景以及与现场交互的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (7)

1.一种3D视听觉***的支持装置，其特征在于：包括遥控云台、头戴式无线遥控发射器、3D影音无线发射装置和3D影音无线接收装置；

所述遥控云台包括用于支撑3D影音拍摄装置的平台；所述3D影音无线发射装置用于接收3D影音拍摄装置输出的影音数据，并无线发送给所述3D影音无线接收装置；所述3D影音无线接收装置用于接收3D影音无线发射装置发射的影音数据，然后发送给用户的头戴式3D显示器；

所述头戴式无线遥控发射器用于固定在用户的头戴式3D显示器上，以测量头戴式3D显示器的转动信息，并发送给遥控云台；

所述遥控云台还用于接受所述转动信息，并根据所述转动信息控制所述平台与头戴式3D显示器同步转动；

所述头戴式无线遥控发射器包括第一处理器，还包括分别与第一处理器连接的第一重力感应传感器、第一三轴磁阻传感器、第一陀螺仪传感器以及无线发射模块；

所述第一重力感应传感器用于测量头戴式3D显示器相对水平面的倾角Φ，然后计算出与第一预定平面间的第一夹角ω，第一三轴磁阻传感器用于测量头戴式3D显示器与北极地磁场之间的第一磁偏角β，第一陀螺仪传感器用于测量头戴式3D显示器三轴的第一角加速度；

所述处理器用于根据所述第一夹角ω、第一磁偏角β和第一角加速度计算出头戴式3D显示器以第一预定平面为基准的三轴旋转方向和旋转矢量，所述转动信息包括所述以第一预定平面为基准的三轴旋转方向和旋转矢量；

所述无线发射模块用于将所述以第一预定平面为基准的三轴旋转方向和旋转矢量发送给所述云台；

所述控制云台用于根据所述以第一预定平面为基准的三轴旋转方向和旋转矢量控制所述平台与所述头戴式3D显示器同步转动；

所述头戴式无线遥控发射器还包括与所述第一处理器连接的第一预定平面设定按钮，所述第一处理器还用于将用户触发该按钮时头戴式3D显示器所处平面设定为第一预定平面；

所述遥控云台还包括第二处理器，分别与第二处理器连接的第二重力感应传感器、第二三轴磁阻传感器、第二陀螺仪传感器以及无线接收模块；

所述第二重力感应传感器用于测量所述平台与第二预定平面间的第二夹角ω’，第二三轴磁阻传感器用于测量所述平台与北极地磁场之间的第二磁偏角β’，第二陀螺仪传感器用于测量所述平台三轴的第二角加速度；

所述无线接收模块用于接收所述头戴式3D显示器以第一预定平面为基准的三轴旋转方向和旋转矢量；

所述第二处理器用于将头戴式3D显示器以第一预定平面为基准的三轴旋转方向和旋转矢量转换为以第二预定平面为基准的三轴旋转方向和旋转矢量，然后控制所述平台按照所述以第二预定平面为基准的三轴旋转方向和旋转矢量转动；

所述第二预定平面为所述遥控平台的初始位置所处的平面。

2.根据权利要求1所述的支持装置，其特征在于：所述遥控云台还包括水平调节旋钮和垂直调节旋钮，用于调节所述平台的初始位置。

3.根据权利要求1-2任意一项所述的支持装置，其特征在于：所述第二陀螺仪传感器还用于测量遥控云台震动所产生的位移方向和移动量，并传送给所述处理器，所述处理器控制所述平台向所述位移方向相反的方向移动相同的位移量。

4.根据权利要求1-2任意一项所述的支持装置，其特征在于：所述头戴式无线遥控发射器还包括可调式绑缚装置，所述头戴式无线遥控发射器通过所述可调式绑缚装置固定在所述头戴式3D显示器上，该可调式绑缚装置用于调节头戴式无线遥控发射器与所述头戴式3D显示器的相对方位以获得用户认可的第一预定平面。

5.根据权利要求1-2任意一项所述的支持装置，其特征在于：所述头戴式无线遥控发射器还包括与所述第一处理器连接的麦克风，所述无线发射模块还用于发射所述麦克风拾取的语音数据；

所述遥控云台还包括与所述第二处理器连接的扬声器，所述无线接收模块还用于接收所述语音数据，所述扬声器用于播放所述语音数据。

6.根据权利要求1-2任意一项所述的支持装置，其特征在于：所述平台上设有防震垫。

7.一种3D视听觉***，其特征在于，包括：3D影音拍摄装置和头戴式3D显示器，还包括权利要求1-6任意一项所述的支持装置。