CN104883561A - 三维全景显示方法和头戴式显示设备 - Google Patents

Abstract

本发明公开了一种三维全景显示方法，通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像；经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像。本发明还公开了一种头戴式显示设备。本发明对真实场景进行三维全景展现，增强视觉冲击力和用户沉浸感。

Description

三维全景显示方法和头戴式显示设备

技术领域

本发明涉及显示领域，尤其涉及三维全景显示方法和头戴式显示设备。

背景技术

增强现实技术是一种可以把计算机生成的二维或三维信息叠加到真实环境中，从而增强用户对真实环境的感知的一种崭新的技术领域。跟踪注册、虚实融合以及实时交互被认为是增强现实技术的三大基本特征。目前可用于三维显示的影像都是基于正面朝向的视频画面，而一面朝向的视频画面比较单调，不能从单一的视频画面中获取更多的真实环境信息。因此，如何增强显示效果和视觉冲击力，是一个亟待解决的问题。

发明内容

本发明的主要目的在于提出一种三维全景显示方法和头戴式显示设备，旨在解决三维显示画面单一的问题。

为实现上述目的，本发明提供一种三维全景显示方法，所述三维全景显示方法包括步骤：

通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像；

经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像。

优选地，所述通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像的步骤之前还包括：

采用两台360度全景摄像机在不同视角分别摄制目标物体的平面影像。

优选地，所述采用两台360度全景摄像机在不同视角分别摄制目标物体的平面影像的步骤之后还包括：

构建所述目标物体对应的增强现实场景，并将所述增强现实场景和所述平面影像进行影像合成。

优选地，所述经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像的步骤之后还包括：

利用九轴传感器感知头戴式显示设备的视角改变，根据所述头戴式显示设备的视角改变对所述全景立体影像进行360度全方位显示。

优选地，所述经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像的步骤之后还包括：

捕捉所述目标物体的动作状态，根据所述动作状态与当前的所述增强现实场景建立互动感应。

此外，为实现上述目的，本发明还提出一种头戴式显示设备，所述头戴式显示设备包括：

投影模块，用于通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像；

生成模块，用于经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像。

优选地，所述头戴式显示设备还包括：

摄制模块，用于采用两台360度全景摄像机在不同视角分别摄制目标物体的平面影像。

优选地，所述头戴式显示设备还包括：

合成模块，用于构建所述目标物体对应的增强现实场景，并将所述增强现实场景和所述平面影像进行影像合成。

优选地，所述头戴式显示设备还包括：

显示模块，用于利用九轴传感器感知头戴式显示设备的视角改变，根据所述头戴式显示设备的视角改变对所述全景立体影像进行360度全方位显示。

优选地，所述头戴式显示设备还包括：

互动模块，用于捕捉所述目标物体的动作状态，根据所述动作状态与当前的所述增强现实场景建立互动感应。

本发明提出的三维全景显示方法和头戴式显示设备，通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像；经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像。本发明对真实场景进行三维全景展现，增强视觉冲击力和用户沉浸感。

附图说明

图1为本发明三维全景显示方法第一实施例的流程示意图；

图2为本发明三维全景显示方法第二实施例的流程示意图；

图3为本发明三维全景显示方法第三实施例的流程示意图；

图4为本发明三维全景显示方法第四实施例的流程示意图；

图5为本发明三维全景显示方法第五实施例的流程示意图；

图6为本发明头戴式显示设备第一实施例的功能模块示意图；

图7为本发明头戴式显示设备第二实施例的功能模块示意图；

图8为本发明头戴式显示设备第三实施例的功能模块示意图；

图9为本发明头戴式显示设备第四实施例的功能模块示意图；

图10为本发明头戴式显示设备第五实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明第一实施例提出一种三维全景显示方法，所述三维全景显示方法包括步骤：

步骤S100、通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像。

本实施例提供一种头戴式显示设备，所述头戴式显示设备包括左投影机、右投影机、左球形幕、右球形幕、左目镜和右目镜，其中，所述左球形幕和左目镜在同一左光轴上，所述右球形幕和所述右目镜在同一右光轴上。所述左投影机和右投影机都具备鱼眼放映镜头，用于将待播放的不同视角摄制的具有水平视角差的平面影像同时投射到左球形幕和右球形幕上，从而在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像。所述球形幕的屏幕为一个球形的背投影屏，内投球幕球体外形极符合宇宙天体的外型，放置在球形幕内部的微型投影机把平面图像投射到几乎整个球形屏幕上，观众可以看到整个球形幕上布满了图像。

步骤S200、经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像。

头戴式显示设备经由所述左球形幕对所述左球形影像进行反射，并把所述左球形幕反射回的左光线投射到左目镜上。同时，头戴式显示设备经由所述右球形幕对所述右球形影像进行反射，并把所述右球形幕反射回的右光线投射到右目镜上。经由所述左右透镜的折射后将具有水平视角差的两个球形影像独立投射到观众的左右眼上，从而在人眼的前方生成全景立体影像。

本实施例提供的三维全景显示方法，通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像；经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像，从而对真实场景进行三维全景展现，增强视觉冲击力和用户沉浸感。

如图2所示，图2为本发明三维全景显示方法第二实施例的流程示意图，在第一实施例的基础上，所述步骤S100之前包括：

步骤S100A、采用两台360度全景摄像机在不同视角分别摄制目标物体的平面影像。

头戴式显示设备还包括左摄像头和右摄像头，所述左摄像头和所述右摄像头均为360度全景摄像机，用于在两个不同的视点360度摄制目标物体的平面全景影像。所述目标物体可以为运动的目标物体，例如行走的动物，也可以为静止的目标物体，例如静止的雕像。

本实施例提供的三维全景显示方法，采用两台360度全景摄像机在不同视角分别摄制目标物体的平面影像。对现实场景进行实时监测，从而通过视角差的方式将监测的所述平面影像在所述头戴式显示设备的球形幕内进行三维全景显示，从而对真实场景进行三维全景展现，增强视觉冲击力和用户沉浸感。

如图3所示，图3为本发明三维全景显示方法第三实施例的流程示意图，在第二实施例的基础上，所述步骤S100A之后包括：

步骤S100B、构建所述目标物体对应的增强现实场景，并将所述增强现实场景和所述平面影像进行影像合成。

头戴式显示设备事先构建与所述目标物体对应的增强现实场景，并保存在预置的增强现实场景数据库中，若头戴式显示设备通过视频捕捉技术一旦识别到所述目标物体时，则在预置的增强现实场景数据库中，调用相对应的增强现实场景。例如若识别到所述目标物体为人时，则在增强现实场景中构建与所述识别到的人相对应的虚拟人，并将所述增强现实场景和所述平面影像进行影像合成。

本实施例提供的三维全景显示方法，构建所述目标物体对应的增强现实场景，并将所述增强现实场景和所述平面影像进行影像合成，从而让用户实时地与增强现实场景交互，并尽量使用户感觉到所处的环境是真实的，从而增强了用户的沉浸感，提升用户体验。

如图4所示，图4为本发明三维全景显示方法第四实施例的流程示意图，在第一实施例的基础上，所述步骤S200之后包括：

步骤S300、利用九轴传感器感知头戴式显示设备的视角改变，根据所述头戴式显示设备的视角改变对所述全景立体影像进行360度全方位显示。

头戴式显示设备利用内置的九轴传感器感知头戴式显示设备的视角改变，所述视角改变包括所述头戴式显示设备的朝向和位置，并根据所述戴显示设备的视角改变相应获取所述目标物体对应视角的立体影像，以便对所述全景立体影像进行360度全方位显示。

本实施例提供的三维全景显示方法，利用九轴传感器感知头戴式显示设备的视角改变，根据所述头戴式显示设备的视角改变对所述全景立体影像进行360度全方位显示，扩充可视范围，增强用户体验。

如图5所示，图5为本发明三维全景显示方法第五实施例的流程示意图，在第一实施例的基础上，所述

步骤S400、捕捉所述目标物体的动作状态，根据所述动作状态与当前的所述增强现实场景建立互动感应。

头戴式显示设备通过视频捕捉技术识别和捕捉所述目标物体的动作状态，并根据所述动作状态与当前的所述增强现实场景建立互动感应。例如，头戴式显示设备若识别到当前的增强现实场景为虚拟篮球运动时，并且捕捉到所述目标物体为人时，那么当所述目标物体运动时，对应构建的与所述目标物体对应的虚拟篮球运动员自动识别本队的球员，并根据所述目标物体的动作状态，与本队的球员相应进行传接球或投篮动作。

本实施例提供的三维全景显示方法，捕捉所述目标物体的动作状态，根据所述动作状态与当前的所述增强现实场景建立互动感应，从而实现对现实场景的增强，提升沉浸感和用户体验。

本发明进一步提供一种头戴式显示设备，如图6所示，本发明第一实施例提出的头戴式显示设备包括：

投影模块10，用于通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像；

生成模块20，用于经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像。

本实施例提供一种头戴式显示设备，所述头戴式显示设备包括左投影机、右投影机、左球形幕、右球形幕、左目镜和右目镜，其中，所述左球形幕和左目镜在同一左光轴上，所述右球形幕和所述右目镜在同一右光轴上。头戴式显示设备的投影模块10，用于通过具备鱼眼放映镜头的所述左投影机和所述右投影机将待播放的不同视角摄制的具有水平视角差的平面影像同时投射到所述左球形幕和所述右球形幕上，从而在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像。所述球形幕的屏幕为一个球形的背投影屏，内投球幕球体外形极符合宇宙天体的外型，放置在球形幕内部的微型投影机把平面图像投射到几乎整个球形屏幕上，观众可以看到整个球形幕上布满了图像。

头戴式显示设备的生成模块20经由所述左球形幕对所述左球形影像进行反射，并把所述左球形幕反射回的左光线投射到左目镜上。同时，头戴式显示设备经由所述右球形幕对所述右球形影像进行反射，并把所述右球形幕反射回的右光线投射到右目镜上。经由所述左右透镜的折射后将具有水平视角差的两个球形影像独立投射到观众的左右眼上，从而在人眼的前方生成全景立体影像。

本实施例提供的头戴式显示设备，通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像；经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像，从而对真实场景进行三维全景展现，增强视觉冲击力和用户沉浸感。

如图7所示，图7为本发明头戴式显示设备第二实施例的流程示意图，在第一实施例的基础上，所述头戴式显示设备还包括：

摄制模块30，用于采用两台360度全景摄像机在不同视角分别摄制目标物体的平面影像。

头戴式显示设备还包括左摄像头和右摄像头，所述头戴式显示设备的摄制模块30通过两台360度全景摄像机在两个不同的视点360度摄制目标物体的平面全景影像。所述目标物体可以为运动的目标物体，例如行走的动物，也可以为静止的目标物体，例如静止的雕像。

本实施例提供的头戴式显示设备，采用两台360度全景摄像机在不同视角分别摄制目标物体的平面影像。对现实场景进行实时监测，从而通过视角差的方式将监测的所述平面影像在所述头戴式显示设备的球形幕内进行三维全景显示，从而对真实场景进行三维全景展现，增强视觉冲击力和用户沉浸感。

如图8所示，图8为本发明头戴式显示设备第三实施例的流程示意，在第二实施例的基础上，所述头戴式显示设备还包括：

合成模块40，用于构建所述目标物体对应的增强现实场景，并将所述增强现实场景和所述平面影像进行影像合成。

头戴式显示设备的合成模块40事先构建与所述目标物体对应的增强现实场景，并保存在预置的增强现实场景数据库中，若头戴式显示设备通过视频捕捉技术一旦识别到所述目标物体时，则在预置的增强现实场景数据库中，调用相对应的增强现实场景。例如若识别到所述目标物体为人时，则在增强现实场景中构建与所述识别到的人相对应的虚拟人，并将所述增强现实场景和所述平面影像进行影像合成。

本实施例提供的头戴式显示设备，构建所述目标物体对应的增强现实场景，并将所述增强现实场景和所述平面影像进行影像合成，从而让用户实时地与增强现实场景交互，并尽量使用户感觉到所处的环境是真实的，从而增强了用户的沉浸感，提升用户体验。

如图9所示，图9为本发明头戴式显示设备第四实施例的流程示意，在第一实施例的基础上，所述头戴式显示设备还包括：

显示模块50，用于利用九轴传感器感知头戴式显示设备的视角改变，根据所述头戴式显示设备的视角改变对所述全景立体影像进行360度全方位显示。

头戴式显示设备利用内置的九轴传感器感知头戴式显示设备的视角改变，所述视角改变包括所述头戴式显示设备的朝向和位置，并根据所述戴显示设备的视角改变相应获取所述目标物体对应视角的立体影像，以便对所述全景立体影像进行360度全方位显示。

本实施例提供的头戴式显示设备，利用九轴传感器感知头戴式显示设备的视角改变，根据所述头戴式显示设备的视角改变对所述全景立体影像进行360度全方位显示，扩充可视范围，增强用户体验。

如图10所示，图10为本发明头戴式显示设备第五实施例的流程示意，在第一实施例的基础上，所述头戴式显示设备还包括：

互动模块60，用于捕捉所述目标物体的动作状态，根据所述动作状态与当前的所述增强现实场景建立互动感应。

头戴式显示设备的互动模块60通过视频捕捉技术识别和捕捉所述目标物体的动作状态，并根据所述动作状态与当前的所述增强现实场景建立互动感应。例如，头戴式显示设备若识别到当前的增强现实场景为虚拟篮球运动时，并且捕捉到所述目标物体为人时，那么当所述目标物体运动时，对应构建的与所述目标物体对应的虚拟篮球运动员自动识别本队的球员，并根据所述目标物体的动作状态，与本队的球员相应进行传接球或投篮动作。

本实施例提供的头戴式显示设备，捕捉所述目标物体的动作状态，根据所述动作状态与当前的所述增强现实场景建立互动感应，从而实现对现实场景的增强，提升沉浸感和用户体验。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种三维全景显示方法，其特征在于，所述三维全景显示方法包括步骤：

通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像；

经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像。

2.如权利要求1所述的三维全景显示方法，其特征在于，所述通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像的步骤之前还包括：

采用两台360度全景摄像机在不同视角分别摄制目标物体的平面影像。

3.如权利要求2所述的三维全景显示方法，其特征在于，所述采用两台360度全景摄像机在不同视角分别摄制目标物体的平面影像的步骤之后还包括：

构建所述目标物体对应的增强现实场景，并将所述增强现实场景和所述平面影像进行影像合成。

4.如权利要求1所述的三维全景显示方法，其特征在于，所述经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像的步骤之后还包括：

利用九轴传感器感知头戴式显示设备的视角改变，根据所述头戴式显示设备的视角改变对所述全景立体影像进行360度全方位显示。

5.如权利要求2至4任一项所述的三维全景显示方法，其特征在于，所述经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像的步骤之后还包括：

捕捉所述目标物体的动作状态，根据所述动作状态与当前的所述增强现实场景建立互动感应。

6.一种头戴式显示设备，其特征在于，所述头戴式显示设备包括：

投影模块，用于通过具备鱼眼放映镜头的左投影机和右投影机将待播放的不同视角摄制的具有水平视角差的两个平面影像同时投射到左球形幕和右球形幕上，在所述左球形幕和所述右球形幕内分别形成内投的左球形影像和右球形影像；

生成模块，用于经由所述左球形幕和所述右球形幕分别对相应的所述左球形影像和所述右球形影像进行反射，并把所述左球形幕反射回的左光线和所述右球形幕反射回的右光线对应投射到左目镜和右目镜上，生成全景立体影像。

7.如权利要求6所述的头戴式显示设备，其特征在于，所述头戴式显示设备还包括：

摄制模块，用于采用两台360度全景摄像机在不同视角分别摄制目标物体的平面影像。

8.如权利要求7所述的头戴式显示设备，其特征在于，所述头戴式显示设备还包括：

合成模块，用于构建所述目标物体对应的增强现实场景，并将所述增强现实场景和所述平面影像进行影像合成。

9.如权利要求6所述的头戴式显示设备，其特征在于，所述头戴式显示设备还包括：

显示模块，用于利用九轴传感器感知头戴式显示设备的视角改变，根据所述头戴式显示设备的视角改变对所述全景立体影像进行360度全方位显示。

10.如权利要求7至9任一项所述的头戴式显示设备，其特征在于，所述头戴式显示设备还包括：

互动模块，用于捕捉所述目标物体的动作状态，根据所述动作状态与当前的所述增强现实场景建立互动感应。