CN112286355B - 一种用于沉浸式内容的交互方法和*** - Google Patents
一种用于沉浸式内容的交互方法和*** Download PDFInfo
- Publication number
- CN112286355B CN112286355B CN202011175692.5A CN202011175692A CN112286355B CN 112286355 B CN112286355 B CN 112286355B CN 202011175692 A CN202011175692 A CN 202011175692A CN 112286355 B CN112286355 B CN 112286355B
- Authority
- CN
- China
- Prior art keywords
- virtual
- interactive
- projection
- operated
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 230000003993 interaction Effects 0.000 claims description 50
- 230000008859 change Effects 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明给出了一种用于沉浸式内容的交互方法和***，包括获取空间中投影设备的初始姿态信息，其中，姿态信息包括投影设备的空间姿态和朝向；根据待投影的文件，构建虚拟3D场景模型，并在虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型；将虚拟相机和虚拟头部听觉模型映射至投影设备，计算获取当前姿态信息下的投影画面和音频数据；以及输出当前姿态信息下的投影画面和音频数据。利用该方法和***能够以低成本、无需预先安装调试的硬件装置，提供360°环绕用户的全景视听内容。
Description
技术领域
本发明涉及投影技术领域，尤其是一种用于沉浸式内容的交互方法和***。
背景技术
沉浸式内容包括全景图像或全景视频，通常通过全方位摄像机或一组摄像机同时记录所有可能方向上的场景视图来再现真实场景的全景视图，或者通过3D创建软件来进行虚拟制作。沉浸式内容越来越多地用于营销或广告中，以吸引更多的消费者，因为沉浸式内容能够令商品和服务的感觉更加鲜活。沉浸式内容也用于音乐表演、剧院、音乐会等，以拥有更多的不必出席活动的观众；沉浸式内容在游戏娱乐领域和教育领域也有应用。在通过投影技术展示沉浸式视听内容的使用场景中，经常需要与投影内容的交互。例如，使用者点击、拖动沉浸式3D场景里的物体，改变投影出来的物体状态或位置。此技术可广泛应用于演示、教学、游戏娱乐。
迄今为止在个人层面上最广泛且唯一可访问的沉浸式内容再现技术是使用虚拟现实(VR)眼镜。然而，VR眼镜仅允许佩戴它们的人享受内容，却将用户与真实环境隔离开来。而且VR眼镜仅限单人使用，无法供多人同时观看同一沉浸式内容。
在真实空间中显示沉浸式内容，可以规避上述VR眼镜的缺陷。现有的解决方案例如公开号为CN107592514A的中国专利，其公开了一种全景投影***及方法，该***具有多个投影仪，通过投影算法，将待展示的全景图像分割成多个小画面，分别用投影仪投到投影房的数个墙面上。多个小画面拼接成连续的沉浸式画面。该解决方案投影面积大，需要多台投影仪，硬件成本高。且***需要预先安装、精确调试位置，使用复杂。再例如公开号为CN109076203A的中国专利，公开了一种用于投影沉浸式内容的***，使用带有鱼眼透镜的投影仪，在真实空间中投影出水平方向视角为180°的画面。该解决方案投影面积很大，为了投影画面具有足够的亮度，对投影仪的功率要求高。且单个投影仪至多只能投出180°视角的画面，覆盖360°全景仍然需要2台投影仪，具有和前述公开号为CN107592514A的专利解决方案同样的问题。
在现有技术中，与投影内容交互的方法主要是通过图像采集设备拍摄实体空间中的画面，用计算机视觉等方法从采集的画面识别出使用者人体或人手的位置，转换为投影内容中的坐标位置，从而和沉浸式内容交互。例如公开号为CN205788098U的中国专利，其公开了一种基于双目机器视觉的非接触投影交互***，用位于投影幕布上方的双目摄像机采集图像，使用计算机视觉方法识别出使用者位置，实现与内容的交互。再如公开号为CN103383731A的中国专利，其公开了一种一种基于指尖定位的投影交互方法、***及计算设备，使用摄像机捕捉投影屏幕上的图像，通过计算机视觉的方法分析人手指尖的位置，判定人手是否触摸了投影屏幕，实现模拟触摸屏的输入。上述投影沉浸式内容交互方法，需要使用额外的图像采集设备，成本较高，且图像识别等算法的运算量较大，不适用于运算能力较弱的低成本设备。
发明内容
为了解决现有技术中的投影沉浸式内容交互方法，需要使用额外的图像采集设备，成本较高，且图像识别等算法的运算量较大，不适用于运算能力较弱的低成本设备等技术问题，本发明提出了一种用于沉浸式内容的交互方法和***，用以解决上述技术问题。
在一个方面，本发明提出了一种用于沉浸式内容的交互方法，包括以下步骤：
S1：获取空间中投影设备的初始姿态信息，其中，姿态信息包括投影设备的空间姿态和朝向；
S2：根据待投影的文件，构建虚拟3D场景模型，并在虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型，其中，虚拟3D场景模型中包括被设置为接受交互指令后能够改变状态或位置的物体；
S3：将虚拟相机和虚拟头部听觉模型映射至投影设备，计算获取当前姿态信息和/或交互指令下的投影画面、音频数据；
S4：输出当前姿态信息和/或交互指令下的投影画面和音频数据。
优选的，3D场景模型包括前景物体、背景物体和音源，且前景物体、背景物体随时间变化而改变位置和外观。3D场景模型的构造，可以令投影的内容更具有沉浸式的效果。
进一步优选的，被设置为接受交互指令后能够改变状态或位置的物体为前景物体中的一个或多个。通过将前景物体设置为可接收交互指令后变换状态位置，能够实现在投影过程中的交互操作。
优选的，步骤S1中的姿态信息的获取是利用设置于投影设备上的姿态传感器通过姿态解算获得，姿态解算采用卡尔曼滤波的传感器融合算法解算，姿态传感器为包括有加速度传感器、角速度传感器和地磁数据传感器的6轴或9轴传感器。凭借该算法可以快速解算获取投影设备的姿态信息，多轴传感器的设置可以获得更加准确姿态和朝向。
进一步优选的，虚拟相机的视场角和成像面的宽高比和投影设备相同，且虚拟相机、虚拟头部听觉模型的初始姿态信息与投影设备相同。通过虚拟相机和虚拟头部听觉模型的设置能够提前将投影信息计算好，进而直接在投影设备中投射。
优选的，步骤S3中计算交互指令下的投影画面和/或音频数据具体为：
响应于虚拟相机的轴线与前景物体相交且前景物体为被设置为接受交互指令后能够改变状态或位置的物体，记录该物体为待操作虚拟物体；
响应于用户发出交互指令且当前存在待操作虚拟物体，将待操作虚拟物体切换为可交互状态，其中，可交互状态包括形态变换、位置变换、大小变换或其组合；
响应于用户解除交互指令且当前存在待操作虚拟物体，将待操作虚拟物体还原为正常状态，并清空待操作虚拟物体的记录。
根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述方法。
根据本发明的第三方面，提出了一种用于沉浸式内容的交互***，该***包括：
投影设备，用于接收待投影的画面，并将其投射至空间表面；
姿态传感器模块，用于获取投影设备在当前空间中的姿态信息，其中，姿态信息包括投影设备的空间姿态和朝向；
交互模块，用于接收用户做出的交互指令；
处理器模块，用于根据待投影的文件，构建虚拟3D场景模型，并在虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型，其中，虚拟3D场景模型中包括被设置为接受交互指令后能够改变状态或位置的物体；将虚拟相机和虚拟头部听觉模型映射至投影设备，获取当前姿态信息和/或交互指令下的投影画面和音频数据，根据投影设备在空间中旋转时的不同姿态信息和/或交互指令，确定投影设备在当前姿态信息和/或交互指令下的投影画面和音频数据。
优选的，投影设备上还包括音频输出模块，用于输出至少一个声道的音频或至少两个声道的立体声音频，姿态传感器模块包括加速度、角速度、地磁数据的6轴或9轴传感器，交互模块包括设置于***上的按钮、摇杆或手柄，交互指令包括点击、拨动或不同按键指令。多声道的音频输出可以提升沉浸式的效果，多轴传感器的设置可以获得更加准确姿态和朝向，交互模块的多样化使得可以根据不同的投影设备进行不同的交互模块的操作，不同的交互指令可以实现不同的交互效果。
优选的，处理器模块还配置用于响应于所述虚拟相机的轴线与前景物体相交且所述前景物体为被设置为接受交互指令后能够改变状态或位置的物体，记录该物体为待操作虚拟物体；响应于用户发出交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体切换为可交互状态，其中，所述可交互状态包括形态变换、位置变换、大小变换或其组合；响应于用户解除交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体还原为正常状态，并清空所述待操作虚拟物体的记录。
本发明提出了一种用于沉浸式内容的交互方法和***，巧妙地利用姿态传感器、交互装置和投影设备的配合，根据姿态传感器定位当前投影的姿态、朝向，根据交互装置接收到的用户操作，改变虚拟物体的位置、状态等；计算并投影出随姿态、朝向而变化的内容。投影的内容是具有连贯性的，不同姿态、朝向时显示的小画面能够拼接成一幅连续的360°的全景画面。使用一台小型投影仪就可以显示360°全景画面；所使用的交互装置简单，和投影设备合为一体；涉及的算法较为简单对内存等***资源的使用少，适用于运算能力较弱的低成本设备，设备体积小、硬件成本低，无需安装，可随时灵活使用，适用于家庭、学校等各种场合。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例的用于沉浸式内容的交互方法的流程图；
图2是本申请的一个具体的实施例的用于沉浸式内容的交互方法的流程图；
图3是本申请的一个实施例的一种用于沉浸式内容的交互***的框架图；
图4a－d是本申请的一个具体的实施例的一种用于沉浸式内容的交互***的效果图；
图5是适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请的一个实施例的用于沉浸式内容的交互方法，图1示出了根据本申请的实施例的用于沉浸式内容的交互方法的流程图。如图1所示，该方法包括以下步骤：
S101：获取空间中投影设备的初始姿态信息，其中，姿态信息包括投影设备的空间姿态和朝向。根据投影设备的初始姿态信息可以便于分析设备当前姿态下需要输出何种图像。
在具体的实施例中，姿态信息的获取可以通过设置于投影设备上的姿态传感器获取，姿态传感器可以是包含3轴加速度加3轴角速度的6轴姿态传感器，也可以再增加3轴地磁传感器，组成9轴传感器。使用6轴姿态传感器时，能够获得设备的准确姿态和相对初始状态的朝向(heading，又称偏航角yaw)；使用9轴姿态传感器时，能够获得设备的准确姿态和相对于地球的绝对朝向。
在具体的实施例中，投影设备一般包括光源、显示组件、光学镜片组。可使用的投影技术包括单片LCD(液晶显示器)投影、3LCD投影、DLP(数码光处理)投影、LCOS(反射式微型LCD)投影等等。具体根据投影的环境和画面要求选择合适的投影技术的设备。
S102：根据待投影的文件，构建虚拟3D场景模型，并在虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型，其中，虚拟3D场景模型中包括被设置为接受交互指令后能够改变状态或位置的物体。利用构建的虚拟3D场景模型可以预先计算获取相对于虚拟相机和虚拟头部听觉模型的画面或音频输出，以及交互指令下的虚拟相机和虚拟头部听觉模型的画面或音频输出，便于在投影设备上相应地投射。
在具体的实施例中，根据待投影文件中的画面和音频信息建立虚拟3D场景模型，场景中包含背景物体、前景物体、音源；背景物体和前景物体可以随时间改变位置、外观等；建立虚拟相机和虚拟头部听觉模型，其位于虚拟场景的中央，初始姿态、朝向是默认姿态、朝向。优选的，被设置为接受交互指令后能够改变状态或位置的物体为前景物体中的一个或多个。前景物体的可改变状态或位置的属性能够实现交互式的投影体验。应当认识到，背景物体也可以同样设置为可改变状态或位置的属性，同样能够实现本发明的技术效果。
S103：将虚拟相机和虚拟头部听觉模型映射至投影设备，计算获取当前姿态信息和/或交互指令下的投影画面、音频数据。通过映射关系可以直接在投影设备上直接获取虚拟相机和虚拟头部听觉模型中的画面和音频信息，并根据不同的姿态信息以及交互指令投射对应的画面和音频。
在具体的实施例中，将虚拟相机和虚拟头部听觉模型映射至投影设备具体表现为：虚拟相机的视场角和投影设备的投影视场角相同，虚拟相机成像面的宽高比和投影设备投影画面的宽高比相同；建立虚拟头部听觉模型，其初始位置、姿态、朝向和虚拟相机相同。
在具体的实施例中，计算虚拟场景在虚拟相机中的成像画面，计算方法可以使用计算机3D图形学方法；计算虚拟场景中各声源发出的声音在虚拟头部听觉模型中所合成的音频，计算方法可以使用基于头相关变换函数(HRTF)的方法。
在具体的实施例中，交互指令下投影画面的计算具体如下：
响应于虚拟相机的轴线与前景物体相交且前景物体为被设置为接受交互指令后能够改变状态或位置的物体，记录该物体为待操作虚拟物体。判断虚拟相机的轴线与前景物体相交具体可以采用如下方式：从虚拟相机所在位置，沿相机轴线方向做一射线，计算射线与虚拟场景中的虚拟物体是否有相交；使用虚拟物体的包围球做相交检测，包围球是以虚拟物体的位置为球心，预设半径的球形；判断相交的方法是，求包围球球心到所述相机轴线方向的射线的距离，如果距离小于包围球半径，则判定为相交，否则为不相交。
响应于用户发出交互指令且当前存在待操作虚拟物体，将待操作虚拟物体切换为可交互状态，其中，可交互状态包括形态变换、位置变换、大小变换或其组合。在具体的实施例中，可交互的状态可以为拖动状态，且处于拖动状态的物体的显示效果为尺寸变为原大的1.2倍。响应于用户解除交互指令且当前存在待操作虚拟物体，将待操作虚拟物体还原为正常状态，并清空待操作虚拟物体的记录。
S104：输出当前姿态信息和/或交互指令下的投影画面和音频数据。最终通过投影设备将当前姿态信息下的投影画面和音频数据输出在空间表面，同时还根据用户的交互指令改变投影画面和音频输出，获得沉浸式的交互体验。
图2示出了根据本发明的一个具体的实施例的用于沉浸式内容的交互方法，如图2所示，该方法包括以下步骤：
步骤201，获取设备初始姿态、朝向，记录初始朝向；建立虚拟3D场景模型和虚拟相机。***启动后，从姿态传感器获取设备初始姿态、朝向，并记录设备的初始朝向；
在具体的实施例中，建立虚拟3D场景模型，场景中包含背景物体、前景物体，所述背景物体和前景物体可以随时间改变位置、外观等；某些前景物体为可以交互的物体，其他前景物体不可交互。通过可交互的物体的构建，能够实现用于的交互操作。
在具体的实施例中，建立虚拟相机，其位于虚拟场景的中央，初始姿态、朝向是默认姿态、朝向；虚拟相机的视场角和投影设备的投影视场角相同，虚拟相机成像面的宽高比和投影设备投影画面的宽高比相同。
步骤202，获取设备当前的绝对姿态、朝向，计算相对朝向。可选地，根据步骤201记录的初始朝向，计算设备当前相对与初始状态的相对朝向。
步骤203，设置虚拟3D场景中虚拟相机的姿态、朝向，计算虚拟相机指向的待操作虚拟物体。虚拟相机的姿态、朝向具体为步骤202中获得的姿态、朝向。
在具体的实施例中，计算在虚拟3D场景中，与虚拟相机轴线所指方向相交的虚拟物体，选取其中一个可交互的虚拟物体，记为待操作虚拟物体。
步骤204，获取交互装置的状态，操作虚拟3D场景中的待操作虚拟物体。如果使用者对交互装置做出了交互操作且当前有待操作虚拟物体，则改变待操作虚拟物体的状态、位置等。
步骤205，计算虚拟场景在虚拟相机中的成像画面，并投影出当前画面。
从步骤203重复执行，使本发明的投影设备能实时地随姿态、朝向的变化而改变投影出的画面。
上述方法对虚拟3D场景的投影和交互在同一设备上同时完成，即在计算沉浸式投影内容的同时，也计算对虚拟物体的交互操作。本发明方法投影内容的改变是具有连贯性的。实质上来说，本投影设备在空间中旋转时，在不同方向上投出的画面能够拼接成一幅完整的360°环绕全景画面。投影镜头每次只会投影出部分区域，而通过改变投影镜头的空间姿态、朝向，即可实现投影内容变化。在使用投影设备对沉浸式全景画面进行探索的同时，通过交互装置对投影镜头指向的虚拟物体进行操作，交互方式简单。
继续参考图3，图3示出了根据本发明的一个具体的实施例的用于沉浸式内容的交互***的框架图，如图3所示，该投影***包括姿态传感器301、处理器302、投影设备303和交互模块304。其中姿态传感器301能够获得该***当前在空间中的姿态、朝向；处理器模块302具有一定运算能力，能够获取***在空间中的姿态、朝向，判断需要对虚拟3D场景中的哪个虚拟物体做操作；获取交互模块304当前的状态，对虚拟物体做出改变；计算在当前姿态、朝向下，***需要投射的画面，并将画面发送到投影设备303，还用于计算在当前姿态、朝向下，***需要播放的音频，发送到投影设备303上的音频输出模块；投影设备303能够接收待投影的画面，使用光学原理等将画面投射至真实空间的表面。
在具体的实施例中，音频输出模块能够输出至少1个声道的音频，或至少2个声道的立体声音频，可以是扬声器或耳机等。***还可以包括外壳305，包含可手持的部件，或可以固定在使用者身体等活动部件上；使用本***时，通过转动、移动外壳，使姿态传感器301在空间中的姿态、朝向发生变化。通过可手持的设置，可以便于使用者根据需要的画面位置进行转动，进而获取该姿态下的图像画面和音频的内容。
在具体的实施例中，处理器302还用于建立虚拟3D场景311，虚拟3D场景311具有一定的空间大小、形状，包括若干虚拟物体312，虚拟物体312具体包括背景物体、前景物体、音源等，可以随时间改变位置、外观和声音，其中某些虚拟物体标记为可交互的。处理器302还可以用于改变位于虚拟3D场景311中央的虚拟相机313和虚拟头部314的姿态和朝向，计算***当前时刻需要投射的画面和播放的声音，以及计算当前需要交互的虚拟物体。
在具体的实施例中，处理器模块还配置用于响应于所述虚拟相机的轴线与前景物体相交且所述前景物体为被设置为接受交互指令后能够改变状态或位置的物体，记录该物体为待操作虚拟物体；响应于用户发出交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体切换为可交互状态，其中，所述可交互状态包括形态变换、位置变换、大小变换或其组合；响应于用户解除交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体还原为正常状态，并清空所述待操作虚拟物体的记录。
在具体的实施例中，姿态传感器301可以是包含3轴加速度加3轴角速度的6轴姿态传感器，也可以再增加3轴地磁传感器，组成9轴传感器。投影设备303一般包括光源、显示组件、光学镜片组等部件；可使用的投影技术包括单片LCD(液晶显示器)投影、3LCD投影、DLP(数码光处理)投影、LCOS(反射式微型LCD)投影等等，每种技术下，投影设备具体包含的部件有所不同，具体根据不同的投影环境和画面需求而定。
与现有技术的投影仪数量多，需要额外的图像采集设备完成交互，体积较大、成本高，需要预先安装并调试好位置才能使用，适用的场合较少，计算机视觉算法的运算量较大，不适用于运算能力较弱的设备的问题相比，本发明只需要单台小型投影仪，使用投影仪本身即可完成与沉浸式内容的交互，设备体积小、硬件成本低，投影仪无需安装，可随时灵活使用，适用于家庭、学校等各种场合，所采用的技术方法运算量小，对内存等***资源的使用少，适用于运算能力较弱的低成本设备，如儿童玩具等。
继续参考图4，图4a-c是本申请的一个具体的实施例的一种用于沉浸式内容的交互***的效果图。如图4a-d所示，411为真实空间中的墙面，可以在上面投影画面；投影设备412，对应于上述的整个装置，包含可手持的外壳，用户手持投影设备412在空间中移动、旋转；投影设备412上有一个按钮作为交互装置；413、415为412射出的光线照在墙面411上投出的画面。
首先参考图4a，如图4a所示：401、402、403为虚拟3D场景中的墙面和地面，总共包含立方体的6个内表面，此处为清晰起见只展示了3个面；预先使用立方体贴图投影(cubemapping projection)方法，将360°全景图投影为6幅正方形贴图，分别贴在立方体的6个内表面，作为虚拟场景的背景；应当认识到，虚拟场景背景不限于立方体贴图一种方法，可以采用多种投影方法，均可实现本发明的技术效果。虚拟3D场景中的5个前景物体404，包含“ABCDE”5个立体字母模型，排布在一个竖直弧面上；在一个具体的实施例中，5个物体均标记为可交互物体，其支持的交互操作是沿所述竖直弧面移动；虚拟相机405位于立方体内部，在此实施例中，位于坐标(0,0,1.5)处；虚拟相机405的视场角(FOV)设置为和投影设备412的投射视场角相同，视场角为30°；虚拟相机405成像面的宽高比设置为和312投影设备的投射宽高比相同，投射宽高比为4:3。
继续参考图4b，如图4b所示，使用者手持投影设备412，指向墙面411中间靠左的方向，启动投影设备412；处理器获取投影设备412当前的初始姿态、朝向，表示为朝向(偏航角)、俯仰角、翻滚角为(-22.5,10,0)，记录下初始绝对朝向为-22.5°；计算相对朝向为-22.5-(-22.5)＝0°，所以，当前的相对姿态、朝向为(0,10,0)，如图4a，将虚拟相机405的姿态、朝向设置为(0,10,0)；
从虚拟相机405所在位置，沿相机轴线方向做一射线，计算射线与虚拟场景中的虚拟物体是否有相交；在此实施例中，使用虚拟物体的包围球做相交检测，包围球是以虚拟物体的位置为球心，预设半径的球形；判断相交的方法是，求包围球球心到所述相机轴线方向的射线的距离，如果距离小于包围球半径，则判定为相交；
在具体的实施例中，经过计算，虚拟物体字母“B”与射线相交，并且该虚拟物体为可交互物体，所以记录该物体为当前待操作虚拟物体；此时，使用者按下投影设备412上的交互按钮，***获取到交互按钮的状态从松开变为按下，且当前存在待操作虚拟物体，将待操作虚拟物体切换到拖动状态；处于拖动状态的虚拟物体显示效果可选的是尺寸变为原大的1.2倍；使用3D图形学技术，计算出的虚拟相机405成像画面，为虚线框内的“ABC”部分字样413，虚拟相机405正对的虚拟物体是字母“B”，投影画面的中心也是字母“B”，并且“B”的尺寸为“A”、“C”的1.2倍；如图4b，此时投影设备412将“ABC”部分字样画面413投影在墙面411的中间偏左区域。
如图4c，使用者手持投影设备412向右旋转，指向墙面411中间的方向；处理器获取投影设备412当前的初始姿态、朝向为(-5,10,0)，计算相对朝向为-5-(-22.5)＝17.5°，所以，当前的相对姿态、朝向为(17.5,10,0)，如图4c，将虚拟相机405的姿态、朝向设置为(17.5,10,0)；由于当前虚拟物体“B”处于拖动状态，其位置跟随虚拟相机405改变，位置改变的方法是，保持虚拟相机405轴线和虚拟物体“B”的相对位置不变，沿弧面移动同时旋转虚拟物体“B”，物体移动到和虚拟物体“C”一部分重叠的位置；此时，使用者松开投影设备412上的交互按钮，***获取到交互按钮的状态从按下变为松开，且当前存在待操作虚拟物体，将待操作虚拟物体切换到正常状态，其尺寸变为原大，并清空待操作虚拟物体记录；
计算出虚拟相机405的成像画面，为虚线框内的“BC”字样画面415，且投影画面的中心仍然是字母“B”，且“B”的尺寸和“C”相同；如图4d，此时投影设备412将“BC”字样画面415投影在墙面411的中间区域。
随着使用者旋转投影设备412，投影设备412在墙面411上投影出的画面不断变化。在使用者的头脑中，每一时刻的投影画面拼接成一幅360°全景图像，还原出图4a虚拟3D场景的背景和前景物体等视觉因素；使用者通过操作交互按钮，对虚拟3D场景中的虚拟物体做拖动操作，以改变虚拟物体在虚拟3D场景中的位置，并实时将此改变反映在投影画面上。
下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机***500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机***500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有***500操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD－ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取空间中投影设备的初始姿态信息，其中，姿态信息包括投影设备的空间姿态和朝向；根据待投影的文件，构建虚拟3D场景模型，并在虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型，其中，虚拟3D场景模型中包括被设置为接受交互指令后能够改变状态或位置的物体；将虚拟相机和虚拟头部听觉模型映射至投影设备，计算获取当前姿态信息下的投影画面、音频数据和/或交互指令；输出当前姿态信息和/或交互指令下的投影画面和音频数据。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种用于沉浸式内容的交互方法，其特征在于，包括：
S1：获取空间中投影设备的初始姿态信息，其中，所述姿态信息包括所述投影设备的空间姿态和朝向；
S2：根据待投影的文件，构建虚拟3D场景模型，并在所述虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型，其中，所述虚拟3D场景模型中包括被设置为接受交互指令后能够改变状态或位置的物体；
S3：将所述虚拟相机和所述虚拟头部听觉模型映射至所述投影设备，计算获取当前姿态信息和所述交互指令下的投影画面和音频数据，其中，所述虚拟相机的视场角和成像面的宽高比和所述投影设备相同，且所述虚拟相机、所述虚拟头部听觉模型的初始姿态信息与所述投影设备相同，响应于所述虚拟相机的轴线与前景物体相交且所述前景物体为被设置为接受交互指令后能够改变状态或位置的物体，记录该物体为待操作虚拟物体；响应于用户发出交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体切换为可交互状态；
S4：输出所述当前姿态信息和所述交互指令下的所述投影画面和所述音频数据。
2.根据权利要求1所述的用于沉浸式内容的交互方法，其特征在于，所述3D场景模型包括前景物体、背景物体和音源，且所述前景物体、所述背景物体随时间变化而改变位置和外观。
3.根据权利要求2所述的用于沉浸式内容的交互方法，其特征在于，所述被设置为接受交互指令后能够改变状态或位置的物体为所述前景物体中的一个或多个。
4.根据权利要求1所述的用于沉浸式内容的交互方法，其特征在于，步骤S1中的姿态信息的获取是利用设置于所述投影设备上的姿态传感器通过姿态解算获得，所述姿态解算采用卡尔曼滤波的传感器融合算法解算，所述姿态传感器为包括有加速度传感器、角速度传感器和地磁数据传感器的6轴或9轴传感器。
5.根据权利要求1所述的用于沉浸式内容的交互方法，其特征在于，步骤S3中计算所述交互指令下的投影画面和音频数据具体为：
所述可交互状态包括形态变换、位置变换、大小变换或其组合；
响应于用户解除交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体还原为正常状态，并清空所述待操作虚拟物体的记录。
6.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至5中任一项所述的方法。
7.一种用于沉浸式内容的交互***，其特征在于，所述***包括：
投影设备，用于接收待投影的画面，并将其投射至空间表面；
姿态传感器模块，用于获取所述投影设备在当前空间中的姿态信息，其中，所述姿态信息包括所述投影设备的空间姿态和朝向；
交互模块，用于接收用户做出的交互指令；
处理器模块，用于根据待投影的文件，构建虚拟3D场景模型，并在所述虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型，其中，所述虚拟3D场景模型中包括被设置为接受交互指令后能够改变状态或位置的物体；将所述虚拟相机和所述虚拟头部听觉模型映射至所述投影设备，获取当前姿态信息和所述交互指令下的投影画面和音频数据，根据所述投影设备在空间中旋转时的不同姿态信息和所述交互指令，确定所述投影设备在当前姿态信息和所述交互指令下的投影画面和音频数据；其中，所述虚拟相机的视场角和成像面的宽高比和所述投影设备相同，且所述虚拟相机、所述虚拟头部听觉模型的初始姿态信息与所述投影设备相同，响应于所述虚拟相机的轴线与前景物体相交且所述前景物体为被设置为接受交互指令后能够改变状态或位置的物体，记录该物体为待操作虚拟物体；响应于用户发出交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体切换为可交互状态。
8.根据权利要求7所述的用于沉浸式内容的交互***，其特征在于，所述姿态传感器模块包括加速度、角速度、地磁数据的6轴或9轴传感器；所述投影设备上还包括音频输出模块，用于输出至少一个声道的音频或至少两个声道的立体声音频，所述交互模块包括设置于所述***上的按钮、摇杆或手柄，所述交互指令包括点击、拨动或不同按键指令。
9.根据权利要求7所述的用于沉浸式内容的交互***，其特征在于，所述处理器模块还配置用于响应于所述虚拟相机的轴线与前景物体相交且所述前景物体为被设置为接受交互指令后能够改变状态或位置的物体，记录该物体为待操作虚拟物体；响应于用户发出交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体切换为可交互状态，其中，所述可交互状态包括形态变换、位置变换、大小变换或其组合；响应于用户解除交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体还原为正常状态，并清空所述待操作虚拟物体的记录。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011175692.5A CN112286355B (zh) | 2020-10-28 | 2020-10-28 | 一种用于沉浸式内容的交互方法和*** |
| US17/503,426 US20220129062A1 (en) | 2020-10-28 | 2021-10-18 | Projection Method, Medium and System for Immersive Contents |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011175692.5A CN112286355B (zh) | 2020-10-28 | 2020-10-28 | 一种用于沉浸式内容的交互方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112286355A CN112286355A (zh) | 2021-01-29 |
| CN112286355B true CN112286355B (zh) | 2022-07-26 |
Family
ID=74373261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011175692.5A Active CN112286355B (zh) | 2020-10-28 | 2020-10-28 | 一种用于沉浸式内容的交互方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112286355B (zh) |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106157359B (zh) * | 2015-04-23 | 2020-03-10 | 中国科学院宁波材料技术与工程研究所 | 一种虚拟场景体验***的设计方法 |
| US10300362B2 (en) * | 2015-04-23 | 2019-05-28 | Win Reality, Llc | Virtual reality sports training systems and methods |
| CN104932698B (zh) * | 2015-06-30 | 2018-03-27 | 广景视睿科技（深圳）有限公司 | 一种手持交互设备装置及其投影交互方法 |
| CN105373224B (zh) * | 2015-10-22 | 2016-06-22 | 山东大学 | 一种基于普适计算的混合现实游戏***及方法 |
| ES2636782B1 (es) * | 2016-04-07 | 2018-07-20 | Broomx Technologies, S.L. | Sistema para proyectar contenidos audiovisuales inmersivos |
| CN106154707B (zh) * | 2016-08-29 | 2018-01-05 | 广州大西洲科技有限公司 | 虚拟现实投影成像方法和*** |
| CN107820593B (zh) * | 2017-07-28 | 2020-04-17 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟现实交互方法、装置及*** |
| CA3105323A1 (en) * | 2018-06-29 | 2020-01-02 | Rama Krishna Aravind BOTTA | A system and a method to create extended reality using wearables and virtual environment set |
| SE543121C2 (en) * | 2019-02-04 | 2020-10-13 | Tobii Ab | Method and system for determining a current gaze direction |
| CN110047039B (zh) * | 2019-02-28 | 2023-04-28 | 中国人民解放军军事科学院国防科技创新研究院 | 一种面向虚拟现实交互的冗余视场全景影像构建方法 |
| CN110850977B (zh) * | 2019-11-06 | 2023-10-31 | 成都威爱新经济技术研究院有限公司 | 一种基于6dof头戴式显示器的立体图像交互方法 |
| CN111148013A (zh) * | 2019-12-26 | 2020-05-12 | 上海大学 | 一个动态跟随听觉视角的虚拟现实音频双耳再现***与方法 |
-
2020
- 2020-10-28 CN CN202011175692.5A patent/CN112286355B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112286355A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10816807B2 (en) | Interactive augmented or virtual reality devices | |
| US9654734B1 (en) | Virtual conference room | |
| RU2621644C2 (ru) | Мир массового одновременного удаленного цифрового присутствия | |
| US11532138B2 (en) | Augmented reality (AR) imprinting methods and systems | |
| CN108830944B (zh) | 光学透视式三维近眼显示***及显示方法 | |
| US20220129062A1 (en) | Projection Method, Medium and System for Immersive Contents | |
| CN112291543A (zh) | 一种用于沉浸式三维内容的投影方法和*** | |
| Soares et al. | Designing a highly immersive interactive environment: The virtual mine | |
| US20230405475A1 (en) | Shooting method, apparatus, device and medium based on virtual reality space | |
| CN112286355B (zh) | 一种用于沉浸式内容的交互方法和*** | |
| US11656576B2 (en) | Apparatus and method for providing mapping pseudo-hologram using individual video signal output | |
| Margolis et al. | Low cost heads-up virtual reality (HUVR) with optical tracking and haptic feedback | |
| US20240161390A1 (en) | Method, apparatus, electronic device and storage medium for control based on extended reality | |
| CN112348753A (zh) | 一种用于沉浸式内容的投影方法和*** | |
| US20240078734A1 (en) | Information interaction method and apparatus, electronic device and storage medium | |
| CN213122570U (zh) | 一种沉浸式内容投影设备 | |
| US20230377248A1 (en) | Display control method and apparatus, terminal, and storage medium | |
| WO2023231666A1 (zh) | 信息交互方法、装置、电子设备和存储介质 | |
| Chiday | Developing a Kinect based Holoportation System | |
| US20240269553A1 (en) | Method, apparatus, electronic device and storage medium for extending reality display | |
| State et al. | The A-Desk: A Unified Workspace of the Future | |
| CN117376591A (zh) | 基于虚拟现实的场景切换处理方法、装置、设备及介质 | |
| CN118057466A (zh) | 基于扩展现实的控制方法、装置、电子设备和存储介质 | |
| CN117572994A (zh) | 虚拟对象的显示处理方法、装置、设备及介质 | |
| CN118349105A (zh) | 虚拟对象的呈现方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220413 Address after: 310000 Room 302, building 6, Chuangzhi Green Valley Development Center, 788 HONGPU Road, Shangcheng District, Hangzhou City, Zhejiang Province Applicant after: HANGZHOU TTHUNDER ANIMATION CO.,LTD. Address before: 310016 room 1002, 10th floor, building 4, No. 9, Jiuhuan Road, Jianggan District, Hangzhou City, Zhejiang Province Applicant before: HANGZHOU RULEI TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An interactive method and system for immersive content Effective date of registration: 20220805 Granted publication date: 20220726 Pledgee: Jiubao Branch of Hangzhou United Rural Commercial Bank Co.,Ltd. Pledgor: HANGZHOU TTHUNDER ANIMATION CO.,LTD. Registration number: Y2022330001637 |