CN109961520A - 一种基于第三视角技术的vr/mr教室及其构建方法 - Google Patents

一种基于第三视角技术的vr/mr教室及其构建方法 Download PDF

Info

Publication number
CN109961520A
CN109961520A CN201910086586.0A CN201910086586A CN109961520A CN 109961520 A CN109961520 A CN 109961520A CN 201910086586 A CN201910086586 A CN 201910086586A CN 109961520 A CN109961520 A CN 109961520A
Authority
CN
China
Prior art keywords
classroom
space
visual angle
equipment
experience
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910086586.0A
Other languages
English (en)
Other versions
CN109961520B (zh
Inventor
蔡铁峰
陈锐浩
王瑛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN201910086586.0A priority Critical patent/CN109961520B/zh
Publication of CN109961520A publication Critical patent/CN109961520A/zh
Application granted granted Critical
Publication of CN109961520B publication Critical patent/CN109961520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于第三视角技术的VR/MR教室及其构建方法，属于虚拟现实技术领域。该VR/MR教室包括了VR/MR体验设备、第三视角拍摄设备、第三视角显示设备、控制台和服务器，还提供了一种构建方法。采用本发明所构建的VR/MR教室，由少量学生对课程内容进行VR/MR体验，教师用控制台控制教学的进展，其他学生通过观摩体验者的体验过程，很好的达到见习的效果；学生可以自由选择进入VR第三视角、MR第三视角还是VR/MR混合第三视角，并且参与互动，从而达到准确、牢固掌握知识的目的，有助于提升教学效果。

Description

一种基于第三视角技术的VR/MR教室及其构建方法
技术领域
本发明属于虚拟现实技术领域，尤其是一种基于第三视角技术的VR/MR教 室及其构建方法。
背景技术
运用VR和MR技术可构建用于教学的VR/MR教室，课程知识用VR/MR 的形式呈现出来，可以有效提升教学效果。其中采用“VR/MR”这种提法是指 教室将兼容VR与MR两种模式。其中，VR可以构建完全虚拟的教学环境，有 利于学生高度沉浸的体验课程内容，而MR构建的教学环境虚实结合，可能会降 低教学内容体验的沉浸感，但能较好的避免学生在教室内的碰撞。
见习是教学中一种重要的教学方式，学生通过实地观摩他人实践情况，达到 准确、牢固掌握知识的目的。第三视角技术选择一个不同于体验者的视角，对体 验者所进入的空间(比如说VR空间、MR空间)成像，这个视角的图像不会因为体 验者的运动而晃动，旁边的人可以便利的观摩体验者与虚拟物体的互动过程，其 中VR空间的第三视角技术往往会进一步把体验者的实时人像合成到虚拟图像 内。
发明内容
本发明提供一种基于第三视角技术的VR/MR教室及其构建方法，学生通过 实地观摩他人实践情况，达到准确、牢固掌握知识的目的，有助于提升教学效果。
本发明的工作原理是：
本发明以真实教室空间为基础建立一个统一坐标系，在此坐标系下同时构建 一个VR空间与一个MR空间，这两个空间与真实世界空间平行且在教室内重叠。 其中VR空间用于学生进行课程内容的VR体验，MR空间主要用于教师或其它 学生与体验者的实时互动；且可以撕开VR空间，使MR空间与部分VR空间结 合形成更便利教学的混合空间，也就是在教室统一坐标系下，根据需要把VR空 间的部分区域替换为相同位置的MR空间区域，把VR体验与MR体验集合到同一 个空间内。教学内容将同时反映在三个空间中，体现课程内容的任意虚拟物体的 位姿参数在真实教室内以及构建的三个空间内是完全一致的。由于统一坐标系以 真实教室空间为基础构建，所以可做到在统一坐标系下布置虚拟物体体现为直观 且便利地在真实教室内布置虚拟物体。
本发明提供体验人员与见习员两种学生角色，其中只有少量学生作为体验人 员在教室体验区进行课程内容的VR/MR体验，绝大多数学生在座位上通过第三视 角见习课程体验。
本发明对VR空间、MR空间、VR/MR混合空间这三个空间都提供第三视角成 像功能，为了生成第三视角图像，给每一个真实摄像机/摄像头匹配一个虚拟摄 像机，真实摄像机/摄像头采集真实世界的图像，虚拟摄像机采集虚拟世界或虚 拟物体的图像(虚拟摄像机的位姿和视场角与真实摄像机/摄像头完全一致)， 真实图像与虚拟图像通过一定方式合成第三视角图像。
本发明提供多样化的互动输入与显示通道，最大程度的便利于教学。
本发明提供了多种互动输入通道，主要有如下四种：VR设备互动、MR眼镜 互动、包括手机与平板电脑在内的手持移动设备的触屏输入和控制台操控。其中 VR设备互动和MR眼镜互动主要用于课程的VR/MR体验，教师操控控制台可以把 虚拟物体放置在教室内任意指定的位置，进一步可以控制课程的VR/MR教学过 程，见习的学生通过手持移动设备与VR/MR体验人眼进行简单的互动。在VR空 间、MR空间以及VR/MR混合空间这三个空间的任意空间内，对任意体现教学内 容的虚拟物体的互动操作都会同步反映到另外两个空间中。
本发明提供了多种显示通道，主要有如下五种，包括：VR头显、MR眼镜、 大显示屏/投影仪、手持移动设备，控制台显示屏。这些显示通道都可以自由选 择显示VR空间、MR空间或VR/MR混合空间。其中大显示屏/投影仪、手持移动 设备和控制台显示屏被用来显示第三视角画面。而且，教室内多台摄像机提供多 个机位的第三视角图像，教师可以根据课程内容VR/MR体验情况，通过切换机 位的方式调整大显示屏/投影仪显示的第三视角图像；教师或学生可以通过调整 所使用的手持移动设备的位姿等方式来改变其手持设备第三视角图像的视角，且 可以进一步根据需要无线投屏到大显示屏或投影仪上。
本发明的技术方案如下：
一种基于第三视角技术的VR/MR教室，包括***和教室；所述***包括 VR/MR体验设备、第三视角拍摄设备、第三视角显示设备、控制台和服务器，VR/MR体验设备、第三视角拍摄设备、第三视角显示设备、控制台均设在教室 内，其中，
VR/MR体验设备，用于获取其自身的定位、互动输入信息并发送给服务器， 同时根据服务器传送过来的各虚拟物体的状态参数渲染出VR或MR画面并显示出 来；
第三视角拍摄设备，包括多台摄像机，以及手持移动设备，多台摄像机采集 不同视角的图像传送给服务器用来生成多个视角的第三视角图像；手持移动设备 的摄像头采集图像，然后根据服务器传送过来的虚拟物体信息在手持移动设备自 身就生成第三视角图像，并在手持移动设备附带的屏幕上直接显示出来；
第三视角显示设备，包括至少一块设在教室内的大显示屏/投影仪，控制台 附带的屏幕，手持移动设备附带的屏幕，其中大显示屏/投影仪、控制台附带的 屏幕接收服务器传送过来的第三视角图像；
控制台，教师用来直观地设定虚拟物体在教室内的位姿，控制场景切换、虚 拟物体的出现、事件脚本触发，在此基础上控制VR/MR教学过程；
服务器，接收互动输入与定位信息，根据程序脚本计算虚拟物体的状态信息， 并把计算出来的虚拟物体状态信息发送给手持移动设备、VR/MR体验设备；另外， 采集摄像机传送过来的图像，进一步生成第三视角图像，并传送给大显示屏/投 影仪和控制台。
作为本发明的进一步改进，所述教室包括大屏显示/投影区、教师讲台、VR/MR 体验区与学生座位区，其中，
大屏显示/投影区，用于安置大显示屏/投影仪；
教师讲台，用于安置控制台；
VR/MR体验区，用于安置VR/MR体验设备，供教师和/或学生进行VR/MR体 验；
学生座位区，供学生进行第三视角见习；
由教师或处于VR/MR体验区的学生进行VR/MR体验，处于学生座位区的 学生通过第三视角显示设备的图像观摩体验者的课程体验过程进行见习并可以 在座位上采用VR/MR体验设备或手持移动设备参与简单的互动；教师可以使用 控制台控制VR/MR教学过程。
作为本发明的进一步改进，所述教室内多台摄像机提供多个机位的第三视角 图像，教师可以根据课程内容VR/MR体验情况，通过切换机位的方式调整大显 示屏/投影仪显示的第三视角图像；教师或学生可以通过调整所使用的手持移动 设备的位姿的方式来改变其手持移动设备第三视角图像的视角，且可以进一步根 据需要无线投屏到大显示屏或投影仪上。
一种基于第三视角技术的VR/MR教室的构建方法，包括以下步骤：
S1，建立教室统一坐标系，所述统一坐标系在真实教室基础上构建，同时覆 盖VR空间、MR空间以及VR/MR混合空间；
S2，读入课程的VR/MR资源，在教室统一坐标系下进行资源布置，由于统一 坐标系是在真实教室基础上构建，此步骤就是在真实教室内布置虚拟物体；
S3，定位教室内的设备，主要是对VR/MR体验设备、手持移动设备进行定 位，它们的定位是由这些设备自带的定位设备或应用程序实现，除此之外教室内 一些固定的设备的定位信息可以预先测绘得到；
S4,给每个摄像机/摄像头匹配一个虚拟摄像机,虚拟摄像机的位姿参数以 及视场角设置为被匹配摄像机/摄像头的对应值；
S5，服务器根据包括互动输入、定位信息在内的实时计算各虚拟物体的包括 位姿参数在内的状态信息，并发送数据给VR/MR体验设备、手持移动设备；
S6，真实摄像机/摄像头采集真实世界的图像，虚拟摄像机采集虚拟世界或 虚拟物体的图像，并对真实摄像机或摄像头采集的图像进行畸变校正；
S7，对于任意第三视角拍摄设备，教室***根据选择进入的VR第三视角、 MR第三视角还是VR/MR混合第三视角，以及摄像机成像内容生成第三视角掩 模图像，掩模图像决定了真实图像与虚拟图像合成第三视角图像的具体合成方 式；
S8，对于任意第三视角拍摄设备，***根据真实图像、虚拟图像、掩模图像 合成第三视角图像，并由相应的第三视角显示设备显示出来
作为本发明的进一步改进，S1中，教室同时构建VR空间、MR空间，以及 VR/MR混合空间，教学内容对应的虚拟物体同时出现在VR空间、MR空间，以及 VR/MR混合空间内，且在VR空间、MR空间，以及VR/MR混合空间内虚拟物体相 对于真实教室的位置相同，对VR空间、MR空间和VR/MR混合空间都可以第三视 角成像。
作为本发明的进一步改进，在VR/MR教室内，包括但不限于以下互动输入方 式：VR设备互动、MR眼镜互动、包括手机与平板电脑在内的手持移动设备的触 屏输入和控制台操控；包括但不限于以下显示输出通道：VR头显、MR眼镜、包 括手机与平板电脑在内的手持移动设备、大显示屏/投影仪和控制台屏幕。
作为本发明的进一步改进，MR、VR体验设备，手持移动设备，大显示屏/投 影仪都可以自由选择显示VR空间、MR空间或VR/MR混合空间。
作为本发明的进一步改进，VR/MR混合空间以教室内构建的VR空间与MR空 间为基础，在教室统一坐标系下，根据需要把VR空间的部分区域替换为相同位 置的MR空间区域，把VR体验与MR体验集合到同一个空间内。
作为本发明的进一步改进，建立统一的涵盖真实教室、VR空间、MR空间、 VR/MR混合空间的统一坐标系，体现课程内容的任意虚拟物体的位姿参数在真实 教室内以及构建的三个空间内是完全一致的。
作为本发明的进一步改进，在VR空间、MR空间以及VR/MR混合空间这三个 空间的任意空间内，对任意体现教学内容的虚拟物体的操作都会同步反映到另外 两个空间中。
与现有技术相比，本发明的有益效果是：
(1)采用本发明所构建的VR/MR教室，教师可用控制台控制教学的进展， 其他学生通过观摩体验者的互动过程，很好的达到见习的效果。
(2)学生可以自由选择进入VR第三视角、MR第三视角还是VR/MR混 合第三视角，并且参与互动。带场景的内容需要VR的方式体验会更好，而不需 要带场景的体验方式MR会更好，除此之外，可以同时VR与MR体验，并且两 者可以互动。从而达到准确、牢固掌握知识的目的，有助于提升教学效果。
附图说明
图1是一种基于第三视角技术的VR/MR教室的***组成示意图。
图2是一种基于第三视角技术的VR/MR教室的教室功能区组成示意图。
图3是本发明的一种VR/MR混合第三视角示意图。
图4是一种基于第三视角技术的VR/MR教室的构建方法流程图。
图5是本发明的基于第三视角技术的VR/MR教室的真实图片。
标记说明：1-服务器，2-大显示屏或投影仪，3-控制台，4-VR/MR体验设 备，41-第一渲染与处理单元，42-VR/MR显示单元，43-互动输入单元，44-定 位单元，5-摄像机，6-手持移动设备，61-第二渲染与处理单元61，62-平面显 示单元，63-移动摄像头，10-大屏显示/投影座位区，20-教师讲台，30-VR/MR 体验区，40-学生座位区。
具体实施方式
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面结合附图及 具体实施例对本发明进一步说明。
实施例1***组成
如图1所示，本发明的***主要由VR/MR体验设备4、第三视角拍摄设备 (包括手机或平板，同时可无线投屏到大显示屏/投影仪上去)、第三视角显示 设备、控制台3、服务器1等组成。
(1)VR/MR体验设备4具备定位、立体显示、互动(比如手势识别、手 柄等)等功能，这类设备可以是一体机，也可以是包含多个组件的套件。例如： 微软的MR眼镜Hololens是一体机，HTC的VIVE是包含头盔、***、手柄 等的套件，除此之外VIVE还需要再配备一个主机才能使用。
具体的，如图1所示，所述VR/MR体验设备包括定位单元44、互动输入 单元43、第一渲染与处理单元41与VR/MR显示单元42，所述互动输入单元 43包括通过手势识别、键盘、鼠标或手柄中的至少一种方式输入，服务器1传 送过来的各虚拟物体的状态参数先经过第一渲染与处理单元41进行渲染、处理 后，再传送至VR/MR显示单元42进行VR/MR显示。
(2)第三视角拍摄设备包括多台摄像机5，以及至少1台带摄像功能的手 持移动设备6(比如手机、平板电脑)。多台摄像机5采集不同视角的图像传送 给服务器1，由服务器1生成第三视角图像，摄像机5一般固定在教室内。手机、 平板电脑等的手持移动设备6采集图像后，获取定位信息后，可直接在手持移动 设备6内生成第三视角图像，也可进一步无线传屏到教室内的大显示屏或投影仪 2上。
具体的，如图1所示，手持移动设备6包括移动摄像头63、第二渲染与处 理单元61与平面显示单元62，移动摄像头63采集图像，由采集到的图像，第 二渲染与处理单元61运用计算机视觉对手持移动设备6定位，第二渲染与处理 单元61根据定位信息确定匹配的虚拟摄像头的位姿参数，并根据服务器1传送 过来的虚拟物体状态信息渲染出此虚拟摄像头的成像，然后把移动摄像头63成 的像与此虚拟摄像头成的像通过一定方式合成第三视角图像，再传送至平面显示 单元62进行显示。
(3)第三视角显示设备，包括一块或多块大显示幕或投影仪2，控制台附 带的屏幕32，学生手持移动设备附带的屏幕62。
(4)控制台3，包括控制器31，以及控制台附带的屏幕32，控制器31用 来控制控制场景切换、虚拟物体的出现、虚拟物***姿等状态参数改变、事件脚 本触发，给教师用来控制VR/MR教学过程。
(5)服务器1，采集各路摄像机5传送过来的图像，接收控制台3的控制 信号，手持移动设备6以及VR/MR体验设备4的互动输入，并进一步根据 VR/MR脚本计算出各虚拟物体状态，把状态信息传送给VR/MR体验设备4、 手持移动设备6，并生成第三视角图像传送给大显示屏或投影仪2或控制台3。
实施例2教室各功能区组成
如图2所示，教室功能区可以简单划分为：大屏显示/投影区10、教师讲台 20、VR/MR体验区30与学生坐位区40，其中，
大屏显示/投影区10，用于安置大显示屏或投影仪2；
教师讲台20，用于安置控制台3；
VR/MR体验区30，用于安置VR/MR体验设备4，供教师和/或学生进行 VR/MR体验；
学生座位区40，供学生进行第三视角见习；
其中VR/MR体验区30与学生座位区40可以重叠，服务器1可以安装在教 室内某个方便的角落，摄像机5可以固定在教室的墙或天花板上。
在该教室内，由教师或少量学生处于VR/MR体验区30的学生进行VR/MR 体验，处于学生座位区40的学生通过第三视角显示设备的图像观摩体验者的互 动过程进行见习并可以使用手持移动设备或VR/MR设备参与简单的互动；教师 可以使用控制台3控制VR/MR教学过程。
实施例3构建方法的流程与算法
如图3所示，该流程包括：
S1，建立教室统一坐标系，所述统一坐标系在真实教室基础上构建，同时覆 盖VR空间、MR空间以及VR/MR混合空间；
S2，读入课程的VR/MR资源，在教室统一坐标系下进行资源布置，由于统一 坐标系是在真实教室基础上构建，此步骤就是在真实教室内布置虚拟物体；
S3，定位教室内的设备，主要是对VR/MR体验设备、手持移动设备进行定 位，它们的定位是由这些设备自带的定位设备或应用程序实现，除此之外教室内 一些固定的设备的定位信息可以预先测绘得到；
S4,给每个摄像机/摄像头匹配一个虚拟摄像机,虚拟摄像机的位姿(位置与 姿态)参数以及视场角设置为被匹配摄像机/摄像头的对应值；
S5，服务器根据互动输入、定位信息等实时计算各虚拟物体的位姿参数等状 态信息，并发送数据给VR/MR体验设备、手持移动设备等；
S6，真实摄像机/摄像头采集真实世界的图像，虚拟摄像机采集虚拟世界或 虚拟物体的图像，并对真实摄像机或摄像头采集的图像进行畸变校正；
S7，对于任意第三视角拍摄设备，教室***根据选择进入的VR第三视角、 MR第三视角还是VR/MR混合第三视角，以及摄像机成像内容等因素生成第三 视角掩模图像，掩模图像决定了真实图像与虚拟图像合成第三视角图像的具体合 成方式；
S8，对于任意第三视角拍摄设备，***根据真实图像、虚拟图像、掩模图像 合成第三视角图像，并由相应的设备显示出来。
更具体的，该构建方法的算法如下：
(1)建立教室统一坐标系Ψ，比如在教室前面最左边的墙角建立教室坐标系，两面墙与地面的交点为坐标系原点，两面墙与地面的两条交线为x轴与y轴，两面墙的交线为z轴。 同时构建了VR空间Sv、MR空间Sm、混合空间Sh。在空间Sv内的对象集合表示为 Γv＝{v0,v1,v2,v3,…}，Sm内的对象集合表示为Γm＝{m0,m1,m2,m3,…}，Sh内的对象集合表示 为Γh＝{h0,h1,h2,h3,…}，其中Sv内包含的所有对象都是虚拟的，而Sm和Sh内的部分对象是教 室内的真实物体。本VR/MR教室***涉及到的虚拟物***姿参数与真实教室内所有设备的 位姿参数都是在此统一坐标系Ψ下定义的。
(2)读入课程的VR/MR资源，其中包含的虚拟物体集合为 根据需要把P中的虚拟物体布置在教室指定位置，令任意虚 拟物体ρj被用来体现课程内容，其布置在教室内初始指定的位姿(位置与姿态 角)为[rj,tj]，那么原则上就要求其满足ρj∈Γv、ρj∈Γm、ρj∈Γh，也就是此 虚拟物体需要同时在VR空间、MR空间以及VR/MR混合空间这三个空间内出现， 而且ρj在这三个空间内的初始位姿(位置与姿态角)参数完全一致，都是[rj,tj]。
(3)VR/MR体验设备都自带定位功能，而带摄像头的手持移动设备也能 用计算机视觉获得定位功能，都能实时获取自身的位姿参数，但这些位姿参数不 是在教室统一坐标下而是在设备自带坐标系下生成的，需要转换到教室统一坐标 系下，这就要求解设备坐标到教室统一坐标的旋转平移关系。为了获得位姿的平 移旋转关系，可以在教室内确定若干标识点，由尺子或激光***等方法预先测 绘标识点在教室统一坐标系内的位置，然后在VR/MR体验设备内获取这些标识 点的位置，根据这些标识点在设备自带坐标系内的位置到教室统一坐标系内的位 置可求得设备自带坐标到教室统一坐标的旋转平移关系。教室内固定摄像机的定 位需根据摄像机标定方法标定教室内所有摄像机内参。在此基础上，在摄像机视 野内放置若干个标识点(或把教室内具有明显特征的点作为标识点)，标识点在 教室坐标系Ψ内的坐标可通过尺子或激光***等方法直接测量出来，由标识 点在摄像机成像位置可计算出摄像机在坐标系Ψ内的平移与旋转量。除此之外， 教室内的控制台、座椅等设备都可以通过尺子或激光***等方法直接测量出 来。
(4)给每个摄像机定义一个虚拟摄像机，虚拟摄像机的视场角以及在教室 内的位姿与其对应的真实摄像机完全一致，虚拟摄像机将对虚拟物体成像。例如， 教室内任意摄像机/摄像头Ci，其位姿用旋转平移矩阵表示为视场角 为其中为水平视场角，为垂直视场角，教室***为其匹配一个视 场角、位姿参数完全一致的虚拟摄像机C′i。也就是C′i的位姿与视场角同样为 和
(5)服务器根据互动输入、定位信息等实时计算各虚拟物体的位姿参数等 状态信息，并发送数据给VR/MR体验设备、手持移动设备等；
(6)真实摄像机/摄像头采集真实世界的图像，虚拟摄像机采集虚拟世界或 虚拟物体的图像，并对真实摄像机或摄像头采集的图像进行畸变校正。例如真实 摄像机Ci获取的图像经过畸变校正后为Gi，虚拟摄像机C′i获取的图像为G′i。
(7)根据所进入的空间，第三视角图像可以分为：VR第三视角、MR第三 视角以及VR/MR混合第三视角。其中VR第三视角是虚拟场景背景完全保留， MR第三视角是虚拟场景背景完全不保留，而混合第三视角是保留部分虚拟场景 背景，如图4所示，a是真实教室，b是虚拟场景，c是虚拟场景放置在教室，d 是虚拟场景只保留了部分甚至部分大型虚拟物体也只保留了部分，这样便于座位 上的学生可以撕开VR场景以MR的方式参与到教学体验中。第三视角图像生成 需要真实世界图像与虚拟物体/虚拟场景图像叠加，其中叠加方式可以采用掩模 图像。如果不考虑遮挡，VR第三视角的掩模就是对体验者的扣像，MR第三视 角掩模就是去除虚拟场景背景后的虚拟物体图像，VR/MR混合第三视角的掩模 图像在有虚拟场景背景的地方是扣像，在没有的地方是虚拟物体成像图像。如果 进一步考虑遮挡，需要根据预先测量的物体三维信息或由深度相机实时采集的数 据生成遮挡掩模；对于任意摄像机/摄像头Ci在t时刻生成的掩模图像为Θi，其 像素值须在0～1之间取值。
(8)根据掩模，合成虚拟图像与真实画面，生成第三视角图像Pi，其中
Pi(x，y)＝Θ(x，y)·Gi(x，y)+(1-Θ(x，y))·G′(x，y)。
实施例4VR/MR教室的使用流程
图5示出了本发明的基于第三视角技术的VR/MR教室的真实图片，VR/MR教室的使用流程的要点主要有：
A.当教学内容需要依赖虚拟场景则使用VR,否则用MR，当然教学内容中如果有部分内容依 赖场景，而部分不需要，可以用VR结合MR来呈现教学内容。除了体验者在外，当其它学生也要参与时，可以复制一份给他，或者直接走入体验区，直接参与体验。第三视角可以进入虚拟仿真模式单独显示虚拟内容，不受摄像机或摄像头视角约束。
B.教师可用控制台控制教学的进展，其他学生通过观摩体验者的互动过程， 很好的达到见习的效果。带虚拟场景的内容需要VR的方式体验会更好，而不需 要带虚拟场景的体验方式MR会更好，除此之外，可以同时VR与MR体验，并 且两者可以互动。
具体的教学流程如下：
(1)启动VR/MR教室，根据预先设置把代表课程内容的VR/MR资源布置 在教室内，或者教师可以当场布置虚拟物体在教室内的位置。
(2)VR/MR教室***实时进行第三视角拍摄与显示。
(3)教师运用第三视角画面对课程知识点讲解，并用控制台对虚拟物体进 行一定的控制更好地呈现知识点。学生可以观看大屏/投影，也可以用手持移动 设备从第三视角方式观看虚拟物体。
(4)当课程进展到关键知识点或难点等情况下时，由对知识点掌握较好的 学生运用VR/MR体验设备进行实操(也可以是教师)，在实操的过程中，还可 以有其它学生加入互动，比如正在VR/MR体验的学生实操不正确，或者其他学 生有更好的方法，可以加入进来，其中当体验者是在VR体验时，新加入的学生 可以到体验区戴上VR/MR体验设备进行体验，也可以留在自己座位上，用手持 移动设备等多种方式参与互动。
(5)在体验过程中，教师通过控制台控制体验过程，并根据情况选择大显 示屏或投影仪第三视角画面对应的摄像机机位，甚至选择由学生手持移动设备第 三视角画面无线投屏过来。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保 护范围之内。

Claims (10)

1.一种基于第三视角技术的VR/MR教室，其特征在于，包括***和教室；所述***包括VR/MR体验设备、第三视角拍摄设备、第三视角显示设备、控制台和服务器，VR/MR体验设备、第三视角拍摄设备、第三视角显示设备、控制台均设在教室内，其中，
VR/MR体验设备，用于获取其自身的定位、互动输入信息并发送给服务器，同时根据服务器传送过来的各虚拟物体的状态参数渲染出VR或MR画面并显示出来；
第三视角拍摄设备，包括多台摄像机，以及手持移动设备，多台摄像机采集不同视角的图像传送给服务器用来生成多个视角的第三视角图像；手持移动设备的摄像头采集图像，然后根据服务器传送过来的虚拟物体信息在手持移动设备自身就生成第三视角图像，并在手持移动设备附带的屏幕上直接显示出来；
第三视角显示设备，包括至少一块设在教室内的大显示屏/投影仪，控制台附带的屏幕，手持移动设备附带的屏幕，其中大显示屏/投影仪、控制台附带的屏幕接收服务器传送过来的第三视角图像；
控制台，教师用来直观地设定虚拟物体在教室内的位姿，控制场景切换、虚拟物体的出现、事件脚本触发，在此基础上控制VR/MR教学过程；
服务器，接收互动输入与定位信息，根据程序脚本计算虚拟物体的状态信息，并把计算出来的虚拟物体状态信息发送给手持移动设备、VR/MR体验设备；另外，采集摄像机传送过来的图像，进一步生成第三视角图像，并传送给大显示屏/投影仪和控制台。
2.根据权利要求1所述的基于第三视角技术的VR/MR教室，其特征在于，所述教室包括大屏显示/投影区、教师讲台、VR/MR体验区与学生座位区，其中，
大屏显示/投影区，用于安置大显示屏/投影仪；
教师讲台，用于安置控制台；
VR/MR体验区，用于安置VR/MR体验设备，供教师和/或学生进行VR/MR体验；
学生座位区，供学生进行第三视角见习；
由教师或处于VR/MR体验区的学生进行VR/MR体验，处于学生座位区的学生通过第三视角显示设备的图像观摩体验者的课程体验过程进行见习并可以在座位上采用VR/MR体验设备或手持移动设备参与简单的互动；教师可以使用控制台控制VR/MR教学过程。
3.根据权利要求1或2所述的基于第三视角技术的VR/MR教室，其特征在于，所述教室内多台摄像机提供多个机位的第三视角图像，教师可以根据课程内容VR/MR体验情况，通过切换机位的方式调整大显示屏/投影仪显示的第三视角图像；教师或学生可以通过调整所使用的手持移动设备的位姿的方式来改变其手持移动设备第三视角图像的视角，且可以根据需要无线投屏到大显示屏或投影仪上。
4.一种如权利要求1-3任一项所述的基于第三视角技术的VR/MR教室的构建方法，其特征在于，包括以下步骤：
S1，建立教室统一坐标系，所述统一坐标系在真实教室基础上构建，同时覆盖VR空间、MR空间以及VR/MR混合空间；
S2，读入课程的VR/MR资源，在教室统一坐标系下进行资源布置；
S3，定位教室内的设备，包括对VR/MR体验设备、手持移动设备进行定位，教室内一些固定的设备的定位信息可以预先测绘得到；
S4, 给每个摄像机/摄像头匹配一个虚拟摄像机,虚拟摄像机的位姿参数以及视场角设置为被匹配摄像机/摄像头的对应值；
S5，服务器根据包括互动输入、定位信息在内的实时计算各虚拟物体的包括位姿参数在内的状态信息，并发送数据给VR/MR体验设备、手持移动设备；
S6，真实摄像机/摄像头采集真实世界的图像，虚拟摄像机采集虚拟世界或虚拟物体的图像，并对真实摄像机或摄像头采集的图像进行畸变校正；
S7，对于任意第三视角拍摄设备，教室***根据选择进入的VR第三视角、MR第三视角还是VR/MR混合第三视角，以及摄像机成像内容生成第三视角掩模图像，掩模图像决定了真实图像与虚拟图像合成第三视角图像的具体合成方式；
S8，对于任意第三视角拍摄设备，***根据真实图像、虚拟图像、掩模图像合成第三视角图像，并由相应的第三视角显示设备显示出来。
5.根据权利要求4所述的基于第三视角技术的VR/MR教室的构建方法，其特征在于，S1中，教室同时构建VR空间、MR空间，以及VR/MR混合空间，教学内容对应的虚拟物体同时出现在VR空间、MR空间，以及VR/MR混合空间内，且在VR空间、MR空间，以及VR/MR混合空间内虚拟物体相对于真实教室的位置相同，对VR空间、MR空间和VR/MR混合空间都可以第三视角成像。
6.根据权利要求4所述的基于第三视角技术的VR/MR教室的构建方法，其特征在于，在VR/MR教室内，包括但不限于以下互动输入方式：VR设备互动、MR眼镜互动、包括手机与平板电脑在内的手持移动设备的触屏输入和控制台操控；包括但不限于以下显示输出通道：VR头显、MR眼镜、包括手机与平板电脑在内的手持移动设备、大显示屏/投影仪和控制台屏幕。
7.根据权利要求6所述的基于第三视角技术的VR/MR教室，其特征在于，MR、VR体验设备，手持移动设备，大显示屏/投影仪都可以自由选择显示VR空间、MR空间或VR/MR混合空间。
8.根据权利要求4所述的基于第三视角技术的VR/MR教室，其特征在于，VR/MR混合空间以教室内构建的VR空间与MR空间为基础，在教室统一坐标系下，根据需要把VR空间的部分区域替换为相同位置的MR空间区域，把VR体验与MR体验集合到同一个空间内。
9.根据权利要求4所述的基于第三视角技术的VR/MR教室，其特征在于，在统一坐标系中，体现课程内容的任意虚拟物体的位姿参数在真实教室内以及构建的三个空间内是完全一致的。
10.根据权利要求4所述的基于第三视角技术的VR/MR教室，其特征在于：在VR空间、MR空间以及VR/MR混合空间这三个空间的任意空间内，对任意体现教学内容的虚拟物体的操作都会同步反映到另外两个空间中。
CN201910086586.0A 2019-01-29 2019-01-29 一种基于第三视角技术的vr/mr教室及其构建方法 Active CN109961520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910086586.0A CN109961520B (zh) 2019-01-29 2019-01-29 一种基于第三视角技术的vr/mr教室及其构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910086586.0A CN109961520B (zh) 2019-01-29 2019-01-29 一种基于第三视角技术的vr/mr教室及其构建方法

Publications (2)

Publication Number Publication Date
CN109961520A true CN109961520A (zh) 2019-07-02
CN109961520B CN109961520B (zh) 2023-05-09

Family

ID=67023441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910086586.0A Active CN109961520B (zh) 2019-01-29 2019-01-29 一种基于第三视角技术的vr/mr教室及其构建方法

Country Status (1)

Country Link
CN (1) CN109961520B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517546A (zh) * 2019-09-12 2019-11-29 成都泰盟软件有限公司 一种虚拟现实教学***及教学互动方法
CN110688005A (zh) * 2019-09-11 2020-01-14 塔普翊海（上海）智能科技有限公司 混合现实的教学环境、教师、教具互动***及互动方法
CN110971678A (zh) * 2019-11-21 2020-04-07 深圳职业技术学院 一种基于5g网络的沉浸式可视化校园***
CN110992744A (zh) * 2019-12-16 2020-04-10 武汉鑫科信科技有限公司 一种基于vr技术的情景教学***
CN111899590A (zh) * 2020-08-25 2020-11-06 成都合纵连横数字科技有限公司 一种仿真操作培训过程的混合现实观摩方法
CN115379278A (zh) * 2022-03-31 2022-11-22 深圳职业技术学院 一种基于xr技术沉浸式微课的录制方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760981A (zh) * 2014-01-21 2014-04-30 北京师范大学 一种磁场可视化及交互方法
CN105425955A (zh) * 2015-11-06 2016-03-23 中国矿业大学 多用户沉浸式全互动虚拟现实工程培训***
CN206400816U (zh) * 2016-07-07 2017-08-11 南京凌越铭盛信息工程有限公司 智慧教室***
CN107731016A (zh) * 2017-10-10 2018-02-23 东莞华南设计创新院 一种基于虚拟现实的化工培训***
CN107976811A (zh) * 2017-12-25 2018-05-01 河南新汉普影视技术有限公司 一种基于虚拟现实混合的仿真实验室及其仿真方法
CN108288419A (zh) * 2017-12-31 2018-07-17 广州市坤腾软件技术有限公司 一种基于ar/vr技术的职教工匠平台
CN108389249A (zh) * 2018-03-06 2018-08-10 深圳职业技术学院 一种多兼容性的vr/ar空间教室及其构建方法
CN109044374A (zh) * 2018-07-19 2018-12-21 杭州心景科技有限公司 整合视听连续执行测试方法、装置及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760981A (zh) * 2014-01-21 2014-04-30 北京师范大学 一种磁场可视化及交互方法
CN105425955A (zh) * 2015-11-06 2016-03-23 中国矿业大学 多用户沉浸式全互动虚拟现实工程培训***
CN206400816U (zh) * 2016-07-07 2017-08-11 南京凌越铭盛信息工程有限公司 智慧教室***
CN107731016A (zh) * 2017-10-10 2018-02-23 东莞华南设计创新院 一种基于虚拟现实的化工培训***
CN107976811A (zh) * 2017-12-25 2018-05-01 河南新汉普影视技术有限公司 一种基于虚拟现实混合的仿真实验室及其仿真方法
CN108288419A (zh) * 2017-12-31 2018-07-17 广州市坤腾软件技术有限公司 一种基于ar/vr技术的职教工匠平台
CN108389249A (zh) * 2018-03-06 2018-08-10 深圳职业技术学院 一种多兼容性的vr/ar空间教室及其构建方法
CN109044374A (zh) * 2018-07-19 2018-12-21 杭州心景科技有限公司 整合视听连续执行测试方法、装置及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐菊红: "混合现实虚拟智能教室的方案设计", 《武汉工程大学学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688005A (zh) * 2019-09-11 2020-01-14 塔普翊海（上海）智能科技有限公司 混合现实的教学环境、教师、教具互动***及互动方法
CN110517546A (zh) * 2019-09-12 2019-11-29 成都泰盟软件有限公司 一种虚拟现实教学***及教学互动方法
CN110971678A (zh) * 2019-11-21 2020-04-07 深圳职业技术学院 一种基于5g网络的沉浸式可视化校园***
CN110971678B (zh) * 2019-11-21 2022-08-12 深圳职业技术学院 一种基于5g网络的沉浸式可视化校园***
CN110992744A (zh) * 2019-12-16 2020-04-10 武汉鑫科信科技有限公司 一种基于vr技术的情景教学***
CN111899590A (zh) * 2020-08-25 2020-11-06 成都合纵连横数字科技有限公司 一种仿真操作培训过程的混合现实观摩方法
CN111899590B (zh) * 2020-08-25 2022-03-11 成都合纵连横数字科技有限公司 一种仿真操作培训过程的混合现实观摩方法
CN115379278A (zh) * 2022-03-31 2022-11-22 深圳职业技术学院 一种基于xr技术沉浸式微课的录制方法及***
CN115379278B (zh) * 2022-03-31 2023-09-05 深圳职业技术学院 基于扩展现实（xr）技术沉浸式微课的录制方法及***

Also Published As

Publication number Publication date
CN109961520B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN109961520A (zh) 一种基于第三视角技术的vr/mr教室及其构建方法
US10701344B2 (en) Information processing device, information processing system, control method of an information processing device, and parameter setting method
Azuma Overview of augmented reality
US20050219240A1 (en) Horizontal perspective hands-on simulator
CN106600709A (zh) 基于装修信息模型的vr虚拟装修方法
CN106293087B (zh) 一种信息交互方法及电子设备
WO2005098516A2 (en) Horizontal perspective hand-on simulator
CN110969905A (zh) 混合现实的远程教学互动、教具互动***及其互动方法
CN110688005A (zh) 混合现实的教学环境、教师、教具互动***及互动方法
CN103543827B (zh) 基于单个摄像机的沉浸式户外活动交互平台的实现方法
WO2013119475A1 (en) Integrated interactive space
TW200540458A (en) Motion sensor using dual camera inputs
CN109901713B (zh) 一种多人协同装配***及方法
CN108389249A (zh) 一种多兼容性的vr/ar空间教室及其构建方法
CN110568923A (zh) 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质
CN109358754B (zh) 一种混合现实头戴显示***
KR20130052769A (ko) 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법
CN108735052A (zh) 一种基于slam的增强现实自由落体实验方法
US20050248566A1 (en) Horizontal perspective hands-on simulator
CN109191983A (zh) 基于vr的配网带电作业仿真培训方法、装置及***
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
JP2010257081A (ja) 画像処理方法及び画像処理装置
WO2020177318A1 (zh) 一种基于虚拟现实的精酿啤酒糖化操作***及方法
CN110086982A (zh) 一种图像透视矫正方法及装置
JP2005341060A (ja) カメラ制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant