CN110969905A - 混合现实的远程教学互动、教具互动***及其互动方法 - Google Patents

Abstract

本发明提供一种混合现实的远程教学互动、教具互动***及其互动方法，其中混合现实的远程教学互动***，至少包括一个AR显示设备，远程教学互动***将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中AR显示设备的视场里。本发明的有益效果在于：突破了传统教育的空间限制，以实现不同空间的教师和学生进行交互。

Description

混合现实的远程教学互动、教具互动***及其互动方法

技术领域

本发明涉及课堂教学培训领域，尤其涉及混合现实的远程教学互动、教具互动***及其互动方法。

背景技术

随着科技的进步，随着AR(Augmented Reality，增强现实技术)/VR(VirtualReality，虚拟现实技术)混合现实技术的日益发展，其应用越来越被人们所接受。AR/VR混合现实技术应用广泛，无论是医学方面、娱乐方面，还是航天领域、铁路运输、安全隐患培训。AR/VR技术成为应用广泛、强有力的应用解决方案。

目前，学校课堂教学培训方式，偏向概念性教学，专业课程教学还缺少有效的方法和手段，培训课程枯燥无味，缺乏互动性。因此在教育领域中，AR技术的应用具有远大的发展前景。

目前应用在教育领域的AR实现方式只能通过摄像设备捕捉到标识模型上的识别标识，以根据上述识别标识、识别标识模型；然后运行AR软件对标识模型进行处理，以将与标识模型对应的虚拟模型通过显示屏幕呈现。

然而上述现有技术中还存在下述问题：只能使得同一空间的教师和学生进行交互教学，并且教师和/或学生无法和教学模型进行互动，使得教学内容枯燥，以及教学资源分布不均匀。

发明内容

针对现有技术中存在的上述问题，现提供一种旨在实现不同空间的教师和学生进行交互的混合现实的远程教学互动、教具互动***及其互动方法。

具体技术方案如下：

本发明公开一种混合现实的远程教学互动***，其中，至少包括一个AR显示设备，远程教学互动***将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中AR显示设备的视场里。

优选的，混合现实的远程教学互动***，其中，AR显示设备包括第一传感器单元和/或第二传感器单元；

第一传感器单元，用于获取AR显示设备的状态信息；

第二传感器单元，用于获取教学场景的3D影像和空间相对信息。

优选的，混合现实的远程教学互动***，其中，第一传感器单元至少包括鱼眼摄像头、自由度传感器和惯性测量单元；

鱼眼摄像头，用于识别AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对移动信息；

自由度传感器，用于获取AR显示设备在第一教学场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在第一教学场景内的相对角度信息；

惯性测量单元，用于获取AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对距离信息；

第二传感器单元至少包括RGB摄像头和TOF摄像头；

RGB摄像头，用于获取第一教学场景的影像以及现场教师的影像；

TOF摄像头，用于获取第一教学场景的空间信息以及现场教师的空间信息。

优选的，混合现实的远程教学互动***，其中，混合现实的远程教学互动***还包括抠像摄影设备和通信设备；

抠像摄影设备，用于将至少一处第二教学场景中的远程教师的抠图影像实时通过通信设备，传输至第一教学场景中AR显示设备的视场里。

优选的，混合现实的远程教学互动***，其中，在第一教学场景中AR显示设备的视场里，AR显示设备根据现场教师的3D体貌特征，在台上成比例地还原地投影出远程教师的3D体貌影像，且将远程教师的影像设置在现场教师的侧对面，且均侧朝向台下。

优选的，混合现实的远程教学互动***，其中，混合现实的远程教学互动***还包括在远程的投影/显示器，和在现场的全局摄像机，在第二教学场景中，投影/显示器中AR结合投影/显示：全局摄像机获取的现场教师的影像以及远程的抠像摄影设备获取的远程教师的影像。

优选的，混合现实的远程教学互动***，其中，抠像摄影设备包括至少一台摄像机，一台摄像机用于在第二教学场景中实时采集远程教师的实时二维影像；

或者，抠像摄影设备包括至少两台TOF摄像头，两台TOF摄像头，用于在第二教学场景中采集远程教师的实时三维影像，以及远程教师与TOF摄像头之间的第二距离参数，并将实时三维影像和第二距离参数整合，将整合结果作为远程教师的抠图影像。

优选的，混合现实的远程教学互动***，其中，通信设备为采用4G/5G通讯技术的移动通讯设备。

优选的，混合现实的远程教学互动***，其中，第一教学场景中设有AR显示设备和/或网络路由器，AR显示设备设有通信芯片，通信芯片支持4G/5G通讯、WIFI和/或LIFI；

网络路由器支持有线宽带通讯和/或无线4G/5G通讯。

优选的，混合现实的远程教学互动***，其中，AR显示设备包括手势捕捉单元；

手势捕捉单元，用于捕捉用户的手势动作。

优选的，混合现实的远程教学互动***，其中，手势捕捉单元包括但不限于自然手势识别传感器、数字手套、手柄控制器和/或手表式惯性测量单元。

优选的，混合现实的远程教学互动***，其中，混合现实的远程教学互动***还包括语音交互设备，AR显示设备装有语音交互设备，用于作为AR显示设备与用户的语音交互媒介，或者，在第二教学场景中的远程教师通过语音交互设备进行语音交互。

优选的，混合现实的远程教学互动***，其中，第一教学场景中的语音交互设备和第二教学场景中的语音交互设备，通过通信设备实现互联互通。

本发明还提供一种混合现实的虚实结合教具互动***，其中，至少包括AR显示设备和抠像摄影设备，虚实结合教具互动***根据AR显示设备在第一教学场景中的第一教具触发物，和/或根据抠像摄影设备在第二教学场景中扑捉到的第二教具触发物，触发显示第一教具触发物和/或第二教具触发物相应的虚拟教具、动画或视频。

优选的，混合现实的虚实结合教具互动***，其中，AR显示设备包括第一传感器单元和/或第二传感器单元；

第一传感器单元，用于获取AR显示设备的状态信息，

第二传感器单元，用于获取第一教具触发物和/或第二教具触发物的3D影像和空间相对信息。

优选的，混合现实的虚实结合教具互动***，其中，第一传感器单元至少包括鱼眼摄像头、自由度传感器和惯性测量单元；

鱼眼摄像头，用于识别AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对移动信息；

自由度传感器，用于获取AR显示设备在第一教学场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在第一教学场景内的相对角度信息；

惯性测量单元，用于获取AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对距离信息；

第二传感器单元包括RGB摄像头和TOF摄像头，RGB摄像头，用于获取第一教具触发物和/或第二教具触发物的影像；

TOF摄像头，用于获取第一教学场景的空间信息以及第一教具触发物的空间姿态信息教具触发物。

优选的，混合现实的虚实结合教具互动***，其中，

混合现实的远程教学互动***还包括虚拟教具显示模块和通信设备，

AR显示设备，用于将第一教学场景中的第一教具触发物的抠图影像实时通过通信设备，传输至第二教学场景中的投影/显示器；

抠像摄影设备，用于将至少一处第二教学场景中的第二教具触发物的抠图影像实时通过通信设备，传输至第一教学场景中AR显示设备的视场里；

虚拟教具显示模块，用于根据获取第一教具触发物和/或第二教具触发物触发虚拟教具或虚拟动画片段，供AR显示设备的视场中或投影/显示器中进行显示。

优选的，混合现实的虚实结合教具互动***，其中，

AR显示设备包括至少一台摄像头和/或至少两台TOF摄像头；

抠像摄影设备包括至少一台摄像头和/或至少两台TOF摄像头；

一台摄像头用于在第二教学场景中实时采集第二教具触发物的实时二维影像；

两台TOF摄像头，用于采集第一教具触发物和/或第二教具触发物的实时三维影像，以及第一教具触发物和/或第二教具触发物与TOF摄像头之间的第二距离参数，并将实时三维影像和第二距离参数整合，将整合结果作为第一教具触发物和/或第二教具触发物的抠图影像。

优选的，混合现实的虚实结合教具互动***，其中，通信设备为采用4G/5G通讯技术的移动通信设备。

优选的，混合现实的虚实结合教具互动***，其中，

第一教学场景中设有AR显示设备和/或网络路由器，AR显示设备设有通信芯片，通信芯片支持4G/5G通讯、WIFI和/或LIFI；网络路由器支持有线宽带通讯和/或无线4G/5G通讯。

优选的，混合现实的虚实结合教具互动***，其中，第一教具触发物或第二教具触发物包括实物教具，触发卡片和触发多面体中的任意一个；

实物教具与整个虚拟教具或虚拟教具的一部分类似；

触发卡片设置有一个标记物；

触发多面体的每个面均设置有标记物，

AR显示设备根据标记物显示对应的虚拟教具。

优选的，混合现实的虚实结合教具互动***，其中，虚拟教具显示模块包括第一虚拟教具投影组件和/或第二虚拟教具投影组件；

第一虚拟教具投影组件根据第一教具触发物和/或第二教具触发物的尺寸调整虚拟教具的成像比例，第二虚拟教具投影组件将虚拟教具的预设部件与教具触发物的预设部件重叠设置。

优选的，混合现实的虚实结合教具互动***，其中，AR显示设备包括手势捕捉单元；

手势捕捉单元，用于捕捉用户的手势动作，手势捕捉单元包括但不限于自然手势识别传感器、数字手套、手柄控制器和/或手表式惯性测量单元。

优选的，混合现实的虚实结合教具互动***，其中，在第一教学场景中的教师通过语音指令、眼动指令、头瞄指令或手势指令与AR显示设备的视场里的第一教具触发物或虚拟教具进行互动；或者，

在第二教学场景中的远程教师通过语音指令或手势指令与投影/显示器里的第二教具触发物或虚拟教具进行互动。

优选的，混合现实的虚实结合教具互动***，其中，的混合现实的远程教学互动***还包括云平台，云平台，用于存储第一教具触发物和/或第二教具触发物，根据的混合现实的远程教学互动***的控制，将第一教具触发物投影在第二教学场景中的投影/显示器里，或者，将第二教具触发物显示在第一教学场景中AR显示设备的视场里。

本发明还公开一种混合现实的远程教学互动方法，其中，远程教学互动方法具体包括：

步骤S1，将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中AR显示设备的视场里。

优选的，混合现实的远程教学互动方法，其中，步骤S1包括：

步骤S11，获取AR显示设备的状态信息；和/或

获取教学场景的3D影像和空间相对信息。

优选的，混合现实的远程教学互动方法，其中，步骤S11中的获取AR显示设备的状态信息，包括：

步骤S111，获取AR显示设备在第一教学场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在第一教学场景内的相对角度信息；

步骤S112，获取AR显示设备在第一教学场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在第一教学场景内的相对角度信息；

步骤S113，获取AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对距离信息；

步骤S11中的获取教学场景的3D影像和空间相对信息，包括：

步骤S114，获取第一教学场景的影像以及现场教师的影像；

步骤S115，获取第一教学场景的空间信息以及现场教师的空间信息。

优选的，混合现实的远程教学互动方法，其中，提供一通信设备；

步骤S11还包括：

步骤S116，将至少一处第二教学场景中的远程教师的抠图影像实时通过通信设备，传输至第一教学场景中AR显示设备的视场里。

优选的，混合现实的远程教学互动方法，其中，步骤S116具体包括如下任一步骤：

步骤S1161，在第一教学场景中AR显示设备的视场里，AR显示设备根据现场教师的3D体貌特征，在台上成比例地还原地投影出远程教师的3D体貌影像，且将远程教师的影像设置在现场教师的侧对面，且均侧朝向台下。

步骤S1162，混合现实的远程教学互动***还包括在远程的投影/显示器和在现场的全局摄像机，在第二教学场景中，投影/显示器中AR结合投影/显示：全局摄像机获取的现场教师的影像以及远程的抠像摄影设备获取的远程教师的影像。

步骤S1163，提供至少一台摄像机，通过一台摄像机在第二教学场景中实时采集远程教师的实时二维影像；或者，

提供至少两台TOF摄像头，通过两台TOF摄像头在第二教学场景中采集远程教师的实时三维影像，以及远程教师与TOF摄像头之间的第二距离参数，并将实时三维影像和第二距离参数整合，将整合结果作为远程教师的抠图影像。

优选的，混合现实的远程教学互动方法，其中，步骤S1包括：

步骤S12，捕捉用户的手势动作。

优选的，混合现实的远程教学互动方法，其中，AR显示设备装有语音交互设备；

步骤S1包括：

步骤S13，将语音交互设备作为AR显示设备与用户的语音交互媒介；或，在第二教学场景中的远程教师通过语音交互设备进行语音交互。

优选的，混合现实的远程教学互动方法，其中，步骤S13包括：

步骤S131，第一教学场景中的语音交互设备和第二教学场景中的语音交互设备，通过通信设备实现互联互通。

本发明还提供一种混合现实的虚实结合教具互动方法，其中，虚实结合教具互动方法包括：

步骤S2，根据AR显示设备在第一教学场景中的第一教具触发物，和/或根据抠像摄影设备在第二教学场景中扑捉到的第二教具触发物，触发显示第一教具触发物和/或第二教具触发物相应的虚拟教具、动画或视频。

优选的，混合现实的虚实结合教具互动方法，其中，步骤S2包括：

步骤S21，获取AR显示设备的状态信息；和/或

获取第一教具触发物和/或第二教具触发物的3D影像和空间相对信息。

优选的，混合现实的虚实结合教具互动方法，其中，步骤S21中的获取AR显示设备的状态信息，包括：

步骤S211，识别AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对移动信息；

步骤S212，获取AR显示设备在第一教学场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在第一教学场景内的相对角度信息；

步骤S213，获取AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对距离信息；

步骤S21中的获取第一教具触发物和/或第二教具触发物的3D影像和空间相对信息，包括：

步骤S214，于获取第一教具触发物和/或第二教具触发物的影像；

步骤S215，获取第一教学场景的空间信息以及第一教具触发物的空间姿态信息教具触发物。

优选的，混合现实的虚实结合教具互动方法，其中，步骤S21还包括：

步骤S216，AR显示设备将第一教学场景中的第一教具触发物的抠图影像实时通过通信设备，传输至第二教学场景中的投影/显示器；

步骤S217，抠像摄影设备将至少一处第二教学场景中的第二教具触发物的抠图影像实时通过通信设备，传输至第一教学场景中AR显示设备的视场里；

步骤S218，根据获取第一教具触发物和/或第二教具触发物触发虚拟教具或虚拟动画片段，供AR显示设备的视场中或显示器中进行虚拟显示。

优选的，混合现实的虚实结合教具互动方法，其中，第一教具触发物或第二教具触发物包括实物教具，触发卡片和触发多面体中的任意一个；

实物教具与整个虚拟教具或虚拟教具的一部分类似；

触发卡片设置有一个标记物；

触发多面体的每个面均设置有标记物，

AR显示设备根据标记物显示对应的虚拟教具，步骤S2包括如下任一步骤：

步骤S22，根据第一教具触发物和/或第二教具触发物的尺寸调整虚拟教具的成像比例，第二虚拟教具投影组件将虚拟教具的预设部件与教具触发物的预设部件重叠设置；

步骤S23，捕捉用户的手势动作；

步骤S24，在第一教学场景中的教师通过语音指令、眼动指令、头瞄指令或手势指令与AR显示设备的视场里的第一教具触发物或虚拟教具进行互动；

步骤S25，在第二教学场景中的教师通过语音指令或手势指令与显示器里的第二教具触发物或虚拟教具进行互动。

优选的，混合现实的虚实结合教具互动方法，其中，虚实结合教具互动方法还包括：

步骤S3，云平台存储第一教具触发物和/或第二教具触发物。

优选的，混合现实的虚实结合教具互动方法，其中，步骤S3包括如下任一步骤：

S31，云平台根据控制，将第一教具触发物投影在第二教学场景中的投影/显示器里；

S32，云平台根据控制，将第二教具触发物显示在第一教学场景中AR显示设备的视场里。

上述技术方案具有如下优点或有益效果：

(1)突破了传统教育的空间限制，以实现不同空间的教师和学生进行交互；

(2)将教学、管理、学习、娱乐、分享和互动交流集一体，以满足多维交互体验的实践教学需求；

(3)有效打破师资人力与精力瓶颈，以解决城乡教育资源不均衡问题，从而实现教育精准扶贫。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明混合现实的远程教学互动***的实施例的AR显示设备的原理框图1；

图2为本发明混合现实的远程教学互动***的实施例的第一传感器单元的原理框图；

图3为本发明混合现实的远程教学互动***的实施例的第二传感器单元的原理框图；

图4为本发明混合现实的远程教学互动***的实施例的原理框图1；

图5为本发明混合现实的远程教学互动***的实施例的原理框图2；

图6为本发明混合现实的教具互动***的实施例的原理框图；

图7为本发明混合现实的教具互动***的实施例的现场教师和/或远程教师手持真实的地球模型的示意图；

图8为本发明混合现实的教具互动***的实施例的现场教师和/或远程教师手持触发的虚拟的太阳系模型的示意图；

图9为本发明混合现实的教具互动***的实施例的触发的虚拟的太阳系模型的示意图；

图10为本发明混合现实的远程教学互动方法的流程图；

图11为本发明混合现实的远程教学互动方法的步骤S1的流程图一；

图12为本发明混合现实的远程教学互动方法的步骤S11的流程图一；

图13为本发明混合现实的远程教学互动方法的步骤S11的流程图二；

图14为本发明混合现实的远程教学互动方法的步骤S11的流程图三；

图15为本发明混合现实的远程教学互动方法的步骤S116的流程图；

图16为本发明混合现实的远程教学互动方法的步骤S1的流程图二；

图17为本发明混合现实的远程教学互动方法的步骤S1的流程图三；

图18为本发明混合现实的远程教学互动方法的步骤S13的流程图；

图19为本发明混合现实的虚实结合教具互动方法的流程图；

图20为本发明混合现实的虚实结合教具互动方法的步骤S2的流程图一；

图21为本发明混合现实的虚实结合教具互动方法的步骤S21的流程图一；

图22为本发明混合现实的虚实结合教具互动方法的步骤S21的流程图二；

图23为本发明混合现实的虚实结合教具互动方法的步骤S21的流程图三；

图24为本发明混合现实的虚实结合教具互动方法的步骤S2的流程图二；

图25为本发明混合现实的虚实结合教具互动方法的步骤S3的流程图一；

图26为本发明混合现实的虚实结合教具互动方法的步骤S3的流程图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明包括一种混合现实的远程教学互动***，至少包括一个AR显示设备1，远程教学互动***将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中AR显示设备1的视场里。

在上述实施例中，用户可以佩戴AR显示设备1，其中AR显示设备1可以为AR眼镜或AR头盔，通过上述AR显示设备1可以获取第二教学场景中的远程教师的抠图影像，并将上述抠图影像实时投影在第一教学场景中AR显示设备1的视场里。

在上述实施例中，第二教学场景和第一教学场景之间的距离可以很小也可以很大；

作为优选的实施方式，可以以第二教学场景为远程教学场景，而第一教学场景为本地教学场景为例。

其中，第二教学场景和第一教学场景的距离可以很小，例如第二教学场景可以为学校A的教室a1，第一教学场景可以为学校A的教室a2，并且教室a1是教室a2的隔壁；

其中，第二教学场景和第一教学场景的距离可以很大，例如第二教学场景可以为学校A的教室a1，第一教学场景可以为学校B的教室a2，但是学校A可以在新疆，而学校B可以在北京；

从而实现无论远程教学场景和本地教学场景之间相距多远，都可以实现将第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中AR显示设备1的视场里，进而突破了传统教育的空间限制，以实现不同空间的教师和学生进行交互。

作为优选的实施方式，可以以第二教学场景为远程教学场景，而第一教学场景为本地教学场景为例；

首先通过抠图设备将多个不同的第二教学场景中的远程教师进行图像抠图，以获得每个远程教师的抠图影像；

接着可以通过在第一教学场景中的用户(可以为本地教师和/或本地学生)佩戴AR显示设备1将远程教学场景中的远程教师的抠图影像实时投影到本地教学场景中的已佩戴的AR显示设备1的视场中。从而突破了教育领域的空间限制，使得处于不同的远程教学场景中的各个远程教师通过AR显示设备1投影到本地教学场景中，从而实现各个远程教师和本地教学场景中的学生和/或教师进行交互，即实现了不同空间的教师和学生的交互。

进一步地，在上述实施例中，如图1所示，AR显示设备1包括第一传感器单元2和/或第二传感器单元3；

第一传感器单元2，用于获取AR显示设备1的状态信息；

第二传感器单元3，用于获取教学场景的3D影像和空间相对信息。

在上述实施例中，第一传感器单元2可以获取AR显示设备1的状态信息，上述状态信息包括AR显示设备1的朝向信息、高度信息及空间位置信息，也可以获取到相对于AR显示设备1和与AR显示设备1相对的位置信息及相对距离。

第二传感器单元3可以获取到教学场景的3D影像和空间相对信息，3D影像和空间相对信息包括教学场景的地面、墙面和顶棚的图像信息。

进一步地，在上述实施例中，如图2所示，第一传感器单元2至少包括鱼眼摄像头21、自由度传感器22和惯性测量单元23；

鱼眼摄像头21，用于识别AR显示设备1在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备1与第一教学场景空间内的相对移动信息；

在上述实施例中，第一传感器单元2可以采用鱼眼摄像头21不间断的拍摄第一教学场景内的图像信息，分析比较每一帧的图像信息的特征点，如果判断特征点向左移动，就可以推断为AR显示设备1向右移动，如果判断特征点向右移动，就可以推断为AR显示设备1可能向左移动，向上向下同理，如果判断特征点之间的距离越来越大，可以推断为AR显示设备1向前移动，如果判断距离越来越小，可以推断为AR显示设备1向后移动。

进一步地，作为优选的实施方式，可以在AR显示设备1上设置两个鱼眼摄像头21，即通过双鱼眼摄像头21能够获取超广视野，在双鱼眼摄像头21之后安装有一百万像素的单色传感器，以有效提高了在低照度下捕捉影像的能力，工作时通过双鱼眼摄像头21协同工作，以30FPS速度扫描AR显示设备1的周边环境，并通过三角测量原理计算AR显示设备1与当前的周边环境的距离，其原理与手机双摄像头拍摄虚化背景照片相同，但不同点在于两个双鱼眼摄像头21的间距很大，精度更高，距离信息经处理后变换为空间位置信息，获取映射至一软件***应用里面的某个节点，然后与单色传感器的数据进行融合，节点可以随着AR显示设备1的位置移动而移动，以及节点可以随着AR显示设备1的转动而转动，但是第一教学场景中除节点以外的物体是静止在原地的，因此可以实现当用户佩戴AR显示设备1时，可以在第一教学场景中无障碍行走或自由移动；

其中，上述软件***应用可以是Unity软件(或类似软件)，。

在上述实施例中，自由度传感器22，用于获取AR显示设备1在第一教学场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备1在第一教学场景内的相对角度信息；

惯性测量单元23(IMU，Inertial measurement unit)，用于获取AR显示设备1在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备1与第一教学场景空间内的相对距离信息；

在上述实施例中，AR显示设备1与第一教学场景内的相对距离信息包括：AR显示设备1与第一教学场景的顶壁和地面的相对距离，AR显示设备1与第一教学场景的左、右墙壁的相对距离，AR显示设备1与第一教学场景的前、后墙壁的相对距离。

在上述实施例中，惯性测量单元23是一种通过传感器组合(具体包括加速度计、陀螺仪和磁力计)来测量和报告速度、方向和重力的电子设备。

作为优选的实施方式中，第一传感器单元2的鱼眼摄像头21可以结合惯性测量单元23，其中惯性测量单元23包括陀螺仪、重力、加速度、磁场仪四种传感器，通过特定的算法，就可以得到AR显示设备1的旋转和相对位移，即能够感应设备的前、后、左、右、上、下、前、后的移动。从而通过结合使用鱼眼摄像头21和惯性测量单元23，可以实现用户佩戴AR显示设备1在第一教学场景内自由移动。

如图3所示，第二传感器单元3至少包括RGB摄像头31和TOF摄像头32；

RGB摄像头31，用于获取第一教学场景的影像以及现场教师的影像；

TOF摄像头32，用于获取第一教学场景的空间信息以及现场教师的空间信息。

在上述实施例中，以第二教学场景为远程教学场景为例，并且第二教学场景为一个绿棚环境，可以通过第二传感器单元3获取处于第二教学场景的远程教师的抠图影像；

例如，通过1台RGB摄像机正对上述远程教师，并对远程教师进行成像和抠图；

例如，可以在远程教师的前左侧设置至少一台TOF(Time of Flight，飞行时间)摄像头，用于获取远程教师前左侧的影像，并且在远程教师的前右侧设置至少一台TOF摄像头32，用于获取远程教师前右侧的影像，并且TOF摄像头32获取的影像带有距离参数，并且最优是由3～4台TOF摄像机对上述远程教师的周身进行成像和抠像。

其中，需要说明的是，TOF摄像头32采用一种深度信息测量方案，TOF摄像头32可以由红外光投射器和接收模组构成。投射器向外投射红外光，红外光遇到被测物体(本实施例中指代远程教师)后反射，并被接收模组接收，通过记录红外光从发射到被接收的时间，计算出被照物体深度信息，并完成3D建模，即通过TOF摄像头32可以获取远程教师的3D抠图影像。

进一步地，在上述实施例中，如图4所示，混合现实的远程教学互动***还包括抠像摄影设备4和通信设备5；

抠像摄影设备4，用于将至少一处第二教学场景中的远程教师的抠图影像实时通过通信设备5，传输至第一教学场景中AR显示设备1的视场里。

进一步地，在上述实施例中，在第一教学场景中AR显示设备1的视场里，AR显示设备1根据现场教师的3D体貌特征，在台上成比例地还原地投影出远程教师的3D体貌影像，且将远程教师的影像设置在现场教师的侧对面，且均侧朝向台下。

在上述实施例中，以第一教学场景为本地教学场景和第二教学场景为远程教学场景为例，处于本地教学场景的用户佩戴AR显示设备1，可以看到本地教学场景中的现场教师和现场学生，以及现场教师身边的被投影到本地教学场景中的远程教师；

其中，上述远程教师的成像比例可以根据现场教师的3D体貌特征进行确定，一般按1:1的比例将获取远程教师的抠图影像，再结合用户与现场教师之间的距离调整远程教师的抠图影像的成像大小，随后将远程教师的抠图影像设置在现场教师的侧对面，且均侧朝向台下，可以实现现场学生和远程教师面对面进行交互。

进一步地，在上述实施例中，混合现实的远程教学互动***还包括在远程的投影/显示器，和在现场的全局摄像机，在第二教学场景中，投影/显示器中AR结合投影/显示：全局摄像机获取的现场教师的影像以及远程的抠像摄影设备4获取的远程教师的影像。

进一步地，在上述实施例中，抠像摄影设备4包括至少一台摄像机，一台摄像机用于在第二教学场景中实时采集远程教师的实时二维影像；

或者，抠像摄影设备4包括至少两台TOF摄像头32，两台TOF摄像头32，用于在第二教学场景中采集远程教师的实时三维影像，以及远程教师与TOF摄像头32之间的第二距离参数，并将实时三维影像和第二距离参数整合，将整合结果作为远程教师的抠图影像。

在上述实施例中，抠像摄影设备4包括至少一台摄像机，其中，这台摄像机可以正对远程教师，并对远程教师进行成像和抠图，以实现在第二教学场景中实时采集远程教师的实时二维影像；

抠像摄影设备4包括至少两台TOF摄像头32，其中可以在远程教师的前侧的左边和右边分别设置至少一台TOF摄像头32，两台TOF摄像头32获取前左侧或前右侧远程教师的影像，并且带有远程教师与TOF摄像头32之间的第二距离参数，并将实时三维影像和第二距离参数整合，将整合结果作为远程教师的抠图影像。

进一步地，在上述实施例中，通信设备5为采用4G/5G通讯技术的移动通信设备5。

通过4G/5G通讯技术的移动通信设备5可以更好地实现将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中AR显示设备1的视场里，并减少延迟。

进一步地，在上述实施例中，第一教学场景中设有AR显示设备1和/或网络路由器，AR显示设备1设有通信芯片，通信芯片支持4G/5G通讯、WIFI和/或LIFI(Light Fidelity，可见光无线通信技术)；

网络路由器支持有线宽带通讯和/或无线4G/5G通讯。

通过具有更快通讯速度的通讯技术可以更快更好的将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中AR显示设备1的视场里，并减少延迟。

进一步地，在上述实施例中，如图5所示，AR显示设备1包括手势捕捉单元6；

手势捕捉单元6，用于捕捉用户的手势动作。

进一步地，在上述实施例中，手势捕捉单元6包括但不限于自然手势识别传感器、数字手套、手柄控制器和/或手表式惯性测量单元。

其中，手势捕捉单元6中的AR技术以及手势识别技术，就是用到了三层的空间精确叠加，即基于手势传感器、鱼眼摄像头21、IMU等传感器获取的三维参数，叠加入AR三维展示空间(坐标体系)，以及叠加真实空间(地球坐标体系)，三个空间精确叠加而形成的。其他空间的真实老师或教具，经过(3D)抠图后，也叠加显示在AR三维展示空间中，且显示的位置是指定位置的3D显示，既可以与本地空间的老师互动，又能和台下的学生互动。

进一步地，在上述实施例中，如图5所示，混合现实的远程教学互动***还包括语音交互设备7，AR显示设备1装有语音交互设备7，用于作为AR显示设备1与用户的语音交互媒介，或者，在第二教学场景中的远程教师通过语音交互设备7进行语音交互。

在上述实施例中，可以根据需要启动语音交互设备7，即启动AR显示设备1与用户的语音交互媒介，从而实现任一用户的声音可以同步至其它的AR显示设备1的耳麦中。

例如，即用户(可以为学生)在非测试的环节中，可以就某教具进行提问，语音会被转化成文字，或者语音提问本身，通过AR显示设备1中的语音交互设备7(可以为通信芯片)在网络中进行问题搜索，检索到的答案，可以通过虚拟教师的口中或直接由教具回答给用户听，也可以直接通过AR显示设备1的麦克风传递给用户。

进一步地，在上述实施例中，第一教学场景中的语音交互设备7和第二教学场景中的语音交互设备7，通过通信设备5实现互联互通。

在上述实施例中，处于第一教学场景中的现场教师和/或现场学生可以将语音通过设置在第一教学场景中的语音交互设备7发送给设置在第二教学场景中的语音交互设备7，使得处于第二教学场景中的远程教师可以接收到现场教师和/或现场学生发送的语音，与此同理，处于第一教学场景中的现场教师和/或现场学生可以接收到处于第二教学场景中的远程教师发送的语音。

在上述实施例中，用户可以通过佩戴AR显示设备1(可以为头戴式AR显示设备1，例如AR头盔或AR眼镜)置身于虚实课堂的环境之中，该用户的语音或手势，能够被远程教学互动***所识别，远程教学互动***会根据语音语义或行为手势结果，与虚拟教师或虚拟教具进行互动，触发虚拟教师或虚拟教具的声音和行为的反馈。

在上述实施例总，远程教学互动***可以通过Unity3D引擎发布成对应硬件使用平台例如包括安卓、iOS、PSP等的应用程序，并将其作为内容端，以及设多台AR/VR头戴式显示设备，其中包括教师端和学生端，AR/VR头戴式显示设备实时显示同样的内容，其内容的视角、远近、播放(图形和声效)、暂停或互动等均由教师端来完成。即学生通过AR眼镜的观察自由度是1DOF～3DOF～6DOF，均可以由教师端或服务器端进行设置。

在上述实施例中，可以通过AR显示设备1中的TOF摄像头32、结构光摄像头、激光收发器等测量获取AR显示设备1所在的平面位置，或者，事先训练AI机器视觉传感器，对第一和/或第二教学场景的环境，包括地面的位置进行学习。

还包括一种混合现实的虚实结合教具互动***，其中，至少包括AR显示设备1和抠像摄影设备4，虚实结合教具互动***根据AR显示设备1在第一教学场景中的第一教具触发物，和/或根据抠像摄影设备4在第二教学场景中扑捉到的第二教具触发物，触发显示第一教具触发物和/或第二教具触发物相应的虚拟教具、动画或视频。

在上述实施例中，可以通过AR显示设备1在第一教学场景中的第一教具触发物触发显示第一教具触发物相应的虚拟教具、动画或视频；也可以根据抠像摄影设备4在第二教学场景中扑捉到的第二教具触发物，触发显示第二教具触发物相应的虚拟教具、动画或视频。

例如虚拟教具可以为虚拟恐龙模型、虚拟几何形状块、虚拟植物、虚拟地球(仪)、虚拟太阳系模型等等。

例如，第一和/或第二教具触发物可以为恐龙玩具，那与第一和/或第二教具触发物对应的虚拟动画或视频可以为与恐龙相关的学习动画/视频。

在上述实施例中，可以将真实的第一和/或第二教具触发物结合虚拟的虚拟教具、动画或视频实现虚实结合教学，从而将教学、管理、学习、娱乐、分享和互动交流集一体，以满足多维交互体验的实践教学需求。

进一步地，在上述实施例中，AR显示设备1包括第一传感器单元2和/或第二传感器单元3；

第一传感器单元2，用于获取AR显示设备1的状态信息，

第二传感器单元3，用于获取第一教具触发物和/或第二教具触发物的3D影像和空间相对信息。

在上述实施例中，第一传感器单元2可以获取AR显示设备1的状态信息，上述状态信息包括AR显示设备1的朝向信息、高度信息及空间位置信息，也可以获取到相对于AR显示设备1和与AR显示设备1相对的位置信息及相对距离。

第二传感器单元3可以获取到第一教具触发物和/或第二教具触发物的朝向状态、高度状态、空间位置状态等。

进一步地，在上述实施例中，第一传感器单元2至少包括鱼眼摄像头21、自由度传感器22和惯性测量单元23；

鱼眼摄像头21，用于识别AR显示设备1在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备1与第一教学场景空间内的相对移动信息；

在上述实施例中，第一传感器单元2可以采用鱼眼摄像头21不间断的拍摄第一教学场景内的图像信息，分析比较每一帧的图像信息的特征点，如果判断特征点向左移动，就可以推断为AR显示设备1向右移动，如果判断特征点向右移动，就可以推断为AR显示设备1可能向左移动，向上向下同理，如果判断特征点之间的距离越来越大，可以推断为AR显示设备1向前移动，如果判断距离越来越小，可以推断为AR显示设备1向后移动。

进一步地，作为优选的实施方式，可以在AR显示设备1上设置两个鱼眼摄像头21，即通过双鱼眼摄像头21能够获取超广视野，在双鱼眼摄像头21之后安装有一百万像素的单色传感器，以有效提高了在低照度下捕捉影像的能力，工作时通过双鱼眼摄像头21协同工作，以30FPS速度扫描AR显示设备1的周边环境，并通过三角测量原理计算AR显示设备1与当前景物的距离，其原理与手机双摄像头拍摄虚化背景照片相同，但不同点在于两个双鱼眼摄像头21的间距很大，精度更高，距离信息经处理后变换为空间位置信息，获取映射至软件***应用里面的某个节点，例如，软件***应用可以是Unity软件(或类似软件)，然后与单色传感器的数据进行融合，节点能随着AR显示设备1的位置移动而移动，以及节点可以随着AR显示设备1的转动而转动，但是在第一教学场景中的节点以外的物体可以静止在原地，从而可以实现用户佩戴AR显示设备1在第一教学场景中自由行走或自由移动。

自由度传感器22，用于获取AR显示设备1在第一教学场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备1在第一教学场景内的相对角度信息；

惯性测量单元23，用于获取AR显示设备1在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备1与第一教学场景空间内的相对距离信息；

在上述实施例中，惯性测量单元23是一种通过传感器组合(具体包括加速度计、陀螺仪和磁力计)来测量和报告速度、方向和重力的电子设备。

作为优选的实施方式中，第一传感器单元2的鱼眼摄像头21可以结合惯性测量单元23，其中惯性测量单元23包括陀螺仪、重力、加速度、磁场仪四种传感器，通过特定的算法，就可以得到AR显示设备1的旋转和相对位移，即能够感应设备的前、后、左、右、上、下、前、后的移动。从而通过结合使用鱼眼摄像头21和惯性测量单元23，可以实现用户佩戴AR显示设备1在第一教学场景内自由移动。

第二传感器单元3包括RGB摄像头31和TOF摄像头32，RGB摄像头31，用于获取第一教具触发物和/或第二教具触发物的影像；

TOF摄像头32，用于获取第一教学场景的空间信息以及第一教具触发物的空间姿态信息教具触发物。

第二传感器单元3可以获取第一教具触发物的空间姿态信息，上述第一教具触发物的空间姿态信息包括第一教具触发物在空间中的几何状态。

进一步地，在上述实施例中，如图6所示，混合现实的远程教学互动***还包括虚拟教具显示模块8和通信设备5，

AR显示设备1，用于将第一教学场景中的第一教具触发物的抠图影像实时通过通信设备5，传输至第二教学场景中的投影/显示器；

抠像摄影设备4，用于将至少一处第二教学场景中的第二教具触发物的抠图影像实时通过通信设备5，传输至第一教学场景中AR显示设备1的视场里；

虚拟教具显示模块8，用于根据获取第一教具触发物和/或第二教具触发物触发虚拟教具或虚拟动画片段，供AR显示设备1的视场中或投影/显示器中进行显示。

在上述实施例中，在虚实结合教具互动***中可以根据第一教具触发物添加对应的虚拟教具、动画或视频；

远端的远程教师可以根据虚拟教具显示模块8识别到佩戴AR显示设备1的用户的AR显示设备1的视场(第一视角)中的由第一教具触发物和/或第二教具触发物相应的虚拟教具、动画或视频，并通过AR显示设备1将上述虚拟教具、动画或视频传输至第二教学场景中的投影/显示器，以及通过抠像摄影设备4将至少一处第二教学场景中的第二教具触发物的抠图影像实时通过通信设备5，传输至第一教学场景中AR显示设备1的视场里，使得处于第二教学场景中的远程教师，就可以向处于第一教学场景中的学生讲解该虚拟教具、动画或视频，其中虚实结合教具互动***可以复制同样的虚拟教具、动画或视频给处于第一场景中的现场教师，使得现场教师也可以借助包括有含手势识别器的AR显示设备1，对虚拟教具、动画或视频(其中，可以“拿着”虚拟虚拟教具)进行讲解；同样地，***可以将教师端(第三视角下)的真实背景、真实人和虚拟物体的影像，投射给用户的的AR显示设备1的视场中。

进一步地，在上述实施例中，AR显示设备1包括至少一台摄像头和/或至少两台TOF摄像头32；

抠像摄影设备4包括至少一台摄像头和/或至少两台TOF摄像头32；

一台摄像头用于在第二教学场景中实时采集第二教具触发物的实时二维影像；

两台TOF摄像头32，用于采集第一教具触发物和/或第二教具触发物的实时三维影像，以及第一教具触发物和/或第二教具触发物与TOF摄像头32之间的第二距离参数，并将实时三维影像和第二距离参数整合，将整合结果作为第一教具触发物和/或第二教具触发物的抠图影像。

在上述实施例中，以第二教学场景为远程教学场景为例，并且第二教学场景为一个绿棚环境，可以通过AR显示设备1和/或抠像摄影设备4获取第一教具触发物和/或第二教具触发物的实时三维影像；

例如，通过1台RGB摄像机正对上述第一教具触发物和/或第二教具触发物，并对第一教具触发物和/或第二教具触发物进行成像和抠图；

例如，可以在第一教具触发物和/或第二教具触发物的前左侧设置至少一台TOF摄像头32，用于获取第一教具触发物和/或第二教具触发物前左侧的影像，并且在第一教具触发物和/或第二教具触发物的前右侧设置至少一台TOF摄像头32，用于获取第一教具触发物和/或第二教具触发物前右侧的影像，并且TOF摄像头32获取的影像带有距离参数，并且最优是由3～4台TOF摄像机对上述第一教具触发物和/或第二教具触发物的周身进行成像和抠像。

进一步地，在上述实施例中，通信设备5为采用4G/5G通讯技术的移动通信设备5。

进一步地，在上述实施例中，第一教学场景中设有AR显示设备1和/或网络路由器，AR显示设备1设有通信芯片，通信芯片支持4G/5G通讯、WIFI和/或LIFI；网络路由器支持有线宽带通讯和/或无线4G/5G通讯。

进一步地，在上述实施例中，第一教具触发物或第二教具触发物包括实物教具，触发卡片和触发多面体中的任意一个；

实物教具与整个虚拟教具或虚拟教具的一部分类似；

触发卡片设置有一个标记物；

触发多面体的每个面均设置有标记物；

AR显示设备1根据标记物显示对应的虚拟教具。

作为优选的实施方式，如图7-9所示，第一教具触发物或第二教具触发物包括实物教具，例如，实物教具可以为太阳系中的一个星球模型，在此以真实的地球模型E1为例，并且真实的地球模型E1(显示大小可以设置)可以触发虚拟的太阳系模型，其中，虚拟的太阳系模型(显示大小可以设置)中包括虚拟的地球模型E2，当触发显示真实的地球模型E1相应的虚拟的太阳系模型时，虚拟的太阳系模型中的虚拟的地球模型E2正好覆盖真实的地球模型E1，从而实现基于真实的地球模型E1展开虚拟的太阳系模型的视觉效果，使得虚实结合更加紧密。

作为优选的实施方式，第一教具触发物或第二教具触发物包括触发卡片，例如，触发卡片上设置有恐龙、蔬菜和小动物等绘画对象，并且每张触发卡片上均设置有一个标记物，其中，AR显示设备1直视整张触发卡片时，即AR显示设备1观察到标记物时可以根据标记物显示与恐龙卡片对应的虚拟恐龙，上述虚拟恐龙可以设置在真实的触发卡片的上方，给用户跃然纸上的视觉效果，增强虚拟结合的趣味性，从而提升用户的学习兴趣。

作为优选的实施方式，第一教具触发物或第二教具触发物包括触发多面体，触发多面体的每个面均设置有标记物，只要一个标记物被AR显示设备1捕捉到就可以触发显示由触发多面体触发的虚拟教具，从而避免用户的移动而导致的触发的虚拟教具消失。

进一步地，在上述实施例中，虚拟教具显示模块8包括第一虚拟教具投影组件和/或第二虚拟教具投影组件；

第一虚拟教具投影组件根据第一教具触发物和/或第二教具触发物的尺寸调整虚拟教具的成像比例，第二虚拟教具投影组件将虚拟教具的预设部件与教具触发物的预设部件重叠设置。

作为优选的实施方式中，第一教具触发物或第二教具触发物包括可以为太阳系中的地球模型，AR显示设备1中的触发摄像头可以AI智能识别到真实的地球模型E1对应触发的虚拟对象为虚拟的太阳系模型，第二虚拟教具投影组件将虚拟的太阳系模型中的虚拟的地球模型E2覆盖真实的地球模型E1，并且第一虚拟教具投影组件根据真实的地球模型E1的尺寸调整虚拟的太阳系模型的成像比例，使得虚拟的太阳系模型中的虚拟的地球模型E2的成像尺寸接近于真实的地球模型E1的尺寸，从而实现基于真实的地球模型E1展开虚拟的太阳系模型的视觉效果，使得虚实结合更加紧密。

进一步地，在上述实施例中，AR显示设备1包括手势捕捉单元6；

手势捕捉单元6，用于捕捉用户的手势动作，手势捕捉单元6包括但不限于自然手势识别传感器、数字手套、手柄控制器和/或手表式惯性测量单元。

在上述实施例中，采用一三维图像引擎搭建一个3D的虚拟场景空间，并在虚拟场景空间创建某3D虚拟教师、虚拟同学以及虚拟玩具；其中，上述三维图像引擎可以为Unity3D引擎；

手势捕捉单元6可以为自然手势识别传感器(Leap Motion)，Leap Motion提供的识别手势(空间参数)的功能函数模块，并在三维图像引擎构建的虚拟场景空间中加入手模型(包括手部和手臂)。并根据Leap Motion的驱动以及硬件设备支持捕捉到的手势动作，并将捕捉到的手势动作通过用于识别手势(空间参数)的功能函数模块进行运算以检测得到捕捉到的手势动作的手势信息参数，使得Leap Motion中的功能函数模块能够把手势信息参数传递到三维图像引擎，并映射这些手势信息参数到手模型上，即可实现将真实的手模拟成虚拟手，并呈现到AR显示设备1的视场中。

具体的，将手势形状映射到手模型具体包括：三维图像引擎将手势信息参数进行分析计算，得到一些特定的手势形状，并将手势形状映射到手模型上，手势形状可以包括“捏或握”，手势传感器分析得到“捏或握”动作的开始和结束。开始和结束时依照食指和拇指指尖的距离进行设定。当两者之间的距离小于某个阈值即为进入“捏或握”的状态，大于某个阈值，即为离开“捏或握”的状态。

进一步地，在能够识别“捏或握”动作之后，在其中加入交互，例如“捏或握”住一个虚拟物体，该原理是在虚拟手指捏或握住的位置创建一个可以用于触发的小球，小球的角度会随虚拟手的旋转而转动，当虚拟手指捏或握住虚拟物体时，即该虚拟物体的触发器与小球接触或相交，一般虚拟物体的触发器被设定在物体的表面上，然后将物体与小球的位置和角度进行锁定，相当于将物体“挂”在小球上，这样虚拟手模型移动和旋转也会带着虚拟物体移动和旋转，从而实现抓取的功能。

其中，可以进行指向判断，即判断用户的食指指尖与虚拟物的空间位置关系，当判断指尖接触或者指尖指入，都算是选中。

进一步地，在上述实施例中，在第一教学场景中的教师通过语音指令、眼动指令、头瞄指令或手势指令与AR显示设备1的视场里的第一教具触发物或虚拟教具进行互动；或者，

在第二教学场景中的远程教师通过语音指令或手势指令与投影/显示器里的第二教具触发物或虚拟教具进行互动。

进一步地，在上述实施例中，的混合现实的远程教学互动***还包括云平台，云平台，用于存储第一教具触发物和/或第二教具触发物，根据的混合现实的远程教学互动***的控制，将第一教具触发物投影在第二教学场景中的投影/显示器里，或者，将第二教具触发物显示在第一教学场景中AR显示设备1的视场里。

上述技术方案中，优选的的硬件条件要求包括：

(1)NVIDIA独显小型PC(可以在信息计算中心设置一台PC)机，并支持4G/5G频段WIFI路由器(可以在每个第二教学场景和第二教学场景各设1台上述路由器)，和多台AR显示设备1；

其中，第一和第二视角分别设置有至少2台AR显示设备1，第三视角设置有至少3台AR显示设备1(教师端设置有至少2台AR显示设备1，其中一台AR显示设备1作为教师自己使用，另一台AR显示设备1用于获取虚实结合图像上传给***)；

(2)PC机与本地路由器有线连接；

(3)每台路由器与当地多台AR显示设备1无线连接。

其中，PC机相当于服务(SEVER)端，也可以有云服务器来承担，充当***中心的角色，承担内容展示调度的作用，其中第一教学场景和/或第二教学场景中的教师不一定是整个课程的主导教师，也可以作为背景投射到AR显示设备1的视场中；一台AR显示设备1作为教师端并配备操作手柄，其他AR显示设备1作为学生端同步观看由教师端控制的由内容端播放的虚拟教学演示内容，支持互动。并且学生端有多人的，可以给每个学生端配备AR显示设备1，例如AR眼镜，但并不要求所有处于学生端的用户在同一空间中。

还包括一种混合现实的远程教学互动方法，如图10所示，远程教学互动方法具体包括：

步骤S1，将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中AR显示设备的视场里。

在上述实施例中，通过将将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中AR显示设备的视场里，从而突破了传统教育的空间限制，以实现不同空间的教师和学生进行交互。

进一步地，在上述实施例中，如图11所示，步骤S1包括：

步骤S11，获取AR显示设备的状态信息；和/或

获取教学场景的3D影像和空间相对信息。

在上述实施例中，步骤S11可以获取AR显示设备的状态信息，上述状态信息包括AR显示设备的朝向信息、高度信息及空间位置信息，也可以获取到相对于AR显示设备和与AR显示设备相对的位置信息及相对距离。

步骤S11还可以获取到教学场景的3D影像和空间相对信息，3D影像和空间相对信息包括教学场景的地面、墙面和顶棚的图像信息。

进一步地，在上述实施例中，如图12所示，步骤S11中的获取AR显示设备的状态信息，包括：

步骤S111，通过鱼眼摄像头识别AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对移动信息；

步骤S112，通过自由度传感器获取AR显示设备在第一教学场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在第一教学场景内的相对角度信息；

步骤S113，通过惯性测量单元获取AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对距离信息；

在上述实施例中，步骤S113中的AR显示设备与第一教学场景内的相对距离信息包括：AR显示设备与第一教学场景的顶壁和地面的相对距离，AR显示设备与第一教学场景的左、右墙壁的相对距离，AR显示设备与第一教学场景的前、后墙壁的相对距离。

步骤S11中的获取教学场景的3D影像和空间相对信息，如图13所示，包括：

步骤S114，获取第一教学场景的影像以及现场教师的影像；

步骤S115，获取第一教学场景的空间信息以及现场教师的空间信息。

在上述实施例中，在步骤S114中，可以通过RGB摄像头获取第一教学场景的影像以及现场教师的二维影像；

在步骤S115中，可以通过至少2台TOF摄像头获取第一教学场景的空间信息以及现场教师的空间信息。

进一步地，在上述实施例中，提供一通信设备；

如图14所示，步骤S11还包括：

步骤S116，将至少一处第二教学场景中的远程教师的抠图影像实时通过通信设备，传输至第一教学场景中AR显示设备的视场里。

进一步地，在上述实施例中，如图15所示，步骤S116具体包括如下任一步骤：

步骤S1161，在第一教学场景中AR显示设备的视场里，AR显示设备根据现场教师的3D体貌特征，在台上成比例地还原地投影出远程教师的3D体貌影像，且将远程教师的影像设置在现场教师的侧对面，且均侧朝向台下；

作为优选的实施方式，在步骤S1161中，可以根据现场教师的3D体貌特征确定上述远程教师的成像比例，一般按1:1的比例将获取远程教师的抠图影像，再结合用户与现场教师之间的距离调整远程教师的抠图影像的成像大小，随后将远程教师的抠图影像设置在现场教师的侧对面，且均侧朝向台下，可以实现现场学生和远程教师面对面进行交互。

步骤S1162，混合现实的远程教学互动***还包括在远程的投影/显示器和在现场的全局摄像机，在第二教学场景中，投影/显示器中AR结合投影/显示：全局摄像机获取的现场教师的影像以及远程的抠像摄影设备获取的远程教师的影像；

步骤S1163，提供至少一台摄像机，通过一台摄像机在第二教学场景中实时采集远程教师的实时二维影像；或者，

提供至少两台TOF摄像头，通过两台TOF摄像头在第二教学场景中采集远程教师的实时三维影像，以及远程教师与TOF摄像头之间的第二距离参数，并将实时三维影像和第二距离参数整合，将整合结果作为远程教师的抠图影像。

在上述实施例中，在步骤S1163中的至少一台摄像机可以正对远程教师，并对远程教师进行成像和抠图，以实现在第二教学场景中实时采集远程教师的实时二维影像；

在步骤S1163中的至少两台TOF摄像头，其中可以在远程教师的前侧的左边和右边分别设置至少一台TOF摄像头，两台TOF摄像头获取前左侧或前右侧远程教师的影像，并且带有远程教师与TOF摄像头之间的第二距离参数，并将实时三维影像和第二距离参数整合，将整合结果作为远程教师的抠图影像。

进一步地，在上述实施例中，如图16所示，步骤S1包括：

步骤S12，捕捉用户的手势动作。

进一步地，在上述实施例中，如图17所示，AR显示设备装有语音交互设备；

步骤S1包括：

步骤S13，将语音交互设备作为AR显示设备与用户的语音交互媒介；或

在第二教学场景中的远程教师通过语音交互设备进行语音交互。

在上述实施例中，通过语音交互设备作为AR显示设备与用户的语音交互媒介，即启动AR显示设备与用户的语音交互媒介，从而实现任一用户的声音可以同步至其它的AR显示设备的耳麦中。

并且处于第二教学场景中的远程教师也可以通过上述语音交互设备和处于第一教学场景中的现场教师和/或现场学生进行语音交互，

进一步地，在上述实施例中，如图18所示，步骤S13包括：

步骤S131，第一教学场景中的语音交互设备和第二教学场景中的语音交互设备，通过通信设备实现互联互通。

在上述实施例中，处于第一教学场景中的现场教师和/或现场学生可以将语音通过设置在第一教学场景中的语音交互设备发送给设置在第二教学场景中的语音交互设备，使得处于第二教学场景中的远程教师可以接收到现场教师和/或现场学生发送的语音，与此同理，处于第一教学场景中的现场教师和/或现场学生可以接收到处于第二教学场景中的远程教师发送的语音。

还包括一种混合现实的虚实结合教具互动方法，如图19所示，虚实结合教具互动方法包括：

步骤S2，根据AR显示设备在第一教学场景中的第一教具触发物，和/或根据抠像摄影设备在第二教学场景中扑捉到的第二教具触发物，触发显示第一教具触发物和/或第二教具触发物相应的虚拟教具、动画或视频。

在上述实施例中，在步骤S2中可以通过AR显示设备在第一教学场景中的第一教具触发物触发显示第一教具触发物相应的虚拟教具、动画或视频；也可以根据抠像摄影设备在第二教学场景中扑捉到的第二教具触发物，触发显示第二教具触发物相应的虚拟教具、动画或视频。

例如虚拟教具可以为虚拟恐龙模型、虚拟几何形状块、虚拟植物、虚拟地球(仪)、虚拟太阳系模型等等。

例如，第一和/或第二教具触发物可以为恐龙玩具，那与第一和/或第二教具触发物对应的虚拟动画或视频可以为与恐龙相关的学习动画/视频。

在上述实施例中，可以将真实的第一和/或第二教具触发物结合虚拟的虚拟教具、动画或视频实现虚实结合教学，从而将教学、管理、学习、娱乐、分享和互动交流集一体，以满足多维交互体验的实践教学需求。

进一步地，在上述实施例中，如图20所示，步骤S2包括：

步骤S21，获取AR显示设备的状态信息；和/或

获取第一教具触发物和/或第二教具触发物的3D影像和空间相对信息。

在上述实施例中，步骤S21中的状态信息包括AR显示设备的朝向信息、高度信息及空间位置信息，也可以获取到相对于AR显示设备和与AR显示设备相对的位置信息及相对距离。

步骤S21中的空间相对信息包括第一教具触发物和/或第二教具触发物的朝向状态、高度状态、空间位置状态等。

进一步地，在上述实施例中，如图21所示，步骤S21中的获取AR显示设备的状态信息，包括：

步骤S211，通过鱼眼摄像头识别AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对移动信息；

步骤S212，通过自由度传感器获取AR显示设备在第一教学场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在第一教学场景内的相对角度信息；

步骤S213，通过惯性测量单元获取AR显示设备在第一教学场景内的移动距离，并根据移动距离计算得到AR显示设备与第一教学场景空间内的相对距离信息；

作为优选的实施方式中，鱼眼摄像头可以结合惯性测量单元，其中惯性测量单元包括陀螺仪、重力、加速度、磁场仪四种传感器，通过特定的算法，就可以得到AR显示设备的旋转和相对位移，即能够感应设备的前、后、左、右、上、下、前、后的移动。从而通过结合使用鱼眼摄像头和惯性测量单元，可以实现用户佩戴AR显示设备在第一教学场景内自由移动。

步骤S21中的获取第一教具触发物和/或第二教具触发物的3D影像和空间相对信息，如图22所示，包括：

步骤S214，采用RGB摄像头获取第一教具触发物和/或第二教具触发物的影像；

步骤S215，采用TOF摄像头获取第一教学场景的空间信息以及第一教具触发物的空间姿态信息。

上述第一教具触发物的空间姿态信息包括第一教具触发物在空间中的几何状态。

进一步地，在上述实施例中，如图23所示，步骤S21还包括：

步骤S216，AR显示设备将第一教学场景中的第一教具触发物的抠图影像实时通过通信设备，传输至第二教学场景中的投影/显示器；

步骤S217，抠像摄影设备将至少一处第二教学场景中的第二教具触发物的抠图影像实时通过通信设备，传输至第一教学场景中AR显示设备的视场里；

步骤S218，根据获取第一教具触发物和/或第二教具触发物触发虚拟教具或虚拟动画片段，供AR显示设备的视场中或显示器中进行虚拟显示。

在上述实施例中，可以根据第一教具触发物添加对应的虚拟教具、动画或视频；

远端的远程教师可以根据虚拟教具显示模块识别到佩戴AR显示设备的用户的AR显示设备的视场(第一视角)中的由第一教具触发物和/或第二教具触发物相应的虚拟教具、动画或视频，并通过AR显示设备将上述虚拟教具、动画或视频传输至第二教学场景中的投影/显示器，以及通过抠像摄影设备将至少一处第二教学场景中的第二教具触发物的抠图影像实时通过通信设备，传输至第一教学场景中AR显示设备的视场里，使得处于第二教学场景中的远程教师，就可以向处于第一教学场景中的学生讲解该虚拟教具、动画或视频，其中虚实结合教具互动***可以复制同样的虚拟教具、动画或视频给处于第一场景中的现场教师，使得现场教师也可以借助包括有含手势识别器的AR显示设备，对虚拟教具、动画或视频(其中，可以“拿着”虚拟教具)进行讲解；同样地，***可以将教师端(第三视角下)的真实背景、真实人和虚拟物体的影像，投射给用户的AR显示设备的视场中或显示器中进行虚拟显示。

进一步地，在上述实施例中，第一教具触发物或第二教具触发物包括实物教具，触发卡片和触发多面体中的任意一个；

实物教具与整个虚拟教具或虚拟教具的一部分类似；

触发卡片设置有一个标记物；

触发多面体的每个面均设置有标记物；

AR显示设备根据标记物显示对应的虚拟教具，如图24所示，步骤S2包括如下任一步骤：

步骤S22，根据第一教具触发物和/或第二教具触发物的尺寸调整虚拟教具的成像比例，第二虚拟教具投影组件将虚拟教具的预设部件与教具触发物的预设部件重叠设置；

步骤S23，捕捉用户的手势动作；

步骤S24，在第一教学场景中的教师通过语音指令、眼动指令、头瞄指令或手势指令与AR显示设备的视场里的第一教具触发物或虚拟教具进行互动；

步骤S25，在第二教学场景中的教师通过语音指令或手势指令与显示器里的第二教具触发物或虚拟教具进行互动。

作为优选的实施方式，第一教具触发物或第二教具触发物包括实物教具，例如，实物教具可以为太阳系中的一个星球模型，在此以真实的地球模型为例，并且地球模型可以触发虚拟的太阳系模型，其中，虚拟的太阳系模型中包括虚拟的地球模型，当触发显示真实的地球模型相应的虚拟的太阳系模型时，虚拟的太阳系模型中的虚拟地球的虚拟模型正好覆盖真实的地球模型，从而实现基于真实的地球模型展开虚拟的太阳系模型的视觉效果，使得虚实结合更加紧密。

作为优选的实施方式，第一教具触发物或第二教具触发物包括触发卡片，例如，触发卡片上设置有恐龙、蔬菜和小动物等绘画对象，并且每张触发卡片上均设置有一个标记物，其中，AR显示设备直视整张触发卡片时，即AR显示设备观察到标记物时可以根据标记物显示与恐龙卡片对应的虚拟恐龙，上述虚拟恐龙可以设置在真实的触发卡片的上方，给用户跃然纸上的视觉效果，增强虚拟结合的趣味性，从而提升用户的学习兴趣。

作为优选的实施方式，第一教具触发物或第二教具触发物包括触发多面体，触发多面体的每个面均设置有标记物，只要一个标记物被AR显示设备捕捉到就可以触发显示由触发多面体触发的虚拟教具，从而避免用户的移动而导致的触发的虚拟教具消失。

进一步地，在上述实施例中，虚实结合教具互动方法还包括：

如图25所示，步骤S3，云平台存储第一教具触发物和/或第二教具触发物。

进一步地，在上述实施例中，如图26所示，步骤S3包括如下任一步骤：

S31，云平台根据控制，将第一教具触发物投影在第二教学场景中的投影/显示器里；

S32，云平台根据控制，将第二教具触发物显示在第一教学场景中AR显示设备的视场里。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (40)

1.一种混合现实的远程教学互动***，其特征在于，至少包括一个AR显示设备，所述远程教学互动***将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中所述AR显示设备的视场里。

2.如权利要求1所述的混合现实的远程教学互动***，其特征在于，所述AR显示设备包括第一传感器单元和/或第二传感器单元；

所述第一传感器单元，用于获取所述AR显示设备的状态信息；

所述第二传感器单元，用于获取教学场景的3D影像和空间相对信息。

3.如权利要求2所述的混合现实的远程教学互动***，其特征在于，所述第一传感器单元至少包括鱼眼摄像头、自由度传感器和惯性测量单元；

所述鱼眼摄像头，用于识别所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对移动信息；

所述自由度传感器，用于获取所述AR显示设备在所述第一教学场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在所述第一教学场景内的相对角度信息；

所述惯性测量单元，用于获取所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对距离信息；

所述第二传感器单元至少包括RGB摄像头和TOF摄像头；

所述RGB摄像头，用于获取所述第一教学场景的影像以及现场教师的影像；

所述TOF摄像头，用于获取所述第一教学场景的空间信息以及所述现场教师的空间信息。

4.如权利要求2或3所述的混合现实的远程教学互动***，其特征在于，所述混合现实的远程教学互动***还包括抠像摄影设备和通信设备；

所述抠像摄影设备，用于将至少一处所述第二教学场景中的所述远程教师的抠图影像实时通过所述通信设备，传输至第一教学场景中所述AR显示设备的视场里。

5.如权利要求4所述的混合现实的远程教学互动***，其特征在于，

在所述第一教学场景中所述AR显示设备的视场里，所述AR显示设备根据所述现场教师的3D体貌特征，在台上成比例地还原地投影出所述远程教师的3D体貌影像，且将所述远程教师的影像设置在所述现场教师的侧对面，且均侧朝向台下。

6.如权利要求4所述的混合现实的远程教学互动***，其特征在于，

所述混合现实的远程教学互动***还包括在远程的投影/显示器，和在现场的全局摄像机，在所述第二教学场景中，所述投影/显示器中AR结合投影/显示：全局摄像机获取的所述现场教师的影像以及远程的所述抠像摄影设备获取的所述远程教师的影像。

7.如权利要求4所述的混合现实的远程教学互动***，其特征在于，所述抠像摄影设备包括至少一台摄像机，一台所述摄像机用于在所述第二教学场景中实时采集所述远程教师的实时二维影像；

或者，所述抠像摄影设备包括至少两台TOF摄像头，两台所述TOF摄像头，用于在所述第二教学场景中采集所述远程教师的实时三维影像，以及所述远程教师与所述TOF摄像头之间的第二距离参数，并将所述实时三维影像和所述第二距离参数整合，将整合结果作为所述远程教师的抠图影像。

8.如权利要求4所述的混合现实的远程教学互动***，其特征在于，所述通信设备为采用4G/5G通讯技术的移动通讯设备。

9.如权利要求8所述的混合现实的远程教学互动***，其特征在于，所述第一教学场景中设有所述AR显示设备和/或网络路由器，所述AR显示设备设有通信芯片，所述通信芯片支持4G/5G通讯、WIFI和/或LIFI；

所述网络路由器支持有线宽带通讯和/或无线4G/5G通讯。

10.如权利要求1所述的混合现实的远程教学互动***，其特征在于，所述AR显示设备包括手势捕捉单元；

所述手势捕捉单元，用于捕捉用户的手势动作。

11.如权利要求10所述的混合现实的远程教学互动***，其特征在于，所述手势捕捉单元包括但不限于自然手势识别传感器、数字手套、手柄控制器和/或手表式惯性测量单元。

12.如权利要求1所述的混合现实的远程教学互动***，其特征在于，

所述混合现实的远程教学互动***还包括语音交互设备，所述AR显示设备装有所述语音交互设备，用于作为所述AR显示设备与用户的语音交互媒介，或者，在第二教学场景中的远程教师通过所述语音交互设备进行语音交互。

13.如权利要求12所述的混合现实的远程教学互动***，其特征在于，所述第一教学场景中的所述语音交互设备和所述第二教学场景中的所述语音交互设备，通过通讯设备实现互联互通。

14.一种混合现实的虚实结合教具互动***，其特征在于，至少包括AR显示设备和抠像摄影设备，所述虚实结合教具互动***根据所述AR显示设备在第一教学场景中的第一教具触发物，和/或根据抠像摄影设备在第二教学场景中扑捉到的第二教具触发物，触发显示所述第一教具触发物和/或所述第二教具触发物相应的虚拟教具、动画或视频。

15.如权利要求14所述的混合现实的虚实结合教具互动***，其特征在于，所述AR显示设备包括第一传感器单元和/或第二传感器单元；

所述第一传感器单元，用于获取所述AR显示设备的状态信息，

所述第二传感器单元，用于获取所述第一教具触发物和/或所述第二教具触发物的3D影像和空间相对信息。

16.如权利要求15所述的混合现实的虚实结合教具互动***，其特征在于，所述第一传感器单元至少包括鱼眼摄像头、自由度传感器和惯性测量单元；

鱼眼摄像头，用于识别所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对移动信息；

所述自由度传感器，用于获取所述AR显示设备在所述第一教学场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在所述第一教学场景内的相对角度信息；

所述惯性测量单元，用于获取所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对距离信息；

所述第二传感器单元包括RGB摄像头和TOF摄像头，所述RGB摄像头，用于获取所述第一教具触发物和/或所述第二教具触发物的影像；

所述TOF摄像头，用于获取所述第一教学场景的空间信息以及所述第一教具触发物的空间姿态信息教具触发物。

17.根据权利要求15或16所述的混合现实的虚实结合教具互动***，其特征在于，

所述混合现实的远程教学互动***还包括虚拟教具显示模块和通信设备，

所述AR显示设备，用于将所述第一教学场景中的所述第一教具触发物的抠图影像实时通过所述通信设备，传输至所述第二教学场景中的投影/显示器；

所述抠像摄影设备，用于将至少一处所述第二教学场景中的所述第二教具触发物的抠图影像实时通过所述通信设备，传输至所述第一教学场景中所述AR显示设备的视场里；

所述虚拟教具显示模块，用于根据获取所述第一教具触发物和/或所述第二教具触发物触发虚拟教具或虚拟动画片段，供所述AR显示设备的视场中或投影/显示器中进行显示。

18.根据权利要求17所述的混合现实的虚实结合教具互动***，其特征在于，

所述AR显示设备包括至少一台摄像头和/或至少两台TOF摄像头；

所述抠像摄影设备包括至少一台摄像头和/或至少两台TOF摄像头；

一台所述摄像头用于在所述第二教学场景中实时采集所述第二教具触发物的实时二维影像；

两台所述TOF摄像头，用于采集所述第一教具触发物和/或所述第二教具触发物的实时三维影像，以及所述第一教具触发物和/或所述第二教具触发物与所述TOF摄像头之间的第二距离参数，并将所述实时三维影像和所述第二距离参数整合，将整合结果作为所述第一教具触发物和/或所述第二教具触发物的抠图影像。

19.根据权利要求17所述的混合现实的虚实结合教具互动***，其特征在于，所述通信设备为采用4G/5G通讯技术的移动通讯设备。

20.如权利要求19所述的混合现实的虚实结合教具互动***，其特征在于，

所述第一教学场景中设有所述AR显示设备和/或网络路由器，所述AR显示设备设有通信芯片，所述通信芯片支持4G/5G通讯、WIFI和/或LIFI；所述网络路由器支持有线宽带通讯和/或无线4G/5G通讯。

21.根据权利要求14所述的混合现实的虚实结合教具互动***，其特征在于，所述第一教具触发物或所述第二教具触发物包括实物教具，触发卡片和触发多面体中的任意一个；

所述实物教具与整个所述虚拟教具或所述虚拟教具的一部分类似；

所述触发卡片设置有一个标记物；

所述触发多面体的每个面均设置有所述标记物，

所述AR显示设备根据所述标记物显示对应的所述虚拟教具。

22.如权利要求17或21所述的混合现实的虚实结合教具互动***，其特征在于，所述虚拟教具显示模块包括第一虚拟教具投影组件和/或第二虚拟教具投影组件；

所述第一虚拟教具投影组件根据所述第一教具触发物和/或所述第二教具触发物的尺寸调整所述虚拟教具的成像比例，所述第二虚拟教具投影组件将所述虚拟教具的预设部件与所述教具触发物的预设部件重叠设置。

23.如权利要求14所述的混合现实的虚实结合教具互动***，其特征在于，所述AR显示设备包括手势捕捉单元；

所述手势捕捉单元，用于捕捉用户的手势动作，所述手势捕捉单元包括但不限于自然手势识别传感器、数字手套、手柄控制器和/或手表式惯性测量单元。

24.如权利要求14、21、22或23所述的混合现实的虚实结合教具互动***，其特征在于，在第一教学场景中的教师通过语音指令、眼动指令、头瞄指令或手势指令与所述AR显示设备的视场里的所述第一教具触发物或虚拟教具进行互动；或者，

在第二教学场景中的所述远程教师通过语音指令或手势指令与投影/显示器里的所述第二教具触发物或虚拟教具进行互动。

25.如权利要求24所述的混合现实的虚实结合教具互动***，其特征在于，所述的混合现实的远程教学互动***还包括云平台，所述云平台，用于存储所述第一教具触发物和/或所述第二教具触发物，根据所述的混合现实的远程教学互动***的控制，将所述第一教具触发物投影在所述第二教学场景中的所述投影/显示器里，或者，将所述第二教具触发物显示在所述第一教学场景中所述AR显示设备的视场里。

26.一种混合现实的远程教学互动方法，其特征在于，所述远程教学互动方法具体包括：

步骤S1，将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中AR显示设备的视场里。

27.如权利要求26所述的混合现实的远程教学互动方法，其特征在于，所述步骤S1包括：

步骤S11，获取所述AR显示设备的状态信息；和/或

获取教学场景的3D影像和空间相对信息。

28.如权利要求27所述的混合现实的远程教学互动方法，其特征在于，所述步骤S11中的获取所述AR显示设备的状态信息，包括：

步骤S111，识别所述AR显示设备在所述第一教学场景内的移动距离，并根据移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对移动信息；

步骤S112，获取所述AR显示设备在所述第一教学场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在所述第一教学场景内的相对角度信息；

步骤S113，获取所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对距离信息；

所述步骤S11中的获取教学场景的3D影像和空间相对信息，包括：

步骤S114，获取所述第一教学场景的影像以及现场教师的影像；

步骤S115，获取所述第一教学场景的空间信息以及所述现场教师的空间信息。

29.如权利要求27或28所述的混合现实的远程教学互动方法，其特征在于，提供一通信设备；

所述步骤S11还包括：

步骤S116，将至少一处所述第二教学场景中的所述远程教师的抠图影像实时通过所述通信设备，传输至第一教学场景中所述AR显示设备的视场里。

30.如权利要求29所述的混合现实的远程教学互动方法，其特征在于，所述步骤S116具体包括如下任一步骤：

步骤S1161，在所述第一教学场景中所述AR显示设备的视场里，所述AR显示设备根据所述现场教师的3D体貌特征，在台上成比例地还原地投影出所述远程教师的3D体貌影像，且将所述远程教师的影像设置在所述现场教师的侧对面，且均侧朝向台下；

步骤S1162，所述混合现实的远程教学互动***还包括在远程的投影/显示器和在现场的全局摄像机，在所述第二教学场景中，所述投影/显示器中AR结合投影/显示：全局摄像机获取的所述现场教师的影像以及远程的抠像摄影设备获取的所述远程教师的影像；

步骤S1163，提供至少一台摄像机，通过一台所述摄像机在所述第二教学场景中实时采集所述远程教师的实时二维影像；或者，

提供至少两台TOF摄像头，通过两台所述TOF摄像头在所述第二教学场景中采集所述远程教师的实时三维影像，以及所述远程教师与所述TOF摄像头之间的第二距离参数，并将所述实时三维影像和所述第二距离参数整合，将整合结果作为所述远程教师的抠图影像。

31.如权利要求26所述的混合现实的远程教学互动方法，其特征在于，所述步骤S1包括：

步骤S12，捕捉用户的手势动作。

32.如权利要求26所述的混合现实的远程教学互动方法，其特征在于，所述AR显示设备装有语音交互设备；

所述步骤S1包括：

步骤S13，将所述语音交互设备作为所述AR显示设备与用户的语音交互媒介；或

在第二教学场景中的远程教师通过所述语音交互设备进行语音交互。

33.如权利要求32所述的混合现实的远程教学互动方法，其特征在于，所述步骤S13包括：

步骤S131，所述第一教学场景中的所述语音交互设备和所述第二教学场景中的所述语音交互设备，通过通讯设备实现互联互通。

34.一种混合现实的虚实结合教具互动方法，其特征在于，所述虚实结合教具互动方法包括：

步骤S2，根据AR显示设备在第一教学场景中的第一教具触发物，和/或根据抠像摄影设备在第二教学场景中扑捉到的第二教具触发物，触发显示所述第一教具触发物和/或所述第二教具触发物相应的虚拟教具、动画或视频。

35.如权利要求34所述的混合现实的虚实结合教具互动方法，其特征在于，所述步骤S2包括：

步骤S21，获取所述AR显示设备的状态信息；和/或

获取所述第一教具触发物和/或所述第二教具触发物的3D影像和空间相对信息。

36.如权利要求35所述的混合现实的虚实结合教具互动方法，其特征在于，所述步骤S21中的获取所述AR显示设备的状态信息，包括：

步骤S211，识别所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对移动信息；

步骤S212，获取所述AR显示设备在所述第一教学场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在所述第一教学场景内的相对角度信息；

步骤S213，获取所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对距离信息；

所述步骤S21中的获取所述第一教具触发物和/或所述第二教具触发物的3D影像和空间相对信息，包括：

步骤S214，获取所述第一教具触发物和/或所述第二教具触发物的影像；

步骤S215，获取所述第一教学场景的空间信息以及所述第一教具触发物的空间姿态信息。

37.如权利要求35或36所述的混合现实的虚实结合教具互动方法，其特征在于，所述步骤S21还包括：

步骤S216，所述AR显示设备将所述第一教学场景中的所述第一教具触发物的抠图影像实时通过通信设备，传输至所述第二教学场景中的投影/显示器；

步骤S217，所述抠像摄影设备将至少一处所述第二教学场景中的所述第二教具触发物的抠图影像实时通过所述通信设备，传输至所述第一教学场景中所述AR显示设备的视场里；

步骤S218，根据获取所述第一教具触发物和/或所述第二教具触发物触发虚拟教具或虚拟动画片段，供所述AR显示设备的视场中或显示器中进行虚拟显示。

38.如权利要求34所述的混合现实的虚实结合教具互动方法，其特征在于，所述第一教具触发物或所述第二教具触发物包括实物教具，触发卡片和触发多面体中的任意一个；

所述实物教具与整个所述虚拟教具或所述虚拟教具的一部分类似；

所述触发卡片设置有一个标记物；

所述触发多面体的每个面均设置有所述标记物；

所述AR显示设备根据所述标记物显示对应的所述虚拟教具，所述步骤S2包括如下任一步骤：

步骤S22，根据所述第一教具触发物和/或所述第二教具触发物的尺寸调整所述虚拟教具的成像比例，所述第二虚拟教具投影组件将所述虚拟教具的预设部件与所述教具触发物的预设部件重叠设置；

步骤S23，捕捉用户的手势动作；

步骤S24，在第一教学场景中的教师通过语音指令、眼动指令、头瞄指令或手势指令与所述AR显示设备的视场里的所述第一教具触发物或虚拟教具进行互动；

步骤S25，在第二教学场景中的教师通过语音指令或手势指令与所述显示器里的所述第二教具触发物或虚拟教具进行互动。

39.如权利要求34所述的混合现实的虚实结合教具互动方法，其特征在于，所述虚实结合教具互动方法还包括：

步骤S3，云平台存储所述第一教具触发物和/或所述第二教具触发物。

40.如权利要求39所述的混合现实的虚实结合教具互动方法，其特征在于，所述步骤S3包括如下任一步骤：

S31，所述云平台根据控制，将所述第一教具触发物投影在所述第二教学场景中的所述投影/显示器里；

S32，所述云平台根据控制，将所述第二教具触发物显示在所述第一教学场景中所述AR显示设备的视场里。

Images