CN111325853A - 一种基于增强现实眼镜的远程辅导***及方法 - Google Patents

Abstract

本发明公开了一种基于增强现实眼镜的远程辅导***及方法，属于数字教学技术领域，至少包括；用于采集教师授课情形、接收学生端数据并进行显示的教师端；用于接收教师端数据并进行显示、用于采集学生听课情形的学生端；以及用于实现教师端和学生端之间数据交互的云端服务器；其特征在于：所述教师端和学生端均包括增强现实眼镜；所述学生端的增强现实眼镜用于以第一人称视角拍摄视频，并显示从教师端回传的视频和语音信息；所述教师端的增强现实眼镜用于以第一人称视角拍摄视频后将视频及语音信息发送至学生端，或播放教学课件和视频同步至学生端，或显示从学生端回传的视频和语音信息。

Description

一种基于增强现实眼镜的远程辅导***及方法

技术领域

本发明属于数字教学技术领域，特别是涉及一种基于增强现实眼镜的远程辅导***及方法。

背景技术

众所周知，传统课堂教学模式客观上存在空间局限性和时间局限性，即学生和老师必须在特定的时间到达特定的地点进行教学工作，近年来，随着物联网技术的快速发展，为了克服传统课堂教学模式的上述缺陷，网络教学***应运而生，目前，现有的网络教学***主要包括三部分：获取教师或学生音频和视频信息的两个信息录制部、进行数据传送的云端服务器。在新型冠状病毒肺炎疫情防控及***延期开学期间“停课不停学”的情况下，网络教学被大量使用，在使用过程中发现，现有的网络教学***存在如下的缺陷：

在传统课堂或课外辅导教学过程中，教师通常会要求学生在黑板上或在稿纸上解题，观察学生对知识点的掌握情况以解题思路是否清晰，以此开展有针对的教学。然而，目前市面上的远程教育***以直播或录播教师上课视频为主，教学视频的单向传输，缺少与课堂参与者学生的互动，尤其难以实现教师想要实时查看学生在远程的解题情况，以达到了解学生学习程度的目的。

发明内容

本发明为解决公知技术中存在的技术问题，提供一种基于增强现实眼镜的远程辅导***及方法，通过增强现实技术模拟课堂教学，可实现学生在家进行沉浸式学习。教师可以与学生进行实时的互动，提高交互式体验。同时利用眼动跟踪技术对学生的注意力进行实时检测，实时发现学生注意力转移等情况，实现有效的注意力管控。通过对学生一定周期内的眼动数据挖掘，可开展课程质量评估以及学生心理及爱好评估工作。

本发明的第一目的是提供一种基于增强现实眼镜的远程辅导***，至少包括；

用于采集教师授课情形、接收学生端数据并进行显示的教师端；

用于接收教师端数据并进行显示、用于采集学生听课情形的学生端；

以及用于实现教师端和学生端之间数据交互的云端服务器；其特征在于：

所述教师端和学生端均包括增强现实眼镜；

所述学生端的增强现实眼镜用于以第一人称视角拍摄视频，并显示从教师端回传的视频和语音信息；所述教师端的增强现实眼镜用于以第一人称视角拍摄视频后将视频及语音信息发送至学生端，或播放教学课件和视频同步至学生端，或显示从学生端回传的视频和语音信息。

进一步，所述学生端和教师端的增强现实眼镜均搭载前置摄像头，该摄像头用于拍摄在纸面手写过程的视频，同时识别学生或教师的手势以及识别在纸上书写的内容变化量。

进一步，所述教师端和学生端的增强现实眼镜均搭载有语音互动的微型扬声器和麦克风。

进一步，所述基于增强现实眼镜的远程辅导***包括播放课件和/或视频模块、实时辅导和/或事后辅导模块。

进一步，所述学生端包括教学视频手动录制模块。

进一步，所述基于增强现实眼镜的远程辅导***还包括图像处理模块，当进行事后辅导时，学生端的增强现实眼镜录制学生解题过程，并上传至云端服务器存储，增强现实眼镜以定时抓取学生解题视频截图，并利用数字图像处理模块识别学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存，以图片代替视频方式进行存储。

更进一步，云端服务器以基于时间戳的视频截图形式进行存储。

本发明的第二目的是提供一种基于上述增强现实技术的远程教学***的方法，包括如下步骤：

S101、教师端和学生端通过云端服务器建立数据交互关系；

S102、教师端采集教师授课情形的授课数据，并将授课数据发送至云端服务器；

S103、学生端通过云端服务器获取实时辅导或事后辅导的数据，进而进入相应的辅导课程；

当学生选择实时辅导时，则教师端和学生端的增强现实眼镜同步开启，并将本地获取到的数据发送至对方；双方通过增强现实眼镜能够实时读取对方的数据；

当学生选择事后辅导时，学生端的增强现实眼镜录制学生解题过程，并上传至云端服务器存储，增强现实眼镜以定时抓取学生解题视频截图，并利用数字图像处理模块识别学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存，以图片代替视频方式进行存储。

进一步，所述数字图像处理模块识别学生在纸上书写的内容变化量具体过程为：

S201、定时截图；

S202、图像预处理；

S203、计算相邻两张截图的变化量，并将变化量与阈值进行比较，当变化量未超过阈值时，则返回步骤S201，当变化量超过阈值时，则执行步骤S204；

S204、将截图关联时间戳；

S205、发送至云端服务器保存。

更进一步，所述图像预处理具体为：

S2021、原始图像的纸张轮廓识别；具体为：

用微分算子canny算法标记截图中的纸面轮廓；首先采用高斯滤波器平滑图像，去除图像噪声；然后使用sobel算子分别计算x，y方向梯度分量及梯度方向；随后对梯度值不是极大值的地方进行抑制，排除非边缘像素，仅保留了一些细线条；最后用双阈值连接图上的联通点；

其中sobel算子用于边缘检测的离散差分算子，图像中的某一个像素及其邻域表示如下：

其中：I为像素点f(x,y)及其3*3邻域；

对于x和y两个方向分别求导，内核大小为3时：

水平变换

垂直变换

使用下列公式计算梯度幅值和方向：

梯度幅值

方向角度

S2022、轮廓图像二值化；

S2023、霍夫变换计算轮廓倾角和位置；

S2024、图像旋转和拉伸矫正。

本发明具有的优点和积极效果是：

本发明利用增强现实眼镜可模拟一对一或一对多的课外辅导，可实现学生在家进行远程辅导。教师可以获得学生视角，并与学生进行实时的互动，提高交互式体验；也可利用云端服务器事后查阅存储的学生视角图像，分析学生学习状态。具体为：

当教师端启动播放课件或教学视频时，课件和教学视频将同步在学生端增强现实眼镜中播放。

学生端具有教学视频手动录制模块，当学生对教师端同步来的教学视频有存储并回看需求时，可手动进行录制。当学生点击录制时，为录制到较为完整的教学视频，录制模块将会把视频录制起点设置成一分钟前，实现较为完整的视频录制。云端服务器提供一定容量的视频存储空间，供学生保存录制的感兴趣视频，方便查找回放。

当进行实时的辅导时，学生端增强现实眼镜实时拍摄学生解题过程，并通过云端管理服务器将实时视频流传输至教师显示端，进行实时的互动；当多名学生参与辅导时，教师显示终端可同时显示多名学生的解题视频，教师可选择与学生一对一互动辅导，也可选与多名学生同时互动辅导。

附图说明

图1是本发明优选实施例的结构框图；

图2是本发明优选实施例中前置摄像头的安装位置示意图；

图3是本发明优选实施例中识别学生在纸上书写的内容变化量的流程图；

图4是本发明优选实施例中图像预处理的流程图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：

请参阅图1至图4，第一优选实施例：一种基于增强现实眼镜的远程辅导***，包括；学生部、教师部、用于实现第一数据获取终端和第二数据获取终端之间数据交互的网络传输部以及云端管理服务器部；该学生部包括：用于采集学生手写视频的第一数据获取终端、用于接收教师部数据并进行显示的第一显示终端；该教师部包括：用于接收学生部数据并进行显示的第二显示终端，采集教师手写视频的第二数据获取终端；所述第一、第二数据获取和显示终端为增强现实眼镜。通过采用上述技术方案，本发明利用增强现实眼镜可模拟一对一或一对多的课外辅导，可实现学生在家进行远程辅导。教师可以获得学生视角，并与学生进行实时的互动，提高交互式体验；也可利用云端服务器事后查阅存储的学生视角图像，分析学生学习状态。

其中：学生端的增强现实眼镜用于以第一人称视角拍摄视频，并显示从教师端回传的视频和语音信息；教师端的增强现实眼镜用于以第一人称视角拍摄视频后将视频及语音信息发送至学生端，或播放教学课件和视频同步至学生端，或显示从学生端回传的视频和语音信息。

学生端及教师端增强现实眼镜，搭载前置摄像头，如图2，以学生或教师的第一人称视角拍摄视频，主要用于拍摄在纸面手写过程的视频，同时识别学生或教师的手势以及识别在纸上书写的内容变化量。

平台权限主要分为***管理员、教师及学生三大类角色。***管理员可在平台上进行任何平台相关权限的处理。任意用户可创建虚拟教室并设置课堂口令，用户根据课堂口令进入该课堂，进入虚拟课堂时默认为学生角色，虚拟教室创建者可指定课堂中的某个成员作为教师角色。当学生端的增强现实眼镜接入平台后，屏幕所呈现的视频内容将由该课堂的教师控制，直到课堂管理员放弃控制或学生退出该虚拟教室。

教师端及学生端的语音互动通过增强现实眼镜搭载的微型扬声器和麦克风实现。

教师端***具有播放课件、播放视频、实时辅导和事后辅导两大功能模块。

当教师端启动播放课件或教学视频时，课件和教学视频将同步在学生端增强现实眼镜中播放。

学生端具有教学视频手动录制模块，当学生对教师端同步来的教学视频有存储并回看需求时，可手动进行录制。当学生点击录制时，为录制到较为完整的教学视频，录制模块将会把视频录制起点设置成一分钟前，实现较为完整的视频录制。云端服务器提供一定容量的视频存储空间，供学生保存录制的感兴趣视频，方便查找回放。

当进行实时的辅导时，学生端增强现实眼镜实时拍摄学生解题过程，并通过云端管理服务器将实时视频流传输至教师显示端，进行实时的互动；当多名学生参与辅导时，教师显示终端可同时显示多名学生的解题视频，教师可选择与学生一对一互动辅导，也可选与多名学生同时互动辅导。

当教师端采用手机或平板等智能显示设备时，互动包括语音互动，触摸手写输入互动，手写输入互动包括记号和文字等图像，同步通过网络送达学生的增强现实眼镜中显示。

当教师端采用增强现实眼镜设备时，互动包括语音互动，手势输入互动，纸上手写互动，在纸上手写的教师端第一人称视角实时视频同步通过网络送达学生的增强现实眼镜中显示。

当进行事后辅导时，学生端增强现实眼镜录制学生解题过程，并上传至云端服务器存储，为降低云端服务器存储量，以基于时间戳的视频截图形式进行存储。增强现实眼镜以定时抓取学生解题视频截图，并利用数字图像处理算法识别学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存，以图片代替视频的存储方式将极大地降低云端服务器存储量。

第一人称视角录制学生手写内容时，通常纸平放在桌面上，眼睛的光轴与纸面一般呈45°到90°之间，摄像机的光轴一般情况下并不垂直于图像，这将造成图像“近大远小”的透视变形。且同一学生每一时刻拍摄的视频存在角度的变化，不利于识别前后内容的变化量。因此在利用数字图像处理算法识别纸上书写的内容变化量，首先需要对视频截图获得的图片做预处理，然后再进行手写内容变化量检测。

预处理算法主要包括原始图像的纸张轮廓识别、二值化、霍夫变换识别直线、切向矫正。

用微分算子canny算法标记截图中的纸面轮廓；首先采用高斯滤波器平滑图像，去除图像噪声；第二步使用sobel算子分别计算x，y方向梯度分量及梯度方向；第三步对梯度值不是极大值的地方进行抑制，用于排除非边缘像素，仅保留了一些细线条；最后用双阈值连接图上的联通点。

其中sobel算子是主要用于边缘检测的离散差分算子，图像中的某一个像素及其邻域表示如下：

其中：I为像素点f(x,y)及其3*3邻域；

对于x和y两个方向分别求导，内核大小为3时：

水平变换

垂直变换

使用下列公式计算梯度幅值和方向：

梯度幅值

方向角度

通过对纸面的检测获得纸面轮廓之后，对纸面做二值化处理，去除背景干扰的同时保留纸面黑白轮廓。再进行霍夫变换拟合纸面轮廓直线，计算轮廓在截图中的倾斜角度和位置。

霍夫变换是一种检测直线的算法，考虑点和线的对应关系，过一点(x1,y1)的直线可表示为：y1＝kx1+b，将变量和参数互换，已知一个点(x1,y1)，经过这一点的直线簇可以表示为b＝(-x1)k+y1。位于同一条直线上的点具有相同的斜率和截距，反映到参数空间上就是这些直线会交于同一点(k,b)，以此寻找图片中的直线。通过霍夫变换拟合的纸面轮廓的直线，可得到纸面的倾斜角度。

经过预处理之后，得到纸面大小、倾斜角度一致的纸面二值化黑白图像。手写内容变化量的检测算法包括两部分，首先是膨胀、其次是图像减法运算。

图像的膨胀是一种卷积操作，作用是为了强化和突出纸面文字，便于后续识别前后两张图片的变化量。其卷积操作非常简单，对于图像的每个像素，取其一定的邻域，计算最大值作为新图像对应像素位置的像素值。

最后利用数字图像减法运算，计算出前后两次视频截图中学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存。

以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (10)

1.一种基于增强现实眼镜的远程辅导***；至少包括；

用于采集教师授课情形、接收学生端数据并进行显示的教师端；

用于接收教师端数据并进行显示、用于采集学生听课情形的学生端；

以及用于实现教师端和学生端之间数据交互的云端服务器；其特征在于：

所述教师端和学生端均包括增强现实眼镜；

所述学生端的增强现实眼镜用于以第一人称视角拍摄视频，并显示从教师端回传的视频和语音信息；所述教师端的增强现实眼镜用于以第一人称视角拍摄视频后将视频及语音信息发送至学生端，或播放教学课件和视频同步至学生端，或显示从学生端回传的视频和语音信息。

2.根据权利要求1所述的基于增强现实眼镜的远程辅导***，其特征在于，所述学生端和教师端的增强现实眼镜均搭载前置摄像头，该摄像头用于拍摄在纸面手写过程的视频，同时识别学生或教师的手势以及识别在纸上书写的内容变化量。

3.根据权利要求1所述的基于增强现实眼镜的远程辅导***，其特征在于，所述教师端和学生端的增强现实眼镜均搭载有语音互动的微型扬声器和麦克风。

4.根据权利要求1所述的基于增强现实眼镜的远程辅导***，其特征在于，所述基于增强现实眼镜的远程辅导***包括播放课件和/或视频模块、实时辅导和/或事后辅导模块。

5.根据权利要求1所述的基于增强现实眼镜的远程辅导***，其特征在于，所述学生端包括教学视频手动录制模块。

6.根据权利要求1所述的基于增强现实眼镜的远程辅导***，其特征在于，所述基于增强现实眼镜的远程辅导***还包括图像处理模块，当进行事后辅导时，学生端的增强现实眼镜录制学生解题过程，并上传至云端服务器存储，增强现实眼镜以定时抓取学生解题视频截图，并利用数字图像处理模块识别学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存，以图片代替视频方式进行存储。

7.根据权利要求6所述的基于增强现实眼镜的远程辅导***，其特征在于，云端服务器以基于时间戳的视频截图形式进行存储。

8.一种基于权利要求1所述的基于增强现实眼镜的远程辅导***的方法，其特征在于，包括如下步骤：

S101、教师端和学生端通过云端服务器建立数据交互关系；

S102、教师端采集教师授课情形的授课数据，并将授课数据发送至云端服务器；

S103、学生端通过云端服务器获取实时辅导或事后辅导的数据，进而进入相应的辅导课程；

当学生选择实时辅导时，则教师端和学生端的增强现实眼镜同步开启，并将本地获取到的数据发送至对方；双方通过增强现实眼镜能够实时读取对方的数据；

当学生选择事后辅导时，学生端的增强现实眼镜录制学生解题过程，并上传至云端服务器存储，增强现实眼镜以定时抓取学生解题视频截图，并利用数字图像处理模块识别学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存，以图片代替视频方式进行存储。

9.根据权利要求8所述的基于增强现实眼镜的远程辅导***的方法，其特征在于，所述数字图像处理模块识别学生在纸上书写的内容变化量具体过程为：

S201、定时截图；

S202、图像预处理；

S203、计算相邻两张截图的变化量，并将变化量与阈值进行比较，当变化量未超过阈值时，则返回步骤S201，当变化量超过阈值时，则执行步骤S204；

S204、将截图关联时间戳；

S205、发送至云端服务器保存。

10.根据权利要求9所述的基于增强现实眼镜的远程辅导***的方法，其特征在于，所述图像预处理具体为：

S2021、原始图像的纸张轮廓识别；具体为：

用微分算子canny算法标记截图中的纸面轮廓；首先采用高斯滤波器平滑图像，去除图像噪声；然后使用sobel算子分别计算x，y方向梯度分量及梯度方向；随后对梯度值不是极大值的地方进行抑制，排除非边缘像素，仅保留了一些细线条；最后用双阈值连接图上的联通点；

其中sobel算子用于边缘检测的离散差分算子，图像中的某一个像素及其邻域表示如下：

其中：I为像素点f(x,y)及其3*3邻域；

对于x和y两个方向分别求导，内核大小为3时：

水平变换

垂直变换

使用下列公式计算梯度幅值和方向：

梯度幅值

方向角度

S2022、轮廓图像二值化；

S2023、霍夫变换计算轮廓倾角和位置；

S2024、图像旋转和拉伸矫正。

Images