CN111311995A - 一种基于增强现实技术的远程教学***及教学方法 - Google Patents
一种基于增强现实技术的远程教学***及教学方法 Download PDFInfo
- Publication number
- CN111311995A CN111311995A CN202010205746.1A CN202010205746A CN111311995A CN 111311995 A CN111311995 A CN 111311995A CN 202010205746 A CN202010205746 A CN 202010205746A CN 111311995 A CN111311995 A CN 111311995A
- Authority
- CN
- China
- Prior art keywords
- student
- teaching
- teacher
- eye movement
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 69
- 238000005516 engineering process Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000011521 glass Substances 0.000 claims abstract description 47
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 230000004424 eye movement Effects 0.000 claims description 101
- 238000011156 evaluation Methods 0.000 claims description 84
- 238000004458 analytical method Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 20
- 230000009471 action Effects 0.000 claims description 13
- 238000007726 management method Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 210000003128 head Anatomy 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 210000001747 pupil Anatomy 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000004886 head movement Effects 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 claims 2
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于增强现实技术的远程教学***及教学方法，属于数字教学技术领域，所述基于增强现实技术的远程教学***至少包括；教师部、学生部、以及用于实现第一数据获取终端和第二数据获取终端之间数据交互的网络传输部；该教师部包括：用于采集教师授课情形的第一数据获取终端、用于接收学生部数据并进行显示的第一显示终端；该学生部包括：用于接收教师部数据并进行显示的第二显示终端、用于采集学生听课情形的第二数据获取终端；其特征在于：所述第二显示终端为增强现实眼镜。通过采用上述技术方案，本发明利用增强现实技术模拟课堂教学，可实现学生在家进行沉浸式学习。教师可以与学生进行实时的互动，提高交互式体验。
Description
技术领域
本发明属于数字教学技术领域，特别是涉及一种基于增强现实技术的远程教学***及教学方法。
背景技术
众所周知，传统课堂教学模式客观上存在空间局限性和时间局限性，即学生和老师必须在特定的时间到达特定的地点进行教学工作，近年来，随着物联网技术的快速发展，为了克服传统课堂教学模式的上述缺陷，网络教学***应运而生，目前，现有的网络教学***主要包括三部分：获取教师或学生音频和视频信息的两个信息录制部、进行数据传送的网络传输部。在新型冠状病毒肺炎疫情防控及***延期开学期间“停课不停学”的情况下，网络教学被大量使用，在使用过程中发现，现有的网络教学***存在如下的缺陷：
一、学生的学习体验性差；
教师部通常使用手机、笔记本电脑、手写板等工具开展直播教学，存在画质扁平、清晰度低、摄录视角小、板书效果差等不足；如果采用纯虚拟现实(VR)远程教学，学生则无法实现边看视频边记笔记的需求；如果长时间处于纯虚拟现实(VR)环境，会产生眩晕等不适感。
二、学生的参与度低；
学生部，通常使用手机、平板电脑及计算机进行学***的不足，画面缺少沉浸感，只能通过点击鼠标或触摸屏互动，学生难以获得在真实课题环境下的参与感。
三、难以有效管控；
即使教师部通过学生部摄像头采集学生面部图像，但在几十甚至上百个学生同时听课的情况下，难以从教师部管理平台上缩小的数十个学生头像上判断学生学习状态，难以进行及时、有效的管控。
四、学生的注意力很难集中；由于学生的学习地点并非学校教室，比如学生在家，此时家人可能在看电视或者从事别的事情，于是学生的注意力很可能会被分散，这将极大地降低教学的质量和效果。
发明内容
本发明为解决公知技术中存在的技术问题，提供一种基于增强现实技术的远程教学***及教学方法，通过增强现实技术模拟课堂教学，可实现学生在家进行沉浸式学习。教师可以与学生进行实时的互动，提高交互式体验。同时利用眼动跟踪技术对学生的注意力进行实时检测，实时发现学生注意力转移等情况，实现有效的注意力管控。通过对学生一定周期内的眼动数据挖掘，可开展课程质量评估以及学生心理及爱好评估工作。
本发明的第一目的是提供一种基于增强现实技术的远程教学***，至少包括；
教师部；该教师部包括：用于采集教师授课情形的第一数据获取终端、用于接收学生部数据并进行显示的第一显示终端；
学生部；该学生部包括：用于接收教师部数据并进行显示的第二显示终端、用于采集学生听课情形的第二数据获取终端；
以及用于实现第一数据获取终端和第二数据获取终端之间数据交互的网络传输部；
所述第二显示终端为增强现实眼镜。
视频一键实时录像。学生端具有教学视频一键录制模块，当学生对教学视频有存储并回看需求时，可一键进行录制。当学生点击录制时，为录制到较为完整的教学视频，录制模块将会把视频录制起点设置成一分钟前，避免错过之前的视频内容，实现较为完整的视频录制。云端服务器提供一定容量的视频存储空间，供学生保存录制的感兴趣视频，方便查找回放。
进一步，所述第二数据获取终端包括安装于增强现实眼镜上的三轴加速度传感器和三轴陀螺仪传感器，所述基于三轴加速度传感器和三轴陀螺仪传感器的用户头部动作数据处理模块；所述头部动作数据处理模块实时测得用户的头部动作，并调整教学视频显示位置；当用户低头写字记笔记时，视频将不出现在增强现实眼镜视野范围内；当用户正视正前方时，视频出现在增强现实眼镜视野范围内；当用户出现摇头或点头的头动姿势时，头部动作数据处理模块可将数据上传至教师部管理平台。
更进一步，所述第二数据获取终端包括安装于增强现实眼镜上的摄像头，所述基于摄像头的学生举手动作识别模块；所述学生举手动作识别模块，根据预设的动作，识别学生举手动作。
更进一步，所述第二数据获取终端包括安装于增强现实眼镜上的眼动信号传感器，所述基于增强现实技术的远程教学***还包括眼动信号分析模块；所述眼动信号分析模块用于对回传的眼动传感器数据Si和预先设定的眼动状态模型Mi进行处理分析，求解出专注力评价值Pi，并转发至教师部。
更进一步，所述第一数据获取终端包括3D全景摄像机或4K高清云台摄像，所述第一显示终端包括笔记本电脑或台式计算机。
更进一步，所述基于增强现实技术的远程教学***还包括数据存储部和教学管理平台。
更进一步，所述眼动信号分析模块包括专注力评价值分析模块，通过瞳孔直径及眼动状态，求解各学科的专注力评价值Pi。
本发明的第二目的是提供一种基于上述增强现实技术的远程教学***的教学方法，包括如下步骤：
S101、教师部和学生部通过网络传输部建立数据交互关系；
S102、教师部采集教师授课情形的授课数据，并将授课数据通过网络传输部发送至学生部；
S103、学生部将接收到的授课数据通过增强现实眼镜进行输出，供学生进行学习。
本发明的第三目的是提供一种基于增强现实技术的远程教学***的教学方法，包括如下步骤：
S201、教师部和学生部通过网络传输部建立数据交互关系；
S202、教师部采集教师授课情形的授课数据，并将授课数据通过网络传输部发送至学生部；
S203、第二数据获取终端将接收到的授课数据发送至增强现实眼镜进行输出，供学生进行学习；
S204、眼动信号传感器采集眼动信息，并将眼动信息发送给眼动信号分析模块；
S205、眼动信号分析模块用于对回传的眼动传感器数据Si和预先设定的眼动状态模型Mi进行处理分析，求解出专注力评价值Pi，并转发至教师部；
S206、教师部将专注力评价值Pi通过第一显示终端进行显示，教师根据专注力评价值Pi进而对学生的状态进行判定，当判定结构为学生专注力评价值未达到模型要求时，则通过教师部向学生部发送提醒信号。
进一步，所述S205中的处理分析过程为：
设Ni为最近t时长内的采样点总数；
Mie为t时段内模型Mi匹配的采样点数量；
Miep为模型Mi的专注力状态评价值基线阈值；
f为专注力评价函数；
则t时段内该学生的专注力评价值pi＝f(Mie,Ni)；
如果pi≥Mip，则判定该学生专注力评价值达到模型要求；
如果pi<Mip，则判定该学生专注力评价值未达到模型要求。
本发明的第四目的是提供一种基于增强现实技术的远程教学***的教学方法，包括如下步骤：
S301、教师部和学生部通过网络传输部建立数据交互关系；
S302、教师部采集教师授课情形的授课数据，并将授课数据通过网络传输部发送至学生部；
S303、第二数据获取终端将接收到的授课数据发送至增强现实眼镜进行输出，供学生进行学习；
S304、眼动信号传感器采集眼动信息，并将眼动信息发送给眼动信号分析模块；
S305、眼动信号分析模块用于对回传的眼动传感器数据Si和预先设定的眼动状态模型Mi进行处理分析，求解出专注力评价值Pi，并转发至教师部；
S306、教师部将专注力评价值Pi通过第一显示终端进行显示，教师根据专注力评价值Pi进而对学生的状态进行判定，当判定结构为学生专注力评价值未达到模型要求时，则通过教师部向学生部发送提醒信号；
S307、眼动信号分析模块通过瞳孔直径及眼动状态，求解各学科的专注力评价值Pi曲线，教师通过专注力评价值Pi曲线进而调整后期教学计划。
进一步，所述S305中的处理分析过程为：
设Ni为最近t时长内的采样点总数；
Mie为t时段内模型Mi匹配的采样点数量；
Miep为模型Mi的专注力状态评价值基线阈值；
f为专注力评价函数；
则t时段内该学生的专注力评价值pi＝f(Mie,Ni)；
如果pi≥Mip，则判定该学生专注力评价值达到模型要求；
如果pi<Mip，则判定该学生专注力评价值未达到模型要求。
本发明具有的优点和积极效果是：
一、学生的学习体验性好；
教师部采用3D全景摄像机或4K高清云台摄像，可以清晰、完整摄录课堂黑板及教师的画面，得到完整、高清的教学视频，可使教学信息完整无误地传递到学生部；在观看教学视频的同时，可同步手写记录笔记。
二、学生的参与度高；
学生部采用增强现实眼镜，学生可获得高清、景深或全景教学视频，极具沉浸感和参与感，同时结合增强现实眼镜的举手动作识别模块，可模拟真实教室场景与教师部进行举手互动等操作。
三、便于有效管控；
通过在增强现实眼镜上搭载眼动传感器，获得学生学习教学视频过程中的眼动信息，可有效分析出学生的专注力情况，实现教师部的实时反馈与提醒。
四、学生的注意力比较集中；由于采用了增强现实技术，进而使得学生能够很好地进入沉浸式教学过程，摒弃外界环境的影响，便于学生全身心地投入教学工作，集中注意力学习教学内容，极大地提高教学的质量和效果。
附图说明
图1是本发明优选实施例的示意图；
图2是本发明优选实施例的结构框图；
图3是本发明中眼动信号分析模块的结构框图；
图4是本发明中专注力评价值Pi曲线图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：
请参阅图1至图4，第一优选实施例：一种基于增强现实技术的远程教学***，包括；
教师部1；该教师部包括：用于采集教师授课情形的第一数据获取终端、用于接收学生部数据并进行显示的第一显示终端；作为优选：所述第一数据获取终端选用技术比较成熟的4K高清云台摄像，所述第一显示终端选用技术比较成熟的笔记本电脑或台式计算机。
学生部2；该学生部包括：用于接收教师部数据并进行显示的第二显示终端、用于采集学生听课情形的第二数据获取终端；为了实现沉浸式教学模式，所述第二显示终端为增强现实眼镜。
以及用于实现第一数据获取终端和第二数据获取终端之间数据交互的网络传输部3；
为了便于历史数据的保存和回放，在学生部还增设有教学视频一键录制模块，当学生对教学视频有存储并回看需求时，可一键进行录制，即通过录制触发键，启动教学视频一键录制模块，当学生点击录制时，为录制到较为完整的教学视频，录制模块将会把视频录制起点设置成一分钟前，避免错过之前的视频内容，实现较为完整的视频录制。云端服务器提供一定容量的视频存储空间，供学生保存录制的感兴趣视频，方便查找回放。
上述增强现实技术的远程教学***的教学方法，包括如下步骤：
S101、教师部和学生部通过网络传输部建立数据交互关系；
S102、教师部采集教师授课情形的授课数据，并将授课数据通过网络传输部发送至学生部；上述授课数据主要包括视频信息和音频信息；
S103、学生部将接收到的授课数据通过增强现实眼镜进行输出，供学生进行学习。
为了实现对学生学习过程的监控，进而对学生注意力进行定量评估，在上述优选实施例的基础上，
第二优选实施例：所述第二数据获取终端包括安装于增强现实眼镜上的眼动信号传感器，所述基于增强现实技术的远程教学***还包括眼动信号分析模块；所述眼动信号分析模块用于对回传的眼动传感器数据Si和预先设定的眼动状态模型Mi进行处理分析，求解出专注力评价值Pi，并转发至教师部。
上述优选实施例基于增强现实技术的远程教学***的教学方法，包括如下步骤：
S201、教师部和学生部通过网络传输部建立数据交互关系；
S202、教师部采集教师授课情形的授课数据，并将授课数据通过网络传输部发送至学生部；
S203、第二数据获取终端将接收到的授课数据发送至增强现实眼镜进行输出，供学生进行学习；
S204、眼动信号传感器采集眼动信息，并将眼动信息发送给眼动信号分析模块；
S205、眼动信号分析模块用于对回传的眼动传感器数据Si和预先设定的眼动状态模型Mi进行处理分析，求解出专注力评价值Pi，并转发至教师部；
S206、教师部将专注力评价值Pi通过第一显示终端进行显示，教师根据专注力评价值Pi进而对学生的状态进行判定，当判定结构为学生专注力评价值未达到模型要求时，则通过教师部向学生部发送提醒信号。
作为优选，在上述优选实施例的基础上，所述基于增强现实技术的远程教学***还包括数据存储部和教学管理平台。
上述教学管理平台包括，出勤，考核及缺勤提示(对监护人)，问题回答互动。另外，根据眼动数据分析后回传的学生专注力评价值Pi进行判别，实现老师对学生注意力和关注点是否随教师授课内容运动的自动判别和有效的实时判断等功能；
眼动传感器搭载在学生端增强现实眼镜上，通过现实增强或混合现实设备内对眼镜观察的传感器观察眼睛状态与该设备显示内容直接的关系(并建立有效的对应坐标系)，
具体流程：眼动传感器获得的位置坐标是一个二维坐标系，增强现实眼镜视野范围也可看做一个二维坐标系。由于眼动传感器的按照朝向与眼镜视野的方向相反，且存在斜切角度，因此需要通过设计一种仿射变换算法将眼动传感器获得的坐标与眼镜视野坐标关联。两个独立坐标的关联，首先取眼镜视野的最小外接矩形，以眼镜左眼和左眼眼动传感器为例，该矩形的左下角和右下角，分别设为眼镜视野的原点，和眼动传感器的原点，因此先对眼动传感器坐标(x,y)做反射变换：
因为存在斜切角度，对得到的坐标再次做缩放和斜切：
(x2,y2)即为眼动传感器在眼镜视野上的坐标变换，根据眼动传感器安装角度以及坐标标定，可求得上述a1-a6系数变量。
上述坐标变换之后，得到学生注视点在视频图像上基于时间序列的轨迹，如分析近5分钟是否超出教师远程教学视频的有效范围的概率Pi(预先设定的眼动状态模型Mi的一种实施例)，如下图，据此为基础判断学生的状态然后实时向老师端传输状态信号，并通过人工或自动的方式提示(声，光)唤醒学生。
设Ni为最近t时长内的采样点总数；
Mie为t时段内模型Mi匹配的采样点数量；
Miep为模型Mi的专注力状态评价值基线阈值；
f为专注力评价函数；
则t时段内该学生的专注力评价值pi＝f(Mie,Ni)；
如果pi≥Mip，则判定该学生专注力评价值达到模型要求；
如果pi<Mip，则判定该学生专注力评价值未达到模型要求。
第三优选实施例：一种基于增强现实技术的远程教学***，包括；
教师部1；该教师部包括：用于采集教师授课情形的第一数据获取终端、用于接收学生部数据并进行显示的第一显示终端；作为优选：所述第一数据获取终端选用技术比较成熟的4K高清云台摄像，所述第一显示终端选用技术比较成熟的笔记本电脑或台式计算机。
学生部2；该学生部包括：用于接收教师部数据并进行显示的第二显示终端、用于采集学生听课情形的第二数据获取终端；为了实现沉浸式教学模式，所述第二显示终端为增强现实眼镜。
以及用于实现第一数据获取终端和第二数据获取终端之间数据交互的网络传输部3；
所述第二数据获取终端包括安装于增强现实眼镜上的眼动信号传感器，所述基于增强现实技术的远程教学***还包括眼动信号分析模块4；所述眼动信号分析模块用于对回传的眼动传感器数据Si和预先设定的眼动状态模型Mi进行处理分析，求解出专注力评价值Pi，并转发至教师部。
所述眼动信号分析模块包括专注力评价值分析模块，通过瞳孔直径及眼动状态，求解各学科的专注力评价值Pi。
第三优选实施例的教学方法，包括如下步骤：
S301、教师部和学生部通过网络传输部建立数据交互关系；
S302、教师部采集教师授课情形的授课数据，并将授课数据通过网络传输部发送至学生部；
S303、第二数据获取终端将接收到的授课数据发送至增强现实眼镜进行输出，供学生进行学习；
S304、眼动信号传感器采集眼动信息，并将眼动信息发送给眼动信号分析模块；
S305、眼动信号分析模块用于对回传的眼动传感器数据Si和预先设定的眼动状态模型Mi进行处理分析，求解出专注力评价值Pi，并转发至教师部；
S306、教师部将专注力评价值Pi通过第一显示终端进行显示，教师根据专注力评价值Pi进而对学生的状态进行判定，当判定结构为学生专注力评价值未达到模型要求时，则通过教师部向学生部发送提醒信号；
S307、眼动信号分析模块通过瞳孔直径及眼动状态，求解各学科的专注力评价值Pi曲线，教师通过专注力评价值Pi曲线进而调整后期教学计划。
作为优选，在上述优选实施例的基础上，所述基于增强现实技术的远程教学***还包括数据存储部和教学管理平台。
上述教学管理平台包括，出勤，考核及缺勤提示(对监护人)，问题回答互动。另外，根据眼动数据分析后回传的学生专注力评价值Pi进行判别，实现老师对学生注意力和关注点是否随教师授课内容运动的自动判别和有效的实时判断等功能；
眼动传感器搭载在学生端增强现实眼镜上，通过现实增强或混合现实设备内对眼镜观察的传感器观察眼睛状态与该设备显示内容直接的关系(并建立有效的对应坐标系)，
具体流程：眼动传感器获得的位置坐标是一个二维坐标系，增强现实眼镜视野范围也可看做一个二维坐标系。由于眼动传感器的按照朝向与眼镜视野的方向相反，且存在斜切角度，因此需要通过设计一种仿射变换算法将眼动传感器获得的坐标与眼镜视野坐标关联。两个独立坐标的关联，首先取眼镜视野的最小外接矩形，以眼镜左眼和左眼眼动传感器为例，该矩形的左下角和右下角，分别设为眼镜视野的原点，和眼动传感器的原点，因此先对眼动传感器坐标(x,y)做反射变换：
因为存在斜切角度，对得到的坐标再次做缩放和斜切：
(x2,y2)即为眼动传感器在眼镜视野上的坐标变换，根据眼动传感器安装角度以及坐标标定，可求得上述a1-a6系数变量。
上述坐标变换之后，得到学生注视点在视频图像上基于时间序列的轨迹，如分析近5分钟是否超出教师远程教学视频的有效范围的概率Pi(预先设定的眼动状态模型Mi的一种实施例)，如下图，据此为基础判断学生的状态然后实时向老师端传输状态信号，并通过人工或自动的方式提示(声，光)唤醒学生。
设Ni为最近t时长内的采样点总数；
Mie为t时段内模型Mi匹配的采样点数量；
Miep为模型Mi的专注力状态评价值基线阈值；
f为专注力评价函数；
则t时段内该学生的专注力评价值pi＝f(Mie,Ni)；
如果pi≥Mip，则判定该学生专注力评价值达到模型要求；
如果pi<Mip，则判定该学生专注力评价值未达到模型要求。
对一定时长内的Pi值进行平均化处理，在一定程度上可反馈区分，如文科思维，理科思维等兴趣点不同的功能性应用。
方式一：在不考虑权重系数情况下，采用简单均值法求解一定时长内的Pi均值：
方式二：由于学生在课程初期各学科的专注力差异不明显，随着课程进度的推移，这种专注力差异逐渐放大趋势，在考虑权重系数情况下，采用加权均值法求解一定时长内的Pi均值：
以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。
Claims (10)
1.一种基于增强现实技术的远程教学***；至少包括；
教师部；该教师部包括：用于采集教师授课情形的第一数据获取终端、用于接收学生部数据并进行显示的第一显示终端；
学生部；该学生部包括：用于接收教师部数据并进行显示的第二显示终端、用于采集学生听课情形的第二数据获取终端；
以及用于实现第一数据获取终端和第二数据获取终端之间数据交互的网络传输部；其特征在于：
所述第二显示终端为增强现实眼镜。
2.根据权利要求1所述的基于增强现实技术的远程教学***，其特征在于，所述第二数据获取终端包括安装于增强现实眼镜上的眼动信号传感器，所述基于增强现实技术的远程教学***还包括眼动信号分析模块；所述眼动信号分析模块用于对回传的眼动传感器数据Si和预先设定的眼动状态模型Mi进行处理分析，求解出专注力评价值Pi，并转发至教师部。
3.根据权利要求1所述的基于增强现实技术的远程教学***，其特征在于，所述第二数据获取终端包括安装于增强现实眼镜上的三轴加速度传感器和三轴陀螺仪传感器，基于三轴加速度传感器和三轴陀螺仪传感器的用户头部动作数据处理模块；所述头部动作数据处理模块实时测得用户的头部动作，并调整教学视频显示位置；当用户低头写字记笔记时，视频将不出现在增强现实眼镜视野范围内；当用户正视正前方时，视频出现在增强现实眼镜视野范围内；当用户出现摇头或点头的头动姿势时，头部动作数据处理模块可将数据上传至教师部管理平台。
4.根据权利要求1所述的基于增强现实技术的远程教学***，其特征在于，所述第二数据获取终端包括安装于增强现实眼镜上的摄像头，所述基于摄像头的学生举手动作识别模块；所述学生举手动作识别模块根据预设的动作，识别学生举手动作。
5.根据权利要求1或2所述的基于增强现实技术的远程教学***，其特征在于，所述第一数据获取终端包括3D全景摄像机或4K高清云台摄像，所述第一显示终端包括笔记本电脑或台式计算机。
6.根据权利要求3所述的基于增强现实技术的远程教学***，其特征在于，所述基于增强现实技术的远程教学***还包括数据存储部和教学管理平台。
7.根据权利要求2所述的基于增强现实技术的远程教学***，其特征在于，所述眼动信号分析模块包括专注力评价值分析模块，通过瞳孔直径及眼动状态，求解各学科的专注力评价值Pi。
8.一种基于权利要求1所述的基于增强现实技术的远程教学***的教学方法，其特征在于，包括如下步骤：
S101、教师部和学生部通过网络传输部建立数据交互关系；
S102、教师部采集教师授课情形的授课数据，并将授课数据通过网络传输部发送至学生部；
S103、学生部将接收到的授课数据通过增强现实眼镜进行输出，供学生进行学习。
9.一种基于权利要求2所述的基于增强现实技术的远程教学***的教学方法，其特征在于，包括如下步骤：
S201、教师部和学生部通过网络传输部建立数据交互关系；
S202、教师部采集教师授课情形的授课数据，并将授课数据通过网络传输部发送至学生部；
S203、第二数据获取终端将接收到的授课数据发送至增强现实眼镜进行输出，供学生进行学习；
S204、眼动信号传感器采集眼动信息，并将眼动信息发送给眼动信号分析模块；
S205、眼动信号分析模块用于对回传的眼动传感器数据Si和预先设定的眼动状态模型Mi进行处理分析，求解出专注力评价值Pi，并转发至教师部；
所述处理分析的过程为：
设Ni为最近t时长内的采样点总数；
Mie为t时段内模型Mi匹配的采样点数量；
Miep为模型Mi的专注力状态评价值基线阈值；
f为专注力评价函数；
则t时段内该学生的专注力评价值pi＝f(Mie,Ni)；
如果pi≥Mip，则判定该学生专注力评价值达到模型要求；
如果pi<Mip，则判定该学生专注力评价值未达到模型要求；
S206、教师部将专注力评价值Pi通过第一显示终端进行显示，教师根据专注力评价值Pi进而对学生的状态进行判定，当判定结构为学生专注力评价值未达到模型要求时，则通过教师部向学生部发送提醒信号。
10.一种基于权利要求7所述的基于增强现实技术的远程教学***的教学方法，其特征在于，包括如下步骤：
S301、教师部和学生部通过网络传输部建立数据交互关系；
S302、教师部采集教师授课情形的授课数据，并将授课数据通过网络传输部发送至学生部；
S303、第二数据获取终端将接收到的授课数据发送至增强现实眼镜进行输出，供学生进行学习；
S304、眼动信号传感器采集眼动信息，并将眼动信息发送给眼动信号分析模块；
S305、眼动信号分析模块用于对回传的眼动传感器数据Si和预先设定的眼动状态模型Mi进行处理分析，求解出专注力评价值Pi，并转发至教师部；
所述处理分析的过程为：
设Ni为最近t时长内的采样点总数；
Mie为t时段内模型Mi匹配的采样点数量；
Miep为模型Mi的专注力状态评价值基线阈值；
f为专注力评价函数；
则t时段内该学生的专注力评价值pi＝f(Mie,Ni)；
如果pi≥Mip，则判定该学生专注力评价值达到模型要求；
如果pi<Mip，则判定该学生专注力评价值未达到模型要求；
S306、教师部将专注力评价值Pi通过第一显示终端进行显示，教师根据专注力评价值Pi进而对学生的状态进行判定，当判定结构为学生专注力评价值未达到模型要求时，则通过教师部向学生部发送提醒信号；
S307、眼动信号分析模块通过瞳孔直径及眼动状态，求解各学科的专注力评价值Pi曲线，教师通过专注力评价值Pi曲线进而调整后期教学计划。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010205746.1A CN111311995A (zh) | 2020-03-23 | 2020-03-23 | 一种基于增强现实技术的远程教学***及教学方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010205746.1A CN111311995A (zh) | 2020-03-23 | 2020-03-23 | 一种基于增强现实技术的远程教学***及教学方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111311995A true CN111311995A (zh) | 2020-06-19 |
Family
ID=71160708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010205746.1A Pending CN111311995A (zh) | 2020-03-23 | 2020-03-23 | 一种基于增强现实技术的远程教学***及教学方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111311995A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255431A (zh) * | 2021-04-02 | 2021-08-13 | 青岛小鸟看看科技有限公司 | 用于远程教学的提醒方法、装置及头戴显示设备 |
| CN113808447A (zh) * | 2021-08-27 | 2021-12-17 | 深圳市北辰教育科技发展有限公司 | 一种基于ai分析的网络教学方法及*** |
| CN114582185A (zh) * | 2022-03-14 | 2022-06-03 | 广州容溢教育科技有限公司 | 一种基于vr技术的智能教学*** |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104349119A (zh) * | 2013-07-24 | 2015-02-11 | 浙江大华技术股份有限公司 | 一种监控视频录制方法及装置 |
| CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| CN107411762A (zh) * | 2017-08-31 | 2017-12-01 | 杭州极智医疗科技有限公司 | 认知障碍诊疗设备 |
| CN107515677A (zh) * | 2017-08-31 | 2017-12-26 | 杭州极智医疗科技有限公司 | 注意力检测方法、装置和存储介质 |
| CN108881861A (zh) * | 2018-08-08 | 2018-11-23 | 湖北统讯智能科技有限公司 | 一种学生行为识别管理*** |
| CN108960065A (zh) * | 2018-06-01 | 2018-12-07 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
| US20190122437A1 (en) * | 2017-10-20 | 2019-04-25 | Raytheon Company | Field of View (FOV) and Key Code limited Augmented Reality to Enforce Data Capture and Transmission Compliance |
| CN109949187A (zh) * | 2019-03-01 | 2019-06-28 | 北华大学 | 一种新型物联网远程教学***及控制方法 |
| CN110135380A (zh) * | 2019-05-22 | 2019-08-16 | 东北大学 | 一种基于人脸检测的课堂专注度识别的方法 |
| CN110147163A (zh) * | 2019-05-20 | 2019-08-20 | 浙江工业大学 | 面向移动设备的多模型融合驱动的眼动跟踪方法和*** |
| CN110233841A (zh) * | 2019-06-11 | 2019-09-13 | 上海文景信息科技有限公司 | 一种基于ar全息眼镜的远程教育数据交互***及方法 |
| US20190295325A1 (en) * | 2015-04-06 | 2019-09-26 | Scope Technologies Us Inc. | Methods for augmented reality applications |
| CN110428678A (zh) * | 2019-08-12 | 2019-11-08 | 重庆工业职业技术学院 | 一种计算机在线教学管理*** |
| CN110730377A (zh) * | 2019-10-30 | 2020-01-24 | 阔地教育科技有限公司 | 基于互动课堂的短视频录制方法及装置 |
-
2020
- 2020-03-23 CN CN202010205746.1A patent/CN111311995A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104349119A (zh) * | 2013-07-24 | 2015-02-11 | 浙江大华技术股份有限公司 | 一种监控视频录制方法及装置 |
| US20190295325A1 (en) * | 2015-04-06 | 2019-09-26 | Scope Technologies Us Inc. | Methods for augmented reality applications |
| CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| CN107411762A (zh) * | 2017-08-31 | 2017-12-01 | 杭州极智医疗科技有限公司 | 认知障碍诊疗设备 |
| CN107515677A (zh) * | 2017-08-31 | 2017-12-26 | 杭州极智医疗科技有限公司 | 注意力检测方法、装置和存储介质 |
| US20190122437A1 (en) * | 2017-10-20 | 2019-04-25 | Raytheon Company | Field of View (FOV) and Key Code limited Augmented Reality to Enforce Data Capture and Transmission Compliance |
| CN108960065A (zh) * | 2018-06-01 | 2018-12-07 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
| CN108881861A (zh) * | 2018-08-08 | 2018-11-23 | 湖北统讯智能科技有限公司 | 一种学生行为识别管理*** |
| CN109949187A (zh) * | 2019-03-01 | 2019-06-28 | 北华大学 | 一种新型物联网远程教学***及控制方法 |
| CN110147163A (zh) * | 2019-05-20 | 2019-08-20 | 浙江工业大学 | 面向移动设备的多模型融合驱动的眼动跟踪方法和*** |
| CN110135380A (zh) * | 2019-05-22 | 2019-08-16 | 东北大学 | 一种基于人脸检测的课堂专注度识别的方法 |
| CN110233841A (zh) * | 2019-06-11 | 2019-09-13 | 上海文景信息科技有限公司 | 一种基于ar全息眼镜的远程教育数据交互***及方法 |
| CN110428678A (zh) * | 2019-08-12 | 2019-11-08 | 重庆工业职业技术学院 | 一种计算机在线教学管理*** |
| CN110730377A (zh) * | 2019-10-30 | 2020-01-24 | 阔地教育科技有限公司 | 基于互动课堂的短视频录制方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255431A (zh) * | 2021-04-02 | 2021-08-13 | 青岛小鸟看看科技有限公司 | 用于远程教学的提醒方法、装置及头戴显示设备 |
| CN113808447A (zh) * | 2021-08-27 | 2021-12-17 | 深圳市北辰教育科技发展有限公司 | 一种基于ai分析的网络教学方法及*** |
| CN114582185A (zh) * | 2022-03-14 | 2022-06-03 | 广州容溢教育科技有限公司 | 一种基于vr技术的智能教学*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110334610B (zh) | 一种基于计算机视觉的多维度课堂量化***及方法 | |
| CN111311995A (zh) | 一种基于增强现实技术的远程教学***及教学方法 | |
| CN108010394B (zh) | 一种基于vr的虚拟教学方法、控制终端、虚拟教学*** | |
| US11694565B2 (en) | Virtual and augmented reality instruction system | |
| CN111242962A (zh) | 远程培训视频的生成方法、装置、设备及存储介质 | |
| KR102308443B1 (ko) | 스마트 첨단 강의 및 녹화 시스템 | |
| CN211787619U (zh) | 一种远程教育教学*** | |
| CN111429316A (zh) | 一种基于增强现实眼镜的在线学习专注力检测***及方法 | |
| TWI674553B (zh) | 教學品質監測系統及方法 | |
| CN111325853B (zh) | 一种基于增强现实眼镜的远程辅导***及方法 | |
| CN112652200A (zh) | 人机交互***、方法、服务器、交互控制设备及存储介质 | |
| CN104575138A (zh) | 一种情景互动式多媒体***及其应用 | |
| CN110599835A (zh) | 一种交互式计算机远程教育*** | |
| CN203588489U (zh) | 一种情景教学设备 | |
| KR101757420B1 (ko) | 투명 디스플레이를 이용한 상호작용 기반의 원격 화상 통신 및 강의 시스템 | |
| CN116343311A (zh) | 一种基于人脸表情识别的虚拟人教学辅助*** | |
| CN110933350A (zh) | 一种电子云镜录播***、方法及装置 | |
| CN116781847A (zh) | 一种黑板板书导播方法、装置、设备及存储介质 | |
| JP2005234368A (ja) | 遠隔講義システム | |
| CN112634096A (zh) | 一种基于智能黑板的课堂管理方法及*** | |
| CN117440117A (zh) | 一种网络智慧实训室远程教学眼动切换***与方法 | |
| CN209748700U (zh) | 一种异地视频会议*** | |
| CN112423035A (zh) | 一种在vr头显中观看全景视频自动提取用户视觉关注点的方法 | |
| TWM581261U (zh) | Cognitive learning system | |
| Ly et al. | 360TourGuiding: Towards virtual reality training for tour guiding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200619 |
|
| RJ01 | Rejection of invention patent application after publication |