CN106846949A - 一种远程情感教学*** - Google Patents

一种远程情感教学*** Download PDF

Info

Publication number
CN106846949A
CN106846949A CN201710130155.0A CN201710130155A CN106846949A CN 106846949 A CN106846949 A CN 106846949A CN 201710130155 A CN201710130155 A CN 201710130155A CN 106846949 A CN106846949 A CN 106846949A
Authority
CN
China
Prior art keywords
module
client
teacher
analysis module
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710130155.0A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gold Blue Collar Education And Science Co Ltd Of Foshan City
Original Assignee
Gold Blue Collar Education And Science Co Ltd Of Foshan City
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gold Blue Collar Education And Science Co Ltd Of Foshan City filed Critical Gold Blue Collar Education And Science Co Ltd Of Foshan City
Priority to CN201710130155.0A priority Critical patent/CN106846949A/zh
Publication of CN106846949A publication Critical patent/CN106846949A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种远程情感教学***，其包括图像采集模块、颜色分析模块、像素统计模块、特征点分析模块、建模模块、数据库、情绪分析模块、大数据处理模块、教师客户端、学生客户端、教学辅助模块，通过软件***对学习者进行拍摄，并通过网络服务器辅助对图像进行处理分析，建立人面模型分析学习者的微表情变化和行为动态，从而判断学习者的情感变化并向教师发出提醒，实现情感教学。本发明提供的***具有智能化分析、情感辅助教学的优点。

Description

一种远程情感教学***
技术领域
本发明属于信息化远程教学技术领域，尤其涉及一种远程情感教学***。
背景技术
情感能力是人类智能的重要标志，情感的缺失会影响网络远程教育的教学质量和学习者的学习效果。情感计算机技术是和谐人机交互与人工智能领域中新的研究方向。在网络远程教育***中应用情感计算理论与技术，可以进一步优化网络远程教育的功能，帮助教师监测远程学习者的情感变化，调整教学策略和方法，实时给予学习者情感的反馈，使教学质量达到最佳。
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。
微表情，是心理学名词。人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部会“泄露”出其它的信息。“微表情”最短可持续1/25秒，虽然一个下意识的表情可能只持续一瞬间，但这种特性，很容易暴露情绪。当面部在做某个表情时，这些持续时间极短的表情会突然一闪而过，而且有时表达相反的情绪。“微表情”一闪而过，通常甚至清醒的作表情的人和观察者都察觉不到。在实验里，只有10%的人察觉到。比起人们有意识做出的表情，“微表情”更能体现人们真实的感受和动机。
在人面识别的基础上再结合“微表情”的进行人面分析，利用计算机的高速捕捉和计算能力能更好地识别和分析出人的微表情变化，从而可以判断出分析对象的情感。
发明内容
基于现有技术存在上述问题，本发明提供一种远程情感教学***，其包括图像采集模块、颜色分析模块、像素统计模块、特征点分析模块、建模模块、数据库、情绪分析模块、大数据处理模块、教师客户端、学生客户端、教学辅助模块，通过软件***对学习者进行拍摄，并通过网络服务器辅助对图像进行处理分析，建立人面模型分析学习者的微表情变化和行为动态，从而判断学习者的情感变化并向教师发出提醒，实现情感教学。本发明提供的***具有智能化分析、情感辅助教学的优点。
一种远程情感教学***，其包括图像采集模块、颜色分析模块、像素统计模块、特征点分析模块、建模模块、数据库、情绪分析模块、大数据处理模块、教师客户端、学生客户端、教学辅助模块；
图像采集模块连接到教师客户端和学生客户端的拍摄设备，通过拍摄设备对人像进行拍摄，并根据颜色分析模块的信息反馈控制拍摄设备调整拍摄角度和拍摄焦距，以拍摄最佳图像；
颜色分析模块接收图像采集模块所采集到的图像，分析图像的颜色参数、根据图像颜色变化判断人面的范围，将人面位置反馈到图像分析模块并将人面位置信息发送到像素统计模块；
像素统计模块接收人面位置信息后对人面位置图像进行像素化、结合数据库人面特征数据对图像像素进行像素统计人面识别；
特征点分析模块根据像素统计模块分析的人面结果结合数据库中微表情特征进行分析、定义人面特征点；
建模模块将像素统计模块和特征点分析模块的分析结果结合生成人面模型，并在模型上标定特征点，根据特征点分析模块的实时分析调整特征点位置，记录特征点位置变化位移；
情绪分析模块更据人面模型上的特征点位置变化位移，调用数据库中的微表情特征和心理行为特征分析人物情绪和情绪的变化，并将学员的情绪状态反应到教师客户端，提醒教师调整教学；
大数据处理模块连接到互联网服务器，采集互联网数据并协助颜色分析模块、像素统计模块和特征点分析模块进行对应的大数据分析计算，根据分析结果更新数据库信息；
教师客户端连接到备课辅助模块、情感分析模块，实时录制教学视频并将视频转播到学生客户端，并根据情感分析模块的分析结果提醒教师学员的状态；
学生客户端连接到教师客户端，播放教师客户端录制的视频，并录制学员的学习视频，将学习视频传输到情感分析模块和教师客户端；当学生提问时将问题发送到教师客户端和同班学生客户端；
教学辅助模块收录学生档案，按课程分配学生班级，储存教师的备课内容。
其中，所述的情绪分析模块包括微表情分析模块和行为分析模块，结合微表情和行为动作判断出学员状态。
其中，所述的数据库包括人面特征数据库、微表情特征数据库和心理行为特征数据库。
其中，所述的图像采集模块包括静态图像采集模块和动态图像采集模块，静态图像采集模块采集人面的静态图像，动态图像采集模块采集人面的动态图像。
其中，所述的数据库包括本地数据库和互联数据库。
其中，所述的学生客户端可以将教师客户端录制的视频储存在学生个人计算机中。
具体实施方式
下面结合具体实施例对本发明作进一步的描述。
一种远程情感教学***，其包括图像采集模块、颜色分析模块、像素统计模块、特征点分析模块、建模模块、数据库、情绪分析模块、大数据处理模块、教师客户端、学生客户端、教学辅助模块；
图像采集模块连接到教师客户端和学生客户端的拍摄设备，通过拍摄设备对人像进行拍摄，并根据颜色分析模块的信息反馈控制拍摄设备调整拍摄角度和拍摄焦距，以拍摄最佳图像；
颜色分析模块接收图像采集模块所采集到的图像，分析图像的颜色参数、根据图像颜色变化判断人面的范围，将人面位置反馈到图像分析模块并将人面位置信息发送到像素统计模块；
像素统计模块接收人面位置信息后对人面位置图像进行像素化、结合数据库人面特征数据对图像像素进行像素统计人面识别；
特征点分析模块根据像素统计模块分析的人面结果结合数据库中微表情特征进行分析、定义人面特征点；
建模模块将像素统计模块和特征点分析模块的分析结果结合生成人面模型，并在模型上标定特征点，根据特征点分析模块的实时分析调整特征点位置，记录特征点位置变化位移；
情绪分析模块更据人面模型上的特征点位置变化位移，调用数据库中的微表情特征和心理行为特征分析人物情绪和情绪的变化，并将学员的情绪状态反应到教师客户端，提醒教师调整教学；
大数据处理模块连接到互联网服务器，采集互联网数据并协助颜色分析模块、像素统计模块和特征点分析模块进行对应的大数据分析计算，根据分析结果更新数据库信息；
教师客户端连接到备课辅助模块、情感分析模块，实时录制教学视频并将视频转播到学生客户端，并根据情感分析模块的分析结果提醒教师学员的状态；
学生客户端连接到教师客户端，播放教师客户端录制的视频，并录制学员的学习视频，将学习视频传输到情感分析模块和教师客户端；当学生提问时将问题发送到教师客户端和同班学生客户端；
教学辅助模块收录学生档案，按课程分配学生班级，储存教师的备课内容。
作为选实施例，所述的情绪分析模块包括微表情分析模块和行为分析模块，结合微表情和行为动作判断出学员状态。
作为选实施例，所述的数据库包括人面特征数据库、微表情特征数据库和心理行为特征数据库。
作为选实施例，所述的图像采集模块包括静态图像采集模块和动态图像采集模块，静态图像采集模块采集人面的静态图像，动态图像采集模块采集人面的动态图像。
作为选实施例，所述的数据库包括本地数据库和互联数据库。
作为选实施例，所述的学生客户端可以将教师客户端录制的视频储存在学生个人计算机中。
以上所述实施例仅表达了本发明的一种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种远程情感教学***，其包括图像采集模块、颜色分析模块、像素统计模块、特征点分析模块、建模模块、数据库、情绪分析模块、大数据处理模块、教师客户端、学生客户端、教学辅助模块；
图像采集模块连接到教师客户端和学生客户端的拍摄设备，通过拍摄设备对人像进行拍摄，并根据颜色分析模块的信息反馈控制拍摄设备调整拍摄角度和拍摄焦距，以拍摄最佳图像；
颜色分析模块接收图像采集模块所采集到的图像，分析图像的颜色参数、根据图像颜色变化判断人面的范围，将人面位置反馈到图像分析模块并将人面位置信息发送到像素统计模块；
像素统计模块接收人面位置信息后对人面位置图像进行像素化、结合数据库人面特征数据对图像像素进行像素统计人面识别；
特征点分析模块根据像素统计模块分析的人面结果结合数据库中微表情特征进行分析、定义人面特征点；
建模模块将像素统计模块和特征点分析模块的分析结果结合生成人面模型，并在模型上标定特征点，根据特征点分析模块的实时分析调整特征点位置，记录特征点位置变化位移；
情绪分析模块更据人面模型上的特征点位置变化位移，调用数据库中的微表情特征和心理行为特征分析人物情绪和情绪的变化，并将学员的情绪状态反应到教师客户端，提醒教师调整教学；
大数据处理模块连接到互联网服务器，采集互联网数据并协助颜色分析模块、像素统计模块和特征点分析模块进行对应的大数据分析计算，根据分析结果更新数据库信息；
教师客户端连接到备课辅助模块、情感分析模块，实时录制教学视频并将视频转播到学生客户端，并根据情感分析模块的分析结果提醒教师学员的状态；
学生客户端连接到教师客户端，播放教师客户端录制的视频，并录制学员的学习视频，将学习视频传输到情感分析模块和教师客户端；当学生提问时将问题发送到教师客户端和同班学生客户端；
教学辅助模块收录学生档案，按课程分配学生班级，储存教师的备课内容。
2.根据权利要求1所述的远程情感教学***，其特征在于，所述的情绪分析模块包括微表情分析模块和行为分析模块，结合微表情和行为动作判断出学员状态。
3.根据权利要求1所述的远程情感教学***，其特征在于，所述的数据库包括人面特征数据库、微表情特征数据库和心理行为特征数据库。
4.根据权利要求1所述的远程情感教学***，其特征在于，所述的图像采集模块包括静态图像采集模块和动态图像采集模块，静态图像采集模块采集人面的静态图像，动态图像采集模块采集人面的动态图像。
5.根据权利要求1所述的远程情感教学***，其特征在于，所述的数据库包括本地数据库和互联数据库。
6.根据权利要求1所述的远程情感教学***，其特征在于，所述的学生客户端可以将教师客户端录制的视频储存在学生个人计算机中。
CN201710130155.0A 2017-03-07 2017-03-07 一种远程情感教学*** Pending CN106846949A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710130155.0A CN106846949A (zh) 2017-03-07 2017-03-07 一种远程情感教学***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710130155.0A CN106846949A (zh) 2017-03-07 2017-03-07 一种远程情感教学***

Publications (1)

Publication Number Publication Date
CN106846949A true CN106846949A (zh) 2017-06-13

Family

ID=59138219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710130155.0A Pending CN106846949A (zh) 2017-03-07 2017-03-07 一种远程情感教学***

Country Status (1)

Country Link
CN (1) CN106846949A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN107492056A (zh) * 2017-08-25 2017-12-19 宁波纷享软件科技有限公司 特殊教学用的移动终端及实现方法
CN107844762A (zh) * 2017-10-25 2018-03-27 大连三增上学教育科技有限公司 信息处理方法及***
CN109101933A (zh) * 2018-08-21 2018-12-28 重庆乐教科技有限公司 一种基于人工智能的情绪行为可视化分析方法
CN109523852A (zh) * 2018-11-21 2019-03-26 合肥虹慧达科技有限公司 基于视觉监控的学习交互***及其交互方法
CN110059614A (zh) * 2019-04-16 2019-07-26 广州大学 一种基于人脸情绪识别的智能辅助教学方法及***
CN110428678A (zh) * 2019-08-12 2019-11-08 重庆工业职业技术学院 一种计算机在线教学管理***
CN111803097A (zh) * 2020-08-15 2020-10-23 吉林医药学院附属医院 一种基于大数据的病人心理状态检测***
CN114998975A (zh) * 2022-07-15 2022-09-02 电子科技大学成都学院 一种基于大数据的外语教学方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010083866A (ko) * 2001-04-12 2001-09-03 조인형 인터넷을 기반으로 하는 모니터 탑형 시뮬레이션학습시스템 및 학습방법
KR20060121679A (ko) * 2005-05-25 2006-11-29 오끼 덴끼 고오교 가부시끼가이샤 화상 합성 장치, 그리고 그 장치를 사용한 통신 단말기 및화상 커뮤니케이션 시스템, 그리고 그 시스템에 있어서의채팅 서버
CN101604382A (zh) * 2009-06-26 2009-12-16 华中师范大学 一种基于面部表情识别的学习疲劳识别干预方法
CN102945624A (zh) * 2012-11-14 2013-02-27 南京航空航天大学 基于云计算模型和表情信息反馈的智能化视频教学***
CN203706473U (zh) * 2013-12-11 2014-07-09 上海远驰专修学院 一种远程网络教学***
CN104299178A (zh) * 2014-07-11 2015-01-21 北京神州智联科技有限公司 一种基于面部识别的网络教学方法及***
CN104464406A (zh) * 2013-09-12 2015-03-25 郑州学生宝电子科技有限公司 一种实时互动的在线学习平台
CN106127139A (zh) * 2016-06-21 2016-11-16 东北大学 一种mooc课程中学生面部表情的动态识别方法
CN106372614A (zh) * 2016-09-13 2017-02-01 南宁市远才教育咨询有限公司 一种上课纪律监控提醒辅助装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010083866A (ko) * 2001-04-12 2001-09-03 조인형 인터넷을 기반으로 하는 모니터 탑형 시뮬레이션학습시스템 및 학습방법
KR20060121679A (ko) * 2005-05-25 2006-11-29 오끼 덴끼 고오교 가부시끼가이샤 화상 합성 장치, 그리고 그 장치를 사용한 통신 단말기 및화상 커뮤니케이션 시스템, 그리고 그 시스템에 있어서의채팅 서버
CN101604382A (zh) * 2009-06-26 2009-12-16 华中师范大学 一种基于面部表情识别的学习疲劳识别干预方法
CN102945624A (zh) * 2012-11-14 2013-02-27 南京航空航天大学 基于云计算模型和表情信息反馈的智能化视频教学***
CN104464406A (zh) * 2013-09-12 2015-03-25 郑州学生宝电子科技有限公司 一种实时互动的在线学习平台
CN203706473U (zh) * 2013-12-11 2014-07-09 上海远驰专修学院 一种远程网络教学***
CN104299178A (zh) * 2014-07-11 2015-01-21 北京神州智联科技有限公司 一种基于面部识别的网络教学方法及***
CN106127139A (zh) * 2016-06-21 2016-11-16 东北大学 一种mooc课程中学生面部表情的动态识别方法
CN106372614A (zh) * 2016-09-13 2017-02-01 南宁市远才教育咨询有限公司 一种上课纪律监控提醒辅助装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233398A1 (zh) * 2017-06-23 2018-12-27 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN107292271B (zh) * 2017-06-23 2020-02-14 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
US10891873B2 (en) 2017-06-23 2021-01-12 Beijing Yizhen Xuesi Education Technology Co., Ltd. Method and apparatus for monitoring learning and electronic device
CN107492056B (zh) * 2017-08-25 2020-11-06 福州华博立乐新材料科技有限公司 特殊教学用的移动终端及实现方法
CN107492056A (zh) * 2017-08-25 2017-12-19 宁波纷享软件科技有限公司 特殊教学用的移动终端及实现方法
CN107844762A (zh) * 2017-10-25 2018-03-27 大连三增上学教育科技有限公司 信息处理方法及***
CN109101933A (zh) * 2018-08-21 2018-12-28 重庆乐教科技有限公司 一种基于人工智能的情绪行为可视化分析方法
CN109101933B (zh) * 2018-08-21 2021-05-28 重庆乐教科技有限公司 一种基于人工智能的情绪行为可视化分析方法
CN109523852A (zh) * 2018-11-21 2019-03-26 合肥虹慧达科技有限公司 基于视觉监控的学习交互***及其交互方法
CN110059614A (zh) * 2019-04-16 2019-07-26 广州大学 一种基于人脸情绪识别的智能辅助教学方法及***
CN110428678A (zh) * 2019-08-12 2019-11-08 重庆工业职业技术学院 一种计算机在线教学管理***
CN111803097A (zh) * 2020-08-15 2020-10-23 吉林医药学院附属医院 一种基于大数据的病人心理状态检测***
CN114998975A (zh) * 2022-07-15 2022-09-02 电子科技大学成都学院 一种基于大数据的外语教学方法及装置

Similar Documents

Publication Publication Date Title
CN106846949A (zh) 一种远程情感教学***
Dewan et al. A deep learning approach to detecting engagement of online learners
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估***
US9666088B2 (en) Video-based teacher assistance
CN108399376A (zh) 学生课堂学习兴趣智能分析方法及***
CN106919922A (zh) 一种防作弊远程考试***
CN107292271A (zh) 学习监控方法、装置及电子设备
CN110175534A (zh) 基于多任务级联卷积神经网络的授课辅助***
KR20120065111A (ko) 몰입도 평가 기반 맞춤형 온라인 학습 방법 및 시스템
CN106652605A (zh) 一种远程情感教学方法
Lakshmiprabha et al. [Poster] An augmented and virtual reality system for training autistic children
KR20100016696A (ko) 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법
Ma et al. A deep learning approach for online learning emotion recognition
CN112331001A (zh) 一种基于虚拟现实技术的教学***
Butko et al. Automated facial affect analysis for one-on-one tutoring applications
Banda et al. Multimodal affect recognition in intelligent tutoring systems
CN106919924A (zh) 一种基于人面识别的情绪分析***
CN111666829A (zh) 多场景多主体身份行为情绪识别分析方法及智能监管***
Ashwin et al. Unobtrusive students' engagement analysis in computer science laboratory using deep learning techniques
CN110742404A (zh) 一种学生学习保护视力的装置和方法
CN116343311A (zh) 一种基于人脸表情识别的虚拟人教学辅助***
Chen et al. Intelligent Recognition of Physical Education Teachers' Behaviors Using Kinect Sensors and Machine Learning.
CN111199378A (zh) 学员管理方法、装置、电子设备及存储介质
Dharmawansa et al. Introducing and Evaluating the Behavior of Non-Verbal Features in the Virtual Learning.
Rathi et al. Embedding affect awareness into online learning environment using deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170613