CN109523852A - 基于视觉监控的学习交互***及其交互方法 - Google Patents
基于视觉监控的学习交互***及其交互方法 Download PDFInfo
- Publication number
- CN109523852A CN109523852A CN201811391208.5A CN201811391208A CN109523852A CN 109523852 A CN109523852 A CN 109523852A CN 201811391208 A CN201811391208 A CN 201811391208A CN 109523852 A CN109523852 A CN 109523852A
- Authority
- CN
- China
- Prior art keywords
- information
- interactive
- module
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种基于视觉监控的学习交互***及其交互方法。所述基于视觉监控的学习交互***包括：视觉监控模块：用于采集人脸图像，并定义人脸图像的特征内容；信息管理模块：用于存储视觉监控模块采集、定义的人脸图像数据，并获取多媒体信息的节点；交互控制模块：用于传递、处理交互信息，在多媒体信息中标记交互信息点；显示控制模块：用于播放和/或控制交互控制模块传递的多媒体信息和/或交互信息，以实现交互。本发明的基于视觉监控的学习交互***及其交互方法，通过设置视觉监控模块来实时监测分析用户的学习状态，并根据检测到的学习状态对多媒体信息内容进行标记调整，有效提升了用户的学习效率。
Description
技术领域
本发明涉及一种基于视觉监控的学习交互***及其交互方法，属于行为检测技术领域。
背景技术
随着科技的不断进步，依托信息和通讯技术(ICT)视频教育逐步兴起，相比传统教育模式中必须有固定的学习场所和专门的教师等限制条件，视频教育的兴起从根本上打破了传统教育在时间、空间上的限制，方便人们随时随地的学习、阅读。
然而，由于视频教育多是通过电脑、手机等移动设备进行，使得学习者在学习或阅读的过程中，无法体会到传统学习过程中的真实感；致使通过视频教育进行学习或阅读时，学习者需自主实施学习，继而导致视频教育学习时的学习效果较差。因此如何提供一种可在视频教育过程中监测学习者学习和阅读状态，并与学习者产生互动，使得学习者在学习和阅读的过程中专注于视频内容，提升学习者的学习效果，成为现有的视频教育的重中之重。
有鉴于此，有必要提供一种新的视频教育***，以解决上述问题。
发明内容
本发明的目的在于提供一种基于视觉监控的学习交互***及其交互方法，以在对用户的学习状态进行监控的同时，实现用户和多媒体信息之间的互动，以提升用户在使用学习交互***时的学习效果。
为实现上述发明目的，本发明提供了一种基于视觉监控的学习交互***，所述基于视觉监控的学习交互***包括：
视觉监控模块：用于采集人脸图像，并定义人脸图像的特征内容；
信息管理模块：与所述视觉监控模块电性连接，用于存储视觉监控模块采集、定义的人脸图像的相关信息，并获取存储/预存在所述信息管理模块中的多媒体信息的节点；
交互控制模块：分别与所述视觉监控模块、信息管理模块电性连接，用于传递、处理交互信息，并根据交互信息在多媒体信息中标记交互信息点；
显示控制模块：与所述交互控制模块电性连接，包括显示控制模块4和操作单元，以用于播放和/或控制交互控制模块传递的多媒体信息和/或交互信息，以实现交互。
作为本发明的进一步改进，所述视觉监控模块包括图像提取单元、位置分析单元和图像定义单元，所述图像提取单元用于获取用户的人脸图像，所述图像定义单元用于根据人脸图像定义用户的个性图像并标记个性图像的个性特征点，所述位置分析单元用于获取个性图像的位置信息及个性特征点的位移信息。
作为本发明的进一步改进，所述图像提取单元包括动态图像提取装置和静态图像提取装置，以分别用于采集用户的动态人脸图像和静态人脸图像。
作为本发明的进一步改进，所述信息管理模块包括图像识别单元、数据存储单元和数据处理单元，所述图像识别单元用于识别视觉监控模块定义的个性图像，并根据位置分析单元传递的个性图像的位置信息，实时分析记录个性图像的偏移距离及个性特征点的相对偏移位置。
作为本发明的进一步改进，所述数据存储单元包括本地数据库和互联网数据库，所述视觉监控模块定义、标记的人脸图像存储在本地数据库中，所述本地数据库还预存有微表情特征和心理行为特征的状态分析数据。
作为本发明的进一步改进，所述数据处理单元用于将采集到的人脸图像与对应的个性图像进行拟合，获取用户的微表情图像，并将所述微表情图像与状态分析数据进行匹配，获取用户的学习状态。
作为本发明的进一步改进，所述数据处理单元用于对本地数据库和互联网数据库中的多媒体信息进行编辑，所述数据处理单元搭载有PageRank算法、TextRank算法、TextTeaser算法及LexRank算法中的一种或几种，以提取多媒体信息中的关键信息，所述数据处理单元根据关键信息划分多媒体信息的节点，并根据关键信息在本地数据库和/或互联网数据库中匹配联想信息。
作为本发明的进一步改进，所述交互控制模块包括语音识别单元、动作识别单元、图形识别单元、状态识别单元及手势识别单元，以至少对交互信息和/或图像信息中包含的语音信息、图像变化信息、图形信息、运动轨迹、学习状态信息及手势信息进行识别，当所述交互控制模块获取的交互信息为学习状态信息时，所述交互控制模块可直接/间接的对多媒体信息进行交互信息点的标记，并在多媒体信息的节点处暂停和/或调用与节点匹配的联想信息。
作为本发明的进一步改进，所述动作识别单元至少包括红外摄像头、双目视觉传感器、激光散斑检测装置、深度摄像头及单目摄像头中的一种或几种。
作为本发明的进一步改进，所述操作单元用于输入交互信息和/或控制信息，以通过所述交互控制模块控制/推进多媒体信息的进行。
为实现上述发明目的，本发明还提供一种基于视觉监控的学习交互***的交互方法，所述基于视觉监控的学习交互***包括交互控制模块、分别与所述交互控制模块电性连接的视觉监控模块、信息管理模块及显示控制模块，所述基于视觉监控的学习交互***的交互方法主要包括以下步骤：
S1、所述交互控制模块根据所述显示控制模块传递的控制指令，调用信息管理模块中的多媒体信息，并通过显示控制模块进行播放；
S2、用户在观看显示控制模块播放的内容时，所述视觉监控模块实时采集用户的人脸图像，根据采集到的人脸图像定义用户的个性图像并标记个性图像的个性特征点，并将用户的个性图像和个性特征点发送至信息管理模块进行存储；
S3、所述信息管理模块将实时采集到的人脸图像与个性图像进行拟合，以获取用户的微表情信息，并根据所述微表情信息实时获取用户的学习状态，交互控制模块接收用户学习状态信息，并调节/标记多媒体播放内容；
S4、交互控制模块接收用户发送的交互信息或用户根据多媒体信息中包含的交互控制指令通过交互信息进行回应，实现用户与多媒体信息之间的互动，并推进多媒体信息的发展。
作为本发明的进一步改进，还包括步骤S5：视觉监控模块中的位置分析单元实时对人脸图像与显示控制模块之间的相对距离进行监控，当用户的人脸图像与显示控制模块之间的相对距离过近时，所述位置分析单元向交互控制模块发送警示信息，并通过显示控制模块提醒用户。
本发明的有益效果是：本发明的基于视觉监控的学习交互***及其交互方法，通过设置视觉监控模块实时监测分析用户的学习状态，并通过学习状态信息对多媒体信息内容进行标记调整，一方面以根据用户的实际情况针对性的提供、展示适合用户的多媒体信息，合理调整用户的学习内容和时间，另一方面，实现了用户和学习/阅读内容之间的互动，达到了联想信息和学习/书籍内容的有机结合，有效提升了视频教育的学习效果。
附图说明
图1是本发明基于视觉监控的学习交互***的模块结构框图。
图2是本发明人脸表情提取过程的流程图。
图3是本发明基于视觉监控的学习交互***的交互方法的流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
请参阅图1～图2所示，本发明揭示了一种基于视觉监控的学习交互***100。所述基于视觉监控的学习交互***100包括视觉监控模块1、与所述视觉监控模块1电性连接的信息管理模块2、分别与所述视觉监控模块1和所述信息管理模块2电性连接的交互控制模块3以及与所述交互控制模块3电性连接的显示控制模块4。
所述基于视觉监控的学习交互***100通过设置视觉监控模块1以实时对用户的学习状态进行监控，并通过信息管理模块2对所述视觉监控模块1获取的人脸图像进行处理，匹配适合用户的多媒体信息，并进一步通过交互控制模块3和显示控制模块4进行交互和显示，有效提升了用户在使用基于视觉监控的学习交互***100进行学习时的学习效果。
所述视觉监控模块1包括图像提取单元11、图像定义单元12和位置分析单元13。所述图像提取单元11用于获取用户的人脸图像，具体来讲，所述图像提取单元11包括动态图像提取装置111和静态图像提取装置112，以分别用于采集用户的动态人脸图像和静态人脸图像。
所述图像定义单元12用于接收所述图像提取单元11传递的人脸图像，并根据人脸图像定义用户的个性图像且标记个性图像的个性特征点。具体来讲，所述静态图像提取装置112获取的静态人脸图像主要用于定义用户的个性图像，所述图像定义单元12在接收到所述静态图像提取装置112采集到的静态人脸图像后，对静态人脸图像的人脸轮廓、五官位置等个性信息进行提取，并根据个性信息定义用户的个性图像，个性图像定义结束后，当所述图像提取单元11再次采集到与个性图像的个性信息匹配的人脸图像后，可通过信息管理模块2自动匹配用户，如此设置，可方便基于视觉监控的学习交互***100根据用户的使用习惯调整多媒体信息的播放内容/时间。
需要说明的是，在本发明的一个实施例中，所述个性图像为静态图像提取装置112在多次提取同一用户静态人脸图像后拟合获得的个性图像，如此获得个性图像可更加准确的反映用户个性图像的特征，便于信息管理模块2快速准确的识别用户的人脸图像。
所述人脸图像中个性特征点的标记主要由所述图像定义单元12根据获取的动态人脸图像标记获得。具体来讲，定义个性图像后，图像定义单元12可对动态图像提取装置111采集的多个动态人脸图像进行拟合，以获取动态人脸图像中运动频率较大的几点作为个性图像中的个性特征点，所述个性特征点可准确的反映用户面部表情的变化。
所述位置分析单元13用于获取个性图像的位置信息及个性特征点的位移信息，即，在本发明中，所述位置分析单元13可同时定义个性图像和个性特征点的标准位置、动态人脸图像的偏移距离及个性特征点的相对偏移位置。具体来讲，所述位置分析单元13可根据用户的使用位置标记个性图像及个性特征点的标准位置，当个性图像偏离标准位置时，位置分析单元13通过采集个性特征点与相对标准位置之间的偏移距离，对用户的面部朝向进行偏离距离的测定，并将偏离距离发送给信息管理模块2进行匹配、判断。
所述位置分析单元13还可对个性特征点的相对偏移位置进行标记，在本发明中，定义图像提取单元11实时获取的人脸图像所在的位置为实时位置，当用户的表情发生变化时，人脸图像会随之发生变化，此时，人脸图像中个性特征点相对个性图像的位置将随之发生变化，则人脸图像中的个性特征点与处于实时位置处的个性图像中的个性特征点之间的相对位移，即为个性特征点的相对偏移位置，位置分析单元13在对相对偏移位置进行标记后，可将标记后的相对偏移位置传递至信息管理模块2进行进一步的分析处理。
进一步的，所述位置分析单元13还可对人脸图像与显示控制模块4之间的相对距离进行监控，并传递至信息管理模块2中进行判断，且当相对距离过近时，信息管理模块2通过交互控制模块3向所述显示控制模块4发送交互控制信息，提醒用户注意用眼卫生，防止用户在使用基于视觉监控的学习交互***100时，与所述显示控制模块4之间的距离过近，造成眼疲劳或驼背等问题的发生。
所述信息管理模块2分别与所述图像提取单元11、图像定义单元12和位置分析单元13电性连接，以获取图像提取单元11采集的人脸图像、图像定义单元12定义、标记的个性图像和个性特征点以及位置分析单元13获取的有关个性图像和个性特征点的位置信息和位移信息。进一步的，在本发明中，所述信息管理模块2还用于存储/预存多媒体信息并对多媒体信息进行处理。
所述信息管理模块2包括图像识别单元21、数据存储单元22和数据处理单元23。所述图像识别单元21用于识别图像提取单元11采集的人脸图像，并接收所述位置分析单元13传递的动态人脸图像和个性特征点的偏移距离及相对偏移位置，以实时分析记录个性图像和个性特征点的位置变化信息。
所述数据存储单元22用于存储多媒体信息，所述数据存储单元22包括本地数据库和互联网数据库，所述图像定义单元12定义、标记的个性图像和个性标记点存储在本地数据库中，进一步的，所述本地数据库还预存有微表情特征和心理行为特征的状态分析数据；且在本发明的一个实施例中，所述数据存储单元22还设有信息交互端口，所述信息交互端口至少包括HDMI接口、USB接口、I/O接口、无线网关或以太网接口中的一种或几种，且所述数据存储单元22可在所述交互控制模块3的控制下，通过所述信息交互端口直接/间接获取多媒体信息。
具体来讲，当多媒体信息支持缓存/下载时，用户可直接将所需的多媒体信息存储在本地数据库中，当所述多媒体信息不支持缓存/下载时，数据存储单元22可通过所述互联网数据库直接调用多媒体信息，具体来讲，在本发明的一个实施例中，所述互联网数据库中存储的内容为有关多媒体信息的网络数据节点，所述数据处理单元23可通过互联网数据库直接匹配调用网络中的多媒体数据，并通过显示控制模块4进行播放。
所述数据处理单元23用于接收图像识别单元21识别的人脸图像，并将人脸图像中的个性特征点和个性特征点的位置变化信息与存储在本地数据库中的个性图像进行匹配拟合，获取用户的微表情图像，获取微表情图像后，数据处理单元23将微表情图像与存储在本地数据库中的状态分析数据进行匹配，获取用户的学习状态，以根据用户的学习状态调整调用的多媒体信息的内容和/或时长。
需要说明的是，当所述图像识别单元21识别、传递到的人脸图像不存在于本地数据库中时，所述数据处理单元23可接受图像定义单元12定义标记的个性图像及相应的个性标记点，并在本地数据库中建立与所述个性图像匹配的新的用户；进一步根据已保存的新的用户的个性图像和/或个性特征点对人脸图像进行学习状态的识别及多媒体信息的调用。
所述数据处理单元23还用于对本地数据库和互联网数据库中的多媒体信息进行编辑处理。所述数据处理单元23搭载有PageRank算法、TextRank算法TextTeaser算法及LexRank算法中的一种或几种，所述数据处理单元23通过所述算法提取多媒体信息中的关键信息，并根据所述关键信息划分多媒体信息的节点，由于每个所述多媒体信息的节点对应的关键信息不同，所述数据处理单元23可根据每个多媒体信息的节点对应的关键信息在本地数据库和/或互联网数据库中匹配与之相关的联想信息。进一步的，所述多媒体信息和联想信息包括但不限于语音信息、视频信息、图片信息及文本文档信息。
在本发明中，相邻两个多媒体信息的节点之间还分散有不同的子节点，所述子节点所包含的子关键信息是与所述关键信息相关的延伸/联想信息，所述子节点的选取可协助用户在通过所述基于视觉监控的学习交互***100学习/阅读时，对学习/阅读的内容进行开拓延伸，以提升用户对学习/阅读的内容的理解，以深化学习内容。
进一步的，在本发明中，所述数据处理单元23还可对同一用户的学习状态进行统计分析，根据用户在学习/阅读中学习状态的统计数据，分析用户的专注时间和记忆曲线等与用户自身学习能力有关的信息，并根据用户自身的学习能力调节多媒体信息的播放时长、多媒体信息的节点和子节点位置处的联想信息的内容，以保证用户始终处于一种较为集中的学习状态。
所述交互控制模块3分别与所述视觉监控模块1、信息管理模块2电性连接，用于传递、处理交互信息，并根据交互信息在多媒体信息中标记交互信息点，以获取用户在交互信息点的学习状态。
所述交互控制模块3包括语音识别单元、动作识别单元、图形识别单元、状态识别单元及手势识别单元，以至少对交互信息和/或人脸图像中包含的语音信息、图像变化信息、图形信息、运动轨迹、学习状态信息及手势信息进行识别；其中，所述动作识别单元至少包括红外摄像头、双目视觉传感器、激光散斑检测装置、深度摄像头及单目摄像头中的一种或几种。
进一步的，所述交互控制模块3还可在多媒体信息中标记交互信息点；在本发明中，所述交互信息点的标记既可通过用户发送的交互信息定位获取；也可通过学习状态信息定位获取。
具体来讲，当用户发出交互信息并被所述交互控制模块3检测并识别后，交互控制模块3直接在多媒体信息中标记所述交互信息点，进一步的，所述数据处理单元23对交互信息点的内容进行分析统计，获取交互信息点对应的关键信息，并根据关键信息内容在数据存储单元22中匹配联想信息。
当所述交互信息点通过用户的学习状态信息获取时，所述学习状态信息为由数据处理单元23通过图像提取单元11采集到的人脸图像分析匹配获得，交互控制模块3接收到学习状态信息后，在多媒体信息中标记交互信息点，此时，所述交互信息点匹配的联想信息类型与用户的学习状态信息有关。
具体来讲，当所述数据处理单元23对人脸表情的分析确定人脸表情为“疑惑”等表示疑问的微表情信息时，所述数据处理单元23为所述交互信息点匹配的联想信息为与所述交互信息点处的关键信息相关的背景信息、发展信息等与所述关键信息相关的实质内容；而当所述数据处理单元23对人脸表情的分析确定人脸表情为“疲惫”等表示注意力下降的微表情信息时，所述数据处理单元23为所述交互信息点匹配的联想信息为音乐、互动游戏等舒缓用户情绪的联想信息。
进一步的，当相邻两个多媒体信息的节点之间多次识别出“疲惫”或“疑惑”等显示用户学习状态下降的学习状态信息时，所述数据处理单元23在多媒体信息播放进程的远端的节点位置处进行终止标记，当多媒体信息播放至终止标记处时，所述多媒体信息播放结束，此时所述基于视觉监控的学习交互***100可根据用户发出的交互信息播放音乐等联想信息，并对用户的学习时长进行统计，以进一步通过数据处理单元23统计获取用户的学习习惯，以更好的引导用户学习。
在本发明中，所述交互信息点处的联想信息还应包括与所述交互信息点临近的至少两个所述节点和/或子节点位置处的联想信息，以保证交互信息点处联想信息的完整性，进一步的，当同一多媒体信息的节点或子节点或交互信息点处同时对应多个联想信息时，用户可向交互控制模块3发送交互信息，并对节点或子节点或交互信息点处的联想信息进行选择，继而完成后续的互动过程。
所述显示控制模块4与所述交互控制模块3电性连接，以用于播放和/或控制交互控制模块3传递的多媒体信息和/或交互信息。所述显示控制模块4包括显示控制模块4和操作单元，所述显示控制模块4用于接收交互控制模块3传递的多媒体信息，并将多媒体信息进行显示播放；所述操作单元用于输入交互信息和/或控制信息，以通过所述交互控制模块3控制/推进多媒体信息的进行以实现交互，具体来讲，所述操作单元输入的交互信息为可被所述交互控制模块3识别的、用于与显示控制模块4播放的多媒体信息进行交互的操作信息；所述控制信息为控制所述基于视觉监控的学习交互***100运行及初始信息播放的操作信息。
即在本发明中，所述视觉监控模块1、交互控制模块3和所述操作单元均可用于接收交互信息，如此设置，可方便基于视觉监控的学习交互***100及时获取交互信息，以提升基于视觉监控的学习交互***100使用操作的灵活性。
在本发明的一个实施例中，所述显示控制模块4和所述操作单元呈一体设置，优选的，所述显示控制模块4为触摸显示控制模块4。具体来讲，在本实施例中，所述触摸显示控制模块4为电容式触控屏，当手指或其它设有导电材料的触控元件与所述电容式触控屏接触时，所述电容式触控屏上产生交互信号并传递给所述交互控制模块3进行识别或标记，进一步由所述数据处理单元23匹配相应的多媒体信息。当然在其他实施例中，所述显示控制模块4还可设置为其他形式，只需保证所述显示控制模块4的显示及控制功能即可。
请参阅图3所示，为本发明提供的一种基于视觉监控的学习交互***的交互方法，所述基于视觉监控的学习交互***包括交互控制模块3、直接或间接与所述交互控制模块3电性连接的视觉监控模块1、信息管理模块2及显示控制模块4，所述基于视觉监控的学习交互***的交互方法主要包括以下步骤：
S1、所述交互控制模块3根据所述显示控制模块4传递的控制指令，调用信息管理模块2中的多媒体信息，并通过显示控制模块4进行播放；
S2、用户在观看显示控制模块4播放的内容时，所述视觉监控模块1实时采集用户的人脸图像，根据采集到的人脸图像定义用户的个性图像并标记个性图像的个性特征点，同时将用户的个性图像和个性特征点发送至信息管理模块2进行存储；
S3、所述信息管理模块2将视觉监控模块1采集到的人脸图像与存储于信息管理模块2中的个性图像进行拟合获取微表情信息，并根据所述微表情信息实时获取用户的学习状态信息，交互控制模块3接收用户学习状态信息，并调节多媒体播放内容；
S4、用户根据多媒体信息中包含的交互控制指令发出交互动作，实现互动，推进多媒体信息的发展。
以下说明书部分将对所述基于视觉监控的学习交互***的交互方法进行详细阐述。
所述步骤S1具体为：用户通过操作单元发送控制信息启动基于视觉监控的学习交互***100，同时开启所述视觉监控模块1、信息管理模块2、交互控制模块3及显示控制模块4；进一步的，用户可通过操作单元选取/调用数据存储单元22中的多媒体信息，并通过显示控制模块4进行显示播放。
所述步骤S2具体包括：
S21、显示控制模块4在播放多媒体信息的同时，视觉监控模块1中的图像提取单元11自动提取用户的人脸图像，其中，所述人脸图像包括动态人脸图像和静态人脸图像；
S22：视觉监控模块1中的图像定义单元12通过静态人脸图像定义用户的个性图像，并与动态人脸图像进行拟合，获取人脸图像的个性特征点，并将获得的个性图像和个性特征点传递至数据存储单元22中进行存储；
S23、位置分析单元13根据个性图像的位置信息获取个性图像的标准位置以及个性特征点相对个性图像的标准位置，并存储在本地数据库中。
所述步骤S3具体为：
S31、图像提取单元11实时对用户的人脸图像进行监控采集，并将采集到的人脸图像传递至图像识别单元21中进行识别，以通过图像识别单元21过滤图像提取单元11获取的非人脸图像；
S32、图像识别单元21将识别到的人脸图像传递至数据处理单元23中，数据处理单元23将识别到的人脸图像与存储在数据存储单元22中相应的个性图像进行拟合，以获取用户的微表情信息；
S33、数据处理单元23根据微表情信息匹配数据存数单元22中的状态分析数据，以实时获取用户的学习状态；交互控制模块3接收学习状态信息，标记并调节多媒体信息的播放内容和播放时间；
S34、位置分析单元13实时监测人脸图像的瞬时位置，并将人脸图像的标准位置与瞬时位置进行拟合获取人脸图像的偏移距离及个性特征点的相对偏移位置，以对用户的面部朝向进行偏离距离的测定，以检测用户的学习状态。
需要说明的是，在所述步骤S3中，所述步骤S33和S34同时进行，进一步的，所述步骤S3还包括通过数据处理单元23对显示控制模块4显示播放的多媒体信息中各帧之间的关键信息进行统计提取，并根据关键信息进行多媒体信息的节点的划分，进一步通过数据存储单元22匹配节点处的联想信息。在本发明中，所述节点还包括子节点，所述子节点包含的子关键信息是与节点位置处的关键信息相关的延伸/联想信息点信息。
所述步骤S4具体为：用户根据多媒体信息中包含的交互控制指令做出交互动作，实现互动，推进多媒体信息的发展。在所述步骤S4中，所述多媒体信息中交互控制指令主要包含在节点或子节点位置处的联想信息，用户接收交互控制指令后，做出回应以作为交互信息，交互控制模块3检测到交互信息后，将交互信息与联想信息的内容进行匹配，若两者相匹配，则推进多媒体信息进一步发展，若不匹配则提供包含更为明确的交互控制指令的联想信息，直至用户做出的交互信息与控制信息的内容相匹配。
所述基于视觉监控的学习交互***的交互方法还包括步骤S5，所述步骤S5具体为：位置分析单元13实时对人脸图像与显示控制模块4之间的相对距离进行监控，当用户的人脸图像与显示控制模块4之间的相对距离过近时，所述位置分析单元13向交互控制模块3发送警示信息，并通过显示控制模块4提醒用户，避免用户因用眼过度造成的眼疲劳/近视情况的发生，或因阅读/学习姿势不规范带来的驼背等问题。
综上所述，本发明的基于视觉监控的学习交互***100及其交互方法，通过设置视觉监控模块1实时监测分析用户的学习状态信息，并通过检测到的学习状态信息对多媒体信息内容进行标记调整，合理调整用户的学习时间，一方面实现了用户和学习/阅读内容之间的互动，达到了联想信息和学习或书籍内容的有机结合；另一方面，将多媒体信息结合到现实场景中，实现了学习交互***的因材施教，使得学习交互***提供、展示的多媒体信息内容在用户的学习或阅读过程中更具有针对性，有效提升了视频教育的学习效果。同时，本发明的基于视觉监控的学习交互***100及其交互方法还可对用户的使用位置及使用姿态进行监控，帮助用户保证良好的学习/阅读姿势，有效防止用户眼疲劳或驼背等问题的发生。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。
Claims (12)
1.一种基于视觉监控的学习交互***，其特征在于，包括：
视觉监控模块：用于采集人脸图像，并定义人脸图像的特征内容；
信息管理模块：与所述视觉监控模块电性连接，用于存储视觉监控模块采集、定义的人脸图像的相关信息，并获取存储/预存在所述信息管理模块中的多媒体信息的节点；
交互控制模块：分别与所述视觉监控模块、信息管理模块电性连接，用于传递、处理交互信息，并根据交互信息在多媒体信息中标记交互信息点；
显示控制模块：与所述交互控制模块电性连接，包括显示控制模块4和操作单元，以用于播放和/或控制交互控制模块传递的多媒体信息和/或交互信息，以实现交互。
2.根据权利要求1所述的基于视觉监控的学习交互***，其特征在于：所述视觉监控模块包括图像提取单元、位置分析单元和图像定义单元，所述图像提取单元用于获取用户的人脸图像，所述图像定义单元用于根据人脸图像定义用户的个性图像并标记个性图像的个性特征点，所述位置分析单元用于获取个性图像的位置信息及个性特征点的位移信息。
3.根据权利要求2所述的基于视觉监控的学习交互***，其特征在于：所述图像提取单元包括动态图像提取装置和静态图像提取装置，以分别用于采集用户的动态人脸图像和静态人脸图像。
4.根据权利要求2所述的基于视觉监控的学习交互***，其特征在于：所述信息管理模块包括图像识别单元、数据存储单元和数据处理单元，所述图像识别单元用于识别视觉监控模块定义的个性图像，并根据位置分析单元传递的个性图像的位置信息，实时分析记录个性图像的偏移距离及个性特征点的相对偏移位置。
5.根据权利要求4所述的基于视觉监控的学习交互***，其特征在于：所述数据存储单元包括本地数据库和互联网数据库，所述视觉监控模块定义、标记的人脸图像存储在本地数据库中，所述本地数据库还预存有微表情特征和心理行为特征的状态分析数据。
6.根据权利要求5所述的基于视觉监控的学习交互***，其特征在于：所述数据处理单元用于将采集到的人脸图像与对应的个性图像进行拟合，获取用户的微表情图像，并将所述微表情图像与状态分析数据进行匹配，获取用户的学习状态。
7.根据权利要求6所述的基于视觉监控的学习交互***，其特征在于：所述数据处理单元用于对本地数据库和互联网数据库中的多媒体信息进行编辑，所述数据处理单元搭载有PageRank算法、TextRank算法、TextTeaser算法及LexRank算法中的一种或几种，以提取多媒体信息中的关键信息，所述数据处理单元根据关键信息划分多媒体信息的节点，并根据关键信息在本地数据库和/或互联网数据库中匹配联想信息。
8.根据权利要求1所述的基于视觉监控的学习交互***，其特征在于：所述交互控制模块包括语音识别单元、动作识别单元、图形识别单元、状态识别单元及手势识别单元，以至少对交互信息和/或图像信息中包含的语音信息、图像变化信息、图形信息、运动轨迹、学习状态信息及手势信息进行识别，当所述交互控制模块获取的交互信息为学习状态信息时，所述交互控制模块可直接/间接的对多媒体信息进行交互信息点的标记，并在多媒体信息的节点处暂停和/或调用与节点匹配的联想信息。
9.根据权利要求8所述的基于视觉监控的学习交互***，其特征在于：所述动作识别单元至少包括红外摄像头、双目视觉传感器、激光散斑检测装置、深度摄像头及单目摄像头中的一种或几种。
10.根据权利要求1所述的基于视觉监控的学习交互***，其特征在于：所述操作单元用于输入交互信息和/或控制信息，以通过所述交互控制模块控制/推进多媒体信息的进行。
11.一种基于视觉监控的学习交互***的交互方法，所述基于视觉监控的学习交互***包括交互控制模块、分别与所述交互控制模块电性连接的视觉监控模块、信息管理模块及显示控制模块，其特征在于，所述基于视觉监控的学习交互***的交互方法主要包括以下步骤：
S1、所述交互控制模块根据所述显示控制模块传递的控制指令，调用信息管理模块中的多媒体信息，并通过显示控制模块进行播放；
S2、用户在观看显示控制模块播放的内容时，所述视觉监控模块实时采集用户的人脸图像，根据采集到的人脸图像定义用户的个性图像并标记个性图像的个性特征点，并将用户的个性图像和个性特征点发送至信息管理模块进行存储；
S3、所述信息管理模块将实时采集到的人脸图像与个性图像进行拟合，以获取用户的微表情信息，并根据所述微表情信息实时获取用户的学习状态，交互控制模块接收用户学习状态信息，并调节/标记多媒体播放内容；
S4、交互控制模块接收用户发送的交互信息或用户根据多媒体信息中包含的交互控制指令通过交互信息进行回应，实现用户与多媒体信息之间的互动，并推进多媒体信息的发展。
12.根据权利要求11所述的基于视觉监控的学习交互***的交互方法，其特征在于，还包括步骤S5：视觉监控模块中的位置分析单元实时对人脸图像与显示控制模块之间的相对距离进行监控，当用户的人脸图像与显示控制模块之间的相对距离过近时，所述位置分析单元向交互控制模块发送警示信息，并通过显示控制模块提醒用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811391208.5A CN109523852A (zh) | 2018-11-21 | 2018-11-21 | 基于视觉监控的学习交互***及其交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811391208.5A CN109523852A (zh) | 2018-11-21 | 2018-11-21 | 基于视觉监控的学习交互***及其交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109523852A true CN109523852A (zh) | 2019-03-26 |
Family
ID=65777866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811391208.5A Pending CN109523852A (zh) | 2018-11-21 | 2018-11-21 | 基于视觉监控的学习交互***及其交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109523852A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222597A (zh) * | 2019-05-21 | 2019-09-10 | 平安科技（深圳）有限公司 | 基于微表情调节屏幕显示的方法及装置 |
| CN110503024A (zh) * | 2019-08-19 | 2019-11-26 | 联想(北京)有限公司 | 一种交互状态分析方法、装置及存储介质 |
| CN111327943A (zh) * | 2019-07-17 | 2020-06-23 | 杭州海康威视***技术有限公司 | 信息管理方法及装置、***、计算机设备、存储介质 |
| CN111798710A (zh) * | 2020-08-17 | 2020-10-20 | 北京理工大学 | 一种闭环在线教学*** |
| CN111986530A (zh) * | 2019-05-23 | 2020-11-24 | 深圳市希科普股份有限公司 | 一种基于学习状态检测的交互学习*** |
| CN114466200A (zh) * | 2022-01-18 | 2022-05-10 | 上海应用技术大学 | 一种在线自习室学习状态监测***及其方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010097240A (ja) * | 2008-10-14 | 2010-04-30 | Tomohiro Uemae | 対話型絵本原稿作成支援機器と、その制御方法、及びそのためのプログラム |
| CN104616544A (zh) * | 2015-03-12 | 2015-05-13 | 马盼盼 | 一种智能教学*** |
| CN105361429A (zh) * | 2015-11-30 | 2016-03-02 | 华南理工大学 | 基于多通道交互的智能学习平台及其交互方法 |
| CN105516280A (zh) * | 2015-11-30 | 2016-04-20 | 华中科技大学 | 一种多模态学习过程状态信息压缩记录方法 |
| CN106339693A (zh) * | 2016-09-12 | 2017-01-18 | 华中科技大学 | 一种自然条件下人脸特征点的定位方法 |
| CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及*** |
| CN106846949A (zh) * | 2017-03-07 | 2017-06-13 | 佛山市金蓝领教育科技有限公司 | 一种远程情感教学*** |
| CN107767313A (zh) * | 2017-05-18 | 2018-03-06 | 青岛陶知电子科技有限公司 | 一种带有情绪识别功能的智能互动教学*** |
| CN108090857A (zh) * | 2017-12-29 | 2018-05-29 | 复旦大学 | 一种多模态的学生课堂行为分析***和方法 |
| CN108281052A (zh) * | 2018-02-09 | 2018-07-13 | 郑州市第十中学 | 一种在线教学***及在线教学方法 |
-
2018
- 2018-11-21 CN CN201811391208.5A patent/CN109523852A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010097240A (ja) * | 2008-10-14 | 2010-04-30 | Tomohiro Uemae | 対話型絵本原稿作成支援機器と、その制御方法、及びそのためのプログラム |
| CN104616544A (zh) * | 2015-03-12 | 2015-05-13 | 马盼盼 | 一种智能教学*** |
| CN105361429A (zh) * | 2015-11-30 | 2016-03-02 | 华南理工大学 | 基于多通道交互的智能学习平台及其交互方法 |
| CN105516280A (zh) * | 2015-11-30 | 2016-04-20 | 华中科技大学 | 一种多模态学习过程状态信息压缩记录方法 |
| CN106339693A (zh) * | 2016-09-12 | 2017-01-18 | 华中科技大学 | 一种自然条件下人脸特征点的定位方法 |
| CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及*** |
| CN106846949A (zh) * | 2017-03-07 | 2017-06-13 | 佛山市金蓝领教育科技有限公司 | 一种远程情感教学*** |
| CN107767313A (zh) * | 2017-05-18 | 2018-03-06 | 青岛陶知电子科技有限公司 | 一种带有情绪识别功能的智能互动教学*** |
| CN108090857A (zh) * | 2017-12-29 | 2018-05-29 | 复旦大学 | 一种多模态的学生课堂行为分析***和方法 |
| CN108281052A (zh) * | 2018-02-09 | 2018-07-13 | 郑州市第十中学 | 一种在线教学***及在线教学方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222597A (zh) * | 2019-05-21 | 2019-09-10 | 平安科技（深圳）有限公司 | 基于微表情调节屏幕显示的方法及装置 |
| CN110222597B (zh) * | 2019-05-21 | 2023-09-22 | 平安科技（深圳）有限公司 | 基于微表情调节屏幕显示的方法及装置 |
| CN111986530A (zh) * | 2019-05-23 | 2020-11-24 | 深圳市希科普股份有限公司 | 一种基于学习状态检测的交互学习*** |
| CN111327943A (zh) * | 2019-07-17 | 2020-06-23 | 杭州海康威视***技术有限公司 | 信息管理方法及装置、***、计算机设备、存储介质 |
| CN111327943B (zh) * | 2019-07-17 | 2022-08-02 | 杭州海康威视***技术有限公司 | 信息管理方法及装置、***、计算机设备、存储介质 |
| CN110503024A (zh) * | 2019-08-19 | 2019-11-26 | 联想(北京)有限公司 | 一种交互状态分析方法、装置及存储介质 |
| CN111798710A (zh) * | 2020-08-17 | 2020-10-20 | 北京理工大学 | 一种闭环在线教学*** |
| CN114466200A (zh) * | 2022-01-18 | 2022-05-10 | 上海应用技术大学 | 一种在线自习室学习状态监测***及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523852A (zh) | 基于视觉监控的学习交互***及其交互方法 | |
| WO2020253372A1 (zh) | 基于大数据分析的信息推送方法、装置、设备及存储介质 | |
| CN104575142B (zh) | 体验式数字化多屏无缝跨媒体互动开放教学实验室 | |
| CN109996091A (zh) | 生成视频封面的方法、装置、电子设备和计算机可读存储介质 | |
| CN106648082A (zh) | 一种模拟真人互动的智能服务设备及方法 | |
| CN103760968B (zh) | 数字标牌显示内容选择方法和装置 | |
| CN109359521A (zh) | 基于深度学习的课堂质量双向评估*** | |
| US20160188125A1 (en) | Method to include interactive objects in presentation | |
| WO2019156332A1 (ko) | 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템 | |
| CN107992195A (zh) | 一种教学内容的处理方法、装置、服务器及存储介质 | |
| CN107197384A (zh) | 应用于视频直播平台的虚拟机器人多模态交互方法和*** | |
| CN104035995B (zh) | 群标签生成方法及装置 | |
| CN110266879A (zh) | 播放界面显示方法、装置、终端及存储介质 | |
| KR20220027187A (ko) | 장면 인터랙션 방법 및 장치, 전자 장치 및 컴퓨터 저장 매체 | |
| CN106792004A (zh) | 内容项目推送方法、装置及*** | |
| WO2022227393A1 (zh) | 图像拍摄方法及装置、电子设备和计算机可读存储介质 | |
| CN106993229A (zh) | 互动属性展示方法及装置 | |
| WO2020244074A1 (zh) | 表情交互方法、装置、计算机设备及可读存储介质 | |
| CN208141466U (zh) | 一种基于机器人的签到装置及*** | |
| CN108537574A (zh) | 一种三维广告展示***和方法 | |
| CN109240786A (zh) | 一种主题更换方法及电子设备 | |
| CN110443183A (zh) | 一种上课状态监测方法、装置、存储介质及服务器 | |
| CN112051923A (zh) | 一种机器人在酒店前台智能欢迎顾客的方法和装置 | |
| CN110223540A (zh) | 一种学习机器人信息互动学习方法和***，及存储介质 | |
| CN109877834A (zh) | 多屏显示机器人、方法和装置、显示机器人和显示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |