CN111353363A - 一种教学效果检测方法及装置、电子设备 - Google Patents
一种教学效果检测方法及装置、电子设备 Download PDFInfo
- Publication number
- CN111353363A CN111353363A CN201910765175.4A CN201910765175A CN111353363A CN 111353363 A CN111353363 A CN 111353363A CN 201910765175 A CN201910765175 A CN 201910765175A CN 111353363 A CN111353363 A CN 111353363A
- Authority
- CN
- China
- Prior art keywords
- information
- detection
- determining
- image information
- detection objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 146
- 230000000694 effects Effects 0.000 title claims abstract description 72
- 230000006399 behavior Effects 0.000 claims abstract description 98
- 230000014509 gene expression Effects 0.000 claims abstract description 96
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 210000000887 face Anatomy 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 206010063659 Aversion Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种教学效果检测方法及装置、电子设备，包括：获取包括至少一个检测对象的图像信息；对所述图像信息进行处理，确定所有检测对象的身份信息；对所述图像信息进行处理，确定所有检测对象的当前行为，根据所有检测对象的当前行为，确定所有检测对象对应的行为分值；对所述图像信息进行处理，确定所有检测对象的当前表情，根据所有检测对象的当前表情，确定所有检测对象对应的表情分值；根据所有检测对象的行为分值和表情分值，确定教学效果检测结果。本发明能够根据学生的课堂反应对课堂教学效果进行检测与评估，结果客观准确。
Description
技术领域
本发明涉及人工智能技术领域，特别是指一种教学效果检测方法及装置、电子设备。
背景技术
目前，教师的课堂教学效果一般是通过学生的课堂反应，学生的考试成绩、课后问卷调查等方面进行综合评价。考试成绩和问卷调查方式较为主观，无法完全真实客观的反应课堂教学效果，而学生的课堂反应较为真实客观，但由于学生人数较多，教师无法兼顾到每个人的课堂反应。
发明内容
有鉴于此，本发明的目的在于提出一种教学效果检测方法及装置、电子设备，能够根据学生在课堂上的行为和表情表现，检测课堂教学效果。
基于上述目的，本发明提供了一种教学效果检测方法，包括：
获取包括至少一个检测对象的图像信息；
对所述图像信息进行处理，确定所有检测对象的身份信息；
对所述图像信息进行处理，确定所有检测对象的当前行为，根据所有检测对象的当前行为，确定所有检测对象对应的行为分值；
对所述图像信息进行处理，确定所有检测对象的当前表情，根据所有检测对象的当前表情，确定所有检测对象对应的表情分值；
根据所有检测对象的行为分值和表情分值，确定教学效果检测结果。
可选的，所述对所有图像信息进行处理，确定所有检测对象的身份信息，包括：
预先生成根据每个检测对象的座位位置划分的网格状座位表，所述座位表中的每个网格包括该座位位置的人脸样本及基本信息；
对所述图像信息进行人脸识别处理，确定所述图像信息中所有人脸的位置，根据所有人脸的位置，对所述图像信息进行划分处理，生成网格状的位置表，所述位置表中的每个网格包括一个检测对象的人脸信息，将所述位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为所述人脸信息与人脸样本一致，根据所述人脸样本对应的基本信息确定所述人脸信息的身份信息。
可选的，所述方法还包括：
存储课程表信息，所述课程表信息包括图像采集设备标识、课程名称、任课教师姓名、上课时间、下课时间；
当到达所述上课时间时，向具有所述图像采集设备标识的图像采集设备发送启动指令，当到达所述下课时间时，向具有所述图像采集设备标识的图像采集设备发送停止指令。
可选的，当所述检测结果为教学效果较差时，向教室内触控一体机或是教师用移动终端发送提示消息。
本发明实施例还提供一种教学效果检测装置，包括：
信息获取模块，用于获取包括至少一个检测对象的图像信息；
身份识别模块，用于对所述图像信息进行处理，确定所有检测对象的身份信息；
行为识别模块，用于对所述图像信息进行处理，确定所有检测对象的当前行为，根据所有检测对象的当前行为，确定所有检测对象对应的行为分值；
表情识别模块，用于对所述图像信息进行处理，确定所有检测对象的当前表情，根据所有检测对象的当前表情，确定所有检测对象对应的表情分值；
效果检测模块，用于根据所有检测对象的行为分值和表情分值，确定教学效果检测结果。
可选的，所述身份识别模块对所述图像信息进行处理，确定所有检测对象的身份信息，包括：
预先生成根据每个检测对象的座位位置划分的网格状座位表，所述座位表中的每个网格包括该座位位置的人脸样本及基本信息；
对所述图像信息进行人脸识别处理，确定所述图像信息中所有人脸的位置，根据所有人脸的位置，对所述图像信息进行划分处理，生成网格状的位置表，所述位置表中的每个网格包括一个检测对象的人脸信息，将所述位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为所述人脸信息与人脸样本一致，根据所述人脸样本对应的基本信息确定所述人脸信息的身份信息。
可选的，所述装置还包括：
存储模块，用于存储预设的课程表信息，所述课程表信息包括图像采集设备标识、课程名称、任课教师姓名、上课时间、下课时间；
消息发送模块，用于当到达所述上课时间时，向具有所述图像采集设备标识的图像采集设备发送启动指令，当到达所述下课时间时，向具有所述图像采集设备标识的图像采集设备发送停止指令。
可选的，所述消息发送模块，用于当所述检测结果为教学效果较差时，向教室内触控一体机或是教师用移动终端发送提示消息。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述教学效果检测方法。
从上面所述可以看出，本发明提供的教学效果检测方法及装置、电子设备，通过获取上课期间所有检测对象的图像信息，对图像信息进行识别处理，确定每个检测对象的身份信息，得到每个检测对象的行为和表情，确定每个检测对象的行为分值和表情分值，根据所有检测对象的总分值，确定课堂教学效果的检测结果。本发明能够根据学生的课堂反应对课堂教学效果进行检测与评估，结果客观准确，且能够根据学生的课堂反应识别结果，制定差异化的教学计划和目标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的装置结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
图1为本发明实施例的方法流程示意图。如图所示，本发明实施例提供的教学效果检测方法，包括：
S10：获取包括至少一个检测对象的图像信息；
于一些实施例中，服务器中预设有每个班级的课程表信息，课程表信息包括图像采集设备标识、课程名称、任课教师姓名、上课时间、下课时间等，当到达某节课的上课时间时，服务器向具有图像采集设备标识的图像采集设备发送启动指令，当到达下课时间时，服务器向具有图像采集设备标识的图像采集设备发送停止指令。图像采集设备接收启动指令和停止指令，接收到启动指令时，图像采集设备开始采集视频信息，接收到停止指令时，图像采集设备停止采集视频信息，图像采集设备将采集的视频信息传输至服务器，服务器按照预定时间从视频信息中提取视频帧图像作为图像信息进行后续识别处理。例如，每隔30秒从视频信息中提取一幅图像信息。
于一些实施例中，每个班级可配置一台录播设备，服务器将每个班级的课程表信息发送给相应班级的录播设备，当到达某节课的上课时间时，录播设备向本班级的图像采集设备发送启动指令，当到达下课时间时，服务器向本班级的图像采集设备发送停止指令。图像采集设备将采集的视频信息传输至录播设备，由录播设备按照预定时间从视频信息中提取视频帧图像作为图像信息进行后续识别处理。
可选的，在课堂教学的应用场景，可于教室内前方安装两台云台相机，教室后方安装两台云台相机，在上课时间之内，通过调整各云台相机的拍摄角度、焦距、拍摄范围等，利用前方两台云台相机采集获取坐在前排的所有学生的视频信息，利用后方两台云台相机采集获取坐在后排的所有学生的视频信息，从而获得包括所有学生的清晰的图像信息。
可选的，图像采集设备可以直接采集图像信息，将图像信息发送至服务器，由服务器进行后续处理。
S11：对图像信息进行处理，确定所有检测对象的身份信息；
在学校的应用场景，由于每个教室内的学生人数固定，学生的座位固定，所以可预先确定包括所有学生的座位表，方法是：对于特定班级，录入所有学生的人脸样本及基本信息，将每个学生的人脸样本及基本信息与学生的座位位置相对应，生成根据每个学生的座位位置划分的网格状座位表，座位表中的每个网格包括该座位位置的学生人脸样本及基本信息(包括姓名、性别、学号、班级、学校等信息)。
上课期间，获取图像采集设备采集的教室内所有学生的图像信息，对图像信息进行人脸识别处理，确定图像信息中所有人脸的位置，根据所有人脸的位置，对图像信息进行划分处理，生成根据每个学生的人脸位置划分的网格状位置表，位置表中的每个网格包括一个学生的人脸信息，根据位置表与座位表，将位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为人脸信息与人脸样本一致，根据人脸样本对应的基本信息确定人脸信息的身份信息，即确定网格内检测对象的身份信息，若匹配程度未达到匹配度或是网格内未检测到人脸信息，则可进一步判断对应学生的出勤状态。利用上述方法，确定出所有检测对象对应的身份信息。
S12：对图像信息进行处理，确定所有检测对象的当前行为，根据所有检测对象的当前行为，确定所有检测对象对应的行为分值；
于一些实施例中，对图像信息利用行为识别模型进行识别处理，确定检测对象的当前行为动作，例如举手、站立、说话、趴桌子等。
基于位置表，识别每个网格内的学生的当前行为。对于每个网格内的一个学生，利用行为识别模型识别当前行为的方法包括：检测网格内的关键部位，包括头部、手部、肩部等，跟踪关键部位的位置，根据关键部位的位置变化，确定关键部位的动作。例如，手部由其他位置变化为设定的举手位置，则判断为举手行为；若头部、手部、肩部等位置到达设定的站立位置，则判断为站立行为；若嘴部在一定时间之内持续进行张合动作，判断为说话行为；根据头部、手部及桌子的相对位置，判断是否为趴桌子行为等等。利用上述行为识别模型识别位置表内所有网格内所有学生的当前行为。
根据不同的行为设置相应的行为分值，将课堂积极表现行为设置第一分值，将课堂消极表现行为设置为第二分值，第一分值高于第二分值。例如，举手行为的行为分值为30分，站立同时说话(认为是课上发言)的行为分值为30分，趴桌子的行为分值为0分等。当识别位置表内所有网格内所有学生的当前行为之后，根据设置的行为分值，确定所有学生对应的行为分值。
S13：对图像信息进行处理，确定所有检测对象的当前表情，根据所有检测对象的当前表情，确定所有检测对象对应的表情分值；
于一些实施例中，对图像信息利用表情识别模型进行识别处理，确定检测对象的当前表情，如高兴、厌恶、愤怒、伤心、惊讶、疑惑、无情绪等。
基于位置表，识别每个网格内的学生的当前表情。对于每个网格内的一个学生，利用表情识别模型识别当前表情的方法包括：识别网格内的人脸区域，于人脸区域内识别关键部位，包括眼睛、鼻子、嘴部、眉毛等，跟踪关键部位的位置，根据关键部位的位置变化，确定脸部表情。例如，嘴角上扬一定角度，判断为高兴；嘴部撅起，判断为生气；两眉毛的距离接近且形成一定角度，判断为皱眉，结合嘴部动作可判断为疑惑或是厌恶表情；鼻子的鼻孔张大、眼睛瞪大，可判断为惊讶，若同时皱眉，则判断为愤怒表情，根据手部和脸部之间的位置关系，若手部托腮可判断为疑惑等等。利用上述表情识别模型识别位置表内所有网格内所有学生的当前表情。
根据不同的表情设置相应的表情分值，将课堂积极表现表情设置第三分值，将课堂消极表现表情设置为第四分值，第三分值高于第四分值。例如，高兴的表情分值为35分，疑惑的表情分值为10分，愤怒、厌恶的表情分值为0分等。当识别位置表内所有网格内所有学生的当前表情之后，根据设置的表情分值，确定所有学生对应的表情分值。
S14：根据所有检测对象的行为分值和表情分值，确定教学效果检测结果。
根据前述步骤S10-S13可采集、识别处理得到所有学生在一定时间(如每堂课、一周、一个月、一个学期等)内的总分值，总分值是行为分值和表情分值的加和，根据每个学生的总分值，判断学生对某学科的教学效果的反馈情况，得到教学效果检测结果。可选的，可设置多个分数阈值，根据所有学生的总分值计算平均分，根据平均分与各分数阈值的关系，确定教学效果检测结果。
例如，获取所有学生在语文课上的视频信息，对视频信息进行处理得到若干图像信息，对图像信息进行识别处理得到所有学生的行为和表情，根据设定的行为分值和表情分值，确定所有学生在语文课上的行为分值和表情分值，得到所有学生在语文课上的总分值。根据所有学生的总分值，计算平均分，若平均分大于等于第一阈值，可判断语文课的教学效果良好，若平均分大于等于第二阈值，小于第一阈值，可判断语文课的教学效果一般，若平均分大于等于第三阈值，小于第二阈值，可判断语文课的教学效果较差。
在上课期间，若根据教学效果检测结果，判断教学效果较差，则通过提示模块提醒教师调整教学方式。具体的，上课期间，服务器根据所有学生的总分值，判断课堂的教学效果较差，服务器向教室内的触控一体机或是教师使用的移动终端发送提示消息，触控一体机或是移动终端可以提示框或是声音提示等方式提示教师注意学生反映，及时调整教学方式；也可以是，教室内的录播设备根据所有学生的总分值，判断课堂的教学效果较差，录播设备向教室内的触控一体机或是教师使用的移动终端发送提示消息，触控一体机或是移动终端可以提示框或是声音提示等方式提示教师。其中，触控一体机包括交互式显示屏、触控一体机、电子黑板、电子白板、智能交互大屏或智能交互平板。
每个学生的性格不同，也存在偏科情况，实际应用中，还可结合学科成绩综合每个学生的总分值。进一步的，就特定的学科，可根据每个学生在一段时间之内的总分值，结合每个学生的考试成绩，重新确定每个学生的综合分值。结合每个学生在每个学科的综合分值，可分析每个学生在每个学科的学习情况，对于每个学生的弱项学科，可有针对性的对学生进行关注和辅导，制定差异化的教学目标。
图2为本发明实施例的装置结构框图。如图所示，本发明实施例提供的教学效果检测装置，包括：
信息获取模块，用于获取包括至少一个检测对象的图像信息；
身份识别模块，用于对图像信息进行处理，确定所有检测对象的身份信息；
行为识别模块，用于对图像信息进行处理，确定所有检测对象的当前行为，根据所有检测对象的当前行为，确定所有检测对象对应的行为分值；
表情识别模块，用于对图像信息进行处理，确定所有检测对象的当前表情，根据所有检测对象的当前表情，确定所有检测对象对应的表情分值；
效果检测模块，用于根据所有检测对象的行为分值和表情分值，确定教学效果检测结果。
于一些实施例中，教学效果检测装置还包括：
存储模块，用于存储预设的课程表信息；所述课程表信息包括图像采集设备标识、课程名称、任课教师姓名、上课时间、下课时间等；
消息发送模块，用于当到达上课时间或是下课时间时，向图像采集设备发送启动指令或是停止指令。
服务器中预设有每个班级的课程表信息，课程表信息包括图像采集设备标识、课程名称、任课教师姓名、上课时间、下课时间等，当到达某节课的上课时间时，服务器向具有图像采集设备标识的图像采集设备发送启动指令，当到达下课时间时，服务器向具有图像采集设备标识的图像采集设备发送停止指令。图像采集设备接收启动指令和停止指令，接收到启动指令时，图像采集设备开始采集视频信息，接收到停止指令时，图像采集设备停止采集视频信息，图像采集设备将采集的视频信息传输至服务器，服务器获取视频信息，按照预定时间从视频信息中提取视频帧图像作为图像信息进行后续识别处理。例如，每隔30秒从视频信息中提取一幅图像信息。
于一些实施例中，每个班级可配置一台录播设备，服务器将每个班级的课程表信息发送给相应班级的录播设备，当到达某节课的上课时间时，录播设备向本班级的图像采集设备发送启动指令，当到达下课时间时，服务器向本班级的图像采集设备发送停止指令。图像采集设备将采集的视频信息传输至录播设备，由录播设备接收视频信息，并按照预定时间从视频信息中提取视频帧图像作为图像信息进行后续识别处理。
可选的，在课堂教学的应用场景，可于教室内前方安装两台云台相机，教室后方安装两台云台相机，在上课时间之内，通过调整各云台相机的拍摄角度、焦距、拍摄范围等，利用前方两台云台相机采集获取坐在前排的所有学生的视频信息，利用后方两台云台相机采集获取坐在后排的所有学生的视频信息，从而获得包括所有学生的清晰的图像信息。
在学校的应用场景，由于每个教室内的学生人数固定，学生的座位固定，所以可预先确定包括所有学生的座位表，方法是：对于特定班级，录入所有学生的人脸样本及基本信息，将每个学生的人脸样本及基本信息与学生的座位位置相对应，生成根据每个学生的座位位置划分的网格状座位表，座位表中的每个网格包括该座位位置的学生人脸样本及基本信息(包括姓名、性别、学号、班级、学校等信息)。
上课期间，获取图像采集设备采集的教室内所有学生的图像信息，身份识别模块对图像信息进行人脸识别处理，确定图像信息中所有人脸的位置，根据所有人脸的位置，对图像信息进行划分处理，生成根据每个学生的人脸位置划分的网格状位置表，位置表中的每个网格包括一个学生的人脸信息，根据位置表与座位表，将位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为人脸信息与人脸样本一致，根据人脸样本对应的基本信息确定人脸信息的身份信息，即确定网格内检测对象的身份信息，若匹配程度未达到匹配度或是网格内未检测到人脸信息，则可进一步判断对应学生的出勤状态。利用上述方法，确定出所有检测对象对应的身份信息。
于一些实施例中，行为识别模块包括：
行为识别子模块，用于对图像信息进行识别处理，确定所有检测对象的当前行为动作；可识别的行为动作例如是举手、站立、说话、趴桌子等；
行为赋值子模块，用于根据所有检测对象的当前行为动作，根据预设的行为分值，确定所有检测对象的行为分值。
基于位置表，识别每个网格内的学生的当前行为。对于每个网格内的一个学生，行为识别子模块识别当前行为的方法包括：检测网格内的关键部位，包括头部、手部、肩部等，跟踪关键部位的位置，根据关键部位的位置变化，确定关键部位的动作。例如，手部由其他位置变化为设定的举手位置，则判断为举手行为；若头部、手部、肩部等位置到达设定的站立位置，则判断为站立行为；若嘴部在一定时间之内持续进行张合动作，判断为说话行为；根据头部、手部及桌子的相对位置，判断是否为趴桌子行为等等。利用上述行为识别模型识别位置表内所有网格内所有学生的当前行为。
行为赋值子模块根据所有检测对象的当前行为动作，根据预设的行为分值，确定所有检测对象的行为分值。根据不同的行为预设相应的行为分值，将课堂积极表现行为设置第一分值，将课堂消极表现行为设置为第二分值，第一分值高于第二分值。例如，举手行为的行为分值为30分，站立同时说话(认为是课上发言)的行为分值为30分，趴桌子的行为分值为0分等。当识别位置表内所有网格内所有学生的当前行为之后，根据设置的行为分值，确定所有学生对应的行为分值。
于一些实施例中，表情识别模块包括：
表情识别子模块，用于对图像信息进行识别处理，确定所有检测对象的当前表情；可识别的表情例如是高兴、厌恶、愤怒、伤心、惊讶、疑惑、无情绪等；
表情赋值子模块，用于根据所有检测对象的当前表情，根据预设的表情分值，确定所有检测对象的表情分值。
基于位置表，识别每个网格内的学生的当前表情。对于每个网格内的一个学生，表情识别子模块识别当前表情的方法包括：识别网格内的人脸区域，于人脸区域内识别关键部位，包括眼睛、鼻子、嘴部、眉毛等，跟踪关键部位的位置，根据关键部位的位置变化，确定脸部表情。例如，嘴角上扬一定角度，判断为高兴；嘴部撅起，判断为生气；两眉毛的距离接近且形成一定角度，判断为皱眉，结合嘴部动作可判断为疑惑或是厌恶表情；鼻子的鼻孔张大、眼睛瞪大，可判断为惊讶，若同时皱眉，则判断为愤怒表情，根据手部和脸部之间的位置关系，若手部托腮可判断为疑惑等等。利用上述表情识别模型识别位置表内所有网格内所有学生的当前表情。
表情赋值子模块，用于根据所有检测对象的当前表情，根据预设的表情分值，确定所有检测对象的表情分值。根据不同的表情预设相应的表情分值，将课堂积极表现表情设置第三分值，将课堂消极表现表情设置为第四分值，第三分值高于第四分值。例如，高兴的表情分值为35分，疑惑的表情分值为10分，愤怒、厌恶的表情分值为0分等。当识别位置表内所有网格内所有学生的当前表情之后，根据设置的表情分值，确定所有学生对应的表情分值。
根据信息获取模块、行为识别模块、表情识别模块可获取、识别处理得到所有学生在一定时间(如每堂课、一周、一个月、一个学期等)内的总分值，总分值是行为分值和表情分值的加和。效果检测模块根据每个学生的总分值，判断学生对某学科的教学效果的反馈情况，得到教学效果检测结果。可选的，可设置多个分数阈值，根据所有学生的总分值计算平均分，根据平均分与各分数阈值的关系，确定教学效果检测结果。
例如，信息获取模块获取所有学生在语文课上的视频信息，对视频信息进行处理得到若干图像信息，行为识别模块和表情识别模块对图像信息进行识别处理得到所有学生的行为和表情，根据设定的行为分值和表情分值，确定所有学生在语文课上的行为分值和表情分值，得到所有学生在语文课上的总分值。效果检测模块根据所有学生的总分值，计算平均分，若平均分大于等于第一阈值，可判断语文课的教学效果良好，若平均分大于等于第二阈值，小于第一阈值，可判断语文课的教学效果一般，若平均分大于等于第三阈值，小于第二阈值，可判断语文课的教学效果较差。
在一些实施例中，所述消息发送模块，还用于当效果检测模块的检测结果为教学效果较差时，发送提示消息。
在上课期间，若根据教学效果检测结果，判断教学效果较差，则通过提示模块提醒教师调整教学方式。具体的，上课期间，效果检测模块根据所有学生的总分值，判断课堂的教学效果较差，利用消息发送模块向教室内的触控一体机或是教师使用的移动终端发送提示消息，触控一体机或是移动终端可以提示框或是声音提示等方式提示教师注意学生反映，及时调整教学方式。
每个学生的性格不同，也有可能存在偏科情况，实际应用中，还可结合学科成绩综合每个学生的总分值。进一步的，就特定的学科，可根据每个学生在一段时间之内的总分值，结合每个学生的考试成绩，重新确定每个学生的综合分值。结合每个学生在每个学科的综合分值，可分析每个学生在每个学科的学习情况，对于每个学生的弱项学科，可有针对性的对学生进行关注和辅导，制定差异化的教学计划和目标。
基于上述目的，本发明实施例还提出了一种执行所述教学效果检测方法的装置的一个实施例。所述装置包括：
一个或多个处理器以及存储器。
所述执行所述教学效果检测方法的装置还可以包括：输入装置和输出装置。
处理器、存储器、输入装置和输出装置可以通过总线或者其他方式连接。
存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的教学效果检测方法对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的教学效果检测方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据执行所述教学效果检测方法的装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置可接收输入的数字或字符信息，以及产生与执行教学效果检测方法的装置的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的教学效果检测方法。所述执行所述教学效果检测方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。
此外，典型地，本公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本公开的保护范围不应限定为某种特定类型的装置、设备。本公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。
此外，根据本公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。
此外，上述方法步骤以及***单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种教学效果检测方法，其特征在于，包括：
获取包括至少一个检测对象的图像信息；
对所述图像信息进行处理，确定所有检测对象的身份信息；
对所述图像信息进行处理，确定所有检测对象的当前行为，根据所有检测对象的当前行为，确定所有检测对象对应的行为分值；
对所述图像信息进行处理，确定所有检测对象的当前表情，根据所有检测对象的当前表情，确定所有检测对象对应的表情分值；
根据所有检测对象的行为分值和表情分值，确定教学效果检测结果。
2.根据权利要求1所述的方法，其特征在于，所述对所有图像信息进行处理，确定所有检测对象的身份信息，包括：
预先生成根据每个检测对象的座位位置划分的网格状座位表，所述座位表中的每个网格包括该座位位置的人脸样本及基本信息；
对所述图像信息进行人脸识别处理，确定所述图像信息中所有人脸的位置，根据所有人脸的位置，对所述图像信息进行划分处理，生成网格状的位置表，所述位置表中的每个网格包括一个检测对象的人脸信息，将所述位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为所述人脸信息与人脸样本一致，根据所述人脸样本对应的基本信息确定所述人脸信息的身份信息。
3.根据权利要求1所述的方法，其特征在于，还包括：
存储课程表信息，所述课程表信息包括图像采集设备标识、课程名称、任课教师姓名、上课时间、下课时间；
当到达所述上课时间时，向具有所述图像采集设备标识的图像采集设备发送启动指令，当到达所述下课时间时，向具有所述图像采集设备标识的图像采集设备发送停止指令。
4.根据权利要求1所述的方法，其特征在于，当所述检测结果为教学效果较差时，向教室内触控一体机或是教师用移动终端发送提示消息。
5.根据权利要求1所述的方法，其特征在于，根据所述检测对象的行为分值和表情分值，结合所述检测对象的考试成绩，确定教学效果检测结果。
6.一种教学效果检测装置，其特征在于，包括：
信息获取模块，用于获取包括至少一个检测对象的图像信息；
身份识别模块，用于对所述图像信息进行处理，确定所有检测对象的身份信息；
行为识别模块，用于对所述图像信息进行处理，确定所有检测对象的当前行为，根据所有检测对象的当前行为，确定所有检测对象对应的行为分值；
表情识别模块，用于对所述图像信息进行处理，确定所有检测对象的当前表情，根据所有检测对象的当前表情，确定所有检测对象对应的表情分值；
效果检测模块，用于根据所有检测对象的行为分值和表情分值，确定教学效果检测结果。
7.根据权利要求6所述的装置，其特征在于，所述身份识别模块对所述图像信息进行处理，确定所有检测对象的身份信息，包括：
预先生成根据每个检测对象的座位位置划分的网格状座位表，所述座位表中的每个网格包括该座位位置的人脸样本及基本信息；
对所述图像信息进行人脸识别处理，确定所述图像信息中所有人脸的位置，根据所有人脸的位置，对所述图像信息进行划分处理，生成网格状的位置表，所述位置表中的每个网格包括一个检测对象的人脸信息，将所述位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为所述人脸信息与人脸样本一致，根据所述人脸样本对应的基本信息确定所述人脸信息的身份信息。
8.根据权利要求6所述的装置，其特征在于，还包括：
存储模块，用于存储预设的课程表信息，所述课程表信息包括图像采集设备标识、课程名称、任课教师姓名、上课时间、下课时间；
消息发送模块，用于当到达所述上课时间时，向具有所述图像采集设备标识的图像采集设备发送启动指令，当到达所述下课时间时，向具有所述图像采集设备标识的图像采集设备发送停止指令。
9.根据权利要求6所述的装置，其特征在于，
所述消息发送模块，用于当所述检测结果为教学效果较差时，向教室内触控一体机或是教师用移动终端发送提示消息。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910765175.4A CN111353363A (zh) | 2019-08-19 | 2019-08-19 | 一种教学效果检测方法及装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910765175.4A CN111353363A (zh) | 2019-08-19 | 2019-08-19 | 一种教学效果检测方法及装置、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111353363A true CN111353363A (zh) | 2020-06-30 |
Family
ID=71193939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910765175.4A Pending CN111353363A (zh) | 2019-08-19 | 2019-08-19 | 一种教学效果检测方法及装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353363A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931585A (zh) * | 2020-07-14 | 2020-11-13 | 东云睿连(武汉)计算技术有限公司 | 一种课堂专注度的检测方法及装置 |
| CN112308746A (zh) * | 2020-09-28 | 2021-02-02 | 北京邮电大学 | 一种教学状态评估方法、装置及电子设备 |
| CN112819665A (zh) * | 2021-01-29 | 2021-05-18 | 上海商汤科技开发有限公司 | 课堂状态的评估方法和相关装置、设备 |
| CN112883867A (zh) * | 2021-02-09 | 2021-06-01 | 广州汇才创智科技有限公司 | 一种基于图像情感分析的学生在线学习评估方法及*** |
| CN112990735A (zh) * | 2021-03-30 | 2021-06-18 | 东营职业学院 | 基于数学教学的课堂质量反馈评价方法及装置 |
| CN113283383A (zh) * | 2021-06-15 | 2021-08-20 | 北京有竹居网络技术有限公司 | 一种直播行为识别方法、装置、设备和可读介质 |
-
2019
- 2019-08-19 CN CN201910765175.4A patent/CN111353363A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931585A (zh) * | 2020-07-14 | 2020-11-13 | 东云睿连(武汉)计算技术有限公司 | 一种课堂专注度的检测方法及装置 |
| CN112308746A (zh) * | 2020-09-28 | 2021-02-02 | 北京邮电大学 | 一种教学状态评估方法、装置及电子设备 |
| CN112819665A (zh) * | 2021-01-29 | 2021-05-18 | 上海商汤科技开发有限公司 | 课堂状态的评估方法和相关装置、设备 |
| CN112883867A (zh) * | 2021-02-09 | 2021-06-01 | 广州汇才创智科技有限公司 | 一种基于图像情感分析的学生在线学习评估方法及*** |
| CN112990735A (zh) * | 2021-03-30 | 2021-06-18 | 东营职业学院 | 基于数学教学的课堂质量反馈评价方法及装置 |
| CN113283383A (zh) * | 2021-06-15 | 2021-08-20 | 北京有竹居网络技术有限公司 | 一种直播行为识别方法、装置、设备和可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353363A (zh) | 一种教学效果检测方法及装置、电子设备 | |
| CN107292271B (zh) | 学习监控方法、装置及电子设备 | |
| CN109522815B (zh) | 一种专注度评估方法、装置及电子设备 | |
| WO2021232775A1 (zh) | 视频处理方法及装置、电子设备和存储介质 | |
| US10095850B2 (en) | User identity authentication techniques for on-line content or access | |
| Kamath et al. | A crowdsourced approach to student engagement recognition in e-learning environments | |
| US9754503B2 (en) | Systems and methods for automated scoring of a user's performance | |
| KR101775974B1 (ko) | 학생 수업태도 분석 시스템 및 분석 방법 | |
| CN109685007B (zh) | 用眼习惯的预警方法、用户设备、存储介质及装置 | |
| WO2021047185A1 (zh) | 基于人脸识别的监测方法、装置、存储介质及计算机设备 | |
| CN111353366A (zh) | 一种情绪检测方法及装置、电子设备 | |
| KR102593624B1 (ko) | 부정 행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| US20150262496A1 (en) | Multimedia educational content delivery with identity authentication and related compensation model | |
| JP6859640B2 (ja) | 情報処理装置、評価システムおよびプログラム | |
| CN111402096A (zh) | 一种在线授课质量管理方法、***、设备和介质 | |
| Alburaiki et al. | Mobile based attendance system: face recognition and location detection using machine learning | |
| US20240048842A1 (en) | Assisted image capturing methods and apparatuses for pets | |
| CN111325082A (zh) | 一种人员专注度分析方法及装置 | |
| CN111353439A (zh) | 一种教学行为的分析方法、装置、***及设备 | |
| CN113536893A (zh) | 一种在线教学学习专注度识别方法、装置、***及介质 | |
| CN111339809A (zh) | 一种课堂行为分析方法及装置、电子设备 | |
| KR20230169880A (ko) | 웹 브라우저 기반의 비대면 학습에서 인공지능을 사용한 주의집중 학습 시스템 및 방법 | |
| Yi et al. | Real time learning evaluation based on gaze tracking | |
| JP6855737B2 (ja) | 情報処理装置、評価システムおよびプログラム | |
| KR102581415B1 (ko) | 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |