CN110647842B - 一种双摄像头课堂巡检方法及*** - Google Patents

一种双摄像头课堂巡检方法及*** Download PDF

Info

Publication number
CN110647842B
CN110647842B CN201910893948.7A CN201910893948A CN110647842B CN 110647842 B CN110647842 B CN 110647842B CN 201910893948 A CN201910893948 A CN 201910893948A CN 110647842 B CN110647842 B CN 110647842B
Authority
CN
China
Prior art keywords
camera
classroom
inspection
desk
desks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910893948.7A
Other languages
English (en)
Other versions
CN110647842A (zh
Inventor
周明强
金海江
刘丹
孔奕涵
刘慧君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201910893948.7A priority Critical patent/CN110647842B/zh
Publication of CN110647842A publication Critical patent/CN110647842A/zh
Application granted granted Critical
Publication of CN110647842B publication Critical patent/CN110647842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双摄像头课堂巡检方法及***,该方法包括:S1,建立三维坐标系;获取教室中所有课桌桌面中心点三维坐标;S2,设置巡检路线,根据巡检路线上课桌桌面中心点的三维坐标获取第二摄像头巡检课桌时的转动角度;S3,第二摄像头依次对巡检路线上的课桌进行拍摄,获得第一局部图像;同时,第一摄像头拍摄教室的全局图像,对全局图像进行异常目标识别,对第一局部图像处理获得学生的单次个人信息和单次课堂状态;S4,获得每个学生的出勤信息和课堂评价。第二摄像头通过转动角度定点监测每个学生,同时第一摄像头对教室全局进行监控,两个摄像头相互配合,既能实现精确的学生监测,又能获取全局信息,实现智能巡检,提高教学效率。

Description

一种双摄像头课堂巡检方法及***
技术领域
本发明涉及智能教学领域,特别是涉及一种双摄像头课堂巡检方法及***。
背景技术
视频摄像头作为通用的电子产品,不仅在网络通讯、视频聊天中广泛使用,同样在辅助课堂教学中也发挥了重要作用,当前视频摄像头已经在高校教室中普遍使用,主要应用场景是视频监控和课堂考勤,尤其结合人脸识别技术帮助教师进行课堂考勤一直是摄像头应用的热点。
摄像头用于考勤等课堂辅助教学的基础是对人体的准确识别,尤其的是对人脸信息的检测和识别,如何能够有效的检测和识别教室中的学生是非常重要的,通常情况下,固定的单摄像头功能单一,不能根据需要随时旋转定位,对于精确的人脸识别以及获取清晰的人脸表情和肢体动作力不从心,云台摄像头虽然可以转变角度监控教室,但是在旋转到某一个角度的同时不能很好的获取全局信息,对于侦测全局信息变化和针对局部监测不能很好的统筹。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种双摄像头课堂巡检方法及***。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种双摄像头课堂巡检方法,包括:
步骤S1,以第一摄像头和/或第二摄像头所在位置为原点建立三维坐标系;初始化第一摄像头的拍摄参数,通过第一摄像头捕获教室的全局图像,基于所述全局图像获取教室中所有课桌桌面中心点的三维坐标;
步骤S2,为第二摄像头设置巡检路线,根据所述巡检路线上的课桌桌面中心点的三维坐标获取第二摄像头巡检所述课桌时的转动角度;
步骤S3,在课堂中,间隔地转动第二摄像头,使第二摄像头依次对巡检路线上的课桌进行拍摄,获得第一局部图像并进行局部图像处理;
同步地,第一摄像头实时或间隔地拍摄教室的全局图像,对所述全局图像进行异常目标识别并获得异常目标区域:
若存在异常目标,进一步对异常目标区域进行人体姿态识别,若对异常目标区域进行人体姿态识别的结果为人体站立,第二摄像头暂停巡检,转动第二摄像头拍摄异常目标,获得第二局部图像并进行局部图像处理,第二摄像头继续巡检;
若对异常目标区域进行人体姿态识别的结果不为人体站立或者不存在异常目标,第一摄像头继续拍摄教室的全局图像并进行异常目标识别;
对第一局部图像和/或第二局部图像进行局部图像处理包括:对第一局部图像和/或第二局部图像进行人脸识别获得学生的单次个人信息,对第一局部图像和/或第二局部图像进行状态识别获得学生的单次课堂状态;
步骤S4,对单次个人信息进行处理获得每个学生的出勤信息;对每个学生的多个单次课堂状态进行处理获得所述学生的课堂评价。
上述技术方案的有益效果为:通过建立教室的三维坐标系,以及获取每个课桌桌面中心点的坐标,使得第二摄像头通过转动角度可以定点监测每个课桌桌前的学生,能够快速精确的获得大部分为学生影像的局部图像,利用该局部图像更容易识别出学生状态;同时通过第一摄像头对教室全局进行监控,发现异常目标,且异常目标为人体站立时,才调转第二摄像头对异常目标进行检测,避免了频繁打断第二摄像头巡检的情况,两个摄像头相互配合,既能实现精确的个体学生监测,又能很好的获取全局信息;且在整个监测过程中,与教师没有进行交互,方便老师教学工作开展,实现智能巡检,提高教学效率。
在本发明的一种优选实施方式中,在所述步骤S2中,所述巡检路线采用顺序游走方式,或者采用随机游走方式,或者采用顺序游走和随机游走相结合的方式。
上述技术方案的有益效果为:制定了智能巡检路线,不需要每次手动制定巡检路线。
在本发明的一种优选实施方式中,所述顺序游走方式为从x轴和y轴坐标最小的课桌开始,按照x轴和y轴坐标递增的顺序巡检课桌;
和/或所述随机游走方式包括完全随机游走、重点座位随机游走、重点学生随机游走、BFS游走和DFS游走中的一种或多种;
和/或所述完全随机游走为:随机抽取K个课桌,间隔地转动第二摄像头,依次对所述K个课桌进行巡检拍摄,获得第一局部图像并进行局部图像处理;
和/或所述重点座位随机游走为:将教室中后H排课桌记为A类课桌,其余课桌记为B类课桌,采用概率Pa从A类课桌中抽取部分A类课桌,采用概率Pb从B类课桌中抽取部分B类课桌,依次对所述部分A类课桌和部分B类课桌进行巡检拍摄,获得第一局部图像并进行局部图像处理;Pa+Pb=1,0<Pb<Pa<1;H为小于课桌总排数的正整数;
和/或所述重点学生随机游走为:在对所有课桌进行巡检获得出勤学生个人信息后,对出勤学生的历史课堂评价进行排序,将排名前三分之二的学生划分为C类,将排名后三分之一的学生划分为D类,采用概率Pc从C类课桌中抽取部分C类课桌,采用概率Pd从D类课桌中抽取部分D类课桌,依次对所述部分C类课桌和部分D类课桌进行巡检拍摄,获得第一局部图像并进行局部图像处理;Pc+Pd=1,0<Pc<Pd<1。
上述技术方案的有益效果为:公开了巡检路线的各种巡检方式以便用户选择,其中,采用BFS游走和DFS游走等算法能够提高巡检效率。
在本发明的一种优选实施方式中,所述巡检路线为多轮巡检,首轮和末轮巡检采用顺序游走方式,其余轮次巡检随机采取任一种随机游走方式。
上述技术方案的有益效果为:公开了一种优化的巡检路线,该巡检路线既能全面检测每个课桌前的学生,又能通过随机游走的方式对部分学生和部分座位进行重点巡检等。
在本发明的一种优选实施方式中,在所述步骤S2中,所述转动角度包括水平旋转角度和垂直旋转角度;
第二摄像头巡检第i个课桌的水平旋转角度αivp为:
Figure BDA0002209646320000041
其中,Tix为第i个课桌桌面中心点的x轴坐标;Tiy为第i个课桌桌面中心点的y轴坐标;
第二摄像头巡检第i个课桌的垂直旋转角度βivp为:
Figure BDA0002209646320000051
其中,Tiz为第i个课桌桌面中心点的z轴坐标;Hs为人体坐下高出桌面的高度的平均值。
上述技术方案的有益效果为:公开了旋转角度的计算公式,该计算公式中引入了人体坐下高出桌面的高度的平均值来对垂直旋转角度进行补偿,使得第二摄像头捕获的局部图像全部或部分为课桌前的学生脸部,有利于后续状态识别处理。
在本发明的一种优选实施方式中,第一摄像头和第二摄像头相互靠近且并列设置;
在所述三维坐标系中,x轴沿教室横向设置,且以面向讲台的学生的右侧为x轴正方向;y轴沿教室纵向设置,且以面向讲台的学生的后侧为y轴正方向;z轴沿竖直方向设置。
上述技术方案的有益效果为:使得第一摄像头和第二摄像头所在位置近似为三维坐标系原点,便于后续计算。该三维坐标系符合人们习惯,便于后续处理。
在本发明的一种优选实施方式中,在所述步骤S4中,还包括获得每个学生的出勤信息后,通知未出勤学生补签的步骤;
和/或在所述步骤S4中,还包括每一轮巡检后,对该轮巡检中课堂状态不达标的学生进行提醒的步骤;
和/或还包括课堂结束后,保存每个学生的出勤信息和课堂评价的步骤。
上述技术方案的有益效果为:能够及时通知未出勤学生,提醒课堂状态不达标的学生转移注意力,便于教学管理,提高教学质量,便于后续查询学生的出勤信息和课堂评价。
在本发明的一种优选实施方式中,对所述全局图像进行异常目标识别并获得异常目标区域的过程包括:
将当前全局图像的像素矩阵和前一时刻的全局图像的像素矩阵相减获得差值矩阵,将所述差值矩阵中位置连续的非零像素点所占区域记为异常目标区域,判断异常目标区域是否大于阈值区域,若异常目标区域大于阈值区域认为存在异常目标,若异常目标区域不大于阈值区域,认为不存在异常目标。
上述技术方案的有益效果为:公开了一种快速判断和准确识别异常目标的方法。
为了实现本发明的上述目的,根据本发明的第二个方面,本发明提供了一种双摄像头课堂巡检***,包括设置于教室前壁上的第一摄像头和第二摄像头,以及服务器;
所述第一摄像头拍摄包含全部课桌的全局图像;所述第二摄像头可转动,用于巡检拍摄每个课桌的局部图像;
所述服务器包括图像处理模块,所述图像处理模块分别与第一摄像头和第二摄像头连接通信;
所述图像处理模块按照本发明所述的双摄像头课堂巡检方法,控制第二摄像头对教室里的课桌进行巡检拍摄,控制第一摄像头对教室进行全局拍摄,并且获得课堂中每个学生的出勤信息和课堂评价。
上述技术方案的有益效果为:通过建立教室的三维坐标系,以及获取每个课桌桌面中心点的坐标,使得第二摄像头可以转变角度定点监测每个课桌桌前的学生,能够快速精确的获得包含人脸的局部图像,同时获得的局部图像更容易识别出学生状态;同时通过第一摄像头对教室全局进行监控,发现异常目标,调转第二摄像头对异常目标进行检测,两个摄像头相互配合,既能实现精确的个体学生监测,又能很好的获取全局信息;且在整个监测过程中,与教师没有进行交互,方便老师教学工作开展,实现智能考勤,提高教学效率。
在本发明的一种优选实施方式中,还包括学生的终端设备,所述终端设备与所述服务器无线连接通信。
上述技术方案的有益效果为:便于及时通知和提示学生。
附图说明
图1是本发明一具体实施方式中教室的三维坐标系示意图;
图2是本发明一具体实施方式中课桌桌面中心点三维坐标计算原理示意图;
图3是本发明一具体实施方式中第一摄像头获得的全局图像示意图;
图4是本发明一具体实施方式中顺序巡检路线示意图;
图5是本发明一具体实施方式中BFS巡检路线示意图;其中,图5(a)为教室课桌的编号示意图,图5(b)为教室课桌的BFS巡检路线简化图。
附图标记:
1第一摄像头;2第二摄像头;3服务器;4终端设备。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明公开了一种双摄像头课堂巡检方法,在一种优选实施方式中,该方法包括:
步骤S1,以第一摄像头1和/或第二摄像头2所在位置为原点建立三维坐标系,三维坐标系如图1所示;初始化第一摄像头1的拍摄参数,拍摄参数优选但不限于为焦距、对焦方向等,通过第一摄像头1捕获教室的全局图像,基于全局图像获取教室中所有课桌桌面中心点的三维坐标;
步骤S2,为第二摄像头2设置巡检路线,根据巡检路线上的课桌桌面中心点的三维坐标获取第二摄像头2巡检课桌时的转动角度;
步骤S3,在课堂中,间隔地转动第二摄像头2,使第二摄像头2依次对巡检路线上的课桌进行拍摄,获得第一局部图像并进行局部图像处理;
同步地,第一摄像头1实时或间隔地拍摄教室的全局图像,对全局图像进行异常目标识别并获得异常目标区域:
若存在异常目标,进一步对异常目标区域进行人体姿态识别,若对异常目标区域进行人体姿态识别的结果为人体站立,第二摄像头2暂停巡检,转动第二摄像头2拍摄异常目标,获得第二局部图像并进行局部图像处理,第二摄像头2继续巡检;
若对异常目标区域进行人体姿态识别的结果不为人体站立或者不存在异常目标,第一摄像头1继续拍摄教室的全局图像并进行异常目标识别;
对第一局部图像和/或第二局部图像进行局部图像处理包括:对第一局部图像和/或第二局部图像进行人脸识别获得学生的单次个人信息,对第一局部图像和/或第二局部图像进行状态识别获得学生的单次课堂状态;
步骤S4,对单次个人信息进行处理获得每个学生的出勤信息;对每个学生的多个单次课堂状态进行处理获得该学生的课堂评价。
在本实施方式中,如图2所示为计算课桌桌面中心点的三维坐标的示意图,坐标系原点(为第一摄像头1和/或第二摄像头2所在位置)距离地面的高度为Hc,桌子宽度为Wt,桌子高度Ht,第一摄像头1的固定焦距Fva,照片中桌子像素宽度为Pti
由公式Fva×Wt=Pti×Dti可计算得到第一摄像头1与第i个课桌(目标桌子)桌面中心点的直线距离为
Figure BDA0002209646320000091
设第i个课桌的桌面中心点坐标为Ti=(Tix,Tiy,Tiz)。
第一摄像头1Va获取到的教室全景示意图(即全局图像)如图3所示。如图2所示,定义αivp为水平旋转角度,即第一摄像头1(第二摄像头2)与第i个课桌桌面的中心点连线在xoy水平面上的投影线与y轴的夹角(为锐角);定义βivp为垂直旋转角度,即第一摄像头1(第二摄像头2)与第i个课桌桌面的中心点连线与其在xoy水平面上的投影线的夹角(为锐角)。
设获得的全局图像中第i个课桌桌面中心点的像素坐标为Ti'=(Tix',Tiy'),可知全局图像中第i个课桌桌面的中心点Ti距离像平面中x'轴的距离为
Figure BDA0002209646320000101
第i个课桌桌面的中心点Ti距离像平面中y'轴的距离为
Figure BDA0002209646320000102
定义
Figure BDA0002209646320000103
为实际第i个课桌桌面的中心点距离三维坐标系中y轴的距离,
Figure BDA0002209646320000104
为实际目标桌子距离三维坐标系中x轴的距离:
由公式:
Figure BDA0002209646320000105
可以得到实际第i个课桌桌面的中心点Ti距离教室三维坐标系中y轴的距离
Figure BDA0002209646320000106
进一步可得:
若Tix'≥0,则Tix=Tiy
若Tix'<0,则
Figure BDA0002209646320000107
由公式:
Figure BDA0002209646320000108
可以得到实际第i个课桌桌面的中心点Ti距离三维坐标系中x轴的距离为
Figure BDA0002209646320000109
进一步可得
Figure BDA00022096463200001010
Tiz=Hc-Ht
在本实施方式中,三维坐标系以第一摄像头1所在位置为原点,或者以第二摄像头2所在位置为原点,或者第一摄像头1和第二摄像头2紧靠设置,以两者所在位置的中心点为坐标原点。当第一摄像头1和第二摄像头2分离设置时,设两者之间的距离为L,那么在求取第二摄像头2巡检每个课桌的旋转角度时,需要利用L在x轴和y轴的分量去补偿课桌桌面中心点的三维坐标之后(补偿方式可以为将x轴和y轴的分量分别与通过上述计算获得x轴和y轴坐标值相加),才能利用补偿后的三维坐标求取旋转角度。
在本实施方式中,对异常目标区域进行人体姿态识别的结果不为人体站立,即包含不是人体,以及是人体但是不是站立的两种情况。优选的,对异常目标区域人体姿态识别的过程包括:
对异常目标区域进行人体识别,若人体识别结果为人体,则进一步地进行人体姿态识别,若人体识别结果不为人体,则第一摄像头1继续拍摄教室的全局图像并进行异常目标识别,第二摄像头2继续巡检;
若进一步地人体姿态识别结果为站立,则第二摄像头2暂停巡检,转动第二摄像头2拍摄异常目标,获得第二局部图像并进行局部图像处理,第二摄像头2继续巡检;
若进一步地人体姿态识别结果不为站立,则第一摄像头1继续拍摄教室的全局图像并进行异常目标识别,第二摄像头2继续巡检。
对异常目标区域进行人体识别的方法可采用现有的人体识别方法,如可以但不限于参考现有技术中公开号为CN103049747B或CN104392223B的专利公开的技术内容,在此不再赘述;对人体姿态识别的方法可采用吸纳有的人体姿态识别方法,如可以但不限于参考现有技术中公开号为CN106570480B或CN101576953B的专利公开的技术内容,在此不再赘述。
在本实施方式中,巡检路线上优选的包含所有课桌,以便获得出勤情况。根据巡检路线上的课桌桌面中心点的三维坐标获取第二摄像头2巡检课桌时的转动角度,转动角度主要包括如图3所示的水平滚动角度αivp和垂直滚动角度βivp,第二摄像头2采用可自动聚焦的摄像头,一般来说当第二摄像头2拍摄的第一局部图像中人脸部分占据总画面的80%以上为合适的焦距。
在本实施方式中,课程结束后,从单次个人信息中统计出互不相同的个人信息,构成第一个人信息集合,将第一个人信息集合的样本数量作为本次课堂的出勤人数,认为预存的该课堂应到学生的个人信息集合中不包含在第一个人信息集合中的样本记为缺勤人员的个人信息。
在本实施方式中,对第一局部图像和/或第二局部图像进行人脸识别的方法可参考现有技术中的人脸识别算法,优选的,预先存储有课堂上所有应到学生的照片,以及与各照片关联的个人信息,将单人视频片段中的人脸图像与预存的照片一一比对,若两者的相似程度大于或等于Q%,Q的取值范围可为80-95,即可认为该单人视频片段中的学生为该照片关联的学生。个人信息优选但不限于包含学生姓名和/或学号等。
在本实施方式中,对第一局部图像和/或第二局部图像(即只有第一局部图像,或者只有第二局部图像,或者有第一局部图像和第二局部图像)进行状态识别获得学生的单次课堂状态的方法为:
建立状态识别模型,将第一局部图像和/或第二局部图像输入状态识别模型,状态识别模型输出第一局部图像和/或第二局部图像中学生的状态;
建立状态识别模型的过程包括:
步骤S31,构建训练数据集,记为Vlabled;训练数据集Vlabled包括多个设置有状态标签的单人视频片段;
步骤S32,以训练数据集中的单人视频片段为输入,以单人视频片段的状态标签为分类结果,对随机森林分类器进行训练和验证,获得状态识别模型。
在本实施方式中,采用基于深度学习的随机森林分类方法对状态识别模型进行训练,智能化程度高,无需人工参与。
在本实施方式中,使用随机森林分类器,基决策树的数量为10,每棵树所有预测路径的长度上限为5,使用这个经过训练的分类器来分类视频的状态。
在步骤S31中,构建训练数据集的具体过程包括:
步骤S311,从已有的学生课堂视频中截取多个视频片段,分割出每个视频片段中所有学生的单人视频片段,将所有单人视频片段构建为单人视频片段集,记为Vunlabled
步骤S312,预设多个状态,状态
s∈{抬头听讲,低头阅读书写,趴桌睡觉,起立回答问题,左右交头接耳,玩手机};
将单人视频片段集中每个单人视频片段分别发送给多个受访者,由受访者对该单人视频片段与各状态的相符程度进行打分,计算每个单人视频片段与各状态相符程度得分的平均值:
Figure BDA0002209646320000131
其中,
Figure BDA0002209646320000132
表示单人视频片段集中第i'个单人视频片段与第m个状态s(m)相符程度得分的平均值;np表示对第i'个单人视频片段打分的受访者人数;i'、m、j'均为正整数,且1≤m≤6,1≤j'≤np
步骤S313,为单人视频片段设置状态标签:
若第i'个单人视频片段与第m个状态s(m)相符程度得分的平均值满足:
Figure BDA0002209646320000133
则为第i'个单人视频片段设置状态标签si'并将第i'个单人视频片段加入训练数据集Vlabled,状态标签si'为:
Figure BDA0002209646320000134
其中,
Figure BDA0002209646320000135
为预设的得分阈值;
若第i'个单人视频片段与第m个状态s(m)相符程度得分的平均值不满足
Figure BDA0002209646320000136
或者第i'个单人视频片段与一个以上状态相符程度得分的平均值满足
Figure BDA0002209646320000137
不将第i'个单人视频片段加入训练数据集Vlabled
在本实施方式中,多个受访者对每个单人视频片段分别与抬头听讲、低头阅读书写、趴桌睡觉、立回答问题、左右交头接耳和玩手机这6个状态相符程度打分,可采用5分或10分满分制,满分表示受访者认为连着完全相符,0分表示受访者认为连着完全不相符。
Figure BDA0002209646320000141
为预设的得分阈值可为满分的70%,如采用5分满分制时,
Figure BDA0002209646320000142
为预设的得分阈值可为3.5。
在本实施方式中,利用受访者评分制对已有数据集进行标签分类,更具人性化和准确性。
在本实施方式中,在步骤S4中,对每个学生的多个单次课堂状态进行处理的过程为:
为不同的课堂状态设定不同的分值,设课堂状态包括抬头听讲、低头阅读书写、趴桌睡觉、立回答问题、左右交头接耳和玩手机,课堂状态评分s为:
Figure BDA0002209646320000143
因此,对于每个学生的在整个课堂中的多个单次课堂状态进行平均处理或加权平均处理,获得该学生的课堂评价。
在本实施方式中,优选的,判断异常目标是否是学生站立回答问题可采用了上述状态识别方法。
在本实施方式中,优选的,建立学生集合S'={(S1a',S1b'),...,(Sja',Sjb'),...,(Sma',Smb')};其中,m为课程应当出勤的总人数,j和m均为正整数,且1≤j≤m;Sja'表示第j个学生的个人信息,Sjb'表示第j个学生的课堂表现,课堂表现包括出勤信息和课堂评价。通过学生集合存储学生的历史课堂表现。
在一种优选实施方式中,在步骤S2中,巡检路线采用顺序游走方式,或者采用随机游走方式,或者采用顺序游走和随机游走相结合的方式。
在一种优选实施方式中,顺序游走方式为从x轴和y轴坐标最小的课桌开始,按照x轴和y轴递增的顺序巡检课桌,如图4所示;
和/或随机游走方式包括完全随机游走、重点座位随机游走、重点学生随机游走、BFS游走和DFS游走中的一种或多种;DFS游走的形式如图5所示,其中图5(a)为教室课桌的编号示意图,图5(b)为教室课桌的BFS巡检路线简化图。
和/或完全随机游走为:随机抽取K个课桌,间隔地转动第二摄像头2,依次对所述K个课桌进行巡检拍摄,获得第一局部图像并进行局部图像处理;
和/或重点座位随机游走为:将教室中后H排课桌记为A类课桌,其余课桌记为B类课桌,采用概率Pa从A类课桌中抽取部分A类课桌,采用概率Pb从B类课桌中抽取部分B类课桌,依次对部分A类课桌和部分B类课桌进行巡检拍摄,获得第一局部图像并进行局部图像处理;Pa+Pb=1,0<Pb<Pa<1;H为小于课桌总排数的正整数;
和/或重点学生随机游走为:在对所有课桌进行巡检获得出勤学生个人信息后,对出勤学生的历史课堂评价进行排序,将排名前三分之二的学生划分为C类,将排名后三分之一的学生划分为D类,采用概率Pc从C类课桌中抽取部分C类课桌,采用概率Pd从D类课桌中抽取部分D类课桌,依次对所述部分C类课桌和部分D类课桌进行巡检拍摄,获得第一局部图像并进行局部图像处理;Pc+Pd=1,0<Pc<Pd<1。
在一种优选实施方式中,巡检路线为多轮巡检,首轮和末轮巡检采用顺序游走方式,其余轮次巡检随机采取任一种随机游走方式。
在一种优选实施方式中,在步骤S2中,如图3所示,转动角度包括水平旋转角度和垂直旋转角度;
第二摄像头2巡检第i个课桌的水平旋转角度αivp为:
Figure BDA0002209646320000161
其中,Tix为第i个课桌桌面中心点的x轴坐标;Tiy为第i个课桌桌面中心点的y轴坐标;
第二摄像头2巡检第i个课桌的垂直旋转角度βivp为:
Figure BDA0002209646320000162
其中,Tiz为第i个课桌桌面中心点的z轴坐标;Hs为人体坐下高出桌面的高度的平均值。
在本实施方式中,优选的,在第二摄像头2巡检过程中,累计旋转角度,根据下一个巡检课桌桌面中心点三维坐标获得下一个旋转角度后,将下一个旋转角度减去累计的旋转角度,获得需要的旋转角度,该方法使得第二摄像头2连续巡检,节省时间。
在一种优选实施方式中,如图1、图3和图4所示,第一摄像头1和第二摄像头2相互靠近且并列设置;
在三维坐标系中,x轴沿教室横向设置,且以面向讲台的学生的右侧为x轴正方向,相应的以面向讲台的学生的左侧为x轴负方向;y轴沿教室纵向设置,且以面向讲台的学生的后侧为y轴正方向,相应的以面向讲台的学生的前侧为y轴负方向;z轴沿竖直方向设置。
在一种优选实施方式中,在步骤S4中,还包括获得每个学生的出勤信息后,通知未出勤学生补签的步骤;
和/或在步骤S4中还包括每一轮巡检后,对该轮巡检中课堂状态不达标的学生进行提醒的步骤;
和/或还包括课堂结束后,保存每个学生的出勤信息和课堂评价的步骤,可保存在学生集合S'中。
在一种优选实施方式中,对全局图像进行异常目标识别并获得异常目标区域的过程包括:
将当前全局图像的像素矩阵和前一时刻的全局图像的像素矩阵相减获得差值矩阵,将差值矩阵中位置连续的非零像素点所占区域记为异常目标区域,判断异常目标区域是否大于阈值区域,若异常目标区域大于阈值区域,认为存在异常目标,若异常目标区域不大于阈值区域,认为不存在异常目标。
在本实施方式中,位置连续是指像素点在像平面内的纵坐标和/或横坐标连续,如依次增大或依次减小。阈值区域可预设,如为M*N矩阵个像素点,M和N均为正整数;当然,为简化计算,阈值区域也可通过像素点个数来表征,如为P个,P为正整数,找到了异常目标区域后,统计异常目标区域内的像素点个数,若该个数小于等于P,则认为不存在异常目标,若该个数大于P,则认为存在异常目标。
本发明还公开了一种双摄像头课堂巡检***,在一种优选实施方式中,如图1所示,该***包括设置于教室前壁上的第一摄像头1和第二摄像头2,以及服务器3;
第一摄像头1拍摄包含全部课桌的全局图像;第二摄像头2可转动,可为云台摄像头,用于巡检拍摄每个课桌的局部图像;
服务器3包括图像处理模块,图像处理模块分别与第一摄像头1和第二摄像头2连接通信;
图像处理模块按照上述本发明的双摄像头课堂巡检方法,控制第二摄像头2对教室里的课桌进行巡检拍摄,控制第一摄像头1对教室进行全局拍摄,并且获得课堂中每个学生的出勤信息和课堂评价。
在一种优选实施方式中,还包括学生的终端设备4,终端设备4与服务器3无线连接通信。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种双摄像头课堂巡检方法,其特征在于,包括:
步骤S1,以第一摄像头或第二摄像头所在位置为原点建立三维坐标系;初始化第一摄像头的拍摄参数,通过第一摄像头捕获教室的全局图像,基于所述全局图像获取教室中所有课桌桌面中心点的三维坐标;
步骤S2,为第二摄像头设置巡检路线,根据所述巡检路线上的课桌桌面中心点的三维坐标获取第二摄像头巡检所述课桌时的转动角度;
步骤S3,在课堂中,间隔地转动第二摄像头,使第二摄像头依次对巡检路线上的课桌进行拍摄,获得第一局部图像并进行局部图像处理;
同步地,第一摄像头实时或间隔地拍摄教室的全局图像,对所述全局图像进行异常目标识别并获得异常目标区域:
若存在异常目标,进一步对异常目标区域进行人体姿态识别,若对异常目标区域进行人体姿态识别的结果为人体站立,第二摄像头暂停巡检,转动第二摄像头拍摄异常目标,获得第二局部图像并进行局部图像处理,第二摄像头继续巡检;
若对异常目标区域进行人体姿态识别的结果不为人体站立或者不存在异常目标,第一摄像头继续拍摄教室的全局图像并进行异常目标识别;
对第一局部图像和/或第二局部图像进行局部图像处理包括:对第一局部图像和/或第二局部图像进行人脸识别获得学生的单次个人信息,对第一局部图像和/或第二局部图像进行状态识别获得学生的单次课堂状态;
步骤S4,对单次个人信息进行处理获得每个学生的出勤信息;对每个学生的多个单次课堂状态进行处理获得所述学生的课堂评价。
2.如权利要求1所述的双摄像头课堂巡检方法,其特征在于,在所述步骤S2中,所述巡检路线采用顺序游走方式,或者采用随机游走方式,或者采用顺序游走和随机游走相结合的方式。
3.如权利要求2所述的双摄像头课堂巡检方法,其特征在于,所述顺序游走方式为从x轴和y轴坐标最小的课桌开始,按照x轴和y轴坐标递增的顺序巡检课桌;
和/或所述随机游走方式包括完全随机游走、重点座位随机游走、重点学生随机游走、BFS游走和DFS游走中的一种或多种;
其中,完全随机游走为:随机抽取K个课桌,间隔地转动第二摄像头,依次对所述K个课桌进行巡检拍摄,获得第一局部图像并进行局部图像处理;
重点座位随机游走为:将教室中后H排课桌记为A类课桌,其余课桌记为B类课桌,采用概率Pa从A类课桌中抽取部分A类课桌,采用概率Pb从B类课桌中抽取部分B类课桌,依次对所述部分A类课桌和部分B类课桌进行巡检拍摄,获得第一局部图像并进行局部图像处理;Pa+Pb=1,0<Pb<Pa<1;H为小于课桌总排数的正整数;
重点学生随机游走为:在对所有课桌进行巡检获得出勤学生个人信息后,对出勤学生的历史课堂评价进行排序,将排名前三分之二的学生划分为C类,将排名后三分之一的学生划分为D类,采用概率Pc从C类课桌中抽取部分C类课桌,采用概率Pd从D类课桌中抽取部分D类课桌,依次对所述部分C类课桌和部分D类课桌进行巡检拍摄,获得第一局部图像并进行局部图像处理;Pc+Pd=1,0<Pc<Pd<1。
4.如权利要求3所述的双摄像头课堂巡检方法,其特征在于,所述巡检路线为多轮巡检,首轮和末轮巡检采用顺序游走方式,其余轮次巡检随机采取任一种随机游走方式。
5.如权利要求1所述的双摄像头课堂巡检方法,其特征在于,在所述步骤S2中,所述转动角度包括水平旋转角度和垂直旋转角度;
第二摄像头巡检第i个课桌的水平旋转角度αivp为:
Figure FDA0003300761730000031
其中,Tix为第i个课桌桌面中心点的x轴坐标;Tiy为第i个课桌桌面中心点的y轴坐标;
第二摄像头巡检第i个课桌的垂直旋转角度βivp为:
Figure FDA0003300761730000032
其中,Tiz为第i个课桌桌面中心点的z轴坐标;Hs为人体坐下高出桌面的高度的平均值。
6.如权利要求1所述的双摄像头课堂巡检方法,其特征在于,第一摄像头和第二摄像头相互靠近且并列设置;
在所述三维坐标系中,x轴沿教室横向设置,且以面向讲台的学生的右侧为x轴正方向;y轴沿教室纵向设置,且以面向讲台的学生的后侧为y轴正方向;z轴沿竖直方向设置。
7.如权利要求1所述的双摄像头课堂巡检方法,其特征在于,在所述步骤S4中,还包括获得每个学生的出勤信息后,通知未出勤学生补签的步骤;
和/或在所述步骤S4中还包括每一轮巡检后,对该轮巡检中课堂状态不达标的学生进行提醒的步骤;
和/或还包括课堂结束后,保存每个学生的出勤信息和课堂评价的步骤。
8.如权利要求1所述的双摄像头课堂巡检方法,其特征在于,对所述全局图像进行异常目标识别并获得异常目标区域的过程包括:
将当前全局图像的像素矩阵和前一时刻的全局图像的像素矩阵相减获得差值矩阵,将所述差值矩阵中位置连续的非零像素点所占区域记为异常目标区域,判断异常目标区域是否大于阈值区域,若异常目标区域大于阈值区域,认为存在异常目标,若异常目标区域不大于阈值区域,认为不存在异常目标。
9.一种双摄像头课堂巡检***,其特征在于,包括设置于教室前壁上的第一摄像头和第二摄像头,以及服务器;
所述第一摄像头拍摄包含全部课桌的全局图像;所述第二摄像头可转动,用于巡检拍摄每个课桌的局部图像;
所述服务器包括图像处理模块,所述图像处理模块分别与第一摄像头和第二摄像头连接通信;
所述图像处理模块按照权利要求1-8之一所述的双摄像头课堂巡检方法,控制第二摄像头对教室里的课桌进行巡检拍摄,控制第一摄像头对教室进行全局拍摄,并且获得课堂中每个学生的出勤信息和课堂评价。
10.如权利要求9所述的双摄像头课堂巡检***,其特征在于,还包括学生的终端设备,所述终端设备与所述服务器无线连接通信。
CN201910893948.7A 2019-09-20 2019-09-20 一种双摄像头课堂巡检方法及*** Active CN110647842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910893948.7A CN110647842B (zh) 2019-09-20 2019-09-20 一种双摄像头课堂巡检方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910893948.7A CN110647842B (zh) 2019-09-20 2019-09-20 一种双摄像头课堂巡检方法及***

Publications (2)

Publication Number Publication Date
CN110647842A CN110647842A (zh) 2020-01-03
CN110647842B true CN110647842B (zh) 2022-02-15

Family

ID=69010912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910893948.7A Active CN110647842B (zh) 2019-09-20 2019-09-20 一种双摄像头课堂巡检方法及***

Country Status (1)

Country Link
CN (1) CN110647842B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259824B (zh) * 2020-01-19 2023-04-14 成都依能科技股份有限公司 基于教室尺寸自动生成扫描路径的方法
CN112036257A (zh) * 2020-08-07 2020-12-04 华中师范大学 一种无感知人脸图像采集方法和***
CN111985817A (zh) * 2020-08-21 2020-11-24 扬州大学 一种在线直播教学监控学生的监控方法
CN112911150A (zh) * 2021-01-29 2021-06-04 广州合易威视信息科技有限公司 一种目标区域高清人脸自动抓拍方法
CN113542672B (zh) * 2021-05-25 2023-08-18 浙江大华技术股份有限公司 摄像机巡航方法、电子设备及存储介质
CN113963453B (zh) * 2021-09-03 2024-04-05 福建星网物联信息***有限公司 一种基于双摄像头人脸识别技术的课堂考勤方法及***
CN114040115A (zh) * 2021-11-29 2022-02-11 海南哦课教育科技有限公司 目标对象异常动作的捕获方法、装置、介质和电子设备
CN114998844A (zh) * 2022-08-08 2022-09-02 北京师范大学 基于ai课堂的在线巡课督导***及方法
CN115035587B (zh) * 2022-08-09 2022-11-15 深圳天海宸光科技有限公司 一种高效自动巡航点名轨迹生成的***及方法
CN117475466A (zh) * 2023-05-05 2024-01-30 广州乐庚信息科技有限公司 一种课堂学生学习状态实时监测方法及***
CN117201742B (zh) * 2023-09-11 2024-06-25 江苏财经职业技术学院 用于智慧课堂的视频监控***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148965A (zh) * 2011-05-09 2011-08-10 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控***
CN202159375U (zh) * 2011-03-14 2012-03-07 惠州学院 一种教室点名***
CN104517102A (zh) * 2014-12-26 2015-04-15 华中师范大学 学生课堂注意力检测方法及***
CN106713772A (zh) * 2017-03-31 2017-05-24 维沃移动通信有限公司 一种拍照方法及移动终端
CN107133611A (zh) * 2017-06-06 2017-09-05 南京信息工程大学 一种课堂学生点头率识别与统计方法及装置
CN107230187A (zh) * 2016-03-25 2017-10-03 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
CN207946952U (zh) * 2016-07-31 2018-10-09 北京华文众合科技有限公司 一种教学***以及书画教学***
CN108648757A (zh) * 2018-06-14 2018-10-12 北京中庆现代技术股份有限公司 一种基于多维度课堂信息的分析方法
CN109118512A (zh) * 2018-08-13 2019-01-01 中国矿业大学 一种基于机器视觉的课堂迟到早退检测方法
CN109410098A (zh) * 2018-09-04 2019-03-01 四川文轩教育科技有限公司 一种学生课堂行为分析及监控方法
CN109461104A (zh) * 2018-10-22 2019-03-12 杭州闪宝科技有限公司 课堂监控方法、装置及电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202159375U (zh) * 2011-03-14 2012-03-07 惠州学院 一种教室点名***
CN102148965A (zh) * 2011-05-09 2011-08-10 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控***
CN104517102A (zh) * 2014-12-26 2015-04-15 华中师范大学 学生课堂注意力检测方法及***
CN107230187A (zh) * 2016-03-25 2017-10-03 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
CN207946952U (zh) * 2016-07-31 2018-10-09 北京华文众合科技有限公司 一种教学***以及书画教学***
CN106713772A (zh) * 2017-03-31 2017-05-24 维沃移动通信有限公司 一种拍照方法及移动终端
CN107133611A (zh) * 2017-06-06 2017-09-05 南京信息工程大学 一种课堂学生点头率识别与统计方法及装置
CN108648757A (zh) * 2018-06-14 2018-10-12 北京中庆现代技术股份有限公司 一种基于多维度课堂信息的分析方法
CN109118512A (zh) * 2018-08-13 2019-01-01 中国矿业大学 一种基于机器视觉的课堂迟到早退检测方法
CN109410098A (zh) * 2018-09-04 2019-03-01 四川文轩教育科技有限公司 一种学生课堂行为分析及监控方法
CN109461104A (zh) * 2018-10-22 2019-03-12 杭州闪宝科技有限公司 课堂监控方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于教室监控视频的课堂行为计数分析";欧温暖等;《图学学报》;20120430;第33卷(第2期);第113-118页 *

Also Published As

Publication number Publication date
CN110647842A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110647842B (zh) 一种双摄像头课堂巡检方法及***
CN109359521A (zh) 基于深度学习的课堂质量双向评估***
CN205334563U (zh) 一种学生课堂参与度检测***
US20210233262A1 (en) Multi-camera kiosk
CN111291613B (zh) 一种课堂表现评价方法及***
CN111275345B (zh) 一种基于深度学习的课堂信息化评价及管理的***及方法
CN107423674A (zh) 一种基于人脸识别的寻人方法、电子设备及存储介质
CN108259752A (zh) 一种拍摄方法及***
CN111507592B (zh) 一种面向服刑人员的主动改造行为的评估方法
US20230021863A1 (en) Monitoring method, electronic device and storage medium
CN108229352B (zh) 一种基于深度学习的站立检测方法
CN109376637A (zh) 基于视频监控图像处理的人数统计***
CN111339801B (zh) 一种人员注意力检测方法、装置、设备及***
CN112036257A (zh) 一种无感知人脸图像采集方法和***
CN112257591A (zh) 一种基于机器视觉的远程视频教学质量评定方法与***
JP6859640B2 (ja) 情報処理装置、評価システムおよびプログラム
CN108921038A (zh) 一种基于深度学习人脸识别技术的课堂快速点名签到方法
CN108735020A (zh) 一种具有提醒功能的在线教学***
CN107133611A (zh) 一种课堂学生点头率识别与统计方法及装置
CN111160277A (zh) 行为识别分析方法和***、计算机可读存储介质
CN110889314A (zh) 图像处理方法、装置、电子设备、服务器及***
CN113705510A (zh) 目标识别跟踪的方法、装置、设备及存储介质
CN109934097A (zh) 一种基于人工智能的表情和心理健康管理***
Haghighi et al. Automation of recording in smart classrooms via deep learning and bayesian maximum a posteriori estimation of instructor's pose
CN113963453B (zh) 一种基于双摄像头人脸识别技术的课堂考勤方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant