CN109615826B - 一种智能防瞌睡及报警*** - Google Patents

一种智能防瞌睡及报警*** Download PDF

Info

Publication number
CN109615826B
CN109615826B CN201910060372.6A CN201910060372A CN109615826B CN 109615826 B CN109615826 B CN 109615826B CN 201910060372 A CN201910060372 A CN 201910060372A CN 109615826 B CN109615826 B CN 109615826B
Authority
CN
China
Prior art keywords
seat
visible light
image
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910060372.6A
Other languages
English (en)
Other versions
CN109615826A (zh
Inventor
陶琳娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Finance and Economics
Original Assignee
Ningbo Institute of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Finance and Economics filed Critical Ningbo Institute of Finance and Economics
Priority to CN201910060372.6A priority Critical patent/CN109615826B/zh
Publication of CN109615826A publication Critical patent/CN109615826A/zh
Application granted granted Critical
Publication of CN109615826B publication Critical patent/CN109615826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G08B5/38—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources using flashing light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明提出了一种智能防瞌睡及报警***，其包括人员检测模块、瞌睡检测模块、报警模块及控制模块；其中，人员检测模块包括热成像相机，瞌睡检测模块包括可见光相机，报警模块包括便携式显示设备以显示教室内座位的信息和闪烁提示处于瞌睡状态的人对应的座位.控制模块包括用于对教室内座位进行标记的座位标记单元，用于根据热成像图像识别有人就座的座位的就座识别单元，用于根据就座识别单元的输出结果规划可见光相机的扫描路径的扫描路径规划单元，用于调整可见光相机参数的相机参数设置单元，用于根据可见光图像判断座位上的人是否处于瞌睡状态的瞌睡状态判断单元，以及显示及报警单元。

Description

一种智能防瞌睡及报警***
技术领域
本发明涉及多媒体领域，更具体地涉及一种尤其适合用于教学场合的智能防瞌睡及报警***。
背景技术
教学过程中，学生打瞌睡的现象对于教学工作的正常进行有着非常不好的影响，而且教师在授课中往往由于精神集中于教学内容，难以分出精力来发现或者管理打瞌睡的学生。
随着多媒体技术的发展，现有技术中已经出现了一些防止瞌睡的技术。例如，CN104207478B号中国发明专利中公开了一种防瞌睡矫正坐姿课桌椅，CN206380932U号中国实用新型专利中公开了一种教学用防瞌睡座椅，CN106579777A号中国发明专利申请中公开了一种防瞌睡防近视的桌椅，CN108391963A号中国发明专利申请中公开了一种智能式防瞌睡装置，这些现有技术中都提出了不同的防止教学瞌睡现象的技术方案。但是，在这些已有的技术方案中，都是对桌椅装置进行特别设计，其结构复杂，尤其是在实际应用中，要求购置特殊的桌椅，成本巨大且维护困难，导致其实际上难以被应用于实际场合当中，尤其是在CN108391963A公开的方案中，需要在每个桌椅中设置视频装置，这会造成巨大的购置和维护成本。
发明内容
针对现有技术中存在的上述问题，本发明提出了一种智能防瞌睡及报警***，其包括人员检测模块、瞌睡检测模块、报警模块及控制模块，其中：所述人员检测模块包括热成像相机，用于生成教室内的热成像图像；所述瞌睡检测模块包括可见光相机，用于对所述教室内的有人就座的座位进行扫描成像；所述报警模块包括便携式显示设备，用于显示所述教室内的座位的信息，并闪烁提示处于瞌睡状态的人对应的座位；并且所述控制模块包括用于对所述教室内的座位进行标记或编码的座位标记单元，用于根据所述热成像图像识别有人就座的所述座位的就座识别单元，用于根据所述就座识别单元的输出结果规划所述可见光相机的扫描路径的扫描路径规划单元，用于调整所述可见光相机的参数的相机参数设置单元，用于根据所述可见光图像判断所述座位上的人是否处于瞌睡状态的瞌睡状态判断单元，以及显示及报警单元。
进一步地，所述热成像相机被设置成允许其成像范围覆盖所述教室内的所有座位，且所述座位标记单元被设置成在所述热成像图像上对各个座位对应的区域进行标记或编码。
进一步地，所述就座识别单元被设置成根据所述热成像图像确定存在人体热成像的区域，从而识别有人就座的所述座位并存储其标记或编码。
进一步地，所述瞌睡检测模块还包括分别用于控制所述可见光相机的水平和垂直运动的两个伺服电机，且被设置成使所述可见光相机能够对所述教室内的所有座位进行扫描成像。
进一步地，所述扫描路径规划单元被设置成通过计算使
Lscan＝CS1S1XS1S1+…+CS1SmXS1Sm+CS2S1XS2S1+…+CSmSmXSmSm最小的各个系数XSiSj的取值来确定扫描路径，其中：所述Lscan是扫描有人就座的m个座位所需经历的总路径长度；所述Si用于表示所述m个座位的标记或编码；所述CSiSj是从Si对应的座位到Sj对应的座位需经历的扫描路径长度；所述系数XSiSj的取值为0或1，其中，当扫描路径包括从Si对应的座位到Sj对应的座位的路径时XSiSj＝1，否则XSiSj＝0，并且XSiS1+XSiS2+……+XSiSm＝1，XS1Sj+XS2Sj+…+XSmSj＝1，i＝1、2、…、m，且j＝1、2、…、m。
进一步地，所述相机参数设置单元被设置成：计算所述可见光相机输出的图像的亮度直方图，将所述亮度直方图分成9个区域，且基于所述亮度直方图计算参量A，其中
Figure BDA0001953948370000031
Xi是所述亮度直方图的区域i中灰度值的总和；
当所述参量A不等于3.7时，判断所述可见光相机的曝光时间和增益是否处于预设范围内；
如果所述曝光时间和所述增益均在所述预设范围内，则利用比例积分控制器调节所述可见光相机的gamma值；
如果只有所述增益在所述预设范围内，则利用所述比例积分控制器调节所述可见光相机的所述曝光时间；
如果所述曝光时间和所述增益均不在所述预设范围内，则利用所述比例积分控制器调节所述可见光相机的所述增益；并且
利用所述新的gamma值、曝光时间和/或增益对所述可见光相机进行重新设置，直至使所述参量A为3.7。
进一步地，所述相机参数设置单元被设置成：计算所述可见光相机输出的图像的亮度直方图,将所述亮度直方图分成9个区域，且基于所述直方图计算参量A，其中
Figure BDA0001953948370000032
Xi是所述直方图的区域i中灰度值的总和；
当所述参量A大于3且小于4时，在YUV颜色空间内计算所述图像的饱和度直方图且基于所述饱和度直方图计算所述参量A，同时还计算所述图像的白色区域的U和V的平均值和所述图像的黑色区域的R/G/B的平均值；
将基于所述饱和度直方图计算的所述参量A、所述U/V的平均值以及所述R/G/B的平均值与预设阈值进行比较，
如果基于所述饱和度直方图计算的所述参量A不等于3.7，则利用比例积分控制器调节所述可见光相机的饱和度；
如果所述R/G/B的平均值中存在非零值，则利用所述比例积分控制器调节所述可见光相机的亮度值；并且
利用所述新的饱和度和/或亮度值对所述可见光相机进行重新设置，直至使所述参量A为3.7。
进一步地，所述瞌睡状态判断单元被设置成：从所述可见光图像中确定桌面区域和人的头部区域，并判断所述头部区域和所述桌面区域之间的最小高度差是否小于预设阈值；当所述最小高度差小于所述预设阈值时，在所述头部区域中检测眼睛部分的存在；并且，
所述瞌睡状态判断单元还被设置成根据所述座位与所述可见光相机之间的距离计算对应所述座位的高度补偿因子H，用于计算所述最小高度差。
进一步地，所述瞌睡状态判断单元被设置成：从所述可见光图像中提取眼睛部分图像，并对所述眼睛部分图像进行归一化处理以及频率回归和线性回归计算；
根据经频率回归和线性回归计算的所述眼睛部分图像计算参数
Figure BDA0001953948370000041
其中，yl和yu分别代表眼睛上眼皮和下眼皮的中间位置，xr和xl分别代表眼睛右眼角和左眼角的位置；
连续记录所述座位上的所述参数OPEN，建立其变化曲线，并根据所述参数OPEN的当前值与其变化曲线上的最大值之间的比值判断所述座位上的人是否处于瞌睡状态。
进一步地，所述显示及报警单元被设置成：使所述便携式显示设备的显示屏上以区块的方式显示所述教室内的所有座位及其标记或编码，并以高亮形式显示有人就座的所述座位；且当所述瞌睡状态判断单元判断所述座位上的人处于瞌睡状态时，向所述便携式显示设备输出指令使所述显示屏上显示的所述座位闪烁。
具体实施方式
在下文中，将详细描述本发明的示例性实施例。下面的实施例以举例的方式提供，以便充分传达本发明的精神给本发明所属领域的技术人员。因此，本发明不限于本文公开的实施例。
本发明的防瞌睡及报警***包括人员检测模块、瞌睡检测模块、报警模块及控制模块。
人员检测模块包括热成像相机。根据本发明，热成像相机被安装在教室内的预设位置上，其中，该预设位置能够允许相机成像范围覆盖教室内的所有座位。作为示例，该预设位置可以是黑板中央的上方。
在本发明中，由于热成像相机被固定安装于预设位置上，教室内各个座位在其拍摄图像上对应的区域是已知的，因此，控制模块可以包括座位标记单元，其用于在热成像相机拍摄的教室图像上对各个座位对应的区域进行标记或者编码，例如在教室图像上标记出区域1、区域2、区域3、…、区域n以对应于教室内的n个座位。
在这种设置下，当学生进入教室并坐在座位上开始听课时，热成像相机生成教室内的热成像图像并将其传送给控制模块。控制模块还可以包括就坐识别单元，用于对该热成像图像进行处理，并统计分析存在人体热成像的区域。例如，当教室内仅在座位1至5上就坐有学生，那么在热成像相机拍摄的教室热成像图像上，仅在区域1至5上存在人体热成像。最后，控制模块根据该热成像图像的分析结果确定教室的哪些座位上就坐有学生，并存储这些座位的编号。
本领域技术人员容易理解，相比现有技术中设置具有诸如压力传感器等特殊结构的座椅，本发明借助热成像技术且这种特殊的设置方式能够极大地减少***硬件的复杂性，降低包括维护在内的各种成本；相对于可能的利用可见光进行图像分析的方式，由于热成像技术的简便性和高效性，使得在这种应用需求下能够在占用更少计算资源的情况下完成同等任务。
瞌睡检测模块用于判断座位上的学生是否处于瞌睡状态，其可以包括可见光相机和两个伺服电机，这两个伺服电机分别用于控制可见光相机的水平和垂直运动，以便相机能够扫描到教室内的所有座位。作为优选示例，伺服电机可以具有0.5度的最小控制角和0-300度的旋转角度，最大旋转速度为80转/分钟。
在本发明中，由于借助人员检测模块能够确定教室内哪些座位上就坐有学生，因此，在瞌睡检测模块中，可见光相机在教室并未坐满的情况下无需对所有座位进行扫描，而是可以仅对就坐有学生的那些座位进行人脸扫描，从而避免不必要的扫描时间，大大提高扫描效率。
进一步地，在本发明中，控制模块还可以包括扫描路径规划单元，其用于根据人员检测模块及就坐识别单元提供的座位就坐情况为可见光相机的扫描路径进行规划，以进一步提高扫描效率。
在该路径规划中，首先建立扫描路径长度方程，本示例中假设教室中只有m个座位上就坐有学生(m小于或等于总座位数n)，其中，就坐有学生的m个座位的编号用变量S1、…、Sm来表示。例如，当教室中有4个座位上坐有学生，且经人员检测模块及就座识别单元确定其座位编码分别为座位1、座位5、座位8和座位12时，则S1、S2、S3和S4分别代表座位1、座位5、座位8和座位12中的一个。
此时，扫描路径长度方程如下：
Lscan＝CS1S1XS1S1+…+CS1SmXS1Sm+CS2S1XS2S1+…+CSmSmXSmSm
其中，Lscan是完成有人员就坐的这m个座位的扫描所需要经历的总路径长度；CSiSj表示从Si代表的座位到Sj代表的座位所需要经历的扫描路径长度；XSiSj的取值为0或1，其中，如果扫描路径中包括Si代表的座位到Sj代表的座位这段路径，则XSiSj＝1，否则取值为0。
因此，在本发明中，上述变量还满足以下关系，即：
由于在一次扫描中，从Si代表的座位出发只能运动到另外一个座位上，因此存在方程式：XSiS1+XSiS2+…+XSiSm＝1，其中i＝1,2,…,m。
同样地，由于在一次扫描中，只能从一个座位出发运动到达Sj所代表的座位，因此存在方程式：XS1Sj+XS2Sj+…+XSmSj＝1，其中，j＝1,2，…，m。
在固定场景下，由于CSiSj往往是已知的，因此，可以通过计算获得使总扫描路径长度Lscan＝CS1S1XS1S1+…+CS1SmXS1Sm+CS2S1XS2S1+…+CSmSmXSmSm取值最小的各个系数XSiSj的取值，根据系数XSiSj的取值为0或1即可获得使扫描路径最短的扫描路线规划方案。
按照该扫描路线规划方案控制两个伺服电机驱动可见光相机对有人座位进行扫描成像，相比于随机或者顺序扫描而言，可以大大地缩短扫描时间，提高扫描效率。
此外，控制模块还可以包括相机参数设置单元，其用于调整可见光的相机拍摄参数，例如在每堂课程开始之前，以解决因教室内部光照情况变化造成的可见光相机曝光不一致的问题。
图像光亮度的直方图可以直观地表示图像中各种亮度值下的像素点数量，因此，本发明人将其用于指示可见光相机拍摄的图像的曝光是否处于合适水平。具体而言，为了更加直观地利用直方图，在本发明中，将瞌睡检测模块获取的图像的直方图分成9个区域，并基于此计算参量A的数值，其中，参量A的定义如下：
Figure BDA0001953948370000071
其中，Xi是直方图的区域i中灰度值的总和。
本发明人经研究发现，当A的取值在3.7左右时，图像的直方图数值均匀分布在恰当范围内时。
相应地，本发明的相机参数设置单元在获得可见光相机输出的图像时，首先计算图像亮度直方图且基于该直方图计算参量A；随后，基于参量A的计算值对相机参数进行调整，其具体过程如下：
当参量A不等于3.7时，相机参数设置单元进一步判断相机的曝光时间(即相机的光学传感器暴露在光线下的时间)和增益(即相机在获取图像时作用于图像中所有像素上的常数)是否处于预设范围内。本领域技术人员可以根据经验事先设置恰当的预设范围，例如，为了尽可能地降低噪声，可以将曝光时间的预设值尽可能地设置大些。
(1)如果曝光时间和增益均在预设范围内，则利用比例积分控制器调节相机的gamma值；
(2)如果只有增益在预设范围内，则利用比例积分控制器调节相机的曝光时间；
(3)如果曝光时间和增益均不在预设范围内，则利用比例积分控制器调节相机的增益。
最后，利用新的gamma值、曝光时间和/或增益对相机进行重新设置，直至使相机获取的图像的参量A为3.7。
在另一替换的参数设置方案中，当计算出参量A大于3且小于4时，在YUV颜色空间内计算图像的饱和度直方图且基于该直方图计算参量A，同时还计算图像白色区域的U(色度)和V(浓度)的平均值以及图像黑色区域的R/G/B的平均值。
随后，将基于饱和度直方图的参量A、白色区域的U/V的平均值、以及黑色区域的R/G/B的平均值与相应的阈值进行比较。
(1)如果基于饱和度直方图的参量A不等于3.7，则利用比例积分控制器调节饱和度；
(2)如果图像黑色区域的R/G/B的平均值中存在非零值，则利用比例积分控制器调节亮度值。
最后，利用新的饱和度和/或亮度值对相机进行重新设置，直至使相机获取的图像的基于饱和度直方图的参量A为3.7。
借助本发明的相机参数设置单元，可以自动适用教室内光照条件的变化，从而获得基本一致的室内图像。
在相机参数设置单元实现对相机当前参数的设置之后，瞌睡检测模块的可见光相机则可以按照扫描路径规划单元所确定的扫描路径对教室内的学生进行扫描成像，并且将所拍摄的图像及其对应的座位编码信息一起发送给控制模块。
控制模块还可以包括瞌睡状态判断单元，其用于根据扫描成像的图像判断座位上的人员是否处于瞌睡状态。
本发明的瞌睡状态判断单元可以包括至少两个判断模式。
在第一种判断模式下，瞌睡状态判断单元从图像中确定出人员的头部区域和桌面区域，并判断这两个区域之间的最小高度差是否小于预设的阈值。由于不同的座位与瞌睡检测模块的相机之间的距离不同，因此，在本发明的瞌睡状态判断单元中，可以事先根据座位与相机之间的距离，为各个座位确定相应的高度补偿因子H，用于在该第一种判断模式下，基于扫描图像计算头部区域和桌面区域之间的实际高度差。此外，本领域技术人员能够理解，当学生趴在课桌上时，其头部往往距离桌面非常近，因此可以根据经验(例如考虑儿童或成人平均身高的不同)来预设该阈值。
当判断头部区域和桌面区域之间的最小高度差小于预设阈值时，则判断就座人员此时可能趴在桌面上。
随后，瞌睡状态判断单元进一步在成像的头部区域中检测眼睛部分的存在。如果未能在该成像中检测到眼睛部分(此情形往往符合学生趴在桌面上睡觉的场景)，瞌睡状态判断单元则可以确定在该座位上，学生正处于瞌睡状态。
在第一判断模式下，瞌睡状态判断单元无需执行对眼睛打开程度的复杂判断，且对于现有的机器图像识别技术而言，从相机图像中粗略地提取出头部区域、桌面区域及眼睛部分并不需要复杂的计算过程，因此，瞌睡状态判断单元能够快速且不过度占用***资源的情况下完成对瞌睡状态的判断。
然而，第一种判断模式只能用于判断特定的瞌睡状态，因此，本发明的瞌睡状态判断单元中还需要依赖于第二种判断模式来满足其他场景的需求。
第二种判断模式是基于图像中人眼打开程度(用参数OPEN来表示)进行判断。
在这种判断模式下，首先对从成像图像提取出的眼睛部分的图像进行归一化处理，并在归一化的眼睛部分图像中进行频率回归和线性回归计算。
随后，在经上述处理的眼睛部分图像中，计算参数OPEN：
Figure BDA0001953948370000101
其中，yl和yu分别代表眼睛上眼皮和下眼皮的中间位置，xr和xl分别代表眼睛右眼角和左眼角的位置。
瞌睡检测模块在教学过程中持续对座位进行扫描成像，瞌睡状态判断单元连续记录各个座位上的参数OPEN，建立其变化曲线，并据此判断座位上的人员是否处于瞌睡状态。
由于人眼的大小和形状存在较大的个体差异，因此，在本发明的瞌睡状态判断单元中，不考虑直接根据参数OPEN的绝对数值大小来判断，而是以其当前值与变化曲线上的最大值之间的比值来作为判断对象。作为一种优选示例，瞌睡状态判断单元可以被设置成，在参数OPEN的当前值与其最大值之间的比值小于5％，且这种状态持续预定时间(例如1分钟)时，判断该座位上的人员当前处于瞌睡状态。
在这种判断模式的工作原理下，扫描成像的分辨率并不需要某些现有的人脸识别技术所要求的那么高，因此，也可以大大降低对瞌睡检测模块的硬件需求。
报警模块可以包括便携式显示设备。在本发明中，该便携式显示设备可以与控制模块进行有线或者无线的数据通信，优选为无线数据通信。
相应地，控制模块可以包括显示及报警单元，其被配置成使便携式显示设备的显示屏上例如以区块的方式显示教室内的所有座位及其编号，并且以例如高亮的形式显示其上有人员就座的座位；并且，当瞌睡状态判断单元判断某个座位上的人员处于瞌睡状态时，向便携式显示设备输出指令使其显示屏上的对应座位例如开始闪烁，以提醒授课教师该座位上的人员可能处于瞌睡状态。
基于上述介绍可知，本发明的防瞌睡及报警***可以以非常少的模块或者部件来实现，且这些模块或者部件并不需要对教室的桌椅进行改变，使得其具有极强的应用性。此外，本发明的防瞌睡及报警***借助由热成像技术实现的人员检测模块、由可见光相机和伺服电机实现的瞌睡状态检测模块、由便携式设备实现的报警模块、以及具有多种功能单元的控制模块，可以非常高效、准确且低成本地实现对教室内人员瞌睡状态的监控及报警。
上述说明并非对本发明的限制，本发明也并不限于上述举例，且在不发生矛盾的情况下，上述各种替换方式可以相互组合使用。本技术领域的普通技术人员在本发明的实质范围内作出的变化、改型、添加或替换，也应属于本发明的保护范围，本发明的保护范围以权利要求书为准。

Claims (9)

1.一种智能防瞌睡及报警***，其包括人员检测模块、瞌睡检测模块、报警模块及控制模块，其中：
所述人员检测模块包括热成像相机，用于生成教室内的热成像图像；
所述瞌睡检测模块包括可见光相机，用于对所述教室内的有人就座的座位进行扫描成像；
所述报警模块包括便携式显示设备，用于显示所述教室内的座位的信息，并闪烁提示处于瞌睡状态的人对应的座位；并且
所述控制模块包括用于对所述教室内的座位进行标记或编码的座位标记单元，用于根据所述热成像图像识别有人就座的所述座位的就座识别单元，用于根据所述就座识别单元的输出结果规划所述可见光相机的扫描路径的扫描路径规划单元，用于调整所述可见光相机的参数的相机参数设置单元，用于根据可见光图像判断所述座位上的人是否处于瞌睡状态的瞌睡状态判断单元，以及显示及报警单元;
所述相机参数设置单元被设置成：计算所述可见光相机输出的图像的亮度直方图，将所述亮度直方图分成9个区域，且基于所述亮度直方图计算参量A，其中
Figure DEST_PATH_IMAGE002
，Xi是所述亮度直方图的区域i中灰度值的总和；
当所述参量A不等于3.7时，判断所述可见光相机的曝光时间和增益是否处于预设范围内；
如果所述曝光时间和所述增益均在所述预设范围内，则利用比例积分控制器调节所述可见光相机的gamma值；
如果只有所述增益在所述预设范围内，则利用所述比例积分控制器调节所述可见光相机的所述曝光时间；
如果所述曝光时间和所述增益均不在所述预设范围内，则利用所述比例积分控制器调节所述可见光相机的所述增益；并且
利用新的gamma值、曝光时间和/或增益对所述可见光相机进行重新设置，直至使所述参量A为3.7。
2.一种智能防瞌睡及报警***，其包括人员检测模块、瞌睡检测模块、报警模块及控制模块，其中：
所述人员检测模块包括热成像相机，用于生成教室内的热成像图像；
所述瞌睡检测模块包括可见光相机，用于对所述教室内的有人就座的座位进行扫描成像；
所述报警模块包括便携式显示设备，用于显示所述教室内的座位的信息，并闪烁提示处于瞌睡状态的人对应的座位；并且
所述控制模块包括用于对所述教室内的座位进行标记或编码的座位标记单元，用于根据所述热成像图像识别有人就座的所述座位的就座识别单元，用于根据所述就座识别单元的输出结果规划所述可见光相机的扫描路径的扫描路径规划单元，用于调整所述可见光相机的参数的相机参数设置单元，用于根据可见光图像判断所述座位上的人是否处于瞌睡状态的瞌睡状态判断单元，以及显示及报警单元;
所述相机参数设置单元被设置成：计算所述可见光相机输出的图像的亮度直方图,将所述亮度直方图分成9个区域，且基于所述直方图计算参量A，其中
Figure 903271DEST_PATH_IMAGE002
，Xi是所述直方图的区域i中灰度值的总和；
当所述参量A大于3且小于4时，在YUV颜色空间内计算所述图像的饱和度直方图且基于所述饱和度直方图计算所述参量A，同时还计算所述图像的白色区域的U和V的平均值和所述图像的黑色区域的R/G/B的平均值；
将基于所述饱和度直方图计算的所述参量A、U/V的平均值以及所述R/G/B的平均值与预设阈值进行比较，
如果基于所述饱和度直方图计算的所述参量A不等于3.7，则利用比例积分控制器调节所述可见光相机的饱和度；
如果所述R/G/B的平均值中存在非零值，则利用所述比例积分控制器调节所述可见光相机的亮度值；并且
利用新的饱和度和/或亮度值对所述可见光相机进行重新设置，直至使所述参量A为3.7。
3.如权利要求1或2所述的***，其中，所述热成像相机被设置成允许其成像范围覆盖所述教室内的所有座位，且所述座位标记单元被设置成在所述热成像图像上对各个座位对应的区域进行标记或编码。
4.如权利要求3所述的***，其中，所述就座识别单元被设置成根据所述热成像图像确定存在人体热成像的区域，从而识别有人就座的所述座位并存储其标记或编码。
5.如权利要求1或2所述的***，其中，所述瞌睡检测模块还包括分别用于控制所述可见光相机的水平和垂直运动的两个伺服电机，且被设置成使所述可见光相机能够对所述教室内的所有座位进行扫描成像。
6.如权利要求1或2所述的***，所述扫描路径规划单元被设置成通过计算使Lscan＝CS1S1XS1S1+…+CS1SmXS1Sm+CS2S1XS2S1+…+ CSmsmXsmSm最小的各个系数XSiSj的取值来确定扫描路径，其中：所述Lscan是扫描有人就座的m个座位所需经历的总路径长度；所述Si用于表示所述m个座位的标记或编码；所述CSiSj是从Si对应的座位到Sj对应的座位需经历的扫描路径长度；所述系数XSiSj的取值为0或1，其中，当扫描路径包括从Si对应的座位到Sj对应的座位的路径时XSiSj＝1，否则XSiSj＝0，并且XSiS1+XSis2+…+Xsism＝1，XS1Sj+XS2Sj+…+Xsmsj＝1，i＝1、2、…、m，且j＝1、2、…、m。
7.如权利要求1或2所述的***，其中，所述瞌睡状态判断单元被设置成：从所述可见光图像中确定桌面区域和人的头部区域，并判断所述头部区域和所述桌面区域之间的最小高度差是否小于预设阈值；当所述最小高度差小于所述预设阈值时，在所述头部区域中检测眼睛部分的存在；并且，
所述瞌睡状态判断单元还被设置成根据所述座位与所述可见光相机之间的距离计算对应所述座位的高度补偿因子H，用于计算所述最小高度差。
8.如权利要求1或2所述的***，其中，所述瞌睡状态判断单元被设置成：从所述可见光图像中提取眼睛部分图像，并对所述眼睛部分图像进行归一化处理以及频率回归和线性回归计算；
根据经频率回归和线性回归计算的所述眼睛部分图像计算参数
Figure DEST_PATH_IMAGE004
，其中，yl和yu分别代表眼睛上眼皮和下眼皮的中间位置，xr和xl分别代表眼睛右眼角和左眼角的位置；
连续记录所述座位上的所述参数OPEN，建立其变化曲线，并根据所述参数OPEN的当前值与其变化曲线上的最大值之间的比值判断所述座位上的人是否处于瞌睡状态。
9.如权利要求1或2所述的***，其中，所述显示及报警单元被设置成：使所述便携式显示设备的显示屏上以区块的方式显示所述教室内的所有座位及其标记或编码，并以高亮形式显示有人就座的所述座位；且当所述瞌睡状态判断单元判断所述座位上的人处于瞌睡状态时，向所述便携式显示设备输出指令使所述显示屏上显示的所述座位闪烁。
CN201910060372.6A 2019-01-22 2019-01-22 一种智能防瞌睡及报警*** Active CN109615826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910060372.6A CN109615826B (zh) 2019-01-22 2019-01-22 一种智能防瞌睡及报警***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910060372.6A CN109615826B (zh) 2019-01-22 2019-01-22 一种智能防瞌睡及报警***

Publications (2)

Publication Number Publication Date
CN109615826A CN109615826A (zh) 2019-04-12
CN109615826B true CN109615826B (zh) 2020-08-28

Family

ID=66018119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910060372.6A Active CN109615826B (zh) 2019-01-22 2019-01-22 一种智能防瞌睡及报警***

Country Status (1)

Country Link
CN (1) CN109615826B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7189097B2 (ja) * 2019-07-22 2022-12-13 ｉ－ＰＲＯ株式会社 出席状況管理システム、出席状況管理方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
TWI536279B (zh) * 2015-04-22 2016-06-01 緯創資通股份有限公司 人眼偵測方法及系統
CN105554446B (zh) * 2015-12-04 2018-09-18 安徽理工大学 一种多用途课堂抬头率监测设备
CN106372614A (zh) * 2016-09-13 2017-02-01 南宁市远才教育咨询有限公司 一种上课纪律监控提醒辅助装置
CN107292271B (zh) * 2017-06-23 2020-02-14 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备

Also Published As

Publication number Publication date
CN109615826A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN109657553B (zh) 一种学生课堂注意力检测方法
CN106778676B (zh) 一种基于人脸识别及图像处理的注意力评估方法
JP2020194608A (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
CN107122789B (zh) 基于深度摄像头的多模态信息融合的学习专注度分析方法
CN113591703B (zh) 一种教室内人员定位方法及教室综合管理***
TW201633215A (zh) 護眼系統及方法
JP2000082147A (ja) ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ
CN104317385A (zh) 一种手势识别方法和***
CN111079625B (zh) 一种摄像头自动跟随人脸转动的控制方法
WO2007142621A1 (en) Modification of post-viewing parameters for digital images using image region or feature information
JPH04216402A (ja) 眼位置検出装置
CN110784977B (zh) 一种用于教学环境的光信号输出方法
KR100326203B1 (ko) 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
KR20100016696A (ko) 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법
JP2003150942A (ja) 目位置追跡方法
US20050163383A1 (en) Driver's eye image detecting device and method in drowsy driver warning system
CN109615826B (zh) 一种智能防瞌睡及报警***
CN110460778A (zh) 一种相机的巡航方法、装置、计算机设备和存储介质
JP2024042707A (ja) 端末、方法、及びプログラム
CN115171024A (zh) 一种基于视频序列的面部多特征融合疲劳检测方法及***
CN110536044B (zh) 一种证件照自动拍摄方法及装置
JPWO2022074865A5 (ja) 生体検知装置、制御方法、及びプログラム
JPWO2022074833A5 (ja) 生体検知装置、制御方法、及びプログラム
CN104184991A (zh) 一种监控***
CN210271013U (zh) 人脸识别智能门锁的交互装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 315000 Xueyuan Road, Haishu District, Ningbo, Zhejiang Province, No. 899

Applicant after: Ningbo Institute of Finance and Economics

Address before: 315000 Xueyuan Road, Haishu District, Ningbo, Zhejiang Province, No. 899

Applicant before: Ningbo Dahongying University

GR01 Patent grant
GR01 Patent grant