CN111707375A - 一种具备智能测温考勤和异常行为检测的电子班牌 - Google Patents

Abstract

本发明公开了一种具备智能测温考勤和异常行为检测的电子班牌，所述电子班牌上设置热红外摄像头和彩色摄像头，在设定的考勤时间段内通过热红外摄像头进行热红外测温，并与彩色摄像头拍摄的人脸图像的考勤数据进行匹配并上传，通过远程界面显示测温考勤内容，实现智能测温考勤；非考勤时间段内实时采集彩色摄像头视野范围内的视频数据上传至云平台，云平台对视频数据进行异常行为检测，判定为异常则通过远程界面同步报警。本发明的电子班牌兼具考勤、测温和异常行为检测的功能，具有很好的应用前景。

Description

一种具备智能测温考勤和异常行为检测的电子班牌

技术领域

本发明属于智能安防领域，特别涉及一种具备智能测温考勤和异常行为检测的电子班牌。

背景技术

在智慧校园和平安校园的建设中，电子班牌作为集功能性、互动性、趣味性于一身的电子设备，能够提供自动考勤、班级管理、师生风采展示、校园公告、家校互通等功能。

在新冠疫情全球大流行的趋势下，学校除了关注师生日常考勤、校务管理、校园文化宣传外，由于学校的特殊属性，校园作为大量人员聚集的场所，学校需要肩负起对师生健康状况严格监督的职责，而每日到校考勤时对师生进行体温测量就是最直接有效的预防疾病的手段。传统做法是使用测温枪逐一进行测温，这种方法过于低效，且容易造成人员拥堵，不利于疫情防控，同时测温与考勤分离，并不利于考勤和测温数据记录，疫情期间佩戴口罩，且不便摘除口罩进行人脸识别考勤，因此，传统的人脸识别考勤机并不适用于疫情防控时期的应用。

现有的安装在教室门口的电子班牌主要用来做信息展示和考勤，而教室门口是学生频繁活动的区域，也是较容易发生危险的区域，常规电子班牌的摄像头除了进行人脸识别外，基本不再使用，无法对异常行为进行检测来保证学生安全，而且也造成了资源的浪费。

发明内容

为解决上述技术问题，本发明提供了具备智能测温考勤和异常行为检测的电子班牌，以达到集成人脸识别、体温测量和考勤以及智能异常行为检测的目的。

为达到上述目的，本发明的技术方案如下：

一种具备智能测温考勤和异常行为检测的电子班牌，所述电子班牌上设置热红外摄像头和彩色摄像头，在设定的考勤时间段内通过热红外摄像头进行热红外测温，并与彩色摄像头拍摄的人脸图像的考勤数据进行匹配并上传，通过远程界面显示测温考勤内容，实现智能测温考勤；非考勤时间段内实时采集彩色摄像头视野范围内的视频数据上传至云平台，云平台对视频数据进行异常行为检测，判定为异常则通过远程界面同步报警。

上述方案中，在设定的考勤时间段内进行智能测温考勤的方法如下：

(1)利用彩色摄像头和热红外摄像头同时拍摄集成多个人脸的彩色图像I和热红外图像I_r；

(2)利用开源人脸检测算法SeetaFace对彩色图像I进行人脸检测和识别，获取图像中全部的人脸检测框数据集合F＝{f₁,f₂,…,f_i，…，f_N}，以及识别到的人员身份信息数据集合P＝{p₁,p₂,…,p_i，…,p_N}，其中，f_i表示第i个人脸检测框坐标，p_i表示第i个人脸的人员身份信息，N表示检测出的人脸总数；

(3)计算热红外图像I_r和彩色图像I的变换矩阵W，利用变换矩阵W将热红外图像I_r上的像素点逐个转换至彩色图像I坐标系下，最终获得与彩色图像I对齐后的热红外图像I'_r；

(4)利用人脸检测框数据集合F＝{f₁,f₂,…,f_i，…，f_N}，逐个框选出对齐后的热红外图像I'_r中的全部人脸热红外图像数据集合H＝{h₁,h₂,…,h_i，…,h_N}，其中，h_i表示第i个人脸的热红外图像，i∈(1,N)；

(5)配置热红外摄像头的有效测温距离和环境温度，将单个人脸热红外图像h_i作为测温函数的输入，依次将全部人脸的热红外数据输入测温函数，最终输出获得画面中全部人脸的体温数据集合T＝{t₁,t₂,…,t_i，…,t_N}，其中，t_i表示第i个人脸的体温数据。

进一步的技术方案中，步骤(3)的具体方法如下：

(1)计算变换矩阵W：

彩色摄像头内参K_c＝{d_x,d_y,u₀,v₀,f}，其中，d_x、d_y分别表示彩色摄像头的x、y方向上一个像素占的单位数，u₀表示彩色图像中心点与彩色图像原点之间在x方向上的像素数，v₀表示彩色图像中心点与彩色图像原点之间在y方向上的像素数，f表示彩色摄像头的焦距；

热红外摄像头内参

其中，

分别表示热红外摄像头的x、y方向上一个像素占的单位数，

表示热红外图像中心点与热红外图像原点之间在x方向上的像素数，

表示热红外图像中心点与热红外图像原点之间在y方向上的像素数，f^t表示热红外摄像头的焦距；

变换矩阵W的计算公式如下所示：

其中，h为热红外摄像头与彩色摄像头的架设高度差；

(2)将变换矩阵W简单表示为一个3×3大小的矩阵，如下所示：

将热红外图像上任意一点k在热红外图像坐标系下的坐标(u_k,v_k)转换到彩色图像坐标系下的坐标(u′_k,v′_k)，其计算表达式为：

具体计算如下：

u′_k＝w₁₁×u_k+w₁₂×v_k+w₁₃

v′_k＝w₂₁×u_k+w₂₂×v_k+w₂₃

(3)按照上步的计算，逐个将热红外图像上的像素点转换至彩色图像坐标系下，最终获得与彩色图像I对齐后的热红外图像I'_r。

非考勤时间段内进行异常行为检测的方法如下：

(1)构建深层预测生成对抗网络模型PredGAN，该网络模型包括预测生成器和异常判别器；预测生成器负责利用连续视频帧序列预测新的视频帧，异常判别器负责生成图像的正常得分，从而区分正常和异常视频图像；

(2)构建预测生成器损失函数和异常判别器损失函数；

(3)对预测生成器和异常判别器单独交替迭代进行网络模型训练，使得预测生成器损失函数和异常判别器损失函数不断降低，直至预测生成器能够生成逼真的预测图，与真图肉眼无法区分，训练结束；

(4)获取实时视频，上传至训练好的深层预测生成对抗网络模型PredGAN，生成图像的正常得分，得分低于0.2，即判定为发生了异常。

进一步的技术方案中，所述预测生成器损失函数L_G计算公式如下：

其中，c表示训练循环次数，λ_c表示第c次循环的参数权重，n_t表示第t帧的参数数量，λ_t表示第t帧的参数权重，n_c表示第c次循环的参数数量，

表示第t帧在第c次循环中的误差；

所述异常判别器损失函数L_D计算公式如下：

L_D＝E[(d_r-1)²]+E[(d)²]

其中，d_r为真实数据集中对应图像经过异常判别器生成的正常得分集合，d为训练数据集中由预测生成器预测得到的新的视频帧图像输入异常判别器生成的正常得分集合。

进一步的技术方案中，网络模型训练的具体过程如下：

(1)选取日常生活中的不同类型、不同场景的正常视频作为训练数据集提供训练样本，选定训练数据集中每段视频中第9帧、第2*9帧、...、第N*9帧图像作为真实数据集，为对抗训练提供真实样本；

(2)先随机生成一组预测生成器网络模型参数，将训练数据集中的视频数据以每连续8帧为一个处理单元，batch_size设为64，输入预测生成器中，输出假的预测图集合PredV＝{Pred_I₁,Pred_I₂,…,Pred_I₆₄}；

(3)将预测生成器网络模型参数设置为不可调，生成一组随机值构成的异常判别器网络模型参数，获取上步生成的预测图集合PredV以及真实数据集中对应真图集合TrueV＝{True_I₁,True_I₂,…,True_I₆₄}，将真图和预测图进行拼接获得异常判别器训练数据集Train_X＝[TrueV,PredV]，同时生成Train_X的标签集Train_Y＝[64,0]，即前64帧为真，标签为1，后64帧为假，标签为0，将Train_X和Train_Y输入异常判别器，不断迭代调整异常判别器模型参数，提高异常判别器的判识精度，直至当前迭代结束，由异常判别器损失函数计算出损失值；

(4)将异常判别器网络模型参数设置为不可调，输入一组新的视频数据，并认为这些视频数据经过预测生成器能够生成真实的预测图，不断调整预测生成器网络模型参数，直至当前迭代结束，由预测生成器损失函数计算出损失值；

(5)按照(3)和(4)的步骤往复循环，直至能够生成逼真的预测图，与真图肉眼无法区分，训练结束。

上述方案中，所述电子班牌包括壳体，所述彩色摄像头和热红外摄像头设置于所述壳体上，所述壳体上还设置触摸显示屏、扬声器、麦克风，壳体内设置与上述部件信号连接的控制电路板，所述控制电路板上设置CPU、LAN通信模块、WIFI通信模块和4G通信模块。

上述方案中，所述彩色摄像头、热红外摄像头通过MIPI CSI接口与CPU通信，用于进行人脸彩色图像和热红外图像数据接入。

上述方案中，所述LAN通信模块、WIFI通信模块和4G通信模块通过SPI与CPU通信连接，用于同云平台进行数据交互。

上述方案中，所述扬声器和麦克风通过GPIO与CPU通信，所述电子班牌外接5V直流电源供电。

通过上述技术方案，本发明提供的具备智能测温考勤和异常行为检测的电子班牌：在设定的考勤时间内，通过彩色摄像头和热红外摄像头采集人脸图像，并自动进行人脸识别和图像的对齐，识别人脸对应的体温数据，可实时显示学生身份信息、考勤时间、实时体温信息，并自动将考勤信息通过通信模块上传至云平台，为学校提供高效、精准的考勤和测温信息；非考勤时间，彩色摄像头实时采集图像，并上传至云平台，由智能异常行为检测算法实现***，保障学生安全。电子班牌主体结构简单，设计构思巧妙，应用环境友好，市场前景广阔。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例所公开的一种智能人脸识别和测温考勤电子班牌示意图；

图2为本发明的深层预测生成对抗网络模型PredGAN示意图；

图3为预测生成器结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供了一种具备智能测温考勤和异常行为检测的电子班牌，如图1所示，包括壳体，壳体上设置触摸显示屏、彩色摄像头、热红外摄像头、扬声器、麦克风，壳体内设置与上述部件信号连接的控制电路板，控制电路板上设置CPU、LAN通信模块、WIFI通信模块和4G通信模块。

本实施例中，彩色摄像头、热红外摄像头通过MIPI CSI接口与CPU通信，用于进行人脸彩色图像和热红外图像数据接入；LAN通信模块、WIFI通信模块和4G通信模块通过SPI与CPU通信连接，用于同云平台进行数据交互；扬声器和麦克风通过GPIO与CPU通信；电子班牌外接5V直流电源供电。

热红外摄像头置于壳体上方中间位置，彩色摄像头设置于壳体下方中间位置，麦克风设置于壳体下方右侧，扬声器设置于壳体中部右侧。

本发明的电子班牌在设定的考勤时间段内通过热红外摄像头进行热红外测温，并与彩色摄像头拍摄的人脸图像的考勤数据进行匹配并上传，通过远程界面显示测温考勤内容，实现智能测温考勤；非考勤时间段内实时采集彩色摄像头视野范围内的视频数据上传至云平台，云平台对视频数据进行异常行为检测，判定为异常则通过远程界面同步报警。

在设定的考勤时间段内进行智能测温考勤的方法如下：

步骤一，利用彩色摄像头和热红外摄像头同时拍摄集成多个人脸的彩色图像I和热红外图像I_r。

步骤二，利用开源人脸检测算法SeetaFace对彩色图像I进行人脸检测和识别，获取图像中全部的人脸检测框数据集合F＝{f₁,f₂,…,f_i，…，f_N}，以及识别到的人员身份信息数据集合P＝{p₁,p₂,…,p_i，…,p_N}，其中，f_i表示第i个人脸检测框坐标，p_i表示第i个人脸的人员身份信息，N表示检测出的人脸总数。

步骤三，计算热红外图像I_r和彩色图像I的变换矩阵W，利用变换矩阵W将热红外图像I_r上的像素点逐个转换至彩色图像I坐标系下，最终获得与彩色图像I对齐后的热红外图像I'_r，具体方法如下：

(1)计算变换矩阵W：

彩色摄像头内参K_c＝{d_x,d_y,u₀,v₀,f}，其中，d_x、d_y分别表示彩色摄像头的x、y方向上一个像素占的单位数，u₀表示彩色图像中心点与彩色图像原点之间在x方向上的像素数，v₀表示彩色图像中心点与彩色图像原点之间在y方向上的像素数，f表示彩色摄像头的焦距；

热红外摄像头内参

其中，

分别表示热红外摄像头的x、y方向上一个像素占的单位数，

表示热红外图像中心点与热红外图像原点之间在x方向上的像素数，

表示热红外图像中心点与热红外图像原点之间在y方向上的像素数，f^t表示热红外摄像头的焦距；

变换矩阵W的计算公式如下所示：

其中，h为热红外摄像头与彩色摄像头的架设高度差；

(2)将变换矩阵W简单表示为一个3×3大小的矩阵，如下所示：

将热红外图像上任意一点k在热红外图像坐标系下的坐标(u_k,v_k)转换到彩色图像坐标系下的坐标(u′_k,v′_k)，其计算表达式为：

具体计算如下：

u′_k＝w₁₁×u_k+w₁₂×v_k+w₁₃

v′_k＝w₂₁×u_k+w₂₂×v_k+w₂₃

(3)按照上步的计算，逐个将热红外图像上的像素点转换至彩色图像坐标系下，最终获得与彩色图像I对齐后的热红外图像I'_r。

步骤四，利用人脸检测框数据集合F＝{f₁,f₂,…,f_i，…，f_N}，逐个框选出对齐后的热红外图像I'_r中的全部人脸热红外图像数据集合H＝{h₁,h₂,…,h_i，…,h_N}，其中，h_i表示第i个人脸的热红外图像，i∈(1,N)。

步骤五，配置热红外摄像头的有效测温距离和环境温度，将单个人脸热红外图像h_i作为测温函数的输入，依次将全部人脸的热红外数据输入测温函数，最终输出获得画面中全部人脸的体温数据集合T＝{t₁,t₂,…,t_i，…,t_N}，其中，t_i表示第i个人脸的体温数据。

该测温函数采用热红外摄像头厂商海康威视提供的SDK的测温函数。

非考勤时间段内进行异常行为检测的方法如下：

(1)构建深层预测生成对抗网络模型PredGAN，如图2所示，该网络模型包括预测生成器和异常判别器；

①预测生成器(Prediction Generator)

预测生成器负责利用连续视频帧序列预测新的视频帧，预测生成器的思想在于：将人视为由自身模型和运动模型两部分构成，较之身体运动而言，人体自身模型基本不会发生变化，因此可以通过学习人体运动随时间的变化特征来预测人体的变化。预测生成器结构如图3所示。

预测生成器获取不包含任何异常的视频连续的8帧图像，并将每帧图像统一缩放为256×256个像素大小，构建成正常视频帧序列V＝{I₁,I₂,…,I₈}，经过预测生成器输出预测的第9帧图像

其中：

I_t为视频帧序列V中的第t帧图像，t∈(1,8)，I_t通过卷积操作和最大值池化操作获得特征图像；

卷积LSTM层，其输入为E_t，输出包含局部空间特征的时序表达R_t，R_t通过卷积操作，生成时序特征图像

误差层，I_t与

先经过减操作，计算获得两者之间的差值，差值再通过RELU激活函数将一部分数值置为0，得到误差E_t；

循环箭头表示更新，先自下而上前向传递各帧的误差E_t，再自上而下更新各帧的时序表达R_t；

表示加操作，将将第8帧计算获得的误差E₈与图像I₈相加，获得预测的第9帧图像

②异常判别器(Abnormal Discriminator)

异常判别器为一个多层感知机(Multi Layer Perceptron)，负责生成图像的正常得分，从而区分正常和异常视频图像，其包含两个隐含层，两个隐含层神经元个数均为1024，选用tanh为激活函数。

(2)构建预测生成器损失函数和异常判别器损失函数；

为保障预测生成器能够预测出正确的视频帧，本发明构建了预测生成器损失函数。

预测生成器损失函数L_G计算公式如下：

其中，c表示训练循环次数，λ_c表示第c次循环的参数权重，n_t表示第t帧的参数数量，λ_t表示第t帧的参数权重，n_c表示第c次循环的参数数量，

表示第t帧在第c次循环中的误差；

同样，采用异常判别器损失函数来修正异常判别器，使得异常判别器能够正确判断图像是否发生异常，

异常判别器损失函数L_D计算公式如下：

L_D＝E[(d_r-1)²]+E[(d)²]

其中，d_r为真实数据集中对应图像经过异常判别器生成的正常得分集合，d为训练数据集中由预测生成器预测得到的新的视频帧图像输入异常判别器生成的正常得分集合。

(3)对预测生成器和异常判别器单独交替迭代进行网络模型训练，使得预测生成器损失函数和异常判别器损失函数不断降低，直至预测生成器能够生成逼真的预测图，与真图肉眼无法区分，训练结束；

训练具体过程如下：

①选取日常生活中的不同类型、不同场景的正常视频作为训练数据集提供训练样本，选定训练数据集中每段视频中第9帧、第2*9帧、...、第N*9帧图像作为真实数据集，为对抗训练提供真实样本；

②先随机生成一组预测生成器网络模型参数，将训练数据集中的视频数据以每连续8帧为一个处理单元，batch_size设为64，输入预测生成器中，输出假的预测图集合PredV＝{Pred_I1,Pred_I₂,…,Pred_I64}；

③将预测生成器网络模型参数设置为不可调，生成一组随机值构成的异常判别器网络模型参数，获取上步生成的预测图集合PredV以及真实数据集中对应真图集合TrueV＝{True_I₁,True_I₂,…,True_I₆₄}，将真图和预测图进行拼接获得异常判别器训练数据集Train_X＝[TrueV,PredV]，同时生成Train_X的标签集Train_Y＝[64,0]，即前64帧为真，标签为1，后64帧为假，标签为0，将Train_X和Train_Y输入异常判别器，不断迭代调整异常判别器模型参数，提高异常判别器的判识精度，直至当前迭代结束，由异常判别器损失函数计算出损失值；

④将异常判别器网络模型参数设置为不可调，输入一组新的视频数据，并认为这些视频数据经过预测生成器能够生成真实的预测图，不断调整预测生成器网络模型参数，直至当前迭代结束，由预测生成器损失函数计算出损失值；

⑤按照③和④的步骤往复循环，直至能够生成逼真的预测图，与真图肉眼无法区分，训练结束。

(4)获取实时视频，上传至训练好的深层预测生成对抗网络模型PredGAN，生成图像的正常得分，得分低于0.2，即判定为发生了异常。

本发明运行实施的具体操作方式按照如下步骤进行：

1、将电子班牌通过连接网线/WIFI/安装SIM卡接入网络中，实现电子班牌与云平台的连接；

2、进入电子班牌中“班级成员”，点击新增，使用彩色摄像头采集班级学生和教师的多个角度人脸图像，录入其身份信息并设置权限，也可以通过云平台向电子班牌发送人脸图像和身份信息，电子班牌将这些信息存储于本地存储器中；

3、在电子班牌的“***设置”中或者通过云平台设置学期起止日期、考勤时间段，电子班牌的考勤状态仅在考勤时间段内自动开启，针对于迟到的学生，需要通过手动选择电子班牌的考勤补录功能完成人脸识别和测温考勤；

4、当处于考勤时间段时，彩色摄像头和热红外摄像头自动采集监控范围内的图像数据，CPU运行智能人脸识别和测温考勤算法，实时处理采集到的彩色图像和热红外图像，实现精准快速的多人人脸识别和测温，对佩戴口罩情况下对人脸的检测精度达到99％，识别准确率能够达到80％。

5、智能人脸识别和测温考勤完成后，电子班牌实时显示学生身份信息、考勤时间、实时体温信息，并自动将考勤信息通过通信模块上传至云平台，由云平台实时转发至家长APP，定时汇总统计的考勤信息发送至负责教师APP。

同时，本发明提供自动身份识别与留言信息服务，其实施步骤如下：

1、家长可通过APP发送语音或文字消息，由云平台转发至学生所在班级的电子班牌；

2、电子班牌首页“家长留言”将以文字形式提示对应学生有未读留言，点击未读留言后，将自动开启人脸识别，判识当前人员身份，若匹配，则自动进入对应学生的留言对话页面，点击查看或者播放家长留言；

3、学生可输入文字回复，或者点击语音按钮，发送语音消息；

另外，本发明提供自动身份识别与班级评比服务，其实施步骤如下：

1、巡视教师对班级课堂、卫生情况进行实地巡检；

2、巡检结束后，点击电子班牌上的“班级评比”，自动开启人脸识别，判识当前人员身份，若身份为巡视教师，则自动进入评比打分页面；

3、巡视教师根据实际情况，为对应项目打分，完成后点击保存，自动退出；

4、电子班牌首页将更新显示班级评比的得分情况；

本发明还提供自动身份识别与状态设置服务，其实施步骤如下：

1、点击“***设置”，自动开启人脸识别，判识当前人员身份，若身份为负责教师，则进入设置页面；

2、其中“状态设置”中提供课间、上课、考试、警报、宣传、考勤六种电子班牌显示状态，负责教师可以勾选对应的显示状态，并选择其显示时间段；

3、完成设置后，电子班牌将在设置时间内显示对应的信息；

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，所述电子班牌上设置热红外摄像头和彩色摄像头，在设定的考勤时间段内通过热红外摄像头进行热红外测温，并与彩色摄像头拍摄的人脸图像的考勤数据进行匹配并上传，通过远程界面显示测温考勤内容，实现智能测温考勤；非考勤时间段内实时采集彩色摄像头视野范围内的视频数据上传至云平台，云平台对视频数据进行异常行为检测，判定为异常则通过远程界面同步报警。

2.根据权利要求1所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，在设定的考勤时间段内进行智能测温考勤的方法如下：

(1)利用彩色摄像头和热红外摄像头同时拍摄包含多个人脸的彩色图像I和热红外图像I_r；

(2)利用开源人脸检测算法SeetaFace对彩色图像I进行人脸检测和识别，获取图像中全部的人脸检测框数据集合F＝{f₁，f₂，…，f_i，…，f_N}，以及识别到的人员身份信息数据集合P＝{p₁，p₂，…，p_i，…，p_N}，其中，f_i表示第i个人脸检测框坐标，p_i表示第i个人脸的人员身份信息，N表示检测出的人脸总数；

(3)计算热红外图像I_r和彩色图像I的变换矩阵W，利用变换矩阵W将热红外图像I_r上的像素点逐个转换至彩色图像I坐标系下，最终获得与彩色图像I对齐后的热红外图像I’_r；

(4)利用人脸检测框数据集合F＝{f₁，f₂，…，f_i，…，f_N}，逐个框选出对齐后的热红外图像I′_r中的全部人脸热红外图像数据集合H＝{h₁，h₂，…，h_i，…，h_N}，其中，h_i表示第i个人脸的热红外图像，i∈(1，N)；

(5)配置热红外摄像头的有效测温距离和环境温度，将单个人脸热红外图像h_i作为测温函数的输入，依次将全部人脸的热红外数据输入测温函数，最终输出获得画面中全部人脸的体温数据集合T＝{t₁，t₂，…，t_i，…，t_N}，其中，t_i表示第i个人脸的体温数据。

3.根据权利要求2所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，步骤(3)的具体方法如下：

(1)计算变换矩阵W：

彩色摄像头内参K_c＝{d_x，d_y，u₀，v₀，f}，其中，d_x、d_y分别表示彩色摄像头的x、y方向上一个像素占的单位数，u₀表示彩色图像中心点与彩色图像原点之间在x方向上的像素数，v₀表示彩色图像中心点与彩色图像原点之间在y方向上的像素数，f表示彩色摄像头的焦距；

热红外摄像头内参

其中，

分别表示热红外摄像头的x、y方向上一个像素占的单位数，

表示热红外图像中心点与热红外图像原点之间在x方向上的像素数，

表示热红外图像中心点与热红外图像原点之间在y方向上的像素数，f^t表示热红外摄像头的焦距；

变换矩阵W的计算公式如下所示：

其中，h为热红外摄像头与彩色摄像头的架设高度差；

(2)将变换矩阵W简单表示为一个3×3大小的矩阵，如下所示：

将热红外图像上任意一点k在热红外图像坐标系下的坐标(u_k,v_k)转换到彩色图像坐标系下的坐标(u′_k，v′_k)，其计算表达式为：

具体计算如下：

u’_k＝w₁₁×u_k+w₁₂×v_k+w₁₃

v’_k＝w₂₁×u_k+w₂₂×v_k+w₂₃

(3)按照上步的计算，逐个将热红外图像上的像素点转换至彩色图像坐标系下，最终获得与彩色图像I对齐后的热红外图像I’_r。

4.根据权利要求1所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，非考勤时间段内进行异常行为检测的方法如下：

(1)构建深层预测生成对抗网络模型PredGAN，该网络模型包括预测生成器和异常判别器；预测生成器负责利用连续视频帧序列预测新的视频帧，异常判别器负责生成图像的正常得分，从而区分正常和异常视频图像；

(2)构建预测生成器损失函数和异常判别器损失函数；

(3)对预测生成器和异常判别器单独交替迭代进行网络模型训练，使得预测生成器损失函数和异常判别器损失函数不断降低，直至预测生成器能够生成逼真的预测图，与真图肉眼无法区分，训练结束；

(4)获取实时视频，上传至训练好的深层预测生成对抗网络模型PredGAN，生成图像的正常得分，得分低于0.2，即判定为发生了异常。

5.根据权利要求4所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，所述预测生成器损失函数L_G计算公式如下：

其中，c表示训练循环次数，λ_c表示第c次循环的参数权重，n_t表示第t帧的参数数量，λ_t表示第t帧的参数权重，n_c表示第c次循环的参数数量，

表示第t帧在第c次循环中的误差；

所述异常判别器损失函数L_D计算公式如下：

L_D＝E[(d_r-1)²]+E[(d)²]

其中，d_r为真实数据集中对应图像经过异常判别器生成的正常得分集合，d为训练数据集中由预测生成器预测得到的新的视频帧图像输入异常判别器生成的正常得分集合。

6.根据权利要求4所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，网络模型训练的具体过程如下：

(1)选取日常生活中的不同类型、不同场景的正常视频作为训练数据集提供训练样本，选定训练数据集中每段视频中第9帧、第2*9帧、...、第N*9帧图像作为真实数据集，为对抗训练提供真实样本；

(2)先随机生成一组预测生成器网络模型参数，将训练数据集中的视频数据以每连续8帧为一个处理单元，batch_size设为64，输入预测生成器中，输出假的预测图集合PredV＝{Pred_I₁，Pred_I₂，…，Pred_I₆₄}；

(3)将预测生成器网络模型参数设置为不可调，生成一组随机值构成的异常判别器网络模型参数，获取上步生成的预测图集合PredV以及真实数据集中对应真图集合TrueV＝{True_I₁，True_I₂，…，True_I₆₄}，将真图和预测图进行拼接获得异常判别器训练数据集Train_X＝[TrueV，Pr edV]，同时生成Train_X的标签集Train_Y＝[64,0]，即前64帧为真，标签为1，后64帧为假，标签为0，将Train_X和Train_Y输入异常判别器，不断迭代调整异常判别器模型参数，提高异常判别器的判识精度，直至当前迭代结束，由异常判别器损失函数计算出损失值；

(4)将异常判别器网络模型参数设置为不可调，输入一组新的视频数据，并认为这些视频数据经过预测生成器能够生成真实的预测图，不断调整预测生成器网络模型参数，直至当前迭代结束，由预测生成器损失函数计算出损失值；

(5)按照(3)和(4)的步骤往复循环，直至能够生成逼真的预测图，与真图肉眼无法区分，训练结束。

7.根据权利要求1所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，所述电子班牌包括壳体，所述彩色摄像头和热红外摄像头设置于所述壳体上，所述壳体上还设置触摸显示屏、扬声器、麦克风，壳体内设置与上述部件信号连接的控制电路板，所述控制电路板上设置CPU、LAN通信模块、WIFI通信模块和4G通信模块。

8.根据权利要求5所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，所述彩色摄像头、热红外摄像头通过MIPICSI接口与CPU通信，用于进行人脸彩色图像和热红外图像数据接入。

9.根据权利要求5所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，所述LAN通信模块、WIFI通信模块和4G通信模块通过SPI与CPU通信连接，用于同云平台进行数据交互。

10.根据权利要求5所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，所述扬声器和麦克风通过GPIO与CPU通信，所述电子班牌外接5V直流电源供电。

Images