CN111339939B - 基于图像识别的考勤方法及装置 - Google Patents

基于图像识别的考勤方法及装置 Download PDF

Info

Publication number
CN111339939B
CN111339939B CN202010118627.2A CN202010118627A CN111339939B CN 111339939 B CN111339939 B CN 111339939B CN 202010118627 A CN202010118627 A CN 202010118627A CN 111339939 B CN111339939 B CN 111339939B
Authority
CN
China
Prior art keywords
information
activity
attendance
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010118627.2A
Other languages
English (en)
Other versions
CN111339939A (zh
Inventor
谢超
左金柱
彭智
卢业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010118627.2A priority Critical patent/CN111339939B/zh
Publication of CN111339939A publication Critical patent/CN111339939A/zh
Application granted granted Critical
Publication of CN111339939B publication Critical patent/CN111339939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1091Recording time for administrative or management purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像识别的考勤方法及装置,其中,该方法包括:获取待处理的考勤数据,该考勤数据包括:含有多个用户人脸图像的集体图像和相应的活动信息;将所述集体图像进行预处理,识别其中的人脸图像;根据所述活动信息和识别的人脸图像与预先存储的活动登记信息进行匹配操作,所述活动登记信息包括:需参与活动的用户信息及其人脸图像;根据匹配操作结果标识所述需参与活动的用户是否参与活动,以生成考勤结果数据。本发明无需用户依次排队来完成考勤记录,无感体验较好,并且也无需人工来完成考勤统计,因而效率较高。

Description

基于图像识别的考勤方法及装置
技术领域
本发明涉及图像处理领域,具体涉及一种基于图像识别的考勤方法及装置。
背景技术
考勤管理是确保各活动、培训、课程组织方对学员教学过程及维护正常教学秩序管理的重要手段。目前的传统考勤方式中,往往需要借助实体卡片或者学员主动触发(如签字、点名)来进行,并需要依次排队逐个完成,不仅增加了考勤的成本和时间,同时也造成无感体验性较差的情况。组织方需耗费一定量的人力和时间成本对考勤数据进行加工处理,存在时效性不高、信息较分散且容易发生错漏的缺陷,在一定程度上也给教学管理工作造成效率低下、统计分析不准确的影响。
发明内容
有鉴于此,本发明提供一种基于图像识别的考勤方法及装置,以解决上述提及的至少一个问题。
根据本发明的第一方面,提供一种基于图像识别的考勤方法,所述方法包括:获取待处理的考勤数据,该考勤数据包括:含有多个用户人脸图像的集体图像和相应的活动信息;将所述集体图像进行预处理,识别其中的人脸图像;根据所述活动信息和识别的人脸图像与预先存储的活动登记信息进行匹配操作,所述活动登记信息包括:需参与活动的用户信息及其人脸图像;根据匹配操作结果标识所述需参与活动的用户是否参与活动,以生成考勤结果数据。
根据本发明的第二方面,提供一种基于图像识别的考勤装置,所述装置包括:数据获取单元,用于获取待处理的考勤数据,该考勤数据包括:含有多个用户人脸图像的集体图像和相应的活动信息;图像识别单元,用于将所述集体图像进行预处理,识别其中的人脸图像;匹配单元,用于根据所述活动信息和识别的人脸图像与预先存储的活动登记信息进行匹配操作,所述活动登记信息包括:需参与活动的用户信息及其人脸图像;标识单元,用于根据匹配操作结果标识所述需参与活动的用户是否参与活动,以生成考勤结果数据。
根据本发明的第三方面,提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述基于图像识别的考勤方法的步骤。
根据本发明的第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述基于图像识别的考勤方法的步骤。
由上述技术方案可知,通过识别获取的考勤数据中的集体图像,以得到各用户的人脸图像,并基于预先存储的活动登记信息来对多个人脸图像进行匹配操作,从而生成考勤结果数据,相比于现有技术,本技术方案无需用户依次排队来完成考勤记录,无感体验较好,并且也无需人工来完成考勤统计,因而效率较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于图像识别的考勤方法的流程图;
图2是根据本发明实施例的基于图像识别的考勤装置的结构框图;
图3是根据本发明实施例的图像识别单元22的结构框图;
图4是根据本发明实施例的基于图像识别的考勤装置的详细结构框图;
图5是根据本发明实施例的匹配单元23的结构框图;
图6是根据本发明实施例的基于人脸图像的考勤***的示例结构图;
图7是根据本发明实施例的信息登记录入平台1的结构框图;
图8是根据本发明实施例的人脸图像处理***2的结构框图;
图9是根据本发明实施例的数据统计分析平台3的结构框图;
图10是根据本发明实施例的基于图6所示***的初始信息登记录入流程图;
图11是根据本发明实施例的基于图6所示***的人脸图像匹配与识别流程图;
图12是根据本发明实施例的基于图6所示***的考勤数据统计分析流程图;
图13是根据本发明实施例的电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
鉴于现有的考勤方式存在无感体验较差、耗费人力和时间分析统计等问题,本发明实施例提供一种基于图像识别的考勤方案,以解决上述问题。
图1是根据本发明实施例的基于图像识别的考勤方法的流程图,如图1所示,该方法包括:
步骤101,获取待处理的考勤数据,该考勤数据包括:含有多个用户人脸图像的集体图像和相应的活动信息。
优选地,可以通过摄像设备获取集体图像,提高了用户的无感体验。
步骤102,将所述集体图像进行预处理,识别其中的人脸图像。
具体而言,可以基于并行处理模式对预处理后的集体图像进行人脸特征提取操作,以识别其中的人脸图像。
步骤103,根据所述活动信息和识别的人脸图像与预先存储的活动登记信息进行匹配操作,所述活动登记信息包括:需参与活动的用户信息及其人脸图像。
步骤104,根据匹配操作结果标识所述需参与活动的用户是否参与活动,以生成考勤结果数据。
通过识别获取的考勤数据中的集体图像,以得到各用户的人脸图像,并基于预先存储的活动登记信息来对多个人脸图像进行匹配操作,从而生成考勤结果数据,相比于现有技术,本发明实施例无需用户依次排队来完成考勤记录,无感体验较好,并且也无需人工来完成考勤统计,因而效率较高。
在实际操作中,当用户需参与多个不同活动时,可以基于训练好的分类模型对活动登记信息进行分类处理;并根据分类处理结果生成以活动信息为类别的活动登记信息。
例如,对于教学工作而言,学员会参加多个课程,因而可以根据课程作为类别,生成活动登记信息,建立课程、学员及其人脸图像的对应关系。
这里的分类模型可以采用KNN(K-近邻算法,K-Nearest Neighbors)模型。
对于步骤103的匹配操作,可以先根据活动信息确定相应类别的活动登记信息,之后根据确定的相应类别的活动登记信息、基于遍历循环机制对识别的人脸图像进行匹配操作。
在完成考勤之后,可以根据预定规则以活动信息或者以用户信息统计考勤结果数据,以便于后期的查看和统计。
基于相似的发明构思,本发明实施例还提供一种基于图像识别的考勤装置,优选的用于实现上述方法实施例中的流程。
图2是根据本发明实施例的基于图像识别的考勤装置的结构框图,如图2所示,该装置包括:数据获取单元21、图像识别单元22、匹配单元23和标识单元24,其中:
数据获取单元21,用于获取待处理的考勤数据,该考勤数据包括:含有多个用户人脸图像的集体图像和相应的活动信息。具体地,可以通过摄像设备获取参与活动用户的集体图像,实现无感采集用户图像。
图像识别单元22,用于将所述集体图像进行预处理,识别其中的人脸图像。
匹配单元23,用于根据所述活动信息和识别的人脸图像与预先存储的活动登记信息进行匹配操作,所述活动登记信息包括:需参与活动的用户信息及其人脸图像。
标识单元24,用于根据匹配操作结果标识所述需参与活动的用户是否参与活动,以生成考勤结果数据。
通过图像识别单元22识别数据获取单元21获取的考勤数据中的集体图像,以得到各用户的人脸图像,匹配单元23基于预先存储的活动登记信息对多个人脸图像进行匹配操作,标识单元24根据匹配结果生成考勤结果数据,相比于现有技术,本发明实施例无需用户依次排队来完成考勤记录,无感体验较好,并且也无需人工来完成考勤统计,因而效率较高。
具体地,如图3所示,图像识别单元22包括:预处理模块221和图像识别模块222,其中:
预处理模块221,用于将所述集体图像进行预处理;
图像识别模块222,用于基于并行处理模式对预处理后的集体图像进行人脸特征提取操作,以识别其中的人脸图像。
在实际操作中,如图4所示,上述装置还包括:分类单元25和活动登记信息生成单元26,其中:
分类单元25,用于当一个用户需参与多个不同活动时,基于训练好的分类模型对所述活动登记信息进行分类处理;
活动登记信息生成单元26,用于根据分类处理结果生成以活动信息为类别的活动登记信息。
具体地,如图5所示,上述匹配单元23包括:活动登记信息确定模块231和匹配模块232,其中:
活动登记信息确定模块231,用于根据所述活动信息确定相应类别的活动登记信息;
匹配模块232,用于根据确定的相应类别的活动登记信息、基于遍历循环机制对识别的人脸图像进行匹配操作。
继续参见图4,上述装置还包括:统计单元27,用于根据预定规则以活动信息或者以用户信息统计考勤结果数据。
上述各单元、各模块的具体执行过程,可以参见上述方法实施例中的描述,此处不再赘述。
为了更好地理解本发明实施例,以下结合教学场景来详细描述本发明实施例。
图6是根据本发明实施例的基于人脸图像的考勤***的示例结构图,如图6所示,该***包括:信息登记录入平台1、人脸图像处理***2、数据统计分析平台3。优选地,该人脸图像处理***2具有上述考勤装置的功能。其中,信息登记录入平台1可通过移动或者有线网络与人脸图像处理***2,数据统计分析平台3与信息登记录入平台1、人脸图像处理***2建立通信连接。
信息登记录入平台1,负责与操作人员、人脸图像处理***2的交互,以及教学信息、人脸图像采集、考勤请求和结果接收。信息登记录入平台采用基于Web浏览、移动智能设备方式向操作人员提供可视化交互界面,移动智能设备包含但不限于移动手机、平板电脑,交互方式包含但不限于由移动智能设备摄像头唤起、H5(移动端的web页面)页面信息录入的形式。
人脸图像处理***2,负责对接收的人脸图像进行预处理、定位裁剪、特征提取、分类训练、匹配与识别等。
响应于初始信息登记录入,人脸图像处理***2运用图像处理算法对人脸图像进行归一化、光线增强/弱化、几何校正、灰度变换调整等预处理,然后根据预定的定位裁剪算法对图像中涉及的人脸进行定位裁剪,该定位裁剪算法主要判断是否有人脸存在、及人脸大小、范围等,便于后续提取人脸特征时减少计算量和处理时间。本发明实施例可以采用基于PCA(Principal Components Analysis,主成分分析法)的EigenFaces(特征脸算法)算法提取人脸图像特征值,之后根据单个学员唯一标识码(包含但不限于手机号码、学号、身份证ID)和姓名生成文件夹,文件夹内存放学员的人脸图像。同时,在***内将教学班级、人员信息、人脸特征值建立绑定关系,依照教学班级为维度产生对应的分类器。同时将人脸图像处理结果返回到信息登记录入平台,课程信息传输至数据统计分析平台做存储登记。
响应于考勤流程,人脸图像处理***2主要用于人脸图像的匹配与识别,具体流程包括:教学工作者通过智能移动设备端的信息登记录入平台1采集教学班级学员集体照,将包含多个学员人脸图像的集体照片上传至人脸图像处理***2。这样可以避免单个学员排队采集人脸,通过一次性采集,可以节省时间和投入成本、提升学员的无感体验。人脸图像处理***2对集体人脸图像进行接收、预处理、定位裁剪、提取人脸特征值等操作,根据教学工作者选定的教学班级匹配到对应的分类器,再根据提取的人脸特征值在分类器中寻找匹配的目标特征值,若相似则代表完成人脸图像的匹配,识别结束,此时获取目标特征值对应的学员信息,记录考勤标志为“出勤”状态。将考勤结果数据同步传递至数据统计分析平台。以上流程全部完成后,再将集体人脸图像处理结果返回到信息登记录入平台。
数据统计分析平台3,主要存储教学管理中班级、学员的关联关系数据以及接收人脸图像处理***中匹配与识别的结果,根据结果来登记、更新对应教学班级、学员的出勤情况,并向学员、教学工作者提供可视化查询、定时提醒的功能。查询的形式包括但不限于列表、可下载报表,提醒的形式包含但不限于邮件、APP(应用)通知。
图7是上述信息登记录入平台1的结构框图,如图7所示,信息登记录入平台1包含:信息登记处理申请单元11、人脸图像采集单元12、信息登记请求单元13、信息登记处理结果接收单元14,其中:
信息登记处理申请单元11,该单元提供可视化形式与操作人员交互,负责向学员和教学工作者提供教学班级信息、考勤信息的录入、采集、查询等,其中,考勤信息包括但不限于:班级类型、姓名、手机号码、学号、身份证号码、彩色人脸图像(可包含多学员人脸图像)。
人脸图像采集单元12,通过操作人员所持智能设备的摄像头进行拍照,对摄像头采集的人脸图像进行格式化、图像大小、分辨率检查,检查后转换成可读的电子数据信息。人脸图像的格式包含但不限于JPG(一种图像格式)、PNG(一种图像格式)、BMP(一种图像格式)。
信息登记请求单元13,用于将待处理的考勤信息和人脸图像、操作用户查询请求按照统一的报文格式打包传输到人脸图像处理***2和数据统计分析平台3,便于考勤数据的登记、存储和人脸图像处理。
信息登记处理结果接收单元14,负责将人脸图像处理***2返回的人脸图像处理结果以及数据统计分析平台3返回的查询结果以可见的消息形式通知或者可视化展现给操作用户。
图8是人脸图像处理***2的结构框图,如图8所示,该***2包含:信息接收和返回单元21、预处理单元22、定位裁剪单元23、人脸特征提取单元24、分类器单元25,匹配与识别单元26、信息转发单元27,其中:
信息接收和返回单元21,负责从信息登记录入平台1接收考勤信息和人脸图像数据信息,按照统一的指令拆分报文得到待处理的考勤信息(含人脸图像)和业务数据,并将这些数据转发至其他处理单元处理后将最终的结果返回至信息登记录入平台1。
预处理单元22,根据来自信息接收和返回单元21的人脸图像数据,基于OpenCV(一种跨平台计算机视觉库)图像处理库算法对人脸图像进行降噪、光线增强/弱化、几何校正、灰度变换调整、归一化等预处理操作,使之能满足人脸图像特征提取的要求。图像预处理算法包含但不限于:多尺度Retinex(一种图像增强算法)算法、Gopfert’S(一种图像处理算法)算法。
定位裁剪单元23,根据预处理单元22的处理结果,对人脸图片进行定位和裁剪,定位裁剪算法包含但不限于RGB-HIS(一种图像分割算法)、KF(卡尔曼滤波算法)、SEIF(一种基于滤波器的定位算法)算法,其作用在于判断是否有人脸存在及人脸大小、范围,便于后续提取特征时减少计算量和处理时间。
人脸特征提取单元24,根据定位裁剪单元23的图像处理结果,将处理后的图像进行人脸特征的提取,这里使用的算法包含但不限于HOUGH(霍夫变换)、SIFT(Scale-invariant feature transform,尺度不变特征变换)算法,生成特定的特征数据。该单元工作时可以采用并行处理模式,主要是针对包含多个用户人脸头像的集体照,可同时提取多个人脸特征,达到提高***处理效率的目标。
分类器单元25,响应于人脸图像处理***2判断当前操作为初始信息登记录入,调用该单元。在***后台按照单个学员唯一标识码(包含但不限于手机号码、学号、身份证ID)和姓名生成文件夹,文件夹内存放学员的人脸图像。同时,在***内将教学班级、人员信息、人脸特征值建立绑定关系,并以教学班级为维度依据KNN模型算法产生对应的分类器。该单元在作业时,采取了根据教学班级学员人数变化动态调整人脸特征库数据关联机制,即,学员数量或者学员人脸图像发生变化时(如:退课、重新上传人脸图像)会根据最新的数据训练分类器,这样可以提升后续匹配与识别作业时的效率,减少***不必要的开销。
匹配与识别单元26,响应于人脸图像处理***2判断当前操作为考勤流程的人脸图像匹配与识别,调用该单元。根据教学工作者选定的教学班级匹配到对应的分类器,再在分类器中寻找与人脸图像特征值匹配的目标特征值,若相似则代表完成人脸图像的匹配,识别结束。
信息转发单元27,当在人脸图像处理***2判断当前操作为考勤流程的人脸图像匹配与识别时,且匹配与识别单元26处理结果通过,则获取目标特征值对应的学员信息,记录考勤标志为“出勤”状态,将该结果同步转发至数据统计分析平台3进行更新处理。当在人脸图像处理***2判断当前操作为初始信息登记录入时,分类器单元25处理完毕后即将考勤信息同步至数据统计分析平台3做登记存储。
图9是数据统计分析平台3的结构框图,如图9所示,该数据统计分析平台3包含:信息接收和返回单元31、存储单元32,统计分析单元33,其中:
信息接收和返回单元31,负责从信息登记录入平台1、人脸图像处理***2接收考勤信息和人脸图像数据处理结果以及查询请求,按照统一的指令拆分报文得到考勤信息(含人脸图像识别结果)和业务数据,将这些数据转发至其他处理单元处理后将最终的结果返回至信息登记录入平台1、人脸图像处理***2。
存储单元32,负责存储教学管理中班级、学员的关联关系数据以及更新人脸图像处理***2中人脸图像处理结果。
统计分析单元33,负责对存储单元32中的数据进行不同维度的统计分析,包括但不限于:定期(按照日/月/季度/年)调度相关程序触发对应教学班级、学员的出勤率统计动作,通过信息接收和返回单元31返回结果。学员、教学工作者可通过信息登记录入平台1中的信息登记处理结果接收单元14接收查询、提醒信息。查询结果的形式包含但不限于列表、可下载报表,提醒的形式包含但不限于邮件、APP通知。
在实际操作中,上述各单元、各模块、各子模块可以组合设置、也可以单一设置,本发明不限于此。
本发明实施例的基于人脸图像的考勤***实现了考勤信息以及人脸图像的采集、人脸图像的预处理及特征值提取、考勤信息以及人脸图像的存储、人脸图像的匹配识别、考勤信息的统计分析、考勤信息处理请求的转发和结果返回等功能。
基于该考勤***,对学员上课进行人脸考勤处理时,主要涉及三种流程:初始信息登记录入、人脸图像匹配与识别、数据统计分析。总体归纳为:选择信息登记录入平台1提供的Web浏览、移动智能设备方式向学生、教学工作者提供可视化交互界面进行课程与学员的绑定、人脸图像采集,然后将课程信息和人脸图像转发至人脸图像处理***2,人脸图像处理***2接收到课程信息和人脸图像数据后进行人脸图像预处理和特征值提取、以及特征的匹配和识别,之后将识别结果转发至数据统计分析平台3。数据统计分析平台3接收到数据信息后进行存储、更新操作,完成考勤数据的统计分析。学生或者教学工作者可通过信息登记录入平台1提供的可视化界面进行查询,数据统计分析平台3将查询结果以可见的消息形式通知或者可视化展现给学员或者教学工作者。
图10是基于图6所示***的初始信息登记录入流程图,如图10所示,流程包括:
步骤11:信息录入与人脸图像采集。教学工作者预先在信息登记录入平台1录入相关课程信息供学员选择,学员根据信息登记录入平台1中信息登记处理申请单元11提供的可视化界面上选择课程和填写学员信息(包含但不限于班级类型、姓名、手机号码、学号、身份证号码),并且通过人脸图像采集单元12唤起学生所持智能设备的摄像头进行拍照,对摄像头采集的人脸图像进行格式化、图像大小、分辨率检查,通过后转换成可读的电子数据信息。
步骤12:课程信息与人脸图像登记请求。通过信息登记录入平台1中的信息登记请求单元13,将课程、学员、人脸图像信息按照统一的报文格式打包传输到人脸图像处理***2。
步骤13:人脸图像预处理。位于人脸图像处理***2中的信息接收和返回单元21接收到步骤12的信息后,按照统一的指令拆分报文得到考勤信息(含人脸图像)和业务数据,并将得到的数据传输至预处理单元22进行人脸图像预处理,预处理完成后再将数据传输至定位裁剪单元23。
步骤14:人脸图像定位与裁剪。定位裁剪单元23接收预处理单元22的处理结果,对人脸图片进行定位和裁剪,其作用在于判断是否有人脸存在及其大小、范围,便于后续提取特征时减少计算量和处理时间。之后,再将定位裁剪后的人脸图像数据传输至人脸特征提取单元24。
步骤15:人脸图像特征值提取。依据定位裁剪单元23处理结果,将处理后的图像进行人脸特征提取,生成特定的特征数据。之后,人脸图像处理***2判断当前操作为初始信息登记录入时调用分类器单元25。
步骤16:分类器训练。在***后台按照单个学员唯一标识码(包含但不限于手机号码、学号、身份证ID)和姓名生成文件夹,文件夹内存放学员的人脸图像。同时,根据对值数据格式将课程、人员信息、人脸特征值建立绑定关系,并以教学班级为维度依据KNN模型算法产生对应的分类器。在此步骤中,采用根据教学班级学员人数变化动态调整人脸特征库数据关联机制,即,学员数量或者学员人脸图像发生变化时(如:退课、重新上传人脸图像)会根据最新的数据训练分类器,这样可以提升后续匹配与识别作业时的效率,减少***不必要的开销。
步骤17:课程信息存储。人脸图像处理***2中分类器单元25处理完毕后,将课程信息按照特定的数据格式打包报文同步至数据统计分析平台3做登记。位于数据统计分析平台3的信息接收和返回单元31接收课程信息并转发至存储单元32做登记存储。
步骤18:结果返回。课程信息登记完毕后,位于数据统计分析平台3中的信息接收和返回单元31将结果返回至人脸图像处理***2,然后在人脸图像处理***2调用信息接收和返回单元21,将结果返回到信息登记录入平台1。信息登记录入平台1中的信息登记处理结果接收单元14接收到结果后,将选课以及人脸图像录入结果以可视化的形式展现给学生。
图11是基于图6所示***的人脸图像匹配与识别流程图,如图11所示,该流程包括:
步骤21:集体人脸图像采集。由教学工作者在课堂上使用智能设备登陆信息登记录入平台1,通过信息登记处理申请单元11确认对应课程,并通过人脸图像采集单元12唤起所持智能设备的摄像头进行集体照采集。这样可以避免每个学员排队采集人脸,达到一次性采集,节省时间和投入成本、提升学员无感体验的目的。将摄像头采集的包含多个学员人脸图像的集体图像进行格式化、图像大小、分辨率检查,检查后转换成可读的电子数据信息。
步骤22:人脸图像匹配与识别请求。位于信息登记录入平台1中的信息登记请求单元13,将集体人脸图像信息按照特定统一的报文格式打包传输到人脸图像处理***2。
步骤23:人脸图像预处理。人脸图像处理***2中的信息接收和返回单元21接收到步骤22中的信息后,按照统一的指令拆分报文得到考勤信息(含人脸图像)和业务数据,并将这些数据传输至预处理单元22进行人脸图像预处理,之后将预处理后的图像传输至定位裁剪单元23。
步骤24:人脸图像定位与裁剪。定位裁剪单元23接收预处理单元22的处理结果,对人脸图片进行定位和裁剪,其作用在于判断是否有人脸存在及其大小、范围,便于后续提取特征时减少计算量和处理时间。之后,再将定位裁剪后的人脸图像数据传输至人脸特征提取单元24。
步骤25:人脸图像特征值提取。依据定位裁剪单元23处理结果,将处理后的包含多个学员人脸图像进行人脸特征的提取,按照多任务并行处理方式生成特定的特征数据,以提高图像处理效率。之后,人脸图像处理***2判断当前操作为人脸图像匹配与识别时调用匹配与识别单元26。
步骤26:人脸图像匹配与识别。位于人脸图像处理***2中的匹配与识别单元26根据教学工作者选定的教学班级映射到对应的分类器,在分类器中按照集体提取的特征值采用遍历循环机制寻找与特征值匹配的目标特征值,若相似则代表完成人脸图像的匹配,识别通过。
步骤27:考勤数据登记更新。若匹配与识别单元26处理结果通过则获取目标特征值对应的学员信息,记录考勤标志为“出勤”状态,将该结果同步转发至数据统计分析平台3。位于数据统计分析平台3中的信息接收和返回单元31接收到考勤结果后,调用存储单元32将该结果进行登记、更新操作。
步骤28:结果返回。考勤数据登记更新完毕后,位于数据统计分析平台3中的信息接收和返回单元31将结果返回至人脸图像处理***2,然后人脸图像处理***2调用信息接收和返回单元21,将结果返回到信息登记录入平台1。信息登记录入平台1中的信息登记处理结果接收单元14接收到结果后,将人脸图像匹配与识别结果以可视化的形式展现给教学工作者。
图12是基于图6所示***的考勤数据统计分析流程图,如图12所示,该流程包括:
步骤31:数据统计分析触发。统计分析动作可以通过如下2种方式触发:一是学员、教学工作者通过位于信息登记录入平台1中的信息登记处理申请单元11主动触发查询请求;二是数据统计分析平台3中的统计分析单元33,按照存储单元32中的数据定期调度相关程序触发。其中,定期包含但不限于:课程结束时、以及根据/日/月/季度/年,统计分析内容包含但不限于对应教学班级、学生出勤率、出勤排名统计。
步骤32:统计结果返回。数据统计分析平台3中的信息接收和返回单元31将主动查询或者定期统计的数据结果返回至信息登记录入平台1,位于信息登记录入平台1的信息登记处理结果接收单元14接收查询统计结果,并以可视化形式的列表、可下载报表,通过通知提醒的形式在信息登记录入平台1展现给学生或者教学工作者。
由以上描述可知,本发明实施例提供了一种基于人脸图像的考勤***,其中,信息登记录入平台用于为学员、教学工作者提供教学信息(包含但不限于课程、班级等)、人脸图像信息的采集和录入,并将采集的人脸图像数据发送至人脸图像处理***。人脸图像处理***接收教学信息和人脸图像,进行图像预处理、图像特征提取、图像的匹配和识别,生成图像识别结果。人脸图像处理***将识别结果发送至数据统计分析平台进行数据的统计、分析及后续通知动作。人脸图像和教学信息数据在信息登记录入平台、人脸图像处理***、数据统计分析平台的流转过程中通过TSL(Transport Layer Security,安全传输层协议)协议在对应网络中传输,数据到达分发***时再进行解密、验证,处理完成后再与下一处理***建立TSL通信传输数据信息,从而保障信息流在传输过程中的保密性和完整性。
图13是根据本发明实施例的电子设备的示意图。图13所示的电子设备为通用数据处理装置,其包括通用的计算机硬件结构,其至少包括处理器1301和存储器1302。处理器1301和存储器1302通过总线1303连接。存储器1302适于存储处理器1301可执行的一条或多条指令或程序。该一条或多条指令或程序被处理器1301执行以实现上述基于图像识别的考勤方法中的步骤。
上述处理器1301可以是独立的微处理器,也可以是一个或者多个微处理器集合。由此,处理器1301通过执行存储器1302所存储的命令,从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线1303将上述多个组件连接在一起,同时将上述组件连接到显示控制器1304和显示装置以及输入/输出(I/O)装置1305。输入/输出(I/O)装置1305可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地,输入/输出(I/O)装置1305通过输入/输出(I/O)控制器1306与***相连。
其中,存储器1302可以存储软件组件,例如操作***、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时以实现上述基于图像识别的考勤方法的步骤。
综上所述,本发明实施例提供了一种基于人脸图像识别的考勤方案,依托移动智能设备的便捷性来采集集体人脸图像,通过对人脸图像特征的提取进行匹配和识别,来完成考勤。本发明实施例利用技术手段替代传统的有感操作流程,提升了考勤效率,并且,可以便捷地根据人脸图片信息匹配到学员信息,可以快速地进行考勤统计和分析工作,保证了考勤管理的高效率,为考勤管理提供了更智能、更精准、更高效的管理手段。
以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的,因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外,由于本领域的技术人员容易想到很多修改和改变,因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作,而是可以涵盖落入其范围内的所有合适修改和等同物。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种基于图像识别的考勤方法,其特征在于,所述方法包括:
获取待处理的考勤数据,该考勤数据包括:含有多个用户人脸图像的集体图像和相应的活动信息;
将所述集体图像进行预处理,识别其中的人脸图像;
根据所述活动信息和识别的人脸图像与预先存储的活动登记信息进行匹配操作,所述活动登记信息包括:需参与活动的用户信息及其人脸图像;
根据匹配操作结果标识所述需参与活动的用户是否参与活动,以生成考勤结果数据;
根据所述活动信息和识别的人脸图像与预先存储的活动登记信息进行匹配操作包括:
根据所述活动信息确定相应类别的活动登记信息;
根据确定的相应类别的活动登记信息、基于遍历循环机制对识别的人脸图像进行匹配操作;
根据课程作为类别,生成活动登记信息,建立课程、学员及其人脸图像的对应关系;
人脸图像和相应的活动信息在流转过程中通过安全传输层协议在对应网络中传输,数据到达分发***时再进行解密、验证,处理完成后再与下一处理***建立安全传输层协议通信传输数据信息。
2.根据权利要求1所述的方法,其特征在于,当用户需参与多个不同活动时,所述方法还包括:
基于训练好的分类模型对所述活动登记信息进行分类处理;
根据分类处理结果生成以活动信息为类别的活动登记信息。
3.根据权利要求1所述的方法,其特征在于,将所述集体图像进行预处理,识别其中的人脸图像包括:
将所述集体图像进行预处理;
基于并行处理模式对预处理后的集体图像进行人脸特征提取操作,以识别其中的人脸图像。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据预定规则以活动信息或者以用户信息统计考勤结果数据。
5.根据权利要求1所述的方法,其特征在于,获取待处理的考勤数据包括:
通过摄像设备获取参与活动用户的集体图像。
6.一种基于图像识别的考勤装置,其特征在于,所述装置包括:
数据获取单元,用于获取待处理的考勤数据,该考勤数据包括:含有多个用户人脸图像的集体图像和相应的活动信息;
图像识别单元,用于将所述集体图像进行预处理,识别其中的人脸图像;
匹配单元,用于根据所述活动信息和识别的人脸图像与预先存储的活动登记信息进行匹配操作,所述活动登记信息包括:需参与活动的用户信息及其人脸图像;
标识单元,用于根据匹配操作结果标识所述需参与活动的用户是否参与活动,以生成考勤结果数据;
所述匹配单元包括:
活动登记信息确定模块,用于根据所述活动信息确定相应类别的活动登记信息;
匹配模块,用于根据确定的相应类别的活动登记信息、基于遍历循环机制对识别的人脸图像进行匹配操作;
根据课程作为类别,生成活动登记信息,建立课程、学员及其人脸图像的对应关系;
人脸图像和相应的活动信息在流转过程中通过安全传输层协议在对应网络中传输,数据到达分发***时再进行解密、验证,处理完成后再与下一处理***建立安全传输层协议通信传输数据信息。
7.根据权利要求6所述的装置,其特征在于,当用户需参与多个不同活动时,所述装置还包括:
分类单元,用于基于训练好的分类模型对所述活动登记信息进行分类处理;
活动登记信息生成单元,用于根据分类处理结果生成以活动信息为类别的活动登记信息。
8.根据权利要求6所述的装置,其特征在于,所述图像识别单元包括:
预处理模块,用于将所述集体图像进行预处理;
图像识别模块,用于基于并行处理模式对预处理后的集体图像进行人脸特征提取操作,以识别其中的人脸图像。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
统计单元,用于根据预定规则以活动信息或者以用户信息统计考勤结果数据。
10.根据权利要求6所述的装置,其特征在于,所述数据获取单元具体用于:
通过摄像设备获取参与活动用户的集体图像。
11.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至5中任一项所述基于图像识别的考勤方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至5中任一项所述基于图像识别的考勤方法的步骤。
CN202010118627.2A 2020-02-26 2020-02-26 基于图像识别的考勤方法及装置 Active CN111339939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010118627.2A CN111339939B (zh) 2020-02-26 2020-02-26 基于图像识别的考勤方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010118627.2A CN111339939B (zh) 2020-02-26 2020-02-26 基于图像识别的考勤方法及装置

Publications (2)

Publication Number Publication Date
CN111339939A CN111339939A (zh) 2020-06-26
CN111339939B true CN111339939B (zh) 2023-09-26

Family

ID=71186947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010118627.2A Active CN111339939B (zh) 2020-02-26 2020-02-26 基于图像识别的考勤方法及装置

Country Status (1)

Country Link
CN (1) CN111339939B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550253B (zh) * 2022-02-22 2024-05-10 支付宝(杭州)信息技术有限公司 用于在排队的场景下对人脸图像进行预处理的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204780A (zh) * 2016-07-04 2016-12-07 武汉理工大学 一种基于深度学习和云服务的人脸识别考勤***及方法
CN107481343A (zh) * 2017-07-22 2017-12-15 华中师范大学 一种基于人脸识别技术的课堂考勤签到***及其工作方法
CN108022318A (zh) * 2017-12-28 2018-05-11 上海享服信息技术有限公司 多人人脸识别考勤***及其考勤方法
CN108875606A (zh) * 2018-06-01 2018-11-23 重庆大学 一种基于表情识别的课堂教学评价方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204780A (zh) * 2016-07-04 2016-12-07 武汉理工大学 一种基于深度学习和云服务的人脸识别考勤***及方法
CN107481343A (zh) * 2017-07-22 2017-12-15 华中师范大学 一种基于人脸识别技术的课堂考勤签到***及其工作方法
CN108022318A (zh) * 2017-12-28 2018-05-11 上海享服信息技术有限公司 多人人脸识别考勤***及其考勤方法
CN108875606A (zh) * 2018-06-01 2018-11-23 重庆大学 一种基于表情识别的课堂教学评价方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方冠男.基于视频流人脸识别的课堂考勤***的设计与实现.中国优秀硕士学位论文全文数据库信息科技辑.2018,(第12期),17-29页. *

Also Published As

Publication number Publication date
CN111339939A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
US11321583B2 (en) Image annotating method and electronic device
CN107909668B (zh) 一种签到方法及终端设备
CN109800320B (zh) 一种图像处理方法、设备及计算机可读存储介质
CN110910549A (zh) 基于深度学习和人脸识别特征的校园人员安全管理***
CN110543811B (zh) 一种基于深度学习的非配合式考试人员管理方法及其***
CN109829995A (zh) 一种人脸识别课堂签到***
CN111753608A (zh) 信息处理方法及装置、电子设备及存储介质
CN110929032B (zh) 一种软件***的用户需求处理***及处理方法
CN111339939B (zh) 基于图像识别的考勤方法及装置
Alagasan et al. A review paper on advanced attendance and monitoring systems
CN114612897A (zh) 一种智能果蔬称重打票方法、装置、电子设备及存储介质
CN113822645A (zh) 一种面试管理***、设备及计算机介质
WO2021217943A1 (zh) 企业整改监管方法、装置、设备及计算机可读存储介质
Bittal et al. Multifarious face attendance system using machine learning and deep learning
CN109388935A (zh) 单证验证方法及装置、电子设备及可读存储介质
CN111429645B (zh) 用于票据的验真、验重***
KR102469474B1 (ko) 건설 현장의 영상입력장치를 이용한 공사일보 자동 작성 시스템
CN111563737A (zh) 一种基于人脸识别的智能用餐***及方法
CN105469116A (zh) 一种基于人机交互的幼儿识图及数据扩充方法
CN105913071A (zh) 信息处理装置、信息处理***、信息处理方法
US20210019553A1 (en) Information processing apparatus, control method, and program
CN115331346A (zh) 一种校园门禁管理方法、装置、电子设备及存储介质
CN114520059A (zh) 一种基于大数据的中医诊断学数据平台
CN202795458U (zh) 基于客户身份核查***的网络装置
CN111681745A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant