CN112405545A - 一种基于Pepper机器人的人脸考勤*** - Google Patents

一种基于Pepper机器人的人脸考勤*** Download PDF

Info

Publication number
CN112405545A
CN112405545A CN202011343776.5A CN202011343776A CN112405545A CN 112405545 A CN112405545 A CN 112405545A CN 202011343776 A CN202011343776 A CN 202011343776A CN 112405545 A CN112405545 A CN 112405545A
Authority
CN
China
Prior art keywords
robot
attendance
module
face
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011343776.5A
Other languages
English (en)
Inventor
安康
付卫婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Tongshan Artificial Intelligence Technology Co ltd
Original Assignee
Zhejiang Tongshan Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Tongshan Artificial Intelligence Technology Co ltd filed Critical Zhejiang Tongshan Artificial Intelligence Technology Co ltd
Priority to CN202011343776.5A priority Critical patent/CN112405545A/zh
Publication of CN112405545A publication Critical patent/CN112405545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于Pepper机器人的人脸考勤***，包括上位机，对机器人采集的数据进行人脸识别，并将考勤信息记录在数据库中，通过图形化界面将员工和考勤记录呈现给管理员；下位机，所述下位机和所述上位机电连接并进行数据交互，所述下位机包括人机交互模块，所述人机交互模块通过Pepper机器人的操作***主动引导用户完成人脸考勤，所述下位机还包括人像获取模块，在所述人机交互模块引导用户之后，所述人像获取模块通过人物位置检测模块检测用户位置，通过摄像模块获取用户人像数据，通过机器人和用户互动的方式完成考勤管理，可有效解决背景技术中的技术问题。

Description

一种基于Pepper机器人的人脸考勤***
技术领域
本发明涉及机器人技术领域，具体而言，本发明涉及一种基于Pepper机器人的人脸考勤***。
背景技术
根据国际机器人联合会(IFR)的分类，机器人分为工业机器人和服务机器人，服务机器人指除工业机器人之外的、用于非制造业并服务于人类的多种高技术集成的先进机器人；按照用途分类，服务机器人主要分为专业服务机器人和个人/家用服务机器人。专业服务机器人一般在特定场景中使用，如物流机器人、商业服务机器人、医疗机器人等；而服务机器人主要在日常生活场景中进行与人进行交互，一般包括迎宾机器人、娱乐休闲机器人、助老助残机器人等。
在过去的考勤工作都是人工完成的，不仅浪费了很多的人力跟物力，而且无法保证其准确性和透明度，给企业的管理带来了许多的不便。现在利用计算机来管理的考勤工作，大大降低了工作人员的工作量，提高了工作效率，使原本复杂和枯燥无味的工作变得简单而轻松了，而且也实用、安全。计算机技术特别是数据库技术的发展为企业建立管理信息***，甚至对改变管理思想起着不可估量的作用，考勤信息管理***对企业的合理化管理起到了很大的作用。
目前在公司会场等场合普遍使用的考勤***主要有以下几种：
使用考勤机与射频考勤卡；用户将射频考勤卡放到考勤机上，由考勤机自动读取射频***码然后将信息存储在本地或者通过USB以及网络方式传输到计算机上进行汇总。此方案的缺点是用户需要携带射频考勤卡，同时考勤机的成本较高，并且难以防止代打卡的问题。
使用***机；用户将手指放到考勤机上，由考勤机自动读取指纹信息，然后将信息存储在本地或者通过USB以及网络方式传输到计算机上进行汇总。此方案的缺点是考勤机表面容易被水、油渍污染，影响识别速度与精度。
使用人脸考勤机；通过与计算机相连的摄像头动态捕捉考勤人员头像，与数据库中预先录入的员工头像进行比较，判断是否通过验证。此方案的缺点价格高昂，且是硬件设施一经安装就不便移动，不适用于会场、营业厅等公共场合的签到考勤。
因此目前市面上的考勤设备无法满足需求，亟待提出一种考勤设备解决上述问题。
发明内容
为了寻找更为有效的提取高品质的纤维横截面图像的实现方案，本发明提供了一种基于Pepper机器人的人脸考勤***，通过机器人和用户互动的方式完成考勤管理，可有效解决背景技术中的技术问题。
为实现上述目的，本发明提供了一种基于Pepper机器人的人脸考勤***，包括：
上位机，对机器人采集的数据进行人脸识别，并将考勤信息记录在数据库中，通过图形化界面将员工和考勤记录呈现给管理员；
下位机，所述下位机和所述上位机电连接并进行数据交互。
优选地，所述上位机包括人脸识别模块、数据库操作模块和图形化界面模块，且所述上位机采用Python语言的tornado作为上位机框架，所述上位机框架采用HTTP请求响应模块为核心部分。
优选地，所述人脸识别模块对上位机接收的人脸图片进行人脸识别，通过调取数据库中的人脸数据进行对比，判断当前接收的人脸图片是否正确。
优选地，所述下位机包括人机交互模块，所述人机交互模块通过Pepper机器人的操作***主动引导用户完成人脸考勤。
优选地，所述下位机还包括人像获取模块，在所述人机交互模块引导用户之后，所述人像获取模块通过人物位置检测模块检测用户位置，通过摄像模块获取用户人像数据。
优选地，所述数据库操作模块的具体操作流程包括：
打卡时段判断，根据当前时间判断是否在有效打卡时间段内，如果不在有效时段内，那么不记录本次考勤信息，向机器人返回相应提示信息；
重复打卡判断，根据当前时间和人脸识别结果判断该用户是否在短时间内重复考勤，在数据表中查询近几分钟的考勤记录，如果该用户在近期已经有过考勤记录，那么不记录本次考勤信息，向机器人返回相应提示信息；
记录打卡信息，如果前两步的验证都通过了，那么本次考勤信息有效，向数据表中***一条包含打卡时间、工号、姓名等信息的新记录。
处理管理员通过浏览器发来的访问请求时，根据用户需求对数据库的考勤记录进行查找，然后对图形化界面模块发来的页面进行渲染，得到最终的HTML文件返回给用户。
优选地，所述图形化界面模块用于当管理员通过浏览器发来的访问请求时，根据地址的不同，将不同的网页返回给客户端。
优选地，所述人物位置检测模块将机器人所在区域分为三个区域，以机器人所在位置为圆心，前方1.5米半径范围内为最靠近机器人的区域，命名为区域一；半径1.5米至2.5米之间范围的区域命名为区域二；前方2.5米半径外为远离机器人的区域命名为区域三。
优选地，所述上位机还包括对人物位置进行检测，调用NAOqi***的ALEngagementZones模块的PersonEnteredZone1()、PersonEnteredZone2()、PersonEnteredZone3()三个函数实时监测位于三个不同区域的人物数量；调用ALAnimationPlayer模块的runTag()方法做出招手、鞠躬等动作；调用ALBasicAwareness模块的setEnabled()方法开启/关闭机器人头部的自主转动；调用ALMotion模块的setAngles()方法改变头部仰角。
优选地，所述摄像模块包括于机器人额头处的RGB相机、位于机器人嘴巴处的RGB相机以及位于机器人左右眼处的立体相机。
与现有技术相比，本发明一种基于Pepper机器人的人脸考勤***具有如下有益效果：
(1)将Pepper机器人的迎宾接待功能与人脸考勤方法结合，兼顾二者优点。
(2)有人靠近时Pepper机器人主动打招呼引起用户的注意，起到提醒用户的作用，也避免用户匆忙之中忘记考勤的情况。
(3)有人靠近时Pepper机器人机器人暂停头部自主转动，并朝正前方抬起头，避免了机器人头部转动造成的图像模糊、拍不到人脸等问题。
(4)通过Pepper机器人胸前的平板电脑和眼睛颜色，对机器人的视觉信息进行显示，既让用户及时了解机器人的状态，也方便用户根据图像信息调整自己的位置和姿态。
(5)Pepper机器人和上位机通过客户端-服务器方式通信，因此本***在无线网络覆盖的地方皆可使用，不需要有线连接，增强了***的灵活性和机动性。
(6)考勤***上位机预留了人脸识别的接口，可以选择各种不同人脸识别方法进行封装，具有可拓展性。
(7)管理员可以通过配套的上位机考勤管理界面查看考勤数据，并导出为excel文件，方便数据的查询和管理。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明的***模块工作原理示意图。
图2为本发明的人机交互流程示意图；
图3为本发明的Pepper机器人身前区域划分示意图；
图4为本发明的Pepper机器人眼部LED示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
请参阅图1至图4，本发明实施例公开了一种基于Pepper机器人的人脸考勤***，包括：
上位机，对机器人采集的数据进行人脸识别，并将考勤信息记录在数据库中，通过图形化界面将员工和考勤记录呈现给管理员；
下位机，所述下位机和所述上位机电连接并进行数据交互。
在本方案中，上位机能对机器人发来的图片进行人脸识别，并将考勤信息记录在数据库中，管理员能通过图形化界面进行员工和考勤记录进行查看和导出；
而下位机在有人出现在机器人附近时机器人会主动打招呼吸以吸引其注意力；用户靠近机器人时主动抬起头以捕捉人脸；在机器人胸前的平板电脑上显示机器人看到的图像给予用户反馈；用机器人的眼睛颜色给予用户反馈；将人脸图片发送给上位机进行人脸识，并将识别结果告知考勤者；在考勤者离开时向人告别。
进一步的，所述上位机包括人脸识别模块、数据库操作模块和图形化界面模块，分别用于对机器人发来的图片进行人脸识别、将考勤信息记录在数据库中、图形化考勤***界面，且所述上位机采用Python语言的tornado作为上位机框架，所述上位机框架采用HTTP请求响应模块为核心部分。
上位机采用基于Python语言的tornado作为服务器架构。Tornado全称TornadoWeb Server，是一个用Python语言写成的Web服务器兼Web应用框架，由FriendFeed公司在自己的网站FriendFeed中使用，被Facebook收购以后框架在2009年9月以开源软件形式开放给大众。
Tornado是异步网络框架，它采用非阻塞IO，支持并发访问，所以非常适合于长轮询，以及其他需要持久连接的应用场景。在本***中，考虑到多个机器人共用一台上位机以及人脸识别过程需要一定时间的情况，选用tornado作为上位机框架是非常合适的。
上位机框架的核心部分是HTTP请求响应模块，它也是tornado框架中必不可少的部分，用来接收、处理、返回机器人或用户发来的HTTP请求；人脸识别模块和数据库操作模块在上位机接收、处理Pepper机器人发来的图片并返回识别结果时被调用，请求类型为POST；图形化界面和数据库操作模块在上位机接收管理员通过浏览器发来的访问请求并返回网页时被调用，请求类型为GET。
其中，所述人脸识别模块对上位机接收的人脸图片进行人脸识别，通过调取数据库中的人脸数据进行对比，判断当前接收的人脸图片是否正确。
人脸识别技术的核心是算法，算法负责人脸特征的提取，并与库存的已知人脸进行比对，完成最终的分类，这是整个人脸识别最重要的过程。
本发明不涉及人脸识别算法的研究，在框架中预留了人脸识别的WebAPI接口，方便用户在构建自己的考勤***时根据自身需求进行定制。
在本***中，上位机接收到Pepper机器人发来的HTTP请求后，首先对该请求结构体中的图片数据进行解码，然后调用外部的人脸识别API对图片中的人脸进行检测，其中可能得到如下几种识别结果：
1)检测到有效人脸，在图片中检测到人脸并与外部API的人脸库中某人匹配，人脸识别成功。
2)未检测到有效人脸，在图片未检测到有效人脸，可能由人脸被遮挡、图片模糊等情况造成，
3)人脸尚未录入，在图片中检测到人脸，但与外部API的人脸库中的任何人都不匹配，可能由于管理员尚未将用户人脸录入造成。
4)活体检测未通过，在图片中检测到人脸并与外部API的人脸库中某人匹配，但未通过活体检测，可能由用图片代人考勤造成。
数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。MySQL是一种关系数据库管理***，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。
在本***中需要对人脸考勤信息进行记录，方便企业、组织进行统计和管理。本***上位机的数据库操作模块，运用基于python语言的pymysql库，维护一个包含打卡记录表的数据库，记录打卡时间、工号、姓名等关键信息，该模块的主要是对表的增删改查的接口的实现。
进一步的，所述数据库操作模块的具体操作流程包括：
打卡时段判断，根据当前时间判断是否在有效打卡时间段内，如果不在有效时段内，那么不记录本次考勤信息，向机器人返回相应提示信息；
重复打卡判断，根据当前时间和人脸识别结果判断该用户是否在短时间内重复考勤，在数据表中查询近几分钟的考勤记录，如果该用户在近期已经有过考勤记录，那么不记录本次考勤信息，向机器人返回相应提示信息；
记录打卡信息，如果前两步的验证都通过了，那么本次考勤信息有效，向数据表中***一条包含打卡时间、工号、姓名等信息的新记录。
处理管理员通过浏览器发来的访问请求时，根据用户需求对数据库的考勤记录进行查找，然后对图形化界面模块发来的页面进行渲染，得到最终的HTML文件返回给用户。
所述图形化界面模块用于当管理员通过浏览器发来的访问请求时，根据地址的不同，将不同的网页返回给客户端。
其中的图形化界面模块，主要是当管理员通过浏览器发来的访问请求时，根据其地址的不同，将不同的网页返回给客户端。
图形化界面的编写主要使用了HTML、JavaScript和Tornado模板语言，HTML是一种用于创建网页的标准标记语言，HTML是一种基础技术，常与CSS、JavaScript一起被众多网站用于设计网页、网页应用程序以及移动应用程序的用户界面。网页浏览器可以读取HTML文件，并将其渲染成可视化网页；JavaScript是一种高级的、解释型的、基于原型、函数先行的语言，是一门多范式的语言，它支持面向对象编程，命令式编程，以及函数式编程；Tornao框架中的模板语言和Django中类似，模板引擎将模板文件载入内存，然后将数据嵌入其中，最终获取到一个完整的字符串，再将字符串返回给请求者，可以方便地动态载入网页内容，渲染成最终的HTML文件，这也是Tornado框架开发效率高、使用灵活的一大原因。
在本实施例中，本***根据管理员需求的不同，设计了三个图形化界面：
1)今日界面，用于显示今日打卡人数、各用户打卡时间、等信息，管理员可以通过该界面查看当日人员的考勤情况。
2)查询界面，用于将一段时间内的考勤信息分页显示，管理员可以在该界面根据起始日期、部门、工号等多种筛选条件进行过滤，方便在不同需求下的考勤记录查询。
3)员工信息界面，用于查看某个特定用户的考勤记录，并将签到时间、签退时间、出勤时间等统计信息用图标的形式呈现，方便管理员对个人信息的考察。
而下位机是由日本软银集团和法国Aldebaran Robotics研发的Pepper机器人，它可综合考虑周围环境，并积极主动地作出反应，Pepper机器人配备了语音识别技术，呈现出优美姿态的关节技术，以及分析表情和声调的情绪识别技术，与人类进行全方位的交流。
所述下位机包括人机交互模块，所述人机交互模块通过Pepper机器人的操作***主动引导用户完成人脸考勤。
人机交互是人类与机器人之间相互作用的研究，是一个多学科领域，涉及人工智能、机器人、自然语言理解、机器视觉、智能决策和社会科学等众多领域。随着人工智能的发展，自主机器人最终可以拥有更多的主动行为，在复杂的未知环境中规划其行为动作。本***中Pepper机器人所处的环境就符合这样的特征：机器人是可移动的，所以物理环境是可以变化的；何时会有何种人物靠近，因此交互的对象也是变化的。
为了能在这种动态环境中完成人脸考勤功能，最大限度发挥Pepper机器人礼貌、友好的交互功能，本***设计了一套完整的人机交互流程，并配合使用Pepper机器人原生的操作***“NAOqi”，用以主动引导用户完成人脸考勤。具体步骤如下：
1)当人出现在Pepper机器人附近时，机器人做出招手动作并说出“你好”、“很高兴见到您”等礼貌用语，以吸引人的注意力。
2)当人靠近Pepper机器人时，暂停头部自主转动，朝正前方抬起头，以让机器人看到人脸。
3)在Pepper机器人的胸前的平板电脑上，显示机器人头部相机看到的画面；同时让Pepper机器人的眼睛呈现不同颜色以表示是否看到了用户，以便考勤者主动调整自己的位置和姿态。
4)当Pepper机器人收到上位机返回的人脸识别结果后，将识别结果以文字方式显示在平板上，并通过语音播报出来。
5)当人离开时，Pepper机器人做出鞠躬动作，并说出“再见”、“请慢走”等礼貌用语告别
所述下位机还包括人像获取模块，在所述人机交互模块引导用户之后，所述人像获取模块通过人物位置检测模块检测用户位置，通过摄像模块获取用户人像数据。
所述人物位置检测模块将机器人所在区域分为三个区域，以机器人所在位置为圆心，前方1.5米半径范围内为最靠近机器人的区域，命名为区域一；半径1.5米至2.5米之间范围的区域命名为区域二；前方2.5米半径外为远离机器人的区域命名为区域三。
所述上位机还包括对人物位置进行检测，调用NAOqi***的ALEngagementZones模块的PersonEnteredZone1()、PersonEnteredZone2()、PersonEnteredZone3()三个函数实时监测位于三个不同区域的人物数量；调用ALAnimationPlayer模块的runTag()方法做出招手、鞠躬等动作；调用ALBasicAwareness模块的setEnabled()方法开启/关闭机器人头部的自主转动；调用ALMotion模块的setAngles()方法改变头部仰角。
其中，机器人对人物位置检测的判断逻辑有如下几条：
1)当区域一、二无人，有人出现在区域三时，Pepper机器人做出招手动作并说出“你好”、“很高兴见到您”等礼貌用语，以吸引人的注意力，同时起到迎宾的作用。
2)当区域一无人且有人从区域二进入区域一时，Pepper机器人认为该人要进行人脸考勤，暂停头部自主转动，朝正前方抬起头，以让机器人看到人脸。
3)当区域一无人且有人从区域二进入区域三时，Pepper机器人认为该人正在离开，做出鞠躬动作，并说出“再见”、“请慢走”等礼貌用语告别。
在考勤的流程中，Pepper机器人主要有交互和人像获取两大功能，交互功能发挥了Pepper机器人作为服务型机器人的优势，可以主动与人交互，吸引用户注意力，起到前台迎宾接待的作用；人像获取功能是为了完成人脸识别功能，对用户的人脸进行拍照，取代了传统人脸考勤***中摄像机。可见本***将Pepper机器人的迎宾接待功能与人脸考勤方法结合，兼顾二者优点。
进一步的，机器人的人像获取模块通过摄像模块来采集，所述摄像模块包括于机器人额头处的RGB相机、位于机器人嘴巴处的RGB相机以及位于机器人左右眼处的立体相机。
实际使用时考虑人脸光线以及用户友好角度，使用额头处的RGB相机来获取用户人脸图像。通常采用默认的图像格式，即RGB颜色空间，以及320*240的图像分辨率。
为实现摄像头的驱动、配置以及图像的获取，主要基于Naoqi的ALVideoDevice模块来驱动相机，subscribeCamera()函数用于开启摄像头以及配置需要的图像格式，getImageRemote()函数允许实时获取机器人的图像信息，还可以通过setParameter()函数来对相机进行一些硬件配置，比如自动对焦、设置曝光时间等，从而提高对环境的适应性。此外，在实际使用中，通过多线程方式开启一个循环读图线程，这使得采集图像和处理图像的操作可以分开，提高程序的并行处理能力，对于图像保存以及其它图像基础操作，也引入了OpenCV库来辅助完成。
作为一种优选地实施方案，为了更好地让用户知道机器人有没有看到自己，设计成机器人在看到人时自动改变眼睛的颜色，从而让用户及时了解机器人的状态。
Pepper机器人的眼部有12个LED灯，左右眼各6个，每个LED灯都是RGB全色，因此可以组合三原色(红色，绿色和蓝色)，以获得不同的颜色。
在正常状态下，Pepper机器人的双眼默认所有LED发白光，与眼睛中心的黑色部分相呼应，还原了真人眼睛“内黑外白”的特征。出于美观考虑，并且最大限度地保留这种“内黑外白”的人眼特征，在改变眼部LED灯光颜色时，只修改少数且位置醒目的LED灯的颜色，选择的是R6、R7、L6、L7等四个LED灯。
此外服务型机器人在交互过程中，除了对人有礼貌外，其行为举止应该让用户感到舒服。因此机器人眼部LED颜色就不宜使用红色这种很醒目的颜色，否则会让机器人看上去像在生气，因此选择了天蓝色作为眼部提示色彩。
调用NAOqi***的ALLeds模块的setIntensity()方法对R6、R7、L6、L7等四个LED灯的颜色进行控制，将它们的红色灯光强度设置为0，绿色和蓝色灯光强度设置为1.0，Pepper机器人的眼睛就呈现出天蓝色，起到提醒作用。
本方案采用Pepper机器人进行考勤管理，将Pepper机器人的迎宾接待功能与人脸考勤方法结合，兼顾二者优点；有人靠近时Pepper机器人主动打招呼引起用户的注意，起到提醒用户的作用，也避免用户匆忙之中忘记考勤的情况；有人靠近时Pepper机器人暂停头部自主转动，并朝正前方抬起头，避免了机器人头部转动造成的图像模糊、拍不到人脸等问题；通过Pepper机器人胸前的平板电脑和眼睛颜色，对机器人的视觉信息进行显示，既让用户及时了解机器人的状态，也方便用户根据图像信息调整自己的位置和姿态；Pepper机器人和上位机通过客户端-服务器方式通信，因此本***在无线网络覆盖的地方皆可使用，不需要有线连接，增强了***的灵活性和机动性；考勤***上位机预留了人脸识别的接口，可以选择各种不同人脸识别方法进行封装，具有可拓展性；管理员可以通过配套的上位机考勤管理界面查看考勤数据，并导出为excel文件，方便数据的查询和管理。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于Pepper机器人的人脸考勤***，其特征在于，包括：
上位机，对机器人采集的数据进行人脸识别，并将考勤信息记录在数据库中，通过图形化界面将员工和考勤记录呈现给管理员；
下位机，所述下位机和所述上位机电连接并进行数据交互。
2.如权利要求1所述的一种基于Pepper机器人的人脸考勤***，其特征在于，所述上位机包括人脸识别模块、数据库操作模块和图形化界面模块，且所述上位机采用Python语言的tornado作为上位机框架，所述上位机框架采用HTTP请求响应模块为核心部分。
3.如权利要求2所述的一种基于Pepper机器人的人脸考勤***，其特征在于，所述人脸识别模块对上位机接收的人脸图片进行人脸识别，通过调取数据库中的人脸数据进行对比，判断当前接收的人脸图片是否正确。
4.如权利要求1所述的一种基于Pepper机器人的人脸考勤***，其特征在于，所述下位机包括人机交互模块，所述人机交互模块通过Pepper机器人的操作***主动引导用户完成人脸考勤。
5.如权利要求4所述的一种基于Pepper机器人的人脸考勤***，其特征在于，所述下位机还包括人像获取模块，在所述人机交互模块引导用户之后，所述人像获取模块通过人物位置检测模块检测用户位置，通过摄像模块获取用户人像数据。
6.如权利要求2所述的一种基于Pepper机器人的人脸考勤***，其特征在于，所述数据库操作模块的具体操作流程包括：
打卡时段判断，根据当前时间判断是否在有效打卡时间段内，如果不在有效时段内，那么不记录本次考勤信息，向机器人返回相应提示信息；
重复打卡判断，根据当前时间和人脸识别结果判断该用户是否在短时间内重复考勤，在数据表中查询近几分钟的考勤记录，如果该用户在近期已经有过考勤记录，那么不记录本次考勤信息，向机器人返回相应提示信息；
记录打卡信息，如果前两步的验证都通过了，那么本次考勤信息有效，向数据表中***一条包含打卡信息的新记录。
处理管理员通过浏览器发来的访问请求时，根据用户需求对数据库的考勤记录进行查找，然后对图形化界面模块发来的页面进行渲染，得到最终的HTML文件返回给用户。
7.如权利要求1所述的一种基于Pepper机器人的人脸考勤***，其特征在于，所述图形化界面模块用于当管理员通过浏览器发来的访问请求时，根据地址的不同，将不同的网页返回给客户端。
8.如权利要求5所述的一种基于Pepper机器人的人脸考勤***，其特征在于，所述人物位置检测模块将机器人所在区域分为三个区域，以机器人所在位置为圆心，前方1.5米半径范围内为最靠近机器人的区域，命名为区域一；半径1.5米至2.5米之间范围的区域命名为区域二；前方2.5米半径外为远离机器人的区域命名为区域三。
9.如权利要求8所述的一种基于Pepper机器人的人脸考勤***，其特征在于，所述上位机还包括对人物位置进行检测，调用NAOqi***的ALEngagementZones模块的PersonEnteredZone1()、PersonEnteredZone2()、PersonEnteredZone3()三个函数实时监测位于三个不同区域的人物数量；调用ALAnimationPlayer模块的runTag()方法做出招手、鞠躬等动作；调用ALBasicAwareness模块的setEnabled()方法开启/关闭机器人头部的自主转动；调用ALMotion模块的setAngles()方法改变头部仰角。
10.如权利要求5所述的一种基于Pepper机器人的人脸考勤***，其特征在于，所述摄像模块包括于机器人额头处的RGB相机、位于机器人嘴巴处的RGB相机以及位于机器人左右眼处的立体相机。
CN202011343776.5A 2020-11-26 2020-11-26 一种基于Pepper机器人的人脸考勤*** Pending CN112405545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011343776.5A CN112405545A (zh) 2020-11-26 2020-11-26 一种基于Pepper机器人的人脸考勤***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011343776.5A CN112405545A (zh) 2020-11-26 2020-11-26 一种基于Pepper机器人的人脸考勤***

Publications (1)

Publication Number Publication Date
CN112405545A true CN112405545A (zh) 2021-02-26

Family

ID=74842510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011343776.5A Pending CN112405545A (zh) 2020-11-26 2020-11-26 一种基于Pepper机器人的人脸考勤***

Country Status (1)

Country Link
CN (1) CN112405545A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985165A (zh) * 2014-05-12 2014-08-13 深圳市威富多媒体有限公司 一种基于移动终端、语音及人脸识别的考勤方法及装置
CN104616364A (zh) * 2015-01-28 2015-05-13 福建亿榕信息技术有限公司 一种基于人脸识别的企业员工异地考勤方法与***
CN106054895A (zh) * 2016-07-11 2016-10-26 湖南晖龙股份有限公司 智能营业厅机器人及其室内行走偏航自动校正方法
CN106296112A (zh) * 2016-07-28 2017-01-04 广州猫眼网络科技有限公司 基于人脸识别的考勤***、方法及其装置
CN106447814A (zh) * 2016-09-18 2017-02-22 长沙军鸽软件有限公司 一种机器人实现自动考勤的方法
CN106695810A (zh) * 2016-11-25 2017-05-24 塔米智能科技（北京）有限公司 一种基于视觉的迎宾服务机器人及工作方法
CN107978024A (zh) * 2017-11-29 2018-05-01 镇江京港科技信息咨询有限公司 一种多重打卡签到***
CN109062482A (zh) * 2018-07-26 2018-12-21 百度在线网络技术（北京）有限公司 人机交互控制方法、装置、服务设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985165A (zh) * 2014-05-12 2014-08-13 深圳市威富多媒体有限公司 一种基于移动终端、语音及人脸识别的考勤方法及装置
CN104616364A (zh) * 2015-01-28 2015-05-13 福建亿榕信息技术有限公司 一种基于人脸识别的企业员工异地考勤方法与***
CN106054895A (zh) * 2016-07-11 2016-10-26 湖南晖龙股份有限公司 智能营业厅机器人及其室内行走偏航自动校正方法
CN106296112A (zh) * 2016-07-28 2017-01-04 广州猫眼网络科技有限公司 基于人脸识别的考勤***、方法及其装置
CN106447814A (zh) * 2016-09-18 2017-02-22 长沙军鸽软件有限公司 一种机器人实现自动考勤的方法
CN106695810A (zh) * 2016-11-25 2017-05-24 塔米智能科技（北京）有限公司 一种基于视觉的迎宾服务机器人及工作方法
CN107978024A (zh) * 2017-11-29 2018-05-01 镇江京港科技信息咨询有限公司 一种多重打卡签到***
CN109062482A (zh) * 2018-07-26 2018-12-21 百度在线网络技术（北京）有限公司 人机交互控制方法、装置、服务设备及存储介质

Similar Documents

Publication Publication Date Title
Wang et al. Research on face recognition based on deep learning
WO2021078157A1 (zh) 图像处理方法、装置、电子设备及存储介质
US10388131B2 (en) Parcel theft deterrence for Audio/Video recording and communication devices
Vetter et al. Separation of texture and shape in images of faces for image coding and synthesis
CN108460356A (zh) 一种基于监控***的人脸图像自动处理***
JP2019535067A (ja) 無線音声／ビデオ記録通信装置のための小包窃盗抑止
Mustakim et al. Face recognition system based on raspberry Pi platform
CN106887059A (zh) 一种基于面部识别的智能电子门锁***
CN115668263A (zh) 用于消息收发***中的增强现实体验的物理产品的标识
CN108734003A (zh) 身份验证方法、装置、设备、存储介质及程序
Ye et al. 3D question answering
Yu Emotion monitoring for preschool children based on face recognition and emotion recognition algorithms
Singh et al. Face recognition using open source computer vision library (OpenCV) with Python
Galiyawala et al. Person retrieval in surveillance using textual query: a review
Bharti et al. Object Detection and Recognition for Blind Assistance
CN111080827A (zh) 考勤***及方法
CN108197599A (zh) 一种人脸识别***
CN112405545A (zh) 一种基于Pepper机器人的人脸考勤***
Yang Research on brush face payment system based on internet artificial intelligence
CN110443122A (zh) 信息处理方法及相关产品
CN207440783U (zh) 基于fpga的硬件虹膜识别***
Bruce et al. Learning new faces
KR20220150060A (ko) 사용자 정보에 기반하여 업체 매칭 서비스를 제공하고 이에 대한 보안 서비스를 제공하는 플랫폼
Dagher et al. Improving the Component‐Based Face Recognition Using Enhanced Viola–Jones and Weighted Voting Technique
Rathod et al. Performance enhancement of deep learning-based face detection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226

RJ01 Rejection of invention patent application after publication