CN104346554B - 可编程显示器、控制方法 - Google Patents

可编程显示器、控制方法 Download PDF

Info

Publication number
CN104346554B
CN104346554B CN201410363161.7A CN201410363161A CN104346554B CN 104346554 B CN104346554 B CN 104346554B CN 201410363161 A CN201410363161 A CN 201410363161A CN 104346554 B CN104346554 B CN 104346554B
Authority
CN
China
Prior art keywords
user
face
display
certification
face area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410363161.7A
Other languages
English (en)
Other versions
CN104346554A (zh
Inventor
藤原靖卓
山下隆义
川上文雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104346554A publication Critical patent/CN104346554A/zh
Application granted granted Critical
Publication of CN104346554B publication Critical patent/CN104346554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供能够在事后确定通过进行脸部认证来容许了对应用程序的访问的用户的可编程显示器、控制方法及程序。可编程显示器(1)中相对应地存储有用户的脸部的特征数据和用户的识别信息。可编程显示器(1)基于通过拍摄得到的用户的图像数据和特征数据来进行脸部认证。可编程显示器(1)在用户认证成功的情况下，容许用户对应用程序的访问。可编程显示器(1)在相对应地存储有认证成功的用户的识别信息和用于表示成为了容许访问的状态的履历。

Description

可编程显示器、控制方法
技术领域
本发明涉及可编程显示器、可编程显示器的控制方法以及用于控制可编程显示器的程序。
背景技术
以往，已知有以能够进行通信的方式与可编程逻辑控制器(PLC)连接的可编程显示器。例如，专利文献1公开了具有HMI(人机界面)处理部和脸部记录处理部的可编程显示器。脸部记录处理部具有脸部图像数据库、脸部检测部、共用保存器、脸部记录(logging)部、脸部记录控制部、脸部记录文件。另外，该可编程显示器以能够进行通信的方式与照相机相连。
在操作人员在显示于可编程显示器的画面上进行规定的开关操作时， HMI处理部向脸部记录处理部发送指示，以使该脸部记录处理部执行用于记录操作人员的脸部图像的处理。在脸部记录处理部接收到该指示后，由脸部检测部从通过照相机拍摄得到的操作人员的图像中检测出正面的脸部图像，并将其作为文件保存到规定的脸部图像数据库中。另外，脸部检测部将脸部图像数据库中的文件的路径名，与开关操作内容、检测了脸部的日期与时刻、进行了开关操作的画面的画面编号等的与操作履历相关的信息一起写入到共用保存器中。脸部记录部按照脸部记录控制部的指示，将写入到共用保存器中的数据保存至脸部记录文件中。
另外，以往，已知有脸部认证的技术。例如，专利文献2公开了进行脸部认证的出入管理***。该出入管理***利用脸部核对装置来管理对设施的出入，所述脸部核对装置根据出入人员的脸部图像，来核对该出入人员是否为事先登录的人物。在出入管理***中，在脸部核对装置的附近设置有用于拍摄出入人员的图像的监视照相机，由此利用记录部记录来自监视照相机的图像，并且将其与脸部核对装置的核对结果等出入履历一起发送至出入管理服务器。
专利文献3公开了具有拍摄装置、操作画面控制部及显示部的图像形成装置。操作画面控制部具有脸部区域检测部、移动判断部、脸部特征提取部、属性检测部及显示控制部。脸部区域检测部从由拍摄装置拍摄得到的图像数据中检测出用户的脸部区域。移动判断部判断用户是否已靠近上述图像形成装置。在通过移动判断部判断为用户已靠近图像形成装置的情况下，脸部特征提取部从脸部区域中提取脸部的特征。属性检测部基于由脸部特征提取部提取到的脸部特征，来检测用户的属性。显示控制部将与由属性检测部检测出的用户的属性相对应的操作画面显示到图像形成装置的显示部上。
专利文献4公开了监视对监视装置进行操作的人员的监视***。该监视***具有操作人员监视装置。操作人员监视装置具有照相机、脸部图像存储部及操作权限确定部。照相机对进行操作的人的脸部进行拍摄，并输出拍摄得到的脸部图像数据。脸部图像存储部中预先与操作权限的范围相对应地登录有核对用脸部图像数据。操作权限确定部通过对周期性导入的或在每次操作时导入的正在进行操作的人的脸部图像数据与上述核对用脸部图像数据进行核对，来确定正在进行操作的人所具有的操作权限的范围，并且根据该操作权限的范围来变更能够对监视装置进行操作的范围。
现有技术文献
专利文献
专利文献1：日本特开2008－112222号公报
专利文献2：日本特开2004－78687号公报
专利文献3：日本特开2011－59194号公报
专利文献4：日本特开2008－165353号公报
但是，在专利文献1的可编程显示器中，能够将进行脸部认证的结果作为履历来保留，但是不能通过进行脸部认证来容许对应用程序的访问。因此，在专利文献1中，不能基于通过进行脸部认证来容许了对应用程序的访问的情况来记录用于表示成为了容许对应用程序的访问的状态的情况的履历。在专利文献2至4中，并未公开或提示对通过进行脸部认证来容许对应用程序的访问的技术。
发明内容
本申请发明是鉴于上述问题而提出的，其目的在于，提供能够在事后确定通过进行脸部认证来容许了对应用程序的访问的用户的可编程显示器、该可编程显示器的控制方法以及用于控制该可编程显示器的程序。
根据本发明的一个方案，可编程显示器能够控制对应用程序的访问。可编程显示器具有：存储单元，其对应关联地存储有用户的脸部的特征数据和用户的识别信息；认证单元，其基于拍摄得到的用户的图像数据和特征数据来进行脸部认证；访问控制单元，其在用户认证成功的情况下，容许用户对应用程序的访问；管理单元，其将认证成功的用户的识别信息和用于表示处于容许访问的状态的履历对应关联地存储到存储单元中。
优选地，还具有：显示屏，显示控制单元，其将包含操作按钮的图像的操作画面显示到显示屏上。管理单元，在容许了用户对应用程序的访问的状态下进行了用于对操作按钮的图像进行指定的操作的情况下，还将用户的识别信息与和操作按钮相对应的操作的履历对应关联地存储到存储单元中。
优选地，管理单元，在用户通过脸部认证来未认证成功的情况下，还将拍摄得到的用户的图像数据中的脸部的图像数据存储到存储单元中。
优选地，可编程显示器还具有确定单元，在容许了用户对应用程序的访问时拍摄得到的用户的图像数据中包含脸部的图像数据的情况下，该确定单元确定该脸部的视线方向。显示控制单元在发生了预先规定的事件的情况下，将预先规定的图像显示到显示屏上。管理单元，将发生了预先规定的事件时的视线方向与事件关联对应地存储到存储单元中。
优选地，可编程显示器还具有判断单元，该判断单元基于拍摄，来判断用户的脸部区域是否大于预先规定的尺寸。访问控制单元，将判断为脸部区域大于预先规定的尺寸作为条件，容许用户对应用程序的访问。管理单元，在拍摄得到的图像数据中包含多个用户的情况下，将多个用户中的判断为脸部区域大于预先规定的尺寸的用户的识别信息与表示容许了访问的履历对应关联地存储到存储单元中。
优选地，管理单元，还将多个用户中的除了判断为脸部区域大于预先规定的尺寸的用户之外的用户的识别信息存储到存储单元中。
优选地，管理单元，还将在除了判断为脸部区域大于预先规定的尺寸的用户之外的用户中的未认证成功的用户的图像数据，存储到存储单元中。
根据本发明的另一方案，控制方法用于对应用程序的访问进行控制的可编程显示器。该控制方法包括：脸部认证步骤，基于拍摄得到的被拍摄体的图像数据和用于表示用户的脸部的特征的特征数据，来进行脸部认证；访问容许步骤，在通过脸部认证来确定了用户的情况下，容许用户对应用程序的访问；存储步骤，将所确定的用户的识别信息和用于表示容许了访问的履历对应关联地存储到存储器中。
优选地，控制方法还包括将包含操作按钮的图像的操作画面显示到显示屏上的步骤。在存储步骤中，在容许了用户对应用程序的访问的状态下进行了用于对操作按钮的图像进行指定的操作的情况下，将用户的识别信息与和操作按钮相对应的操作的履历相对应关联地存储到存储器中。
优选地，在存储步骤中，在用户通过脸部认证来未认证成功的情况下，将拍摄得到的用户的图像数据中的脸部的图像数据存储到存储器中。
优选地，控制方法包括：在容许了用户对应用程序的访问时进行拍摄得到的用户的图像数据中包含脸部的图像数据的情况下，确定该脸部的视线方向的步骤；在发生了预先规定的事件的情况下，将预先规定的图像显示到显示屏上的步骤；将发生了预先规定的事件时的视线方向与事件关联对应地存储到存储单元中的步骤。
优选地，还包括基于拍摄来判断被拍摄体的脸部区域是否大于预先规定的尺寸的步骤。在访问容许步骤中，将判断为脸部区域大于预先规定的尺寸作为条件，容许用户对应用程序的访问。在存储步骤中，在拍摄得到的图像数据中包含多个用户的情况下，将多个用户中的判断为脸部区域大于预先规定的尺寸的用户的识别信息与表示容许了访问的履历对应关联地存储到存储单元中。
优选地，在存储步骤中，将多个用户中的除了判断为脸部区域大于预先规定的尺寸的用户之外的用户的识别信息存储到存储单元中。
优选地，在存储步骤中，将在除了判断为脸部区域大于预先规定的尺寸的用户之外的用户中的未认证成功的用户的图像数据，存储到存储单元中。
根据本发明的又一方案，程序用于对用于控制对应用程序的访问的可编程显示器进行控制。程序使可编程显示器的处理器执行以下步骤：脸部认证步骤，基于拍摄得到的被拍摄体的图像数据和用于表示用户的脸部的特征的特征数据，来进行脸部认证；访问容许步骤，在通过脸部认证来确定了用户的情况下，容许用户对应用程序的访问；存储步骤，将所确定的用户的识别信息和用于表示容许了访问的履历对应关联地存储到存储器中。
根据本发明，能够在事后确定通过进行脸部认证来容许了对应用程序的访问的用户。
附图说明
图1是显示器的主视图。
图2是用于说明显示器的认证处理的图。
图3是用于说明用户通过脸部认证来认证成功之后的操作画面的例子的图。
图4是用于说明显示器的处理履历的图。
图5是用于说明显示器的硬件结构的一个例子的图。
图6是表示显示器的功能结构的功能框图。
图7A、图7B、图7C是用于说明用于进行与脸部认证相关的***设定的画面的图。
图8是用于说明保存在登录图像DB中的数据的图。
图9A、图9B、图9C是用于说明图8的脸部图像数据的图。
图10A、图10B、图10C是与认证成功的用户相对应的画面的例子，表示了与图3的例子不同的画面。
图11是表示在显示图10A、图10B、图10C的各用户画面时所参照的数据D3的图。
图12是表示由管理部管理的履历数据D5的图。
图13是表示保存在未登录人员DB中的数据D7的图。
图14A、图14B是表示在由限制部限制进行处理的情况下显示的画面的图。
图15是用于说明显示器的处理流程的流程图。
图16是用于说明取代图8所示的数据D1而保存在登录图像DB351中的数据的图。
图17是用于说明检测用户的视线方向的结构的图。
图18是表示利用照相机17拍摄得到的被拍摄体的图像数据中包含多个用户的状态的图。
其中，附图标记说明如下：
1：显示器
11：CPU
12：ROM
13：RAM
14：闪存ROM
15：时钟
16：操作键
17：照相机
18：触摸屏
19：通信接口
81：显示屏
82：触控面板
101：拍摄部
102：尺寸判断部
103：生成部
104：脸部认证部
105：访问控制部
106：管理部
107：输入部
108：接收部
109：显示控制部
110：显示部
111：字符串判断部
112：通信处理部
113：限制部
114：视线确定部
115：存储部
511：一般设定画面
512：脸部认证设定画面
513：详细设定画面
531、532、533：用户画面
801、802、803、804、834、891：对象
831：状态
832：维护菜单
833：管理菜单
910、920、930：人物
351：登录图像DB
352：视线DB
353：未登录人员DB
354：履历DB
355：ID以及密码DB
356：画面数据DB
具体实施方式
一边参照附图，一边对于本发明的实施方式的可编程显示器(下面，仅称为“显示器”)进行详细说明。此外，对于图中的相同或等同部分，标注相同附图标记，不反复进行说明。
＜A.外观＞
图1是本实施方式的显示器1的主视图。将显示器1与PLC(可编程逻辑控制器)连接起来使用，该显示器1发挥PLC的人机接口(HMI)的功能。参照图1，显示器1具有操作键16、照相机17、触摸屏18。触摸屏18包括显示屏和触控面板。
＜B.处理概要＞
显示器1通过对用户的脸部图像进行认证，来控制对预先保存在显示器 1中的应用程序的访问。具体地说，在用户认证成功的情况下，显示器1容许对该应用程序的访问。下面，举例说明容许对应用程序的访问的处理(即，“登录处理”)。而且，下面，针对显示器1所执行的其它的主要处理的内容，还说明“编辑处理”和“履历记录处理”。
此外，下面，“登录状态”是指容许了对应用程序的访问的状态，“注销状态”是指未容许对应用程序的访问的状态。另外，在显示器1中，当容许了对应用程序的访问时，发行对应用程序的访问权，当未容许对应用程序的访问时，取消对应用程序的访问权。
(b1.登录处理)
图2是用于说明显示器1的认证处理的图。参照图2，当人站在显示器 1的前方(触摸屏18一侧)时，开始基于由照相机17拍摄得到的被拍摄体 (人及背景)的图像数据和预先存储在显示器1中的用户的脸部的特征数据，来进行脸部认证。此外，脸部认证为以往已知的技术，因此在此不反复详细说明。
在用户通过脸部认证来认证成功的情况下，显示器1容许对应用程序的访问。即，在本实施方式中，显示器1容许成为认证对象的用户的登录。具体地说，显示器1转移至容许对预先存储在显示器1中的数据的访问的状态。而且，换言之，在用户通过脸部认证来认证认证的情况(认证成功的情况) 下，显示器1将显示器1的状态从注销状态切换到登录状态。另外，显示器 1基于切换到登录状态的情况，将预先规定的用户画面显示到触摸屏18的显示屏上。如上所述，根据显示器1，能够通过脸部认证来进行登录。此外，用户画面是用户用于进行操作及/或确认的画面。用户画面包括包含操作按钮的操作画面和不包含操作按钮的画面。
(b2.编辑处理)
图3是用于说明用户通过脸部认证来认证成功之后的用户画面的例子的图。图3的(A)部分是用于说明在判断为通过脸部认证来认证成功的用户是对应用程序的操作权限比一般操作人员(下面，仅称为“操作人员”)更高的管理人员的情况下显示到显示器1上的画面的图。图3的(B)部分是用于说明在判断为通过脸部认证来认证成功的用户是操作人员的情况下显示到显示器1上的画面的图。
参照图3，显示器1基于通过脸部认证来容许了对应用程序的访问的情况，将多个画面中的与认证成功的用户相对应的画面显示到显示屏上。例如，在男性α为管理人员的情况下，显示器1将多个能够选择的对象(Object) 801、802、803、804显示到显示屏上。另外，在女性β为操作人员的情况下，显示器1不显示(或者，以不能选择的方式显示)与仅容许管理人员进行操作的处理相对应的对象802、803。如上所述，显示器1能够显示与认证成功的用户相对应的用户画面。
(b3.履历记录处理)
图4是用于说明显示器1的处理履历的图。参照图4，当基于预先规定的指令进行处理时，显示器1将时刻、指令、对显示器1开始进行处理的用户(通过脸部认证来认证成功的用户)的姓名相关联对应地进行存储来作为履历。此外，履历中包括与登录及注销相关的履历和登录状态下的用户的操作履历。
例如，在一个方案中，显示器1至少将通过脸部认证来认证成功的用户的识别信息(姓名)和用于表示容许了对应用程序的访问的情况(即，成为登录状态的情况、已登录的情况)的履历(“登录”)相对应地进行存储。另外，在一个方案中，在登录状态下用户进行了对用户画面中包含的操作按钮的图像进行指定的操作的情况下，显示器1将通过脸部认证来认证成功的用户的识别信息和与该指定的操作按钮相对应的操作的履历(例如“开始按压”、“显示图表”)相对应地进行存储。
能够通过由显示器1的用户(例如，管理人员或后述的维护人员)向显示器1输入用于将所存储的履历显示到显示屏上的指示，来如图4那样确认履历。即，该用户能够在事后对通过脸部认证来登录的用户进行认证。
下面，对用于实现上述处理的显示器1的具体结构以及除了上述处理之外的处理，进行详细说明。
＜C.硬件结构＞
图5是用于说明显示器1的硬件结构的一个例子的图。参照图5，显示器1具有用于进行各种运算的CPU(Central Processing Unit：中央处理单元) 11、ROM(Read OnlyMemory：只读存储器)12、RAM(Random Access Memory：随机存取存储器)13、非易失性地保存各种程序的闪存ROM14、时钟15、操作键16、照相机17、触摸屏18、通信接口19。此外，这些构件经由内部总线彼此相连。
触摸屏18具有：显示屏81；触控面板82，其以覆盖显示屏81的方式设置。通信接口19具有以太网(登录商标)接口(InterFace)91、串行接口92、USB(Universal Serial Bus：共用串行总线)接口93。
CPU11将保存在闪存ROM14中的程序展开到RAM13等中来执行。 ROM12中一般保存有操作***(OS：Operating System)等程序。RAM13 为易失性存储器，用作工作存储器。
以太网用接口91支持以太网的通信协议，与PLC进行数据通信。串行接口92支持串行通信的协议，例如与PC(Personal Computer：个人计算机) 进行数据通信。USB接口93支持USB的通信协议，例如与USB存储器进行数据通信。
此外，图5所示的构成显示器1的各结构要素是常规性的。因此，还可以说本发明的本质的部分是保存在闪存ROM14等保存器中的软件或能够通过网络下载的软件。此外，显示器1的各硬件的动作是公知的，因此不反复进行详细说明。
＜D.处理的详细内容＞
图6是示出了显示器1的功能结构的功能框图。参照图6，显示器1具有拍摄部101、尺寸判断部102、生成部103、脸部认证部104、访问控制部 105、管理部106、输入部107、接收部108、显示控制部109、显示部110、字符串判断部111、通信处理部112、限制部113、视线确定部114及存储部 115。
此外，拍摄部101与图5等中示出的照相机17相对应。输入部107与触控面板82相对应。显示部110与显示屏81相对应。存储部115与闪存 ROM14以及ROM12相对应。
存储部115具有登录图像DB(Data Base：数据库)351、视线DB352、未登录人员DB353、履历DB354、ID(Identification)以及密码DB355及画面数据DB356。
在登录图像DB351中，以使用户的识别信息、用户的脸部的脸部图像数据、用户的脸部的特征数据、表示对应用程序的操作权限的识别信息(例如，管理人员、操作人员等)相对应的状态，登录有多人的信息。具体地说，针对每个特征数据相对应地存储有表示操作权限的识别信息。此外，通过执行预先规定的应用程序，根据脸部图像数据来生成特征数据。另外，作为一个例子，通过利用照相机17进行拍摄来登录脸部图像。
在用户通过脸部认证来未认证成功的情况下，将未认证成功的该用户的脸部的图像数据记录到未登录人员DB353中。在履历DB354中记录有用户的各种履历(登录履历、注销履历、各种操作履历)。在画面数据DB356 中记录有用于在显示器1的显示屏81上显示各种画面(用户画面、后述***设定画面)的画面数据。
在视线DB352中记录有用于表示显示器1的用户的视线方向的信息。对于利用该视线DB352的结构，在后面进行叙述(图16)。在ID及密码DB355 中，针对每个用户记录有显示器1的用户的ID及密码。对于利用ID及密码 DB355的结构，也在后面进行叙述。
拍摄部101拍摄被拍摄体，将通过该拍摄得到的图像数据(包括脸部图像数据的被拍摄体的图像数据)发送至尺寸判断部102。典型地，无论在注销状态还是登录状态下，拍摄部101都在预先指定的时刻进行拍摄处理。图像数据与进行拍摄的日期与时刻相对应。更详细地说，在进行认证时对为了认证用户而进行多次拍摄得到的脸部图像数据和特征数据进行比较，因此拍摄部101进行连续拍摄。下面，为了便于说明，将通过该连续摄影得到的图像数据称为“帧数据”。
尺寸判断部102判断图像数据所包括的脸部区域是否大于预先规定的尺寸。详细地说，尺寸判断部102基于拍摄部101拍摄得到的图像数据，来判断被拍摄体的脸部区域是否大于预先规定的尺寸(后述最小值)。另外，尺寸判断部102将判断结果发送至生成部103及脸部认证部104。
在登录脸部图像数据的动作模式中，生成部103基于脸部图像数据来生成特征数据。生成部103将脸部图像数据和特征数据相关联对应地记录至登录图像DB中。典型地，在判断为被拍摄体的脸部区域大于预先规定的尺寸 (后述最小值)的情况下，生成部103将脸部图像数据和特征数据相关联对应地记录至登录图像DB中。
脸部认证部104在注销状态(未容许对应用程序的访问的状态)下，在人物的脸部靠近显示器1的拍摄部101时，自动进行脸部认证。另外，在登录状态下，脸部认证部104在接受了用户的操作的情况下，也进行脸部认证。
具体地说，脸部认证部104基于通过拍摄得到的用户的图像数据(称为“第一图像数据”)及特征数据，来进行对用户的认证(下面，还称为“第一脸部认证”)。详细地说，脸部认证部104基于表示被拍摄体中包含的脸部的脸部图像数据和记录在登录图像DB中的特征数据，来进行脸部认证。更详细地说，脸部认证部104对多个帧数据分别进行脸部认证，从而对用户进行认证。
脸部认证部104将认证结果发送至访问控制部105。另外，在未认证成功的用户的情况下，脸部认证部104将未认证成功的脸部的图像数据(下面，还称为“未登录图像数据”)发送至管理部106。
另外，脸部认证部104在预先指定的时刻，基于通过在登录状态下进行拍摄(在容许了对应用程序的访问的情况下的拍摄)得到的用户的脸部的图像数据(还称为“第二图像数据”)和特征数据，来进行对用户的认证(下面，还称为“第二脸部认证”)。将该认证的结果发送至限制部113。
更详细地说，脸部认证部104关注眼部来进行脸部认证。因为在使用显示器1的场所，除了眼部之外的部分被衣服覆盖的可能性高。
在用户认证成功的情况下，访问控制部105容许该用户对应用程序的访问。详细地说，访问控制部105将判断为脸部区域大于预先规定的尺寸作为条件，容许对应用程序的访问。
具体地说，在注销状态下用户通过脸部认证来认证成功的情况下，访问控制部105将显示器1的状态从注销状态切换到登录状态。详细地说，当容许对应用程序的访问时，访问控制部105以从多个画面中基于认证成功的用户的特征数据来将画面(参照图3)显示到显示屏81(即显示部110)上的方式，控制显示控制部109。
另外，在从脸部认证部104接收到表示尺寸最大的用户的信息的情况下，访问控制部105将与该用户相对应的画面显示到显示屏81上。在将显示器1 的状态从注销状态切换到登录状态的情况下，访问控制部105向管理部106 发送用于表示成为了登录状态的信息。
详细地说，访问控制部105将基于多个帧数据中的预先规定的数量以上的帧数据认证为同一用户作为条件，容许对应用程序的访问(即，从注销状态切换到登录状态)。
输入部107接受对象的指定及字符串的输入这样的各种用户操作。例如，输入部107接受用户画面上的触摸操作。此时，输入部107将触摸输入的坐标值发送至接收部108。
接收部108从输入部107接收坐标值。接收部108基于所接收的坐标值和显示在显示部110上的画面信息，来判断所输入的指示(用户操作)以及字符串等。接收部108将用于表示该用户操作的信息发送至管理部106。另外，在接收了作为字符串的ID及密码时，接收部108将该ID及密码发送至字符串判断部111。
显示控制部109将画面显示到显示屏81(即显示部110)上。例如，显示控制部109根据用于表示上述操作权限的识别信息，来将不同的所述画面显示到所述显示屏上(参照图3)。详细地说，显示控制部109根据来自各部的指示，在显示部110上显示各种画面等。
具体地说，显示控制部109例如将用户画面(图2、图3等)、用于进行***设定的画面(图7A、图7B、图7C)及履历画面(图4)显示到显示部110上。另外，显示控制部109将预先规定的对象图像重叠显示到这些画面上。另外，显示控制部109将从PLC发送来的各种信息(例如数值、字符串)显示到显示部110上。
管理部106将认证成功的用户的识别信息和用于表示成为了容许访问的状态的履历相对应地存储到存储部115中。具体地说，管理部106将认证成功的用户的识别信息和用于表示已登录的履历(“登录”)相对应地存储到存储部115的履历DB354中。另外，在已容许对应用程序的访问的状态(登录状态)下，在进行了用于对用户画面所包含的操作按钮的图像进行指定的操作的情况下，管理部106将认证成功的用户的识别信息和与该操作按钮相对应的操作的履历(例如，“开始按压”、“显示图表”)相对应地，存储到履历DB354中。在将各种履历存储到履历DB354中时，与表示进行了与该履历相对应的处理或者操作的日期与时刻的日期与时刻信息相对应地进行存储。
而且，在从脸部认证部104接收到未登录图像数据的情况下，管理部106 将该未登录图像数据存储到未登录人员DB353中。此时，未登录图像数据与表示进行拍摄的日期与时刻的日期与时刻信息建立有对应关系。
更详细地说，管理部106将由管理人员进行了用于记录履历的设定作为条件，将上述各履历存储到履历DB354中。在注销状态及登录状态中的任意状态下，管理部106都可以将通过脸部认证来认证成功的用户的图像数据存储到存储部115中，或者也可以不存储到存储部115中。由管理人员选择采用何种方式。
通信处理部112进行用于与PLC进行通信的数据处理。在后面叙述限制部113、字符串判断部111及视线确定部114。
下面，对于编辑处理及履历记录处理，进行更详细的说明。另外，还对作为显示器1的处理的初始设定处理和变更检测进行说明。此外，编辑处理是指，显示控制部109通过接受访问控制部105的控制来显示与认证成功的用户相对应的用户画面的处理(参照图3)。另外，履历记录处理是指，由管理部106将未登录图像数据及履历存储到存储部115中的处理。
另外，下面，为了便于说明，假定规定了操作应用程序的操作权限(使用权限)的范围不同的三种人(“管理人员”、“维护人员”、“操作人员”) 作为显示器1的用户的情况来进行说明。此外，管理人员、维护人员、操作人员的上述操作权限的范围依次变小。
(d1.初始设定处理)
图7A、图7B、图7C是用于说明用于进行与脸部认证相关的***设定的画面的图。图7A是表示一般设定画面511的图。图7B是表示脸部认证设定画面512的图。图7C是表示详细设定画面513的图。通过显示控制部109 和显示部110来实现用于进行这些***设定的画面的显示。
显示器1仅对管理人员容许对***的设定。即，仅能够由作为管理人员登录到显示器1的人，显示图7A至图7C的画面。
参照图7A、图7B、图7C，能够通过选择画面上部的3个标签(tag) 中的一个标签，来显示图7A至图7C的各画面。在图7A所示的一般设定画面511中，能够进行是否记录履历的设定、是否记录进行脸部认证时的脸部图像数据的设定、与人物的变更检测相关的设定以及与未登录人员检测相关的设定。
在图7B所示的脸部认证设定画面512中，能够进行以下处理，即，对需要通过脸部认证来认证的用户进行用户登录的处理、以及删除该用户登录的处理。另外，在脸部认证设定画面512中，能够对同一人物登录多个脸部图像数据。此外，在登录了多个脸部图像数据的情况下，生成多个特征数据。另外，在“角色”的栏中设定管理人员、维护人员以及操作人员中的某一个。
图7C所示的详细设定画面513中，能够设定通过进行脸部认证来认可登录时使用的被拍摄体(人物以及背景)的脸部尺寸的最小值以及最大值。另外，在详细设定画面513中，能够设定通过进行脸部认证来可判断为本人的匹配度(像本人)的下限值(阈值)。例如，作为该阈值的一个例子，可举出98％。
图8是用于说明保存在登录图像DB351中的数据的图。参照图8，在数据D1中，相对应地记录有姓名、职务、数据的更新日、脸部图像数据及特征数据。作为一个例子，针对“Yamashita Takeshi”的姓名，相对应地存储有“管理人员”这样的职务、“2012/08/16”这样的更新日、三个脸部图像数据(“1023KD”、“7544KD”、“9118KD”)及三个特征数据(“1023TD”、“7544TD”、“9118TD”)。此外，各特征数据是根据同栏中记载的脸部图像数据来生成的数据。例如，根据脸部图像数据“1023KD”来生成特征数据“1023TD”。
能够最多设定预先规定的数量(例如，分别10个)的脸部图像数据及特征数据。显示器1的脸部认证部104也可以在与多个特征数据中的至少一个特征数据之间的匹配度大于所设定的下限值(阈值)时，判断为认证成功 (用户得到了认证)。或者，脸部认证部104也可以在与上述多个特征数据中的全部特征数据之间的匹配度大于所设定的下限值时，判断为认证成功 (用户得到了认证)。
图9A、图9B、图9C是用于说明图8的脸部图像数据的图。详细地说，图9A是基于“Yamashita Takeshi”的第一个脸部图像数据“1023KD”的图像。图9B是基于“YamashitaTakeshi”的第二个脸部图像数据“7544KD”的图像。图9C是基于“Yamashita Takeshi”的第三个脸部图像数据“9118KD”的图像。这样，登录不同状态的多个脸部图像数据，利用上述脸部图像数据来进行脸部认证，从而能够提高显示器1的认证精度。
(d2.编辑处理)
如上所述，在显示器1上显示与通过脸部认证来认证成功的用户相对应的画面。图10A、图10B、图10C为与认证成功的用户相对应的画面的例子，表示了与图3的例子不同的画面。
图10A是表示管理人员的用户画面531的图。即，图10A是通过脸部认证来认证成功的用户已事先登录为管理人员的情况下显示的用户画面。图 10B是表示维护人员的用户画面532的图。即，图10B是通过进行脸部认证来认证成功的用户已事先登录为维护人员的情况下显示的用户画面。图10C 是表示操作人员的用户画面533的图。即，图10C是通过脸部认证来认证成功的用户已事先登录为操作人员的情况下显示的用户画面。
参照图10A，用户画面531包括状态(Status)831、维护菜单832、管理菜单833及用于注销的对象834。
参照图10B，用户画面532包括状态831、维护菜单832、对象834。用户画面532与用户画面531不同，不包括管理菜单833。
参照图10C，用户画面533包括状态831和对象834。用户画面533与用户画面531不同，不包括管理菜单833和维护菜单832。
如上所述，显示器1基于脸部认证的结果，显示与操作权限相对应的用户画面。
图11是表示在显示图10A、图10B、图10C的各用户画面531、532、 533时所参照的数据D3的图。参照图11，在数据D3中，对对象名、坐标信息、表示针对每个职务是否显示对象图像的信息建立有对应关系。例如，记述有如下内容，即，对管理人员和维护人员显示作为三个对象图像的开始按钮、停止按钮及暂停按钮。并且，记述有对管理人员显示***菜单的对象图像的内容。并且，记述有对所有用户显示用于注销的对象图像的内容。
另外，坐标信息是指在将对象图像显示到显示屏81上时利用的信息。利用坐标信息，来规定对象图像的左上部的坐标、对象图像的宽度和高度。
(d3.履历记录处理)
图12是表示由管理部106管理的履历数据D5的图。即，图12表示保存在履历DB354中的履历数据D5。参照图12，在履历数据D5中相对应地记录有日期与时刻、指令、姓名。在从用户(例如，管理人员)接受到显示履历数据D5的指示时，显示器1显示图4所示的画面。
图13是表示保存在未登录人员DB353中的数据D7的图。参照图13，在数据D7中，相对应地记录有用户通过脸部认证来未认证成功的人物的图像(未登录人员图像)和进行拍摄的日期与时刻。
例如，在操作人员对显示器1进行了用于确认未登录人员的输入的情况下，显示器1参照数据D7，将未登录人员的图像显示在显示屏81上。
(d4.变更检测)
接着，对于变更检测进行说明。变更检测是指，在通过对某人物进行了脸部认证来显示器1处于登录状态的情况下，显示器1再次通过进行脸部认证来检测与该人物不同的人物的检测。
如上所述，即使在登录状态下，脸部认证部104也在预先指定的时刻基于在登录状态下进行拍摄得到的脸部的图像数据和特征数据，来进行脸部认证。
在通过上述第一脸部认证来认证成功的用户和通过上述第二脸部认证来认证成功的用户为不同的用户的情况下，限制部113限制应用程序的处理的执行。另外，在用户通过第二脸部认证来未认证成功的情况下，限制部113 限制应用程序的处理的执行。具体地说，通过登录状态下的脸部认证来得到的认证结果不表示通过注销状态下的脸部认证来认证成功的用户的情况下，或者用户通过登录状态下的脸部认证来未认证成功的情况下，限制部113限制在登录状态下认可的预先规定的处理的执行。
例如，假设在显示管理人员的用户画面531的状态(图10A)下，该管理人员之外的人物站在显示器1前，并对该人物进行了拍摄及认证。此时，限制部113至少限制在登录状态下认可的处理的执行。优选地，限制部113 不接受对在登录状态下表示的对象图像进行的选择。
图14A、图14B是表示在由限制部113限制进行处理的情况下显示的画面的图。图14A是表示带有警告显示的画面的图。图14B是表示从登录状态转移到注销状态之后的画面的图。可将显示图14A所示的画面还是显示图 14B所示的画面的信息，预先规定到显示器1中。管理人员还能够变更该设定。
参照图14A，在限制应用程序的处理的执行的情况下，访问控制部105 以如下方式控制显示控制部109，该方式是指，以将预先规定的对象图像，以重叠到在容许访问的状态(登录状态)下显示的画面上的状态，显示到显示屏81(显示部110)上的方式。由此，显示控制部109将通过在图10A所示的用户画面531上重叠表示警告的对象图像来得到的画面551，显示到显示部110上。
参照图14B，访问控制部105将显示器1的状态从登录状态切换到注销状态。伴随与此，在限制应用程序的处理的执行的情况下，显示控制部109 取代在容许所述访问的状态下显示的画面而将未容许该访问的状态的画面显示到显示屏81上。具体地说，显示控制部109将注销状态的画面显示到显示部110上。此时，显示器1执行注销状态下的拍摄及脸部认证处理。
此外，在上述中，举出在由限制部113限制了处理时将用户画面转移至其它画面的例子来进行了说明，但是并不限定于此。例如，显示器1也可以不转移画面而仅限制处理。由管理人员指定用于实现这种方式的设定。
另外，在通过登录状态下的脸部认证来得到的认证结果不表示通过注销状态下的脸部认证来认证成功的用户的情况下，也可以执行如下的处理。即，也可以使显示器1显示与在登录状态下认证成功的用户的操作权限相对应的用户画面。例如，在显示管理人员的用户画面531(图10A)的状态下，由操作人员通过脸部认证来认证成功的情况下，显示器1也可以显示操作人员的用户画面533(图10C)。另外，在不同的管理人员通过脸部认证来认证成功的情况下，也可以不限制管理人员的操作权限，而保持用户画面531的状态。
＜E.控制结构＞
图15是用于说明显示器1的处理流程的流程图。具体地说，图15是表示从未容许对应用程序的访问的状态(注销状态)经由容许了访问的状态(登录状态)转移至未容许访问的状态(注销状态)的情况的图。
参照图15，在步骤S2中，显示器1在起动之后开始进行拍摄。在步骤 S4中，显示器1基于通过拍摄得到的被拍摄体的图像数据，来判断是否检测到脸部。在判断为到脸部的情况(在步骤S4中为“是”)下，显示器1在步骤S6中进行脸部认证。在判断为未检测到脸部的情况(在步骤S4中为“否”)下，显示器1使处理进入步骤S4。
在步骤S8中，显示器1判断用户通过脸部认证来是否认证成功。在判断为用户认证成功的情况(在步骤S8中为“是”)下，在步骤S10中，显示器1将显示器1的状态从注销状态切换到登录状态。即，显示器1容许对应用程序的访问。在判断为用户未认证成功的情况(在步骤S8中为“否”) 下，在步骤S36中，显示器1将图像数据存储到未登录人员DB353中。
在步骤S12中，显示器1显示与认证成功的用户相对应的用户画面。在步骤S14中，显示器1将用于表示进行了登录的履历，与时刻及通过进行认证来认证成功的用户的姓名相关联对应地，记录至履历DB354中。即，显示器1将用于表示容许了对应用程序的访问的履历，与时刻及通过进行认证来认证成功的用户的姓名相关联对应地进行记录。在步骤S16中，显示器1判断在用户画面上是否接受到操作。典型地，显示器1判断是否选择了对象图像。
在判断为接受到操作的情况(在步骤S16中为“是”)下，在步骤S18 中，显示器1将该操作的履历，与进行操作的时刻以及通过进行认证来认证成功的用户的姓名相对应地，存储至履历DB354中。在判断为未接受到操作的情况(在步骤S16中为“否”)下，显示器1使处理进入步骤S20。
在步骤S20中，显示器1基于通过拍摄得到的被拍摄体的图像数据，来判断是否检测到脸部。在判断为检测到脸部的情况(在步骤S20中为“是”) 下，在步骤S22中，显示器1进行脸部认证。在判断为未检测到脸部的情况 (在步骤S20中为“否”)下，显示器1使处理进入步骤S20。
在步骤S24中，显示器1判断用户通过脸部认证来是否认证成功。在判断为用户认证成功的情况(在步骤S24中为“是”)下，在步骤S26中，显示器1判断认证成功的用户是否为与在登录之前的注销状态下认证成功的用户是同一人物。在判断为用户未认证成功的情况(在步骤S24中为“否”) 下，在步骤S38中，显示器1将图像数据存储到未登录人员DB353中。作为一个例子，在步骤S40中，显示器1进行警告显示(图14A)。
在判断为同一人物的情况(在步骤S26中为“是”)下，在步骤S28中，显示器1判断在用户画面上是否接受到操作。在判断为不是同一人物的情况 (在步骤S26中为“否”)下，显示器1使处理进入步骤S40。
在判断为接受到操作的情况(在步骤S28中为“是”)下，在步骤S30 中，显示器1将该操作的履历，与进行了操作的时刻以及通过进行认证来认证成功的用户的姓名相对应地，存储到履历DB354中。在判断为未接受到操作的情况(在步骤S28中为“否”)下，显示器1使处理进入步骤S32。
在步骤S32中，显示器1判断是否接受到用于注销的操作。在判断为未接受到用于注销的操作的情况(在步骤S32中为“否”)下，显示器1使处理进入步骤S20。在判断为接受到用于注销的操作的情况(在步骤S32中为“是”)下，在步骤S34中，显示器1将该操作的履历、与进行了操作的时刻以及通过进行认证来认证成功的用户的姓名相对应地，存储到履历DB354 中。由此，显示器1再次返回至注销的状态，从而结束一系列处理。
＜F.变形例＞
(f1.编辑处理的变形例)
在上述中，说明了显示器1显示与通过进行脸部认证来认证成功的用户相对应的画面的结构。具体地说，说明了显示器1基于认证成功的用户的操作权限(管理人员的操作权限、维护人员的操作权限、操作人员的操作权限) 来显示画面的结构。下面，说明基于这样的操作权限和与认证成功的用户相关的各种信息来显示画面的结构。
图16是用于说明取代图8所示的数据D1而保存在登录图像DB351中的数据的图。参照图16，在数据D9中，相对应地记录有姓名、职务、数据的更新日、脸部图像数据以及特征数据、用于规定显示方式的数据(年龄数据、性别数据、国籍数据、灵活手数据)。在包括用于规定显示方式的数据这一点上，数据D9与图8所示的数据D1存在差异。
显示器1基于操作权限和用于规定显示方式的数据来显示画面。例如，在通过进行脸部认证来认证用户为“Yamashita Takeshi”的情况下，在显示管理人员的画面时，将该画面中所包含的语种设定为日语。另外，显示器1 将字符的尺寸、画面的辉度以及画面的对比度等，调整为与年龄相对应的值。而且，在左利手(左撇子)用的对象图像(菜单、操作按钮)的配置方式及右利手(右撇子)用的对象图像的配置方式中，显示器1以右撇子用配置方式显示画面。
另外，在通过进行脸部认证来认证用户为“Oliver Williams”的情况下，在显示维护人员的画面时，将该画面中所包含的语种设定为英語。另外，将可编程显示器、字符的尺寸、画面的辉度以及画面的对比度等，调整为与年龄相对应的值。而且，显示器1以右利手(右撇子)用配置方式显示画面。另外，显示器1从维护人员用的多个画面中显示为了女性预先准备的维护人员用画面。
如上所述，在显示器1中，针对多个特征数据分别对应有用于规定画面的显示方式的信息。显示器1的显示控制部109以由与认证成功的用户的特征数据相对应的信息来规定的显示方式，将与认证成功的用户相对应的画面显示到显示部110上。因此，显示器1能够显示对通过进行脸部认证来认证成功的用户定制的画面。
另外，如上所述，上述显示方式包括语种及字符尺寸中的至少一种。因此，显示器1能够利用认为适合于认证成功的用户的语种及字符尺寸，来显示画面。
而且，用于规定画面的显示方式的信息包括年龄、性别及国籍中的至少一个。显示器1能够通过利用上述信息，显示适合于通过进行脸部认证来认证成功的用户的画面。
(f2.与视线相关的处理)
图17是用于说明检测用户的视线方向的结构的图。参照图17，在登录状态下，显示器1基于发生了预先规定的事件的情况，显示与该事件相对应的预先规定的对象891。
在通过在容许对应用程序的访问时(登录状态)拍摄得到的用户的图像数据中包含脸部的图像数据的情况下，显示器1的视线确定部114(参照图 6)确定该脸部的视线方向。此时，管理部106将发生了上述预先规定的事件时的视线方向与该事件相关联对应地存储至存储部115的视线DB352中。此外，能够通过研究所拍摄的图像数据中的脸部的大小(眼睛的大小)和该脸部中的虹膜(或者瞳孔)的位置，来确定视线方向。
因此，登录的管理人员等能够通过确认视线DB352的数据，来判断在发生了预先规定的事件时操作人员等在发生事件时在现场工作的人是否正在看显示器1的画面。
(f3.多个人的脸部认证处理)
在上述中，举例说明了通过进行一次拍摄来拍摄到一个人的情况。下面，说明通过进行一次拍摄来拍摄到多个人的情况的处理。
图18是表示利用照相机17拍摄得到的被拍摄体的图像数据中包含多个用户的状态的图。参照图18，在图像的最前方拍摄到了人物910。另外，在人物910的后方依次拍摄到了人物920及人物930。因此，按照人物910、人物920、人物930的顺序，脸部区域的尺寸依次变小。
在从拍摄部101接收到通过进行一次拍摄来拍摄到多个人物的图像数据的情况下，尺寸判断部102判断各人物的脸部区域是否大于预先规定的尺寸。在图18的情况下，尺寸判断部102判断人物910、人物920、人物930的脸部区域是否大于预先规定的尺寸。
在从尺寸判断部102接收到通过进行一次拍摄来拍摄到多个人物的图像数据和上述判断结果的情况下，脸部认证部104对该多个人物进行脸部认证。此时，脸部认证部104至少将认证成功的用户中的尺寸最大的用户的识别信息发送至访问控制部105。例如，在图18的情况下，脸部认证部104将人物 910的识别信息(典型地，姓名)发送至访问控制部105。
在通过拍摄得到的图像数据中包含多个用户的情况下，管理部106将该多个用户中的判断为脸部区域大于预先规定的尺寸(下限值)的用户的识别信息，与用于表示容许了对应用程序的访问的情况(即，登录的情况)的履历相对应地，存储到存储部115的履历DB354中。例如，在图18的情况下，管理部106将人物910的识别信息与用于表示已登录的情况的履历相对应地存储到履历DB354中。
另外，管理部106将上述多个用户中的除了判断为脸部区域大于预先规定的尺寸的用户之外的用户的识别信息，存储到存储部115中。例如，在图 18的情况下，管理部106将人物920的用户信息和人物930的用户信息存储到存储部115中。
因此，显示器1的用户(例如管理人员)能够通过识别信息，来确定在显示器1的状态从注销状态切换到登录状态时在进行登录的人物(在图18 的情况下为人物910)的周围存在哪些人。在图18的例子中，管理人员能够确定人物920的姓名和人物930的姓名。
而且，管理部106将除了判断为脸部区域大于预先规定的尺寸的用户之外的用户中的用户未认证成功的人的图像数据，进而存储到存储部115中。例如，在图18的情况下，在由脸部认证部104判断为人物930是未登录人员的情况下，管理部106将人物930的图像数据存储到存储部115中。
因此，显示器1的用户(例如管理人员)能够确认，在显示器1的状态从注销状态切换到登录状态时、位于登录的人物(在图18的情况下为人物910)的周围的未登录的人物的脸部。
(f4.ID以及密码的利用)
接着，说明利用ID以及密码的结构。在显示器1中，在比操作人员的操作权限大的管理人员及维护人员的情况下，为了登录，除了用户通过脸部认证来认证成功的情况之外，还可以将ID及密码一致作为条件，来容许对应用程序的访问(将显示器1的状态从注销状态切换到登录状态)。对该处理如下进行详细说明。
在通过脸部认证来认证成功的用户为具有管理人员或者维护人员的操作权限的人的情况下，接收部108接收作为字符串的ID以及密码的输入。另外，字符串判断部111判断接收部108接收的ID以及密码和预先登录在 ID以及密码DB355中的ID以及密码(预先规定的字符串)是否一致。而且，将由字符串判断部111判断为一致作为条件，访问控制部105将显示器1的状态从注销状态切换到登录状态。
根据这样的结构，与操作权限的大小无关地仅通过进行脸部认证来容许登录的结构相比，能够提高安全性。此外，在上述中，举例说明了向管理人员和维护人员请求输入ID及密码的结构，但是也可以仅向管理人员请求输入ID及密码。另外，也可以以仅请求输入ID及密码中的某一个的方式构成显示器1。
(f4.不内置照相机的结构)
在上述中，举例说明了可编程显示器内置有照相机的结构，但是并不限定于此。也可以采用可编程显示器与外置的照相机进行通信的结构。即，也可以采用显示器1从外置的照相机获取图像数据的结构。
(f5.对于操作权限)
在上述中，说明了管理人员、维护人员、操作人员这三个具有不同的操作权限的人的例子，但是并不限定于此。操作权限的种类(划分)的数目可以是二个，也可以是四个以上。
(f6.对除了可编程显示器之外的装置的应用)
在上述中，举例说明了可编程显示器(显示器1)。但是，上述各种处理，不仅能够应用于可编程显示器，还能够应用于包含该可编程显示器的监视器(显示装置)。
应当认为本公开的实施方式是在全部点的例示而非限制。本发明的范围并不由上述的说明来表示，而是由权利要求书来表示，意在包括在与权利要求书等同的意思和范围内的全部变更。

Claims (10)

1.一种可编程显示器，能够控制对应用程序的访问，其特征在于，
具有：
存储单元，其对应关联地存储有用户的脸部的特征数据和所述用户的识别信息；
认证单元，其基于对包括多个用户的被拍摄体进行一次拍摄得到的被拍摄体的图像数据和所述特征数据来进行脸部认证；
判断单元，基于拍摄，来判断所述被拍摄体中的用户的脸部区域是否大于预先规定的尺寸；
访问控制单元，将所述脸部区域大于预先规定的尺寸作为条件，容许认证成功且判断为脸部区域大于预先规定的尺寸的用户中的脸部区域最大的用户对所述应用程序的访问；
管理单元，其将认证成功且判断为脸部区域大于预先规定的尺寸的用户中的脸部区域最大的用户的识别信息和用于表示处于容许所述访问的状态的履历对应关联地存储到所述存储单元中，
所述管理单元还将认证成功且判断为脸部区域大于预先规定的尺寸的用户中的除了脸部区域最大的用户之外的用户的识别信息存储到所述存储单元中。
2.根据权利要求1所述的可编程显示器，其特征在于，
还具有：
显示屏，
显示控制单元，其将包含操作按钮的图像的操作画面显示到所述显示屏上；
所述管理单元，在容许了认证成功且判断为脸部区域大于预先规定的尺寸的用户中的脸部区域最大的用户对所述应用程序的访问的状态下进行了用于对所述操作按钮的图像进行指定的操作的情况下，还将认证成功且判断为脸部区域大于预先规定的尺寸的用户中的脸部区域最大的用户的识别信息与和所述操作按钮相对应的操作的履历对应关联地存储到所述存储单元中。
3.根据权利要求2所述的可编程显示器，其特征在于，所述管理单元，还将拍摄得到的多个用户中的未认证成功的用户的图像数据中的脸部的图像数据存储到所述存储单元中。
4.根据权利要求3所述的可编程显示器，其特征在于，
还具有确定单元，在容许了用户对所述应用程序的访问时拍摄得到的用户的图像数据中包含脸部的图像数据的情况下，该确定单元确定该脸部的视线方向；
所述显示控制单元在发生了预先规定的事件的情况下，将预先规定的图像显示到所述显示屏上；
所述管理单元，将发生了所述预先规定的事件时的所述视线方向与所述事件关联对应地存储到所述存储单元中。
5.根据权利要求1所述的可编程显示器，其特征在于，
所述管理单元，还将认证成功且判断为脸部区域大于预先规定的尺寸的用户中的除了脸部区域最大的用户之外的用户的图像数据，存储到所述存储单元中。
6.一种控制方法，用于对应用程序的访问进行控制的可编程显示器，其特征在于，
包括：
脸部认证步骤，基于对包括多个用户的被拍摄体进行一次拍摄得到的被拍摄体的图像数据和用于表示用户的脸部的特征的特征数据，来进行脸部认证；
尺寸判断步骤，基于拍摄来判断所述被拍摄体中的用户的脸部区域是否大于预先规定的尺寸；
访问容许步骤，将所述脸部区域大于预先规定的尺寸作为条件，容许认证成功且判断为脸部区域大于预先规定的尺寸的用户中的脸部区域最大的用户对所述应用程序的访问；
存储步骤，将认证成功且判断为脸部区域大于预先规定的尺寸的用户中的脸部区域最大的用户的识别信息和用于表示容许了所述访问的履历对应关联地存储到存储器中，
在所述存储步骤中，将认证成功且判断为脸部区域大于预先规定的尺寸的用户中的除了脸部区域最大的用户之外的用户的识别信息存储到所述存储器中。
7.根据权利要求6所述的控制方法，其特征在于，
所述控制方法还包括将包含操作按钮的图像的操作画面显示到显示屏上的步骤，
在所述存储步骤中，在容许了认证成功且判断为脸部区域大于预先规定的尺寸的用户中的脸部区域最大的用户对所述应用程序的访问的状态下进行了用于对所述操作按钮的图像进行指定的操作的情况下，将认证成功且判断为脸部区域大于预先规定的尺寸的用户中的脸部区域最大的用户的识别信息与和所述操作按钮相对应的操作的履历相对应关联地存储到所述存储器中。
8.根据权利要求7所述的控制方法，其特征在于，
在所述存储步骤中，还将拍摄得到的多个用户中的未认证成功的用户的图像数据中的脸部的图像数据存储到所述存储器中。
9.根据权利要求8所述的控制方法，其特征在于，
包括：
在容许了用户对所述应用程序的访问时进行拍摄得到的用户的图像数据中包含脸部的图像数据的情况下，确定该脸部的视线方向的步骤；
在发生了预先规定的事件的情况下，将预先规定的图像显示到所述显示屏上的步骤；
将发生了所述预先规定的事件时的所述视线方向与所述事件关联对应地存储到所述存储器中的步骤。
10.根据权利要求6所述的控制方法，其特征在于，
在所述存储步骤中，将认证成功且判断为脸部区域大于预先规定的尺寸的用户中的除了脸部区域最大的用户之外的用户的图像数据，存储到所述存储器中。
CN201410363161.7A 2013-07-29 2014-07-28 可编程显示器、控制方法 Active CN104346554B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-156682 2013-07-29
JP2013156682A JP6295534B2 (ja) 2013-07-29 2013-07-29 プログラマブル表示器、制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN104346554A CN104346554A (zh) 2015-02-11
CN104346554B true CN104346554B (zh) 2018-05-25

Family

ID=51224838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410363161.7A Active CN104346554B (zh) 2013-07-29 2014-07-28 可编程显示器、控制方法

Country Status (4)

Country Link
US (1) US9754094B2 (zh)
EP (1) EP2833292B1 (zh)
JP (1) JP6295534B2 (zh)
CN (1) CN104346554B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015056141A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置、および情報処理方法
US9626564B2 (en) * 2014-11-17 2017-04-18 Intel Corporation System for enabling eye contact in electronic images
KR102365393B1 (ko) * 2014-12-11 2022-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6780297B2 (ja) * 2015-08-07 2020-11-04 株式会社リコー 情報処理装置、画像形成装置、情報処理システム、プログラム、及び認証方法
US10187216B2 (en) * 2016-04-14 2019-01-22 Honeywell International Inc. Connecting a portable computing device to a vehicle by comparing a captured image of a vehicle indicator with stored images of known vehicle indicators
CN107770137A (zh) * 2016-08-22 2018-03-06 深圳市中兴微电子技术有限公司 一种信息处理方法和装置
JP2018169943A (ja) * 2017-03-30 2018-11-01 パナソニックＩｐマネジメント株式会社 顔認証処理装置、顔認証処理方法及び顔認証処理システム
US10679082B2 (en) * 2017-09-28 2020-06-09 Ncr Corporation Self-Service Terminal (SST) facial authentication processing
CN109960906A (zh) * 2017-12-25 2019-07-02 柯尼卡美能达办公***研发（无锡）有限公司 认证装置、图像形成装置以及认证方法
US11196881B2 (en) * 2019-01-21 2021-12-07 Canon Kabushiki Kaisha Image forming apparatus employs a line-of-sight detection technique to execute user operations in plural modes
JP2020201595A (ja) * 2019-06-06 2020-12-17 株式会社サテライトオフィス ログイン認証システムのプログラム、ログイン認証システム
EP4028912A4 (en) * 2019-09-11 2023-09-20 Selfiecoin, Inc. IMPROVED BIOMETRIC AUTHENTICATION
JP6809741B1 (ja) * 2020-03-12 2021-01-06 福田　博美 情報機器装置、情報機器装置用プログラム及び情報機器装置への不正アクセス防止方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111517A (en) * 1996-12-30 2000-08-29 Visionics Corporation Continuous video monitoring using face recognition for access control
CN1968357A (zh) * 2005-11-14 2007-05-23 欧姆龙株式会社 认证装置和认证方法
TWI282941B (en) * 2001-03-15 2007-06-21 Toshiba Corp Entrance management apparatus and entrance management method by using face features identification

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3617373B2 (ja) 1999-06-03 2005-02-02 オムロン株式会社 ゲート装置
TWI299471B (en) * 2001-08-24 2008-08-01 Toshiba Kk Person recognition apparatus
JP4434560B2 (ja) 2002-08-20 2010-03-17 株式会社東芝 入退場管理システム
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
JP2005115485A (ja) * 2003-10-03 2005-04-28 Toshiba Social Automation Systems Co Ltd 認証システム及びコンピュータ読み取り可能な記憶媒体
JP4396262B2 (ja) * 2003-12-22 2010-01-13 富士ゼロックス株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4824411B2 (ja) * 2005-01-20 2011-11-30 パナソニック株式会社 顔抽出装置、半導体集積回路
CN1293446C (zh) * 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作***和方法
JP4577113B2 (ja) * 2005-06-22 2010-11-10 オムロン株式会社 対象決定装置、撮像装置および監視装置
JP4830650B2 (ja) * 2005-07-05 2011-12-07 オムロン株式会社 追跡装置
JP2007122400A (ja) * 2005-10-27 2007-05-17 Digital Electronics Corp 認証装置、プログラムおよび記録媒体
JP4793179B2 (ja) * 2005-11-14 2011-10-12 オムロン株式会社 認証装置及び携帯端末
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
JP4931474B2 (ja) * 2006-05-11 2012-05-16 株式会社日立メディコ 医療情報管理システム、医療情報管理プログラム
JP4241763B2 (ja) * 2006-05-29 2009-03-18 株式会社東芝 人物認識装置及びその方法
JP2007334623A (ja) * 2006-06-15 2007-12-27 Toshiba Corp 顔認証装置、顔認証方法、および入退場管理装置
US8233675B2 (en) * 2006-06-20 2012-07-31 L-1 Secure Credentialing, Inc. Image, video or audio filtering before biometric recognition
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
JP4228320B2 (ja) * 2006-09-11 2009-02-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2008108243A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 人物認識装置および人物認識方法
JP4778394B2 (ja) * 2006-10-27 2011-09-21 株式会社デジタル 操作表示装置、操作表示プログラムおよびそれを記録した記録媒体
JP2008152581A (ja) * 2006-12-18 2008-07-03 Digital Electronics Corp 顔認識システムのユーザインターフェース作成装置、ユーザインターフェース作成プログラムおよびそれを記録した記録媒体
JP2008165353A (ja) 2006-12-27 2008-07-17 Mitsubishi Electric Corp 監視システム
JP4998995B2 (ja) * 2007-06-08 2012-08-15 富士フイルム株式会社 アルバム作成装置および方法ならびにプログラム
JP2009044463A (ja) * 2007-08-08 2009-02-26 Sanyo Electric Co Ltd 電子カメラ及び被写界像再生装置
JP2009104599A (ja) * 2007-10-04 2009-05-14 Toshiba Corp 顔認証装置、顔認証方法、及び顔認証システム
US8538072B2 (en) * 2008-08-27 2013-09-17 Imprivata, Inc. Systems and methods for operator detection
JP5144487B2 (ja) * 2008-12-15 2013-02-13 キヤノン株式会社 主顔選択装置、その制御方法、撮像装置及びプログラム
US8485442B2 (en) * 2009-07-02 2013-07-16 Biometric Payment Solutions Electronic transaction verification system with biometric authentication
JP2011059194A (ja) 2009-09-07 2011-03-24 Sharp Corp 制御装置、画像形成装置、画像形成装置の制御方法、プログラムおよび記録媒体
KR101681321B1 (ko) * 2009-11-17 2016-11-30 엘지전자 주식회사 사용자 인증 방법 및 그를 이용한 화상 통신 장치 및 디스플레이 장치
CN103945130B (zh) * 2010-02-19 2018-05-15 株式会社尼康 电子设备及电子设备的图像取得方法
US8705809B2 (en) * 2010-09-30 2014-04-22 King Saud University Method and apparatus for image generation
JP5824806B2 (ja) * 2010-12-28 2015-12-02 オムロン株式会社 顔画像管理装置、顔画像管理方法、並びにプログラム
JP5755012B2 (ja) * 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
US8723798B2 (en) * 2011-10-21 2014-05-13 Matthew T. Vernacchia Systems and methods for obtaining user command from gaze direction
US9025836B2 (en) * 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
WO2013085193A1 (ko) * 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
KR20130070340A (ko) * 2011-12-19 2013-06-27 한국전자통신연구원 모션인식에서 광흐름 처리 가속기 및 방법
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
JP6011165B2 (ja) * 2012-08-31 2016-10-19 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US9224036B2 (en) * 2012-12-20 2015-12-29 Google Inc. Generating static scenes
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
KR102080183B1 (ko) * 2013-04-18 2020-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법
US9424411B2 (en) * 2013-05-23 2016-08-23 Honeywell International Inc. Athentication of device users by gaze

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111517A (en) * 1996-12-30 2000-08-29 Visionics Corporation Continuous video monitoring using face recognition for access control
TWI282941B (en) * 2001-03-15 2007-06-21 Toshiba Corp Entrance management apparatus and entrance management method by using face features identification
CN1968357A (zh) * 2005-11-14 2007-05-23 欧姆龙株式会社 认证装置和认证方法

Also Published As

Publication number Publication date
US9754094B2 (en) 2017-09-05
JP2015026317A (ja) 2015-02-05
JP6295534B2 (ja) 2018-03-20
EP2833292A1 (en) 2015-02-04
CN104346554A (zh) 2015-02-11
US20150030214A1 (en) 2015-01-29
EP2833292B1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
CN104346554B (zh) 可编程显示器、控制方法
CN104346122B (zh) 可编程显示器、控制方法及计算机可读存储记录介质
CN104346553A (zh) 可编程显示器、显示控制方法及程序
CN108846676B (zh) 生物特征辅助支付方法、装置、计算机设备及存储介质
CN105139470B (zh) 基于人脸识别的考勤方法、装置及***
CN107038361B (zh) 基于虚拟现实场景的业务实现方法及装置
CN108664879A (zh) 脸部验证方法和设备
CN109614238B (zh) 一种目标对象识别方法、装置、***及可读存储介质
CN109117700A (zh) 脸部验证方法和设备
CN108629168A (zh) 脸部验证方法、设备以及计算设备
CN106407914A (zh) 用于检测人脸的方法、装置和远程柜员机***
CN109756458B (zh) 身份认证方法和***
CN106888204B (zh) 基于自然交互的隐式身份认证方法
CN108875338A (zh) 解锁方法、装置和***及存储介质
CN109255747A (zh) 一种信息申报的智能审核方法
US11182468B1 (en) Methods and systems for facilitating secure authentication of user based on known data
JP2007122400A (ja) 認証装置、プログラムおよび記録媒体
CN106951796A (zh) 一种数据隐私保护的脱敏方法及其装置
CN112528860A (zh) 基于图像识别的安全工器具管理方法及***
CN107390864B (zh) 基于眼球轨迹追踪的网络调研方法、电子设备及存储介质
US11436348B2 (en) Method and system of passing and applying delegations of authority
CN112637148B (zh) 验证用户的方法、装置、电子设备及介质
CN114387674A (zh) 活体检测方法、***、设备、存储介质及程序产品
CN110727432B (zh) 一种基于目标注入对象的风险注入方法和***
JP7023338B2 (ja) 蔵書管理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant