JP7402940B2 - User authentication methods, systems and programs - Google Patents
User authentication methods, systems and programs Download PDFInfo
- Publication number
- JP7402940B2 JP7402940B2 JP2022128589A JP2022128589A JP7402940B2 JP 7402940 B2 JP7402940 B2 JP 7402940B2 JP 2022128589 A JP2022128589 A JP 2022128589A JP 2022128589 A JP2022128589 A JP 2022128589A JP 7402940 B2 JP7402940 B2 JP 7402940B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- target
- user authentication
- control unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 94
- 230000001815 facial effect Effects 0.000 claims description 35
- 239000000284 extract Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 description 73
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000015115 caffè latte Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000415 inactivating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Social Psychology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
特許法第30条第2項適用 発明の新規性の喪失の例外の規定の適用を受けるための証明書に記載されたホームページに、2019年10月23日に公開されている。Application of Article 30, Paragraph 2 of the Patent Act Published on October 23, 2019 on the homepage listed in the certificate for application of the exceptions to loss of novelty of invention.
本発明は、ユーザを認証する方法及びシステムに関する。 The present invention relates to a method and system for authenticating users.
技術が発展するにつれて、電子機器の活用度が高まっている。特に、電子機器は、様々な状況でユーザを認証する手段として活用されている。 As technology develops, the use of electronic devices is increasing. In particular, electronic devices are utilized as means for authenticating users in various situations.
例えば、会議での参加者の出席確認、病院での患者の来院確認、カフェでの決済のためのユーザ確認のように、様々な状況で真のユーザを認証するニーズがある。このようにユーザ認証が求められる状況での電子機器の活用は、不要な労働力を削減し、かつ、ユーザ認証に要する時間を短縮する効果をもたらしている。 For example, there is a need to authenticate true users in various situations, such as confirming the attendance of participants at a conference, confirming the arrival of a patient at a hospital, and confirming users for payment at a cafe. The use of electronic devices in situations where user authentication is required in this way has the effect of reducing unnecessary labor and time required for user authentication.
電子機器を活用するユーザ認証方式は様々であり、例えば、ユーザが直接ユーザ自身を識別するための識別情報(例えば、電話番号、メールアドレスなど)又は生体情報(例えば、指紋情報など)を電子機器に入力することにより認証が行われる方式がある。 There are various user authentication methods that utilize electronic devices. For example, users can directly identify themselves by providing identification information (e.g., phone number, email address, etc.) or biometric information (e.g., fingerprint information, etc.) to the electronic device. There is a method in which authentication is performed by inputting the following information:
近年、ユーザが直接情報を電子機器に入力することなく、より便利かつ直観的にユーザ認証を行う方法に関する研究が盛んに行われている。 In recent years, much research has been conducted on methods for more convenient and intuitive user authentication without the user directly inputting information into an electronic device.
本発明は、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 The present invention provides a user authentication method and system that can grasp the user's intention and perform user authentication more intuitively.
また、本発明は、ユーザが直接情報を入力することなくユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 Further, the present invention provides a user authentication method and system that allows user authentication to be performed without the user directly inputting information.
さらに、本発明は、ユーザ認証を行うかについてのユーザの真の意図を把握してユーザ認証を完了することのできるユーザ認証方法及びシステムを提供するためのものである。 Furthermore, the present invention provides a user authentication method and system that can complete user authentication while grasping the user's true intention as to whether or not to perform user authentication.
上記課題を解決するために、本発明によるユーザ認証方法は、カメラを用いて、ターゲットユーザの顔画像を検出するステップと、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うステップとを含み、前記ユーザ認証を行うステップにおいては、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。 In order to solve the above problems, a user authentication method according to the present invention includes the steps of: detecting a facial image of a target user using a camera; extracting user information corresponding to the facial image from a user database; performing user authentication for the target user using user information; in the step of performing user authentication, the user authentication is completed based on a gesture of the target user detected by the camera; It is characterized by determining whether or not.
また、本発明によるユーザ認証システムは、ディスプレイ部と、ターゲットユーザの顔画像を検出するカメラと、前記顔画像に対応するユーザ情報をユーザデータベースから抽出する制御部とを含み、前記制御部は、前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行い、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。 Further, the user authentication system according to the present invention includes a display unit, a camera that detects a face image of a target user, and a control unit that extracts user information corresponding to the face image from a user database, and the control unit includes: The present invention is characterized in that user authentication is performed for the target user using the user information, and it is determined whether or not to complete the user authentication based on the gesture of the target user detected by the camera.
さらに、本発明によるコンピュータ可読媒体に格納可能なプログラムは、電子機器で1つ以上のプロセスにより実行され、カメラを用いてターゲットユーザの顔画像を検出するステップ、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップ、及び前記ユーザ情報を用いて前記ターゲットユーザに対するユーザ認証を行うステップを実行させるコマンドを含み、前記ユーザ認証を行うステップにおいては、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。 Further, a program storable on a computer-readable medium according to the present invention is executed by one or more processes on an electronic device, and includes the steps of: detecting a facial image of a target user using a camera; and detecting user information corresponding to said facial image. a command for executing a step of extracting from a user database and a step of performing user authentication for the target user using the user information, and in the step of performing user authentication, the gesture of the target user detected by the camera; The method is characterized in that it is determined whether or not to complete the user authentication based on the above.
前述したように、本発明によるユーザ認証方法及びシステムにおいては、カメラを用いて、ユーザ認証の対象となるユーザを検出し、検出されたユーザの顔画像を用いて、検出されたユーザに対するユーザ認証を行うことができる。このように、本発明においては、ユーザが直接入力を行わなくても、ユーザが電子機器の周辺にいることに基づいて、ユーザ認証を行うことができる。よって、ユーザは、電子機器の周辺にいるだけで、ユーザ認証の意思をより便利かつ直観的に電子機器に伝達することができる。 As described above, in the user authentication method and system according to the present invention, a camera is used to detect a user who is a target of user authentication, and a facial image of the detected user is used to perform user authentication for the detected user. It can be performed. In this way, according to the present invention, user authentication can be performed based on the fact that the user is near the electronic device, without the user having to directly input information. Therefore, the user can more conveniently and intuitively communicate his/her intention for user authentication to the electronic device simply by being in the vicinity of the electronic device.
また、本発明によるユーザ認証方法及びシステムにおいては、検出されたユーザの顔画像だけでなく、ユーザのジェスチャーに基づいて、ユーザ認証に関するユーザの意図を把握することができる。よって、本発明によるユーザ認証方法及びシステムにおいては、ユーザのジェスチャーに基づいて、ユーザ認証を行おうとするユーザの真偽を把握し、ユーザの意図に基づいてユーザ認証を行うことができる。 Further, in the user authentication method and system according to the present invention, it is possible to understand the user's intention regarding user authentication based not only on the detected face image of the user but also on the user's gesture. Therefore, in the user authentication method and system according to the present invention, the authenticity of the user who is attempting to perform user authentication can be ascertained based on the user's gesture, and the user authentication can be performed based on the user's intention.
以下、添付図面を参照して本発明の実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一の符号を付し、それについての重複する説明は省略する。以下の説明で用いられる構成要素の接尾辞である「モジュール」や「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本発明の実施形態について説明するにあたり、関連する公知技術についての具体的な説明が本発明の実施形態の要旨を不明にすると判断される場合は、その詳細な説明を省略する。さらに、添付図面は本発明の実施形態の理解を助けるためのものにすぎず、添付図面により本発明の技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物乃至代替物を含むものと理解すべきである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components will be denoted by the same reference numerals regardless of the drawing numbers, and redundant explanation thereof will be omitted. The suffixes "module" and "part" used in the following explanations are given or mixed to facilitate the preparation of specifications, and they themselves have significance and usefulness. It's not something you have. Furthermore, when describing the embodiments of the present invention, if it is determined that detailed explanation of related known techniques would obscure the gist of the embodiments of the present invention, the detailed explanation will be omitted. Furthermore, the attached drawings are only for helping understanding of the embodiments of the present invention, and the technical idea of the present invention is not limited by the attached drawings, and any changes that fall within the idea and technical scope of the present invention may be made. , should be understood to include equivalents or substitutes.
「第1」、「第2」などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は1つの構成要素を他の構成要素と区別する目的でのみ用いられる。 Terms including ordinal numbers such as "first", "second", etc. are used to describe various components, but the components are not limited to the above terms. These terms are only used to distinguish one component from another.
ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解すべきである。 When a component is referred to as being "coupled" or "connected" to another component, it may be directly coupled or connected to the other component, and there may be other components in between. It should be understood that it is permissible to do so. In contrast, when an element is referred to as being "directly coupled" or "directly connected" to another element, there are no intermediate elements present.
単数の表現には、特に断らない限り複数の表現が含まれる。 Singular expressions include plural expressions unless otherwise specified.
本明細書において、「含む」や「有する」などの用語は、本明細書に記載された特徴、数字、段階、動作、構成要素、部品又はそれらの組み合わせが存在することを指定しようとするもので、1つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。 As used herein, terms such as "comprising" and "having" are intended to specify the presence of features, numbers, steps, acts, components, parts, or combinations thereof described herein. It should be understood that this does not exclude in advance the presence or possibility of adding one or more other features, figures, steps, acts, components, parts or combinations thereof.
本発明は、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものであり、以下、添付図面を参照して本発明について具体的に説明する。図1は本発明によるユーザ認証システムを説明するための概念図であり、図2は本発明によるユーザ認証方法を説明するためのフローチャートである。また、図3a、図3b、図4a、図4b、図5、図6a、図6b、図6c、図7a及び図7bは本発明によるユーザ認証方法及びシステムを説明するための概念図である。 The present invention is intended to provide a user authentication method and system that can grasp the user's intention and perform user authentication more intuitively.The present invention will be specifically described below with reference to the accompanying drawings. explain. FIG. 1 is a conceptual diagram for explaining a user authentication system according to the present invention, and FIG. 2 is a flowchart for explaining a user authentication method according to the present invention. 3a, 3b, 4a, 4b, 5, 6a, 6b, 6c, 7a, and 7b are conceptual diagrams for explaining the user authentication method and system according to the present invention.
図1に示すように、本発明によるユーザ認証システム100は、通信部110、保存部120及び制御部130の少なくとも1つを含むようにしてもよい。ここで、本発明によるユーザ認証システム100は、上記構成要素に限定されるものではなく、本明細書において説明される機能と同一又は類似の役割を果たす構成要素をさらに含むようにしてもよい。 As shown in FIG. 1, a user authentication system 100 according to the present invention may include at least one of a communication unit 110, a storage unit 120, and a control unit 130. Here, the user authentication system 100 according to the present invention is not limited to the above components, but may further include components that play the same or similar functions as those described in this specification.
なお、本発明によるユーザ認証システム100は、電子機器10と連動して動作するようにしてもよい。ここで、電子機器10は、スマートフォン、携帯電話、タブレットPC、キオスク、コンピュータ、ノートブックコンピュータ、デジタル放送用端末、PDA(Personal Digital Assistants)及びPMP(Portable
Multimedia Player)の少なくとも1つを含むようにしてもよい。
Note that the user authentication system 100 according to the present invention may operate in conjunction with the electronic device 10. Here, the electronic devices 10 include smartphones, mobile phones, tablet PCs, kiosks, computers, notebook computers, digital broadcasting terminals, PDAs (Personal Digital Assistants), and PMPs (Portable
Multimedia Player).
また、本発明によるユーザ認証システム100は、アプリケーション又はソフトウェアで実現してもよい。ここで、ユーザ認証システム100のアプリケーション又はソフトウェアは、電子機器10にインストールされ、以下に説明されるユーザ認証方法によるプロセスを行うようにしてもよい。 Further, the user authentication system 100 according to the present invention may be realized by an application or software. Here, the application or software of the user authentication system 100 may be installed on the electronic device 10 to perform a process according to the user authentication method described below.
例えば、本発明によるユーザ認証システム100の通信部110、保存部120及び制御部130は、電子機器10のハードウェア構成を用いて、ユーザ認証のための一連の機能を実行するようにしてもよい。例えば、通信部110は、電子機器10の通信部に備えられた通信モジュール(例えば、移動通信モジュール、近距離通信モジュール、無線インターネットモジュール、位置情報モジュール、放送受信モジュールなど)の構成を用いて、少なくとも1つの外部サーバ(例えば、図1に示すデータベースサーバ(DBサーバ)140やクラウドサーバなど)とデータを送受信するようにしてもよい。 For example, the communication unit 110, storage unit 120, and control unit 130 of the user authentication system 100 according to the present invention may use the hardware configuration of the electronic device 10 to execute a series of functions for user authentication. . For example, the communication unit 110 uses the configuration of a communication module (for example, a mobile communication module, a short-range communication module, a wireless internet module, a location information module, a broadcast receiving module, etc.) included in the communication unit of the electronic device 10. Data may be exchanged with at least one external server (for example, the database server (DB server) 140 shown in FIG. 1, a cloud server, etc.).
保存部120は、電子機器10に備えられた(又は挿入された)メモリ又はクラウドサーバを用いて、本発明によるユーザ認証に関するデータを保存するようにしてもよい。 The storage unit 120 may store data related to user authentication according to the present invention using a memory included in (or inserted into) the electronic device 10 or a cloud server.
制御部130は、電子機器10に備えられたCPU及びクラウドサーバの少なくとも1つを用いて、各構成の制御及び本発明に係る全般的な制御を行うようにしてもよい。また、制御部130は、本発明を実現するために、電子機器10の少なくとも1つの構成要素の制御権限を有するようにしてもよい。さらに、制御部130は、本発明を実現するために、電子機器10の構成要素により受信又は検出された情報を用いるようにしてもよい、例えば、制御部130は、電子機器10のカメラ11から受信した画像を用いて、本発明によるユーザ認証を行うようにしてもよい。 The control unit 130 may use at least one of a CPU and a cloud server provided in the electronic device 10 to control each configuration and perform overall control according to the present invention. Furthermore, the control unit 130 may have control authority over at least one component of the electronic device 10 in order to realize the present invention. Further, the control unit 130 may use information received or detected by the components of the electronic device 10 to implement the present invention. For example, the control unit 130 may use information received or detected by the components of the electronic device 10. User authentication according to the present invention may be performed using the received image.
さらに、制御部130は、電子機器10のディスプレイ部12を用いて、本発明に係る情報を出力するようにしてもよい。
Furthermore, the control unit 130 may output information according to the present invention using the
その他にも、制御部130は、電子機器10に備えられた他の構成要素(例えば、近接センサ、赤外線センサ、タッチスクリーン、入力部など)を用いて、本発明によるユーザ認証を行うようにしてもよい。 In addition, the control unit 130 performs user authentication according to the present invention using other components included in the electronic device 10 (for example, a proximity sensor, an infrared sensor, a touch screen, an input unit, etc.). Good too.
なお、本発明によるユーザ認証システム100は、プログラム又はアプリケーションの形態だけでなく、以下に説明される構成及び機能の実行が可能な様々な形態であってもよい。 Note that the user authentication system 100 according to the present invention may be in the form of not only a program or an application, but also various forms capable of executing the configuration and functions described below.
よって、以下では、これらに厳格な制限を置かず、本発明によるユーザ認証システム100について説明する。 Therefore, the user authentication system 100 according to the present invention will be described below without placing strict limitations on these.
図1に示すように、本発明によるユーザ認証システム100は、電子機器10のカメラ11を用いて、ユーザを検出し、検出されたユーザに対するユーザ認証を行うようにしてもよい。 As shown in FIG. 1, a user authentication system 100 according to the present invention may detect a user using a camera 11 of an electronic device 10 and perform user authentication for the detected user.
説明の便宜上、本発明においては、ユーザ認証の対象となるユーザを「ターゲットユーザ」という。 For convenience of explanation, in the present invention, a user who is a target of user authentication is referred to as a "target user."
また、本発明において、「ユーザ認証(User Authentication)」とは、ターゲットユーザに対するユーザ認証を意味する。 Furthermore, in the present invention, "user authentication" means user authentication for a target user.
本発明においては、「ユーザ認証」を用いて、「ユーザ認証の対象となるイベント又は機能(以下、「ターゲット機能」に統一して説明する)」を承認又は実行するようにしてもよい。 In the present invention, "user authentication" may be used to approve or execute "events or functions subject to user authentication (hereinafter collectively referred to as "target functions")".
ここで、「ターゲット機能」は、その種類が非常に様々であり、例えば決済機能、出席確認機能、病院での来院確認機能などのように、ユーザ認証が必要な機能を意味する。 Here, the "target function" has a wide variety of types, and means a function that requires user authentication, such as a payment function, an attendance confirmation function, a hospital visit confirmation function, and the like.
本発明において、制御部130は、カメラ11から受信した画像から、ターゲットユーザ1000の顔画像を取得し、ユーザデータベース(ユーザDB)に保存された顔画像に対応するユーザ情報を用いて、ターゲットユーザ1000に対するユーザ認証を行うようにしてもよい。 In the present invention, the control unit 130 acquires the face image of the target user 1000 from the image received from the camera 11, and uses the user information corresponding to the face image stored in the user database (user DB) to acquire the face image of the target user 1000. User authentication for 1000 may be performed.
ここで、ユーザ認証の対象となるターゲット機能は、予め特定されていてもよい。制御部130は、ターゲットユーザ1000の顔画像及びユーザデータベースから抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。一例として、ターゲット機能が出席確認機能の場合、制御部130は、ターゲットユーザ1000に対する出席確認承認処理又は出席確認拒否処理のいずれかを行うようにしてもよい。 Here, the target function to be subjected to user authentication may be specified in advance. The control unit 130 may perform user authentication related to the target function using the face image of the target user 1000 and user information extracted from the user database. As an example, when the target function is an attendance confirmation function, the control unit 130 may perform either an attendance confirmation approval process or an attendance confirmation rejection process for the target user 1000.
他の例として、ターゲット機能が決済機能の場合、制御部130は、ターゲットユーザ1000に対する決済承認処理又は決済拒否処理のいずれかを行うようにしてもよい。 As another example, when the target function is a payment function, the control unit 130 may perform either payment approval processing or payment rejection processing for the target user 1000.
ここで、制御部130は、カメラ11から受信した画像から、ターゲットユーザ1000の顔画像を抽出し、抽出された顔画像に対応(又はマッチ)するユーザ情報をユーザデータベースから抽出するようにしてもよい。 Here, the control unit 130 may extract the face image of the target user 1000 from the image received from the camera 11, and extract user information corresponding to (or matching) the extracted face image from the user database. good.
ここで、ユーザデータベースに保存されているユーザ情報は、「ユーザ関連情報」、「ユーザの身元情報」又は「ユーザの識別情報」と言及されてもよい。 Here, the user information stored in the user database may be referred to as "user-related information," "user identity information," or "user identification information."
ユーザデータベースは、保存部120、データベースサーバ140及びクラウドサーバの少なくとも1つに含まれるようにしてもよい。 The user database may be included in at least one of the storage unit 120, the database server 140, and the cloud server.
制御部130は、ターゲットユーザ1000の顔画像に対応する人物をユーザデータベースから検索し、検索された人物にマッチするユーザ情報を抽出するようにしてもよい。 The control unit 130 may search the user database for a person corresponding to the face image of the target user 1000, and extract user information that matches the searched person.
ユーザデータベースには、個別の人物(又は人)単位で、それぞれの人物に関するユーザ情報が保存されるようにしてもよい。すなわち、ユーザデータベースには、異なる人物毎にそれぞれに対応するユーザ情報がマッチして保存されるようにしてもよい。 The user database may store user information regarding each individual person (or persons). That is, the user database may store matching user information corresponding to different people.
ここで、ユーザ情報には、それぞれの人物に該当する人の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社員番号、ID、顔画像、生体情報(指紋情報、虹彩情報など)、参照顔画像、電子機器の識別情報、日程(スケジュール)情報の少なくとも1つが含まれるようにしてもよい。 Here, the user information includes the name, date of birth, address, telephone number, email address, account information, employee number, ID, facial image, biometric information (fingerprint information, iris information, etc.) of the person corresponding to each person. ), a reference face image, electronic device identification information, and schedule information.
ここで、参照顔画像は、特定の人物の顔画像であり、1つでも複数でもよい。本発明において、「参照顔画像」は「参照データ」と言及されてもよい。 Here, the reference face image is a face image of a specific person, and may be one or more. In the present invention, the "reference face image" may be referred to as "reference data."
制御部130は、カメラ11により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部130は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 The control unit 130 compares the target user's face image acquired by the camera 11 with a reference face image stored in the user database, and searches for a person who matches the reference face image corresponding to the target user's face image. You can do it like this. Further, the control unit 130 may specify the searched person as a target user, and extract user information matching the searched person from the user database.
さらに、制御部130は、抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。 Furthermore, the control unit 130 may use the extracted user information to perform user authentication regarding the target function.
図1に示すように、電子機器10は、任意の場所に配置することができ、ターゲットユーザ1000は、電子機器10の周辺にいるだけで、ユーザ認証を行うことができる。ここで、電子機器10が配置された場所に応じて、ユーザ認証の対象となるターゲット機能を様々に設定することができる。 As shown in FIG. 1, the electronic device 10 can be placed at any location, and the target user 1000 can perform user authentication just by being around the electronic device 10. Here, various target functions for user authentication can be set depending on the location where the electronic device 10 is placed.
一例として、電子機器10が配置された場所がカフェの場合、ターゲット機能は、決済機能に特定されてもよい。この場合、本発明によるユーザ認証システム100は、ユーザ認証に基づいて決済機能が実行されるようにプログラミングされてもよい。 As an example, if the place where the electronic device 10 is placed is a cafe, the target function may be specified as a payment function. In this case, the user authentication system 100 according to the present invention may be programmed such that payment functions are performed based on user authentication.
他の例として、電子機器10が配置された場所が病院の場合、ターゲット機能は、病院に来院した患者(又は、店舗の場合は顧客)を確認する機能に特定されてもよい。この場合、本発明によるユーザ認証システム100は、ユーザ認証に基づいて来院確認機能が実行されるようにプログラミングされてもよい。 As another example, if the place where the electronic device 10 is placed is a hospital, the target function may be specified as a function for checking patients (or customers in the case of a store) who have visited the hospital. In this case, the user authentication system 100 according to the present invention may be programmed to perform the visit confirmation function based on user authentication.
以下、フローチャートを参照して本発明によるユーザ認証方法についてより具体的に説明する。 The user authentication method according to the present invention will be described in more detail below with reference to flowcharts.
図2に示すように、本発明によるユーザ認証方法においては、まず、カメラ11(図1参照)から受信した画像からターゲットユーザの顔画像を検出する過程を行う(S210)。 As shown in FIG. 2, in the user authentication method according to the present invention, first, a process of detecting a target user's face image from an image received from the camera 11 (see FIG. 1) is performed (S210).
すなわち、制御部130は、電子機器10のカメラ11を用いて、ターゲットユーザの顔画像を検出するようにしてもよい。 That is, the control unit 130 may detect the target user's face image using the camera 11 of the electronic device 10.
より具体的には、図3aの(a)に示すように、制御部130は、カメラ11により、電子機器10の周辺にいるターゲットユーザ1000の顔画像を検出するようにしてもよい。 More specifically, as shown in (a) of FIG. 3A, the control unit 130 may detect a face image of the target user 1000 around the electronic device 10 using the camera 11.
制御部130は、カメラ11から受信した画像から、ターゲットユーザ1000の顔画像を取得し、ユーザデータベースに保存された顔画像に対応するユーザ情報を用いて、ターゲットユーザ1000に対するユーザ認証を行うようにしてもよい。 The control unit 130 acquires a face image of the target user 1000 from the image received from the camera 11, and performs user authentication for the target user 1000 using user information corresponding to the face image stored in the user database. It's okay.
カメラ11によりターゲットユーザ1000の顔画像が検出(又は検知)される時点は非常に様々である。 The point in time at which the facial image of the target user 1000 is detected (or detected) by the camera 11 varies widely.
一例として、制御部130は、ユーザ認証が求められるターゲット機能(又は特定の機能)のアクティブ化又は実行が行われると、ターゲットユーザ1000の顔を撮影するように、カメラ11を制御する。 As an example, the control unit 130 controls the camera 11 to photograph the face of the target user 1000 when a target function (or a specific function) that requires user authentication is activated or executed.
ここで、ターゲット機能のアクティブ化又は実行は、ターゲットユーザ1000又は第三者の要求に基づいて行われることもあり、制御部130の制御下で行われることもある。 Here, activation or execution of the target function may be performed based on a request from the target user 1000 or a third party, or may be performed under the control of the control unit 130.
例えば、ユーザ認証が求められるターゲット機能のアクティブ化又は実行の要求は、図3aの(a)に示すように、電子機器10の入力部(例えば、タッチスクリーン)を介して受信される。ターゲットユーザ1000又は第三者は、電子機器10の入力部を介して、ユーザ認証が求められる特定の機能のアクティブ化を要求することができる。このとき、電子機器10のタッチスクリーンには、図示のように、ターゲット機能をアクティブ化するための要求を電子機器10に入力する方法に関するガイド情報(例えば、「タッチして決済を開始」)が出力されるようにしてもよい。ターゲットユーザ1000又は第三者は、ガイド情報を参照して、ユーザ認証を行うユーザ入力(例えば、タッチスクリーンへのタッチ入力)を電子機器10に対して行うことができる。 For example, a request to activate or perform a target function that requires user authentication is received via an input unit (eg, a touch screen) of the electronic device 10, as shown in (a) of FIG. 3a. The target user 1000 or a third party can request activation of a specific function that requires user authentication via an input section of the electronic device 10. At this time, the touch screen of the electronic device 10 displays guide information (e.g., "touch to start payment") on how to input a request to the electronic device 10 to activate the target function, as shown. It may also be output. The target user 1000 or a third party can refer to the guide information and perform user input for user authentication (for example, touch input on a touch screen) to the electronic device 10.
以下、ディスプレイ部とタッチスクリーンの用語を区別せず、ディスプレイ部に統一して説明する。すなわち、以下に説明されるディスプレイ部12は、タッチセンサを備えるものであってもよいことは言うまでもない。
Hereinafter, the terms display section and touch screen will not be differentiated, and will be collectively described as the display section. That is, it goes without saying that the
一方、制御部130は、電子機器10により、アクティブ化要求を受信すると、カメラ11から受信した画像からターゲットユーザ1000の顔画像を検出し、検出された顔画像を用いて、ユーザ認証のための一連のプロセスを行うようにしてもよい。 On the other hand, upon receiving the activation request by the electronic device 10, the control unit 130 detects the face image of the target user 1000 from the image received from the camera 11, and uses the detected face image to perform user authentication. A series of processes may be performed.
これとは異なり、制御部130は、図4aの(a)及び(b)に示すように、電子機器10の周辺に人がいることが検出されると、カメラ10によりターゲットユーザ1000の画像が受信されるように、カメラ10を制御してもよい。ここで、制御部130は、電子機器10から所定の範囲(又は距離)内にターゲットユーザ1000がいる場合、ターゲットユーザ1000の顔画像を検出するように、カメラ10を制御してもよい。制御部130は、電子機器10に備えられた少なくとも1つのセンサ(例えば、近接センサ、赤外線センサ、ライダーセンサなど)を用いて、電子機器10の周辺に又は電子機器10から所定の範囲内にターゲットユーザ1000がいることを検出(又は感知)するようにしてもよい。 In contrast, when it is detected that there is a person around the electronic device 10, the control unit 130 displays an image of the target user 1000 using the camera 10, as shown in (a) and (b) of FIG. The camera 10 may be controlled so that the information is received. Here, if the target user 1000 is within a predetermined range (or distance) from the electronic device 10, the control unit 130 may control the camera 10 to detect the face image of the target user 1000. The control unit 130 uses at least one sensor (for example, a proximity sensor, an infrared sensor, a lidar sensor, etc.) included in the electronic device 10 to place a target around the electronic device 10 or within a predetermined range from the electronic device 10. The presence of the user 1000 may be detected (or sensed).
一方、制御部130は、図4aの(a)に示すように、電子機器10から所定の範囲内にターゲットユーザ1000がいない場合、電子機器10のディスプレイ部12が非アクティブになるように、ディスプレイ部12を制御してもよい。非アクティブ状態のディスプレイ部12は、電源オフ状態、待機状態及び節電状態の少なくとも1つの状態であり得る。
On the other hand, as shown in FIG. 4A (a), when the target user 1000 is not within a predetermined range from the electronic device 10, the control section 130 controls the display so that the
また、制御部130は、図4aの(b)に示すように、電子機器10から所定の範囲内にターゲットユーザ1000がいる場合、電子機器10のディスプレイ部12がアクティブになるように、ディスプレイ部12を制御してもよい。このとき、ディスプレイ部12には、ユーザ認証が求められるターゲット機能のアクティブ化を要求する方法に関するガイド情報(例えば、「タッチして決済を開始」)が出力されるようにしてもよい。
Further, the control unit 130 controls the display unit so that the
これとは異なり、制御部130は、所定の間隔又はリアルタイムで、カメラ11から受信した画像にターゲットユーザ1000の顔画像が含まれているか否かを判断するようにしてもよい。そして、判断の結果、カメラ11から受信した画像にターゲットユーザ1000の顔画像が含まれている場合、ターゲット機能に係るユーザ認証のための一連のプロセスを行うようにしてもよい。 Alternatively, the control unit 130 may determine whether the image received from the camera 11 includes the face image of the target user 1000 at predetermined intervals or in real time. As a result of the determination, if the face image of the target user 1000 is included in the image received from the camera 11, a series of processes for user authentication related to the target function may be performed.
一方、制御部130は、少なくとも1つの顔認識アルゴリズムを用いて、カメラ11から受信した画像からターゲットユーザ1000の顔画像を検出するようにしてもよい。本発明において活用される顔認識アルゴリズムはその種類に制限がなく、人工知能又はディープラーニングに基づいて動作するアルゴリズムも活用することができる。 On the other hand, the control unit 130 may detect the face image of the target user 1000 from the image received from the camera 11 using at least one face recognition algorithm. The type of face recognition algorithm used in the present invention is not limited, and algorithms that operate based on artificial intelligence or deep learning can also be used.
一方、制御部130は、カメラ11によりターゲットユーザ1000の顔画像が検出された場合であっても、検出された顔画像がユーザ認証を行うための所定の条件(又は所定の認証条件)を満たさない場合、所定の条件を満たす顔画像を取得するためのガイド情報を提供するようにしてもよい。 On the other hand, even if the face image of the target user 1000 is detected by the camera 11, the control unit 130 determines whether the detected face image satisfies a predetermined condition (or a predetermined authentication condition) for performing user authentication. If not, guide information for acquiring a face image that satisfies predetermined conditions may be provided.
より具体的には、制御部130は、カメラ11により検出されるターゲットユーザ1000の顔画像が所定の条件を満たすか否かを判断するようにしてもよい。ここで、所定の条件は、画像に含まれる顔画像の大きさ、顔画像に対応する顔の角度、画像での顔画像の位置、及び画像に顔立ち特徴要素(例えば、目、鼻、口)が含まれるか否かの少なくとも1つに関するものであってもよい。 More specifically, the control unit 130 may determine whether the face image of the target user 1000 detected by the camera 11 satisfies a predetermined condition. Here, the predetermined conditions include the size of the face image included in the image, the angle of the face corresponding to the face image, the position of the face image in the image, and facial feature elements (e.g., eyes, nose, mouth) in the image. may be related to at least one of the following:
制御部130は、図4bに示すように、所定の条件を満たす顔画像を取得できるように、ターゲットユーザ1000の姿勢や位置などに関する情報の少なくとも1つをガイド情報として出力するようにしてもよい。ガイド情報は、カメラ11とターゲットユーザ1000の相手位置及び相手距離の少なくとも一方に関するものであってもよい。 As shown in FIG. 4b, the control unit 130 may output at least one piece of information regarding the posture, position, etc. of the target user 1000 as guide information so that a face image that satisfies a predetermined condition can be obtained. . The guide information may relate to at least one of the position and distance between the camera 11 and the target user 1000.
例えば、制御部130は、ガイド情報として、i)図4bの(a)、(b)、(e)に示すように、電子機器に対するターゲットユーザ1000の位置情報(例えば、近づいてください、後ろに下がってください、画面に位置を合わせてください)、ii)図4bの(c)に示すように、ターゲットユーザ1000の姿勢情報(例えば、画面を見てください)、iii)図4bの(d)に示すように、ターゲットユーザ1000の顔が物体(例えば、マスク)に隠れている場合にその除去を誘導する情報(例えば、マスクを外してください)などが提供されてもよい。 For example, the control unit 130 may include, as guide information, i) location information of the target user 1000 with respect to the electronic device (for example, please approach, please move behind the ii) posture information of the target user 1000 (e.g., please look at the screen), as shown in FIG. 4b(c); iii) FIG. 4b(d) As shown in , when the face of the target user 1000 is hidden by an object (for example, a mask), information (for example, please remove the mask) that guides the removal of the object may be provided.
このようにしてカメラ11によりターゲットユーザ1000の顔画像が検出されると、本発明においては、検出された顔画像に対応するユーザ情報をユーザデータベースから抽出する過程を行う(S220)。 When the face image of the target user 1000 is detected by the camera 11 in this manner, the present invention performs a process of extracting user information corresponding to the detected face image from the user database (S220).
より具体的には、制御部130は、カメラ11から受信した画像から、ターゲットユーザ1000の顔画像を抽出し、抽出された顔画像に対応(又はマッチ)するユーザ情報をユーザデータベースから抽出するようにしてもよい。 More specifically, the control unit 130 extracts the face image of the target user 1000 from the image received from the camera 11, and extracts user information corresponding to (or matches) the extracted face image from the user database. You can also do this.
前述したように、ユーザデータベースに保存されているユーザ情報は、「ユーザ関連情報」、「ユーザの身元情報」又は「ユーザの識別情報」と言及されてもよい。 As mentioned above, the user information stored in the user database may be referred to as "user-related information," "user identity information," or "user identification information."
ユーザデータベースは、保存部120、データベースサーバ140及びクラウドサーバの少なくとも1つに含まれるようにしてもよい。 The user database may be included in at least one of the storage unit 120, the database server 140, and the cloud server.
制御部130は、ターゲットユーザ1000の顔画像に対応する人物をユーザデータベースから検索し、検索された人物にマッチするユーザ情報を抽出するようにしてもよい。 The control unit 130 may search the user database for a person corresponding to the face image of the target user 1000, and extract user information that matches the searched person.
ユーザデータベースには、個別の人物(又は人)単位で、それぞれの人物に関するユーザ情報が保存されるようにしてもよい。すなわち、ユーザデータベースには、異なる人物毎にそれぞれに対応するユーザ情報がマッチして保存されるようにしてもよい。 The user database may store user information regarding each individual person (or persons). That is, the user database may store matching user information corresponding to different people.
ここで、ユーザ情報には、それぞれの人物に該当する人の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社員番号、ID、顔画像、生体情報(指紋情報、虹彩情報など)、参照顔画像、電子機器の識別情報、日程(スケジュール)情報、特定の機能(又は特定のイベント)に関する権限情報の少なくとも1つが含まれるようにしてもよい。 Here, the user information includes the name, date of birth, address, telephone number, email address, account information, employee number, ID, facial image, biometric information (fingerprint information, iris information, etc.) of the person corresponding to each person. ), a reference facial image, electronic device identification information, schedule information, and authority information regarding a specific function (or specific event).
ここで、参照顔画像は、特定の人物の顔画像であり、1つでも複数でもよい。本発明において、「参照顔画像」は「参照データ」と言及されてもよい。 Here, the reference face image is a face image of a specific person, and may be one or more. In the present invention, the "reference face image" may be referred to as "reference data."
制御部130は、カメラ11により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部130は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 The control unit 130 compares the target user's face image acquired by the camera 11 with a reference face image stored in the user database, and searches for a person who matches the reference face image corresponding to the target user's face image. You can do it like this. Further, the control unit 130 may specify the searched person as a target user, and extract user information matching the searched person from the user database.
制御部130は、検出されたターゲットユーザ1000の顔画像に対して所定の条件を満たす類似度を有する特定の参照顔画像をユーザデータベースから抽出するようにしてもよい。また、制御部130は、抽出された特定の参照顔画像にマッチする人物をターゲットユーザとして特定するようにしてもよい。 The control unit 130 may extract from the user database a specific reference face image having a degree of similarity that satisfies a predetermined condition with respect to the detected face image of the target user 1000. Further, the control unit 130 may specify a person who matches the extracted specific reference face image as the target user.
制御部130は、図3aの(b)に示すように、ターゲットユーザ1000の検索が行われている間、現在の進行状況に関する案内情報(例えば、「あなたを検索しています」)が電子機器10に出力されるように、ディスプレイ部12を制御してもよい。制御部130は、ユーザ認証の現在の進行状況に関する案内情報(例えば、「あなたを検索しています」)をディスプレイ部12に提供するようにしてもよい。
As shown in FIG. 3A (b), while the search for the target user 1000 is being performed, the control unit 130 displays guidance information regarding the current progress (for example, "Searching for you") on the electronic device. The
図示のように、ディスプレイ部12には、カメラ11により撮影された画像が出力されてもよい。このとき、ディスプレイ部12に出力される画像には、ターゲットユーザ1000の顔画像が含まれてもよい。
As illustrated, an image taken by the camera 11 may be output to the
一方、前述したように、ターゲットユーザ1000に該当する人物が特定され、特定された人物(例えば、佐藤*美)に関するユーザ情報が出力される場合、制御部130は、ユーザ情報の少なくとも一部をディスプレイ部12に提供するようにしてもよい。
On the other hand, as described above, when a person corresponding to the target user 1000 is specified and user information regarding the specified person (for example, Sato*Mi) is output, the control unit 130 outputs at least part of the user information. The information may be provided to the
すなわち、図3aの(c)に示すように、ターゲットユーザ1000に該当する人物に対応するユーザ情報の少なくとも一部(例えば、名前情報(佐藤*美))がディスプレイ部12に出力されるようにしてもよい。よって、ターゲットユーザ1000は、ディスプレイ部12に出力された情報を参照して、ユーザ自身に関するユーザ認証が行われているか否かを確認することができる。
That is, as shown in FIG. 3A (c), at least part of the user information (for example, name information (Sato*Mi)) corresponding to the person corresponding to the target user 1000 is output to the
このようにしてターゲットユーザ1000に関するユーザ情報が抽出されると、本発明においては、抽出されたユーザ情報を用いて、ターゲットユーザ1000に対するユーザ認証を行う過程を行う(S230)。 When the user information regarding the target user 1000 is extracted in this manner, the present invention performs a process of user authentication for the target user 1000 using the extracted user information (S230).
より具体的には、制御部130は、抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。例えば、図3aの(c)に示すように、電子機器10が配置された場所がカフェの場合、ターゲット機能は、決済機能に特定されてもよい。この場合、本発明によるユーザ認証システム100は、ユーザ認証に基づいて決済機能が実行されるようにプログラミングされてもよい。 More specifically, the control unit 130 may use the extracted user information to perform user authentication regarding the target function. For example, as shown in FIG. 3A (c), if the place where the electronic device 10 is placed is a cafe, the target function may be specified as a payment function. In this case, the user authentication system 100 according to the present invention may be programmed such that payment functions are performed based on user authentication.
本発明において、ユーザ認証は、ターゲット機能に連携して行われるものであり、制御部130は、ユーザ認証の成功又は失敗を、特定の機能のi)承認又は拒否、ii)アクティブ化又は非アクティブ化、iii)実行又は非実行のための制御命令として活用してもよい。 In the present invention, user authentication is performed in cooperation with a target function, and the control unit 130 determines the success or failure of user authentication by i) approving or rejecting, ii) activating or inactivating a specific function. iii) may be used as a control command for execution or non-execution.
例えば、ユーザ認証に成功した場合、制御部130は、ターゲット機能を承認、アクティブ化又は実行するようにしてもよい。また、ユーザ認証に失敗した場合、制御部130は、特定の機能を拒否、非アクティブ化又は非実行するようにしてもよい。 For example, if the user authentication is successful, the control unit 130 may approve, activate, or execute the target function. Furthermore, if user authentication fails, the control unit 130 may deny, deactivate, or not execute a specific function.
一方、制御部130は、ユーザ認証が行われるターゲット機能(又は特定の機能)に関する情報(ターゲット機能情報、特定機能情報)がディスプレイ部12に出力されるように、ディスプレイ部12を制御してもよい。
On the other hand, the control unit 130 may control the
ディスプレイ部12には、図3aの(c)に示すように、ターゲットユーザ1000の顔画像に基づいて検索された人物に関するユーザ情報と共に、ユーザ認証の対象となるターゲット機能に関するターゲット機能情報(例えば、「カフェラテ700円を決済しますか」)がさらに出力されてもよい。よって、ターゲットユーザ1000は、現在電子機器10で行われているユーザ認証がどの機能のためのユーザ認証であるかを直観的に把握することができる。
As shown in FIG. 3A(c), the
一方、制御部130は、ターゲットユーザ1000の顔画像だけでなく、ターゲットユーザ1000のジェスチャーに基づいて、ユーザ認証を行うようにしてもよい。 On the other hand, the control unit 130 may perform user authentication based not only on the facial image of the target user 1000 but also on the gesture of the target user 1000.
制御部130は、カメラ11により、ターゲットユーザ1000の顔画像だけでなく、ターゲットユーザ1000のジェスチャーを検出するようにしてもよい。 The control unit 130 may detect not only the facial image of the target user 1000 but also the gesture of the target user 1000 using the camera 11.
ここで、ターゲットユーザ1000のジェスチャーは、ターゲットユーザ1000の身振り、行動及び口振りの少なくとも1つが含まれるようにしてもよい。 Here, the gestures of the target user 1000 may include at least one of the target user's 1000 gestures, actions, and mouth movements.
制御部130は、ターゲットユーザ1000のジェスチャーに基づいて、ターゲットユーザ1000に対するユーザ認証を完了するか否かを決定するようにしてもよい。 The control unit 130 may determine whether to complete user authentication for the target user 1000 based on the gesture of the target user 1000.
このとき、制御部130は、ジェスチャーをした主体の顔画像と、既に検出されたターゲットユーザ1000の顔画像とを比較し、当該ジェスチャーがターゲットユーザ1000のジェスチャーであるか否かを判断するようにしてもよい。また、制御部130は、ジェスチャーをした主体がターゲットユーザ1000である場合に限り、ユーザ認証を完了するようにしてもよい。 At this time, the control unit 130 compares the face image of the subject who made the gesture with the already detected face image of the target user 1000, and determines whether the gesture is that of the target user 1000. It's okay. Further, the control unit 130 may complete the user authentication only when the subject who made the gesture is the target user 1000.
ここで、「ユーザ認証の完了」とは、ユーザ認証の最終状態に関連し、ユーザ認証の最終状態には、i)ユーザ認証の成功及びii)ユーザ認証の失敗の少なくとも一方の状態が含まれるようにしてもよい。 Here, "completion of user authentication" refers to the final state of user authentication, and the final state of user authentication includes at least one of i) successful user authentication and ii) failed user authentication. You can do it like this.
本発明において、ユーザ認証の最終状態とは、ターゲットユーザ1000に対応する人物を検索し、その後ターゲットユーザ1000のジェスチャーに基づいてターゲット機能(又は特定の機能)の承認、拒否、実行、非実行、アクティブ化又は非アクティブ化を決定した状態を意味する。 In the present invention, the final state of user authentication means searching for a person corresponding to the target user 1000, and then approving, rejecting, executing, or not executing the target function (or a specific function) based on the gesture of the target user 1000. It means a state in which activation or deactivation has been determined.
すなわち、制御部130により、ターゲットユーザ1000に対応する人物が検索され、当該人物に関するユーザ情報が抽出された場合であっても、制御部130は、ターゲットユーザ1000のジェスチャーに基づいて、特定の機能(例えば、決済機能)の実行を拒否することができる。 That is, even when the control unit 130 searches for a person corresponding to the target user 1000 and extracts user information regarding the person, the control unit 130 performs a specific function based on the gesture of the target user 1000. (e.g., payment functions).
ここで、制御部130は、図3aの(c)に示すように、ターゲットユーザ1000に関するユーザ情報(例えば、名前情報)及びユーザ認証が求められるターゲット機能に関する情報(例えば、決済機能情報)の少なくとも一方をディスプレイ部12に出力し、その後ターゲットユーザ1000のジェスチャーを検出するようにしてもよい。これは、ターゲットユーザ1000がディスプレイ部12からユーザ認証の現在の進行状況を確認した後に行うジェスチャーを検出するためのものである。すなわち、ターゲットユーザ1000は、ディスプレイ部12に出力された情報に基づいて、現在行われているユーザ認証がどの機能のユーザ認証であるかの状況を把握することができ、当該状況を確認した後、ユーザ認証の意思をジェスチャーで示すことができる。
Here, as shown in FIG. 3A (c), the control unit 130 stores at least the user information (for example, name information) regarding the target user 1000 and the information (for example, payment function information) regarding the target function that requires user authentication. One may be output to the
制御部130は、ユーザ情報(例えば、名前情報)及びユーザ認証が求められるターゲット機能に関する情報(例えば、決済機能情報)の少なくとも一方がディスプレイ部12に出力された状態で、カメラ11から画像を受信するようにしてもよい。また、制御部130は、受信した画像からターゲットユーザ1000のジェスチャーを検出するようにしてもよい。
The control unit 130 receives the image from the camera 11 while at least one of user information (for example, name information) and information regarding a target function that requires user authentication (for example, payment function information) is output to the
なお、本発明においては、ターゲットユーザ1000のジェスチャーを検出するために、カメラ11から画像を受信する時点や、受信した画像からジェスチャーを検出する時点を様々に変更してもよいことは言うまでもない。 Note that, in the present invention, in order to detect the gesture of the target user 1000, it goes without saying that the time point at which the image is received from the camera 11 and the time point at which the gesture is detected from the received image may be changed in various ways.
一方、保存部120には、異なる制御命令にそれぞれ対応するジェスチャーに関する情報が保存されてもよい。よって、制御部130は、受信した画像からターゲットユーザ1000のジェスチャーを検出し、検出されたジェスチャーにマッチする制御命令を保存部120から抽出するようにしてもよい。また、制御部130は、ユーザ認証が求められるターゲット機能に対して、抽出された制御命令に対応する制御を行うようにしてもよい。 Meanwhile, the storage unit 120 may store information regarding gestures corresponding to different control commands. Therefore, the control unit 130 may detect the gesture of the target user 1000 from the received image and extract from the storage unit 120 a control command that matches the detected gesture. Furthermore, the control unit 130 may control a target function that requires user authentication in accordance with the extracted control command.
一例として、制御部130は、ターゲットユーザ1000のジェスチャーが、ユーザ認証に同意する制御命令にマッチする所定の第1ジェスチャーに対応する場合、ターゲット機能に係るユーザ認証を成功として処理するようにしてもよい。例えば、制御部130は、図3bの(a)に示すように、カメラ11から受信した画像から、ターゲットユーザ1000による第1ジェスチャー(例えば、首を縦に振る動作)が検出されると、特定の機能(又はターゲット機能)に係るユーザ認証を成功として処理するようにしてもよい。例えば、特定の機能は、図示のように、決済機能であってもよい。制御部130は、図示のように、ユーザ認証の処理結果に関する情報340(例えば、「決済が完了しました」)をディスプレイ部12に提供するようにしてもよい。よって、ディスプレイ部12には、ユーザ認証の処理結果に関する情報340が出力される。
As an example, the control unit 130 may process the user authentication related to the target function as successful if the gesture of the target user 1000 corresponds to a predetermined first gesture that matches a control command agreeing to user authentication. good. For example, as shown in (a) of FIG. 3b, when a first gesture (for example, an action of shaking the head vertically) by the target user 1000 is detected from the image received from the camera 11, the control unit 130 specifies the The user authentication related to the function (or the target function) may be treated as successful. For example, the particular function may be a payment function, as shown. As shown in the figure, the control unit 130 may provide the
他の例として、制御部130は、ターゲットユーザ1000のジェスチャーが、ユーザ認証を拒否する(ユーザ認証に同意しない)制御命令にマッチする所定の第2ジェスチャーに対応する場合、ターゲット機能に係るユーザ認証を失敗として処理するようにしてもよい。例えば、制御部130は、図3bの(b)に示すように、カメラ11から受信した画像から、ターゲットユーザ1000による第2ジェスチャー(例えば、首を横に振る動作)が検出されると、特定の機能(又はターゲット機能)に係るユーザ認証を失敗として処理するようにしてもよい。例えば、特定の機能は、図示のように、決済機能であってもよい。制御部130は、図示のように、ユーザ認証の処理結果に関する情報350(例えば、「決済がキャンセルされました」)をディスプレイ部12に提供するようにしてもよい。よって、ディスプレイ部12には、ユーザ認証の処理結果に関する情報350が出力される。
As another example, if the gesture of the target user 1000 corresponds to a predetermined second gesture that matches a control command to deny user authentication (disagree with user authentication), the control unit 130 performs user authentication related to the target function. may be treated as a failure. For example, as shown in FIG. 3B (b), when a second gesture (for example, shaking the head) by the target user 1000 is detected from the image received from the camera 11, the control unit 130 specifies the The user authentication related to the function (or target function) may be treated as a failure. For example, the particular function may be a payment function, as shown. As shown in the figure, the control unit 130 may provide the
よって、本発明によるユーザ認証方法及びシステムにおいては、検出されたユーザの顔画像だけでなく、ユーザのジェスチャーに基づいて、ユーザ認証に関するユーザの意図を把握することができる。よって、本発明によるユーザ認証方法及びシステムにおいては、ユーザのジェスチャーに基づいて、ユーザ認証を行おうとするユーザの真偽を把握し、ユーザの意図に基づいてユーザ認証を行うことができる。 Therefore, in the user authentication method and system according to the present invention, it is possible to understand the user's intention regarding user authentication based not only on the detected face image of the user but also on the user's gesture. Therefore, in the user authentication method and system according to the present invention, the authenticity of the user who is attempting to perform user authentication can be ascertained based on the user's gesture, and the user authentication can be performed based on the user's intention.
一方、制御部130は、図3aの(c)に示すように、ジェスチャーにマッチする制御命令に関するガイド情報320をディスプレイ部12に提供するようにしてもよい。よって、ターゲットユーザ1000は、特定の機能において所望の結果を得るためにどのジェスチャーをすべきかを直観的に把握することができる。
Meanwhile, the control unit 130 may provide the
一方、制御部130は、ユーザ認証が完了すると、カメラ11により取得されたターゲットユーザ1000の顔画像がユーザデータベースに含まれるようにしてもよい。制御部130は、ターゲットユーザ1000に対応する人物のユーザ情報に顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。 On the other hand, the control unit 130 may cause the face image of the target user 1000 acquired by the camera 11 to be included in the user database when user authentication is completed. The control unit 130 may update the user database so that the user information of the person corresponding to the target user 1000 includes a facial image.
以下、カメラに認識されたターゲットユーザに対するユーザ認証を行う過程で他のユーザが認識された場合について説明する。 Hereinafter, a case will be described in which another user is recognized in the process of user authentication for a target user recognized by a camera.
本発明においては、図5の(a)及び(b)に示すように、ターゲットユーザ1000aに対するユーザ認証が行われている状態で、図5の(c)に示すように、カメラ11によりターゲットユーザ1000aの顔画像と共に他のユーザ1000bの顔画像が検出されることがある。ここで、他のユーザ1000bは、ユーザ認証を行おうとするユーザ又はターゲットユーザ1000aを隠すユーザである。 In the present invention, as shown in FIGS. 5(a) and 5(b), while user authentication is being performed for the target user 1000a, as shown in FIG. 5(c), the target user is A face image of another user 1000b may be detected together with the face image of user 1000a. Here, the other user 1000b is a user who attempts user authentication or a user who hides the target user 1000a.
制御部130は、ターゲットユーザ1000aに対するユーザ認証を完了するために、他のユーザ1000bが認識されても、ターゲットユーザ1000aに対するユーザ認証を行い続けるようにしてもよい。例えば、制御部130は、ターゲットユーザ1000aが他のユーザ1000bに隠れた状態でカメラ11に認識されたとしても、ターゲットユーザ1000aの少なくとも一部が認識されていさえすれば、ターゲットユーザ1000aに対するユーザ認証を行い続けるようにしてもよい。すなわち、本発明において、制御部130は、ターゲットユーザ1000aがカメラ11の周辺に居続ける状況を、ターゲットユーザ1000aがユーザ認証を継続して行おうとする意図であるとして把握してもよい。 In order to complete user authentication for the target user 1000a, the control unit 130 may continue to perform user authentication for the target user 1000a even if another user 1000b is recognized. For example, even if the target user 1000a is recognized by the camera 11 while being hidden behind another user 1000b, the control unit 130 can perform user authentication for the target user 1000a as long as at least a part of the target user 1000a is recognized. You may continue to do so. That is, in the present invention, the control unit 130 may grasp the situation in which the target user 1000a continues to be around the camera 11 as indicating that the target user 1000a intends to continue user authentication.
一方、制御部130は、図5の(c)に示すように、他のユーザ1000bが所定時間以上カメラ11により検出されると、ターゲットユーザ1000aに対するユーザ認証を終了するようにしてもよい。また、制御部130は、図5の(d)に示すように、カメラ11から受信した画像から他のユーザ1000bの顔画像を検出するようにしてもよい。さらに、制御部130は、検出された他のユーザ1000bの顔画像とユーザデータベースに含まれる参照顔画像とを比較し、他のユーザ1000bに対応する人物を特定するようにしてもよい。さらに、制御部130は、特定された人物にマッチするユーザ情報をユーザデータベースから抽出し、抽出されたユーザ情報を用いて、他のユーザ1000bに対して前述した一連のユーザ認証過程を行うようにしてもよい。この場合、ターゲットユーザ1000aに対するユーザ認証が完了していない状態であっても、制御部130は、ターゲットユーザ1000aに対するユーザ認証を終了するようにしてもよい。 On the other hand, the control unit 130 may terminate the user authentication for the target user 1000a when another user 1000b is detected by the camera 11 for a predetermined period of time or longer, as shown in FIG. 5(c). Further, the control unit 130 may detect the face image of the other user 1000b from the image received from the camera 11, as shown in FIG. 5(d). Further, the control unit 130 may compare the detected face image of the other user 1000b with a reference face image included in the user database to identify the person corresponding to the other user 1000b. Further, the control unit 130 extracts user information that matches the identified person from the user database, and uses the extracted user information to perform the above-described series of user authentication processes for the other user 1000b. It's okay. In this case, the control unit 130 may end the user authentication for the target user 1000a even if the user authentication for the target user 1000a is not completed.
このように、制御部130は、カメラ11により検出されるターゲットユーザ1000a及び他のユーザ1000bに関する情報に基づいて、ユーザ認証を行おうとするターゲットユーザ1000a及び他のユーザ1000bの意図を判断するようにしてもよい。また、制御部130は、判断結果に基づいて、ターゲットユーザ1000a及び他のユーザ1000bのいずれかのユーザに対するユーザ認証を行うようにしてもよい。 In this way, the control unit 130 determines the intention of the target user 1000a and other users 1000b to perform user authentication based on the information regarding the target user 1000a and other users 1000b detected by the camera 11. It's okay. Further, the control unit 130 may perform user authentication for either the target user 1000a or the other user 1000b based on the determination result.
制御部130は、所定の検出条件に基づいて、ターゲットユーザ1000a及び他のユーザ1000bのいずれかのユーザに対するユーザ認証を行うようにしてもよい。ここで、所定の検出条件は、カメラ11から受信した画像からターゲットユーザ1000a及び他のユーザ1000bの顔画像が検出された時間の長さ、姿勢及び占有面積の少なくとも1つに基づいて決定されるようにしてもよい。 The control unit 130 may perform user authentication for either the target user 1000a or the other user 1000b based on predetermined detection conditions. Here, the predetermined detection condition is determined based on at least one of the length of time, posture, and occupied area during which the face images of the target user 1000a and the other users 1000b were detected from the images received from the camera 11. You can do it like this.
例えば、所定の検出条件は、i)ターゲットユーザ1000aに対してユーザ認証が行われている状態で、カメラ11により他のユーザ1000bの顔画像が所定時間以上検出されたか否か、ii)他のユーザ1000bの顔画像がカメラ11の正面を向いているか否か、iii)ターゲットユーザ1000aがカメラ11を見ていないかどうか、iv)カメラ11から受信した画像において、ターゲットユーザ1000aの顔画像が占める比率が他のユーザ1000bの顔画像が占める比率より小さいか否かなどのサブ条件の少なくとも1つを組み合わせて設定してもよい。 For example, the predetermined detection condition is i) whether or not the face image of another user 1000b has been detected by the camera 11 for a predetermined time or longer while user authentication is being performed for the target user 1000a; and ii) if the other user iii) whether the target user 1000a is not looking at the camera 11; iv) the face image of the target user 1000a occupies the image received from the camera 11; At least one sub-condition, such as whether the ratio is smaller than the ratio occupied by the face image of another user 1000b, may be set in combination.
よって、制御部130は、カメラ11から受信した画像において、ターゲットユーザ1000a及び他のユーザ1000bの少なくとも一方の顔画像の検出時間をカウントするか又は占有面積を算出し、ターゲットユーザ1000a及び他のユーザ1000bのいずれかのユーザに対するユーザ認証を行うようにしてもよい。 Therefore, the control unit 130 counts the detection time or calculates the occupied area of the face image of at least one of the target user 1000a and the other user 1000b in the image received from the camera 11, and calculates the area occupied by the target user 1000a and the other user 1000b. User authentication may be performed for any user of 1000b.
このように、制御部130は、カメラ11により検出されるターゲットユーザ1000a及び他のユーザ1000bに関する情報に基づいて、ユーザ認証を行おうとするターゲットユーザ1000a及び他のユーザ1000bの意図を判断することにより、ユーザに対する適切なユーザ認証を提供することができる。 In this way, the control unit 130 determines the intention of the target user 1000a and other users 1000b to perform user authentication based on the information regarding the target user 1000a and other users 1000b detected by the camera 11. , can provide appropriate user authentication for the user.
以下、ユーザデータベースにおいてターゲットユーザ1000に対応する人物の特定が誤っているか又は複数の人物が特定された場合の処理方法について説明する。 The following describes a processing method when the person corresponding to the target user 1000 in the user database is incorrectly specified or a plurality of persons are specified.
前述したように、制御部130は、カメラ11により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部130は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 As described above, the control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and determines whether the target user's face image matches the reference face image corresponding to the target user's face image. You may also search for a person who does. Further, the control unit 130 may specify the searched person as a target user, and extract user information matching the searched person from the user database.
このとき、カメラ11により取得されたターゲットユーザ1000の顔画像とユーザデータベースに保存された参照顔画像との類似度が低いか、又はターゲットユーザ1000の現在の容姿と参照顔画像の容姿とが異なる場合、制御部130は、ターゲットユーザ1000に対応する人物をユーザデータベースから正確に検索することができない。 At this time, the degree of similarity between the face image of the target user 1000 acquired by the camera 11 and the reference face image stored in the user database is low, or the current appearance of the target user 1000 is different from the appearance of the reference face image. In this case, the control unit 130 cannot accurately search the user database for a person corresponding to the target user 1000.
そこで、本発明においては、ガイド情報を提供して、ターゲットユーザ1000がいつでもそれに対するフィードバックを電子機器10又は制御部130に入力できるようにしてもよい。 Therefore, in the present invention, guide information may be provided so that the target user 1000 can input feedback thereto into the electronic device 10 or the control unit 130 at any time.
例えば、図6aの(a)及び(b)に示すように、制御部130は、ターゲットユーザに対応する人物に関するユーザ情報(例えば、鈴木久**、高橋理*)が抽出された場合であっても、抽出されたユーザ情報が誤っているか否かの入力を受けるためのGUI610、620又はグラフィックオブジェクトをディスプレイ部12に提供するようにしてもよい。
For example, as shown in (a) and (b) of FIG. 6a, the control unit 130 controls the control unit 130 when user information regarding a person corresponding to the target user (for example, Hisashi Suzuki**, Osamu Takahashi*) is extracted. However, the
制御部130は、GUI610、620が選択されると、カメラ11によりターゲットユーザを再び撮影し、再び撮影された画像からターゲットユーザの顔画像を検出するようにしてもよい。また、制御部130は、検出された顔画像に対応する人物をユーザデータベースから再び検索し、再び検索された人物に関するユーザ情報がディスプレイ部12に出力されるようにしてもよい。
When the GUI 610 or 620 is selected, the control unit 130 may photograph the target user again using the camera 11 and detect the face image of the target user from the photographed image again. Further, the control unit 130 may search the user database again for the person corresponding to the detected face image, and output user information regarding the person searched again to the
ここで、再び検索された人物と再び検索する前に検索された人物とが同一人物である場合、制御部130は、顔認識方法ではなく、他の方法でユーザ認証プロセスを実行するようにしてもよい。再び検索された人物に関するユーザ情報は、ディスプレイ部12に出力されないようにしてもよい。
Here, if the person searched again and the person searched before the search again are the same person, the control unit 130 executes the user authentication process using another method instead of the face recognition method. Good too. The user information regarding the person searched again may not be output to the
一方、再び検索された人物と再び検索する前に検索された人物とが同一人物である場合、制御部130は、ターゲットユーザからターゲットユーザの識別情報(例えば、電話番号、社員番号、アカウント情報、住所、名前など)の入力を受けるためのGUIをディスプレイ部12に提供するようにしてもよい。また、制御部130は、GUIにより入力されたターゲットユーザの識別情報を用いて、ターゲットユーザに対応する人物をユーザデータベースから検索し、検索された人物に対応するユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。
On the other hand, if the person searched again and the person searched before the search again are the same person, the control unit 130 transfers the target user's identification information (for example, phone number, employee number, account information, The
制御部130は、検出されたターゲットユーザ1000の顔画像に対して所定の条件を満たす類似度を有する特定の参照顔画像をユーザデータベースから抽出するようにしてもよい。また、制御部130は、抽出された特定の参照顔画像にマッチする人物をターゲットユーザとして特定するようにしてもよい。 The control unit 130 may extract from the user database a specific reference face image having a degree of similarity that satisfies a predetermined condition with respect to the detected face image of the target user 1000. Further, the control unit 130 may specify a person who matches the extracted specific reference face image as the target user.
前述したように、制御部130は、カメラ11により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部130は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 As described above, the control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and determines whether the target user's face image matches the reference face image corresponding to the target user's face image. You may also search for a person who does. Further, the control unit 130 may specify the searched person as a target user, and extract user information matching the searched person from the user database.
一方、制御部130は、ターゲットユーザの顔画像に対して所定の条件を満たす類似度(又は所定の類似度条件)を有する参照顔画像をユーザデータベースから検索し、検索された参照顔画像に対応する人物をターゲットユーザに対応する人物として特定するようにしてもよい。このとき、ユーザデータベースから複数の参照顔画像が検索されることがある。ここで、複数の参照顔画像は、異なる人物にそれぞれ対応する画像であり得る。 On the other hand, the control unit 130 searches the user database for a reference face image having a degree of similarity that satisfies a predetermined condition (or a predetermined similarity condition) with respect to the target user's face image, and controls The person who does this may be identified as the person who corresponds to the target user. At this time, a plurality of reference face images may be searched from the user database. Here, the plurality of reference face images may be images corresponding to different people.
この場合、制御部130は、検索された複数の参照顔画像にそれぞれ対応する複数の人物のユーザ情報を抽出し、図6bの(a)に示すように、抽出されたユーザ情報を用いて、ターゲットユーザからユーザ自身に対応するユーザ情報の選択を受けるためのGUIをディスプレイ部12に提供するようにしてもよい。図示のように、ディスプレイ部12には、複数の参照顔画像にそれぞれ対応する複数の人物のいずれかの選択を受けるためのグラフィックオブジェクト630、640が出力されるようにしてもよい。
In this case, the control unit 130 extracts user information of a plurality of people corresponding to the plurality of searched reference face images, and uses the extracted user information to, as shown in (a) of FIG. The
出力されたグラフィックオブジェクト630、640は、異なる人物にそれぞれ対応し、それぞれ対応する人物のユーザ情報(又は識別情報、例えばアカウント情報、メールアドレス、名前など)を含むようにしてもよい。 The output graphic objects 630, 640 may correspond to different people, and each may include user information (or identification information, such as account information, email address, name, etc.) of the corresponding person.
また、制御部130は、図6bの(a)に示すように、グラフィックオブジェクト630、640のうちターゲットユーザにより選択されたグラフィックオブジェクト630にマッチする特定の人物を、ターゲットユーザに対応する人物として特定するようにしてもよい。さらに、制御部130は、図6bの(b)に示すように、特定された人物にマッチするユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。 Further, as shown in (a) of FIG. 6b, the control unit 130 identifies a specific person who matches the graphic object 630 selected by the target user among the graphic objects 630 and 640 as a person corresponding to the target user. You may also do so. Further, as shown in FIG. 6B (b), the control unit 130 may perform user authentication for the target user using user information that matches the identified person.
一方、制御部130は、ユーザ認証が完了すると、カメラ11により取得されたターゲットユーザの顔画像がユーザデータベースに含まれるようにしてもよい。制御部130は、特定された人物に対応するユーザ情報に顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。 On the other hand, the control unit 130 may cause the target user's face image acquired by the camera 11 to be included in the user database when user authentication is completed. The control unit 130 may update the user database so that the user information corresponding to the identified person includes a facial image.
また、制御部130は、ターゲットユーザの顔画像を、ターゲットユーザに対応する人物の参照顔画像として設定するようにしてもよい。さらに、制御部130は、次回のターゲットユーザに対するユーザ認証が行われる場合、新たに設定された参照顔画像を用いて、ターゲットユーザを特定するようにしてもよい。 Further, the control unit 130 may set the target user's face image as a reference face image of a person corresponding to the target user. Furthermore, when the next user authentication for the target user is performed, the control unit 130 may specify the target user using the newly set reference face image.
他の例として、制御部130は、ターゲットユーザの顔画像に対して所定の条件を満たす類似度(又は所定の類似度条件)を有する参照顔画像をユーザデータベースから検索し、検索された参照顔画像に対応する人物をターゲットユーザに対応する人物として特定するようにしてもよい。このとき、ユーザデータベースから複数の参照顔画像が検索されることがある。ここで、複数の参照顔画像は、異なる人物にそれぞれ対応する画像であり得る。 As another example, the control unit 130 searches the user database for a reference face image that has a degree of similarity that satisfies a predetermined condition (or a predetermined similarity condition) with respect to the target user's face image, and The person corresponding to the image may be identified as the person corresponding to the target user. At this time, a plurality of reference face images may be searched from the user database. Here, the plurality of reference face images may be images corresponding to different people.
この場合、制御部130は、図6cに示すように、異なる人物にそれぞれ対応する複数の参照顔画像671、672、673がディスプレイ部に出力されるようにしてもよい。 In this case, the control unit 130 may output a plurality of reference face images 671, 672, and 673 corresponding to different people to the display unit, as shown in FIG. 6c.
また、制御部130は、複数の参照顔画像671、672、673のいずれかの画像がターゲットユーザにより選択されると、選択された参照顔画像にマッチする人物をターゲットユーザに対応する人物として特定するようにしてもよい。 Further, when one of the plurality of reference face images 671, 672, and 673 is selected by the target user, the control unit 130 specifies a person matching the selected reference face image as a person corresponding to the target user. You may also do so.
さらに、制御部130は、検索された参照顔画像が複数の場合、検索された複数の参照顔画像のうち、カメラ11により撮影されたターゲットユーザの顔画像との類似度がより高い(又は最も高い)特定の参照顔画像(又は第1参照顔画像)にマッチする特定の人物(又は第1人物)のユーザ情報を、ユーザデータベースから抽出するようにしてもよい。 Furthermore, when there are a plurality of searched reference face images, the control unit 130 controls the control unit 130 to control the control unit 130 to control the control unit 130 to determine whether the searched reference face images have a higher degree of similarity (or the highest degree of similarity) with the target user's face image photographed by the camera 11 among the searched reference face images. The user information of a specific person (or a first person) matching a specific reference face image (or a first reference face image) may be extracted from the user database.
さらに、制御部130は、特定の人物(又は第1人物)のユーザ情報650と共に、検索された複数の参照顔画像のうち、特定の参照顔画像(又は第1参照顔画像)とは異なる他の参照顔画像(又は第2参照顔画像)671、672、673をディスプレイ部に提供するようにしてもよい。 Furthermore, the control unit 130 includes user information 650 about the specific person (or the first person), and also controls the user information 650 about the specific person (or the first person), as well as other information about the specific person (or the first reference facial image) that is different from the specific reference facial image (or the first reference facial image) among the plurality of searched reference facial images. Reference face images (or second reference face images) 671, 672, and 673 may be provided to the display unit.
すなわち、制御部130は、ターゲットユーザの顔画像との類似度が最も高い参照顔画像に対応する人物を、ターゲットユーザに対応する人物として一次特定するが、他の人物がターゲットユーザに対応する可能性も排除しない。 That is, the control unit 130 primarily identifies the person corresponding to the reference face image with the highest degree of similarity to the target user's face image as the person corresponding to the target user, but other people may correspond to the target user. Gender is not excluded either.
一方、制御部130は、図6cに示すように、特定の人物(又は第1人物)のユーザ情報650と共に、他の参照顔画像(又は第2参照顔画像)671、672、673がディスプレイ部に出力された状態で、カメラ110によりターゲットユーザの所定の条件を満たすジェスチャー(例えば、ユーザ認証に関するジェスチャー)が検出されると、ターゲットユーザを第1人物として特定するようにしてもよい。また、制御部130は、特定の人物(又は第1人物)のユーザ情報650を用いて、ユーザ認証を行うようにしてもよい。 On the other hand, as shown in FIG. 6c, the control unit 130 displays other reference face images (or second reference face images) 671, 672, and 673 on the display unit along with the user information 650 of the specific person (or the first person). When the camera 110 detects a gesture of the target user that satisfies a predetermined condition (for example, a gesture related to user authentication) in a state where the target user is output as the first person, the target user may be identified as the first person. Further, the control unit 130 may perform user authentication using the user information 650 of a specific person (or the first person).
一方、これとは異なり、特定の人物(又は第1人物)のユーザ情報650と共に、他の参照顔画像(又は第2参照顔画像)671、672、673がディスプレイ部に出力された状態で、ターゲットユーザにより他の参照顔画像(又は第2参照顔画像)671、672、673のいずれかが選択されることがある。この場合、制御部130は、ターゲットユーザによりユーザデータベースから選択された他の参照顔画像(又は第2参照顔画像)に対応する特定の人物(又は第2人物)を、ターゲットユーザに対応する人物として特定するようにしてもよい。また、制御部130は、ターゲットユーザによりユーザデータベースから選択された他の参照顔画像(又は第2参照顔画像)に対応する特定の人物(又は第2人物)のユーザ情報を抽出し、抽出されたユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。 On the other hand, unlike this, in a state where other reference face images (or second reference face images) 671, 672, 673 are output to the display unit together with the user information 650 of the specific person (or the first person), Any of the other reference face images (or second reference face images) 671, 672, and 673 may be selected by the target user. In this case, the control unit 130 converts the specific person (or second person) corresponding to the other reference face image (or second reference face image) selected from the user database by the target user to the person corresponding to the target user. It may be specified as . The control unit 130 also extracts user information of a specific person (or second person) corresponding to another reference face image (or second reference face image) selected from the user database by the target user, and User information may be used to authenticate the target user.
この場合も同様に、制御部130は、ターゲットユーザとして特定された人物(第1人物又は第2人物)に対応するユーザ情報に、カメラ11により取得されたターゲットユーザの顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。また、制御部130は、ターゲットユーザの顔画像を、ターゲットユーザに対応する人物の参照顔画像として設定するようにしてもよい。さらに、制御部130は、次回のターゲットユーザに対するユーザ認証が行われる場合、新たに設定された参照顔画像を用いて、ターゲットユーザを特定するようにしてもよい。 In this case as well, the control unit 130 controls the user information corresponding to the person (first person or second person) identified as the target user to include the face image of the target user acquired by the camera 11. , the user database may be updated. Further, the control unit 130 may set the target user's face image as a reference face image of a person corresponding to the target user. Furthermore, when the next user authentication for the target user is performed, the control unit 130 may specify the target user using the newly set reference face image.
以下、ユーザデータベースにターゲットユーザ1000に対応する人物のユーザ情報が存在しない場合にユーザ認証を行う方法について説明する。 Hereinafter, a method for performing user authentication when the user database does not contain user information of a person corresponding to the target user 1000 will be described.
前述したように、制御部130は、カメラ11により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部130は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 As described above, the control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and determines whether the target user's face image matches the reference face image corresponding to the target user's face image. You may also search for a person who does. Further, the control unit 130 may specify the searched person as a target user, and extract user information matching the searched person from the user database.
ここで、ユーザデータベースには、カメラ11により取得されたターゲットユーザ1000の顔画像に対応する参照顔画像が存在しないことがある。 Here, the reference face image corresponding to the face image of the target user 1000 acquired by the camera 11 may not exist in the user database.
この場合、制御部130は、図7aの(a)及び(b)に示すように、顔認識方法ではなく、他の方法でユーザ認証プロセスを実行するようにしてもよい。制御部130は、図7aの(a)に示すように、ユーザデータベースに参照顔画像が存在しないことを通知するガイド情報710がディスプレイ部12に出力されるようにしてもよい。
In this case, the control unit 130 may execute the user authentication process using another method instead of the face recognition method, as shown in FIGS. 7A and 7B. As shown in FIG. 7A, the control unit 130 may output guide information 710 to the
また、制御部130は、図7aの(b)に示すように、ターゲットユーザからターゲットユーザの識別情報(例えば、電話番号、社員番号、アカウント情報、住所、名前など)の入力を受けるためのGUI720をディスプレイ部12に提供するようにしてもよい。
In addition, as shown in FIG. 7A (b), the control unit 130 uses a GUI 720 for receiving the target user's identification information (for example, telephone number, employee number, account information, address, name, etc.) from the target user. may be provided to the
このように、ユーザデータベースにターゲットユーザの顔画像に対応するユーザ情報が存在しない場合、図7aの(b)に示すように、ターゲットユーザの識別情報の入力を受けるためのGUI720がディスプレイ部12に表示されるようにしてもよい。制御部130は、GUI720により入力されたターゲットユーザの識別情報を用いて、ターゲットユーザに対応する人物をユーザデータベースから検索し、検索された人物(例えば、高橋理*)に対応するユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。
In this way, when there is no user information corresponding to the target user's face image in the user database, the GUI 720 for receiving the input of the target user's identification information is displayed on the
また、制御部130は、カメラ11により検出されたターゲットユーザの顔画像を検索された人物の参照顔画像として登録するためのプロセスを行うようにしてもよい。すなわち、制御部130は、検索された人物のユーザ情報にターゲットユーザの顔画像を含め、次回に、ターゲットユーザが顔認識方法によりユーザ認証を行えるようにしてもよい。 Further, the control unit 130 may perform a process for registering the target user's face image detected by the camera 11 as a reference face image of the searched person. That is, the control unit 130 may include the target user's face image in the user information of the searched person so that the target user can perform user authentication using a face recognition method next time.
そのために、制御部130は、図7bの(a)及び(b)に示すように、ターゲットユーザからターゲットユーザの顔画像の登録の選択を受けるためのGUI740がディスプレイ部12に出力されるようにしてもよい。ターゲットユーザによりGUI740が選択されると、制御部130は、ターゲットユーザの顔画像がターゲットユーザのユーザ情報に対応する人物の参照顔画像として登録されるように、ユーザデータベースをアップデートするようにしてもよい。
To this end, the control unit 130 causes the
一方、制御部130は、ターゲットユーザの参照顔画像がユーザデータベースに登録されていない状態で、ターゲットユーザが顔認識方法ではなく他のユーザ認証方法でユーザ認証を所定回数行った場合、ターゲットユーザの顔画像を参照顔画像として登録するためのプロセスを行うようにしてもよい。 On the other hand, if the target user performs user authentication a predetermined number of times using another user authentication method instead of the face recognition method in a state where the target user's reference face image is not registered in the user database, the control unit 130 controls the target user's A process for registering a face image as a reference face image may be performed.
より具体的には、制御部130は、ユーザ認証が所定回数行われる間、ターゲットユーザの複数の顔画像間の類似度を分析するようにしてもよい。すなわち、制御部130は、他のユーザ認証方法でターゲットユーザに対するユーザ認証が行われている場合であっても、カメラ11によりターゲットユーザの顔画像を取得し、取得された顔画像を保存部120に保存するようにしてもよい。 More specifically, the control unit 130 may analyze the degree of similarity between a plurality of facial images of the target user while user authentication is performed a predetermined number of times. That is, even if the target user is authenticated using another user authentication method, the control unit 130 acquires the facial image of the target user using the camera 11 and stores the acquired facial image in the storage unit 120. You may also save it in
また、制御部130は、他のユーザ認証方法でユーザ認証が所定回数行われている状況で取得されたターゲットユーザの複数の顔画像間の類似度を分析するようにしてもよい。さらに、ターゲットユーザの複数の顔画像間の類似度が所定の類似度基準を満たす場合、ターゲットユーザの顔画像を登録するためのプロセスを行うようにしてもよい。 Further, the control unit 130 may analyze the degree of similarity between a plurality of facial images of the target user acquired in a situation where user authentication has been performed a predetermined number of times using another user authentication method. Furthermore, if the degree of similarity between the plurality of facial images of the target user satisfies a predetermined similarity criterion, a process for registering the facial image of the target user may be performed.
すなわち、制御部130は、他のユーザ認証方法でユーザ認証を行ったターゲットユーザが、ユーザ認証の対象に該当する真のユーザであるか否かを確認するために、異なる時点で取得されたターゲットユーザの顔画像間の比較を行うようにしてもよい。よって、制御部130は、顔画像の比較を行った結果、同じターゲットユーザが複数回(又は所定回数)にわたって同じ人物に対するユーザ認証を行った場合に限り、顔画像を登録するためのプロセスを行うようにしてもよい。 That is, the control unit 130 uses target users acquired at different times to confirm whether or not a target user who has performed user authentication using another user authentication method is a true user who is eligible for user authentication. A comparison may be made between the user's face images. Therefore, the control unit 130 performs a process for registering a face image only when the same target user performs user authentication for the same person multiple times (or a predetermined number of times) as a result of comparing the face images. You can do it like this.
以上説明したように、本発明によるユーザ認証方法及びシステムは、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 As described above, the user authentication method and system according to the present invention are intended to provide a user authentication method and system that can grasp the user's intention and perform user authentication more intuitively.
また、本発明は、ユーザが直接情報を入力することなくユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 Further, the present invention provides a user authentication method and system that allows user authentication to be performed without the user directly inputting information.
さらに、本発明は、ユーザ認証を行うかについてのユーザの真の意図を把握してユーザ認証を完了することのできるユーザ認証方法及びシステムを提供するためのものである。 Furthermore, the present invention provides a user authentication method and system that can complete user authentication while grasping the user's true intention as to whether or not to perform user authentication.
一方、コンピュータ可読媒体は、コンピュータシステムにより読み取り可能なデータが記録されるあらゆる種類の記録装置を含む。コンピュータ可読媒体の例としては、HDD(Hard Disk Drive)、SSD(Solid State Disk)、SDD(Silicon Disk Drive)、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ記憶装置などが挙げられる。 On the other hand, the computer-readable medium includes any type of recording device on which data that can be read by a computer system is recorded. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. It will be done.
また、コンピュータ可読媒体は、ストレージを含み、電子機器が通信によりアクセスできるサーバ又はクラウドストレージであり得る。この場合、コンピュータは、有線又は無線通信により、サーバ又はクラウドストレージから本発明によるプログラムをダウンロードすることができる。 The computer-readable medium also includes storage and can be a server or cloud storage that the electronic device can access via communication. In this case, the computer can download the program according to the invention from the server or cloud storage by wired or wireless communication.
さらに、本発明において、前述したコンピュータは、プロセッサ、すなわち中央処理装置(Central Processing
Unit, CPU)が搭載された電子機器であり、その種類は特に限定されない。
Furthermore, in the present invention, the above-mentioned computer has a processor, that is, a central processing unit (Central Processing Unit).
It is an electronic device equipped with a CPU (Unit, CPU), and its type is not particularly limited.
一方、本発明の詳細な説明は例示的なものであり、あらゆる面で制限的に解釈されてはならない。本発明の範囲は添付の特許請求の範囲の合理的解釈により定められるべきであり、本発明の等価的範囲内でのあらゆる変更が本発明の範囲に含まれる。 On the other hand, the detailed description of the present invention is illustrative and should not be construed as restrictive in any respect. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all modifications within the range of equivalency of the present invention are included within the scope of the present invention.
<<< 付記 >>>
(付記1)
カメラを用いて、ターゲットユーザの顔画像を検出するステップと、
前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、
前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うステップとを含み、
前記ユーザ認証を行うステップにおいては、
前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とするユーザ認証方法。
(付記2)
前記ユーザ情報の少なくとも一部を、前記ユーザ認証を行う電子機器のディスプレイ部に提供するステップをさらに含み、
前記ユーザ認証を行うステップにおいては、
前記ユーザ情報の少なくとも一部が前記ディスプレイ部に提供された後に検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を行うことを特徴とする付記1に記載のユーザ認証方法。
(付記3)
前記ディスプレイ部には、
前記ユーザ情報の少なくとも一部に加え、前記ユーザ認証の対象となるターゲット機能に関するターゲット機能情報がさらに提供され、
前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザのジェスチャーが、前記ユーザ認証に同意する制御命令にマッチする所定の第1ジェスチャーに対応する場合、
前記ターゲット機能におけるユーザ認証を成功として処理することを特徴とする付記2に記載のユーザ認証方法。
(付記4)
前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザのジェスチャーが、前記ユーザ認証を拒否する制御命令にマッチする所定の第2ジェスチャーに対応する場合、
前記ターゲット機能におけるユーザ認証を失敗として処理することを特徴とする付記3に記載のユーザ認証方法。
(付記5)
前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザに対するユーザ認証が行われている状態で、前記カメラにより前記ターゲットユーザとは異なる他のユーザの顔画像が検出されても、前記ターゲットユーザに対するユーザ認証を行うことを特徴とする付記1~4のいずれかに記載のユーザ認証方法。
(付記6)
前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像が所定時間以上検出されると、前記ターゲットユーザに対するユーザ認証を終了することを特徴とする付記5に記載のユーザ認証方法。
(付記7)
前記ターゲットユーザに対するユーザ認証が終了した場合、
前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像に対応するユーザ情報を前記ユーザデータベースから抽出し、前記他のユーザのユーザ情報を用いて、前記他のユーザに対するユーザ認証を行うことを特徴とする付記6に記載のユーザ認証方法。
(付記8)
前記ユーザ情報を抽出するステップにおいては、
前記ターゲットユーザの顔画像と前記ユーザデータベースに保存された参照顔画像とを比較し、前記ターゲットユーザの顔画像に対する所定の類似度基準を満たす参照顔画像を検索し、
前記ユーザ情報は、
前記検索された参照顔画像に対応する人物のユーザ情報であることを特徴とする付記1~7のいずれかに記載のユーザ認証方法。
(付記9)
前記検索された参照顔画像が複数である場合、
前記ユーザ認証を行う電子機器のディスプレイ部には、
前記検索された複数の参照顔画像にそれぞれ対応する複数の人物のいずれかの選択を受けるためのグラフィックオブジェクトが出力され、
前記ユーザ認証を行うステップにおいては、
前記複数の人物のうち前記グラフィックオブジェクトにより選択された特定の人物にマッチするユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うことを特徴とする付記8に記載のユーザ認証方法。
(付記10)
前記特定の人物にマッチするユーザ情報に前記ターゲットユーザの顔画像が含まれるように、前記ユーザデータベースをアップデートするステップをさらに含むことを特徴とする付記9に記載のユーザ認証方法。
(付記11)
前記検索された参照顔画像が複数である場合、
前記ユーザ情報を抽出するステップにおいては、
前記検索された複数の参照顔画像のうち、前記ターゲットユーザの顔画像との類似度がより高い第1参照顔画像にマッチする第1人物のユーザ情報を前記ユーザデータベースから抽出し、
前記第1人物のユーザ情報と共に、前記検索された複数の参照顔画像のうち、前記第1参照顔画像とは異なる第2参照顔画像を、前記ユーザ認証を行う電子機器のディスプレイ部に提供することを特徴とする付記8に記載のユーザ認証方法。
(付記12)
前記ユーザ認証を行うステップにおいては、
前記第1人物のユーザ情報及び前記第2参照顔画像が前記ディスプレイ部に提供されている状態で、前記ターゲットユーザのジェスチャーが検出されると、
前記ターゲットユーザを前記第1人物として特定し、
前記第1人物のユーザ情報を用いて、前記ユーザ認証を行うことを特徴とする付記11に記載のユーザ認証方法。
(付記13)
前記第1人物のユーザ情報及び前記第2参照顔画像が前記ディスプレイ部に提供されている状態で、前記ターゲットユーザにより前記第2参照顔画像が選択されると、
前記第2参照顔画像に対応する第2人物のユーザ情報を前記ユーザデータベースから抽出し、
前記第2人物のユーザ情報を用いて、前記ユーザ認証を行うことを特徴とする付記12に記載のユーザ認証方法。
(付記14)
前記ターゲットユーザの顔画像に対応するユーザ情報が前記ユーザデータベースに存在しない場合、
前記ユーザ認証を行う電子機器のディスプレイ部には、
前記ターゲットユーザの識別情報の入力を受けるためのGUIが提供され、
前記ユーザ情報を抽出するステップにおいては、
前記GUIにより入力された前記ターゲットユーザの識別情報を用いて、前記ユーザ情報を前記ユーザデータベースから抽出することを特徴とする付記1~13のいずれかに記載のユーザ認証方法。
(付記15)
前記ターゲットユーザの顔画像が前記ユーザ情報に対応する人物の参照顔画像として登録されるように、前記ユーザデータベースをアップデートするステップをさらに含むことを特徴とする付記14に記載のユーザ認証方法。
(付記16)
前記顔画像を検出するステップにおいては、
前記カメラにより検出される前記ターゲットユーザの顔画像が所定の認証条件を満たすか否かを判断し、
前記判断の結果、前記所定の認証条件を満たさない場合、前記所定の認証条件を満たすためのガイド情報を、前記ユーザ認証を行う電子機器のディスプレイ部に提供することを特徴とする付記1~15のいずれかに記載のユーザ認証方法。
(付記17)
前記ガイド情報は、
前記カメラと前記ターゲットユーザの相手位置及び相手距離の少なくとも一方に関するものであることを特徴とする付記16に記載のユーザ認証方法。
(付記18)
ディスプレイ部と、
ターゲットユーザの顔画像を検出するカメラと、
前記顔画像に対応するユーザ情報をユーザデータベースから抽出する制御部とを含み、
前記制御部は、
前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行い、
前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とするユーザ認証システム。
(付記19)
電子機器のコンピュータを作動させるプログラムであって、
前記プログラムは、
カメラを用いてターゲットユーザの顔画像を検出するステップ、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップ、及び前記ユーザ情報を用いて前記ターゲットユーザに対するユーザ認証を行うステップを実行させるコマンドを含み、
前記ユーザ認証を行うステップにおいては、
前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とするプログラム。
<<< Additional notes >>>
(Additional note 1)
detecting a facial image of the target user using a camera;
extracting user information corresponding to the facial image from a user database;
performing user authentication for the target user using the user information,
In the step of performing user authentication,
A user authentication method, comprising determining whether to complete the user authentication based on a gesture of the target user detected by the camera.
(Additional note 2)
further comprising the step of providing at least a portion of the user information to a display unit of the electronic device that performs the user authentication;
In the step of performing user authentication,
The user authentication method according to appendix 1, wherein the user authentication is performed based on a gesture of the target user detected after at least a part of the user information is provided to the display unit.
(Additional note 3)
The display section includes:
In addition to at least a part of the user information, target function information regarding a target function to be subject to the user authentication is further provided;
In the step of performing user authentication,
if the target user's gesture corresponds to a predetermined first gesture that matches a control instruction agreeing to the user authentication;
The user authentication method according to appendix 2, characterized in that user authentication in the target function is treated as successful.
(Additional note 4)
In the step of performing user authentication,
when the target user's gesture corresponds to a predetermined second gesture that matches the control instruction to deny the user authentication;
The user authentication method according to appendix 3, characterized in that user authentication in the target function is treated as a failure.
(Appendix 5)
In the step of performing user authentication,
Supplementary note 1, characterized in that even if the camera detects a face image of another user different from the target user while the user authentication for the target user is being performed, the user authentication for the target user is performed. The user authentication method described in any one of ~4.
(Appendix 6)
In the step of performing user authentication,
The user authentication method according to appendix 5, characterized in that when the face image of the other user is detected for a predetermined period of time or more, user authentication for the target user is terminated.
(Appendix 7)
When user authentication for the target user is completed,
In the step of performing user authentication,
Supplementary Note 6, characterized in that user information corresponding to the face image of the other user is extracted from the user database, and user authentication for the other user is performed using the user information of the other user. User authentication method.
(Appendix 8)
In the step of extracting the user information,
Comparing the target user's facial image and a reference facial image stored in the user database, searching for a reference facial image that satisfies a predetermined similarity criterion with respect to the target user's facial image;
The user information is
8. The user authentication method according to any one of appendices 1 to 7, wherein the user information is user information of a person corresponding to the searched reference face image.
(Appendix 9)
If the searched reference face images are multiple,
The display section of the electronic device that performs the user authentication includes:
outputting a graphic object for receiving selection of one of the plurality of people corresponding to the plurality of searched reference face images;
In the step of performing user authentication,
The user authentication method according to appendix 8, characterized in that user authentication for the target user is performed using user information that matches a specific person selected by the graphic object among the plurality of people.
(Appendix 10)
The user authentication method according to appendix 9, further comprising the step of updating the user database so that the user information matching the specific person includes a face image of the target user.
(Appendix 11)
If the searched reference face images are multiple,
In the step of extracting the user information,
extracting from the user database user information of a first person that matches a first reference face image with a higher degree of similarity to the target user's face image from among the plurality of searched reference face images;
A second reference face image different from the first reference face image among the plurality of searched reference face images is provided together with the user information of the first person to a display unit of the electronic device that performs the user authentication. The user authentication method according to appendix 8, characterized in that:
(Appendix 12)
In the step of performing user authentication,
When a gesture of the target user is detected while the user information of the first person and the second reference face image are provided on the display unit,
identifying the target user as the first person;
The user authentication method according to appendix 11, characterized in that the user authentication is performed using user information of the first person.
(Appendix 13)
When the second reference face image is selected by the target user while the user information of the first person and the second reference face image are provided on the display unit,
extracting user information of a second person corresponding to the second reference face image from the user database;
The user authentication method according to
(Appendix 14)
If user information corresponding to the target user's face image does not exist in the user database,
The display section of the electronic device that performs the user authentication includes:
A GUI is provided for receiving input of identification information of the target user,
In the step of extracting the user information,
14. The user authentication method according to any one of appendices 1 to 13, characterized in that the user information is extracted from the user database using identification information of the target user input through the GUI.
(Appendix 15)
15. The user authentication method according to appendix 14, further comprising the step of updating the user database so that the target user's face image is registered as a reference face image of the person corresponding to the user information.
(Appendix 16)
In the step of detecting the face image,
determining whether the target user's face image detected by the camera satisfies predetermined authentication conditions;
Supplementary notes 1 to 15, characterized in that if the predetermined authentication condition is not satisfied as a result of the determination, guide information for satisfying the predetermined authentication condition is provided to a display unit of the electronic device that performs the user authentication. User authentication method described in any of the above.
(Appendix 17)
The guide information is
The user authentication method according to appendix 16, characterized in that the method relates to at least one of the location and distance between the camera and the target user.
(Appendix 18)
a display section;
A camera that detects the target user's face image,
a control unit that extracts user information corresponding to the face image from a user database,
The control unit includes:
Performing user authentication for the target user using the user information,
A user authentication system, characterized in that it is determined whether or not to complete the user authentication based on a gesture of the target user detected by the camera.
(Appendix 19)
A program that operates a computer in an electronic device,
The program is
A command for executing the steps of detecting a facial image of a target user using a camera, extracting user information corresponding to the facial image from a user database, and performing user authentication for the target user using the user information. including;
In the step of performing user authentication,
A program for determining whether to complete the user authentication based on a gesture of the target user detected by the camera.
Claims (9)
前記カメラを用いて、ターゲットユーザの顔画像を検出するステップと、
前記制御部が、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、
前記制御部が、前記ユーザ情報の少なくとも一部とユーザ認証が要求されるターゲット機能に関するターゲット機能情報とを、前記ディスプレイ部に提供するステップと、
前記カメラを用いて、前記ターゲットユーザのジェスチャーを検出するステップと、
前記制御部が、前記カメラにより検出された前記ターゲットユーザのジェスチャーを用いて、前記ターゲット機能の承認又は拒否のためのユーザ認証を行うステップとを含むことを特徴とするユーザ認証方法。 A user authentication method executed by an electronic device including a camera, a display unit, and a control unit,
detecting a facial image of a target user using the camera;
the control unit extracting user information corresponding to the face image from a user database;
the control unit providing the display unit with at least part of the user information and target function information regarding a target function for which user authentication is required;
detecting gestures of the target user using the camera;
A user authentication method comprising: the control unit performing user authentication for approval or rejection of the target function using gestures of the target user detected by the camera.
前記ユーザ情報の少なくとも一部と前記ターゲット機能情報とが前記ディスプレイ部に提供された後に検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を行うことを特徴とする請求項1に記載のユーザ認証方法。 In the step of performing user authentication,
The user authentication according to claim 1, wherein the user authentication is performed based on a gesture of the target user detected after at least a part of the user information and the target function information are provided to the display unit. User authentication method.
前記カメラにより検出された前記ターゲットユーザのジェスチャーが、前記ターゲット機能の承認のために予めマッチしたジェスチャーであるか否かによって、前記ターゲット機能の承認のための前記ユーザ認証の結果が異なることを特徴とする請求項1に記載のユーザ認証方法。 In the step of performing user authentication,
The result of the user authentication for approval of the target function differs depending on whether the gesture of the target user detected by the camera is a gesture that has been matched in advance for approval of the target function. The user authentication method according to claim 1.
前記ターゲットユーザに対するユーザ認証が行われている状態で、前記カメラにより前記ターゲットユーザとは異なる他のユーザの顔画像が検出されても、前記ターゲットユーザに対するユーザ認証を行うことを特徴とする請求項1に記載のユーザ認証方法。 In the step of performing user authentication,
Claim characterized in that even if the camera detects a face image of another user different from the target user while the user authentication for the target user is being performed, the user authentication for the target user is performed. 1. The user authentication method described in 1.
前記他のユーザの顔画像が所定時間以上検出されると、前記ターゲットユーザに対するユーザ認証を終了することを特徴とする請求項4に記載のユーザ認証方法。 In the step of performing user authentication,
5. The user authentication method according to claim 4, wherein when the face image of the other user is detected for a predetermined period of time or more, user authentication for the target user is terminated.
前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像に対応するユーザ情報を前記ユーザデータベースから抽出し、前記他のユーザのユーザ情報を用いて、前記他のユーザに対するユーザ認証を行うことを特徴とする請求項5に記載のユーザ認証方法。 When user authentication for the target user is completed,
In the step of performing user authentication,
6. The user information corresponding to the other user's face image is extracted from the user database, and the user information of the other user is used to perform user authentication for the other user. user authentication method.
前記ユーザ情報を抽出するステップにおいては、
前記制御部が、前記GUIにより入力された前記ターゲットユーザの識別情報を用いて、前記ユーザ情報を前記ユーザデータベースから抽出することを特徴とする請求項1に記載のユーザ認証方法。 If user information corresponding to the face image of the target user does not exist in the user database, a GUI for receiving the input of identification information of the target user is displayed on a display unit of the electronic device that performs the user authentication;
In the step of extracting the user information,
2. The user authentication method according to claim 1, wherein the control unit extracts the user information from the user database using identification information of the target user input through the GUI.
ターゲットユーザの顔画像を検出するカメラと、
前記顔画像に対応するユーザ情報をユーザデータベースから抽出する制御部とを含み、
前記制御部は、
前記ユーザ情報の少なくとも一部とユーザ認証が要求されるターゲット機能に関するターゲット機能情報とを、前記ディスプレイ部に提供し、
前記カメラにより検出された前記ターゲットユーザのジェスチャーを用いて、前記ターゲット機能の承認又は拒否のためのユーザ認証を行うことを特徴とするユーザ認証システム。 a display section;
A camera that detects the target user's face image,
a control unit that extracts user information corresponding to the face image from a user database,
The control unit includes:
providing at least part of the user information and target function information regarding a target function for which user authentication is required to the display unit;
A user authentication system characterized by performing user authentication for approving or rejecting the target function using gestures of the target user detected by the camera.
前記プログラムは、
前記カメラを用いて、ターゲットユーザの顔画像を検出するステップと、
前記制御部が、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、
前記制御部が、前記ユーザ情報の少なくとも一部とユーザ認証が要求されるターゲット機能に関するターゲット機能情報とを、前記ディスプレイ部に提供するステップと、
前記カメラを用いて、前記ターゲットユーザのジェスチャーを検出するステップと、
前記制御部が、前記カメラにより検出された前記ターゲットユーザのジェスチャーを用いて、前記ターゲット機能の承認又は拒否のためのユーザ認証を行うステップとを含むことを特徴とするプログラム。 A program executed by one or more processes on an electronic device including a camera, a display unit, and a control unit,
The program is
detecting a facial image of a target user using the camera;
the control unit extracting user information corresponding to the face image from a user database;
the control unit providing the display unit with at least part of the user information and target function information regarding a target function for which user authentication is required;
detecting gestures of the target user using the camera;
A program characterized in that the control unit performs user authentication for approving or rejecting the target function using a gesture of the target user detected by the camera.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200106938A KR102472956B1 (en) | 2020-08-25 | 2020-08-25 | Method and ststem for user authentication |
KR10-2020-0106938 | 2020-08-25 | ||
JP2020177544A JP7125460B2 (en) | 2020-08-25 | 2020-10-22 | User authentication method, system and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020177544A Division JP7125460B2 (en) | 2020-08-25 | 2020-10-22 | User authentication method, system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022163168A JP2022163168A (en) | 2022-10-25 |
JP7402940B2 true JP7402940B2 (en) | 2023-12-21 |
Family
ID=80494856
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020177544A Active JP7125460B2 (en) | 2020-08-25 | 2020-10-22 | User authentication method, system and program |
JP2022128589A Active JP7402940B2 (en) | 2020-08-25 | 2022-08-12 | User authentication methods, systems and programs |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020177544A Active JP7125460B2 (en) | 2020-08-25 | 2020-10-22 | User authentication method, system and program |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7125460B2 (en) |
KR (2) | KR102472956B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230283603A1 (en) * | 2022-03-04 | 2023-09-07 | Micro Focus Llc | Dynamic biometric combination authentication |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009093399A (en) | 2007-10-09 | 2009-04-30 | Panasonic Corp | Information display device |
JP2014048937A (en) | 2012-08-31 | 2014-03-17 | Omron Corp | Gesture recognition device, control method thereof, display equipment, and control program |
US20150277573A1 (en) | 2014-03-27 | 2015-10-01 | Lg Electronics Inc. | Display device and operating method thereof |
WO2016013249A1 (en) | 2014-07-24 | 2016-01-28 | 株式会社ソニー・コンピュータエンタテインメント | Information processing device |
JP2018173891A (en) | 2017-03-31 | 2018-11-08 | Necプラットフォームズ株式会社 | Authentication device, authentication method, authentication program, and database |
JP2019526040A (en) | 2016-06-14 | 2019-09-12 | シェンジェン ピーアールテック カンパニー リミテッド | Measuring instrument data storage method and apparatus |
JP2020115361A (en) | 2015-09-03 | 2020-07-30 | 日本電気株式会社 | Authentication device, crime prevention system, and control method and program by authentication device |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100041562A (en) * | 2008-10-14 | 2010-04-22 | (주) 위트젠 | Method and system for performing user authentication by face recognizing and fingerprint recognizing of user needing an authentication |
JP5584578B2 (en) * | 2010-10-08 | 2014-09-03 | 富士通株式会社 | Biometric information registration / authentication device and registration / authentication method thereof |
US8457367B1 (en) * | 2012-06-26 | 2013-06-04 | Google Inc. | Facial recognition |
KR20150007403A (en) * | 2013-07-10 | 2015-01-21 | 삼성전자주식회사 | Apparatus and method for operating information searching data of persons and person recognizes method using the same |
KR102386893B1 (en) * | 2014-11-13 | 2022-04-15 | 삼성전자 주식회사 | Method for securing image data and electronic device implementing the same |
KR20160090992A (en) * | 2015-01-23 | 2016-08-02 | 박현수 | Security system, apparatus, and method using supplemental code |
JP6475581B2 (en) | 2015-07-03 | 2019-02-27 | 京セラ株式会社 | Portable electronic device, control method, and control program |
US10354126B1 (en) | 2016-04-26 | 2019-07-16 | Massachusetts Mutual Life Insurance Company | Access control through multi-factor image authentication |
JP6789170B2 (en) | 2017-04-21 | 2020-11-25 | 株式会社ミクシィ | Display device, authentication method, and authentication program |
US20200201442A1 (en) | 2017-06-21 | 2020-06-25 | Mitsubishi Electric Corporation | Gesture operation device and gesture operation method |
KR102581179B1 (en) * | 2018-05-14 | 2023-09-22 | 삼성전자주식회사 | Electronic device for perfoming biometric authentication and operation method thereof |
WO2020136795A1 (en) | 2018-12-27 | 2020-07-02 | 日本電気株式会社 | Information processing device, information processing method, and program |
JP7247579B2 (en) | 2018-12-27 | 2023-03-29 | 日本電気株式会社 | Information processing device, information processing method and program |
-
2020
- 2020-08-25 KR KR1020200106938A patent/KR102472956B1/en active IP Right Grant
- 2020-10-22 JP JP2020177544A patent/JP7125460B2/en active Active
-
2022
- 2022-08-12 JP JP2022128589A patent/JP7402940B2/en active Active
- 2022-11-28 KR KR1020220161377A patent/KR102629007B1/en active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009093399A (en) | 2007-10-09 | 2009-04-30 | Panasonic Corp | Information display device |
JP2014048937A (en) | 2012-08-31 | 2014-03-17 | Omron Corp | Gesture recognition device, control method thereof, display equipment, and control program |
US20150277573A1 (en) | 2014-03-27 | 2015-10-01 | Lg Electronics Inc. | Display device and operating method thereof |
WO2016013249A1 (en) | 2014-07-24 | 2016-01-28 | 株式会社ソニー・コンピュータエンタテインメント | Information processing device |
JP2020115361A (en) | 2015-09-03 | 2020-07-30 | 日本電気株式会社 | Authentication device, crime prevention system, and control method and program by authentication device |
JP2019526040A (en) | 2016-06-14 | 2019-09-12 | シェンジェン ピーアールテック カンパニー リミテッド | Measuring instrument data storage method and apparatus |
JP2018173891A (en) | 2017-03-31 | 2018-11-08 | Necプラットフォームズ株式会社 | Authentication device, authentication method, authentication program, and database |
Also Published As
Publication number | Publication date |
---|---|
KR20220166227A (en) | 2022-12-16 |
KR20220026198A (en) | 2022-03-04 |
KR102472956B1 (en) | 2022-12-01 |
KR102629007B1 (en) | 2024-01-25 |
JP2022163168A (en) | 2022-10-25 |
JP2022037845A (en) | 2022-03-09 |
JP7125460B2 (en) | 2022-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2698742B1 (en) | Facial recognition similarity threshold adjustment | |
US20160226865A1 (en) | Motion based authentication systems and methods | |
KR101897709B1 (en) | System and method for user access of dispensing unit | |
US9239917B2 (en) | Gesture controlled login | |
WO2020006252A1 (en) | Biometric authentication | |
US20130227678A1 (en) | Method and system for authenticating user of a mobile device via hybrid biometics information | |
JP7006584B2 (en) | Biometric data processing device, biometric data processing system, biometric data processing method, biometric data processing program, storage medium for storing biometric data processing program | |
KR20160147515A (en) | Method for authenticating user and electronic device supporting the same | |
JP2015201174A (en) | user authentication method, system, and program | |
US20190130411A1 (en) | Method and system for data processing | |
US20100157088A1 (en) | Authentication apparatus and authentication method | |
JP2013186851A (en) | Information processor for which input of information for cancelling security is required and log-in method | |
JP2010049357A (en) | Authentication device, authentication system, and authentication method | |
JP7509216B2 (en) | Input control device, input system, input control method and input control program | |
JP2023145582A (en) | Multi-factor authentication for virtual reality | |
US20210243186A1 (en) | Systems and methods for providing data access based on physical proximity to device | |
WO2021220423A1 (en) | Authentication device, authentication system, authentication method, and authentication program | |
JP7402940B2 (en) | User authentication methods, systems and programs | |
CN113826135A (en) | System and method for contactless authentication using voice recognition | |
JP2012133565A (en) | Authentication processing apparatus, authentication processing method and program | |
JP7004379B2 (en) | Authentication device, authentication method, and authentication program | |
JP2013174955A (en) | Information processor for which input of information for releasing security is requested and login method | |
JP6584855B2 (en) | Input support apparatus, input support method, and program | |
KR102581000B1 (en) | Method and ststem for providing assistant service | |
JP7352670B2 (en) | Electronic payment methods and systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220902 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220902 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7402940 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |