JP7402940B2 - User authentication methods, systems and programs - Google Patents

User authentication methods, systems and programs Download PDF

Info

Publication number
JP7402940B2
JP7402940B2 JP2022128589A JP2022128589A JP7402940B2 JP 7402940 B2 JP7402940 B2 JP 7402940B2 JP 2022128589 A JP2022128589 A JP 2022128589A JP 2022128589 A JP2022128589 A JP 2022128589A JP 7402940 B2 JP7402940 B2 JP 7402940B2
Authority
JP
Japan
Prior art keywords
user
target
user authentication
control unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022128589A
Other languages
Japanese (ja)
Other versions
JP2022163168A (en
Inventor
ジンジュン キム
ヌリ ナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2022163168A publication Critical patent/JP2022163168A/en
Application granted granted Critical
Publication of JP7402940B2 publication Critical patent/JP7402940B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

特許法第３０条第２項適用 発明の新規性の喪失の例外の規定の適用を受けるための証明書に記載されたホームページに、２０１９年１０月２３日に公開されている。Application of Article 30, Paragraph 2 of the Patent Act Published on October 23, 2019 on the homepage listed in the certificate for application of the exceptions to loss of novelty of invention.

本発明は、ユーザを認証する方法及びシステムに関する。 The present invention relates to a method and system for authenticating users.

技術が発展するにつれて、電子機器の活用度が高まっている。特に、電子機器は、様々な状況でユーザを認証する手段として活用されている。 As technology develops, the use of electronic devices is increasing. In particular, electronic devices are utilized as means for authenticating users in various situations.

例えば、会議での参加者の出席確認、病院での患者の来院確認、カフェでの決済のためのユーザ確認のように、様々な状況で真のユーザを認証するニーズがある。このようにユーザ認証が求められる状況での電子機器の活用は、不要な労働力を削減し、かつ、ユーザ認証に要する時間を短縮する効果をもたらしている。 For example, there is a need to authenticate true users in various situations, such as confirming the attendance of participants at a conference, confirming the arrival of a patient at a hospital, and confirming users for payment at a cafe. The use of electronic devices in situations where user authentication is required in this way has the effect of reducing unnecessary labor and time required for user authentication.

電子機器を活用するユーザ認証方式は様々であり、例えば、ユーザが直接ユーザ自身を識別するための識別情報（例えば、電話番号、メールアドレスなど）又は生体情報（例えば、指紋情報など）を電子機器に入力することにより認証が行われる方式がある。 There are various user authentication methods that utilize electronic devices. For example, users can directly identify themselves by providing identification information (e.g., phone number, email address, etc.) or biometric information (e.g., fingerprint information, etc.) to the electronic device. There is a method in which authentication is performed by inputting the following information:

近年、ユーザが直接情報を電子機器に入力することなく、より便利かつ直観的にユーザ認証を行う方法に関する研究が盛んに行われている。 In recent years, much research has been conducted on methods for more convenient and intuitive user authentication without the user directly inputting information into an electronic device.

本発明は、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 The present invention provides a user authentication method and system that can grasp the user's intention and perform user authentication more intuitively.

また、本発明は、ユーザが直接情報を入力することなくユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 Further, the present invention provides a user authentication method and system that allows user authentication to be performed without the user directly inputting information.

さらに、本発明は、ユーザ認証を行うかについてのユーザの真の意図を把握してユーザ認証を完了することのできるユーザ認証方法及びシステムを提供するためのものである。 Furthermore, the present invention provides a user authentication method and system that can complete user authentication while grasping the user's true intention as to whether or not to perform user authentication.

上記課題を解決するために、本発明によるユーザ認証方法は、カメラを用いて、ターゲットユーザの顔画像を検出するステップと、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うステップとを含み、前記ユーザ認証を行うステップにおいては、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。 In order to solve the above problems, a user authentication method according to the present invention includes the steps of: detecting a facial image of a target user using a camera; extracting user information corresponding to the facial image from a user database; performing user authentication for the target user using user information; in the step of performing user authentication, the user authentication is completed based on a gesture of the target user detected by the camera; It is characterized by determining whether or not.

また、本発明によるユーザ認証システムは、ディスプレイ部と、ターゲットユーザの顔画像を検出するカメラと、前記顔画像に対応するユーザ情報をユーザデータベースから抽出する制御部とを含み、前記制御部は、前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行い、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。 Further, the user authentication system according to the present invention includes a display unit, a camera that detects a face image of a target user, and a control unit that extracts user information corresponding to the face image from a user database, and the control unit includes: The present invention is characterized in that user authentication is performed for the target user using the user information, and it is determined whether or not to complete the user authentication based on the gesture of the target user detected by the camera.

さらに、本発明によるコンピュータ可読媒体に格納可能なプログラムは、電子機器で１つ以上のプロセスにより実行され、カメラを用いてターゲットユーザの顔画像を検出するステップ、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップ、及び前記ユーザ情報を用いて前記ターゲットユーザに対するユーザ認証を行うステップを実行させるコマンドを含み、前記ユーザ認証を行うステップにおいては、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。 Further, a program storable on a computer-readable medium according to the present invention is executed by one or more processes on an electronic device, and includes the steps of: detecting a facial image of a target user using a camera; and detecting user information corresponding to said facial image. a command for executing a step of extracting from a user database and a step of performing user authentication for the target user using the user information, and in the step of performing user authentication, the gesture of the target user detected by the camera; The method is characterized in that it is determined whether or not to complete the user authentication based on the above.

前述したように、本発明によるユーザ認証方法及びシステムにおいては、カメラを用いて、ユーザ認証の対象となるユーザを検出し、検出されたユーザの顔画像を用いて、検出されたユーザに対するユーザ認証を行うことができる。このように、本発明においては、ユーザが直接入力を行わなくても、ユーザが電子機器の周辺にいることに基づいて、ユーザ認証を行うことができる。よって、ユーザは、電子機器の周辺にいるだけで、ユーザ認証の意思をより便利かつ直観的に電子機器に伝達することができる。 As described above, in the user authentication method and system according to the present invention, a camera is used to detect a user who is a target of user authentication, and a facial image of the detected user is used to perform user authentication for the detected user. It can be performed. In this way, according to the present invention, user authentication can be performed based on the fact that the user is near the electronic device, without the user having to directly input information. Therefore, the user can more conveniently and intuitively communicate his/her intention for user authentication to the electronic device simply by being in the vicinity of the electronic device.

また、本発明によるユーザ認証方法及びシステムにおいては、検出されたユーザの顔画像だけでなく、ユーザのジェスチャーに基づいて、ユーザ認証に関するユーザの意図を把握することができる。よって、本発明によるユーザ認証方法及びシステムにおいては、ユーザのジェスチャーに基づいて、ユーザ認証を行おうとするユーザの真偽を把握し、ユーザの意図に基づいてユーザ認証を行うことができる。 Further, in the user authentication method and system according to the present invention, it is possible to understand the user's intention regarding user authentication based not only on the detected face image of the user but also on the user's gesture. Therefore, in the user authentication method and system according to the present invention, the authenticity of the user who is attempting to perform user authentication can be ascertained based on the user's gesture, and the user authentication can be performed based on the user's intention.

本発明によるユーザ認証システムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication system according to the present invention. 本発明によるユーザ認証方法を説明するためのフローチャートである。3 is a flowchart for explaining a user authentication method according to the present invention. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention.

以下、添付図面を参照して本発明の実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一の符号を付し、それについての重複する説明は省略する。以下の説明で用いられる構成要素の接尾辞である「モジュール」や「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本発明の実施形態について説明するにあたり、関連する公知技術についての具体的な説明が本発明の実施形態の要旨を不明にすると判断される場合は、その詳細な説明を省略する。さらに、添付図面は本発明の実施形態の理解を助けるためのものにすぎず、添付図面により本発明の技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物乃至代替物を含むものと理解すべきである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components will be denoted by the same reference numerals regardless of the drawing numbers, and redundant explanation thereof will be omitted. The suffixes "module" and "part" used in the following explanations are given or mixed to facilitate the preparation of specifications, and they themselves have significance and usefulness. It's not something you have. Furthermore, when describing the embodiments of the present invention, if it is determined that detailed explanation of related known techniques would obscure the gist of the embodiments of the present invention, the detailed explanation will be omitted. Furthermore, the attached drawings are only for helping understanding of the embodiments of the present invention, and the technical idea of the present invention is not limited by the attached drawings, and any changes that fall within the idea and technical scope of the present invention may be made. , should be understood to include equivalents or substitutes.

「第１」、「第２」などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は１つの構成要素を他の構成要素と区別する目的でのみ用いられる。 Terms including ordinal numbers such as "first", "second", etc. are used to describe various components, but the components are not limited to the above terms. These terms are only used to distinguish one component from another.

ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解すべきである。 When a component is referred to as being "coupled" or "connected" to another component, it may be directly coupled or connected to the other component, and there may be other components in between. It should be understood that it is permissible to do so. In contrast, when an element is referred to as being "directly coupled" or "directly connected" to another element, there are no intermediate elements present.

単数の表現には、特に断らない限り複数の表現が含まれる。 Singular expressions include plural expressions unless otherwise specified.

本明細書において、「含む」や「有する」などの用語は、本明細書に記載された特徴、数字、段階、動作、構成要素、部品又はそれらの組み合わせが存在することを指定しようとするもので、１つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。 As used herein, terms such as "comprising" and "having" are intended to specify the presence of features, numbers, steps, acts, components, parts, or combinations thereof described herein. It should be understood that this does not exclude in advance the presence or possibility of adding one or more other features, figures, steps, acts, components, parts or combinations thereof.

本発明は、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものであり、以下、添付図面を参照して本発明について具体的に説明する。図１は本発明によるユーザ認証システムを説明するための概念図であり、図２は本発明によるユーザ認証方法を説明するためのフローチャートである。また、図３ａ、図３ｂ、図４ａ、図４ｂ、図５、図６ａ、図６ｂ、図６ｃ、図７ａ及び図７ｂは本発明によるユーザ認証方法及びシステムを説明するための概念図である。 The present invention is intended to provide a user authentication method and system that can grasp the user's intention and perform user authentication more intuitively.The present invention will be specifically described below with reference to the accompanying drawings. explain. FIG. 1 is a conceptual diagram for explaining a user authentication system according to the present invention, and FIG. 2 is a flowchart for explaining a user authentication method according to the present invention. 3a, 3b, 4a, 4b, 5, 6a, 6b, 6c, 7a, and 7b are conceptual diagrams for explaining the user authentication method and system according to the present invention.

図１に示すように、本発明によるユーザ認証システム１００は、通信部１１０、保存部１２０及び制御部１３０の少なくとも１つを含むようにしてもよい。ここで、本発明によるユーザ認証システム１００は、上記構成要素に限定されるものではなく、本明細書において説明される機能と同一又は類似の役割を果たす構成要素をさらに含むようにしてもよい。 As shown in FIG. 1, a user authentication system 100 according to the present invention may include at least one of a communication unit 110, a storage unit 120, and a control unit 130. Here, the user authentication system 100 according to the present invention is not limited to the above components, but may further include components that play the same or similar functions as those described in this specification.

なお、本発明によるユーザ認証システム１００は、電子機器１０と連動して動作するようにしてもよい。ここで、電子機器１０は、スマートフォン、携帯電話、タブレットＰＣ、キオスク、コンピュータ、ノートブックコンピュータ、デジタル放送用端末、ＰＤＡ（Personal Digital Assistants）及びＰＭＰ（Portable
Multimedia Player）の少なくとも１つを含むようにしてもよい。 Note that the user authentication system 100 according to the present invention may operate in conjunction with the electronic device 10. Here, the electronic devices 10 include smartphones, mobile phones, tablet PCs, kiosks, computers, notebook computers, digital broadcasting terminals, PDAs (Personal Digital Assistants), and PMPs (Portable
Multimedia Player).

また、本発明によるユーザ認証システム１００は、アプリケーション又はソフトウェアで実現してもよい。ここで、ユーザ認証システム１００のアプリケーション又はソフトウェアは、電子機器１０にインストールされ、以下に説明されるユーザ認証方法によるプロセスを行うようにしてもよい。 Further, the user authentication system 100 according to the present invention may be realized by an application or software. Here, the application or software of the user authentication system 100 may be installed on the electronic device 10 to perform a process according to the user authentication method described below.

例えば、本発明によるユーザ認証システム１００の通信部１１０、保存部１２０及び制御部１３０は、電子機器１０のハードウェア構成を用いて、ユーザ認証のための一連の機能を実行するようにしてもよい。例えば、通信部１１０は、電子機器１０の通信部に備えられた通信モジュール（例えば、移動通信モジュール、近距離通信モジュール、無線インターネットモジュール、位置情報モジュール、放送受信モジュールなど）の構成を用いて、少なくとも１つの外部サーバ（例えば、図１に示すデータベースサーバ（ＤＢサーバ）１４０やクラウドサーバなど）とデータを送受信するようにしてもよい。 For example, the communication unit 110, storage unit 120, and control unit 130 of the user authentication system 100 according to the present invention may use the hardware configuration of the electronic device 10 to execute a series of functions for user authentication. . For example, the communication unit 110 uses the configuration of a communication module (for example, a mobile communication module, a short-range communication module, a wireless internet module, a location information module, a broadcast receiving module, etc.) included in the communication unit of the electronic device 10. Data may be exchanged with at least one external server (for example, the database server (DB server) 140 shown in FIG. 1, a cloud server, etc.).

保存部１２０は、電子機器１０に備えられた（又は挿入された）メモリ又はクラウドサーバを用いて、本発明によるユーザ認証に関するデータを保存するようにしてもよい。 The storage unit 120 may store data related to user authentication according to the present invention using a memory included in (or inserted into) the electronic device 10 or a cloud server.

制御部１３０は、電子機器１０に備えられたＣＰＵ及びクラウドサーバの少なくとも１つを用いて、各構成の制御及び本発明に係る全般的な制御を行うようにしてもよい。また、制御部１３０は、本発明を実現するために、電子機器１０の少なくとも１つの構成要素の制御権限を有するようにしてもよい。さらに、制御部１３０は、本発明を実現するために、電子機器１０の構成要素により受信又は検出された情報を用いるようにしてもよい、例えば、制御部１３０は、電子機器１０のカメラ１１から受信した画像を用いて、本発明によるユーザ認証を行うようにしてもよい。 The control unit 130 may use at least one of a CPU and a cloud server provided in the electronic device 10 to control each configuration and perform overall control according to the present invention. Furthermore, the control unit 130 may have control authority over at least one component of the electronic device 10 in order to realize the present invention. Further, the control unit 130 may use information received or detected by the components of the electronic device 10 to implement the present invention. For example, the control unit 130 may use information received or detected by the components of the electronic device 10. User authentication according to the present invention may be performed using the received image.

さらに、制御部１３０は、電子機器１０のディスプレイ部１２を用いて、本発明に係る情報を出力するようにしてもよい。 Furthermore, the control unit 130 may output information according to the present invention using the display unit 12 of the electronic device 10.

その他にも、制御部１３０は、電子機器１０に備えられた他の構成要素（例えば、近接センサ、赤外線センサ、タッチスクリーン、入力部など）を用いて、本発明によるユーザ認証を行うようにしてもよい。 In addition, the control unit 130 performs user authentication according to the present invention using other components included in the electronic device 10 (for example, a proximity sensor, an infrared sensor, a touch screen, an input unit, etc.). Good too.

なお、本発明によるユーザ認証システム１００は、プログラム又はアプリケーションの形態だけでなく、以下に説明される構成及び機能の実行が可能な様々な形態であってもよい。 Note that the user authentication system 100 according to the present invention may be in the form of not only a program or an application, but also various forms capable of executing the configuration and functions described below.

よって、以下では、これらに厳格な制限を置かず、本発明によるユーザ認証システム１００について説明する。 Therefore, the user authentication system 100 according to the present invention will be described below without placing strict limitations on these.

図１に示すように、本発明によるユーザ認証システム１００は、電子機器１０のカメラ１１を用いて、ユーザを検出し、検出されたユーザに対するユーザ認証を行うようにしてもよい。 As shown in FIG. 1, a user authentication system 100 according to the present invention may detect a user using a camera 11 of an electronic device 10 and perform user authentication for the detected user.

説明の便宜上、本発明においては、ユーザ認証の対象となるユーザを「ターゲットユーザ」という。 For convenience of explanation, in the present invention, a user who is a target of user authentication is referred to as a "target user."

また、本発明において、「ユーザ認証（User Authentication）」とは、ターゲットユーザに対するユーザ認証を意味する。 Furthermore, in the present invention, "user authentication" means user authentication for a target user.

本発明においては、「ユーザ認証」を用いて、「ユーザ認証の対象となるイベント又は機能（以下、「ターゲット機能」に統一して説明する）」を承認又は実行するようにしてもよい。 In the present invention, "user authentication" may be used to approve or execute "events or functions subject to user authentication (hereinafter collectively referred to as "target functions")".

ここで、「ターゲット機能」は、その種類が非常に様々であり、例えば決済機能、出席確認機能、病院での来院確認機能などのように、ユーザ認証が必要な機能を意味する。 Here, the "target function" has a wide variety of types, and means a function that requires user authentication, such as a payment function, an attendance confirmation function, a hospital visit confirmation function, and the like.

本発明において、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を取得し、ユーザデータベース（ユーザＤＢ）に保存された顔画像に対応するユーザ情報を用いて、ターゲットユーザ１０００に対するユーザ認証を行うようにしてもよい。 In the present invention, the control unit 130 acquires the face image of the target user 1000 from the image received from the camera 11, and uses the user information corresponding to the face image stored in the user database (user DB) to acquire the face image of the target user 1000. User authentication for 1000 may be performed.

ここで、ユーザ認証の対象となるターゲット機能は、予め特定されていてもよい。制御部１３０は、ターゲットユーザ１０００の顔画像及びユーザデータベースから抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。一例として、ターゲット機能が出席確認機能の場合、制御部１３０は、ターゲットユーザ１０００に対する出席確認承認処理又は出席確認拒否処理のいずれかを行うようにしてもよい。 Here, the target function to be subjected to user authentication may be specified in advance. The control unit 130 may perform user authentication related to the target function using the face image of the target user 1000 and user information extracted from the user database. As an example, when the target function is an attendance confirmation function, the control unit 130 may perform either an attendance confirmation approval process or an attendance confirmation rejection process for the target user 1000.

他の例として、ターゲット機能が決済機能の場合、制御部１３０は、ターゲットユーザ１０００に対する決済承認処理又は決済拒否処理のいずれかを行うようにしてもよい。 As another example, when the target function is a payment function, the control unit 130 may perform either payment approval processing or payment rejection processing for the target user 1000.

ここで、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を抽出し、抽出された顔画像に対応（又はマッチ）するユーザ情報をユーザデータベースから抽出するようにしてもよい。 Here, the control unit 130 may extract the face image of the target user 1000 from the image received from the camera 11, and extract user information corresponding to (or matching) the extracted face image from the user database. good.

ここで、ユーザデータベースに保存されているユーザ情報は、「ユーザ関連情報」、「ユーザの身元情報」又は「ユーザの識別情報」と言及されてもよい。 Here, the user information stored in the user database may be referred to as "user-related information," "user identity information," or "user identification information."

ユーザデータベースは、保存部１２０、データベースサーバ１４０及びクラウドサーバの少なくとも１つに含まれるようにしてもよい。 The user database may be included in at least one of the storage unit 120, the database server 140, and the cloud server.

制御部１３０は、ターゲットユーザ１０００の顔画像に対応する人物をユーザデータベースから検索し、検索された人物にマッチするユーザ情報を抽出するようにしてもよい。 The control unit 130 may search the user database for a person corresponding to the face image of the target user 1000, and extract user information that matches the searched person.

ユーザデータベースには、個別の人物（又は人）単位で、それぞれの人物に関するユーザ情報が保存されるようにしてもよい。すなわち、ユーザデータベースには、異なる人物毎にそれぞれに対応するユーザ情報がマッチして保存されるようにしてもよい。 The user database may store user information regarding each individual person (or persons). That is, the user database may store matching user information corresponding to different people.

ここで、ユーザ情報には、それぞれの人物に該当する人の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社員番号、ＩＤ、顔画像、生体情報（指紋情報、虹彩情報など）、参照顔画像、電子機器の識別情報、日程（スケジュール）情報の少なくとも１つが含まれるようにしてもよい。 Here, the user information includes the name, date of birth, address, telephone number, email address, account information, employee number, ID, facial image, biometric information (fingerprint information, iris information, etc.) of the person corresponding to each person. ), a reference face image, electronic device identification information, and schedule information.

ここで、参照顔画像は、特定の人物の顔画像であり、１つでも複数でもよい。本発明において、「参照顔画像」は「参照データ」と言及されてもよい。 Here, the reference face image is a face image of a specific person, and may be one or more. In the present invention, the "reference face image" may be referred to as "reference data."

制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 The control unit 130 compares the target user's face image acquired by the camera 11 with a reference face image stored in the user database, and searches for a person who matches the reference face image corresponding to the target user's face image. You can do it like this. Further, the control unit 130 may specify the searched person as a target user, and extract user information matching the searched person from the user database.

さらに、制御部１３０は、抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。 Furthermore, the control unit 130 may use the extracted user information to perform user authentication regarding the target function.

図１に示すように、電子機器１０は、任意の場所に配置することができ、ターゲットユーザ１０００は、電子機器１０の周辺にいるだけで、ユーザ認証を行うことができる。ここで、電子機器１０が配置された場所に応じて、ユーザ認証の対象となるターゲット機能を様々に設定することができる。 As shown in FIG. 1, the electronic device 10 can be placed at any location, and the target user 1000 can perform user authentication just by being around the electronic device 10. Here, various target functions for user authentication can be set depending on the location where the electronic device 10 is placed.

一例として、電子機器１０が配置された場所がカフェの場合、ターゲット機能は、決済機能に特定されてもよい。この場合、本発明によるユーザ認証システム１００は、ユーザ認証に基づいて決済機能が実行されるようにプログラミングされてもよい。 As an example, if the place where the electronic device 10 is placed is a cafe, the target function may be specified as a payment function. In this case, the user authentication system 100 according to the present invention may be programmed such that payment functions are performed based on user authentication.

他の例として、電子機器１０が配置された場所が病院の場合、ターゲット機能は、病院に来院した患者（又は、店舗の場合は顧客）を確認する機能に特定されてもよい。この場合、本発明によるユーザ認証システム１００は、ユーザ認証に基づいて来院確認機能が実行されるようにプログラミングされてもよい。 As another example, if the place where the electronic device 10 is placed is a hospital, the target function may be specified as a function for checking patients (or customers in the case of a store) who have visited the hospital. In this case, the user authentication system 100 according to the present invention may be programmed to perform the visit confirmation function based on user authentication.

以下、フローチャートを参照して本発明によるユーザ認証方法についてより具体的に説明する。 The user authentication method according to the present invention will be described in more detail below with reference to flowcharts.

図２に示すように、本発明によるユーザ認証方法においては、まず、カメラ１１（図１参照）から受信した画像からターゲットユーザの顔画像を検出する過程を行う（Ｓ２１０）。 As shown in FIG. 2, in the user authentication method according to the present invention, first, a process of detecting a target user's face image from an image received from the camera 11 (see FIG. 1) is performed (S210).

すなわち、制御部１３０は、電子機器１０のカメラ１１を用いて、ターゲットユーザの顔画像を検出するようにしてもよい。 That is, the control unit 130 may detect the target user's face image using the camera 11 of the electronic device 10.

より具体的には、図３ａの（ａ）に示すように、制御部１３０は、カメラ１１により、電子機器１０の周辺にいるターゲットユーザ１０００の顔画像を検出するようにしてもよい。 More specifically, as shown in (a) of FIG. 3A, the control unit 130 may detect a face image of the target user 1000 around the electronic device 10 using the camera 11.

制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を取得し、ユーザデータベースに保存された顔画像に対応するユーザ情報を用いて、ターゲットユーザ１０００に対するユーザ認証を行うようにしてもよい。 The control unit 130 acquires a face image of the target user 1000 from the image received from the camera 11, and performs user authentication for the target user 1000 using user information corresponding to the face image stored in the user database. It's okay.

カメラ１１によりターゲットユーザ１０００の顔画像が検出（又は検知）される時点は非常に様々である。 The point in time at which the facial image of the target user 1000 is detected (or detected) by the camera 11 varies widely.

一例として、制御部１３０は、ユーザ認証が求められるターゲット機能（又は特定の機能）のアクティブ化又は実行が行われると、ターゲットユーザ１０００の顔を撮影するように、カメラ１１を制御する。 As an example, the control unit 130 controls the camera 11 to photograph the face of the target user 1000 when a target function (or a specific function) that requires user authentication is activated or executed.

ここで、ターゲット機能のアクティブ化又は実行は、ターゲットユーザ１０００又は第三者の要求に基づいて行われることもあり、制御部１３０の制御下で行われることもある。 Here, activation or execution of the target function may be performed based on a request from the target user 1000 or a third party, or may be performed under the control of the control unit 130.

例えば、ユーザ認証が求められるターゲット機能のアクティブ化又は実行の要求は、図３ａの（ａ）に示すように、電子機器１０の入力部（例えば、タッチスクリーン）を介して受信される。ターゲットユーザ１０００又は第三者は、電子機器１０の入力部を介して、ユーザ認証が求められる特定の機能のアクティブ化を要求することができる。このとき、電子機器１０のタッチスクリーンには、図示のように、ターゲット機能をアクティブ化するための要求を電子機器１０に入力する方法に関するガイド情報（例えば、「タッチして決済を開始」）が出力されるようにしてもよい。ターゲットユーザ１０００又は第三者は、ガイド情報を参照して、ユーザ認証を行うユーザ入力（例えば、タッチスクリーンへのタッチ入力）を電子機器１０に対して行うことができる。 For example, a request to activate or perform a target function that requires user authentication is received via an input unit (eg, a touch screen) of the electronic device 10, as shown in (a) of FIG. 3a. The target user 1000 or a third party can request activation of a specific function that requires user authentication via an input section of the electronic device 10. At this time, the touch screen of the electronic device 10 displays guide information (e.g., "touch to start payment") on how to input a request to the electronic device 10 to activate the target function, as shown. It may also be output. The target user 1000 or a third party can refer to the guide information and perform user input for user authentication (for example, touch input on a touch screen) to the electronic device 10.

以下、ディスプレイ部とタッチスクリーンの用語を区別せず、ディスプレイ部に統一して説明する。すなわち、以下に説明されるディスプレイ部１２は、タッチセンサを備えるものであってもよいことは言うまでもない。 Hereinafter, the terms display section and touch screen will not be differentiated, and will be collectively described as the display section. That is, it goes without saying that the display unit 12 described below may include a touch sensor.

一方、制御部１３０は、電子機器１０により、アクティブ化要求を受信すると、カメラ１１から受信した画像からターゲットユーザ１０００の顔画像を検出し、検出された顔画像を用いて、ユーザ認証のための一連のプロセスを行うようにしてもよい。 On the other hand, upon receiving the activation request by the electronic device 10, the control unit 130 detects the face image of the target user 1000 from the image received from the camera 11, and uses the detected face image to perform user authentication. A series of processes may be performed.

これとは異なり、制御部１３０は、図４ａの（ａ）及び（ｂ）に示すように、電子機器１０の周辺に人がいることが検出されると、カメラ１０によりターゲットユーザ１０００の画像が受信されるように、カメラ１０を制御してもよい。ここで、制御部１３０は、電子機器１０から所定の範囲（又は距離）内にターゲットユーザ１０００がいる場合、ターゲットユーザ１０００の顔画像を検出するように、カメラ１０を制御してもよい。制御部１３０は、電子機器１０に備えられた少なくとも１つのセンサ（例えば、近接センサ、赤外線センサ、ライダーセンサなど）を用いて、電子機器１０の周辺に又は電子機器１０から所定の範囲内にターゲットユーザ１０００がいることを検出（又は感知）するようにしてもよい。 In contrast, when it is detected that there is a person around the electronic device 10, the control unit 130 displays an image of the target user 1000 using the camera 10, as shown in (a) and (b) of FIG. The camera 10 may be controlled so that the information is received. Here, if the target user 1000 is within a predetermined range (or distance) from the electronic device 10, the control unit 130 may control the camera 10 to detect the face image of the target user 1000. The control unit 130 uses at least one sensor (for example, a proximity sensor, an infrared sensor, a lidar sensor, etc.) included in the electronic device 10 to place a target around the electronic device 10 or within a predetermined range from the electronic device 10. The presence of the user 1000 may be detected (or sensed).

一方、制御部１３０は、図４ａの（ａ）に示すように、電子機器１０から所定の範囲内にターゲットユーザ１０００がいない場合、電子機器１０のディスプレイ部１２が非アクティブになるように、ディスプレイ部１２を制御してもよい。非アクティブ状態のディスプレイ部１２は、電源オフ状態、待機状態及び節電状態の少なくとも１つの状態であり得る。 On the other hand, as shown in FIG. 4A (a), when the target user 1000 is not within a predetermined range from the electronic device 10, the control section 130 controls the display so that the display section 12 of the electronic device 10 becomes inactive. The unit 12 may also be controlled. The display unit 12 in an inactive state may be in at least one of a power-off state, a standby state, and a power saving state.

また、制御部１３０は、図４ａの（ｂ）に示すように、電子機器１０から所定の範囲内にターゲットユーザ１０００がいる場合、電子機器１０のディスプレイ部１２がアクティブになるように、ディスプレイ部１２を制御してもよい。このとき、ディスプレイ部１２には、ユーザ認証が求められるターゲット機能のアクティブ化を要求する方法に関するガイド情報（例えば、「タッチして決済を開始」）が出力されるようにしてもよい。 Further, the control unit 130 controls the display unit so that the display unit 12 of the electronic device 10 becomes active when the target user 1000 is within a predetermined range from the electronic device 10, as shown in FIG. 4A (b). 12 may be controlled. At this time, guide information (for example, "touch to start payment") regarding a method for requesting activation of a target function that requires user authentication may be output to the display unit 12.

これとは異なり、制御部１３０は、所定の間隔又はリアルタイムで、カメラ１１から受信した画像にターゲットユーザ１０００の顔画像が含まれているか否かを判断するようにしてもよい。そして、判断の結果、カメラ１１から受信した画像にターゲットユーザ１０００の顔画像が含まれている場合、ターゲット機能に係るユーザ認証のための一連のプロセスを行うようにしてもよい。 Alternatively, the control unit 130 may determine whether the image received from the camera 11 includes the face image of the target user 1000 at predetermined intervals or in real time. As a result of the determination, if the face image of the target user 1000 is included in the image received from the camera 11, a series of processes for user authentication related to the target function may be performed.

一方、制御部１３０は、少なくとも１つの顔認識アルゴリズムを用いて、カメラ１１から受信した画像からターゲットユーザ１０００の顔画像を検出するようにしてもよい。本発明において活用される顔認識アルゴリズムはその種類に制限がなく、人工知能又はディープラーニングに基づいて動作するアルゴリズムも活用することができる。 On the other hand, the control unit 130 may detect the face image of the target user 1000 from the image received from the camera 11 using at least one face recognition algorithm. The type of face recognition algorithm used in the present invention is not limited, and algorithms that operate based on artificial intelligence or deep learning can also be used.

一方、制御部１３０は、カメラ１１によりターゲットユーザ１０００の顔画像が検出された場合であっても、検出された顔画像がユーザ認証を行うための所定の条件（又は所定の認証条件）を満たさない場合、所定の条件を満たす顔画像を取得するためのガイド情報を提供するようにしてもよい。 On the other hand, even if the face image of the target user 1000 is detected by the camera 11, the control unit 130 determines whether the detected face image satisfies a predetermined condition (or a predetermined authentication condition) for performing user authentication. If not, guide information for acquiring a face image that satisfies predetermined conditions may be provided.

より具体的には、制御部１３０は、カメラ１１により検出されるターゲットユーザ１０００の顔画像が所定の条件を満たすか否かを判断するようにしてもよい。ここで、所定の条件は、画像に含まれる顔画像の大きさ、顔画像に対応する顔の角度、画像での顔画像の位置、及び画像に顔立ち特徴要素（例えば、目、鼻、口）が含まれるか否かの少なくとも１つに関するものであってもよい。 More specifically, the control unit 130 may determine whether the face image of the target user 1000 detected by the camera 11 satisfies a predetermined condition. Here, the predetermined conditions include the size of the face image included in the image, the angle of the face corresponding to the face image, the position of the face image in the image, and facial feature elements (e.g., eyes, nose, mouth) in the image. may be related to at least one of the following:

制御部１３０は、図４ｂに示すように、所定の条件を満たす顔画像を取得できるように、ターゲットユーザ１０００の姿勢や位置などに関する情報の少なくとも１つをガイド情報として出力するようにしてもよい。ガイド情報は、カメラ１１とターゲットユーザ１０００の相手位置及び相手距離の少なくとも一方に関するものであってもよい。 As shown in FIG. 4b, the control unit 130 may output at least one piece of information regarding the posture, position, etc. of the target user 1000 as guide information so that a face image that satisfies a predetermined condition can be obtained. . The guide information may relate to at least one of the position and distance between the camera 11 and the target user 1000.

例えば、制御部１３０は、ガイド情報として、ｉ）図４ｂの（ａ）、（ｂ）、（ｅ）に示すように、電子機器に対するターゲットユーザ１０００の位置情報（例えば、近づいてください、後ろに下がってください、画面に位置を合わせてください）、ｉｉ）図４ｂの（ｃ）に示すように、ターゲットユーザ１０００の姿勢情報（例えば、画面を見てください）、ｉｉｉ）図４ｂの（ｄ）に示すように、ターゲットユーザ１０００の顔が物体（例えば、マスク）に隠れている場合にその除去を誘導する情報（例えば、マスクを外してください）などが提供されてもよい。 For example, the control unit 130 may include, as guide information, i) location information of the target user 1000 with respect to the electronic device (for example, please approach, please move behind the ii) posture information of the target user 1000 (e.g., please look at the screen), as shown in FIG. 4b(c); iii) FIG. 4b(d) As shown in , when the face of the target user 1000 is hidden by an object (for example, a mask), information (for example, please remove the mask) that guides the removal of the object may be provided.

このようにしてカメラ１１によりターゲットユーザ１０００の顔画像が検出されると、本発明においては、検出された顔画像に対応するユーザ情報をユーザデータベースから抽出する過程を行う（Ｓ２２０）。 When the face image of the target user 1000 is detected by the camera 11 in this manner, the present invention performs a process of extracting user information corresponding to the detected face image from the user database (S220).

より具体的には、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を抽出し、抽出された顔画像に対応（又はマッチ）するユーザ情報をユーザデータベースから抽出するようにしてもよい。 More specifically, the control unit 130 extracts the face image of the target user 1000 from the image received from the camera 11, and extracts user information corresponding to (or matches) the extracted face image from the user database. You can also do this.

前述したように、ユーザデータベースに保存されているユーザ情報は、「ユーザ関連情報」、「ユーザの身元情報」又は「ユーザの識別情報」と言及されてもよい。 As mentioned above, the user information stored in the user database may be referred to as "user-related information," "user identity information," or "user identification information."

ユーザデータベースは、保存部１２０、データベースサーバ１４０及びクラウドサーバの少なくとも１つに含まれるようにしてもよい。 The user database may be included in at least one of the storage unit 120, the database server 140, and the cloud server.

制御部１３０は、ターゲットユーザ１０００の顔画像に対応する人物をユーザデータベースから検索し、検索された人物にマッチするユーザ情報を抽出するようにしてもよい。 The control unit 130 may search the user database for a person corresponding to the face image of the target user 1000, and extract user information that matches the searched person.

ユーザデータベースには、個別の人物（又は人）単位で、それぞれの人物に関するユーザ情報が保存されるようにしてもよい。すなわち、ユーザデータベースには、異なる人物毎にそれぞれに対応するユーザ情報がマッチして保存されるようにしてもよい。 The user database may store user information regarding each individual person (or persons). That is, the user database may store matching user information corresponding to different people.

ここで、ユーザ情報には、それぞれの人物に該当する人の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社員番号、ＩＤ、顔画像、生体情報（指紋情報、虹彩情報など）、参照顔画像、電子機器の識別情報、日程（スケジュール）情報、特定の機能（又は特定のイベント）に関する権限情報の少なくとも１つが含まれるようにしてもよい。 Here, the user information includes the name, date of birth, address, telephone number, email address, account information, employee number, ID, facial image, biometric information (fingerprint information, iris information, etc.) of the person corresponding to each person. ), a reference facial image, electronic device identification information, schedule information, and authority information regarding a specific function (or specific event).

ここで、参照顔画像は、特定の人物の顔画像であり、１つでも複数でもよい。本発明において、「参照顔画像」は「参照データ」と言及されてもよい。 Here, the reference face image is a face image of a specific person, and may be one or more. In the present invention, the "reference face image" may be referred to as "reference data."

制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 The control unit 130 compares the target user's face image acquired by the camera 11 with a reference face image stored in the user database, and searches for a person who matches the reference face image corresponding to the target user's face image. You can do it like this. Further, the control unit 130 may specify the searched person as a target user, and extract user information matching the searched person from the user database.

制御部１３０は、検出されたターゲットユーザ１０００の顔画像に対して所定の条件を満たす類似度を有する特定の参照顔画像をユーザデータベースから抽出するようにしてもよい。また、制御部１３０は、抽出された特定の参照顔画像にマッチする人物をターゲットユーザとして特定するようにしてもよい。 The control unit 130 may extract from the user database a specific reference face image having a degree of similarity that satisfies a predetermined condition with respect to the detected face image of the target user 1000. Further, the control unit 130 may specify a person who matches the extracted specific reference face image as the target user.

制御部１３０は、図３ａの（ｂ）に示すように、ターゲットユーザ１０００の検索が行われている間、現在の進行状況に関する案内情報（例えば、「あなたを検索しています」）が電子機器１０に出力されるように、ディスプレイ部１２を制御してもよい。制御部１３０は、ユーザ認証の現在の進行状況に関する案内情報（例えば、「あなたを検索しています」）をディスプレイ部１２に提供するようにしてもよい。 As shown in FIG. 3A (b), while the search for the target user 1000 is being performed, the control unit 130 displays guidance information regarding the current progress (for example, "Searching for you") on the electronic device. The display section 12 may be controlled so that the information is output to the screen 10. The control unit 130 may provide the display unit 12 with guidance information regarding the current progress of user authentication (eg, “Searching for you”).

図示のように、ディスプレイ部１２には、カメラ１１により撮影された画像が出力されてもよい。このとき、ディスプレイ部１２に出力される画像には、ターゲットユーザ１０００の顔画像が含まれてもよい。 As illustrated, an image taken by the camera 11 may be output to the display unit 12. At this time, the image output to the display unit 12 may include a facial image of the target user 1000.

一方、前述したように、ターゲットユーザ１０００に該当する人物が特定され、特定された人物（例えば、佐藤＊美）に関するユーザ情報が出力される場合、制御部１３０は、ユーザ情報の少なくとも一部をディスプレイ部１２に提供するようにしてもよい。 On the other hand, as described above, when a person corresponding to the target user 1000 is specified and user information regarding the specified person (for example, Sato*Mi) is output, the control unit 130 outputs at least part of the user information. The information may be provided to the display unit 12.

すなわち、図３ａの（ｃ）に示すように、ターゲットユーザ１０００に該当する人物に対応するユーザ情報の少なくとも一部（例えば、名前情報（佐藤＊美））がディスプレイ部１２に出力されるようにしてもよい。よって、ターゲットユーザ１０００は、ディスプレイ部１２に出力された情報を参照して、ユーザ自身に関するユーザ認証が行われているか否かを確認することができる。 That is, as shown in FIG. 3A (c), at least part of the user information (for example, name information (Sato*Mi)) corresponding to the person corresponding to the target user 1000 is output to the display unit 12. It's okay. Therefore, the target user 1000 can refer to the information output to the display unit 12 and check whether or not user authentication regarding the user himself/herself has been performed.

このようにしてターゲットユーザ１０００に関するユーザ情報が抽出されると、本発明においては、抽出されたユーザ情報を用いて、ターゲットユーザ１０００に対するユーザ認証を行う過程を行う（Ｓ２３０）。 When the user information regarding the target user 1000 is extracted in this manner, the present invention performs a process of user authentication for the target user 1000 using the extracted user information (S230).

より具体的には、制御部１３０は、抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。例えば、図３ａの（ｃ）に示すように、電子機器１０が配置された場所がカフェの場合、ターゲット機能は、決済機能に特定されてもよい。この場合、本発明によるユーザ認証システム１００は、ユーザ認証に基づいて決済機能が実行されるようにプログラミングされてもよい。 More specifically, the control unit 130 may use the extracted user information to perform user authentication regarding the target function. For example, as shown in FIG. 3A (c), if the place where the electronic device 10 is placed is a cafe, the target function may be specified as a payment function. In this case, the user authentication system 100 according to the present invention may be programmed such that payment functions are performed based on user authentication.

本発明において、ユーザ認証は、ターゲット機能に連携して行われるものであり、制御部１３０は、ユーザ認証の成功又は失敗を、特定の機能のｉ）承認又は拒否、ｉｉ）アクティブ化又は非アクティブ化、ｉｉｉ）実行又は非実行のための制御命令として活用してもよい。 In the present invention, user authentication is performed in cooperation with a target function, and the control unit 130 determines the success or failure of user authentication by i) approving or rejecting, ii) activating or inactivating a specific function. iii) may be used as a control command for execution or non-execution.

例えば、ユーザ認証に成功した場合、制御部１３０は、ターゲット機能を承認、アクティブ化又は実行するようにしてもよい。また、ユーザ認証に失敗した場合、制御部１３０は、特定の機能を拒否、非アクティブ化又は非実行するようにしてもよい。 For example, if the user authentication is successful, the control unit 130 may approve, activate, or execute the target function. Furthermore, if user authentication fails, the control unit 130 may deny, deactivate, or not execute a specific function.

一方、制御部１３０は、ユーザ認証が行われるターゲット機能（又は特定の機能）に関する情報（ターゲット機能情報、特定機能情報）がディスプレイ部１２に出力されるように、ディスプレイ部１２を制御してもよい。 On the other hand, the control unit 130 may control the display unit 12 so that information (target function information, specific function information) regarding the target function (or specific function) for which user authentication is performed is output to the display unit 12. good.

ディスプレイ部１２には、図３ａの（ｃ）に示すように、ターゲットユーザ１０００の顔画像に基づいて検索された人物に関するユーザ情報と共に、ユーザ認証の対象となるターゲット機能に関するターゲット機能情報（例えば、「カフェラテ７００円を決済しますか」）がさらに出力されてもよい。よって、ターゲットユーザ１０００は、現在電子機器１０で行われているユーザ認証がどの機能のためのユーザ認証であるかを直観的に把握することができる。 As shown in FIG. 3A(c), the display unit 12 displays user information regarding the person searched based on the face image of the target user 1000, as well as target function information regarding the target function to be subject to user authentication (for example, ``Do you want to pay for 700 yen for a cafe latte?'') may also be output. Therefore, the target user 1000 can intuitively understand for which function the user authentication currently performed in the electronic device 10 is for.

一方、制御部１３０は、ターゲットユーザ１０００の顔画像だけでなく、ターゲットユーザ１０００のジェスチャーに基づいて、ユーザ認証を行うようにしてもよい。 On the other hand, the control unit 130 may perform user authentication based not only on the facial image of the target user 1000 but also on the gesture of the target user 1000.

制御部１３０は、カメラ１１により、ターゲットユーザ１０００の顔画像だけでなく、ターゲットユーザ１０００のジェスチャーを検出するようにしてもよい。 The control unit 130 may detect not only the facial image of the target user 1000 but also the gesture of the target user 1000 using the camera 11.

ここで、ターゲットユーザ１０００のジェスチャーは、ターゲットユーザ１０００の身振り、行動及び口振りの少なくとも１つが含まれるようにしてもよい。 Here, the gestures of the target user 1000 may include at least one of the target user's 1000 gestures, actions, and mouth movements.

制御部１３０は、ターゲットユーザ１０００のジェスチャーに基づいて、ターゲットユーザ１０００に対するユーザ認証を完了するか否かを決定するようにしてもよい。 The control unit 130 may determine whether to complete user authentication for the target user 1000 based on the gesture of the target user 1000.

このとき、制御部１３０は、ジェスチャーをした主体の顔画像と、既に検出されたターゲットユーザ１０００の顔画像とを比較し、当該ジェスチャーがターゲットユーザ１０００のジェスチャーであるか否かを判断するようにしてもよい。また、制御部１３０は、ジェスチャーをした主体がターゲットユーザ１０００である場合に限り、ユーザ認証を完了するようにしてもよい。 At this time, the control unit 130 compares the face image of the subject who made the gesture with the already detected face image of the target user 1000, and determines whether the gesture is that of the target user 1000. It's okay. Further, the control unit 130 may complete the user authentication only when the subject who made the gesture is the target user 1000.

ここで、「ユーザ認証の完了」とは、ユーザ認証の最終状態に関連し、ユーザ認証の最終状態には、ｉ）ユーザ認証の成功及びｉｉ）ユーザ認証の失敗の少なくとも一方の状態が含まれるようにしてもよい。 Here, "completion of user authentication" refers to the final state of user authentication, and the final state of user authentication includes at least one of i) successful user authentication and ii) failed user authentication. You can do it like this.

本発明において、ユーザ認証の最終状態とは、ターゲットユーザ１０００に対応する人物を検索し、その後ターゲットユーザ１０００のジェスチャーに基づいてターゲット機能（又は特定の機能）の承認、拒否、実行、非実行、アクティブ化又は非アクティブ化を決定した状態を意味する。 In the present invention, the final state of user authentication means searching for a person corresponding to the target user 1000, and then approving, rejecting, executing, or not executing the target function (or a specific function) based on the gesture of the target user 1000. It means a state in which activation or deactivation has been determined.

すなわち、制御部１３０により、ターゲットユーザ１０００に対応する人物が検索され、当該人物に関するユーザ情報が抽出された場合であっても、制御部１３０は、ターゲットユーザ１０００のジェスチャーに基づいて、特定の機能（例えば、決済機能）の実行を拒否することができる。 That is, even when the control unit 130 searches for a person corresponding to the target user 1000 and extracts user information regarding the person, the control unit 130 performs a specific function based on the gesture of the target user 1000. (e.g., payment functions).

ここで、制御部１３０は、図３ａの（ｃ）に示すように、ターゲットユーザ１０００に関するユーザ情報（例えば、名前情報）及びユーザ認証が求められるターゲット機能に関する情報（例えば、決済機能情報）の少なくとも一方をディスプレイ部１２に出力し、その後ターゲットユーザ１０００のジェスチャーを検出するようにしてもよい。これは、ターゲットユーザ１０００がディスプレイ部１２からユーザ認証の現在の進行状況を確認した後に行うジェスチャーを検出するためのものである。すなわち、ターゲットユーザ１０００は、ディスプレイ部１２に出力された情報に基づいて、現在行われているユーザ認証がどの機能のユーザ認証であるかの状況を把握することができ、当該状況を確認した後、ユーザ認証の意思をジェスチャーで示すことができる。 Here, as shown in FIG. 3A (c), the control unit 130 stores at least the user information (for example, name information) regarding the target user 1000 and the information (for example, payment function information) regarding the target function that requires user authentication. One may be output to the display unit 12, and then the gesture of the target user 1000 may be detected. This is to detect a gesture that the target user 1000 performs after confirming the current progress status of user authentication from the display unit 12. That is, the target user 1000 can grasp the status of which function the user authentication currently being performed is based on the information output to the display unit 12, and after confirming the status, , users can indicate their intention to authenticate with gestures.

制御部１３０は、ユーザ情報（例えば、名前情報）及びユーザ認証が求められるターゲット機能に関する情報（例えば、決済機能情報）の少なくとも一方がディスプレイ部１２に出力された状態で、カメラ１１から画像を受信するようにしてもよい。また、制御部１３０は、受信した画像からターゲットユーザ１０００のジェスチャーを検出するようにしてもよい。 The control unit 130 receives the image from the camera 11 while at least one of user information (for example, name information) and information regarding a target function that requires user authentication (for example, payment function information) is output to the display unit 12. You may also do so. Further, the control unit 130 may detect a gesture of the target user 1000 from the received image.

なお、本発明においては、ターゲットユーザ１０００のジェスチャーを検出するために、カメラ１１から画像を受信する時点や、受信した画像からジェスチャーを検出する時点を様々に変更してもよいことは言うまでもない。 Note that, in the present invention, in order to detect the gesture of the target user 1000, it goes without saying that the time point at which the image is received from the camera 11 and the time point at which the gesture is detected from the received image may be changed in various ways.

一方、保存部１２０には、異なる制御命令にそれぞれ対応するジェスチャーに関する情報が保存されてもよい。よって、制御部１３０は、受信した画像からターゲットユーザ１０００のジェスチャーを検出し、検出されたジェスチャーにマッチする制御命令を保存部１２０から抽出するようにしてもよい。また、制御部１３０は、ユーザ認証が求められるターゲット機能に対して、抽出された制御命令に対応する制御を行うようにしてもよい。 Meanwhile, the storage unit 120 may store information regarding gestures corresponding to different control commands. Therefore, the control unit 130 may detect the gesture of the target user 1000 from the received image and extract from the storage unit 120 a control command that matches the detected gesture. Furthermore, the control unit 130 may control a target function that requires user authentication in accordance with the extracted control command.

一例として、制御部１３０は、ターゲットユーザ１０００のジェスチャーが、ユーザ認証に同意する制御命令にマッチする所定の第１ジェスチャーに対応する場合、ターゲット機能に係るユーザ認証を成功として処理するようにしてもよい。例えば、制御部１３０は、図３ｂの（ａ）に示すように、カメラ１１から受信した画像から、ターゲットユーザ１０００による第１ジェスチャー（例えば、首を縦に振る動作）が検出されると、特定の機能（又はターゲット機能）に係るユーザ認証を成功として処理するようにしてもよい。例えば、特定の機能は、図示のように、決済機能であってもよい。制御部１３０は、図示のように、ユーザ認証の処理結果に関する情報３４０（例えば、「決済が完了しました」）をディスプレイ部１２に提供するようにしてもよい。よって、ディスプレイ部１２には、ユーザ認証の処理結果に関する情報３４０が出力される。 As an example, the control unit 130 may process the user authentication related to the target function as successful if the gesture of the target user 1000 corresponds to a predetermined first gesture that matches a control command agreeing to user authentication. good. For example, as shown in (a) of FIG. 3b, when a first gesture (for example, an action of shaking the head vertically) by the target user 1000 is detected from the image received from the camera 11, the control unit 130 specifies the The user authentication related to the function (or the target function) may be treated as successful. For example, the particular function may be a payment function, as shown. As shown in the figure, the control unit 130 may provide the display unit 12 with information 340 regarding the user authentication processing result (for example, “Payment has been completed”). Therefore, information 340 regarding the user authentication processing result is output to the display unit 12.

他の例として、制御部１３０は、ターゲットユーザ１０００のジェスチャーが、ユーザ認証を拒否する（ユーザ認証に同意しない）制御命令にマッチする所定の第２ジェスチャーに対応する場合、ターゲット機能に係るユーザ認証を失敗として処理するようにしてもよい。例えば、制御部１３０は、図３ｂの（ｂ）に示すように、カメラ１１から受信した画像から、ターゲットユーザ１０００による第２ジェスチャー（例えば、首を横に振る動作）が検出されると、特定の機能（又はターゲット機能）に係るユーザ認証を失敗として処理するようにしてもよい。例えば、特定の機能は、図示のように、決済機能であってもよい。制御部１３０は、図示のように、ユーザ認証の処理結果に関する情報３５０（例えば、「決済がキャンセルされました」）をディスプレイ部１２に提供するようにしてもよい。よって、ディスプレイ部１２には、ユーザ認証の処理結果に関する情報３５０が出力される。 As another example, if the gesture of the target user 1000 corresponds to a predetermined second gesture that matches a control command to deny user authentication (disagree with user authentication), the control unit 130 performs user authentication related to the target function. may be treated as a failure. For example, as shown in FIG. 3B (b), when a second gesture (for example, shaking the head) by the target user 1000 is detected from the image received from the camera 11, the control unit 130 specifies the The user authentication related to the function (or target function) may be treated as a failure. For example, the particular function may be a payment function, as shown. As shown in the figure, the control unit 130 may provide the display unit 12 with information 350 regarding the user authentication processing result (for example, “payment has been cancelled”). Therefore, information 350 regarding the user authentication processing result is output to the display unit 12.

よって、本発明によるユーザ認証方法及びシステムにおいては、検出されたユーザの顔画像だけでなく、ユーザのジェスチャーに基づいて、ユーザ認証に関するユーザの意図を把握することができる。よって、本発明によるユーザ認証方法及びシステムにおいては、ユーザのジェスチャーに基づいて、ユーザ認証を行おうとするユーザの真偽を把握し、ユーザの意図に基づいてユーザ認証を行うことができる。 Therefore, in the user authentication method and system according to the present invention, it is possible to understand the user's intention regarding user authentication based not only on the detected face image of the user but also on the user's gesture. Therefore, in the user authentication method and system according to the present invention, the authenticity of the user who is attempting to perform user authentication can be ascertained based on the user's gesture, and the user authentication can be performed based on the user's intention.

一方、制御部１３０は、図３ａの（ｃ）に示すように、ジェスチャーにマッチする制御命令に関するガイド情報３２０をディスプレイ部１２に提供するようにしてもよい。よって、ターゲットユーザ１０００は、特定の機能において所望の結果を得るためにどのジェスチャーをすべきかを直観的に把握することができる。 Meanwhile, the control unit 130 may provide the display unit 12 with guide information 320 regarding a control command that matches the gesture, as shown in FIG. 3A (c). Therefore, the target user 1000 can intuitively understand which gesture to perform in order to obtain a desired result in a specific function.

一方、制御部１３０は、ユーザ認証が完了すると、カメラ１１により取得されたターゲットユーザ１０００の顔画像がユーザデータベースに含まれるようにしてもよい。制御部１３０は、ターゲットユーザ１０００に対応する人物のユーザ情報に顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。 On the other hand, the control unit 130 may cause the face image of the target user 1000 acquired by the camera 11 to be included in the user database when user authentication is completed. The control unit 130 may update the user database so that the user information of the person corresponding to the target user 1000 includes a facial image.

以下、カメラに認識されたターゲットユーザに対するユーザ認証を行う過程で他のユーザが認識された場合について説明する。 Hereinafter, a case will be described in which another user is recognized in the process of user authentication for a target user recognized by a camera.

本発明においては、図５の（ａ）及び（ｂ）に示すように、ターゲットユーザ１０００ａに対するユーザ認証が行われている状態で、図５の（ｃ）に示すように、カメラ１１によりターゲットユーザ１０００ａの顔画像と共に他のユーザ１０００ｂの顔画像が検出されることがある。ここで、他のユーザ１０００ｂは、ユーザ認証を行おうとするユーザ又はターゲットユーザ１０００ａを隠すユーザである。 In the present invention, as shown in FIGS. 5(a) and 5(b), while user authentication is being performed for the target user 1000a, as shown in FIG. 5(c), the target user is A face image of another user 1000b may be detected together with the face image of user 1000a. Here, the other user 1000b is a user who attempts user authentication or a user who hides the target user 1000a.

制御部１３０は、ターゲットユーザ１０００ａに対するユーザ認証を完了するために、他のユーザ１０００ｂが認識されても、ターゲットユーザ１０００ａに対するユーザ認証を行い続けるようにしてもよい。例えば、制御部１３０は、ターゲットユーザ１０００ａが他のユーザ１０００ｂに隠れた状態でカメラ１１に認識されたとしても、ターゲットユーザ１０００ａの少なくとも一部が認識されていさえすれば、ターゲットユーザ１０００ａに対するユーザ認証を行い続けるようにしてもよい。すなわち、本発明において、制御部１３０は、ターゲットユーザ１０００ａがカメラ１１の周辺に居続ける状況を、ターゲットユーザ１０００ａがユーザ認証を継続して行おうとする意図であるとして把握してもよい。 In order to complete user authentication for the target user 1000a, the control unit 130 may continue to perform user authentication for the target user 1000a even if another user 1000b is recognized. For example, even if the target user 1000a is recognized by the camera 11 while being hidden behind another user 1000b, the control unit 130 can perform user authentication for the target user 1000a as long as at least a part of the target user 1000a is recognized. You may continue to do so. That is, in the present invention, the control unit 130 may grasp the situation in which the target user 1000a continues to be around the camera 11 as indicating that the target user 1000a intends to continue user authentication.

一方、制御部１３０は、図５の（ｃ）に示すように、他のユーザ１０００ｂが所定時間以上カメラ１１により検出されると、ターゲットユーザ１０００ａに対するユーザ認証を終了するようにしてもよい。また、制御部１３０は、図５の（ｄ）に示すように、カメラ１１から受信した画像から他のユーザ１０００ｂの顔画像を検出するようにしてもよい。さらに、制御部１３０は、検出された他のユーザ１０００ｂの顔画像とユーザデータベースに含まれる参照顔画像とを比較し、他のユーザ１０００ｂに対応する人物を特定するようにしてもよい。さらに、制御部１３０は、特定された人物にマッチするユーザ情報をユーザデータベースから抽出し、抽出されたユーザ情報を用いて、他のユーザ１０００ｂに対して前述した一連のユーザ認証過程を行うようにしてもよい。この場合、ターゲットユーザ１０００ａに対するユーザ認証が完了していない状態であっても、制御部１３０は、ターゲットユーザ１０００ａに対するユーザ認証を終了するようにしてもよい。 On the other hand, the control unit 130 may terminate the user authentication for the target user 1000a when another user 1000b is detected by the camera 11 for a predetermined period of time or longer, as shown in FIG. 5(c). Further, the control unit 130 may detect the face image of the other user 1000b from the image received from the camera 11, as shown in FIG. 5(d). Further, the control unit 130 may compare the detected face image of the other user 1000b with a reference face image included in the user database to identify the person corresponding to the other user 1000b. Further, the control unit 130 extracts user information that matches the identified person from the user database, and uses the extracted user information to perform the above-described series of user authentication processes for the other user 1000b. It's okay. In this case, the control unit 130 may end the user authentication for the target user 1000a even if the user authentication for the target user 1000a is not completed.

このように、制御部１３０は、カメラ１１により検出されるターゲットユーザ１０００ａ及び他のユーザ１０００ｂに関する情報に基づいて、ユーザ認証を行おうとするターゲットユーザ１０００ａ及び他のユーザ１０００ｂの意図を判断するようにしてもよい。また、制御部１３０は、判断結果に基づいて、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂのいずれかのユーザに対するユーザ認証を行うようにしてもよい。 In this way, the control unit 130 determines the intention of the target user 1000a and other users 1000b to perform user authentication based on the information regarding the target user 1000a and other users 1000b detected by the camera 11. It's okay. Further, the control unit 130 may perform user authentication for either the target user 1000a or the other user 1000b based on the determination result.

制御部１３０は、所定の検出条件に基づいて、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂのいずれかのユーザに対するユーザ認証を行うようにしてもよい。ここで、所定の検出条件は、カメラ１１から受信した画像からターゲットユーザ１０００ａ及び他のユーザ１０００ｂの顔画像が検出された時間の長さ、姿勢及び占有面積の少なくとも１つに基づいて決定されるようにしてもよい。 The control unit 130 may perform user authentication for either the target user 1000a or the other user 1000b based on predetermined detection conditions. Here, the predetermined detection condition is determined based on at least one of the length of time, posture, and occupied area during which the face images of the target user 1000a and the other users 1000b were detected from the images received from the camera 11. You can do it like this.

例えば、所定の検出条件は、ｉ）ターゲットユーザ１０００ａに対してユーザ認証が行われている状態で、カメラ１１により他のユーザ１０００ｂの顔画像が所定時間以上検出されたか否か、ｉｉ）他のユーザ１０００ｂの顔画像がカメラ１１の正面を向いているか否か、ｉｉｉ）ターゲットユーザ１０００ａがカメラ１１を見ていないかどうか、ｉｖ）カメラ１１から受信した画像において、ターゲットユーザ１０００ａの顔画像が占める比率が他のユーザ１０００ｂの顔画像が占める比率より小さいか否かなどのサブ条件の少なくとも１つを組み合わせて設定してもよい。 For example, the predetermined detection condition is i) whether or not the face image of another user 1000b has been detected by the camera 11 for a predetermined time or longer while user authentication is being performed for the target user 1000a; and ii) if the other user iii) whether the target user 1000a is not looking at the camera 11; iv) the face image of the target user 1000a occupies the image received from the camera 11; At least one sub-condition, such as whether the ratio is smaller than the ratio occupied by the face image of another user 1000b, may be set in combination.

よって、制御部１３０は、カメラ１１から受信した画像において、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂの少なくとも一方の顔画像の検出時間をカウントするか又は占有面積を算出し、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂのいずれかのユーザに対するユーザ認証を行うようにしてもよい。 Therefore, the control unit 130 counts the detection time or calculates the occupied area of the face image of at least one of the target user 1000a and the other user 1000b in the image received from the camera 11, and calculates the area occupied by the target user 1000a and the other user 1000b. User authentication may be performed for any user of 1000b.

このように、制御部１３０は、カメラ１１により検出されるターゲットユーザ１０００ａ及び他のユーザ１０００ｂに関する情報に基づいて、ユーザ認証を行おうとするターゲットユーザ１０００ａ及び他のユーザ１０００ｂの意図を判断することにより、ユーザに対する適切なユーザ認証を提供することができる。 In this way, the control unit 130 determines the intention of the target user 1000a and other users 1000b to perform user authentication based on the information regarding the target user 1000a and other users 1000b detected by the camera 11. , can provide appropriate user authentication for the user.

以下、ユーザデータベースにおいてターゲットユーザ１０００に対応する人物の特定が誤っているか又は複数の人物が特定された場合の処理方法について説明する。 The following describes a processing method when the person corresponding to the target user 1000 in the user database is incorrectly specified or a plurality of persons are specified.

前述したように、制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 As described above, the control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and determines whether the target user's face image matches the reference face image corresponding to the target user's face image. You may also search for a person who does. Further, the control unit 130 may specify the searched person as a target user, and extract user information matching the searched person from the user database.

このとき、カメラ１１により取得されたターゲットユーザ１０００の顔画像とユーザデータベースに保存された参照顔画像との類似度が低いか、又はターゲットユーザ１０００の現在の容姿と参照顔画像の容姿とが異なる場合、制御部１３０は、ターゲットユーザ１０００に対応する人物をユーザデータベースから正確に検索することができない。 At this time, the degree of similarity between the face image of the target user 1000 acquired by the camera 11 and the reference face image stored in the user database is low, or the current appearance of the target user 1000 is different from the appearance of the reference face image. In this case, the control unit 130 cannot accurately search the user database for a person corresponding to the target user 1000.

そこで、本発明においては、ガイド情報を提供して、ターゲットユーザ１０００がいつでもそれに対するフィードバックを電子機器１０又は制御部１３０に入力できるようにしてもよい。 Therefore, in the present invention, guide information may be provided so that the target user 1000 can input feedback thereto into the electronic device 10 or the control unit 130 at any time.

例えば、図６ａの（ａ）及び（ｂ）に示すように、制御部１３０は、ターゲットユーザに対応する人物に関するユーザ情報（例えば、鈴木久＊＊、高橋理＊）が抽出された場合であっても、抽出されたユーザ情報が誤っているか否かの入力を受けるためのＧＵＩ６１０、６２０又はグラフィックオブジェクトをディスプレイ部１２に提供するようにしてもよい。 For example, as shown in (a) and (b) of FIG. 6a, the control unit 130 controls the control unit 130 when user information regarding a person corresponding to the target user (for example, Hisashi Suzuki**, Osamu Takahashi*) is extracted. However, the display unit 12 may be provided with a GUI 610, 620 or a graphic object for receiving an input as to whether the extracted user information is incorrect.

制御部１３０は、ＧＵＩ６１０、６２０が選択されると、カメラ１１によりターゲットユーザを再び撮影し、再び撮影された画像からターゲットユーザの顔画像を検出するようにしてもよい。また、制御部１３０は、検出された顔画像に対応する人物をユーザデータベースから再び検索し、再び検索された人物に関するユーザ情報がディスプレイ部１２に出力されるようにしてもよい。 When the GUI 610 or 620 is selected, the control unit 130 may photograph the target user again using the camera 11 and detect the face image of the target user from the photographed image again. Further, the control unit 130 may search the user database again for the person corresponding to the detected face image, and output user information regarding the person searched again to the display unit 12.

ここで、再び検索された人物と再び検索する前に検索された人物とが同一人物である場合、制御部１３０は、顔認識方法ではなく、他の方法でユーザ認証プロセスを実行するようにしてもよい。再び検索された人物に関するユーザ情報は、ディスプレイ部１２に出力されないようにしてもよい。 Here, if the person searched again and the person searched before the search again are the same person, the control unit 130 executes the user authentication process using another method instead of the face recognition method. Good too. The user information regarding the person searched again may not be output to the display unit 12.

一方、再び検索された人物と再び検索する前に検索された人物とが同一人物である場合、制御部１３０は、ターゲットユーザからターゲットユーザの識別情報（例えば、電話番号、社員番号、アカウント情報、住所、名前など）の入力を受けるためのＧＵＩをディスプレイ部１２に提供するようにしてもよい。また、制御部１３０は、ＧＵＩにより入力されたターゲットユーザの識別情報を用いて、ターゲットユーザに対応する人物をユーザデータベースから検索し、検索された人物に対応するユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。 On the other hand, if the person searched again and the person searched before the search again are the same person, the control unit 130 transfers the target user's identification information (for example, phone number, employee number, account information, The display unit 12 may be provided with a GUI for receiving input of address, name, etc.). Further, the control unit 130 uses the identification information of the target user input through the GUI to search the user database for a person corresponding to the target user, and uses the user information corresponding to the searched person to search for a person corresponding to the target user. User authentication may also be performed.

制御部１３０は、検出されたターゲットユーザ１０００の顔画像に対して所定の条件を満たす類似度を有する特定の参照顔画像をユーザデータベースから抽出するようにしてもよい。また、制御部１３０は、抽出された特定の参照顔画像にマッチする人物をターゲットユーザとして特定するようにしてもよい。 The control unit 130 may extract from the user database a specific reference face image having a degree of similarity that satisfies a predetermined condition with respect to the detected face image of the target user 1000. Further, the control unit 130 may specify a person who matches the extracted specific reference face image as the target user.

前述したように、制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 As described above, the control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and determines whether the target user's face image matches the reference face image corresponding to the target user's face image. You may also search for a person who does. Further, the control unit 130 may specify the searched person as a target user, and extract user information matching the searched person from the user database.

一方、制御部１３０は、ターゲットユーザの顔画像に対して所定の条件を満たす類似度（又は所定の類似度条件）を有する参照顔画像をユーザデータベースから検索し、検索された参照顔画像に対応する人物をターゲットユーザに対応する人物として特定するようにしてもよい。このとき、ユーザデータベースから複数の参照顔画像が検索されることがある。ここで、複数の参照顔画像は、異なる人物にそれぞれ対応する画像であり得る。 On the other hand, the control unit 130 searches the user database for a reference face image having a degree of similarity that satisfies a predetermined condition (or a predetermined similarity condition) with respect to the target user's face image, and controls The person who does this may be identified as the person who corresponds to the target user. At this time, a plurality of reference face images may be searched from the user database. Here, the plurality of reference face images may be images corresponding to different people.

この場合、制御部１３０は、検索された複数の参照顔画像にそれぞれ対応する複数の人物のユーザ情報を抽出し、図６ｂの（ａ）に示すように、抽出されたユーザ情報を用いて、ターゲットユーザからユーザ自身に対応するユーザ情報の選択を受けるためのＧＵＩをディスプレイ部１２に提供するようにしてもよい。図示のように、ディスプレイ部１２には、複数の参照顔画像にそれぞれ対応する複数の人物のいずれかの選択を受けるためのグラフィックオブジェクト６３０、６４０が出力されるようにしてもよい。 In this case, the control unit 130 extracts user information of a plurality of people corresponding to the plurality of searched reference face images, and uses the extracted user information to, as shown in (a) of FIG. The display unit 12 may be provided with a GUI for receiving selection of user information corresponding to the user from the target user. As shown in the figure, graphic objects 630 and 640 may be output to the display unit 12 for receiving the selection of one of a plurality of people corresponding to a plurality of reference face images, respectively.

出力されたグラフィックオブジェクト６３０、６４０は、異なる人物にそれぞれ対応し、それぞれ対応する人物のユーザ情報（又は識別情報、例えばアカウント情報、メールアドレス、名前など）を含むようにしてもよい。 The output graphic objects 630, 640 may correspond to different people, and each may include user information (or identification information, such as account information, email address, name, etc.) of the corresponding person.

また、制御部１３０は、図６ｂの（ａ）に示すように、グラフィックオブジェクト６３０、６４０のうちターゲットユーザにより選択されたグラフィックオブジェクト６３０にマッチする特定の人物を、ターゲットユーザに対応する人物として特定するようにしてもよい。さらに、制御部１３０は、図６ｂの（ｂ）に示すように、特定された人物にマッチするユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。 Further, as shown in (a) of FIG. 6b, the control unit 130 identifies a specific person who matches the graphic object 630 selected by the target user among the graphic objects 630 and 640 as a person corresponding to the target user. You may also do so. Further, as shown in FIG. 6B (b), the control unit 130 may perform user authentication for the target user using user information that matches the identified person.

一方、制御部１３０は、ユーザ認証が完了すると、カメラ１１により取得されたターゲットユーザの顔画像がユーザデータベースに含まれるようにしてもよい。制御部１３０は、特定された人物に対応するユーザ情報に顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。 On the other hand, the control unit 130 may cause the target user's face image acquired by the camera 11 to be included in the user database when user authentication is completed. The control unit 130 may update the user database so that the user information corresponding to the identified person includes a facial image.

また、制御部１３０は、ターゲットユーザの顔画像を、ターゲットユーザに対応する人物の参照顔画像として設定するようにしてもよい。さらに、制御部１３０は、次回のターゲットユーザに対するユーザ認証が行われる場合、新たに設定された参照顔画像を用いて、ターゲットユーザを特定するようにしてもよい。 Further, the control unit 130 may set the target user's face image as a reference face image of a person corresponding to the target user. Furthermore, when the next user authentication for the target user is performed, the control unit 130 may specify the target user using the newly set reference face image.

他の例として、制御部１３０は、ターゲットユーザの顔画像に対して所定の条件を満たす類似度（又は所定の類似度条件）を有する参照顔画像をユーザデータベースから検索し、検索された参照顔画像に対応する人物をターゲットユーザに対応する人物として特定するようにしてもよい。このとき、ユーザデータベースから複数の参照顔画像が検索されることがある。ここで、複数の参照顔画像は、異なる人物にそれぞれ対応する画像であり得る。 As another example, the control unit 130 searches the user database for a reference face image that has a degree of similarity that satisfies a predetermined condition (or a predetermined similarity condition) with respect to the target user's face image, and The person corresponding to the image may be identified as the person corresponding to the target user. At this time, a plurality of reference face images may be searched from the user database. Here, the plurality of reference face images may be images corresponding to different people.

この場合、制御部１３０は、図６ｃに示すように、異なる人物にそれぞれ対応する複数の参照顔画像６７１、６７２、６７３がディスプレイ部に出力されるようにしてもよい。 In this case, the control unit 130 may output a plurality of reference face images 671, 672, and 673 corresponding to different people to the display unit, as shown in FIG. 6c.

また、制御部１３０は、複数の参照顔画像６７１、６７２、６７３のいずれかの画像がターゲットユーザにより選択されると、選択された参照顔画像にマッチする人物をターゲットユーザに対応する人物として特定するようにしてもよい。 Further, when one of the plurality of reference face images 671, 672, and 673 is selected by the target user, the control unit 130 specifies a person matching the selected reference face image as a person corresponding to the target user. You may also do so.

さらに、制御部１３０は、検索された参照顔画像が複数の場合、検索された複数の参照顔画像のうち、カメラ１１により撮影されたターゲットユーザの顔画像との類似度がより高い（又は最も高い）特定の参照顔画像（又は第１参照顔画像）にマッチする特定の人物（又は第１人物）のユーザ情報を、ユーザデータベースから抽出するようにしてもよい。 Furthermore, when there are a plurality of searched reference face images, the control unit 130 controls the control unit 130 to control the control unit 130 to control the control unit 130 to determine whether the searched reference face images have a higher degree of similarity (or the highest degree of similarity) with the target user's face image photographed by the camera 11 among the searched reference face images. The user information of a specific person (or a first person) matching a specific reference face image (or a first reference face image) may be extracted from the user database.

さらに、制御部１３０は、特定の人物（又は第１人物）のユーザ情報６５０と共に、検索された複数の参照顔画像のうち、特定の参照顔画像（又は第１参照顔画像）とは異なる他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３をディスプレイ部に提供するようにしてもよい。 Furthermore, the control unit 130 includes user information 650 about the specific person (or the first person), and also controls the user information 650 about the specific person (or the first person), as well as other information about the specific person (or the first reference facial image) that is different from the specific reference facial image (or the first reference facial image) among the plurality of searched reference facial images. Reference face images (or second reference face images) 671, 672, and 673 may be provided to the display unit.

すなわち、制御部１３０は、ターゲットユーザの顔画像との類似度が最も高い参照顔画像に対応する人物を、ターゲットユーザに対応する人物として一次特定するが、他の人物がターゲットユーザに対応する可能性も排除しない。 That is, the control unit 130 primarily identifies the person corresponding to the reference face image with the highest degree of similarity to the target user's face image as the person corresponding to the target user, but other people may correspond to the target user. Gender is not excluded either.

一方、制御部１３０は、図６ｃに示すように、特定の人物（又は第１人物）のユーザ情報６５０と共に、他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３がディスプレイ部に出力された状態で、カメラ１１０によりターゲットユーザの所定の条件を満たすジェスチャー（例えば、ユーザ認証に関するジェスチャー）が検出されると、ターゲットユーザを第１人物として特定するようにしてもよい。また、制御部１３０は、特定の人物（又は第１人物）のユーザ情報６５０を用いて、ユーザ認証を行うようにしてもよい。 On the other hand, as shown in FIG. 6c, the control unit 130 displays other reference face images (or second reference face images) 671, 672, and 673 on the display unit along with the user information 650 of the specific person (or the first person). When the camera 110 detects a gesture of the target user that satisfies a predetermined condition (for example, a gesture related to user authentication) in a state where the target user is output as the first person, the target user may be identified as the first person. Further, the control unit 130 may perform user authentication using the user information 650 of a specific person (or the first person).

一方、これとは異なり、特定の人物（又は第１人物）のユーザ情報６５０と共に、他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３がディスプレイ部に出力された状態で、ターゲットユーザにより他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３のいずれかが選択されることがある。この場合、制御部１３０は、ターゲットユーザによりユーザデータベースから選択された他の参照顔画像（又は第２参照顔画像）に対応する特定の人物（又は第２人物）を、ターゲットユーザに対応する人物として特定するようにしてもよい。また、制御部１３０は、ターゲットユーザによりユーザデータベースから選択された他の参照顔画像（又は第２参照顔画像）に対応する特定の人物（又は第２人物）のユーザ情報を抽出し、抽出されたユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。 On the other hand, unlike this, in a state where other reference face images (or second reference face images) 671, 672, 673 are output to the display unit together with the user information 650 of the specific person (or the first person), Any of the other reference face images (or second reference face images) 671, 672, and 673 may be selected by the target user. In this case, the control unit 130 converts the specific person (or second person) corresponding to the other reference face image (or second reference face image) selected from the user database by the target user to the person corresponding to the target user. It may be specified as . The control unit 130 also extracts user information of a specific person (or second person) corresponding to another reference face image (or second reference face image) selected from the user database by the target user, and User information may be used to authenticate the target user.

この場合も同様に、制御部１３０は、ターゲットユーザとして特定された人物（第１人物又は第２人物）に対応するユーザ情報に、カメラ１１により取得されたターゲットユーザの顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。また、制御部１３０は、ターゲットユーザの顔画像を、ターゲットユーザに対応する人物の参照顔画像として設定するようにしてもよい。さらに、制御部１３０は、次回のターゲットユーザに対するユーザ認証が行われる場合、新たに設定された参照顔画像を用いて、ターゲットユーザを特定するようにしてもよい。 In this case as well, the control unit 130 controls the user information corresponding to the person (first person or second person) identified as the target user to include the face image of the target user acquired by the camera 11. , the user database may be updated. Further, the control unit 130 may set the target user's face image as a reference face image of a person corresponding to the target user. Furthermore, when the next user authentication for the target user is performed, the control unit 130 may specify the target user using the newly set reference face image.

以下、ユーザデータベースにターゲットユーザ１０００に対応する人物のユーザ情報が存在しない場合にユーザ認証を行う方法について説明する。 Hereinafter, a method for performing user authentication when the user database does not contain user information of a person corresponding to the target user 1000 will be described.

前述したように、制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 As described above, the control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and determines whether the target user's face image matches the reference face image corresponding to the target user's face image. You may also search for a person who does. Further, the control unit 130 may specify the searched person as a target user, and extract user information matching the searched person from the user database.

ここで、ユーザデータベースには、カメラ１１により取得されたターゲットユーザ１０００の顔画像に対応する参照顔画像が存在しないことがある。 Here, the reference face image corresponding to the face image of the target user 1000 acquired by the camera 11 may not exist in the user database.

この場合、制御部１３０は、図７ａの（ａ）及び（ｂ）に示すように、顔認識方法ではなく、他の方法でユーザ認証プロセスを実行するようにしてもよい。制御部１３０は、図７ａの（ａ）に示すように、ユーザデータベースに参照顔画像が存在しないことを通知するガイド情報７１０がディスプレイ部１２に出力されるようにしてもよい。 In this case, the control unit 130 may execute the user authentication process using another method instead of the face recognition method, as shown in FIGS. 7A and 7B. As shown in FIG. 7A, the control unit 130 may output guide information 710 to the display unit 12 to notify that the reference face image does not exist in the user database.

また、制御部１３０は、図７ａの（ｂ）に示すように、ターゲットユーザからターゲットユーザの識別情報（例えば、電話番号、社員番号、アカウント情報、住所、名前など）の入力を受けるためのＧＵＩ７２０をディスプレイ部１２に提供するようにしてもよい。 In addition, as shown in FIG. 7A (b), the control unit 130 uses a GUI 720 for receiving the target user's identification information (for example, telephone number, employee number, account information, address, name, etc.) from the target user. may be provided to the display unit 12.

このように、ユーザデータベースにターゲットユーザの顔画像に対応するユーザ情報が存在しない場合、図７ａの（ｂ）に示すように、ターゲットユーザの識別情報の入力を受けるためのＧＵＩ７２０がディスプレイ部１２に表示されるようにしてもよい。制御部１３０は、ＧＵＩ７２０により入力されたターゲットユーザの識別情報を用いて、ターゲットユーザに対応する人物をユーザデータベースから検索し、検索された人物（例えば、高橋理＊）に対応するユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。 In this way, when there is no user information corresponding to the target user's face image in the user database, the GUI 720 for receiving the input of the target user's identification information is displayed on the display unit 12, as shown in FIG. It may be displayed. The control unit 130 searches the user database for a person corresponding to the target user using the identification information of the target user inputted through the GUI 720, and uses the user information corresponding to the searched person (for example, Osamu Takahashi*). Alternatively, the target user may be authenticated.

また、制御部１３０は、カメラ１１により検出されたターゲットユーザの顔画像を検索された人物の参照顔画像として登録するためのプロセスを行うようにしてもよい。すなわち、制御部１３０は、検索された人物のユーザ情報にターゲットユーザの顔画像を含め、次回に、ターゲットユーザが顔認識方法によりユーザ認証を行えるようにしてもよい。 Further, the control unit 130 may perform a process for registering the target user's face image detected by the camera 11 as a reference face image of the searched person. That is, the control unit 130 may include the target user's face image in the user information of the searched person so that the target user can perform user authentication using a face recognition method next time.

そのために、制御部１３０は、図７ｂの（ａ）及び（ｂ）に示すように、ターゲットユーザからターゲットユーザの顔画像の登録の選択を受けるためのＧＵＩ７４０がディスプレイ部１２に出力されるようにしてもよい。ターゲットユーザによりＧＵＩ７４０が選択されると、制御部１３０は、ターゲットユーザの顔画像がターゲットユーザのユーザ情報に対応する人物の参照顔画像として登録されるように、ユーザデータベースをアップデートするようにしてもよい。 To this end, the control unit 130 causes the display unit 12 to output a GUI 740 for receiving a selection from the target user to register the target user's face image, as shown in (a) and (b) of FIG. 7b. It's okay. When the GUI 740 is selected by the target user, the control unit 130 updates the user database so that the target user's face image is registered as the reference face image of the person corresponding to the target user's user information. good.

一方、制御部１３０は、ターゲットユーザの参照顔画像がユーザデータベースに登録されていない状態で、ターゲットユーザが顔認識方法ではなく他のユーザ認証方法でユーザ認証を所定回数行った場合、ターゲットユーザの顔画像を参照顔画像として登録するためのプロセスを行うようにしてもよい。 On the other hand, if the target user performs user authentication a predetermined number of times using another user authentication method instead of the face recognition method in a state where the target user's reference face image is not registered in the user database, the control unit 130 controls the target user's A process for registering a face image as a reference face image may be performed.

より具体的には、制御部１３０は、ユーザ認証が所定回数行われる間、ターゲットユーザの複数の顔画像間の類似度を分析するようにしてもよい。すなわち、制御部１３０は、他のユーザ認証方法でターゲットユーザに対するユーザ認証が行われている場合であっても、カメラ１１によりターゲットユーザの顔画像を取得し、取得された顔画像を保存部１２０に保存するようにしてもよい。 More specifically, the control unit 130 may analyze the degree of similarity between a plurality of facial images of the target user while user authentication is performed a predetermined number of times. That is, even if the target user is authenticated using another user authentication method, the control unit 130 acquires the facial image of the target user using the camera 11 and stores the acquired facial image in the storage unit 120. You may also save it in

また、制御部１３０は、他のユーザ認証方法でユーザ認証が所定回数行われている状況で取得されたターゲットユーザの複数の顔画像間の類似度を分析するようにしてもよい。さらに、ターゲットユーザの複数の顔画像間の類似度が所定の類似度基準を満たす場合、ターゲットユーザの顔画像を登録するためのプロセスを行うようにしてもよい。 Further, the control unit 130 may analyze the degree of similarity between a plurality of facial images of the target user acquired in a situation where user authentication has been performed a predetermined number of times using another user authentication method. Furthermore, if the degree of similarity between the plurality of facial images of the target user satisfies a predetermined similarity criterion, a process for registering the facial image of the target user may be performed.

すなわち、制御部１３０は、他のユーザ認証方法でユーザ認証を行ったターゲットユーザが、ユーザ認証の対象に該当する真のユーザであるか否かを確認するために、異なる時点で取得されたターゲットユーザの顔画像間の比較を行うようにしてもよい。よって、制御部１３０は、顔画像の比較を行った結果、同じターゲットユーザが複数回（又は所定回数）にわたって同じ人物に対するユーザ認証を行った場合に限り、顔画像を登録するためのプロセスを行うようにしてもよい。 That is, the control unit 130 uses target users acquired at different times to confirm whether or not a target user who has performed user authentication using another user authentication method is a true user who is eligible for user authentication. A comparison may be made between the user's face images. Therefore, the control unit 130 performs a process for registering a face image only when the same target user performs user authentication for the same person multiple times (or a predetermined number of times) as a result of comparing the face images. You can do it like this.

以上説明したように、本発明によるユーザ認証方法及びシステムは、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 As described above, the user authentication method and system according to the present invention are intended to provide a user authentication method and system that can grasp the user's intention and perform user authentication more intuitively.

また、本発明は、ユーザが直接情報を入力することなくユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 Further, the present invention provides a user authentication method and system that allows user authentication to be performed without the user directly inputting information.

さらに、本発明は、ユーザ認証を行うかについてのユーザの真の意図を把握してユーザ認証を完了することのできるユーザ認証方法及びシステムを提供するためのものである。 Furthermore, the present invention provides a user authentication method and system that can complete user authentication while grasping the user's true intention as to whether or not to perform user authentication.

一方、コンピュータ可読媒体は、コンピュータシステムにより読み取り可能なデータが記録されるあらゆる種類の記録装置を含む。コンピュータ可読媒体の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Disk）、ＳＤＤ（Silicon Disk Drive）、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などが挙げられる。 On the other hand, the computer-readable medium includes any type of recording device on which data that can be read by a computer system is recorded. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. It will be done.

また、コンピュータ可読媒体は、ストレージを含み、電子機器が通信によりアクセスできるサーバ又はクラウドストレージであり得る。この場合、コンピュータは、有線又は無線通信により、サーバ又はクラウドストレージから本発明によるプログラムをダウンロードすることができる。 The computer-readable medium also includes storage and can be a server or cloud storage that the electronic device can access via communication. In this case, the computer can download the program according to the invention from the server or cloud storage by wired or wireless communication.

さらに、本発明において、前述したコンピュータは、プロセッサ、すなわち中央処理装置（Central Processing
Unit, CPU）が搭載された電子機器であり、その種類は特に限定されない。 Furthermore, in the present invention, the above-mentioned computer has a processor, that is, a central processing unit (Central Processing Unit).
It is an electronic device equipped with a CPU (Unit, CPU), and its type is not particularly limited.

一方、本発明の詳細な説明は例示的なものであり、あらゆる面で制限的に解釈されてはならない。本発明の範囲は添付の特許請求の範囲の合理的解釈により定められるべきであり、本発明の等価的範囲内でのあらゆる変更が本発明の範囲に含まれる。 On the other hand, the detailed description of the present invention is illustrative and should not be construed as restrictive in any respect. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all modifications within the range of equivalency of the present invention are included within the scope of the present invention.

＜＜＜ 付記 ＞＞＞
（付記１）
カメラを用いて、ターゲットユーザの顔画像を検出するステップと、
前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、
前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うステップとを含み、
前記ユーザ認証を行うステップにおいては、
前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とするユーザ認証方法。
（付記２）
前記ユーザ情報の少なくとも一部を、前記ユーザ認証を行う電子機器のディスプレイ部に提供するステップをさらに含み、
前記ユーザ認証を行うステップにおいては、
前記ユーザ情報の少なくとも一部が前記ディスプレイ部に提供された後に検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を行うことを特徴とする付記１に記載のユーザ認証方法。
（付記３）
前記ディスプレイ部には、
前記ユーザ情報の少なくとも一部に加え、前記ユーザ認証の対象となるターゲット機能に関するターゲット機能情報がさらに提供され、
前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザのジェスチャーが、前記ユーザ認証に同意する制御命令にマッチする所定の第１ジェスチャーに対応する場合、
前記ターゲット機能におけるユーザ認証を成功として処理することを特徴とする付記２に記載のユーザ認証方法。
（付記４）
前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザのジェスチャーが、前記ユーザ認証を拒否する制御命令にマッチする所定の第２ジェスチャーに対応する場合、
前記ターゲット機能におけるユーザ認証を失敗として処理することを特徴とする付記３に記載のユーザ認証方法。
（付記５）
前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザに対するユーザ認証が行われている状態で、前記カメラにより前記ターゲットユーザとは異なる他のユーザの顔画像が検出されても、前記ターゲットユーザに対するユーザ認証を行うことを特徴とする付記１～４のいずれかに記載のユーザ認証方法。
（付記６）
前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像が所定時間以上検出されると、前記ターゲットユーザに対するユーザ認証を終了することを特徴とする付記５に記載のユーザ認証方法。
（付記７）
前記ターゲットユーザに対するユーザ認証が終了した場合、
前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像に対応するユーザ情報を前記ユーザデータベースから抽出し、前記他のユーザのユーザ情報を用いて、前記他のユーザに対するユーザ認証を行うことを特徴とする付記６に記載のユーザ認証方法。
（付記８）
前記ユーザ情報を抽出するステップにおいては、
前記ターゲットユーザの顔画像と前記ユーザデータベースに保存された参照顔画像とを比較し、前記ターゲットユーザの顔画像に対する所定の類似度基準を満たす参照顔画像を検索し、
前記ユーザ情報は、
前記検索された参照顔画像に対応する人物のユーザ情報であることを特徴とする付記１～７のいずれかに記載のユーザ認証方法。
（付記９）
前記検索された参照顔画像が複数である場合、
前記ユーザ認証を行う電子機器のディスプレイ部には、
前記検索された複数の参照顔画像にそれぞれ対応する複数の人物のいずれかの選択を受けるためのグラフィックオブジェクトが出力され、
前記ユーザ認証を行うステップにおいては、
前記複数の人物のうち前記グラフィックオブジェクトにより選択された特定の人物にマッチするユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うことを特徴とする付記８に記載のユーザ認証方法。
（付記１０）
前記特定の人物にマッチするユーザ情報に前記ターゲットユーザの顔画像が含まれるように、前記ユーザデータベースをアップデートするステップをさらに含むことを特徴とする付記９に記載のユーザ認証方法。
（付記１１）
前記検索された参照顔画像が複数である場合、
前記ユーザ情報を抽出するステップにおいては、
前記検索された複数の参照顔画像のうち、前記ターゲットユーザの顔画像との類似度がより高い第１参照顔画像にマッチする第１人物のユーザ情報を前記ユーザデータベースから抽出し、
前記第１人物のユーザ情報と共に、前記検索された複数の参照顔画像のうち、前記第１参照顔画像とは異なる第２参照顔画像を、前記ユーザ認証を行う電子機器のディスプレイ部に提供することを特徴とする付記８に記載のユーザ認証方法。
（付記１２）
前記ユーザ認証を行うステップにおいては、
前記第１人物のユーザ情報及び前記第２参照顔画像が前記ディスプレイ部に提供されている状態で、前記ターゲットユーザのジェスチャーが検出されると、
前記ターゲットユーザを前記第１人物として特定し、
前記第１人物のユーザ情報を用いて、前記ユーザ認証を行うことを特徴とする付記１１に記載のユーザ認証方法。
（付記１３）
前記第１人物のユーザ情報及び前記第２参照顔画像が前記ディスプレイ部に提供されている状態で、前記ターゲットユーザにより前記第２参照顔画像が選択されると、
前記第２参照顔画像に対応する第２人物のユーザ情報を前記ユーザデータベースから抽出し、
前記第２人物のユーザ情報を用いて、前記ユーザ認証を行うことを特徴とする付記１２に記載のユーザ認証方法。
（付記１４）
前記ターゲットユーザの顔画像に対応するユーザ情報が前記ユーザデータベースに存在しない場合、
前記ユーザ認証を行う電子機器のディスプレイ部には、
前記ターゲットユーザの識別情報の入力を受けるためのＧＵＩが提供され、
前記ユーザ情報を抽出するステップにおいては、
前記ＧＵＩにより入力された前記ターゲットユーザの識別情報を用いて、前記ユーザ情報を前記ユーザデータベースから抽出することを特徴とする付記１～１３のいずれかに記載のユーザ認証方法。
（付記１５）
前記ターゲットユーザの顔画像が前記ユーザ情報に対応する人物の参照顔画像として登録されるように、前記ユーザデータベースをアップデートするステップをさらに含むことを特徴とする付記１４に記載のユーザ認証方法。
（付記１６）
前記顔画像を検出するステップにおいては、
前記カメラにより検出される前記ターゲットユーザの顔画像が所定の認証条件を満たすか否かを判断し、
前記判断の結果、前記所定の認証条件を満たさない場合、前記所定の認証条件を満たすためのガイド情報を、前記ユーザ認証を行う電子機器のディスプレイ部に提供することを特徴とする付記１～１５のいずれかに記載のユーザ認証方法。
（付記１７）
前記ガイド情報は、
前記カメラと前記ターゲットユーザの相手位置及び相手距離の少なくとも一方に関するものであることを特徴とする付記１６に記載のユーザ認証方法。
（付記１８）
ディスプレイ部と、
ターゲットユーザの顔画像を検出するカメラと、
前記顔画像に対応するユーザ情報をユーザデータベースから抽出する制御部とを含み、
前記制御部は、
前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行い、
前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とするユーザ認証システム。
（付記１９）
電子機器のコンピュータを作動させるプログラムであって、
前記プログラムは、
カメラを用いてターゲットユーザの顔画像を検出するステップ、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップ、及び前記ユーザ情報を用いて前記ターゲットユーザに対するユーザ認証を行うステップを実行させるコマンドを含み、
前記ユーザ認証を行うステップにおいては、
前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とするプログラム。 <<< Additional notes >>>
(Additional note 1)
detecting a facial image of the target user using a camera;
extracting user information corresponding to the facial image from a user database;
performing user authentication for the target user using the user information,
In the step of performing user authentication,
A user authentication method, comprising determining whether to complete the user authentication based on a gesture of the target user detected by the camera.
(Additional note 2)
further comprising the step of providing at least a portion of the user information to a display unit of the electronic device that performs the user authentication;
In the step of performing user authentication,
The user authentication method according to appendix 1, wherein the user authentication is performed based on a gesture of the target user detected after at least a part of the user information is provided to the display unit.
(Additional note 3)
The display section includes:
In addition to at least a part of the user information, target function information regarding a target function to be subject to the user authentication is further provided;
In the step of performing user authentication,
if the target user's gesture corresponds to a predetermined first gesture that matches a control instruction agreeing to the user authentication;
The user authentication method according to appendix 2, characterized in that user authentication in the target function is treated as successful.
(Additional note 4)
In the step of performing user authentication,
when the target user's gesture corresponds to a predetermined second gesture that matches the control instruction to deny the user authentication;
The user authentication method according to appendix 3, characterized in that user authentication in the target function is treated as a failure.
(Appendix 5)
In the step of performing user authentication,
Supplementary note 1, characterized in that even if the camera detects a face image of another user different from the target user while the user authentication for the target user is being performed, the user authentication for the target user is performed. The user authentication method described in any one of ~4.
(Appendix 6)
In the step of performing user authentication,
The user authentication method according to appendix 5, characterized in that when the face image of the other user is detected for a predetermined period of time or more, user authentication for the target user is terminated.
(Appendix 7)
When user authentication for the target user is completed,
In the step of performing user authentication,
Supplementary Note 6, characterized in that user information corresponding to the face image of the other user is extracted from the user database, and user authentication for the other user is performed using the user information of the other user. User authentication method.
(Appendix 8)
In the step of extracting the user information,
Comparing the target user's facial image and a reference facial image stored in the user database, searching for a reference facial image that satisfies a predetermined similarity criterion with respect to the target user's facial image;
The user information is
8. The user authentication method according to any one of appendices 1 to 7, wherein the user information is user information of a person corresponding to the searched reference face image.
(Appendix 9)
If the searched reference face images are multiple,
The display section of the electronic device that performs the user authentication includes:
outputting a graphic object for receiving selection of one of the plurality of people corresponding to the plurality of searched reference face images;
In the step of performing user authentication,
The user authentication method according to appendix 8, characterized in that user authentication for the target user is performed using user information that matches a specific person selected by the graphic object among the plurality of people.
(Appendix 10)
The user authentication method according to appendix 9, further comprising the step of updating the user database so that the user information matching the specific person includes a face image of the target user.
(Appendix 11)
If the searched reference face images are multiple,
In the step of extracting the user information,
extracting from the user database user information of a first person that matches a first reference face image with a higher degree of similarity to the target user's face image from among the plurality of searched reference face images;
A second reference face image different from the first reference face image among the plurality of searched reference face images is provided together with the user information of the first person to a display unit of the electronic device that performs the user authentication. The user authentication method according to appendix 8, characterized in that:
(Appendix 12)
In the step of performing user authentication,
When a gesture of the target user is detected while the user information of the first person and the second reference face image are provided on the display unit,
identifying the target user as the first person;
The user authentication method according to appendix 11, characterized in that the user authentication is performed using user information of the first person.
(Appendix 13)
When the second reference face image is selected by the target user while the user information of the first person and the second reference face image are provided on the display unit,
extracting user information of a second person corresponding to the second reference face image from the user database;
The user authentication method according to appendix 12, characterized in that the user authentication is performed using user information of the second person.
(Appendix 14)
If user information corresponding to the target user's face image does not exist in the user database,
The display section of the electronic device that performs the user authentication includes:
A GUI is provided for receiving input of identification information of the target user,
In the step of extracting the user information,
14. The user authentication method according to any one of appendices 1 to 13, characterized in that the user information is extracted from the user database using identification information of the target user input through the GUI.
(Appendix 15)
15. The user authentication method according to appendix 14, further comprising the step of updating the user database so that the target user's face image is registered as a reference face image of the person corresponding to the user information.
(Appendix 16)
In the step of detecting the face image,
determining whether the target user's face image detected by the camera satisfies predetermined authentication conditions;
Supplementary notes 1 to 15, characterized in that if the predetermined authentication condition is not satisfied as a result of the determination, guide information for satisfying the predetermined authentication condition is provided to a display unit of the electronic device that performs the user authentication. User authentication method described in any of the above.
(Appendix 17)
The guide information is
The user authentication method according to appendix 16, characterized in that the method relates to at least one of the location and distance between the camera and the target user.
(Appendix 18)
a display section;
A camera that detects the target user's face image,
a control unit that extracts user information corresponding to the face image from a user database,
The control unit includes:
Performing user authentication for the target user using the user information,
A user authentication system, characterized in that it is determined whether or not to complete the user authentication based on a gesture of the target user detected by the camera.
(Appendix 19)
A program that operates a computer in an electronic device,
The program is
A command for executing the steps of detecting a facial image of a target user using a camera, extracting user information corresponding to the facial image from a user database, and performing user authentication for the target user using the user information. including;
In the step of performing user authentication,
A program for determining whether to complete the user authentication based on a gesture of the target user detected by the camera.

特開２０１８－１７３８９１号公報Japanese Patent Application Publication No. 2018-173891 特開２０１４－０４８９３７号公報Japanese Patent Application Publication No. 2014-048937 特開２０２０－１１５３６１号公報Japanese Patent Application Publication No. 2020-115361 国際公開第２０２０／１３６７９５号International Publication No. 2020/136795 国際公開第２０１８／２３５１９１号International Publication No. 2018/235191 特開２００９－０９３３９９号公報Japanese Patent Application Publication No. 2009-093399

Claims (9)

カメラとディスプレイ部と制御部とを含む電子機器が実行するユーザ認証方法であって、
前記カメラを用いて、ターゲットユーザの顔画像を検出するステップと、
前記制御部が、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、
前記制御部が、前記ユーザ情報の少なくとも一部とユーザ認証が要求されるターゲット機能に関するターゲット機能情報とを、前記ディスプレイ部に提供するステップと、
前記カメラを用いて、前記ターゲットユーザのジェスチャーを検出するステップと、
前記制御部が、前記カメラにより検出された前記ターゲットユーザのジェスチャーを用いて、前記ターゲット機能の承認又は拒否のためのユーザ認証を行うステップとを含むことを特徴とするユーザ認証方法。 A user authentication method executed by an electronic device including a camera, a display unit, and a control unit,
detecting a facial image of a target user using the camera;
the control unit extracting user information corresponding to the face image from a user database;
the control unit providing the display unit with at least part of the user information and target function information regarding a target function for which user authentication is required;
detecting gestures of the target user using the camera;
A user authentication method comprising: the control unit performing user authentication for approval or rejection of the target function using gestures of the target user detected by the camera. 前記ユーザ認証を行うステップにおいては、
前記ユーザ情報の少なくとも一部と前記ターゲット機能情報とが前記ディスプレイ部に提供された後に検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を行うことを特徴とする請求項１に記載のユーザ認証方法。 In the step of performing user authentication,
The user authentication according to claim 1, wherein the user authentication is performed based on a gesture of the target user detected after at least a part of the user information and the target function information are provided to the display unit. User authentication method. 前記ユーザ認証を行うステップにおいては、
前記カメラにより検出された前記ターゲットユーザのジェスチャーが、前記ターゲット機能の承認のために予めマッチしたジェスチャーであるか否かによって、前記ターゲット機能の承認のための前記ユーザ認証の結果が異なることを特徴とする請求項１に記載のユーザ認証方法。 In the step of performing user authentication,
The result of the user authentication for approval of the target function differs depending on whether the gesture of the target user detected by the camera is a gesture that has been matched in advance for approval of the target function. The user authentication method according to claim 1. 前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザに対するユーザ認証が行われている状態で、前記カメラにより前記ターゲットユーザとは異なる他のユーザの顔画像が検出されても、前記ターゲットユーザに対するユーザ認証を行うことを特徴とする請求項１に記載のユーザ認証方法。 In the step of performing user authentication,
Claim characterized in that even if the camera detects a face image of another user different from the target user while the user authentication for the target user is being performed, the user authentication for the target user is performed. 1. The user authentication method described in 1. 前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像が所定時間以上検出されると、前記ターゲットユーザに対するユーザ認証を終了することを特徴とする請求項４に記載のユーザ認証方法。 In the step of performing user authentication,
5. The user authentication method according to claim 4, wherein when the face image of the other user is detected for a predetermined period of time or more, user authentication for the target user is terminated. 前記ターゲットユーザに対するユーザ認証が終了した場合、
前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像に対応するユーザ情報を前記ユーザデータベースから抽出し、前記他のユーザのユーザ情報を用いて、前記他のユーザに対するユーザ認証を行うことを特徴とする請求項５に記載のユーザ認証方法。 When user authentication for the target user is completed,
In the step of performing user authentication,
6. The user information corresponding to the other user's face image is extracted from the user database, and the user information of the other user is used to perform user authentication for the other user. user authentication method. 前記ターゲットユーザの顔画像に対応するユーザ情報が前記ユーザデータベースに存在しない場合、前記ユーザ認証を行う電子機器のディスプレイ部には、前記ターゲットユーザの識別情報の入力を受けるためのＧＵＩが表示され、
前記ユーザ情報を抽出するステップにおいては、
前記制御部が、前記ＧＵＩにより入力された前記ターゲットユーザの識別情報を用いて、前記ユーザ情報を前記ユーザデータベースから抽出することを特徴とする請求項１に記載のユーザ認証方法。 If user information corresponding to the face image of the target user does not exist in the user database, a GUI for receiving the input of identification information of the target user is displayed on a display unit of the electronic device that performs the user authentication;
In the step of extracting the user information,
2. The user authentication method according to claim 1, wherein the control unit extracts the user information from the user database using identification information of the target user input through the GUI. ディスプレイ部と、
ターゲットユーザの顔画像を検出するカメラと、
前記顔画像に対応するユーザ情報をユーザデータベースから抽出する制御部とを含み、
前記制御部は、
前記ユーザ情報の少なくとも一部とユーザ認証が要求されるターゲット機能に関するターゲット機能情報とを、前記ディスプレイ部に提供し、
前記カメラにより検出された前記ターゲットユーザのジェスチャーを用いて、前記ターゲット機能の承認又は拒否のためのユーザ認証を行うことを特徴とするユーザ認証システム。 a display section;
A camera that detects the target user's face image,
a control unit that extracts user information corresponding to the face image from a user database,
The control unit includes:
providing at least part of the user information and target function information regarding a target function for which user authentication is required to the display unit;
A user authentication system characterized by performing user authentication for approving or rejecting the target function using gestures of the target user detected by the camera. カメラとディスプレイ部と制御部とを含む電子機器で１つ以上のプロセスにより実行されるプログラムであって、
前記プログラムは、
前記カメラを用いて、ターゲットユーザの顔画像を検出するステップと、
前記制御部が、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、
前記制御部が、前記ユーザ情報の少なくとも一部とユーザ認証が要求されるターゲット機能に関するターゲット機能情報とを、前記ディスプレイ部に提供するステップと、
前記カメラを用いて、前記ターゲットユーザのジェスチャーを検出するステップと、
前記制御部が、前記カメラにより検出された前記ターゲットユーザのジェスチャーを用いて、前記ターゲット機能の承認又は拒否のためのユーザ認証を行うステップとを含むことを特徴とするプログラム。 A program executed by one or more processes on an electronic device including a camera, a display unit, and a control unit,
The program is
detecting a facial image of a target user using the camera;
the control unit extracting user information corresponding to the face image from a user database;
the control unit providing the display unit with at least part of the user information and target function information regarding a target function for which user authentication is required;
detecting gestures of the target user using the camera;
A program characterized in that the control unit performs user authentication for approving or rejecting the target function using a gesture of the target user detected by the camera.
JP2022128589A 2020-08-25 2022-08-12 User authentication methods, systems and programs Active JP7402940B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200106938A KR102472956B1 (en) 2020-08-25 2020-08-25 Method and ststem for user authentication
KR10-2020-0106938 2020-08-25
JP2020177544A JP7125460B2 (en) 2020-08-25 2020-10-22 User authentication method, system and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020177544A Division JP7125460B2 (en) 2020-08-25 2020-10-22 User authentication method, system and program

Publications (2)

Publication Number Publication Date
JP2022163168A JP2022163168A (en) 2022-10-25
JP7402940B2 true JP7402940B2 (en) 2023-12-21

Family

ID=80494856

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020177544A Active JP7125460B2 (en) 2020-08-25 2020-10-22 User authentication method, system and program
JP2022128589A Active JP7402940B2 (en) 2020-08-25 2022-08-12 User authentication methods, systems and programs

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020177544A Active JP7125460B2 (en) 2020-08-25 2020-10-22 User authentication method, system and program

Country Status (2)

Country Link
JP (2) JP7125460B2 (en)
KR (2) KR102472956B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230283603A1 (en) * 2022-03-04 2023-09-07 Micro Focus Llc Dynamic biometric combination authentication

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093399A (en) 2007-10-09 2009-04-30 Panasonic Corp Information display device
JP2014048937A (en) 2012-08-31 2014-03-17 Omron Corp Gesture recognition device, control method thereof, display equipment, and control program
US20150277573A1 (en) 2014-03-27 2015-10-01 Lg Electronics Inc. Display device and operating method thereof
WO2016013249A1 (en) 2014-07-24 2016-01-28 株式会社ソニー・コンピュータエンタテインメント Information processing device
JP2018173891A (en) 2017-03-31 2018-11-08 Ｎｅｃプラットフォームズ株式会社 Authentication device, authentication method, authentication program, and database
JP2019526040A (en) 2016-06-14 2019-09-12 シェンジェン ピーアールテック カンパニー リミテッド Measuring instrument data storage method and apparatus
JP2020115361A (en) 2015-09-03 2020-07-30 日本電気株式会社 Authentication device, crime prevention system, and control method and program by authentication device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100041562A (en) * 2008-10-14 2010-04-22 (주) 위트젠 Method and system for performing user authentication by face recognizing and fingerprint recognizing of user needing an authentication
JP5584578B2 (en) * 2010-10-08 2014-09-03 富士通株式会社 Biometric information registration / authentication device and registration / authentication method thereof
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
KR20150007403A (en) * 2013-07-10 2015-01-21 삼성전자주식회사 Apparatus and method for operating information searching data of persons and person recognizes method using the same
KR102386893B1 (en) * 2014-11-13 2022-04-15 삼성전자 주식회사 Method for securing image data and electronic device implementing the same
KR20160090992A (en) * 2015-01-23 2016-08-02 박현수 Security system, apparatus, and method using supplemental code
JP6475581B2 (en) 2015-07-03 2019-02-27 京セラ株式会社 Portable electronic device, control method, and control program
US10354126B1 (en) 2016-04-26 2019-07-16 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
JP6789170B2 (en) 2017-04-21 2020-11-25 株式会社ミクシィ Display device, authentication method, and authentication program
US20200201442A1 (en) 2017-06-21 2020-06-25 Mitsubishi Electric Corporation Gesture operation device and gesture operation method
KR102581179B1 (en) * 2018-05-14 2023-09-22 삼성전자주식회사 Electronic device for perfoming biometric authentication and operation method thereof
WO2020136795A1 (en) 2018-12-27 2020-07-02 日本電気株式会社 Information processing device, information processing method, and program
JP7247579B2 (en) 2018-12-27 2023-03-29 日本電気株式会社 Information processing device, information processing method and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093399A (en) 2007-10-09 2009-04-30 Panasonic Corp Information display device
JP2014048937A (en) 2012-08-31 2014-03-17 Omron Corp Gesture recognition device, control method thereof, display equipment, and control program
US20150277573A1 (en) 2014-03-27 2015-10-01 Lg Electronics Inc. Display device and operating method thereof
WO2016013249A1 (en) 2014-07-24 2016-01-28 株式会社ソニー・コンピュータエンタテインメント Information processing device
JP2020115361A (en) 2015-09-03 2020-07-30 日本電気株式会社 Authentication device, crime prevention system, and control method and program by authentication device
JP2019526040A (en) 2016-06-14 2019-09-12 シェンジェン ピーアールテック カンパニー リミテッド Measuring instrument data storage method and apparatus
JP2018173891A (en) 2017-03-31 2018-11-08 Ｎｅｃプラットフォームズ株式会社 Authentication device, authentication method, authentication program, and database

Also Published As

Publication number Publication date
KR20220166227A (en) 2022-12-16
KR20220026198A (en) 2022-03-04
KR102472956B1 (en) 2022-12-01
KR102629007B1 (en) 2024-01-25
JP2022163168A (en) 2022-10-25
JP2022037845A (en) 2022-03-09
JP7125460B2 (en) 2022-08-24

Similar Documents

Publication Publication Date Title
EP2698742B1 (en) Facial recognition similarity threshold adjustment
US20160226865A1 (en) Motion based authentication systems and methods
KR101897709B1 (en) System and method for user access of dispensing unit
US9239917B2 (en) Gesture controlled login
WO2020006252A1 (en) Biometric authentication
US20130227678A1 (en) Method and system for authenticating user of a mobile device via hybrid biometics information
JP7006584B2 (en) Biometric data processing device, biometric data processing system, biometric data processing method, biometric data processing program, storage medium for storing biometric data processing program
KR20160147515A (en) Method for authenticating user and electronic device supporting the same
JP2015201174A (en) user authentication method, system, and program
US20190130411A1 (en) Method and system for data processing
US20100157088A1 (en) Authentication apparatus and authentication method
JP2013186851A (en) Information processor for which input of information for cancelling security is required and log-in method
JP2010049357A (en) Authentication device, authentication system, and authentication method
JP7509216B2 (en) Input control device, input system, input control method and input control program
JP2023145582A (en) Multi-factor authentication for virtual reality
US20210243186A1 (en) Systems and methods for providing data access based on physical proximity to device
WO2021220423A1 (en) Authentication device, authentication system, authentication method, and authentication program
JP7402940B2 (en) User authentication methods, systems and programs
CN113826135A (en) System and method for contactless authentication using voice recognition
JP2012133565A (en) Authentication processing apparatus, authentication processing method and program
JP7004379B2 (en) Authentication device, authentication method, and authentication program
JP2013174955A (en) Information processor for which input of information for releasing security is requested and login method
JP6584855B2 (en) Input support apparatus, input support method, and program
KR102581000B1 (en) Method and ststem for providing assistant service
JP7352670B2 (en) Electronic payment methods and systems

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231211

R150 Certificate of patent or registration of utility model

Ref document number: 7402940

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350