WO2021220423A1 - 認証装置、認証システム、認証方法および認証プログラム - Google Patents

認証装置、認証システム、認証方法および認証プログラム Download PDF

Info

Publication number
WO2021220423A1
WO2021220423A1 PCT/JP2020/018169 JP2020018169W WO2021220423A1 WO 2021220423 A1 WO2021220423 A1 WO 2021220423A1 JP 2020018169 W JP2020018169 W JP 2020018169W WO 2021220423 A1 WO2021220423 A1 WO 2021220423A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
answer
target person
face
subject
Prior art date
Application number
PCT/JP2020/018169
Other languages
English (en)
French (fr)
Inventor
善裕 梶木
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/018169 priority Critical patent/WO2021220423A1/ja
Priority to JP2022518509A priority patent/JP7428242B2/ja
Priority to US17/918,608 priority patent/US20230142255A1/en
Publication of WO2021220423A1 publication Critical patent/WO2021220423A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3271—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using challenge-response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an authentication device, an authentication system, an authentication method, and an authentication program for authenticating a target person.
  • Patent Document 1 describes key authentication for authenticating an electronic key stored in a device such as an ID card.
  • Keyword authentication is inconvenient because the target person needs to carry the key in some way, and there is a high risk of unauthorized access due to theft or loss.
  • the target person and the certifier decide in advance keywords such as a PIN, password, and answer to a secret question, and authenticate by having the target person enter the keywords from the keyboard or touch panel. There is a way to do it.
  • Such an authentication method is hereinafter referred to as keyword authentication.
  • Keyword authentication is popular because it stores the authentication key in the memory of the target person and does not require any belongings.
  • keyword authentication has a problem that there is a high risk that the input from the keyboard or touch panel is stolen by a third party and the keyword is leaked and illegally accessed.
  • Patent Document 2 describes a line-of-sight input communication method using eye movements. Specifically, Patent Document 2 describes an authentication method in which the opening and closing of an eye is observed with a camera and the opening and closing order of one eye such as "right, left, left, right" is authenticated as a substitute for a personal identification number, and the direction of the line of sight. It describes how to substitute the input from the keyboard or touch panel by blinking.
  • Patent Document 3 describes a method of performing user authentication processing using line-of-sight input.
  • the line-of-sight itself may be inferred from the movement of the eyeball by a third party around, but the exact direction of the line-of-sight cannot be known unless the eyeball is viewed from an angle close to the front of the face. Therefore, it is difficult to simultaneously snoop on both the movement of the eyeball and the image in which the line of sight is directed. Therefore, this method can be said to be an effective method for solving the problem of the risk of unauthorized access.
  • biometric authentications are also known in which biometric information such as the fingerprint, face, and iris of the subject is recorded in advance and authenticated using this as a key (see, for example, Patent Documents 4 to 6).
  • Patent Document 7 describes a multi-factor authentication method for performing authentication using a plurality of elements.
  • Patent Document 8 describes a method in which password authentication using line-of-sight input and authentication using biometric information are used in combination.
  • Patent Document 9 describes a method for preventing such spoofing.
  • the face image of the subject is acquired multiple times to check the change in the face, and in the process, actions such as blinking and opening the mouth are required, and the doll is not a doll. Or check.
  • the biometric authentication described above does not require any personal belongings such as an ID card, and has the advantage that it is extremely difficult for a third party to steal the key and impersonate it.
  • a special input device may be required depending on the biometric authentication method.
  • a special input device is required, and the subject is required to perform an operation such as placing a finger or an eye in a predetermined position. Therefore, there is a problem in convenience at the time of authentication for both the authentication side and the target person.
  • biometrics face authentication does not require a special input device, and it is possible to authenticate images taken from a slightly distant position with a normal camera, so while having the advantages of biometric authentication, fingerprint authentication and It can be said that it is an extremely convenient authentication method that does not cause problems such as iris authentication.
  • face recognition if the number of people to be collated increases, the accuracy limit may be reached, and the problem of spoofing remains.
  • Patent Document 9 the subject is required to wait in front of the authentication device, blinks or opens his mouth according to the instruction until the authentication device acquires the face image a plurality of times and confirms that the face image is not spoofed. It is also described that the operation is required. However, such a response is inconvenient for the subject, impairs comfort, and as a result reduces convenience.
  • the present invention is an authentication device, an authentication system, and an authentication method capable of detecting the impersonation of the target person and authenticating the target person with high accuracy while improving the convenience at the time of authentication of the authentication side and the target person. And aims to provide an authentication program.
  • the authentication device is an authentication device that authenticates a target person, and is an output means for outputting a plurality of answer candidates to a display device in response to a question to be asked to the target person, and an imaging that captures a facial image of the target person. Based on the line of sight of the subject in the face image captured by the device, the answer specifying means for identifying the answer to the question from the answer candidates, the answer determining means for determining the correctness of the specified answer, and the imaging device for imaging.
  • a face recognition means for performing face recognition of the target person from the face image, a biometric judgment means for performing a biological judgment of the target person based on a change in the line of sight of the target person detected from a plurality of face images, and a correct / incorrect judgment. It is characterized by being provided with a subject authentication means for authenticating the subject based on the results of biometric determination and face recognition.
  • the authentication system is an authentication system that authenticates a target person, and is an imaging device that captures a face image of the target person and an output that outputs a plurality of answer candidates to a display device for a question to be asked to the target person.
  • Face recognition means for performing face recognition of the target person from the face image
  • biometric judgment means for performing the biological judgment of the target person based on the change in the line of sight of the target person detected from a plurality of face images, correctness judgment, biological judgment
  • a target person authentication means for authenticating the target person based on the result of face recognition.
  • the authentication method is an authentication method for authenticating a subject, and is an imaging device that outputs a plurality of answer candidates to a display device for a question to be asked to the subject and captures a facial image of the subject. Based on the subject's line of sight in the captured face image, the answer to the question is identified from the answer candidates, the correctness of the identified answer is judged, and the subject's face authentication is performed from the face image captured by the imaging device. Based on the change in the line of sight of the subject detected from multiple face images, the subject's biological judgment is performed, and the subject is authenticated based on the results of correctness judgment, biological judgment, and face recognition. It is characterized by doing.
  • the authentication program according to the present invention is an authentication program applied to a computer that authenticates a target person, and is an output process that outputs a plurality of answer candidates to a display device for a question to be asked to the target person.
  • Answer identification processing that identifies the answer to the question from the answer candidates based on the line of sight of the subject in the face image captured by the image pickup device that captures the face image of .
  • Face recognition processing that authenticates the subject's face from the face image captured by the imaging device
  • biometric judgment processing that determines the subject's biometrics based on changes in the subject's line of sight detected from multiple face images.
  • Another feature is that the subject authentication process for authenticating the subject is executed based on the results of the correctness determination, the biometric determination, and the face recognition.
  • the present invention it is possible to detect the impersonation of the target person and authenticate the target person with high accuracy while improving the convenience at the time of authentication of the authentication side and the target person.
  • a plurality of authentication methods are used together.
  • the combined use of the authentication method not only improves the authentication accuracy but also has the effect of reducing the risk of spoofing.
  • a method of performing authentication by a personal identification number in addition to face authentication it is possible to obtain a photo of the subject's face and impersonate the face recognition, but it will not be authenticated unless the PIN is also obtained. It has the effect of significantly reducing the risk of spoofing.
  • the advantages and convenience may be impaired. For example, when it is determined by the face authentication that the accuracy is insufficient, a method of using the key authentication as described above as the second authentication element can be considered. However, the addition of key authentication undermines the great advantage of face recognition, which eliminates the need for personal belongings.
  • a method in which the above-mentioned keyword authentication is used as the second authentication factor can be considered.
  • keyword authentication requires manual input, the advantage of face authentication that authentication can be performed even when carrying luggage in both hands is impaired.
  • the target person is based on the result of the correct / incorrect judgment of the answer by the target person and the biological judgment of the target person in addition to the face authentication of the user to be authenticated (hereinafter referred to as the target person).
  • the authentication in the present embodiment includes a broad concept of authenticating the suitability of an individual, such as identifying the target person and determining whether or not the target person has the authority.
  • the first feature of the present invention is to ask a question to the subject and present a plurality of answer candidates to the subject at random positions on the display device. Then, the subject is made to look at the answer and recognizes the answer selected from the direction of the subject's line of sight to authenticate whether the selected answer is the correct answer. In the following description, this method will be referred to as line-of-sight input keyword authentication.
  • the line-of-sight input keyword authentication replaces the keyword input in the keyword authentication from the manual input using the keyboard or touch panel to the line-of-sight input.
  • the line-of-sight input keyword authentication a third party in front of the target person can identify the direction of the target person's line of sight, but cannot see the answer candidates on the display device.
  • a third party behind the subject can see the answer candidates on the display device, but cannot see the direction of the subject's line of sight.
  • the line-of-sight input keyword authentication has an effect that the risk of the answer selected by the line of sight being stolen by a surrounding third party is extremely low.
  • this feature not only provides high security to the target person who receives personal authentication.
  • the authentication side that performs personal authentication does not need to install a wall or shield to block eavesdropping and eavesdropping from a third party, and it can be used even in an open space with many third parties around. It has convenience that cannot be obtained by general keyword authentication or keyword authentication by voice recognition.
  • a display device that mainly presents answer candidates, a camera that photographs the target person, a CPU (Central Processing Unit) that analyzes the direction of the line of sight, and the like are sufficient. .. Therefore, it can be realized only by installing the authentication program on a commercially available tablet or laptop PC. In this respect, high convenience can be provided to the authentication side.
  • a CPU Central Processing Unit
  • the line-of-sight input keyword authentication and the face authentication of the target person are used in combination.
  • the line-of-sight input keyword authentication does not require any belongings and is a hands-free type, so that there is no convenience problem such as fingerprint authentication and iris authentication. Therefore, when the line-of-sight input keyword authentication is used in combination with the face authentication, it can be said that the advantages of the face authentication are hardly impaired. Therefore, the line-of-sight input keyword authentication has an effect that cannot be obtained in combination with other authentication methods as a multi-factor authentication that reinforces face authentication.
  • both line-of-sight input keyword authentication and face authentication can share one camera that captures the face. Therefore, the cost and construction work for reinforcing face recognition to multi-factor authentication are low, and face recognition and line-of-sight direction measurement can be performed at the same time. Therefore, it is possible to obtain a practical effect that is not a mere combination, that is, the burden on both the target person and the authentication side can be reduced.
  • face authentication and measurement of the line of sight for the subject to select an answer are performed a plurality of times in parallel, and the line of sight of the person who has authenticated the face moves. It is possible to verify that it is done. This makes it possible to verify that the subject is a living body of a person.
  • Both face recognition and line-of-sight input keyword authentication are authentication methods that are difficult to impersonate by a third party.
  • a third party takes turns and receives gaze input keyword authentication, which is a spoofing with a time lag. The danger of being done remains.
  • face authentication and measurement of the line of sight for the target person to select an answer are performed a plurality of times in parallel, and it is verified that the line of sight of the person who has authenticated the face is moving.
  • face authentication and measurement of the line of sight for the target person to select an answer are performed a plurality of times in parallel, and it is verified that the line of sight of the person who has authenticated the face is moving.
  • Another feature of the present invention is that an answer candidate is presented on a display device, and the time selected by the subject by moving his / her line of sight and the result of face authentication using a face image acquired at the same time are acquired, and the result is obtained. This includes verifying that the person is a living body of a person collated by face recognition.
  • the time difference as described above is used. It has the effect of preventing spoofing.
  • a third party controls the direction of the three-dimensional doll's line of sight by changing the angle of the entire face of the three-dimensional doll, and the line-of-sight input keyword.
  • Advanced spoofing such as impersonating authentication, is also conceivable.
  • FIG. 1 is a block diagram showing a configuration example of the first embodiment of the authentication system according to the present invention.
  • the authentication system 100 of the present embodiment includes an authentication device 10, an image pickup device 20, and a display device 30.
  • the image pickup device 20 is installed in the vicinity of the display device 30 at a position where the subject can image the visual movement of the display device 30.
  • the image pickup device 20 is a device that captures a face image of a target person.
  • the image pickup apparatus 20 may acquire, for example, an image of each frame captured in time series as an image as a face image of a target person. Further, the imaging device 20 may capture a face image of the target person at the timing when a person is detected within the imaging range, or the target person may take some action on the authentication device 10 at the timing when the target person performs some action. You may take a face image of. In the example shown in FIG. 1, the case where the authentication system 100 includes two image pickup devices 20 is illustrated, but the image pickup device 20 may be one.
  • the display device 30 outputs various information in response to an instruction from the output unit 13 described later.
  • the display device 30 is realized by, for example, a display device, a tablet, or the like.
  • the authentication device 10 includes a storage unit 11, an input unit 12, an output unit 13, an answer identification unit 14, an answer determination unit 15, a face recognition unit 16, a biometric determination unit 17, and a target person authentication unit 18. including.
  • the storage unit 11 stores various information used for processing by the authentication device 10.
  • the storage unit 11 may store, for example, a face image and a feature amount used for authentication by the face recognition unit 16 described later. Further, the storage unit 11 may store a question to be asked to the target person and a candidate for answer to the question.
  • the answer candidate is information including a correct answer to the question and an incorrect answer to the question. Questions may also be prepared for each identified subject.
  • the storage unit 11 is realized by, for example, a magnetic disk or the like.
  • the input unit 12 receives the input of the face image of the target person captured by the image pickup device 20. For example, when there are a plurality of image pickup devices 20, the input unit 12 may accept the input of the face image together with the information for identifying the image pickup device 20 that has captured the face image.
  • the output unit 13 outputs a plurality of answer candidates to the display device 30 in response to the question to be asked to the target person. Specifically, when the target person appears, the output unit 13 outputs a question to the target person and a plurality of answer candidates for the question to a random position on the display device 30, and requests the target person to visually recognize the answer. I do. By outputting a plurality of answer candidates to random positions, it becomes possible to move the line of sight of the subject who confirms the answer in various directions, and the biological determination unit 17, which will be described later, facilitates the determination.
  • the content of the question and the content of the answer candidates are arbitrary and may be predetermined.
  • the output unit 13 outputs, for example, a question such as "What is the ID number?" Or "What is the password?" On the screen or the like, and displays an icon or the like in which a number from 0 to 9 is described as a plurality of answer candidates for the question. , May be output to a random position on the display device.
  • questions and answer candidates are not limited to this example.
  • the content of the question does not have to be output to the display device 30, and may be output from a speaker (not shown) or the like by voice or the like.
  • the output unit 13 may output a question peculiar to the target person and a plurality of answer candidates corresponding to the question to the display device 30. Specifically, the output unit 13 may output a secret question created by the target person and an answer candidate for the question. The output unit 13 asks, for example, a secret question such as "What is the name of the elementary school you graduated from?" Or "What is your mother's maiden name?" An answer candidate that is an answer (and an incorrect answer) to the question may be output. By using such questions and answer candidates, it is possible to enhance the security of authentication.
  • the answer specifying unit 14 identifies the answer to the question from a plurality of answer candidates based on the line of sight of the subject in the captured face image. That is, the answer specifying unit 14 measures the line-of-sight direction from the face image and identifies the answer selected from the line-of-sight direction of the target person.
  • the method of specifying the position where the subject gazes based on the subject's line of sight is arbitrary.
  • the answer specifying unit 14 may specify the position where the subject gazes at the display device 30 by using, for example, the method described in Patent Document 2.
  • the response specifying unit 14 measures the direction of the target person's line of sight from the position of the target person's eyeball, and at a position where the direction vector of the line of sight starting from the position of the target person's eye intersects the display device 30.
  • the output answer candidate may be specified as the answer selected by the target person.
  • the answer identification unit 14 may consider the answer candidate at the position where the line of sight stays for a certain period of time as the answer selected by the target person. Further, the answer specifying unit 14 may consider the answer candidate at the position indicated by the line of sight immediately before the subject blinks as the answer selected by the subject. By allowing such fluctuations, it is possible to improve the accuracy of identifying the answer selected by the subject.
  • the answer determination unit 15 determines the correctness of the specified answer. Specifically, the answer determination unit 15 collates the answer selected by the target person with the correct answer registered in advance, and determines whether the answer is correct or incorrect. Based on this determination result, the answer determination unit 15 determines that the authentication was successful if the answer is correct, and determines that the authentication could not be performed if the answer is incorrect.
  • the face recognition unit 16 authenticates the face of the target person from the captured face image.
  • the method in which the face recognition unit 16 performs face recognition of the target person is arbitrary.
  • the face recognition unit 16 extracts facial features from the face image, determines whether or not the facial features match the facial features of the person stored in the storage unit 11 in advance, and performs face recognition of the target person. May be good.
  • the biological determination unit 17 performs biological determination of the subject based on the change in the line of sight of the subject detected from the plurality of captured facial images. More specifically, the biological determination unit 17 performs biological determination of the subject based on the change in the direction of the line of sight of the subject detected from the plurality of facial images captured in time series.
  • the biological determination unit 17 receives, for example, the face images captured by the imaging device 20 in chronological order, and when the direction of the line of sight of the subject of the received face image is changing, the subject May be determined to be a living body.
  • the biological determination unit 17 continues the authentication process by the face authentication unit 16 at the time of line-of-sight input keyword authentication (that is, at the time of processing the answer identification unit 14 and the answer determination unit 15), and receives the processing result to receive the living body.
  • the determination may be made. That is, in the line-of-sight input keyword authentication, the face recognition is repeatedly performed while the target person is moving the line-of-sight direction to the output answer candidate, and as a result, the biometric determination unit 17 is authenticated by the face recognition. It can be automatically verified that the face image is a living body of a person whose line of sight has been moved.
  • the biological determination unit 17 can use this movement of the line of sight as an element of the biological determination. Become.
  • the target person authentication unit 18 authenticates the target person based on the results of correct / incorrect judgment by the response judgment unit 15, biometric judgment by the biological judgment unit 17, and face recognition by the face recognition unit 16. Specifically, when the answer determination unit 15 determines that the answer is correct, the biometric determination unit 17 determines that the target person is a living body, and the face recognition unit 16 authenticates the target person, the target person authentication unit 18 determines. , The target person authenticated by the face recognition unit 16 is authenticated as an appropriate target person, and if even one of the above determinations or authentications is not made, the target person is denied.
  • the answer identification unit 14 identifies the answer using the image (first face image) captured by the first image pickup device
  • the face recognition unit 16 identifies the answer using the image captured by the second image pickup device (first face image). Face recognition may be performed using a two-face image). In this way, by providing the image pickup device 20 that captures the face image for each process, it becomes possible to use an image suitable for each process.
  • the input unit 12, the output unit 13, the answer identification unit 14, the answer determination unit 15, the face authentication unit 16, the biometric determination unit 17, and the target person authentication unit 18 operate according to a program (authentication program). It is realized by a computer processor (for example, CPU, GPU (Graphics Processing Unit)).
  • a computer processor for example, CPU, GPU (Graphics Processing Unit)
  • the program is stored in the storage unit 11, the processor reads the program, and according to the program, the input unit 12, the output unit 13, the answer identification unit 14, the answer determination unit 15, the face recognition unit 16, and the biometric determination unit 17 And may operate as the target person authentication unit 18.
  • the functions of the input unit 12, the output unit 13, the answer identification unit 14, the answer determination unit 15, the face recognition unit 16, the biometric determination unit 17, and the target person authentication unit 18 are provided in the SaaS (Software as a Service) format. May be good.
  • the input unit 12, the output unit 13, the answer identification unit 14, the answer determination unit 15, the face recognition unit 16, the biometric determination unit 17, and the target person authentication unit 18 are each dedicated hardware. It may be realized by. Further, a part or all of each component of each device may be realized by a general-purpose or dedicated circuit (circuitry), a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by a combination of the above-mentioned circuit or the like and a program.
  • the components of the input unit 12, the output unit 13, the answer identification unit 14, the answer determination unit 15, the face recognition unit 16, the biometric determination unit 17, and the target person authentication unit 18 are information processing devices having a plurality of information processing devices.
  • a plurality of information processing devices and circuits may be centrally arranged or distributed.
  • the information processing device, the circuit, and the like may be realized as a form in which each of the client-server system, the cloud computing system, and the like is connected via a communication network.
  • FIG. 2 is a flowchart showing an operation example of the authentication system 100 of the present embodiment.
  • the output unit 13 outputs a plurality of answer candidates to the display device for the question to be asked to the target person (step S1). Then, when the imaging device 20 captures the face image of the target person, the input unit 12 acquires the captured face image in order to perform the line-of-sight input keyword authentication (step S2). The answer specifying unit 14 identifies the answer to the question from the answer candidates based on the line of sight of the subject in the captured face image. That is, the response specifying unit 14 measures the line-of-sight direction (step S3) and recognizes the answer selected from the line-of-sight direction (step S4). The processes of steps S2 and S3 are repeated until the answer is recognized.
  • the answer determination unit 15 determines the correctness of the specified answer. That is, the answer determination unit 15 determines whether the answer is correct or not (step S5). If the answer is incorrect (No in step S5), the authentication device 10 denies the authentication.
  • the input unit 12 acquires the captured face image for face authentication (step S6).
  • the image pickup device 20 may be different for the line-of-sight input keyword authentication and the face authentication.
  • the face recognition unit 16 performs face recognition of the target person from the captured face image. Specifically, the face recognition unit 16 extracts features from the face image (step S7). Then, the face recognition unit 16 determines whether or not the extracted features match the registered features (step S8). If the extracted features do not match the registered features (No in step S8), the authentication device 10 denies the authentication. The processing of steps S6 to S8 is repeated while it is determined that the characteristics match.
  • the target person authentication unit 18 determines that the target person has been authenticated when all the processes are performed correctly (Yes in step S9). That is, the target person authentication unit 18 has authenticated the target person when the answer is correct (Yes in step S5) and the extracted feature matches the registered feature (Yes in step S8). to decide. On the other hand, if even a part of the processing is not performed correctly (No in step S9), the subject authentication unit 18 denies the authentication.
  • the output unit 13 outputs a plurality of answer candidates to the display device for the question to be asked to the target person
  • the answer identification unit 14 is the face image captured by the image pickup device 20.
  • the answer determination unit 15 determines whether the specified answer is correct or incorrect.
  • the face recognition unit 16 authenticates the face of the target person from the face image captured by the image pickup device 20, and the biometric determination unit 17 detects the change in the line of sight of the target person from the plurality of face images. The biological judgment of the subject is performed.
  • the target person authentication unit 18 authenticates the target person based on the results of the correctness determination, the biological determination, and the face authentication. Therefore, it is possible to detect the impersonation of the target person and authenticate the target person with high accuracy while improving the convenience at the time of authentication of the authentication side and the target person.
  • the authentication device 10 of the present embodiment authenticates an individual with high accuracy, has a low risk of unauthorized access and spoofing, and is highly convenient for both the target person and the certifier. Can provide spoofing prevention technology.
  • the first reason is that an individual can be authenticated with high accuracy by using face recognition and line-of-sight input keyword authentication together.
  • the second reason is that the risk of unauthorized access is extremely reduced by using the biometric information of the target person, which is a face image, and the information in the memory of the target person, which is a keyword, as the key for authentication. .. Furthermore, the line of sight that can be identified from a part of the face image can be used as an action to move to select a keyword in memory, and in order to verify that it is a living body based on that action, unauthorized access or spoofing Can be extremely difficult.
  • the third reason is that in performing the above-mentioned two authentications and spoofing prevention, the target person only needs a short and small load of looking at the answer to the question presented on the display device. In addition, the target person does not need to carry anything and is hands-free, and there is no need to worry about eavesdropping or eavesdropping by a third party around him, which is extremely convenient.
  • the fourth reason is that the certifier only needs to install a display device and a camera that captures a face image in order to perform the above-mentioned two authentications and spoofing prevention.
  • This makes it possible to perform highly accurate multi-factor authentication and spoofing prevention in a short time, and it is convenient because there is no need to install walls or shields to prevent eavesdropping and eavesdropping by nearby third parties.
  • Extremely expensive For example, commercially available smartphones, tablets, and laptop PCs are often equipped with a display device and a camera for capturing a facial image. Therefore, the certifier can realize the authentication device 10 of the present embodiment by installing the program in these devices.
  • Embodiment 2 Next, a second embodiment of the authentication system according to the present invention will be described. In this embodiment, a method of preventing spoofing using a time difference will be described. First, the outline of the present embodiment will be described. In the present embodiment, the face image for performing the line-of-sight input keyword authentication is acquired, and at the same time, the face image for performing the face authentication is acquired. By performing face recognition based on the face image at the same time as the time when the subject moves his / her line of sight and selects the answer, spoofing using the time difference is prevented.
  • FIG. 3 is a block diagram showing a configuration example of a second embodiment of the authentication system according to the present invention.
  • the authentication system 200 of the present embodiment of the present embodiment includes an authentication device 110, an image pickup device 20, and a display device 30.
  • the configuration of the image pickup device 20 and the display device 30 is the same as that of the first embodiment.
  • the authentication device 110 includes a storage unit 11, an input unit 12, an output unit 13, an answer identification unit 24, an answer determination unit 15, a face recognition unit 26, a biometric determination unit 17, and a target person authentication unit 28. including. That is, in the authentication device of the present embodiment, the processes performed by the response identification unit 24, the face authentication unit 26, and the target person authentication unit 28 are the response identification unit 14, the face authentication unit 16, and the target person of the first embodiment, respectively. Partially different from the authentication unit 18. Other than that, it is the same as that of the first embodiment.
  • the answer specifying unit 24 acquires the answer time when the target person specified the answer, in addition to the processing performed by the answer specifying unit 14 of the first embodiment.
  • the face recognition unit 26 acquires the result of face recognition performed at the same time as the response time, in addition to the processing performed by the face recognition unit 16 of the first embodiment.
  • the target person authentication unit 28 authenticates that the target person is a living body of a person collated by face recognition.
  • the same frame image may be used for the face image for performing the line-of-sight input keyword authentication and the face image for performing the face authentication.
  • the input unit 12, the output unit 13, the answer identification unit 24, the answer determination unit 15, the face recognition unit 26, the biometric determination unit 17, and the target person authentication unit 28 operate according to a program (authentication program). It is realized by the processor of the computer.
  • FIG. 4 is a flowchart showing an operation example of the authentication system 100 of the present embodiment.
  • the flowchart illustrated in FIG. 4 is different from the flowchart illustrated in FIG. 2 in that the time for acquiring the face image in step S2 and step S6 is the same. Other than that, it is the same as the flowchart illustrated in FIG. In the flowchart illustrated in FIG. 2, it is not excluded that the time for acquiring the face image is the same in step S2 and step S6.
  • the response identification unit 24 acquires the response time in which the target person identifies the answer, and the face recognition unit 26 obtains the response time at the same time as the response time.
  • the subject authentication unit 28 authenticates that the subject is the living body of the person collated by the face authentication. Therefore, in addition to the effect of the first embodiment, the effect of suppressing spoofing can be enhanced.
  • Embodiment 3 Next, a third embodiment of the authentication system according to the present invention will be described. In this embodiment, a more specific configuration for preventing spoofing will be described.
  • the outline of the present embodiment will be described.
  • the process of acquiring the face image of the target person and measuring the direction of the target person's line of sight and the direction of the face from the image is repeated several times. For this result, the change in the relative angle between the direction of the line of sight and the direction of the face is confirmed, and if there is a change above a certain level, it is judged to be positive (that is, it is not spoofing), and if the change is within the measurement error range, it is negative. (That is, spoofing) is determined.
  • the usage to be judged in this way is as follows.
  • This feature shows that high-precision face recognition and high-precision spoofing prevention can be performed at the same time during one operation of the subject searching for an answer. That is, a special effect that is not just a combination can be obtained with respect to the convenience of the target person and the accuracy requirement of the certifier.
  • FIG. 5 is a block diagram showing a configuration example of a third embodiment of the authentication system according to the present invention.
  • the authentication system 300 of the present embodiment of the present embodiment includes an authentication device 210, an image pickup device 20, and a display device 30.
  • the configurations of the image pickup device 20 and the display device 30 are the same as those of the first embodiment and the second embodiment.
  • the authentication device 210 includes a storage unit 11, an input unit 12, an output unit 13, an answer identification unit 14, an answer determination unit 15, a face recognition unit 16, a biometric determination unit 37, and a target person authentication unit 18. including. That is, in the authentication device of the present embodiment, the processing performed by the biological determination unit 37 is partially different from that of the biological determination unit 17 of the first embodiment. Other than that, it is the same as that of the first embodiment.
  • the biological determination unit 37 may be used instead of the biological determination unit 17 for each configuration of the second embodiment.
  • the biological determination unit 37 detects a change in the relative angle of the line of sight with respect to the direction of the face while the subject moves the line of sight to select an answer, and determines the body of the subject. As described above, the biological determination unit 37 may determine that the subject is a living body when it detects a change larger than a predetermined amount of change.
  • the input unit 12, the output unit 13, the answer identification unit 14, the answer determination unit 15, the face recognition unit 16, the biometric determination unit 37, and the target person authentication unit 18 operate according to a program (authentication program). It is realized by the processor of the computer.
  • FIG. 6 is a flowchart showing an operation example of the authentication system 300 of the present embodiment.
  • the processes from step S1 to step S8 are the same as those in the first embodiment.
  • the time for acquiring the face image in step S2 and step S6 may be the same.
  • the processes from step S10 to step S12 are performed in parallel with the processes from step S1 to step S5 and the processes from step S6 to step S8.
  • the biological determination unit 37 acquires a face image (step S10) and measures the line-of-sight direction and the face direction (step S11). The process of step S10 to step S11 is repeated, and the biological determination unit 37 confirms the relative angle change (step S12).
  • the authentication device 210 denies the authentication.
  • the subject authentication unit 18 authenticates the subject based on the results of correctness determination, biometric determination, and face authentication (step S9). ..
  • the face image of the same frame taken by the same imaging device 20 may be used for the face authentication and the line-of-sight input keyword authentication.
  • the biological determination unit 37 moves the line of sight to select an answer, and the relative angle of the line of sight with respect to the direction of the face. The change is detected and the biological judgment of the subject is performed. Therefore, in addition to the effect of the first embodiment, the effect of suppressing spoofing can be enhanced.
  • FIG. 7 is an explanatory diagram showing an operation example when performing eye-gaze input keyword authentication.
  • the output unit 13 asks a plurality of question candidates such as "What is the ID number?" And "What is the password?" At random positions on the screen of the display device 30. Output.
  • the imaging device 20 images the face image of the target person 31, and the analysis unit 32 including the response specifying unit 14 and the answer determining unit 15 identifies the answer selected by the target person 31 from the direction of the line of sight 33.
  • the analysis unit 32 collates the specified answer with the pre-registered correct answer and determines the correctness of the answer. Based on this correctness determination, the authentication device 10 authenticates if the answer is correct, and denies it if the answer is incorrect.
  • the same processing is performed in the authentication system 200 of the second embodiment and the authentication system 300 of the third embodiment.
  • the image pickup apparatus 20 and the analysis unit described above can be shared by each application performed in each of the above embodiments.
  • FIG. 8 is a sequence diagram showing an operation example using the authentication system.
  • the example shown in FIG. 8 shows an operation when the subject 417 uses the interlocking service 419 and the authentication system of the present invention is used as the authentication service 418. That is, as illustrated in FIG. 8, in this operation example, it is assumed that there are three objects of the target person 417, the authentication service and 418, and the interlocking service 419, and messages are exchanged and executed between these three objects. By doing so, the authentication service as a whole is provided.
  • Examples of the linked service 419 include an ATM (automatic teller machine) service that allows deposits and withdrawals according to the authentication result, and an admission management service that opens and closes doors and gates according to the authentication result.
  • ATM automated teller machine
  • the authentication service 418 detects this in some way and starts the authentication service. Specifically, for example, the authentication service 418 may recognize the start by pressing the authentication start button or the like, or the authentication service 418 is larger than a certain size from the image of the camera (imaging device 20). The face of the person may be detected to recognize that the subject 417 has appeared. In the example shown in FIG. 8, this is generalized and described as the found message 420 being sent from an object not on the diagram to the authentication service 418.
  • the authentication service 418 When the authentication service 418 receives the found message 420, it outputs a question and an answer candidate as an operation 421. Specifically, the authentication service 418 sets questions such as "What is the ID number?" And “What is the password?" And numbers from 0 to 9 as answer candidates, and randomly sets the answer candidates on the display device 30. Output to the correct position.
  • the authentication service 418 executes face recognition of the target person in operation 421, and asks a secret question such as "What is the name of the elementary school you graduated from?” That the person estimated from the result has registered in advance. You may set and output the answer registered in advance by setting it as an answer candidate.
  • the authentication service 418 sends the set question to the target person 417 as a message 422.
  • the authentication service 418 may output the question by voice from the speaker, or may display the question on the display device 30, for example.
  • the subject 417 who received the question as the message 422 searches for the correct answer from the answer candidates output at random positions on the display device 30, and performs an operation 423 to watch the correct answer.
  • the target person 417 repeatedly sends the message 424 to the authentication service 418 in the form of the direction of the line of sight.
  • the authentication service 418 repeatedly captures the face image of the target person 417 with the camera (imaging device 20).
  • the acquired face image is represented as a found message 425 sent from an object not on the diagram to the authentication service 418.
  • the authentication service 418 When the authentication service 418 receives the message 424 and the message 425, as the operation 426, the line-of-sight input keyword authentication that recognizes and collates the answer from the direction of the line of sight, the face authentication that extracts and collates the features from the face image, and the time Confirmation of spoofing prevention is performed by changing the relative angle between the line of sight and the direction of the face that change in series. Then, the authentication service 418 notifies the interlocking service 419 as a message 427 of the authentication result, and also returns a message 428 to the target person 417.
  • the authentication service 418 may convey the authentication result to the target person 417 by, for example, a notification sound or an alarm sound.
  • the action required of the target person 417 is one action of selecting the answer candidate shown in the action 423.
  • a plurality of authentications can be performed at the same time by having the target person select a response candidate.
  • high reliability and convenience can be provided to both the target person and the authentication side.
  • the above-described embodiment may be realized by being divided into any devices and devices.
  • FIG. 9 is a block diagram showing an outline of the authentication device according to the present invention.
  • the authentication device 80 according to the present invention is an authentication device (for example, an authentication device 10) that authenticates a target person, and a plurality of answer candidates are displayed on a display device (for example, a display device 30) for a question to be asked to the target person.
  • a display device for example, a display device 30
  • the answer candidates based on the output means 81 (for example, the output unit 13) to output and the line of sight of the target person in the face image captured by the image pickup device (for example, the image pickup device 20) that captures the face image of the target person.
  • the answer identification means 82 (for example, the answer identification unit 14) for specifying the answer to the question from the above, the answer determination means 83 (for example, the answer determination unit 15) for determining the correctness of the identified answer, and the image pickup apparatus.
  • a living body that determines the subject's body based on the face recognition means 84 (for example, the face recognition unit 16) that authenticates the target person's face from the face image and the change in the target person's line of sight detected from a plurality of face images.
  • a determination means 85 (for example, a biological determination unit 17) and a target person authentication means 86 (for example, a target person authentication unit 18) that authenticates a target person based on the results of correctness determination, biological determination, and face recognition. It has.
  • the answer identification means 82 acquires the answer time when the target person identifies the answer
  • the face authentication means 84 acquires the result of the face authentication performed at the same time as the answer time
  • the target person authentication means 86 The target person may be authenticated as a living body of a person collated by face recognition.
  • the biological determination means 85 may detect a change in the relative angle of the line of sight with respect to the direction of the face while the target person moves the line of sight to select an answer, and may perform the biological determination of the target person.
  • the output means 81 may output a plurality of answer candidates corresponding to the question peculiar to the target person authenticated by the face authentication to the display device.
  • the answer specifying means 82 identifies the answer based on the line of sight of the subject in the first face image captured by the first imaging device, and the face recognition means 84 is the second image captured by the second imaging device.
  • the face recognition of the target person may be performed from the two-face image.
  • FIG. 10 is a block diagram showing an outline of the authentication system according to the present invention.
  • the authentication system 90 according to the present invention is an authentication system (for example, an authentication system 100) that authenticates a target person, and includes an imaging device 91 that captures a face image of the target person, an output means 81 illustrated in FIG.
  • the answer identification means 82, the answer determination means 83, the face authentication means 84, the biometric determination means 85, and the target person authentication means 86 are provided.
  • An authentication device that authenticates the target person, an output means that outputs a plurality of answer candidates to the display device in response to a question to be asked to the target person, and an imaging device that captures a facial image of the target person. Based on the line of sight of the subject in the face image captured by the above, the answer specifying means for specifying the answer to the question from the answer candidates, the answer determining means for determining the correctness of the specified answer, and the imaging.
  • a facial recognition means that authenticates the subject's face from a face image captured by the device, and a living body that determines the subject's biological body based on changes in the subject's line of sight detected from the plurality of the subject's face images.
  • An authentication device including a determination means and a target person authentication means for authenticating a target person based on the results of the correctness determination, the biological determination, and the face recognition.
  • the answer identification means acquires the answer time when the target person identifies the answer, the face authentication means acquires the result of the face authentication performed at the same time as the answer time, and the target person authentication means ,
  • the authentication device according to Appendix 1 that authenticates that the target person is a living body of a person collated by face recognition.
  • the biological determination means detects a change in the relative angle of the line of sight with respect to the direction of the face while the subject moves the line of sight to select an answer, and determines the subject's biological body. 2. The authentication device described.
  • the answer identifying means identifies the answer based on the line of sight of the subject in the first face image captured by the first imaging device, and the face recognition means is the second image captured by the second imaging device.
  • the authentication device according to any one of Supplementary note 1 to Supplementary note 4, which authenticates the face of a target person from a face image.
  • An authentication system that authenticates a target person, an imaging device that captures a facial image of the target person, and an output means that outputs a plurality of answer candidates to a display device for a question to be asked to the target person.
  • the answer specifying means Based on the line of sight of the subject in the captured face image, the answer specifying means for specifying the answer to the question from the answer candidates, the answer determining means for determining the correctness of the specified answer, and the imaging.
  • a face recognition means for performing face recognition of the target person from the face image, and a biological determination means for performing a biological determination of the target person based on a change in the line of sight of the target person detected from the plurality of the face images.
  • An authentication system including a subject authentication means for authenticating a subject based on the results of the correctness determination, the biometric determination, and the face recognition.
  • Appendix 7 A plurality of image pickup devices for capturing the face image of the subject are provided, and the answer identification means identifies the answer based on the line of sight of the subject in the first face image captured by the first image pickup device.
  • the face recognition means is the authentication system according to Appendix 6, which authenticates the face of the target person from the second face image captured by the second imaging device.
  • An authentication method for authenticating a target person in which a plurality of answer candidates are output to a display device for a question to be asked to the target person, and the image is captured by an imaging device that captures a facial image of the target person. Based on the line of sight of the subject in the face image, the answer to the question is specified from the answer candidates, the correctness of the identified answer is determined, and the subject is determined from the face image captured by the imaging device. Face recognition is performed, and the biometric determination of the subject is performed based on the change in the line of sight of the subject detected from the plurality of face images, and the results of the correctness determination, the biometric determination, and the face authentication are performed.
  • An authentication method characterized in that the target person is authenticated based on the above.
  • Appendix 9 It is determined that the subject is a living body of a person who has acquired the answer time for which the answer was specified, acquired the result of face recognition performed at the same time as the answer time, and collated with the face recognition.
  • a program storage medium for storing an authentication program applied to a computer that authenticates a target person, and outputs a plurality of answer candidates to the computer to a display device for a question to be asked to the target person.
  • the face recognition process for performing face recognition of the target person from the face image captured by the imaging device, and the change in the line of sight of the target person detected from the plurality of the face images.
  • a program storage medium that stores the authentication program.
  • the computer is made to acquire the answer time in which the target person has specified the answer in the answer identification process, and the result of the face authentication performed at the same time as the answer time is acquired in the face authentication process.
  • the program storage medium according to Appendix 10 for storing an authentication program that causes the target person to authenticate that the person is a living body of a person collated by face recognition in the authentication process.
  • An authentication program applied to a computer that authenticates a target person which is an output process for outputting a plurality of answer candidates to a display device to the computer for a question to be asked to the target person. Based on the line of sight of the subject in the face image captured by the image pickup device that captures the face image of the above, the answer identification process for specifying the answer to the question from the answer candidates and the correctness judgment of the identified answer are performed.
  • the face recognition process for performing face recognition of the target person from the face image captured by the imaging device, and the change in the line of sight of the target person detected from the plurality of the face images, the target person
  • An authentication program for executing a biometric determination process for performing biometric determination, and a subject authentication process for authenticating a target person based on the results of the correctness determination, the biometric determination, and the face recognition.
  • the computer is made to acquire the answer time in which the target person has specified the answer in the answer identification process, and the result of the face authentication performed at the same time as the answer time is acquired in the face authentication process.
  • the authentication program according to Appendix 12 which authenticates the target person as a living body of a person collated by face recognition in the authentication process.
  • the present invention is suitably applied to an authentication device that authenticates a subject.
  • the present invention can be used for personal authentication in financial transactions, contract acts, and the like.
  • the present invention can be applied to various industrial fields such as a security field such as limiting the number of people who can enter a certain area and a commercial field such as providing a special service to a person who visits a certain store. Is.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

出力手段８１は、対象者へ行う質問に対して複数の回答候補を表示装置に出力する。 回答特定手段８２は、対象者の顔画像を撮像する撮像装置により撮像された顔画像における対象者の視線に基づいて、回答候補の中から質問に対する回答を特定する。回答判定手段８３は、特定された回答の正誤判定を行う。顔認証手段８４は、撮像装置により撮像された顔画像から対象者の顔認証を行う。生体判定手段８５は、複数の顔画像から検知される対象者の視線の変化に基づいて、対象者の生体判定を行う。対象者認証手段８６は、正誤判定、生体判定、および、顔認証の結果に基づいて、対象者の認証を行う。

Description

認証装置、認証システム、認証方法および認証プログラム
　本発明は、対象者の認証を行う認証装置、認証システム、認証方法および認証プログラムに関する。
　対象者の認証を行う方法が、各種知られている。古典的な通行手形や割符などの物理的な鍵も認証方法の一つである。また、特許文献１には、ＩＤカードなどのデバイスに格納された電子的な鍵を認証する鍵認証が記載されている。
　しかし、鍵認証は対象者が何らかの形で鍵を携行する必要があるため、不便であることに加え、盗難や紛失による不正アクセスの危険性が高い。それに対し、古典的な合言葉と同様に、対象者と認証者とが暗証番号やパスワード、秘密の質問に対する回答などのキーワードを事前に取り決め、対象者にキーボードやタッチパネルからキーワードを入力させることで認証する方法がある。このような認証方法のことを、以下、キーワード認証と記す。
　キーワード認証は、認証鍵を対象者の記憶に格納するため、携行物が不要という利点から普及している。しかし、キーワードをキーボードやタッチパネルから入力させる場合、対象者が両手に荷物を持っている状況などでは、入力が困難であるという課題がある。また、キーワード認証は、キーボードやタッチパネルからの入力を第三者に盗み見され、キーワードが漏洩して不正アクセスされる危険性が高いという問題もある。
　このような課題に対し、対象者にキーワードを口頭で発話させ、音声認識を介してキーワードの入力を得る方法も考えられる。しかし、キーワードを対象者に発話させると、周囲の第三者にも容易に聴取され易いため、不正アクセスされる危険性がより高まるという問題がある。
　また、両手が使えない状況で、キーボードやタッチパネルからのキーワード入力を代替する技術として、眼の動きを用いる方法も知られている。特許文献２には、眼球運動を用いた視線入力コミュニケーション方法が記載されている。具体的には、特許文献２には、カメラで眼の開閉を観測し、例えば「右、左、左、右」といった片目の開閉順を暗証番号の代替として認証する認証方法や、視線の方向と瞬きによりキーボードやタッチパネルからの入力を代替させる方法が記載されている。
　また、特許文献３には、視線入力を用いてユーザ認証処理を行う方法が記載されている。視線入力の場合、視線自体は眼球の動きから周囲の第三者にも推測される可能性があるが、顔の正面に近い角度から眼球を見ないと正確な視線の方向はわからない。そのため、眼球の動きと視線が向いている画像の双方を同時に盗み見ることは困難であるため、この方法は、不正アクセスされる危険性の課題を解決する有効な方式と言える。
　また、それ以外にも、予め対象者の指紋や顔、虹彩などの生体情報を記録し、これを鍵として認証する生体認証も各種知られている（例えば、特許文献４～６参照）。
　さらに、認証のセキュリティ強度を向上させるため、複数の要素を用いて認証を行う方法も提案されている。特許文献７には、複数の要素を用いて認証を行う多要素認証方法が記載されている。また、特許文献８には、視線入力を用いたパスワード認証と生体情報による認証とを併用する方法が記載されている。
　また、第三者が成りすますことが難しい顔認証でも、本人の顔写真や本人の顔を複製した立体人形などを用いて認証を得る成りすましの危険性がある。このような成りすましを防止する方法が特許文献９に記載されている。特許文献９に記載された方法では、対象者の顔画像を複数回取得して顔の変化を確認したり、その過程で、瞬きや口を開けるなどの動作を要求して、人形ではない事を確認したりする。
特開昭６３－３１３２８８号公報 特開２００５－１００３６６号公報 特開２０１４－９２９４１号公報 特開昭５８－１７６７８１号公報 特開昭５９－１９４２７４号公報 特開２００１－３４７５４号公報 特開２００９－７１４３０号公報 特開２００６－２７７３９６号公報 特開平１１－３３９０４８号公報
　一方、特許文献２に記載されたような眼の開閉順を暗証番号の代替とする場合、音声と同様に周囲の第三者にも容易に盗み見され易いため、不正アクセスされる危険性が高いという課題がある。
　この課題に対し、特許文献３に記載された方法では、視線入力を用いてユーザ認証処理が行われるため、不正アクセスされる危険性を低減させることは可能である。しかし、特許文献３に記載された方法では、ユーザ認証用画像が他人に知られてしまった場合、不正アクセスされる可能性が残っている。
　一方、上述する生体認証は、いずれもＩＤカードなどの携行物が不要で、第三者が鍵を盗んで成りすますことが極めて困難という利点を有する。一方、生体認証の方法によっては、特別な入力装置が必要になる場合も存在する。例えば、指紋認証や虹彩認証の場合、特別な入力装置が必定とされ、対象者が指や目を所定の位置に置くなどの動作を要求される。そのため、認証側にとっても対象者にとっても認証時の利便性に課題がある。
　一方、生体認証の中でも顔認証は、特別な入力装置を必定とせず、通常のカメラでやや離れた位置から撮影した画像でも認証が可能なため、生体認証の利点を有しつつ、指紋認証や虹彩認証の様な課題も生じない、極めて利便性が高い認証方式と言える。しかし、このような顔認証でも、照合する対象者の人数が増えると精度上の限界に到達してしまう可能性があり、また、成りすましの問題も残る。
　特許文献８に記載された方法では、視線入力を用いたパスワード認証だけでなく、声紋情報や顔画像、掌の紋を用いて認証が行われる。しかし、声紋情報や掌の紋を用いた認証方法では、利便性を損ねてしまい、また、顔画像による認証では、上述するような成りすましの問題も依然として残る。
　また、特許文献９には、認証装置が顔画像を複数回取得して成りすましでない事を確認するまで、対象者は認証装置の前で待機を要求されたり、指示に従って瞬きや口を開けるなどの動作を要求されたりすることも記載されている。しかし、このような対応は対象者にとって不便で、快適性を損ねてしまい、結果として利便性を低下させてしまう。
　そこで、本発明は、認証側および対象者の認証時の利便性を向上させつつ、対象者の成りすましを検知して、対象者を高精度で認証することができる認証装置、認証システム、認証方法および認証プログラムを提供することを目的とする。
　本発明による認証装置は、対象者の認証を行う認証装置であって、対象者へ行う質問に対して複数の回答候補を表示装置に出力する出力手段と、対象者の顔画像を撮像する撮像装置により撮像された顔画像における対象者の視線に基づいて、回答候補の中から質問に対する回答を特定する回答特定手段と、特定された回答の正誤判定を行う回答判定手段と、撮像装置により撮像された顔画像から対象者の顔認証を行う顔認証手段と、複数の顔画像から検知される対象者の視線の変化に基づいて、対象者の生体判定を行う生体判定手段と、正誤判定、生体判定、および、顔認証の結果に基づいて、対象者の認証を行う対象者認証手段とを備えたことを特徴とする。
　本発明による認証システムは、対象者の認証を行う認証システムであって、対象者の顔画像を撮像する撮像装置と、対象者へ行う質問に対して複数の回答候補を表示装置に出力する出力手段と、撮像された顔画像における対象者の視線に基づいて、回答候補の中から質問に対する回答を特定する回答特定手段と、特定された回答の正誤判定を行う回答判定手段と、撮像された顔画像から対象者の顔認証を行う顔認証手段と、複数の顔画像から検知される対象者の視線の変化に基づいて、対象者の生体判定を行う生体判定手段と、正誤判定、生体判定、および、顔認証の結果に基づいて、対象者の認証を行う対象者認証手段とを備えたことを特徴とする。
　本発明による認証方法は、対象者の認証を行う認証方法であって、記対象者へ行う質問に対して複数の回答候補を表示装置に出力し、対象者の顔画像を撮像する撮像装置により撮像された顔画像における対象者の視線に基づいて、回答候補の中から質問に対する回答を特定し、特定された回答の正誤判定を行い、撮像装置により撮像された顔画像から対象者の顔認証を行い、複数の顔画像から検知される対象者の視線の変化に基づいて、対象者の生体判定を行い、正誤判定、生体判定、および、顔認証の結果に基づいて、対象者の認証を行うことを特徴とする。
　本発明による認証プログラムは、対象者の認証を行うコンピュータに適用される認証プログラムであって、コンピュータに、対象者へ行う質問に対して複数の回答候補を表示装置に出力する出力処理、対象者の顔画像を撮像する撮像装置により撮像された顔画像における対象者の視線に基づいて、回答候補の中から質問に対する回答を特定する回答特定処理、特定された回答の正誤判定を行う回答判定処理、撮像装置により撮像された顔画像から対象者の顔認証を行う顔認証処理、複数の顔画像から検知される対象者の視線の変化に基づいて、対象者の生体判定を行う生体判定処理、および、正誤判定、生体判定、および、顔認証の結果に基づいて、対象者の認証を行う対象者認証処理を実行させることを特徴とする。
　本発明によれば、認証側および対象者の認証時の利便性を向上させつつ、対象者の成りすましを検知して、対象者を高精度で認証することができる。
本発明による認証システムの第一の実施形態の構成例を示すブロック図である。 第一の実施形態の認証システムの動作例を示すフローチャートである。 本発明による認証システムの第二の実施形態の構成例を示すブロック図である。 第二の実施形態の認証システムの動作例を示すフローチャートである。 本発明による認証システムの第三の実施形態の構成例を示すブロック図である。 第三の実施形態の認証システムの動作例を示すフローチャートである。 視線入力キーワード認証を行う場合の動作例を示す説明図である。 認証システムを用いた動作例を示すシーケンス図である。 本発明による認証装置の概要を示すブロック図である。 本発明による認証システムの概要を示すブロック図である。
　本実施形態では、対象者を高精度で認証し、成りすましの危険性を減少させるため、複数の認証方法を併用する。認証方法の併用は、認証精度を高めるだけでなく、成りすましの危険性を減少させる効果もある。例えば、顔認証に加えて、暗証番号による認証を行う方法を想定する。この方法の場合、対象者の顔写真を入手して顔認証に対して成りすましを図ることはできても、暗証番号も入手しないと認証されないため。成りすましの危険性を大幅に減少させる効果がある。
　しかし、認証方法を単に併用させた場合、利点や利便性を損なう可能性もある。例えば、顔認証で精度が不足すると判定された場合、上述するような鍵認証を第２の認証要素とする方法が考えられる。しかし、鍵認証を加えることにより、携行物が不要という顔認証の大きな利点が損なわれてしまう。
　また、他の方法として、上述するようなキーワード認証を、第２の認証要素とする方法が考えられる。しかし、キーワード認証は手による入力が必要なため、例えば、両手に荷物を持っている状況でも認証できるという顔認証の利点が損なわれてしまう。
　さらに、指紋認証や虹彩認証を、第２の認証要素とする方法も考えられる。しかし、上述する通り、指紋認証や虹彩認証には特別な入力装置が必要になるため、認証側にとっての利便性を損なってしまう。
　そこで、本実施形態では、認証されるユーザ（以下、対象者と記す。）の顔認証に併せて、対象者による回答の正誤判定、および、対象者の生体判定の結果に基づいて、対象者の認証を行う。なお、本実施形態における認証とは、対象者を特定することや、対象者が有する権限の有無の判断など、個人の適否を認証する広い概念を含むものである。
　初めに、本発明の特徴について簡単に説明する。本発明の第一の特徴として、対象者へ何らかの質問を行い、それに対する複数の回答候補を表示デバイス上のランダムな位置に提示することが挙げられる。そして、対象者に回答を見つめさせ、対象者の視線の方向から選択した回答を認識することで、選択した回答が正答であるかを認証する。なお、以下の説明では、この方式を、視線入力キーワード認証と記す。
　視線入力キーワード認証は、キーワード認証におけるキーワードの入力を、キーボードやタッチパネルを用いた手による入力から、視線による入力に置き換えたものと言える。これにより、個人を高精度で認証でき、対象者が鍵認証の様にＩＤカードなどの携行物を必要としない、というキーワード認証の特徴を継承しつつ、対象者の両手が塞がっていても情報を入力できるという効果を有する。
　さらに、キーワード認証におけるキーワード入力を音声認識により行う方式と、視線入力キーワード認証を行う方式とを比較する。視線入力キーワード認証では、対象者の前方にいる第三者には対象者の視線の方向は識別できても表示デバイス上の回答候補は見えない。また、対象者の後方にいる第三者には表示デバイス上の回答候補は見えても対象者の視線の方向は見えない。このように、視線入力キーワード認証は、視線により選択した回答を周囲の第三者に盗み見られる危険性が極めて少ないという効果を有する。
　また、この特徴は、個人認証を受ける対象者に高いセキュリティ性を提供するだけではない。具体的には、個人認証を行う認証側が、第三者からの盗み見や盗聴を遮るための壁や遮蔽物を設ける必要が無く、周囲に第三者が多数いる開放空間でも利用できる、という、一般的なキーワード認証や音声認識によるキーワード認証では得られない利便性を有する。
　さらに、この認証方法を実行するために必要な構成部品として、主に回答候補を提示する表示デバイス、対象者を撮影するカメラ、視線の方向を解析するＣＰＵ（Central Processing Unit ）等があれば良い。そのため、市販のタブレットやラップトップＰＣに認証プログラムをインストールするだけでも実現することが可能である。この点において、認証側に高い利便性を提供できる。
　さらに、本発明の第二の特徴として、上述する視線入力キーワード認証と、対象者の顔認証とを併用することが挙げられる。視線入力キーワード認証も、携行物が不要であるとともに、ハンズフリー型であり、指紋認証や虹彩認証のような利便性の課題がない。そのため、視線入力キーワード認証を顔認証と併用する際に、顔認証の利点を損ねることがほとんどないと言える。そのため、視線入力キーワード認証は、顔認証を補強する多要素認証として、他の認証方式との組み合わせでは得られない効果を有する。
　加えて、視線入力キーワード認証と顔認証のどちらも顔を撮像する１台のカメラを共用できる。そのため、顔認証を多要素認証に補強する際の費用や工事が少ないうえに、顔認証と視線の方向の計測を同時に行うことできる。したがって、対象者および認証側いずれの負担も軽減できるという、単なる組み合わせではない、実用的な効果が得られる。
　さらに、本発明の第三の特徴として、上述する特徴に加え、顔認証と対象者が回答を選択する視線の計測とを並行して複数回行って、顔を認証した人物の視線が移動していることを検証することが挙げられる。これにより、対象者が人物の生体であることを検証できる。
　なお、顔認証も視線入力キーワード認証も、第三者による成りすましは困難な認証方式である。しかし、例えば、本人の顔を撮影した顔写真や、顔を複製した立体人形を用いて顔認証を行った後に、第三者が入れ替わって視線入力キーワード認証を受けるという、時間差を持った成りすましが行われる危険性は残る。
　これに対し、本実施形態では、顔認証と対象者が回答を選択する視線の計測を並行して複数回行って、顔を認証した人物の視線が移動していることを検証する。これにより、本人の顔を撮影した顔写真や、顔を複製した立体人形による成りすましを排除できるという効果が得られる。
　付言すると、第一の特徴で挙げた顔認証にて複数回の認証を行うだけでは、顔を認証した人物が生体であるとの検証はできない。また、第二の特徴である視線入力キーワード認証にて視線の移動から生体であることを検証するだけでは、キーワードの漏洩による不正アクセスの危険性が残る。一方、上述する三つの特徴を併用することで、これらの課題を網羅できるため、単なる組み合わせでは得られない、特別な効果が得られる。
　他にも、本発明の特徴として、表示デバイス上に回答候補を提示し、対象者が視線を動かして選択した時刻と、同一時刻に取得した顔画像による顔認証の結果とを取得し、それにより、顔認証で照合した人物の生体であることを検証すること、が挙げられる。
　対象者が視線を動かして回答を選択している時刻と、同一時刻における顔認証の結果を取得し、顔認証で照合した人物の生体であることを検証することで、上述するような時間差による成りすましを防ぐことができる効果を有する。
　また、本発明の更なる特徴として、対象者が視線を動かして回答を選択している間の、顔の方向に対する視線の相対角度変化を確認することが挙げられる。これにより、顔認証で照合した人物の生体であることを検証することが可能になる。
　例えば、本人の顔を複製した立体人形を用いて顔認証の成りすましを行いつつ、第三者が立体人形の顔全体の角度を変更することで立体人形の視線の方向を制御し、視線入力キーワード認証の成りすましを行う、という高度な成りすましも考えられる。
　しかし、本実施形態では、このような高度な成りすましに対しても、対象者が視線を動かして回答を選択している間の、顔の方向に対する視線の相対角度変化を確認する。そのような構成により、写真や立体人形の顔全体が動いているのではなく、生体が視線を動かしていることを検証できるため、上述するような高度な成りすましを抑制できるという効果が得られる。
　さらに、上記のような追加の特徴を実現する場合でも、必要な構成部品は変わらない。すなわち、市販のタブレットやラップトップＰＣに認証プログラムをインストールするだけで、上述する機能を実現することが可能である。なお、これらの特徴を、複数の装置や回路、プログラムを用いて実現してもよい。サービス全体として、上述する特徴を実現するための構成要素を満たしていれば、上記と同一の効果を保ったままで、認識側や対象者に高い信頼性と利便性を提供できる。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明による認証システムの第一の実施形態の構成例を示すブロック図である。本実施形態の認証システム１００は、認証装置１０と、撮像装置２０と、表示装置３０とを備えている。なお、撮像装置２０は、表示装置３０の近傍であって、対象者が表示装置３０に対する視認動作を撮像可能な位置に設置される。
　撮像装置２０は、対象者の顔画像を撮像する装置である。撮像装置２０は、例えば、映像として時系列に撮像した各フレームの画像を、対象者の顔画像として取得してもよい。また、撮像装置２０は、撮像範囲内に人を検知したタイミングで、対象者の顔画像を撮像してもよいし、対象者が認証装置１０に対して何らかのアクションを行ったタイミングで、対象者の顔画像を撮像してもよい。図１に示す例では、認証システム１００が、撮像装置２０を２台備える場合を例示しているが、撮像装置２０は、１台であってもよい。
　表示装置３０は、後述する出力部１３の指示に応じて各種情報を出力する。表示装置３０は、例えば、ディスプレイ装置や、タブレットなどにより実現される。
　認証装置１０は、記憶部１１と、入力部１２と、出力部１３と、回答特定部１４と、回答判定部１５と、顔認証部１６と、生体判定部１７と、対象者認証部１８とを含む。
　記憶部１１は、認証装置１０が処理に用いる各種情報を記憶する。記憶部１１は、例えば、後述する顔認証部１６が認証に用いる顔画像や特徴量を記憶していてもよい。また、記憶部１１は、対象者に対して行う質問や、その質問に対する回答候補を記憶していてもよい。ここで、回答候補とは、質問に対する正しい回答と、質問に対する誤った回答とを含む情報である。また、質問は、特定された対象者ごとに準備されていてもよい。記憶部１１は、例えば、磁気ディスク等により実現される。
　入力部１２は、撮像装置２０が撮像した対象者の顔画像の入力を受け付ける。例えば、撮像装置２０が複数の場合、入力部１２は、顔画像を撮像した撮像装置２０を識別する情報と共に、顔画像の入力を受け付けてもよい。
　出力部１３は、対象者へ行う質問に対して複数の回答候補を表示装置３０に出力する。具体的には、出力部１３は、対象者が現れると、対象者に対する質問と、それに対する複数の回答候補を、表示装置３０上のランダムな位置に出力し、対象者に回答を視認する要求を行う。複数の回答候補をランダムな位置に出力することにより、回答を確認する対象者の視線を様々な方向に移動させることが可能になり、後述する生体判定部１７が判定を行いやすくなる。
　なお、質問の内容および回答候補の内容は任意であり、予め定められていてもよい。出力部１３は、例えば、「ＩＤ番号は？」、「暗証番号は？」などの質問を画面などに出力し、それに対する複数の回答候補として、０から９までの数字を記載したアイコンなどを、表示デバイス上のランダムな位置に出力してもよい。ただし、質問や回答候補は、この例に限定されない。
　なお、質問の内容は表示装置３０に出力されなくてもよく、例えば、音声などでスピーカ（図示せず）などから出力されてもよい。
　また、後述する顔認証部１６が対象者を認証している場合、出力部１３は、対象者固有の質問と、その質問に対応する複数の回答候補を表示装置３０に出力してもよい。具体的には、出力部１３は、対象者が作成した秘密の質問と、その質問に対する回答候補を出力してもよい。出力部１３は、例えば、顔画像と特徴が合致した人物に対して、その人物が事前に作成した「卒業した小学校の名は？」や「母親の旧姓は？」などの秘密の質問と、その質問対する回答（および誤答）となる回答候補を出力してもよい。このような質問および回答候補を利用することで、認証のセキュリティを高めることが可能になる。
　回答特定部１４は、撮像された顔画像における対象者の視線に基づいて、複数の回答候補の中から質問に対する回答を特定する。すなわち、回答特定部１４は、顔画像から視線方向を計測し、対象者の視線の方向から選択した回答を特定する。
　なお、対象者の視線に基づいて対象者が注視する位置を特定する方法は任意である。回答特定部１４は、例えば、特許文献２に記載された方法を用いて、対象者が表示装置３０で注視する位置を特定してもよい。具体的には、回答特定部１４は、対象者の眼球の位置から対象者の視線の方向を計測し、対象者の眼の位置を起点とした視線の方向ベクトルが表示装置３０と交わる位置に出力された回答候補を、対象者が選択した回答として特定してもよい。
　なお、実際には人の視線は揺らぐため、回答特定部１４は、視線が一定時間留まった位置の回答候補を対象者が選択した回答とみなしてもよい。また、回答特定部１４は、対象者が瞬きした直前の視線が示す位置の回答候補を、対象者が選択した回答とみなしてもよい。このような揺らぎを許容することで、対象者が選択した回答を特定する精度を向上させることができる。
　回答判定部１５は、特定された回答の正誤判定を行う。具体的には、回答判定部１５は、対象者が選択した回答を、事前に登録された正答と照合し、回答の正誤を判定する。回答判定部１５は、この判定結果により、回答が正しければ認証できたと判定し、回答が誤っていれば認証できなかったと判定する。
　顔認証部１６は、撮像された顔画像から対象者の顔認証を行う。顔認証部１６が対象者の顔認証を行う方法は任意である。顔認証部１６は、例えば、顔画像から顔の特徴を抽出し、事前に記憶部１１に記憶された人物の顔の特徴と合致するか否か判定して、対象者の顔認証を行ってもよい。
　生体判定部１７は、撮像された複数の顔画像から検知される対象者の視線の変化に基づいて、対象者の生体判定を行う。より詳しくは、生体判定部１７は、時系列に撮像された複数の顔画像から検知される対象者の視線の方向の変化に基づいて、対象者の生体判定を行う。
　具体的には、生体判定部１７は、例えば、撮像装置２０により撮像された顔画像を時系列に順次受け取り、受け取った顔画像の対象者の視線の方向が変化しているときに、対象者が生体であると判定してもよい。生体判定部１７は、例えば、視線入力キーワード認証時（すなわち、回答特定部１４および回答判定部１５の処理時）に、顔認証部１６による認証処理を継続させて、その処理結果を受け付けて生体判定を行ってもよい。すなわち、視線入力キーワード認証にて、対象者が出力された回答候補へ視線方向を移動している間にも顔認証を繰り返して行なうことにより、結果として生体判定部１７は、顔認証で認証した顔画像が、視線を移動させた人物の生体であることを、自動的に検証できる。
　すなわち、視線入力キーワード認証と顔認証とを並行して行うことで、必然的に対象者の視線が移動することから、生体判定部１７は、この視線の移動を生体判定の要素として利用できることになる。
　対象者認証部１８は、回答判定部１５による正誤判定、生体判定部１７による生体判定、および、顔認証部１６による顔認証の結果に基づいて、対象者の認証を行う。具体的には、回答判定部１５により回答が正しいと判定され、生体判定部１７により対象者が生体と判定され、顔認証部１６により対象者が認証された場合に、対象者認証部１８は、顔認証部１６が認証した対象者を、適切な対象者と認証し、一つでも上記判定または認証がなされていない場合、否認する。
　なお、本実施形態では、認証システム１００が、撮像装置２０を２台備える場合を例示している。そこで、回答特定部１４が、第一の撮像装置で撮像された画像（第一顔画像）を用いて回答を特定し、顔認証部１６が、第二の撮像装置で撮像された画像（第二顔画像）を用いて顔認証を行ってもよい。このように、処理ごとに顔画像を撮像する撮像装置２０を設けることで、各処理に適した画像を利用することが可能になる。
　入力部１２と、出力部１３と、回答特定部１４と、回答判定部１５と、顔認証部１６と、生体判定部１７と、対象者認証部１８とは、プログラム（認証プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ、ＧＰＵ（Graphics Processing Unit））によって実現される。
　例えば、プログラムは、記憶部１１に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部１２、出力部１３、回答特定部１４、回答判定部１５、顔認証部１６、生体判定部１７および対象者認証部１８として動作してもよい。また、入力部１２、出力部１３、回答特定部１４、回答判定部１５、顔認証部１６、生体判定部１７および対象者認証部１８の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。
　また、入力部１２と、出力部１３と、回答特定部１４と、回答判定部１５と、顔認証部１６と、生体判定部１７と、対象者認証部１８とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
　また、入力部１２、出力部１３、回答特定部１４、回答判定部１５、顔認証部１６、生体判定部１７および対象者認証部１８の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　次に、本実施形態の認証システム１００の動作を説明する。図２は、本実施形態の認証システム１００の動作例を示すフローチャートである。
　出力部１３は、対象者へ行う質問に対して複数の回答候補を表示装置に出力する（ステップＳ１）。そして、撮像装置２０が対象者の顔画像を撮像すると、入力部１２は、視線入力キーワード認証を行うため、撮像された顔画像を取得する（ステップＳ２）。回答特定部１４は、撮像された顔画像における対象者の視線に基づいて、回答候補の中から質問に対する回答を特定する。すなわち、回答特定部１４は、視線方向を計測し（ステップＳ３）、視線方向から選択した回答を認識する（ステップＳ４）。なお、回答が認識されるまで、ステップＳ２およびステップＳ３の処理を繰り返す。
　回答判定部１５は、特定された回答の正誤判定を行う。すなわち、回答判定部１５は、回答の正否を判定する（ステップＳ５）。回答が正しくない場合（ステップＳ５におけるＮｏ）、認証装置１０は、認証を否認する。
　一方、ステップＳ１からステップＳ５の処理と並行し、撮像装置２０が対象者の顔画像を撮像すると、入力部１２は、顔認証を行うため、撮像された顔画像を取得する（ステップＳ６）。なお、撮像装置２０は、視線入力キーワード認証用と顔認証用とで異なっていてもよい。顔認証部１６は、撮像された顔画像から対象者の顔認証を行う。具体的には、顔認証部１６は、顔画像から特徴を抽出する（ステップＳ７）。そして、顔認証部１６は、抽出された特徴が登録された特徴と一致するか否か判定する（ステップＳ８）。抽出された特徴が登録された特徴と一致しなかった場合（ステップＳ８におけるＮｏ）、認証装置１０は、認証を否認する。なお、特徴と一致していると判断されている間、ステップＳ６からステップＳ８の処理を繰り返す。
　対象者認証部１８は、すべての処理が正しく行われた場合（ステップＳ９におけるＹｅｓ）、対象者を認証したと判断する。すなわち、対象者認証部１８は、回答が正しかった場合であって（ステップＳ５におけるＹｅｓ）、抽出された特徴が登録された特徴と一致した場合（ステップＳ８におけるＹｅｓ）、対象者を認証したと判断する。一方、一部でも処理が正しく行われなかった場合（ステップＳ９におけるＮｏ）、対象者認証部１８は、認証を否認する。
　以上のように、本実施形態では、出力部１３が、対象者へ行う質問に対して複数の回答候補を表示装置に出力し、回答特定部１４が、撮像装置２０によって撮像された顔画像における対象者の視線に基づいて、回答候補の中から質問に対する回答を特定すると、回答判定部１５が、特定された回答の正誤判定を行う。一方、顔認証部１６が、撮像装置２０によって撮像された顔画像から対象者の顔認証を行い、生体判定部１７が、複数の顔画像から検知される対象者の視線の変化に基づいて、対象者の生体判定を行う。そして、対象者認証部１８が、正誤判定、生体判定、および、顔認証の結果に基づいて、対象者の認証を行う。よって、認証側および対象者の認証時の利便性を向上させつつ、対象者の成りすましを検知して、対象者を高精度で認証することができる。
　具体的には、本実施形態の認証装置１０により、個人を高精度で認証しつつ、不正アクセスや成りすましの危険性が低く、かつ対象者にも認証者にも利便性が高い、認証技術および成りすまし防止技術を提供できる。その第一の理由は、顔認証と視線入力キーワード認証を併用することで、個人を高精度で認証できるためである。
　第二の理由は、顔画像という対象者の生体情報と、キーワードという対象者の記憶の中にある情報を認証の鍵とすることで、不正アクセスの危険性を極めて少なくしているためである。さらに、その顔画像の一部から特定できる視線が、記憶の中にあるキーワードを選択するために移動する動作として利用でき、その動作に基づいて生体であることを検証するため、不正アクセスや成りすましを極めて困難にすることができる。
　第三の理由は、上述する２つの認証と成りすまし防止を行う上で、対象者は表示デバイス上に提示された質問への回答を見つめるという、短時間の少ない負荷だけで良いためである。また、対象者は携行物が不要でハンズフリーであり、周囲の第三者からの盗み見や盗聴を心配する必要が無いため、利便性が極めて高い。
　第四の理由は、上述する２つの認証と成りすまし防止を行う上で、認証者は表示デバイスと顔画像を撮影するカメラを設置するだけで良いためである。これにより、短時間に高精度の多要素認証および成りすまし防止を行うことができ、周囲の第三者からの盗み見や盗聴を防ぐための壁や遮蔽物の設置が不要であるため、利便性が極めて高い。例えば、市販されているスマートフォンやタブレット、ラップトップＰＣは、表示デバイスおよび顔画像を撮影するカメラを具備していることが多い。そのため、認証者は、これらの装置にプログラムをインストールすることで、本実施形態の認証装置１０を実現できる。
実施形態２．
　次に、本発明による認証システムの第二の実施形態を説明する。本実施形態では、時間差を利用した成りすましを防止する方法を説明する。まず初めに、本実施形態の概要を説明する。本実施形態では、視線入力キーワード認証を行うための顔画像を取得すると同時に、顔認証を行うための顔画像を取得する。対象者が視線を動かして回答を選択した時刻と、同一時刻の顔画像により顔認証を行うことで、時間差を利用した成りすましを防止する。
　図３は、本発明による認証システムの第二の実施形態の構成例を示すブロック図である。本実施形態の本実施形態の認証システム２００は、認証装置１１０と、撮像装置２０と、表示装置３０とを備えている。なお、撮像装置２０および表示装置３０の構成については、第一の実施形態と同様である。
　認証装置１１０は、記憶部１１と、入力部１２と、出力部１３と、回答特定部２４と、回答判定部１５と、顔認証部２６と、生体判定部１７と、対象者認証部２８とを含む。すなわち、本実施形態の認証装置は、回答特定部２４、顔認証部２６および対象者認証部２８が行う処理が、それぞれ、第一の実施形態の回答特定部１４、顔認証部１６および対象者認証部１８と一部異なる。それ以外は、第一の実施形態と同様である。
　回答特定部２４は、第一の実施形態の回答特定部１４が行う処理に加え、対象者が回答を特定した回答時刻を取得する。顔認証部２６は、第一の実施形態の顔認証部１６が行う処理に加え、回答時刻と同時刻に行われた顔認証の結果を取得する。そして、対象者認証部２８は、対象者が、顔認証で照合した人物の生体であると認証する。
　なお、撮像装置２０が一台の場合、視線入力キーワード認証を行うための顔画像と、顔認証を行うための顔画像とで、同一フレームの画像が用いられればよい。
　入力部１２と、出力部１３と、回答特定部２４と、回答判定部１５と、顔認証部２６と、生体判定部１７と、対象者認証部２８とは、プログラム（認証プログラム）に従って動作するコンピュータのプロセッサによって実現される。
　次に、本実施形態の認証システム２００の動作を説明する。図４は、本実施形態の認証システム１００の動作例を示すフローチャートである。図４に例示するフローチャートは、図２に例示するフローチャートと比較し、ステップＳ２とステップＳ６で顔画像を取得する時刻が同一である点において異なる。それ以外については、図２に例示するフローチャート同様である。なお、図２に例示するフローチャートにおいて、ステップＳ２とステップＳ６で顔画像を取得する時刻が同一であることを排除するものではない。
　以上のように、本実施形態では、第一の実施形態の構成に加え、回答特定部２４が、対象者が回答を特定した回答時刻を取得し、顔認証部２６が、回答時刻と同時刻に行われた顔認証の結果を取得し、対象者認証部２８は、対象者が、顔認証で照合した人物の生体であると認証する。よって、第一の実施形態の効果に加え、成りすましを抑制する効果を高めることができる。
実施形態３．
　次に、本発明による認証システムの第三の実施形態を説明する。本実施形態では、成りすましを防止する、より具体的な構成を説明する。まず初めに、本実施形態の概要を説明する。本実施形態では、対象者の顔画像を取得し、その画像から対象者の視線の方向と顔の方向を計測する処理を何度か繰り返す。この結果に対し、視線の方向と顔の方向の相対角度の変化を確認し、一定以上の変化があれば正（すなわち、成りすましではない）と判定し、変化が計測誤差の範囲であれば否（すなわち、成りすまし）と判定する。
　このように判定する利用は、以下の通りである。実際、人間は、表示デバイス上に提示された回答候補の中から正解を探す際に、顔全体の方向を小さく動かしながら、視線を大きく動かして素早く回答を探そうとすることが一般的である。そのため、視線の方向と顔の方向の相対角度の変化を確認することで、より高精度かつ容易に、取得した顔画像が生体の顔であることを検証できる。この特徴は、対象者が回答を探すという１つの動作の間に、高精度な顔認証と高精度な成りすまし防止を同時に行えることを示している。すなわち、対象者の利便性および認証者の精度要求に対し、単なる組み合わせではない、特別な効果が得られる。
　図５は、本発明による認証システムの第三の実施形態の構成例を示すブロック図である。本実施形態の本実施形態の認証システム３００は、認証装置２１０と、撮像装置２０と、表示装置３０とを備えている。なお、撮像装置２０および表示装置３０の構成については、第一の実施形態および第二の実施形態と同様である。
　認証装置２１０は、記憶部１１と、入力部１２と、出力部１３と、回答特定部１４と、回答判定部１５と、顔認証部１６と、生体判定部３７と、対象者認証部１８とを含む。すなわち、本実施形態の認証装置は、生体判定部３７が行う処理が、第一の実施形態の生体判定部１７と一部異なる。それ以外は、第一の実施形態と同様である。なお、第二の実施形態の各構成に対し、生体判定部１７の代わりに生体判定部３７が用いられてもよい。
　生体判定部３７は、対象者が視線を動かして回答を選択している間の、顔の方向に対する視線の相対角度変化を検知して、対象者の生体判定を行う。生体判定部３７は、上述するように、予め定めた変化量よりも大きな変化を検知したときに、対象者が生体であると判定すればよい。
　入力部１２と、出力部１３と、回答特定部１４と、回答判定部１５と、顔認証部１６と、生体判定部３７と、対象者認証部１８とは、プログラム（認証プログラム）に従って動作するコンピュータのプロセッサによって実現される。
　次に、本実施形態の認証システム３００の動作を説明する。図６は、本実施形態の認証システム３００の動作例を示すフローチャートである。なお、ステップＳ１からステップＳ８までの処理は、第一の実施形態と同様である。なお、第二の実施形態と同様に、ステップＳ２とステップＳ６で顔画像を取得する時刻が同一であってもよい。
　本実施形態では、ステップＳ１からステップＳ５の処理、および、ステップＳ６からステップＳ８までの処理と並行して、ステップＳ１０からステップＳ１２までの処理を行う。具体的には、生体判定部３７は、顔画像を取得し（ステップＳ１０）、視線方向と顔の方向を計測する（ステップＳ１１）。ステップＳ１０からステップＳ１１の処理を繰り返し、生体判定部３７は、相対角度変化を確認する（ステップＳ１２）。
　相対角度変化が所定以上でない場合（ステップＳ１２におけるＮｏ）、認証装置２１０は、認証を否認する。一方、相対角度変化が所定以上の場合（ステップＳ１２におけるＹｅｓ）、対象者認証部１８は、正誤判定、生体判定、および、顔認証の結果に基づいて、対象者の認証を行う（ステップＳ９）。
　なお、第二の実施形態で説明したように、顔認証と視線入力キーワード認証とで、同一の撮像装置２０で撮影した同一フレームの顔画像が用いられてもよい。
　以上のように、本実施形態では、第一の実施形態の構成に加え、生体判定部３７が、対象者が視線を動かして回答を選択している間の、顔の方向に対する視線の相対角度変化を検知して、対象者の生体判定を行う。よって、第一の実施形態の効果に加え、成りすましを抑制する効果を高めることができる。
　次に、第一の実施形態の認証システム１００を用いて具体例を説明する。図７は、視線入力キーワード認証を行う場合の動作例を示す説明図である。対象者３１が認証装置１０の前に現れると、出力部１３が、表示装置３０の画面のランダムな位置に、「ＩＤ番号は？」、「暗証番号は？」など、複数の質問の候補を出力する。その後、撮像装置２０が、対象者３１の顔画像を撮像し、回答特定部１４および回答判定部１５を含む解析部３２が、視線３３の方向から対象者３１が選択した回答を特定する。そして、解析部３２は、特定した回答と事前に登録された正答とを照合し、回答の正誤を判定する。この正誤判定により、認証装置１０は、回答が正しければ、認証し、誤っていれば否認する。
　なお、第二の実施形態の認証システム２００および第三の実施形態の認証システム３００でも、同様に処理が行われる。このようなシステムを一体として取り扱うことで、個別に部材を揃えるよりも、設置や保守が容易という効果が得られる。例えば、撮像装置２０や、上述する解析部は、上記各実施形態で行われる各用途で共用できる。
　次に、本発明の認証システムを、認証サービスに用いた場合の動作例を説明する。図８は、認証システムを用いた動作例を示すシーケンス図である。図８に示す例は、対象者４１７が連動サービス４１９を利用する場合に、本発明の認証システムを認証サービス４１８として利用した場合の動作を示す。すなわち、図８に例示するように、本動作例では、対象者４１７と、認証サービスと４１８と、連動サービス４１９の３つのオブジェクトが存在するものとし、この３つのオブジェクト間でメッセージの交換および実行を行うことで、全体としての認証サービスが提供される。
　連動サービス４１９として、例えば、認証結果に応じて預金の預け入れや引き出しを許可するＡＴＭ（automatic teller machine）サービスや、認証結果に応じて扉やゲートの開閉を行う入場管理サービスなどが挙げられる。
　まず対象者４１７が認証システムの場所に現れると、認証サービス４１８は、何らかの方法でこれを検知し、認証サービスを開始する。具体的には、例えば、対象者４１７が認証開始ボタンなどを押すことにより、認証サービス４１８が開始を認識しても良いし、認証サービス４１８がカメラ（撮像装置２０）の映像から一定以上の大きさの人の顔を検知して、対象者４１７が現れたことを認識しても良い。図８に示す例では、これを一般化し、ダイアグラム上にないオブジェクトから認証サービス４１８へ、ファウンドメッセージ４２０が送られるとして表記している。
　認証サービス４１８は、ファウンドメッセージ４２０を受け取ると、動作４２１として質問および回答候補を出力する。具体的には、認証サービス４１８は、例えば「ＩＤ番号は？」、「パスワードは？」といった質問と、０から９までの数字を回答候補として設定し、その回答候補を表示装置３０上のランダムな位置に出力する。
　ここで、認証サービス４１８は、動作４２１において、対象者の顔認証を実行し、その結果より推定された人物が事前に登録した、例えば「卒業した小学校の名は？」などの秘密の質問を設定し、事前に登録された回答などを回答候補に設定して出力しても良い。
　次に、認証サービス４１８は、設定した質問を、メッセージ４２２として対象者４１７に送信する。具体的には、認証サービス４１８は、例えば、質問をスピーカーから音声にて出力してもよく、表示装置３０上に質問を表示してもよい。
　メッセージ４２２として質問を受け取った対象者４１７は、表示装置３０上のランダムな位置に出力された回答候補の中から正答を探し、正答を注視する動作４２３を行う。この動作４２３において、対象者４１７は、視線の方向という態様でメッセージ４２４を認証サービス４１８へ繰り返して送ることになる。また、動作４２３と並行して、認証サービス４１８は、カメラ（撮像装置２０）にて対象者４１７の顔画像を繰り返し撮像する。図８に示す例では、取得される顔画像をダイアグラム上にないオブジェクトから認証サービス４１８へ送られるファウンドメッセージ４２５として表記している。
　認証サービス４１８は、メッセージ４２４およびメッセージ４２５を受信すると、動作４２６として、視線の方向から回答を認識して照合する視線入力キーワード認証、顔画像から特徴を抽出して照合する顔認証、および、時系列に変化する視線と顔の向きの相対角度の変化などから成りすまし防止の確認を実行する。そして、認証サービス４１８は、認証結果をメッセージ４２７として連動サービス４１９に通知すると共に、メッセージ４２８として対象者４１７へも返信する。認証サービス４１８は、例えば、告知音やアラーム音などで認証結果を対象者４１７に伝えてもよい。
　図８に例示するように、対象者４１７に要求される動作は、動作４２３に示す回答候補を選択するという１つの動作である。このように、上述する実施形態では、対象者に回答候補を選択させることで複数の認証を同時に行うことができる。また、対象者にも認証側にも高い信頼性および利便性を提供できる。また、上述する実施形態が、どのような装置や機器に分割されて実現されていてもよい。
　次に、本発明の概要を説明する。図９は、本発明による認証装置の概要を示すブロック図である。本発明による認証装置８０は、対象者の認証を行う認証装置（例えば、認証装置１０）であって、対象者へ行う質問に対して複数の回答候補を表示装置（例えば、表示装置３０）に出力する出力手段８１（例えば、出力部１３）と、対象者の顔画像を撮像する撮像装置（例えば、撮像装置２０）により撮像された顔画像における対象者の視線に基づいて、回答候補の中から質問に対する回答を特定する回答特定手段８２（例えば、回答特定部１４）と、特定された回答の正誤判定を行う回答判定手段８３（例えば、回答判定部１５）と、撮像装置により撮像された顔画像から対象者の顔認証を行う顔認証手段８４（例えば、顔認証部１６）と、複数の顔画像から検知される対象者の視線の変化に基づいて、対象者の生体判定を行う生体判定手段８５（例えば、生体判定部１７）と、正誤判定、生体判定、および、顔認証の結果に基づいて、対象者の認証を行う対象者認証手段８６（例えば、対象者認証部１８）とを備えている。
　そのような構成により、認証側および対象者の認証時の利便性を向上させつつ、対象者の成りすましを検知して、対象者を高精度で認証することができる。
　また、回答特定手段８２は、対象者が回答を特定した回答時刻を取得し、顔認証手段８４は、回答時刻と同時刻に行われた顔認証の結果を取得し、対象者認証手段８６は、対象者が、顔認証で照合した人物の生体であると認証してもよい。
　また、生体判定手段８５は、対象者が視線を動かして回答を選択している間の、顔の方向に対する視線の相対角度変化を検知して、対象者の生体判定を行ってもよい。
　また、出力手段８１は、顔認証により認証された対象者固有の質問に対応する複数の回答候補を表示装置に出力してもよい。
　また、回答特定手段８２は、第一の撮像装置で撮像された第一顔画像における対象者の視線に基づいて回答を特定し、顔認証手段８４は、第二の撮像装置で撮像された第二顔画像から対象者の顔認証を行ってもよい。
　図１０は、本発明による認証システムの概要を示すブロック図である。本発明による認証システム９０は、対象者の認証を行う認証システム（例えば、認証システム１００）であって、対象者の顔画像を撮像する撮像装置９１と、図９に例示する出力手段８１と、回答特定手段８２と、回答判定手段８３と、顔認証手段８４と、生体判定手段８５と、対象者認証手段８６とを備えている。
　そのような構成によっても、認証側および対象者の認証時の利便性を向上させつつ、対象者の成りすましを検知して、対象者を高精度で認証することができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）対象者の認証を行う認証装置であって、前記対象者へ行う質問に対して複数の回答候補を表示装置に出力する出力手段と、前記対象者の顔画像を撮像する撮像装置により撮像された当該顔画像における対象者の視線に基づいて、前記回答候補の中から前記質問に対する回答を特定する回答特定手段と、特定された回答の正誤判定を行う回答判定手段と、前記撮像装置により撮像された顔画像から前記対象者の顔認証を行う顔認証手段と、複数の前記顔画像から検知される前記対象者の視線の変化に基づいて、前記対象者の生体判定を行う生体判定手段と、前記正誤判定、前記生体判定、および、前記顔認証の結果に基づいて、対象者の認証を行う対象者認証手段とを備えたことを特徴とする認証装置。
（付記２）回答特定手段は、対象者が回答を特定した回答時刻を取得し、顔認証手段は、前記回答時刻と同時刻に行われた顔認証の結果を取得し、対象者認証手段は、対象者が、顔認証で照合した人物の生体であると認証する付記１記載の認証装置。
（付記３）生体判定手段は、対象者が視線を動かして回答を選択している間の、顔の方向に対する視線の相対角度変化を検知して、対象者の生体判定を行う付記１または付記２記載の認証装置。
（付記４）出力手段は、顔認証により認証された対象者固有の質問に対応する複数の回答候補を表示装置に出力する付記１から付記３のうちのいずれか１つに記載の認証装置。
（付記５）回答特定手段は、第一の撮像装置で撮像された第一顔画像における対象者の視線に基づいて回答を特定し、顔認証手段は、第二の撮像装置で撮像された第二顔画像から対象者の顔認証を行う付記１から付記４のうちのいずれか１つに記載の認証装置。
（付記６）対象者の認証を行う認証システムであって、前記対象者の顔画像を撮像する撮像装置と、前記対象者へ行う質問に対して複数の回答候補を表示装置に出力する出力手段と、撮像された前記顔画像における対象者の視線に基づいて、前記回答候補の中から前記質問に対する回答を特定する回答特定手段と、特定された回答の正誤判定を行う回答判定手段と、撮像された前記顔画像から前記対象者の顔認証を行う顔認証手段と、複数の前記顔画像から検知される前記対象者の視線の変化に基づいて、前記対象者の生体判定を行う生体判定手段と、前記正誤判定、前記生体判定、および、前記顔認証の結果に基づいて、対象者の認証を行う対象者認証手段とを備えたことを特徴とする認証システム。
（付記７）対象者の顔画像を撮像する複数の撮像装置を備え、回答特定手段は、第一の撮像装置で撮像された第一顔画像における対象者の視線に基づいて回答を特定し、顔認証手段は、第二の撮像装置で撮像された第二顔画像から対象者の顔認証を行う付記６記載の認証システム。
（付記８）対象者の認証を行う認証方法であって、前記対象者へ行う質問に対して複数の回答候補を表示装置に出力し、前記対象者の顔画像を撮像する撮像装置により撮像された当該顔画像における対象者の視線に基づいて、前記回答候補の中から前記質問に対する回答を特定し、特定された回答の正誤判定を行い、前記撮像装置により撮像された顔画像から前記対象者の顔認証を行い、複数の前記顔画像から検知される前記対象者の視線の変化に基づいて、前記対象者の生体判定を行い、前記正誤判定、前記生体判定、および、前記顔認証の結果に基づいて、対象者の認証を行うことを特徴とする認証方法。
（付記９）対象者が回答を特定した回答時刻を取得し、前記回答時刻と同時刻に行われた顔認証の結果を取得し、対象者が、顔認証で照合した人物の生体であると認証する付記８記載の認証方法。
（付記１０）対象者の認証を行うコンピュータに適用される認証プログラムを記憶するプログラム記憶媒体であって、前記コンピュータに、前記対象者へ行う質問に対して複数の回答候補を表示装置に出力する出力処理、前記対象者の顔画像を撮像する撮像装置により撮像された当該顔画像における対象者の視線に基づいて、前記回答候補の中から前記質問に対する回答を特定する回答特定処理、特定された回答の正誤判定を行う回答判定処理、前記撮像装置により撮像された顔画像から前記対象者の顔認証を行う顔認証処理、複数の前記顔画像から検知される前記対象者の視線の変化に基づいて、前記対象者の生体判定を行う生体判定処理、および、前記正誤判定、前記生体判定、および、前記顔認証の結果に基づいて、対象者の認証を行う対象者認証処理を実行させるための認証プログラムを記憶するプログラム記憶媒体。
（付記１１）コンピュータに、回答特定処理で、対象者が回答を特定した回答時刻を取得させ、顔認証処理で、前記回答時刻と同時刻に行われた顔認証の結果を取得させ、対象者認証処理で、対象者が、顔認証で照合した人物の生体であると認証させる認証プログラムを記憶する付記１０記載のプログラム記憶媒体。
（付記１２）対象者の認証を行うコンピュータに適用される認証プログラムであって、前記コンピュータに、前記対象者へ行う質問に対して複数の回答候補を表示装置に出力する出力処理、前記対象者の顔画像を撮像する撮像装置により撮像された当該顔画像における対象者の視線に基づいて、前記回答候補の中から前記質問に対する回答を特定する回答特定処理、特定された回答の正誤判定を行う回答判定処理、前記撮像装置により撮像された顔画像から前記対象者の顔認証を行う顔認証処理、複数の前記顔画像から検知される前記対象者の視線の変化に基づいて、前記対象者の生体判定を行う生体判定処理、および、前記正誤判定、前記生体判定、および、前記顔認証の結果に基づいて、対象者の認証を行う対象者認証処理を実行させるための認証プログラム。
（付記１３）コンピュータに、回答特定処理で、対象者が回答を特定した回答時刻を取得させ、顔認証処理で、前記回答時刻と同時刻に行われた顔認証の結果を取得させ、対象者認証処理で、対象者が、顔認証で照合した人物の生体であると認証させる付記１２記載の認証プログラム。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　本発明は、対象者の認証を行う認証装置に好適に適用される。具体的には、本発明を、金融取引や契約行為などにおける個人認証に用いることが可能である。それだけでなく、本発明を、あるエリアに入場可能な人物を制限するなどのセキュリティ分野や、ある店舗に訪れた人物に特別なサービスを提供するなどの商業分野など、様々な産業分野に適用可能である。
　１０，１１０，２１０　認証装置
　１１　記憶部
　１２　入力部
　１３　出力部
　１４，２４　回答特定部
　１５　回答判定部
　１６，２６　顔認証部
　１７，３７　生体判定部
　１８，２８　対象者認証部
　２０　撮像装置
　３０　表示装置
　１００，２００，３００　認証システム

Claims (11)

  1. 　対象者の認証を行う認証装置であって、
    　前記対象者へ行う質問に対して複数の回答候補を表示装置に出力する出力手段と、
    　前記対象者の顔画像を撮像する撮像装置により撮像された当該顔画像における対象者の視線に基づいて、前記回答候補の中から前記質問に対する回答を特定する回答特定手段と、
    　特定された回答の正誤判定を行う回答判定手段と、
    　前記撮像装置により撮像された顔画像から前記対象者の顔認証を行う顔認証手段と、
    　複数の前記顔画像から検知される前記対象者の視線の変化に基づいて、前記対象者の生体判定を行う生体判定手段と、
    　前記正誤判定、前記生体判定、および、前記顔認証の結果に基づいて、対象者の認証を行う対象者認証手段とを備えた
    　ことを特徴とする認証装置。
  2. 　回答特定手段は、対象者が回答を特定した回答時刻を取得し、
    　顔認証手段は、前記回答時刻と同時刻に行われた顔認証の結果を取得し、
    　対象者認証手段は、対象者が、顔認証で照合した人物の生体であると認証する
    　請求項１記載の認証装置。
  3. 　生体判定手段は、対象者が視線を動かして回答を選択している間の、顔の方向に対する視線の相対角度変化を検知して、対象者の生体判定を行う
    　請求項１または請求項２記載の認証装置。
  4. 　出力手段は、顔認証により認証された対象者固有の質問に対応する複数の回答候補を表示装置に出力する
    　請求項１から請求項３のうちのいずれか１項に記載の認証装置。
  5. 　回答特定手段は、第一の撮像装置で撮像された第一顔画像における対象者の視線に基づいて回答を特定し、
    　顔認証手段は、第二の撮像装置で撮像された第二顔画像から対象者の顔認証を行う
    　請求項１から請求項４のうちのいずれか１項に記載の認証装置。
  6. 　対象者の認証を行う認証システムであって、
    　前記対象者の顔画像を撮像する撮像装置と、
    　前記対象者へ行う質問に対して複数の回答候補を表示装置に出力する出力手段と、
    　撮像された前記顔画像における対象者の視線に基づいて、前記回答候補の中から前記質問に対する回答を特定する回答特定手段と、
    　特定された回答の正誤判定を行う回答判定手段と、
    　撮像された前記顔画像から前記対象者の顔認証を行う顔認証手段と、
    　複数の前記顔画像から検知される前記対象者の視線の変化に基づいて、前記対象者の生体判定を行う生体判定手段と、
    　前記正誤判定、前記生体判定、および、前記顔認証の結果に基づいて、対象者の認証を行う対象者認証手段とを備えた
    　ことを特徴とする認証システム。
  7. 　対象者の顔画像を撮像する複数の撮像装置を備え、
    　回答特定手段は、第一の撮像装置で撮像された第一顔画像における対象者の視線に基づいて回答を特定し、
    　顔認証手段は、第二の撮像装置で撮像された第二顔画像から対象者の顔認証を行う
    　請求項６記載の認証システム。
  8. 　対象者の認証を行う認証方法であって、
    　前記対象者へ行う質問に対して複数の回答候補を表示装置に出力し、
    　前記対象者の顔画像を撮像する撮像装置により撮像された当該顔画像における対象者の視線に基づいて、前記回答候補の中から前記質問に対する回答を特定し、
    　特定された回答の正誤判定を行い、
    　前記撮像装置により撮像された顔画像から前記対象者の顔認証を行い、
    　複数の前記顔画像から検知される前記対象者の視線の変化に基づいて、前記対象者の生体判定を行い、
    　前記正誤判定、前記生体判定、および、前記顔認証の結果に基づいて、対象者の認証を行う
    　ことを特徴とする認証方法。
  9. 　対象者が回答を特定した回答時刻を取得し、
    　前記回答時刻と同時刻に行われた顔認証の結果を取得し、
    　対象者が、顔認証で照合した人物の生体であると認証する
    　請求項８記載の認証方法。
  10. 　対象者の認証を行うコンピュータに適用される認証プログラムを記憶するプログラム記憶媒体であって、
    　前記コンピュータに、
    　前記対象者へ行う質問に対して複数の回答候補を表示装置に出力する出力処理、
    　前記対象者の顔画像を撮像する撮像装置により撮像された当該顔画像における対象者の視線に基づいて、前記回答候補の中から前記質問に対する回答を特定する回答特定処理、
    　特定された回答の正誤判定を行う回答判定処理、
    　前記撮像装置により撮像された顔画像から前記対象者の顔認証を行う顔認証処理、
    　複数の前記顔画像から検知される前記対象者の視線の変化に基づいて、前記対象者の生体判定を行う生体判定処理、および、
    　前記正誤判定、前記生体判定、および、前記顔認証の結果に基づいて、対象者の認証を行う対象者認証処理
    　を実行させるための認証プログラムを記憶するプログラム記憶媒体。
  11. 　コンピュータに、
    　回答特定処理で、対象者が回答を特定した回答時刻を取得させ、
    　顔認証処理で、前記回答時刻と同時刻に行われた顔認証の結果を取得させ、
    　対象者認証処理で、対象者が、顔認証で照合した人物の生体であると認証させる
    　認証プログラムを記憶する請求項１０記載のプログラム記憶媒体。
PCT/JP2020/018169 2020-04-28 2020-04-28 認証装置、認証システム、認証方法および認証プログラム WO2021220423A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/018169 WO2021220423A1 (ja) 2020-04-28 2020-04-28 認証装置、認証システム、認証方法および認証プログラム
JP2022518509A JP7428242B2 (ja) 2020-04-28 2020-04-28 認証装置、認証システム、認証方法および認証プログラム
US17/918,608 US20230142255A1 (en) 2020-04-28 2020-04-28 Authentication device, authentication system, authentication method, andauthentication program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/018169 WO2021220423A1 (ja) 2020-04-28 2020-04-28 認証装置、認証システム、認証方法および認証プログラム

Publications (1)

Publication Number Publication Date
WO2021220423A1 true WO2021220423A1 (ja) 2021-11-04

Family

ID=78332333

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018169 WO2021220423A1 (ja) 2020-04-28 2020-04-28 認証装置、認証システム、認証方法および認証プログラム

Country Status (3)

Country Link
US (1) US20230142255A1 (ja)
JP (1) JP7428242B2 (ja)
WO (1) WO2021220423A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023084667A1 (ja) * 2021-11-11 2023-05-19 日本電気株式会社 認証装置、エンジン生成装置、認証方法、エンジン生成方法、及び、記録媒体
WO2023144929A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 認証システム、認証装置、認証方法、およびプログラム
WO2024004084A1 (ja) * 2022-06-29 2024-01-04 日本電気株式会社 情報処理装置、装着デバイス、情報処理方法、及び、記録媒体
WO2024127449A1 (ja) * 2022-12-12 2024-06-20 日本電気株式会社 車両ドア制御装置、方法、及びコンピュータ可読媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005149326A (ja) * 2003-11-18 2005-06-09 Canon Inc 認証システム及び認証方法
JP2009205542A (ja) * 2008-02-28 2009-09-10 Fujitsu Ltd 個人認証システム、個人認証方法および個人認証プログラム
WO2016059786A1 (ja) * 2014-10-15 2016-04-21 日本電気株式会社 なりすまし検知装置、なりすまし検知方法、および、記憶媒体
JP2017162420A (ja) * 2016-03-13 2017-09-14 学校法人関西学院 個人認証方法および個人認証システム
US20180239955A1 (en) * 2015-08-10 2018-08-23 Yoti Holding Limited Liveness detection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5794410B2 (ja) 2010-12-20 2015-10-14 日本電気株式会社 認証カード、認証システム、ガイダンス方法及びプログラム
JP6376246B2 (ja) 2017-05-11 2018-08-22 オムロン株式会社 認証装置、認証方法、制御プログラムおよび記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005149326A (ja) * 2003-11-18 2005-06-09 Canon Inc 認証システム及び認証方法
JP2009205542A (ja) * 2008-02-28 2009-09-10 Fujitsu Ltd 個人認証システム、個人認証方法および個人認証プログラム
WO2016059786A1 (ja) * 2014-10-15 2016-04-21 日本電気株式会社 なりすまし検知装置、なりすまし検知方法、および、記憶媒体
US20180239955A1 (en) * 2015-08-10 2018-08-23 Yoti Holding Limited Liveness detection
JP2017162420A (ja) * 2016-03-13 2017-09-14 学校法人関西学院 個人認証方法および個人認証システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023084667A1 (ja) * 2021-11-11 2023-05-19 日本電気株式会社 認証装置、エンジン生成装置、認証方法、エンジン生成方法、及び、記録媒体
WO2023144929A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 認証システム、認証装置、認証方法、およびプログラム
WO2024004084A1 (ja) * 2022-06-29 2024-01-04 日本電気株式会社 情報処理装置、装着デバイス、情報処理方法、及び、記録媒体
WO2024127449A1 (ja) * 2022-12-12 2024-06-20 日本電気株式会社 車両ドア制御装置、方法、及びコンピュータ可読媒体

Also Published As

Publication number Publication date
JP7428242B2 (ja) 2024-02-06
JPWO2021220423A1 (ja) 2021-11-04
US20230142255A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US10482230B2 (en) Face-controlled liveness verification
WO2021220423A1 (ja) 認証装置、認証システム、認証方法および認証プログラム
EP3190534B1 (en) Identity authentication method and apparatus, terminal and server
US9690480B2 (en) Controlled access to functionality of a wireless device
US10580243B2 (en) Conditional and situational biometric authentication and enrollment
JP4760049B2 (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
KR20160144419A (ko) 신원들을 검증하기 위한 방법 및 시스템
US11997087B2 (en) Mobile enrollment using a known biometric
US11494474B2 (en) Brain activity-based authentication
US20210406353A1 (en) System and method for biometric authentication
JP2018173891A (ja) 認証装置、認証方法、認証プログラム、およびデータベース
JP2008000464A (ja) 認証装置および認証方法
US9405891B1 (en) User authentication
US20240143713A1 (en) Multimodal motion vision based authentication system a method thereof
WO2022084444A1 (en) Methods, systems and computer program products, for use in biometric authentication
CN114519892A (zh) 用于生物特征认证的质询-响应方法
KR20200092225A (ko) 다중 생체정보 사용자인증을 이용한 연속인증 방법
KR20190017551A (ko) 사용자 인증 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20933693

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022518509

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20933693

Country of ref document: EP

Kind code of ref document: A1