WO2020022034A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2020022034A1
WO2020022034A1 PCT/JP2019/026794 JP2019026794W WO2020022034A1 WO 2020022034 A1 WO2020022034 A1 WO 2020022034A1 JP 2019026794 W JP2019026794 W JP 2019026794W WO 2020022034 A1 WO2020022034 A1 WO 2020022034A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
face
information processing
determination
unit
Prior art date
Application number
PCT/JP2019/026794
Other languages
English (en)
French (fr)
Inventor
亨 青柳
佳子 今西
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/260,658 priority Critical patent/US11600118B2/en
Priority to JP2020532266A priority patent/JP7363786B2/ja
Priority to CN201980047731.2A priority patent/CN112437947A/zh
Publication of WO2020022034A1 publication Critical patent/WO2020022034A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program.
  • Patent Literature 1 discloses a technique for opening an account of a financial institution via a network.
  • personal identification is performed by matching image information read by a scanner with personal identification information input by a user.
  • Patent Literature 2 discloses a technique of personal identification by collating a user's face image for preventing spoofing based on a face direction or blinking instruction.
  • Patent Document 3 discloses a technique for identifying a person by changing corneal reflection due to movement of the face direction.
  • An object of the present invention is to provide a technique for solving the above-mentioned problem.
  • an information processing device includes: A first determination unit that determines that the user's face and the identity verification document are simultaneously displayed in the video, When the first determination unit determines that the face and the identity verification document are simultaneously displayed, an operation instruction is notified, and a determination is made as to whether the user has operated in response to the operation instruction. 2 determination unit; When the second determination unit determines that the user has operated in response to the operation instruction, a confirmation unit that confirms that the identity verification document corresponds to the user, With.
  • an information processing method comprises: A first determination step of determining that the user's face and the identity verification document are simultaneously displayed in the video, In the first determining step, when it is determined that the face and the personal identification document are simultaneously displayed, an operation instruction is notified, and a determination is made as to whether the user has operated according to the operation instruction. Two determination steps; In the second determination step, when it is determined that the user has acted in response to the operation instruction, a confirmation step of confirming that the identity verification document corresponds to the user, including.
  • an information processing program comprises: A first determination step of determining that the user's face and the identity verification document are simultaneously displayed in the video, In the first determining step, when it is determined that the face and the personal identification document are simultaneously displayed, an operation instruction is notified, and a determination is made as to whether the user has operated according to the operation instruction. Two determination steps; When the second determination step determines that the user has operated in response to the operation instruction, a confirmation step of confirming that the identification document corresponds to the user; On a computer.
  • FIG. 1 is a block diagram illustrating a configuration of an information processing device according to a first embodiment of the present invention. It is a figure for explaining an outline of operation of an information processor concerning a 2nd embodiment of the present invention. It is another figure for explaining the outline of operation of the information processor concerning a 2nd embodiment of the present invention.
  • FIG. 13 is still another diagram for describing the outline of the operation of the information processing device according to the second embodiment of the present invention. It is a block diagram showing the composition of the information processor concerning a 2nd embodiment of the present invention. It is a figure showing an example of a judgment table with which an information processor concerning a 2nd embodiment of the present invention is provided. It is a block diagram showing a hardware configuration of an information processing device according to a second embodiment of the present invention.
  • FIG. 9 is another flowchart illustrating a processing procedure of the information processing apparatus according to the second embodiment of the present invention. 9 is still another flowchart illustrating the processing procedure of the information processing device according to the second embodiment of the present invention. It is a figure for explaining an outline of operation of an information processor concerning a 3rd embodiment of the present invention. It is a block diagram showing the composition of the information processor concerning a 3rd embodiment of the present invention. It is a flow chart explaining a processing procedure of an information processor concerning a 3rd embodiment of the present invention. It is a figure for explaining an outline of operation of an information processor concerning a 4th embodiment of the present invention. It is a block diagram showing the composition of the information processor concerning a 4th embodiment of the present invention. It is a flow chart explaining a processing procedure of an information processor concerning a 4th embodiment of the present invention.
  • the information processing device 100 is a device that performs personal authentication in an account opening procedure such as Internet banking.
  • the information processing apparatus 100 includes a determination unit 101, a determination unit 102, and a confirmation unit 103.
  • the determination unit 101 determines that the user's face and the identity verification document are simultaneously displayed in the moving image.
  • the determining unit 102 notifies an operation instruction and determines whether or not the user has operated according to the operation instruction.
  • the checking unit 103 checks that the personal identification document corresponds to the user.
  • FIG. 2A is a diagram for describing an outline of an operation of the information processing apparatus according to the present embodiment.
  • FIG. 2B is another diagram for describing the outline of the operation of the information processing apparatus according to the present embodiment.
  • the information processing device 200 is a device that performs personal authentication in an account opening procedure in Internet banking, online securities, and other financial transactions.
  • the information processing device 200 is a mobile terminal such as a smartphone. Therefore, the display screens (201 to 208) shown in FIGS. 2A and 2B are displayed on the display of the information processing device 200.
  • an account opening application having a function of performing personal authentication (identification) is installed in the information processing apparatus 200.
  • the information processing device 200 executes an application activation process.
  • a top menu 201 is displayed on the display of the information processing device 200.
  • the user taps a desired procedure icon from the top menu 201.
  • the information processing device 200 displays a personal consent screen 202. Exemption items, agreement items, and the like are displayed on the personal consent screen 202.
  • the information processing apparatus 200 displays the next screen (203).
  • the information processing apparatus 200 displays the one-time password transmission screen 203 and transmits a password (one-time password) for provisional login to the user using SMS (Short Message Service).
  • a password one-time password
  • SMS Short Message Service
  • the information processing device 200 displays the temporary login screen 204.
  • the user inputs the transmitted one-time password in the one-time password input area of the temporary login screen 204, and temporarily logs in to the account opening system.
  • the information processing apparatus 200 displays the user identification start screen 205 and executes the user identification work.
  • the user uses the front camera of the information processing device 200 (smartphone) to capture an image of his / her own face and a personal identification document such as a driver's license so as to fit within a predetermined frame of the personal identification screen 206.
  • the photographing of the user's face and the identity verification document is performed in the moving image mode.
  • the identity verification document is a so-called identification card with a photo, such as a license, a passport, a personal number card (my number card) with a photo, and a residence card.
  • the certificate is not limited to these as long as it can be used for confirmation.
  • the user takes a picture with the camera so that his / her face fits in a predetermined frame in the upper part of the personal identification screen 206, and sets the camera so that the personal identification document fits in the predetermined frame in the lower part of the personal identification screen 206.
  • the information processing device 200 determines the extraction of the user's face from the captured moving image of the user.
  • the determination of the face extraction is a determination of whether or not the feature of the face is included in the moving image.
  • the information processing apparatus 200 determines the face extraction of the personal identification document from the video of the user's personal identification document that has been captured.
  • the information processing device 200 executes authentication for preventing impersonation of the user. It should be noted that the timing of the authentication work for preventing impersonation of the user is not limited to this timing.
  • spoofing prevention authentication liveness authentication
  • an instruction is issued from the information processing apparatus 200 to a user who is operating an account opening application using the information processing apparatus 200 to perform a predetermined operation. Then, if the user performs a predetermined operation in accordance with the instruction, it can be ensured that the user is in front of the information processing device 200 and is actually operating the application.
  • the operations used for the spoofing prevention authentication include, for example, operations such as winking of the right eye, winking of the left eye, closing both eyes, tilting the face to the right, tilting the face to the left, and facing the front. Instead, for example, a smile (raising the corner of the mouth), a line of sight, or the like may be used.
  • the information processing apparatus 200 authenticates the user by comparing the user's face with the user's face in the photograph of the personal identification document.
  • the personal authentication is performed, for example, by comparing and matching the feature amount of the user's face with the feature amount of the face of the identification document.
  • the information processing apparatus 200 displays the evidence image confirmation / transmission screen 207, and performs OCR (Optical Character Recognition) processing 208 of the user's face image and the image of the personal identification document acquired on the personal identification screen 206, Read the information described in the identity verification documents. Thereafter, the contents of the read information are checked, and screening processing (determination of whether or not the person is prohibited from opening an account) is performed.
  • OCR Optical Character Recognition
  • FIG. 2C is still another diagram for explaining the outline of the operation of the information processing apparatus according to the present embodiment.
  • FIG. 2C is a simplified diagram of the personal identification screen 206.
  • FIG. 2C illustrates a timing at which the information processing apparatus 200 acquires a face image of the user.
  • the information processing apparatus 200 acquires the feature amount of the user's face at a timing (261) at which the user projects his / her own face and the personal identification document. That is, the information processing apparatus 200 acquires the feature amount of the user's face at a timing before performing the spoofing prevention authentication (liveness authentication) for the user.
  • the information processing apparatus 200 acquires the photographed face image of the user at a timing (262) during which the user is performing the spoofing prevention authentication. Further, the information processing apparatus 200 acquires the photographed face image of the user at a timing (263) after the spoofing prevention authentication for the user is completed. As described above, the information processing apparatus 200 acquires the face image of the user at various timings.
  • FIG. 3 is a block diagram illustrating a configuration of the information processing apparatus according to the present embodiment.
  • the information processing device 200 includes an imaging unit 301, a determination unit 302, a determination unit 303, a confirmation unit 304, and a storage unit 305.
  • the image capturing unit 301 is a camera included in the information processing device 200, and can capture a moving image or a still image.
  • the imaging unit 301 captures a moving image.
  • the photographing unit 301 is a front camera (in-camera) such as a smartphone.
  • the camera of the information processing device 200 is started in the moving image mode, and a shooting frame for assisting the moving image shooting is displayed on the display of the information processing device 200.
  • self-portrait selfie
  • the user shoots a moving image such that his / her face falls within a predetermined frame displayed on the display, but the user may shoot a moving image of the upper body or the whole body.
  • the moving image photographed by the photographing unit 301 is stored in, for example, the storage unit 305.
  • the imaging unit 301 may be outside the information processing device 200.
  • the determination unit 302 determines that the user's face and the identity verification document are simultaneously displayed in the moving image captured by the imaging unit 301.
  • the user for example, captures a moving image while holding the information processing device 200 in one hand and an identification document in the other hand.
  • the determination unit 303 notifies the user of an operation instruction when the determination unit 302 determines that the user's face and the identification document are simultaneously displayed in the moving image captured by the imaging unit 301.
  • the notification of the operation instruction is performed by, for example, displaying the content of the operation instruction on the display of the information processing device 200 or outputting the sound of the operation instruction from the speaker of the information processing device 200.
  • the determination unit 303 performs, for example, spoofing prevention authentication with reference to the determination table 331, and determines whether the user has changed a face (expression) or the like as instructed (in response to an operation instruction).
  • the operation instruction notified by the determination unit 303 includes, for example, right-eye wink (close the right eye), left-eye wink (close the left eye), close both eyes, tilt the face to the right, tilt the face to the left, or turn the face to the front It is.
  • the operation instructions are not limited to these, for example, turning the face to the right, turning the face to the left, laughing (raising the corner of the mouth), moving the left and right eyebrows, wrinkling between the eyebrows, opening the mouth, opening the mouth It may be closed.
  • the operation instruction is not limited to the example of changing the facial expression or the like shown here, and for example, moves a part of the user's body such as raising, lowering, raising or lowering a hand. Such an instruction may be used. Further, as the operation to be instructed to the user, the operation described here may be specified alone, or a plurality of the operations described here may be specified in combination.
  • the determination unit 303 determines whether or not the user has performed an operation in accordance with the operation instruction, thereby making it possible to prevent an improper account opening due to impersonation. That is, the determination by the determination unit 303 is performed to ensure that the user who is actually there is performing the procedure.
  • the determination unit 303 performs so-called liveness authentication.
  • the checking unit 304 checks that the identity verification document corresponds to the user. That is, the user confirms that the person whose face appears in the moving image photographed using the photographing unit 301 of the information processing apparatus 200 is the same person as the person in the identity verification document appearing in the same moving image.
  • the confirmation by the confirmation unit 304 is performed by comparing the feature amount of the face appearing in the captured moving image with the feature amount of the personal identification document.
  • the confirmation unit 304 specifically confirms as follows.
  • the confirmation unit 304 includes a feature amount extraction unit 341 and a feature amount matching unit 342.
  • the feature amount extraction unit 341 acquires the moving image temporarily stored in the storage unit 305.
  • the feature amount extraction unit 341 extracts a still image from the acquired moving image.
  • the feature amount extraction unit 341 may extract an arbitrary frame as a still image from the frames constituting the acquired moving image.
  • the feature amount extraction unit 341 extracts features that stand out from the user's face image in the still image.
  • the feature amount extraction unit 341 extracts, for example, the relative position and size of face parts (eyes, nose, mouth, etc.), the shapes of eyes, nose, cheekbones, and jaws as features.
  • the extracted feature amount of the user's face may be stored in the storage unit 305.
  • the feature amount of the face stored in the storage unit 305 may be stored in association with the face image.
  • the feature amount extracting unit 341 acquires the moving image stored in the storage unit 305, recognizes the image of the personal identification document from the acquired moving image, and extracts the characteristic amount of the recognized personal identification document.
  • the feature amount extraction unit 341 extracts the feature amount of the face of the person appearing in the photograph portion of the personal identification document. Note that the feature amount of the personal identification document extracted by the feature amount extracting unit 341 is not limited to the characteristic amount of the face of the person appearing in the photograph portion of the personal identification document. May be extracted.
  • the feature amount extraction unit 341 cuts out the user's face image from the photograph portion of the driver's license, and extracts the face feature amount from the cut out face image. Then, the feature amount of the personal identification document extracted by the feature amount extraction unit 341 may be stored in the storage unit 305. The feature amount of the personal identification document stored in the storage unit 305 may be stored in association with the image of the personal identification document.
  • the feature amount extraction unit 341 may extract the feature amount of the user's face and the feature amount (such as the face feature amount) of the user identification document included in the moving image being determined by the determination unit 303.
  • the feature amount of the personal identification document may be extracted from the image of the personal identification document acquired at another timing.
  • the extraction of the characteristic amount of the personal identification document is not limited to the example of extracting the characteristic amount of the personal identification document based on a moving image in which the user's face and the personal identification document are simultaneously displayed.
  • the feature amount extraction unit 341 may extract the feature amount of the user's face and the feature amount (such as the face feature amount) of the user identification document included in the moving image for a predetermined period before the determination by the determination unit 303. .
  • the feature amount of the personal identification document may be extracted from the image of the personal identification document acquired at another timing.
  • the extraction of the characteristic amount of the personal identification document is not limited to the example of extracting the characteristic amount of the personal identification document based on a moving image in which the user's face and the personal identification document are simultaneously displayed.
  • the feature amount extraction unit 341 may extract the feature amount of the user's face and the feature amount (such as the face feature amount) of the user identification document included in the moving image for a predetermined period after the determination by the determination unit 303. .
  • the feature amount of the personal identification document may be extracted from the image of the personal identification document acquired at another timing.
  • the extraction of the characteristic amount of the personal identification document is not limited to the example of extracting the characteristic amount of the personal identification document based on a moving image in which the user's face and the personal identification document are simultaneously displayed.
  • the feature amount matching unit 342 compares the extracted face feature amount with the feature amount of the personal identification document. As a result of the collation, if it is determined that the feature amounts match, the confirmation unit 304 confirms that the personal identification document corresponds to the user.
  • the feature amount matching unit 342 compares the feature amount of the user's face included in the moving image being determined by the determining unit 303 with the feature amount (such as the facial feature amount) of the personal identification document.
  • the feature amount of the personal identification document may be extracted from an image of the personal identification document acquired at another timing.
  • the extraction of the characteristic amount of the personal identification document is not limited to the example of extracting the characteristic amount of the personal identification document based on a moving image in which the user's face and the personal identification document are simultaneously displayed.
  • the feature amount matching unit 342 compares the feature amount of the user's face included in the moving image before the determination by the determining unit 303 with the feature amount (such as the facial feature amount) of the personal identification document.
  • the feature amount of the personal identification document may be extracted from an image of the personal identification document acquired at another timing.
  • the extraction of the characteristic amount of the personal identification document is not limited to the example of extracting the characteristic amount of the personal identification document based on a moving image in which the user's face and the personal identification document are simultaneously displayed.
  • the feature amount matching unit 342 compares the feature amount of the user's face included in the moving image after the determination by the determining unit 303 with the feature amount (such as the face feature amount) of the personal identification document.
  • the feature amount of the personal identification document may be extracted from an image of the personal identification document acquired at another timing.
  • the extraction of the characteristic amount of the personal identification document is not limited to the example of extracting the characteristic amount of the personal identification document based on a moving image in which the user's face and the personal identification document are simultaneously displayed.
  • the feature amount comparison by the feature amount matching unit 342 is performed based on whether or not the feature amounts match each other.
  • the feature amount matching unit 342 may determine that the two feature amounts match when the feature amounts match at a predetermined ratio, in addition to when the feature amounts completely match. Therefore, when it is desired to perform the verification (identification) more securely, it is determined that the matching is complete, and when the hurdle of the verification (identification) can be lowered a little, the matching does not have to be performed.
  • the level of matching by the feature amount matching unit 342 can be set arbitrarily. Note that the feature amount extracted by the feature amount extracting unit 341 and the matching result by the feature amount matching unit 342 may be stored in the storage unit 305.
  • FIG. 4 is a diagram illustrating an example of a determination table included in the information processing apparatus according to the present embodiment.
  • the determination table 331 stores the liveness operation 402 in association with the liveness instruction ID (Identifier) 401.
  • the liveness instruction ID 401 is an identifier for identifying an operation instruction for spoofing prevention authentication (liveness authentication) to be issued to the user.
  • the liveness operation 402 indicates the contents of an operation instructed to the user, and these operations may be used alone or a plurality of these operations may be used in combination. By using a plurality of liveness operations 402 in combination, it is possible to further increase the hurdle of spoofing authentication.
  • the determining unit 303 refers to the determination table 331 and issues a spoofing prevention authentication instruction to the user.
  • FIG. 5 is a block diagram illustrating a hardware configuration of the information processing apparatus 200 according to the present embodiment.
  • a CPU (Central Processing Unit) 510 is a processor for arithmetic control, and realizes the functional components of the information processing apparatus 200 in FIG. 3 by executing a program.
  • the CPU 510 includes a plurality of processors, and may execute different programs, modules, tasks, threads, and the like in parallel.
  • a ROM (Read Only Memory) 520 stores fixed data such as initial data and programs, and other programs.
  • the network interface 530 communicates with other devices via a network. Note that the number of CPUs 510 is not limited to one, and a plurality of CPUs or a GPU (Graphics Processing Unit) for image processing may be included.
  • the network interface 530 has a CPU independent of the CPU 510 and writes or reads transmission / reception data in an area of a random access memory (RAM) 540. It is desirable to provide a DMAC (Direct Memory Access Controller) for transferring data between the RAM 540 and the storage 550 (not shown). Further, CPU 510 recognizes that the data has been received or transferred to RAM 540 and processes the data. The CPU 510 prepares the processing result in the RAM 540, and leaves the subsequent transmission or transfer to the network interface 530 or the DMAC.
  • DMAC Direct Memory Access Controller
  • the RAM 540 is a random access memory used by the CPU 510 as a work area for temporary storage. In the RAM 540, an area for storing data necessary for realizing the present embodiment is secured.
  • the moving image 541 is a moving image captured by the imaging unit 301 of the information processing device 200.
  • the personal identification document image 542 is an image of a personal identification document such as a driver's license photographed by the photographing unit 301 of the information processing device 200.
  • the operation instruction content 543 is the content of an operation instructing the user for spoofing prevention authentication.
  • the determination result 544 is a result of whether or not the user's face and the personal identification document are simultaneously displayed in the moving image, and a result of whether or not the user has performed an operation such as changing the face according to the instruction.
  • the face feature amount 545 includes a feature amount of the user's face extracted from the captured moving image.
  • the face feature amount 545 includes a feature amount of the user's face extracted from the image of the personal identification document.
  • the collation result 546 is a result of collating the feature amount of the user's face extracted from the captured moving image with the feature amount of the user's face extracted from the image of the personal identification document.
  • the confirmation result 547 is a result of confirming that the personal identification document corresponds to the user.
  • the transmitted / received data 548 is data transmitted / received via the network interface 530. Further, the RAM 540 has an application execution area 549 for executing various application modules.
  • the storage 550 stores a database, various parameters, or the following data or programs necessary for realizing the present embodiment.
  • the storage 550 stores the determination table 331.
  • the determination table 331 is a table for managing the relationship between the liveness instruction ID 401 and the liveness operation 402 shown in FIG.
  • the storage 550 further stores an imaging module 551, a determination module 552, a determination module 553, and a confirmation module 554. Further, the confirmation module 554 includes a feature amount extraction module 5541 and a feature amount matching module 5542.
  • the shooting module 551 is a module for shooting a moving image.
  • the determination module 552 is a module that determines that the user's face and the identity verification document are simultaneously displayed in the moving image.
  • the determination module 553 is a module that determines whether the user has performed an operation according to an operation instruction.
  • the confirmation module 554 is a module that confirms that the personal identification document corresponds to the user.
  • the feature amount extraction module 5541 is a module that extracts a feature amount of a user's face in a moving image and a feature amount of a personal identification document.
  • the feature amount matching module 5542 is a module that compares the extracted feature amount of the face with the feature amount of the personal identification document.
  • the input / output interface 560 interfaces input / output data with input / output devices.
  • the display unit 561 and the operation unit 562 are connected to the input / output interface 560.
  • a storage medium 564 may be connected to the input / output interface 560.
  • a speaker 563 as an audio output unit
  • a microphone (not shown) as an audio input unit, or a GPS position determination unit may be connected.
  • the RAM 540 and the storage 550 illustrated in FIG. 5 do not illustrate programs and data related to general-purpose functions and other realizable functions of the information processing apparatus 200.
  • FIG. 6A is a flowchart illustrating a processing procedure of the information processing device 200 according to the present embodiment.
  • FIG. 6B is another flowchart illustrating the processing procedure of the information processing apparatus according to the present embodiment.
  • FIG. 6C is another flowchart illustrating the processing procedure of the information processing apparatus according to the present embodiment.
  • step S601 the information processing device 200 instructs to display the user's face and the identity verification document in a predetermined frame. In this case, the information processing device 200 captures a user's face or the like in the moving image mode.
  • step S603 the information processing device 200 determines whether or not the user's face and the identity verification document are simultaneously displayed in the moving image. When it is determined that the images are not simultaneously displayed (NO in step S603), the information processing device 200 returns to step S601. If it is determined that the images are displayed at the same time (YES in step S603), the information processing device 200 proceeds to the next step.
  • step S605 the information processing device 200 issues an instruction for spoofing prevention authentication (liveness authentication) to the user.
  • step S607 the information processing device 200 stores the moving image and the image of the personal identification document.
  • step S609 the information processing device 200 determines whether the user has performed the operation as instructed by the operation. For example, when the instruction is a right-eye wink, the information processing device 200 determines whether the user has performed a right-eye wink. If the user is not performing the operation as instructed (NO in step S609), the information processing device 200 returns to step S601. Note that the information processing apparatus 200 may return to step S605 without returning to step S601, and again issue an instruction for spoofing prevention authentication.
  • step S611 the information processing device 200 collates the face of the user included in the moving image with the face included in the identification document. That is, the information processing apparatus 200 performs the collation using the moving image acquired during the spoofing prevention authentication and the image of the personal identification document. The information processing device 200 performs matching based on whether or not the feature amounts match.
  • step S613 the information processing device 200 determines whether the feature amounts match. When it is determined that the feature amounts do not match (NO in step S613), the information processing apparatus 200 returns to step S601 and performs the processing again from the first step.
  • step S613 If it is determined that the feature amounts match (YES in step S613), the information processing device 200 proceeds to step S615. In step S615, the information processing device 200 confirms that the personal identification document corresponds to the user.
  • step S617 it is determined whether the liveness authentication (step S609) and the matching of the feature amount (step S613) have been performed a predetermined number of times. If it is determined that the process has not been performed the predetermined number of times (NO in step S617), the information processing device 200 returns to step S601. When it is determined that the processing has been performed the predetermined number of times (YES in step S617), the information processing apparatus 200 proceeds to step S615.
  • step S613 is executed for the number of times of execution of step S609 (liveness authentication).
  • the liveness authentication (step S609) may be repeatedly performed, for example, each time the steps in FIG. 6A are performed, to confirm that the liveness authentication is continuous. The process of step S617 may or may not be performed.
  • the flowchart of FIG. 6B differs from the flowchart of FIG. 6A in that a face included in a moving image for a predetermined period before liveness authentication is determined is compared with a personal identification document.
  • the information processing device 200 stores the moving image and the image of the personal identification document. That is, the information processing device 200 stores the moving image and the image of the personal identification document at the timing before the operation instruction for liveness authentication is notified.
  • the timing before the notification of the operation instruction is, for example, a predetermined period (predetermined time) before the notification, specifically, several seconds before the notification, but is not limited thereto.
  • step S631 the information processing device 200 stores the moving image and the image of the personal identification document. That is, the information processing device 200 stores the moving image and the image of the personal identification document at the timing after the liveness authentication.
  • the timing after the liveness authentication is, for example, a predetermined period (predetermined time) after the liveness authentication, specifically, several seconds after the authentication, but is not limited thereto.
  • the information processing apparatus 200 extracts and stores the feature amount of the user's face from the moving image captured at various timings and stores the image of the personal identification document, so that the accuracy of the personal authentication can be improved. Furthermore, since the user does not know at what timing the moving image is used to extract the feature amount, the user can extract the feature amount from the moving image of the face in a more natural state. The accuracy can be further improved.
  • FIG. 7 is a diagram for describing an outline of the operation of the information processing apparatus according to the present embodiment.
  • the information processing apparatus according to the present embodiment is different from the second embodiment in that the face of the user included in the moving image during the authenticity determination of the identity verification document is compared with the face included in the identity verification document.
  • Other configurations and operations are the same as those of the second embodiment, and thus the same configurations and operations are denoted by the same reference numerals and detailed description thereof will be omitted.
  • the information processing device 700 determines whether the driver's license is genuine or unauthorized. That is, the information processing device 700 determines the authenticity of the driver's license presented by the user. Then, the information processing apparatus 700 collates the face of the user included in the moving image during the authenticity determination of the driver's license with the face included in the identification document. That is, the face of the user is the face included in the moving image whose authenticity is being determined.
  • the face included in the personal identification document may be a face included in the personal identification document acquired at another timing, or may be a face included in a moving image under authenticity determination.
  • FIG. 8 is a block diagram illustrating a configuration of the information processing apparatus according to the present embodiment.
  • the information processing device 700 includes an authentication unit.
  • the authenticity determination unit 801 determines the authenticity of an identity verification document, for example, a driver's license.
  • the authenticity determination of the driver's license is performed, for example, in a state where the face of the user and the driver's license are simultaneously displayed on the display 701 of the information processing device 700, and the information processing device 700 Give instructions to show.
  • the authenticity determination unit 801 determines the authenticity by reading the IC (Integrated Circuit) chip of the driver's license into a range that does not require a PIN (Personal Identification Number), for example, a common area, and confirming that the valid format is included. I do.
  • the reading of the IC chip is performed by, for example, an IC card reader or the like which is optionally connected to the information processing device 700. Note that the IC card reader may be built in the information processing device 700.
  • the feature amount matching unit 342 determines the feature amount of the user's face included in the video being authenticated and the face included in the driver's license. Is compared with the feature amount of. When the feature amounts match as a result of the comparison, the checking unit 304 checks that the driver's license corresponds to the user.
  • FIG. 9 is a flowchart illustrating a processing procedure of the information processing apparatus according to the present embodiment.
  • the information processing device 700 determines the authenticity of the driver's license. If the result of the determination is that the driver's license is incorrect (NO in step S901), the information processing device 700 returns to step S601. If the result of the determination is that the driver's license is genuine (YES in step S901), the information processing device 700 proceeds to step S903. In step S ⁇ b> 903, the information processing device 700 collates the feature amount of the user's face included in the video being authenticated with the feature amount of the face included in the driver's license.
  • the present embodiment it is possible to reduce the trouble of inputting user information required for eligibility screening.
  • the collation is performed using the user's face or the like included in the moving image for which the authentication document is being authenticated, the accuracy of the collation and face authentication is increased, and the accuracy of the identity authentication can be further enhanced.
  • the matching can be performed using the user's face or the like having a more natural expression, so that more accurate matching can be performed.
  • FIG. 10 is a diagram for describing an outline of the operation of the information processing apparatus according to the present embodiment.
  • the information processing apparatus according to the present embodiment is different from the above-described second and third embodiments in that the face of the user and the identity verification document included in the moving image for which it is determined that the back side of the identity verification document is reflected are displayed. It differs in that it matches the included faces.
  • Other configurations and operations are the same as those of the second embodiment and the third embodiment. Therefore, the same configurations and operations are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the information processing apparatus 1000 allows the user to project the back of the driver's license as a personal identification document, and the user's face and the identity included in the moving image during the determination of whether or not the back of the driver's license is being reflected (under determination of the back). Match the face included in the confirmation document. That is, the face of the user is the face included in the moving image whose back side is being determined. As the face included in the personal identification document, a face included in the personal identification document acquired at another timing may be used, or the face of the personal identification document included in the moving image whose back side is being determined may be used.
  • FIG. 11 is a block diagram showing the configuration of the information processing apparatus according to the present embodiment.
  • the information processing device 1000 includes a back surface determination unit 1101.
  • the back side determination unit 1101 determines that the identity verification document, for example, the back side of the driver's license is shown.
  • the feature amount matching unit 342 includes the feature amount of the user's face included in the moving image under the back side determination and the driver's license. And the feature amount of the face to be compared.
  • the checking unit 304 checks that the driver's license corresponds to the user.
  • FIG. 12 is a flowchart illustrating a processing procedure of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 1000 determines that the back of the driver's license is reflected. As a result of the determination, when it is determined that the back surface is not reflected (NO in step S1201), the information processing apparatus 1000 returns to step S601. As a result of the determination, when it is determined that the back surface is reflected, the information processing apparatus 1000 proceeds to step S1203.
  • step S1203 the information processing apparatus 1000 checks the feature amount of the user's face included in the moving image whose back side is being determined with the feature amount of the face included in the driver's license.
  • the present embodiment it is possible to reduce the trouble of inputting user information required for eligibility screening.
  • the matching is performed using the user's face or the like included in the moving image for which the back of the identity verification document is being determined, the accuracy of the matching and face authentication is increased, and the accuracy of the identity authentication can be further enhanced.
  • the matching can be performed using the user's face or the like having a more natural expression, so that more accurate matching can be performed.
  • the present invention may be applied to a system including a plurality of devices, or may be applied to a single device. Further, the present invention is also applicable to a case where an information processing program for realizing the functions of the embodiments is directly or remotely supplied to a system or an apparatus. Therefore, in order to implement the functions of the present invention on a computer, a program installed in the computer, a medium storing the program, and a WWW (World Wide Web) server for downloading the program are also included in the scope of the present invention. . In particular, at least a non-transitory computer-readable medium storing a program for causing a computer to execute the processing steps included in the above-described embodiments is included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本人認証の精度をより高める。情報処理装置であって、動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する判定部と、判定部により、顔と本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、動作指示に応じてユーザが動作したか否かを判定する判定部と、判定部により、ユーザが動作指示に応じて動作したと判定された場合、本人確認書類が前記ユーザに対応することを確認する確認部と、を備えた。

Description

情報処理装置、情報処理方法および情報処理プログラム
　本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
　上記技術分野において、特許文献１には、ネットワークを介して金融機関の口座開設をする技術が開示されている。特許文献１においては、スキャナで読み取った画像情報とユーザが入力した本人確認情報との一致で本人確認をしている。また、特許文献２には、顔の向きや瞬きの指示でなりすまし防止をするユーザの顔画像の照合による本人確認の技術が開示されている。また、特許文献３には、顔の向きの移動による角膜反射の変化による本人確認の技術が開示されている。
特開２００６－２５１９４４号公報 特開２００３－３１７１００号公報 特開２０１８－５０４７０３号公報
　しかしながら、上記文献に記載の技術を、端末からの口座開設における本人確認に適用したとしても、適格審査に必要なユーザ情報の入力には手間がかかっていた。
　本発明の目的は、上述の課題を解決する技術を提供することにある。
　上記目的を達成するため、本発明に係る情報処理装置は、
　動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定部と、
　前記第１判定部により、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定部と、
　前記第２判定部により、前記ユーザが前記動作指示に応じて動作したと判定された場合、前記本人確認書類が前記ユーザに対応することを確認する確認部と、
　を備えた。
　上記目的を達成するため、本発明に係る情報処理方法は、
　動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定ステップと、
　前記第１判定ステップにおいて、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定ステップと、
　前記第２判定ステップにおいて、前記ユーザが前記動作指示に応じて動作したと判定された場合、前記本人確認書類が前記ユーザに対応することを確認する確認ステップと、
　を含む。
　上記目的を達成するため、本発明に係る情報処理プログラムは、
　動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定ステップと、
　前記第１判定ステップにおいて、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定ステップと、
　前記第２判定ステップにより、前記ユーザが前記動作指示に応じて動作したと判定された場合、前記本人確認書類が前記ユーザに対応することを確認する確認ステップと、
　をコンピュータに実行させる。
　本発明によれば、適格審査に必要なユーザ情報の入力の手間を軽減することができる。
本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の動作の概要を説明するための図である。 本発明の第２実施形態に係る情報処理装置の動作の概要を説明するための他の図である。 本発明の第２実施形態に係る情報処理装置の動作の概要を説明するためのさらに他の図である。 本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置が備える判定テーブルの一例を示す図である。 本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第２実施形態に係る情報処理装置の処理手順を説明する他のフローチャートである。 本発明の第２実施形態に係る情報処理装置の処理手順を説明するさらに他のフローチャートである。 本発明の第３実施形態に係る情報処理装置の動作の概要を説明するための図である。 本発明の第３実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第３実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第４実施形態に係る情報処理装置の動作の概要を説明するための図である。 本発明の第４実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第４実施形態に係る情報処理装置の処理手順を説明するフローチャートである。
　以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
　［第１実施形態］
　本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、インターネットバンキングなどの口座開設手続きにおいて、本人認証を行う装置である。
　図１に示すように、情報処理装置１００は、判定部１０１、判定部１０２および確認部１０３を含む。
　判定部１０１は、動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する。判定部１０２は、判定部１０１により、顔と本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、動作指示に応じてユーザが動作したか否かを判定する。確認部１０３は、判定部１０２により、ユーザが動作指示に応じて動作したと判定された場合、本人確認書類がユーザに対応することを確認する。
　本実施形態によれば、適格審査に必要なユーザ情報の入力の手間を軽減することができる。
　［第２実施形態］
　次に本発明の第２実施形態に係る情報処理装置について、図２Ａ乃至図６を用いて説明する。図２Ａは、本実施形態に係る情報処理装置の動作の概要を説明するための図である。図２Ｂは、本実施形態に係る情報処理装置の動作の概要を説明するための他の図である。
　情報処理装置２００は、インターネットバンキングやオンライン証券、その他金融取引などにおける口座開設手続きにおいて、本人認証を行う装置である。なお、情報処理装置２００は、スマートフォンなどの携帯端末である。したがって、図２Ａおよび図２Ｂに示す表示画面（２０１～２０８）は、情報処理装置２００のディスプレイに表示される。そして、情報処理装置２００には、本人認証（本人確認）を行う機能を有する口座開設用のアプリケーションがインストールされている。
　ユーザが、口座開設を行うために、情報処理装置２００のディスプレイに表示されている口座開設用のアプリケーションのアイコンをタップすると、情報処理装置２００は、アプリケーションの起動処理を実行する。アプリケーションの起動処理が完了すると、情報処理装置２００のディスプレイには、トップメニュー２０１が表示される。ユーザは、トップメニュー２０１から希望する手続きのアイコンをタップする。ユーザが、希望する手続きのアイコンをタップすると、情報処理装置２００は、本人同意画面２０２を表示する。本人同意画面２０２には、免責事項や同意事項などが表示され、ユーザが表示された内容に同意した場合に、情報処理装置２００は、次の画面（２０３）を表示する。
　情報処理装置２００は、ワンタイムパスワード送信画面２０３を表示し、仮ログインをするためのパスワード（ワンタイムパスワード）をＳＭＳ（Short Message Service）などを用いてユーザに送信する。情報処理装置２００は、ワンタイムパスワードを送信すると、仮ログイン画面２０４を表示する。ユーザは、送信されたワンタイムパスワードを仮ログイン画面２０４のワンタイムパスワード入力領域に入力し、口座開設のためのシステムに仮ログインする。
　ユーザの仮ログインが完了すると、情報処理装置２００は、ユーザの本人確認開始画面２０５を表示して、ユーザの本人確認作業を実行する。ユーザは、例えば、情報処理装置２００（スマートフォン）のフロントカメラを用いて、自身の顔と運転免許証などの本人確認書類とが、本人確認画面２０６の所定の枠内に収まるように撮影する。なお、ユーザの顔と本人確認書類との撮影は、動画モードで行われる。また、本人確認書類は、いわゆる、顔写真付きの身分証明書であり、例えば、免許証やパスポート、顔写真付きの個人番号カード（マイナンバーカード）、在留カードなどがあるが、顔写真付きで本人確認に使える証明書であればこれらには限定されない。
　ユーザは、自身の顔が、本人確認画面２０６の上段の所定枠内に収まるようにカメラにより撮影をし、また、本人確認書類が、本人確認画面２０６の下段の所定枠内に収まるようにカメラにより撮影をする。そして、情報処理装置２００は、撮影されたユーザの動画からユーザの顔抽出を判定する。顔抽出の判定は、顔の特徴が動画にあるか否かの判定である。また、情報処理装置２００は、撮影されたユーザの本人確認書類の動画から、本人確認書類の顔抽出を判定する。
　ここで、情報処理装置２００は、ユーザのなりすましなどを防止するための認証を実行する。なお、ユーザのなりすましなどを防止するための認証作業のタイミングは、ここのタイミングには限定されない。
　なりすまし防止認証（ライブネス認証）は、例えば、情報処理装置２００を用いて口座開設用のアプリケーションを操作しているユーザに対して、情報処理装置２００から、所定の動作を行うように指示を出す。そして、ユーザが、その指示に従って所定の動作を行えば、ユーザが情報処理装置２００の前にいて、実際に、アプリケーションの操作を行っていることを担保することができる。
　つまり、ユーザが、情報処理装置２００からの指示に従った動作を行えない場合には、ユーザが、その場にいないことが分かるので、ビデオ映像などを用いたなりすましによる不正な口座開設などを防止できる。なお、なりすまし防止認証に用いる動作は、例えば、右目のウィンク、左目のウィンク、両目を閉じる、顔を右に傾ける、顔を左に傾ける、正面を向くなどの動作であるが、これらには限定されず、例えば、笑顔（口角を上げる）、視線の向きなどであってもよい。
　なりすまし認証が済むと、情報処理装置２００は、ユーザの顔と本人確認書類の写真のユーザの顔とを照合して、本人の認証を行う。本人認証は、例えば、ユーザの顔の特徴量と本人確認書類の顔の特徴量とを比較、照合することにより行われる。そして、情報処理装置２００は、証拠画像確認・送信画面２０７を表示し、本人確認画面２０６で取得したユーザの顔画像と本人確認書類の画像とのＯＣＲ（Optical Character Recognition）処理２０８が実行され、本人確認書類に記載されている情報を読み取る。その後、読み取った情報の内容確認や、スクリーニング処理（口座開設が禁じられている人物であるか否かの判定）などが行われる。
　図２Ｃは、本実施形態に係る情報処理装置の動作の概要を説明するためのさらに他の図である。図２Ｃには、本人確認画面２０６を簡略化した図が示されている。図２Ｃでは、情報処理装置２００が、ユーザの顔画像を取得するタイミングを説明する。
　例えば、情報処理装置２００は、ユーザが自身の顔と本人確認書類とを映したタイミング（２６１）でユーザの顔の特徴量を取得する。すなわち、情報処理装置２００は、ユーザに対して、なりすまし防止認証（ライブネス認証）を行う前のタイミングで、ユーザの顔の特徴量を取得する。
　また、情報処理装置２００は、ユーザが、なりすまし防止認証を実行中のタイミング（２６２）で、撮影されたユーザの顔画像を取得する。さらに、情報処理装置２００は、ユーザに対する、なりすまし防止認証が終了した後のタイミング（２６３）で、撮影されたユーザの顔画像を取得する。このように、情報処理装置２００は、様々なタイミングで、ユーザの顔画像を取得する。
　図３は、本実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置２００は、撮影部３０１、判定部３０２、判定部３０３、確認部３０４および保存部３０５を有する。
　撮影部３０１は、情報処理装置２００が有するカメラであり、動画や静止画を撮影することができる。撮影部３０１は、動画を撮影する。例えば、撮影部３０１は、スマートフォンなどのフロントカメラ（インカメラ）である。ユーザが、情報処理装置２００にインストールされたアプリケーションを起動すると、情報処理装置２００のカメラが動画モードで起動され、情報処理装置２００のディスプレイに動画撮影を補助するための撮影枠が表示される。そして、ユーザは、自撮り（セルフィー）の要領で、自身の顔と本人確認書類とがディスプレイに表示された所定の枠内に収まるように動画を撮影する。なお、ここでは、ユーザは自身の顔がディスプレイに表示された所定の枠内に収まるように動画を撮影しているが、ユーザは、上半身や全身の動画を撮影してもよい。撮影部３０１で撮影された動画は、例えば、保存部３０５に保存される。なお、撮影部３０１は、情報処理装置２００の外部にあってもよい。
　判定部３０２は、撮影部３０１が撮影した動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する。ユーザは、例えば、片手に情報処理装置２００を持ち、もう一方の手で本人確認書類を持ちながら、動画の撮影を行う。
　判定部３０３は、判定部３０２により、撮影部３０１により撮影された動画にユーザの顔と本人確認書類とが同時に映っていると判定された場合、ユーザに対して動作指示を通知する。動作指示の通知は、例えば、情報処理装置２００のディスプレイに動作指示の内容を表示したり、情報処理装置２００のスピーカから動作指示の音声を出力したりすることにより行われる。判定部３０３は、例えば、判定テーブル３３１を参照して、なりすまし防止認証を行い、ユーザが指示通りに（動作指示に応じて）顔（表情）などを変化させているか否かを判定する。
　判定部３０３が通知する動作指示は、例えば、右目ウィンク（右目をつぶる）、左目ウィンク（左目をつぶる）、両目をつぶる、顔を右に傾ける、顔を左に傾ける、顔を正面に向けるなどである。動作指示は、これらには限定されず、例えば、顔を右に向ける、顔を左に向ける、笑う（口角を上げる）、左右の眉毛を動かす、眉間にしわを寄せる、口を開ける、口を閉じるなどであってもよい。動作指示は、ここに示した顔の表情などを変化させる例などには限定されず、例えば、手を上げたり、下げたり、足を上げたり、下げたりなどのユーザの身体の一部を動かすような指示であってもよい。また、ユーザに対して指示する動作は、ここに示した動作を単独で指示してもよいし、ここに示した動作を複数組み合わせて指示してもよい。
　判定部３０３が、ユーザが動作指示に従った動作をしたか否かを判定することにより、なりすましによる不正な口座開設などを防止することが可能となる。すなわち、実際にその場にいるユーザが、手続きを行っていることを担保するために、判定部３０３による判定が行われる。判定部３０３は、いわゆる、ライブネス認証を行う。
　確認部３０４は、判定部３０３により、ユーザが動作指示に応じて動作したと判定された場合、本人確認書類がユーザに対応することを確認する。つまり、ユーザが、情報処理装置２００の撮影部３０１を用いて撮影した動画に映っていた顔の人物が、同じ動画に映っていた本人確認書類の人物と同一人であることを確認する。
　確認部３０４による確認は、撮影された動画に映っていた顔の特徴量と、本人確認書類の特徴量とを比較して行われる。確認部３０４は、具体的には、次のようにして確認を行う。
　確認部３０４は、特徴量抽出部３４１と特徴量照合部３４２とを有する。特徴量抽出部３４１は、保存部３０５に一時的に保存された動画を取得する。特徴量抽出部３４１は、取得した動画から静止画を取り出す。例えば、特徴量抽出部３４１は、取得した動画を構成するフレームのうち、任意のフレームを静止画として取り出してもよい。
　そして、特徴量抽出部３４１は、静止画に写っているユーザの顔画像から目立つ特徴を抽出する。特徴量抽出部３４１は、例えば、顔のパーツ（目、鼻、口など）の相対位置や大きさ、目、鼻、頬骨および顎の形などを特徴として抽出する。抽出されたユーザの顔の特徴量（顔特徴量）は、保存部３０５に保存してもよい。保存部３０５に保存される顔の特徴量は、顔画像と紐付けて保存してもよい。
　さらに、特徴量抽出部３４１は、保存部３０５に保存された動画を取得し、取得した動画から本人確認書類の画像を認識し、認識した本人確認書類の特徴量を抽出する。特徴量抽出部３４１は、本人確認書類の写真部分に写っている人物の顔の特徴量を抽出する。なお、特徴量抽出部３４１が、抽出する本人確認書類の特徴量は、本人確認書類の写真部分に写っている人物の顔の特徴量には限定されず、例えば、本人確認書類全体の特徴量を抽出してもよい。
　例えば、本人確認書類が運転免許証である場合、特徴量抽出部３４１は、運転免許証の写真部分からユーザの顔画像を切り出し、切り出した顔画像から顔の特徴量を抽出する。そして、特徴量抽出部３４１が抽出した本人確認書類の特徴量は、保存部３０５に保存してもよい。保存部３０５に保存される本人確認書類の特徴量は、本人確認書類の画像と紐付けて保存してもよい。
　ここで、特徴量抽出部３４１は、判定部３０３による判定中の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを抽出してもよい。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出してもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。
　また、特徴量抽出部３４１は、判定部３０３による判定前の所定期間の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを抽出してもよい。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出してもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。
　さらに、特徴量抽出部３４１は、判定部３０３による判定後の所定期間の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを抽出してもよい。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出してもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。
　特徴量照合部３４２は、抽出された顔特徴量と本人確認書類の特徴量とを照合する。照合の結果、特徴量が一致すると判定されれば、確認部３０４は、本人確認書類がユーザに対応することを確認する。
　ここで、特徴量照合部３４２は、判定部３０３による判定中の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを照合する。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出したものであってもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。
　また、特徴量照合部３４２は、判定部３０３による判定前の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを照合する。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出したものであってもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。
　さらに、特徴量照合部３４２は、判定部３０３による判定後の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを照合する。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出したものであってもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。
　特徴量照合部３４２による特徴量の照合は、特徴量同士が一致するか否かに基づいて行われる。なお、特徴量照合部３４２は、特徴量同士が完全一致する場合の他、特徴量が所定の割合で一致している場合も両特徴量が一致していると判断してもよい。したがって、照合（本人認証）をより確実に行いたい場合には、完全一致とし、照合（本人認証）のハードルを少し下げてもよい場合には、完全一致としなくてもよい。特徴量照合部３４２による照合のレベルは、任意に設定可能である。なお、特徴量抽出部３４１により抽出された特徴量や特徴量照合部３４２による照合結果などは、保存部３０５に保存してもよい。
　図４は、本実施形態に係る情報処理装置が備える判定テーブルの一例を示す図である。判定テーブル３３１は、ライブネス指示ＩＤ（Identifier）４０１に関連付けてライブネス動作４０２を記憶する。ライブネス指示ＩＤ４０１は、ユーザに対して指示する、なりすまし防止認証（ライブネス認証）のための動作指示を識別する識別子である。ライブネス動作４０２は、ユーザに対して指示する動作の内容を示しており、これらの動作を単独で用いても、これらの動作を複数組み合わせて用いてもよい。ライブネス動作４０２を複数組み合わせて用いれば、なりすまし認証のハードルをより高くすることが可能となる。そして、判定部３０３は、例えば、判定テーブル３３１を参照して、ユーザに対してなりすまし防止認証用の指示を出す。
　図５は、本実施形態に係る情報処理装置２００のハードウェア構成を説明するブロック図である。ＣＰＵ(Central Processing Unit)５１０は、演算制御用のプロセッサであり、プログラムを実行することで図３の情報処理装置２００の機能構成部を実現する。ＣＰＵ５１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース５３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース５３０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)５４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ５４０とストレージ５５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、ＣＰＵ５１０は、ＲＡＭ５４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ５１０は、処理結果をＲＡＭ５４０に準備し、後の送信あるいは転送はネットワークインタフェース５３０やＤＭＡＣに任せる。
　ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。動画５４１は、情報処理装置２００の撮影部３０１で撮影された動画である。本人確認書類画像５４２は、情報処理装置２００の撮影部３０１で撮影された運転免許証などの本人確認書類の画像である。動作指示内容５４３は、なりすまし防止認証のために、ユーザに対して指示する動作の内容である。判定結果５４４は、動画中にユーザの顔と本人確認書類とが同時に映っているか否かの結果、および、ユーザが指示に従って顔を変化させるなどの動作を行ったか否かの結果である。顔特徴量５４５は、撮影された動画から抽出されたユーザの顔の特徴量を含む。また、顔特徴量５４５は、本人確認書類の画像から抽出されたユーザの顔の特徴量を含む。照合結果５４６は、撮影された動画から抽出されたユーザの顔の特徴量と、本人確認書類の画像から抽出されたユーザの顔の特徴量と、を照合した結果である。確認結果５４７は、本人確認書類がユーザに対応することを確認した結果である。
　送受信データ５４８は、ネットワークインタフェース５３０を介して送受信されるデータである。また、ＲＡＭ５４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５４９を有する。
　ストレージ５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５０は、判定テーブル３３１を格納する。判定テーブル３３１は、図４に示した、ライブネス指示ＩＤ４０１とライブネス動作４０２との関係を管理するテーブルである。
　ストレージ５５０は、さらに、撮影モジュール５５１、判定モジュール５５２、判定モジュール５５３および確認モジュール５５４を格納する。また、確認モジュール５５４には、特徴量抽出モジュール５５４１と特徴量照合モジュール５５４２とが含まれる。
　撮影モジュール５５１は、動画を撮影するモジュールである。判定モジュール５５２は、動画中にユーザの顔と本人確認書類とが同時に映っていることを判定するモジュールである。判定モジュール５５３は、ユーザが動作指示に応じて動作したか否かを判定するモジュールである。確認モジュール５５４は、本人確認書類がユーザに対応することを確認するモジュールである。特徴量抽出モジュール５５４１は、動画中のユーザの顔の特徴量と本人確認書類の特徴量とを抽出するモジュールである。特徴量照合モジュール５５４２は、抽出された顔の特徴量と本人確認書類の特徴量とを照合するモジュールである。これらのモジュール５５１～５５４、５５４１～５５４２は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４９に読み出され、実行される。制御プログラム５５５は、情報処理装置２００の全体を制御するためのプログラムである。
　入出力インタフェース５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース５６０には、表示部５６１、操作部５６２、が接続される。また、入出力インタフェース５６０には、さらに、記憶媒体５６４が接続されてもよい。さらに、音声出力部であるスピーカ５６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図５に示したＲＡＭ５４０やストレージ５５０には、情報処理装置２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
　図６Ａは、本実施形態に係る情報処理装置２００の処理手順を説明するフローチャートである。図６Ｂは、本実施形態に係る情報処理装置の処理手順を説明する他のフローチャートである。図６Ｃは、本実施形態に係る情報処理装置の処理手順を説明するさらに他のフローチャートである。これらのフローチャートは、図５のＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図３の情報処理装置２００の機能構成部を実現する。
　まず、図６Ａのフローチャートから説明する。図６Ａのフローチャートでは、ライブネス認証の判定中の動画に含まれる顔と本人確認書類とを照合している。
　ステップＳ６０１において、情報処理装置２００は、ユーザの顔と本人確認書類とを所定の枠内に映すように指示する。この場合、情報処理装置２００は、動画モードでユーザの顔などを撮影する。ステップＳ６０３において、情報処理装置２００は、動画中にユーザの顔と本人確認書類とが同時に映っているか否かを判定する。同時に映っていないと判定された場合（ステップＳ６０３のＮＯ）、情報処理装置２００は、ステップＳ６０１へ戻る。同時に映っていると判定された場合（ステップＳ６０３のＹＥＳ）、情報処理装置２００は、次のステップに進む。
　ステップＳ６０５において、情報処理装置２００は、ユーザに対して、なりすまし防止認証（ライブネス認証）のための指示を出す。ステップＳ６０７において、情報処理装置２００は、動画および本人確認書類の画像を保存する。ステップＳ６０９において、情報処理装置２００は、ユーザが動作指示通りの動作を行ったか否かを判定する。例えば、指示が、右目ウィンクの場合、情報処理装置２００は、ユーザが右目のウィンクをしたか否かを判定する。ユーザが指示通りの動作をしていない場合（ステップＳ６０９のＮＯ）、情報処理装置２００は、ステップＳ６０１へ戻る。なお、情報処理装置２００は、ステップＳ６０１へ戻らずに、ステップＳ６０５に戻り、再度、なりすまし防止認証のための指示を出してもよい。
　ユーザが指示通りの動作をした場合（ステップＳ６０９のＹＥＳ）、情報処理装置２００は、ステップＳ６１１へ進む。ステップＳ６１１において、情報処理装置２００は、動画に含まれるユーザの顔と本人確認書類に含まれる顔とを照合する。つまり、情報処理装置２００は、なりすまし防止認証中に取得した動画、および本人確認書類の画像を用いて、照合を行う。情報処理装置２００は、特徴量が一致するか否かに基づいて照合を行う。ステップＳ６１３において、情報処理装置２００は、特徴量が一致したか否かを判定する。特徴量が一致していないと判定した場合（ステップＳ６１３のＮＯ）、情報処理装置２００は、ステップＳ６０１へ戻り、最初のステップから処理をやり直す。
　特徴量が一致していると判定した場合（ステップＳ６１３のＹＥＳ）、情報処理装置２００は、ステップＳ６１５へ進む。ステップＳ６１５において、情報処理装置２００は、本人確認書類がユーザに対応することを確認する。
　なお、情報処理装置２００は、ステップＳ６１３とステップＳ６１５との間に、ステップＳ６１７を実行してもよい。ステップＳ６１７において、ライブネス認証（ステップＳ６０９）と特徴量の照合（ステップＳ６１３）とを所定回数実施したか否かを判定する。所定回数実施していないと判定した場合（ステップＳ６１７のＮＯ）、情報処理装置２００は、ステップＳ６０１へ戻る。所定回数実施したと判定した場合（ステップＳ６１７のＹＥＳ）、情報処理装置２００は、ステップＳ６１５へ進む。ステップＳ６１７を実行することにより、ステップＳ６０９（ライブネス認証）の実施回数分、ステップＳ６１３を実施することとなる。また、ライブネス認証（ステップＳ６０９）は、例えば、図６Ａの各ステップを実行する際に毎回繰り返し実行して、ライブネス認証が連続していることを確認してもよい。ステップＳ６１７の処理は実行しても実行しなくてもよい。
　次に、図６Ｂのフローチャートを説明する。図６Ｂのフローチャートでは、ライブネス認証の判定前の所定期間の動画に含まれる顔と本人確認書類とを照合する点が、図６Ａのフローチャートと異なる。ステップＳ６２１において、情報処理装置２００は、動画および本人確認書類の画像を保存する。つまり、情報処理装置２００は、ライブネス認証のための動作指示を通知する前のタイミングの動画および本人確認書類の画像を保存する。なお、動作指示を通知する前のタイミングは、例えば、通知前の所定期間（所定時間）であり、具体的には、通知前の数秒間などであるが、これには限定されない。
　最後に、図６Ｃのフローチャートを説明する。図６Ｃのフローチャートでは、ライブネス認証終了後の所定期間の動画に含まれる顔と本人確認書類とを照合する点が、図６Ａおよび図６Ｂのフローチャートと異なる。ステップＳ６３１において、情報処理装置２００は、動画および本人確認書類の画像を保存する。つまり、情報処理装置２００は、ライブネス認証後のタイミングの動画および本人確認書類の画像を保存する。なお、ライブネス認証後のタイミングは、例えば、ライブネス認証後の所定期間（所定時間）であり、具体的には、認証後の数秒間などであるが、これには限定されない。
　本実施形態によれば、適格審査に必要なユーザ情報の入力の手間を軽減することができる。また、情報処理装置２００は、様々なタイミングで撮影した動画からユーザの顔の特徴量を抽出して保存し、本人確認書類の画像を保存するので、本人認証の精度を高めることができる。さらに、ユーザは、どのタイミングの動画を用いて特徴量が抽出されているかが分からないので、より自然な状態の顔の動画から特徴量を抽出できるので、顔認証の精度が高まり、本人認証の精度をさらに高められる。
　［第３実施形態］
　次に本発明の第３実施形態に係る情報処理装置について、図７乃至図９を用いて説明する。図７は、本実施形態に係る情報処理装置の動作の概要を説明するための図である。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、本人確認書類の真贋判定中の動画に含まれるユーザの顔と本人確認書類に含まれる顔とを照合する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　情報処理装置７００は、ユーザが提示した本人確認書類が運転免許証である場合、運転免許証が真正なものであるか、不正なものであるかを判定する。つまり、情報処理装置７００は、ユーザが提示した運転免許証の真贋を判定する。そして、情報処理装置７００は、運転免許証の真贋判定中の動画に含まれるユーザの顔と本人確認書類に含まれる顔とを照合する。すなわち、ユーザの顔は、真贋判定中の動画に含まれる顔が用いられる。なお、本人確認書類に含まれる顔は、別のタイミングで取得した本人確認書類に含まれる顔を用いてもよいし、真贋判定中の動画に含まれる本人確認書類の顔を用いてもよい。
　図８は、本実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置７００は、真贋判定部を有する。真贋判定部８０１は、本人確認書類、例えば、運転免許証の真贋を判定する。運転免許証の真贋判定は、例えば、情報処理装置７００のディスプレイ７０１にユーザの顔と運転免許証とが同時に映っている状態で、情報処理装置７００が、ユーザに対して運転免許証の裏面を見せるように指示を出す。真贋判定部８０１は、運転免許証のＩＣ（Integrated Circuit）チップをＰＩＮ（Personal Identification Number）が不要な範囲、例えば、共通エリアを読み込み、妥当な形式が入っているのかを確認することにより真贋判定を行う。ＩＣチップの読み取りは、例えば、情報処理装置７００にオプショナルに接続されたＩＣカードリーダなどにより行われる。なお、ＩＣカードリーダは、情報処理装置７００に内蔵されたものでもよい。
　そして、真贋判定部８０１により、運転免許証が真正であると判定されると、特徴量照合部３４２は、真贋判定中の動画に含まれるユーザの顔の特徴量と運転免許証に含まれる顔の特徴量とを照合する。照合の結果、これらの特徴量が一致した場合、確認部３０４は、運転免許証がユーザに対応することを確認する。
　図９は、本実施形態に係る情報処理装置の処理手順を説明するフローチャートである。ステップＳ９０１において、情報処理装置７００は、運転免許証の真贋判定を行う。判定の結果、運転免許証が不正な場合（ステップＳ９０１のＮＯ）、情報処理装置７００は、ステップＳ６０１へ戻る。判定の結果、運転免許証が真正な場合（ステップＳ９０１のＹＥＳ）、情報処理装置７００は、ステップＳ９０３へ進む。ステップＳ９０３において、情報処理装置７００は、真贋判定中の動画に含まれるユーザの顔の特徴量と運転免許証に含まれる顔の特徴量とを照合する。
　本実施形態によれば、適格審査に必要なユーザ情報の入力の手間を軽減することができる。また、本人確認書類の真贋判定中の動画に含まれるユーザの顔などを用いて照合を行うので、照合や顔認証の精度が高まり、本人認証の精度をさらに高められる。さらに、本人確認書類の真贋判定中の動画を用いるので、より自然な表情のユーザの顔などを用いて照合することができるので、より正確な照合を行うことができる。
　［第４実施形態］
　次に本発明の第４実施形態に係る情報処理装置について、図１０乃至図１２を用いて説明する。図１０は、本実施形態に係る情報処理装置の動作の概要を説明するための図である。本実施形態に係る情報処理装置は、上記第２実施形態および第３実施形態と比べると、本人確認書類の裏面が映っていることを判定中の動画に含まれるユーザの顔と本人確認書類に含まれる顔とを照合する点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　情報処理装置１０００は、ユーザが本人確認書類としての運転免許証の裏面を映し、運転免許証の裏面が映っているか否かの判定中（裏面判定中）の動画に含まれるユーザの顔と本人確認書類に含まれる顔とを照合する。すなわち、ユーザの顔は、裏面判定中の動画に含まれる顔が用いられる。なお、本人確認書類に含まれる顔は、別のタイミングで取得した本人確認書類に含まれる顔を用いてもよいし、裏面判定中の動画に含まれる本人確認書類の顔を用いてもよい。
　図１１は、本実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置１０００は、裏面判定部１１０１を有する。裏面判定部１１０１は、本人確認書類、例えば、運転免許証の裏面が映っていることを判定する。そして、裏面判定部１１０１により、運転免許証の裏面が映っていると判定されると、特徴量照合部３４２は、裏面判定中の動画に含まれるユーザの顔の特徴量と運転免許証に含まれる顔の特徴量とを照合する。照合の結果、これらの特徴量が一致した場合、確認部３０４は、運転免許証がユーザに対応することを確認する。
　図１２は、本実施形態に係る情報処理装置の処理手順を説明するフローチャートである。ステップＳ１２０１において、情報処理装置１０００は、運転免許証の裏面が映っていることを判定する。判定の結果、裏面が映っていないと判定された場合（ステップＳ１２０１のＮＯ）、情報処理装置１０００は、ステップＳ６０１へ戻る。判定の結果、裏面が映っていると判定された場合、情報処理装置１０００は、ステップＳ１２０３へ進む。ステップＳ１２０３において、情報処理装置１０００は、裏面判定中の動画に含まれるユーザの顔の特徴量と運転免許証に含まれる顔の特徴量とを照合する。
　本実施形態によれば、適格審査に必要なユーザ情報の入力の手間を軽減することができる。また、本人確認書類の裏面定中の動画に含まれるユーザの顔などを用いて照合を行うので、照合や顔認証の精度が高まり、本人認証の精度をさらに高められる。さらに、本人確認書類の裏面判定中の動画を用いるので、より自然な表情のユーザの顔などを用いて照合することができるので、より正確な照合を行うことができる。
　［他の実施形態］
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
　この出願は、２０１８年７月２５日に出願された日本出願特願２０１８－１３９３７５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (8)

  1. 　動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定部と、
    　前記第１判定部により、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定部と、
    　前記第２判定部により、前記ユーザが前記動作指示に応じて動作したと判定された場合、前記本人確認書類が前記ユーザに対応することを確認する確認部と、
    　を備えた情報処理装置。
  2. 　前記第２判定部による判定中の動画に含まれる前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第１照合部をさらに備え、
    　前記確認部は、さらに前記第１照合部の照合結果を参照して、前記本人確認書類が前記ユーザに対応することを確認する請求項１に記載の情報処理装置。
  3. 　前記第２判定部による判定前の動画に含まれる前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第２照合部をさらに備え、
    　前記確認部は、さらに前記第２照合部の照合結果を参照して、前記本人確認書類が前記ユーザに対応することを確認する請求項１または２に記載の情報処理装置。
  4. 　前記第２判定部による判定後の動画に含まれる前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第３照合部をさらに備え、
    　前記確認部は、さらに前記第３照合部の照合結果を参照して、前記本人確認書類が前記ユーザに対応することを確認する請求項１乃至３のいずれか１項に記載の情報処理装置。
  5. 　前記本人確認書類の真贋を判定する真贋判定部と、
    　真贋判定中の動画に含まれる前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第４照合部と、
    　をさらに備えた請求項１乃至４のいずれか１項に記載の情報処理装置。
  6. 　前記本人確認書類の裏面が映っていることを判定する裏面判定部と、
    　裏面判定中の動画に含まれる前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第５照合部と、
    　をさらに備えた請求項１乃至５のいずれか１項に記載の情報処理装置。
  7. 　動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定ステップと、
    　前記第１判定ステップにおいて、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定ステップと、
    　前記第２判定ステップにおいて、前記ユーザが前記動作指示に応じて動作したと判定された場合、前記本人確認書類が前記ユーザに対応することを確認する確認ステップと、
    　を含む情報処理方法。
  8. 　動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定ステップと、
    　前記第１判定ステップにおいて、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定ステップと、
    　前記第２判定ステップにより、前記ユーザが前記動作指示に応じて動作したと判定された場合、前記本人確認書類が前記ユーザに対応することを確認する確認ステップと、
    　をコンピュータに実行させる情報処理プログラム。
PCT/JP2019/026794 2018-07-25 2019-07-05 情報処理装置、情報処理方法および情報処理プログラム WO2020022034A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/260,658 US11600118B2 (en) 2018-07-25 2019-07-05 Information processing apparatus, information processing method, and information processing program
JP2020532266A JP7363786B2 (ja) 2018-07-25 2019-07-05 情報処理装置、情報処理方法および情報処理プログラム
CN201980047731.2A CN112437947A (zh) 2018-07-25 2019-07-05 信息处理装置、信息处理方法和信息处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018139375 2018-07-25
JP2018-139375 2018-07-25

Publications (1)

Publication Number Publication Date
WO2020022034A1 true WO2020022034A1 (ja) 2020-01-30

Family

ID=69181498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026794 WO2020022034A1 (ja) 2018-07-25 2019-07-05 情報処理装置、情報処理方法および情報処理プログラム

Country Status (4)

Country Link
US (1) US11600118B2 (ja)
JP (1) JP7363786B2 (ja)
CN (1) CN112437947A (ja)
WO (1) WO2020022034A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153324A1 (ja) * 2022-02-08 2023-08-17 日本電気株式会社 証跡管理装置、証跡管理システム、証跡管理方法及び記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7363785B2 (ja) * 2018-07-25 2023-10-18 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
JPWO2020095350A1 (ja) * 2018-11-05 2021-09-24 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
CN112929557A (zh) * 2019-12-05 2021-06-08 北京小米移动软件有限公司 一种拍摄方法、装置、终端及存储介质
CN114266267B (zh) * 2021-12-20 2024-03-19 武汉烽火众智智慧之星科技有限公司 集合二维码、文档、证件、人脸的自动识别方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009004916A1 (ja) * 2007-06-29 2009-01-08 Nec Corporation なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
US20100308108A1 (en) * 2009-06-04 2010-12-09 Inchon International Airport Corporation Apparatus and method of automating arrival and departure procedures in airport
WO2013114806A1 (ja) * 2012-01-30 2013-08-08 九州日本電気ソフトウェア株式会社 生体認証装置及び生体認証方法
JP2014235655A (ja) * 2013-06-04 2014-12-15 沖電気工業株式会社 現金処理装置及び現金処理システム
JP2017027492A (ja) * 2015-07-27 2017-02-02 パナソニックＩｐマネジメント株式会社 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法
JP2017049867A (ja) * 2015-09-03 2017-03-09 日本電気株式会社 認証装置、防犯システム、認証方法およびプログラム
JP2018109935A (ja) * 2016-12-28 2018-07-12 グローリー株式会社 顔照合装置及び顔照合方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008070A (ja) * 2000-06-26 2002-01-11 Toshiba Corp 通行審査システム
US20020198731A1 (en) * 2001-06-26 2002-12-26 Barnes Jessica M. Method and apparatus for processing an international passenger
JP2003317100A (ja) 2002-02-22 2003-11-07 Matsushita Electric Ind Co Ltd 情報端末装置、認証システム、及び登録・認証方法
JP2006251944A (ja) 2005-03-09 2006-09-21 E Bank Corp 口座開設システム、口座開設方法及びプログラム
US9147127B2 (en) * 2013-03-15 2015-09-29 Facebook, Inc. Verification of user photo IDs
US9495586B1 (en) * 2013-09-18 2016-11-15 IDChecker, Inc. Identity verification using biometric data
WO2016109841A1 (en) 2014-12-31 2016-07-07 Morphotrust Usa, Llc Detecting facial liveliness
CN104504321B (zh) * 2015-01-05 2017-07-14 湖北微模式科技发展有限公司 一种基于摄像头实现远程用户身份验证的方法与***
CN105989263A (zh) * 2015-01-30 2016-10-05 阿里巴巴集团控股有限公司 身份认证方法、开户方法、装置及***
CN105518713A (zh) * 2015-02-15 2016-04-20 北京旷视科技有限公司 活体人脸验证方法及***、计算机程序产品
US11538126B2 (en) * 2015-07-30 2022-12-27 The Government of the United States of America, as represented by the Secretary of Homeland Security Identity verification system and method
CN105681316B (zh) * 2016-02-02 2019-12-17 腾讯科技（深圳）有限公司 身份验证方法和装置
EP4350647A3 (en) * 2016-06-03 2024-04-24 Magic Leap, Inc. Augmented reality identity verification
CN106599772B (zh) * 2016-10-31 2020-04-28 北京旷视科技有限公司 活体验证方法和装置及身份认证方法和装置
CN107133608A (zh) * 2017-05-31 2017-09-05 天津中科智能识别产业技术研究院有限公司 基于活体检测和人脸验证的身份认证***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009004916A1 (ja) * 2007-06-29 2009-01-08 Nec Corporation なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
US20100308108A1 (en) * 2009-06-04 2010-12-09 Inchon International Airport Corporation Apparatus and method of automating arrival and departure procedures in airport
WO2013114806A1 (ja) * 2012-01-30 2013-08-08 九州日本電気ソフトウェア株式会社 生体認証装置及び生体認証方法
JP2014235655A (ja) * 2013-06-04 2014-12-15 沖電気工業株式会社 現金処理装置及び現金処理システム
JP2017027492A (ja) * 2015-07-27 2017-02-02 パナソニックＩｐマネジメント株式会社 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法
JP2017049867A (ja) * 2015-09-03 2017-03-09 日本電気株式会社 認証装置、防犯システム、認証方法およびプログラム
JP2018109935A (ja) * 2016-12-28 2018-07-12 グローリー株式会社 顔照合装置及び顔照合方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153324A1 (ja) * 2022-02-08 2023-08-17 日本電気株式会社 証跡管理装置、証跡管理システム、証跡管理方法及び記録媒体

Also Published As

Publication number Publication date
US20210264184A1 (en) 2021-08-26
US11600118B2 (en) 2023-03-07
CN112437947A (zh) 2021-03-02
JPWO2020022034A1 (ja) 2021-08-05
JP7363786B2 (ja) 2023-10-18

Similar Documents

Publication Publication Date Title
WO2020022034A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7363785B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7409019B2 (ja) 携帯端末、本人確認システム及びプログラム
TW201835806A (zh) 基於虛擬實境環境的身分驗證方法及裝置
JP2002251380A (ja) 利用者照合システム
CN104361274A (zh) 一种基于视频识别的身份认证方法及其***
JP2007135149A (ja) 移動携帯端末
KR101941966B1 (ko) 패턴 인식 기반의 출입 제어를 위한 장치, 방법 및 프로그램
JP7068710B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
US20220277065A1 (en) Authentication using stored authentication image data
WO2020113571A1 (zh) 人脸识别数据处理方法、装置、移动设备和计算机可读存储介质
WO2020218491A1 (ja) 認証データ生成装置、認証装置、認証データ生成方法、及び、記録媒体
JP2009176208A (ja) 顔認証装置、システム、方法及びプログラム
US11373454B2 (en) Information processing apparatus and method and non-transitory computer readable medium storing information processing program
KR20170052126A (ko) 금융정보 생성을 위한 비대면 다중 인증 방법
KR101725219B1 (ko) 디지털 이미지 판단방법 및 시스템, 이를 위한 애플리케이션 시스템, 및 인증 시스템
US20230005301A1 (en) Control apparatus, control method, and non-transitory computer readable medium
TWM592131U (zh) 特徵編碼系統與應用其之網路銀行服務系統
KR101742064B1 (ko) 금융 서비스 제공을 위한 단말기 및 그 동작 방법, 금융 서비스를 제공하는 서버 및 그 동작 방법
CN112417998A (zh) 活体人脸图像的获取方法和装置、介质、设备
JP3245447U (ja) 顔認識システム
US20240236088A1 (en) Method and electronic system for authenticating a subject by means of the assistance of the eyes
JP2023124152A (ja) 情報処理端末、情報処理方法、プログラム、およびシステム
JP2023117751A (ja) 撮影端末およびプログラム
WO2022234532A1 (en) Method and electronic system for authenticating a subject by means of the aid of the eyes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19841589

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020532266

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19841589

Country of ref document: EP

Kind code of ref document: A1