WO2022215248A1 - 当人認証支援、当人認証支援方法及びプログラム - Google Patents

当人認証支援、当人認証支援方法及びプログラム Download PDF

Info

Publication number
WO2022215248A1
WO2022215248A1 PCT/JP2021/015012 JP2021015012W WO2022215248A1 WO 2022215248 A1 WO2022215248 A1 WO 2022215248A1 JP 2021015012 W JP2021015012 W JP 2021015012W WO 2022215248 A1 WO2022215248 A1 WO 2022215248A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
information
area
processing
measurement
Prior art date
Application number
PCT/JP2021/015012
Other languages
English (en)
French (fr)
Inventor
佳子 今西
泰成 辻
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023512623A priority Critical patent/JP7460016B2/ja
Priority to PCT/JP2021/015012 priority patent/WO2022215248A1/ja
Priority to US18/273,149 priority patent/US20240104964A1/en
Publication of WO2022215248A1 publication Critical patent/WO2022215248A1/ja
Priority to JP2024045039A priority patent/JP2024075700A/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Definitions

  • the present invention relates to an identity authentication support system, an identity authentication support method, and a program.
  • Patent Document 1 discloses an image processing device as a technique for authenticating a person.
  • An image processing apparatus described in Patent Document 1 captures an image of a subject using light of a second wavelength and a first image generated by capturing an image of the subject using light of a first wavelength.
  • an acquisition unit that acquires the second image generated in step 1 and depth information of the subject; and a detection unit that detects a face appearing in the second image.
  • the image processing apparatus further includes a determination unit that determines whether or not the face detected by the detection unit is an image of a living body based on the depth information, and the determination unit determines that the face is an image of the living body. an extraction unit for extracting a face image from the first image based on the information about the face obtained.
  • Patent Document 1 it is determined whether or not the face detected by the detection unit is a photograph of a living body, based on the depth information.
  • the accuracy of generated depth information often varies. Therefore, it may not be possible to accurately determine whether or not the face in the image is a photograph of a living body, making it difficult to perform accurate personal authentication.
  • the present invention has been made in view of the circumstances described above, and one of its purposes is to assist in improving the accuracy of personal authentication.
  • the person authentication support system includes: measurement condition acquisition means for acquiring depth measurement conditions in a measuring device capable of generating image information indicating an image of an imaging area including a subject's face and depth information indicating depth; area setting means for setting a processing area, which is an area targeted for processing of the depth information in the photographing area, according to the measurement conditions; depth acquisition means for acquiring depth information including the depth in the processing area measured under the measurement conditions; collation determination means for determining whether or not to use the image information of the subject for collation processing based on the depth information of the processing area.
  • the identity authentication support device includes: a measuring device capable of generating image information indicating an image of an imaging region including a subject's face and depth information indicating depth; measurement condition acquisition means for acquiring depth measurement conditions in the measurement device; area setting means for setting a processing area, which is an area targeted for processing of the depth information in the photographing area, according to the measurement conditions; collation determination means for determining whether or not to use the image information of the subject for collation processing based on the depth information of the processing area.
  • a person authentication support method includes: the computer Acquiring depth measurement conditions in a measuring device capable of generating image information indicating an image of an imaging area including a subject's face and depth information indicating depth; setting a processing area, which is an area targeted for processing of the depth information, among the imaging areas, according to the measurement conditions; Acquiring depth information including the depth in the processing area measured under the measurement conditions; determining whether or not to use the image information of the subject for matching processing based on the depth information of the processing area.
  • a program comprises to the computer, Acquiring depth measurement conditions in a measuring device capable of generating image information indicating an image of an imaging area including a subject's face and depth information indicating depth; setting a processing area, which is an area targeted for processing of the depth information, among the imaging areas, according to the measurement conditions; Acquiring depth information including the depth in the processing area measured under the measurement conditions; and determining whether or not to use the image information of the subject for matching processing based on the depth information of the processing area.
  • FIG. 4 is a diagram showing an example of a read image; 4 is a diagram showing an example of measurement condition-accuracy data according to Embodiment 1.
  • FIG. 4 is a diagram showing the configuration of an area setting unit according to Embodiment 1;
  • FIG. 4 is a diagram showing the configuration of a collation determination unit according to Embodiment 1;
  • FIG. It is a figure showing an example of physical composition of a measuring device concerning Embodiment 1 of the present invention.
  • 1 is a diagram showing an example of a physical configuration of an identity authentication support device according to Embodiment 1 of the present invention;
  • FIG. 4 is a flowchart showing an example of measurement processing according to Embodiment 1 of the present invention
  • FIG. 4 is a diagram showing an example of an image of a shooting area SA displayed by a display unit; It is a figure which shows an example of the image of imaging
  • FIG. 9 is a flowchart showing an example of measurement information generation processing shown in FIG. 8;
  • FIG. 4 is a diagram showing an example of a plurality of measurement points MP defined in association with an imaging area SA; 4 is a flow chart showing an example of person authentication processing according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram showing an example of a face area FR specified from a photographing area SA;
  • FIG. 4 is a diagram showing an example of measurement points MP included in the face area FR; It is a figure which shows the structure of the person authentication support system which concerns on Embodiment 2 of this invention.
  • 9 is a flowchart showing an example of measurement processing according to Embodiment 2 of the present invention.
  • FIG. 18 is a flowchart showing an example of measurement information generation processing shown in FIG. 17;
  • FIG. FIG. 11 is a flow chart showing an example of person authentication processing according to Embodiment 2 of the present invention.
  • FIG. FIG. 11 is a diagram showing an example of measurement condition-accuracy data according to modification 3;
  • FIG. 20 is a diagram showing a functional configuration of a person authentication support system according to Modification 8;
  • FIG. 21 is a diagram showing a functional configuration of an identity authentication support device according to Modification 9;
  • a person authentication support system 100 according to Embodiment 1 of the present invention is a system that supports person authentication of a subject. In person authentication, it is confirmed that the information for identifying the subject belongs to the subject himself/herself. Such person authentication may be performed in a process of handling personal information of a target person, for example, when the target person is registered as a member who conducts transactions in online shopping or the like. The information for identifying the subject in this case is the name, address, date of birth, etc. input by the subject.
  • the personal authentication support system 100 includes a measuring device 101 and a personal authentication support device 102, as shown in FIG.
  • the measurement device 101 and the person-in-person authentication support device 102 are connected so that information can be transmitted and received to and from each other via a network configured by wire, wireless, or an appropriate combination thereof.
  • the person authentication support device 102 is also simply referred to as "support device 102".
  • the measuring device 101 is a device capable of generating information used for personal authentication of a subject, and functionally includes an input unit 103, a display unit 104, a reading unit 105, a depth measuring unit 106, a brightness It includes measurement section 107 and communication section 108 .
  • the input unit 103 accepts instructions from the subject.
  • the display unit 104 displays information to the subject.
  • the reading unit 105 is composed of a camera 1070 (see FIG. 6) and the like, and captures an image of the imaging area SA including the face of the subject and generates image information indicating the captured image of the imaging area SA.
  • the reading unit 105 reads the information shown in the identity verification document by photographing the identity verification document associated with the face image of the target person, and generates read image information indicating the photographed read image M.
  • the personal identification document is preferably a public document, such as a driver's license or a personal number card (so-called My Number Card).
  • FIG. 2 shows an example of the read image M.
  • the face image of the subject is associated with the identity verification document by including the face photograph of the subject on one side of the identity verification document.
  • Depth measurement unit 106 measures the depth of each of a plurality of predetermined measurement points MP associated with imaging area SA imaged by reading unit 105, and generates depth information indicating the measured depth.
  • the depth of the plurality of measurement points MP is the distance from the reading unit 105 to the point on the real space corresponding to each of the plurality of measurement points MP.
  • the reading unit 105 and the depth measuring unit 106 are configured by a camera 1070 and a depth sensor 1090 (see FIG. 6), respectively, the camera 1070 and depth sensor 1090 are preferably provided at positions close to each other in the measuring device 101. This makes it possible to substantially measure the distance from the reader 105 to each of the measurement points MP.
  • the brightness measurement unit 107 is an illuminance sensor 1080 (see FIG. 6) that measures the brightness of the shooting environment when the image is captured by the reading unit 105, and generates brightness information indicating the measured brightness.
  • the communication unit 108 exchanges information with the support device 102 via the network described above.
  • the communication unit 108 according to the present embodiment transmits image information, read image information, depth information, brightness information, and measurement condition information indicating depth measurement conditions to the support device 102 in response to an instruction from the subject.
  • the measurement condition information is information indicating depth measurement conditions in the measurement device 101, and in the present embodiment, is OS (Operating System) information.
  • the OS information is information for identifying the OS running on the measuring device 101, and indicates, for example, the type and version of the OS.
  • the OS information is pre-stored in, for example, a storage unit (not shown) included in the measurement apparatus 101 and acquired by the communication unit 108 .
  • the support device 102 determines whether or not to perform verification processing for authenticating the subject. Then, the support device 102 performs matching processing and authentication processing for authenticating the person according to the determination result.
  • the support device 102 functionally includes a read image acquisition unit 110, an image information acquisition unit 111, a measurement condition acquisition unit 112, a brightness acquisition unit 113, a data storage unit 114, an area setting unit 115, and a depth acquisition unit. It includes a unit 116 , a matching determination unit 117 and an authentication unit 118 .
  • the read image acquisition unit 110 acquires read image information from the measuring device 101 .
  • the image information acquisition unit 111 acquires image information from the measurement device 101 .
  • the measurement condition acquisition unit 112 acquires measurement condition information from the measurement device 101 .
  • the brightness acquisition unit 113 acquires brightness information from the measuring device 101 .
  • the data storage unit 114 is a storage unit in which measurement condition-accuracy data 114a is stored in advance. As shown in FIG. 3, the measurement condition-accuracy data 114a is data that associates measurement condition information and accuracy information. Accuracy information is information indicating depth measurement accuracy.
  • the measurement condition information indicates the OS type, and the accuracy information indicates the depth measurement accuracy. Specifically, in the measurement condition-accuracy data 113a of FIG. is associated with "80".
  • the number of pieces of measurement condition information included in the measurement condition-accuracy data 114a is not limited to two, and may be changed as appropriate.
  • the region setting unit 115 sets the processing region according to the measurement conditions indicated by the measurement condition information acquired by the measurement condition acquisition unit 112.
  • the processing area is an area to be subjected to depth information processing in the imaging area SA of the image acquired by the image information acquisition unit 111 .
  • the region setting unit 115 functionally includes an accuracy determination unit 120 and a setting unit 121 as shown in FIG.
  • the accuracy determination unit 120 determines whether the depth measurement accuracy is high based on the measurement condition information acquired by the measurement condition acquisition unit 112 .
  • Accuracy determination unit 120 determines whether the measurement accuracy obtained based on measurement condition information and measurement condition-accuracy data 114a satisfies a predetermined measurement standard. Determine whether the accuracy is high.
  • the measurement standard is highly accurate when the value indicated by the measurement accuracy information is equal to or greater than a predetermined threshold (for example, "100"), and is low accuracy when the value indicated by the measurement accuracy information is less than the threshold.
  • a predetermined threshold for example, "100”
  • the setting unit 121 sets a narrower processing region than when the determined measurement accuracy is not high (that is, low). .
  • the processing area when the measurement accuracy is low is the entire imaging area SA.
  • the processing area when the measurement accuracy is high is the face area FR.
  • the face area FR is an area corresponding to the subject's face and is a part of the imaging area SA, so it is narrower than the entire imaging area SA.
  • the depth acquisition unit 116 acquires depth information including the depth in the processing area set by the area setting unit 115 from the measurement device 101 .
  • the depth information acquired by the depth acquisition unit 116 indicates the depth measured under the measurement conditions indicated by the measurement information acquired by the measurement condition acquisition unit 112 .
  • the depth acquisition unit 116 acquires depth information from the measurement device 101 when the brightness measured by the brightness measurement unit 107 satisfies a predetermined illuminance standard.
  • the illuminance standard according to the present embodiment is defined, for example, in a range that includes the upper and lower limits of brightness.
  • the illuminance standard is that the brightness measured by the brightness measurement unit 107 is THL [candela] or more and THU [candela] It is the following.
  • the depth acquisition unit 116 acquires depth information indicating the depth of the entire imaging area SA from the measuring device 101 .
  • the matching determination unit 117 determines whether or not to use the image information of the subject for the matching process.
  • the matching process is, for example, a process of matching the image indicated by the image information with the read image M, so that the person included in the image indicated by the image information and the read image M is the same person (subject). Confirm that Specifically, for example, when the similarity of the feature amount of the human face image included in the image indicated by the image information and the read image M is equal to or greater than a predetermined threshold, the image indicated by the image information and the read image M The persons involved are presumed to be the same person. Further, when the similarity is less than the threshold, it is estimated that the person included in the image indicated by the image information and the read image M are not the same person.
  • a third party other than the individual (the person) identified by the identity verification document takes a photograph of the person in advance.
  • a third party authenticates the person using another person's identity verification document.
  • the person included in the image indicated by the image information and the read image M may be presumed to be the same person despite the fact that the person is about to receive it.
  • the collation determination unit 117 confirms the authenticity of the image information based on the depth information of the processing area set by the area setting unit 115.
  • Authenticity of image information means that the image of a person included in the image information actually captures a person (i.e., captures a person who actually existed at the shooting location when the image information was generated). means that it was obtained by
  • the collation determination unit 117 can estimate the authenticity of the image information based on the depth information of the processing area.
  • the collation determination unit 117 determines to use the image information of the subject for the collation process when the image information is estimated to be authentic, and determines that the image information of the subject is used for the collation process when the image information is estimated to be not authentic. is not used for matching processing.
  • the collation determination unit 117 includes an extraction unit 130 and a determination unit 131, as shown in FIG.
  • the extraction unit 130 extracts depth information of the processing region set by the setting unit 121 from the depth information acquired by the depth acquisition unit 116 .
  • the determination unit 131 uses the depth information extracted by the extraction unit 130 to determine whether the image information of the subject is to be used for matching processing.
  • the determination unit 131 uses the depth information extracted by the extraction unit 130 to obtain an unevenness level indicating the size of unevenness in the processing area. Then, the determination unit 131 determines whether or not to use the image information of the subject for the matching process by comparing the obtained unevenness level with a predetermined unevenness reference.
  • the unevenness level is an index indicating the degree of unevenness in the processed area, and in the present embodiment, it is the standard deviation of the unevenness in the processed area.
  • the unevenness standard is set according to the general unevenness level when actually photographing a person, and different standards are set according to the depth measurement accuracy.
  • the processing area is the entire shooting area SA when the measurement accuracy is low, the subject and its background are included in the processing target. Therefore, for the unevenness standard for low accuracy, a value corresponding to the standard deviation of the unevenness of the person and the background when the person is actually photographed (for example, the minimum value of the standard deviation of unevenness that generally occurs) is set. be done.
  • the processing area when the measurement accuracy is high is a partial area including the area corresponding to the subject's face.
  • a value corresponding to the standard deviation of unevenness on a typical human face (for example, the minimum standard deviation of unevenness on a typical human face) is set as the high-precision unevenness reference.
  • the authentication unit 118 performs processing according to the judgment result of the collation judgment unit 117 .
  • the authentication unit 118 performs person authentication including collation processing for collating the image indicated by the image information with the read image M. process.
  • person authentication process for example, when the authenticity of the person verification document is confirmed by the authentication process, it is further confirmed that the information entered by the subject matches the contents of the person verification document. Also, for example, in the person authentication process, the expiration date of the person identification document may be checked, and these may be confirmed by the authenticator and the result may be input to the support device 102 .
  • the authentication unit 118 transmits a notification to that effect to the measurement device 101 .
  • the display unit 104 of the measuring device 101 displays a message indicating that the matching process is not performed.
  • the measuring device 101 is, for example, a smart phone, a tablet terminal, etc., and as shown in FIG. Illuminance sensor 1080 and depth sensor 1090 are included. Note that the measuring device 101 may be a personal computer or the like to which the camera 1070, the illuminance sensor 1080 and the depth sensor 1090 are attached.
  • a bus 1010 is a data transmission path for the processor 1020, memory 1030, storage device 1040, network interface 1050, camera 1070, illuminance sensor 1080, and depth sensor 1090 to mutually transmit and receive data.
  • the method of connecting processors 1020 and the like to each other is not limited to bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main memory implemented by RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the storage device 1040 stores program modules for realizing each function of the measuring apparatus 101 .
  • the processor 1020 reads and executes each program module on the memory 1030, and cooperates with the network interface 1050, the user interface 1060, the camera 1070, the illuminance sensor 1080, and the depth sensor 1090, so that each functional unit of the measuring device 101 Realized.
  • the network interface 1050 is an interface for communicating with the support device 102 via the network, and constitutes the communication unit 108.
  • the user interface 1060 is a part for displaying information to the user and allowing the user to input information.
  • a user interface 1060 constitutes the input unit 103 and the display unit 104 .
  • the camera 1070 is a device that captures an image, and constitutes the reading unit 105.
  • the illuminance sensor 1080 is a sensor that measures illuminance, and constitutes the luminosity measurement unit 107 .
  • a depth sensor 1090 is a sensor that measures depth, and constitutes the depth measurement unit 106 .
  • the personal authentication support device 102 is physically a personal computer, a host machine for a server device, etc., and as shown in FIG. A user interface 2060 is included.
  • a bus 2010 is a data transmission path through which the processor 2020, memory 2030, storage device 2040, network interface 2050, and user interface 2060 mutually transmit and receive data.
  • the method of connecting the processors 2020 and the like to each other is not limited to bus connection.
  • the processor 2020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 2030 is a main memory implemented by RAM (Random Access Memory) or the like.
  • the storage device 2040 is an auxiliary storage device realized by a HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the storage device 2040 stores program modules for realizing each function of the operated device 101 .
  • Each functional unit of the support device 102 is realized by the processor 2020 reading each program module into the memory 2030 and executing it, and by appropriately cooperating with the network interface 2050 and the user interface 2060 .
  • a network interface 2050 is an interface for communicating with the measuring device 101 via a network.
  • the user interface 2060 is a part for displaying information to the user and allowing the user to input information.
  • the measuring device 101 executes measurement processing
  • the support device 102 executes the person authentication support processing.
  • the measurement process is a process for acquiring information (in the present embodiment, subject's image information, depth information, brightness information, and measurement condition information) used in the person authentication support process.
  • the identity authentication support process is a process for assisting the identity authentication of the subject.
  • FIG. 8 is an example of a flowchart of measurement processing according to Embodiment 1 of the present invention.
  • the measurement process is started, for example, by executing an application in the measurement device 101 and receiving a predetermined instruction from the subject.
  • the reading unit 105 reads the identity verification document by photographing the identity verification document according to the instruction of the subject (step S101). Accordingly, the reading unit 105 generates read image information indicating the read image M.
  • FIG. 1 A diagram illustrating an exemplary computing environment in accordance with the present disclosure.
  • the reading unit 105 captures an image of the imaging area SA according to the subject's instruction (step S102), and the display unit 104 displays the image of the imaging area SA captured by the reading unit 105 (step S103). Thereby, the imaging area SA imaged by the reading unit 105 is displayed in real time by the display unit 104 .
  • FIG. 9 is a diagram showing an example of the image displayed in step S103, and the image shows the shooting area SA shot in step S102.
  • the guide G is included in the image displayed in step S103.
  • Guide G indicates the appropriate extent of the subject's face in the image.
  • the position of the measurement device 101 may be adjusted so that the contour of the face approximately coincides with the guide G.
  • the input unit 103 determines whether or not a predetermined shooting instruction has been received (step S104). The input unit 103 determines that the image capturing instruction has not been received until the subject inputs the image capturing instruction (step S104; No), and the reading unit 105 returns to the process of step S102.
  • the reading unit 105 determines that the position of the subject's face is within a predetermined range in the image of the photographing area SA. (step S105).
  • step S105 When determining that the position of the face is not within the predetermined range (step S105; No), the reading unit 105 returns to the process of step S102.
  • the reading unit 105 takes an image of the imaging area SA (step S106). Accordingly, the reading unit 105 generates image information representing an image of the imaging area SA.
  • FIG. 10 shows an example of an image of the photographing area SA including the face of the photographer, which is photographed in step S106.
  • FIG. 11 is a flow chart showing an example of the measurement information generation process (step S107).
  • the depth measurement unit 106 measures the depth of the shooting area SA shot in step S106, and generates depth information indicating the measured depth (step S201).
  • FIG. 12 is a diagram showing an example of a plurality of measurement points MP defined in association with the imaging area SA.
  • the measurement points MP are indicated by black circles, and are arranged vertically and horizontally at regular intervals.
  • the distance between the point on the real space corresponding to the measurement point MP and the reading unit 105 is measured as the depth.
  • the image of the subject photographed in step S106 is indicated by a dotted line so that the positional relationship between the subject and the measurement point MP can be understood.
  • the brightness measurement unit 107 measures the brightness of the shooting environment when the shooting area SA is shot in step S106, and generates brightness information indicating the measured brightness (step S202).
  • the communication unit 108 acquires measurement condition information indicating the measurement conditions for the depth measured in step S201 from the storage unit (not shown) (step S203).
  • the communication unit 108 transmits brightness information, read image information, image information, depth information, and measurement condition information (step S108).
  • the communication unit 108 transmits brightness information, and when receiving a request corresponding to this from the support device 102, transmits other information (read image information, image information, measurement condition information, depth information).
  • the read image information transmitted in step S108 is generated by executing step S101.
  • the image information transmitted in step S108 is generated by executing step S106.
  • the depth information and brightness information transmitted in step S108 are those generated in steps S201 and S202.
  • the measurement condition information transmitted in step S108 is obtained in step S203.
  • the communication unit 108 ends the measurement process.
  • FIG. 13 is an example of a flowchart of the person authentication support process according to Embodiment 1 of the present invention.
  • the person authentication support process is started, for example, when the brightness acquisition unit 113 acquires the brightness information transmitted in step S108.
  • the person-in-person authentication support process is also simply referred to as "support process”.
  • the collation determination unit 117 determines whether the brightness indicated by the brightness information acquired by the brightness acquisition unit 113 satisfies the illuminance standard (step S301). If it is determined that the illuminance standard is not satisfied (step 301; No), the collation determination unit 117 executes a notification process (step S302) for transmitting a notification that the collation process will not be performed to the measurement device 101, End the process.
  • the illuminance standard is defined as a range that includes the upper limit and the lower limit, and the collation determination unit 117 determines that the illuminance standard is not satisfied if the range is outside the range defined by the illuminance standard.
  • the collation determination unit 117 determines that collation processing is not to be performed, notifies the fact, and terminates the support processing.
  • the matching determination unit 117 determines that the matching process is not to be performed, notifies to that effect, and terminates the support process.
  • the collation determination unit 117 transmits a predetermined request to the measurement device 101.
  • the communication unit 108 transmits read image information, image information, measurement condition information, and depth information in response to this request.
  • the read image acquisition unit 110, the image information acquisition unit 111, the measurement condition acquisition unit 112, and the depth acquisition unit 116 respectively acquire read image information, image information, measurement condition information, and depth information (step S303).
  • the accuracy determination unit 120 determines whether the measurement accuracy obtained based on the measurement condition information and the measurement condition-accuracy data 114a acquired in step S303 satisfies a predetermined measurement standard. is highly accurate (step S304).
  • the accuracy determination unit 120 acquires accuracy information associated with the measurement condition information acquired in step S303 in the measurement condition-accuracy data 114a.
  • the accuracy determination unit 120 determines whether the depth measurement accuracy is high or not according to whether the measurement accuracy indicated by the acquired accuracy information satisfies the measurement standard.
  • the accuracy determination unit 120 determines the accuracy information " 150”. Then, the accuracy determination unit 120 compares "150" indicated by the acquired accuracy information with the measurement standard. For example, if the measurement standard indicates high accuracy when the number is 100 or more, the accuracy determination unit 120 determines that the depth measurement accuracy is high.
  • the accuracy determination unit 120 determines the accuracy information associated with the measurement condition information "B" in the measurement condition-accuracy data 114a shown in FIG. Get "80". Then, in the case of the above measurement standard, the accuracy determination unit 120 determines that the depth measurement accuracy is low by comparing "150" indicated by the acquired accuracy information with the measurement standard.
  • step S303 If it is determined that the accuracy is not high (that is, the accuracy is low) (step S303; No), the setting unit 121 sets the entire shooting area SA of the image information acquired in step S303 as the processing area (step S305).
  • the matching determination unit 117 determines whether or not to use the image information of the subject for matching processing, in other words, determines whether the image information of the subject is to be used for matching processing, based on the depth information of the entire imaging area SA, which is the processing area set in step S305. It is determined whether or not to perform the collation process using the data (step S306).
  • the collation determination unit 117 identifies the smallest measurement point MP among the plurality of measurement points MP included in the depth information of the entire imaging area SA as the reference depth.
  • the collation determination unit 117 obtains the unevenness of each measurement point MP included in the entire imaging area SA by subtracting the reference depth from each depth included in the depth information of the entire imaging area SA.
  • the matching determination unit 117 obtains the unevenness level of the entire photographing area SA by obtaining the standard deviation of the obtained unevenness.
  • the matching determination unit 117 compares the obtained unevenness level with the unevenness reference for low accuracy.
  • the unevenness reference for example, a general minimum unevenness level in the entire imaging area SA in which a person is actually shot is set.
  • the entire imaging area SA includes the target person and its background, the entire imaging area SA that is actually photographed has some unevenness, whereas the screens of displays and monitors are generally flat. For this reason, unevenness when the imaging area SA is actually captured usually has a greater variation than unevenness when an image including a person displayed on a display or monitor screen is captured.
  • the collation determination unit 117 determines to perform the collation processing using the image information of the subject.
  • the matching determination unit 117 performs matching processing using the image information of the subject. judge not.
  • step S306 When it is determined that the matching process using the image information of the subject is not performed (step S306; No), the matching determination unit 117 executes the above-described notification process (step S302) and ends the support process.
  • step S306 If it is determined that the matching process using the image information of the subject is to be performed (step S306; Yes), the authentication unit 118 executes the person authentication process including the matching process (step S307), and ends the support process. do.
  • step S304 If it is determined that the accuracy is high (step S304; Yes), the setting unit 121 identifies the face region FR from the photographing region SA of the image information acquired in step S302, and sets the face region FR as the processing region. Set (step S308).
  • FIG. 14 shows an example of the face area FR specified from the photographing area SA.
  • the facial region FR may be identified using conventional image processing techniques.
  • conventional image processing techniques may utilize image feature amounts included in image information.
  • the conventional image processing technique may use a trained learning model for extracting a face region FR from an image containing a face, and output the face region FR with an image containing a face as an input.
  • FIG. 14 shows an example in which the face region FR has an outer edge roughly following the contour of the face, so that it includes hair (head) and does not include clothes. and neck, and may include all or part of the garment (eg, the collar near the face).
  • the matching determination unit 117 uses the depth information of the face area FR, which is the processing area set in step S308, to determine whether or not to use the image information of the subject for the matching process. It is determined whether or not to perform matching processing (step S309).
  • FIG. 15 is a diagram showing an example of measurement points MP included in the face area FR.
  • the measurement points MP included in the face region FR are indicated by X marks.
  • the depth information of the face region FR is information indicating the depth at the measurement point MP included in the face region FR.
  • the collation determination unit 117 identifies the smallest depth information of the measurement points MP included in the face region FR as the reference depth.
  • the collation determination unit 117 obtains the unevenness of each measurement point MP included in the face region FR by subtracting the reference depth from each depth included in the depth information of the face region FR.
  • the collation determination unit 117 obtains the unevenness level of the face region FR by obtaining the standard deviation of the obtained unevenness.
  • the collation determination unit 117 compares the obtained unevenness level with the unevenness reference for high accuracy.
  • the minimum unevenness level of a typical human face is set as the high-precision unevenness reference.
  • a person's face has unevenness such as the nose and its surroundings, whereas the screens of displays and monitors are generally flat. For this reason, the unevenness of a photographed face of a person usually has a greater variation than the unevenness of a photographed face of a person displayed on a display or monitor screen.
  • the collation determination unit 117 determines to use the image information of the subject for the collation processing.
  • the obtained unevenness level is equal to or lower than the unevenness standard for high accuracy, it is estimated that the image information is not authentic. to decide.
  • the authenticity of the image information (whether or not the image indicated by the image information is the image that was actually shot) can be estimated also from the entire shooting area SA.
  • the entire shooting area SA includes not only the target person's face area FR, but also areas other than the target person's face area FR (hair and clothing areas) and a background area other than the target person. Subjects have various clothing and hair conditions, and background conditions vary. Therefore, the entire photographing area SA has relatively many uncertain factors that change depending on the photographing environment and conditions at the time of photographing. When determining the authenticity of the image information based on the depth information of the entire imaging area SA, there is a possibility that the authenticity of the image information cannot be determined accurately due to the influence of uncertainties.
  • the face area FR does not include the background, etc., there are fewer uncertain factors than the entire photographing area SA. Therefore, by determining the authenticity of the image information using the depth information of the face area FR, which is an area narrower than the photographing area SA, the authenticity of the image information can be accurately determined without being affected by uncertain factors. more likely to be possible. However, since the face area FR usually has less unevenness than the entire photographing area SA, the depth measured under the measurement conditions with high accuracy is required.
  • the depth of the face region FR is used to accurately determine the authenticity of the image information. can be estimated.
  • the authenticity of the image information can be accurately estimated by using the depth of the entire imaging area SA.
  • the processing area be an area corresponding to a portion with large unevenness. Therefore, when the measurement accuracy is high, it is desirable to set a processing region including a region corresponding to the nose, and the face region FR described above is an example of a set region including a region corresponding to the nose. In addition, it is more desirable that the processing area is the nose and its peripheral area.
  • step S309 When it is determined that the matching process using the image information of the subject is not performed (step S309; No), the matching determination unit 117 executes the above-described notification process (step S302) and ends the support process.
  • step S309 If it is determined that the matching process using the image information of the subject is to be performed (step S309; Yes), the authentication unit 118 executes the person authentication process including the matching process (step S307), and ends the support process. do.
  • depth measurement conditions are acquired for the measurement device 101 capable of generating image information indicating the image of the imaging area SA including the face of the subject and depth information indicating the depth. Then, according to the measurement conditions, a processing area, which is an area to be subjected to depth information processing, is set in the photographing area SA. When the depth information including the depth in the processing area measured under the above measurement conditions is acquired, the depth information of the processing area is used to determine whether or not the image information of the subject is to be used for matching processing. .
  • the authenticity of image information can be accurately estimated by using depth information of different processing regions according to measurement conditions. Then, by determining whether or not to use the image information of the subject for the matching process according to the result of estimating the authenticity of the image information, the matching process can be performed accurately, and the accuracy of the person's identity authentication can be improved. can be made Therefore, it becomes possible to support improvement in the accuracy of personal authentication.
  • the depth information of the imaging area SA is acquired when the brightness measured by the brightness measurement unit 107 satisfies a predetermined illuminance standard.
  • the illuminance standard includes the upper and lower limits of brightness.
  • the image of the image information In a dark shooting environment, the image of the image information often becomes unclear. Therefore, it can be estimated whether or not the image included in the image information is suitable for matching processing by including the lower limit in the illuminance reference.
  • the image displayed on the display or monitor may be captured.
  • the inclusion of an upper bound on the illumination criteria allows the authenticity of the image information to be estimated.
  • the measurement conditions include information for identifying a depth sensor that measures depth information, information for identifying an OS that operates in the measurement apparatus 101, and identification of a device equipped with the depth sensor. , information for identifying an available API, and information for identifying a device employed as the measurement device 101.
  • Such measurement conditions can be associated with the depth measurement accuracy indicated by the depth information.
  • depth information of different processing regions according to such measurement conditions the authenticity of image information can be accurately estimated. Therefore, it becomes possible to support improvement in the accuracy of personal authentication.
  • the depth measurement accuracy is high based on the measurement conditions.
  • a processing area is set.
  • the authenticity of the image information can be accurately estimated by setting a narrow region with relatively few uncertainties, such as the face region FR exemplified in the present embodiment, as the processing region. can do. Therefore, it becomes possible to support improvement in the accuracy of personal authentication.
  • the processing region when the measurement accuracy is high includes the region corresponding to the subject's nose.
  • the area corresponding to the nose is an area with relatively few uncertain factors and a relatively large amount of unevenness.
  • the authenticity of image information can be accurately estimated by using such an area as a processing area for high accuracy. Therefore, it becomes possible to support improvement in the accuracy of personal authentication.
  • the depth information of the imaging area SA is acquired by the depth acquisition unit 116, and the depth information of the processing area is extracted from the acquired depth information. Then, based on the extracted depth information, it is determined whether or not to use the image information of the subject for the matching process.
  • the depth information of the processing area is used to compare the unevenness level indicating the size of the unevenness in the processing area with a predetermined unevenness reference, thereby determining whether the image information of the subject is used in the matching process. determine whether or not
  • the authenticity of the image information can be accurately estimated by comparing the unevenness level with the unevenness reference using the depth information of the different processing regions. Therefore, it becomes possible to support improvement in the accuracy of personal authentication.
  • Embodiment 1 describes an example in which the depth acquisition unit 116 acquires the depth information from the measurement device 101 when the brightness information is generated by the brightness measurement unit 107 and the brightness indicated by the brightness information satisfies the illuminance standard. .
  • the brightness measurement unit 107 may not be provided in the person authentication support system. In this case, the depth acquisition unit 116 may acquire depth information from the measuring device 101 regardless of the brightness of the shooting environment.
  • the identity authentication support system 200 is a system that assists the identity authentication of a subject, as in the first embodiment.
  • the person authentication support system 200 includes a measuring device 201 and a person authentication support device 202, as shown in FIG.
  • the measurement device 201 does not include the brightness measurement unit 107, and the person authentication support device 202 does not include the brightness acquisition unit 113. Except for these points, measurement device 201 and person authentication support device 202 according to the present embodiment are functionally equivalent to measurement device 101 and person authentication support device 102 according to Embodiment 1, respectively. may be similarly configured.
  • the measuring device 201 may not physically include the illuminance sensor 1080 (not shown). Except for this point, measurement device 201 and person authentication support device 202 may be configured in the same manner as measurement device 101 and person authentication support device 102 according to Embodiment 1, respectively.
  • ⁇ Operation of person authentication support system 200> (measurement processing)
  • the measuring device 201 executes measurement processing
  • the support device 202 executes the personal authentication support processing.
  • FIG. 17 is an example of a flowchart of measurement processing according to Embodiment 2 of the present invention. As shown in the figure, in the measurement process according to the present embodiment, the processes of steps S101 to S106 similar to those in the first embodiment are executed. Then, a measurement information generation process (step S207) is executed instead of the measurement information generation process (step S107) according to the first embodiment.
  • FIG. 18 is a flowchart showing an example of measurement information generation processing (step S207).
  • the measurement information generation process (step S207) according to the present embodiment does not include the process of step S202 in the measurement information generation process (step S107) according to the first embodiment. That is, when the same processes as steps S201 and S203 according to Embodiment 1 are executed, the communication unit 108 returns to the measurement process.
  • the communication unit 108 transmits read image information, image information, depth information, and measurement condition information (step S208), and ends the measurement process.
  • FIG. 19 is an example of a flowchart of a person authentication support process according to Embodiment 2 of the present invention. As shown in the figure, in the person authentication support process according to the present embodiment, the process of step S301 according to the first embodiment is not executed. Except for this point, the person authentication support process according to the present embodiment is generally the same as the person person authentication support process according to the first embodiment.
  • depth measurement conditions for the measurement device 101 capable of generating image information indicating the image of the imaging area SA including the subject's face and depth information indicating the depth are acquired. Then, according to the measurement conditions, a processing area, which is an area to be subjected to depth information processing, is set in the photographing area SA. When the depth information including the depth in the processing area measured under the above measurement conditions is acquired, it is determined whether to use the subject's image information for matching processing based on the depth information of the processing area.
  • Embodiment 1 it is possible to support improvement in the accuracy of personal authentication.
  • the same effects as those of the first embodiment are obtained except for the effects related to the brightness and illuminance standards measured by the lightness measuring unit 107 .
  • Modification 1 Modification of measurement condition information
  • OS information an example in which the measurement condition information is OS information has been described.
  • the measurement condition information is not limited to OS information, and may be, for example, depth sensor information, API information, device information, image information, environment information, and depth information.
  • the measurement condition information may be a combination of one or more of these examples of information.
  • the depth sensor information is information for identifying the depth sensor that configures the depth measurement unit 106, and indicates, for example, the depth sensor type (manufacturer, model number, product number, etc.), depth sensor measurement method, and the like.
  • API information is information for identifying available APIs (Application Programming Interface).
  • An API is a function for using OS functions.
  • the device information is information for identifying the device employed as the measuring device 101, and indicates, for example, the type of the device (manufacturer, model number, product number, etc.), production time of the device, and the like.
  • the depth sensor information, API information, and device information are preferably stored in advance in a storage unit (not shown) included in the measuring device 101 .
  • the environment information is information indicating the shooting environment of the image, for example, brightness information.
  • This modification also has the same effect as the embodiment.
  • the brightness information may be information indicating the brightness of the image indicated by the image information based on the image information. may be determined based on In this case, the brightness information may be obtained by, for example, calculating the average brightness of each pixel included in the image information.
  • This modification also has the same effect as the embodiment.
  • the area setting section 115 may not include the accuracy determination section 120, and may set the processing area according to the accuracy information associated with the measurement condition information in the measurement condition-accuracy data 114a.
  • This modification also has the same effect as the embodiment.
  • Embodiment 1 has described an example in which the depth acquisition unit 116 acquires the depth information of the imaging area SA when the brightness measured by the illuminance sensor satisfies the illuminance standard. However, when the depth acquisition unit acquires the depth information of the imaging area SA, it is not limited to this.
  • the depth acquisition unit may acquire the depth information of the imaging area SA when the brightness of the image indicated by the image information satisfies a predetermined illuminance standard.
  • the measuring device 101 since the brightness information becomes unnecessary, the measuring device 101 may not include the brightness measuring unit 107, for example.
  • This modification also has the same effect as the embodiment.
  • Modification 5 Second Modification of Depth Acquisition Unit
  • the depth acquisition unit 116 acquires depth information indicating the depth of the entire imaging area SA from the measurement device 101 .
  • the depth acquisition unit may acquire depth information indicating the depth of only the processing area set by the area setting unit 115 from the measurement device 101 .
  • the match determination unit may determine whether or not to use the image information of the subject for the matching process based on the depth information acquired by the depth acquisition unit.
  • This modification also has the same effect as the embodiment.
  • the unevenness level is described as the standard deviation of unevenness in the processed area, but the unevenness level may be an index indicating the degree of unevenness in the processed area.
  • the unevenness level may be an average unevenness value, a maximum unevenness difference, or the like in the processing region. In this case, it is preferable to set a value corresponding to the unevenness level as the unevenness reference.
  • the index adopted for the unevenness level is not limited to a continuous value, and may be a value, a symbol, an alphabet, or the like that indicates the degree of unevenness in stages.
  • a value, symbol, alphabet, or the like corresponding to the unevenness level may be adopted so that it can be compared with the unevenness level.
  • This modification also has the same effect as the embodiment.
  • the unevenness level is the standard deviation of the unevenness in the processed area, but as described above, the unevenness level may be an index indicating the degree of unevenness in the processed area.
  • the unevenness level is, for example, the maximum unevenness in a specific area in the processing area.
  • the specific region in this case is a region in which unevenness is greater in the processed region than in other regions.
  • the specific region when the processing region is the face region FR when the depth measurement accuracy is high, the specific region generally includes the nose region, which is a region with greater unevenness than other regions in the face region FR. should be adopted.
  • the nasal region is the region around the nose.
  • the nose region should be identified using conventional image processing technology.
  • conventional image processing techniques may utilize image feature amounts included in image information.
  • the conventional image processing technique may use a trained learning model for extracting a nose region from an image containing a face, and output a nose region from an image containing a face as an input.
  • the nose region may be specified based on the size of the face region FR and the positions of the eyes specified by conventional image processing techniques.
  • the unevenness level for example, a value, a symbol, an alphabet, or the like corresponding to the maximum unevenness value in a specific area in the processing area may be employed as an index.
  • the index based on the unevenness the depth itself or an index based on the depth itself may be used as the unevenness level.
  • This modification also has the same effect as the embodiment.
  • a person authentication support system 100 includes a measurement device 101 and a person authentication support device 102, the measurement device 101 includes functional units 103 to 107, and the person authentication support device 102 has a function An example including portions 110-118 has been described (see FIG. 1).
  • the entire person authentication support system may include the functional units 103 to 107 and 110 to 118, and for example, the measuring device may include some or all of the functional units 110 to 118.
  • the personal authentication support device 302 may include the functional units 103 to 107 included in the measuring device 101 according to the first embodiment.
  • FIG. 21 shows the configuration of an identity authentication support system 300 according to Modification 8, which is one of such modifications.
  • the person authentication support system 300 includes a person authentication support device 302 and a server device 303 .
  • the person authentication support device 302 and the server device 303 are connected so as to be able to transmit and receive information to each other via a network configured by wire, wireless, or an appropriate combination thereof.
  • Personal authentication support device 302 functionally includes input unit 103, display unit 104, reading unit 105, depth measurement unit 106, and brightness measurement unit 107, which are similar to those in the first embodiment.
  • the person authentication support device 302 functionally functions, and the support device 102 similar to the embodiment functionally functions as a read image acquisition unit 110 , an image information acquisition unit 111 , a measurement condition acquisition unit 112 , a brightness acquisition unit 113 , a data storage unit 114 , an area setting unit 115 , a depth acquisition unit 116 and a collation determination unit 117 .
  • functional units 103 to 107 and 110 to 117 included in person authentication support device 302 mutually output information via an internal bus instead of transmitting and receiving information via the network in the embodiment. Good to get.
  • the person-in-person authentication support device 302 further includes a communication unit 308 that replaces the communication unit 108 according to the embodiment.
  • the communication unit 308 exchanges information with the server device 303 .
  • the communication unit 308 according to this modification transmits image information and read image information to the server device 303, for example, in response to an instruction from the subject or when the processing in the person authentication support device 202 ends.
  • the server device 303 includes an authentication unit 118 similar to that of the embodiment.
  • the personal authentication support device 302 may physically have the configuration described with reference to FIG.
  • the server device 332 may physically have the configuration described with reference to FIG.
  • Each functional unit of person authentication support device 302 and server device 303 performs the same processing as the processing executed by the corresponding functional unit in Embodiment 1 (that is, the processing described with reference to FIGS. 8, 13, etc.). should be executed. It should be noted that, in this modified example as well, the brightness measurement unit 107 and the brightness acquisition unit 113 do not have to be provided in the person authentication support device 302 as in the second embodiment.
  • This modification also has the same effect as the embodiment.
  • the person-in-person authentication support system may not include the measuring devices 101 and 201 and the server device 303, and may be configured by a person-in-person authentication support device.
  • FIG. 22 is a diagram showing the functional configuration of the person authentication support device 402 according to Modification 9. As shown in FIG.
  • the identity authentication support device 402 has the same functions as those in the first embodiment: the input unit 103, the display unit 104, the reading unit 105, the depth measurement unit 106, and the brightness measurement unit. 107. Further, the person authentication support device 402 functionally includes a read image acquisition unit 110, an image information acquisition unit 111, a measurement condition acquisition unit 112, a brightness acquisition unit 113, a data storage unit 114, an area setting unit 115, a depth acquisition unit 116, and a , a matching determination unit 117 and an authentication unit 118 .
  • Each function unit 103 to 107 and 110 to 118 included in the person authentication support device 402 outputs and acquires information mutually via an internal bus instead of transmitting and receiving information via a network in the embodiment. good. Therefore, the person-in-person authentication support device 402 does not need to include the communication unit 108 as shown in FIG.
  • the personal authentication support device 402 may physically have the configuration described with reference to FIG.
  • Each functional unit of the person authentication support device 402 may execute the same processing as the processing executed by the corresponding functional unit in Embodiment 1 (that is, the processing described with reference to FIGS. 8, 13, etc.). It should be noted that, in this modified example as well, the brightness measurement unit 107 and the brightness acquisition unit 113 do not have to be provided in the person authentication support device 402 as in the second embodiment.
  • This modification also has the same effect as the embodiment.
  • reading unit 105 is not limited to a camera, and may be configured by a scanner or the like to read an identity verification document.
  • the reading unit 105 may be configured to further include an OCR (Optical Character Reader) function. may be acquired using the OCR function from the image that is read.
  • OCR Optical Character Reader
  • the reading unit 105 may be a reader that reads information held in an IC (Integrated Circuit) chip from the IC chip.
  • the personal identification document preferably includes an IC chip that holds information including the read image M in advance, and the reading unit 105 reads the information from the IC chip of the personal identification document.
  • the IC chip may further hold information for identifying the subject.
  • the information for identifying the subject is obtained from the IC chip instead of being input by the subject. It may be obtained by reading.
  • measurement condition acquisition means for acquiring depth measurement conditions in a measuring device capable of generating image information indicating an image of an imaging area including a subject's face and depth information indicating depth; area setting means for setting a processing area, which is an area targeted for processing of the depth information in the photographing area, according to the measurement conditions; depth acquisition means for acquiring depth information including the depth in the processing area measured under the measurement conditions;
  • a person authentication support system comprising: verification determination means for determining whether or not to use the image information of the subject for verification processing based on the depth information of the processing area. 2.
  • the person authentication support system acquires the depth information of the imaging area when the brightness measured by the illuminance sensor satisfies a predetermined illuminance standard. 4. 4. The person authentication support system according to 2 or 3 above, wherein the illumination standard includes an upper limit and a lower limit of the brightness. 5.
  • the measurement conditions include information for identifying a depth sensor that measures the depth information, information for identifying an operating system that operates on the measurement device, information for identifying a device equipped with the depth sensor, 5.
  • the person authentication support system according to any one of 1 to 4 above, which is at least one of information for identifying an available API and information for identifying a device employed as the measuring device. 6.
  • the area setting means is Accuracy determination means for determining whether or not the depth measurement accuracy is high based on the measurement conditions; 6.
  • the depth acquisition means acquires depth information of the processing area set by the setting means, 8.
  • the depth acquisition means acquires depth information of the imaging area
  • the collation determination means is extraction means for extracting depth information of the processing area set by the setting means from the depth information acquired by the depth acquisition means; 8.
  • the collation determination means uses the image information of the subject for collation processing by comparing an unevenness level indicating the size of unevenness in the processing area with a predetermined unevenness reference using the depth information of the processing area. 10.
  • the person authentication support system according to any one of 1 to 9 above. 11.
  • a measuring device capable of generating image information indicating an image of an imaging region including a subject's face and depth information indicating depth; measurement condition acquisition means for acquiring depth measurement conditions in the measurement device; area setting means for setting a processing area, which is an area targeted for processing of the depth information in the photographing area, according to the measurement conditions;
  • a person authentication support apparatus comprising: verification determination means for determining whether or not to use the image information of the subject for verification processing based on the depth information of the processing area. 12.
  • the computer Acquiring depth measurement conditions in a measuring device capable of generating image information indicating an image of an imaging area including a subject's face and depth information indicating depth; setting a processing area, which is an area targeted for processing of the depth information, among the imaging areas, according to the measurement conditions; Acquiring depth information including the depth in the processing area measured under the measurement conditions; and determining whether or not to use the image information of the subject for verification processing based on the depth information of the processing area. 13.
  • Acquiring depth measurement conditions in a measuring device capable of generating image information indicating an image of an imaging area including a subject's face and depth information indicating depth; setting a processing area, which is an area targeted for processing of the depth information, among the imaging areas, according to the measurement conditions; Acquiring depth information including the depth in the processing area measured under the measurement conditions; A program for determining whether or not to use the image information of the subject for matching processing based on the depth information of the processing area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

当人認証支援システム(100)は、対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置における深度の測定条件を取得する測定条件取得部(112)と、測定条件に応じて、撮影領域のうち深度情報の処理対象となる領域である処理領域を設定する領域設定部(115)と、測定条件で測定された、処理領域における深度を含む深度情報を取得する深度取得部(116)と、処理領域の深度情報に基づいて、対象者の画像情報を照合処理に用いるか否かを判断する照合判断部(117)とを備える。

Description

当人認証支援、当人認証支援方法及びプログラム
 本発明は、当人認証支援システム、当人認証支援方法及びプログラムに関する。
 例えば特許文献1には、本人を認証するための技術として、画像処理装置が開示されている。特許文献1に記載の画像処理装置は、第1の波長の光を用いて被写体を撮影することで生成された第1の画像と、第2の波長の光を用いて、被写体を撮影することで生成された第2の画像と、被写体の深度情報と、を取得する取得部と、第2の画像に写る顔を検出する検出部と、を有する。
 また、当該画像処理装置は、深度情報に基づいて、検出部が検出した顔が生体を撮影したものであるか否かを判定する判定部と、判定部が生体を撮影したものであると判定した顔に関する情報に基づいて、前記第1の画像から顔画像を抽出する抽出部とを有する。
国際公開第2018/079031号
 特許文献1に記載の技術によれば、深度情報に基づいて、検出部が検出した顔が生体を撮影したものであるか否かが判定される。しかしながら、深度情報を生成するセンサなどの測定装置によっては、生成される深度情報の精度にバラツキがあることが多い。そのため、画像に写る顔が生体を撮影したものであるか否かを正確に判断できず、正確な当人認証が困難になることがある。
 本発明は、上述の事情に鑑みてなされたもので、その目的の1つは、当人認証の精度向上を支援することにある。
 上記目的を達成するため、本発明の第1の観点に係る当人認証支援システムは、
 対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置における深度の測定条件を取得する測定条件取得手段と、
 前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定する領域設定手段と、
 前記測定条件で測定された、前記処理領域における深度を含む深度情報を取得する深度取得手段と、
 前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断する照合判断手段とを備える。
 上記目的を達成するため、本発明の第2の観点に係る当人認証支援装置は、
 対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置と、
 前記測定装置における深度の測定条件を取得する測定条件取得手段と、
 前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定する領域設定手段と、
 前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断する照合判断手段とを備える。
 本発明の第3の観点に係る当人認証支援方法は、
 コンピュータが、
 対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置における深度の測定条件を取得することと、
 前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定することと、
 前記測定条件で測定された、前記処理領域における深度を含む深度情報を取得することと、
 前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断することとを含む。
 本発明の第4の観点に係るプログラムは、
 コンピュータに、
 対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置における深度の測定条件を取得することと、
 前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定することと、
 前記測定条件で測定された、前記処理領域における深度を含む深度情報を取得することと、
 前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断することとを実行させるためのプログラムである。
 本発明によれば、当人認証の精度向上を支援することが可能になる。
本発明の実施の形態1に係る当人認証支援システムの構成を示す図である。 読取り画像の一例を示す図である。 実施の形態1に係る測定条件-精度データの一例を示す図である。 実施の形態1に係る領域設定部の構成を示す図である。 実施の形態1に係る照合判断部の構成を示す図である。 本発明の実施の形態1に係る測定装置の物理的な構成の例を示す図である。 本発明の実施の形態1に係る当人認証支援装置の物理的な構成の例を示す図である。 本発明の実施の形態1に係る測定処理の一例を示すフローチャートである。 表示部によって表示される、撮影領域SAの画像の一例を示す図である。 対象者の顔を含む撮影領域SAの画像の一例を示す図である。 図8に示す測定情報生成処理の一例を示すフローチャートである。 撮影領域SAに対応付けて定められた複数の測定点MPの一例を示す図である。 本発明の実施の形態1に係る当人認証処理の一例を示すフローチャートである。 撮影領域SAから特定される顔領域FRの一例を示す図である。 顔領域FRに含まれる測定点MPの一例を示す図である。 本発明の実施の形態2に係る当人認証支援システムの構成を示す図である。 本発明の実施の形態2に係る測定処理の一例を示すフローチャートである。 図17に示す測定情報生成処理の一例を示すフローチャートである。 本発明の実施の形態2に係る当人認証処理の一例を示すフローチャートである。 変形例3に係る測定条件-精度データの一例を示す図である。 変形例8に係る当人認証支援システムの機能的な構成を示す図である。 変形例9に係る当人認証支援装置の機能的な構成を示す図である。
 以下、本発明の実施の形態について、図面を用いて説明する。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
<<実施の形態1>>
<当人認証支援システム100の構成>
 本発明の実施の形態1に係る当人認証支援システム100は、対象者の当人認証を支援するシステムである。当人認証では、対象者を識別するための情報が対象者自身のものであることが確認される。このような当人認証は、例えば、ネットショッピングなどで取引を行うメンバとして対象者を登録する際など、対象者の個人情報を取り扱う処理において行われることがある。この場合の対象者を識別するための情報は、対象者によって入力される氏名、住所、生年月日などである。
 当人認証支援システム100は、図1に示すように、測定装置101と、当人認証支援装置102とを備える。測定装置101と当人認証支援装置102とは、有線、無線又はこれらを適宜組み合わせて構成されるネットワークを介して互いに情報を送受信可能に接続されている。
 以下、当人認証支援装置102を単に「支援装置102」とも表記する。
<測定装置101の機能的構成>
 測定装置101は、対象者の当人認証に用いられる情報を生成可能な装置であって、機能的に、入力部103と、表示部104と、読取り部105と、深度測定部106と、明度測定部107と、通信部108とを含む。
 入力部103は、対象者の指示を受け付ける。表示部104は、対象者に情報を表示する。
 読取り部105は、カメラ1070(図6参照)などから構成され、対象者の顔を含む撮影領域SAを撮影して、当該撮影した撮影領域SAの画像を示す画像情報を生成する。
 また、読取り部105は、対象者の顔画像が関連付けられた本人確認書類を撮影することによって本人確認書類に示される情報を読み取り、当該撮影した読取り画像Mを示す読取り画像情報を生成する。本人確認書類は、公的な書類が望ましく、運転免許証、個人番号カード(いわゆる、マイナンバーカード)などである。 
 図2は、読取り画像Mの一例を示す。同図に示す読取り画像Mは、本人確認書類の一面に対象者の顔写真を含むことによって、対象者の顔画像が本人確認書類に関連付けられている。
 再び、図1を参照する。
 深度測定部106は、読取り部105によって撮影される撮影領域SAに対応付けて予め定められる複数の測定点MPの各々の深度を測定して、当該測定した深度を示す深度情報を生成する。複数の測定点MPの深度は、読取り部105から、複数の測定点MPの各々に対応する実空間上の点までの距離である。
 例えば、読取り部105、深度測定部106がそれぞれカメラ1070、深度センサ1090(図6参照)によって構成される場合、カメラ1070及び深度センサ1090は、測定装置101において互いに近い位置に設けられるとよい。これによって、実質的に、読取り部105から測定点MPの各々までの距離を測定することができる。
 明度測定部107は、読取り部105によって画像が撮影される時の撮影環境の明るさを測定する照度センサ1080(図6参照)であり、当該測定した明るさを示す明度情報を生成する。
 通信部108は、上述のネットワークを介して、支援装置102との間で互いに情報を送受信する。本実施の形態に係る通信部108は、対象者の指示に応じて、画像情報、読取り画像情報、深度情報、明度情報、深度の測定条件を示す測定条件情報を支援装置102へ送信する。
 測定条件情報は、測定装置101における深度の測定条件を示す情報であり、本実施の形態では、OS(Operating System)情報である。OS情報は、測定装置101にて動作するOSを識別するための情報であり、例えば、OSの種類、バージョンなどを示す。OS情報は、例えば、測定装置101に含まれる記憶部(不図示)に予め記憶され、通信部108によって取得される。
<当人認証支援装置102の機能的構成>
 支援装置102は、測定装置101によって生成された情報に基づいて、対象者の当人認証のための照合処理を行うか否かを判断する。そして、支援装置102は、判断の結果に応じて、当人認証のための照合処理や認証処理を行う。
 支援装置102は、機能的に、読取り画像取得部110と、画像情報取得部111と、測定条件取得部112と、明度取得部113と、データ記憶部114と、領域設定部115と、深度取得部116と、照合判断部117と、認証部118とを含む。
 読取り画像取得部110は、読取り画像情報を測定装置101から取得する。画像情報取得部111は、画像情報を測定装置101から取得する。測定条件取得部112は、測定条件情報を測定装置101から取得する。明度取得部113は、明度情報を測定装置101から取得する。
 データ記憶部114は、測定条件-精度データ114aが予め格納される記憶部である。測定条件-精度データ114aは、図3に示すように、測定条件情報と精度情報とを関連付けたデータである。精度情報は、深度の測定精度を示す情報である。
 図3に例示する測定条件-精度データ114aでは、測定条件情報はOSの種類を示し、精度情報は深度の測定精度を示す。具体的には、図3の測定条件-精度データ113aにおいて、「A」というOSには、深度の測定精度として「150」が関連付けられており、「B」というOSには、深度の測定精度として「80」が関連付けられている。
 なお、測定条件-精度データ114aに含まれる測定条件情報は、2つに限られず、適宜変更されてよい。
 領域設定部115は、測定条件取得部112によって取得される測定条件情報が示す測定条件に応じて、処理領域を設定する。処理領域は、画像情報取得部111によって取得される画像の撮影領域SAのうち、深度情報の処理対象となる領域である。
 詳細には、領域設定部115は、図4に示すように機能的に、精度判断部120と、設定部121とを含む。
 精度判断部120は、測定条件取得部112によって取得される測定条件情報に基づいて、深度の測定精度が高精度であるか否かを判断する。
 本実施の形態に係る精度判断部120は、測定条件情報と測定条件-精度データ114aとに基づいて得られる測定精度が予め定められる測定基準を満たすか否かに応じて、深度の測定精度が高精度であるか否かを判断する。
 例えば、測定基準は、測定精度情報が示す値が予め定められる閾値(例えば「100」)以上である場合に高精度であり、測定精度情報が示す値が当該閾値未満である場合に低精度である、という基準である。
 設定部121は、精度判断部120によって判断された測定精度が高精度である場合に、当該判断された測定精度が高精度でない(すなわち、低精度である)場合よりも狭い処理領域を設定する。
 例えば、測定精度が低精度である場合の処理領域は、撮影領域SAの全体である。測定精度が高精度である場合の処理領域は、顔領域FRである。顔領域FRは、対象者の顔に対応する領域であり、撮影領域SAの一部であるので、撮影領域SAの全体よりも狭い。
 再び、図1を参照する。
 深度取得部116は、領域設定部115によって設定された処理領域における深度を含む深度情報を測定装置101から取得する。深度取得部116によって取得される深度情報は、測定条件取得部112によって取得される測定情報が示す測定条件で測定された深度を示す。
 本実施の形態に係る深度取得部116は、明度測定部107によって測定される明るさが予め定められる照度基準を満たす場合に、深度情報を測定装置101から取得する。
 本実施の形態に係る照度基準は、例えば、明るさの上限及び下限を含む範囲で規定される。例えば、上限値がTHU[カンデラ]であり、下限値がTHL[カンデラ]である場合、照度基準は、明度測定部107によって測定される明るさがTHL[カンデラ]以上、かつ、THU[カンデラ]以下であることである。
 また、本実施の形態では、深度取得部116は、撮影領域SA全体の深度を示す深度情報を測定装置101から取得する。
 照合判断部117は、領域設定部115によって設定された処理領域の深度情報に基づいて、対象者の画像情報を照合処理に用いるか否かを判断する。
 照合処理は、例えば、画像情報が示す画像と読取り画像Mとを照合する処理であって、これにより、画像情報が示す画像と読取り画像Mとに含まれる人が同一人(対象者)であることを確認する。詳細には例えば、画像情報が示す画像と読取り画像Mとに含まれる人の顔画像の特徴量の類似度が予め定められる閾値以上である場合に、画像情報が示す画像と読取り画像Mとに含まれる人が同一人であると推定される。また、当該類似度が当該閾値未満である場合に、画像情報が示す画像と読取り画像Mとに含まれる人が同一人でないと推定される。
 ここで、一般的に、他人の本人確認書類によって当人認証を受ける、いわゆる、なりすましの典型的な手法として、本人確認書類によって識別される個人(本人)以外の第三者が本人を予め撮影した画像をディスプレイやモニタの画面に表示し、当該画面に表示された画像を撮影する手法がある。この手法によれば、画像情報と読取り画像Mとに含まれる対象者の顔画像の特徴量の類似度に基づく照合処理では、第三者が他人の本人確認書類を使用して当人認証を受けようとしているにもかかわらず、画像情報が示す画像と読取り画像Mとに含まれる人が同一人であると推定されることがある。
 そこで、このような手法のなりすましを防ぐために、照合判断部117は、領域設定部115によって設定された処理領域の深度情報に基づいて、画像情報の真正性を確認する。画像情報の真正性とは、画像情報に含まれる人の画像が、実際に人を撮影すること(すなわち、当該画像情報が生成された撮影の時にその撮影場所に実在した人を撮影すること)によって得られたものであることを意味する。
 ディスプレイやモニタの画面に表示された画像を撮影した場合、画面は平らなことが多いため、深度情報は概ね平らな面を示すものとなるのに対して、実際に人を撮影した場合、深度情報はある程度以上の凹凸を示すものとなる。そのため、照合判断部117は、処理領域の深度情報に基づいて、画像情報の真正性を推定することができる。
 そして、照合判断部117は、画像情報が真正であると推定される場合に対象者の画像情報を照合処理に用いると判断し、画像情報が真正でないと推定される場合に対象者の画像情報を照合処理に用いないと判断する。
 詳細には、照合判断部117は、図5に示すように、抽出部130と、判断部131とを含む。
 抽出部130は、深度取得部116によって取得された深度情報の中から、設定部121によって設定された処理領域の深度情報を抽出する。
 判断部131は、抽出部130によって抽出された深度情報を用いて、対象者の画像情報を照合処理に用いるか否かを判断する。
 より詳細には、判断部131は、抽出部130によって抽出された深度情報を用いて、当該処理領域における凹凸の大きさを示す凹凸レベルを求める。そして、判断部131は、当該求めた凹凸レベルと予め定められる凹凸基準と比較することによって、対象者の画像情報を照合処理に用いるか否かを判断する。
 凹凸レベルは、処理領域における凹凸の程度を示す指標であり、本実施の形態では、処理領域における凹凸の標準偏差である。
 凹凸基準は、実際に人を撮影した場合の一般的な凹凸レベルに応じて設定され、深度の測定精度に応じて異なる基準が設定される。
 例えば、測定精度が低精度である場合の処理領域が撮影領域SAの全体であるとすると、処理対象には対象者及びその背景が含まれる。そのため、低精度用の凹凸基準には、実際に人を撮影した場合の当該人及びその背景の凹凸の標準偏差に応じた値(例えば、一般的に生じる凹凸の標準偏差の最小値)が設定される。
 測定精度が高精度である場合の処理領域が対象者の顔に対応する領域を含む部分領域であるとする。高精度用の凹凸基準には、一般的な人の顔における凹凸の標準偏差に応じた値(例えば、一般的な人の顔における凹凸の標準偏差の最小値)が設定される。
 再び、図1を参照する。
 認証部118は、照合判断部117の判断結果に応じた処理を行う。
 詳細には、照合判断部117によって対象者の画像情報を照合処理に用いると判断された場合、認証部118は、画像情報が示す画像と読取り画像Mとを照合する照合処理を含む当人認証処理を行う。当人認証処理では、例えば、認証処理によって本人確認書類の真正性が確認された場合に、対象者が入力した情報が本人確認書類の内容と一致することなどがさらに確認される。また例えば、当人認証処理では、本人確認書類の有効期限などが確認されてもよく、これらは認証者によって確認されて、その結果が支援装置102に入力されてもよい。
 照合判断部117によって対象者の画像情報を照合処理に用いないと判断された場合、認証部118は、その旨の通知を測定装置101へ送信する。これにより、測定装置101の表示部104には、照合処理を行わない旨の表示がなされる。
 これまで、当人認証支援システム100の機能的な構成について主に説明した。ここから、当人認証支援システム100の物理的な構成について、図を参照して説明する。
<測定装置101の物理的構成>
 測定装置101は、物理的には例えば、スマートフォン、タブレット端末などであり、図6に示すように、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、ネットワークインタフェース1050、ユーザインタフェース1060、カメラ1070、照度センサ1080及び深度センサ1090を含む。なお、測定装置101は、カメラ1070、照度センサ1080及び深度センサ1090が取り付けられたパーソナルコンピュータなどであってもよい。
 バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、ネットワークインタフェース1050、カメラ1070、照度センサ1080、深度センサ1090が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
 プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
 メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
 ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は、測定装置101の各機能を実現するためのプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行し、ネットワークインタフェース1050、ユーザインタフェース1060、カメラ1070、照度センサ1080、深度センサ1090と協働することで、測定装置101の各機能部が実現される。
 ネットワークインタフェース1050は、ネットワークを介して支援装置102と互いに通信するためのインタフェースであり、通信部108を構成する。
 ユーザインタフェース1060は、ユーザに情報を表示し、またユーザが入力するための部位であり、例えば液晶パネル、液晶パネルの画面に設けられたタッチセンサ、キーボード、マウスなどから構成される。ユーザインタフェース1060は、入力部103、表示部104を構成する。
 カメラ1070は、画像を撮影する装置であり、読取り部105を構成する。照度センサ1080は、照度を測定するセンサであり、明度測定部107を構成する。深度センサ1090は、深度を測定するセンサであり、深度測定部106を構成する。
<当人認証支援装置102の物理的構成>
 当人認証支援装置102は、物理的には例えば、パーソナルコンピュータ、サーバ装置用ホストマシンなどであり、図7に示すように、バス2010、プロセッサ2020、メモリ2030、ストレージデバイス2040、ネットワークインタフェース2050及びユーザインタフェース2060を含む。
 バス2010は、プロセッサ2020、メモリ2030、ストレージデバイス2040、ネットワークインタフェース2050、ユーザインタフェース2060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ2020などを互いに接続する方法は、バス接続に限定されない。
 プロセッサ2020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
 メモリ2030は、RAM(Random Access Memory)などで実現される主記憶装置である。
 ストレージデバイス2040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス2040は、***作機器101の各機能を実現するためのプログラムモジュールを記憶している。プロセッサ2020がこれら各プログラムモジュールをメモリ2030上に読み込んで実行し、適宜ネットワークインタフェース2050、ユーザインタフェース2060と協働することで、支援装置102の各機能部が実現される。
 ネットワークインタフェース2050は、ネットワークを介して測定装置101と互いに通信するためのインタフェースである。
 ユーザインタフェース2060は、ユーザに情報を表示し、またユーザが入力するための部位であり、例えば液晶パネル、液晶パネルの画面に設けられたタッチセンサ、キーボード、マウスなどから構成される。
 これまで、当人認証支援システム100の構成について説明した。ここから、当人認証支援システム100の動作について説明する。
<当人認証支援システム100の動作>
 当人認証支援システム100では、測定装置101によって測定処理が実行され、支援装置102によって当人認証支援処理が実行される。測定処理は、当人認証支援処理にて利用される情報(本実施の形態では、対象者の画像情報、深度情報、明度情報、測定条件情報)を取得するための処理である。当人認証支援処理は、対象者の当人認証を支援するための処理である。
 以下、これらの処理について図を参照して説明する。
(測定処理)
 図8は、本発明の実施の形態1に係る測定処理のフローチャートの一例である。測定処理は、例えば、測定装置101にてアプリケーションが実行されて、対象者から予め定められた指示を受け付けることによって開始される。
 読取り部105は、対象者の指示に応じて本人確認書類を撮影することによって、本人確認書類を読み取る(ステップS101)。これによって、読取り部105は、読取り画像Mを示す読取り画像情報を生成する。
 読取り部105は、対象者の指示に応じて、撮影領域SAを撮影し(ステップS102)、表示部104は、読取り部105によって撮影されている撮影領域SAの画像を表示する(ステップS103)。これにより、読取り部105によって撮影される撮影領域SAは、表示部104によってリアルタイムで表示される。
 図9は、ステップS103にて表示される画像の一例を示す図であり、当該画像は、ステップS102にて撮影された撮影領域SAを示す。同図に示すように、ステップS103にて表示される画像には、ガイドGが含まれる。ガイドGは、画像における対象者の顔の適切な範囲を示す。測定装置101の位置は、顔の輪郭が概ねガイドGと一致するように調整されるとよい。
 入力部103は、予め定められた撮影指示を受け付けたか否かを判断する(ステップS104)。対象者によって撮影指示が入力されるまで、入力部103は、撮影指示を受け付けていないと判断し(ステップS104;No)、読取り部105は、ステップS102の処理に戻る。
 対象者によって撮影指示が入力されて、撮影指示を受け付けたと判断された場合(ステップS104;Yes)、読取り部105は、撮影領域SAの画像において対象者の顔の位置が予め定められた範囲内であるか否かを判断する(ステップS105)。
 顔の位置が予め定められた範囲内でないと判断した場合(ステップS105;No)、読取り部105は、ステップS102の処理に戻る。
 顔の位置が予め定められた範囲内であると判断した場合(ステップS105;Yes)、読取り部105は、撮影領域SAを撮影する(ステップS106)。これによって、読取り部105は、撮影領域SAの画像を示す画像情報を生成する。図10は、撮影者の顔を含む撮影領域SAの画像であって、ステップS106にて撮影されたものの一例を示す。
 続けて、図8に示すように、測定情報生成処理(ステップS107)が行われる。図11は、測定情報生成処理(ステップS107)の一例を示すフローチャートである。
 深度測定部106は、ステップS106にて撮影された撮影領域SAの深度を測定し、当該測定した深度を示す深度情報を生成する(ステップS201)。
 図12は、撮影領域SAに対応付けて定められた複数の測定点MPの一例を示す図である。同図では、測定点MPは黒丸で示しており、縦横に等間隔で配列されている。ステップS201では、測定点MPに対応する実空間上の点と読取り部105との間の距離が、深度として測定される。同図では、ステップS106にて撮影された対象者と測定点MPとの位置関係が分かるように、対象者の画像を点線で示している。
 なお、本実施の形態では複数の測定点MPが縦横に等間隔で配列される例により説明するが、複数の測定点MPの配置はこれに限られず、複数の測定点MPは任意の位置に配置されてよい。
 再び、図8を参照する。
 明度測定部107は、ステップS106にて撮影領域SAが撮影される時の撮影環境の明るさを測定し、当該測定した明るさを示す明度情報を生成する(ステップS202)。
 通信部108は、ステップS201にて測定された深度の測定条件を示す測定条件情報を記憶部(不図示)から取得する(ステップS203)。
 再び、図8を参照する。
 通信部108は、明度情報、読取り画像情報、画像情報、深度情報及び測定条件情報を送信する(ステップS108)。通信部108は、明度情報を送信し、これに応じた要求を支援装置102から要求を取得した場合に、その他の情報(読取り画像情報、画像情報、測定条件情報、深度情報)を送信する。
 ステップS108にて送信される読取り画像情報は、ステップS101を実行することにより生成されたものである。ステップS108にて送信される画像情報は、ステップS106を実行することにより生成されたものである。ステップS108にて送信される深度情報及び明度情報は、ステップS201~S202にて生成されたものである。ステップS108にて送信される測定条件情報は、ステップS203にて取得されたものである。
 これにより、通信部108は、測定処理を終了する。
(当人認証支援処理)
 図13は、本発明の実施の形態1に係る当人認証支援処理のフローチャートの一例である。当人認証支援処理は、例えば、ステップS108にて送信された明度情報を明度取得部113が取得することによって開始される。以下、当人認証支援処理を単に「支援処理」とも表記する。
 照合判断部117は、明度取得部113によって取得された明度情報が示す明るさが照度基準を満たすか否かを判断する(ステップS301)。照度基準を満たさないと判断された場合(ステップ301;No)、照合判断部117は、照合処理を行わない旨の通知を測定装置101へ送信する通知処理(ステップS302)を実行して、支援処理を終了する。
 照度基準は上述の通り、上限と下限とを含む範囲で規定され、照合判断部117は、照度基準に規定された範囲外である場合に、照度基準を満たさないと判断する。
 一般的に、撮影環境が暗い場合、画像情報の画像が暗くなり、照合処理を正確に行えないことがある。そのため、下限値未満である場合に、照合判断部117は、照合処理を行わないと判断し、その旨の通知を行って支援処理を終了する。
 また、撮影環境が明るい場合、ディスプレイやモニタの画面に表示された画像を撮影した可能性がある。そのため、上限値を超える場合に、照合判断部117は、照合処理を行わないと判断し、その旨の通知を行って支援処理を終了する。
 照度基準を満たすと判断された場合(ステップ301;Yes)、照合判断部117は、予め定められた要求を測定装置101へ送信する。通信部108は、この要求に応答して、読取り画像情報、画像情報、測定条件情報、深度情報を送信する。読取り画像取得部110、画像情報取得部111、測定条件取得部112、深度取得部116は、それぞれ、読取り画像情報、画像情報、測定条件情報、深度情報を取得する(ステップS303)。
 精度判断部120は、ステップS303にて取得された測定条件情報と測定条件-精度データ114aとに基づいて得られる測定精度が予め定められる測定基準を満たすか否かに応じて、深度の測定精度が高精度であるか否かを判断する(ステップS304)。
 詳細には、精度判断部120は、ステップS303にて取得された測定条件情報に測定条件-精度データ114aにおいて関連付けられた精度情報を取得する。精度判断部120は、取得した精度情報が示す測定精度が測定基準を満たすか否かに応じて、深度の測定精度が高精度であるか否かを判断する。
 例えば、ステップS303にて取得された測定条件情報が「A」を示す場合、精度判断部120は、図3に示す測定条件-精度データ114aにおいて測定条件情報「A」に関連付けられた精度情報「150」を取得する。そして、精度判断部120は、取得した精度情報が示す「150」と測定基準と比較する。例えば100以上である場合に高精度であるという測定基準である場合、精度判断部120は、深度の測定精度が高精度であると判断する。
 また例えば、ステップS303にて取得された測定条件情報が「B」を示す場合、精度判断部120は、図3に示す測定条件-精度データ114aにおいて測定条件情報「B」に関連付けられた精度情報「80」を取得する。そして、上記の測定基準である場合、精度判断部120は、取得した精度情報が示す「150」と測定基準とを比較することによって、深度の測定精度が低精度であると判断する。
 再び、図13を参照する。
 高精度でない(すなわち、低精度である)と判断された場合(ステップS303;No)、設定部121は、ステップS303にて取得された画像情報の撮影領域SA全体を処理領域に設定する(ステップS305)。
 照合判断部117は、ステップS305にて設定された処理領域である撮影領域SA全体の深度情報に基づいて、対象者の画像情報を照合処理に用いるか否か、言い換えると対象者の画像情報を用いた照合処理を行うか否かを判断する(ステップS306)。
 詳細には例えば、照合判断部117は、撮影領域SA全体の深度情報に含まれる複数の測定点MPのうち、最小のものを基準深度として特定する。照合判断部117は、撮影領域SA全体の深度情報に含まれる各深度から基準深度を引くことによって、撮影領域SA全体に含まれる測定点MPの各々の凹凸を求める。照合判断部117は、求めた凹凸の標準偏差を求めることによって、撮影領域SA全体の凹凸レベルを求める。
 照合判断部117は、求めた凹凸レベルと低精度用の凹凸基準とを比較する。低精度用の凹凸基準には、例えば、実際に人を撮影した撮影領域SA全体における一般的な凹凸レベルの最小値が設定される。
 撮影領域SA全体は対象者とその背景とを含むため、実際に撮影された撮影領域SA全体にはある程度の凹凸があるのに対して、ディスプレイやモニタの画面は概ね平らである。そのため、撮影領域SAが実際に撮影された場合の凹凸には、通常、ディスプレイやモニタの画面に表示された人を含む画像を撮影した場合の凹凸よりも大きなバラツキが生じる。
 このような理由で、求めた凹凸レベルが低精度用の凹凸基準より大きい場合、画像情報が真正である(すなわち、画像情報が示す画像は、読取り画像情報を送信した時に実際に撮影されたものである)と推定することができる。従って、求めた凹凸レベルが低精度用の凹凸基準より大きい場合、照合判断部117は、対象者の画像情報を用いた照合処理を行うと判断する。
 これに対して、求めた凹凸レベルが低精度用の凹凸基準以下である場合、画像情報が真正でないと推定されるので、照合判断部117は、対象者の画像情報を用いた照合処理を行わないと判断する。
 対象者の画像情報を用いた照合処理を行わないと判断した場合(ステップS306;No)、照合判断部117は、上述の通知処理(ステップS302)を実行して、支援処理を終了する。
 対象者の画像情報を用いた照合処理を行うと判断された場合(ステップS306;Yes)、認証部118は、照合処理を含む当人認証処理(ステップS307)を実行して、支援処理を終了する。
 高精度であると判断された場合(ステップS304;Yes)、設定部121は、ステップS302にて取得された画像情報の撮影領域SAから顔領域FRを特定して、顔領域FRを処理領域に設定する(ステップS308)。
 図14は、撮影領域SAから特定される顔領域FRの一例を示す。顔領域FRは、従来の画像処理技術を用いて特定されるとよい。例えば従来の画像処理技術は、画像情報に含まれる画像の特徴量などを利用するものであってもよい。また例えば、従来の画像処理技術は、顔を含む画像から顔領域FRを抽出するための学習済みの学習モデルを用い、顔を含む画像を入力として顔領域FRを出力するものであってもよい。なお、図14では、顔領域FRが概ね顔の輪郭に沿った外縁を有することで、髪(頭部)を含み、服装を含まない例を示すが、顔領域FRは、髪(頭部)及び首の一方又は両方を含んでもよく、服装の全体或いは一部(例えば、顔近傍の襟元)を含んでもよい。
 再び、図13を参照する。
 照合判断部117は、ステップS308にて設定された処理領域である顔領域FRの深度情報を用いて、対象者の画像情報を照合処理に用いるか否か、言い換えると対象者の画像情報を用いた照合処理を行うか否かを判断する(ステップS309)。
 図15は、顔領域FRに含まれる測定点MPの一例を示す図である。同図では、顔領域FRに含まれる測定点MPをX印により示している。顔領域FRの深度情報とは、顔領域FRに含まれる測定点MPにおける深度を示す情報である。
 詳細には例えば、照合判断部117は、顔領域FRに含まれる測定点MPの深度情報のうち、最小のものを基準深度として特定する。照合判断部117は、顔領域FRの深度情報に含まれる各深度から基準深度を引くことによって、顔領域FRに含まれる測定点MPの各々の凹凸を求める。照合判断部117は、求めた凹凸の標準偏差を求めることによって、顔領域FRの凹凸レベルを求める。
 照合判断部117は、求めた凹凸レベルと高精度用の凹凸基準とを比較する。高精度用の凹凸基準には、例えば、一般的な人の顔における凹凸レベルの最小値が設定される。
 人の顔には鼻及びその周辺など凹凸があるのに対して、ディスプレイやモニタの画面は概ね平らである。そのため、人の顔が実際に撮影された場合の凹凸には、通常、ディスプレイやモニタの画面に表示された人の顔を撮影した場合の凹凸よりも大きなバラツキが生じる。
 このような理由で、求めた凹凸レベルが高精度用の凹凸基準より大きい場合、画像情報が真正であると推定することができる。従って、求めた凹凸レベルが高精度用の凹凸基準より大きい場合、照合判断部117は、対象者の画像情報を照合処理に用いると判断する。
 これに対して、求めた凹凸レベルが高精度用の凹凸基準以下である場合、画像情報が真正でないと推定されるので、照合判断部117は、対象者の画像情報を照合処理に用いないと判断する。
 ここで、撮影領域SA全体によっても、画像情報の真正性(画像情報によって示される画像が、実際に撮影した画像であるか否か)を推定することができる。
 しかし、撮影領域SA全体は、対象者の顔領域FRだけでなく、対象者の顔領域FR以外の領域(髪や服装の領域)、対象者以外の背景領域も含む。対象者の服装や髪の状態などは種々であり、背景の状態は種々であるため、撮影領域SA全体は、撮影時の撮影環境や状態によって変化する不確定な要素が比較的多い。撮影領域SA全体の深度情報によって画像情報の真正性する場合、不確定な要素の影響を受けて、画像情報の真正性を正確に判断できないおそれがある。
 これに対して、顔領域FRは、背景などを含まないため、撮影領域SA全体に比べて不確定な要素が少ない。そのため、撮影領域SAよりも狭い領域である顔領域FRの深度情報を用いて画像情報の真正性することによって、不確定な要素の影響をほぼ受けずに、画像情報の真正性を正確に判断できる可能性が高くなる。ただ、顔領域FRは、通常、撮影領域SA全体よりも凹凸が小さいため、高い精度で測定できる測定条件で測定された深度が必要となる。
 そこで、本実施の形態のように、測定条件に基づいて深度の測定精度が高精度であると判断される場合には、顔領域FRの深度を用いることで、画像情報の真正性を正確に推定することができる。その一方で、測定条件に基づいて低精度で測定されると判断される場合には、撮影領域SA全体の深度を用いることで、画像情報の真正性を正確に推定することができる。
 ここで、上述の画像情報の真正性を推定するための原理から理解されるであろうが、処理領域は、凹凸が大きい部分に対応する領域が望ましい。そのため、測定精度が高精度である場合、鼻に対応する領域を含む処理領域が設定されることが望ましく、上述の顔領域FRは、鼻に対応する領域を含む設定領域の一例である。なお、処理領域は鼻及びその周辺の領域であることがより望ましい。
 再び、図13を参照する。
 対象者の画像情報を用いた照合処理を行わないと判断した場合(ステップS309;No)、照合判断部117は、上述の通知処理(ステップS302)を実行して、支援処理を終了する。
 対象者の画像情報を用いた照合処理を行うと判断された場合(ステップS309;Yes)、認証部118は、照合処理を含む当人認証処理(ステップS307)を実行して、支援処理を終了する。
 これまで、本発明の実施の形態1について説明した。
 本実施の形態によれば、対象者の顔を含む撮影領域SAの画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置101における深度の測定条件が取得される。そして、測定条件に応じて、撮影領域SAのうち深度情報の処理対象となる領域である処理領域が設定される。上記の測定条件で測定された、処理領域における深度を含む深度情報が取得されると、当該処理領域の深度情報を用いて、対象者の画像情報を照合処理に用いるか否かが判断される。
 本実施の形態で説明したように、測定条件に応じて、異なる処理領域の深度情報を用いることによって、画像情報の真正性を正確に推定することができる。そして、画像情報の真正性の推定結果に応じて対象者の画像情報を照合処理に用いるか否かを判断することによって、照合処理を正確に行うことができ、ひいては当人認証の精度を向上させることができる。従って、当人認証の精度向上を支援することが可能になる。
 本実施の形態によれば、明度測定部107によって測定される明るさが予め定められる照度基準を満たす場合に、撮像領域SAの深度情報が取得される。
 画像情報が示す画像又は撮影環境の明るさによって、画像情報に含まれる画像が照合処理に適したものであるか否かを推定し、又は、画像情報の真正性を推定することができる。従って、当人認証の精度向上を支援することが可能になる。
 本実施の形態によれば、照度基準は、明るさの上限及び下限を含む。
 暗い撮影環境では、画像情報の画像が不鮮明になることが多い。そのため、照度基準が下限を含むことによって、画像情報に含まれる画像が照合処理に適したものであるか否かを推定することができる。
 また、明るい撮影環境である場合、ディスプレイやモニタに表示された画像が撮影されていることがある。そのため、照度基準が上限を含むことによって、画像情報の真正性を推定することができる。
 従って、当人認証の精度向上を支援することが可能になる。
 本実施の形態によれば、測定条件は、深度情報を測定する深度センサを識別するための情報、測定装置101にて動作するOSを識別するための情報、当該深度センサを搭載した機器を識別するための情報、利用可能なAPIを識別するための情報、測定装置101として採用される機器を識別するための情報の少なくとも1つである。
 このような測定条件は、深度情報によって示される深度の測定精度に関連付けることができる。このような測定条件に応じて、異なる処理領域の深度情報を用いることによって、画像情報の真正性を正確に推定することができる。従って、当人認証の精度向上を支援することが可能になる。
 本実施の形態によれば、測定条件に基づいて、深度の測定精度が高精度であるか否かを判断し、測定精度が高精度である場合に、測定精度が高精度でない場合よりも狭い処理領域が設定される。
 測定精度が高精度である場合、本実施の形態で例示した顔領域FRのように不確定な要素が比較的少ない狭い領域を処理領域に設定することで、画像情報の真正性を正確に推定することができる。従って、当人認証の精度向上を支援することが可能になる。
 本実施の形態によれば、測定精度が高精度である場合の処理領域は、対象者の鼻に対応する領域を含む。
 鼻に対応する領域は、不確定な要素が比較的少なく、かつ、凹凸量が比較的大きい領域である。このような領域を高精度である場合の処理領域とすることによって、画像情報の真正性を正確に推定することができる。従って、当人認証の精度向上を支援することが可能になる。
 本実施の形態によれば、撮影領域SAの深度情報が深度取得部116によって取得され、当該取得された深度情報の中から処理領域の深度情報が抽出される。そして、当該抽出された深度情報に基づいて、対象者の画像情報を照合処理に用いるか否かが判断される。
 これにより、測定条件に応じた異なる処理領域の深度情報を用いて、画像情報の真正性を正確に推定することができる。従って、当人認証の精度向上を支援することが可能になる。
 本実施の形態によれば、処理領域の深度情報を用いて処理領域における凹凸の大きさを示す凹凸レベルを予め定められる凹凸基準と比較することによって、対象者の画像情報を照合処理に用いるか否かを判断する。
 測定条件に応じて、異なる処理領域の深度情報を用いて凹凸レベルを凹凸基準と比較することによって、画像情報の真正性を正確に推定することができる。従って、当人認証の精度向上を支援することが可能になる。
<<実施の形態2>>
 実施の形態1では、明度測定部107によって明度情報が生成されて、明度情報が示す明るさが照度基準を満たす場合に、深度取得部116が深度情報を測定装置101から取得する例を説明した。しかし、明度測定部107は当人認証支援システムに備えられなくてもよい。この場合、深度取得部116は、撮影環境の明るさなどに関わらず、深度情報を測定装置101から取得すればよい。
<当人認証支援システム200の構成>
 本発明の実施の形態2に係る当人認証支援システム200は、実施の形態1と同様に、対象者の当人認証を支援するシステムである。当人認証支援システム200は、図16に示すように、測定装置201と、当人認証支援装置202とを備える。
 測定装置201は明度測定部107を含まず、当人認証支援装置202は明度取得部113を含まない。これらの点を除いて、本実施の形態に係る測定装置201と当人認証支援装置202とは、機能的に、実施の形態1に係る測定装置101と当人認証支援装置102とのそれぞれと同様に構成されてよい。
 物理的には、本実施の形態に係る測定装置201は、物理的に照度センサ1080を備えなくてもよい(図示せず)。この点を除いて、測定装置201と当人認証支援装置202とは、実施の形態1に係る測定装置101と当人認証支援装置102とのそれぞれと同様に構成されてよい。
<当人認証支援システム200の動作>
(測定処理)
 当人認証支援システム200では、測定装置201によって測定処理が実行され、支援装置202によって当人認証支援処理が実行される。
 図17は、本発明の実施の形態2に係る測定処理のフローチャートの一例である。同図に示すように、本実施の形態に係る測定処理では、実施の形態1と同様のステップS101~S106の処理が実行される。そして、実施の形態1に係る測定情報生成処理(ステップS107)に代えて、測定情報生成処理(ステップS207)が実行される。
 図18は、測定情報生成処理(ステップS207)の一例を示すフローチャートである。同図に示すように、本実施の形態に係る測定情報生成処理(ステップS207)は、実施の形態1に係る測定情報生成処理(ステップS107)におけるステップS202の処理を含まない。すなわち、実施の形態1に係るステップS201及びS203と同様の処理が実行されと、通信部108は、測定処理に戻る。
 図17に示すように、通信部108は、読取り画像情報、画像情報、深度情報及び測定条件情報を送信して(ステップS208)、測定処理を終了する。
(当人認証支援処理)
 図19は、本発明の実施の形態2に係る当人認証支援処理のフローチャートの一例である。同図に示すように、本実施の形態に係る当人認証支援処理では、実施の形態1に係るステップS301の処理が実行されない。この点を除いて、本実施の形態に係る当人認証支援処理は、実施の形態1に係る当人認証支援処理と概ね同様である。
 本実施の形態によっても、対象者の顔を含む撮影領域SAの画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置101における深度の測定条件が取得される。そして、測定条件に応じて、撮影領域SAのうち深度情報の処理対象となる領域である処理領域が設定される。上記の測定条件で測定された、処理領域における深度を含む深度情報が取得されると、当該処理領域の深度情報に基づいて、対象者の画像情報を照合処理に用いるかが判断される。
 従って、実施の形態1と同様に、当人認証の精度向上を支援することが可能になる。
 また、本実施の形態によれば、明度測定部107によって測定される明るさ、照度基準に関連する効果を除いて、実施の形態1によるその他の効果と同様の効果を奏する。
 以上、図面を参照して本発明の一実施の形態及び変形例について説明したが、これらは本発明の例示であり、これらは、適宜変更されてもよい。
(変形例1:測定条件情報の変形例)
 実施の形態では測定条件情報が、OS情報である例により説明した。しかし、測定条件情報は、OS情報に限られず、例えば、深度センサ情報、API情報、機器情報、画像情報、環境情報、深度情報であってもよい。また、測定条件情報は、これらの例示した情報のうちの1つ又は複数を組み合わせたものであってもよい。
 深度センサ情報は、深度測定部106を構成する深度センサを識別するための情報であり、例えば、深度センサの種類(製造メーカ、型番、品番など)、深度センサの測定方式などを示す。
 API情報は、利用可能なAPI(Application Programming Interface)を識別するための情報である。APIは、OSの機能を利用するための関数である。
 機器情報は、測定装置101として採用される機器を識別するための情報であり、例えば、当該機器の種類(製造メーカ、型番、品番など)、当該機器の生産時期などを示す。
 深度センサ情報、API情報、機器情報は、測定装置101に含まれる記憶部(不図示)に予め記憶されるとよい。
 環境情報は、画像の撮影環境を示す情報であり、例えば、明度情報である。
 本変形例によっても実施の形態と同様の効果を奏する。
(変形例2:明度情報の変形例)
 実施の形態では、明度情報が明度測定部107によって生成される例を説明した。しかし、明度情報は、画像情報に基づいて、画像情報が示す画像の明るさを示す情報であってもよく、この場合の明度情報は、例えば照合判断部117や深度取得部116などによって画像情報に基づいて求められてもよい。この場合、明度情報は、例えば画像情報に含まれる各画素の輝度の平均値を求めることによって取得されるとよい。
 本変形例によっても実施の形態と同様の効果を奏する。
(変形例3:測定条件-精度データ及び領域設定部の変形例)
 実施の形態では、測定条件-精度データ114aの精度情報が、深度の測定精度に応じた値を示す例により説明したが、精度情報は、上述の通り、深度の測定精度を示す情報であればよい。
 例えば、図20の測定条件-精度データ114bに示すように、精度情報には、深度の測定精度の代わりに、当該測定精度が高いか低いかを示す情報が設定されてもよい。この場合、領域設定部115は、精度判断部120を含まなくてもよく、測定条件-精度データ114aにおいて測定条件情報に対応付けられた精度情報に応じて処理領域を設定するとよい。
 本変形例によっても実施の形態と同様の効果を奏する。
(変形例4:深度取得部の第1変形例)
 実施の形態1では、照度センサによって測定される明るさが照度基準を満たす場合に、深度取得部116が撮像領域SAの深度情報を取得する例を説明した。しかし、深度取得部が撮像領域SAの深度情報を取得する場合は、これに限られない。
 例えば、深度取得部は、画像情報が示す画像の明るさが予め定められる照度基準を満たす場合に、撮像領域SAの深度情報を取得してもよい。この場合、明度情報が不要になるので、例えば測定装置101が明度測定部107を含まなくてもよい。
 本変形例によっても実施の形態と同様の効果を奏する。
(変形例5:深度取得部の第2変形例)
 実施の形態では、深度取得部116が撮影領域SA全体の深度を示す深度情報を測定装置101から取得する例を説明した。しかし、深度取得部は、領域設定部115によって設定された処理領域のみの深度を示す深度情報を測定装置101から取得してもよい。この場合、照合判断部は、深度取得部によって取得された深度情報に基づいて、対象者の画像情報を照合処理に用いるか否かを判断するとよい。
 本変形例によっても実施の形態と同様の効果を奏する。
(変形例6:凹凸レベルの第1変形例)
 実施の形態では、凹凸レベルが処理領域における凹凸の標準偏差の例により説明したが、凹凸レベルは、処理領域における凹凸の程度を示す指標であればよい。例えば、凹凸レベルは、処理領域における凹凸の平均値、凹凸の差の最大値などであってもよい。この場合、凹凸基準には、凹凸レベルに対応する値が設定されるとよい。
 また、凹凸レベルに採用される指標は、連続的な値に限られず、凹凸の程度を段階的に示す値、記号、アルファベットなどであってもよい。凹凸基準は、凹凸レベルと比較できるように、凹凸レベルに対応する値、記号、アルファベットなどが採用されるとよい。
 本変形例によっても実施の形態と同様の効果を奏する。
(変形例7:凹凸レベルの第2変形例)
 実施の形態では、凹凸レベルが処理領域における凹凸の標準偏差の例により説明したが、上述の通り凹凸レベルは、処理領域における凹凸の程度を示す指標であればよい。凹凸レベルは、例えば、処理領域における特定の領域における凹凸の最大値である。
 この場合の特定の領域は、処理領域において凹凸が他の領域よりも大きい領域である。例えば、深度の測定精度が高精度である場合の処理領域が顔領域FRである場合、特定の領域には、一般的に顔領域FRにおいて凹凸が他の領域よりも大きい領域である鼻領域が採用されるとよい。鼻領域は、鼻及びその周辺の領域である。
 鼻領域は、従来の画像処理技術を用いて特定されるとよい。例えば、従来の画像処理技術は、画像情報に含まれる画像の特徴量などを利用するものであってもよい。また例えば、従来の画像処理技術は、顔を含む画像から鼻領域を抽出するための学習済みの学習モデルを用い、顔を含む画像を入力として鼻領域を出力するものであってもよい。さらに例えば、鼻領域は、従来の画像処理技術によって特定される顔領域FRのサイズと目の位置とに基づいて特定されてもよい。
 なお、凹凸レベルは、例えば、処理領域における特定の領域における凹凸の最大値に応じた値、記号、アルファベットなどが指標として採用されてもよい。さらに、凹凸レベルには、凹凸に基づく指標に代えて、深度自体或いは深度自体に基づく指標が用いられてもよい。
 本変形例によっても実施の形態と同様の効果を奏する。
(変形例8:当人認証支援システムの構成の変形例1)
 実施の形態に係る当人認証支援システム100が、測定装置101と、当人認証支援装置102とを備え、測定装置101が、機能部103~107を含み、当人認証支援装置102が、機能部110~118を含む例を説明した(図1参照)。
 しかし、当人認証支援システムの全体として、機能部103~107及び110~118を含めばよく、例えば、測定装置が機能部110~118の一部又は全部を含んでもよい。
 また、当人認証支援装置302が、実施の形態1に係る測定装置101が備える機能部103~107を備えてもよい。図21は、このような変形例の1つである、変形例8に係る当人認証支援システム300の構成を示す。
 当人認証支援システム300は、当人認証支援装置302と、サーバ装置303とを備える。当人認証支援装置302とサーバ装置303とは、有線、無線又はこれらを適宜組み合わせて構成されるネットワークを介して互いに情報を送受信可能に接続されている。
 当人認証支援装置302は機能的に、実施の形態1と同様の入力部103、表示部104、読取り部105、深度測定部106及び明度測定部107を含む。また、当人認証支援装置302は機能的に、実施の形態と同様の支援装置102は、機能的に、読取り画像取得部110、画像情報取得部111、測定条件取得部112、明度取得部113、データ記憶部114、領域設定部115、深度取得部116及び照合判断部117を含む。
 ただし、当人認証支援装置302に含まれる各機能部103~107及び110~117は、実施の形態にてネットワークを介して情報を送受信する代わりに、内部バスを介して相互に情報を出力し取得するとよい。
 当人認証支援装置302は、さらに、実施の形態に係る通信部108に代わる通信部308を含む。通信部308はサーバ装置303との間で、互いに情報を送受信する。本変形例に係る通信部308は、例えば、対象者の指示に応じて、又は、当人認証支援装置202での処理が終了すると、画像情報、読取り画像情報をサーバ装置303へ送信する。
 サーバ装置303は、実施の形態と同様の認証部118を含む。
 当人認証支援装置302は、物理的には図6を参照して説明した構成を備えるとよい。サーバ装置332は、物理的には図7を参照して説明した構成を備えるとよい。
 当人認証支援装置302とサーバ装置303との各機能部は、実施の形態1において対応する機能部が実行する処理(すなわち、図8,13などを参照して説明した処理)と同様の処理を実行するとよい。なお、本変形例においても、実施の形態2と同様に、明度測定部107及び明度取得部113が当人認証支援装置302に備えられなくてもよい。
 本変形例によっても実施の形態と同様の効果を奏する。
(変形例9:当人認証支援システムの構成の変形例2)
 当人認証支援システムは、測定装置101,201やサーバ装置303を備えず、当人認証支援装置によって構成されてもよい。
 図22は、変形例9に係る当人認証支援装置402の機能的な構成を示す図である。
 同図に示すように、本変形例に係る当人認証支援装置402は機能的に、実施の形態1と同様の入力部103、表示部104、読取り部105、深度測定部106及び明度測定部107を含む。また、当人認証支援装置402は機能的に、読取り画像取得部110、画像情報取得部111、測定条件取得部112、明度取得部113、データ記憶部114、領域設定部115、深度取得部116、照合判断部117及び認証部118を含む。
 当人認証支援装置402に含まれる各機能部103~107及び110~118は、実施の形態にてネットワークを介して情報を送受信する代わりに、内部バスを介して相互に情報を出力し取得するとよい。そのため、当人認証支援装置402は、図22に示すように通信部108を備えなくてもよい。
 当人認証支援装置402は、物理的には図6を参照して説明した構成を備えるとよい。
 当人認証支援装置402の各機能部は、実施の形態1において対応する機能部が実行する処理(すなわち、図8,13などを参照して説明した処理)と同様の処理を実行するとよい。なお、本変形例においても、実施の形態2と同様に、明度測定部107及び明度取得部113が当人認証支援装置402に備えられなくてもよい。
 本変形例によっても実施の形態と同様の効果を奏する。
(変形例10:読取り部105の変形例)
 例えば、読取り部105は、カメラに限らず、スキャナなどで構成されて、本人確認書類を読み取ってもよい。
 また例えば、読取り部105は、OCR(Optical Character Reader)機能をさらに含んで構成されてもよく、この場合、対象者を識別するための情報は、対象者によって入力される代わりに、本人確認書類を読み取った画像からOCR機能を用いて取得されてもよい。
 さらに例えば、読取り部105は、IC(Integrated Circuit)チップに保持された情報を当該ICチップから読み取るリーダであってもよい。この場合、本人確認書類は、読取り画像Mを含む情報を予め保持したICチップを含み、読取り部105は、本人確認書類のICチップから情報を読み取るとよい。また、ICチップには、対象者を識別するための情報がさらに保持されてもよく、この場合、対象者を識別するための情報は、対象者によって入力される代わりに、ICチップから情報を読み取ることによって取得されてもよい。
 さらに、上述の説明で用いた流れを示す図では、複数の工程(処理)が順番に記載されているが、これらの工程の実行順序は、その記載の順番に制限されない。これらの工程の順番は、内容的に支障のない範囲で変更されてもよい。また、上述の一実施の形態及び変形例は、内容が相反しない範囲で組み合わされてもよい。
 上記の実施の形態の一手段または全手段は、以下の付記のようにも記載されうるが、以下に限られない。
 1.対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置における深度の測定条件を取得する測定条件取得手段と、
 前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定する領域設定手段と、
 前記測定条件で測定された、前記処理領域における深度を含む深度情報を取得する深度取得手段と、
 前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断する照合判断手段とを備える
 当人認証支援システム。
2.前記深度取得手段は、前記画像情報が示す画像の明るさが予め定められる照度基準を満たす場合に、前記撮像領域の前記深度情報を取得する
 上記1に記載の当人認証支援システム。
3.前記深度取得手段は、照度センサによって測定される明るさが予め定められる照度基準を満たす場合に、前記撮像領域の前記深度情報を取得する
 上記1に記載の当人認証支援システム。
4.前記照度基準は、前記明るさの上限及び下限を含む
 上記2又は3に記載の当人認証支援システム。
5.前記測定条件は、前記深度情報を測定する深度センサを識別するための情報、前記測定装置にて動作するオペレーティングシステムを識別するための情報、当該深度センサを搭載した機器を識別するための情報、利用可能なAPIを識別するための情報、前記測定装置として採用される機器を識別するための情報の少なくとも1つである
 上記1から4のいずれか1つに記載の当人認証支援システム。
6.前記領域設定手段は、
 前記測定条件に基づいて、前記深度の測定精度が高精度であるか否かを判断する精度判断手段と、
 前記測定精度が高精度である場合に、前記測定精度が高精度でない場合よりも狭い処理領域を設定する設定手段とを含む
 上記1から5のいずれか1つに記載の当人認証支援システム。
7.前記測定精度が高精度である場合の処理領域は、前記対象者の鼻に対応する領域を含む
 上記6に記載の当人認証支援システム。
8.前記深度取得手段は、前記設定手段によって設定された処理領域の深度情報を取得し、
 前記照合判断手段は、前記深度取得手段によって取得された深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断する
 上記6又は7に記載の当人認証支援システム。
9.前記深度取得手段は、前記撮影領域の深度情報を取得し、
 前記照合判断手段は、
 前記深度取得手段によって取得された深度情報の中から、前記設定手段によって設定された処理領域の深度情報を抽出する抽出手段と、
 前記抽出手段によって抽出された深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断する判断手段とを含む
 上記6又は7に記載の当人認証支援システム。
10.前記照合判断手段は、前記処理領域の深度情報を用いて当該処理領域における凹凸の大きさを示す凹凸レベルを予め定められる凹凸基準と比較することによって、前記対象者の画像情報を照合処理に用いるか否かを判断する
 上記1から9のいずれか1つに記載の当人認証支援システム。
11.対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置と、
 前記測定装置における深度の測定条件を取得する測定条件取得手段と、
 前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定する領域設定手段と、
 前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断する照合判断手段とを備える
 当人認証支援装置。
12.コンピュータが、
 対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置における深度の測定条件を取得することと、
 前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定することと、
 前記測定条件で測定された、前記処理領域における深度を含む深度情報を取得することと、
 前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断することとを含む当人認証支援方法。
13.コンピュータに、
 対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置における深度の測定条件を取得することと、
 前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定することと、
 前記測定条件で測定された、前記処理領域における深度を含む深度情報を取得することと、
 前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断することとを実行させるためのプログラム。
  100,200,300 当人認証支援システム
  101,201 測定装置
  102,202,302 当人認証支援装置
  103 入力部
  104 表示部
  105 読取り部
  106 深度測定部
  107 明度測定部
  108,308 通信部
  SA 撮影領域
  MP 測定点
  110 読取り画像取得部
  111 画像情報取得部
  112 測定条件取得部
  113 明度取得部
  114 データ記憶部
  114a,114b 測定条件-精度データ
  115 領域設定部
  116 深度取得部
  117 照合判断部
  118 認証部
  120 精度判断部
  121 設定部
  130 抽出部
  131 判断部
  FR 顔領域
  332 サーバ装置

Claims (13)

  1.  対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置における深度の測定条件を取得する測定条件取得手段と、
     前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定する領域設定手段と、
     前記測定条件で測定された、前記処理領域における深度を含む深度情報を取得する深度取得手段と、
     前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断する照合判断手段とを備える
     当人認証支援システム。
  2.  前記深度取得手段は、前記画像情報が示す画像の明るさが予め定められる照度基準を満たす場合に、前記撮像領域の前記深度情報を取得する
     請求項1に記載の当人認証支援システム。
  3.  前記深度取得手段は、照度センサによって測定される明るさが予め定められる照度基準を満たす場合に、前記撮像領域の前記深度情報を取得する
     請求項1に記載の当人認証支援システム。
  4.  前記照度基準は、前記明るさの上限及び下限を含む
     請求項2又は3に記載の当人認証支援システム。
  5.  前記測定条件は、前記深度情報を測定する深度センサを識別するための情報、前記測定装置にて動作するオペレーティングシステムを識別するための情報、当該深度センサを搭載した機器を識別するための情報、利用可能なAPIを識別するための情報、前記測定装置として採用される機器を識別するための情報の少なくとも1つである
     請求項1から4のいずれか1項に記載の当人認証支援システム。
  6.  前記領域設定手段は、
     前記測定条件に基づいて、前記深度の測定精度が高精度であるか否かを判断する精度判断手段と、
     前記測定精度が高精度である場合に、前記測定精度が高精度でない場合よりも狭い処理領域を設定する設定手段とを含む
     請求項1から5のいずれか1項に記載の当人認証支援システム。
  7.  前記測定精度が高精度である場合の処理領域は、前記対象者の鼻に対応する領域を含む
     請求項6に記載の当人認証支援システム。
  8.  前記深度取得手段は、前記設定手段によって設定された処理領域の深度情報を取得し、
     前記照合判断手段は、前記深度取得手段によって取得された深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断する
     請求項6又は7に記載の当人認証支援システム。
  9.  前記深度取得手段は、前記撮影領域の深度情報を取得し、
     前記照合判断手段は、
     前記深度取得手段によって取得された深度情報の中から、前記設定手段によって設定された処理領域の深度情報を抽出する抽出手段と、
     前記抽出手段によって抽出された深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断する判断手段とを含む
     請求項6又は7に記載の当人認証支援システム。
  10.  前記照合判断手段は、前記処理領域の深度情報を用いて当該処理領域における凹凸の大きさを示す凹凸レベルを予め定められる凹凸基準と比較することによって、前記対象者の画像情報を照合処理に用いるか否かを判断する
     請求項1から9のいずれか1項に記載の当人認証支援システム。
  11.  対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置と、
     前記測定装置における深度の測定条件を取得する測定条件取得手段と、
     前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定する領域設定手段と、
     前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断する照合判断手段とを備える
     当人認証支援装置。
  12.  コンピュータが、
     対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置における深度の測定条件を取得することと、
     前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定することと、
     前記測定条件で測定された、前記処理領域における深度を含む深度情報を取得することと、
     前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断することとを含む当人認証支援方法。
  13.  コンピュータに、
     対象者の顔を含む撮影領域の画像を示す画像情報及び深度を示す深度情報を生成可能な測定装置における深度の測定条件を取得することと、
     前記測定条件に応じて、前記撮影領域のうち前記深度情報の処理対象となる領域である処理領域を設定することと、
     前記測定条件で測定された、前記処理領域における深度を含む深度情報を取得することと、
     前記処理領域の深度情報に基づいて、前記対象者の画像情報を照合処理に用いるか否かを判断することとを実行させるためのプログラム。 
PCT/JP2021/015012 2021-04-09 2021-04-09 当人認証支援、当人認証支援方法及びプログラム WO2022215248A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023512623A JP7460016B2 (ja) 2021-04-09 2021-04-09 当人認証支援システム、当人認証支援方法及びプログラム
PCT/JP2021/015012 WO2022215248A1 (ja) 2021-04-09 2021-04-09 当人認証支援、当人認証支援方法及びプログラム
US18/273,149 US20240104964A1 (en) 2021-04-09 2021-04-09 Person authentication support system, person authentication support method, and non-transitory storage medium
JP2024045039A JP2024075700A (ja) 2021-04-09 2024-03-21 情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/015012 WO2022215248A1 (ja) 2021-04-09 2021-04-09 当人認証支援、当人認証支援方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2022215248A1 true WO2022215248A1 (ja) 2022-10-13

Family

ID=83545801

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015012 WO2022215248A1 (ja) 2021-04-09 2021-04-09 当人認証支援、当人認証支援方法及びプログラム

Country Status (3)

Country Link
US (1) US20240104964A1 (ja)
JP (2) JP7460016B2 (ja)
WO (1) WO2022215248A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208407A (ja) * 2002-01-10 2003-07-25 Omron Corp 生体情報登録装置、生体情報を利用した個人認証システム、および生体情報登録方法
JP2005293350A (ja) * 2004-04-01 2005-10-20 Mitsubishi Electric Corp 3次元物体照合装置
JP2007156541A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 人物認識装置、人物認識方法および入退場管理システム
JP2009199392A (ja) * 2008-02-22 2009-09-03 Oki Electric Ind Co Ltd 虹彩認証方法及び虹彩認証装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208407A (ja) * 2002-01-10 2003-07-25 Omron Corp 生体情報登録装置、生体情報を利用した個人認証システム、および生体情報登録方法
JP2005293350A (ja) * 2004-04-01 2005-10-20 Mitsubishi Electric Corp 3次元物体照合装置
JP2007156541A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 人物認識装置、人物認識方法および入退場管理システム
JP2009199392A (ja) * 2008-02-22 2009-09-03 Oki Electric Ind Co Ltd 虹彩認証方法及び虹彩認証装置

Also Published As

Publication number Publication date
JPWO2022215248A1 (ja) 2022-10-13
US20240104964A1 (en) 2024-03-28
JP7460016B2 (ja) 2024-04-02
JP2024075700A (ja) 2024-06-04

Similar Documents

Publication Publication Date Title
JP7040457B2 (ja) 画像処理装置、画像処理方法、顔認証システム及びプログラム
US10205883B2 (en) Display control method, terminal device, and storage medium
JP6550094B2 (ja) 認証装置および認証方法
JP4899551B2 (ja) 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体
JP6005750B2 (ja) 認証装置、及び認証方法
JP7269711B2 (ja) 生体認証システム、生体認証方法およびプログラム
TW201401186A (zh) 人臉判斷系統以及方法
JP2007272501A (ja) 生体情報認証装置および認証方法
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
KR20140126400A (ko) 바이오메트릭 및 바이오그래픽 데이터를 획득하기 위한 스테이션
JP2008287428A (ja) 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
KR20150069799A (ko) 얼굴 인증 방법 및 그 장치
US11568681B2 (en) Iris authentication device, iris authentication method and recording medium
JP2011150497A (ja) 人物認証装置、人物認証方法、およびそのソフトウェアプログラム
JP4840978B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2008287432A (ja) 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
WO2021166289A1 (ja) データ登録装置、生体認証装置、および記録媒体
JP2015129997A (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
JP2013190934A (ja) 窓口認証システム、窓口認証サーバー、プログラムおよび窓口認証方法
WO2022215248A1 (ja) 当人認証支援、当人認証支援方法及びプログラム
JP2009211357A (ja) バイオメトリクス認証情報登録方法および装置ならびにバイオメトリクス認証方法および装置
TW201020938A (en) System and method for identifying irises
JP4694352B2 (ja) 指紋照合装置
JP2019191898A (ja) 本人認証システム、方法およびプログラム
CN110088765B (zh) 对照装置和对照方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21936052

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023512623

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18273149

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21936052

Country of ref document: EP

Kind code of ref document: A1