WO2021084662A1 - 照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents
照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- WO2021084662A1 WO2021084662A1 PCT/JP2019/042675 JP2019042675W WO2021084662A1 WO 2021084662 A1 WO2021084662 A1 WO 2021084662A1 JP 2019042675 W JP2019042675 W JP 2019042675W WO 2021084662 A1 WO2021084662 A1 WO 2021084662A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- collation
- feature
- face
- image
- person
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
Definitions
- the present invention relates to a collation support device and a collation support method that support collation, and further relates to a computer-readable recording medium that records a program for realizing these.
- a collation device has been proposed in which a face image of a target person is collated with a pre-registered face image, and the target person is identified based on the collation result.
- Patent Document 1 discloses an authentication system capable of performing authentication with high accuracy when authenticating the identity of a person.
- the certification system of Patent Document 1 the feature region corresponding to the individual feature region (mole, scratch, wrinkle) is automatically detected from the image of the person to be certified, and the feature amount of the detected feature region is recognized. Authentication is executed using the recognized feature quantity.
- Patent Document 1 uses a pre-registered face image, if the face orientation of the registered face image and the face orientation of the person to be imaged are different, matching may not be possible. is there. For example, when the face of the person to be imaged is not facing the front, the position of the individual feature portion to be seen changes due to the influence of the unevenness of the face, so that the face image facing the front must always be used.
- An example of an object of the present invention is a collation support device, a collation support method, and a computer that can collate by designating features that can be seen on the skin surface of the face of a person to be collated according to the orientation of the face of the captured image.
- the purpose is to provide a readable recording medium.
- the collation support device in one aspect of the present invention is The skin of the person to be collated using the reference face development image display area for displaying the reference face development image generated based on the three-dimensional data of the reference head displayed on the screen of the display device.
- a generation means that generates feature information about the feature area and a generation means.
- a collation means for collating the feature information with the collation information associated with the collation face development image for each person registered in advance and the collation feature area.
- the collation support method in one aspect of the present invention is: (A) The reference face development image display area for displaying the reference face development image generated based on the three-dimensional data of the reference head displayed on the screen of the display device is used as a collation target. When a feature area representing the facial features of the person to be collated, which can be seen on the skin surface of the person, is specified, feature information regarding the feature area is generated. (B) The feature information is collated with the collation information in which the pre-registered face development image for collation for each person and the collation feature area are associated with each other. (C) It is characterized in that a candidate person is selected based on the collation result.
- a computer-readable recording medium on which a program according to one aspect of the present invention is recorded is provided.
- the reference face development image display area for displaying the reference face development image generated based on the three-dimensional data of the reference head displayed on the screen of the display device is used as a collation target.
- a feature area representing the facial features of the person to be collated which can be seen on the skin surface of the person, is specified, a step of generating feature information about the feature area, and
- B A step of collating the feature information with the collation information associated with the collation face development image for each person registered in advance and the collation feature area.
- C A step to select a candidate person based on the collation result, and It is characterized in that it records a program containing an instruction to execute.
- collation can be performed by designating the features visible on the skin surface of the face of the person to be collated according to the orientation of the face of the captured image.
- FIG. 1 is a diagram for explaining an example of a collation support device.
- FIG. 2 is a diagram for explaining a user interface used for collation support.
- FIG. 3 is a diagram for explaining an example of a system having a collation support device.
- FIG. 4 is a diagram for explaining an example of displaying a candidate face image.
- FIG. 5 is a diagram for explaining an example of the operation of the collation support device.
- FIG. 6 is a diagram for explaining an example of a system having a collation support device.
- FIG. 7 is a diagram for explaining a user interface used for collation support.
- FIG. 8 is a diagram for explaining an example of a display in which a feature area on the reference face three-dimensional image is converted into a feature area on the reference face development image face image.
- FIG. 8 is a diagram for explaining an example of a display in which a feature area on the reference face three-dimensional image is converted into a feature area on the reference face development image face image.
- FIG. 9 is a diagram for explaining an example of displaying a candidate face image.
- FIG. 10 is a diagram for explaining an example of displaying a candidate face image.
- FIG. 11 is a diagram for explaining an example of the operation of the collation support device.
- FIG. 12 is a diagram for explaining an example of a computer that realizes a collation support device.
- FIG. 1 is a diagram for explaining an example of a collation support device.
- FIG. 2 is a diagram for explaining a user interface used for collation support.
- the collation support device 10 shown in FIG. 1 specifies features that can be seen on the skin surface of the face of the person to be collated according to the orientation of the face of the captured image, and uses a feature area corresponding to the designated features. It is a device that supports collation. Further, as shown in FIG. 1, the collation support device 10 includes a generation unit 11, a collation unit 12, and a selection unit 13.
- the generation unit 11 uses the reference face development image display area for displaying the reference face development image generated based on the three-dimensional data of the reference head displayed on the screen of the display device. , When a feature area representing the facial features of the person to be collated that can be seen on the skin surface of the person to be collated is specified, feature information regarding the feature area is generated.
- the reference head is a head created by CG (Computer Graphics) based on the data of one or more heads measured or imaged in the past. Further, the reference head may be created based on the head of a specific person measured or imaged in the past.
- CG Computer Graphics
- the reference face development image display area is, for example, an area for displaying the reference face development image 43 on the user interface 40 shown in FIG.
- the reference face development image 43 is a development image of a face projected in a cylindrical shape by, for example, performing UV development processing using the three-dimensional data of the reference head stored in the storage device 21 in advance.
- the creation of the developed image of the face is not limited to the above-mentioned cylindrical projection.
- the reference face development image 43 is displayed in the window 44.
- the configuration of the display screen is not limited to FIG.
- the facial features of a person include, for example, moles, freckles, tattoos, bruises, wrinkles, dimples, scratches, bruises, bumps, uneven skin, discolored parts of the skin, and other parts that represent the characteristics of the person on the skin surface.
- this mole 51 is a feature.
- the feature area is an area corresponding to the feature recognized by the user with a mark attached on the reference face development image by the user after the user recognizes the feature of the person's face.
- the region corresponding to the mark (x) on the reference face development image 43 is the feature region 52.
- a region having no features on the face of a person may be used as a feature region.
- the feature information includes, for example, texture information, position information, size information, shape information, feature type information indicating the type of feature, and the like regarding the designated feature area 52.
- the collation unit 12 collates the feature information with the collation information associated with the collation face development image for each person registered in advance and the collation feature area.
- the selection unit 13 selects a candidate person based on the collation result.
- the face development image for collation is a face development image generated based on three-dimensional data of the head of each of a plurality of persons registered in advance.
- the collation feature area is a feature area that is registered in advance and represents a feature that can be seen on the skin surface of the head of each of a plurality of persons.
- the user observes the collated image 41 and the user designates the feature area 52 on the reference face development image 43, so that the person in the collated image 41 does not face the front.
- the designated feature area 52 can be used to provide collation support that leads to the identification of the person to be collated.
- the collation support is a process of selecting a person having a feature at the same position as the person to be collated by using the feature area 52 designated on the reference face development image 43.
- the influence of the unevenness of the face due to the change in the face orientation can be reduced, so that even if the position for only the mole 51 changes, the user can use it.
- the feature region 52 corresponding to the mole 51 can be easily designated on the reference face development image 43.
- FIG. 3 is a diagram for explaining an example of a system having a collation support device.
- the system in the present embodiment includes a collation support device 10, an image pickup device 20, a storage device 21, an input device 22, and a display device 30.
- the system may be a monitoring system, an authentication system, or the like.
- the collation support device 10 in FIG. 3 in addition to the generation unit 11, the collation unit 12, and the selection unit 13, the first display information generation unit 61, the second display information generation unit 62, and the user interface display information It has a generation unit 63, a candidate face image display information generation unit 64, a detection unit 14, and an association unit 15.
- the collation support device 10 is, for example, an information processing device such as a server computer, a personal computer, or a mobile terminal equipped with a CPU (Central Processing Unit), an FPGA (Field-Programmable Gate Array), or both.
- a CPU Central Processing Unit
- FPGA Field-Programmable Gate Array
- the imaging device 20 is a device for imaging the face of a person to be collated. Specifically, the image pickup device 20 transmits the captured image to the collation support device 10 via the communication network.
- the image pickup device 20 is, for example, an image pickup device such as a camera.
- the storage device 21 stores the above-mentioned reference three-dimensional data of the head and collation information.
- the matching information is information in which the matching face development image and the matching feature area are associated with each other.
- the collation face development image is a face development image generated based on three-dimensional data of the head of each of a plurality of persons registered in advance.
- the collation feature area is a feature area that is registered in advance and represents a feature that can be seen on the skin surface of the head of each of a plurality of persons.
- the reference face development image, the reference face three-dimensional image, or both of them may be stored in the storage device 21 in advance.
- the storage device 21 transmits the three-dimensional data of the reference head to the collation support device 10 via the communication network.
- the storage device 21 transmits the reference face development image to the collation support device 10.
- the storage device 21 collates the matching face development image corresponding to the selected person with the matching information associated with the matching feature area via the communication network. It is transmitted to the support device 10.
- the storage device 21 is, for example, a storage device such as a database.
- information such as the above-mentioned reference three-dimensional data of the head and collation information may be stored separately in a plurality of storage devices. Further, the storage device 21 may be provided inside the collation support device 10 or may be provided outside.
- the input device 22 is, for example, a physical user interface such as a mouse, a touch panel, and a keyboard. Specifically, the input device 22 is used when the user provides collation support using the user interface displayed on the display device 30.
- the display device 30 acquires various display information and displays the generated image or the like on the screen based on the display information.
- the display device 30 is, for example, a device using a liquid crystal, an organic EL (ElectroLuminescence), or a CRT (Cathode Ray Tube). Further, the display device 30 may include an audio output device such as a speaker.
- the display device 30 may be a printing device such as a printer.
- the collation support device will be described.
- the first display information generation unit 61 generates the first display information for displaying the first display area for displaying the collated image captured by the image pickup device 20 on the screen of the display device 30. ..
- the first display area is, for example, an area for displaying the collated image 41 on the user interface 40 shown in FIG.
- the collated image 41 is a frame image of a still image or a moving image.
- the collation image 41 is displayed in the window 42.
- the configuration of the display screen is not limited to FIG.
- the first display information generation unit 61 acquires an image of a person captured by the image pickup device 20. Subsequently, the first display information generation unit 61 generates the first display information for displaying the collation image 41 as shown in FIG. 2 on the screen of the display device 30 based on the acquired image. .. After that, the first display information generation unit 11 transmits the first display information to the display device 30.
- the second display information generation unit 62 sets the reference face development image display area (second display area) for displaying the reference face development image based on the three-dimensional data of the reference head of the display device 30. Generate a second display information to be displayed on the screen.
- the second display area is, for example, an area for displaying the reference face development image 43 on the user interface 40 shown in FIG.
- the reference face development image 43 is a development image of a face projected in a cylindrical shape by, for example, performing UV development processing using the three-dimensional data of the reference head stored in the storage device 21 in advance.
- the creation of the developed image of the face is not limited to the above-mentioned cylindrical projection.
- the reference face development image 43 is displayed in the window 44.
- the configuration of the display screen is not limited to FIG.
- the second display information generation unit 62 acquires the three-dimensional data of the reference head from the storage device 21.
- the second display information generation unit 62 generates a reference face development image using the three-dimensional data of the reference head. Subsequently, based on the generated reference face development image, second display information for displaying the reference face development image 43 as shown in FIG. 2 on the screen of the display device 30 is generated. After that, the second display information generation unit 62 transmits the second display information to the display device 30.
- the second display information generation unit 62 may acquire the reference face development image directly from the storage device 21.
- the user interface display information generation unit 63 makes the user refer to the first display area and displays the first user interface for designating the feature area as the second display area on the screen of the display device 30. Generate the first user interface display information for.
- the user interface display information generation unit 63 displays the user interface 40 as shown in FIG. 2 as the first user interface, and causes the user to specify a feature area on the reference face development image.
- the first user interface corresponds to the user interface 40 in the example of FIG.
- the feature area 52 is drawn (when specified) using the user interface 40 and the input device 22 which is a physical user interface such as a mouse, a touch panel, and a keyboard, it is displayed on the user interface 40.
- the “Add” button 45 is selected, the drawn feature area 52 is added to the reference face development image 43.
- the user may observe one collated image and specify a plurality of feature areas on the reference face development image. Further, the user may observe a plurality of collated images (plurality of frame images) having different face orientations and specify one or more feature regions on the reference face development image. For example, one or more feature regions may be designated on the reference face development image by observing a plurality of collated images having different face orientations. By doing so, the position of the feature region becomes accurate and the number of feature regions can be increased, so that the collation accuracy is improved.
- an "add” button 45 a “delete” button 46, a “save” button 47, a “feature extraction” button 48, an "enlargement / reduction” button 49, and the like. ..
- the “Add” button 45 the feature area 52 drawn on the reference face development image 43 can be added.
- the "Delete” button 46 the feature area 52 drawn on the reference face development image 43 can be deleted.
- feature information for example, texture information, position information, size information, shape information, feature type information indicating the type of feature, etc.
- feature information for example, texture information, position information, size information, shape information, feature type information indicating the type of feature, etc.
- the editing function is not limited to the above-mentioned function.
- the generation unit 11 is a reference face development image display area (second display) for displaying a reference face development image displayed on the screen of the display device 30 based on the three-dimensional data of the reference head. Area) is used to generate characteristic information about the characteristic area when a characteristic area representing the facial features of the person to be collated that can be seen on the skin surface of the person to be collated is specified.
- the generation unit 11 first uses the first user interface to generate feature information for each of the designated feature regions when one or more feature regions are designated for the reference face development image. .. After that, the generation unit 11 outputs the feature information to the collation unit 12.
- the generation unit 11 uses the user interface 40 to generate the feature information of the designated feature region 52 when the feature region 52 is designated for the reference face development image 43.
- the collation unit 12 collates the feature information with the collation information associated with the collation face development image for each person registered in advance and the collation feature area. Specifically, the collation unit 12 first acquires feature information from the generation unit 11. Subsequently, the collation unit 12 refers to each of the collation information stored in the storage device 21 by using the acquired feature information, executes a collation process, and calculates a collation result. After that, the collation unit 12 associates the collation information with the calculated collation result.
- the matching process for example, the number in which the position of the specified feature area and the position of the matching feature area are approximated, or the deviation (distance) between the position of the specified feature area and the position of the matching feature area, or , They are combined to calculate a collation index (score) as a collation result.
- the collation index may be calculated using the mutual positional relationship of the plurality of feature regions and the mutual positional relationship of the plurality of collation feature regions.
- the collation index includes, for example, the Euclidean distance between the two position coordinates of the specified feature area and the collation feature area, the similarity due to the normalization correlation of the texture information of the two feature areas, or the overlapping area of the two feature areas. Can be used.
- the selection unit 13 selects a candidate person based on the collation result. Specifically, the selection unit 13 selects collation information whose collation index is equal to or greater than a preset threshold value. Subsequently, the selection unit 13 outputs the selected collation information to the candidate face image display information generation unit 64.
- the candidate face image display information generation unit 64 includes the feature area designated by using the first user interface, and the matching information in which the matching face development image for each person registered in advance and the matching feature area are associated with each other.
- the matching face development image corresponding to the selected candidate person is displayed on the screen of the display device 30 together with the matching feature area. Generate candidate face image display information.
- FIG. 4 is a diagram for explaining an example of displaying a candidate face image.
- the candidate face image display information generation unit 64 corresponds to the selected candidate person from the storage device 21. Acquires the matching information in which the matching face development image and the matching feature area are associated with each other.
- the candidate face image display information generation unit 64 displays the matching face development image 71 and the matching feature area 73 as shown in the window 72 of FIG. 4 on the display device 30 based on the acquired matching information. Generate candidate face image display information to be displayed on the screen. After that, the candidate face image display information generation unit 64 transmits the candidate face image display information to the display device 30.
- the face development images for matching are displayed in order according to the matching result.
- the collation index (score) represented by the collation result is displayed in descending order.
- the detection unit 14 automatically detects the feature area from the image including the face of the person to be collated displayed on the screen of the display device 30. Specifically, the detection unit 14 uses the collation image to perform facial features of a person (for example, moles, freckles, tattoos, wrinkles, wrinkles, dimples, scratches, warts, bumps, uneven skin, and discolored skin.
- the characteristic area corresponding to the characteristic of a person visible on the skin surface such as is automatically detected.
- a technique such as segmentation processing.
- the association unit 15 may automatically associate the position of the detected feature area with the corresponding position of the reference face development image.
- the association may be automatically associated with the corresponding position of the reference face development image from the relative positional relationship with the face parts such as eyes, nose, and mouth.
- FIG. 5 is a diagram for explaining an example of the operation of the collation support device.
- FIGS. 1 to 4 will be referred to as appropriate.
- the collation support method is implemented by operating the collation support device. Therefore, the description of the collation support method in the present embodiment is replaced with the following operation description of the collation support device.
- the first display information generation unit 61 causes the screen of the display device 30 to display the first display area for displaying the collation image captured by the image pickup device 20.
- First display information for the purpose is generated (step A1). Specifically, in step A1, the first display information generation unit 61 acquires an image of a person captured by the imaging device 20.
- step A1 the first display information generation unit 61 displays the collation image 41 as shown in FIG. 2 on the screen of the display device 30 based on the acquired image. Generate information. After that, in step A1, the first display information generation unit 61 transmits the first display information to the display device 30.
- the second display information generation unit 62 displays a second display area for displaying the reference face development image on the screen of the display device 30 based on the three-dimensional data of the reference head.
- the second display information is generated (step A2). Specifically, in step A2, the second display information generation unit 62 acquires three-dimensional data of the reference head from the storage device 21.
- step A2 the second display information generation unit 62 generates a reference face development image using the three-dimensional data of the reference head. Subsequently, in step A2, the second display information generation unit 62 displays the reference face development image 43 as shown in FIG. 2 on the screen of the display device 30 based on the generated reference face development image. Generates the second display information of. After that, in step A2, the second display information generation unit 62 transmits the second display information to the display device 30.
- the second display information generation unit 62 may acquire the reference face development image directly from the storage device 21.
- step A1 and step A2 described above may be reversed, or the processes may be executed in parallel.
- the user interface display information generation unit 63 makes the user refer to the first display area, and sets the first user interface for designating the feature area as the second display area on the screen of the display device 30. Generates the first user interface display information to be displayed in (step A3).
- the user interface display information generation unit 63 displays the user interface 40 as shown in FIG. 2 as the first user interface, and causes the user to display the feature area on the reference face development image. To specify.
- the user may observe one collated image and specify a plurality of feature areas on the reference face development image. Further, the user may observe a plurality of collated images (plurality of frame images) having different face orientations and specify one or more feature regions on the reference face development image. For example, one or more feature regions may be designated on the reference face development image by observing a plurality of collated images having different face orientations. By doing so, the position of the feature region becomes accurate, and the number of feature regions can be increased.
- the feature area may be specified automatically.
- the detection unit 14 automatically detects the feature area from the image including the face of the person to be collated displayed on the screen of the display device 30, and the association unit 15 determines the position of the detected feature area. It is automatically associated with the corresponding position of the reference face development image.
- the generation unit 11 uses a second display area for displaying the reference face development image generated based on the three-dimensional data of the reference head, which is displayed on the screen of the display device 30.
- a feature area representing the facial features of the person to be collated that can be seen on the skin surface of the person to be collated is specified, feature information regarding the feature area is generated (step A4).
- step A4 when one or more feature regions are designated in the reference face development image by using the first user interface, the generation unit 11 first features each of the designated feature regions. Generate information. After that, in step A4, the generation unit 11 outputs the feature information to the collation unit 12.
- the generation unit 11 uses the user interface 40 to generate the feature information of the designated feature region 52 when the feature region 52 is designated for the reference face development image 43.
- the collation unit 12 collates the feature information with the collation information associated with the collation face development image for each person registered in advance and the collation feature area (step A5). Specifically, in step A5, the collation unit 12 first acquires the feature information from the generation unit 11. Subsequently, in step A5, the collation unit 12 refers to each of the collation information stored in the storage device 21 by using the acquired feature information, executes a collation process, and calculates a collation result. After that, in step A5, the collation unit 12 associates the collation information with the calculated collation result.
- the selection unit 13 selects a candidate person based on the collation result (step A6). Specifically, in step A6, the selection unit 13 selects collation information whose collation index is equal to or greater than a preset threshold value. Subsequently, in step A6, the selection unit 13 outputs the selected collation information to the candidate face image display information generation unit 64.
- the candidate face image display information generation unit 64 includes the feature area designated by using the first user interface, and the matching information in which the matching face development image for each person registered in advance and the matching feature area are associated with each other.
- the matching face development image corresponding to the selected candidate person is displayed on the screen of the display device 30 together with the matching feature area.
- Candidate face image display information is generated (step A7).
- the candidate face image display information generation unit 64 first receives from the storage device 21 when a candidate person is selected by the selection unit 13 based on the collation result of the collation unit 12. Acquires the matching information in which the matching face development image corresponding to the selected candidate person and the matching feature area are associated with each other.
- the candidate face image display information generation unit 64 creates the matching face development image 71 and the matching feature area 73 as shown in the window 72 of FIG. 4 based on the acquired matching information.
- Candidate face image display information for displaying on the screen of the display device 30 is generated.
- the candidate face image display information generation unit 64 transmits the candidate face image display information to the display device 30.
- the face development images for matching are displayed in order according to the matching result.
- the collation index (score) represented by the collation result is displayed in descending order.
- the display device 30 acquires the candidate face image display information and displays the matching face development image 71 and the matching feature area 73 as shown in the window 72 of FIG. 4 on the screen (step A8). ).
- the user observes the collated image and the user specifies the feature area on the reference face development image, so that even if the person in the collated image is not facing the front. Using the specified feature area, it is possible to provide collation support that leads to the identification of the person to be collated.
- the influence of the unevenness of the face due to the change in face orientation can be reduced, so even if the position for only the feature changes, the user can use the feature.
- the corresponding feature area can be easily specified on the reference face development image.
- the collation device that extracts the image corresponding to the person from the frame image captured by the image pickup device and executes collation using the extracted image may be linked with the collation support device. In that case, when an image corresponding to the feature is detected from any of the frame images, the collation processing mode for collating using the collation device is changed to the collation support processing mode for collating support using the collation support device. May be switched.
- the matching face development image and the matching feature corresponding to the person are based on the characteristics of the captured person. You may edit the area.
- the person is dealt with based on the feature indicating the difference between the pre-registered person and the imaged person.
- the collation face development image to be collated and the collation feature area may be edited.
- the program according to the embodiment of the present invention may be any program that causes a computer to execute steps A1 shown in FIG.
- the processor of the computer has a generation unit 11, a collation unit 12, a selection unit 13, a detection unit 14, an association unit 15, a first display information generation unit 61, a second display information generation unit 62, and a user interface display information. It functions as a generation unit 63 and a candidate face image display information generation unit 64, and performs processing.
- the program in the present embodiment may be executed by a computer system constructed by a plurality of computers.
- each computer has its own processor, the generation unit 11, the collation unit 12, the selection unit 13, the detection unit 14, the association unit 15, the first display information generation unit 61, and the second display. It may function as any of the information generation unit 62, the user interface display information generation unit 63, and the candidate face image display information generation unit 64.
- FIG. 6 is a diagram for explaining an example of a system having a collation support device.
- the collation support device 10 in the modified example includes a generation unit 11, a collation unit 12, a selection unit 13, a detection unit 14, an association unit 15, a first display information generation unit 61, and a second display information.
- the generation unit 62, the user interface display information generation unit 63, and the candidate face image display information generation unit 64, the conversion unit 16 and the third display information generation unit 65 are included.
- the storage device 21 when the storage device 21 further displays the reference face three-dimensional image in the third display area, the storage device 21 transmits the reference three-dimensional data of the head to the collation support device 10 via the communication network. ..
- the third display area will be described later.
- the storage device 21 transmits the reference face development image to the collation support device 10.
- the third display information generation unit 65 sets the face orientation of the reference face three-dimensional image generated based on the three-dimensional data of the reference head as the person to be collated displayed in the first display area.
- a third display information for displaying the third display area to be displayed according to the orientation of the face on the screen of the display device 30 is generated.
- the third display information generation unit 65 acquires three-dimensional data of the reference head from the storage device 21.
- the third display information generation unit 65 generates a reference face exhibition three-dimensional image using the three-dimensional data of the reference head. Subsequently, based on the generated reference face three-dimensional image, a third display information for displaying the reference face three-dimensional image 81 as shown in FIG. 6 on the screen of the display device 30 is generated. After that, the third display information generation unit 65 transmits the third display information to the display device 30.
- the third display information generation unit 65 may acquire the reference face three-dimensional image directly from the storage device 21.
- the orientation of the face may be adjusted manually by the user using the user interface, or may be adjusted automatically.
- the user interface display information generation unit 63 displays the feature area on the screen of the display device 30 to display the second user interface used for the operation for designating the feature area on the third display area. Generates the second user interface display information of.
- FIG. 7 is a diagram for explaining a user interface used for collation support.
- the user interface display information generation unit 63 displays the user interface 80 as shown in FIG. 7 as the second user interface, and causes the user to specify the feature area on the reference face three-dimensional image.
- the reference face three-dimensional image 81 is displayed in the window 82.
- the configuration of the display screen is not limited to FIG. 7.
- the user may observe one collated image and specify a plurality of feature areas on the reference face three-dimensional image. Further, the user may observe a plurality of collated images (plurality of frame images) having different face orientations and specify one or more feature regions on the reference face three-dimensional image. For example, one or more feature regions may be designated on the reference face three-dimensional image by observing a plurality of collated images having different face orientations. By doing so, the position of the feature region becomes accurate and the number of feature regions can be increased, so that the collation accuracy is improved.
- the feature drawn on the reference face three-dimensional image 81 when the user selects the reference face three-dimensional image 81 shown in FIG. 7 and then the “add” button 45 is selected, the feature drawn on the reference face three-dimensional image 81. Region 83 can be added.
- the “Delete” button 46 is selected, the feature area 83 drawn on the reference face three-dimensional image 81 can be deleted.
- feature information for example, texture information, position information, feature type information, etc.
- features are automatically extracted from the collated image 41.
- the editing function is not limited to the above-mentioned function.
- the generation unit 11 provides a third display area for displaying the reference face three-dimensional image generated based on the reference three-dimensional data of the head, which is displayed on the screen of the display device 30.
- the feature information about the feature area is generated.
- the generation unit 11 first uses the second user interface to generate feature information for each of the designated feature regions when one or more feature regions are designated for the reference face three-dimensional image. To do. After that, the generation unit 11 outputs the feature information to the collation unit 12. In the example of FIG. 7, the generation unit 11 uses the user interface 80 to generate the feature information of the designated feature region 83 when the feature region 83 is designated for the reference face three-dimensional image 81.
- the conversion unit 16 displays the face orientation of the reference face three-dimensional image generated based on the three-dimensional data of the reference head in accordance with the face orientation of the person to be collated.
- the feature area is designated using the display area, the feature information related to the feature area specified in the reference face three-dimensional image is converted into the feature information used in the reference face development image.
- FIG. 8 is a diagram for explaining an example of a display in which a feature area on the reference face three-dimensional image is converted into a feature area on the reference face development image face image.
- the feature area 86 corresponding to the feature area 83 is also added on the reference face development image 84.
- the reference face development image 84 is displayed in the window 85.
- the configuration of the display screen is not limited to FIG.
- the candidate face image display information generation unit 64 associates the feature area designated by using the second user interface with the pre-registered matching face development image for each person and the matching feature area.
- the collation face development image corresponding to the selected candidate person is displayed on the screen of the display device 30 together with the feature area. Generate candidate face image display information to be displayed.
- FIG. 9 is a diagram for explaining an example of displaying a candidate face image.
- the candidate face image display information generation unit 64 corresponds to the selected candidate person from the storage device 21. Acquires the matching information in which the matching face development image and the matching feature area are associated with each other.
- the candidate face image display information generation unit 64 displays the matching face development image 91 and the matching feature area 93 as shown in the window 92 of FIG. 9 on the display device 30 based on the acquired matching information. Generate candidate face image display information to be displayed on the screen. After that, the candidate face image display information generation unit 64 transmits the candidate face image display information to the display device 30.
- the face development images for matching are displayed in order according to the matching result.
- the collation index (score) represented by the collation result is displayed in descending order.
- the candidate face image display information generation unit 64 displays a matching face three-dimensional image corresponding to the candidate person based on the three-dimensional data of the head of the selected candidate person. Generates candidate face three-dimensional image display information to be displayed on the screen of the device 30.
- FIG. 10 is a diagram for explaining an example of displaying a candidate face image.
- the candidate face image display information generation unit 64 corresponds to the selected candidate person from the storage device 21. Acquires the matching information in which the matching face three-dimensional image and the matching feature area are associated with each other.
- the candidate face image display information generation unit 64 creates the matching face three-dimensional image 91'and the matching feature area 93'as shown in the window 92'in FIG. 10 based on the acquired matching information.
- Candidate face image display information for displaying on the screen of the display device 30 is generated.
- the candidate face image display information generation unit 64 transmits the candidate face image display information to the display device 30.
- collation image reference face development image, reference face three-dimensional image, collation face expansion image including the collation feature area, and collation face three-dimensional image including the collation feature area are combined. It may be displayed on the user interface.
- FIG. 11 is a diagram for explaining an example of the operation of the collation support device.
- FIGS. 1 to 10 will be referred to as appropriate.
- the collation support method is implemented by operating the collation support device. Therefore, the description of the collation support method in the modified example is replaced with the following operation description of the collation support device.
- step A1 As shown in FIG. 11, first, the process of step A1 described above is executed.
- the third display information generation unit 65 sets the face orientation of the reference face three-dimensional image generated based on the three-dimensional data of the reference head as the person to be collated displayed in the first display area.
- a third display information for displaying the third display area to be displayed according to the orientation of the face on the screen of the display device 30 is generated (step B1). Specifically, the third display information generation unit 65 acquires three-dimensional data of the reference head from the storage device 21.
- step B1 the third display information generation unit 65 generates a reference face exhibition three-dimensional image using the three-dimensional data of the reference head. Subsequently, in step B1, the third display information generation unit 65 displays the reference face three-dimensional image 81 as shown in FIG. 7 on the screen of the display device 30 based on the generated reference face three-dimensional image. Generate a third display information to be displayed. After that, in step B1, the third display information generation unit 65 transmits the third display information to the display device 30.
- the third display information generation unit 65 may acquire the reference face three-dimensional image directly from the storage device 21.
- the orientation of the face may be adjusted manually by the user or automatically.
- step A1 and step B1 described above may be reversed, or the processes may be executed in parallel.
- the user interface display information generation unit 63 displays the feature area on the screen of the display device 30 to display the second user interface used for the operation for designating the feature area on the third display area.
- the second user interface display information is generated (step B2).
- the user interface display information generation unit 63 displays the user interface 80 as shown in FIG. 7 as the second user interface, and features the user on the reference face three-dimensional image. Have the area specified.
- the reference face three-dimensional image 81 is displayed in the window 82.
- the configuration of the display screen is not limited to FIG. 7.
- the user may observe one collated image and specify a plurality of feature areas on the reference face three-dimensional image. Further, the user may observe a plurality of collated images (plurality of frame images) having different face orientations and specify one or more feature regions on the reference face three-dimensional image. For example, one or more feature regions may be designated on the reference face three-dimensional image by observing a plurality of collated images having different face orientations. By doing so, the position of the feature region becomes accurate, and the number of feature regions can be increased.
- the feature area may be specified automatically.
- the detection unit 14 automatically detects the feature area from the image including the face of the person to be collated displayed on the screen of the display device 30, and the association unit 15 determines the position of the detected feature area. It is automatically associated with the corresponding position of the reference face 3D image.
- the generation unit 11 uses a third display area for displaying the reference face three-dimensional image generated based on the reference three-dimensional data of the head, which is displayed on the screen of the display device 30.
- a feature area representing the facial features of the person to be collated that can be seen on the skin surface of the person to be collated is designated, feature information regarding the feature area is generated (step B3).
- step B3 the generation unit 11 first uses the second user interface to specify one or more feature regions in the reference face three-dimensional image, for each of the designated feature regions. Generate feature information. After that, in step B3, the generation unit 11 outputs the feature information to the collation unit 12. In the example of FIG. 7, the generation unit 11 uses the user interface 80 to generate the feature information of the designated feature region 83 when the feature region 83 is designated for the reference face three-dimensional image 81.
- the conversion unit 16 displays the face orientation of the reference face three-dimensional image generated based on the three-dimensional data of the reference head in accordance with the face orientation of the person to be collated.
- the feature area is designated using the three-dimensional image display area
- the feature information related to the feature area designated in the reference face three-dimensional image is converted into the feature information used in the reference face development image (step B4).
- the candidate face image display information generation unit 64 associates the feature area designated by using the second user interface with the pre-registered matching face development image for each person and the matching feature area.
- the collation face development image corresponding to the selected candidate person is displayed on the screen of the display device 30 together with the feature area.
- Candidate face image display information for the purpose is generated (step B5).
- step B5 when the candidate face image display information generation unit 64 first selects a candidate person by the selection unit 13 based on the collation result of the collation unit 12, the candidate face image display information generation unit 64 selects the candidate from the storage device 21. Acquires the matching information in which the matching face development image corresponding to the person and the matching feature area are associated with each other.
- step B5 the candidate face image display information generation unit 64 creates the matching face development image 91 and the matching feature area 93 as shown in the window 92 of FIG. 9 based on the acquired matching information.
- Candidate face image display information for displaying on the screen of the display device 30 is generated.
- the candidate face image display information generation unit 64 transmits the candidate face image display information to the display device 30.
- the face development images for matching are displayed in order according to the matching result.
- the collation index (score) represented by the collation result is displayed in descending order.
- step B5 the candidate face image display information generation unit 64 displays a matching face three-dimensional image corresponding to the candidate person based on the three-dimensional data of the head of the selected candidate person.
- Candidate face three-dimensional image display information for displaying on the screen of the device 30 may be generated.
- step B5 when the candidate face image display information generation unit 64 first selects a candidate person by the selection unit 13 based on the collation result of the collation unit 12, the candidate face image display information generation unit 64 selects the candidate from the storage device 21. Acquires the matching information in which the matching face three-dimensional image corresponding to the person and the matching feature area are associated with each other.
- step B5 the candidate face image display information generation unit 64 uses the acquired matching information to match the matching face three-dimensional image 91'as shown in the window 92'of FIG. 10 and the matching feature area 93.
- the candidate face image display information for displaying ‘and’ on the screen of the display device 30 is generated.
- the candidate face image display information generation unit 64 transmits the candidate face image display information to the display device 30.
- the face development images for matching are displayed in order according to the matching result.
- the collation index (score) represented by the collation result is displayed in descending order.
- the display device 30 acquires the candidate face image display information and displays the matching face development image 91 and the matching feature area 93 as shown in the window 92 of FIG. 9 on the screen (step B6). Alternatively, in step B6, the display device 30 may display the matching face development image 91 ′ and the matching feature area 93 ′ as shown in the window 92 ′ of FIG. 10 on the screen.
- the influence of the unevenness of the face due to the change in face orientation can be reduced, so that even if the position for only the feature changes, the user can use the feature.
- the feature area corresponding to can be easily specified on the reference face three-dimensional image.
- the collation device that extracts the image corresponding to the person from the frame image captured by the image pickup device and executes collation using the extracted image may be linked with the collation support device.
- the collation support processing mode that supports collation using the collation support device from the collation processing mode that collates using the current collation device may be switched to.
- the matching face development image and the matching feature corresponding to the person are based on the characteristics of the captured person. You may edit the area.
- the person is dealt with based on the feature indicating the difference between the pre-registered person and the imaged person.
- the collation face development image to be collated and the collation feature area may be edited.
- the program in the modified example of the present invention may be a program that causes a computer to execute steps A1 shown in FIG.
- the processor of the computer includes a generation unit 11, a collation unit 12, a selection unit 13, a detection unit 14, an association unit 15, a conversion unit 16, a first display information generation unit 61, and a second display information generation unit 62. It functions as a user interface display information generation unit 63, a candidate face image display information generation unit 64, and a third display information generation unit 65, and performs processing.
- the program in the present embodiment may be executed by a computer system constructed by a plurality of computers.
- each computer has its own processor, the generation unit 11, the collation unit 12, the selection unit 13, the detection unit 14, the association unit 15, the conversion unit 16, the first display information generation unit 61, and the like. It may function as any of the second display information generation unit 62, the user interface display information generation unit 63, the candidate face image display information generation unit 64, and the third display information generation unit 65.
- FIG. 12 is a block diagram showing an example of a computer that realizes a collation support device according to an embodiment and a modification of the present invention.
- the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. Each of these parts is connected to each other via a bus 121 so as to be capable of data communication.
- the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA in addition to the CPU 111 or in place of the CPU 111.
- the CPU 111 expands the programs (codes) of the present embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various operations.
- the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
- the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120.
- the program in this embodiment may be distributed on the Internet connected via the communication interface 117.
- the recording medium 120 is a non-volatile recording medium.
- the storage device 113 in addition to the hard disk drive, a semiconductor storage device such as a flash memory can be mentioned.
- the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse.
- the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
- the data reader / writer 116 mediates the data transmission between the CPU 111 and the recording medium 120, reads the program from the recording medium 120, and writes the processing result in the computer 110 to the recording medium 120.
- the communication interface 117 mediates data transmission between the CPU 111 and another computer.
- the recording medium 120 include a general-purpose semiconductor storage device such as CF (CompactFlash (registered trademark)) and SD (SecureDigital), a magnetic recording medium such as a flexible disk, or a CD-.
- CF CompactFlash (registered trademark)
- SD Secure Digital
- magnetic recording medium such as a flexible disk
- CD- CompactDiskReadOnlyMemory
- optical recording media such as ROM (CompactDiskReadOnlyMemory).
- the collation support device in the present embodiment can also be realized by using the hardware corresponding to each part instead of the computer in which the program is installed. Further, the collation support device may be partially realized by a program and the rest may be realized by hardware.
- Appendix 2 The collation support device described in Appendix 1 A reference face three-dimensional image display area for displaying the face orientation of the reference face three-dimensional image generated based on the reference three-dimensional data of the head in accordance with the face orientation of the person to be collated.
- the feature area is designated by using the reference face, the feature area is converted into the feature information used in the reference face development image, which is characterized by having a conversion unit.
- Collation support device is characterized by having a conversion unit.
- the collation support device (Appendix 3) The collation support device according to Appendix 1 or 2.
- the collation unit has a number in which the position of the feature area and the position of the collation feature area are close to each other, or the position of the feature area and the position of the collation feature area are deviated from each other, or the position of the feature area.
- Appendix 4 The collation support device according to any one of Appendix 1 to 3.
- a detection unit that detects the feature area from an image including the face of the person to be collated displayed on the screen of the display device.
- a collation support device characterized by having an association unit that associates the detected position of the feature area with the corresponding position of the reference face development image.
- the reference face development image display area for displaying the reference face development image generated based on the three-dimensional data of the reference head displayed on the screen of the display device is used as a collation target.
- a feature area representing the facial features of the person to be collated which can be seen on the skin surface of the person, is specified, a step of generating feature information about the feature area, and
- C A step to select a candidate person based on the collation result, and A collation support method characterized by having.
- Appendix 6 The collation support method described in Appendix 5 (D) A reference face three-dimensional image in which the face orientation of the reference face three-dimensional image generated based on the reference three-dimensional data of the head is displayed according to the face orientation of the person to be collated.
- a feature area is designated using the display area, it is characterized by having a step of converting the feature information about the feature area specified in the reference face three-dimensional image into the feature information used in the reference face development image.
- Appendix 8 The collation support method described in any one of Appendix 5 to 7.
- the feature area is detected from the image including the face of the person to be collated displayed on the screen of the display device.
- F A collation support method characterized in that the detected position of the feature area is associated with the corresponding position of the reference face development image.
- the reference face development image display area for displaying the reference face development image generated based on the three-dimensional data of the reference head displayed on the screen of the display device is used as a collation target.
- a feature area representing the facial features of the person to be collated which can be seen on the skin surface of the person, is specified, a step of generating feature information about the feature area, and
- C A step to select a candidate person based on the collation result, and A computer-readable recording medium recording a program that contains instructions to execute the program.
- Appendix 10 The computer-readable recording medium according to Appendix 9, which is a computer-readable recording medium.
- the program is on the computer (D) A reference face three-dimensional image in which the face orientation of the reference face three-dimensional image generated based on the reference three-dimensional data of the head is displayed according to the face orientation of the person to be collated.
- an instruction to execute a step of converting the feature information about the feature area specified in the reference face three-dimensional image into the feature information used in the reference face development image is issued.
- Including A computer-readable recording medium on which the program is recorded.
- Appendix 11 A computer-readable recording medium according to Appendix 9 or 10.
- step (b) the number in which the position of the feature region and the position of the matching feature region are close to each other, or the deviation between the position of the feature region and the position of the matching feature region, or the feature.
- Appendix 12 The computer-readable recording medium according to any one of Appendix 9 to 11.
- the program is on the computer
- collation can be performed by designating the features visible on the skin surface of the face of the person to be collated according to the orientation of the face of the captured image.
- the present invention is useful in fields such as surveillance systems and authentication systems that require verification.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Security & Cryptography (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
照合支援装置10は、表示装置30の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、生成部11と、特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、照合部12と、照合結果に基づいて、候補となる人物を選択する、選択部13と、を有する。
Description
本発明は、照合を支援する照合支援装置、照合支援方法に関し、更には、これらを実現するためのプログラムを記録しているコンピュータ読み取り可能な記録媒体に関する。
対象とする人物の顔画像と、あらかじめ登録された顔画像とを用いて照合し、照合結果に基づいて、対象とする人物を特定する照合装置が提案されている。
例えば、関連する技術として特許文献1には、人物の同一性を認証する場合に、高精度で認証を行うことができる認証システムが開示されている。特許文献1の認証システムによれば、認証対象者を撮像した画像から個別特徴部位(ほくろ、傷、皺)に対応する特徴領域を自動で検出し、検出した特徴領域の特徴量を認識し、認識した特徴量を用いて認証を実行する。
しかしながら、特許文献1の認証システムでは、あらかじめ登録された顔画像を用いるため、登録した顔画像の顔の向きと、撮像した対象となる人物の顔の向きとが異なる場合、照合ができないことがある。例えば、撮像した対象となる人物の顔が正面を向いていない場合、顔の凹凸の影響により、みための個別特徴部位の位置が変わるため、常に正面を向いた顔画像を用いなければならない。
したがって、正面を向いていない顔画像を用いた場合、顔画像を用いた照合が難しくなる。そこで、正面を向いていない顔画像を用いても、照合精度を向上させたいという要望がある。
本発明の目的の一例は、撮像した画像の顔の向きに応じて、照合対象となる人物の顔の皮膚表面にみえる特徴を指定することにより照合ができる照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
上記目的を達成するため、本発明の一側面における照合支援装置は、
表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、生成手段と、
前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、照合手段と、
照合結果に基づいて、候補となる人物を選択する、選択手段と、
を有することを特徴とする。
表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、生成手段と、
前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、照合手段と、
照合結果に基づいて、候補となる人物を選択する、選択手段と、
を有することを特徴とする。
また、上記目的を達成するため、本発明の一側面における照合支援方法は、
(a)表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成し、
(b)前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合し、
(c)照合結果に基づいて、候補となる人物を選択する
ことを特徴とする。
(a)表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成し、
(b)前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合し、
(c)照合結果に基づいて、候補となる人物を選択する
ことを特徴とする。
さらに、上記目的を達成するため、本発明の一側面におけるプログラムを記録したコンピュータ読み取り可能な記録媒体は、
コンピュータに、
(a)表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、ステップと、
(b)前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、ステップと、
(c)照合結果に基づいて、候補となる人物を選択する、ステップと、
を実行させる命令を含むプログラムを記録していることを特徴とする。
コンピュータに、
(a)表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、ステップと、
(b)前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、ステップと、
(c)照合結果に基づいて、候補となる人物を選択する、ステップと、
を実行させる命令を含むプログラムを記録していることを特徴とする。
以上のように本発明によれば、撮像した画像の顔の向きに応じて、照合対象となる人物の顔の皮膚表面にみえる特徴を指定することにより照合ができる。
(実施形態)
以下、本発明の実施形態について、図1から図12を参照しながら説明する。
以下、本発明の実施形態について、図1から図12を参照しながら説明する。
[装置構成]
最初に、図1、図2を用いて、本実施形態における照合支援装置10の構成について説明する。図1は、照合支援装置の一例を説明するための図である。図2は、照合支援に用いるユーザインタフェースを説明するための図である。
最初に、図1、図2を用いて、本実施形態における照合支援装置10の構成について説明する。図1は、照合支援装置の一例を説明するための図である。図2は、照合支援に用いるユーザインタフェースを説明するための図である。
図1に示す照合支援装置10は、撮像した画像の顔の向きに応じて、照合対象となる人物の顔の皮膚表面にみえる特徴を指定し、指定された特徴に対応する特徴領域を用いて照合の支援をする装置である。また、図1に示すように、照合支援装置10は、生成部11と、照合部12と、選択部13とを有する。
このうち、生成部11は、表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する。
基準となる頭部とは、過去に計測又は撮像した一人以上の頭部のデータに基づいてCG(Computer Graphics)により作成された頭部などである。また、基準となる頭部は、過去に計測又は撮像した特定の人物の頭部に基づいて作成してもよい。
基準顔展開画像表示領域は、例えば、図2に示すユーザインタフェース40に基準顔展開画像43を表示するための領域である。基準顔展開画像43は、あらかじめ記憶装置21に記憶された、基準となる頭部の三次元データを用いて、例えば、UV展開処理を実行し、円筒状投影された顔の展開画像である。ただし、顔の展開画像の作成は、上述した円筒状投影に限定されるものではない。なお、図2の例では、基準顔展開画像43は、ウィンドウ44に表示されている。ただし、表示画面の構成は、図2に限定されるものではない。
人物の顔の特徴は、例えば、ほくろ、そばかす、刺青、痣、皺、えくぼ、傷、疣、瘤、皮膚の凹凸、皮膚の変色部位などの皮膚表面にみえる人物の特徴を表す部位などある。図2の例では、照合画像41に撮像された人物の左頬にほくろ51があるので、このほくろ51が特徴となる。
特徴領域は、利用者が人物の顔の特徴を認識した後、利用者により、基準顔展開画像上に付された目印で、利用者が認識した特徴に対応する領域である。図2の例では、基準顔展開画像43上の目印(×)に対応する領域が特徴領域52となる。なお、人物の顔において特徴がない領域を特徴領域としてもよい。
特徴情報は、指定した特徴領域52に関する、例えば、テクスチャ情報、位置情報、大きさ情報、形状情報、特徴の種類を表す特徴種類情報などである。
照合部12は、特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する。選択部13は、照合結果に基づいて、候補となる人物を選択する。
照合用顔展開画像は、あらかじめ登録された、複数の人物ごとの頭部の三次元データに基づいて生成された顔展開画像である。照合用特徴領域は、あらかじめ登録された、複数の人物ごとの頭部の皮膚表面にみえる特徴を表す特徴領域である。
このように、本実施形態においては、利用者が照合画像41を観察し、利用者が基準顔展開画像43上に特徴領域52を指定することで、照合画像41の人物が正面を向いていない場合でも、指定した特徴領域52を用いて、照合対象となる人物の特定につながる照合支援ができる。照合支援とは、基準顔展開画像43上に指定された特徴領域52を用いて、照合対象となる人物と同じ位置に特徴をもつ人物を選出する処理である。
また、基準顔展開画像43を利用して特徴領域52を指定することで、顔向きの変化による、顔の凹凸の影響を低減できるので、ほくろ51のみための位置が変わっても、利用者は、ほくろ51に対応する特徴領域52を、基準顔展開画像43上に指定することが容易にできる。
[システム構成]
続いて、図3を用いて、本実施形態における照合支援装置10の構成をより具体的に説明する。図3は、照合支援装置を有するシステムの一例を説明するための図である。
続いて、図3を用いて、本実施形態における照合支援装置10の構成をより具体的に説明する。図3は、照合支援装置を有するシステムの一例を説明するための図である。
図3に示すように、本実施形態におけるシステムは、照合支援装置10、撮像装置20、記憶装置21、入力装置22、表示装置30を有する。例えば、システムは、監視システム、認証システムなどが考えられる。また、図3における照合支援装置10は、生成部11、照合部12、選択部13に加えて、第一の表示情報生成部61と、第二の表示情報生成部62と、ユーザインタフェース表示情報生成部63と、候補顔画像表示情報生成部64と、検出部14と、関連付け部15とを有する。
システムについて説明する。
照合支援装置10は、例えば、CPU(Central Processing Unit)、又はFPGA(Field-Programmable Gate Array)、又はそれら両方を搭載したサーバコンピュータ、パーソナルコンピュータ、モバイル端末などの情報処理装置である。
照合支援装置10は、例えば、CPU(Central Processing Unit)、又はFPGA(Field-Programmable Gate Array)、又はそれら両方を搭載したサーバコンピュータ、パーソナルコンピュータ、モバイル端末などの情報処理装置である。
撮像装置20は、照合対象となる人物の顔を撮像するための装置である。具体的には、撮像装置20は、撮像した画像を、通信網を介して、照合支援装置10に送信する。撮像装置20は、例えば、カメラなどの撮像装置である。
記憶装置21は、上述した基準となる頭部の三次元データと、照合情報とを記憶している。照合情報は、照合用顔展開画像と照合用特徴領域とが関連付けられた情報である。照合用顔展開画像は、あらかじめ登録された、複数の人物ごとの頭部の三次元データに基づいて生成された顔展開画像である。照合用特徴領域は、あらかじめ登録された、複数の人物ごとの頭部の皮膚表面にみえる特徴を表す特徴領域である。なお、記憶装置21に、あらかじめ基準顔展開画像、又は基準顔三次元画像、又はそれら両方を記憶しておいてもよい。
具体的には、記憶装置21は、第二の表示領域に基準顔展開画像を表示する場合、通信網を介して、基準となる頭部の三次元データを照合支援装置10に送信する。なお、基準顔展開画像が記憶されている場合、記憶装置21は、基準顔展開画像を照合支援装置10に送信する。
また、記憶装置21は、候補となる人物が選択された場合、通信網を介して、選択された人物に対応する照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合支援装置10に送信する。
なお、記憶装置21は、例えば、データベースなどの記憶装置である。また、上述した基準となる頭部の三次元データ、照合情報などの情報は、複数の記憶装置に分けて記憶してもよい。また、記憶装置21は、照合支援装置10内部に設けてもよいし、外部に設けてもよい。
入力装置22は、例えば、マウス、タッチパネル、キーボードなどの物理的なユーザインタフェースである。具体的には、入力装置22は、利用者が、表示装置30に表示されたユーザインタフェースを用いて、照合支援をする際に用いる。
表示装置30は、各種の表示情報を取得し、その表示情報に基づいて、生成した画像などを画面に表示する。表示装置30は、例えば、液晶、有機EL(Electro Luminescence)、CRT(Cathode Ray Tube)を用いた装置などである。さらに、表示装置30は、スピーカなどの音声出力装置などを備えていてもよい。なお、表示装置30は、プリンタなどの印刷装置でもよい。
照合支援装置について説明する。
第一の表示情報生成部61は、撮像装置20を用いて撮像した照合画像を表示するための第一の表示領域を、表示装置30の画面に表示させるための第一の表示情報を生成する。
第一の表示情報生成部61は、撮像装置20を用いて撮像した照合画像を表示するための第一の表示領域を、表示装置30の画面に表示させるための第一の表示情報を生成する。
第一の表示領域は、例えば、図2に示すユーザインタフェース40に照合画像41を表示するための領域である。照合画像41は、静止画像又は動画像のフレーム画像などである。なお、図2の例では、照合画像41は、ウィンドウ42に表示されている。ただし、表示画面の構成は、図2に限定されるものではない。
具体的には、第一の表示情報生成部61は、撮像装置20が撮像した人物の画像を取得する。続いて、第一の表示情報生成部61は、取得した画像に基づいて、図2に示したような照合画像41を、表示装置30の画面に表示させるための第一の表示情報を生成する。その後、第一の表示情報生成部11は、第一の表示情報を表示装置30へ送信する。
なお、特徴が見えやすいフレーム画像だけを照合画像としてもよい。また、顔の向きが変わる前には見えていなかった特徴を検出したフレーム画像を照合画像としてもよい。
第二の表示情報生成部62は、基準となる頭部の三次元データに基づいて基準顔展開画像を表示するための基準顔展開画像表示領域(第二の表示領域)を、表示装置30の画面に表示させるための第二の表示情報を生成する。
第二の表示領域は、例えば、図2に示すユーザインタフェース40に基準顔展開画像43を表示するための領域である。基準顔展開画像43は、あらかじめ記憶装置21に記憶された、基準となる頭部の三次元データを用いて、例えば、UV展開処理を実行し、円筒状投影された顔の展開画像である。ただし、顔の展開画像の作成は、上述した円筒状投影に限定されるものではない。なお、図2の例では、基準顔展開画像43は、ウィンドウ44に表示されている。ただし、表示画面の構成は、図2に限定されるものではない。
具体的には、第二の表示情報生成部62は、記憶装置21から、基準となる頭部の三次元データを取得する。
続いて、第二の表示情報生成部62は、基準となる頭部の三次元データを用いて基準顔展開画像を生成する。続いて、生成した基準顔展開画像に基づいて、図2に示したような基準顔展開画像43を、表示装置30の画面に表示させるための第二の表示情報を生成する。その後、第二の表示情報生成部62は、第二の表示情報を表示装置30へ送信する。なお、記憶装置21に基準顔展開画像が記憶されている場合、第二の表示情報生成部62は、記憶装置21から、直接、基準顔展開画像を取得してもよい。
ユーザインタフェース表示情報生成部63は、第一の表示領域を利用者に参照させて、特徴領域を第二の表示領域に指定させるための第一のユーザインタフェースを、表示装置30の画面に表示させるための第一のユーザインタフェース表示情報を生成する。
具体的には、ユーザインタフェース表示情報生成部63は、第一のユーザインタフェースとして、図2に示すようなユーザインタフェース40を表示させて、利用者に基準顔展開画像上に特徴領域を指定させる。
第一のユーザインタフェースは、図2の例においては、ユーザインタフェース40に対応する。例えば、ユーザインタフェース40、及び、マウス、タッチパネル、キーボードなどの物理的なユーザインタフェースである入力装置22を用いて、特徴領域52が描かれた場合(指定された場合)、ユーザインタフェース40に表示された「追加」ボタン45が選択されると、描かれた特徴領域52が基準顔展開画像43に追加される。
なお、利用者が、一つの照合画像を観察して、基準顔展開画像上に、複数の特徴領域を指定してもよい。また、利用者が、顔の向きの異なる複数の照合画像(複数のフレーム画像)を観察して、基準顔展開画像上に、一つ以上の特徴領域を指定してもよい。例えば、顔の向きの異なる複数の照合画像を観察して、基準顔展開画像上に、一つ以上の特徴領域を指定してもよい。そうすることで、特徴領域の位置が正確になり、特徴領域の数を増やすことができるので、照合精度が向上する。
また、図2に示したように、例えば、「追加」ボタン45、「削除」ボタン46、「保存」ボタン47、「特徴抽出」ボタン48、「拡大縮小」ボタン49などを設けることが考えられる。「追加」ボタン45が選択されると、基準顔展開画像43に描かれた特徴領域52を追加できる。「削除」ボタン46が選択されると、基準顔展開画像43に描かれた特徴領域52を削除できる。「保存」ボタン47が選択されると、指定した特徴領域52に関する特徴情報(例えば、テクスチャ情報、位置情報、大きさ情報、形状情報、特徴の種類を表す特徴種類情報など)が記憶部に記憶される。「特徴抽出」ボタン48が選択されると、照合画像41から特徴を自動で抽出する。「拡大縮小」ボタン49が選択されると、選択されている照合画像41又は基準顔展開画像43の表示が、拡大又は縮小表示される。ただし、編集機能は、上述した機能に限定されるものではない。
生成部11は、表示装置30の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域(第二の表示領域)を用いて、照合対象となる人物の皮膚表面にみえる照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する。
具体的には、生成部11は、まず、第一のユーザインタフェースを用いて、基準顔展開画像に一つ以上の特徴領域が指定された場合、指定された特徴領域それぞれについて特徴情報を生成する。その後、生成部11は、特徴情報を照合部12へ出力する。
図2の例では、生成部11は、ユーザインタフェース40を用いて、基準顔展開画像43に特徴領域52が指定された場合、指定された特徴領域52の特徴情報を生成する。
照合部12は、特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する。具体的には、照合部12は、まず、生成部11から特徴情報を取得する。続いて、照合部12は、取得した特徴情報を用いて、記憶装置21に記憶されている照合情報それぞれを参照し、照合処理を実行して照合結果を算出する。その後、照合部12は、照合情報と算出した照合結果とを関連付ける。
照合処理は、例えば、指定された特徴領域の位置と照合用特徴領域の位置とが近似した数、又は、指定された特徴領域の位置と照合用特徴領域の位置とのずれ(距離)、又は、それらを組み合わせて、照合結果として照合指標(スコア)を算出する。さらに、複数の特徴領域が指定されている場合、複数の特徴領域の相互位置関係と、複数の照合用特徴領域の相互位置関係とを用いて照合指標を算出してもよい。照合指標は、例えば、指定された特徴領域と照合用特徴領域の二つの位置座標のユークリッド距離、二つの特徴領域のテクスチャ情報の正規化相関による類似度、あるいは二つの特徴領域の重なる面積などを用いることができる。
選択部13は、照合結果に基づいて候補となる人物を選択する。具体的には、選択部13は、照合指標があらかじめ設定した閾値以上の照合情報を選択する。続いて、選択部13は、選択した照合情報を、候補顔画像表示情報生成部64に出力する。
候補顔画像表示情報生成部64は、第一のユーザインタフェースを用いて指定された特徴領域と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合し、照合結果に基づいて候補となる人物が選択された場合、選択された候補となる人物に対応する照合用顔展開画像を照合用特徴領域とともに、表示装置30の画面に表示させるための候補顔画像表示情報を生成する。
図4を用いて具体的に説明をする。図4は、候補顔画像表示の一例を説明するための図である。
候補顔画像表示情報生成部64は、まず、照合部12の照合結果に基づいて、選択部13により候補となる人物が選択された場合、記憶装置21から、選択された候補となる人物に対応する照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報を取得する。
続いて、候補顔画像表示情報生成部64は、取得した照合情報に基づいて、図4のウィンドウ72に示したような照合用顔展開画像71と照合用特徴領域73とを、表示装置30の画面に表示させるための候補顔画像表示情報を生成する。その後、候補顔画像表示情報生成部64は、候補顔画像表示情報を表示装置30へ送信する。
なお、候補となる人物が複数いる場合、照合用顔展開画像を、照合結果に応じて、順番に表示する。例えば、照合結果が表す照合指標(スコア)が高い順に表示する。
検出部14は、表示装置30の画面に表示させた、照合対象となる人物の顔を含む画像から特徴領域を自動で検出する。具体的には、検出部14は、照合画像を用いて、人物の顔の特徴(例えば、ほくろ、そばかす、刺青、痣、皺、えくぼ、傷、疣、瘤、皮膚の凹凸、皮膚の変色部位などの皮膚表面にみえる人物の特徴)に対応する特徴領域を自動で検出する。特徴領域の検出には、例えば、セグメンテーション処理などの技術を用いることが考えられる。
関連付け部15は、検出した特徴領域の位置を、基準顔展開画像の対応する位置に自動で関連付けてもよい。関連付けは、例えば、目、鼻、口などの顔部位との相対位置関係から基準顔展開画像の対応する位置に自動で関連付けてもよい。
[装置動作]
次に、本発明の実施形態における照合支援装置の動作について図5を用いて説明する。図5は、照合支援装置の動作の一例を説明するための図である。以下の説明においては、適宜図1から4を参照する。また、本実施形態では、照合支援装置を動作させることによって、照合支援方法が実施される。よって、本実施形態における照合支援方法の説明は、以下の照合支援装置の動作説明に代える。
次に、本発明の実施形態における照合支援装置の動作について図5を用いて説明する。図5は、照合支援装置の動作の一例を説明するための図である。以下の説明においては、適宜図1から4を参照する。また、本実施形態では、照合支援装置を動作させることによって、照合支援方法が実施される。よって、本実施形態における照合支援方法の説明は、以下の照合支援装置の動作説明に代える。
図5に示すように、最初に、第一の表示情報生成部61は、撮像装置20を用いて撮像した照合画像を表示するための第一の表示領域を、表示装置30の画面に表示させるための第一の表示情報を生成する(ステップA1)。具体的には、ステップA1において、第一の表示情報生成部61は、撮像装置20が撮像した人物の画像を取得する。
続いて、ステップA1において、第一の表示情報生成部61は、取得した画像に基づいて、図2に示したような照合画像41を、表示装置30の画面に表示させるための第一の表示情報を生成する。その後、ステップA1において、第一の表示情報生成部61は、第一の表示情報を表示装置30へ送信する。
なお、特徴が見えやすいフレーム画像だけを照合画像としてもよい。また、顔の向きが変わる前には見えていなかった特徴を検出したフレーム画像を照合画像としてもよい。
また、第二の表示情報生成部62は、基準となる頭部の三次元データに基づいて基準顔展開画像を表示するための第二の表示領域を、表示装置30の画面に表示させるための第二の表示情報を生成する(ステップA2)。具体的には、ステップA2において、第二の表示情報生成部62は、記憶装置21から、基準となる頭部の三次元データを取得する。
続いて、ステップA2において、第二の表示情報生成部62は、基準となる頭部の三次元データを用いて基準顔展開画像を生成する。続いて、ステップA2において、第二の表示情報生成部62は、生成した基準顔展開画像に基づいて、図2に示したような基準顔展開画像43を、表示装置30の画面に表示させるための第二の表示情報を生成する。その後、ステップA2において、第二の表示情報生成部62は、第二の表示情報を表示装置30へ送信する。
なお、記憶装置21に基準顔展開画像が記憶されている場合、第二の表示情報生成部62は、記憶装置21から、直接、基準顔展開画像を取得してもよい。
上述したステップA1の処理とステップA2の処理の順番は、逆でもよいし、並列して処理を実行してもよい。
次に、ユーザインタフェース表示情報生成部63は、第一の表示領域を利用者に参照させて、特徴領域を第二の表示領域に指定させるための第一のユーザインタフェースを、表示装置30の画面に表示させるための第一のユーザインタフェース表示情報を生成する(ステップA3)。
具体的には、ステップA3において、ユーザインタフェース表示情報生成部63は、第一のユーザインタフェースとして、図2に示すようなユーザインタフェース40を表示させて、利用者に基準顔展開画像上に特徴領域を指定させる。
なお、利用者が、一つの照合画像を観察して、基準顔展開画像上に、複数の特徴領域を指定してもよい。また、利用者が、顔の向きの異なる複数の照合画像(複数のフレーム画像)を観察して、基準顔展開画像上に、一つ以上の特徴領域を指定してもよい。例えば、顔の向きの異なる複数の照合画像を観察して、基準顔展開画像上に、一つ以上の特徴領域を指定してもよい。そうすることで、特徴領域の位置が正確になり、特徴領域の数を増やすことができる。
さらに、特徴領域の指定は、自動で行ってもよい。その場合、検出部14が、表示装置30の画面に表示させた、照合対象となる人物の顔を含む画像から特徴領域を自動で検出し、関連付け部15が、検出した特徴領域の位置を、基準顔展開画像の対応する位置に自動で関連付ける。
次に、生成部11は、表示装置30の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための第二の表示領域を用いて、照合対象となる人物の皮膚表面にみえる照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する(ステップA4)。
具体的には、ステップA4において、生成部11は、まず、第一のユーザインタフェースを用いて、基準顔展開画像に一つ以上の特徴領域が指定された場合、指定された特徴領域それぞれについて特徴情報を生成する。その後、ステップA4において、生成部11は、特徴情報を照合部12へ出力する。
図2の例では、生成部11は、ユーザインタフェース40を用いて、基準顔展開画像43に特徴領域52が指定された場合、指定された特徴領域52の特徴情報を生成する。
照合部12は、特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する(ステップA5)。具体的には、ステップA5において、照合部12は、まず、生成部11から特徴情報を取得する。続いて、ステップA5において、照合部12は、取得した特徴情報を用いて、記憶装置21に記憶されている照合情報それぞれを参照し、照合処理を実行して照合結果を算出する。その後、ステップA5において、照合部12は、照合情報と算出した照合結果とを関連付ける。
選択部13は、照合結果に基づいて候補となる人物を選択する(ステップA6)。具体的には、ステップA6において、選択部13は、照合指標があらかじめ設定した閾値以上の照合情報を選択する。続いて、ステップA6において、選択部13は、選択した照合情報を、候補顔画像表示情報生成部64に出力する。
候補顔画像表示情報生成部64は、第一のユーザインタフェースを用いて指定された特徴領域と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合し、照合結果に基づいて候補となる人物が選択された場合、選択された候補となる人物に対応する照合用顔展開画像を照合用特徴領域とともに、表示装置30の画面に表示させるための候補顔画像表示情報を生成する(ステップA7)。
具体的には、ステップA7において、候補顔画像表示情報生成部64は、まず、照合部12の照合結果に基づいて、選択部13により候補となる人物が選択された場合、記憶装置21から、選択された候補となる人物に対応する照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報を取得する。
続いて、ステップA7において、候補顔画像表示情報生成部64は、取得した照合情報に基づいて、図4のウィンドウ72に示したような照合用顔展開画像71と照合用特徴領域73とを、表示装置30の画面に表示させるための候補顔画像表示情報を生成する。その後、候補顔画像表示情報生成部64は、候補顔画像表示情報を表示装置30へ送信する。
なお、候補となる人物が複数いる場合、照合用顔展開画像を、照合結果に応じて、順番に表示する。例えば、照合結果が表す照合指標(スコア)が高い順に表示する。
次に、表示装置30は、候補顔画像表示情報を取得して、図4のウィンドウ72に示したような照合用顔展開画像71と照合用特徴領域73とを、画面に表示させる(ステップA8)。
[本実施形態の効果]
以上のように本実施形態によれば、利用者が照合画像を観察し、利用者が基準顔展開画像上に特徴領域を指定することで、照合画像の人物が正面を向いていない場合でも、指定した特徴領域を用いて、照合対象となる人物の特定につながる照合支援ができる。
以上のように本実施形態によれば、利用者が照合画像を観察し、利用者が基準顔展開画像上に特徴領域を指定することで、照合画像の人物が正面を向いていない場合でも、指定した特徴領域を用いて、照合対象となる人物の特定につながる照合支援ができる。
また、基準顔展開画像を利用して特徴領域を指定することで、顔向きの変化による、顔の凹凸の影響を低減できるので、特徴のみための位置が変わっても、利用者は、特徴に対応する特徴領域を、基準顔展開画像上に指定することが容易にできる。
また、撮像装置により撮像されたフレーム画像から人物に対応する画像を抽出し、抽出した画像を用いて照合を実行する照合装置と、照合支援装置とを連携させてもよい。その場合、いずれかのフレーム画像から特徴に対応する画像が検出された場合、照合装置を用いて照合をする照合処理モードから、照合支援装置を用いて照合支援をする照合支援処理モードへと処理を切り替えてもよい。
また、あらかじめ登録されていた人物と、撮像された人物とが同一人物であると判断された場合、撮像された人物の特徴に基づいて、当該人物に対応する照合用顔展開画像と照合用特徴領域とを編集してもよい。
また、あらかじめ登録されていた人物と、撮像された人物とが同一人物ではないと判断された場合、あらかじめ登録されていた人物と撮像された人物の違いを示す特徴に基づいて、当該人物に対応する照合用顔展開画像と照合用特徴領域とを編集してもよい。
[プログラム]
本発明の実施形態におけるプログラムは、コンピュータに、図5に示すステップA1からを実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における照合支援装置と照合支援方法とを実現することができる。この場合、コンピュータのプロセッサは、生成部11、照合部12、選択部13、検出部14、関連付け部15、第一の表示情報生成部61、第二の表示情報生成部62、ユーザインタフェース表示情報生成部63、候補顔画像表示情報生成部64として機能し、処理を行なう。
本発明の実施形態におけるプログラムは、コンピュータに、図5に示すステップA1からを実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における照合支援装置と照合支援方法とを実現することができる。この場合、コンピュータのプロセッサは、生成部11、照合部12、選択部13、検出部14、関連付け部15、第一の表示情報生成部61、第二の表示情報生成部62、ユーザインタフェース表示情報生成部63、候補顔画像表示情報生成部64として機能し、処理を行なう。
また、本実施形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、コンピュータのプロセッサは、生成部11、照合部12、選択部13、検出部14、関連付け部15、第一の表示情報生成部61、第二の表示情報生成部62、ユーザインタフェース表示情報生成部63、候補顔画像表示情報生成部64のいずれかとして機能してもよい。
(変形例)
以下、本発明の変形例について、図6から図11を参照しながら説明する。
以下、本発明の変形例について、図6から図11を参照しながら説明する。
[システム構成]
変形例について図6を用いて説明する。図6は、照合支援装置を有するシステムの一例を説明するための図である。
変形例について図6を用いて説明する。図6は、照合支援装置を有するシステムの一例を説明するための図である。
図6に示すように、変形例における照合支援装置10は、生成部11、照合部12、選択部13、検出部14、関連付け部15、第一の表示情報生成部61、第二の表示情報生成部62、ユーザインタフェース表示情報生成部63、候補顔画像表示情報生成部64、に加えて、変換部16と、第三の表示情報生成部65とを有する。
変形例において、記憶装置21は、更に、第三の表示領域に基準顔三次元画像を表示する場合、通信網を介して、基準となる頭部の三次元データを照合支援装置10に送信する。第三の表示領域については後述する。なお、基準顔三次元画像が記憶されている場合、記憶装置21は、基準顔展開画像を照合支援装置10に送信する。
第三の表示情報生成部65は、基準となる頭部の三次元データに基づいて生成した基準顔三次元画像の顔の向きを、第一の表示領域に表示されている照合対象となる人物の顔の向きに合わせて表示させる第三の表示領域を、表示装置30の画面に表示させるための第三の表示情報を生成する。具体的には、第三の表示情報生成部65は、記憶装置21から、基準となる頭部の三次元データを取得する。
続いて、第三の表示情報生成部65は、基準となる頭部の三次元データを用いて基準顔展三次元画像を生成する。続いて、生成した基準顔三次元画像に基づいて、図6に示したような基準顔三次元画像81を、表示装置30の画面に表示させるための第三の表示情報を生成する。その後、第三の表示情報生成部65は、第三の表示情報を表示装置30へ送信する。なお、記憶装置21に基準顔三次元画像が記憶されている場合、第三の表示情報生成部65は、記憶装置21から、直接、基準顔三次元画像を取得してもよい。
なお、顔の向きは、利用者がユーザインタフェースを用いて手動で合わせてもよいし、自動で合わせてもよい。
変形例において、ユーザインタフェース表示情報生成部63は、特徴領域を、第三の表示領域に、利用者に指定させるための操作に用いる第二のユーザインタフェースを、表示装置30の画面に表示させるための第二のユーザインタフェース表示情報を生成する。
図7を用いて具体的に説明をする。図7は、照合支援に用いるユーザインタフェースを説明するための図である。
ユーザインタフェース表示情報生成部63は、第二のユーザインタフェースとして、図7に示すようなユーザインタフェース80を表示させて、利用者に基準顔三次元画像上に特徴領域を指定させる。なお、図7の例では、基準顔三次元画像81は、ウィンドウ82に表示されている。ただし、表示画面の構成は、図7に限定されるものではない。
なお、利用者が、一つの照合画像を観察して、基準顔三次元画像上に、複数の特徴領域を指定してもよい。また、利用者が、顔の向きの異なる複数の照合画像(複数のフレーム画像)を観察して、基準顔三次元画像上に、一つ以上の特徴領域を指定してもよい。例えば、顔の向きの異なる複数の照合画像を観察して、基準顔三次元画像上に、一つ以上の特徴領域を指定してもよい。そうすることで、特徴領域の位置が正確になり、特徴領域の数を増やすことができるので、照合精度が向上する。
また、変形例においては、例えば、図7に示した基準顔三次元画像81を利用者が選択した後、「追加」ボタン45が選択されると、基準顔三次元画像81に描かれた特徴領域83を追加できる。「削除」ボタン46が選択されると、基準顔三次元画像81に描かれた特徴領域83を削除できる。「保存」ボタン47が選択されると、指定した特徴領域83に関する特徴情報(例えば、テクスチャ情報、位置情報、特徴種類情報など)が記憶部に記憶される。「特徴抽出」ボタン48が選択されると、照合画像41から特徴を自動で抽出する。「拡大縮小」ボタン49が選択されると、選択されている照合画像41又は基準顔展開画像43又は基準顔三次元画像81の表示が、拡大又は縮小表示される。ただし、編集機能は、上述した機能に限定されるものではない。
変形例において、生成部11は、表示装置30の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔三次元画像を表示するための第三の表示領域を用いて、照合対象となる人物の皮膚表面にみえる照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する。
具体的には、生成部11は、まず、第二のユーザインタフェースを用いて、基準顔三次元画像に一つ以上の特徴領域が指定された場合、指定された特徴領域それぞれについて特徴情報を生成する。その後、生成部11は、特徴情報を照合部12へ出力する。図7の例では、生成部11は、ユーザインタフェース80を用いて、基準顔三次元画像81に特徴領域83が指定された場合、指定された特徴領域83の特徴情報を生成する。
変換部16は、基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、基準顔展開画像で用いる特徴情報に変換する。
照合部12、選択部13の説明については上述したので省略する。
図8を用いて具体的に説明をする。図8は、基準顔三次元画像上の特徴領域を基準顔展開画像顔画像上の特徴領域に変換させた表示の一例を説明するための図である。
図8において、特徴領域83が追加されると、基準顔展開画像84上にも、特徴領域83に対応する特徴領域86が追加される。なお、図8の例では、基準顔展開画像84は、ウィンドウ85に表示されている。ただし、表示画面の構成は、図8に限定されるものではない。
変形例において、候補顔画像表示情報生成部64は、第二のユーザインタフェースを用いて指定された特徴領域と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合し、照合結果に基づいて候補となる人物が選択された場合、選択された候補となる人物に対応する照合用顔展開画像を特徴領域とともに、表示装置30の画面に表示させるための候補顔画像表示情報を生成する。
図9を用いて具体的に説明をする。図9は、候補顔画像表示の一例を説明するための図である。
候補顔画像表示情報生成部64は、まず、照合部12の照合結果に基づいて、選択部13により候補となる人物が選択された場合、記憶装置21から、選択された候補となる人物に対応する照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報を取得する。
続いて、候補顔画像表示情報生成部64は、取得した照合情報に基づいて、図9のウィンドウ92に示したような照合用顔展開画像91と照合用特徴領域93とを、表示装置30の画面に表示させるための候補顔画像表示情報を生成する。その後、候補顔画像表示情報生成部64は、候補顔画像表示情報を表示装置30へ送信する。
なお、候補となる人物が複数いる場合、照合用顔展開画像を、照合結果に応じて、順番に表示する。例えば、照合結果が表す照合指標(スコア)が高い順に表示する。
また、変形例において、候補顔画像表示情報生成部64は、選択された候補となる人物の頭部の三次元データに基づいて、候補となる人物に対応する照合用顔三次元画像を、表示装置30の画面に表示させるための候補顔三次元画像表示情報を生成する。
図10を用いて具体的に説明をする。図10は、候補顔画像表示の一例を説明するための図である。
候補顔画像表示情報生成部64は、まず、照合部12の照合結果に基づいて、選択部13により候補となる人物が選択された場合、記憶装置21から、選択された候補となる人物に対応する照合用顔三次元画像と照合用特徴領域とが関連付けられた照合情報を取得する。
続いて、候補顔画像表示情報生成部64は、取得した照合情報に基づいて、図10のウィンドウ92´に示したような照合用顔三次元画像91´と照合用特徴領域93´とを、表示装置30の画面に表示させるための候補顔画像表示情報を生成する。その後、候補顔画像表示情報生成部64は、候補顔画像表示情報を表示装置30へ送信する。
なお、上述した照合画像、基準顔展開画像、基準顔三次元画像、照合用特徴領域を含む照合用顔展開画像、照合用特徴領域を含む照合用顔三次元画像の一つ以上を組み合わせて、ユーザインタフェースに表示してもよい。
[装置動作]
変形例の動作について図11を用いて説明する。図11は、照合支援装置の動作の一例を説明するための図である。以下の説明においては、適宜図1から10を参照する。また、変形例では、照合支援装置を動作させることによって、照合支援方法が実施される。よって、変形例における照合支援方法の説明は、以下の照合支援装置の動作説明に代える。
変形例の動作について図11を用いて説明する。図11は、照合支援装置の動作の一例を説明するための図である。以下の説明においては、適宜図1から10を参照する。また、変形例では、照合支援装置を動作させることによって、照合支援方法が実施される。よって、変形例における照合支援方法の説明は、以下の照合支援装置の動作説明に代える。
図11に示すように、最初に、上述したステップA1の処理を実行する。
第三の表示情報生成部65は、基準となる頭部の三次元データに基づいて生成した基準顔三次元画像の顔の向きを、第一の表示領域に表示されている照合対象となる人物の顔の向きに合わせて表示させる第三の表示領域を、表示装置30の画面に表示させるための第三の表示情報を生成する(ステップB1)。具体的には、第三の表示情報生成部65は、記憶装置21から、基準となる頭部の三次元データを取得する。
続いて、ステップB1において、第三の表示情報生成部65は、基準となる頭部の三次元データを用いて基準顔展三次元画像を生成する。続いて、ステップB1において、第三の表示情報生成部65は、生成した基準顔三次元画像に基づいて、図7に示したような基準顔三次元画像81を、表示装置30の画面に表示させるための第三の表示情報を生成する。その後、ステップB1において、第三の表示情報生成部65は、第三の表示情報を表示装置30へ送信する。
なお、記憶装置21に基準顔三次元画像が記憶されている場合、第三の表示情報生成部65は、記憶装置21から、直接、基準顔三次元画像を取得してもよい。
なお、顔の向きは、利用者が手動で合わせてもよいし、自動で合わせてもよい。
上述したステップA1の処理とステップB1の処理の順番は、逆でもよいし、並列して処理を実行してもよい。
次に、ユーザインタフェース表示情報生成部63は、特徴領域を、第三の表示領域に、利用者に指定させるための操作に用いる第二のユーザインタフェースを、表示装置30の画面に表示させるための第二のユーザインタフェース表示情報を生成する(ステップB2)。
具体的には、ステップB2において、ユーザインタフェース表示情報生成部63は、第二のユーザインタフェースとして、図7に示すようなユーザインタフェース80を表示させて、利用者に基準顔三次元画像上に特徴領域を指定させる。なお、図7の例では、基準顔三次元画像81は、ウィンドウ82に表示されている。ただし、表示画面の構成は、図7に限定されるものではない。
なお、利用者が、一つの照合画像を観察して、基準顔三次元画像上に、複数の特徴領域を指定してもよい。また、利用者が、顔の向きの異なる複数の照合画像(複数のフレーム画像)を観察して、基準顔三次元画像上に、一つ以上の特徴領域を指定してもよい。例えば、顔の向きの異なる複数の照合画像を観察して、基準顔三次元画像上に、一つ以上の特徴領域を指定してもよい。そうすることで、特徴領域の位置が正確になり、特徴領域の数を増やすことができる。
さらに、特徴領域の指定は、自動で行ってもよい。その場合、検出部14が、表示装置30の画面に表示させた、照合対象となる人物の顔を含む画像から特徴領域を自動で検出し、関連付け部15が、検出した特徴領域の位置を、基準顔三次元画像の対応する位置に自動で関連付ける。
次に、生成部11は、表示装置30の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔三次元画像を表示するための第三の表示領域を用いて、照合対象となる人物の皮膚表面にみえる照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する(ステップB3)。
具体的には、ステップB3において、生成部11は、まず、第二のユーザインタフェースを用いて、基準顔三次元画像に一つ以上の特徴領域が指定された場合、指定された特徴領域それぞれについて特徴情報を生成する。その後、ステップB3において、生成部11は、特徴情報を照合部12へ出力する。図7の例では、生成部11は、ユーザインタフェース80を用いて、基準顔三次元画像81に特徴領域83が指定された場合、指定された特徴領域83の特徴情報を生成する。
次に、変換部16は、基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、基準顔展開画像で用いる特徴情報に変換する(ステップB4)。
次に、上述したステップA5、ステップA6の処理を実行する。
次に、候補顔画像表示情報生成部64は、第二のユーザインタフェースを用いて指定された特徴領域と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合し、照合結果に基づいて候補となる人物が選択された場合、選択された候補となる人物に対応する照合用顔展開画像を特徴領域とともに、表示装置30の画面に表示させるための候補顔画像表示情報を生成する(ステップB5)。
ステップB5において、候補顔画像表示情報生成部64は、まず、照合部12の照合結果に基づいて、選択部13により候補となる人物が選択された場合、記憶装置21から、選択された候補となる人物に対応する照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報を取得する。
続いて、ステップB5において、候補顔画像表示情報生成部64は、取得した照合情報に基づいて、図9のウィンドウ92に示したような照合用顔展開画像91と照合用特徴領域93とを、表示装置30の画面に表示させるための候補顔画像表示情報を生成する。その後、候補顔画像表示情報生成部64は、候補顔画像表示情報を表示装置30へ送信する。
なお、候補となる人物が複数いる場合、照合用顔展開画像を、照合結果に応じて、順番に表示する。例えば、照合結果が表す照合指標(スコア)が高い順に表示する。
また、ステップB5において、候補顔画像表示情報生成部64は、選択された候補となる人物の頭部の三次元データに基づいて、候補となる人物に対応する照合用顔三次元画像を、表示装置30の画面に表示させるための候補顔三次元画像表示情報を生成してもよい。
ステップB5において、候補顔画像表示情報生成部64は、まず、照合部12の照合結果に基づいて、選択部13により候補となる人物が選択された場合、記憶装置21から、選択された候補となる人物に対応する照合用顔三次元画像と照合用特徴領域とが関連付けられた照合情報を取得する。
続いて、ステップB5において、候補顔画像表示情報生成部64は、取得した照合情報に基づいて、図10のウィンドウ92´に示したような照合用顔三次元画像91´と照合用特徴領域93´とを、表示装置30の画面に表示させるための候補顔画像表示情報を生成する。その後、候補顔画像表示情報生成部64は、候補顔画像表示情報を表示装置30へ送信する。
なお、候補となる人物が複数いる場合、照合用顔展開画像を、照合結果に応じて、順番に表示する。例えば、照合結果が表す照合指標(スコア)が高い順に表示する。
次に、表示装置30は、候補顔画像表示情報を取得して、図9のウィンドウ92に示したような照合用顔展開画像91と照合用特徴領域93とを、画面に表示させる(ステップB6)。又は、ステップB6において、表示装置30は、図10のウィンドウ92´に示したような照合用顔展開画像91´と照合用特徴領域93´とを、画面に表示させてもよい。
[変形例の効果]
以上のように変形例によれば、利用者が照合画像を観察し、利用者が基準顔三次元画像上に特徴領域を指定することで、照合画像の人物が正面を向いていない場合でも、指定した特徴領域を用いて、照合対象となる人物の特定につながる照合支援ができる。
以上のように変形例によれば、利用者が照合画像を観察し、利用者が基準顔三次元画像上に特徴領域を指定することで、照合画像の人物が正面を向いていない場合でも、指定した特徴領域を用いて、照合対象となる人物の特定につながる照合支援ができる。
また、基準顔三次元画像を利用して特徴領域を指定することで、顔向きの変化による、顔の凹凸の影響を低減できるので、特徴のみための位置が変わっても、利用者は、特徴に対応する特徴領域を、基準顔三次元画像上に指定することが容易にできる。
また、撮像装置により撮像されたフレーム画像から人物に対応する画像を抽出し、抽出した画像を用いて照合を実行する照合装置と、照合支援装置とを連携させてもよい。その場合、いずれかのフレーム画像から特徴に対応する画像が検出された場合、現在の照合装置を用いて照合をする照合処理モードから、照合支援装置を用いて照合の支援をする照合支援処理モードへと処理を切り替えてもよい。
また、あらかじめ登録されていた人物と、撮像された人物とが同一人物であると判断された場合、撮像された人物の特徴に基づいて、当該人物に対応する照合用顔展開画像と照合用特徴領域とを編集してもよい。
また、あらかじめ登録されていた人物と、撮像された人物とが同一人物ではないと判断された場合、あらかじめ登録されていた人物と撮像された人物の違いを示す特徴に基づいて、当該人物に対応する照合用顔展開画像と照合用特徴領域とを編集してもよい。
[プログラム]
本発明の変形例におけるプログラムは、コンピュータに、図11に示すステップA1からを実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における照合支援装置と照合支援方法とを実現することができる。この場合、コンピュータのプロセッサは、生成部11、照合部12、選択部13、検出部14、関連付け部15、変換部16、第一の表示情報生成部61、第二の表示情報生成部62、ユーザインタフェース表示情報生成部63、候補顔画像表示情報生成部64、第三の表示情報生成部65として機能し、処理を行なう。
本発明の変形例におけるプログラムは、コンピュータに、図11に示すステップA1からを実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における照合支援装置と照合支援方法とを実現することができる。この場合、コンピュータのプロセッサは、生成部11、照合部12、選択部13、検出部14、関連付け部15、変換部16、第一の表示情報生成部61、第二の表示情報生成部62、ユーザインタフェース表示情報生成部63、候補顔画像表示情報生成部64、第三の表示情報生成部65として機能し、処理を行なう。
また、本実施形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、コンピュータのプロセッサは、生成部11、照合部12、選択部13、検出部14、関連付け部15、変換部16、第一の表示情報生成部61、第二の表示情報生成部62、ユーザインタフェース表示情報生成部63、候補顔画像表示情報生成部64、第三の表示情報生成部65のいずれかとして機能してもよい。
[物理構成]
ここで、実施形態及び変形例におけるプログラムを実行することによって、照合支援装置を実現するコンピュータについて図12を用いて説明する。図12は、本発明の実施形態及び変形例における照合支援装置を実現するコンピュータの一例を示すブロック図である。
ここで、実施形態及び変形例におけるプログラムを実行することによって、照合支援装置を実現するコンピュータについて図12を用いて説明する。図12は、本発明の実施形態及び変形例における照合支援装置を実現するコンピュータの一例を示すブロック図である。
図12に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。なお、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGAを備えていてもよい。
CPU111は、記憶装置113に格納された、本実施形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであってもよい。なお、記録媒体120は、不揮発性記録媒体である。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)などの汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体があげられる。
なお、本実施形態における照合支援装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、照合支援装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
[付記]
以上の実施形態に関し、更に以下の付記を開示する。上述した実施形態の一部又は全部は、以下に記載する(付記1)から(付記12)により表現することができるが、以下の記載に限定されるものではない。
以上の実施形態に関し、更に以下の付記を開示する。上述した実施形態の一部又は全部は、以下に記載する(付記1)から(付記12)により表現することができるが、以下の記載に限定されるものではない。
(付記1)
表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、生成部と、
前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、照合部と、
照合結果に基づいて、候補となる人物を選択する、選択部と、
を有することを特徴とする照合支援装置。
表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、生成部と、
前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、照合部と、
照合結果に基づいて、候補となる人物を選択する、選択部と、
を有することを特徴とする照合支援装置。
(付記2)
付記1に記載の照合支援装置であって、
前記基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、前記照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、前記基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、前記基準顔展開画像で用いる特徴情報に変換する、変換部
を有することを特徴とする照合支援装置。
付記1に記載の照合支援装置であって、
前記基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、前記照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、前記基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、前記基準顔展開画像で用いる特徴情報に変換する、変換部
を有することを特徴とする照合支援装置。
(付記3)
付記1又は2に記載の照合支援装置であって、
前記照合部は、前記特徴領域の位置と前記照合用特徴領域の位置とが近似する数、又は、前記特徴領域の位置と前記照合用特徴領域の位置とのずれ、又は、前記特徴領域の位置と前記照合用特徴領域の位置との関係、又は、それらを組み合わせて、前記照合結果として照合指標を算出する
ことを特徴とする照合支援装置。
付記1又は2に記載の照合支援装置であって、
前記照合部は、前記特徴領域の位置と前記照合用特徴領域の位置とが近似する数、又は、前記特徴領域の位置と前記照合用特徴領域の位置とのずれ、又は、前記特徴領域の位置と前記照合用特徴領域の位置との関係、又は、それらを組み合わせて、前記照合結果として照合指標を算出する
ことを特徴とする照合支援装置。
(付記4)
付記1から3のいずれか一つに記載の照合支援装置であって、
表示装置の画面に表示させた、前記照合対象となる人物の顔を含む画像から前記特徴領域を検出する、検出部と、
検出した前記特徴領域の位置を、前記基準顔展開画像の対応する位置に関連付ける、関連付け部と
を有することを特徴とする照合支援装置。
付記1から3のいずれか一つに記載の照合支援装置であって、
表示装置の画面に表示させた、前記照合対象となる人物の顔を含む画像から前記特徴領域を検出する、検出部と、
検出した前記特徴領域の位置を、前記基準顔展開画像の対応する位置に関連付ける、関連付け部と
を有することを特徴とする照合支援装置。
(付記5)
(a)表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、ステップと、
(b)前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、ステップと、
(c)照合結果に基づいて、候補となる人物を選択する、ステップと、
を有することを特徴とする照合支援方法。
(a)表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、ステップと、
(b)前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、ステップと、
(c)照合結果に基づいて、候補となる人物を選択する、ステップと、
を有することを特徴とする照合支援方法。
(付記6)
付記5に記載の照合支援方法であって、
(d)前記基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、前記照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、前記基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、前記基準顔展開画像で用いる特徴情報に変換する、ステップ
を有することを特徴とする照合支援方法。
付記5に記載の照合支援方法であって、
(d)前記基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、前記照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、前記基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、前記基準顔展開画像で用いる特徴情報に変換する、ステップ
を有することを特徴とする照合支援方法。
(付記7)
付記5又は6に記載の照合支援方法であって、
前記(b)において、前記特徴領域の位置と前記照合用特徴領域の位置とが近似する数、又は、前記特徴領域の位置と前記照合用特徴領域の位置とのずれ、又は、前記特徴領域の位置と前記照合用特徴領域の位置との関係、又は、それら組み合わせて、前記照合結果として照合指標を算出するする、ステップ
を有することを特徴とする照合支援方法。
付記5又は6に記載の照合支援方法であって、
前記(b)において、前記特徴領域の位置と前記照合用特徴領域の位置とが近似する数、又は、前記特徴領域の位置と前記照合用特徴領域の位置とのずれ、又は、前記特徴領域の位置と前記照合用特徴領域の位置との関係、又は、それら組み合わせて、前記照合結果として照合指標を算出するする、ステップ
を有することを特徴とする照合支援方法。
(付記8)
付記5から7のいずれか一つに記載の照合支援方法であって、
(e)表示装置の画面に表示させた、前記照合対象となる人物の顔を含む画像から前記特徴領域を検出し、
(f)検出した前記特徴領域の位置を、前記基準顔展開画像の対応する位置に関連付ける
ことを特徴とする照合支援方法。
付記5から7のいずれか一つに記載の照合支援方法であって、
(e)表示装置の画面に表示させた、前記照合対象となる人物の顔を含む画像から前記特徴領域を検出し、
(f)検出した前記特徴領域の位置を、前記基準顔展開画像の対応する位置に関連付ける
ことを特徴とする照合支援方法。
(付記9)
コンピュータに、
(a)表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、ステップと、
(b)前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、ステップと、
(c)照合結果に基づいて、候補となる人物を選択する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
コンピュータに、
(a)表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、ステップと、
(b)前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、ステップと、
(c)照合結果に基づいて、候補となる人物を選択する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
(付記10)
付記9に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
(d)前記基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、前記照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、前記基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、前記基準顔展開画像で用いる特徴情報に変換する、ステップを実行させる命令を更に含む、
プログラムを記録しているコンピュータ読み取り可能な記録媒体。
付記9に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
(d)前記基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、前記照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、前記基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、前記基準顔展開画像で用いる特徴情報に変換する、ステップを実行させる命令を更に含む、
プログラムを記録しているコンピュータ読み取り可能な記録媒体。
(付記11)
付記9又は10に記載のコンピュータ読み取り可能な記録媒体であって、
前記(b)のステップにおいて、前記特徴領域の位置と前記照合用特徴領域の位置とが近似する数、又は、前記特徴領域の位置と前記照合用特徴領域の位置とのずれ、又は、前記特徴領域の位置と前記照合用特徴領域の位置との関係、又は、それら組み合わせて、前記照合結果として照合指標を算出する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
付記9又は10に記載のコンピュータ読み取り可能な記録媒体であって、
前記(b)のステップにおいて、前記特徴領域の位置と前記照合用特徴領域の位置とが近似する数、又は、前記特徴領域の位置と前記照合用特徴領域の位置とのずれ、又は、前記特徴領域の位置と前記照合用特徴領域の位置との関係、又は、それら組み合わせて、前記照合結果として照合指標を算出する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
(付記12)
付記9から11のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
(e)表示装置の画面に表示させた、前記照合対象となる人物の顔を含む画像から前記特徴領域を検出する、ステップと、
(f)検出した前記特徴領域の位置を、前記基準顔展開画像の対応する位置に関連付ける、ステップを実行させる命令を更に含む、
プログラムを記録しているコンピュータ読み取り可能な記録媒体。
付記9から11のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
(e)表示装置の画面に表示させた、前記照合対象となる人物の顔を含む画像から前記特徴領域を検出する、ステップと、
(f)検出した前記特徴領域の位置を、前記基準顔展開画像の対応する位置に関連付ける、ステップを実行させる命令を更に含む、
プログラムを記録しているコンピュータ読み取り可能な記録媒体。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように本発明によれば、撮像した画像の顔の向きに応じて、照合対象となる人物の顔の皮膚表面にみえる特徴を指定することにより照合ができる。本発明は、監視システム、認証システムなどの照合が必要な分野において有用である。
10 照合支援装置
11 生成部
12 照合部
13 選択部
14 検出部
15 関連付け部
16 変換部
20 撮像装置
21 記憶装置
22 入力装置
30 表示装置
61 第一の表示情報生成部
62 第二の表示情報生成部
63 ユーザインタフェース表示情報生成部
64 候補顔画像表示情報生成部
65 第三の表示情報生成部
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
11 生成部
12 照合部
13 選択部
14 検出部
15 関連付け部
16 変換部
20 撮像装置
21 記憶装置
22 入力装置
30 表示装置
61 第一の表示情報生成部
62 第二の表示情報生成部
63 ユーザインタフェース表示情報生成部
64 候補顔画像表示情報生成部
65 第三の表示情報生成部
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
Claims (12)
- 表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、生成手段と、
前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、照合手段と、
照合結果に基づいて、候補となる人物を選択する、選択手段と、
を有することを特徴とする照合支援装置。 - 請求項1に記載の照合支援装置であって、
前記基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、前記照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、前記基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、前記基準顔展開画像で用いる特徴情報に変換する、変換手段
を有することを特徴とする照合支援装置。 - 請求項1又は2に記載の照合支援装置であって、
前記照合手段は、前記特徴領域の位置と前記照合用特徴領域の位置とが近似する数、又は、前記特徴領域の位置と前記照合用特徴領域の位置とのずれ、又は、前記特徴領域の位置と前記照合用特徴領域の位置との関係、又は、それらを組み合わせて、前記照合結果として照合指標を算出する
ことを特徴とする照合支援装置。 - 請求項1から3のいずれか一つに記載の照合支援装置であって、
表示装置の画面に表示させた、前記照合対象となる人物の顔を含む画像から前記特徴領域を検出する、検出手段と、
検出した前記特徴領域の位置を、前記基準顔展開画像の対応する位置に関連付ける、関連付け手段と
を有することを特徴とする照合支援装置。 - (a)表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成し、
(b)前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合し、
(c)照合結果に基づいて、候補となる人物を選択する
ことを特徴とする照合支援方法。 - 請求項5に記載の照合支援方法であって、
(d)前記基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、前記照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、前記基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、前記基準顔展開画像で用いる特徴情報に変換する
ことを特徴とする照合支援方法。 - 請求項5又は6に記載の照合支援方法であって、
前記(b)において、前記特徴領域の位置と前記照合用特徴領域の位置とが近似する数、又は、前記特徴領域の位置と前記照合用特徴領域の位置とのずれ、又は、前記特徴領域の位置と前記照合用特徴領域の位置との関係、又は、それら組み合わせて、前記照合結果として照合指標を算出する
ことを特徴とする照合支援方法。 - 請求項5から7のいずれか一つに記載の照合支援方法であって、
(e)表示装置の画面に表示させた、前記照合対象となる人物の顔を含む画像から前記特徴領域を検出し、
(f)検出した前記特徴領域の位置を、前記基準顔展開画像の対応する位置に関連付ける
ことを特徴とする照合支援方法。 - コンピュータに、
(a)表示装置の画面に表示させた、基準となる頭部の三次元データに基づいて生成された基準顔展開画像を表示するための基準顔展開画像表示領域を用いて、照合対象となる人物の皮膚表面にみえる前記照合対象となる人物の顔の特徴を表す特徴領域が指定された場合、当該特徴領域に関する特徴情報を生成する、ステップと、
(b)前記特徴情報と、あらかじめ登録された人物ごとの照合用顔展開画像と照合用特徴領域とが関連付けられた照合情報とを照合する、ステップと、
(c)照合結果に基づいて、候補となる人物を選択する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。 - 請求項9に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
(d)前記基準となる頭部の三次元データに基づいて生成された基準顔三次元画像の顔の向きを、前記照合対象となる人物の顔の向きに合わせて表示させる基準顔三次元画像表示領域を用いて特徴領域が指定された場合、前記基準顔三次元画像で指定された当該特徴領域に関する特徴情報を、前記基準顔展開画像で用いる特徴情報に変換する、ステップを実行させる命令を更に含む、
プログラムを記録しているコンピュータ読み取り可能な記録媒体。 - 請求項9又は10に記載のコンピュータ読み取り可能な記録媒体であって、
前記(b)のステップにおいて、前記特徴領域の位置と前記照合用特徴領域の位置とが近似する数、又は、前記特徴領域の位置と前記照合用特徴領域の位置とのずれ、又は、前記特徴領域の位置と前記照合用特徴領域の位置との関係、又は、それら組み合わせて、前記照合結果として照合指標を算出する
ことを特徴とするコンピュータ読み取り可能な記録媒体。 - 請求項9から11のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
(e)表示装置の画面に表示させた、前記照合対象となる人物の顔を含む画像から前記特徴領域を検出する、ステップと、
(f)検出した前記特徴領域の位置を、前記基準顔展開画像の対応する位置に関連付ける、ステップを実行させる命令を更に含む、
プログラムを記録しているコンピュータ読み取り可能な記録媒体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021553967A JP7318725B2 (ja) | 2019-10-30 | 2019-10-30 | 照合支援装置、照合支援方法、及びプログラム |
PCT/JP2019/042675 WO2021084662A1 (ja) | 2019-10-30 | 2019-10-30 | 照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体 |
US17/636,143 US20220398855A1 (en) | 2019-10-30 | 2019-10-30 | Matching support apparatus, matching support method, and computer-readable recording medium |
EP19950251.9A EP4053787A4 (en) | 2019-10-30 | 2019-10-30 | VERIFICATION ASSIST DEVICE, VERIFICATION ASSIST METHOD, AND COMPUTER READABLE RECORDING MEDIA |
CONC2022/0002544A CO2022002544A2 (es) | 2019-10-30 | 2022-03-03 | Aparato de soporte de verificación, método de soporte de verificación, y medio de grabación legible por computador |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/042675 WO2021084662A1 (ja) | 2019-10-30 | 2019-10-30 | 照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021084662A1 true WO2021084662A1 (ja) | 2021-05-06 |
Family
ID=75714956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/042675 WO2021084662A1 (ja) | 2019-10-30 | 2019-10-30 | 照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220398855A1 (ja) |
EP (1) | EP4053787A4 (ja) |
JP (1) | JP7318725B2 (ja) |
CO (1) | CO2022002544A2 (ja) |
WO (1) | WO2021084662A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023188159A1 (ja) * | 2022-03-30 | 2023-10-05 | 日本電気株式会社 | 特徴設定装置、特徴設定方法、及び非一時的なコンピュータ可読媒体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005275605A (ja) * | 2004-03-23 | 2005-10-06 | Sanyo Electric Co Ltd | 個人認証装置および個人認証方法 |
JP2007304857A (ja) | 2006-05-11 | 2007-11-22 | Konica Minolta Holdings Inc | 認証システム、認証方法、及びプログラム |
JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006520055A (ja) * | 2003-03-06 | 2006-08-31 | アニメトリックス,インク. | 2次元画像からの3次元オブジェクトの不変視点検出および識別 |
WO2020071162A1 (ja) * | 2018-10-01 | 2020-04-09 | 株式会社システムスクエア | 教師データ生成装置及び教師データ生成プログラム |
-
2019
- 2019-10-30 US US17/636,143 patent/US20220398855A1/en active Pending
- 2019-10-30 WO PCT/JP2019/042675 patent/WO2021084662A1/ja unknown
- 2019-10-30 JP JP2021553967A patent/JP7318725B2/ja active Active
- 2019-10-30 EP EP19950251.9A patent/EP4053787A4/en active Pending
-
2022
- 2022-03-03 CO CONC2022/0002544A patent/CO2022002544A2/es unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005275605A (ja) * | 2004-03-23 | 2005-10-06 | Sanyo Electric Co Ltd | 個人認証装置および個人認証方法 |
JP2007304857A (ja) | 2006-05-11 | 2007-11-22 | Konica Minolta Holdings Inc | 認証システム、認証方法、及びプログラム |
JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP4053787A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023188159A1 (ja) * | 2022-03-30 | 2023-10-05 | 日本電気株式会社 | 特徴設定装置、特徴設定方法、及び非一時的なコンピュータ可読媒体 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021084662A1 (ja) | 2021-05-06 |
EP4053787A1 (en) | 2022-09-07 |
JP7318725B2 (ja) | 2023-08-01 |
EP4053787A4 (en) | 2022-10-26 |
CO2022002544A2 (es) | 2022-04-08 |
US20220398855A1 (en) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7365445B2 (ja) | コンピューティング装置及び方法 | |
EP2842075B1 (en) | Three-dimensional face recognition for mobile devices | |
US9262671B2 (en) | Systems, methods, and software for detecting an object in an image | |
JP5024067B2 (ja) | 顔認証システム、方法及びプログラム | |
USRE45768E1 (en) | Method and system for enhancing three dimensional face modeling using demographic classification | |
JP4830650B2 (ja) | 追跡装置 | |
CN107590430A (zh) | 活体检测方法、装置、设备及存储介质 | |
US20070098230A1 (en) | Authentication system, registration system, and program | |
TW202011315A (zh) | 資源轉移方法、裝置及系統 | |
US20210144009A1 (en) | Device with biometric system | |
US20070050639A1 (en) | Authentication apparatus and authentication method | |
JP2009245338A (ja) | 顔画像照合装置 | |
JP5787686B2 (ja) | 顔認識装置、及び顔認識方法 | |
WO2019003973A1 (ja) | 顔認証装置、顔認証方法およびプログラム記録媒体 | |
US20230306792A1 (en) | Spoof Detection Based on Challenge Response Analysis | |
TWI526953B (zh) | 人臉辨識方法及系統 | |
WO2021084662A1 (ja) | 照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体 | |
WO2021084661A1 (ja) | 照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体 | |
JP2008059108A (ja) | 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム | |
JP2007213582A (ja) | デジタル画像データ内のオブジェクト・パーツの場所を特定する方法および装置 | |
US11481940B2 (en) | Structural facial modifications in images | |
WO2020095400A1 (ja) | 特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体 | |
JP2009031996A (ja) | 画像照合装置 | |
JP2018200592A (ja) | 顔認証装置、顔認証方法、及びプログラム | |
WO2024105778A1 (ja) | 情報処理装置、情報処理方法、及び、記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19950251 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021553967 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019950251 Country of ref document: EP Effective date: 20220530 |