JP4640416B2 - Face authentication apparatus, system, method and program - Google Patents

Face authentication apparatus, system, method and program Download PDF

Info

Publication number
JP4640416B2
JP4640416B2 JP2008016250A JP2008016250A JP4640416B2 JP 4640416 B2 JP4640416 B2 JP 4640416B2 JP 2008016250 A JP2008016250 A JP 2008016250A JP 2008016250 A JP2008016250 A JP 2008016250A JP 4640416 B2 JP4640416 B2 JP 4640416B2
Authority
JP
Japan
Prior art keywords
image
feature point
feature points
comparison target
superimposing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008016250A
Other languages
Japanese (ja)
Other versions
JP2009176208A (en
Inventor
武 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008016250A priority Critical patent/JP4640416B2/en
Publication of JP2009176208A publication Critical patent/JP2009176208A/en
Application granted granted Critical
Publication of JP4640416B2 publication Critical patent/JP4640416B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)

Description

本発明は、顔画像を基に人物を認証する装置、システム、方法及びプログラムに関し、顔画像として写された人物の同一性を操作者の技量によらずに判定できる顔認証装置、システム、方法及びプログラムに関する。   The present invention relates to an apparatus, system, method, and program for authenticating a person based on a face image, and relates to a face authentication apparatus, system, and method that can determine the identity of a person imaged as a face image without depending on the skill of the operator. And programs.

公的機関からは運転免許証やパスポートなどといった顔写真付きの証明書が発行されている。   Certificates with facial photographs such as driver's licenses and passports are issued by public institutions.

身元を隠そうとしたり、不正に出入国しようとする者（以下、犯罪者等という）がこのような証明書を不正に使用する手法としては、かつては偽造した証明書を使用するという手口が主流であった。   As a technique for illegally using such a certificate by those who try to hide their identity or who improperly enter or leave (hereinafter referred to as criminals, etc.) there were.

近年、紙質やインクの成分を高精度に分析できる機械が実用化されており、本物とは異なる紙やインクを用いて偽造した証明書を見破ることが容易になっている。   In recent years, machines capable of analyzing paper quality and ink components with high accuracy have been put into practical use, and it has become easy to find a certificate that has been forged using paper or ink that is different from the real one.

また、証明書自体にＩＣチップを埋め込むことも行われるようになったため、証明書の偽造は困難となっている。   Further, since the IC chip is also embedded in the certificate itself, it is difficult to forge the certificate.

このため、近年では、犯罪者等は、自分と顔立ちの似た別人のパスポートを入手し、本人になりすまして使用するといった手口を用いるようになってきた。   For this reason, in recent years, criminals have come to use techniques such as obtaining a passport of another person whose face is similar to that of the person and impersonating the person himself / herself.

この背景には、インターネットや携帯電話端末の普及によって情報化社会が実現されたために、犯罪者等は他人のパスポートを容易に入手できるようになったことがある。   In this background, an information society has been realized by the spread of the Internet and mobile phone terminals, so that criminals can easily obtain passports of others.

この手口の場合、証明書自体は本物であるから、どれだけ分析機器の精度が向上しても別人による証明書の不正使用を防ぐことはできない。すなわち、証明書の別人による不正使用を防止するためには、証明書に添付された顔写真が所持者と別人であることを科学的に証明する必要がある。   In this way, the certificate itself is authentic, and no matter how much the accuracy of the analytical instrument is improved, it is not possible to prevent unauthorized use of the certificate by another person. In other words, in order to prevent unauthorized use of a certificate by another person, it is necessary to scientifically prove that the face photograph attached to the certificate is different from the holder.

このため、証明書の所持者を撮影した画像と、証明書に添付されている写真の画像とを比較して、人物の同一性を科学的に判定することが行われている。   For this reason, the identity of a person is scientifically determined by comparing an image taken of the certificate holder with an image of a photograph attached to the certificate.

顔画像の人物の同一性を判定する場合には、２枚の画像のそれぞれ対応する特定の点（両目の瞳の位置など）を照合し、重ね合わせるスーパーインポーズを用いることが一般的である。   When determining the identity of a person in a face image, it is common to use a superimposition in which specific points (such as the positions of eyes of both eyes) corresponding to each of two images are collated and superimposed. .

スーパーインポーズに関する発明としては、特許文献１に開示される「頭蓋骨スーパーインポーズ方法と装置」がある。
特開２００２−３６９８１２号公報 As an invention related to superimposing, there is a “skull superimposing method and apparatus” disclosed in Patent Document 1.
JP 2002-369812 A

しかし、スーパーインポーズを行うためには、２枚の画像の大きさを合わせたり、回転させたり、位置を合わせたりする操作を手動で行わなければならない。このため、作業者には長年の経験と熟練した技術が要求される。   However, in order to perform superimpose, operations for adjusting the size of two images, rotating them, and adjusting their positions must be performed manually. For this reason, workers are required to have many years of experience and skill.

また、作業者の技能によって同一性の判定結果が異なることもあり、判定結果の信頼性にも問題があった。   Further, the determination result of the identity may differ depending on the skill of the worker, and there is a problem in the reliability of the determination result.

本発明は係る問題に鑑みてなされたものであり、顔画像として写された人物の同一性を操作者の技量によらずに判定できる顔認証装置、システム、方法及びプログラムを提供することを目的とする。   The present invention has been made in view of such problems, and an object thereof is to provide a face authentication device, system, method, and program capable of determining the identity of a person captured as a face image without depending on the skill of the operator. And

上記目的を達成するため、本発明は、第１の態様として、判定対象者の顔の画像を撮影する撮像手段と、比較対象画像を取得する比較対象取得手段と、撮影手段が撮影した撮影画像及び比較対象画像の各々に写された顔画像から特定の特徴点をそれぞれ抽出する第１の特徴点抽出手段と、撮影画像及び比較対象画像を、特定の特徴点の位置が一致するように重ね合わせる画像重ね合わせ手段と、第１の特徴点抽出手段が抽出した特定の特徴点のうち、画像重ね合わせ手段が重ね合わせに用いたもの以外の特徴点の位置を、重ね合わせた撮影画像及び比較対象画像上に表示する第１の特徴点表示手段とを有することを特徴とする顔認証装置を提供するものである。   In order to achieve the above object, the present invention provides, as a first aspect, an imaging unit that captures an image of a face of a person to be determined, a comparison target acquisition unit that acquires a comparison target image, and a captured image captured by the imaging unit. And a first feature point extracting means for extracting specific feature points from the face image copied to each of the comparison target images, and the photographed image and the comparison target image are overlapped so that the positions of the specific feature points coincide with each other. Among the specific feature points extracted by the image superimposing means to be matched and the first feature point extracting means, the positions of the feature points other than those used for the superimposition by the image superimposing means are compared with the captured image and the comparison. The present invention provides a face authentication device having first feature point display means for displaying on a target image.

また、上記目的を達成するため、本発明は、第２の態様として、判定対象者の顔の画像を撮影する撮像装置と、情報処理装置とを備えた顔認証システムであって、情報処理装置は、比較対象画像を取得する比較対象取得手段と、撮影装置から入力された撮影画像及び比較対象画像の各々に写された顔画像から特定の特徴点をそれぞれ抽出する第１の特徴点抽出手段と、撮影画像及び比較対象画像を、特定の特徴点の位置が一致するように重ね合わせる画像重ね合わせ手段と、第１の特徴点抽出手段が抽出した特定の特徴点のうち、画像重ね合わせ手段が重ね合わせに用いたもの以外の特徴点の位置を、重ね合わせた撮影画像及び比較対象画像上に表示する第１の特徴点表示手段とを有することを特徴とする顔認証システムを提供するものである。   In order to achieve the above object, according to a second aspect of the present invention, there is provided a face authentication system including an imaging device that captures an image of a face of a determination target person and an information processing device, the information processing device Includes a comparison target acquisition unit that acquires a comparison target image, and a first feature point extraction unit that extracts specific feature points from the captured image input from the imaging apparatus and the face image copied to each of the comparison target images. And an image superimposing unit that superimposes the captured image and the comparison target image so that the positions of the specific feature points coincide with each other, and an image superimposing unit among the specific feature points extracted by the first feature point extracting unit. Providing a face authentication system comprising first feature point display means for displaying the positions of feature points other than those used for superimposing on the superimposed photographed image and the comparison target image In .

また、上記目的を達成するため、本発明は、第３の態様として、判定対象者の顔の画像を撮影する撮像工程と、比較対象画像を取得する比較対象取得工程と、撮影工程において撮影した撮影画像及び比較対象画像の各々に写された顔画像から特定の特徴点をそれぞれ抽出する第１の特徴点抽出工程と、撮影画像及び比較対象画像を、特定の特徴点の位置が一致するように重ね合わせる画像重ね合わせ工程と、第１の特徴点抽出工程において抽出した特定の特徴点のうち、画像重ね合わせ工程において重ね合わせに用いたもの以外の特徴点の位置を、重ね合わせた撮影画像及び比較対象画像上に表示する第１の特徴点表示工程とを有することを特徴とする顔認証方法を提供するものである。   Moreover, in order to achieve the said objective, this invention image | photographed in the imaging process which image | photographs the image of a judgment object person's face, the comparison object acquisition process which acquires a comparison object image, and an imaging process as a 3rd aspect. The first feature point extracting step for extracting specific feature points from the face image captured in each of the photographed image and the comparison target image and the photographed image and the comparison target image so that the positions of the specific feature points coincide with each other. Of the specific feature points extracted in the image superimposition step and the first feature point extraction step, and the positions of the feature points other than those used for the superposition in the image superimposition step. And a first feature point display step for displaying on the comparison target image.

また、上記目的を達成するため、本発明は、第４の態様として、コンピュータに、判定対象者を撮影して得られた撮影画像及び比較対象画像の各々に写された顔画像から特定の特徴点をそれぞれ抽出する第１の特徴点抽出工程と、撮影画像及び比較対象画像を、特定の特徴点の位置が一致するように重ね合わせる画像重ね合わせ工程と、第１の特徴点抽出工程において抽出した特定の特徴点のうち、画像重ね合わせ工程において重ね合わせに用いたもの以外の特徴点の位置を、重ね合わせた撮影画像及び比較対象画像上に表示する第１の特徴点表示工程とを実行させることを特徴とする顔認証プログラムを提供するものである。   In order to achieve the above object, as a fourth aspect, the present invention provides a specific feature from a captured image obtained by photographing a person to be determined and a face image copied on each comparison target image on a computer. Extracted in a first feature point extracting step for extracting points, an image superimposing step for superimposing a captured image and a comparison target image so that the positions of specific feature points coincide, and a first feature point extracting step The first feature point display step of displaying the positions of the feature points other than those used for the superimposition in the image superimposing step on the superposed captured image and the comparison target image is executed A face authentication program is provided.

本発明によれば、顔画像として写された人物の同一性を操作者の技量によらずに判定できる顔認証装置、システム、方法及びプログラムを提供できる。   ADVANTAGE OF THE INVENTION According to this invention, the face authentication apparatus, system, method, and program which can determine the identity of the person imaged as a face image irrespective of an operator's skill can be provided.

本発明に係る顔認証装置は、図１に示すように、判定対象者の顔の画像を撮影する撮像部１１１と、比較対象画像を取得する比較対象取得部１２１と、撮影部が撮影した撮影画像及び比較対象画像の各々に写された顔画像から特定の特徴点をそれぞれ抽出する特徴点抽出部１２２と、撮影画像及び比較対象画像を、特定の特徴点の位置が一致するように重ね合わせる重ね合わせ処理部１２３と、特徴点抽出部１２２が抽出した特定の特徴点のうち、重ね合わせ処理部１２３が重ね合わせに用いたもの以外の特徴点の位置を、重ね合わせた撮影画像及び比較対象画像上に表示する特徴点表示部１２４とを有することを特徴とするものである。   As shown in FIG. 1, the face authentication device according to the present invention includes an imaging unit 111 that captures an image of a face of a determination target person, a comparison target acquisition unit 121 that acquires a comparison target image, and a shooting that is captured by the capturing unit. A feature point extraction unit 122 that extracts specific feature points from the face image captured in each of the image and the comparison target image, and the captured image and the comparison target image are overlapped so that the positions of the specific feature points coincide with each other. Of the specific feature points extracted by the overlay processing unit 123 and the feature point extraction unit 122, the positions of feature points other than those used by the overlay processing unit 123 for overlaying are captured images and comparison targets. And a feature point display unit 124 displayed on the image.

このような構成とすることにより、画像の重ね合わせに用いていない特徴点を重ね合わせた撮影画像及び比較対象画像上に表示できるため、表示された特徴点の位置が撮影画像と比較対象画像とでずれているか否かに基づいて、判定対象者が比較対象画像に写された人物と同一であるか否かを操作者の技量によらずに判定できる。
なお、図２に示すように、撮像装置２００と情報処理装置３００とを有するシステムとして構成することも可能である。 By adopting such a configuration, since the feature points that are not used for image superimposition can be displayed on the captured image and the comparison target image, the positions of the displayed feature points are the same as the captured image and the comparison target image. Whether or not the determination target person is the same as the person shown in the comparison target image can be determined regardless of the skill of the operator.
Note that, as shown in FIG. 2, a system including an imaging device 200 and an information processing device 300 may be configured.

以下、本発明の好適な実施の形態について説明する。   Hereinafter, preferred embodiments of the present invention will be described.

〔第１の実施形態〕
本発明を好適に実施した第１の実施形態について説明する。
図３に、本実施形態に係る顔認証システムの構成を示す。
このシステムは、撮像装置１と認証処理装置２とを有する。撮像装置１は、判定対象者の顔画像を撮影するための装置であり、撮像部１１を有する。認証処理装置２は、比較対象画像取得部２１と、特徴点抽出部２２と、変換処理部２３と、重ね合わせ処理部２４と、比較補助線生成部２５と、表示部２６とを有する。 [First Embodiment]
A first embodiment in which the present invention is suitably implemented will be described.
FIG. 3 shows the configuration of the face authentication system according to the present embodiment.
This system includes an imaging device 1 and an authentication processing device 2. The imaging apparatus 1 is an apparatus for capturing a face image of a determination target person, and includes an imaging unit 11. The authentication processing apparatus 2 includes a comparison target image acquisition unit 21, a feature point extraction unit 22, a conversion processing unit 23, an overlay processing unit 24, a comparison auxiliary line generation unit 25, and a display unit 26.

比較対象画像取得部２１は、撮像装置１から入力される画像と比較する対象となる顔画像のデータを取得する。例えば、顔写真付き身分証に添付されている写真を光学的に読み取ることにより顔画像の画像データを取得する。特徴点抽出部２２は、撮影画像及び比較対象画像のそれぞれから特徴点（骨格によって定まり、肉付きの変化や年齢の増加によっては変動しない、顔認証において基準となる部位の位置）を抽出する。特徴点は、正面を見た状態での瞳の中心、目頭、目尻、鼻孔、***の中央、耳の穴などであり、その箇所は公知である。なお、特徴点の抽出方法は、公知技術を適用可能であるため、詳細な説明は省略する。変換処理部２３は、抽出された特定の特徴点の位置が撮像画像と比較対象画像とで一致するように撮影画像及び比較対象画像の少なくとも一方の大きさ、傾きなどを変換する。重ね合わせ処理部２４は、変換処理部２３によって大きさや傾きが調整された撮像画像と比較対象画像とを重ね合わせる。比較補助線生成部２５は、重ね合わせ処理部２４が画像の重ね合わせに用いた特徴点（後述する位置合わせ用特徴点）以外の特定の特徴点（後述する照合用特徴点）、又は、これらを結ぶ線を重ね合わせ画像の上に描画する。表示部２６は、特徴点やこれらを結ぶ線が描画された重ね合わせ画像を表示する。   The comparison target image acquisition unit 21 acquires face image data to be compared with an image input from the imaging apparatus 1. For example, image data of a face image is acquired by optically reading a photograph attached to a face photo identification card. The feature point extraction unit 22 extracts a feature point (a position of a part serving as a reference in face authentication, which is determined by a skeleton and does not vary depending on a flesh change or an increase in age) from each of the captured image and the comparison target image. The characteristic points are the center of the pupil when viewed from the front, the eyes, the corners of the eyes, the nostrils, the center of the lips, the ear holes, and the like, and the locations are known. Note that a known technique can be applied to the feature point extraction method, and thus detailed description thereof is omitted. The conversion processing unit 23 converts the size, inclination, and the like of at least one of the captured image and the comparison target image so that the position of the extracted specific feature point matches between the captured image and the comparison target image. The superposition processing unit 24 superimposes the captured image whose size and inclination are adjusted by the conversion processing unit 23 and the comparison target image. The comparison auxiliary line generation unit 25 includes specific feature points (matching feature points to be described later) other than the feature points (positioning feature points to be described later) used by the overlay processing unit 24 to superimpose images, or these A line connecting the lines is drawn on the superimposed image. The display unit 26 displays a superimposed image in which feature points and lines connecting them are drawn.

本実施形態に係る顔認証システムの動作について説明する。図４に、本実施形態に係る顔認証システムの動作の流れを示す。
まず、判定対象者の顔画像を撮像装置１にて撮影し、撮像部１１で撮影した画像（撮影画像）のデータを認証処理装置２へ入力する（ステップＳ１０１）。また、判定対象者が所持している身分証に添付されている写真から顔画像のデータを取得する（ステップＳ１０２）。 The operation of the face authentication system according to this embodiment will be described. FIG. 4 shows an operation flow of the face authentication system according to the present embodiment.
First, a face image of a person to be determined is photographed by the imaging device 1, and data of an image (captured image) photographed by the imaging unit 11 is input to the authentication processing device 2 (step S101). Further, face image data is acquired from a photograph attached to an identification card possessed by the person to be judged (step S102).

撮影画像及び比較対象画像のそれぞれのデータを取得すると、特徴点抽出部２２は、撮影画像及び比較対象画像のそれぞれから、特定の２以上の特徴点（例えば両目の瞳の中心）とこれらとは別の１以上の特徴点（例えば上唇の中央）とを抽出する（ステップＳ１０２）。ここで、前者を「位置合わせ用特徴点」、後者を「照合用特徴点」と称する。なお、位置合わせ用特徴点はできるだけ離れた位置にあることが好ましい。例えば、左右の鼻の穴を位置合わせ用特徴点として抽出するよりも、左右の耳の穴を位置合わせ用特徴点として抽出するほうが、特徴点同士の間隔が広いので好ましい。位置合わせ用特徴点及び照合用特徴点としてどの特徴点を抽出するかは任意であるが、それらの部位は撮影画像及び比較対象画像で共通である。図５に、位置合わせ用特徴点及び照合用特徴点の抽出例を示す。ここでは位置合わせ用特徴点として両目の瞳の中心を、照合用特徴点として右目の目尻及び上唇の中央を抽出する例を示している。   When the respective data of the captured image and the comparison target image are acquired, the feature point extraction unit 22 determines, from the captured image and the comparison target image, two or more specific feature points (for example, the center of the eyes of both eyes) and these. Another one or more feature points (for example, the center of the upper lip) are extracted (step S102). Here, the former is referred to as “positioning feature point” and the latter is referred to as “matching feature point”. Note that the alignment feature point is preferably located as far as possible. For example, it is preferable to extract the left and right ear holes as alignment feature points because the distance between the feature points is wider than extracting the right and left nostrils as alignment feature points. Which feature point is extracted as the alignment feature point and the matching feature point is arbitrary, but these parts are common to the captured image and the comparison target image. FIG. 5 shows an example of extracting feature points for alignment and feature points for matching. Here, an example is shown in which the center of the eyes of both eyes is extracted as the alignment feature point, and the center of the right eye corner and upper lip is extracted as the matching feature point.

変換処理部２３は、位置合わせ用特徴点の位置が撮像画像と比較対象画像とで一致するように撮影画像の大きさ、傾きなどを調整する（ステップＳ１０３）。ここでは、撮影画像の大きさ、傾きを変化させる場合を例としているが、比較対象画像の大きさや傾きを変化させても良いし、撮影画像及び比較対象画像の双方の大きさ、傾きを変化させて調整しても良い。図６に、位置合わせ用特徴点の位置が撮像画像と比較対象画像とで一致するように撮影画像の大きさ、傾きなどを調整した例を示す。   The conversion processing unit 23 adjusts the size, inclination, and the like of the captured image so that the position of the alignment feature point matches between the captured image and the comparison target image (step S103). Here, the case of changing the size and inclination of the captured image is taken as an example, but the size and inclination of the comparison target image may be changed, or the size and inclination of both the captured image and the comparison target image are changed. You may adjust it. FIG. 6 shows an example in which the size, inclination, etc. of the captured image are adjusted so that the position of the alignment feature point matches between the captured image and the comparison target image.

重ね合わせ処理部２４は、変換処理部２３によって大きさや傾きが調整された撮像画像を、位置合わせ用特徴点の位置が一致するように比較対象画像に重ね合わせ、重ね合わせ画像を生成する（ステップＳ１０４）。   The superimposition processing unit 24 superimposes the captured image, the size and inclination of which have been adjusted by the conversion processing unit 23, on the comparison target image so that the positions of the alignment feature points coincide with each other, thereby generating a superposed image (step). S104).

比較補助線生成部２５は、撮影画像及び比較対象画像の照合用特徴点、又は照合用特徴点を結ぶ線（以下、比較補助線という）を重ね合わせ画像の上に描画する（ステップＳ１０５）。この際、照合用特徴点や比較補助線は、撮影画像のものと比較対象画像のものとを異なる色や形状で描画することが好ましい。   The comparison auxiliary line generation unit 25 draws a matching feature point between the captured image and the comparison target image or a line connecting the matching feature points (hereinafter referred to as a comparison auxiliary line) on the superimposed image (step S105). At this time, it is preferable that the feature point for comparison and the comparison auxiliary line are drawn with different colors and shapes for the captured image and the comparison target image.

表示部２６は、照合用特徴点や比較補助線が描画された重ね合わせ画像を表示する（ステップＳ１０６）。   The display unit 26 displays the superimposed image in which the matching feature points and the comparison auxiliary lines are drawn (step S106).

システムのユーザは、照合用特徴点や比較補助線の位置が、撮影画像と比較対象画像とで一致するか否かに基づいて、判定対象者が身分証の正当な所有者であるか否かを判断できる。図７に示す例では、（ａ）の場合は、比較補助線の位置が撮影対象画像と比較対象画像とで一致しないため、判定対象者が身分証の正当な所有者ではないと判断できる。一方、（ｂ）の場合は、比較補助線の位置が撮影対象画像と比較対象画像とで一致するため、判定対象者が身分証の正当な所有者であると判断できる。 The user of the system determines whether or not the person to be judged is a legitimate owner of the identification card based on whether or not the positions of the feature points for comparison and the comparison auxiliary line match between the captured image and the comparison target image. Can be judged. In the example shown in FIG. 7, in the case of (a), since the position of the comparison auxiliary line does not match between the image to be captured and the image to be compared, it can be determined that the determination target person is not a valid owner of the identification card. On the other hand, in the case of (b), since the position of the comparison auxiliary line matches between the image to be captured and the image to be compared, it can be determined that the determination target person is a valid owner of the identification card.

本実施形態に係る顔認証システムは、比較補助線が重ね合わせ画像上に自動的に描画されるため、撮影画像に写された人物と、比較対象画像に写された人物とが同一人物であるか否かを客観的に判断できる。すなわち、スーパーインポーズ操作を行う者の技量に左右されることなく、同じ結果が得られるため、客観的な判断が可能である。   In the face authentication system according to the present embodiment, since the comparison auxiliary line is automatically drawn on the superimposed image, the person photographed in the captured image and the person photographed in the comparison target image are the same person. It can be objectively determined whether or not. In other words, the same result can be obtained without being influenced by the skill of the person who performs the superimpose operation, so an objective judgment can be made.

〔第２の実施形態〕
本発明を好適に実施した第２の実施形態について説明する。図８に、本実施形態に係る顔認証システムの構成を示す。このシステムは、撮像装置３と認証処理装置４とを有する。 [Second Embodiment]
A second embodiment in which the present invention is suitably implemented will be described. FIG. 8 shows a configuration of the face authentication system according to the present embodiment. This system includes an imaging device 3 and an authentication processing device 4.

撮像装置３は、比較対象者の顔画像を撮影するための撮像部３１とユーザに情報を表示するための表示部３２とを有する。   The imaging device 3 includes an imaging unit 31 for capturing a face image of the person to be compared and a display unit 32 for displaying information to the user.

認証処理装置４は、比較対象画像取得部４１、特徴点抽出部４２、重ね合わせ処理部４３、補助線生成部４４及び表示部４５を有する。比較対象画像取得部４１は、撮像装置３から入力される画像と比較する対象となる顔画像のデータを取得する。例えば、顔写真付き身分証に添付されている写真を光学的に読み取ることにより顔画像の画像データを取得する。特徴点抽出部４２は、撮影装置３から入力された撮影画像及び比較対象画像取得部４１が取得した比較対象画像から特徴点を抽出する。重ね合わせ処理部４３は、撮像画像と比較対象画像とを重ね合わせる。補助線生成部４４は、特徴点抽出部４２が抽出した特徴点（又は、二つの特定の特徴点を結ぶ線分）を示す画像上に描画する。表示部４５は、特徴点又はそれらを結ぶ線が描画された画像を表示する。   The authentication processing device 4 includes a comparison target image acquisition unit 41, a feature point extraction unit 42, an overlay processing unit 43, an auxiliary line generation unit 44, and a display unit 45. The comparison target image acquisition unit 41 acquires face image data to be compared with an image input from the imaging device 3. For example, image data of a face image is acquired by optically reading a photograph attached to a face photo identification card. The feature point extraction unit 42 extracts feature points from the captured image input from the imaging device 3 and the comparison target image acquired by the comparison target image acquisition unit 41. The overlay processing unit 43 superimposes the captured image and the comparison target image. The auxiliary line generation unit 44 draws the image on the image indicating the feature points extracted by the feature point extraction unit 42 (or a line segment connecting two specific feature points). The display unit 45 displays an image in which feature points or lines connecting them are drawn.

本実施形態に係る顔認証システムの動作について説明する。図９に、本実施形態に係る顔認証システムの動作の流れを示す。
まず、認証処理装置４は、比較対象画像取得部４１によって比較対象画像の画像データを取得する（ステップＳ２０１）。次に、特徴点抽出部４２は、比較対象画像から特定の２以上の特徴点（例えば両目の瞳の中心）を抽出する（ステップＳ２０２）。以下、これらの特徴点を「位置合わせ用特徴点」という。
続いて、補助線生成部４４は、比較対象画像上に位置合わせ用特徴点、又は位置合わせ用特徴点同士を結ぶ線（以下、撮影補助線という）を描画し補助画像を生成する（ステップＳ２０３）。 The operation of the face authentication system according to this embodiment will be described. FIG. 9 shows a flow of operations of the face authentication system according to the present embodiment.
First, the authentication processing device 4 acquires image data of a comparison target image by the comparison target image acquisition unit 41 (step S201). Next, the feature point extraction unit 42 extracts two or more specific feature points (for example, the centers of the eyes of both eyes) from the comparison target image (step S202). Hereinafter, these feature points are referred to as “positioning feature points”.
Subsequently, the auxiliary line generation unit 44 draws an alignment feature point or a line connecting the alignment feature points (hereinafter referred to as an imaging auxiliary line) on the comparison target image to generate an auxiliary image (step S203). ).

認証処理装置４は補助画像を撮像装置１へ送信する（ステップＳ２０４）。   The authentication processing device 4 transmits the auxiliary image to the imaging device 1 (step S204).

撮像装置３は、画像撮影時に表示部３１に補助画像を表示する（ステップＳ２０５）。撮影者は表示部３１に表示された撮影補助線に合わせて（例えば、表示部３１に表示された位置合わせ用特徴点が両目の瞳の中心と一致するようにして）比較対象者を撮影し、撮像部３１によって撮像画像のデータを生成する（ステップＳ２０６）。撮像装置３は、撮像画像を認証処理装置４へ送信する（ステップＳ２０７）。   The imaging device 3 displays an auxiliary image on the display unit 31 at the time of image shooting (step S205). The photographer photographs the comparison subject in accordance with the photographing auxiliary line displayed on the display unit 31 (for example, the alignment feature point displayed on the display unit 31 matches the center of the eyes of both eyes). The captured image data is generated by the imaging unit 31 (step S206). The imaging device 3 transmits the captured image to the authentication processing device 4 (step S207).

撮影画像のデータが認証処理装置４に入力されると、特徴点抽出部４２は、撮影画像及び比較対象画像のそれぞれから、位置合わせ用特徴点とは別の１以上の特徴点を抽出する（ステップＳ２０８）。以下、この特徴点を「照合用特徴点」という。照合用特徴点としてどの特徴点を抽出するかは任意であるが、照合用特徴点とする部位は撮影画像及び比較対象画像で共通である。   When the captured image data is input to the authentication processing device 4, the feature point extraction unit 42 extracts one or more feature points different from the alignment feature points from each of the captured image and the comparison target image ( Step S208). Hereinafter, this feature point is referred to as a “matching feature point”. Which feature point is extracted as the matching feature point is arbitrary, but the part to be the matching feature point is common to the captured image and the comparison target image.

重ね合わせ処理部４３は、撮像画像と比較対象画像に重ね合わせ、重ね合わせ画像を生成する（ステップＳ２０９）。   The overlay processing unit 43 overlays the captured image and the comparison target image to generate a superimposed image (step S209).

補助線生成部４４は、撮影画像及び比較対象画像の照合用特徴点、又は照合用特徴点を結ぶ線（以下、比較補助線という）を重ね合わせ画像の上に描画する（ステップＳ２１０）。この際、照合用特徴点や比較補助線は、撮影画像のものと比較対象画像のものとを異なる色や形状で描画することが好ましい。   The auxiliary line generation unit 44 draws a matching feature point between the captured image and the comparison target image or a line connecting the matching feature points (hereinafter referred to as a comparison auxiliary line) on the superimposed image (step S210). At this time, it is preferable that the matching feature point and the comparison auxiliary line are drawn with different colors and shapes in the captured image and the comparison target image.

表示部４５は、照合用特徴点や比較補助線が描画された重ね合わせ画像を表示する（ステップＳ２１１）。   The display unit 45 displays the superimposed image in which the matching feature points and the comparison auxiliary lines are drawn (step S211).

システムのユーザは、照合用特徴点や比較補助線の位置が、撮影画像と比較対象画像とで一致するか否かに基づいて、判定対象者が身分証の正当な所有者であるか否かを判断できる。   The user of the system determines whether or not the person to be judged is a legitimate owner of the identification card based on whether or not the positions of the feature points for comparison and the comparison auxiliary line match between the captured image and the comparison target image. Can be judged.

本実施形態に係る顔認証システムでは、判定対象者の画像を撮影する際に、比較対象画像と大きさや傾きが一致する状態で撮影できるため、スーパーインポーズ時に画像の大きさや傾きを変化させる必要が無い。   In the face authentication system according to the present embodiment, when taking an image of a person to be judged, it is possible to shoot in a state in which the size and inclination of the comparison target image coincide with each other. There is no.

この他の効果については、第１の実施形態と同様である。   Other effects are the same as those of the first embodiment.

〔第３の実施形態〕
本発明を好適に実施した第３の実施形態について説明する。
図１０に、本実施形態に係る顔認証システムを示す。このシステムは、撮像装置５及び認証処理装置６を有する。撮像装置５は、撮像部５１、表示部５２、特徴点抽出部５３、撮影補助線生成部５４を有する。なお、認証処理装置６は、第２の実施形態の認証処理装置４と同様である。 [Third Embodiment]
A third embodiment in which the present invention is preferably implemented will be described.
FIG. 10 shows a face authentication system according to this embodiment. This system includes an imaging device 5 and an authentication processing device 6. The imaging device 5 includes an imaging unit 51, a display unit 52, a feature point extraction unit 53, and a shooting auxiliary line generation unit 54. Note that the authentication processing device 6 is the same as the authentication processing device 4 of the second embodiment.

撮像部５１及び表示部５２は、第２の実施形態の撮像部３１及び表示部３２と同様である。特徴点抽出部５３は、撮像部５１から入力されるプレビュー画像から特定の二つの特徴点（位置合わせ用特徴点）を抽出する。撮影補助線生成部５４は、特徴点抽出部５３が抽出した特徴点の位置、又は、二つの位置合わせ用特徴点同士を結ぶ線分（撮影補助線）を示す補助線付きプレビュー画像を生成する。   The imaging unit 51 and the display unit 52 are the same as the imaging unit 31 and the display unit 32 of the second embodiment. The feature point extraction unit 53 extracts two specific feature points (positioning feature points) from the preview image input from the imaging unit 51. The shooting auxiliary line generation unit 54 generates a preview image with auxiliary lines indicating the position of the feature point extracted by the feature point extraction unit 53 or a line segment (shooting auxiliary line) connecting two alignment feature points. .

本実施形態に係る顔認証システムの動作について説明する。図１１に、本実施形態に係る顔認証システムの動作の流れを示す。
認証処理装置６において補助画像を生成し、撮像装置５へ転送する処理（ステップＳ３０１〜Ｓ３０４）は、第２の実施形態のステップＳ２０１〜Ｓ２０４と同様である。 The operation of the face authentication system according to this embodiment will be described. FIG. 11 shows an operation flow of the face authentication system according to the present embodiment.
Processing (Steps S301 to S304) for generating an auxiliary image and transferring it to the imaging device 5 in the authentication processing device 6 is the same as Steps S201 to S204 in the second embodiment.

撮像部５１は、プレビュー画像を取得する（ステップＳ３１２）。撮影装置５の特徴点抽出部５３は、撮像部５１から入力されるプレビュー画像から特定の特徴点を抽出する（ステップＳ３１３）。撮像装置５の撮影補助線生成部５４は、プレビュー画像上に位置合わせ用特徴点、又は撮影補助線を加えた補助線付きプレビュー画像を生成する（ステップＳ３１４）。   The imaging unit 51 acquires a preview image (step S312). The feature point extraction unit 53 of the photographing device 5 extracts a specific feature point from the preview image input from the imaging unit 51 (step S313). The auxiliary shooting line generation unit 54 of the imaging device 5 generates a preview image with auxiliary lines obtained by adding alignment feature points or auxiliary shooting lines to the preview image (step S314).

撮像装置５は、画像撮影時には、図１２に示すような認証処理装置６から取得した補助画像と補助線付きプレビュー画像とを、図１３に示すように表示部５２に重ねて表示する（ステップＳ３０５）。なお、図１２は位置合わせ用特徴点として両目の瞳の中心を、照合用特徴点として右目の目尻及び上唇の中央を抽出した場合である。撮影者は表示部５２に表示された撮影補助線同士を合わせて撮影することで、スーパーインポーズ時に画像の大きさや傾きを変化させる必要が無くなる。   At the time of image capturing, the imaging device 5 displays an auxiliary image and a preview image with an auxiliary line obtained from the authentication processing device 6 as shown in FIG. 12 on the display unit 52 as shown in FIG. 13 (step S305). ). FIG. 12 shows a case where the center of the eyes of both eyes is extracted as the alignment feature point, and the center of the right eye corner and upper lip is extracted as the comparison feature point. The photographer shoots the shooting auxiliary lines displayed on the display unit 52 together to eliminate the need to change the size and inclination of the image during the superimposition.

撮像部５１によって撮影画像のデータを生成した後の処理（ステップＳ３０６〜３１１）は第２の実施形態のステップＳ２０６〜２１１と同様であるため、説明は省略する。   The processing after the captured image data is generated by the imaging unit 51 (steps S306 to 311) is the same as that of steps S206 to 211 in the second embodiment, and thus description thereof is omitted.

本実施形態に係る顔認証システムは、第２の実施形態と同様に、判定対象者の画像を撮影する際に、比較対象画像と大きさや傾きが一致する状態で撮影できるため、スーパーインポーズ時に画像の大きさや傾きを変化させる必要が無い。   As in the second embodiment, the face authentication system according to the present embodiment can capture an image of a person to be judged in a state where the size and inclination coincide with the comparison target image. There is no need to change the size or inclination of the image.

なお、本実施形態においては、撮影補助線同士が重なった場合（特定の特徴点の位置が一致した場合）に自動的にシャッターが切れるようにしても良い。このようにすれば、撮像時に手ブレの発生を抑え、撮影画像と比較対象画像との大きさ及び傾きをより正確に揃えることが可能である。   In the present embodiment, the shutter may be automatically released when the auxiliary shooting lines overlap (when the positions of specific feature points coincide). In this way, it is possible to suppress the occurrence of camera shake at the time of imaging, and to more accurately align the size and inclination of the captured image and the comparison target image.

なお、上記各実施形態は本発明の好適な実施の一例であり、本発明はこれらに限定されることはない。
例えば、上記実施形態においては、証明書に添付された写真を光学的に読み取って比較対象画像とする場合を例としたが、証明書にＩＣチップが内蔵されている場合には、これに正当な所持者の顔画像を格納しておき、比較対象画像として用いても良い。
また、上記各実施形態においては、撮像装置と認証処理装置とが別個である構成を例としたが、これらが一体の構成であっても良い。
このように、本発明は様々な変形が可能である。 Each of the above embodiments is an example of a preferred embodiment of the present invention, and the present invention is not limited to these.
For example, in the above-described embodiment, an example in which a photograph attached to a certificate is optically read and used as a comparison target image is described as an example. However, if an IC chip is built in the certificate, this is valid. It is also possible to store a face image of a simple holder and use it as a comparison target image.
Further, in each of the above-described embodiments, the configuration in which the imaging device and the authentication processing device are separate has been described as an example, but these may be integrated.
As described above, the present invention can be variously modified.

本発明に係る顔認証装置の構成を示す図である。It is a figure which shows the structure of the face authentication apparatus which concerns on this invention. 本発明に係る顔認証システムの構成を示す図である。It is a figure which shows the structure of the face authentication system which concerns on this invention. 本発明を好適に実施した第１の実施形態に係る顔認証システムの構成を示す図である。It is a figure which shows the structure of the face authentication system which concerns on 1st Embodiment which implemented this invention suitably. 第１の実施形態に係る顔認証システムの動作の流れを示す図である。It is a figure which shows the flow of operation | movement of the face authentication system which concerns on 1st Embodiment. 撮像画像及び比較対象画像の一例を示す図である。It is a figure which shows an example of a captured image and a comparison object image. 位置合わせ用特徴点の位置が撮像画像と比較対象画像とで一致するように撮影画像の大きさ、傾きなどが調整された撮影画像及び比較対象画像を示す図である。It is a figure which shows the picked-up image and comparison object image in which the magnitude | size, inclination, etc. of the picked-up image were adjusted so that the position of the feature point for alignment may correspond with a picked-up image and a comparison object image. 撮影画像及び比較対象画像の重ね合わせ画像上に比較補助線を描画した状態を示す図である。It is a figure which shows the state which drawn the comparison auxiliary line on the superimposed image of a picked-up image and a comparison object image. 本発明を好適に実施した第２の実施形態に係る顔認証システムの構成を示す図である。It is a figure which shows the structure of the face authentication system which concerns on 2nd Embodiment which implemented this invention suitably. 第２の実施形態に係る顔認証システムの動作の流れを示す図である。It is a figure which shows the flow of operation | movement of the face authentication system which concerns on 2nd Embodiment. 本発明を好適に実施した第３の実施形態に係る顔認証システムの構成を示す図である。It is a figure which shows the structure of the face authentication system which concerns on 3rd Embodiment which implemented this invention suitably. 第３の実施形態に係る顔認証システムの動作の流れを示す図である。It is a figure which shows the flow of operation | movement of the face authentication system which concerns on 3rd Embodiment. 補助画像及び補助線付きプレビュー画像の一例を示す図である。It is a figure which shows an example of an auxiliary image and a preview image with an auxiliary line. 撮影補助線が一致するように補助画像と補助線付きプレビュー画像とを重ねて表示した状態を示す図である。It is a figure which shows the state which overlapped and displayed the auxiliary image and the preview image with an auxiliary line so that a photography auxiliary line may correspond.

符号の説明Explanation of symbols

１、３、５、２００ 撮像装置
２、４、６ 認証処理装置
１１、３１、５１、１１１、２１１ 撮像部
１２、２６、３２、４５、５２、６５ 表示部
２１、４１、６１、１２１、３２１ 比較画像取得部
２２、４２、５３、６２、１２２、３２２ 特徴点抽出部
２３ 変換処理部
２４、４３、６３、１２３、３２３ 重ね合わせ処理部
２５ 比較補助線生成部
４４、６４ 補助線生成部
５４ 撮影補助線生成部
１００ 顔認証装置
１２４、３２４ 特徴点表示部
３００ 情報処理装置 1, 3, 5, 200 Imaging device 2, 4, 6 Authentication processing device 11, 31, 51, 111, 211 Imaging unit 12, 26, 32, 45, 52, 65 Display unit 21, 41, 61, 121, 321 Comparison image acquisition unit 22, 42, 53, 62, 122, 322 Feature point extraction unit 23 Conversion processing unit 24, 43, 63, 123, 323 Overlay processing unit 25 Comparison auxiliary line generation unit 44, 64 Auxiliary line generation unit 54 Shooting auxiliary line generation unit 100 Face authentication device 124, 324 Feature point display unit 300 Information processing device

Claims (19)

判定対象者の顔の画像を撮影する撮像手段と、
比較対象画像を取得する比較対象取得手段と、
前記撮影手段が撮影した撮影画像及び前記比較対象画像の各々に写された顔画像から特定の特徴点をそれぞれ抽出する第１の特徴点抽出手段と、
前記撮影画像及び比較対象画像を、前記特定の特徴点の位置が一致するように重ね合わせる画像重ね合わせ手段と、
前記第１の特徴点抽出手段が抽出した特定の特徴点のうち、前記画像重ね合わせ手段が重ね合わせに用いたもの以外の特徴点の位置を、重ね合わせた撮影画像及び比較対象画像上に表示する第１の特徴点表示手段とを有することを特徴とする顔認証装置。 Imaging means for capturing an image of the face of the person to be judged;
A comparison target acquisition means for acquiring a comparison target image;
First feature point extracting means for respectively extracting specific feature points from the captured images taken by the photographing means and the face images copied to each of the comparison target images;
Image superimposing means for superimposing the photographed image and the comparison target image so that the positions of the specific feature points coincide;
Among the specific feature points extracted by the first feature point extraction means, the positions of the feature points other than those used by the image superimposing means are displayed on the superimposed photographed image and the comparison target image. And a first feature point display means. 前記第１の特徴点抽出手段が抽出した特定の２以上の特徴点の位置が一致するように前記撮影画像及び前記比較対象画像の少なくとも一方を変換する変換処理手段を有し、
前記画像重ね合わせ手段は、前記変換処理手段が変換処理に用いた特徴点が一致するように、変換後の前記撮影画像と前記比較対象画像とを重ね合わせることを特徴とする請求項１記載の顔認証装置。 Conversion processing means for converting at least one of the captured image and the comparison target image so that positions of two or more specific feature points extracted by the first feature point extraction means match;
The image superimposing unit superimposes the converted captured image and the comparison target image so that the feature points used in the conversion process by the conversion processing unit coincide with each other. Face recognition device. 前記第１の特徴点抽出手段が抽出した特定の特徴点のうち、前記画像重ね合わせ手段が画像の重ね合わせに用いる特徴点を、前記撮像手段のプレビュー表示画面上に表示させる第１の特徴点プレビュー表示手段を有することを特徴とする請求項１又は２記載の顔認証装置。   Of the specific feature points extracted by the first feature point extraction unit, a feature point used by the image superimposing unit for image superposition is displayed on the preview display screen of the imaging unit. The face authentication apparatus according to claim 1, further comprising a preview display unit. 前記撮像手段がプレビュー撮影した画像に写された顔画像から特定の特徴点を抽出する第２の特徴点抽出手段と、
前記第２の特徴点抽出手段が抽出した特定の特徴点のうち、前記画像重ね合わせ手段が画像の重ね合わせに用いる特徴点と同じ特徴点を前記撮像手段のプレビュー表示画面上に表示させる第２の特徴点プレビュー表示手段とを有することを特徴とする請求項３記載の顔認証装置。 Second feature point extracting means for extracting a specific feature point from a face image captured in an image captured by the imaging means;
Among the specific feature points extracted by the second feature point extraction means, a second feature point is displayed on the preview display screen of the imaging means on the same feature point as that used by the image superimposing means for image superposition. The face authentication apparatus according to claim 3, further comprising: a feature point preview display unit. 前記第２の特徴点抽出手段が抽出した特定の特徴点のうち、前記画像重ね合わせ手段が画像の重ね合わせに用いる特徴点を結ぶ撮影補助線を、前記撮影手段のプレビュー表示画面上に生成する撮影補助線生成手段を有し、
前記第２の特徴点プレビュー表示手段は、前記特徴点に代えて前記撮影補助線を前記撮像手段のプレビュー画像上に表示することを特徴とする請求項４記載の顔認証装置。 Among the specific feature points extracted by the second feature point extraction unit, a shooting auxiliary line connecting the feature points used by the image superimposing unit for image superposition is generated on the preview display screen of the shooting unit. Having a photographing auxiliary line generating means;
The face authentication apparatus according to claim 4, wherein the second feature point preview display unit displays the auxiliary shooting line on the preview image of the imaging unit instead of the feature point. 前記第１の特徴点抽出手段が抽出した特定の特徴点のうち、前記画像重ね合わせ手段が画像の重ね合わせに用いたもの以外の特徴点が２以上存在する場合に、これらの少なくとも二つを結ぶ比較補助線を前記撮影画像及び前記比較対象画像上に生成する比較補助線生成手段を有し、
前記第１の特徴点表示手段は、前記特徴点に代えて前記比較補助線を前記撮影画像及び比較対象画像上に表示することを特徴とする請求項１から５のいずれか１項記載の顔認証装置。 Among the specific feature points extracted by the first feature point extraction means, when there are two or more feature points other than those used by the image superimposing means for image superposition, at least two of these are selected. Comparing auxiliary line generating means for generating a connecting auxiliary line on the captured image and the comparison target image,
6. The face according to claim 1, wherein the first feature point display unit displays the comparison auxiliary line on the captured image and the comparison target image instead of the feature point. 7. Authentication device. 判定対象者の顔の画像を撮影する撮像装置と、情報処理装置とを備えた顔認証システムであって、
前記情報処理装置は、
比較対象画像を取得する比較対象取得手段と、
前記撮影装置から入力された撮影画像及び前記比較対象画像の各々に写された顔画像から特定の特徴点をそれぞれ抽出する第１の特徴点抽出手段と、
前記撮影画像及び比較対象画像を、前記特定の特徴点の位置が一致するように重ね合わせる画像重ね合わせ手段と、
前記第１の特徴点抽出手段が抽出した特定の特徴点のうち、前記画像重ね合わせ手段が重ね合わせに用いたもの以外の特徴点の位置を、重ね合わせた撮影画像及び比較対象画像上に表示する第１の特徴点表示手段とを有することを特徴とする顔認証システム。 A face authentication system including an imaging device that captures an image of a face of a determination target person and an information processing device,
The information processing apparatus includes:
A comparison target acquisition means for acquiring a comparison target image;
First feature point extraction means for respectively extracting specific feature points from a captured image input from the imaging device and a face image copied to each of the comparison target images;
Image superimposing means for superimposing the photographed image and the comparison target image so that the positions of the specific feature points coincide;
Among the specific feature points extracted by the first feature point extraction means, the positions of the feature points other than those used by the image superimposing means are displayed on the superimposed photographed image and the comparison target image. And a first feature point display means. 前記情報処理装置は、
前記第１の特徴点抽出手段が抽出した特定の２以上の特徴点の位置が一致するように前記撮影画像及び前記比較対象画像の少なくとも一方を変換する変換処理手段を有し、
前記画像重ね合わせ手段は、前記変換処理手段が変換処理に用いた特徴点が一致するように、変換後の前記撮影画像と前記比較対象画像とを重ね合わせることを特徴とする請求項７記載の顔認証システム。 The information processing apparatus includes:
Conversion processing means for converting at least one of the captured image and the comparison target image so that positions of two or more specific feature points extracted by the first feature point extraction means match;
The said image superimposing means superimposes the said picked-up image after conversion and the said comparison object image so that the feature point which the said conversion process means used for the conversion process may correspond. Face recognition system. 前記情報処理装置は、前記第１の特徴点抽出手段が抽出した特定の特徴点のうち、前記画像重ね合わせ手段が画像の重ね合わせに用いる特徴点の位置情報を、前記撮像装置へ送信する手段を有し、
前記撮像装置は、前記情報処理装置から受信した情報に基づいて、前記画像重ね合わせ手段が画像の重ね合わせに用いる特徴点の位置関係をプレビュー表示画面上に表示させる第１の特徴点プレビュー表示手段を有することを特徴とする請求項７又は８記載の顔認証システム。 The information processing device transmits, to the imaging device, positional information of feature points used by the image superimposing unit for superimposing images among the specific feature points extracted by the first feature point extracting unit. Have
The image pickup apparatus is configured to display a first feature point preview display unit on a preview display screen, based on information received from the information processing apparatus, to display a positional relationship of feature points used by the image overlay unit for image overlay. 9. The face authentication system according to claim 7 or 8, characterized by comprising: 前記撮像装置は、 プレビュー撮影した画像に写された顔画像から特定の特徴点を抽出する第２の特徴点抽出手段と、
前記第２の特徴点抽出手段が抽出した特定の特徴点のうち、前記画像重ね合わせ手段が画像の重ね合わせに用いる特徴点と同じ特徴点をプレビュー表示画面上に表示させる第２の特徴点プレビュー表示手段とを有することを特徴とする請求項９記載の顔認証システム。 The imaging apparatus includes: a second feature point extracting unit that extracts a specific feature point from a face image captured in a preview image;
Of the specific feature points extracted by the second feature point extraction means, a second feature point preview is displayed on the preview display screen that is the same as the feature points used by the image superimposing means for image superposition. The face authentication system according to claim 9, further comprising a display unit. 前記撮像装置は、前記第２の特徴点抽出手段が抽出した特定の特徴点のうち、前記画像重ね合わせ手段が画像の重ね合わせに用いる特徴点を結ぶ撮影補助線を、前記撮影手段のプレビュー表示画面上に生成する撮影補助線生成手段を有し、
前記第２の特徴点プレビュー表示手段は、前記特徴点に代えて前記撮影補助線をプレビュー画像上に表示することを特徴とする請求項１０記載の顔認証システム。 The imaging apparatus displays a preview line of the photographing unit that displays a photographing auxiliary line connecting feature points used by the image superimposing unit for superimposing images among the specific feature points extracted by the second feature point extracting unit. A shooting auxiliary line generating means for generating on the screen;
The face authentication system according to claim 10, wherein the second feature point preview display unit displays the photographing auxiliary line on a preview image instead of the feature point. 前記情報処理装置は、前記第１の特徴点抽出手段が抽出した特定の特徴点のうち、前記画像重ね合わせ手段が画像の重ね合わせに用いたもの以外の特徴点が２以上存在する場合に、これらの少なくとも二つを結ぶ比較補助線を前記撮影画像及び前記比較対象画像上に生成する比較補助線生成手段を有し、
前記第１の特徴点表示手段は、前記特徴点に代えて前記比較補助線を前記撮影画像及び比較対象画像上に表示することを特徴とする請求項７から１１のいずれか１項記載の顔認証システム。 The information processing apparatus, when there are two or more feature points other than the specific feature points extracted by the first feature point extraction unit other than those used by the image superimposing unit for image superposition, Comparing auxiliary line generating means for generating a comparative auxiliary line connecting at least two of these on the photographed image and the comparison target image,
12. The face according to claim 7, wherein the first feature point display unit displays the comparison auxiliary line on the photographed image and the comparison target image instead of the feature point. Authentication system. 判定対象者の顔の画像を撮影する撮像工程と、
比較対象画像を取得する比較対象取得工程と、
前記撮影工程において撮影した撮影画像及び前記比較対象画像の各々に写された顔画像から特定の特徴点をそれぞれ抽出する第１の特徴点抽出工程と、
前記撮影画像及び比較対象画像を、前記特定の特徴点の位置が一致するように重ね合わせる画像重ね合わせ工程と、
前記第１の特徴点抽出工程において抽出した特定の特徴点のうち、前記画像重ね合わせ工程において重ね合わせに用いたもの以外の特徴点の位置を、重ね合わせた撮影画像及び比較対象画像上に表示する第１の特徴点表示工程とを有することを特徴とする顔認証方法。 An imaging process for capturing an image of the face of the person to be judged;
A comparison target acquisition step of acquiring a comparison target image;
A first feature point extracting step of extracting specific feature points from the captured images captured in the imaging step and the face images captured in each of the comparison target images;
An image superimposing step of superimposing the captured image and the comparison target image so that the positions of the specific feature points coincide;
Among the specific feature points extracted in the first feature point extraction step, the positions of the feature points other than those used for the superposition in the image superimposing step are displayed on the superposed photographed image and the comparison target image. And a first feature point displaying step. 前記第１の特徴点抽出工程において抽出した特定の２以上の特徴点の位置が一致するように前記撮影画像及び前記比較対象画像の少なくとも一方を変換する変換処理工程を有し、
前記画像重ね合わせ工程においては、前記変換処理工程において変換処理に用いた特徴点が一致するように、変換後の前記撮影画像と前記比較対象画像とを重ね合わせることを特徴とする請求項１３記載の顔認証方法。 A conversion processing step of converting at least one of the captured image and the comparison target image so that positions of two or more specific feature points extracted in the first feature point extraction step match;
14. The converted image and the comparison target image are superimposed in the image superimposing step so that the feature points used in the conversion processing in the conversion processing step coincide with each other. Face authentication method. 前記第１の特徴点抽出工程において抽出した特定の特徴点のうち、前記画像重ね合わせ工程においてが画像の重ね合わせに用いる特徴点を、前記撮像工程に用いる撮像装置のプレビュー表示画面上に表示させる第１の特徴点プレビュー表示工程を有することを特徴とする請求項１３又は１４記載の顔認証方法。   Among the specific feature points extracted in the first feature point extraction step, the feature points used for image superposition in the image superimposition step are displayed on the preview display screen of the imaging device used in the imaging step. 15. The face authentication method according to claim 13, further comprising a first feature point preview display step. 前記撮像装置がプレビュー撮影した画像に写された顔画像から特定の特徴点を抽出する第２の特徴点抽出工程と、
前記第２の特徴点抽出工程において抽出した特定の特徴点のうち、前記画像重ね合わせ工程において画像の重ね合わせに用いる特徴点と同じ特徴点を前記撮像装置のプレビュー表示画面上に表示させる第２の特徴点プレビュー表示工程とを有することを特徴とする請求項１５記載の顔認証方法。 A second feature point extracting step of extracting a specific feature point from the face image captured in the image captured by the imaging device;
Among the specific feature points extracted in the second feature point extraction step, the second feature point is displayed on the preview display screen of the imaging device on the same feature point as that used for image superposition in the image superposition step. The face authentication method according to claim 15, further comprising: a feature point preview display step. 前記第２の特徴点抽出工程において抽出した特定の特徴点のうち、前記画像重ね合わせ工程において画像の重ね合わせに用いる特徴点を結ぶ撮影補助線を、前記撮影装置のプレビュー表示画面上に生成する撮影補助線生成工程を有し、
前記第２の特徴点プレビュー表示工程においては、前記特徴点に代えて前記撮影補助線をプレビュー画像上に表示することを特徴とする請求項１６記載の顔認証方法。 Of the specific feature points extracted in the second feature point extraction step, an auxiliary shooting line connecting feature points used for image superposition in the image superimposing step is generated on the preview display screen of the photographing device. A shooting auxiliary line generation process,
17. The face authentication method according to claim 16, wherein, in the second feature point preview display step, the auxiliary photographing line is displayed on a preview image instead of the feature point. 前記第１の特徴点抽出工程において抽出した特定の特徴点のうち、前記画像重ね合わせ工程において画像の重ね合わせに用いたもの以外の特徴点が２以上存在する場合に、これらの少なくとも二つを結ぶ比較補助線を前記撮影画像及び前記比較対象画像上に生成する比較補助線生成工程を有し、
前記第１の特徴点表示工程においては、前記特徴点に代えて前記比較補助線を前記撮影画像及び比較対象画像上に表示することを特徴とする請求項１３から１７のいずれか１項記載の顔認証方法。 Of the specific feature points extracted in the first feature point extraction step, when there are two or more feature points other than those used for image superposition in the image superposition step, at least two of these are used. A comparison auxiliary line generating step of generating a comparison auxiliary line to be connected on the captured image and the comparison target image;
18. In the first feature point display step, the comparison auxiliary line is displayed on the photographed image and the comparison target image instead of the feature point. Face authentication method. コンピュータに、
判定対象者を撮影して得られた撮影画像及び比較対象画像の各々に写された顔画像から特定の特徴点をそれぞれ抽出する第１の特徴点抽出工程と、
前記撮影画像及び比較対象画像を、前記特定の特徴点の位置が一致するように重ね合わせる画像重ね合わせ工程と、
前記第１の特徴点抽出工程において抽出した特定の特徴点のうち、前記画像重ね合わせ工程において重ね合わせに用いたもの以外の特徴点の位置を、重ね合わせた撮影画像及び比較対象画像上に表示する第１の特徴点表示工程とを実行させることを特徴とする顔認証プログラム。 On the computer,
A first feature point extracting step of extracting specific feature points from the captured images obtained by photographing the person to be determined and the face images captured in each of the comparison target images;
An image superimposing step of superimposing the captured image and the comparison target image so that the positions of the specific feature points coincide;
Among the specific feature points extracted in the first feature point extraction step, the positions of the feature points other than those used for the superposition in the image superimposing step are displayed on the superposed photographed image and the comparison target image. And a first feature point display step for performing the face authentication program.
JP2008016250A 2008-01-28 2008-01-28 Face authentication apparatus, system, method and program Expired - Fee Related JP4640416B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008016250A JP4640416B2 (en) 2008-01-28 2008-01-28 Face authentication apparatus, system, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008016250A JP4640416B2 (en) 2008-01-28 2008-01-28 Face authentication apparatus, system, method and program

Publications (2)

Publication Number Publication Date
JP2009176208A JP2009176208A (en) 2009-08-06
JP4640416B2 true JP4640416B2 (en) 2011-03-02

Family

ID=41031191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008016250A Expired - Fee Related JP4640416B2 (en) 2008-01-28 2008-01-28 Face authentication apparatus, system, method and program

Country Status (1)

Country Link
JP (1) JP4640416B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014098136A1 (en) 2012-12-19 2014-06-26 株式会社デンソーウェーブ Information code, method for generating information code, device for reading information code, and system for using information code

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105051752B (en) * 2012-11-14 2018-12-14 戈兰·魏斯 Biological feather recognition method and system for registering and authenticating
WO2014125831A1 (en) * 2013-02-14 2014-08-21 パナソニック株式会社 Electronic mirror device
KR102376749B1 (en) * 2014-05-13 2022-03-21 골란 웨이스 Methods and systems of enrollment and authentication
JP6451861B2 (en) 2015-09-09 2019-01-16 日本電気株式会社 Face authentication device, face authentication method and program
JP2017068560A (en) * 2015-09-30 2017-04-06 富士フイルム株式会社 Image processing device and operation method thereof and operation program, and image processing system
EP4141784A4 (en) * 2020-04-21 2023-06-14 NEC Corporation Matching device, matching system, matching method, and non-transitory computer-readable medium storing matching program
CN112215225B (en) * 2020-10-22 2024-03-15 北京通付盾人工智能技术有限公司 KYC certificate verification method based on computer vision technology
WO2023008571A1 (en) * 2021-07-30 2023-02-02 アニコム ホールディングス株式会社 Individual identification system and individual identification method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078589A (en) * 2003-09-03 2005-03-24 Toshiba Corp Person recognition device and traffic control device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078589A (en) * 2003-09-03 2005-03-24 Toshiba Corp Person recognition device and traffic control device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014098136A1 (en) 2012-12-19 2014-06-26 株式会社デンソーウェーブ Information code, method for generating information code, device for reading information code, and system for using information code

Also Published As

Publication number Publication date
JP2009176208A (en) 2009-08-06

Similar Documents

Publication Publication Date Title
JP4640416B2 (en) Face authentication apparatus, system, method and program
KR200483242Y1 (en) Identification card recognition device using mobile device
WO2015131712A1 (en) Face recognition method, device and computer readable storage medium
US11006864B2 (en) Face detection device, face detection system, and face detection method
US8009204B2 (en) Image capturing apparatus, image capturing method, image processing apparatus, image processing method and computer-readable medium
JP5467992B2 (en) Imaging device
JP5652886B2 (en) Face authentication device, authentication method and program, information device
JP2009230692A (en) Biometric authentication device, biological information registration device, and biometric authentication method
JP5170094B2 (en) Spoofing detection system, spoofing detection method, and spoofing detection program
WO2020022034A1 (en) Information processing device, information processing method, and information processing program
JP7268725B2 (en) Image processing device, image processing method, and image processing program
JP2009015518A (en) Eye image photographing device and authentication device
JP2010081357A (en) Image processing apparatus, image processing method, image processing program, and imaging device
WO2021166289A1 (en) Data registration device, biometric authentication device, and recording medium
CN111291586B (en) Living body detection method, living body detection device, electronic equipment and computer readable storage medium
JP2016206465A (en) Photography amusement device
JP6471924B2 (en) Face authentication apparatus and face authentication method
KR101276158B1 (en) A method of real-time 3d image processing using face feature points tracking
JP6515539B2 (en) Image forming device
JP2004341992A (en) Image photographing device and image collation device
WO2023047572A1 (en) Authentication system, authentication device, authentication method, and recording medium
KR20170093775A (en) Group photo amednding system
JP2019101536A (en) Image processing system and image processing method and image processing program
JP2017033477A (en) Image determination system, image determination method, image determination program, and record medium for recording image determination program
JP2023118373A (en) Imaging terminal and program

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101115

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees