JPH1021394A - Individual collating device - Google Patents

Individual collating device

Info

Publication number
JPH1021394A
JPH1021394A JP17086696A JP17086696A JPH1021394A JP H1021394 A JPH1021394 A JP H1021394A JP 17086696 A JP17086696 A JP 17086696A JP 17086696 A JP17086696 A JP 17086696A JP H1021394 A JPH1021394 A JP H1021394A
Authority
JP
Japan
Prior art keywords
extraction
area
vector
face
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP17086696A
Other languages
Japanese (ja)
Inventor
Tatsumi Watanabe
辰巳 渡辺
Taro Imagawa
太郎 今川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP17086696A priority Critical patent/JPH1021394A/en
Publication of JPH1021394A publication Critical patent/JPH1021394A/en
Pending legal-status Critical Current

Links

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an individual collating device in which a sturdy facial area can be extracted without being affected by an environment in picture input such as a background, the size of a face, and an illumination condition. SOLUTION: A person area is roughly extracted by a person area extracting means 103 from color information calculated by a color information calculating means 102. Plural rectangular areas are selected from a person area picture by an initial extracted area setting means 109, a vector for extraction indicating each rectangular area generated by a vector for extraction generating means 110 is compared with a template vector for extraction in a template for extraction dictionary 111, the adaptability of each rectangular area is evaluated by an extracted area evaluating means 112, and the adjustment of each rectangular area is operated by a genetic rearranging operation by a rearranging operation means 113. The pattern matching of a vector for collation with a template vector for collation is operated, and the final collated result is outputted by a collated result outputting means 108.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、顔画像を含む画像
中から人の顔領域を抽出し、抽出された顔領域から特定
の個人を照合する個人照合装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a personal matching apparatus for extracting a human face region from an image including a face image and matching a specific individual from the extracted face region.

【0002】[0002]

【従来の技術】従来の個人照合装置として、入退出管理
やセキュリティ分野で使用された指紋や眼紋と呼ばれる
網膜の血管パターン、手書きサイン等の画像認識による
個人照合装置が挙げられる。しかしながら上記従来例に
おける指紋による照合の場合、社会的抵抗感、プライバ
シーに関する不安などがあり、充分普及していないのが
実情である。さらに、一般に従来の指紋による照合方法
では、撮影された指紋画像を2値化等の前処理を行った
後に隆線の端点、分岐点、隆線方向抽出を行い、これら
の情報の一部あるいは全部の情報から入力パターンと登
録パターンの比較により個人照合を行う方法が用いられ
ている。そのため、この方法では100個程度存在する隆
線の端点、分岐点の照合を行うこととなり、比較的高価
なものとなるため一部の会社や極めて機密度の高いとこ
ろでしか使用されなかった。また、眼紋と呼ばれる網膜
の血管パターンによる照合は、目を覗き込み窓のような
ところに当てて目の中を撮像する必要があり、覗き込み
窓に目を当てるという煩わしさ、不安感や指紋照合以上
に機器が高価であるという点であまり普及していない。
一方、手書きサインによる個人照合の場合、手書き文字
認識技術上の問題もさることながら、毎回署名しなくて
はいけないという煩わしさがこの手法の普及妨げの原因
となっていた。
2. Description of the Related Art As a conventional personal collation apparatus, there is a personal collation apparatus based on image recognition of fingerprints, eyeprints, retinal blood vessel patterns called handprints, and handwritten signs used in entry / exit management and security fields. However, in the case of the fingerprint collation in the above-described conventional example, there is a sense of social resistance, anxiety about privacy, and the like. Furthermore, in general, in the conventional fingerprint collation method, the pre-processing such as binarization is performed on a captured fingerprint image, and then the end points, branch points, and ridge directions of the ridges are extracted. A method of performing personal verification by comparing an input pattern with a registered pattern from all information is used. Therefore, in this method, end points and branch points of about 100 ridges are collated, and the method is relatively expensive, so that it is used only in some companies or places with extremely high sensitivity. In addition, for matching based on a retinal blood vessel pattern called an eyeprint, it is necessary to take an image of the inside of the eye by placing the eye on a place like a peeping window, and it is troublesome and troublesome to put an eye on the peeping window. It is not widely used in that the equipment is more expensive than fingerprint verification.
On the other hand, in the case of personal verification using a handwritten signature, the trouble of having to sign every time has been a cause of preventing the spread of this method, in addition to the problem of the handwritten character recognition technology.

【0003】ユーザが使いやすい個人照合方法を考えた
場合、上記従来例とは異なり、非接触でなるべくユーザ
を拘束しない方法が望まれ、そのような観点から顔画像
を用いた個人照合を行う方法に関する研究は古くから行
われてきている。入力画像から対象の線的形状を表す特
徴を抽出する手法として、 [1]顔画像が含まれる画像に対して、エッジ強調処理を
行い、顔輪郭や顔を構成する部品(目、鼻、口等)の輪
郭形状、ならびに相互の位置関係を抽出して個人照合を
行う手法(萩原他、「パターンマッチングを主体にした
顔画像による個人ID」、電子情報通信学会技術報告、PR
U-88-46、1986) [2]入力画像より抽出された顔画像の特徴点に整合させ
た3次元構造モデルを作成し、そのモデルを用いて顔画
像の特徴点を補正して個人照合を行う手法(角他、「形
状モデルを用いた顔画像からの個人識別」、電子情報通
信学会春季大会予稿、No.1、1993) [3]3次元計測技術をもとにした顔の3次元データの特
徴より個人照合を行う手法(阿部他、「3次元表面形状
による人間の顔の自動認識」、電子情報通信学会D-II、
J73-D-II、No.9、1990) 等が挙げられる。
In consideration of a personal collation method that is easy for the user to use, unlike the above-described conventional example, a method that does not restrict the user as much as possible without contact is desired. From such a viewpoint, a method of performing personal collation using a face image is desired. Research on has been conducted for a long time. As a method of extracting features representing the linear shape of an object from an input image, [1] edge enhancement processing is performed on an image including a face image, and facial contours and parts constituting the face (eyes, nose, mouth) (Hagiwara et al., "Personal ID based on face image based on pattern matching", IEICE technical report, PR
U-88-46, 1986) [2] Create a three-dimensional structural model matched to the feature points of the face image extracted from the input image, and use the model to correct the feature points of the face image to perform personal verification (Kakushi et al., "Personal identification from face images using shape models", IEICE Spring Conference, No.1, 1993) [3] Face 3 based on 3D measurement technology A method of performing individual matching based on the features of three-dimensional data (Abe et al., "Automatic Recognition of Human Face Using Three-Dimensional Surface Shape", IEICE D-II,
J73-D-II, No. 9, 1990).

【0004】一方、前述の顔の構成部品に依存する特徴
点を用いることなく、顔領域全体の輝度・濃淡を情報圧
縮した特徴量を用いて、統計的手法やニューラルネット
ワークにより個人照合を行う手法も提案されており、そ
の従来例として、 [4]濃淡パターンを荒いモザイクパターンに変換する手
法(小杉、「モザイクとニューラルネットワークを用い
た顔画像の認識」、電子情報通信学会D-II、J76-D-II、
No.3、1993) [5]多数人物の顔標本画像のフーリエスペクトルパター
ン画像にK - L展開を適用することにより用意された複
数の正規直交規定画像を入力画像のフーリエパターンと
比較することで個人照合を行う手法( Turk M. and Pen
tland A. P.、「フェイス レコグニション ユージン
グ アイゲンフェイス」(Face Recognition Using Eig
enface)、Proc. of CVPR、1991) [6]顔画像中で等しい濃度値の画素を連結してできる等
濃度線形状により照合する手法(上野、「等濃線分布に
基づく正面顔画像の認識」、電子情報通信学会D-II、J7
6-D-II、No.3、1993) 等が挙げられる。
On the other hand, a method of performing individual matching by a statistical method or a neural network using a feature amount obtained by compressing the luminance and shading of the entire face area without using the above-described feature points depending on the constituent parts of the face. [4] A method of converting a shade pattern into a rough mosaic pattern (Kosugi, "Face Image Recognition Using Mosaic and Neural Network", IEICE D-II, J76 -D-II,
No.3, 1993) [5] By comparing multiple orthonormal prescribed images prepared by applying KL expansion to the Fourier spectrum pattern images of the face sample images of many people with the Fourier patterns of the input image Method for matching individuals (Turk M. and Pen
tland AP, “Face Recognition Using Eigenface” (Face Recognition Using Eig
Enface), Proc. of CVPR, 1991) [6] A method of collating pixels with equal density values in a face image using an isodensity line shape (Ueno, "Recognition of Frontal Face Image Based on Isodensity Line Distribution" , IEICE D-II, J7
6-D-II, No. 3, 1993).

【0005】[0005]

【発明が解決しようとする課題】しかしながら、顔画像
が含まれる画像に対して、エッジ強調処理を行い、顔輪
郭や顔を構成する部品(目、鼻、口等)の輪郭形状、な
らびに相互の位置関係を抽出して個人照合を行う手法
[1]や、入力画像より抽出された顔画像の特徴点に整合
させた3次元構造モデルを作成し、そのモデルを用いて
顔画像の特徴点を補正して個人照合を行う手法[2]の場
合、顔画像を撮像する際の照明条件によりエッジ自体を
安定して抽出することが困難な場合が多いという問題を
抱えている。さらに、うまくエッジが抽出され顔の線的
な形状特徴が得られたとしても、その線的な形状特徴に
より顔の微妙な差異をはたしてどこまで表現できるのか
が疑問と考えられているのが実情である。3次元計測技
術をもとにした顔の3次元データの特徴より個人照合を
行う手法[3]の場合、[1]や[2]に比べて精度良く顔の構
成部品やその相互的な位置関係を求めることが可能であ
るが、3次元形状抽出を行う際に精密な計測を必要と
し、情報入力時にユーザに負担をかけることが問題とな
る。
However, an image including a face image is subjected to edge enhancement processing to obtain a face contour and contour shapes of parts (eyes, nose, mouth, etc.) constituting the face, and mutual A method for extracting personal relationships and performing personal verification
[1] Alternatively, a method of creating a three-dimensional structural model that matches feature points of a face image extracted from an input image and correcting the feature points of the face image using the model to perform individual verification [2] In the case of, there is a problem that it is often difficult to stably extract the edge itself due to lighting conditions when capturing a face image. Furthermore, even if the edges are successfully extracted and the linear shape features of the face are obtained, it is considered that it is doubtful how far the subtle differences in the face can be expressed by the linear shape features. is there. In the case of [3], which performs individual matching based on the features of 3D face data based on 3D measurement technology, facial components and their mutual positions are more accurate than [1] and [2]. Although it is possible to obtain the relationship, precise measurement is required when extracting the three-dimensional shape, and a problem is imposed on the user when inputting information.

【0006】一方、濃淡パターンを荒いモザイクパター
ンに変換する手法[4]や、多数人物の顔標本画像のフー
リエスペクトルパターン画像にK - L展開を適用するこ
とにより用意された複数の正規直交規定画像を入力画像
のフーリエパターンと比較することで個人照合を行う手
法[5]、そして顔画像中で等しい濃度値の画素を連結し
てできる等濃度線形状により照合する手法[6]の場合、
[1]から[3]までのエッジ画像より対象の線的形状を表す
特徴を抽出する手法とは異なり、比較的簡単に照合に用
いる特徴ベクトルを求めることができ、一定の制約条件
下で入力された顔画像を使った実験において、ある程度
安定した照合性能を持つことが示されている。しかしな
がら、如何にして入力画像から背景、照明条件、顔の大
きさ等の画像入力における環境に影響されないで安定し
て顔領域のみを自動的に抽出するかが問題であった。
On the other hand, a plurality of orthonormal prescribed images prepared by applying a KL expansion to a Fourier spectrum pattern image of a face sample image of a large number of people or a method [4] of converting a light and shade pattern into a rough mosaic pattern. Is compared with the Fourier pattern of the input image to perform individual matching [5], and matching using the isodensity line shape formed by connecting pixels of the same density value in the face image [6]
Unlike the method of extracting the features representing the target linear shape from the edge images from [1] to [3], the feature vector used for matching can be obtained relatively easily, and the input is performed under certain constraint conditions. Experiments using the obtained face images show that the matching performance is somewhat stable. However, there has been a problem how to stably extract only a face region from an input image stably without being affected by an environment in image input such as a background, lighting conditions, and face size.

【0007】本発明は、以上のことを考慮して、彩度等
の色情報を用いて入力画像から、背景、照明条件、顔の
大きさ等の画像入力環境に影響されない頑健な顔領域の
切り出しを行い、切り出された顔領域画像に対して簡単
な処理で個人照合を行うことのできる個人照合装置を提
供することを目的とする。
In view of the above, the present invention uses a color information such as saturation to extract a robust face region from an input image which is not affected by the image input environment such as the background, lighting conditions, and face size. An object of the present invention is to provide a personal collation apparatus that can perform clipping and perform personal collation on the clipped face region image by simple processing.

【0008】[0008]

【課題を解決するための手段】上記課題を解決するため
に本発明における第1の個人照合装置は、まず、彩度、
色相等の色情報を用いて人物領域を大まかに抽出した後
に、輝度値から生成された抽出用ベクトルと予め用意さ
れた抽出用標本画像集合から生成された抽出用テンプレ
ートベクトル集合とのパターンマッチングと遺伝的アル
ゴリズムによる抽出領域の調節を行うことにより、入力
画像の背景、照明条件等に影響されないで安定した顔領
域の抽出を行う。そして、その抽出された顔領域画像の
輝度・濃淡パターンから照合用ベクトルを生成し、予め
用意された照合用標本画像集合より生成された照合用テ
ンプレートベクトル集合とのパターンマッチングにより
個人照合を行うようにしたものである。
Means for Solving the Problems To solve the above-mentioned problems, a first personal collation apparatus according to the present invention firstly comprises a chroma,
After roughly extracting a human region using color information such as hue, pattern matching between an extraction vector generated from a luminance value and an extraction template vector set generated from a previously prepared extraction sample image set is performed. By adjusting the extraction area by the genetic algorithm, a stable extraction of the face area is performed without being affected by the background of the input image, lighting conditions, and the like. Then, a matching vector is generated from the brightness / shade pattern of the extracted face area image, and individual matching is performed by pattern matching with a matching template vector set generated from a previously prepared matching sample image set. It was made.

【0009】また、本発明における第2の個人照合装置
は、まず、彩度、色相等の色情報を用いて人物領域を大
まかに抽出した後に、輝度値から生成された抽出用ベク
トルと予め用意された顔領域抽出用標本画像集合から生
成された抽出用テンプレートベクトル集合とのパターン
マッチングと遺伝的アルゴリズムによる抽出領域の調節
を行うことにより、入力画像の背景、照明条件等に影響
されないで安定した顔領域の抽出を行う。その際、最適
な抽出領域から得られる抽出用ベクトルと最も適合度の
高い抽出用テンプレートベクトルに属する顔画像グルー
プを記録し、その記録されたグループに該当する照合用
テンプレートベクトルのみを対象として個人照合を行う
ようにしたものである。
Further, the second personal collating apparatus according to the present invention first roughly extracts a person region using color information such as saturation and hue, and then prepares in advance an extraction vector generated from a luminance value. By performing pattern matching with a set of extraction template vectors generated from the set of sample images for extraction of face regions extracted and adjusting the extraction area by a genetic algorithm, it is stable without being affected by the background, lighting conditions, etc. of the input image. The face area is extracted. At this time, the extraction vector obtained from the optimal extraction area and the face image group belonging to the extraction template vector having the highest matching degree are recorded, and the personal verification is performed only on the verification template vector corresponding to the recorded group. Is performed.

【0010】また、本発明における第3の個人照合装置
は、色情報から生成された抽出用ベクトルと予め用意さ
れた顔領域抽出用標本画像集合から生成された抽出用テ
ンプレートベクトル集合とのパターンマッチングと遺伝
的アルゴリズムによる抽出領域の調節を行うことによ
り、入力画像の背景、照明条件等に影響されないで安定
した顔領域の抽出を行う。そして、その抽出された顔領
域画像の輝度・濃淡パターンから照合用ベクトルを生成
し、予め用意された個人照合用標本画像集合より生成さ
れた照合用テンプレートベクトル集合とのパターンマッ
チングにより個人照合を行うようにしたものである。
[0010] A third personal collation apparatus according to the present invention is a method for pattern matching between an extraction vector generated from color information and an extraction template vector set generated from a face area extraction sample image set prepared in advance. Then, the extraction area is adjusted by the genetic algorithm, whereby the stable extraction of the face area is performed without being affected by the background of the input image, the lighting conditions, and the like. Then, a matching vector is generated from the brightness / shade pattern of the extracted face region image, and individual matching is performed by pattern matching with a matching template vector set generated from a previously prepared individual matching sample image set. It is like that.

【0011】また、本発明における第4の個人照合装置
は、まず、彩度、色相等の色情報を用いて人物領域を大
まかに抽出した後に、輝度値から生成された抽出用ベク
トルと予め用意された顔領域抽出用標本画像集合から生
成された抽出用テンプレートベクトル集合とのパターン
マッチングと遺伝的アルゴリズムによる抽出領域の調節
を実施することにより、入力画像の背景、照明条件等に
影響されないで安定した顔領域の抽出を行う。この処理
を、予め設定された繰り返し回数だけ実行し、顔領域と
判断された領域近傍は2度と選択されないようにマスク
することにより、入力画像中における複数の顔領域の抽
出を行う。そして、その抽出された複数の顔領域画像の
輝度・濃淡パターンから照合用ベクトルを生成し、予め
用意された個人照合用標本画像集合より生成された照合
用テンプレートベクトル集合とのパターンマッチングに
より複数の顔領域に対する個人照合を行うようにしたも
のである。
The fourth personal collating apparatus according to the present invention first roughly extracts a person region using color information such as saturation and hue, and then prepares an extraction vector generated from a luminance value in advance. By performing pattern matching with the set of extraction template vectors generated from the set of sample images for face region extraction and adjusting the extraction area using a genetic algorithm, it is stable regardless of the background of the input image, lighting conditions, etc. The extracted face area is extracted. This process is performed a predetermined number of times, and a plurality of face regions in the input image are extracted by masking the vicinity of the region determined to be a face region so as not to be selected again. Then, a matching vector is generated from the extracted brightness / shade patterns of the plurality of face area images, and a plurality of matching template vectors are generated by pattern matching with a set of matching template vectors generated from a sample image set for personal matching prepared in advance. The personal collation with respect to the face area is performed.

【0012】[0012]

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。図1は本発明の第1の
実施の形態である個人照合装置の構成図、図2は本発明
の第1の実施の形態である個人照合装置の組み替え操作
手段の構成図、図10は本発明の第2の実施の形態であ
る個人照合装置の構成図、図11は本発明の第3の実施
の形態である個人照合装置の構成図、図12は本発明の
第4の実施の形態である個人照合装置の構成図である。
構成図の各図において、同一部には同じ番号を付してい
る。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a configuration diagram of a personal verification device according to a first embodiment of the present invention, FIG. 2 is a configuration diagram of a rearrangement operation means of the personal verification device according to the first embodiment of the present invention, and FIG. FIG. 11 is a configuration diagram of a personal verification device according to a second embodiment of the present invention, FIG. 11 is a configuration diagram of a personal verification device according to a third embodiment of the present invention, and FIG. 12 is a fourth embodiment of the present invention. FIG. 2 is a configuration diagram of a personal verification device that is
In the drawings of the configuration, the same parts are denoted by the same reference numerals.

【0013】(第1の実施の形態)まず、本発明の第1
の実施の形態である個人照合装置について説明する。図
1において、101は、識別を行う画像データをCCDカ
メラ等を使って取り込む画像入力手段、102は画像入
力手段101でより入力された画像の各画素における色
情報(彩度S、明度V、色相H)を計算する色情報計算手
段、103は102で得られた色情報をもとに入力画像
から人物に相当する領域を大まかに切り出す人物領域抽
出手段、104は103で切り出された人物領域画像内
における輝度の偏りを補正する輝度補正手段、105は
遺伝的アルゴリズムを用いた103の人物領域画像から
顔領域を抽出する遺伝的アルゴリズム処理手段、106
は105で抽出された顔抽出領域内の輝度値からM次元
の照合用ベクトルV_r=(r0,r1,...,rM)を生成する照合用
ベクトル生成手段、107は106で生成された照合用
ベクトルV_rと比較する目的で予め用意された複数の個
人照合用標本顔画像より生成されたP個の照合用テンプ
レートベクトルT_r[k]=(tr(0,k),tr(1,k),...,tr(M-1,
k))(k=0,1,...,P-1)が記録されている照合用テンプレー
ト辞書、108は106で生成された照合用ベクトルV_
rと照合用テンプレート辞書107内の照合用テンプレ
ートベクトルT_r[k]とのパターンマッチングにより入力
画像内の人物の個人照合を行い、その結果を出力する照
合結果出力手段である。遺伝的アルゴリズム処理手段1
05は103の人物領域画像からさらに顔領域を抽出す
るために必要な矩形領域の中心座標(x0(i),y0(i))、横
画素数width(i)、縦画素数height(i)で構成されるパラ
メータ列ベクトルV_c[i]=(x0(i),y0(i),width(i),heigh
t(i))(i=0,1,...,K-1)をランダムに設定する初期抽出領
域設定手段109、109で設定されたK個の矩形抽出
領域内の輝度値を使ってK個のL次元抽出用ベクトルV_e
[i]=(e(0,i),e(1,i),...,e(L-1,i))(i=0,1,...,K-1)を
作成する抽出用ベクトル生成手段110、110で生成
されたK個の抽出用ベクトルと比較する目的で予め用意
された複数の顔領域抽出用標本顔画像から生成されたN
個の抽出用テンプレートベクトルT_e[j]=(te(0,j),te
(1,j),...,te(L-1,j))(j=0,1,...,N-1)が記録されてい
る抽出用テンプレート辞書111、110で生成された
各抽出領域を表す抽出用ベクトルV_e[i]を111の抽出
用テンプレート辞書内のテンプレートベクトルT_e[j]と
比較して、抽出領域に対応するパラメータ列ベクトルV_
c[i]の適合度fitness[i]を評価する抽出領域評価手段1
12、112における各抽出領域の適合度をもとに遺伝
的アルゴリズムによる組み替え操作を行い、より適合度
の高い抽出矩形領域を探索する組み替え操作手段11
3、112における各抽出領域の適合度が予め設定され
た顔領域判断基準を満足する場合に、一番最適な領域を
顔領域として抽出する顔抽出領域記録手段114より構
成される。組み替え操作手段113は、現時点における
パラメータ列ベクトルV_c[i]の集合Cに、各パラメータ
列ベクトルの適合度fitness[i]をもとに、パラメータ列
ベクトルの選択的淘汰を実行する候補選択手段201、
候補選択手段201で得られたパラメータ列ベクトル集
合Cに対して交叉処理を実行する交叉処理手段202、
交叉処理手段202で得られたパラメータ列ベクトル集
合Cに対して突然変異処理を実行する突然変異処理手段
203により構成される。さらに、候補選択手段201
は、パラメータ列ベクトル集合Cからあるパラメータ列
ベクトルV_c[i]を選択する時の選択確率h(i)とその選択
範囲I(i)を導出する選択範囲導出手段204、[0,1)内
の一様乱数g(i)の組G=(g(0),g(1),...,g(K-1))を発生さ
せる乱数発生手段205、乱数発生手段205の結果を
もとにパラメータ列ベクトル集合Cから選択するパラメ
ータ列ベクトルを抽出するパラメータ列ベクトル選択手
段206により構成される。
(First Embodiment) First, the first embodiment of the present invention will be described.
A personal verification device according to the embodiment will be described. In FIG. 1, reference numeral 101 denotes an image input unit that captures image data to be identified using a CCD camera or the like, and 102 denotes color information (saturation S, lightness V, and brightness V) of each pixel of the image input by the image input unit 101. Color information calculation means for calculating hue H); 103, a person area extraction means for roughly extracting an area corresponding to a person from an input image based on the color information obtained in 102; A luminance correction unit 105 for correcting a deviation in luminance in the image; 105, a genetic algorithm processing unit for extracting a face region from 103 person region images using a genetic algorithm;
Is a matching vector generating means for generating an M-dimensional matching vector V_r = (r0, r1,..., RM) from the luminance values in the face extraction region extracted in 105, and 107 is a matching vector generated in 106 Matching template vectors T_r [k] = (tr (0, k), tr (1, k) generated from a plurality of sample face images for personal matching prepared in advance for the purpose of comparison with the vector for matching V_r , ..., tr (M-1,
k)) (k = 0, 1,..., P-1) is stored in the template dictionary for matching, and 108 is a matching vector V_
This is a matching result output unit that performs personal matching of the person in the input image by pattern matching between r and the matching template vector T_r [k] in the matching template dictionary 107, and outputs the result. Genetic algorithm processing means 1
05 is the center coordinates (x0 (i), y0 (i)) of the rectangular area necessary for further extracting the face area from the 103 person area image, the number of horizontal pixels width (i), the number of vertical pixels height (i) Parameter column vector V_c [i] = (x0 (i), y0 (i), width (i), heigh
t (i)) (i = 0, 1,..., K-1) are set at random by using the luminance values in the K rectangular extraction regions set by the initial extraction region setting means 109, 109. K L-dimensional extraction vectors V_e
create [i] = (e (0, i), e (1, i), ..., e (L-1, i)) (i = 0,1, ..., K-1) N generated from a plurality of face region extraction sample face images prepared in advance for the purpose of comparison with the K extraction vectors generated by the extraction vector generation means 110, 110.
Extraction template vectors T_e [j] = (te (0, j), te
(1, j), ..., te (L-1, j)) (j = 0,1, ..., N-1) are generated by the extraction template dictionaries 111 and 110. The extraction vector V_e [i] representing each extraction region is compared with the template vector T_e [j] in the extraction template dictionary 111, and the parameter column vector V_
Extraction area evaluation means 1 for evaluating fitness of fit [i] of c [i]
Recombination operation means 11 for performing a recombination operation by a genetic algorithm based on the fitness of each extraction region in 12 and 112 to search for an extraction rectangular region having a higher fitness.
When the degree of conformity of each extraction area in 3, 112 satisfies a preset face area determination criterion, a face extraction area recording unit 114 extracts the most optimal area as a face area. The recombining operation means 113 performs a candidate selection means 201 for executing a selective selection of parameter column vectors on the set C of the parameter column vectors V_c [i] at the present time based on the fitness degree [i] of each parameter column vector. ,
Crossover processing means 202 for performing crossover processing on the parameter column vector set C obtained by the candidate selection means 201;
It is constituted by a mutation processing means 203 for executing a mutation processing on the parameter sequence vector set C obtained by the crossover processing means 202. Furthermore, candidate selection means 201
Is a selection range deriving means 204 for deriving a selection probability h (i) and a selection range I (i) when a certain parameter column vector V_c [i] is selected from the parameter column vector set C; Random number generating means 205 for generating a set of uniform random numbers g (i) G = (g (0), g (1),..., G (K-1)). And a parameter column vector selecting means 206 for extracting a parameter column vector to be selected from the parameter column vector set C.

【0014】以上のように構成された第1の実施の形態
である個人照合装置の動作について説明する。画像入力
手段101において、CCDカメラ等を用いて、横256画素
×縦256画素の大きさで、RGB各256階調のカラー信号で
入力画像が取り込まれる。色情報計算手段102では、
101で取り込まれた入力画像における各画素でのカラ
ー信号を図5で表されるHSV表色系をもとに彩度、明
度、色相と呼ばれる色情報に変換する。一般に色相H成
分は色みの種類を表す値であり、照明等による反射や陰
影の影響を受けにくく、顔のように色相がほぼ一定であ
るような領域抽出には有効であると言われている。ま
た、明度Vは色の明るさを表した値を、彩度Sは色の鮮や
かさの程度を表しており、人間の顔領域は比較的彩度、
明度の高い物体であるのに対し、本発明が主に使用され
ると思われるオフィスをはじめとする建物内部環境で
は、比較的低彩度色が用いられている。人物領域抽出手
段103はこの2点をもとに入力画像から大まかに人物
領域を抽出するのである。色情報変換を行うための表色
系としては、ここでは図3に示されるようなHSV表色系
を用いたが、色相成分、彩度成分を持つ表色系であれば
同様に適用することができる。(数1)はその導出式を
表す。そして、r_xy、g_xy、b_xyは画素座標(x,y)にお
けるカラー信号を、H_xyは色相を、V_xyは明度を、S_xy
は彩度を表すものとする。
The operation of the personal verification apparatus according to the first embodiment configured as described above will be described. In the image input means 101, an input image is captured using a CCD camera or the like with a color signal of 256 pixels in the horizontal direction and 256 pixels in the vertical direction, each of which has 256 gradations of RGB. In the color information calculation means 102,
The color signal at each pixel in the input image captured in 101 is converted into color information called saturation, lightness, and hue based on the HSV color system shown in FIG. In general, the hue H component is a value that represents the type of tint, is less likely to be affected by reflections and shadows due to lighting, etc., and is said to be effective for extracting areas where the hue is almost constant, such as a face. I have. Further, the lightness V represents a value representing the brightness of the color, the saturation S represents the degree of vividness of the color, and the human face region is relatively saturated,
In contrast to an object having a high brightness, a relatively low saturation color is used in a building interior environment such as an office where the present invention is considered to be mainly used. The person region extracting means 103 roughly extracts a person region from the input image based on these two points. As the color system for performing the color information conversion, the HSV color system as shown in FIG. 3 is used here. However, if the color system has a hue component and a saturation component, the same applies. Can be. (Equation 1) represents the derivation formula. R_xy, g_xy, b_xy are color signals at pixel coordinates (x, y), H_xy is hue, V_xy is lightness, S_xy
Represents saturation.

【0015】[0015]

【数1】 (Equation 1)

【0016】人物領域抽出手段103は次の2つの処理
を行う。 (i)彩度Sが予め与えられた彩度しきい値th_sより高い領
域を入力画像より切り出す。
The person area extracting means 103 performs the following two processes. (i) A region where the saturation S is higher than a predetermined saturation threshold th_s is cut out from the input image.

【0017】(ii)(i)で切り出された領域に含まれる画
像の色相成分Hから、色相成分ヒストグラムを求める。
(Ii) A hue component histogram is obtained from the hue components H of the image included in the region cut out in (i).

【0018】(iii)(ii)で作成された色相ヒストグラム
で、人間の肌の色相範囲に相当する範囲Dで色相ヒスト
グラムの頻度が最大となる色相値H_maxを求める。
From the hue histograms created in (iii) and (ii), a hue value H_max at which the frequency of the hue histogram is maximum in a range D corresponding to the hue range of human skin is obtained.

【0019】(iv)図4のように横画素x方向(0≦x≦255)
に対して、色相値Hが(H_max - th_h)≦H≦(H_max + th_
h)を満足する画素のヒストグラムCount(x)を求め、x方
向に対する平均値C_ave_xを求める。ここで、th_hは色
相範囲しきい値である。そして、x=0から走査してCount
(x)がC_ave_xを最初に上回るx=x_sと、同様にx=255か
ら走査して最初にC_ave_xを上回るx=x_eを求める。x_s
からx_eに相当する領域を横画素x方向における人物領域
を見なす。
(Iv) As shown in FIG. 4, horizontal pixel x direction (0 ≦ x ≦ 255)
The hue value H is (H_max-th_h) ≤ H ≤ (H_max + th_
A histogram Count (x) of pixels satisfying h) is obtained, and an average value C_ave_x in the x direction is obtained. Here, th_h is a hue range threshold. Then scan from x = 0 and count
Scanning from x = x_s where (x) first exceeds C_ave_x and x = 255 similarly obtains x = x_e which first exceeds C_ave_x. x_s
To x_e is regarded as a person region in the horizontal pixel x direction.

【0020】(v)(iv)と同様に縦画素y方向(0≦x≦255)
に対しても、色相値Hが(H_max - th_h )≦H≦(H_max +
th_h)を満足する画素のヒストグラムCount(y)を求め、y
方向に対する平均値C_ave_yを求める。そして、y=0から
走査してCount(y)がC_ave_yを最初に上回るy=y_sと、同
様にy=255から走査して最初にC_ave_yを上回るy=y_eを
求める。y_sからy_eに相当する領域を縦画素y方向にお
ける人物領域を見なす。
(V) Similar to (iv), vertical pixel y direction (0 ≦ x ≦ 255)
Also, the hue value H is (H_max-th_h) ≦ H ≦ (H_max +
th_h), a histogram Count (y) of pixels satisfying y
Find the average value C_ave_y for the direction. Then, scan from y = 0 to find y = y_s where Count (y) first exceeds C_ave_y, and similarly scan from y = 255 to find y = y_e which first exceeds C_ave_y. An area corresponding to y_s to y_e is regarded as a person area in the vertical pixel y direction.

【0021】(vi)横画素x方向におけるx_sからx_e、縦
画素y方向におけるy_sからy_eに含まれる矩形領域を人
物領域として抽出する。
(Vi) A rectangular area included in x_s to x_e in the horizontal pixel x direction and y_s to y_e in the vertical pixel y direction is extracted as a person area.

【0022】図7は入力画像からth_s=25より低い彩度
領域を取り除いた領域に対して得られた色相ヒストグラ
ムの例を表すものであり、領域Dは人物の肌に相当する
と思われる領域を表す。
FIG. 7 shows an example of a hue histogram obtained from a region obtained by removing a saturation region lower than th_s = 25 from an input image. A region D is a region considered to correspond to a human skin. Represent.

【0023】輝度補正手段104では、(数2)に従
い、得られた人物領域画像内の画素(x,y)における輝度
値l_xyを求める。
The luminance correction means 104 obtains a luminance value l_xy at the pixel (x, y) in the obtained person area image according to (Equation 2).

【0024】[0024]

【数2】 (Equation 2)

【0025】そして、各画像の撮影時における照明条件
等により生じる輝度の偏りを低減するために線形変換に
よる輝度値の補正を実施する。なお、この処理は線形変
換に限定されるものではなく、各輝度レベルにおける画
素中でのヒストグラムを同じにするヒストグラム等価法
などを適用することも可能である。
Then, the luminance value is corrected by a linear conversion in order to reduce the deviation of the luminance caused by the lighting conditions at the time of photographing each image. Note that this processing is not limited to linear conversion, and it is also possible to apply a histogram equalization method or the like that makes the histogram in pixels at each luminance level the same.

【0026】これまでの処理により得られた人物領域に
はまだ背景情報等が十分含まれており、個人照合を行う
際にこの影響を受けることとなる。そこで、さらに領域
を絞り、個人照合の効率化を図るために、以下に説明す
るような遺伝的アルゴリズムを用いた領域抽出を遺伝的
アルゴリズム処理手段105が行う。そこでは、顔領域
抽出のために予め用意された標本顔画像集合から生成さ
れた抽出用テンプレートベクトル集合G_Te内のベクトル
T_e[j](j=0,1,...,N-1)と、人物領域抽出手段103で
抽出された人物領域からK個の矩形領域により得られる
抽出用ベクトルV_e[i](i=0,1,...,K-1)との間のパター
ンマッチングを行い、最適な矩形領域を顔領域と見なし
て切り出す。その際、矩形領域の中心点座標(x0(i),y0
(i))、横画素数width(i)、縦画素数height(i)の最適値
を、多数パラメータの組み合わせで大きな効果のある遺
伝的アルゴリズム(GA)を用いて推定するのである。
The person area obtained by the processing up to this point still contains sufficient background information and the like, and is affected when performing personal verification. Therefore, in order to further narrow down the area and improve the efficiency of individual matching, the genetic algorithm processing means 105 performs area extraction using a genetic algorithm as described below. Here, vectors in an extraction template vector set G_Te generated from a sample face image set prepared in advance for face area extraction
T_e [j] (j = 0, 1,..., N−1) and an extraction vector V_e [i] (i) obtained by K rectangular areas from the person area extracted by the person area extraction unit 103 = 0, 1,..., K−1), and cuts out an optimal rectangular area as a face area. At that time, the coordinates of the center point of the rectangular area (x0 (i), y0
(i)), the optimal values of the horizontal pixel number width (i) and the vertical pixel number height (i) are estimated by using a genetic algorithm (GA) having a large effect by combining a large number of parameters.

【0027】遺伝的アルゴリズムは生物の種の染色体が
環境に適応して進化していく様子を模擬した最適化手法
であり、例えば文献「ジェネティック アルゴリズム
インサーチ オプティマイゼーション アンド マシー
ン ラーニング」(”Genetic Algorithms in Search,
Optimization and Machine Learning”(David E.Goldb
erg, Addison Wesley))にその詳細が記載されてい
る。まず、推定する複数のパラメータからなるパラメー
タ列ベクトルを染色体q_k(k=0,1,...,K-1)と見なし、最
適化すべき問題を環境とみなす。自然界では染色体が環
境に適していない個体は死滅し、適したものは他の染色
体との間で交配を行い子を生む。子は両親の遺伝子を組
み合わせたものになり、今までの集団にはなかった染色
体を持つ。同じ両親から生まれた子でも遺伝子の組み合
わせ次第で良くも悪くもなる。適合度の高い子は子孫を
増やし、低い子は死滅する。時に染色体は突然変異を起
こす。この過程を繰り返すことにより染色体の集団は次
第に適合度の高い染色体を持つよう均質化していく。GA
では、求めるパラメータ列ベクトルの集団を生物におけ
る染色体の集団と見なす。最初にランダムにパラメータ
列ベクトルの集団が生成される。各々の解最適化したい
関数(評価関数と呼ぶ)に代入して評価し、最適に近いも
のを増殖させ、適していないものを淘汰させる。その
後、他の染色体との間で解の一部を交換し合う。これを
交叉と呼ぶ。さらに、ある確率で突然変異を起こし、パ
ラメータ列ベクトルの一部を変化させる(図6参照)。こ
の増殖・淘汰、交叉、突然変異からなる世代交代の過程
を繰り返し適用し、一定の世代交代の後、集団内で最良
のパラメータ列ベクトルを最適なベクトルとする。GAの
特徴はパラメータ列ベクトル集団を用いて同時に探索空
間上で複数探索を行う点にある。これにより、ローカル
ミニマムに陥る可能性が減少する。また、複数のパラメ
ータ列ベクトルの良い点を組み合わせて新たなパラメー
タ列ベクトルを作成することで効率的な探索を行うこと
ができることも特徴の1つである。GAは、以上のような
処理を繰り返し実行することによりパラメータ列ベクト
ルの最適化を行うものである。
The genetic algorithm is an optimization method that simulates how a chromosome of a species of an organism evolves in adaptation to the environment.
"In Search Optimization and Machine Learning"("Genetic Algorithms in Search,
Optimization and Machine Learning ”(David E. Goldb
erg, Addison Wesley)). First, a parameter sequence vector including a plurality of parameters to be estimated is regarded as a chromosome q_k (k = 0, 1,..., K−1), and a problem to be optimized is regarded as an environment. In nature, individuals whose chromosomes are unsuitable for the environment die, and those that are suitable crosses with other chromosomes to produce offspring. The offspring combine the genes of their parents and have chromosomes not previously found in the population. A child born to the same parents can get better or worse depending on the combination of genes. Highly fit offspring increase offspring and low offspring die. Sometimes chromosomes mutate. By repeating this process, the population of chromosomes is gradually homogenized to have chromosomes with a high degree of fitness. GA
In the following, a group of parameter column vectors to be determined is regarded as a group of chromosomes in an organism. First, a group of parameter column vectors is randomly generated. Each function is evaluated by substituting it into a function to be optimized (referred to as an evaluation function), and those that are close to optimal are proliferated, and those that are not suitable are eliminated. Then, a part of the solution is exchanged with another chromosome. This is called crossover. Further, a mutation is caused at a certain probability, and a part of the parameter column vector is changed (see FIG. 6). The process of generation alternation consisting of multiplication / selection, crossover, and mutation is repeatedly applied, and after a certain generation alternation, the best parameter column vector in the group is set as the optimal vector. The feature of GA is that multiple searches are performed simultaneously on a search space using a parameter column vector group. This reduces the possibility of falling into a local minimum. Another feature is that efficient search can be performed by creating a new parameter column vector by combining good points of a plurality of parameter column vectors. The GA optimizes a parameter column vector by repeatedly executing the above processing.

【0028】本発明では、103で色相により大まかに
切り出された人物領域に対してGAを適用することによっ
て顔領域を切り出す。染色体構造は図7のように、顔領
域を抽出するために必要な矩形領域の中心座標(x0(i),y
0(i))、横画素数width(i)、縦画素数height(i)(i=0,
1,...,K-1)よりなるパラメータ列ベクトルで表現され
る。まず初期抽出領域設定手段109において、ランダ
ムに設定されたK個の元を持つ染色体集合Qを用意する。
なお、ここでは矩形領域の座標、横画素数、縦画素数を
そのまま要素にして染色体を生成したが、座標、横画素
数、縦画素数を0、1の2進数のビット列に変換して並べ
たビット列にすることも考えられる。抽出用ベクトル生
成手段110では、各染色体q_i(i=0,1,...,K-1)の適合
度を評価するために、各染色体の表す矩形領域内の画像
の特徴を表す抽出用ベクトルを生成する。染色体q_iに
対して、矩形領域内の輝度l_xy(i)(x0(i)-width(i)/2+1
≦x≦x0(i)+width(i)/2,y0(i)-height(i)/2+1≦y≦y0
(i)+height(i)/2)の矩形領域内における平均輝度l_ave
(i)を求め、各画素において輝度差分値dl_xy(i)=l_xy
(i)-l_ave(i)を求める。彩度、色相により抽出された人
物領域はL=m×mのモザイクブロックに荒く分割され、各
ブロックj(j=0,1,...,L-1)内の輝度差分値dl_xy(i)の平
均値e(j,i)が(数3)のように計算される。ここで、Σ
の取りうる範囲は、ブロックjに属するx(i),y(i)にな
る。
In the present invention, a face area is cut out by applying GA to a person area roughly cut out according to hue at 103. As shown in FIG. 7, the chromosome structure has the center coordinates (x0 (i), y) of the rectangular area necessary for extracting the face area.
0 (i)), number of horizontal pixels width (i), number of vertical pixels height (i) (i = 0,
1, ..., K-1). First, the initial extraction area setting means 109 prepares a chromosome set Q having K elements set at random.
In this case, the chromosome is generated by using the coordinates of the rectangular area, the number of horizontal pixels, and the number of vertical pixels as they are, but the coordinates, the number of horizontal pixels, and the number of vertical pixels are converted into a binary bit string of 0 and 1 and arranged. It is also conceivable to use a bit string. In order to evaluate the fitness of each chromosome q_i (i = 0, 1,..., K-1), the extraction vector generation means 110 extracts the feature of the image in the rectangular area represented by each chromosome. Generate a vector. For the chromosome q_i, the luminance l_xy (i) (x0 (i) -width (i) / 2 + 1
≦ x ≦ x0 (i) + width (i) / 2, y0 (i) -height (i) / 2 + 1 ≦ y ≦ y0
Average luminance l_ave in the rectangular area of (i) + height (i) / 2)
(i), and the luminance difference value dl_xy (i) = l_xy in each pixel
(i) Find -l_ave (i). The person area extracted by the saturation and hue is roughly divided into mosaic blocks of L = m × m, and the luminance difference value dl_xy (i) in each block j (j = 0, 1,..., L−1) ) Is calculated as shown in (Equation 3). Where Σ
Can be x (i), y (i) belonging to block j.

【0029】[0029]

【数3】 (Equation 3)

【0030】この値をブロックjの代表値とみなすこと
により、色相で得られた人物領域内画像はL次元ベクト
ルV_e[i]=(e(0,i),e(1,i),....,e(L-1,i))で表現するこ
とができる。なお、平均輝度からの輝度差分値を用いて
モザイクブロック内の代表値を求めたのは、各画像にお
ける平均輝度の変動による影響を低減するためである。
抽出用テンプレート辞書111は、予め顔領域抽出のた
めに用意されたN_sample個の抽出用標本顔画像集合の中
の顔画像lをL個のモザイクブロックに分割し、各モザイ
クブロックk内の輝度差分値の平均値ted(k,l)(k=0,
1,...,L-1,l=0,1,...,N_sample-1)を要素に持つL次元ベ
クトルT_ed[l]=(ted(0,l),ted(1,l),...,ted(L-1,l))を
作成する。作成されたN_sample個のベクトルにベクトル
量子化(Vector Quantization:VQ)を適用してN個の要
素を持つ抽出用テンプレートベクトル集合を作成する。
VQは用意された多数のベクトル集合のデータ分布に応じ
て、参照ベクトルと呼ばれる各部分空間(クラスタ)を
代表するベクトルを配置して、元のベクトル空間を複数
の部分空間に分割するクラスタ化手法であり、詳細は文
献「アン アルゴリズム フォー ベクトル クフォン
タイザー デザイン」("An algorithm for vector quan
tizer design"(IEEE Transaction of Communication, C
OM-28, No.1, pp.84-95,1980, Linde, Y., Buzo, A. an
d Gray, R. M. ))に掲載されている。本発明では、この
VQを用いて予め用意されたN_sample個の抽出用標本顔画
像集合から生成される抽出用ベクトルをN個の部分集合
にクラスタ分割し、得られたN個の参照ベクトルT_e[j]
(j=0,...,N-1)を用いて抽出用テンプレートベクトル集
合G_teを生成する。このG_teが抽出用テンプレート辞書
111に相当する。
By regarding this value as a representative value of the block j, the image in the human area obtained in the hue is converted into an L-dimensional vector V_e [i] = (e (0, i), e (1, i),. ..., e (L-1, i)). The reason why the representative value in the mosaic block is obtained using the luminance difference value from the average luminance is to reduce the influence of the fluctuation of the average luminance in each image.
The extraction template dictionary 111 divides the face image l in the set of N_sample extraction sample face images prepared in advance for face area extraction into L mosaic blocks, and calculates the luminance difference in each mosaic block k. Mean value of the values ted (k, l) (k = 0,
L-dimensional vector T_ed [l] = (ted (0, l), ted (1, l) having 1, ..., L-1, l = 0,1, ..., N_sample-1) as elements , ..., ted (L-1, l)). Vector quantization (Vector Quantization: VQ) is applied to the created N_sample vectors to create an extraction template vector set having N elements.
VQ is a clustering method that divides the original vector space into multiple subspaces by arranging vectors representing each subspace (cluster) called reference vectors according to the data distribution of a large number of prepared vector sets For details, refer to the document "An algorithm for vector quan tizer design".
tizer design "(IEEE Transaction of Communication, C
OM-28, No.1, pp.84-95,1980, Linde, Y., Buzo, A. an
d Gray, RM)). In the present invention,
Extraction vectors generated from a set of N_sample extraction sample face images prepared in advance using VQ are cluster-divided into N subsets, and the obtained N reference vectors T_e [j]
An extraction template vector set G_te is generated using (j = 0,..., N−1). This G_te corresponds to the extraction template dictionary 111.

【0031】次に抽出領域評価手段112では、110
で生成された各染色体q_i(i=0,1,...,K-1)に対応する矩
形領域からの抽出用ベクトルを用いて、各染色体の適合
度を計算する。各染色体の適合度を表す評価関数fitnes
s(i)として、いろいろなものが考えられるが、ここでは
(数4)で表現される関数を用いた。
Next, the extraction area evaluation means 112
The fitness of each chromosome is calculated using the vector for extraction from the rectangular area corresponding to each chromosome q_i (i = 0, 1,..., K-1) generated in the above. The fitness function fitnes that represents the fitness of each chromosome
Various types of s (i) can be considered. Here, a function expressed by (Equation 4) was used.

【0032】[0032]

【数4】 (Equation 4)

【0033】この(数4)は、抽出用ベクトルV_e[i](i
=0,1,...,K-1)と用意されたN個の抽出テンプレート辞書
内のベクトルT_e[j](j=0,1,...,N-1)との間の2乗距離D
[i,j]を計算し、最小距離をこの染色体q_iに対する適合
度fitness(i)とみなす。GAでは、この値が小さくなるよ
うな最適な染色体q_bestを推定するのである。さらに1
12では、 [i]最小適合度f_minが顔領域判断基準f_thより小さい場
合に、顔領域抽出が終了し、106の顔抽出領域記録手
段で最適な矩形領域が記録される。
This (Equation 4) is equivalent to the extraction vector V_e [i] (i
= 0,1, ..., K-1) and the vector T_e [j] (j = 0,1, ..., N-1) in the prepared N extracted template dictionaries. Ride distance D
[i, j] is calculated, and the minimum distance is regarded as the fitness “fitness (i)” for the chromosome q_i. The GA estimates the optimal chromosome q_best such that this value becomes smaller. One more
In step 12, when [i] the minimum fitness f_min is smaller than the face area determination criterion f_th, the face area extraction is completed, and the optimal rectangular area is recorded by the face extraction area recording unit 106.

【0034】[ii]最小適合度f_minが顔領域判断基準f_t
hより大きく、かつ染色体集合更新回数g_numが予め設定
された繰り返し上限回数g_num_max以下の場合、組み替
え操作手段113へ処理が移る。
[Ii] The minimum fitness f_min is the face area determination criterion f_t
If it is greater than h and the chromosome set update count g_num is equal to or less than the preset maximum number of repetitions g_num_max, the process proceeds to the recombination operation unit 113.

【0035】[iii]最小適合度f_minが顔領域判断基準f_
thより大きく、かつ染色体集合更新回数g_numが予め設
定された繰り返し上限回数g_num_maxを超えた場合に
は、入力画像中に顔領域が含まれていないと判断して、
顔抽出および個人照合処理終了する。 の3つの判断処理も併せて実行する。
[Iii] The minimum fitness f_min is the face area determination criterion f_
If th, and the chromosome set update count g_num exceeds a preset maximum number of iterations g_num_max, it is determined that no face region is included in the input image,
The face extraction and the individual matching process are completed. These three determination processes are also performed.

【0036】組替え操作手段113の動作は以下の通り
である。まず、候補選択手段201において染色体の選
択淘汰が実行される。この場合、図8に表されるように
適合度に比例する確率で染色体を選択するルーレット選
択法が用いられる。
The operation of the rearrangement operation means 113 is as follows. First, chromosome selection is performed in the candidate selection means 201. In this case, as shown in FIG. 8, a roulette wheel selection method for selecting chromosomes with a probability proportional to the fitness is used.

【0037】(ルーレット選択法) (1)染色体集合Qに属する各染色体q_i(i=0,1,...,K-1)の
適合度fitnsee(i)、全染色体の適合度の総和f_totalを
求める。
(Roulette selection method) (1) Fitnsee (i) of the fitness of each chromosome q_i (i = 0, 1,..., K-1) belonging to the chromosome set Q, and the sum f_total of the fitness of all chromosomes Ask for.

【0038】(2)q_iが次世代の染色体を作り出す親とし
て選ばれる選択確率h(i)が(数5)のように求められ
る。
(2) The selection probability h (i) that q_i is selected as the parent that creates the next generation chromosome is obtained as shown in (Equation 5).

【0039】[0039]

【数5】 (Equation 5)

【0040】この確率を染色体に割り当てるためには例
えば次のような方法が考えられる。 (iii)各染色体の選択範囲I(i)を[0,1)内の区間に(数
6)(数7)を用いて次のように割り当てる。つまり、
To assign this probability to a chromosome, for example, the following method can be considered. (iii) The selection range I (i) of each chromosome is allocated to the section in [0, 1) using (Equation 6) and (Equation 7) as follows. That is,

【0041】[0041]

【数6】 (Equation 6)

【0042】とする時、q_iの選択範囲I(i)はThen, the selection range I (i) of q_i is

【0043】[0043]

【数7】 (Equation 7)

【0044】のように定義する。ここで、[0,1)内に一
様乱数g(i)の組G=(g(0),g(1),...,g(K-1))を発生させ
る。g(i)∈I(j)(i,j=0,1,...,K-1)を満足するnum(i)=j
の組Num=(num(0),num(1),...,num(K-1))を求めることに
より、このNumに対応するK個の染色体の組が選択される
ことになる。
Is defined as follows. Here, a set G = (g (0), g (1),..., G (K−1)) of uniform random numbers g (i) is generated in [0, 1). num (i) = j that satisfies g (i) ∈I (j) (i, j = 0,1, ..., K-1)
By calculating the set Num = (num (0), num (1),..., Num (K-1)), a set of K chromosomes corresponding to this Num is selected.

【0045】このようなルーレット選択法により、現在
の染色体集団Pの中の染色体q_iの選択を行うのである。
まず、(数5)〜(数7)に従い選択範囲導出手段20
4が各染色体が選択される確率h(i)とその選択範囲I(i)
を求める。そして、乱数発生手段205が0から1の間
の一様乱数gをK個発生する。乱数発生手段205で得ら
れた乱数の組Gと選択範囲導出手段204により得られ
る選択範囲I(i)は、染色体選択手段206へ送られg(i)
∈I(j)を満足するnum(i)=kの組Numが求められる。それ
により染色体選択手段206では、Numによって指定さ
れる染色体で構成される新しい染色体集団Qを出力する
のである。この候補選択手段201で得られる新しい染
色体集団Qに対して、交叉処理手段202が交叉処理を
行う。交叉処理としては様々な方法があるが、本実施例
では図6のような1点交叉もしくは2点交叉処理を用い
る。さらに突然変異手段203が、交叉処理手段202
を経て得られた新しい染色体集団に対して、ある低い確
率で選ばれた遺伝子(多次元空間における座標ベクトル
の要素)にある範囲内で与えられた乱数を付加すること
によって実現される。その際、突然変異を行う確率は、
染色体集団の半分と残り半分では変動させることによ
り、より染色体の多様性に維持することに努めた。な
お、ここでは、多次元空間における座標ベクトルの実数
値要素をそのまま並べて染色体として扱ったが、ビット
列に変換して扱うことも可能である。図9は、ある入力
画像に対して顔領域抽出の一例を表す。(a)は入力画
像、(b)は彩度、色相による人物抽出結果、(c)はGAによ
る顔領域抽出結果の例を表す。なお、人物領域抽出にお
いて、彩度閾値th_s = 25、色相範囲閾値th_h = 10とし
た。GAによる顔領域抽出を行う際、1世代あたりに用意
される染色体q_iの個数は80とし、顔領域抽出までに200
世代の繰り返し推定が行われた結果を示す。これらより
明らかなように、良好に人物の顔領域が切り出されてい
ることがわかる。
The chromosome q_i in the current chromosome group P is selected by such a roulette wheel selection method.
First, the selection range deriving means 20 according to (Equation 5) to (Equation 7)
4 is the probability h (i) that each chromosome is selected and the selection range I (i)
Ask for. Then, the random number generation means 205 generates K uniform random numbers g between 0 and 1. The set of random numbers G obtained by the random number generation means 205 and the selection range I (i) obtained by the selection range derivation means 204 are sent to the chromosome selection means 206 and g (i)
A set Num of num (i) = k that satisfies ∈I (j) is obtained. As a result, the chromosome selection means 206 outputs a new chromosome group Q composed of chromosomes designated by Num. Crossover processing means 202 performs crossover processing on the new chromosome population Q obtained by the candidate selection means 201. As the crossover processing, there are various methods. In this embodiment, a one-point crossover or a two-point crossover as shown in FIG. 6 is used. Furthermore, the mutation means 203 is
This is realized by adding a random number given within a certain range to a gene (element of a coordinate vector in a multidimensional space) selected with a low probability to a new chromosome population obtained through. At that time, the probability of performing the mutation is
Efforts were made to maintain more chromosomal diversity by varying the chromosome population in half and the other half. Here, the real-valued elements of the coordinate vector in the multidimensional space are arranged as they are and treated as chromosomes, but they may be converted into bit strings and treated. FIG. 9 illustrates an example of face area extraction for a certain input image. (a) shows an example of an input image, (b) shows an example of a person extraction result based on saturation and hue, and (c) shows an example of a face area extraction result based on GA. In the extraction of the person region, the saturation threshold th_s = 25 and the hue range threshold th_h = 10. When performing face area extraction by GA, the number of chromosomes q_i prepared per generation is assumed to be 80, and 200
This shows the result of repeated generation estimation. As is clear from these, it can be seen that the face region of the person has been cut out well.

【0046】次にGAにより切り出された顔領域の照合方
法について示す。まず、予め用意された顔画像をM個の
モザイクブロックに分割し、各ブロックl(l=0,1,...,M-
1)内の輝度差分値の平均値dl_xy(l)を用いてM次元照合
用ベクトルが生成される。そして、得られたモザイクベ
クトルに学習量子化ベクトル(Learning Vector Quantiz
ation:LVQ )を適用し、照合対象カテゴリ数P個のカテゴ
リを代表するベクトルT_r[k]=(tr(0,k),tr(1,k),...,tr
(M-1,k))(k=0,1,...,P-1)の集合G_Trを作成する。この
ベクトル集合G_Trの作成手法として、本発明では次のよ
うな手順で与えられた複数のベクトルvより各カテゴリ
を代表するベクトル集合を作成するLVQを適用する。(1)
ベクトルvに対して式(数8)により、最近傍な代表ベク
トルv_c(n)を見つける。なお、nはLVQにおける繰り返し
回数を、v_p(n)は回数nにおける代表ベクトルを表す。
Next, a method of collating a face area extracted by the GA will be described. First, a prepared face image is divided into M mosaic blocks, and each block l (l = 0, 1, ..., M-
An M-dimensional matching vector is generated using the average value dl_xy (l) of the luminance difference values in 1). Then, the obtained mosaic vector is added to the learning quantization vector (Learning Vector Quantiz
ation: LVQ) and apply the vector T_r [k] = (tr (0, k), tr (1, k), ..., tr
A set G_Tr of (M-1, k)) (k = 0, 1,..., P-1) is created. As a method of creating the vector set G_Tr, in the present invention, an LVQ for creating a vector set representing each category from a plurality of vectors v given in the following procedure is applied. (1)
The closest representative vector v_c (n) is found for the vector v by Expression (Equation 8). Note that n represents the number of repetitions in LVQ, and v_p (n) represents a representative vector in the number n.

【0047】[0047]

【数8】 (Equation 8)

【0048】(2)ここでvの属するカテゴリをG_v、v_c
(n)の属するカテゴリをG_vcとする。もし、G_vとG_vcが
同じカテゴリであれば、(数9)のようにv_c(n)をvに近
づけ、異なるカテゴリであれば、(数10)のようにv_c
(n)をvから遠ざける。なお、v_c以外の代表ベクトルは
更新されない。
(2) Here, the category to which v belongs is G_v, v_c
The category to which (n) belongs is G_vc. If G_v and G_vc are in the same category, make v_c (n) closer to v as in (Equation 9), and if they are different categories, v_c (n) as in (Equation 10)
Move (n) away from v. Note that the representative vectors other than v_c are not updated.

【0049】[0049]

【数9】 (Equation 9)

【0050】[0050]

【数10】 (Equation 10)

【0051】alpha(n)は単調減少関数( 0 < alpha < 1
)である。LVQは、VQを発展させた自己組織化ニューラ
ルネットワーク手法であり、VQにおける各クラスタを代
表する参照ベクトルをニューロン間の結合係数に対応さ
せ、教師あり学習を用いることによって適切な参照ベク
トルを求める手法である。LVQでは、同じカテゴリに属
するベクトル間の距離を近づけ、異なるカテゴリに属す
るベクトル間の距離を遠ざけて各カテゴリ間の境界線の
最適化を行う。本発明では、予め与えられた個人照合用
標本顔画像集合から得られるモザイクベクトルにLVQを
用いて、照合対象である各カテゴリを代表する参照ベク
トル集合を作成し、照合用テンプレート辞書として用意
する。
Alpha (n) is a monotonically decreasing function (0 <alpha <1
). LVQ is a self-organizing neural network method developed from VQ, in which reference vectors representing each cluster in VQ are made to correspond to coupling coefficients between neurons, and an appropriate reference vector is obtained by using supervised learning. It is. In LVQ, the distance between vectors belonging to the same category is reduced, and the distance between vectors belonging to different categories is increased to optimize the boundary between the categories. In the present invention, a reference vector set representative of each category to be compared is created using LVQ on a mosaic vector obtained from a given set of sample face images for personal matching, and prepared as a template dictionary for matching.

【0052】一方、前節で切り出された顔領域画像は同
様にM次元のモザイクブロックに分割され、各ブロックi
(i=0,1,...,M-1)内の輝度差分値の平均値dl_xy(i)を要
素riとするM次元の照合用ベクトルV_r=(r0,r1,...,rM)
が照合用ベクトル生成手段106で生成される。この照
合用生成ベクトルV_rと照合用テンプレート辞書G_Tr内
のテンプレートベクトルT_r[k]=(tr(0,k),tr(1,k),...,
tr(M-1,k))(k=0,1,...,P-1)の間の2乗距離DD[k]を計算
する。距離DD[k]において最小値DD_minを予め与えられ
た個人照合基準D_thより小さい場合には、DD_minに相当
するkの表す画像が入力画像内の顔の人物であると照合
し、逆に大きい場合には、該当者なしと判断する。この
照合結果を照合結果出力手段108が出力するのであ
る。
On the other hand, the face area image cut out in the previous section is similarly divided into M-dimensional mosaic blocks, and each block i
An M-dimensional matching vector V_r = (r0, r1, ..., rM whose element ri is the average value dl_xy (i) of the luminance difference values in (i = 0,1, ..., M-1) )
Are generated by the comparison vector generation means 106. The generated vector V_r for matching and the template vector T_r [k] in the template dictionary G_Tr for matching = (tr (0, k), tr (1, k), ...,
Calculate the square distance DD [k] between tr (M-1, k)) (k = 0, 1,..., P-1). If the minimum value DD_min at the distance DD [k] is smaller than a predetermined personal collation reference D_th, the image represented by k corresponding to DD_min is collated as the face person in the input image. , It is determined that there is no applicable person. The collation result output means 108 outputs the collation result.

【0053】このように本実施の形態によれば、色情報
を用いて入力画像から大まかに人物領域を抽出した後、
遺伝的アルゴリズムにより予め用意された テンプレー
トベクトル辞書ともっとも適合すると思われる領域を探
索して顔領域を切り出すことができ、背景や、顔の大き
さに依存しなで自動的に顔領域抽出を行うことができ
る。さらに、顔領域抽出後の照合方法として、画像中の
輝度・濃淡情報を部品の位置ずれや画像のノイズの影響
をある程度低減することのできるモザイク特徴量ベクト
ルに変換し、学習ベクトル量子化手法により生成された
照合用テンプレート辞書とのパターンマッチングを行う
ことにより、安定してかつ比較的簡単に個人照合を行う
ことができ、その効果は大きい。
As described above, according to the present embodiment, after roughly extracting a person region from an input image using color information,
A genetic algorithm searches for a region that seems to be most compatible with the template vector dictionary prepared in advance, and can extract a facial region, and automatically extracts a facial region independent of the background and the size of the face be able to. Furthermore, as a matching method after extracting the face region, the luminance / shading information in the image is converted into a mosaic feature amount vector that can reduce the influence of component displacement and image noise to some extent, and a learning vector quantization method is used. By performing pattern matching with the generated matching template dictionary, individual matching can be performed stably and relatively easily, and the effect is great.

【0054】(第2の実施の形態)次に、本発明の第2
の実施の形態である個人照合装置について説明する。図
10は本発明の第2の実施の形態である個人照合装置の
構成図である。図10において、1001は抽出用ベク
トル生成手段110で生成されたK個の抽出用ベクトル
と比較する目的で予め用意された複数の顔領域抽出用標
本顔画像から生成されたN個の抽出用テンプレートベク
トルT_e[j]=(te(0,j),te(1,j),...,te(L-1,j))(j=0,
1,...,N-1)が記録されている抽出用テンプレート辞書
2、1002は顔抽出領域記録手段114で記録された
最適な矩形領域に対応する抽出用ベクトルとの適合度が
最も高い抽出用テンプレートベクトルに属する顔画像グ
ループを記録する最適抽出グループ記録手段、1003
は最適抽出グループ記録手段に記録されている顔画像グ
ループに該当する照合用テンプレートベクトルを照合用
テンプレート辞書107より選択する照合用テンプレー
ト選択手段、1004は得られた顔領域より生成された
照合用ベクトルと1002の照合用テンプレート選択手
段により選択された複数の照合用テンプレートベクトル
のみを比較して、最終的な人物照合を行い照合結果の出
力を行う照合結果出力手段2である。
(Second Embodiment) Next, a second embodiment of the present invention will be described.
A personal verification device according to the embodiment will be described. FIG. 10 is a configuration diagram of a personal verification device according to a second embodiment of the present invention. In FIG. 10, reference numeral 1001 denotes N extraction templates generated from a plurality of face region extraction sample face images prepared in advance for the purpose of comparison with the K extraction vectors generated by the extraction vector generation unit 110. Vector T_e [j] = (te (0, j), te (1, j), ..., te (L-1, j)) (j = 0,
The extraction template dictionaries 2 and 1002 in which (1,..., N-1) are recorded have the highest degree of matching with the extraction vectors corresponding to the optimal rectangular areas recorded by the face extraction area recording means 114. Optimal extraction group recording means for recording a face image group belonging to the extraction template vector, 1003
Is a matching template selecting means for selecting a matching template vector corresponding to the face image group recorded in the optimal extraction group recording means from the matching template dictionary 107; 1004 is a matching vector generated from the obtained face area; And a comparison result output unit 2 that compares only a plurality of comparison template vectors selected by the comparison template selection unit 1002 and performs final person verification and outputs a verification result.

【0055】以上のように構成された第2の実施の形態
である個人照合装置の動作について説明する。本発明の
第1の実施の形態である個人照合装置と同様に、画像入
力手段101より入力された入力画像は、色情報計算手
段102で求められた色相、彩度、明度の色情報をもと
に、大まかに人物領域が切り出され、輝度補正手段10
4による人物領域画像内の輝度の偏りが補正される。そ
の後、遺伝的アルゴリズム処理手段105で、予め用意
された顔領域抽出用の抽出用テンプレート辞書111内
のテンプレートベクトルと、ランダムに切り出された矩
形領域内の輝度から求められる抽出用ベクトルとのパタ
ーンマッチングと遺伝的組み替え操作による矩形領域の
調整を繰り返すことにより、最適な顔抽出領域が推定さ
れ、顔領域記録手段114で記録される。1001の抽
出用テンプレート辞書2におけるL次元抽出用テンプレ
ートベクトルT_e[j]=(te(0,j),te(1,j),...,te(L-1,j))
(j=0,1,...,N-1)を生成する際に、予め用意されたN_sam
ple個の抽出用標本顔画像集合の中の顔画像lから得られ
るL次元ベクトルT_ed[l]はそのベクトル空間における分
布に応じて複数の部分空間に分割され、各部分空間を代
表するN個の参照ベクトルを抽出用テンプレートベクト
ルT_e[j]としている。その際に、標本より得られたN_sa
mple個のベクトルT_ed[l]が、各テンプレートベクトル
の代表するどの部分空間に属するかを同時に記録してお
くのである。こうすることにより、顔領域抽出後に行わ
れる個人照合対象を限定することができる。最適抽出グ
ループ記録手段1002では、得られた最適な矩形領域
から生成される抽出用ベクトルV_e_bestと最も適合度の
高いテンプレートベクトルT_e_bestを選び、それに属す
る抽出用の標本顔画像の番号を記録する役目を担ってい
る。1003の照合用テンプレート選択手段では、予め
用意された個人照合用の標本顔画像集合から生成された
照合用テンプレート辞書107から最適抽出グループ記
録手段1002に記録されている標本顔画像番号に該当
するP_sub個の照合用テンプレートベクトルT_r[k](k=0,
1,...,P_sub-1)のみを選択する。そして、1003の照
合結果出力手段2において、1002で選択された照合
用テンプレートベクトルのみを照合用ベクトル生成手段
106で生成された照合用ベクトルV_rと比較すること
により、最終的な個人照合結果を出力する。この際、照
合方法としては、本発明の第1の実施の形態である個人
照合装置の場合と同様に、P_sub個の照合用テンプレー
トベクトルT_r[k]と照合用ベクトルV_rの間の2乗距離D
D[k]を計算し、その最小値DD_minがDD_minが個人照合基
準D_thより小さい場合には、DD_minに対応するkの表す
画像が入力画像中の顔の人物であると照合し、逆に大き
い場合には、該当者なしと判断する。
The operation of the personal verification apparatus according to the second embodiment configured as described above will be described. Similarly to the personal verification device according to the first embodiment of the present invention, the input image input from the image input unit 101 also includes the hue, saturation, and brightness color information obtained by the color information calculation unit 102. In the meantime, the person region is roughly cut out, and the brightness correction means 10
The bias of the luminance in the person area image due to the step 4 is corrected. Then, the genetic algorithm processing unit 105 performs pattern matching between the template vector in the extraction template dictionary 111 for extraction of the face region prepared in advance and the extraction vector obtained from the luminance in the randomly cut rectangular region. By repeating the adjustment of the rectangular area by the genetic rearrangement operation, the optimal face extraction area is estimated and recorded by the face area recording unit 114. L-dimensional extraction template vector T_e [j] = (te (0, j), te (1, j), ..., te (L-1, j)) in the extraction template dictionary 1001 of FIG.
When generating (j = 0,1, ..., N-1), N_sam
The L-dimensional vector T_ed [l] obtained from the face image l in the set of ple sample face images for extraction is divided into a plurality of subspaces according to the distribution in the vector space, and N representative of each subspace Is used as an extraction template vector T_e [j]. At that time, N_sa obtained from the sample
The fact that the mple vectors T_ed [l] belong to which of the representative subspaces of each template vector is recorded simultaneously. By doing so, it is possible to limit the targets of personal verification performed after the face region is extracted. The optimal extraction group recording means 1002 selects the extraction vector V_e_best generated from the obtained optimal rectangular area and the template vector T_e_best having the highest degree of matching, and plays the role of recording the number of the sample face image for extraction belonging thereto. I am carrying it. The matching template selecting unit 1003 uses the P_sub corresponding to the sample face image number recorded in the optimal extraction group recording unit 1002 from the matching template dictionary 107 generated from the sample face image set for personal matching prepared in advance. Matching template vectors T_r [k] (k = 0,
1, ..., P_sub-1) only. Then, the matching result output means 2 of 1003 compares the template vector for matching selected in 1002 with the matching vector V_r generated by the matching vector generating means 106 to output the final personal matching result. I do. At this time, as the matching method, as in the case of the personal matching apparatus according to the first embodiment of the present invention, the square distance between the P_sub matching template vectors T_r [k] and the matching vectors V_r D
D [k] is calculated, and if the minimum value DD_min is smaller than the personal verification reference D_th, the image represented by k corresponding to DD_min is verified to be the face person in the input image, and conversely large. In that case, it is determined that there is no applicable person.

【0056】このように本実施の形態によれば、色情報
を用いて入力画像から大まかに人物領域を抽出した後、
遺伝的アルゴリズムにより予め用意された テンプレー
トベクトル辞書ともっとも適合すると思われる領域を探
索して顔領域を切り出す際に、個人照合対象を限定する
ことにより、顔領域抽出後の個人照合において、効率良
く個人照合を行うことができ、その効果は大きい。
As described above, according to the present embodiment, after roughly extracting a person region from an input image using color information,
When searching for a region that seems to be the best match with the template vector dictionary prepared in advance by the genetic algorithm and cutting out the face region, the personal verification target is limited, so that in the personal verification after the face region extraction, the individual Collation can be performed, and the effect is great.

【0057】(第3の実施の形態)次に本発明の第3の
実施の形態である個人照合装置について説明する。図1
1は第3の実施の形態である個人照合装置の構成を表
す。1101は、初期抽出領域設定手段109でランダ
ムに設定された複数の抽出領域内の色情報をもとに、各
抽出領域の特徴を評価するための抽出用ベクトルを生成
する抽出用ベクトル生成手段2であり、1102は顔領
域を抽出するために予め用意された抽出用標本顔画像集
合から色情報をもとに生成された抽出用テンプレートベ
クトルを格納する抽出用テンプレート辞書3である。
(Third Embodiment) Next, a personal verification device according to a third embodiment of the present invention will be described. FIG.
Reference numeral 1 denotes a configuration of the personal verification device according to the third embodiment. Reference numeral 1101 denotes an extraction vector generation unit 2 that generates an extraction vector for evaluating a feature of each extraction region based on color information in a plurality of extraction regions randomly set by the initial extraction region setting unit 109. Numeral 1102 denotes an extraction template dictionary 3 for storing an extraction template vector generated based on color information from a set of extraction sample face images prepared in advance for extracting a face region.

【0058】以上のように構成された第3の実施の形態
である個人照合装置の動作について説明する。画像入力
手段101より入力された画像に対して、色情報計算手
段102が入力画像中の各画素における色相、彩度、明
度の色情報を計算する。その後、初期抽出領域設定手段
109がランダムにK個の矩形領域を入力画像中に設定
し、1101の抽出用ベクトル生成手段2で生成された
各矩形領域より得られた(L×3)次元の抽出用ベクトルV_
ec[i]=(ecs(0,i),ecv(0,i),ech(0,i),.....,ecs(L-1,
i),ecv(L-1,i),ech(L-1,i))を生成し、予め用意された
顔抽出用の標本顔画像集合から生成されたN個の(L×3)
次元抽出用テンプレートベクトルT_ec[j]=(tecs(0,j),t
ecv(0,j),tech(0,j),...,tecs(L-1,j),tecv(L-1,j),tec
h(L-1,j))(j=0,1,...,N-1)が記録されている1102の
抽出用テンプレート辞書3とのパターンマッチングによ
り顔領域を入力画像から直接抽出する。1101の抽出
用ベクトル生成手段2では、本発明の第1の実施の形態
である個人照合装置と同様に、図7のようにK個の染色
体q_iは顔領域を抽出するために必要な矩形領域の中心
座標(x0(i),y0(i))、横画素数width(i)、縦画素数heigh
t(i)(i=0,1,...,K-1)よりなるパラメータ列ベクトルで
表現される。そして、染色体q_i(i=0,1,...,K-1)の表す
矩形領域(x0(i)-width(i)/2+1≦x≦x0(i)+width(i)/2,y
0(i)-height(i)/2+1≦y≦y0(i)+height(i)/2)をL=m×m
のモザイクブロックに荒く分割し、各ブロックk(k=0,
1,...,L-1)内の彩度S_xy(i)の平均値ecs(k,i)、明度V_x
y(i)の平均値ecv(k,i)、色相H_xy(i)の平均値ech(k,i)
の3つをこのブロックjの代表と見なし、抽出用ベクト
ルV_ec[i]を生成する。同様に、1102の抽出用テン
プレート辞書2内のテンプレートベクトルT_ec[j]の作
成時において、予め顔領域抽出のために用意されたN_sa
mple個の抽出用標本顔画像集合の中の顔画像lをL個のモ
ザイクブロックに分割し、各モザイクブロックk内の彩
度の平均値tecsd(k,l)、明度の平均値tecvd(k,l)、色相
の平均値techd(k,l)(k=0,1,...,L-1,l=0,1,...,N_sampl
e-1)の3つを要素に持つ(L×3)次元ベクトルT_ecd[l]=
(tecsd(0,l),tecvd(0,l),techd(0,l),...,tecsd(L-1,
l),tecvd(L-1,l),techd(L-1,l))を作成する。この作成
されたN_sample個のベクトルにベクトル量子化VQを適用
してN個の要素を持つ抽出用テンプレートベクトル集合T
_ec[j]=(tecs(0,j),tecv(0,j),tech(0,j),...,tecs(L-
1,j),tecv(L-1,j),tech(L-1,j))(j=0,1,...,N-1)を作成
する。このようにして得られた抽出用ベクトルと抽出用
テンプレート辞書2内のテンプレートベクトルのパター
ンマッチングを行い、遺伝的組み替え操作による抽出の
ための矩形領域の調整を繰り返すことにより、最適な顔
抽出領域が推定されるのである。
The operation of the personal verification apparatus according to the third embodiment configured as described above will be described. For an image input from the image input unit 101, the color information calculation unit 102 calculates color information of hue, saturation, and brightness of each pixel in the input image. After that, the initial extraction area setting means 109 randomly sets K rectangular areas in the input image, and obtains (L × 3) dimensions obtained from each rectangular area generated by the extraction vector generating means 2 in 1101. Extraction vector V_
ec [i] = (ecs (0, i), ecv (0, i), ech (0, i), ....., ecs (L-1,
i), ecv (L-1, i), ech (L-1, i)), and N (L × 3) generated from a sample face image set for face extraction prepared in advance
Dimension extraction template vector T_ec [j] = (tecs (0, j), t
ecv (0, j), tech (0, j), ..., tecs (L-1, j), tecv (L-1, j), tec
The face area is directly extracted from the input image by pattern matching with 1102 extraction template dictionaries 3 in which h (L-1, j)) (j = 0, 1,..., N-1) are recorded. . In the extraction vector generating means 2 1101, the K chromosomes q_i are rectangular regions necessary for extracting a face region as shown in FIG. 7 in the same manner as in the personal verification device according to the first embodiment of the present invention. Center coordinates (x0 (i), y0 (i)), horizontal pixel number width (i), vertical pixel number heigh
It is represented by a parameter column vector consisting of t (i) (i = 0, 1,..., K-1). Then, a rectangular region represented by chromosome q_i (i = 0, 1, ..., K-1) (x0 (i) -width (i) / 2 + 1 ≦ x ≦ x0 (i) + width (i) / 2, y
0 (i) -height (i) / 2 + 1 ≦ y ≦ y0 (i) + height (i) / 2) is L = m × m
Roughly divided into mosaic blocks of each block k (k = 0,
1, ..., L-1) average value of saturation S_xy (i) ecs (k, i), lightness V_x
Average value ecv (k, i) of y (i), average value ech (k, i) of hue H_xy (i)
Are regarded as representatives of this block j, and an extraction vector V_ec [i] is generated. Similarly, when creating a template vector T_ec [j] in the extraction template dictionary 2 of 1102, N_sa prepared in advance for face area extraction
The face image l in the set of sample face images for extraction is divided into L mosaic blocks, and the average chroma tecsd (k, l) and the average brightness tecvd (k , l), average hue techd (k, l) (k = 0,1, ..., L-1, l = 0,1, ..., N_sampl
(L-1) dimensional vector T_ecd [l] =
(tecsd (0, l), tecvd (0, l), techd (0, l), ..., tecsd (L-1,
l), tecvd (L-1, l), techd (L-1, l)). Applying vector quantization VQ to the created N_sample vectors, an extraction template vector set T having N elements
_ec [j] = (tecs (0, j), tecv (0, j), tech (0, j), ..., tecs (L-
1, j), tecv (L-1, j), tech (L-1, j)) (j = 0,1, ..., N-1). By performing pattern matching between the extraction vector thus obtained and the template vector in the extraction template dictionary 2, and repeatedly adjusting a rectangular area for extraction by a genetic rearrangement operation, an optimal face extraction area is obtained. It is presumed.

【0059】このように本実施の形態では、入力画像か
ら、彩度、明度、色相の色情報をもとに抽出用ベクトル
を生成し、そのベクトルと予め用意された顔抽出用の標
本顔画像集合から得られた抽出用テンプレート辞書2内
のテンプレートベクトルとのパターンマッチングと、遺
伝的アルゴリズムによる切り出し矩形領域の調整を繰り
返し最適な顔領域の推定を行う。そのため、本発明の第
1、第2の実施の形態である個人照合装置に比べて、入
力画像から色情報により人物領域を切り出す際の彩度し
きい値th_s、色相範囲しきい値th_hを設定し2段階によ
る抽出処理を経る必要もなく、背景、照明条件等に影響
されないで自動的に顔領域を抽出することができ、その
効果は大きい。
As described above, according to the present embodiment, an extraction vector is generated from an input image based on color information of saturation, lightness, and hue, and the vector and a previously prepared sample face image for face extraction are generated. Pattern matching with the template vector in the extraction template dictionary 2 obtained from the set and adjustment of the cut-out rectangular area by the genetic algorithm are repeated to estimate the optimal face area. Therefore, as compared with the personal verification devices according to the first and second embodiments of the present invention, the saturation threshold th_s and the hue range threshold th_h are set when a person area is cut out from an input image using color information. Then, the face area can be automatically extracted without being affected by the background, the lighting conditions, and the like, without having to go through a two-stage extraction process, and the effect is great.

【0060】(第4の実施の形態)最後に本発明の第4
の実施の形態である個人照合装置について説明する。図
12は第4の実施の形態である個人照合装置の構成を表
す。1201は抽出領域を表すパラメータ列ベクトルの
組み替え操作の繰り返し回数が予め設定された繰り返し
上限回数を越えたかどうかを判定し、越えていない場合
には、適合度の最も高い顔領域をマスクしてこれ以降こ
の領域に近い領域が選択されないようにする顔抽出領域
マスク手段であり、1202は顔抽出領域記録手段11
4に記録されている複数の顔領域各々に対して、個人照
合のための照合用ベクトルを生成する多数照合用ベクト
ル生成手段であり、1203は照合用ベクトル生成手段
106で得られた複数の顔領域に対する照合用生成ベク
トルと、予め用意された照合用テンプレート辞書107
内の照合用テンプレートベクトルとを比較して、抽出さ
れた複数の人物の最終的な照合を行い照合結果の出力を
行う多数照合結果出力手段である。
(Fourth Embodiment) Finally, the fourth embodiment of the present invention
A personal verification device according to the embodiment will be described. FIG. 12 shows the configuration of a personal verification apparatus according to the fourth embodiment. 1201 determines whether or not the number of repetitions of the reordering operation of the parameter column vector representing the extraction region exceeds a preset upper limit number of repetitions, and if not, masks the face region having the highest degree of matching, and Hereinafter, face extraction area masking means for preventing an area close to this area from being selected.
4 is a multi-comparison vector generation unit that generates a verification vector for personal verification with respect to each of the plurality of face regions recorded in No. 4. A generation vector for collation for an area and a template dictionary 107 for collation prepared in advance
This is a multi-comparison result output unit that compares the extracted template vectors with each other and performs final collation of the plurality of extracted persons and outputs a collation result.

【0061】以上のように構成された第4の実施の形態
である個人照合装置の動作について説明する。画像入力
手段101から組み替え操作手段113における処理は
本発明の第1の実施の形態である個人照合装置の場合と
同様である。抽出領域評価手段112以降の処理手順
は、次のようになる。
The operation of the personal verification apparatus according to the fourth embodiment configured as described above will be described. The processing from the image input unit 101 to the rearrangement operation unit 113 is the same as in the case of the personal verification device according to the first embodiment of the present invention. The processing procedure after the extraction area evaluation unit 112 is as follows.

【0062】[i]最小適合度f_minが顔領域判断基準f_th
より小さく、染色体集合更新回数g_numが予め設定され
た繰り返し上限回数g_num_max以下の場合、顔抽出領域
記録手段106で最小適合度f_minをとる矩形領域内画
像が記録され、顔抽出領域マスク手段1201に処理が
移る。1201では、最小適合度f_minを取る矩形領域
内がカラー信号r_xy=0、g_xy=0、b_xy=0でマスキングさ
れる。こうすることにより、次以降の顔領域探索でこの
矩形領域近傍が続けて選択されることを避けることがで
きる。そして、組み替え操作手段113へ処理が移る。
[I] The minimum fitness f_min is the face area judgment criterion f_th
If the number is smaller and the chromosome set update count g_num is equal to or less than a preset upper limit count g_num_max, the face extraction area recording means 106 records an image in a rectangular area having the minimum fitness f_min, and the face extraction area mask means 1201 processes the image. Moves. At 1201, the inside of a rectangular area having the minimum fitness f_min is masked with color signals r_xy = 0, g_xy = 0, and b_xy = 0. By doing so, it is possible to avoid that the vicinity of the rectangular area is continuously selected in the subsequent face area search. Then, the process proceeds to the rearrangement operation means 113.

【0063】[ii]最小適合度f_minが顔領域判断基準f_t
hより大きく、かつ染色体集合更新回数g_numが予め設定
された繰り返し上限回数g_num_max以下の場合、組み替
え操作手段113へ処理が移る。
[Ii] The minimum fitness f_min is the face area determination criterion f_t
If it is greater than h and the chromosome set update count g_num is equal to or less than the preset maximum number of repetitions g_num_max, the process proceeds to the recombination operation unit 113.

【0064】[iii]最小適合度f_minが顔領域判断基準f_
thより大きく、かつ染色体集合更新回数g_numが予め設
定された繰り返し上限回数g_num_maxを超えた場合に
は、顔領域抽出処理を終え、照合用ベクトル生成手段1
06へ処理が移る。なお、この際、顔抽出領域記録手段
114に1つも記録されていない場合には、顔領域は入
力画像中に存在しないとして個人照合を終える。
[Iii] The minimum fitness f_min is the face area determination criterion f_
If th is greater than th and the chromosome set update count g_num exceeds a preset maximum number of iterations g_num_max, the face area extraction processing is terminated and the matching vector generation unit 1
The process moves to 06. If no face area is recorded in the face extraction area recording means 114 at this time, the face matching is determined not to exist in the input image, and the personal verification is terminated.

【0065】多数照合用ベクトル生成手段1202で
は、114に記録されているt個の顔抽出領域全てに対
して、照合用ベクトルV_r[l](l=0,1,...,t-1)を生成す
る。各照合用ベクトル生成方法は本発明の第1の実施の
形態である個人照合装置の場合と同様である。多数照合
結果出力手段1203では、1202で生成されたt個
の個人照合用のための照合用ベクトルV_r[l](l=0,
1,...,t-1)を、予め用意された個人照合のための標本顔
画像集合より生成された照合用テンプレート辞書107
内の照合用テンプレートベクトルT_r[k](k=0,1,...,P-
1)との間の2乗距離をもとに個人照合を行い、全ての顔
抽出画像に対して個人照合を行うのである。その際の照
合方法は本発明の第1の実施の形態である個人照合装置
と同様である。
The multi-check vector generating means 1202 compares the check vectors V_r [l] (l = 0, 1,..., T−1) for all t face extraction areas recorded in 114. ) Is generated. Each matching vector generating method is the same as that of the personal matching device according to the first embodiment of the present invention. In the multiple matching result output unit 1203, the matching vector V_r [l] (l = 0,
1,..., T-1) are compared with a template dictionary 107 for collation generated from a set of sample face images for personal collation prepared in advance.
Template vector T_r [k] (k = 0,1, ..., P-
Individual matching is performed based on the squared distance between 1), and individual matching is performed on all face extracted images. The matching method at this time is the same as that of the personal matching device according to the first embodiment of the present invention.

【0066】このように本実施の形態によれば、入力画
像中に多数人物が写っていても、一度検出された顔抽出
領域をマスクしその近傍を選択できないようにしている
ため、複数の顔領域を比較的簡単に抽出し照合すること
ができ、その効果は大きい。なお、本発明の第1から第
4の実施の形態である個人照合装置の遺伝的アルゴリズ
ム処理手段105において、抽出に必要な矩形領域の中
心座標(x0(i),y0(i))、横画素数width(i)、縦画素数hei
ght(i)(i=0,1,...,K-1)よりなるパラメータ列ベクトル
を染色体として適用したが、これに矩形領域の縦画素方
向における対称軸を考えその対称軸の左周りを正にして
傾き角度αを設定し、これを先ほどのパラメータ列ベク
トルに加えることにより、傾いた顔領域の抽出にも適用
することができる。その場合、各抽出矩形領域の適合度
を計算する際に、矩形領域の重心点を基準にして角度-
αだけ矩形領域内画像を回転させることにより、抽出用
テンプレート辞書や照合用テンプレート辞書とのマッチ
ングを行うことができる。
As described above, according to the present embodiment, even if a large number of persons are present in the input image, the face extraction region once detected is masked so that the vicinity thereof cannot be selected. The region can be extracted and collated relatively easily, and the effect is great. In the genetic algorithm processing means 105 of the personal verification device according to the first to fourth embodiments of the present invention, the central coordinates (x0 (i), y0 (i)) of the rectangular area necessary for extraction, Number of pixels width (i), number of vertical pixels hei
ght (i) (i = 0,1, ..., K-1) was used as a chromosome, and the symmetric axis in the vertical pixel direction of the rectangular area was considered. Is set to be positive, and the tilt angle α is set, and this is added to the parameter column vector described above, whereby the present invention can be applied to the extraction of a tilted face region. In that case, when calculating the fitness of each extracted rectangular area, the angle-
By rotating the image in the rectangular area by α, matching with the extraction template dictionary and the collation template dictionary can be performed.

【0067】また、本発明の第1から第4の実施の形態
である個人照合装置の抽出領域評価手段や照合結果出力
手段において、抽出用ベクトルと抽出用テンプレートベ
クトルとのマッチングや、照合用ベクトルと照合用テン
プレートベクトルとのマッチングを行う場合に、これら
のベクトルのなす角度θした時のcosθを用いることも
考えられる。
Further, in the extraction area evaluating means and the matching result output means of the personal matching device according to the first to fourth embodiments of the present invention, the matching between the extraction vector and the extraction template vector, the matching vector, When performing matching between the vector and the template vector for collation, it is conceivable to use cos θ at the angle θ formed by these vectors.

【0068】さらに、照合用ベクトル生成手段は、得ら
れた顔領域画像を複数のモザイクブロックに分割し、各
ブロック内の輝度値の平均値より生成されるモザイク特
徴量ベクトルを生成したが、得られた顔領域画像を複数
のモザイクブロックに分割し、各ブロック内の輝度値の
平均値より生成されるモザイク特徴量ベクトルを生成す
る方法も可能である。例えば、得られた顔領域画像に対
して2次元フーリエ変換して得られるパワースペクトル
において、個人差を見分ける情報を多く含む低周波数領
域成分を強め、逆にノイズ等の局所的に存在する影響を
うける高周波数領域成分を弱めるように重み付けして照
合用ベクトルを生成することが考えられる。
Further, the matching vector generating means divides the obtained face area image into a plurality of mosaic blocks and generates a mosaic feature amount vector generated from an average value of the luminance values in each block. It is also possible to divide the obtained face region image into a plurality of mosaic blocks and generate a mosaic feature amount vector generated from an average value of the luminance values in each block. For example, in a power spectrum obtained by performing a two-dimensional Fourier transform on the obtained face region image, a low-frequency region component including a large amount of information for identifying individual differences is strengthened, and conversely, the influence of noise or the like that exists locally is reduced. It is conceivable to generate a matching vector by weighting the received high frequency region components so as to weaken them.

【0069】[0069]

【発明の効果】以上のように本発明の第1から第4の個
人照合装置は、入力画像の背景、照明条件、顔の大きさ
等の画像入力時における環境の影響を受けないで頑健な
顔領域のみを抽出することを可能にする個人照合装置に
関するものであり、背景、画像中における顔領域の大き
さ、照明条件等に影響されないで安定した個人照合を簡
単な構造で実現することが可能である。
As described above, the first to fourth personal verification devices of the present invention are robust without being affected by the environment at the time of image input, such as the background of the input image, the lighting conditions, and the size of the face. The present invention relates to a personal collation device capable of extracting only a face region, and realizes stable personal collation with a simple structure without being affected by the background, the size of the face region in an image, lighting conditions, and the like. It is possible.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施の形態における個人照合装
置の構成を表すブロック図
FIG. 1 is a block diagram illustrating a configuration of a personal verification device according to a first embodiment of the present invention.

【図2】本発明の第1の実施の形態における個人照合装
置の組み替え操作手段の構成を表すブロック図
FIG. 2 is a block diagram illustrating a configuration of a re-arrangement operation unit of the personal verification device according to the first embodiment of the present invention.

【図3】HSV表色系モデルの概念図FIG. 3 is a conceptual diagram of an HSV color system model.

【図4】入力画像から人物領域を抽出する手法の概念図FIG. 4 is a conceptual diagram of a method for extracting a person region from an input image.

【図5】低彩度領域を除いた領域における色相ヒストグ
ラム例を表す図
FIG. 5 is a diagram illustrating an example of a hue histogram in a region excluding a low chroma region.

【図6】組み替え操作手段で行われる交叉、突然変異処
理の概念図
FIG. 6 is a conceptual diagram of crossover and mutation processing performed by the rearrangement operation means.

【図7】顔抽出矩形領域と遺伝的アルゴリズムにおける
染色体構造の関係を表す概念図
FIG. 7 is a conceptual diagram showing a relationship between a face extraction rectangular area and a chromosome structure in a genetic algorithm.

【図8】淘汰選択に用いられるルーレット選択方式を説
明するための図
FIG. 8 is a diagram for explaining a roulette selection method used for selection selection;

【図9】顔画像抽出例を表す図FIG. 9 is a diagram showing an example of extracting a face image.

【図10】本発明の第2の実施の形態における個人照合
装置の構成を表すブロック図
FIG. 10 is a block diagram illustrating a configuration of a personal verification device according to a second embodiment of the present invention.

【図11】本発明の第3の実施の形態における個人照合
装置の構成を表すブロック図
FIG. 11 is a block diagram illustrating a configuration of a personal verification device according to a third embodiment of the present invention.

【図12】本発明の第4の実施の形態における個人照合
装置の構成を表すブロック図
FIG. 12 is a block diagram illustrating a configuration of a personal verification device according to a fourth embodiment of the present invention.

【符号の説明】[Explanation of symbols]

101 画像入力手段 102 色情報計算手段 103 人物領域抽出手段 104 輝度補正手段 105 遺伝的アルゴリズム処理手段 106 照合ベクトル生成手段 107 照合用テンプレート辞書 108 照合結果出力手段 109 初期抽出領域設定手段 110 抽出用ベクトル生成手段 111 抽出用テンプレート辞書 112 抽出領域評価手段 113 組み替え操作手段 114 顔抽出領域記録手段 201 候補選択手段 202 交叉処理手段 203 突然変異処理手段 204 選択範囲導出手段 205 乱数発生手段 206 パラメータ列ベクトル選択手段 1001 抽出用テンプレート辞書2 1002 最適抽出グループ記録手段 1003 照合用テンプレート選択手段 1004 照合結果出力手段2 1101 抽出用ベクトル生成手段2 1102 抽出用テンプレート辞書3 1201 顔抽出領域マスク手段 1202 多数照合結果出力手段 Reference Signs List 101 image input means 102 color information calculation means 103 person area extraction means 104 luminance correction means 105 genetic algorithm processing means 106 verification vector generation means 107 verification template dictionary 108 verification result output means 109 initial extraction area setting means 110 extraction vector generation Means 111 Extraction template dictionary 112 Extraction area evaluation means 113 Recombination operation means 114 Face extraction area recording means 201 Candidate selection means 202 Crossover processing means 203 Mutation processing means 204 Selection range derivation means 205 Random number generation means 206 Parameter column vector selection means 1001 Extraction template dictionary 2 1002 optimal extraction group recording means 1003 collation template selection means 1004 collation result output means 2 1101 extraction vector generation means 2 1102 Template dictionary 3 1201 face extraction region mask means 1202 number verification result output means for output

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】対象人物の顔画像を含む画像の入力処理を
行う画像入力手段と、入力画像の色情報を計算する色情
報計算手段と、前記色情報計算手段で得られた色情報を
もとに大まかに人物領域を抽出する人物領域抽出手段
と、前記抽出された人物領域内の輝度の偏りを補正する
輝度補正手段と、人物領域内から顔領域を抽出するため
に必要なパラメータ列の集団を設定する初期抽出領域設
定手段と、前記設定された抽出領域内の輝度値から各領
域評価に用いる抽出用ベクトルを生成する抽出用ベクト
ル生成手段と、顔領域を抽出するために予め用意された
抽出用標本顔画像集合から生成された抽出用テンプレー
トベクトルを格納する抽出用テンプレート辞書と、前記
抽出用ベクトル生成手段で求められた抽出用ベクトルと
前記抽出用テンプレート辞書内の抽出用テンプレートベ
クトルとを比較し、その適合度を評価する抽出領域評価
手段と、前記抽出領域評価手段で得られた適合度が予め
設定された顔領域判断基準を満足しない場合に、その適
合度をもとに抽出を行う際に必要としたパラメータ列の
記号的な組み替え操作を行う組み替え操作手段と、前記
顔領域判断基準を満足する場合に、顔領域抽出処理を終
了して、最適な抽出領域を顔領域として記録する顔抽出
領域記録手段と、前記顔抽出領域記録手段に記録された
顔領域より個人照合に使用される照合用ベクトルを生成
する照合用ベクトル作成手段と、予め用意された照合用
標本顔画像集合より生成された照合用テンプレートベク
トルを格納する照合用テンプレート辞書と、前記得られ
た照合用ベクトルと前記照合用テンプレート辞書内の照
合用テンプレートベクトルとを比較して、最終的な人物
照合を行い照合結果の出力を行う照合結果出力手段より
構成されることを特徴とする個人照合装置。
An image input means for inputting an image including a face image of a target person, a color information calculating means for calculating color information of the input image, and a color information obtained by the color information calculating means. A person area extracting means for roughly extracting a person area, a luminance correcting means for correcting a luminance bias in the extracted person area, and a parameter sequence necessary for extracting a face area from the person area. Initial extraction area setting means for setting a group, extraction vector generation means for generating an extraction vector used for each area evaluation from the luminance value in the set extraction area, and an extraction vector preparation means for extracting a face area are provided in advance. An extraction template dictionary for storing an extraction template vector generated from a set of extracted sample face images, an extraction vector determined by the extraction vector generation means, and the extraction template. Comparing the extraction template vector in the dictionary and extracting area evaluation means for evaluating the degree of adaptation, and when the degree of adaptation obtained by the extraction area evaluation means does not satisfy a predetermined face area determination criterion. A rearrangement operation means for performing a symbolic rearrangement operation of a parameter string required when performing extraction based on the degree of matching, and, when the face area determination criterion is satisfied, ending the face area extraction processing. A face extraction area recording means for recording an optimal extraction area as a face area, and a matching vector creating means for generating a matching vector used for personal matching from the face area recorded in the face extraction area recording means, A collation template dictionary for storing collation template vectors generated from a collation sample face image set prepared in advance, the obtained collation vector and the collation template By comparing the matching template vectors in over preparative dictionary, personal verification apparatus characterized by being composed of the verification result output means for outputting the final person verification was carried out verification result.
【請求項2】対象人物の顔画像を含む画像の入力処理を
行う画像入力手段と、入力画像の色情報を計算する色情
報計算手段と、前記色情報計算手段で得られた色情報を
もとに大まかに人物領域を抽出する人物領域抽出手段
と、前記抽出された人物領域内の輝度の偏りを補正する
輝度補正手段と、人物領域内から顔領域を抽出するため
に必要なパラメータ列の集団を設定する初期抽出領域設
定手段と、前記設定された抽出領域内の輝度値から各領
域評価に用いるための抽出用ベクトルを生成する抽出用
ベクトル生成手段と、顔領域を抽出するために予め用意
された抽出用標本顔画像集合から生成された抽出用テン
プレートベクトルを格納する抽出用テンプレート辞書
と、前記抽出用ベクトル生成手段で求められた抽出用ベ
クトルと前記抽出用テンプレート辞書内の抽出用テンプ
レートベクトルとを比較し、その適合度を評価する抽出
領域評価手段と、前記抽出領域評価手段で得られた適合
度が予め設定された顔領域判断基準を満足しない場合
に、その適合度をもとに、抽出を行う際に必要としたパ
ラメータ列の記号的な組み替え操作を行う組み替え操作
手段と、前記顔領域判断基準を満足する場合に、最適な
抽出領域を顔領域として記録する顔抽出領域記録手段
と、前記顔抽出領域記録手段に記録された最適な抽出領
域に対応する抽出用ベクトルとの適合度が最も高い抽出
用テンプレートベクトルに属する顔画像グループを記録
する最適抽出グループ記録手段と、予め用意された照合
用標本顔画像集合より生成された照合用テンプレートベ
クトルを格納する照合用テンプレート辞書と、前記最適
抽出グループ記録手段に記録されている顔画像グループ
に該当する照合用テンプレートベクトルを前記照合用テ
ンプレート辞書より選択する照合用テンプレート選択手
段と、得られた顔領域より照合用ベクトルを生成する照
合ベクトル作成手段と、前記得られた照合用ベクトルと
前記照合用テンプレート選択手段により選択された照合
用テンプレートベクトルとを比較して、最終的な人物照
合を行い照合結果の出力を行う照合結果出力手段より構
成されることを特徴とする個人照合装置。
2. An image input means for inputting an image including a face image of a target person, a color information calculating means for calculating color information of the input image, and a color information obtained by the color information calculating means. A person area extracting means for roughly extracting a person area, a luminance correcting means for correcting a luminance bias in the extracted person area, and a parameter sequence necessary for extracting a face area from the person area. Initial extraction area setting means for setting a group; extraction vector generation means for generating an extraction vector for use in each area evaluation from the luminance values in the set extraction area; and an extraction vector generation means for extracting a face area in advance. An extraction template dictionary for storing an extraction template vector generated from the prepared sample face image set for extraction, an extraction vector obtained by the extraction vector generating means and the extraction template Comparing the extraction template vector in the plate dictionary with an extraction area evaluation means for evaluating the degree of adaptation, and when the degree of adaptation obtained by the extraction area evaluation means does not satisfy a preset face area determination criterion. Based on the degree of conformity, a rearrangement operation means for performing a symbolic rearrangement operation of a parameter sequence required for extraction, and, when the face area determination criterion is satisfied, an optimum extraction area is set to a face area. The face extraction group recording means that records the face image group belonging to the extraction template vector having the highest matching degree with the extraction vector corresponding to the optimal extraction area recorded in the face extraction area recording means. An extraction group recording unit, a collation template dictionary storing collation template vectors generated from a collation sample face image set prepared in advance, A matching template selecting unit that selects a matching template vector corresponding to a face image group recorded in the optimal extraction group recording unit from the matching template dictionary; and a collation that generates a matching vector from the obtained face area. A vector creation unit, a comparison result output unit that compares the obtained comparison vector with the comparison template vector selected by the comparison template selection unit, performs final person verification, and outputs a verification result. A personal verification device characterized by comprising:
【請求項3】対象人物の顔画像を含む画像の入力処理を
行う画像入力手段と、入力画像の色情報を計算する色情
報計算手段と、入力画像から顔領域を抽出するために必
要なパラメータ列の集団を設定する初期抽出領域設定手
段と、前記設定された抽出領域内の色情報から各領域評
価に使用する抽出用ベクトルを生成する抽出用ベクトル
生成手段と、顔領域を抽出するために予め用意された抽
出用標本顔画像集合から生成された抽出用テンプレート
ベクトルを格納する抽出用テンプレート辞書と、前記抽
出用ベクトル生成手段で求められた抽出用ベクトルと前
記抽出用テンプレート辞書内の抽出用テンプレートベク
トルとを比較し、その適合度を評価する抽出領域評価手
段と、前記抽出領域評価手段で得られた適合度が予め設
定された顔領域判断基準を満足しない場合に、その適合
度をもとに、抽出を行う際に必要としたパラメータ列の
記号的な組み替え操作を行う組み替え操作手段と、前記
顔領域判断基準を満足する場合に、顔領域抽出処理を終
了して最適な抽出領域を顔領域として記録する顔抽出領
域記録手段と、前記顔抽出領域記録手段で記録された顔
領域より照合用ベクトルを生成する照合用ベクトル作成
手段と、予め用意された照合用標本顔集合より生成され
た照合用テンプレートベクトルを格納する照合用テンプ
レート辞書と、前記得られた照合用ベクトルと前記照合
用テンプレート辞書内の照合用テンプレートベクトルと
を比較して、最終的な人物照合を行い照合結果の出力を
行う照合結果出力手段より構成されることを特徴とする
個人照合装置。
3. An image input means for inputting an image including a face image of a target person, a color information calculating means for calculating color information of the input image, and a parameter required for extracting a face region from the input image. Initial extraction area setting means for setting a group of columns; extraction vector generation means for generating extraction vectors used for each area evaluation from the color information in the set extraction areas; and extracting a face area. An extraction template dictionary for storing an extraction template vector generated from a set of extraction sample face images prepared in advance; an extraction vector determined by the extraction vector generation means; and an extraction template in the extraction template dictionary. An extraction area evaluation unit that compares the template vector with the template vector and evaluates the degree of adaptation; and a face area determination unit that sets the degree of adaptation obtained by the extraction area evaluation unit in advance. When the criterion is not satisfied, based on the degree of conformity, a rearrangement operation means for performing a symbolic rearrangement operation of a parameter string required for extraction, and a face when the face area determination criterion is satisfied, Face extraction area recording means for ending the area extraction processing and recording the optimal extraction area as a face area; collation vector creation means for generating a collation vector from the face area recorded by the face extraction area recording means; A comparison template dictionary that stores a template vector for comparison generated from a set of sample faces for comparison prepared in advance, and a comparison between the obtained comparison vector and the template vector for comparison in the comparison template dictionary. And a collation result output means for performing final person collation and outputting a collation result.
【請求項4】対象人物の顔画像を含む画像の入力処理を
行う画像入力手段と、入力画像の色情報を計算する色情
報計算手段と、前記色情報計算手段で得られた色情報を
もとに大まかに人物領域を抽出する人物領域抽出手段
と、前記抽出された人物領域内の輝度の偏りを補正する
輝度補正手段と、人物領域内から顔領域を抽出するため
に必要なパラメータ列の集団を設定する初期抽出領域設
定手段と、前記設定された抽出領域内の輝度値から各領
域の評価に用いるための抽出用ベクトルを生成する抽出
用ベクトル生成手段と、顔領域を抽出するために予め用
意された抽出用標本顔画像集合から生成された抽出用テ
ンプレートベクトルを格納する抽出用テンプレート辞書
と、前記抽出用ベクトル生成手段で求められた各顔抽出
領域に対応する抽出用ベクトルと前記抽出用テンプレー
ト辞書内の抽出用テンプレートベクトルとを比較し、そ
の適合度を評価する抽出領域評価手段と、前記抽出領域
評価手段で得られた適合度が予め設定された顔領域判断
基準を満足しない場合に、その適合度をもとに、抽出を
行う際に必要としたパラメータ列の記号的な組み替え操
作を行う組み替え操作手段と、前記顔領域判断基準を満
足する場合に、適合度の最も高い顔領域を記録する複数
顔抽出領域記録手段と、パラメータ列の組み替え操作の
繰り返し回数が予め設定された繰り返し上限回数を越え
たかどうかを判定し、越えていない場合には、適合度の
最も高い顔領域をマスクしてこれ以降この領域に近い領
域が選択されないようにする顔抽出領域マスク手段と、
パラメータ列の組み替え操作の繰り返し回数が繰り返し
上限回数を越えた場合には、顔領域抽出処理を終了し
て、これまでに得られた複数の顔領域より照合用ベクト
ルを生成する多数照合用ベクトル作成手段と、予め用意
された照合用標本顔集合より生成された照合用テンプレ
ートベクトルを格納する照合用テンプレート辞書と、前
記得られた照合用ベクトルと前記照合用テンプレート辞
書内の照合用テンプレートベクトルとを比較して、抽出
された複数の人物の最終的な照合を行い照合結果の出力
を行う多数照合結果出力手段より構成されることを特徴
とする個人照合装置。
4. An image input means for inputting an image including a face image of a target person, a color information calculating means for calculating color information of the input image, and a color information obtained by the color information calculating means. A person area extracting means for roughly extracting a person area, a luminance correcting means for correcting a luminance bias in the extracted person area, and a parameter sequence necessary for extracting a face area from the person area. Initial extraction area setting means for setting a group, extraction vector generation means for generating an extraction vector for use in evaluation of each area from luminance values in the set extraction area, and extraction of a face area An extraction template dictionary for storing extraction template vectors generated from a set of extraction sample face images prepared in advance, and extraction corresponding to each face extraction region obtained by the extraction vector generation means. An extraction area evaluation unit that compares the vector with an extraction template vector in the extraction template dictionary and evaluates the degree of adaptation; and a face area determination criterion in which the degree of adaptation obtained by the extraction area evaluation unit is set in advance. If not satisfied, based on the degree of conformity, a rearrangement operation means for performing a symbolic rearrangement operation of a parameter string required for extraction, and a degree of conformity when the face area determination criterion is satisfied. A plurality of face extraction area recording means for recording the face area having the highest number, and determining whether or not the number of repetitions of the reordering operation of the parameter string exceeds a preset upper limit number of repetitions. Face extraction area mask means for masking the highest face area so that an area near this area is not selected thereafter;
If the number of repetitions of the parameter string rearrangement operation exceeds the upper limit of the number of repetitions, the face area extraction process is terminated, and a number of matching vectors are generated from a plurality of face areas obtained so far. Means, a matching template dictionary storing a matching template vector generated from a prepared sample face set for matching, and the obtained matching vector and a matching template vector in the matching template dictionary. A personal matching device, comprising a plurality of matching result output means for performing a final matching of a plurality of extracted persons and outputting a matching result.
【請求項5】組み替え操作手段は、交叉、突然変異、選
択淘汰に代表される遺伝的な演算処理を行う遺伝的アル
ゴリズムが用いられることを特徴とする請求項1から4
のいずれかに記載の個人照合装置。
5. The recombining operation means uses a genetic algorithm for performing a genetic operation represented by crossover, mutation, and selection.
The personal verification device according to any one of the above.
【請求項6】照合用ベクトル生成手段は、得られた顔領
域画像を複数のモザイクブロックに分割し、各ブロック
内の輝度値の平均値より生成されるモザイク特徴量ベク
トルを生成することを特徴とする請求項1から4のいず
れかに記載の個人照合装置。
6. A collation vector generation unit divides the obtained face area image into a plurality of mosaic blocks, and generates a mosaic feature amount vector generated from an average value of luminance values in each block. The personal verification device according to any one of claims 1 to 4, wherein
【請求項7】照合用ベクトル生成手段は、得られた顔領
域画像に直交変換法を適用して、顔画像を2次元の周波
数スペクトルに変換し、その周波数スペクトルに重み付
けして照合用ベクトルを生成することを特徴とする請求
項1から4のいずれかに記載の個人照合装置。
7. A collation vector generating means applies an orthogonal transformation method to the obtained face area image, converts the face image into a two-dimensional frequency spectrum, and weights the frequency spectrum to generate a collation vector. The personal verification apparatus according to claim 1, wherein the personal verification apparatus generates the personal verification information.
JP17086696A 1996-07-01 1996-07-01 Individual collating device Pending JPH1021394A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17086696A JPH1021394A (en) 1996-07-01 1996-07-01 Individual collating device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17086696A JPH1021394A (en) 1996-07-01 1996-07-01 Individual collating device

Publications (1)

Publication Number Publication Date
JPH1021394A true JPH1021394A (en) 1998-01-23

Family

ID=15912774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17086696A Pending JPH1021394A (en) 1996-07-01 1996-07-01 Individual collating device

Country Status (1)

Country Link
JP (1) JPH1021394A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301915A (en) * 1997-04-28 1998-11-13 Toshiba Corp Parameter adjusting device and its method
JP2000082147A (en) * 1998-09-05 2000-03-21 Sharp Corp Method for detecting human face and device therefor and observer tracking display
US6594375B1 (en) 1998-09-28 2003-07-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2008005083A (en) * 2006-06-21 2008-01-10 Mitsubishi Electric Corp Imaging apparatus
US7321370B2 (en) 2000-11-20 2008-01-22 Nec Corporation Method and apparatus for collating object
JP2010061599A (en) * 2008-09-08 2010-03-18 Sony Corp Image processor, method, and program
EP2224402A2 (en) 2003-07-11 2010-09-01 Panasonic Corporation Image display apparatus and short film generation apparatus
JP2013510379A (en) * 2009-11-10 2013-03-21 インジェニア・ホールディングス・(ユー・ケイ)・リミテッド optimisation
US8896885B2 (en) 2004-03-12 2014-11-25 Ingenia Holdings Limited Creating authenticatable printed articles and subsequently verifying them based on scattered light caused by surface structure
CN112689361A (en) * 2018-12-29 2021-04-20 中国计量大学 Integrative classroom scene formula self-adaptation lighting control device in kindergarten
US11380132B2 (en) 2019-09-13 2022-07-05 Fujitsu Limited Face image processing apparatus and face image processing method

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301915A (en) * 1997-04-28 1998-11-13 Toshiba Corp Parameter adjusting device and its method
JP2000082147A (en) * 1998-09-05 2000-03-21 Sharp Corp Method for detecting human face and device therefor and observer tracking display
US6594375B1 (en) 1998-09-28 2003-07-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US7710431B2 (en) 2000-11-20 2010-05-04 Nec Corporation Method and apparatus for collating object
US7932913B2 (en) 2000-11-20 2011-04-26 Nec Corporation Method and apparatus for collating object
US7321370B2 (en) 2000-11-20 2008-01-22 Nec Corporation Method and apparatus for collating object
US7593019B2 (en) 2000-11-20 2009-09-22 Nec Corporation Method and apparatus for collating object
EP2224402A2 (en) 2003-07-11 2010-09-01 Panasonic Corporation Image display apparatus and short film generation apparatus
US8896885B2 (en) 2004-03-12 2014-11-25 Ingenia Holdings Limited Creating authenticatable printed articles and subsequently verifying them based on scattered light caused by surface structure
US9019567B2 (en) 2004-03-12 2015-04-28 Ingenia Holdings Limited Methods and apparatuses for creating authenticatable printed articles and subsequently verifying them
JP2008005083A (en) * 2006-06-21 2008-01-10 Mitsubishi Electric Corp Imaging apparatus
JP2010061599A (en) * 2008-09-08 2010-03-18 Sony Corp Image processor, method, and program
JP4623388B2 (en) * 2008-09-08 2011-02-02 ソニー株式会社 Image processing apparatus and method, and program
US8390884B2 (en) 2008-09-08 2013-03-05 Sony Corporation Apparatus and method for image processing, and program
JP2013510379A (en) * 2009-11-10 2013-03-21 インジェニア・ホールディングス・(ユー・ケイ)・リミテッド optimisation
US8892556B2 (en) 2009-11-10 2014-11-18 Ingenia Holdings Limited Optimisation
CN112689361A (en) * 2018-12-29 2021-04-20 中国计量大学 Integrative classroom scene formula self-adaptation lighting control device in kindergarten
US11380132B2 (en) 2019-09-13 2022-07-05 Fujitsu Limited Face image processing apparatus and face image processing method

Similar Documents

Publication Publication Date Title
US7643671B2 (en) Facial recognition system and method
JP4543423B2 (en) Method and apparatus for automatic object recognition and collation
JPH1153525A (en) Facial organ detector and medium
US7848544B2 (en) Robust face registration via multiple face prototypes synthesis
JPH1055444A (en) Recognition of face using feature vector with dct as base
CN109840567B (en) Robust discriminant feature extraction method based on optimal collaborative representation
JPH1021394A (en) Individual collating device
CN108564061A (en) A kind of image-recognizing method and system based on two-dimensional principal component analysis
CN110555386A (en) Face recognition identity authentication method based on dynamic Bayes
Thepade et al. Face gender recognition using multi layer perceptron with OTSU segmentation
Yadav et al. An improved hybrid illumination normalisation and feature extraction model for face recognition
Anggraini Face recognition using principal component analysis and self organizing maps
KR101174103B1 (en) A face recognition method of Mathematics pattern analysis for muscloskeletal in basics
Sahbi et al. Coarse to fine face detection based on skin color adaption
Mohamed et al. Automated face recogntion system: Multi-input databases
Ali et al. Individual recognition with deep earprint learning
CN110378414B (en) Multi-mode biological characteristic fusion identity recognition method based on evolution strategy
CN116342968B (en) Dual-channel face recognition method and device
Karungaru et al. Face recognition in colour images using neural networks and genetic algorithms
Curran et al. The use of neural networks in real-time face detection
Tsapatsoulis et al. Face extraction from non-uniform background and recognition in compressed domain
Anjum et al. A new approach to face recognition using dual dimension reduction
Fu et al. Face detection and eye localization by neural network based color segmentation
Suvorov et al. Mathematical model of the biometric iris recognition system
Ali et al. Development of a enhanced ear recognition system for personal identification