JPH1021394A - Individual collating device - Google Patents
Individual collating deviceInfo
- Publication number
- JPH1021394A JPH1021394A JP17086696A JP17086696A JPH1021394A JP H1021394 A JPH1021394 A JP H1021394A JP 17086696 A JP17086696 A JP 17086696A JP 17086696 A JP17086696 A JP 17086696A JP H1021394 A JPH1021394 A JP H1021394A
- Authority
- JP
- Japan
- Prior art keywords
- extraction
- area
- vector
- face
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、顔画像を含む画像
中から人の顔領域を抽出し、抽出された顔領域から特定
の個人を照合する個人照合装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a personal matching apparatus for extracting a human face region from an image including a face image and matching a specific individual from the extracted face region.
【０００２】[0002]
【従来の技術】従来の個人照合装置として、入退出管理
やセキュリティ分野で使用された指紋や眼紋と呼ばれる
網膜の血管パターン、手書きサイン等の画像認識による
個人照合装置が挙げられる。しかしながら上記従来例に
おける指紋による照合の場合、社会的抵抗感、プライバ
シーに関する不安などがあり、充分普及していないのが
実情である。さらに、一般に従来の指紋による照合方法
では、撮影された指紋画像を２値化等の前処理を行った
後に隆線の端点、分岐点、隆線方向抽出を行い、これら
の情報の一部あるいは全部の情報から入力パターンと登
録パターンの比較により個人照合を行う方法が用いられ
ている。そのため、この方法では100個程度存在する隆
線の端点、分岐点の照合を行うこととなり、比較的高価
なものとなるため一部の会社や極めて機密度の高いとこ
ろでしか使用されなかった。また、眼紋と呼ばれる網膜
の血管パターンによる照合は、目を覗き込み窓のような
ところに当てて目の中を撮像する必要があり、覗き込み
窓に目を当てるという煩わしさ、不安感や指紋照合以上
に機器が高価であるという点であまり普及していない。
一方、手書きサインによる個人照合の場合、手書き文字
認識技術上の問題もさることながら、毎回署名しなくて
はいけないという煩わしさがこの手法の普及妨げの原因
となっていた。2. Description of the Related Art As a conventional personal collation apparatus, there is a personal collation apparatus based on image recognition of fingerprints, eyeprints, retinal blood vessel patterns called handprints, and handwritten signs used in entry / exit management and security fields. However, in the case of the fingerprint collation in the above-described conventional example, there is a sense of social resistance, anxiety about privacy, and the like. Furthermore, in general, in the conventional fingerprint collation method, the pre-processing such as binarization is performed on a captured fingerprint image, and then the end points, branch points, and ridge directions of the ridges are extracted. A method of performing personal verification by comparing an input pattern with a registered pattern from all information is used. Therefore, in this method, end points and branch points of about 100 ridges are collated, and the method is relatively expensive, so that it is used only in some companies or places with extremely high sensitivity. In addition, for matching based on a retinal blood vessel pattern called an eyeprint, it is necessary to take an image of the inside of the eye by placing the eye on a place like a peeping window, and it is troublesome and troublesome to put an eye on the peeping window. It is not widely used in that the equipment is more expensive than fingerprint verification.
On the other hand, in the case of personal verification using a handwritten signature, the trouble of having to sign every time has been a cause of preventing the spread of this method, in addition to the problem of the handwritten character recognition technology.
【０００３】ユーザが使いやすい個人照合方法を考えた
場合、上記従来例とは異なり、非接触でなるべくユーザ
を拘束しない方法が望まれ、そのような観点から顔画像
を用いた個人照合を行う方法に関する研究は古くから行
われてきている。入力画像から対象の線的形状を表す特
徴を抽出する手法として、 [1]顔画像が含まれる画像に対して、エッジ強調処理を
行い、顔輪郭や顔を構成する部品（目、鼻、口等）の輪
郭形状、ならびに相互の位置関係を抽出して個人照合を
行う手法（萩原他、「パターンマッチングを主体にした
顔画像による個人ID」、電子情報通信学会技術報告、PR
U-88-46、1986） [2]入力画像より抽出された顔画像の特徴点に整合させ
た３次元構造モデルを作成し、そのモデルを用いて顔画
像の特徴点を補正して個人照合を行う手法（角他、「形
状モデルを用いた顔画像からの個人識別」、電子情報通
信学会春季大会予稿、No.1、1993） [3]３次元計測技術をもとにした顔の３次元データの特
徴より個人照合を行う手法（阿部他、「３次元表面形状
による人間の顔の自動認識」、電子情報通信学会D-II、
J73-D-II、No.9、1990） 等が挙げられる。In consideration of a personal collation method that is easy for the user to use, unlike the above-described conventional example, a method that does not restrict the user as much as possible without contact is desired. From such a viewpoint, a method of performing personal collation using a face image is desired. Research on has been conducted for a long time. As a method of extracting features representing the linear shape of an object from an input image, [1] edge enhancement processing is performed on an image including a face image, and facial contours and parts constituting the face (eyes, nose, mouth) (Hagiwara et al., "Personal ID based on face image based on pattern matching", IEICE technical report, PR
U-88-46, 1986) [2] Create a three-dimensional structural model matched to the feature points of the face image extracted from the input image, and use the model to correct the feature points of the face image to perform personal verification (Kakushi et al., "Personal identification from face images using shape models", IEICE Spring Conference, No.1, 1993) [3] Face 3 based on 3D measurement technology A method of performing individual matching based on the features of three-dimensional data (Abe et al., "Automatic Recognition of Human Face Using Three-Dimensional Surface Shape", IEICE D-II,
J73-D-II, No. 9, 1990).
【０００４】一方、前述の顔の構成部品に依存する特徴
点を用いることなく、顔領域全体の輝度・濃淡を情報圧
縮した特徴量を用いて、統計的手法やニューラルネット
ワークにより個人照合を行う手法も提案されており、そ
の従来例として、 [4]濃淡パターンを荒いモザイクパターンに変換する手
法（小杉、「モザイクとニューラルネットワークを用い
た顔画像の認識」、電子情報通信学会D-II、J76-D-II、
No.3、1993） [5]多数人物の顔標本画像のフーリエスペクトルパター
ン画像にK - L展開を適用することにより用意された複
数の正規直交規定画像を入力画像のフーリエパターンと
比較することで個人照合を行う手法（ Turk M. and Pen
tland A. P.、「フェイス レコグニション ユージン
グ アイゲンフェイス」（Face Recognition Using Eig
enface)、Proc. of CVPR、1991） [6]顔画像中で等しい濃度値の画素を連結してできる等
濃度線形状により照合する手法（上野、「等濃線分布に
基づく正面顔画像の認識」、電子情報通信学会D-II、J7
6-D-II、No.3、1993） 等が挙げられる。On the other hand, a method of performing individual matching by a statistical method or a neural network using a feature amount obtained by compressing the luminance and shading of the entire face area without using the above-described feature points depending on the constituent parts of the face. [4] A method of converting a shade pattern into a rough mosaic pattern (Kosugi, "Face Image Recognition Using Mosaic and Neural Network", IEICE D-II, J76 -D-II,
No.3, 1993) [5] By comparing multiple orthonormal prescribed images prepared by applying KL expansion to the Fourier spectrum pattern images of the face sample images of many people with the Fourier patterns of the input image Method for matching individuals (Turk M. and Pen
tland AP, “Face Recognition Using Eigenface” (Face Recognition Using Eig
Enface), Proc. of CVPR, 1991) [6] A method of collating pixels with equal density values in a face image using an isodensity line shape (Ueno, "Recognition of Frontal Face Image Based on Isodensity Line Distribution" , IEICE D-II, J7
6-D-II, No. 3, 1993).
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、顔画像
が含まれる画像に対して、エッジ強調処理を行い、顔輪
郭や顔を構成する部品（目、鼻、口等）の輪郭形状、な
らびに相互の位置関係を抽出して個人照合を行う手法
[1]や、入力画像より抽出された顔画像の特徴点に整合
させた３次元構造モデルを作成し、そのモデルを用いて
顔画像の特徴点を補正して個人照合を行う手法[2]の場
合、顔画像を撮像する際の照明条件によりエッジ自体を
安定して抽出することが困難な場合が多いという問題を
抱えている。さらに、うまくエッジが抽出され顔の線的
な形状特徴が得られたとしても、その線的な形状特徴に
より顔の微妙な差異をはたしてどこまで表現できるのか
が疑問と考えられているのが実情である。３次元計測技
術をもとにした顔の３次元データの特徴より個人照合を
行う手法[3]の場合、[1]や[2]に比べて精度良く顔の構
成部品やその相互的な位置関係を求めることが可能であ
るが、３次元形状抽出を行う際に精密な計測を必要と
し、情報入力時にユーザに負担をかけることが問題とな
る。However, an image including a face image is subjected to edge enhancement processing to obtain a face contour and contour shapes of parts (eyes, nose, mouth, etc.) constituting the face, and mutual A method for extracting personal relationships and performing personal verification
[1] Alternatively, a method of creating a three-dimensional structural model that matches feature points of a face image extracted from an input image and correcting the feature points of the face image using the model to perform individual verification [2] In the case of, there is a problem that it is often difficult to stably extract the edge itself due to lighting conditions when capturing a face image. Furthermore, even if the edges are successfully extracted and the linear shape features of the face are obtained, it is considered that it is doubtful how far the subtle differences in the face can be expressed by the linear shape features. is there. In the case of [3], which performs individual matching based on the features of 3D face data based on 3D measurement technology, facial components and their mutual positions are more accurate than [1] and [2]. Although it is possible to obtain the relationship, precise measurement is required when extracting the three-dimensional shape, and a problem is imposed on the user when inputting information.
【０００６】一方、濃淡パターンを荒いモザイクパター
ンに変換する手法[4]や、多数人物の顔標本画像のフー
リエスペクトルパターン画像にK - L展開を適用するこ
とにより用意された複数の正規直交規定画像を入力画像
のフーリエパターンと比較することで個人照合を行う手
法[5]、そして顔画像中で等しい濃度値の画素を連結し
てできる等濃度線形状により照合する手法[6]の場合、
[1]から[3]までのエッジ画像より対象の線的形状を表す
特徴を抽出する手法とは異なり、比較的簡単に照合に用
いる特徴ベクトルを求めることができ、一定の制約条件
下で入力された顔画像を使った実験において、ある程度
安定した照合性能を持つことが示されている。しかしな
がら、如何にして入力画像から背景、照明条件、顔の大
きさ等の画像入力における環境に影響されないで安定し
て顔領域のみを自動的に抽出するかが問題であった。On the other hand, a plurality of orthonormal prescribed images prepared by applying a KL expansion to a Fourier spectrum pattern image of a face sample image of a large number of people or a method [4] of converting a light and shade pattern into a rough mosaic pattern. Is compared with the Fourier pattern of the input image to perform individual matching [5], and matching using the isodensity line shape formed by connecting pixels of the same density value in the face image [6]
Unlike the method of extracting the features representing the target linear shape from the edge images from [1] to [3], the feature vector used for matching can be obtained relatively easily, and the input is performed under certain constraint conditions. Experiments using the obtained face images show that the matching performance is somewhat stable. However, there has been a problem how to stably extract only a face region from an input image stably without being affected by an environment in image input such as a background, lighting conditions, and face size.
【０００７】本発明は、以上のことを考慮して、彩度等
の色情報を用いて入力画像から、背景、照明条件、顔の
大きさ等の画像入力環境に影響されない頑健な顔領域の
切り出しを行い、切り出された顔領域画像に対して簡単
な処理で個人照合を行うことのできる個人照合装置を提
供することを目的とする。In view of the above, the present invention uses a color information such as saturation to extract a robust face region from an input image which is not affected by the image input environment such as the background, lighting conditions, and face size. An object of the present invention is to provide a personal collation apparatus that can perform clipping and perform personal collation on the clipped face region image by simple processing.
【０００８】[0008]
【課題を解決するための手段】上記課題を解決するため
に本発明における第１の個人照合装置は、まず、彩度、
色相等の色情報を用いて人物領域を大まかに抽出した後
に、輝度値から生成された抽出用ベクトルと予め用意さ
れた抽出用標本画像集合から生成された抽出用テンプレ
ートベクトル集合とのパターンマッチングと遺伝的アル
ゴリズムによる抽出領域の調節を行うことにより、入力
画像の背景、照明条件等に影響されないで安定した顔領
域の抽出を行う。そして、その抽出された顔領域画像の
輝度・濃淡パターンから照合用ベクトルを生成し、予め
用意された照合用標本画像集合より生成された照合用テ
ンプレートベクトル集合とのパターンマッチングにより
個人照合を行うようにしたものである。Means for Solving the Problems To solve the above-mentioned problems, a first personal collation apparatus according to the present invention firstly comprises a chroma,
After roughly extracting a human region using color information such as hue, pattern matching between an extraction vector generated from a luminance value and an extraction template vector set generated from a previously prepared extraction sample image set is performed. By adjusting the extraction area by the genetic algorithm, a stable extraction of the face area is performed without being affected by the background of the input image, lighting conditions, and the like. Then, a matching vector is generated from the brightness / shade pattern of the extracted face area image, and individual matching is performed by pattern matching with a matching template vector set generated from a previously prepared matching sample image set. It was made.
【０００９】また、本発明における第２の個人照合装置
は、まず、彩度、色相等の色情報を用いて人物領域を大
まかに抽出した後に、輝度値から生成された抽出用ベク
トルと予め用意された顔領域抽出用標本画像集合から生
成された抽出用テンプレートベクトル集合とのパターン
マッチングと遺伝的アルゴリズムによる抽出領域の調節
を行うことにより、入力画像の背景、照明条件等に影響
されないで安定した顔領域の抽出を行う。その際、最適
な抽出領域から得られる抽出用ベクトルと最も適合度の
高い抽出用テンプレートベクトルに属する顔画像グルー
プを記録し、その記録されたグループに該当する照合用
テンプレートベクトルのみを対象として個人照合を行う
ようにしたものである。Further, the second personal collating apparatus according to the present invention first roughly extracts a person region using color information such as saturation and hue, and then prepares in advance an extraction vector generated from a luminance value. By performing pattern matching with a set of extraction template vectors generated from the set of sample images for extraction of face regions extracted and adjusting the extraction area by a genetic algorithm, it is stable without being affected by the background, lighting conditions, etc. of the input image. The face area is extracted. At this time, the extraction vector obtained from the optimal extraction area and the face image group belonging to the extraction template vector having the highest matching degree are recorded, and the personal verification is performed only on the verification template vector corresponding to the recorded group. Is performed.
【００１０】また、本発明における第３の個人照合装置
は、色情報から生成された抽出用ベクトルと予め用意さ
れた顔領域抽出用標本画像集合から生成された抽出用テ
ンプレートベクトル集合とのパターンマッチングと遺伝
的アルゴリズムによる抽出領域の調節を行うことによ
り、入力画像の背景、照明条件等に影響されないで安定
した顔領域の抽出を行う。そして、その抽出された顔領
域画像の輝度・濃淡パターンから照合用ベクトルを生成
し、予め用意された個人照合用標本画像集合より生成さ
れた照合用テンプレートベクトル集合とのパターンマッ
チングにより個人照合を行うようにしたものである。[0010] A third personal collation apparatus according to the present invention is a method for pattern matching between an extraction vector generated from color information and an extraction template vector set generated from a face area extraction sample image set prepared in advance. Then, the extraction area is adjusted by the genetic algorithm, whereby the stable extraction of the face area is performed without being affected by the background of the input image, the lighting conditions, and the like. Then, a matching vector is generated from the brightness / shade pattern of the extracted face region image, and individual matching is performed by pattern matching with a matching template vector set generated from a previously prepared individual matching sample image set. It is like that.
【００１１】また、本発明における第４の個人照合装置
は、まず、彩度、色相等の色情報を用いて人物領域を大
まかに抽出した後に、輝度値から生成された抽出用ベク
トルと予め用意された顔領域抽出用標本画像集合から生
成された抽出用テンプレートベクトル集合とのパターン
マッチングと遺伝的アルゴリズムによる抽出領域の調節
を実施することにより、入力画像の背景、照明条件等に
影響されないで安定した顔領域の抽出を行う。この処理
を、予め設定された繰り返し回数だけ実行し、顔領域と
判断された領域近傍は２度と選択されないようにマスク
することにより、入力画像中における複数の顔領域の抽
出を行う。そして、その抽出された複数の顔領域画像の
輝度・濃淡パターンから照合用ベクトルを生成し、予め
用意された個人照合用標本画像集合より生成された照合
用テンプレートベクトル集合とのパターンマッチングに
より複数の顔領域に対する個人照合を行うようにしたも
のである。The fourth personal collating apparatus according to the present invention first roughly extracts a person region using color information such as saturation and hue, and then prepares an extraction vector generated from a luminance value in advance. By performing pattern matching with the set of extraction template vectors generated from the set of sample images for face region extraction and adjusting the extraction area using a genetic algorithm, it is stable regardless of the background of the input image, lighting conditions, etc. The extracted face area is extracted. This process is performed a predetermined number of times, and a plurality of face regions in the input image are extracted by masking the vicinity of the region determined to be a face region so as not to be selected again. Then, a matching vector is generated from the extracted brightness / shade patterns of the plurality of face area images, and a plurality of matching template vectors are generated by pattern matching with a set of matching template vectors generated from a sample image set for personal matching prepared in advance. The personal collation with respect to the face area is performed.
【００１２】[0012]
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。図１は本発明の第１の
実施の形態である個人照合装置の構成図、図２は本発明
の第１の実施の形態である個人照合装置の組み替え操作
手段の構成図、図１０は本発明の第２の実施の形態であ
る個人照合装置の構成図、図１１は本発明の第３の実施
の形態である個人照合装置の構成図、図１２は本発明の
第４の実施の形態である個人照合装置の構成図である。
構成図の各図において、同一部には同じ番号を付してい
る。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a configuration diagram of a personal verification device according to a first embodiment of the present invention, FIG. 2 is a configuration diagram of a rearrangement operation means of the personal verification device according to the first embodiment of the present invention, and FIG. FIG. 11 is a configuration diagram of a personal verification device according to a second embodiment of the present invention, FIG. 11 is a configuration diagram of a personal verification device according to a third embodiment of the present invention, and FIG. 12 is a fourth embodiment of the present invention. FIG. 2 is a configuration diagram of a personal verification device that is
In the drawings of the configuration, the same parts are denoted by the same reference numerals.
【００１３】（第１の実施の形態）まず、本発明の第１
の実施の形態である個人照合装置について説明する。図
１において、１０１は、識別を行う画像データをCCDカ
メラ等を使って取り込む画像入力手段、１０２は画像入
力手段１０１でより入力された画像の各画素における色
情報（彩度S、明度V、色相H）を計算する色情報計算手
段、１０３は１０２で得られた色情報をもとに入力画像
から人物に相当する領域を大まかに切り出す人物領域抽
出手段、１０４は１０３で切り出された人物領域画像内
における輝度の偏りを補正する輝度補正手段、１０５は
遺伝的アルゴリズムを用いた１０３の人物領域画像から
顔領域を抽出する遺伝的アルゴリズム処理手段、１０６
は１０５で抽出された顔抽出領域内の輝度値からM次元
の照合用ベクトルV_r=(r0,r1,...,rM)を生成する照合用
ベクトル生成手段、１０７は１０６で生成された照合用
ベクトルV_rと比較する目的で予め用意された複数の個
人照合用標本顔画像より生成されたP個の照合用テンプ
レートベクトルT_r[k]=(tr(0,k),tr(1,k),...,tr(M-1,
k))(k=0,1,...,P-1)が記録されている照合用テンプレー
ト辞書、１０８は１０６で生成された照合用ベクトルV_
rと照合用テンプレート辞書１０７内の照合用テンプレ
ートベクトルT_r[k]とのパターンマッチングにより入力
画像内の人物の個人照合を行い、その結果を出力する照
合結果出力手段である。遺伝的アルゴリズム処理手段１
０５は１０３の人物領域画像からさらに顔領域を抽出す
るために必要な矩形領域の中心座標(x0(i),y0(i))、横
画素数width(i)、縦画素数height(i)で構成されるパラ
メータ列ベクトルV_c[i]=(x0(i),y0(i),width(i),heigh
t(i))(i=0,1,...,K-1)をランダムに設定する初期抽出領
域設定手段１０９、１０９で設定されたK個の矩形抽出
領域内の輝度値を使ってK個のL次元抽出用ベクトルV_e
[i]=(e(0,i),e(1,i),...,e(L-1,i))(i=0,1,...,K-1)を
作成する抽出用ベクトル生成手段１１０、１１０で生成
されたK個の抽出用ベクトルと比較する目的で予め用意
された複数の顔領域抽出用標本顔画像から生成されたN
個の抽出用テンプレートベクトルT_e[j]=(te(0,j),te
(1,j),...,te(L-1,j))(j=0,1,...,N-1)が記録されてい
る抽出用テンプレート辞書１１１、１１０で生成された
各抽出領域を表す抽出用ベクトルV_e[i]を１１１の抽出
用テンプレート辞書内のテンプレートベクトルT_e[j]と
比較して、抽出領域に対応するパラメータ列ベクトルV_
c[i]の適合度fitness[i]を評価する抽出領域評価手段１
１２、１１２における各抽出領域の適合度をもとに遺伝
的アルゴリズムによる組み替え操作を行い、より適合度
の高い抽出矩形領域を探索する組み替え操作手段１１
３、１１２における各抽出領域の適合度が予め設定され
た顔領域判断基準を満足する場合に、一番最適な領域を
顔領域として抽出する顔抽出領域記録手段１１４より構
成される。組み替え操作手段１１３は、現時点における
パラメータ列ベクトルV_c[i]の集合Cに、各パラメータ
列ベクトルの適合度fitness[i]をもとに、パラメータ列
ベクトルの選択的淘汰を実行する候補選択手段２０１、
候補選択手段２０１で得られたパラメータ列ベクトル集
合Cに対して交叉処理を実行する交叉処理手段２０２、
交叉処理手段２０２で得られたパラメータ列ベクトル集
合Cに対して突然変異処理を実行する突然変異処理手段
２０３により構成される。さらに、候補選択手段２０１
は、パラメータ列ベクトル集合Cからあるパラメータ列
ベクトルV_c[i]を選択する時の選択確率h(i)とその選択
範囲I(i)を導出する選択範囲導出手段２０４、[0,1)内
の一様乱数g(i)の組G=(g(0),g(1),...,g(K-1))を発生さ
せる乱数発生手段２０５、乱数発生手段２０５の結果を
もとにパラメータ列ベクトル集合Cから選択するパラメ
ータ列ベクトルを抽出するパラメータ列ベクトル選択手
段２０６により構成される。(First Embodiment) First, the first embodiment of the present invention will be described.
A personal verification device according to the embodiment will be described. In FIG. 1, reference numeral 101 denotes an image input unit that captures image data to be identified using a CCD camera or the like, and 102 denotes color information (saturation S, lightness V, and brightness V) of each pixel of the image input by the image input unit 101. Color information calculation means for calculating hue H); 103, a person area extraction means for roughly extracting an area corresponding to a person from an input image based on the color information obtained in 102; A luminance correction unit 105 for correcting a deviation in luminance in the image; 105, a genetic algorithm processing unit for extracting a face region from 103 person region images using a genetic algorithm;
Is a matching vector generating means for generating an M-dimensional matching vector V_r = (r0, r1,..., RM) from the luminance values in the face extraction region extracted in 105, and 107 is a matching vector generated in 106 Matching template vectors T_r [k] = (tr (0, k), tr (1, k) generated from a plurality of sample face images for personal matching prepared in advance for the purpose of comparison with the vector for matching V_r , ..., tr (M-1,
k)) (k = 0, 1,..., P-1) is stored in the template dictionary for matching, and 108 is a matching vector V_
This is a matching result output unit that performs personal matching of the person in the input image by pattern matching between r and the matching template vector T_r [k] in the matching template dictionary 107, and outputs the result. Genetic algorithm processing means 1
05 is the center coordinates (x0 (i), y0 (i)) of the rectangular area necessary for further extracting the face area from the 103 person area image, the number of horizontal pixels width (i), the number of vertical pixels height (i) Parameter column vector V_c [i] = (x0 (i), y0 (i), width (i), heigh
t (i)) (i = 0, 1,..., K-1) are set at random by using the luminance values in the K rectangular extraction regions set by the initial extraction region setting means 109, 109. K L-dimensional extraction vectors V_e
create [i] = (e (0, i), e (1, i), ..., e (L-1, i)) (i = 0,1, ..., K-1) N generated from a plurality of face region extraction sample face images prepared in advance for the purpose of comparison with the K extraction vectors generated by the extraction vector generation means 110, 110.
Extraction template vectors T_e [j] = (te (0, j), te
(1, j), ..., te (L-1, j)) (j = 0,1, ..., N-1) are generated by the extraction template dictionaries 111 and 110. The extraction vector V_e [i] representing each extraction region is compared with the template vector T_e [j] in the extraction template dictionary 111, and the parameter column vector V_
Extraction area evaluation means 1 for evaluating fitness of fit [i] of c [i]
Recombination operation means 11 for performing a recombination operation by a genetic algorithm based on the fitness of each extraction region in 12 and 112 to search for an extraction rectangular region having a higher fitness.
When the degree of conformity of each extraction area in 3, 112 satisfies a preset face area determination criterion, a face extraction area recording unit 114 extracts the most optimal area as a face area. The recombining operation means 113 performs a candidate selection means 201 for executing a selective selection of parameter column vectors on the set C of the parameter column vectors V_c [i] at the present time based on the fitness degree [i] of each parameter column vector. ,
Crossover processing means 202 for performing crossover processing on the parameter column vector set C obtained by the candidate selection means 201;
It is constituted by a mutation processing means 203 for executing a mutation processing on the parameter sequence vector set C obtained by the crossover processing means 202. Furthermore, candidate selection means 201
Is a selection range deriving means 204 for deriving a selection probability h (i) and a selection range I (i) when a certain parameter column vector V_c [i] is selected from the parameter column vector set C; Random number generating means 205 for generating a set of uniform random numbers g (i) G = (g (0), g (1),..., G (K-1)). And a parameter column vector selecting means 206 for extracting a parameter column vector to be selected from the parameter column vector set C.
【００１４】以上のように構成された第１の実施の形態
である個人照合装置の動作について説明する。画像入力
手段１０１において、CCDカメラ等を用いて、横256画素
×縦256画素の大きさで、RGB各256階調のカラー信号で
入力画像が取り込まれる。色情報計算手段１０２では、
１０１で取り込まれた入力画像における各画素でのカラ
ー信号を図５で表されるHSV表色系をもとに彩度、明
度、色相と呼ばれる色情報に変換する。一般に色相H成
分は色みの種類を表す値であり、照明等による反射や陰
影の影響を受けにくく、顔のように色相がほぼ一定であ
るような領域抽出には有効であると言われている。ま
た、明度Vは色の明るさを表した値を、彩度Sは色の鮮や
かさの程度を表しており、人間の顔領域は比較的彩度、
明度の高い物体であるのに対し、本発明が主に使用され
ると思われるオフィスをはじめとする建物内部環境で
は、比較的低彩度色が用いられている。人物領域抽出手
段１０３はこの２点をもとに入力画像から大まかに人物
領域を抽出するのである。色情報変換を行うための表色
系としては、ここでは図３に示されるようなHSV表色系
を用いたが、色相成分、彩度成分を持つ表色系であれば
同様に適用することができる。（数１）はその導出式を
表す。そして、r_xy、g_xy、b_xyは画素座標(x,y)にお
けるカラー信号を、H_xyは色相を、V_xyは明度を、S_xy
は彩度を表すものとする。The operation of the personal verification apparatus according to the first embodiment configured as described above will be described. In the image input means 101, an input image is captured using a CCD camera or the like with a color signal of 256 pixels in the horizontal direction and 256 pixels in the vertical direction, each of which has 256 gradations of RGB. In the color information calculation means 102,
The color signal at each pixel in the input image captured in 101 is converted into color information called saturation, lightness, and hue based on the HSV color system shown in FIG. In general, the hue H component is a value that represents the type of tint, is less likely to be affected by reflections and shadows due to lighting, etc., and is said to be effective for extracting areas where the hue is almost constant, such as a face. I have. Further, the lightness V represents a value representing the brightness of the color, the saturation S represents the degree of vividness of the color, and the human face region is relatively saturated,
In contrast to an object having a high brightness, a relatively low saturation color is used in a building interior environment such as an office where the present invention is considered to be mainly used. The person region extracting means 103 roughly extracts a person region from the input image based on these two points. As the color system for performing the color information conversion, the HSV color system as shown in FIG. 3 is used here. However, if the color system has a hue component and a saturation component, the same applies. Can be. (Equation 1) represents the derivation formula. R_xy, g_xy, b_xy are color signals at pixel coordinates (x, y), H_xy is hue, V_xy is lightness, S_xy
Represents saturation.
【００１５】[0015]
【数１】 (Equation 1)
【００１６】人物領域抽出手段１０３は次の２つの処理
を行う。 (i)彩度Sが予め与えられた彩度しきい値th_sより高い領
域を入力画像より切り出す。The person area extracting means 103 performs the following two processes. (i) A region where the saturation S is higher than a predetermined saturation threshold th_s is cut out from the input image.
【００１７】(ii)(i)で切り出された領域に含まれる画
像の色相成分Hから、色相成分ヒストグラムを求める。(Ii) A hue component histogram is obtained from the hue components H of the image included in the region cut out in (i).
【００１８】(iii)(ii)で作成された色相ヒストグラム
で、人間の肌の色相範囲に相当する範囲Dで色相ヒスト
グラムの頻度が最大となる色相値H_maxを求める。From the hue histograms created in (iii) and (ii), a hue value H_max at which the frequency of the hue histogram is maximum in a range D corresponding to the hue range of human skin is obtained.
【００１９】(iv)図４のように横画素x方向(0≦x≦255)
に対して、色相値Hが(H_max - th_h)≦H≦(H_max + th_
h)を満足する画素のヒストグラムCount(x)を求め、x方
向に対する平均値C_ave_xを求める。ここで、th_hは色
相範囲しきい値である。そして、x=0から走査してCount
(x)がC_ave_xを最初に上回るx=ｘ_sと、同様にx=255か
ら走査して最初にC_ave_xを上回るx=x_eを求める。x_s
からx_eに相当する領域を横画素x方向における人物領域
を見なす。(Iv) As shown in FIG. 4, horizontal pixel x direction (0 ≦ x ≦ 255)
The hue value H is (H_max-th_h) ≤ H ≤ (H_max + th_
A histogram Count (x) of pixels satisfying h) is obtained, and an average value C_ave_x in the x direction is obtained. Here, th_h is a hue range threshold. Then scan from x = 0 and count
Scanning from x = x_s where (x) first exceeds C_ave_x and x = 255 similarly obtains x = x_e which first exceeds C_ave_x. x_s
To x_e is regarded as a person region in the horizontal pixel x direction.
【００２０】(v)(iv)と同様に縦画素y方向(0≦x≦255)
に対しても、色相値Hが(H_max - th_h )≦H≦(H_max +
th_h)を満足する画素のヒストグラムCount(y)を求め、y
方向に対する平均値C_ave_yを求める。そして、y=0から
走査してCount(y)がC_ave_yを最初に上回るy=y_sと、同
様にy=255から走査して最初にC_ave_yを上回るy=y_eを
求める。y_sからy_eに相当する領域を縦画素y方向にお
ける人物領域を見なす。(V) Similar to (iv), vertical pixel y direction (0 ≦ x ≦ 255)
Also, the hue value H is (H_max-th_h) ≦ H ≦ (H_max +
th_h), a histogram Count (y) of pixels satisfying y
Find the average value C_ave_y for the direction. Then, scan from y = 0 to find y = y_s where Count (y) first exceeds C_ave_y, and similarly scan from y = 255 to find y = y_e which first exceeds C_ave_y. An area corresponding to y_s to y_e is regarded as a person area in the vertical pixel y direction.
【００２１】(vi)横画素x方向におけるx_sからx_e、縦
画素y方向におけるy_sからy_eに含まれる矩形領域を人
物領域として抽出する。(Vi) A rectangular area included in x_s to x_e in the horizontal pixel x direction and y_s to y_e in the vertical pixel y direction is extracted as a person area.
【００２２】図７は入力画像からth_s=25より低い彩度
領域を取り除いた領域に対して得られた色相ヒストグラ
ムの例を表すものであり、領域Dは人物の肌に相当する
と思われる領域を表す。FIG. 7 shows an example of a hue histogram obtained from a region obtained by removing a saturation region lower than th_s = 25 from an input image. A region D is a region considered to correspond to a human skin. Represent.
【００２３】輝度補正手段１０４では、（数２）に従
い、得られた人物領域画像内の画素(x,y)における輝度
値l_xyを求める。The luminance correction means 104 obtains a luminance value l_xy at the pixel (x, y) in the obtained person area image according to (Equation 2).
【００２４】[0024]
【数２】 (Equation 2)
【００２５】そして、各画像の撮影時における照明条件
等により生じる輝度の偏りを低減するために線形変換に
よる輝度値の補正を実施する。なお、この処理は線形変
換に限定されるものではなく、各輝度レベルにおける画
素中でのヒストグラムを同じにするヒストグラム等価法
などを適用することも可能である。Then, the luminance value is corrected by a linear conversion in order to reduce the deviation of the luminance caused by the lighting conditions at the time of photographing each image. Note that this processing is not limited to linear conversion, and it is also possible to apply a histogram equalization method or the like that makes the histogram in pixels at each luminance level the same.
【００２６】これまでの処理により得られた人物領域に
はまだ背景情報等が十分含まれており、個人照合を行う
際にこの影響を受けることとなる。そこで、さらに領域
を絞り、個人照合の効率化を図るために、以下に説明す
るような遺伝的アルゴリズムを用いた領域抽出を遺伝的
アルゴリズム処理手段１０５が行う。そこでは、顔領域
抽出のために予め用意された標本顔画像集合から生成さ
れた抽出用テンプレートベクトル集合G_Te内のベクトル
T_e[j](j=0,1,...,N-1)と、人物領域抽出手段１０３で
抽出された人物領域からK個の矩形領域により得られる
抽出用ベクトルV_e[i](i=0,1,...,K-1)との間のパター
ンマッチングを行い、最適な矩形領域を顔領域と見なし
て切り出す。その際、矩形領域の中心点座標(x0(i),y0
(i))、横画素数width(i)、縦画素数height(i)の最適値
を、多数パラメータの組み合わせで大きな効果のある遺
伝的アルゴリズム(GA)を用いて推定するのである。The person area obtained by the processing up to this point still contains sufficient background information and the like, and is affected when performing personal verification. Therefore, in order to further narrow down the area and improve the efficiency of individual matching, the genetic algorithm processing means 105 performs area extraction using a genetic algorithm as described below. Here, vectors in an extraction template vector set G_Te generated from a sample face image set prepared in advance for face area extraction
T_e [j] (j = 0, 1,..., N−1) and an extraction vector V_e [i] (i) obtained by K rectangular areas from the person area extracted by the person area extraction unit 103 = 0, 1,..., K−1), and cuts out an optimal rectangular area as a face area. At that time, the coordinates of the center point of the rectangular area (x0 (i), y0
(i)), the optimal values of the horizontal pixel number width (i) and the vertical pixel number height (i) are estimated by using a genetic algorithm (GA) having a large effect by combining a large number of parameters.
【００２７】遺伝的アルゴリズムは生物の種の染色体が
環境に適応して進化していく様子を模擬した最適化手法
であり、例えば文献「ジェネティック アルゴリズム
インサーチ オプティマイゼーション アンド マシー
ン ラーニング」（”Genetic Algorithms in Search,
Optimization and Machine Learning”（David E.Goldb
erg, Addison Wesley））にその詳細が記載されてい
る。まず、推定する複数のパラメータからなるパラメー
タ列ベクトルを染色体q_k(k=0,1,...,K-1)と見なし、最
適化すべき問題を環境とみなす。自然界では染色体が環
境に適していない個体は死滅し、適したものは他の染色
体との間で交配を行い子を生む。子は両親の遺伝子を組
み合わせたものになり、今までの集団にはなかった染色
体を持つ。同じ両親から生まれた子でも遺伝子の組み合
わせ次第で良くも悪くもなる。適合度の高い子は子孫を
増やし、低い子は死滅する。時に染色体は突然変異を起
こす。この過程を繰り返すことにより染色体の集団は次
第に適合度の高い染色体を持つよう均質化していく。GA
では、求めるパラメータ列ベクトルの集団を生物におけ
る染色体の集団と見なす。最初にランダムにパラメータ
列ベクトルの集団が生成される。各々の解最適化したい
関数(評価関数と呼ぶ)に代入して評価し、最適に近いも
のを増殖させ、適していないものを淘汰させる。その
後、他の染色体との間で解の一部を交換し合う。これを
交叉と呼ぶ。さらに、ある確率で突然変異を起こし、パ
ラメータ列ベクトルの一部を変化させる(図６参照)。こ
の増殖・淘汰、交叉、突然変異からなる世代交代の過程
を繰り返し適用し、一定の世代交代の後、集団内で最良
のパラメータ列ベクトルを最適なベクトルとする。GAの
特徴はパラメータ列ベクトル集団を用いて同時に探索空
間上で複数探索を行う点にある。これにより、ローカル
ミニマムに陥る可能性が減少する。また、複数のパラメ
ータ列ベクトルの良い点を組み合わせて新たなパラメー
タ列ベクトルを作成することで効率的な探索を行うこと
ができることも特徴の１つである。GAは、以上のような
処理を繰り返し実行することによりパラメータ列ベクト
ルの最適化を行うものである。The genetic algorithm is an optimization method that simulates how a chromosome of a species of an organism evolves in adaptation to the environment.
"In Search Optimization and Machine Learning"("Genetic Algorithms in Search,
Optimization and Machine Learning ”(David E. Goldb
erg, Addison Wesley)). First, a parameter sequence vector including a plurality of parameters to be estimated is regarded as a chromosome q_k (k = 0, 1,..., K−1), and a problem to be optimized is regarded as an environment. In nature, individuals whose chromosomes are unsuitable for the environment die, and those that are suitable crosses with other chromosomes to produce offspring. The offspring combine the genes of their parents and have chromosomes not previously found in the population. A child born to the same parents can get better or worse depending on the combination of genes. Highly fit offspring increase offspring and low offspring die. Sometimes chromosomes mutate. By repeating this process, the population of chromosomes is gradually homogenized to have chromosomes with a high degree of fitness. GA
In the following, a group of parameter column vectors to be determined is regarded as a group of chromosomes in an organism. First, a group of parameter column vectors is randomly generated. Each function is evaluated by substituting it into a function to be optimized (referred to as an evaluation function), and those that are close to optimal are proliferated, and those that are not suitable are eliminated. Then, a part of the solution is exchanged with another chromosome. This is called crossover. Further, a mutation is caused at a certain probability, and a part of the parameter column vector is changed (see FIG. 6). The process of generation alternation consisting of multiplication / selection, crossover, and mutation is repeatedly applied, and after a certain generation alternation, the best parameter column vector in the group is set as the optimal vector. The feature of GA is that multiple searches are performed simultaneously on a search space using a parameter column vector group. This reduces the possibility of falling into a local minimum. Another feature is that efficient search can be performed by creating a new parameter column vector by combining good points of a plurality of parameter column vectors. The GA optimizes a parameter column vector by repeatedly executing the above processing.
【００２８】本発明では、１０３で色相により大まかに
切り出された人物領域に対してGAを適用することによっ
て顔領域を切り出す。染色体構造は図７のように、顔領
域を抽出するために必要な矩形領域の中心座標(x0(i),y
0(i))、横画素数width(i)、縦画素数height(i)(i=0,
1,...,K-1)よりなるパラメータ列ベクトルで表現され
る。まず初期抽出領域設定手段１０９において、ランダ
ムに設定されたK個の元を持つ染色体集合Qを用意する。
なお、ここでは矩形領域の座標、横画素数、縦画素数を
そのまま要素にして染色体を生成したが、座標、横画素
数、縦画素数を0、1の２進数のビット列に変換して並べ
たビット列にすることも考えられる。抽出用ベクトル生
成手段１１０では、各染色体q_i(i=0,1,...,K-1)の適合
度を評価するために、各染色体の表す矩形領域内の画像
の特徴を表す抽出用ベクトルを生成する。染色体q_iに
対して、矩形領域内の輝度l_xy(i)(x0(i)-width(i)/2+1
≦x≦x0(i)+width(i)/2,y0(i)-height(i)/2+1≦y≦y0
(i)+height(i)/2)の矩形領域内における平均輝度l_ave
(i)を求め、各画素において輝度差分値dl_xy(i)=l_xy
(i)-l_ave(i)を求める。彩度、色相により抽出された人
物領域はL=m×mのモザイクブロックに荒く分割され、各
ブロックj(j=0,1,...,L-1)内の輝度差分値dl_xy(i)の平
均値e(j,i)が（数３）のように計算される。ここで、Σ
の取りうる範囲は、ブロックjに属するx(i),y(i)にな
る。In the present invention, a face area is cut out by applying GA to a person area roughly cut out according to hue at 103. As shown in FIG. 7, the chromosome structure has the center coordinates (x0 (i), y) of the rectangular area necessary for extracting the face area.
0 (i)), number of horizontal pixels width (i), number of vertical pixels height (i) (i = 0,
1, ..., K-1). First, the initial extraction area setting means 109 prepares a chromosome set Q having K elements set at random.
In this case, the chromosome is generated by using the coordinates of the rectangular area, the number of horizontal pixels, and the number of vertical pixels as they are, but the coordinates, the number of horizontal pixels, and the number of vertical pixels are converted into a binary bit string of 0 and 1 and arranged. It is also conceivable to use a bit string. In order to evaluate the fitness of each chromosome q_i (i = 0, 1,..., K-1), the extraction vector generation means 110 extracts the feature of the image in the rectangular area represented by each chromosome. Generate a vector. For the chromosome q_i, the luminance l_xy (i) (x0 (i) -width (i) / 2 + 1
≦ x ≦ x0 (i) + width (i) / 2, y0 (i) -height (i) / 2 + 1 ≦ y ≦ y0
Average luminance l_ave in the rectangular area of (i) + height (i) / 2)
(i), and the luminance difference value dl_xy (i) = l_xy in each pixel
(i) Find -l_ave (i). The person area extracted by the saturation and hue is roughly divided into mosaic blocks of L = m × m, and the luminance difference value dl_xy (i) in each block j (j = 0, 1,..., L−1) ) Is calculated as shown in (Equation 3). Where Σ
Can be x (i), y (i) belonging to block j.
【００２９】[0029]
【数３】 (Equation 3)
【００３０】この値をブロックjの代表値とみなすこと
により、色相で得られた人物領域内画像はL次元ベクト
ルV_e[i]=(e(0,i),e(1,i),....,e(L-1,i))で表現するこ
とができる。なお、平均輝度からの輝度差分値を用いて
モザイクブロック内の代表値を求めたのは、各画像にお
ける平均輝度の変動による影響を低減するためである。
抽出用テンプレート辞書１１１は、予め顔領域抽出のた
めに用意されたN_sample個の抽出用標本顔画像集合の中
の顔画像lをL個のモザイクブロックに分割し、各モザイ
クブロックk内の輝度差分値の平均値ted(k,l)(k=0,
1,...,L-1,l=0,1,...,N_sample-1)を要素に持つL次元ベ
クトルT_ed[l]=(ted(0,l),ted(1,l),...,ted(L-1,l))を
作成する。作成されたN_sample個のベクトルにベクトル
量子化（Vector Quantization:VQ）を適用してN個の要
素を持つ抽出用テンプレートベクトル集合を作成する。
VQは用意された多数のベクトル集合のデータ分布に応じ
て、参照ベクトルと呼ばれる各部分空間（クラスタ）を
代表するベクトルを配置して、元のベクトル空間を複数
の部分空間に分割するクラスタ化手法であり、詳細は文
献「アン アルゴリズム フォー ベクトル クフォン
タイザー デザイン」("An algorithm for vector quan
tizer design"(IEEE Transaction of Communication, C
OM-28, No.1, pp.84-95,1980, Linde, Y., Buzo, A. an
d Gray, R. M. ))に掲載されている。本発明では、この
VQを用いて予め用意されたN_sample個の抽出用標本顔画
像集合から生成される抽出用ベクトルをN個の部分集合
にクラスタ分割し、得られたN個の参照ベクトルT_e[j]
(j=0,...,N-1)を用いて抽出用テンプレートベクトル集
合G_teを生成する。このG_teが抽出用テンプレート辞書
１１１に相当する。By regarding this value as a representative value of the block j, the image in the human area obtained in the hue is converted into an L-dimensional vector V_e [i] = (e (0, i), e (1, i),. ..., e (L-1, i)). The reason why the representative value in the mosaic block is obtained using the luminance difference value from the average luminance is to reduce the influence of the fluctuation of the average luminance in each image.
The extraction template dictionary 111 divides the face image l in the set of N_sample extraction sample face images prepared in advance for face area extraction into L mosaic blocks, and calculates the luminance difference in each mosaic block k. Mean value of the values ted (k, l) (k = 0,
L-dimensional vector T_ed [l] = (ted (0, l), ted (1, l) having 1, ..., L-1, l = 0,1, ..., N_sample-1) as elements , ..., ted (L-1, l)). Vector quantization (Vector Quantization: VQ) is applied to the created N_sample vectors to create an extraction template vector set having N elements.
VQ is a clustering method that divides the original vector space into multiple subspaces by arranging vectors representing each subspace (cluster) called reference vectors according to the data distribution of a large number of prepared vector sets For details, refer to the document "An algorithm for vector quan tizer design".
tizer design "(IEEE Transaction of Communication, C
OM-28, No.1, pp.84-95,1980, Linde, Y., Buzo, A. an
d Gray, RM)). In the present invention,
Extraction vectors generated from a set of N_sample extraction sample face images prepared in advance using VQ are cluster-divided into N subsets, and the obtained N reference vectors T_e [j]
An extraction template vector set G_te is generated using (j = 0,..., N−1). This G_te corresponds to the extraction template dictionary 111.
【００３１】次に抽出領域評価手段１１２では、１１０
で生成された各染色体q_i(i=0,1,...,K-1)に対応する矩
形領域からの抽出用ベクトルを用いて、各染色体の適合
度を計算する。各染色体の適合度を表す評価関数fitnes
s(i)として、いろいろなものが考えられるが、ここでは
（数４）で表現される関数を用いた。Next, the extraction area evaluation means 112
The fitness of each chromosome is calculated using the vector for extraction from the rectangular area corresponding to each chromosome q_i (i = 0, 1,..., K-1) generated in the above. The fitness function fitnes that represents the fitness of each chromosome
Various types of s (i) can be considered. Here, a function expressed by (Equation 4) was used.
【００３２】[0032]
【数４】 (Equation 4)
【００３３】この（数４）は、抽出用ベクトルV_e[i](i
=0,1,...,K-1)と用意されたN個の抽出テンプレート辞書
内のベクトルT_e[j](j=0,1,...,N-1)との間の２乗距離D
[i,j]を計算し、最小距離をこの染色体q_iに対する適合
度fitness(i)とみなす。GAでは、この値が小さくなるよ
うな最適な染色体q_bestを推定するのである。さらに１
１２では、 [i]最小適合度f_minが顔領域判断基準f_thより小さい場
合に、顔領域抽出が終了し、１０６の顔抽出領域記録手
段で最適な矩形領域が記録される。This (Equation 4) is equivalent to the extraction vector V_e [i] (i
= 0,1, ..., K-1) and the vector T_e [j] (j = 0,1, ..., N-1) in the prepared N extracted template dictionaries. Ride distance D
[i, j] is calculated, and the minimum distance is regarded as the fitness “fitness (i)” for the chromosome q_i. The GA estimates the optimal chromosome q_best such that this value becomes smaller. One more
In step 12, when [i] the minimum fitness f_min is smaller than the face area determination criterion f_th, the face area extraction is completed, and the optimal rectangular area is recorded by the face extraction area recording unit 106.
【００３４】[ii]最小適合度f_minが顔領域判断基準f_t
hより大きく、かつ染色体集合更新回数g_numが予め設定
された繰り返し上限回数g_num_max以下の場合、組み替
え操作手段１１３へ処理が移る。[Ii] The minimum fitness f_min is the face area determination criterion f_t
If it is greater than h and the chromosome set update count g_num is equal to or less than the preset maximum number of repetitions g_num_max, the process proceeds to the recombination operation unit 113.
【００３５】[iii]最小適合度f_minが顔領域判断基準f_
thより大きく、かつ染色体集合更新回数g_numが予め設
定された繰り返し上限回数g_num_maxを超えた場合に
は、入力画像中に顔領域が含まれていないと判断して、
顔抽出および個人照合処理終了する。 の３つの判断処理も併せて実行する。[Iii] The minimum fitness f_min is the face area determination criterion f_
If th, and the chromosome set update count g_num exceeds a preset maximum number of iterations g_num_max, it is determined that no face region is included in the input image,
The face extraction and the individual matching process are completed. These three determination processes are also performed.
【００３６】組替え操作手段１１３の動作は以下の通り
である。まず、候補選択手段２０１において染色体の選
択淘汰が実行される。この場合、図８に表されるように
適合度に比例する確率で染色体を選択するルーレット選
択法が用いられる。The operation of the rearrangement operation means 113 is as follows. First, chromosome selection is performed in the candidate selection means 201. In this case, as shown in FIG. 8, a roulette wheel selection method for selecting chromosomes with a probability proportional to the fitness is used.
【００３７】（ルーレット選択法） (1)染色体集合Qに属する各染色体q_i(i=0,1,...,K-1)の
適合度fitnsee(i)、全染色体の適合度の総和f_totalを
求める。(Roulette selection method) (1) Fitnsee (i) of the fitness of each chromosome q_i (i = 0, 1,..., K-1) belonging to the chromosome set Q, and the sum f_total of the fitness of all chromosomes Ask for.
【００３８】(2)q_iが次世代の染色体を作り出す親とし
て選ばれる選択確率h(i)が（数５）のように求められ
る。(2) The selection probability h (i) that q_i is selected as the parent that creates the next generation chromosome is obtained as shown in (Equation 5).
【００３９】[0039]
【数５】 (Equation 5)
【００４０】この確率を染色体に割り当てるためには例
えば次のような方法が考えられる。 (iii)各染色体の選択範囲I(i)を[0,1)内の区間に（数
６）（数７）を用いて次のように割り当てる。つまり、To assign this probability to a chromosome, for example, the following method can be considered. (iii) The selection range I (i) of each chromosome is allocated to the section in [0, 1) using (Equation 6) and (Equation 7) as follows. That is,
【００４１】[0041]
【数６】 (Equation 6)
【００４２】とする時、q_iの選択範囲I(i)はThen, the selection range I (i) of q_i is
【００４３】[0043]
【数７】 (Equation 7)
【００４４】のように定義する。ここで、[0,1)内に一
様乱数g(i)の組G=(g(0),g(1),...,g(K-1))を発生させ
る。g(i)∈I(j)(i,j=0,1,...,K-1)を満足するnum(i)=j
の組Num=(num(0),num(1),...,num(K-1))を求めることに
より、このNumに対応するK個の染色体の組が選択される
ことになる。Is defined as follows. Here, a set G = (g (0), g (1),..., G (K−1)) of uniform random numbers g (i) is generated in [0, 1). num (i) = j that satisfies g (i) ∈I (j) (i, j = 0,1, ..., K-1)
By calculating the set Num = (num (0), num (1),..., Num (K-1)), a set of K chromosomes corresponding to this Num is selected.
【００４５】このようなルーレット選択法により、現在
の染色体集団Pの中の染色体q_iの選択を行うのである。
まず、（数５）〜（数７）に従い選択範囲導出手段２０
４が各染色体が選択される確率h(i)とその選択範囲I(i)
を求める。そして、乱数発生手段２０５が０から１の間
の一様乱数gをK個発生する。乱数発生手段２０５で得ら
れた乱数の組Gと選択範囲導出手段２０４により得られ
る選択範囲I(i)は、染色体選択手段２０６へ送られg(i)
∈I(j)を満足するnum(i)=kの組Numが求められる。それ
により染色体選択手段２０６では、Numによって指定さ
れる染色体で構成される新しい染色体集団Qを出力する
のである。この候補選択手段２０１で得られる新しい染
色体集団Qに対して、交叉処理手段２０２が交叉処理を
行う。交叉処理としては様々な方法があるが、本実施例
では図６のような１点交叉もしくは２点交叉処理を用い
る。さらに突然変異手段２０３が、交叉処理手段２０２
を経て得られた新しい染色体集団に対して、ある低い確
率で選ばれた遺伝子（多次元空間における座標ベクトル
の要素）にある範囲内で与えられた乱数を付加すること
によって実現される。その際、突然変異を行う確率は、
染色体集団の半分と残り半分では変動させることによ
り、より染色体の多様性に維持することに努めた。な
お、ここでは、多次元空間における座標ベクトルの実数
値要素をそのまま並べて染色体として扱ったが、ビット
列に変換して扱うことも可能である。図９は、ある入力
画像に対して顔領域抽出の一例を表す。(a)は入力画
像、(b)は彩度、色相による人物抽出結果、(c)はGAによ
る顔領域抽出結果の例を表す。なお、人物領域抽出にお
いて、彩度閾値th_s = 25、色相範囲閾値th_h = 10とし
た。GAによる顔領域抽出を行う際、１世代あたりに用意
される染色体q_iの個数は80とし、顔領域抽出までに200
世代の繰り返し推定が行われた結果を示す。これらより
明らかなように、良好に人物の顔領域が切り出されてい
ることがわかる。The chromosome q_i in the current chromosome group P is selected by such a roulette wheel selection method.
First, the selection range deriving means 20 according to (Equation 5) to (Equation 7)
4 is the probability h (i) that each chromosome is selected and the selection range I (i)
Ask for. Then, the random number generation means 205 generates K uniform random numbers g between 0 and 1. The set of random numbers G obtained by the random number generation means 205 and the selection range I (i) obtained by the selection range derivation means 204 are sent to the chromosome selection means 206 and g (i)
A set Num of num (i) = k that satisfies ∈I (j) is obtained. As a result, the chromosome selection means 206 outputs a new chromosome group Q composed of chromosomes designated by Num. Crossover processing means 202 performs crossover processing on the new chromosome population Q obtained by the candidate selection means 201. As the crossover processing, there are various methods. In this embodiment, a one-point crossover or a two-point crossover as shown in FIG. 6 is used. Furthermore, the mutation means 203 is
This is realized by adding a random number given within a certain range to a gene (element of a coordinate vector in a multidimensional space) selected with a low probability to a new chromosome population obtained through. At that time, the probability of performing the mutation is
Efforts were made to maintain more chromosomal diversity by varying the chromosome population in half and the other half. Here, the real-valued elements of the coordinate vector in the multidimensional space are arranged as they are and treated as chromosomes, but they may be converted into bit strings and treated. FIG. 9 illustrates an example of face area extraction for a certain input image. (a) shows an example of an input image, (b) shows an example of a person extraction result based on saturation and hue, and (c) shows an example of a face area extraction result based on GA. In the extraction of the person region, the saturation threshold th_s = 25 and the hue range threshold th_h = 10. When performing face area extraction by GA, the number of chromosomes q_i prepared per generation is assumed to be 80, and 200
This shows the result of repeated generation estimation. As is clear from these, it can be seen that the face region of the person has been cut out well.
【００４６】次にGAにより切り出された顔領域の照合方
法について示す。まず、予め用意された顔画像をM個の
モザイクブロックに分割し、各ブロックl(l=0,1,...,M-
1)内の輝度差分値の平均値dl_xy(l)を用いてM次元照合
用ベクトルが生成される。そして、得られたモザイクベ
クトルに学習量子化ベクトル(Learning Vector Quantiz
ation:LVQ )を適用し、照合対象カテゴリ数P個のカテゴ
リを代表するベクトルT_r[k]=(tr(0,k),tr(1,k),...,tr
(M-1,k))(k=0,1,...,P-1)の集合G_Trを作成する。この
ベクトル集合G_Trの作成手法として、本発明では次のよ
うな手順で与えられた複数のベクトルvより各カテゴリ
を代表するベクトル集合を作成するLVQを適用する。(1)
ベクトルvに対して式(数８)により、最近傍な代表ベク
トルv_c(n)を見つける。なお、nはLVQにおける繰り返し
回数を、v_p(n)は回数nにおける代表ベクトルを表す。Next, a method of collating a face area extracted by the GA will be described. First, a prepared face image is divided into M mosaic blocks, and each block l (l = 0, 1, ..., M-
An M-dimensional matching vector is generated using the average value dl_xy (l) of the luminance difference values in 1). Then, the obtained mosaic vector is added to the learning quantization vector (Learning Vector Quantiz
ation: LVQ) and apply the vector T_r [k] = (tr (0, k), tr (1, k), ..., tr
A set G_Tr of (M-1, k)) (k = 0, 1,..., P-1) is created. As a method of creating the vector set G_Tr, in the present invention, an LVQ for creating a vector set representing each category from a plurality of vectors v given in the following procedure is applied. (1)
The closest representative vector v_c (n) is found for the vector v by Expression (Equation 8). Note that n represents the number of repetitions in LVQ, and v_p (n) represents a representative vector in the number n.
【００４７】[0047]
【数８】 (Equation 8)
【００４８】(2)ここでvの属するカテゴリをG_v、v_c
(n)の属するカテゴリをG_vcとする。もし、G_vとG_vcが
同じカテゴリであれば、(数９)のようにv_c(n)をvに近
づけ、異なるカテゴリであれば、(数１０)のようにv_c
(n)をvから遠ざける。なお、v_c以外の代表ベクトルは
更新されない。(2) Here, the category to which v belongs is G_v, v_c
The category to which (n) belongs is G_vc. If G_v and G_vc are in the same category, make v_c (n) closer to v as in (Equation 9), and if they are different categories, v_c (n) as in (Equation 10)
Move (n) away from v. Note that the representative vectors other than v_c are not updated.
【００４９】[0049]
【数９】 (Equation 9)
【００５０】[0050]
【数１０】 (Equation 10)
【００５１】alpha(n)は単調減少関数( 0 < alpha < 1
)である。LVQは、VQを発展させた自己組織化ニューラ
ルネットワーク手法であり、VQにおける各クラスタを代
表する参照ベクトルをニューロン間の結合係数に対応さ
せ、教師あり学習を用いることによって適切な参照ベク
トルを求める手法である。LVQでは、同じカテゴリに属
するベクトル間の距離を近づけ、異なるカテゴリに属す
るベクトル間の距離を遠ざけて各カテゴリ間の境界線の
最適化を行う。本発明では、予め与えられた個人照合用
標本顔画像集合から得られるモザイクベクトルにLVQを
用いて、照合対象である各カテゴリを代表する参照ベク
トル集合を作成し、照合用テンプレート辞書として用意
する。Alpha (n) is a monotonically decreasing function (0 <alpha <1
). LVQ is a self-organizing neural network method developed from VQ, in which reference vectors representing each cluster in VQ are made to correspond to coupling coefficients between neurons, and an appropriate reference vector is obtained by using supervised learning. It is. In LVQ, the distance between vectors belonging to the same category is reduced, and the distance between vectors belonging to different categories is increased to optimize the boundary between the categories. In the present invention, a reference vector set representative of each category to be compared is created using LVQ on a mosaic vector obtained from a given set of sample face images for personal matching, and prepared as a template dictionary for matching.
【００５２】一方、前節で切り出された顔領域画像は同
様にM次元のモザイクブロックに分割され、各ブロックi
(i=0,1,...,M-1)内の輝度差分値の平均値dl_xy(i)を要
素riとするM次元の照合用ベクトルV_r=(r0,r1,...,rM)
が照合用ベクトル生成手段１０６で生成される。この照
合用生成ベクトルV_rと照合用テンプレート辞書G_Tr内
のテンプレートベクトルT_r[k]=(tr(0,k),tr(1,k),...,
tr(M-1,k))(k=0,1,...,P-1)の間の２乗距離DD[k]を計算
する。距離DD[k]において最小値DD_minを予め与えられ
た個人照合基準D_thより小さい場合には、DD_minに相当
するkの表す画像が入力画像内の顔の人物であると照合
し、逆に大きい場合には、該当者なしと判断する。この
照合結果を照合結果出力手段１０８が出力するのであ
る。On the other hand, the face area image cut out in the previous section is similarly divided into M-dimensional mosaic blocks, and each block i
An M-dimensional matching vector V_r = (r0, r1, ..., rM whose element ri is the average value dl_xy (i) of the luminance difference values in (i = 0,1, ..., M-1) )
Are generated by the comparison vector generation means 106. The generated vector V_r for matching and the template vector T_r [k] in the template dictionary G_Tr for matching = (tr (0, k), tr (1, k), ...,
Calculate the square distance DD [k] between tr (M-1, k)) (k = 0, 1,..., P-1). If the minimum value DD_min at the distance DD [k] is smaller than a predetermined personal collation reference D_th, the image represented by k corresponding to DD_min is collated as the face person in the input image. , It is determined that there is no applicable person. The collation result output means 108 outputs the collation result.
【００５３】このように本実施の形態によれば、色情報
を用いて入力画像から大まかに人物領域を抽出した後、
遺伝的アルゴリズムにより予め用意された テンプレー
トベクトル辞書ともっとも適合すると思われる領域を探
索して顔領域を切り出すことができ、背景や、顔の大き
さに依存しなで自動的に顔領域抽出を行うことができ
る。さらに、顔領域抽出後の照合方法として、画像中の
輝度・濃淡情報を部品の位置ずれや画像のノイズの影響
をある程度低減することのできるモザイク特徴量ベクト
ルに変換し、学習ベクトル量子化手法により生成された
照合用テンプレート辞書とのパターンマッチングを行う
ことにより、安定してかつ比較的簡単に個人照合を行う
ことができ、その効果は大きい。As described above, according to the present embodiment, after roughly extracting a person region from an input image using color information,
A genetic algorithm searches for a region that seems to be most compatible with the template vector dictionary prepared in advance, and can extract a facial region, and automatically extracts a facial region independent of the background and the size of the face be able to. Furthermore, as a matching method after extracting the face region, the luminance / shading information in the image is converted into a mosaic feature amount vector that can reduce the influence of component displacement and image noise to some extent, and a learning vector quantization method is used. By performing pattern matching with the generated matching template dictionary, individual matching can be performed stably and relatively easily, and the effect is great.
【００５４】（第２の実施の形態）次に、本発明の第２
の実施の形態である個人照合装置について説明する。図
１０は本発明の第２の実施の形態である個人照合装置の
構成図である。図１０において、１００１は抽出用ベク
トル生成手段１１０で生成されたK個の抽出用ベクトル
と比較する目的で予め用意された複数の顔領域抽出用標
本顔画像から生成されたN個の抽出用テンプレートベク
トルT_e[j]=(te(0,j),te(1,j),...,te(L-1,j))(j=0,
1,...,N-1)が記録されている抽出用テンプレート辞書
２、１００２は顔抽出領域記録手段１１４で記録された
最適な矩形領域に対応する抽出用ベクトルとの適合度が
最も高い抽出用テンプレートベクトルに属する顔画像グ
ループを記録する最適抽出グループ記録手段、１００３
は最適抽出グループ記録手段に記録されている顔画像グ
ループに該当する照合用テンプレートベクトルを照合用
テンプレート辞書１０７より選択する照合用テンプレー
ト選択手段、１００４は得られた顔領域より生成された
照合用ベクトルと１００２の照合用テンプレート選択手
段により選択された複数の照合用テンプレートベクトル
のみを比較して、最終的な人物照合を行い照合結果の出
力を行う照合結果出力手段２である。(Second Embodiment) Next, a second embodiment of the present invention will be described.
A personal verification device according to the embodiment will be described. FIG. 10 is a configuration diagram of a personal verification device according to a second embodiment of the present invention. In FIG. 10, reference numeral 1001 denotes N extraction templates generated from a plurality of face region extraction sample face images prepared in advance for the purpose of comparison with the K extraction vectors generated by the extraction vector generation unit 110. Vector T_e [j] = (te (0, j), te (1, j), ..., te (L-1, j)) (j = 0,
The extraction template dictionaries 2 and 1002 in which (1,..., N-1) are recorded have the highest degree of matching with the extraction vectors corresponding to the optimal rectangular areas recorded by the face extraction area recording means 114. Optimal extraction group recording means for recording a face image group belonging to the extraction template vector, 1003
Is a matching template selecting means for selecting a matching template vector corresponding to the face image group recorded in the optimal extraction group recording means from the matching template dictionary 107; 1004 is a matching vector generated from the obtained face area; And a comparison result output unit 2 that compares only a plurality of comparison template vectors selected by the comparison template selection unit 1002 and performs final person verification and outputs a verification result.
【００５５】以上のように構成された第２の実施の形態
である個人照合装置の動作について説明する。本発明の
第１の実施の形態である個人照合装置と同様に、画像入
力手段１０１より入力された入力画像は、色情報計算手
段１０２で求められた色相、彩度、明度の色情報をもと
に、大まかに人物領域が切り出され、輝度補正手段１０
４による人物領域画像内の輝度の偏りが補正される。そ
の後、遺伝的アルゴリズム処理手段１０５で、予め用意
された顔領域抽出用の抽出用テンプレート辞書１１１内
のテンプレートベクトルと、ランダムに切り出された矩
形領域内の輝度から求められる抽出用ベクトルとのパタ
ーンマッチングと遺伝的組み替え操作による矩形領域の
調整を繰り返すことにより、最適な顔抽出領域が推定さ
れ、顔領域記録手段１１４で記録される。１００１の抽
出用テンプレート辞書２におけるL次元抽出用テンプレ
ートベクトルT_e[j]=(te(0,j),te(1,j),...,te(L-1,j))
(j=0,1,...,N-1)を生成する際に、予め用意されたN_sam
ple個の抽出用標本顔画像集合の中の顔画像lから得られ
るL次元ベクトルT_ed[l]はそのベクトル空間における分
布に応じて複数の部分空間に分割され、各部分空間を代
表するN個の参照ベクトルを抽出用テンプレートベクト
ルT_e[j]としている。その際に、標本より得られたN_sa
mple個のベクトルT_ed[l]が、各テンプレートベクトル
の代表するどの部分空間に属するかを同時に記録してお
くのである。こうすることにより、顔領域抽出後に行わ
れる個人照合対象を限定することができる。最適抽出グ
ループ記録手段１００２では、得られた最適な矩形領域
から生成される抽出用ベクトルV_e_bestと最も適合度の
高いテンプレートベクトルT_e_bestを選び、それに属す
る抽出用の標本顔画像の番号を記録する役目を担ってい
る。１００３の照合用テンプレート選択手段では、予め
用意された個人照合用の標本顔画像集合から生成された
照合用テンプレート辞書１０７から最適抽出グループ記
録手段１００２に記録されている標本顔画像番号に該当
するP_sub個の照合用テンプレートベクトルT_r[k](k=0,
1,...,P_sub-1)のみを選択する。そして、１００３の照
合結果出力手段２において、１００２で選択された照合
用テンプレートベクトルのみを照合用ベクトル生成手段
１０６で生成された照合用ベクトルV_rと比較すること
により、最終的な個人照合結果を出力する。この際、照
合方法としては、本発明の第１の実施の形態である個人
照合装置の場合と同様に、P_sub個の照合用テンプレー
トベクトルT_r[k]と照合用ベクトルV_rの間の２乗距離D
D[k]を計算し、その最小値DD_minがDD_minが個人照合基
準D_thより小さい場合には、DD_minに対応するkの表す
画像が入力画像中の顔の人物であると照合し、逆に大き
い場合には、該当者なしと判断する。The operation of the personal verification apparatus according to the second embodiment configured as described above will be described. Similarly to the personal verification device according to the first embodiment of the present invention, the input image input from the image input unit 101 also includes the hue, saturation, and brightness color information obtained by the color information calculation unit 102. In the meantime, the person region is roughly cut out, and the brightness correction means 10
The bias of the luminance in the person area image due to the step 4 is corrected. Then, the genetic algorithm processing unit 105 performs pattern matching between the template vector in the extraction template dictionary 111 for extraction of the face region prepared in advance and the extraction vector obtained from the luminance in the randomly cut rectangular region. By repeating the adjustment of the rectangular area by the genetic rearrangement operation, the optimal face extraction area is estimated and recorded by the face area recording unit 114. L-dimensional extraction template vector T_e [j] = (te (0, j), te (1, j), ..., te (L-1, j)) in the extraction template dictionary 1001 of FIG.
When generating (j = 0,1, ..., N-1), N_sam
The L-dimensional vector T_ed [l] obtained from the face image l in the set of ple sample face images for extraction is divided into a plurality of subspaces according to the distribution in the vector space, and N representative of each subspace Is used as an extraction template vector T_e [j]. At that time, N_sa obtained from the sample
The fact that the mple vectors T_ed [l] belong to which of the representative subspaces of each template vector is recorded simultaneously. By doing so, it is possible to limit the targets of personal verification performed after the face region is extracted. The optimal extraction group recording means 1002 selects the extraction vector V_e_best generated from the obtained optimal rectangular area and the template vector T_e_best having the highest degree of matching, and plays the role of recording the number of the sample face image for extraction belonging thereto. I am carrying it. The matching template selecting unit 1003 uses the P_sub corresponding to the sample face image number recorded in the optimal extraction group recording unit 1002 from the matching template dictionary 107 generated from the sample face image set for personal matching prepared in advance. Matching template vectors T_r [k] (k = 0,
1, ..., P_sub-1) only. Then, the matching result output means 2 of 1003 compares the template vector for matching selected in 1002 with the matching vector V_r generated by the matching vector generating means 106 to output the final personal matching result. I do. At this time, as the matching method, as in the case of the personal matching apparatus according to the first embodiment of the present invention, the square distance between the P_sub matching template vectors T_r [k] and the matching vectors V_r D
D [k] is calculated, and if the minimum value DD_min is smaller than the personal verification reference D_th, the image represented by k corresponding to DD_min is verified to be the face person in the input image, and conversely large. In that case, it is determined that there is no applicable person.
【００５６】このように本実施の形態によれば、色情報
を用いて入力画像から大まかに人物領域を抽出した後、
遺伝的アルゴリズムにより予め用意された テンプレー
トベクトル辞書ともっとも適合すると思われる領域を探
索して顔領域を切り出す際に、個人照合対象を限定する
ことにより、顔領域抽出後の個人照合において、効率良
く個人照合を行うことができ、その効果は大きい。As described above, according to the present embodiment, after roughly extracting a person region from an input image using color information,
When searching for a region that seems to be the best match with the template vector dictionary prepared in advance by the genetic algorithm and cutting out the face region, the personal verification target is limited, so that in the personal verification after the face region extraction, the individual Collation can be performed, and the effect is great.
【００５７】（第３の実施の形態）次に本発明の第３の
実施の形態である個人照合装置について説明する。図１
１は第３の実施の形態である個人照合装置の構成を表
す。１１０１は、初期抽出領域設定手段１０９でランダ
ムに設定された複数の抽出領域内の色情報をもとに、各
抽出領域の特徴を評価するための抽出用ベクトルを生成
する抽出用ベクトル生成手段２であり、１１０２は顔領
域を抽出するために予め用意された抽出用標本顔画像集
合から色情報をもとに生成された抽出用テンプレートベ
クトルを格納する抽出用テンプレート辞書３である。(Third Embodiment) Next, a personal verification device according to a third embodiment of the present invention will be described. FIG.
Reference numeral 1 denotes a configuration of the personal verification device according to the third embodiment. Reference numeral 1101 denotes an extraction vector generation unit 2 that generates an extraction vector for evaluating a feature of each extraction region based on color information in a plurality of extraction regions randomly set by the initial extraction region setting unit 109. Numeral 1102 denotes an extraction template dictionary 3 for storing an extraction template vector generated based on color information from a set of extraction sample face images prepared in advance for extracting a face region.
【００５８】以上のように構成された第３の実施の形態
である個人照合装置の動作について説明する。画像入力
手段１０１より入力された画像に対して、色情報計算手
段１０２が入力画像中の各画素における色相、彩度、明
度の色情報を計算する。その後、初期抽出領域設定手段
１０９がランダムにK個の矩形領域を入力画像中に設定
し、１１０１の抽出用ベクトル生成手段２で生成された
各矩形領域より得られた(L×3)次元の抽出用ベクトルV_
ec[i]=(ecs(0,i),ecv(0,i),ech(0,i),.....,ecs(L-1,
i),ecv(L-1,i),ech(L-1,i))を生成し、予め用意された
顔抽出用の標本顔画像集合から生成されたN個の(L×3)
次元抽出用テンプレートベクトルT_ec[j]=(tecs(0,j),t
ecv(0,j),tech(0,j),...,tecs(L-1,j),tecv(L-1,j),tec
h(L-1,j))(j=0,1,...,N-1)が記録されている１１０２の
抽出用テンプレート辞書３とのパターンマッチングによ
り顔領域を入力画像から直接抽出する。１１０１の抽出
用ベクトル生成手段２では、本発明の第１の実施の形態
である個人照合装置と同様に、図７のようにK個の染色
体q_iは顔領域を抽出するために必要な矩形領域の中心
座標(x0(i),y0(i))、横画素数width(i)、縦画素数heigh
t(i)(i=0,1,...,K-1)よりなるパラメータ列ベクトルで
表現される。そして、染色体q_i(i=0,1,...,K-1)の表す
矩形領域(x0(i)-width(i)/2+1≦x≦x0(i)+width(i)/2,y
0(i)-height(i)/2+1≦y≦y0(i)+height(i)/2)をL=m×m
のモザイクブロックに荒く分割し、各ブロックk(k=0,
1,...,L-1)内の彩度S_xy(i)の平均値ecs(k,i)、明度V_x
y(i)の平均値ecv(k,i)、色相H_xy(i)の平均値ech(k,i)
の３つをこのブロックjの代表と見なし、抽出用ベクト
ルV_ec[i]を生成する。同様に、１１０２の抽出用テン
プレート辞書２内のテンプレートベクトルT_ec[j]の作
成時において、予め顔領域抽出のために用意されたN_sa
mple個の抽出用標本顔画像集合の中の顔画像lをL個のモ
ザイクブロックに分割し、各モザイクブロックk内の彩
度の平均値tecsd(k,l)、明度の平均値tecvd(k,l)、色相
の平均値techd(k,l)(k=0,1,...,L-1,l=0,1,...,N_sampl
e-1)の３つを要素に持つ(L×3)次元ベクトルT_ecd[l]=
(tecsd(0,l),tecvd(0,l),techd(0,l),...,tecsd(L-1,
l),tecvd(L-1,l),techd(L-1,l))を作成する。この作成
されたN_sample個のベクトルにベクトル量子化VQを適用
してN個の要素を持つ抽出用テンプレートベクトル集合T
_ec[j]=(tecs(0,j),tecv(0,j),tech(0,j),...,tecs(L-
1,j),tecv(L-1,j),tech(L-1,j))(j=0,1,...,N-1)を作成
する。このようにして得られた抽出用ベクトルと抽出用
テンプレート辞書２内のテンプレートベクトルのパター
ンマッチングを行い、遺伝的組み替え操作による抽出の
ための矩形領域の調整を繰り返すことにより、最適な顔
抽出領域が推定されるのである。The operation of the personal verification apparatus according to the third embodiment configured as described above will be described. For an image input from the image input unit 101, the color information calculation unit 102 calculates color information of hue, saturation, and brightness of each pixel in the input image. After that, the initial extraction area setting means 109 randomly sets K rectangular areas in the input image, and obtains (L × 3) dimensions obtained from each rectangular area generated by the extraction vector generating means 2 in 1101. Extraction vector V_
ec [i] = (ecs (0, i), ecv (0, i), ech (0, i), ....., ecs (L-1,
i), ecv (L-1, i), ech (L-1, i)), and N (L × 3) generated from a sample face image set for face extraction prepared in advance
Dimension extraction template vector T_ec [j] = (tecs (0, j), t
ecv (0, j), tech (0, j), ..., tecs (L-1, j), tecv (L-1, j), tec
The face area is directly extracted from the input image by pattern matching with 1102 extraction template dictionaries 3 in which h (L-1, j)) (j = 0, 1,..., N-1) are recorded. . In the extraction vector generating means 2 1101, the K chromosomes q_i are rectangular regions necessary for extracting a face region as shown in FIG. 7 in the same manner as in the personal verification device according to the first embodiment of the present invention. Center coordinates (x0 (i), y0 (i)), horizontal pixel number width (i), vertical pixel number heigh
It is represented by a parameter column vector consisting of t (i) (i = 0, 1,..., K-1). Then, a rectangular region represented by chromosome q_i (i = 0, 1, ..., K-1) (x0 (i) -width (i) / 2 + 1 ≦ x ≦ x0 (i) + width (i) / 2, y
0 (i) -height (i) / 2 + 1 ≦ y ≦ y0 (i) + height (i) / 2) is L = m × m
Roughly divided into mosaic blocks of each block k (k = 0,
1, ..., L-1) average value of saturation S_xy (i) ecs (k, i), lightness V_x
Average value ecv (k, i) of y (i), average value ech (k, i) of hue H_xy (i)
Are regarded as representatives of this block j, and an extraction vector V_ec [i] is generated. Similarly, when creating a template vector T_ec [j] in the extraction template dictionary 2 of 1102, N_sa prepared in advance for face area extraction
The face image l in the set of sample face images for extraction is divided into L mosaic blocks, and the average chroma tecsd (k, l) and the average brightness tecvd (k , l), average hue techd (k, l) (k = 0,1, ..., L-1, l = 0,1, ..., N_sampl
(L-1) dimensional vector T_ecd [l] =
(tecsd (0, l), tecvd (0, l), techd (0, l), ..., tecsd (L-1,
l), tecvd (L-1, l), techd (L-1, l)). Applying vector quantization VQ to the created N_sample vectors, an extraction template vector set T having N elements
_ec [j] = (tecs (0, j), tecv (0, j), tech (0, j), ..., tecs (L-
1, j), tecv (L-1, j), tech (L-1, j)) (j = 0,1, ..., N-1). By performing pattern matching between the extraction vector thus obtained and the template vector in the extraction template dictionary 2, and repeatedly adjusting a rectangular area for extraction by a genetic rearrangement operation, an optimal face extraction area is obtained. It is presumed.
【００５９】このように本実施の形態では、入力画像か
ら、彩度、明度、色相の色情報をもとに抽出用ベクトル
を生成し、そのベクトルと予め用意された顔抽出用の標
本顔画像集合から得られた抽出用テンプレート辞書２内
のテンプレートベクトルとのパターンマッチングと、遺
伝的アルゴリズムによる切り出し矩形領域の調整を繰り
返し最適な顔領域の推定を行う。そのため、本発明の第
１、第２の実施の形態である個人照合装置に比べて、入
力画像から色情報により人物領域を切り出す際の彩度し
きい値th_s、色相範囲しきい値th_hを設定し２段階によ
る抽出処理を経る必要もなく、背景、照明条件等に影響
されないで自動的に顔領域を抽出することができ、その
効果は大きい。As described above, according to the present embodiment, an extraction vector is generated from an input image based on color information of saturation, lightness, and hue, and the vector and a previously prepared sample face image for face extraction are generated. Pattern matching with the template vector in the extraction template dictionary 2 obtained from the set and adjustment of the cut-out rectangular area by the genetic algorithm are repeated to estimate the optimal face area. Therefore, as compared with the personal verification devices according to the first and second embodiments of the present invention, the saturation threshold th_s and the hue range threshold th_h are set when a person area is cut out from an input image using color information. Then, the face area can be automatically extracted without being affected by the background, the lighting conditions, and the like, without having to go through a two-stage extraction process, and the effect is great.
【００６０】（第４の実施の形態）最後に本発明の第４
の実施の形態である個人照合装置について説明する。図
１２は第４の実施の形態である個人照合装置の構成を表
す。１２０１は抽出領域を表すパラメータ列ベクトルの
組み替え操作の繰り返し回数が予め設定された繰り返し
上限回数を越えたかどうかを判定し、越えていない場合
には、適合度の最も高い顔領域をマスクしてこれ以降こ
の領域に近い領域が選択されないようにする顔抽出領域
マスク手段であり、１２０２は顔抽出領域記録手段１１
４に記録されている複数の顔領域各々に対して、個人照
合のための照合用ベクトルを生成する多数照合用ベクト
ル生成手段であり、１２０３は照合用ベクトル生成手段
１０６で得られた複数の顔領域に対する照合用生成ベク
トルと、予め用意された照合用テンプレート辞書１０７
内の照合用テンプレートベクトルとを比較して、抽出さ
れた複数の人物の最終的な照合を行い照合結果の出力を
行う多数照合結果出力手段である。(Fourth Embodiment) Finally, the fourth embodiment of the present invention
A personal verification device according to the embodiment will be described. FIG. 12 shows the configuration of a personal verification apparatus according to the fourth embodiment. 1201 determines whether or not the number of repetitions of the reordering operation of the parameter column vector representing the extraction region exceeds a preset upper limit number of repetitions, and if not, masks the face region having the highest degree of matching, and Hereinafter, face extraction area masking means for preventing an area close to this area from being selected.
4 is a multi-comparison vector generation unit that generates a verification vector for personal verification with respect to each of the plurality of face regions recorded in No. 4. A generation vector for collation for an area and a template dictionary 107 for collation prepared in advance
This is a multi-comparison result output unit that compares the extracted template vectors with each other and performs final collation of the plurality of extracted persons and outputs a collation result.
【００６１】以上のように構成された第４の実施の形態
である個人照合装置の動作について説明する。画像入力
手段１０１から組み替え操作手段１１３における処理は
本発明の第１の実施の形態である個人照合装置の場合と
同様である。抽出領域評価手段１１２以降の処理手順
は、次のようになる。The operation of the personal verification apparatus according to the fourth embodiment configured as described above will be described. The processing from the image input unit 101 to the rearrangement operation unit 113 is the same as in the case of the personal verification device according to the first embodiment of the present invention. The processing procedure after the extraction area evaluation unit 112 is as follows.
【００６２】[i]最小適合度f_minが顔領域判断基準f_th
より小さく、染色体集合更新回数g_numが予め設定され
た繰り返し上限回数g_num_max以下の場合、顔抽出領域
記録手段１０６で最小適合度f_minをとる矩形領域内画
像が記録され、顔抽出領域マスク手段１２０１に処理が
移る。１２０１では、最小適合度f_minを取る矩形領域
内がカラー信号r_xy=0、g_xy=0、b_xy=0でマスキングさ
れる。こうすることにより、次以降の顔領域探索でこの
矩形領域近傍が続けて選択されることを避けることがで
きる。そして、組み替え操作手段１１３へ処理が移る。[I] The minimum fitness f_min is the face area judgment criterion f_th
If the number is smaller and the chromosome set update count g_num is equal to or less than a preset upper limit count g_num_max, the face extraction area recording means 106 records an image in a rectangular area having the minimum fitness f_min, and the face extraction area mask means 1201 processes the image. Moves. At 1201, the inside of a rectangular area having the minimum fitness f_min is masked with color signals r_xy = 0, g_xy = 0, and b_xy = 0. By doing so, it is possible to avoid that the vicinity of the rectangular area is continuously selected in the subsequent face area search. Then, the process proceeds to the rearrangement operation means 113.
【００６３】[ii]最小適合度f_minが顔領域判断基準f_t
hより大きく、かつ染色体集合更新回数g_numが予め設定
された繰り返し上限回数g_num_max以下の場合、組み替
え操作手段１１３へ処理が移る。[Ii] The minimum fitness f_min is the face area determination criterion f_t
If it is greater than h and the chromosome set update count g_num is equal to or less than the preset maximum number of repetitions g_num_max, the process proceeds to the recombination operation unit 113.
【００６４】[iii]最小適合度f_minが顔領域判断基準f_
thより大きく、かつ染色体集合更新回数g_numが予め設
定された繰り返し上限回数g_num_maxを超えた場合に
は、顔領域抽出処理を終え、照合用ベクトル生成手段１
０６へ処理が移る。なお、この際、顔抽出領域記録手段
１１４に１つも記録されていない場合には、顔領域は入
力画像中に存在しないとして個人照合を終える。[Iii] The minimum fitness f_min is the face area determination criterion f_
If th is greater than th and the chromosome set update count g_num exceeds a preset maximum number of iterations g_num_max, the face area extraction processing is terminated and the matching vector generation unit 1
The process moves to 06. If no face area is recorded in the face extraction area recording means 114 at this time, the face matching is determined not to exist in the input image, and the personal verification is terminated.
【００６５】多数照合用ベクトル生成手段１２０２で
は、１１４に記録されているt個の顔抽出領域全てに対
して、照合用ベクトルV_r[l](l=0,1,...,t-1)を生成す
る。各照合用ベクトル生成方法は本発明の第１の実施の
形態である個人照合装置の場合と同様である。多数照合
結果出力手段１２０３では、１２０２で生成されたt個
の個人照合用のための照合用ベクトルV_r[l](l=0,
1,...,t-1)を、予め用意された個人照合のための標本顔
画像集合より生成された照合用テンプレート辞書１０７
内の照合用テンプレートベクトルT_r[k](k=0,1,...,P-
1)との間の２乗距離をもとに個人照合を行い、全ての顔
抽出画像に対して個人照合を行うのである。その際の照
合方法は本発明の第１の実施の形態である個人照合装置
と同様である。The multi-check vector generating means 1202 compares the check vectors V_r [l] (l = 0, 1,..., T−1) for all t face extraction areas recorded in 114. ) Is generated. Each matching vector generating method is the same as that of the personal matching device according to the first embodiment of the present invention. In the multiple matching result output unit 1203, the matching vector V_r [l] (l = 0,
1,..., T-1) are compared with a template dictionary 107 for collation generated from a set of sample face images for personal collation prepared in advance.
Template vector T_r [k] (k = 0,1, ..., P-
Individual matching is performed based on the squared distance between 1), and individual matching is performed on all face extracted images. The matching method at this time is the same as that of the personal matching device according to the first embodiment of the present invention.
【００６６】このように本実施の形態によれば、入力画
像中に多数人物が写っていても、一度検出された顔抽出
領域をマスクしその近傍を選択できないようにしている
ため、複数の顔領域を比較的簡単に抽出し照合すること
ができ、その効果は大きい。なお、本発明の第１から第
４の実施の形態である個人照合装置の遺伝的アルゴリズ
ム処理手段１０５において、抽出に必要な矩形領域の中
心座標(x0(i),y0(i))、横画素数width(i)、縦画素数hei
ght(i)(i=0,1,...,K-1)よりなるパラメータ列ベクトル
を染色体として適用したが、これに矩形領域の縦画素方
向における対称軸を考えその対称軸の左周りを正にして
傾き角度αを設定し、これを先ほどのパラメータ列ベク
トルに加えることにより、傾いた顔領域の抽出にも適用
することができる。その場合、各抽出矩形領域の適合度
を計算する際に、矩形領域の重心点を基準にして角度-
αだけ矩形領域内画像を回転させることにより、抽出用
テンプレート辞書や照合用テンプレート辞書とのマッチ
ングを行うことができる。As described above, according to the present embodiment, even if a large number of persons are present in the input image, the face extraction region once detected is masked so that the vicinity thereof cannot be selected. The region can be extracted and collated relatively easily, and the effect is great. In the genetic algorithm processing means 105 of the personal verification device according to the first to fourth embodiments of the present invention, the central coordinates (x0 (i), y0 (i)) of the rectangular area necessary for extraction, Number of pixels width (i), number of vertical pixels hei
ght (i) (i = 0,1, ..., K-1) was used as a chromosome, and the symmetric axis in the vertical pixel direction of the rectangular area was considered. Is set to be positive, and the tilt angle α is set, and this is added to the parameter column vector described above, whereby the present invention can be applied to the extraction of a tilted face region. In that case, when calculating the fitness of each extracted rectangular area, the angle-
By rotating the image in the rectangular area by α, matching with the extraction template dictionary and the collation template dictionary can be performed.
【００６７】また、本発明の第１から第４の実施の形態
である個人照合装置の抽出領域評価手段や照合結果出力
手段において、抽出用ベクトルと抽出用テンプレートベ
クトルとのマッチングや、照合用ベクトルと照合用テン
プレートベクトルとのマッチングを行う場合に、これら
のベクトルのなす角度θした時のcosθを用いることも
考えられる。Further, in the extraction area evaluating means and the matching result output means of the personal matching device according to the first to fourth embodiments of the present invention, the matching between the extraction vector and the extraction template vector, the matching vector, When performing matching between the vector and the template vector for collation, it is conceivable to use cos θ at the angle θ formed by these vectors.
【００６８】さらに、照合用ベクトル生成手段は、得ら
れた顔領域画像を複数のモザイクブロックに分割し、各
ブロック内の輝度値の平均値より生成されるモザイク特
徴量ベクトルを生成したが、得られた顔領域画像を複数
のモザイクブロックに分割し、各ブロック内の輝度値の
平均値より生成されるモザイク特徴量ベクトルを生成す
る方法も可能である。例えば、得られた顔領域画像に対
して２次元フーリエ変換して得られるパワースペクトル
において、個人差を見分ける情報を多く含む低周波数領
域成分を強め、逆にノイズ等の局所的に存在する影響を
うける高周波数領域成分を弱めるように重み付けして照
合用ベクトルを生成することが考えられる。Further, the matching vector generating means divides the obtained face area image into a plurality of mosaic blocks and generates a mosaic feature amount vector generated from an average value of the luminance values in each block. It is also possible to divide the obtained face region image into a plurality of mosaic blocks and generate a mosaic feature amount vector generated from an average value of the luminance values in each block. For example, in a power spectrum obtained by performing a two-dimensional Fourier transform on the obtained face region image, a low-frequency region component including a large amount of information for identifying individual differences is strengthened, and conversely, the influence of noise or the like that exists locally is reduced. It is conceivable to generate a matching vector by weighting the received high frequency region components so as to weaken them.
【００６９】[0069]
【発明の効果】以上のように本発明の第１から第４の個
人照合装置は、入力画像の背景、照明条件、顔の大きさ
等の画像入力時における環境の影響を受けないで頑健な
顔領域のみを抽出することを可能にする個人照合装置に
関するものであり、背景、画像中における顔領域の大き
さ、照明条件等に影響されないで安定した個人照合を簡
単な構造で実現することが可能である。As described above, the first to fourth personal verification devices of the present invention are robust without being affected by the environment at the time of image input, such as the background of the input image, the lighting conditions, and the size of the face. The present invention relates to a personal collation device capable of extracting only a face region, and realizes stable personal collation with a simple structure without being affected by the background, the size of the face region in an image, lighting conditions, and the like. It is possible.
【図１】本発明の第１の実施の形態における個人照合装
置の構成を表すブロック図FIG. 1 is a block diagram illustrating a configuration of a personal verification device according to a first embodiment of the present invention.
【図２】本発明の第１の実施の形態における個人照合装
置の組み替え操作手段の構成を表すブロック図FIG. 2 is a block diagram illustrating a configuration of a re-arrangement operation unit of the personal verification device according to the first embodiment of the present invention.
【図３】HSV表色系モデルの概念図FIG. 3 is a conceptual diagram of an HSV color system model.
【図４】入力画像から人物領域を抽出する手法の概念図FIG. 4 is a conceptual diagram of a method for extracting a person region from an input image.
【図５】低彩度領域を除いた領域における色相ヒストグ
ラム例を表す図FIG. 5 is a diagram illustrating an example of a hue histogram in a region excluding a low chroma region.
【図６】組み替え操作手段で行われる交叉、突然変異処
理の概念図FIG. 6 is a conceptual diagram of crossover and mutation processing performed by the rearrangement operation means.
【図７】顔抽出矩形領域と遺伝的アルゴリズムにおける
染色体構造の関係を表す概念図FIG. 7 is a conceptual diagram showing a relationship between a face extraction rectangular area and a chromosome structure in a genetic algorithm.
【図８】淘汰選択に用いられるルーレット選択方式を説
明するための図FIG. 8 is a diagram for explaining a roulette selection method used for selection selection;
【図９】顔画像抽出例を表す図FIG. 9 is a diagram showing an example of extracting a face image.
【図１０】本発明の第２の実施の形態における個人照合
装置の構成を表すブロック図FIG. 10 is a block diagram illustrating a configuration of a personal verification device according to a second embodiment of the present invention.
【図１１】本発明の第３の実施の形態における個人照合
装置の構成を表すブロック図FIG. 11 is a block diagram illustrating a configuration of a personal verification device according to a third embodiment of the present invention.
【図１２】本発明の第４の実施の形態における個人照合
装置の構成を表すブロック図FIG. 12 is a block diagram illustrating a configuration of a personal verification device according to a fourth embodiment of the present invention.
１０１ 画像入力手段 １０２ 色情報計算手段 １０３ 人物領域抽出手段 １０４ 輝度補正手段 １０５ 遺伝的アルゴリズム処理手段 １０６ 照合ベクトル生成手段 １０７ 照合用テンプレート辞書 １０８ 照合結果出力手段 １０９ 初期抽出領域設定手段 １１０ 抽出用ベクトル生成手段 １１１ 抽出用テンプレート辞書 １１２ 抽出領域評価手段 １１３ 組み替え操作手段 １１４ 顔抽出領域記録手段 ２０１ 候補選択手段 ２０２ 交叉処理手段 ２０３ 突然変異処理手段 ２０４ 選択範囲導出手段 ２０５ 乱数発生手段 ２０６ パラメータ列ベクトル選択手段 １００１ 抽出用テンプレート辞書２ １００２ 最適抽出グループ記録手段 １００３ 照合用テンプレート選択手段 １００４ 照合結果出力手段２ １１０１ 抽出用ベクトル生成手段２ １１０２ 抽出用テンプレート辞書３ １２０１ 顔抽出領域マスク手段 １２０２ 多数照合結果出力手段 Reference Signs List 101 image input means 102 color information calculation means 103 person area extraction means 104 luminance correction means 105 genetic algorithm processing means 106 verification vector generation means 107 verification template dictionary 108 verification result output means 109 initial extraction area setting means 110 extraction vector generation Means 111 Extraction template dictionary 112 Extraction area evaluation means 113 Recombination operation means 114 Face extraction area recording means 201 Candidate selection means 202 Crossover processing means 203 Mutation processing means 204 Selection range derivation means 205 Random number generation means 206 Parameter column vector selection means 1001 Extraction template dictionary 2 1002 optimal extraction group recording means 1003 collation template selection means 1004 collation result output means 2 1101 extraction vector generation means 2 1102 Template dictionary 3 1201 face extraction region mask means 1202 number verification result output means for output
Claims (7)
行う画像入力手段と、入力画像の色情報を計算する色情
報計算手段と、前記色情報計算手段で得られた色情報を
もとに大まかに人物領域を抽出する人物領域抽出手段
と、前記抽出された人物領域内の輝度の偏りを補正する
輝度補正手段と、人物領域内から顔領域を抽出するため
に必要なパラメータ列の集団を設定する初期抽出領域設
定手段と、前記設定された抽出領域内の輝度値から各領
域評価に用いる抽出用ベクトルを生成する抽出用ベクト
ル生成手段と、顔領域を抽出するために予め用意された
抽出用標本顔画像集合から生成された抽出用テンプレー
トベクトルを格納する抽出用テンプレート辞書と、前記
抽出用ベクトル生成手段で求められた抽出用ベクトルと
前記抽出用テンプレート辞書内の抽出用テンプレートベ
クトルとを比較し、その適合度を評価する抽出領域評価
手段と、前記抽出領域評価手段で得られた適合度が予め
設定された顔領域判断基準を満足しない場合に、その適
合度をもとに抽出を行う際に必要としたパラメータ列の
記号的な組み替え操作を行う組み替え操作手段と、前記
顔領域判断基準を満足する場合に、顔領域抽出処理を終
了して、最適な抽出領域を顔領域として記録する顔抽出
領域記録手段と、前記顔抽出領域記録手段に記録された
顔領域より個人照合に使用される照合用ベクトルを生成
する照合用ベクトル作成手段と、予め用意された照合用
標本顔画像集合より生成された照合用テンプレートベク
トルを格納する照合用テンプレート辞書と、前記得られ
た照合用ベクトルと前記照合用テンプレート辞書内の照
合用テンプレートベクトルとを比較して、最終的な人物
照合を行い照合結果の出力を行う照合結果出力手段より
構成されることを特徴とする個人照合装置。An image input means for inputting an image including a face image of a target person, a color information calculating means for calculating color information of the input image, and a color information obtained by the color information calculating means. A person area extracting means for roughly extracting a person area, a luminance correcting means for correcting a luminance bias in the extracted person area, and a parameter sequence necessary for extracting a face area from the person area. Initial extraction area setting means for setting a group, extraction vector generation means for generating an extraction vector used for each area evaluation from the luminance value in the set extraction area, and an extraction vector preparation means for extracting a face area are provided in advance. An extraction template dictionary for storing an extraction template vector generated from a set of extracted sample face images, an extraction vector determined by the extraction vector generation means, and the extraction template. Comparing the extraction template vector in the dictionary and extracting area evaluation means for evaluating the degree of adaptation, and when the degree of adaptation obtained by the extraction area evaluation means does not satisfy a predetermined face area determination criterion. A rearrangement operation means for performing a symbolic rearrangement operation of a parameter string required when performing extraction based on the degree of matching, and, when the face area determination criterion is satisfied, ending the face area extraction processing. A face extraction area recording means for recording an optimal extraction area as a face area, and a matching vector creating means for generating a matching vector used for personal matching from the face area recorded in the face extraction area recording means, A collation template dictionary for storing collation template vectors generated from a collation sample face image set prepared in advance, the obtained collation vector and the collation template By comparing the matching template vectors in over preparative dictionary, personal verification apparatus characterized by being composed of the verification result output means for outputting the final person verification was carried out verification result.
行う画像入力手段と、入力画像の色情報を計算する色情
報計算手段と、前記色情報計算手段で得られた色情報を
もとに大まかに人物領域を抽出する人物領域抽出手段
と、前記抽出された人物領域内の輝度の偏りを補正する
輝度補正手段と、人物領域内から顔領域を抽出するため
に必要なパラメータ列の集団を設定する初期抽出領域設
定手段と、前記設定された抽出領域内の輝度値から各領
域評価に用いるための抽出用ベクトルを生成する抽出用
ベクトル生成手段と、顔領域を抽出するために予め用意
された抽出用標本顔画像集合から生成された抽出用テン
プレートベクトルを格納する抽出用テンプレート辞書
と、前記抽出用ベクトル生成手段で求められた抽出用ベ
クトルと前記抽出用テンプレート辞書内の抽出用テンプ
レートベクトルとを比較し、その適合度を評価する抽出
領域評価手段と、前記抽出領域評価手段で得られた適合
度が予め設定された顔領域判断基準を満足しない場合
に、その適合度をもとに、抽出を行う際に必要としたパ
ラメータ列の記号的な組み替え操作を行う組み替え操作
手段と、前記顔領域判断基準を満足する場合に、最適な
抽出領域を顔領域として記録する顔抽出領域記録手段
と、前記顔抽出領域記録手段に記録された最適な抽出領
域に対応する抽出用ベクトルとの適合度が最も高い抽出
用テンプレートベクトルに属する顔画像グループを記録
する最適抽出グループ記録手段と、予め用意された照合
用標本顔画像集合より生成された照合用テンプレートベ
クトルを格納する照合用テンプレート辞書と、前記最適
抽出グループ記録手段に記録されている顔画像グループ
に該当する照合用テンプレートベクトルを前記照合用テ
ンプレート辞書より選択する照合用テンプレート選択手
段と、得られた顔領域より照合用ベクトルを生成する照
合ベクトル作成手段と、前記得られた照合用ベクトルと
前記照合用テンプレート選択手段により選択された照合
用テンプレートベクトルとを比較して、最終的な人物照
合を行い照合結果の出力を行う照合結果出力手段より構
成されることを特徴とする個人照合装置。2. An image input means for inputting an image including a face image of a target person, a color information calculating means for calculating color information of the input image, and a color information obtained by the color information calculating means. A person area extracting means for roughly extracting a person area, a luminance correcting means for correcting a luminance bias in the extracted person area, and a parameter sequence necessary for extracting a face area from the person area. Initial extraction area setting means for setting a group; extraction vector generation means for generating an extraction vector for use in each area evaluation from the luminance values in the set extraction area; and an extraction vector generation means for extracting a face area in advance. An extraction template dictionary for storing an extraction template vector generated from the prepared sample face image set for extraction, an extraction vector obtained by the extraction vector generating means and the extraction template Comparing the extraction template vector in the plate dictionary with an extraction area evaluation means for evaluating the degree of adaptation, and when the degree of adaptation obtained by the extraction area evaluation means does not satisfy a preset face area determination criterion. Based on the degree of conformity, a rearrangement operation means for performing a symbolic rearrangement operation of a parameter sequence required for extraction, and, when the face area determination criterion is satisfied, an optimum extraction area is set to a face area. The face extraction group recording means that records the face image group belonging to the extraction template vector having the highest matching degree with the extraction vector corresponding to the optimal extraction area recorded in the face extraction area recording means. An extraction group recording unit, a collation template dictionary storing collation template vectors generated from a collation sample face image set prepared in advance, A matching template selecting unit that selects a matching template vector corresponding to a face image group recorded in the optimal extraction group recording unit from the matching template dictionary; and a collation that generates a matching vector from the obtained face area. A vector creation unit, a comparison result output unit that compares the obtained comparison vector with the comparison template vector selected by the comparison template selection unit, performs final person verification, and outputs a verification result. A personal verification device characterized by comprising:
行う画像入力手段と、入力画像の色情報を計算する色情
報計算手段と、入力画像から顔領域を抽出するために必
要なパラメータ列の集団を設定する初期抽出領域設定手
段と、前記設定された抽出領域内の色情報から各領域評
価に使用する抽出用ベクトルを生成する抽出用ベクトル
生成手段と、顔領域を抽出するために予め用意された抽
出用標本顔画像集合から生成された抽出用テンプレート
ベクトルを格納する抽出用テンプレート辞書と、前記抽
出用ベクトル生成手段で求められた抽出用ベクトルと前
記抽出用テンプレート辞書内の抽出用テンプレートベク
トルとを比較し、その適合度を評価する抽出領域評価手
段と、前記抽出領域評価手段で得られた適合度が予め設
定された顔領域判断基準を満足しない場合に、その適合
度をもとに、抽出を行う際に必要としたパラメータ列の
記号的な組み替え操作を行う組み替え操作手段と、前記
顔領域判断基準を満足する場合に、顔領域抽出処理を終
了して最適な抽出領域を顔領域として記録する顔抽出領
域記録手段と、前記顔抽出領域記録手段で記録された顔
領域より照合用ベクトルを生成する照合用ベクトル作成
手段と、予め用意された照合用標本顔集合より生成され
た照合用テンプレートベクトルを格納する照合用テンプ
レート辞書と、前記得られた照合用ベクトルと前記照合
用テンプレート辞書内の照合用テンプレートベクトルと
を比較して、最終的な人物照合を行い照合結果の出力を
行う照合結果出力手段より構成されることを特徴とする
個人照合装置。3. An image input means for inputting an image including a face image of a target person, a color information calculating means for calculating color information of the input image, and a parameter required for extracting a face region from the input image. Initial extraction area setting means for setting a group of columns; extraction vector generation means for generating extraction vectors used for each area evaluation from the color information in the set extraction areas; and extracting a face area. An extraction template dictionary for storing an extraction template vector generated from a set of extraction sample face images prepared in advance; an extraction vector determined by the extraction vector generation means; and an extraction template in the extraction template dictionary. An extraction area evaluation unit that compares the template vector with the template vector and evaluates the degree of adaptation; and a face area determination unit that sets the degree of adaptation obtained by the extraction area evaluation unit in advance. When the criterion is not satisfied, based on the degree of conformity, a rearrangement operation means for performing a symbolic rearrangement operation of a parameter string required for extraction, and a face when the face area determination criterion is satisfied, Face extraction area recording means for ending the area extraction processing and recording the optimal extraction area as a face area; collation vector creation means for generating a collation vector from the face area recorded by the face extraction area recording means; A comparison template dictionary that stores a template vector for comparison generated from a set of sample faces for comparison prepared in advance, and a comparison between the obtained comparison vector and the template vector for comparison in the comparison template dictionary. And a collation result output means for performing final person collation and outputting a collation result.
行う画像入力手段と、入力画像の色情報を計算する色情
報計算手段と、前記色情報計算手段で得られた色情報を
もとに大まかに人物領域を抽出する人物領域抽出手段
と、前記抽出された人物領域内の輝度の偏りを補正する
輝度補正手段と、人物領域内から顔領域を抽出するため
に必要なパラメータ列の集団を設定する初期抽出領域設
定手段と、前記設定された抽出領域内の輝度値から各領
域の評価に用いるための抽出用ベクトルを生成する抽出
用ベクトル生成手段と、顔領域を抽出するために予め用
意された抽出用標本顔画像集合から生成された抽出用テ
ンプレートベクトルを格納する抽出用テンプレート辞書
と、前記抽出用ベクトル生成手段で求められた各顔抽出
領域に対応する抽出用ベクトルと前記抽出用テンプレー
ト辞書内の抽出用テンプレートベクトルとを比較し、そ
の適合度を評価する抽出領域評価手段と、前記抽出領域
評価手段で得られた適合度が予め設定された顔領域判断
基準を満足しない場合に、その適合度をもとに、抽出を
行う際に必要としたパラメータ列の記号的な組み替え操
作を行う組み替え操作手段と、前記顔領域判断基準を満
足する場合に、適合度の最も高い顔領域を記録する複数
顔抽出領域記録手段と、パラメータ列の組み替え操作の
繰り返し回数が予め設定された繰り返し上限回数を越え
たかどうかを判定し、越えていない場合には、適合度の
最も高い顔領域をマスクしてこれ以降この領域に近い領
域が選択されないようにする顔抽出領域マスク手段と、
パラメータ列の組み替え操作の繰り返し回数が繰り返し
上限回数を越えた場合には、顔領域抽出処理を終了し
て、これまでに得られた複数の顔領域より照合用ベクト
ルを生成する多数照合用ベクトル作成手段と、予め用意
された照合用標本顔集合より生成された照合用テンプレ
ートベクトルを格納する照合用テンプレート辞書と、前
記得られた照合用ベクトルと前記照合用テンプレート辞
書内の照合用テンプレートベクトルとを比較して、抽出
された複数の人物の最終的な照合を行い照合結果の出力
を行う多数照合結果出力手段より構成されることを特徴
とする個人照合装置。4. An image input means for inputting an image including a face image of a target person, a color information calculating means for calculating color information of the input image, and a color information obtained by the color information calculating means. A person area extracting means for roughly extracting a person area, a luminance correcting means for correcting a luminance bias in the extracted person area, and a parameter sequence necessary for extracting a face area from the person area. Initial extraction area setting means for setting a group, extraction vector generation means for generating an extraction vector for use in evaluation of each area from luminance values in the set extraction area, and extraction of a face area An extraction template dictionary for storing extraction template vectors generated from a set of extraction sample face images prepared in advance, and extraction corresponding to each face extraction region obtained by the extraction vector generation means. An extraction area evaluation unit that compares the vector with an extraction template vector in the extraction template dictionary and evaluates the degree of adaptation; and a face area determination criterion in which the degree of adaptation obtained by the extraction area evaluation unit is set in advance. If not satisfied, based on the degree of conformity, a rearrangement operation means for performing a symbolic rearrangement operation of a parameter string required for extraction, and a degree of conformity when the face area determination criterion is satisfied. A plurality of face extraction area recording means for recording the face area having the highest number, and determining whether or not the number of repetitions of the reordering operation of the parameter string exceeds a preset upper limit number of repetitions. Face extraction area mask means for masking the highest face area so that an area near this area is not selected thereafter;
If the number of repetitions of the parameter string rearrangement operation exceeds the upper limit of the number of repetitions, the face area extraction process is terminated, and a number of matching vectors are generated from a plurality of face areas obtained so far. Means, a matching template dictionary storing a matching template vector generated from a prepared sample face set for matching, and the obtained matching vector and a matching template vector in the matching template dictionary. A personal matching device, comprising a plurality of matching result output means for performing a final matching of a plurality of extracted persons and outputting a matching result.
択淘汰に代表される遺伝的な演算処理を行う遺伝的アル
ゴリズムが用いられることを特徴とする請求項１から４
のいずれかに記載の個人照合装置。5. The recombining operation means uses a genetic algorithm for performing a genetic operation represented by crossover, mutation, and selection.
The personal verification device according to any one of the above.
域画像を複数のモザイクブロックに分割し、各ブロック
内の輝度値の平均値より生成されるモザイク特徴量ベク
トルを生成することを特徴とする請求項１から４のいず
れかに記載の個人照合装置。6. A collation vector generation unit divides the obtained face area image into a plurality of mosaic blocks, and generates a mosaic feature amount vector generated from an average value of luminance values in each block. The personal verification device according to any one of claims 1 to 4, wherein
域画像に直交変換法を適用して、顔画像を２次元の周波
数スペクトルに変換し、その周波数スペクトルに重み付
けして照合用ベクトルを生成することを特徴とする請求
項１から４のいずれかに記載の個人照合装置。7. A collation vector generating means applies an orthogonal transformation method to the obtained face area image, converts the face image into a two-dimensional frequency spectrum, and weights the frequency spectrum to generate a collation vector. The personal verification apparatus according to claim 1, wherein the personal verification apparatus generates the personal verification information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17086696A JPH1021394A (en) | 1996-07-01 | 1996-07-01 | Individual collating device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17086696A JPH1021394A (en) | 1996-07-01 | 1996-07-01 | Individual collating device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1021394A true JPH1021394A (en) | 1998-01-23 |
Family
ID=15912774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17086696A Pending JPH1021394A (en) | 1996-07-01 | 1996-07-01 | Individual collating device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1021394A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10301915A (en) * | 1997-04-28 | 1998-11-13 | Toshiba Corp | Parameter adjusting device and its method |
| JP2000082147A (en) * | 1998-09-05 | 2000-03-21 | Sharp Corp | Method for detecting human face and device therefor and observer tracking display |
| US6594375B1 (en) | 1998-09-28 | 2003-07-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| JP2008005083A (en) * | 2006-06-21 | 2008-01-10 | Mitsubishi Electric Corp | Imaging apparatus |
| US7321370B2 (en) | 2000-11-20 | 2008-01-22 | Nec Corporation | Method and apparatus for collating object |
| JP2010061599A (en) * | 2008-09-08 | 2010-03-18 | Sony Corp | Image processor, method, and program |
| EP2224402A2 (en) | 2003-07-11 | 2010-09-01 | Panasonic Corporation | Image display apparatus and short film generation apparatus |
| JP2013510379A (en) * | 2009-11-10 | 2013-03-21 | インジェニア・ホールディングス・（ユー・ケイ）・リミテッド | optimisation |
| US8896885B2 (en) | 2004-03-12 | 2014-11-25 | Ingenia Holdings Limited | Creating authenticatable printed articles and subsequently verifying them based on scattered light caused by surface structure |
| CN112689361A (en) * | 2018-12-29 | 2021-04-20 | 中国计量大学 | Integrative classroom scene formula self-adaptation lighting control device in kindergarten |
| US11380132B2 (en) | 2019-09-13 | 2022-07-05 | Fujitsu Limited | Face image processing apparatus and face image processing method |
-
1996
- 1996-07-01 JP JP17086696A patent/JPH1021394A/en active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10301915A (en) * | 1997-04-28 | 1998-11-13 | Toshiba Corp | Parameter adjusting device and its method |
| JP2000082147A (en) * | 1998-09-05 | 2000-03-21 | Sharp Corp | Method for detecting human face and device therefor and observer tracking display |
| US6594375B1 (en) | 1998-09-28 | 2003-07-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US7710431B2 (en) | 2000-11-20 | 2010-05-04 | Nec Corporation | Method and apparatus for collating object |
| US7932913B2 (en) | 2000-11-20 | 2011-04-26 | Nec Corporation | Method and apparatus for collating object |
| US7321370B2 (en) | 2000-11-20 | 2008-01-22 | Nec Corporation | Method and apparatus for collating object |
| US7593019B2 (en) | 2000-11-20 | 2009-09-22 | Nec Corporation | Method and apparatus for collating object |
| EP2224402A2 (en) | 2003-07-11 | 2010-09-01 | Panasonic Corporation | Image display apparatus and short film generation apparatus |
| US8896885B2 (en) | 2004-03-12 | 2014-11-25 | Ingenia Holdings Limited | Creating authenticatable printed articles and subsequently verifying them based on scattered light caused by surface structure |
| US9019567B2 (en) | 2004-03-12 | 2015-04-28 | Ingenia Holdings Limited | Methods and apparatuses for creating authenticatable printed articles and subsequently verifying them |
| JP2008005083A (en) * | 2006-06-21 | 2008-01-10 | Mitsubishi Electric Corp | Imaging apparatus |
| JP2010061599A (en) * | 2008-09-08 | 2010-03-18 | Sony Corp | Image processor, method, and program |
| JP4623388B2 (en) * | 2008-09-08 | 2011-02-02 | ソニー株式会社 | Image processing apparatus and method, and program |
| US8390884B2 (en) | 2008-09-08 | 2013-03-05 | Sony Corporation | Apparatus and method for image processing, and program |
| JP2013510379A (en) * | 2009-11-10 | 2013-03-21 | インジェニア・ホールディングス・（ユー・ケイ）・リミテッド | optimisation |
| US8892556B2 (en) | 2009-11-10 | 2014-11-18 | Ingenia Holdings Limited | Optimisation |
| CN112689361A (en) * | 2018-12-29 | 2021-04-20 | 中国计量大学 | Integrative classroom scene formula self-adaptation lighting control device in kindergarten |
| US11380132B2 (en) | 2019-09-13 | 2022-07-05 | Fujitsu Limited | Face image processing apparatus and face image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7643671B2 (en) | Facial recognition system and method | |
| JP4543423B2 (en) | Method and apparatus for automatic object recognition and collation | |
| JPH1153525A (en) | Facial organ detector and medium | |
| US7848544B2 (en) | Robust face registration via multiple face prototypes synthesis | |
| JPH1055444A (en) | Recognition of face using feature vector with dct as base | |
| CN109840567B (en) | Robust discriminant feature extraction method based on optimal collaborative representation | |
| JPH1021394A (en) | Individual collating device | |
| CN108564061A (en) | A kind of image-recognizing method and system based on two-dimensional principal component analysis | |
| CN110555386A (en) | Face recognition identity authentication method based on dynamic Bayes | |
| Thepade et al. | Face gender recognition using multi layer perceptron with OTSU segmentation | |
| Yadav et al. | An improved hybrid illumination normalisation and feature extraction model for face recognition | |
| Anggraini | Face recognition using principal component analysis and self organizing maps | |
| KR101174103B1 (en) | A face recognition method of Mathematics pattern analysis for muscloskeletal in basics | |
| Sahbi et al. | Coarse to fine face detection based on skin color adaption | |
| Mohamed et al. | Automated face recogntion system: Multi-input databases | |
| Ali et al. | Individual recognition with deep earprint learning | |
| CN110378414B (en) | Multi-mode biological characteristic fusion identity recognition method based on evolution strategy | |
| CN116342968B (en) | Dual-channel face recognition method and device | |
| Karungaru et al. | Face recognition in colour images using neural networks and genetic algorithms | |
| Curran et al. | The use of neural networks in real-time face detection | |
| Tsapatsoulis et al. | Face extraction from non-uniform background and recognition in compressed domain | |
| Anjum et al. | A new approach to face recognition using dual dimension reduction | |
| Fu et al. | Face detection and eye localization by neural network based color segmentation | |
| Suvorov et al. | Mathematical model of the biometric iris recognition system | |
| Ali et al. | Development of a enhanced ear recognition system for personal identification |