JP2001338293A - 画像照合処理システム - Google Patents

Abstract

(57)【要約】 【課題】 取り込んだ認識対象物体画像に対して抽象的
な概念レベルでの認識・画像照合処理が実行できる画像
照合処理システムを提供する。 【解決手段】 人の顔画像など抽象概念を指定する。当
該抽象概念レベルに属する複数の異なるモデル画像５０
０〜５２０を集めた抽象モデル画像セットと、認識対象
が写り込んだ認識対象画像６００を取り込む。両者とも
画像中の特徴点を抽出して局所窓画像領域を切り出し、
必要に応じてＤＣＴ係数を間引いて低次元空間に圧縮す
る。投影空間に対して各窓画像領域の画像情報を投影し
（７００〜７２０）、両者の投影点のうち対応し合うも
のを探索してそれらのずれの相対位置を基に投票空間に
投票し（８００〜８２０）、さらにこの結果を重畳して
重畳投票結果８４０を得る。ピークが現れれば、認識対
象画像中に指定された抽象概念に属する物体があると判
断する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等の画像入
力装置から入力された認識対象を含む画像と、予め登録
済みの対象画像を比較照合することにより、入力画像中
に存在する対象を特定する画像照合処理に関する。本発
明の画像照合処理システムは、人物や工業製品等の任意
の２次元又は３次元形状の物体の認識処理に適用するこ
とが可能である。

【０００２】

【従来の技術】画像処理を必要とするアプリケーション
が広まりつつある中、カメラ等の画像入力装置から取り
込んだ画像を基に写りこんだ人物や商品などの３次元対
象物を切り出して認識・照合する技術が必要とされてい
る。撮影画像中の認識対象を認識する技術のうち、優れ
た技術の一つとして、局所固有空間法（Eigen-Window
法）を用いた画像照合処理技術や、局所固有空間法を更
に改良した画像処理技術として局所固有空間法の画像特
徴量を離散コサイン変換（Discrete Cosine Transfor
m：以下、ＤＣＴと略記する）係数に変更した画像照合
処理技術（以下、改良局所固有空間法を用いた画像照合
処理技術と呼ぶ）が挙げられる。

【０００３】以下に、従来の画像照合処理技術として、
改良局所固有空間法を用いた画像照合処理技術を説明す
る。一例として人物の顔画像を認識・照合する場合を挙
げて説明する。

【０００４】この改良局所固有空間法を用いた画像照合
処理は、画像照合に用いるモデルを作成する「登録フェ
ーズ」と、入力画像の認識対象に対して認識・照合処理
を実行する「認識フェーズ」からなる。

【０００５】まず、「登録フェーズ」の処理手順を図２
２のフローチャートを参照しつつ示す。この登録フェー
ズでは、認識・照合したい２次元又は３次元物体、つま
りここでは認識したい人物の顔画像の基本姿勢画像（正
面向きなど）を照合用モデルとして生成、整理して登録
する。

【０００６】（１）モデル画像とする人物顔画像を取得
する（ステップＳ２２０１）。正面顔画像の撮影画像デ
ータを外部からファイル形式で入力しても良く、このよ
うなデータがない場合にはカメラなど画像入力装置を介
して登録する人物の正面顔画像を撮影して取り込む。こ
こでは一例として図２４（ａ）に示したモデル画像を取
得したとする。

【０００７】（２）取り込んだモデル画像から、画像の
特徴点を検出する（ステップＳ２２０２）。特徴点は何
らかの指標を用いて検出・選択する。例えば、画像の表
面模様であるテクスチャの複雑さに関する指標を表わす
テクスチャ度がしきい値以上に大きい点、エッジ強度
（エッジ成分に関する指標）がしきい値以上に大きい
点、色情報が所定範囲内にある点など画像上の一種の特
異点を選択する方式がある。また、取り込み画像中の認
識対象に対する知識を利用してそれらの重要部分（目や
口など特徴的な部分）を選択する方式等が考えられる。
図２５においてモデル画像の顔画像上に付された点は特
徴点を簡易的に表わしたものである。

【０００８】（３）選択された特徴点を基に当該特徴点
を囲む小さい領域、例えば矩形の局所領域を窓画像とし
て選択する（ステップＳ２２０３）。それら特徴点の周
辺の局所領域を窓画像としてそれぞれ選択する。例え
ば、１５ドット×１５ドットの小正方形とする。

【０００９】（４）選択した窓画像を識別に有効となる
低次元空間に圧縮し、各モデル画像毎にモデルとして整
理して保持する（ステップＳ２２０４）。この低次元空
間への圧縮方法には局所固有空間法（Eigen-Window法）
を用いる方法もあるが、ここでは、窓画像データからＤ
ＣＴ係数を計算し、直流成分を除いて低周波の係数を適
度に選択することによって低次元空間に圧縮する方式を
採る。改良局所固有空間法ではこのＤＣＴによる圧縮方
式を用いる。例えば、原画像である窓画像が１５ドット
×１５ドットとすると２２５次元であるが、ＤＣＴ係数
を計算し、直流成分を除いて画像の特徴を良く表わす低
周波の係数を２０個選択して２０次元空間に圧縮する。
図２５はこの投影される様子を簡易的に表わしたもので
ある。

【００１０】（５）このステップＳ２２０４の低次元空
間圧縮をすべての窓画像に対して実行し、それらデータ
を画像照合用モデルデータとして登録・管理する（ステ
ップＳ２２０５）。

【００１１】以上の登録フェーズの処理ステップによ
り、登録する人物の顔画像から低次元の画像照合用モデ
ルを生成、整理して登録する。

【００１２】次に、「認識フェーズ」の処理手順を図２
３のフローチャートを参照しつつ示す。

【００１３】（１）認識対象となる人物の顔画像が写り
こんだ人物顔画像を取得する（ステップＳ２３０１）。
正面顔画像の撮影画像データを外部からファイル形式で
入力しても良く、このようなデータがない場合にはカメ
ラなど画像入力装置を介して登録する人物の正面顔画像
を撮影して取り込む。入退室管理システムなどでは後者
の場合が多い。ここでは図２４（ｂ）に示した認識対象
となる画像を取り込んだものとする。

【００１４】（２）入力画像中から認識対象となる人物
顔画像を切り出す（ステップＳ２３０２）。この際、認
識対象となる人物の顔画像領域の位置を推定しても良
く、また、常に一定の矩形領域を切り出してもよい。人
物の顔画像領域の位置推定方法としては、肌領域を検出
することで顔画像領域と推定する方法が知られている。

【００１５】（３）切り出した認識対象顔画像から特徴
点を検出する（ステップＳ２３０３）。登録フェーズと
同様の指標を用いて特徴点を選択しても良く、また、よ
り適した他の指標を用いて特徴点の選択を実行しても良
い。

【００１６】（４）選択した特徴点を基にその局所領域
を窓画像として選択する（ステップＳ２３０４）。登録
フェーズと同様、例えば、１５ドット×１５ドットの小
正方形として選択する。図２５にこの様子を簡単に示し
た。

【００１７】（５）選択した窓画像を登録フェーズと同
一の低次元空間に圧縮する（ステップＳ２３０５）。こ
こでは、登録フェーズと同様、改良局所固有空間法を用
いて低次元空間に圧縮する方法を採り、原画像である窓
画像からＤＣＴ係数を計算し、直流成分を除いて画像の
特徴を良く表わす低周波の係数を２０個選択して２０次
元空間に圧縮する。

【００１８】（６）画像照合用モデルデータと認識対象
データを窓画像ごとに低次元空間である特徴空間内に投
影してゆく（ステップＳ２３０６）。図２５に投影され
る様子を簡単に示した。

【００１９】（７）低次元空間である特徴空間内での距
離が近い登録窓画像と認識対象窓画像のペアを見つけ、
窓画像の照合処理を行なう（ステップＳ２３０７）。

【００２０】（８）窓画像のペアの画像上での相対位置
を求め、投票マップ上の対応する格子に投票を行う（ス
テップＳ２３０８）。図２６にこの様子を簡単に示し
た。ここで、投票マップとは、モデル画像毎に用意した
平面を格子状に区切った投票空間であり、投票とは、投
票マップ上の格子に投票に応じた値を加算する処理であ
る。投票される格子位置は、窓画像のペアの画像上での
相対位置に応じて定められる。例えば、両者が全く同じ
位置にあれば相対位置は０となり投票マップの中心に投
票される。もし、登録モデルの顔画像と認識対象の顔画
像が同一人物のものであれば、目と目、口と口等、多く
の窓画像同士が正しく対応し合うため、それら対応し合
う窓画像同士の相対位置はほぼ一定となり、投票マップ
上の同じ格子位置に票が集中することとなる。一方、登
録モデルの顔画像と認識対象の顔画像が異なるものであ
れば、窓画像のうち、正しく対応し合わないものが増
え、それらの相対位置がいろいろなバラツキを持つた
め、投票マップ上の広い範囲に票が分散することとな
る。

【００２１】（９）最多得票数を持つ格子（以降ピーク
と呼ぶ）を見つけ、得票数をもとに登録モデルの顔画像
と認識対象の顔画像の類似度を算出し、この算出結果を
基準に画像認識・照合を行う（ステップＳ２３０９）。
また、ピークの位置から、登録物体が認識対象画像内の
どこにあるかを検出することができる。

【００２２】上記画像照合手法により、あらかじめ作成
したモデルを用い、入力画像中の物体が登録モデルの物
体と同一のものであるか否かを認識することができる。

【００２３】

【発明が解決しようとする課題】上記の改良局所固有空
間法を用いた画像照合手法は、優れている面が多いが、
次に示すような利用目的に対しては十分とは言えない面
が残されており、問題があった。

【００２４】第１の問題点は、抽象的な概念レベルでの
認識・画像照合が十分ではないという問題である。上記
に示した改良局所固有空間法をそのまま適用する場合、
入力画像中の認識対象物体と具体的な登録モデルの認識
対象とが同一であるか否かについては高い精度で画像照
合することは可能であるが、対象そのものが具体的にモ
デルと一致しているかを照合するもので、認識対象物体
が“人であるか”や“車であるか”などの抽象的な概念
レベルの認識・画像照合という利用目的には直接適用で
きなかった。抽象的な概念レベルでの認識・画像照合を
必要とするアプリケーションは数々想定される。例え
ば、撮影画像中から抽象レベルで指定された“人”や
“車”という注目物体を切り出したり、写り込んだそれ
らの数をカウントしたりする処理が必要とされるアプリ
ケーションなどである。従来の改良局所固有空間法をそ
のまま適用する場合、例えば、認識対象画像もモデル画
像も一般的な意味で顔画像であっても、異なる人物のも
のであれば、両者の部分画像領域のうち対応し合うもの
同士について、ある部分は類似している場合もあるが
（特徴空間内での距離が小さい）、他の部分は類似して
いない（特徴空間内での距離が大きい）ということが多
々ある（つまり、目は似ているが口は似ていない等）。
そのため、誤った対応が多くなり、従来手法では、投票
マップ上の広い範囲に票が分散し、期待されるピーク位
置への投票数が少なくなる。このように、“人である
か”や“車であるか”などの抽象的な概念レベルの認識
・画像照合ができなかった。

【００２５】次に、第２の問題として、認識対象物の切
り出し処理を自動実行するには不十分であるという点が
挙げられる。上記の抽象的な概念レベルでの認識・画像
照合が十分ではないという第１の問題は、見方を変えれ
ば、そういう抽象的な概念レベルで指定した認識対象物
が写り込んだ画像から認識対象画像の切り出しが自動的
に実行できないことを意味している。つまり、認識対象
物の切り出し処理を自動実行するには不十分であると言
える。なお、認識対象物の自動切り出し処理は、従来技
術で紹介した他の方法によっても不十分である。顔画像
の切り出しを例にとると、一つには色情報を分析して肌
領域を切り出す方法が知られているが、画像中に存在す
る肌領域は必ずしも顔領域には限らず、手や足や肩、胴
体が写り込んでいる場合も多くある。結局、顔領域のみ
を選択するために人手に頼らざるを得ない面があった。
他にはエッジ強度を検出して画像を切り出す方法が知ら
れているが、この方法で検出されるエッジは顔の輪郭の
みならず、顔以外の肩や胴や手足の輪郭や、写り込んだ
背景物の輪郭なども数多く検出され、やはり顔領域のみ
を選択するために人手に頼らざるを得ない面があった。

【００２６】第３の問題点は、登録モデルのサイズと撮
影画像中の認識対象物体のサイズの調整が必要となる
が、精度良く画像照合するためには要求される登録モデ
ルのデータ容量と画像照合処理時間を如何に低減するか
という問題があった。もっとも単純な方法を採れば、原
理的には登録物体ごとのあらゆるサイズの登録モデルを
作成し、保持・管理してすべての登録モデルと逐一画像
照合を実行すれば良いこととなるが、これでは登録モデ
ルのデータ容量が膨大となり、画像照合処理時間も膨大
となる。

【００２７】上記問題点に鑑み、本発明は、上記改良局
所固有空間法をさらに改良し、取り込んだ認識対象物体
画像に対して抽象的な概念レベルでの認識・画像照合処
理が実行できる画像照合処理システムを提供することを
目的とする。

【００２８】また、本発明は、人の顔画像など抽象概念
レベルで指定を受け、入力画像中に背景と併せて写り込
んでいる認識対象物体を認識し、当該画像領域部分を自
動的に切り出すことのできる画像照合処理システムを提
供することを目的とする。

【００２９】また、本発明は、撮影画像中の認識対象物
体の多様なサイズに対しても、画像照合処理を実行で
き、認識対象物体の画像サイズを推定し、安定した精度
を持って認識対象物体の画像照合処理を実行でき、か
つ、要求される登録モデルのデータ容量と画像照合処理
時間を低減することのできる画像照合処理システムを提
供することを目的とする。

【００３０】また、本発明は、撮影画像中に写り込んだ
認識対象物体の画像中の位置と大きさを推定し、当該領
域を切り出すことのできる画像照合処理システムを提供
することを目的とする。

【００３１】

【課題を解決するための手段】上記課題を解決するため
に、本発明の画像照合処理システムは、入力画像の中
に、指定された抽象概念に属する物体が写り込んでいる
か否かを画像照合により判断し、入力画像中に存在する
認識対象を同定する画像照合処理システムであって、共
通した抽象概念に属する１つ以上の異なるモデル画像を
集めた抽象モデル画像セットを入力するモデル画像入力
部と、認識対象物体が含まれる認識対象画像を入力する
認識対象画像入力部と、前記抽象モデル画像セットの画
像および前記認識対象画像を、画像の特徴を表す特徴空
間にその特徴量に応じてそれぞれ投影する投影部と、前
記モデル画像セットのモデル画像ごとに、前記特徴空間
内における当該モデル画像の投影点と前記認識対象画像
の投影点の距離から両者の類似度を評価し、各モデル画
像ごとの前記評価を重畳して評価をまとめる重畳投票部
と、前記重畳投票部による評価の重畳結果をもとに、前
記認識対象画像中に、前記抽象概念に属する物体が存在
していると判定する評価判定部を備えたことを特徴とす
る。

【００３２】上記構成により、入力画像中に、抽象概念
レベルで指定された認識対象物体が写り込んでいるか否
かを判断することができる。

【００３３】次に、本発明の画像照合処理システムにお
いて、前記抽象モデル画像セットの画像および前記認識
対象画像から局所窓画像領域を切り出す窓画像切り出し
部を備え、前記投影部が投影する抽象モデル画像セット
の画像および前記認識対象画像が、前記窓画像切り出し
部により切り出した抽象モデル画像セットの画像の窓画
像および前記認識対象画像の窓画像であり、前記重畳投
票部が評価する両者の類似度が、前記特徴空間内におい
て最も近傍の位置に投影されているモデル画像の窓画像
投影点と前記認識対象画像の窓画像の投影点同士を対応
づけ、前記対応付けられた窓画像投影点両者の整合性で
あり、前記評価判定部による判定処理が、前記重畳投票
部の重畳結果において前記モデル画像セットのモデル画
像と前記認識対象画像との一致を示す評価結果が共通に
足し込まれて形成された所定条件を満たすピークがある
場合、前記認識対象画像中に前記抽象概念に属する物体
が存在していると判定する処理であることが好ましい。

【００３４】上記構成により、モデル画像ごとの画像照
合処理結果を単独で見れば、照合結果にはバラツキが見
られるが、整合性評価結果を重畳することにより、抽象
モデル画像セットに含まれるモデル画像の一部と認識対
象画像中の物体とが共通的に持つ特徴による整合性が足
し込まれてピークが現れることとなる。

【００３５】なお、前記窓画像切り出し部は、窓画像の
切り出し処理において、処理対象画像における画像内の
所定の相対位置から窓画像を切り出すものでも良い。画
像が顔画像に限定されるなど一定の対象物である場合、
概ね重要な窓画像の位置が決まっているので画像内の所
定の相対位置から窓画像を切り出せば、処理効率が向上
し、認識精度も向上する。

【００３６】次に、本発明の画像照合処理システムにお
いて、前記抽象モデル画像セットが複数セットあり、一
の抽象モデル画像セットの各モデル画像のサイズが、他
の抽象モデル画像セットの各モデル画像サイズと異なる
倍率となる関係にあり、前記重畳投票部は、前記整合性
評価の重畳結果を前記抽象モデル画像セットごとに求
め、前記評価判定部は、前記重畳投票部が抽象モデル画
像セットごとに求めた重畳結果をそれぞれ評価して認識
対象画像中に、抽象概念に属する物体が存在しているか
否かを判定することが好ましい。

【００３７】次に、複数のサイズのモデル画像を用意し
て画像照合処理を行なうことにより、入力画像中の認識
対象の画像サイズに近しいサイズを持つ抽象モデル画像
セットを用いて評価判定を行なうことができ、認識対象
画像中に、抽象概念に属する物体が存在しているか否か
を判定することができる。

【００３８】また、本発明の画像照合処理システムにお
いて、前記認識対象画像入力部は、取り込んだ認識対象
物体が含まれる認識対象画像を基に所定数の異なるサイ
ズの認識対象画像を生成し、認識対象画像セットとして
入力し、前記重畳投票部は、前記整合性評価の重畳結果
を前記認識対象画像セットの画像ごとに求め、前記評価
判定部は、前記重畳投票部が認識対象画像セットの画像
ごとに求めた重畳結果をそれぞれ評価して前記認識対象
画像中に、前記抽象概念に属する物体が存在しているか
否かを判定することも可能である。

【００３９】この構成によれば、抽象モデル画像セット
に含まれるモデル画像として複数の異なるサイズのもの
を用意する必要がなく、モデル画像を複数サイズ用意す
る場合に比べ、登録フェーズにおけるパラメータの設定
など前処理が少なくて済み、かつ、認識対象画像のサイ
ズを調整することにより、モデル画像の大きさと認識対
象画像に写り込んだ対象物の大きさの差異を吸収して両
画像を比較することができるので認識精度を低下させる
こともない。

【００４０】なお、評価判定部は、認識対象画像中に写
り込んだ抽象概念の物体の画像サイズを推定することが
できる。重畳投票部による重畳結果のうちピークがもっ
とも峻別できるピークとなっている抽象モデル画像セッ
トの画像サイズを画像サイズとして推定する方式、その
推定値を粗い推定値とし、さらに抽象モデル画像セット
のモデル画像と入力画像から算出した詳細サイズ補正値
による補正を施して推定値とする方式、モデル画像セッ
トを構成するモデル画像のサイズに対してモデル画像セ
ット毎の整合性の評価判定を重みとした重み付け平均値
を推定値とする方式などを用いることができる。

【００４１】また、本発明の画像照合処理システムは、
重畳投票部による整合性評価の重畳結果におけるピーク
が表れている相対位置に応じて、入力画像中における抽
象概念に属する認識物体が写り込んでいる画像位置を推
定することにより、入力画像中に写り込んだ人の顔画像
など抽象概念レベルで指定された認識対象物体の画像領
域の位置を推定することができる。

【００４２】本発明の画像照合処理システムはさらに、
画像領域切り出し部を備え、前記重畳投票部による整合
性評価の重畳結果におけるピークが表れている相対位置
に応じて、前記入力画像中における前記抽象概念に属す
る認識物体が写り込んでいる画像位置を推定し、前記画
像領域切り出し部により、前記推定した前記認識物体が
写り込んでいる画像位置を中心に、所定サイズの画像領
域を切り出すことが好ましい。

【００４３】上記構成により、入力画像から、人の顔画
像など抽象概念レベルで指定された認識対象物体の画像
領域を切り出すことができる。

【００４４】次に、本発明の画像照合処理システムは、
前記窓画像切り出し部が切り出した前記抽象モデル画像
セットの各窓画像を、前記モデル画像中における部位の
概念に基づいて分類した部位窓画像セットとする部位窓
画像分類部を備え、前記重畳投票部は、類似度の評価に
あたり、前記特徴空間内において最も近傍の位置に投影
されているモデル画像の部位窓画像セットの投影点集合
と前記認識対象画像の窓画像の投影点同士を対応づける
ことによる両者の整合性を評価とすることが好ましい。

【００４５】上記構成によれば、特徴空間内での対応づ
けと評価が各部位窓画像セットごとに一度しか行われ
ず、同一部位に属する各窓画像ごとそれぞれに対応づけ
と評価が行われることはないので、当該部位窓画像と紛
らわしい画像部分が認識対象画像中に存在しても複数回
の誤まった評価が重畳されることはなくなり、認識精度
が向上する。

【００４６】さらに、上記画像照合処理システムにおい
て、前記部位窓画像セットの投影点集合を代表する前記
特徴量空間内の代表投影点を決定する代表投影点決定部
を備え、前記重畳投票部は、類似度の評価にあたり、前
記特徴空間内において最も近傍の位置に投影されている
部位窓画像セットの代表投影点と前記認識対象画像の窓
画像の投影点同士を対応づけることによる両者の整合性
を評価とすることが好ましく、また、当該代表投影点の
決定方法として、前記部位窓画像セットの投影点集合の
うちの任意の一つまたは複数の投影点を選択する方法
や、各投影点の重心を投影点とする方法とすることが好
ましい。

【００４７】上記構成によれば、各部位窓画像セットの
投影点集合を代表する一つまたは複数の代表投影点を用
いて、モデル画像の窓画像の投影点との特徴空間内での
対応づけを行うので、対応づけ処理工数が少なくなり、
処理速度が向上する。

【００４８】本発明の画像照合処理システムは、上記の
画像照合処理システムを実現する処理ステップを記録し
たコンピュータ読み取り可能な記録媒体から処理プログ
ラムを読み込むことにより、コンピュータを用いて構築
することができる。

【００４９】

【発明の実施の形態】（実施形態１）本発明の画像照合
処理システムの実施形態を以下に示す。以下では、特に
顔画像の画像照合への適用を例にとって説明する。

【００５０】まず、本発明の画像照合処理システムにお
いて用いる、改良局所固有空間法をさらに改良した画像
照合処理を次の３つの処理、抽象概念レベルでの画像認
識・照合処理と、認識対象物体の画像サイズ推定処理
と、認識対象物体が背景などと共に写り込んだ画像から
当該認識対象物体の画像領域を自動的に切り出す指定認
識対象物体画像領域自動切り出し処理に分け、それらの
順に説明する。

【００５１】（１）まず、本発明の画像照合処理システ
ムで用いる抽象概念レベルでの画像認識・照合処理を説
明する。

【００５２】本発明の画像照合処理システムの抽象概念
レベルでの画像認識・照合処理は、当該抽象概念レベル
に属する複数のモデル画像を用いて作成した抽象モデル
画像セットを用い、抽象モデル画像セットそれぞれのモ
デル画像の窓画像領域の画像情報と認識対象画像の窓画
像領域の画像情報を用いて一つの投票マップ上に投票を
重ね合わせ、その投票結果が集中しているピークの峻別
度合いを類似度として評価判定することにより抽象概念
レベルでの画像認識・照合を実行する。以下に詳しく説
明する。

【００５３】図１は、本発明の画像照合処理システムで
用いる抽象概念レベルでの画像認識・照合処理を表わす
図である。

【００５４】図１において１０１は認識対象画像であ
る。ある任意の人物の顔画像で良い。ここでは、認識対
象画像１０１が人の顔であるか否かという抽象概念レベ
ルで認識することが目標となる。

【００５５】１０２は抽象モデル画像セットである。こ
の例では説明の便宜上、３つのモデル画像を集めて抽象
モデル画像セットとした。それぞれ上からモデル画像
１、モデル画像２、モデル画像３とする。ここではモデ
ル画像数を３つとしたが、適度数の様々な人物顔画像を
集めても良いことは言うまでもない。この数は、システ
ムに求める抽象概念レベルでの画像認識・照合精度に依
存し、より高い精度を求めるなら抽象モデル画像セット
のモデル画像数を増やすこととなる。また、集めるモデ
ルとしては様々なパターンの顔画像を集めておくことも
有効である。例えば、男性、女性、大人、子供、メガネ
をかけている人、ひげを生やしている人、眉の太い人や
細い人、一重瞼の人や二重瞼の人など様々なパターンの
顔画像を集めておくことが好ましい。もっとも認識対象
が大人に限られるなどの条件がつけば、大人のみのモデ
ル画像を集めることが有効である。このパターンも、シ
ステムに求める抽象概念レベルでの画像認識・照合精度
に依存し、より高い精度を求めるなら様々なパターンの
モデル画像を用意することとなる。

【００５６】１０３は、改良局所固有空間法を用いて、
認識対象画像と各モデル画像から選択したそれぞれの窓
画像を圧縮して低次元空間に投影し、両者のうち対応し
合う投影点の相対位置を基に投票空間に投票した結果を
表わしたものである。上から順に投票結果１、投票結果
２、投票結果３とする。

【００５７】ここで、認識対象画像と各モデル画像は異
なる人物の顔画像なので、投票結果１〜投票結果３に見
るように、投票結果は投票マップ上に分散することとな
り、際立ったピークを持つことはない。つまり、それぞ
れの投票結果１〜投票結果３からは、認識対象画像とそ
れぞれのモデル画像モデル画像１〜モデル画像３とは異
なる人物の顔画像であることが分かるのみである。

【００５８】１０４は、認識対象画像と各モデル画像を
基にした投票処理にあたり、一つの投票マップに重ね合
わせて投票した重畳投票結果を表わすものである。この
１０４は、それぞれの投票結果１〜投票結果３の投票結
果を重ね合わせた結果と同じである。本発明の画像照合
処理システムの処理においては、各モデル画像に対応し
た投票空間をそれぞれ用意し、投票処理をそれぞれ毎に
実行して投票結果１〜投票結果３の投票結果を得てか
ら、それら結果を重ね合わせて重畳投票結果１０４を得
ても良く、また、当初から投票マップを一つのみ用意し
て認識対象画像と各モデル画像を基にした投票処理を実
行して直接重畳投票結果１０４を得る方法としても良
い。

【００５９】図１に示すように、重畳投票結果１０４に
は、ピークが表れることとなる。認識対象画像と各モデ
ル画像は、個別に一致具合を見ると一致しない部分も多
くあり、個別の投票では投票結果が分散することとなる
が、両者が人の顔画像である限り、両者には少なからず
の一般的な共通点が存在しているはずである。例えば、
認識対象画像とあるモデル画像との間ではある部分（例
えば口）が類似し、認識対象画像と他のモデル画像との
間では他の部分（例えば目）が類似することになる。個
別の投票ではこの一般的な共通点による一致部分が、他
の不一致部分に埋もれることとなるが、複数の投票結果
を重ね合わせることにより、この一般的な共通点による
一致部分は、正しい対応による投票として同じ位置へ足
し込まれて行くため、正しい位置へ票が集中して強調さ
れる。その一方、不一致部分はそのバラツキのため強調
されない。よって重畳投票結果１０４に見るようにピー
クが表れることとなる。もし、認識対象が顔画像ではな
く、他の物体であれば、一般的な共通点がないので、こ
のようなピークは形成されず、重畳投票結果１０４もバ
ラツキを持つこととなる。このピークと認めうる部分の
峻別度合いを本発明では“類似度”と定義する。類似度
が設定したしきい値より大きい場合には、抽象概念レベ
ルでの認識が成立したと判断し、しきい値より小さい場
合には、抽象概念レベルでの認識が成立せず、別概念の
物体であると判断できる。

【００６０】以上が、本発明の画像照合処理システムで
用いる抽象概念レベルでの画像認識・照合処理の基本原
理である。

【００６１】（２）次に、本発明の画像照合処理システ
ムで用いる認識対象物体の画像サイズ推定処理を説明す
る。

【００６２】モデル画像として用意したものの大きさと
取り込んだ認識対象画像中の対象物の写り込みの大きさ
とは必ずしも完全に一致するものとは限らないので、両
者の大きさの差異を吸収してやると認識精度が向上す
る。本実施形態では、抽象モデル画像セットに含まれる
１つのモデルに対してサイズの異なる複数の画像を用意
する。大きいサイズから小さいサイズまで代表的な基準
サイズの登録モデル画像セット（ここでは、基準サイズ
モデル画像セットと呼ぶ）を複数セット用意または生成
し、認識対象画像に対して各基準サイズモデル画像ごと
に投票マップ上への投票を実行し、もっともピークが高
くなる投票結果が得られる基準サイズモデル画像セット
を検出するものである。つまり、この基準サイズモデル
画像セットの画像サイズをもっとも近い認識対象物体の
画像サイズと推定する。

【００６３】図２は、認識対象物体の画像サイズ推定処
理を説明する図である。

【００６４】図２において２０１は認識対象画像であ
り、図１の１０１と同様のものである。

【００６５】２０２は、基準サイズモデル画像セットで
あり、この例では、３つの基準サイズモデル画像セット
が用意されている。上段の基準サイズモデル画像セット
１は大きめの所定のサイズを基準サイズ１として当該サ
イズのモデル画像を集めたものである。この例では基準
サイズモデル画像セット１は基準サイズ１の３つのモデ
ル画像と“サイズ情報１”を保持している。同様に、中
段の基準サイズモデル画像セット２は中程度の所定のサ
イズである基準サイズ２の３つのモデル画像と“サイズ
情報２”を保持している。下段の基準サイズモデル画像
セット３は小さめの所定のサイズである基準サイズ３の
３つのモデル画像と“サイズ情報３”を保持している。
もっとも、それぞれの基準サイズモデル画像セット１〜
３をすべて入力画像として取り込んでも良いが、一つの
基準サイズモデル画像セットのみを取り込んで、取得し
た画像を基に拡大縮小し、複数のサイズの基準サイズモ
デル画像セットを生成することも可能であることは言う
までもない。

【００６６】２０３は、各基準サイズモデル画像セット
ごとに、各モデル画像から切り出した窓画像と認識対象
画像から切り出した各窓画像を基にして生成した重畳投
票結果を表わすものであり、重畳投票結果１〜３のそれ
ぞれは、図１の１０４で説明した重畳投票結果と同様の
処理により求められるものである。

【００６７】なお、切り出す窓画像のサイズは、基準サ
イズモデル画像セットのサイズに応じて調整することは
可能である。例えば、４０ピクセル×４８ピクセルのモ
デル画像に対しては１５ピクセル×１５ピクセルの窓画
像とし、３０ピクセル×３６ピクセルのモデル画像に対
しては、１１ピクセル×１１ピクセルの窓画像とするこ
とができる。モデル画像のサイズに応じて目や口など窓
画像として選択される部分画像のサイズも変わるからで
ある。

【００６８】この例では、認識対象画像のサイズは基準
サイズ１に近いものである。改良局所固有空間法を用い
た窓画像を用いた照合結果においては互いのサイズが近
い方が一致度合いが高くなる。そのため図２の重畳投票
結果１〜３に示すように、基準サイズ１の基準サイズモ
デル画像セット１を用いた重畳投票結果１においてもっ
ともピークが高くなる。認識対象画像とのサイズの差が
大きくなるほど重畳投票結果が分散することとなり、基
準サイズモデル画像セット２、基準サイズモデル画像セ
ット３の順にピークが低くなり埋もれてゆくこととな
る。つまり、図２の重畳投票結果１〜３のピーク峻別の
高さを調べることにより、もっとも近いサイズ情報を検
出し、認識対象物体の画像サイズを推定することができ
る。図２の例では、認識対象物体の画像サイズはサイズ
情報１のサイズに近いと推定できる。

【００６９】上記に示した基本原理を用いて認識対象物
体の画像サイズを推定するが、具体的に認識対象画像の
サイズ値を幾らにするかについては以下の３つの方法が
想定できる。

【００７０】第１の画像サイズ値推定処理は、上記に説
明した画像サイズ推定処理の基本原理における基準サイ
ズを細かく設定して多数の基準サイズモデル画像セット
２０２を用意し、所定きざみで認識対象物体の画像サイ
ズ値を推定する方法がある。しかし、この方法によれ
ば、記憶・保持する基準サイズモデル画像セット２０２
の容量が大きくなり、かつ、処理時間が長くなるという
問題がある。

【００７１】第２の画像サイズ値推定処理は、上記第１
の画像サイズ値推定処理の欠点を緩和し、画像サイズ推
定精度向上と処理速度低下防止を同時に図る方法とし
て、処理時間の遅延が問題にならない程度の適度数の基
準サイズモデル画像セット２０２を用意し、認識対象画
像の大まかな画像サイズ推定を行ない、概ね近しいサイ
ズを選択した後、微調整を他の方法、例えば、目鼻それ
ぞれの中心点を結んで形成した三角形状を手掛かりにア
フィン変換により微調整のパラメタを求める方法により
画像サイズ推定の微調整を実行するというハイブリッド
処理である。

【００７２】第３の画像サイズ値推定処理は、各基準サ
イズモデル画像セットのサイズに、重畳投票結果から算
出した類似度を掛けたものの平均値を認識対象画像中の
対象のサイズとする処理である。

【００７３】（３）次に、本発明の画像照合処理システ
ムによる認識対象物体が背景などと共に写り込んだ画像
から当該認識対象物体の画像領域を自動的に切り出す指
定認識対象物体画像領域自動切り出し処理を説明する。

【００７４】図３は、指定認識対象物体画像領域自動切
り出し処理を説明する図である。

【００７５】図３において３０１は入力画像である。こ
の例では、２人の顔画像が背景と共に写り込んだ画像と
なっている。ここでは、切り出し対象となる指定認識対
象物体を人の顔画像とし、右側の人物の顔画像領域３０
１ａ、左側の人物の顔画像領域３０１ｂとして切り出す
ことを目標とする。

【００７６】３０２は、抽象モデル画像セットであり、
図１の１０２と同様のものであり、人の顔画像という抽
象概念レベルの認識ができるように、適度な数の様々な
パターンの顔画像を集めておく。ここでは３人のモデル
画像を集めたものとする。

【００７７】３０３は、１０３と同様、改良局所固有空
間法を用いた認識対象画像３０１と各モデル画像との投
票空間への投票結果を表わしたものである。上から順に
投票結果１、投票結果２、投票結果３とする。

【００７８】３０４は、１０４と同様、入力画像から人
物顔画像、背景を問わずに切り出した各窓画像の画像情
報と各モデル画像の各窓画像の画像情報とを基にした投
票結果を一つの投票マップに重ね合わせて投票した重畳
投票結果を表わすものである。結論を先に述べると、図
３の重畳投票結果３０４に示すように、顔画像領域３０
１ａと３０１ｂの位置に対応する投票空間上の位置にピ
ークが表れることとなる。つまり、入力画像３０１にお
いて、それぞれのピークに対応する相対位置に、人の顔
という抽象概念レベルで認識された物体が存在している
ことが認識されるのである。このように認識された顔画
像領域の位置とサイズに応じて画像領域を切り出すこと
により指定認識対象物体画像領域自動切り出し処理が実
行される。

【００７９】ここで、顔画像領域３０１ａと３０１ｂの
画像領域に対応してピークが表れることとなる点につい
てさらに詳しく述べる。上記したように、入力画像３０
１には、背景を含め、様々な物体が写り込んでいる。

【００８０】まず、入力画像中から特徴点を選択し、窓
画像を切り出す必要がある。ここで、背景が一色無模様
の青色背景など特殊な環境であれば、テクスチャ度やエ
ッジ強度などを基準に特徴点を選択すれば、写り込んで
いる顔画像領域のみの特徴点が選択されることとなる
が、このような場合は特殊な場合であり、通常は背景に
も複雑な形状物や模様が存在し、人物顔画像、背景を問
わずに特徴点が選択される。これら選択した特徴点を基
に、各窓画像を切り出す。

【００８１】なお、人物顔画像、背景を問わずに特徴点
を切り出す点に注目すれば、テクスチャ度やエッジ強度
などを基準にした特徴点選択処理を省略し、入力画像上
に等間隔にメッシュ状に候補点を選び、さらに一定条件
を満たすものを特徴点として選択する簡易処理も有り得
る。この簡易処理によれば、認識対象物体と背景にまん
べんなく窓が取られること、エッジ付近など特定場所に
おいて窓の選択が集中しないことといった効果が得られ
る。一方、テクスチャ度とエッジ強度の下限の閾値を指
定して該当する部分をすべて窓画像として選択する方式
では、背景の強烈なエッジ周辺に多くの窓が選択されて
しまうおそれがある。そこで、上記の簡易処理では、入
力画像上に等間隔にメッシュ状に候補点を選び、一定条
件、例えば、その中からテクスチャ度がある範囲（顔内
に多い値の範囲）にあるものを窓画像として選択する方
法としたものである。なお、上記簡易処理により等間隔
にメッシュ状に特徴点を抽出し、一定条件にある窓画像
を生成する場合において、特徴点の抽出間隔をある程度
狭く、例えば、３画素程度以内の間隔で抽出しておけ
ば、本来切り出されるべき窓画像の位置とはずれる窓画
像が多く発生した場合であっても、後述するように改良
局所固有空間法ではＤＣＴを用いた低次元圧縮を行うの
で、位置ずれに起因するＤＣＴ係数誤差が大きい高次元
係数が中心に間引かれ、誤差の小さい低周波成分は間引
かれないので、モデル画像と入力画像間のデータに見ら
れる類似度合いの劣化が少なく、一定品質の画像照合が
可能となる。

【００８２】次に、入力画像から人物顔画像、背景を問
わずに切り出した各窓画像をＤＣＴを用いて低次元空間
に圧縮する。改良局所固有空間法では、直流成分を除
き、高周波の係数も間引き、低周波の係数を適度に選択
することによって低次元空間に圧縮するので、窓画像領
域の空間周波数の低周波成分の特徴を良く表わすデータ
となる。上述のように窓画像位置が多少ずれてもＤＣＴ
の低周波成分は影響を受けにくいので、類似度を評価判
定する上で有効な低次元圧縮データが得られることとな
る。

【００８３】次に、抽象モデル画像セットから生成した
低次元圧縮データと入力画像から生成した低次元圧縮デ
ータを窓画像ごとに低次元空間である特徴空間内に投影
し、特徴空間内での互いの距離が近い窓画像のペアの画
像上での相対位置を求め、投票マップ上の対応する格子
に投票を行う。

【００８４】この際、人物の顔画像領域から選択された
窓画像に対するデータは、モデル画像セットから切り出
された窓画像に対するデータと対応し合うものがあるの
で、投票マップの対応する格子点付近に多く投票が集中
してピークを示すこととなる。つまり、写り込んだ顔画
像に対応した位置にピークが現れる。一方、背景に写り
込んだ物体や模様などは、投票結果が分散してバラツキ
を持つため、ピークを形成することはない。

【００８５】次に、上記投票結果に従い、一定のしきい
値を超えるピーク値を示す画像領域を人物の顔画像領域
と判断して当該画像領域を切り出す。なお、上記のサイ
ズ推定処理も併用すると顔画像領域の位置に加え、サイ
ズも判定することができるので顔画像領域のサイズに合
わせて切り出すことが可能となる。

【００８６】以上の処理により、認識対象物体が背景な
どと共に写り込んだ画像から認識対象物体の画像領域を
自動的に切り出すという、指定認識対象物体画像領域自
動切り出し処理が実行できる。

【００８７】以上示したように、本発明の画像照合処理
システムは、抽象概念レベルでの画像認識・照合処理、
指定認識対象物体画像領域自動切り出し処理、認識対象
物体の画像サイズ推定処理を一つまたは複数組み合わせ
て備えた画像照合処理を実行することができる。

【００８８】（実施形態２）次に、本発明の実施形態２
の画像照合処理システムを、ブロック構成図、顔画像を
抽象概念レベルで認識する際の基本動作の流れを示す
図、基本動作のフローチャートを参照しつつ説明する。

【００８９】本実施形態２の画像照合処理システムは、
抽象概念レベルでの画像認識・照合処理と認識対象画像
中の認識対象物体の画像サイズ推定処理を中心に組み合
わせた構成となっている。

【００９０】図４は、実施形態２の画像照合処理システ
ムのブロック構成図である。図４において、１０は画像
入力部、２０は特徴点抽出部、３０は窓画像領域切り出
し部、４０は低次元圧縮部、５０は特徴空間投影部、６
０は重畳投票部、７０は評価判定部、８０はモデル画像
セット登録部、９０は認識対象物体画像サイズ推定部で
ある。

【００９１】画像入力部１０は、画像を入力する部分で
あり、ファイル形式による画像データの入力や、カメラ
など撮影手段を備えて被写体の撮影画像を取り込む手段
を備えたものであっても良い。また、取り込む画像とし
ては、登録フェーズで用いる照合用のモデル画像、認識
フェーズで用いる認識対象物体が写り込んだ認識対象画
像などがあるが、画像入力部１０は両者の入力に対して
共用できるものでも良く、それぞれ別に用意する構成で
も良い。なお、この例では、画像入力部１０は、抽象モ
デル画像セットを入力するモデル画像入力部と、認識対
象画像を入力する認識対象画像入力部とを併せ持つ構成
となっている。

【００９２】特徴点抽出部２０は、画像入力部１０から
取り込んだ画像中から、一定の基準に従って特徴点を抽
出する部分である。抽出する基準は、前述したように、
テクスチャ度がしきい値以上に大きい点を抽出する方
式、エッジ強度がしきい値以上に大きい点を抽出する方
式、等間隔にメッシュ状に候補点を選び、さらに一定条
件を満たすものを特徴点として選択する方式、取り込み
画像中の認識対象に対する知識を利用して重要部分を選
択する方式などがある。

【００９３】窓画像領域切り出し部３０は、局所領域を
窓画像として選択する部分である。この例では、特徴点
抽出部２０により選択された特徴点を囲む画像領域を窓
画像領域として切り出している。例えば、窓画像のサイ
ズは原画像サイズに応じて切り出す。例えば、４０ピク
セル×４８ピクセルの原画像からは１５ピクセル×１５
ピクセルの２２５次元の窓画像データを切り出す。

【００９４】低次元圧縮部４０は、窓画像領域切り出し
部３０により切り出した窓画像を低次元空間に圧縮する
部分である。窓画像データからＤＣＴ係数を計算し、直
流成分を除いて低周波の係数を適度に選択することによ
って低次元空間に圧縮する。例えば２０次元に圧縮す
る。なお、この低次元空間への圧縮は、データ中の画像
特徴を示す部分を劣化させることなく処理量を低減して
処理効率を高めるために実行している。

【００９５】特徴空間投影部５０は、窓画像データを投
影する特徴空間を仮想的に持ち、窓画像領域の画像情報
を投影する部分である。この例では、処理量を低減する
ため、低次元圧縮部４０から受け取った窓画像圧縮デー
タを投影する構成となっている。

【００９６】重畳投票部６０は、認識フェーズで用いら
れるもので、格子状の投票点を持つ投票平面を持ってい
る。投票にあたり重畳投票部６０は、認識対象画像より
生成した窓画像圧縮データと照合用のモデル画像より生
成した窓画像圧縮データ両者の特徴空間投影部５０にお
ける投影結果をチェックして、相互に対応し合う窓画像
データ圧縮データ投影点同士を特定し、両者の画像上で
の相対位置をベクトルとして検知し、投票平面の原点を
中心としてベクトル値に対応する格子位置に投票してゆ
く。すべての対応し合う窓画像に対する投票を一つの投
票面に重畳してゆく。

【００９７】評価判定部７０は、重畳投票部６０による
投票平面への投票結果を評価判定する部分であり、投票
がある格子点に集中しているピークを持っているか否
か、また、そのピークに対して相対的にどの程度集中し
て峻別できるかで評価判定する。この評価判定基準は利
用者により選択、チューニングできることとする。投票
平面のある相対位置にピークが１つあると評価判定した
場合は、認識対象画像中の対応する位置に抽象概念レベ
ルで一致する認識対象物体が１つあると判断でき、バラ
バラに３つのピークがあると評価判定した場合は、対応
するそれぞれの位置に抽象概念レベルで一致する認識対
象物体があると判断できる。

【００９８】モデル画像セット登録部８０は、照合用に
用いるモデル画像をセットとして登録・保持する部分で
ある。基本原理で述べたように、抽象概念レベルでの認
識処理を実行するために、抽象モデル画像セットとして
様々なパターンの人の顔画像などを集めてセットとして
登録・保持する。また、認識対象物体の画像サイズ推定
処理を実行するために、基準サイズモデル画像セットと
して基準サイズとなる大きさの抽象モデル画像セットを
複数セット登録・保持する。

【００９９】認識対象物体画像サイズ推定部９０は、認
識対象物体の画像サイズを推定する部分である。この認
識対象物体画像サイズ推定部９０は、抽象概念レベルで
の画像認識・照合処理に加え、認識対象物体の画像サイ
ズ推定処理を組み合わせる場合に必要となるモジュール
である。認識対象物体の画像サイズ推定処理内容は前述
したのでここでは省略する。

【０１００】次に、図５〜図１０により、図４に示した
本実施形態２の画像照合処理システムにおける、顔画像
を抽象概念レベルで認識する処理と認識対象画像中の認
識対象物体の画像サイズの推定処理の基本動作の流れを
示す。

【０１０１】実施形態２の画像照合処理システムの処理
動作は、大別して「登録フェーズ」と「認識フェーズ」
からなる。まず、「登録フェーズ」の処理手順を図９の
フローチャートを参照しつつ示す。

【０１０２】図５において、５００、５１０、５２０の
それぞれはモデル画像を３つ集めた抽象モデル画像セッ
トであり、抽象モデル画像セット５００は４０ピクセル
×４８ピクセルである大きめの基準サイズ１とした基準
サイズモデル画像セット、抽象モデル画像セット５１０
は３０ピクセル×３６ピクセルである中程度の基準サイ
ズ２とした基準サイズモデル画像セット、抽象モデル画
像セット５２０は２０ピクセル×２４ピクセルである小
さめの基準サイズ３とした基準サイズモデル画像セット
となっている。なお、各抽象モデル画像セット５００〜
５２０に含まれるモデル画像はそれぞれ、上段は人物
１、中段は人物２、下段は人物３となっている。つま
り、同じセットを縮小・拡大した関係になっている。

【０１０３】まず、これら図５に示した画像セットを画
像入力部１０から取り込む（図９ステップ９０１）。

【０１０４】特徴点抽出部２０により、画像入力部１０
から取り込んだ各基準サイズモデル画像セットのそれぞ
れの抽象モデル画像セット５００〜５２０の各モデル画
像から特徴点を抽出する（ステップＳ９０２）。ここで
は、例えば、テクスチャ度を基に選択する方式を採用す
る。

【０１０５】次に、窓画像領域切り出し部３０により、
特徴点抽出部２０によって選択された特徴点を囲む窓画
像領域を選択して切り出す（ステップＳ９０３）。図７
において抽象モデル画像セット５００〜５２０の各モデ
ル画像から切り出される窓画像の位置を幾つか示した
が、これは説明の便宜上一例を示したのみであり、実際
に切り出されるすべての数や位置を示したものではな
い。切り出しサイズは設定によるが、ここでは例えば４
０ピクセル×４８ピクセルの基準サイズモデル画像セッ
トに対しては、１５ピクセル×１５ピクセルの窓画像、
３０ピクセル×３６ピクセルの基準サイズモデル画像セ
ットに対しては、１１ピクセル×１１ピクセルの窓画
像、２０ピクセル×２４ピクセルの基準サイズモデル画
像セットに対しては、９ピクセル×９ピクセルの窓画像
とする。なお、図７については、後述する認識フェーズ
で再度説明する。

【０１０６】次に、低次元圧縮部４０により、窓画像領
域切り出し部３０が切り出した窓画像データを低次元に
圧縮する（ステップＳ９０４）。窓画像データからＤＣ
Ｔ係数を計算し、直流成分を除いて低周波の係数を適度
に選択して低次元空間に圧縮する。ここでは例えば２０
次元に圧縮する。

【０１０７】次に、低次元圧縮部４０が生成した低次元
圧縮データを、モデル画像セットとしてモデル画像セッ
ト登録部８０に格納・保持する（ステップＳ９０５）。
ここでは、各基準サイズごとに、抽象モデル画像セット
が格納・保持される。

【０１０８】以上が、本実施形態２の画像照合処理シス
テムにおける、登録フェーズの処理である。

【０１０９】次に、抽象概念レベルで、認識対象が人の
顔画像であるか否かを認識する認識フェーズの処理手順
を図１０のフローチャートを参照しつつ示す。

【０１１０】図６は、今回認識対象となる認識対象画像
である。この例では、中央付近には対象となる顔画像領
域を含む、ある人物の肩より上部分が写っており、背景
にも物体が写り込んでいる。

【０１１１】まず、図６に示した認識対象画像を画像入
力部１０から取り込み、顔画像領域を切り出す（図１０
ステップ１００１）。この実施形態２では、指定認識対
象物体画像領域自動切り出し処理を含んでいない構成と
しているので、肌領域検出処理を用いた顔画像切り出し
処理や人手による顔画像切り出し処理が必要となる。な
お、図７において切り出された認識対象画像としての顔
画像を６００として示している。

【０１１２】次に、特徴点抽出部２０による特徴点抽出
処理（ステップＳ１００２）、窓画像領域切り出し部３
０による窓画像領域選択処理（ステップＳ１００３）、
低次元圧縮部４０による窓画像データの低次元圧縮処理
（ステップＳ１００４）は、図９の登録フェーズにおけ
る各ステップＳ９０２〜９０４と同様の手順であり、こ
こでの説明を省略する。なお、認識対象画像を切り出す
際には肌色領域の検出などで切り出すが、モデル窓画像
のサイズに合わせる必要があるので、１５ピクセル×１
５ピクセル、１１ピクセル×１１ピクセル、９ピクセル
×９ピクセルで切り出す。低次元圧縮処理では同様に２
０次元に圧縮するものとする。

【０１１３】次に、特徴空間投影部５０により、各基準
サイズモデル画像セットごとに、登録モデル画像の窓画
像の圧縮データと、認識対象画像の窓画像の圧縮データ
とを低次元特徴空間に投影する（ステップＳ１００
５）。この様子を概念的に示したものが図７である。図
７において７００は、基準サイズ１とした基準サイズモ
デル画像セットに対応する低次元投影空間、７１０は、
基準サイズ２とした基準サイズモデル画像セットに対応
する低次元投影空間、７２０は、基準サイズ３とした基
準サイズモデル画像セットに対応する低次元投影空間で
ある。それぞれの低次元投影空間７００〜７２０におい
て、登録モデル画像の窓画像の圧縮データと、認識対象
画像の窓画像の圧縮データが投影される。

【０１１４】次に、重畳投票部６０により、ステップＳ
１００５の投影結果を基に、低次元投影空間ごとに、対
応する窓画像データ圧縮データ投影点同士を特定し（ス
テップＳ１００６）、対応し合う窓画像データ圧縮デー
タ投影点同士の相対位置を基に一つの投票平面に重畳的
に投票してゆく（ステップＳ１００７）。図８はこの様
子を概念的に示したものであり、８００は低次元投影空
間７００の投影結果から作成した投票結果、８１０は低
次元投影空間７１０の投影結果から作成した投票結果、
８２０は低次元投影空間７２０の投影結果から作成した
投票結果である。

【０１１５】次に、評価判定部７０により、重畳投票部
６０による投票結果からピークを持つものを検出する
（ステップＳ１００８）。なお、ピークを持つか否かの
評価は、ピークが相対的にどの程度峻別できるかを表わ
す類似度を算出して評価する。

【０１１６】評価判定部７０は、認識対象画像と指定対
象物体との抽象概念レベルでの一致判定と、その認識対
象画像サイズの推定の２点について評価判定する（ステ
ップＳ１００９）。

【０１１７】図８から分かるように、低次元投影空間７
００の投影結果から作成した投票結果８００において中
心にピークが見られる。他の投票結果８１０や８２０に
はピークが見られない。まず、ピークが見られたという
評価判定から、認識対象画像は抽象概念モデルと同じ抽
象概念、つまり、人の顔画像であるということが判定で
きる。次に、投票結果８００においてもっとも奇麗にピ
ークが現れている事実から、認識対象画像サイズが４０
ピクセル×４８ピクセルであることが判定できる。

【０１１８】以上、本実施形態２の画像照合処理システ
ムによれば、抽象概念レベルでの画像認識・照合処理と
認識対象画像中の認識対象物体の画像サイズ推定処理が
実行できる。

【０１１９】（実施形態３）本実施形態３の画像照合処
理システムは、抽象概念レベルでの画像認識・照合処理
と、認識対象画像のうち指定された物体の画像領域を自
動的に切り出す指定認識対象物体画像領域自動切り出し
処理とを中心に組み合わせた構成となっている。

【０１２０】例として、画像の切り出しは、様々な背景
とともに撮影された人物の画像から、人物の顔を含む部
分画像を指定されたサイズで切り出す処理とする。切り
出した画像は、「顔画像による個人識別」やその他様々
なアプリケーションで利用することができる。

【０１２１】図１１は、実施形態３の画像照合処理シス
テムのブロック構成図である。図１１において、１０は
画像入力部、２０は特徴点抽出部、３０は窓画像領域切
り出し部、４０は低次元圧縮部、５０は特徴空間投影
部、６０は重畳投票部、７０は評価判定部、８０はモデ
ル画像セット登録部、９０は認識対象物体画像サイズ推
定部、１００は画像領域切り出し部、１１０は認識対象
物体指定部である。

【０１２２】画像入力部１０から認識対象物体画像サイ
ズ推定部９０までは、実施形態２と同様であるので、こ
こでの説明は省略する。

【０１２３】画像領域切り出し部１００は、後述するよ
うに評価判定部７０による認識対象画像のうち指定物体
が写っている画像位置の判定に従って、所定のサイズで
部分画像を切り出す部分である。

【０１２４】認識対象物体指定部１１０は、利用者が画
像中から切り出したい対象となる物体を指定する部分で
ある。例えば、「人の顔画像」や「車」といった対象物
体を指定する。なお、指定はテキストで入力してもよ
く、絵などのアイコンを利用して入力しても良い。

【０１２５】以下に、顔画像を切り出した例を示す。

【０１２６】登録フェーズを以下の条件で実行し、各基
準サイズモデル画像セットごとに画像照合用の低次元圧
縮データを用意した。

【０１２７】モデル画像は、図１２に示したものを用い
た。この例では、６人の登録モデルを用いて抽象モデル
画像セットを構成し、また、それぞれ４つの基準サイ
ズ、５０ピクセル×６０ピクセル（基準サイズ１）、４
０ピクセル×４８ピクセル（基準サイズ２）、３０ピク
セル×３６ピクセル（基準サイズ３）、２０ピクセル×
２４ピクセル（基準サイズ４）を用意した。これらモデ
ル画像を画像入力部１０から取り込んだ。

【０１２８】特徴点抽出部２０による特徴点抽出処理の
指標として今回はテクスチャ度を用いて選択した。

【０１２９】窓画像領域切り出し部３０により切り出す
窓画像サイズは、５０ピクセル×６０ピクセルの基準サ
イズモデル画像セットに対しては、１５ピクセル×１５
ピクセルの窓画像、４０ピクセル×４８ピクセルの基準
サイズモデル画像セットに対しては、１５ピクセル×１
５ピクセルの窓画像、３０ピクセル×３６ピクセルの基
準サイズモデル画像セットに対しては、１１ピクセル×
１１ピクセルの窓画像、２０ピクセル×２４ピクセルの
基準サイズモデル画像セットに対しては、９ピクセル×
９ピクセルとした。

【０１３０】また、低次元圧縮部４０による圧縮は、Ｄ
ＣＴ係数から直流成分を除く低周波成分２０個を選択
し、２０次元に圧縮した。

【０１３１】認識フェーズを以下の条件で実行した。

【０１３２】まず、認識対象物体指定部１１０から認識
対象が「人の顔画像」である旨を入力した。ここでは、
テキストで入力した。この指定により、モデル画像セッ
ト登録部９０から人の抽象モデル画像セットが選択され
る。なお、画像のサイズ推定も行うので、様々なサイズ
の抽象モデル画像セットが基準サイズモデル画像セット
として選択される。ここでは、登録フェーズで登録した
画像セットが選択される。

【０１３３】認識対象画像は、図１３に示した１３００
および１３１０に示した２枚とした。認識対象画像のサ
イズは３２０ピクセル×２４０ピクセルとする。いずれ
も人物の上半身が写り込んだものである。

【０１３４】特徴点の抽出処理は、認識対象画像上から
等間隔にメッシュ状に候補点を選び、さらに一定条件を
満たすものを特徴点として選択する方式を採用する。こ
こでは、認識対象画像上に３画素間隔で選択した候補点
の中から、画素の色相が赤の周辺の範囲（２５６分割で
±３０）にあるものを選択した。

【０１３５】窓画像領域切り出し部３０による窓画像切
り出しは、モデル画像の切り出しに合わせて１５ピクセ
ル×１５ピクセル、１１ピクセル×１１ピクセル、９ピ
クセル×９ピクセルの３つのサイズの窓画像を切り出
す。

【０１３６】低次元圧縮部４０による圧縮は、同様に、
ＤＣＴ係数から直流成分を除く低周波成分２０個を選択
し、２０次元に圧縮した。

【０１３７】特徴空間投影部５０による投影処理は、基
準サイズ１〜基準サイズ４に対応する４つの低次元投影
空間を用意し、それぞれの基準サイズモデル画像セット
の窓画像から生成した低次元圧縮データと、認識対象画
像の窓画像から生成した低次元圧縮データとを投影し、
それら投影結果を基に重畳投票部６０による重畳投票処
理を実行して基準サイズ１〜基準サイズ４に対応する４
つの重畳投票結果を得た。

【０１３８】その結果、評価判定部７０により以下のよ
うに判定され、画像領域切り出し部１００により以下の
ように画像部分が切り出される。

【０１３９】認識対象画像１３００に対して、その重畳
投票結果は、基準サイズ２に対応する重畳投票結果にお
いてもっとも峻別しうる、つまり、類似度の高いピーク
が現れた。そのピークの投票格子点は（１５３，９２）
であった。つまり、認識対象画像１３００には人の顔画
像が写り込んでおり、その中心は（１５３，９２）の位
置にある。また、顔画像領域のサイズはおよそ４０ピク
セル×４８ピクセルである。画像領域切り出し部１００
は、（１５３，９２）の位置を中心に部分画像を切り出
した。なお、ちょうど４０ピクセル×４８ピクセル分の
サイズの部分画像を切り出しても良く、マージンを見て
少し大きめに切り出しても良い。少し大きめに切り出し
た結果が１３２０である。

【０１４０】認識対象画像１３１０に対して、その重畳
投票結果は、基準サイズ３に対応する重畳投票結果にお
いてもっとも峻別しうる、つまり、類似度の高いピーク
が現れた。そのピークの投票格子点は（１５１，１１
４）であった。つまり、認識対象画像１３１０には人の
顔画像が写り込んでおり、その中心は（１５１，１１
４）の位置にある。また、顔画像領域のサイズはおよそ
３０ピクセル×３６ピクセルである。画像領域切り出し
部１００は、（１５１，１１４）の位置を中心に部分画
像を切り出した。ここでもマージンを見て少し大きめに
切り出した。結果は１３３０である。

【０１４１】なお、上記指定認識対象物体画像領域自動
切り出し処理の基本原理の説明でも述べたように、画像
サイズ推定の精度を高めるため、第１の画像サイズ値推
定処理〜第３の画像サイズ値推定処理などを用いて切り
出す画像領域を正確に推定しても良いことは言うまでも
ない。

【０１４２】以上、処理例を用いて説明したように、本
実施形態３の画像照合処理システムによれば、抽象概念
レベルでの画像認識・照合処理と指定認識対象物体画像
領域自動切り出し処理とを組み合わせて、認識対象画像
から指定された対象物体の画像領域を切り出すことがで
きる。

【０１４３】（実施形態４）実施形態４として、上記実
施形態１から３に示した本発明の画像照合処理システム
をさらに改良したものを示す。ここでは２つの改良につ
いて述べる。

【０１４４】本実施形態４における第１の改良は、抽象
モデル画像セットのそれぞれの画像から切り出された窓
画像を、モデル画像中における部位の概念に基づいて分
類した部位窓画像セットにまとめ、認識対象画像の窓画
像との対応づけおよび評価を部位窓画像セット単位で行
うものである。つまり、類似度の評価にあたり、特徴空
間内において最も近傍の位置に投影されているモデル画
像の部位窓画像セットの投影点の集合と前記認識対象画
像の窓画像の投影点とを対応づけ、両者の整合性を評価
するものである。

【０１４５】上記のように窓画像をモデル画像中におけ
る部位の概念に基づいて分類した部位窓画像セットにま
とめることにより以下の利点が得られる。例えば、図１
４に示すようにモデル画像および認識画像とも顔画像が
写り込んだ実写画像であり、認識対象画像中に写り込ん
だ顔画像を検出する場合を想定する。いま、認識対象画
像中に写り込んだ背景など、ある画像部分が窓画像１４
０１として切り出されたと仮定する。この画像部分１４
０１の窓画像の特徴がモデル画像１、モデル画像２から
切り出した目の窓画像１４０２ａ〜１４０２ｂの特徴と
近いものとする。この場合、実施形態１から３に示した
処理に従えば、重畳投票部６０は、窓画像１４０１の投
影点と窓画像１４０２ａの投影点の対応づけ・投票と、
窓画像１４０１の投影点と窓画像１４０２ｂの投影点の
対応づけ・投票の２回の誤投票を実行してしまうことと
なる。モデル画像数の多い場合などは誤投票によるピー
クが現れてしまい、評価判定部７０が誤判定をしてしま
うことも有り得る。

【０１４６】そこで、本実施形態４では、部位窓画像分
類部を導入し、図１５に示すように、各モデル画像から
切り出した目の窓画像１４０２ａ〜１４０２ｃを目の部
位窓画像セットとして一まとまりとし、本実施形態４の
重畳投票部は、窓画像１４０１の投影点と部位窓画像セ
ットに属する部位窓画像の投影点との対応づけ・投票を
一回のみ行うこととする。この場合、誤投票があっても
一回のみであるのでピークが現れることはない。図１５
の例では窓画像１４０１の投票点とモデル画像１の窓画
像１４０２ａの投影点の誤対応による誤投票が一回行わ
れるのみである。一方、正しい対応に基づく投票も各部
位窓画像につき一回のみの投票となるが、顔画像同士で
あれば、目、鼻、唇など他の多くの部位窓画像が正しく
投票されるため、重畳効果としてピークが正しく現れ
る。

【０１４７】なお、各モデル画像から切り出した同じ部
位の窓画像を部位窓画像セットとして一まとまりとする
際、異なるモデル画像（異なる人物）の目の部位の画像
であっても、画像特徴量が類似し特徴空間内での投影点
位置が近い場合も想定できる。この場合敢えてすべての
モデル画像の同じ部位の窓画像の投影点を部位窓画像セ
ットとの投影点集合とする必要はなく、適宜、投影点位
置が近いものを類似窓画像としてグルーピングした上
で、類似窓画像に含まれる窓画像の各投影点の代わり
に、類似窓画像を代表する投影点を部位窓画像セットの
投影点集合に含んでもよい。もっとも投影点の位置が近
いか否かは投影点間の距離をどのように評価するかによ
る。本実施形態４では、代表投影点決定部が、調整可能
な閾値を持ち、投影点間の距離が閾値内の窓画像同士を
類似窓画像としてまとめる機能を備えるものとする。こ
の様子を図１６に示す。例えば6人のモデル顔画像の目
の窓画像１６０１ａから１６０１ｆを特徴量に応じて特
徴空間に投影した場合、１６０１ｂと１６０１ｃと１６
０１ｄ同士は投影点の位置が近く、１６０１ａと１６０
１ｅ同士は投影点の位置が近く、１６０１ｆの投影点の
位置はどれにも近くないとする。この場合、代表投影点
決定部は、目の部位窓画像セットに関しては、３つの部
位窓画像セットとしてまとめる。代表投影点決定部によ
る代表投影点の決定方法としては、部位窓画像セットの
投影点集合のうちの任意の一つまたは複数の投影点を選
択する方法や、部位窓画像セットの投影点集合に含まれ
る各投影点の重心を投影点とする方法がある。図１６の
各部位窓画像セットそれぞれに対して代表投影点を決定
した様子を同図の下側に示した。

【０１４８】重畳投票部は、モデル画像の部位窓画像セ
ットの投影点集合と、認識対象画像の窓画像の投影点と
を対応づけることにより投票を行うが、重畳投票部によ
る投票処理を簡単にするため、本実施形態４ではさらな
る工夫として、類似窓画像の代表投影点を決定すること
により個数を減らした部位窓画像セットの投影点集合と
認識対象画像の窓画像の投影点とを対応づけることによ
り投票を行う。このように代表投影点を類似窓画像に定
めれば、重畳投票部による部位窓画像セットの投影点集
合と認識対象画像の窓画像の投影点両者の対応づけの処
理効率が向上する。

【０１４９】次に、本実施形態４における第２の改良を
説明する。抽象モデル画像セットとは、共通した抽象概
念に属する１つ以上の異なるモデル画像を集めたもので
あるが、実施形態１から３などでは、モデル画像の大き
さと取り込んだ認識対象画像中の対象物の写り込みの大
きさとの差異を吸収すべく、抽象モデル画像セットに含
まれる１つのモデルに対してサイズの異なる複数の画像
を用意したが、本実施形態４の第２の改良は、簡易的に
抽象モデル画像セットに属する１つのモデルに対して１
つのサイズの画像のみを用意することとし、抽象モデル
画像セットを生成する際の窓画像切り出し処理やパラメ
ータ指定処理など登録フェーズにおける前準備処理を簡
略化するものである。なお、モデル画像の大きさと取り
込んだ認識対象画像中の対象物の写り込みの大きさに差
異があるが、認識フェーズにおいて認識対象画像入力部
から取り込んだ認識対象画像を適宜縮小・拡大して複数
サイズ用意することによりモデル画像と大きさが近いも
のを見つけることとする。

【０１５０】以下に、上記の２つの改良を施した本実施
形態４の装置構成例および装置動作例を示す。

【０１５１】図１７は、実施形態４の画像照合処理シス
テムのブロック構成図である。図１７において、１０ａ
は画像入力部、２０は特徴点抽出部、３０は窓画像領域
切り出し部、４０は低次元圧縮部、５０は特徴空間投影
部、６０ａは重畳投票部、７０は評価判定部、８０はモ
デル画像セット登録部、９０は認識対象物体画像サイズ
推定部、１２０は部位窓画像分類部である。

【０１５２】特徴点抽出部２０から認識対象物体画像サ
イズ推定部９０までは、実施形態２と同様であるので、
ここでの説明は省略する。

【０１５３】画像入力部１０ａは、実施形態２と同様、
画像を入力する部分であり、この例では、抽象モデル画
像セットを入力するモデル画像入力部と、認識対象画像
を入力する認識対象画像入力部とを併せ持つ構成となっ
ているが、認識対象画像入力部は認識フェーズにおいて
取り込んだ認識対象画像を適宜縮小・拡大して複数サイ
ズ用意する機能を備えている。

【０１５４】部位窓画像分類部１２０は、窓画像切り出
し部３０が切り出した抽象モデル画像セットの各窓画像
を、モデル画像中における部位の概念に基づいて分類し
た部位窓画像セットとする部分である。顔画像において
目や鼻という部位ごとの窓画像を部位窓画像セットとす
る。本実施形態４の例では、窓画像切り出し部３０は窓
画像の切り出し処理において、処理対象画像における画
像内の所定の相対位置から窓画像を切り出す機能を備え
ている。例えば、顔画像において目の窓画像、鼻の窓画
像、唇の窓画像など所定の窓画像を自動的に切り出す。
なお、人手による窓画像の切り出し指定も可能であるこ
とは言うまでもない。

【０１５５】重畳投票部６０ａは、類似度の評価にあた
り、特徴空間内において最も近傍の位置に投影されてい
るモデル画像の部位窓画像セットの投影点集合と認識対
象画像の窓画像の投影点同士を対応づけることによる両
者の整合性をその評価とする。なお、図１７に示した本
実施形態４の例では、重畳投票部６０ａは、代表投影点
決定部６１を備えている。代表投影点決定部６１は、部
位窓画像セットの投影点集合を代表する特徴量空間内の
代表投影点を決定するものであり、例えば、部位窓画像
セットの投影点集合のうちの任意の一つまたは複数の投
影点を選択する機能や部位窓画像セットの投影点集合に
含まれる各投影点の重心を投影点とする機能を備えてい
る。代表投影点決定部６１を用いて代表投影点を決めた
場合は、評価において当該代表投影点と認識対象画像の
窓画像の投影点同士を対応づけることによる両者の整合
性をその評価とする。

【０１５６】以下に、本実施形態４の画像照合処理シス
テムの動作例を実例を挙げ、図５、図６、図１８〜図２
０を参照しつつ説明する。

【０１５７】まず、「登録フェーズ」の処理手順を図１
９のフローチャートを参照しつつ示す。

【０１５８】まず、抽象モデル画像セットを画像入力部
１０ａから取り込む（図１９ステップ１９０１）。本実
施形態４では上記第２の改良のもと、抽象モデル画像セ
ットは１つのサイズのもので良く、例えば、抽象モデル
画像セット５００を用いる。抽象モデル画像セット５０
０は、４０ピクセル×４８ピクセルである大きめの基準
サイズ１とした基準サイズモデル画像セットである。

【０１５９】特徴点抽出部２０により、画像入力部１０
ａから取り込んだ抽象モデル画像セット５００の各モデ
ル画像から特徴点を抽出する（ステップＳ１９０２）。
ここでは、例えば、部品位置を指定して選択する方式を
採用する。

【０１６０】次に、窓画像領域切り出し部３０により、
特徴点抽出部２０によって選択された特徴点を囲む窓画
像領域を選択して切り出す（ステップＳ１９０３）。図
１８において抽象モデル画像セット５００の各モデル画
像から切り出される窓画像の位置を幾つか示したが、こ
れは説明の便宜上一例を示したのみであり、実際に切り
出されるすべての数や位置を示したものではない。

【０１６１】次に、部位窓画像分類部１２０により、各
窓画像を、モデル画像中における部位の概念に基づいて
分類した部位窓画像セットとする（ステップＳ１９０
４）。本実施形態４では上記第１の改良のもと、窓画像
のうちモデル画像中における部位の概念に基づいて部位
窓画像セットを生成する。図１８に示した例では右目の
部位窓画像セット、左目の部位窓画像セット、口の部位
窓画像セットなどが示されている。これも説明の便宜上
一例を示したのみであり、実際にセットとされる部位窓
画像セットの数や位置を示したものではない。

【０１６２】次に、低次元圧縮部４０により、部位窓画
像領域切り出し部３０が切り出した窓画像データを低次
元に圧縮する（ステップＳ１９０５）。窓画像データか
らＤＣＴ係数を計算し、直流成分を除いて低周波の係数
を適度に選択して低次元空間に圧縮する。ここでは例え
ば２０次元に圧縮する。

【０１６３】次に、低次元圧縮部４０が生成した低次元
圧縮データを、モデル画像セットとしてモデル画像セッ
ト登録部８０に格納・保持する（ステップＳ１９０
６）。ここでは、各基準サイズごとに、抽象モデル画像
セットが格納・保持される。

【０１６４】以上が、本実施形態４の画像照合処理シス
テムにおける、登録フェーズの処理である。

【０１６５】次に、抽象概念レベルで、認識対象が人の
顔画像であるか否かを認識する認識フェーズの処理手順
を図２０のフローチャートを参照しつつ示す。

【０１６６】認識対象となる認識対象画像は実施形態２
と同様、図６のものを用いる。

【０１６７】まず、図６に示した認識対象画像を画像入
力部１０ａから取り込み、顔画像領域を切り出して取り
込み、当該取り込み画像を拡大または縮小して所定数の
複数サイズの画像からなる認識対象画像セットとして入
力する（図２０ステップ２００１）。図１８の例では、
認識対象画像セットとして３つの異なるサイズの画像を
生成した。

【０１６８】次に、特徴点抽出部２０による特徴点抽出
処理（ステップＳ２００２）に関しては、登録フェーズ
のステップＳ１９０２（部品位置を指定して抽出した処
理）とは異なり、テクスチャ度を基に選択する。

【０１６９】窓画像領域切り出し部３０による窓画像領
域選択処理（ステップＳ２００３）、低次元圧縮部４０
による窓画像データの低次元圧縮処理（ステップＳ２０
０４）は、図１９の登録フェーズにおける各ステップＳ
１９０３、１９０５と同様の手順であり、ここでの説明
を省略する。なお、認識対象画像の倍率は左から１．
２、１．０、０．８とし、窓画像は１５ピクセル×１５
ピクセルで切り出し、低次元圧縮処理では同様に２０次
元に圧縮するものとする。

【０１７０】次に、特徴空間投影部５０により、登録モ
デル画像の部位窓画像の圧縮データと、認識対象画像セ
ットの窓画像の圧縮データとを低次元特徴空間に投影す
る（ステップＳ２００５）。

【０１７１】次に、この例では、重畳投票部６０ａは、
評価に先立ち、登録モデル画像の部位窓画像の圧縮デー
タの投影点集合から代表投影点を求める（ステップＳ２
００６）。この様子を概念的に示したものが図１８であ
る。図１８では、説明の便宜上、右目の部位窓画像の圧
縮データの投影点集合から代表投影点を求める例のみを
示した。まず、３つのモデル画像の右目の部位窓画像の
３つの各投影点が１８０１のように求まる。この例では
２つの投影点の位置が近く、その距離がしきい値内であ
り、他の１つの投影点の位置が遠く離れており、その距
離がしきい値内にないものとする。重畳投票部６０ａは
１８０２のように投影位置が近い２つの投影点から１つ
の代表投影点を生成し、残りの１つはそのまま代表投影
点と扱い、２つの代表投影点に集約する。

【０１７２】次に、重畳投票部６０ａは、認識対象画像
セットの画像ごとに、抽象モデル画像セットの代表投影
点と認識対象画像の投影点同士を対応づけ（ステップＳ
２００７）、対応し合う窓画像データ圧縮データ投影点
同士の相対位置を基に一つの投票平面に重畳的に投票し
てゆく（ステップＳ２００８）。１８０３ａ〜１８０３
ｃはこの様子を概念的に示したものであり、１８０３ａ
は、倍率１．２の認識対象画像との投票結果から作成し
た重畳投票結果、１８０３ｂは、倍率１．０の認識対象
画像との投票結果から作成した重畳投票結果、１８０３
ｃは、倍率０．８の認識対象画像との投票結果から作成
した重畳投票結果である。

【０１７３】次に、評価判定部７０により、重畳投票部
６０ａによる投票結果からピークを持つものを検出する
（ステップＳ２００９）。なお、ピークを持つか否かの
評価は、ピークが相対的にどの程度峻別できるかを表わ
す類似度を算出して評価する。図１８の例では、倍率
１．０の認識対象画像との重畳投票結果１８０３ｂにお
いて最も高いピークが見られる。

【０１７４】評価判定部７０は、認識対象画像と指定対
象物体との抽象概念レベルでの一致判定と、その認識対
象画像サイズの推定の２点について評価判定する（ステ
ップＳ２０１０）。図１８から分かるように、ピークが
見られたという評価判定から、認識対象画像は抽象概念
モデルと同じ抽象概念、つまり、人の顔画像であるとい
うことが判定できる。次に、重畳投票結果１８０３ｂに
おいてもっとも奇麗にピークが現れている事実から、認
識対象画像サイズが４０ピクセル×４８ピクセルである
ことが判定できる。

【０１７５】（実施形態５）本発明の画像照合処理シス
テムは、上記に説明した構成を実現する処理ステップを
記述したプログラムをコンピュータ読み取り可能な記録
媒体に記録して提供することにより、各種コンピュータ
を用いて構築することができる。本発明の画像照合処理
システムを実現する処理ステップを備えたプログラムを
記録した記録媒体は、図２１に図示した記録媒体の例に
示すように、ＣＤ−ＲＯＭ１００２やフレキシブルディ
スク１００３等の可搬型記録媒体１００１だけでなく、
ネットワーク上にある記録装置内の記録媒体１０００
や、コンピュータのハードディスクやＲＡＭ等の記録媒
体１００５のいずれであっても良く、プログラム実行時
には、プログラムはコンピュータ１００４上にローディ
ングされ、主メモリ上で実行される。

【０１７６】

【発明の効果】本発明の画像照合処理システムによれ
ば、人の顔画像など抽象概念レベルで指定を受け、入力
画像中に背景と併せて写り込んでいる認識対象物体を認
識し、画像照合処理が実行できる。

【０１７７】また、本発明の画像照合処理システムによ
れば、撮影画像中の認識対象物体の多様なサイズに対し
ても、画像照合処理を実行でき、認識対象物体の画像サ
イズを推定し、安定した精度を持って認識対象物体の画
像照合処理を実行でき、かつ、要求される登録モデルの
データ容量と画像照合処理時間を低減することができ
る。

【０１７８】また、本発明の画像照合処理システムによ
れば、撮影画像中に写り込んだ認識対象物体の画像中の
位置と大きさを推定でき、認識対象物体の画像領域を切
り出すことができる。

【０１７９】本発明の画像照合処理システムに関し、さ
らに以下の項を開示する。

【０１８０】（付記１）入力画像の中に、指定された抽
象概念に属する物体が写り込んでいるか否かを画像照合
により判断し、入力画像中に存在する認識対象を同定す
る画像照合処理システムであって、共通した抽象概念に
属する１つ以上の異なるモデル画像を集めた抽象モデル
画像セットを入力するモデル画像入力部と、認識対象物
体が含まれる認識対象画像を入力する認識対象画像入力
部と、前記抽象モデル画像セットの画像および前記認識
対象画像を、画像の特徴を表す特徴空間にその特徴量に
応じてそれぞれ投影する投影部と、前記モデル画像セッ
トのモデル画像ごとに、前記特徴空間内における当該モ
デル画像の投影点と前記認識対象画像の投影点の距離か
ら両者の類似度を評価し、各モデル画像ごとの前記評価
結果を重畳する重畳投票部と、前記重畳投票部による評
価の重畳結果をもとに、前記認識対象画像中に、前記抽
象概念に属する物体が存在していると判定する評価判定
部を備えたことを特徴とする画像照合処理システム
（１）。

【０１８１】（付記２）前記抽象モデル画像セットの画
像および前記認識対象画像から局所窓画像領域を切り出
す窓画像切り出し部を備え、前記投影部が投影する抽象
モデル画像セットの画像および前記認識対象画像が、前
記窓画像切り出し部により切り出した抽象モデル画像セ
ットの画像の窓画像および前記認識対象画像の窓画像で
あり、前記重畳投票部が評価する両者の類似度が、前記
特徴空間内において最も近傍の位置に投影されているモ
デル画像の窓画像投影点と前記認識対象画像の窓画像の
投影点同士を対応づけることによる前記対応付けられた
窓画像投影点両者の整合性であり、前記評価判定部によ
る判定処理が、前記重畳投票部による類似度評価の重畳
結果において前記モデル画像セットのモデル画像と前記
認識対象画像との一致を示す評価結果が共通に足し込ま
れて形成された所定条件を満たすピークがある場合、前
記認識対象画像中に前記抽象概念に属する物体が存在し
ていると判定する処理である上記付記１に記載の画像照
合処理システム（２）。

【０１８２】（付記３）前記窓画像切り出し部は、窓画
像の切り出し処理において、処理対象画像における画像
内の所定の相対位置から窓画像を切り出す上記付記２に
記載の画像照合処理システム。

【０１８３】（付記４）前記抽象モデル画像セットが複
数セットあり、一の抽象モデル画像セットの各モデル画
像のサイズが、他の抽象モデル画像セットの各モデル画
像サイズと異なる倍率となる関係にあり、前記重畳投票
部は、前記整合性評価の重畳結果を前記抽象モデル画像
セットごとに求め、前記評価判定部は、前記重畳投票部
が抽象モデル画像セットごとに求めた重畳結果をそれぞ
れ評価して前記認識対象画像中に、前記抽象概念に属す
る物体が存在しているか否かを判定する上記付記１から
３のいずれかに記載の画像照合処理システム（３）。

【０１８４】（付記５）前記認識対象画像入力部は、取
り込んだ認識対象物体が含まれる認識対象画像を基に所
定数の異なるサイズの認識対象画像を生成し、認識対象
画像セットとして入力し、前記重畳投票部は、前記整合
性評価の重畳結果を前記認識対象画像セットの画像ごと
に求め、前記評価判定部は、前記重畳投票部が認識対象
画像セットごとに求めた重畳結果をそれぞれ評価して前
記認識対象画像中に、前記抽象概念に属する物体が存在
しているか否かを判定する上記付記１から３のいずれか
に記載の画像照合処理システム（５）。

【０１８５】（付記６）前記窓画像切り出し部が切り出
した前記抽象モデル画像セットの各窓画像を、前記モデ
ル画像中における部位の概念に基づいて分類した部位窓
画像セットとする部位窓画像分類部を備え、前記重畳投
票部は、類似度の評価にあたり、前記特徴空間内におい
て最も近傍の位置に投影されているモデル画像の部位窓
画像セットの投影点集合と前記認識対象画像の窓画像の
投影点同士を対応づけることによる両者の整合性を評価
とした上記付記２から５のいずれかに記載の画像照合処
理システム（６）。

【０１８６】（付記７）前記部位窓画像セットの投影点
集合を代表する前記特徴量空間内の代表投影点を決定す
る代表投影点決定部を備え、前記重畳投票部は、類似度
の評価にあたり、前記特徴空間内において最も近傍の位
置に投影されている部位窓画像セットの代表投影点と前
記認識対象画像の窓画像の投影点同士を対応づけること
による両者の整合性を評価とした上記付記６に記載の画
像照合処理システム（７）。

【０１８７】（付記８）前記代表投影点決定部による代
表投影点の決定方法が、前記部位窓画像セットの投影点
集合のうちの任意の１つの投影点を選択するものである
上記付記７に記載の画像照合処理システム（８）。

【０１８８】（付記９）前記代表投影点決定部による代
表投影点の決定方法が、前記部位窓画像セットの投影点
集合に含まれる各投影点の重心を投影点とするものであ
る上記付記７に記載の画像照合処理システム（９）。

【０１８９】（付記１０）前記重畳投票部による整合性
評価の重畳結果におけるピークが表れている相対位置に
応じて、前記入力画像中における前記抽象概念に属する
認識物体が写り込んでいる画像位置を推定する上記付記
１から９のいずれかに記載の画像照合処理システム（１
０）。

【０１９０】（付記１１） 前記評価判定部は、前記重
畳投票部が抽象モデル画像セットごとに求めた重畳結果
のうち前記ピークがもっとも峻別できるピークとなって
いる抽象モデル画像セットの画像サイズを、認識対象画
像中に写り込んだ抽象概念の物体の画像サイズとして推
定する処理を備えた上記付記１０に記載の画像照合処理
システム。

【０１９１】（付記１２） 前記評価判定部は、前記重
畳投票部が抽象モデル画像セットごとに求めた重畳結果
のうち前記ピークがもっとも峻別できるピークとなって
いる抽象モデル画像セットの画像サイズを、認識対象画
像中に写り込んだ抽象概念の物体の画像サイズの粗い推
定値とする処理と、前記粗い推定値とした画像サイズで
ある抽象モデル画像セットのモデル画像と前記入力画像
から、前記粗い推定値に対する詳細サイズ補正値を算出
する処理と、前記粗い画像サイズ推定値に前記詳細サイ
ズ補正値による補正を施して前記認識対象の画像サイズ
の推定値とする処理を備えた上記付記１１に記載する画
像照合処理システム。

【０１９２】（付記１３） 前記評価判定部は、前記モ
デル画像セットを構成するモデル画像のサイズに対して
前記モデル画像セット毎の整合性の評価判定を重みとし
た重み付け平均値を計算する処理と、前記計算した重み
付け平均値を前記入力画像中に存在する認識対象の画像
サイズに対する推定値とする処理を備えた上記付記１１
に記載の画像照合処理システム。

【０１９３】（付記１４） 画像領域切り出し部を備
え、前記重畳投票部による整合性評価の重畳結果におけ
るピークが表れている相対位置に応じて、前記入力画像
中における前記抽象概念に属する認識物体が写り込んで
いる画像位置を推定し、前記画像領域切り出し部によ
り、前記推定した前記認識物体が写り込んでいる画像位
置を中心に、所定サイズの画像領域を切り出す上記付記
１１に記載の画像照合処理システム。

【０１９４】（付記１５）入力画像の中に、指定された
抽象概念に属する物体が写り込んでいるか否かを画像照
合により判断し、入力画像中に存在する認識対象を同定
する画像照合処理システムを実現する処理ステップを記
録したコンピュータ読み取り可能な記録媒体であって、
共通した抽象概念に属する１つ以上の異なるモデル画像
を集めた抽象モデル画像セットを入力するモデル画像入
力処理ステップと、認識対象物体が含まれる認識対象画
像を入力する認識対象画像入力処理ステップと、前記抽
象モデル画像セットの画像および前記認識対象画像を、
画像の特徴を表す特徴空間にその特徴量に応じてそれぞ
れ投影する投影処理ステップと、前記モデル画像セット
のモデル画像ごとに、前記特徴空間内における当該モデ
ル画像の投影点と前記認識対象画像の投影点の距離から
両者の類似度を評価し、前記各モデル画像ごとの評価を
重畳して評価をまとめる評価重畳処理ステップと、前記
評価重畳処理による評価の重畳結果をもとに、前記認識
対象画像中に、前記抽象概念に属する物体が存在してい
ると判定する評価判定処理ステップを備えた処理プログ
ラムを記録したことを特徴とする記録媒体（１１）。

【０１９５】（付記１６）入力画像の中に、指定された
抽象概念に属する物体が写り込んでいるか否かを画像照
合により判断し、入力画像中に存在する認識対象を同定
する画像照合処理システムを実現する処理ステップを記
録したコンピュータ読み取り可能な記録媒体であって、
ある抽象概念に属するモデル画像を入力するモデル画像
入力処理ステップと、認識対象物体が含まれる認識対象
画像を取り込み、所定数の異なるサイズの認識対象画像
のセットとして入力する認識対象画像入力処理ステップ
と、前記モデル画像および前記認識対象画像セットの画
像を、画像の特徴を表す特徴空間にその特徴量に応じて
それぞれ投影する投影処理ステップと、前記認識対象画
像セットの画像ごとに、前記特徴空間内における前記モ
デル画像の投影点と当該認識対象画像の投影点の距離か
ら両者の類似度を評価し、前記各認識対象画像ごとに前
記評価を重畳して評価をまとめる評価重畳処理ステップ
と、前記評価重畳処理ステップによる評価の重畳結果を
もとに、前記認識対象画像中に、前記抽象概念に属する
物体が存在していると判定する評価判定処理ステップを
備えた処理プログラムを記録したことを特徴とする記録
媒体。

【図面の簡単な説明】

【図１】 本発明の画像照合処理システムで用いる抽象
概念レベルでの画像認識・照合処理の基本原理を表わす
図

【図２】 指定認識対象物体画像領域自動切り出し処理
の基本原理を説明する図

【図３】 認識対象物体の画像サイズ推定処理の基本原
理を説明する図

【図４】 実施形態２の画像照合処理システムのブロッ
ク構成図

【図５】 画像入力部１０から入力される基準サイズモ
デル画像セットを構成するモデル画像を示す図

【図６】 画像入力部１０から入力される認識対象画像
を示す図

【図７】 各基準サイズモデル画像セットごとに、登録
モデル画像および認識対象画像の窓画像圧縮データを低
次元特徴空間に投影する様子を示した図

【図８】 低次元投影空間ごとに、対応し合う窓画像デ
ータ圧縮データ投影点同士の相対位置を基に一つの投票
平面に重畳的に投票してゆく様子を示した図

【図９】 本発明の実施形態２の画像照合処理システム
の「登録フェーズ」の処理手順を示すフローチャート

【図１０】 本発明の実施形態２の画像照合処理システ
ムの「認識フェーズ」の処理手順を示すフローチャート

【図１１】 実施形態３の画像照合処理システムのブロ
ック構成図

【図１２】 画像入力部１０から入力される基準サイズ
モデル画像セットを構成するモデル画像を示す図

【図１３】 画像入力部１０から入力される認識対象画
像を示す図

【図１４】 部位窓画像セットを導入せずに誤投票が起
こった場合の誤ったピーク生成形成を説明する図

【図１５】 部位窓画像セットを導入し、誤投票が起こ
った場合でも誤ったピーク生成形成が防止されることを
説明する図

【図１６】 部位窓画像分類部による部位窓画像のグル
ープ化と、各部位窓画像セットグループに対して代表投
影点を決定する様子を説明する図

【図１７】 本発明の実施形態４の画像照合処理システ
ムのブロック構成図

【図１８】 各認識対象画像セットごとに、登録モデル
画像および認識対象画像の窓画像圧縮データを低次元特
徴空間に投影し、対応する投影点同士の相対位置を基に
一つの投票平面に重畳的に投票してゆく様子を示した図

【図１９】 本発明の実施形態４の画像照合処理システ
ムの「登録フェーズ」の処理手順を示すフローチャート

【図２０】 本発明の実施形態４の画像照合処理システ
ムの「認識フェーズ」の処理手順を示すフローチャート

【図２１】 本発明の実施形態５のメッセージモデル変
換システムを実現する処理プログラムを格納した記録媒
体の例を示す図

【図２２】 改良局所固有空間法における「登録フェー
ズ」の処理手順を示すフローチャート

【図２３】 改良局所固有空間法における「認識フェー
ズ」の処理手順を示すフローチャート

【図２４】 （ａ）はモデル画像の例を示す図、（ｂ）
は認識対象となる画像の例を示す図

【図２５】 特徴点を基に局所領域を窓画像として選択
した様子を示す図

【図２６】 窓画像の画像上での相対位置を基に投票マ
ップ上の対応する格子に投票を行った様子を示す図

【符号の説明】

１０ 画像入力部 ２０ 特徴点抽出部 ３０ 窓画像領域切り出し部 ４０ 低次元圧縮部 ５０ 特徴空間投影部 ６０，６０ａ 重畳投票部 ６１ 代表投影点決定部 ７０ 評価判定部 ８０ モデル画像セット登録部 ９０ 認識対象物体画像サイズ推定部 １００ 画像領域切り出し部 １０１，２０１ 認識対象画像 １０２，３０２ 抽象モデル画像セット １０３ 投票空間に投票した結果 １０４，２０３，３０４ 重畳投票結果 １１０ 認識対象物体指定部 １２０ 部位窓画像分類部 ２０２ 基準サイズモデル画像セット ３０１ 入力画像 １０００ 記録装置内の記録媒体 １００１ 可搬型記録媒体 １００２ ＣＤ−ＲＯＭ １００３ フレキシブルディスク １００４ コンピュータ １００５ コンピュータのハードディスクやＲＡＭ等の
記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者 北川 博紀 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 増本 大器 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 長田 茂美 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 Ｆターム(参考） 5B057 AA20 CE09 CG05 DA11 DC33 5L096 BA18 EA35 FA25 FA26 FA70 GA51 HA09 JA04 JA11 KA15

Claims (5)

【特許請求の範囲】
1. 【請求項１】 入力画像の中に、指定された抽象概念に
   属する物体が写り込んでいるか否かを画像照合により判
   断し、入力画像中に存在する認識対象を同定する画像照
   合処理システムであって、 共通した抽象概念に属する１つ以上の異なるモデル画像
   を集めた抽象モデル画像セットを入力するモデル画像入
   力部と、 認識対象物体が含まれる認識対象画像を入力する認識対
   象画像入力部と、 前記抽象モデル画像セットの画像および前記認識対象画
   像を、画像の特徴を表す特徴空間にその特徴量に応じて
   それぞれ投影する投影部と、 前記モデル画像セットのモデル画像ごとに、前記特徴空
   間内における当該モデル画像の投影点と前記認識対象画
   像の投影点の距離から両者の類似度を評価し、各モデル
   画像ごとの前記評価結果を重畳する重畳投票部と、 前記重畳投票部による評価の重畳結果をもとに、前記認
   識対象画像中に、前記抽象概念に属する物体が存在して
   いると判定する評価判定部を備えたことを特徴とする画
   像照合処理システム。
2. 【請求項２】 前記抽象モデル画像セットの画像および
   前記認識対象画像から局所窓画像領域を切り出す窓画像
   切り出し部を備え、 前記投影部が投影する抽象モデル画像セットの画像およ
   び前記認識対象画像が、前記窓画像切り出し部により切
   り出した抽象モデル画像セットの画像の窓画像および前
   記認識対象画像の窓画像であり、 前記重畳投票部が評価する両者の類似度が、前記特徴空
   間内において最も近傍の位置に投影されているモデル画
   像の窓画像投影点と前記認識対象画像の窓画像の投影点
   同士を対応づけることによる窓画像投影点両者の整合性
   であり、 前記評価判定部による判定処理が、前記重畳投票部によ
   る類似度評価の重畳結果において前記モデル画像セット
   のモデル画像と前記認識対象画像との一致を示す評価結
   果が共通に足し込まれて形成された所定条件を満たすピ
   ークがある場合、前記認識対象画像中に前記抽象概念に
   属する物体が存在していると判定する処理である請求項
   １に記載の画像照合処理システム。
3. 【請求項３】 前記抽象モデル画像セットが複数セット
   あり、一の抽象モデル画像セットの各モデル画像のサイ
   ズが、他の抽象モデル画像セットの各モデル画像サイズ
   と異なる倍率となる関係にあり、 前記重畳投票部は、前記整合性評価の重畳結果を前記抽
   象モデル画像セットごとに求め、 前記評価判定部は、前記重畳投票部が抽象モデル画像セ
   ットごとに求めた重畳結果をそれぞれ評価して前記認識
   対象画像中に、前記抽象概念に属する物体が存在してい
   るか否かを判定する請求項１または２のいずれかに記載
   の画像照合処理システム。
4. 【請求項４】 前記重畳投票部による整合性評価の重畳
   結果におけるピークが表れている相対位置に応じて、前
   記入力画像中における前記抽象概念に属する認識物体が
   写り込んでいる画像位置を推定する請求項１から３のい
   ずれかに記載の画像照合処理システム。
5. 【請求項５】 入力画像の中に、指定された抽象概念に
   属する物体が写り込んでいるか否かを画像照合により判
   断し、入力画像中に存在する認識対象を同定する画像照
   合処理システムを実現する処理ステップを記録したコン
   ピュータ読み取り可能な記録媒体であって、 共通した抽象概念に属する１つ以上の異なるモデル画像
   を集めた抽象モデル画像セットを入力するモデル画像入
   力処理ステップと、 認識対象物体が含まれる認識対象画像を入力する認識対
   象画像入力処理ステップと、 前記抽象モデル画像セットの画像および前記認識対象画
   像を、画像の特徴を表す特徴空間にその特徴量に応じて
   それぞれ投影する投影処理ステップと、 前記モデル画像セットのモデル画像ごとに、前記特徴空
   間内における当該モデル画像の投影点と前記認識対象画
   像の投影点の距離から両者の類似度を評価し、前記各モ
   デル画像ごとの評価を重畳して評価をまとめる評価重畳
   処理ステップと、 前記評価重畳処理による評価の重畳結果をもとに、前記
   認識対象画像中に、前記抽象概念に属する物体が存在し
   ていると判定する評価判定処理ステップを備えた処理プ
   ログラムを記録したことを特徴とする記録媒体。