JP5294798B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。このような画像中から被写体を検出する技術の例としては、非特許文献１の報告がある。

この報告の中ではＡｄａＢｏｏｓｔを使って多くの弱判別器を有効に組合せて判別精度を向上させる一方、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。更に夫々の弱判別器をＨａａｒタイプの矩形特徴量で構成し、矩形特徴量の算出を、積分画像を利用して高速に行っている。このカスケード型の検出器は、まず前段の単純な（即ち計算量のより少ない）判別器を使って明らかに被写体でないパターンの候補をその場で除去する。そしてその後、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な（即ち計算量のより多い）判別器を使って被写体かどうかの判定を行っており、全ての候補に対して複雑な判定を行う必要がないので高速である。

一般に、デジタルカメラで撮影した画像内においてある被写体を探索する際、所定の大きさのサブウィンドウ（枠）を走査させ、サブウィンドウ内の画像を切り出したパターン画像に対し被写体であるか否かの２クラス判別が行われる。そのため、検出時間の短縮は早い段階でいかに被写体でないパターンを除くかにかかっている。
従来は、早い段階で高速に絞り込むために、所定の絞込み性能を実現するのに必要な演算量が最小になるような特徴量となる局所領域の位置やサイズなどを総当りで探索し、これを組み合わせることで弱判別器を構成していた。

「Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ'０１）」、"Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ"

しかしながら、更に処理速度を向上するためには、パターン画像や積分画像の読み出し、及び転送スピードがボトルネックとなっていた。

本発明はこのような問題点に鑑みなされたもので、パターン画像の読み出し及び転送スピードに着目して高速な被写体検出（被写体判定）を実現することを目的とする。

そこで、本発明の画像処理装置は、画像データを主走査方向に走査した順に第１の記憶装置に格納して記憶する第１の記憶手段と、前記第１の記憶装置から第２の記憶装置へ前記画像データにおける照合パターン領域のうち部分領域の画素情報を転送する転送手段と、前記第２の記憶装置に記憶されている前記画素情報を参照し、前記画素情報に基づいて、前記照合パターン領域が被写体領域か否かを判別する被写体判別手段と、を有し、前記被写体判別手段は、それぞれ異なる部分領域を参照する、少なくとも第１の被写体判別手段と、第２の被写体判別手段と、を含み、前記第２の被写体判別手段は、前記第１の被写体判別手段により被写体領域と判別された照合パターン領域が被写体領域か否かを判別するものであり、前記転送手段は、前記第１の被写体判別手段が参照する部分領域として、主走査方向が副走査方向より長い部分領域の画素情報を前記第１の記憶装置から前記第２の記憶装置に転送し、前記第１の被写体判別手段は、前記主走査方向が副走査方向より長い部分領域の画素情報を参照して前記照合パターン領域が被写体領域であるか否かを判別することを特徴とする。

本発明によれば、パターン画像の読み出し及び転送スピードに着目して高速な被写体検出（被写体判定）を実現することができる。

以下、本発明の実施形態について図面に基づいて説明する。

＜第１の実施形態＞
図１は、画像処理装置のハードウェア構成の一例を示す図（その１）である。
画像処理装置は、ＣＰＵ２０１、ＲＯＭ２０２、ＤＲＡＭ２０３、ドライブＩ／Ｆ２０４、ＨＤＤ２０５、画像入力装置２０６、入力装置２０８、表示装置２０９、ネットワークＩ／Ｆ２１０、これらを接続するバス２１１を介して相互にデータの入出力を行う。
ＣＰＵ２０１は、ＲＯＭ２０２やＤＲＡＭ２０３に格納されたプログラムに従って命令を実行する。ＲＯＭ２０２は、本実施形態のプログラムやその他の制御に必要なプログラムやデータを格納する。ＤＲＡＭ２０３は、一時的なデータを格納する。ドライブＩ／Ｆ２０４は、ＩＤＥやＳＣＳＩ等の外部記憶装置とのインターフェースを実現する。ＨＤＤ２０５は、画像やパターン抽出等のプログラムや、顔、非顔のサンプルパターン等を記憶する。画像入力装置２０６は、デジタルカメラやスキャナ等の装置から画像を入力する。入力装置２０８は、キーボードやマウス等、オペレータからの入力を行う。表示装置２０９は、ブラウン管や液晶ディスプレイ等、オペレータに対する表示を行う。ネットワークＩ／Ｆ２１０は、インターネットやイントラネット等のネットワークと接続を行うモデムやＬＡＮ等である。
ＣＰＵ２０１の内部には、メモリキャッシュと呼ばれる、ＤＲＡＭより高速にデータの入出力が可能なＳＲＡＭ２１３が含まれている。

図２は、画像処理装置の機能構成の一例を示した図である。
第１記憶部１０は、ＤＲＡＭ２０３の一部である第１記憶装置（第１の記憶装置）に、直交する主走査方向と副走査方向とに画素をマトリクス状に並べた２次元画像の画像データを記憶する。ここで第１記憶部１０は、入力されるＲＧＢ画像から縮小処理を行って輝度情報のみを１画素あたり８Ｂｉｔで、主走査方向を横に、副走査方向を縦にとって、画素を主走査方向に走査した順に画像データを第１記憶装置に格納（記憶）する。
第１記憶部１０が記憶する画像（画像データ）は、拡大縮小や色変換処理の他に所定の方向のエッジの強さを示すエッジ画像データや、微分、積分等の画像処理を行った１つ又は複数の画像（微分画像データ、積分画像データ）であってもよい。
第２記憶部１１は、ＳＲＡＭ２１３の一部である第２記憶装置（第２の記憶装置）に第１記憶装置に記憶されている画像の所定の領域（所定領域）のうち、被写体判別部１４における判別に必要な部分領域の画素情報を記憶する。

転送部１２は、図示しない制御部からの指示により第１記憶装置に記憶されている画像データの一部を第２記憶装置へ転送する。
被写体判別部１３、１４は、第２記憶装置に記憶されている画素情報に基づき、所定領域が被写体（被写体領域）か否かを判別する。後段である被写体判別部１４（第１の被写体判別）は、前段である被写体判別部１３（第２の被写体判別）の判別結果に基づいて起動する。
なお、図２では説明の簡略化ため２つの被写体判別部を直列２段に構成したが、更に段数があってもよい。また、被写体判別部の構成は、前段の判別部の判別結果に基づいて後段の所定の被写体判別部に分岐するようなツリー状の構成であってもよい。

次に本実施形態の処理の流れについて図３のフローチャートを用いて説明する。図３は、本実施形態の処理の流れを説明するフローチャートである。
ステップＳ３０１にて、第１記憶部１０は、画像入力装置２０６から所望の画像データをＤＲＡＭ２０３に読み込む。
ここで読み込まれた画像データは、例えば８ビットの画素により構成される２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合、第１記憶部１０は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。更に、本実施形態では第１記憶部１０は、ＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、変換した輝度データをＤＲＡＭ２０３に格納する。なお、画像データとしてＹＣｒＣｂのデータを入力する場合、第１記憶部１０は、Ｙ成分をそのまま輝度データとしてもよい。

ステップＳ３０２において、第１記憶部１０は、画像データを所定の倍率に縮小した輝度画像データを生成する。これは、本実施形態では様々な大きさの顔の検出に対応するため複数のサイズの画像データに対して順次検出を行うようにしたためである。例えば、第１記憶部１０は、倍率が１．２倍程度異なる複数の画像への縮小処理を、後段の検出処理のために順次実行する。
ステップＳ３０３において、第１記憶部１０は、多重解像度用画像を作成する。この処理はパターン領域の画像を１／２、１／４に縮小したパターン画像を高速に得るための処理である。
この処理の様子を図４に示す。図４は、多重解像度用画像の作成を説明するための図である。図４の様に第１記憶部１０は、縮小画像４００全体に対してフィルタ４０１によりコンボリュージョンをかけて１／２解像度用画像４０２を生成する。
更に、第１記憶部１０は、１／２解像度用画像４０２にフィルタ４０３でコンボリュージョンをかけて１／４解像度用画像４０４を生成する。

ステップＳ３０４において、第１記憶部１０は、縮小された輝度画像データ上に所定の大きさの部分領域を設定する。この様子を図５に示す。図５は、部分領域の設定を説明するための図である。
図５のＡの列はステップＳ３０２で縮小されたそれぞれの縮小画像を示しており、第１記憶部１０は、それぞれの縮小画像に対して所定の大きさの矩形領域を切り出すものとする。図５のＢは、第１記憶部１０がそれぞれの縮小画像から縦横順次に走査を繰り返していく途中の設定の様子を示すものである。図から分かるように、縮小率の大きな画像から照合パターン領域（照合パターン）を設定して顔の判別を行う場合には、画像に対して大きな顔の検出を行うことになる。

ステップＳ３０５において、例えば被写体判別部１３及び被写体判別部１４は、照合パターンが顔パターンか非顔パターンかを判別する。
以上、Ｓ３０４からＳ３０６までの処理が、ステップＳ３０２の出力である縮小輝度画像に対して図５に示すように所定のステップにおいて縦横順次に走査が繰り返される。また、倍率が異なる縮小処理が順次適用され、Ｓ３０２からＳ３０６までの処理が繰り返される。
ステップＳ３０７において、例えば制御部は、以上の繰り返し走査が完了したか判断し、完了した場合、ステップＳ３０８において、顔と判別されたパターンを表示装置２０９へ顔領域として出力する。
図６は、表示装置２０９に表示される画面の一例を示す図である。図６は、入力画像６０１に顔の検出結果を重畳して出力した画面表示の一例となっている。６０２、６０３は、被写体判別部によって抽出された顔パターンで、その位置と大きさとが示された枠である。また、ボタン６０４は、被写体判別処理の終了ボタンである。

次に、ステップＳ３０５における顔判別の処理についてより詳細を説明する。
顔判別は図２に示したように複数の被写体判別部を直列に接続することで実現する。前段の被写体判別部１３に入力されたパターンデータ（照合パターン）が被写体（顔パターン）であるか否かを判定し、被写体であった場合にのみ後段の被写体判別部１４で同じパターンデータが被写体であるか否かの判定を前段より高い精度で行う。各被写体判別部及びその内部の弱判別部は同様な構成であり、各部の数や判別パラメータが異なるのみである。

各被写体判別部の詳細について説明する。図７は、各被写体判別部の詳細を説明するための図である。各被写体判別部は複数の弱判別部７０１〜７０３で構成され、各々が出力する被写体尤度を加算部７０４で統合し、閾値処理部７０５で閾値処理（閾値判定）を行い、判定に基づき、被写体であるか否かを出力する。
次に、各弱判別部の構成について説明する。図８は、各弱判別部の詳細を説明するための図である。弱判別部は、局所領域抽出部８０１と、特徴量算出部８０２と、被写体信頼度変換部８０３と、から構成される。各々の部へは判別情報格納部８０４から判別パラメータが供給される。

次に、判別情報格納部８０４に格納されている判別パラメータについて図９を用いて説明する。図９は、判別パラメータの一例を示す図である。
判別パラメータは、被写体判別部数９０１と、被写体判別部数９０１分の被写体判別パラメータ９０２と、が結合されたものである。各々の被写体判別パラメータ９０２は、１つの被写体判別部に関するパラメータが格納されている。各々の被写体判別パラメータ９０２は、弱判別部数９０３と、弱判別部数９０３分の弱判別パラメータ９０４と、閾値９０５と、が結合されたものである。各々の弱判別パラメータ９０４は、１つの弱判別部に関するパラメータが格納されている。各弱判別パラメータ９０４は、それぞれの局所領域の画素数９０６と、局所領域の画素番号を列挙した画素番号リスト９０７と、画素数９０６に等しい行数＊１列の行列である特徴抽出フィルタ９０８と、を含む。また、各弱判別パラメータ９０４は、特徴量から被写体の信頼度への変換テーブルである被写体信頼度変換ルックアップテーブル（被写体信頼度変換ＬＵＴ）９０９を含む。

画素番号は、図１０に示すように、本実施形態では顔パターンは目、口を含む２０画素＊２０画素のパターンとなっている。また、これを更に１／２に縮小し、１０画素＊１０画素にしたパターンと、１／４に縮小して５画素＊５画素にしたパターンとに、それぞれの画素に対して１から５２５までの画素番号が付与されている。このように画像処理装置が画像を多重解像にすることによって以下の２つのメリットを併せ持つことができる。即ち、低解像度側では顔を構成する器官同士の位置関係を効率よく照合でき、高解像度側では顔を構成する器官の部分的特徴を精度よく照合できる。

次に図１１を用いて顔判別処理の流れを詳細に説明する。図１１は、顔判別処理の一例を示すフローチャートである。
ステップＳ１１０１において、被写体判別部は、被写体判別部ループカウンタＮを初期化する。
ステップＳ１１０２において、弱判定部は、弱判別部ループカウンタｔを初期化する。
ステップＳ１１０３において、弱判定部は、転送部１２に対して、画素番号リスト９０７に基づいてパターン中の参照画素をＤＲＡＭ２０３からＳＲＡＭ２１３に転送するよう要求する。転送部１２は、この要求に基づき、パターン中の参照画素をＤＲＡＭ２０３からＳＲＡＭ２１３に転送する。

ここでパターンを縮小した画素の読み込み方法について図４を用いて説明する。なお、図４では説明のためパターンのサイズを８＊８画素としている。１／２解像度用画像４０２及び１／４解像度用画像４０４は縮小画像４００と同じ縦横サイズである。例えば縮小画像４００から８＊８画素のパターン領域４０５の画素を参照するとき、この１／２の４＊４画素のパターン画像４０６は、１／２解像度用画像４０２の黒点で示すように同じ領域から２画素置きに画素を参照したものに等しい。同様にパターンの１／４の２＊２画素のパターン画像４０７は、１／４解像度用画像４０４の同じ領域から４画素置きに画素を参照したものに等しい。

ステップＳ１１０４において、特徴量算出部８０２は、局所特徴量を算出する。特徴量算出部８０２は、局所特徴量ｕｔを以下の（式１）によって求める。
Ｕ_t,N ＝φ_t、_N ^Tｚ_t,N ・・・ （式１）
ここで添え字_t,Nは、Ｎ番目の被写体判別部のｔ番目の弱判別部を示す。
Ｕ_t,Nは局所特徴量を示す数値であり、
φ_t,Nは特徴抽出フィルタ９０８であり、
ｚ_t,Nは局所領域抽出部８０１によって得られる画素番号リスト９０７で示されるパターン又は縮小パターン上の画素の輝度を要素とする画素数に等しい行数で１列の行列である。

次にステップＳ１１０５において、被写体信頼度変換部８０３は、以下の（式２）の様に局所特徴量Ｕ_t,Nから被写体信頼度に変換する。
Ｈ_t,N ＝ ｆ_t,N（Ｕ_t,N） ・・・ （式２）
但し、Ｈ_t、_Nは被写体信頼度の出力である。
ここで、ｆ_t,Nは、被写体信頼度変換ルックアップテーブル９０９を使って、局所特徴量Ｕ_t,Nからテーブル変換によって被写体信頼度に変換し、弱判別部の出力とする。
被写体信頼度変換部８０３は、局所特徴量Ｕ_t,Nが変換テーブルの上限又は下限を超えている場合はそれぞれ、上限値、下限値にしたうえで、テーブルを参照し被写体信頼度を得る。

次にステップＳ１１０６において、被写体判定部は、最後の弱判別部になるまでステップＳ１１１１で弱判別部番号ｔをインクリメントしながらステップＳ１１０４〜ステップＳ１１０６の処理を繰り返す。
被写体判定部は、最後の弱判別部まで被写体信頼度を求めた場合、ステップＳ１１０７に進み、加算部７０４は、以下の（式３）のように被写体信頼度の総和を求める。
Ｈ ＝ Σ_tＨ_t、_N ・・・ （式３）

次にステップＳ１１０８において、閾値処理部７０５は、前ステップで求めた総和の閾値比較（以下の（式４））によって被写体か否かの判定を行う。
Ｈ≧Ｔ_hN ・・・ （式４）
閾値処理部７０５は、顔でないと判定した場合は、顔でないとして終了する。
閾値処理部７０５は、顔であると判定した場合は、ステップＳ１１０９に進む。ステップＳ１１０９において、例えば、被写体判別部は、最後の被写体判別部の判定を終わるまでステップＳ１１１２で被写体判別部番号ＮをインクリメントしながらステップＳ１１０２〜ステップＳ１１０９の処理を繰り返す。
例えば、被写体判別部は、最後の被写体判別部まで全て顔と判定した場合にのみ最終的に顔であると判定し、ステップＳ１１１０に進み、パターンの位置を記憶して図１１に示す被写体判定処理を終了する。

なお、本実施形態では、局所特徴量として、照合パターンのうち、所定解像度、所定サイズ、所定形状の局所領域における線形識別特徴を用いるものとする。
局所領域としては、例えば、図１２に示すように照合パターンＦが２０×２０画素からなる輝度パターンであるとすると、その一部である５×５画素の正方形の局所領域Ｐ等である。この場合、照合パターン内の全ての位置において同様の局所領域Ｐを設定すると、２５６の局所領域が考えられる。
なお、画像処理装置は、図１３のＰ１、Ｐ２、Ｐ３に示すように横長の矩形、縦長の矩形、楕円等様々な形状及びサイズの局所領域から得られたものを組合せて用いてもよい。また、画像処理装置は、元の照合パターンを縮小して様々な低解像度の照合パターンを作成し、各解像度の照合パターン中の局所領域を組み合せて用いてもよい。また、画像処理装置は、複数の乖離した領域・画素を用いてもよい。

メモリ転送コストを削減するためには、呼び出し回数の多い前段側の被写体判別部の局所領域が参照する画素を工夫すると効果が大きい。
例えば、前段側の被写体判別部（図２の被写体判別部１３）が参照する画素を、横長の部分領域のみで構成する。つまり、例えば、転送部１２は、前段側の被写体判別部が参照する画素として、主走査方向に長い部分領域の画素の情報（画素情報）をＤＲＡＭ２０３からＳＲＡＭ２１３に転送する。そして、前段側の被写体判別部は、この画素情報を参照し、上述したような判別に係る処理を実行する。
これにより前段側の被写体判別部は、主走査方向に連続した画素を参照できるためバスで一度に転送可能なビット幅を最大限活用することができる。

図１４は、最初の被写体判別部の全ての弱判別部が参照する画素を示した図である。１４０１は、１０＊１０の解像度の黒く示した画素で、顔で言えば両目にあたる６画素を参照している。一方、１４０２は、同じ判別性能の被写体判別部の全ての弱判別部が参照する画素が、横長の局所領域のみで構成されている。画素数では１４０２の方が多くなっているため演算コストが増加するが、横方向に長いので転送コストが少ないため全体としては１４０２のほうが高速に判別処理を実行することができる。
また、参照する画素を、主走査方向へ投影した時の画素数が、所定領域の副走査方向の画素数の半分より少なくなるように構成してもよい。例えば参照画素の縦方向の座標が偶数番目のみの画素のみを使用するようにする。

図１５は、前段側の被写体判別部が参照する局所領域の一例を示す図である。１５０１は、ある被写体判別部の全ての弱判別部が参照するパターン中の画素を黒で示したものである。１５０２は、１５０１を主走査方向へ投影したものである。即ち対応する行で黒い画素があれば黒、そうでない場合は白である。この投影した画素のうち黒い画素が少ないほど転送コストは少ない。
これにより、ＤＲＡＭ２０３からのデータ入出力ではバースト転送によって連続したメモリを一括して読み出すことが可能であるので、照合パターンを横１行ごとにバースト転送する場合にバースト転送の回数を削減することができる。
なお、ＳＲＡＭ２１３に記憶した照合パターンの画素データは、Ｓ１１０６及びＳ１１０６、Ｓ３０６で構成されるループの間、メモリサイズに応じて一度転送したデータを記憶し続けることで、転送コストを削減することができる。照合パターン領域を横に１画素ずらして設定して判定（判別）するとき、パターン領域の大部分はオーバーラップするので、再利用することができる。よって、画像の主走査方向に長いバンドバッファを用いてもよい。

また、参照する照合パターンの解像度を限定してもよい。例えば、２０＊２０を１０＊１０に縮小したパターンのみで判定を行うことは有効である。１／２解像度用画像で参照する画素は隣り合っていないが、このとき縦、つまり副走査方向で１つ飛びにすることで転送コストを抑えることができる。また、横、つまり主走査方向の画素は１画素飛びでなく連続して転送することで、パターン領域を横に１画素ずらして設定したときに新たに転送することなく利用することができる。
特徴量を非特許文献１のような矩形領域の組み合わせによって獲得する場合にも本実施形態を適用可能である。非特許文献１では矩形領域の画素の合計を、積分画像を用いることで高速に求めることができる。即ち矩形の頂点に相当する４画素について積分画像を参照し、４点の積分値の和差演算によって得ることができる。この場合は、メモリ転送が必要なのは１つの矩形につき４点だけであるので、この点が前記参照画素に相当する。

なお、ステップＳ３０４での照合パターン領域の設定は画像を全て走査する必要はない。
例えば、顔であれば肌色を多く含む領域のみを探索したり、隣接画素間で輝度変化の少ない壁のような画像領域を除くことで高速化したりすることができる。また、動画に適用した場合には時系列に並んだ画像のうち時間的に近い近隣画像は画像内容に相関が高いことを利用して、近隣画像における被写体の位置情報や、近隣画像から動きがあった領域等に限定することで更なる高速化ができる。
このような高速化手法と組み合わせた場合には、パターン領域の走査が非連続になるため、本実施形態による効果は更に増す。

＜第２の実施形態＞
図１６は、画像処理装置のハードウェア構成の一例を示す図（その２）である。第１の実施形態と共通する部分には同じ番号を付与している。
ハードウェア構成としては本実施形態に係るプログラムを記録したＤＶＤ又はＣＤのような光ディスク２１２を追加し、ドライブインターフェース２０４にＣＤ／ＤＶＤドライブ等の外部記憶読書装置２１４が接続されているところが第１の実施形態と異なる。
本実施形態に係るプログラムを記録した光ディスク２１２を外部記憶読書装置２１４に挿入するとＣＰＵ２０１は記録媒体からプログラムを読み取って、ＤＲＡＭ２０３に展開することで、第１の実施形態と同様の処理を実現することができる。

＜第３の実施形態＞
上述した実施形態では顔抽出を例に説明を行ったが、上述した構成及び処理は、顔以外の任意の物体に対しても適用することができる。例えば、人体全身、人体上半身、生物、自動車等がある。工業、流通分野等では生産物、部品、流通物品等の同定や検査等に適用することができる。

＜その他の実施形態＞
また、本発明の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理手段（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は本発明を構成することになる。

また、システム或いは装置の前記中央演算処理手段が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。

本発明を前記記憶媒体に適用する場合、その記憶媒体（コンピュータ読み取り可能な記憶媒体）には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

以上、上述した各実施形態によれば、パターン画像の読み出し及び転送スピードに着目して高速な被写体検出（被写体判定）を実現することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、ＳＲＡＭの一部を第１の記憶装置として利用し、ＣＰＵ２０１のレジスタを第２の記憶装置として利用してもよい。第１の記憶装置に比べて、第２の記憶装置のアクセスが高速であれば、どのようなメモリを使用してもよい。

画像処理装置のハードウェア構成の一例を示す図（その１）である。 画像処理装置の機能構成の一例を示した図である。 本実施形態の処理の流れを説明するフローチャートである。 多重解像度用画像の作成を説明するための図である。 部分領域の設定を説明するための図である。 表示装置２０９に表示される画面の一例を示す図である。 各被写体判別部の詳細を説明するための図である。 各弱判別部の詳細を説明するための図である。 判別パラメータの一例を示す図である。 多重解像度化したパターンと画素番号との関係を示す図である。 顔判別処理の一例を示すフローチャートである。 顔の局所領域の一例を示す図である。 顔の別の局所領域の一例を示す図である。 最初の被写体判別部の全ての弱判別部が参照する画素を示した図である。 前段側の被写体判別部が参照する局所領域の一例を示す図である。 画像処理装置のハードウェア構成の一例を示す図（その２）である。

符号の説明

２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＤＲＡＭ
２１３ ＳＲＡＭ

Claims (8)

1. 画像データを主走査方向に走査した順に第１の記憶装置に格納して記憶する第１の記憶手段と、
   前記第１の記憶装置から第２の記憶装置へ前記画像データにおける照合パターン領域のうち部分領域の画素情報を転送する転送手段と、
   前記第２の記憶装置に記憶されている前記画素情報を参照し、前記画素情報に基づいて、前記照合パターン領域が被写体領域か否かを判別する被写体判別手段と、
   を有し、
   前記被写体判別手段は、それぞれ異なる部分領域を参照する、少なくとも第１の被写体判別手段と、第２の被写体判別手段と、を含み、前記第２の被写体判別手段は、前記第１の被写体判別手段により被写体領域と判別された照合パターン領域が被写体領域か否かを判別するものであり、
   前記転送手段は、前記第１の被写体判別手段が参照する部分領域として、主走査方向が副走査方向より長い部分領域の画素情報を前記第１の記憶装置から前記第２の記憶装置に転送し、
   前記第１の被写体判別手段は、前記主走査方向が副走査方向より長い部分領域の画素情報を参照して前記照合パターン領域が被写体領域であるか否かを判別することを特徴とする画像処理装置。
2. 前記画素情報は、前記画像データの輝度情報であることを特徴とする請求項１に記載の画像処理装置。
3. 前記画素情報は、所定のフィルタでコンボリュージョンを行った画像データ、微分画像データ、積分画像データの１つ又は複数を含むことを特徴とする請求項１に記載の画像処理装置。
4. 画像処理装置における画像処理方法であって、
   画像データを主走査方向に走査した順に第１の記憶装置に格納して記憶する第１の記憶ステップと、
   前記第１の記憶装置から第２の記憶装置へ前記画像データにおける照合パターン領域のうち部分領域の画素情報を転送する転送ステップと、
   前記第２の記憶装置に記憶されている前記画素情報を参照し、前記画素情報に基づいて、前記照合パターン領域が被写体領域か否かを判別する被写体判別ステップと、
   を含み、
   前記被写体判別ステップは、それぞれ異なる部分領域を参照する、少なくとも第１の被写体判別ステップと、第２の被写体判別ステップと、を含み、前記第２の被写体判別ステップでは、前記第１の被写体判別ステップにより被写体領域と判別された照合パターン領域が被写体領域か否かを判別し、
   前記転送ステップでは、前記第１の被写体判別ステップにおいて参照される部分領域として、主走査方向が副走査方向より長い部分領域の画素情報を前記第１の記憶装置から前記第２の記憶装置に転送し、
   前記第１の被写体判別ステップでは、前記主走査方向が副走査方向より長い部分領域の画素情報を参照して前記照合パターン領域が被写体領域であるか否かを判別することを特徴とする画像処理方法。
5. 前記画素情報は、前記画像データの輝度情報であることを特徴とする請求項４に記載の画像処理方法。
6. 前記画素情報は、所定のフィルタでコンボリュージョンを行った画像データ、微分画像データ、積分画像データの１つ又は複数を含むことを特徴とする請求項４に記載の画像処理方法。
7. コンピュータを、
   画像データを主走査方向に走査した順に第１の記憶装置に格納して記憶する第１の記憶手段と、
   前記第１の記憶装置から第２の記憶装置へ前記画像データにおける照合パターン領域のうち部分領域の画素情報を転送する転送手段と、
   前記第２の記憶装置に記憶されている前記画素情報を参照し、前記画素情報に基づいて、前記照合パターン領域が被写体領域か否かを判別する被写体判別手段と、
   して機能させ、
   前記被写体判別手段は、それぞれ異なる部分領域を参照する、少なくとも第１の被写体判別手段と、第２の被写体判別手段と、を含み、前記第２の被写体判別手段は、前記第１の被写体判別手段により被写体領域と判別された照合パターン領域が被写体領域か否かを判別するものであり、
   前記転送手段は、前記第１の被写体判別手段が参照する部分領域として、主走査方向が副走査方向より長い部分領域の画素情報を前記第１の記憶装置から前記第２の記憶装置に転送し、
   前記第１の被写体判別手段は、前記主走査方向が副走査方向より長い部分領域の画素情報を参照して前記照合パターン領域が被写体領域であるか否かを判別することを特徴とするプログラム。
8. 請求項７に記載のプログラムを記憶したコンピュータにより読み取り可能な記憶媒体。

Images