JP5258506B2

JP5258506B2 - 情報処理装置

Info

Publication number: JP5258506B2
Application number: JP2008274443A
Authority: JP
Inventors: 哲八代
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-10-24
Filing date: 2008-10-24
Publication date: 2013-08-07
Anticipated expiration: 2028-10-24
Also published as: JP2010102568A; US20100119107A1; US8526738B2

Description

本発明は、情報処理装置に関する。

画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。このような画像中から被写体を検出する技術の例としては、非特許文献１の報告がある。
この報告の中ではＡｄａＢｏｏｓｔを使って多くの弱判別器を有効に組合せて判別精度を向上させる一方、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。更に夫々の弱判別器をＨａａｒタイプの矩形特徴量で構成し、矩形特徴量の算出を、積分画像を利用して高速に行っている。このカスケード型の検出器は、まず前段の単純な（即ち計算量のより少ない）判別器を使って明らかに被写体でないパターンの候補をその場で除去している。そして、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な（即ち計算量のより多い）判別器を使って被写体かどうかの判定を行っており、全ての候補に対して複雑な判定を行う必要がないので高速である。

一般に、デジタルカメラで撮影した画像内においてある被写体を探索する際、所定の大きさのサブウィンドウ（枠）を走査させ、サブウィンドウ内の画像を切り出したパターン画像に対し被写体であるか否かの２クラス判別が行われる。そのため、検出時間の短縮は早い段階でいかに被写体でないパターンを除くかにかかっている。
従って、ハードウェア実装において高速化を図るには前段ほど並列度を高くしなければならない。しかしながら、従来は検出に必要な演算処理の総数の低減が着目されていた。
また、並列処理を簡単な回路構成で行うハードウェア実装方法に関するものに例えば、特許文献１がある。これは検出処理とこれを統合する統合処理とを複数並列動作させるとき、検出処理部と統合処理結果のメモリとを所定のタイミングで全て接続することで、単純な回路構成を実現するものである。

特開２００２−３５８５００号公報「ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ'０１）」、"ＲａｐｉｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｕｓｉｎｇＢｏｏｓｔｅｄＣａｓｃａｄｅｏｆＳｉｍｐｌｅＦｅａｔｕｒｅｓ"

しかしながら、被写体パターンを自動的に検出すると、実際には、検出対象や、入力画像によって前段で除かれないサブウィンドウの頻度、言い換えると、前段で被写体である可能性が高いと判定されたサブウィンドウの通過率の設計値に対して変動が発生する。このため、設計値に基づいて並列度を決定していては、後段の負荷が増えて、パイプライン処理がストールしたり、またあるときには、負荷が軽いため回路が稼動しなかったりする問題があり、ハードウェアリソースを効率よく稼動させた処理を行うことができなかった。

本発明はこのような問題点に鑑みなされたもので、ハードウェアリソースを有効に活用し、高速な情報処理を実現することを目的とする。

そこで、本発明の情報処理装置は、複数段の情報処理を実行する情報処理装置であって、前記複数段の情報処理の各段の通過率を取得する取得手段と、情報を処理し、処理結果を出力する複数の処理手段と、前記複数段の通過率に基づいて、前記複数段の各段で並列に実行すべき処理手段の個数を決定する決定手段と、前記決定手段により決定された個数に基づいて、前記複数の処理手段を前記複数段の情報処理の各段に割り当てる割当手段と、を有することを特徴とする。

本発明によれば、ハードウェアリソースを有効に活用し、高速な情報処理を実現することができる。

以下、本発明の実施形態について図面に基づいて説明する。

＜第１の実施形態＞
（画像処理装置の概要構成）
図１は、情報処理装置の一例である画像処理装置の機能構成の概要を示す図である。
図１に示されるように、情報処理装置は、制御部と、変更部と、処理部と、統合部と、を有する。なお、各部における処理の詳細は、後述する。

（ハードウェア構成）
図２は、画像処理装置のハードウェア構成の一例を示す図である。
画像処理装置は、複数のＰＥ（プロセッサエレメント）２００、ＳＲＡＭ２０１、ＤＲＡＭ２０２、ＣＰＵ２０５、ＲＯＭ２０６、Ｉ／Ｏポート２０７、これらを接続するバス２０８を介して相互にデータの入出力を行う。
ＰＥ２００は、並列処理によって所定の単位の処理を行う処理部を実現する。ＳＲＡＭ２０１は各ＰＥに共通の情報を格納する。ＤＲＡＭ２０２は、画像処理装置が検出する被写体を定義した判別情報２０３、画像処理装置に入力された画像データ（画像）２０４、通過率２０９を含む情報を一時的に記憶する。ＣＰＵ２０５は、ＰＥ２００の並列処理の各種制御やＰＥの処理結果の統合、画像処理や、各部へのデータの入出力を制御する。ＲＯＭ２０６は、本実施形態に係るプログラムや、その他の制御に必要なプログラム、検出する被写体の種類ごとの判別情報、その他のデータを格納する。Ｉ／Ｏポート２０７は、外部システムと画像データや処理結果を入出力する。
なお、複数のＰＥ２００は、それぞれ同じ処理性能を有する回路で構成される。

（機能構成の一例）
図３は、画像処理装置の機能構成の一例を示す図である。
まず、画像入力部３０１は、画像データを入力する。ここで入力される画像データは、例えば８ビットの画素により構成される２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合、画像入力部３０１は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。更に、本実施形態では画像入力部３０１は、ＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、画像メモリ２０に格納する。画像データとしてＹＣｒＣｂのデータを入力する場合、画像入力部３０１は、Ｙ成分をそのまま輝度データとしてもよい。
次に、画像縮小部３０２は、画像データを所定の倍率に縮小した輝度画像データを生成する。これは、本実施形態では様々な大きさの顔の検出に対応するため複数のサイズの画像データに対して順次検出を行うようにしたためである。例えば、倍率が１．２倍程度異なる複数の画像への縮小処理が後段の検出処理のために順次、画像縮小部３０２において実行される。

次に、多重解像度用画像作成部３０３は、多重解像度用画像を作成する。この処理は、パターン領域の画像を１／２、１／４に縮小したパターン画像を高速に得るためのものである。
この処理の様子を図４に示す。図４は、多重解像度用画像の作成の一例を示す図である。図４の様に多重解像度用画像作成部３０３は、縮小画像４００全体に対してフィルタ４０１によりコンボリュージョンをかけて１／２解像度用画像４０２を生成する。
更に、多重解像度用画像作成部３０３は、１／２解像度用画像４０２にフィルタ４０３でコンボリュージョンをかけて１／４解像度用画像４０４を生成する。

次に、部分領域設定部３０４は、縮小された輝度画像データ上に所定の大きさの部分領域を設定する。この様子を図５に示す。図５は、部分領域の設定の一例を示す図である。図５のＡの列は画像縮小部３０２で縮小されたそれぞれの縮小画像を示している。部分領域設定部３０４は、それぞれの縮小画像に対して所定の大きさの矩形領域を切り出すものとする。図５のＢは、それぞれの縮小画像から縦横順次に走査を繰り返していく途中の設定の様子を示すものである。図から分かるように、縮小率の大きな画像から照合パターン領域を設定して顔の判別を行う場合、画像に対して大きな顔の検出を行うことになる。
次に、被写体判定部３０５は、照合パターンが顔パターンか非顔パターンかを判別する。この処理の詳細については後述する。部分領域設定部３０４の繰り返し走査が完了した場合、重複情報処理部３０６は、被写体と判定した部分領域の重複処理を行う。これは、実際の被写体に対して、その近隣の複数の部分領域が被写体と判定されるため、これらを１つにまとめるものである。

次に出力部３０７は、顔と判別されたパターンを表示装置へ顔領域として出力する。
図６は、表示画面の一例を示す図である。入力画像６０１に顔の検出結果を重畳して出力した画面表示の一例である。６０２、６０３は被写体判別部によって抽出された顔パターンで、その位置と大きさとが示された枠である。また、ボタン６０４は、被写体判別処理の終了ボタンである。

（被写体判定部）
次に、被写体判定部３０５における被写体判定の方法についてより詳細に説明する。図７は、被写体判定部３０５の一例を示す図である。被写体判定は、複数の被写体判別部を直列に接続することで実現される。前段の被写体判別部７００に入力されたパターンデータが被写体であるか否かを判定し、被写体であると判定した場合にのみ後段の被写体判別部７０１が同じパターンデータが被写体であるか否かの判定を前段より高い精度で行う。各被写体判別部及びその内部の弱判別部は同様な構成であり、各部の数や判別パラメータが異なるのみである。前段より後段の方が多くの弱判別部で構成される。

次に、被写体判別部７００をより詳細に説明する。図８は、各被写体判別部の一例を示す図である。各被写体判別部は、複数の弱判別部８００、８０１と、これらの出力を統合する統合部８０２と閾値情報処理部８０３とで構成される。弱判別部の数は被写体判別部によって異なり、後段の被写体判別部ほど数が多い傾向となる。
弱判別部８００、８０１は、各々がパターン（パターンデータ）を異なる方法で評価して被写体尤度（処理結果）を出力する。弱判別部８００、８０１は、処理に用いる判別情報が異なるのみであり、構成は同じである。この処理の詳細については後述する。
統合部８０２は、各被写体判別部内の複数の弱判別部８００、８０１が出力する被写体尤度の総和を求める。
Ｈ＝Σ_tＨ_t,N ・・・（式１）
ここで添え字_t,Nは、Ｎ番目の被写体判別部のｔ番目の弱判別部を示す。
Ｈ_t,Nは、弱判別部の出力する被写体尤度である。

閾値情報処理部８０３は、（式２）のように被写体尤度の総和と所定の閾値との比較を行い、真であれば被写体であり、偽であれば被写体でないと判断し、結果を出力する。
Ｈ≧Ｔｈ_N ・・・（式２）
ここで、Ｔｈ_Nは閾値である。

（弱判別部）
次に、各弱判別部８００について説明する。図９は、各弱判別部の一例を示す図である。弱判別部は、局所領域抽出部９０１と、特徴量算出部９０２と、被写体信頼度変換部９０３と、から構成される。各々の部へは判別情報格納部９０４から判別情報２０３の一部が供給される。

次に、判別情報格納部９０４に格納される判別情報２０３について説明する。図１０は、判別情報２０３の一例を示す図である。
判別情報２０３は、ある特定の被写体を検出するのに必要な情報であり、被写体判別部数１００１と、その数分の被写体判別パラメータ１００２と、が結合されたものである。
各々の被写体判別パラメータ１００２は、１つの被写体判別部に関するパラメータが格納される。各々の被写体判別パラメータ１００２は、弱判別部数１００３と、弱判別部数１００３数分の弱判別パラメータ１００４と、閾値１００５と、が結合されたものである。
各々の弱判別パラメータ１００４は、１つの弱判別部に関するパラメータが格納される。各弱判別パラメータ１００４は、それぞれの局所領域の画素数１００６と、局所領域の画素番号を列挙した画素番号リスト９０５と、画素数１００６に等しい行数＊１列の行列である特徴抽出フィルタ９０６と、を含む。また、各弱判別パラメータ１００４は、特徴量から被写体の信頼度への変換テーブルである、被写体信頼度変換ルックアップテーブル９０７を含む。

画素番号は、図１１に示すように、本実施形態では顔パターンは目、口を含む２０画素＊２０画素のパターンとなっている。また、これを更に１／２に縮小し、１０画素＊１０画素にしたパターンと、１／４に縮小して５画素＊５画素にしたパターンとに、それぞれの画素に対して１から５２５までの画素番号が付与されている。このように画像処理装置が画像を多重解像にすることによって以下の２つのメリットを併せ持つことができる。即ち、低解像度側では顔を構成する器官同士の位置関係を効率よく照合でき、高解像度側では顔を構成する器官の部分的特徴を精度よく照合できる。
局所領域抽出部９０１は画素番号リスト９０５に基づいてパターン中の参照画素を読み込む。

ここでパターンを縮小した画素の読み込み方法について図４を用いて説明する。なお、図４では説明のためパターンのサイズを８＊８画素としている。１／２解像度用画像４０２及び１／４解像度用画像４０４は縮小画像４００と同じ縦横サイズである。例えば縮小画像４００から８＊８画素のパターン領域４０５の画素を参照するとき、この１／２の４＊４画素のパターン画像４０６は、１／２解像度用画像４０２の黒点で示すように同じ領域から２画素置きに画素を参照したものに等しい。同様にパターンの１／４の２＊２画素のパターン画像４０７は、１／４解像度用画像４０４の同じ領域から４画素おきに画素を参照したものに等しい。

特徴量算出部９０２は、局所特徴量を算出する。特徴量算出部９０２は、局所特徴量ｕｔを（式３）によって求める。
Ｕ_t,N＝φ_t、_N ^Tｚ_t,N ・・・（式３）
ここで添え字_t,Nは、Ｎ番目の被写体判別部のｔ番目の弱判別部を示す。
Ｕ_t,Nは、局所特徴量を示す数値であり、
φ_t,Nは、特徴抽出フィルタ９０６であり、
ｚ_t,Nは、局所領域抽出部９０１によって得られる画素番号リスト９０５で示されるパターン又は縮小パターン上の画素の輝度を要素とする画素数に等しい行数で１列の行列である。

次に被写体信頼度変換部９０３は、（式４）の様に局所特徴量Ｕｔ，Ｎから被写体信頼度に変換する。
Ｈ_t,N＝ｆ_t,N（Ｕ_t,N）・・・（式４）
但しＨ_t、_Nは、被写体信頼度である。
但し、Ｈ_t、_Nは被写体信頼度の出力である。
ここで、ｆ_t,Nは、被写体信頼度変換ルックアップテーブル９０７を使って、局所特徴量Ｕ_t,Nからテーブル変換によって被写体信頼度に変換し、弱判別部の出力とする。
被写体信頼度変換部９０３は、局所特徴量Ｕ_t,Nが変換テーブルの上限又は下限を超えている場合はそれぞれ、上限値、下限値にしたうえで、テーブルを参照し被写体信頼度を得る。

（局所特徴量）
本実施形態では、局所特徴量として、照合パターンのうち所定解像度、所定サイズ、形状の局所領域における線形識別特徴を用いる。
局所領域としては、例えば、図１２に示すように照合パターンＦが２０×２０画素からなる輝度パターンであるとすると、その一部である５×５画素の正方形の局所領域Ｐ等である。この場合、照合パターン内の全ての位置において同様の局所領域Ｐを設定すると、２５６の局所領域が考えられる。
なお、画像処理装置は、図１３のＰ１、Ｐ２、Ｐ３に示すように横長の矩形、縦長の矩形、楕円等様々な形状及びサイズの局所領域から得られたものを組合せて用いてもよい。また、画像処理装置は、元の照合パターンを縮小して様々な低解像度の照合パターンを作成し、各解像度の照合パターン中の局所領域を組み合せて用いてもよい。また、画像処理装置は、複数の乖離した領域・画素を用いてもよい。

（被写体の切り替え）
上述したように、被写体判別部は検出（判別）する被写体に関係なく同じ構成をとることができる。従って、検出対象となる被写体を切り替えるには、判別情報２０３を被写体ごとに用意して切り替え、この判別情報２０３に記載された数の被写体判別部、弱判別部で構成すればよい。

（処理部）
以上の処理においてＰＥ２００は所定の時間当たりに、１つ又は複数の弱判別部８０１の処理と、これらの出力する被写体尤度の局所的な統合処理と、を実行する。各被写体判別部は、整数個のＰＥによって構成される。複雑度に応じて必要なＰＥの個数は異なる。
各被写体判別部は、整数個のＰＥの複雑度を余すことなく利用することは、設計時に判別性能を微調整することで可能である。弱判別部８０１の数と、判別性能とは、トレードオフの関係にあり、判別性能がわるいと通過率が多くなり、逆に判別性能がよいと通過率は低くなる。総合的な判別性能は被写体判別部の段数を増減したり、最終段の複雑度で微調整したりすればよい。
したがって、各処理部の処理内容は同じであるので、動機的に処理を行うことができる。

（並列化方法）
次に、被写体判定部をハードウェア実装した際の並列化手法について説明する。図１４は、被写体判別部７００〜７０１を並列化した一例を示す図である。図１４に示されるように、画像処理装置は、情報処理手段の一例である被写体判別部を並列化し、前記並列化した被写体判別部を段階的に有し（段として有し）、被写体判別部の各段の前には割当部１３００、１３０１を有する。これら割当部は、並列化された被写体判別部の何れかへ判別処理を割当るものである。処理が必要な入力数に対して並列度が足らない場合、割当部は、入力情報を処理待ちキューに格納し、次の処理開始タイミングを待つ。

（並列度の制御）
直列に接続された被写体判別部では、前段ほど処理回数が多いので、並列度を高くしなければならない。並列化した各段で被写体判別部の１回の判別時間が等しい場合、例えば制御部は、次の式においてεを最小化するように並列度を設定する。

但し、

ここで、Ｍ_nは直列に接続された被写体判別部のｎ段目の並列度数、
ｐ_kは、ｋ−１段目での入力数に対して被写体であると判定される確率である。
ｐ₁は、先頭段であるから１である。
Ｐ_kは、先頭段の入力数に対してｋ−１段目で被写体であると判定される確率である。
Ｗ_kは、被写体判別部の複雑度に基づく重み係数であるが、ｋ段目の被写体判別部の並列度を１つ上げるのに必要な処理部（ＰＥ２００）の数である。

は、各段の確率の平均である。

は、各段の並列度の平均である。

通過率２０９は、検出対象となる被写体に応じて被写体情報の設計時に設計者等が被写体判別部ごとに予め求めておいた数（予め定められた値）であり、変更部（又は制御部等の制御に基づいて変更部）がｐｋへ代入することができる。検出対象を切り替える際に、変更部等が対応する通過率に更新する。また、入力画像によって各段の通過率は大きく変わるため、割当部が入力画像の処理中において直近の所定時間における通過率を検知する。そして、制御部が、割当部が検知した通過率に基づき、動的に、変更部等を介して、判別情報を変更し、弱判定部の処理結果の出力と統合部の入力との接続関係を更新してもよい。また、この（式５）はあくまで通過率に基づく指標算出の一例である。

（変更部）
次に変更部の処理について詳細に説明する。
変更部は、各々の処理部であるＰＥ２００に供給する判別情報を変更し、ＰＥ２００の出力と統合部８０２の入力との接続を変更することで処理部の役割を変更するものである。例えば、変更部は、判別情報のメモリアドレスや統合部８０２の入力情報へのメモリアドレスを切り替えることによって前記接続を変更するようにしてもよい。

（制御部）
次に変更部の変更方法を制御する制御部について詳細を説明する。
制御部は、処理負荷の少ない段から多い段へ処理リソース（処理部）を割当直すものである。
次に示す（式７）は、ｋで示される段数の並列度が、処理内容に対して並列度が足らない場合に大きな値となり、逆に、処理内容に対して並列度が多い場合には小さな値となる。

制御部は、（式７）において、値が最小となる段から値が最大となる段へ処理リソースを割当直す。より具体的に説明すると、制御部は、並列度が不足している段の並列度を１つ増やす。そのために、制御部は、過剰な並列度の段を開放し、処理リソースを確保する。この際、並列度を１つ増やすには後段の方が必要なＰＥ数が多い。よって、前段から後段へ処理リソースを割当る場合、制御部は、前段で複数の被写体判別部の解体が必要であり、並列度が過剰なものから順次解体する。また、後段から前段へ処理リソースを割当る場合、制御部は、後段を１つ解体すると前段の並列度を２つ以上増やすこともできる。また、制御部は、確保した処理リソースの数と役割変更する処理リソースが等しくなるわけではないので、余った処理リソースは次回以降の変更時に、優先して使用すればよい。

＜第２の実施形態＞
（他の制御部）
制御部における、役割変更（つまり、上述した接続の変更＝処理部の割当直し）の頻度は、パラメータの全交換を行って検出対象となる被写体を変更する場合や、直近の所定時間の通過率に基づいて変化が生じる度に行ってもよい。
役割変更は各種の条件で限定することが可能である。制御部は、１枚の入力画像の処理中における一回の役割変更で必ずしもεを最小化する必要はなく、１回あたりで変更をするＰＥの数又は統合部８０２の数を限定したほうがよい。また、（式７）において、最大値が所定の閾値に満たない場合、変更は不要である。また、制御部は、予め段ごとに設定された並列度の上限、下限の中で、処理リソースの割当直しを行うようにしてもよい。ここで、１回とは通過率が変化したときでもよく、処理部がｎ回（ｎは１以上の整数）の判定を行う時間単位のいずれでもよい。

＜第３の実施形態＞
第１の実施形態ではプログラムをＲＯＭ２０６に置いていたが、Ｉ／Ｏポートから同様なプログラムを読み込み、ＤＲＡＭ２０２に展開することで、第１の実施形態と同様の処理を実現することができる。

＜第４の実施形態＞
（被写体）
上述した実施形態では顔抽出を例に説明を行ったが、上述した構成及び処理は、顔以外の任意の物体に対しても適用することができる。例えば、人体全身、人体上半身、生物、自動車等がある。工業、流通分野等では生産物、部品、流通物品等の同定や検査等に適用することができる。

＜第５の実施形態＞
（他の通過率検知部）
また、各段における割当部において、処理待ちキューを設けるようにしてもよい。割当部は、これに溜まった処理の数に基づいて通過率を検出してもよい。その際、制御部は、待ち数の大きな段の並列度を上げ、待ち数の少ない段の並列度を下げるように変更部を制御するようにしてもよい。

＜第６の実施形態＞
（他の処理部）
第１の実施形態における弱判別部は局所特徴量を求め、被写体信頼度変換部を有していたが、弱判別部はこれに限定されるものではない。公知文献１は、Ｈａａｒに似た特徴量を求め、この特徴量が所定の閾値で被写体であるかを判定し、重みをつけた値が弱判別部の出力となっている。弱判別部の構成を同じにし、Ｈａａｒ特徴の位置やサイズ、種類、閾値、重みを判別情報格納部９０４に格納するようにしてもよい。従って、１つ又は複数の弱判別部の処理をＰＥ２００で行い、制御部が、並列度を制御（処理の役割を制御）するようにしてもよい。

＜第７の実施形態＞
（被写体判定部の接続構成）
第１の実施形態における被写体判定部は、複数の被写体判別部を直列に接続することで実現していたが、直列に限定する必要はない。複数の被写体判別部をツリー上に構成し、前段の被写体判別部の結果に応じて後段の何れかの被写体判別部に分岐するように構成してもよい。この場合でも、通過率は（式５）を適用することができる。
更に、前段処理までの処理結果に基づいて後段処理を起動するか否かを変化させ、処理結果によって呼び出し回数が変化する画像処理の並列化の制御の方法において、制御部が、呼び出し回数に基づいて並列度を制御（処理の役割を制御）するようにしてもよい。

＜その他の実施形態＞
また、本発明の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理手段（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は本発明を構成することになる。

また、システム或いは装置の前記中央演算処理手段が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。

本発明を前記記憶媒体に適用する場合、その記憶媒体（コンピュータ読み取り可能な記憶媒体）には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

以上、上述した各実施形態によれば、ハードウェアリソースに対して高速な情報処理を実現することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

情報処理装置の一例である画像処理装置の機能構成の概要を示す図である。画像処理装置のハードウェア構成の一例を示す図である。画像処理装置の機能構成の一例を示す図である。多重解像度用画像の作成の一例を示す図である。部分領域の設定の一例を示す図である。表示画面の一例を示す図である。被写体判定部３０５の一例を示す図である。各被写体判別部の一例を示す図である。各弱判別部の一例を示す図である。判別情報２０３の一例を示す図である。多重解像度化したパターンと画素番号との関係を示す図である。顔の局所領域の一例を示す図である。顔の別の局所領域の一例を示す図である。被写体判別部７００〜７０１を並列化した一例を示す図である。

符号の説明

２０１ＳＲＡＭ
２０２ＤＲＡＭ
２０５ＣＰＵ
２０６ＲＯＭ

Claims

複数段の情報処理を実行する情報処理装置であって、
前記複数段の情報処理の各段の通過率を取得する取得手段と、
情報を処理し、処理結果を出力する複数の処理手段と、
前記複数段の通過率に基づいて、前記複数段の各段で並列に実行すべき処理手段の個数を決定する決定手段と、
前記決定手段により決定された個数に基づいて、前記複数の処理手段を前記複数段の情報処理の各段に割り当てる割当手段と、
を有することを特徴とする情報処理装置。
前記複数段の各段は、１つ又は複数の前記処理手段の処理結果を入力とし、前記処理結果を統合して出力する統合手段を更に有し、
前記割当手段は、前記処理手段の処理結果の出力と前記統合手段の入力との接続関係を変更することを特徴とする請求項１に記載の情報処理装置。
前記複数段の情報処理の各段の通過率を検知する通過率検知手段を更に有し、
前記取得手段は、前記通過率検知手段で検知された前記通過率を取得することを特徴とする請求項１に記載の情報処理装置。
前記通過率検知手段は、所定時間ごとに前記通過率を検知することを特徴とする請求項３に記載の情報処理装置。
前記各段は処理待ちキューを有し、
前記通過率検知手段は、前記各段の処理待ちキューに蓄えられた処理の数に基づいて前記通過率を検知することを特徴とする請求項３に記載の情報処理装置。
前記処理手段は、画像から被写体を判別する被写体判別手段であって、
前記取得手段は、前記被写体判別手段で判別する被写体の種類が変更された場合、前記変更された被写体の種類に対応する、予め設定されている通過率を取得することを特徴とする請求項１に記載の情報処理装置。
前記割当手段は、前記決定手段により決定された個数よりも多くの処理手段が割り当てられている段から、前記決定手段により決定された個数よりも少ない処理手段が割り当てられている段へ、処理手段の一部の割り当てを変更することを特徴とする請求項１に記載の情報処理装置。