JP2012129796A - 画像処理装置 - Google Patents

Abstract

【構成】フラッシュメモリ４４は、特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する。ＣＰＵ２６は、指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出し、検出された特徴量をフラッシュメモリ４４によって保持された特徴量と照合する。ＣＰＵ２６はまた、照合結果に応じて異なる態様で画像処理を実行する。
【効果】動作性能が向上する。
【選択図】図２

Description

この発明は、画像処理装置に関し、特に特定物体像に符合する画像を指定画像から探索する、画像処理装置に関する。

この種の画像処理装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像素子１は被写体像を撮像し、表示部９は撮像素子により撮像された撮像画像を表示する。検出処理部１０は撮像画像から目的とする撮影対象を検出する。切り替え部１２は、撮像素子により逐次撮像された撮像画像が表示部に逐次表示され、表示部が電子ビューファインダとして動作している状態において、撮像画像の指定された領域を拡大して検出処理部により撮影対象を検出するか、拡大しないで撮影対象を検出するかを、逐次撮像された画像のうちの前回撮像された画像に対する撮影対象の検出結果に応じて切り替える。

特開２００８−１７２３６８号公報

しかし、背景技術では、特徴ある構成部分が複数の物体像で共通している場合などに、探索対象とは異なる物体像を誤って検出するおそれがあり、このような場合に画像処理装置の動作性能が低下する。

それゆえに、この発明の主たる目的は、動作性能を向上させることができる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する保持手段(44)、指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する検出手段(S39, S55)、検出手段によって検出された特徴量を保持手段によって保持された特徴量と照合する照合手段(S41, S57)、および照合手段の照合結果に応じて異なる態様で画像処理を実行する処理手段(S31, S59, S63, S15~S29)を備える。

好ましくは、検出手段は、複数の部分画像の一部に対応する第１部分特徴量を検出する第１特徴量検出手段(S39)、および複数の部分画像の他の一部に対応する第２部分特徴量を検出する第２特徴量検出手段(S55)を含み、照合手段は、第１特徴量検出手段によって検出された第１部分特徴量を保持手段によって保持された特徴量の一部と照合する第１特徴量照合手段(S41)、および第２特徴量検出手段によって検出された第２部分特徴量を保持手段によって保持された特徴量の他の一部と照合する第２特徴量照合手段(S57)を含む。

さらに好ましくは、複数の照合エリアは大サイズを有する第１照合エリアと小サイズを有する第２照合エリアとを含み、第１部分特徴量は第１照合エリアおよび第２照合エリアの一方に対応する特徴量を含み、第２部分特徴量は第１照合エリアおよび第２照合エリアの他方に対応する特徴量を含む。

好ましくは、第１特徴量照合手段の照合結果が第１基準を上回るとき第２特徴量検出手段を起動する起動手段(S43)をさらに備える。

さらに好ましくは、処理手段は、第２特徴量照合手段の照合結果が第２基準を上回るか否かを繰り返し判別する判別手段(S59)、および判別手段の判別結果が否定的から肯定的な結果に更新されたとき画像処理態様を変更する変更手段(S63, S15)を含む。

さらに好ましくは、被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段(16)、および撮像手段から出力された被写界像に基づいて指定画像を作成する作成手段(20, 34)をさらに備え、変更手段の変更対象は撮像手段から出力された被写界像の品質の調整精度を含む。

好ましくは、変更手段による変更処理に先立って複数の照合エリアの位置および／またはサイズを繰り返し更新する更新手段(S47, S51, S53)をさらに備える。

好ましくは、特定物体像は動物の顔画像に相当する。

この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(26)に、特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する保持ステップ(44)、指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する検出ステップ(S39, S55)、検出ステップによって検出された特徴量を保持ステップによって保持された特徴量と照合する照合ステップ(S41, S57)、および照合ステップの照合結果に応じて異なる態様で画像処理を実行する処理ステップ(S31, S59, S63, S15~S29)を実行させるための、画像処理プログラムである。

この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する保持ステップ(44)、指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する検出ステップ(S39, S55)、検出ステップによって検出された特徴量を保持ステップによって保持された特徴量と照合する照合ステップ(S41, S57)、および照合ステップの照合結果に応じて異なる態様で画像処理を実行する処理ステップ(S31, S59, S63, S15~S29)を備える。

この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する保持ステップ(44)、指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する検出ステップ(S39, S55)、検出ステップによって検出された特徴量を保持ステップによって保持された特徴量と照合する照合ステップ(S41, S57)、および照合ステップの照合結果に応じて異なる態様で画像処理を実行する処理ステップ(S31, S59, S63, S15~S29)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。

この発明に従う画像処理装置(10)は、外部制御プログラムを受信する受信手段(50)、および受信手段によって受信された外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)であって、外部制御プログラムは、特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する保持ステップ(44)、指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する検出ステップ(S39, S55)、検出ステップによって検出された特徴量を保持ステップによって保持された特徴量と照合する照合ステップ(S41, S57)、および照合ステップの照合結果に応じて異なる態様で画像処理を実行する処理ステップ(S31, S59, S63, S15~S29)を内部制御プログラムと協働して実行するプログラムに相当する。

保持手段によって保持された特徴量は、特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量に相当する。また、検出手段によって検出される特徴量は、指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ属する複数の部分画像の特徴量に相当する。処理手段によって実行される画像処理の態様は、これらの特徴量の照合結果に応じて異なる。こうして、動作性能が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 （Ａ）は図２実施例で参照されるペット顔辞書の構成の一例を示す図解図であり、（Ｂ）は図２実施例で参照される外形ペット顔辞書の構成の一例を示す図解図である。 モニタ画面に表示された辞書画像の一例を示す図解図である。 評価エリアを撮像面に割り当てた状態の一例を示す図解図である。 図２実施例で参照されるレジスタの構成の一例を示す図解図である。 ペット顔検出タスクにおいて用いられる顔検出枠の一例を示す図解図である。 ペット顔検出タスクにおける顔検出処理の一部を示す図解図である。 ペット顔検出タスクにおいて捉えられた動物を表す画像の一例を示す図解図である。 モニタ画面に表示された顔枠の一例を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１６実施例のペット顔検出タスクにおいて捉えられた動物を表す画像の一例を示す図解図である。 この発明のその他の実施例の構成を示すブロック図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。保持手段１は、特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する。検出手段２は、指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する。照合手段３は、検出手段２によって検出された特徴量を保持手段１によって保持された特徴量と照合する。処理手段４は、照合手段３の照合結果に応じて異なる態様で画像処理を実行する。
［実施例］

図２を参照して、この実施例のディジタルカメラ１０は、フラッシュメモリ４４にペット顔辞書ＤＣ１および外形ペット顔辞書ＤＣ２を格納する。ペット顔辞書ＤＣ１および外形ペット顔辞書ＤＣ２は、被写界に現れた動物の顔画像を探索するために準備されたものである。図３（Ａ）を参照して、ペット顔辞書ＤＣ１には、動物の顔の特徴を表す１または２以上の辞書画像データが収められる。ペット顔辞書ＤＣ１の辞書画像データは、目，鼻，および口などを含む動物の顔の内側部分の領域に対応する。図３（Ｂ）を参照して、外形ペット顔辞書ＤＣ２は、ペット顔辞書ＤＣ１に対応する辞書画像データを収める。外形ペット顔辞書ＤＣ２の辞書画像データは、ペット顔辞書ＤＣ１の辞書画像データの領域を含み、さらに耳などの動物の顔の外側部分まで含んだ領域に対応する。

電源が投入されると、ＣＰＵ２６は、探索対象の動物を操作者に選択させるべく、外形ペット顔辞書ＤＣ２に収められた辞書画像データを撮像タスクの下でフラッシュメモリ４４から読み出し、読み出された辞書画像データをＳＤＲＡＭ３２の表示画像エリア３２ｂに展開する。ＬＣＤドライバ３６は、展開された辞書画像データをメモリ制御回路３０を通して読み出し、読み出された辞書画像データに基づいてＬＣＤモニタ３８を駆動する。

したがって、外形ペット顔辞書ＤＣ２が図３（Ｂ）に示す要領で準備されたときは、猫および犬を表す２つの辞書画像が図４に示す要領でＬＣＤモニタ３８に表示される。

表示された辞書画像のいずれか１つを選択する選択操作が行われると、ＣＰＵ２６は、選択された辞書画像に対応する特徴量をペット顔辞書ＤＣ１およびペット顔辞書ＤＣ２から読み出す。図４の例において猫を表す辞書画像が選択された場合は、猫の顔の特徴量がペット辞書ＤＣ１および外形ペット顔辞書ＤＣ２から読み出される。

図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージセンサ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。

ペット辞書ＤＣ１および外形ペット顔辞書ＤＣ２からの特徴量の読み出しが完了すると、ＣＰＵ２６は、撮像タスクの下で動画取り込み処理を開始するべく、ドライバ１８ｃに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。

前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。

後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理，ＹＵＶ変換処理などの処理を施し、ＹＵＶ形式に従う表示画像データおよび探索画像データを個別に作成する。表示画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の表示画像エリア３２ｂに書き込まれる。探索画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の探索画像エリア３２ｃに書き込まれる。

ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。また、探索画像データが探索画像エリア３２ｃに繰り返し書き込まれる。

図５を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。

ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。

また、ＡＦ評価回路２４は、前処理回路２０から出力されたＲＧＢデータのうち同じ評価エリアＥＶＡに属するＲＧＢデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。

ＣＰＵ２６はまた、撮像タスクと並列して実行されるペット顔検出タスクの下で、探索画像エリア３２ｃに格納された探索画像データから動物の顔画像を探索する。探索される顔画像は、選択操作によって選択された辞書画像に符合する画像である。このようなペット顔検出タスクのために、図６に示すレジスタＲＧＳＴおよび図７に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…が準備される。

顔検出枠ＦＤは、垂直同期信号Ｖｓｙｎｃが発生する毎に、探索画像エリア３２ｃ上を評価エリアＥＶＡに対応してラスタ走査態様で移動する（図８参照）。顔検出枠ＦＤのサイズは、ラスタ走査が終了する毎に“２００”から“２０”まで“５”刻みで縮小される。

ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｃから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、先に読み出されたペット顔辞書ＤＣ１の辞書画像の特徴量と照合される。照合度が基準値ＲＥＦ１を上回ると、ＣＰＵ２６は、外形検出枠ＦＤＷに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｃから読み出し、読み出された画像データの特徴量を算出する。

図９を参照して、外形検出枠ＦＤＷは、現時点の顔検出枠ＦＤに属する領域およびさらに外側の領域までを含み、内部に現時点の顔検出枠ＦＤが入れ子状に割り当てられるように、配置される。外形検出枠ＦＤＷの位置およびサイズは、現時点の顔検出枠ＦＤの位置およびサイズと照合対象の辞書画像に対応する外形ペット顔辞書ＤＣ２の辞書画像とに基づいて、決定される。

算出された特徴量は、先に読み出された外形ペット顔辞書ＤＣ２の辞書画像の特徴量と照合される。照合度が基準値ＲＥＦ２を上回ると、現時点の外形検出枠ＦＤＷの位置およびサイズが、顔画像のサイズおよび位置として決定され、レジスタＲＧＳＴに登録される。レジスタＲＧＳＴへの登録が完了すると、フラグＦＬＧｐｅｔが“０”から“１”に更新される。

なお、顔の内側部分の検出精度はペット顔辞書ＤＣ１との照合で確保されているので、外形ペット顔辞書ＤＣ２との照合においては、耳の形など顔の周囲の輪郭が大きく異なる動物の誤検出を避けることができればよい。よって、外形ペット顔辞書ＤＣ２との照合処理で用いられる基準値ＲＥＦ２は、ペット顔辞書ＤＣ１辞書画像との照合処理で用いられる基準値ＲＥＦ１よりも低く設定された閾値である。

撮像タスクの下で、ＣＰＵ２６は、フラグＦＬＧｐｅｔが“０”を示すとき、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を撮像タスクの下で実行し、適正ＥＶ値を算出する。簡易ＡＥ処理は動画取込み処理と並列して実行され、算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。

フラグＦＬＧｐｅｔが“１”に更新されると、ＣＰＵ２６は、レジスタＲＧＳＴの登録内容を参照して、顔枠ＫＦの表示をグラフィックジェネレータ４６に要求する。グラフィックジェネレータ４６は、顔枠ＫＦを表すグラフィック情報をＬＣＤドライバ３６に向けて出力する。顔枠ＫＦは、ペット顔検出タスクの下で決定された顔画像の位置およびサイズに適合する態様でＬＣＤモニタ３８に表示される。

したがって、猫の辞書画像が選択された状態で猫ＣＴ１が被写界に捉えられたとき、顔枠ＫＦは図１０に示す要領でＬＣＤモニタ３８に表示される。

フラグＦＬＧｐｅｔが“１”に更新されるとまた、ＣＰＵ２６は、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値およびＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、レジスタＲＧＳＴに登録された顔画像の位置にそれぞれ対応するＡＥ評価値およびＡＦ評価値を抽出する。

ＣＰＵ２６は、抽出された一部のＡＥ評価値に基づく厳格ＡＥ処理を実行する。厳格ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが、動物の顔画像の位置に相当する被写界の一部に注目した明るさに調整される。

厳格ＡＥ処理が完了すると、ＣＰＵ２６は、抽出された一部のＡＦ評価値に基づくＡＦ処理を、設定された調整基準に沿って実行する。この結果、動物の顔画像の位置に相当する被写界の一部に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像の鮮鋭度が向上する。

ＡＦ処理が完了すると、ＣＰＵ２６は、撮像タスクの下で静止画取り込み処理および記録処理を実行する。ＡＦ処理が完了した直後の１フレームの画像データは、静止画取り込み処理によって静止画エリア３２ｄに取り込まれる。取り込まれた１フレームの画像データは、記録処理に関連して起動したＩ／Ｆ４０によって静止画エリア３２ｄから読み出され、ファイル形式で記録媒体４２に記録される。顔枠ＫＦ１は、記録処理が完了した後に非表示とされる。

ＣＰＵ２６は、図１１〜図１２に示す撮像タスクおよび図１３〜図１５に示すペット顔検出タスクを含む複数のタスクを並列的に実行する。これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。

図１１を参照して、ステップＳ１では、外形ペット顔辞書ＤＣ２に収められた辞書画像データをフラッシュメモリ４４から読み出し、読み出された辞書画像データをＳＤＲＡＭ３２の表示画像エリア３２ｂに展開する。この結果、１または２以上の辞書画像がＬＣＤモニタ３８に表示される。ステップＳ３では、表示された辞書画像のいずれか１つを選択する選択操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ５に進み、選択された辞書画像に対応する特徴量をペット顔辞書ＤＣ１および外形ペット顔辞書ＤＣ２から読み出す。

ステップＳ７では動画取込み処理を実行し、ステップＳ９では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ１１では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘを“２００”に設定し、最小ＳＺｍｉｎを“２０”に設定する。ステップＳ１１の処理が完了すると、ステップＳ１３でペット顔検出タスクを起動する。

フラグＦＬＧｐｅｔは、ペット顔検出タスクの下で“０”に初期設定され、ペット顔辞書ＤＣ１の辞書画像および外形ペット顔辞書ＤＣ２の辞書画像と符合する顔画像が発見されたときに“１”に更新される。ステップＳ１５ではこのようなフラグＦＬＧｐｅｔが“１”を示すか否かを判別し、判別結果がＮＯである限り、ステップＳ１７で簡易ＡＥ処理を繰り返し実行する。スルー画像の明るさは、簡易ＡＥ処理によって適度に調整される。

判別結果がＮＯからＹＥＳに更新されるとステップＳ１９に進み、レジスタＲＧＳＴの登録内容を参照して顔枠ＫＦの表示をグラフィックジェネレータ４６に要求する。グラフィックジェネレータ４６は、顔枠ＫＦを表すグラフィック画像データをＬＣＤドライバ３６に向けて出力する。顔枠ＫＦは、検出された顔画像を囲うようにＬＣＤモニタ３８に表示される。

ステップＳ２１では、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値のうち、レジスタＲＧＳＴに登録された顔画像の位置にそれぞれ対応するＡＥ評価値を抽出し、抽出された一部のＡＥ評価値に基づく厳格ＡＥ処理を実行する。この結果、スルー画像の明るさが、動物の顔画像の位置に相当する被写界の一部に注目した明るさに調整される。

ステップＳ２３では、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、レジスタＲＧＳＴに登録された顔画像の位置にそれぞれ対応するＡＦ評価値を抽出し、抽出された一部のＡＦ評価値に基づくＡＦ処理を、設定された調整基準に沿って実行する。この結果、動物の顔画像の位置に相当する被写界の一部に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像の鮮鋭度が向上する。

ステップＳ２５では静止画取り込み処理を実行し、ステップＳ２７では記録処理を実行する。ＡＦ処理が完了した直後の１フレームの画像データは、静止画取り込み処理によって静止画エリア３２ｄに取り込まれる。取り込まれた１フレームの画像データは、記録処理によって、記録媒体４２に記録される。記録処理が完了すると、ステップＳ２９で顔枠ＫＦの非表示をグラフィックジェネレータ４６に要求し、その後にステップＳ９に戻る。

図１３を参照して、ステップＳ３１ではフラグＦＬＧｐｅｔを“０”に設定し、ステップＳ３３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ３５で顔検出枠ＦＤのサイズを“ＳＺｍａｘ”に設定し、ステップＳ３７で顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ３９では顔検出枠ＦＤに属する一部の探索画像データを探索画像エリア３２ｃから読み出し、読み出された探索画像データの特徴量を算出する。

ステップＳ４１では算出された特徴量をペット顔辞書ＤＣ１から読み出された辞書画像データの特徴量と照合し、ステップＳ４３では照合度が基準値ＲＥＦ１を上回るか否かを判別する。判別結果がＮＯであればステップＳ４５に進み、判別結果がＹＥＳであればステップＳ５５に進む。

ステップＳ４５では、顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別する。判別結果がＮＯであれば、ステップＳ４７で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ３９に戻る。判別結果がＹＥＳであれば、顔検出枠ＦＤのサイズが“ＳＺｍｉｎ”以下であるか否かをステップＳ４９で判別する。ステップＳ４９の判別結果がＮＯであれば、ステップＳ５１で顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ５３で顔検出枠ＦＤを探索エリアの左上位置に配置し、その後にステップＳ３９に戻る。ステップＳ４９の判別結果がＹＥＳであれば、そのままステップＳ３３に戻る。

ステップＳ５５では、外形検出枠ＦＤＷに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｃから読み出し、読み出された画像データの特徴量を算出する。外形検出枠ＦＤＷは、現時点の顔検出枠ＦＤに属する領域およびさらに外側の領域までを含み、内部に現時点の顔検出枠ＦＤが入れ子状に割り当てられるように、配置される。外形検出枠ＦＤＷの位置およびサイズは、現時点の顔検出枠ＦＤの位置およびサイズと照合対象の辞書画像に対応する外形ペット顔辞書ＤＣ２の辞書画像とに基づいて、決定される。

ステップＳ５７では算出された特徴量を外形ペット顔辞書ＤＣ２から読み出された辞書画像データの特徴量と照合し、ステップＳ５９では照合度が基準値ＲＥＦ２を上回るか否かを判別する。判別結果がＮＯであればステップＳ４５に戻り、判別結果がＹＥＳであればステップＳ６１に進む。

ステップＳ６１では、現時点の外形検出枠ＦＤＷの位置およびサイズが、顔画像のサイズおよび位置として決定され、レジスタＲＧＳＴに登録される。ステップＳ６１の処理が完了すると、ステップＳ６３でフラグＦＬＧｐｅｔを“１”に設定し、その後に処理を終了する。

以上の説明から分かるように、フラッシュメモリ４４は、特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する。ＣＰＵ２６は、指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出し、検出された特徴量をフラッシュメモリ４４によって保持された特徴量と照合する。ＣＰＵ２６はまた、照合結果に応じて異なる態様で画像処理を実行する。

フラッシュメモリ４４によって保持された特徴量は、特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量に相当する。また、検出される特徴量は、指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ属する複数の部分画像の特徴量に相当する。ＣＰＵ２６によって実行される画像処理の態様は、これらの特徴量の照合結果に応じて異なる。こうして、動作性能が向上する。

なお、この実施例では、顔検出枠ＦＤに属する画像データの特徴量とペット顔辞書ＤＣ１の特徴量との照合度が基準値ＲＥＦ１を上回った場合に、外形検出枠ＦＤＷに属する画像データの特徴量を読み出し、外形ペット顔辞書ＤＣ２の特徴量と照合するようにした。しかし、顔検出枠ＦＤに属する画像データの特徴量と外形ペット顔辞書ＤＣ２の特徴量とを先に照合するようにしてもよい。

この場合、図１３のステップＳ４１〜ステップＳ４３に代えて図１６のステップＳ７１〜ステップＳ７３を実行し、図１５のステップＳ５５〜ステップＳ５９に代えて図１６のステップＳ７５〜ステップＳ７９を実行すればよい。

ステップＳ７１では算出された特徴量を外形ペット顔辞書ＤＣ２から読み出された辞書画像データの特徴量と照合し、ステップＳ７３では照合度が基準値ＲＥＦ２を上回るか否かを判別する。判別結果がＮＯであればステップＳ４５に進み、判別結果がＹＥＳであればステップＳ７５に進む。

ステップＳ７５では、内形検出枠ＦＤＮに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｃから読み出し、読み出された画像データの特徴量を算出する。図１７を参照して、内形検出枠ＦＤＮは、顔検出枠ＦＤの内部に入れ子状に割り当てられるように配置される。内形検出枠ＦＤＮの位置およびサイズは、現時点の顔検出枠ＦＤの位置およびサイズと照合対象の辞書画像に対応するペット顔辞書ＤＣ１の辞書画像とに基づいて、決定される。

ステップＳ７７では算出された特徴量をペット顔辞書ＤＣ１から読み出された辞書画像データの特徴量と照合し、ステップＳ７９では照合度が基準値ＲＥＦ１を上回るか否かを判別する。判別結果がＮＯであればステップＳ４５に戻り、判別結果がＹＥＳであればステップＳ６１に進む。

またこの場合、顔検出枠ＦＤを用いた走査および特徴量の算出を低解像度の画像上で実行し、内形検出枠ＦＤＮの配置および内形検出枠ＦＤＮに属する画像データの読出しを高解像度の画像上で実行するようにしてもよい。

なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ５０を図１８に示す要領でディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。

また、この実施例では、ＣＰＵ３６によって実行される処理を、図１１〜図１２に示す撮像タスクおよび図１３〜図１５に示すペット顔検出タスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。

また、この実施例では、ディジタルスチルカメラを用いて説明したが、本発明は、ディジタルビデオカメラ，携帯電話端末またはスマートフォンなどにも適用することができる。

１０ …ディジタルカメラ
１６ …イメージセンサ
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
４４ …フラッシュメモリ

Claims (12)

1. 特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する保持手段、
   指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する検出手段、
   前記検出手段によって検出された特徴量を前記保持手段によって保持された特徴量と照合する照合手段、および
   前記照合手段の照合結果に応じて異なる態様で画像処理を実行する処理手段を備える、画像処理装置。
2. 前記検出手段は、前記複数の部分画像の一部に対応する第１部分特徴量を検出する第１特徴量検出手段、および前記複数の部分画像の他の一部に対応する第２部分特徴量を検出する第２特徴量検出手段を含み、
   前記照合手段は、前記第１特徴量検出手段によって検出された第１部分特徴量を前記保持手段によって保持された特徴量の一部と照合する第１特徴量照合手段、および前記第２特徴量検出手段によって検出された第２部分特徴量を前記保持手段によって保持された特徴量の他の一部と照合する第２特徴量照合手段を含む、請求項１記載の画像処理装置。
3. 前記複数の照合エリアは大サイズを有する第１照合エリアと小サイズを有する第２照合エリアとを含み、
   前記第１部分特徴量は前記第１照合エリアおよび前記第２照合エリアの一方に対応する特徴量を含み、
   前記第２部分特徴量は前記第１照合エリアおよび前記第２照合エリアの他方に対応する特徴量を含む、請求項２記載の画像処理装置。
4. 前記第１特徴量照合手段の照合結果が第１基準を上回るとき前記第２特徴量検出手段を起動する起動手段をさらに備える、請求項２または３記載の画像処理装置。
5. 前記処理手段は、前記第２特徴量照合手段の照合結果が第２基準を上回るか否かを繰り返し判別する判別手段、および前記判別手段の判別結果が否定的から肯定的な結果に更新されたとき画像処理態様を変更する変更手段を含む、請求項４記載の画像処理装置。
6. 被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段、および
   前記撮像手段から出力された被写界像に基づいて前記指定画像を作成する作成手段をさらに備え、
   前記変更手段の変更対象は前記撮像手段から出力された被写界像の品質の調整精度を含む、請求項５記載の画像処理装置。
7. 前記変更手段による変更処理に先立って前記複数の照合エリアの位置および／またはサイズを繰り返し更新する更新手段をさらに備える、請求項５または６記載の画像処理装置。
8. 前記特定物体像は動物の顔画像に相当する、請求項１ないし７のいずれかに記載の画像処理装置。
9. 画像処理装置のプロセッサに、
   特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する保持ステップ、
   指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する検出ステップ、
   前記検出ステップによって検出された特徴量を前記保持ステップによって保持された特徴量と照合する照合ステップ、および
   前記照合ステップの照合結果に応じて異なる態様で画像処理を実行する処理ステップを実行させるための、画像処理プログラム。
10. 画像処理装置によって実行される画像処理方法であって、
    特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する保持ステップ、
    指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する検出ステップ、
    前記検出ステップによって検出された特徴量を前記保持ステップによって保持された特徴量と照合する照合ステップ、および
    前記照合ステップの照合結果に応じて異なる態様で画像処理を実行する処理ステップを備える、画像処理方法。
11. メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
    特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する保持ステップ、
    指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する検出ステップ、
    前記検出ステップによって検出された特徴量を前記保持ステップによって保持された特徴量と照合する照合ステップ、および
    前記照合ステップの照合結果に応じて異なる態様で画像処理を実行する処理ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
12. 外部制御プログラムを受信する受信手段、および
    前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
    前記外部制御プログラムは、
    特定物体像に入れ子状に割り当てられた複数の範囲にそれぞれ対応する複数の物体像の特徴量を保持する保持ステップ、
    指定画像上に入れ子状に割り当てられた複数の照合エリアにそれぞれ対応する複数の部分画像の特徴量を検出する検出ステップ、
    前記検出ステップによって検出された特徴量を前記保持ステップによって保持された特徴量と照合する照合ステップ、および
    前記照合ステップの照合結果に応じて異なる態様で画像処理を実行する処理ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。

Images