JP2010074767A

JP2010074767A - 画像処理装置

Info

Publication number: JP2010074767A
Application number: JP2008242979A
Authority: JP
Inventors: Atsushi Kato; 淳加藤
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2008-09-22
Filing date: 2008-09-22
Publication date: 2010-04-02
Anticipated expiration: 2028-09-22
Also published as: JP5108698B2

Abstract

【構成】イメージセンサ１６は、入射光が照射される撮像面を有し、被写界像を繰り返し生成する。ＣＰＵ２６は、イメージセンサ１６によって生成された被写界像から特定物の画像を検出する。マスクエリアは、検出された特定物の画像を覆うように、ＣＰＵ２６によって定義される。定義されたマスクエリアの位置は、光軸に直交する方向における撮像面の動きを参照して、ＣＰＵ２６によって変更される。また、定義されたマスクエリアのサイズは、マスクエリアの位置の変更処理に関連して、ＣＰＵ２６によって拡大される。ＣＰＵ２６は、撮像面に手振れが生じていないとき特定物の画像の検出処理を起動する一方、撮像面に手振れが生じているときマスクエリアの位置の変更処理を起動する。
【効果】特定物の画像の検出処理に起因する負荷の増大を抑えつつ、特定物の画像に対するマスク処理の精度を確保することができる。
【選択図】図１

Description

この発明は、画像処理装置に関し、特にディジタルビデオカメラに適用され、被写界像に現れた特定物画像に特殊効果処理を施す、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、ＣＰＵは、ディジタルカメラによって撮影された画像を外部に送出する際に、送信すべき画像から人物の顔画像を抽出し、抽出された顔画像にマスク処理（特殊効果処理）を施すべきか否かを判断する。ユーザは、判断結果を液晶モニタで確認し、適切でない場合には手動で修正する。ＣＰＵは、マスク処理を施すべきと判断された顔画像の領域にマスク処理を施し、マスク処理が施された画像を携帯電話等の通信回線に送出する。
特開２００８−１９７８３７号公報

しかし、背景技術では、マスク処理の精度の確保のためにユーザによる修正操作を必要とする。ここで、ユーザの修正操作なくマスク処理の精度を確保しようとすると、ＣＰＵの負荷が増大する。

それゆえに、この発明の主たる目的は、負荷を低減しつつ特殊効果処理の精度の確保することができる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、入射光が照射される撮像面を有する撮像手段(16)によって繰り返し生成される被写界像を処理する画像処理装置(10)であって、撮像手段によって生成された被写界像から特定物画像を検出する検出手段(S33)、特殊効果処理のために参照される第１エリアを検出手段によって検出された特定物画像を覆うように定義する第１定義手段(S37)、第１定義手段によって定義された第１エリアの位置を光軸に直交する方向における撮像面の動きを参照して変更する変更手段(S45)、第１定義手段によって定義された第１エリアのサイズを変更手段の変更処理に関連して拡大する拡大手段(S47)、および光軸に直交する方向における撮像面の動きを参照して検出手段および変更手段を選択的に起動する起動制御手段(S41)を備える。

撮像手段は、入射光が照射される撮像面を有し、被写界像を繰り返し生成する。検出手段は、撮像手段によって生成された被写界像から特定物画像を検出する。特殊効果処理のために参照される第１エリアは、検出手段によって検出された特定物画像を覆うように、第１定義手段によって定義される。第１定義手段によって定義された第１エリアの位置は、光軸に直交する方向における撮像面の動きを参照して、変更手段によって変更される。第１定義手段によって定義された第１エリアのサイズは、変更手段の変更処理に関連して、拡大手段によって拡大される。起動制御手段は、光軸に直交する方向における撮像面の動きを参照して検出手段および変更手段を選択的に起動する。

したがって、特定物画像の検出処理および第１エリアの定義処理が起動されるときは、第１エリアの位置の変更処理および第１エリアのサイズの拡大処理が中断される。逆に、第１エリアの位置の変更処理および第１エリアのサイズの拡大処理が起動されるときは、特定物画像の検出処理および第１エリアの定義処理が中断される。また、このような選択的な起動／中断処理は、光軸に直交する方向における撮像面の動きを参照して制御される。これによって、検出手段の検出処理に起因する負荷の増大を抑えつつ、特定物画像に対する特殊効果処理の精度を確保することができる。

好ましくは、起動制御手段は、動きが撮像面の微少振動に相当するか否かを判別し、判別結果が否定的であるとき検出手段を起動する一方、判別結果が肯定的であるとき変更手段を起動する。

好ましくは、微少振動の補正処理のために参照される第２エリアを光軸に直交する方向における撮像面の動きが補償されるように定義する第２定義手段(S21~S29)がさらに備えられる。

好ましくは、拡大手段によって拡大されたサイズが基準に達したとき検出手段を強制的に起動する起動手段(S81)がさらに備えられる。

好ましくは、検出手段によって検出された特定物画像の動きを予測する予測手段(S83)がさらに備えられ、変更手段は予測手段によって予測された動きをさらに参照して第１エリアの位置を変更する。

好ましくは、特殊効果処理はマスク処理を含む。

好ましくは、上述の画像処理装置が電子カメラに備えられる。

この発明に従う画像処理プログラムは、入射光が照射される撮像面を有する撮像手段(16)から繰り返し出力される被写界像を処理する画像処理装置(10)のプロセッサ(26)に、撮像手段によって生成された被写界像から特定物画像を検出する検出ステップ(S33)、特殊効果処理のために参照される第１エリアを検出ステップによって検出された特定物画像を覆うように定義する第１定義ステップ(S37)、第１定義ステップによって定義された第１エリアの位置を光軸に直交する方向における撮像面の動きを参照して変更する変更ステップ(S45)、第１定義ステップによって定義された第１エリアのサイズを変更ステップの変更処理に関連して拡大する拡大ステップ(S47)、および光軸に直交する方向における撮像面の動きを参照して検出ステップおよび変更ステップを選択的に起動する起動制御ステップ(S41)を実行させるための、画像処理プログラムである。

この発明に従う画像処理方法は、入射光が照射される撮像面を有する撮像手段(16)から繰り返し出力される被写界像を処理する画像処理装置(10)によって実行される画像処理方法であって、撮像手段によって生成された被写界像から特定物画像を検出する検出ステップ(S33)、特殊効果処理のために参照される第１エリアを検出ステップによって検出された特定物画像を覆うように定義する第１定義ステップ(S37)、第１定義ステップによって定義された第１エリアの位置を光軸に直交する方向における撮像面の動きを参照して変更する変更ステップ(S45)、第１定義ステップによって定義された第１エリアのサイズを変更ステップの変更処理に関連して拡大する拡大ステップ(S47)、および光軸に直交する方向における撮像面の動きを参照して検出ステップおよび変更ステップを選択的に起動する起動制御ステップ(S41)を備える。

この発明によれば、特定物画像の検出処理および第１エリアの定義処理が起動されるときは、第１エリアの位置の変更処理および第１エリアのサイズの拡大処理が中断される。逆に、第１エリアの位置の変更処理および第１エリアのサイズの拡大処理が起動されるときは、特定物画像の検出処理および第１エリアの定義処理が中断される。また、このような選択的な起動／中断処理は、光軸に直交する方向における撮像面の動きを参照して制御される。これによって、検出手段の検出処理に起因する負荷の増大を抑えつつ、特定物画像に対する特殊効果処理の精度を確保することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルビデオカメラ１０は、光学レンズ１２および絞りユニット１４を含む。被写界の光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ（図示せず）によって覆われる。したがって、各画素では、Ｒ（Red），Ｇ（Green）およびＢ（Blue）のいずれか１つの色情報を有する電荷が光電変換によって生成される。

電源が投入されると、ＣＰＵ２６は、動画撮像タスクの下で動画取り込み処理を実行するべく、ドライバ１８を起動する。ドライバ１８は、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、被写界を表す生画像データが６０ｆｐｓのフレームレートで出力される。

カメラ処理回路２０は、イメージセンサ１６から出力された各フレームの生画像データに色分離，白バランス調整，ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを出力する。カメラ処理回路２０から出力された生画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４に書き込まれる。

撮像面には、図２に示す要領で画像抽出エリアＥＸが割り当てられる。ＬＣＤドライバ３８は、ＳＤＲＡＭ３４に格納された画像データのうち画像抽出エリアＥＸに属する一部の画像データをメモリ制御回路３２を通して１／６０秒毎に読み出し、読み出された画像データに基づいてＬＣＤモニタ４０を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

カメラ処理回路２０は、上述の処理に加えて、ＹＵＶ変換によって得られた画像データのＹ成分つまりＹデータをＡＦ評価回路２２およびＡＥ評価回路２４に与える。

ＡＦ評価回路２２は、カメラ処理回路２０から与えられたＹデータのうち図２に示す評価エリアＥＡに属する一部のＹデータの高周波成分を１／６０秒毎に積分し、積分値つまりフォーカス評価値をＣＰＵ２６に与える。ＣＰＵ２６は、与えられたフォーカス評価値に基づいていわゆるコンティニュアスＡＦ処理を実行し、光学レンズ１２を合焦点に配置する。この結果、ＬＣＤモニタ４０から出力される動画像の鮮鋭度が継続的に高い値を保つ。

ＡＥ評価回路２４は、カメラ処理回路２０から与えられたＹデータのうち評価エリアＥＡに属する一部のＹデータを１／６０秒毎に積分し、積分値つまり輝度評価値を出力する。ＣＰＵ２６は、ＡＥ評価回路２４から出力された輝度評価値に基づいて適正露光量が得られるＥＶ値を算出し、算出されたＥＶ値を定義する絞り量および露光時間を絞りユニット１４およびドライバ１８に設定する。この結果、ＬＣＤモニタ４０から出力される動画像の明るさが適度に調整される。

キー入力装置３０によって記録開始操作が行われると、ＣＰＵ２６は記録処理を開始するべくＩ／Ｆ４２を起動する。Ｉ／Ｆ４２は、ＳＤＲＡＭ３４に格納された画像データを１／６０秒毎に読み出し、読み出された画像データを記録媒体４４内の動画ファイルに圧縮状態で書き込む。Ｉ／Ｆ４２は、キー入力装置３０上で記録終了操作が行われたときにＣＰＵ２６によって停止される。この結果、画像データの記録処理が終了される。

ジャイロセンサ２８は、光軸に直交する方向における撮像面の動きを繰り返し検知し、検知された動きを表す動きベクトルを出力する。ＣＰＵ２６は、動画撮像タスクと並列して実行される手振れ補正タスクの下で、ジャイロセンサ２８から出力された動きベクトルを繰り返し取り込む。取り込み動作は、垂直同期信号Ｖｓｙｎｃが発生する毎に実行される。

ＣＰＵ２６は、上述のような撮像面の動きが手振れおよびパン／チルト動作のいずれに起因するかを動きベクトルに基づいて判別し、撮像面の動きが手振れに起因するときに動きベクトルに沿って画像抽出エリアＥＸを移動させる。画像抽出エリアＥＸの位置は、手振れに起因する撮像面の動きが補償（相殺）されるように変更される。

画像抽出エリアＥＸは、初期状態において図３の上段に示すように撮像面の中央に割り当てられ、撮像面に手振れが生じたとき図４の下段に示すように撮像面上を移動する。この結果、ＬＣＤモニタ４０から出力されるスルー画像の手振れが抑制される。

なお、上述の評価エリアＥＡは、画像抽出エリアＥＸの移動に合わせて移動させるようにしてもよい。

ＣＰＵ２６は、上述のような動画撮像タスクおよび手振れ補正タスクと並列して実行される物体検出タスクの下で、ＳＤＲＡＭ３４に格納された各フレームの画像データから特定物（たとえば風船）の画像を検出する物体認識処理を実行する。この物体認識処理では、図２に示す要領で撮像面に割り当てられた物体検出エリアＳＤＡが注目され、かつ図４（Ａ）〜図４（Ｃ）に示すようなサイズの異なる検出枠が準備される。

まず“大サイズ”の検出枠が物体検出エリアＳＤＡの左上の物体検出開始位置に配置される。垂直同期信号Ｖｓｙｎｃが検出されると、ＳＤＲＡＭ３４に格納された現フレームの画像データのうち検出枠に属する部分画像が物体認識のための照合処理を施される。具体的には、フラッシュメモリ３６に準備された辞書データを参照して、検出枠の部分画像が特定物画像に相当するか否かが判別される。

検出枠は、図５に示す要領でラスタ方向に既定量ずつ移動され、物体検出エリアＳＤＡ上の複数の位置で上述の照合処理が実行される。検出枠が物体検出エリアＳＤＡの右下の物体検出終了位置に達すると、検出枠のサイズが更新される。現時点のサイズが“大サイズ”であれば更新後のサイズは“中サイズ”となり、現時点のサイズが“中サイズ”であれば更新後のサイズは“小サイズ”となる。更新されたサイズを有する検出枠は物体検出開始位置から物体検出終了位置に向けてラスタ走査態様で移動される。

このような物体認識処理によって特定物つまり図６（Ａ）に示す風船ＢＬの認識に成功すると、ＣＰＵ２６は、認識された風船ＢＬを覆うようにマスクエリアＭＳＫを定義する。図６（Ｂ）に示すように、マスクエリアＭＳＫは、風船ＢＬを覆うサイズを有し、かつ風船ＢＬを覆う位置に設定される。

マスクエリアＭＳＫが定義されると、ＣＰＵ２６は、画像抽出エリアＥＸに動きがあるか否か（つまり手振れが生じているか否か）を判別する。動きが生じていなければ、ＣＰＵ２６は、垂直同期信号Ｖｓｙｎｃが発生する毎に上述の物体認識処理を実行する。

これに対して、動きが生じていれば、物体認識処理を中断し、画像抽出エリアＥＸの移動に合わせてマスクエリアＭＳＫを移動させるとともに、移動されたマスクエリアＭＳＫのサイズを既定量だけ拡大する。このようなマスクエリアＭＳＫの移動処理および拡大処理は、画像抽出エリアＥＸに動きが生じている限り、繰り返し実行される。したがって、画像抽出エリアＥＸが継続的に動いているとき、マスクエリアＭＳＫのサイズは図６（Ｃ）および図６（Ｄ）に示す要領で既定量ずつ拡大される。

風船ＢＬが横切る被写界を断続的に手振れが生じる撮像面で捉えたとき、マスクエリアＭＳＫの位置およびサイズは、図７に示すように変化する。まず、物体認識処理によって、マスクエリアＭＳＫが風船ＢＬを覆うように定義される（図７左上段参照）。定義されたマスクエリアＭＳＫは、撮像面に手振れが生じているとき、画像抽出エリアＥＸの移動に合わせて移動し、かつ拡大される（図７右上段参照）。

撮像面の手振れが収まると、物体認識処理が再度実行され、マスクエリアＭＳＫは風船ＢＬを覆うように定義される（図７左下段参照）。撮像面の手振れが再開されると物体認識処理が中断され、マスクエリアＭＳＫは画像抽出エリアＥＸの移動に合わせて移動しかつ拡大される（図７右下段参照）。

図８（Ａ）および図８（Ｂ）に示すように、物体認識処理およびマスクエリアＭＳＫの定義処理が実行されるときは、マスクエリアＭＳＫの位置の変更処理およびマスクエリアＭＳＫのサイズの拡大処理が中断される。逆に、マスクエリアＭＳＫの位置の変更処理およびマスクエリアＭＳＫのサイズの拡大処理が実行されるときは、物体認識処理およびマスクエリアＭＳＫの定義処理が中断される。

また、このような選択的ないし代替的な実行／中断処理は、画像抽出エリアＥＸの移動の有無を参照して制御される（図８（Ｃ）参照）。つまり、画像抽出エリアＥＸが停止しているときは物体認識処理およびマスクエリアＭＳＫの定義処理が実行され、画像抽出エリアＥＸが移動しているときはマスクエリアＭＳＫの位置の変更処理およびマスクエリアＭＳＫのサイズの拡大処理が実行される。これによって、物体認識処理に起因する負荷の増大を抑えつつ、風船ＢＬの画像に対するマスク処理の精度を確保することができる。

ＣＰＵ２６は、図９に示す動画撮像タスク，図１０に示す手振れ補正タスクおよび図１１〜図１３に示す物体検出タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ３６に記憶される。

図９を参照して、ステップＳ１では動画取り込み処理を実行し、ステップＳ３ではコンティニュアスＡＦタスクを起動する。ステップＳ１の処理によってスルー画像がＬＣＤモニタ４０から出力され、ステップＳ３の処理によってフォーカスが連続的に調整される。ステップＳ５では記録開始操作が行われたか否かを判別し、ＮＯである限りステップＳ７のＡＥ処理を繰り返す。これによって、露光量が適度に調整される。記録開始操作が行わるとステップＳ９に進み、記録処理を開始するべくＩ／Ｆ４２を起動する。ステップＳ１１では記録終了操作が行われたか否かを判別し、ＮＯである限りステップＳ１３のＡＥ処理を繰り返す。記録終了操作が行われるとステップＳ１５に進み、記録処理を終了するべくＩ／Ｆ４２を停止する。ステップＳ１５の処理が完了すると、ステップＳ５に戻る。

図１０を参照して、ステップＳ２１では画像抽出エリアＥＸの位置を初期化し、ステップＳ２３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。垂直同期信号Ｖｓｙｎｃが発生するとステップＳ２５に進み、光軸に直交する方向における撮像面の動きを示す動きベクトルをジャイロセンサ２８から取り込む。

ステップＳ２７では、現時点の撮像面の動きがパン／チルト動作に起因するものであるか否かを取り込まれた動きベクトルに基づいて判別する。ここでＹＥＳであればそのままステップＳ２３に戻り、ＮＯであればステップＳ２９に進む。ステップＳ２９では、ステップＳ２５で取り込まれた動きベクトルに沿って画像抽出エリアＥＸを移動させる。ステップＳ２９の処理が完了すると、ステップＳ２３に戻る。

図１１を参照して、ステップＳ３１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、ＹＥＳであればステップＳ３３で物体認識処理を実行する。ステップＳ３５では特定物つまり風船ＢＬの認識に成功したか否か（具体的には、フラグＦＬＧが“１”であるか否か）を判別し、ＹＥＳであればステップＳ３７に進む一方、ＮＯであればステップＳ３９に進む。

ステップＳ３７では、認識された風船ＢＬの画像を覆うように、マスクエリアＭＳＫを定義する。マスクエリアＭＳＫは、風船ＢＬを覆うサイズを有し、かつ風船ＢＬを覆う位置に設定される。ステップＳ３９では、マスクエリアＭＳＫの定義を解消する。ステップＳ３７またはＳ３９の処理が完了すると、ステップＳ４１に進む。

ステップＳ４１では画像抽出エリアＥＸが移動したか否かを判別し、ステップＳ４３ではマスクエリアＭＳＫが定義済みであるか否かを判別する。ステップＳ４１およびＳ４３のいずれか一方でＮＯであれば、ステップＳ３１に戻る。ステップＳ４１およびＳ４３の両方でＹＥＳであれば、ステップＳ４５に進む。

ステップＳ４５では、画像抽出エリアＥＸの移動に合わせてマスクエリアＭＳＫを移動させる。マスクエリアＭＳＫの位置は、画像抽出エリアＥＸに対して相対的に固定される。ステップＳ４７では、マスクエリアＭＳＫのサイズを既定量だけ拡大する。拡大処理が完了すると、ステップＳ４１に戻る。

ステップＳ３３の物体認識処理は、図１２に示すサブルーチンに従って実行される。まずステップＳ５１でフラグＦＬＧを“０”に設定し、次にステップＳ５３で“大サイズ”の検出枠を物体検出開始位置に配置する。垂直同期信号Ｖｓｙｎｃが発生するとステップＳ５５でＹＥＳと判断し、ステップＳ５７で物体認識のための照合処理を実行する。照合処理では、フラッシュメモリ３６に記憶された辞書データを参照して、検出枠に属する部分画像が特定物の画像に相当するか否かを判別する。

注目する部分画像が特定物の画像であると判別されると、つまり物体認識に成功すると、ステップＳ５９でＹＥＳと判断し、ステップＳ６１でフラグＦＬＧを“１”に設定してからステップＳ６３に進む。一方、注目する部分画像は特定物体の画像ではないと判別されると、つまり物体認識に失敗すると、ステップＳ５９でＮＯと判断し、そのままステップＳ６３に進む。

ステップＳ６３では検出枠の現在位置が物体検出エリアの右下の物体検出終了位置に相当するか否かを判別し、ステップＳ６５では検出枠の現在のサイズが“小サイズ”であるか否かを判別する。ステップＳ６３およびＳ６５のいずれもＹＥＳであれば、上階層のルーチンに復帰する。

ステップＳ６３でＮＯであればステップＳ６７に進み、検出枠をラスタ方向に既定量だけ移動させる。ステップＳ６３でＹＥＳである一方、ステップＳ６５でＮＯであれば、ステップＳ６９で検出枠のサイズを更新し、ステップＳ７１で検出枠を物体検出開始位置に配置する。ステップＳ６９の処理の結果、検出枠のサイズは、“大サイズ”から“中サイズ”に更新されるか、或いは“中サイズ”から“小サイズ”に更新される。物体検出開始位置には、更新されたサイズを有する検出枠が配置される。ステップＳ６７またはＳ７１の処理が完了すると、ステップＳ５７に戻る。

以上の説明から分かるように、イメージセンサ１６は、入射光が照射される撮像面を有し、被写界像を繰り返し生成する。ＣＰＵ２６は、イメージセンサ１６によって生成された被写界像から風船ＢＬ（特定物）の画像を検出する(S33)。マスク処理（特殊効果処理）のために参照されるマスクエリアＭＳＫ（第１エリア）は、検出された風船ＢＬの画像を覆うように、ＣＰＵ２６によって定義される(S37)。定義されたマスクエリアＭＳＫの位置は、光軸に直交する方向における撮像面の動きを参照して、ＣＰＵ２６によって変更される(S45)。また、定義されたマスクエリアＭＳＫのサイズは、マスクエリアＭＳＫの位置の変更処理に関連して、ＣＰＵ２６によって拡大される(S47)。ＣＰＵ２６は、光軸に直交する方向における撮像面の動きを参照して、風船ＢＬの画像の検出処理とマスクエリアＭＳＫの位置の変更処理とを選択的に起動する(S41)。

したがって、風船ＢＬの画像の検出処理およびマスクエリアＭＳＫの定義処理が起動されるときは、マスクエリアＭＳＫの位置の変更処理およびマスクエリアＭＳＫのサイズの拡大処理が中断される。逆に、マスクエリアＭＳＫの位置の変更処理およびマスクエリアＭＳＫのサイズの拡大処理が起動されるときは、風船ＢＬの画像の検出処理およびマスクエリアＭＳＫの定義処理が中断される。また、このような選択的な起動／中断処理は、光軸に直交する方向における撮像面の動きを参照して制御される。これによって、風船ＢＬの画像の検出処理に起因する負荷の増大を抑えつつ、風船ＢＬの画像に対するマスク処理の精度を確保することができる。

なお、図１１に示す物体検出タスクによれば、撮像面に手振れが継続的に生じる場合に、マスクエリアＭＳＫのサイズが無限に拡大される（ステップＳ４１〜Ｓ４７参照）。ここで、図１４に示す処理を図１１に示す物体検出タスクに追加し、マスクエリアＭＳＫのサイズが基準値ＲＥＦに達したときに物体認識処理を強制的に実行するようにすれば、マスクエリアＭＳＫが無限に拡大される事態を回避することができる。

図１４によれば、ステップＳ８１の処理は、図１１に示すステップＳ４７の処理に続いて実行される。ステップＳ８１ではマスクエリアＭＳＫのサイズが基準値ＲＥＦを上回るか否かを判別し、ＮＯであればステップＳ４１に戻る一方、ＹＥＳであればステップＳ３１に戻る。

また、図１１に示す物体検出タスクによれば、撮像面に手振れが生じているとき、マスクエリアＭＳＫは画像抽出エリアＥＸの動きに合わせて動き（ステップＳ４５参照）、特定物の動きがマスクエリアＭＳＫの移動処理に反映されることはない。ここで、図１５に示す処理を図１１に示すステップＳ４５の処理に代えて実行し、特定物の動きをマスクエリアＭＳＫの移動処理に反映させるようにすれば、より精度の高いマスク処理を実現することができる。

図１５によれば、ステップＳ８３の処理は図１１に示すステップＳ４３の処理に続いて実行される。ステップＳ８３では、特定物の動きベクトルを過去数フレームの特定物の動きに基づいて予測する。続くステップＳ８５では、図１０に示すステップＳ２５で取り込まれた動きベクトルとステップＳ８３で予測された動きベクトルとを参照して、マスクエリアＭＳＫを移動させる。移動処理が完了すると、ステップＳ４７に進む。

なお、この実施例では、一般消費者向けのカメラを想定しているが、この発明は、監視カメラのような業務用のカメラにも適用できる。ただし、監視カメラは建物に固定されるため、手振れ補正タスクでは、手振れではなく建物の微少振動が注目される。したがって、監視カメラでは、“手振れ補正タスク”は「振動補正タスク」と定義するべきである。

また、この実施例では、特定物として風船ＢＬを想定しているが、人物の頭部を特定物として想定するようにしてもよい。さらに、この実施例では特殊効果処理としてマスク処理を想定しているが、マスク処理に代えてモザイク処理を想定するようにしてもよい。

この発明の一実施例の構成を示すブロック図である。撮像面における画像抽出エリアおよび物体検出エリアの割り当て状態の一例を示す図解図である。図１実施例における手振れ補正動作の一例を示す図解図である。（Ａ）は大サイズの検出枠の一例を示す図解図であり、（Ｂ）は中サイズの検出枠の一例を示す図解図であり、（Ｃ）は小サイズの検出枠の一例を示す図解図である。図１実施例における物体認識動作の一例を示す図解図である。（Ａ）はマスク処理を施される物体の一例を示す図解図であり、（Ｂ）は物体に対するマスク動作の一例を示す図解図であり、（Ｃ）は物体に対するマスク動作の他の一例を示す図解図であり、（Ｄ）は物体に対するマスク動作のその他の一例を示す図解図である。図１実施例における手振れ補正動作およびマスク動作の一例を示す図解図である。（Ａ）は物体認識動作およびマスクエリア定義動作の実行／中断の一例を示すタイミング図であり、（Ｂ）はマスクエリアの位置変更動作およびサイズ変更動作の実行／中断の一例を示すタイミング図であり、（Ｃ）は画像抽出エリアの移動／停止の一例を示すタイミング図である。図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。その他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。

符号の説明

１０ …ディジタルビデオカメラ
１６ …イメージセンサ
２０ …カメラ処理回路
２６ …ＣＰＵ
２８ …ジャイロセンサ
３４ …ＳＤＲＡＭ
３６ …フラッシュメモリ

Claims

入射光が照射される撮像面を有する撮像手段によって繰り返し生成される被写界像を処理する画像処理装置であって、
前記撮像手段によって生成された被写界像から特定物画像を検出する検出手段、
特殊効果処理のために参照される第１エリアを前記検出手段によって検出された特定物画像を覆うように定義する第１定義手段、
前記第１定義手段によって定義された第１エリアの位置を光軸に直交する方向における前記撮像面の動きを参照して変更する変更手段、
前記第１定義手段によって定義された第１エリアのサイズを前記変更手段の変更処理に関連して拡大する拡大手段、および
前記光軸に直交する方向における前記撮像面の動きを参照して前記検出手段および前記変更手段を選択的に起動する起動制御手段を備える、画像処理装置。
前記起動制御手段は、前記動きが前記撮像面の微少振動に相当するか否かを判別し、判別結果が否定的であるとき前記検出手段を起動する一方、判別結果が肯定的であるとき前記変更手段を起動する、請求項１記載の画像処理装置。
微少振動の補正処理のために参照される第２エリアを前記光軸に直交する方向における前記撮像面の動きが補償されるように定義する第２定義手段をさらに備える、請求項１または２記載の画像処理装置。
前記拡大手段によって拡大されたサイズが基準に達したとき前記検出手段を強制的に起動する起動手段をさらに備える、請求項１ないし３のいずれかに記載の画像処理装置。
前記検出手段によって検出された特定物画像の動きを予測する予測手段をさらに備え、
前記変更手段は前記予測手段によって予測された動きをさらに参照して前記第１エリアの位置を変更する、請求項１ないし４のいずれかに記載の画像処理装置。
前記特殊効果処理はマスク処理を含む、請求項１ないし５のいずれかに記載の画像処理装置。
請求項１ないし６のいずれかに記載の画像処理装置を備える、電子カメラ。
入射光が照射される撮像面を有する撮像手段から繰り返し出力される被写界像を処理する画像処理装置のプロセッサに、
前記撮像手段によって生成された被写界像から特定物画像を検出する検出ステップ、
特殊効果処理のために参照される第１エリアを前記検出ステップによって検出された特定物画像を覆うように定義する第１定義ステップ、
前記第１定義ステップによって定義された第１エリアの位置を光軸に直交する方向における前記撮像面の動きを参照して変更する変更ステップ、
前記第１定義ステップによって定義された第１エリアのサイズを前記変更ステップの変更処理に関連して拡大する拡大ステップ、および
前記光軸に直交する方向における前記撮像面の動きを参照して前記検出ステップおよび前記変更ステップを選択的に起動する起動制御ステップを実行させるための、画像処理プログラム。
入射光が照射される撮像面を有する撮像手段から繰り返し出力される被写界像を処理する画像処理装置によって実行される画像処理方法であって、
前記撮像手段によって生成された被写界像から特定物画像を検出する検出ステップ、
特殊効果処理のために参照される第１エリアを前記検出ステップによって検出された特定物画像を覆うように定義する第１定義ステップ、
前記第１定義ステップによって定義された第１エリアの位置を光軸に直交する方向における前記撮像面の動きを参照して変更する変更ステップ、
前記第１定義ステップによって定義された第１エリアのサイズを前記変更ステップの変更処理に関連して拡大する拡大ステップ、および
前記光軸に直交する方向における前記撮像面の動きを参照して前記検出ステップおよび前記変更ステップを選択的に起動する起動制御ステップを備える、画像処理方法。