JP5137622B2 - 撮影装置及びその制御方法、並びに画像処理装置及びその制御方法 - Google Patents

Description

本発明は、ビデオカメラなどの撮影装置及び画像処理装置に関し、より具体的には、被写体を認識してカメラ制御を行う撮影装置及びその制御方法、並びに画像処理装置及びその制御方法に関する。

近年、撮影している画像から、顔などの注目すべき被写体を認識して、その部分にあったフォーカスや露出などのカメラ制御を行うスチルカメラや、監視用カメラなどが登場している。

特許文献１では、撮影画像から複数の顔を検出して、本体に登録されている人物と一致する顔があった場合、その顔を優先して顔部分に応じたフォーカスや露出の制御を行い、顔部分に枠表示を行うスチルカメラについて記述されている。

また、特許文献２では、撮影画像に対する複数の測距部分から、中央部分を優先してフォーカスを制御するスチルカメラについて記述されている。

また、特許文献３では、複数の動きベクトル検出枠で最も多く検出した動きベクトルを主要被写体のものと判断する自動追尾カメラについて記述されている。
特開２００４−３２０２８７号公報 特開平０７−１４０３７４号公報 特開平０５−０３０４０７号公報

しかしながら、従来のカメラでは、ユーザーが所望の人物の顔を撮影しているときに、他の人物が撮影範囲に入ってくると、ユーザーの期待に反して他の人物の顔にあったフォーカスや露出の制御が行われることがあった。また、ユーザーの期待に反して他の人物の顔に枠が表示されてしまうことがあった。

特に、スチルカメラの場合には、ユーザーがレリーズ前に所望の被写体が優先されるように操作することができるが、ビデオカメラの場合には連続して撮影を行うため、所望の人物に対するフォーカスや露出の制御が外れてしまうと、画質面で大きな問題となる。

特許文献１に示したスチルカメラでは、所望の被写体を判別するために、登録済みの人物の顔と一致するかを判定する処理が必要で、ハードウェアが複雑化し、ソフトウェアの処理時間が長くなってしまう問題があった。

また、特許文献２に示したスチルカメラでは、撮影対象の人物の後で通行人などが撮影範囲の中央を通り過ぎた場合などに、期待に反する人物が優先される問題があった。

また、特許文献３に示した自動追尾カメラでは、撮影対象の人物より手前で通行人などが撮影範囲を通り過ぎた場合などに、期待に反する人物が優先される問題があった。

本発明の目的は、検出された複数の被写体の中から、優先すべき被写体をより適切に自動選択することができる撮影装置及びその制御方法、並びに画像処理装置及びその制御方法を提供することにある。

上記目的を達成するために、請求項１記載の撮影装置は、動画を撮影する撮影手段と、撮影された前記動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、撮影された前記動画の撮影状態を評価して評価結果を得る状態評価手段と、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記撮影手段を制御する制御手段とを備え、前記制御手段は、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。

請求項３記載の画像処理装置は、動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、前記動画に図形を描画する描画手段と、前記動画の検出された前記特徴部分に対して前記図形を描画するよう前記描画手段を制御する制御手段とを備え、前記制御手段は、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分に対する優先度付けを行い、優先度に応じて、前記特徴部分に対する前記図形を描画するよう前記描画手段を制御するものであって、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。

請求項６記載の画像処理装置は、動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、前記動画の状態を評価して評価結果を得る状態評価手段と、前記動画に対して画像処理を行う画像処理手段と、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記画像処理手段を制御する制御手段とを備え、前記制御手段は、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。
請求項７記載の撮影装置の制御方法は、動画を撮影する撮影手段を備えた撮像装置の制御方法であって、撮影された前記動画を構成する画像信号から被写体の予め定められた特徴部分を検出するステップと、撮影された前記動画の撮影状態を評価して評価結果を得る状態評価ステップと、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記撮影手段を制御する制御ステップとを有し、前記制御ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。
請求項８記載の画像処理装置の制御方法は、動画を構成する画像信号から被写体の予め定められた特徴部分を検出し、前記動画の検出された前記特徴部分に対して図形を描画する画像処理装置の制御方法であって、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分に対する優先度付けを行い、前記優先度に応じて、前記特徴部分に対する前記図形を描画する描画ステップを有し、前記描画ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。
請求項９記載の画像処理装置の制御方法は、動画を構成する画像信号から被写体の予め定められた特徴部分を検出し、前記動画に画像処理を行う画像処理装置の制御方法であって、前記動画の状態を評価して評価結果を得る状態評価ステップと、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記画像処理を行う画像処理ステップとを有し、前記画像処理ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする。

請求項１記載の発明によれば、検出された複数の被写体の中から、より適切に自動選択された被写体に対して適切なカメラ制御を行うことができる。

請求項３記載の発明によれば、検出された複数の被写体の中から、装置がどの被写体を優先しているかを容易に知ることができる。

請求項６記載の発明によれば、検出された複数の被写体の中から、より適切に自動選択された被写体に対して適切な画像処理制御を行うことができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る画像撮影装置としての、ディスク型の記録媒体に動画像を記録するデジタルビデオカメラのブロック構成図である。

図１において、ビデオカメラ１００は、図中の１０１〜１０５に示す制御系ブロックを備える。

ＣＰＵ１０１は、内部バス１０５により、ＲＡＭ１０２、ＲＯＭ１０３及びその他の各ブロックに接続され、ＲＯＭ１０３に格納された制御プログラムを基に、各ブロックの制御を行う。

ＣＰＵ１０１は、動作時の一時的なデータの格納場所としてＲＡＭ１０２を用いる。また、ＣＰＵ１０１に接続された操作部１０４は、ユーザーによる各種の操作レバーやボタンなどの入力をＣＰＵ１０１に伝え、ＣＰＵ１０１は、ユーザーの指示に応じて、各種処理を行うことができる。

また、ビデオカメラ１００は図中の１１０〜１１４に示すカメラ系ブロックを備える。

フォーカスレンズ１１０を通過した光は、ＣＣＤイメージセンサ（ＣＣＤ）１１３の撮像面上に結像し、撮像面の光学像が電気信号に変換される。

レンズドライバ１１２は、ＣＰＵ１０１の制御により、フォーカスレンズ１１０及び絞り１１１を駆動して、フォーカスと絞り量の調整を行う。ＡＦＥ１１４は、ＣＰＵ１０１に指示されたシャッター速度に基づき、ＣＣＤイメージセンサ１１３を駆動して画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。

また、ビデオカメラ１００は、図中の１２０〜１２５に示す画像処理系ブロックを備える。

ＣＰＵ１０１の制御により、画像入力部１２０は、撮影時にはＡＦＥ１１４から、再生時にはＣＯＤＥＣ１３０から画像信号を入力し、画像処理部１２１は、バッファメモリ１２２を用いて、色変換や解像度変換といった各種の画像信号処理を行う。

フォーカス評価部１２３及び露出評価部１２４は、画像処理部１２１から得た画像信号に含まれる複数の領域に対して、フォーカス及び露出の状態をそれぞれ評価する。特徴検出部１２５は、バッファメモリ１２２から読み出した画像信号から、画像に含まれる特徴部分の数とそれらの大きさ、位置を検出する。

本実施の形態では、画像に含まれる特徴部分として、人物の顔部分を検出するものとする。顔部分を検出する方法には、ニューラルネットワークやサポートベクターマシンに代表される学習を用いた方法がある。また、目や鼻といった物理的な形状の特徴のある部位を画像領域からテンプレートマッチングで抽出する方法がある。更に、特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報に示されるように、肌の色や目の形といった画像特徴量を検出し統計的手法を用いて解析する方法などがある。

また、ビデオカメラ１００は、図中の１３０〜１３３に示すレコーダ系ブロックを備える。

撮影画像の記録時、ＣＰＵ１０１の制御により、ＣＯＤＥＣ１３０は、画像処理部１２１から得た画像信号を符号化してバッファメモリ１３１に書き出し、ディスクコントローラ１３２がその符号データをディスク１３３（ＤＶＤなどの記録媒体）に記録する。

逆に、記録画像の再生時には、ＣＰＵ１０１の制御により、ディスクコントローラ１３２は、ディスク１３３から読み出した符号データをバッファメモリ１３１に書き出し、ＣＯＤＥＣ１３０がそれを復号化する。

また、ビデオカメラ１００は、図中の１４０〜１４６に示す表示系ブロックを備える。

描画処理部１４０は、画像処理部１２１から得た画像信号に対して、ＣＰＵ１０１の指示に基づき描画した文字や図形などを重畳して、バッファメモリ１４１に書き出す。ＬＣＤコントローラ１４２は、バッファメモリ１４１より読み込んだ画像信号をＬＣＤ１４３に出力して表示させる。

また、外部出力コントローラ１４５は、バッファメモリ１４１より読み込んだ画像信号を、外部端子１４６に接続ケーブル１５０を介して接続されている外部出力装置１５１へ出力して表示させる。

ここで、フォーカスレンズ１１０、絞り１１１及びＣＣＤ１１３は、画像を撮影する撮影手段として機能する。

また、特徴検出部１２５は、撮影された画像から特徴部分を検出する特徴検出手段として機能する。動画を構成する複数フレームの画像信号から、所定周期で画像信号を受け取り、特徴部分を検出する。

また、フォーカス評価部１２３及び露出評価部１２４は、撮影された画像の撮影状態を評価する状態評価手段として機能する。

また、ＣＰＵ１０１及びレンズドライバ１１２は、特徴部分に対する撮影状態に応じて撮影手段を制御する制御手段として機能する。

そして、制御手段としてのＣＰＵ１０１は、特徴検出手段によって特徴部分が複数検出された場合には、検出されている時間の長い特徴部分を優先して、撮影状態に応じた撮影手段の制御を行う。

また、ＣＰＵ１０１は、検出されている時間の長い特徴部分を優先する際に、特徴部分の大きさと、特徴部分の中心から画像の中心までの近さのいずれか、もしくは全てを含めて特徴部分に対する優先度付けを行う。

また、ＣＰＵ１０１は、検出されている時間の最も長い特徴部分に応じて撮影手段を制御する。

状態評価手段としてのフォーカス評価部１２３は、撮影された画像の測距を行い、レンズドライバ１１２は、フォーカスレンズ１１０の焦点を制御する。

また、状態評価手段としての露出評価部１２４は、撮影された画像の測光を行い、レンズドライバ１１２は、絞り１１１の露出を制御する。

また、画像入力部１２０は、画像を入力する入力手段として機能する。

特徴検出部１２５は、入力された画像から特徴部分を検出する特徴検出手段として機能する。

また、描画処理部１４０は、入力された画像に任意の図形を描画する描画手段として機能する。

また、ＣＰＵ１０１は、検出された特徴部分に対して図形を描画するよう描画手段を制御する制御手段として機能する。

また、ＣＰＵ１０１は、特徴検出手段によって特徴部分が複数検出された場合には、検出されている時間の長さに応じて、特徴部分に対する図形を描画するよう描画手段を制御する。

また、ＣＰＵ１０１は、検出されている時間の最も長い特徴部分に対して、他の特徴部分と異なる図形を描画するよう描画手段を制御する。

また、ＣＰＵ１０１は、特徴部分を囲む矩形の枠を描画するよう描画手段を制御する。

また、ＣＰＵ１０１は、検出されている時間の長い特徴部分を優先する際に、特徴部分の大きさと、特徴部分の中心から前記画像の中心までの近さのいずれか、もしくは全てを含めて特徴部分に対する優先度付けを行う。

上記の具体的な内容については、以下、順に説明する。

次に、ビデオカメラ１００で複数の被写体を撮影した場合の動作について説明する。

（第１の実施の形態）
図２は、図１におけるＬＣＤまたは外部出力装置に出力されたビデオカメラの出力画像の例を示す図である（１）。

出力画像２００には撮影者が撮ろうとしている人物２１０と、通行人である人物２２０とが写っている。特徴検出部１２５は、人物２１０の顔部分を特徴として、その大きさ、位置を検出している一方、人物２２０の顔部分は画像全体に対して小さいため、ここでは検出していない。

ＣＰＵ１０１は、ＲＡＭ１０２に被写体リストを格納しており、特徴検出部１２５の検出結果から上記被写体リストを更新する。ＣＰＵ１０１は、人物２１０の顔部分に対するフォーカス、露出の評価結果をフォーカス評価部１２３及び露出評価部１２４より得る。そして、それを基に、レンズドライバ１１２とＡＦＥ１１４とを制御してフォーカスと露出（絞り量とシャッター速度）の調整を行う。人物２１０の顔部分に対する検出枠２１１を描画し、画像信号に重畳して出力させる。

図３は、図２の出力画像からある時間経過したときの出力画像の例を示す図である。

図２に比べて、通行人である人物２２０が右手前に移動し、顔部分も大きくなったため、特徴検出部１２５は、人物２１０の顔部分に加えて、人物２２０の顔部分の大きさと位置を新たに検出している。

ＣＰＵ１０１は、被写体リストを更新し、より長い時間検出されている人物２１０を優先すべき被写体と判断し、図２の例と同様に、その顔部分に対するフォーカス、露出の評価結果を基にフォーカスと露出の調整を行う。

また、ＣＰＵ１０１は、描画処理部１４０を制御して、優先すべき被写体である人物２１０の顔部分に対する検出枠３１１は実線で描画し、他の被写体である人物２２０の顔部分に対する検出枠３２１は破線で描画し、画像信号に重畳して出力させる。

図４は、図３の出力画像からある時間経過したときの出力画像の例を示す図である。

図３に比べて通行人である人物２２０がさらに右手前に移動し、顔部分は人物２１０の顔部分より大きくなっている。

特徴検出部１２５の検出結果に応じて、ＣＰＵ１０１は、被写体リストを更新し、図３の例と同様に、より長い時間検出されている人物２１０を優先すべき被写体と判断し、その顔部分に対するフォーカス、露出の評価結果を基にフォーカスと露出の調整を行う。

また、図３の例と同様に、ＣＰＵ１０１は、描画処理部１４０を制御して、人物２１０及び人物２２０の顔部分に対する検出枠４１１、４２１を実線及び破線でそれぞれ描画し、画像信号に重畳して出力させる。

図５は、図１のビデオカメラによって実行される被写体リスト更新処理の手順を示すフローチャートである。被写体リストは、特徴検出部１２５が新たな画像信号に対して特徴抽出を実行するたびに更新処理が実施される。

本処理は、図１におけるＣＰＵ１０１の制御の下に実行される。

図６は、図１におけるＲＡＭに格納される被写体リストの例を示す図である。

ＲＡＭ１０２に格納される被写体リストには、被写体の位置（ｘ，ｙ）と、幅ｗと、検出している時間ｔとが登録されている。検出している時間ｔは、その被写体が検出されたフレームの数でも表すことができる。尚、本実施の形態の特徴検出部１２５は、特徴部分を含む正方形の幅ｗを、特徴部分の大きさとして検出する。

図５のステップＳ５０１において、ＣＰＵ１０１は、特徴検出部１２５より画像信号から検出した特徴部分の数Ｎを取得する。ステップＳ５０２において、被写体リストと照合していない特徴部分が残っている場合には、ステップＳ５０３で、ｎ番目の特徴部分の大きさと位置を取得する（ここで１≦ｎ≦Ｎであり、ｎは毎回カウントアップされる）。

続いて、ステップＳ５０４で、取得した大きさと位置に近いまたは同じ要素が、被写体リストに登録されているか照合を行う。該当する要素が被写体リストで見つかった場合、ステップＳ５０５で、該当要素の大きさと位置を更新し、検出時間をカウントアップする。

該当する要素が登録されていない場合、ステップＳ５０６で、新たに被写体リストの要素として、その大きさと位置とともに登録し、検出時間をカウントアップする。

ステップＳ５０２において、全ての特徴部分の照合が済んでいる場合には、ステップＳ５０７で、一定時間更新されなかった要素を削除（清掃）し、その検出時間を０にクリアする。要素を削除するまでに一定時間待つのは、対象となる被写体が余所見をしたり、別の人が前を横切ったりするなどの理由によって、たまたま被写体の特徴部分の検出に失敗した場合であっても、すぐさま要素を削除しないようにするためである。そして、本処理を終了する。

こうした構成によって、撮影者が撮ろうとしている人物を他の人物よりも長い時間、撮影範囲に入れて撮影すれば、その人物を撮るのに適切なカメラ制御を行うことができる。また、装置がどの人物を優先して動作しているかがＬＣＤや外部出力装置などの画面上で確認することができる。

（第２の実施の形態）
次に、第２の実施の形態のビデオカメラについて説明する。第２の実施の形態のビデオカメラは、第１の実施の形態のビデオカメラに比べ、ＣＰＵ１０１が優先すべき被写体を判断する方法が異なる。

ビデオカメラ１００で複数の被写体を撮影した場合の動作について説明する。

図７は、図１におけるＬＣＤまたは外部出力装置に出力されたビデオカメラの出力画像の例を示す図である（２）。

図７において、出力画像７００には、撮影者が撮ろうとしている人物７１０と、その後を歩いている人物７２０とが写っている。特徴検出部１２５は、人物７１０の顔部分を特徴として、その大きさ、位置を検出している一方、人物７２０の顔部分は手前方向を向いていないため、ここでは検出していない。

ＣＰＵ１０１は、特徴検出部１２５の検出結果から被写体リストを更新する。ＣＰＵ１０１は、人物７１０の顔部分に対するフォーカス、露出の評価結果をフォーカス評価部１２３及び露出評価部１２４より得て、それを基にレンズドライバ１１２とＡＦＥ１１４とを制御してフォーカスと露出（絞り量とシャッター速度）の調整を行う。

また、ＣＰＵ１０１は、描画処理部１４０を制御して、人物７１０の顔部分に対する検出枠７１１を描画し、画像信号に重畳して出力させる。

図８は、図７の出力画像からある時間経過したときの出力画像の例を示す図である。

図７に比べて後を歩いている人物７２０が中央奥に移動し、顔部分が手前方向を向いたため、特徴検出部１２５は、人物７１０の顔部分に加えて、人物７２０の顔部分の大きさと位置を新たに検出している。

ＣＰＵ１０１は、被写体リストを更新し、検出されている時間の長さと、位置と、大きさから人物７１０を優先すべき被写体と判断し、図７の例と同様に、その顔部分に対するフォーカス、露出の評価結果を基にフォーカスと露出の調整を行う。

また、ＣＰＵ１０１は、描画処理部１４０を制御して、優先すべき被写体である人物７１０の顔部分に対する検出枠８１１は実線で描画し、他の被写体である人物７２０の顔部分に対する検出枠８２１は破線で描画し、画像信号に重畳して出力させる。

図９は、図８の出力画像からある時間経過したときの出力画像の例を示す図である。

図８に比べて後を歩いていた人物７２０が撮影者に向かって手前方向に移動し、顔部分は人物７１０の顔部分より大きくなっている。

ここで、撮影者は人物７１０に代わって、人物７２０を主たる被写体として撮ろうとしているため、人物７２０が画像中心に大きく入ってきても、そのままの位置で撮り続けているものとする。

特徴検出部１２５の検出結果に応じて、ＣＰＵ１０１は、被写体リストを更新し、検出されている時間の長さと、位置と、大きさから、今度は人物７２０を優先すべき被写体と判断する。そして、その顔部分に対するフォーカス、露出の評価結果を基にフォーカスと露出の調整を行う。

また、ＣＰＵ１０１は、描画処理部１４０を制御して、人物７２０及び人物７１０の顔部分に対する検出枠９２１、９１１を実線及び破線でそれぞれ描画し、画像信号に重畳して出力させる。

ここで、図１０、図１１、図１２は、ＣＰＵ１０１が優先すべき被写体を判断する際に、被写体の距離、大きさ、検出している時間の長さを考慮する割合を点数で示したグラフである。

図１０において、横軸は被写体の位置（ｘ，ｙ）と、画像の中心（Ｘ０，Ｙ０）との距離ｄを示し、縦軸は点数ｐを示す。被写体の位置が画像の中心に近いほど点数は高く、画像の中心から最も遠い距離Ｄｍａｘに近づくと急峻に点数が低くなって０に至る。

図９に示した人物７１０の顔画像と、画像の中心との距離をＤ１とすると、その点数はＰｄ１となり、人物７２０の顔画像と、画像の中心との距離をＤ２とすると、その点数はＰｄ２となる。

図１１において、横軸は被写体の幅ｗを示し、縦軸は点数ｐを示す。特徴検出部１２５が検出できる最も小さい特徴部分の幅Ｗｍｉｎでも点数は付き、検出できる最も大きい特徴部分の幅Ｗｍａｘまで幅が大きくなるほど点数は高くなる。

図９に示した人物７１０の顔画像を含む正方形を幅Ｗ１とすると、その点数はＰｗ１となり、人物７２０の顔画像を含む正方形を幅Ｗ２とすると、その点数はＰｗ２となる。

図１２において、横軸は被写体を検出している時間ｔを示し、縦軸は点数ｐを示す。閾値である時間Ｔｍｉｎまでは点数が０のままで、それを越えて被写体が検出され続けると徐々に点数が増える。時間Ｔｍａｘに近づくと点数の増加が抑えられ、Ｔｍａｘに至ると被写体に対する時間のカウントアップは停止され、それ以上点数は増えない。

図９に示した人物７１０の検出時間をＴ１とすると、その点数はＰｔ１となり、人物７２０の検出時間をＴ２とすると、その点数はＰｔ２となる。

図９では、人物７１０の合計点数Ｐｄ１＋Ｐｗ１＋Ｐｔ１に比べて、人物７２０の合計点数Ｐｄ２＋Ｐｗ２＋Ｐｔ２が高くなるので、ＣＰＵ１０１は人物７２０を優先すべき被写体と判断する。

こうした構成によって、撮影者が撮ろうとしている人物が、より長い時間、より大きく、より中心に近く撮影されていれば、それらの要素を総合的に判断して、所望の人物を撮るのに適切なカメラ制御を行うことができる。また、装置がどの人物を優先して動作しているかがＬＣＤや外部出力装置などの画面上で確認することができる。

以上のように、上述した各実施の形態によれば、特徴部分が検出されている時間を考慮して優先すべき被写体を判断しているため、所望の被写体をより適切に自動選択してカメラ制御を行うことができる。

また、特徴部分が検出されている時間を考慮して優先すべき被写体を判断するという構成は、カメラ制御だけでなく、画像信号の再生時にも応用することができる。例えば、優先すべき被写体の輝度値や色信号の状態を評価し、この評価した値が最適値となるように画像信号に輝度補正や色補正等を施したり、その被写体が写っている画像信号を基にインデックス画像を生成したりする画像処理を行うこともできる。

そして、画像信号の再生時に応用するのであれば、本発明はカメラ以外であっても、画像処理機能を備えたパーソナルコンピュータにも適用することが可能である。また、複数の機器（例えば、画像処理装置を構成するホストコンピュータやインターフェイス機器など）から構成されるシステムに適用することもできる。

なお、上述した実施の形態では、被写体として顔を検出する場合について説明したが、本発明は顔に限るものではなく、予め設定された条件を満たす被写体を検出するものであれば、本発明を適用可能である。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、ハードディスク、ＲＯＭ、ＲＡＭ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の実施の形態に係る画像撮影装置としての、ディスク型の記録媒体に動画像を記録するデジタルビデオカメラのブロック構成図である。 図１におけるＬＣＤまたは外部出力装置に出力されたビデオカメラの出力画像の例を示す図である（１）。 図２の出力画像からある時間経過したときの出力画像の例を示す図である。 図３の出力画像からある時間経過したときの出力画像の例を示す図である。 図１のビデオカメラによって実行される被写体リスト更新処理の手順を示すフローチャートである。 図１におけるＲＡＭに格納される被写体リストの例を示す図である。 図１におけるＬＣＤまたは外部出力装置に出力されたビデオカメラの出力画像の例を示す図である（２）。 図７の出力画像からある時間経過したときの出力画像の例を示す図である。 図８の出力画像からある時間経過したときの出力画像の例を示す図である。 図１のビデオカメラにおける被写体の距離に対する点数を示すグラフである。 図１のビデオカメラにおける被写体の幅に対する点数を示すグラフである。 図１のビデオカメラにおける被写体の検出時間に対する点数を示すグラフである。

符号の説明

１００ ビデオカメラ
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 操作部
１１０ フォーカスレンズ
１１１ 絞り
１１２ レンズドライバ
１１３ ＣＣＤ
１２０ 画像入力部
１２２ バッファメモリ
１２３ フォーカス評価部
１２４ 露出評価部
１２５ 特徴検出部
１４０ 描画処理部

Claims (9)

1. 動画を撮影する撮影手段と、
   撮影された前記動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、
   撮影された前記動画の撮影状態を評価して評価結果を得る状態評価手段と、
   前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記撮影手段を制御する制御手段とを備え、
   前記制御手段は、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする撮影装置。
2. 前記制御手段は、前記撮影手段の焦点および露出の少なくともいずれかを制御することを特徴とする請求項１記載の撮影装置。
3. 動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、
   前記動画に図形を描画する描画手段と、
   前記動画の検出された前記特徴部分に対して前記図形を描画するよう前記描画手段を制御する制御手段とを備え、
   前記制御手段は、前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分に対する優先度付けを行い、優先度に応じて、前記特徴部分に対する前記図形を描画するよう前記描画手段を制御するものであって、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする画像処理装置。
4. 前記制御手段は、最も優先度の高い前記特徴部分に対して、他の前記特徴部分と異なる前記図形を描画するよう前記描画手段を制御することを特徴とする請求項３記載の画像処理装置。
5. 前記制御手段は、前記特徴部分を囲む矩形の枠を描画するよう前記描画手段を制御することを特徴とする請求項３または４に記載の画像処理装置。
6. 動画を構成する画像信号から被写体の予め定められた特徴部分を検出する特徴検出手段と、
   前記動画の状態を評価して評価結果を得る状態評価手段と、
   前記動画に対して画像処理を行う画像処理手段と、
   前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記画像処理手段を制御する制御手段とを備え、
   前記制御手段は、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする画像処理装置。
7. 動画を撮影する撮影手段を備えた撮像装置の制御方法であって、
   撮影された前記動画を構成する画像信号から被写体の予め定められた特徴部分を検出するステップと、
   撮影された前記動画の撮影状態を評価して評価結果を得る状態評価ステップと、
   前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記撮影手段を制御する制御ステップとを有し、
   前記制御ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする撮影装置の制御方法。
8. 動画を構成する画像信号から被写体の予め定められた特徴部分を検出し、前記動画の検出された前記特徴部分に対して図形を描画する画像処理装置の制御方法であって、
   前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分に対する優先度付けを行い、前記優先度に応じて、前記特徴部分に対する前記図形を描画する描画ステップを有し、
   前記描画ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする画像処理装置の制御方法。
9. 動画を構成する画像信号から被写体の予め定められた特徴部分を検出し、前記動画に画像処理を行う画像処理装置の制御方法であって、
   前記動画の状態を評価して評価結果を得る状態評価ステップと、
   前記特徴部分が複数検出された場合に、前記特徴部分の大きさと前記特徴部分の中心から前記画像の中心までの近さの少なくともいずれかと、前記特徴部分の検出されている時間の長さとを用いて、前記特徴部分の評価結果に対する優先度付けを行い、優先度の高い評価結果を用いて前記画像処理を行う画像処理ステップとを有し、
   前記画像処理ステップでは、検出されている時間の長い前記特徴部分の優先度が高くなるように優先度付けを行うことを特徴とする画像処理装置の制御方法。

Images