JP2009033358A - 撮影装置 - Google Patents

Abstract

【課題】注目している特徴部分がフレームアウト〜フレームインしても連続性のあるフォーカス制御や露出制御を行うことができる撮影装置を提供する。
【解決手段】画像を撮影する撮影手段（フォーカスレンズ１１０、ＣＣＤ１１３）と、撮影手段を制御する制御手段（ＣＰＵ１０１）と、撮影された画像から特徴部分を検出する特徴検出部１１８とを備える。また、特徴部分が画像の範囲から外れた場合に外れた方向を検出する方向検出手段（ＣＰＵ１０１）と、撮影手段の動きを検出する動き検出部１１７とを備える。制御手段は、特徴部分の状態に応じて撮影手段を制御し、特徴部分が画像の範囲から外れた場合には、方向検出手段の検出結果と動き検出手段の検出結果とから、撮影手段の制御状態を保持するか否かを判別する。
【選択図】図１

Description

本発明は、ビデオカメラなどの撮影装置に関し、より具体的には、被写体を認識してカメラ制御を行う撮影装置に関する。

近年、撮影している画像から、顔などの注目すべき被写体を認識して、その部分にあったフォーカスや露出などのカメラ制御を行うスチルカメラや、監視用カメラなどが登場している。

特許文献１では、顔を検出して、それにあったフォーカスや露出を行い、静止画を撮影するスチルカメラについて記述されている。

また、特許文献２では、注目すべき被写体が追尾可能範囲から出た場合は追尾を停止して、所定時間経過後に初期位置へ復帰するまでの間、焦点制御状態を保持する監視カメラについて記述されている。

また、特許文献３では、注目すべき被写体が追尾可能範囲から出たら、出る直前の位置で被写体の出現を待機する監視カメラについて記述されている。
特開２００４−３２０２８７号公報 特公平０５−０６０７１３号公報 特開平０８−００９２２７号公報

しかしながら、撮影者が本体を指示して動画像を撮影するビデオカメラでは、注目すべき被写体を撮影可能範囲で捕捉し続けられず、被写体が撮影範囲から度々出てしまう（フレームアウトする）ケースがある。

撮影者が被写体を再び撮影範囲に入れる（フレームインする）と、フォーカスや露出が被写体のフレームアウト〜フレームインによって不要に変化してしまい、撮影している動画像の連続性が損なわれてしまう問題があった。

特許文献１に示したスチルカメラでは、静止画を撮影するため、被写体のフレームアウトによる画像の連続性に対して考慮する必要がなかった。

また、特許文献２及び３に示した監視カメラでは、カメラが固定位置で自動的にパン・チルトするため、被写体のフレームアウトが撮影者の操作によって起こることを考慮する必要はなかった。

本発明の目的は、注目している特徴部分がフレームアウト〜フレームインしても連続性のあるフォーカス制御や露出制御を行うことができる撮影装置を提供することにある。また、本発明の目的は、フレームアウトした特徴部分が同じ位置にフレームインした場合に速やかに特徴部分として再度認識することができる撮影装置を提供することにある。

上記目的を達成するために、請求項１記載の撮影装置は、画像を撮影する撮影手段と、前記撮影手段を制御する制御手段と、撮影された前記画像から特徴部分を検出する特徴検出手段と、前記特徴部分が前記画像の範囲から外れた場合に外れた方向を検出する方向検出手段と、前記撮影手段の動きを検出する動き検出手段とを備え、前記制御手段は、前記特徴部分の状態に応じて前記撮影手段を制御し、前記特徴部分が前記画像の範囲から外れた場合には、前記方向検出手段の検出結果と前記動き検出手段の検出結果とから、前記撮影手段の制御状態を保持するか否かを判別することを特徴とする。

請求項６記載の撮影装置は、画像を撮影する撮影手段と、撮影された前記画像から特徴部分を検出する特徴検出手段と、前記特徴部分が前記画像の範囲から外れた場合に外れた方向を検出する方向検出手段と、前記撮影手段の動きを検出する動き検出手段とを備え、前記特徴検出手段は、前記特徴部分が前記画像の範囲から外れた場合には、前記方向検出手段の検出結果と前記動き検出手段の検出結果とから、前記画像の範囲から外れる直前の前記特徴部分の位置を優先的に特徴部分の検出に使用するか否かを判別することを特徴とする。

請求項１記載の発明によれば、注目している特徴部分がフレームアウト〜フレームインしても連続性のあるフォーカス制御や露出制御を行うことができる。

請求項６記載の発明によれば、フレームアウトした特徴部分が同じ位置にフレームインした場合に速やかに特徴部分として再度認識することができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る撮影装置としてのビデオカメラの構成図である。

初めに、ビデオカメラ１００の構成について説明する。ビデオカメラ１００は、図中の符号１０１〜１０５に示す制御系ブロックを備える。ＣＰＵ１０１は、内部バス１０５により、ＲＡＭ１０２、ＲＯＭ１０３及びその他の各ブロックに接続され、ＲＯＭ１０３に格納された制御プログラムを元に、各ブロックの制御を行う。

また、ＣＰＵ１０１に接続された操作部１０４は、ユーザによる各種の操作レバーやボタンからの入力を受け付け、ＣＰＵ１０１にその内容を伝える。ＣＰＵ１０１は、ユーザの指示に応じて、各種処理を行うことができる。

また、ビデオカメラ１００、は図中の符号１１０〜１１８に示すカメラ系ブロックを備える。フォーカスレンズ１１０を通過した光は、ＣＣＤ（ＣＣＤイメージセンサ）１１３の撮像面上に結像し、撮像面の光学像が電気信号に変換される。

レンズドライバ１１２は、フォーカスレンズ１１０及び絞り１１１を駆動して、フォーカスと絞り量の調整を行う。ＡＦＥ１１４は、指示されたシャッター速度に基づき、ＣＣＤ１１３を制御して画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。

カメラ画像処理部１１５は、ＡＦＥ１１４から画像信号を読み出し、バッファメモリ１１６を用いて、色変換や解像度変換といった各種の画像信号処理を行う。また、カメラ画像処理部１１５は、画像信号を複数領域に分け、それらの領域のフォーカス及び露出の状態を評価する。

動き検出部１１７は、カメラ画像処理部１１５から読み出した画像信号と、バッファメモリ１１６から読み出した１フレーム前の画像信号から、画像を格子状に分割した複数箇所の動き検出を行う。特徴検出部１１８は、バッファメモリ１１５から読み出した画像信号から、画像に含まれる特徴部分の数とそれらの大きさ、位置を検出する。

また、ビデオカメラ１００は、図中の符号１２０〜１２９に示すレコーダ系デバイスを備える。カメラ画像の記録時、ＣＯＤＥＣ１２０は、カメラ画像処理部１１５から読み出したカメラ画像を符号化してバッファメモリ１２１に書き出し、ディスクコントローラ１２２がその符号データをディスク１２３（ＤＶＤなどの記録媒体）に記録する。

逆に、記録画像の再生時には、ディスクコントローラ１２２はディスク１２３から読み出した符号データをバッファメモリ１２１に書き出し、ＣＯＤＥＣ１２０がそれを復号化する。

描画処理部１２４は、カメラ画像処理部１１５からカメラ画像、またはＣＯＤＥＣ１２０から再生画像を読み出し、ＣＰＵ１０１の指示に基づき描画した文字や図形などを画像信号に重畳して、バッファメモリ１２５に書き出す。

ＬＣＤコントローラ１２６は、バッファメモリ１２５より読み込んだ画像信号をＬＣＤ１２７に出力して表示させる。また、外部出力コントローラ１２８は、バッファメモリ１２５より読み込んだ画像信号を、外部端子１２９に接続ケーブル１３１を介して接続されている外部出力装置１３０へ出力して表示させる。

次に、静止している被写体を、撮影者がフレームアウトさせた場合のビデオカメラ１００の動作について説明する。

図２は、図１におけるＬＣＤ１２７または外部出力装置１３０に出力されたビデオカメラ１００のカメラ画像の例を示す図である。

図２において、矩形領域２００は、ビデオカメラ１００の撮影可能範囲及び出力するカメラ画像の表示範囲を示している。矩形領域２００の周辺領域（図では斜線掛けしてある枠の部分）は説明の便宜上図示しているが、実際には撮影及び表示されない。

撮影範囲には人物２０１、自動車２０２、山などの背景２０３が写っている。特徴検出部１１８は、カメラ画像から人物２０１の顔部分を特徴として、その大きさ、位置を検出する。

ＣＰＵ１０１は、特徴検出部１１８の検出結果を用いて、特徴部分に対するフォーカス、露出の評価結果をカメラ画像処理部１１５より得て、それを元にフォーカス制御と、露出（絞りとシャッター速度の）制御を行う。これにより、特徴部分に適したカメラ画像を撮影することができる。

また、ＣＰＵ１０１は、特徴検出部１１８の検出結果から、描画処理部１２４を制御して検出枠２１０を描画し、カメラ画像に重畳して出力する。これにより、撮影者はカメラ画像のどの部分が特徴部分として用いられているかを容易に確認することができる。

図３は、図２の表示状態から、撮影者がビデオカメラ１００を右に向け、人物２０１の顔部分を左にフレームアウトさせたときに、ＬＣＤ１２７または外部出力装置１３０に出力されるカメラ画像の例を示す図である。

矩形領域３００は、新たな撮影可能範囲及び表示範囲であって、人物２０１に代わり自動車２０２がフレームインしている。この後、撮影者がすぐに人物２０１の顔をフレームインさせるか、フレームインさせないかによって、ＣＰＵ１０１が行うフォーカス制御と露出制御の内容は異なる。

即ち、人物２０１の顔をフレームインさせる場合には、フレームアウトする直前に行っていたフォーカス制御と露出制御を保持することで、カメラ画像の変動を抑えることが望ましい。

一方、人物２０１の顔をフレームインさせない場合には、自動車２０２や背景２０３など新たな被写体に積極的にフォーカス制御や露出制御を合わせていくことが望ましい。また、すぐに人物２０１の顔をフレームインさせる場合、速やかに特徴部分として再び検出することで、フレームアウト〜フレームインしても連続性のあるフォーカス制御や露出制御を行うことが望ましい。

そこで、特徴部分がフレームアウトした場合、ＣＰＵ１０１は以下に示すような方法で、撮影者がどちらの行動をとるか推定することで、適切なカメラ制御を行う。また、フレームインさせると推定した場合には、速やかに特徴部分が検出できるよう特徴検出部１１８を制御する。

尚、この推定を行うため、ＣＰＵ１０１は、少なくとも１〜２フレーム前の特徴検出部１１８の検出結果を常に保持しており、特徴部分がどちらの方向に動いているか判別することができる。また、ＣＰＵ１０１は、動き検出部１１７の検出した複数箇所の動き量から、背景の速度を求めることができ、少なくとも１フレーム前の背景の速度を保持することで、背景の加速度も求めることができる。

図４は、撮影者が静止している人物２０１の顔（特徴部分）を図２から図３に示したようにフレームアウトさせた後、すぐにフレームインさせた場合の、特徴部分の位置ｙ、背景の速度ｖ、背景の加速度ａ（いずれも水平方向）の変化を示すグラフである。

まず、画面左端を０、画面右端をｗとしたとき、特徴部分の位置ｙは二次関数的に変化しており、時刻ｔ１のカメラ画像（図２）においては、フレーム内に収まっているが、時刻ｔｏでフレームアウトしている。

時刻ｔ２のカメラ画像（図３）でも特徴部分はフレームアウトしたままであるが、その後の時刻ｔｉでフレームインして、時刻ｔ３では図２と同じ位置に戻っている。背景の速度ｖは一次関数的に変化しており、時刻ｔ１で左方向に最大、時刻ｔ２で０、ｔ３で右方向に最大に移動している。

背景の加速度ａは一定で、常に右方向へと加速している。このグラフは一例であるが、撮影者が誤って特徴部分をフレームアウトさせた場合、再びフレームインさせようという意志が働くため、フレームアウトした方向と逆方向の加速度をビデオカメラ１００に与えることが多い。

そこで、ＣＰＵ１０１は、特徴部分がフレームアウトした時刻ｔｏにおいて、フレームアウトした方向と、背景の加速度ａが逆方向であった場合、フォーカス制御と露出制御を一定時間保持する。再び時刻ｔｉにおいて特徴部分がフレームインすることで、再び特徴部分に合わせたフォーカス制御と露出制御を行う。

但し、一定時間経過しても特徴部分がフレームインしない場合には、代わりに撮影範囲内の別の特徴部分（例えば、自動車２０２）や背景２０３に合わせたフォーカス制御と露出制御を行う。つまり、特徴部分に対するフォーカス制御と露出制御を解除する。

また、撮影者が特徴部分を再びフレームインさせる場合、フレームアウトした位置に特徴部分がフレームインすることが多い。そこで、ＣＰＵ１０１は、時刻ｔｏにおいて、特徴部分がフレームアウトした方向と、背景の加速度ａが逆方向であった場合、一定時間の間、特徴部分がフレームアウトする直前の位置を優先的に特徴検出部１１８が検出するよう制御する。

具体的には、特徴検出部１１８が特徴を検出する際に用いる閾値を、上記位置周辺に対して下げることで優先度を高める。これにより、時刻ｔｉで人物２０１の顔がフレームインした際に、速やかに特徴部分として認識することができる。但し、一定時間経過しても特徴部分が上記位置にフレームインしない場合には、検出の優先度をクリアして元に戻す。

一方、図５は、撮影者が静止している人物２０１の顔（特徴部分）を図２から図３に示したようにフレームアウトさせた後、フレームインさせない場合の、特徴部分の位置ｙ、背景の速度ｖ、背景の加速度ａ（いずれも水平方向）の変化を示すグラフである。

特徴部分の位置ｙは、時刻ｔ１のカメラ画像（図２）においてはフレーム内に収まっているが、時刻ｔｏでフレームアウトしている。時刻ｔ２のカメラ画像（図３）でもフレームアウトしたままであって、時刻ｔ３に至るまでフレームアウトしたままである。

この間、背景の速度ｖは図のように変化しており、背景の加速度ａは時刻ｔｏにおいて右方向に加速している。ＣＰＵ１０１は、特徴部分がフレームアウトした時刻ｔｏにおいて、フレームアウトした方向と、背景の加速度ａが同方向であった場合、撮影者が故意に特徴部分をフレームアウトさせたものと推定して、フォーカス制御と露出制御を保持しない。

代わりに、撮影範囲内の別の特徴部分（例えば、自動車２０２）や背景２０３に合わせたフォーカス制御と露出制御を行う。また、ＣＰＵ１０１は、時刻ｔｏにおいて、フレームアウトした方向と、背景の加速度ａが同方向であった場合、特徴検出部１１８の検出の優先度は変更しない。

次に、ほぼ一定の速度で動いている被写体を、撮影者が補足しきれずフレームアウトさせた場合のビデオカメラ１００の動作について説明する。

図６は、図１におけるＬＣＤ１２７または外部出力装置１３０に出力されたビデオカメラ１００のカメラ画像の例を示す図である。

矩形領域６００は、ビデオカメラ１００の撮影可能範囲及び出力するカメラ画像の表示範囲を示している。矩形領域６００の周辺領域は実際には撮影及び表示されない。撮影範囲には自動車６０２や背景が写っている。

特徴検出部１１８は、カメラ画像から自動車６０２を特徴として、その大きさ、位置を検出する。ＣＰＵ１０１は、特徴検出部１１８の検出結果を用いて、フォーカス制御と、露出制御を行う。また、特徴検出部１１８の検出結果から、検出枠６０１を描画し、カメラ画像に重畳して出力する。

図７は、図６の表示状態から撮影者がビデオカメラ１００を右に向け、自動車６０２の動きを補足するようにパンニングしたときに、ＬＣＤ１２７または外部出力装置１３０に出力されるカメラ画像の例を示す図である。

矩形領域７００は、新たな撮影可能範囲及び表示範囲であって、図６に比べて背景が左にスクロールしている。

図８は、図７の表示状態から撮影者がビデオカメラ１００を右に向け、自動車６０２の動きを補足するようにパンニングさせたが、補足しきれずフレームアウトさせたときに、ＬＣＤ１２７または外部出力装置１３０に出力されるカメラ画像の例を示す図である。

矩形領域８００は、新たな撮影可能範囲及び表示範囲であって、図７に比べて背景が左にスクロールしている。

図９は、図８の表示状態から撮影者がビデオカメラ１００を右に向け、フレームアウトした自動車２０２を補足するようにパンニングさせ、フレームインさせたときに、ＬＣＤ１２７または外部出力装置１３０に出力されるカメラ画像の例を示す図である。

矩形領域９００は、新たな撮影可能範囲及び表示範囲であって、フレームインした自動車６０２の検出枠９０１が描画して重畳され、図８に比べて背景が左にスクロールしている。

図１０は、撮影者がほぼ一定速度で動いている自動車６０２を図６から図８に示したようにフレームアウトさせた後、すぐにフレームインさせた場合の、特徴部分の位置ｙ、背景の速度ｖ、背景の加速度ａ（いずれも水平方向）の変化を示すグラフである。

まず、画面左端を０、画面右端をｗとしたとき、特徴部分（自動車６０２）の位置ｙは時刻ｔ１〜ｔ２のカメラ画像（図６、図７）においてはフレーム内に収まっているが、時刻ｔｏでフレームアウトしている。

時刻ｔ３のカメラ画像（図８）ではフレームアウトしたままであるが、その後の時刻ｔｉでフレームインして、時刻ｔ４でもフレーム内に収まっている。この間、背景の速度ｖは図のように変化しており、背景の加速度ａは時刻ｔｏにおいて左方向に加速している。

ＣＰＵ１０１は、特徴部分がフレームアウトした時刻ｔｏにおいて、フレームアウトした方向と、背景の加速度が逆方向であった場合、フォーカス制御と露出制御を一定時間保持する。再び時刻ｔｉにおいて特徴部分がフレームインすることで、再び特徴部分に合わせたフォーカス制御と露出制御を行う。

また、ＣＰＵ１０１は、時刻ｔｏにおいて、特徴部分がフレームアウトした方向と、背景の加速度が逆方向であった場合、一定時間、特徴部分がフレームアウトする直前の位置を優先的に特徴検出部１１８が検出するよう制御する。これにより、時刻ｔｉで自動車６０２がフレームインした際に、速やかに特徴部分として認識することができる。

上記の実施の形態において、フォーカスレンズ１１０、絞り１１１、ＣＣＤ１１３は撮影手段を構成する。そして、ＣＰＵ１０１は、撮影手段を制御する制御手段として機能する。また、ＣＰＵ１０１は、特徴検出部（特徴検出手段）１１８で検出された画像の特徴部分が画像の範囲（撮影可能範囲）から外れた場合に外れた方向を検出する方向検出手段として機能する。

そして、ＣＰＵ１０１は、特徴部分の状態に応じて撮影手段を制御し、特徴部分が画像の範囲から外れた場合には、方向検出手段の検出結果と動き検出部（動き検出手段）１１７の検出結果とから、撮影手段の制御状態を保持するか否かを判別する。

また、特徴検出部１１８は、特徴部分が画像の範囲から外れた場合には、方向検出手段の検出結果と動き検出部１１７の検出結果とから、画像の範囲から外れる直前の特徴部分の位置を優先的に特徴部分の検出に使用するか否かを判別する。

本発明の実施の形態に係る撮影装置としてのビデオカメラの構成図である。 特徴部分がフレーム内で検出されている画像を示す図である。 図２の画像の表示後に特徴部分がフレームアウトした画像を示す図である。 特徴部分がフレームアウト後、フレームインする場合の、図２、図３の特徴部分の位置と、背景の速度・加速度を示す図である。 特徴部分がフレームアウト後、フレームインしない場合の、図２、図３の特徴部分の位置と、背景の速度・加速度を示す図である。 動いている特徴部分がフレーム内で検出されている画像を示す図である。 図６の画像の表示後に撮影者が特徴部分を捕捉し続けている画像を示す図である。 図７の画像の表示後に撮影者が特徴部分を捕捉できずフレームアウトした画像を示す図である。 図８の画像の表示後に撮影者が特徴部分を再び捕捉しフレームインした画像を示す図である。 図６〜図９の特徴部分の位置と、背景の速度・加速度を示す図である。

符号の説明

１００ ビデオカメラ
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 操作部
１０５ 内部バス
１１０ フォーカスレンズ
１１１ 絞り
１１２ レンズドライバ
１１３ ＣＣＤ
１１４ ＡＦＥ
１１５ カメラ画像処理部
１１６ バッファメモリ
１１７ 動き検出部
１１８ 特徴検出部
１２０ ＣＯＤＥＣ
１２１ バッファメモリ
１２２ ディスクコントローラ
１２３ ディスク
１２４ 描画処理部
１２５ バッファメモリ
１２６ ＬＣＤコントローラ
１２７ ＬＣＤ
１２８ 外部出力コントローラ
１２９ 外部端子
１３０ 外部出力装置
１３１ 接続ケーブル

Claims (9)

1. 画像を撮影する撮影手段と、
   前記撮影手段を制御する制御手段と、
   撮影された前記画像から特徴部分を検出する特徴検出手段と、
   前記特徴部分が前記画像の範囲から外れた場合に外れた方向を検出する方向検出手段と、
   前記撮影手段の動きを検出する動き検出手段とを備え、
   前記制御手段は、前記特徴部分の状態に応じて前記撮影手段を制御し、前記特徴部分が前記画像の範囲から外れた場合には、前記方向検出手段の検出結果と前記動き検出手段の検出結果とから、前記撮影手段の制御状態を保持するか否かを判別することを特徴とする撮影装置。
2. 前記制御手段は、前記撮影手段の焦点及び露出を制御することを特徴とする請求項１記載の撮影装置。
3. 前記方向検出手段は、前記特徴部分が前記画像の範囲から外れる直前の前記特徴部分の位置と、外れる直前の１フレーム前の前記特徴部分の位置とから外れた方向を検出することを特徴とする請求項１記載の撮影装置。
4. 前記制御手段は、前記動き検出手段の検出結果から加速度の方向を求め、前記特徴部分が前記画像の範囲から外れたときに、求めた前記加速度の方向が前記方向検出手段の検出結果と逆方向である場合に、前記撮影手段の制御状態を保持することを特徴とする請求項１記載の撮影装置。
5. 前記制御手段は、前記撮影手段の制御状態を保持する場合に、一定時間を経過しても前記特徴検出手段により特徴部分が検出されない場合には、制御状態の保持を解除することを特徴とする請求項１記載の撮影装置。
6. 画像を撮影する撮影手段と、
   撮影された前記画像から特徴部分を検出する特徴検出手段と、
   前記特徴部分が前記画像の範囲から外れた場合に外れた方向を検出する方向検出手段と、
   前記撮影手段の動きを検出する動き検出手段とを備え、
   前記特徴検出手段は、前記特徴部分が前記画像の範囲から外れた場合には、前記方向検出手段の検出結果と前記動き検出手段の検出結果とから、前記画像の範囲から外れる直前の前記特徴部分の位置を優先的に特徴部分の検出に使用するか否かを判別することを特徴とする撮影装置。
7. 前記方向検出手段は、前記特徴部分が前記画像の範囲から外れる直前の前記特徴部分の位置と外れる直前の１フレーム前の前記特徴部分の位置とから、外れた方向を検出することを特徴とする請求項６記載の撮影装置。
8. 前記特徴検出手段は、前記動き検出手段の検出結果から加速度の方向を求め、前記特徴部分が前記画像の範囲から外れたときに、求めた前記加速度の方向が前記方向検出手段の検出結果と逆方向である場合に、前記画像の範囲から外れる直前の前記特徴部分の位置を優先的に特徴部分の検出に使用することとを特徴とする請求項６記載の撮影装置。
9. 前記特徴検出手段は、前記画像の範囲から外れる直前の前記特徴部分の位置を優先的に特徴部分の検出に使用する場合に、一定時間を経過しても前記位置から特徴部分が検出されない場合には、前記位置を優先的に使用する状態を解除することを特徴とする請求項６記載の撮影装置。

Images