JP5121505B2

JP5121505B2 - ビデオカメラ

Info

Publication number: JP5121505B2
Application number: JP2008049663A
Authority: JP
Inventors: 光章黒川
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2008-02-29
Filing date: 2008-02-29
Publication date: 2013-01-16
Anticipated expiration: 2028-02-29
Also published as: JP2009207063A

Description

この発明は、ビデオカメラに関し、特に撮像面で生成された被写界像に基づいて撮像条件を調整する、ビデオカメラに関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、映像信号の高域周波数成分が、ハイパスフィルタによって抽出される。ゲート回路は、抽出された高周波成分のうちＡＦ領域に属する高周波成分を抜き出し、ピント検出回路は、抜き出された高周波成分に基づいてフォーカス調整のためのピント情報を検出する。
特開平５−２３６３２７号公報

しかし、背景技術では、ＡＦ領域の位置が撮像面の手振れに応じて変更されることがなく、出力画像の品質に限界がある。

それゆえに、この発明の主たる目的は、出力画像の品質を改善することができる、ビデオカメラを提供することである。

この発明に従うビデオカメラ(10：実施例で相当する参照符号。以下同じ)は、シーンを表す光学像が照射される撮像面を有し、光学像に対応する電子画像を繰り返し出力する撮像手段(16)、撮像手段から出力された電子画像のうち第１指定エリアに属する部分画像に基づいて動画像を表示する表示手段(38, 40)、撮像手段から出力された電子画像のうち第２指定エリアに属する部分画像に基づいて撮像条件を調整する調整手段(S3, S7, S9, S15, S17)、光軸に直交する方向における撮像面の動きを繰り返し検出する検出手段(S33)、検出手段によって検出された動きに対応して第１指定エリアを移動させる第１移動手段(S39)、および検出手段によって検出された動きに基づいて予測された撮像面の未来の動きに対応して第２指定エリアを移動させる第２移動手段(S41, S43)を備える。

さらに好ましくは、撮像手段はフォーカルプレーン電子シャッタ方式の露光動作を行い、検出手段は、撮像手段から出力された電子画像に垂直方向に並ぶ複数のブロックを割り当てる割り当て手段(50~56)、および割り当て手段によって割り当てられた複数のブロックに属する複数のブロック画像の動きベクトルを個別に生成する動きベクトル生成手段(58~74)を含み、予測手段は動きベクトル生成手段によって生成された複数の動きベクトルに基づいて撮像面の未来の動きを予測する。

より好ましくは、割り当て手段によって垂直方向に割り当てられるブロックの数は撮像手段の撮像周期と撮像面の振動周波数とに基づいて決定される。

好ましくは、撮像手段から出力された電子画像をメモリに書き込む書き込み手段(20)、および書き込み手段によってメモリに格納された電子画像のうち第１指定エリアに属する部分画像を表示手段の表示処理のために読み出す読み出し手段(38)をさらに備える。

この発明に従う撮像制御プログラムは、シーンを表す光学像が照射される撮像面を有し、光学像に対応する電子画像を繰り返し出力する撮像手段(16)、および撮像手段から出力された電子画像のうち第１指定エリアに属する部分画像に基づいて動画像を表示する表示手段(38, 40)を備えるビデオカメラ(10)のプロセッサ(28)に、撮像手段から出力された電子画像のうち第２指定エリアに属する部分画像に基づいて撮像条件を調整する調整ステップ(S3, S7, S9, S15, S17)、光軸に直交する方向における撮像面の動きを繰り返し検出する検出ステップ(S33, S35)、検出ステップによって検出された動きに対応して第１指定エリアを移動させる第１移動ステップ(S39)、および検出ステップによって検出された動きに基づいて予測された撮像面の未来の動きに対応して第２指定エリアを移動させる第２移動ステップ(S41, S43)を実行させるための、撮像制御プログラムである。

この発明に従う撮像制御方法は、シーンを表す光学像が照射される撮像面を有し、光学像に対応する電子画像を繰り返し出力する撮像手段(16)、および撮像手段から出力された電子画像のうち第１指定エリアに属する部分画像に基づいて動画像を表示する表示手段(38, 40)を備えるビデオカメラ(10)によって実行される撮像制御方法であって、撮像手段から出力された電子画像のうち第２指定エリアに属する部分画像に基づいて撮像条件を調整する調整ステップ(S3, S7, S9, S15, S17)、光軸に直交する方向における撮像面の動きを繰り返し検出する検出ステップ(S33, S35)、検出ステップによって検出された動きに対応して第１指定エリアを移動させる第１移動ステップ(S39)、および検出ステップによって検出された動きに基づいて予測された撮像面の未来の動きに対応して第２指定エリアを移動させる第２移動ステップ(S41, S43)を備える。

この発明によれば、撮像条件の調整のために参照される第２指定エリアは、動画像の出力のために参照される第１指定エリアに追従するように移動する。これによって、撮像条件の調整精度が向上し、出力画像の品質の改善が図られる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルビデオカメラ１０は、光学レンズ１２および絞りユニット１４を含む。被写界の光学像は、これらの部材を通してＣＭＯＳ型のイメージセンサ１６の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ（図示せず）によって覆われる。したがって、各画素では、Ｒ（Red），Ｇ（Green）およびＢ（Blue）のいずれか１つの色情報を有する電荷が光電変換によって生成される。

電源が投入されると、ＣＰＵ２８は、動画取り込み処理を実行するべくドライバ１８を起動する。ドライバ１８は、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面をフォーカルプレーン電子シャッタ方式（露光タイミングが水平画素列によって異なる方式）で露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、被写界を表す生画像データが６０ｆｐｓのフレームレートで出力される。

前処理回路２０は、イメージセンサ１６からの生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これによって生成された生画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４の生画像エリア３４ａ（図４参照）に書き込まれる。

撮像面には、図２に示す要領で抽出エリアＥＸが割り当てられる。後処理回路３６は、生画像エリア２４ａに格納された生画像データのうち抽出エリアＥＸに属する一部の生画像データをメモリ制御回路３２を通して１／６０秒毎に読み出し、読み出された生画像データに色分離，白バランス調整，ＹＵＶ変換などの処理を施す。この結果、ＹＵＶ形式に対応する画像データが１／６０秒毎に作成される。作成された画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４のＹＵＶ画像エリア３４ｂ（図４参照）に書き込まれる。

ＬＣＤドライバ３８は、ＹＵＶ画像エリア３４ｂに格納された画像データを繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ４０を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

前処理回路２０は、上述の処理に加えて、簡易Ｙ生成処理および簡易ＲＧＢ生成処理を実行する。生画像データは、簡易Ｙ変換処理によってＹデータに変換され、簡易ＲＧＢ変換処理によってＲＧＢデータ（各画素がＲ，ＧおよびＢの全ての色情報を有するデータ）に変換される。簡易Ｙ変換処理によって生成されたＹデータは動き検出回路２２およびＡＦ評価回路２４に与えられ、簡易ＲＧＢ変換処理によって生成されたＲＧＢデータはＡＥ／ＡＷＢ評価回路２６に与えられる。

図２を参照して、撮像面には９つの動き検出ブロックＭＤ１〜ＭＤ９が割り当てられる。動き検出ブロックＭＤ１〜ＭＤ３は撮像面の上段に水平方向に並び、動き検出ブロックＭＤ４〜ＭＤ６は撮像面の中断に水平方向に並び、動き検出ブロックＭＤ７〜ＭＤ９は撮像面の下段に水平方向に並ぶ。垂直方向に割り当てるべき動き検出ブロックの最小数は、数１に従って決定される。
［数１］
ＭＮ＝ＴＭ×ＳＦ×α
ＭＮ：垂直方向に割り当てるべき動き検出ブロックの最小数
ＴＭ：撮像周期（垂直同期信号Ｖｓｙｎｃの発生周期）
ＳＦ：撮像面の振動周波数
α：定数（＝１８）

数１によれば、撮像周期と撮像面の振動周波数との掛算値に定数αを掛算することで、垂直方向に割り当てるべき動き検出ブロックの最小数が得られる。ここで、撮像面の振動周波数は操作者の手振れ周波数（＝約１０Ｈｚ）に相当する。したがって、この実施例のように撮像周期が“１／６０秒”であれば、垂直方向に割り当てるべき動き検出ブロックの最小数は“３”となる。また、撮像周期が“１／３０秒”であれば、垂直方向に割り当てるべき動き検出ブロックの最小数は“６”となる。

動き検出回路２２は、動き検出ブロックＭＤ１〜ＭＤ９の各々における被写界の動きを表す部分動きベクトルを、前処理回路２０から与えられたＹデータに基づいて１／６０秒毎に検出する。動き検出回路２２はまた、動き検出ブロックＭＤ１〜ＭＤ３の部分動きベクトルを合成して合成動きベクトルＵＶＣを１／６０秒毎に生成し、動き検出ブロックＭＤ４〜ＭＤ６の部分動きベクトルを合成して合成動きベクトルＭＶＣを１／６０秒毎に生成し、そして動き検出ブロックＭＤ７〜ＭＤ９の部分動きベクトルを合成して合成動きベクトルＬＶＣを１／６０秒毎に生成する。

合成動きベクトルＵＶＣは撮像面の上段における被写界の動きを表し、合成動きベクトルＭＶＣは撮像面の中断における被写界の動きを表し、そして合成動きベクトルＬＶＣは撮像面の下段における被写界の動きを表す。

ＣＰＵ２８は、動き検出回路２２から出力された合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣに基づいて全体動きベクトルを作成し、光軸に直交する方向における撮像面の動きが手振れおよびパン／チルト動作のいずれに起因するかを全体動きベクトルに基づいて判別し、そして撮像面の動きが手振れに起因するときに全体動きベクトルに沿って抽出エリアＥＸを移動させる。抽出エリアＥＸの位置は、手振れに起因する撮像面の動きが補償（相殺）されるように変更される。抽出エリアＥＸは、撮像面に手振れが生じたとき、図５（Ａ）に示す要領で撮像面上を移動する。

図３を参照して、撮像面には評価エリアＥＡが割り当てられる。評価エリアＥＡは、垂直方向および水平方向の各々において８分割され、合計６４個の部分評価エリアによって形成される。この６４個の部分評価エリアには、座標値（Ｘ，Ｙ）＝（１，１）〜（８，８）がそれぞれ割り当てられる。

ＡＦ評価回路２４は、前処理回路２０から出力されたＹデータのうち各部分評価エリアに属するＹデータに注目し、注目するＹデータの高周波成分を水平方向および垂直方向の各々について１／６０秒毎に積分する。この結果、水平方向の高周波成分に関する６４個の積分値ＨＩｈ（１，１）〜ＨＩｈ（８，８）が６４個の部分評価エリア（１，１）〜（８，８）に対応して得られ、垂直方向の高周波成分に関する６４個の積分値ＨＩｖ（１，１）〜ＨＩｖ（８，８）が６４個の部分評価エリア（１，１）〜（８，８）に対応して得られる。ＣＰＵ２８は、ＡＦ評価回路２４から出力されたこれらの積分値に基づいていわゆるコンティニュアスＡＦ処理を実行し、光学レンズ１２を合焦点に配置する。

ＡＥ／ＡＷＢ評価回路２４は、前処理回路２０から出力されたＲＧＢデータのうち各部分評価エリアに属するＲＧＢデータに注目し、注目するＲデータ，ＧデータおよびＢデータの各々を１／６０秒毎に積分する。この結果、Ｒデータに関する６４個の積分値Ｉｒ（１，１）〜Ｉｒ（８，８）が６４個の部分評価エリア（１，１）〜（８，８）に対応して得られ、Ｇデータに関する６４個の積分値Ｉｇ（１，１）〜Ｉｇ（８，８）が６４個の部分評価エリア（１，１）〜（８，８）に対応して得られ、そしてＢデータに関する６４個の積分値Ｉｂ（１，１）〜Ｉｂ（８，８）が６４個の部分評価エリア（１，１）〜（８，８）に対応して得られる。

ＣＰＵ２８は、ＡＥ／ＡＷＢ評価値から出力されたこれらの積分値に基づいて、適正露光量が得られるＥＶ値と適正白バランスが得られる白バランス調整ゲインとを算出する。ＣＰＵ２８はさらに、算出されたＥＶ値を定義する絞り量および露光時間を絞りユニットおよびドライバ１８に設定し、算出された白バランス調整ゲインを後処理回路３６に設定する。このようなＡＥ処理およびＡＷＢ処理が実行された結果、ＬＣＤモニタ４０から出力される動画像の明るさおよび白バランスが適度に調整される。

上述のように、抽出エリアＥＸは、撮像面の手振れが補償されるように移動される。にもかかわらず、評価エリアＥＡを図３に示す位置に固定するようにすると、抽出エリアＥＸから外れた位置にある被写体が上述した撮像条件の調整動作に影響を及ぼすおそれがある。そこで、この実施例では、抽出エリアＥＸの移動処理に関連して評価エリアＥＡも移動させるようにしている。評価エリアＥＡは抽出エリアＥＸに追従して図５（Ｂ）に示すように移動し、これによって撮像条件の調整精度が向上する。

ただし、前処理回路２０から出力された生画像データがＳＤＲＡＭ３４に一時的に格納されることから、後処理回路３６による抽出エリアＥＸの移動については１フレームの猶予期間が与えられるのに対して、ＡＦ評価回路２４およびＡＥ／ＡＷＢ評価回路２６は動き検出回路２２が注目するフレームと同じフレームに動き検出回路２２が注目するタイミングと同じタイミングで注目するため、ＡＦ評価回路２４およびＡＥ／ＡＷＢ評価回路２６の動作についてはこのような猶予期間は存在しない。

そこで、ＣＰＵ２８は、動き検出回路２２から出力された合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣに基づいて次フレームつまり未来の全体動きベクトルを数２および数３に従って予測し、予測した全体動きベクトルに沿って評価エリアＥＡを移動させる。
［数２］
ＥＶＣｘ＝２＊ＬＶＣｘ−（ΔＵＭｘ＊α＋ΔＭＬｘ）／２
ＥＶＣｘ：予測された全体動きベクトルの水平成分
ＬＶＣｘ：合成動きベクトルＬＶＣの水平成分
ΔＵＭｘ：合成動きベクトルＵＶＣおよびＭＶＣの水平成分の差分
ΔＭＬｘ：合成動きベクトルＭＶＣおよびＬＶＣの水平成分の差分
α：定数
［数３］
ＥＶＣｙ＝２＊ＬＶＣｙ−（ΔＵＭｙ＊β＋ΔＭＬｙ）／２
ＥＶＣｙ：予測された全体動きベクトルの垂直成分
ＬＶＣｙ：合成動きベクトルＬＶＣの垂直成分
ΔＵＭｙ：合成動きベクトルＵＶＣおよびＭＶＣの垂直成分の差分
ΔＭＬｙ：合成動きベクトルＭＶＣおよびＬＶＣの垂直成分の差分
β：定数

したがって、合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣの水平成分が図６（Ａ）の上段に示す要領で変化した場合、全体動きベクトルの水平成分は図６（Ａ）の下段に示す要領で予測される。また、合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣの垂直成分が図６（Ｂ）の上段に示す要領で変化した場合、全体動きベクトルの垂直成分は図６（Ｂ）の下段に示す要領で予測される。これによって、抽出エリアＥＸに対する評価エリアＥＡの追従性が向上する。

キー入力装置３０によって記録開始操作が行われると、ＣＰＵ２８は、記録処理を開始するべくＩ／Ｆ４２を起動する。Ｉ／Ｆ４２は、ＹＵＶ画像エリア３４ｂに格納された画像データを１／６０秒毎に読み出し、読み出された画像データを記録媒体４４内の動画ファイルに圧縮状態で書き込む。Ｉ／Ｆ４２は、キー入力装置３０上で記録終了操作が行われたときにＣＰＵ２８によって停止される。この結果、画像データの記録処理が終了される。

動き検出回路２２は、図７に示すように構成される。Ｙデータは、フレームメモリ４８および分配器５０に与えられる。フレームメモリ４８は１フレームに相当する容量を各々が有する２つのバンクによって形成され、与えられたＹデータはこの２つのバンクに交互に書き込まれる。

分配器５０は、動き検出ブロックＭＤ１，ＭＤ４およびＭＤ７に属するＹデータを分配器５２に与え、動き検出ブロックＭＤ２，ＭＤ５およびＭＤ８に属するＹデータを分配器５４に与え、そして動き検出ブロックＭＤ３，ＭＤ６およびＭＤ９に属するＹデータを分配器５６に与える。

分配器５２は、動き検出ブロックＭＤ１に属するＹデータを部分動きベクトル検出回路５８に与え、動き検出ブロックＭＤ４に属するＹデータを部分動きベクトル検出回路６４に与え、そして動き検出ブロックＭＤ７に属するＹデータを部分動きベクトル検出回路７０に与える。分配器５４は、動き検出ブロックＭＤ２に属するＹデータを部分動きベクトル検出回路６０に与え、動き検出ブロックＭＤ５に属するＹデータを部分動きベクトル検出回路６６に与え、そして動き検出ブロックＭＤ８に属するＹデータを部分動きベクトル検出回路７２に与える。分配器５６は、動き検出ブロックＭＤ３に属するＹデータを部分動きベクトル検出回路６２に与え、動き検出ブロックＭＤ６に属するＹデータを部分動きベクトル検出回路６８に与え、そして動き検出ブロックＭＤ９に属するＹデータを部分動きベクトル検出回路７４に与える。

部分動きベクトル検出回路５８〜７４の各々は、分配器５２，５４または５６から与えられたＹデータをフレームメモリ４８に格納された前フレームのＹデータと比較して、注目する動き検出ブロックにおける被写界の動きを表す部分動きベクトルを検出する。この結果、動き検出ブロックＭＤ１〜ＭＤ９にそれぞれ対応する９つの部分動きベクトルが得られる。

合成動きベクトル生成回路７６は、部分動きベクトル検出回路５８，６０および６２でそれぞれ検出された３つの部分動きベクトルを合成し、撮像面の上段における被写界の動きを表す合成動きベクトルＵＶＣを生成する。合成動きベクトル生成回路７８は、部分動きベクトル検出回路６４，６６および６８でそれぞれ検出された３つの部分動きベクトルを合成し、撮像面の中段における被写界の動きを表す合成動きベクトルＭＶＣを生成する。合成動きベクトル生成回路８０は、部分動きベクトル検出回路７０，７２および７４でそれぞれ検出された３つの部分動きベクトルを合成し、撮像面の下段における被写界の動きを表す合成動きベクトルＬＶＣを生成する。

ＡＦ評価回路２４は、図８に示すように構成される。ＨＰＦ８２は前処理回路２０から与えられたＹデータの水平方向における高周波成分を抽出し、ＨＰＦ９２は前処理回路２０から与えられたＹデータの垂直方向における高周波成分を抽出する。積分回路８６０１〜８６６４は上述した６４個の部分評価エリア（１，１）〜（８，８）にそれぞれ対応し、積分回路９６０１〜９６６４も上述の６４個の部分評価エリア（１，１）〜（８，８）にそれぞれ対応する。

分配器８４は、ＨＰＦ８２によって抽出された高周波成分を取り込み、取り込まれた高周波成分が属する部分評価エリアを特定し、そして取り込まれた高周波成分を特定された部分評価エリアに対応する積分回路に与える。分配器９２もまた、ＨＰＦ９４によって抽出された高周波成分を取り込み、取り込まれた高周波成分が属する部分評価エリアを特定し、そして取り込まれた高周波成分を特定された部分評価エリアに対応する積分回路に与える。分配器８４および９４の各々には、図３に示す評価エリアＥＡの左上座標を示す座標値が与えられる。分配器８４および９４のいずれも、この座標値を参照して部分評価エリアの特定処理を行う。

積分回路８６＊＊（＊＊：０１〜６４）は、加算器８８＊＊およびレジスタ９０＊＊によって形成される。加算器８８＊＊は、分配器８４から与えられたＹデータ値をレジスタ９０＊＊の設定値と加算し、加算値をレジスタ８８＊＊に設定する。積分回路９６＊＊も、加算器９８＊＊およびレジスタ１００＊＊によって形成される。加算器９８＊＊は、分配器９４から与えられたＹデータ値をレジスタ１００＊＊の設定値と加算し、加算値をレジスタ９８＊＊に設定する。レジスタ８８＊＊および１００＊＊の設定値は、垂直同期信号Ｖｓｙｎｃが発生する毎にクリアされる。

したがって、レジスタ９０＊＊の設定値は、現フレームの各分割評価エリアに属するＹデータの水平方向における高周波成分の積分値を表わす。また、レジスタ１００＊＊の設定値は、現フレームの各分割評価エリアに属するＹデータの垂直方向における高周波成分の積分値を表わす。

ＡＥ／ＡＷＢ評価回路２６は、図９に示すように構成される。前処理回路２０から与えられたＲデータ，ＧデータおよびＢデータはそれぞれ、分配器１０２，１１０および１１８に与えられる。積分回路１０４０１〜１０４６４は６４個の部分評価エリア（１，１）〜（８，８）にそれぞれ対応し、積分回路１１２０１〜１１２６４も６４個の部分評価エリア（１，１）〜（８，８）にそれぞれ対応し、積分回路１２００１〜１２０６４もまた６４個の部分評価エリア（１，１）〜（８，８）にそれぞれ対応する。

分配器１０２は、与えられたＲデータが属する部分評価エリアを特定し、特定した部分評価エリアに対応する積分回路にＲデータを入力する。分配器１１０も、与えられたＧデータが属する部分評価エリアを特定し、特定した部分評価エリアに対応する積分回路にＧデータを入力する。分配器１１８もまた、与えられたＢデータが属する部分評価エリアを特定し、特定した部分評価エリアに対応する積分回路にＢデータを入力する。分配器１０２，１１０および１１８の各々にも、評価エリアＥＡの左上座標を示す座標値が与えられる。分配器１０２，１１０および１１８もまた、この座標値を参照して部分評価エリアの特定処理を行う。

積分回路１０４＊＊は、加算器１０６＊＊およびレジスタ１０８＊＊によって形成される。加算器１０６＊＊は、分配器１０２から与えられたＲデータ値をレジスタ１０８＊＊の設定値と加算し、加算値をレジスタ１０８＊＊に設定する。積分回路１１２＊＊も、加算器１１４＊＊およびレジスタ１１６＊＊によって形成される。加算器１１４＊＊は、分配器１１０から与えられたＧデータ値をレジスタ１１６＊＊の設定値と加算し、加算値をレジスタ１１６＊＊に設定する。積分回路１２０＊＊もまた、加算器１２２＊＊およびレジスタ１２４＊＊によって形成される。加算器１２２＊＊は、分配器１１８から与えられたＢデータ値をレジスタ１２４＊＊の設定値と加算し、加算値をレジスタ１２４＊＊に設定する。レジスタ１０８＊＊，１１６＊＊および１２４＊＊の設定値は、垂直同期信号Ｖｓｙｎｃが発生する毎にクリアされる。

したがって、レジスタ１０８＊＊の設定値は、現フレームの各部分評価エリアに属するＲデータの積分値を表わす。また、レジスタ１１６＊＊の設定値は、現フレームの各部分評価エリアに属するＧデータの積分値を表わす。さらに、レジスタ１２４＊＊の設定値は、現フレームの各部分評価エリアに属するＢデータの積分値を表わす。

後処理回路３６は、図１０に示すように構成される。コントローラ１２６は、抽出エリアＥＸに属するＹデータをＳＤＲＡＭ３４の生画像エリア３４ａから読み出すべく、読み出し要求をメモリ制御回路３２に向けて繰り返し発行する。これに応答して読み出された生画像データは、ＳＲＡＭ１２８を経て色分離回路１３０に与えられる。色分離回路１３０は、与えられた生画像データに基づいて各画素がＲ，ＧおよびＢの全ての色情報を有するＲＧＢデータを生成する。

生成されたＲＧＢデータは、白バランス調整回路１３２によって白バランス調整処理を施された後、ＹＵＶ変換回路１３４によってＹＵＶ形式の画像データに変換される。変換された画像データは、ＳＲＡＭ１３８に書き込まれる。コントローラ１３６は、ＳＲＡＭ１３８に蓄積された画像データを書き込み要求とともにメモリ制御回路３２に出力する。出力された画像データは、メモリ制御回路３２によってＳＤＲＡＭ３４のＹＵＶ画像エリア３４ｂに書き込まれる。

ＣＰＵ２８は、図１１に示す動画撮像タスクおよび図１２に示す手振れ補正タスクを含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４６に記憶される。

図１１を参照して、ステップＳ１では動画取り込み処理を実行し、ステップＳ５ではコンティニュアスＡＦタスクを起動する。ステップＳ１の処理によってスルー画像がＬＣＤモニタ４０から出力され、ステップＳ３の処理によってフォーカスが連続的に調整される。ステップＳ５では記録開始操作が行われたか否かを判別し、ＮＯである限りステップＳ７のＡＥ処理およびステップＳ９のＡＷＢ処理を繰り返す。これによって、露光量および白バランスが適度に調整される。記録開始操作が行わるとステップＳ１１に進み、記録処理を開始するべくＩ／Ｆ４２を起動する。ステップＳ１３では記録終了操作が行われたか否かを判別し、ＮＯである限りステップＳ１５のＡＥ処理およびステップＳ１７のＡＷＢ処理を繰り返す。記録終了操作が行われるとステップＳ１９に進み、記録処理を終了するべくＩ／Ｆ４２を停止する。ステップＳ１９の処理が完了すると、ステップＳ５に戻る。

図１２を参照して、ステップＳ３１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、ＹＥＳであればステップＳ３３で動き検出回路２２から合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣを取り込む。ステップＳ３５では、取り込まれた合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣに基づいて全体動きベクトルを作成する。続くステップＳ３７では現時点の撮像面の動きがパン／チルト動作に起因するものであるか否かを全体動きベクトルに基づいて判別する。ここでＹＥＳであればそのままステップＳ３１に戻り、ＮＯであればステップＳ３９に進む。

ステップＳ３９では、ステップＳ３５で作成された全体動きベクトルに沿って抽出エリアＥＸを移動させる。ステップＳ４１では上述の数２および数３に従って次フレームの全体動きベクトルを予測し、ステップＳ４３では予測された全体動きベクトルに沿って評価エリアＥＡを移動させる。ステップＳ４３の処理の結果、ＡＦ評価回路２４およびＡＥ／ＡＷＢ評価回路２６によって参照される座標値が変化する。ステップＳ４３の処理が完了すると、ステップＳ３１に戻る。

以上の説明からわかるように、イメージセンサ１６は、被写界の光学像が照射される撮像面を有し、撮像面で生成された被写界像を繰り返し出力する。ＬＣＤドライバ３８は、イメージセンサ１６から出力された被写界像のうち抽出エリアＥＸ（第１指定エリア）に属する部分被写界像に基づいて動画像をＬＣＤモニタ４０に表示する。ＣＰＵ２８は、イメージセンサ１６から出力された被写界像のうち評価エリアＥＡ（第２指定エリア）に属する部分被写界像に基づいて撮像条件を調整する(S3, S7, S9, S15, S17)。ＣＰＵ２８はまた、光軸に直交する方向における撮像面の動きを検出する(22, S33, S35)。ＣＰＵ２８はさらに、検出された動きに対応して抽出エリアＥＸを移動させ(S39)、抽出エリアＥＸの移動処理に関連して評価エリアＥＡを移動させる(S41, S43)。

したがって、撮像条件の調整のために参照される評価エリアＥＡは、動画像の出力のために参照される抽出エリアＥＸに追従するように移動する。これによって、撮像条件の調整精度が向上し、出力画像の品質の改善が図られる。

なお、この実施例では、イメージセンサ１６としてＣＭＯＳ型のイメージセンサを採用するようにしているが、これに代えてＣＣＤ型のイメージセンサを採用するようにしてもよい。ただし、この場合は、過去の数フレームの動きに基づいて次のフレームの動きを予測する必要がある。

この発明の一実施例の構成を示すブロック図である。撮像面における抽出エリアおよび動き検出ブロックの割り当て状態の一例を示す図解図である。撮像面における評価エリアの割り当て状態の一例を示す図解図である。図１実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。（Ａ）は手振れに応じた抽出エリアの移動処理の一例を示す図解図であり、（Ｂ）は手振れに応じた評価エリアの移動処理の一例を示す図解図である。（Ａ）は全体動きベクトルの水平成分を予測する処理の一例を示す図解図であり、（Ｂ）は全体動きベクトルの垂直成分を予測する処理の一例を示す図解図である。図１実施例に適用される動き検出回路の構成の一例を示すブロック図である。図１実施例に適用されるＡＦ評価回路の構成の一例を示すブロック図である。図１実施例に適用されるＡＥ／ＡＷＢ評価回路の構成の一例を示すブロック図である。図１実施例に適用される後処理回路の構成の一例を示すブロック図である。図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。

符号の説明

１０ …ディジタルビデオカメラ
１６ …イメージセンサ
２０ …前処理回路
２２ …動き検出回路
２８ …ＣＰＵ
３２ …メモリ制御回路
３４ …ＳＤＲＡＭ
３６ …後処理回路
３８ …ＬＣＤドライバ

Claims

シーンを表す光学像が照射される撮像面を有し、前記光学像に対応する電子画像を繰り返し出力する撮像手段、
前記撮像手段から出力された電子画像のうち第１指定エリアに属する部分画像に基づいて動画像を表示する表示手段、
前記撮像手段から出力された電子画像のうち第２指定エリアに属する部分画像に基づいて撮像条件を調整する調整手段、
光軸に直交する方向における前記撮像面の動きを繰り返し検出する検出手段、
前記検出手段によって検出された動きに対応して前記第１指定エリアを移動させる第１移動手段、および
前記検出手段によって検出された動きに基づいて予測された前記撮像面の未来の動きに対応して前記第２指定エリアを移動させる第２移動手段を備える、ビデオカメラ。
前記撮像手段はフォーカルプレーン電子シャッタ方式の露光動作を行い、
前記検出手段は、前記撮像手段から出力された電子画像に垂直方向に並ぶ複数のブロックを割り当てる割り当て手段、および前記割り当て手段によって割り当てられた複数のブロックに属する複数のブロック画像の動きベクトルを個別に生成する動きベクトル生成手段を含み、
前記予測手段は前記動きベクトル生成手段によって生成された複数の動きベクトルに基づいて前記撮像面の未来の動きを予測する、請求項１記載のビデオカメラ。
前記割り当て手段によって前記垂直方向に割り当てられるブロックの数を前記撮像手段の撮像周期と前記撮像面の振動周波数とに基づいて決定するようにした、請求項２記載のビデオカメラ。
前記撮像手段から出力された電子画像をメモリに書き込む書き込み手段、および
前記書き込み手段によって前記メモリに格納された電子画像のうち前記第１指定エリアに属する部分画像を前記表示手段の表示処理のために読み出す読み出し手段をさらに備える、請求項１ないし３のいずれかに記載のビデオカメラ。
シーンを表す光学像が照射される撮像面を有し、前記光学像に対応する電子画像を繰り返し出力する撮像手段、および前記撮像手段から出力された電子画像のうち第１指定エリアに属する部分画像に基づいて動画像を表示する表示手段を備えるビデオカメラのプロセッサに、
前記撮像手段から出力された電子画像のうち第２指定エリアに属する部分画像に基づいて撮像条件を調整する調整ステップ、
光軸に直交する方向における前記撮像面の動きを繰り返し検出する検出ステップ、
前記検出ステップによって検出された動きに対応して前記第１指定エリアを移動させる第１移動ステップ、および
前記検出ステップによって検出された動きに基づいて予測された前記撮像面の未来の動きに対応して前記第２指定エリアを移動させる第２移動ステップを実行させるための、撮像制御プログラム。
シーンを表す光学像が照射される撮像面を有し、前記光学像に対応する電子画像を繰り返し出力する撮像手段、および前記撮像手段から出力された電子画像のうち第１指定エリアに属する部分画像に基づいて動画像を表示する表示手段を備えるビデオカメラによって実行される撮像制御方法であって、
前記撮像手段から出力された電子画像のうち第２指定エリアに属する部分画像に基づいて撮像条件を調整する調整ステップ、
光軸に直交する方向における前記撮像面の動きを繰り返し検出する検出ステップ、
前記検出ステップによって検出された動きに対応して前記第１指定エリアを移動させる第１移動ステップ、および
前記検出ステップによって検出された動きに基づいて予測された前記撮像面の未来の動きに対応して前記第２指定エリアを移動させる第２移動ステップを備える、撮像制御方法。