JP2009200981A

JP2009200981A - ビデオカメラ

Info

Publication number: JP2009200981A
Application number: JP2008042281A
Authority: JP
Inventors: Mitsuaki Kurokawa; 光章黒川
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2008-02-23
Filing date: 2008-02-23
Publication date: 2009-09-03
Anticipated expiration: 2028-02-23
Also published as: JP5197064B2

Abstract

【構成】イメージセンサ１６は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する。後処理回路３６は、イメージセンサ１６から出力された被写界像のうち抽出エリアＥＸに属する部分被写界像を抽出する。抽出された部分被写界像に基づく動画像は、ＬＣＤドライバ３８によってＬＣＤモニタ４０に表示される。動き検出回路２２は、光軸に直交する方向における撮像面の動きを検出する。抽出エリアの位置は、動き検出回路２２によって検出された動きが補償されるように、ＣＰＵ２８によって変更される。ＣＰＵ２８はまた、動き検出回路２２によって検出された動きに基づいて、フォーカルプレーン歪が抑制されるように抽出エリアＥＸの形状を変更する。
【効果】簡単な回路構成で動画像の品質を改善することができる。
【選択図】図１

Description

この発明は、ビデオカメラに関し、特にフォーカルプレーン電子シャッタ方式を採用するイメージセンサから出力された画像データにフォーカルプレーン歪補正処理を施す、ビデオカメラに関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、ＣＭＯＳ型イメージセンサから出力された画像信号は、フォーカルプレーン歪補正回路に与えられる。フォーカルプレーン歪補正回路は、連続する３フレームに注目し、画素位置によって異なる２フレームに線形補間処理を施す。これによって、フォーカルプレーン歪が補正された１フレームの画像信号が生成される。
特開２００６−１４８４９６号公報

しかし、背景技術では、フォーカルプレーン歪を補正するために上述のような特別の回路が必要になる。

それゆえに、この発明の主たる目的は、簡単な回路構成で動画像の品質を改善することができる、ビデオカメラを提供することである。

この発明に従うビデオカメラ(10：実施例で相当する参照符号。以下同じ)は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する撮像手段(16)、撮像手段から出力された被写界像のうち指定エリアに属する部分被写界像を抽出する抽出手段(36)、抽出手段によって抽出された部分被写界像に基づく動画像を出力する出力手段(38)、光軸に直交する方向における撮像面の動きを検出する検出手段(22)、検出手段によって検出された動きが補償されるように指定エリアの位置を変更する位置変更手段(S11)、および検出手段によって検出された動きに基づいてフォーカルプレーン歪が抑制されるように指定エリアの形状を変更する形状変更手段(S7)を備える。

撮像手段は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する。抽出手段は、撮像手段から出力された被写界像のうち指定エリアに属する部分被写界像を抽出する。抽出手段によって抽出された部分被写界像に基づく動画像は、出力手段によって出力される。検出手段は、光軸に直交する方向における撮像面の動きを検出する。指定エリアの位置は、検出手段によって検出された動きが補償されるように、位置変更手段によって変更される。形状変更手段は、検出手段によって検出された動きに基づいて、フォーカルプレーン歪が抑制されるように指定エリアの形状を変更する。

指定エリアの位置を光軸に直交する方向における撮像面の動きが補償されるように変更し、指定エリアの形状をフォーカルプレーン歪が抑制されるように変更することで、撮像面の振れおよびフォーカルプレーン歪が一体的に補正される。この結果、簡単な回路構成で動画像の品質を改善することができる。

好ましくは、指定エリアは左辺および右辺を有する矩形のエリアであり、形状変更手段は検出手段によって検出された動きの水平成分に基づいて右辺および左辺の傾斜量を変更する傾斜量変更手段(S21~S29)を含む。これによって、水平方向のフォーカルプレーン歪が補正される。

さらに好ましくは、検出手段は、撮像手段から出力された被写界像に垂直方向に並ぶ複数のブロックを割り当てる割り当て手段(50~56)、および割り当て手段によって割り当てられた複数のブロックに属する複数のブロック画像の動きベクトルを個別に検出する動きベクトル検出手段(58~74)を含み、傾斜量変更手段は動きベクトル検出手段によって作成された複数の動きベクトルの水平成分に基づいて傾斜量を定義する関数を作成する関数作成手段(S27)を含む。これによって、傾斜量に多様性を持たせることができる。

より好ましくは、割り当て手段によって割り当てられるブロックの数は、撮像手段の撮像周期と撮像面の振動周波数とに基づいて決定される。

好ましくは、形状変更手段は検出手段によって検出された動きの垂直成分に基づいて指定エリアの垂直サイズを変更する第１サイズ変更手段(S31~S33)を含み、抽出手段によって抽出された部分被写界像の垂直サイズを第１サイズ変更手段の変更処理に関連して変更する第２サイズ変更手段(S35, 92)がさらに備えられる。これによって、垂直方向のフォーカルプレーン歪が補正される。

さらに好ましくは、第２サイズ変更手段の変更倍率は第１サイズ変更手段の変更倍率の逆数に相当する。

この発明に従う撮像制御プログラムは、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する撮像手段(16)、撮像手段から出力された被写界像のうち指定エリアに属する部分被写界像を抽出する抽出手段(36)、抽出手段によって抽出された部分被写界像に基づく動画像を出力する出力手段(38)、および光軸に直交する方向における撮像面の動きを検出する検出手段(22)を備えるビデオカメラ(10)のプロセッサ(28)に、検出手段によって検出された動きが補償されるように指定エリアの位置を変更する位置変更ステップ(S11)、および検出手段によって検出された動きに基づいてフォーカルプレーン歪が抑制されるように指定エリアの形状を変更する形状変更ステップ(S7)を実行させるための、撮像制御プログラムである。

この発明に従う撮像制御方法は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する撮像手段(16)、撮像手段から出力された被写界像のうち指定エリアに属する部分被写界像を抽出する抽出手段(36)、抽出手段によって抽出された部分被写界像に基づく動画像を出力する出力手段(38)、および光軸に直交する方向における撮像面の動きを検出する検出手段(22)を備えるビデオカメラ(10)によって実行される撮像制御方法であって、検出手段によって検出された動きが補償されるように指定エリアの位置を変更する位置変更ステップ(S11)、および検出手段によって検出された動きに基づいてフォーカルプレーン歪が抑制されるように指定エリアの形状を変更する形状変更ステップ(S7)を備える。

この発明によれば、指定エリアの位置を光軸に直交する方向における撮像面の動きが補償されるように変更し、指定エリアの形状をフォーカルプレーン歪が抑制されるように変更することで、撮像面の振れおよびフォーカルプレーン歪が一体的に補正される。この結果、簡単な回路構成で動画像の品質を改善することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルビデオカメラ１０は、光学レンズ１２および絞りユニット１４を含む。被写界の光学像は、これらの部材を通してＣＭＯＳ型のイメージセンサ１６の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ（図示せず）によって覆われる。したがって、各画素では、Ｒ（Red），Ｇ（Green）およびＢ（Blue）のいずれか１つの色情報を有する電荷が光電変換によって生成される。

電源が投入されると、ＣＰＵ２８は、スルー画像処理を実行するべくドライバ１８を起動する。ドライバ１８は、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面をフォーカルプレーン電子シャッタ方式で露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、被写界を表す生画像データが６０ｆｐｓのフレームレートで出力される。前処理回路２０は、イメージセンサ１６からの生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施し、これによって生成された生画像データをメモリ制御回路３２を通してＳＤＲＡＭ３４の生画像エリア３４ａ（図２参照）に書き込む。

撮像面には、図３に示す要領で抽出エリアＥＸが割り当てられる。後処理回路３６は、生画像エリア２４ａに格納された生画像データのうち抽出エリアＥＸに属する一部の生画像データをメモリ制御回路３２を通して１／６０秒毎に読み出し、読み出された生画像データに色分離，白バランス調整，ＹＵＶ変換，垂直ズームなどの処理を施す。この結果、ＹＵＶ形式に対応する表示画像データが１／６０秒毎に作成される。作成された表示画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４のＹＵＶ画像エリア３４ｂ（図２参照）に書き込まれる。

ＬＣＤドライバ３８は、ＹＵＶ画像エリア３４ｂに格納された表示画像データを繰り返し読み出し、読み出されたＹＵＶ画像データに基づいてＬＣＤモニタ４０を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

前処理回路２０は、上述の処理に加えて、簡易Ｙ生成処理および簡易ＲＧＢ生成処理を実行する。生画像データは、簡易Ｙ変換処理によってＹデータに変換され、簡易ＲＧＢ変換処理によってＲＧＢデータ（各画素がＲ，ＧおよびＢの全ての色情報を有するデータ）に変換される。簡易Ｙ変換処理によって生成されたＹデータは動き検出回路２２およびＡＦ評価回路２４に与えられ、簡易ＲＧＢ変換処理によって生成されたＲＧＢデータはＡＥ／ＡＷＢ評価回路２６に与えられる。

図３を参照して、撮像面には９つの動き検出エリアＭＤ１〜ＭＤ９が割り当てられる。動き検出エリアＭＤ１〜ＭＤ３は撮像面の上段に水平方向に並び、動き検出エリアＭＤ４〜ＭＤ６は撮像面の中断に水平方向に並び、動き検出エリアＭＤ７〜ＭＤ９は撮像面の下段に水平方向に並ぶ。垂直方向に割り当てるべき動き検出エリアの最小数は、数１に従って決定される。
［数１］
ＭＮ＝ＴＭ×ＳＦ×α
ＭＮ：垂直方向に割り当てるべき動き検出エリアの最小数
ＴＭ：撮像周期（垂直同期信号Ｖｓｙｎｃの発生周期）
ＳＦ：撮像面の振動周波数
α：定数（＝１８）

数１によれば、撮像周期と撮像面の振動周波数との掛算値に定数αを掛算することで、垂直方向に割り当てるべき動き検出エリアの最小数が得られる。ここで、撮像面の振動周波数は操作者の手振れ周波数（＝約１０Ｈｚ）に相当する。したがって、この実施例のように撮像周期が“１／６０秒”であれば、垂直方向に割り当てるべき動き検出エリアの最小数は“３”となる。また、撮像周期が“１／３０秒”であれば、垂直方向に割り当てるべき動き検出エリアの最小数は“６”となる。

動き検出回路２２は、動き検出エリアＭＤ１〜ＭＤ９の各々における被写界の動きを表す部分動きベクトルを、前処理回路２０から与えられたＹデータに基づいて１／６０秒毎に検出する。動き検出回路２２はまた、動き検出エリアＭＤ１〜ＭＤ３の部分動きベクトルを合成して合成動きベクトルＵＶＣを１／６０秒毎に生成し、動き検出エリアＭＤ４〜ＭＤ６の部分動きベクトルを合成して合成動きベクトルＭＶＣを１／６０秒毎に生成し、そして動き検出エリアＭＤ７〜ＭＤ９の部分動きベクトルを合成して合成動きベクトルＬＶＣを１／６０秒毎に生成する。

合成動きベクトルＵＶＣは撮像面の上段における被写界の動きを表し、合成動きベクトルＭＶＣは撮像面の中段における被写界の動きを表し、そして合成動きベクトルＬＶＣは撮像面の下段における被写界の動きを表す。

ＣＰＵ２８は、動き検出回路２２から出力された合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣに基づいて全体動きベクトルを作成し、光軸に直交する方向における撮像面の動きが手振れおよびパン／チルト動作のいずれに起因するかを全体動きベクトルに基づいて判別し、そして撮像面の動きが手振れに起因するときに全体動きベクトルに沿って抽出エリアＥＸを移動させる。抽出エリアＥＸの位置は、手振れに起因する撮像面の動きが補償（相殺）されるように変更される。抽出エリアＥＸは、撮像面に手振れが生じたとき、図４に示す要領で撮像面上を移動する。

ＡＦ評価回路２４は、前処理回路２０から与えられたＹデータに基づいてＡＦ評価値を１／６０秒毎に作成する。ＣＰＵ２８は、作成されたＡＦ評価値に基づいていわゆる山登りＡＦ処理を実行し、光学レンズ１２を合焦点に配置する。

ＡＥ／ＡＷＢ評価回路２４は、前処理回路２０から与えられたＲＧＢデータに基づいてＡＥ／ＡＷＢ評価値を１／６０秒毎に作成する。ＣＰＵ２８は、作成されたＡＥ／ＡＷＢ評価値に基づいて、適正露光量が得られるＥＶ値と適正白バランスが得られる白バランス調整ゲインとを算出する。ＣＰＵ２８はさらに、算出されたＥＶ値を定義する絞り量および露光時間を絞りユニットおよびドライバ１８に設定し、算出された白バランス調整ゲインを後処理回路３６に設定する。この結果、ＬＣＤモニタ４０から出力される動画像の明るさおよび白バランスが適度に調整される。

キー入力装置３０によって記録開始操作が行われると、ＣＰＵ２８によってＩ／Ｆ４２が起動される。Ｉ／Ｆ４２は、ＹＵＶ画像エリア３４ｂに格納された画像データを１／６０秒毎に読み出し、読み出された画像データを記録媒体４４内の動画ファイルに圧縮状態で書き込む。Ｉ／Ｆ４２は、キー入力装置３０上で記録終了操作が行われたときにＣＰＵ２８によって停止される。この結果、画像データの記録処理が終了される。

動き検出回路２２は、図５に示すように構成される。Ｙデータは、フレームメモリ４８および分配器５０に与えられる。フレームメモリ４８は１フレームに相当する容量を各々が有する２つのバンクによって形成され、与えられたＹデータはこの２つのバンクに交互に書き込まれる。

分配器５０は、動き検出エリアＭＤ１，ＭＤ４およびＭＤ７に属するＹデータを分配器５２に与え、動き検出エリアＭＤ２，ＭＤ５およびＭＤ８に属するＹデータを分配器５４に与え、そして動き検出エリアＭＤ３，ＭＤ６およびＭＤ９に属するＹデータを分配器５６に与える。

分配器５２は、動き検出エリアＭＤ１に属するＹデータを部分動きベクトル検出回路５８に与え、動き検出エリアＭＤ４に属するＹデータを部分動きベクトル検出回路６４に与え、そして動き検出エリアＭＤ７に属するＹデータを部分動きベクトル検出回路７０に与える。分配器５４は、動き検出エリアＭＤ２に属するＹデータを部分動きベクトル検出回路６０に与え、動き検出エリアＭＤ５に属するＹデータを部分動きベクトル検出回路６６に与え、そして動き検出エリアＭＤ８に属するＹデータを部分動きベクトル検出回路７２に与える。分配器５６は、動き検出エリアＭＤ３に属するＹデータを部分動きベクトル検出回路６２に与え、動き検出エリアＭＤ６に属するＹデータを部分動きベクトル検出回路６８に与え、そして動き検出エリアＭＤ９に属するＹデータを部分動きベクトル検出回路７４に与える。

部分動きベクトル検出回路５８〜７４の各々は、分配器５２，５４または５６から与えられたＹデータをフレームメモリ４８に格納された前フレームのＹデータと比較して、注目する動き検出エリアにおける被写界の動きを表す部分動きベクトルを検出する。この結果、動き検出エリアＭＤ１〜ＭＤ９にそれぞれ対応する９つの部分動きベクトルが得られる。

合成動きベクトル生成回路７６は、部分動きベクトル検出回路５８，６０および６２でそれぞれ検出された３つの部分動きベクトルを合成し、撮像面の上段における被写界の動きを表す合成動きベクトルＵＶＣを生成する。合成動きベクトル生成回路７８は、部分動きベクトル検出回路６４，６６および６８でそれぞれ検出された３つの部分動きベクトルを合成し、撮像面の中段における被写界の動きを表す合成動きベクトルＭＶＣを生成する。合成動きベクトル生成回路８０は、部分動きベクトル検出回路７０，７２および７４でそれぞれ検出された３つの部分動きベクトルを合成し、撮像面の下段における被写界の動きを表す合成動きベクトルＬＶＣを生成する。

後処理回路３６は、図６に示すように構成される。コントローラ８２は、抽出エリアＥＸに属するＹデータをＳＤＲＡＭ３４の生画像エリア３４ａから読み出すべく、読み出し要求をメモリ制御回路３２に向けて繰り返し発行する。これに応答して読み出された生画像データは、ＳＲＡＭ８４を経て色分離回路８６に与えられる。色分離回路８６は、与えられた生画像データに基づいて各画素がＲ，ＧおよびＢの全ての色情報を有するＲＧＢデータを生成する。

生成されたＲＧＢデータは、白バランス調整回路８８によって白バランス調整処理を施された後、ＹＵＶ変換回路９０によってＹＵＶ形式の画像データに変換される。変換された画像データは、ズーム回路９２による垂直ズーム処理（詳細は後述）を経てＳＲＡＭ９６に書き込まれる。コントローラ９４は、ＳＲＡＭ９６に蓄積された画像データを書き込み要求とともにメモリ制御回路３２に出力する。出力された画像データは、メモリ制御回路３２によってＳＤＲＡＭ３４のＹＵＶ画像エリア３４ｂに書き込まれる。

上述のように、イメージセンサ１６はフォーカルプレーン電子シャッタ方式で撮像面を露光するため、露光タイミングは水平画素列によって異なる。すると、ＳＤＲＡＭ３４に格納された生画像データには、撮像面の水平移動に起因して水平方向のフォーカルプレーン歪が発生し（図７参照）、撮像面の垂直移動に起因して垂直方向のフォーカルプレーン歪が発生する（図１０参照）。そこで、この実施例では、フォーカスプレーン歪が抑制されるように、動き検出回路２２の出力に基づいて抽出エリアＥＸの形状を変更するようにしている。

水平方向のフォーカルプレーン歪が発生したときは、抽出エリアＥＸを表す矩形の右辺および左辺の傾斜量が、図８（Ａ）〜図８（Ｄ）に示す要領で変更される。つまり、撮像面が右方向に移動したとき、撮像面の露光タイミングは図８（Ａ）の左蘭に示す要領で変化するため、抽出エリアＥＸの右辺および左辺は図８（Ａ）の右蘭に示す要領で傾斜される。また、撮像面が左方向に移動したとき、撮像面の露光タイミングは図８（Ｂ）の左蘭に示す要領で変化するため、抽出エリアＥＸの右辺および左辺は図８（Ｂ）の右蘭に示す要領で傾斜される。

さらに、撮像面の移動方向が右から左に反転したとき、撮像面の露光タイミングは図８（Ｃ）の左蘭に示す要領で変化するため、抽出エリアＥＸの右辺および左辺は図８（Ｃ）の右蘭に示す要領で傾斜される。さらにまた、撮像面の移動方向が左から右に反転したとき、撮像面の露光タイミングは図８（Ｄ）の左蘭に示す要領で変化するため、抽出エリアＥＸの右辺および左辺は図８（Ｄ）の右蘭に示す要領で傾斜される。

傾斜量は、動き検出回路２２から出力された合成ベクトルＵＶＣ，ＭＶＣおよびＬＶＣに基づいて、図９（Ａ）または図９（Ｂ）に示す要領で決定される。まず、合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣの水平成分が“ＵＶＣｘ”，“ＭＶＣｘ”および“ＬＶＣｘ”として特定される。次に、動き検出エリアＭＤ１〜ＭＤ３の垂直位置に対応して水平成分ＵＶＣｘのＹ座標が決定され、動き検出エリアＭＤ４〜ＭＤ６の垂直位置に対応して水平成分ＭＶＣｘのＹ座標が決定され、そして動き検出エリアＭＤ７〜ＭＤ９の垂直位置に対応して水平成分ＬＶＣｘのＹ座標が決定される。

さらに、水平成分ＭＶＣｘの末端のＸ座標が水平成分ＵＶＣｘの先端のＸ座標と一致し、かつ水平成分ＬＶＣｘの末端のＸ座標が水平成分ＭＶＣｘの先端のＸ座標と一致するように、水平成分ＵＶＣｘ，ＭＶＣｘおよびＬＶＣｘの先端のＸ座標が決定される。その後、決定された３つのＸＹ座標を結ぶ直線または曲線を表す近似関数が算出される。

したがって、水平成分ＵＶＣｘ，ＭＶＣｘおよびＬＶＣｘが図９（Ａ）の左蘭に示す大きさを有する場合、図９（Ａ）の中央蘭に示す要領で３つのＸＹ座標が決定され、図９（Ａ）の右蘭に示す傾斜を有する近似関数が算出される。また、水平成分ＵＶＣｘ，ＭＶＣｘおよびＬＶＣｘが図９（Ｂ）の左蘭に示す大きさを有する場合、図９（Ｂ）の中央蘭に示す要領で３つのＸＹ座標が決定され、図９（Ｂ）の右蘭に示す傾斜を有する近似関数が算出される。

垂直方向のフォーカルプレーン歪が発生したときは、抽出エリアＥＸの垂直サイズが図１１（Ａ）または図１１（Ｃ）に示す要領で拡大／縮小され、抽出エリアＥＸに対応する画像データの垂直サイズが後処理回路３６に設けられたズーム回路９２によって図１１（Ｂ）または図１１（Ｄ）に示す要領で元に戻される。抽出エリアＥＸの垂直サイズの変更倍率は数２に従って算出され、ズーム回路９２のズーム倍率は数３に従って算出される。
［数２］
ＺＭ１＝１＋ＶＭ／ＶＰＸ
ＺＭ１：抽出エリアの垂直サイズの変更倍率
ＶＭ：全体動きベクトルの垂直成分に相当する画素数
ＶＰＸ：撮像面の垂直画素数
［数３］
ＺＭ２＝１／ＺＭ１
ＺＭ２：ズーム倍率

数２によれば、全体動きベクトルの垂直成分に相当する画素数が撮像面の垂直画素数に占める割合に“１”を加算した数値が、抽出エリアの垂直サイズの変更倍率に相当する。数３によれば、ズーム回路９２のズーム倍率は、抽出エリアの垂直サイズの変更倍率の逆数に相当する。

ＣＰＵ２８は、図１２〜図１３に示す手振れ補正タスクを含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４６に記憶される。

図１２を参照して、ステップＳ１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、ＹＥＳであればステップＳ３で動き検出回路２２から合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣを取り込む。ステップＳ５では、取り込まれた合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣに基づいて全体動きベクトルを作成する。ステップＳ７ではエリア形状変更処理を実行し、続くステップＳ９では現時点の撮像面の動きがパン／チルト動作に起因するものであるか否かを全体動きベクトルに基づいて判別する。ここでＹＥＳであればそのままステップＳ１に戻り、ＮＯであればステップＳ１１で抽出エリアＥＸを全体動きベクトルに沿って移動させてからステップＳ１に戻る。

ステップＳ７のエリア形状変更処理は、図１３に示すサブルーチンに従って実行される。まずステップＳ２１で、合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣの水平成分を“ＵＶＣｘ”，“ＭＶＣｘ”および“ＬＶＣｘ”として特定する。ステップＳ２３では、動き検出エリアＭＤ１〜ＭＤ３の垂直位置に対応して水平成分ＵＶＣｘのＹ座標を決定し、動き検出エリアＭＤ４〜ＭＤ６の垂直位置に対応して水平成分ＭＶＣｘのＹ座標を決定し、そして動き検出エリアＭＤ７〜ＭＤ９の垂直位置に対応して水平成分ＬＶＣｘのＹ座標を決定する。

ステップＳ２５では、水平成分ＭＶＣｘの末端のＸ座標が水平成分ＵＶＣｘの先端のＸ座標と一致し、かつ水平成分ＬＶＣｘの末端のＸ座標が水平成分ＭＶＣｘの先端のＸ座標と一致するように、水平成分ＵＶＣｘ，ＭＶＣｘおよびＬＶＣｘの先端のＸ座標を決定する。ステップＳ２７では決定された３つのＸＹ座標を結ぶ直線または曲線を表す近似関数を算出し、ステップＳ２９では算出された近似関数に従って抽出エリアＥＸの右辺および左辺の傾斜量を決定する。

ステップＳ３１では、全体動きベクトルの垂直成分を特定する。ステップＳ３３では数２に従って抽出エリアＥＸの垂直サイズの変更倍率を算出し、ステップＳ３５では数３に従ってズーム回路９２のズーム倍率を算出する。ステップＳ３５の処理が完了すると、上階層のルーチンに復帰する。

以上の説明からわかるように、イメージセンサ１６は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する。後処理回路３６は、イメージセンサ１６から出力された被写界像のうち抽出エリアＥＸに属する部分被写界像を抽出する。抽出された部分被写界像に基づく動画像は、ＬＣＤドライバ３８によってＬＣＤモニタ４０に表示される。動き検出回路２２は、光軸に直交する方向における撮像面の動きを検出する。抽出エリアの位置は、動き検出回路２２によって検出された動きが補償されるように、ＣＰＵ２８によって変更される(S11)。ＣＰＵ２８はまた、動き検出回路２２によって検出された動きに基づいて、フォーカルプレーン歪が抑制されるように抽出エリアＥＸの形状を変更する(S7)。

抽出エリアＥＸの位置を光軸に直交する方向における撮像面の動きが補償されるように変更し、抽出エリアＥＸの形状をフォーカルプレーン歪が抑制されるように変更することで、撮像面の振れおよびフォーカルプレーン歪が一体的に補正される。この結果、簡単な回路構成で動画像の品質を改善することができる。

なお、この実施例では、全体動きベクトルに沿って抽出エリアＥＸを移動させるようにしているが、これに加えて、ＡＥ／ＡＷＢ評価回路２６によって参照される評価エリアを抽出エリアＥＸに追従するように移動させるようにしてもよい。

この発明の一実施例の構成を示すブロック図である。図１実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。撮像面における抽出エリアおよび動き検出エリアの割り当て状態の一例を示す図解図である。図１実施例における手振れ補正動作の一例を示す図解図である。図１実施例に適用される動き検出回路の構成の一例を示すブロック図である。図１実施例に適用される後処理回路の構成の一例を示すブロック図である。図１実施例における撮像動作の一例を示す図解図である。（Ａ）は抽出エリアの形状変更処理の一例を示す図解図であり、（Ｂ）は抽出エリアの形状変更処理の他の一例を示す図解図であり、（Ｃ）は抽出エリアの形状変更処理のその他の一例を示す図解図であり、（Ｄ）は抽出エリアの形状変更処理のさらにその他の一例を示す図解図である。（Ａ）は抽出エリアの左辺および右辺の傾斜量を決定する動作の一例を示す図解図であり、（Ｂ）は抽出エリアの左辺および右辺の傾斜量を決定する動作の他の一例を示す図解図である。図１実施例における撮像動作の他の一例を示す図解図である。（Ａ）は後処理回路に入力される被写界像の一例を示す図解図であり、（Ｂ）は後処理回路から出力された被写界像の一例を示す図解図であり、（Ｃ）は後処理回路に入力される被写界像の他の一例を示す図解図であり、（Ｄ）は後処理回路から出力された被写界像の他の一例を示す図解図である。図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。

符号の説明

１０ …ディジタルビデオカメラ
１６ …イメージセンサ
２０ …前処理回路
２２ …動き検出回路
２８ …ＣＰＵ
３２ …メモリ制御回路
３４ …ＳＤＲＡＭ
３６ …後処理回路
３８ …ＬＣＤドライバ

Claims

フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する撮像手段、
前記撮像手段から出力された被写界像のうち指定エリアに属する部分被写界像を抽出する抽出手段、
前記抽出手段によって抽出された部分被写界像に基づく動画像を出力する出力手段、
光軸に直交する方向における前記撮像面の動きを検出する検出手段、
前記検出手段によって検出された動きが補償されるように前記指定エリアの位置を変更する位置変更手段、および
前記検出手段によって検出された動きに基づいてフォーカルプレーン歪が抑制されるように前記指定エリアの形状を変更する形状変更手段を備える、ビデオカメラ。
前記指定エリアは左辺および右辺を有する矩形のエリアであり、
前記形状変更手段は前記検出手段によって検出された動きの水平成分に基づいて前記右辺および前記左辺の傾斜量を変更する傾斜量変更手段を含む、請求項１記載のビデオカメラ。
前記検出手段は、前記撮像手段から出力された被写界像に垂直方向に並ぶ複数のブロックを割り当てる割り当て手段、および前記割り当て手段によって割り当てられた複数のブロックに属する複数のブロック画像の動きベクトルを個別に検出する動きベクトル検出手段を含み、
前記傾斜量変更手段は前記動きベクトル検出手段によって作成された複数の動きベクトルの水平成分に基づいて前記傾斜量を定義する関数を作成する関数作成手段を含む、請求項２記載のビデオカメラ。
前記割り当て手段によって割り当てられるブロックの数を前記撮像手段の撮像周期と前記撮像面の振動周波数とに基づいて決定するようにした、請求項３記載のビデオカメラ。
前記形状変更手段は前記検出手段によって検出された動きの垂直成分に基づいて前記指定エリアの垂直サイズを変更する第１サイズ変更手段を含み、
前記抽出手段によって抽出された部分被写界像の垂直サイズを前記第１サイズ変更手段の変更処理に関連して変更する第２サイズ変更手段をさらに備える、請求項１ないし４のいずれかに記載のビデオカメラ。
前記第２サイズ変更手段の変更倍率は前記第１サイズ変更手段の変更倍率の逆数に相当する、請求項５記載のビデオカメラ。
フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する撮像手段、前記撮像手段から出力された被写界像のうち指定エリアに属する部分被写界像を抽出する抽出手段、前記抽出手段によって抽出された部分被写界像に基づく動画像を出力する出力手段、および光軸に直交する方向における前記撮像面の動きを検出する検出手段を備えるビデオカメラのプロセッサに、
前記検出手段によって検出された動きが補償されるように前記指定エリアの位置を変更する位置変更ステップ、および
前記検出手段によって検出された動きに基づいてフォーカルプレーン歪が抑制されるように前記指定エリアの形状を変更する形状変更ステップを実行させるための、撮像制御プログラム。
フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する撮像手段、前記撮像手段から出力された被写界像のうち指定エリアに属する部分被写界像を抽出する抽出手段、前記抽出手段によって抽出された部分被写界像に基づく動画像を出力する出力手段、および光軸に直交する方向における前記撮像面の動きを検出する検出手段を備えるビデオカメラによって実行される撮像制御方法であって、
前記検出手段によって検出された動きが補償されるように前記指定エリアの位置を変更する位置変更ステップ、および
前記検出手段によって検出された動きに基づいてフォーカルプレーン歪が抑制されるように前記指定エリアの形状を変更する形状変更ステップを備える、撮像制御方法。