図1を参照して、この実施例のディジタルビデオカメラ10は、ドライバ20a,20bおよび20cによってそれぞれ駆動されるズームレンズ12,フォーカスレンズ14および絞りユニット16を含む。被写界の光学像は、これらの部材を通してCMOS型のイメージセンサ18の撮像面に照射される。撮像面は、水平3072画素×垂直1728画素に相当する有効画素エリアを有し、かつ原色ベイヤ配列の色フィルタ(図示せず)によって覆われる。各画素で生成される電荷は、R(Red),G(Green)およびB(Blue)のいずれか1つの色情報を有する。
電源が投入されると、CPU36は、スルー画像処理を実行するべく、対応する命令をドライバ20dに与える。SG(Signal Generator)22からは、たとえば1/30秒毎に垂直同期信号Vsyncが発生する。ドライバ20dは、SG22から発生した垂直同期信号Vsyncに応答して撮像面をフォーカルプレーン電子シャッタ方式で露光し、これによって生成された電荷を撮像面から読み出す。イメージセンサ18はN個(N:2以上の整数であり、たとえば“4”)のチャネルCH1〜CHNを有し、読み出された電荷に基づく生画像データはチャネルCH1〜CHNから分散的(並列的)に出力される。出力された生画像データは、図2(A)に示すように水平3072画素×垂直1728画素の解像度を有する。
前処理回路24は、イメージセンサ18から出力されたNチャネルの生画像データに並列的なN系統の前処理をそれぞれ施す。各系統の前処理はノイズ除去,縮小ズームおよびエッジ調整によって構成され、このような前処理を経た生画像データはメモリ制御回路40を通してSDRAM42の生画像エリア42aに書き込まれる。
なお、前処理回路24における縮小ズームは、ズーム回路24zによって実行される。以下では、ズーム回路24zによって実行される縮小ズームを“RAWズーム”と定義する。
前処理回路22によってノイズ除去を施された生画像データ(解像度:水平3072画素×垂直1728画素)はまた、評価画像作成回路26および28に与えられる。評価画像作成回路26は、与えられた生画像データに垂直2画素の加算処理および水平2画素の加算処理を施して、EIS/AF評価画像データを作成する。一方、評価画像作成回路28は、与えられた生画像データに水平4画素の加算処理を施して、AE/AWB評価画像データを作成する。
EIS/AF評価画像データは、図2(B)に示すように水平1536画素×垂直864画素の解像度を有する。AE/AWB評価画像データは、図2(C)に示すように水平768画素×垂直1728画素の解像度を有する。EIS/AF評価画像データは動き検出回路30およびAF評価回路32に与えられ、AE/AWB評価画像データはAE/AWB評価回路34に与えられる。
図2(A)および図2(B)を参照して、撮像面には1つの抽出エリアEXと9つの動き検出エリアMD1〜MDと9が割り当てられる。抽出エリアEXは、水平1920画素×垂直1080画素のサイズを有する矩形のエリアである。また、動き検出エリアMD1〜MD3は撮像面の上段に水平方向に並び、動き検出エリアMD4〜MD6は撮像面の中段に水平方向に並び、動き検出エリアMD7〜MD9は撮像面の下段に水平方向に並ぶ。
動き検出回路30は、動き検出エリアMD1〜MD9の各々における被写界の動きを表す部分動きベクトルを、EIS/AF評価画像データに基づいて検出する。動き検出回路30はまた、動き検出エリアMD1〜MD3の部分動きベクトルを合成して合成動きベクトルUVCを生成し、動き検出エリアMD4〜MD6の部分動きベクトルを合成して合成動きベクトルMVCを生成し、そして動き検出エリアMD7〜MD9の部分動きベクトルを合成して合成動きベクトルLVCを生成する。
部分動きベクトルの検出処理および合成動きベクトルの作成処理のいずれも、垂直同期信号Vsyncが発生する毎に実行される。また、合成動きベクトルUVCは撮像面の上段における被写界の動きを表し、合成動きベクトルMVCは撮像面の中段における被写界の動きを表し、そして合成動きベクトルLVCは撮像面の下段における被写界の動きを表す。
CPU36は、動き検出回路30から出力された合成動きベクトルUVC,MVCおよびLVCに基づいて全体動きベクトルを作成し、光軸に直交する方向における撮像面の動きが手振れおよびパン/チルト動作のいずれに起因するかを全体動きベクトルに基づいて判別し、そして撮像面の動きが手振れに起因するときに全体動きベクトルに沿って抽出エリアEXを移動させる。抽出エリアEXの位置は、手振れに起因する撮像面の動きが補償(相殺)されるように変更される。
後処理回路44は、生画像エリア42aに格納された生画像データのうち抽出エリアEXに属する部分生画像データをメモリ制御回路40を通して読み出し、読み出された部分生画像データに色分離,白バランス調整,YUV変換,拡大ズームなどの後処理を施す。部分生画像データは垂直同期信号Vsyncに応答して生画像エリア42aから読み出され、後処理もまた垂直同期信号Vsyncに応答して実行される。こうして生成されたYUV形式の画像データは、動画出力端M_OUTから出力され、メモリ制御回路40を通してSDRAM42の動画像エリア42bに書き込まれる。
なお、色分離処理を施された画像データを形成する複数の画素の各々は、R,GおよびBの全ての色情報を有する。このような画像データの形式がYUV変換によってYUV形式に変換され、さらに拡大ズームを施される。また、後処理回路44における拡大ズームは、ズーム回路44zによって実行される。以下では、後処理回路44によって実行される拡大ズームを“YUVズーム”と定義する。
LCDドライバ46は、動画像エリア42bに格納された画像データを繰り返し読み出し、読み出された画像データに基づいてLCDモニタ48を駆動する。この結果、被写界を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
AE/AWB評価回路34は、評価画像作成回路28から出力されたAE/AWB評価画像データのうち図2(C)に示す測光/白バランスエリアEWAに属する一部のAE/AWB評価画像データを垂直同期信号Vsyncが発生する毎に積分し、積分値つまりAE/AWB評価値を出力する。CPU36は、AE/AWB評価回路34から出力されたAE/AWB評価値に基づいて適正EV値と適正白バランス調整ゲインとを算出するべく、AE/AWB処理を実行する。算出された適正EV値を定義する絞り量および露光時間はドライバ20cおよび20dにそれぞれ設定され、算出された適正白バランス調整ゲインは後処理回路44に設定される。この結果、LCDモニタ48から出力される動画像の明るさおよび白バランスが適度に調整される。
AF評価回路32は、評価画像作成回路26から出力されたEIS/AF評価画像データのうち図2(B)に示すフォーカスエリアFAに属する一部のEIS/AF評価画像データを抽出し、抽出されたEIS/AF評価画像データの高周波成分を垂直同期信号Vsyncに応答して積分する。算出された積分値つまりAF評価値は、コンティニュアスAF処理のためにCPU36に与えられる。CPU36は、与えられたAF評価値を参照して、いわゆる山登り処理によって合焦点を継続的に探索する。フォーカスレンズ14は、発見された合焦点に配置される。
キー入力装置38上のズームボタン38zが操作されると、CPU36は、現時点の表示倍率よりも所望の方向に既定量(=微少量)だけ異なる表示倍率を目標表示倍率として設定し、設定された目標表示倍率に対応する光学ズーム倍率,RAWズーム倍率およびYUVズーム倍率を算出する。
CPU36は続いて、ズーム処理を実行するべく、算出された光学ズーム倍率,RAWズーム倍率およびYUVズーム倍率をドライバ20a,ズーム回路24zおよびズーム回路44zにそれぞれ設定する。これによって、目標表示倍率を有するスルー画像がLCDモニタ48から出力される。
CPU36はその後、ズーム回路24zに設定されたRAWズーム倍率およびズーム回路44zに設定されたYUVズーム倍率に適合するように、動き検出エリアMD1〜MD9,フォーカスエリアFAおよび測光/白バランスエリアEWAの設定を変更する。この結果、手振れ補正処理,コンティニュアスAF処理およびAE/AWB処理の精度が向上する。
キー入力装置38上のムービボタン38mが操作されると、CPU36は、動画記録処理を開始するべくI/F50に記録開始命令を与える。I/F50は、記録媒体52内に動画ファイルを作成し、動画像エリア42bに格納された画像データを周期的に読み出し、そして読み出された画像データを記録媒体52内の動画ファイルに書き込む。ムービボタン38mが再度操作されると、記録停止命令がI/F50に与えられる。I/F50は、動画像エリア42bからの画像データの読み出しを終了し、書き込み先の動画ファイルをクローズする。これによって、動画ファイルが完成する。
動画記録処理が実行されている途中でキー入力装置38上のシャッタボタン38sが操作されると、CPU36は、並列静止画記録処理を実行するべく、静止画抽出命令を後処理回路44に与え、静止画記録命令をI/F50に与える。後処理回路44は、シャッタボタン38sが操作された時点の被写界像を表す1フレームの画像データを静止画出力端S_OUTから出力する。出力された画像データは、メモリ制御回路40を通してSDRAM42の静止画像エリア42bに書き込まれる。I/F50は、静止画像エリア42cに格納された画像データをメモリ制御回路40を通して読み出し、読み出された画像データを収めた静止画ファイルを記録媒体52内に作成する。
一方、動画記録処理が中断されている状態でシャッタボタン38sが操作されると、CPU36は、単独静止画記録処理を実行するべく、いずれも“1.0”を示すRAWズーム倍率およびYUVズーム倍率をズーム回路24zおよび44zに設定し、かつ静止画処理命令および静止画記録命令を前処理回路24,後処理回路44およびI/F50にそれぞれ与える。
これによって、水平3072画素×1728画素の解像度を有する1フレームの生画像データが前処理回路24から出力され、SDRAM42の生画像エリア42aに書き込まれる。
後処理回路44は、同じ解像度を有する生画像データを生画像エリア42aから読み出し、読み出された生画像データに基づくYUV形式の画像データを静止画出力端S_OUTから出力する。出力された画像データは、メモリ制御回路40を通してSDRAM42の静止画像エリア42cに書き込まれる。
I/F50は、静止画像エリア42cに格納された画像データをメモリ制御回路40を通して読み出し、読み出された画像データを収めた静止画ファイルを記録媒体52内に作成する。記録が完了すると、上述のスルー画像処理が再開される。
イメージセンサ18は、図3に示すように構成される。被写界像を表す電荷は、マトリクス状に配置された複数の受光素子56,56,…によって生成される。各々の受光素子56が、上述した画素に相当する。垂直方向に並ぶ受光素子56,56,…の各々は、A/D変換器58および行選択スイッチ60を介して共通のCDS回路62に接続される。受光素子56で生成された電荷は、A/D変換器58によって12ビットのディジタルデータに変換される。垂直走査回路66は、フォーカルプレーン電子シャッタ方式で撮像面を露光するべく、行選択スイッチ60,60,…をオン/オフする動作をラスタ走査態様で1画素ずつ実行する。オン状態の行選択スイッチ60を経た画素データに含まれるノイズは、CDS回路62によって除去される。
列選択スイッチ641はN*M+1列目(M:0,1,2,3,…)のCDS回路62に割り当てられ、列選択スイッチ642はN*M+2列目のCDS回路62に割り当てられる。同様に、列選択スイッチ64NはN*M+N列目のCDS回路62に割り当てられる。
水平走査回路68は、N*M+1列目の行選択スイッチ60がオンされるタイミングで列選択スイッチ641をオンし、N*M+2列目の行選択スイッチ60がオンされるタイミングで列選択スイッチ642をオンする。同様にして、水平走査回路68は、N*M+N列目の行選択スイッチ60がオンされるタイミングで列選択スイッチ64Nをオンする。
この結果、N*M+1列目の受光素子56で生成された電荷に基づく部分生画像データがチャネルCH1から出力され、N*M+2列目の受光素子56で生成された電荷に基づく部分生画像データがチャネルCH2から出力される。N*M+N列目の受光素子56で生成された電荷に基づく部分生画像データは、チャネルCHNから出力される。
前処理回路24は、図4に示すように構成される。チャネルCH1の部分生画像データは前処理ブロックPB1に与えられ、チャネルCH2の部分生画像データは前処理ブロックPB2に与えられる。チャネルCHNの部分生画像データは前処理ブロックPBNに与えられる。
前処理ブロックPB1はLPF701,縮小ズーム回路721およびエッジ調整回路741によって構成され、前処理ブロックPB2はLPF702,縮小ズーム回路722およびエッジ調整回路742によって構成される。前処理ブロックPBNはLPF70N,縮小ズーム回路72Nおよびエッジ調整回路74Nによって構成される。なお、縮小ズーム回路721〜72Nによって、図1に示すズーム回路24zが構成される。
したがって、各チャネルの部分生画像データは、互いに並列してノイズ除去,縮小ズームおよびエッジ調整の一連の処理を施される。ノイズ除去を施された部分生画像データは評価画像作成回路26および28に向けて出力され、エッジ調整を施された部分生画像データはSRAM78に書き込まれる。コントローラ76は、SRAM78に格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路40に向けて発行し、発行先から承認信号が返送されたときに既定量の生画像データをメモリ制御回路40に向けて出力する。
ズームボタン38zの操作に応答したズーム倍率の設定処理、ならびにRAWズーム倍率を参照した動き検出エリアMD1〜MD9,フォーカスエリアFAおよび測光/白バランスエリアEWAの設定処理は、以下に述べる要領で実行される。目標表示倍率が設定されると、図5に示すグラフを参照して、光学ズーム倍率,RAWズーム倍率およびYUVズーム倍率が算出される。なお、図5に示すグラフに相当するデータは、グラフデータGRD1としてフラッシュメモリ54に保存される。
図5によれば、光学ズーム倍率は、ズームレンズ12がワイド端に位置するときに“1.0”を示し、ズームレンズ12がテレ端に位置するときに“10.0”を示す。光学ズーム倍率はまた、ズームレンズ12がワイド端からテレ端に移動するにつれて線形に増大し、表示倍率が“16”を上回る範囲において“10.0”を維持する。YUVズーム倍率は、表示倍率が“16”以下の範囲において“1.0”を維持し、表示倍率が“16”を上回る範囲において“10.0”まで線形に増大する。
RAWズーム倍率は、表示倍率=1.0(ズームレンズ12=ワイド端)に対応して“0.625”を示し、表示倍率=16(ズームレンズ12=テレ端)に対応して“1.0”を示す。RAWズーム倍率はまた、表示倍率が“1.0”から“16”に向かうにつれて線形に増大し、表示倍率が“16”を上回る範囲において“1.0”を維持する。
目標表示倍率が“1.0”に設定されると、光学ズーム倍率として“1.0”が算出され、RAWズーム倍率として“0.625”が算出され、そしてYUVズーム倍率として“1.0”が算出される。また、目標表示倍率が“8.0”に設定されると、光学ズーム倍率として“5.0”が算出され、RAWズーム倍率として“0.7692”が算出され、そしてYUVズーム倍率として“1.0”が算出される。さらに、目標表示倍率が“16”に設定されると、光学ズーム倍率として“10.0”が算出され、RAWズーム倍率として“1.0”が算出され、そしてYUVズーム倍率として“1.0”が算出される。
こうして算出された光学ズーム倍率,RAWズーム倍率およびYUVズーム倍率は、ドライバ20a,ズーム回路24zおよびズーム回路44zにそれぞれ設定される。また、動き検出エリアMD1〜MD9,フォーカスエリアFAおよび測光/白バランスエリアEWAは、設定されたRAWズーム倍率の大きさに応じて異なる態様で撮像面に割り当てられる。
図6(A)に示す生画像データが光学ズーム倍率“1.0”に対応してイメージセンサ18から出力された場合、前処理回路24からは図6(B)に示すサイズ(=水平1935画素×垂直1088画素)を有する生画像データが出力される。後処理回路44は、図6(B)に示す生画像データのうち抽出エリアEX(サイズ:水平1920画素×垂直1080画素)に属する一部の生画像データに後処理を施す。YUVズーム倍率は“1.0”であるため、抽出エリアEXに相当する画角の画像がLCDモニタ48に表示される。
また、図6(C)に示すように、フォーカスエリアFAはEIS/AF評価画像の全域に割り当てられ、動き検出エリアMD1〜MD9はフォーカスエリアFAとの間で既定関係を有するようにEIS/AF評価画像上に割り当てられる。さらに、図6(D)に示すように、測光/白バランスエリアEWAは、AE/AWB評価画像の全域に割り当てられる。
光学ズーム倍率が“5.0”に変更されると、図7(A)に示す生画像データがイメージセンサ18から出力される。RAWズーム倍率は“0.7692”に変更されるため、前処理回路24からは図7(B)に示すサイズ(=水平2363画素×垂直1329画素)を有する生画像データが出力される。後処理回路44は、図7(B)に示す生画像データのうち抽出エリアEXに属する一部の生画像データに後処理を施す。YUVズーム倍率は“1.0”であり、この結果、図7(B)に示す抽出エリアEXに相当する画角のスルー画像がLCDモニタ48に表示される。
また、図7(C)を参照して、EIS/AF評価画像の中央には水平1258画素×垂直697画素に相当するサイズのフォーカスエリアFAが割り当てられる。動き検出エリアMD1〜MD9は、このようなフォーカスエリアFAとの間で既定関係を有するようにEIS/AF評価画像上に割り当てられる。さらに、図7(D)を参照して、測光/白バランスエリアEWAは、水平590画素×垂直1329画素を有して、AE/AWB評価画像上に割り当てられる。
光学ズーム倍率が“10.0”に変更されると、図8(A)に示す生画像データがイメージセンサ18から出力される。RAWズーム倍率は“1.0”に変更され、前処理回路24からは図8(B)に示すサイズ(=水平3096画素×垂直1728画素)を有する生画像データが出力される。後処理回路44は、図8(B)に示す生画像データのうち抽出エリアEXに属する一部の生画像データに後処理を施す。YUVズーム倍率は“1.0”であり、この結果、図8(B)に示す評価エリアEXに相当する画角のスルー画像がLCDモニタ48に表示される。
図8(C)を参照して、EIS/AF評価画像の中央には水平968画素×垂直540画素に相当するサイズのフォーカスエリアFAが割り当てられる。動き検出エリアMD1〜MD9は、このようなフォーカスエリアFAとの間で既定関係を有するようにEIS/AF評価画像上に割り当てられる。さらに、図8(D)を参照して、測光/白バランスエリアEWAは、水平484画素×垂直1080画素を有して、AE/AWB評価画像上に割り当てられる。
このように、RAWズーム倍率は、光学ズーム倍率の増大に伴って増大し、光学ズーム倍率の減少に伴って減少する。したがって、後処理回路44によって抽出された生画像データに基づく被写界像の画角は、光学ズーム倍率の増大に起因する減少率を上回る率で減少し、光学ズーム倍率の減少に起因する増大率を上回る率で増大する。この結果、低ズーム倍率範囲では、撮像面の解像度の増大に関わらず、広い画角が確保される。また、高ズーム倍率範囲では、ズーム効果が増大する。こうして、被写界像の再現性能が向上する。
上述のように、イメージセンサ16はフォーカルプレーン電子シャッタ方式で撮像面を露光するため、露光タイミングは水平画素列によって異なる。すると、生画像エリア42aに格納された生画像データには、撮像面の水平移動に起因して水平方向のフォーカルプレーン歪が発生する(図9参照)。そこで、CPU36は、動き検出回路30から取り込まれた合成ベクトルUVC,MVCおよびLVCに基づいて、フォーカスプレーン歪が抑制されるように抽出エリアEXの形状を変更する。
水平方向のフォーカルプレーン歪が発生したときは、抽出エリアEXを表す矩形の右辺および左辺の傾斜量が、図10(A)〜図10(D)に示す要領で変更される。つまり、撮像面が右方向に移動したとき、撮像面の露光タイミングは図10(A)の左欄に示す要領で変化するため、抽出エリアEXの右辺および左辺は図10(A)の右欄に示す要領で傾斜される。また、撮像面が左方向に移動したとき、撮像面の露光タイミングは図10(B)の左欄に示す要領で変化するため、抽出エリアEXの右辺および左辺は図10(B)の右欄に示す要領で傾斜される。
さらに、撮像面の移動方向が右から左に反転したとき、撮像面の露光タイミングは図10(C)の左欄に示す要領で変化するため、抽出エリアEXの右辺および左辺は図10(C)の右欄に示す要領で傾斜される。さらにまた、撮像面の移動方向が左から右に反転したとき、撮像面の露光タイミングは図10(D)の左欄に示す要領で変化するため、抽出エリアEXの右辺および左辺は図10(D)の右欄に示す要領で傾斜される。
傾斜量は、動き検出回路22から出力された合成ベクトルUVC,MVCおよびLVCに基づいて、図11(A)または図11(B)に示す要領で決定される。まず、合成動きベクトルUVC,MVCおよびLVCの水平成分が“UVCx”,“MVCx”および“LVCx”として特定される。次に、動き検出エリアMD1〜MD3の垂直位置に対応して水平成分UVCxのY座標が決定され、動き検出エリアMD4〜MD6の垂直位置に対応して水平成分MVCxのY座標が決定され、そして動き検出エリアMD7〜MD9の垂直位置に対応して水平成分LVCxのY座標が決定される。
さらに、水平成分MVCxの末端のX座標が水平成分UVCxの先端のX座標と一致し、かつ水平成分LVCxの末端のX座標が水平成分MVCxの先端のX座標と一致するように、水平成分UVCx,MVCxおよびLVCxの先端のX座標が決定される。その後、決定された3つのXY座標を結ぶ直線または曲線を表す近似関数が算出される。
したがって、水平成分UVCx,MVCxおよびLVCxが図11(A)の左欄に示す大きさを有する場合、図11(A)の中央欄に示す要領で3つのXY座標が決定され、図11(A)の右欄に示す傾斜を有する近似関数が算出される。また、水平成分UVCx,MVCxおよびLVCxが図11(B)の左欄に示す大きさを有する場合、図11(B)の中央欄に示す要領で3つのXY座標が決定され、図11(B)の右欄に示す傾斜を有する近似関数が算出される。抽出エリアEXの形状は、こうして算出された近似関数を参照して変更される。
手振れが発生した場合、撮像面は最大10Hz程度で振動する。すると、抽出エリアEXには、表示倍率“1.0”に対応して最大で水平5画素に相当する傾斜が発生し、表示倍率“8.0”に対応して最大で水平40画素に相当する傾斜が発生し、そして表示倍率“16”に対応して最大で水平80画素に相当する傾斜が発生する(図12(A)〜図12(C)参照)。
一方、生画像データのサイズは、ズームボタン38zの操作に応答して変更されるものの、ズーム範囲の全域において抽出エリアEXのサイズを上回る。特に、表示倍率“1.0”が設定されたときは、図6(B)に示すように水平方向において15画素のマージンが確保される。この結果、最低の表示倍率においてもフォーカルプレーン歪みを補正することができる。
ただし、抽出エリアEXの移動可能範囲は、このような抽出エリアEXの変形に対応して減少する。つまり、抽出エリアの移動可能範囲は、表示倍率“1.0”に対応して最大で水平15画素分減少し、表示倍率“8.0”に対応して最大で水平42画素分減少し、そして表示倍率“16”に対応して最大で水平64画素分減少する。
そこで、CPU36は、図13に示すグラフを参照して目標表示倍率に対応する水平マージンを特定し、特定された水平マージンを参照して抽出エリアEXの移動量を決定する。抽出エリアの移動量は、全体動きベクトルの水平成分から水平マージンを減算した量に相当する。これによって、抽出エリアEXの一部が生画像エリア42aから外れる事態を回避することができる。なお、図13に示すグラフに相当するデータは、グラフデータGRD2としてフラッシュメモリ54に保存される。
CPU36は、図14に示す撮像タスク,図15〜図16に示す手振れ補正タスクおよび図17〜図18に示すズーム制御タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ54に記憶される。
図14を参照して、ステップS1ではスルー画像処理を開始し、ステップS3ではコンティニュアスAF処理を開始する。ステップS1の処理の結果、水平3072画素×垂直1928画素の解像度を有する生画像データが1/30秒毎にイメージセンサ18から出力され、この生画像データに基づくスルー画像がLCDモニタ48から出力される。また、ステップS3の処理の結果、フォーカスレンズ14の位置が継続的に調整される。
ステップS5では、AE/AWB処理を実行する。この結果、スルー画像の明るさおよび白バランスが適度に調整される。ステップS7ではムービボタン38mが操作されたか否かを判別し、ステップS9ではシャッタボタン38sが操作されたか否かを判別する。
ムービボタン38mが操作されたときは、ステップS7からステップS11に進み、動画記録処理が実行中であるか否かを判別する。ここでNOであればステップS13で動画記録処理を開始する一方、YESであればステップS15で動画記録処理を停止する。ステップS13またはS15の処理が完了すると、ステップS5に戻る。シャッタボタン38sが操作されたときは、ステップS17で単独静止画記録処理または並列静止画記録処理を実行し、その後にステップS5に戻る。
図15を参照して、ステップS21では垂直同期信号Vsyncが発生したか否かを判別し、YESであればステップS23で動き検出回路30から合成動きベクトルUVC,MVCおよびLVCを取り込む。ステップS25では、取り込まれた合成動きベクトルUVC,MVCおよびLVCに基づいて全体動きベクトルを作成する。ステップS27ではエリア形状変更処理を実行し、続くステップS29では現時点の撮像面の動きがパン/チルト動作に起因するものであるか否かを全体動きベクトルに基づいて判別する。ここでYESであればそのままステップS1に戻る。NOであればステップS31に進み、ステップS25で作成された全体動きベクトルと後述するステップS63で特定された水平マージンとを参照して抽出エリアEXの移動量を算出する。移動量は、全体動きベクトルの水平成分から水平マージンを減算した量に相当する。ステップS33では算出された移動量に従って抽出エリアEXを移動させ、その後にステップS21に戻る。
ステップS27のエリア形状変更処理は、図16に示すサブルーチンに従って実行される。まずステップS41で、合成動きベクトルUVC,MVCおよびLVCの水平成分を“UVCx”,“MVCx”および“LVCx”として特定する。ステップS43では、動き検出エリアMD1〜MD3の垂直位置に対応して水平成分UVCxのY座標を決定し、動き検出エリアMD4〜MD6の垂直位置に対応して水平成分MVCxのY座標を決定し、そして動き検出エリアMD7〜MD9の垂直位置に対応して水平成分LVCxのY座標を決定する。
ステップS45では、水平成分MVCxの末端のX座標が水平成分UVCxの先端のX座標と一致し、かつ水平成分LVCxの末端のX座標が水平成分MVCxの先端のX座標と一致するように、水平成分UVCx,MVCxおよびLVCxの先端のX座標を決定する。ステップS47では決定された3つのXY座標を結ぶ直線または曲線を表す近似関数を算出し、ステップS49では算出された近似関数に従って抽出エリアEXの右辺および左辺の傾斜量を決定する。ステップS49の処理が完了すると、上階層のルーチンに復帰する。
図17を参照して、ステップS51ではズーム設定を初期化し、ステップS53ではズームボタン38zが操作されたか否かを判別する。判別結果がNOからYESに更新されると、ステップS55に進み、ズームボタン38zの操作態様に応じて異なる表示倍率を目標表示倍率として設定する。ステップS57では、図5に示すグラフを参照して、目標表示倍率に対応する光学ズーム倍率,RAWズーム倍率およびYUVズーム倍率を算出する。
ステップS59では、ズーム処理を実行するべく、算出された光学ズーム倍率,RAWズーム倍率およびYUVズーム倍率をドライバ20a,ズーム回路24zおよびズーム回路44zにそれぞれ設定する。これによって、目標表示倍率を有するスルー画像がLCDモニタ48から出力される。
ステップS61では、ステップS59で設定されたRAWズーム倍率に適合するように、動き検出エリアMD1〜MD9,フォーカスエリアFAおよび測光/白バランスエリアEWAの設定を変更する。この結果、手振れ補正処理,コンティニュアスAF処理およびAE/AWB処理が高精度で実行される。ステップS63では、図13に示すグラフを参照して目標表示倍率に対応する水平マージンを特定する。ステップS63の処理が完了すると、ステップS53に戻る。
ステップS59のズーム処理は、図18に示すサブルーチンに従って実行される。まず現表示倍率および目標表示倍率のいずれもが1.0倍〜16倍の範囲内であるか否かをステップS71で判別し、現表示倍率および目標表示倍率のいずれもが16倍を上回る範囲であるか否かをステップS73で判別する。
ステップS71でYESであれば、ステップS75で光学ズーム倍率を変更する。光学ズーム倍率の変更動作が完了すると、ステップS77でYESと判断し、ステップS79でRAWズーム倍率を変更する。ステップS73でYESであれば、ステップS81でYUVズーム倍率を変更する。ステップS73でNOであれば、現表示倍率および目標ズーム倍率が16倍を跨ぐとみなし、ステップS833で対応する倍率変更処理を実行する。ステップS79〜S83の処理が完了すると、上階層のルーチンに復帰する。
以上の説明から分かるように、イメージセンサ18は、フォーカルプレーン電子シャッタ方式で撮像面を露光し、被写界を表す画像を繰り返し出力する。イメージセンサ18から出力された画像は、前処理回路24に設けられたズーム回路24zによって縮小される。メモリ制御回路40は、ズーム回路24zによって作成された縮小画像のうち、既定サイズの抽出エリアEXに属する一部の縮小画像を抽出する。LCDモニタ48には、抽出された縮小画像に基づく動画像が表示される。
CPU36は、フォーカルプレーン歪みが抑制されるように抽出エリアEXの形状を変更するとともに(S27)、光軸に直交する方向における撮像面の動きが補償されるように抽出エリアEXの位置を変更する(S33)。CPU36はまた、ズーム操作を受け付けたとき、ズーム回路24zによって作成される縮小画像のサイズを既定サイズを上回る範囲で変更する(S79)。
既定サイズを上回る範囲で縮小画像のサイズを変更することで、抽出エリアEXの移動および/または変形のような画角に影響を及ぼす画質補正処理をズーム範囲の全域において実行することができる。これによって、被写界像の再現性能が向上する。また、手振れ補正処理およびフォーカルプレーン歪み補正を同時に実行することで、処理に要する時間を短縮することができる。
なお、この実施例では、CMOS型のイメージセンサを用いているが、これに代えてCCD型のイメージセンサを用いるようにしてもよい。