以下、添付図面に従って本発明に係る複眼撮像装置を実施するための最良の形態について詳細に説明する。
<第1の実施の形態>
図1は、複眼撮影装置の第1の実施の形態に係る複眼デジタルカメラ1の電気的な構成を示すブロック図である。複眼デジタルカメラ1は、複数(図1では二つを例示)の光学系を備え、平面画像と、視差画像(立体画像など)とが撮影可能であり、また、動画、静止画、音声の記録再生が可能である。また、動画、静止画どちらにおいても、平面画像のみでなく、視差画像の撮影も可能である。
複眼デジタルカメラ1は、主として、光学系L(レンズユニットL10、撮像素子L12、アンプ・移相器L14、光学的像ブレ補正手段L16、像ブレ補正処理回路L18)、光学系R(レンズユニットR20、撮像素子R22、アンプ・移相器R24、光学的像ブレ補正手段R26、像ブレ補正処理回路R28)、モニタ40、記録メディア42、操作手段44、CPU110、SDRAM114、VRAM116、ジャイロセンサ120、バンドパスフィルタ(BPF)122、タイミングジェネレータ(TG)130a、130b、アナログ信号処理手段132a、132b、A/D変換器134a、134b、画像入力コントローラ136、画像信号処理手段138、圧縮伸張処理手段140、AE/AWB検出手段142、AF検出手段144、メディアコントローラ146、ビデオエンコーダ148で構成される。
左目用の画像を結像する光学系L及び右目用の画像を結像する光学系Rは、そのレンズ光軸が平行となるように、あるいは所定角度をなすように並設されている。光学系Lと光学系Rとは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。
レンズユニットL10及びレンズユニットR20は、それぞれ絞り、フォーカスレンズ群等で構成される。光学系L及び光学系Rの動作はCPU110によって制御される。複眼デジタルカメラ1の電源をONすると、レンズユニットL10及びレンズユニットR20の前面に各々配設されたカバー(図示せず)が開くことによりレンズユニットL10及びレンズユニットR20に被写体光が入射される。
撮像素子L12及び撮像素子R22は、CCD型のイメージセンサであり、レンズユニットL10及びレンズユニットR20によって結像された被写体光を受光し、受光素子に受光量に応じた光電荷を蓄積する。撮像素子L12及び撮像素子R22の動作は、TG130a、30bによりそれぞれ制御される。なお、撮像素子L12及び撮像素子R22は、CCD型に限らずCMOS型でもよい。撮像素子L12及び撮像素子R22に蓄積された電荷信号はアナログ信号処理手段132a、132bに出力される。
アンプ・移相器L14及びアンプ・移相器R24は、BPF122から入力された信号をパラメータ保持手段L18c、パラメータ保持手段R28c保存されたゲインを用いて増幅し、移相パラメータを用いて位相を調整する。アンプ・移相器L14、R24は、デジタル・アナログのいずれの制御方法でも実現可能であるが、本実施の形態ではデジタル制御により行うこととする。
光学的像ブレ補正手段L16は、主として、位置検出手段16aと、CCDシフト機構16bと、ボイスコイルモータ16cとで構成され、光学的像ブレ補正手段R26は、主として、位置検出手段26aと、CCDシフト機構26bと、ボイスコイルモータ26cとで構成される。ボイスコイルモータ16c、26cは、CCDシフト機構16b、16cを介して撮像素子L12、撮像素子R22をそれぞれ移動させ、撮像素子L12及び撮像素子R22に結像される被写体像の像ブレを補正する。撮像素子L12及び撮像素子R22の位置は、位置検出手段16a、26aでそれぞれ検出され、像ブレ補正処理回路L18及び像ブレ補正処理回路R28に入力される。
像ブレ補正処理回路L18及び像ブレ補正処理回路R28は、アンプ・移相器L14及びアンプ・移相器R24からの出力及び像ブレ補正処理回路L18及び像ブレ補正処理回路R28からの出力に基づいて光学的像ブレ補正手段L16、光学的像ブレ補正手段R26をそれぞれ動作させる。像ブレ補正処理回路L18は、主として、PID制御手段18aと、PWM(Pulse Width Modulation)ドライバ18bと、パラメータ保持手段L18cとで構成され、像ブレ補正処理回路R28は、主として、PID制御手段28aと、PWMドライバ28bと、パラメータ保持手段R28cとで構成される。
PID制御手段18a、28aは、比例動作(Proportional Action:P動作)と、その偏差の積分に比例した出力を出す積分動作(Integral Action:I動作)と、偏差の微分に比例した出力を出す微分動作(Derivative Action:D動作)の和を出力することで、撮像素子L12及び撮像素子R22の移動量が目標値となるように制御する。PID制御手段18a、28aは、デジタル・アナログのいずれの制御方法でも実現可能であるが、本実施の形態では前記各動作を行うデジタルフィルタにより構成されるものとする。
PWMドライバ18b、28bは、周期は一定のまま入力信号の大きさに応じてパルス波のデューティー比を変えることにより、ボイスコイルモータ16c、26cを制御する。
パラメータ保持手段L18cは、PID制御手段18aの制御パラメータ(比例ゲイン、積分時間、微分時間など)と、アンプ・移相器L14のゲインKL及び移相パラメータφL(以下、補正パラメータという)とを記憶し、パラメータ保持手段R28cは、PID制御手段28aの制御パラメータ(比例ゲイン、積分時間、微分時間など)と、アンプ・移相器R24のゲインKR及び移相パラメータφR(以下、補正パラメータという)とを記憶する。アンプ・移相器L14、R24及びPID制御手段18a、28aはデジタルフィルタにより構成されるため、補正パラメータ及び制御パラメータはそれぞれデジタルフィルタの係数として表現される。なお、フィルタ係数は、1つの値で与えられてもよいし、基準となる値とそれに対する補正値との組み合わせで与えられてもよい。
パラメータ保持手段L18c及びパラメータ保持手段R28cには、フラッシュメモリが用いられ、製品製造時又は製品出荷検査時に左右の光学系の防振性能、すなわち像ブレ補正後の撮像素子L12の像ブレ量と撮像素子R22の像ブレ量を一致させることができるように設定された値が制御パラメータとして保存される。なお、本実施の形態では、像ブレ補正後の撮像素子L12の像ブレ量と撮像素子R22の像ブレ量が一致するように設定された制御パラメータを保存するが、像ブレ補正後の撮像素子L12の像ブレ量と撮像素子R22の像ブレ量との差が少なくなるように設定された制御パラメータを保存するようにしてもよい。
補正パラメータの設定について説明する。ジャイロセンサ120は1つであるため、アンプ・移相器L14及びアンプ・移相器R24には同じ値の信号が入力される。
アンプ・移相器L14は、入力された信号を初期設定値で増幅及び/又は移相を行い、像ブレ補正処理回路L18に入力する。像ブレ補正処理回路L18のPID制御手段18aは、入力された信号に初期設定値を用いて比例動作、微分動作及び積分動作の各動作を行った結果をPWMドライバ18bに出力し、PWMドライバ18bは入力された信号に基づいてボイスコイルモータ16cを駆動する。ボイスコイルモータ16cは、CCDシフト機構16bを介して撮像素子L12を移動し、位置検出手段16aは撮像素子L12の位置を検出して像ブレ補正処理回路L18に入力する。
また、アンプ・移相器R24は、入力された信号を初期設定値で増幅及び/又は移相を行い、像ブレ補正処理回路R28に入力する。像ブレ補正処理回路R28のPID制御手段28aは、入力された信号に初期設定値を用いて比例動作、微分動作及び積分動作の各動作を行った結果をPWMドライバ28bに出力し、PWMドライバ28bは入力された信号に基づいてボイスコイルモータ26cを駆動する。ボイスコイルモータ26cは、CCDシフト機構26bを介して撮像素子R22を移動し、位置検出手段26aは撮像素子R22の位置を検出して像ブレ補正処理回路R28に入力する。
図2は、アンプ・移相器L14、アンプ・移相器R24に入力された値と、位置検出手段16a、位置検出手段26aから出力された値の一例を示す図である。(a)は光学系Lについての図であり、(b)は光学系Rについての図である。図2中、ブレ指令値は、ジャイロセンサ120からBPF122を介してアンプ・移相器L14及びアンプ・移相器R24に入力される信号を示し、ホールセンサ出力L、Rは、それぞれ位置検出手段16a、26aから出力された信号を示す。また、L側制御残差はブレ指令値からホールセンサ出力Lを引いた値であり、R側制御残差はブレ指令値からホールセンサ出力Rを引いた値である。
組立作業者は、製品出荷検査時にL側制御残差とR側制御残差とが等しくなるように、PID制御手段18aの制御パラメータ、アンプ・移相器L14のゲインKL及び移相φLをそれぞれ独立に設定し、またPID制御手段28aの制御パラメータ、アンプ・移相器R24のゲインKR及び移相φRをそれぞれ独立に設定する。通常、防振性能の悪い側を性能の良い側に合わせ込むのは困難であるから、防振性能の良い側を防振性能の悪い側に合わせることになる。
図2に示す例においては、R側の防振性能がL側の防振性能より悪い、すなわちR側制御残差(図2(b)参照)がL側制御残差(図2(a−1)参照)より大きい場合であるため、L側制御残差をR側制御残差に一致させるように各パラメータを設定する。例えば、図2(a−2)に示すようには、アンプ・移相器L14において、図2(a−1)に示すブレ指令値をφLだけ遅延させることにより、R側と同等の制御残差となるように移相パラメータφLを設定する。
設定後、パラメータ保持手段L18cは、設定後のPID制御手段18aの制御パラメータ、アンプ・移相器L14のゲインKL及び移相パラメータφLを記憶し、パラメータ保持手段R28cは、設定後のPID制御手段28aの制御パラメータ、アンプ・移相器R24のゲインKR及び移相パラメータφRを記憶する。これにより、左右の制御残差を略同一にすることにより左右の像ぶれ量を略等しくでき、ユーザは違和感なく容易に立体視が可能となる。
モニタ40は、4:3の一般的なアスペクト比を有し、カラー表示が可能な液晶ディスプレイで構成されている。このモニタ40は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際の撮影者インターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。複眼モードの場合には、光学系Lにより撮影された画像が右側に、光学系Rにより撮影された画像が左側に並べて表示される。
操作手段44は、モードダイヤル、レリーズスイッチ、電源ボタン、ズームボタン、BACKボタン、MENU/OKボタン、DISPボタン、十字ボタン等で構成される。
モードダイヤルは、複眼デジタルカメラ1の再生モードと撮影モードとを切り替える切り替え手段として機能し、「再生位置」と「撮影位置」の間を回転自在に設けられている。複眼デジタルカメラ1は、このモードダイヤルを「再生位置」に位置させると、再生モードに設定され、「撮影位置」に位置させると、撮影モードに設定される。また、モードダイヤルは、各種モード(撮影モード、再生モード、消去モード、編集モード等)の切り替え、オート撮影やマニュアル撮影等の撮影モードの設定に用いられる。
レリーズスイッチは、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。複眼デジタルカメラ1は、静止画撮影時(例えば、モードダイヤルで静止画撮影モード選択時、又はメニューから静止画撮影モード選択時)、このレリーズスイッチを半押しすると撮影準備処理、すなわち、AE(Automatic Exposure:自動露出)、AF(Auto Focus:自動焦点合わせ)、AWB(Automatic White Balance:自動ホワイトバランス)の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、動画撮影時(例えば、モードダイヤルで動画撮影モード選択時、又はメニューから動画撮影モード選択時)には、このレリーズスイッチを全押しすると、動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、レリーズスイッチを全押している間、動画の撮影を行い、全押しを解除すると、撮影を終了するようにすることもできる。なお、静止画撮影専用のシャッタボタン及び動画撮影専用のシャッタボタンを設けるようにしてもよい。
電源ボタンは、複眼デジタルカメラ1の電源スイッチとして機能し、電源ボタンを押下することにより、電源がON/OFFされる。
ズームボタンは、レンズユニットL10及びレンズユニットR20のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。
MENU/OKボタンは、メニュー画面の呼び出し(MENU機能)に用いられるとともに、選択内容の確定、処理の実行指示等(OK機能)に用いられ、複眼デジタルカメラ1の設定状態に応じて割り当てられる機能が切り替えられる。メニュー画面では、たとえば露出値、色合い、ISO感度、記録画素数などの画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否かなど、複眼デジタルカメラ1が持つ全ての調整項目の設定が行われる。複眼デジタルカメラ1は、このメニュー画面で設定された条件に応じて動作する。
DISPボタンは、モニタ40の表示内容の切り替え指示等の入力に用いられ、BACKボタンは入力操作のキャンセル等の指示の入力に用いられる。
十字ボタンは、各種のメニューの設定や選択あるいはズームを行うためのボタンであり、上下左右4方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のON/OFFを切り替える機能が割り当てられ、右ボタンにストロボモードを切り替える機能が割り当てられる。また、上ボタンにモニタ40の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのON/OFFを切り替える機能が割り当てられる。また、再生時には、右ボタンにコマ送りの機能が割り当てられ、左ボタンにコマ戻しの機能が割り当てられる。また、上ボタンにモニタ40の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ40に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。
CPU110は、複眼デジタルカメラ1の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能し、操作手段44、撮影モード切替手段36等からの入力に基づき所定の制御プログラムに従って複眼デジタルカメラ1の各部を制御する。
SDRAM114は、CPU110が実行する制御プログラムであるファームウェア、制御に必要な各種データ、カメラ設定値等が予め記録されている。
VRAM116は、CPU110の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
ジャイロセンサ120は、複眼デジタルカメラ1の角速度を検出するセンサであり、手振れによる複眼デジタルカメラ1の振動を検出する。ジャイロセンサ120で検出された信号は、BPF122でノイズが除去された後、アンプ・移相器L14、アンプ・移相器R24で増幅されて、像ブレ補正処理回路L18及び像ブレ補正処理回路R28に入力される。
TG130a、130bは、撮像素子L12及び撮像素子R22の光電荷蓄積・転送動作を制御する。また、TG130a、130bから入力されるタイミング信号(クロックパルス)により、電子シャッター速度(光電荷蓄積時間)が決定される。撮像素子L12及び撮像素子R22は、撮影モード時には、1画面分の画像信号を所定周期ごとに取得する。撮像素子L12及び撮像素子R22から出力された撮像信号は、それぞれアナログ信号処理手段132a、132bに入力される。
アナログ信号処理手段132a、132bは、撮像素子L12及び撮像素子R22から出力された画像信号に対してそれぞれ相関二重サンプリング処理(撮像素子の出力信号に含まれるノイズ(特に熱雑音)等を軽減することを目的として、撮像素子の1画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理)を行い、増幅して出力する。
A/D変換器134a、134bは、入力された画像データをアナログからデジタルに変換する。A/D変換器134a、134bを通して、撮像素子L12の撮像信号は右眼用画像データとして、撮像素子R22の撮像信号は左眼用画像データとして出力される。
画像入力コントローラ136は、所定容量のラインバッファを内蔵しており、CPU110からの指令に従い、A/Dコンバータ134から出力された1画像分の画像信号を蓄積して、VRAM116に記録する。
画像信号処理手段138は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、CPU110からの指令に従い、A/D変換器134a、134bから入力された右眼用画像データ及び左眼用画像データに所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成し、表示用のビデオエンコーダ148に出力する。撮影モード時に電子ビューファインダとして使用される際には、生成された画像データが、ビデオエンコーダ148を介してモニタ40にライブビュー画像(スルー画像)として表示される。また、画像信号処理手段138は、撮像素子L12により撮影された右眼用画像データ及び撮像素子R22により撮影された左眼用画像データのYC信号を、所定方式の映像信号(例えば、NTSC方式のカラー複合映像信号)に変換した上で、外部の立体画像表示装置等において立体表示を行うための立体画像データに合成する。
圧縮伸張処理手段140は、CPU110からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、圧縮伸張処理手段140は、VRAM116に記憶された右眼用画像データ及び左眼用画像データに対して、静止画ではJPEG、動画ではMPEG2、MPEG4、H.264方式等の所定の圧縮形式に従って圧縮処理を施す。圧縮伸張処理手段140は、静止画の2次元画像のデータをExifファイル等の所定のフォーマットの画像ファイル(画像ファイルについては後に詳述する)として記録メディア42に格納する。Exifファイルは、主画像のデータを格納する領域と、縮小画像(サムネイル画像)のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ(例えば、160×120又は80×60ピクセルなど)のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにExifファイル内に書き込まれる。また、Exifファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。
AE/AWB検出手段142は、撮影スタンバイ状態時にレリーズスイッチが半押しされると、CPU110からの指令に従い、入力された画像信号からAE制御及びAWB制御に必要な物理量を算出する。たとえば、AE制御に必要な物理量として、1画面を複数のエリア(たとえば16×16)に分割し、分割したエリアごとにR、G、Bの画像信号の積算値を算出する。CPU110は、このAE/AWB検出手段142から得た積算値に基づいて被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。そして、算出した撮影EV値と所定のプログラム線図から絞り値とシャッター速度を決定する。
また、AE/AWB検出手段142は、AWB制御に必要な物理量として、1画面を複数のエリア(例えば、16×16)に分割し、分割したエリアごとにR、G、Bの画像信号の色別の平均積算値を算出する。CPU110は、得られたRの積算値、Bの積算値、Gの積算値から分割エリアごとにR/G及びB/Gの比を求め、求めたR/G、B/Gの値のR/G、B/Gの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ1(つまり、1画面においてRGBの積算比率がR:G:B≒1:1:1)になるように、ホワイトバランス調整回路のR、G、B信号に対するゲイン値(ホワイトバランス調整値)を決定する。
AF検出手段144は、撮影スタンバイ状態時にレリーズスイッチが半押しされると、CPU110からの指令に従い、入力された画像信号からAF制御に必要な物理量を算出する。本実施の形態の複眼デジタルカメラ1では、撮像素子128から得られる画像のコントラストによりAF制御が行われ(いわゆるコントラストAF)、AF検出手段144は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。CPU110は、このAF検出手段144で算出される焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズ群を移動させる。すなわち、フォーカスレンズ群を至近から無限遠まで所定のステップで移動させ、各位置で焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる。
メディアコントローラ146は、圧縮伸張処理手段140によって圧縮処理された各画像データを、メディアコントローラ146経由で接続された記録メディア42やその他の記録メディアに記録させる。記録メディア42は、複眼デジタルカメラ1に着脱自在なxDピクチャカード(登録商標)、スマートメディア(登録商標)に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。
ビデオエンコーダ148は、画像信号処理手段138から出力されたRGB信号をモニタ40に出力する。
また、複眼デジタルカメラ1には、電源電池が着脱可能に設けられている。電源電池は、充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。電源電池は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。電源電池は、図示しない電池収納室に装填することにより、複眼デジタルカメラ1の各手段と電気的に接続される。
次に、上記のように構成された複眼デジタルカメラ1の撮影、記録、再生及び編集の各動作について説明する。
電源ボタンを押下し、複眼デジタルカメラ1の電源を投入すると、複眼デジタルカメラ1は、撮影モードの下で起動して単眼モード又は複眼モードで駆動される。
単眼モードに設定されている場合には、光学系L又は光学系R(本実施の形態では光学系L)を選択する。そして、撮像素子L12によってスルー画像用の撮影を開始する。すなわち、撮像素子L12で連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、順次ビデオエンコーダ148に加えられ、表示用の信号形式に変換されて、モニタ40に出力される。
このスルー画像撮影開始以降、複眼デジタルカメラ1に加えられた振動(手ブレなど)をジャイロセンサ120で検出して、撮像素子L12で撮像される被写体像の像ブレを補正する。すなわち、アンプ・移相器L14は、ジャイロセンサ120から出力され、BPF122でノイズが除去された信号を補正パラメータ保持手段18cに記憶されたゲインを用いて増幅し、及び/又は移相パラメータを用いて移相を行い、PWMドライバ18bは、この信号に基づいてボイスコイルモータ16cを駆動し、CCDシフト機構16bを介して撮像素子L12を移動させる。撮像素子L12の位置は位置検出手段16aにより検出されて、PID制御手段18aに入力される。PID制御手段18aは、補正パラメータ保持手段18cに記憶された制御パラメータを用いて位置検出手段16aにより検出される位置が目標値となるような指示をPWMドライバ18bに出力し、PWMドライバ18bは指示に応じた信号をボイスコイルモータ16cに出力する。これにより、光学系Lに対して適切な防振動作を行うことができる。
複眼モードに設定されている場合には、撮像素子L12及び撮像素子R22によってスルー画像用の撮影を開始する。すなわち、撮像素子L12及び撮像素子R22で連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、順次ビデオエンコーダ148に加えられ、表示用の信号形式に変換されて、それぞれモニタ40に出力される。
このスルー画像撮影開始以降、複眼デジタルカメラ1に加えられた振動(手ブレなど)をジャイロセンサ120で検出して、撮像素子L12及び撮像素子R22で撮像される被写体像の像ブレを別々に補正する。
すなわち、アンプ・移相器L14は、ジャイロセンサ120から出力され、BPF122でノイズが除去された信号を補正パラメータ保持手段18cに記憶されたゲインを用いて増幅し、及び/又は移相パラメータを用いて移相を行い、PWMドライバ18bは、この信号に基づいてボイスコイルモータ16cを駆動し、CCDシフト機構16bを介して撮像素子L12を移動させる。撮像素子L12の位置は位置検出手段16aにより検出されて、PID制御手段18aに入力される。PID制御手段18aは、補正パラメータ保持手段18cに記憶された制御パラメータを用いて位置検出手段16aにより検出される位置が目標値となるような指示をPWMドライバ18bに出力し、PWMドライバ18bは指示に応じた信号をボイスコイルモータ16cに出力する。
また、アンプ・移相器R24は、ジャイロセンサ120から出力され、BPF122でノイズが除去された信号を補正パラメータ保持手段28cに記憶されたゲインを用いて増幅し、及び/又は移相パラメータを用いて移相を行い、PWMドライバ28bは、この信号に基づいてボイスコイルモータ26cを駆動し、CCDシフト機構26bを介して撮像素子R22を移動させる。撮像素子R22の位置は位置検出手段26aにより検出されて、PID制御手段28aに入力される。PID制御手段28aは、補正パラメータ保持手段18cに記憶された制御パラメータを用いて位置検出手段26aにより検出される位置が目標値となるような指示をPWMドライバ28bに出力し、PWMドライバ28bは指示に応じた信号をボイスコイルモータ26cに出力する。
これにより、光学系L及び光学系Rに対して適切な防振動作を行うことができ、その結果撮像素子L12で得られる被写体像の像ブレ量と、撮像素子R22で得られる被写体像の像ブレ量とを略同一にすることができる。
シャッタボタンが半押しされたか、すなわちCPU110にS1ON信号が入力されたかを判断する。S1ON信号が入力されると、このS1ON信号に応動して、撮影準備処理、すなわち、AE、AF、AWBの各処理を実行する。
シャッタボタンが全押しされたか、すなわちCPU110にS2ON信号が入力されたかを判断する。S2ON信号が入力されると、このS2ON信号に応動して、以下のような撮影処理及び記録処理を実行する。
まず、上記のAE処理で求めた絞り値、シャッタースピードで撮像素子128を露光し、記録用の画像を撮像する。撮像素子128から出力された記録用の画像信号は、画像信号処理手段138に取り込まれ、VRAM116に格納される。VRAM116に格納された画像信号は、CPU110の制御の下、画像信号処理手段138に加えられる。画像信号処理手段138は、入力された画像信号に所定の信号処理を施して、輝度データと色差データとからなる画像データ(YUVデータ)を生成する。
画像信号処理手段138で生成された画像データは、一旦VRAM116に格納されたのち、メディアコントローラ146に加えられる。メディアコントローラ146は、入力された画像データに対して所定の圧縮処理を施し、圧縮画像データを生成する。
圧縮された画像データは、VRAM116に格納され、所定フォーマットの静止画像ファイル(たとえば、Exif)として、メディアコントローラ146を介して記録メディア42に記録される。
本実施の形態によれば、像ブレ補正後の撮像素子L12の像ブレ量と撮像素子R22の像ブレ量とを一致させることができる。そのため、ユーザは違和感なく、容易に立体視が可能となる。
また、本実施の形態では、左右の像ブレ量が一致するため、良好な立体画像が得られる。
なお、本実施の形態では、防振性能がよい光学系の制御残差を防振性能が悪い光学系の制御残差と同等の制御残差となるよう制御パラメータの設定を行ったが、PID制御手段の制御パラメータ(比例ゲイン、積分時間、微分時間など)を設定する場合には、防振性能が悪い光学系の制御残差を防振性能が良い光学系の制御残差と一致させることも可能である。
また、本実施の形態では、装置本体のブレに応じて撮像素子を移動させる(CCDシフト方式)ことにより像ブレ補正を行ったが、レンズを移動させる(レンズシフト方式)ことにより像ブレ補正を行うようにしもよい。
また、本実施の形態では、像ブレ補正処理回路L18及び像ブレ補正処理回路R18においてPID制御手段18a、18bを設けたが、PID制御に限らず、状態フィードバック制御、H∞(無限大)制御、2自由度制御などの様々なフィードバック制御を用いることができる。これらは一般的に複数のデジタルフィルタの組み合わせにより構成される。したがって、制御パラメータはデジタルフィルタの係数として表すことができる。
また、本実施の形態では、ボイスコイルモータ16c、26cを用いたため位置検出手段16a、16bが必要となったが、ボイスコイルモータ16c、26cとしてステッピングモータを用いることにより位置検出手段16a、16bは削除可能である。なお、この場合には、PID制御手段18a、18bの代わりにオープンループ制御を行う制御手段が必要となる。
また、本実施の形態では、2系統の光学系(光学系L及び光学系R)を有する例を示したが、光学系が3個以上あってもよい。
<第2の実施の形態>
第2の実施の形態は、複数(図1では二つを例示)の光学系を備えた場合に、所望の光学系の撮像素子の位置に合わせて他の撮像素子を移動させることにより、複数の光学系の防振性能を一致させる形態である。以下、第2の実施の形態の複眼デジタルカメラ2について説明する。なお、第1の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
図3は、複眼撮影装置の第2の実施の形態に係る複眼デジタルカメラ2の電気的な構成を示すブロック図である。複眼デジタルカメラ2は、複数(図3では3つを例示)の光学系を備え、平面画像と、視差画像(立体画像など)とが撮影可能である。
複眼デジタルカメラ2は、主として、光学系L(レンズユニットL10、撮像素子L12、アンプ・移相器L14、光学的像ブレ補正手段L16、像ブレ補正処理回路L18)、光学系R(レンズユニットR20、撮像素子R22、アンプ・移相器R24、光学的像ブレ補正手段R26、像ブレ補正処理回路R28)、光学系M(レンズユニットM30、撮像素子M32、アンプ・移相器M34、光学的像ブレ補正手段M36、像ブレ補正処理回路M38)、モニタ40、記録メディア42、操作手段44、CPU110、SDRAM114、VRAM116、ジャイロセンサ120、バンドパスフィルタ(BPF)122、タイミングジェネレータ(TG)130a、130b、アナログ信号処理手段132a、132b、A/D変換器134a、134b、画像入力コントローラ136、画像信号処理手段138、圧縮伸張処理手段140、AE/AWB検出手段142、AF検出手段144、メディアコントローラ146、ビデオエンコーダ148で構成される。
左目用の画像を結像する光学系L、右目用の画像を結像する光学系R及び光学系Lと光学系Rとの間に配設された光学系Mは、そのレンズ光軸が平行となるように、あるいは所定角度をなすように並設されている。光学系L、光学系R及び光学系Mは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。光学系Mの構成は、光学系L及び光学系Rと同様であるため、説明を省略する。
次に、補正パラメータの設定について説明する。ジャイロセンサ120は1つであるため、アンプ・移相器L14、アンプ・移相器R24及びアンプ・移相器M34には同じ値の信号が入力される。
アンプ・移相器L14は、入力された信号を初期設定値で増幅及び/又は移相を行い、像ブレ補正処理回路L18に入力する。像ブレ補正処理回路L18のPID制御手段18aは、入力された信号に初期設定値を用いて比例動作、微分動作及び積分動作の各動作を行った結果をPWMドライバ18bに出力し、PWMドライバ18bは入力された信号に基づいてボイスコイルモータ16cを駆動する。ボイスコイルモータ16cは、CCDシフト機構16bを介して撮像素子L12を移動させ、位置検出手段16aが撮像素子L12の位置を検出して像ブレ補正処理回路L18に入力する。
アンプ・移相器R24は、入力された信号を初期設定値で増幅及び/又は移相を行い、像ブレ補正処理回路R28に入力する。像ブレ補正処理回路R28のPID制御手段28aは、入力された信号に初期設定値を用いて比例動作、微分動作及び積分動作の各動作を行った結果をPWMドライバ28bに出力し、PWMドライバ28bは入力された信号に基づいてボイスコイルモータ26cを駆動する。ボイスコイルモータ26cは、CCDシフト機構26bを介して撮像素子R22を移動させ、位置検出手段26aが撮像素子R22の位置を検出して像ブレ補正処理回路R28に入力する。
アンプ・移相器M34は、入力された信号を初期設定値で増幅及び/又は移相を行い、像ブレ補正処理回路M38に入力する。像ブレ補正処理回路M38のPID制御手段38aは、入力された信号に初期設定値を用いて比例動作、微分動作及び積分動作の各動作を行った結果をPWMドライバ38bに出力し、PWMドライバ38bは入力された信号に基づいてボイスコイルモータ36cを駆動する。ボイスコイルモータ36cは、CCDシフト機構36bを介して撮像素子M32を移動させ、位置検出手段36aが撮像素子M32の位置を検出して像ブレ補正処理回路M38に入力する。
上記処理は製造時に行われる。組立作業者は、製品出荷検査時に最も防振性能の悪い光学系がどれであるかを判断する。この時、アンプ・移相器L14のゲインKL及び移相φL、アンプ・移相器R24のゲインKR及び移相φR及びアンプ・移相器M34のゲインKM及び移相φMをそれぞれ設定するようにしてもよい。そして、最も防振性能の悪い光学系以外の光学系の防振性能を最も防振性能の悪い光学系の防振性能に合わせるように、PID制御手段18aの制御パラメータ、PID制御手段28aの制御パラメータ、及びPID制御手段38aの制御パラメータをそれぞれ独立に設定する。
図3は、光学系Lの防振性能が最も悪い場合の例である。この場合には、光学系Lの防振性能に光学系R、Mの防振性能を合わせるために、すなわちR側制御残差(ブレ指令値からホールセンサ出力Rを引いた値)及びM側制御残差(ブレ指令値からホールセンサ出力M(位置検出手段36aから出力された信号)を引いた値)がL側制御残差(ブレ指令値からホールセンサ出力Lを引いた値)と等しくするために、位置検出手段16aが撮像素子L12の位置を検出した結果を位置検出手段16aから像ブレ補正処理回路L18、像ブレ補正処理回路R28及び像ブレ補正処理回路M38に入力し、位置検出手段16a、26a及び36aからの出力が全て同じになるようにPID制御手段18aの制御パラメータ、PID制御手段28aの制御パラメータ、及びPID制御手段38aの制御パラメータをそれぞれ独立に設定する。
設定後、パラメータ保持手段L18cは、設定後のPID制御手段18aの制御パラメータ(最も防振性能の悪い光学系がどれであるかを判断するときに組立作業者が設定を行った場合には、制御パラメータに加えて設定後のアンプ・移相器L14のゲインKL及び移相パラメータφL)を記憶し、パラメータ保持手段R28cは、設定後のPID制御手段28aの制御パラメータ(最も防振性能の悪い光学系がどれであるかを判断するときに組立作業者が設定を行った場合には、制御パラメータに加えて設定後のアンプ・移相器R24のゲインKR及び移相パラメータφR)を記憶し、パラメータ保持手段M38cは、設定後のPID制御手段38aの制御パラメータ(最も防振性能の悪い光学系がどれであるかを判断するときに組立作業者が設定を行った場合には、制御パラメータに加えて設定後のアンプ・移相器M34のゲインKM及び移相パラメータφM)を記憶する。
次に、複眼デジタルカメラ3の撮影、記録、再生及び編集の各動作について説明する。複眼デジタルカメラ1と同一の部分については説明を省略し、相違点である複眼モード設定時の像ブレ補正について説明する。
複眼モードに設定されている場合には、撮像素子L12、撮像素子R22及び撮像素子M32によってスルー画像用の撮影を開始する。すなわち、撮像素子L12、撮像素子R22及び撮像素子M32で連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、順次ビデオエンコーダ148に加えられ、表示用の信号形式に変換されて、それぞれモニタ40に出力される。
このスルー画像撮影開始以降、複眼デジタルカメラ1に加えられた振動(手ブレなど)をジャイロセンサ120で検出して、撮像素子L12、撮像素子R22及び撮像素子M32で撮像される被写体像の像ブレを別々に補正する。
すなわち、アンプ・移相器L14は、ジャイロセンサ120から出力され、BPF122でノイズが除去された信号を補正パラメータ保持手段18cに記憶されたゲインを用いて増幅し、及び/又は移相パラメータを用いて移相を行い、PWMドライバ18bは、この信号に基づいてボイスコイルモータ16cを駆動し、CCDシフト機構16bを介して撮像素子L12を移動させる。撮像素子L12の位置は位置検出手段16aにより検出されて、PID制御手段18aに入力される。PID制御手段18aは、補正パラメータ保持手段18cに記憶された制御パラメータを用いて位置検出手段16aにより検出される位置が目標値となるような指示をPWMドライバ18bに出力し、PWMドライバ18bは指示に応じた信号をボイスコイルモータ16cに出力する。
また、PID制御手段28a及びPWMドライバ28bは、位置検出手段16aから出力された信号に基づいてボイスコイルモータ26cを駆動し、CCDシフト機構26bを介して撮像素子R22を移動させる。撮像素子R22の位置は位置検出手段26aにより検出されて、PID制御手段28aに入力される。PID制御手段28aは、補正パラメータ保持手段18cに記憶された制御パラメータを用いて位置検出手段26aにより検出される位置が目標値となるような指示をPWMドライバ28bに出力し、PWMドライバ28bは指示に応じた信号をボイスコイルモータ26cに出力する。
さらに、PID制御手段38a及びPWMドライバ38bは、位置検出手段16aから出力された信号に基づいてボイスコイルモータ36cを駆動し、CCDシフト機構36bを介して撮像素子M32を移動させる。撮像素子M32の位置は位置検出手段36aにより検出されて、PID制御手段38aに入力される。PID制御手段38aは、補正パラメータ保持手段38cに記憶された制御パラメータを用いて位置検出手段36aにより検出される位置が目標値となるような指示をPWMドライバ38bに出力し、PWMドライバ38bは指示に応じた信号をボイスコイルモータ36cに出力する。
これにより、光学系L及び光学系Rに対して適切な防振動作を行うことができ、その結果撮像素子L12で得られる被写体像の像ブレ量と、撮像素子R22で得られる被写体像の像ブレ量とを略同一にすることができる。この場合には、像ブレ補正処理回路R28及び像ブレ補正処理回路M38は、位置検出手段16aから出力された信号を用いるため像ブレ補正処理回路L18に対して遅延が発生する。しかしながら、位置検出手段16aから出力された信号の周波数により生ずる遅延は実用上問題ない範囲であるため、特に処理は行わない。
本実施の形態によれば、像ブレ補正後の撮像素子L12の像ブレ量、撮像素子R22の像ブレ量及び撮像素子M32の像ブレ量を一致させることができる。そのため、ユーザは違和感なく、容易に立体視が可能となる。
また、本実施の形態によれば、ジャイロセンサが装置本体のぶれを正しく検出できなかった場合でも、3つの画像の像ブレ量をほぼ等しくすることができ、立体視が可能となる。
なお、本実施の形態では、制御パラメータの設定にあたり、最も防振性能の悪い光学系がどれであるかを判断し、最も防振性能の悪い光学系以外の光学系の防振性能を最も防振性能の悪い光学系の防振性能に合わせるように、PID制御手段18aの制御パラメータ、PID制御手段28aの制御パラメータ、及びPID制御手段38aの制御パラメータをそれぞれ独立に設定したが、全ての光学系の防振性能を一致させる方法はこれに限らない。例えば、予め基準となる光学系を決めておき、基準となる光学系の防振性能にその他の光学系の防振性能をあわせるようにしてもよい。PID制御手段の制御パラメータを設定することにより防振性能を良くすることも可能だからである。
例えば、光学系Lを基準となる光学系とあらかじめ決めた場合には、光学系Lの位置検出手段16aの検出結果を像ブレ補正処理回路L18、像ブレ補正処理回路R28及び像ブレ補正処理回路M38に入力し、位置検出手段16a、26a及び36aからの出力が全て同じになるようにPID制御手段18aの制御パラメータ、PID制御手段28aの制御パラメータ、及びPID制御手段38aの制御パラメータをそれぞれ独立に設定すればよい。
ただし、防振性能が良い光学系の防振性能を防振性能が悪い光学系の防振性能に合わせるようにして全ての光学系の防振性能を一致させる方が、防振性能が良い光学系の防振性能が悪い光学系への追従性を良くすることができる。
なお、複眼デジタルカメラ1、3は、立体撮影のみでなく、マルチ視点や全方向の撮影も可能である。また、複眼デジタルカメラ1、3の光学系の配置は、横一列でなくても二次元で配置されていてもよい。
なお、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置、携帯音楽プレーヤー、PDA等の電子機器にも同様に適用することができる。
1、2:複眼デジタルカメラ、10:レンズユニットL、12:撮像素子L、14:アンプL、16:光学的像ブレ補正手段L、18:像ブレ補正処理回路L、20:レンズユニットR、22:撮像素子R、24:アンプR、26:光学的像ブレ補正手段R、28:像ブレ補正処理回路R、30:レンズユニットM、32:撮像素子M、34:アンプM、36:光学的像ブレ補正手段M、38:像ブレ補正処理回路M、16a、26a、36a:位置検出手段、16b、26b、36b:CCDシフト機構、16c、26c、36c:ボイスコイルモータ、18a、28a、38a:PID制御手段、18b、28b、38b:PWM(Pulse Width Modulation)ドライバ、18c、28c、38c:パラメータ保持手段L、40:モニタ、42:記録メディア、44:操作手段、110:CPU、114:SDRAM、116:VRAM、120:ジャイロセンサ、122:バンドパスフィルタ(BPF)、130a、130b:タイミングジェネレータ(TG)、132a、132b:アナログ信号処理手段、134a、134b:A/D変換器、136:画像入力コントローラ、138:画像信号処理手段、140:圧縮伸張処理手段、142:AE/AWB検出手段、144:AF検出手段、146:メディアコントローラ、148:ビデオエンコーダ