JP5380184B2 - 複眼カメラ及びその制御方法 - Google Patents

Description

本発明は、複数の撮像光学系を用いて両眼視差の生じる複数の画像を取得する複眼カメラ、及びその制御方法に関するものである。

複数の撮像光学系を用いて両眼視差の生じる複数の画像を取得し、各画像を合成することによって立体視が可能な立体画像を生成する複眼カメラが知られている。こうした複眼カメラでは、撮影時の手振れが立体画像の視差ズレの要因となる。このため、特許文献１では、各撮像光学系で取得された複数の画像の動き量を算出し、その動き量に応じて各画像をトリミングすることにより、手振れによって立体画像に視差ズレが生じることを防いでいる。

ところが、特許文献１のように各画像をトリミングする方法では、必ず切り捨てられる画素が生じ、撮像素子の全ての画素を用いた立体画像を生成することができないため、効率が悪いとともに、動き量によってトリミングのサイズが変化するため、これにともなって立体画像のサイズが意図せず変化してしまうという問題がある。

このような問題の解決策としては、撮像素子や専用のレンズなどの補正部を移動させて物理的に光軸を調整する光学式の手振れ補正を行う機構（特許文献２、３参照）を各撮像光学系に設けることが考えられる。こうすれば、手振れによる視差ズレを防ぐことができるとともに、各撮像光学系で取得された画像をトリミングする必要がないので、全画素を用いた立体画像の生成が可能になり、かつ立体画像のサイズが意図せず変化することもない。

特開２００３−０９２７６８号公報 特開平１１−１８３９５１号公報 特開２００２−３５９７６８号公報

光学式の手振れ補正では、補正部が補正の限界領域に達した場合、パン・チルト状態と判定された場合、及び電源投入時などに、撮像光学系の光学中心などの所定位置に補正部を復帰させる必要がある。複眼カメラに光学式の手振れ補正を用いた場合、各撮像光学系に設けられた補正部の所定位置までの距離が一定であるとは限らず、各補正部の所定位置に復帰するタイミングが合わないことがある。このように各補正部がバラバラに所定位置に復帰すると基線長に狂いが生じるため、これにともなって立体画像に視差ズレが生じてしまう。そして、こうした視差ズレは、手振れなど撮影者の操作に起因して発生する視差ズレとは異なるため、立体画像を観察する際により違和感を与えてしまう恐れがある。

本発明は、上記課題を鑑みてなされたものであり、複眼カメラに光学式の手振れ補正を用いた際にも、各補正部の所定位置への復帰タイミングのバラツキにともなう視差ズレを防止することを目的とする。

上記目的を達成するため、本発明の複眼カメラでは、各補正部を予め決められた所定位置に復帰させる際に、各位置検出手段の検出結果に基づく各補正部の位置から同時に移動を開始させて所定位置に同時に移動を完了させるための、位置、速度、加速度が連続した目標軌道をそれぞれの補正部について算出し、各補正部の移動を同時に開始させるとともに、算出された目標軌道にしたがって各補正部をそれぞれ移動させるように各駆動部を制御する制御手段を備えたものである。

各位置検出手段の検出結果に基づいて、各補正部が補正用移動範囲の限界に達したか否かを各補正部についてそれぞれ判定する補正限界判定手段を備え、制御手段は、各補正部のいずれかが限界に達したと補正限界判定手段が判定した際に、各補正部を所定位置に復帰させることが好ましい。

補正限界判定手段は、補正用移動範囲を示す領域データを有し、位置検出手段の検出結果と領域データとに基づいて、補正部の位置が補正用移動範囲の内側か否かを確認することによって補正部が限界に達したか否かを判定することが好ましい。

制御手段は、電源がＯＮになった時に、各補正部を所定位置に復帰させる構成も好ましい。

各手振れ検出手段の検出結果に基づいてパンニング又はチルティングが行われているか否かを判定するパン・チルト判定手段を備え、制御手段は、パンニング又はチルティングが行われているとパン・チルト判定手段が判定した際に、各補正部を所定位置に復帰させる構成も好ましい。このときに、パン・チルト判定手段は、各手振れ検出手段の検出結果に基づいて、規定値以上の大きさの動きが一定方向に一定時間以上連続で発生した場合に、パンニング又はチルティングが行われていると判定することが好ましい。

所定位置は、撮像光学系の光学中心であることが好ましい。

また、本発明の複眼カメラの制御方法では、各補正部を予め決められた所定位置に復帰させる際に、各位置検出手段の検出結果に基づく各補正部の位置から同時に移動を開始させて所定位置に同時に移動を完了させるための、位置、速度、加速度が連続した目標軌道をそれぞれの補正部について算出し、駆動手段による各補正部の移動を同時に開始させるとともに、算出された目標軌道にしたがって各補正部をそれぞれ移動させる復帰制御ステップを有するものである。

各位置検出手段の検出結果に基づいて、補正部が補正用移動範囲の限界に達したか否かを各補正部についてそれぞれ判定する補正限界判定ステップを有し、各補正部のいずれかが限界に達したと補正限界判定ステップで判定された際に、復帰制御ステップを実行することが好ましい。

補正限界判定ステップは、補正用移動範囲を示す領域データを有し、位置検出手段の検出結果と領域データとに基づいて、補正部の位置が補正用移動範囲の内側か否かを確認することによって補正部が前記限界に達したか否かを判定することが好ましい。

また、電源がＯＮになった時に、復帰制御ステップを実行させてもよい。さらには、各手振れ検出手段の検出結果に基づいてパンニング又はチルティングが行われているか否かを判定するステップを有し、パンニング又はチルティングが行われていると判定された際に、復帰制御ステップを実行させてもよい。パン・チルト判定ステップは、各手振れ検出手段の検出結果に基づいて、規定値以上の大きさの動きが一定方向に一定時間以上連続で発生した場合に、パンニング又はチルティングが行われていると判定することが好ましい。所定位置は、撮像光学系の光学中心であることが好ましい。

本発明では、各補正部を予め決められた所定位置に移動させる際に、各補正部の所定位置への移動が同時に完了するように各駆動手段を制御するようにしたので、各補正部の所定位置への復帰タイミングのバラツキにともなう視差ズレを防止することができる。

ステレオカメラの外観構成を示す斜視図である。 ステレオカメラの外観構成を示す背面図である。 ステレオカメラの内部構成を概略的に示すブロック図である。 各撮像部の補正限界領域を示す説明図である。 第１ＣＣＤが先に補正限界領域に達した場合を示す説明図である。 目標位置軌道から補間した制御データの一例を示す説明図である。 ステレオカメラの動作を示すフローチャートである。 電源ＯＮ時に各ＣＣＤを光学中心に復帰させる場合のフローチャートである。 パン・チルトを判定する場合のブロック図である。 パン・チルトを判定した際に各ＣＣＤを光学中心に復帰させる場合のフローチャートである。 直線の制御データの一例を示す説明図である。 一方を遅延させる場合の制御データの一例を示す説明図である。

図１に示すように、ステレオカメラ（複眼カメラ）２は、略矩形に形成されたカメラ本体２ａを備えている。カメラ本体２ａには、第１及び第２の２つの撮像部（撮像光学系）３、４が設けられている。各撮像部３、４は、カメラ本体２ａの前面からその一部を露呈させ、それぞれの光軸が略平行になるように並べて配置されている。ステレオカメラ２は、各撮像部３、４のそれぞれで撮影を行うことによって両眼視差の生じる一対の画像を取得する。そして、取得した各画像を合成することにより、立体視可能な画像（以下、立体画像と称す）を生成する。

第１撮像部３は、第１撮像レンズ５が組み込まれた第１レンズ鏡筒６を有している。同様に、第２撮像部４は、第２撮像レンズ７が組み込まれた第２レンズ鏡筒８を有している。各レンズ鏡筒６、８は、電源オフ時及び取得した画像の再生時には図中二点鎖線で示すようにカメラ本体２ａの内部に収納された収納位置に沈胴し、撮影時には図中実線で示すようにカメラ本体２ａの前面側に突出した撮影位置に繰り出す。また、カメラ本体２ａの前面には、被写体にフラッシュ光を照射して被写体を照明するためのフラッシュ発光部１０が設けられている。

カメラ本体２ａの上面には、撮影の実行を指示するためのシャッタボタン１１と、電源のＯＮ／ＯＦＦを切り替えるための電源スイッチ１２と、ステレオカメラ２に設けられた各種のモードを切り替えるためのモード切替ダイヤル１３とが設けられている。ステレオカメラ２は、静止画の立体画像を取得するための静止画撮影モードと、動画の立体画像を取得するための動画撮影モードと、取得した立体画像を再生表示するための再生モードとを有している。これらの各モードは、モード切替ダイヤル１３を回転操作することで切り替えられる。静止画撮影モードでは、シャッタボタン１１を押下操作することで撮影の実行が指示され、その時の被写体像が静止画の立体画像として取得される。動画撮影モードでは、シャッタボタン１１を押下操作することで記録が開始されるとともに、この状態で再びシャッタボタン１１を押下操作することで記録が停止され、この間の被写体像が動画の立体画像として取得される。

図２に示すように、カメラ本体２ａの背面には、各撮像レンズ５、７をワイド側もしくはテレ側に変倍するズーム操作を行うためのズームボタン１４と、取得した立体画像や撮影待機時のいわゆるスルー画及び各種のメニュー画面などを表示するための液晶ディスプレイ１５と、メニュー画面の表示を指示するためのメニューボタン１６と、メニュー画面上の各種のメニューの選択や設定に用いる十字キー１７とが設けられている。

液晶ディスプレイ１５は、表面にレンチキュラレンズが設けられた、いわゆる三次元ディスプレイになっている。これにより、ステレオカメラ２では、液晶ディスプレイ１５に表示された立体画像を裸眼で立体視することができる。

図３に示すように、第１撮像部３は、第１レンズ鏡筒６、第１繰出しモータ３１、第１フォーカスモータ３２、第１モータドライバ３３、第１ＣＣＤ（補正部）３５、第１タイミングジェネレータ（以下、ＴＧと称す）３６、第１ＣＤＳ３７、第１ＡＭＰ３８、第１Ａ／Ｄ変換器３９、及び第１手振れ補正部４０で構成されている。

第１レンズ鏡筒６には、第１撮像レンズ５としてズームレンズ５ａ、フォーカスレンズ５ｂ、絞り５ｃが組み込まれている。第１レンズ鏡筒６の撮影位置への繰り出しと、収納位置への沈胴は、第１繰出しモータ３１の駆動によって行われる。ズームレンズ５ａ及びフォーカスレンズ５ｂの光軸方向への進退移動は、第１フォーカスモータ３２の駆動によって行われる。各モータ３１、３２は、第１モータドライバ３３に接続されている。第１モータドライバ３３は、ステレオカメラ２を統括的に制御するＣＰＵ（制御手段）７０に接続されており、ＣＰＵ７０からの制御信号に応じて各モータ３１、３２を駆動させる。

第１撮像レンズ５の背後には、第１ＣＣＤ３５が配置されている。第１撮像レンズ５は、この第１ＣＣＤ３５の受光面に被写体像を結像させる。第１ＣＣＤ３５は、第１ＴＧ３６に接続されている。第１ＴＧ３６は、ＣＰＵ７０に接続されており、ＣＰＵ７０の制御の下、タイミング信号（クロックパルス）を第１ＣＣＤ３５に入力する。第１ＣＣＤ３５は、このタイミング信号に応じて受光面に結像された被写体像の撮像を行い、被写体像に対応した撮像信号を出力する。

第１ＣＣＤ３５から出力された撮像信号は、相関二重サンプリング回路である第１ＣＤＳ３７に入力される。第１ＣＤＳ３７は、入力された撮像信号を第１ＣＣＤ３５の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力する。第１ＣＤＳ３７から出力された画像データは、第１ＡＭＰ３８で増幅され、さらに第１Ａ／Ｄ変換器３９でデジタルデータに変換される。このデジタル化された画像データは、第１Ａ／Ｄ変換器３９から右眼画像データとして画像入力コントローラ７１に出力される。

第１手振れ補正部４０は、撮影時の手振れにともなって立体画像に視差ズレが生じることを防ぐためのものであり、揺れを打ち消す方向に第１ＣＣＤ３５を移動させることによって手振れを防止する、いわゆるイメージセンサシフト方式の手振れ防止機能を実現する。実現方式はレンズシフト方式の手振れ防止機能であってもよい。第１手振れ補正部４０は、手振れ検出センサ４１と、位置検出センサ４２と、駆動回路４３とで構成されている。手振れ検出センサ４１は、例えばジャイロセンサなどであり、第１ＣＣＤ３５の垂直方向及び水平方向の揺れを検出し、その検出結果をＣＰＵ７０に出力する。位置検出センサ４２は、例えばリニアエンコーダやポテンショメータなどであり、第１ＣＣＤ３５の垂直方向及び水平方向の位置を検出し、その検出結果をＣＰＵ７０に出力する。

駆動回路４３は、第１ＣＣＤ３５を垂直方向に移動させる垂直用アクチュエータと、第１ＣＣＤ３５を水平方向に移動させる水平用アクチュエータとを備えており、ＣＰＵ７０からの駆動信号に応じて各アクチュエータを駆動することによって第１ＣＣＤ３５を垂直・水平の各方向に移動させる。ＣＰＵ７０は、各センサ４１、４２の検出結果を基に、揺れを打ち消す方向に第１ＣＣＤ３５を移動させる駆動信号を生成し、その駆動信号を駆動回路４３に入力する。これにより、手振れにともなう立体画像の視差ズレが抑えられる。

第２撮像部４は、第１撮像部３と同様に、第２レンズ鏡筒８、第２繰出しモータ５１、第２フォーカスモータ５２、第２モータドライバ５３、第２ＣＣＤ（補正部）５５、第２ＴＧ５６、第２ＣＤＳ５７、第２ＡＭＰ５８、第２Ａ／Ｄ変換器５９、及び第２手振れ補正部６０で構成されている。これらの各部は、第１撮像部３のものと同様であるので、詳細な説明は省略する。第２ＣＣＤ５５によって撮像され、第２ＣＤＳ５７、第２ＡＭＰ５８を経由した後、第２Ａ／Ｄ変換器５９によってデジタルデータに変換され画像データは、第２Ａ／Ｄ変換器５９から左眼画像データとして画像入力コントローラ７１に出力される。

画像入力コントローラ７１は、データバス７２を介してＣＰＵ７０に接続されている。画像入力コントローラ７１は、ＣＰＵ７０の制御の下、各撮像部３、４から入力された各画像データをＳＤＲＡＭ７３に記憶させる。画像信号処理回路７４は、ＳＤＲＡＭ７３から各画像データを読み出し、階調変換、ホワイトバランス補正、γ補正などの各種の画像処理を各画像データに施す。そして、処理後の各画像データを再びＳＤＲＡＭ７３に記憶させる。

立体画像生成回路７５は、画像信号処理回路７４で各種の処理が施された各画像データをＳＤＲＡＭ７３から読み出す。そして、各画像データを上下方向に長い短冊状の画像になるように分割した後、それらを交互に並べて合成することにより、液晶ディスプレイ１５に対応したレンチキュラレンズ方式の立体画像データを生成し、その立体画像データをＳＤＲＡＭ７３に記憶させる。

液晶ドライバ７６は、ＳＤＲＡＭ７３から立体画像データを読み出し、アナログのコンポジット信号に変換して液晶ディスプレイ１５に出力する。これにより、裸眼で立体視可能な立体画像がスルー画として液晶ディスプレイ１５に表示される。

圧縮伸張処理回路７７は、立体画像データをＴＩＦＦやＪＰＥＧなどの所定の圧縮形式で圧縮する。メディアコントローラ７８は、メディアスロットに着脱自在に装着された記録メディア８０にアクセスし、圧縮された立体画像データを記録メディア８０に読み書きする。

ＣＰＵ７０には、シャッタボタン１１、電源スイッチ１２、モード切替ダイヤル１３、ズームボタン１４、メニューボタン１６、十字キー１７の各操作部材が接続されている。これらの各操作部材は、ユーザによる操作を検出し、その検出結果をＣＰＵ７０に入力する。シャッタボタン１１は、２段階押しのスイッチになっている。シャッタボタン１１を軽く押圧（半押し）すると、各撮像レンズ５、７の焦点調整や露光調整などの各種撮影準備処理が施される。この状態でシャッタボタン１１をもう一度強く押圧（全押し）すると、各撮像部３、４の１画面分の撮像信号が画像データに変換される。電源スイッチ１２は、スライド式のスイッチになっている（図１参照）。電源スイッチ１２をＯＮ位置に移動させると、図示を省略したバッテリの電力が各部に供給され、ステレオカメラ２が起動する。そして、電源スイッチ１２をＯＦＦ位置に移動させると、電力の供給が停止され、ステレオカメラ２が停止状態になる。

ＣＰＵ７０は、電源スイッチ１２及びモード切替ダイヤル１３の操作が検出されると、これらの操作に応じて各繰出しモータ３１、５１を駆動し、各レンズ鏡筒６、８を沈胴／繰り出しさせる。また、ＣＰＵ７０は、ズームボタン１４の操作が検出されると、これに応じて各フォーカスモータ３２、５２を駆動し、各ズームレンズ５ａ、７ａを光軸方向に進退移動させてズーム倍率を変化させる。

ＣＰＵ７０には、各駆動回路４３、６３を駆動して各ＣＣＤ３５、５５を移動させた際に、各ＣＣＤ３５、５５が手振れ補正の限界領域に達したか否かを判定するための補正限界判定部８２と、各ＣＣＤ３５、５５を光学中心に復帰させる際の制御データを算出する制御データ算出部８４とが設けられている。補正限界判定部８２には、第１手振れ補正部４０の補正限界領域を示す第１限界領域データ８２ａと、第２手振れ補正部６０の補正限界領域を示す第２限界領域データ８２ｂとが記憶されている。

図４は、第１ＣＣＤ３５の受光面を３５ａ、駆動回路４３による第１ＣＣＤ３５の移動可能範囲を９０Ｒ、第１撮像レンズ５が結像させた被写体像のイメージサークルを９１Ｒ、第１手振れ補正部４０の補正限界領域を９２Ｒ、第２ＣＣＤ５５の受光面を５５ａ、駆動回路６３による第２ＣＣＤ５５の移動可能範囲を９０Ｌ、第２撮像レンズ７が結像させた被写体像のイメージサークルを９１Ｌ、第２手振れ補正部６０の補正限界領域を９２Ｌとして示している。

図４から分るように、補正限界領域９２Ｒ、９２Ｌとは、各駆動回路４３、６３を駆動して各ＣＣＤ３５、５５を移動させた際にも、各ＣＣＤ３５、５５の受光面３５ａ、５５ａに被写体像のケラレが生じない略矩形状の領域のことである。そして、第１限界領域データ８２ａとは、補正限界領域９２Ｒを示す座標データであり、第２限界領域データ８２ｂとは、補正限界領域９２Ｌを示す座標データである。

各限界領域データ８２ａ、８２ｂは、例えば、各駆動回路４３、６３を駆動して各移動可能範囲９０Ｒ、９０Ｌの四隅に各ＣＣＤ３５、５５を移動させながら撮影を行い、画像からケラレの生じる境界を割り出して各補正限界領域９２Ｒ、９２Ｌを推定することにより求めることができる。なお、各限界領域データ８２ａ、８２ｂは、各撮像部３、４の設計値に基づいて算出してもよいが、図４に示すように、各補正限界領域９２Ｒ、９２Ｌには、各撮像部３、４の各部の組み付け誤差や寸法誤差によって形状や位置にバラツキが生じる。従って、上記のように画像から求めるようにすることで、より精度の高い各限界領域データ８２ａ、８２ｂを得ることができる。

ＣＰＵ７０は、各手振れ検出センサ４１、６１、及び各位置検出センサ４２、６２の検出結果を基に各駆動回路４３、６３の駆動信号を生成する際に、各位置検出センサ４２、６２の検出結果を補正限界判定部８２に入力する。補正限界判定部８２は、各位置検出センサ４２、６２の検出結果が入力されると、位置検出センサ４２の検出結果と第１限界領域データ８２ａとを基に、第１ＣＣＤ３５の位置が補正限界領域９２Ｒの内側か否かを確認することによって第１ＣＣＤ３５が補正限界領域９２Ｒに達したか否かを判定するとともに、位置検出センサ６２の検出結果と第２限界領域データ８２ｂとを基に、第２ＣＣＤ５５の位置が補正限界領域９２Ｌの内側か否かを確認することによって第２ＣＣＤ５５が補正限界領域９２Ｌに達したか否かを判定し、これらの判定結果を出力する。

各ＣＣＤ３５、５５を移動させた場合、各補正限界領域９２Ｒ、９２Ｌのバラツキや各手振れ検出センサ４１、６１の検出量の違いなどから、各ＣＣＤ３５、５５の一方のみが先に補正限界領域９２Ｒ、９２Ｌに達してしまうことがある。この場合に、先に到達した側の移動を停止させたまま他方をさらに移動させてしまうと、立体画像に視差ズレが生じてしまう。このため、ＣＰＵ７０は、各ＣＣＤ３５、５５の一方でも補正限界領域９２Ｒ、９２Ｌに達したと補正限界判定部８２が判定すると、各ＣＣＤ３５、５５を光学中心に復帰させると判断する。そして、ＣＰＵ７０は、各ＣＣＤ３５、５５を光学中心に復帰させると判断すると、各位置検出センサ４２、６２の検出結果を制御データ算出部８４に入力し、制御データ算出部８４に制御データの算出を指示する。

制御データ算出部８４には、第１撮像レンズ５の光学中心位置を示す第１光学中心位置データ８４ａと、第２撮像レンズ７の光学中心位置を示す第２光学中心位置データ８４ｂとが記憶されている。第１光学中心位置データ８４ａは、第１限界領域データ８２ａを基に、補正限界領域９２Ｒの中心位置を算出することによって求められる。第２光学中心位置データ８４ｂも、同様の手順で求められる。

制御データ算出部８４は、制御データの算出が指示されると、図５に示すように、位置検出センサ４２の検出結果と第１光学中心位置データ８４ａとを基に、第１ＣＣＤ３５の受光面３５ａの中心から第１撮像レンズ５の光学中心までの移動量を示す垂直方向の距離Ｄ１ｖ、水平方向の距離Ｄ１ｈを算出する。同様に、位置検出センサ６２の検出結果と第２光学中心位置データ８４ｂとを基に、第２ＣＣＤ５５の受光面５５ａの中心から第２撮像レンズ７の光学中心までの移動量を示す垂直方向の距離Ｄ２ｖ、水平方向の距離Ｄ２ｈを算出する。

ここで、例えばカメラ本体２ａが斜めに傾いて第２ＣＣＤ５５の補正量よりも第１ＣＣＤ３５の補正量の方が大きくなり、第１ＣＣＤ３５が先に補正限界領域９２Ｒに達した場合には、図５に示すように、Ｄ２ｖ、Ｄ２ｈよりもＤ１ｖ、Ｄ１ｈの方が長くなる。このように各距離の値に差が生じた場合に、各ＣＣＤ３５、５５を同じ速度で光学中心に向かわせてしまうと、距離の短い側が先に光学中心に復帰してしまうため、各ＣＣＤ３５、５５の光学中心に復帰するタイミングが合わなくなる。そして、こうした各ＣＣＤ３５、５５の復帰タイミングのバラツキは、立体画像に視差ズレを生じさせてしまう。

このため、制御データ算出部８４は、図６のグラフ（ａ）、（ｂ）に示すように、第１ＣＣＤ３５がｔ１［ｓ］後にＤ１ｖ［ｍｍ］移動するように第１ＣＣＤ３５の垂直方向の制御データを算出するとともに、第２ＣＣＤ５５が同じｔ１［ｓ］後にＤ２ｖ［ｍｍ］移動するように第２ＣＣＤ５５の垂直方向の制御データを算出する。同様に、制御データ算出部８４は、図６のグラフ（ｃ）、（ｄ）に示すように、第１ＣＣＤ３５がｔ２［ｓ］後にＤ１ｈ［ｍｍ］移動するように第１ＣＣＤ３５の水平方向の制御データを算出するとともに、第２ＣＣＤ５５が同じｔ２［ｓ］後にＤ２ｈ［ｍｍ］移動するように第２ＣＣＤ５５の水平方向の制御データを算出する。このように、制御データ算出部８４は、各ＣＣＤ３５、５５の光学中心への移動が同時に完了するように各制御データを算出する。

なお、時間ｔ１は、例えば、Ｄ１ｖ、Ｄ２ｖのうちの距離の長い側をＤ、各駆動回路４３、６３の性能に応じた平均的な移動速度をＶａｖｅとしたとき、ｔ１＝Ｄ／Ｖａｖｅとして算出する。すなわち、ｔ１は、距離の長い側の平均移動時間として算出すればよい。そして、時間ｔ２も同様に、Ｄ１ｈ、Ｄ２ｈのうちの距離の長い側の平均移動時間として算出すればよい。また、Ｄ１ｖ、Ｄ２ｖ、Ｄ１ｈ、Ｄ２ｈが最大のとき、すなわち各ＣＣＤ３５、５５が補正限界領域９２Ｒ、９２Ｌの四隅にあるときでも各駆動回路４３、６３の駆動に応じて光学中心に復帰可能な範囲の所定値として各時間ｔ１、ｔ２を予め決めておいてもよい。

制御データ算出部８４が算出する制御データとは、所定時間経過後の各ＣＣＤ３５、５５の移動量を示す時系列データである。そして、制御データ算出部８４は、図６の各グラフ（ａ）〜（ｄ）に示すように、横軸を時間、縦軸を移動量とした際に、移動開始から移動完了時までの位置・速度・加速度が連続になるような目標軌道を生成し、これを補間することにより時系列データとしての制御データを得る。このような制御データとしては、例えば、図示のように移動開始直後及び移動完了直前の移動量を小さくした３次関数曲線が挙げられる。こうすれば、各ＣＣＤ３５、５５が滑らかに移動するので、各ＣＣＤ３５、５５の移動にともなって異音が生じることを防ぐことができる。なお、このような制御データの算出手法には、例えば、３次スプライン、ベジエ曲線、躍度最小軌道、６次関数近似など、位置、速度、加速度まで微分可能な目標位置軌道から補間した時系列データを生成可能な任意の手法を用いればよい。

制御データ算出部８４は、各制御データを算出すると、それらの各制御データをＣＰＵ７０に出力する。ＣＰＵ７０は、各制御データを受け取ると、各制御データに基づいて各駆動回路４３、６３の駆動信号を生成し、その駆動信号を各駆動回路４３、６３に入力する。これにより、各制御データに応じた軌道に沿って各ＣＣＤ３５、５５が移動し、各ＣＣＤ３５、５５の光学中心への移動が同時に完了する。

次に、図７に示すフローチャートを参照しながら、上記構成によるステレオカメラ２の作用について説明する。電源スイッチ１２をＯＮ位置にしてステレオカメラ２を起動させ、静止画撮影モードもしくは動画撮影モードにして撮影を開始すると、液晶ディスプレイ１５に立体画像がスルー画として表示される。静止画撮影モード及び動画撮影モードでは、各手振れ検出センサ４１、６１の検出結果、及び各位置検出センサ４２、６２の検出結果がＣＰＵ７０に入力される。ＣＰＵ７０は、各センサ４１、４２、６１、６２の検出結果を基に、揺れを打ち消す方向に各ＣＣＤ３５、５５を移動させる駆動信号を生成し、その駆動信号を各駆動回路４３、６３に入力することで、手振れにともなう立体画像の視差ズレを防止する。

また、この際、ＣＰＵ７０は、各位置検出センサ４２、６２の検出結果を補正限界判定部８２に入力する。補正限界判定部８２は、各位置検出センサ４２、６２の検出結果が入力されると、第１ＣＣＤ３５が補正限界領域９２Ｒに達したか否かを判定するとともに、第２ＣＣＤ５５が補正限界領域９２Ｌに達したか否かを判定し、これらの判定結果を出力する。

ＣＰＵ７０は、各ＣＣＤ３５、５５の一方でも補正限界領域９２Ｒ、９２Ｌに達したと補正限界判定部８２が判定すると、各ＣＣＤ３５、５５を光学中心に復帰させると判断し、各位置検出センサ４２、６２の検出結果を制御データ算出部８４に入力して制御データ算出部８４に制御データの算出を指示する。

制御データ算出部８４は、制御データの算出が指示されると、各ＣＣＤ３５、５５の光学中心への移動が同時に完了するように各ＣＣＤ３５、５５の垂直方向及び水平方向の各制御データを算出する。ＣＰＵ７０は、制御データ算出部８４に各制御データを算出させると、それらの各制御データに基づいて各駆動回路４３、６３の駆動信号を生成し、その駆動信号を各駆動回路４３、６３に入力する。

これにより、各制御データに応じた軌道に沿って各ＣＣＤ３５、５５が移動し、各ＣＣＤ３５、５５の光学中心への移動が同時に完了するので、各ＣＣＤ３５、５５の光学中心への復帰タイミングのバラツキにともなう立体画像の視差ズレが防止される。また、移動開始から移動完了時までの位置・速度・加速度が連続になるように各制御データを算出したので、各ＣＣＤ３５、５５の移動にともなって異音が生じることもない。

ＣＰＵ７０は、各ＣＣＤ３５、５５を光学中心に復帰させたら、再び手振れを防止する処理を開始し、電源がＯＦＦになるまで、あるいは再生モードになるまで上記の処理を繰り返す。

次に、図８に示すフローチャートを参照しながら、本発明の第２の実施形態について説明する。電源スイッチ１２をＯＮ位置にしてステレオカメラ２を起動させると、ＣＰＵ７０が各位置検出センサ４２、６２の検出結果を取得する。この後、ＣＰＵ７０は、取得した各位置検出センサ４２、６２の検出結果を制御データ算出部８４に入力し、制御データ算出部８４に制御データの算出を指示する。以下、上記第１の実施形態と同様の手順で各ＣＣＤ３５、５５を光学中心に復帰させる。

電源スイッチ１２をＯＦＦ位置にした停止状態にステレオカメラ２がある場合には、振動などによって各ＣＣＤ３５、５５の位置が動いてしまうことがある。このため、電源スイッチ１２をＯＮ位置にしてステレオカメラ２を起動させた場合には、各ＣＣＤ３５、５５を光学中心に復帰させる処理を行う必要がある。この際、上記のように、各ＣＣＤ３５、５５の光学中心への移動が同時に完了するようにすれば、電源投入直後に視差のある立体画像がスルー画として液晶ディスプレイ１５に表示されてしまうことを防ぐことができる。

次に、図９のブロック図、及び図１０のフローチャートを参照しながら、本発明の第３の実施形態について説明する。図９に示すように、本実施形態のＣＰＵ７０には、パンニング又はチルティングが行われているか否かを判定するためのパン・チルト判定部８６が設けられている。ＣＰＵ７０は、各手振れ検出センサ４１、６１、及び各位置検出センサ４２、６２の検出結果を基に各駆動回路４３、６３の駆動信号を生成する際に、各手振れ検出センサ４１、６１の検出結果をパン・チルト判定部８６に入力する。

パン・チルト判定部８６は、各手振れ検出センサ４１、６１の検出結果を基に、規定値以上の大きさの動きが一定方向に一定時間以上連続で発生し、通常の手振れとは異なる補正しきれない大きな動きが発生したと判断した場合に、パンニング又はチルティングが行われていると判定する。

図１０のフローチャートに示すように、ＣＰＵ７０は、パンニング又はチルティングが行われているとパン・チルト判定部８６が判定した際に、各ＣＣＤ３５、５５を光学中心に復帰させると判断し、各位置検出センサ４２、６２の検出結果を制御データ算出部８４に入力して制御データ算出部８４に制御データの算出を指示する。そして、上記第１の実施形態と同様の手順で各ＣＣＤ３５、５５を光学中心に復帰させる。

こうすれば、パンニング又はチルティングによる立体画像の動きを誤って補正することを防止することができるとともに、これに応答して各ＣＣＤ３５、５５を光学中心に復帰させる際に、立体画像に視差ズレが生じることを防ぐことができる。

上記各実施形態では、各撮像部３、４の光学中心を所定位置として示したが、所定位置は、これに限ることなく、各補正限界領域９２Ｒ、９２Ｌ内の任意の位置でよい。

上記各実施形態では、復帰開始直後及び復帰完了直前の移動量を小さくした３次関数曲線となるように各制御データを算出するようにしたが、これに限ることなく、図１１に示すように、直線でもよい。さらには、図１２に示すように、各ＣＣＤ３５、５５の光学中心までの距離の長い側が、短い側の距離と同じになるまで、短い側の復帰の開始を遅延させるようにしてもよい。こうすれば、各ＣＣＤ３５、５５を同じ速度で移動させることが可能になるので、制御を簡単にすることができる。

上記各実施形態では、液晶ディスプレイ１５を表面にレンチキュラレンズが設けられた三次元ディスプレイとし、レンチキュラレンズ方式の立体画像データを生成するようにしたが、これに限ることなく、液晶ディスプレイ１５を表面にパララックスバリアが設けられた三次元ディスプレイとし、パララックスバリア方式の立体画像データを生成してもよい。さらには、偏光フィルタメガネを用いて観察する偏光表示方式の立体画像データなどでもよい。

上記各実施形態では、各ＣＣＤ３５、５５を補正部としたイメージセンサシフト方式の手振れ補正に本発明を適用した例を示したが、これに限ることなく、専用のレンズを補正部としたレンズシフト方式の手振れ補正に本発明を適用してもよい。また、上記各実施形態では、第１及び第２の２つの撮像部３、４を備えたステレオカメラ２に本発明を適用した例を示したが、本発明は、これに限ることなく、３つ以上の撮像部を有するカメラに適用してもよい。

２ ステレオカメラ（複眼カメラ）
３ 第１撮像部（撮像光学系）
４ 第２撮像部（撮像光学系）
３５ 第１ＣＣＤ（補正部）
４１、６１ 手振れ検出センサ（手振れ検出手段）
４２、６２ 位置検出センサ（位置検出手段）
４３、６３ 駆動回路（駆動手段）
５５ 第２ＣＣＤ（補正部）
７０ ＣＰＵ（制御手段）
８２ 補正限界判定部（補正限界判定手段）
８６ パン・チルト判定部（パン・チルト判定手段）

Claims (14)

1. 移動により手振れを補正する補正部と、手振れを検出する手振れ検出手段と、前記補正部の位置を検出する位置検出手段と、前記補正部を移動する駆動手段とをそれぞれが有する複数の撮像光学系を備え、撮像光学系ごとに、前記手振れ検出手段と前記位置検出手段との検出結果に基づいて前記駆動手段で前記補正部を移動させることにより、光学式の手振れ補正を行う複眼カメラにおいて、
   前記各補正部を予め決められた所定位置に復帰させる際に、前記各位置検出手段の検出結果に基づく前記各補正部の位置から同時に移動を開始させて前記所定位置に同時に移動を完了させるための、位置、速度、加速度が連続した目標軌道をそれぞれの前記補正部について算出し、前記各補正部の移動を同時に開始させるとともに、算出された前記目標軌道にしたがって前記各補正部をそれぞれ移動させるように前記各駆動部を制御する制御手段を備えたことを特徴とする複眼カメラ。
2. 前記各位置検出手段の検出結果に基づいて、前記補正部が補正用移動範囲の限界に達したか否かを前記各補正部についてそれぞれ判定する補正限界判定手段を備え、
   前記制御手段は、前記各補正部のいずれかが前記限界に達したと前記補正限界判定手段が判定した際に、前記各補正部を前記所定位置に復帰させることを特徴とする請求項１記載の複眼カメラ。
3. 前記補正限界判定手段は、前記補正用移動範囲を示す領域データを有し、前記位置検出手段の検出結果と前記領域データとに基づいて、前記補正部の位置が前記補正用移動範囲の内側か否かを確認することによって前記補正部が前記限界に達したか否かを判定することを特徴とする請求項２記載の複眼カメラ。
4. 前記制御手段は、電源がＯＮになった時に、前記各補正部を前記所定位置に復帰させることを特徴とする請求項１ないし３のいずれか１項に記載の複眼カメラ。
5. 前記各手振れ検出手段の検出結果に基づいてパンニング又はチルティングが行われているか否かを判定するパン・チルト判定手段を備え、
   前記制御手段は、パンニング又はチルティングが行われていると前記パン・チルト判定手段が判定した際に、前記各補正部を前記所定位置に復帰させることを特徴とする請求項１ないし４のいずれか１項に記載の複眼カメラ。
6. 前記パン・チルト判定手段は、前記各手振れ検出手段の検出結果に基づいて、規定値以上の大きさの動きが一定方向に一定時間以上連続で発生した場合に、パンニング又はチルティングが行われていると判定することを特徴とする請求項５記載の複眼カメラ。
7. 前記所定位置は、前記撮像光学系の光学中心であることを特徴とする請求項１ないし６のいずれか１項に記載の複眼カメラ。
8. 移動により手振れを補正する補正部と、手振れを検出する手振れ検出手段と、前記補正部の位置を検出する位置検出手段と、前記補正部を移動させる駆動手段とをそれぞれが有する複数の撮像光学系を備え、撮像光学系ごとに、前記手振れ検出手段と前記位置検出手段の検出結果に基づいて前記駆動手段で前記補正部を移動させることにより、光学式の手振れ補正を行う複眼カメラの制御方法において、
   前記各補正部を予め決められた所定位置に復帰させる際に、前記各位置検出手段の検出結果に基づく前記各補正部の位置から同時に移動を開始させて前記所定位置に同時に移動を完了させるための、位置、速度、加速度が連続した目標軌道をそれぞれの前記補正部について算出し、前記駆動手段による前記各補正部の移動を同時に開始させるとともに、算出された前記目標軌道にしたがって前記各補正部をそれぞれ移動させる復帰制御ステップを有することを特徴とする複眼カメラの制御方法。
9. 前記各位置検出手段の検出結果に基づいて、前記補正部が補正用移動範囲の限界に達したか否かを前記各補正部についてそれぞれ判定する補正限界判定ステップを有し、
   前記各補正部のいずれかが前記限界に達したと前記補正限界判定ステップで判定された際に、前記復帰制御ステップを実行することを特徴とする請求項８記載の複眼カメラの制御方法。
10. 前記補正限界判定ステップは、前記補正用移動範囲を示す領域データを有し、前記位置検出手段の検出結果と前記領域データとに基づいて、前記補正部の位置が前記補正用移動範囲の内側か否かを確認することによって前記補正部が前記限界に達したか否かを判定することを特徴とする請求項９記載の複眼カメラの制御方法。
11. 電源がＯＮになった時に、前記復帰制御ステップを実行することを特徴とする請求項８ないし１０のいずれか１項に記載の複眼カメラの制御方法。
12. 前記各手振れ検出手段の検出結果に基づいてパンニング又はチルティングが行われているか否かを判定するパン・チルト判定ステップを有し、
    パンニング又はチルティングが行われていると前記パン・チルト判定ステップが判定した際に、前記復帰制御ステップを実行することを特徴とする請求項８ないし１１のいずれか１項に記載の複眼カメラの制御方法。
13. 前記パン・チルト判定ステップは、前記各手振れ検出手段の検出結果に基づいて、規定値以上の大きさの動きが一定方向に一定時間以上連続で発生した場合に、パンニング又はチルティングが行われていると判定することを特徴とする請求項１２記載の複眼カメラの制御方法。
14. 前記所定位置は、前記撮像光学系の光学中心であることを特徴とする請求項８ないし１３のいずれか１項に記載の複眼カメラの制御方法。

Images