JP5371845B2 - 撮影装置及びその表示制御方法並びに３次元情報取得装置 - Google Patents

Description

本発明は、被写体の３次元情報の取得に用いられる撮影装置及びその表示制御方法、並びにこの撮影装置を備える３次元情報取得装置に関するものである。

複眼カメラにより被写体を異なる視点から撮影して得られた一対の撮影画像に基づき、被写体の空間的な位置を所定の座標系で表した３次元情報を取得することができる。３次元情報は、各種マッチング法等を用いて一対の撮影画像の互いに対応する画素を求めた結果と、複眼カメラの基線長などのステレオキャリブレーションデータとに基づいて、複眼カメラから一対の撮影画像の各画素にそれぞれ対応する被写体上の点までの距離（３次元座標）を算出するいわゆる距離演算により得られる（特許文献１参照）。

上述の距離演算では、一対の撮影画像の互いに重なり合う重複領域内の３次元情報しか取得することができない。このため撮影時には、シャッタボタンの押下操作あるいは特許器文献２に記載のような自動撮影処理が実行される前に、３次元情報の取得を希望する被写体が重複領域内に収まるようにスルー画像を見ながら構図を決定する必要がある。

特許文献３には、一対の撮影画像の重複領域を検出し、この検出結果を基に各撮影画像を繋ぎ合せてなる合成画像を生成して、この合成画像をモニタに表示する複眼撮像装置が記載されている。特許文献４には、一対の撮影画像の重複領域を検出し、重複領域であることを示す枠画像をスルー画像にオーバレイ表示するステレオカメラが記載されている。

また、特許文献５には、一対の撮影画像からそれぞれ被写体が含まれる被写体領域画像を切り出し、両被写体領域画像を重ね合わせて表示する多眼式データ入力装置が記載されている。この特許文献５の記載に基づき、一対の撮影画像のそれぞれの重複領域に対応する重複領域画像を切り出してスルー画像として表示する方法が考えられる。

特開平５−２３１８２２号公報 特開平１１−８８８１１号公報 特開平７−９５４６７号公報 特開２００６−１２１２２９号公報 特開２００１−１２９１０号公報

しかしながら、特許文献３及び４記載の方法では、スルー画像として表示される合成画像に、重複領域以外の領域である非重複領域の画像も含まれている。このため、構図の決定後に、重複領域画像を高精細に表示して確認することができないという問題がある。逆に特許文献５記載の方法では、構図の決定前でもスルー画像として重複領域画像のみを表示するため、スルー画像の広視野表示を行うことができず、構図の決定を行い難いという問題がある。

本発明は上記問題を解決するためになされたものであり、構図の決定前後で最適なスルー画像表示を行えるようにした撮影装置及びその表示制御方法、並びにこの撮影装置を備える３次元情報取得装置を提供することを目的とする。

上記目的を達成するため、本発明の撮影装置は、被写体を異なる視点から撮影した複数の撮影画像を得る撮像手段と、前記撮像手段により得られた複数の撮影画像から、当該各撮影画像同士で重なり合う重複領域を検出する重複領域検出手段と、前記重複領域検出手段による重複領域検出結果に基づき、前記複数の撮影画像を合成してなる画角の広い合成画像であって、前記重複領域と、前記複数の撮影画像のそれぞれの前記重複領域以外の領域である非重複領域とからなる合成画像を生成する合成画像生成手段と、前記重複領域検出結果に基づき、前記複数の撮影画像の少なくともいずれか一つから前記重複領域に対応する重複領域画像を生成する重複領域画像生成手段と、前記合成画像を動画像として表示する表示手段と、被写体の撮影のための構図の決定を検知する構図決定検知手段と、前記構図決定検知手段が前記構図の決定を検知したときに、前記表示手段の表示を、前記合成画像から前記重複領域画像に切り替える表示制御手段と、を備えることを特徴とする。

前記合成画像生成手段は、前記表示手段の画面の縦横比と前記合成画像の縦横比とが異なる場合、両者の縦横比が一致するように、前記合成画像の前記非重複領域の一部をトリミングすることが好ましい。

前記合成画像生成手段は、前記合成画像の全体が前記表示手段の画面に表示されるように、当該合成画像の前記非重複領域を圧縮することが好ましい。また、前記合成画像生成手段は、前記合成画像の全体が前記表示手段の画面に表示されるように、当該合成画像の縦横比を変更することが好ましい。

撮影装置が静止した状態にあるか否かを検知する静止検知手段を備え、前記構図決定検知手段は、前記静止検知手段の検知結果に基づき、当該撮影装置が静止したときに前記構図が決定したと判定することが好ましい。

前記静止検知手段は加速度センサであることが好ましい。また、前記静止検知手段は、
前記撮像手段により得られた撮影画像のうちの連続する撮影画像間の移動量を検出する移動量検出手段と、前記移動量検出手段が検出した前記移動量がしきい値を下回るか否かに基づき、撮影装置が静止しているか否かを判定する判定手段と、からなることが好ましい。

前記撮像手段は、所定範囲で変倍可能なズーム機能を有する撮影光学系を有しており、前記判定手段は、前記撮影光学系のズーム位置に応じて前記しきい値を可変することが好ましい。さらに、前記判定手段は、前記撮影光学系のズーム位置が望遠端に近づくのに従って前記しきい値を大きくすることが好ましい。

前記表示制御手段は、前記複数の撮影画像のそれぞれの前記重複領域に対応する前記重複領域画像を前記表示手段に並べて表示させることが好ましい。また、前記構図の決定が検知された後、前記表示手段には、前記複数の撮影画像のそれぞれの前記重複領域に対応する前記重複領域画像のいずれか一つが選択的に表示されるとともに、前記表示制御手段に対し、前記表示手段に表示される前記重複領域画像を別の前記重複領域画像に切り替える切替指令を出力する切替指令出力手段を備え、前記表示制御手段は、前記切替指令出力手段からの前記切替指令に応じて、前記表示手段の表示を、現在表示されている前記重複領域画像から別の前記重複領域画像に切り替えることが好ましい。

前記表示手段は、前記複数の撮影画像に基づき立体画像を表示可能であり、撮影モードとして、前記表示手段に前記立体画像を表示する立体視撮影モードと、被写体の空間的な位置を所定の座標系で表した３次元情報の取得のために用いられる前記複数の撮影画像を得る３次元情報取得モードとを有しており、前記重複領域検出手段と、前記合成画像生成手段と、前記構図決定検知手段と、前記表示制御手段とは前記３次元情報取得モード時に作動し、かつ立体視撮影モード時には作動しないことが好ましい。

前記表示手段は、前記３次元情報取得モード時には前記合成画像及び前記重複領域画像をそれぞれ２次元表示することが好ましい。また、前記撮像手段は、被写体を異なる視点から同時に撮影することが好ましい。また、前記表示手段は、前記合成画像中の前記重複領域を識別可能に表示することが好ましい。

また、本発明の３次元情報取得装置は、請求項１ないし１４いずれか１項記載の撮影装置と、前記撮影装置により得られた前記複数の撮影画像に基づき、被写体の空間的な位置を所定の座標系で表した３次元情報を取得する３次元情報取得手段と、を備えることを特徴とする。

また、本発明の撮影装置の表示制御方法は、被写体を異なる視点から撮影して得られた複数の撮影画像から、当該各撮影画像同士で重なり合う重複領域を検出する重複領域検出ステップと、前記重複領域検出ステップでの重複領域検出結果に基づき、前記複数の撮影画像を合成してなる画角の広い合成画像であって、前記重複領域と、前記複数の撮影画像のそれぞれの前記重複領域以外の領域である非重複領域とからなる合成画像を生成する合成画像生成ステップと、前記合成画像を動画像としてモニタに表示する表示ステップと、被写体の撮影のための構図の決定を検知する構図決定検知ステップと、前記構図決定検知ステップで前記構図の決定を検知したときに、前記モニタの表示を、前記複数の撮影画像の少なくともいずれか一つから生成された前記重複領域に対応する重複領域画像に切り替える表示切替ステップと、を有することを特徴とする。

本発明の撮影装置及びその表示制御方法並びに３次元情報取得装置は、構図の決定前は合成画像をスルー画像として表示し、構図の決定が検知されたときに重複領域画像の表示に切り替えるので、構図の決定前はスルー画像の広視野表示を行うことにより構図の決定が行い易くなり、構図の決定後は重複領域画像を表示することにより重複領域の確認が行い易くなる。その結果、構図の決定前後で最適なスルー画像表示を行うことができる。

合成画像の非重複領域の全体が前記画面に表示されるように、非重複領域を圧縮する、あるいは合成画像の縦横比を変更するようにしたので、より広い視野でスルー画像の表示を行うことができる。

撮影装置が静止した状態にあることを検知することにより、自動的に構図の決定を検知するので、操作が楽になる。

複数の撮影画像のそれぞれの重複領域に対応する重複領域画像を表示手段に並べて表示させる、あるいは各重複領域画像を切り替えて表示可能にしたので、全ての重複領域画像を確認することができる。

複眼カメラの正面斜視図である。 複眼カメラの背面斜視図である。 複眼カメラの電気的構成を示すブロック図である。 画像データの重複領域を説明するための説明図である。 第１実施形態の複眼カメラの撮影処理の流れを示すフローチャートである。 合成画像データの生成処理の流れを説明するための説明図である。 合成画像から重複領域画像への表示切替を説明するための説明図である。 重複領域画像の生成のタイミングが異なる別実施形態の複眼カメラの撮影処理の流れを示すフローチャートである。 非重複領域の全体がＬＣＤに表示されるような合成画像データの生成を行う第２実施形態の説明図である。 図９に示した方法とは異なる方法で合成画像データの生成を行う別実施形態の説明図である。 複眼カメラが静止したか否かに基づき構図の決定の有無を検知する第３実施形態の複眼カメラの電気的構成を示すブロック図である。 撮影により得られた画像データに基づき構図の決定の有無を検知する第３−１実施形態の複眼カメラの電気的構成を示すブロック図である。 第３−１実施形態の複眼カメラの撮影処理の流れを示すフローチャートである。 重複領域画像の並列表示を行う第４実施形態の複眼カメラの電気的構成を示すブロック図である。 重複領域画像の並列表示を説明するための説明図である。 重複領域画像の表示切替が可能な第４−１実施形態の複眼カメラの電気的構成を示すブロック図である。 立体画像表示モードを有する第５実施形態の複眼カメラの電気的構成を示すブロック図である。 第５実施形態の複眼カメラの撮影処理の流れを示すフローチャートである。 ２視点の画像データから３次元情報を取得する第６実施形態の複眼カメラの電気的構成を示すブロックである。 第６実施形態の複眼カメラの撮影処理の流れを示すフローチャートである。

図１に示すように、複眼カメラ１０は、被写体を異なる視点から撮影して、この被写体の３次元情報の取得に用いられる左視点画像（以下、Ｌ画像という）、右視点画像（以下、Ｒ画像という）を得る。カメラ本体１１の前面には、左右一対の第１及び第２撮像部１２，１３、ストロボ発光部１４等が設けられている。両撮像部１２，１３は、互いの光軸が略平行またはハ字状となるように所定間隔を隔てて設けられている。カメラ本体１１の上面には、シャッタボタン１５、電源スイッチ１６が設けられている。

図２に示すように、カメラ本体１１の背面には、液晶ディスプレイ（以下、ＬＣＤという）１８、操作部１９が設けられている。また、カメラ本体１１の底面には、図示は省略するが、メモリカード２０が着脱自在に装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。

ＬＣＤ１８は、撮影待機状態時には電子ビューファインダとして機能し、本発明の動画像に相当するスルー画像（ライブビュー画像ともいう）を表示する。なお、スルー画像表示とは、各撮像部１２，１３がそれぞれ所定のフレームレートで撮像した画像を即時にＬＣＤ１８に表示することである。また、画像再生時にはメモリカード２０に記録されている画像データに基づき、ＬＣＤ１８に画像が再生表示される。

操作部１９は、モード切替スイッチ２２、メニューボタン２３、十字キー２４、実行キー２５、ズームボタン２６などから構成されている。モード切替スイッチ２２は、複眼カメラ１０の動作モードを切り替える際に操作される。動作モードには、静止画撮影を行う撮影モード、及び撮影により得られた撮影画像をＬＣＤ１８に再生表示する通常再生モードなどがある。

メニューボタン２３は、ＬＣＤ１８にメニュー画面や設定画面を表示する際などに操作される。十字キー２４は、メニュー画面や設定画面内に表示されるカーソルを移動する際などに操作される。実行キー２５は、カメラの設定を確定する際などに操作される。ズームボタン２６は、撮影レンズ３７（図３参照）を広角側または望遠側に変倍するズーム操作を行う際に操作される。

メモリカード２０には、静止画撮影モード時に両撮像部１２，１３により撮影された被写体のＲ画像データと、Ｌ画像データとが記憶される。このメモリカード２０は、撮影終了後に複眼カメラ１０から取り外された後、３次元情報取得装置２９にセットされる。

３次元情報取得装置２９は、複眼カメラ１０で得られたＬ，Ｒ画像データに基づき上述した距離演算を行って被写体の３次元情報を取得する。３次元情報取得装置２９は、例えば距離演算用アプリケーションプログラムがインストールされたパーソナルコンピュータが用いられる。

図３に示すように、ＣＰＵ３３は、シャッタボタン１５及び操作部１９からの入力信号に基づき、図示しないＲＯＭから読み出した各種プログラムやデータを逐次実行することで、複眼カメラ１０の各部を統括的に制御する。

ＳＤＲＡＭ３４は、ＣＰＵ３３が処理を実行するためのワークメモリとして機能する。ＶＲＡＭ３５は、連続した２フィールド画分を記憶するスルー画像用のメモリエリアを有し、表示用の画像データを一時的に記憶する。

第１撮像部１２は、撮影レンズ３７が組み込まれたレンズユニット３８、ＣＣＤイメージセンサ（以下、ＣＣＤという）３９、ＡＦＥ（アナログフロントエンド）４０などから構成される。なお、ＣＣＤの代わりにＭＯＳ型のイメージセンサを用いてもよい。

レンズユニット３８には、図示しないズーム機構、フォーカス機構、絞り装置が組み込まれている。ズーム機構は、撮影レンズ３７を移動してズーミングを行う。フォーカス機構は、撮影レンズ３７に組み込まれたフォーカスレンズを移動してピント合せを行う。絞り装置は、図示しない絞りを調節することで、ＣＣＤ３９に入射する被写体光の強度を調節する。ズーム機構、フォーカス機構、絞り装置は、レンズドライバ４１を介してＣＰＵ３３によって動作制御される。

撮影レンズ３７の背後には、多数のフォトダイオードが受光面に並べられたＣＣＤ３９が配置され、撮影レンズ３７からの被写体光を電気的な撮像信号に変換して出力する。ＣＣＤ３９には、ＣＰＵ３３によって制御されるＣＣＤドライバ４２が接続されている。ＣＣＤドライバ４２は、ＴＧ（Timing Generator）４３からの同期パルスによって駆動され、ＣＣＤ３９の電荷蓄積時間と電荷読み出し転送タイミングを制御する。

ＣＣＤ３９から出力された撮像信号は、ＡＦＥ４０に入力される。ＡＦＥ４０は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（自動ゲイン調整アンプ）、Ａ／Ｄ変換器から構成され、ＴＧ４３からの同期パルスが入力されることで、ＣＣＤ３９の電荷読み出し転送動作と同期して作動する。ＣＤＳ回路は、相関二重サンプリングを行って撮像信号からノイズを除去する。ＡＧＣ回路は、ＣＰＵ３３によって設定される撮影感度に応じたゲインで撮像信号を増幅する。Ａ／Ｄ変換器は、ＡＧＣ回路からのアナログの撮像信号をデジタルなＬ画像信号に変換し、このＬ画像信号を画像入力コントローラ４５へ送る。

第２撮像部１３は、第１撮像部１２と同じ構成であり、Ｒ画像信号を画像入力コントローラ４５へ送る。

基線長可変機構４７は、ＣＰＵ３３からの制御指令に基づき、第１撮像部１２と第２撮像部１３との間隔を可変することで、両撮像部１２，１３の撮影光軸間の長さである基線長を可変する。測距センサ４８は、投光センサ及び受光センサからなり、複眼カメラ１０から被写体までの距離を測距した測距データをＣＰＵ３３に入力する。

ＣＰＵ３３には、バス５０を介して、ＳＤＲＡＭ３４、ＶＲＡＭ３５、画像入力コントローラ４５、信号処理回路５１、重複領域検出回路５２、合成画像生成回路５３、重複領域画像生成回路５４、圧縮伸張処理回路５５、メディアコントローラ５６、表示回路５７等が接続されている。

画像入力コントローラ４５は、所定容量のバッファを有しており、第１及び第２撮像部１２，１３からそれぞれ出力されたＬ，Ｒ画像信号を蓄積し、それぞれ１フレーム分のＬ，Ｒ画像信号が蓄積されたときに、１フレーム分の画像に対応するＬ，Ｒ画像信号を信号処理回路５１へ送る。

信号処理回路５１は、画像入力コントローラ４５から入力されたＬ，Ｒ画像信号に対して階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種処理を施すことで、それぞれ１フレームの画像に対応するＬ，Ｒ画像データを生成し、これらをＳＤＲＡＭ３４に格納する。

図４に示すように、重複領域検出回路５２は、ＣＰＵ３３の指令の下、ＳＤＲＡＭ３４に記憶されたＬ画像データに基づくＬ画像と、Ｒ画像データに基づくＲ画像とが互いに重なり合う重複領域６０を検出する。重複領域６０は、基線長、ズーム倍率などによって一義的に決まる。重複領域検出回路５２には、これらパラメータと重複領域６０の範囲とを対応付けたデータが予め格納されており、このデータを参照してＬ，Ｒ画像データの重複領域６０を決定する。なお、符号６１はＬ，Ｒ画像データの非重複領域である。

図３に戻って、合成画像生成回路５３は、複眼カメラ１０の動作モードが撮影モードにセットされているときに作動する。合成画像生成回路５３は、ＣＰＵ３３の指令の下、ＳＤＲＡＭ３４に記憶されたＬ，Ｒ画像データに基づき、Ｌ，Ｒ画像データのいずれか一方（例えばＬ画像データ）に、他方の画像データの非重複領域６１を繋ぎ合わせて画角の広い合成画像データ（図６参照）を生成する。合成画像データは、Ｌ画像データの重複領域６０と、Ｌ、Ｒ画像データのそれぞれ非重複領域６１とで構成される。

また、合成画像生成回路５３は、シャッタボタン１５が半押し操作されるまでの期間は生成した合成画像データをＶＲＡＭ３５に逐次格納し、半押し操作されている期間は新たな合成画像データを生成するたびにその直前に形成された合成画像データを破棄する。

さらに、合成画像生成回路５３は、合成画像データを生成した際に、合成画像の縦横比とＬＣＤ１８の画面の縦横比とが一致するように、合成画像データに対してトリミング処理を施す。さらに、合成画像生成回路５３は、合成画像データにその重複領域６０を示す表示データを合成する。

重複領域画像生成回路５４は、ＣＰＵ３３の指令の下、ＳＤＲＡＭ３４に記憶されたＬ，Ｒ画像データに基づき、Ｌ，Ｒ画像データのいずれか一方の重複領域６０に対応する重複領域画像データを生成する。また、重複領域画像生成回路５４は、シャッタボタン１５が半押しされている期間は生成した重複領域画像データをＶＲＡＭ３５に逐次格納し、これ以外の期間は新たな重複領域画像データを生成するたびにその直前に形成された重複領域データを破棄する。

圧縮伸張処理回路５５は、シャッタボタン１５が押下された時に、ＶＲＡＭ３５に格納された非圧縮のＬ，Ｒ画像データに圧縮処理を行い、所定のファイル形式のＬ，Ｒ圧縮画像データを生成する。なお、ここで行われる圧縮処理は可逆圧縮処理であることが好ましい。これは３次元情報取得装置２９が上述の距離演算を行う際に、Ｌ画像の各々の画素がＲ画像のどの画素に対応するかをパターンマッチングやステレオマッチングなどのマッチング手法で求めるためである。この場合にＬ，Ｒ画像データがＪＰＥＧ形式等で非可逆的に圧縮されているとマッチングの結果に誤差が生じてしまう。

また、圧縮伸張処理回路５５は、画像再生時にはメモリカード２０に記録されたＬ，Ｒ圧縮画像データに伸張処理を行い、非圧縮のＬ，Ｒ画像データを生成する。メディアコントローラ５６は、メモリカード２０に対する画像データの記録及び読み出しなどを行う。

表示回路５７は、ＶＲＡＭ３５から読み出した合成画像データまたは重複領域画像データや、圧縮伸張処理回路５５で伸張された非圧縮のＬ，Ｒ画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでＬＣＤ１８へ出力する。これにより、撮影モード時には、合成画像または重複領域画像がスルー画像としてＬＣＤ１８に表示される。また、再生モード時には、メモリカード２０から読み出されたＬ，Ｒ画像データがＬＣＤ１８に表示される。

ＣＰＵ３３は、ＲＯＭから読み出した各種プログラムを逐次実行することで、構図決定検知部６５、撮影条件変更検知部６６、及びスルー画像表示制御部６７として機能する。これら各部は、撮影モード時に作動する。

構図決定検知部６５は、シャッタボタン１５が半押しされたか否かに基づいて、被写体の撮影のための構図が決定したか否かを検知する。この半押し操作は構図が決定した後で行われるのが通常であるので、シャッタボタン１５の操作状態を監視することにより、構図が決定したか否かが検知される。構図決定検知部６５は、構図の決定を検知したときに、構図決定信号をスルー画像表示制御部６７に対して出力する。

撮影条件変更検知部６６は、複眼カメラ１０の撮影条件、より具体的には重複領域６０の範囲が変化するような撮影条件の変化を検知する。この撮影条件は、基線長、焦点距離、及び被写体−複眼カメラ１０の距離（以下、被写体距離という）などである。基線長の変化は、基線長可変機構４７の作動により検知することができる。焦点距離の変化は、レンズユニット３８のズーム機構の作動により検知することができる。また、被写体距離の変化は、測距センサ４８から入力される測距データに基づき検知することができる。撮影条件変更検知部６６は、撮影条件の変化を検知したときに、変化検知信号をスルー画像表示制御部６７に対して出力する。

スルー画像表示制御部６７は、重複領域検出回路５２、合成画像生成回路５３、重複領域画像生成回路５４、及び表示回路５７などのスルー画像表示に関る各回路を統括制御する。スルー画像表示制御部６７は、複眼カメラ１０の動作モードが撮影モードに切り替えられた時、及び撮影条件変更検知部６６からの変化検知信号が入力された時に、重複領域検出回路５２を作動させて重複領域６０の検出を実行させる。

また、スルー画像表示制御部６７は、新たなＬ，Ｒ画像データがＳＤＲＡＭ３４に格納される度に、重複領域検出回路５２で得られた最新の重複領域６０の検出結果に基づき、合成画像生成回路５３及び重複領域画像生成回路５４をそれぞれ作動させる。これにより、合成画像データ及び重複領域画像データの生成、並びにこれら画像データの格納または破棄が実行される。さらに、スルー画像表示制御部６７は、新たな合成画像データまたは重複領域画像データがＶＲＡＭ３５に格納される度に、表示回路５７を制御してＬＣＤ１８にスルー画像を表示させる。

次に、図５に示すフローチャートを用いて上記構成の複眼カメラ１０の撮影処理について説明を行う。電源スイッチ１６がＯＮされると、ＣＰＵ３３がＲＯＭから制御プログラムをロードし、複眼カメラ１０の動作制御を開始する。

次いで、モード切替スイッチ２２が撮影モードに設定されると、各撮像部１２，１３の撮影レンズ３７を介して入射された被写体光は、ＣＣＤ３９において光電変換され、さらにＡＦＥ４０においてデジタル画像信号に変換される。各撮像部１２，１３から出力されたＬ，Ｒ画像信号は、画像入力コントローラ４５を介して信号処理回路５１に送られて各種の画像処理が施される。こうして１フレーム分のＬ，Ｒ画像データが所定のフレームレートでＳＤＲＡＭ３４に格納される。

１フレーム目のＬ，Ｒ画像データの格納後、ＣＰＵ３３のスルー画像表示制御部６７は、重複領域検出回路５２に対して重複領域検出指令を発する。この検出指令を受けて、重複領域検出回路５２は、ＳＤＲＡＭ３４に格納されたＬ，Ｒ画像データの重複領域６０を検出し、この検出結果をスルー画像表示制御部６７に送る。

スルー画像表示制御部６７は、重複領域検出結果を受けて、この重複領域検出結果を合成画像生成回路５３及び重複領域画像生成回路５４に送るとともに、合成画像生成回路５３に対して合成画像生成指令を発し、さらに重複領域画像生成回路５４に対して重複領域画像生成指令を発する。合成画像生成回路５３は、合成画像生成指令を受けて、ＳＤＲＡＭ３４からＬ，Ｒ画像データの複製を取得する。

次いで、図６（Ａ）に示すように、合成画像生成回路５３は、スルー画像表示制御部６７から取得した重複領域検出結果に基づき、Ｒ画像データの非重複領域６１を求め、この非重複領域６１をＲ画像データから切り出す。次いで、合成画像生成回路５３は、Ｌ画像データと、Ｒ画像データの非重複領域６１とを繋ぎ合わせる。これにより、（Ｂ）に示すように合成画像データが生成される。なお、図６（Ａ），（Ｂ）の説明とは逆に、Ｒ画像データに、Ｌ画像データから切り出した非重複領域６１を繋ぎ合わせて合成画像データを生成してもよい。また、合成画像データの生成方法は、上述の方法の以外の各種の合成方法を用いてよい。

合成画像データの生成後、合成画像生成回路５３は、合成画像データの縦横比と既知のＬＣＤ１８の画面の縦横比とを比較する。そして、合成画像生成回路５３は、両者の縦横比が一致しない場合、両者の縦横比が一致するように、合成画像データの両端部に位置する非重複領域６１の一部をトリミング領域６９（斜線で表示）としてトリミングする。これにより、（Ｃ）に示すように、ＬＣＤ１８の画面の縦横比に合う合成画像データが生成される。

また、合成画像生成回路５３は、先に取得した重複領域検出結果に基づき、トリミング処理された合成画像データに、重複領域６０を示す枠７０を表示するための表示データを合成する。以上で、合成画像生成回路５３による合成画像データの生成が完了する。

図５に戻って、重複領域画像生成回路５４は、重複領域画像生成指令を受けて、ＳＤＲＡＭ３４に格納されたＬ，Ｒ画像データのいずれか一方の重複領域６０に対応する重複領域画像データを生成する。

合成画像データ及び重複領域画像データが生成された後、スルー画像表示制御部６７は、構図決定検知部６５からの構図決定信号の入力がない場合、合成画像生成回路５３に対して画像格納指令を発する。この画像格納指令を受けて合成画像生成回路５３は、生成した合成画像データをＶＲＡＭ３５に格納する。

次いで、スルー画像表示制御部６７は、表示回路５７に対してスルー画像表示指令を発する。表示回路５７は、スルー画像表示指令を受けて、ＶＲＡＭ３５から合成画像データを読み出し、この合成画像データに基づく合成画像７１（図７参照）をスルー画像としてＬＣＤ１８に表示させる。

シャッタボタン１５が半押し操作されるまでの間、上述の合成画像７１の表示処理が継続する。この際、スルー画像表示制御部６７は、新たな１フレーム分のＬ，Ｒ画像データがＳＤＲＡＭ３４に格納されたときに、撮影条件変更検知部６６からの変化検知信号の入力がない場合、先に検出された重複領域検出結果に基づき、両画像生成回路５３，５４にそれぞれ合成画像データ、重複領域画像データを生成させる。この場合、重複領域６０が変化するような撮影条件の変化が発生していないので、先の重複領域検出結果に基づき合成画像データ、重複領域画像データを生成しても特に問題はない。

一方、基線長可変機構４７が作動して基線長が変化した場合、レンズユニット３８のズーム機構が作動して焦点距離が変化した場合、測距センサ４８から入力される測距データに基づき被写体距離が変化した場合には、撮影条件変更検知部６６は、スルー画像表示制御部６７に対して変化検知信号を出力する。スルー画像表示制御部６７は、変化検知信号が入力された場合には、上述した重複領域検出処理、合成画像データ及び重複領域画像データ生成処理を実行させる。

シャッタボタン１５が半押しされると、焦点制御や露出制御などの撮影準備処理が行われるとともに、構図決定検知部６５がスルー画像表示制御部６７に対して構図決定信号を出力する。スルー画像表示制御部６７は、構図決定信号を受けて、合成画像生成回路５３に対する画像格納指令を停止するとともに、重複領域画像生成回路５４に対して画像格納指令を発する。この画像格納指令を受けて重複領域画像生成回路５４は、生成した重複領域画像データをＶＲＡＭ３５に格納する。次いで、表示回路５７は、ＶＲＡＭ３５から重複領域画像データを読み出し、この画像データに基づく重複領域画像７２（図７参照）を、スルー画像としてＬＣＤ１８の画面に合わせて拡大表示させる。

図７（Ａ），（Ｂ）に示すように、シャッタボタン１５の半押し操作により、ＬＣＤ１８の表示が合成画像７１から重複領域画像７２の拡大表示に切り替わる。シャッタボタン１５の半押し操作前は、合成画像７１をスルー画像として表示するため、スルー画像の広視野表示を行うことができ、構図の決定が行い易くなる。また、合成画像７１に重複領域６０を示す枠７０が表示されるため、重複領域６０を容易に識別することができる。

シャッタボタン１５が半押し操作された後は、重複領域画像７２がスルー画像として拡大表示されるため、構図の決定後に重複領域画像７２を高精細に表示して確認することができる。これにより、構図の決定前後で最適なスルー画像表示を行うことができる。

シャッタボタン１５の全押し操作に応答して被写体の撮影が実行される。第１及び第２撮像部１２，１３からそれぞれ１フレーム分のＬ，Ｒ画像信号が出力され、信号処理回路４９にて所定の信号処理が施され、Ｌ，Ｒ画像データがＳＤＲＡＭ３４に記録される。このＬ，Ｒ画像データは、圧縮伸張処理回路５５にて可逆圧縮された後、メディアコントローラ５６を経由してメモリカード２０へ記録される。以下、撮影モードが設定されている間、上述の処理が繰り返し実行される。

上記第１実施形態では、シャッタボタン１５の半押し操作前でも重複領域画像生成回路５４による重複領域画像データの生成が行われているが、例えば図８に示すように、シャッタボタン１５の半押し操作が行われた時に重複領域画像データの生成を行ってもよい。また、上記第１実施形態では、重複領域画像７２をＬＣＤ１８の画面に合わせて拡大表示させているが、拡大表示を行わなくともよい。

次に、本発明の第２実施形態の複眼カメラについて説明を行う。上記第１実施形態では、合成画像データの非重複領域６１の一部をトリミングしているが、第２実施形態では、合成画像７１に非重複領域６１の全体が含まれるようにする。なお、第２実施形態の構成は、上記第１実施形態の複眼カメラ１０と同じ構成であるので図示は省略する。

図９に示すように、第２実施形態では、重複領域６０及び非重複領域６１のサイズと、ＬＣＤ１８の画面のサイズ及び縦横比とに基づき、合成画像７１の非重複領域６１の全体がＬＣＤ１８に表示されるように、Ｌ，Ｒ画像データの非重複領域６１をそれぞれ圧縮処理してから上述の合成画像データの生成を行う。この圧縮処理方法は、一般的な画像の縮小処理法や減画素処理法などの各種方法を用いることができる。合成画像７１の重複領域６０は第１実施形態と同様にそのまま表示される。なお、非重複領域６１の圧縮処理は合成画像データの生成後に行ってもよい。

また、例えば図１０に示すように、非重複領域６１に圧縮処理を施す代わりに、合成画像データのサイズと、ＬＣＤ１８の画面のサイズ及び縦横比とに基づき、合成画像データに基づく合成画像の全体がＬＣＤ１８に表示されるように、合成画像データの縦横比を変更してもよい。この縦横比の変更処理についても周知の方法が用いられる。この場合、図９で説明した実施形態と異なり重複領域６０も圧縮して表示される。

次に、図１１を用いて本発明の第３実施形態の複眼カメラ７５について説明する。上記第１実施形態では、シャッタボタン１５が半押し操作されるか否かに基づき構図の決定の有無を検知しているが、複眼カメラ７５では、この複眼カメラ７５が静止したか否かを検知した結果に基づき構図の決定の有無を検知する。

複眼カメラ７５は、第１実施形態（第２実施形態でも可）の複眼カメラ１０と基本的に同じ構成である。ただし、複眼カメラ７５には加速度センサ７６が設けられているとともに、ＣＰＵ３３は第１実施形態の構図決定検知部６５とは異なる構図決定検知部７７として機能する。

加速度センサ７６は、例えば３軸方向の加速度をそれぞれ検出してその検出結果を示す加速度信号をＣＰＵ３３へ出力する。構図決定検知部７７は静止判定部７８を備えている。構図決定検知部７７は、静止判定部７８が複眼カメラ７５の静止を判定するか否かに基づき、構図の決定の有無を検知する。

静止判定部７８は、加速度センサ７６から加速度信号が入力されている間は複眼カメラが動いていると判定し、加速度信号の入力が停止したときに複眼カメラが静止したと判定する。これにより、複眼カメラ７５がほぼ静止した状態となったときに、ＬＣＤ１８の表示が合成画像７１から重複領域画像７２の拡大表示に切り替わる。自動的に構図の決定を検知するので、撮影者の操作が楽になる。

次に、図１２を用いて本発明の第３−１実施形態の複眼カメラ８０について説明を行う。この複眼カメラ８０は、ＳＤＲＡＭ３４に逐次格納されるＬ，Ｒ画像データに基づき、構図の決定の有無を検知する。

複眼カメラ８０は、第３実施形態の複眼カメラ７５と基本的に同じ構成である。ただし、複眼カメラ８０のＣＰＵ３３は、移動量検出部８１としても機能する。また、構図決定検知部７７は、第３実施形態の静止判定部７８とは異なる静止判定部８２を備えている。

移動量検出部８１は、ＳＤＲＡＭ３４に逐次格納されるＬ画像データ（Ｒ画像データでも可）のうち、連続するＬ画像データ間の移動量（以下、単に移動量という）を検出する。具体的には、ブロックマッチング法や木探索法などのマッチング手法を用いて２画像間の特徴点のマッチングをとることにより画像間の移動量を検出する方法などの周知の移動量検出方法が用いられる。移動量検出部８１は、撮影モードが設定されている間、移動量の検出結果を示す移動量検出結果を構図決定検知部７７へ逐次出力する。

静止判定部８２は、移動量検出部８１から入力される移動量検出結果に基づき、移動量がしきい値を下回っているか否かに基づき、複眼カメラ８０が静止しているか否かを判定する。このしきい値は、撮影レンズ３７のズーム位置に応じて可変される。静止判定部８２は、レンズユニット３８のズーム機構の作動を監視して、撮影レンズ３７のズーム位置が望遠端に近づくのに従ってしきい値を大きく設定し、逆にズーム位置が広角端に近づくのに従ってしきい値を小さく設定する。なお、しきい値の決定は、例えばズーム位置としきい値とを対応付けたデータテーブルを参照して行われる。

次に、図１３に示すフローチャートを用いて複眼カメラ８０の構図決定検知処理について説明を行う。なお、構図決定以外の処理については上記第１実施形態と同じであるため説明は省略する。撮影モードが設定されると、Ｌ，Ｒ画像データがＳＤＲＡＭ３４に逐次格納される。

移動量検出部８１は、新たなＬ画像データがＳＤＲＡＭ３４に格納されるたびに、この新たなＬ画像データと、その一つ前に格納されたＬ画像データとの間の移動量を算出して、移動量算出結果を構図決定検知部７７へ出力する。構図決定検知部７７は、移動量算出結果の入力を受けて静止判定部８２を作動させる。

静止判定部８２は、撮影レンズ３７のズーム位置に基づき、移動量のしきい値を決定する。次いで、静止判定部８２は、移動量算出結果が求めたしきい値以上である場合には複眼カメラ８０が動いていると判定し、しきい値未満である場合には複眼カメラ８０が静止していると判定する。この際に、撮影レンズ３７のズーム位置が望遠端側にある場合には、少しの複眼カメラ８０の移動でも検出される移動量が大きくなってしまうが、ズーム位置が望遠端に近づくのに従ってしきい値が大きくなるので、複眼カメラ８０が静止していると判定される。

構図決定検知部７７は、静止判定部８２が複眼カメラ８０の静止を判定するか否かに基づいて、構図の決定の有無を検知する。これにより、第３実施形態と同様に複眼カメラ８０がほぼ静止したときに、ＬＣＤ１８の表示が合成画像７１から重複領域画像７２の拡大表示に切り替わるので、第３実施形態と同様の効果が得られる。

次に、図１４を用いて本発明の第４実施形態の複眼カメラ８５について説明を行う。上記第１実施形態では構図決定の検知後、Ｌ，Ｒ画像データのいずれか一方から生成された重複領域画像７２をＬＣＤ１８に表示しているが、複眼カメラ８５では、Ｌ，Ｒ画像データのそれぞれの重複領域６０に対応するＬ，Ｒ重複領域画像７２Ｌ，７２ＲをＬＣＤ１８に表示する。

複眼カメラ８５は、基本的に上記第１実施形態（第２〜第３−１実施形態でも可）の複眼カメラ１０と同じ構成である。ただし、複眼カメラ８５には、重複領域画像生成回路５４の代わりに重複領域並列画像生成回路（以下、単に並列画像生成回路という）８６が設けられている。また、ＣＰＵ３３は、第１実施形態のスルー画像表示制御部６７とは異なるスルー画像表示制御部８７として機能する。

並列画像生成回路８６は、ＣＰＵ３３の指令の下、ＳＤＲＡＭ３４に記憶されたＬ，Ｒ画像データに基づき、Ｌ，Ｒ画像データのそれぞれの重複領域６０に対応するＬ，Ｒ重複領域画像データを生成する。スルー画像表示制御部８７は、基本的には第１実施形態のスルー画像表示制御部６７と同じように機能する。

以下、上記構成の複眼カメラ８５の作用について説明を行う。なお、シャッタボタン１５が半押し操作されるまでの処理の流れは、並列画像生成回路８６がＬ，Ｒ重複領域画像データを生成する点を除けば、第１実施形態と基本的に同じであるため説明は省略する。

スルー画像表示制御部８７は、構図決定信号が入力されたときに、並列画像生成回路８６に対して画像格納指令を発する。この画像格納指令を受けて並列画像生成回路８６は、生成したＬ，Ｒ重複領域画像データをＶＲＡＭ３５に格納する。次いで、スルー画像表示制御部８７は、表示回路５７に対して２画面表示指令を発する。

図１５に示すように、表示回路５７は、２画面表示指令を受けて、Ｌ，Ｒ重複領域画像データに基づくＬ，Ｒ重複領域画像７２Ｌ，７２Ｒをスルー画像としてＬＣＤ１８に並べて表示させる。これにより、両眼の重複領域画像を確認することができる。

次に、図１６を用いて本発明の第４−１実施形態の複眼カメラ８９について説明を行う。上記第４実施形態では、Ｌ，Ｒ重複領域画像７２Ｌ，７２ＲをＬＣＤ１８に２画面表示しているが、複眼カメラ８９では、Ｌ，Ｒ重複領域画像７２Ｌ，７２Ｒのいずれか一方を選択的にＬＣＤ１８に表示させる。

複眼カメラ８９も基本的に上記第１実施形態（第２〜第３−１実施形態でも可）の複眼カメラ１０と同じ構成である。ただし、複眼カメラ８９のＣＰＵ３３は、表示切替制御部（切替指令出力手段）９０としても機能する。表示切替制御部９０は、スルー画像表示制御部６７を制御して、Ｌ，Ｒ重複領域画像７２Ｌ，７２Ｒの表示の切替を行う。

表示切替制御部９０は、重複領域画像表示中に操作部１９で画像切替操作が行われると、スルー画像表示制御部６７に対して表示画像切替指令を発する。例えばＬ重複領域画像７２ＬがＬＣＤ１８に表示されている場合、スルー画像表示制御部６７は、表示画像切替指令を受けたときに、Ｒ重複領域画像データを生成するように重複領域画像生成回路５４を制御する。これにより、重複領域画像生成回路５４は、Ｒ画像データに基づきＲ重複領域画像データを生成するので、ＬＣＤ１８の表示がＬ重複領域画像７２ＬからＲ重複領域画像７２Ｒに切り替わる。第４実施形態と同様に、両眼の重複領域画像を確認することができる。

上記第４−１実施形態では、操作部１９で画像切替操作が行われたときに、表示切替制御部９０がスルー画像表示制御部６７に対して表示画像切替指令を発しているが、例えば、スルー画像表示制御部６７に対して一定時間間隔ごとに表示画像切替指令を発してもよい。

次に、図１７を用いて本発明の第５実施形態の複眼カメラ９３について説明を行う。この複眼カメラ９３は、３次元情報取得モードと立体表示モードとからなる２種類の撮影モードを有している。３次元情報取得モードは、上記第１実施形態と同様に被写体の３次元情報の取得に用いられるＬ，Ｒ画像データの取得を行うモードである。また、立体表示モードは、被写体撮影により得られたＬ，Ｒ画像データに基づき立体画像を表示するモードである。

複眼カメラ９３は、基本的には第１実施形態（第２〜第４−１実施形態でも可）の複眼カメラ１０と同じ構成である。ただし、複眼カメラ９３には、第１実施形態のＬＣＤ１８及び表示回路５７の代わりに、立体表示用ＬＣＤ９４及び立体表示用回路９５が設けられている。モード切替スイッチ２２は、動作モードを３次元情報取得モードと立体表示モードと再生モードとのいずれかに切り替える。信号処理回路５１は、動作モードが立体表示モードに設定されている場合、Ｌ，Ｒ画像データをＶＲＡＭ３５に格納する。

また、複眼カメラ９３のＣＰＵ３３は、上記第１実施形態のスルー画像表示制御部６７とは異なるスルー画像表示制御部９６として機能する。

立体表示用回路９５は、ＶＲＡＭ３５に格納されているＬ画像データとＲ画像データとを１ラインごと交互に短冊状に並べたストライプ画像データを生成し、このストライプ画像データを立体表示用ＬＣＤ９４に出力する。

立体表示用ＬＣＤ９４は、その前面にレンチキュラレンズが設けられている。レンチキュラレンズは、ストライプ画像データのうちＬ画像データのストライプを観察者の左目に見せ、Ｒ画像データのストライプを観察者の右目に見せる。観察者は、左右の目でＬ，Ｒ画像データに基づくＬ，Ｒ画像をそれぞれ観察することにより、立体画像を観察することができる。

スルー画像表示制御部９６は、動作モードが３次元情報取得モードに設定されている場合、上記第１実施形態で説明したように重複領域検出回路５２、合成画像生成回路５３、重複領域画像生成回路５４を制御する。また、スルー画像表示制御部９６は、動作モードが立体表示モードに設定されている場合、これら各回路５２〜５４の作動を停止させる。

以下、図１８に示すフローチャートを用いて上記構成の複眼カメラ９３の作用について説明を行う。なお、動作モードが３次元情報取得モードに設定されている場合の処理は、基本的には第１実施形態と同じである。ただし、シャッタボタン１５の半押し操作前は、同じ合成画像データが２つ生成されてＶＲＡＭ３５に格納され、シャッタボタン１５の半押し操作後は、同じ重複領域画像データが２つ生成されてＶＲＡＭ３５に格納される。

立体表示用回路９５は、２つの同じ合成画像データあるいは２つの同じ重複領域画像データに基づきストライプ画像データを生成し、このストライプ画像データを立体表示用ＬＣＤ９４に出力する。この場合、両合成画像データの視差、及び両重複領域画像データの視差はゼロであるため、合成画像７１及び重複領域画像７２はそれぞれ２Ｄ表示される。

一方、動作モードが立体表示モードに設定されている場合、スルー画像表示制御部９６は、重複領域検出回路５２、合成画像生成回路５３、及び重複領域画像生成回路５４の作動を停止させる。そして、スルー画像表示制御部９６は、新たなＬ，Ｒ画像データがＶＲＡＭ３５に格納される度に、立体表示用回路９５に対して立体表示指令を発する。

立体表示用回路９５は、立体表示指令を受けてＶＲＡＭ３５からＬ，Ｒ画像データを読み出してストライプ画像データを生成し、このストライプ画像データを立体表示用ＬＣＤ９４に出力する。これにより、立体表示用ＬＣＤ９４に立体画像がスルー画像として表示される。この際に、立体画像に上述の重複領域６０を示す枠７０を合成して表示することも可能ではあるが、この場合には枠７０が判別し難くなるので構図の決定を行い難いという問題がある。これに対して本発明では、３次元情報取得モード時には合成画像７１が２Ｄ表示されるため、上述の問題の発生を防止することができる。

上記第５実施形態では、立体画像を表示する表示方式としてレンチキュラ方式を例に挙げて説明を行ったが、例えば視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式等の周知の各種立体表示方式を用いてよい。

次に、図１９を用いて本発明の第６実施形態の複眼カメラ（３次元情報取得装置）１００について説明を行う。上記各実施形態では３次元情報の取得を３次元情報取得装置２９で行うが、複眼カメラ１００ではＬ，Ｒ画像データからの３次元情報の取得も行う。

複眼カメラ１００は、３次元情報取得回路１０１が設けられている点を除けば、第１実施形態（第２〜第５実施形態でも可）の複眼カメラ１０と同じ構成である。３次元情報取得回路１０１は、ＣＰＵ３３の制御の下、ＳＤＲＡＭ３４に格納されているＬ，Ｒ画像データから３次元情報の取得を行う。

以下、図２０のフローチャートを用いて上記構成の複眼カメラ１００の作用について説明を行う。なお、シャッタボタン１５が全押し操作されるまでの処理の流れは、第１実施形態と同じであるため説明は省略する。

シャッタボタン１５の全押し操作に応答して被写体の撮影が実行され、第１及び第２撮像部１２，１３からそれぞれ１フレーム分のＬ，Ｒ画像信号が出力された後、信号処理回路４９を経てＬ，Ｒ画像データがＳＤＲＡＭ３４に格納される。Ｌ，Ｒ画像データの格納後、ＣＰＵ３３は、３次元情報取得回路１０１に対して３次元情報取得指令を発する。

３次元情報取得回路１０１は、３次元情報取得指令を受けて、重複領域検出回路５２による重複領域検出結果と、ＳＤＲＡＭ３４に格納されているＬ，Ｒ画像データとに基づき、被写体の３次元情報を取得する距離演算を開始する。３次元情報取得回路１０１は、最初にパターンマッチングなどを行うことにより、Ｌ画像データの重複領域６０の各々の画素がＲ画像データのうちのどの画素に対応するかを求める。

次いで、３次元情報取得回路１０１は、上記画素の対応づけと、既知の基線長及び焦点距離などのステレオキャブレーションデータとに基づき、ステレオ法（三角測量法）を用いた距離演算を行って、重複領域６０内の個々の画素に対応する被写体上の点までの距離（３次元座標値）を求める。なお、ステレオ法を用いた距離の算出方法は周知技術であるので、ここでは説明を省略する（例えば、特開平５−２３１８２２号、特開２００８−２５２４９３公報参照）。

距離演算により、重複領域６０内の個々の画素に対応する被写体上の各点の空間上の位置を所定の座標系で表した３次元情報が取得される。この３次元情報は、ＳＤＲＡＭ３４に格納されたＬ，Ｒ画像データとともに、メディアコントローラ５６を経由してメモリカード２０へ記録される。なお、Ｌ，Ｒ画像データの記録が不要である場合には、３次元情報のみがメモリカード２０に記録される。以下、撮影モードが設定されている間、上述の処理が繰り返し実行される。

なお、複眼カメラ１００では、撮影条件の一つである被写体距離を測距センサ４８からの測距データに基づき検知する代わりに、上述の距離演算の結果を用いてよい。

上記各実施形態では、撮影条件変更検知部６６が検知する撮影条件の変化として、基線長、焦点距離、被写体距離などの変化を例に挙げて説明を行ったが、例えば第１撮像部１２，第２撮像部１３の輻輳角の変化などの重複領域６０の範囲が変化するような各種撮影条件の変化を検知してもよい。

上記各実施形態では、２眼の複眼カメラを例に挙げて説明を行ったが、３眼以上の複眼カメラにも本発明を適用することができる。例えば第１〜第３撮像部を有する３眼カメラでは、３つの撮像部のうちのいずれか２つの撮像部で得られた撮影画像に基づき、上述のスルー画像表示を行う。

上記各実施形態では、複眼カメラを例に挙げて説明を行ったが、撮影位置をずらしながら被写体を撮影することで、被写体を異なる視点から撮影した撮影画像データを得る単眼カメラにも本発明を適用することができる。この場合には、１つ前の視点で被写体を撮影して得られた撮影画像データと、新たな視点で被写体を撮影して得られた撮影画像データとに基づき、上述の重複領域の検出、合成画像データと重複領域画像データの生成を行えばよい。

１０，７５，８０，８５，８９，９３，１００ 複眼カメラ
１２ 第１撮像部
１３ 第２撮像部
３３ ＣＰＵ
５２ 重複領域検出回路
５３ 合成画像生成回路
５４ 重複領域画像生成回路
６５，７７ 構図決定検知部
６６ 撮影条件変更検知部
６７，８７，９６ スルー画像表示制御部
７１ 合成画像
７２ 重複領域画像
７８，８２ 静止判定部
８６ 重複領域並列画像生成回路
９０ 表示切替制御部
９４ 立体表示用ＬＣＤ
１０１ ３次元情報取得回路

Claims (17)

1. 被写体を異なる視点から撮影した複数の撮影画像を得る撮像手段と、
   前記撮像手段により得られた複数の撮影画像から、当該各撮影画像同士で重なり合う重複領域を検出する重複領域検出手段と、
   前記重複領域検出手段による重複領域検出結果に基づき、前記複数の撮影画像を合成してなる画角の広い合成画像であって、前記重複領域と、前記複数の撮影画像のそれぞれの前記重複領域以外の領域である非重複領域とからなる合成画像を生成する合成画像生成手段と、
   前記重複領域検出結果に基づき、前記複数の撮影画像の少なくともいずれか一つから前記重複領域に対応する重複領域画像を生成する重複領域画像生成手段と、
   前記合成画像を動画像として表示する表示手段と、
   被写体の撮影のための構図の決定を検知する構図決定検知手段と、
   前記構図決定検知手段が前記構図の決定を検知したときに、前記表示手段の表示を、前記合成画像から前記重複領域画像に切り替える表示制御手段と、
   を備えることを特徴とする撮影装置。
2. 前記合成画像生成手段は、前記表示手段の画面の縦横比と前記合成画像の縦横比とが異なる場合、両者の縦横比が一致するように、前記合成画像の前記非重複領域の一部をトリミングすることを特徴とする請求項１記載の撮影装置。
3. 前記合成画像生成手段は、前記合成画像の全体が前記表示手段の画面に表示されるように、当該合成画像の前記非重複領域を圧縮することを特徴とする請求項１記載の撮影装置。
4. 前記合成画像生成手段は、前記合成画像の全体が前記表示手段の画面に表示されるように、当該合成画像の縦横比を変更することを特徴とする請求項１記載の撮影装置。
5. 撮影装置が静止した状態にあるか否かを検知する静止検知手段を備え、
   前記構図決定検知手段は、前記静止検知手段の検知結果に基づき、当該撮影装置が静止したときに前記構図が決定したと判定することを特徴とする請求項１ないし４いずれか１項記載の撮影装置。
6. 前記静止検知手段は加速度センサであることを特徴とする請求項５記載の撮影装置。
7. 前記静止検知手段は、
   前記撮像手段により得られた撮影画像のうちの連続する撮影画像間の移動量を検出する移動量検出手段と、
   前記移動量検出手段が検出した前記移動量がしきい値を下回るか否かに基づき、撮影装置が静止しているか否かを判定する判定手段と、からなることを特徴とする請求項５記載の撮影装置。
8. 前記撮像手段は、所定範囲で変倍可能なズーム機能を有する撮影光学系を有しており、
   前記判定手段は、前記撮影光学系のズーム位置に応じて前記しきい値を可変することを特徴とする請求項７記載の撮影装置。
9. 前記判定手段は、前記撮影光学系のズーム位置が望遠端に近づくのに従って前記しきい値を大きくすることを特徴とする請求項８記載の撮影装置。
10. 前記表示制御手段は、前記複数の撮影画像のそれぞれの前記重複領域に対応する前記重複領域画像を前記表示手段に並べて表示させることを特徴とする請求項１ないし９いずれか１項記載の撮影装置。
11. 前記構図の決定が検知された後、前記表示手段には、前記複数の撮影画像のそれぞれの前記重複領域に対応する前記重複領域画像のいずれか一つが選択的に表示されるとともに、
    前記表示制御手段に対し、前記表示手段に表示される前記重複領域画像を別の前記重複領域画像に切り替える切替指令を出力する切替指令出力手段を備え、
    前記表示制御手段は、前記切替指令出力手段からの前記切替指令に応じて、前記表示手段の表示を、現在表示されている前記重複領域画像から別の前記重複領域画像に切り替えることを特徴とする請求項１ないし９いずれか１項記載の撮影装置。
12. 前記表示手段は、前記複数の撮影画像に基づき立体画像を表示可能であり、
    撮影モードとして、前記表示手段に前記立体画像を表示する立体視撮影モードと、被写体の空間的な位置を所定の座標系で表した３次元情報の取得のために用いられる前記複数の撮影画像を得る３次元情報取得モードとを有しており、
    前記重複領域検出手段と、前記合成画像生成手段と、前記構図決定検知手段と、前記表示制御手段とは前記３次元情報取得モード時に作動し、かつ立体視撮影モード時には作動しないことを特徴とする請求項１ないし１１いずれか１項記載の撮影装置。
13. 前記表示手段は、前記３次元情報取得モード時には前記合成画像及び前記重複領域画像をそれぞれ２次元表示することを特徴とする請求項１２記載の撮影装置。
14. 前記撮像手段は、被写体を異なる視点から同時に撮影することを特徴とする請求項１ないし１３いずれか１項記載の撮影装置。
15. 前記表示手段は、前記合成画像中の前記重複領域を識別可能に表示することを特徴とする請求項１ないし１４いずれか１項記載の撮影装置。
16. 請求項１ないし１５いずれか１項記載の撮影装置と、
    前記撮影装置により得られた前記複数の撮影画像に基づき、被写体の空間的な位置を所定の座標系で表した３次元情報を取得する３次元情報取得手段と、
    を備えることを特徴とする３次元情報取得装置。
17. 被写体を異なる視点から撮影して得られた複数の撮影画像から、当該各撮影画像同士で重なり合う重複領域を検出する重複領域検出ステップと、
    前記重複領域検出ステップでの重複領域検出結果に基づき、前記複数の撮影画像を合成してなる画角の広い合成画像であって、前記重複領域と、前記複数の撮影画像のそれぞれの前記重複領域以外の領域である非重複領域とからなる合成画像を生成する合成画像生成ステップと、
    前記合成画像を動画像としてモニタに表示する表示ステップと、
    被写体の撮影のための構図の決定を検知する構図決定検知ステップと、
    前記構図決定検知ステップで前記構図の決定を検知したときに、前記モニタの表示を、前記複数の撮影画像の少なくともいずれか一つから生成された前記重複領域に対応する重複領域画像に切り替える表示切替ステップと、
    を有することを特徴とする撮影装置の表示制御方法。

Images