JP2011223175A - 撮像装置、撮像装置の画像処理方法及びプログラム並びに撮像システム - Google Patents

Abstract

【課題】立体視画像を生成するための好適な視点画像が得られない場合でも、外部から視点画像を受信して好適な立体視画像を生成する。
【解決手段】複眼カメラ１は、フレーム毎に視点画像を生成する撮影部２１Ａ，２１Ｂと、視点画像と異なる視点画像をフレーム毎に受信する通信回路３２と、生成されたフレーム毎の視点画像、及び受信されたフレーム毎の視点画像を表示するモニタ７と、撮影開始を指示するための操作が行われるレリーズボタン２と、撮影開始が指示されたタイミングに対応して生成された視点画像、及び前記タイミングに対応して受信された視点画像に基づいて立体視画像を生成する３次元処理部３０と、を備えている。
【選択図】図３

Description

本発明は、撮像装置、撮像装置の画像処理方法及びプログラム並びに撮像システムに関する。

従来、複数の撮像部を備え、立体視画像を生成する複眼撮像装置が提案されている。複眼撮像装置は、複数の撮像部でそれぞれ生成された複数の視点画像に基づいて立体視画像を生成し、この立体視画像を立体視表示用モニタに表示する。

複眼撮像装置で撮像された立体視画像の立体感はユーザの両眼の距離や立体視表示用モニタからユーザまでの距離に左右されるので、複眼撮像装置の立体視機能については個人差が大きいという問題がある。そのため、複眼撮像装置では、ユーザの操作に従って複数の視点画像の視差が調整可能になっており、これにより立体視画像の立体感が調整される。

しかし、遠方や近傍に存在する複数の被写体を一箇所で撮影しようとすると、複眼撮像装置から被写体までの距離によって視差量が大きく異なってしまい、最適な立体視画像が得られない問題がある。このため、他の撮像装置から視点画像を得て、最適な立体視画像を得ることが考えられる。

そこで、複数のカメラが撮影している状況において、ユーザが所望する範囲を所望する方向から撮影したカメラの映像を得る技術が提案されている（特許文献１参照）。特許文献１の技術は、同文献の図１に示すように、カメラの撮影可能な範囲を地図として表示するモニタ２０と、地図上でユーザが望む撮影範囲を指定し、撮影範囲をいずれの方角から撮影するかをユーザが指定するマウスと、指定された方角からのカメラ映像を受信する映像受信端末１８とを備えている。そして、モニタ２０は、映像受信端末１８で受信された１つ以上のカメラの映像を並べて出力する。

また、複数のカメラで異なる位置から撮影された複数の映像チャンネルのうちの１つを、視聴者が見たい被写体にあわせて次々と選択して表示する技術も提案されている（特許文献２）。特許文献２の技術は、注目被写体のフレームアウトを検出した場合に、注目被写体を検索キーとして他の映像チャンネルを検索し、検出した映像チャンネルを表示部に表示させる。

特開２００９−２７２７１０号公報 特開２００５−１３０４６２号公報

しかし、特許文献１の発明は、立体視画像を考慮して、ユーザが見たい範囲及び角度を設定するものでない。また、特許文献２の発明は、立体視画像を表示することを考慮して、ユーザの見たい被写体を選択するものではない。このため、立体視画像を生成するための好適な視点画像を外部から得ることができない問題がある。

本発明は、このような実情を鑑みて提案されたものであり、立体視画像を生成するための好適な視点画像が得られない場合でも、外部から視点画像を受信して好適な立体視画像を生成することができる撮像装置、撮像装置の画像処理方法及びプログラム並びに撮像システムを提供することを目的とする。

請求項１に記載の発明である撮像装置は、被写体を撮像することでフレーム毎に視点画像を生成する撮像手段と、前記視点画像と異なる視点画像をフレーム毎に受信する受信手段と、前記撮像手段により生成されたフレーム毎の視点画像、及び前記受信手段により受信されたフレーム毎の視点画像を表示する表示手段と、撮影開始を指示するための操作が行われる第１の指示手段と、前記第１の指示手段により撮影開始が指示されたタイミングに対応して前記撮像手段により生成された視点画像、及び前記タイミングに対応して前記受信手段により受信された視点画像に基づいて立体視画像を生成する立体視画像生成手段と、を備えている。

請求項２に記載の発明である撮像装置は、請求項１に記載の撮像装置であって、前記表示手段は、さらに、前記立体視画像生成手段により生成された立体視画像を表示する。

請求項３に記載の発明である撮像装置は、請求項１または請求項２に記載の撮像装置であって、前記立体視画像生成手段により生成された立体視画像を記録媒体に記録する記録手段を更に備えている。

請求項４に記載の発明である撮像装置は、請求項１から請求項３のいずれか１項に記載の撮像装置であって、前記受信手段は、他の撮像装置で生成された視点画像を受信する。

請求項５に記載の発明である撮像装置は、請求項４に記載の撮像装置であって、前記他の撮像装置に対して撮影の向き、撮影位置、及びズーム倍率の少なくとも１つを指示するための操作が行われる第２の指示手段を更に備え、前記受信手段は、前記他の撮像装置が前記第２の指示手段の指示に従って撮像した被写体の視点画像を受信する。

請求項６に記載の発明である撮像装置の画像処理方法は、被写体を撮像することでフレーム毎に視点画像を生成し、前記視点画像と異なる視点画像をフレーム毎に受信し、前記生成したフレーム毎の視点画像、及び前記受信したフレーム毎の視点画像を表示し、指示手段により撮影開始が指示されたタイミングに対応して前記生成した視点画像、及び前記タイミングに対応して前記受信した視点画像に基づいて立体視画像を生成する。

請求項７に記載の発明である撮像装置の画像処理方法は、請求項６に記載の撮像装置の画像処理方法であって、前記生成した立体視画像を表示する。

請求項８に記載の発明である撮像装置の画像処理方法は、請求項６または請求項７に記載の撮像装置の画像処理方法であって、前記生成した立体視画像を記録媒体に記録する。

請求項９に記載の発明である撮像装置の画像処理方法は、請求項６から請求項８のいずれか１項に記載の撮像装置の画像処理方法であって、他の撮像装置で生成された視点画像を受信する。

請求項１０に記載の発明である撮像装置の画像処理方法は、請求項９に記載の撮像装置の画像処理方法であって、前記他の撮像装置に対して撮影の向き、撮影位置、及びズーム倍率の少なくとも１つを指示するための操作が行われ、前記指示に従って撮像した被写体の視点画像を受信する。

請求項１１に記載の発明である撮像装置の画像処理プログラムは、コンピュータを、撮像手段により生成されたフレーム毎の視点画像、及び受信手段により受信されたフレーム毎の視点画像を表示手段に表示させる表示制御手段、及び撮影開始を指示するための操作が行われる第１の指示手段により撮影開始が指示されたタイミングに対応して前記撮像手段により生成された視点画像、及び前記タイミングに対応して前記受信手段により受信された視点画像に基づいて立体視画像を生成する立体視画像生成手段、として機能させる。

請求項１２に記載の発明である撮像システムは、請求項４または請求項５に記載の撮像装置と、前記被写体を撮像して前記撮像装置に視点画像を送信する他の撮像装置と、を備えている。

本発明によれば、撮像手段により生成されたフレーム毎の視点画像、及び受信手段により受信されたフレーム毎の視点画像を表示して、撮影開始が指示されたタイミングに対応して撮像手段により生成された視点画像、及び上記タイミングに対応して受信手段により受信された視点画像に基づいて立体視画像を生成することにより、立体視画像を生成するための好適な視点画像が得られない場合でも、外部から視点画像を受信して好適な立体視画像を生成することができる。

本発明の実施形態に係る複眼カメラの正面側斜視図である。 複眼カメラの背面側斜視図である。 複眼カメラの内部構成を示す概略ブロック図である。 撮影部の構成を示す図である。 立体視画像の画像ファイルのファイルフォーマットを示す図である。 モニタの構成を示す図である。 レンチキュラーシートの構成を示す図である。 第１及び第２の画像に対する３次元処理を説明するための図である。 実施形態に係る撮像システムの構成を示す概略図である。 第１のカメラ画像転送ルーチンを示すフローチャートである。 インターレース画像がモニタに表示されている状態を示す図である。 第２のカメラ画像転送ルーチンを示すフローチャートである。 撮影者がカメラの撮影位置、撮影の向きを指示する状態を示す図である。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態に係る複眼カメラ１の正面側斜視図、図２は背面側斜視図である。

複眼カメラ１の上部には、レリーズボタン２、電源ボタン３及びズームレバー４が備えられている。複眼カメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼カメラ１の背面には、各種表示を行う液晶モニタ（以下単に「モニタ」いう。）７及び各種の操作ボタン８Ａ，８Ｕ，８Ｄ，８Ｒ，８Ｌが配設されている。操作ボタン８は、複眼カメラ１の操作に用いられるだけでなく、詳しくは後述するが、他のカメラの操作にも用いられる。

図３は、複眼カメラ１の内部構成を示す概略ブロック図である。複眼カメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、通信回路３２及びＣＰＵ３５を備える。なお、撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持って、あらかじめ定められた基線長となるように配置されている。また、輻輳角及び基線長の情報は内部メモリ２７に記憶されている。

図４は、撮影部２１Ａ、２１Ｂの構成を示す図である。図４に示すように撮影部２１Ａ、２１Ｂは、レンズ１０Ａ、１０Ｂ、絞り１１Ａ、１１Ｂ、シャッタ１２Ａ、１２Ｂ、撮像素子１３Ａ、１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ、１４Ｂ及びＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。

レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズを有している。レンズ１０Ａ，１０Ｂの位置は、撮影制御部２２のＡＦ処理部２２ａにより得られる合焦データ及び図１及び図２に示したズームレバー４が操作された場合に得られるズームデータに基づいて、不図示のレンズ駆動部により調整される。

絞り１１Ａ，１１Ｂは、撮影制御部２２のＡＥ処理部２２ｂにより得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理部２２ｂにより得られるシャッタスピードに応じて駆動される。

撮像素子１３Ａ，１３Ｂは、多数の受光素子を２次元状に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、撮像素子１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１４Ａ，１４Ｂは、撮像素子１３Ａ，１３Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、及びアナログ撮影信号のゲインを調節する処理（以下「アナログ処理」という。）を施す。

Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。

撮影制御部２２は、上述のようにＡＦ処理部２２ａ及びＡＥ処理部２２ｂを有している。ＡＦ処理部２２ａは、レリーズボタン２が半押し操作されると、測距センサから測距情報を取得し、レンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２ｌＢに出力する。ＡＥ処理部２２ｂは、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。

なお、ＡＦ処理部２２ａによる焦点位置の検出方式としては、測距情報を用いたアクティブ方式に限らず、画像のコントラストを利用して合焦位置を検出するパッシブ方式を用いてもよい。

撮影制御部２２は、レリーズボタン２が操作されない状態では、撮影範囲を確認させるための、第１及び第２の画像Ｇ１，Ｇ２の本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次生成させるように撮影部２１Ａ，２１Ｂを制御する。そして、撮影制御部２２は、レリーズボタン２が全押し操作されると、本撮影を開始すべく、第１及び第２の画像Ｇ１，Ｇ２の本画像を生成するように撮影部２１Ａ，２１Ｂを制御する。

以上の説明は静止画撮影モードの場合であるが、本実施の形態による複眼カメラ１では、動画撮影モードも設定可能である。動画撮影モードの場合、レリーズボタン２が押圧されると動画撮影が開始され、フレーム毎に第１及び第２の画像Ｇ１，Ｇ２が生成され、再びレリーズボタン２が押圧されると動画撮影が停止する。

画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１及び第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランス調整、階調補正、シャープネス補正、及び色補正等の画像処理を施す。

圧縮／伸長処理部２４は、画像処理部２３によって画像処理が施された第１及び第２の画像Ｇ１，Ｇ２の本画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルＦ０を生成する。この立体視用の画像ファイルＦ０は、第１及び第２の画像Ｇ１，Ｇ２の画像データを有しており、更に、Ｅｘｉｆフォーマット等に基づく、基線長、輻輳角及び撮影日時等の付帯情報、及び視点位置を表す視点情報を含んでいる。

図５は、立体視用の画像ファイルのファイルフォーマットを示す図である。立体視用の画像ファイルＦ０は、第１の画像Ｇ１の付帯情報Ｈ１、第１の画像Ｇ１の視点情報Ｓ１、第１の画像Ｇ１の画像データ、第２の画像Ｇ２の付帯情報Ｈ２、第２の画像Ｇ２の視点情報Ｓ２，及び第２の画像Ｇ２の画像データが格納されてなる。また、図示はしないが、第１及び第２の画像Ｇ１，Ｇ２についての付帯情報、視点情報及び画像データの前後には、データの開始位置及び終了位置を表す情報が含まれる。

付帯情報Ｈ１，Ｈ２には、第１及び第２の画像Ｇ１，Ｇ２の撮影日、基線長、及び輻輳角の情報が含まれる。付帯情報Ｈ１，Ｈ２には、第１及び第２の画像Ｇ１，Ｇ２のサムネイル画像も含まれる。なお、視点情報としては、例えば左側の撮影部から順に付与した視点位置の番号を用いることができる。

フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１及び第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込みと読み込みの制御を行う。

内部メモリ２７は、複眼カメラ１において設定される各種定数、及びＣＰＵ３５が実行するプログラム等を記憶する。

表示制御部２８は、立体視する場合に、フレームメモリ２５又は記録メディア２９に記録されている立体視画像ＧＲをモニタ７に表示させる。

図６は、モニタ７の構成を示す分解斜視図である。図６に示すように、モニタ７は、ＬＥＤにより発光するバックライトユニット４０及び各種表示を行うための液晶パネル４１を積層し、液晶パネル４１の表面にレンチキュラーシート４２を取り付けることにより構成されている。

図７は、レンチキュラーシート４２の構成を示す図である。図７に示すようにレンチキュラーシート４２は、複数のシリンドリカルレンズ４３を基線に沿った方向に並列に並べることにより構成されている。

また、複眼カメラ１は、３次元処理部３０を備えている。３次元処理部３０は、第１及び第２の画像Ｇ１，Ｇ２をモニタ７に立体視表示させるために、第１及び第２の画像Ｇ１，Ｇ２に対して３次元処理を行って立体視画像ＧＲを生成する。

図８は、第１及び第２の画像Ｇ１，Ｇ２に対する３次元処理を説明するための図である。図８に示すように３次元処理部３０は、第１及び第２の画像Ｇ１，Ｇ２の各々を基線に対して垂直方向に短冊状に切り取り、レンチキュラーシート４２におけるシリンドリカルレンズ４３のそれぞれに、位置が対応する短冊状に切り取った第１及び第２の画像Ｇ１，Ｇ２が交互に配置されるように３次元処理を行って、立体視画像ＧＲを生成する。立体視画像ＧＲを構成する第１及び第２の画像Ｇ１，Ｇ２の画像対は、各々１つのシリンドリカルレンズに対応して配置される。

また、３次元処理部３０は、第１及び第２の画像Ｇ１，Ｇ２の視差を調整することもできる。ここで、視差とは、第１及び第２の画像Ｇ１，Ｇ２の双方に含まれる被写体の、第１及び第２の画像Ｇ１，Ｇ２の横方向、すなわち基線に沿った方向における画素位置のずれ量をいう。視差を調整することにより、立体視画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。

また、３次元処理部３０は、リアルタイムで撮影部２１Ａ、２１Ｂで得られた第１及び第２の画像Ｇ１，Ｇ２の視差を調整してもよいし、記録メディア２９に予め記録されている第１及び第２の画像Ｇ１，Ｇ２の視差を調整してもよい。

ところで、第１及び第２の画像Ｇ１，Ｇ２の視差が小さすぎて立体視画像が適切でない場合、いずれか一方の画像（本実施形態では、例えば第２の画像Ｇ２）の代わりに、通信回路３２で受信される画像を用いることができる。

図９は、実施形態に係る撮像システムの概略図である。複眼カメラ１は、同図に示すように、カメラ５０で撮影された画像、又はサーバ７０に予め記憶された画像を受信して、受信した画像を第２の画像Ｇ２の代わりに用いることができる。

本実施形態では、カメラ５０は、複眼カメラ１の基線の延長線上に設置されている。カメラ５０を複眼カメラ１の基線の延長線上に設置することにより、複眼カメラ１及びカメラ５０で撮影された画像の基線長を長くして輻輳角を大きくし、遠方の被写体を複眼カメラ１単体で撮影した場合の視差よりも視差を大きくして、遠方の被写体の立体視をより良くすることができる。

また、カメラ５０は、複眼カメラ１と同様に構成されている。なお、複眼カメラ１の代わりに、単眼カメラが用いられてもよい。また、カメラ５０も、複眼カメラに限定されるものではなく、単眼カメラであってもよい。

また、サーバ７０は、図示されていないが、画像、その他の情報を送受信するための通信回路と、受信された画像を記憶する記憶部と、画像の探索や、その他の全体制御を司る制御部と、を備えている。

以上のように構成された複眼カメラ１では、第２の画像Ｇ２の代わりにカメラ５０で生成された画像が用いられる場合、次のカメラ画像転送ルーチンが実行される。なお、カメラ５０には、予め、画像転送を許可するための設定が行われている。また、以下に示す各ルーチンのプログラムは、内部メモリ２７に記憶されている。

（第１のカメラ画像転送ルーチン）
図１０は、第１のカメラ画像転送ルーチンを示すフローチャートである。ステップ１００では、ＣＰＵ３５は、画像転送の許可が設定されているカメラを探索する。

ステップ１０２では、ＣＰＵ３５は、画像転送の許可が設定されているカメラを検出したか否かを判定し、検出した場合はステップ１０４へ進み、検出していない場合はステップ１００へ戻る。

ステップ１０４では、ＣＰＵ３５は、検出したカメラのうち複眼カメラ１から最も距離が近いカメラ５０を選択して、カメラ５０に画像転送の開始を、通信回線３２を介して指示する。なお、これに限らず、被写体までの距離が遠くなるほど、距離が遠いカメラを選択する形式としてもよい。そして、ＣＰＵ３５は、カメラ５０から転送された画像を通信回路３２で受信する。

ステップ１０６では、ＣＰＵ３５は、第１の画像Ｇ１を例えば奇数フィールドでモニタ７に表示し、通信回路３２で受信された画像を例えば偶数フィールドでモニタ７に表示させる（インターレース表示）。

このとき、図１１に示すように、複眼カメラ１の撮影者は、インターレースされた画像をモニタ７で確認しながら、ズーム倍率の変更、画角合わせ、露出調整などの撮影条件の変更操作を行い、第１の画像Ｇ１により示される被写体がカメラ５０から送信された画像により示される被写体のサイズや露出状態にできるだけ一致し、かつ対応する被写体の位置のずれ量が立体視画像を構成する上で好適なずれ量となるように調整する。

そこで、ステップ１０８では、ＣＰＵ３５は、撮影条件の変更操作が行われたかを判定し、肯定判定の場合はステップ１１０へ進んで変更操作に応じて撮影条件を変更した後にステップ１１２に移行する一方、否定判定の場合はステップ１１０を実行することなくステップ１１２へ進む。

撮影者は、上記の撮影条件の変更操作による調整が終了した後、レリーズボタン２を押圧する。

そこで、ステップ１１２では、ＣＰＵ３５は、レリーズボタン２が押圧されたか否かを判定し、押圧された場合はステップ１１４へ進み、押圧されていない場合はステップ１０６へ戻る。

ステップ１１４では、ＣＰＵ３５は、レリーズボタン２が押圧されたタイミングに対応する第１の画像Ｇ１と通信回路３２で受信された画像とに基づいて立体視画像を生成するように３次元処理部３０を制御し、生成された立体視画像をモニタ７に表示させる。また、メディア制御部２６は、生成された立体視画像を記録メディア２９へ記録する。そして、本ルーチンが終了する。

（第２のカメラ画像転送ルーチン）
図１２は、第２のカメラ画像転送ルーチンを示すフローチャートである。ここでは、第１のカメラ画像転送ルーチンと異なる点のみを説明し、重複する説明は省略する。

第１のカメラ画像転送ルーチンでは、上記の撮影条件の変更操作を複眼カメラ１の撮影者によって行っていた。これに対して、第２のカメラ画像転送ルーチンでは、複眼カメラ１の撮影者の指示に従って、上記変更操作と同様の操作がカメラ５０の撮影者によって行われる。具体的には、図１０のステップ１０６の代わりに、ステップ１０６ａ及び１０７が実行される。

ステップ１０６ａでは、ＣＰＵ３５は、第１の画像Ｇ１を例えば奇数フィールドでモニタ７に表示し、通信回路３２で受信された画像を例えば偶数フィールドでモニタ７に表示させる（インターレース表示）。

このとき、図１３に示すように、撮影者は、操作ボタン８Ａ，８Ｕ，８Ｄ，８Ｒ，８Ｌを操作して、カメラ５０の撮影位置（上下方向、左右方向）、撮影の向きを指示する。ここでは、更に、ズーム倍率の変更、画角合わせ、露出調整などの撮影条件を指示してもよい。

ステップ１０７では、ＣＰＵ３５は、上記撮影位置、撮影の向きなどの指示情報を、通信回路３２を介してカメラ５０に送信する。

そして、カメラ５０の撮影者は、複眼カメラ１から送信された指示情報を不図示のモニタで確認して、その指示情報に従ってカメラ５０を調整する。

そして、カメラ１の撮影者は、２つの画像のサイズや露出状態ができるだけ一致し、かつ対応する被写体の位置のずれ量が立体視画像を構成する上で好適なずれ量となったことを確認したタイミングでレリーズボタン２を押圧する。

そこで、ステップ１１２では、ＣＰＵ３５は、レリーズボタン２が押圧されたか否かを判定し、押圧された場合はステップ１１４へ進み、押圧されていない場合はステップ１０６ａへ戻る。これにより、レリーズボタン２が押圧されるまで、カメラ５０の撮影位置、撮影の向きなどが調整される。そして、レリーズボタン２が押圧されると、ステップ１１４において、押圧されたタイミングに対応する第１の画像Ｇ１と通信回路３２で受信された画像とに基づいて立体視画像が生成される。

以上のように、本発明の実施の形態に係る複眼カメラ１は、視点画像である第１及び第２の画像Ｇ１，Ｇ２のうちの一方の代わりに、カメラ５０で撮影された画像を用いて、立体視画像を生成することができる。これにより、複眼カメラ１は、第１及び第２の画像Ｇ１，Ｇ２により好適な立体視画像を生成できない場合でも、第１及び第２の画像Ｇ１，Ｇ２のいずれか一方の代わりにカメラ５０で撮影された画像を用いることで、被写体の立体感が好適な状態になる立体視画像を生成することができる。

また、複眼カメラ１は、カメラ５０に対して、第１の画像Ｇ１と受信した画像のサイズや露出状態ができるだけ一致し、かつ対応する被写体の位置のずれ量が立体視画像を構成する上で好適なずれ量となるように指示することで、立体視画像を生成することができる。

なお、上記では複眼カメラ１を用いる例について説明したが、複眼カメラ１に代えて、レンチキュラーシート等が設けられていない単眼カメラを用い、当該単眼カメラと別に設けられ、かつレンチキュラーシート等を備えた表示装置に、当該単眼カメラで撮影された画像及びカメラ５０で撮影された画像を転送し、立体視画像を表示して立体視してもよい。

また、上述した実施形態において、複眼カメラ１は、カメラ５０から視点画像を取得したが、予め複数の視点画像が記憶されているサーバ装置から好適な視点画像を取得してもよい。例えば、カメラ５０が静止物体を撮影して、視点画像と共に、そのときの撮影条件、例えば、被写体までの距離、ズーム倍率、画角、露出、撮影時刻などをサーバ装置に送信する。そして、複眼カメラ１は、同一被写体が同一領域に存在し、かつ視点がずれている視点画像をサーバ装置から読み出して、立体視画像を生成すればよい。

７ モニタ
２１Ａ、２１Ｂ 撮影部
２２ 撮影制御部
３０ ３次元処理部
３２ 通信回路
３５ ＣＰＵ

Claims (12)

1. 被写体を撮像することでフレーム毎に視点画像を生成する撮像手段と、
   前記視点画像と異なる視点画像をフレーム毎に受信する受信手段と、
   前記撮像手段により生成されたフレーム毎の視点画像、及び前記受信手段により受信されたフレーム毎の視点画像を表示する表示手段と、
   撮影開始を指示するための操作が行われる第１の指示手段と、
   前記第１の指示手段により撮影開始が指示されたタイミングに対応して前記撮像手段により生成された視点画像、及び前記タイミングに対応して前記受信手段により受信された視点画像に基づいて立体視画像を生成する立体視画像生成手段と、
   を備えた撮像装置。
2. 前記表示手段は、さらに、前記立体視画像生成手段により生成された立体視画像を表示する
   請求項１に記載の撮像装置。
3. 前記立体視画像生成手段により生成された立体視画像を記録媒体に記録する記録手段を更に備えた
   請求項１または請求項２に記載の撮像装置。
4. 前記受信手段は、他の撮像装置で生成された視点画像を受信する
   請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 前記他の撮像装置に対して撮影の向き、撮影位置、及びズーム倍率の少なくとも１つを指示するための操作が行われる第２の指示手段を更に備え、
   前記受信手段は、前記他の撮像装置が前記第２の指示手段の指示に従って撮像した被写体の視点画像を受信する
   請求項４に記載の撮像装置。
6. 被写体を撮像することでフレーム毎に視点画像を生成し、
   前記視点画像と異なる視点画像をフレーム毎に受信し、
   前記生成したフレーム毎の視点画像、及び前記受信したフレーム毎の視点画像を表示し、
   指示手段により撮影開始が指示されたタイミングに対応して前記生成した視点画像、及び前記タイミングに対応して前記受信した視点画像に基づいて立体視画像を生成する
   撮像装置の画像処理方法。
7. 前記生成した立体視画像を表示する
   請求項６に記載の撮像装置の画像処理方法。
8. 前記生成した立体視画像を記録媒体に記録する
   請求項６または請求項７に記載の撮像装置の画像処理方法。
9. 他の撮像装置で生成された視点画像を受信する
   請求項６から請求項８のいずれか１項に記載の撮像装置の画像処理方法。
10. 前記他の撮像装置に対して撮影の向き、撮影位置、及びズーム倍率の少なくとも１つを指示するための操作が行われ、前記指示に従って撮像した被写体の視点画像を受信する
    請求項９に記載の撮像装置の画像処理方法。
11. コンピュータを、
    撮像手段により生成されたフレーム毎の視点画像、及び受信手段により受信されたフレーム毎の視点画像を表示手段に表示させる表示制御手段、及び
    撮影開始を指示するための操作が行われる第１の指示手段により撮影開始が指示されたタイミングに対応して前記撮像手段により生成された視点画像、及び前記タイミングに対応して前記受信手段により受信された視点画像に基づいて立体視画像を生成する立体視画像生成手段、
    として機能させるための撮像装置の画像処理プログラム。
12. 請求項４または請求項５に記載の撮像装置と、
    前記被写体を撮像して前記撮像装置に視点画像を送信する他の撮像装置と、
    を備えた撮像システム。

Images