JP2012186793A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2012186793A JP2012186793A JP2012010182A JP2012010182A JP2012186793A JP 2012186793 A JP2012186793 A JP 2012186793A JP 2012010182 A JP2012010182 A JP 2012010182A JP 2012010182 A JP2012010182 A JP 2012010182A JP 2012186793 A JP2012186793 A JP 2012186793A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- controller
- digital camera
- slide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Camera Data Copying Or Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】複数の画像を撮影して3次元画像を生成するときに、それぞれの画像が異なる角度で撮影されても適切な3次元画像生成用の左眼用画像および右眼用画像を取得できる、使用者にとって利便性の高い撮像装置を提供する。
【解決手段】撮像装置(100)は、被写体を撮像して画像を生成する撮像部(120)と、撮像装置(100)の傾きを検出する検出部(161、162)と、撮影部(120)により生成された画像に検出部(161、162)による検出結果を関連付けて記憶する記憶部(124)と、記憶部(124)に記憶された複数の画像の中から、それぞれの画像に関連付けられた検出結果に基づいて、少なくとも2つの画像を3次元画像生成用の画像として選定する制御部(130)とを備える。
【選択図】図7
【解決手段】撮像装置(100)は、被写体を撮像して画像を生成する撮像部(120)と、撮像装置(100)の傾きを検出する検出部(161、162)と、撮影部(120)により生成された画像に検出部(161、162)による検出結果を関連付けて記憶する記憶部(124)と、記憶部(124)に記憶された複数の画像の中から、それぞれの画像に関連付けられた検出結果に基づいて、少なくとも2つの画像を3次元画像生成用の画像として選定する制御部(130)とを備える。
【選択図】図7
Description
本発明は撮像装置に関し、特に、複数の画像を撮像して3次元画像を生成する機能を有する撮像装置に関する。
近年、3次元映像を表示可能なテレビジョン受像機の普及とともに、3次元画像を撮影可能なカメラも知られてきている。例えば特許文献1は、カメラが被写体に対して水平方向に移動させられながら生成した複数の画像情報の中から、3次元画像を構成するための左眼用画像および右眼用画像を取得するカメラを開示している。
使用者がこのようなカメラを移動させて3次元画像生成用の画像を撮影するとき、カメラが左眼用画像および右眼用画像を取得するのに好適でないカメラ移動を、使用者が行う恐れがある。特に、左眼用画像と右眼用画像の撮影角度が異なると、3次元画像生成用画像としては不適当な左眼用画像と右眼用画像が採用されるという問題があった。
本発明は、前述の問題を解決するためになされたものであり、その目的とするところは、複数の画像を撮像して3次元画像を生成するときに、それぞれの画像が異なる角度で撮像されても適切な3次元画像生成用の画像を取得できる撮像装置を提供することにある。
このような課題を解決するために、本発明にかかる撮像装置は、被写体を撮像して画像を生成する撮像部と、撮像装置の傾きを検出する検出部と、撮影部により生成された画像に検出部による検出結果を関連付けて記憶する記憶部と、記憶部に記憶された複数の画像の中から、それぞれの画像に関連付けられた検出結果に基づいて、少なくとも2つの画像を3次元画像生成用の画像として選定する制御部とを備える。
本発明にかかる撮像装置は、各画像に関連付けられた傾きの検出結果に基づいて画像の組合せを選定する。これにより、複数の画像を撮像して3次元画像を生成するときに、複数の画像がそれぞれ異なる角度で撮像されても、適切な3次元画像生成用の画像が取得できる。
以下、添付の図面を参照しながら、本発明の実施形態であるデジタルカメラを説明する。
1.デジタルカメラの構成
本実施形態のデジタルカメラの構成について、図1を参照しながら説明する。デジタルカメラ100は前面に光学系110を納める鏡筒や、フラッシュ160を備える。また、デジタルカメラ100は上面に、レリーズ釦201、ズームレバー202、電源釦203などの操作釦を備える。
本実施形態のデジタルカメラの構成について、図1を参照しながら説明する。デジタルカメラ100は前面に光学系110を納める鏡筒や、フラッシュ160を備える。また、デジタルカメラ100は上面に、レリーズ釦201、ズームレバー202、電源釦203などの操作釦を備える。
図2は、デジタルカメラ100の背面図である。デジタルカメラ100は背面に液晶モニタ123や、中央釦204や十字釦205などの操作釦を備える。
図3は、デジタルカメラ100の電気的構成図である。デジタルカメラ100は、光学系110を介して形成された被写体像をCCDイメージセンサ120で撮像する。CCDイメージセンサ120は撮像した被写体像に基づく画像情報を生成する。CCDイメージセンサ120により生成された画像情報は、AFE(アナログ・フロント・エンド)121や画像処理部122において各種処理が施される。各種処理が施された画像情報はフラッシュメモリ142やメモリカード140に記録される。フラッシュメモリ142やメモリカード140に記録された画像情報は、操作部150上での使用者による操作にしたがい液晶モニタ123上に表示される。以下、図1から図3に示す各構成要素の詳細を説明する。
光学系110は、フォーカスレンズ111やズームレンズ112、光学式手振れ補正レンズ(OIS:Optical Image Stabilizer)113、シャッタ114などで構成される。なお、光学系110を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。
フォーカスレンズ111は被写体のフォーカス状態の調節に用いられる。ズームレンズ112は被写体の画角の調節に用いられる。シャッタ114は、CCDイメージセンサ120に入射する光の露出時間を調節する。フォーカスレンズ111、ズームレンズ112、光学式手振れ補正レンズ113、シャッタ114は、それぞれに対応したDCモータやステッピングモータ等の駆動手段により、コントローラ130から通知された制御信号に従って駆動される。
CCDイメージセンサ120は、光学系110を通して形成された被写体像を撮像して画像情報を生成する。CCDイメージセンサ120は、所定のフレームレート(例えば、30フレーム/秒)で新しいフレームの画像情報を生成する。コントローラ130は、CCDイメージセンサ120の画像データ生成タイミングおよび電子シャッタ動作を制御する。液晶モニタ123がこの画像データをスルー画像として逐一表示することにより、使用者は被写体の状況をリアルタイムに確認できる。
AFE121は、CCDイメージセンサ120が入力した画像情報に対して、相関二重サンプリングによる雑音抑圧と、アナログゲインコントローラによるISO感度値に基づくゲインの乗算と、及びADコンバータによるAD変換とを実施する。その後、AFE121は画像情報を画像処理部122に出力する。
画像処理部122は、AFE121が出力した画像情報に対して各種の処理を施す。各種処理としては、BM(ブロックメモリ)積算、スミア補正、ホワイトバランス補正、ガンマ補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部122は、ハードワイヤードな電子回路で構成されてもよいし、プログラムを用いたマイクロコンピュータなどで構成されてもよい。また、画像処理部122は、コントローラ130のような他の機能部とともに1つの半導体チップで構成されてもよい。
ジャイロセンサ161は、デジタルカメラ100の単位時間あたりの角度変化(角速度)に基づいて、光学系110の光軸のヨーイング方向のぶれとピッチング方向のぶれを検出する。ジャイロセンサ161は、検出した角速度を示すジャイロ信号を積分回路162に出力する。
積分回路162は、ジャイロセンサ161から出力された角速度を示す信号(以下「ジャイロ信号」という)を積分し積分信号(角度を示す信号)を生成してコントローラ130に出力する。積分回路162から出力された積分信号を受けて、コントローラ130は、筐体の光学系110のヨーイング方向およびピッチング方向の回転角度を把握することができる。なお、積分回路162がジャイロ信号に対して積分処理を施す前に、積分回路162は、不要な直流成分を遮断し、直流成分が遮断されたジャイロ信号を増幅処理し、増幅された信号の高周波成分を遮断してもよい。また、積分回路162が出力する信号が示す角度は、換言すればデジタルカメラ100の角度である。
液晶モニタ123は、デジタルカメラ100の背面に備わる。液晶モニタ123は、画像処理部122にて処理された画像情報に基づく画像を表示する。液晶モニタ123が表示する画像には、スルー画像や記録画像がある。スルー画像は、CCDイメージセンサ120により一定時間ごとに生成されるフレームの画像を連続して表示することで得られる画像である。通常、デジタルカメラ100が撮影モードにあるときに、画像処理部122は、CCDイメージセンサ120が生成した画像情報からスルー画像を生成する。使用者は、液晶モニタ123に表示されるスルー画像を参照することにより、被写体の構図を確認しながら撮影できる。記録画像は、デジタルカメラ100が再生モードにあるときに、メモリカード140等に記録された高画素の動画像や静止画像を、液晶モニタ123に表示するために低画素サイズに縮小して得られる画像である。
コントローラ130は、デジタルカメラ100全体の動作を制御する。コントローラ130は、ハードワイヤードな電子回路で構成されてもよいし、マイクロコンピュータなどで構成されてもよい。また、コントローラ130は、画像処理部122などと共に1つの半導体チップで構成されてもよい。
また、コントローラ130は、CCDイメージセンサ120に露光タイミングパルスを供給する。CCDイメージセンサ120は、コントローラ130から露光タイミングパルスを供給されたタイミングに従って、被写体像の撮像動作を実行する。コントローラ130が露光タイミングパルスを連続して供給することにより、CCDイメージセンサ120は、連続して被写体像を撮像して画像情報を生成することができる。また、コントローラ130は、露光タイミングパルスを供給する時間間隔を調節することにより、CCDイメージセンサ120の連続撮影間隔を調節することができる。
また、コントローラ130は、CCDイメージセンサ120に露光タイミングパルスを供給するタイミングに同期して、積分回路162から積分信号(角度信号)を取得する。コントローラ130が露光タイミングパルスを供給するタイミングから、コントローラ130が積分信号を取得するタイミングまでの差(遅延)は、適宜変更可能である。しかし、CCDイメージセンサ120が画像情報を生成するタイミングに合わせて、コントローラ130が積分信号を取得するのが好ましい。
また、コントローラ130は、デジタルカメラ100の撮影モードを「スライド3D撮影モード」に設定できる。「スライド3D撮影モード」とは、使用者がデジタルカメラ100を移動させながら撮影することにより、3次元画像生成用の左眼用画像および右眼用画像を取得できる撮影モードのことである。例えば、コントローラ130は、使用者によるメニュー釦の操作に従って、デジタルカメラ100の撮影モードをスライド3D撮影モードに設定する。デジタルカメラ100のモードは他にも、2D撮影モードや再生モードがある。
フラッシュメモリ142は、画像情報等を格納するための内部メモリとして機能する。また、フラッシュメモリ142は、オートフォーカス(AF:Auto Focus)制御や自動露出(AE:Auto Exposure)制御、フラッシュ160の発光制御に関するプログラムの他、デジタルカメラ100全体の動作を統括制御するためのプログラムを格納している。また、フラッシュメモリ142は、画素の移動量とステレオベースとの関係を示す情報を含む対応テーブルを格納している。「画素の移動量」とは、スライド3D撮影モードにおいて撮影された、ある画像における特徴領域の位置と、別の画像における同じ特徴領域の位置との差である。位置の差は画素数で表される。「特徴領域」とは、画素の移動量を算出するための比較対象となる、画像内の特徴的な部分(例えば、人物の顔の領域)である。「ステレオベース」とは、3D画像生成に必要な左眼用画像および右眼用画像それぞれの撮影位置の間の距離である。本実施形態のデジタルカメラ100において、フラッシュメモリ142は、被写体がデジタルカメラ100から1メートルの距離にある場合の、画素の移動量とステレオベースとの関係を示す対応テーブルを格納している。コントローラ130は、フラッシュメモリ142に格納された対応テーブルにアクセスすることにより、画素の移動量に対するステレオベースの対応関係を把握することができる。また、フラッシュメモリ142は、使用者が3次元画像を鑑賞するのに好適なステレオベースの基準距離情報を格納している。「3次元画像を鑑賞するのに好適なステレオベース」とは、デジタルカメラ100が左眼用画像および右眼用画像を3次元表示したときに、使用者が好適に3次元画像を視認できるステレオベースである。また、フラッシュメモリ142は、相対傾き量の許容範囲情報を格納している。相対傾き量とは、スライド3D撮影モード時に連続撮影された複数の画像間における、画像撮像時の光学系110の光軸のヨーイング方向およびピッチング方向における回転角度の差である。換言すれば、デジタルカメラ100の傾きの差である。コントローラ130は、フラッシュメモリ142にアクセスすることにより、ステレオベースの基準距離情報や、相対傾き量の許容範囲情報を把握することができる。
バッファメモリ124は、画像処理部122やコントローラ130のワークメモリとして機能する記憶手段である。バッファメモリ124はDRAM(Dynamic Random Access Memory)などで実現できる。
カードスロット141は、メモリカード140を着脱可能な接続手段である。カードスロット141は、メモリカード140を電気的及び機械的に接続可能である。また、カードスロット141はメモリカード140を制御する機能を備えてもよい。
メモリカード140は内部にフラッシュメモリ等の記録部を備えた外部メモリである。メモリカード140は画像処理部122で処理される画像情報などのデータを記録可能である。
メモリカード140は内部にフラッシュメモリ等の記録部を備えた外部メモリである。メモリカード140は画像処理部122で処理される画像情報などのデータを記録可能である。
操作部150は、デジタルカメラ100の外装に備わっている操作釦や操作レバーの総称であり、使用者による操作を受け付ける。操作部150は、例えば、図1や図2に示したレリーズ釦201、ズームレバー202、電源釦203、中央釦204、十字釦205などを含む。操作部150は、使用者による操作に従って、コントローラ130に動作指示信号を通知する。
レリーズ釦201は、半押し状態と全押し状態の二段階の状態を取り得る押下式釦である。レリーズ釦201が使用者により半押しされると、コントローラ130は、オートフォーカス制御や、自動露出制御を実行し撮影条件を決定する。続いて、レリーズ釦201が、使用者により全押しされると、コントローラ130は、全押しのタイミングにCCDイメージセンサ120により生成された画像情報を静止画像としてメモリカード140等に記録する。
ズームレバー202は画角調節についての広角端と望遠端を有する中央位置自己復帰式のレバーである。ズームレバー202は、使用者により操作されるとコントローラ130にズームレンズ112を駆動するための動作指示信号を通知する。すわなち、ズームレバー202が広角端に操作されると、コントローラ130は、被写体が広角で撮影されるようにズームレンズ112を制御する。同様に、ズームレバー201が望遠端に操作されると、コントローラ130は、被写体が望遠で撮影されるようにズームレンズ112を制御する。
電源釦203は、デジタルカメラ100を構成する各部への電力供給をON/OFFするための押下式釦である。デジタルカメラ100が電源OFFのときに使用者により電源釦203が押下されると、コントローラ130はデジタルカメラ100を構成する各部に電力を供給し、起動させる。また、デジタルカメラ100が電源ONのときに使用者により電源釦203が押下されると、コントローラ130は各部への電力供給を停止する。
中央釦204は、押下式釦である。デジタルカメラ100が撮影モードあるいは再生モードにあるときに、使用者が中央釦204を押下すると、コントローラ130は液晶モニタ123にメニュー画面を表示させる。メニュー画面は、使用者が撮影/再生のための各種条件を設定するための画面である。各種条件の設定項目が選択された状態で中央釦204が押下されると、その設定項目の選択が確定する。すなわち、中央釦204は決定釦としても機能する。
十字釦205は、上下左右方向に設けられた押下式釦である。使用者が十字釦205のいずれかの方向を押下することにより、液晶モニタ123に表示される各種の項目が選択される。
2.動作
スライド3D撮影モードにおいて、使用者はデジタルカメラ100を移動させながら被写体を連続的に撮影する。以下、このようなスライド3D撮影モードにおける連続撮影を、「スライド連写撮影」と称す。
スライド3D撮影モードにおいて、使用者はデジタルカメラ100を移動させながら被写体を連続的に撮影する。以下、このようなスライド3D撮影モードにおける連続撮影を、「スライド連写撮影」と称す。
スライド連写撮影時に発生する恐れのある、デジタルカメラ100の傾き(光学系110の光軸のピッチング方向およびヨーイング方向の回転)について説明する。図4(A)は、スライド方向にデジタルカメラ100が理想的に移動させられた場合の図である。図4(B)は、スライド方向に対し、デジタルカメラ100がヨーイング方向に回転した場合の図である。図4(A)に示すような場合には、スライド連写撮影によって得られた複数の画像は、互いの画像間における傾きの差(相対傾き量)がゼロである。そのため、図4(A)に示すような場合には、デジタルカメラ100は、各々の画像の傾き量を考慮せずに3次元画像を生成する。しかしながら、実際は図4(B)に示すように、スライド連写撮影によって得られた複数の画像間にて、少なからず相対傾き量が発生する。相対傾き量が発生すると、3次元画像生成用画像の右眼用画像および左眼用画像として、相応しくない組合せになる恐れがある。すなわち、3次元画像にしたときに、使用者に疲労感を覚えさせるような、不自然な画像になる組合せになる恐れがある。したがって、本実施形態のデジタルカメラ100は、好適な3次元画像が得られるよう、複数の画像の相対傾き量を考慮して右眼用画像および左眼用画像を抽出する。
スライド連写撮影において、撮像された画像に関連付けられる角度情報について、図5を参照しながら説明する。図5(a)は、スライド連写撮影時において積分回路162が出力する、デジタルカメラ100の傾き角度θの波形を示す。図5(b)は、コントローラ130がCCDイメージセンサ120に供給する露光タイミングパルスの波形を示す。露光タイミングパルスは、CCDイメージセンサ120が撮像するタイミングを決定するためのものである。図5(a)と(b)の横軸tは時間を示す。図5(b)の下に表示された数字は、露光タイミングパルスをトリガーとして、CCDイメージセンサ120が生成する画像の枚数を示す。また、図5(a)において、1枚目の画像が生成されたときのデジタルカメラ100の傾きの角度をθ1、2枚目の画像が生成されたときのデジタルカメラ100の傾きの角度をθ2と示す。以下3枚目以降も同様である。これらの角度θ1やθ2等は、それぞれのタイミングにて生成された画像に関連付けられてからバッファメモリ124に記録される。図5(a)にはヨーイング方向成分の角度しか図示されていないが、ピッチング方向成分も、ヨーイング方向成分と同様に、画像情報に関連付けられた後、バッファメモリ124に記憶される。例えば、1枚目の画像が撮像されたときの角度θ1のピッチング方向成分とヨーイング方向成分が、1枚目の画像に関連付けられてから、バッファメモリ124に記憶される。コントローラ130は、こうして画像に関連付けられた角度情報を参照することにより、各画像間の相対傾き量を計算する。
なお、図5の5枚目の画像が生成されたときのように、積分回路162が出力する積分結果が、積分回路162の出力できる上限以上になる(以下、「飽和」と称す)場合もある。この場合、コントローラ130はエラーデータを5枚目の画像情報に関連付けてから、画像情報をバッファメモリ124に格納する。飽和した角度情報をエラーデータとするのは、飽和した角度情報同士が比較されて差分がゼロであると判定されることを防止するためである。
スライド3D撮影モードにおけるデジタルカメラ100の動作について、図6のフローチャートを参照しながら説明する。コントローラ130は、スライド3D撮影モードが設定されると、スライド連写撮影動作が開始できるように各部を制御する(S600)。この状態において、コントローラ130は、レリーズ釦201が押下されたか否かを監視する(S601)。レリーズ釦201が押下されるまで、コントローラ130は監視状態を継続する(S601におけるNo)。レリーズ釦201が押下されると(S601におけるYes)、コントローラ130はスライド連写撮影動作を開始する(S602)。
スライド連写撮影動作は、レリーズ釦201が押下されたタイミングで開始してもよいし、または、レリーズ釦201が押下されてから所定時間後に開始してもよい。
また、スライド連写撮影時にシャッタスピードが長すぎるとぶれた画像が得られやすいので、コントローラ130はシャッタスピードを、スライド連写撮影開始前の1/100秒より、速い値に設定する。使用者がデジタルカメラ100を両手で把持してデジタルカメラ100を左手側から右手側へスライド移動させながら連写撮影するとき、シャッタスピードが1/100秒であれば、ぶれない画像を撮像できる画像枚数は約20枚である。連写枚数は、適宜変更可能であるが、以下では一例として20枚とする。
また、スライド連写撮影時に、ジャイロセンサ161は、デジタルカメラ100のピッチング方向およびヨーイング方向の単位時間当たりの角度変化を検出する。積分回路162は、ジャイロセンサ161が検出した角度変化を積分して、角度情報(光学系110の光軸のピッチング方向およびヨーイング方向の回転角度)をコントローラ130に出力する。コントローラ130は、CCDイメージセンサ120および画像処理部122によって生成された画像情報に、積分回路162が出力した角度情報を関連付けて、バッファメモリ124に一時的に記憶する(S603)。コントローラ130は、連写撮影によって生成された複数の画像のそれぞれに、それらの画像が生成されたタイミングでの角度情報を関連付けて、逐次、バッファメモリ124に記憶する。
コントローラ130は、連写枚数が20枚に到達したか否かを判定する(S604)。連写枚数が20枚に到達していない場合(S604のNo)は、コントローラ130は連写枚数が20枚に到達するまでステップS602からステップS604の動作を繰り返す。連写枚数が20枚に到達する(S604のYes)と、コントローラ130は、スライド連写撮影動作を終了してから、3次元画像用の画像の抽出動作を実行する(S605)。3次元画像用画像の抽出動作においては、スライド連写撮影動作において生成された複数の画像の中から、所定の条件を満たす2枚の画像を抽出する。コントローラ130は、抽出された2枚の画像を3次元画像としてメモリカード140に記録する(S606)。3次元画像用の画像の抽出動作については、次に詳述する。
スライド3D撮影モードにおける、3次元画像用画像の抽出動作について、図7のフローチャートを参照しながら具体的に説明する。まず、コントローラ130は、スライド連写撮影動作によって生成された複数の画像を、バッファメモリ124から読み出す。それから、コントローラ130は、読み出した複数の画像の間で、特徴領域の画素の移動量を判定する。特徴領域として、ピント領域や顔領域などが採用される。
次に、コントローラ130は、フラッシュメモリ142から、画素の移動量に対するステレオベースの対応テーブルを読み出す。コントローラ130は、この対応テーブルに基づいて、判定した画素の移動量がどれだけの距離のステレオベースであるかを判断する。
続いて、コントローラ130は、フラッシュメモリ142から、使用者が3次元画像を鑑賞するのに好適なステレオベースの基準距離情報を読み出す。コントローラ130は、複数の画像の組合せの中で、ステレオベースの基準距離からの許容距離範囲内にあるステレオベースとなる画像の組合せを判定する(S700)。以下、複数の画像の組合せのステレオベースが、基準距離から許容距離範囲内にあるという条件を、「ステレオベース条件」とする。
次に、コントローラ130は、ステレオベース条件を満たす組合せが、一組でもあったか否かを判定する(S701)。ステレオベース条件を満たす組合せがない場合(S701におけるNo)、コントローラ130は、液晶モニタ123にエラー表示を表示させて(S706)から、画像抽出動作を終了する。
一方、ステレオベース条件を満たす組合せがある場合(S701におけるYes)、コントローラ130は、どの画像とも組合されなかった画像を削除し、いずれかの画像と組合せになった画像をバッファメモリ124に記憶する。そして引き続き、コントローラ130は相対傾き条件判定を行う(S702)。コントローラ130は、バッファメモリ124に記録された画像を読み出す。各画像は、角度情報と関連付けられている。また、コントローラ130は、フラッシュメモリ142から、相対傾き量の許容範囲情報を読み出す。コントローラ130は、ステップS700においてステレオベース条件を満たすと判定された組合せの画像について、組合せの角度の差分が許容範囲内か否か(以下、「相対傾き条件」と称す)を判定する。例えば、図5における1枚目の画像と、2枚目の画像がステレオベース条件を満たす組合せであったとする。コントローラ130は、θ1とθ2との差分が許容範囲内か否かを判定する。このとき、例えば、θ1のヨーイング成分とθ2のヨーイング成分との差分が所定値より小さくても、θ1のピッチング成分とθ2のピッチング成分の差分が所定値より大きければ、コントローラ130は、この組合せの角度差が許容範囲外であると判定する。一方、θ1のヨーイング成分とθ2のヨーイング成分との差分が所定値より小さく、θ1のピッチング成分とθ2のピッチング成分の差分も所定値より小さければ、コントローラ130は、この組合せの角度差が許容範囲内であると判定する。使用者の撮影位置を回転軸としてデジタルカメラ100がスウィングされたときは、特にヨーイング方向の角度差が大きくなるので、コントローラ130は、このときに撮像された画像組合せの相対傾き量を、許容範囲外であると判定する可能性が高い。
次に、コントローラ130は、相対傾き条件を満たす組合せがあるか否かを判断する(S703)。相対傾き条件を満たす組合せがない場合(S703におけるNo)、コントローラ130は、液晶モニタ123にエラー表示を表示させて(S707)から、画像抽出動作を終了する。
一方、相対傾き条件を満たす組合せがある場合(S703におけるYes)は、コントローラ130は、複数の組合せが相対傾き条件を満たすか否かを判定する(S704)。複数の組合せが相対傾き条件を満たす場合(S704のYes)、コントローラ130は、最も良い条件(センター条件)の組合せを選定し(S708)、センター条件を満たす組合せを3次元画像生成用の画像として採用する(S705)。最も良い条件(センター条件)の組合せとは、相対傾き量が最もゼロに近い組合せである。一方、相対傾き条件を満たす組合せが一組しかない場合(S704のNo)、コントローラ130はその組合せを3次元画像生成用の画像として採用する(S705)。
以上のようにして、連続撮影によって生成された複数の画像のうち、ステレオベース条件と相対傾き条件とセンター条件(必要に応じて)を満たす組合せを、コントローラ130は3次元画像生成用の画像として決定する。スライド連写撮影のスライド方向として、左手側から右手側へ向かう方向が採用された場合、先に撮影された一枚が左眼用画像として決定され、後に撮影された一枚が右眼用画像として決定される。この2つの画像が使用されることにより、3次元画像が実現される。
3.相対傾きによる選定の意義
本実施形態のような、スライド3D撮影モード時に連続撮像された複数の画像の中から、相対傾き条件判定の結果に基づいて、3次元画像生成用の画像の組合せを抽出する方法の意義について説明する。
本実施形態のような、スライド3D撮影モード時に連続撮像された複数の画像の中から、相対傾き条件判定の結果に基づいて、3次元画像生成用の画像の組合せを抽出する方法の意義について説明する。
スライド3D撮影モード時に、デジタルカメラ100がスライド移動させられながら連続撮像し、3次元画像生成用の画像を選定する方法として、このスライド移動が安定したパンニング動作であったか否かを検出(以下、「パンニング検出」と称す)する方法もある(例えば、特開2009−103980号公報参照)。パンニング検出を行うデジタルカメラは、安定したパンニング動作中に撮影された画像のみを、3次元画像生成用の画像として採用する。このように、パンニング検出が行われれば、3次元画像生成用の画像として好適な画像が採用可能になると期待できる。
しかし、パンニング検出を行うデジタルカメラは、安定したパンニングが成功するまで3次元画像生成用の画像が取得できない。デジタルカメラの操作に不慣れな使用者や、パンニング撮影を普段行わない使用者は、デジタルカメラを安定してパンニングすることに失敗する恐れがある。よって、安定したパンニングを行えない使用者は、パンニング検出を行うデジタルカメラでは3次元画像生成用の画像を取得できないことが多いため、デジタルカメラの利便性が低い。
一方、本実施形態によれば、デジタルカメラ100の不安定なパンニング(スライド移動)中に、複数の角度状態で撮像された複数の画像であっても、画像撮像時のデジタルカメラ100の傾きの差とステレオベース条件とに基づいて画像の組合せを選定する。これにより、3次元画像生成のために好適な画像の組合せを取得する確率を高めることができ、使用者にとって利便性の高いデジタルカメラを提供できる。
4.本実施形態のまとめ
以上のように、本実施形態のデジタルカメラ100は、被写体を撮像して画像を生成するCCDイメージセンサ120と、デジタルカメラ100の傾きの角度を検出するジャイロセンサ161および積分回路162と、CCDイメージセンサ120により生成された画像にジャイロセンサ161および積分回路162による角度情報を関連付けて記憶するバッファメモリ124と、バッファメモリ124に記憶された複数の画像の中から、それぞれの画像に関連付けられた角度情報に基づいて、2つの画像を3次元画像生成用の左眼用画像と右眼用画像として選定するコントローラ130とを備える。
以上のように、本実施形態のデジタルカメラ100は、被写体を撮像して画像を生成するCCDイメージセンサ120と、デジタルカメラ100の傾きの角度を検出するジャイロセンサ161および積分回路162と、CCDイメージセンサ120により生成された画像にジャイロセンサ161および積分回路162による角度情報を関連付けて記憶するバッファメモリ124と、バッファメモリ124に記憶された複数の画像の中から、それぞれの画像に関連付けられた角度情報に基づいて、2つの画像を3次元画像生成用の左眼用画像と右眼用画像として選定するコントローラ130とを備える。
このような構成によって本実施形態のデジタルカメラ100は、各画像に関連付けられた角度情報に基づいて3次元画像生成用画像の組合せを選定する。これにより、スライド3D撮影モードにおいて複数の画像が異なる角度で撮像されても、適切な3次元画像生成用の画像が取得できる。
5.他の実施形態
本発明は、前述の実施形態に限定されない。以下、本発明の別の実施形態についてまとめて記載する。
本発明は、前述の実施形態に限定されない。以下、本発明の別の実施形態についてまとめて記載する。
前述の実施形態において、撮像部の一例としてCCDイメージセンサ120を説明したが、撮像部はこれに限定されない。撮像部がCMOSイメージセンサや、NMOSイメージセンサなど他の撮像素子であってもよい。
また、前述の実施形態において、デジタルカメラ100の傾きを検出するセンサとしてジャイロセンサ161を例示したが、傾きを検出するセンサはこれに限定されない。傾きを検出するセンサが加速度センサや地磁気センサなど他のモーションセンサであってもよい。
また、前述の実施形態のデジタルカメラ100では、横撮りによるスライド連写撮影を行う例を示したが、デジタルカメラ100の向きはこれに限定されない。縦撮りによるスライド連写撮影が可能な構成であってもよい。「横撮り」とは、液晶モニタ123の短辺方向が鉛直方向になるように、使用者がデジタルカメラ100を保持して撮影することである。「縦撮り」とは、液晶モニタ123の長辺方向が鉛直方向になるように、使用者がデジタルカメラ100を保持して撮影することである。縦撮りによるスライド連写撮影動作が行われる場合、スライド方向は液晶モニタ123の短辺方向である。
また、前述の実施形態のデジタルカメラ100は、連写により撮影された複数の画像に基づいて3次元画像を生成したが、本発明はこれに限定されない。使用者がデジタルカメラ100の位置を変えて不連続に撮影した複数の画像に基づいて、3次元画像が生成されてもよい。撮像された画像と撮像時のデジタルカメラ100の角度情報が関連付けられていれば、3次元画像生成用の画像を抽出する方法として、本発明を適用することができる。
また、前述の実施形態において、スライド連写撮影動作中に、光学式手振れ補正レンズ113の機能を停止するように制御してもよい。これは、スライド連写撮影動作中に光学式手振れ補正レンズ113が機能していると、光学式手振れ補正レンズ113がレンズ枠の端に当接した状態のまま撮像が行われることにより、生成される画像の光学性能が劣化するからである。なお、光学式手振れ補正レンズ113の、デジタルカメラ100のスライド方向と同じ方向の機能のみが停止されるような制御であれば、スライド方向に対して垂直方向の手振れ補正は機能したまま、スライド連写撮影動作が実行可能である。
また、前述の実施形態において、積分回路162の出力ダイナミックレンジが狭い場合には、出力が飽和しやすい。よって、このような場合には、飽和を避けるために、スライド連写撮影動作の開始前に、積分回路162の出力をゼロにリセットするような構成であってもよい。
また、前述の実施形態において、ステレオベース条件判定によって最適な組合せの2枚が選定された後、その2枚以外の画像が削除されるような構成でもよい。
また、前述の実施形態においては、スライド3D撮影モード時に生成された複数の画像に対して、ステレオベース条件判定(図7のS700)が実行されてから相対傾き条件判定(S702)が実行されたが、本発明はこれに限定されない。相対傾き条件判定が実行されてからステレオベース条件判定が実行されてもよい。例えば、図5に示すような、1枚目(対応する回転角度はθ1)から4枚目(対応する回転角度はθ4)の画像が得られているとする。このとき、コントローラ130は、1枚目の画像の回転角度θ1と、2枚目の画像の回転角度θ2または3枚目の画像の回転角度θ3または4枚目の画像の回転角度θ4との間で、差分の絶対値を算出する。すなわち、コントローラ130は、|θ1−θ2|、|θ1−θ3|、|θ1−θ4|を算出する。5枚目の画像にはエラーデータが関連付けられているので、5枚目の画像は計算対象にされない。次に、同様に、コントローラ130は、2枚目の画像の回転角度θ2と、3枚目の画像の回転角度θ3または4枚目の画像の回転角度θ4との間で、差分の絶対値を算出する。すなわち、コントローラ130は、|θ2−θ3|、|θ2−θ4|を算出する。最後に、同様に、コントローラ130は、3枚目の画像の回転角度θ3と4枚目の画像の回転角度θ4との間で、差分の絶対値を算出する。すなわち、コントローラ130は、|θ3−θ4|を算出する。この回転角度の差分が、画像間の相対傾き量である。コントローラ130は、算出されたそれぞれの相対傾き量の絶対値の中から、相対傾き量が許容範囲内にある画像の組合せを抽出する。例えば、|θ1−θ2|、|θ2−θ4|、|θ3−θ4|の値が、許容範囲内であるとする。このとき、コントローラ130は、|θ1−θ2|と|θ2−θ4|と|θ3−θ4|に対応する画像の組合せに対して、ステレオベース条件判定を行って、この条件を満たす組合せを最終的に3次元画像生成用の画像組合せとして採用する。要するに、スライド3D撮影モード時に連続撮像された複数の画像の中から、相対傾き条件を満たす画像の組合せを、3次元画像生成用の画像の組合せとして採用する動作が、コントローラ130の動作に含まれていればよい。他の判定動作との順序は限定されない。
また、本発明は、レンズ一体型のカメラやレンズ着脱式のカメラであっても適用できる。
本発明は、デジタルカメラ、ムービーカメラ、カメラ付き情報端末などの撮像装置に適用可能である。
100…デジタルカメラ
111…フォーカスレンズ
112…ズームレンズ
113…手振れ補正レンズ
114…シャッタ
120…CCDイメージセンサ
121…AFE(アナログ・フロント・エンド)
122…画像処理部
123…液晶モニタ
124…バッファメモリ
130…コントローラ
140…メモリカード
141…カードスロット
142…フラッシュメモリ
150…操作部
160…フラッシュ
161…ジャイロセンサ
162…積分回路
201…レリーズ釦
202…ズームレバー
203…電源釦
204…中央釦
205…十字釦
111…フォーカスレンズ
112…ズームレンズ
113…手振れ補正レンズ
114…シャッタ
120…CCDイメージセンサ
121…AFE(アナログ・フロント・エンド)
122…画像処理部
123…液晶モニタ
124…バッファメモリ
130…コントローラ
140…メモリカード
141…カードスロット
142…フラッシュメモリ
150…操作部
160…フラッシュ
161…ジャイロセンサ
162…積分回路
201…レリーズ釦
202…ズームレバー
203…電源釦
204…中央釦
205…十字釦
Claims (3)
- 被写体を撮像して画像を生成する撮像部と、
自装置の傾きを検出する検出部と、
前記撮影部により生成された画像に前記検出部による検出結果を関連付けて記憶する記憶部と、
前記記憶部に記憶された複数の画像の中から、それぞれの画像に関連付けられた前記検出結果に基づいて、少なくとも2つの画像を3次元画像生成用の画像として選定する制御部と
を備える撮像装置。 - 前記制御部は、前記それぞれの画像に関連付けられた前記検出結果が示す傾きの差分が、所定範囲内にある少なくとも2つの画像を前記3次元画像生成用の画像として選定することを特徴とする
請求項1に記載の撮像装置。 - 前記撮像部が被写体像を連続的に撮像して複数の画像を連続的に生成する撮影モードを有することを特徴とする
請求項1または2に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012010182A JP2012186793A (ja) | 2011-01-24 | 2012-01-20 | 撮像装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011011663 | 2011-01-24 | ||
JP2011011663 | 2011-01-24 | ||
JP2011029369 | 2011-02-15 | ||
JP2011029369 | 2011-02-15 | ||
JP2012010182A JP2012186793A (ja) | 2011-01-24 | 2012-01-20 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012186793A true JP2012186793A (ja) | 2012-09-27 |
Family
ID=46543886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012010182A Pending JP2012186793A (ja) | 2011-01-24 | 2012-01-20 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120188343A1 (ja) |
JP (1) | JP2012186793A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103636191B (zh) * | 2011-08-23 | 2016-11-02 | 松下电器产业株式会社 | 三维摄像装置、透镜控制装置 |
US10356312B2 (en) * | 2014-03-27 | 2019-07-16 | Htc Corporation | Camera device, video auto-tagging method and non-transitory computer readable medium thereof |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2171689B1 (en) * | 2007-06-29 | 2020-06-03 | Midmark Corporation | Synchronized views of video data and three-dimensional model data |
US8340432B2 (en) * | 2009-05-01 | 2012-12-25 | Microsoft Corporation | Systems and methods for detecting a tilt angle from a depth image |
US20110304706A1 (en) * | 2010-06-09 | 2011-12-15 | Border John N | Video camera providing videos with perceived depth |
-
2012
- 2012-01-20 JP JP2012010182A patent/JP2012186793A/ja active Pending
- 2012-01-20 US US13/354,413 patent/US20120188343A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20120188343A1 (en) | 2012-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5853151B2 (ja) | 撮像装置 | |
US8155432B2 (en) | Photographing apparatus | |
JP5380184B2 (ja) | 複眼カメラ及びその制御方法 | |
JP4626684B2 (ja) | 複眼撮像装置及び像ブレ補正方法 | |
US9077976B2 (en) | Single-eye stereoscopic image capturing device | |
US20120300051A1 (en) | Imaging apparatus, and display method using the same | |
WO2007097287A1 (ja) | 撮像装置及びレンズ鏡筒 | |
JP4019200B2 (ja) | 画像表示器付きカメラ | |
KR20090119687A (ko) | 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체 | |
US8743181B2 (en) | Image pickup apparatus | |
JP2011259168A (ja) | 立体パノラマ画像撮影装置 | |
JP2006162991A (ja) | 立体画像撮影装置 | |
US9912877B2 (en) | Imaging apparatus for continuously shooting plural images to generate a still image | |
JP2011217103A (ja) | 複眼撮影方法および装置 | |
JP5087519B2 (ja) | 撮像装置 | |
JP2012090259A (ja) | 撮像装置 | |
US9621799B2 (en) | Imaging apparatus | |
JP4767904B2 (ja) | 撮像装置及び撮像方法 | |
WO2017086300A1 (ja) | 撮影装置及びその制御方法、並びに作動プログラム | |
JP2010141609A (ja) | 撮像装置 | |
KR101630307B1 (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 | |
WO2012124287A1 (ja) | 撮影装置、撮影方法及びプログラム | |
JP2012186793A (ja) | 撮像装置 | |
JP6700693B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US20130076867A1 (en) | Imaging apparatus |