JP4193290B2 - 多眼式データ入力装置 - Google Patents
多眼式データ入力装置 Download PDFInfo
- Publication number
- JP4193290B2 JP4193290B2 JP18273599A JP18273599A JP4193290B2 JP 4193290 B2 JP4193290 B2 JP 4193290B2 JP 18273599 A JP18273599 A JP 18273599A JP 18273599 A JP18273599 A JP 18273599A JP 4193290 B2 JP4193290 B2 JP 4193290B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- superimposed
- dimensional images
- view data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元データの取得のための多眼式データ入力装置に関する。
【０００２】
【従来の技術】
従来より、多眼式データ入力装置は、パッシブタイプの３次元データ入力装置の１つとして知られている。多眼式データ入力装置は、２次元画像を得るための複数の入力部、得られた複数の２次元画像に基づいて３次元データを算出する算出部などを有している。
【０００３】
このような装置を用いて３次元データを生成するには、得られた複数の２次元画像のうち、その１つを基準画像とする。基準画像における被写体を示す領域内の全ての座標点について、他の２次元画像においてそれらに対応する座標点を求める。座標点（対応点）の対応関係に基づいて、ステレオ視の原理により、３次元空間上での点の位置を求める。求められた点の位置データの集合が被写体についての３次元データである。
【０００４】
【発明が解決しようとする課題】
上に述べた従来の装置では、１つの２次元画像に存在する領域が他の１つの２次元画像に存在しない場合には、それらの間で対応点を求めることができない。また、誤った点を対応点としてしまうことがある。そのような場合には、誤りを含んだ３次元データが生成され、精度のよい３次元形状が形成されない。
【０００５】
したがって、３次元形状を精度よく再構成するためには、対応点の探索の精度を向上させる必要がある。そのためには、複数の２次元画像の被写体を示す領域について、オクルージョン（死角）をできるだけなくす必要がある。また、複数の２次元画像間において、被写体の注視点を示す座標が大きくずれておらず、視差が余り大きくない２次元画像を得る必要がある。
【０００６】
ステレオカメラの視差を小さくする技術として、特開平９−７４５７２号公報に記載の装置が提案されている。この従来装置によると、左右の２次元画像をそれぞれの画面に表示するとともに、視差計算部、表示画面制御部、及び読出しパルス制御部などの専用の回路を設け、専用の回路によって画面上における左右の２次元画像の視差を制御する。しかし、この装置では、専用の回路を用いて演算により視差を制御するので、回路が複雑である。
【０００７】
本発明は、上述の問題に鑑みてなされたもので、簡単な構成により、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら撮影を行えるようにし、対応点の探索の精度を向上させて３次元形状を再構成する際の精度を向上させることのできる多眼式データ入力装置を提供することを目的とする。
【０００８】
請求項１の発明に係る装置は、図１乃至図６に示すように、被写体Ｑの２次元画像ＱＬ，ＱＲを互いに異なる複数の視点位置から入力する画像入力部１２，１３と、表示部１２ｃ，１３ｃ，２２と、入力された複数の２次元画像ＱＬ，ＱＲを互いに重ね合わせて形成される重ね合わせ画像ＱＳを前記表示部１３ｃ，２２に表示するための重ね合わせ表示制御部１５１，２１と、を有してなる。
そして、図１１及び図１２に示すように、前記被写体Ｑにおいて３次元データの算出の対象とすべき部分を２次元画像ＱＬ，ＱＲから抽出する抽出部１５１を有し、前記抽出部１５１によって抽出された２次元画像ＱＬＥ，ＱＲＥによって前記重ね合わせ画像ＱＳＥを形成する。
【０００９】
請求項２の発明に係る装置は、前記２次元画像ＱＬ，ＱＲに基づいて前記被写体Ｑの３次元データを算出する算出部１５１，２１を有してなる。
請求項３の発明に係る装置は、前記画像入力部１２，１３の基線長が変更可能に構成されてなる。
【００１０】
請求項４の発明に係る装置は、前記画像入力部１２，１３の各撮影方向が変更可能に構成されてなる。
請求項５の発明に係る装置は、前記画像入力部１２，１３が、それぞれ別個の本体に独立して設けられてなる。
【００１１】
請求項６の発明に係る装置では、図６に示すように、前記重ね合わせ表示制御部１５１は、複数の２次元画像ＱＬ，ＱＲを前記表示部１３ｃに同時に表示することによって前記重ね合わせ画像ＱＳを形成する。
【００１２】
請求項７の発明に係る装置では、図８に示すように、前記重ね合わせ表示制御部１５１は、複数の２次元画像ＱＬ，ＱＲを前記表示部１３ｃに一定時間毎に交互に表示することによって前記重ね合わせ画像ＱＳを形成する。
【００１４】
【発明の実施の形態】
〔第１の実施形態〕
図１は本発明の第１の実施形態を示す多眼入力カメラ５の斜視図、図２は多眼入力カメラ５を含んだ３次元データ生成装置１の構成の例を示す図、図３は多眼入力カメラ５を用いて被写体Ｑを撮影する際の様子を概念的に示す図である。
【００１５】
図１に示すように、多眼入力カメラ５には、カメラ本体１１、撮影レンズ１２ａ，１３ａをそれぞれ有する画像入力部１２，１３、及びシャッター１５５などが設けられている。なお、図１には示されていないが、多眼入力カメラ５の内部には処理回路１５が内蔵されている。
【００１６】
図２に示すように、３次元データ生成装置１は、情報処理装置４及び多眼入力カメラ５からなる。情報処理装置４は、処理装置２１、表示面ＨＧを有した表示装置２２、キーボード及びマウスを始めとする入力装置２３などからなる。処理装置２１には、ＣＰＵ、ＲＡＭ、ＲＯＭ、その他の周辺素子、インタフェース装置、ハードディスク装置、フロッピィディスク装置、ＣＤ−ＲＯＭ装置、モデム、及びその他の機器が内蔵されている。このような情報処理装置４として、適当なプログラムをインストールしたパーソナルコンピュータなどを用いることができる。
【００１７】
多眼入力カメラ５には、図２に示すように、撮影した２次元画像ＱＬ，ＱＲ及び後述する重ね合わせ画像を表示するための、液晶パネルなどからなる表示装置１２ｃ，１３ｃがそれぞれ設けられている。
【００１８】
多眼入力カメラ５と情報処理装置４との間では、データ転送を行うことができる。また、多眼入力カメラ５から入力された２次元画像を情報処理装置４において表示することも可能である。情報処理装置４は、多眼入力カメラ５から入力された２次元画像に基づいて、３次元データを生成し、生成した３次元データを表示面ＨＧに表示することができる。
【００１９】
図３に示すように、被写体Ｑは、その背景ＱＫとともに２つの撮影レンズ１２ａ，１３ａによって視差を有して取り込まれ、それぞれの表示装置１２ｃ，１３ｃに、２次元画像ＱＬ，ＱＲとして表示されている。これらの２次元画像ＱＬ，ＱＲに基づいて、３次元データの生成の前処理として、対応点の探索を行う。つまり、２つの２次元画像ＱＬ，ＱＲのうちの１つを基準画像とし、基準画像における被写体Ｑを示す領域内の全ての座標点について、他の２次元画像においてそれらに対応する対応点を求める。対応点に基づいて、ステレオ視の原理によって３次元データを演算により求める。なお、本明細書において、対応点を探索することを対応点探索ということがある。
【００２０】
図４は対応点探索の概念を説明するための図である。
図４において、被写体Ｑの画像は、画像入力部１２，１３に設けられた撮像素子１２ｂ，１３ｂの撮像面上に結像している。左方の撮像素子１２ｂに結像する２次元画像ＱＬを基準画像とする。なお、撮像素子１２ｂ，１３ｂで得られる２次元画像ＱＬ，ＱＲは、表示装置１２ｃ，１３ｃに表示される２次元画像ＱＬ，ＱＲと同じである。対応点探索は、次のようにして行われる。
【００２１】
すなわち、対応点探索は、被写体Ｑ上の任意の点を注視点Ａとした場合に、基準画像を撮像する撮像素子１２ｂの撮像面上における注視点Ａを示す点Ｌ１が、他の撮像素子１３ｃの撮像面上において如何なる座標の点に対応しているかを求める作業である。対応点探索において、２次元画像ＱＬ，ＱＲの輝度を用い、また勾配法又は相関法などの従来公知の方法を用いることができる。これらの方法を用いることにより、図４においては、撮像素子１２ｂの撮像面上の点Ｌ１は、撮像素子１３ｃの撮像面上のＲ１に対応していることが分かる。被写体Ｑ上の全ての点について、このような対応点探索を行うことにより、全ての点について３次元座標上での位置が分かり、被写体Ｑの３次元形状を求めることができる。
【００２２】
対応点探索において、基準画像上の各点に対する対応点を求める際に、２次元画像ＱＬ，ＱＲにおける注視点Ａの相対的な位置の差（視差）が小さい程、対応点を正確に求めることが容易である。そのため、多眼入力カメラ５では、画角内での被写体Ｑの各点の視差が小さくなるような位置で撮影が可能である。
【００２３】
図５は多眼入力カメラ５の構成を示すブロック図、図６は表示装置１２ｃ，１３ｃに表示される画像の例を示す図、図７は多眼入力カメラ５の概略の動作を示すフローチャートである。
【００２４】
図５において、多眼入力カメラ５は、上にも述べたように、画像入力部１２，１３及び処理回路１５などからなる。画像入力部１２，１３には、撮影レンズ１２ａ，１３ａ及び撮像素子１２ｂ，１３ｂが設けられる。撮像素子１２ｂ，１３ｂとして、モノクロ又はカラーのＣＣＤなどが用いられる。処理回路１５は、ＣＰＵ１５１、メモリ１５２，１５３、位置合わせボタン１５４、シャッター１５５、及び表示装置１２ｃ，１３ｃなどからなる。なお、図示は省略したが、多眼入力カメラ５の通常の操作のための種々のボタン、その他の機器も備えられている。
【００２５】
通常は、図６の上段に示すように、撮像素子１２ｂに入力された２次元画像ＱＬは表示装置１２ｃで、撮像素子１３ｂに入力された２次元画像ＱＲは表示装置１３ｃで、それぞれ表示される。位置合わせボタン１５４を押すと、図６の中段に示すように、２つの２次元画像ＱＬ，ＱＲが重ね合わせられ、得られた重ね合わせ画像ＱＳが表示装置１３ｃに表示される。
【００２６】
重ね合わせの処理は次のようにして行われる。すなわち、撮像素子１２ｂ，１３ｂに入力された画像データは、メモリ１５２，１５３に一旦格納される。メモリ１５２，１５３に格納された画像データは、ＣＰＵ１５１によって読み出され、それぞれの輝度値の２分の１の値の画像データが生成され、それらの画像データが、表示装置１３ｃによって元の位置と同じ位置で表示される。
【００２７】
図６の中断に示す重ね合わせ画像ＱＳ１では、２つの２次元画像ＱＬ，ＱＲは互いにかなりずれており、視差が大きく、オクルージョンが存在する可能性がある。
【００２８】
そこで、ユーザは、表示装置１３ｃに表示された重ね合わせ画像ＱＳを見ながら、２つの２次元画像ＱＬ，ＱＲのずれが少なくなるようにする。画像のずれを少なくするための方法として、次の方法が考えられる。
▲１▼ 多眼入力カメラ５を移動することなく、その場で振って撮影方向を変える。
▲２▼ 多眼入力カメラ５を被写体Ｑ近づけ又は遠ざけて距離を変える。
▲３▼ 多眼入力カメラ５を被写体Ｑに向けた状態で距離を保ちながら円弧を描くように移動する。
【００２９】
また、多眼入力カメラ５の構造が許すならばさらに次の方法が考えられる。
▲４▼ ２つの画像入力部１２，１３の光軸の交わる角度である輻輳角を変える。
▲５▼ ２つの画像入力部１２，１３の光軸間の距離である基線長を変える。
【００３０】
また、上の方法を適当に組み合わせる。
これによって、例えば図６の下段に示す重ね合わせ画像ＱＳ２のように、２つの２次元画像のずれが少なくなったときに、シャッター１５５を押す。これによって、そのときの２次元画像ＱＬ，ＱＲがメモリ１５２，１５３に格納される。その後、ＣＰＵ１５１によって、３次元データの再構成のための処理が行われる。
【００３１】
図７において、画像入力部１２，１３に入力された２次元画像ＱＬ，ＱＲを表示装置１２ｃ，１３ｃに表示する（＃１１）。位置合わせボタン１５４が押されると（＃１２でイエス）、重ね合わせ画像ＱＳを表示する（＃１３）。ユーザは、重ね合わせ画像ＱＳを見ながら、オクルージョンが小さくなるように多眼入力カメラ５を移動し（＃１４）、適当なところでシャッター１５５を押して撮影する（＃１５）。
【００３２】
このように、多眼入力カメラ５によると、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら、撮影を行うことができる。したがって、対応点の探索の精度を向上させ、３次元形状を再構成する際の精度を向上させることができる。しかも、多眼入力カメラ５の構成が比較的簡単である。
【００３３】
なお、上の説明では、多眼入力カメラ５において３次元データの生成を行ったが、多眼入力カメラ５に入力された２次元画像ＱＬ，ＱＲのデータを情報処理装置４に転送し、情報処理装置４において３次元データの生成を行ってもよい。また、２次元画像ＱＬ，ＱＲ及び重ね合わせ画像ＱＳを情報処理装置４の表示装置２２に表示してもよい。
〔第２の実施形態〕
次に、第２の実施形態について説明する。
【００３４】
図８は第２の実施形態の表示装置１３ｃに表示される画像の例を示す図、図９は多眼入力カメラ５の概略の動作を示すフローチャートである。
第２の実施形態において、３次元データ生成装置１の構成は基本的には第１の実施形態と同一である。第１の実施形態では、重ね合わせ画像ＱＳとして、２つの２次元画像ＱＬ，ＱＲの輝度値の２分の１の画像データを表示装置１３ｃに同時に表示したが、第２の実施形態では、２次元画像ＱＬ，ＱＲの輝度値を変更することなく、一定時間毎に交互に表示する。つまり、各２次元画像ＱＬ，ＱＲの表示時間を２分の１にする。この場合の一定時間として、数十分の１秒、例えば６０分の１乃至３０分の１秒程度とすることができる。
【００３５】
すなわち、通常は、表示装置１２ｃ，１３ｃには、図６の上段に示すように各撮像素子１２ｂ，１３ｂに入力された２次元画像ＱＬ，ＱＲは、表示装置１２ｃ，１３ｃにそれぞれ表示される（＃２１）。位置合わせボタン１５４を押すと（＃２２）、図８（ａ）に示す２次元画像ＱＬと図８（ｂ）に示す２次元画像ＱＲとが、表示装置１３ｃに交互に表示される。これをユーザが見ると、残像現象によって、図８（ｃ）に示す重ね合わせ画像ＱＳ３が観察される（＃２３）。
【００３６】
重ね合わせの処理は次のようにして行われる。すなわち、メモリ１５２，１５３に格納された２次元画像ＱＬ，ＱＲのデータは、ＣＰＵ１５１によって読み出され、それぞれ一定時間毎に表示装置１３ｃによって表示される。
【００３７】
そこで、ユーザは、表示装置１３ｃに表示された重ね合わせ画像ＱＳ３を見ながら、２つの２次元画像ＱＬ，ＱＲのずれが少なくなるように多眼入力カメラ５を移動する（＃２４）。例えば図８（ｄ）に示す重ね合わせ画像ＱＳ４のように、２つの２次元画像のずれが少なくなったときに、シャッター１５５を押す（＃２５）。これによって、そのときの２次元画像ＱＬ，ＱＲがメモリ１５２，１５３に格納される。
【００３８】
このように、第２の実施形態においても、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら、撮影を行うことができる。
〔第３の実施形態〕
次に、第３の実施形態について説明する。
【００３９】
図１０は第３の実施形態の多眼入力カメラ５Ｃの構成を示すブロック図、図１１及び図１２は表示装置１２ｃ，１３ｃに表示される画像の例を示す図、図１３は多眼入力カメラ５Ｃの概略の動作を示すフローチャートである。
【００４０】
第３の実施形態において、３次元データ生成装置１の構成は基本的には第１の実施形態と同一である。第１の実施形態では、被写体Ｑのみでなく、その背景ＱＫについても、表示装置１２ｃ，１３ｃに表示したが、第３の実施形態では、２次元画像ＱＬ，ＱＲの中から被写体Ｑについての領域のみを抽出して表示装置１２ｃ，１３ｃに表示する。
【００４１】
図１０において、多眼入力カメラ５Ｃは、第１の実施形態の多眼入力カメラ５に対して、領域抽出ボタン１５６が追加されている。領域抽出ボタン１５６は、これを押すことにより、表示装置１２ｃ，１３ｃの表示面上においてカーソルで指定された領域を、領域抽出のための領域として決定する。なお、図示は省略したが、カーソルを移動するためのカーソルボタンが設けられている。
【００４２】
図１１の上段に示すように、通常は、表示装置１２ｃ，１３ｃには、各撮像素子１２ｂ，１３ｂに入力された２次元画像ＱＬ，ＱＲがそれぞれ表示される。表示装置１２ｃにはカーソルＣＵが表示される。この状態で、図１１の中段に示すように、被写体ＱにカーソルＣＵを合わせる。そこで領域抽出ボタン１５６を押すと、左右の２次元画像ＱＬ，ＱＲについて抽出処理が行われ、抽出画像ＱＬＥ，ＱＲＥが得られる。抽出処理はＣＰＵ１５１によって行われる。
【００４３】
抽出処理に当たっては、カーソルＣＵで示される部分の色情報に基づいて、それと同じ色情報を持った領域が抽出画像ＱＬＥ，ＱＲＥとして抽出される。図１１の例では、被写体Ｑの顔の部分が抽出画像ＱＬＥ，ＱＲＥである。図１１の下段に示すように、表示装置１２ｃ，１３ｃには、抽出画像ＱＬＥ，ＱＲＥが表示される。なお、抽出画像ＱＬＥ，ＱＲＥは、抽出された領域についての２次元画像であるが、領域のみを示してもよい。
【００４４】
そこで、位置合わせボタン１５４を押すと、図１２に示すように、２つの抽出画像ＱＬＥ，ＱＲＥが重ね合わせられ、得られた重ね合わせ画像ＱＳＥが表示装置１３ｃに表示される。この場合の重ね合わせにおいては、第１の実施形態と同様に、２つの抽出画像ＱＬＥ，ＱＲＥが同時に表示される。ユーザは、重ね合わせ画像ＱＳＥを見ながら、オクルージョンが小さくなるように多眼入力カメラ５を移動させる。３次元データの再構成のための処理は、抽出画像ＱＬＥ，ＱＲＥについてのみ行われる。
【００４５】
図１３において、２次元画像ＱＬ，ＱＲを表示装置１２ｃ，１３ｃに表示した後（＃３１）、被写体Ｑを指定するために領域抽出ボタン１５６を押すと、被写体Ｑの抽出が行われる（＃３２，３３）。位置合わせボタン１５４が押されると（＃３４でイエス）、重ね合わせ画像ＱＳＥを表示する（＃３５）。ユーザは、重ね合わせ画像ＱＳＥを見ながら、オクルージョンが小さくなるように多眼入力カメラ５Ｃを移動し（＃３６）、適当なところでシャッター１５５を押して撮影する（＃３７）。
【００４６】
第３の実施形態においては、被写体Ｑについての領域のみが表示され、背景ＱＫが削除されているので、ユーザにとって見やすく、画像のずれを少なくするための操作が容易である。３次元データの生成が被写体Ｑの領域のみについて行われ、無駄な演算が行われないので処理時間が短縮される。また、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら、撮影を行うことができる。
〔第４の実施形態〕
次に、第４の実施形態について説明する。
【００４７】
第４の実施形態において、３次元データ生成装置１の構成は基本的には第２の実施形態と同一である。第４の実施形態では、２次元画像ＱＬ，ＱＲの中から被写体Ｑについての領域のみを抽出して表示装置１２ｃ，１３ｃに表示する。つまり、第４の実施形態は、第１の実施形態に対する第２の実施形態及び第３の実施形態の各特徴を組み合わせたものである。
【００４８】
すなわち、第４の実施形態では、領域抽出ボタン１５６を押すことにより、第３の実施形態と同様に２次元画像ＱＬ，ＱＲに対して抽出処理が行われ、抽出画像ＱＬＥ，ＱＲＥが得られる。そして、位置合わせボタン１５４を押すことにより、第２の実施形態と同様に、２つの抽出画像ＱＬＥ，ＱＲＥが一定時間毎に交互に表示される。ユーザは、重ね合わせ画像ＱＳＥを見ながら、オクルージョンが小さくなるように多眼入力カメラを移動させる。
〔さらに他の実施形態〕
上に述べた第１から第４の実施形態に対して、さらに以下に説明する変形例を組み合わせることができる。
〔第５の実施形態〕
図１４は第５の実施形態を示す多眼入力カメラ５Ｅの斜視図である。
【００４９】
図１４に示すように、多眼入力カメラ５Ｅの画像入力部１２Ｅ，１３Ｅは、左右方向に移動可能な撮影レンズ１２Ｅａ，１３Ｅａを備えている。撮影レンズ１２Ｅａ，１３Ｅａが移動することによって、基線長が変更される。
【００５０】
したがって、基線長を変更して、２つの２次元画像ＱＬ，ＱＲ又は抽出画像ＱＬＥ，ＱＲＥのずれが少なくなるように、容易に調整することができる。この多眼入力カメラ５Ｅは、上の第１から第４の実施形態のいずれにも適用可能である。
〔第６の実施形態〕
図１５は第６の実施形態を示す多眼入力カメラ５Ｆの斜視図である。
【００５１】
図１５に示すように、多眼入力カメラ５Ｅの画像入力部１２Ｆ，１３Ｆは、水平面内における撮影方向を変更することが可能な撮影レンズ１２Ｆａ，１３Ｆａを備えている。撮影方向を変更することによって、輻輳角αが変更される。
【００５２】
したがって、輻輳角αを変更して、２つの２次元画像ＱＬ，ＱＲ又は抽出画像ＱＬＥ，ＱＲＥのずれが少なくなるように容易に調整することができる。この多眼入力カメラ５Ｆは、上の第１から第５の実施形態のいずれにも適用可能である。
〔第７の実施形態〕
図１６は第７の実施形態を示す多眼入力カメラ５Ｇの斜視図である。
【００５３】
図１６に示すように、多眼入力カメラ５Ｇは、単眼の複数のカメラ５Ｇａ，５Ｇｂ、及び基台５Ｇｚからなる。基台５Ｇｚ上において、カメラ５Ｇａ，５Ｇｂの設置位置及び撮影方向を調整することにより、基線長及び輻輳角αを任意に設定することが可能である。この多眼入力カメラ５Ｇは、上の第１から第４の実施形態のいずれにも適用可能である。
【００５４】
上述の実施形態においては、２次元画像ＱＬ，ＱＲとして静止画を入力した場合について説明したが、２次元画像ＱＬ，ＱＲとして動画を入力する場合にも同様に適用することが可能である。その他、情報処理装置４、多眼入力カメラ５，５Ｃ，５Ｅ，５Ｆ，５Ｇ、３次元データ生成装置１の全体又は各部の構成、形状、材質、処理内容及び順序などは、本発明の趣旨に沿って適宜変更することができる。
【００５５】
本発明によると、簡単な構成により、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら撮影を行える。したがって、対応点の探索の精度を向上させ、３次元形状を再構成する際の精度を向上させることができる。また、無駄な演算を省略して処理時間を短縮することができる。
【００５６】
請求項３乃至５の発明によると、オクルージョンが少なくなるように容易に調整することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す多眼入力カメラの斜視図である。
【図２】多眼入力カメラを含んだ３次元データ生成装置の構成の例を示す図である。
【図３】多眼入力カメラを用いて被写体を撮影する際の様子を概念的に示す図である。
【図４】対応点探索の概念を説明するための図である。
【図５】多眼入力カメラの構成を示すブロック図である。
【図６】表示装置に表示される画像の例を示す図である。
【図７】多眼入力カメラの概略の動作を示すフローチャートである。
【図８】第２の実施形態の表示装置に表示される画像の例を示す図である。
【図９】多眼入力カメラの概略の動作を示すフローチャートである。
【図１０】第３の実施形態の多眼入力カメラの構成を示すブロック図である。
【図１１】表示装置に表示される画像の例を示す図である。
【図１２】表示装置に表示される画像の例を示す図である。
【図１３】多眼入力カメラの概略の動作を示すフローチャートである。
【図１４】第５の実施形態を示す多眼入力カメラの斜視図である。
【図１５】第６の実施形態を示す多眼入力カメラの斜視図である。
【図１６】第７の実施形態を示す多眼入力カメラの斜視図である。
【符号の説明】
１ ３次元データ生成装置
４ 情報処理装置
２１ 処理装置（重ね合わせ表示制御部、算出部、抽出部）
２２ 表示装置（表示部）
５，５Ｃ，５Ｅ，５Ｆ，５Ｇ 多眼入力カメラ
１２，１２Ｃ，１２Ｅ，１２Ｆ，１２Ｇ 画像入力部
１３，１３Ｃ，１３Ｅ，１３Ｆ，１３Ｇ 画像入力部
１２ｃ，１３ｃ 表示装置（表示部）
１５１ ＣＰＵ（重ね合わせ表示制御部、算出部、抽出部）
Ｑ 被写体
ＱＳ 重ね合わせ画像
ＱＬ，ＱＲ ２次元画像
ＱＬＥ，ＱＲＥ 抽出画像（抽出された２次元画像）
【発明の属する技術分野】
本発明は、３次元データの取得のための多眼式データ入力装置に関する。
【０００２】
【従来の技術】
従来より、多眼式データ入力装置は、パッシブタイプの３次元データ入力装置の１つとして知られている。多眼式データ入力装置は、２次元画像を得るための複数の入力部、得られた複数の２次元画像に基づいて３次元データを算出する算出部などを有している。
【０００３】
このような装置を用いて３次元データを生成するには、得られた複数の２次元画像のうち、その１つを基準画像とする。基準画像における被写体を示す領域内の全ての座標点について、他の２次元画像においてそれらに対応する座標点を求める。座標点（対応点）の対応関係に基づいて、ステレオ視の原理により、３次元空間上での点の位置を求める。求められた点の位置データの集合が被写体についての３次元データである。
【０００４】
【発明が解決しようとする課題】
上に述べた従来の装置では、１つの２次元画像に存在する領域が他の１つの２次元画像に存在しない場合には、それらの間で対応点を求めることができない。また、誤った点を対応点としてしまうことがある。そのような場合には、誤りを含んだ３次元データが生成され、精度のよい３次元形状が形成されない。
【０００５】
したがって、３次元形状を精度よく再構成するためには、対応点の探索の精度を向上させる必要がある。そのためには、複数の２次元画像の被写体を示す領域について、オクルージョン（死角）をできるだけなくす必要がある。また、複数の２次元画像間において、被写体の注視点を示す座標が大きくずれておらず、視差が余り大きくない２次元画像を得る必要がある。
【０００６】
ステレオカメラの視差を小さくする技術として、特開平９−７４５７２号公報に記載の装置が提案されている。この従来装置によると、左右の２次元画像をそれぞれの画面に表示するとともに、視差計算部、表示画面制御部、及び読出しパルス制御部などの専用の回路を設け、専用の回路によって画面上における左右の２次元画像の視差を制御する。しかし、この装置では、専用の回路を用いて演算により視差を制御するので、回路が複雑である。
【０００７】
本発明は、上述の問題に鑑みてなされたもので、簡単な構成により、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら撮影を行えるようにし、対応点の探索の精度を向上させて３次元形状を再構成する際の精度を向上させることのできる多眼式データ入力装置を提供することを目的とする。
【０００８】
請求項１の発明に係る装置は、図１乃至図６に示すように、被写体Ｑの２次元画像ＱＬ，ＱＲを互いに異なる複数の視点位置から入力する画像入力部１２，１３と、表示部１２ｃ，１３ｃ，２２と、入力された複数の２次元画像ＱＬ，ＱＲを互いに重ね合わせて形成される重ね合わせ画像ＱＳを前記表示部１３ｃ，２２に表示するための重ね合わせ表示制御部１５１，２１と、を有してなる。
そして、図１１及び図１２に示すように、前記被写体Ｑにおいて３次元データの算出の対象とすべき部分を２次元画像ＱＬ，ＱＲから抽出する抽出部１５１を有し、前記抽出部１５１によって抽出された２次元画像ＱＬＥ，ＱＲＥによって前記重ね合わせ画像ＱＳＥを形成する。
【０００９】
請求項２の発明に係る装置は、前記２次元画像ＱＬ，ＱＲに基づいて前記被写体Ｑの３次元データを算出する算出部１５１，２１を有してなる。
請求項３の発明に係る装置は、前記画像入力部１２，１３の基線長が変更可能に構成されてなる。
【００１０】
請求項４の発明に係る装置は、前記画像入力部１２，１３の各撮影方向が変更可能に構成されてなる。
請求項５の発明に係る装置は、前記画像入力部１２，１３が、それぞれ別個の本体に独立して設けられてなる。
【００１１】
請求項６の発明に係る装置では、図６に示すように、前記重ね合わせ表示制御部１５１は、複数の２次元画像ＱＬ，ＱＲを前記表示部１３ｃに同時に表示することによって前記重ね合わせ画像ＱＳを形成する。
【００１２】
請求項７の発明に係る装置では、図８に示すように、前記重ね合わせ表示制御部１５１は、複数の２次元画像ＱＬ，ＱＲを前記表示部１３ｃに一定時間毎に交互に表示することによって前記重ね合わせ画像ＱＳを形成する。
【００１４】
【発明の実施の形態】
〔第１の実施形態〕
図１は本発明の第１の実施形態を示す多眼入力カメラ５の斜視図、図２は多眼入力カメラ５を含んだ３次元データ生成装置１の構成の例を示す図、図３は多眼入力カメラ５を用いて被写体Ｑを撮影する際の様子を概念的に示す図である。
【００１５】
図１に示すように、多眼入力カメラ５には、カメラ本体１１、撮影レンズ１２ａ，１３ａをそれぞれ有する画像入力部１２，１３、及びシャッター１５５などが設けられている。なお、図１には示されていないが、多眼入力カメラ５の内部には処理回路１５が内蔵されている。
【００１６】
図２に示すように、３次元データ生成装置１は、情報処理装置４及び多眼入力カメラ５からなる。情報処理装置４は、処理装置２１、表示面ＨＧを有した表示装置２２、キーボード及びマウスを始めとする入力装置２３などからなる。処理装置２１には、ＣＰＵ、ＲＡＭ、ＲＯＭ、その他の周辺素子、インタフェース装置、ハードディスク装置、フロッピィディスク装置、ＣＤ−ＲＯＭ装置、モデム、及びその他の機器が内蔵されている。このような情報処理装置４として、適当なプログラムをインストールしたパーソナルコンピュータなどを用いることができる。
【００１７】
多眼入力カメラ５には、図２に示すように、撮影した２次元画像ＱＬ，ＱＲ及び後述する重ね合わせ画像を表示するための、液晶パネルなどからなる表示装置１２ｃ，１３ｃがそれぞれ設けられている。
【００１８】
多眼入力カメラ５と情報処理装置４との間では、データ転送を行うことができる。また、多眼入力カメラ５から入力された２次元画像を情報処理装置４において表示することも可能である。情報処理装置４は、多眼入力カメラ５から入力された２次元画像に基づいて、３次元データを生成し、生成した３次元データを表示面ＨＧに表示することができる。
【００１９】
図３に示すように、被写体Ｑは、その背景ＱＫとともに２つの撮影レンズ１２ａ，１３ａによって視差を有して取り込まれ、それぞれの表示装置１２ｃ，１３ｃに、２次元画像ＱＬ，ＱＲとして表示されている。これらの２次元画像ＱＬ，ＱＲに基づいて、３次元データの生成の前処理として、対応点の探索を行う。つまり、２つの２次元画像ＱＬ，ＱＲのうちの１つを基準画像とし、基準画像における被写体Ｑを示す領域内の全ての座標点について、他の２次元画像においてそれらに対応する対応点を求める。対応点に基づいて、ステレオ視の原理によって３次元データを演算により求める。なお、本明細書において、対応点を探索することを対応点探索ということがある。
【００２０】
図４は対応点探索の概念を説明するための図である。
図４において、被写体Ｑの画像は、画像入力部１２，１３に設けられた撮像素子１２ｂ，１３ｂの撮像面上に結像している。左方の撮像素子１２ｂに結像する２次元画像ＱＬを基準画像とする。なお、撮像素子１２ｂ，１３ｂで得られる２次元画像ＱＬ，ＱＲは、表示装置１２ｃ，１３ｃに表示される２次元画像ＱＬ，ＱＲと同じである。対応点探索は、次のようにして行われる。
【００２１】
すなわち、対応点探索は、被写体Ｑ上の任意の点を注視点Ａとした場合に、基準画像を撮像する撮像素子１２ｂの撮像面上における注視点Ａを示す点Ｌ１が、他の撮像素子１３ｃの撮像面上において如何なる座標の点に対応しているかを求める作業である。対応点探索において、２次元画像ＱＬ，ＱＲの輝度を用い、また勾配法又は相関法などの従来公知の方法を用いることができる。これらの方法を用いることにより、図４においては、撮像素子１２ｂの撮像面上の点Ｌ１は、撮像素子１３ｃの撮像面上のＲ１に対応していることが分かる。被写体Ｑ上の全ての点について、このような対応点探索を行うことにより、全ての点について３次元座標上での位置が分かり、被写体Ｑの３次元形状を求めることができる。
【００２２】
対応点探索において、基準画像上の各点に対する対応点を求める際に、２次元画像ＱＬ，ＱＲにおける注視点Ａの相対的な位置の差（視差）が小さい程、対応点を正確に求めることが容易である。そのため、多眼入力カメラ５では、画角内での被写体Ｑの各点の視差が小さくなるような位置で撮影が可能である。
【００２３】
図５は多眼入力カメラ５の構成を示すブロック図、図６は表示装置１２ｃ，１３ｃに表示される画像の例を示す図、図７は多眼入力カメラ５の概略の動作を示すフローチャートである。
【００２４】
図５において、多眼入力カメラ５は、上にも述べたように、画像入力部１２，１３及び処理回路１５などからなる。画像入力部１２，１３には、撮影レンズ１２ａ，１３ａ及び撮像素子１２ｂ，１３ｂが設けられる。撮像素子１２ｂ，１３ｂとして、モノクロ又はカラーのＣＣＤなどが用いられる。処理回路１５は、ＣＰＵ１５１、メモリ１５２，１５３、位置合わせボタン１５４、シャッター１５５、及び表示装置１２ｃ，１３ｃなどからなる。なお、図示は省略したが、多眼入力カメラ５の通常の操作のための種々のボタン、その他の機器も備えられている。
【００２５】
通常は、図６の上段に示すように、撮像素子１２ｂに入力された２次元画像ＱＬは表示装置１２ｃで、撮像素子１３ｂに入力された２次元画像ＱＲは表示装置１３ｃで、それぞれ表示される。位置合わせボタン１５４を押すと、図６の中段に示すように、２つの２次元画像ＱＬ，ＱＲが重ね合わせられ、得られた重ね合わせ画像ＱＳが表示装置１３ｃに表示される。
【００２６】
重ね合わせの処理は次のようにして行われる。すなわち、撮像素子１２ｂ，１３ｂに入力された画像データは、メモリ１５２，１５３に一旦格納される。メモリ１５２，１５３に格納された画像データは、ＣＰＵ１５１によって読み出され、それぞれの輝度値の２分の１の値の画像データが生成され、それらの画像データが、表示装置１３ｃによって元の位置と同じ位置で表示される。
【００２７】
図６の中断に示す重ね合わせ画像ＱＳ１では、２つの２次元画像ＱＬ，ＱＲは互いにかなりずれており、視差が大きく、オクルージョンが存在する可能性がある。
【００２８】
そこで、ユーザは、表示装置１３ｃに表示された重ね合わせ画像ＱＳを見ながら、２つの２次元画像ＱＬ，ＱＲのずれが少なくなるようにする。画像のずれを少なくするための方法として、次の方法が考えられる。
▲１▼ 多眼入力カメラ５を移動することなく、その場で振って撮影方向を変える。
▲２▼ 多眼入力カメラ５を被写体Ｑ近づけ又は遠ざけて距離を変える。
▲３▼ 多眼入力カメラ５を被写体Ｑに向けた状態で距離を保ちながら円弧を描くように移動する。
【００２９】
また、多眼入力カメラ５の構造が許すならばさらに次の方法が考えられる。
▲４▼ ２つの画像入力部１２，１３の光軸の交わる角度である輻輳角を変える。
▲５▼ ２つの画像入力部１２，１３の光軸間の距離である基線長を変える。
【００３０】
また、上の方法を適当に組み合わせる。
これによって、例えば図６の下段に示す重ね合わせ画像ＱＳ２のように、２つの２次元画像のずれが少なくなったときに、シャッター１５５を押す。これによって、そのときの２次元画像ＱＬ，ＱＲがメモリ１５２，１５３に格納される。その後、ＣＰＵ１５１によって、３次元データの再構成のための処理が行われる。
【００３１】
図７において、画像入力部１２，１３に入力された２次元画像ＱＬ，ＱＲを表示装置１２ｃ，１３ｃに表示する（＃１１）。位置合わせボタン１５４が押されると（＃１２でイエス）、重ね合わせ画像ＱＳを表示する（＃１３）。ユーザは、重ね合わせ画像ＱＳを見ながら、オクルージョンが小さくなるように多眼入力カメラ５を移動し（＃１４）、適当なところでシャッター１５５を押して撮影する（＃１５）。
【００３２】
このように、多眼入力カメラ５によると、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら、撮影を行うことができる。したがって、対応点の探索の精度を向上させ、３次元形状を再構成する際の精度を向上させることができる。しかも、多眼入力カメラ５の構成が比較的簡単である。
【００３３】
なお、上の説明では、多眼入力カメラ５において３次元データの生成を行ったが、多眼入力カメラ５に入力された２次元画像ＱＬ，ＱＲのデータを情報処理装置４に転送し、情報処理装置４において３次元データの生成を行ってもよい。また、２次元画像ＱＬ，ＱＲ及び重ね合わせ画像ＱＳを情報処理装置４の表示装置２２に表示してもよい。
〔第２の実施形態〕
次に、第２の実施形態について説明する。
【００３４】
図８は第２の実施形態の表示装置１３ｃに表示される画像の例を示す図、図９は多眼入力カメラ５の概略の動作を示すフローチャートである。
第２の実施形態において、３次元データ生成装置１の構成は基本的には第１の実施形態と同一である。第１の実施形態では、重ね合わせ画像ＱＳとして、２つの２次元画像ＱＬ，ＱＲの輝度値の２分の１の画像データを表示装置１３ｃに同時に表示したが、第２の実施形態では、２次元画像ＱＬ，ＱＲの輝度値を変更することなく、一定時間毎に交互に表示する。つまり、各２次元画像ＱＬ，ＱＲの表示時間を２分の１にする。この場合の一定時間として、数十分の１秒、例えば６０分の１乃至３０分の１秒程度とすることができる。
【００３５】
すなわち、通常は、表示装置１２ｃ，１３ｃには、図６の上段に示すように各撮像素子１２ｂ，１３ｂに入力された２次元画像ＱＬ，ＱＲは、表示装置１２ｃ，１３ｃにそれぞれ表示される（＃２１）。位置合わせボタン１５４を押すと（＃２２）、図８（ａ）に示す２次元画像ＱＬと図８（ｂ）に示す２次元画像ＱＲとが、表示装置１３ｃに交互に表示される。これをユーザが見ると、残像現象によって、図８（ｃ）に示す重ね合わせ画像ＱＳ３が観察される（＃２３）。
【００３６】
重ね合わせの処理は次のようにして行われる。すなわち、メモリ１５２，１５３に格納された２次元画像ＱＬ，ＱＲのデータは、ＣＰＵ１５１によって読み出され、それぞれ一定時間毎に表示装置１３ｃによって表示される。
【００３７】
そこで、ユーザは、表示装置１３ｃに表示された重ね合わせ画像ＱＳ３を見ながら、２つの２次元画像ＱＬ，ＱＲのずれが少なくなるように多眼入力カメラ５を移動する（＃２４）。例えば図８（ｄ）に示す重ね合わせ画像ＱＳ４のように、２つの２次元画像のずれが少なくなったときに、シャッター１５５を押す（＃２５）。これによって、そのときの２次元画像ＱＬ，ＱＲがメモリ１５２，１５３に格納される。
【００３８】
このように、第２の実施形態においても、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら、撮影を行うことができる。
〔第３の実施形態〕
次に、第３の実施形態について説明する。
【００３９】
図１０は第３の実施形態の多眼入力カメラ５Ｃの構成を示すブロック図、図１１及び図１２は表示装置１２ｃ，１３ｃに表示される画像の例を示す図、図１３は多眼入力カメラ５Ｃの概略の動作を示すフローチャートである。
【００４０】
第３の実施形態において、３次元データ生成装置１の構成は基本的には第１の実施形態と同一である。第１の実施形態では、被写体Ｑのみでなく、その背景ＱＫについても、表示装置１２ｃ，１３ｃに表示したが、第３の実施形態では、２次元画像ＱＬ，ＱＲの中から被写体Ｑについての領域のみを抽出して表示装置１２ｃ，１３ｃに表示する。
【００４１】
図１０において、多眼入力カメラ５Ｃは、第１の実施形態の多眼入力カメラ５に対して、領域抽出ボタン１５６が追加されている。領域抽出ボタン１５６は、これを押すことにより、表示装置１２ｃ，１３ｃの表示面上においてカーソルで指定された領域を、領域抽出のための領域として決定する。なお、図示は省略したが、カーソルを移動するためのカーソルボタンが設けられている。
【００４２】
図１１の上段に示すように、通常は、表示装置１２ｃ，１３ｃには、各撮像素子１２ｂ，１３ｂに入力された２次元画像ＱＬ，ＱＲがそれぞれ表示される。表示装置１２ｃにはカーソルＣＵが表示される。この状態で、図１１の中段に示すように、被写体ＱにカーソルＣＵを合わせる。そこで領域抽出ボタン１５６を押すと、左右の２次元画像ＱＬ，ＱＲについて抽出処理が行われ、抽出画像ＱＬＥ，ＱＲＥが得られる。抽出処理はＣＰＵ１５１によって行われる。
【００４３】
抽出処理に当たっては、カーソルＣＵで示される部分の色情報に基づいて、それと同じ色情報を持った領域が抽出画像ＱＬＥ，ＱＲＥとして抽出される。図１１の例では、被写体Ｑの顔の部分が抽出画像ＱＬＥ，ＱＲＥである。図１１の下段に示すように、表示装置１２ｃ，１３ｃには、抽出画像ＱＬＥ，ＱＲＥが表示される。なお、抽出画像ＱＬＥ，ＱＲＥは、抽出された領域についての２次元画像であるが、領域のみを示してもよい。
【００４４】
そこで、位置合わせボタン１５４を押すと、図１２に示すように、２つの抽出画像ＱＬＥ，ＱＲＥが重ね合わせられ、得られた重ね合わせ画像ＱＳＥが表示装置１３ｃに表示される。この場合の重ね合わせにおいては、第１の実施形態と同様に、２つの抽出画像ＱＬＥ，ＱＲＥが同時に表示される。ユーザは、重ね合わせ画像ＱＳＥを見ながら、オクルージョンが小さくなるように多眼入力カメラ５を移動させる。３次元データの再構成のための処理は、抽出画像ＱＬＥ，ＱＲＥについてのみ行われる。
【００４５】
図１３において、２次元画像ＱＬ，ＱＲを表示装置１２ｃ，１３ｃに表示した後（＃３１）、被写体Ｑを指定するために領域抽出ボタン１５６を押すと、被写体Ｑの抽出が行われる（＃３２，３３）。位置合わせボタン１５４が押されると（＃３４でイエス）、重ね合わせ画像ＱＳＥを表示する（＃３５）。ユーザは、重ね合わせ画像ＱＳＥを見ながら、オクルージョンが小さくなるように多眼入力カメラ５Ｃを移動し（＃３６）、適当なところでシャッター１５５を押して撮影する（＃３７）。
【００４６】
第３の実施形態においては、被写体Ｑについての領域のみが表示され、背景ＱＫが削除されているので、ユーザにとって見やすく、画像のずれを少なくするための操作が容易である。３次元データの生成が被写体Ｑの領域のみについて行われ、無駄な演算が行われないので処理時間が短縮される。また、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら、撮影を行うことができる。
〔第４の実施形態〕
次に、第４の実施形態について説明する。
【００４７】
第４の実施形態において、３次元データ生成装置１の構成は基本的には第２の実施形態と同一である。第４の実施形態では、２次元画像ＱＬ，ＱＲの中から被写体Ｑについての領域のみを抽出して表示装置１２ｃ，１３ｃに表示する。つまり、第４の実施形態は、第１の実施形態に対する第２の実施形態及び第３の実施形態の各特徴を組み合わせたものである。
【００４８】
すなわち、第４の実施形態では、領域抽出ボタン１５６を押すことにより、第３の実施形態と同様に２次元画像ＱＬ，ＱＲに対して抽出処理が行われ、抽出画像ＱＬＥ，ＱＲＥが得られる。そして、位置合わせボタン１５４を押すことにより、第２の実施形態と同様に、２つの抽出画像ＱＬＥ，ＱＲＥが一定時間毎に交互に表示される。ユーザは、重ね合わせ画像ＱＳＥを見ながら、オクルージョンが小さくなるように多眼入力カメラを移動させる。
〔さらに他の実施形態〕
上に述べた第１から第４の実施形態に対して、さらに以下に説明する変形例を組み合わせることができる。
〔第５の実施形態〕
図１４は第５の実施形態を示す多眼入力カメラ５Ｅの斜視図である。
【００４９】
図１４に示すように、多眼入力カメラ５Ｅの画像入力部１２Ｅ，１３Ｅは、左右方向に移動可能な撮影レンズ１２Ｅａ，１３Ｅａを備えている。撮影レンズ１２Ｅａ，１３Ｅａが移動することによって、基線長が変更される。
【００５０】
したがって、基線長を変更して、２つの２次元画像ＱＬ，ＱＲ又は抽出画像ＱＬＥ，ＱＲＥのずれが少なくなるように、容易に調整することができる。この多眼入力カメラ５Ｅは、上の第１から第４の実施形態のいずれにも適用可能である。
〔第６の実施形態〕
図１５は第６の実施形態を示す多眼入力カメラ５Ｆの斜視図である。
【００５１】
図１５に示すように、多眼入力カメラ５Ｅの画像入力部１２Ｆ，１３Ｆは、水平面内における撮影方向を変更することが可能な撮影レンズ１２Ｆａ，１３Ｆａを備えている。撮影方向を変更することによって、輻輳角αが変更される。
【００５２】
したがって、輻輳角αを変更して、２つの２次元画像ＱＬ，ＱＲ又は抽出画像ＱＬＥ，ＱＲＥのずれが少なくなるように容易に調整することができる。この多眼入力カメラ５Ｆは、上の第１から第５の実施形態のいずれにも適用可能である。
〔第７の実施形態〕
図１６は第７の実施形態を示す多眼入力カメラ５Ｇの斜視図である。
【００５３】
図１６に示すように、多眼入力カメラ５Ｇは、単眼の複数のカメラ５Ｇａ，５Ｇｂ、及び基台５Ｇｚからなる。基台５Ｇｚ上において、カメラ５Ｇａ，５Ｇｂの設置位置及び撮影方向を調整することにより、基線長及び輻輳角αを任意に設定することが可能である。この多眼入力カメラ５Ｇは、上の第１から第４の実施形態のいずれにも適用可能である。
【００５４】
上述の実施形態においては、２次元画像ＱＬ，ＱＲとして静止画を入力した場合について説明したが、２次元画像ＱＬ，ＱＲとして動画を入力する場合にも同様に適用することが可能である。その他、情報処理装置４、多眼入力カメラ５，５Ｃ，５Ｅ，５Ｆ，５Ｇ、３次元データ生成装置１の全体又は各部の構成、形状、材質、処理内容及び順序などは、本発明の趣旨に沿って適宜変更することができる。
【００５５】
本発明によると、簡単な構成により、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら撮影を行える。したがって、対応点の探索の精度を向上させ、３次元形状を再構成する際の精度を向上させることができる。また、無駄な演算を省略して処理時間を短縮することができる。
【００５６】
請求項３乃至５の発明によると、オクルージョンが少なくなるように容易に調整することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す多眼入力カメラの斜視図である。
【図２】多眼入力カメラを含んだ３次元データ生成装置の構成の例を示す図である。
【図３】多眼入力カメラを用いて被写体を撮影する際の様子を概念的に示す図である。
【図４】対応点探索の概念を説明するための図である。
【図５】多眼入力カメラの構成を示すブロック図である。
【図６】表示装置に表示される画像の例を示す図である。
【図７】多眼入力カメラの概略の動作を示すフローチャートである。
【図８】第２の実施形態の表示装置に表示される画像の例を示す図である。
【図９】多眼入力カメラの概略の動作を示すフローチャートである。
【図１０】第３の実施形態の多眼入力カメラの構成を示すブロック図である。
【図１１】表示装置に表示される画像の例を示す図である。
【図１２】表示装置に表示される画像の例を示す図である。
【図１３】多眼入力カメラの概略の動作を示すフローチャートである。
【図１４】第５の実施形態を示す多眼入力カメラの斜視図である。
【図１５】第６の実施形態を示す多眼入力カメラの斜視図である。
【図１６】第７の実施形態を示す多眼入力カメラの斜視図である。
【符号の説明】
１ ３次元データ生成装置
４ 情報処理装置
２１ 処理装置（重ね合わせ表示制御部、算出部、抽出部）
２２ 表示装置（表示部）
５，５Ｃ，５Ｅ，５Ｆ，５Ｇ 多眼入力カメラ
１２，１２Ｃ，１２Ｅ，１２Ｆ，１２Ｇ 画像入力部
１３，１３Ｃ，１３Ｅ，１３Ｆ，１３Ｇ 画像入力部
１２ｃ，１３ｃ 表示装置（表示部）
１５１ ＣＰＵ（重ね合わせ表示制御部、算出部、抽出部）
Ｑ 被写体
ＱＳ 重ね合わせ画像
ＱＬ，ＱＲ ２次元画像
ＱＬＥ，ＱＲＥ 抽出画像（抽出された２次元画像）
Claims (7)
- 被写体の２次元画像を互いに異なる複数の視点位置から入力する画像入力部と、
表示部と、
入力された複数の２次元画像を互いに重ね合わせて形成される重ね合わせ画像を前記表示部に表示するための重ね合わせ表示制御部と、
前記被写体において３次元データの算出の対象とすべき部分を２次元画像から抽出する抽出部とを有し、
前記抽出部によって抽出された２次元画像によって前記重ね合わせ画像を形成する、
ことを特徴とする多眼式データ入力装置。 - 前記２次元画像に基づいて前記被写体の３次元データを算出する算出部を有してなる、 請求項１記載の多眼式データ入力装置。
- 前記画像入力部の基線長が変更可能に構成されてなる、
請求項１又は請求項２記載の多眼式データ入力装置。 - 前記画像入力部の各撮影方向が変更可能に構成されてなる、
請求項１又は請求項２記載の多眼式データ入力装置。 - 前記画像入力部が、それぞれ別個の本体に独立して設けられてなる、
請求項１又は請求項２記載の多眼式データ入力装置。 - 前記重ね合わせ表示制御部は、複数の２次元画像を前記表示部に同時に表示することによって前記重ね合わせ画像を形成する、
請求項１乃至請求項５記載の多眼式データ入力装置。 - 前記重ね合わせ表示制御部は、複数の２次元画像を前記表示部に一定時間毎に交互に表示することによって前記重ね合わせ画像を形成する、
請求項１乃至請求項５記載の多眼式データ入力装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18273599A JP4193290B2 (ja) | 1999-06-29 | 1999-06-29 | 多眼式データ入力装置 |
| US09/599,442 US6809771B1 (en) | 1999-06-29 | 2000-06-22 | Data input apparatus having multiple lens unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18273599A JP4193290B2 (ja) | 1999-06-29 | 1999-06-29 | 多眼式データ入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001012910A JP2001012910A (ja) | 2001-01-19 |
| JP4193290B2 true JP4193290B2 (ja) | 2008-12-10 |
Family
ID=16123532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18273599A Expired - Lifetime JP4193290B2 (ja) | 1999-06-29 | 1999-06-29 | 多眼式データ入力装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6809771B1 (ja) |
| JP (1) | JP4193290B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11159719B2 (en) | 2018-01-25 | 2021-10-26 | Sony Semiconductor Solutions Corporation | Image processing apparatus and output information control method |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8085293B2 (en) * | 2001-03-14 | 2011-12-27 | Koninklijke Philips Electronics N.V. | Self adjusting stereo camera system |
| US20040032525A1 (en) * | 2002-05-09 | 2004-02-19 | Oren Aharon | Video camera with multiple fields of view |
| US7466336B2 (en) * | 2002-09-05 | 2008-12-16 | Eastman Kodak Company | Camera and method for composing multi-perspective images |
| FI115947B (fi) * | 2004-02-25 | 2005-08-15 | Nokia Corp | Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi |
| EP1613082A1 (en) * | 2004-06-30 | 2006-01-04 | Sony Ericsson Mobile Communications AB | Face image correction |
| JP4581512B2 (ja) * | 2004-07-02 | 2010-11-17 | オムロン株式会社 | ３次元画像処理装置、光軸調整方法、光軸調整支援方法 |
| US20060164509A1 (en) * | 2004-12-14 | 2006-07-27 | Andrew Marshall | Stereo camera/viewer |
| US8982181B2 (en) * | 2006-06-13 | 2015-03-17 | Newbery Revocable Trust Indenture | Digital stereo photographic system |
| JP4569561B2 (ja) * | 2006-12-01 | 2010-10-27 | 富士フイルム株式会社 | 画像ファイル作成装置 |
| US7697054B2 (en) * | 2007-03-29 | 2010-04-13 | Hewlett-Packard Development Company, L.P. | Image Manipulator for a camera |
| US20090051790A1 (en) * | 2007-08-21 | 2009-02-26 | Micron Technology, Inc. | De-parallax methods and apparatuses for lateral sensor arrays |
| US20100073464A1 (en) * | 2008-09-25 | 2010-03-25 | Levine Robert A | Method and apparatus for creating and displaying a three dimensional image |
| JP5068782B2 (ja) * | 2009-03-25 | 2012-11-07 | 富士フイルム株式会社 | 距離測定方法および装置 |
| US20100271533A1 (en) * | 2009-04-28 | 2010-10-28 | Crispin Porter & Bogusky | Image Recordation Device with a Plurality of Lenses |
| KR101643607B1 (ko) * | 2009-12-30 | 2016-08-10 | 삼성전자주식회사 | 영상 데이터 생성 방법 및 장치 |
| JP5371845B2 (ja) | 2010-03-18 | 2013-12-18 | 富士フイルム株式会社 | 撮影装置及びその表示制御方法並びに３次元情報取得装置 |
| JP5627498B2 (ja) * | 2010-07-08 | 2014-11-19 | 株式会社東芝 | 立体画像生成装置及び方法 |
| CN105025193B (zh) | 2014-04-29 | 2020-02-07 | 钰立微电子股份有限公司 | 手提式立体扫描仪和产生对应对象的立体扫描结果的方法 |
| KR102335167B1 (ko) | 2015-03-17 | 2021-12-03 | 삼성전자주식회사 | 영상 촬영 장치 및 이의 촬영 방법 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4571628A (en) * | 1984-03-23 | 1986-02-18 | Thirstol Thornton | Portable video viewing assembly |
| GB8430980D0 (en) * | 1984-12-07 | 1985-01-16 | Robinson M | Generation of apparently three-dimensional images |
| JP3542397B2 (ja) * | 1995-03-20 | 2004-07-14 | キヤノン株式会社 | 撮像装置 |
| JPH09305796A (ja) | 1996-05-16 | 1997-11-28 | Canon Inc | 画像情報処理装置 |
| JPH0974572A (ja) * | 1995-09-06 | 1997-03-18 | Matsushita Electric Ind Co Ltd | ステレオカメラ装置 |
| US6271876B1 (en) * | 1997-05-06 | 2001-08-07 | Eastman Kodak Company | Using two different capture media to make stereo images of a scene |
| US6094215A (en) * | 1998-01-06 | 2000-07-25 | Intel Corporation | Method of determining relative camera orientation position to create 3-D visual images |
-
1999
- 1999-06-29 JP JP18273599A patent/JP4193290B2/ja not_active Expired - Lifetime
-
2000
- 2000-06-22 US US09/599,442 patent/US6809771B1/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11159719B2 (en) | 2018-01-25 | 2021-10-26 | Sony Semiconductor Solutions Corporation | Image processing apparatus and output information control method |
| US11606496B2 (en) | 2018-01-25 | 2023-03-14 | Sony Semiconductor Solutions Corporation | Image processing apparatus and output information control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001012910A (ja) | 2001-01-19 |
| US6809771B1 (en) | 2004-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4193290B2 (ja) | 多眼式データ入力装置 | |
| JP3728160B2 (ja) | 奥行き画像計測装置及び方法、並びに複合現実感提示システム | |
| JP3745117B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2846830B2 (ja) | ２次元映像を３次元映像に変換する方法 | |
| KR100911066B1 (ko) | 화상 표시 시스템, 화상 표시 방법 및 기록 매체 | |
| JP3443271B2 (ja) | 立体映像表示装置 | |
| WO2012153447A1 (ja) | 画像処理装置、映像処理方法、プログラム、集積回路 | |
| JP2001008235A (ja) | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 | |
| WO2014154839A1 (en) | High-definition 3d camera device | |
| JP2011064894A (ja) | 立体画像表示装置 | |
| WO2011043022A1 (ja) | 画像表示装置および画像表示方法 | |
| JP2009244502A (ja) | 画像処理装置、画像表示装置、撮像装置及び画像処理方法 | |
| TWI520574B (zh) | 三維影像裝置和用於顯示影像的方法 | |
| JP2002232913A (ja) | 複眼カメラ及び立体視画像観察システム | |
| JP3032414B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2004507180A (ja) | 立体映像の変形補正方法及びシステム | |
| JP3452244B2 (ja) | ３次元表示方法及び装置 | |
| JP2002300610A (ja) | 立体映像表示装置 | |
| US20190281280A1 (en) | Parallax Display using Head-Tracking and Light-Field Display | |
| JP2849313B2 (ja) | 画像記録再生装置 | |
| KR20020037097A (ko) | 신호처리를 이용한 주시각 제어 장치 및 그 방법과 그를이용한 평행축 입체 카메라 시스템 | |
| JP2011217229A (ja) | 撮像装置および表示方法 | |
| JPH07296195A (ja) | 画像処理装置及び方法 | |
| JP3206874B2 (ja) | 遠隔施工支援用の画像システム | |
| JPH08313825A (ja) | 内視鏡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4193290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |