JP4235291B2 - 立体映像システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラや銀塩カメラの被写体の位置情報を取得するための画像情報入力装置を複数個設けた立体映像システムに関するものである。
【０００２】
【従来の技術】
近年、３次元映像（以下３Ｄ）やバーチャルリアリティ（以下ＶＲ）やコンピュータグラフィックス（以下ＣＧ）等において、外界や対象物の３次元情報を取得する技術が開発されている。これらは、デジタルカメラやビデオカメラで画像を取り込み、それに処理を施すことで３次元情報を取得していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、これらは外界や対象物の３次元情報を取得する際にカメラの撮影パターンが未知であるために、複数の画像データからの情報だげでＣＣＤ面上の画素に対する外界の対応点に対して連立方程式を立てて、これを解くことで３次元の情報を得ていた。このことはあいまい性を有しているので対象物の情報を精度良く取得することは膨大なデータと演算時間とを必要とし、実時間でシステムを運用することは困難であり実用的でなかった。
【０００４】
本発明は上記の問題を解決して、被写体の位置情報を容易にかつ精度よく得ることを目的とする。
【０００５】
【課題を解決するための手段】
本発明による立体映像システムにおいては、可動レンズを有するレンズ手段と、上記レンズ手段を介して結像された被写体像を画素毎の電気信号に変換する撮像手段と、上記撮像手段によって得られた電気信号に基づく画像を表示する表示手段と、上記表示手段を観察するユーザーの視線を検出する視線検出手段と、上記視線検出手段によって検出された上記ユーザーの視線にしたがって上記表示手段における画面上の座標を特定し、上記特定した画面上の座標にしたがって上記撮像手段における撮像面上の座標を特定する座標算出手段と、上記可動レンズの位置を検出する位置検出手段と、上記可動レンズの複数のレンズ位置にそれぞれ対応する焦点距離、前側主点位置座標、及び、後側主点位置座標のデータを記憶する記憶手段と、上記座標算出手段によって特定された上記撮像面上の座標と、上記記憶手段に記憶されている上記位置検出手段の検出位置に対応する上記焦点距離、上記前側主点位置座標、及び、上記後側主点位置座標とにしたがって、上記被写体の位置情報を算出する演算手段とを有する画像入力装置を複数個設けている。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
図１は画像情報入力装置の基本構成要素を示す図である。１０００は撮影光学系であり、本実施の形態では４群リアフォーカスズームとするが、光学タイプは特に限定するものではない。１００１、１００２、１００４、１００５は１枚もしくは複数枚のレンズからなるレンズ群であり、１群１００１、３群１００４は固定のレンズ群、２群１００２は変倍レンズ群で可動である。４群１００５はフォーカスコンペレンズ群で可動である。１００３は光量調節を行う絞り、１００６は光電変換を行う固体撮像素子としてのＣＣＤである。
【００１１】
２群１００２と４群１００５は図示しないステップモータによって駆動されるが、ステップモータでなくてもよく、ＤＣモータ等の電磁式モータ、超音波モータ等の固体モータ、静電式モータ等でもよく特に限定しない。
【００１２】
２０００、３０００は２群１００２、４群１００５の位置を検出する位置検出部であり、カウンタが用いられ、ステップモータを駆動する駆動パルスを数えることでレンズの位置を換算し検出する。この位置検出部も特に限定するものでなく、可変抵抗式の静電容量式、ＰＳＤとＩＲＥＤ等の光学式のものでもよい。
【００１３】
４０００はＣＰＵであり、５０００はデータを格納するＲＯＭである。ＣＰＵ４０００は位置検出部２０００、３０００からの出力値Ｖｉ、Ｂｊに対して所定の離散化データに変換し、この離散化されたデータＩ、Ｊに対応したＲＯＭ５０００に予め格納されている焦点距離Ｆｉｊ、前側主点位置データＭｉｊ、後側主点位置データＵｉｊ等のデータを読み込んで、ＣＣＤ１００６の所定の画素ｋに対応する被写体の位置座標Ｈｉｊｋ、方向ベクトルＮｉｊｋを演算して求める。
【００１４】
次に上記の演算について説明する。
図１のように、ＸＹＺ座標をとる。すなわちＸ軸は紙面の表から裏方向に向かって垂直に、Ｙ軸は紙面平行に下から上方向に、Ｚ軸は光軸として紙面平行に左から右方向にとる。ＣＣＤ１００６の結像面上にＸＹ平面をとる。ＣＣＤ面上の画素ｋの座標を（Ｃｘｋ，Ｃｙｋ，０）とおく。ここでは画素面の重心とする。
【００１５】
焦点距離Ｆｉｊとすると、後側焦点距離座標は（０，０−Ｆｉｊ）になる。前側主点位置を（０，０，Ｍｉｊ）、後側主点位置を（０，０，Ｕｉｊ）とおく。前側焦点距離座標は（０，０，Ｍｉｊ−Ｆｉｊ）とおける。被写体Ｈｉｊｋの座標を（Ｈｘｉｊｋ，Ｈｙｉｊｋ，Ｈｚｉｊｋ）とおく。このとき、ニュートンの公式により、被写体ＨｉｊｋのＸ、Ｙ、Ｚ座標は以下の式（１）（２）（３）で求めることができる。
【００１６】
Ｈｘｉｊｋ＝Ｃｘｋ×Ｆｉｊ／（Ｕｉｊ＋Ｆｉｊ） ………（１）
Ｈｙｉｊｋ＝Ｃｙｋ×Ｆｉｊ／（Ｕｉｊ＋Ｆｉｊ） ………（２）
Ｈｚｉｊｋ＝Ｍｉｊ−Ｆｉｊ＾２／（Ｕｉｊ＋Ｆｉｊ） ………（３）
【００１７】
また、画素ｋと前側主点位置を結ぶ線と、後側主点位置と画素ｋに対応する被写体ｋを結ぶ線とは平行であることは既知である。従って、被写体ｋは前側主点を通り、画素ｋから後側主点位置への方向ベクトルＮｉｊｋ＝（−Ｃｘｋ，−Ｃｙｋ，Ｕｉｊ）に平行な直線上にあることがわかる。この直線は以下の式（４）で表わすことができる。
ｘ／−Ｃｘｋ＝ｙ／−Ｃｙｋ＝（ｚ−Ｍｉｊ）／Ｕｉｊ ………（４）
【００１８】
このように光学系１０００の各レンズ群の位置に応じた焦点距離データＦｉｊと各主点位置データＭｉｊ、ＵｉｊをＲＯＭ５０００に持つことにより、正確に被写***置Ｈｉｊｋと方向ベクトルＮｉｊｋを求めることができる。
【００１９】
次に、画像情報入力装置を複数個設けた本発明に係る立体映像システムについて説明する。
図２は本発明に係る立体映像システムを表わす図である。
１は複数の視差画像を取り込むための立体カメラであり、右眼用の視差画像を取り込むための光学系１０１と光電変換素子であるＣＣＤ１０３、左眼用の視差画像を取り込むための光学系１０２とＣＣＤ１０４を有している。
【００２０】
光学系１０１とＣＣＤ１０３、光学系１０２とＣＣＤ１０４は同一の光学スペックであればよく、光学スペックを限定するものでない。また、光学系１０１とＣＣＤ１０３と、光学系１０２とＣＣＤ１０４とは互いの間隔（以下基線長）と互いの光軸のなす角度（以下幅輳角）は図示しない機構によって可変であり、幅輳角／基線長駆動制御手段１１により駆動制御される。図２ではカメラ光軸が交差式による撮影を行っているが、カメラ光軸が平行である平行式による撮影も可能である。
【００２１】
１０は幅輳角／基線長検出部であり、立体カメラ１の基線長と幅輳角を図示しないエンコーダにより検出する。
２は画像表示部であり、右眼用表示部２０１と左眼用表示部２０２と、右眼用視線検出部２０３と左眼用視線検出部２０４とを有する。右眼用表示部２０１と左眼用表示部２０２はそれぞれ同一スペックであり、観察光学系を有する液晶またはＣＲＴ、またはＬＥＤやレーザからの光ビームを網膜に照射してスキャンニングすることで残像効果で映像を観察するいわゆる網膜ディスプレイ等のいずれかでよくここでは限定しない。
【００２２】
また、右眼用視線検出部２０３と左眼用視線検出部２０４は、いわゆる角膜反射光により視線を検出する方式である。これは例えば特開平５−６８１８８号公報に開示されている。しかしながらこの方式に限定するものではなく、眼球の電位差を利用するＥＯＧ法や、強膜の白目と黒目の反射率の違いを利用するものや、コイルを埋め込んだコンタクトレンズを一様な磁界のもとで装着し、眼球運動を計測するサーチコイル法等を用いてもよい。
【００２３】
３は右眼用視線検出部２０３と左眼用視線検出部２０４からの出力値に応じて撮影可能範囲を演算する演算部であり、右眼用視線範囲算出部３０１と左眼用視線範囲算出部３０２と方向ベクトル算出部３０７と被写体座標算出部３０３と撮影可能範囲算出部３０４と比較部３０６とを有する。方向ベクトル算出部３０７には、前述したカウンタからなる位置検出部２０００、３０００とＣＰＵ４０００とＲＯＭ５０００が含まれる。
【００２４】
４は画像制御部であり、ＣＣＤ１０３、１０４からの画像信号を所定の画像フォーマットに変換する右眼用、左眼用カメラプロセス部５、６によってビデオ信号として右眼用、左眼用駆動部７、８に画像を送る。また画像メモリ９とデータのやり取りを行う。また、各表示部内に設けられた図示しないＬＥＤの発光／消灯を制御する信号をＬＥＤ発光回路１２に送る。画像メモリ９は媒体として磁気テープを用いるがこれに限定するものではなくＩＣメモリ、光磁気ディスク、ＤＶＤ、ＣＤ、ＰＤ等でもよい。
【００２５】
次に本システムの第１の実施の形態による動作について説明する。
図３に視線検出部２０３、２０４から演算部３に至る動作のフローチャートを示す。
ここでステップ１は図２の２０３、２０４に対応し、ステップ２、３は３０１、３０２に対応し、ステップ４、５、６は３０３に対応し、ステップ７は３０７に対応する。
【００２６】
ステップ１は視線検出であり、左眼、右眼それぞれの角膜反射の座標を出力する。ステップ２でこの座標と対応する右眼、左眼用のＬＣＤ上の座標を求める。ステップ３で対応する右眼、左眼用のＣＣＤ上の座標を求める。ステップ４、５、６で前述したように、光学系１０１と１０２のレンズ群の位置に応じて各光学系１０１、１０２の焦点距離Ｆｉｊと前側主点Ｍｉｊおよび後側主点ＵｉｊをＲＯＭから読み込んで、被写体座標Ｈｉｊｋ（Ｈｘｉｊｋ，Ｈｙｉｊｋ，Ｈｚｉｊｋ）を上記式（１）（２）（３）により算出する。ステップ７で前側主点Ｍｉｊと被写体Ｈｉｊｋを結ぶ方向ベクトルＮｉｊｋを光学系１０１及び１０２について式（４）によりそれぞれ求める。
【００２７】
次に撮影可能範囲算出部３０４について述べる。
視差画像を人が融像できるのは表示画面上で被写体の視差（ここでは画面上のズレ量）が、奥行き方向（表示画面よりも奥行き方向）では人の瞳間隔（約６３ｍｍ）以下であることまたは手前方向（表示画面よりも手前方向）では目の前約２０ｃｍ程度までである。これを利用して撮影可能範囲を決定する手順を図４について説明する。
【００２８】
図４のｙ軸は奥行き方向を表わす。ｚ軸は天地方向を表わす。ｘ軸は奥行き方向に垂直方向である。Ｃ_L は左眼用光学系１０２の前側主点位置座標、Ｃ_R は右眼用光学系１０１の前側主点位置座標、Ｂは光学系１０１、１０２の光軸中心の交点である。点Ａは点Ｂに対して奥行き方向の点、点Ｃは点Ｂに対して手前方向の点である。
【００２９】
この時点Ｂは光学系１０１、１０２の画面中心となり視差Ｏの点であり、表示された立体映像では表示画面上の点になる。点Ａは表示画面の奥の点、点Ｃは表示画面の手前の点として表示されることになる。点Ａと点Ｃは左眼、右眼用光学系１０２、１０１のレンズ画角２０ｗ内にあるとする。ここで、各座標をＡ（０，Ａ）、Ｂ（０，Ｂ）、Ｃ（０，Ｃ）Ｃ_L （−ｋ，０）、Ｃ_R （ｋ，０）とする。
【００３０】
また、∠ＢＣ_L Ｏ＝∠ＢＣ_R Ｏ＝θｂ ………（５）
∠ＢＣ_L Ａ＝∠ＢＣ_R Ａ＝θａ ………（６）
∠ＢＣ_L Ｃ＝∠ＢＣ_R Ｃ＝θｃ ………（７）
とする。
【００３１】
ここで、表示画面の水平方向の長さを２Ｗｓとすると、画面中心からの点Ａのズレ量Ｄａは以下の式で表わせる。
Ｄａ＝Ｗｓ×ｔａｎ（θａ）÷ｔａｎ（θｗ） ………（８）
【００３２】
従って、観察者の瞳間隔を２ｄ_h とすれば、以下の式が成り立つ。
ｄｈ≧Ｄａ ………（９）
また、ｔａｎ（θａ＋θｂ）＝Ａ÷ｋ ………（１０）
ｔａｎ（θｂ）＝Ｂ÷ｋ ………（１１）
【００３３】
であるから、式（８）から式（１１）により以下の式が成り立つ。
Ａ≦ｋ×｛ｄ_h ×ｔａｎ（θｗ）＋Ｗｓ×ｔａｎ（θｂ）｝÷｛Ｗｓ−ｄ_h ×ｔａｎ（θｂ）×ｔａｎ（θｗ）｝ ………（１２）
【００３４】
式（１２）によって画面中心にＢ点がくるときの奥行き方向の融像可能範囲が算出される。すなわち、Ｂ点から奥行き方向の点で融像可能なのは式（１１）の右式で計算される値よりも小さいことが条件となる。式（１２）で、ｋとθｂは幅輳角／基線長検出部１０によって取得される。また、θｗはレンズデータより既知であり、Ｗｓは表示条件によって既知である。ｄ_h は所定の値（本実施の形態においては６３ｍｍ）を使用するがこれに限定するものでない。
【００３５】
次に点Ｃについて考える。
上と同様にして、点Ｃの画面上でのズレ量Ｄ_c は以下の式で表わせる。
Ｄ_C ＝Ｗｓ×ｔａｎ（θｃ）÷ｔａｎ（θｗ） ………（１３）
画面からの飛び出し量を目の前からｄ、表示画面までの視距離ｄ_S とすると
Ｄ_C ≦ｄ_h ×（ｄ_S −ｄ）÷ｄ ………（１４）
ｔａｎ（θｃ）−ｋ×（Ｂ−Ｃ）÷（ｋ² ＋Ｂ×Ｃ） ………（１５）
【００３６】
以上より以下の式が成り立つ。
Ｃ≧ｋ×｛ｄ×Ｗｓ×ｔａｎ（θｂ）−ｄ_h ×（ｄｓ−ｄ）×ｔａｎ（θｗ）｝÷｛Ｗｓ×ｄ＋ｔａｎ（θｂ）×ｄ_h ×（ｄｓ−ｄ）×ｔａｎ（θｗ）｝………（１６）
【００３７】
式（１６）によって画面中心に点Ｂがくるときの手前方向の融像可能範囲が算出される。すなわち、Ｂ点から手前方向の点で融像可能なのは式（１６）の右式で計算される値よりも大きいことが条件となる。式（１６）で、ｋとθｂは幅輳角／基線長検出部１０によって取得される。また、θｗはレンズデータより既知であり、Ｗｓ、ｄｓは表示条件によって既知である。ｄ_h 、ｄは本実施の形態においては所定の値（本実施の形態においてはｄ_h ＝６３ｍｍ、ｄ＝２００ｍｍ）を使用するがこれに限定するものでない。
【００３８】
図５に上記のフローチャートを示す。
ステップ１１にてθｂとｋを読み込む。
ステップ１２にてＷｓ、ｄｓ、ｄ_h 、ｄを読み込む。
ステップ１３にて式（１２）に従って奥行き融像限界点Ａを求める。
ステップ１４にて式（１６）に従って手前融像限界点Ｃを求める。
ステップ１５にてステップ１３、１４とレンズ撮影画角θｗ、基線長ｋ、幅輳角θｂから撮影可能範囲が決定される。
【００３９】
次にステップ５で求められた視線対象までの距離と、ステップ１５で決定された撮影可能範囲とを比較部３０６で比較する。すなわち視線対象が上記撮影可能範囲内か、範囲外であるかを比較する。次に範囲内であるか、範囲外であるかを撮影者に知らせるように画像制御部４へ指令する。そして表示部２０１、２０２の第１または両方のＬＥＤを画像制御部４からの信号に基づいて点灯または点滅させてその光を撮影者に観察させることで範囲内か範囲外であることを表示する。
【００４０】
ＬＥＤが点灯のときは範囲外、ＬＥＤが消灯のときは範囲内としてもよいし、ＬＥＤが点滅のときは範囲外、ＬＥＤが消灯のときは範囲内としてもよい。また、前記撮影可能範囲からの出力結果を各表示部に出力してもよい。
尚、ステップ１からステップ１５までの一連のタイミングは特に限定するものではないが、例えば１／３０秒毎に１回づつ行うものとする。
【００４１】
次に第２の実施の形態について説明する。
本実施の形態は、図１においてＣＰＵ４０００により位置検出部２０００、３０００からの出力値Ｖｉ、Ｂｊに対して所定の離散化データに変換し、この離散化されたデータに応じてＲＯＭ５０００に格納されている前側主点位置データＭｉｊ、後側主点位置データＵｉｊを読み込んでＣＣＤ１００６の所定の画素ｋに対応する被写体の方向ベクトルＮｉｊｋを演算し求めるようにしたものである。
【００４２】
次に上記演算について説明する。
図１において、前側主点位置を（０，０，Ｍｉｊ）、後側主点位置を（０，０，Ｕｉｊ）とおく。このとき前述したように、画素ｋと前側主点位置を結ぶ線と後側主点位置と画素ｋに対応する被写体ｋを結ぶ線は平行であることは既知である。
【００４３】
従って被写体ｋと前側主点を通り、画素ｋから後側主点位置への方向ベクトルＮ＝（−Ｃｘｋ，−Ｃｙｋ，Ｕｉｊ）に平行な直線上にあることがわかる。この直線は前記式（４）で表わすことができる。
このように光学系１０００の各レンズ群の位置に応じた主点位置をデータとして有することで正確に被写体のいる方向ベクトルを求めることができる。
【００４４】
次に、本実施の形態による画像情報入力装置を複数個設けた図２の立体映像システムの動作について説明する。
【００４５】
図６に図２の視線検出部２０３、２０４から演算部３に至る動作のフローチャートを示す。
ここでステップ２１は図２の２０３、２０４に対応し、ステップ２２、２３は３０１、３０２に対応し、ステップ２４は３０３に対応し、ステップ２５、２６、２８、２９、３０は３０７に対応し、ステップ２７は３０５に対応する。
【００４６】
ステップ２１は視線検出である。左眼、及び右眼のそれぞれの角膜反射の座標を出力する。ステップ２２でこの座標と対応する右眼、左眼用のＬＣＤ上の座標を求める。ステップ２３で対応する右眼、左眼用のＣＣＤ上の座標を求める。ステップ２４で上述したように光学系１０１と１０２のレンズ群の位置に応じて各光学系１０１、１０２の前側主点と後側主点位置をＲＯＭから読み込んで、前側主点と被写体を結ぶ方向ベクトルを光学系１０１及び１０２についてそれぞれ求める。
【００４７】
ステップ２５で右眼用方向ベクトルｄ_R 、左眼用方向ベクトルｄ_L が同一平面内にあるかどうかを調べ、同一平面内であればステップ２６へ進み、そうでなければステップ２８に進む。
ステップ２６で右眼用方向ベクトルｄ_R と左眼用方向ベクトルｄ_L の交点の座標を求める。
ステップ２８で右眼用方向ベクトルｄ_R と光学系１２の基準点を通る平面Ｐを求める。
【００４８】
ステップ２９で平面Ｐへの左眼用方向ベクトルｄ_L の正射影したベクトルｄ_L′を求める。ステップ２７で立体カメラ１の所定の基準点（左眼用光学系１０２の基準座標と右眼用光学系１０１の基準座標の中点）とステップ２６またはステップ３０にて求めた交点との距離と座標を求める。尚、撮影可能範囲算出部３０４については図４、図５により説明した通りである。
【００４９】
次に第３の実施の形態について説明する。
本実施の形態は、図１において、ＣＰＵ４０００はＣＣＤ１００６の所定の画素ｋに対応する被写体の位置座標Ｈｉｊｋと方向ベクトルＮｉｊｋを演算し求めるために、位置検出部２０００、３０００からの出力値Ｖｉ、Ｒｊに対してレンズ位置データと所定の離散化データＩ，Ｊに変換し、この離散化されたデータＩ，Ｊと上記所定の画素ｋが含まれる画素範囲（ｍ，ｎ）に対応するレンズ１０００のディストーション補正データテーブルＤから一組のディストーション補正データ（Ｄｍｉｊ，Ｄｎｉｊ）と、上記離散化されたデータＩ，Ｊに対応した焦点距離データテーブルＦから焦点距離データＦｉｊと、上記離散化されたデータＩ，Ｊに対応した主点位置データテーブルＳから前側主点位置データＭｉｊ、後側主点位置データＵｉｊをＲＯＭ５０００から読み込むものである。
【００５０】
次に上記の演算について説明する。
図１において、位置座標を求める被写体が結像しているＣＣＤ面上の画素ｋの座標を（Ｃｍｋ，Ｃｎｋ，０）とおく。ここでは画素面の重心とする。このとき、図７に示すように、ＣＣＤ面上を所定の範囲に分割したどの画素範囲に画素ｋが含まれるか、その画素範囲Ｄ（ｍ，ｎ）とレンズの位置データＩ，ｊに対応したＸ軸方向のディストーション補正データをＤｍｉｊ、Ｙ軸方向のディストーション補正データをＤｎｉｊとし、一組のデータ（Ｄｍｉｊ，Ｄｎｉｊ）とする。
【００５１】
通常レンズ１０００は理想的なレンズでない限り、収差としてディストーションを有している。すなわちＣＣＤ面上に結像した像は歪んでいる。従って、ＣＣＤ面上の画素位置から被写体の位置を求める際にこの歪みを補正してやることで精度よく被写***置を求めることができる。
【００５２】
本実施の形態では、上述したようにＣＣＤ画素に対応したディストーション補正データを有している。従ってＣＣＤ面上の画素ｋの座標（Ｃｍｋ，Ｃｎｋ，０）に結像した像はディストーションがなければ座標（Ｄｍｉｊ×Ｃｍｋ，Ｄｎｉｊ×Ｃｎｋ，０）に結像していることになる。すなわちここでいうディストーション補正データはディストーションがないときの被写体のＣＣＤ面上の結像位置（Ｃ^, ｍｋ，Ｃ^, ｎｋ，０）を求めるための補正係数であり、レンズ１０００固有の係数である。
【００５３】
ここで、
Ｃ^, ｍｋ＝Ｄｍｉｊ×Ｃｍｋ ………（１７）
Ｃ^, ｍｋ＝Ｄｎｉｊ×Ｃｎｋ ………（１８）
とする。
【００５４】
上記ディストーション補正データは、実際のレンズのディストーションを測定して求めてもよいし、レンズ設計値を元に設定してもよい。システムが要求する精度に応じて設定するものとする。当然のことながら前者の方が得られる精度はよいが、ここでは特に限定するものでない。また、本実施の形態では、ディストーション補正データをＣＣＤ画素を所定の範囲に分けてその範囲毎に設定しているが、画素毎に設定してもよく特に限定するものでない。以下、特にことわりがない限り被写体に対応するＣＣＤ面上の画素ｋの座標は上記補正後のデータ（Ｃ^, ｍｋ，Ｃ^, ｎｋ，０）とする。
【００５５】
レンズの位置データＩ，Ｊに対応した焦点距離をＦｉｊとおくと、後側焦点距離座標は（０，０、−Ｆｉｊ）になる。レンズの位置データＩ，Ｊに対応した前側主点位置を（０，０、Ｍｉｊ）、後側主点位置を（０，０、Ｕｉｊ）とおく。前側焦点距離座標は（０，０、Ｍｉｊ−Ｆｉｊ）、後側焦点距離座標は（０，０、Ｕｉｊ＋Ｆｉｊ）とおける。また、被写体Ｈｉｊｋの座標を（Ｈｘｉｊｋ，Ｈｙｉｊｋ，Ｈｚｉｊｋ）とおく。このとき、ニュートンの公式により、被写体ＨｉｊｋのＸ、Ｙ、Ｚ座標は以下の式で求めることができる。
【００５６】
Ｈｘｉｊｋ＝Ｃ^, ｍｋ×Ｆｉｊ／（Ｕｉｊ＋Ｆｉｊ） ………（１９）
Ｈｙｉｊｋ＝Ｃ^, ｍｋ×Ｆｉｊ／（Ｕｉｊ＋Ｆｉｊ） ………（２０）
Ｈｚｉｊｋ＝Ｍｉｊ−Ｆｉｊ＋Ｆｉｊ＾２／（Ｕｉｊ＋Ｆｉｊ）
………（２１）
【００５７】
また、画素ｋと前側主点位置を結ぶ線と後側主点位置と画素ｋに対応する被写体ｋを結ぶ線は平行であることは既知である。従って被写体ｋは前側主点を通り、画素ｋから後側主点位置への方向ベクトルＮｉｊｋ＝（−Ｃ^, ｘｋ，−Ｃ^, ｙｋ，Ｕｉｊ）に平行な直線上にあることがわかる。この直線は以下の式で表わすことができる。
ｘ／−Ｃ′ｍｋ＝ｙ／−Ｃ′ｍｋ＝（ｚ−Ｍｉｊ）／Ｕｉｊ………（２２）
【００５８】
このように光学系１０００の各レンズ群の位置に応じた焦点距離データＦｉｊと各主点位置データＭｉｊ、Ｕｉｊを有することで正確に被写***置Ｈｉｊｋと方向ベクトルＮｉｊｋを求めることができる。
【００５９】
次に、本実施の形態による画像情報入力装置を複数個設けた立体映像システムの動作について説明する。
図８に図２の視線検出部２０３、２０４から演算部３に至る動作のフローチャートを示す。
ここでステップ４１は２０３、２０４に対応し、ステップ４２、４３は３０１、３０２に対応し、ステップ４４、４５、４６、４７、４８は３０３に対応し、ステップ４９は３０７に対応する。
【００６０】
ステップ４１は視線検出である。左眼、及び右眼のそれぞれの角膜反射の座標を出力する。
ステップ４２でこの座標と対応する右眼、及び左眼用のＬＣＤ上の座標を求める。
ステップ４３で対応する右眼、及び左眼用のＣＣＤ上の座標を求める。
ステップ４４、４５、４６で上述したように、光学系１０１と１０２のレンズ群の位置に応じて各光学系１１、１２のディストーション補正データ（Ｄｍｉｊ，Ｄｎｉｊ）、焦点距離Ｆｉｊと前側主点Ｍｉｊ及び後側主点ＵｉｊをＲＯＭから読み込んで、被写体座標Ｈｉｊｋ（Ｈｘｉｊｋ，Ｈｙｉｊｋ，Ｈｚｉｊｋ）を上記式（１７）〜（２１）により算出する。
ステップ４７で前側主点Ｍｉｊと被写体Ｈｉｊｋを結ぶ方向ベクトルＮｉｊｋを光学系１０１及び１０２について式（６）にてそれぞれ求める。
また、撮影可能範囲算出部３０４についは、図４、図５により説明した通りである。
【００６１】
尚、図１、図２の各機能ブロックによるシステムは、ハード的に構成してもよく、また、ＣＰＵやメモリ等から成るマイクロコンピュータシステムに構成してもよい。コンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成する。この記憶媒体には、図１、図５、図６、図８のフローチャートについて前述した動作を制御するための処理手順を実行するためのプログラムが記憶される。
【００６２】
また、この記憶媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピディスク、磁気媒体、磁気カード、不揮発性のメモリカード等に構成して用いてよい。
【００６３】
従って、この記憶媒体を図１、図２に示したシステム以外の他のシステムあるいは装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、前述した各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００６４】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００６５】
また、第１、第２の実施の形態で用いられる撮影レンズの焦点距離データと前側主点位置座標データと後側主点位置座標データとを記憶したＲＯＭ５０００、あるいは第３の実施の形態の形態で用いられる撮影レンズの固有の収差補正データと焦点距離データと主点位置データと記憶したＲＯＭ５０００は、本発明によるデータを記憶した記憶媒体を構成する。
この記憶媒体も上記コンピュータ読み取り可能な記憶媒体と同様のものが用いられる。
【００６６】
【発明の効果】
以上説明したように、本発明による立体映像システムによれば、各画像情報入力装置において、可動レンズの位置を検出した情報に基づいて被写体の位置情報を求めるようにしたので、精度の高い被写体の位置情報を得ることができる。このため、立体映像撮影する際に、被写体が撮影範囲にあるか範囲外であるかを高い精度で検出することができ、これによって疲労度の少ない見やすい立体映像を得ることができる。また、複数の画像情報入力装置を設けているため、一方のレンズ情報の不具合が生じても、他方のレンズの焦点距離と主点位置情報等から被写体座標を求めることができ、データの信頼性を向上させることができる。
【００６７】
また、被写体の位置情報を可動レンズの位置情報と共に、焦点距離データ、前側主点位置座標データ、後側主点位置座標データ、あるいはレンズ固有の収差補正データ、焦点距離データ、主点位置データに基づいて求めることにより、処理のためのデータ量や演算時間を特に大きくすることなく、精度の高い被写***置情報を容易に取得することができる。
【図面の簡単な説明】
【図１】本発明による画像情報入力装置の第１、第２、第３の実施の形態を示すブロック図である。
【図２】画像情報入力装置を用いた立体映像撮影装置の実施の形態を示すブロック図である。
【図３】本発明の第１の実施の形態による立体映像撮影装置の動作を示すフローチャートである。
【図４】撮影可能範囲算出を説明する構成図である。
【図５】撮影可能範囲算出を説明するフローチャートである。
【図６】本発明の第２の実施の形態による立体映像撮影装置の動作を示すフローチャートである。
【図７】本発明の第２の実施の形態による画像情報入力装置の動作を説明するためのＣＣＤ面を示す構成図である。
【図８】本発明の第３の実施の形態による立体映像撮影装置の動作を示すフローチャートである。
【符号の説明】
１０００ 撮影光学系
１００１、１００４ 固定レンズ群
１００２ 変倍レンズ群
１００５ フォーカスコンペレンズ群
１００６ ＣＣＤ
２０００、３０００ 位置検出部
４０００ ＣＰＵ
５０００ ＲＯＭ

Claims (7)

1. 可動レンズを有するレンズ手段と、
   上記レンズ手段を介して結像された被写体像を画素毎の電気信号に変換する撮像手段と、
   上記撮像手段によって得られた電気信号に基づく画像を表示する表示手段と、
   上記表示手段を観察するユーザーの視線を検出する視線検出手段と、
   上記視線検出手段によって検出された上記ユーザーの視線にしたがって上記表示手段における画面上の座標を特定し、上記特定した画面上の座標にしたがって上記撮像手段における撮像面上の座標を特定する座標算出手段と、
   上記可動レンズの位置を検出する位置検出手段と、
   上記可動レンズの複数のレンズ位置にそれぞれ対応する焦点距離、前側主点位置座標、及び、後側主点位置座標のデータを記憶する記憶手段と、
   上記座標算出手段によって特定された上記撮像面上の座標と、上記記憶手段に記憶されている上記位置検出手段の検出位置に対応する上記焦点距離、上記前側主点位置座標、及び、上記後側主点位置座標とにしたがって、上記被写体の位置情報を算出する演算手段とを有する画像入力装置を複数個設けたことを特徴とする立体映像システム。
2. 上記位置情報は、上記撮像手段の所定の画素に対するベクトルであることを特徴とする請求項１に記載の立体映像システム。
3. 上記位置情報は、上記撮像手段の所定の画素に対する上記被写体の位置座標とベクトルであることを特徴とする請求項１に記載の立体映像システム。
4. 上記位置情報は、上記レンズ手段の固有の収差補正データと焦点距離と主点位置データとから求めた上記撮像手段の所定の画素に対する上記被写体の位置情報であることを特徴とする請求項１に記載の立体映像システム。
5. 上記レンズ手段の固有の収差補正データは、上記撮像手段の所定の画素範囲に対応したデータテーブルであることを特徴とする請求項４に記載の立体映像システム。
6. 上記レンズ手段の固有の収差補正データは、上記撮像手段の所定の画素に対応したデータテーブルであることを特徴とする請求項４に記載の立体映像システム。
7. 上記複数の画像情報入力装置により、右眼用視差画像と左眼用視差画像とを得るようにしたことを特徴とする請求項１に記載の立体映像システム。

Images