JP3817020B2

JP3817020B2 - 仮想空間における画像生成方法及び装置並びに撮像装置

Info

Publication number: JP3817020B2
Application number: JP13316097A
Authority: JP
Inventors: ▲すすむ▼ 舘; 太郎前田; 豊國田; 昌彦稲見
Original assignee: ▲舘▼ ▲すすむ▼
Priority date: 1997-05-23
Filing date: 1997-05-23
Publication date: 2006-08-30
Anticipated expiration: 2017-05-23
Also published as: US6836286B1; JPH10327431A

Description

【０００１】
【発明の属する技術分野】
本発明は、仮想空間における画像生成方法及び装置並びにそれに用いられる撮像装置に関する。
【０００２】
【従来の技術】
従来より、コンピュータによる三次元画像の作成方法には、ＧＢＲ（Geometry Based Rendering）及びＩＢＲ（Image Based Rendering）がある。
【０００３】
ＧＢＲは、比較的古くから用いられている方法であり、物体の幾何モデルを元にしてレンダリングを行なう方法である。物体の幾何的形状及び位置がはっきりするため、物体同士の衝突や隠蔽を完全に記述できるという利点を持つ。その反面、基本的な図形の組み合わせにより３次元形状を表現するので、複雑な形状の物体を記述するのには向かない。したがって、写真レベルのリアリティを出すのは困難である。
【０００４】
一方、ＩＢＲは、複数の平面画像を元にして任意視点からの物体の「見え方」を構成する方法であり、近年において研究が活発である。ＩＢＲでは、物体の形状や位置は明確に定まらないが、比較的容易に写真レべルのリアリティをもつ画像を生成することが可能である。
【０００５】
さて、遠隔地に離れている人間同士が会議を行うために、従来よりテレビ会議システムが用いられている。テレビ会議システムでは、ビデオカメラと表示装置が互いに離れたそれぞれの室に設置され、それらの間が通信回線で接続される。それぞれの室に入った会議の参加者の顔や姿は、その室のビデオカメラにより撮影される。撮像信号は通信回線で遠隔地にある他の室に送信され、その室に設置された表示装置により表示される。
【０００６】
【発明が解決しようとする課題】
しかし、従来のテレビ会議システムでは、表示装置の位置は固定されており、且つその画面は有限の大きさの平面である。会議の参加者は、常に表示装置の方を向くこととなり、ビデオカメラによる撮影も表示装置の近辺から行われることとなる。したがって、参加者の視線方向が拘束され、姿勢の自由度という点で問題がある。また、表示装置の画面が強く意識されるため、同じ場所で会議を行っているというリアリティに乏しい。
【０００７】
リアリティを高めるために、互いに隔てて配置された２台のビデオカメラと、レンチキュラレンズを適用した表示装置とを用い、相手の姿を立体視することが考えられる。しかし、その場合においても、相手の参加者に対して任意の位置に設定した視点からの立体画像を得ることは極めて困難であり、リアリティの向上は余り望めない。
【０００８】
本発明は、上述の問題に鑑みてなされたもので、遠隔地に離れている人間同士があたかも一堂に介しているかのようなリアリティを得ることを可能とする仮想空間における画像生成方法及び装置並びに撮像装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
請求項１の発明に係る方法は、被写体の各点から射出される光線群のうち、仮想的に設定され且つ位置が任意に設定され得る視点である仮想視点に向かう光線を、前記被写体を囲む仮想的な閉曲面上の複数位置において撮像手段により検出して撮像信号に変換し、前記撮像信号を、前記仮想視点とは異なる位置に存在する観察者の視点に向けて画像を表示する表示手段に送り、前記表示手段により、前記観察者の視点に対し前記仮想視点と前記被写体との位置関係に対応した位置に仮想的に配置された被写体の各点から前記観察者の視点に向かって光線が射出されるように、前記撮像信号に基づいて画像を表示する。さらに、前記撮像手段は、前記仮想視点に向かう光線をライン状に検出することによって、ライン状の画像を検出する構成となっている。また、前記表示手段は、前記撮像手段で検出されたライン状の画像の中から、観察者の視点に対応した位置及び方向のライン状画像を選択し、送られたライン状画像によって画像の再構成を行うことにより、観察者の左目用画像及び右目用画像を提示する構成となっている。
【００１０】
請求項２の発明に係る装置は、被写体の各点から射出される光線群のうち、仮想的に設定された視点である仮想視点に向かう光線を、前記被写体を囲む仮想的な閉曲面上の複数位置において検出して撮像信号に変換する撮像手段と、仮想的に設定された被写体の各点から観察者の視点に向かって光線が射出されるように、前記撮像信号に基づいて前記光線を再生して画像を表示する表示手段と、前記撮像信号をリアルタイムで前記表示手段に送信する手段と、を有する。さらに、前記撮像手段は、前記仮想視点に向かう光線をライン状に検出することによって、ライン状の画像を検出する構成となっている。また、前記表示手段は、前記撮像手段で検出されたライン状の画像の中から、観察者の視点に対応した位置及び方向のライン状画像を選択し、送られたライン状画像によって画像の再構成を行うことにより、観察者の左目用画像及び右目用画像を提示する構成となっている。
【００１１】
【００１２】
請求項３の発明に係る装置では、前記撮像手段は、撮像素子と、前記撮像素子の周囲を回転するスリットとを備える。請求項４の発明に係る装置では、前記表示手段は、表示素子と、前記表示素子の周囲を回転するスリットとを備える。
【００１３】
【００１４】
請求項５の発明に係る装置では、前記撮像手段は、複数の走査線を有するＣＣＤカメラであり、前記走査線が略鉛直方向となるように設置されている。請求項６の発明に係る装置では、前記撮像手段は、前記撮像信号を走査線単位で前記表示手段に向けて順次転送する。
【００１５】
請求項７の発明に係る装置は、被写体から射出される光線群のうち、仮想的に設定された視点である仮想視点に向かう光線を、前記被写体を囲む仮想的な閉曲面上の複数位置において検出して撮像信号に変換する撮像装置であって、エリアセンサ、及び、前記仮想視点の観察者が視差を感じる方向と直角の方向に前記エリアセンサを走査し、その走査線に対応したライン状の前記光線を検出して前記撮像信号に変換するための走査手段からなる撮像手段と、前記撮像手段を、前記閉曲面上における前記仮想視点の観察者が視差を感じる方向に移動させる移動手段と、を有する。さらに、この発明に係る装置は、前記エリアセンサを走査する複数の走査線によって得られる複数のライン状の撮像信号の中から、観察者の視点に対応したライン状の撮像信号を選択する選択部と、前記選択部から送られたライン状の撮像信号を用いて、観察者に提示するための左目用画像及び右目用画像を構成する画像構成部とを有する。
【００１６】
【００１７】
本発明の撮像手段として、例えば図７に示すように、円周上において鉛直方向に延びるように配置され且つ円周上を回転移動するＣＣＤラインセンサＣＬ、及びＣＣＤラインセンサＣＬの前方に鉛直方向に配置されＣＣＤラインセンサＣＬを中心として回転するスリットＳＴｍからなる撮像装置（衛星型機構）が用いられる。
【００１８】
この撮像装置によって、円周上のすべての位置においてすべての方向に出る光線群が記録される。光線群のうちのある位置の且つある方向（角度）の光線の画像は、本発明におけるライン状画像である。
【００１９】
また、本発明の他の撮像手段として、例えば図１６に示すように、２次元ＣＣＤからなるエリアセンサＣＥを用いたカメラＣＭが用いられる。エリアセンサＣＥを鉛直方向に走査しながら水平方向に副走査する。鉛直方向に走査することによって多数の走査線が得られる。多数の走査線のうちのある位置の且つある方向（角度）の走査線による画像は、本発明におけるライン状画像である。
【００２０】
観察者への画像の提示のために、すべてのライン状画像の中から、必要なライン状画像、つまり特定の位置の特定の方向（角度）のライン状画像が選択される。選択されたライン状画像のみが観察者の表示手段に送られ、送られたライン状画像によって画像の再構成が行われる。
【００２１】
本発明の表示手段として、例えば図３に示すように、円周面上を回転移動するフルカラーのＬＥＤマトリクスＥＸが用いられる。ＬＥＤマトリクスＥＸによって、送られたライン状画像に基づき、観察者の左眼用の画像及び右眼用の画像が提示される。なお、表示を行うべき面の全面にＬＥＤマトリクスＥＸが設けられる場合には、ＬＥＤマトリクスＥＸを回転移動させなくてもよい。
【００２２】
【発明の実施の形態】
図１は本発明に係る遠隔会議システム１のブロック図、図２は遠隔会議システム１による仮想空間ＶＳにおける会議の様子を示す図、図３はブースＢＴの構成を示す図である。
【００２３】
図１において、人物Ａ及び人物Ｂは、それぞれ円筒状のブースＢＴＡ及びブースＢＴＢに入っている。人物Ａ，Ｂは互いに遠隔地にいるが、それぞれブースＢＴＡ，ＢＴＢに入ることによって、図２に示すように人物Ａ，Ｂは仮想空間ＶＳ内で一堂に介して会議を行うことができる。
【００２４】
なお、３人以上の人物が互いに遠隔地にいる場合には、それぞれブースに入ることによって、共通の仮想空間ＶＳ内で全員が一堂に介して会議を行うことができる。
【００２５】
図３に示すように、ブースＢＴＡには、複数のカメラＣＭ，ＣＭ…及びフルカラーのＬＥＤマトリクスＥＸ，ＥＸ…が備えられており、これらが図示しない駆動装置によって一体的に人物Ａの回りを定速度で回転する。駆動装置として、例えば減速機付きのモータが用いられる。
【００２６】
カメラＣＭが回転することにより、人物Ａの全周画像が撮像（撮影）される。ＬＥＤマトリクスＥＸが回転することにより、人物Ａに対し円筒状に画像を提示する。つまり、ブースＢＴＡは撮像・提示一体型である。
【００２７】
人物Ａの頭部には位置センサＤＰが取り付けられており、位置センサＤＰからは人物Ａの位置及び姿勢に応じた信号Ｓ１が出力される。位置センサＤＰからの信号Ｓ１によって、ブースＢＴＡ内における人物Ａの両眼の位置、つまりブースＢＴＡ内における左眼及び右眼の視点位置が計測される。また、信号Ｓ１と後述の信号Ｓ２とから、他のブースを観察する観察者としての人物Ａの視点位置が計測される。
【００２８】
ＬＥＤマトリクスＥＸの前面にスリットを設け、スリットにより画像の提示方向に指向性を持たせる。ブースＢＴＡ内における両眼の視点位置が分かっているので、それぞれの視点位置に向けて視差のある画像を提示することにより、人物ＡはＨＭＤを装着することなしに両眼立体視が可能となる。したがって、人物Ａの顔がＨＭＤなどで隠れることがなく、人物Ａの表情がそのままカメラＣＭによって撮像される。これは、互いに顔をみて対話をする会議用として極めて大きな利点である。
【００２９】
また、ＬＥＤマトリクスＥＸは、カメラＣＭによる撮像の瞬間に特定の背景色を表示する。したがって、後のデータ処理において人物Ａの画像のみを容易に取り出すことができる。
【００３０】
ブースＢＴＡの床面には、全方向型のトレッドミルＣＴが設けられており、人物ＡはトレッドミルＣＴの上を自由に歩くことができる。人物Ａが歩くと、トレッドミルＣＴはその動きに応じて移動し、人物Ａの実際の移動をキャンセルするとともに、人物Ａが移動したであろう距離及び方向を信号Ｓ２として出力する。なお、トレッドミルＣＴに代えてジョイスティックを設けておき、人物Ａがジョイスティックを操作することでも代用可能である。
【００３１】
他方のブースＢＴＢの構成も上述のブースＢＴＡの構成と同じである。図１に戻って、遠隔会議システム１には、位置センサＤＰ及びトレッドミルＣＴからの信号Ｓ１，Ｓ２に基づいて、仮想空間ＶＳ１内における人物Ａ，Ｂ間の位置を管理するためのホスト１１、カメラＣＭにより撮像されるライン状画像（走査線）ＣＡＬを選択するための選択部１２ａ，１２ｂ、及び、ＬＥＤマトリクスＥＸによりライン状画像ＣＡＬを表示して画像を構成するための画像構成部１３ａ，１３ｂが設けられている。
【００３２】
ホスト１１は、人物Ａ，Ｂの仮想空間ＶＳ１内における位置関係の情報ＤＴＲを保有する。人物Ａ，Ｂが、トレッドミルＣＴ又はジョイスティックの操作によって仮想空間ＶＳ１内を移動すると、位置関係の情報ＤＴＲが更新される。
【００３３】
選択部１２ａ，１２ｂでは、ホスト１１から送られる人物Ａ，Ｂの位置関係の情報ＤＴＲ、特に仮想視点に関する情報に基づいて、相手が必要とするライン状画像ＣＡＬを選択する。選択されたライン状画像ＣＡＬは、画像構成部１３ａ，１３ｂに送られる。つまり、選択されなかったライン状画像は送られないので、送信される情報量は大幅に減少する。
【００３４】
画像構成部１３ａ，１３ｂでは、人物Ａ，Ｂ間の位置関係の情報ＤＴＲ、及びラインの位置及び方向（角度）に関する情報に基づいて、ライン状画像ＣＡＬの伸縮及び並び替えなどの処理を行い、提示すべき画像を構成し生成する。ライン状画像の伸縮の処理は、人物Ａ，Ｂ間の位置関係に応じて行われる。後述する仮想視点がカメラＣＭの位置よりも近い場合には拡大され、これと逆に遠い場合には縮小される。
【００３５】
選択部１２ａ，１２ｂ及び画像構成部１３ａ，１３ｂは、それぞれ各ブースＢＴＡ，ＢＴＢの近傍に設けられている。また、ホスト１１の機能を有する処理装置が、一方又は各ブースＢＴＡ，ＢＴＢの近傍に設けられている。処理装置は、コンピュータを用いて構成されており、これら処理装置間において、通信回線によって情報の送受が行われる。この場合に、処理装置が本発明における撮像信号をリアルタイムで表示手段に送信する手段に相当する。また、選択部１２ａ，１２ｂ及び画像構成部１３ａ，１３ｂは、コンピュータ及び適当なハードウエア又はソフトウエアを用いて実現される。各部の機能の詳細については後述する。
【００３６】
遠隔会議システム１によってスムーズなコミュニケーションを行なうためには、ジェスチャーや顔の表情、又はアイコンタクトなど、言葉以外による意志の疎通を可能にするために、そこでやりとりされる人物の画像には写真レべルのリアリティがあることが望ましい。そのため、ＬＥＤマトリクスＥＸにより表示される画像は、ＧＢＲ的な手法ではなくＩＢＲ的な手法によっている。
【００３７】
遠隔会議システム１においては、観察者としての人物Ａ，Ｂに提示する画像を動画像とする必要があり、また画像の取り込みと提示との間にリアルタイム性が要求される。
【００３８】
ところで、従来のＩＢＲの用途としては、予め風景や静物などを記録しておき、後でそれを再生するものであった。これらの中には、複数の画像間の対応点を人間が指示する必要のあるものもあるが、その種のものは設計思想が根本的に異なるため遠隔会議システム１には用いることができない。
【００３９】
また、従来において、人間による対応点の指示を必要としない光線空間理論がある〔内山普二他著“光線空間理論に基づく実写データとＣＧモデルを融合した仮想環境の実現”（３次元画像コンファレンス'96, 1-3, 13/18 - 1996）〕。しかし、実空間画像を光線空間にエンコードして一旦記録し、それをまた実空間にデコードするという方式であるため、リアルタイム性を満足できない。
【００４０】
本実施形態の遠隔会議システム１では、人物Ａ，Ｂの周りから取り込んだ画像に基づいて、任意の視点からの画像をリアルに且つリアルタイムで再生する。ここで、幾何光学により導かれる諸性質について説明する。以下の説明は単一媒質中についてのものであり、光は直進することを前提とする。
【００４１】
図４は一般的な３次元空間を説明するための図である。図４において、物体（被写体）Ｍの表面を出て、又は表面を反射して、点Ｐを通る光線群を知りたいとする。また、点Ｐでは光線群を直接に記録できないものとする。そのような場合に、物体Ｍを囲む閉領域Ｒを仮定すると、物体Ｍの表面を出て点Ｐに到達する光線群は、必ず閉領域Ｒの表面上を通る。
【００４２】
したがって、閉領域Ｒの表面上での光線を記録しておくことにより、それに基づいて物体Ｍの表面を出て点Ｐを通る光線群を再構成することが可能である。また、点Ｐを透視変換の投影中心と考えると、点Ｐの位置からの物体Ｍの「見え方」が得られる。
【００４３】
次に、上述と同様のことを２次元平面で考える。図５及び図６は２次元平面での１点を通る光線群を説明するための図である。なお、図５は点Ｐが閉領域Ｒの外部にある場合を示し、図６は点Ｐが閉領域Ｒの内部にある場合を示す。
【００４４】
図５に示すように、閉領域Ｒは、原点Ｏを中心とした半径Ｒの円周として定式化される。点Ｐの座標をＰ（ｒcosφ，ｒsinφ）として、この点Ｐに図５に示すβの角度で入射する光線を考える。この光線が、閉領域Ｒの内部から到達したものであるとき、必ず閉領域の表面上のある点を通っており、その点をＱとする。点Ｑの座標をＱ（Ｒcosθ，Ｒsinθ）とおき、光線は図５に示すαの角度でＲの表面上を出るとする。
【００４５】
このとき、任意の点Ｑにおいて次の（１）〜（３）式が成立する。まず、
α＋θ＝β＋ψ＝γ（ｃｏｎｓｔ）……（１）
さらに、γ≠π／２＋ｎπ（ｎ：自然数）のとき、
（ｒsinψ−Ｒsinθ）／（ｒcosψ−Ｒcosθ）＝tanγ……（２）
また、γ＝π／２＋ｎπ（ｎ：自然数）のとき、
ｒcosψ−Ｒcosθ＝０……（３）
上述の（１）〜（３）式は、図６に示すように点Ｐが閉領域Ｒの内部にある場合についても成立する。
【００４６】
上で説明したように、対象となる物体Ｍの周りに閉領域Ｒを想定し、その表面での光線を記録することにより、仮想的な視点Ｐでの「見え方」が構築できる。ここでは、光線の仰角方向を無視した円筒的な世界を仮定する。
【００４７】
遠隔会議システム１においては、参加者である人物Ａ，Ｂが円筒形のブースＢＴＡ，ＢＴＢに入るので、被写体としての人物Ａ，Ｂを物体Ｍ、ブースＢＴＡ，ＢＴＢを閉領域Ｒに対応させることができる。
【００４８】
図７はブースＢＴｍにおける撮像の状態を示す図である。図７において、ブースＢＴｍは円筒形であるので円周で表されている。ブースＢＴｍ内には、被写体としての人物Ａが入っている。なお、ブースＢＴｍは、ブースＢＴＡ，ＢＴＢにおける撮像装置の部分のみを取り出したものと考えればよい。
【００４９】
ブースＢＴｍには、鉛直方向（つまり図７の紙面に垂直方向）に延びるＣＣＤラインセンサＣＬを円周上に配置し、鉛直方向の光線を記録する。そして、ＣＣＤラインセンサＣＬを円周上で回転（公転）させる。さらに、ＣＣＤラインセンサＣＬの前方において鉛直方向に延びるスリットＳＴｍを配置し、スリットＳＴｍによって、ＣＣＤラインセンサＣＬに記録される光線の方向に指向性を持たせる。そのスリットＳＴｍをＣＣＤラインセンサＣＬを中心として回転（自転）させる。
【００５０】
これにより、円周上のすべての位置において、すべての方向に出る光線群を記録することができる。このとき、光線群のうちのある位置の且つある方向（角度）の光線は、１つの走査線（ライン状画像）に対応する。１つの走査線は、鉛直方向に長さを持っており、その中に画像が記録される。
【００５１】
上述のブースＢＴｍの機構を、本明細書においては「衛星型自転公転機構」又は「衛星型機構」と呼称する。衛星型機構によって、ブースＢＴｍ内のすべての光線が走査線として記録（撮像）される。
【００５２】
次に、衛星型機構によって記録されるすべての走査線から、画像を構成するのに必要な走査線を選択する方法について説明する。図８は仮想空間ＶＳ１内における人物Ａ，Ｂの位置関係を示す図、図９は撮像時における走査線の選択を説明するための図である。
【００５３】
先の図１に示すように、実空間では距離を隔ててブースＢＴＡ，ＢＴＢに入っている人物Ａ，Ｂが、仮想空間ＶＳ１内においては図８に示すような位置関係にある場合について考える。このとき、仮想空間ＶＳ１内での位置関係により、各ブースＢＴＡ，ＢＴＢで画像の構成のために要求される走査線の位置と角度について考える。
【００５４】
図９（Ａ）には、人物Ｂから見た人物Ａの画像を構成するために、ブースＢＴＡのどの位置での且つどの角度での走査線を選択するかが示されている。この場合は、人物Ｂが見る側つまり観察者であり、人物Ａが見られる側つまり被写体である。
【００５５】
人物Ｂが両眼立体視を行なうためには、左眼用の走査線と右眼用の走査線をそれぞれ選択する必要がある。左眼用の走査線は、ブースの円周上において、人物Ｂの左眼と人物Ａの幅方向の両端を結ぶ線ＮＬＢ，ＮＬＢの間にある。右眼用の走査線は、ブースの円周上において、人物Ｂの右眼と人物Ａの幅方向の両端を結ぶ線ＮＲＢ，ＮＲＢの間にある。その際に、人物Ｂのいずれかの眼を点Ｐとし、選択する走査線の円周上での位置を点Ｑとして、上述の（１）〜（３）式を満たすように（α，θ）を選択すれば良いこととなる。
【００５６】
同様に、図９（Ｂ）には、人物Ａから見た人物Ｂの画像を構成するために、ブースＢＴＢのどの位置での且つどの角度での走査線を選択するかが示されている。この場合は、人物Ａが観察者であり、人物Ｂが被写体である。
【００５７】
人物Ａの左眼用の走査線は、ブースの円周上において、人物Ａの左眼と人物Ｂの幅方向の両端を結ぶ線ＮＬＡ，ＮＬＡの間にある。右眼用の走査線は、ブースの円周上において、人物Ａの右眼と人物Ｂの幅方向の両端を結ぶ線ＮＲＡ，ＮＲＡの間にある。その際に、人物Ａのいずれかの眼を点Ｐとし、選択する走査線の円周上での位置を点Ｑとして、上述の（１）〜（３）式を満たすように（α，θ）を選択すれば良いこととなる。
【００５８】
次に、走査線の伸縮について説明する。図１０は走査線の伸縮について説明するための図である。図１０において、衛星型機構の撮像点をＱ、仮想的な視点をＰとすると、点Ｑで得られた走査線に対しＲ／γ倍のスケール変換を行うことによって、点Ｐでの仮想的な走査線が得られる。但し、鉛直方向のゆがみを生じさせないためには、人物が原点付近に円筒状に集中しているという前提が必要である。
【００５９】
ところで、被写体である人間の形状は実際に円筒形に近く、観察者である人間の両眼は水平に並んでついているので、左右両眼に水平視差をつけて画像を提示することにより、鉛直方向のゆがみは感じにくい。したがって、本実施形態における方法を用いることは極めて合理的である。
【００６０】
次に、走査線の再構成について説明する。遠隔会議システム１においては、参加者は他の相手に「見られる」と同時に相手を「見る」存在である。つまり、自分の画像を撮影されるだけではなく、仮想空間内の相手の画像が提示されなくてはならない。
【００６１】
上に説明した衛星型機構は、人間への映像提示としても、同様に用いることができる図１１はブースＢＴｐにおける画像表示の状態を示す図である。
【００６２】
図１１において、ブースＢＴｐ内には観察者としての人物Ａが入っている。なお、ブースＢＴｐは、ブースＢＴＡ，ＢＴＢにおける表示装置の部分のみを取り出したものと考えればよい。
【００６３】
ブースＢＴｐでは、フルカラーのＬＥＤマトリクスＥＸが円筒面上を公転し、円筒状にスクリーンを形成する。ＬＥＤマトリクスＥＸは、鉛直方向に配列された多数の列ＬＥＤマトリクスＥＸｃからなる。
【００６４】
人物Ａが位置センサＤＰを取り付けている場合には、その信号Ｓ１によって人物Ａの両眼の視点位置が分かるので、それらの視点位置に向かって提示すべき画像（光線群）のみをＬＥＤマトリクスＥＸで表示する。つまり、この場合には、左眼用の画像と右眼用の画像の２つの画像を表示すればよい。
【００６５】
図１２は左眼用の画像と右眼用の画像を表示する方法の例を示す図、図１３は図１２に示す方法によって画像が見える様子を示す図である。図１２において、ＬＥＤマトリクスＥＸの前方に、ＬＥＤマトリクスＥＸの表示面と間隔をあけて、鉛直方向に延びるスリットＳＴｒが設けられている。観察者は、スリットＳＴｒのみを通してＬＥＤマトリクスＥＸに表示される画像を見ることができる。したがって、観察者の左眼ではライン状画像ＣＡＬＬ１が見え、右眼ではライン状画像ＣＡＬＲ１が見える。
【００６６】
ＬＥＤマトリクスＥＸ及びスリットＳＴｒは互いに一体的に回転移動し、移動に応じてＬＥＤマトリクスＥＸに表示されるライン状画像ＣＡＬＬ１，ＣＡＬＲ１が変化する。つまり、ライン状画像ＣＡＬＬ１，ＣＡＬＲ１が水平方向にスキャンされる。図１３に示すように、観察者は、スキャンされたライン状画像ＣＡＬＬ１，ＣＡＬＲ１によって、立体画像を観察することができる。
【００６７】
図１１に戻って、人物Ａが位置センサＤＰを取り付けていない場合には、各列ＬＥＤマトリクスＥＸｃの前方において鉛直方向に延びるスリットＳＴｐを配置し、スリットＳＴｐによって、列ＬＥＤマトリクスＥＸｃから出る光線の方向に指向性を持たせる。そのスリットＳＴｐを列ＬＥＤマトリクスＥＸｃを中心として回転（自転）させる。
【００６８】
これにより、ブースＢＴｐの中に入ってくるすべての光線を再現することができる。つまり、円周上のすべての位置において、すべての方向に対して画像を提示することができる。但し、ここでは光線の仰角方向を無視する。
【００６９】
したがって、ブースＢＴｐの中にいる観察者は、ＨＭＤなどを付けることなく立体視を行なうことができる。但し、ＬＥＤマトリクスＥＸの回転軌道上のすべての位置及びすべての方向に映像を提示するために、情報量が多くなる。
【００７０】
図１４は表示時における走査線の選択を説明するための図である。図１４（Ａ）には、図９（Ａ）で選択した走査線をブースＢＴＢにおいて提示し、人物Ａの画像を人物Ｂに提示するために、ブースＢＴＡのブースのどの位置で且つどの角度で提示すればよいかが示されている。
【００７１】
人物Ｂが両眼立体視を行なうためには、左眼用の画像と右眼用の画像をそれぞれ提示する必要がある。左眼用の画像は、ブースの円周上において、人物Ｂの左眼と人物Ａの幅方向の両端を結ぶ線ＮＬＢ，ＮＬＢの間に提示される。右眼用の画像は、ブースの円周上において、人物Ｂの右眼と人物Ａの幅方向の両端を結ぶ線ＮＲＢ，ＮＲＢの間に提示される。
【００７２】
図１４（Ｂ）には、図９（Ｂ）で選択した走査線をブースＢＴＡにおいて提示し、人物Ｂの画像を人物Ａに提示するために、ブースＢＴＡのブースのどの位置で且つどの角度で提示すればよいかが示されている。
【００７３】
人物Ａが両眼立体視を行なうために、左眼用の画像は、ブースの円周上において、人物Ａの左眼と人物Ｂの幅方向の両端を結ぶ線ＮＬＡ，ＮＬＡの間に提示される。右眼用の画像は、ブースの円周上において、人物Ａの右眼と人物Ｂの幅方向の両端を結ぶ線ＮＲＡ，ＮＲＡの間に提示される。
【００７４】
今までの説明は、仮想空間ＶＳ内に、２つのブースＢＴＡ，ＢＴＢに入った２人の人物Ａ，Ｂが配置された場合を前提としたものである。次に、仮想空間ＶＳに３人以上の人物と仮想物体が配置された場合を考える。
【００７５】
仮想空間ＶＳに、ｎ個のブースに入ったｎ人が配置された場合では、ｎ人のうちの１人が残りの（ｎ−１）人に見られる、という関係になるので、ｎ（ｎ−１）通りについて上述と同様のことを考えればよい。
【００７６】
つまり、観察者と被写体との組み合わせが、２人のみの場合では２通りであったが、ｎ人の場合にはｎ（ｎ−１）通りに増加するので、ｎ（ｎ−１）通りについて、観察者と被写体との組み合わせを考えればよいのである。
【００７７】
図１５に示すように、仮想空間ＶＳ２内に５人の人物Ａ〜Ｅが配置された場合には、２０通りの組み合わせについて考えればよい。また、仮想空間ＶＳ２には、人物のみではなく、仮想物体ａ，ｂを配置することも可能である。但し、ＩＢＲの性質上、人物の正確な幾何的形状は分からないので、仮想空間内での遮蔽関係は次のようにして考える。
【００７８】
すなわち、位置センサＤＰによる頭部位置の計測によってブース内の人物の位置は分かっているので、人物の周りにそれぞれ円柱領域ＧＺを想定し、円柱領域ＧＺ内に人物が存在すると仮定しておく。こうすることで、人物の相互間、又は人物と仮想物体との遮蔽関係を、円柱領域ＧＺとの遮蔽関係に置き換えて考えることができる。これについて、内山普二他著“幾何形状モデルを持たない多眼実写データの仮想環境に置ける配置と操作”（日本バーチャルリアリティ学会大会論文集Vol.1,169/172-1996）を参照することができる。
【００７９】
しかし、図１５において、円柱領域ＧＺが互いに重なった人物Ｃと人物Ｄの間、及び人物Ｅと仮想物体ｂとの間のそれぞれの遮蔽関係を完全には記述することはできない。
【００８０】
遠隔会議システム１においては、参加者同士がそれほど密着するとは考えにくい。また、人物と近接している仮想物体を提示するには、Ｍｅｄｉａ³などのオブジェクト指向型提示デバイスを用いることが考えられる。これについて、稲見昌彦他著“物体近傍映像提示ディスプレイ「バーチャルホログラム」の提案”（日本バーチャルリアリティ学会大会論文集Vol.1, 139/142 - 1996）を参照することができる。
【００８１】
なお、円柱領域ＧＺは、ブースの領域と同じである必要はなく、より範囲を狭くとることによって遮蔽の記述精度を上げることができる。上の説明では、撮像系としてＣＣＤラインセンサＣＬの前方で機械的なスリットＳＴｍを回転させてスキャンするという手法を述べたが、機械的なスキャンの代わりに電子的なスキャンを行うことができる。
【００８２】
図１６はエリアセンサＣＥを用いたカメラＣＭにより走査線に対応したライン状の画像を検出する様子を示す図である。すなわち、２次元ＣＣＤからなるエリアセンサＣＥを用いたカメラＣＭを使用し、エリアセンサＣＥを鉛直方向に走査しながら水平方向に副走査する。鉛直方向に走査することによって、多数の走査線（ライン状画像）ＣＡＬが得られる。多数の走査線の中から、必要な走査線ＣＡＬ、つまり特定の方向（角度）の走査線ＣＡＬを選択するには、副走査方向の番号を指定すればよい。選択された走査線ＣＡＬは、上述の衛星型機構によって得られる特定の光線に対応する。
【００８３】
図１７は遠隔会議システム１における撮像及び表示の方法を説明するための図である。図１７において、被写体（例えば人物Ａ）上の１つの点Ａ１から仮想視点Ｐへ向かう光線は、位置Ｂ１にあるカメラＣＭによって、Ｃ１で示される走査線で受光される。同様に、点Ａ２から仮想視点Ｐへ向かう光線は、位置Ｂ２にあるカメラＣＭによって、Ｃ２で示される走査線で受光される。そして、カメラＣＭが位置Ｂ１にある場合にはＣ１の走査線を選択し、カメラＣＭが位置Ｂ２にある場合にはＣ２の走査線を選択する。
【００８４】
これら光線の受光及び走査線の選択は、被写体上のすべての点、つまり位置Ｂ１からＢ２に至る間のすべての画素について行われる。画像の表示に当たって、位置Ｂ１’において、Ａ１’からＢ１’に向かう方向に、Ｃ１の走査線で得られた画像を表示する。位置Ｂ２’において、Ａ２’からＢ２’に向かう方向に、Ｃ２の走査線で得られた画像を表示する。画像の表示は、位置Ｂ１’からＢ２’に至る間のすべての画素について行われる。
【００８５】
ところで、エリアセンサＣＥ上において、走査線ＣＡＬに対応した画像信号を読み出すことによって、各光線の撮像信号が得られる。走査線ＣＡＬ単位で撮像信号を取り出すことは容易であり、簡単なハードウエアを用いてリアルタイムで行うことができる。この場合の走査線ＣＡＬ単位で撮像信号を取り出す手段が本発明における走査手段に相当する。
【００８６】
なお、人間の姿は鉛直方向に長いので、カメラＣＭの画面を縦向きに設定することによって、人物像を画角いっぱいに撮影することができる。また、多数のカメラを円周上に固定するのではなく、１つ又は複数のカメラを円周上を回転させることにより、少ない個数のカメラで高い空間解像度を得ることが可能となる。
【００８７】
図１８はインタレース表示を行った場合を説明するための図である。図１８において、相互に同期をとったカメラＣＭが円周上を矢印の向きに回る場合を考える。最初にカメラＣＭの電子シャッターがＡの位置で切られたとすると、仮想カメラＶＣの映像ＦＶは、そのＡのラインのみが更新される。次にカメラの電子シャッターがＢの位置で切られると、映像ＦＶはＢのラインのみが更新される。次には映像ＦＶのＣのラインのみが更新され、以降において同様にＡのラインから更新が繰り返される。
【００８８】
このように映像ＦＶが更新されるので、カメラの位置を固定した場合と比較して、３倍の空間解像度を持つ動画像を得ることができる。一方で、あるラインに注目したときの時間の解像度は３分の１に減少する。しかし、画像全体のうち、３分の１の部分は本来の画像更新レートで切り替わるため、画像のちらつきやぎこちなさは抑えられる。
【００８９】
図１９は遠隔会議システム１における画像生成を全体的に示す図である。図１９に示すように、回転（公転）するカメラＣＭによって人物Ａを撮像し、多数のライン状の走査線ＣＡＬの画像を得る。その中から、観察者の視点に応じた走査線ＣＡＬを選択し、視点の位置に応じて伸縮の処理を行う。観察者毎に得られた走査線ＣＡＬを、回転（公転）するＬＥＤマトリクスＥＸにより表示する。
【００９０】
図２０は他の実施形態の遠隔会議システム１ａのブロック図である。図２０に示す遠隔会議システム１ａでは、図１に示す遠隔会議システム１のホスト１１に代えて、ホスト１１をダウンサイジングした位置管理部１１ａ，１１ｂが設けられている。
【００９１】
位置管理部１１ａ，１１ｂは、各人物Ａ，Ｂの仮想空間ＶＳ上における絶対位置の情報をそれぞれ独立に保有する。人物Ａ，Ｂが、トレッドミルＣＴ又はジョイスティックの操作によって仮想空間ＶＳ内を移動すると、位置の情報が更新される。位置管理部１１ａ，１１ｂの間において、位置の情報を交換し合い、それらの情報を元に相対座標を計算し、得られた相対座標を他方の選択部１２ａ，１２ｂに送る。選択部１２ａ，１２ｂにおいては、送られてきた相対座標を元に、相手が必要とするライン状画像ＣＡＬを選択する。
【００９２】
次に、本発明の画像生成方法を適用した他の実施形態について説明する。図２１は本発明に係る３次元インタラクティブテレビ２のブロック図、図２２は３次元インタラクティブテレビ２の概念を示す図である。
【００９３】
図２１に示すように、３次元インタラクティブテレビ２は、上述の遠隔会議システム１に多数の傍観者を加えたものと考えることができる。すなわち、３次元インタラクティブテレビ２においては、テレビジョン装置ＳＴＶの画面ＨＧが仮想空間ＶＳ３であり、画面ＨＧに表示する画像を構成するために、選択部１４ａ，１４ｂ及び画像構成部１５が設けられる。
【００９４】
図２２をも参照して、番組の複数の出演者Ｃ，Ｄは、遠隔会議システム１と同様な装置によって仮想空間ＶＳ３である画面ＨＧ上で共演する。つまり、出演者Ｃ，Ｄは互いに遠隔地に離れていても、ブースＢＴＣ，ＢＴＤに入ることにより、互いにすぐ側にいるような感覚で共演が可能である。
【００９５】
傍観者である番組の視聴者ＡＵＤは、ブースに入る必要はなく、テレビジョン装置ＳＴＶの画面ＨＧを見ながらコントローラＲＣＴを操作する。コントローラＲＣＴは、出演者Ｃ，Ｄに対する視聴者ＡＵＤの視点位置を可変するためのものであり、出演者Ｃ，Ｄに対して任意の視点位置を設定することが可能である。視聴者ＡＵＤの視点位置の情報ＤＴＳはホスト１１Ａに保有される。視聴者ＡＵＤは、コントローラＲＣＴから信号Ｓ１１をテレビ局ＢＣＳに送ることによって、自分の見たい視点位置の画像を要求することができる。
【００９６】
テレビジョン装置ＳＴＶでは、テレビ局ＢＣＳから送られる画像を立体表示する。画像の立体表示に当たっては、公知の種々の方式が用いられる。例えば、視聴者ＡＵＤは液晶シャッタの付いた眼鏡を着用し、テレビジョン装置ＳＴＶの画面ＨＧには左眼用の画像と右眼用の画像とを交互に表示する。画面ＨＧでの画像の切り替えに同期して、眼鏡の左右の液晶シャッタのオンオフを切り替える。また、画面ＨＧの前面にレンチキュラレンズを適用し、各レンチキュラレンズの背後で左眼用及び右眼用のスリット状の圧縮画像をそれぞれ表示する。３次元インタラクティブテレビ２においては、複数の視聴者ＡＵＤが、それぞれのコントローラＲＣＴによって好みの視点位置の画像を要求することができる。出演者が３人以上であっても同様である。また、出演者と背景画像とを重ねることも可能である。
【００９７】
図２３は本発明に係る任意視点ミラー３のブロック図である。図２３において、任意視点ミラー３では、観察者と被写体とが同一人物である。つまり、人物Ｅが１つのブースＢＴＥに入り、任意の仮想視点から自分の画像を見ることができる。ホスト１１Ｂには、見られる自分と見る自分との位置関係の情報ＤＴＴが保有されている。
【００９８】
上述の実施形態において、被写体のライン状画像ＣＡＬを観察者のいるブースに送り、そこで観察者のための画像を構成して表示するが、これとともに、被写体から発する音声及び被写体の周囲の音声が観察者のブースに送られる。送られた音声は、観察者のブースにおいて立体音響装置により再生される。
【００９９】
上述の実施形態において、カメラＣＭによる被写体の撮像、及びＬＥＤマトリクスＥＸによる観察者への画像の提示は、円周上の全区間でなくてもよい。例えば、人物の前方の１８０度の区間又は１２０度の区間などであってもよい。
【０１００】
上述の実施形態において、ＣＣＤラインセンサＣＬ及びエリアセンサＣＥに代えて、他の撮像デバイスを用いることも可能である。ＬＥＤマトリクスＥＸに代えて、他の表示デバイスを用いることも可能である。その他、ブースＢＴＡ，ＢＴＢの構造、形状、寸法、遠隔会議システム１、３次元インタラクティブテレビ２、任意視点ミラー３の全体又は各部の構成、処理内容、操作内容などは、本発明の主旨に沿って適宜変更することができる。
【０１０１】
【発明の効果】
請求項１乃至請求項７の発明によると、遠隔地に離れている人間同士があたかも一堂に介しているかのようなリアリティを得ることが可能である。
【０１０２】
請求項３の発明によると、被写体からすべての方向に出る光線群を記録することができる。請求項５の発明によると、すべての方向に光線を提示することができる。
【０１０３】
請求項５及び請求項６の発明によると、走査線単位で撮像信号を取り出すことは容易であるので、簡単なハードウエアを用いてリアルタイムで撮像を行うことができる。また、人間の姿は鉛直方向に長いので、ＣＣＤカメラの画面を縦向きに設定することによって、人物像を画角いっぱいに撮影することができる。
【０１０４】
請求項７の発明によると、必要な撮像信号のみが選択されるので、情報量が低減され、撮像信号を遠隔地へリアルタイムで送信することが容易である。
【図面の簡単な説明】
【図１】本発明に係る遠隔会議システムのブロック図である。
【図２】遠隔会議システムによる仮想空間における会議の様子を示す図である。
【図３】ブースの構成を示す図である。
【図４】一般的な３次元空間を説明するための図である。
【図５】２次元平面での１点を通る光線群を説明するための図である。
【図６】２次元平面での１点を通る光線群を説明するための図である。
【図７】ブースにおける撮像の状態を示す図である。
【図８】仮想空間内における人物の位置関係を示す図である。
【図９】撮像時における走査線の選択を説明するための図である。
【図１０】走査線の伸縮について説明するための図である。
【図１１】ブースにおける画像表示の状態を示す図である。
【図１２】左眼用の画像と右眼用の画像を表示する方法の例を示す図である。
【図１３】図１２に示す方法によって画像が見える様子を示す図である。
【図１４】表示時における走査線の選択を説明するための図である。
【図１５】仮想空間内に５人の人物及び２つの仮想物体が配置された状態を示す図である。
【図１６】エリアセンサを用いたカメラにより走査線に対応したライン状の画像を検出する様子を示す図である。
【図１７】遠隔会議システムにおける撮像及び表示の方法を説明するための図である。
【図１８】インタレース表示を行った場合を説明するための図である。
【図１９】遠隔会議システムにおける画像生成を全体的に示す図である。
【図２０】他の実施形態の遠隔会議システムのブロック図である。
【図２１】本発明に係る３次元インタラクティブテレビのブロック図である。
【図２２】３次元インタラクティブテレビの概念を示す図である。
【図２３】本発明に係る任意視点ミラーのブロック図である。
【符号の説明】
１，１ａ遠隔会議システム（画像生成装置）
２３次元インタラクティブテレビ（画像生成装置）
３任意視点ミラー（画像生成装置）
１１ホスト（送信する手段）
１１ａ，１１ｂ位置管理部
１２ａ，１２ｂ選択部（選択手段）
１３ａ，１３ｂ画像構成部（表示手段）
Ａ，Ｂ，Ｃ，Ｄ，Ｅ人物（被写体、観察者）
ＢＴｍブース（撮像手段）
ＢＴｐブース（表示手段）
ＣＭカメラ（撮像手段）
ＣＬＣＣＤラインセンサ（撮像素子）
ＣＥエリアセンサ（撮像素子）
ＳＴｍスリット
ＥＸＬＥＤマトリクス（表示手段、表示素子）
ＳＴｐスリット
ＣＡＬ走査線（ライン状画像）
Ｐ点（仮想視点）

Claims

被写体の各点から射出される光線群のうち、仮想的に設定され且つ位置が任意に設定され得る視点である仮想視点に向かう光線を、前記被写体を囲む仮想的な閉曲面上の複数位置において撮像手段により検出して撮像信号に変換し、
前記撮像信号を、前記仮想視点とは異なる位置に存在する観察者の視点に向けて画像を表示する表示手段に送り、
前記表示手段により、前記観察者の視点に対し前記仮想視点と前記被写体との位置関係に対応した位置に仮想的に配置された被写体の各点から前記観察者の視点に向かって光線が射出されるように、前記撮像信号に基づいて画像を表示する
方法であって、
前記撮像手段は、前記仮想視点に向かう光線をライン状に検出することによって、ライン状の画像を検出するものであり、
前記表示手段は、前記撮像手段で検出されたライン状の画像の中から、観察者の視点に対応した位置及び方向のライン状画像を選択し、送られたライン状画像によって画像の再構成を行うことにより、観察者の左目用画像及び右目用画像を提示するものである
ことを特徴とする仮想空間における画像生成方法。
被写体の各点から射出される光線群のうち、仮想的に設定された視点である仮想視点に向かう光線を、前記被写体を囲む仮想的な閉曲面上の複数位置において検出して撮像信号に変換する撮像手段と、
仮想的に設定された被写体の各点から観察者の視点に向かって光線が射出されるように、前記撮像信号に基づいて前記光線を再生して画像を表示する表示手段と、
前記撮像信号をリアルタイムで前記表示手段に送信する手段とを有しており、
前記撮像手段は、前記仮想視点に向かう光線をライン状に検出することによって、ライン状の画像を検出するものであり、
前記表示手段は、前記撮像手段で検出されたライン状の画像の中から、観察者の視点に対応した位置及び方向のライン状画像を選択し、送られたライン状画像によって画像の再構成を行うことにより、観察者の左目用画像及び右目用画像を提示するものである
ことを特徴とする仮想空間における画像生成装置。
前記撮像手段は、撮像素子と、前記撮像素子の周囲を回転するスリットとを備える、請求項２記載の仮想空間における画像生成装置。
前記表示手段は、表示素子と、前記表示素子の周囲を回転するスリットとを備える、請求項２記載の仮想空間における画像生成装置。
前記撮像手段は、複数の走査線を有するＣＣＤカメラであり、前記走査線が略鉛直方向となるように設置されている、請求項２記載の仮想空間における画像生成装置。
前記撮像手段は、前記撮像信号を走査線単位で前記表示手段に向けて順次転送する、請求項５記載の仮想空間における画像生成装置。
被写体から射出される光線群のうち、仮想的に設定された視点である仮想視点に向かう光線を、前記被写体を囲む仮想的な閉曲面上の複数位置において検出して撮像信号に変換する撮像装置であって、エリアセンサ、及び、前記仮想視点の観察者が視差を感じる方向と直角の方向に前記エリアセンサを走査し、その走査線に対応したライン状の前記光線を検出して前記撮像信号に変換するための走査手段からなる撮像手段と、前記撮像手段を、前記閉曲面上における前記仮想視点の観察者が視差を感じる方向に移動させる移動手段と、
を有し、
さらに、
前記エリアセンサを走査する複数の走査線によって得られる複数のライン状の撮像信号の中から、観察者の視点に対応したライン状の撮像信号を選択する選択部と、
前記選択部から送られたライン状の撮像信号を用いて、観察者に提示するための左目用画像及び右目用画像を構成する画像構成部
とを有する
ことを特徴とする撮像装置。