JP4616543B2 - 多人数共有型表示装置 - Google Patents

Description

本発明は、表示装置に関し、特に複数のユーザがディスプレイ装置を共有することができる表示装置に関する。

コンピュータおよびコンピュータを取り巻く環境は近年急速に発展してきている。そして、そのような発展にともない、コンピュータを用いた技術は一般に広く用いられるようになり、今日、日常生活のあらゆるところにみることができる。
このコンピュータを取り巻く環境の発展の中、仮想現実感（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）に関する技術も急速に発展してきている。コンピュータの高速化は、より高度で複雑な仮想環境をリアルタイムに構築することを可能にした。
現在、この仮想現実感の技術は、さまざまな分野で利用されるようになってきており、仮想世界の中に実現される対象も、宇宙環境、都市、自然環境、工業製品、臓器、小動物、細胞、原子など大規模なものから小規模かつ高精細なものまで多岐にわたっている。さらには、現実に存在し実際目に見えるものだけではなく、温度分布や、気流、電磁場の様子などの、実際には見ることができないものを可視化することにも用いられている。
この仮想現実感を表現するための、３次元画像表示技術も目覚ましい発展を遂げ、博覧会等での施設やアミューズメントにおける利用から、教育・医療分野での応用や各種設計、ＣＡＤ／ＣＡＭ、計測分野の応用に注目されている。

３次元の画像を表示する方式は、立体像を何らかの方法で形成して、それを観察者がそのまま観測する方式と、立体像でなく、右眼用、左眼用の平面像を、画像表示時に右眼用は右眼に、左眼用は左眼でみえるように工夫した両眼視差方式とに大別できる。前者の代表例はホログラフィとインテグラル・ホトグラフィであり、後者の代表例は偏光眼鏡や液晶シャッタを用いた立体映画やレンチキュラを用いた立体テレビなどがある。
立体像を形成する方式は、ホログラフィに代表される様に、フルカラー・高精細・リアルタイムで表示するためには、未だに技術的に未解決の部分が存在する。
左右両眼の視差を利用した方式は、本質的に人間工学に基づいているため、現実感（リアリティ）を高め、没入感、臨場感の優れた立体像が得られる。しかしながら、この方式のみでは、利用者の動作に合わせて、表示される立体の観察する視点を自由に変更することが不可能である。

観察者の視点、位置に応じて、立体像を変化させる方法の一つとして、両眼視差方式において、観察者は頭部（視点）位置を計測する装置（磁気センサ等）を身につけることによって、視点位置に応じた立体映像を観察することができる。しかし、この方式では、実空間内での視点移動を仮想世界に反映できる利用者は、１ディスプレイに対して１人に限られる。複数人でのディスプレイ共有の場合、複数の視点に対して適切な表示方法がない。
この課題に対して、人数分の時分割表示を行う方法（例えば、宮里勉他、電子情報通信学会総合大会、Ａ−１６−２１、１９９７や、特開平１０−２６０３７７号公報参照）と人数分の表示装置を視点位置に対応させて駆動させる方法（例えば、大村克之他、３次元画像コンファレンス、５−７、１９９４参照）がある。しかし、前者は人数が増えると立体視成立の周波数限界を満たさず（フレーム数が減り）、表示周波数が人数に反比例し、フリッカーが生じるという問題がある。後者は、人数分の表示装置が必要であり、大がかりな装置が必要で経済的に問題がある。

このように、従来の画像や映像を立体表示する装置としては、右目のための映像と左目のための映像を時分割で画面に表示し、この切り替えのタイミングに合わせて左目と右目用の窓が開閉する特殊な眼鏡をかけて観察する方法が主に利用されてきた。この場合、観察者は、頭部（視点）位置を計測する装置を身につけることにより、自由な視点位置から画面を介して、その視点位置に応じた歪のない映像を観察することができる。
しかし、複数人で同一の立体映像を歪なく観察しようとすると、複数の視点位置の右目と左目映像を切り替えて表示するため、時分割数が増加してある一人のために画面表示する時間間隔が疎となり、フリッカーを感じる原因となっていた。

本発明の目的は、複数人に対して、実空間での視点移動に適切に対応した表示を行うことを可能にする、多人数共有型表示装置を提供することである。この多人数共有型表示装置を用いて、立体映像を表示することを可能とすることも本発明の目的である。

上記目的を達成するために、本発明は、ディスプレイ装置を複数のユーザで共有する多人数共有型表示装置において、複数ユーザのための複数の映像を画面に表示するディスプレイ装置と、一定距離離れて前記ディスプレイ装置を覆うように設置され、十分大きな穴を有するディスプレイ・マスクと、前記表示装置に対するユーザの実空間の位置を検出する位置センサと、前記１台のディスプレイ装置、前記位置センサとに可動的に結合され、前記位置センサによるユーザの位置に応じて、各ユーザに対応した画像を前記ディスプレイ装置上の、各ユーザが見える領域に表示する処理装置とを備え、前記穴は、各ユーザが、そのユーザに対応する画像を表示している領域を全て見ることができる大きさであることを特徴とする。
提案する多人数共有型表示装置は、穴が空いており、その部分以外はディスプレイ装置を覆い隠すディスプレイ・マスクを用い、実空間内での各ユーザの視点位置に応じてディスプレイ装置上の異なる表示領域を設定することができる。それにより、複数のユーザの視点移動に適切に対応した表示を行うことができる。

ディスプレイ装置上に表示する映像に、立体視のための映像を含むことができる。
このとき、各ユーザは、表示された前記立体視用映像を右目用および左目用に分離するための複数組の眼鏡をかけており、前記ディスプレイ装置に表示する複数の立体視映像は、前記複数の眼鏡により、右目用および左目用に分離可能な画像とすることができる。
そして、前記眼鏡として、右目および左目のシャッタが開閉する眼鏡であり、前記処理装置は、前記眼鏡にも可動的結合されているものを用いることができる。
前記眼鏡と位置センサとを一体として作成することにより、誤差の少ない、ユーザの視点位置を求めることができる。

図１は、本発明の実施形態の構成を示す図である。
図２は、本発明の実施形態による表示例を示す図である。
図３は、実施形態の生成画像例を示す図である。
図４は、視点の計算を行う場合の座標例を示す図である。
図５は、表示面と仮想物体と投影面との関係を示す図である。
図６は、座標軸の取り方を示す図である。
図７は、ユーザの視点位置に対する表示領域を示す図である。
図８は、劇場型表示装置の実施形態を示す図である。
図９は、エンターテイメントに応用した構成を示す図である。
図１０は、情報を表示する例を示す図である。

本発明の実施形態を、図面を参照して詳細に説明する。
まず、本発明の多人数共有型表示装置で３次元画像を表示する例を説明する。
図１（ａ）は、本発明の実施形態である多人数共有型立体表示装置の構成を示す図である。図１（ａ）において、多人数共有型立体表示装置の二人のユーザ１４０，１５０は、それぞれ、液晶シャッタの眼鏡１４２および１５２をかけており、また、位置センサ１４４、１５４を付けている。ユーザは、液晶シャッタを介して、ディスプレイ装置１１０上に表示された画像を見ることになる。液晶シャッタの眼鏡１４２，１５２、位置センサ１４４，１５４、ディスプレイ装置１１０は、処理装置１３０に接続されている。位置センサからの入力により、処理装置１３０は、ディスプレイ上にそれぞれのユーザに対する領域に画像を表示している。

ディスプレイ装置１１０は、図１（ｂ）に示すように、ディスプレイ１１２とその一部分を覆って隠すディスプレイ・マスク１１４で構成されている。ディスプレイ・マスク１１４は、ディスプレイ面１１６から適当な距離だけ離れた位置に設置している。ディスプレイ・マスク１１４には穴１１８が空いており、その部分を通してのみディスプレイ１１２の表示面１１６が見えるようになっている。

このようなディスプレイ・マスク１１４を導入することにより、図２に示すように、利用者の視点位置によって、ディスプレイ面上の見える領域が異なることになる。その結果、利用者ごとに異なった内容を提示することが可能となる。また、この構成では、利用者のインタラクティブな視点移動にも対応することが可能である。利用者の視点位置が移動した場合、その移動に応じて利用者が見える領域も移動する。そこで、その視点位置を位置センサで検出し、その視点位置に適した領域に表示することで、利用者の視点移動にも対応することができる。

さらに、この手法を用いたシステムにおいて、視点位置ごとの表示領域ごとに左右それぞれの視点に対する視差のある画像を提示することで、全ての利用者に対して立体視表示を行うことが可能となる。その結果、同一の仮想空間を全ての利用者に対して立体視表示することによる多人数共有立体仮想空間の実現が可能となる。

視点位置検出のセンサとして、例えば６自由度磁気センサを用いることができる。磁気センサは、ｘ、ｙ、ｚ各方向ごとに発生させている磁束を切ることを検出することで、位置を検出することができる。視線方向は、マスク上の穴の中心を向き、両眼を結ぶ直線は水平面に対して平行であるものとして、視点位置から計算によりリアルタイムに導出することができる。

位置検出センサとして、上述の磁界を用いる磁気センサ以外にも、公知である電界、電磁界、超音波等を用いるセンサを使用することができる。また、位置検出センサは、液晶シャッタの眼鏡と一体のものとして、作成することができる。
処理装置１３０は、導出された左右それぞれの視点に対する画像を投影し、ディスプレイ１１２上に、液晶シャッタに同期して時分割で交互に表示することで実現する。実際には、図３（ａ）（ｂ）に示すように、左右それぞれの視点に対する画像を全画面のうちの上下半分ずつに出力し、システムによりその上下半分ずつを切り替えて拡大表示している。これにより、例えば表示周波数１２０Ｈｚを６０Ｈｚに時分割して左右の画像を表示することができる。液晶シャッタは、画像のリフレッシュ・レートと同期して左右両眼の可視、不可視を切り替えている。液晶シャッタ眼鏡を通してディスプレイ１１２を見ることで、左右それぞれの視点に適切に対応した画像を得ることができ、立体的に見えることになる。

上述では、上下半分ずつ出力しているが、どのように分割して表示するか、また、分割せずに表示するか、インターレースして表示するか等は、自由に設定することができる。また、ディスプレイ装置として、通常の発光面を直接見るもの以外に、投影型のものを使用してもよい。

＜視点位置＞
次に、立体視表示を行うために、位置センサにより得られた視点位置を両眼の中心とし、計算により導出された視線方向、姿勢角をもとに左右両眼の位置を導出することを、図４を用いて説明する。図４に示すように、ユーザの両眼の中心位置、両眼の中心から左右それぞれの目までの距離、視線の正面方向からの回転角度、ならびに左右それぞれの目の位置を次のように定義する。

上記（１）のように定義すると、左右の視点位置は以下の式（２）のように導出される。

この場合、位置センサが液晶シャッタを組み込んだ眼鏡と一体のものとして作成されていると、特に誤差が少なく、位置センサからの位置情報から上述のように視点位置を計算することができる。

＜投影面の設定＞
視点位置の移動を考えた場合、視点とディスプレイ面の位置関係に対応した適切な投影面の設定が必要となる。その投影面を適切に設定する最も基本的な方法として、投影面（projection surface）をディスプレイ面（display surface）と一致させるという方法がある。この方法では、表示面の実世界内での絶対位置が不変の場合、投影面の仮想世界内での絶対位置も不変となり、投影面の絶対位置の補正を考慮する必要がなく、視点との相対位置のみを考慮すればよいことになる。
また、仮想物体が存在すると想定される位置が、実空間内でディスプレイ面に対して視点の反対側にある場合、つまり、ディスプレイ面を窓として、その窓から仮想世界を覗いているような場合は、先に述べたように単純にディスプレイ面と一致するように投影面を設定すればよい。

しかし、一般に、仮想世界を描画するシステムにおいては、視点にとって投影面の手前の仮想世界は描画されないため、利用者にとってディスプレイ面の手前側に仮想物体が存在するような場合は、ディスプレイ面と一致するように投影面を設定することは適切ではない。
そこで、実施形態のシステムでは、図５（ａ）に示すように、ディスプレイ面１１６の４頂点それぞれと視点を結ぶ４直線と、ディスプレイ面１１６に平行な仮想物体５２０を奥にとらえる平面との交点を４頂点とする長方形を投影面５１０とし、投影された画像をディスプレイ面１１６に拡大表示することで、適切な画像の提示を実現している。なお、このような方法を用いた場合、投影面５１０の絶対位置自体が変化するため、視点位置の変化に対応してそのつど投影面５１０の絶対位置を導出する必要がある。
図５（ｂ）は、図５（ａ）のように投影面、ディスプレイ面および仮想物体の関係を想定した場合の表示画面例を示す。図５（ａ）のような関係を想定すると、現実世界のディスプレイ面１１６に表示されるのは拡大された画像である。

このように、実施形態のシステムでは、ディスプレイ面と投影面との関係は、自由に設定することが可能である。これにより、現実にあるディスプレイ面に限定されることなく、投影面を設定して、仮想物体を表示することが可能となる。

＜表示領域の導出と表示＞
利用者の視点位置に対応した表示領域を導出し、その領域内に描画を行う。この際、ディスプレイ・マスク１１４上の穴１１８が円形の場合、利用者視点の位置に対応した表示領域も円形となり、その中心の位置は次の２つのパラメータにより決定される。
・ディスプレイ座標系での視点の位置
・マスクとディスプレイ面との距離
なお、本実施形態のシステムでは、マスク１１４とディスプレイ面１１６との距離は一定である。

ディスプレイ面１１６の中心を原点として、図６に示すようにディスプレイ面１１６の中心に原点を有する座標系を設定し、その座標系での視点位置、マスクとディスプレイ面との距離および表示領域の中心の位置を以下のように定義する。

上記の定義に基づき、図７（ａ）に示すように、表示領域２４２の中心位置は以下の関係式から導出される。

また、円形である表示領域２４２の大きさを決定する半径は、図７（ｂ）に示すように、以下の３つのパラメータから導出される。
・視点のディスプレイ面からの距離
・マスクとディスプレイ面との距離
・マスク上の穴の半径
ここで、マスク１１４上の穴１１８の半径、表示領域２４２の半径をそれぞれ次のように定義する。

この場合、表示領域半径ｒ_ｄｒａｗ は以下の式であらわされる。

以上のように表示領域の処理を行うことにより、ユーザの位置に応じて動的に導出された表示領域２４２に対して、ユーザごとの画像の表示を行うことができる。

＜表示領域の重なり検出＞
利用者が複数人であるので、上で述べた処理により導出した表示領域同士の重なりを検出することが必要となる。この際、表示領域が円形の場合、中心間距離と半径の和の関係から領域の重なりを検出することができる。実施形態のシステムでは、重なりを検出した場合、例えば、表示領域の境界線を描画することで、利用者に表示額域の重なりを知らせている。
実施形態のシステムでは、例えば、ディスプレイは幅１３６０ｍｍ、高さ１０２０ｍｍの長方形であり、ディスプレイ面の床面からの高さは１０００ｍｍである。ディスプレイ・マスクとディスプレイ面との距離は１５０ｍｍであり、マスクホールの半径は２００ｍｍである。

＜他の実施形態＞
上述の実施形態のシステムでは、ディスプレイ面を水平に置いた例で説明しているが、ディスプレイ面を垂直、又は傾斜をもつようにおいてもよいことは当然である。ディスプレイを投影型とすると、大きい画面のディスプレイを実現することが可能である。また、大きなディスプレイを構成するために、複数のディスプレイを組み合わせて用いてもよい。
図８は、多人数で用いることができる劇場型の多人数共有型立体表示装置を示す。図８に示した劇場型の多人数共有型立体表示装置において、例えば、幅２５ｍ，高さ１８ｍ、ディスプレイ・マスクとディスプレイ面との距離は６ｍ、ディスプレイ・マスクのマスクホールの半径は０．５ｍとすると、最大４８人が同時に、それぞれの映像を見ることができる。

ディスプレイ・マスク上の穴も円形とする必要はなく、例えば正方形等でもよい。
ディスプレイ・マスクを液晶で構成すると、液晶を透過、不透過とすることにより、ディスプレイ・マスクの穴の半径，形状、場所を制御することができる。
また、ディスプレイ・マスクの穴の半径等を制御するために、例えば、絞り機構等のメカニカル機構を用いることもできる。
上述の多人数共有型立体表示装置では、シャッタ付き眼鏡を用いており、シャッタの開閉に同期して、左右の視線に対応した画像を表示して立体視を得ているが、立体視を得るための方式として、本発明はこれに限るものではない。眼鏡をかけるものとしては、例えば、偏光や色によるフィルタを用いて、左右の視線に対応する画像を分離してもよい。
また、眼鏡を用いずに、立体表示できる例として、例えば、特開２００１−１３４５７号公報に記載の表示装置がある。

これらの多人数共有型立体表示装置は、例えば、エンターテイメントに用いることができる。このエンターテイメントに応用した構成例として、図９に示す。
図９（ａ）では、カート４２１，４２２，４２３に乗って動く観客が、ディスプレイ・マスク４１４の穴４１８を介してディスプレイ４１６を見ている。図９（ｂ）は、多数の観客が、中央ステージの周りを移動しながら、ディスプレイ５１６に表示された立体画像をディスプレイ・マスク５１４の穴５１８から見ることができる構成を示している。
ディスプレイ・ホールで、各人ごとの画像を区別してディスプレイ面に表示できることを用いると、立体視のための映像だけではなく、各人個別の情報を表示することもできる。この構成例を図１０に示す。この構成は、図１０に示すように、基本的には、図１に示されている多人数共有型表示装置と同様の構成である。この構成において、観察者には位置検出センサ１６２，１６４，１６６が取り付けられており、処理装置１３０により、各観察者の位置が検出されている。処理装置１３０は、検出した位置により、各観察者の表示領域２２４，２２６，２２８に、各人に対応した表示を行うことができる。
本発明の多人数共有型表示装置では、多人数に対して視点移動に対応した表示を適切に行うことができる。

この多人数共有型表示装置では、実世界での視点−表示面の相対位置の変化に対応して、仮想世界での視点−投影面の相対位置を適切に補正している。さらに、本発明では、例えば、単一の固定ディスプレイで、複数の移動する利用者に対して、フリッカーがなくしかも空間的な歪がない立体視画像を提示できる。また、利用者が適切な画像を得ることができるような視点の移動領域についても詳しく説明した。
本発明は、スタンド・アローンのコンピュータ・システムばかりではなく、複数のシステムから構成される例えばクライアント・サーバ・システム等に適用してもよい。
本発明に関するプログラムを格納した記憶媒体から、プログラムをシステムで読み出して実行することにより、本発明の構成を実現することができる。この記録媒体には、フロッピー（登録商標）・ディスク、ＣＤ−ＲＯＭ、磁気テープ、ＲＯＭカセット等がある。

本発明の表示装置では、個々の観察者位置に応じて画面上に描画された映像を、画面上の適当な距離に適当な大きさで開かれた穴を介して観察している。このため、複数人個々の視点位置に応じた映像を観察することができる。
このような多人数共有型表示装置に関する技術は、例えば、立体映像を表示する装置として、幅広く産業応用が可能である。

Claims (5)

1. ディスプレイ装置を複数のユーザで共有する多人数共有型表示装置において、
   複数ユーザのための複数の映像を画面に表示するディスプレイ装置と、
   一定距離離れて前記ディスプレイ装置を覆うように設置され、十分大きな穴を有するディスプレイ・マスクと、
   前記表示装置に対するユーザの実空間の位置を検出する位置センサと、
   前記１台のディスプレイ装置、前記位置センサとに可動的に結合され、前記位置センサによるユーザの位置に応じて、各ユーザに対応した画像を前記ディスプレイ装置上の、各ユーザが見える領域に表示する処理装置とを備え、
   前記穴は、各ユーザが、そのユーザに対応する画像を表示している領域を見ることができる大きさであることを特徴とする多人数共有型表示装置。
2. 請求項１記載の多人数共有型表示装置において、ディスプレイ装置上に表示する映像に、立体視のための映像を含むことを特徴とする多人数共有型表示装置。
3. 請求項２記載の多人数共有型表示装置において、
   各ユーザは、表示された前記立体視用映像を右目用および左目用に分離するための複数組の眼鏡をかけており、
   前記ディスプレイ装置に表示する複数の立体視映像は、前記複数の眼鏡により、右目用および左目用に分離可能な画像である
   ことを特徴とする多人数共有型表示装置。
4. 請求項３記載の多人数共有型表示装置において、
   前記眼鏡は、右目および左目のシャッタが開閉する眼鏡であり、
   前記処理装置は、前記眼鏡にも可動的結合されていることを特徴とする多人数共有型表示装置。
5. 請求項３又は４記載の多人数共有型表示装置において、
   前記眼鏡と位置センサとが一体として作成されていることを特徴とする多人数共有型表示装置。

Images