JP2004258123A - 表示制御方法、及び表示制御装置 - Google Patents
表示制御方法、及び表示制御装置 Download PDFInfo
- Publication number
- JP2004258123A JP2004258123A JP2003046229A JP2003046229A JP2004258123A JP 2004258123 A JP2004258123 A JP 2004258123A JP 2003046229 A JP2003046229 A JP 2003046229A JP 2003046229 A JP2003046229 A JP 2003046229A JP 2004258123 A JP2004258123 A JP 2004258123A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display device
- hmd
- head
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】HMD107に対して出力する画像を表示装置110に対しても出力する場合、視点位置姿勢検出部112はHMD107の位置姿勢を求め、使用状態判定部113は求めた位置姿勢に基づいてHMD107が使用されているか否かを判断し、表示制御部114はこの判断結果に応じて表示装置110に出力する画像を切り替える。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、頭部装着型表示装置に対して出力する画像を、頭部装着型表示装置を装着するユーザ以外に対して設けられた表示装置に対しても出力する表示制御を行う技術に関するものである。
【0002】
【従来の技術】
従来より、現実空間の画像に三次元モデリングされたCG(ComputerGraphics)による画像を重畳した画像を生成し、観察者に提示することで、この観察者にあたかも現実空間中にCGで表現された物体(仮想物体)が存在しているかのように見せることができる複合現実感提示装置が存在する。
【0003】
これは、現実空間の画像を撮像するための現実空間撮像手段(たとえばビデオカメラ)と、仮想空間において現実空間撮像手段の視点の位置から見たCGを生成するCG生成手段と、両者を合成して表示することのできる表示手段(たとえばHMD(ヘッドマウントディスプレイ)またはモニタ)からなる装置である。
【0004】
ここで、現実空間撮像手段の位置が変わった場合であっても仮想物体と現実空間画像との位置関係は正しくなるようになっており、上記複合現実感提示装置は現実空間撮像手段(ビデオカメラ)の視点の位置姿勢を検出するための、視点位置姿勢検出手段(たとえば位置姿勢センサ)を備えている。
【0005】
CG生成手段は、仮想物体を現実空間と同じスケールの仮想空間に置き、視点位置姿勢検出手段によって検出された視点の位置姿勢から観察された仮想物体の画像をレンダリングする。このようにして生成された仮想空間画像と現実空間画像とを重畳すると、結果として、現実空間撮像手段がどの位置姿勢から観察した場合でも、現実空間の中に正しく仮想物体が置かれているような画像を表示ことができる。
【0006】
上記現実空間撮像手段は、たとえばビデオカメラであり、カメラの視線方向の現実空間を撮影し、撮像した画像をカメラの、もしくは接続されたコンピュータのメモリ中にキャプチャする手段である。
【0007】
現実空間画像と仮想空間画像とを合成して表示する表示装置としては、たとえばHMD(ヘッドマウントディスプレイ)が用いられる。通常のモニタでなくHMD、更に上記ビデオカメラをHMDの視線方向に装着することで、観察者が向いている方向の現実空間の画像をHMDが有する表示画面上に表示させることができると共に、その方向に応じた仮想空間の画像も重畳させて表示させることができるので、HMDを装着した観察者の没入感を高めることができる。
【0008】
位置姿勢検出手段としては磁気方式による位置姿勢センサなどが用いられ、これを上記ビデオカメラ(またはビデオカメラが取り付けられているHMD)に取り付ることによって、ビデオカメラの位置姿勢を検出することができる。磁気方式の位置姿勢センサとは、磁気発生装置(発信機)と磁気センサ(受信機)との間の相対位置・姿勢を検出するものであり、米国ポヒマス(Polhemus)社の製品FASTRAKなどがあげられる。これは特定の領域内で、センサの3次元位置(X,Y,Z)と姿勢(Roll,Pitch,Yaw)をリアルタイムに検出する装置である。
【0009】
上記の構成により、観察者はHMDを介して現実空間画像と仮想空間画像とが重畳された画像による世界を観察することができるようになる。観察者が周囲を見回すと、HMDに備え付けられた現実映像撮影装置(ビデオカメラ)は観察者の頭部の向いている方向の現実空間を撮像し、HMDに備え付けられた位置姿勢検出手段(位置姿勢センサ)はビデオカメラの位置姿勢を検出し、これに応じてCG生成手段はこの位置、姿勢から仮想空間を見た場合の画像を生成し、これを撮像した現実空間画像に重畳して表示する。
【0010】
また、観察者を複数設けることも可能である。その場合、現実空間を撮影するビデオカメラと表示装置(HMDなど)、位置姿勢センサを観察者の数だけ用意し、夫々の観察者の視点位置姿勢に応じた現実空間画像と仮想空間画像との合成画像を生成し、夫々の観察者に対して提示すればよい。
【0011】
さらに、実際にHMDを装着して複合現実空間を体験している体験者以外にも観衆がいる場合、体験者が見ている映像と同じ映像(体験者の視点から見た映像)を、観衆用の映像表示装置(ディスプレイ)に表示することがある。この場合は、観察者のHMDの映像表示部に表示される画像と同じ画像を観衆用のディスプレイに表示するという構成をとればよい。このようにすると、実際にHMDを装着していなくとも、体験者がどのような映像体験をしているのかを複数の観衆に同時に理解させることができる。
【0012】
このように従来から、複数の体験者で複合現実空間を共有するシステムがあった(例えば、特許文献1を参照)。
【0013】
【特許文献1】
特開2002−271817号公報
【0014】
【発明が解決しようとする課題】
従来のシステムでは、体験者が上記複合現実空間を体験し終わった後にHMDを置き台などに戻した際もHMDに取り付けられているビデオカメラは意味のない映像を撮影しつづけるため、観衆用映像表示装置にも無意味な(観衆にとって興味のない)映像が表示されてしまい、展示の効果が薄れてしまう、といった問題があった。また、上記複数の体験者で複合現実空間を共有するシステムには”観衆用の映像表示装置”は備わっていなかった。
【0015】
本発明は以上の問題に鑑みてなされたものであり、HMDが使用されているか否かに応じて、観衆用の表示装置に表示させる画像を切り替える技術を提供することを目的とする。
【0016】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の表示制御方法は以下の構成を備える。
【0017】
すなわち、頭部装着型表示装置に対して出力する画像を、当該頭部装着型表示装置を装着するユーザ以外に対して設けられた表示装置に対しても出力する表示制御を行う表示制御装置が行う表示制御方法であって、
前記頭部装着型表示装置の位置姿勢を計測する計測工程と、
前記計測工程で得られる前記頭部装着型表示装置の位置姿勢情報に基づいて、前記頭部装着型表示装置が使用されているか否かを判断する判断工程と、
前記判断工程での判断結果に応じて前記表示装置に出力する画像を切り替える表示切り替え工程と
を備えることを特徴とする。
【0018】
本発明の目的を達成するために、例えば本発明の表示制御装置は以下の構成を備える。
【0019】
すなわち、頭部装着型表示装置に対して出力する画像を、当該頭部装着型表示装置を装着するユーザ以外に対して設けられた表示装置に対しても出力する表示制御を行う表示制御装置であって、
前記頭部装着型表示装置の位置姿勢を計測する計測手段と、
前記計測手段により得られる前記頭部装着型表示装置の位置姿勢情報に基づいて、前記頭部装着型表示装置が使用されているか否かを判断する判断手段と、
前記判断手段の判断結果に応じて前記表示装置に出力する画像を切り替える表示切り替え手段と
を備えることを特徴とする。
【0020】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【0021】
図1は、本実施形態に係るシステムの基本構成を示す図である。本実施形態に係るシステムは、HMDが有する表示部、及びHMDを装着していない観衆に対して設けられた表示装置に対して複合現実空間画像(現実空間画像上に仮想空間画像が重畳された画像)を出力するが、HMDの使用の有無に応じて、表示装置に表示する表示内容を切り替える処理を行う。まず、同図を用いて、本実施形態に係るシステムの構成について説明する。
【0022】
同図において180はコンピュータで、一般にはPC(パーソナルコンピュータ)やワークステーションなどに代表されるものである。コンピュータ180は、CPU101、第1のメモリ103,第2のメモリ104、I/F150,151,153,HDD(ハードディスクドライブ)152,そしてこれらを繋ぐバス102により構成されている。
【0023】
CPU101はコンピュータ180全体の制御を行うと共に、I/F150,151,153を介してのデータ通信を制御したり、後述の各処理を制御したりする。
【0024】
第1のメモリ103は後述の各処理を行うためのプログラムをHDD152からロードして一時的に記憶する為のメモリである。このプログラムは、撮像部110、仮想空間画像生成部111、視点位置姿勢検出部112、使用状態判定部113の各部により構成されており、CPU101が各部に対応するプログラムを実行することで、その機能を実現する。なお、各部についての詳細は後述する。またこのプログラムはこの4つの各部をすべて含むものであっても良いし、各部をいくつかのプログラムにより表現させても良い。
【0025】
第2のメモリ104は画像メモリ120、視点位置姿勢データメモリ121を備えると共に、以下説明する各処理において一時的に記憶するデータを保持する為のメモリである。
【0026】
なお同図ではプログラムを記憶するためのメモリとデータを記憶するためのメモリは別個のメモリとしているが、これに限定されるものではなく、同一メモリ上に夫々のプログラム、データを記憶させても良い。
【0027】
I/F150は分配器109をコンピュータ180に接続するためのもので、コンピュータ180が生成した複合現実空間画像はこのI/F150を介して分配器109に出力される。
【0028】
I/F151はセンサ本体105をコンピュータ180に接続するためのもので、センサ本体105により得られるセンサ106の位置姿勢を示す信号はこのI/F151を介してコンピュータ180に入力される。
【0029】
I/F153はHMD107に備わっている撮像装置108をコンピュータ180に接続するためのもので、撮像装置108により得られた現実空間の画像はこのI/F152を介してコンピュータ180に入力される。
【0030】
HDD152は後述する各データを保存していると共に、第1のメモリ103にロードされるプログラムを保存している。そして必要に応じてプログラムは第1のメモリ103に、データは第2のメモリに夫々ロードされる。
【0031】
なお、プログラム、データのロード形態はこれに限定されるものではなく、コンピュータ180をインターネットやLANなどのネットワークに接続し、ネットワーク上の装置からダウンロードするようにしても良いし、CD−ROMやDVD−ROMなどの記憶媒体からロードするようにしても良い。
【0032】
分配器109は、コンピュータ180が生成した複合現実空間画像をHMD107、観衆用表示装置110とに出力するためのものである。観衆用表示装置110は、HMDを装着していない観衆に対して設けられたものであって、ここにHMD107の表示部(不図示)に表示される画像と同じ画像を表示することで、観衆はHMD107を装着している観察者が見ている複合現実空間画像と同じものを見ることができ、観察者と同様に複合現実空間を体感することができる。
【0033】
107はHMDで、不図示の表示部を有しており、ここにHMD107に備え付けられた撮像装置108が撮像した現実空間の画像に仮想空間の画像が重畳された複合現実空間画像が表示される。この複合現実空間画像はコンピュータ180により生成され、分配器109を介してHMD107の不図示の表示部に出力されるものである。
【0034】
また、HMD107には撮像装置108に加えてセンサ106(例えば磁気センサ等)が備え付けられている。センサ106はセンサ本体105に接続されており、周知の技術でもってセンサ106、センサ本体105によってセンサ106の位置姿勢を示す信号がセンサ本体105から出力される。
【0035】
以上の構成を備えるシステムが行う上記表示切り替え処理について、同処理のフローチャートを示す図2を参照して説明する。なお、同図のフローチャートに従ったプログラムは第1のメモリ103に格納された各部により構成されたプログラムであって、このプログラムをCPU101が実行することで、コンピュータ180は図2に示したフローチャートに従った処理を実現することができる。
【0036】
まず、撮像装置108により撮像された現実空間の画像はI/F153を介してコンピュータ180に入力されるので、撮像部110は入力された現実空間の画像を第2のメモリ104の画像メモリ120に記録する(ステップS200)。撮像装置108は常に現実空間を撮像しているので、撮像部110は画像メモリ120に逐次現実空間の画像を記録する処理を行う。なお本ステップにおける処理は以下の各ステップによる処理と平行に並列処理によって行っても良い。
次に、視点位置姿勢検出部112はセンサ本体105から入力されたセンサ106の位置姿勢を示す信号に基づいてHMD107(視点)の位置姿勢を求め、求めた位置姿勢のデータを第2のメモリ104中の視点位置姿勢データメモリ121に書き込む(ステップS201)。
【0037】
ここで、センサ本体105から入力される信号は「センサ106の位置姿勢」を示すものであるので、予め「HMD107(視点)」とセンサ106との位置関係を求めておき、第2のメモリ104に保持しておく。よってこの位置関係を用いることで、センサ本体105から入力された信号に基づいて視点の位置姿勢を求めることができる。以下ではこの視点の位置姿勢を「HMD107の位置姿勢」とする。
【0038】
またここで位置姿勢のデータとは、位置(x、y、z)と姿勢(roll,pitch,yaw)を示す為の6つのパラメータのデータである。
【0039】
次に、使用状態判定部113は、HMD107が観察者に使用されているか否かを判断する(ステップS202)。この使用の有無の判定については詳しくは後述する。
【0040】
使用状態判定部113が「HMD107は使用中である」と判定した場合、本システムは通常通り、HMD107と表示装置110とに複合現実空間画像を表示させるための処理を行うので、まず仮想空間画像生成部111は、視点位置姿勢データメモリ121に書き込まれた「HMD107の位置姿勢データ」を用いて、この位置姿勢における視点から見た仮想空間の画像を生成する(ステップS203)。仮想空間のデータはHDD152内に仮想空間データ131として保存されているので、必要に応じて第2のメモリ104内の空きエリアにロードして用いる。
【0041】
なお仮想空間は予め設定された有限のサイズの空間であるので、仮想空間データは当然この有限空間内における仮想物体や壁、床などのオブジェクトの仮想データの幾何学形状やテクスチャ、配置位置などのデータである。
任意の位置姿勢における視点から見た仮想空間の画像の生成処理については周知の技術であるので、その説明は省略する。
【0042】
これにより、HMD107の位置姿勢に応じた仮想空間画像を生成することができる。なお、生成する仮想空間画像は画像メモリ120に記録される。これにより、先に画像メモリ120上に記憶された現実空間画像上に仮想空間画像が重畳されることになるので、結果として画像メモリ120上には複合現実空間画像が生成されている。そして生成された複合現実空間画像はCPU101がI/F150、分配器109を介してHMD107、表示装置110とに出力する。その結果、複合現実空間画像はHMD107の不図示の表示部と表示装置110とに表示される(ステップS205)。
【0043】
一方、使用状態判定部113が「HMD107は使用されていない」と判定した場合、本システムは、表示装置110に表示する画像を切り替える必要がある(表示装置110に表示される画像はHMD107の不図示の表示部にも表示されるので、結果としてHMD107の不図示の表示部に表示される画像も切り替わることになる)。これは例えば、観察者がHMD107を頭部からはずして所定の場所に置いた場合(即ちHMD107を使用しなくなった場合)、表示装置110の表示画面上には床の画像や、仮想空間として設定された空間外の画像(すなわち複合現実空間を体感するための空間外の画像)等、複合現実空間を体感するための画像以外が表示装置110にも出力されてしまう。よって本実施形態ではHMD107が使用されていないと判断された場合には、他の画像(代替画像)を表示する。即ち表示する画像を複合現実空間画像から代替画像に切り替える。
【0044】
この代替画像としては、例えばHMD107を使用していたときに過去に生成した複合現実空間画像であっても良いし、展示物の紹介画像やロゴマークの画像、次の観察者に対する文章画像であっても良い。例えば代替画像として、HMD107を使用していたときに過去に生成した複合現実空間画像を用いる場合、コンピュータ180は生成した複合現実空間画像を任意の期間だけHDD152に保存しておき、それを代替画像(この場合動画像)として表示装置110の表示画面上に再生する。
【0045】
HDD152には代替画像データ123が保存されており、代替画像データ123が代替画像そのものを表している場合には仮想空間画像生成部111はこの代替画像データ123を画像メモリ120上に出力する処理を行う(ステップS206)。また、代替画像を代替画像データ123に基づいて生成する様な場合(例えば代替画像データ123が3次元画像の幾何学形状やテクスチャなどのデータである場合)、これに基づいて代替画像を生成し、画像メモリ120上に記録する(ステップS206)。
【0046】
そして画像メモリ120上に記録された代替画像はCPU101がI/F150、分配器109を介してHMD107、表示装置110とに出力する。その結果、代替画像はHMD107の不図示の表示部と表示装置110とに表示される(ステップS205)。
【0047】
以上の処理は、処理を終える指示がコンピュータ180に入力されるまで行われる(ステップS208)。
【0048】
図3は、ステップS202において、使用状態判定部113がHMD107の使用の有無を判定する処理の詳細を示すフローチャートである。HMD107が使用されていないとき、本実施形態ではHMD107を所定の位置に置くものとする。そして更に、本実施形態ではHMD107を所定の位置に置くと、その位置、姿勢はある範囲でほぼ同じになるものとする(例えばHMD107を所定の位置に固定されているフックに何度引っかけても、HMD107の位置、姿勢は毎回ほぼ同じとなる)。
【0049】
よってこの場合、HMD107を置く位置、姿勢には予め許容範囲を設けておき、この許容範囲を示すデータを未使用時視点位置姿勢データ125としてHDD152に保存させておく。そして必要に応じて第2のメモリ104の空きエリアにロードし、使用状態判定部113はこの未使用時視点位置姿勢データ125を用いて、視点位置姿勢検出部112が検出した視点位置、姿勢(センサ本体105から出力された信号に基づいた位置姿勢でも良い)が、この許容範囲内にあるか否かを判断する。
【0050】
これにより、使用状態判定部113はHMD107が使用されているか否かを、HMD107が所定の位置、姿勢にあるかを判定することで判定することができる。
【0051】
よって使用状態判定部113は、視点位置姿勢検出部112が求め、視点位置姿勢データメモリ121に記録した位置姿勢データ((x、y、z)のデータ、(roll,pitch,yaw)のデータ)を参照し、xがx1<x<x2であるか(ステップS301)、yがy1<y<y2であるか(ステップS302)、zがz1<z<z2であるか(ステップS303)、rollがroll1<roll<roll2であるか(ステップS304)、pitchがpitch1<pitch<pitch2であるか(ステップS305)、yawがyaw1<yaw<yaw2であるか(ステップS306)を判定する(なお、x1,y1,z1,roll1、pitch1,yaw1は夫々、許容範囲の下限、x2,y2,z2,roll2、pitch2,yaw2は夫々、許容範囲の上限を示しており、この上限、下限を示すデータが上記未使用時視点位置姿勢データ125である)。
【0052】
以上の各ステップにおける判定の結果、全てyesである、すなわち、HMD107の位置、姿勢が共に「HMD107が使用されていないときの位置、姿勢の許容範囲内」である場合、使用状態判定部113は「HMD107は使用されていない」と判定し(ステップS307)、以上の各ステップにおける判定の結果のうち1つでもNoである場合、使用状態判定部113は「HMD107は使用されている」と判定する(ステップS308)。
【0053】
以上の処理によって、表示装置110にはHMD107が使用されている場合にはHMD107に出力されている複合現実空間画像を、HMD107が使用されていない場合には上記代替画像を表示することができるので、例えばHMD107を介して見える複合現実空間画像を表示装置110を用いて一般に展示する場合、その展示効果が従来のように薄れてしまうことは無くなる。
【0054】
なお、本実施形態ではHMD107の使用の有無を、HMD107の位置姿勢が未使用時の位置姿勢の許容囲内であるか否かを判断することで行っていたが、これは他の方法によっても実現可能である。たとえば、HMD107に電源スイッチを取り付け、このスイッチがオンの時が使用時、OFFの時が未使用時であると判断しても良い。
【0055】
また、HMD107を置く場所にスイッチを設け、HMD107をこの場所に置いたときにスイッチがオンになるようにしても良い。その場合の判定方法は上述の通りである。
【0056】
また、本実施形態によるHMD107の使用の有無の判定方法に加えて、視点位置姿勢検出部112が求めるHMD107の位置姿勢の変化を求め、HMD107の位置姿勢が未使用時の位置姿勢の許容囲内であって且つ求めた変化の値が一定値以下である場合にHMD107が未使用であると判定しても良い。
【0057】
また本実施形態ではコンピュータ180が生成した画像をHMD107と表示装置110に出力するために分配器109を用いたが、夫々の装置に直接画像を出力しても良い。
【0058】
図4(a)はHMD107の使用時における様子、図4(b)はHMD107の未使用時における様子を示す模式図である。なお夫々の図においてコンピュータ180は省略している。
【0059】
図4(a)において401は現実物体としてのテーブルで、頭部にHMD107を装着した観察者400はこのテーブル401を見ているとする。その場合、表示装置110の表示画面上には「HMD107の位置姿勢に応じた仮想物体の画像(仮想空間画像)402」と「HMD107の位置姿勢に応じた現実空間画像としてのテーブル401の画像403」が重畳された複合現実空間画像が表示されている。また同図において404はHMD107を使用しない場合にHMD107を掛けるためのハンガーである。
【0060】
そして図4(b)は上述の通りHMD107が使用されていない場合の様子を示しているのであるが、HMD107がハンガー404に掛けられると、上述の処理により表示装置110の表示画面には代替画像が表示される。同図では代替画像は、「MR」という文字のロゴマークの画像405と次にHMD107を装着する観察者のためのメッセージ画像406とが並べられた画像である。
【0061】
なお、同図の場合、HMD107が未使用であるとは、例えば、HMDの位置(x,y,z)がハンガー404の位置の近傍であり、かつ、HMD107の姿勢(roll、pitch,yaw)がほぼ真下を向いているような姿勢である場合である。よってこのようなHMD107の位置姿勢の許容範囲を未使用時視点位置姿勢データ125としてHMD107に保存させておき、必要に応じて第2のメモリ104の空きエリアにロードさせ、用いればよい。また、このような未使用であると判定するための条件はHMDの置き台の作り方に応じて定めればよい。
【0062】
従来、HMD107が未使用の場合に図4(b)の用にHMD107をハンガー404にかけると、HMD107の表示画面にはHMD107目前、すなわち地面の画像が表示され、同様に、表示装置110の表示画面上にも地面の画像が表示されるだけであった。しかし、同図のようにすれば、表示装置110の表示画面上にはロゴマークの画像と次にHMD107を装着する観察者のためのメッセージ画像とが表示されることになるので、地面を撮影した映像は表示されていない。
【0063】
また本実施形態ではHMD107としてビデオシースルー方式のものを用いたが、これに限定されるものではなく、光学シースルー方式のものであっても良い。
【0064】
[その他の実施形態]
尚、本実施形態は、複数の機器(例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置等)に適用してもよい。
【0065】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本実施形態を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0066】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0067】
本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートや機能構成に対応するプログラムコードが格納されることになる。
【0068】
【発明の効果】
以上の説明により、本発明によって、HMDが使用されているか否かに応じて、観衆用の表示装置に表示させる画像を切り替えることができる。
【図面の簡単な説明】
【図1】本発明の実施形態に係るシステムの基本構成を示す図である。
【図2】本発明の実施形態に係るシステムが行う表示切り替え処理のフローチャートである。
【図3】ステップS202において、使用状態判定部113がHMD107の使用の有無を判定する処理の詳細を示すフローチャートである。
【図4】(a)はHMD107の使用時における様子、(b)はHMD107の未使用時における様子を示す模式図である。
Claims (7)
- 頭部装着型表示装置に対して出力する画像を、当該頭部装着型表示装置を装着するユーザ以外に対して設けられた表示装置に対しても出力する表示制御を行う表示制御装置が行う表示制御方法であって、
前記頭部装着型表示装置の位置姿勢を計測する計測工程と、
前記計測工程で得られる前記頭部装着型表示装置の位置姿勢情報に基づいて、前記頭部装着型表示装置が使用されているか否かを判断する判断工程と、
前記判断工程での判断結果に応じて前記表示装置に出力する画像を切り替える表示切り替え工程と
を備えることを特徴とする表示制御方法。 - 前記判断工程では、前記頭部装着型表示装置の位置姿勢が、前記頭部装着型表示装置が使用されていない場合の位置の許容範囲内、姿勢の許容範囲内であるか否かを判断し、共に許容範囲内である場合に、前記頭部装着型表示装置は使用されていないと判断することを特徴とする請求項1に記載の表示制御方法。
- 前記表示切り替え工程では、前記頭部装着型表示装置が使用されていないと判断された場合、従前に表示されていた画像を使用されていない旨を示す画像に切り替えて表示することを特徴とする請求項1に記載の表示制御方法。
- 頭部装着型表示装置に対して出力する画像を、当該頭部装着型表示装置を装着するユーザ以外に対して設けられた表示装置に対しても出力する表示制御を行う表示制御装置であって、
前記頭部装着型表示装置の位置姿勢を計測する計測手段と、
前記計測手段により得られる前記頭部装着型表示装置の位置姿勢情報に基づいて、前記頭部装着型表示装置が使用されているか否かを判断する判断手段と、
前記判断手段の判断結果に応じて前記表示装置に出力する画像を切り替える表示切り替え手段と
を備えることを特徴とする表示制御装置。 - コンピュータに請求項1乃至3の何れか1項に記載の表示制御方法を実行させることを特徴とするプログラム。
- コンピュータを請求項4に記載の表示制御装置として機能させることを特徴とするプログラム。
- 請求項5又は6に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003046229A JP4208601B2 (ja) | 2003-02-24 | 2003-02-24 | 表示制御方法、及び表示制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003046229A JP4208601B2 (ja) | 2003-02-24 | 2003-02-24 | 表示制御方法、及び表示制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004258123A true JP2004258123A (ja) | 2004-09-16 |
JP4208601B2 JP4208601B2 (ja) | 2009-01-14 |
Family
ID=33112827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003046229A Expired - Fee Related JP4208601B2 (ja) | 2003-02-24 | 2003-02-24 | 表示制御方法、及び表示制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4208601B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012048659A (ja) * | 2010-08-30 | 2012-03-08 | Canon Inc | 画像処理装置、画像処理方法 |
CN104396237A (zh) * | 2012-06-29 | 2015-03-04 | 索尼电脑娱乐公司 | 视频输出装置、三维视频观察设备、视频呈现***和视频输出方法 |
WO2016013269A1 (ja) * | 2014-07-22 | 2016-01-28 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
WO2016042862A1 (ja) * | 2014-09-19 | 2016-03-24 | ソニー株式会社 | 制御装置、制御方法およびプログラム |
JP2016224086A (ja) * | 2015-05-27 | 2016-12-28 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP2018023026A (ja) * | 2016-08-04 | 2018-02-08 | キヤノン株式会社 | 画像表示システム |
WO2018101162A1 (ja) * | 2016-12-01 | 2018-06-07 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム |
CN111448536A (zh) * | 2018-06-14 | 2020-07-24 | 多玩国株式会社 | 数据替换装置、终端及数据替换程序 |
US20230351702A1 (en) * | 2022-04-28 | 2023-11-02 | Dell Products, Lp | Method and apparatus for using physical devices in extended reality environments |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06301897A (ja) * | 1993-04-16 | 1994-10-28 | Kawasaki Heavy Ind Ltd | 船舶の航行支援装置 |
JPH07225351A (ja) * | 1994-02-15 | 1995-08-22 | Olympus Optical Co Ltd | 頭部装着型映像表示装置 |
JPH07294844A (ja) * | 1994-04-22 | 1995-11-10 | Canon Inc | 表示装置 |
JPH0937187A (ja) * | 1995-07-20 | 1997-02-07 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
JPH10148788A (ja) * | 1996-11-18 | 1998-06-02 | Off Noa:Kk | 水膜ディスプレイを用いたバーチャルリアリティシステム |
JP2002269593A (ja) * | 2001-03-13 | 2002-09-20 | Canon Inc | 画像処理装置及び方法、並びに記憶媒体 |
-
2003
- 2003-02-24 JP JP2003046229A patent/JP4208601B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06301897A (ja) * | 1993-04-16 | 1994-10-28 | Kawasaki Heavy Ind Ltd | 船舶の航行支援装置 |
JPH07225351A (ja) * | 1994-02-15 | 1995-08-22 | Olympus Optical Co Ltd | 頭部装着型映像表示装置 |
JPH07294844A (ja) * | 1994-04-22 | 1995-11-10 | Canon Inc | 表示装置 |
JPH0937187A (ja) * | 1995-07-20 | 1997-02-07 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
JPH10148788A (ja) * | 1996-11-18 | 1998-06-02 | Off Noa:Kk | 水膜ディスプレイを用いたバーチャルリアリティシステム |
JP2002269593A (ja) * | 2001-03-13 | 2002-09-20 | Canon Inc | 画像処理装置及び方法、並びに記憶媒体 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2424260A3 (en) * | 2010-08-30 | 2015-02-18 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
JP2012048659A (ja) * | 2010-08-30 | 2012-03-08 | Canon Inc | 画像処理装置、画像処理方法 |
CN104396237A (zh) * | 2012-06-29 | 2015-03-04 | 索尼电脑娱乐公司 | 视频输出装置、三维视频观察设备、视频呈现***和视频输出方法 |
CN104396237B (zh) * | 2012-06-29 | 2016-12-21 | 索尼电脑娱乐公司 | 视频输出装置、三维视频观察设备、视频呈现***和视频输出方法 |
JPWO2016013269A1 (ja) * | 2014-07-22 | 2017-04-27 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
WO2016013269A1 (ja) * | 2014-07-22 | 2016-01-28 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
CN106687888A (zh) * | 2014-09-19 | 2017-05-17 | 索尼公司 | 控制设备、控制方法和程序 |
WO2016042862A1 (ja) * | 2014-09-19 | 2016-03-24 | ソニー株式会社 | 制御装置、制御方法およびプログラム |
JPWO2016042862A1 (ja) * | 2014-09-19 | 2017-07-06 | ソニー株式会社 | 制御装置、制御方法およびプログラム |
US10579109B2 (en) | 2014-09-19 | 2020-03-03 | Sony Corporation | Control device and control method |
JP2016224086A (ja) * | 2015-05-27 | 2016-12-28 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP2018023026A (ja) * | 2016-08-04 | 2018-02-08 | キヤノン株式会社 | 画像表示システム |
WO2018101162A1 (ja) * | 2016-12-01 | 2018-06-07 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム |
JPWO2018101162A1 (ja) * | 2016-12-01 | 2019-06-24 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム |
US10965884B2 (en) | 2016-12-01 | 2021-03-30 | Sony Interactive Entertainment Inc. | Head-mounted display, display controlling apparatus, display controlling method, and program |
CN111448536A (zh) * | 2018-06-14 | 2020-07-24 | 多玩国株式会社 | 数据替换装置、终端及数据替换程序 |
CN111448536B (zh) * | 2018-06-14 | 2023-06-30 | 多玩国株式会社 | 数据替换装置、终端及数据替换程序 |
US20230351702A1 (en) * | 2022-04-28 | 2023-11-02 | Dell Products, Lp | Method and apparatus for using physical devices in extended reality environments |
US11935201B2 (en) * | 2022-04-28 | 2024-03-19 | Dell Products Lp | Method and apparatus for using physical devices in extended reality environments |
Also Published As
Publication number | Publication date |
---|---|
JP4208601B2 (ja) | 2009-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4401728B2 (ja) | 複合現実空間画像生成方法及び複合現実感システム | |
JP4933406B2 (ja) | 画像処理装置、画像処理方法 | |
JP4227561B2 (ja) | 画像処理方法、画像処理装置 | |
JP4500632B2 (ja) | 仮想現実感提示装置および情報処理方法 | |
US8860847B2 (en) | Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for creating an image | |
US20070258658A1 (en) | Information processing apparatus and control method thereof, image processing apparatus, computer program, and storage medium | |
JP2009025918A (ja) | 画像処理装置、画像処理方法 | |
KR102539427B1 (ko) | 화상 처리장치, 화상 처리방법, 및 기억매체 | |
JP2005038008A (ja) | 画像処理方法、画像処理装置 | |
JP6920057B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP2005165776A (ja) | 画像処理方法、画像処理装置 | |
JP2008009646A (ja) | 画像処理装置、画像処理方法 | |
JP2006285609A (ja) | 画像処理方法、画像処理装置 | |
JP2007004713A (ja) | 画像処理方法、画像処理装置 | |
JP4208601B2 (ja) | 表示制御方法、及び表示制御装置 | |
JP2005174021A (ja) | 情報提示方法及び装置 | |
JP2005038321A (ja) | ヘッドマウントディスプレイ装置 | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
JP2023065528A (ja) | ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム | |
JP2004355131A (ja) | 複合現実感映像生成方法及び複合現実感画像生成装置 | |
JP2005251118A (ja) | 画像処理方法、画像処理装置 | |
JP2009025919A (ja) | 画像処理装置、画像処理方法 | |
JP4217661B2 (ja) | 画像処理方法、画像処理装置 | |
JP2005157610A (ja) | 画像処理装置および方法 | |
JP2006343953A (ja) | 画像処理方法、画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4208601 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |