JP4054585B2 - 情報処理装置および方法 - Google Patents
情報処理装置および方法 Download PDFInfo
- Publication number
- JP4054585B2 JP4054585B2 JP2002040092A JP2002040092A JP4054585B2 JP 4054585 B2 JP4054585 B2 JP 4054585B2 JP 2002040092 A JP2002040092 A JP 2002040092A JP 2002040092 A JP2002040092 A JP 2002040092A JP 4054585 B2 JP4054585 B2 JP 4054585B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- hand
- virtual object
- measuring
- space image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 title claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims 4
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005389 magnetism Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
複合現実感空間映像における仮想物体を、被験者の手の動作によって制御するものに関する。
【０００２】
【従来の技術】
複合現実感システムにおけるユーザーインターフェイスでは、位置センサーによって得られた手の位置により、ジェスチャーを認識する、また手を動かした方向を認識するなどによる入力が実現されてきている。
【０００３】
【発明が解決しようとする課題】
しかしながら、仮想物体の投げ渡しに関しては投げ上げ動作により仮想物体が手から離れて、移動を始める瞬間の判定が難しかった。また手を動かす方向により投げる相手を特定する事も可能であったが、狭い場所では衝突などの事故につながる可能性もあり、また微妙な方向の制御が難しい等の問題もあった。
【０００４】
また、同時に互いに交換するというイベントを発生させるには完全に投げるタイミングがそろう必要がありそのようなイベントを簡単に発生させる事は難しかった。
【０００５】
本発明は上述の問題点に鑑みてなされたものであり、本願請求項１および請求項３に記載の発明は、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成する装置において、被験者の望む相手に対して仮想物体の投げ渡しを簡便で安全な方法で実現できるようにすることを目的とする。
【０００６】
さらに、本願請求項２および請求項４に記載の発明は、同時交換を簡単に実現できるよようにすることを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成要件を有する。
【０００８】
本願請求項１に記載の発明は、現実空間映像と仮想物体を示す仮想空間映像を合成して、複数の被験者のそれぞれが手に前記仮想物体を所有している複合現実感空間映像を生成・表示する情報処理装置であって、被験者の手の位置姿勢を計測する手段と、前記被験者の視点位置および視線方向を計測する手段と、前記視点位置および視線方向および前記手の位置姿勢に応じて、前記仮想物体を生成し、前記現実空間映像に合成する手段と、前記被験者の手の上方向への移動速度を求め、投げ上げ動作を検出する投げ上げ動作検出手段と、前記検出手段により投げ上げ動作が検出された後に、前記被験者の手の上方向への移動速度が一定以下になったことを検出する投げ上げ動作停止検出手段と、前記被験者の視点位置および視線方向から、仮想物体を投げ上げる相手の被験者を判定する判定手段とを有することを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１３】
［第１の実施形態］
図１は、本発明の第１の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【００１４】
第一の観察者１００は、ＨＭＤ（ＨｅａｄＭｏｕｎｔＤｉｓｐｌａｙ）１１０を頭部に、グローブ１２０を手に装着している。
【００１５】
ＨＭＤ１１０は、図２に示したように、ビデオカメラ１１１、ＬＣＤ１１２、位置方向測定装置受信機（目用位置センサ）１１３、光学プリズム１１４，１１５で構成されている。ビデオカメラ１１１は、光学プリズム１１５によって導かれた観察者の視点位置および視線方向の現実空間映像を撮影する。目用位置センサ１１３は、観察者の視点位置および視線方向を測定するために利用される。ＬＣＤ１１３は、複合現実空間映像を表示し、その映像は光学プリズム１１４によって観察者の瞳に導かれる。
【００１６】
グローブ１２０には、手用位置センサ１２１、スピーカ（図示省略）が内蔵されている。手用位置センサ１２１は、観察者の手の位置および方向を測定するためのセンサとして利用される。スピーカからは手の位置において発生したイベントに応じた音が発生される。この音としては、例えば、手で仮想空間物体に触ったり叩いたりした時の音や、手の位置に同期して表示される仮想空間物体の状態が変わったときに発生する音などが考えられる。
【００１７】
１３０は位置方向測定装置発信機（位置センサ発信機）、１３１は位置方向測定装置本体（位置センサ本体）である。目用位置センサ１１３、手用位置センサ１２１、及び位置センサ発信機１３０は、位置センサ本体１３１に接続されている。位置センサ発信機１３０からは磁気が発信されており、この磁気は、目用位置センサ１１３、手用位置センサ１２１で受信される。位置センサ本体１３１は、目用位置センサ１１３、手用位置センサ１２１からの受信強度信号に基づいて、夫々目、手の位置および方向を算出する。ここで、位置方向測定装置としては、米国Ｐｏｌｈｅｍｕｓ社製ＦＡＳＴＲＡＫなどが利用可能である。
【００１８】
１４０は観察者１人分の複合現実空間映像を生成して、ＨＭＤ１１０に表示する処理装置である。この処理装置１４０は、例えば、パーソナルコンピュータとビデオキャプチャーカード、ＣＧ描画機能を有するビデオカード、サウンドカード等で構成される。処理装置１４０には、ＨＭＤ１１０、スピーカ、位置センサ本体１３１が接続されている。
【００１９】
１７０は第一の観察者１００の手の上に乗っているかの様に複合される仮想キャラクタである。１８０は第一の観察者の視線を示す。視線は目用位置センサ１１３、位置センサ発信機１３０、位置センサ本体１３１によって計測可能である。第二の観察者１０１も第一の観察者と同様の構成である。
【００２０】
次に、処理装置１４０において複合現実空間映像を生成する手順を、図３のフローチャートに基づいて説明する。
【００２１】
処理装置１４０は、まず、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を取り込む（ステップＳ３０１）。なお、ステップＳ３０１では、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を定期的に取り込むスレッドＳ３１１を利用する。
【００２２】
次に、仮想空間の時間を更新し、仮想空間の状態（仮想空間物体の種類、位置、状態）を更新する（ステップＳ３０２）。このとき、現実空間物体の位置方向に同期して位置方向が変化する仮想空間物体がある場合は、それらも合わせて状態を更新する。例えば、手の上に常に仮想物体のキャラクタが乗っているように見せる場合は、このステップＳ３０２でグローブの位置方向が更新される。
【００２３】
次に、現実空間物体の位置方向（手の位置、視点位置）と仮想空間物体の位置方向の関係を調べ、予め定義されているイベントが発生したと判断される場合には、そのイベントに応じて仮想空間の状態を更新する（ステップＳ３０３）。例えば、手で仮想空間物体に触れた場合に仮想空間物体を爆発させること等が考えられる。
【００２４】
次に、ビデオカメラ１１１から得られた観察者の視点位置および視線方向での現実空間映像を取り込む（ステップＳ３０４）。このステップＳ３０４では、ビデオカメラ１１１から得られた現実空間映像をビデオキャプチャーカードから定期的に取得するスレッドＳ３１４を利用する。
【００２５】
そして、ステップＳ３０１で取得した観察者の視点位置および視線方向からの仮想空間映像を、ステップＳ３０２，Ｓ３０３で更新された仮想空間の状態に応じて生成する（ステップＳ３０５）。
【００２６】
最後に、ステップＳ３０５で生成された仮想空間映像と、ステップＳ３０４で取り込まれた現実空間映像を合成し、ＨＭＤ１１０のＬＣＤ１１２に出力する（ステップＳ３０６）。
以上の処理を、何らかの終了操作が行われるまで（ステップＳ３０７）、繰り返し実行する。
【００２７】
図４、図５は、ＨＭＤ１１０の外観図であり、図４は撮影部の方向から見た外観図、図５は表示部の方向から見た外観図である。
【００２８】
２０１はＨＭＤ表示部である。このＨＭＤ表示部２０１としては、右目用表示２０１Ｒと左目用表示部２０１Ｌの２つが有り、共にカラー液晶とプリズムを有し、観察者の視点位置および視線方向に対応する複合現実空間映像が表示される。
【００２９】
２０４〜２０８は、頭部装着用の構成部材である。ＨＭＤ３０１を頭部に装着するには、まず、アジャスタ２０５で長さ調整部２０６を緩めた状態で頭にかぶる。そして、額装着部２０８を額に密着させてから側頭装着部２０４と後頭装着部２０７を各々側頭部、後頭部に密着させるように、アジャスタ２０５で長さ調整部２０６を絞めればよい。
【００３０】
２０３は観察者の視点位置および視線方向の現実空間映像を撮影するためのＨＭＤ撮影部であり、このＨＭＤ撮影部２０３としては、右目用撮影部２０３Ｒと左目撮影用２０３Ｌの２つがあり、共にＮＴＳＣ方式の小型ビデオカメラにより構成されている。撮影された現実空間映像は、仮想空間映像と重畳されて複合現実空間映像となる。
【００３１】
受信機３０２は、観察者の視点位置および視線方向を測定するための情報として発信機から発せられた磁気を受信するために利用される。この受信機３０２のＨＭＤ３０１への取付部としては、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの３つが形成されており、これら受信機接合部２００Ｒ，２００Ｌ，２００Ｃの任意の接合部に受信機３０２を着脱自在に取付けることが可能となっている。すなわち、図４および図５では、受信機３０２は、観察者の視線の進行方向の右側の受信機接合部２００Ｒに取付けられているが、観察者の視線の進行方向の左側の受信機接合部２００Ｌ、或いは観察者の正中線上の受信機接合部２００Ｃに取付けることも可能である。
【００３２】
受信機接合部２００Ｒ，２００Ｌ，２００Ｃは、本実施形態では、受信機３０２を嵌めこんで固定するための差込口を有する構成となっているが、他の着脱自在な接合（取付）方式を採用してもよい。
【００３３】
２１０は受信機信号線であり、受信機接合部２００Ｃの近傍からＨＭＤ３０１の外部に露出している。この受信機信号線２１０は、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの何れにも受信機３０２を取付けられるように、十分な長さが確保されている。
【００３４】
２０９はＨＭＤ表示部２０１、ＨＭＤ撮影部２０３等への信号線や電源供給線、上記受信機信号線２１０等の各種の線を纏めた結束線材であり、後頭装着部２０７に取り付けられている。そして、結束線材２０９中の左右のＨＭＤ表示部２０１Ｒ，２０１Ｌ、ＨＭＤ撮影部２０３Ｒ，２０３Ｌ等への信号線や電源供給線は、各々、左右の側頭装着部２０４を通っている。
【００３５】
図６は、図１のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。処理装置（コンピュータ）３０７には、右目用ビデオキャプチャーボード３５０、左目用ビデオキャプチャーボード３５１、右目用グラフィックボード３５２、左目用グラフィックボード３５３、Ｉ／Ｏインターフェース３５４、ネットワークインターフェース３５９が搭載されており、これら構成要素は、ＣＰＵ３５６、ＨＤＤ３５５、メモリ３５７と接続されている。
【００３６】
左右の目用のビデオキャプチャーボード３５１，３５０は、夫々、左右の目用のビデオカメラ２０３Ｌ，２０３Ｒに接続され、これらビデオカメラ２０３Ｌ，２０３Ｒにて撮影された実写映像を本処理装置３０７で仮想空間映像と構成可能な形式に変換する。また、左右の目用のグラフィックボード３５３，３５２は、夫々、左右の目用の表示部（装置）２０１Ｌ，２０１Ｒに接続され、これら左右の目用の表示部２０１Ｌ，２０１Ｒに対する表示制御を行う。
【００３７】
また、Ｉ／Ｏインターフェース３５４は、位置方向測定装置本体３０６と接続され、ネットワークインターフェース３５９は、ネットワーク３３０と接続されている。
【００３８】
本実施形態では、上述のシステムを用いて、手のひらにＣＧの水面を出現させ、さらにそこに仮想キャラクタを合成する複合現実空間映像を提供する。
【００３９】
本実施形態では、手の動作を用いて仮想キャラクタの動作を制御する。以下に、仮想キャラクタの投げ渡しを行う方法について、図７および図８を用いて具体的に説明する。
【００４０】
Ｓ２００１では、手用位置センサの測定結果から、投げ上げ動作を検出する。例えば第一の観察者１００が手を一定時間以上の間一定速度以上で上方向に動かしている事を検出する。この手の動作の検出は手用位置センサ１２１で検出された手の位置の経過を解析することにより検出することができる。
【００４１】
Ｓ２００２では、手用位置センサの測定結果から、Ｓ２００１で投げ上げ動作が検出された後に手の上昇速度が一定以下になった時を検出することにより、投げ上げ動作の停止を検出する。
【００４２】
Ｓ２００３では仮想キャラクタを投げ渡す相手を判断する。図１においては２人の観察者しか書かれておらず、他の観察者は省略されているが、本実施形態では観察者が図示されている以外にも１人以上いる場合を想定している。Ｓ２００２で投げ上げ動作の停止が検出された瞬間の第一の観察者１００の視線１８０から投げ渡す相手を決定する。
【００４３】
図１に示されるように、各観察者は位置センサを備えているので各観察者の位置は把握することができる。Ｓ２００２では、投げ上げ動作を行っている観察者の視線方向に最も近い位置に存在する観察者を検出し、検出された観察者を投げ渡す相手と決定する。以下、第二の観察者１０１が投げ渡す相手として説明する。
【００４４】
Ｓ２００４ではＳ２００３で決定された第二の観察者の手に向かって仮想キャラクタ（仮想物体）をジャンプさせるべく、複合現実空間内で移動させる。これは図３のＳ３０５の仮想空間映像の描画およびＳ３０６の合成を制御することにより実現することができる。
【００４５】
以上の処理により、手を用いた簡単な投げ上げ動作により、仮想物体の第二の観察者への投げ上げ動作を実現することができる。しかも、移動を始める瞬間の判定および相手を簡単かつ適切に判定することができる。
【００４６】
次に仮想キャラクタの同時交換を行う方法について図８を用いて説明する。
【００４７】
Ｓ２００３で投げ渡す相手を決定するところまでは図７と同じである。Ｓ２００５で投げ渡す相手（第二の観察者）の状況を調べ、第二の観察者が投げ上げ動作中の場合には、Ｓ２００６で第二の観察者の視線方向を判断し、第二の観察者が第一の観察者の方を見ている場合には、Ｓ２００７で同時交換のイベントを発生させる。このように、仮想物体を投げるタイミングを簡単に合わせることができる。
【００４８】
Ｓ２００５、Ｓ２００６が成立しなかった場合には、Ｓ２００４で、単に第一の観察者から第二の観察者に仮想キャラクタの投げ渡しが行われる。
【００４９】
本実施形態によれば、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成・表示する装置において、被験者の望む相手に対して仮想物体の投げ渡しを簡便で安全な方法で実現でき、また同時交換も実現する事ができる。
【００５０】
（他の実施形態）
前述した図７や図８の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００５１】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００５２】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００５３】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００５４】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００５５】
【発明の効果】
本願請求項１および３の発明によれば、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成する装置において、被験者の望む相手に対して仮想物体の投げ渡しを簡便で安全な方法で実現することができる。
【００５６】
さらに、本願請求項２および４の発明によれば、同時交換も簡単に実現することができる。
【図面の簡単な説明】
【図１】複合現実感システムの概略構成を示すシステム構成図である。
【図２】ＨＭＤの構成を示す構成図である。
【図３】複合現実空間映像の生成処理を示すフローチャートである。
【図４】ＨＭＤを撮影部の方向から見た場合の外観図である。
【図５】ＨＭＤを表示部の方向から見た場合の外観図である。
【図６】図１のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。
【図７】投げ渡しのイベントの処理を示すフローチャートである。
【図８】同時交換のイベントの処理を示すフローチャートである。
【発明の属する技術分野】
複合現実感空間映像における仮想物体を、被験者の手の動作によって制御するものに関する。
【０００２】
【従来の技術】
複合現実感システムにおけるユーザーインターフェイスでは、位置センサーによって得られた手の位置により、ジェスチャーを認識する、また手を動かした方向を認識するなどによる入力が実現されてきている。
【０００３】
【発明が解決しようとする課題】
しかしながら、仮想物体の投げ渡しに関しては投げ上げ動作により仮想物体が手から離れて、移動を始める瞬間の判定が難しかった。また手を動かす方向により投げる相手を特定する事も可能であったが、狭い場所では衝突などの事故につながる可能性もあり、また微妙な方向の制御が難しい等の問題もあった。
【０００４】
また、同時に互いに交換するというイベントを発生させるには完全に投げるタイミングがそろう必要がありそのようなイベントを簡単に発生させる事は難しかった。
【０００５】
本発明は上述の問題点に鑑みてなされたものであり、本願請求項１および請求項３に記載の発明は、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成する装置において、被験者の望む相手に対して仮想物体の投げ渡しを簡便で安全な方法で実現できるようにすることを目的とする。
【０００６】
さらに、本願請求項２および請求項４に記載の発明は、同時交換を簡単に実現できるよようにすることを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成要件を有する。
【０００８】
本願請求項１に記載の発明は、現実空間映像と仮想物体を示す仮想空間映像を合成して、複数の被験者のそれぞれが手に前記仮想物体を所有している複合現実感空間映像を生成・表示する情報処理装置であって、被験者の手の位置姿勢を計測する手段と、前記被験者の視点位置および視線方向を計測する手段と、前記視点位置および視線方向および前記手の位置姿勢に応じて、前記仮想物体を生成し、前記現実空間映像に合成する手段と、前記被験者の手の上方向への移動速度を求め、投げ上げ動作を検出する投げ上げ動作検出手段と、前記検出手段により投げ上げ動作が検出された後に、前記被験者の手の上方向への移動速度が一定以下になったことを検出する投げ上げ動作停止検出手段と、前記被験者の視点位置および視線方向から、仮想物体を投げ上げる相手の被験者を判定する判定手段とを有することを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１３】
［第１の実施形態］
図１は、本発明の第１の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【００１４】
第一の観察者１００は、ＨＭＤ（ＨｅａｄＭｏｕｎｔＤｉｓｐｌａｙ）１１０を頭部に、グローブ１２０を手に装着している。
【００１５】
ＨＭＤ１１０は、図２に示したように、ビデオカメラ１１１、ＬＣＤ１１２、位置方向測定装置受信機（目用位置センサ）１１３、光学プリズム１１４，１１５で構成されている。ビデオカメラ１１１は、光学プリズム１１５によって導かれた観察者の視点位置および視線方向の現実空間映像を撮影する。目用位置センサ１１３は、観察者の視点位置および視線方向を測定するために利用される。ＬＣＤ１１３は、複合現実空間映像を表示し、その映像は光学プリズム１１４によって観察者の瞳に導かれる。
【００１６】
グローブ１２０には、手用位置センサ１２１、スピーカ（図示省略）が内蔵されている。手用位置センサ１２１は、観察者の手の位置および方向を測定するためのセンサとして利用される。スピーカからは手の位置において発生したイベントに応じた音が発生される。この音としては、例えば、手で仮想空間物体に触ったり叩いたりした時の音や、手の位置に同期して表示される仮想空間物体の状態が変わったときに発生する音などが考えられる。
【００１７】
１３０は位置方向測定装置発信機（位置センサ発信機）、１３１は位置方向測定装置本体（位置センサ本体）である。目用位置センサ１１３、手用位置センサ１２１、及び位置センサ発信機１３０は、位置センサ本体１３１に接続されている。位置センサ発信機１３０からは磁気が発信されており、この磁気は、目用位置センサ１１３、手用位置センサ１２１で受信される。位置センサ本体１３１は、目用位置センサ１１３、手用位置センサ１２１からの受信強度信号に基づいて、夫々目、手の位置および方向を算出する。ここで、位置方向測定装置としては、米国Ｐｏｌｈｅｍｕｓ社製ＦＡＳＴＲＡＫなどが利用可能である。
【００１８】
１４０は観察者１人分の複合現実空間映像を生成して、ＨＭＤ１１０に表示する処理装置である。この処理装置１４０は、例えば、パーソナルコンピュータとビデオキャプチャーカード、ＣＧ描画機能を有するビデオカード、サウンドカード等で構成される。処理装置１４０には、ＨＭＤ１１０、スピーカ、位置センサ本体１３１が接続されている。
【００１９】
１７０は第一の観察者１００の手の上に乗っているかの様に複合される仮想キャラクタである。１８０は第一の観察者の視線を示す。視線は目用位置センサ１１３、位置センサ発信機１３０、位置センサ本体１３１によって計測可能である。第二の観察者１０１も第一の観察者と同様の構成である。
【００２０】
次に、処理装置１４０において複合現実空間映像を生成する手順を、図３のフローチャートに基づいて説明する。
【００２１】
処理装置１４０は、まず、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を取り込む（ステップＳ３０１）。なお、ステップＳ３０１では、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を定期的に取り込むスレッドＳ３１１を利用する。
【００２２】
次に、仮想空間の時間を更新し、仮想空間の状態（仮想空間物体の種類、位置、状態）を更新する（ステップＳ３０２）。このとき、現実空間物体の位置方向に同期して位置方向が変化する仮想空間物体がある場合は、それらも合わせて状態を更新する。例えば、手の上に常に仮想物体のキャラクタが乗っているように見せる場合は、このステップＳ３０２でグローブの位置方向が更新される。
【００２３】
次に、現実空間物体の位置方向（手の位置、視点位置）と仮想空間物体の位置方向の関係を調べ、予め定義されているイベントが発生したと判断される場合には、そのイベントに応じて仮想空間の状態を更新する（ステップＳ３０３）。例えば、手で仮想空間物体に触れた場合に仮想空間物体を爆発させること等が考えられる。
【００２４】
次に、ビデオカメラ１１１から得られた観察者の視点位置および視線方向での現実空間映像を取り込む（ステップＳ３０４）。このステップＳ３０４では、ビデオカメラ１１１から得られた現実空間映像をビデオキャプチャーカードから定期的に取得するスレッドＳ３１４を利用する。
【００２５】
そして、ステップＳ３０１で取得した観察者の視点位置および視線方向からの仮想空間映像を、ステップＳ３０２，Ｓ３０３で更新された仮想空間の状態に応じて生成する（ステップＳ３０５）。
【００２６】
最後に、ステップＳ３０５で生成された仮想空間映像と、ステップＳ３０４で取り込まれた現実空間映像を合成し、ＨＭＤ１１０のＬＣＤ１１２に出力する（ステップＳ３０６）。
以上の処理を、何らかの終了操作が行われるまで（ステップＳ３０７）、繰り返し実行する。
【００２７】
図４、図５は、ＨＭＤ１１０の外観図であり、図４は撮影部の方向から見た外観図、図５は表示部の方向から見た外観図である。
【００２８】
２０１はＨＭＤ表示部である。このＨＭＤ表示部２０１としては、右目用表示２０１Ｒと左目用表示部２０１Ｌの２つが有り、共にカラー液晶とプリズムを有し、観察者の視点位置および視線方向に対応する複合現実空間映像が表示される。
【００２９】
２０４〜２０８は、頭部装着用の構成部材である。ＨＭＤ３０１を頭部に装着するには、まず、アジャスタ２０５で長さ調整部２０６を緩めた状態で頭にかぶる。そして、額装着部２０８を額に密着させてから側頭装着部２０４と後頭装着部２０７を各々側頭部、後頭部に密着させるように、アジャスタ２０５で長さ調整部２０６を絞めればよい。
【００３０】
２０３は観察者の視点位置および視線方向の現実空間映像を撮影するためのＨＭＤ撮影部であり、このＨＭＤ撮影部２０３としては、右目用撮影部２０３Ｒと左目撮影用２０３Ｌの２つがあり、共にＮＴＳＣ方式の小型ビデオカメラにより構成されている。撮影された現実空間映像は、仮想空間映像と重畳されて複合現実空間映像となる。
【００３１】
受信機３０２は、観察者の視点位置および視線方向を測定するための情報として発信機から発せられた磁気を受信するために利用される。この受信機３０２のＨＭＤ３０１への取付部としては、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの３つが形成されており、これら受信機接合部２００Ｒ，２００Ｌ，２００Ｃの任意の接合部に受信機３０２を着脱自在に取付けることが可能となっている。すなわち、図４および図５では、受信機３０２は、観察者の視線の進行方向の右側の受信機接合部２００Ｒに取付けられているが、観察者の視線の進行方向の左側の受信機接合部２００Ｌ、或いは観察者の正中線上の受信機接合部２００Ｃに取付けることも可能である。
【００３２】
受信機接合部２００Ｒ，２００Ｌ，２００Ｃは、本実施形態では、受信機３０２を嵌めこんで固定するための差込口を有する構成となっているが、他の着脱自在な接合（取付）方式を採用してもよい。
【００３３】
２１０は受信機信号線であり、受信機接合部２００Ｃの近傍からＨＭＤ３０１の外部に露出している。この受信機信号線２１０は、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの何れにも受信機３０２を取付けられるように、十分な長さが確保されている。
【００３４】
２０９はＨＭＤ表示部２０１、ＨＭＤ撮影部２０３等への信号線や電源供給線、上記受信機信号線２１０等の各種の線を纏めた結束線材であり、後頭装着部２０７に取り付けられている。そして、結束線材２０９中の左右のＨＭＤ表示部２０１Ｒ，２０１Ｌ、ＨＭＤ撮影部２０３Ｒ，２０３Ｌ等への信号線や電源供給線は、各々、左右の側頭装着部２０４を通っている。
【００３５】
図６は、図１のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。処理装置（コンピュータ）３０７には、右目用ビデオキャプチャーボード３５０、左目用ビデオキャプチャーボード３５１、右目用グラフィックボード３５２、左目用グラフィックボード３５３、Ｉ／Ｏインターフェース３５４、ネットワークインターフェース３５９が搭載されており、これら構成要素は、ＣＰＵ３５６、ＨＤＤ３５５、メモリ３５７と接続されている。
【００３６】
左右の目用のビデオキャプチャーボード３５１，３５０は、夫々、左右の目用のビデオカメラ２０３Ｌ，２０３Ｒに接続され、これらビデオカメラ２０３Ｌ，２０３Ｒにて撮影された実写映像を本処理装置３０７で仮想空間映像と構成可能な形式に変換する。また、左右の目用のグラフィックボード３５３，３５２は、夫々、左右の目用の表示部（装置）２０１Ｌ，２０１Ｒに接続され、これら左右の目用の表示部２０１Ｌ，２０１Ｒに対する表示制御を行う。
【００３７】
また、Ｉ／Ｏインターフェース３５４は、位置方向測定装置本体３０６と接続され、ネットワークインターフェース３５９は、ネットワーク３３０と接続されている。
【００３８】
本実施形態では、上述のシステムを用いて、手のひらにＣＧの水面を出現させ、さらにそこに仮想キャラクタを合成する複合現実空間映像を提供する。
【００３９】
本実施形態では、手の動作を用いて仮想キャラクタの動作を制御する。以下に、仮想キャラクタの投げ渡しを行う方法について、図７および図８を用いて具体的に説明する。
【００４０】
Ｓ２００１では、手用位置センサの測定結果から、投げ上げ動作を検出する。例えば第一の観察者１００が手を一定時間以上の間一定速度以上で上方向に動かしている事を検出する。この手の動作の検出は手用位置センサ１２１で検出された手の位置の経過を解析することにより検出することができる。
【００４１】
Ｓ２００２では、手用位置センサの測定結果から、Ｓ２００１で投げ上げ動作が検出された後に手の上昇速度が一定以下になった時を検出することにより、投げ上げ動作の停止を検出する。
【００４２】
Ｓ２００３では仮想キャラクタを投げ渡す相手を判断する。図１においては２人の観察者しか書かれておらず、他の観察者は省略されているが、本実施形態では観察者が図示されている以外にも１人以上いる場合を想定している。Ｓ２００２で投げ上げ動作の停止が検出された瞬間の第一の観察者１００の視線１８０から投げ渡す相手を決定する。
【００４３】
図１に示されるように、各観察者は位置センサを備えているので各観察者の位置は把握することができる。Ｓ２００２では、投げ上げ動作を行っている観察者の視線方向に最も近い位置に存在する観察者を検出し、検出された観察者を投げ渡す相手と決定する。以下、第二の観察者１０１が投げ渡す相手として説明する。
【００４４】
Ｓ２００４ではＳ２００３で決定された第二の観察者の手に向かって仮想キャラクタ（仮想物体）をジャンプさせるべく、複合現実空間内で移動させる。これは図３のＳ３０５の仮想空間映像の描画およびＳ３０６の合成を制御することにより実現することができる。
【００４５】
以上の処理により、手を用いた簡単な投げ上げ動作により、仮想物体の第二の観察者への投げ上げ動作を実現することができる。しかも、移動を始める瞬間の判定および相手を簡単かつ適切に判定することができる。
【００４６】
次に仮想キャラクタの同時交換を行う方法について図８を用いて説明する。
【００４７】
Ｓ２００３で投げ渡す相手を決定するところまでは図７と同じである。Ｓ２００５で投げ渡す相手（第二の観察者）の状況を調べ、第二の観察者が投げ上げ動作中の場合には、Ｓ２００６で第二の観察者の視線方向を判断し、第二の観察者が第一の観察者の方を見ている場合には、Ｓ２００７で同時交換のイベントを発生させる。このように、仮想物体を投げるタイミングを簡単に合わせることができる。
【００４８】
Ｓ２００５、Ｓ２００６が成立しなかった場合には、Ｓ２００４で、単に第一の観察者から第二の観察者に仮想キャラクタの投げ渡しが行われる。
【００４９】
本実施形態によれば、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成・表示する装置において、被験者の望む相手に対して仮想物体の投げ渡しを簡便で安全な方法で実現でき、また同時交換も実現する事ができる。
【００５０】
（他の実施形態）
前述した図７や図８の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００５１】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００５２】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００５３】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００５４】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００５５】
【発明の効果】
本願請求項１および３の発明によれば、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成する装置において、被験者の望む相手に対して仮想物体の投げ渡しを簡便で安全な方法で実現することができる。
【００５６】
さらに、本願請求項２および４の発明によれば、同時交換も簡単に実現することができる。
【図面の簡単な説明】
【図１】複合現実感システムの概略構成を示すシステム構成図である。
【図２】ＨＭＤの構成を示す構成図である。
【図３】複合現実空間映像の生成処理を示すフローチャートである。
【図４】ＨＭＤを撮影部の方向から見た場合の外観図である。
【図５】ＨＭＤを表示部の方向から見た場合の外観図である。
【図６】図１のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。
【図７】投げ渡しのイベントの処理を示すフローチャートである。
【図８】同時交換のイベントの処理を示すフローチャートである。
Claims (5)
- 現実空間映像と仮想物体を示す仮想空間映像を合成して、複数の被験者のそれぞれが手に前記仮想物体を所有している複合現実感空間映像を生成する情報処理装置であって、
被験者の手の位置姿勢を計測する手段と、
前記被験者の視点位置および視線方向を計測する手段と、
前記視点位置および視線方向および前記手の位置姿勢に応じて、前記仮想物体を生成し、前記現実空間映像に合成する手段と、
前記被験者の手の上方向への移動速度を求め、投げ上げ動作を検出する投げ上げ動作検出手段と、
前記検出手段により投げ上げ動作が検出された後に、前記被験者の手の上方向への移動速度が一定以下になったことを検出する投げ上げ動作停止検出手段と、
前記被験者の視点位置および視線方向から、仮想物体を投げ上げる相手の被験者を判定する判定手段とを有することを特徴とする情報処理装置。 - 前記相手の被験者が投げ上げ動作中であるか判断する判断手段と、
前記相手の被験者の視線方向を計測する計測手段と、
前記判断手段の判断の結果と前記計測手段の計測の結果に応じて、前記被験者および前記相手の被験者の間で仮想物体を相互に投げ渡す処理のタイミングを制御する制御手段とを有することを特徴とする請求項１記載の情報処理装置。 - 現実空間映像と仮想物体を示す仮想空間映像を合成して、複数の被験者のそれぞれが手に前記仮想物体を所有している複合現実感空間映像を生成する情報処理方法であって、
被験者の手の位置姿勢を計測する工程と、
前記被験者の視点位置および視線方向を計測する工程と、
前記視点位置および視線方向および前記手の位置姿勢に応じて、前記仮想物体を生成し、前記現実空間映像に合成する工程と、
前記被験者の手の上方向への移動速度を求め、投げ上げ動作を検出する投げ上げ動作検出工程と、
前記検出手段により投げ上げ動作が検出された後に、前記手の上方向への移動速度が一定以下になったことを検出する投げ上げ動作停止検出工程と、
前記被験者の視点位置および視線方向から、仮想物体を投げ上げる相手の被験者を判定する判定工程とを有することを特徴とする情報処理方法。 - 前記相手の被験者が投げ上げ動作中であるか判断する判断工程と、
前記相手の被験者の視線方向を計測する計測工程と、
前記判断手段の判断の結果と前記計測手段の計測の結果に応じて、前記被験者および前記相手の被験者の間で仮想物体を相互に投げ渡す処理のタイミングを制御する制御工程とを有することを特徴とする請求項１記載の情報処理方法。 - 請求項３または請求項４記載の情報処理方法をコンピュータを用いて実現するために、コンピュータが読み取り可能に記憶媒体に記憶されたプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002040092A JP4054585B2 (ja) | 2002-02-18 | 2002-02-18 | 情報処理装置および方法 |
| US10/354,006 US7610558B2 (en) | 2002-02-18 | 2003-01-30 | Information processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002040092A JP4054585B2 (ja) | 2002-02-18 | 2002-02-18 | 情報処理装置および方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003242527A JP2003242527A (ja) | 2003-08-29 |
| JP2003242527A5 JP2003242527A5 (ja) | 2007-11-15 |
| JP4054585B2 true JP4054585B2 (ja) | 2008-02-27 |
Family
ID=27678285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002040092A Expired - Fee Related JP4054585B2 (ja) | 2002-02-18 | 2002-02-18 | 情報処理装置および方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7610558B2 (ja) |
| JP (1) | JP4054585B2 (ja) |
Families Citing this family (73)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7427996B2 (en) * | 2002-10-16 | 2008-09-23 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP4262011B2 (ja) * | 2003-07-30 | 2009-05-13 | キヤノン株式会社 | 画像提示方法及び装置 |
| TWI412392B (zh) * | 2005-08-12 | 2013-10-21 | Koninkl Philips Electronics Nv | 互動式娛樂系統及其操作方法 |
| US9250703B2 (en) | 2006-03-06 | 2016-02-02 | Sony Computer Entertainment Inc. | Interface with gaze detection and voice input |
| US8730156B2 (en) * | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
| JP4847192B2 (ja) * | 2006-04-14 | 2011-12-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
| US9958934B1 (en) | 2006-05-01 | 2018-05-01 | Jeffrey D. Mullen | Home and portable augmented reality and virtual reality video game consoles |
| JP5330640B2 (ja) * | 2006-05-09 | 2013-10-30 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
| JP2008108246A (ja) * | 2006-10-23 | 2008-05-08 | Internatl Business Mach Corp <Ibm> | 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム |
| JP5067850B2 (ja) * | 2007-08-02 | 2012-11-07 | キヤノン株式会社 | システム、頭部装着型表示装置、その制御方法 |
| US9703369B1 (en) * | 2007-10-11 | 2017-07-11 | Jeffrey David Mullen | Augmented reality video game systems |
| JP5141525B2 (ja) * | 2008-03-06 | 2013-02-13 | セイコーエプソン株式会社 | シミュレーション装置 |
| JP5403974B2 (ja) * | 2008-09-09 | 2014-01-29 | キヤノン株式会社 | 三次元ｃａｄシステム |
| JP5414380B2 (ja) * | 2009-06-23 | 2014-02-12 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
| US8773330B2 (en) * | 2009-06-25 | 2014-07-08 | The Boeing Company | Method and apparatus for a virtual mission control station |
| JP5499762B2 (ja) * | 2010-02-24 | 2014-05-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び画像処理システム |
| CN105843396B (zh) * | 2010-03-05 | 2019-01-01 | 索尼电脑娱乐美国公司 | 在共享的稳定虚拟空间上维持多视图的方法 |
| US9076256B2 (en) | 2010-03-17 | 2015-07-07 | Sony Corporation | Information processing device, information processing method, and program |
| US9901828B2 (en) * | 2010-03-30 | 2018-02-27 | Sony Interactive Entertainment America Llc | Method for an augmented reality character to maintain and exhibit awareness of an observer |
| US8560583B2 (en) | 2010-04-01 | 2013-10-15 | Sony Computer Entertainment Inc. | Media fingerprinting for social networking |
| US9264785B2 (en) | 2010-04-01 | 2016-02-16 | Sony Computer Entertainment Inc. | Media fingerprinting for content determination and retrieval |
| WO2011129907A1 (en) | 2010-04-13 | 2011-10-20 | Sony Computer Entertainment America Llc | Calibration of portable devices in a shared virtual space |
| US9586147B2 (en) * | 2010-06-23 | 2017-03-07 | Microsoft Technology Licensing, Llc | Coordinating device interaction to enhance user experience |
| US8730354B2 (en) | 2010-07-13 | 2014-05-20 | Sony Computer Entertainment Inc | Overlay video content on a mobile device |
| US9143699B2 (en) | 2010-07-13 | 2015-09-22 | Sony Computer Entertainment Inc. | Overlay non-video content on a mobile device |
| US9814977B2 (en) | 2010-07-13 | 2017-11-14 | Sony Interactive Entertainment Inc. | Supplemental video content on a mobile device |
| US9832441B2 (en) | 2010-07-13 | 2017-11-28 | Sony Interactive Entertainment Inc. | Supplemental content on a mobile device |
| US9159165B2 (en) | 2010-07-13 | 2015-10-13 | Sony Computer Entertainment Inc. | Position-dependent gaming, 3-D controller, and handheld as a remote |
| US9092135B2 (en) * | 2010-11-01 | 2015-07-28 | Sony Computer Entertainment Inc. | Control of virtual object using device touch interface functionality |
| US20120157204A1 (en) * | 2010-12-20 | 2012-06-21 | Lai Games Australia Pty Ltd. | User-controlled projector-based games |
| US8817046B2 (en) | 2011-04-21 | 2014-08-26 | Microsoft Corporation | Color channels and optical markers |
| US10120438B2 (en) | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
| US9176652B1 (en) * | 2011-07-20 | 2015-11-03 | Google Inc. | Method and system for dynamically defining scroll-wheel functionality on a touchpad |
| US20130050499A1 (en) * | 2011-08-30 | 2013-02-28 | Qualcomm Incorporated | Indirect tracking |
| JP2014532225A (ja) * | 2011-09-30 | 2014-12-04 | インテル コーポレイション | コンピューティング装置におけるコンテキストアウェア・モデル・ベースの画像合成及びレンダリングを容易にする機構 |
| US10030931B1 (en) * | 2011-12-14 | 2018-07-24 | Lockheed Martin Corporation | Head mounted display-based training tool |
| US9041739B2 (en) * | 2012-01-31 | 2015-05-26 | Microsoft Technology Licensing, Llc | Matching physical locations for shared virtual experience |
| JP2013178639A (ja) * | 2012-02-28 | 2013-09-09 | Seiko Epson Corp | 頭部装着型表示装置および画像表示システム |
| TWI499935B (zh) * | 2012-08-30 | 2015-09-11 | Realtek Semiconductor Corp | 可避免非預期性互動行為發生的多媒體互動系統及相關的電腦程式產品 |
| TWI503704B (zh) * | 2012-03-02 | 2015-10-11 | Realtek Semiconductor Corp | 可過濾多媒體互動指令的多媒體互動系統及相關的電腦程式產品 |
| CN103294432B (zh) * | 2012-03-02 | 2016-02-10 | 瑞昱半导体股份有限公司 | 阻挡互动指令的多媒体互动***及相关的装置和方法 |
| JP6112815B2 (ja) * | 2012-09-27 | 2017-04-12 | 京セラ株式会社 | 表示装置、制御システムおよび制御プログラム |
| US10056006B1 (en) | 2013-03-14 | 2018-08-21 | Allstate Insurance Company | Pre-license development tool |
| US9607526B1 (en) | 2013-03-14 | 2017-03-28 | Allstate Insurance Company | Pre-license development tool |
| US9858832B1 (en) * | 2013-03-14 | 2018-01-02 | Allstate Insurance Company | Interactive driver development |
| US9940897B2 (en) * | 2013-05-24 | 2018-04-10 | Awe Company Limited | Systems and methods for a shared mixed reality experience |
| CN103530061B (zh) | 2013-10-31 | 2017-01-18 | 京东方科技集团股份有限公司 | 显示装置及控制方法 |
| CN104657568B (zh) * | 2013-11-21 | 2017-10-03 | 深圳先进技术研究院 | 基于智能眼镜的多人移动游戏***及方法 |
| US9865058B2 (en) * | 2014-02-19 | 2018-01-09 | Daqri, Llc | Three-dimensional mapping system |
| JP6307627B2 (ja) | 2014-03-14 | 2018-04-04 | 株式会社ソニー・インタラクティブエンタテインメント | 空間感知を備えるゲーム機 |
| KR20160024168A (ko) * | 2014-08-25 | 2016-03-04 | 삼성전자주식회사 | 전자 장치의 디스플레이 제어 방법 및 전자 장치 |
| CN104503686A (zh) * | 2014-12-25 | 2015-04-08 | 宋小波 | 一种支撑大屏互动的***装置 |
| CN104615282B (zh) * | 2015-01-23 | 2017-09-12 | 广州视睿电子科技有限公司 | 一种适用于多屏幕切换的鼠标移动控制方法与*** |
| GB2536650A (en) * | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
| JP6362634B2 (ja) * | 2016-02-05 | 2018-07-25 | 株式会社バンダイナムコエンターテインメント | 画像生成システム、ゲーム装置及びプログラム |
| US10250720B2 (en) * | 2016-05-05 | 2019-04-02 | Google Llc | Sharing in an augmented and/or virtual reality environment |
| CN106126723A (zh) * | 2016-06-30 | 2016-11-16 | 乐视控股（北京）有限公司 | 一种移动目标对象的方法及装置 |
| US10139934B2 (en) * | 2016-12-22 | 2018-11-27 | Microsoft Technology Licensing, Llc | Magnetic tracker dual mode |
| US10942252B2 (en) * | 2016-12-26 | 2021-03-09 | Htc Corporation | Tracking system and tracking method |
| US10895628B2 (en) * | 2016-12-29 | 2021-01-19 | Htc Corporation | Tracking system, tracking device and tracking method |
| US10843068B2 (en) | 2017-01-18 | 2020-11-24 | Xvisio Technology Corp. | 6DoF inside-out tracking game controller |
| WO2019009163A1 (ja) * | 2017-07-04 | 2019-01-10 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システム、プレイヤ側装置、制御方法、及びプログラム |
| CN107506749A (zh) * | 2017-09-12 | 2017-12-22 | 广东技术师范学院 | 一种手语识别方法 |
| US11980507B2 (en) | 2018-05-02 | 2024-05-14 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
| US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
| US10939977B2 (en) | 2018-11-26 | 2021-03-09 | Augmedics Ltd. | Positioning marker |
| US11486961B2 (en) * | 2019-06-14 | 2022-11-01 | Chirp Microsystems | Object-localization and tracking using ultrasonic pulses with reflection rejection |
| US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
| CN114556441A (zh) | 2019-10-21 | 2022-05-27 | 索尼集团公司 | 信息处理装置、信息处理***、信息处理方法和程序 |
| US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
| US11389252B2 (en) | 2020-06-15 | 2022-07-19 | Augmedics Ltd. | Rotating marker for image guided surgery |
| US11684848B2 (en) * | 2021-09-28 | 2023-06-27 | Sony Group Corporation | Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces |
| US20240096033A1 (en) * | 2021-10-11 | 2024-03-21 | Meta Platforms Technologies, Llc | Technology for creating, replicating and/or controlling avatars in extended reality |
Family Cites Families (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4398799A (en) * | 1980-03-04 | 1983-08-16 | Pilkington P.E. Limited | Head-up displays |
| US5986643A (en) * | 1987-03-24 | 1999-11-16 | Sun Microsystems, Inc. | Tactile feedback mechanism for a data processing system |
| US5381158A (en) * | 1991-07-12 | 1995-01-10 | Kabushiki Kaisha Toshiba | Information retrieval apparatus |
| WO1994001042A1 (en) * | 1992-07-06 | 1994-01-20 | Kramer James F | Determination of kinematically constrained multi-articulated structures |
| US5590062A (en) * | 1993-07-02 | 1996-12-31 | Matsushita Electric Industrial Co., Ltd. | Simulator for producing various living environments mainly for visual perception |
| US5659691A (en) * | 1993-09-23 | 1997-08-19 | Virtual Universe Corporation | Virtual reality network with selective distribution and updating of data to reduce bandwidth requirements |
| US5638300A (en) * | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
| US5930741A (en) * | 1995-02-28 | 1999-07-27 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
| GB9505916D0 (en) * | 1995-03-23 | 1995-05-10 | Norton John M | Controller |
| US5704836A (en) * | 1995-03-23 | 1998-01-06 | Perception Systems, Inc. | Motion-based command generation technology |
| JP3464073B2 (ja) * | 1995-04-21 | 2003-11-05 | 株式会社タイトー | ゴルフゲーム機における画面表示方法 |
| US5583526A (en) * | 1995-07-28 | 1996-12-10 | Chrysler Corporation | Hand calibration system for virtual reality vehicle simulator |
| US5831584A (en) * | 1995-07-28 | 1998-11-03 | Chrysler Corporation | Hand calibration system and virtual display selection for vehicle simulator |
| JPH09153146A (ja) * | 1995-09-28 | 1997-06-10 | Toshiba Corp | 仮想空間表示方法 |
| US5786804A (en) * | 1995-10-06 | 1998-07-28 | Hewlett-Packard Company | Method and system for tracking attitude |
| US6278418B1 (en) * | 1995-12-29 | 2001-08-21 | Kabushiki Kaisha Sega Enterprises | Three-dimensional imaging system, game device, method for same and recording medium |
| US6072467A (en) * | 1996-05-03 | 2000-06-06 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Continuously variable control of animated on-screen characters |
| GB9613315D0 (en) * | 1996-06-25 | 1996-08-28 | Philips Electronics Nv | Virtual environment interaction and navigation device |
| US6084587A (en) * | 1996-08-02 | 2000-07-04 | Sensable Technologies, Inc. | Method and apparatus for generating and interfacing with a haptic virtual reality environment |
| CN1168057C (zh) * | 1996-08-14 | 2004-09-22 | 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 | 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的*** |
| DE19709456A1 (de) * | 1997-03-07 | 1998-09-10 | Maximilian Klein | Vorrichtung und Verfahren zum Erfassen bestimmter Bewegungszustände eines Benutzers |
| US5986549A (en) * | 1997-07-23 | 1999-11-16 | Teodorescu; Horia-Nicolai | Position and movement reasonant sensor |
| US6070269A (en) * | 1997-07-25 | 2000-06-06 | Medialab Services S.A. | Data-suit for real-time computer animation and virtual reality applications |
| US6522312B2 (en) * | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
| JPH1185725A (ja) * | 1997-09-04 | 1999-03-30 | Minolta Co Ltd | 仮想現実感装置 |
| US6298314B1 (en) * | 1997-10-02 | 2001-10-02 | Personal Electronic Devices, Inc. | Detecting the starting and stopping of movement of a person on foot |
| JPH11154178A (ja) * | 1997-11-19 | 1999-06-08 | Fujitsu Ltd | 通信管理装置及び記録媒体 |
| US6270414B2 (en) * | 1997-12-31 | 2001-08-07 | U.S. Philips Corporation | Exoskeletal platform for controlling multi-directional avatar kinetics in a virtual environment |
| US5984880A (en) * | 1998-01-20 | 1999-11-16 | Lander; Ralph H | Tactile feedback controlled by various medium |
| EP1061851B1 (de) * | 1998-03-07 | 2002-02-20 | Claus-Frenz Claussen | Verfahren und vorrichtung zur auswertung eines bewegungsmusters |
| US6215498B1 (en) * | 1998-09-10 | 2001-04-10 | Lionhearth Technologies, Inc. | Virtual command post |
| US6435794B1 (en) * | 1998-11-18 | 2002-08-20 | Scott L. Springer | Force display master interface device for teleoperation |
| FR2786899B1 (fr) * | 1998-12-03 | 2006-09-29 | Jean Bonnard | Indicateur de mouvements pour logiciels |
| JP2000207575A (ja) * | 1999-01-08 | 2000-07-28 | Nadeisu:Kk | 空間融合装置及びこれを適用した応用装置 |
| JP2000217091A (ja) * | 1999-01-20 | 2000-08-04 | Toshiba Corp | テレビ会議システム |
| US6972734B1 (en) * | 1999-06-11 | 2005-12-06 | Canon Kabushiki Kaisha | Mixed reality apparatus and mixed reality presentation method |
| JP3413128B2 (ja) * | 1999-06-11 | 2003-06-03 | キヤノン株式会社 | 複合現実感提示方法 |
| JP3413127B2 (ja) * | 1999-06-11 | 2003-06-03 | キヤノン株式会社 | 複合現実感装置及び複合現実感提示方法 |
| JP2000350865A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
| US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
| AU2001233019A1 (en) * | 2000-01-28 | 2001-08-07 | Intersense, Inc. | Self-referenced tracking |
| FI113404B (fi) * | 2000-06-08 | 2004-04-15 | Polar Electro Oy | Ranteessa pidettävä elektroninen laite ja sen ohjausmenetelmä |
| JP3517639B2 (ja) * | 2000-09-27 | 2004-04-12 | キヤノン株式会社 | 複合現実感提示装置及びその方法並びに記憶媒体 |
| US6955603B2 (en) * | 2001-01-31 | 2005-10-18 | Jeffway Jr Robert W | Interactive gaming device capable of perceiving user movement |
| JP3397772B2 (ja) * | 2001-03-13 | 2003-04-21 | キヤノン株式会社 | センサ取付装置、センサ又はマーカの取付装置 |
| KR20020073890A (ko) * | 2001-03-16 | 2002-09-28 | 한국전자통신연구원 | 손의 주물거림을 이용한 3 차원 모델링 시스템 및 그 방법 |
| US20040041828A1 (en) * | 2002-08-30 | 2004-03-04 | Zellhoefer Jon William | Adaptive non-contact computer user-interface system and method |
| US20040095311A1 (en) * | 2002-11-19 | 2004-05-20 | Motorola, Inc. | Body-centric virtual interactive apparatus and method |
| US7042438B2 (en) * | 2003-09-06 | 2006-05-09 | Mcrae Michael William | Hand manipulated data apparatus for computers and video games |
-
2002
- 2002-02-18 JP JP2002040092A patent/JP4054585B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-30 US US10/354,006 patent/US7610558B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7610558B2 (en) | 2009-10-27 |
| JP2003242527A (ja) | 2003-08-29 |
| US20030156144A1 (en) | 2003-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4054585B2 (ja) | 情報処理装置および方法 | |
| CN105359076B (zh) | 多步骤虚拟对象选择方法和装置 | |
| CN106023241B (zh) | 影像处理装置、影像处理方法及影像处理*** | |
| US8139087B2 (en) | Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program | |
| US8827808B2 (en) | Game device, method of controlling a game device, and non-transitory information storage medium | |
| JP5580855B2 (ja) | 障害物回避装置および障害物回避方法 | |
| CN104380347B (zh) | 视频处理设备、视频处理方法和视频处理*** | |
| CN108535868B (zh) | 头部佩戴型显示装置及其控制方法 | |
| JP6454851B2 (ja) | ３次元上の注視点の位置特定アルゴリズム | |
| US20130286047A1 (en) | Mirror system and control method therefor | |
| JPWO2017183346A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2010102215A (ja) | 表示装置、画像処理方法、及びコンピュータプログラム | |
| WO2019142560A1 (ja) | 視線を誘導する情報処理装置 | |
| JP2005174021A (ja) | 情報提示方法及び装置 | |
| CN113544766A (zh) | 在第一和第二增强现实观看器之间配准本地内容 | |
| CN109358754A (zh) | 一种混合现实头戴显示*** | |
| JP2021515302A (ja) | 視線追跡方法および装置 | |
| JP3762309B2 (ja) | 位置方向測定装置および情報処理方法 | |
| JP4708590B2 (ja) | 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム | |
| JPH10198506A (ja) | 座標検出システム | |
| EP3528024A1 (en) | Information processing device, information processing method, and program | |
| KR100917100B1 (ko) | 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법 | |
| JP2001084375A (ja) | 動作検証システムおよび非接触マニピュレーションシステム | |
| JP2019066618A (ja) | 画像表示システム、画像表示方法及び画像表示プログラム | |
| KR20130014275A (ko) | 디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071210 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |