JP2000350860A - 複合現実感装置及び複合現実空間画像の生成方法 - Google Patents
複合現実感装置及び複合現実空間画像の生成方法Info
- Publication number
- JP2000350860A JP2000350860A JP16471799A JP16471799A JP2000350860A JP 2000350860 A JP2000350860 A JP 2000350860A JP 16471799 A JP16471799 A JP 16471799A JP 16471799 A JP16471799 A JP 16471799A JP 2000350860 A JP2000350860 A JP 2000350860A
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- mixed reality
- player
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 現実空間にマーカが配置されていた場合であ
っても、プレーヤがマーカの存在を意識することなく、
複合現実感を体感することが可能な複合現実感装置を提
供すること。 【解決手段】 位置指標として設けられるマーカ部分の
画像に、マーカを設ける前の現実物体画像などあらかじ
め用意した画像によって置き換えたり、仮想画像を重畳
することによって、プレーヤが観察する複合現実空間画
像からマーカを消去する。
っても、プレーヤがマーカの存在を意識することなく、
複合現実感を体感することが可能な複合現実感装置を提
供すること。 【解決手段】 位置指標として設けられるマーカ部分の
画像に、マーカを設ける前の現実物体画像などあらかじ
め用意した画像によって置き換えたり、仮想画像を重畳
することによって、プレーヤが観察する複合現実空間画
像からマーカを消去する。
Description
【０００１】
【発明の属する技術分野】本発明は、マーカを位置指標
として用いる複合現実感装置において、複合現実空間を
観察するプレーヤがマーカの存在を意識することなく、
複合現実空間の観察に集中できる複合現実感装置及び複
合現実空間画像の生成方法に関する。
として用いる複合現実感装置において、複合現実空間を
観察するプレーヤがマーカの存在を意識することなく、
複合現実空間の観察に集中できる複合現実感装置及び複
合現実空間画像の生成方法に関する。
【０００２】
【従来の技術】近年、現実空間と仮想空間の継ぎ目のな
い結合を目的とした複合現実感（Mixed Reallity、Ｍ
Ｒ）に関する研究が盛んになっている。ＭＲは従来、現
実空間と切り離された状況でのみ体験可能であったバー
チャルリアリティ（ＶＲ）の世界と現実空間との共存を
目的とし、ＶＲを増強する技術として注目されている。
い結合を目的とした複合現実感（Mixed Reallity、Ｍ
Ｒ）に関する研究が盛んになっている。ＭＲは従来、現
実空間と切り離された状況でのみ体験可能であったバー
チャルリアリティ（ＶＲ）の世界と現実空間との共存を
目的とし、ＶＲを増強する技術として注目されている。
【０００３】複合現実感を実現する装置として代表的な
ものは、ヘッドマウントディスプレイ（ＨＭＤ）であ
る。すなわち、現実空間と仮想空間をＨＭＤに合成して
表示することにより、複合現実感を実現するものであ
る。また、ＨＭＤを用いたＭＲの方式としては、半透過
型（シースルー型）のヘッドマウントディスプレイ（Ｈ
ＭＤ）にＣＧ等の画像を重畳する光学シースルー方式
と、ＨＭＤに装着したビデオカメラで撮影した画像デー
タにＣＧ等の画像を合成した後、ＨＭＤに表示するビデ
オシースルー方式がある。
ものは、ヘッドマウントディスプレイ（ＨＭＤ）であ
る。すなわち、現実空間と仮想空間をＨＭＤに合成して
表示することにより、複合現実感を実現するものであ
る。また、ＨＭＤを用いたＭＲの方式としては、半透過
型（シースルー型）のヘッドマウントディスプレイ（Ｈ
ＭＤ）にＣＧ等の画像を重畳する光学シースルー方式
と、ＨＭＤに装着したビデオカメラで撮影した画像デー
タにＣＧ等の画像を合成した後、ＨＭＤに表示するビデ
オシースルー方式がある。
【０００４】ＭＲの用途としては、患者の体内の様子を
透過しているように医師に提示する医療補助の用途や、
工場において製品の組み立て手順を実物に重ねて表示す
る作業補助の用途など、今までのＶＲとは質的に全く異
なった新たな分野が期待されている。
透過しているように医師に提示する医療補助の用途や、
工場において製品の組み立て手順を実物に重ねて表示す
る作業補助の用途など、今までのＶＲとは質的に全く異
なった新たな分野が期待されている。
【０００５】これらの応用に対して共通に要求されるの
は、現実空間と仮想空間の間の”ずれ”をいかにして取
り除くかという技術である。”ずれ”は位置ずれ、時間
ずれ、質的ずれに分類可能であり、この中でももっとも
基本的な要求といえる位置ずれの解消については、従来
から多くの取り組みが行われてきた。
は、現実空間と仮想空間の間の”ずれ”をいかにして取
り除くかという技術である。”ずれ”は位置ずれ、時間
ずれ、質的ずれに分類可能であり、この中でももっとも
基本的な要求といえる位置ずれの解消については、従来
から多くの取り組みが行われてきた。
【０００６】特にビデオシースルー方式ＭＲの場合、位
置ずれを補正する方法として画像処理の手法が比較的容
易に適用できるため、画像処理を利用した位置合わせに
ついて従来提案がなされている。
置ずれを補正する方法として画像処理の手法が比較的容
易に適用できるため、画像処理を利用した位置合わせに
ついて従来提案がなされている。
【０００７】具体的には、現実空間の所定位置に、画像
処理によって検出しやすい色で印付けされたマーカを配
置し、プレーヤが装着したカメラで撮影した画像から検
出したマーカ位置によって 視点位置を計算する方法
や、画像中のマーカ位置によって位置姿勢センサの出力
信号を補正する方法などである。
処理によって検出しやすい色で印付けされたマーカを配
置し、プレーヤが装着したカメラで撮影した画像から検
出したマーカ位置によって 視点位置を計算する方法
や、画像中のマーカ位置によって位置姿勢センサの出力
信号を補正する方法などである。
【０００８】
【発明が解決しようとする課題】画像データ中のマーカ
を検出し、その結果によってプレーヤの位置姿勢を推定
する場合には、マーカは、画像中に適度な大きさかつほ
ぼ均一な間隔で現れる必要がある。また、視点位置の計
算には十分な個数のマーカが同時に画像中で検出される
必要があるため、画像中である程度狭い間隔で観測され
るようにマーカを配置する必要がある。
を検出し、その結果によってプレーヤの位置姿勢を推定
する場合には、マーカは、画像中に適度な大きさかつほ
ぼ均一な間隔で現れる必要がある。また、視点位置の計
算には十分な個数のマーカが同時に画像中で検出される
必要があるため、画像中である程度狭い間隔で観測され
るようにマーカを配置する必要がある。
【０００９】一方、マーカの追跡精度や識別精度を上げ
るためには，画像中である程度広い間隔で観測されるよ
うにマーカを配置する必要がある。
るためには，画像中である程度広い間隔で観測されるよ
うにマーカを配置する必要がある。
【００１０】プレーヤが一人の場合であれば、このよう
な条件を満たすようにマーカを配置することは困難では
ないが、複数のプレーヤが共通の複合現実空間を共有す
るようなアプリケーションにおいては、あるプレーヤか
らは等間隔で観測可能に配置されたマーカが、他のプレ
ーヤからは等間隔に観測されないことが起こりうる。
な条件を満たすようにマーカを配置することは困難では
ないが、複数のプレーヤが共通の複合現実空間を共有す
るようなアプリケーションにおいては、あるプレーヤか
らは等間隔で観測可能に配置されたマーカが、他のプレ
ーヤからは等間隔に観測されないことが起こりうる。
【００１１】そのため、特開平１１−８４３０７号公報
では、２人のプレーヤが現実物体であるテーブル上で仮
想のパックを打ち合うエアホッケーゲームにおいて、プ
レーヤごとに異なる色のマーカを設けることによって、
各プレーヤからマーカが好適な配置と大きさで観測でき
るように構成している。
では、２人のプレーヤが現実物体であるテーブル上で仮
想のパックを打ち合うエアホッケーゲームにおいて、プ
レーヤごとに異なる色のマーカを設けることによって、
各プレーヤからマーカが好適な配置と大きさで観測でき
るように構成している。
【００１２】しかしながら、同一複合現実空間を共有す
るプレーヤが増えると、色分けによるマーカ配置が困難
になってくる。すなわち、画像処理によって色を検出す
るためには、マーカと背景物体の色および異なるユーザ
間のマーカの色はそれぞれ画像処理によって容易に検
出、分離が可能な色である必要があるが、使用する色が
増加するとこの条件をみたすことが困難になり、抽出誤
りやマーカ相互の識別誤りの発生原因となる。
るプレーヤが増えると、色分けによるマーカ配置が困難
になってくる。すなわち、画像処理によって色を検出す
るためには、マーカと背景物体の色および異なるユーザ
間のマーカの色はそれぞれ画像処理によって容易に検
出、分離が可能な色である必要があるが、使用する色が
増加するとこの条件をみたすことが困難になり、抽出誤
りやマーカ相互の識別誤りの発生原因となる。
【００１３】図１０は、複数色のマーカを用いた際の誤
認識原因について説明する図である。図１０において、
横軸は赤、縦軸は緑を示し、説明を簡略化するために青
色の軸を省略して記載してある。図において、領域Ａは
マーカｔｙｐｅＡ（赤色マーカ）の色分布を定義する領
域、領域ＢはマーカｔｙｐｅＢ（橙色マーカ）の色分布
を定義する領域をそれぞれ示している。このように、プ
レーヤが増加し、似た色をマーカとして使用した場合、
光源の位置や撮影の角度によって例えば赤色マーカを観
測したにもかかわらず，領域Ｂの（即ち橙色マーカの）
色として検出されてしまう可能性があり、誤検出のもと
となってしまう。
認識原因について説明する図である。図１０において、
横軸は赤、縦軸は緑を示し、説明を簡略化するために青
色の軸を省略して記載してある。図において、領域Ａは
マーカｔｙｐｅＡ（赤色マーカ）の色分布を定義する領
域、領域ＢはマーカｔｙｐｅＢ（橙色マーカ）の色分布
を定義する領域をそれぞれ示している。このように、プ
レーヤが増加し、似た色をマーカとして使用した場合、
光源の位置や撮影の角度によって例えば赤色マーカを観
測したにもかかわらず，領域Ｂの（即ち橙色マーカの）
色として検出されてしまう可能性があり、誤検出のもと
となってしまう。
【００１４】また、各プレーヤごとに異なる色のマーカ
を複数配置することによって現実空間に非常に多くのマ
ーカが存在することになり、プレーヤの視界が煩雑にな
る上、複合現実空間を体感する上で臨場感などを損なう
原因となる。
を複数配置することによって現実空間に非常に多くのマ
ーカが存在することになり、プレーヤの視界が煩雑にな
る上、複合現実空間を体感する上で臨場感などを損なう
原因となる。
【００１５】本発明の目的は、上述の課題を解決し、現
実空間にマーカが配置されていた場合であっても、プレ
ーヤがマーカの存在を意識することなく、複合現実感を
体感することが可能な複合現実感装置及び複合現実空間
画像の生成方法を提供することにある。
実空間にマーカが配置されていた場合であっても、プレ
ーヤがマーカの存在を意識することなく、複合現実感を
体感することが可能な複合現実感装置及び複合現実空間
画像の生成方法を提供することにある。
【００１６】
【課題を解決するための手段】すなわち、本発明の要旨
は、現実空間と仮想空間とを合成した複合現実空間画像
を視認させることによって、プレーヤに複合現実感を体
感させる複合現実感装置であって、現実空間には、絶対
位置指標としてのマーカが配置され、プレーヤの略視点
位置から現実空間を撮影した画像データから、マーカを
検出するマーカ検出手段と、検出したマーカを含む周辺
領域（マーカ領域）について、マーカの画像を含まない
画像がプレーヤに視認されるようにプレーヤに視認させ
る複合現実空間画像を生成する複合現実空間画像生成手
段とを有することを特徴とする複合現実感装置に存す
る。
は、現実空間と仮想空間とを合成した複合現実空間画像
を視認させることによって、プレーヤに複合現実感を体
感させる複合現実感装置であって、現実空間には、絶対
位置指標としてのマーカが配置され、プレーヤの略視点
位置から現実空間を撮影した画像データから、マーカを
検出するマーカ検出手段と、検出したマーカを含む周辺
領域（マーカ領域）について、マーカの画像を含まない
画像がプレーヤに視認されるようにプレーヤに視認させ
る複合現実空間画像を生成する複合現実空間画像生成手
段とを有することを特徴とする複合現実感装置に存す
る。
【００１７】また、本発明の別の要旨は、絶対位置指標
としてのマーカが配置された現実空間と、仮想空間とを
合成し、プレーヤに複合現実感を体感させる複合現実空
間画像を生成する複合現実空間画像の生成方法であっ
て、プレーヤの略視点位置から現実空間を撮影した画像
データから、マーカを検出するマーカ検出ステップと、
検出したマーカを含む周辺領域（マーカ領域）につい
て、マーカの画像を含まない画像がプレーヤに視認され
るようにプレーヤに視認させる複合現実空間画像を生成
する複合現実空間画像生成ステップとを有することを特
徴とする複合現実空間画像の生成方法に存する。
としてのマーカが配置された現実空間と、仮想空間とを
合成し、プレーヤに複合現実感を体感させる複合現実空
間画像を生成する複合現実空間画像の生成方法であっ
て、プレーヤの略視点位置から現実空間を撮影した画像
データから、マーカを検出するマーカ検出ステップと、
検出したマーカを含む周辺領域（マーカ領域）につい
て、マーカの画像を含まない画像がプレーヤに視認され
るようにプレーヤに視認させる複合現実空間画像を生成
する複合現実空間画像生成ステップとを有することを特
徴とする複合現実空間画像の生成方法に存する。
【００１８】また、本発明の別の要旨は、コンピュータ
装置が実行可能なプログラムを格納した記憶媒体であっ
て、プログラムを実行したコンピュータ装置を、本発明
の複合現実感装置として機能させることを特徴とする記
憶媒体に存する。
装置が実行可能なプログラムを格納した記憶媒体であっ
て、プログラムを実行したコンピュータ装置を、本発明
の複合現実感装置として機能させることを特徴とする記
憶媒体に存する。
【００１９】また、本発明の別の要旨は、本発明の複合
現実空間画像の生成方法を、コンピュータ装置が実行可
能なプログラムとして格納した記憶媒体に存する。
現実空間画像の生成方法を、コンピュータ装置が実行可
能なプログラムとして格納した記憶媒体に存する。
【００２０】
【発明の実施の形態】以下、図面を参照して本発明のマ
ーカ配置方法の好ましい実施形態について説明する。本
実施形態は、３人のプレーヤーが同一仮想空間を共有し
て行う複合現実感ゲームであるが、本発明による複合現
実空間におけるマーカ配置方法は、その他任意の用途に
適用することができる。
ーカ配置方法の好ましい実施形態について説明する。本
実施形態は、３人のプレーヤーが同一仮想空間を共有し
て行う複合現実感ゲームであるが、本発明による複合現
実空間におけるマーカ配置方法は、その他任意の用途に
適用することができる。
【００２１】図１は、本発明によるマーカ配置方法を適
用した複合現実感ゲームを実施するための複合現実感装
置の構成を示す図である。図１は、プレーヤが３人の場
合の構成を示している。複合現実感装置は、各プレーヤ
ごとに設けられたプレーヤ処理部１００〜３００と、各
プレーヤ処理部に接続された制御部４００とから構成さ
れており、プレーヤの増減によって制御部４００に接続
されるプレーヤ処理部も増減する。
用した複合現実感ゲームを実施するための複合現実感装
置の構成を示す図である。図１は、プレーヤが３人の場
合の構成を示している。複合現実感装置は、各プレーヤ
ごとに設けられたプレーヤ処理部１００〜３００と、各
プレーヤ処理部に接続された制御部４００とから構成さ
れており、プレーヤの増減によって制御部４００に接続
されるプレーヤ処理部も増減する。
【００２２】プレーヤ処理部１００〜３００はそれぞれ
同一の構成を有しており、プレーヤの体に装着されたセ
ンサや表示装置などの入出力部分（１０２、１０３、１
０５、１０１１、１０２１、１０２２）と、センサから
収集した信号処理及びこの信号処理結果と制御部から供
給される他プレーヤの情報を元にして表示装置に表示す
べき画像を生成する回路部分（１０１、１０４、１０
６、１０７）とから構成される。
同一の構成を有しており、プレーヤの体に装着されたセ
ンサや表示装置などの入出力部分（１０２、１０３、１
０５、１０１１、１０２１、１０２２）と、センサから
収集した信号処理及びこの信号処理結果と制御部から供
給される他プレーヤの情報を元にして表示装置に表示す
べき画像を生成する回路部分（１０１、１０４、１０
６、１０７）とから構成される。
【００２３】以下、図１と本実施形態において各プレー
ヤが装着する入出力機器の種類と装着場所を示す図２を
参照して、プレーヤ処理部の構成を説明する。図２に示
すように、本実施形態において各プレーヤは、頭部に現
実空間と仮想空間とを合成して表示するための表示装置
である頭部装着型画像表示装置（以下ＨＭＤと言う）１
０５を装着する。本発明においてＨＭＤはビデオシース
ルー型でも光学シースルー型でもよいが、以下の説明で
はビデオシースルー型ＨＭＤを用いた場合を例にして説
明する。
ヤが装着する入出力機器の種類と装着場所を示す図２を
参照して、プレーヤ処理部の構成を説明する。図２に示
すように、本実施形態において各プレーヤは、頭部に現
実空間と仮想空間とを合成して表示するための表示装置
である頭部装着型画像表示装置（以下ＨＭＤと言う）１
０５を装着する。本発明においてＨＭＤはビデオシース
ルー型でも光学シースルー型でもよいが、以下の説明で
はビデオシースルー型ＨＭＤを用いた場合を例にして説
明する。
【００２４】ＨＭＤ１０５の目に近い部分には、２つの
小型ビデオカメラ１０３が設けられている。このビデオ
カメラ１０３で撮影された、プレーヤの視点とほぼ同一
の視点による映像は、画像入力部１０４を介して後述す
る画像合成部１０６に供給され、仮想空間画像と重畳さ
れてプレーヤのＨＭＤ１０５に表示される。また、画像
入力部１０４は画像合成部１０６の他に、入力画像を頭
部位置検出部１０１へ供給する。
小型ビデオカメラ１０３が設けられている。このビデオ
カメラ１０３で撮影された、プレーヤの視点とほぼ同一
の視点による映像は、画像入力部１０４を介して後述す
る画像合成部１０６に供給され、仮想空間画像と重畳さ
れてプレーヤのＨＭＤ１０５に表示される。また、画像
入力部１０４は画像合成部１０６の他に、入力画像を頭
部位置検出部１０１へ供給する。
【００２５】また、プレーヤの頭部にはさらに、例えば
磁気センサからなる頭部位置姿勢センサ１０１１が装着
されている。頭部位置姿勢センサ１０１１は、例えばＨ
ＭＤ１０５を利用して装着することができる。頭部位置
姿勢センサ１０１１の出力信号は頭部位置姿勢計測部１
０１に入力される。頭部位置姿勢計測部１０１は、画像
入力部１０４から供給される画像を用いて位置補正用の
マーカを検出し、頭部位置姿勢センサ１０１１より供給
される信号を補正することで、プレーヤの視点位置、姿
勢を推定する。
磁気センサからなる頭部位置姿勢センサ１０１１が装着
されている。頭部位置姿勢センサ１０１１は、例えばＨ
ＭＤ１０５を利用して装着することができる。頭部位置
姿勢センサ１０１１の出力信号は頭部位置姿勢計測部１
０１に入力される。頭部位置姿勢計測部１０１は、画像
入力部１０４から供給される画像を用いて位置補正用の
マーカを検出し、頭部位置姿勢センサ１０１１より供給
される信号を補正することで、プレーヤの視点位置、姿
勢を推定する。
【００２６】一方、プレーヤの腕には、対話操作入力装
置１０２が装着されている。対話操作入力装置１０２
は、装着された部位の位置、姿勢を検出する位置姿勢セ
ンサ１０２１と、装着部位の動きに応じてオン・オフす
るスイッチ（トリガ）１０２２とを有し、プレーヤが所
定の動作を行うことによってコマンド入力を行うための
装置である。
置１０２が装着されている。対話操作入力装置１０２
は、装着された部位の位置、姿勢を検出する位置姿勢セ
ンサ１０２１と、装着部位の動きに応じてオン・オフす
るスイッチ（トリガ）１０２２とを有し、プレーヤが所
定の動作を行うことによってコマンド入力を行うための
装置である。
【００２７】以下の説明においては、複数のプレーヤ
（本実施形態では３人）が同一の仮想空間を共有し、仮
想空間上に出現する敵からの攻撃を避けながら、敵を撃
破し、時間あるいは敵の攻撃によるダメージが所定量に
達するまでに撃破した敵の数あるいは点数を競うゲーム
であって、対話操作入力装置１０２を用いて以下のよう
なコマンド入力が可能な場合を例にして説明する。
（本実施形態では３人）が同一の仮想空間を共有し、仮
想空間上に出現する敵からの攻撃を避けながら、敵を撃
破し、時間あるいは敵の攻撃によるダメージが所定量に
達するまでに撃破した敵の数あるいは点数を競うゲーム
であって、対話操作入力装置１０２を用いて以下のよう
なコマンド入力が可能な場合を例にして説明する。
【００２８】・コマンド１（照準コマンド） 照準位置を仮想空間上で指し示す照準線を表示するコマ
ンド。手の甲を上にした状態で、肘よりも手首を上方に
位置させることにより入力する。 ・コマンド２（射撃コマンド） 照準線が示す照準位置を射撃するコマンド。照準コマン
ドにより照準線が表示された状態で、一定の加速度以上
で腕（肘から手のひらにかけて）を前後に往復移動させ
ることにより入力する。 ・コマンド３（防御コマンド） 相手方の攻撃を防御するコマンド。手の甲を相手方に向
けた状態で、指先を上方に向けることにより入力する。 ・コマンド４（リセットコマンド） 射撃コマンドを入力した後、再度照準コマンドを入力す
る際に入力するコマンド。腕を下に垂らした状態にする
ことで入力する。
ンド。手の甲を上にした状態で、肘よりも手首を上方に
位置させることにより入力する。 ・コマンド２（射撃コマンド） 照準線が示す照準位置を射撃するコマンド。照準コマン
ドにより照準線が表示された状態で、一定の加速度以上
で腕（肘から手のひらにかけて）を前後に往復移動させ
ることにより入力する。 ・コマンド３（防御コマンド） 相手方の攻撃を防御するコマンド。手の甲を相手方に向
けた状態で、指先を上方に向けることにより入力する。 ・コマンド４（リセットコマンド） 射撃コマンドを入力した後、再度照準コマンドを入力す
る際に入力するコマンド。腕を下に垂らした状態にする
ことで入力する。
【００２９】すなわち、本実施形態のゲームにおけるプ
レーヤの動作としては通常、照準コマンド→射撃コマン
ド→リセットコマンド→照準コマンドというサイクルで
コマンドの入力を繰り返し、このサイクルの中で必要に
応じて防御コマンドを入力することになる。
レーヤの動作としては通常、照準コマンド→射撃コマン
ド→リセットコマンド→照準コマンドというサイクルで
コマンドの入力を繰り返し、このサイクルの中で必要に
応じて防御コマンドを入力することになる。
【００３０】対話操作入力装置１０２によって入力され
たコマンドは、画像生成部１０７に供給される。
たコマンドは、画像生成部１０７に供給される。
【００３１】画像生成部１０７は、頭部位置姿勢計測部
１０１から供給されるプレーヤの頭部位置及び姿勢情報
と対話操作入力装置１０２から供給されるコマンド情報
を制御部４００へ転送する。また、プレーヤの頭部位置
・姿勢情報及びコマンド情報と、制御部４００から受信
した他プレーヤの頭部位置・姿勢情報並びにコマンド情
報とモデル情報、敵キャラクタの位置、移動方向、状態
情報、空間内に配置された障害物の位置、形状などの情
報を用いて、対応するプレーヤのＨＭＤ１０５に表示す
べき仮想空間画像を作成し、画像合成部１０６へ出力す
る。
１０１から供給されるプレーヤの頭部位置及び姿勢情報
と対話操作入力装置１０２から供給されるコマンド情報
を制御部４００へ転送する。また、プレーヤの頭部位置
・姿勢情報及びコマンド情報と、制御部４００から受信
した他プレーヤの頭部位置・姿勢情報並びにコマンド情
報とモデル情報、敵キャラクタの位置、移動方向、状態
情報、空間内に配置された障害物の位置、形状などの情
報を用いて、対応するプレーヤのＨＭＤ１０５に表示す
べき仮想空間画像を作成し、画像合成部１０６へ出力す
る。
【００３２】画像合成部１０６は、プレーヤの視点に近
い位置に取り付けられたビデオカメラ１０３の画像（実
空間画像）と、画像生成部１０７が作成した仮想空間画
像とを合成し、プレーヤのＨＭＤ１０５に供給する。
い位置に取り付けられたビデオカメラ１０３の画像（実
空間画像）と、画像生成部１０７が作成した仮想空間画
像とを合成し、プレーヤのＨＭＤ１０５に供給する。
【００３３】制御部４００は、上述のようなプレーヤ処
理部１００〜３００が接続された複合現実空間管理部１
と、現実物***置計測部２とから構成されている。複合
現実空間管理部１は、各プレーヤ処理部１００〜３００
から受信したプレーヤの頭部位置、姿勢に関する情報
と、対話操作入力装置１０２の位置、姿勢及びコマンド
情報とを配信するとともに、仮想空間上に表示する敵キ
ャラクタの生成、消滅、制御及び射撃コマンドによる射
撃の当たり判定等のゲーム処理を行う。敵キャラクタの
モデルや位置、移動方向及び、状態（撃破されたか等）
の情報も各プレーヤの情報とともに接続される全てのユ
ーザに配信される。
理部１００〜３００が接続された複合現実空間管理部１
と、現実物***置計測部２とから構成されている。複合
現実空間管理部１は、各プレーヤ処理部１００〜３００
から受信したプレーヤの頭部位置、姿勢に関する情報
と、対話操作入力装置１０２の位置、姿勢及びコマンド
情報とを配信するとともに、仮想空間上に表示する敵キ
ャラクタの生成、消滅、制御及び射撃コマンドによる射
撃の当たり判定等のゲーム処理を行う。敵キャラクタの
モデルや位置、移動方向及び、状態（撃破されたか等）
の情報も各プレーヤの情報とともに接続される全てのユ
ーザに配信される。
【００３４】また、図３に示すように、ゲームの難易度
を調整するために射撃の障害となるような現実物体３１
〜３３を配置する様な場合には、この現実物体３１〜３
３の形状及び位置に関する情報も複合現実空間管理部１
が管理する。
を調整するために射撃の障害となるような現実物体３１
〜３３を配置する様な場合には、この現実物体３１〜３
３の形状及び位置に関する情報も複合現実空間管理部１
が管理する。
【００３５】図３（ａ）はあるプレーヤから見たゲーム
フィールド（複合現実空間）の斜視図、図３（ｂ）はそ
の上面図をそれぞれ示す。図３においては、（現実空間
の）テーブル３０の上に、３つの現実空間物体３１〜３
３を障害物として配置した場合を示す。本実施形態にお
いては、上述のように対話操作入力装置１０２を用いた
照準コマンドの入力動作が、肘より手首を高くする動作
であるため、一般的な体型において腰の高さ程度の高さ
を有するテーブル３０の上に現実空間物体を配置してい
るが、対話操作入力装置によるコマンド入力動作によっ
てはテーブルが不要であることは言うまでもない。
フィールド（複合現実空間）の斜視図、図３（ｂ）はそ
の上面図をそれぞれ示す。図３においては、（現実空間
の）テーブル３０の上に、３つの現実空間物体３１〜３
３を障害物として配置した場合を示す。本実施形態にお
いては、上述のように対話操作入力装置１０２を用いた
照準コマンドの入力動作が、肘より手首を高くする動作
であるため、一般的な体型において腰の高さ程度の高さ
を有するテーブル３０の上に現実空間物体を配置してい
るが、対話操作入力装置によるコマンド入力動作によっ
てはテーブルが不要であることは言うまでもない。
【００３６】図３において、現実空間物体３１、３２は
固定、３３は可動とされている。可動の現実空間物体が
あると、ゲームの難易度を動的に変化させることができ
る。例えば、可動現実物体３３がランダムなスピードで
左右に移動すれば、標的である敵キャラクタの射撃は静
的な現実物体３１、３２のみが配置されている場合より
も更に難しくなる。可動現実物体の移動制御は、複合現
実空間管理部１が行っても、他の制御回路によって行っ
てもよい。この場合、可動物体のモデルは複合現実空間
管理部１が管理し、またその位置は可動物体３３に設け
た物***置センサ３３１を現実物***置計測部２によっ
て計測することになる。
固定、３３は可動とされている。可動の現実空間物体が
あると、ゲームの難易度を動的に変化させることができ
る。例えば、可動現実物体３３がランダムなスピードで
左右に移動すれば、標的である敵キャラクタの射撃は静
的な現実物体３１、３２のみが配置されている場合より
も更に難しくなる。可動現実物体の移動制御は、複合現
実空間管理部１が行っても、他の制御回路によって行っ
てもよい。この場合、可動物体のモデルは複合現実空間
管理部１が管理し、またその位置は可動物体３３に設け
た物***置センサ３３１を現実物***置計測部２によっ
て計測することになる。
【００３７】以上説明したような複合現実感装置は、制
御部４００をサーバー、プレーヤ処理部１００〜３００
（の回路部分）をクライアントとするクライアント＝サ
ーバーシステムによって実現することができる。個々の
プレーヤに関する処理をクライアントで分散して処理す
ることにより、プレーヤの増減に柔軟に対処可能であ
る。より具体的に述べれば、プレーヤ処理部はビデオ入
出力機能及び各種センサからの信号受信機能を有する汎
用コンピュータ装置により、制御部４００も各プレーヤ
処理部と通信可能なインタフェースと、物***置計測部
２からの計測信号受信機能を有する汎用コンピュータ装
置により実現できる。
御部４００をサーバー、プレーヤ処理部１００〜３００
（の回路部分）をクライアントとするクライアント＝サ
ーバーシステムによって実現することができる。個々の
プレーヤに関する処理をクライアントで分散して処理す
ることにより、プレーヤの増減に柔軟に対処可能であ
る。より具体的に述べれば、プレーヤ処理部はビデオ入
出力機能及び各種センサからの信号受信機能を有する汎
用コンピュータ装置により、制御部４００も各プレーヤ
処理部と通信可能なインタフェースと、物***置計測部
２からの計測信号受信機能を有する汎用コンピュータ装
置により実現できる。
【００３８】ただし、３次元の画像表示に関する演算を
実時間で行う必要があるため、この様な演算に特化した
アクセラレータ（いわゆる３Ｄアクセラレータ）等を有
する比較的高速なコンピュータ装置を用いることが好ま
しい。また、制御部４００とプレーヤ処理部１００〜３
００との通信も１００ＢＡＳＥ−Ｔなど容量の大きな回
線による接続が好ましい。通信回線の容量が小さいとプ
レーヤ数の増加に伴い処理速度の低下が大きくなる。
実時間で行う必要があるため、この様な演算に特化した
アクセラレータ（いわゆる３Ｄアクセラレータ）等を有
する比較的高速なコンピュータ装置を用いることが好ま
しい。また、制御部４００とプレーヤ処理部１００〜３
００との通信も１００ＢＡＳＥ−Ｔなど容量の大きな回
線による接続が好ましい。通信回線の容量が小さいとプ
レーヤ数の増加に伴い処理速度の低下が大きくなる。
【００３９】（マーカ配置方法）図４は、本実施形態に
おけるマーカ配置の一例を示す斜視図である。本実施形
態のゲームにおいては、現実物体による障害物を配置す
るが、その障害物を利用してマーカを配置することによ
り、各プレーヤの移動範囲内において視野に入るマーカ
を制限しつつ、前述の条件を満たすことが可能となる。
おけるマーカ配置の一例を示す斜視図である。本実施形
態のゲームにおいては、現実物体による障害物を配置す
るが、その障害物を利用してマーカを配置することによ
り、各プレーヤの移動範囲内において視野に入るマーカ
を制限しつつ、前述の条件を満たすことが可能となる。
【００４０】図５（ａ）〜（ｃ）はそれぞれ、図４にお
けるプレーヤＡ，Ｂ，Ｃからみることのできるマーカを
抽出して示した図である。このように、各プレーヤから
見えるマーカはそれぞれほぼ均等の間隔かつ視点位置の
計算に必要な数観察されるが、他プレーヤ用のマーカは
視認されないため、色を変える必要がない。また、図４
に示すように複数のプレーヤ間で同じマーカを共有する
ことも可能となる。
けるプレーヤＡ，Ｂ，Ｃからみることのできるマーカを
抽出して示した図である。このように、各プレーヤから
見えるマーカはそれぞれほぼ均等の間隔かつ視点位置の
計算に必要な数観察されるが、他プレーヤ用のマーカは
視認されないため、色を変える必要がない。また、図４
に示すように複数のプレーヤ間で同じマーカを共有する
ことも可能となる。
【００４１】図６（ａ）〜（ｃ）は、障害物を利用しな
い場合に各プレーヤから観察されるマーカを図５（ａ）
〜（ｃ）に対応して示した図である。本発明によるマー
カ配置方法によって、各プレーヤが観察するマーカの数
が非常に少なくなり、かつ前述の条件を満たすようにな
ることが図５と図６との対比から明快に理解される。
い場合に各プレーヤから観察されるマーカを図５（ａ）
〜（ｃ）に対応して示した図である。本発明によるマー
カ配置方法によって、各プレーヤが観察するマーカの数
が非常に少なくなり、かつ前述の条件を満たすようにな
ることが図５と図６との対比から明快に理解される。
【００４２】プレーヤが増加した場合にはマーカを設け
る現実物体の形状（断面形状や高低等）を変化させた
り、色を追加するなどの方法で対処することができる。
色を増やす場合も従来の様に１プレーヤに１色を割り当
てるわけではないので、少ない色で多数のプレーヤに対
するマーカを配置することが可能となる。
る現実物体の形状（断面形状や高低等）を変化させた
り、色を追加するなどの方法で対処することができる。
色を増やす場合も従来の様に１プレーヤに１色を割り当
てるわけではないので、少ない色で多数のプレーヤに対
するマーカを配置することが可能となる。
【００４３】マーカの配置位置の決定は、人手に頼って
も良いが、あらかじめ現実物体のモデルと各プレーヤの
視点位置移動可能範囲のモデルを生成しておき、対象と
なるプレーヤから見える範囲でかつ他のプレーヤの視線
が遮られる範囲を求めることによって決定することがで
きる。さらに、設けたいマーカの数と配置規則を用いて
位置を算出するようにしても良い。逆に、このような条
件を満たすような障害物形状及び／または配置を算出す
るように構成しても良い。
も良いが、あらかじめ現実物体のモデルと各プレーヤの
視点位置移動可能範囲のモデルを生成しておき、対象と
なるプレーヤから見える範囲でかつ他のプレーヤの視線
が遮られる範囲を求めることによって決定することがで
きる。さらに、設けたいマーカの数と配置規則を用いて
位置を算出するようにしても良い。逆に、このような条
件を満たすような障害物形状及び／または配置を算出す
るように構成しても良い。
【００４４】また、障害物などマーカの配置に利用でき
る物体がない場合であっても、アプリケーション上問題
にならない位置に現実物体を配置し、現実物体の存在を
仮想空間画像で隠すことにより、プレーヤはマーカ用の
現実物体を意識することなく複合現実空間を体験するこ
とが可能となる。仮想空間画像によるマーカ等の隠蔽に
ついては後で詳述する。
る物体がない場合であっても、アプリケーション上問題
にならない位置に現実物体を配置し、現実物体の存在を
仮想空間画像で隠すことにより、プレーヤはマーカ用の
現実物体を意識することなく複合現実空間を体験するこ
とが可能となる。仮想空間画像によるマーカ等の隠蔽に
ついては後で詳述する。
【００４５】（マーカの検出）次にマーカの検出方法に
ついて説明する。図８は、図７に示す領域Ａに含まれる
色を有するｔｙｐｅＡのマーカ（赤色マーカ）を検出す
る処理の流れを示すフローチャートである。マーカ検出
処理及び検出したマーカの情報の利用はいずれも頭部位
置姿勢計測部１０１が行う。
ついて説明する。図８は、図７に示す領域Ａに含まれる
色を有するｔｙｐｅＡのマーカ（赤色マーカ）を検出す
る処理の流れを示すフローチャートである。マーカ検出
処理及び検出したマーカの情報の利用はいずれも頭部位
置姿勢計測部１０１が行う。
【００４６】まず、ビデオカメラ１０３で撮影された画
像を、画像入力部１０４を介して取得する（ステップＳ
７０１）。そして、２値化処理を行う（ステップＳ７０
２）。具体的には、図７（青の軸は省略して記載）に示
される領域Ａに含まれる画素を１、それ以外を０とす
る。すなわち、 Ｉｉ： 入力カラー画像Ｉを構成するｉ番目の画素 Ｒｉ，Ｇｉ，Ｂｉ： Ｉｉを構成するＲ、Ｇ、Ｂ各色の値 ＩＴＨｉ： ２値画像のｉ番目の画素値 ＲｍｉｎＡ、ＧｍｉｎＡ，ＢｍｉｎＡ： 領域Ａを定義するＲ、Ｇ、Ｂそれぞれの最小値 ＲｍａｘＡ、ＧｍａｘＡ，ＢｍａｘＡ： 領域Ａを定義するＲ、Ｇ、Ｂそれぞれの最大値 とすると、各Ｉｉごとに、ＲｍｉｎＡ＜Ｒｉ＜Ｒｍａｘ
ＡかつＧｍｉｎＡ＜Ｇｉ＜ＧｍａｘＡかつＢｍｉｎＡ＜
Ｂｉ＜ＢｍａｘＡを満たすＩｉに対応するＩＴＨｉに
１、それ以外のＩｉに対応するＩＴＨｉを０として、二
値画像ＩＴＨを形成する。
像を、画像入力部１０４を介して取得する（ステップＳ
７０１）。そして、２値化処理を行う（ステップＳ７０
２）。具体的には、図７（青の軸は省略して記載）に示
される領域Ａに含まれる画素を１、それ以外を０とす
る。すなわち、 Ｉｉ： 入力カラー画像Ｉを構成するｉ番目の画素 Ｒｉ，Ｇｉ，Ｂｉ： Ｉｉを構成するＲ、Ｇ、Ｂ各色の値 ＩＴＨｉ： ２値画像のｉ番目の画素値 ＲｍｉｎＡ、ＧｍｉｎＡ，ＢｍｉｎＡ： 領域Ａを定義するＲ、Ｇ、Ｂそれぞれの最小値 ＲｍａｘＡ、ＧｍａｘＡ，ＢｍａｘＡ： 領域Ａを定義するＲ、Ｇ、Ｂそれぞれの最大値 とすると、各Ｉｉごとに、ＲｍｉｎＡ＜Ｒｉ＜Ｒｍａｘ
ＡかつＧｍｉｎＡ＜Ｇｉ＜ＧｍａｘＡかつＢｍｉｎＡ＜
Ｂｉ＜ＢｍａｘＡを満たすＩｉに対応するＩＴＨｉに
１、それ以外のＩｉに対応するＩＴＨｉを０として、二
値画像ＩＴＨを形成する。
【００４７】ついで、二値画像ＩＴＨにラベリング処理
を行い、マーカ領域（クラスタ）を抽出する（ステップ
Ｓ７０３）。そして、各クラスタの重心（Ｘｎ，Ｙｎ）
と面積ａｎを算出して（ステップＳ７０４）、頭部位置
姿勢計測部１０１内部の、視点位置姿勢推定モジュール
（図示せず）へ出力する（ステップＳ７０５）。視点位
置姿勢推定モジュールにおいては、あらかじめ登録され
ているマーカの絶対座標と、画像から検出されたマーカ
位置（クラスタ重心）とから、頭部位置姿勢センサ１０
１１の出力信号の補正を行い、プレーヤの視点位置及び
姿勢を算出する。
を行い、マーカ領域（クラスタ）を抽出する（ステップ
Ｓ７０３）。そして、各クラスタの重心（Ｘｎ，Ｙｎ）
と面積ａｎを算出して（ステップＳ７０４）、頭部位置
姿勢計測部１０１内部の、視点位置姿勢推定モジュール
（図示せず）へ出力する（ステップＳ７０５）。視点位
置姿勢推定モジュールにおいては、あらかじめ登録され
ているマーカの絶対座標と、画像から検出されたマーカ
位置（クラスタ重心）とから、頭部位置姿勢センサ１０
１１の出力信号の補正を行い、プレーヤの視点位置及び
姿勢を算出する。
【００４８】図８においては、ある１色（赤色）のマー
カを検出する場合の処理について説明したが、プレーヤ
数が増加し、複数色のマーカが存在する場合には、２値
化画像を生成する際の閾値を変えて各色ごとの検出処理
を繰り返し行う。
カを検出する場合の処理について説明したが、プレーヤ
数が増加し、複数色のマーカが存在する場合には、２値
化画像を生成する際の閾値を変えて各色ごとの検出処理
を繰り返し行う。
【００４９】（マーカの消去）前述の通り、マーカは本
来頭部位置姿勢センサ１０１１の出力が正確であれば不
要なものである。さらに、マーカをプレーヤが認識する
ことにより臨場感を損なうおそれがあるなど、複合現実
空間においてマーカの存在は認識されないことが望まし
い。
来頭部位置姿勢センサ１０１１の出力が正確であれば不
要なものである。さらに、マーカをプレーヤが認識する
ことにより臨場感を損なうおそれがあるなど、複合現実
空間においてマーカの存在は認識されないことが望まし
い。
【００５０】そのため、本発明においては、プレーヤに
マーカの存在を意識させないように見かけ上マーカを消
去することを特徴とする。マーカを見かけ上消去する方
法としては、種々の方法が考えられるが、マーカに仮想
画像を重畳してプレーヤに表示する方法が処理の負荷や
違和感が小さいことから好ましい。
マーカの存在を意識させないように見かけ上マーカを消
去することを特徴とする。マーカを見かけ上消去する方
法としては、種々の方法が考えられるが、マーカに仮想
画像を重畳してプレーヤに表示する方法が処理の負荷や
違和感が小さいことから好ましい。
【００５１】図９は、マーカの消去方法を説明する図で
ある。図９（ａ）は、本実施形態におけるマーカ配置方
法で配置した、プレーヤＡに対するマーカを表したもの
で、図５（ａ）に対応する。このようにテーブル及び障
害物といった現実物体に配置されたマーカを消去するに
は、まずマーカを配置する前に配置の予定される場所を
ビデオやデジタルカメラ、スチルカメラ等で撮影し、画
像データをテクスチャとして取得しておく。そして、マ
ーカの配置後、プレーヤのＨＭＤに表示する画像データ
のうち、マーカ部分に相当する画像データをあらかじめ
取得しておいたテクスチャ画像で置き換えるか、重畳し
て画像データを表示する（図９（ｂ））。
ある。図９（ａ）は、本実施形態におけるマーカ配置方
法で配置した、プレーヤＡに対するマーカを表したもの
で、図５（ａ）に対応する。このようにテーブル及び障
害物といった現実物体に配置されたマーカを消去するに
は、まずマーカを配置する前に配置の予定される場所を
ビデオやデジタルカメラ、スチルカメラ等で撮影し、画
像データをテクスチャとして取得しておく。そして、マ
ーカの配置後、プレーヤのＨＭＤに表示する画像データ
のうち、マーカ部分に相当する画像データをあらかじめ
取得しておいたテクスチャ画像で置き換えるか、重畳し
て画像データを表示する（図９（ｂ））。
【００５２】このように画像データを置き換え／重畳す
ることにより、プレーヤはマーカの存在を認識すること
なく、ゲームに集中することが可能となる。テクスチャ
として用意する画像データは、実際に使用される条件
（光源位置や明るさ）の元で取得することが、視覚上の
違和感を低減する上で好ましいが、同じ材質の現実物体
に配置されるマーカを消去するテクスチャ画像を１つの
共通テクスチャとしてもよい。
ることにより、プレーヤはマーカの存在を認識すること
なく、ゲームに集中することが可能となる。テクスチャ
として用意する画像データは、実際に使用される条件
（光源位置や明るさ）の元で取得することが、視覚上の
違和感を低減する上で好ましいが、同じ材質の現実物体
に配置されるマーカを消去するテクスチャ画像を１つの
共通テクスチャとしてもよい。
【００５３】また、障害物を使用しないアプリケーショ
ンにおいて、マーカ配置のためのみに現実物体を配置し
たような場合や、個々のマーカに対して画像データを置
き換え／重畳するのが困難な場合などは、図９（ｃ）の
ように、現実物体をすべて覆うような画像９１を用いる
こともできる。この場合、どのような画像データを用い
るかは、アプリケーションによって適宜定めればよい。
たとえば、ゲームアプリケーションにおいては、逆にこ
の画像９１を利用して、仮想空間におけるステージの様
なものを形成しても良いし、現実空間との差を感じさせ
たくないアプリケーションであれば現実空間で撮影した
物体のデータにすればよい。もちろん、２次元画像デー
タでなく、３次元物体のデータとすることも可能であ
る。
ンにおいて、マーカ配置のためのみに現実物体を配置し
たような場合や、個々のマーカに対して画像データを置
き換え／重畳するのが困難な場合などは、図９（ｃ）の
ように、現実物体をすべて覆うような画像９１を用いる
こともできる。この場合、どのような画像データを用い
るかは、アプリケーションによって適宜定めればよい。
たとえば、ゲームアプリケーションにおいては、逆にこ
の画像９１を利用して、仮想空間におけるステージの様
なものを形成しても良いし、現実空間との差を感じさせ
たくないアプリケーションであれば現実空間で撮影した
物体のデータにすればよい。もちろん、２次元画像デー
タでなく、３次元物体のデータとすることも可能であ
る。
【００５４】
【他の実施形態】上述の実施形態では、マーカから得ら
れる情報は頭部位置姿勢センサ１０１１の誤差補正のた
めに用いていたが、頭部位置姿勢センサ１０１１を用い
ることなく、マーカから得られる情報のみからプレーヤ
の視点位置姿勢を求める事も可能であり、そのような用
途にも本発明を適用することが可能である。また、上述
の実施形態はビデオシースルー方式の複合現実感装置で
あったが、本発明は光学シースルー方式の複合現実感装
置にも同様に適用可能であることは言うまでもない。
れる情報は頭部位置姿勢センサ１０１１の誤差補正のた
めに用いていたが、頭部位置姿勢センサ１０１１を用い
ることなく、マーカから得られる情報のみからプレーヤ
の視点位置姿勢を求める事も可能であり、そのような用
途にも本発明を適用することが可能である。また、上述
の実施形態はビデオシースルー方式の複合現実感装置で
あったが、本発明は光学シースルー方式の複合現実感装
置にも同様に適用可能であることは言うまでもない。
【００５５】また、上述の実施形態においては、トリガ
１０２２を使用せず、対話操作入力装置の動きを検出し
てコマンドを入力したが、プレーヤがトリガ１０２２を
用いて各種コマンドを入力するようにしても、動作検出
とトリガのオン・オフとを組み合わせても良い。さら
に、対話操作入力装置に、プレーヤの動作に応じてオン
・オフするようなスイッチを組み込んでトリガとして用
いることもできる。
１０２２を使用せず、対話操作入力装置の動きを検出し
てコマンドを入力したが、プレーヤがトリガ１０２２を
用いて各種コマンドを入力するようにしても、動作検出
とトリガのオン・オフとを組み合わせても良い。さら
に、対話操作入力装置に、プレーヤの動作に応じてオン
・オフするようなスイッチを組み込んでトリガとして用
いることもできる。
【００５６】本発明の目的は、上述した実施形態の機能
を実現するソフトウェアのプログラムコードを記録した
記憶媒体（または記録媒体）を、システムあるいは装置
に供給し、そのシステムあるいは装置のコンピュータ
（またはCPUやMPU）が記憶媒体に格納されたプログラム
コードを読み出し実行することによっても、達成される
ことは言うまでもない。この場合、記憶媒体から読み出
されたプログラムコード自体が前述した実施形態の機能
を実現することになり、そのプログラムコードを記憶し
た記憶媒体は本発明を構成することになる。また、コン
ピュータが読み出したプログラムコードを実行すること
により、前述した実施形態の機能が実現されるだけでな
く、そのプログラムコードの指示に基づき、コンピュー
タ上で稼働しているオペレーティングシステム(OS)など
が実際の処理の一部または全部を行い、その処理によっ
て前述した実施形態の機能が実現される場合も含まれる
ことは言うまでもない。
を実現するソフトウェアのプログラムコードを記録した
記憶媒体（または記録媒体）を、システムあるいは装置
に供給し、そのシステムあるいは装置のコンピュータ
（またはCPUやMPU）が記憶媒体に格納されたプログラム
コードを読み出し実行することによっても、達成される
ことは言うまでもない。この場合、記憶媒体から読み出
されたプログラムコード自体が前述した実施形態の機能
を実現することになり、そのプログラムコードを記憶し
た記憶媒体は本発明を構成することになる。また、コン
ピュータが読み出したプログラムコードを実行すること
により、前述した実施形態の機能が実現されるだけでな
く、そのプログラムコードの指示に基づき、コンピュー
タ上で稼働しているオペレーティングシステム(OS)など
が実際の処理の一部または全部を行い、その処理によっ
て前述した実施形態の機能が実現される場合も含まれる
ことは言うまでもない。
【００５７】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００５８】
【発明の効果】以上説明したように、本発明によれば、
複合現実感装置において位置指針として用いられるマー
カを見かけ上消去することによって、プレーヤはマーカ
の存在を意識することがなく、臨場感を損なわずに複合
現実感を体感することができる。
複合現実感装置において位置指針として用いられるマー
カを見かけ上消去することによって、プレーヤはマーカ
の存在を意識することがなく、臨場感を損なわずに複合
現実感を体感することができる。
【図１】本発明によるマーカ配置方法を適用可能な複合
現実感装置の構成例を示すブロック図である。
現実感装置の構成例を示すブロック図である。
【図２】プレーヤが装着する装置の種類と装着部位を説
明する図である。
明する図である。
【図３】本発明の実施形態におけるゲームを説明する図
である。
である。
【図４】本発明によるマーカ配置方法を説明する図であ
る。
る。
【図５】図４の配置により各プレーヤから観察されるマ
ーカを示す図である。
ーカを示す図である。
【図６】障害物を利用せずに図４と同様のマーカを配置
した場合に各プレーヤから観察されるマーカを示す図で
ある。
した場合に各プレーヤから観察されるマーカを示す図で
ある。
【図７】本発明の実施形態における、赤色マーカの色領
域を示す図である。
域を示す図である。
【図８】カラー画像データから図７に示す色領域のマー
カを検出する処理の手順を示すフローチャートである。
カを検出する処理の手順を示すフローチャートである。
【図９】マーカの消去形態を説明する図である。
【図１０】マーカの色数を増やした際の誤検出について
説明する図である。
説明する図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３６０ Ｆターム(参考） 2C001 AA00 AA06 AA17 BA00 BA05 BC00 BC10 CB01 CC00 CC03 CC06 5B050 BA06 BA08 BA09 BA11 CA08 EA13 EA19 FA01 FA14 5C023 AA16 AA37 AA38 BA11 CA03 DA08 EA03 5C054 AA05 CA04 CA07 CC03 CD03 CE11 EH01 FA00 FB03 FC08 FC09 FC15 FD00 FE13 HA15
Claims (16)
- 【請求項１】 現実空間と仮想空間とを合成した複合現
実空間画像を視認させることによって、プレーヤに複合
現実感を体感させる複合現実感装置であって、 前記現実空間には、絶対位置指標としてのマーカが配置
され、 前記プレーヤの略視点位置から前記現実空間を撮影した
画像データから、前記マーカを検出するマーカ検出手段
と、 前記検出したマーカを含む周辺領域（マーカ領域）につ
いて、前記マーカの画像を含まない画像が前記プレーヤ
に視認されるように前記プレーヤに視認させる前記複合
現実空間画像を生成する複合現実空間画像生成手段とを
有することを特徴とする複合現実感装置。 - 【請求項２】 前記複合現実空間画像生成手段が、前記
マーカ領域の画像を所定の画像で置換することを特徴と
する請求項１記載の複合現実感装置。 - 【請求項３】 前記複合現実空間画像生成手段が、前記
検出されたマーカすべてを含む領域の画像を、所定の画
像で置換することを特徴とする請求項２記載の複合現実
感装置。 - 【請求項４】 前記所定の画像が、前記マーカを配置す
る前の前記マーカ領域の画像であることを特徴とする請
求項２又は請求項３に記載の複合現実感装置。 - 【請求項５】 前記複合現実空間画像生成手段が、前記
マーカ領域の現実空間画像に所定の仮想空間画像を重畳
することを特徴とする請求項１記載の複合現実感装置。 - 【請求項６】 前記複合現実空間画像生成手段が、検出
されたマーカすべてを含む領域の画像に所定の仮想空間
画像を重畳することを特徴とする請求項５記載の複合現
実感装置。 - 【請求項７】 前記所定の画像が、前記マーカを配置す
る前の前記マーカ領域の画像であることを特徴とする請
求項５又は請求項６に記載の複合現実感装置。 - 【請求項８】 絶対位置指標としてのマーカが配置され
た現実空間と、仮想空間とを合成し、プレーヤに複合現
実感を体感させる複合現実空間画像を生成する複合現実
空間画像の生成方法であって、 前記プレーヤの略視点位置から前記現実空間を撮影した
画像データから、前記マーカを検出するマーカ検出ステ
ップと、 前記検出したマーカを含む周辺領域（マーカ領域）につ
いて、前記マーカの画像を含まない画像が前記プレーヤ
に視認されるように前記プレーヤに視認させる前記複合
現実空間画像を生成する複合現実空間画像生成ステップ
とを有することを特徴とする複合現実空間画像の生成方
法。 - 【請求項９】 前記複合現実空間画像生成ステップが、
前記マーカ領域の画像を所定の画像で置換することを特
徴とする請求項８記載の複合現実空間画像の生成方法。 - 【請求項１０】 前記複合現実空間画像生成ステップ
が、前記検出されたマーカすべてを含む領域の画像を、
所定の画像で置換することを特徴とする請求項８記載の
複合現実空間画像の生成方法。 - 【請求項１１】 前記所定の画像が、前記マーカを配置
する前の前記マーカ領域の画像であることを特徴とする
請求項９又は請求項１０に記載の複合現実空間画像の生
成方法。 - 【請求項１２】 前記複合現実空間画像生成ステップ
が、前記マーカ領域の現実空間画像に所定の仮想空間画
像を重畳することを特徴とする請求項７記載の複合現実
空間画像の生成方法。 - 【請求項１３】 前記複合現実空間画像生成ステップ
が、検出されたマーカすべてを含む領域の画像に所定の
仮想空間画像を重畳することを特徴とする請求項１２記
載の複合現実空間画像の生成方法。 - 【請求項１４】 前記所定の画像が、前記マーカを配置
する前の前記マーカ領域の画像であることを特徴とする
請求項１２又は請求項１３に記載の複合現実空間画像の
生成方法。 - 【請求項１５】 コンピュータ装置が実行可能なプログ
ラムを格納した記憶媒体であって、前記プログラムを実
行したコンピュータ装置を、請求項１乃至請求項６のい
ずれかに記載の複合現実感装置として機能させることを
特徴とする記憶媒体。 - 【請求項１６】 請求項８乃至請求項１４のいずれかに
記載の複合現実空間画像の生成方法を、コンピュータ装
置が実行可能なプログラムとして格納した記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16471799A JP3530772B2 (ja) | 1999-06-11 | 1999-06-11 | 複合現実感装置及び複合現実空間画像の生成方法 |
| US09/506,382 US7084887B1 (en) | 1999-06-11 | 2000-02-18 | Marker layout method, mixed reality apparatus, and mixed reality space image generation method |
| US11/087,500 US7408561B2 (en) | 1999-06-11 | 2005-03-24 | Marker layout method, mixed reality apparatus, and mixed reality space image generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16471799A JP3530772B2 (ja) | 1999-06-11 | 1999-06-11 | 複合現実感装置及び複合現実空間画像の生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000350860A true JP2000350860A (ja) | 2000-12-19 |
| JP3530772B2 JP3530772B2 (ja) | 2004-05-24 |
Family
ID=15798562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16471799A Expired - Fee Related JP3530772B2 (ja) | 1999-06-11 | 1999-06-11 | 複合現実感装置及び複合現実空間画像の生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3530772B2 (ja) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002071330A1 (fr) * | 2001-03-06 | 2002-09-12 | Canon Kabushiki Kaisha | Dispositif de traitement d'images, procede afferent, codes de programmes et support de stockage |
| JP2003305276A (ja) * | 2002-02-18 | 2003-10-28 | Space Tag Inc | ゲームシステム、ゲーム装置、および記録媒体 |
| WO2004088595A1 (ja) * | 2003-03-28 | 2004-10-14 | Olympus Corporation | データオーサリング処理装置 |
| JP2005157611A (ja) * | 2003-11-25 | 2005-06-16 | Canon Inc | 画像処理装置および方法 |
| JP2005293141A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | マーカ検出方法及び装置並びに位置姿勢推定方法 |
| JP2006127468A (ja) * | 2004-09-28 | 2006-05-18 | Canon Inc | 情報処理方法および装置 |
| JP2006313549A (ja) * | 2005-05-03 | 2006-11-16 | Seac02 Srl | 実マーカオブジェクトを識別する拡張現実システム |
| EP1744280A2 (en) * | 2005-07-11 | 2007-01-17 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| CN100356407C (zh) * | 2003-03-28 | 2007-12-19 | 奥林巴斯株式会社 | 数据创建设备 |
| JP2008510254A (ja) * | 2004-08-19 | 2008-04-03 | 株式会社ソニー・コンピュータエンタテインメント | ポータブル拡張現実感デバイスおよびその方法 |
| JP2008227813A (ja) * | 2007-03-12 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
| JP2008276299A (ja) * | 2007-04-25 | 2008-11-13 | Nippon Hoso Kyokai <Nhk> | 映像合成装置および映像合成プログラム |
| JP2009505191A (ja) * | 2005-08-09 | 2009-02-05 | トタル イメルシオン | 少なくとも１つの実在オブジェクトをモデル化した少なくとも１つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置 |
| JP2009237878A (ja) * | 2008-03-27 | 2009-10-15 | Dainippon Printing Co Ltd | 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム |
| JP2010033397A (ja) * | 2008-07-30 | 2010-02-12 | Dainippon Printing Co Ltd | 画像合成装置および方法 |
| JP2010066599A (ja) * | 2008-09-11 | 2010-03-25 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| JP2010140093A (ja) * | 2008-12-09 | 2010-06-24 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| JP2011161111A (ja) * | 2010-02-13 | 2011-08-25 | Brother Industries Ltd | ストライクゾーン提示システム |
| WO2012088285A3 (en) * | 2010-12-22 | 2012-10-26 | Infinite Z, Inc. | Three-dimensional tracking of a user control device in a volume |
| JP2012252465A (ja) * | 2011-06-01 | 2012-12-20 | Kddi Corp | 情報端末装置 |
| JP2013034237A (ja) * | 2012-10-17 | 2013-02-14 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
| JP2015048171A (ja) * | 2013-08-30 | 2015-03-16 | 学校法人立命館 | ピッキングシステム |
| JP2015167349A (ja) * | 2014-02-14 | 2015-09-24 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
| WO2017077918A1 (ja) * | 2015-11-02 | 2017-05-11 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
| JP2017129992A (ja) * | 2016-01-19 | 2017-07-27 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| US9785839B2 (en) | 2012-11-02 | 2017-10-10 | Sony Corporation | Technique for combining an image and marker without incongruity |
| WO2018043732A1 (ja) * | 2016-08-31 | 2018-03-08 | カシオ計算機株式会社 | オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5456893B2 (ja) | 2010-07-22 | 2014-04-02 | パイオニア株式会社 | 拡張現実感装置及びその制御方法 |
-
1999
- 1999-06-11 JP JP16471799A patent/JP3530772B2/ja not_active Expired - Fee Related
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002071330A1 (fr) * | 2001-03-06 | 2002-09-12 | Canon Kabushiki Kaisha | Dispositif de traitement d'images, procede afferent, codes de programmes et support de stockage |
| US7587295B2 (en) | 2001-03-06 | 2009-09-08 | Canon Kabushiki Kaisha | Image processing device and method therefor and program codes, storing medium |
| US7193636B2 (en) | 2001-03-06 | 2007-03-20 | Canon Kabushiki Kaisha | Image processing device and method therefor and program codes, storing medium |
| JP2003305276A (ja) * | 2002-02-18 | 2003-10-28 | Space Tag Inc | ゲームシステム、ゲーム装置、および記録媒体 |
| WO2004088595A1 (ja) * | 2003-03-28 | 2004-10-14 | Olympus Corporation | データオーサリング処理装置 |
| CN100356407C (zh) * | 2003-03-28 | 2007-12-19 | 奥林巴斯株式会社 | 数据创建设备 |
| US7031495B2 (en) | 2003-03-28 | 2006-04-18 | Olympus Corporation | Data authoring device |
| JP2005157611A (ja) * | 2003-11-25 | 2005-06-16 | Canon Inc | 画像処理装置および方法 |
| JP2005293141A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | マーカ検出方法及び装置並びに位置姿勢推定方法 |
| JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
| JP2008510254A (ja) * | 2004-08-19 | 2008-04-03 | 株式会社ソニー・コンピュータエンタテインメント | ポータブル拡張現実感デバイスおよびその方法 |
| JP4689380B2 (ja) * | 2004-09-28 | 2011-05-25 | キヤノン株式会社 | 情報処理方法および装置 |
| JP2006127468A (ja) * | 2004-09-28 | 2006-05-18 | Canon Inc | 情報処理方法および装置 |
| JP2006313549A (ja) * | 2005-05-03 | 2006-11-16 | Seac02 Srl | 実マーカオブジェクトを識別する拡張現実システム |
| JP4574473B2 (ja) * | 2005-07-11 | 2010-11-04 | キヤノン株式会社 | 情報処理装置および方法 |
| US9508147B2 (en) | 2005-07-11 | 2016-11-29 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| US10140723B2 (en) | 2005-07-11 | 2018-11-27 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| EP2562719A3 (en) * | 2005-07-11 | 2013-09-25 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| US8330800B2 (en) | 2005-07-11 | 2012-12-11 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| EP1744280A3 (en) * | 2005-07-11 | 2012-08-15 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| EP1744280A2 (en) * | 2005-07-11 | 2007-01-17 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| JP2007018426A (ja) * | 2005-07-11 | 2007-01-25 | Canon Inc | 情報処理装置および方法 |
| JP2009505191A (ja) * | 2005-08-09 | 2009-02-05 | トタル イメルシオン | 少なくとも１つの実在オブジェクトをモデル化した少なくとも１つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置 |
| JP4917603B2 (ja) * | 2005-08-09 | 2012-04-18 | トタル イメルシオン | 少なくとも１つの実在オブジェクトをモデル化した少なくとも１つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置 |
| JP2008227813A (ja) * | 2007-03-12 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
| JP2008276299A (ja) * | 2007-04-25 | 2008-11-13 | Nippon Hoso Kyokai <Nhk> | 映像合成装置および映像合成プログラム |
| JP2009237878A (ja) * | 2008-03-27 | 2009-10-15 | Dainippon Printing Co Ltd | 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム |
| JP2010033397A (ja) * | 2008-07-30 | 2010-02-12 | Dainippon Printing Co Ltd | 画像合成装置および方法 |
| JP2010066599A (ja) * | 2008-09-11 | 2010-03-25 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| JP2010140093A (ja) * | 2008-12-09 | 2010-06-24 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| JP2011161111A (ja) * | 2010-02-13 | 2011-08-25 | Brother Industries Ltd | ストライクゾーン提示システム |
| WO2012088285A3 (en) * | 2010-12-22 | 2012-10-26 | Infinite Z, Inc. | Three-dimensional tracking of a user control device in a volume |
| US8970625B2 (en) | 2010-12-22 | 2015-03-03 | Zspace, Inc. | Three-dimensional tracking of a user control device in a volume |
| US9201568B2 (en) | 2010-12-22 | 2015-12-01 | Zspace, Inc. | Three-dimensional tracking of a user control device in a volume |
| JP2012252465A (ja) * | 2011-06-01 | 2012-12-20 | Kddi Corp | 情報端末装置 |
| JP2013034237A (ja) * | 2012-10-17 | 2013-02-14 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
| US9785839B2 (en) | 2012-11-02 | 2017-10-10 | Sony Corporation | Technique for combining an image and marker without incongruity |
| JP2015048171A (ja) * | 2013-08-30 | 2015-03-16 | 学校法人立命館 | ピッキングシステム |
| JP2015167349A (ja) * | 2014-02-14 | 2015-09-24 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
| WO2017077918A1 (ja) * | 2015-11-02 | 2017-05-11 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
| JP2017090979A (ja) * | 2015-11-02 | 2017-05-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
| US10416758B2 (en) | 2015-11-02 | 2019-09-17 | Sony Interactive Entertainment Inc. | Information processing apparatus, information processing system, and information processing method |
| JP2017129992A (ja) * | 2016-01-19 | 2017-07-27 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| WO2018043732A1 (ja) * | 2016-08-31 | 2018-03-08 | カシオ計算機株式会社 | オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム |
| JP2018036869A (ja) * | 2016-08-31 | 2018-03-08 | カシオ計算機株式会社 | オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム |
| US10831436B2 (en) | 2016-08-31 | 2020-11-10 | Casio Computer Co., Ltd. | Object display system, user communication device, and object display method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3530772B2 (ja) | 2004-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3530772B2 (ja) | 複合現実感装置及び複合現実空間画像の生成方法 | |
| US7084887B1 (en) | Marker layout method, mixed reality apparatus, and mixed reality space image generation method | |
| JP2000350859A (ja) | マーカ配置方法及び複合現実感装置 | |
| US6972734B1 (en) | Mixed reality apparatus and mixed reality presentation method | |
| US20230302359A1 (en) | Reconfiguring reality using a reality overlay device | |
| JP3413127B2 (ja) | 複合現実感装置及び複合現実感提示方法 | |
| US8956227B2 (en) | Storage medium recording image processing program, image processing device, image processing system and image processing method | |
| CN104436634B (zh) | 一种采用沉浸式虚拟现实技术的真人射击游戏***及实现方法 | |
| US8696458B2 (en) | Motion tracking system and method using camera and non-camera sensors | |
| US20170315364A1 (en) | Virtual object display device, method, program, and system | |
| KR101251701B1 (ko) | 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체 | |
| US9495800B2 (en) | Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method | |
| EP1060772B1 (en) | Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof | |
| GB2376397A (en) | Virtual or augmented reality | |
| US20120094773A1 (en) | Storage medium having stored thereon game program, image processing apparatus, image processing system, and image processing method | |
| US20020095265A1 (en) | Information processing apparatus, mixed reality presentation apparatus, method thereof, and storage medium | |
| CN102884492A (zh) | 增强现实的指向装置 | |
| CN109568944A (zh) | 游戏处理方法、游戏处理装置、游戏处理***及记录介质 | |
| US11156830B2 (en) | Co-located pose estimation in a shared artificial reality environment | |
| US20220362667A1 (en) | Image processing system, non-transitory computer-readable storage medium having stored therein image processing program, and image processing method | |
| CN111862348A (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
| JP3413128B2 (ja) | 複合現実感提示方法 | |
| KR20110122952A (ko) | 골프 시뮬레이션 ｈｍｄ | |
| US11107276B2 (en) | Scaling voxels in a virtual space | |
| EP3943167A1 (en) | Device provided with plurality of markers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040223 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040301 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080305 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120305 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |