JP3363837B2 - ユーザインタフェース装置および情報処理方法 - Google Patents

ユーザインタフェース装置および情報処理方法

Info

Publication number
JP3363837B2
JP3363837B2 JP16570999A JP16570999A JP3363837B2 JP 3363837 B2 JP3363837 B2 JP 3363837B2 JP 16570999 A JP16570999 A JP 16570999A JP 16570999 A JP16570999 A JP 16570999A JP 3363837 B2 JP3363837 B2 JP 3363837B2
Authority
JP
Japan
Prior art keywords
user
hand
user interface
interface device
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16570999A
Other languages
English (en)
Other versions
JP2000353046A (ja
Inventor
登志一 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP16570999A priority Critical patent/JP3363837B2/ja
Priority to US09/510,334 priority patent/US7056216B2/en
Priority to AT00103876T priority patent/ATE543546T1/de
Priority to EP00103876A priority patent/EP1060772B1/en
Publication of JP2000353046A publication Critical patent/JP2000353046A/ja
Application granted granted Critical
Publication of JP3363837B2 publication Critical patent/JP3363837B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、例えばアクション
ゲームなどにおいて、プレーヤ（ユーザ）の動作を的確
に把握して指示（若しくはコマンド）を生成するユーザ
インタフェース装置及び情報処理方法に関する。
【０００２】
【従来の技術】現在のパーソナルコンピュータシステム
では、ユーザインタフェースとしてマウスやトラックパ
ッドなどのポインティングデバイスなどが用いられてい
る。しかし、マウスはそれを把持した上で面上を摺動さ
せることが必要であり、一方トラックパッドはその上を
手で擦らなくてはならないためにユーザに行動上の制約
を強いる。また、パーソナルコンピュータシステム等で
用いられているGUI(Graphical User Interface)はあく
までも二次元空間におけるユーザインタフェースであ
り、三次元空間におけるユーザインタフェースには不向
きである。
【０００３】そのために、３次元空間を対象とするＶＲ
(Virtual Reality) やＡＲ(Augmented Reality)の技術
分野では、ユーザ（プレーヤ）がシステムと対話するた
めに、ボタンスイッチなどが装着された入力装置を手に
持って、スイッチ操作によってシステムにコマンドを与
えることが通常行われている。
【０００４】
【発明が解決しようとする問題点】ボタンスイッチなど
が装着された入力装置上でのスイッチ操作によってコマ
ンドを与えるようにした従来例では、コマンド（指示）
の種類あるいは数がボタンの数によって制限され、コマ
ンド（もしくは指示）の種類あるいは数を増やそうとす
ると、ボタンの数を増やさざるを得ず、入力装置が大型
化し、更に、ユーザ（プレーヤ）もボタン位置を覚える
ことの負担が増大するという問題がある。
【０００５】ボタン位置を覚えることが負担となるの
は、コマンドの内容とボタン位置とが感覚的に一致して
いないからである。そもそも、ボタン（あるいはスイッ
チ）を押すという１つの動作でもって、多岐にわたるコ
マンドの内容（例えば、「前進」、「後退」、「停止」
など）を表現することに無理があるのである。
【０００６】一方、VRやARの分野で、ユーザ（プレー
ヤ）の手の動作をシミュレートする装置が提案されてい
る。これは、例えば、手指関節の折り曲げ角度を検出す
るためのセンサを手に装着し、そのセンサが検出した指
の折り曲げ角度に応じて生成したＣＧ(computer graphi
c)画像を生成する技術も提案されている。しかし、これ
はユーザの手の動作をシミュレートすることが目的であ
り、従って、この技術を、ユーザ（若しくはプレーヤ）
の指示（若しくはコマンド）を認識するための技術に適
用することは実質的に不可能である。
【０００７】この技術で、例えば、手を前に出せば、Ｃ
Ｇ画像は手が前に伸ばされた映像となり、このような映
像が表示されることは、広い意味での、手を前に出すと
いうユーザ指示による結果と言えなくもない。しかしな
がら、もし手だけの動作によって、ユーザコマンドが生
成されれば、あらゆる手の動作がコマンドと解釈される
おそれがあり、そのようなユーザインタフェースは信頼
性に欠ける。
【０００８】本発明は、上記従来技術の問題点を解決す
るために提案されたもので、その目的は、ユーザ（プレ
ーヤ）が感覚的になじみ易く、且つ、ユーザ（プレー
ヤ）の意図する指示（コマンド）を精度高く認識できる
ユーザインタフェース装置及び情報処理方法を提案する
ことにある。
【０００９】
【課題を解決するための手段】この課題を達成するため
の、本発明の請求項１に係るユーザインタフェース装置
は、ユーザの体の第１の部位に装着された第１のセンサ
と、第１の部位と異なるユーザの体の第２の部位に装着
された第２のセンサと、第１および第２のセンサの検出
結果から、第１の部位に対する第２の部位の相対位置を
求める手段と、求められた相対位置から第２の部位で示
されるアクション情報を生成する生成手段と、生成され
たアクション情報に対応するユーザ指示を決定する決定
手段とを具備することを特徴とする。
【００１０】
【００１１】
【００１２】
【００１３】
【００１４】
【００１５】
【００１６】
【００１７】
【００１８】
【００１９】
【００２０】
【００２１】
【００２２】ユーザ若しくはプレーヤは、動作を自分の
視野方向に対する相対的な位置により表現することが多
い。視野方向は頭部位置によって概ね決定される。しか
して本発明の好適な一態様である請求項２に拠れば、前
記第１の部位は頭部である。
【００２３】本発明の好適な一態様である請求項３に拠
れば、前記第２の部位は手である。手による動作が一番
表現しやすいからである。
【００２４】
【００２５】
【００２６】
【００２７】
【００２８】
【００２９】
【００３０】
【００３１】
【００３２】
【００３３】
【００３４】
【００３５】
【００３６】
【００３７】
【００３８】
【００３９】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明のユーザインタフェースを適用したゲーム装置を
詳細に説明する。尚、本発明のユーザインタフェース
は、ゲーム装置のみならず、自明な範囲での修正を加え
ることにより、VR環境やAR環境をユーザに提供するため
のパソコンシステム、ワークステーションシステムに適
用可能であることは以下の実施形態の説明から明らかと
なるであろう。
【００４０】第１図は、実施形態のゲーム装置を操作す
るユーザ１０００を示す。ユーザ１０００の頭部には位
置・姿勢検出手段の一例としての磁気センサ１００が、
手には同じく磁気センサ２００が装着されている。磁気
センサは、装着された部位の三次元位置（x, y, z)と、
姿勢(roll, pitch, yaw)との情報を含む電気信号を出力
する。
【００４１】第２図は、実施形態のゲーム装置システム
が示されている。同図で、本ゲームシステムは、上記２
つのセンサからの信号を取り込みコマンドに変換する命
令生成ユニット２０００とゲーム装置３０００とを有す
る。命令生成ユニット２０００は、センサ１００，２０
０からの出力信号に基づいてユーザ１０００の動作を解
析し、解析結果に従って命令を生成する。生成された命
令はゲーム装置３０００に送られ、ここで命令が実行さ
れる、即ち、ゲームが進行する。
【００４２】命令生成ユニット２０００の構成及び動作
について説明する。第２図に示すように、ユニット２０
００は、位置・姿勢計測部２００１ａ，２００１ｂと、
動作解析部２００２と、命令変換部２００３とを有す
る。
【００４３】位置・姿勢計測部２００１ａ，２００１ｂ
は、位置センサ１００及び２００の夫々より入力される
電気信号を、各々の部位の位置・姿勢を表す６つの座標
値に変換し、動作解析部２００２に送る。位置・姿勢計
測部２００１ａ，２００１ｂは、内部にクロックを有
し、夫々、位置・姿勢の６つの座標値の他に計測時刻ｔ
を計測して、命令生成ユニット２０００に出力する。
【００４４】動作解析部２００２は、頭部と手の絶対的
な位置・姿勢だけではなく、相対的な位置・姿勢した動
作解析を行う。これは次の理由による。即ち、人間は自
己の意図を動作で表現するときは、自分の体の複数の部
位による動作で表現することが多い。換言すれば、従来
のように、１つの部位だけの位置・姿勢を検出し、それ
に基づいてユーザの意図を推測する場合には、その検出
された位置・姿勢の精度がいかに高かろうが、誤差が多
く発生する。例えば、手を前に出す動作は、頭を前に向
けながら手を伸ばす動作と、頭を他の方向に向けながら
手を伸ばす動作とでは、意味するところは異なる。例え
ば、この「手を前に出す」動作が「攻撃」を意味する動
作であれば、攻撃とはプレーヤの頭を攻撃対象の方に
（即ち、手を伸ばす方向）に向けて行うのが普通である
から、頭を別の方向に向けながら手を伸ばすという動作
は、プレーヤにしてみれば、攻撃以外の動作を位置して
いるはずである。従って、姿勢を考慮しないと、頭を別
の方向に向けながら手を伸ばすという動作も、攻撃と誤
認識する可能性が高い。そこで、本実施形態では、ユー
ザの意図を、例えば、頭部の位置・姿勢に対する手の位
置・姿勢という、相対的な位置・姿勢を考慮することに
より、ユーザの意図の推定の精度を向上させるのであ
る。
【００４５】第３図に、基準座標系における頭部と手の
位置・姿勢の関係を、第４図に頭部座標系における手の
位置・姿勢を表す関係図を示す。また、第５図及び第６
図に頭の座標系と手の座標系の夫々を示す。
【００４６】動作解析部２００２の機能を第７図に示
す。第７図に示された機能は、第８図のフローチャート
に従った制御手順によって実現される。第８図のフロー
チャートによれば、ステップＳ２で、 位置・姿勢計測
部２００１から、頭と手の夫々の三次元位置(LheadとL
hand）と姿勢P(PheadとPhand）を、さらには計測時刻ｔ
(theadとthand）を入力し、ステップＳ４では、これら
を基にして頭部に対する手の位置と姿勢 (L’handとP’
hand）を算出する。具体的には、手の位置・姿勢(L hand
とPhand）を基に基準座標系から手の座標系への座標変
換行列Mhandを、また、頭部の位置・姿勢（Lhead, P
head）を基に基準座標系から頭部座標系への座標変換行
列Ｍheadを求め、これらを基に頭部座標系から手の座標
系への座標変換行列Ｍ'handを、下記の［数１］により
導出する。
【００４７】［数１］
【００４８】で表される。ここで、Mhead -1は Mheadの
逆行列である。頭部を基準とした（すなわち頭部座標系
における）手の相対的な位置・姿勢（L'hand, P'hand）
は、M' handより容易に導出することができる。ステップ
Ｓ６では、手の位置L’handの変化の速度Vhand（L’
handの時間微分）と加速度Ahand（速度Vhandの時間微
分）とを求める。尚、ステップＳ６では、今回計測した
頭部に対する手の位置・姿勢(L’handとP’hand）を、
次回における速度と加速度の計算のために所定のメモリ
内に記憶する。記憶するデータは過去２回分で十分であ
る。尚、本明細書では、位置・姿勢計測部２００１より
入力される頭部についての位置・姿勢・時間などの情報
と手についての位置・姿勢・時間などの情報とを併せて
「一次情報」と呼び、頭部を基準にした手の位置・姿勢
並びに速度・加速度を「二次情報」と呼ぶ。
【００４９】ステップＳ８では、状態ψの遷移を判定す
るために、「二次情報」が予め設定してある状態遷移の
条件を満たすか否かを判断する。第７図，第８図の機能
を、アクション（射撃）ゲームに適用した場合における
動作解析部２００２の動作を以下に説明する。この射撃
ゲームでは、次の５つの状態が定義され、個々の状態に
は０乃至４の値が前もって割り振られている。 ０＝初期状態 １＝装弾（銃に装弾する）状態 ２＝射撃状態 ３＝防御（プレーヤを防護する）状態 ４＝操作説明状態
【００５０】このゲーム装置では、動作を状態の値の変
化により表現する。そこで、本ゲーム装置で定義されて
いる動作は以下のようであり、第９図に示す。遷移 動作 ＊→＊ 動作なし（状態値に変化無し） ０→１ 装弾動作 １→０ 装弾解除動作 １→２ 発射動作 ０→３ 防御動作 ３→０ 防御解除動作 ０→４ 操作説明動作 ４→０ 操作説明解除動作 尚、発射状態から、一定時間後の経過後には、初期状態
に戻ることとしている。動作解析部２００２からの出力
は、動作状態ψと、頭部及び手の三次元情報である。第
１０図は動作解析部２００２の状態遷移条件判断処理を
全体的に記述するフローチャートである。即ち、動作解
析部２００２は、現在の状態ψの値に応じて、ステップ
Ｓ１００（詳細は第１１図）、ステップＳ２００（詳細
は第１２図）、ステップＳ３００（詳細は第１３図）、
ステップＳ４００（詳細は第１４図）、ステップＳ５０
０（詳細は第１５図）のいずれかを実行する。そして、
ステップＳ１００，ステップＳ２００，ステップＳ３０
０，ステップＳ４００，ステップＳ５００の各々が出力
するものは、遷移後の動作状態ψの値と、頭部及び手の
三次元情報である。
【００５１】現在の状態値が０、即ち、現在「初期状
態」にある場合の制御手順を第１１図に従って説明す
る。初期状態から遷移可能な状態は、本ゲーム装置の例
では、第９図に示すように、状態０（遷移無し）、状態
１（装弾状態），状態３（防御状態），状態４（操作説
明状態）の４つである。第１１図の制御手順では、上記
４つの状態のいずれに遷移すべきかは、手が頭に対して
後ろ（ｚ）方向でどの程度後退したか、手の前後方向
（第６図のｚ方向）の向きはプレーヤの頭部の後ろ方向
（第５図のｚ方向）に対してどの程度の角度がずれた
か、手の甲（第６図のｙ方向）が頭部の後ろ方向に対し
てどの程度の角度だけずれたか等を考慮して判断する。
従って、第１１図の制御手順で考慮すべき量は、以下
の、zhandとα1とα 2となる。
【００５２】zhand：頭部座標系（第５図参照）を基準
にした手の位置のz座標値
【００５３】α1：頭部座標系のｚ軸と手の座標系（第
６図参照）のｚ軸とが成す角度
【００５４】α2：頭部座標系のｚ軸と手の座標系のｙ
軸とが成す角度
【００５５】ここで、定数値C01, C02, C03, C04を、夫
々、 C01＝0.0（長さ）
【００５６】C02＝４５度
【００５７】C03＝１５０度
【００５８】C04＝３０度
【００５９】とすると、ステップＳ１０２，ステップＳ
１０４でＹＥＳ、即ち、 zhand＞C01であってα1＜C02 の場合には、換言すれば、頭部の後ろ方向に対する手の
向きのズレを４５度以内に抑えたまま、手を頭部の後ろ
方向でおよそ頭部の中心より後方（C01＝0.0に設定した
場合）にまで後退させた場合には、装弾動作をプレーヤ
が望んでいると判断して、ステップＳ１０６で現在時刻
ｔをレジスタt01に保存し、ステップＳ１０８で、現在
の手の位置LhandをレジスタL01に保存し、ステップＳ１
１０で、動作状態値＝１（装弾状態）を出力する。
【００６０】一方、ステップＳ１０２，ステップＳ１０
４でＮＯで、ステップＳ１１２でＹＥＳ、即ち、
【００６１】zhand≦C01、且つ、α1≧C02、且つ、α2
＞C03 の場合には、換言すれば、頭部の後ろ方向に対す
る手の向きのズレを４５度以上、且つ、頭部の後ろ方向
に対する手の甲の面直方向を１５０度以上にして、頭部
の中心位置よりも前方に前進させた場合には、防御動作
をプレーヤが望んでいると判断して、ステップＳ１１４
で現在時刻ｔをレジスタt03に保存し、ステップＳ１１
６で、動作状態値＝３（防御状態）を出力する。
【００６２】一方、ステップＳ１０２，ステップＳ１０
４，ステップＳ１１２でＮＯで、ステップＳ１１８でＹ
ＥＳ、即ち、
【００６３】zhand≦C01であってα1≧C02であってα2
＜C04 の場合には、換言すれば、頭部の後ろ方向に対す
る手の向きのズレを４５度以上、且つ、頭部の後ろ方向
に対する手の甲の面直方向を３０度以下にして、手を頭
部の後ろ方向で頭部の中心位置よりも前方に前進させた
場合には、プレーヤは操作説明（即ち、HELP）動作を望
んでいると判断して、ステップＳ１２０で現在時刻ｔを
レジスタt04に保存し、ステップＳ１２２で、動作状態
値＝４（操作説明状態）を出力する。
【００６４】一方、ステップＳ１０２，ステップＳ１０
４，ステップＳ１１２，ステップＳ１１８の全でＮＯ、
即ち、
【００６５】zhand≦C01であってα1≧C02であってC04
≦α2≦C03 の場合には、換言すれば、プレーヤの動作
は、コマンドを出す程度の動作ではないと判断して、ス
テップＳ１２４で初期状態を維持する。
【００６６】現在状態が装弾状態（＝１）にある場合の
制御手順を第１２図に従って説明する。装弾状態から遷
移可能な状態は、第９図に示すように、状態０（初期状
態）、状態１（遷移無し），状態２（発射状態）の３つ
である。第１２図の制御手順では、前述の角度α１の他
に、手の移動距離ｄ、手の角度α3、手の移動速度ｖを
参照する。ここで、
【００６７】ｄ：状態が０から１に遷移した時刻での手
の位置L0から現在の手の位置Lhandまでの距離、
【００６８】α3：手の速度ベクトルＶと頭部座標系の
ｚ軸とが成す角度
【００６９】ｖ：手の移動速度
【００７０】ここで、定数値C11, C12, C13，C14を、夫
々、 C11＝６０度（α1との比較対象）
【００７１】C12＝３００mm（ｄとの比較対象）
【００７２】C14＝１２０度（α3との比較対象）
【００７３】C14＝３００mm/s（ｖとの比較対象）
【００７４】とすると、ステップＳ２０１で、 α1＞C11 の場合には、換言すれば、頭部の後ろ方向に対する手の
向きの角度ズレが６０度を越えた場合には、装弾状態に
到ったが射撃を行うまでもないことをプレーヤが欲して
いると判断して、ステップＳ２０２で現在時刻ｔをレジ
スタt10に保存し、ステップＳ２０４で動作状態値＝０
を出力する。
【００７５】一方、ステップＳ２０１でＮＯ、ステップ
Ｓ２０６，ステップＳ２０８，ステップＳ２１０でＹＥ
Ｓと判断された場合には、即ち、
【００７６】α1≦C11、ｄ＞C12、α3＞C13、v＞C14 の場合には、換言すれば、頭部に対する手の向きの変化
が大きくなく、手の移動距離がC12（例えば３００mm）
以上あって、手の移動方向が頭部の後ろ方向に対して角
度C13（例えば１２０度）以上あって、手の移動速度がC
14（例えば３００mm／秒）以上あった場合には、射撃動
作をプレーヤが望んでいると判断して、ステップＳ２１
２で現在時刻ｔをレジスタt12に保存し、ステップＳ２
１４で動作状態値＝２（射撃状態）を出力する。
【００７７】一方、上記条件が合致しないときには、即
ち、
【００７８】α1≦C11、且つｄ≦C12、またはα3≦
C13、またはv≦C14 の場合には装弾状態を保つ。
【００７９】現在が発射状態（＝２）にある場合には第
１３図の制御手順が実行される。発射状態から遷移可能
な状態は、第９図の例では、初期状態か、発射状態（遷
移無し）である。第１３図の制御手順によると、ステッ
プＳ３０２で装弾状態から発射状態に遷移してからの経
過時間Δｔが定数値T2（例えば２００ms）よりも小さい
場合（ステップＳ３０２でＮＯ）には、ステップＳ３０
８で射撃発射状態を維持する。一方、T2以上経過した場
合には、ステップＳ３０４で、現在時刻を保存し、ステ
ップＳ３０６で状態を初期状態に戻して、その旨の出力
を行う。
【００８０】尚、第９図の例では、射撃開始後での一定
時間（T2）経過後は一様に初期状態に復帰させている
が、このような状態遷移は、本ゲーム装置のゲームのル
ールを説明する上で、説明を簡略化するために、初期状
態に復帰するように単純化したからであって、ゲームの
流れ（シナリオ）が複雑であれば、その複雑さに応じて
多くの状態を定義すべきであって、そのような場合に
は、射撃発射状態から遷移できる状態を、初期状態以外
に更に多くの状態を定義してもよい。
【００８１】現在が防御状態（＝３）にある場合には第
１４図の制御手順が実行される。防御状態から遷移可能
な状態は、第９図の例では、初期状態に戻るか、防御状
態にとどまるかである。第１４図の制御手順によると、
ステップＳ４０２で、手の頭に対する姿勢角度が所定値
C31（例えば、１５０度）よりも小さいかを調べる。即
ち、
【００８２】α2＜C31 であって、換言すれば、手の甲の向きを頭の後ろ方向に
対して１５０度未満に設定した場合には、防御状態が解
除されたと判断して、ステップＳ４０４で、状態を初期
状態に遷移させると共に、現在時刻ｔを保存する。更に
ステップＳ４０６では、初期状態（＝０）を出力する。
【００８３】一方、ステップＳ４０２でＮＯと判断され
たが、ステップＳ４０７では、防御状態に遷移してから
の経過時間Δｔが所定時間T3以上であった場合には、発
射状態から十分な時間が経過した場合と同じように、初
期状態に復帰させるために、ステップＳ４０４に進ませ
る。
【００８４】更に、ステップＳ４０２，ステップＳ４０
７でＮＯと判断された場合、即ち、
【００８５】α2＜C31であってΔｔ≦T3 である場合に
は、防御状態を保持する。
【００８６】第１１図のステップＳ１２２で、状態が
「操作説明状態」に遷移した場合にとは、
【００８７】zhand≦C01であってα1≧C02であってα2
≦C04 の場合には、換言すれば、頭部の後ろ方向に対す
る手の向きのズレを４５度以上、且つ、頭部の後ろ方向
に対する手の甲の面直方向を３０度以下にして、手を頭
部の後ろ方向で頭部の中心位置よりも前方に前進させた
場合であり、これは、手の甲又は手の付け根部分をプレ
ーヤが見つめている場合を意味する。このようなプレー
ヤの動作は、本ゲームでは、プレーヤがゲームの進行手
順（方法）についての種々の情報を欲している場合と想
定している。所謂、HELP機能を要求している場合であ
る。かかる場合は、状態＝４がゲーム装置３０００に出
力されるので、装置３０００は、HELP画面を所定の表示
装置に表示する。ここで、この表示装置はヘッド装着型
の表示装置(HMD)であることが望ましい。なぜなら、Ｈ
ＭＤであれば、HELP画面を見るに際して頭部を移動させ
ることはないので、「操作説明状態」を維持するための
制御手順（第１５図）を複雑にする必要がないからであ
る。
【００８８】尚、HELP画面は、二次元表示であっても三
次元表示であっても、更に、単なるＶＲ環境表示であっ
ても、ＡＲ環境表示であっても、その環境に合致したも
のであれば、いずれでもよい。但し、本例では、頭部位
置・姿勢センサを装着しているので、このセンサの出力
情報を利用して、ＡＲ環境で、HELP画面を表示すること
が、センサ１００を高度に利用する意味からも好まし
い。本発明は更に種々変形が可能である。
【００８９】変形例１：
【００９０】上記実施形態では、第９図に示されたコマ
ンド、状態を用いたものであったが、本発明はこれに限
られない。即ち、本発明のユーザインタフェースは、ゲ
ーム装置環境に限定されない。およそ、ＣＧをユーザ若
しくはプレーヤに表示するに際して、ユーザ若しくはプ
レーヤの動作をコマンド（あるいは指示）の代わりに用
いることが望まれる環境下であれば、いかなる環境でも
よい。
【００９１】例えば、手話認識用ユーザインタフェー
ス、家電品を操作するユーザインタフェース、産業機械
（工事用特殊車両・工場ライン）操作用ユーザインタフ
ェース、身体障害者用補助装置（介護ベッド、電動車椅
子）用ユーザインタフェース、等が考えられる。
【００９２】変形例２：
【００９３】また本発明をゲーム装置に適用する場合に
は、適用ゲームは第９図のルールに限定されない。更に
多くの、更に少ない状態（コマンド）の例でも適用可能
である。また、遷移の態様も第９図に限定されない。
【００９４】変形例３：
【００９５】また、上記実施形態のゲームシステムで
は、動作状態がコマンド若しくは指示に一対一に対応さ
せていたので、命令変換部２００３は、動作状態をその
まま命令に変換すればよかった。本発明はこれに限定さ
れない。即ち、ユニット２０００に接続されるゲーム装
置３０００の汎用性を挙げるために、命令変換部２００
３を構成するのである。即ち、ゲーム装置３０００は既
存の汎用ゲーム装置であってもよい。この既存のゲーム
装置は既存のコマンド体系を有している。命令変換部２
００３は、動作解析部２００２からの出力（状態、速
度、加速度）を入力して、ゲーム装置３００のためのコ
マンド体系に変換するためのテーブルを有するように構
成する。このテーブルは書き換え可能であって、ゲーム
装置３０００に併せてテーブルの内容を書き換える。こ
のようにすると、ユニット２０００の構成・動作を変更
することなく、コマンド体系の異なる複数種類のゲーム
装置に、このユニット２０００を適用可能となる。
【００９６】変形例４：
【００９７】上記実施形態では、センサは頭部と手に装
着されていたが、本発明はこれに限定されない。即ち、
コマンド（指示）を動作で変えるという目的であれば、
手に限らず、指先、腕、足、腿、膝、すねに装着しても
よい。例えば、指関節に装着するセンサの例として、所
謂「グローブ型手関節角度計測装置」が実用化されてい
る。
【００９８】変形例５：
【００９９】上記実施形態では、命令変換部２００３
は、解析部２００２から、動作の識別子を入力し、動作
と対応づけた命令信号を出力していた。この命令を受け
て、ゲーム装置３０００では、命令信号を利用するプロ
グラムや装置（ゲーム装置など）の命令信号体系が定義
されていた。本発明はこれに限定されない。命令信号と
して以下の形式がある。即ち、
【０１００】・命令信号を電気的信号または光学的信号
として出力する。
【０１０１】・命令変換を計算機上で関数プログラムと
して実装し、この関数プログラムが所定の記憶領域に書
き込むデータを命令信号として変換部２００３に出力と
する。
【０１０２】・命令変換を計算機上で関数プログラムと
して実装し、予め命令と対応付けたコールバック関数を
起動することにより、これを命令信号出力とする場合。
【０１０３】・命令変換を計算機上で関数プログラムと
して実装し、予め命令と対応付けた割り込み信号を発生
することにより、これを命令信号出力とする場合。
【０１０４】変形例６：
【０１０５】また、上記実施形態では、センサには磁気
センサを用いたが、超音波を用いて位置・姿勢を計測
し、あるいは機械的に位置・姿勢を計測して、あるいは
画像処理により位置・姿勢を計測してもよい。
【０１０６】
【発明の効果】以上説明したように、本発明によれば、
ユーザの動作に応じたユーザ指示を高精度に認識でき
る。
【図面の簡単な説明】
【図１】 実施形態のゲームシステムに参加するプレー
ヤに装着されたセンサの配置状態を説明する図。
【図２】 実施形態のゲームシステムの構成を説明する
図。
【図３】 基準座標系を中心に見たときの、頭部座標系
と手の座標系の関係を説明する図。
【図４】 頭部座標系を中心に見たときの、頭部座標系
と手の座標系の関係を説明する図。
【図５】 図４の手法に従った場合の頭部センサ１００
の座標系の設定を説明する図。
【図６】 図４の手法に従った場合の手センサ２００の
座標系の設定を説明する図。
【図７】 命令生成ユニット２０００の構成を機能的に
説明する図。
【図８】 動作解析部２００２の全体動作を説明するフ
ローチャート。
【図９】 実施形態のゲームシステムにおける状態遷移
の関係を説明する図。
【図１０】 図８のステップＳ８の詳細を説明するフロ
ーチャート。
【図１１】 図１０のステップＳ１００の詳細を説明す
るフローチャート。
【図１２】 図１０のステップＳ２００の詳細を説明す
るフローチャート。
【図１３】 図１０のステップＳ３００の詳細を説明す
るフローチャート。
【図１４】 図１０のステップＳ４００の詳細を説明す
るフローチャート。
【図１５】 図１０のステップＳ５００の詳細を説明す
るフローチャート。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 3/023 G06F 3/033 A63F 13/00 G06F 3/00 G06F 3/14

Claims (17)

    (57)【特許請求の範囲】
  1. 【請求項１】 ユーザの体の第１の部位に装着された第
    １のセンサと、前記第１の部位 と異なる前記ユーザの体の第２の部位に
    装着された第２のセンサと、前記第１および前記第２の センサの検出結果から、前記
    第１の部位に対する前記第２の部位の相対位置を求める
    手段と、 前記求められた相対位置から第２の部位で示されるアク
    ション情報を生成する生成手段と、 前記生成されたアクション情報に対応するユーザ指示を
    決定する決定手段とを具備することを特徴とするユーザ
    インタフェース装置。
  2. 【請求項２】 前記第１の部位は頭部であることを特徴
    とする請求項１に記載のユーザインタフェース装置。
  3. 【請求項３】 前記第２の部位は手であることを特徴と
    する請求項１または２に記載のユーザインタフェース装
    置。
  4. 【請求項４】 前記第１のセンサは、前記第１の部位の
    位置並びに姿勢とを検出することを特徴とする請求項１
    乃至３のいずれかに記載のユーザインタフェース装置。
  5. 【請求項５】 前記第２のセンサは、前記第２の部位の
    位置並びに姿勢とを検出することを特徴とする請求項１
    乃至４のいずれかに記載のユーザインタフェース装置。
  6. 【請求項６】 前記アクション情報は、前記第１の部位
    の位置に対する第２の部位の、状態変化に関する情報と
    位置変化速度とに関する情報を含むことを特徴とする請
    求項１乃至５のいずれかに記載のユーザインタフェース
    装置。
  7. 【請求項７】 前記アクション情報は、前記第１の部位
    の位置若しくは位置・姿勢に対する第２の部位の、状態
    変化に関する情報と位置変化加速度に関する情報を含む
    ことを特徴とする請求項１乃至６のいずれかに記載のユ
    ーザインタフェース装置。
  8. 【請求項８】 前記アクション情報は、前記第１の部位
    の姿勢に対する第２の部位の姿勢に関する情報を含むこ
    とを特徴とする請求項１乃至７のいずれかに記載のユー
    ザインタフェース装置。
  9. 【請求項９】 前記アクション情報は、前記第１の部位
    の姿勢に対する第２の部位の位置の移動方向に関する情
    報を含むことを特徴とする請求項１乃至８のいずれかに
    記載のユーザインタフェース装置。
  10. 【請求項１０】 前記第１の部位に対する第２の部位の
    相対位置の値並びにその値の遷移により前もって定義さ
    れた複数の状態値を記憶する手段と、 状態値の複数通りの遷移に夫々対応したユーザ指示の複
    数通りの値を記憶する手段とを具備することを特徴とす
    る請求項１乃至９のいずれかに記載のユーザインタフェ
    ース装置。
  11. 【請求項１１】 前記決定手段は、決定されたユーザ指
    示を、複数の指示オペランドに分解して出力することを
    特徴とする請求項１乃至１０のいずれかに記載のユーザ
    インタフェース装置。
  12. 【請求項１２】 前記生成手段が、前記第１のセンサに
    より検出された頭部の位置・姿勢と前記第２のセンサに
    より検出された手の位置・姿勢との相対関係が、ユーザ
    の視線がユーザの手の所定の部位を見ている、とのアク
    ションを示していると判断する場合には、 前記決定手段は、操作説明を出力するユーザ指示を出力
    することを特徴とする請求項１乃至１１のいずれかに記
    載のユーザインタフェース装置。
  13. 【請求項１３】 更に、ユーザの指の曲げ角度を検出す
    る第３のセンサを具備したことを特徴とする請求項１乃
    至１２のいずれかに記載のユーザインタフェース装置。
  14. 【請求項１４】 さらに、前記ユーザ指示に応じた画像
    を表示する頭部装着型ディスプレイを有することを特徴
    とする請求項１乃至１３のいずれかに記載のユーザイン
    タフェース装置。
  15. 【請求項１５】 ユーザの体の第１の部位に装着された
    第１のセンサと、前記第１の部位と異なる前記ユーザの
    体の第２の部位に装着された第２のセンサの検出結果を
    入力し、 前記第１および第２のセンサの検出結果から、前記第１
    の部位に対する第２の部位の相対位置を求め、 前記求められた相対位置から第２の部位で示されるアク
    ション情報を生成し、 前記生成されたアクション情報に対応するユーザ指示を
    決定することを特徴とする情報処理方法。
  16. 【請求項１６】 前記ユーザの指示に応じてゲームを進
    行させることを特徴とする請求項１５記載の情報処理方
    法。
  17. 【請求項１７】 コンピュータに、 ユーザの体の第１の部位に装着された第１のセンサと、
    前記第１の部位と異なる前記ユーザの体の第２の部位に
    装着された第２のセンサの検出結果を入力する工程と、 前記第１および第２のセンサの検出結果から、前記第１
    の部位に対する第２の部位の相対位置を求める工程と、 前記求められた相対位置から第２の部位で示されるアク
    ション情報を生成する工程、 前記生成されたアクション情報に対応するユーザ指示を
    決定する工程とを実行させるプログラムを格納したこと
    を特徴とするコンピュータ読み取り可能な記憶媒体。
JP16570999A 1999-06-11 1999-06-11 ユーザインタフェース装置および情報処理方法 Expired - Fee Related JP3363837B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP16570999A JP3363837B2 (ja) 1999-06-11 1999-06-11 ユーザインタフェース装置および情報処理方法
US09/510,334 US7056216B2 (en) 1999-06-11 2000-02-22 User interface apparatus, user interface method, game apparatus, and program storage medium
AT00103876T ATE543546T1 (de) 1999-06-11 2000-02-24 Vorrichtung und verfahren zur darstellung eines von mehreren benutzern geteilten raumes, wo wirklichkeit zum teil einbezogen wird, entsprechende spielvorrichtung und entsprechendes schnittstellenverfahren
EP00103876A EP1060772B1 (en) 1999-06-11 2000-02-24 Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16570999A JP3363837B2 (ja) 1999-06-11 1999-06-11 ユーザインタフェース装置および情報処理方法

Publications (2)

Publication Number Publication Date
JP2000353046A JP2000353046A (ja) 2000-12-19
JP3363837B2 true JP3363837B2 (ja) 2003-01-08

Family

ID=15817576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16570999A Expired - Fee Related JP3363837B2 (ja) 1999-06-11 1999-06-11 ユーザインタフェース装置および情報処理方法

Country Status (2)

Country Link
US (1) US7056216B2 (ja)
JP (1) JP3363837B2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
EP1417008A1 (en) * 2001-06-19 2004-05-12 Jan G. Fäger A device and a method for creating an environment for a creature
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
US11033821B2 (en) 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
JP2005108108A (ja) * 2003-10-01 2005-04-21 Canon Inc 三次元ｃｇ操作装置および方法、並びに位置姿勢センサのキャリブレーション装置
US7534169B2 (en) * 2005-07-08 2009-05-19 Cfph, Llc System and method for wireless gaming system with user profiles
JP2005339377A (ja) * 2004-05-28 2005-12-08 Canon Inc 画像処理方法、画像処理装置
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US8651964B2 (en) * 2005-04-29 2014-02-18 The United States Of America As Represented By The Secretary Of The Army Advanced video controller system
JP4740644B2 (ja) * 2005-05-11 2011-08-03 任天堂株式会社 画像処理プログラムおよび画像処理装置
US20070063992A1 (en) * 2005-09-17 2007-03-22 Lundquist Paul B Finger-keyed human-machine interface device
US9958934B1 (en) 2006-05-01 2018-05-01 Jeffrey D. Mullen Home and portable augmented reality and virtual reality video game consoles
US9781071B2 (en) 2006-06-28 2017-10-03 Nokia Technologies Oy Method, apparatus and computer program product for providing automatic delivery of information to a terminal
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
WO2009052032A1 (en) * 2007-10-19 2009-04-23 Sony Computer Entertainment America Inc. Scheme for providing audio effects for a musical instrument and for controlling images with same
JP4950834B2 (ja) * 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法
US20090247296A1 (en) * 2008-02-14 2009-10-01 Aruze Gaming America, Inc. Gaming Apparatus Capable of Conversation with Player and Control Method Thereof
JP5587796B2 (ja) * 2008-02-27 2014-09-10 コーニンクレッカ フィリップス エヌ ヴェ 歯ブラシのための歯位置追跡システム
US8758111B2 (en) * 2008-08-20 2014-06-24 Cfph, Llc Game of chance systems and methods
JP5486213B2 (ja) * 2009-05-12 2014-05-07 任天堂株式会社 ゲーム装置及びゲームプログラム
JP5843342B2 (ja) * 2009-11-25 2016-01-13 株式会社メガチップス ゲームシステム
KR20120000161A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 포인팅 디바이스와 이의 제어 방법, 입체 영상용 안경 및 디스플레이 장치
US9081416B2 (en) 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
EP2579127A1 (en) * 2011-10-04 2013-04-10 Research In Motion Limited Orientation determination for a mobile device
JP2013206412A (ja) * 2012-03-29 2013-10-07 Brother Ind Ltd ヘッドマウントディスプレイ及びコンピュータプログラム
US9170648B2 (en) * 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
US9117120B2 (en) 2013-05-24 2015-08-25 Honda Motor Co., Ltd. Field of vision capture
CN104657568B (zh) * 2013-11-21 2017-10-03 深圳先进技术研究院 基于智能眼镜的多人移动游戏***及方法
JP2015115848A (ja) * 2013-12-13 2015-06-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6269316B2 (ja) * 2014-01-08 2018-01-31 富士通株式会社 入力装置、入力方法および入力プログラム
JP2015225276A (ja) * 2014-05-29 2015-12-14 セイコーエプソン株式会社 表示システム、表示装置、表示制御装置、表示方法、およびプログラム
WO2016190057A1 (ja) * 2015-05-22 2016-12-01 コニカミノルタ株式会社 ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
JP5996138B1 (ja) * 2016-03-18 2016-09-21 株式会社コロプラ ゲームプログラム、方法およびゲームシステム
JP7140465B2 (ja) * 2016-06-10 2022-09-21 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、ゲーム処理方法
GB2557593A (en) * 2016-12-09 2018-06-27 Sony Interactive Entertainment Inc Virtual reality
US10942252B2 (en) * 2016-12-26 2021-03-09 Htc Corporation Tracking system and tracking method
CN108303698B (zh) * 2016-12-29 2021-05-04 宏达国际电子股份有限公司 追踪***、追踪装置及追踪方法
US10589173B2 (en) 2017-11-17 2020-03-17 International Business Machines Corporation Contextual and differentiated augmented-reality worlds
US11486961B2 (en) * 2019-06-14 2022-11-01 Chirp Microsystems Object-localization and tracking using ultrasonic pulses with reflection rejection

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4613139A (en) * 1984-12-10 1986-09-23 Robinson William Henry Ii Video control gloves
JP2718780B2 (ja) 1989-09-25 1998-02-25 日本電信電話株式会社 頭部動作認識処理方法
JPH04257014A (ja) 1991-02-12 1992-09-11 Matsushita Electric Ind Co Ltd 入力装置
US5323174A (en) * 1992-12-02 1994-06-21 Matthew H. Klapman Device for determining an orientation of at least a portion of a living body
US5488362A (en) * 1993-10-01 1996-01-30 Anaphase Unlimited, Inc. Apparatus for controlling a video game
US5826578A (en) * 1994-05-26 1998-10-27 Curchod; Donald B. Motion measurement apparatus
US5655223A (en) * 1994-06-16 1997-08-12 Cozza; Frank C. Electronic golf glove training device
US5638300A (en) * 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
US5930741A (en) * 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
AUPN298995A0 (en) * 1995-05-16 1995-06-08 Phillips, Scott Vr walker
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
RU2109336C1 (ru) * 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
US6001065A (en) * 1995-08-02 1999-12-14 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
JPH0954542A (ja) 1995-08-16 1997-02-25 Namco Ltd 動作検出装置、シミュレータ装置及び動作検出方法
US5984684A (en) * 1996-12-02 1999-11-16 Brostedt; Per-Arne Method and system for teaching physical skills
JPH10179933A (ja) 1996-12-19 1998-07-07 Yoshiyasu Takada 立体音響による標的位置特定遊戯具
JPH10260773A (ja) 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
US6030290A (en) * 1997-06-24 2000-02-29 Powell; Donald E Momentary contact motion switch for video games
US6270414B2 (en) * 1997-12-31 2001-08-07 U.S. Philips Corporation Exoskeletal platform for controlling multi-directional avatar kinetics in a virtual environment
US6141643A (en) * 1998-11-25 2000-10-31 Harmon; Steve Data input glove having conductive finger pads and thumb pad, and uses therefor
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking

Also Published As

Publication number Publication date
US7056216B2 (en) 2006-06-06
US20020072416A1 (en) 2002-06-13
JP2000353046A (ja) 2000-12-19

Similar Documents

Publication Publication Date Title
JP3363837B2 (ja) ユーザインタフェース装置および情報処理方法
EP1060772B1 (en) Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
US8917240B2 (en) Virtual desktop coordinate transformation
US9746933B2 (en) Systems and methods for natural motion interaction with a virtual environment
US6239806B1 (en) User controlled graphics object movement based on amount of joystick angular rotation and point of view angle
US9927869B2 (en) Apparatus for outputting virtual keyboard and method of controlling the same
EP1808210B1 (en) Storage medium having game program stored thereon and game apparatus
US20080132335A1 (en) Method of determining operation input using game controller including acceleration detector
US20010013868A1 (en) Three-dimensional image processing apparatus
WO2011135757A1 (ja) 情報記憶媒体、情報入力装置、及びその制御方法
JPH1051711A (ja) ３次元仮想物体表示装置および方法
CN113826058A (zh) 具有自触觉虚拟键盘的人工现实***
US20090058850A1 (en) System and method for intuitive interactive navigational control in virtual environments
JP5875069B2 (ja) ゲームシステム、ゲーム処理方法、ゲーム装置、およびゲームプログラム
EP2008697A1 (en) Self contained inertial navigation system for interactive control using movable controllers
JP2022534639A (ja) 指マッピング自己触覚型入力方法を有する人工現実システム
US20090322888A1 (en) Integrated circuit for detecting movements of persons
US11951384B2 (en) System and method for virtual character animation using motion capture
KR100934391B1 (ko) 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션시스템
KR102170638B1 (ko) 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템
JP2013196567A (ja) 情報処理システム、情報処理装置、情報処理プログラム、および判別方法
CN109240487B (zh) 沉浸式***、控制方法及非暂态计算机可读取媒体
Ionescu et al. A multimodal interaction method that combines gestures and physical game controllers
WO2011011898A1 (en) Input system, and method
JP2007011460A (ja) 物体の変位シミュレーション方法及び物体の変位シミュレーション装置、並びに力覚提示装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020920

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071025

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081025

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091025

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091025

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101025

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101025

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111025

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111025

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121025

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131025

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees