JPH11136706A - 位置姿勢検出装置、位置姿勢検出方法、複合現実感提示装置、ゲーム装置、複合現実感提示方法および記憶媒体 - Google Patents
位置姿勢検出装置、位置姿勢検出方法、複合現実感提示装置、ゲーム装置、複合現実感提示方法および記憶媒体Info
- Publication number
- JPH11136706A JPH11136706A JP10065824A JP6582498A JPH11136706A JP H11136706 A JPH11136706 A JP H11136706A JP 10065824 A JP10065824 A JP 10065824A JP 6582498 A JP6582498 A JP 6582498A JP H11136706 A JPH11136706 A JP H11136706A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- orientation
- markers
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
して複合現実感を提示する装置を提案する。 【解決手段】 既知の位置に配置された複数のマーカを
有する作業台(1000)と、プレーヤの頭部姿勢を検
出するためにプレーヤに装着される姿勢センサ(22
0)と、前記複数のマーカのうちの少なくとも1つが視
野に入るように設定されたカメラ(240)とを具備
し、前記姿勢センサからの出力に基づいて前記頭部位置
を検出すると共に、検出された頭部位置信号を、前記カ
メラの画像信号を画像処理してカメラの位置を検出する
ことにより補正して、この補正された頭部位置に応じた
視点位置に複合現実感を提示するように仮想画像を生成
する。
Description
タグラフィックスによる仮想画像を現実の空間に結合さ
せた複合現実感を作業者に提示するなどの場合のよう
に、作業者の三次元上の位置もしくは姿勢を精度よく検
出する位置姿勢検出装置および位置姿勢検出方法に関
し、特に、複合現実感を提示される作業者の例えば頭部
位置検出の精度の改良に関する。
い(seemless)結合を目的とした複合現実感(以下、「M
R」(Mixed Reality)と称す)に関する研究が盛んにな
っている。MRは、従来、現実空間と切り離された状況
でのみ体験可能であったバーチャルリアリティ(以下V
Rと略す)の世界と現実空間との共存を目的とし、VR
を増強する技術として注目されている。
透視しているように医師に提示する医療補助の用途や、
工場において製品の組み立て手順を実物に重ねて表示す
る作業補助の用途など、今までのVRとは質的に全く異
なった新たな分野が期待されている。これらの応用に対
して共通に要求されるのは、現実空間と仮想空間の間の
“ずれ”をいかにして取り除くかという技術である。
“ずれ”は、位置ずれ、時間ずれ、質的ずれに分類可能
であり、この中でも最も基本的な要求といえる位置ずれ
の解消(即ち、位置合わせ)については、従来から多く
の取り組みが行われてきた。
を重畳するビデオシースルー(Video-See-Through)方式
のMRの場合、位置合せの問題は、そのビデオカメラの
3次元位置を正確に求める問題に帰結される。半透過型
のHMD(Head Mount Display)を用いる光学シースルー
(Optic-See-Through)方式のMRの場合における位置合
せの問題は、ユーザーの視点の3次元位置を求める問題
といえ、それらの計測法としては、磁気センサや超音波
センサ、ジャイロといった3次元位置方位センサ利用が
一般的であるが、これらの精度は必ずしも十分とはいえ
ず、その誤差が位置ずれの原因となる。
このようなセンサを用いずに画像情報を元に画像上での
位置合わせを直接行う手法も考えられる。この手法では
位置ずれを直接取り扱えるために、位置合わせが精度よ
く行える反面、実時間性や信頼性の欠如などの問題があ
った。近年になって、位置方位センサと画像情報の併用
により、両者の欠点を互いに補って精度よい位置合わせ
を実現する試みが報告されている。
on Correction in Video-Based-Augmented Reality Sys
tems」(Bajura MichaelとUlrich Neuman, IEEE Compute
r Graphics and Applications 15, 5, pp. 52-60, 199
5)(以下、第1文献と呼ぶ)は、ビデオシースルー方式
のMRにおいて、磁気センサの誤差によって生じる位置
ずれを画像情報によって補正する手法を提案した。
istration by Integrating Landmark Tracking and Mag
netic Tracking」(State Andrei等, Proc. of SIGGRAPH
96,pp. 429-438, 1996)(以下、第2文献と呼ぶ)は、
さらにこの手法を発展させ、画像情報による位置推定の
曖昧性をセンサ情報によって補う手法を提案した。上記
第2文献は、位置方位センサposition-azimuth sensor
のみを用いてビデオシースルー方式のMR提示システム
を構築した場合において、そのセンサの誤差が原因とな
って画像上に発生する位置ずれを解消するために、3次
元位置が既知であるランドマークを現実空間に設定す
る。このランドマークは、その位置ずれを画像情報から
検出するための手掛かりとなる。
ないとすると、画像上で実際に観測されるランドマーク
の座標(QIとする)と、そのセンサ出力に基づいて得
られるカメラ位置とランドマークの3次元位置とから導
きだされるランドマークの観測予測座標(PIとする)
とは、同一となるはずである。しかし、実際にはセンサ
出力に基づいて得られたカメラ位置は正確ではないた
め、ランドマークの座標QIと観測予測座標PIは一致し
ない。このPIとQIのずれは、ランドマーク位置におけ
る仮想空間と現実空間の位置ずれを表しており、このた
めに、画像からランドマーク位置を抽出することで、ず
れの向きと大きさが算出できる。
に計測することにより、位置ずれを解消するようなカメ
ラ位置の補正が可能となる。方位センサと画像を併用す
る最も単純な位置合わせ方式は、1点のランドマークを
用いたセンサ誤差の補正と考えられ、画像上のランドマ
ークの位置ずれに応じてカメラ位置を平行移動または回
転させる手法が第1文献によって提案されている。
置ずれ補正の基本的な考え方を示す。以下では、カメラ
の内部パラメータを既知として、歪みなどの影響を除外
した理想的な撮像系によって画像撮影が行われているも
のと仮定する。カメラの視点位置をC、画像上でのラン
ドマークの観測座標をQI 、現実空間のランドマーク位
置をQIとすると、点QIは点Cと点QIを結ぶ直線lQ上
に存在する。一方、位置方位センサによって与えられる
カメラ位置からは、カメラ座標系におけるランドマーク
位置PCと、その画像上での観測座標PIとが推測でき
る。以下では、点Cから点QI、点PIへの3次元ベクト
ルを、それぞれvl、v2と表記する。この方法では、補
正後のランドマークの観測予測座標符P'IがQIに一致
するように(すなわち、カメラ座標系における補正後の
ランドマーク予測位置P'Cが、直線lQ上に乗るよう
に)、カメラと物体の相対的な位置情報を修正する事に
よって、位置ずれが補正される。
回転によって補正することを考える。これは、二つのベ
クトルvl、v2の成す角θだけカメラが回転するよう
に、カメラの位置情報に修正を加えることにより実現で
きる。実際の計算では、上記ベクトルvl、v2を正規化
したベクトルvln、v2nを用いて、その外積vln×v2n
を回転軸に、内積v1n・v2nを回転角として、点Cを中
心にカメラを回転させる。
相対的な平行移動によって補正することを考える。これ
は、仮想世界中の物***置をv=n(v1−v2)だけ平
行移動させることで実現できる。ここでnは、次式によ
って定義されるスケールファクタである。
を示す記号とする。また、カメラが−vだけ平行移動す
るようにカメラの位置情報に修正を加えることでも、同
様の補正が可能となる。これは、この操作によって、相
対的に仮想物体がvだけ移動したことに等しくなるため
である。以上の2つの手法は、ランドマーク上での位置
ずれを2次元的に一致させる手法であり、3次元的に正
しい位置にカメラ位置を補正することではない。しか
し、センサ誤差が小さい場合には十分な効果が期待でき
るものであり、また、補正のための計算コストは非常に
小さなものであり、実時間性に優れた手法である。
献に示された手法では、唯一のマーカの撮像画像内での
位置を捕捉することが必要であるから、そのマーカが常
にカメラに撮影されていなくてはならないという制約が
あるため、ごく限られた範囲の空間しか見ることができ
なかった。
空間を共有する場合には、1つのマーカのみでは上記制
約は致命的である。
に鑑みてなされたもので、その目的は、広い範囲で移動
する作業者の特定の作業部位を精度良く捕捉することを
可能にした位置姿勢検出装置、方法、さらには、この姿
勢検出に基づく複合現実感提示装置を提案することを目
的とする。
項1にかかる、作業者が所定の複合現実環境内で行う作
業を表す3次元仮想画像を生成するために、該作業者の
作業位置を検出する位置姿勢検出装置は、該作業者の三
次元位置姿勢を計測して、作業者位置姿勢信号を出力す
る位置姿勢センサと、前記環境内の既知の位置に設けら
れた第1の複数のマーカを撮像するカメラと、前記カメ
ラからの画像信号を処理して、前記第1の複数のマーカ
の中の任意のマーカを追跡し、この追跡マーカの座標値
を検出する検出手段と、前記検出手段によって得られた
前記追跡マーカの座標値と前記位置姿勢センサからの作
業者位置姿勢信号とに基づいて、前記作業部位の位置姿
勢を表す部位位置姿勢を演算する演算手段とを具備す
る。
求項40にかかる、作業者が所定の複合現実環境内で行
う作業に関連する3次元仮想画像を生成するために、該
作業者の作業位置を検出する位置姿勢検出方法は、該作
業者の三次元位置姿勢を計測して位置姿勢信号を出力す
る工程と、前記環境内の既知の位置に設けられた複数の
マーカを撮像するカメラからの画像信号を処理して、少
なくとも1つのマーカを追跡して、この追跡マーカの座
標を検出する工程と、この追跡マーカの座標と前記位置
姿勢信号とに基づいて、前記作業者の頭部の位置姿勢を
表す信号を出力する工程とを具備することを特徴とす
る。
項46に係る、作業者の作業位置を検出する位置姿勢検
出装置は、該作業者の三次元位置姿勢を計測して位置姿
勢信号を出力する位置姿勢センサと、前記環境内の既知
の位置に設けられた複数のマーカを撮像するカメラと、
前記カメラからの画像信号を処理して、前記複数のマー
カの中の任意のマーカを追跡し、この追跡マーカの座標
値を検出する検出手段と、前記検出手段によって得られ
た前記追跡マーカの座標値に基づいて、前記位置姿勢セ
ンサの出力信号を補正する補正手段とを具備する。
5に係る本発明の複合現実感の提示装置は、既知の位置
に配置された第1の複数のマーカを有する作業台と、作
業者の頭部姿勢を検出するために作業者に装着される姿
勢センサと、前記第1の複数のマーカのうちの少なくと
も1つが視野に入るように設定されたカメラと、前記カ
メラからの画像信号を処理して、前記第1の複数のマー
カの中の任意のマーカを追跡し、この追跡マーカの座標
値を検出する検出手段と、前記検出手段によって得られ
た前記追跡マーカの座標値と前記位置姿勢センサからの
頭部位置姿勢信号とに基づいて、前記作業者の視点の位
置姿勢を表す視点の位置姿勢信号を演算する演算手段
と、前記視点の位置姿勢信号に応じた視点位置に、複合
現実感を提示するための仮想画像を生成する生成手段と
を具備することを特徴とする。
に因れば、少なくとも1つのマーカが画像中に捕捉され
るので、広い範囲で作業者が移動しても、作業者位置を
精度良く補正することが確実となる。本発明の好適な一
態様である請求項2に拠れば、前記第1の複数のマーカ
の内の、1つのマーカと他のマーカとの間の、作業者の
前方を横切る方向における距離は、作業者の前方におい
てより遠方にあるマーカ程、長くなるように設定されて
いる。画像内におけるマーカ間の距離を均等にすること
により、マーカの検出精度を均等にすることができる。
即ち、その結果、マーカ特定の精度の低下を防ぐことが
可能になる。
れば、前記第1の複数のマーカの前記環境内における配
置分布密度は、作業者の前方のより遠方にあるマーカの
分布密度が、より近隣にあるマーカの分布密度よりも低
く設定されている。これによっても、マーカ特定の精度
の低下を防ぐことが可能になる。本発明の好適な一態様
である請求項3に拠れば、複数の作業者が協調作業を行
う場合において、同じ作業者のための複数のマーカは同
じ表現態様に統一されている。他の作業者のためのマー
カと区別が容易となる。
は作業者の頭部である。本発明の好適な一態様である請
求項5に拠れば、前記検出手段は、前記カメラが取得し
た画像中において最初に探索したマーカを用いる。本発
明では、特定のマーカが追跡され続ける必要はなく、ど
れか1つのマーカが発見されればよい。この一態様のよ
うに最初に探索したマーカを用いることによりマーカの
探索が容易となる。
れば、前記検出手段は、前回のシーンの画像において探
索されたマーカを今回のシーンの画像中に探索する手段
を具備することを特徴とする。連続性が確保される。前
記位置姿勢センサは作業者のいずれの部分にも取り付け
可能であるが、本発明の好適な一態様である請求項7に
拠れば、前記位置姿勢センサは作業者の頭部に設けられ
ると、センサが作業者の視点位置と近接することとな
り、HMDへの適用が容易となる。
れば、前記第1の複数のマーカは、前記カメラの視界内
に少なくとも1つが捕捉されるように前記環境内に配置
されたことを特徴とする。マーカの配置が、カメラの視
界内に少なくとも1つが捕捉されることを確保する。マ
ーカの検出は種々の座標系上で可能である。本発明の好
適な一態様である請求項10に拠れば、前記検出手段
は、前記追跡マーカの画像座標系での画像座標を検出す
ることを特徴とする。同じく、本発明の好適な一態様で
ある請求項11に拠れば、前記検出手段は、前記追跡マ
ーカのカメラ座標系での座標を検出することを特徴とす
る。
拠れば、前記第1の複数のマーカは前記環境内に配置さ
れた平面状のテーブルに描かれたマークである。共同作
業がテーブルの上で行われる場合に好適である。本発明
の好適な一態様である請求項13に拠れば、前記第1の
複数のマーカは前記環境内に三次元的位置に配置された
ことを特徴とする。マーカを三次元的に配置しなければ
ならない場合にも対処できる。
拠れば、前記検出手段は、追跡マーカを第1の複数のマ
ーカの中から同定する同定手段を有することを特徴とす
る。同じく、請求項15によれば、前記検出手段は、前
記カメラが捉えた画像内に第2の複数のマーカが検出さ
れた場合に、その第2の複数のマーカのなかから1つの
マーカを選択して追跡する手段を有することを特徴とす
る。
は選択された追跡マーカを画像座標系で同定する。そし
て、更に、請求項18によれば、前記同定手段は、前記
作業者位置姿勢信号に基づいて前記カメラの位置姿勢信
号を求め、このカメラの位置姿勢信号により、前記第1
の複数のマーカの世界座標系における3次元座標を画像
座標値に変換し、この画像座標系における前記第1の複
数のマーカの座標と、前記追跡マーカの画像座標値とを
比較することにより、その追跡マーカを同定することを
特徴とする一方、請求項17によれば、前記同定手段
は、選択された追跡マーカを世界座標系で同定する。そ
して、請求項19によれば、前記同定手段は、前記作業
者位置姿勢信号に基づいて前記カメラの位置姿勢信号を
求め、このカメラの位置姿勢信号により前記追跡マーカ
のカメラ座標系における座標を世界座標系の値に変換
し、この世界座標系における前記追跡マーカの座標と、
前記第1の複数のマーカの世界座標系の座標値とを比較
することにより、その追跡マーカを同定することを特徴
とする。
明の好適な一態様である請求項20に拠れば、前記部位
は作業者の視点位置であって、前記演算手段は、前記作
業者位置姿勢信号と、前記同定手段によって同定された
追跡マーカの画像座標値と、当該追跡マーカの三次元位
置を画像座標系に変換した値との誤差距離とに基づい
て、作業者の視点位置での位置姿勢信号を求める。位置
姿勢センサの誤差は上記誤差距離に現れるからである。
明の好適な一態様である請求項21に拠れば、前記部位
は作業者の視点位置であって、前記演算手段は、前記作
業者位置姿勢信号と、前記同定手段によって同定された
追跡マーカのカメラ座標系による座標を世界座標系に変
換した座標値と、当該追跡マーカの三次元位置との誤差
距離とに基づいて、作業者の視点位置での位置姿勢信号
を求める。
本発明の好適な一態様である請求項23に拠れば、前記
カメラは作業者に装着される複数のユニットを有する。
追跡マーカの座標がカメラ座標値で検出できるため、位
置姿勢センサの誤差の修正を三次元に行うことができ
る。また、追跡マーカの同定を世界座標系で行えるた
め、特に、マーカが三次元的に配置された場合にも対処
できる。画像座標系での追跡マーカの同定と比べて精度
の向上が期待できる。
示手法及びHMDを、エアーホッケーゲーム装置に適用
した実施形態に係わるシステムを説明する。エアーホッ
ケーゲームは相手の存在する対戦型のゲームであり、通
常、下部から圧縮空気を供給してパックを浮かして、こ
のパックを打ち合い、相手のゴールにパックを入れたら
得点が入る。得点の多い方を勝者とするゲームである。
本実施形態のMRを適用したエアホッケーゲームは、仮
想のパックを仮想3次元画像として現実環境のテーブル
の上に重畳表示してプレーヤーに提示して、その仮想パ
ックをプレーヤに現実のマレットで仮想的に打ち合わせ
るものである。
影し、その共通の画像の中に複数の作業者によって操作
される作業用アクチュエータ(本実施形態ではマレッ
ト)を特定することによって、1つの複合現実世界を現
出させ、複数人で共有可能ならしめる。 :広範な現実空間内で大きく移動する作業者の視点位
置を精度良く検出するために、頭部の位置と姿勢とを検
出する磁気センサの他に、カメラを作業者の頭部に装着
し、このカメラが、ゲームプレー用テーブルの上に設け
られた複数のマーカの中の少なくとも1つのマーカを撮
像ならしめ、この撮像されたマーカの画像座標とそのマ
ーカの既知の位置との差異から、上記磁気センサが検出
した頭部の位置/姿勢(即ち、作業者の視点の位置及び
姿勢)を補正するものである。
態のシステムのゲーム装置部分を側面から見た図であ
る。複合現実感のエアーホッケーゲームは、テーブル1
000を挟んで、二人の対戦者2000,3000が手
にマレット(260L,260R)をもって向かい合
う。二人の対戦者2000,3000は頭部にヘッドマ
ウントデイスプレイ(以下HMDと略す)210L,2
10Rを装着する。本実施形態のマレットは、その先端
に赤外線発光器を有している。後述するように、本実施
形態では、画像処理によりマレット位置を検出するが、
マレットの形状や色に特徴があるのであれば、それらの
特徴を用いたパターン認識によるマレット位置の検出も
可能である。
ようにシースルー型である。両対戦者2000,300
0は、HMD210L,210Rを装着していても、テ
ーブル1000の表面を観察することができる。HMD
210には後述の画像処理システムから三次元仮想画像
が入力される。従って、対戦者2000,3000は、
HMD210の光学系(第2図には不図示)を通した現
実空間の映像に重ねて、HMD210の表示画面に表示
された三次元画像を見ることとなる。
HMD210Lからみた映像を示す。二人のプレーヤ2
000,3000は仮想のパック1500を打ち合う。
パック1500を打つのはプレーヤ2000(プレーヤ
3000)が手に握っている現実のマレット260L
(260R)を用いる。プレーヤ2000は手にマレッ
ト260Lを握っている。相手プレーヤ3000の直前
にはゴール1200Rが見える。後述の画像処理システ
ム(第3図には不図示)は、ゴール1200Rが相手方
近傍に見えるように、三次元CGを生成してHMD21
0Lに表示する。
Rを介してプレーヤ3000の近傍にゴール1200L
を見ることとなる。パック1500も後述の画像処理シ
ステムにより生成されて、各々のHMDに表示される。 〈磁気センサ付きHMD〉第4図は、HMD210の構
成を示す。このHMD210は、例えば特開平7−33
3551号のHMDの本体に、磁気センサ220を支柱
221を介して取り付けたものである。図中、211は
LCD表示パネルである。LCD表示パネルからの光
は、光学部材212に入射し、全反射面214にて反射
して、凹面ミラー213の全反射面にて反射して、全反
射面214を透過して観察者の目に届く。
lhemus社の磁気センサFastrackを用いた。磁気センサは
磁気ノイズに弱いので、プラスティック製の支柱221
により、ノイズ発生源である表示パネル211及びカメ
ラ240から離間した。尚、第4図に示したHMDに磁
気センサ及び(又は)カメラを取り付ける構成は、光学
的シースルー方式の(透視型の)HMDに限られず、ビ
デオシースルー方式の(遮蔽型の)HMDであっても、
磁気センサ及び(又は)カメラを、頭部位置及び姿勢を
正確に検出する目的で、そのHMDに装着することは可
能である。
ンド(不図示)によってプレーヤの頭部に固定される。
プレーヤの夫々の頭部には、第4図に示すように磁気セ
ンサ220が、第2図に示すようにCCDカメラ240
(240L,240R)が、それぞれ固定されている。
カメラ240の視界はプレーヤの前方方向に設定されて
いる。このような磁気センサ220とカメラ240とを
備えたHMDをエアホッケーゲームに用いる場合には、
プレーヤはそれぞれテーブル1000の上面を見ること
となるので、カメラ240もテーブル1000の表面の
画像を撮像する。磁気センサ220(220L,220
R)は、交流磁界発生源250が発する交流磁界の変化
をセンスする。
画像は、磁気センサ220が検出した頭部の位置/姿勢
を補正するために用いられる。プレーヤがテーブル10
00の表面を見るために斜め下方を向くと、HMD21
0を通した視界には、テーブル1000の表面と、前述
の仮想のパック1500、現実のマレット260(26
0L,260R)、仮想のゴール1200(1200
L,1200R)が見える。また、プレーヤが、頭部
を、水平二次元平面内において水平移動させ、あるいは
ティルティング運動、ヨー運動、ローリング運動を行わ
せると、その変化は先ず磁気センサ220によって検出
され、併せて、頭部の姿勢変化に伴ってCCDカメラ2
40が撮像する画像の変化として観測される。即ち、磁
気センサ220からの頭部位置を表す信号はカメラ24
0の画像を画像処理することによって補正される。
れる夫々のマレット260はその先端に赤外線発光器を
有しており、各マレットのテーブル1000上の位置
(二次元平面位置)は各マレットからの赤外線を検出す
るCCDカメラ230によって知られる。即ち、カメラ
230は各プレーヤの手の位置(マレットの位置)を検
出するためにある。マレット位置を検出することによ
り、本ホッケーゲームの進行を判断することができる。
呼ばれる画像を出力する。第5図はテーブル1000上
に配置されたマーカの一例を示す。第5図において、○
印で示した5つのランドマーク即ちマーカ(1600〜
1604)はプレーヤ2000の頭部位置を補助的に検
出するために用いられるマーカを示し、□印で示した5
つのランドマーク即ちマーカ(1650〜1654)は
プレーヤ3000の頭部位置を補助的に検出するために
用いられるマーカを示す。マーカを第5図のように複数
配置すると、頭部の位置、特に姿勢によって、どのマー
カが見えるかが決まる。換言すれば、各々のプレーヤに
装着されたCCDカメラ240が写す画像中におけるマ
ーカを特定し、画像内での位置を検出することにより、
プレーヤの頭部姿勢を検出する磁気センサの出力信号の
補正を行うことができる。
採用したものであり、その形状に特徴があるわけではな
く、任意の形状であってもよい。二人のプレーヤ(20
00,3000)に対してそれぞれ割り当てられたマー
カ群(1600〜1608)とマーカ群(1650〜1
658)とは、それぞれ、異なる色に着色されている。
本実施形態では、左側プレーヤ(#1プレーヤ)のため
のマーカは赤色に、右側プレーヤ(#2プレーヤ)のた
めのマーカは緑色に着色されている。画像処理における
マーカの区別を容易にするためである。尚、色でなく形
状やテクスチャによってマーカを区別することも可能で
ある。
配置した点にある。複数配置することによって、プレー
ヤがテーブル1000上で本エアホッケーゲームの動作
範囲内で行動する限りにおいて、少なくとも1つのマー
カがCCDカメラ240の視野内に入ることが保証され
る。第6図は、プレーヤが頭部を色々と移動した場合に
おいて、頭部の移動に伴って、マーカを検出する画像処
理範囲が移動する様子が描かれてる。同図に示すよう
に、1つの画像には少なくとも1つのマーカが入ってい
る。換言すれば、マーカの数、マーカ間の間隔等は、テ
ーブル1000の大きさ、カメラ240の視野角、ゲー
ムの性質に基づくプレーヤの移動範囲の大きさに応じて
設定されるべきである。第5図の場合、プレーヤから遠
方であればあるほど、広い範囲が視野に入るので、マー
カ間の間隔を広くしなければならない。これは、近傍に
あるマーカ間の画像中での間隔距離と、遠方にあるマー
カ間の画像中での距離とを同じくすることにより、遠方
の視野の画像中に取り込まれるマーカの数を低く抑えて
マーカ検出精度の低下を防止するためである。このよう
にすることにより、画像中に取り込まれるマーカの密度
が遠方マーカでも近隣のマーカでも実質的に等しくする
ことができ、同じフレーム内に不必要に複数のマーカが
撮像されるのを防ぐことができる。
240L(240R)が得た画像中に少なくとも1つの
マーカが存在し、そのマーカを特定できれば十分であ
る。従って、特定のマーカをプレーヤが頭を移動させる
間(カメラ240を移動させる間)において追跡し続け
る必要はない。 〈MR画像生成システム〉第7図は、第2図に示したゲ
ーム装置における三次元画像の生成提示システムの構成
を示す。この画像生成提示システムは、左側プレーヤ2
000のHMD210L及び右側プレーヤ3000のH
MD210Rの夫々の表示装置に、三次元の仮想画像
(第3図のパック1500,ゴール1200)を出力す
るものである。三次元仮想画像のための左右の視差画像
の生成は、画像生成部5050L,5050Rに拠って
行われる。本実施形態では、画像生成部5050の夫々
に米国SiliconGraphics社製のコンピュータシステム「O
NYX2」を用いた。
5030が生成するパック位置情報等と、2つの補正処
理部5040L,5040Rが生成する補正後の視点位
置・頭部方向に関する情報とを入力する。ゲーム状態管
理部5030および補正処理部5040L,5040R
の夫々はコンピュータシステムONYX2により構成され
た。
CCDカメラ230は、テーブル1000の表面を全て
視野に納める。カメラ230によって取得されたマレッ
ト情報はマレット位置計測部5010に入力される。こ
の計測部5010は、同じく、SiliconGraphics社製「O
2」コンピュータシステムにより構成された。計測部5
010は、二名のプレーヤのマレット位置、即ち、手の
位置を検出する。手の位置に関する情報はゲーム状態管
理部5030に入力されて、ここで、ゲーム状態が管理
される。即ち、ゲーム状態・ゲームの進行は基本的には
マレットの位置によって決定される。
ムO2により構成された位置姿勢検出部5000は、2つ
の磁気センサ220L,220Rの夫々の出力(センサ
220自体の位置及び姿勢)を入力して、各プレーヤに
装着されたカメラ(240L,240R)での視点位置
(X,Y,Z)及び姿勢(p,r,φ)を検出し、補正
処理部5040L,5040Rに出力する。
Dカメラ240L,240Rはマーカ画像を取得し、こ
のマーカ画像は、夫々、マーカ位置検出部5060L,
5060Rにおいて処理され、夫々のカメラ240の視
野に納まっている夫々のプレーヤについての追跡マーカ
の位置が検出される。追跡マーカ位置に関する情報は補
正処理部5040(5040L,5040R)に入力さ
れる。
060(5060L,5060R)はO2コンピュータシ
ステムにより構成された。 〈マレット位置計測〉第8図乃至第10図は、マレット
位置を計測する制御手順を示すフローチャートである。
1つの共通カメラでマレットを追跡することにより、複
数作業者による共通の複合現実感を提示することが可能
となる。第8図乃至第10図のフローチャートにより、
本実施形態のマレット位置の計測について説明する。
のマレットを他のプレーヤの領域まで進めることはな
い。そのために、左側プレーヤ2000(右側プレーヤ
3000)のマレット260L(260R)を探索する
処理は、第11図に示すように、左側フィールドの画像
データIL(画像データIR)に処理を集中すればよい。
固定位置にあるCCDカメラ230が取得した画像を第
11図に示すように2つの領域に分割することは容易で
ある。
て、プレーヤ#1(プレーヤ2000)のマレット26
0Lの探索についてはステップS100で、プレーヤ#
2(プレーヤ3000)のマレット260Rの探索につ
いてはステップS200で、夫々の処理が行われる。そ
こで、便宜上、右側プレーヤのマレットの探索(ステッ
プS200)を例にして説明する。
30が撮像したテーブル1000表面の多値画像を取得
する。ステップS212では、その多値画像の右半分の
画像データIRについて、サブルーチン「ローカル領域
での探索」を施す。「ローカル領域での探索」処理の詳
細は第9図に示される。ステップS212で画像座標系
でのマレット位置の座標(x,y)が見つかると、ステ
ップS214からステップS220に進み、画像座標系
でのマレット位置座標(x,y)を次式に従ってテーブ
ル1000の座標系(第13図を参照)の座標位置
(x’,y’)に変換する。
ーブル座標系とをキャリブレーションするための3×3
の変換行列で、既知である。ステップS220で得られ
た座標位置(x’,y’)(第3図では、(x’,
y’)は「手の位置」としてしめされている)はゲーム
状態管理部5030に送られる。ローカル領域でマレッ
トがみつからなかったならば、ステップS216で「グ
ローバル領域での探索」を行う。「グローバル領域での
探索」でマレットが見つかったならば、ステップS22
0でその座標位置をテーブル座標系に変換する。尚、ロ
ーカル又はグローバル領域で探索された座標位置は、次
のフレームでのローカル領域におけるマレットの探索に
用いられる。
る処理(ステップS212の詳細)を示す。但し、この
処理は便宜上右側フィールドにおける探索処理を示す
が、左側フィールドにおけるマレットの探索処理につい
ても実質的に同様である。ステップS222で、次式で
定義される大きさ(2A+1)×(2B+1)画素の矩
形領域を抽出する。
れたマレットの座標値であり、A,Bは探索領域の大き
さを決める定数であって、かかる探索領域は第12図の
ようになる。
定義された矩形領域中の全ての画素(x,y)につい
て、特徴の評値値IS(x,y)が一定の条件を満足す
る画素を抽出する工程である。マレットを探索する目的
では、特徴量とは、画素値(赤外光の強度値)の類似度
が好適である。本実施形態では、マレットには赤外線発
光器を用いているので、その赤外光の強度の特徴を有す
るものは、一応マレットと判断する。
が所定の閾値以上にマレットに近い画素を見つける。そ
のような画素を見つけると、カウンタNに発生度数の累
積値を記憶する。また、そのような画素のx座標値及び
y座標値をレジスタSUMx及びSUMyに累積記憶する。即
ち、
の領域中でマレットからの赤外光のパターンに類似して
いる全ての画素の個数N、及び座標値の累積値SUMx,SU
Myが得られる。N=0であればステップS236で結果
“Not Found”が出力される。N>0であれば、マレッ
トらしいものが見つかったのであり、ステップS238
で、マレットの位置(Ix,Iy)を、
たマレット位置(Ix,Iy)をステップS220(第8
図)でテーブル座標系に変換し、この変換値を「手の位
置」を表す信号として管理部5030に渡す。第10図
は、ステップS216のグローバル領域探索の詳細手順
を示す。第10図のステップS240で、右側フィール
ドの画像IR中の、
0,y<Height,y=mD (ただしn,mは整数)}を満足する画素の中で、特徴
の評値値ISの最大値をレジスタMaxに記憶する。ここ
で、C,Dは探索の粗さを決める定数であり、Widthお
よびHeightはその定義を第15図に示す。即ち、ステッ
プS242で、特徴量ISが閾値記憶レジスタMaxに記憶
されている閾値を超えるか否かを判断する。そのような
画素が見つかったならば、ステップS244で、その特
徴量を新たな閾値とすべく、ステップS244で、
かった最もマレットらしい画素(Ix,Iy )の座標値
をステップS220に渡す。
け、その座標値をテーブル座標系に変換したものをゲー
ム状態管理部5030に渡す。 〈ゲーム状態管理〉第13図は、本実施形態のエアホッ
ケーゲームのゲームフィールドを示す。このフィールド
は、テーブル1000の上の2次元平面上に定義され、
x,y軸を有する。また、左右の2つの仮想的ゴールラ
イン1200L,1200Rと、第13図の上下方向に
設けられた仮想的壁1300a,1300bとを有す
る。仮想的ゴールライン1200L,1200Rと仮想
的壁1300a,1300bとは、その座標値は既知で
あり、移動することはない。このフィールドの中で、マ
レット260R,260Lの移動に応じて、パック15
00の仮想画像が移動する。
pと速度情報vpとを有し、左マレット260Lは現在位
置の座標情報PSLと速度情報vSLとを有し、右マレット
260Rは現在位置の座標情報PSRと速度情報vSRとを
有する。第14図は、ゲーム状態管理部5030におけ
る処理手順を説明するフローチャートである。
の初期位置Pp0及び初期速度vp0を設定する。尚、パッ
クは速度vpで等速度運動を行う。また、パックは、壁
又はマレットに当たると完全弾性衝突を行う、即ち、速
度方向が反転するものとする。ゲーム状態管理部503
0は、マレット位置計測部5010が計測した各マレッ
トの位置情報PSから速度情報vSを得る。
する(ステップS50で一方が3点を先取する)迄の間
は、Δt時間毎に実行される。すると、ステップS12
では、パックの位置は、
ックの位置は、一般には、
置Ppがプレーヤの#1側(左プレーヤ)のフィールド
にあるか否かを調べる。パック1500が左プレーヤ側
にある場合について説明する。
左プレーヤのマレット1100Lと干渉する位置にある
か否かを調べる。パック1500がマレット1100L
と干渉する位置にあるとは、左プレーヤ2000がマレ
ット260Lをパックに衝突させるようなマレット操作
を行ったことを意味するから、パック1500の運動を
反転させるために、ステップS18で、パック1500
の速度vpのx方向速度成分vpxの符号を反転させて、
ステップS20に進む。
符号を反転させる代わりに、
レットのx方向の操作速度vSLxを重畳して、反対方向
に進ませるようにしても良い。一方、現在のパック位置
が左プレーヤのマレット1100Lと干渉する位置にな
い場合(ステップS16でNO)には、そのままステッ
プS20に進む。
仮想壁1300a又は1300bと衝突する位置にある
か否かを調べる。ステップS20の判断がYESの場合
には、ステップS22でパックの速度のy成分を反転さ
せる。次ぎにステップS24で、現在のパック位置が左
プレーヤのゴールライン内にあるか否かを調べる。YE
Sの場合には、ステップS26で相手側のプレーヤ、即
ち、右(#2)プレーヤの得点を加算する。ステップS
50では、いずれかの得点が3点以上先取したかを調べ
る。3点以上であればゲームを終了する。
Ppが右プレーヤ側(#2プレーヤ側)にある場合に
は、ステップS30以下を実行する。ステップS30〜
ステップS40は、ステップS16〜ステップS26と
実質的に動作は同じである。かくして、ゲームの進行状
態は管理される。ゲームの進行状態は、パックの位置、
マレットの位置であり、前述したように、画像生成部5
050(5050L,5050R)に入力される。
部5040(5040L,5040R)における処理の
制御手順の全体を示す。補正処理部5040における補
正とは、磁気センサ220の出力は誤差を伴うものであ
り、そのような出力に基づいて計測部5000が演算し
た視点位置データ及び頭部姿勢データを、CCDカメラ
240から得られた画像中のマーカ位置に基づいて補正
する処理をいう。即ち、この補正処理は、カメラ240
が取得した画像中のマーカ位置から、カメラ240の位
置(頭部の位置に密接に関連するものでもある)の補正
値を求め、その補正値を用いて、視点のビューイング変
換行列を変更する。変更されたビューイング変換行列は
補正された視点の位置及び姿勢データを表すものであ
り、換言すれば、この補正されたビューイング変換行列
は補正された視点位置での仮想画像を与える。
の視点位置/姿勢の補正の原理を説明する。ここで、実
施形態における観察者の視点位置/姿勢の補正とは、補
正されたビューイング変換行列を求めることと等値であ
る。第26図において、プレーヤのカメラ240がマー
カ1603を画像300に捉えているとする。マーカ1
603の位置はこの画像300内では画像座標系で例え
ば(x0,y0)と表される。一方、画像300が捉えて
いるマーカが1603であることが分かれば、そのマー
カ1603の世界座標系での座標(X0,Y0,Z0)は
既知である。(x0,y0)は画像座標値であり(X0,
Y0,Z0)は世界座標であるから、これらの座標同士を
比較することはできない。第1実施形態では、磁気セン
サ220の出力からカメラ240のビューイング変換行
列MCを求め、世界座標系での座標(X0,Y0,Z0)を
このビューイング変換行列MCを用いて画像座標系の座
標(x' 0,y' 0)に変換する。そして、(x0,y0)と
(x' 0,y' 0)との誤差が磁気センサ22の出力の誤差
を表現するものであるから、これを補正する補正行列Δ
MCを求める。
00内に捉えられたマーカがマーカ1603であること
を特定する必要があるが、第1実施形態では、後述する
ように、全てのマーカの世界座標系での三次元位置を上
記ビューイング変換行列MCにより画像座標系に変換し
て、変換後のカメラ座標値が上記(x0,y0)に最も近
いマーカを画像300内に捉えられたマーカと特定す
る。この処理は第19図及び第20図によって説明され
るであろう。
理手順を詳細に説明する。即ち、ステップS400で
は、磁気センサ220の出力に基づいて、カメラ240
のビューイング変換行列(4×4)を計算する。ステッ
プS410では、ステップS400で求めたビューイン
グ変換行列と、カメラ240の理想的透視変換行列(既
知)と、各マーカの三次元位置(既知)とに基づいて、
各マーカが観測されるべき位置座標(画像座標系での)
を予測する。
0L,5060R)は、プレーヤの頭部に取り付けられ
たカメラ240(240L,240R)から得た画像中
でマーカを追跡している。マーカ位置検出部5060
は、検出したマーカ位置を、補正処理部5040(ステ
ップS420において)に渡す。補正処理部5040
(5040L,5040R)は、ステップS420にお
いて、渡されたマーカ位置情報に基づいて、現在観測し
ているマーカ、即ち補正の基準となるマーカを判別す
る。ステップS430では、ステップS410で演算さ
れたマーカの予測座標値とマーカ位置検出部5060が
検出したマーカの観測座標値との差異に基づいて、磁気
センサ220が検出したカメラ240の位置姿勢を補正
するための補正行列ΔMcを求める。カメラ240の位
置姿勢の補正ができるのは、マーカ位置検出部5060
が観測したマーカ(第26図の例ではマーカ1603)
の座標値と磁気センサが検出した頭部位置に基づくマー
カ座標とは、センサ出力が正確であれば一致している筈
であるから、ステップS430で演算する上記の差異は
磁気センサ220の誤差を反映するからである。カメラ
の位置姿勢と視点の位置姿勢との相対関係は既知であ
り、その関係は三次元座標変換で表される。従って、こ
のカメラの位置姿勢の補正行列ΔMcに基づいて、ステ
ップS440で、ステップS400で演算した視点のビ
ューイング変換行列を補正し、この補正された変換行列
を画像生成部5050(5050L,5050R)に渡
す。
ける、マーカの位置検出のための処理手順である。ステ
ップS500では、カメラ240が取得したカラー画像
を取り込む。その後に、ステップS502では、「ロー
カル領域探索」を、ステップS506では「グローバル
領域探索」を行って、画像座標系によって表されたマー
カ位置(x,y)を検出する。ステップS502の「ロ
ーカル領域探索」、ステップS506の「グローバル領
域探索」は、手順としては、マレット探索における「ロ
ーカル領域探索」(第9図)、「グローバル領域探索」
(第10図)に実質的に同じであるので、この「ローカ
ル領域探索」(第9図)と「グローバル領域探索」(第
10図)とを援用することとし、図示を省略する。但
し、援用された制御手順(ステップS232)におけ
る、マーカ探索のための特徴量ISとして、プレーヤ#
1(左)について、注目画素の画素値の、
カ(1600〜1604)には赤色を用いているので、
この特徴量は赤らしさの程度を表す。また、プレーヤ#
2(右)については緑色のマーカ(1650〜165
4)を用いているので、
特徴量IS(x,y)についても上記2つの量を用い
る。ステップS502及びステップS506で得られた
マーカの座標値は、ステップS510で、歪みを補正す
るための行列M(例えば3×3の大きさを有する)を用
いて歪みのない理想的な画像座標系に変換する。この時
の変換式は、
10の処理の詳細について第18図を用いて説明する。
前述したように、ステップS400では世界座標系から
カメラ座標系への変換行列MC(4×4のビューイング
変換行列)が得られている。一方、カメラ座標系から画
像座標系への変換行列PC(4×4)も既知の値として
与えられている。また、注目するマーカの三次元座標位
置(X,Y,Z)も既知として与えられている。
軸方向の回転(roll)とし、角度pをカメラ240の位置
でのX軸方向の回転(pitch)とし、角度φをカメラ24
0の位置でのZ軸方向の回転(yaw)とし、カメラ240
の位置を(X0,Y0,Z0)すると、カメラ240のビ
ューイング変換行列(即ち、世界座標系からカメラ座標
系への変換行列)Mcは、
をカメラの撮像面の幅、hを同じく高さとすると、カメ
ラ座標系から画像座標系への変換行列PCは、
S520(即ち第16図のステップS410)では、注
目マーカの座標位置(X,Y,Z)を、次式に従って、
画像面上での位置(xh,yh,zh)に変換する。
るマーカの観測予測座標値x、yとして、
り、各マーカiの画像座標系での観測予測座標値
(xi,yi)を得ることができる。次ぎに、ステップS
420における「マーカ判別」の処理を説明する。第1
9図は、テーブル1000上において、一方のプレーヤ
のカメラ240が画像600を取得した場合を示す。
カを、例えばM1〜M7とし、△印で表す。このマーカの
三次元位置Miは既知である。画像600内には、マー
カM2,M3,M6,M7が含まれている。一方、各マーカ
Miの観測予測位置はステップS520で求められたも
のであり、それをPiとする。また、Qは、マーカ位置
検出部5060が検出し、検出部5060から渡された
マーカ位置を示す。
マーカ位置検出部5060が検出したマーカ位置Qが、
どのPi(即ち、どのMi)に対応するかを判断するもの
である。第19図において、ベクトルeiを、検出され
たマーカ位置Qから各マーカの予測位置Piに向かうベ
クトルの長さ、即ち、距離を表すものとする。ステップ
S420の詳細を第20図に示す。即ち、第20図の処
理は、画像6000内に入るマーカi(i=0〜n)の
距離eiのうち、最小値を示すマーカを探索し、そのマ
ーカの識別子iを出力するものである。即ち、
離e2が一番短いので、マーカM2を磁気センサ出力の補
正に用いるデータとする。かくして、プレーヤがどのよ
うに移動しても、その活動範囲(フィールド)内では、
カメラ240は少なくとも1つのマーカを画像中に捉え
るので、従来のように、フィールドの大きさを狭く限定
する必要が無くなる。
おいて説明した処理と同じであって、式18に基づいて
得られた誤差距離eminに基づいて、カメラの位置方位
の補正を表す変換行列ΔMcを求める。一方、ステップ
S432では、磁気センサ出力に基づいて、プレーヤの
視点位置でのビューイング変換行列MVを求める。ま
た、Mvcをカメラ座標系から視点座標系への変換行列
(既知である)とすると、ステップS440では、この
Mvcを用いて、次式によって補正後の視点のビューイン
グ変換行列Mv’を導出する。
の第2実施形態からも明らかになることであるが、第1
実施形態(第16図の処理)では、画像座標系に変換し
て、誤差距離eを求めたが、反対に世界座標系に変換し
て誤差距離eを求めても同じように補正後の視点のビュ
ーイング変換行列を得ることができる。 〈頭部位置の検出精度の向上〉…第2実施形態 上記第1実施形態では、HMD210L(210R)に
は前方モニタ用の1つのカメラ240L(240R)が
設けられていた。このカメラ240により取得されたテ
ーブル1000上のマーカの画像を、処理部5060が
処理して、画像中のマーカを特定(ステップS420)
して、プレーヤの頭部の姿勢、即ち、頭部に装着された
カメラの姿勢、換言すれば、この姿勢を有するカメラに
よるビューイング変換を表す行列を決定するというもの
であった。しかしながら、第1実施形態では画像座標系
での誤差のみを利用しているため、カメラとマーカの位
置関係に三次元的なずれが残ってしまう。
よっては、マーカが3次元空間の任意位置におかれる場
合もあり、このような場合は第1実施形態での第16図
に示されたマーカの同定手法は信頼性が低くなる。次に
提案する第2実施形態は、この三次元的なずれの問題を
解消する。即ち、一人のプレーヤに2台のカメラを装着
してマーカの検出を世界座標系で行うことで、上記の問
題を解消する。また、第2実施形態は、マーカが平面上
に配置されなくてはならないという拘束も緩和する。
着された2台のHMDを二人のプレーヤに用いるもので
ある。即ち、第21図に示すように、プレーヤ2000
(3000)のHMD210L(210R)には、2台
のカメラ240LR,240LL(240RR,240
RL)を装着し、このカメラ240LR,240LL
(240RR,240RL)から得たステレオ画像か
ら、カメラ240LR,240LL(240RR,24
0RL)の姿勢を補正するものである。
3次元的に配置された場合にも対処できるものである
が、第1実施形態の処理手順との異同を明瞭にするため
に、第1実施形態と同じく、平面上に配置された複数の
マーカを用いるエアホッケーゲームに適用する。第22
図は、第2実施形態に関わる画像処理システムの一部を
示す。即ち、第22図は、第1実施形態の画像処理シス
テム(第7図)のうちの変更部分を示す。即ち、第7図
と第22図とを対比すると、第2実施形態の画像処理シ
ステムは、各プレーヤに2台のカメラが設けられている
点のほかに、マーカ位置検出部5060L’(5060
R’)と、補正処理部5040L’(5040R’)と
を有する点で第1実施形態と異なるものの、第2実施形
態のマーカ位置検出部5060L’(5060R’)
と、補正処理部5040L’(5040R’)は第1実
施形態のマーカ位置検出部5060L(5060R)
と、補正処理部5040L(5040R)とソフトウエ
アの処理において異なっているに過ぎない。
ちの特に左側プレーヤ2000のための制御手順を示
し、特に、第1実施形態の第16図の制御手順に対応す
る部分であって、マーカ位置検出部5060’と位置・
姿勢検出部5000と補正処理部5040L’との連係
動作を説明する。第23図に於いて、第1実施形態と同
じところの位置・姿勢検出部5000は、ステップS3
98で磁気センサ220Lの出力に基づいて、視点のビ
ューイング変換行列を算出する。ステップS400’で
は、磁気センサ220Lの出力に基づいて、カメラ24
0LRのビューイング変換行列の逆行列を算出する。こ
の変換行列は補正処理部5040’に送られる。
らの画像はマーカ位置検出部5060L’に送られる。
即ち、ステップS402では、検出部5060’が右側
カメラ240LRからの画像R中にマーカ画像mRを抽
出する。抽出されたマーカの座標(即ち、観測座標)を
ImRで表す。ステップS404では、検出部5060’
が右側カメラ240LLからの画像L中に対応マーカ画
像mLを抽出する。抽出されたマーカの座標をImLで表
す。マーカ画像mRとマーカ画像mLとは本来同じマーカ
mXのものであるから、ステップS406では、観測さ
れた1組のマーカ座標(ImR,ImL)から、三角測量の
原理に基づいて、カメラ240LRの座標系における抽
出された観測マーカの三次元位置Cmを導出する。
レオ視による手法を用いてマーカ画像mLの対応点探索
を行うが、処理を高速に行うために、周知のエピポーラ
拘束epipolar bindを用いて探索範囲を限定してもよ
い。第23図のステップS410’,ステップS42
0’,ステップS422,ステップS430’は補正処
理部5040L’における処理を示す。
たマーカのカメラ座標系における三次元位置Cmを、ス
テップS400’において導出された透視変換行列を用
いて、世界座標系の三次元位置Wmに変換する。ステッ
プS420’では、全てのマーカmiの世界座標系にお
ける3次元位置Wmi(既知)を所定のメモリから取り出
して、個々のマーカmiと観測マーカmXとのユークリッ
ド距離|Wmi−Wm|を最小とするようなWmiを決定す
る。即ち、観測マーカmX最も近い位置にある既知のマ
ーカを同定する。
るが、センサの誤差によって誤差ベクトルD(第1実施
形態のeに相当)が発生しているものである。そこで、
ステップS420’では、観測された(追跡された)マ
ーカの3次元座標(世界座標)に最も近い座標値Wmiを
有するマーカを決定し、ステップS430’では、観測
マーカと決定されたマーカとの距離差ベクトルDを、
させるための変換行列ΔMcを求め、ステップS44
0’では、第1実施形態と同じ手法で視点のビューイン
グ変換行列を補正する。
したHMDを用いることにより、観測マーカの位置検出
を三次元的に行うことができ、このために、より正確な
視点の位置姿勢が検出可能となり、MRの仮想画像と実
画像とのつなぎが滑らかとなる。 〈変形例1〉本発明は上述の第1実施形態や第2実施形
態にのみ適用されるものではない。
検出する処理は、第17図に示すように、最初に見つか
ったものを追跡対象のマーカとしていた。そのために、
例えば、第24図に示すように、あるフレームでマーカ
M1を含む画像800が得られた場合に、その後のフレ
ームの画像領域810には、マーカが領域810の端部
ではあるがその領域810内に含まれている場合には、
マーカMiを補正処理の基準用のマーカとして決定する
ことに不都合はない。しかし、その後のフレームで、例
えば画像820が得られ、その領域内にはマーカMiが
外れ、代わりにマーカM2を含む場合には、補正のため
の基準マーカはそのマーカM2に変更せざるを得ない。
このようなマーカの変更は追跡に失敗した場合にも必要
となり、位置ずれの補正には、新たに追跡されたマーカ
が利用される。
えることの問題点として、その切り替わりの際に、補正
値の急激な変化が原因となって、仮想物体が不自然に移
動してしまう場合がある。そこで、補正値の時間的整合
性を保つために、前フレームまでの補正値を次の補正値
の設定に反映させることを変形例として提案する。
系での平行移動を表す3次元ベクトル)をvt、前フレ
ームでの補正値をv't-1としたとき、次式で求められる
v'tを新たな補正値とする。
定義する0≦α<1の定数である。上記式の意味すると
ころは、前フレームでの補正値v't-1に拠る寄与度をα
とし、今回のフレームで得られた補正値vtを(1−
α)の寄与度で用いるというものである。このようにす
ることにより、補正値の急激な変化が緩和され、三次元
仮想画像の急激な変化(不自然な移動)が解消する。新
たな補正値αを適当な値に設定することで、マーカの切
り替わりによる不自然な物体の移動を防ぐことができ
る。
マーカを検出する処理は、第17図に示すように、ロー
カル探索でマーカを発見できなかった場合、前回のフレ
ームでのマーカの位置に関わらず、全画面中で最も類似
度の高い点を追跡対象のマーカとしていた。ここで、マ
ーカの探索を、前のフレームで見つかったマーカの位置
を中心にして、マーカ探索を行う変形例を提案する。こ
れは、プレーヤの移動に伴う画像フレームの移動があっ
ても、マーカは前フレームに存在した位置から大きくず
れていない位置に存在する可能性が高いからである。
かったマーカを今回のフレームに探索する原理を説明す
る。このような探索経路で探索を行い、ある閾値以上の
類似度を持つ点を見つけたら、この点を追跡対象のマー
カとするのである。 〈変形例3〉上記実施形態は光学式HMDを用いたもの
であったが、本発明は光学式HMDの適用に限定される
ものではなく、ビデオシースルー方式のHMDにも適用
可能である。
ーゲームに適用したものであったが、本発明はエアホッ
ケーゲームに限られない。本発明は、複数人の作業(例
えばマレット操作)を、1つのカメラ手段により撮像し
て捉えるので、その複数人の作業を1つの仮想空間に再
現することが可能である。従って、本発明は、2人以上
の作業者を前提とした協調作業(例えば、複数人による
設計作業のMRプレゼンテーション、あるいは複数人の
対戦型ゲーム)の実施例にも好適である。
勢位置を補正する処理は、複数人の協調作業にのみ好適
であることはない。一人の作業者(あるいはプレーヤ)
に複合現実感を提示するシステムにも適用可能である。 〈他の変形例〉第2実施形態では、2台のカメラを用い
ていたが、3台以上のカメラを用いてもよい。
ラ240の少なくとも1つ捉えられれば十分である。マ
ーカの数が多すぎると、画像に捕捉されるマーカの数が
多くなり、第16図のS430や第23図のS430’
の追跡マーカの同定処理で、マーカを誤って同定してし
まう可能性が高くなる。従って、作業がカメラ240の
移動をある程度規制できるものであれば、そのカメラに
常に1つのマーカだけが捕捉されるように、マーカの数
を少なくすることも可能である。
出装置は、プレーヤの視点位置での補正されたビューイ
ング変換行列を出力するものであったが、本発明はこれ
に限定されず、プレーヤの視点位置を補正された値
(X,Y,Z,r,p,φ)の形式で出力する装置にも
適用できる。また、マーカは、上述のシステムがマーカ
若しくはマークとして認識できるものであれば、いかな
る形状を有してもよく、また、マークではなく、もので
あってもよい。
出装置および位置姿勢検出方法に因れば、複数のマーカ
をカメラにより撮像するので、少なくとも1つのマーカ
がその画像中に取得されることとなる。そのために、作
業者が広い作業範囲又は広い移動範囲において移動して
も、作業者の頭部位置を追跡できる。特に、広範囲での
複合仮想現実感の提示を可能にするという特別の効果が
得られる。
に適用されている、カメラ位置の補正の原理を説明する
図。
置の構成を示す側面図。
見えるシーンを説明する図。
の構成を説明する図。
マーカの配置を説明する図。
れて、プレーヤの頭部に装着されたカメラに捉えられる
画像中に含まれるマーカの変遷を説明する図。
生成装置の構成を説明する図。
順を説明するフローチャート。
順の一部サブルーチン(ローカル探索)を説明するフロ
ーチャート。
手順の一部サブルーチン(グローバル探索)を説明する
フローチャート。
いられる処理対象領域の分割を説明する図。
いられる対象領域の設定手法を示す図。
ィールドの構成を説明する図。
ム管理の制御手順を説明するフローチャート。
全体的に説明するフローチャート。
の追跡)を詳細に説明するフローチャート。
位置の予測)を詳細に説明するフローチャート。
の検出の原理を説明する図。
フローチャート。
を示す図。
構成を示すブロック図。
一部を示すフローチャート。
の変遷を説明する図。
の原理を説明する図。
図。
Claims (46)
- 【請求項1】 作業者が所定の複合現実環境内で行う作
業を表す3次元仮想画像を生成するために、該作業者の
作業位置を検出する位置姿勢検出装置であって、 該作業者の三次元位置姿勢を計測して、作業者位置姿勢
信号を出力する位置姿勢センサと、 前記環境内の既知の位置に設けられた第1の複数のマー
カを撮像するカメラと、 前記カメラからの画像信号を処理して、前記第1の複数
のマーカの中の任意のマーカを追跡し、この追跡マーカ
の座標値を検出する検出手段と、 前記検出手段によって得られた前記追跡マーカの座標値
と前記位置姿勢センサからの作業者位置姿勢信号とに基
づいて、前記作業部位の位置姿勢を表す部位位置姿勢を
演算する演算手段とを具備する位置姿勢検出装置。 - 【請求項2】 前記第1の複数のマーカの内の、1つの
マーカと他のマーカとの間の、作業者の前方を横切る方
向における距離は、作業者の前方のより遠方にあるマー
カ程、長くなるように設定されていることを特徴とする
請求項1に記載の位置姿勢検出装置。 - 【請求項3】 複数の作業者が協調作業を行う場合にお
いて、同じ作業者のための第1の複数のマーカは同じ表
現態様に統一されていることを特徴とする請求項1に記
載の位置姿勢検出装置。 - 【請求項4】 前記作業部位は作業者の視点位置である
ことを特徴とする請求項1に記載の位置姿勢検出装置。 - 【請求項5】 前記検出手段は、前記カメラが取得した
画像中において最初に探索したマーカを用いることを特
徴とする請求項1に記載の位置姿勢検出装置。 - 【請求項6】 前記検出手段は、前回のシーンの画像に
おいて探索されたマーカを今回のシーンの画像中に探索
する手段を具備することを特徴とする請求項1に記載の
位置姿勢検出装置。 - 【請求項7】 前記位置姿勢センサは作業者の頭部に設
けられることを特徴とする請求項1に記載の位置姿勢検
出装置。 - 【請求項8】 前記第1の複数のマーカの前記環境内に
おける配置分布密度は、作業者の前方のより遠方にある
マーカの分布密度が、より近隣にあるマーカの分布密度
よりも低く設定されていることを特徴とする請求項1に
記載の位置姿勢検出装置。 - 【請求項9】 前記第1の複数のマーカは、前記カメラ
の視界内に少なくとも1つが捕捉されるように前記環境
内に配置されたことを特徴とする請求項1に記載の位置
姿勢検出装置。 - 【請求項10】 前記検出手段は、前記追跡マーカの画
像座標系での画像座標を検出することを特徴とする請求
項1に記載の位置姿勢検出装置。 - 【請求項11】 前記検出手段は、前記追跡マーカのカ
メラ座標系での座標を検出することを特徴とする請求項
1に記載の位置姿勢検出装置。 - 【請求項12】 前記第1の複数のマーカは前記環境内
に配置された平面状のテーブルに描かれたマークである
ことを特徴とする請求項1に記載の位置姿勢検出装置。 - 【請求項13】 前記第1の複数のマーカは前記環境内
に三次元的位置に配置されたことを特徴とする請求項1
1に記載の位置姿勢検出装置。 - 【請求項14】 前記検出手段は、 前記追跡マーカを、前記第1の複数のマーカの中から同
定する同定手段を有することを特徴とする請求項1に記
載の位置姿勢検出装置。 - 【請求項15】 前記検出手段は、 前記カメラが捉えた画像内に第2の複数のマーカが検出
された場合に、その第2の複数のマーカのなかから1つ
の追跡マーカを選択する手段を有することを特徴とする
請求項1に記載の位置姿勢検出装置。 - 【請求項16】 前記同定手段は、選択された追跡マー
カを画像座標系で同定することを特徴とする請求項1に
記載の位置姿勢検出装置。 - 【請求項17】 前記同定手段は、選択された追跡マー
カを世界座標系で同定することを特徴とする請求項1に
記載の位置姿勢検出装置。 - 【請求項18】 前記同定手段は、 前記作業者位置姿勢信号に基づいて前記カメラの位置姿
勢信号を求め、 このカメラの位置姿勢信号により、前記第1の複数のマ
ーカの世界座標系における3次元座標を画像座標値に変
換し、 この画像座標系における前記第1の複数のマーカの座標
と、前記追跡マーカの画像座標値とを比較することによ
り、その追跡マーカを同定することを特徴とする請求項
14に記載の位置姿勢検出装置。 - 【請求項19】 前記同定手段は、 前記作業者位置姿勢信号に基づいて前記カメラの位置姿
勢信号を求め、 このカメラの位置姿勢信号により前記追跡マーカのカメ
ラ座標系における座標を世界座標系の値に変換し、 この世界座標系における前記追跡マーカの座標と、前記
第1の複数のマーカの世界座標系の座標値とを比較する
ことにより、その追跡マーカを同定することを特徴とす
る請求項15に記載の位置姿勢検出装置。 - 【請求項20】 前記部位は作業者の視点位置であっ
て、 前記演算手段は、前記作業者位置姿勢信号と、前記同定
手段によって同定された追跡マーカのカメラ座標家によ
る座標値と、当該追跡マーカの三次元位置を画像座標系
に変換した値との誤差距離とに基づいて、作業者の視点
位置での位置姿勢信号を求めることを特徴とする請求項
14に記載の位置姿勢検出装置。 - 【請求項21】 前記部位は作業者の視点位置であっ
て、 前記演算手段は、前記作業者位置姿勢信号と、前記同定
手段によって同定された追跡マーカの画像座標を世界座
標系に変換した座標値と、当該追跡マーカの三次元位置
との誤差距離とに基づいて、作業者の視点位置での位置
姿勢信号を求めることを特徴とする請求項14に記載の
位置姿勢検出装置。 - 【請求項22】 前記位置姿勢センサは前記作業者の頭
部に設けられた磁気センサであることを特徴とする請求
項14に記載の位置姿勢検出装置。 - 【請求項23】 前記カメラは作業者に装着される複数
のユニットを有し、 前記同定手段は、選択された追跡マーカを世界座標系で
同定することを特徴とする請求項17に記載の位置姿勢
検出装置。 - 【請求項24】 前記カメラユニットは2つであること
を特徴とする請求項23に記載の位置姿勢検出装置。 - 【請求項25】 既知の位置に配置された第1の複数の
マーカを有する作業台と、 作業者の頭部姿勢を検出するために作業者に装着される
姿勢センサと、 前記第1の複数のマーカのうちの少なくとも1つが視野
に入るように設定されたカメラと、 前記カメラからの画像信号を処理して、前記第1の複数
のマーカの中の任意のマーカを追跡し、この追跡マーカ
の座標値を検出する検出手段と、 前記検出手段によって得られた前記追跡マーカの座標値
と前記位置姿勢センサからの頭部位置姿勢信号とに基づ
いて、前記作業者の視点の位置姿勢を表す視点の位置姿
勢信号を演算する演算手段と、 前記視点の位置姿勢信号に応じた視点位置に、複合現実
感を提示するための仮想画像を生成する生成手段とを具
備することを特徴とする複合現実感提示装置。 - 【請求項26】 前記第1の複数のマーカの内の、1つ
のマーカと他のマーカとの間の、作業者の前方を横切る
方向における距離は、作業者の前方のより遠方にあるマ
ーカ程、長くなるように前記作業台上に設定されている
ことを特徴とする請求項25に記載の複合現実感提示装
置。 - 【請求項27】 複数の作業者が協調作業を行う場合に
おいて、同じ作業者のための複数のマーカは同じ表現態
様に統一されていることを特徴とする請求項25に記載
の複合現実感提示装置。 - 【請求項28】 前記検出手段は、前記カメラが取得し
た画像中においてマーカを追跡してそのマーカの画像座
標値を出力する追跡手段を更に有することを特徴とする
請求項25に記載の複合現実感提示装置。 - 【請求項29】 前記追跡手段は、前記画像中で最初に
探索されたマーカを追跡中のマーカと同定することを特
徴とする請求項28に記載の複合現実感提示装置。 - 【請求項30】 前記追跡手段は、前回のシーンの画像
において探索されたマーカを今回のシーンの画像中に探
索する手段を具備することを特徴とする請求項28に記
載の複合現実感提示装置。 - 【請求項31】 前記第1の複数のマーカの前記環境内
における配置分布密度は、作業者の前方のより遠方にあ
るマーカの分布密度が、より近隣にあるマーカの分布密
度よりも低く設定されていることを特徴とする請求項2
5に記載の複合現実感提示装置。 - 【請求項32】 前記第1の複数のマーカは、前記カメ
ラの視界内に少なくとも1つが捕捉されるように前記環
境内に配置されたことを特徴とする請求項25に記載の
複合現実感提示装置。 - 【請求項33】 前記検出手段は、前記追跡マーカの画
像座標系での画像座標を検出することを特徴とする請求
項25に記載の複合現実感提示装置。 - 【請求項34】 前記検出手段は、前記追跡マーカのカ
メラ座標系での座標を検出することを特徴とする請求項
25に記載の複合現実感提示装置。 - 【請求項35】 前記第1の複数のマーカは前記環境内
に配置された平面状のテーブルに描かれたマークである
ことを特徴とする請求項25に記載の複合現実感提示装
置。 - 【請求項36】 前記第1の複数のマーカは前記環境内
に三次元的位置に配置されたことを特徴とする請求項3
5に記載の複合現実感提示装置。 - 【請求項37】 前記検出手段は、 前記追跡マーカを、前記第1の複数のマーカの中から同
定する同定手段を有することを特徴とする請求項25に
記載の複合現実感提示装置。 - 【請求項38】 前記同定手段は、画像座標系で同定す
ることを特徴とする請求項25に記載の複合現実感提示
装置。 - 【請求項39】 前記同定手段は、世界座標系で同定す
ることを特徴とする請求項26に記載の複合現実感提示
装置。 - 【請求項40】 作業者が所定の複合現実環境内で行う
作業に関連する3次元仮想画像を生成するために、該作
業者の作業位置を検出する位置姿勢検出方法であって、 該作業者の三次元位置姿勢を計測して位置姿勢信号を出
力する工程と、 前記環境内の既知の位置に設けられた複数のマーカを撮
像するカメラからの画像信号を処理して、少なくとも1
つのマーカを追跡して、この追跡マーカの座標を検出す
る工程と、 この追跡マーカの座標と前記位置姿勢信号とに基づい
て、前記作業者の頭部の位置姿勢を表す信号を出力する
工程とを具備することを特徴とする位置姿勢検出方法。 - 【請求項41】 前記請求項40の位置姿勢検出法によ
り検出された前記作業者の頭部位置に従って、仮想現実
感を提示する複合現実感の提示方法。 - 【請求項42】 前記カメラは作業者に複数装着され、 前記検出工程は、複数のカメラユニットにより撮像され
た作業者前方の複数の画像を表す信号を三角測量の方法
を用いて処理することにより、少なくとも1つのマーカ
を追跡することを特徴とする請求項40に記載の位置姿
勢検出方法。 - 【請求項43】 請求項40に記載の方法を記述するコ
ンピュータプログラムを記憶する記憶媒体。 - 【請求項44】 請求項41に記載の方法を記述するコ
ンピュータプログラムを記憶する記憶媒体。 - 【請求項45】 請求項42に記載の方法を記述するコ
ンピュータプログラムを記憶する記憶媒体。 - 【請求項46】 作業者の作業位置を検出する位置姿勢
検出装置であって、 該作業者の三次元位置姿勢を計測して位置姿勢信号を出
力する位置姿勢センサと、 前記環境内の既知の位置に設けられた複数のマーカを撮
像するカメラと、 前記カメラからの画像信号を処理して、前記複数のマー
カの中の任意のマーカを追跡し、この追跡マーカの座標
値を検出する検出手段と、 前記検出手段によって得られた前記追跡マーカの座標値
に基づいて、前記位置姿勢センサの出力信号を補正する
補正手段とを具備する位置姿勢検出装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06582498A JP3450704B2 (ja) | 1997-09-01 | 1998-03-16 | 位置姿勢検出装置及び情報処理方法 |
US09/045,993 US6522312B2 (en) | 1997-09-01 | 1998-03-23 | Apparatus for presenting mixed reality shared among operators |
DE69835321T DE69835321T2 (de) | 1997-09-01 | 1998-03-24 | Vorrichtung und Verfahren zur Darstellung gemischter virtueller Realität, gemeinsam von mehreren Bedienungspersonen genutzt |
AT98302186T ATE334453T1 (de) | 1997-09-01 | 1998-03-24 | Vorrichtung und verfahren zur darstellung gemischter virtueller realität, gemeinsam von mehreren bedienungspersonen genutzt |
EP98302186A EP0899690B1 (en) | 1997-09-01 | 1998-03-24 | Apparatus and method for presenting mixed virtual reality shared among operators |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-236375 | 1997-09-01 | ||
JP23637597 | 1997-09-01 | ||
JP06582498A JP3450704B2 (ja) | 1997-09-01 | 1998-03-16 | 位置姿勢検出装置及び情報処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003037406A Division JP3793158B2 (ja) | 1997-09-01 | 2003-02-14 | 情報処理方法及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11136706A true JPH11136706A (ja) | 1999-05-21 |
JP3450704B2 JP3450704B2 (ja) | 2003-09-29 |
Family
ID=26406969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06582498A Expired - Fee Related JP3450704B2 (ja) | 1997-09-01 | 1998-03-16 | 位置姿勢検出装置及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3450704B2 (ja) |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132487A (ja) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | 遠隔作業支援システム |
JP2002229730A (ja) * | 2000-11-30 | 2002-08-16 | Mixed Reality Systems Laboratory Inc | 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体 |
JP2003534594A (ja) * | 2000-05-22 | 2003-11-18 | ホログラフイツク・イメージング・エル・エル・シー | 3次元ヒューマンコンピュータインタフェース |
JP2003344018A (ja) * | 2003-04-04 | 2003-12-03 | Canon Inc | 画像処理装置およびその方法並びにプログラム、記憶媒体 |
WO2004001677A1 (ja) * | 2002-06-20 | 2003-12-31 | West Unitis Co., Ltd. | 作業誘導システム |
JP2005230239A (ja) * | 2004-02-19 | 2005-09-02 | Aruze Corp | ゲーム機 |
JP2005293141A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | マーカ検出方法及び装置並びに位置姿勢推定方法 |
US6968084B2 (en) | 2001-03-06 | 2005-11-22 | Canon Kabushiki Kaisha | Specific point detecting method and device |
JP2005326274A (ja) * | 2004-05-14 | 2005-11-24 | Canon Inc | 配置情報推定方法および情報処理装置 |
JP2006127468A (ja) * | 2004-09-28 | 2006-05-18 | Canon Inc | 情報処理方法および装置 |
US7130754B2 (en) | 2002-03-19 | 2006-10-31 | Canon Kabushiki Kaisha | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
JP2006313549A (ja) * | 2005-05-03 | 2006-11-16 | Seac02 Srl | 実マーカオブジェクトを識別する拡張現実システム |
JP2007163367A (ja) * | 2005-12-15 | 2007-06-28 | Nippon Hoso Kyokai <Nhk> | カメラ情報解析装置 |
JP2007271564A (ja) * | 2006-03-31 | 2007-10-18 | Canon Inc | 位置姿勢計測方法、位置姿勢計測装置 |
US7312795B2 (en) | 2003-09-30 | 2007-12-25 | Canon Kabushiki Kaisha | Image display apparatus and method |
JP2010522380A (ja) * | 2007-03-19 | 2010-07-01 | ゼブラ・イメージング・インコーポレイテッド | ユーザ入力により動的3次元ディスプレイをアップデートするシステム及び方法 |
US7894661B2 (en) | 2002-12-27 | 2011-02-22 | Olympus Corporation | Calibration apparatus, calibration method, program for calibration, and calibration jig |
JP2011177579A (ja) * | 2011-06-20 | 2011-09-15 | Nintendo Co Ltd | 情報処理システムおよびプログラム |
US8098263B2 (en) | 2004-05-28 | 2012-01-17 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
JP2012033073A (ja) * | 2010-07-30 | 2012-02-16 | Dainippon Printing Co Ltd | 付加情報提供システム及び撮像装置 |
JP2014011655A (ja) * | 2012-06-29 | 2014-01-20 | Sony Computer Entertainment Inc | 映像処理装置、映像処理方法、および映像処理システム |
WO2014050966A1 (ja) * | 2012-09-27 | 2014-04-03 | 京セラ株式会社 | 表示装置、制御システムおよび制御プログラム |
KR101427730B1 (ko) * | 2012-05-25 | 2014-09-23 | 주식회사 고영테크놀러지 | 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법 |
WO2014175324A1 (ja) * | 2013-04-24 | 2014-10-30 | 川崎重工業株式会社 | ワーク加工作業支援システムおよびワーク加工方法 |
JP2015537417A (ja) * | 2012-10-22 | 2015-12-24 | ムン キ イ, | 差分カメラを利用した映像処理装置 |
JP2016100024A (ja) * | 2014-11-25 | 2016-05-30 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 3次元相互作用のためのコンピュータ装置及び方法 |
JP2018092584A (ja) * | 2017-07-19 | 2018-06-14 | グリー株式会社 | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム |
JP2018129043A (ja) * | 2014-03-14 | 2018-08-16 | 株式会社ソニー・インタラクティブエンタテインメント | 空間感知を備えるゲーム機 |
JP2019053603A (ja) * | 2017-09-15 | 2019-04-04 | 富士通株式会社 | 表示制御プログラム、装置、及び方法 |
WO2019107942A1 (ko) * | 2017-12-01 | 2019-06-06 | 클릭트 주식회사 | 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램 |
JP2019169156A (ja) * | 2015-03-03 | 2019-10-03 | コグネックス・コーポレイション | 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム |
JP2021518778A (ja) * | 2018-03-16 | 2021-08-05 | ソニー・インタラクティブエンタテインメント エルエルシー | 非同期仮想現実インタラクション |
WO2022153910A1 (ja) * | 2021-01-12 | 2022-07-21 | 日本電気株式会社 | 検出システム、検出方法、及びプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6482307B2 (ja) * | 2015-02-06 | 2019-03-13 | キヤノン株式会社 | 情報処理装置およびその方法 |
-
1998
- 1998-03-16 JP JP06582498A patent/JP3450704B2/ja not_active Expired - Fee Related
Cited By (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003534594A (ja) * | 2000-05-22 | 2003-11-18 | ホログラフイツク・イメージング・エル・エル・シー | 3次元ヒューマンコンピュータインタフェース |
JP2002132487A (ja) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | 遠隔作業支援システム |
US6853935B2 (en) | 2000-11-30 | 2005-02-08 | Canon Kabushiki Kaisha | Information processing apparatus, mixed reality presentation apparatus, method thereof, and storage medium |
JP2002229730A (ja) * | 2000-11-30 | 2002-08-16 | Mixed Reality Systems Laboratory Inc | 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体 |
US6968084B2 (en) | 2001-03-06 | 2005-11-22 | Canon Kabushiki Kaisha | Specific point detecting method and device |
US7454065B2 (en) | 2001-03-06 | 2008-11-18 | Canon Kabushiki Kaisha | Specific point detecting method and device |
US7130754B2 (en) | 2002-03-19 | 2006-10-31 | Canon Kabushiki Kaisha | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
WO2004001677A1 (ja) * | 2002-06-20 | 2003-12-31 | West Unitis Co., Ltd. | 作業誘導システム |
CN1313980C (zh) * | 2002-06-20 | 2007-05-02 | 韦斯特尤尼蒂斯株式会社 | 操作引导*** |
US7894661B2 (en) | 2002-12-27 | 2011-02-22 | Olympus Corporation | Calibration apparatus, calibration method, program for calibration, and calibration jig |
JP2003344018A (ja) * | 2003-04-04 | 2003-12-03 | Canon Inc | 画像処理装置およびその方法並びにプログラム、記憶媒体 |
US7312795B2 (en) | 2003-09-30 | 2007-12-25 | Canon Kabushiki Kaisha | Image display apparatus and method |
JP2005230239A (ja) * | 2004-02-19 | 2005-09-02 | Aruze Corp | ゲーム機 |
JP2005293141A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | マーカ検出方法及び装置並びに位置姿勢推定方法 |
JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
US7519218B2 (en) | 2004-03-31 | 2009-04-14 | Canon Kabushiki Kaisha | Marker detection method and apparatus, and position and orientation estimation method |
JP2005326274A (ja) * | 2004-05-14 | 2005-11-24 | Canon Inc | 配置情報推定方法および情報処理装置 |
JP4532982B2 (ja) * | 2004-05-14 | 2010-08-25 | キヤノン株式会社 | 配置情報推定方法および情報処理装置 |
US8098263B2 (en) | 2004-05-28 | 2012-01-17 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
JP4689380B2 (ja) * | 2004-09-28 | 2011-05-25 | キヤノン株式会社 | 情報処理方法および装置 |
US7671875B2 (en) | 2004-09-28 | 2010-03-02 | Canon Kabushiki Kaisha | Information processing method and apparatus |
JP2006127468A (ja) * | 2004-09-28 | 2006-05-18 | Canon Inc | 情報処理方法および装置 |
JP2006313549A (ja) * | 2005-05-03 | 2006-11-16 | Seac02 Srl | 実マーカオブジェクトを識別する拡張現実システム |
JP2007163367A (ja) * | 2005-12-15 | 2007-06-28 | Nippon Hoso Kyokai <Nhk> | カメラ情報解析装置 |
JP2007271564A (ja) * | 2006-03-31 | 2007-10-18 | Canon Inc | 位置姿勢計測方法、位置姿勢計測装置 |
JP2010522380A (ja) * | 2007-03-19 | 2010-07-01 | ゼブラ・イメージング・インコーポレイテッド | ユーザ入力により動的3次元ディスプレイをアップデートするシステム及び方法 |
JP2012033073A (ja) * | 2010-07-30 | 2012-02-16 | Dainippon Printing Co Ltd | 付加情報提供システム及び撮像装置 |
JP2011177579A (ja) * | 2011-06-20 | 2011-09-15 | Nintendo Co Ltd | 情報処理システムおよびプログラム |
KR101427730B1 (ko) * | 2012-05-25 | 2014-09-23 | 주식회사 고영테크놀러지 | 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법 |
JP2014011655A (ja) * | 2012-06-29 | 2014-01-20 | Sony Computer Entertainment Inc | 映像処理装置、映像処理方法、および映像処理システム |
US9684173B2 (en) | 2012-06-29 | 2017-06-20 | Sony Corporation | Image processing device, image processing method, and image processing system |
US8912980B2 (en) | 2012-06-29 | 2014-12-16 | Sony Corporation | Image processing device, image processing method, and image processing system |
US9123158B2 (en) | 2012-06-29 | 2015-09-01 | Sony Corporation | Image processing device, image processing method, and image processing system |
US9311754B2 (en) | 2012-06-29 | 2016-04-12 | Sony Corporation | Image processing device, image processing method, and image processing system |
WO2014050966A1 (ja) * | 2012-09-27 | 2014-04-03 | 京セラ株式会社 | 表示装置、制御システムおよび制御プログラム |
US9619941B2 (en) | 2012-09-27 | 2017-04-11 | Kyocera Corporation | Virtual play area display device, control system, and control program |
JP2015537417A (ja) * | 2012-10-22 | 2015-12-24 | ムン キ イ, | 差分カメラを利用した映像処理装置 |
WO2014175324A1 (ja) * | 2013-04-24 | 2014-10-30 | 川崎重工業株式会社 | ワーク加工作業支援システムおよびワーク加工方法 |
US10140767B2 (en) | 2013-04-24 | 2018-11-27 | Kawasaki Jukogyo Kabushiki Kaisha | Workpiece machining work support system and workpiece machining method |
JPWO2014175324A1 (ja) * | 2013-04-24 | 2017-02-23 | 川崎重工業株式会社 | ワーク加工作業支援システムおよびワーク加工方法 |
JP2018129043A (ja) * | 2014-03-14 | 2018-08-16 | 株式会社ソニー・インタラクティブエンタテインメント | 空間感知を備えるゲーム機 |
JP2016100024A (ja) * | 2014-11-25 | 2016-05-30 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 3次元相互作用のためのコンピュータ装置及び方法 |
JP2019169156A (ja) * | 2015-03-03 | 2019-10-03 | コグネックス・コーポレイション | 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム |
JP2018092584A (ja) * | 2017-07-19 | 2018-06-14 | グリー株式会社 | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム |
JP2019053603A (ja) * | 2017-09-15 | 2019-04-04 | 富士通株式会社 | 表示制御プログラム、装置、及び方法 |
US10573083B2 (en) | 2017-09-15 | 2020-02-25 | Fujitsu Limited | Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system |
WO2019107942A1 (ko) * | 2017-12-01 | 2019-06-06 | 클릭트 주식회사 | 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램 |
US11328487B2 (en) | 2017-12-01 | 2022-05-10 | Clicked, Inc. | Method and program for providing augmented reality image by using depth data |
JP2021518778A (ja) * | 2018-03-16 | 2021-08-05 | ソニー・インタラクティブエンタテインメント エルエルシー | 非同期仮想現実インタラクション |
WO2022153910A1 (ja) * | 2021-01-12 | 2022-07-21 | 日本電気株式会社 | 検出システム、検出方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3450704B2 (ja) | 2003-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3450704B2 (ja) | 位置姿勢検出装置及び情報処理方法 | |
EP0899690B1 (en) | Apparatus and method for presenting mixed virtual reality shared among operators | |
JP3631151B2 (ja) | 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体 | |
JPH1184307A (ja) | 頭部装着型の光学装置 | |
JP3486536B2 (ja) | 複合現実感提示装置および方法 | |
US7529387B2 (en) | Placement information estimating method and information processing device | |
Neumann et al. | A self-tracking augmented reality system | |
US7092109B2 (en) | Position/orientation measurement method, and position/orientation measurement apparatus | |
JP4708752B2 (ja) | 情報処理方法および装置 | |
US6781618B2 (en) | Hand-held 3D vision system | |
US7671875B2 (en) | Information processing method and apparatus | |
US7295697B1 (en) | Depth information measurement apparatus and mixed reality presentation system | |
US7671916B2 (en) | Motion sensor using dual camera inputs | |
US8144238B2 (en) | Image processing apparatus and method | |
US20050261573A1 (en) | Method and apparatus for determining position and orientation | |
EP1596329A2 (en) | Marker placement information estimating method and information processing device | |
JP2006214832A (ja) | 指標配置計測方法、位置姿勢推定方法、指標配置計測装置、位置姿勢推定装置 | |
JP3793158B2 (ja) | 情報処理方法及び情報処理装置 | |
JP2002058045A (ja) | 現実の物体をバーチャル3次元空間に登場させるためのシステム及び方法 | |
JP2008176509A (ja) | 情報処理装置および方法 | |
JP4205004B2 (ja) | キャリブレーション方法 | |
JP2022049793A (ja) | 軌跡算出装置、軌跡算出方法、軌跡算出プログラム | |
JP4810403B2 (ja) | 情報処理装置、情報処理方法 | |
JP2024513328A (ja) | 打撃されて移動するゴルフボールのスピン算出方法及びこれを用いたスピン算出装置 | |
Vallerand et al. | Three point based registration for binocular augmented reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030616 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080711 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080711 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090711 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090711 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100711 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100711 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |