JP2006252468A - 画像処理方法、画像処理装置 - Google Patents
画像処理方法、画像処理装置 Download PDFInfo
- Publication number
- JP2006252468A JP2006252468A JP2005071733A JP2005071733A JP2006252468A JP 2006252468 A JP2006252468 A JP 2006252468A JP 2005071733 A JP2005071733 A JP 2005071733A JP 2005071733 A JP2005071733 A JP 2005071733A JP 2006252468 A JP2006252468 A JP 2006252468A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- observer
- coordinate system
- viewpoint
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】 観察者に対して情報を提供する仮想物体を観察者の視点から見て好適な位置姿勢に配置する為の技術を提供すること。
【解決手段】 視点の位置を原点とした場合に、原点から指示具の位置に向かう軸と、原点でこの軸と交差する2軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換し(S205)、変換した位置姿勢に、情報提供仮想物体を配置する(S206)。そして配置した仮想物体を含む仮想空間を視点から見た場合に見える画像を生成し(S207)、生成した画像を外部に出力する(S208)。
【選択図】 図2
【解決手段】 視点の位置を原点とした場合に、原点から指示具の位置に向かう軸と、原点でこの軸と交差する2軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換し(S205)、変換した位置姿勢に、情報提供仮想物体を配置する(S206)。そして配置した仮想物体を含む仮想空間を視点から見た場合に見える画像を生成し(S207)、生成した画像を外部に出力する(S208)。
【選択図】 図2
Description
本発明は、仮想空間中に仮想物体を配置するための技術に関するものである。
従来より、仮想現実感(VR : Virtual Reality)提示装置が存在する。仮想現実感提示装置とは、たとえば、頭部装着型ディスプレイ(HMD: Head Mounted Display)のような映像表示装置と、観察者の視点の位置姿勢を検出するための位置姿勢検出手段(たとえば位置姿勢センサ)と、CG映像生成手段とを備えている。
位置姿勢検出手段としては磁気方式による位置姿勢センサなどが用いられ、これを観察者が装着するHMDに取り付ることによって観察者頭部の位置姿勢の値を検出する。磁気方式の位置姿勢センサとは、磁気発生装置(発信機)と磁気センサ(受信機)との間の相対位置・姿勢を検出するものであり、米国ポヒマス(Polhemus)社の製品FASTRAKなどがあげられる。これは特定の領域内で、センサの3次元位置(X,Y,Z)と姿勢(Pitch, Yaw, Roll)をリアルタイムに検出する装置である。
CG映像生成手段は、三次元モデリングされたCGを現実空間と同じスケールの仮想空間に配置し、その仮想空間を位置姿勢検出手段によって検出された観察者視線位置姿勢からレンダリングするものである。
このようにして生成されたCG映像を映像表示装置(HMDなど)に表示することにより、観察者はあたかも仮想のCG空間の中に没入しているような感覚を得ることができる。
また、上記のような位置姿勢センサを新たに設け、仮想空間内のCGオブジェクトの位置姿勢を入力するために用いることもできる。たとえば、位置姿勢センサを移動・回転させることで仮想空間内のCGオブジェクトを移動・回転させることや、手に位置姿勢センサを装着して仮想オブジェクトの操作入力に用いることで、仮想空間において仮想物体と人間の動作とのインタラクションを実現することも従来から行われている。
特開平11−136706号公報
従来のシステムでは、
たとえばメニューや情報掲示板のような、情報表示オブジェクトを仮想3次元空間内に配置して表示する際、次に示すような方法が取られており、それぞれには課題があった。
たとえばメニューや情報掲示板のような、情報表示オブジェクトを仮想3次元空間内に配置して表示する際、次に示すような方法が取られており、それぞれには課題があった。
1) 図3に示すように、情報表示オブジェクト302をHMD108の位置姿勢を基準とする座標系内で固定的な位置に配置する。頭部(HMD108)をどのように移動・回転させても、HMD108が有する画面上に表示される情報表示オブジェクトの見え方は変化しないことになる。情報オブジェクトは画面の一部に常に見えるように仮想空間中に配置されるので、観察者は常に情報を確認できる。
この場合、情報オブジェクトを画面の一部に常に見えるようにするために、視界視野の一部が情報表示オブジェクトによって常に遮られるという問題があった。
2) 情報表示オブジェクトを仮想3次元空間内の特定の位置姿勢に配置する。図4に示すように、情報表示オブジェクト302は世界座標系での特定の位置に固定されている。この場合は1)の場合と異なり、情報表示オブジェクトが配置された場所を向くと初めて情報表示オブジェクトを確認することができるため、観察者は常に情報表示オブジェクトによって視野が遮られるということはない。
ただし、情報を見るために観察者は特定の位置まで移動する必要があるという問題や、仮想3次元空間内で情報提示場所(情報表示オブジェクトの配置位置)を探さなければいけないという問題があった。また、情報表示オブジェクトが配置された位置に観察対象のCGオブジェクトを移動させようとした場合、両者の表示が重なってしまい、観察しづらいという問題があった。
3) 情報表示オブジェクトを観察対象のオブジェクトからの相対的な位置姿勢に配置する。図5に示すように、情報表示オブジェクト302はCGオブジェクトの位置姿勢を基準とした座標系での特定の位置に配置される。これは、観察対象オブジェクトと情報オブジェクトを同時に観察しやすく、観察対象オブジェクトを別の位置に動かせば情報表示オブジェクトも追随するので都合がよい場合がある。
しかし、一方で、情報表示オブジェクト302が常に観察対象CGオブジェクト303のそばにあるので観察のさまたげになりやすいという問題があり、必要なときだけ情報を見たいという要求に応えることができなかった。また、観察対象CGオブジェクト303を回転させるなどすれば情報表示オブジェクト302は観察対象CGオブジェクト303を中心に回転するため、期せずして視野に入ってしまったり、情報表示オブジェクトが動いてしまって情報が観察しづらくなることがあるという問題があった。
4) 情報表示オブジェクトを観察者の頭部位置を基点とした特定の相対方位・距離に表示する。HMDの位置姿勢を順とした座標系内の特定の位置に固定するのではなく、観察者頭部の姿勢によらずに、観察者頭部の位置から見た特定の方位・距離に配置するというものである。図6に示すように、HMD108を同図上部に示す位置姿勢から同図下部に示す位置姿勢に変化させた場合、情報表示オブジェクト302は図示したように変化する。1)の場合では情報表示オブジェクト302はHMD座標系に固定されていたため、観察者が頭部を回転すると情報表示オブジェクトの位置も変化するが、この場合ではHMDの姿勢が変化しても情報表示オブジェクトの位置には影響せず、HMDの位置変化のみが影響する。この場合の利点は、情報表示オブジェクトは観察者の頭部位置に付随してくるために2)の方法に比べて情報表示オブジェクトの位置が発見されやすいということであり、観察者は特定の方向を向くことで情報表示オブジェクトをたやすく発見し確認することが可能である。また観察対象オブジェクトとは無関係なので3)のように観察対象オブジェクトを回転させたときに情報表示オブジェクトが移動することもない。
ただし、この場合でも、情報表示オブジェクトが表示される方位は固定であるため、情報表示オブジェクトが置かれた方向に観察対象オブジェクトが移動した場合には、両者は重なってしまうという問題がある。
本発明は以上の問題に鑑みてなされたものであり、観察者に対して情報を提供する仮想物体を観察者の視点から見て好適な位置姿勢に配置する為の技術を提供することを目的とする。
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
即ち、観察者の視点の位置姿勢を取得する第1の取得工程と、
前記観察者が手に保持して操作する指示具の位置姿勢を取得する第2の取得工程と、
前記視点の位置を原点とした場合に、当該原点から前記指示具の位置に向かう軸と、当該原点で当該軸と交差する2軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換する変換工程と、
前記変換工程で得られた世界座標系における位置姿勢に、前記観察者に対して情報を提供する仮想物体を配置する配置工程と、
前記配置工程で配置した仮想物体を含む仮想空間を前記第1の取得工程で取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成工程と、
前記生成工程で生成した画像を外部に出力する出力工程と
を備えることを特徴とする。
前記観察者が手に保持して操作する指示具の位置姿勢を取得する第2の取得工程と、
前記視点の位置を原点とした場合に、当該原点から前記指示具の位置に向かう軸と、当該原点で当該軸と交差する2軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換する変換工程と、
前記変換工程で得られた世界座標系における位置姿勢に、前記観察者に対して情報を提供する仮想物体を配置する配置工程と、
前記配置工程で配置した仮想物体を含む仮想空間を前記第1の取得工程で取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成工程と、
前記生成工程で生成した画像を外部に出力する出力工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
即ち、観察者の視点の位置姿勢を取得する第1の取得手段と、
前記観察者が手に保持して操作する指示具の位置姿勢を取得する第2の取得手段と、
前記視点の位置を原点とした場合に、当該原点から前記指示具の位置に向かう軸と、当該原点で当該軸と交差する2軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換する変換手段と、
前記変換手段によって得られた世界座標系における位置姿勢に、前記観察者に対して情報を提供する仮想物体を配置する配置手段と、
前記配置手段が配置した仮想物体を含む仮想空間を前記第1の取得手段が取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成手段と、
前記生成手段が生成した画像を外部に出力する出力手段と
を備えることを特徴とする。
前記観察者が手に保持して操作する指示具の位置姿勢を取得する第2の取得手段と、
前記視点の位置を原点とした場合に、当該原点から前記指示具の位置に向かう軸と、当該原点で当該軸と交差する2軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換する変換手段と、
前記変換手段によって得られた世界座標系における位置姿勢に、前記観察者に対して情報を提供する仮想物体を配置する配置手段と、
前記配置手段が配置した仮想物体を含む仮想空間を前記第1の取得手段が取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成手段と、
前記生成手段が生成した画像を外部に出力する出力手段と
を備えることを特徴とする。
本発明の構成により、観察者に対して情報を提供する仮想物体を観察者の視点から見て好適な位置姿勢に配置することができる。
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
[第1の実施形態]
<システムの構成について>
図1は本実施形態に係るシステムのハードウェア構成を示す図である。同図に示す如く、本実施形態に係るシステムは、CPU101、HMD108、位置姿勢センサ104,105、センサコントローラ(CTL)103、メモリ106,107により構成されている。
<システムの構成について>
図1は本実施形態に係るシステムのハードウェア構成を示す図である。同図に示す如く、本実施形態に係るシステムは、CPU101、HMD108、位置姿勢センサ104,105、センサコントローラ(CTL)103、メモリ106,107により構成されている。
また、メモリ106には以下説明する各種の処理をCPU101に実行させるためのプログラムが格納されており、メモリ107にはCPU101が各種の処理を実行する際に用いるデータが格納されている。メモリ106,107が格納しているそれぞれの情報については後述する。
HMD108は周知の通り観察者が頭部に装着することで、その眼前に画像が表示されるように表示画面が取り付けられたもので、本実施形態では光学シースルー型のものを用いる。よって、この表示画面は、透過して現実空間が見えると共に、以下説明する処理で生成された仮想空間の画像を表示することができる。よって、観察者がこの表示画面を見ることで、現実空間を仮想空間の画像が重畳された状態で観察することができる。光学シースルー型のHMDについては周知のものであるので、これ以上の説明は省略する。
また、このHMD108には位置姿勢センサ104が取り付けられている。位置姿勢センサ104は本実施形態では磁気センサであるとする。よって、現実空間中の所定の位置には磁界の発生源が設置されている。発生源からは磁界が発生され、位置姿勢センサ104は自身の位置姿勢に応じた磁気の変化を検知する。検知した結果を示す信号はセンサコントローラ103に出力する。センサコントローラ103は受けた信号に基づいて「センサ座標系(上記発生源の位置を原点とし、この原点で互いに直交する3軸をそれぞれx軸、y軸、z軸とする座標系)における位置姿勢センサ104の位置姿勢を示すデータ」を生成し、メモリ107に出力する。
位置姿勢センサ105は位置姿勢センサ104と同様のもので、自身の位置姿勢に応じた磁気の変化を検知する。検知した結果を示す信号はセンサコントローラ103に出力する。センサコントローラ103は受けた信号に基づいて「センサ座標系における位置姿勢センサ105の位置姿勢を示すデータ」を生成し、メモリ107に出力する。
ここで、位置姿勢センサ105は観察者が手に保持し、その位置や姿勢を自在に変更することができる指示具として用いられる。また、この位置姿勢センサ105には仮想物体(操作対象仮想物体)が配置される。従って観察者が位置姿勢センサ105の位置や姿勢を変更すると、それに連動して操作対象仮想物体の位置や姿勢も変更される。
<仮想空間の画像生成処理について>
次に、上記構成を有するシステムによって仮想空間の画像を生成して、HMD108に出力するまでの一連の処理について説明する。
次に、上記構成を有するシステムによって仮想空間の画像を生成して、HMD108に出力するまでの一連の処理について説明する。
本実施形態では仮想空間中には操作対象仮想物体以外に、観察者に対して提供する各種の情報が記載された仮想物体(情報提供仮想物体)を配置する。以下ではこの情報提供仮想物体の配置位置姿勢を制御する処理について詳細に説明する。なお、この情報提供仮想物体は、例えば2次元平面上に様々なメニューが記載されていたり、システム状況が適宜表示されたりするようなものであったり、或いはその形状自体でもって情報を観察者に提示するような仮想物体であるが、その情報提供の形態については特に限定するものではない。また、仮想空間中にはこれ以外の仮想物体を配置するようにしても良い。
図2は、1フレーム分の仮想空間の画像を生成してHMD108に出力するための処理のフローチャートである。なお、CPU101は、メモリ107に格納されているそれぞれのデータを適宜用いて、メモリ106に格納されているそれぞれのプログラムを適宜実行することで、同図のフローチャートに従った処理を実行することができる。
先ず、HMD108に取り付けられた位置姿勢センサ104は自身の位置姿勢に応じた磁気の変化を検知するので、検知した結果を示す信号をセンサコントローラ103に出力する。センサコントローラ103はこの信号に基づいて「センサ座標系における位置姿勢センサ104の位置姿勢を示すデータ」を生成し、メモリ107に入力する。
CPU101はこのデータを受けると、位置姿勢検出プログラム111を実行し、観察者の視点の位置姿勢を求める処理を行う(ステップS201)。
ここで「視点」とは、CGを描画する仮想カメラの視体積を表す錐台の頂点を置く位置(右目、左目の何れかでも良いし、両方であっても良い)のことであり、HMDの表示面から焦点距離だけ手前に置かれ、装着時にその位置に観察者の目が位置することが期待される位置である。予めこの視点と位置姿勢センサ104との位置姿勢関係は測定しておき、その測定結果をデータ(バイアスデータ)としてメモリ107に格納しておく。そしてセンサコントローラ103から「センサ座標系における位置姿勢センサ104の位置姿勢を示すデータ」を受けると、このデータに上記バイアスデータを加えることで、「センサ座標系における視点の位置姿勢」を求めることができる。
更に、世界座標系(現実空間中の1点を原点とし、この原点で互いに直交する3軸をそれぞれx軸、y軸、z軸とする座標系であり、仮想空間と現実空間とで共有している)における磁界発生源の位置姿勢を予め測定しておき、これをデータ(第2のバイアスデータ)としてメモリ107に格納しておけば、「センサ座標系における視点の位置姿勢」を示すデータに第2のバイアスデータを加えることで、「世界座標系における視点の位置姿勢」を求めることができる。
なお、「視点」の定義、及び視点の世界座標系における位置姿勢を求める方法についてはこれに限定するものではない。
そして求めた「視点の世界座標系における位置姿勢」を示すデータをデータ121としてメモリ107に格納する。
一方、位置姿勢センサ105は自身の位置姿勢に応じた磁気の変化を検知するので、検知した結果を示す信号をセンサコントローラ103に出力する。センサコントローラ103はこの信号に基づいて「センサ座標系における位置姿勢センサ105の位置姿勢を示すデータ」を生成し、メモリ107に入力する。
CPU101はこのデータを受けると、位置姿勢検出プログラム111を実行し、このデータに上記第2のバイアスデータを加えて「世界座標系における位置姿勢センサ105の位置姿勢を示すデータ」を得、これをデータ122としてメモリ107に格納する(ステップS202)。そして次に、CG生成プログラム112を実行し、CGデータ123から操作対象仮想物体の描画データを読み出して操作対象仮想物体を生成し、これをデータ122が示す位置姿勢に配置する(ステップS203)。
ここでCGデータ123とは、仮想物体毎の描画データから構成されており、描画データは、例えば仮想物体がポリゴンでもって構成されている場合には、仮想物体(操作対象仮想物体、情報提供仮想物体は除く)の配置位置姿勢データ、仮想物体を構成するポリゴンを構成する各頂点の座標データ、ポリゴンの法線ベクトルデータ、ポリゴンカラーデータ、また、この仮想物体にテクスチャマッピングを行う場合には、テクスチャのデータ等から構成されている。
これにより、位置姿勢センサ105の世界座標系における位置姿勢に操作対象仮想物体を配置することができる。
次に、CPU101は観察座標算出プログラム113を実行し、以下説明する観察座標系と世界座標系との間で座標値変換を行うための変換行列を求める(ステップS204)。観察座標系とは、視点の位置を原点とした場合に、この原点から操作対象仮想物体の位置に向かう軸(第1の軸)と、原点で第1の軸と互いに直交する2軸(第2の軸、第3の軸)とで構成される座標系であり、例えば第1の軸はz軸、第2,3の軸はそれぞれx軸、y軸とすることができる。
ここで観察座標系について更に詳しく説明する。
図7(a)は視点座標系、図7(b)は観察座標系を示す図である。視点座標系は図7(a)に示す如く、視点の位置を原点とし、この原点で互いに直交する3軸をそれぞれx軸、y軸、z軸とする座標系である。同図では視線方向の軸をz軸、原点から頭上方向への軸をy軸、z軸とy軸に視点位置で直交する軸をx軸としている。
一方、観察座標系は図7(b)に示す如く、視点の位置を原点とした場合に、この原点から操作対象仮想物体の位置に向かう第1の軸と、原点で第1の軸と直交する第2の軸、第3の軸とで構成される座標系である。同図では第1の軸をz軸としている。x軸、y軸については様々な決定方法が考えられるが、例えば、x軸は、z軸と直交し、且つ世界座標系におけるxz平面(水平面)と平行な軸とし、y軸は、x軸、z軸と視点位置で直交し、且つ世界座標系における上向きを示すような方向に向けた軸とする。
なお、観察座標系のx軸の設定については他にも考えられ、例えば観察座標系のy軸を視点座標系におけるzy平面で見たときに、視点座標系のy軸に一致させるように設定すれば、観察座標系の上向き(Y軸向き)が観察者にとって常に上向きに一致するようにすることも可能である。また、観察座標系におけるx軸を、視点座標系における水平面(XZ平面)と平行にすることも可能である。
以上のような観察座標系を定義すると、世界座標系と観察座標系との間の変換行列を周知の技術でもって求めることができる。即ち求めた変換行列は、世界座標系における座標値を観察座標系における座標値に変換できるし、逆に観察座標系における座標値を世界座標系における座標値に変換することもできる。なお、求めた変換行列のデータはデータ124としてメモリ107に格納する。
図2に戻って、次に、CPU101は情報表示位置姿勢設定プログラム114を実行し、情報提供仮想物体の世界座標系における配置位置姿勢を求める(ステップS205)。本実施形態では、本フローチャートに従った処理の前段で、上記観察座標系における情報提供仮想物体の所望の配置位置姿勢を決定し、決定した位置姿勢を示すデータをデータ125としてメモリ107に格納している。よって世界座標系における情報提供仮想物体の配置位置姿勢Qは、データ125が示す位置姿勢をベクトルP、データ124が示す変換行列をMとすると、以下の式
Q=M・P
を計算することで求めることができる。求めた「世界座標系における情報提供仮想物体の配置位置姿勢」を示すデータはデータ126としてメモリ107に格納される。
Q=M・P
を計算することで求めることができる。求めた「世界座標系における情報提供仮想物体の配置位置姿勢」を示すデータはデータ126としてメモリ107に格納される。
なお、本実施形態では、観察座標系における情報提供仮想物体の配置位置姿勢を予め決定しておいたが、これに限定するものではなく、各フレームの仮想空間画像を生成する毎に、好適な位置姿勢を計算するようにしても良い。例えば、情報提供仮想物体が文字列が記載された仮想物体である場合には、この記載面が観察者側に向くように情報提供仮想物体の配置姿勢を適宜変更するようにしても良い。
また、情報提供仮想物体を常に世界座標系において正立するような姿勢に配置するようにしても良い。即ち、情報提供仮想物体の上向きが世界座標系における上向きと略一致するように情報提供仮想物体を配置する。
いずれの場合も、情報提供仮想物体の世界座標系における配置位置が決定した後に、更に情報提供仮想物体が所望の姿勢になるように回転させれば良い。
図2に戻って、次に、CPU101は、CG生成プログラム112を実行して、CGデータ123から情報提供仮想物体の描画データを読み出して情報提供仮想物体を生成し、これをデータ126が示す位置姿勢に配置する(ステップS206)。
次にCPU101は、CG生成プログラム112を実行して、上記操作対象仮想物体、情報提供仮想物体を含む仮想物体群が配置された仮想空間を、上記データ121が示す「世界座標系における視点の位置姿勢」を有する視点から見た場合に見える画像(仮想空間の画像)を生成し(ステップS207)、生成した画像をHMD108に送出する(ステップS208)。
以上の処理により、1フレーム分の仮想空間画像を生成し、HMD108に送出することができるので、この処理を各フレームについて行うことで、HMD108が有する表示画面には連続した各フレームの仮想空間の画像が表示される。
なお、HMD108がステレオ表示可能な場合には、ステップS201では右目、左目のそれぞれの位置姿勢を取得し、ステップS204では右目、左目の何れかの目を視点として観察座標系を求め、ステップS207では、右目、左目のそれぞれから見える仮想空間の画像を生成する。
以上の説明により、本実施形態によって、視点や操作対象仮想物体を回転させても情報提供仮想物体の配置位置は変化しない。
また、操作対象仮想物体以外の仮想物体を観察する際には、情報提供仮想物体を観察者の視野外に配置する事ができる。
また、視点と操作対象仮想物体と情報提供仮想物体との位置関係は一定であるために、観察者の視野にない情報提供仮想物体を発見することが容易となる。
[第2の実施形態]
第1の実施形態ではセンサとして全て磁気センサを用いて位置姿勢を計測しているが、センサとしてはこれ以外にも考えられ、例えば超音波センサ、光学式センサなど、その他のセンサを用いるようにしても良い。
第1の実施形態ではセンサとして全て磁気センサを用いて位置姿勢を計測しているが、センサとしてはこれ以外にも考えられ、例えば超音波センサ、光学式センサなど、その他のセンサを用いるようにしても良い。
また、視点の位置姿勢を求める手段についてはセンサを用いることに限定するものではなく、例えば、HMD108に新たにカメラを付加し、現実空間中にマーカを配置し、この配置位置、及びマーカをカメラでもって撮像した画像上における座標位置を用いてHMD108の位置姿勢を取得する方法を用いるようにしても良い。よって、視点の位置姿勢が得られるのであれば、センサを用いることには限定しない。
また、第1の実施形態ではHMD108には光学シースルー型のものを用いているが、ビデオシースルー型のものを用いるようにしても良い。
また、第1の実施形態では、位置姿勢センサ105は1つのみとしたが、複数設けるようにし、それぞれの位置姿勢センサ105に操作対象仮想物体を配置するようにしても良い。
また、第1の実施形態では、位置姿勢センサ105に操作対象仮想物体を配置しているが、この配置は必須なものではない。
[その他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
Claims (6)
- 観察者の視点の位置姿勢を取得する第1の取得工程と、
前記観察者が手に保持して操作する指示具の位置姿勢を取得する第2の取得工程と、
前記視点の位置を原点とした場合に、当該原点から前記指示具の位置に向かう軸と、当該原点で当該軸と交差する2軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換する変換工程と、
前記変換工程で得られた世界座標系における位置姿勢に、前記観察者に対して情報を提供する仮想物体を配置する配置工程と、
前記配置工程で配置した仮想物体を含む仮想空間を前記第1の取得工程で取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成工程と、
前記生成工程で生成した画像を外部に出力する出力工程と
を備えることを特徴とする画像処理方法。 - 更に、前記第2の取得工程で取得した位置姿勢に前記観察者による操作対象の仮想物体を配置する工程を備えることを特徴とする請求項1に記載の画像処理方法。
- 更に、前記視点から見える現実空間の画像を取得する第3の取得工程を備え、
前記出力工程では前記生成工程で生成した画像を前記第3の取得工程で取得した画像上に重畳させてから外部に出力することを特徴とする請求項1又は2に記載の画像処理方法。 - 観察者の視点の位置姿勢を取得する第1の取得手段と、
前記観察者が手に保持して操作する指示具の位置姿勢を取得する第2の取得手段と、
前記視点の位置を原点とした場合に、当該原点から前記指示具の位置に向かう軸と、当該原点で当該軸と交差する2軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換する変換手段と、
前記変換手段によって得られた世界座標系における位置姿勢に、前記観察者に対して情報を提供する仮想物体を配置する配置手段と、
前記配置手段が配置した仮想物体を含む仮想空間を前記第1の取得手段が取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成手段と、
前記生成手段が生成した画像を外部に出力する出力手段と
を備えることを特徴とする画像処理装置。 - コンピュータに請求項1乃至3の何れか1項に記載の画像処理方法を実行させることを特徴とするプログラム。
- 請求項5に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005071733A JP2006252468A (ja) | 2005-03-14 | 2005-03-14 | 画像処理方法、画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005071733A JP2006252468A (ja) | 2005-03-14 | 2005-03-14 | 画像処理方法、画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006252468A true JP2006252468A (ja) | 2006-09-21 |
Family
ID=37092864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005071733A Withdrawn JP2006252468A (ja) | 2005-03-14 | 2005-03-14 | 画像処理方法、画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006252468A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011034429A (ja) * | 2009-08-04 | 2011-02-17 | Kddi Corp | 表示方法および表示システム |
JPWO2015170483A1 (ja) * | 2014-05-09 | 2017-04-20 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2018120521A (ja) * | 2017-01-27 | 2018-08-02 | 株式会社コロプラ | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
KR20190084803A (ko) * | 2018-01-09 | 2019-07-17 | 한국과학기술원 | 맞춤형 가이드 정보를 출력하는 가구 디자인 장치 |
WO2020157955A1 (ja) * | 2019-02-01 | 2020-08-06 | マクセル株式会社 | 仮想オブジェクト表示装置及び仮想オブジェクト表示方法 |
JP2020533721A (ja) * | 2017-09-06 | 2020-11-19 | エクス・ワイ・ジィー リアリティ リミテッドXyz Reality Limited | 建物情報モデルの仮想画像の表示 |
WO2021095537A1 (ja) * | 2019-11-12 | 2021-05-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
JP7011746B1 (ja) | 2021-05-31 | 2022-01-27 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
-
2005
- 2005-03-14 JP JP2005071733A patent/JP2006252468A/ja not_active Withdrawn
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011034429A (ja) * | 2009-08-04 | 2011-02-17 | Kddi Corp | 表示方法および表示システム |
JPWO2015170483A1 (ja) * | 2014-05-09 | 2017-04-20 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2018120521A (ja) * | 2017-01-27 | 2018-08-02 | 株式会社コロプラ | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
JP2020533721A (ja) * | 2017-09-06 | 2020-11-19 | エクス・ワイ・ジィー リアリティ リミテッドXyz Reality Limited | 建物情報モデルの仮想画像の表示 |
KR20190084803A (ko) * | 2018-01-09 | 2019-07-17 | 한국과학기술원 | 맞춤형 가이드 정보를 출력하는 가구 디자인 장치 |
KR102092374B1 (ko) | 2018-01-09 | 2020-03-23 | 한국과학기술원 | 맞춤형 가이드 정보를 출력하는 가구 디자인 장치 |
WO2020157955A1 (ja) * | 2019-02-01 | 2020-08-06 | マクセル株式会社 | 仮想オブジェクト表示装置及び仮想オブジェクト表示方法 |
JPWO2020157955A1 (ja) * | 2019-02-01 | 2021-10-21 | マクセル株式会社 | 仮想オブジェクト表示装置及び仮想オブジェクト表示方法 |
JP7274510B2 (ja) | 2019-02-01 | 2023-05-16 | マクセル株式会社 | 仮想オブジェクト表示装置及び仮想オブジェクト表示方法 |
US11960635B2 (en) | 2019-02-01 | 2024-04-16 | Maxell, Ltd. | Virtual object display device and virtual object display method |
JP7504253B2 (ja) | 2019-02-01 | 2024-06-21 | マクセル株式会社 | 仮想オブジェクト表示装置 |
WO2021095537A1 (ja) * | 2019-11-12 | 2021-05-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
US11954269B2 (en) | 2019-11-12 | 2024-04-09 | Sony Group Corporation | Information processing apparatus, information processing method, and program for generating location data |
JP7011746B1 (ja) | 2021-05-31 | 2022-01-27 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
JP2022183943A (ja) * | 2021-05-31 | 2022-12-13 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Daponte et al. | State of the art and future developments of the Augmented Reality for measurement applications | |
JP4227561B2 (ja) | 画像処理方法、画像処理装置 | |
KR100953931B1 (ko) | 혼합현실 구현 시스템 및 그 방법 | |
US7830334B2 (en) | Image displaying method and apparatus | |
JP4933406B2 (ja) | 画像処理装置、画像処理方法 | |
CN100356300C (zh) | 虚拟现实呈现装置和信息处理方法 | |
US20160343166A1 (en) | Image-capturing system for combining subject and three-dimensional virtual space in real time | |
JP5472056B2 (ja) | 表示システム、表示処理装置、表示方法、および表示プログラム | |
JP5709440B2 (ja) | 情報処理装置、情報処理方法 | |
TW201911133A (zh) | 用於多個自由度之控制器追蹤 | |
JP2006252468A (ja) | 画像処理方法、画像処理装置 | |
JP7182976B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2002259992A (ja) | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 | |
JP2006302034A (ja) | 画像処理方法、画像処理装置 | |
JP2008009646A (ja) | 画像処理装置、画像処理方法 | |
JP2008293357A (ja) | 情報処理方法および情報処理装置 | |
JP2007004713A (ja) | 画像処理方法、画像処理装置 | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
US20190243461A1 (en) | Cable movable region display device, cable movable region display method, and cable movable region display program | |
JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP2004265222A (ja) | インタフェース方法、装置、およびプログラム | |
JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
CN109716396A (zh) | 信息处理设备、信息处理方法和程序 | |
JP3848092B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080603 |