JP2005339377A - 画像処理方法、画像処理装置 - Google Patents

Abstract

【課題】 仮想空間中の仮想物体をより簡便に閲覧、操作するための技術を提供すること。
【解決手段】 操作パネル表示装置３０４は各仮想物体の状態に係る情報に基づいて、各仮想物体の状態を観察者に対して提示し、入力装置３０３は提示した状態のうち、所望の状態を変更するための操作を入力し、コンピュータ４００は入力された操作に応じて上記情報を更新する。
【選択図】 図１

Description

本発明は、現実空間に仮想物体を重畳させて観察者に提示する為の技術に関するものである。

従来の３ＤＣＡＤデータ閲覧ツールには、仮想物体としてのＣＡＤ物体をＣＲＴ等のディスプレイ上に表示するもの、ＶＲ技術と組み合わせてＨＭＤの表示部に表示するもの等がある。

また、近年、現実空間と仮想空間の繋ぎ目のない（ｓｅｅｍｌｅｓｓ）結合を目的とした複合現実感（以下、「ＭＲ」（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）と称す）に関する研究が盛んになっている。ＭＲは、従来、現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティ（以下ＶＲと略す）の世界と現実空間との共存を目的とし、現実空間の画像と仮想空間の画像を組み合わせることにより複合現実感を提供するものである。（例えば特許文献１を参照）
特開平１１−１３６７０６号公報

前者の場合、実寸感覚が伴わないために、設計したものの大きさ等の把握が困難という問題があった。また対象となるＣＡＤ物体を様々な方向から観察するのに、マウス等のポインティングデバイスを用いるために、物体の位置や姿勢、さらには観察者の視点や視線を変更するのに複雑な操作が必要であり、多くの時間を費やすことになっていた。

また後者の場合もやはり現実世界に存在する物体との比較ができないためやはり大きさ等の把握が困難であった。

さらに一般に３ＤＣＡＤデータを閲覧する際、様々な方向から見たり、一部のパーツの選択、非表示等、多くの操作が必要になる。ところが後者の従来システムの場合、煩雑な３ＤＣＧによるプログラムとなるため、複雑なユーザーインターフェースを実装するのが困難であるという問題があった。

本発明は以上の問題に鑑みてなされたものであり、仮想空間中の仮想物体をより簡便に閲覧、操作するための技術を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。

すなわち、現実空間に仮想物体を重畳させて観察者に提示する画像処理方法であって、
仮想空間を構成する各仮想物体の状態に係る情報をメモリに保持する保持工程と、
前記仮想空間を構成する１以上の仮想物体を、観察者が手に保持して操作する１以上の位置姿勢センサの何れかに関連付ける関連付け工程と、
前記関連付け工程で位置姿勢センサに関連付けられた仮想物体を、当該位置姿勢センサによる計測結果に基づいて決まる当該位置姿勢センサ自身の位置姿勢でもって前記仮想空間中に配置する配置工程と、
前記保持工程で保持している前記情報に基づいて、前記仮想空間を構成する各仮想物体の状態を前記観察者に対して提示する提示工程と、
前記提示工程で提示した状態のうち、所望の状態を変更するための操作を入力する入力工程と、
前記入力工程で入力された操作に応じて前記情報を更新する更新工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。

すなわち、観察者の位置姿勢情報を取得し、
現実空間の画像を取得し、
前記観察者の位置姿勢情報に応じて仮想空間の画像を生成し、
前記現実空間の画像と前記仮想空間の画像を合成し、ユーザが装着しているヘッドマウントディスプレイにする画像処理方法であって、
操作パネル画像を生成し、前記現実空間の画像と前記仮想空間の画像に合成するとともに、
前記観察者が操作する操作部の位置情報を取得し、
前記操作パネル画像と前記操作部の位置関係に応じて、操作パネル画像を更新する画像処理方法であり、
前記操作パネル画像において、前記操作部によって選択された部分を拡大することを特徴とする。

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。

すなわち、現実空間に仮想物体を重畳させて観察者に提示する画像処理装置であって、
仮想空間を構成する各仮想物体の状態に係る情報を保持する保持手段と、
前記仮想空間を構成する１以上の仮想物体を、観察者が操作する１以上の位置姿勢センサの何れかに関連付ける関連付け手段と、
前記関連付け手段によって位置姿勢センサに関連付けられた仮想物体を、当該位置姿勢センサによる計測結果に基づいて決まる当該位置姿勢センサ自身の位置姿勢でもって前記仮想空間中に配置する配置手段と、
前記保持手段が保持している前記情報に基づいて、前記仮想空間を構成する各仮想物体の状態を前記観察者に対して提示する提示手段と、
前記提示手段が提示した状態のうち、所望の状態を変更するための操作を入力する入力手段と、
前記入力手段により入力された操作に応じて前記情報を更新する更新手段と
を備えることを特徴とする。

本発明の構成により、仮想空間中の仮想物体をより簡便に閲覧、操作することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は、現実空間に仮想空間を重畳させた複合現実空間を観察者に提供すると共に、仮想空間中の仮想物体の閲覧、及び操作を可能にさせるための本発明の第１の実施形態に係るシステムの外観を示す図である。

同図において２００はトランスミッタで、磁場を発生させる。１００は観察者の頭部に装着し、現実空間と仮想空間とを合成した画像を観察者の眼前に提供する為の頭部装着型表示装置（以下、ＨＭＤ：Head Mounted Displayと呼称する）で、カメラ１０２ａ、１０２ｂ、表示装置１０１ａ、１０１ｂ、磁気レシーバ２０１により構成されている。

カメラ１０２ａ、１０２ｂはそれぞれＨＭＤ１００を頭部に装着した観察者の右目、左目の位置から見える現実空間を連続して撮像するものであり、撮像した各フレームの画像は後段のコンピュータ４００に出力される。

表示装置１０１ａ、１０１ｂはそれぞれ、観察者がＨＭＤ１００を頭部に装着したときに右目、左目の眼前に位置するようにＨＭＤ１００に装着されたものであり、後段のコンピュータ４００から出力された画像信号に基づいた画像を表示する。従って観察者の右目、左目の眼前にはコンピュータ４００が生成した画像が提供されることになる。

磁気レシーバ２０１は、上記トランスミッタ２００が発する磁場の変化を検知し、検知した結果の信号を後段の位置姿勢計測装置２０５に出力するものである。検知した結果の信号は、トランスミッタ２００の位置を原点とし、この原点の位置で互いに直交する３軸をｘ、ｙ、ｚ軸とする座標系（以下、センサ座標系と呼称する）において、磁気レシーバ２０１の位置姿勢に応じて検知される磁場の変化を示す信号である。位置姿勢計測装置２０５は、この信号に基づいて、センサ座標系における磁気レシーバ２０１の位置姿勢を求め、求めた位置姿勢を示すデータは後段のコンピュータ４００に出力される。

図２は、ＨＭＤ１００の具体的な構成を示す図である。

１０１は映像表示装置であり、０．５〜数インチ程度の小型の液晶表示デバイス等で構成されるものである。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。このような構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。

１０２は映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することが可能である。

図１に戻って、３００は３Ｄポインティングデバイスで、その内部には不図示の磁気レシーバが備わっており、観察者が３Ｄポインティングデバイス３００を手に持ってその位置や姿勢を変化させると、この不図示の磁気レシーバは磁気レシーバ２０１と同様に、センサ座標系における自身の位置姿勢に応じて検知される磁場の変化を示す信号（換言すれば、センサ座標系における不図示の磁気レシーバ自身の位置姿勢を示す信号）を位置姿勢計測装置２０５に出力する。従って位置姿勢計測装置２０５は、この信号に基づいて、センサ座標系における磁気レシーバの位置姿勢を求めることができ、求めた位置姿勢を示すデータは後段のコンピュータ４００に出力される。この３Ｄポインティングデバイス３００は、３Ｄポインティングデバイス３００に予め関連付けた仮想物体（すなわち観察対象の仮想物体）の位置や姿勢を変化させるために観察者が手に持って操作するものである。その使用については後述する。

３０２は３Ｄポインティングデバイス３００とは異なる使用目的の３Ｄポインティングデバイスで、３Ｄポインティングデバイス３００と同様の磁気レシーバ２０３が備わっており、これにより３Ｄポインティングデバイス３００と同様に、自身のセンサ座標系における位置姿勢が求まる。３Ｄポインティングデバイス３０２は、例えば仮想物体の断面の指定や、仮想物体を構成するパーツの選択等を行う為に観察者が手に持って操作するためのものである。その使用にしては後述する。

３０４は操作パネル表示装置で、後述する操作パネルの画像を表示するための表示装置として機能する。この操作パネルの画像は後段のコンピュータ４００によって生成され、出力されたものである。

３０３は入力装置で、上記操作パネル表示装置３０４に表示された内容に従って観察者が指示を入力するために使用されるものである。入力装置３０３の使用については後述する。

４００はコンピュータで、ＨＭＤ１００の表示装置１０１ａ、１０１ｂや操作パネル表示装置３０４に出力すべき画像信号を生成したり、位置姿勢計測装置２０５からのデータを受け、これを管理したり等の処理を行う。

図３は、このコンピュータ４００の機能構成を示す図である。本実施形態では、同図に示した各部はハードウェアでもって構成されたものとする。

４０１Ｒ、４０１Ｌは映像キャプチャ部であり、それぞれカメラ１０２ａ、１０２ｂより入力した画像をデジタル信号として取り込む。

４０４は位置姿勢情報入力部であり、位置姿勢計測装置２０５から出力されたデータを取り込む。このデータには、磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータ、３Ｄポインティングデバイス３００が備える磁気レシーバのセンサ座標系における位置姿勢を示すデータ、３Ｄポインティングデバイス３０２が備える磁気レシーバ２０３のセンサ座標系における位置姿勢を示すデータが含まれる。

４０８は、３ＤＣＡＤデータＤＢ（データベース）で、仮想空間を構成する仮想物体の画像を生成するためのデータ（３ＤＣＧ描画データ）のＤＢである。３ＤＣＧ描画データには、仮想物体の幾何学形状や色を示すデータ、テクスチャデータ、位置、姿勢を示すデータなどが含まれる。

４０６は３ＤＣＧシーングラフＤＢで、上記３ＤＣＧ描画データを各仮想物体の親子関係に基づいて階層的に管理したシーングラフデータのＤＢである。またこのＤＢには、各仮想物体の名前や点滅状態、選択・非選択状態、断面表示状態といった各仮想物体の状態を示す情報が含まれている、これらの情報は後述する操作によって更新可能である。また、この３ＤＣＧシーングラフＤＢ４０６には、カメラ１０２ａ、１０２ｂの位置姿勢（以下、視点の位置姿勢と呼称する）も管理される。

４０５は位置姿勢算出部であり、位置姿勢情報入力部４０４から３Ｄポインティングデバイス３００が備える磁気レシーバのセンサ座標系における位置姿勢を示すデータが入力された場合には、このデータと、センサ座標系と仮想空間との変換データ（仮想空間における位置姿勢とセンサ座標系における位置姿勢との間の関係を示すもので、この変換データにより、一方の座標系における位置姿勢を他方の座標系における位置姿勢に変換することができる）とを用いて、３Ｄポインティングデバイス３００が備える磁気レシーバの仮想空間における位置姿勢を周知の計算により求める。そしてこの３Ｄポインティングデバイス３００に予め関連付けられた仮想物体の位置姿勢を、求めた位置姿勢に更新する。更新は、シーングラフデータ中のこの仮想物体の位置姿勢を更新することによりなされる。なお、３Ｄポインティングデバイス３００に関連付ける仮想物体の数は特に限定するものではない。

また、位置姿勢情報入力部４０４から３Ｄポインティングデバイス３０２が備える磁気レシーバのセンサ座標系における位置姿勢を示すデータが入力された場合には、このデータと上記変換データとを用いて、３Ｄポインティングデバイス３０２が備える磁気レシーバの仮想空間における位置姿勢を周知の計算により求める。そしてこの３Ｄポインティングデバイス３０２に予め関連付けられた仮想物体の位置姿勢を、求めた位置姿勢に更新する。更新は、シーングラフデータ中のこの仮想物体の位置姿勢を更新することによりなされる。

また、位置姿勢情報入力部４０４から磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータが入力された場合には、このデータと上記変換データとを用いて、レシーバ２０１の仮想空間における位置姿勢を周知の計算により求める。なお、磁気レシーバ２０１とカメラ１０２ａ、１０２ｂそれぞれとの位置姿勢関係を示すデータを用いれば、周知の計算により、仮想空間におけるカメラ１０２ａ、１０２ｂの位置姿勢を求めることができる。本実施形態では磁気レシーバ２０１のセンサ座標系における位置姿勢から、仮想空間におけるカメラ１０２ａ、１０２ｂの位置姿勢を求めるためのデータは予め既知のデータとして与えられているものとする。そしてこのようにして求めたカメラ１０２ａ、１０２ｂの位置姿勢のデータは、３ＤＣＧシーングラフＤＢ４０６内に管理する。

４０７はＣＧレンダリング部で、位置姿勢算出部４０５が算出したカメラ１０２ａ、１０２ｂの位置姿勢（３ＤＣＧシーングラフＤＢ４０６に管理されているカメラ１０２ａ、１０２ｂの位置姿勢）に応じて見える仮想物体の画像を生成する。なお、各仮想物体の仮想空間における位置姿勢は、３ＤＣＧシーングラフＤＢ４０６内のデータに基づいたものであり、また、その画像も３ＤＣＧシーングラフＤＢ４０６内のデータに基づいたものである。従って、３Ｄポインティングデバイス３００、３０２それぞれに関連付けられた仮想物体の画像は、３Ｄポインティングデバイス３００、３０２の位置姿勢でもって仮想空間内に配置され、これを位置姿勢算出部４０５が算出したカメラ１０２ａ、１０２ｂの位置姿勢に応じて見える画像となる。

なお、所定の位置姿勢を有する視点から見える仮想物体の画像を生成する処理については周知の技術であるので、これに関する詳細な説明は省略する。

４０２Ｒ、４０２Ｌはそれぞれ、映像キャプチャ部４０１Ｒ、４０１Ｌから入力した現実空間の画像上に、ＣＧレンダリング部４０７が生成したカメラ１０２ａの位置姿勢に応じて見える仮想物体の画像、カメラ１０２ｂの位置姿勢に応じて見える仮想物体の画像を重畳させ、それぞれ、映像生成部４０３Ｒ、４０３Ｌに出力する。これにより、カメラ１０２ａの位置姿勢に応じて見える複合現実空間の画像、カメラ１０２ｂの位置姿勢に応じて見える複合現実空間の画像を生成することができる。

映像生成部４０３Ｒ、４０３Ｌはそれぞれ、映像合成部４０２Ｒ、４０２Ｌから出力された複合現実空間の画像をアナログデータに変換し、それぞれ表示装置１０１ａ、１０１ｂに映像信号として出力する。これにより、ＨＭＤ１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目の位置に対応した複合現実空間の画像が表示される。

操作情報処理部４０９は、３ＤＣＧシーングラフＤＢ４０６内に登録されている各種の情報を用いて、パネル画面を生成すると共に、このパネル画面上で操作者が入力装置３０３を用いて指示した結果をこのパネル画面に反映させて操作パネル生成部４１０に反映後の操作パネルの画面のデータを出力する。また、入力装置３０３を用いて仮想物体に係る情報の変更操作が行われた場合には、この操作に応じた変更を３ＤＣＧシーングラフＤＢ４０６内の対応するデータに対して行う。

より具体的には、操作パネル表示装置３０４の表示画面上には、例えば図５に示す如く、操作パネルの画像が表示される。図５は操作パネルの画面の表示例を示す図である。

同図において５００は操作パネルの画像を示し、例えばＣＡＤデータのアセンブリツリー構造を表示し、任意の部品を選択したり、部品の拡大・縮小を行ったりするためのものであり、ＧＵＩとして機能するものである。

同図において、５０６は、３ＤＣＧシーングラフＤＢ４０６内のデータに従って、１つの仮想物体を構成する各部品に係る情報（同図では部品名）を階層的に表示するための領域で、同図では５０１で示す如く、１つの部品が選択されている。この部品名は５０２で示す如く拡大表示され、観察者にとって見やすくなっている。

また同図では、領域５０６には、タブ５０５で示す如く、表示／非表示（ＨＭＤ１００の表示装置１０１ａ、１０１ｂに表示するか否か）を設定するために各部品に係る情報が表示されており、同図では選択した部品（同図では５０１で示した部品）に対して表示／非表示を設定する。以上の選択操作など、この操作パネルに対しての操作は入力装置３０３を用いて行われる。そして入力装置３０３を用いて行われた操作に応じて操作パネルの画面の更新は上述の通り、操作情報処理部４０９によって行われる。また、操作情報処理部４０９は、選択した部品の表示／非表示を設定したりといった、仮想物体に係る情報を変更する操作がなされた場合には、この操作内容を受け、３ＤＣＧシーングラフＤＢ４０６内の対応するデータを更新する。

操作パネル生成部４１０は、操作情報処理部４０９から操作パネルの画面のデータを受けて、操作パネル表示装置３０４に出力する。これにより、操作パネル表示装置３０４の表示画面上には、例えば図５に示すような操作パネルの画面が表示される。

図４は、コンピュータ４００を構成する各部が行う処理のフローを示した図である。

位置姿勢計測装置２０５は上述の通り、３Ｄポインティングデバイス３００（同図では物体操作デバイス）が備える磁気レシーバのセンサ座標系における位置姿勢を示すデータを求める（４０１０）。位置姿勢情報入力部４０４は上述のとおり、このデータと上記変換データとを用いて、３Ｄポインティングデバイス３００が備える磁気レシーバの仮想空間における位置姿勢を周知の計算により求める（４０３０）。更新は、３ＤＣＧシーングラフＤＢ４０６内の３Ｄポインティングデバイス３００と関連付けられている仮想物体の位置姿勢を更新することによりなされる。

また、位置姿勢計測装置２０５は上述の通り、磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータを求める（４０４０）。位置姿勢情報入力部４０４は上述の通り、このデータと上記変換データとを用いて、レシーバ２０１の仮想空間における位置姿勢を周知の計算により求め、更に、磁気レシーバ２０１とカメラ１０２ａ、１０２ｂそれぞれとの位置姿勢関係を示すデータを用いて、周知の計算により、仮想空間におけるカメラ１０２ａ、１０２ｂの位置姿勢を求める（４０４０）。なお求めたカメラ１０２ａ、１０２ｂの位置姿勢のデータは上述の通り、３ＤＣＧシーングラフＤＢ４０６内に管理する。

一方、以上の処理と並行して、カメラ１０２ａ、１０２ｂからそれぞれ現実空間の画像がそれぞれ映像キャプチャ部４０１Ｒ、映像キャプチャ部４０１Ｌに取り込み（４０７０）、コンピュータ４００内の不図示のメモリに描画する（４０８０）。

また、ＣＧレンダリング部４０７は３ＤＣＧシーングラフＤＢ４０６内のデータを用いて、このデータに含まれる仮想物体の位置姿勢に仮想物体を配置し、この仮想物体をカメラ１０２ａ、１０２ｂの位置姿勢に応じて見た場合に見える画像を生成する（４０６０）。

そして映像合成部４０２Ｒは、映像キャプチャ部４０１Ｒが取り込んだ現実空間の画像上に、ＣＧレンダリング部４０７が生成したカメラ１０２ａの位置姿勢に応じて見える仮想空間の画像を合成し、合成後の画像のデータを映像生成部４０３Ｒに出力する（４０９０）。

また映像合成部４０２Ｌについても同様で、映像キャプチャ部４０１Ｌが取り込んだ現実空間の画像上に、ＣＧレンダリング部４０７が生成したカメラ１０２ｂの位置姿勢に応じて見える仮想空間の画像を合成し、合成後の画像のデータを映像生成部４０３Ｌに出力する（４０９０）。

そして映像生成部４０３Ｒは、映像合成部４０２Ｒから受けた合成画像（複合現実空間の画像）を表示装置１０１ａに出力し、映像生成部４０３Ｌは、映像合成部４０２Ｌから受けた受けた合成画像を表示装置１０１ｂに出力する（４１００）。

これにより、ＨＭＤ１００を頭部に装着した操作者の眼前には、自身の右目、左目の位置姿勢に応じて見える複合現実空間の画像が提供されることになる。

一方、操作情報処理部４０９は、３ＤＣＧシーングラフＤＢ４０６内のデータを用いて、仮想物体を構成する各部品に係る情報を階層的に表示する為の領域、及び、これら各部品に係る情報を操作するための領域を備える操作パネルの画像を生成するのであるが、この際、例えば図５に示す如く、１つの部品が選択され、選択された部品名を５０２で示す如く拡大表示する場合など、操作パネルの画像を更新するような指示が入力装置３０３から入力された場合には、この指示に基づいてパネルの画像を更新する。

部品選択のような操作パネルの更新は、入力装置３０３の位置情報と操作パネルの位置情報とに基づき、入力装置３０３と操作パネルの位置関係を識別し、識別結果に応じて判断する。例えば、アセンブルツリー５０６のある部品上に入力装置３０３が存在することが判定されると、その部品が選択されたと判断する。また、入力装置３０３にボタンが付いている場合は、ボタン操作で部品を選択するタイミングを指示しても構わない。

従って操作情報処理部４０９は、常に入力装置３０３からの指示を受け付けており（４１１０）、指示を受けると、この指示に応じて５０１に示すとごく部品名を拡大表示する等、指示に応じてパネル画像を更新し（４１２０，４１３０）、更新したパネルの画像のデータを操作パネル生成部４１０に出力する（４１４０）。

これにより、操作パネル表示装置３０４の表示画面上には、仮想物体を構成する各部品に係る情報が表示されると共に、入力装置３０３を用いて指示した結果が表示される。

以上の説明したように、本実施形態によって、仮想物体を構成する各部品に関する情報を、ＨＭＤの表示画面という比較的表示面積の小さい画面以外で提供することにより、観察者はよりこの情報を確認しやすくなる。また、この画面を見て各部品に関する情報を操作することができる。

なお、以上の説明ではＨＭＤ１００はビデオシースルー型のものであったが、これに限定するものではなく、光学シースルー型のものを用いても良い。その場合、カメラ１０２ａ、１０２ｂは無いので、当然、上記合成処理（現実空間の画像と仮想空間の画像との合成処理）はいらない。

また、以上の説明では、操作パネル表示装置３０４に対する入力は入力装置３０３を用いて行うようにしているが、操作パネル表示装置３０４をタッチパネル形式の表示装置としても良い。その場合、入力装置３０３は省略されることになる。

また、仮想物体の位置や姿勢を操作するための３Ｄポインティングデバイスは本実施形態では１つ（３Ｄポインティングデバイス３００のみ）であったが、複数用意しておき、そのうち１つもしくは複数を用いるようにしても良い。

［第２の実施形態］
第１の実施形態ではコンピュータ４００の機能構成は、図２に示した各部がハードウェアでもって構成されたものとして説明したが、図２に示した各部のうち一部をソフトウェアでもって実現させることも可能である。

図６は、コンピュータ４００をＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等のコンピュータでもって実現させる場合の、このコンピュータの基本構成を示す図である。

同図において６０１はＣＰＵで、ＲＡＭ６０２やＲＯＭ６０３に格納されているプログラムやデータを用いてコンピュータ全体のを制御を行うと共に、後述するＩ／Ｆ６０７を介して接続されている外部機器とのデータ通信を制御する。また、上述した、ＨＭＤ１００へ複合現実空間画像を提供するための処理、操作パネル表示装置３０４へのパネル画像を提供する為の処理なども制御する。

６０２はＲＡＭで、外部記憶装置６０６からロードされたプログラムやデータを一時的に記憶するためのエリアを備えるとともに、後述するＩ／Ｆ６０７を介して受信したデータを一時的に記憶するためのエリアも備える。また、ＣＰＵ６０１が各種の処理を行うために使用するワークエリアも備える。

６０３はＲＯＭで、ブートプログラムやコンピュータの設定データなどを格納する。

６０４は操作部で、キーボードやマウスなどにより構成されており、各種の指示をＣＰＵ６０１に対して入力することができる。なお、上記入力装置３０３の代わりに、この操作部６０４を用いるようにしても良い。

６０５は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ６０１による処理結果を画像や文字などでもって表示する。

６０６は外部記憶装置で、ここにＯＳ（オペレーティングシステム）やＣＰＵ６０１に、第１の実施形態においてコンピュータ４００が行うものとして説明した各処理を実行させるためのプログラムやデータを保存することができ、これらの一部もしくは全部はＣＰＵ６０１の制御により、ＲＡＭ６０２にロードされる。なお、やＣＰＵ６０１に、第１の実施形態においてコンピュータ４００が行うものとして説明した各処理を実行させるためのプログラムには、図３において、映像キャプチャ部４０１Ｒ、４０１Ｌ、位置姿勢情報入力部４０４、操作パネル生成部４１０、位置姿勢算出部４０５、操作情報処理部４０９映像合成部４０２、Ｒ、４０２Ｌ、ＣＧレンダリング部４０７，映像生成部４０３Ｒ、４０３Ｌの各部の機能をＣＰＵ６０１に実行させるためのプログラムが含まれている。また、図３のいて、３ＤＣＧシーングラフＤＢ４０６は、外部記憶装置６０６内のＤＢとして格納されている。

６０７はＩ／Ｆで、ここにカメラ１０２ａ、１０２ｂ、表示装置１０１ａ、１０１ｂ、磁気レシーバ２０１、位置姿勢計測装置２０５、入力装置３０３、操作パネル表示装置３０４が接続され、このＩ／Ｆ６０７を介して互いにデータ通信を行うことができる。

６０８は以上の各部を繋ぐバスである。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート（機能構成）に対応するプログラムコードが格納されることになる。

現実空間に仮想空間を重畳させた複合現実空間を観察者に提供すると共に、仮想空間中の仮想物体の閲覧、及び操作を可能にさせるための本発明の第１の実施形態に係るシステムの外観を示す図である。 ＨＭＤ１００の具体的な構成を示す図である。 コンピュータ４００の機能構成を示す図である。 コンピュータ４００を構成する各部が行う処理のフローを示した図である。 図５は操作パネルの画面の表示例を示す図である。 本発明の第２の実施形態に係るコンピュータ４００の基本構成を示す図である。

Claims (8)

1. 現実空間に仮想物体を重畳させて観察者に提示する画像処理方法であって、
   仮想空間を構成する各仮想物体の状態に係る情報をメモリに保持する保持工程と、
   前記仮想空間を構成する１以上の仮想物体を、観察者が手に保持して操作する１以上の位置姿勢センサの何れかに関連付ける関連付け工程と、
   前記関連付け工程で位置姿勢センサに関連付けられた仮想物体を、当該位置姿勢センサによる計測結果に基づいて決まる当該位置姿勢センサ自身の位置姿勢でもって前記仮想空間中に配置する配置工程と、
   前記保持工程で保持している前記情報に基づいて、前記仮想空間を構成する各仮想物体の状態を前記観察者に対して提示する提示工程と、
   前記提示工程で提示した状態のうち、所望の状態を変更するための操作を入力する入力工程と、
   前記入力工程で入力された操作に応じて前記情報を更新する更新工程と
   を備えることを特徴とする画像処理方法。
2. 更に、位置姿勢センサによる計測結果に基づいて決まる、当該位置姿勢センサ自身の位置姿勢を、前記関連付け工程で当該位置姿勢センサに関連付けられた仮想物体の位置姿勢として、前記情報内に登録する登録工程を備え、
   前記配置工程では、前記登録工程で前記情報内に登録された仮想物体の位置姿勢を用いて、当該仮想物体を前記仮想空間中に配置することを特徴とする請求項１に記載の画像処理方法。
3. 前記情報は、前記仮想物体の名前、点滅状態、選択・非選択状態、断面表示状態を示す情報が含まれていることを特徴とする請求項１又は２に記載の画像処理方法。
4. 観察者の位置姿勢情報を取得し、
   現実空間の画像を取得し、
   前記観察者の位置姿勢情報に応じて仮想空間の画像を生成し、
   前記現実空間の画像と前記仮想空間の画像を合成し、ユーザが装着しているヘッドマウントディスプレイにする画像処理方法であって、
   操作パネル画像を生成し、前記現実空間の画像と前記仮想空間の画像に合成するとともに、
   前記観察者が操作する操作部の位置情報を取得し、
   前記操作パネル画像と前記操作部の位置関係に応じて、操作パネル画像を更新する画像処理方法であり、
   前記操作パネル画像において、前記操作部によって選択された部分を拡大することを特徴とする画像処理方法。
5. 前記仮想空間の画像は、仮想物体の３ＤＣＡＤデータに基づき生成され、
   前記操作パネルには、前記３ＤＣＡＤデータに基づくアセンブルツリーが含まれ、
   前記拡大される部分には、前記アセンブルツリーに含まれる部品名であることを特徴とする請求項４に記載の画像処理方法。
6. 現実空間に仮想物体を重畳させて観察者に提示する画像処理装置であって、
   仮想空間を構成する各仮想物体の状態に係る情報を保持する保持手段と、
   前記仮想空間を構成する１以上の仮想物体を、観察者が操作する１以上の位置姿勢センサの何れかに関連付ける関連付け手段と、
   前記関連付け手段によって位置姿勢センサに関連付けられた仮想物体を、当該位置姿勢センサによる計測結果に基づいて決まる当該位置姿勢センサ自身の位置姿勢でもって前記仮想空間中に配置する配置手段と、
   前記保持手段が保持している前記情報に基づいて、前記仮想空間を構成する各仮想物体の状態を前記観察者に対して提示する提示手段と、
   前記提示手段が提示した状態のうち、所望の状態を変更するための操作を入力する入力手段と、
   前記入力手段により入力された操作に応じて前記情報を更新する更新手段と
   を備えることを特徴とする画像処理装置。
7. コンピュータに請求項１乃至５の何れか１項に記載の画像処理方法を実行させるためのプログラム。
8. 請求項７に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images