JP2016038632A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】体験者が複合現実感を得るために移動可能な範囲を考慮した仮想物体の観察環境を提供するための技術を提供する。【解決手段】システムは、ユーザの視点の三次元位置姿勢を計測するための光学式三次元位置姿勢計測装置１３００、ユーザの頭部に装着する頭部装着型表示装置であるＨＭＤ１２００、複合現実空間の画像を生成する画像処理装置１０００、複合現実空間の画像を表示する表示装置１１００、を有している。視点の位置姿勢の計測可能な範囲を求め、仮想物体を範囲内に配置し、配置した仮想物体を含む仮想空間の画像を、位置姿勢に応じて生成し、生成した仮想空間の画像を出力する。【選択図】図１

Description

本発明は、複合現実感を提示するための技術に関するものである。

近年、現実空間と仮想空間との繋ぎ目のない結合を目的とした複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置姿勢に応じて生成した仮想空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。

撮像装置の位置姿勢を計測する方法として、三次元位置姿勢計測装置（例えば、VICON社の光学式三次元位置姿勢計測装置VICON）を用いる方法がある。本計測装置は、複数台のカメラから位置姿勢を計測したい対象物に取り付けた指標を撮影することで、現実空間における指標の三次元位置姿勢を計測する。然るに、指標を撮像装置に固定することで、撮像装置の三次元位置姿勢を計測することができる。

一方、仮想物体を作成する際には、一般的には、市販のＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）や３ＤＣＧソフト（三次元コンピュータグラフィックスソフト）を利用している（非特許文献１）。

以上の技術を組み合わせることで、ＣＡＤや３ＤＣＧソフトを用いて作成した仮想物体を用いた仮想現実空間や複合現実空間を組み合わせて体験させる事ができる。

株式会社ワークスコーポレーション 編集，ＣＧ＆映像しくみ事典，２００３年１２月３１日発行，ｐｐ．９８−１０１

複合現実感を体感している体験者は、仮想物体に近づいて該仮想物体を詳細に観察したり、逆に仮想物体から遠ざかって該仮想物体を遠くから眺めたりすることがあるが、体験者は常に、視点の位置姿勢の計測可能範囲内に位置することが求められるため、仮想物体は、計測可能範囲を考慮した位置に配置されることが好ましい。しかし、ＣＡＤや３ＤＣＧソフトを用いて仮想物体を作成するユーザが計測可能範囲をも考慮してその配置位置を設定することは困難である。

本発明は、このような問題に鑑みてなされたものであり、体験者が複合現実感を得るために移動可能な範囲を考慮した仮想物体の観察環境を提供するための技術を提供する。

本発明の一様態は、視点の位置姿勢の計測可能な範囲を求める計算手段と、仮想物体を前記範囲内に配置する配置手段と、前記配置手段が配置した仮想物体を含む仮想空間の画像を、前記位置姿勢に応じて生成する生成手段と、前記生成手段が生成した仮想空間の画像を出力する出力手段とを備えることを特徴とする。

本発明の構成によれば、体験者が複合現実感を得るために移動可能な範囲を考慮した仮想物体の観察環境を提供することができる。

システムの構成例を示す図。 コンピュータのハードウェア構成例を示すブロック図。 画像処理装置１０００の動作を説明するフローチャート。 ステップＳ４０４における処理を説明する図。 ステップＳ４０５における処理を説明する図。 第２の実施形態を説明する図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
ユーザ（体験者）に、仮想空間と現実空間とを合成した複合現実空間を体感させる（複合現実感を提示する）システムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、ユーザの視点の三次元位置姿勢を計測するための光学式三次元位置姿勢計測装置１３００、ユーザの頭部に装着する頭部装着型表示装置の一例であるＨＭＤ１２００、複合現実空間の画像を生成する画像処理装置１０００、複合現実空間の画像を表示する表示装置１１００、を有している。

先ず、ＨＭＤ１２００について説明する。

撮像装置１２２０Ｒ、１２２０Ｌは何れも、現実空間の動画像を撮像するためのものであり、それぞれ、ＨＭＤ１２００を頭部に装着するユーザの右目に提示するための動画像、左目に提示するための動画像、を撮像する。撮像装置１２２０Ｒ、１２２０Ｌのそれぞれが撮像した動画像を構成する各フレームの画像（撮像画像）は順次、画像処理装置１０００に対して送出される。

表示装置１２１０Ｒ，１２１０Ｌは何れも、画像処理装置１０００から出力された画像を表示するためのものであり、それぞれ、ＨＭＤ１２００を頭部に装着したユーザの右目の眼前、左目の眼前、に位置するようにＨＭＤ１２００に取り付けられている。

マーカ１２３０は、ＨＭＤ１２００の位置姿勢を計測するために取り付けられているものであり、後述する光学式三次元位置姿勢計測装置１３００による撮像対象となる。

なお、ＨＭＤ１２００と画像処理装置１０００との間の通信は、有線通信であっても良いし、無線通信であっても構わないし、それらの組み合わせであっても構わない。

次に、光学式三次元位置姿勢計測装置１３００について説明する。

計測用撮像装置（光学式センサ）１３２０Ａ，１３２０Ｂは何れも、マーカ１２３０を撮像するものであり、現実空間中に固定して配置されている。計測用撮像装置１３２０Ａ，１３２０Ｂによる撮像結果はコントローラ１３１０に送出される。コントローラ１３１０は、計測用撮像装置１３２０Ａ，１３２０Ｂの動作制御を行うためのものであり、計測用撮像装置１３２０Ａ，１３２０Ｂからの撮像結果を、画像処理装置１０００に対して送出する。なお、図１では、計測用撮像装置の数を２としているが、３以上としても構わない。また、図１では、計測用撮像装置１３２０Ａ，１３２０Ｂとコントローラ１３１０とは別個の装置としているが、コントローラ１３１０を、計測用撮像装置１３２０Ａ，１３２０Ｂのそれぞれに組み込んでも構わない。

次に、画像処理装置１０００について説明する。

視点情報計測部１０１０は、コントローラ１３１０から送出された計測用撮像装置１３２０Ａ，１３２０Ｂによる撮像結果から、世界座標系１５００（現実空間中の１点を原点とし、該原点で互いに直交する３軸をそれぞれＸ軸、Ｙ軸、Ｚ軸とする座標系）におけるマーカ１２３０の位置姿勢を求める。計測用撮像装置１３２０Ａ，１３２０Ｂによる撮像結果からマーカ１２３０の世界座標系１５００における位置姿勢を求める方法については周知の技術であるため、これについての説明は省略する。以下の説明では、世界座標系１５００として、床面をＸ−Ｚ平面とし、該床面に対して上向きをＹ軸として定義するが、それぞれの軸の取り方については用途に応じて適宜変更しても構わない。そして視点情報計測部１０１０は、世界座標系１５００におけるマーカ１２３０の位置姿勢を、データ記憶部１０４０に格納する。

画像取得部１０２０は、ＨＭＤ１２００（撮像装置１２２０Ｒ，１２２０Ｌ）から送出された各フレームの画像をデータ記憶部１０４０に格納する。

入力部１０７０は、画像処理装置１０００のユーザが各種の指示を画像処理装置１０００に対して入力するために操作するユーザインターフェースであり、マウスやキーボード等により構成されている。

モード設定部１０８０は、仮想物体（図１では仮想物体１４００）を、計測用撮像装置１３２０Ａ，１３２０Ｂの撮像可能な範囲（すなわち、マーカ１２３０の位置姿勢の計測可能な範囲であり、以下では「計測可能領域」と呼称する）内に配置するモード（第１のモード）、データ記憶部１０４０に格納されている仮想空間データが該仮想物体について規定している配置位置に配置するモード（第２のモード）、の何れかを設定する。このモードの設定は、入力部１０７０からの指示に応じてなされる。そしてモード設定部１０８０は、設定したモードをデータ記憶部１０４０に格納する。

仮想物体移動部１０３０は、モード設定部１０８０により第１のモードが設定された場合に動作する。仮想物体移動部１０３０は、データ記憶部１０４０に予め格納されている「計測用撮像装置１３２０Ａ，１３２０Ｂのそれぞれの世界座標系１５００における位置姿勢や画角」、といった情報を用いて、計測用撮像装置１３２０Ａ，１３２０Ｂのそれぞれの視体積が重なり且つＸ−Ｚ平面よりも計測用撮像装置１３２０Ａ，１３２０Ｂ側の領域を、上記の計測可能領域として求める。そして仮想物体移動部１０３０は、計測可能領域内において仮想物体を配置する位置を求める。

仮想空間生成部１０５０は、データ記憶部１０４０に格納されている仮想空間データを用いて、仮想物体を構築する。仮想空間データには、仮想空間中に配置する光源を規定するデータや、仮想空間中に配置する仮想物体を規定するデータ、等の仮想空間を規定する為のデータが含まれている。

そして仮想空間生成部１０５０は、モード設定部１０８０によって第２のモードが設定されている場合には、構築した仮想物体を、仮想空間データが該仮想物体について規定した位置に配置する。

一方、モード設定部１０８０によって第１のモードが設定されている場合には、仮想空間生成部１０５０は、構築した仮想物体を、仮想物体移動部１０３０が求めた配置位置に配置する。

なお、仮想物体を配置する姿勢についてはどのような姿勢であっても良く、仮想空間データによって規定されている姿勢であっても良いし、ユーザが入力部１０７０を操作することで適宜変更しても構わない。

一方で、仮想空間生成部１０５０は、データ記憶部１０４０に格納されている、「世界座標系１５００におけるマーカ１２３０の位置姿勢」と、予め測定されてデータ記憶部１０４０に格納されている「マーカ１２３０と撮像装置１２２０Ｒとの間の相対的な位置姿勢関係」と、を用いて周知の計算を行うことで、「世界座標系における撮像装置１２２０Ｒの位置姿勢」を、右目用視点の位置姿勢として求める。同様に、仮想空間生成部１０５０は、データ記憶部１０４０に格納されている、「世界座標系１５００におけるマーカ１２３０の位置姿勢」と、予め測定されてデータ記憶部１０４０に格納されている「マーカ１２３０と撮像装置１２２０Ｌとの間の相対的な位置姿勢関係」と、を用いて周知の計算を行うことで、「世界座標系における撮像装置１２２０Ｌの位置姿勢」を、左目用視点の位置姿勢として求める。

そして仮想空間生成部１０５０は、上記のようにして仮想物体を配置した仮想空間を右目用視点から見た画像（右目用仮想空間画像）を、上記の仮想空間データと右目用視点の位置姿勢と、を用いて生成する。同様に、仮想空間生成部１０５０は、上記のようにして仮想物体を配置した仮想空間を左目用視点から見た画像（左目用仮想空間画像）を、上記の仮想空間データと左目用視点の位置姿勢と、を用いて生成する。なお、ある位置姿勢を有する視点から見える仮想空間の画像を生成するための一連の処理については周知の技術であるため、これについてのさらなる詳細な説明は省略する。

仮想空間生成部１０５０は、右目用仮想空間画像及び左目用仮想空間画像のそれぞれを画像生成部１０６０に対して送出する。

画像生成部１０６０は、データ記憶部１０４０に格納された、撮像装置１２２０Ｒによる撮像画像（右目用現実空間画像）と、仮想空間生成部１０５０から送出された右目用仮想空間画像と、を合成した合成画像を、右目用の複合現実空間の画像として生成する。同様に、画像生成部１０６０は、データ記憶部１０４０に格納された、撮像装置１２２０Ｌによる撮像画像（左目用現実空間画像）と、仮想空間生成部１０５０から送出された左目用仮想空間画像と、を合成した合成画像を、左目用の複合現実空間の画像として生成する。そして画像生成部１０６０は、右目用の複合現実空間の画像を、ＨＭＤ１２００の表示装置１２１０Ｒに対して送出すると共に、左目用の複合現実空間の画像を、ＨＭＤ１２００の表示装置１２１０Ｌに対して送出する。

これにより、ＨＭＤ１２００を自身の頭部に装着したユーザの左目の眼前には、左目用の複合現実空間の画像が提示され、右目の眼前には、右目用の複合現実空間の画像が提示されることになる。なお、画像生成部１０６０は更に、右目用の複合現実空間の画像、左目用の複合現実空間の画像、の両方若しくは一方を表示装置１１００に出力しても良い。

次に、画像処理装置１０００の動作について、図３のフローチャートを用いて説明する。なお、図３のフローチャートは、１フレーム分の右目用の複合現実空間の画像及び１フレーム分の左目用の複合現実空間の画像を生成して出力する処理のフローチャートであるため、実際には、画像処理装置１０００は、ＨＭＤ１２００から入力される各フレームについて、図３のフローチャートに従った処理を行うことになる。

＜ステップＳ４００＞
視点情報計測部１０１０は、コントローラ１３１０から送出された計測用撮像装置１３２０Ａ，１３２０Ｂによる撮像結果から、世界座標系１５００におけるマーカ１２３０の位置姿勢を求める。そして視点情報計測部１０１０は、世界座標系１５００におけるマーカ１２３０の位置姿勢を、データ記憶部１０４０に格納する。

＜ステップＳ４０１＞
画像取得部１０２０は、撮像装置１２２０Ｒから送出された右目用現実空間画像及び撮像装置１２２０Ｌから送出された左目用現実空間画像を、データ記憶部１０４０に格納（取得）する。

＜ステップＳ４０２＞
ここで、モード設定部１０８０が第１のモードを設定した場合には、処理はステップＳ４０２を介してステップＳ４０４に進み、第２のモードを設定した場合には、処理はステップＳ４０２を介してステップＳ４０３に進む。

＜ステップＳ４０３＞
仮想空間生成部１０５０は、データ記憶部１０４０に格納されている仮想空間データを用いて、仮想物体を構築し、該構築した仮想物体を、仮想空間データが該仮想物体について規定した位置に配置する。

＜ステップＳ４０４＞
仮想物体移動部１０３０は、データ記憶部１０４０に予め格納されている「計測用撮像装置１３２０Ａ，１３２０Ｂのそれぞれの世界座標系１５００における位置姿勢や画角」、といった情報を用いて、計測用撮像装置１３２０Ａ，１３２０Ｂのそれぞれの視体積が重なる領域において、Ｘ−Ｚ平面よりも計測用撮像装置１３２０Ａ，１３２０Ｂ側の領域を、上記の計測可能領域として求める。図４において計測用撮像装置１３２０Ａ，１３２０Ｂのそれぞれの視体積を点線で示しており、それぞれの視体積が重なる領域４０００を斜線で示している。

＜ステップＳ４０５＞
仮想物体移動部１０３０は、ステップＳ４０４で求めた計測可能領域内において仮想物体を配置する位置を求める。計測可能領域内（範囲内）であれば、どの位置に仮想物体を配置しても良いのであるが、以下ではその一例について説明する。以下では、計測可能領域として図４の領域４０００を求めた場合を例にとり説明する。

先ず、領域４０００を包含する球体を求める。領域４０００は、計測用撮像装置１３２０Ａ，１３２０Ｂのそれぞれの視体積を表す錐体同士の交点群により規定されるため、例えば、この交点群を包含する最小の球体を求める。このような球体を求めるための最少内包球のアルゴリズムについては周知の技術であるため、詳細な説明は省略する。そしてこの球体の中心位置を世界座標系１５００のＸ−Ｚ平面上に投影した位置を、「仮想物体を包含するバウンディングボックスの底面の位置」として求める。図５において球体５０００は領域４０００を包含する球体であり、その中心位置を点５０１０で示している。そしてこの点５０１０をＸ−Ｚ平面上に投影した位置を、点５０２０で示している。然るにこの場合、仮想物体を包含するバウンディングボックスの底面（四角形）の中心位置を点５０２０で示す位置に合わせることになり、これにより、点５０２０で示す位置を中心位置とする底面を有するバウンディングボックス内に仮想物体を配置することになる。もちろん、中心位置の投影先はＸ−Ｚ平面に限るものではないし、球体５０００の中心位置に仮想物体の中心位置を合わせるようにしても構わない。このようにして、仮想物体移動部１０３０は、仮想物体を配置する位置を決定する。

＜ステップＳ４０６＞
仮想空間生成部１０５０は、ステップＳ４０５において仮想物体移動部１０３０が求めた位置に基づいて仮想物体を配置する。

＜ステップＳ４０７＞
仮想空間生成部１０５０は、上記の方法でもって、右目用視点の位置姿勢及び左目用視点の位置姿勢を求める。そして仮想空間生成部１０５０は、上記のようにして仮想物体を配置した仮想空間を右目用視点から見た画像（右目用仮想空間画像）を生成すると共に、該仮想空間を左目用視点から見た画像（左目用仮想空間画像）を生成する。そして仮想空間生成部１０５０は、右目用仮想空間画像及び左目用仮想空間画像のそれぞれを画像生成部１０６０に対して送出する。

＜ステップＳ４０８＞
画像生成部１０６０は、ステップＳ４０１においてデータ記憶部１０４０に格納した右目用現実空間画像と、ステップＳ４０７において仮想空間生成部１０５０が生成した右目用仮想空間画像と、を合成した合成画像を、右目用の複合現実空間の画像として生成する。同様に、画像生成部１０６０は、ステップＳ４０１においてデータ記憶部１０４０に格納した左目用現実空間画像と、ステップＳ４０７において仮想空間生成部１０５０が生成した左目用仮想空間画像と、を合成した合成画像を、左目用の複合現実空間の画像として生成する。

＜ステップＳ４０９＞
画像生成部１０６０は、ステップＳ４０８において生成した右目用の複合現実空間の画像を、ＨＭＤ１２００の表示装置１２１０Ｒに対して送出すると共に、ステップＳ４０８において生成した左目用の複合現実空間の画像を、ＨＭＤ１２００の表示装置１２１０Ｌに対して送出する。

以上の説明により、本実施形態によれば、例えば仮想空間データの作成段階で、仮想物体の配置位置を決定する際に、上記の計測可能領域を予め知っておかなくても、複合現実感の提示段階で、その配置位置を、ユーザが近くによって観察可能な配置位置に設定することができる。

［第２の実施形態］
第１の実施形態では、配置する仮想物体の数が１である場合について説明したが、配置する仮想物体が複数の場合であっても、それぞれの仮想物体を、第１の実施形態で登場した仮想物体と同じように取り扱えば良い。

すなわち、第２のモードが設定されていれば、それぞれの仮想物体を、該仮想物体について仮想空間データが規定する配置位置に配置し、第１のモードが設定されている場合には、それぞれの仮想物体を、計測可能領域内の何れかの位置に配置すれば良い。その場合、それぞれの仮想物体が重ならないように配置する必要がある。

例えば、図６（ａ）に示す如く、図４，５を用いて第１の実施形態で説明した方法と同じようにして仮想物体６０００を配置する。次に、図６（ｂ）に示す如く、仮想物体６０００を構成する各頂点をＸ−Ｚ平面上に投影し、該投影した各頂点を包含する円６０２０を、例えば上記の最少内包円のアルゴリズムを用いて求める。そして、円６０２０上で仮想物体６０００の現在位置（点５０２０）から最も近い点６０１０の位置を求め、仮想物体６０００の現在位置（点５０２０）を、点６０１０で示す位置に移動させる。

なお、複数の仮想物体を計測可能領域内で互いに重ならないように配置するための配置位置を決定する方法には、様々な方法が考えられ、上記の方法に限るものではない。また、互いに重なっても良い仮想物体がある場合には、このような仮想物体を除いた他の仮想物体について、互いに重ならないように配置位置を決定することになる。

［第３の実施形態］
第１，２の実施形態では何れも、仮想物体をより近い位置で観察することを前提としていた。しかし、仮想物体を遠くから眺めて観察することが求められるようなケースも考え得る。

例えば、精巧な機械の仮想物体であったり、微少なサイズの部品の仮想物体を観察する場合には、より近くで観察することが求められる。しかし、建築物などの比較的サイズが大きい物体を模した仮想物体であれば、ある一定の距離から離れて観察することが求められる。そこで、このようなケースに対処するために、例えば、モード設定部１０８０は、上記の第１のモード、第２のモードに加えて、第３のモードを設定可能にする。

第３のモードを設定した場合、仮想物体移動部１０３０は、例えば、第１のモード時と同様にして、計測可能領域を包含する球体を求め、その中心位置から規定距離だけ離間した位置を、仮想物体の配置位置として決定する。この「規定距離」は、予め定められてデータ記憶部１０４０に保存しておいても良いし、ユーザが入力部１０７０を操作することで適宜変更しても構わない。

また、球体の中心位置と規定の位置関係となるような位置にこのような仮想物体を配置しても良い。また、この規定の位置関係を、ユーザが入力部１０７０を操作することで適宜変更できるようにしても構わない。これは位置関係に限らず、姿勢関係についても同様である。

［第４の実施形態］
第１〜３の実施形態で用いたＨＭＤ１２００はビデオシースルー方式のＨＭＤであったが、光学シースルー方式のＨＭＤを用いても構わない。その場合、図３のフローチャートにおいて、ステップＳ４０１及びＳ４０８を取り除き、ステップＳ４０９では、ステップＳ４０７において仮想空間生成部１０５０が生成した右目用仮想空間画像及び左目用仮想空間画像を、それぞれ、表示装置１２１０Ｒ、表示装置１２１０Ｌに対して送出する、とした処理を行うことになる。また、ＨＭＤの代わりに、若しくは加えて、タブレット端末装置や携帯電話などの機器に対して複合現実空間の画像を出力するようにしても構わない。

［第５の実施形態］
第１〜４の実施形態では、マーカ１２３０の位置姿勢の計測には、光学式の三次元位置姿勢計測装置を用いていたが、磁気式センサや超音波センサなど、他の三次元位置姿勢計測装置を用いてマーカ１２３０の位置姿勢を計測しても良い。すなわち、「マーカ１２３０の位置姿勢を計測可能な範囲」を求めることができるのであれば、如何なる方法でマーカ１２３０の位置姿勢を計測しても構わない。

もちろん、マーカ１２３０を用いずに、直接右目用視点の位置姿勢、左目用視点の位置姿勢、を求めても良い。この場合、計測可能領域とは、視点（撮像装置１２２０Ｒ，１２２０Ｌ）の位置姿勢の計測可能な範囲、となる。

［第６の実施形態］
図１に示した画像処理装置１０００が有する各機能部は何れもハードウェアで構成しても良いが、データ記憶部１０４０をメモリで構成し、入力部１０７０はマウスやキーボードで構成し、それ以外の各機能部をソフトウェア（コンピュータプログラム）で構成しても構わない。この場合、データ記憶部１０４０として機能するメモリを有し、入力部１０７０として機能するユーザインターフェースを有し、それ以外の各機能部に対応するコンピュータプログラムを実行するプロセッサを有するコンピュータであれば、画像処理装置１０００に適用可能である。

画像処理装置１０００に適用可能なコンピュータのハードウェア構成例について、図２のブロック図を用いて説明する。

ＣＰＵ２００１は、ＲＡＭ２００２やＲＯＭ２００３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、本コンピュータ全体の動作制御を行うと共に、本コンピュータを適用する画像処理装置１０００が行うものとして上述した各処理を実行する。

ＲＡＭ２００２は、外部記憶装置２００７や記憶媒体ドライブ２００８からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）２００９を介して外部（コントローラ１３１０や撮像装置１２２０Ｒ，１２２０Ｌ）から入力されたデータを格納するためのエリアを有する。更にＲＡＭ２００２は、ＣＰＵ２００１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２００２は、各種のエリアを適宜提供することができる。

ＲＯＭ２００３には、本コンピュータの設定データやブートプログラムなどが格納されている。

キーボード２００４やマウス２００５は、上記の入力部１０７０に対応するものであり、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ２００１に対して入力することができる。

表示部２００６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２００１による処理結果を画像や文字などでもって表示することができる。

外部記憶装置２００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置２００７には、ＯＳ（オペレーティングシステム）や、図１に示した画像処理装置１０００の各機能部において、入力部１０７０、データ記憶部１０４０を除く各機能部が行うものとして上述した各処理をＣＰＵ２００１に実行させるためのコンピュータプログラムやデータが保存されている。また、外部記憶装置２００７には、上記の説明において既知の情報として説明したものも保存されている。また、外部記憶装置２００７は、データ記憶部１０４０としても使用される。外部記憶装置２００７に保存されているコンピュータプログラムやデータは、ＣＰＵ２００１による制御に従って適宜ＲＡＭ２００２にロードされ、ＣＰＵ２００１による処理対象となる。

記憶媒体ドライブ２００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されているコンピュータプログラムやデータを読み出してＲＡＭ２００２や外部記憶装置２００７に対して送出する機器である。なお、外部記憶装置２００７に保存されているものとして説明したコンピュータプログラムやデータのうち一部若しくは全部をこの記憶媒体に記録しておいても良い。

Ｉ／Ｆ２００９は、撮像装置１２２０Ｒ，１２２０Ｌや表示装置１２１０Ｒ、１２１０Ｌ、コントローラ１３１０を接続するためのインターフェースとして機能するものである。例えば、Ｉ／Ｆ２００９は、撮像装置１２２０Ｒ，１２２０Ｌを接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、表示装置１２１０Ｒ、１２１０Ｌを接続するためのイーサネット（登録商標）ポートなどによって構成される。

上記の各部は何れも、バス２０１０に接続されている。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０３０：仮想物体移動部 １０５０：仮想空間生成部

Claims (9)

1. 視点の位置姿勢の計測可能な範囲を求める計算手段と、
   仮想物体を前記範囲内に配置する配置手段と、
   前記配置手段が配置した仮想物体を含む仮想空間の画像を、前記位置姿勢に応じて生成する生成手段と、
   前記生成手段が生成した仮想空間の画像を出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記計算手段は、
   前記視点の位置姿勢を計測するための複数の光学式センサのそれぞれの視体積が重なる領域を前記範囲として求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記配置手段は、
   前記仮想物体を包含するバウンディングボックスの底面を、前記範囲を包含する領域の中心位置を床面に投影した位置に配置することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記配置手段は更に、配置した仮想物体の位置を、他の仮想物体と重ならないように変更することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 視点の位置姿勢の計測可能な範囲を求める計算手段と、
   仮想物体を前記範囲と規定の位置関係にある位置に配置する配置手段と、
   前記配置手段が配置した仮想物体を含む仮想空間の画像を、前記位置姿勢に応じて生成する生成手段と、
   前記生成手段が生成した仮想空間の画像を出力する出力手段と
   を備えることを特徴とする画像処理装置。
6. 更に、
   前記視点からの現実空間の画像を取得する手段を備え、
   前記出力手段は、前記仮想空間の画像を前記現実空間の画像と合成してから出力する
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の計算手段が、視点の位置姿勢の計測可能な範囲を求める計算工程と、
   前記画像処理装置の配置手段が、仮想物体を前記範囲内に配置する配置工程と、
   前記画像処理装置の生成手段が、前記配置工程で配置した仮想物体を含む仮想空間の画像を、前記位置姿勢に応じて生成する生成工程と、
   前記画像処理装置の出力手段が、前記生成工程で生成した仮想空間の画像を出力する出力工程と
   を備えることを特徴とする画像処理方法。
8. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の計算手段が、視点の位置姿勢の計測可能な範囲を求める計算工程と、
   前記画像処理装置の配置手段が、仮想物体を前記範囲と規定の位置関係にある位置に配置する配置工程と、
   前記画像処理装置の生成手段が、前記配置工程で配置した仮想物体を含む仮想空間の画像を、前記位置姿勢に応じて生成する生成工程と、
   前記画像処理装置の出力手段が、前記生成工程で生成した仮想空間の画像を出力する出力工程と
   を備えることを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images