JP2008217119A - システム、画像処理装置、画像処理方法 - Google Patents
システム、画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP2008217119A JP2008217119A JP2007050199A JP2007050199A JP2008217119A JP 2008217119 A JP2008217119 A JP 2008217119A JP 2007050199 A JP2007050199 A JP 2007050199A JP 2007050199 A JP2007050199 A JP 2007050199A JP 2008217119 A JP2008217119 A JP 2008217119A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- virtual space
- processing apparatus
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】 ユーザが仮想空間中の物体を操作することで行う作業を、この仮想空間を観察する他のユーザが、この作業を観察可能にさせるための技術を提供すること。
【解決手段】 観察者の視点の位置を頂点とし、この視点の姿勢が示す方向に延長する錐体領域を示す錐体領域情報を生成し(S404)、他コンピュータに送信する(S405)。他コンピュータは、仮想空間中の仮想物体において、錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する(S455)。そして、全体像若しくは一部分の透明度を制御するとともに、全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成する(S456〜S458)。
【選択図】 図4
【解決手段】 観察者の視点の位置を頂点とし、この視点の姿勢が示す方向に延長する錐体領域を示す錐体領域情報を生成し(S404)、他コンピュータに送信する(S405)。他コンピュータは、仮想空間中の仮想物体において、錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する(S455)。そして、全体像若しくは一部分の透明度を制御するとともに、全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成する(S456〜S458)。
【選択図】 図4
Description
本発明は、仮想空間画像を、現実空間に重畳させてユーザに提示するための技術に関するものである。
従来から、設計・製造分野において、設計の精度向上・高速化のために計算機システム上での設計・試作業務が行われてきている。
その手順として先ず、3次元CADシステム上で基本設計を行い、その3次元CAD設計データをもとにラピッド・プロトタイピングの手法やアルミ部材・発泡樹脂素材を用いて簡易試作品(モックアップ)や実際の試作品を作成する。そして、この実物モデル(試作品)を元にデザインレビューを行い、3次元CADシステムで設計された製品の操作性・メンテナンス性・組み立て性を検証し、設計の精度を向上させる試みを行っている。しかし、モックアップ等、実物モデルを実際に作成するデザインレビューは、以下のような問題を含む、多くの問題が指摘されている。
・ 作成期間がかかり、最新の情報に対応できない
・ 試作に費用がかかるため頻繁な更新は不可能
それに対処する為に近年では、設計業務の流れで試作の回数をゼロ、若しくは極力減少させる試作レスの試みがなされている。係る試みの1つとして、実物モデルで行う検証作業を全て仮想空間上で行う仮想モックアップ・レビュー(Digital Mockup Revue:DMR)が積極的に行われている。
・ 試作に費用がかかるため頻繁な更新は不可能
それに対処する為に近年では、設計業務の流れで試作の回数をゼロ、若しくは極力減少させる試作レスの試みがなされている。係る試みの1つとして、実物モデルで行う検証作業を全て仮想空間上で行う仮想モックアップ・レビュー(Digital Mockup Revue:DMR)が積極的に行われている。
試作の回数を減らすことにより、試作物の作成数が製品の開発費に占める割合を減らし、単品の開発品や少量多種生産の製品などで試作物を何度も製作することができない状況下でも製品の質を落とさない製品開発を行うことができる。更に、試作期間を短くすることで早い製品開発サイクルに対応できる設計業務を行うことが可能となる。そのためには現実のモックアップで行うことのできる組み立て手順、メンテナンス、配線作業などのエルゴノミクス検証作業をすべて仮想空間上のDMRで行うことが要求される。
仮想空間上でDMRを行うことにより、以下のような利点が挙げられる。
・ 常に最新のデータでデザインレビューを行うことが可能
・ 仮想空間上に試作品があるため、試作品製作にかかる費用は無料
・ 実物の試作品では実行不可能なデザインレビューが可能
→ 表示/非表示の切り替え
→ 一部分のみについて複数案を切替
→ 解析手法を用いて計算した仮想的なデータを重畳
→ 重さが存在しないので部品の移動・削除が容易
このように、ヴァーチャルリアリティ(Virtual Reality:VR)技術を利用し、体験者が仮想空間に没入し原寸大でDMRを体験するシステムが存在する。また、複数の体験者が仮想空間を共有することは、特許文献1に開示されている。
特開2005−049996号公報
・ 仮想空間上に試作品があるため、試作品製作にかかる費用は無料
・ 実物の試作品では実行不可能なデザインレビューが可能
→ 表示/非表示の切り替え
→ 一部分のみについて複数案を切替
→ 解析手法を用いて計算した仮想的なデータを重畳
→ 重さが存在しないので部品の移動・削除が容易
このように、ヴァーチャルリアリティ(Virtual Reality:VR)技術を利用し、体験者が仮想空間に没入し原寸大でDMRを体験するシステムが存在する。また、複数の体験者が仮想空間を共有することは、特許文献1に開示されている。
実物の試作品を用いたエルゴノミクス検証システムにおいて、特に複数人数で体験を行う場合、体験者Aが行うエルゴノミクス検証作業を体験者Bが観察し、それが適正な姿勢・状態で作業が行われているかを確認する、という手順で作業を行うことが望ましい。しかし、実際には複数の物体の隙間などに手を伸ばすような作業において、物体によって体験者Bの視線が遮蔽される問題が発生する。
この問題を解決するために仮想空間上のDMRシステムでは、任意の物体の表示/非表示や透明度を切り替えることによって物体に遮蔽された裏側での体験者Aの動作を観察することを可能としている。しかし、検証作業に関わる重要な部品や、作業者の興味領域までもが非表示もしくは透明になってしまう危険性がある。そのため、体験者Aの作業性検証に必要なデータの可視化状態の確保と、体験者Bの視界の確保を同時に保つことが困難となり、エルゴノミクス検証作業を快適に行うことが大きく阻害されてきた。
本発明は以上の問題に鑑みてなされたものであり、ユーザが仮想空間中の物体を操作することで行う作業を、この仮想空間を観察する他のユーザが、この作業を観察可能にさせるための技術を提供することを目的とする。
本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を備える。
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムであって、
前記システムにおける第1の画像処理装置は、
前記第1の画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を生成する第1手段と、
前記錐体領域情報を前記ネットワークを介して、前記第1の画像処理装置とは異なる第2の画像処理装置に送信する第2手段とを備え、
前記第2の画像処理装置は、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する第3手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記第2の画像処理装置が有する前記生成手段を制御する第4手段と
を備えることを特徴とする。
1以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムであって、
前記システムにおける第1の画像処理装置は、
前記第1の画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を生成する第1手段と、
前記錐体領域情報を前記ネットワークを介して、前記第1の画像処理装置とは異なる第2の画像処理装置に送信する第2手段とを備え、
前記第2の画像処理装置は、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する第3手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記第2の画像処理装置が有する前記生成手段を制御する第4手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を備える。
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第1の取得手段と、
前記観察者の手の位置を取得する第2の取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記第1の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムであって、
前記システムにおける第1の画像処理装置は、
前記第1の画像処理装置が有する前記第1の取得手段が取得した位置を頂点とし、当該位置から前記第1の画像処理装置が有する前記第2の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を生成する第1手段と、
前記錐体領域情報を前記ネットワークを介して、前記第1の画像処理装置とは異なる第2の画像処理装置に送信する第2手段とを備え、
前記第2の画像処理装置は、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する第3手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記第2の画像処理装置が有する前記生成手段を制御する第4手段と
を備えることを特徴とする。
前記観察者の手の位置を取得する第2の取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記第1の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムであって、
前記システムにおける第1の画像処理装置は、
前記第1の画像処理装置が有する前記第1の取得手段が取得した位置を頂点とし、当該位置から前記第1の画像処理装置が有する前記第2の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を生成する第1手段と、
前記錐体領域情報を前記ネットワークを介して、前記第1の画像処理装置とは異なる第2の画像処理装置に送信する第2手段とを備え、
前記第2の画像処理装置は、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する第3手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記第2の画像処理装置が有する前記生成手段を制御する第4手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置であって、
他画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信手段と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御手段と
を備えることを特徴とする。
1以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置であって、
他画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信手段と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第1の取得手段と、
前記観察者の手の位置を取得する第2の取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記第1の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置であって、
他画像処理装置が有する前記第1の取得手段が取得した位置を頂点とし、当該位置から前記他画像処理装置が有する前記第2の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信手段と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御手段と
を備えることを特徴とする。
前記観察者の手の位置を取得する第2の取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記第1の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置であって、
他画像処理装置が有する前記第1の取得手段が取得した位置を頂点とし、当該位置から前記他画像処理装置が有する前記第2の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信手段と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置が行う画像処理方法であって、
他画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信工程と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定工程と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御工程と
を備えることを特徴とする。
1以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置が行う画像処理方法であって、
他画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信工程と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定工程と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第1の取得手段と、
前記観察者の手の位置を取得する第2の取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記第1の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置が行う画像処理方法であって、
他画像処理装置が有する前記第1の取得手段が取得した位置を頂点とし、当該位置から前記他画像処理装置が有する前記第2の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信工程と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定工程と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御工程と
を備えることを特徴とする。
前記観察者の手の位置を取得する第2の取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記第1の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置が行う画像処理方法であって、
他画像処理装置が有する前記第1の取得手段が取得した位置を頂点とし、当該位置から前記他画像処理装置が有する前記第2の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信工程と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定工程と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御工程と
を備えることを特徴とする。
本発明の構成により、ユーザが観察する仮想空間中の物体を、この仮想空間を観察する他のユーザが、他の仮想物体により遮蔽されることなく観察可能にさせることができる。
以下、添付図面を参照し、本発明を好適な実施形態に従って詳細に説明する。
[第1の実施形態]
図1は、現実空間に仮想空間を重畳させた複合現実空間を観察者(ユーザ)に提供する為の複合現実感提示システムの外観を示す図である。
図1は、現実空間に仮想空間を重畳させた複合現実空間を観察者(ユーザ)に提供する為の複合現実感提示システムの外観を示す図である。
同図において200はトランスミッタで、磁場を発生させる。100は観察者の頭部に装着し、現実空間と仮想空間とを合成した結果を観察者の眼前に提供する為の頭部装着型表示装置(以下、HMD:Head Mounted Displayと呼称する)である。HMD100は、カメラ102R、102L、表示装置101R、101L、磁気レシーバ201により構成されている。
カメラ102R、102LはそれぞれHMD100を頭部に装着した観察者の右目、左目の位置から見える現実空間の動画像を撮像するものであり、撮像した各フレームの画像は後段のコンピュータ400に出力される。以下、カメラ102R、102Lに共通の説明ではこれらをまとめて「カメラ102」と呼称する場合がある。
表示装置101R、101Lはそれぞれ、観察者がHMD100を頭部に装着したときに右目、左目の眼前に位置するようにHMD100に装着されたものであり、後段のコンピュータ400から出力された画像信号に基づいた画像を表示する。従って観察者の右目、左目の眼前にはコンピュータ400が生成した画像が提供されることになる。以下、表示装置101R、101Lに共通の説明ではこれらをまとめて「表示装置101」と呼称する場合がある。
磁気レシーバ201は、上記トランスミッタ200が発する磁場の変化を検知し、検知した結果の信号を後段の位置姿勢計測装置205に出力するものである。検知した結果の信号は、トランスミッタ200の位置を原点とし、この原点で互いに直交する3軸をそれぞれx、y、z軸とする座標系(センサ座標系)において、磁気レシーバ201の位置姿勢に応じて検知される磁場の変化を示す信号である。
位置姿勢計測装置205は、この信号に基づいて、センサ座標系における磁気レシーバ201の位置姿勢を求め、求めた位置姿勢を示すデータを後段のコンピュータ400に出力する。
磁気レシーバ202は、観察者が手に保持してその位置や姿勢を変更することが可能なものである。磁気レシーバ202は上記磁気レシーバ201と同様のものであり、自身の位置姿勢に応じて検知される磁場の変化を示す信号を位置姿勢計測装置205に出力する。
位置姿勢計測装置205は、この信号に基づいて、センサ座標系における磁気レシーバ202の位置姿勢を求め、求めた位置姿勢を示すデータを後段のコンピュータ400に出力する。
400は画像処理装置としてのコンピュータで、HMD100の表示装置101R、101Lに出力すべき画像信号を生成したり、位置姿勢計測装置205からのデータを受け、これを管理したり等の処理を行う。このコンピュータは一般的には例えばPC(パーソナルコンピュータ)やWS(ワークステーション)等により構成される。図6は、コンピュータ400のハードウェア構成を示す図である。
1001はCPUである。CPU1001は、RAM1002やROM1003に格納されているコンピュータプログラムやデータを用いてコンピュータ400全体の制御を行うと共に、I/F(インターフェース)1007、1008に接続される外部装置とのデータ通信の制御を行う。また、コンピュータ400が行う後述の各処理を実行する。
1002はRAMで、外部記憶装置1005からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリア、I/F1007、1008を介して外部から受信したデータを一時的に記憶するためのエリアを有する。更にRAM1002は、CPU1001が各種の処理を実行する際に必要なワークエリアを有する。即ち、RAM1002は、各種のエリアを適宜提供することができる。
1003はROMで、ブートプログラムやコンピュータ400の設定データなどを格納する。
1004は操作部で、キーボードやマウス、ジョイスティックなどにより構成されており、コンピュータ400の操作者が操作することで、各種の指示をCPU1001に対して入力することができる。
1005は外部記憶装置で、ハードディスクドライブ装置に代表される大容量情報記憶装置として機能するものである。ここには、OS(オペレーティングシステム)や、コンピュータ400が行う後述の各処理をCPU1001に実行させるためのコンピュータプログラムやデータ等が保存されている。外部記憶装置1005に保存されているコンピュータプログラムやデータは、CPU1001の制御により適宜、RAM1002にロードされる。また、後述の説明で、既知のデータ(情報)として説明するもの(もしくは以下説明する処理で必要となるべきデータ)もまたこの外部記憶装置1005に保存されており、必要に応じてCPU1001による制御により、適宜RAM1002にロードされる。
1006は表示部で、CRTや液晶画面等により構成されており、CPU1001による処理結果を画像や文字等でもって表示する。
1007はI/Fで、ここには上記位置姿勢計測装置205、カメラ102、表示装置101等が接続されている。従って、コンピュータ400はこのI/F1007を介して、位置姿勢計測装置205、カメラ102、表示装置101等とのデータ通信を行うことができる。
1008は、コンピュータ400を後述するネットワークに接続するためのI/Fである。従ってコンピュータ400はこのI/F1008を介して、ネットワークに接続されている各機器とのデータ通信を行うことができる。
1009は上述の各部を繋ぐバスである。
以上の構成を備えるコンピュータ400は、カメラ102R、102Lのそれぞれから得られる現実空間の画像を取り込むと共に、後述の各処理によって仮想空間中に1以上の仮想物体を配置する。そして、磁気レシーバ201から得られる位置姿勢に基づいて、観察者の視点(本実施形態ではカメラ102の位置)を求め、配置した仮想物体を含む仮想空間をカメラ102R、102Lから見た場合に見える画像(仮想空間の画像)を生成する。そして、生成した画像を、先に取り込んだ現実空間の画像上に重畳させ、重畳させた画像を表示装置101R、101Lに出力する。これにより、HMD100を頭部に装着した観察者の右目、左目の眼前には、それぞれの目の位置姿勢に対応した複合現実空間の画像が表示されることになる。
図2は、このコンピュータ400の機能構成を示す図である。本実施形態では、同図に示した各部はソフトウェアでもって構成されたものとして説明する。なお、ソフトウェアの実行処理はCPU1001によりなされるものである。しかし、図2に示した各部の一部、もしくは全部をハードウェアでもって構成するようにしても良い。
401R、401Lは映像キャプチャ部であり、それぞれカメラ102R、102Lより入力した画像をディジタル信号として取り込む。
404は位置姿勢情報入力部であり、位置姿勢計測装置205から出力されたデータを取り込む。このデータは即ち、磁気レシーバ201のセンサ座標系における位置姿勢を示すデータ、磁気レシーバ202のセンサ座標系における位置姿勢を示すデータである。
406は、3DCG描画データで、仮想物体の画像を生成するためのデータである。3DCG描画データには、仮想物体の配置位置、仮想物体の幾何学形状や色を示すデータ、テクスチャデータなどが含まれる。
405は位置姿勢算出部である。位置姿勢算出部405は、位置姿勢情報入力部404から入力される磁気レシーバ201のセンサ座標系における位置姿勢を示すデータを用いて、センサ座標系におけるカメラ102R,102Lの位置姿勢を求める。係る処理は一般的な処理である。
例えば、予め磁気レシーバ201とカメラ102Rとの位置姿勢関係、磁気レシーバ201とカメラ102Lとの位置姿勢関係をそれぞれバイアス1,2として計測しておく。そして、バイアス1,2のデータを位置姿勢算出部405が扱えるように、例えば、外部記憶装置1005に登録しておく。位置姿勢算出部405は、磁気レシーバ201のセンサ座標系における位置姿勢を示すデータを受けると、これにバイアス1のデータを加算することで、センサ座標系におけるカメラ102Rの位置姿勢を求めることができる。同様に、位置姿勢算出部405は、磁気レシーバ201のセンサ座標系における位置姿勢を示すデータを受けると、これにバイアス2のデータを加算することで、センサ座標系におけるカメラ102Lの位置姿勢を求めることができる。
このようにして、位置姿勢算出部405は、視点の位置姿勢として、カメラ102R、102Lのセンサ座標系における位置姿勢を求めることができる。
407はCGレンダリング部で、先ず、後述の処理に従って1以上の仮想物体を仮想空間中に配置する。そして、カメラ102R、102Lの位置姿勢に応じて見える仮想空間の画像(配置した1以上の仮想物体を含む仮想空間の画像)を生成する。なお、所定の位置姿勢を有する視点から見える仮想空間の画像を生成する処理については周知の技術であるので、これに関する詳細な説明は省略する。また、以下では、カメラ102R、102Lを総称して「視点」と呼称する場合がある。
402R、402Lは映像合成部である。映像合成部402Rは、映像キャプチャ部401Rから入力した現実空間の画像上に、CGレンダリング部407が生成したカメラ102Rの位置姿勢に応じて見える仮想空間の画像を重畳させ、映像生成部403Rに出力する。映像合成部402Lも同様に、映像キャプチャ部401Lから入力した現実空間の画像上に、CGレンダリング部407が生成したカメラ102Lの位置姿勢に応じて見える仮想空間の画像を重畳させ、映像生成部403Lに出力する。これにより、カメラ102Rの位置姿勢に応じて見える複合現実空間の画像、カメラ102Lの位置姿勢に応じて見える複合現実空間の画像を生成することができる。
映像生成部403R、403Lはそれぞれ、映像合成部402R、402Lから出力された複合現実空間の画像をアナログ信号に変換し、それぞれ表示装置101R、101Lに映像信号として出力する。これにより、HMD100を頭部に装着した観察者の右目、左目の眼前には、それぞれの目に対応した複合現実空間の画像が表示される。
本実施形態では、図1に示した複合現実感提示システムを観察者の人数分用意し、それぞれのシステムにおけるコンピュータ400が、LANやインターネットなどのネットワークに接続されているネットワークシステムを用いる。これにより、複数人の観察者がそれぞれ、同じ複合現実空間を体感することができると共に、一方の観察者の作業内容を、他方の観察者が観察することができる。
なお、同じ複合現実空間を複数の観察者で共有して体験するためのシステムの構成については従来から様々な形態が提案されており、本実施形態は、特定のシステム構成に限定するものではない。以下では、そのシステムの構成の一例として、図1に示したシステムが観察者の人数分だけ用意されており、それぞれのシステムにおけるコンピュータ400が、LANやインターネットなどのネットワークに接続されているネットワークシステムを用いる。
図3は、仮想物体511、仮想物体512が配されている複合現実空間を観察者501と観察者502とが共有して観察している様子を示す図である。なお上述の通り、観察者501、502のそれぞれが同じ複合現実空間を体感するために、上記複合現実感提示システムがそれぞれの観察者(501,502)に対して設けられている。そして、それぞれの複合現実感提示システムにおけるコンピュータ400は、ネットワークに接続されているものとして説明する。
観察者501は手501bに磁気レシーバ202を保持しており、自身の腕501aや手501bの位置を移動させると、手501bの位置姿勢は磁気レシーバ202によって計測される。従って、コンピュータ400は、複合現実空間中における手501bの位置姿勢を得ることができるので、例えば、手501bでもってねじ締めなどの動作を行うと、仮想物体511や仮想物体512に対してねじ締め結果を反映させることもできる。
ここで、仮想物体511と仮想物体512との間の空間の広さが、観察者501が手501bを入れて作業を行うのに十分であるのかを検証すべく、観察者501が手501bをこの空間に入れる場合について説明する。そして係る検証は、観察者502に対しても提示するものとする。
観察者501は係る検証を行うべく、図3に示す如く、手501bを仮想物体511と仮想物体512との間に入れるのであるが、その際、観察者501の視線570は自身の手501bの周辺に向いている。係る視線570の向きは、位置姿勢算出部405が算出した視点の姿勢に相当する。571a、572bはそれぞれ、観察者501の視界の範囲を示している。従って、観察者501には、仮想物体511と仮想物体512との間の空間は見えていることになる。しかし、観察者502は係る空間を観察しようとしても、係る空間は仮想物体512が遮蔽していることになり、観察することはできない。
これでは、観察者501が操作している様子、より詳しくは、手501bの周辺の空間を観察者502に提示することができない。そこで本実施形態では、観察者501が注視しているであろう空間(注視空間)以外については透過させる表示形態でもって観察者502に提示し、注視空間内がよく見えるように、観察者502に提示する。以下、係る提示を行うために、観察者501の為に設けられた複合現実感提示システム(以下、複合現実感提示システム1)と、観察者502の為に設けられた複合現実感提示システム(以下、複合現実感提示システム2)とが行う処理について説明する。
尚、複合現実感提示システム1中のコンピュータ400と複合現実感提示システム2中のコンピュータ400とは同じ構成ではあるものの、説明上区別するために、前者をコンピュータ400−1、後者をコンピュータ400−2(他画像処理装置)と呼称する。
図4は、コンピュータ400−1とコンピュータ400−2とが行う処理のフローチャートである。
なお、コンピュータ400−1が行う処理(ステップS401〜S409)をコンピュータ400−1のCPU1001に実行させるためのコンピュータプログラムやデータは、コンピュータ400−1の外部記憶装置1005に保存されている。そして、係るコンピュータプログラムやデータは、コンピュータ400−1のCPU1001による制御に従って、適宜、コンピュータ400−1のRAM1002にロードされる。そしてコンピュータ400−1のCPU1001がこのロードされたコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ400−1はステップS401〜S409の処理を実行することになる。
また、コンピュータ400−2が行う処理(ステップS451〜S461)をコンピュータ400−2のCPU1001に実行させるためのコンピュータプログラムやデータは、コンピュータ400−2の外部記憶装置1005に保存されている。そして、係るコンピュータプログラムやデータは、コンピュータ400−2のCPU1001による制御に従って、適宜、コンピュータ400−2のRAM1002にロードされる。そしてコンピュータ400−2のCPU1001がこのロードされたコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ400−2はステップS451〜S461の処理を実行することになる。
先ずステップS401では、複合現実感提示システム1内のカメラ102から送出された1フレーム分の画像を、現実空間画像としてI/F1007を介してRAM1002に取得する。
次にステップS402では、複合現実感提示システム1内の位置姿勢計測装置205から送出されたデータをI/F1007を介してRAM1002に取得する。
次にステップS403では、ステップS402で取得したデータに基づいて、位置姿勢算出部405が行うものとして上述した処理を行い、カメラ102の位置姿勢(複合現実感提示システム1を使用している観察者の視点の位置姿勢)を求める。
次にステップS404では、ステップS403で求めた視点の位置を頂点とし、係る頂点から、ステップS403で求めた視点の姿勢に基づく視線方向に延長する錐体領域を示す錐体領域情報を生成する。ここで、錐体領域情報について説明する。
図7は、錐体領域を示す図である。同図において701はステップS403で求めた視点の位置を示す。係る視点の位置としては、観察者の右目、左目の両方が考えられるが、ここでは説明を簡単にするために、一方の目だけについて説明する。
702は、ステップS403で求めた視点の姿勢成分によって規定される視線ベクトル(視軸)であり、図3に示した上記視線570に相当するものである。750は、錐体領域である。同図では錐体領域として円錐状の錐体の領域を示しているが、円錐に限定するものではない。錐体領域750は上述の通り、頂点を視点の位置701にとり、視線ベクトル702に沿って延長したものである。また、視線ベクトル702の方向に対する錐体領域の長さは十分に長いものであるとする。
また、760は、カメラ102の画角に応じて決めれば良い。本実施形態では760が示す角度は、カメラ102の画角に一致させる。
従って、このような錐体領域を示す錐体領域情報を生成する際、この錐体領域情報には、視点の位置を示す情報、カメラ102の画角を示す情報、視線ベクトルを示す情報、が含まれているものとする。なお、錐体領域情報には、錐体領域を規定することができるのであれば、如何なる情報を含めても良い。
図4に戻って、次にステップS405は、このようにして生成した錐体領域情報をI/F1008を介して、コンピュータ400−2に対して送信する。コンピュータ400−2側で行う処理については後述する。
次にステップS406では先ず、予め定められた位置姿勢、若しくは仮想空間に対する様々な操作によって決まる位置姿勢でもって、各仮想物体を仮想空間中に配置する。そして係る仮想空間を、ステップS403で求めた位置姿勢を有する視点から見た場合に見える画像を仮想空間画像として生成する。
次にステップS407では、上記ステップS401でRAM1002に取得した現実空間画像上に、ステップS406で生成した仮想空間画像を合成することで、複合現実空間の画像(合成画像)を生成する。なお、複合現実空間の画像を生成するための処理については様々な処理が従来から提案されており、本実施形態では、如何なる処理でもって複合現実空間の画像を生成しても良い。
そしてステップS408では、このようにして生成した合成画像のデータをI/F1007を介して複合現実感提示システム1中の表示装置101に対して送信する。これにより、複合現実感提示システム1を利用している観察者(観察者A)の眼前には、ステップS407で生成した合成画像が提示されることになる。
次に、ステップS409では、操作部1004を介して本処理を終了させる指示が入力されたか否か、本処理を終了する条件が満たされたか否かを判断する。係る判断の結果、操作部1004を介して本処理を終了させる指示が入力された、若しくは本処理を終了する条件が満たされた場合には本処理を終了させる。一方、操作部1004を介して本処理を終了させる指示は入力されていないし、本処理を終了する条件も満たされていない場合には、処理をステップS401に戻し、次のフレームについて以降の処理を繰り返す。
次に、複合現実感提示システム2中のコンピュータ400−2が行う処理について説明する。
先ずステップS451では、複合現実感提示システム2内のカメラ102から送出された1フレーム分の画像を、現実空間画像としてI/F1007を介してRAM1002に取得する。
次にステップS452では、複合現実感提示システム2内の位置姿勢計測装置205から送出されたデータをI/F1007を介してRAM1002に取得する。
次にステップS453では、ステップS452で取得したデータに基づいて、位置姿勢算出部405が行うものとして上述した処理を行い、カメラ102の位置姿勢(複合現実感提示システム2を使用している観察者(観察者B)の視点の位置姿勢)を求める。
次にステップS454では、上記ステップS405で送信された錐体領域情報をI/F1008を介してRAM1002に取得する。
次にステップS455では先ず、予め定められた位置姿勢、若しくは仮想空間に対する様々な操作によって決まる位置姿勢でもって、各仮想物体を仮想空間中に配置する。係る仮想空間の構成は、何れの観察者に対しても共通である。次に、係る仮想空間中に、ステップS454で受信した錐体領域情報が示す錐体領域を設定した場合に、錐体領域内に含まれる仮想物体(全体像若しくは一部分)を特定する。
錐体領域内に含まれている仮想物体を特定する際、どの単位で特定するのかについては様々なものが考えられる。例えば、車や机など、複数のパーツから成る仮想物体であったとしても、それ1つをオブジェクトとして見なせる場合にはオブジェクト単位で特定しても良いし、パーツ単位であっても良い。また、仮想物体がポリゴンで構成されている場合には、ポリゴン単位でもって特定するようにしてもよい。
また、錐体領域内に含まれているオブジェクト、パーツ、ポリゴンなどを特定するための処理については周知であるので、これについての説明は省略する。
次に、ステップS456では、錐体領域の外部に存在する仮想物体(ステップS455で特定されなかった仮想物体)、即ち、上記全体像若しくは一部分以外については、透明で描画すべく、この仮想物体に対するアルファ値を制御し、最高透明度を設定する。なお、透視可能な透明度であれば、完全な透明でなくても良い。仮想物体の一部若しくは全体像について任意の透明度を設定する技術については周知であるので、係る技術についての説明は省略する。
次にステップS457では、ステップS455で特定した領域内において、ステップS453で求めた視点の姿勢に基づく視軸に近いほど透明度を低くし、視軸から遠いほど透明度を高くするよう、アルファ値を設定する。例えば、仮想物体がポリゴンでもって構成されている場合、ステップS455で特定した領域内のポリゴン群のうち、視軸に近いポリゴンについてはその透明度を下げ、視軸から遠いポリゴンについてはその透明度を上げる。視軸との距離に応じてどの程度透明度を上げ下げするのかについては特に限定するものではなく、例えば、観察者毎に、自身が使用しているコンピュータでもって各自が設定すればよい。
次にステップS458では、ステップS456,S457でアルファ値が設定された各仮想物体が配置された仮想空間を、ステップS453で求めた位置姿勢を有する視点から見た場合に見える画像を仮想空間画像として生成する。
次にステップS459では、上記ステップS451でRAM1002に取得した現実空間画像上に、ステップS458で生成した仮想空間画像を合成することで、複合現実空間の画像(合成画像)を生成する。なお、複合現実空間の画像を生成するための処理については様々な処理が従来から提案されており、本実施形態では、如何なる処理でもって複合現実空間の画像を生成しても良い。
そしてステップS460では、このようにして生成した合成画像のデータをI/F1007を介して複合現実感提示システム2中の表示装置101に対して送信する。これにより、観察者Bの眼前には、ステップS459で生成した合成画像が提示されることになる。
係る合成画像では、観察者Aの視点の位置を頂点とし、この視点の視線方向に延長する錐体領域の外部の仮想物体については透明となっている。従って観察者Bは、観察者Aが注視しているであろう視界内(錐体領域内の仮想物体や、観察者Aの手などが存在するであろう領域)を観察することができる。更には、錐体領域内では、観察者Aの視軸に近いほど透明度が低いので、観察者Aがより注視しているであろう領域を明示的に、観察者Bに提示することができる。
次に、ステップS461では、操作部1004を介して本処理を終了させる指示が入力されたか否か、本処理を終了する条件が満たされたか否かを判断する。係る判断の結果、操作部1004を介して本処理を終了させる指示が入力された、若しくは本処理を終了する条件が満たされた場合には本処理を終了させる。一方、操作部1004を介して本処理を終了させる指示は入力されていないし、本処理を終了する条件も満たされていない場合には、処理をステップS451に戻し、次のフレームについて以降の処理を繰り返す。
[第2の実施形態]
第1の実施形態では、錐体領域は、ステップS403で求めた視点の位置を頂点とし、係る頂点から、ステップS403で求めた視点の姿勢に基づく視線方向に延長したものであった。しかし、錐体領域の設定はこれ以外にも考えられる。
第1の実施形態では、錐体領域は、ステップS403で求めた視点の位置を頂点とし、係る頂点から、ステップS403で求めた視点の姿勢に基づく視線方向に延長したものであった。しかし、錐体領域の設定はこれ以外にも考えられる。
本実施形態では、ステップS403で求めた視点の位置を頂点とし、係る頂点から手501bの位置に延長する方向に錐体領域を設定する。手501bには磁気レシーバ202が握られているので、手501bの位置は計測することができる。
図5は、図3に示した状況において、第1の実施形態とは異なる方法でもって錐体領域を設定する状況を説明する図である。同図において599は、視点の位置と手501bの位置とを通る直線を示している。
なお、本実施形態と第1の実施形態とは、錐体領域情報が示す錐体領域が異なるのみで、それ以外については第1の実施形態と同様に処理を行えばよい。なお、第1の実施形態では視軸として用いていたものを、本実施形態では視点の位置と手501bの位置とを通る直線ベクトル(直線599)を用いる。
なお、第1,2の実施形態では、HMD100としてビデオシースルー型のものを用いているが、光学シースルー型のものを用いても良い。この場合、上記実施形態において画角として用いるものには、適当な値を設定すればよい。
また、第1,2の実施形態では、錐体領域情報を受信する側の装置を1台として説明したが、受信する側が複数台であったとしても、個々の受信側で行う処理は同じである。しかし、上述したように、錐体領域内の仮想空間に対して、透明度をどのように変化させるのかについては、個々の受信側で設定するようにしても良い。
また、第1,2の実施形態では、センサとして磁気センサを用いているが、位置姿勢計測を可能にする技術であれば、如何なるセンサを用いても良いし、撮像画像を用いて位置姿勢を計測する周知の技術を用いても良い。
[その他の実施形態]
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
Claims (12)
- 頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムであって、
前記システムにおける第1の画像処理装置は、
前記第1の画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を生成する第1手段と、
前記錐体領域情報を前記ネットワークを介して、前記第1の画像処理装置とは異なる第2の画像処理装置に送信する第2手段とを備え、
前記第2の画像処理装置は、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する第3手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記第2の画像処理装置が有する前記生成手段を制御する第4手段と
を備えることを特徴とするシステム。 - 前記錐体領域情報には、前記視点の位置を示す情報、前記視点の姿勢を示す情報、前記視点からの画角を示す情報が含まれていることを特徴とする請求項1に記載のシステム。
- 前記第4手段は、前記錐体領域情報に含まれている姿勢を示す情報を参照し、前記全体像若しくは一部分において、当該参照した情報に基づく視軸に近い領域ほど透明度を下げ、遠いほど透明度を上げることを特徴とする請求項2に記載のシステム。
- 頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第1の取得手段と、
前記観察者の手の位置を取得する第2の取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記第1の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムであって、
前記システムにおける第1の画像処理装置は、
前記第1の画像処理装置が有する前記第1の取得手段が取得した位置を頂点とし、当該位置から前記第1の画像処理装置が有する前記第2の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を生成する第1手段と、
前記錐体領域情報を前記ネットワークを介して、前記第1の画像処理装置とは異なる第2の画像処理装置に送信する第2手段とを備え、
前記第2の画像処理装置は、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する第3手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記第2の画像処理装置が有する前記生成手段を制御する第4手段と
を備えることを特徴とするシステム。 - 前記錐体領域情報には、前記視点の位置を示す情報、前記視点の位置と前記手の位置とを通る直線の姿勢を示す情報、前記視点からの画角を示す情報が含まれていることを特徴とする請求項4に記載のシステム。
- 前記第4手段は、前記錐体領域情報に含まれている前記直線の姿勢を示す情報を参照し、前記全体像若しくは一部分において、当該参照した情報に基づく軸に近い領域ほど透明度を下げ、遠いほど透明度を上げることを特徴とする請求項5に記載のシステム。
- 頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置であって、
他画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信手段と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御手段と
を備えることを特徴とする画像処理装置。 - 頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第1の取得手段と、
前記観察者の手の位置を取得する第2の取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記第1の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置であって、
他画像処理装置が有する前記第1の取得手段が取得した位置を頂点とし、当該位置から前記他画像処理装置が有する前記第2の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信手段と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御手段と
を備えることを特徴とする画像処理装置。 - 頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置が行う画像処理方法であって、
他画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信工程と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定工程と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御工程と
を備えることを特徴とする画像処理方法。 - 頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第1の取得手段と、
前記観察者の手の位置姿勢を取得する第2の取得手段と、
1以上の仮想物体が配置されている仮想空間を、前記第1の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置が行う画像処理方法であって、
他画像処理装置が有する前記第1の取得手段が取得した位置を頂点とし、当該位置から前記他画像処理装置が有する前記第2の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信工程と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定工程と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御工程と
を備えることを特徴とする画像処理方法。 - コンピュータに請求項9又は10に記載の画像処理方法を実行させるためのコンピュータプログラム。
- 請求項11に記載のコンピュータプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007050199A JP2008217119A (ja) | 2007-02-28 | 2007-02-28 | システム、画像処理装置、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007050199A JP2008217119A (ja) | 2007-02-28 | 2007-02-28 | システム、画像処理装置、画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008217119A true JP2008217119A (ja) | 2008-09-18 |
Family
ID=39837130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007050199A Withdrawn JP2008217119A (ja) | 2007-02-28 | 2007-02-28 | システム、画像処理装置、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008217119A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014526157A (ja) * | 2011-06-23 | 2014-10-02 | マイクロソフト コーポレーション | ヘッドマウントディスプレイの全視野の分類 |
JP6112689B1 (ja) * | 2016-02-17 | 2017-04-12 | 株式会社菊池製作所 | 重畳画像表示システム |
JP2017078891A (ja) * | 2015-10-19 | 2017-04-27 | 株式会社コロプラ | 画像生成装置、画像生成方法、及び画像生成プログラム |
CN112214910A (zh) * | 2020-10-30 | 2021-01-12 | 株洲中车时代电气股份有限公司 | 操纵台的验证方法、装置、电子设备及存储介质 |
CN113495658A (zh) * | 2020-03-20 | 2021-10-12 | 京东方科技集团股份有限公司 | Svg图形的交互展示方法、终端设备、计算机设备及介质 |
-
2007
- 2007-02-28 JP JP2007050199A patent/JP2008217119A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014526157A (ja) * | 2011-06-23 | 2014-10-02 | マイクロソフト コーポレーション | ヘッドマウントディスプレイの全視野の分類 |
JP2017078891A (ja) * | 2015-10-19 | 2017-04-27 | 株式会社コロプラ | 画像生成装置、画像生成方法、及び画像生成プログラム |
WO2017069075A1 (ja) * | 2015-10-19 | 2017-04-27 | 株式会社コロプラ | 画像生成装置、画像生成方法、および画像生成プログラムを格納した一時的でない記録媒体 |
US10496158B2 (en) | 2015-10-19 | 2019-12-03 | Colopl, Inc. | Image generation device, image generation method and non-transitory recording medium storing image generation program |
JP6112689B1 (ja) * | 2016-02-17 | 2017-04-12 | 株式会社菊池製作所 | 重畳画像表示システム |
JP2017146758A (ja) * | 2016-02-17 | 2017-08-24 | 株式会社菊池製作所 | 重畳画像表示システム |
CN113495658A (zh) * | 2020-03-20 | 2021-10-12 | 京东方科技集团股份有限公司 | Svg图形的交互展示方法、终端设备、计算机设备及介质 |
CN112214910A (zh) * | 2020-10-30 | 2021-01-12 | 株洲中车时代电气股份有限公司 | 操纵台的验证方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102598116B1 (ko) | 증강 현실 데이터를 레코딩하기 위한 기술 | |
JP7096450B2 (ja) | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 | |
US11410269B2 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same | |
JP7095189B2 (ja) | 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 | |
JP5845211B2 (ja) | 画像処理装置、画像処理方法 | |
JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
US8760470B2 (en) | Mixed reality presentation system | |
JP5709440B2 (ja) | 情報処理装置、情報処理方法 | |
JP2008217119A (ja) | システム、画像処理装置、画像処理方法 | |
US8896631B2 (en) | Hyper parallax transformation matrix based on user eye positions | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
JP2005251118A (ja) | 画像処理方法、画像処理装置 | |
JP2009025919A (ja) | 画像処理装置、画像処理方法 | |
JP2016058043A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2006309459A (ja) | 画像処理方法、画像処理装置 | |
JP6660159B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP2006252059A (ja) | 画像処理方法、画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100511 |