JP2006285609A - 画像処理方法、画像処理装置 - Google Patents
画像処理方法、画像処理装置 Download PDFInfo
- Publication number
- JP2006285609A JP2006285609A JP2005104357A JP2005104357A JP2006285609A JP 2006285609 A JP2006285609 A JP 2006285609A JP 2005104357 A JP2005104357 A JP 2005104357A JP 2005104357 A JP2005104357 A JP 2005104357A JP 2006285609 A JP2006285609 A JP 2006285609A
- Authority
- JP
- Japan
- Prior art keywords
- image
- adjustment
- orientation
- eye
- adjustment value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】 眼間距離の異なる各々の使用者に対して、各使用者に適切な立体感を知覚させる為の技術を提供すること。
【解決手段】 実写画像調整部230は実写画像a、及び/又は実写画像bを調整し、位置姿勢調整部240は、位置姿勢計測値a’、b’を調整し、合成画像調整部260は、実写画像a’上に仮想画像生成部210が生成した仮想空間画像aを合成した合成画像a、実写画像b’上に仮想画像生成部210が生成した仮想空間画像bを合成した合成画像bを調整し、調整した合成画像a’、b’をそれぞれ、表示部120a、120bに出力する。
【選択図】 図3
【解決手段】 実写画像調整部230は実写画像a、及び/又は実写画像bを調整し、位置姿勢調整部240は、位置姿勢計測値a’、b’を調整し、合成画像調整部260は、実写画像a’上に仮想画像生成部210が生成した仮想空間画像aを合成した合成画像a、実写画像b’上に仮想画像生成部210が生成した仮想空間画像bを合成した合成画像bを調整し、調整した合成画像a’、b’をそれぞれ、表示部120a、120bに出力する。
【選択図】 図3
Description
本発明は、現実空間の画像と仮想空間の画像とを合成した画像を生成して観察者に提示するための技術に関するものである。
現実世界と仮想世界とを違和感なく自然に結合する複合現実感(MR: Mixed Reality)の技術を応用した提示装置が盛んに提案されている。これらの複合現実感提示装置は、カメラなどの撮像装置によって撮影した現実世界の画像上に、コンピュータグラフィックス(CG: Computer Graphics)で描画した仮想世界の画像を重畳させることで合成し、これをヘッドマウントディスプレイ(HMD: Head-Mounted Display)などの表示装置に表示することで、複合現実感提示装置の使用者に提示している。
これらの複合現実感提示装置は、現実世界の画像の変化に追従させるかたちで仮想世界の画像を生成するために、装置の使用者の視点位置姿勢をリアルタイムで取得する必要がある。この視点位置姿勢の取得には、6自由度位置姿勢センサ装置が広く用いられている。複合現実感提示装置は、6自由度位置姿勢センサ装置によって計測した使用者の視点位置姿勢を仮想世界での仮想の視点位置姿勢として設定し、CGによって仮想世界の画像を描画して、現実世界の画像と結合する。このことにより、複合現実感提示装置の使用者は、あたかも現実世界の中に仮想の物体が存在しているかのような画像を観察することができる。
図1は、従来の複合現実感提示装置の構成の例を示すブロック図である。
図1において示される複合現実感提示装置は、HMD部100、複合現実感提示部200、位置姿勢計測部300から構成される。
HMD部100は、複合現実感提示装置の使用者が頭部に装着することによって用いられる。HMD部100は、撮像部110および表示部120から構成される。撮像部110は、ビデオカメラなどの撮像装置によって実現され、複合現実感提示装置の使用者の視点から見た実写画像を撮像する。表示部120は、LCDなどの表示装置によって実現され、複合現実感提示部200で生成された合成画像を、複合現実感提示装置の使用者に対して提示する。
複合現実感提示部200は、仮想画像生成部210、画像合成部250から構成される。仮想画像生成部210は、複合現実感提示装置の使用者の視点から観測される仮想世界の画像を生成する。画像合成部250は、実写画像と、仮想画像生成部210で生成された仮想画像とを合成し、表示部120に表示する合成画像を生成する。
位置姿勢計測部300は、6自由度位置姿勢センサ装置などによって実現され、複合現実感提示装置の使用者の視点の位置および姿勢を計測し、複合現実感提示部200に供給する。複合現実感提示部200は、位置姿勢計測部300が計測した位置姿勢を、仮想世界を生成するための視点位置姿勢として設定し、仮想画像を生成する。
図2は、図1で示される複合現実感提示装置が、実写画像上に仮想空間の画像を重畳させた画像を生成してHMD部100に対して出力する為の処理のフローチャートである。
まず、複合現実感提示装置が起動されると、ステップS1010において、撮像部110によって、複合現実感提示装置の使用者が観察する現実世界の画像である実写画像が撮像され、実写画像が複合現実感提示部200に送出される。
次に、ステップS1020では、位置姿勢計測部300によって、複合現実感提示装置の使用者の視点の位置姿勢が計測され、位置姿勢計測値が複合現実感提示部200に送出される。
次に、ステップS1030では、仮想画像生成部210によって、仮想画像が生成される。より具体的には、ステップS1020において計測された位置姿勢計測値を参照し、その位置姿勢を有する視点から見た仮想世界のCGモデルを描画することによって、仮想画像を生成する。
次に、ステップS1040では、ステップS1010で入力された実写画像と、ステップS1030で生成された仮想画像とが画像合成部250によって合成され、合成画像が生成される。
次に、ステップS1050では、ステップS1040で生成された合成画像が表示部120に送出され、表示部120に合成画像が表示される。
そして最後にステップS1060で、処理を中断する指示が入力されない限りは、ステップS1010に戻り、処理を継続する。
複合現実感提示装置の使用者に対して、あたかも現実世界の中に仮想の物体が存在しているかのような感覚を与えるためには、使用者に提示される画像に対して、使用者の視点の動きが即座に反映されていなければならない。そのため、ステップS1020からステップS1060までの1回の処理は、数ミリ秒から数百ミリ秒以内の時間で完了する必要がある。
図1において示される複合現実感提示装置では、以上の手順で処理を行うことによって、複合現実感提示装置の使用者に合成画像、すなわち、複合現実感画像を提示する。
さらに、装着者の右目と左目から観測可能な位置に2つの表示装置を持ち、右目と左目に独立に映像を提示できるHMDと、HMDに固定された2つの撮像装置を用いて、複合現実感を立体的に知覚させるような複合現実感提示装置が提案されている。複合現実感提示装置の使用者の右目視点および左目視点から観測される実写画像に対し、それぞれの視点から観測される仮想画像を重畳し、HMDの表示装置に左右独立の合成画像を表示することにより、より自然な複合現実感を提示することを可能としている。
このような複合現実感提示装置では、使用者の右目と左目に、視差を持つ別々の画像を導き、両眼立体視を可能とするようなHMDが必須となる。両眼立体視が可能な従来のHMDは、使用者に対して表示装置が固定されているものが多く、必ずしも、使用者が左右の表示装置を正視できるとは限らない。本来、人間の眼間距離には個人差があり、使用者の眼間距離と、HMDの表示装置間の距離とが一致しない場合には、使用者は適切な両眼立体視を行うことができず、不自然な立体感を知覚する要因となっていた。
これに対し、使用者の視線を検知し、物理的に表示装置を駆動して、適切な立体感を与えることができるHMD装置が従来から開示されている(特許文献1を参照)。
特開平8−223609号公報
ところが、このHMDは仮想現実感提示装置などの現実世界像を撮像しない用途を対象としたものである。このHMDを複合現実感提示装置に適用するためには、現実世界を撮像する2つの撮像装置をHMDに設置する必要がある。しかも、使用者に適切な立体感を与えるためには、撮像装置の位置についても使用者の目の位置と整合させる必要があるが、その方法についてはこの文献では示されていない。
本発明は、上記の課題に鑑みてなされたものであり、眼間距離の異なる各々の使用者に対して、各使用者に適切な立体感を知覚させる為の技術を提供することを目的とする。
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
即ち、頭部装着型表示装置に備わっている右目用撮像装置、左目用撮像装置からそれぞれ、右目用現実空間画像、左目用現実空間画像を取得する画像取得工程と、
前記右目用現実空間画像、及び/又は前記左目用現実空間画像を調整する画像調整工程と、
前記右目用撮像装置の略光学中心の位置姿勢を示す第1の位置姿勢情報、前記左目用撮像装置の略光学中心の位置姿勢を示す第2の位置姿勢情報を取得する位置姿勢取得工程と、
前記第1の位置姿勢情報、及び/又は前記第2の位置姿勢情報を調整する位置姿勢調整工程と、
前記第1の位置姿勢情報が示す位置姿勢を有する視点から見える右目用仮想空間画像を生成すると共に、前記第2の位置姿勢情報が示す位置姿勢を有する視点から見える左目用仮想空間画像を生成する生成工程と、
前記右目用現実空間画像と前記右目用仮想空間画像とを合成した右目用合成画像を生成すると共に、前記左目用現実空間画像と前記左目用仮想空間画像とを合成した左目用合成画像を生成する合成工程と、
前記右目用合成画像、及び/又は前記左目用合成画像を調整する合成画像調整工程と、
前記右目用合成画像、前記左目用合成画像をそれぞれ、前記頭部装着型表示装置に備わっている右目用表示装置、左目用表示装置に対して出力する出力工程と
を備えることを特徴とする。
前記右目用現実空間画像、及び/又は前記左目用現実空間画像を調整する画像調整工程と、
前記右目用撮像装置の略光学中心の位置姿勢を示す第1の位置姿勢情報、前記左目用撮像装置の略光学中心の位置姿勢を示す第2の位置姿勢情報を取得する位置姿勢取得工程と、
前記第1の位置姿勢情報、及び/又は前記第2の位置姿勢情報を調整する位置姿勢調整工程と、
前記第1の位置姿勢情報が示す位置姿勢を有する視点から見える右目用仮想空間画像を生成すると共に、前記第2の位置姿勢情報が示す位置姿勢を有する視点から見える左目用仮想空間画像を生成する生成工程と、
前記右目用現実空間画像と前記右目用仮想空間画像とを合成した右目用合成画像を生成すると共に、前記左目用現実空間画像と前記左目用仮想空間画像とを合成した左目用合成画像を生成する合成工程と、
前記右目用合成画像、及び/又は前記左目用合成画像を調整する合成画像調整工程と、
前記右目用合成画像、前記左目用合成画像をそれぞれ、前記頭部装着型表示装置に備わっている右目用表示装置、左目用表示装置に対して出力する出力工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、頭部装着型表示装置に備わっている右目用撮像装置、左目用撮像装置からそれぞれ、右目用現実空間画像、左目用現実空間画像を取得する画像取得手段と、
前記右目用現実空間画像、及び/又は前記左目用現実空間画像を調整する画像調整手段と、
前記右目用撮像装置の略光学中心の位置姿勢を示す第1の位置姿勢情報、前記左目用撮像装置の略光学中心の位置姿勢を示す第2の位置姿勢情報を取得する位置姿勢取得手段と、
前記第1の位置姿勢情報、及び/又は前記第2の位置姿勢情報を調整する位置姿勢調整手段と、
前記第1の位置姿勢情報が示す位置姿勢を有する視点から見える右目用仮想空間画像を生成すると共に、前記第2の位置姿勢情報が示す位置姿勢を有する視点から見える左目用仮想空間画像を生成する生成手段と、
前記右目用現実空間画像と前記右目用仮想空間画像とを合成した右目用合成画像を生成すると共に、前記左目用現実空間画像と前記左目用仮想空間画像とを合成した左目用合成画像を生成する合成手段と、
前記右目用合成画像、及び/又は前記左目用合成画像を調整する合成画像調整手段と、
前記右目用合成画像、前記左目用合成画像をそれぞれ、前記頭部装着型表示装置に備わっている右目用表示装置、左目用表示装置に対して出力する出力手段と
を備えることを特徴とする。
前記右目用現実空間画像、及び/又は前記左目用現実空間画像を調整する画像調整手段と、
前記右目用撮像装置の略光学中心の位置姿勢を示す第1の位置姿勢情報、前記左目用撮像装置の略光学中心の位置姿勢を示す第2の位置姿勢情報を取得する位置姿勢取得手段と、
前記第1の位置姿勢情報、及び/又は前記第2の位置姿勢情報を調整する位置姿勢調整手段と、
前記第1の位置姿勢情報が示す位置姿勢を有する視点から見える右目用仮想空間画像を生成すると共に、前記第2の位置姿勢情報が示す位置姿勢を有する視点から見える左目用仮想空間画像を生成する生成手段と、
前記右目用現実空間画像と前記右目用仮想空間画像とを合成した右目用合成画像を生成すると共に、前記左目用現実空間画像と前記左目用仮想空間画像とを合成した左目用合成画像を生成する合成手段と、
前記右目用合成画像、及び/又は前記左目用合成画像を調整する合成画像調整手段と、
前記右目用合成画像、前記左目用合成画像をそれぞれ、前記頭部装着型表示装置に備わっている右目用表示装置、左目用表示装置に対して出力する出力手段と
を備えることを特徴とする。
本発明の構成により、複合現実空間の観察者自らが、提示される複合現実感の立体感を確認しながら、その立体感の調整を行うことができ、その結果、観察者に適切な立体感を知覚させることができる。
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
[第1の実施形態]
図3は、観察者に現実空間と仮想空間とが融合した複合現実空間の画像を提供すると共に、観察者に好適な複合現実空間画像を提供できるように、各種の調整を可能とするシステムの機能構成を示すブロック図である。
図3は、観察者に現実空間と仮想空間とが融合した複合現実空間の画像を提供すると共に、観察者に好適な複合現実空間画像を提供できるように、各種の調整を可能とするシステムの機能構成を示すブロック図である。
同図に示す如く、本実施形態に係るシステムは、HMD部100、複合現実感提示部350、位置姿勢計測部300により構成されている。
先ず、HMD部100について説明する。HMD部100は同図に示す如く、撮像部110a、110bと表示部120a、120bにより構成されている。撮像部110aはHMD部100を頭部に装着する観察者の右目に対応する現実空間の画像(右目用現実空間画像)を撮像するものであり、撮像部110bは、この観察者の左目に対応する現実空間の画像(左目用現実空間画像)を撮像するものである。
また、表示部120aは、この観察者の右目に対して提示する画像を表示するものであり、表示部120bは、この観察者の左目に対して提示する画像を表示するものである。本実施形態では、HMD部100はこのような構成により、両眼立体視可能なビデオシースルー型のHMDを構成する。
以下では撮像部110aと撮像部110bとで共通の説明を行う場合にはこれらをまとめて単に「撮像部110」と呼称するし、表示部120aと表示部120bとで共通の説明を行う場合にはこれらをまとめて単に「表示部120」と呼称する。
撮像部110と表示部120とは、撮像部110の光軸と表示部120の眼球光軸とが一致するようにHMD部100に備わっており、撮像部110と表示部120との間に視差が生じないようになっている。このようなHMDは、特開平5−303053号公報、特開平10−239628号公報、特開平11−174367号公報、特開2000−75240号公報などに開示されている。
よって、同図に示す如く、撮像部110a、110bはそれぞれ、右目用現実空間画像、左目用現実空間画像を撮像し、それぞれ実写画像a、bとして後段の複合現実感提示部350が有する実写画像調整部230に順次送出する。
一方、表示部120a、120bはそれぞれ、合成画像調整部260から送出される右目用合成画像(右目用複合現実空間画像)a’、左目用合成画像(左目用複合現実空間画像)b’を受け、表示する。従ってHMD部100を頭部に装着した観察者の右目、左目の眼前にはそれぞれ右目用合成画像、左目用合成画像が提示されることになるので、観察者は、合成画像が平面ではなく、あたかも立体的であるかのように知覚することが可能となる。即ち、観察者は、現実空間と仮想空間とが融合された複合現実空間を立体的に観測することが可能となる。
次に、複合現実感提示部350について説明する。同図に示す如く、複合現実感提示部350は、仮想画像生成部210、仮想空間情報記憶部215、操作入力部220、実写画像調整部230、位置姿勢調整部240、画像合成部250、合成画像調整部260、位置姿勢変換部270、位置姿勢変換値記憶部275、調整値記憶部280から構成される。
複合現実感提示部350は、例えば一般のPC(パーソナルコンピュータ)やWS(ワークステーション)等のコンピュータでもって構成されている。
図4は、複合現実感提示部350に適用可能なコンピュータのハードウェア構成を示すブロック図である。
10はCPUで、RAM20に格納されているプログラムやデータを用いてコンピュータ全体の制御を行うと共に、コンピュータを適用した複合現実感提示部350が行う後述の各処理を実行する。
20はRAMで、ディスク装置30からロードされたプログラムやデータを一時的に記憶するためのエリア、画像入力装置40を介して入力された画像データを一時的に記憶するためのエリア、位置姿勢入力装置50を介して入力された位置姿勢データを一時的に記憶するためのエリア、CPU10が各処理を実行する際に用いるワークエリアなど、各種のエリアを適宜提供することができる。
30はディスク装置であって、ハードディスクドライブ装置として機能するものであり、ここOS(オペレーティングシステム)や、コンピュータを適用した複合現実感提示部350が行う後述の各処理をCPU10に実行させるためのプログラムやデータが保存されており、これらの一部若しくは全部はCPU10による制御に従って適宜RAM20にロードされ、CPU10による処理対象となる。
なお、ディスク装置30は、このほかにも、CD−ROMやDVD−ROMなどの記憶媒体に記録されているプログラムやデータを読み出す装置としても良い。その場合、この記憶媒体には、CPU10に後述する各処理を実行させるためのプログラムやデータが格納されており、ディスク装置30はこの記憶媒体から記録されたプログラムやデータを読み出す。
40が画像入力装置で、上記HMD部100に備わっている撮像部110a、110bから送出される右目用現実空間画像a、左目用現実空間画像bを本コンピュータに入力するためのI/Fとして機能するものであり、入力された画像のデータはRAM20若しくはディスク装置30に格納する。
50は位置姿勢入力装置で、上記位置姿勢計測部300によって計測された位置姿勢データを本コンピュータに入力するためのI/Fとして機能するものであり、入力されたデータはRAM20若しくはディスク装置30に格納する。
60は操作入力装置で、キーボードやマウスなどにより構成されており、本コンピュータの操作者(本実施形態ではHMD部100を頭部に装着した観察者)が操作することで、各種の指示をCPU10に対して入力することができる。
70は画像描画装置で、仮想空間の画像を生成するなど、画像の生成、描画に係る処理を行うためのものであり、RAM72とGPU74とで構成されている。即ち、画像生成や描画などを行う場合には、CPU10はGPU74に対してその旨を指示するので、GPU74は、RAM72に転送される画像データに基づいて、画像生成や描画等の処理を実行する。
80は画像出力装置で、本コンピュータが生成した右目用合成画像a’、左目用合成画像b’をそれぞれ、HMD部100に備わっている表示部120a、120bに対して送出する為のI/Fとして機能するものである。
90は上述の各部を繋ぐバスである。
本実施形態では、複合現実感提示部350として以上の構成を有するコンピュータを適用した場合について説明するが、複合現実感提示部350として適用可能なコンピュータの構成はこれに限定するものではない。
次に、複合現実感提示部350の機能構成について図3を用いて説明する。
仮想画像生成部210は、仮想空間画像を生成するために用いる射影変換行列a、bとモデルビュー行列a、bとを位置姿勢調整部240から取得すると共に、仮想空間画像を生成するために必要なデータ(仮想空間情報)を仮想空間情報記憶部215から取得し、取得したそれぞれのデータを用いて、仮想空間の画像を生成する。
より詳しくは、先ず、仮想空間情報を用いて、1以上の仮想物体を仮想空間中に配置する。そして、射影変換行列a、モデルビュー行列aを用いて、これらの行列で定義される視点から見える仮想空間画像aを生成すると共に、射影変換行列b、モデルビュー行列bを用いて、これらの行列で定義される視点から見える仮想空間画像bを生成する。なお、上述のとおり、このような画像生成処理は、CPU10の制御に基づいて、画像描画装置70が行う。
本実施形態では、仮想空間画像a、bを構成する各画素には、輝度情報と奥行き情報とがセットで関連付けられているものとする。奥行き情報は、画像内で仮想物体が描画されている領域内の画素には、その画素が示す仮想物体部分から視点までの距離を表す値が格納され、画像内で仮想物体が存在しない領域を構成している画素に対しては、視点から最も遠い距離を表す値が関連付けられる。
このように、本実施形態では、仮想空間画像を構成する各画素について、輝度情報と、奥行き情報とを管理している。
なお、仮想空間画像a、bの生成順に関しては特に限定するものではなく、何れかを先に生成しても良いし、並列して生成するようにしても良い。いずれにせよ、仮想画像生成部210は、仮想空間画像a、bを生成すると、これらを画像合成部250に送出する。
仮想空間情報記憶部215は、仮想画像生成部210が仮想空間画像を生成する際に用いる仮想空間情報を保持している。この仮想空間情報には、例えば仮想物体がポリゴンでもって構成されている場合には、各ポリゴンの法線ベクトルデータ、ポリゴンを構成する各頂点の座標データ、頂点同士のリンクデータ、ポリゴンの材質を示すデータ、仮想物体の配置位置姿勢を示すデータ、仮想空間中に設定される光源データ、そして仮想物体に対してテクスチャマッピングを施す場合には、テクスチャ画像データなどが含まれることになる。
このような仮想空間情報は実際には、ディスク装置30に予め格納されており、コンピュータが起動すると、CPU10がこれを読み出してRAM20にロードする。
位置姿勢変換部270は、位置姿勢計測部300から位置姿勢入力装置50を介して入力される位置姿勢計測値を受け、これを変換値記憶部275が保持する位置姿勢変換値a、bに基づいて変換し、位置姿勢計測値a’、b’を得る。位置姿勢計測値a’、b’はそれぞれ位置姿勢調整部240に送出する。
ここで、位置姿勢変換部270についてより詳細に説明する。
現実空間画像とは、周知の通り、撮像部の略光学中心から見える現実空間の画像である。従って複合現実空間画像を生成するためには、基本的には、この略光学中心の位置姿勢を仮想空間における視点の位置姿勢として設定し、この視点から見える仮想空間の画像を生成し、生成した仮想空間画像を先の現実空間画像上に合成する。
本実施形態においても複合現実空間の画像を生成するのであるから、撮像部110aの略光学中心の位置姿勢、撮像部110bの略光学中心の位置姿勢は取得する必要がある。しかし、位置姿勢計測部300において、撮像部110の略光学中心の位置姿勢を直接的に計測することは、計測装置を物理的に設置できないなどの要因により困難である。そのため、本実施形態では、HMD部100に、位置姿勢計測部300によって計測される対象となる計測対象物を設け、位置姿勢計測部300はこの計測対象物の位置姿勢を計測する。
位置姿勢計測部300による位置姿勢の計測方法については特に限定するものではないが、例えば、磁気式センサや光学式センサ、超音波センサなどのセンサを用いた計測方法や、現実空間における配置位置が既知のマーカを配し、このマーカを撮像した画像上におけるマーカの表示位置と、実際の配置位置とを用いた計測方法等を用いることができる。なお、これらの計測方法については周知の技術であるので、これに関する説明は省略する。
また、上記計測対象物と撮像部110aの略光学中心との位置姿勢関係(相対位置姿勢)、計測対象物と撮像部110bの略光学中心との位置姿勢関係は予め計測されているものとする。上記位置姿勢関係は、3次元空間中での平行移動および回転を表す3次元座標変換行列によって表現することができ、この3次元座標変換行列のデータが位置姿勢変換値として位置姿勢変換値記憶部275に格納される。
よって、位置姿勢変換部270は、位置姿勢変換値記憶部275が保持する位置姿勢変換値aから3次元座標変換行列aを生成し、位置姿勢計測部300によって計測される計測対象物の位置姿勢計測値を3次元座標変換行列aによって撮像部110aの略光学中心の位置姿勢a’に変換する。そして変換後の位置姿勢、即ち撮像部110aの略光学中心の位置姿勢a’を位置姿勢調整部240に送出する。
また、位置姿勢変換部270は、位置姿勢変換値記憶部275が保持する位置姿勢変換値bから3次元座標変換行列bを生成し、位置姿勢計測部300によって計測される計測対象物の位置姿勢計測値を3次元座標変換行列bによって撮像部110bの略光学中心の位置姿勢b’に変換する。そして変換後の位置姿勢、即ち撮像部110bの略光学中心の位置姿勢b’を位置姿勢調整部240に送出する。
なお、このような3次元座標変換を行うための方法については、特開2003−203252号公報、特開2003−269913号公報などに開示されており、周知の技術であるため、ここでの説明は省略する。
位置姿勢変換値記憶部275は、位置姿勢変換部270が3次元座標変換行列を生成するために用いる位置姿勢変換値a、bを保持しており、位置姿勢変換部270が3次元座標変換行列を生成する際に位置姿勢変換部270に供給する。位置姿勢変換値a、bは、3次元空間中での平行移動および回転を表す変換値群である。本実施形態では、平行移動変換値は、X軸方向平行移動量、Y軸方向平行移動量、Z軸方向平行移動量から構成される。また、回転変換値はロール角、ピッチ角、ヨー角から構成される。
しかし、3次元空間中での平行移動および回転を表現することができれば、いかなる種類の変換値を用いてもよく、例えば、回転変換値としてロール角、ピッチ角、ヨー角を保持する変わりに、1つの3次元ベクトルと、そのベクトル周りの回転角を保持するようにしてもよいし、回転変換値として四元数を保持してもよい。
上述の通り、計測対象物と撮像部110aの略光学中心との位置姿勢関係、計測対象物と撮像部110bの略光学中心との位置姿勢関係は予め計測されているので、位置姿勢変換値a、bは、予め作成し、位置姿勢変換値記憶部275に格納しておく。位置姿勢変換値記憶部275が保持する情報は、ディスク装置30にあらかじめ格納されており、本コンピュータの起動時に、CPU10によって、ディスク装置30から読み出され、RAM20に書き込まれる。
操作入力部220は、コンピュータの操作者が操作入力装置60を操作した場合に、その操作に応じた結果を調整値記憶部280に送出する。本実施形態では、操作者が操作入力装置60を用いて所定の操作を行うと、操作入力部220はその操作内容に応じて、実写画像調整値、位置姿勢調整値、合成画像調整値を生成し、調整値記憶部280に送出する。あるいは、その操作内容に応じて、指定された調整値を調整値記憶部280から読み出す。あるいは、その操作内容に応じて、指定された調整値を調整値記憶部280へ書き込む。それぞれの調整値については後述する。また、調整値記憶部280が記憶している各種の情報は上記ディスク装置30に保存されている。
調整値記憶部280は、実写画像aを調整するための実写画像調整値a、実写画像bを調整するための実写画像調整値b、位置姿勢計測値aを調整するための位置姿勢調整値a、位置姿勢計測値bを調整するための位置姿勢調整値b、合成画像a’を調整するための合成画像調整値a、合成画像b’を調整するための合成画像調整値bを保持する。
本実施形態では、調整値記憶部280が保持する実写画像調整値(a、b)として、水平方向シフト量、垂直方向シフト量、水平方向スケーリング係数、垂直方向スケーリング係数、回転角度がある。
また、本実施形態では、調整値記憶部280が保持する位置姿勢調整値(a、b)として、X軸方向シフト量、Y軸方向シフト量、Z軸方向シフト量、ロール角、ピッチ角、ヨー角、水平画角、垂直画角、ニアクリップ面、ファークリップ面がある。
また、本実施形態では、調整値記憶部280が保持する合成画像調整値(a、b)として、水平方向シフト量、垂直方向シフト量、水平方向スケーリング係数、垂直方向スケーリング係数がある。
そして、調整値記憶部280で保持する調整値のうち、実写画像調整値は実写画像調整部230、位置姿勢調整値は位置姿勢調整部240、合成画像調整値は合成画像調整部260にそれぞれ送出される。
なお、調整値記憶部280が保持する情報は、ディスク装置30に格納されており、コンピュータの起動時に、CPU10によって、または操作入力部220からの指令に基づいて、ディスク装置30から読み出され、RAM20に書き込まれる。また、操作入力部220からの指令に基づいて、RAM20に保持している調整値がディスク装置30に書き込まれる。
実写画像調整部230は、撮像部110a、bから取得した実写画像a、bのそれぞれを、調整値記憶部280から取得した実写画像調整値a、bを用いて調整する処理を行う。そして実写画像aを調整することで得られる実写画像a’、実写画像bを調整することで得られる実写画像b’をそれぞれ画像合成部250に送出する。
ここで実写画像調整部230が行う実写画像の調整処理について説明する。なお、以下の処理は、実写画像a、bの何れについても同じであるので、一方の実写画像について説明する。
実写画像調整部230は、撮像部110aから実写画像aを取得すると、先ず、調整値記憶部280から取得した実写画像調整値aに含まれている水平方向スケーリング係数、垂直方向スケーリング係数に基づき、この実写画像aを水平方向、垂直方向に、それぞれスケーリング係数に応じた倍率で拡大・縮小する。例えば、水平方向スケーリング係数に1.5が、垂直方向スケーリング係数に0.5が指定されていた場合には、実写画像の水平方向の画素数を1.5倍、垂直方向の画素数を0.5倍にするように拡大・縮小を行う。この実写画像の拡大・縮小の処理については、既に公知となっている画像処理によって実現が可能である。
次に、拡大・縮小処理を施された実写画像aの中心位置を中心として、調整値記憶部280から取得した実写画像調整値aに含まれている回転角度分だけ回転させる。この実写画像の回転処理については、既に公知となっている画像処理によって実現が可能である。
次に、拡大・縮小および回転後の実写画像aのクリッピングを行う。図5は、クリッピング処理を説明する図である。図5(a)は、撮像部110aから取得した時点での実写画像aを示す図で、同図ではこの実写画像aの水平方向のピクセル数はw、垂直方向のピクセル数はhである。図5(b)は、拡大・縮小および回転処理後の実写画像aを示す図で、同図では、水平方向のピクセル数がaw、垂直方向のピクセル数がbhであり、角度cだけ回転させている。
ここで、水平方向のピクセル数がw、垂直方向のピクセル数がhであるような矩形領域によって、図5(b)の画像から領域を切り出す。実写画像調整値aの水平方向シフト量がsw、垂直方向シフト量がshである場合には、矩形領域の画像中心が図5(b)に示した画像中心に対して水平方向にsw、垂直方向にshだけ平行移動させた場所となるように、矩形領域を平行移動させる。図5(c)は、図5(b)の画像における矩形領域を示す図である。そして平行移動後の矩形領域内の画像を抽出することで、一連のクリッピング処理を完了する。この抽出した画像が、実写画像a’であり、これを画像合成部250に出力する。
以上の実写画像の拡大・縮小処理、回転処理、クリッピング処理は、それぞれ独立した3つの処理として説明したが、これらの処理は、合成変換によって1回の処理で実現することが可能である。
以上の実写画像調整処理を、実写画像a、実写画像bのそれぞれについて実施する。このとき、実写画像aおよび実写画像bのどちらを先に処理するかについては、特に限定するものではない。
以上説明した実写画像調整部230による処理は、CPU10が行うようにしても良いが、画像描画装置70に備わっているGPU74が行うようにしても良い。
図3に戻って、位置姿勢調整部240は、位置姿勢変換部270から取得した位置姿勢計測値a’、b’をそれぞれ、調整値記憶部280から取得した位置姿勢調整値a、bでもって調整し、射影変換行列a、bとモデルビュー行列a、bとを生成する。生成された射影変換行列a、bおよびモデルビュー行列a、bは、それぞれ仮想画像生成部210に送出される。
位置姿勢調整値のうち、X軸方向シフト量、Y軸方向シフト量、Z軸方向シフト量、ロール角、ピッチ角、ヨー角については、3次元座標変換行列を生成するための調整値となる。水平画角、垂直画角、ニアクリップ面、ファークリップ面については、仮想空間画像を生成する為に仮想空間中に設定する視点の射影行列を生成するための調整値となる。
ここで位置姿勢調整部240が行う射影変換行列、モデルビュー行列の生成処理について説明する。なお、以下の処理は、射影変換行列a、モデルビュー行列aを生成する処理、射影変換行列b、モデルビュー行列bを生成する処理の何れについても同じであるので、一方の射影変換行列、モデルビュー行列の生成処理について説明する。
位置姿勢調整部240は、調整値記憶部280から位置姿勢調整値aを入力すると、位置姿勢調整値aのうち、X軸方向シフト量、Y軸方向シフト量、Z軸方向シフト量、ロール角、ピッチ角、ヨー角から3次元座標変換行列を生成する。そして、位置姿勢変換部270から入力される位置姿勢計測値a’を、この3次元座標変換行列でもって変換し、変換後の位置姿勢計測値からモデルビュー行列aを生成する。
また位置姿勢調整値aのうち水平画角、垂直画角、ニアクリップ面、ファークリップ面から、射影変換行列aを生成する。
このようにして、位置姿勢計測値a’、即ち、撮像部110aの光学中心の位置姿勢を調整することにより、調整した位置姿勢を有する視点から見える仮想空間の画像を生成する際に用いる射影変換行列aとモデルビュー行列aとを求めることができる。なお、モデルビュー行列および射影変換行列を生成する方法については、CGにおいて既に公知の技術であるため、説明を省略する。
よって、位置姿勢計測値a’に対する位置姿勢調整処理には位置姿勢調整値aが用いられ、射影変換行列aとモデルビュー行列aとが生成される。位置姿勢計測値b’に対する位置姿勢調整処理には位置姿勢調整値bが用いられ、射影変換行列bとモデルビュー行列bとが生成される。
画像合成部250は、実写画像調整部230から取得した実写画像a’、b’のそれぞれと、仮想画像生成部210から取得した仮想空間画像a、bとを合成する処理を行い、合成画像a、bを生成する。生成された合成画像a、bは合成画像調整部260に送出される。合成画像aは実写画像a’と仮想空間画像aとの合成処理によって、合成画像bは実写画像b’と仮想空間画像bとの合成処理によって生成される。
ここで、画像合成部250によって行われる合成処理について説明する。なお、以下の処理は、合成画像aを生成する処理、合成画像bを生成する処理の何れについても同じであるので、一方の合成画像の生成処理について説明する。
仮想画像生成部210によって生成された仮想空間画像aは、上述の通り、各画素について輝度情報と奥行き情報とのセットが関連付けられている。従って実写画像a’と仮想空間画像aとで対応する位置の画素の輝度値を用いて、合成画像aの対応する位置の画素の輝度値を求めるためには、この位置における画素に関連付けられたセットを用いて以下のようにして行う。
先ず、仮想空間画像aにおいて注目画素に関連付けられた奥行き情報を参照し、視点から最も遠い距離を表す値であった場合は、実写画像aの輝度値を合成画像の輝度値とする。一方、注目画素に関連付けられた奥行き値がそれ以外の値であった場合には、注目画素の輝度値を合成画像の輝度値とする。すなわち、仮想物体が描画されている領域に関しては仮想空間画像aを、そうでない領域に関しては、実写画像を合成画像とすることによって、実写画像を背景として、その手前に仮想物体が表示されることになる。
なお、同様の合成画像aを生成するための処理についてはこれ以外にも考えられ、例えば、仮想画像生成部210が仮想空間画像aを生成する前に、予め実写画像a’を入力しておき、実写画像a’を背景として描画した後に、この実写画像a’上に仮想空間画像aをレンダリングして合成画像aを得るようにしてもよい。
すなわち、画像合成部250の機能を仮想画像生成部210が担うこととし、実写画像a’の上に仮想物体を直接描画することによって、明示的に仮想空間画像aを生成することなく、合成画像aを直接生成する。
合成画像調整部260は、画像合成部250で生成された合成画像a、bを、調整値記憶部280から取得した合成画像調整値a、bでもって調整する処理を行う。調整処理後の合成画像a’、b’は、表示部120a、bに送出される。
ここで、合成画像調整部260が行う、合成画像の調整処理について説明する。なお、以下の処理は、合成画像aを調整する処理、合成画像bを調整する処理の何れについても同じであるので、一方の合成画像の生成処理について説明する。
合成画像調整部260によって行われる合成画像調整処理は、合成画像aに対する拡大・縮小およびクリッピング処理である。合成画像aに対する拡大・縮小およびクリッピング処理の詳細については、実写画像調整部230で行われる実写画像調整処理と同様の画像処理が行われる。本実施形態では、合成画像aの回転は行わないが、実写画像調整処理における回転処理と同様の回転をこの合成画像aについて行うようにしても良い。
次に、以上説明した機能構成を有するコンピュータが行う、観察者に好適な複合現実空間の画像を生成してHMD部100に提供するための処理について、同処理のフローチャートを示す図6を用いて以下説明する。なお、同図のフローチャートに従った処理をCPU10に実行させるためのプログラムやデータはディスク装置30に保存されており、これをCPU10による制御に従って適宜RAM20にロードし、CPU10がこれを用いて処理を実行する(若しくはその一部をGPU74が実行する)ことで、CPU10は以下説明する各処理を実行することになり、その結果、図3に示した各部(記憶部を除く)の機能を実現することになる。
先ず、本コンピュータを起動すると、先ずステップS2010において、本コンピュータの初期化処理を行う。この初期化処理には、CPU10がディスク装置30に格納されている仮想空間情報、位置姿勢変換値、実写画像調整値、位置姿勢調整値、合成画像調整値(即ち、仮想空間情報記憶部215、調整値記憶部280、位置姿勢変換値記憶部275のそれぞれが保持している情報)をRAM20にロードする処理を含む。
次に、ステップS2020では、本コンピュータの操作者が操作入力装置60を操作して、上記各調整値のうち1以上について更新する旨の指示を入力した場合には、CPU10はこれを検知し、指示された調整値を指示された値に更新する。例えば、実写画像aの水平方向シフト量を「1.0」に設定する旨の指示を検知すると、CPU10は、RAM20に保持されている実写画像aの水平シフト量の調整値を1.0に更新する。調整値の更新処理の詳細については後述する。
次に、ステップS2030では、位置姿勢計測部300は、HMD部100に設置された計測対象物の位置姿勢を計測し、計測した位置姿勢のデータを位置姿勢入力装置50を介して本コンピュータに入力するので、CPU10はこれをRAM20に格納する。
次に、ステップS2040では、CPU10は位置姿勢変換部270として機能し、ステップS2010でRAM20にロードした位置姿勢変換値a、bを用いて3次元変換行列a、bを生成し、ステップS2030で入力した位置姿勢計測値を3次元変換行列aで変換することによって撮像部110aの略光学中心の位置姿勢計測値a’を求めると共に、ステップS2030で入力した位置姿勢計測値を3次元変換行列bで変換することによって撮像部110bの略光学中心の位置姿勢計測値b’を求める。
次に、ステップS2050では、CPU10は位置姿勢調整部240として機能し、ステップS2040で求めた位置姿勢計測値a’、b’のそれぞれについて、ステップS2010でRAM20にロードした位置姿勢調整値a、bを用いて調整する処理を行う。なお、この位置姿勢調整処理によって射影変換行列a、bおよびモデルビュー行列a、bを生成するので、生成したこれらの行列のデータをRAM20に格納する。
次に、ステップS2060では、撮像部110a、bからそれぞれ実写画像a、bが順次画像入力装置40を介して本コンピュータに入力されるので、CPU10はこれをRAM20、若しくはディスク装置30に格納する。
次に、ステップS2070では、CPU10またはGPU74は実写画像調整部230として機能し、ステップS2060でRAM20に格納した実写画像a、bのそれぞれを、ステップS2010でRAM20にロードした合成画像調整値a、bを用いて、調整する処理を行う。
次に、ステップS2080では、GPU74は仮想画像生成部210として機能し、ステップS2050で生成した射影変換行列a、モデルビュー行列aを用いて右目用仮想空間画像aを生成すると共に、ステップS2050で生成した射影変換行列b、モデルビュー行列bを用いて左目用仮想空間画像bを生成する。生成したそれぞれの仮想空間画像a、bはRAM72に格納する。なお、このような処理は、CPU10が行うようにしても良く、その場合には、生成した画像はRAM20に格納することになる。
次に、ステップS2090では、GPU74は画像合成部250として機能し、ステップS2070で調整された実写画像a’、b’それぞれと、ステップS2080で生成された仮想空間画像a、bとを合成し、合成画像a、bを生成する。生成した合成画像a、bはRAM72に格納する。なお、このような処理は、CPU10が行うようにしても良く、その場合には、生成した画像はRAM20に格納することになる。
次に、ステップS2100では、GPU74は合成画像調整部260として機能し、ステップS2090で生成された合成画像a、bそれぞれに対して、ステップS2010でRAM20にロードした合成画像調整値a、bを用いて調整する処理を行う。調整後の合成画像a’、b’はそれぞれRAM72に格納される。なお、このような処理は、CPU10が行うようにしても良く、その場合には、生成した画像はRAM20に格納することになる。
次に、ステップS2105では、CPU10は画像出力装置80を制御することにより、画像出力装置80は、RAM72に格納されているそれぞれの合成画像a’、b’を読み出して、HMD部100に備わっている表示部120a、120bに送出する。
そして、本コンピュータの操作者が操作入力装置60を操作して本処理を終了する旨の指示を入力しない限りは処理をステップS2110を介してステップS2020に戻し、以降の処理を繰り返す。
以上の処理により、例えば、HMD部100を頭部に装着した観察者のそれぞれの目の位置姿勢関係に応じて調整値を入力すれば、入力した調整値に応じて現実空間画像を調整することができると共に、仮想空間画像を生成するための射影変換行列、モデルビュー行列を調整することができ、さらには、合成画像の調整を行うことができる。そしてその結果、この観察者のそれぞれの目の位置姿勢関係に応じて調整された右目用の複合現実空間画像、左目用の複合現実空間画像を得ることができるため、それぞれの画像を表示部120a、120bに表示して、この観察者の右目、左目に対して提供することで、この観察者は両眼立体視が可能となる。
ここで、ステップS2020からステップS2110までの一連の処理をフレームと呼び、1フレームあたりの処理はおよそ数百ミリ秒以内に完了する。そのため、本コンピュータの操作者が視点の位置姿勢を変更したり、操作入力装置60に対して操作を行った結果については、即座に反映されることとなる。
なお、以上の処理手順において、一部のステップについては、処理の順序を変更してもよい。例えば、ステップS2020の処理と、ステップS2030の処理については、この順序を入れ替えることができる。これらの処理はステップS2040の処理を実施する前に完了していればよく、ステップS2020の処理とステップS2030の処理は相互に依存しないため、順序を入れ替えても何ら影響を与えることはない。この例の他にも処理順序を入れ替えることのできるステップが複数存在するが、これまでの説明から自明であり、言うまでもないことである。
次に、実写画像調整値、位置姿勢調整値、合成画像調整値の入力処理について、同処理のフローチャートを示す図7を用いて説明する。なお、同図のフローチャートに従った処理は、図6のフローチャートに従った上記処理と並列して行われるものであって、図7のフローチャートに従った処理を行ったことによる結果は即座に図6のフローチャートに従った処理に反映される。
また、図7のフローチャートに従った処理をCPU10に実行させるためのプログラムやデータはディスク装置30に保存されており、これをCPU10による制御に従って適宜RAM20にロードし、CPU10がこれを用いて処理を実行することで、CPU10は以下説明する各処理を実行することになる。
なお、以下説明する各ステップ(ステップS2520〜ステップS2540)はこの順に行われることに限定するものではなく、任意の順番で行って良い。
先ず、本コンピュータの操作者は、操作入力装置60を操作して、実写画像調整値を入力するので、ステップS2520では、CPU10はこれを受け、RAM20に格納する。
入力形態としては、例えば、本コンピュータにCRTや液晶画面などの表示装置を接続し、この表示装置の表示画面上に、実写画像調整値、位置姿勢調整値、合成画像調整値のそれぞれを入力するためのGUIを表示し、このGUIを操作入力装置60でもって操作することで、それぞれの調整値を入力、設定する。
ここで、上述の通り、実写画像調整値には右目用と左目用とがあり、更に実写画像調整値には、水平方向シフト量、垂直方向シフト量、水平方向スケーリング係数、垂直方向スケーリング係数、回転角度がある。よって、ステップS2520では、これら全てを入力し、設定するようにしても良いが、そのうちの一部を変更すべく、一部の調整値を入力するようにしても良い。また、入力する調整値は、直接用いるものを入力するようにしても良いし、現在の調整値に加算若しくは減算する差分値を入力するようにしても良い。
ここで、上述の通り、図6のフローチャートに従った処理は繰り返し行われるものであり、ステップS2520で入力された実写画像調整値は図6のステップS2020で反映される。即ち、ステップS2020では、従前に設定されていた実写画像調整値を、今回ステップS2520で入力した実写画像調整値に更新する。これにより、ステップS2030以降では、ステップS2520で入力された実写画像調整値を用いた実写画像の調整処理が行われることになり、本コンピュータの操作者は、実写画像を望ましい実写画像に変換(調整)すべく、調整値を入力し、調整することができる。
より具体的には、操作者は、合成画像a’、b’のうち、実写画像a’、b’の部分(すなわち、合成画像a’、b’のうち、仮想空間画像a、bに遮蔽されない部分)を見ながら、操作入力装置60を操作し、実写画像調整値a、bを決定する。先述したように、ステップS2020〜ステップS2110までの処理はごく短時間で行われるため、実写画像の調整操作を行うと、変更後の実写画像調整値a、bによって実写画像a’、b’が直ちに生成され、HMD部100の表示部120a、120bに表示されることとなる。
そのため、操作者は、調整した実写画像調整値a、bに対して、実際に反映された実写画像a’、b’を見ながら、容易に実写画像調整値a、bを望ましい値へと調整することができる。本実施形態では、操作者は、実写画像調整値a、bの水平方向シフト量、垂直方向シフト量、水平方向スケーリング係数、垂直方向スケーリング係数、回転角度を変更し、実写画像a’、b’を立体視したときに最も自然な立体感を感じられるような実写画像調整値a、bを決定する。ただし、この後に位置姿勢の調整操作および合成画像の調整操作を行うため、この段階では、実写画像調整値a、bは厳密でなくてもよい。
操作者は、合成画像a’、b’中に表示される実写画像a’、b’を左右の目で比較しながら、実写画像調整値a、bを決定する必要があるため、仮想空間画像a、bによって、実写画像a’、b’の像が可能な限り隠蔽されないような状態にすることが望ましい。実写画像の調整操作時には、自動または手動によって、仮想空間画像a、bを表示しない、または、仮想空間画像a、bを目立たなくするようにしてもよい。例えば、仮想空間画像a、bを半透明(仮想空間を構成する各ポリゴンのα値を制御すればよい)で表示する。
次に、本コンピュータの操作者は、操作入力装置60を操作して、位置姿勢調整値を入力するので、ステップS2530では、CPU10はこれを受け、RAM20に格納する。
ここで、上述の通り、位置姿勢調整値には右目用と左目用とがあり、更に位置姿勢調整値には、X軸方向シフト量、Y軸方向シフト量、Z軸方向シフト量、ロール角、ピッチ角、ヨー角、水平画角、垂直画角、ニアクリップ面、ファークリップ面がある。よって、ステップS2530では、これら全てを入力し、設定するようにしても良いが、そのうちの一部を変更すべく、一部の調整値を入力するようにしても良い。また、入力する調整値は、直接用いるものを入力するようにしても良いし、現在の調整値に加算若しくは減算する差分値を入力するようにしても良い。
また、ステップS2530で入力された位置姿勢調整値も図6のステップS2020で反映される。即ち、ステップS2020では、従前に設定されていた位置姿勢調整値を、今回ステップS2530で入力した位置姿勢調整値に更新する。これにより、ステップS2030以降では、ステップS2530で入力された位置姿勢調整値を用いた位置姿勢計測値の調整処理が行われることになり、本コンピュータの操作者は、位置姿勢計測値を望ましい位置姿勢計測値に変換(調整)すべく、調整値を入力し、調整することができる。
より具体的には、位置姿勢調整値a、bのうち、まず、いずれか一方を決定し、次に残りの一方を決定する。本実施形態では、位置姿勢調整値aを先に決定し、次に位置姿勢調整値bを決定するが、位置姿勢調整値a、bの決定はこの順序に限られない。即ち、順序を調整時に任意に定めることができる。
まず最初に、操作者は、合成画像a’を見ながら、操作入力装置60を操作し、位置姿勢調整値aを決定する。このとき、位置姿勢調整値aのX軸方向シフト量、Y軸方向シフト量、Z軸方向シフト量、ロール角、ピッチ角、ヨー角、水平画角、垂直画角、ニアクリップ面、ファークリップ面を調整し、実写画像a’と仮想空間画像aとが、最も自然に合成されるような位置姿勢調整値aを決定する。すなわち、観測対象とする仮想物体が、実写画像a’中で位置ずれなく適切に配置されるように、位置姿勢調整値aを決定する。
次に、合成画像b’を見ながら、操作入力装置60を操作し、位置姿勢調整値aと同様にX軸方向シフト量、Y軸方向シフト量、Z軸方向シフト量、ロール角、ピッチ角、ヨー角、水平画角、垂直画角、ニアクリップ面、ファークリップ面を調整して位置姿勢調整値bを決定する。実写画像b’と仮想空間画像bとが最も自然に合成されるような位置姿勢調整値bを決定する。
位置姿勢の調整操作では、各々の合成画像において、実写画像と仮想空間画像との間に位置ずれが生じないように位置姿勢調整値を決定することが重要である。仮想空間画像a、b間の立体感の調整については、合成画像の調整操作で行うため、この段階では特に考慮しなくてもよい。
先述したように、ステップS2020〜ステップS2110までの処理はごく短時間で行われるため、位置姿勢計測値の調整操作を行うと、変更後の位置姿勢調整値a、bに基づいた仮想空間画像a、bが直ちに生成され、HMD部100の表示部120a、120bに表示されることとなる。そのため、操作者は、調整した位置姿勢調整値a、bに対して、実際に反映された仮想空間画像a、bを見ながら、位置姿勢調整値a、bを望ましい値へと容易に調整することができる。
次に、本コンピュータの操作者は、操作入力装置60を操作して、合成画像調整値を入力するので、ステップS2540では、CPU10はこれを受け、RAM20に格納する。
ここで、上述の通り、合成画像調整値には右目用と左目用とがあり、更に合成画像調整値には、水平方向シフト量、垂直方向シフト量、水平方向スケーリング係数、垂直方向スケーリング係数がある。よって、ステップS2540では、これら全てを入力し、設定するようにしても良いが、そのうちの一部を変更すべく、一部の調整値を入力するようにしても良い。また、入力する調整値は、直接用いるものを入力するようにしても良いし、現在の調整値に加算若しくは減算する差分値を入力するようにしても良い。
また、ステップS2540で入力された合成画像調整値も図6のステップS2020で反映される。即ち、ステップS2020では、従前に設定されていた合成画像調整値を、今回ステップS2540で入力した合成画像調整値に更新する。これにより、ステップS2030以降では、ステップS2540で入力された合成画像調整値を用いた合成画像の調整処理が行われることになり、本コンピュータの操作者は、合成画像を望ましい合成画像に変換(調整)すべく、調整値を入力し、調整することができる。
より具体的には、操作者は、合成画像a’、b’を見ながら、操作入力装置60を操作し、合成画像調整値a、bを決定する。合成画像調整値a、bの水平方向シフト量、垂直方向シフト量、水平方向スケーリング係数、垂直方向スケーリング係数を調整し、最終的な合成画像a’、b’を立体視したときに立体感が最も自然に感じられるような合成画像調整値a、bを決定する。
先述したように、ステップS2020〜ステップS2110までの処理はごく短時間で行われるため、合成画像の調整操作を行うと、変更後の合成画像調整値a、bに基づいた合成画像a’、b’が直ちに生成され、HMD部100の表示部120a、120bに表示されることとなる。そのため、操作者は、調整した合成画像調整値a、bに対して、実際に反映された合成画像a’、b’を見ながら、合成画像調整値a、bを望ましい値へと容易に調整することができる。
そして、操作者が操作入力装置60を用いて、調整値入力を終了する旨の操作指示を入力しない限りは、処理をステップS2550を介してステップS2520に戻し、以降の処理を繰り返す。
なお、ステップS2520からステップS2540までの操作によって、操作者が合成画像a’、b’から得られる立体感が適切であると感じられない場合には、ステップS2520、ステップS2530、ステップS2540のいずれかの操作に戻ることができる。また、2回目以降の反復時に、その後の操作によって、実写画像調整値、位置姿勢調整値、合成画像調整値が適切に決定された場合には、図7のフローチャートによらず、任意の時点で操作を終了することができる。
[第2の実施形態]
本実施形態では、実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bについて、各調整値ごとに、正と副に区分する。例えば、実写画像調整値a、位置姿勢調整値a、合成画像調整値aを正、実写画像調整値b、位置姿勢調整値b、合成画像調整値を副というように区分する。この区分については、実写画像調整値、位置姿勢調整値、合成画像調整値の間で異なっていてもよい。また、任意の時点で正副を変更してもよい。
本実施形態では、実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bについて、各調整値ごとに、正と副に区分する。例えば、実写画像調整値a、位置姿勢調整値a、合成画像調整値aを正、実写画像調整値b、位置姿勢調整値b、合成画像調整値を副というように区分する。この区分については、実写画像調整値、位置姿勢調整値、合成画像調整値の間で異なっていてもよい。また、任意の時点で正副を変更してもよい。
ここで、正となる実写画像調整値(以下、正実写画像調整値と略す)に対して、調整値が設定された場合には、現在の正実写画像調整値と新たに設定する正実写画像調整値との差分値を計算する。そして、正実写画像調整値と同時に、副となる実写画像調整値(以下、副実写画像調整値と略す)についても、現在の副実写画像調整値に対して差分値を加算して、新たな副実写画像調整値を生成する。即ち、正実写画像調整値が変更されると、その変更量分だけ副実写画像調整値についても同時に変更されることになる。これにより、正実写画像調整値を調整することによって、正実写画像調整値と副実写画像調整値の2つの実写画像調整値を一体の実写画像調整値とみなして調整することができる。
一方、副実写画像調整値を調整することによって、正と副の差分のみを調整することができる。位置姿勢調整値、合成画像調整値についても、同様に正と副の調整を行うことができる。
以上述べたように、本実施形態によれば、2種類ずつある実写画像調整値、位置姿勢調整値、合成画像調整値について、2つの値の差を維持したまま調整を行ったり、それぞれ独立に調整を行うなど、柔軟な調整を行うことが可能となる。
[第3の実施形態]
図8は、本実施形態に係るシステムの機能構成を示すブロック図である。同図において、図3と同じ部分については同じ番号を付けている。図8に示した構成は、図3に示した構成から、実写画像調整部230、画像合成部250を省いたものとなっている。
図8は、本実施形態に係るシステムの機能構成を示すブロック図である。同図において、図3と同じ部分については同じ番号を付けている。図8に示した構成は、図3に示した構成から、実写画像調整部230、画像合成部250を省いたものとなっている。
撮像部110a、bから出力された実写画像a、bは、仮想画像生成部210に送出される。本実施形態での仮想画像生成部210は、第1実施形態の実写画像調整部230の機能と画像合成部250の機能とを含んでいる。
本実施形態での仮想画像生成部210は、まず最初に、撮像部110a、bにおいて撮像された実写画像a、bを、調整値記憶部280から実写画像調整値a、bをそれぞれ入力する。この入力処理については、第1実施形態の実写画像調整部230と同じである。
次に、仮想画像生成部210は、視点に対して垂直な平面を設定し、入力された実写画像aをテクスチャとしてこの平面にマッピングする。そして、実写画像調整値aの水平方向シフト量、垂直方向シフト量、水平方向スケーリング係数、垂直方向スケーリング係数、回転角度から3次元座標変換行列を生成し、平面を3次元座標変換行列で変換し、描画する。このとき、実写画像調整値aによって、テクスチャをマッピングする平面を変換しているが、テクスチャマッピングの参照座標を変換するようにしてもよい。
実写画像aをテクスチャマッピングによって描画した後、位置姿勢調整部240から仮想画像を生成するための射影変換行列aとモデルビュー行列aを、仮想空間情報記憶部215から仮想空間情報をそれぞれ入力し、仮想空間画像を、この平面上に描画する。この処理によって、この平面上に合成画像aが生成され、合成画像aは合成画像生成部260に送られる。
なお、このような一連の処理は、3次元座標変換のみで行うことができるので、3次元画像処理専用のハードウェアを搭載したコンピュータにとっては第1の実施形態で説明したような方法に比べてより高速に処理を行うことができる。
以上のような処理を実写画像bについても同様に行う。即ち、実写画像bをテクスチャとして平面上にマッピングし、その上から射影変換行列bとモデルビュー行列bを用いて、仮想空間画像を描画する。
本実施形態では、仮想画像生成部210では、合成画像aを先に生成しているが、この順序を逆にして、合成画像bを先に生成するようにしてもよい。
以上述べたように、本実施形態によれば、実写画像の変換と描画とをテクスチャマッピングによって行うため、実写画像の変換と描画に伴う処理時間が削減され、より高速に合成画像を生成することが可能となる。
[第4の実施形態]
本実施形態では、実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bをセットにして観察者毎に調整値記憶部280に登録しておく。即ち、それぞれのセットにユーザIDを付加して登録する。
本実施形態では、実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bをセットにして観察者毎に調整値記憶部280に登録しておく。即ち、それぞれのセットにユーザIDを付加して登録する。
その場合、ステップS2010では更に、コンピュータを起動した観察者が自身のユーザIDを操作入力装置60を用いて入力するので、CPU10はこれをRAM20に格納する。
そして、ステップS2070における実写画像調整処理、ステップS2050における位置姿勢調整処理、ステップS2100における合成画像調整処理を行う際に用いる調整値は、ステップS2010でRAM20に格納したユーザIDに対応するものを用いる。これにより、それぞれの観察者に応じた調整値でもって調整処理を行うことができ、この観察者に好適な合成画像をこの観察者に対して提供することができる。
また、図7のフローチャートにおいて、ステップS2520〜ステップS2550の任意の時点で、操作入力装置060を用いて指示を入力することで、調整後の実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bをユーザIDと共にディスク装置30に保存する。
以上述べたように、本実施形態によれば、異なる使用者が本コンピュータを使用する場合に、その個人に適した調整値を適用することが可能となる。
[第5の実施形態]
本実施形態では、調整後の実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bは可搬型記憶装置に格納されている。可搬型記憶装置は、コンピュータの起動前および終了後に、コンピュータに対して任意に脱着を行うことが可能であるという点を除き、その機能はディスク装置30と同じである。
本実施形態では、調整後の実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bは可搬型記憶装置に格納されている。可搬型記憶装置は、コンピュータの起動前および終了後に、コンピュータに対して任意に脱着を行うことが可能であるという点を除き、その機能はディスク装置30と同じである。
本コンピュータの操作者は、本コンピュータを起動する前に、その操作者に対応する調整値が格納された可搬型ディスク装置を、予めコンピュータに装着しておく。
以上述べたように、本実施形態によれば、異なる使用者が本装置を使用する場合に、その個人に適した調整値を適用することが可能となる。
[第6の実施形態]
本実施形態では、実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bをセットにして仮想物体毎に調整値記憶部280に登録しておく。即ち、それぞれのセットに仮想物体IDを付加して登録する。
本実施形態では、実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bをセットにして仮想物体毎に調整値記憶部280に登録しておく。即ち、それぞれのセットに仮想物体IDを付加して登録する。
その場合、ステップS2020では更に、操作者は、所望の仮想物体IDを操作入力装置60を用いて入力するので、CPU10はこれをRAM20に格納する。なお、仮想物体IDの入力が成されなかった場合には、予め決まっている仮想物体IDをRAM20に格納する。
そして、ステップS2070における実写画像調整処理、ステップS2050における位置姿勢調整処理、ステップS2100における合成画像調整処理を行う際に用いる調整値は、ステップS2010でRAM20に格納した仮想物体IDに対応するものを用いる。これにより、それぞれの仮想物体に応じた調整値でもって調整処理を行うことができ、仮想物体に好適な合成画像をこの観察者に対して提供することができる。
また、図7のフローチャートにおいて、ステップS2520〜ステップS2550の任意の時点で、操作入力装置060を用いて指示を入力することで、調整後の実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bを、現在選択している仮想物体IDと共にディスク装置30に保存する。
以上述べたように、本実施形態によれば、各仮想物体毎に異なる調整値を設定し、適用することが可能となる。
[第7の実施形態]
図9は、本実施形態に係るシステムの機能構成を示すブロック図である。同図において図3と同じ部分については同じ番号を付けている。図9に示す構成は図3に示す構成と同じであるが、位置姿勢変換部270から送出される位置姿勢計測値a’、b’が調整値記憶部280にも入力されている点が、図3に示す構成のシステムとは異なる。
図9は、本実施形態に係るシステムの機能構成を示すブロック図である。同図において図3と同じ部分については同じ番号を付けている。図9に示す構成は図3に示す構成と同じであるが、位置姿勢変換部270から送出される位置姿勢計測値a’、b’が調整値記憶部280にも入力されている点が、図3に示す構成のシステムとは異なる。
このような構成を有するシステムの動作は基本的には第6の実施形態と同じであるが、以下説明する点が異なる。
本実施形態では、調整値記憶部280は、仮想物体ID距離リストを保持する。仮想物体ID距離リストは、仮想物体IDと、この仮想物体IDで特定される仮想物体の配置位置とのセットを、それぞれの仮想物体について管理するものである。
よって本実施形態では、ステップS2040において、変換された位置姿勢計測値a’、b’は、位置姿勢計測部240に入力されると共に、調整値記憶部280に対しても入力される。調整値記憶部280は、位置姿勢計測値a’、b’を入力すると、視線ベクトル(撮像部110a、110bの光学中心の姿勢ベクトル)a、bを生成する。また、仮想物体ID距離リストを探索し、撮像部110aと仮想物体配置位置とを結ぶ対象オブジェクトベクトルa、撮像部110bと仮想物体配置位置とを結ぶ対象オブジェクトベクトルbを生成する。
調整値記憶部280は、視線ベクトルaと対象オブジェクトベクトルとの内積、視線ベクトルbと対象オブジェクトベクトルとの内積を算出し、算出した内積値のセットが最も大きいくなる仮想物体のIDを選び出す。即ち、観察者が注視している仮想物体のIDを特定する。
そして、ステップS2070における実写画像調整処理、ステップS2050における位置姿勢調整処理、ステップS2100における合成画像調整処理を行う際に用いる調整値は、ステップS2040で特定した仮想物体IDに対応するものを用いる。これにより、それぞれの仮想物体に応じた調整値でもって調整処理を行うことができ、仮想物体に好適な合成画像をこの観察者に対して提供することができる。
また、図7のフローチャートにおいて、ステップS2520〜ステップS2550の任意の時点で、操作入力装置060を用いて指示を入力することで、調整後の実写画像調整値a、実写画像調整値b、位置姿勢調整値a、位置姿勢調整値b、合成画像調整値a、合成画像調整値bを、現在選択している仮想物体IDと共にディスク装置30に保存する。
以上述べたように、本実施形態によれば、各仮想物体毎に異なる調整値を設定し、さらに、観察者が注目している仮想物体に対する調整値を、自動的に適用することが可能となる。
なお、以上説明した各実施形態は適宜組み合わせて用いるようにしても良い。また、第4の実施形態から第7の実施形態では、識別情報の一例としてIDを用いたが、このIDの代わりに様々な情報を用いることも考えられる。
[その他の実施形態]
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
Claims (10)
- 頭部装着型表示装置に備わっている右目用撮像装置、左目用撮像装置からそれぞれ、右目用現実空間画像、左目用現実空間画像を取得する画像取得工程と、
前記右目用現実空間画像、及び/又は前記左目用現実空間画像を調整する画像調整工程と、
前記右目用撮像装置の略光学中心の位置姿勢を示す第1の位置姿勢情報、前記左目用撮像装置の略光学中心の位置姿勢を示す第2の位置姿勢情報を取得する位置姿勢取得工程と、
前記第1の位置姿勢情報、及び/又は前記第2の位置姿勢情報を調整する位置姿勢調整工程と、
前記第1の位置姿勢情報が示す位置姿勢を有する視点から見える右目用仮想空間画像を生成すると共に、前記第2の位置姿勢情報が示す位置姿勢を有する視点から見える左目用仮想空間画像を生成する生成工程と、
前記右目用現実空間画像と前記右目用仮想空間画像とを合成した右目用合成画像を生成すると共に、前記左目用現実空間画像と前記左目用仮想空間画像とを合成した左目用合成画像を生成する合成工程と、
前記右目用合成画像、及び/又は前記左目用合成画像を調整する合成画像調整工程と、
前記右目用合成画像、前記左目用合成画像をそれぞれ、前記頭部装着型表示装置に備わっている右目用表示装置、左目用表示装置に対して出力する出力工程と
を備えることを特徴とする画像処理方法。 - 前記画像調整工程では、画像の水平シフト量、垂直シフト量、画像の水平方向のサイズ、垂直方向のサイズ、画像の中心位置を中心とした当該画像の回転角度、のうち1以上を調整した画像を元の画像のサイズでクリッピングすることで、画像を調整することを特徴とする請求項1に記載の画像処理方法。
- 前記位置姿勢調整工程では、前記第1の位置姿勢情報、前記第2の位置姿勢情報において、x軸方向シフト量、y軸方向シフト量、z軸方向シフト量、ロール角、ピッチ角、ヨー角のうち1以上を調整することで、右目用の射影変換行列、左目用の射影変換行列を生成することを特徴とする請求項1に記載の画像処理方法。
- 前記位置姿勢調整工程では更に、前記仮想空間の画像を生成する際に用いる水平画角、垂直画角、ニアクリップ面、ファークリップ面のうち1以上を調整することで、右目用のモデルビュー行列、左目用のモデルビュー行列を生成することを特徴とする請求項3に記載の画像処理方法。
- 更に、それぞれの観察者について、観察者を識別するための識別情報と、前記画像調整工程での調整に用いる調整値と、前記位置姿勢調整工程での調整に用いる調整値と、前記合成画像調整工程での調整に用いる調整値と、のセットを管理する管理工程と、
識別情報を入力する入力工程とを備え、
前記画像調整工程、前記位置姿勢調整工程、前記合成画像調整工程では、前記入力工程で入力された識別情報に対応する調整値を用いて調整処理を行うことを特徴とする請求項1乃至4の何れか1項に記載の画像処理方法。 - 更に、それぞれの仮想物体について、仮想物体を識別するための識別情報と、前記画像調整工程での調整に用いる調整値と、前記位置姿勢調整工程での調整に用いる調整値と、前記合成画像調整工程での調整に用いる調整値と、のセットを管理する管理工程と、
識別情報を入力する入力工程とを備え、
前記画像調整工程、前記位置姿勢調整工程、前記合成画像調整工程では、前記入力工程で入力された識別情報に対応する調整値を用いて調整処理を行うことを特徴とする請求項1乃至4の何れか1項に記載の画像処理方法。 - 更に、それぞれの仮想物体について、仮想物体を識別するための識別情報と、前記画像調整工程での調整に用いる調整値と、前記位置姿勢調整工程での調整に用いる調整値と、前記合成画像調整工程での調整に用いる調整値と、のセットを管理する管理工程と、
観察者が注視している仮想物体を特定する特定工程と
を備え、
前記画像調整工程、前記位置姿勢調整工程、前記合成画像調整工程では、前記特定工程で特定された仮想物体の識別情報に対応する調整値を用いて調整処理を行うことを特徴とする請求項1乃至4の何れか1項に記載の画像処理方法。 - 頭部装着型表示装置に備わっている右目用撮像装置、左目用撮像装置からそれぞれ、右目用現実空間画像、左目用現実空間画像を取得する画像取得手段と、
前記右目用現実空間画像、及び/又は前記左目用現実空間画像を調整する画像調整手段と、
前記右目用撮像装置の略光学中心の位置姿勢を示す第1の位置姿勢情報、前記左目用撮像装置の略光学中心の位置姿勢を示す第2の位置姿勢情報を取得する位置姿勢取得手段と、
前記第1の位置姿勢情報、及び/又は前記第2の位置姿勢情報を調整する位置姿勢調整手段と、
前記第1の位置姿勢情報が示す位置姿勢を有する視点から見える右目用仮想空間画像を生成すると共に、前記第2の位置姿勢情報が示す位置姿勢を有する視点から見える左目用仮想空間画像を生成する生成手段と、
前記右目用現実空間画像と前記右目用仮想空間画像とを合成した右目用合成画像を生成すると共に、前記左目用現実空間画像と前記左目用仮想空間画像とを合成した左目用合成画像を生成する合成手段と、
前記右目用合成画像、及び/又は前記左目用合成画像を調整する合成画像調整手段と、
前記右目用合成画像、前記左目用合成画像をそれぞれ、前記頭部装着型表示装置に備わっている右目用表示装置、左目用表示装置に対して出力する出力手段と
を備えることを特徴とする画像処理装置。 - コンピュータに請求項1乃至7の何れか1項に記載の画像処理方法を実行させることを特徴とするプログラム。
- 請求項9に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005104357A JP2006285609A (ja) | 2005-03-31 | 2005-03-31 | 画像処理方法、画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005104357A JP2006285609A (ja) | 2005-03-31 | 2005-03-31 | 画像処理方法、画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006285609A true JP2006285609A (ja) | 2006-10-19 |
Family
ID=37407476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005104357A Withdrawn JP2006285609A (ja) | 2005-03-31 | 2005-03-31 | 画像処理方法、画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006285609A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008227865A (ja) * | 2007-03-12 | 2008-09-25 | Canon Inc | 頭部装着型撮像表示装置及び画像生成装置 |
JP2010092436A (ja) * | 2008-10-10 | 2010-04-22 | Canon Inc | 画像処理装置、画像処理方法 |
JP4869430B1 (ja) * | 2010-09-24 | 2012-02-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
JP2012069126A (ja) * | 2011-10-13 | 2012-04-05 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
US8163759B2 (en) | 2006-07-05 | 2012-04-24 | Mitsubishi Tanabe Pharma Corporation | Pyrazolo[1,5-A] pyrimidine compounds as CB1 receptor antagonist |
JP2012088776A (ja) * | 2010-10-15 | 2012-05-10 | Nintendo Co Ltd | 画像処理プログラム、装置、システムおよび方法 |
JP2012165085A (ja) * | 2011-02-04 | 2012-08-30 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2012527787A (ja) * | 2009-05-21 | 2012-11-08 | インテル・コーポレーション | 画像から高速に立体構築を行なう方法 |
EP2608556A1 (en) * | 2011-12-22 | 2013-06-26 | Canon Kabushiki Kaisha | Information processing apparatus |
JP2014505917A (ja) * | 2010-12-03 | 2014-03-06 | クゥアルコム・インコーポレイテッド | 3dヒューマンマシンインターフェースのためのハイブリッドリアリティ |
JP2014112887A (ja) * | 2014-01-07 | 2014-06-19 | Canon Inc | 頭部装着型表示装置、仮想画像生成装置およびそれらを有するシステム、並びに制御方法 |
CN113552947A (zh) * | 2021-07-22 | 2021-10-26 | 歌尔光学科技有限公司 | 虚拟场景的显示方法、装置和计算机可读存储介质 |
-
2005
- 2005-03-31 JP JP2005104357A patent/JP2006285609A/ja not_active Withdrawn
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8921380B2 (en) | 2006-07-05 | 2014-12-30 | Mitsubishi Tanabe Pharma Corporation | Pyrazolo[1,5-a] pyrimidine compounds as CB1 receptor antagonist |
US8163759B2 (en) | 2006-07-05 | 2012-04-24 | Mitsubishi Tanabe Pharma Corporation | Pyrazolo[1,5-A] pyrimidine compounds as CB1 receptor antagonist |
EP2123058A4 (en) * | 2007-03-12 | 2012-10-17 | Canon Kk | HEAD-MOUNTED IMAGE-DISPLAY DEVICE AND COMPOSITE IMAGE-GENERATING DEVICE |
WO2008114704A1 (en) * | 2007-03-12 | 2008-09-25 | Canon Kabushiki Kaisha | Head mounted image-sensing display device and composite image generating apparatus |
EP2123058A1 (en) * | 2007-03-12 | 2009-11-25 | Canon Kabushiki Kaisha | Head mounted image-sensing display device and composite image generating apparatus |
EP2911391A1 (en) * | 2007-03-12 | 2015-08-26 | Canon Kabushiki Kaisha | Head mounted image-sensing display device and composite image generating apparatus |
JP2008227865A (ja) * | 2007-03-12 | 2008-09-25 | Canon Inc | 頭部装着型撮像表示装置及び画像生成装置 |
US8717420B2 (en) | 2007-03-12 | 2014-05-06 | Canon Kabushiki Kaisha | Head mounted image-sensing display device and composite image generating apparatus |
US9007445B2 (en) | 2008-10-10 | 2015-04-14 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
US10748338B2 (en) | 2008-10-10 | 2020-08-18 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
US9558594B2 (en) | 2008-10-10 | 2017-01-31 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
JP2010092436A (ja) * | 2008-10-10 | 2010-04-22 | Canon Inc | 画像処理装置、画像処理方法 |
JP2012527787A (ja) * | 2009-05-21 | 2012-11-08 | インテル・コーポレーション | 画像から高速に立体構築を行なう方法 |
JP4869430B1 (ja) * | 2010-09-24 | 2012-02-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
US9530249B2 (en) | 2010-09-24 | 2016-12-27 | Nintendo Co., Ltd. | Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method |
US8956227B2 (en) | 2010-10-15 | 2015-02-17 | Nintendo Co., Ltd. | Storage medium recording image processing program, image processing device, image processing system and image processing method |
JP2012088776A (ja) * | 2010-10-15 | 2012-05-10 | Nintendo Co Ltd | 画像処理プログラム、装置、システムおよび方法 |
JP2014505917A (ja) * | 2010-12-03 | 2014-03-06 | クゥアルコム・インコーポレイテッド | 3dヒューマンマシンインターフェースのためのハイブリッドリアリティ |
JP2012165085A (ja) * | 2011-02-04 | 2012-08-30 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2012069126A (ja) * | 2011-10-13 | 2012-04-05 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
JP2013132026A (ja) * | 2011-12-22 | 2013-07-04 | Canon Inc | 情報処理装置 |
US9558719B2 (en) | 2011-12-22 | 2017-01-31 | Canon Kabushiki Kaisha | Information processing apparatus |
EP2608556A1 (en) * | 2011-12-22 | 2013-06-26 | Canon Kabushiki Kaisha | Information processing apparatus |
JP2014112887A (ja) * | 2014-01-07 | 2014-06-19 | Canon Inc | 頭部装着型表示装置、仮想画像生成装置およびそれらを有するシステム、並びに制御方法 |
CN113552947A (zh) * | 2021-07-22 | 2021-10-26 | 歌尔光学科技有限公司 | 虚拟场景的显示方法、装置和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006285609A (ja) | 画像処理方法、画像処理装置 | |
KR102517876B1 (ko) | 증강 현실 데이터를 레코딩하기 위한 기술 | |
JP4810295B2 (ja) | 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 | |
JP4933406B2 (ja) | 画像処理装置、画像処理方法 | |
JP3406965B2 (ja) | 複合現実感提示装置及びその制御方法 | |
JP4298407B2 (ja) | 映像合成装置及び映像合成方法 | |
JP4823334B2 (ja) | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 | |
JP2008040832A (ja) | 複合現実感提示システム及びその制御方法 | |
JP2010033367A (ja) | 情報処理装置及び情報処理方法 | |
JP2006209664A (ja) | システム、画像処理装置、情報処理方法 | |
JP2005038008A (ja) | 画像処理方法、画像処理装置 | |
JP2009025918A (ja) | 画像処理装置、画像処理方法 | |
US11956415B2 (en) | Head mounted display apparatus | |
JP2020004325A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4580678B2 (ja) | 注視点位置表示装置 | |
JP6687751B2 (ja) | 画像表示システム、画像表示装置、その制御方法、及びプログラム | |
JP2006012042A (ja) | 画像生成方法及び装置 | |
US20220300120A1 (en) | Information processing apparatus, and control method | |
JP2007148567A (ja) | 画像処理方法、画像処理装置 | |
JP2022554200A (ja) | 非均一ステレオレンダリング | |
JP2018088604A (ja) | 画像表示装置、画像表示方法、システム | |
JP4889036B2 (ja) | 画像処理装置、画像処理方法 | |
US11287658B2 (en) | Picture processing device, picture distribution system, and picture processing method | |
JP4217661B2 (ja) | 画像処理方法、画像処理装置 | |
JP2005107968A (ja) | 画像表示装置及び方法並びに情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080603 |