JP5769751B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮像された画像データに仮想画像データを合成して複合現実画像データを生成する技術に関するものである。

近年、現実世界と仮想世界とをリアルタイム且つシームレスに融合させる技術として複合現実感、所謂、ＭＲ（Mixed Reality）技術が知られている。ＭＲ技術の一つに、ビデオシースルー型ＨＭＤ（Head Mounted Display）を利用して複合現実画像をＨＭＤ使用者が観察することができる技術が知られている。複合現実画像は、ＨＭＤ使用者の視線位置から観察される被写体と略一致する被写体をビデオカメラ等で撮像し、その撮像画像データにＣＧ（Computer Graphics）を重畳表示して作り出される。

ビデオシースルー型ＨＭＤに取り付けられている撮像ユニットは、ＨＭＤ使用者の視線位置と略一致する外界の観察画像データを撮像する。撮像ユニットは、ステレオ画像データを生成するための右目用と左目用との二組の撮像素子及び光学系、並びに、画像処理を行うためのＤＳＰ（Digital Signal Processor）を備える。表示ユニットは、ＨＭＤ使用者の視線位置から観察される被写体と略一致する被写体にＣＧが合成された複合現実画像データを表示する。また、表示ユニットは、撮像ユニットと同様に左右構成であり、右目用と左目用との二組の表示デバイス及び光学系から構成される。

ここで、外界と複合現実画像データとの関係について説明する。上述した表示ユニットは、外部装置から入力された画像データをそのまま表示する構成となっている。従って、外界が夕暮れどきであれ、真昼の非常に明るいときであれ、木陰の少し薄暗い環境のときであれ、表示ユニットに映し出される複合現実画像データは、ＨＭＤ使用者の外界環境に影響されない、一様に明るさ調整及び色調整された画像データであるのが一般的である。そのため、ＨＭＤ使用者が感じる周囲環境の明るさ及び色感覚と、実際の外界環境との間に乖離が生じる場合があった。

光学シースルー型ＨＭＤの場合にも同様に、この影響を無視することはできない。光学シースルー型ＨＭＤにおいて外界シースルー画像にＣＧを重畳させる場合、ＣＧのみが一様に明るさ調整及び色調整されているため、ＣＧと外界シースルー画像との明るさ及び色のバランスが異なる。そのため、外界環境によっては、ＣＧが外界シースルー画像に対して不自然な明るさ及び色となり、臨場感が損なわれる場合が発生するという課題があった。

これに対し、特許文献１には、明るい環境下では、撮像ユニットのシャッタスピードを短く、且つ、表示ユニットの照明光源の点灯時間を長くし、一方、暗い環境下では、シャッタスピードを長く、且つ、照明光源の点灯時間を短くする技術が開示されている。これにより、特許文献１に開示される技術は、様々な外界環境においても、表示ユニットの表示明るさをシースルー光に合わせた明るさに保つことを図っている。また、特許文献１に開示される技術は、撮像ユニットのシャッタスピードを外界の明るさに合わせて変更することにより、ある範囲に明るさを保って撮像することを図っている。

特許文献２には、センサにより外界の色温度を検出し、検出した色温度に合わせて表示ユニットに表示する表示画像データのカラーバランスを調整する技術が開示されている。これにより、特許文献２に開示される技術によれば、シースルー光とのアンバランスの少ない表示画像データを生成することを図っている。

特開２００２−２４４０７７号公報 特許第０３４２３４０２号公報

しかしながら、特許文献１及び２に開示される技術は、外界の照明環境に合わせて表示画像データの明るさ及び色を調整する技術であり、ビデオシースルー型ＨＭＤにおいて、外界の照明環境と一致した複合現実画像データを表示させることはできない。

そこで、本発明の目的は、外界の照明環境と一致させた複合現実画像データを生成することにある。

本発明の画像処理装置は、撮像装置により撮像された現実空間の画像データを撮像した時の、前記現実空間の照明環境を示す照明環境情報を取得する取得手段と、前記取得手段で取得された照明環境情報に基づいて、前記画像データを標準画像データに変換する第１の変換手段と、前記標準画像データと仮想画像データとが合成された標準複合現実画像データを生成する生成手段と、前記生成手段によって生成された標準複合現実画像データを、前記照明環境情報に基づいて前記現実空間の照明環境に対応する複合現実画像データに変換する第２の変換手段と、前記第２の変換手段によって変換された前記現実空間の照明環境に対応する複合現実画像データを出力する出力手段とを有することを特徴とする。

本発明によれば、外界の照明環境と一致させた複合現実画像データを生成することが可能となる。

本発明の第１の実施形態に係るビデオシースルー型ＨＭＤを利用した複合現実システムの機能的な構成を示す図である。 本発明の第１の実施形態に係るビデオシースルー型ＨＭＤにおける、標準照明環境処理部、局所照明環境処理部及びその周辺の詳細な構成を示す図である。 ＲＧＢ画像フォーマットにおけるＲＧＢ信号強度と色温度との対応関係を示す図である。 本発明の第１の実施形態に係るビデオシースルー型ＨＭＤにおける標準照明環境処理部の処理を示すフローチャートである。 本発明の第１の実施形態における局所照明環境処理部１０７の画像データの流れを示すフローチャートである。 本発明の第１の実施形態におけるビデオシースルー型ＨＭＤの局所照明環境処理部によるタイミング調整処理を示すフローチャートである。 本発明の第１の実施形態における局所照明環境処理の画像データの流れと情報の流れとの時間関係を示すタイムチャートである。 照明環境情報のデータ構造を示す図である。 撮像デバイス特性及び表示デバイス特性を説明するための図である。 本発明の第２の実施形態に係るビデオシースルー型ＨＭＤを利用した複合現実システムの機能的な構成を示す図である。 本発明の第２の実施形態におけるビデオシースルー型ＨＭＤのより詳細な構成を示す図である。 本発明の第２の実施形態における画像合成処理及び局所照明環境処理の画像データの流れと情報の流れとの時間関係を示すタイムチャートである。 本発明の第２の実施形態における複合現実システムの変形例を説明するための図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。図１は、第１の実施形態に係るビデオシースルー型ＨＭＤ（Head Mounted Display）１０１を利用した複合現実システムの機能的な構成を示す図である。図１において、１０１は、第１の実施形態に係るビデオシースルー型ＨＭＤである。ビデオシースルー型ＨＭＤ１０１は、撮像ユニット１０３、標準照明環境処理部１０４、画像出力部１０５、画像入力部１０６、局所照明環境処理部１０７及び表示ユニット１０８を備える。なお、ビデオシースルー型ＨＭＤ１０１は、複合現実画像処理装置の例となる構成である。

撮像ユニット１０３は、ＨＭＤ使用者の視線位置と略一致する外界の画像データ（以下、撮像画像データと称す）を撮像する。撮像ユニット１０３は、ステレオ画像データを生成するための、右目用と左目用との二組の撮像素子及び光学系、並びに、画像処理を行うためのＤＳＰを備える。撮像素子には、ＣＣＤやＣＭＯＳに代表される固体撮像素子が使用される。

表示ユニット１０８は、撮像画像データとＣＧとが合成された複合現実画像データ（ＭＲ画像データ）を表示する。表示ユニット１０８は、撮像ユニット１０３と同様に左右構成であり、右目用と左目用との二組の表示デバイス及び光学系を備える。なお、表示デバイスには、小型の液晶ディスプレイやＭＥＭＳ（Micro Electro Mechanical Systems）による網膜スキャンタイプのデバイスが使用される。

画像出力部１０５は、装置間のインタフェースに合わせて出力画像データのフォーマットを変換する。画像入力部１０６は、装置間のインタフェースに合わせて入力画像データのフォーマットを変換する。画像出力部１０５及び画像入力部１０６のインタフェースとしては、リアルタイム性が求められ且つ大容量の伝送が可能な、例えば、ＵＳＢやＩＥＥＥ１３９４等のメタル線又はＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが使用される。

図１において、１０２は画像処理装置である。画像処理装置１０２は、画像出力部１０５、画像入力部１０６、位置姿勢計測部１０９、撮像画像格納部１１０、コンテンツＤＢ１１１、ＣＧ描画部１１２及び画像合成部１１３を備える。なお、画像処理装置１０２は、ＰＣやワークステーション等の高性能な演算処理機能やグラフィック生成及び表示機能を有する情報処理装置によって構成することができる。

位置姿勢計測部１０９は、ＨＭＤ使用者の位置及び姿勢のうちの少なくとも何れか一方を示す位置姿勢情報を計測する。即ち、位置姿勢計測部１０９は、画像入力部１０６から入力された撮像画像データからマーカや自然特徴を抽出し、それらを用いて位置姿勢情報を計測する。計測された位置姿勢情報は、描画される仮想画像データ（ＣＧ）の形状を計算に使用するため、ＣＧ描画部１１２に対して随時出力される。

コンテンツＤＢ１１１は、仮想画像データのコンテンツを蓄積するデータベースである。ＣＧ描画部１１２は、位置姿勢計測部１０９で計測された位置姿勢情報と、コンテンツＤＢ１１１に蓄積されるコンテンツとに基づいて、仮想画像データの描画を行う。撮像画像格納部１１０は、画像入力部１０６から入力された撮像画像データを格納する。画像合成部１１３は、撮像画像データと仮想画像データとを合成する。仮想画像データを重畳する対象である撮像画像データは、仮想画像データを描画するための位置姿勢情報が検出された撮像画像データであることが望ましい。但し、システム間の伝送遅延やＣＧ描画の処理時間等のためにリアルタイム性が損なわれる場合、仮想画像データが生成されたタイミングにおいて最も新しく更新された撮像画像データに対して重畳処理を行う構成であってもよい。このときのＣＧ描画には位置姿勢情報として予測値を用いれば、撮像画像データと仮想画像データとの時間ずれを抑制することができる。

以上を踏まえ、簡略的に画像データの流れについて説明する。撮像ユニット１０３から出力される撮像画像データは、標準照明環境処理部１０４で処理された後、画像処理装置１０２に出力され、撮像画像格納部１１０において格納される。そして、撮像画像格納部１１０に格納された撮像画像データは、画像合成部１１３で仮想画像データが重畳される。これにより、複合現実画像データが生成される。生成された複合現実画像データは、ビデオシースルー型ＨＭＤ１０１に出力され、局所照明環境処理部１０７で処理された後、表示ユニット１０８にて表示される。

図２は、ビデオシースルー型ＨＭＤ１０１における、標準照明環境処理部１０４、局所照明環境処理部１０７及びその周辺の詳細な構成を示す図である。

撮像ユニット１０３では、極力、見た目そのままの状態になるように撮像画像データを撮像する。外界が暗ければ、撮像画像データは暗くなり、外界が明るければ、撮像画像データは明るくなる。また、外界の色温度が高ければ、撮像画像データの色温度も高くなり、外界の色温度が低ければ、撮像画像データの色温度も低くなる。このように撮像ユニット１０３は、極力、外界環境と一致する撮像画像データとなるような撮像処理を行う。これは、撮像デバイスで光電変換を行ったアナログ信号をそのままＡＤ変換した画像データが外界環境と一致する撮像画像データとなることを意味するわけではない。撮像デバイスへは多くの光を導くことでアナログノイズを低減し、後述する撮像デバイス特性補正部２０１で輝度の補正を実施することが望ましい。また、カラーフィルタ等に起因する色の補正も実施することが望ましい。撮像ユニット１０３では、ユニット全体として撮像画像データの環境を外界環境と一致させるための処理を行う。２０１は、撮像ユニット１０３の構成要素である撮像デバイス特性補正部である。撮像デバイス特性補正部２０１は、個々の撮像デバイスに依存する特性を補正する。

図２に示すように、標準照明環境処理部１０４は、照明環境情報抽出部２０２、画像識別情報源２０３、輝度変換部２０４及び色変換部２０５を備える。照明環境情報抽出部２０２は、撮像画像データから色温度情報及び輝度情報といった外界の照明環境を示す情報（以下、照明環境情報と称す）を画像処理により抽出する。そして、照明環境情報抽出部２０２は、画像識別情報源２０３に含まれる画像識別情報と合わせて局所照明環境処理部１０７に対して出力する。ここで、輝度情報は、例えばＹＵＶフォーマットの撮像画像データにおけるＹ信号を示す情報である。色温度情報は、例えばＲＧＢフォーマットの撮像画像データにおけるＲＧＢ信号強度の比率から算出される色温度を示す情報である。上述した処理とともに、照明環境情報抽出部２０２は、電子透かし技術で画像識別情報を撮像画像データに埋め込み、輝度変換部２０４に対して出力する。なお、画像識別情報は、撮像画像データの属性として付加されていればよい。そのため、画像識別情報を画像データのヘッダに付加してもよく、システム構成により画像識別情報の合成方法や付加方法が異なってもよい。

画像識別情報源２０３は、画像識別情報の集合である。画像識別情報は、少なくとも、撮像画像データが撮像された時点から、その撮像画像データに仮想画像データが重畳される時点までの画像データを識別することができる情報であればよい。そのため、撮像画像データを撮像してから、当該撮像画像データに仮想画像データが重畳されるまでに１０フレーム分の時間が必要であるとすると、１０フレーム分の画像識別情報を用意すればよいため、画像識別情報は４ビットでよい。このように、画像識別情報は画像データを一意に特定することができればよく、簡単には、撮像画像データへの単なるナンバリングでも実現できるし、撮像画像データが撮像された時刻のタイムスタンプとしても実現することができる。実際には、撮像画像データの撮像から、当該撮像画像データに仮想画像データが重畳されるまでの時間の揺らぎや、画像識別情報を撮像画像データが撮像された日時情報としても用いる等の要素を考慮して、画像識別情報の実現手段及び情報量は決定される。

輝度変換部２０４は、撮像画像データの輝度を変換する。輝度変換部２０４は、例えばＹＵＶフォーマットの撮像画像データにおけるＹ信号を調整する処理を行う。Ｙ信号が８ビット、１０進数で０〜２５５の範囲で表現されている場合、例えば、中心値の１２７付近に調整される。このとき、ＲＧＢフォーマットに変換したときにＲＧＢそれぞれの値が定義域内に収まるようにする。ＲＧＢそれぞれの信号が８ビットで表現され、以下のＲＧＢ−ＹＵＶ変換式を用いる場合、輝度変換部２０４は、ＲＧＢそれぞれの信号が１０進数で０〜２５５の範囲に収まるようにＹ信号の調整を行う。
Ｒ＝Ｙ＋１．４０２００Ｖ
Ｇ＝Ｙ−０．３４４１１４Ｕ−０．７１４１４Ｖ
Ｂ＝Ｙ＋１．７７２００Ｕ

Ｙ信号の調整値は、撮像画像データが明る過ぎず、暗過ぎずに見た目に心地よいと感じる値を選ぶのが望ましく、撮像対象、撮像画像データの観察環境及びアプリケーション等を考慮して決められる。輝度変換の前後で必要に応じて画像データのフォーマット変換が行われる。ここでの輝度変換の処理は、デジタル信号レベルで行う明るさ調整を意味する。

色変換部２０５は、撮像画像データの色温度を変換する。色変換部２０５は、例えば、ＲＧＢフォーマットの撮像画像データにおけるＲＧＢ信号強度の比率が１：１：１となるよう調整する処理を行う。ＲＧＢ信号の調整比率は、撮像画像データの観察環境及びアプリケーション等を考慮して選ばれたｓＲＧＢ等の規格で定義されている色温度に対応する比率としてもよい。なお、色温度をＲＧＢ信号強度の比率から色温度を算出する方法については、図３を用いて後述する。色変換の前後で必要に応じて撮像画像データのフォーマット変換が行われる。色変換部２０５における色変換は、デジタル信号レベルで行うホワイトバランス調整を意味する。

図２に示すように、局所照明環境処理部１０７は、照明環境情報処理部２０６、画像識別情報抽出部２０７、タイミング調整部２０８、画像格納部２０９、輝度変換部２１０及び色変換部２１１を備える。

照明環境情報処理部２０６は、照明環境情報を格納するための格納部（不図示）を含み、照明環境情報抽出部２０２から入力される照明環境情報を順次格納する。また、照明環境情報処理部２０６は、タイミング調整部２０８から画像識別情報を入力することにより、当該画像識別情報に一致する照明環境情報を読み出し、読み出し成功信号（ＡＣＫ）をタイミング調整部２０８に対して出力する。それとともに、照明環境情報処理部２０６は、画像識別情報及び照明環境情報に含まれる輝度情報を輝度変換部２１０に対して出力するとともに、画像識別情報及び照明環境情報に含まれる色温度情報を色変換部２１１に対して出力する。

画像識別情報抽出部２０７は、複合現実画像データから画像識別情報を抽出する。この画像識別情報は、照明環境情報抽出部２０２において撮像画像データに埋め込まれた画像識別情報である。複合現実画像データから抽出された画像識別情報は、タイミング調整部２０８に対して出力される。また、画像識別情報抽出部２０７は、複合現実画像データを、抽出した画像識別情報と一体として画像格納部２０９に格納する。

タイミング調整部２０８は、画像識別情報抽出部２０７から入力した画像識別情報を照明環境情報処理部２０６に対して出力する。照明環境情報処理部２０６は、当該画像識別情報に一致する照明環境情報の読み出しが成功すれば、読み出し成功信号（ＡＣＫ）をタイミング調整部２０８に対して出力する。タイミング調整部２０８は、ＡＣＫ確認後に、画像格納部２０９からの複合現実画像データの読み出しタイミングを調整する。即ち、タイミング調整部２０８は、読み出された照明環境情報を用いた処理が輝度変換部２１０において実行可能な状態になるタイミングで、画像格納部２０９からの複合現実画像データの読み出しが行われるように調整する。この調整により、輝度変換部２１０及び色変換部２１１では、照明環境情報を用いた輝度変換及び色変換を極力少ない遅延で順次行えるようになる。

画像格納部２０９は、複合現実画像データを格納するラインバッファ又はフレームバッファから構成される。画像格納部２０９は、画像識別情報抽出部２０７により抽出された画像識別情報とともに複合現実画像データを格納する。輝度変換部２１０は、複合現実画像データの輝度を変換する。処理内容は、輝度変換部２０４による撮像画像データの輝度変換と同様であるが、調整値には、照明環境情報の輝度情報が用いられる。輝度変換部２１０は、画像格納部２０９から複合現実画像データとともに画像識別情報を読み出し、照明環境情報の画像識別情報と比較してエラーチェックを行うこともできる。この輝度変換により、複合現実画像データの輝度は、撮像画像データにおける輝度変換部２０４での変換処理前の輝度と略一致することになる。

色変換部２１１は、複合現実画像データの色温度を変換する。処理内容は、色変換部２０５による撮像画像データの色変換と同様であるが、色変換部２１１は、照明環境情報の色温度情報に基づいたＲＧＢ信号の調整を行う。色変換部２１１は、輝度変換部２１０から複合現実画像データとともに画像識別情報を入力し、照明環境情報の画像識別情報と比較してエラーチェックを行うこともできる。この色変換処理により、複合現実画像データの色温度は、撮像画像データにおける色変換部２０５での変換処理前の色温度と略一致することになる。

表示ユニット１０８は、入力された複合現実画像データをその輝度や色味を保持したまま表示する。入力された複合現実画像データが暗ければ、ＨＭＤ観察画像データは暗くなり、入力された複合現実画像データが明るければ、ＨＭＤ観察画像データは明るくなる。また、入力された複合現実画像データの色温度が高ければ、ＨＭＤ観察画像データの色温度も高くなり、入力された複合現実画像データの色温度が低ければ、ＨＭＤ観察画像データの色温度も低くなる。表示ユニット１０８は、後述する表示デバイス特性補正部２１２で表示デバイス固有の特性を抑制し、表示ユニット１０８に入力された複合現実画像データがＨＭＤ観察画像データとなるように処理を行う。２１２は、表示ユニット１０８の構成要素である表示デバイス特性補正部である。表示デバイス特性補正部２１２は、個々の表示デバイスに依存する特性を補正する。

図３は、ＲＧＢ画像フォーマットにおけるＲＧＢ信号強度と色温度との対応関係を示す図である。色温度６５００Ｋを基準とし、色温度６５００Ｋで白色板を撮像したときのＲＧＢ信号比率が１：１：１となるようにＲＧＢ信号ゲインが調整される。これを、基準色温度６５００Ｋでの白色ＲＧＢ信号ゲインと称す。このＲＧＢ信号ゲインを保ったまま、同じ白色板を様々な色温度で撮像したときの各色温度に対するＲＧＢ信号強度の関係を図３に示している。様々な外界環境での色温度を求める際には、先ず、基準色温度６５００Ｋにおける白色ＲＧＢ信号ゲインでのＲＧＢ信号強度が算出される。次に、このＲＧＢ信号強度の比率と図３に示す対応関係とから色温度を求めることができる。Ｒ／Ｇ対Ｂ／Ｇが４対１の場合、図３より色温度は約３５００Ｋとなる。ここで比率を用いるのは、画像データの明るさ程度によりＲＧＢ信号強度全体にバイアスがかかる影響を考慮してのことであるが、事前に輝度調整を行えばＲＧＢ信号強度から色温度を求めることもできる。なお、図３を用いて説明した方法は、色温度をＲＧＢ信号強度の比率から算出する方法であり、画像データから色温度を算出する方法の一例である。

図４は、ビデオシースルー型ＨＭＤ１０１における標準照明環境処理部１０４の処理を示すフローチャートである。以下、図４を参照しながら、標準照明環境処理部１０４の処理について説明する。なお、図４並びに後述する図５及び図６に示す処理は、ビデオシースルー型ＨＭＤ１０１内において、ＣＰＵがＲＯＭ等の記録媒体から必要なプログラム及びデータを読み込んで実行することにより実現する処理である。

ステップＳ４０１において、照明環境情報抽出部２０２は、撮像ユニット１０３の撮像デバイス特性補正部２０１から撮像画像データを入力する。ステップＳ４０２において、照明環境情報抽出部２０２は、入力した撮像画像データから色温度情報及び輝度情報を含む照明環境情報を抽出する。抽出された照明環境情報は、画像識別情報源２０３からの画像識別情報とともに照明環境情報処理部２０６に対して出力される。

ステップＳ４０３において、照明環境情報抽出部２０２は、画像識別情報源２０３から供給される画像識別情報を撮像画像データに合成又は付加する。電子透かし技術で画像識別情報を撮像画像データに合成してもよいし、撮像画像データのヘッダに画像識別情報を付加するようにしてもよい。画像識別情報が合成又は付加された撮像画像データは、輝度変換部２０４に対して出力される。

ステップＳ４０４において、輝度変換部２０４は、撮像画像データの輝度変換を行う。輝度変換後の撮像画像データは、色変換部２０５に対して出力される。ステップＳ４０５において、色変換部２０５は、撮像画像データの色変換を行う。色変換後の撮像画像データは、ビデオシースルー型ＨＭＤ１０１の画像出力部１０５に対して出力される。

次に、図５及び図６を参照しながら、ビデオシースルー型ＨＭＤ１０１における局所照明環境処理部１０７の処理について説明する。図５は、局所照明環境処理部１０７における画像データの流れを示すフローチャートである。

ステップＳ５０１において、画像識別情報抽出部２０７は、画像入力部１０６から複合現実画像データを入力する。ステップＳ５０２において、画像識別情報抽出部２０７は、複合現実画像データから画像識別情報を抽出する。画像識別情報が抽出された複合現実画像データは、画像識別情報とともに画像格納部２０９に対して出力される。また、抽出された画像識別情報は、タイミング調整部２０８に対しても出力される。

ステップＳ５０３において、画像格納部２０９は、画像識別情報と複合現実画像データとを対応付けて格納する。ステップＳ５０４において、輝度変換部２１０は、画像格納部２０９から複合現実画像データを読み出す。即ち、画像格納部２０９は、タイミング調整部２０８から画像識別情報及び画像読み出し許可を入力することに応じて、当該画像識別情報に対応する複合現実画像データを読み出しができる状態にする。輝度変換部２１０は、画像格納部２０９からの複合現実画像データの読み出しが可能になった時点で、当該表示画像データを読み出す。

ステップＳ５０５において、輝度変換部２１０は、複合現実画像データの輝度変換を行う。調整値には、照明環境情報処理部２０６からの照明環境情報に含まれる輝度情報が用いられる。輝度変換後の表示画像データは、色変換部２１１に対して出力される。ステップＳ５０６において、色変換部２１１は、表示画像データの色変換を行う。即ち、色変換部２１１は、照明環境情報処理部２０６からの照明環境情報に含まれる色温度情報に基づいたＲＧＢ信号の調整を行う。色変換後の表示画像データは、表示ユニット１０８の表示デバイス特性補正部２１２に対して出力される。

図６は、ビデオシースルー型ＨＭＤ１０１の局所照明環境処理部１０７によるタイミング調整処理を示すフローチャートである。

ステップＳ６０１において、画像識別情報抽出部２０７は、複合現実画像データから画像識別情報を抽出する。抽出された画像識別情報は、タイミング調整部２０８に対して出力される。ステップＳ６０２において、タイミング調整部２０８は、画像識別情報抽出部２０７から入力した画像識別情報を、照明環境情報処理部２０６に対して出力する。

ステップＳ６０３において、照明環境情報処理部２０６は、タイミング調整部２０８から入力した画像識別情報に一致する照明環境情報を格納部から読み出す。照明環境情報処理部２０６は、照明環境情報抽出部２０２から入力した画像識別情報及び照明環状情報を一纏まりにして格納している。照明環境情報の読み出しに成功すれば、照明環境情報処理部２０６は、タイミング調整部２０８に対して読み出し成功信号（ＡＣＫ）を出力する。照明環境情報処理部２０６は、ＡＣＫを出力すると同時に、輝度変換部２１０及び色変換部２１１それぞれに対して照明環境情報及び画像識別情報を出力する。

ステップＳ６０４において、タイミング調整部２０８は、ＡＣＫを入力したか否かを判定する。タイムアウト時間を超えてもＡＣＫを入力していない場合、処理はステップＳ６０２に戻り、タイミング調整部２０８は、照明環境情報処理部２０６に対して１フレーム前の複合現実画像データの画像識別情報を出力する。一方、タイムアウト時間内にＡＣＫを入力した場合、処理はステップＳ６０５に移行する。

ステップＳ６０５において、輝度変換部２１０は、照明環境情報処理部２０６からの照明環境情報を用いた輝度変換処理が実行可能状態になるタイミングで、画像入力レディー信号を画像識別情報とともにタイミング調整部２０８に対して出力する。

ステップＳ６０６において、タイミング調整部２０８は、画像識別情報及び画像入力レディー信号の入力をトリガとして、画像格納部２０９に対して当該画像識別情報に対応する複合現実画像データの読み出し許可を指示する。輝度変換部２１０は、画像格納部２０９からの画像読み出しが可能になった時点で復号現実画像データの読み出しを行う。

以上のステップＳ６０１からＳ６０６までの処理により、輝度変換部２１０及び色変換部２１１では、照明環境情報を用いた輝度変換処理及び色変換処理を極力少ない遅延で順次行えるようになる。

図７は、第１の実施形態における局所照明環境処理の画像データの流れと情報の流れとの時間関係を示すタイムチャートである。図７に示すようは、本実施形態では、画像識別情報抽出部２０７において複合現実画像データが入力され、当該複合現実画像データから画像識別情報が抽出される。その後、画像格納部２０９において複合現実画像データが格納される。画像格納部２０９において複合現実画像データが格納される一方で、タイミング調整部２０８における当該複合現実画像データの画像識別情報の出力処理、照明環境情報処理部２０６における当該画像識別情報の読み出し処理、並びに、タイミング調整部２０８におけるＡＣＫ入力処理及び画像入力レディー信号取得処理が行われる。そして、画像格納部２０９において複合現実画像データが格納された後であって、且つ、タイミング調整部２０８における画像入力レディー信号取得処理の後、輝度変換部２１０における輝度変換処理、及び、色変換部２１１における色変換処理が実行される。

図８は、照明環境情報のデータ構造を示す図である。図８（ａ）に示すように、照明環境情報は、画像識別情報（日時情報）、色温度情報及び輝度情報から構成される。

図８（ｂ）は、画像識別情報（日時情報）のデータ構造例を示している。図８（ｂ）に示すように、画像識別情報（日時情報）は、撮像画像データが撮像された時点を示す情報であり、日付と時刻とに大別され、日付は西暦、月及び日から成り、時刻は時、分、秒及びミリ秒から成る。ここでは、全４０ビットでの構成例を示している。

画像識別情報（日時情報）は、撮像画像データが撮像された時点から、その撮像画像データに仮想画像データが重畳される時点までの画像データを識別可能な情報であればよい。そのため、上述したように、この時間間隔が１０フレーム分に相当する場合は、１０フレーム分の画像データをそれぞれ識別できればよい。しかし、実際には、仮想画像データ生成に要する時間の揺らぎや、画像識別情報を撮像画像データの属性情報としても用いる等の要素を考慮して、画像識別情報のデータ構造が決定される。仮想画像データ生成に要する時間の揺らぎのために、上述した識別すべき時間間隔が１２０フレームから１８０フレーム程度で一定ではない場合には、マージンを持たせたデータ構造、例えば、２４０フレーム分の画像データを識別することができるデータ構造にするのが望ましい。画像識別情報を撮像画像データの属性情報としても用いる場合には、図８（ｂ）のデータ構造に加えて、解像度、画像フォーマット及びシャッタスピード等の属性情報を追加したデータ構造とするのが望ましい。図８（ｃ）及び図８（ｄ）はそれぞれ、色温度情報及び輝度情報のデータ構造例を示している。色温度情報は、図８（ｃ）に示すように、色温度自体を示す情報である。輝度情報は、図８（ｄ）に示すように、画像データをＹＵＶフォーマットで表現したときのＹ信号を示す情報である。

図９は、撮像デバイス特性及び表示デバイス特性を説明するための図である。撮像デバイス特性の代表例としては、受光周波数特性及び感度特性が挙げられる。

図９（ａ）は、撮像デバイスの受光周波数特性の一例を示している。撮像デバイスに使用されているカラーフィルタや周辺部材の吸収及び散乱の影響により、撮像デバイスが受光できる周波数特性は、撮像デバイス毎に異なる。これは、撮像画像データの色味に影響を与える。

図９（ｂ）は、撮像デバイスの感度特性の一例を示している。撮像デバイスはベイヤー配列であり、白色撮像時における画面中央部の信号出力（ＶＧｒ、ＶＧｂ、ＶＲ、ＶＢ）を測定しているものとする。ＲＧＢ単色それぞれの光強度が同じならば、光電変換後の電気信号の強度もＲＧＢそれぞれで同じとなるように、電気信号のゲインを調整する必要がある。これは、撮像画像データの輝度に影響を与えることになる。

撮像デバイス特性は、上記受光周波数特性及び感度特性に限定されるものではなく、ＩＲフィルタ、アナログ伝送特性等、撮像ユニット１０３内の他の要素も考えられる。撮像デバイス特性補正部２０１は、撮像ユニット１０３の構成要素に依存する特性の補正（色味、輝度等）を行う。

表示デバイス特性の代表例としては、光源の発光周波数特性及び輝度特性が挙げられる。図９（ｃ）は、光源の発光周波数特性の一例を示している。光源としてＲＧＢ３色のＬＥＤを使用している場合のＲＧＢそれぞれの発光周波数に対応する。これは、複合現実画像データの色味に影響を与える。

図９（ｄ）は、光源の輝度特性の一例を示している。ＲＧＢ単色それぞれの光強度を調整しようとするならば、ＬＥＤに流れる電流をＲＧＢそれぞれで調整する必要がある。これは、複合現実画像データの輝度に影響を与える。

表示デバイス特性は、上記光源の発光周波数特性及び輝度特性に限定されるものではなく、表示パネルの液晶フィルタ特性、レンズ特性等、表示ユニット１０８内の他の要素も考えられる。表示デバイス特性補正部２１２は、表示ユニット１０８の構成要素に依存する特性（色味、輝度等）の補正を行う。

以上のように、本実施形態によれば、撮像画像データから抽出された照明環境情報を利用して複合現実画像データを動的に外界の照明環境に合った画像データにすることができる。従って、ＨＭＤ使用者が感じる周囲環境の明るさ及び色感覚と、実際の外界環境とを略一致させることができ、複合現実空間への没入感を高めることができる。

また、ビデオシースルー型ＨＭＤ１０１から画像処理装置１０２に出力される撮像画像データは、撮像デバイス依存の特性がキャンセルされ、且つ、明るさ及びホワイトバランスが調整された画像データである。そのため、カラーマッチングの基本的な考えを踏襲している、位置姿勢検出のための撮像画像データからのマーカ抽出が容易になる、仮想画像データ描画時の光源色温度や輝度をシステム毎に変更する必要がない、圧縮による画像データの欠落が軽減される、等の利点がある。また、表示ユニット１０８では、複合現実画像データから表示デバイス依存の特性がキャンセルされるため、表示デバイスに依存しない規格に沿った画像データとすることが可能となる。さらに、ビデオシースルー型ＨＭＤ１０１自体の構成要素とは別のセンサを必要とせず、撮像画像データと複合現実画像データとの対応関係を利用しているため、構成が容易となる。

次に、本発明の第２の実施形態について説明する。図１０は、第２の実施形態に係るビデオシースルー型ＨＭＤ１００１を利用した複合現実システムの機能的な構成を示す図である。図１０において、１００１は、第２の実施形態に係るビデオシースルー型ＨＭＤである。ビデオシースルー型ＨＭＤ１００１は、撮像ユニット１０３、標準照明環境処理部１０４、撮像画像格納部１１０、画像入力部１０６、時間整合部１００４、画像合成部１１３、局所照明環境処理部１０７、表示ユニット１０８、位置姿勢計測部１０９、Ｉ／Ｆ部１００３及び画像出力部１０５を備える。

また、図１０において、１００２は画像処理装置である。画像処理装置１００２は、Ｉ／Ｆ部１００３、コンテンツＤＢ１１１、ＣＧ描画部１１２及び画像出力部１０５を備える。画像処理装置１００２は、パソコンやワークステーション等の高性能な演算処理機能やグラフィック生成及び表示機能を有する装置で構成することができる。１００５は外部出力装置である。これは、ＰＤＰ、有機ＥＬディスプレイ及び液晶ディスプレイ等の表示装置である。なお、図１０において、図１と同じ構成には図１と同じ符号を付している。

第１の実施形態では、撮像画像データをビデオシースルー型ＨＭＤ１００１から画像処理装置１０２に対して出力させている。これに対し、第２の実施形態では、位置姿勢情報及び画像識別情報をビデオシースルー型ＨＭＤ１００１から画像処理装置１００２に対して出力させ、撮像画像データと画像識別情報とを一纏めにしてビデオシースルー型ＨＭＤ１００１の撮像画像格納部１１０に格納させる。第１の実施形態は、既存の画像処理装置が有する機能を用いて実現できるため、ビデオシースルー型ＨＭＤ１０１を簡単に構成することができるという利点がある。一方、第２の実施形態では、ビデオシースルー型ＨＭＤ１００１と画像処理装置１００２との間の通信容量を削減することができ、且つ、画像データ出力による遅延を小さくすることができるという利点がある。

画像処理装置１００２は、位置姿勢情報から仮想画像データを生成し、その仮想画像データを画像識別情報とともにビデオシースルー型ＨＭＤ１００１に対して出力する。画像識別情報は、電子透かし技術で仮想画像データに埋め込まれるか、仮想画像データのヘッダに付加される。撮像画像データと仮想画像データとの合成は、ビデオシースルー型ＨＭＤ１００１で行われ、その合成画像データである複合現実画像データが表示ユニット１０８で表示される。

撮像画像データと仮想画像データとの合成がビデオシースルー型ＨＭＤ１００１で行われるため、その撮像画像データと仮想画像データとの時間ずれを無くすための時間整合処理をビデオシースルー型ＨＭＤ１００１で行う必要がある。そこで、第２の実施形態では、時間整合部１００４を新たに設け、撮像画像データと時間軸で一致する仮想画像データの合成を画像合成部１１３において行えるようにする。時間整合部１００４は、画像合成部１１３の時間整合処理とともに局所照明環境処理部１０７の時間整合処理を行う。

第２の実施形態では、ビデオシースルー型ＨＭＤ１００１が画像合成部１１３を有しているため、複合現実画像データはビデオシースルー型ＨＭＤ１００１のみが有する構成となる。また、複合現実画像データをＨＭＤ使用者以外にも観察できるようにするために、画像合成部１１３からは局所照明環境処理部１０７だけでなく画像出力部１０５に対しても複合現実画像データが出力される。外部出力装置１００５に対しては、画像出力部１０５から複合現実画像データが出力される。この構成により、外部出力装置１００５に対して出力される複合現実画像データは、ＨＭＤ使用者の観察環境に依存しない画像データにすることができる。複合現実画像データをｓＲＧＢ等の規格に則った画像データとしておくことにより、外部出力装置１００５側でその観察環境に適した画像データに変換することができる。

図１１は、第２の実施形態におけるビデオシースルー型ＨＭＤ１００１のより詳細な構成を示す図である。なお、図１１において、図２と同様の構成には同じ符号を付している。

図１１において、１０３は撮像ユニットであり、図２の撮像ユニット１０３と同様の機能を有する。標準照明環境処理部１０４は、照明環境情報抽出部２０２、画像識別情報源２０３、輝度変換部２０４及び色変換部２０５を備える。画像識別情報源２０３、輝度変換部２０４及び色変換部２０５は、図２の画像識別情報源２０３、輝度変換部２０４及び色変換部２０５と同様の機能を有する。

照明環境情報抽出部２０２は、撮像画像データから色温度情報及び輝度情報を含む照明環境情報を画像処理により抽出し、画像識別情報源２０３からの画像識別情報と合わせて局所照明環境処理部１０７に対して出力する。それとともに、照明環境情報抽出部２０２は、画像識別情報を撮像画像データに付加し、輝度変換部２０４に対して出力する。本実施形態では、ビデオシースルー型ＨＭＤ１００１から画像処理装置１００２に対しては、撮像画像データを送信しない構成である。従って、後段の撮像画像格納部１１０で画像識別情報と撮像画像データとを一体で保存することを考えると、画像識別情報を撮像画像データに埋め込むのではなく、別体で取り扱うことが好ましい。

１１０は、画像識別情報とそれに対応する撮像画像データとを一体で格納する撮像画像格納部である。１０９は、標準照明環境処理部１０４から入力される撮像画像データからマーカや自然特徴を抽出して、ＨＭＤ使用者の視点位置における位置姿勢情報を計測する位置姿勢計測部である。位置姿勢計測部１０９は、計測した位置姿勢情報と、当該位置姿勢情報に対応する画像識別情報とを一纏まりにして、Ｉ／Ｆ部１００３に対して出力する。１００３は、一纏まりにされた位置姿勢情報及び画像識別情報を画像処理装置１００２に対して送信するＩ／Ｆ部である。

局所照明環境処理部１０７は、照明環境情報処理部２０６、輝度変換部２１０及び色変換部２１１を備える。図２の局所照明環境処理部１０７の構成要素であった画像識別情報抽出部２０７及びタイミング調整部２０８は、図１１では、時間整合部１００４として別ブロックで構成されている。局所照明環境処理だけみれば、局所照明環境処理部１０７は、図２と同様の機能及び処理内容である。但し、図１１で独立したブロックとして構成されている時間整合部１００４は、画像合成部１１３における画像合成処理での時間整合処理でも機能するよう拡張している。

時間整合部１００４は、画像識別情報抽出部２０７及びタイミング調整部２０８を備える。時間整合部１００４は、画像合成部１１３の時間整合処理とともに局所照明環境処理部１０７での時間整合処理も行う。

２０７は、仮想画像データから画像識別情報を抽出する画像識別情報抽出部である。この画像識別情報は、照明環境情報抽出部２０２において撮像画像データに付加された画像識別情報である。抽出された画像識別情報は、タイミング調整部２０８に対して出力される。また、仮想画像データは、抽出された画像識別情報とともに画像合成部１１３に対して出力される。

１１３は、仮想画像データとその画像識別情報に一致する撮像画像データとを撮像画像格納部１１０から読み出し、仮想画像データと撮像画像データとの合成処理を行う画像合成部である。合成処理後の複合現実画像データは、輝度変換部２１０及び画像出力部１０５に対して出力される。

図１２は、第２の実施形態における画像合成処理及び局所照明環境処理の画像データの流れと情報の流れとの時間関係を示すタイムチャートである。図１２に示すように、タイミング調整部２０８における当該複合現実画像データの画像識別情報の出力処理、照明環境情報処理部２０６における当該画像識別情報の読み出し処理、並びに、タイミング調整部２０８におけるＡＣＫ入力処理及び画像入力レディー信号取得処理が、画像合成部１１３において仮想画像データと撮像画像データとの合成処理が行われるタイミングで行われる点が第１の実施形態と異なる。

本実施形態によれば、ビデオシースルー型ＨＭＤ１００１から外部出力装置１００５に出力される複合現実画像データは、デバイス依存の特性がキャンセルされ、且つ、明るさ、ホワイトバランスが調整された画像データである。従って、表示デバイスに依存しない規格に則った複合現実画像データとすることができる。カラーマッチングの基本的考えを踏襲しているため、外部出力装置１００５の外部環境及びデバイス特性に合わせた表示を行うことができるという利点がある。

図１３は、第２の実施形態における複合現実システムの変形例を説明するための図である。即ち、図１３（ａ）は、第２の実施形態における複合現実システムの変形例の構成を示しており、図１３（ｂ）は、セレクタ１３０１の切り替え処理を示している。図１３（ａ）に示す複合現実システムは、図１０に示す複合現実システムの構成にセレクタ１３０１を追加したものである。

ビデオシースルー型ＨＭＤ１００１に複合現実画像データではなく、撮像画像データのみを表示する場合、セレクタ１３０１を図１３（ｂ）における（２）へ切り替えることにより、撮像ユニット１０３から表示ユニット１０８に画像データが流れるようにする。このとき、撮像ユニット１０３、セレクタ１３０１及び表示ユニット１０８以外の構成を実質的に動作させることなく、低消費電力モードに切り替えることが可能となる。撮像ユニット１０３は、撮像画像データの環境を外界環境と一致させるための処理を行い、表示ユニット１０８は、入力された複合現実画像データをその輝度や色味を保持したまま表示するため、ＨＭＤ使用者は外界環境と一致する画像が観察できる。また、仮想画像データを撮像画像データに重畳させるときは、図１３（ｂ）において、セレクタ１３０１が図１３（ｂ）における（１）に切り替えられる。この場合、図１０に示した第２の実施形態における複合現実システムと同様の機能及び処理となる。

以上により、ビデオシースルー型ＨＭＤ１０１に仮想画像データを重畳することなく、撮像画像データのみを表示する場合には、複合現実画像データを動的に外界の照明環境に合った画像データすることができる。さらに、システムの処理遅延、処理負荷及び消費電力を抑えることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１、１００１：ビデオシースルー型ＨＭＤ、１０２、１００２：画像処理装置、１０３：撮像ユニット、１０４：標準照明環境処理部、１０５：画像出力部、１０６：画像入力部、１０７：局所照明環境処理部、１０８：表示ユニット、１０９：位置姿勢計測部、１１０：撮像画像格納部、１１１：コンテンツＤＢ、１１２：ＣＧ描画部、１１３：画像合成部、２０１：撮像デバイス特性補正部、２０２：照明環境情報抽出部、２０３：画像識別情報源、２０４：輝度変換部、２０５：色変換部、２０６：照明環境情報処理部、２０７：画像識別情報抽出部、２０８：タイミング調整部、２０９：画像格納部、２１０：輝度変換部、２１１：色変換部、２１２：表示デバイス特性補正部、１００３：Ｉ／Ｆ部、１００４：時間整合部、１００５：外部出力装置、１３０１：セレクタ

Claims (17)

1. 撮像装置により撮像された現実空間の画像データを撮像した時の、前記現実空間の照明環境を示す照明環境情報を取得する取得手段と、
   前記取得手段で取得された照明環境情報に基づいて、前記画像データを標準画像データに変換する第１の変換手段と、
   前記標準画像データと仮想画像データとが合成された標準複合現実画像データを生成する生成手段と、
   前記生成手段によって生成された標準複合現実画像データを、前記照明環境情報に基づいて前記現実空間の照明環境に対応する複合現実画像データに変換する第２の変換手段と、
   前記第２の変換手段によって変換された前記現実空間の照明環境に対応する複合現実画像データを出力する出力手段とを有することを特徴とする画像処理装置。
2. 前記取得手段は、前記照明環境情報として、前記画像データに含まれるＲＧＢ信号強度の比率に基づいて色温度情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の変換手段は、前記取得された色温度情報に基づいて、前記標準画像データの所定の色温度になるように前記画像データに含まれるＲＧＢ信号強度を変換し、
   前記第２の変換手段は、前記取得された色温度情報に基づいて、前記画像データの色温度になるように前記複合現実画像データに含まれるＲＧＢ信号強度を変換することを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段は、前記照明環境情報として、前記画像データに含まれる輝度情報を取得することを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の変換手段は、前記取得された輝度情報に基づいて、所定の輝度になるように前記画像データに含まれる輝度を変換し、
   前記第２の変換手段は、前記取得された輝度情報に基づいて、前記画像データの輝度になるように前記複合現実画像データに含まれる輝度を変換することを特徴とする請求項４に記載の画像処理装置。
6. 前記撮像装置により撮像された前記画像データに対し、前記撮像装置の特性を補正する第１の補正手段を更に有し、
   前記取得手段は、前記第１の補正手段により補正された前記画像データから前記照明環境情報を取得することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記生成手段により生成された前記標準複合現実画像データを、前記第２の変換手段による変換処理が施される前に出力する第２の出力手段を更に有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記第２の変換手段によって変換された前記現実空間の照明環境に対応する複合現実画像データに対し、前記複合現実画像データが表示される表示手段の特性を補正する第２の補正手段を更に有することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記取得手段は、更に、前記画像データの識別情報を、前記画像データに合成又は付加し、
   前記第１の変換手段は、前記識別情報が合成又は付加された画像データから、前記識別情報が合成又は付加された標準画像データに変換し、
   前記生成手段は、前記識別情報が合成又は付加された標準画像データと仮想画像データとを合成することにより、前記識別情報が合成又は付加された標準複合現実画像データを生成し、
   前記第２の変換手段は、前記画像データの識別情報が合成又は付加された前記標準複合現実画像データを、前記識別情報に対応する識別情報の前記照明環境情報に基づいて変換することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記識別情報は、前記画像データが前記撮像装置により撮像された時点を示す情報を含むことを特徴とする請求項９に記載の画像処理装置。
11. 前記標準画像データから抽出される前記現実空間中の特徴に基づいて、前記撮像装置の位置姿勢を計測する計測手段を更に備え、
    前記仮想画像データは、前記計測手段により計測された位置姿勢に基づいて生成された画像データであることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記撮像装置は、頭部装着型表示装置に備え付けられていることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 撮像手段により撮像された画像データから、現実空間の照明環境を示す照明環境情報を抽出する抽出手段と、
    前記画像データの識別情報に対応する識別情報の前記照明環境情報に基づいて、前記画像データに対して仮想画像データが合成されるとともに前記画像データの識別情報が合成又は付加された複合現実画像データを、前記現実空間の照明環境に対応する画像データに変換する変換手段とを有することを特徴とする画像処理装置。
14. 前記識別情報は、前記画像データが前記撮像手段により撮像された時点を示す情報を含むことを特徴とする請求項１３に記載の画像処理装置。
15. 画像処理装置によって実行される画像処理方法であって、
    撮像装置により撮像された現実空間の画像データを撮像した時の、前記現実空間の照明環境を示す照明環境情報を取得する取得ステップと、
    前記取得ステップで取得された照明環境情報に基づいて、前記画像データを標準画像データに変換する第１の変換ステップと、
    前記標準画像データと仮想画像データとが合成された標準複合現実画像データを生成する生成ステップと、
    前記生成ステップによって生成された標準複合現実画像データを、前記照明環境情報に基づいて前記現実空間の照明環境に対応する複合現実画像データに変換する第２の変換ステップと、
    前記第２の変換ステップによって変換された前記現実空間の照明環境に対応する複合現実画像データを出力する出力ステップとを含むことを特徴とする画像処理方法。
16. 画像処理装置によって実行される画像処理方法であって、
    撮像手段により撮像された画像データから、現実空間の照明環境を示す照明環境情報を抽出する抽出ステップと、
    前記画像データの識別情報に対応する識別情報の前記照明環境情報に基づいて、前記画像データに対して仮想画像データが合成されるとともに前記画像データの識別情報が合成又は付加された複合現実画像データを、前記現実空間の照明環境に対応する画像データに変換する変換ステップとを含むことを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１４の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images