JP4889036B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、複合現実感を提供するための技術に関するものである。

近年、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、次のような技術が知られている。即ち、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像する。そして、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した複合現実画像を、ＨＭＤの装着者に提供する。

図７は、ビデオシースルー型ＨＭＤを用いた一般的な複合現実感提示システムの機能構成を示すブロック図である。

７０１は、ビデオシースルー型のＨＭＤである。ＨＭＤ７０１は、撮像部７０３、表示部７０４、３次元位置姿勢センサ７０５、Ｉ／Ｆ（インターフェース）７０６を有する。

７０２は、ＨＭＤ７０１から受け取った３次元位置姿勢情報に基づいて仮想空間画像（ＣＧ）を生成し、ＨＭＤ７０１から受け取った撮像画像との合成処理を行う画像処理装置である。画像処理装置７０２は、一般にはＰＣ（パーソナルコンピュータ）やワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置により構成されている。画像処理装置７０２は、Ｉ／Ｆ７０７、位置姿勢情報生成部７０８、ＣＧ描画合成部７１０、コンテンツＤＢ（データベース）７０９を有する。

先ず、ＨＭＤ７０１を構成する各部の動作について説明する。

撮像部７０３は、ＨＭＤ７０１を頭部に装着するユーザの視線位置と略一致する外界の画像を撮像する。撮像部７０３は、ステレオ画像を撮像すべく、右目用の撮像素子、左目用の撮像素子、光学系、そして後段の画像処理のためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）により構成されている。

表示部７０４は、画像処理装置７０２から送出される右目用のＭＲ画像、左目用のＭＲ画像を表示するためのものである。従って、表示部７０４は、右目用の表示デバイス、左目用の表示デバイス、光学系により構成されている。それぞれの表示デバイスとしては、小型の液晶ディスプレイやＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）による網膜スキャンタイプのデバイスが用いられる。

３次元位置姿勢センサ７０５は、自身の位置姿勢を計測するためのものである。３次元位置姿勢センサ７０５には、磁気センサやジャイロセンサ（加速度、角速度）が使用される。

Ｉ／Ｆ７０６は、画像処理装置７０２とのデータ通信を行うために用いられるものであり、撮像部７０３により撮像された撮像画像、３次元位置姿勢センサ７０５により計測された位置姿勢情報は、このＩ／Ｆ７０６を介して画像処理装置７０２に送信される。また、画像処理装置７０２から送信されたＭＲ画像は、このＩ／Ｆ７０６を介して受信する。Ｉ／Ｆ７０６には、リアルタイム性が求められかつ大容量の伝送が可能な、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが用いられる。

次に、画像処理装置７０２を構成する各部の動作について説明する。

Ｉ／Ｆ７０７は、ＨＭＤ７０１とのデータ通信を行うために用いられるものであり、画像処理装置７０２が生成したＭＲ画像は、このＩ／Ｆ７０７を介してＨＭＤ７０１に送信される。また、ＨＭＤ７０１から送信された撮像画像、位置姿勢情報は、このＩ／Ｆ７０７を介して受信する。

位置姿勢情報生成部７０８は、ＨＭＤ７０１から送信された位置姿勢情報に基づいて、ＨＭＤ７０１を装着したユーザの目の位置姿勢を示す位置姿勢情報を生成する。ユーザの目の位置姿勢を示す位置姿勢情報を生成する方法としては、このほかにも、例えば、撮像部７０３が撮像した画像を用いる方法もある。

コンテンツＤＢ７０９には、仮想空間を構成する各仮想物体に係るデータが保存されている。

ＣＧ描画合成部７１０は、コンテンツＤＢ７０９に保存されているデータを用いて仮想空間を構築し、構築した仮想空間を、位置姿勢情報生成部７０８が生成した位置姿勢情報が示す位置姿勢を有する視点から見た画像を、仮想空間画像として生成する。そして、生成した仮想空間画像を、Ｉ／Ｆ７０７を介してＨＭＤ７０１から受信した撮像画像上に合成したＭＲ画像を生成する。生成したＭＲ画像は、Ｉ／Ｆ７０７を介してＨＭＤ７０１に送信する。

仮想空間画像の生成は上述の通り、３次元位置姿勢センサ７０５による計測結果に基づいて行われており、撮像画像を背景として仮想空間画像が重畳される。ここで、仮想空間画像を生成するために用いる位置姿勢情報を計測したタイミングと、この仮想空間画像を重畳する対象となる撮像画像の撮像タイミングとは、略一致していることが好ましい。そこで、システム間の伝送遅延や処理時間等、リアルタイム性を損なうような影響を考慮した場合は、仮想空間画像を生成したタイミングに最も近いタイミングで撮像された撮像画像に対してこの仮想空間画像を重畳するのが好ましい。

以上説明した構成による処理によって、ＨＭＤ７０１を頭部に装着したユーザに対して、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界を提供することができる。一般的なＭＲ技術およびシステムの構成については特許文献１に開示されている。

ここで、複合現実世界の現実感・没入感をより増加させる為に、表示を高画角にし、視野を広げることが挙げられる。光学的に表示画角を広くするほど光学系レンズ歪みが相対的に増加してしまうため、違和感の無い表示画像を提示するためにはこのレンズ歪みの補正を行う必要がある。レンズ歪み補正の一つの方法として、光学系への入力画像を予め電気的に補正する手法がある。

図８Ａは、光学系の２次元的な歪みの一例を示す図である。図８Ａに示す如く、光学系の構成によっては上下非対称な歪みが生じる場合がある。従って、矩形の表示エリアに表示された矩形画像を、図８Ａに示すような歪みを有する光学系を介して観察した場合、図８Ａに示すように、歪んだ画像として観察されることになる。こうした歪みを電気的に打ち消す方法として、光学的に歪む量を打ち消すように予め逆に歪んだ画像を用意する手法がある。

図８Ｂは、矩形画像に対して、図８Ａに示した歪みの逆の歪みを与えた場合に得られる画像を示す図である。従って、図８Ｂに示した画像を、図８Ａに示した歪みを有する光学系を介して観察すると、図８Ｃに示す如く、元の矩形画像を観察することができる。図８Ｃは、元々の矩形画像を示す図である。

図９は、図７に示した構成に、光学歪みを考慮して表示前に画像を変形させる構成を加えた、複合現実感提示システムの機能構成を示すブロック図である。図９に示した構成が図７に示した構成と異なるのは、ＨＭＤ７０１の代わりに、ＨＭＤ７０１に歪み補正部９１１を加えたＨＭＤ９０１を用いている点にある。

光学系の構成によっては上下方向と左右方向とのアスペクトがずれた歪みが生じるため、歪み補正部９１１は、Ｉ／Ｆ７０６を介して受信したＭＲ画像から、表示部７０４が有する光学系の光学歪み特性に基づいて決まる部分を切り取る。そして、マスク処理と光学歪み補正のための画像マッピングを行う。

図８Ｄは、光学歪みを考慮して画像を電子的に歪ませた際の画像と、表示領域との関係を示す図である。係る表示領域に表示画像をマッピングするため、表示画像の上部（斜線で示した領域）が切り捨てられていることがわかる。図８Ｄでは画像上部を切り取っているが、光学歪みによっては上下左右のいずれか、また、その組み合わせた領域が切り取られることになる。
特開平１１−８８９１３号公報（図７、段落［００３５］）

しかしながら、上述した従来の技術においては、以下のような課題がある。

図８Ｄの斜線で示した領域は、表示対象としない、切り取られた領域であるにもかかわらず、画像処理装置７０２は係る領域のデータもＨＭＤ７０１に送信している。即ち、本来必要でない画像情報までも、毎フレーム送信してしまっている。

また、画像処理装置７０２は、表示部７０４における表示を制御するために用いる表示画像制御情報をＨＭＤ７０１に送信するために、ＭＲ画像の画像情報とは別の通信帯域を確保する必要がある。また、表示画像制御情報を用いて表示画像をリアルタイムに制御する場合には、表示画像制御情報と表示画像とが時間的にリンクする構成が必要となってしまう。

本発明は以上の問題に鑑みて成されたものであり、ＨＭＤに対して送信する画像情報の為の通信帯域とは別の通信帯域を設けることなく、ＨＭＤにおける表示を制御するための制御情報をＨＭＤに送信するための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。

即ち、表示装置が表示した画像を光学系を介してユーザに提示する頭部装着型表示装置、に接続されている画像処理装置であって、
第１の画像を生成する生成手段と、
前記光学系の光学歪み特性とは逆の光学歪み特性に基づいて、前記第１の画像内で非表示対象となる領域を特定する特定手段と、
前記非表示対象となる領域に対して、表示制御を行うために用いる制御情報を埋め込むことで、第２の画像を生成する埋め込み手段と、
前記第２の画像を前記頭部装着型表示装置に対して送信する手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。

即ち、表示装置が表示した画像を光学系を介してユーザに提示する頭部装着型表示装置、に接続されている画像処理装置が行う画像処理方法であって、
第１の画像を生成する生成工程と、
前記光学系の光学歪み特性とは逆の光学歪み特性に基づいて、前記第１の画像内で非表示対象となる領域を特定する特定工程と、
前記非表示対象となる領域に対して、表示制御を行うために用いる制御情報を埋め込むことで、第２の画像を生成する埋め込み工程と、
前記第２の画像を前記頭部装着型表示装置に対して送信する工程と
を備えることを特徴とする。

本発明の構成によれば、ＨＭＤに対して送信する画像情報の為の通信帯域とは別の通信帯域を設けることなく、ＨＭＤにおける表示を制御するための制御情報をＨＭＤに送信することができる。

以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
図１は、仮想空間の画像と現実空間の画像とを合成した複合現実空間画像をユーザに提示するための、本実施形態に係るシステムの機能構成を示すブロック図である。図１に示す如く、本実施形態に係るシステムは、ＨＭＤ１０１と画像処理装置１０２とで構成されている。

先ず、ＨＭＤ１０１について説明する。ＨＭＤ１０１は頭部装着型表示装置の一例として用いる装置であり、ＨＭＤ１０１の機能として後述する機能を有しているのであれば、ＨＭＤ１０１以外の頭部装着型表示装置を用いても良い。

ＨＭＤ１０１は、撮像部１０３、表示部１０４、３次元位置姿勢センサ１０５、Ｉ／Ｆ１０６、表示画像制御情報デコード部１１３、歪み補正部１１１、レンズ歪み情報格納テーブル１１５、により構成されている。以下、ＨＭＤ１０１を構成するこれらの各部について説明する。

撮像部１０３は、自身の位置姿勢に応じて見える現実空間の動画像を撮像するものであり、撮像した各フレームの画像（撮像画像、現実空間画像）は後段のＩ／Ｆ１０６に順次送出される。本実施形態では、撮像部１０３は、ステレオ画像を撮像すべく、右目用の撮像素子、左目用の撮像素子、光学系、そして後段の画像処理のためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）により構成されている。以下では、一方の目に特化した説明ではない限り、それぞれの目に対する撮像部１０３をまとめて説明する。

表示部１０４は、画像処理装置１０２から送出される右目用のＭＲ画像、左目用のＭＲ画像を歪み補正部１１１が補正した結果を表示するためのものである。従って、表示部１０４は、右目用の表示装置、左目用の表示装置、表示装置が表示した画像を光学的に変形させてユーザの目に対して提示する光学系、により構成されている。それぞれの表示装置としては、小型の液晶ディスプレイやＭＥＭＳによる網膜スキャンタイプのデバイスが用いられる。このような構成を有する表示部１０４は、ＨＭＤ１０１を頭部に装着したユーザの眼前に位置するようにＨＭＤ１０１に取り付けられている。なお、表示部１０４による表示は、表示画像制御情報デコード部１１３がＩ／Ｆ１０６を介して画像処理装置１０２から受信したＭＲ画像から取得した表示画像制御情報（制御情報）に基づいて制御される。

３次元位置姿勢センサ１０５は、自身の位置姿勢を計測するものである。例えば、３次元位置姿勢センサ１０５として磁気センサを用いる場合、現実空間中の所定の位置には磁界を発生するトランスミッタが設置されることになる。３次元位置姿勢センサ１０５は、係るトランスミッタが発生した磁界中における自身の位置姿勢に応じた磁気の変化を検知し、その検知結果は、トランスミッタの動作制御を行うセンサ制御装置に送出される。センサ制御装置は、係る検知結果に基づいて、センサ座標系における３次元位置姿勢センサ１０５の位置姿勢を求める。そして求めた位置姿勢を、Ｉ／Ｆ１０６に送出する。ここで、センサ座標系とは、トランスミッタの位置を原点とし、係る原点で互いに直交する３軸をそれぞれ、ｘ軸、ｙ軸、ｚ軸とする座標系である。なお、３次元位置姿勢センサ１０５として適用可能なセンサはこれ以外でも良く、例えば、光学式センサ、超音波センサ、ジャイロセンサ（加速度、角速度）などを用いることもできる。

表示画像制御情報デコード部１１３は、Ｉ／Ｆ１０６を介して画像処理装置１０２から受信したＭＲ画像から制御情報を取得し、取得した制御情報に基づいて、この受信したＭＲ画像に対する様々な画像処理を行う。画像処理後のＭＲ画像、及び制御情報は、後段の歪み補正部１１１に送出する。

歪み補正部１１１は、表示画像制御情報デコード部１１３から受けたＭＲ画像を、表示部１０４が有する光学系の歪み特性（光学歪み特性）とは逆の光学歪み特性に基づいて変形させたＭＲ画像を生成する。そして生成したＭＲ画像を後段の表示部１０４に送出する。

レンズ歪み情報格納テーブル１１５は、表示部１０４が有する光学系の歪み特性とは逆の光学歪み特性を示すレンズ歪み情報を保持しており、係るレンズ歪み情報は要求に応じて適宜外部に送信する。レンズ歪み情報について詳しくは後述する。

Ｉ／Ｆ１０６は、画像処理装置１０２とのデータ通信を行うためのものであり、リアルタイム性が求められかつ大容量の伝送が可能な、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバにより構成されている。撮像部１０３が撮像した現実空間画像や、３次元位置姿勢センサ１０５が計測した結果としての位置姿勢情報、レンズ歪み情報格納テーブル１１５が保持するレンズ歪み情報は、このＩ／Ｆ１０６を介して画像処理装置１０２に送信される。

次に、画像処理装置１０２について説明する。画像処理装置１０２は、ＨＭＤ１０１から送信された位置姿勢情報に基づいた仮想空間画像を生成し、生成した仮想空間画像を、ＨＭＤ１０１から送信された現実空間画像上に重畳させたＭＲ画像を生成する。そして生成したＭＲ画像上に、後述する制御情報を埋め込む。そして、制御情報を埋め込んだＭＲ画像をＨＭＤ１０１に対して送信する。画像処理装置１０２は、一般にはパソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置により構成される。

画像処理装置１０２は、Ｉ／Ｆ１０７、位置姿勢情報生成部１０８、ＣＧ描画合成部１１０、コンテンツＤＢ１０９、表示画像制御情報エンコード部１１２、レンズ歪み情報解析部１１４、により構成されている。

Ｉ／Ｆ１０７はＨＭＤ１０１とのデータ通信を行うためのものであり、Ｉ／Ｆ１０６と同様、リアルタイム性が求められかつ大容量の伝送が可能な、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバにより構成されている。

位置姿勢情報生成部１０８は、ＨＭＤ１０１から送出された位置姿勢情報から、撮像部１０３の位置姿勢を求める。ＨＭＤ１０１から送出された位置姿勢情報は、３次元位置姿勢センサ１０５の位置姿勢を示すものである。従って、例えば、撮像部１０３と３次元位置姿勢センサ１０５との位置姿勢関係を予め求めておき、係る位置姿勢関係を３次元位置姿勢センサ１０５の位置姿勢に加えることで、撮像部１０３の位置姿勢情報を求めることができる。もちろん、撮像部１０３の位置姿勢情報を求める方法は他にもあり、例えば、撮像部１０３が撮像した画像を用いて撮像部１０３の位置姿勢情報を求める方法もある。

コンテンツＤＢ１０９には、仮想空間を構成する各仮想物体についてのデータが登録されている。例えば、仮想物体がポリゴンで構成されている場合には、各ポリゴンの色や法線ベクトルのデータ、ポリゴンを構成する各頂点の座標データ等が、コンテンツＤＢ１０９に登録されている。

ＣＧ描画合成部１１０は、コンテンツＤＢ１０９に登録されているデータを用いて仮想空間を構築する。そして係る仮想空間を、位置姿勢情報生成部１０８が生成した位置姿勢情報が示す位置姿勢を有する視点から見える画像を、仮想空間画像として生成する。そして生成した仮想空間画像を、Ｉ／Ｆ１０７を介してＨＭＤ１０１から受信した現実空間画像上に合成することで、ＭＲ画像を生成する。生成したＭＲ画像は、後段の表示画像制御情報エンコード部１１２に送出する。

レンズ歪み情報解析部１１４は、ＨＭＤ１０１内のレンズ歪み情報格納テーブル１１５から上記レンズ歪み情報を取得し、取得したレンズ歪み情報を用いて、ＣＧ描画合成部１１０が生成したＭＲ画像内で制御情報を埋め込む領域を特定する。

ここで、制御情報とは、表示部１０４における表示制御、表示する画像に係る制御を行うために用いられるものである。制御情報には、例えば、表示画像の明るさ、色味、ガンマなどの画質を制御する情報、表示画像の提示位置、サイズなどの画面自体を制御する情報、ＭＲ画像に重畳する警告メッセージなどの重畳文字を制御する情報が含まれている。

なお、レンズ歪み情報解析部１１４による上記レンズ歪み情報の取得は、画像処理装置１０２の電源投入直後の初期化処理において行うことが好ましい。これは、異なるレンズ歪み情報をもつＨＭＤが画像処理装置１０２に接続されても対応することができるからである。

表示画像制御情報エンコード部１１２は、ＣＧ描画合成部１１０から受けたＭＲ画像内のレンズ歪み情報解析部１１４が特定した領域に対して、制御情報を埋め込む。ＭＲ画像に対する制御情報の埋め込み処理について詳しくは後述する。そして表示画像制御情報エンコード部１１２は、制御情報を埋め込んだＭＲ画像をＩ／Ｆ１０７を介してＨＭＤ１０１に送信する。

図３Ａは、画像処理装置１０２が、制御情報を埋め込んだＭＲ画像を生成してＨＭＤ１０１に送信するための一連の処理のフローチャートである。

ステップＳ３００では、レンズ歪み情報解析部１１４はＨＭＤ１０１に対してアクセスし、レンズ歪み情報格納テーブル１１５に登録されているレンズ歪み情報を取得する。

ここで、レンズ歪み情報とは、表示部１０４が有する光学歪み特性とは逆の光学歪み特性を示す情報である。従って、レンズ歪み情報を用いれば、例えば、図８Ｃに示す矩形画像を図８Ｂに示した画像（画像Ｂ）に変形させることができる。これにより、図８Ａに示す光学歪み特性を有する光学系を介して観察される画像が画像Ｃとなる。換言すれば、画像Ｃを構成する各画素について、対応する画像Ｂ上の画素を特定することができる。

ステップＳ３０１では、レンズ歪み情報解析部１１４は、ステップＳ３００で取得したレンズ歪み情報を参照する。そして、表示部１０４が有する光学系の光学歪み特性とは逆の光学歪み特性に基づいてＭＲ画像を変形させた場合に、非表示対象となる領域として予め定めた画素位置範囲に含まれている領域を特定する。図８Ｃ、８Ｄを例に取ると、ステップＳ３０１では、図８Ｃに示した画像において、図８Ｄに示した斜線部分（非表示対象となる領域として予め定めた画素位置範囲）に対応する領域を求めることになる。即ち、ステップＳ３０１では、ＭＲ画像において、非表示対象となる領域を示す領域情報を予め求めておく。

上記ステップＳ３００、ステップＳ３０１における処理は、画像処理装置１０２の電源投入直後の初期化処理で行うことが望ましい。

一方、上述したように、ＨＭＤ１０１からは、撮像部１０３が撮像した現実空間画像と、３次元位置姿勢センサ１０５が計測した、３次元位置姿勢センサ１０５の位置姿勢を示す位置姿勢情報が、Ｉ／Ｆ１０６を介して送信される。従って、ステップＳ３０２では、Ｉ／Ｆ１０７を介して、この送信された現実空間画像と、位置姿勢情報とを受信（取得）する。Ｉ／Ｆ１０７を介して受信した現実空間画像は、ＣＧ描画合成部１１０に入力されるし、Ｉ／Ｆ１０７を介して受信した位置姿勢情報は、位置姿勢情報生成部１０８に入力される。

次に、ステップＳ３０３では先ず、位置姿勢情報生成部１０８は上述の通り、Ｉ／Ｆ１０７を介して受信した位置姿勢情報と、撮像部１０３と３次元位置姿勢センサ１０５との位置姿勢関係とを用いて、撮像部１０３の位置姿勢情報を求める。そしてその後、ＣＧ描画合成部１１０は、コンテンツＤＢ１０９に登録されているデータを用いて仮想空間を構築し、係る仮想空間を、撮像部１０３の位置姿勢から見た画像を、仮想空間画像として生成する。そして、生成した仮想空間画像を、Ｉ／Ｆ１０７を介して受信した現実空間画像上に合成することで、合成画像としてのＭＲ画像（第１の画像）を生成する。生成したＭＲ画像は後段の表示画像制御情報エンコード部１１２に送出する。

次に、ステップＳ３０３で生成したＭＲ画像に対する制御処理を行う場合には、処理はステップＳ３０４を介してステップＳ３０５に進むし、制御処理を行わない場合には、処理はステップＳ３０４を介してステップＳ３９０に進む。あるフレームにおけるＭＲ画像に対して制御処理を行うか否かは、事前に設定しておいても良いし、ユーザ指示入力などを検知することで適宜判断しても良い。

ステップＳ３９０では、表示画像制御情報エンコード部１１２は、ステップＳ３０３で生成したＭＲ画像に対しては制御処理は行わない旨を示すヘッダ情報を、ステップＳ３０１で特定した（第１の画像内の）非表示対象となる領域に対して埋め込む。ここでの埋め込み処理は、非表示対象となる領域を構成するデータを単にヘッダ情報を構成するデータに置換する処理でも良いし、電子透かしとして埋め込む処理でも良い。また、非表示対象となる領域が複数箇所の場合には、例えば最も左上隅の領域に埋め込むなど、予め決めておいても良い。

一方、ステップＳ３０５では、表示画像制御情報エンコード部１１２は、ステップＳ３０１で特定した非表示対象となる領域に対して、制御情報を埋め込む。ステップＳ３０５における埋め込み処理は、埋め込む情報が異なるのみで、それ以外についてはステップＳ３９０と同様にして行う。

次にステップＳ３９１では、表示画像制御情報エンコード部１１２は、ステップＳ３０５で制御情報を埋め込んだ、若しくはステップＳ３９０でヘッダ情報を埋め込んだＭＲ画像、のうち何れか（第２の画像）を、Ｉ／Ｆ１０７を介してＨＭＤ１０１に送信する。なお、ＭＲ画像において、非表示対象となる領域を構成する各画素のデータは、例えば、画素値が０を示すデータ（例えば、ＭＲ画像がＲＧＢ画像である場合には、Ｒ＝Ｇ＝Ｂ＝０を示すデータ）に置換する。

次に、本処理を終了する指示が入力されたことを検知した、若しくは本処理を終了する条件が満たされた場合には本処理を終了する。一方、本処理を終了する指示は入力されていないし、本処理を終了する条件も満たされていない場合には、ステップＳ３９２を介してステップＳ３０２に戻り、次のフレームに対してステップＳ３０２以降の処理を行う。

図２は、ステップＳ３０５で行う制御情報の埋め込み処理を説明する図である。

図２（ａ）には、表示部１０４が有する光学系の光学歪み特性とは逆の光学歪み特性に基づいて変形させたＭＲ画像２０１と、表示部１０４が有する表示装置の表示画面２０２との関係を示している。光学系のレンズにより上下方向と左右方向とのアスペクトがずれた歪みが生じるため、変形後のＭＲ画像２０１の上部は実際には表示しない領域となる。表示しない領域を構成する画素のデータは、ある画素値を示すデータに置換するか、若しくは係る領域そのものを物理的に遮光する等、係る領域を観察できないようにする。

図２（ｂ）には、変形していないＭＲ画像における非表示対象となる領域を示している。図２（ｂ）に示した斜線領域は、図２（ａ）に示した斜線領域、即ち、非表示対象となる領域に対応している。

図２（ｃ）には、変形していないＭＲ画像における非表示対象となる領域に、制御情報を埋め込んだ場合のＭＲ画像を示している。制御情報は、画像中に埋め込んでいるので、係る画像に対する様々な処理の実行の可否や、制御情報のサイズ、属性を管理することが望ましい。

図１０Ａ、１０Ｂに、制御情報を構成するヘッダ情報と、重畳文字制御情報と、の構成例を示す。もちろん、制御情報に含めうる情報に関しては、図１０Ａ、１０Ｂに示したものに限定しない。

図１０Ａは、ヘッダ情報の構成例を示す図である。

「実行可否」とは、制御情報に基づいた様々な表示制御を行うか否かを示している。

「サイズ」とは、制御情報の全データサイズ、制御情報が１フレームの画像に埋め込むことができない場合に何フレーム分の画像に埋め込んでいるか、その場合に、現ヘッダ情報が何フレーム目に埋め込まれているのかを示している。

「属性」とは、制御情報に基づいた表示制御が、画像制御、画面制御、重畳文字制御の何れであるのかを示している。

図１０Ｂは、重畳文字制御情報の構成例を示す図である。

「表示時間」とは、文字を表示する時間の長さを示している。

「表示位置」とは、表示する文字の表示位置（座標値）を示している。

「表示色」とは、表示する文字の色を示している。

「文字サイズ」とは、表示する文字のサイズ（ポイント数）を示している。

「表示内容」とは、実際に表示する文字列を示している。

なお、上述の説明では特に触れていないが、ヘッダ情報の先頭部分には、ヘッダ情報に固有の情報（コード）が記録されているものとする。これは、係る制御情報を抽出する側で、ＭＲ画像中のどこにヘッダ情報が記録されているのかを検索する際に用いられるものである。

次に、ＨＭＤ１０１が、画像処理装置１０２から送信されたＭＲ画像を受信し、これを表示部１０４に表示するために行う一連の処理について、同処理のフローチャートを示す図４Ａを用いて、以下説明する。

ステップＳ４００では、上記ステップＳ３００においてレンズ歪み情報解析部１１４から要求された、レンズ歪み情報格納テーブル１１５内に登録されているレンズ歪み情報を、Ｉ／Ｆ１０６を介して画像処理装置１０２に対して送信する。ステップＳ４００における処理は、ＨＭＤ１０１の電源投入直後の初期化処理で行うことが望ましい。

次に、ステップＳ４０１では、撮像部１０３が撮像した現実空間画像、３次元位置姿勢センサ１０５が計測した位置姿勢情報を、Ｉ／Ｆ１０６を介して画像処理装置１０２に対して送信する。

次にステップＳ４０２では、図３Ａのフローチャートに従って画像処理装置１０２から送信された、制御情報が埋め込まれたＭＲ画像を、Ｉ／Ｆ１０６を介して表示画像制御情報デコード部１１３が取得する。

次にステップＳ４０３では、表示画像制御情報デコード部１１３は、ステップＳ４０２で取得したＭＲ画像中を検索し、ヘッダ情報に固有の情報（コード）を検索する。即ち、ステップＳ４０３では、ＭＲ画像中に埋め込まれた制御情報を検索し、取得する。従って、ステップＳ４０３では、制御情報の埋め込み方法に応じた抽出処理を行うことになる。

そして、制御情報を抽出した結果、表示画像制御情報デコード部１１３は、抽出した制御情報中のヘッダ情報中の「実行可否」を参照し、表示制御を行う（値が「０」）か表示制御を行わない（値が「１」）かを判断する。係る判断の結果、表示制御を行う場合には処理をステップＳ４０４に進め、表示制御を行わない場合には、処理をステップＳ４９０に進める。

ステップＳ４０４では、表示画像制御情報デコード部１１３は、ステップＳ４０３で抽出した制御情報中のヘッダ情報、重畳文字制御情報を参照し、ステップＳ４０２で取得したＭＲ画像に対して対応する表示制御処理を行う。そして歪み補正部１１１は、表示制御処理結果としてのＭＲ画像を、表示部１０４が有する光学系の光学歪み特性とは逆の光学歪み特性に基づいて変形させたＭＲ画像を生成し、表示部１０４に対して送出する。即ち、表示部１０４の表示領域（表示画面上）にＭＲ画像をマッピングする。

次に、本処理を終了する指示が入力されたことを検知した、若しくは本処理を終了する条件が満たされた場合には本処理を終了する。一方、本処理を終了する指示は入力されていないし、本処理を終了する条件も満たされていない場合には、ステップＳ４９０を介してステップＳ４０１に戻り、次のフレームに対してステップＳ４０１以降の処理を行う。

以上の説明により、本実施形態によれば、ＭＲ画像において表示しない領域に対して制御情報を埋め込むので、表示する領域に対する画質に何等影響を与えないし、係るＭＲ画像の送信帯域内でＭＲ画像と制御情報とを両方送信することができる。また、制御情報とＭＲ画像とが１対１の関係でＨＭＤ１０１に送信されるので、制御情報に基づいた制御処理と、この制御情報を埋め込んだＭＲ画像の表示処理との同期を容易に取ることができる。

［第２の実施形態］
第１の実施形態では、ＭＲ画像において非表示対象となる領域を構成するデータサイズが、制御情報のデータサイズよりも大きいことが前提となる。しかし、ＭＲ画像において非表示対象となる領域を構成するデータサイズが、制御情報のデータサイズ以下である場合には、この制御情報を分割し、分割したそれぞれの分割制御情報を連続する複数フレームのＭＲ画像のそれぞれに分散させて埋め込んでも良い。

この場合、図３ＡのフローチャートにおけるステップＳ３０５における処理は、次のようになる。

図３Ｂは、本実施形態に係るステップＳ３０５における処理の詳細を示すフローチャートである。なお、本実施形態では、ステップＳ３０５における処理は、表示画像制御情報エンコード部１１２が行うものとする。

先ずステップＳ３０６では、上記ステップＳ３０１で特定した領域を構成するデータサイズＸと、制御情報のデータサイズＹとの大小比較を行う。係る大小比較の結果、Ｘ＞Ｙの場合には処理をステップＳ３１０に進め、Ｘ≦Ｙの場合には、処理をステップＳ３０８に進める。

ステップＳ３０６からステップＳ３１０に進んだ場合、ステップＳ３１０では、第１の実施形態と同様にして、制御情報を埋め込む。

一方、ステップＳ３０８では、制御情報をデータサイズＸよりも小さくなるような単位に分割するのであるが、実際に分割されるのは重畳文字制御情報であり、分割したそれぞれの単位には、元のヘッダ情報に基づいて新たにヘッダ情報が発行される。新たに発行するヘッダ情報は、元のヘッダ情報において「サイズ」の項目だけである。そしてステップＳ３１０では、分割した単位に新たに発行したヘッダ情報を付加した分割制御情報を、ステップＳ３０１で特定した領域に埋め込む。即ち、分割制御情報のデータサイズが、上記データサイズＸよりも小さくなるように分割されている。

一方、本実施形態に係る上記ステップＳ４０４では、次のような処理を行う。

図４Ｂは、本実施形態に係るステップＳ４０４における処理の詳細を示すフローチャートである。

先ずステップＳ４０５では、表示画像制御情報デコード部１１３は、ステップＳ４０３で抽出した制御情報中のヘッダ情報を参照し、「分割フレーム数」が２以上、即ち、係る制御情報が分割制御情報であるのか否かを判断する。係る判断の結果、「分割フレーム数」が１である場合、即ち、係る制御情報が分割制御情報ではない場合には、処理をステップＳ４０９に進め、２以上であれば、処理をステップＳ４０６に進める。

ステップＳ４０９では、表示画像制御情報デコード部１１３は、ステップＳ４０３で抽出した制御情報中の重畳文字制御情報を参照する。そしてステップＳ４１０では、表示画像制御情報デコード部１１３は、ステップＳ４０２で取得したＭＲ画像に対して対応する表示制御処理を行う。そして歪み補正部１１１は、表示制御処理結果としてのＭＲ画像を、表示部１０４が有する光学系の光学歪み特性とは逆の光学歪み特性に基づいて変形させたＭＲ画像を生成し、表示部１０４に対して送出する。

一方、ステップＳ４０６では、表示画像制御情報デコード部１１３は、ステップＳ４０３で抽出した分割制御情報を保持しておく。なお、この取得した分割制御情報中のヘッダ情報中の「分割フレーム数」が、ヘッダ情報中の「分割フレームの場合における現フレーム番号」と等しくなった場合にはステップＳ４０７を介してステップＳ４０８に進む。即ち、分割元が復元可能な数の分割制御情報が集まった場合にはステップＳ４０７を介してステップＳ４０８に進む。一方、未だ集まっていない場合には、次のフレームにて分割制御情報を取得すべく、本処理を終了する。

ステップＳ４０８では、表示画像制御情報デコード部１１３は、収集した全ての分割制御情報を１つにまとめる。即ち、それぞれの分割制御情報中の重畳文字制御情報を１つにマージする。

ステップＳ４０９では、表示画像制御情報デコード部１１３は、この１つにマージした重畳文字制御情報を参照する。そしてステップＳ４１０では、表示画像制御情報デコード部１１３は、ステップＳ４０２で取得したＭＲ画像に対して対応する表示制御処理を行う。そして歪み補正部１１１は、表示制御処理結果としてのＭＲ画像を、表示部１０４が有する光学系の光学歪み特性とは逆の光学歪み特性に基づいて変形させたＭＲ画像を生成し、表示部１０４に対して送出する。即ち、表示部１０４の表示領域にＭＲ画像をマッピングする。

［第３の実施形態］
第１の実施形態では、表示するＭＲ画像に対して、表示部１０４が有する光学系の歪み特性とは逆の歪み特性に応じて変形させる処理をＨＭＤ１０１側で行っていたが、画像処理装置１０２側で行うようにしても良い。

図５は、画像処理装置側で、表示対象のＭＲ画像に対して、表示部１０４が有する光学系の光学歪み特性とは逆の光学歪み特性に応じた変形を行う場合の、システムの機能構成を示すブロック図である。本実施形態に係るシステムは、第１の実施形態に係るシステムの構成とは異なるものの、その目的とするところは同じである。即ち、現実空間画像と仮想空間画像とを合成させたＭＲ画像を、ＨＭＤを頭部に装着したユーザの眼前に提供する。

また、図５に示した各部のうち、図１に示したものと同じものについては同じ参照番号を付けており、その説明は省略する。ＨＭＤ５０１は、ＨＭＤ１０１から歪み補正部１１１を省いた構成を有し、画像処理装置５０２は、画像処理装置１０２に歪み補正部１１１と同じ動作を行う歪み補正部５１１を加えた構成を有する。

即ち、画像処理装置５０２側では、歪み補正部５１１は、ＣＧ描画合成部１１０が生成したＭＲ画像を歪み補正部１１１と同様にして変形させ、表示画像制御情報エンコード部１１２は、この変形させたＭＲ画像に対して制御情報を埋め込む。そしてこの変形させたＭＲ画像に対して制御情報が埋め込まれたものをＨＭＤ５０１に対して送信する。

ＨＭＤ５０１側では、単にこのＭＲ画像から制御情報を抽出し、このＭＲ画像をそのまま何等変形させることなく、この制御情報に基づいて表示部１０４に表示させる。

図６は、画像処理装置５０２からＨＭＤ５０１に対して送信する、制御情報が埋め込まれたＭＲ画像と、表示部１０４の表示画面との関係を示す図である。表示部１０４が有する光学系のレンズにより上下と左右に斜線で示す実際には表示しない領域が存在する。表示しない領域は、第１の実施形態と同様に、ある画素値のデータで埋めるか、物理的に遮光するなどの手段により観察できないようにする。ＭＲ画像に対するそれ以外の取り扱いについては第１の実施形態と同じである。

［第４の実施形態］
図１，５に示した画像処理装置１０２、５０２としては、一般のＰＣ（パーソナルコンピュータ）を用いることが好ましく、その場合、係るコンピュータのハードウェア構成の一例としては、図１１に示すようなハードウェア構成が考えられる。

図１１は、画像処理装置１０２、５０２に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置１０２、５０２が行うものとして上述した各処理を実行する。例えば、ＣＰＵ１１０１は、位置姿勢情報生成部１０８、ＣＧ描画合成部１１０、表示画像制御情報エンコード部１１２、レンズ歪み情報解析部１１４、歪み補正部１１１、として機能する。

ＲＡＭ１１０２は、外部記憶装置１１０６からロードされたプログラムやデータ、Ｉ／Ｆ１０７を介してＨＭＤ１０１（５０１）から受信した現実空間画像、位置姿勢情報、レンズ歪み情報を一時的に記憶するためのエリアを有する。また、ＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ１１０２は、各種のエリアを適宜提供することができる。

ＲＯＭ１１０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。

操作部１１０４は、キーボードやマウス等により構成されており、本コンピュータの操作者が操作することで、各種の指示をＣＰＵ１１０１に対して入力することができる。

表示部１１０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１１０１による処理結果を画像や文字などでもって表示することができる。

外部記憶装置１１０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。ここには、ＯＳ（オペレーティングシステム）や、画像処理装置１０２（５０２）が行うものとして上述した処理をＣＰＵ１１０１に実行させるためのプログラムやデータが保存されている。係るプログラムには、位置姿勢情報生成部１０８、ＣＧ描画合成部１１０、表示画像制御情報エンコード部１１２、レンズ歪み情報解析部１１４、歪み補正部１１１、の機能をＣＰＵ１１０１に実行させるためのプログラムも含まれている。また、係るデータには、仮想空間を構成する各仮想物体のデータも含まれている。即ち、コンテンツＤＢ１０９は、外部記憶装置１１０６内に含められていることになる。

外部記憶装置１１０６に保存されているプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜ＲＡＭ１１０２にロードされる。そしてＣＰＵ１１０１はこのロードされたプログラムやデータを用いて、処理を実行する。

Ｉ／Ｆ１０７は、図１に示したものと同じものであり、ＨＭＤ１０１（５０１）とのデータ通信は、このＩ／Ｆ１０７を介して行われる。

１１０８は、上述の各部を繋ぐバスである。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

仮想空間の画像と現実空間の画像とを合成した複合現実空間画像をユーザに提示するための、本発明の第１の実施形態に係るシステムの機能構成を示すブロック図である。 ステップＳ３０５で行う制御情報の埋め込み処理を説明する図である。 画像処理装置１０２が、制御情報を埋め込んだＭＲ画像を生成してＨＭＤ１０１に送信するための一連の処理のフローチャートである。 本発明の第２の実施形態に係るステップＳ３０５における処理の詳細を示すフローチャートである。 ＨＭＤ１０１が、画像処理装置１０２から送信されたＭＲ画像を受信し、これを表示部１０４に表示するために行う一連の処理のフローチャートである。 本発明の第２の実施形態に係るステップＳ４０４における処理の詳細を示すフローチャートである。 画像処理装置側で、表示対象のＭＲ画像に対して、表示部１０４が有する光学系の光学歪み特性とは逆の光学歪み特性に応じた変形を行う場合の、システムの機能構成を示すブロック図である。 画像処理装置５０２からＨＭＤ５０１に対して送信する、制御情報が埋め込まれたＭＲ画像と、表示部１０４の表示画面との関係を示す図である。 ビデオシースルー型ＨＭＤを用いた一般的な複合現実感提示システムの機能構成を示すブロック図である。 光学系の２次元的な歪みの一例を示す図である。 矩形画像に対して、図８Ａに示した歪みの逆の歪みを与えた場合に得られる画像を示す図である。 元々の矩形画像を示す図である。 光学歪みを考慮して画像を電子的に歪ませた際の画像と、表示領域との関係を示す図である。 図７に示した構成に、光学歪みを考慮して表示前に画像を変形させる構成を加えた、複合現実感提示システムの機能構成を示すブロック図である。 ヘッダ情報の構成例を示す図である。 重畳文字制御情報の構成例を示す図である。 画像処理装置１０２、５０２に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

Claims (10)

1. 表示装置が表示した画像を光学系を介してユーザに提示する頭部装着型表示装置、に接続されている画像処理装置であって、
   第１の画像を生成する生成手段と、
   前記光学系の光学歪み特性とは逆の光学歪み特性に基づいて、前記第１の画像内で非表示対象となる領域を特定する特定手段と、
   前記非表示対象となる領域に対して、表示制御を行うために用いる制御情報を埋め込むことで、第２の画像を生成する埋め込み手段と、
   前記第２の画像を前記頭部装着型表示装置に対して送信する手段と
   を備えることを特徴とする画像処理装置。
2. 前記生成手段は、
   撮像装置によって撮像された現実空間画像を取得する手段と、
   前記撮像装置の位置姿勢に応じて仮想空間画像を生成する手段と、
   前記現実空間画像と前記仮想空間画像との合成画像を、前記第１の画像として生成する手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像装置は、前記頭部装着型表示装置に備わっていることを特徴とする請求項２に記載の画像処理装置。
4. 前記特定手段は、
   前記光学系の光学歪み特性とは逆の光学歪み特性に基づいて前記第１の画像を変形させた画像を前記表示装置の表示画面上にマッピングした場合に、当該マッピングした画像上で非表示対象として予め設定された領域に対応する、前記第１の画像内の領域を特定することを特徴とする請求項１に記載の画像処理装置。
5. 前記埋め込み手段は、
   前記非表示対象となる領域のデータサイズが、前記制御情報のデータサイズ以下である場合には、前記制御情報を分割する手段を備え、
   分割したそれぞれの分割制御情報を、連続する各フレームにおける前記第１の画像の前記非表示対象となる領域に対して埋め込むことを特徴とする請求項１に記載の画像処理装置。
6. 前記埋め込み手段は、前記第１の画像を前記光学系の光学歪み特性とは逆の光学歪み特性に基づいて変形させることにより得られる画像に対して、前記制御情報を埋め込むことを特徴とする請求項１に記載の画像処理装置。
7. 前記制御情報には、表示時間、表示位置、表示色、文字サイズ、表示内容のうちの少なくとも１つを示す情報が含まれていることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 表示装置が表示した画像を光学系を介してユーザに提示する頭部装着型表示装置、に接続されている画像処理装置が行う画像処理方法であって、
   前記画像処理装置の生成手段が、第１の画像を生成する生成工程と、
   前記画像処理装置の特定手段が、前記光学系の光学歪み特性とは逆の光学歪み特性に基づいて、前記第１の画像内で非表示対象となる領域を特定する特定工程と、
   前記画像処理装置の埋め込み手段が、前記非表示対象となる領域に対して、表示制御を行うために用いる制御情報を埋め込むことで、第２の画像を生成する埋め込み工程と、
   前記画像処理装置の送信手段が、前記第２の画像を前記頭部装着型表示装置に対して送信する工程と
   を備えることを特徴とする画像処理方法。
9. コンピュータに請求項８に記載の画像処理方法を実行させるためのプログラム。
10. 請求項９に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images