JP6137910B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、現実空間画像データに仮想画像データを合成する技術に関するものである。

近年、現実世界と仮想世界とをリアルタイム且つシームレスに融合させる技術として、複合現実感、いわゆるＭＲ（Mixed Reality）技術が知られている。ＭＲ技術の一つに、ビデオシースルー型ＨＭＤ（Head Mounted Display、以下、ＨＭＤと称す）を利用して、ＨＭＤ装着者の視点位置から観察される被写体と略一致する被写体をビデオカメラ等で撮像し、その撮像画像データにＣＧ（Computer Graphics）を重畳表示した複合現実画像データをＨＭＤ装着者が観察することができる技術が知られている。

ビデオシースルー型ＨＭＤでは、ＣＣＤ等の電荷結合素子により被写体を撮像して、当該被写体の撮像画像データを得るとともに、得られた撮像画像データに仮想画像データを重畳したＭＲ画像データ（複合現実画像データ）を、液晶等の表示デバイスを介してＨＭＤ装着者に提示する構成になっている。

重畳させる仮想画像データは、撮像画像データ内に含まれる位置姿勢計測用のマーカや同じく撮像画像データ内に含まれるエッジ部等の自然特徴点を基に計測されたＨＭＤの位置姿勢情報によって生成される。このようにして得られた仮想画像データと撮像画像データとを合成することによってＭＲ画像データが生成される。特許文献１には、一般的なＭＲ技術及びシステム構成について開示されている。

没入感が得られるリアルなＭＲ画像データの表示には、ＨＭＤ装着者の視点位置に合わせた仮想画像データの生成時間と、現実空間の撮像からＭＲ画像データの表示までに要する時間とを極力短くすることが求められる。特許文献２には、最新の撮像画像データと、表示のタイミングに合わせて視点位置を予測して生成された仮想画像データとをＨＭＤ内部で合成処理することにより、現実空間の撮像からＭＲ画像データの表示までに要する遅延時間を隠蔽する技術が開示されている。

しかしながら、上述した従来技術においては、以下のような問題があった。ＨＭＤ装着者に表示されるＭＲ画像データと現実世界との遅れは、没入感の低下をはじめ、ＨＭＤ装着者の動きや視点位置とのズレによる違和感が酔いの要因としても挙げられている。特許文献２に開示される技術では、撮像デバイスから取得された最新の撮像画像データをＭＲ画像データの背景画像データとして使用するため、現実空間の撮像からＭＲ画像データの表示までに要する時間を短縮させることには有効である。しかしながら、重畳させる仮想画像データの生成時間の短縮には寄与しなかった。

また、処理の高速化、小型化及び省電力化が求められるＨＭＤの性質上、ＨＭＤ内部で行う合成処理機能は、特定色を用いたクロマキー合成等の簡易的な手法を用いることが一般的である。そのため、高速な演算処理機能を持つ画像処理装置側で行われる仮想画像データの透過処理や、仮想画像データに対する撮像画像データの写り込み等、リアルな仮想画像データを生成するには不向きであった。

特許文献３には、仮想画像データの生成に要する見かけ上の処理時間を低減するため、仮想画像データの表示タイミングまでの遅延時間を見越した位置予測を行う技術が開示されている。

特開平１１−８８９１３号公報 特開２００７−２８６８５１号公報 特開平７−９８７７０号公報

ところで、一般には、カルマンフィルタ等を用いた位置予測において、位置姿勢計測処理開始時点から表示までの時間が数フレーム以上とある閾値を超えると、予測精度が著しく落ちることが知られている。また、仮想画像データの生成時間は、位置姿勢計測に用いられる撮像画像データ中に含まれるマーカや自然特徴点の個数、計測精度、生成される仮想画像データのサイズやオブジェクト数、及び、コンテンツによって大きく変動する。このため、精度の高い位置予測を実現するのは困難であった。従って、仮想画像データの生成時間を隠蔽するには課題も多かった。

そこで、本発明の目的は、仮想画像データの生成時間を短縮させることにある。

本発明の情報処理装置は、現実空間を撮像する撮像手段から出力されるＲＡＷデータに基づいて、前記現実空間を示す現実空間画像データを生成する生成手段と、前記ＲＡＷデータから特定色のＲＡＷデータを分離する分離手段と、前記特定色のＲＡＷデータに基づいて、前記撮像手段の位置及び方向のうちの少なくとも何れか一方を計測する第１の計測手段とを有し、前記第１の計測手段の計測結果は、前記現実空間画像データと合成される仮想画像データが生成される際に使用されることを特徴とする。

本発明によれば、仮想画像データの生成時間を短縮させることが可能となる。

本発明の第１の実施形態に係るＭＲシステムの構成を示す図である。 本発明の第１の実施形態に係るＭＲシステムの機能的な構成を示す図である。 画像処理装置に適用可能なコンピュータのハードウェア構成を示す図である。 ＨＭＤのハードウェア構成を示す図である。 撮像ユニットの詳細な構成を示す図である。 ＲＡＷデータから特定色を分離する処理を概念的に示す図である。 位置姿勢計測部の詳細な構成を示す図である。 特定色ＲＡＷデータ生成処理から位置ズレ補正処理までの流れを示すフローチャートである。 マーカを利用した、ＨＭＤ装着者の位置姿勢情報の計測処理を説明するための図である。 位置ズレ補正部における処理の前提となる位置ズレの概念を説明するための図である。 画像処理装置の処理を示すフローチャートである。 比較例のＭＲシステムの処理と、本実施形態に係るＭＲシステムの処理とを時系列で示す図である。 本発明の第２の実施形態に係るＭＲシステムの構成を示す図である。 簡易位置姿勢計測部及び高精度位置姿勢計測部の詳細な構成を示す図である。 高精度位置姿勢計測部の処理を示すフローチャートである。 仮想画像データ生成処理から合成画像データ表示処理までの流れを示すフローチャートである。 比較例のＭＲシステムの処理と、本実施形態に係るＭＲシステムの処理とを時系列で示す図である。 本発明の第３の実施形態に係るＭＲシステムの機能的な構成を示す図である。 簡易位置姿勢計測部及び高精度位置姿勢計測部の詳細な構成を示す図である。 比較例のＭＲシステムの処理と、本実施形態に係るＭＲシステムの処理とを時系列で示す図である。 本発明の第４の実施形態に係るＭＲシステムの構成を示す図である。 比較例のＭＲシステムの処理と、本実施形態に係るＭＲシステムの処理とを時系列で示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

現実世界と仮想世界とをリアルタイム且つシームレスに融合させる技術である複合現実感、いわゆるＭＲ技術では、撮像機能付表示装置（以下、ＨＭＤと称す）が利用される。ＨＭＤの撮像部により取得された、ＨＭＤ装着者の視点から見た現実空間の撮像画像データに、ＨＭＤ装着者（撮像部）の位置及び方向等を示す位置姿勢情報に基づいて生成された仮想画像データが重畳され、ＨＭＤの表示部において表示される。その結果、ＨＭＤ装着者は、仮想画像データ（ＣＧ：Computer Graphics）で描画されたオブジェクトが、観察している現実空間内にあたかも存在しているかのような複合現実感を体感することができる。なお、以下では、頭部装着型のＨＭＤを想定して説明を行うが、双眼鏡のような手持ちタイプのＨＭＤであってもよい。

先ず、本発明の第１の実施形態について説明する。図１は、第１の実施形態に係るＭＲシステムの構成を示す図である。図１に示すように、第１の実施形態に係るＭＲシステムは、ＨＭＤ１０１、コントローラ１０２及び画像処理装置１０３を備える。

ＨＭＤ１０１は、撮像部、画像表示部及び画像合成部を備える。撮像部は、ＨＭＤ装着者の視点から見た現実空間、即ち、ＨＭＤ装着者が観察している現実空間の画像データ（以下、現実空間画像データと称す）を撮像する。画像表示部は、撮像部により撮像された現実空間画像データ、画像処理装置１０３からの出力画像データ、及び、現実空間画像データに画像処理装置１０３で生成された仮想画像データを重畳したＭＲ画像データを表示する。画像合成部は、現実空間画像データと仮想画像データとを合成してＭＲ画像データを生成する。また、ＨＭＤ１０１は、コントローラ１０２と通信を行う機能を有し、コントローラ１０２から電源供給を受けて駆動することも、バッテリで駆動することも可能な構成となっている。

コントローラ１０２と接続された画像処理装置１０３は、仮想画像データの描画を行うＣＧ描画部を備える。画像処理装置１０３は、コントローラ１０２を介してＨＭＤ１０１と通信を行う。ＨＭＤ１０１は、仮想画像データを入力し、仮想画像データと撮像画像データとを合成してＭＲ画像データを生成し、画像表示部において表示する。コントローラ１０２は、ＨＭＤ装着者の位置姿勢を計測する計測機能の他、画像データの解像度変換、色空間変換及び伝送フォーマット変換等の機能を備えている。

なお、図１では、コントローラ１０２と画像処理装置１０３とを別々のハードウェア構成としているが、コントローラ１０２と画像処理装置１０３とがそれぞれ有する機能を集め、一つの画像処理装置を構成してもよい。また、本実施形態では、各々の装置を有線で接続させているが、これらの一部又は全部を無線で接続させてもよい。さらには、コントローラ１０２の機能の一部又は全部をＨＭＤ１０１側に取り込むようにしてもよい。以下の説明では、機能的な観点から、コントローラ１０２及びＨＭＤ１０１がそれぞれ有する機能を組み合わせたものを改めてＨＭＤ１０１と称する。

図２は、第１の実施形態に係るＭＲシステムの機能的な構成を示す図である。図２において、１０１は、ビデオシースルー型のＨＭＤである。図２に示すように、ＨＭＤ１０１は、撮像センサ２０１、ＡＦＥ２０２、特定色分離部２０３、位置姿勢計測部２０４、三次元位置姿勢センサ２０５、Ｉ／Ｆ２０６、カメラ画像処理部２０７、フレームバッファ２０８、画像合成部２０９及び表示ユニット２１０を備える。

撮像センサ２０１は、現実空間を撮像して、現実空間の画像に対応するアナログ信号を出力する。表示ユニット２１０は、現実空間画像データに仮想画像データが重畳されたＭＲ画像データを表示する。画像処理装置１０３は、仮想画像データの描画処理、及び、位置予測を含む位置姿勢情報の補正処理を行う。Ｉ／Ｆ２０６は、ＨＭＤ１０１と画像処理装置１０３とのインタフェースである。

ＡＦＥ２０２は、撮像センサ２０１から出力されるアナログ信号をデジタル信号に変換するアナログフロントエンドである。カメラ画像処理部２０７は、デジタル信号であるＲＡＷデータから現実空間画像データを生成する。フレームバッファ２０８は、カメラ画像処理部２０７により生成された現実空間画像データを格納する。

画像合成部２０９は、画像処理装置１０３側で生成された仮想画像データと、現実空間画像データとを合成する。特定色分離部２０３は、ＲＡＷデータから特定色の色プレーン（以下、特定色ＲＡＷデータと称す）を分離する。位置姿勢計測部２０４は、ＨＭＤ１０１の位置姿勢情報を計測する。

画像処理装置１０３は、ＨＭＤ１０１から入力した位置姿勢情報を補正する機能、及び、その位置姿勢情報に基づいて仮想画像データを生成する機能を有する。画像処理装置１０３としては、一般には、パソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する情報処理装置が用いられる。

撮像センサ２０１は、ＨＭＤ装着者の視線位置と略一致する現実空間を撮像する。撮像センサ２０１は、ステレオ画像データを生成するための右目用と左目用との二組の撮像素子及び不図示の光学系を備える。ここでは、Ｂａｙｅｒパターンと呼ばれる色フィルタによって構成された単一の撮像素子を想定している。イメージセンサの種類としては、ＣＣＤでもＣＭＯＳでも構わないが、ここでは、ＣＣＤを現実空間画像データ取得用のセンサとする撮像デバイスを想定して説明を行う。

アナログフロントエンド（ＡＦＥ）２０２は、撮像センサ２０１から出力されるアナログ信号に対して有効画素信号を抽出し、二重相関サンプリングによる固定パターンノイズを除去し、アナログ的なゲイン調整を行った後、Ａ／Ｄ変換器を介してデジタル信号への変換を行う。特定色分離部２０３は、ＡＦＥ２０２からの出力であるＲＡＷデータを撮像センサ２０１の前面に構成されている色フィルタ毎に分離することにより、特定色ＲＡＷデータを生成する。

位置姿勢計測部２０４は、特定色ＲＡＷデータから、ＨＭＤ装着者の位置姿勢情報を計測する。位置姿勢計測部２０４は、特定色ＲＡＷデータからマーカやマーカの代わりとなる自然特徴点を抽出して、ＨＭＤ装着者の位置姿勢情報を計測する。なお、不図示の客観視点による撮像画像データや、ＨＭＤ１０１に取り付けられた三次元位置姿勢センサ２０５からの出力信号を補足的に使用することにより、ＨＭＤ装着者の位置姿勢情報の計測精度を上げることが可能となる。また、これらを使用することにより、特定色ＲＡＷデータ中にマーカや自然特徴点がない場合でも、ＨＭＤ装着者の位置姿勢情報を計測することが可能となる。

本実施形態では、ＨＭＤ１０１側に位置姿勢計測部２０４を備えることを前提としているが、同様の処理機能を画像処理装置１０３側に備えてもよい。この場合、特定色ＲＡＷデータをＨＭＤ１０１から画像処理装置１０３に送信する必要がある。

三次元位置姿勢センサ２０５は、ＨＭＤ装着者の位置姿勢情報を得るためのセンサである。三次元位置姿勢センサ２０５としては、磁気センサやジャイロセンサ（加速度、角速度）が使用される。但し、位置姿勢計測部２０４は、特定色ＲＡＷデータのみでＨＭＤ装着者の位置姿勢情報を計測することも可能であるため、三次元位置姿勢センサ２０５は、必ずしも搭載が必須となるデバイスではない。

Ｉ／Ｆ２０６は、現実空間画像データを画像処理装置１０３に対して送信するとともに、現実空間画像データに合成する仮想画像データを画像処理装置１０３から受信するためのインタフェースである。このように、Ｉ／Ｆ２０６は、画像処理装置１０３に対するデータ通信の際、インタフェースとして機能するものであり、画像処理装置１０３側に設けられているＩ／Ｆ２１１も同様である。Ｉ／Ｆ２０６及び２１１は、リアルタイム性が求められ、且つ、大容量の伝送が可能な通信規格を採用することが望ましい。有線系であれば、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが使用される。無線系であれば、ＩＥＥＥ８０２．１１のワイヤレスＬＡＮ、ＩＥＥＥ８０２．１５のワイヤレスＰＡＮ規格等に準拠した高速無線通信が使用される。ここでは、有線系であれば、光ファイバを想定しており、無線系であれば、ＵＷＢ（Ultra Wide Band）を想定している。光ファイバの伝送帯域は数Ｇｂｐｓであり、ＵＷＢの伝送帯域は数百Ｍｂｐｓである。カメラ画像処理部２０７は、ＲＡＷデータからＲＧＢ又はＹＣＣフォーマットの現実空間画像データを生成する。

フレームバッファ２０８は、カメラ画像処理部２０７により生成された現実空間画像データを格納する。画像処理装置１０３から入力された仮想画像データと、現実空間画像データとの合成の際に、各画像データ間におけるフレームの先頭位置を合わせる必要がある。フレームバッファ２０８は、その際の、現実空間画像データの読み出しのタイミング調整用に設けられている。画像合成部２０９は、背景画像データとして用意された現実空間画像データと仮想画像データとを合成する。ここでは、クロマキー合成を想定している。画像合成部２０９は、画像処理装置１０３から入力された仮想画像データの背景色をクロマキー色として現実空間画像データとの合成処理を行うことにより、ＭＲ画像データを生成する。なお、画像データの合成処理の手法は、クロマキー合成に限定されない。

表示ユニット２１０は、画像合成部２０９により生成されたＭＲ画像データを表示する。撮像センサ２０１と同じく、右目用及び左目用の二組の表示デバイスと光学系とから構成される。表示デバイスは、小型の液晶ディスプレイやＭＥＭＳ（Micro Electro Mechanical System）による網膜スキャンタイプのデバイスが使用される。

Ｉ／Ｆ２１１は、画像処理装置１０３側のインタフェースである。Ｉ／Ｆ２１１は、ＨＭＤ１０１側のＩ／Ｆ２０６と同様であるため、説明を省略する。位置姿勢情報補正部２１２は、ＨＭＤ１０１で生成されたＨＭＤ装着者の位置姿勢情報を補正する。即ち、位置姿勢情報補正部２１２は、時系列に把握した過去の位置姿勢情報から、ＭＲ画像データ表示時点の位置姿勢情報への補正処理を行う。この位置姿勢情報の補正処理は、一般的な予測処理の手法で構わず、よく知られた手法では、カルマンフィルタを用いたものがある。ここでは、画像表示時のタイミングと合わせたが、画像データ合成時のタイミングに合わせるようにしてもよい。位置予測の精度を維持できる範囲は、ある程度限られるため、システム構成や生成されるコンテンツによっては、予測処理をスキップすることも可能である。

コンテンツＤＢ２１５は、仮想画像データのコンテンツを格納したデータベースであり、仮想空間を構成する各仮想物体に係るデータを保持している。仮想物体に係るデータには、例えば、仮想物体の位置姿勢情報、及び、その動作則を示すデータが含まれる。また、仮想物体がポリゴンで構成されている場合には、各ポリゴンの法線ベクトルデータやその色データ、及び、ポリゴンを構成している各頂点の座標位置データ等が仮想物体に係るデータに含まれる。さらに、仮想物体にテクスチャマッピングが施される場合には、テクスチャデータも仮想物体に係るデータに含まれる。

仮想画像描画部２１４は、コンテンツＤＢ２１５に格納されるそれぞれの仮想物体に係るデータを用いて、それぞれの仮想物体を配置した仮想空間を形成する。次に、仮想画像描画部２１４は、ＨＭＤ装着者の視点から見た仮想空間である仮想画像データを生成する。なお、所定の位置姿勢に対応する視点から見える仮想画像データの生成処理については周知であるため、これに関する詳細な説明は省略する。

ここで、本実施形態に係るＭＲシステムの処理の概要を説明する。撮像センサ２０１で得られたアナログ信号は、ＡＦＥ２０２及びカメラ画像処理部２０７を介することにより、現実空間画像データとして構成された後、フレームバッファ２０８において格納される。また、ＡＦＥ２０２から出力されるＲＡＷデータは、特定色分離部２０３で色プレーンの画像データに分離されることにより、特定色ＲＡＷデータが生成される。位置姿勢計測部２０４は、特定色ＲＡＷデータに基づいて、ＨＭＤ装着者の位置姿勢情報を計測する。計測されたＨＭＤ装着者の位置姿勢情報は、画像処理装置１０３に対して送信される。画像処理装置１０３は、ＨＭＤ１０１から受信したＨＭＤ装着者の位置姿勢情報に基づいて仮想画像データを生成し、ＨＭＤ１０１に対して送信する。

ＨＭＤ１０１の画像合成部２０９は、画像処理装置１０３から受信した仮想画像データと、フレームバッファ２０８に格納される最新の現実空間画像データとのタイミングを調整して合成することにより、ＭＲ画像データを生成する。表示ユニット２１０は、画像合成部２０９により生成されたＭＲ画像データを表示する。

図３は、画像処理装置１０３に適用可能なコンピュータのハードウェア構成を示す図である。図３において、３０１はＣＰＵであり、ＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うとともに、本コンピュータを適用した画像処理装置１０３が行う処理を実行する。

３０２はＲＡＭであり、外部記憶装置３０６からロードされたプログラムやデータ、Ｉ／Ｆ３０７を介して外部（本実施形態の場合、ＨＭＤ１０１）から受信したデータ等を一時的に記憶するためのエリアを有する。また、ＲＡＭ３０２は、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアも有する。また、ＲＡＭ３０２は、各種のエリアを適宜提供することもできる。

３０３はＲＯＭであり、本コンピュータの設定データやブートプログラム（ＢＩＯＳ）等を格納する。３０４は操作部であり、キーボードやマウス等により構成されており、本コンピュータの操作者が操作することにより、ＣＰＵ３０１に対して各種の指示を入力することができる。

３０５は表示部であり、ＣＲＴや液晶画面等により構成されており、ＣＰＵ３０１や不図示のグラフィックスボードによる処理結果を画像や文字でもって操作者へ表示することができる。

３０６は外部記憶装置であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。ここには、ＯＳ（オペレーティングシステム）や、画像処理装置１０３が行う後述する各処理をＣＰＵ３０１に実行させるためのプログラムやデータが保存されている。これらのプログラムやデータは、ＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされ、ＣＰＵ３０１による処理の対象となる。

３０７はＩ／Ｆであり、図２に示したＩ／Ｆ２１１に相当する。Ｉ／Ｆ３０７は、ＨＭＤ１０１とのデータ通信を行うためのインタフェースとして機能する。３０８は上述した各部を繋ぐバスである。

図４は、ＨＭＤ１０１のハードウェア構成を示す図である。図４において、４０１は撮像ユニットであり、撮像センサ２０１、ＡＦＥ２０２及びカメラ画像処理部２０７に相当する。４０２は表示ユニットであり、図２の表示ユニット２１０に相当する。４０３はＲＡＭであり、ＣＰＵ４０６が各種の処理を行うために用いるワークエリアや、Ｉ／Ｆ２０６を介して外部（ここでは、画像処理装置１０３）から受信したデータを一時的に記憶するためのエリア等を有する。

４０４はＲＯＭであり、ＨＭＤ１０１が行う後述の各処理をＣＰＵ４０６に実行させるためのプログラムやデータが格納されている。４０５は三次元位置姿勢センサであり、図２の三次元位置姿勢センサ２０５に相当する。

４０６はＣＰＵであり、ＨＭＤ１０１の初期設定を始め、各種デバイスの制御を行うプログラムを実行する。４０７はＩ／Ｆであり、図２のＩ／Ｆ２０６に相当する。４０８は位置姿勢計測ＬＳＩであり、図２の位置姿勢計測部２０４に相当する。ここでは、専用集積回路であるＡＳＩＣを想定しているが、信号処理プロセッサであるＤＳＰによってソフト的に機能を記述し実現する構成でもよい。４０９は上述の各部を繋ぐバスである。なお、図２の特定色分離部２０３の機能は、ＣＰＵ４０６に備えてもよいし、位置姿勢計測ＬＳＩ４０８に備えてもよい。

図５は、図４の撮像ユニット４０１の詳細な構成を示す図である。図５に示すように、撮像ユニット４０１は、撮像センサ２０１、ＡＦＥ２０２及びカメラ画像処理部２０７等を備える。

５０１は、撮像センサ２０１に結像させるための光学レンズである。５０２は、撮像センサ２０１を駆動するための垂直同期信号及び水平同期信号を、センサ駆動のために必要な電位に変換するＨ／Ｖドライバである。

ＡＦＥ２０２は、ＣＤＳ（Correlated double sampling）５０３、アナログアンプ５０４、ＡＤ変換器５０５及びタイミングジェネレータ５０６を備える。ＣＤＳ５０３は、固定パターンのノイズを除去する二重相関サンプリング回路である。アナログアンプ５０４は、ＣＤＳ５０３でノイズ除去されたアナログ信号のゲインを調整する。ＡＤ変換器５０５は、アナログ信号をデジタル信号に変換する。通常は、後段の処理を考慮して１０〜１６ｂｉｔ程度の量子化されたデジタル信号を出力する。ここで出力されるデジタル信号はＲＡＷデータと呼ばれる。ＲＡＷデータは後段のカメラ画像処理部２０７で使用されるとともに、特定色分離部２０３でも使用される。タイミングジェネレータ５０６は、撮像センサ２０１のタイミング及びカメラ画像処理部２０７のタイミングを調整する信号を生成する。

カメラ画像処理部２０７は、黒補正部５０７、ホワイトバランス補正部５０８、Ｂａｙｅｒ変換部５０９、γ補正部５１０及びフィルタ処理部５１１を備える。黒補正部５０７は、単一画素処理の一つである黒補正処理を実行する。即ち、黒補正部５０７は、光学的に遮光した黒補正データとＢａｙｅｒ配列の画素とで減算処理を行う。ホワイトバランス補正部５０８は、単一画素処理の一つであるホワイトバランス補正処理を実行する。即ち、ホワイトバランス補正部５０８は、被写体を照らす照明の色温度によってＲＧＢのゲインを調整することによって望ましい白色を再現するものであり、具体的には、ホワイトバランス補正用データの加算処理によって、これが実現される。Ｂａｙｅｒ変換部５０９は、Ｂａｙｅｒ配列の画像データをＲＧＢ各色の全画素化を実現するための補間処理を行う。即ち、Ｂａｙｅｒ変換部５０９は、Ｂａｙｅｒ配列の各色フィルタで分解された画像データに対して、周辺の同色や他色から推測して補間処理を行う。ここでは、特に機能ブロックとして明記しなかった欠陥画素の補正処理（補間処理）も合わせて実現される。γ補正部５１０は、画像表示系の表現階調特性に合わせて、逆特性を加味する処理を実施する。即ち、γ補正部５１０は、高輝度部の階調圧縮や暗部処理によって、人間の視覚特性に合わせた階調変換を行う。フィルタ処理部５１１は、画像に含まれる高周波成分の抑制やノイズ除去及び解像感強調を実現する。

一般的なカメラ画像処理機能として、ＲＧＢ信号をＹＣＣ等の輝度色差信号へ変換する色空間変換や大容量の画像データを圧縮する処理が含まれるが、本実施形態では、ＲＧＢデータを直接使用し、且つデータ圧縮を行わないものとする。

図６は、ＲＡＷデータから特定色を分離する処理を概念的に示す図である。図６（ａ）は、Ｂａｙｅｒ配列のＲＡＷデータを示している。図６（ａ）に示すように、ＲＡＷデータは、Ｒ（赤）色、二つのＧ（緑）色及びＢ（青）色の各フィルタを介した各色の色データとなっている。Ｒ色及びＢ色は、水平方向及び垂直方向とも一画素おきに構成されている。Ｇ色は千鳥の構成となっているが、便宜的にＲ色と同じ行にある画素をＧｒ色、Ｂ色と同じ行にある画素をＧｂ色としている。

図６（ｂ）は、ＲＡＷデータからＲ色のみを抽出した特定色ＲＡＷデータであり、図６（ｃ）は、ＲＡＷデータからＧ色のみを抽出した特定色ＲＡＷデータであり、図６（ｄ）は、ＲＡＷデータからＢ色のみを抽出した特定色ＲＡＷデータである。このように、Ｒ色とＢ色とは元となるＲＡＷデータに対して水平及び垂直方向とも１／２のサイズになり、Ｇ色は水平方向のみ１／２のサイズとなる。実際には、Ｇｒ色とＧｂ色とでは垂直方向の画素はずれている。

特定色分離部２０３は、図６（ａ）に示すＲＡＷデータから、図６（ｂ）、図６（ｃ）及び図６（ｄ）に示す特定色ＲＡＷデータを抽出する。Ｇ色の場合には、Ｇｒ色又はＧｂ色の何れかを選択すれば、Ｒ色やＢ色と同じ画像サイズとなる。

図７は、図２の位置姿勢計測部２０４の詳細な構成を示す図である。図７に示すように、位置姿勢計測部２０４は、二値化処理部７０１、マーカ抽出部７０２、ラベリング処理部７０３、制御／データ補正部７０４、収束演算処理部７０５及び位置ズレ補正部７０６を備える。

二値化処理部７０１は、特定色ＲＡＷデータに対して任意の閾値で二値化処理を行う。即ち、二値化処理部７０１は、画素毎に閾値との比較を行い、０又は１の値を持つ二値画像データを生成する。閾値は、例えば、画像データを取得する際の現実空間の環境条件や採用される特定色によって、基準値から調整して取得される。

マーカ抽出部７０２は、二値画像データからマーカを抽出する。このように計測用に配置されたマーカを抽出する手法ではなく、二値画像データ中に含まれるエッジ部分等の自然特徴を抽出する手法を採用してもよい。ラベリング処理部７０３は、マーカ抽出部７０２により抽出されたマーカや自然特徴点が二値画像データ中に複数含まれる場合、それぞれの抽出領域を区別するための識別番号を付与する。

制御／データ補正部７０４は、三次元位置姿勢センサ２０５を制御するとともに、三次元位置姿勢センサ２０５からの出力信号を補正する。なお、三次元位置姿勢センサ２０５及び制御／データ補正部７０４の機能は補足的なものであり、位置姿勢計測部２０４にとって必須の機能ではないが、二値画像データ中のマーカや後述する自然特徴だけでは制限もあるため、搭載しておくことが望ましい。

収束演算処理部７０５は、マーカ抽出部７０２において一つ乃至それ以上のマーカが二値画像データから認識された場合、その位置を精度よく算出するための繰り返し演算処理を行うことにより、位置姿勢情報を算出する。二値画像データにマーカが含まれない場合も、マーカが抽出された時点の位置姿勢情報を基準に、相対的な移動量である加速度や角速度を他のセンサからの出力信号によって補うことにより、精度よく位置姿勢情報を算出することが可能となる。位置ズレ補正部７０６は、特定色ＲＡＷデータと特定色が分離される前のＲＡＷデータとの位置ズレを補正する。

図８は、特定色ＲＡＷデータ生成処理から位置ズレ補正処理までの流れを示すフローチャートである。ステップ８０１において、特定色分離部２０３は、ＲＡＷデータから特定色を分離して特定色ＲＡＷデータを生成する。ステップ８０２において、位置姿勢計測部２０４は、特定色ＲＡＷデータを二値化処理するための閾値を設定する。ステップ８０３において、位置姿勢計測部２０４は、ステップ８０２で設定した閾値に基づいて、特定色ＲＡＷデータの二値化処理を行う。

ステップ８０４において、位置姿勢計測部２０４は、二値化処理により生成された二値画像データからマーカ又は自然特徴点を抽出する。ステップ８０５において、位置姿勢計測部２０４は、ステップ８０４で抽出したマーカ又は自然特徴点に対して識別子を付与するラベリング処理を行う。

ステップ８０６において、位置姿勢計測部２０４は、三次元位置姿勢センサ２０５からの出力信号を、ＨＭＤ装着者の位置姿勢情報の計測に利用するか否かを判定する。三次元位置姿勢センサ２０５からの出力信号を利用する場合、処理はステップ８０７に移行する。一方、三次元位置姿勢センサ２０５からの出力信号を利用しない場合、処理はステップ８０８に移行する。

ステップ８０７において、位置姿勢計測部２０４は、三次元位置姿勢センサ２０５からの出力信号を補正する。なお、ここで補正された出力信号は、ＨＭＤ装着者の位置姿勢情報の計測時に使用される。ステップ８０８において、位置姿勢計測部２０４は、ステップ８０５でラベリングされたマーカ又は自然特徴点の位置を高精度に算出するための収束演算を行う。ステップ８０９において、位置ズレ補正部７０６は、特定色ＲＡＷデータと特定色が分離される前のＲＡＷデータとの位置ズレを補正する。

図９は、マーカを利用した、ＨＭＤ装着者の位置姿勢情報の計測処理を説明するための図である。マーカ９０３は、ＨＭＤ１０１の撮像ユニット４０１との位置関係が予め対応付けられているものとする。二値画像データ９０１にマーカ９０３が含まれている場合、位置姿勢計測部２０４は、二値画像データ９０１からマーカ９０３を抽出し、マーカ９０３の大きさ、形及び塗りつぶしのパターン等から、マーカ９０３と撮像ユニット４０１との相対的な位置関係、及び、ＨＭＤ装着者がマーカを観察している方向に関する位置姿勢情報を算出する。

図９の例では、マーカ９０３の中心部を原点とする三次元座標系を想定しているが、座標系の原点はマーカ９０３上に設定する必要はなく、座標系の原点とマーカ９０３との相対的な位置関係を対応付けることにより、任意の位置に設定することができる。また、位置姿勢情報の生成に用いるマーカは単独ではなく、複数のマーカを同時に用いてもよい。複数のマーカを同時に用いる場合、各マーカの位置関係を予め定義しておくことにより、それらの相対的な位置関係から、マーカを観察している方向を算出することが可能となる。従って、図９に示したような内部の塗りつぶしパターンによって方向まで識別することが可能なマーカではなく、例えば、カラーマーカや、ＬＥＤ等の発光素子のような方向性の情報を持たないマーカを利用することも可能となる。

また、マーカ９０３ではなく、二値画像データ９０１中の自然特徴点（例えば、テーブル９０２の輪郭線９０４）や自然特定色を抽出し、これら自然特徴点等を用いて位置姿勢情報を算出することも可能である。同一種類のマーカを複数用いたり、数種類のマーカを同時に用いたり、マーカ９０３と二値画像データ９０１中の自然特徴点等とを組み合わせて用いることによって、より高い精度の位置姿勢情報を生成することができる。さらには、複数のマーカや自然特徴点等の位置関係が対応付けられているため、全てのマーカや自然特徴点等が二値画像データ９０１内に表示されていなくても、それぞれのマーカや自然特徴点等の位置を推定することも可能である。

次に、図１０を参照しながら、位置ズレ補正部７０６における処理の前提となる位置ズレの概念を説明する。図１０（ａ）は、特定色ＲＡＷデータである。ここではＲ色の画素を集めた特定色ＲＡＷデータを想定している。図１０（ｂ）は、特定色が分離される前のＲＡＷデータを示している。図１０（ａ）において、１００１は、Ｒ色の特定色ＲＡＷデータ中に含まれるマーカ位置を示したものであり、実線がその範囲を示している。１００２は、分離される前のＲＡＷデータにおけるＲ色のマーカ位置を示したものであり、破線がその範囲を示している。１００３は、マーカ位置１００１を解像度変換による拡大処理した場合に想定される、分離される前のＲＡＷデータにおけるＲ色のマーカ位置を示したものであり、実線がその範囲を示している。ここで、図６に示したように、特定色ＲＡＷデータは、分離される前のＲＡＷデータに対して水平及び垂直とも画素数が半分となる。但し、補間による縮小処理ではないため、元となる分離される前のＲＡＷデータとは絶対的な位置が異なる。

図１０（ａ）の１００１に示すマーカ位置は、３×３画素で構成される特定色ＲＡＷデータの中央部に位置しているが、元となるＲＡＷデータでは、図１０（ｂ）の１００２に示すマーカ位置となる。単純にＲ色の特定色ＲＡＷデータを水平及び垂直２倍に拡大した６×６画素で構成される画像データでは、図１０（ｂ）の１００３に示すマーカ位置となり、水平方向には左に１／２画素、垂直方向には下に１／２画素ずれた範囲を指定することになる。

図７の位置ズレ補正部７０６は、この単純に拡大した場合の画素と実際に採用された画素とのズレ量を色フィルタの構成から判断して水平及び垂直方向にそれぞれ１／２画素シフトする処理を行う。その結果、特定色ＲＡＷデータを基にしたマーカ位置の範囲を、元となる分離される前の画素数が多いＲＡＷデータ中の範囲として使用することができる。

次に、図１１を用いて、画像処理装置１０３の処理について説明する。図１１は、画像処理装置１０３の処理を示すフローチャートである。

ステップ１１０１において、画像処理装置１０３は、ＨＭＤ装着者の位置姿勢情報をＨＭＤ１０１から受信する。ステップ１１０２において、画像処理装置１０３は、ＨＭＤ装着者の位置姿勢情報の補正処理を行うか否かを判定する。位置姿勢情報の補正処理を行う場合、処理はステップＳ１１０３に移行する。一方、位置姿勢情報の補正処理を行わない場合、処理はステップＳ１１０４に移行する。

ステップＳ１１０３において、画像処理装置１０３は、ＨＭＤ装着者の位置姿勢情報の補正処理を行う。なお、位置姿勢情報の補正処理の説明は、図２の位置姿勢情報補正部２１２に関する説明で既に行っているため省略する。

ステップ１１０４において、画像処理装置１０３は、ＨＭＤ装着者の位置姿勢情報に従って仮想画像データを描画する。ステップ１１０５において、画像処理装置１０３は、ステップ１１０４で描画した仮想画像データをＨＭＤ１０１に対して送信する。

図１２は、比較例のＭＲシステムの処理と、本実施形態に係るＭＲシステムの処理とを時系列で示す図である。即ち、図１２（Ａ）は、比較例のＭＲシステムの処理を示している。比較例のＭＲシステムは、ＨＭＤ内部で画像データの合成処理及び位置姿勢情報の計測処理を行い、最新の現実空間画像データと画像処理装置側で生成された仮想画像データとを合成して表示する。図１２（Ｂ）は、本実施形態に係るＭＲシステムの処理を示している。本実施形態に係るＭＲシステムは、現実空間画像データが生成されると同時に色分離された特定色ＲＡＷデータに基づいて、ＨＭＤ装着者の位置姿勢情報の計測を行う。

図１２において、ｔ０は、比較例のＭＲシステム及び本実施形態に係るＭＲシステムにおける、現実空間を撮像するタイミングである。ｔ１は、本実施形態に係るＭＲシステムにおける、ＨＭＤ装着者の位置姿勢情報を計測するための、特定色ＲＡＷデータの二値化処理を開始するタイミングである。ｔ２は、比較例のＭＲシステムにおける、ＨＭＤ装着者の位置姿勢情報を計測するための、現実空間画像データの二値化処理を開始するタイミングである。ｔ３は、比較例のＭＲシステム及び本実施形態に係るＭＲシステムにおける、ｔ０で撮像された現実空間画像データと仮想画像データとの合成処理により生成されたＭＲ画像データの表示タイミングである。ｔ４は、本実施形態に係るＭＲシステムにおける、画像処理装置で生成された仮想画像データがＨＭＤに送信されるタイミングである。ｔ５は、比較例のＭＲシステムにおける、画像処理装置で生成された仮想画像データがＨＭＤに送信されるタイミングである。

比較例のＭＲシステム及び本実施形態に係るＭＲシステムともに、ｔ０で現実空間画像データを撮像し、ｔ３でＭＲ画像データを表示する点は同じである。即ち、現実空間画像データの撮像からＭＲ画像データの表示までに要する時間は、比較例のＭＲシステムと本実施形態に係るＭＲシステムとで変わらない。

但し、比較例のＭＲシステムにおいて、仮想画像データがＨＭＤ１０１に送信されるタイミングはｔ５であり、現実空間画像データと仮想画像データとの合成処理からＭＲ画像データ表示処理までに要する時間を加算すると、現実空間画像データの撮像処理からＭＲ画像データ表示処理までに要する時間は、（ｔ５−ｔ０）＋（ｔ３−ｔ２）となる。なお、ｔ２の時点で合成される仮想画像データは、当該ｔ２直前のｔ０のタイミングで撮像された現実空間画像データではなく、その一つの前のｔ０のタイミングで撮像された現実空間画像データを基にして生成されたものである。

これに対し、本実施形態では、現実空間画像データの撮像処理からＭＲ画像データの表示処理までに要する時間は、（ｔ４−ｔ０）＋（ｔ３−ｔ２）となり、比較例のＭＲシステムと比べて、ｔ５−ｔ４＝Ｔ１分だけ時間を短くすることができる。この時間短縮は、ＨＭＤ装着者の位置姿勢情報の計測処理を前倒しで行うことによる効果であり、ｔ２−ｔ１の時間に相当する。

比較例のように、現実空間画像データを生成した後に位置姿勢情報の計測処理を行う場合に比べ、本実施形態のように、現実空間画像データの生成処理と特定色ＲＡＷデータに基づく位置姿勢情報の計測処理とを並列して行う場合、仮想画像データの描画までに要する時間を短縮することが可能となる。

また、本実施形態では、画像合成部２０９をＨＭＤ１０１側に備えているため、ＨＤＭ１０１側において最新の撮像画像データと仮想画像データとの合成処理が行われる。従って、仮想画像データの描画までに要する時間を短縮するだけでなく、撮像画像データの撮像処理から当該撮像画像データが表示されるまでに要する時間を短縮させることが可能となる。

また、画像合成部２０９及び位置姿勢計測部２０４をＨＭＤ１０１側に備えることにより、画像処理装置１０３に対して、背景画像データである撮像画像データ、及び、位置姿勢情報計測用の特定色ＲＡＷデータを伝送することが不要になる。従って、ＨＭＤ１０１と画像処理装置１０３間のデータ伝送量を約半減させることができる。特に、ＨＭＤ１０１と画像処理装置１０３間のＩ／Ｆとして無線規格を採用する場合には有用である。

次に、本発明の第２の実施形態について説明する。第１の実施形態では、特定色ＲＡＷデータに基づいて位置姿勢情報の計測処理を行ったのに対して、第２の実施形態では、位置姿勢情報の計測処理を二段階の処理によって行うことにより、位置姿勢情報の計測処理の精度を向上させるものである。

図１３は、本発明の第２の実施形態に係るＭＲシステムの構成を示す図である。なお、図１３において、図２と同一の符号を付した構成は、当該符号に該当する図２に示した構成と同様の構成であるため、説明を省略する。

図１３において、１３０３は、特定色ＲＡＷデータに基づいて位置姿勢情報の計測処理を行う簡易位置姿勢計測部である。簡易位置姿勢計測部１３０３による処理内容は、位置姿勢計測部２０４による処理内容とほぼ同様であるが、後述する高精度位置姿勢計測部１３０４で使用される範囲指定情報を生成する点が異なる。なお、簡易位置姿勢計測部１３０３は、第１の計測手段の例となる構成である。

１３０４は、カメラ画像処理部２０７で生成された現実空間画像データと、簡易位置姿勢計測部１３０３から入力される範囲指定情報とに基づいて、より高精度な位置姿勢情報の計測処理を行う高精度位置姿勢計測部である。１３０５は、高精度位置姿勢計測部１３０４で生成された仮想画像データの位置ズレを補正するための位置ズレ情報を格納するバッファである。なお、高精度位置姿勢計測部１３０４は、第２の計測手段の例となる構成である。

１３０６は、簡易位置姿勢計測部１３０３で計測された位置姿勢情報を基に生成された仮想画像データの位置を、バッファ１３０５に格納された当該仮想画像データに対応する位置ズレ情報に基づいて調整する仮想画像位置調整部である。

ここで、第２の実施形態に係るＭＲシステムの処理の概要を説明する。撮像センサ２０１で得られたアナログ信号は、ＡＦＥ２０２及びカメラ画像処理部２０７を介することにより、現実空間画像データとして構成された後、フレームバッファ２０８において格納される。また、ＡＦＥ２０２から出力されるＲＡＷデータは、特定色分離部２０３で色プレーンの画像データに分離されることにより、特定色ＲＡＷデータが生成される。簡易位置姿勢計測部１３０３は、特定色ＲＡＷデータに基づいて、ＨＭＤ装着者（撮像センサ２０１）の位置姿勢情報を計測する。このようにして生成された位置姿勢情報は、画像処理装置１０３に対して送信される。ここまでの処理は、第１の実施形態と同様である。

第２の実施形態では、高精度位置姿勢計測部１３０４は、簡易位置姿勢計測部１３０３で位置姿勢情報が計測される段階で把握されるマーカや自然特徴点の位置又は範囲を、カメラ画像処理部２０７で生成された現実空間画像データに対して適用することにより、高解像の現実空間画像データを基にした高精度な位置姿勢情報の計測を行う。このようにして計測された高精度な位置姿勢情報と、画像処理装置１０３に対して送信された位置姿勢情報との差分は、バッファ１３０５において格納される。

画像処理装置１０３は、ＨＭＤ１３０１から受信した位置姿勢情報に基づいて仮想画像データを生成し、ＨＭＤ１３０１に対して送信する。画像処理装置１０３の処理内容は、第１の実施形態と同様である。仮想画像位置調整部１３０６は、画像処理装置１０３から受信した仮想画像データに対応する位置ズレ量（上記差分）をバッファ１３０５から読み出し、仮想画像データの位置を調整する。

画像合成部２０９は、位置が調整された仮想画像データとフレームバッファ２０８に格納された最新の現実空間画像データとのタイミングを調整して合成し、ＭＲ画像データを生成する。画像合成部２０９において生成されたＭＲ画像データは、表示ユニット２１０において表示されることにより、ＨＭＤ装着者に提示される。

図１４は、簡易位置姿勢計測部１３０３及び高精度位置姿勢計測部１３０４の詳細な構成を示す図である。なお、図１４に示す７０１〜７０６の構成は、図７に示した７０１〜７０６の構成と同様であるため、説明は省略する。

１４０１は、マーカ抽出処理によって特定色ＲＡＷデータから抽出されたマーカや自然特徴点の範囲を示す範囲指定情報を生成する演算処理指定部である。

１４０２は、入力されたＲＧＢ画像データである現実空間画像データを輝度情報に変換する輝度変換処理部である。ＲＧＢ画像データを輝度情報に変換する手法としては、ＲＧＢ画像データをＹＣＣ画像データにフォーマット変換し、輝度情報であるＹを使用する方法や、ＲＧＢ画像データのうち、特定色のみ輝度情報として採用する方法がある。なお、特定色を採用する際には、Ｇ色（緑）を用いるが一般的である。

１４０３は、輝度変換処理部１４０２にて輝度情報に変換された画像データを、任意の閾値に基づいて二値化処理する二値化処理部である。ここで使用される閾値は、現実空間の環境情報に基づいて調整するようにしてもよい。１４０４は、演算処理指定部１４０１から入力される範囲指定情報に基づいて、０及び１の値を持つ二値画像データから収束演算の対象となる範囲（以下、収束演算範囲と称す）を抽出する演算範囲抽出部である。ここで、演算範囲抽出部１４０４は、簡易位置姿勢計測部１３０３から入力される範囲指定情報を用いて収束演算範囲を抽出することにより、高精度位置姿勢計測部１３０４内において、二値画像データからマーカや自然特徴点を抽出し、ラベリング処理を行う処理工程をスキップすることができる。また、高精度位置姿勢計測部１３０４で使用される現実空間画像データの画素数、即ち、同じ画角における解像度は、特定色ＲＡＷデータに比べて高いため、収束演算範囲は、マーカ抽出部７０２によって特定色ＲＡＷデータから抽出されたマーカや自然特徴点の範囲よりも広く指定される。

１４０５は、演算範囲抽出部１４０４で抽出された収束演算範囲に対して、収束演算を行う収束演算部である。収束演算の処理内容については、これまで説明してきた内容と同様である。１４０６は、簡易位置姿勢計測部１３０３で計測された位置姿勢情報と高精度位置姿勢計測部１３０４で計測された位置姿勢情報とを比較し、仮想画像データの位置ズレ量を算出する補正情報生成部である。

図１５は、高精度位置姿勢計測部１３０４の処理を示すフローチャートである。ステップ１５０１において、輝度変換処理部１４０２は、カメラ画像処理部２０７で生成された現実空間画像データを取得する。ステップ１５０２において、輝度変換処理部１４０２は、現実空間画像データを輝度情報に変換する。

ステップ１５０３において、二値化処理部１４０３は、輝度情報を任意の閾値によって０又は１の値を持つ二値画像データに変換する。ステップ１５０４において、演算範囲抽出部１４０４は、画像データにおけるマーカや自然特徴点の範囲が指定された範囲指定情報を簡易位置姿勢計測部１３０３から取得する。

ステップ１５０５において、演算範囲抽出部１４０４は、ステップ１５０４で取得した範囲指定情報に基づいて、二値画像データに対して収束演算範囲を指定する。ステップ１５０６において、収束演算処理部１４０５は、演算範囲抽出部１４０４により指定された収束演算範囲の二値画像データに対して収束演算を行い、高精度な位置姿勢情報を生成し、バッファ１３０５に保存する。

ステップ１５０７において、補正情報生成部１４０６は、ステップ１５０６で生成された高精度な位置姿勢情報と、簡易位置姿勢計測部１３０３で生成された位置姿勢情報とを比較し、仮想画像データの位置ズレ量を算出する。

図１６は、仮想画像データ生成処理から合成画像データ表示処理までの流れを示すフローチャートである。ステップ１６０１において、仮想画像位置調整部１３０６は、画像処理装置１０３から仮想画像データを取得する。ステップ１６０２において、仮想画像位置調整部１３０６は、仮想画像データの位置ズレ量をバッファ１３０５から取得する。

ステップ１６０３において、仮想画像位置調整部１３０６は、ステップ１６０２で取得した仮想画像データの位置ズレ量に基づいて、仮想画像データの表示位置を調整する。ステップ１６０４において、画像合成部２０９は、背景データである最新の撮像画像データと、表示位置が調整された仮想画像データとを合成し、ＭＲ画像データを生成する。

ステップ１６０５において、画像合成部２０９は、表示デバイスの特性に合わせて、ＭＲ画像データの色調整を行う。なお、ＭＲ画像データの色調整は、γ補正によって実現するのが一般的である。ステップ１６０６において、画像合成部２０９は、色調整後のＭＲ画像データを表示ユニット２１０に出力し、表示させる。

図１７は、比較例のＭＲシステムの処理と、本実施形態に係るＭＲシステムの処理とを時系列で示す図である。即ち、図１７（Ａ）は、比較例のＭＲシステムの処理を示しており、図１２（Ａ）に示した処理の流れと同じである。図１７（Ｂ）は、本実施形態に係るＭＲシステムの処理を示している。本実施形態に係るＭＲシステムは、特定色ＲＡＷデータに基づく位置姿勢情報の計測処理途中の範囲指定情報を利用して、高精度な位置姿勢情報の計測処理を行う。

図１７において、ｔ０は、比較例のＭＲシステム及び本実施形態に係るＭＲシステムにおける、現実空間を撮像するタイミングである。ｔ１は、本実施形態に係るＭＲシステムにおける、ＨＭＤ装着者の位置姿勢情報を計測するための、特定色ＲＡＷデータの二値化処理を開始するタイミングである。ｔ２は、比較例のＭＲシステムにおける、ＨＭＤ装着者の位置姿勢情報を計測するための、現実空間画像データの二値化処理を開始するタイミングである。ｔ３は、比較例のＭＲシステムにおける、現実空間画像データと仮想画像データとの合成処理により生成されたＭＲ画像データの表示タイミングである。ｔ４は、本実施形態に係るＭＲシステムにおける、ｔ０で撮像された現実空間画像データと仮想画像データとの合成処理により生成されたＭＲ画像データの表示タイミングである。ｔ５は、本実施形態に係るＭＲシステムにおける、画像処理装置から仮想画像データをＨＭＤへ送信するタイミングである。ｔ６は、比較例のＭＲシステムにおける、画像処理装置から仮想画像データをＨＭＤへ送信するタイミングである。

図１７に示すように、比較例のＭＲシステムでは、ｔ３でＭＲ画像データを表示し、本実施形態に係るＭＲシステムは、ｔ４でＭＲ画像データを表示している。このように、第１の実施形態では比較例と一致していたＭＲ画像データの表示タイミングが、第２の実施形態ではずれているのは、第２の実施形態には、仮想画像データの表示位置の調整処理が含まれるからである。実際には、図１７に示したほど、ｔ３とｔ４との時間差はなく、現実空間画像データの撮像からＭＲ画像データの表示までに要する時間はほぼ同じである。これは、仮想画像データの位置ズレが数画素程度に収まることが理由である。

但し、比較例のＭＲシステムにおいて、仮想画像データがＨＭＤに送信されるタイミングはｔ６であり、現実空間画像データと仮想画像データとの合成処理からＭＲ画像データ表示処理までに要する時間を加算すると、現実空間画像データの撮像処理からＭＲ画像データ表示処理までに要する時間は、（ｔ６−ｔ０）＋（ｔ３−ｔ２）となる。

これに対し、本実施形態では、現実空間画像データの撮像処理からＭＲ画像データの表示処理までに要する時間は、（ｔ５−ｔ０）＋（ｔ４−ｔ２）となり、比較例のＭＲシステムと比べて、ｔ６−ｔ５＝Ｔ２分だけ時間を短縮することができる。このように、第２の実施形態においては、現実空間画像データの撮像処理からＭＲ画像データの表示処理までに要する時間を短縮することができる。また、本実施形態によれば、高精度な位置姿勢情報に基づく仮想画像データの生成時間を短縮することが可能となる。

次に、本発明の第３の実施形態について説明する。第３の実施形態は、位置姿勢情報の計測処理を二段階で行うことにより、位置姿勢情報の精度を向上させる点は、第２の実施形態と同様であるが、画像処理装置側に画像合成部を備えた点が第２の実施形態と相違する。以下、この点を中心に説明を行う。

図１８は、第３の実施形態に係るＭＲシステムの機能的な構成を示す図である。なお、図１８において、図２と同一の符号を付した構成は、当該符号に該当する図２に示した構成と同様の構成である。簡易位置姿勢計測部１８０３、高精度位置姿勢計測部１８０４及び画像合成部１８０５についての詳細な説明は後述する。

ここで、第３の実施形態に係るＭＲシステムの処理の概要を説明する。撮像センサ２０で得られたアナログ信号は、ＡＦＥ２０２及びカメラ画像処理部２０７を介することにより、現実空間画像データとして構成された後、Ｉ／Ｆ２０６を介して画像処理装置１８０２に対して送信される。また、ＡＦＥ２０２から出力されるＲＡＷデータは、特定色分離部２０３で色プレーンの画像データに分離されることにより、特定色ＲＡＷデータが生成される。簡易位置姿勢計測部１８０３は、特定色ＲＡＷデータにおけるマーカや自然特徴点の範囲を示す範囲指定情報を生成する。高精度位置姿勢計測部１８０４は、簡易位置姿勢計測部１８０３により生成された範囲指定情報と、現実空間画像データとに基づいて、ＨＭＤ装着者の位置姿勢情報を計測する。高精度位置姿勢計測部１８０４で計測された位置姿勢情報は、画像処理装置１８０２に対して送信される。

本実施形態における簡易位置姿勢計測部１８０３は、通常の位置姿勢情報の計測処理のうちのラベリング処理までに処理を留め、範囲指定情報を高精度位置姿勢計測部１８０４に対して出力する。高精度位置姿勢計測部１８０４は、第２の実施形態における高精度位置姿勢計測部１８０４と同様に、上記範囲指定情報に基づいて、現実空間画像データから生成された二値画像データより収束演算範囲を抽出し、高解像の現実空間画像データを基にした高精度な位置姿勢情報の計測処理を行う。ここで得られた高精度の位置姿勢情報は、Ｉ／Ｆ２０６を介して画像処理装置１８０２に対して送信される。

仮想画像描画部２１４は、ＨＭＤ１８０１から受信した位置姿勢情報に基づいて仮想画像データを生成する。画像合成部１８０５は、当該仮想画像データと、同じくＨＭＤ１８０１から受信した現実空間画像データとを合成することにより、ＭＲ画像データを生成する。画像処理装置１８０２は、画像合成部１８０５により生成されたＭＲ画像データをＨＭＤ１８０１に対して送信する。第１及び第２の実施形態と異なるのは、画像処理装置１８０２側で現実空間画像データと仮想画像データとを合成してＭＲ画像データを生成する点である。ＨＭＤ１８０１は、画像処理装置１８０２から受信したＭＲ画像データを表示ユニット２１０において表示し、ＨＭＤ装着者に対して提示する。

図１９は、簡易位置姿勢計測部１８０３及び高精度位置姿勢計測部１８０４の詳細な構成を示す図である。なお、図１９に示す７０１〜７０３及び１４０１の構成は、図１４に示した７０１〜７０３及び１４０１の構成と同様であるため、説明は省略する。また、図１９に示す１４０２〜１４０５の構成は、図１４に示した１４０２〜１４０５の構成と同様であるため、説明は省略する。また、図１９に示す制御／データ補正部１９０１は、高精度位置姿勢計測部１８０４側に配置されているため、図１４に示す制御／データ補正部７０４とは異なる符号を付しているが、制御／データ補正部７０４と同様の機能を有する構成である。

ここで、簡易位置姿勢計測部１８０３及び高精度位置姿勢計測部１８０４の処理の概要を説明する。簡易位置姿勢計測部１８０３は、特定色ＲＡＷデータに対して、二値化処理、マーカ抽出処理、ラベリング処理及び収束演算対象の範囲指定処理を行うことにより、低解像の特定色ＲＡＷデータにおける収束演算の対象となる範囲を示す範囲指定情報を生成する。

高精度位置姿勢計測部１８０４は、カメラ画像処理部２０７で生成された高解像の現実空間画像データに対して、輝度変換処理、二値化処理、収束演算対象の範囲指定処理、及び、収束演算処理を行うことにより、ＨＭＤ装着者の位置姿勢情報を計測する。その際、三次元位置姿勢センサ２０５からの出力信号を補足的に用いてもよい。なお、収束演算対象の範囲指定処理では、簡易位置姿勢計測部１８０３で指定された範囲指定情報が用いられる。

図２０は、比較例のＭＲシステムの処理と、本実施形態に係るＭＲシステムの処理とを時系列で示す図である。即ち、図２０（Ａ）は、比較例のＭＲシステムの処理を示している。比較例のＭＲシステムは、ＨＭＤ内部で位置姿勢情報の計測処理を行い、画像処理装置側で、仮想画像データの生成処理と、仮想画像データと現実空間画像データとの合成処理とを行った後、ＨＭＤ側でＭＲ画像データの表示処理を行う。図２０（Ｂ）は、本実施形態に係るＭＲシステムの処理を示している。本実施形態に係るＭＲシステムは、高精度な位置姿勢情報の計測処理を、特定色ＲＡＷデータを基にした範囲指定情報を利用して行う。第２の実施形態では、簡易な位置姿勢情報を基に仮想画像データを生成するのに対して、第３の実施形態では、高精度な位置姿勢情報を基に仮想画像データを生成する点と、画像データの合成処理を画像処理装置側で行う点とが異なる。

図２０において、ｔ０は、比較例のＭＲシステム及び本実施形態に係るＭＲシステムにおける、現実空間を撮像するタイミングである。ｔ１は、本実施形態に係るＭＲシステムにおける、ＨＭＤ装着者の位置姿勢情報を計測するための、収束演算処理を開始するタイミングである。ｔ２は、本実施形態に係るＭＲシステムにおける、現実空間画像データと、当該現実空間画像データに基づき計測された位置姿勢情報により生成された仮想画像データとを合成して得られるＭＲ画像データを表示するタイミングである。ｔ３は、比較例のＭＲシステムにおける、現実空間画像データと、当該現実空間画像データに基づき計測された位置姿勢情報により生成された仮想画像データとを合成して得られるＭＲ画像データを表示するタイミングである。

ここで、比較例のＭＲシステムにおいて、現実空間の撮像処理からＭＲ画像データの表示処理までに要する時間は、ｔ３−ｔ０となる。これに対し、本実施形態に係るＭＲシステムは、現実空間の撮像処理からＭＲ画像データの表示処理までに要する時間は、ｔ２−ｔ０となり、比較例のＭＲシステムと比べて、ｔ３−ｔ２＝Ｔ３分だけ時間を短くすることができる。このように、画像処理装置側で現実空間画像データと仮想画像データとの合成処理を行う場合でも、高精度の位置姿勢情報の計測処理に要する時間を短縮することにより、現実空間の撮像処理からＭＲ画像データの表示処理までに要する時間を短縮することができる。また、仮想画像データの生成処理に要する時間を短縮することが可能となる。

次に、本発明の第４の実施形態について説明する。第１〜第３の実施形態に係るＭＲシステムでは、位置姿勢情報の計測処理をＨＭＤで実行していたのに対して、第４の実施形態に係るＭＲシステムでは、位置姿勢情報の計測処理及び画像データの合成処理を画像処理装置側で実行される点にある。以下、この点を中心に説明を行う。

図２１は、第４の実施形態に係るＭＲシステムの構成を示す図である。なお、図２１において、図２又Ｓは図１８と同一の符号を付した構成は、当該符号に該当する図２又は図１８に示した構成と同様の構成であるため、それら説明は省略する。

図２１において、２１０３は、位置姿勢情報の計測に用いられる特定色ＲＡＷデータのデータ量を削減するデータ削減処理部である。即ち、データ削減処理部２１０３は、特定色分離部２０３で生成された特定色ＲＡＷデータを画像処理装置２１０２に対して送信する際、特定色ＲＡＷデータのデータ量を削減する。

本実施形態は、位置姿勢情報の計測処理を前倒しで行うため、カメラ画像処理部２０７で生成される高解像の現実空間画像データとは別に、位置姿勢情報の計測処理用に低解像の特定色ＲＡＷデータを画像処理装置に対して送信する必要がある。従って、その分、ＨＭＤ２１０１から画像処理装置２１０２に対して送信されるデータ量が増えることになる。このように増加するデータ量を削減するため、データ削減処理部２１０３において、位置姿勢情報の計測処理用のＲＡＷデータに対してデータ削減処理が行われる。具体的には、特定色ＲＡＷデータをグレースケール画像データとみなし、グレースケールモードのＪＰＥＧ圧縮手順で圧縮する方法や、任意の閾値による二値画像データに対して可変長符号化処理を適用する方法が想定される。ここでは、特にその手法については問わない。また、画像処理装置２１０２は、ＨＭＤ２１０１から受信した特定色ＲＡＷデータが位置姿勢計測部２１０４に対して出力されるが、その際、位置姿勢情報の計測処理が可能なデータ形式に特定色ＲＡＷデータを変換するための復号化処理を伴うものとする。

ここで、第４の実施形態に係るＭＲシステムの処理の概要を説明する。撮像センサ２０１で得られた撮像信号は、ＡＦＥ２０２及びカメラ画像処理部２０７を介することにより、現実空間画像データとして構成された後、Ｉ／Ｆ２０６から画像処理装置２１０２に対して送信される。また、ＡＦＥ２０２から出力されるＲＡＷデータは、特定色分離部２０３で色プレーンの画像データに分離されることにより、特定色ＲＡＷデータが生成される。データ削減処理部２１０３は、特定色分離部２０３で生成された特定色ＲＡＷデータのデータ量を削減する。データ量が削減された（データ圧縮された）特定色ＲＡＷデータは、画像処理装置２１０２に対して送信される。

上記のように、本実施形態では、位置姿勢情報の計測処理及び画像データの合成処理をともに画像処理装置側で行う。これにより、ＨＭＤ２１０１に搭載する機能を必要最低限のものとし、小型・省電力なＨＭＤ２１０１を提供することが可能となる。

画像処理装置２１０２は、ＨＭＤ２１０１から受信した、データ圧縮された特定色ＲＡＷデータを復号化する。位置姿勢計測部２１０４は、複合化された特定色ＲＡＷデータに基づいてＨＭＤ装着者の位置姿勢情報を計測する。仮想画像描画部２１４は、位置姿勢情報に基づいて仮想画像データを生成する。画像合成部１８０５は、当該仮想画像データと、同じくＨＭＤ２１０１から受信した現実空間画像データとを合成することにより、ＭＲ画像データを生成する。生成されたＭＲ画像データは、画像処理装置２１０２からＨＭＤ２１０１に対して送信される。ＨＭＤ２１０１では、画像処理装置２１０２から受信したＭＲ画像データを表示ユニット２１０で表示させ、ＨＭＤ装着者に対して提示する。

図２２は、比較例のＭＲシステムの処理と、本実施形態に係るＭＲシステムの処理とを時系列で示す図である。即ち、図２２（Ａ）は、比較例のＭＲシステムの処理を示しており、図２０（Ａ）に示した処理の流れと同じである。図２２（Ｂ）は、本実施形態に係るＭＲシステムの処理を示している。本実施形態に係るＭＲシステムは、特定色ＲＡＷデータ及び現実空間画像データをＨＭＤから画像処理装置に送信し、画像処理装置で位置姿勢情報の計測処理と画像データの合成処理とを行う。

ｔ０は、現実空間を撮像するタイミングである。ｔ１は、本実施形態に係るＭＲシステムにおける、位置姿勢情報の計測処理のための二値化処理を開始するタイミングである。ｔ２は、比較例のシステムにおける、位置姿勢情報の計測処理のための二値化処理を開始するタイミングである。ｔ３は、本実施形態に係るＭＲシステムにおける。現実空間画像データと仮想画像データとの合成処理により得られるＭＲ画像データを表示するタイミングである。ｔ４は、比較例のＭＲシステムにおける、撮像画像データと仮想画像データとの合成処理により得られるＭＲ画像データを表示するタイミングである。

比較例のＭＲシステムにおいては、ＭＲ画像データの表示タイミングはｔ４であるため、現実空間の撮像処理からＭＲ画像データの表示処理までに要する時間は、ｔ４−ｔ０となる。これに対し、本実施形態では、ＭＲ画像データの表示タイミングはｔ３であるため、現実空間の撮像処理からＭＲ画像データの表示処理までに要する時間は、ｔ３−ｔ０となる。従って、本実施形態に係るＭＲシステムは、比較例のＭＲシステムと比べて、ｔ４−ｔ３＝Ｔ４分だけ処理時間を短縮することができる。

このように、画像処理装置側で位置姿勢計測情報の生成と撮像画像データと仮想画像データとの合成を行う場合においても、位置姿勢計測用の画像データを撮像画像データ生成の前に準備して画像処理装置に送信することにより、仮想画像データ生成及び合成画像データ表示までの遅延時間を短縮することができる。

以上説明してきたように、本実施形態によれば、位置姿勢計測機能及び画像合成機能を画像処理装置側で持つ構成であっても、位置姿勢情報の計測処理用の特定色ＲＡＷデータと画像データの合成処理用の現実空間画像データとをそれぞれのタイミングで準備し、画像処理装置に対して送信することにより、現実空間の撮像処理からＭＲ画像データの表示処理までに要する時間を短縮することができる。なお、特定色ＲＡＷデータを画像処理装置に対して送信する際に要する送信帯域の削減には、特定色ＲＡＷデータの圧縮、符号化が有効である。このように、特定色ＲＡＷデータを削減してＨＭＤ２１０１から画像処理装置２１０２に対して送信することにより、ＨＭＤ２１０１及び画像処理装置２１０２双方の伝送帯域を必要以上に大きくすることなく、即ち、システム構成を大きく変えることなく、現実空間の撮像処理からＭＲ画像データの表示処理までに要する時間を短縮することが可能となる。

なお、第１〜第４の実施形態では、ＨＭＤを用いたＭＲシステムについて説明した。但し、これに限らず、現実空間を撮像する機能と、ユーザの視点の位置姿勢情報に基づく仮想画像データを生成し、現実空間画像データと合成する機能とを有するシステムであれば、本発明を適用することができる。例えば、放送局で使用される編集システムにも適用することが可能であり、パーソナル仕様の撮像装置も今後は上記機能を搭載することが期待されている。

編集システム用の放送機器で使用する撮像装置はＲＧＢ各色に対応した三板式を採用するものが多いが、三板式であってもＲＧＢの内の一色を選択する構成にすれば、本発明で説明してきた遅延時間の短縮を実現することは可能である。これは、位置姿勢計測に使用する画像としてＲＧＢの内の一色を選択し、ＡＤ変換後のデジタルデータに対して位置姿勢計測を行うことで実現できる。

同様に、第１から第４までの実施形態では、位置姿勢計測のための機能をＨＭＤ又は画像処理装置側どちらかに持つ構成を説明してきたが、双方の装置に位置計測機能を持ち、本来持つ位置姿勢計測の機能を分散処理する形態としてもよい。即ち、ラベリング処理までをＨＭＤ装置側で行った後、画像処理装置側で収束演算を行うといった構成も考えられる。また、システムを構成する他の装置で演算処理を行うことも考えられ、そうした分散処理を行った場合においても、本発明の目的である仮想画像生成に要する時間の短縮を実現できる。

また、第１から第４までの実施形態で説明してきた構成をお互いに組み合わせて使用できることは説明するまでもない。さらには、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に相当し得るものであるので、このような様々な組み合わせによるシステムもまた、本発明の範疇に属するものである。なお、上述した実施形態におけるＨＭＤ又はＭＲシステムは、情報処理装置の例となる構成である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１、１３０１、１８０１、２１０１：ＨＭＤ、１０２：コントローラ、１０３、１８０２、２１０２：画像処理装置、２０１：撮像センサ、２０１：ＡＦＥ、２０３：特定色分離部、２０４：位置姿勢計測部、２０５：三次元位置姿勢センサ、２０６、２１１：Ｉ／Ｆ、２０７：カメラ画像処理部、２０８：フレームバッファ、２０９：画像合成部、２１０：表示ユニット、２１２：位置姿勢情報補正部２１２：仮想画像描画部、２１５：コンテンツＤＢ、１３０３、１８０３：簡易位置姿勢計測部、１３０４、１８０４：高精度位置姿勢計測部、１３０５：バッファ、１３０６：仮想画像位置姿勢調整部、１８０５：画像合成部、２１０３：データ削減処理部、２１０４：位置姿勢計測部

Claims (12)

1. 現実空間を撮像する撮像手段から出力されるＲＡＷデータに基づいて、前記現実空間を示す現実空間画像データを生成する生成手段と、
   前記ＲＡＷデータから特定色のＲＡＷデータを分離する分離手段と、
   前記特定色のＲＡＷデータに基づいて、前記撮像手段の位置及び方向のうちの少なくとも何れか一方を計測する第１の計測手段とを有し、
   前記第１の計測手段の計測結果は、前記現実空間画像データと合成される仮想画像データが生成される際に使用されることを特徴とする情報処理装置。
2. 前記第１の計測手段は、現実空間に配置されたマーカ、又は、現実空間の自然特徴を前記特定色のＲＡＷデータから抽出し、抽出した前記マーカ又は前記自然特徴に基づいて、前記撮像手段の位置及び方向のうちの少なくとも何れか一方を計測することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の計測手段は、前記撮像手段の位置及び方向のうちの少なくとも何れか一方を計測する際に、前記ＲＡＷデータ及び前記特定色のＲＡＷデータ間における前記マーカ又は前記自然特徴の位置ズレを補正することを特徴とする請求項２に記載の情報処理装置。
4. 前記第１の計測手段は、前記撮像手段の色フィルタの構成に応じて、前記位置ズレを補正することを特徴とする請求項３に記載の情報処理装置。
5. 前記ＲＡＷデータから抽出された前記マーカ又は前記自然特徴の範囲に基づいて、前記現実空間画像データにおける演算範囲を指定し、前記演算範囲に該当する前記現実空間画像データに基づいて、前記撮像手段の位置及び方向のうちの少なくとも何れか一方を計測する第２の計測手段を更に有することを特徴とする請求項２乃至４の何れか１項に記載の情報処理装置。
6. 前記第１の計測手段による計測結果と前記第２の計測手段による計測結果とに基づいて、前記仮想画像データの位置ズレ量を算出する算出手段と、
   前記位置ズレ量に基づいて、前記仮想画像データの位置を補正する補正手段とを更に有することを特徴とする請求項５に記載の情報処理装置。
7. 前記特定色のＲＡＷデータのデータ量を削減する削減手段と、
   前記削減手段によりデータ量が削減された前記特定色のＲＡＷデータを、当該特定色のＲＡＷデータに基づいて前記撮像手段の位置及び方向のうちの少なくとも何れか一方を計測する前記第１の計測手段に対して出力する出力手段とを更に有することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
8. 前記削減手段は、グレースケールモードのＪＰＥＧ圧縮により前記特定色のＲＡＷデータのデータ量を削減することを特徴とする請求項７に記載の情報処理装置。
9. 前記削減手段は、前記特定色のＲＡＷデータに対して二値化処理を施した後、可変長符号化処理により前記特定色のＲＡＷデータのデータ量を削減することを特徴とする請求項７に記載の情報処理装置。
10. 前記第１の計測手段は、更に、前記撮像手段の加速度又は角速度に基づいて、前記撮像手段の位置及び方向のうちの少なくとも何れか一方を計測することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 情報処理装置によって実行される情報処理方法であって、
    現実空間を撮像する撮像手段から出力されるＲＡＷデータに基づいて、前記現実空間を示す現実空間画像データを生成する生成ステップと、
    前記ＲＡＷデータから特定色のＲＡＷデータを分離する分離ステップと、
    前記特定色のＲＡＷデータに基づいて、前記撮像手段の位置及び方向のうちの少なくとも何れか一方を計測する計測ステップとを有し、
    前記計測ステップの計測結果は、前記現実空間画像データと合成される仮想画像データが生成される際に使用されることを特徴とする情報処理方法。
12. 現実空間を撮像する撮像手段から出力されるＲＡＷデータに基づいて、前記現実空間を示す現実空間画像データを生成する生成ステップと、
    前記ＲＡＷデータから特定色のＲＡＷデータを分離する分離ステップと、
    前記特定色のＲＡＷデータに基づいて、前記撮像手段の位置及び方向のうちの少なくとも何れか一方を計測する計測ステップとをコンピュータに実行させ、
    前記計測ステップの計測結果は、前記現実空間画像データと合成される仮想画像データが生成される際に使用されることを特徴とするプログラム。

Images