WO2019198784A1 - ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法 - Google Patents

Abstract

本発明は、対象物の３次元形状を示す形状情報を取得する形状情報取得サーバと、形状情報から仮想空間内において、対象物の３次元形状を仮想３次元形状として再構成する形状再構成部と、仮想３次元形状を仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成部とを有する画像生成サーバとを備えるライトフィールド画像生成システムである。

Description

ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法

　本発明は、ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法に関する。
　本願は、２０１８年４月１２日に、日本に出願された特願２０１８－０７６７８６号に基づき優先権を主張し、これらの内容をここに援用する。

　危険な場所や、処理の対象物が遠隔地にある場合、作業者が直接に現地で作業を行うことが困難である。
　そのため、対象物のある位置から離れた場所から、この対象物のある場所に設置された機械を操作して作業を行う遠隔操作システムがある。遠隔操作システムは、対象物に対し作業を行うためのロボットと遠隔操作装置を備え、ロボットを無線等で遠隔操作するシステムである（例えば、特許文献１参照）。

　上述した遠隔操作システムにおいては、対象物を処理する作業者がヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display））を頭部に装着して、現地に配置された撮像装置が撮像した画像を観察しつつ作業を行う。
　この場合、通常のＨＭＤにおいては、対象物を観察する際、輻輳により対象物の深度情報を得て、３次元形状を脳内において再構成している。
　一方、対象物を観察する際、作業者は、眼球の水晶体を調整して、対象物の画像が表示されているＨＭＤの表示面に合わせる。このため、作業者の眼においては、焦点が輻輳により認知される深度の位置に調節されないため、輻輳と焦点調節との不一致が発生する。

　このため、作業者は、ＨＭＤを用いて遠隔操作を行う場合、上述した輻輳と焦点調節との不一致により、眼精疲労や映像酔いなどを起し、作業（特に細かい操作を必要とする作業）に支障を来す場合がある。
　また、作業者は、眼精疲労や映像酔いなどにより、ＨＭＤを用いての遠隔作業を長時間に渡って行うことができない。

　上述したＨＭＤにおける輻輳と焦点調節との不一致を解消するため、近年、ライトフィールドの技術を用いたディスプレイを使用したＨＭＤが開発されている。
　ライトフィールド情報（対象物の表面から射出される光線の情報）を用いることにより、一枚の画像において対象物が有する奥行き感（対象物の３次元形状）を視認させることが可能となり、作業者の脳内により対象物の３次元形状を構成させることが可能となる。

日本国特開２０１４－００４６５６号公報

　上述したように、作業の対象物のライトフィールド情報を取得して、このライトフィールド情報に対応した画像を生成し、ＨＭＤに表示することにより、作業者が同一の画像内の対象物の３次元形状において所望の深度の位置にも焦点を合わすことが可能となる。
　このライトフィールド情報を用いることにより、作業者における輻輳と焦点調節とを一致させることができ、眼精疲労や映像酔いなどを抑止することが可能となり、細かい作業や長時間の作業を行い易くすることが期待できる。

　しかしながら、ライトフィールド情報は、ライトフィールドにおける光線の情報であり、視点を所定の距離ずらした複数の、例えばｎ×ｍのマトリクスの撮像画像の集合（ライトフィールド画像）から得られるライトフィールドにおける上述した光線の情報である。
　図１１に示す様に、同一平面状において、ｘ方向及びｙ方向に視点位置（撮像位置）をずらし、視点位置が各々異なるｎ×ｍの撮像装置４０１、例えば３×３の異なる９個の視点に各々配列した９個の撮像装置４０１それぞれにより、対象物４０３を撮像する。この９個の視点位置の異なる撮像画像が、対象物４０３からの９方向に対する光線の情報（ライトフィールド情報）を有するライトフィールド画像４０２として生成される。θがライトフィールド画像の中心を垂直に通る軸とｙ軸との平面における角度である。φがライトフィールド画像の中心を垂直に通る軸とｘ軸との平面における角度である。
　このライトフィールド画像４０２の各々は、所定の解像度により撮像されるため、解像度に対応した画素分の階調度を有している。したがって、ライトフィールド情報のデータ量は、（画素数×階調度）×ライトフィールド画像の枚数となり、非常に大きくなる。

　このため、遠隔地で撮像したライトフィールド画像を、ＨＭＤに対して表示させる処理を行うサーバまで送信する際、送信するデータ量が非常に大きいために通信負荷が増大して、ライトフィールド情報のデータ送信に時間を要する。
　このライトフィールド画像のデータ送信に時間がかかるため、画像、特に動画像をＨＭＤに表示させる際など、ライトフィールド情報の更新が周期的に必要であるが、ライトフィールド情報の伝搬が遅れ、ＨＭＤにおける画像の表示処理が遅延したり、画像の欠落が発生したりすることになり、遠隔操作における作業に支障が発生する場合がある。

　本発明は、上記状況に鑑みてなされたもので、送信するライトフィールド情報の情報量を少なくすることで通信負荷を低減して、ＨＭＤにおける画像の表示処理が遅延したり、画像の欠落が発生したりすることを抑制することが可能なライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法を提供する。

　本発明の第１態様は、ライトフィールド画像生成システムであって、対象物の３次元形状を示す形状情報を取得する形状情報取得サーバと、前記形状情報から仮想空間内において、前記対象物の３次元形状を仮想３次元形状として再構成する形状再構成部と、前記仮想３次元形状を前記仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成部とを有する画像生成サーバとを備える。

　本発明の第２態様は、上記第１態様のライトフィールド画像生成システムにおいて、前記画像生成サーバにおける前記ライトフィールド画像生成部が、前記仮想空間内における任意の視点位置及び視点方向により、仮想撮像装置により前記仮想３次元形状を撮像し、前記任意の視点位置及び視点方向からライトフィールド画像を生成してもよい。

　本発明の第３態様は、上記第１態様または第２態様のライトフィールド画像生成システムにおいて、前記形状情報取得サーバが、撮像装置により前記対象物が撮像された撮像画像から、当該対象物の前記形状情報を生成してもよい。

　本発明の第４態様は、上記第１態様から第３態様のいずれか一態様のライトフィールド画像生成システムにおいて、前記形状情報が、前記対象物が撮像された撮像画像における各画素の階調度情報及び深度情報の各々であってもよい。

　本発明の第５態様は、上記第１態様から第３態様のいずれか一態様のライトフィールド画像生成システムにおいて、前記形状情報が、前記対象物の特徴点からなる３次元点群情報と、各特徴点の階調度情報との各々であってもよい。
　本発明の第６態様は、上記第４態様または第５態様のライトフィールド画像生成システムにおいて、前記階調度情報が、色情報としてのＲ成分、Ｇ色成分及びＢ色成分の階調度であってもよい。

　本発明の第７態様は、上記第１態様から第６態様のいずれか一態様のライトフィールド画像生成システムにおいて、前記形状情報が異なる視点位置及び視点方向に配置された複数の撮像装置により撮像された複数の撮像画像から抽出した情報から構成されていてもよい。

　本発明の第８態様は、画像表示システムであって、上記いずれかのライトフィールド画像生成システムと、ライトフィールド画像から表示画像を生成する画像生成サーバと、表示装置とを備え、前記表示装置が、少なくとも前面透明ディスプレイと後面ディスプレイとを含む２層以上のディスプレイが平面視で対応する画素が重なるように配置された表示部を備えており、前記画像生成サーバが、前記ディスプレイに各々に表示する、前記ライトフィールド画像の前記画素の階調度情報を圧縮した表示画像それぞれを生成する。

　本発明の第９態様は、形状情報取得サーバであって、対象物の形状情報から仮想空間内において、前記対象物の３次元形状を仮想３次元形状として再構成する形状再構成部と、前記仮想３次元形状を前記仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成部とを有する画像生成サーバとともにライトフィールド画像生成システムに備えられる形状情報取得サーバであり、前記対象物の３次元形状を示す前記形状情報を取得する。

　本発明の第１０態様は、画像生成サーバであって、対象物の３次元形状を示す形状情報を取得する形状情報取得サーバとともにライトフィールド画像生成システムに備えられる画像生成サーバであり、前記形状情報から仮想空間内において、前記対象物の３次元形状を仮想３次元形状として再構成する形状再構成部と、前記仮想３次元形状を前記仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成部と備える。

　本発明の第１１態様は、表示装置であって、上記第１態様から第６態様のいずれか一態様のライトフィールド画像生成システムと、ライトフィールド画像から表示画像を生成する画像生成サーバとともに画像表示システムに含まれる表示装置であり、少なくとも前面透明ディスプレイと後面ディスプレイとを含む２層以上のディスプレイが平面視で対応する画素が重なるように配置された表示部を備え、前記画像生成サーバが生成した前記ディスプレイに各々に表示する、前記ライトフィールド画像の前記画素の階調度情報を圧縮した表示画像それぞれを、前記ディスプレイのそれぞれに表示する。

　本発明の第１２態様は、ライトフィールド画像生成方法であって、対象物の３次元形状を示す形状情報を取得する形状情報取得過程と、前記形状情報から仮想空間内において、前記対象物の３次元形状を仮想３次元形状として再構成する形状再構成過程と、前記仮想３次元形状を前記仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成過程とを含む。

　本発明の第１３態様は、画像表示方法であって、対象物の３次元形状を示す形状情報を取得する形状情報取得過程と、前記形状情報から仮想空間内において、前記対象物の３次元形状を仮想３次元形状として再構成する形状再構成過程と、前記仮想３次元形状を前記仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成過程と、表示装置が、少なくとも前面透明ディスプレイと後面ディスプレイとを含む２層以上のディスプレイが平面視で対応する画素が重なるように配置された表示部に対し、前記ディスプレイに各々に表示する、前記ライトフィールド画像の前記画素の階調度情報を圧縮した表示画像それぞれを生成する表示画像生成過程とを含む。

　以上説明したように、本発明の上記態様によれば、送信する情報量を少なくすることで通信負荷を低減して、ＨＭＤにおける画像の表示処理が遅延したり、画像の欠落が発生したりすることを抑制することが可能なライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法を提供することが可能となる。

本発明の第１の実施形態によるライトフィールド画像生成システムの構成例を示す図である。 撮像画像から取得される３次元形状情報及び階調度情報の各々を示す概念図である。 復元された対象物体２００の仮想３次元形状を、マトリクス状に配列した仮想カメラで撮像することによるライトフィールド画像の生成を示す概念図である。 ３次元空間におけるライトフィールドを説明する概念図である。 第１の実施形態によるライトフィールド画像生成システムによるライトフィールド画像生成の処理の動作例を示すフローチャートである。 本発明のライトフィールド画像生成システムを用いた、第２の実施形態の画像表示システムの構成例を示す図である。 第２の実施形態におけるＨＭＤ４２の表示部４２Ａの構成例を示す概念図である。 ライトフィールド画像と表示部４２Ａに表示される表示画像との対応関係を説明する概念図である。 本実施形態による画像表示システムによる仮想３次元形状の立体視のための表示画像生成の処理の動作例を示すフローチャートである。 本発明の第３の実施形態による画像表示サーバ６を用いた画像表示システムの構成例を示す図である。 対象物のライトフィールド画像の撮像を説明する概念図である。 対象物体２００の３次元形状情報を示す深度画像（深度が階調度で示された画像）及びカラー画像の生成を説明する図である。 ＵＶ展開による対象物体２００の３次元形状情報を示す深度画像及びカラー画像の生成を説明する図である。

＜第１の実施形態＞
　以下、本発明の第１の実施形態によるライトフィールド画像生成システムを、図面を参照して説明する。図１は、本発明の第１の実施形態によるライトフィールド画像生成システムの構成例を示す図である。
　図１において、ライトフィールド画像生成システムは、形状情報取得サーバ１と画像生成サーバ２とを備えている。形状情報取得サーバ１と画像生成サーバ２との各々は、情報通信網５００を介してデータの送受信を行う。撮像装置３＿１及び撮像装置３＿２は、対象物体２００を撮像し、撮像した撮像画像を形状情報取得サーバ１に出力する。あるいは、撮像装置３＿１及び撮像装置３＿２は、形状情報取得サーバ１からアクセスがあった場合、対象物体２００を撮像し、撮像した撮像画像を形状情報取得サーバ１に対して出力する。

　撮像装置３＿１及び撮像装置３＿２の各々は、例えば、対象物体２００の２次元画像を撮像するカメラであり、それぞれ撮像画像を対象物体２００の３次元形状情報（特徴点からなる３次元点群情報あるいは深度画像である深度情報と、色画像（カラー画像）である色情報との組合せである形状情報）として形状情報取得サーバ１に出力する（ケース＃１）。撮像装置３＿１及び撮像装置３＿２の各々は、異なる視点から対象物体２００を撮像して撮像画像をする。ケース＃１の場合、撮像装置３＿１の一台で、異なる視点で２枚以上の撮像画像を撮像しても良い。
　また、撮像装置３＿１及び撮像装置３＿２の各々は、例えば、ＲＧＢ（Red、Green、Blue）－Ｄ（Depth）カメラであり、対象物体２００の２次元画像を撮像するカメラであり、それぞれ撮像画像を対象物体２００の３次元形状情報（深度情報及び色情報の組合せ）として形状情報取得サーバ１に出力する（ケース＃２）。ケース＃２の場合、撮像装置３＿１の一台のみで、一視点からの撮像画像を撮像するのみでも良い。
　また、撮像装置３＿１及び撮像装置３＿２の各々は、例えば、３次元計測装置であり、光（レーザ光）切断法、あるいは縞投影法により、対象物体２００の３次元形状を示す特徴点からなる３次元点群を対象物体２００の３次元形状情報（３次元点群あるいは深度画像と、特徴点における色情報）として、形状情報取得サーバ１に出力する（ケース＃３）。このケース＃３の場合、放射したレーザ光の反射光から形状情報を得るため、３次元点群の特徴点の各々の色情報を取得することができない。
　また、撮像装置３＿１及び撮像装置３＿２の各々は、例えば、ライトフィールドカメラ（例えば、カメラアレイ方式、符号化開口方式あるいはマイクロレンズアレイ方式）であり、このライトフィールドカメラで撮像した撮像画像から光線情報を取得する。そして、取得した光線情報により、対象物体２００の３次元形状を示す特徴点の３次元形状情報（３次元点群情報または深度画像である深度情報）及び当該特徴点の色情報（例えば、色成分のＲ成分、Ｇ成分、Ｂ成分の各階調度）を求める。そして、この３次元形状情報が、対象物体２００の３次元形状情報として、形状情報取得サーバ１に対して出力される（ケース＃４）。
　また、上述したケース＃１からケース＃４の各々で撮像した撮像画像を用いて、それぞれの撮像画像から求めた特徴点の深度情報及び色情報を整合性を求めた後に合成して（この合成のアルゴリズムについては後述）、この合成結果を、対象物体２００の３次元形状を示す特徴点からなる３次元点群を対象物体２００の３次元形状情報（３次元点群情報あるいは深度画像である深度情報と、色情報との組合せ）として、形状情報取得サーバ１に出力する（ケース＃５）。

　形状情報取得サーバ１は、撮像画像入力部１１、３次元形状情報生成部１２、３次元形状情報出力部１３及び記憶部１４の各々を備えている。
　撮像画像入力部１１は、撮像装置３＿１及び撮像装置３＿２の各々から、対象物体２００の形状を示す３次元形状情報を入力し、記憶部１４に一旦書き込んで記憶させる。

　３次元形状情報生成部１２は、記憶部１４から３次元形状情報を読み込み、読み込んだ３次元形状情報から、画像生成サーバ２に対して送信する対象物体２００の深度情報（幾何学情報）及び色情報を含む３次元形状情報を生成する。
　・ケース＃１の場合
　３次元形状情報生成部１２は、異なる視点において撮像された２枚の撮像画像から、ステレオマッチング法を用いて対象物体２００の幾何学情報を、仮想３次元空間における対象物体２００の特徴点の３次元点群として生成する。３次元形状情報生成部１２は、２次元画像がカラー画像である場合、深度情報である幾何学情報に対し、特徴点の階調度情報（特徴点に対応する画素の色成分ＲＧＢの各々の階調度の情報、すなわちＲ成分、Ｇ成分、Ｂ成分の階調度からなる色情報）として、Ｒ成分、Ｇ成分及びＢ成分の各々の階調度を付与し、３次元形状情報とする。

　・ケース＃２の場合
　３次元形状情報生成部１２は、３次元形状情報として撮像装置３＿１、撮像装置３＿２から供給される、３次元形状の特徴点の階調度情報とそれぞれの幾何学情報である深度情報とを、画像生成サーバ２に対して送信する３次元形状情報とする。また、撮像装置３＿１、撮像装置３＿２から供給される、３次元形状の特徴点の階調度情報とそれぞれの深度情報とから特徴点の仮想３次元空間における３次元点群を生成し、この３次元点群を幾何学情報とする構成としても良い。３次元形状情報生成部１２は、３次元点群（深度情報）の特徴点の階調度情報がＲ成分、Ｇ成分及びＢ成分の階調度である場合、幾何学情報である深度情報に対し、特徴点の階調度情報（特徴点に対応する画素の色成分ＲＧＢのＲ成分、Ｇ成分及びＢ成分の各々の階調度の情報、すなわち色情報）として、Ｒ成分、Ｇ成分及びＢ成分の各々の階調度を付与し、３次元形状情報とする。

　図２は、撮像画像から取得される３次元形状情報及び階調度情報の各々を示す概念図である。図２（ａ）は、ＲＧＢ－Ｄカメラが取得する深度情報と、色情報の階調度情報との各々を示している。ここで、深度情報は、３次元点群あるいは深度画像（深度が階調度で示された画像）である。撮像装置３＿１及び撮像装置３＿２の各々は、対象物体２００を撮像（３次元形状を計測）して、３次元形状情報として、対象物体２００の各特徴点の深度情報（階調度表示）２１２と、撮像される画像がカラー画像であるため、特徴点のＲ成分、Ｇ成分及びＢ成分の階調度からなる階調度情報２１３（色情報）を生成する。
　また、複数の異なる視点から、ＲＧＢカメラで撮像した複数の幾何学情報（３次元点群または深度画像の深度情報）が得られる場合、３次元形状情報生成部１２は、これら複数の幾何学情報における特徴点を統合して、複数の視点から観察可能な３次元点群あるいは深度画像を仮想３次元空間に生成して深度情報とし、深度情報の特徴点に色情報を付加して３次元形状情報とする。

　・ケース＃３の場合
　図１に戻り、３次元形状情報生成部１２は、幾何学情報として供給される対象物体２００の３次元形状を示す仮想３次元空間における特徴点からなる３次元点群を、対象物体２００の３次元形状情報とする。ここで、すでに述べたように、レーザ光の反射から幾何的な形状を取得するのみで、３次元点群における特徴点の各々の色情報が得られないため、３次元形状情報としては、３次元点群あるいは深度画像の幾何学情報のみとなる。
　しかしながら、別のカメラで対象物体２００を撮像し、この撮像画像の画素と３次元点群の特徴点との整合性を取得することにより、各３次元点群または深度画像における特徴点には、色情報としてＲ成分、Ｇ成分及びＢ成分の各々の階調度を付与することができる。この場合、３次元形状情報に深度情報及び色情報の各々を含ませることができる。
　・ケース＃４の場合
　３次元形状情報生成部１２は、ライトフィールドカメラが撮像した撮像画像から光線情報を抽出する。そして、３次元形状情報生成部１２は、この光線情報から、例えばフォトグラムメトリ法を用いて、幾何学情報として供給される対象物体２００の３次元形状を示す仮想３次元空間における特徴点からなる３次元点群あるいは深度画像を生成する。この３次元点群は、対象物体２００の幾何学情報である。ここで、各３次元点群における特徴点には、ライトフィールドカメラが撮像した撮像画像がカラー画像の場合、色情報としてＲ成分、Ｇ成分及びＢ成分の各々の階調度が付与され、３次元形状情報とされている。
　・ケース＃５の場合
　ケース＃１からケース＃４の各々から得られる深度情報及び色情報（３次元形状情報）を組み合わせて合成することで、新たな３次元形状情報としている。
　しかしながら、カメラ、ＲＧＢＤカメラ、３次元計測装置及びライトフィールドカメラの各々の撮像装置は、それぞれ解像度、幾何学的な位置及び姿勢、レンズの歪みなどが異なる。このため、対象物体２００を撮像する前に、格子あるいはドットパターンを印刷した平面のボード、あるいは形状が既知の３次元形状などの校正対象を、各撮像装置が撮像できる様々な姿勢及び位置で複数の撮像画像を撮像する。そして、この撮像画像に撮像された校正対象の形状に対応して、同一の３次元空間における各撮像装置（カメラなど）の相対的な位置・姿勢及びレンズパラメータを推定する。この推定結果から、各撮像装置の位置・姿勢の各々に対しては、同一の３次元空間における相対的な撮像位置及び撮像方向の整合性を取得しておく必要がある。これにより、各撮像装置で撮像した撮像画像から生成される対象物体２００の３次元形状の特徴点を、同一の３次元空間において合成して統合し、統合結果における密な特徴点の各々に対応する深度情報及び色情報を取得する。
　図２（ｂ）は、ライトフィールドカメラ及びＲＧＢＤカメラの各々が取得する深度情報及び階調度情報の各々を示している。この図２（ｂ）は、ライトフィールドカメラ及びＲＧＢＤカメラの各々の撮像画像から生成した幾何学情報（３次元点群あるいは深度画像）を合成して得た深度情報及び色情報（階調度情報）を示している。
　ライトフィールドカメラ及びＲＧＢＤカメラの各々は、対象物体２００を撮像して、３次元形状情報として、対象物体２００の各特徴点の深度情報と、撮像される画像がカラー画像である場合に特徴点の色情報としてＲ成分、Ｇ成分及びＢ成分の階調度からなる階調度情報を生成する。
　そして、ＲＧＢＤカメラの撮像画像から生成した深度情報２２２（深度画像）に対して、ライトフィールドカメラの撮像画像から生成した深度情報２３２を合成して、対象物体２００の深度情報とする。また、同様に、ＲＧＢＤカメラの撮像画像から生成した階調度情報２２３に対して、ライトフィールドカメラの撮像画像から生成した階調度情報２３３を合成して、対象物体２００の階調度情報（色情報としての特徴点のＲ成分、Ｇ成分及びＢ成分の階調度）とする。
　ここで、ライトフィールドカメラは、ＲＧＢＤカメラに比較して一般的に画角が狭いため、撮像する領域の範囲がＲＧＢＤカメラより小さくなる。一方、ライトフィールドカメラは、ＲＧＢＤカメラに比較して分解能が高く、取得できる特徴点数が多くなり、密な深度情報及び色情報が取得できる。これにより、深度情報及び色情報の各々において、特徴点が疎な領域と密な領域とのそれぞれが生成される。
　しかしながら、用途として、対象物体２００の全体的な３次元形状において部分的に詳細に観察したい領域がある場合、その詳細に観察したい領域をライトフィールドカメラで撮像した撮像画像から求めた密な特徴点により、ＲＧＢＤカメラで撮像した撮像画像から求めた疎な特徴点を補完するために、深度情報及び色情報の各々の合成を行う構成としてもよい。
　上述した深度情報、色情報それぞれの合成を行う際、特徴点が密な領域と疎な領域との境界部分を、グラデーションを付けて、特徴点数が疎の領域から徐々に密な領域に向かって増加するようにすれば、利用者がライトフィールド画像を観察する際に、境界部分を目立たなくすることができる。一方、境界部分が明確としたい場合、特徴点が疎な領域と密な領域とを単純に合成し、対象物体２００の３次元形状情報の深度情報と色情報とすることで、いまどこを利用者がライトフィールドカメラで観察しているか、すなわちどこが密な領域であるかを視認し易くできる。

　３次元形状情報出力部１３は、３次元形状情報生成部１２が生成した３次元形状情報としての深度情報及び色情報の各々を、ライトフィールド情報として、情報通信網５００を介して、画像生成サーバ２に対して送信する。
　ここで、ライトフィールド情報として、ライトフィールド画像を送信する場合、図１１に示す様にｎ×ｍ、例えば３×３の異なる９箇所の各々の視点位置で撮像した９枚の撮像画像を送信する必要が有る。すでに、説明したように、各撮像画像は、画素毎にＲ成分、Ｇ成分及びＢ成分の各々の階調度を有している。このため、撮像画像の解像度を増加させる、あるいは取得する光線情報を増加させる場合、さらに撮像画像におけるデータ量が増加することになる。
　しかしながら、上述したように、仮想３次元空間における対象物体２００の特徴点からなる３次元点群として、対象物体２００の幾何学情報である深度情報と、各特徴点の色情報とを３次元形状情報として送信することにより、送信するデータ量を低減させ、従来のライトフィールド画像の送信に比較して高速にライトフィールド情報を送信することができる。
　また、伝送に関しては、３次元形状情報において、幾何学情報における特徴点の各々を整合性が取れた深度画像とカラー画像とに変換して送ることで、ライトフィールド画像及びＲＧＢＤ画像を用いて、特徴点が疎な領域と密な領域とを含む深度情報及び色情報それぞれを、疎な領域及び密な領域の特徴点の情報が保持された状態で、３次元形状情報をライトフィールド情報として、形状情報取得サーバ１から画像生成サーバ２に対して送信することができる。
　図１２は、対象物体２００の３次元形状情報を示す深度画像とカラー画像の生成を説明する図である。図１２において、仮想三次元空間３７０には、対象物体２００の仮想三次元形状３７１が生成されている。この仮想三次元形状３７１は、上述したように、生成に対してライトフィールド画像及びＲＧＢＤ画像とを用いているため、特徴点が密な領域と疎な領域とが存在している。この仮想三次元空間３７０において、この仮想三次元形状３７１を仮想カメラ３７５及び３７６の各々により撮像する。そして、仮想カメラ３７５（右側のカメラ）が撮像した撮像画像（実際には投影した画像、すなわち正投影）から、色情報（カラー画像）３７５＿１及び深度情報（深度画像）３７５＿２の各々が生成される。また、仮想カメラ３７６（左側のカメラ）が撮像した撮像画像（実際には投影した画像、すなわち正投影）から、色情報（カラー画像）３７６＿１及び深度情報（深度画像）３７６＿２の各々が生成される。
　そして、上記色情報３７５＿１、３７６＿１、深度情報３７５＿２及び３７６＿２の各々が、対象物体２００の３次元形状情報として、形状情報取得サーバ１に対して出力される。
　深度画像として深度情報を送信することにより、３次元点群の各々の特徴点の３次元空間における座標値として送信するよりも、データ量を低減することができる。また、深度画像を送信する場合、一般的な画像圧縮のアルゴリズムが使用でき、さらにデータ量を低減できるため、動画の送信には特に有効である。
　ポリゴンで送信した場合にも、ポリゴンの形状や座標値を示すデータ、さらにテクスチャの貼り付ける位置を示すデータなどが必要となるため、非常にデータ量が増加することになる。
　また、球体や円柱を用いて、上述した２次元平面に撮像画像として３次元形状情報の各々の特徴点を正投影するのではなく、３次元形状情報における特徴点の深度情報及び色情報の各々を、位置情報を対応づけて、それぞれ深度画像、カラー画像としてＵＶ展開し、図１２と同様な画像として３次元形状情報を送信しても良い。
　図１３は、ＵＶ展開による対象物体２００の３次元形状情報を示す深度画像及びカラー画像の生成を説明する図である。
　仮想三次元空間３５０には、対象物体２００の仮想三次元形状３５１が生成されている。この仮想三次元形状３５１は、図１２と同様に、生成に対してライトフィールド画像及びＲＧＢＤ画像とを用いているため、特徴点が密な領域と疎な領域とが存在している。仮想三次元空間３５０において、仮想三次元形状３５１の重心位置を中心とし、この仮想三次元形状３５１を包含する球体３５２を生成する。そして、この球体３５２の内面に対して、仮想三次元形状３５１の特徴点の色情報（カラー画像）を投影（ＵＶ展開）してカラー画像３６０を生成し、この投影された部分に球体３５２から特徴点までの距離である深度情報を、階調度情報とした深度画像（不図示）を生成する。
　図１３においても、図１２と同様に、この仮想三次元形状３５１は、上述したように、生成に対してライトフィールド画像及びＲＧＢＤ画像とを用いているため、特徴点が密な領域と疎な領域とが存在している。
　深度画像として深度情報を送信することにより、３次元点群の各々の特徴点の３次元空間における座標値として送信するよりも、データ量を低減することができる。また、深度画像を送信する場合、一般的な画像圧縮のアルゴリズムが使用でき、さらにデータ量を低減できるため、動画像の送信には特に有効である。
　なお、図１２及び図１３の各々の場合には、特徴点が密な領域の解像度と疎な領域の解像度とが異なるため、領域を分割して送信する必要がある。
　さらに、図１３のＵＶ展開を用いた場合、図１２に比較して視野角を稼ぐことができ、対象物体２００の全方位における３次元形状情報（深度情報及び色情報）を有して送信することができる。

　画像生成サーバ２は、３次元形状情報入力部２１、３次元形状再構成部２２、ライトフィールド画像生成部２３及び記憶部２４の各々を備えている。
　３次元形状情報入力部２１は、形状情報取得サーバ１から、対象物体２００の形状を示す幾何学情報である深度情報と、幾何学情報における特徴点の色情報とを含む３次元形状情報を入力し、記憶部２４に書き込んで一旦記憶させる。
　３次元形状再構成部２２は、深度情報及び色情報を含む３次元形状情報から対象物体２００の３次元形状を仮想３次元空間において、仮想３次元形状として再構成（復元）処理を行う。この３次元形状の復元処理は、一般的に用いられている手法のいずれかの３次元形状を復元する手法を用いる。
　この復元手法において、ライトフィールド画像生成システムが使用される用途により、復元される仮想３次元形状としては緻密さ（綺麗さ）が必要な場合がある。使用用途に対応させて、必要とされる緻密さに応じて、以下の復元の手法を適宜選択することができる。
　仮想３次元形状の一例としては、幾何学形状の３次元点群あるいは深度画像のそのものを復元した仮想３次元形状（３次元形状モデル）としても良い。また、他の例として、幾何学形状の３次元点群あるいは深度画像を用いて各特徴点の３次元座標を計算し、より高密度な点群データ(Dense point cloud)を求めて、この高密度な点群データを、復元した仮想３次元形状（３次元形状モデル）としても良い。さらに、他の例として、幾何学情報の３次元点群あるいは深度画像を用いて各特徴点の３次元座標を計算し、より高密度な点群データを求め、この点群データからメッシュデータを作成して、特徴点のＲＧＢの階調度に対応して、メッシュデータの各々の色を補完することで最終的な仮想３次元形状（３次元形状モデル）を復元しても良い。
　また、記憶部２４に対して、予め対象物体２００の３次元形状、例えばＣＧ（Computer Graphics）で生成した３次元形状のデータを書き込んで記憶させておき、復元した上記仮想３次元形状と合成する構成としてもよい。
　例えば、内視鏡に設けられたカメラで撮像する領域が狭く（画角が狭く）、例えば、胃の内部を撮像している際、撮像されている部分が胃のどのあたりの場所であるかの判定が、初心者にはなかなかつけられない場合がある。このとき、３次元形状再構成部２２は、予め胃の内部をＣＧで生成した３次元形状を記憶部２４から読み出し、復元した仮想３次元形状と合成する構成としてもよい。
　これにより、ライトフィールド画像生成部２３は、ＣＧで生成した３次元形状の心臓の中において、仮想３次元形状がフォーカスされたライトフィールド画像を生成することができる。利用者は、このライトフィールド画像を見ることにより、内視鏡で自身が観察している心臓の箇所を、全体のいずれの位置に相当するかを明確に認識することができる。
　ここで、心臓の３次元形状のデータは、例えばＭＲＩ（Magnetic Resonance Imaging）などの画像からＣＧを用いて生成され、内視鏡の撮像する位置とは幾何学的な整合性は予め取得しておき、ＣＧの３次元形状と、仮想３次元形状とは同一の３次元空間において、位置が整合された状態で配置される。
　また、上記ＣＧの３次元形状と、仮想３次元形状とを合成する技術は、ＭＲ（Mixed Reality、実画像にＣＧの仮想画像を重畳表示する）マニュアルとして使用することもできる。例えば、自動車のエンジンの分解を行う場合、ＣＧで生成したエンジン全体の３次元形状に対して、利用者が観察している箇所の仮想３次元画像を合成し、分解するためにはどのネジから外すかなどの情報、位置の名称や機能を説明する画像を重畳して、３次元形状を構成する。そして、ライトフィールド画像生成部２３は、３次元空間において、ＣＧで生成したエンジンの３次元画像と、利用者の観察している領域の仮想３次元形状と、説明の画像などが合成された形状からライトフィールド画像を生成する。これにより、ＡＲ（Augmented Reality）としての画像を、利用者が観察することができ、初心者でもエンジンの分解や各部分の機能の学習を行うことができる。

　ライトフィールド画像生成部２３は、３次元形状再構成部２２が復元した、仮想３次元空間内における対象物体２００の仮想３次元形状を、仮想３次元空間内における仮想カメラ（仮想撮像装置）により撮像して、ライトフィールド画像を生成する。
　すなわち、仮想３次元空間において、図１１に示したのと同様に、所定の距離ずらした視点位置に、ｎ×ｍのマトリクス状に仮想カメラを配置し、ｎ×ｍ個の異なる位置から対象物体２００を撮像し、ｎ×ｍ枚の撮像画像をライトフィールド画像として生成（取得）する。
　また、ライトフィールド画像生成部２３は、生成したライトフィールド画像を、記憶部２４に書き込んで記憶させる。

　図３は、復元された対象物体２００の仮想３次元形状を、マトリクス状に配列した仮想カメラで撮像することによるライトフィールド画像の生成を示す概念図である。
　図３において、仮想３次元空間内における対象物体２００の仮想３次元形状３１１を、この仮想空間内の任意の視点から、５（＝ｎ）×５（＝ｍ）のマトリクス状に配列した２５台の仮想カメラにより、ライトフィールド画像として、Ｒ（red）色成分の階調度画像３１２ｒ、Ｇ（green）色成分の階調度画像３１２ｇ及びＢ（blue）色成分の階調度が像３１２ｂを得る。
　この結果、仮想３次元空間内において、いずれの任意の視点からも、２５枚の撮像画像からなるライトフィールド画像（それぞれ色成分Ｒ、色成分Ｇ及び色成分Ｂの各々の階調度画像からなる撮像画像）を容易に得ることができる。

　図１１に示す実空間においてライトフィールド画像を撮像する場合、視点を変えて撮像する毎に、新たなライトフィールド画像を撮像して送信する必要がある。
　しかしながら、仮想３次元空間内であれば、対象物体２００の３次元形状を復元した仮想３次元形状があるため、形状が変化しない限り、新たな仮想３次元形状を復元する必要がなく、仮想３次元空間において自由に任意の視点から、仮想３次元形状のライトフィールド画像を得ることができる。

　図４は、３次元空間におけるライトフィールドを説明する概念図である。
　図４（ａ）に示すように、対象物体２００＿１及び対象物体２００＿２の各々を、マトリクス状に配置された複数の撮像装置（あるいはライトフィールドカメラ）で撮像する。
　これにより、撮像装置の各々には、配置された位置により、視点位置がずれた撮像画像が撮像される。この撮像画像の各々には、配置された位置を視点位置として、対象物体２００＿１及び対象物体２００＿２の各々の表面における異なる部分から射出される光線（異なる方向の光線）が撮像されている。これにより、対象物体２００＿１及び対象物体２００＿２の各々の表面における部分毎に、複数の方向（光線方向）に射出される光線の情報を得ることができる。

　これにより、撮像画像の各々を幾何学的に処理することで、図４（ｂ）に示すライトフィールド（光線空間）情報を得ることができる。
　図４（ｂ）に示す光線空間における座標点Ｖ（Ｖｘ，Ｖｙ，Ｖｕ）における光線の光線方向に沿った輝度が、以下に示す（１）式などにより表される。θが光線方向の垂直方向の角度（ｘ軸及びｙ軸により生成される２次元平面における角度）であり、φが光線方向の平行方向の角度（ｘ軸及びｕ軸により生成される２次元平面における角度）である。
　Ｐ＝Ｐ（θ、φ、Ｖｘ、Ｖｙ、Ｖｕ）　　…（１）

　したがって、図４（ｃ）に示す様に、光線空間において、視点方向（視線方向）から観察される２次元画像が実空間と同様に異なって観察できる。ここで、視点方向とは、光線空間を平面で切断した、断面Ｃ１あるいは断面Ｃ２に示す断面に対して垂直な方向である。
　上述した光線空間は、実空間におけるライトフィールド画像から生成される仮想３次元空間に復元される対象物体２００の仮想３次元形状であっても、画像生成サーバ２における仮想３次元空間に復元される対象物体２００の仮想３次元空間であっても同様に成り立つ。
　また、画像生成サーバ２が仮想３次元空間における対象物体２００の仮想３次元形状を用いてライトフィールド画像を生成する際、光線空間を生成する撮像カメラの視点位置及び視点方向を任意に設定することができるため、対象物体２００から離れた場所（遠隔地）においても、実空間においてと同様に対象物体２００のライトフィールド画像の撮像が可能となる。

　図５は、本実施形態によるライトフィールド画像生成システムによるライトフィールド画像生成の処理の動作例を示すフローチャートである。
　ステップＳ１０１：
　撮像装置３＿１及び撮像装置３＿２の各々は、ライトフィールド画像を使用する場所と離れた遠隔地において、固定された状態において対象物体２００を所定の視点位置から撮像する。ここで、一例として、撮像装置３＿１及び撮像装置３＿２の各々にはＲＧＢ－Ｄカメラを用いる。

　そして、撮像装置３＿１及び撮像装置３＿２の各々は、対象物体２００の３次元形状を示す、それぞれの視点位置における幾何学情報＃１及び幾何学情報＃２を形状情報取得サーバ１に対して出力する。
　このとき、撮像画像入力部１１は、撮像装置３＿１及び撮像装置３＿２の各々から供給される幾何学情報＃１、幾何学情報＃２それぞれを、記憶部１４に書き込んで記憶させる。

　ステップＳ１０２：
　３次元形状情報生成部１２は、記憶部１４から幾何学情報＃１及び幾何学情報＃２を読み出し、仮想空間内において、幾何学情報＃１及び幾何学情報＃２の各々の特徴点の整合性を取り、幾何学情報＃１、幾何学情報＃２それぞれの特徴点の統合を行う。
　そして、３次元形状情報生成部１２は、幾何学情報＃１及び幾何学情報＃２の各々の階調度情報、深度情報により、対象物体２００の３次元形状を示す３次元点群（あるいは深度画像）を、幾何学情報として仮想３次元空間内に生成する。そして、３次元形状情報生成部１２は、３次元点群（あるいは深度画像）における特徴点の各々に対して色情報として、色成分ＲＧＢの階調度情報を付与し、対象物体２００の３次元形状情報とする。
　そして、３次元形状情報生成部１２は、生成した３次元形状情報のデータを記憶部１４に書き込んで記憶させる。

　ステップＳ１０３：
　３次元形状情報出力部１３は、記憶部１４から３次元形状情報を読み出し、情報通信網５００を介して、画像生成サーバ２に対して出力する。
　このとき、図１２及び図１３で説明したように、幾何学情報としての深度情報と、この３次元形状の特徴点の色情報の各々を、幾何学的に整合性を有した深度画像、カラー画像それぞれからなる３次元形状情報として送信することにより、一般的な画像圧縮を用いることでデータ量を少なくすることができ、３次元形状情報の電送の負荷（伝送量）をさらに低減することができる。
　３次元形状情報入力部２１は、形状情報取得サーバ１から供給される、対象物体２００の３次元形状情報のデータを、記憶部２４に書き込んで記憶させる。

　ステップＳ１０４：
　３次元形状再構成部２２は、記憶部２４からライトフィールド情報としての３次元形状情報のデータを読み出し、対象物体２００の３次元形状を仮想３次元空間において再構成（復元）し、対象物体２００の仮想３次元形状として生成する。
　そして、３次元形状再構成部２２は、３次元仮想空間において生成した仮想３次元形状のデータを、記憶部２４に書き込んで記憶させる。

　ステップＳ１０５：
　ライトフィールド画像生成部２３は、仮想３次元形状を記憶部２４から読み出し、仮想３次元空間内における任意の視点位置において、仮想カメラ（ライトフィールドカメラ）により、仮想３次元形状のライトフィールド画像を撮像する。
　そして、ライトフィールド画像生成部２３は、撮像したライトフィールド画像を、記憶部２４に書き込んで記憶させる。

　上述した構成により、本実施形態によれば、形状情報取得サーバ１により対象物体２００の３次元形状情報を取得し、この３次元形状情報のデータを、画像生成サーバ２に送信し、画像生成サーバ２が供給される３次元形状情報により対象物体２００の仮想３次元形状を復元するため、形状情報取得サーバ１と画像生成サーバ２との各々の一方に対して他方が相対的に遠隔地に位置している場合、ライトフィールド情報として３次元点群や色情報などの３次元形状情報を送信するため、情報通信網５００におけるデータの送受信の通信負荷を低減させ、ライトフィールド画像をそのまま送信する場合に比較して、高速にライトフィールド情報を送信することができる。
　これにより、本実施形態によれば、対象物体２００の存在する遠隔地において、従来に比較して高速にライトフィールド画像を得ることが可能となる。

　また、本実施形態によれば、仮想３次元空間内に対象物体２００の仮想３次元形状を復元するため、仮想３次元空間を任意のサイズに拡大あるいは縮小し、かつ仮想カメラにより任意の視点位置から容易にライトフィールド画像を得ることが可能となる。

＜第２の実施形態＞
　以下、本発明の第２の実施形態として、本発明の第１の実施形態によるライトフィールド画像生成システムを用いた画像表示システムについて、図面を参照して説明する。図６は、本発明のライトフィールド画像生成システムを用いた、第２の実施形態の画像表示システムの構成例を示す図である。
　以下、図６の第２の実施形態において、図１の第１の実施形態と異なる構成及び動作のみ説明する。形状情報取得サーバ１は、第１の実施形態と同様の構成である。画像生成サーバ２Ａは、第１の実施形態における画像生成サーバ２にライトフィールド画像出力部２５が追加された構成となっている。また、画像表示システムとしては、表示画像生成端末４、表示部４２Ａを含むＨＭＤ４２の構成が追加されている。また、本実施形態において、表示画像生成端末４とＨＭＤ４２とが一体として、例えばＨＭＤ４２の機能部に表示画像生成端末４の機能が含まれて形成される構成としても良い。

　ライトフィールド画像出力部２５は、記憶部２４に記憶されている、ライトフィールド画像生成部２３が生成したライトフィールド画像を読み出す。そして、ライトフィールド画像出力部２５は、読み出したライトフィールド画像を、表示画像生成端末４に対して出力する。

　表示画像生成端末４は、ライトフィールド画像出力部２５から供給されるライトフィールド画像に基づき、ＨＭＤ４２の表示部４２Ａに表示する表示画像を生成する。そして、表示画像生成端末４は、生成した表示画像をＨＭＤ４２（表示装置の一例）に対して出力する。

　ＨＭＤ４２は、図示しない内部の表示制御部により、表示画像生成端末４から供給される表示画像を表示部４２Ａに対して表示する。ＨＭＤ４２は、対象物体２００の仮想３次元形状を観察する観察者の頭部に装着される。

　図７は、本実施形態におけるＨＭＤ４２の表示部４２Ａの構成例を示す概念図である。図７に示すように、表示部４２Ａは、前面透明ディスプレイである前面液晶パネル２０１と、後面ディスプレイである後面液晶パネル２０２との２枚の液晶パネルが互いに表示面が平行に、対応する画素が平面視で重なるように対向して積層されて構成されている。前面液晶パネル２０１は、後面液晶パネル２０２より、観察者の眼（接眼レンズ１１２）に近い配置となっている。本実施形態においては、表示部４２Ａを２枚の液晶パネルから構成されるとして説明するが、３枚以上の複数枚を積層して構成しても良い。この複数枚の液晶パネルの構成において、最後の面である後面ディスプレイ（後面液晶パネル２０２）以外の、後面ディスプレイの前面に配置される他の液晶パネルの各々は透明な液晶パネルである。
　前面液晶パネル２０１と後面液晶パネル２０２との各々は、接眼レンズ１１２の光軸に直交する面と、それぞれの表示面とが平行に配置されている。

　前面液晶パネル２０１と後面液晶パネル２０２との間には、それぞれの表示面を所定の間隔で離間させるため、所定幅（光軸方向の幅）のスペーサ２０４が設けられている。
　接眼レンズ１１２は、光軸が前面液晶パネル２０１と後面液晶パネル２０２との表示面と垂直となる位置に配置されている。
　バックライト２０３は、後面液晶パネル２０２の前面液晶パネル２０１と対向する表示面の裏面と対向する位置に配置されている。
　上述した表示部４２Ａの構成により、ＨＭＤ４２を装着した観察者は、接眼レンズ１１２を介して前面液晶パネル２０１と後面液晶パネル２０２との各々を観察することにより、前面液晶パネル２０１、後面液晶パネル２０２それぞれから出射する光線により構成されるライトフィールド（光線空間）により、対象物体２００の仮想３次元形状の立体感を視認することができる。

　上述したように、観察者に対して仮想３次元形状を立体的に視認させるため、図１１に示すマトリクス状に配置された撮像装置により撮像された複数の撮像画像であるライトフィールド画像４０２を、前面液晶パネル２０１と後面液晶パネル２０２との各々に所定の画像として表示させる必要がある。すなわち、前面液晶パネル２０１と後面液晶パネル２０２との各々に対し、それぞれ所定の画像を表示させることで、仮想３次元形状の表面から出射する光線を再現するライトフィールドを構成する。これにより、ライトフィールド内において、図４に示す任意の断面（例えば、断面Ｃ１、断面Ｃ２の視点方向）により、前面液晶パネル２０１と後面液晶パネル２０２とにおいて、観察者の焦点を合わせた際に観察される画素の重なりの組合わせが異なる。このため、観察者の焦点を合わせた位置により、前面液晶パネル２０１と後面液晶パネル２０２とにおける重なる画素を透過する光線方向及び輝度が変化し、仮想３次元形状の観察する部位が異なる。このため、観察者は、表示部４２Ａにおける仮想３次元形状を、自身の眼の焦点調節機能によって立体的に視認することができる。

　図８は、ライトフィールド画像と表示部４２Ａに表示される表示画像との対応関係を説明する概念図である。
　前面液晶パネル２０１と後面液晶パネル２０２との各々には、それぞれ表示画像２０１Ａ、表示画像２０２Ａが表示される。この表示画像２０１Ａ及び表示画像２０２Ａの各々は、ライトフィールド画像が有しているライトフィールドの光線の情報を圧縮した画像である。

　表示画像２０１Ａ及び表示画像２０２Ａの各々は、ライトフィールド画像におけるライトフィールドにおける光線の射出される位置及び方向の情報を有している。このライトフィールド画像の圧縮は、液晶パネルの枚数に応じて、非負値行列因子分解法（rank-1 NMF法）により、ライトフィールド画像における光線の情報を圧縮することにより行われる。

　図８において、上述された圧縮により、例えば、ライトフィールド画像３１２（図３）から生成された表示画像２０２Ａが後面液晶パネル２０２に、表示画像２０１Ａが前面液晶パネル２０１にそれぞれ表示される。
　この結果、観察者の眼２００Ｅの網膜においては、表示画像２０１Ａ及び表示画像２０２Ａの各々にそれぞれ表示される表示画像２０１Ａ、表示画像２０２Ａが結像する。このとき、観察者の網膜には、接眼レンズ１１２を介することにより、所定の距離だけ離れた仮想スクリーン３０１と仮想スクリーン３０２との各々に仮想的に表示された表示画像２０１Ａ及び表示画像２０２Ａが結像される。仮想スクリーン３０１は前面液晶パネル２０１に対応し、仮想スクリーン３０２は後面液晶パネル２０２に対応している。

　これにより、観察者は、前面液晶パネル２０１及び後面液晶パネル２０２の各々に表示される、表示画像２０１Ａ、表示画像２０２Ａそれぞれを重ね合わせて観察することになる。
　すでに述べたように、観察者の焦点を合わせた位置により、前面液晶パネル２０１と後面液晶パネル２０２とにおける重なる画素を透過する光線方向及び輝度、すなわち表示画像２０１Ａ、表示画像２０２Ａそれぞれの画素の重なりが変化する。このため、ライトフィールドにおける視点に対応した観察画像３０３Ａ（仮想３次元形状を断面に投影した２次元画像）を観察することができ、表示部４２Ａにおいて仮想３次元形状を立体的に視認することができる。

　図９は、本実施形態による画像表示システムによる仮想３次元形状の立体視のための表示画像生成の処理の動作例を示すフローチャートである。図９において、ステップＳ１０１からステップＳ１０５までは、図５におけるステップＳ１０１からステップＳ５までと同様である。以下、ステップＳ１０６からステップＳ１０８までの処理を説明する。

　ステップＳ１０６：
　ライトフィールド画像出力部２５は、記憶部２４からライトフィールド画像生成部２３が生成したライトフィールド画像を、表示画像生成端末４に対して送信する。
　表示画像生成端末４は、画像生成サーバ２から供給されるライトフィールド画像を圧縮して、前面液晶パネル２０１及び後面液晶パネル２０２の各々に表示する表示画像２０１Ａ、表示画像２０２Ａそれぞれを生成する。

　ステップＳ１０７：
　表示画像生成端末４は、生成した表示画像２０１Ａ及び表示画像２０２Ａの各々を、ＨＭＤ４２に対して出力する。

　ステップＳ１０８：
　ＨＭＤ４２の表示制御部は、表示画像２０１Ａ及び表示画像２０２Ａの各々を、前面液晶パネル２０１、後面液晶パネル２０２それぞれに表示する。

　上述した構成により、本実施形態によれば、形状情報取得サーバ１により対象物体２００の３次元形状情報を取得し、この３次元形状情報のデータを、画像生成サーバ２に送信する。そして、画像生成サーバ２が供給される３次元形状情報により対象物体２００の仮想３次元形状を復元するため、形状情報取得サーバ１と画像生成サーバ２との各々が遠隔地に位置している場合、ライトフィールド情報として３次元点群や色情報などの３次元形状情報を送信するため、情報通信網５００における通信負荷を低減させ、ライトフィールド画像をそのまま送信する場合に比較して、高速にライトフィールド情報を得て、ライトフィールド画像を生成することができる。
　これにより、本実施形態によれば、対象物体２００の存在する遠隔地において、ＨＭＤ４２などに対し、従来に比較して高速にライトフィールド画像から生成される表示画像を生成して供給することが可能となる。

　また、本実施形態において、ライトフィールドディスプレイとしてＨＭＤ４２の表示部４２Ａを、複数枚の液晶パネルを有する構成として説明した。しかしながら、ライトフィールドディスプレイには、パララックスバリアを使用して空間的に視野を割り振り、ライトフィールドにおける光線を表示する表示部を用いたパララックスバリア方式の構成としてもよい。あるいは、ライトフィールドディスプレイには、レンチキュラーレンズのマイクロレンズアレイを用いて空間的に視野を割り振り、ライトフィールドにおける光線を表示する表示部を用いたレンチキュラー方式の構成としてもよい。また、回折格子とディスプレイとを用いた方式を用いた構成としてもよい。これらの方式の場合、表示画像生成端末４は、それぞれの構成のライトフィールドディスプレイの方式に対応した表示画像をライトフィールド画像から生成する。

＜第３の実施形態＞
　以下、本発明の第３の実施形態として、本発明の第１の実施形態による形状情報取得サーバ１と、第２の実施形態による画像生成サーバ２との各々の構成を複合した画像表示サーバ６を用いた画像表示システムについて、図面を参照して説明する。図１０は、本発明の第３の実施形態による画像表示サーバ６を用いた画像表示システムの構成例を示す図である。

　図１０において、画像表示サーバ６は、第１の実施形態における形状情報取得サーバ１の撮像画像入力部１１及び３次元形状情報生成部１２と、第１の実施形態における画像生成サーバ２における３次元形状再構成部２２及びライトフィールド画像生成部２３と、第２の実施形態における表示画像生成端末４の機能を有する表示画像生成部４１とが設けられている。また、記憶部１４Ａは、形状情報取得サーバ１における記憶部１４と、画像生成サーバ２における記憶部２４とが統合された構成である。

　３次元形状情報生成部１２は、仮想３次元空間において対象物体２００の特徴点の３次元点群（あるいは深度画像）と、この特徴点の色情報とを３次元形状情報として生成して、記憶部１４Ａに書き込んで記憶させる。
　３次元形状再構成部２２は、記憶部１４Ａから上記３次元形状情報を読み出し、仮想３次元空間において深度情報である３次元点群（あるいは深度画像）と、３次元点群の特徴点の色情報とから、対象物体２００の３次元形状を仮想３次元形状として再構成し、記憶部１４Ａに書き込んで記憶させる。
　そして、ライトフィールド画像生成部２３は、対象物体２００の仮想３次元形状を記憶部１４Ａから読み出す。

　また、ライトフィールド画像生成部２３は、仮想３次元空間内において仮想カメラにより、対象物体２００の仮想３次元形状を任意の視点方向から撮像して、ライトフィールド画像を生成し、記憶部１４Ａに書き込んで記憶させる。
　表示画像生成部４１Ａは、記憶部１４Ａからライトフィールド画像を読み出し、すでに説明した圧縮処理を行い、生成された表示画像２０１Ａ及び表示画像２０２Ａの各々を、ケーブル４２Ｂあるいは無線を介してＨＭＤ４２に対して出力する。また、第２の実施形態に記載したように、ライトフィールドディスプレイとして、ＨＭＤ４２の積層方式のディスプレイの方式ではなく、パララックスバリア方式またはレンチキュラー方式のディスプレイを用いてもよい。

　上述したように、本実施形態によれば、仮想３次元空間に対象物体２００の仮想３次元形状を復元しているため、観察者の任意の視点方向のライトフィールド（光線空間）を形成することができ、従来のように、視点方向を変える毎にライトフィールド画像を撮像する必要がなく、観察者の撮像工程における手間を低減することができる。
　また、本実施形態によれば、画像表示サーバ６において、ライトフィールド画像を圧縮して、ＨＭＤ４２の表示部４２Ａに表示する表示画像２０１Ａ及び表示画像２０２Ａの各々を生成しているため、処理速度を向上させることが可能となり、動画に対する表示画像の生成をリアルタイムに行え、観察者が遅延無く仮想３次元形状を観察することができる。

　また、本実施形態によれば、ライトフィールド画像ではなく、表示画像２０１Ａ及び表示画像２０２Ａの各々を、ケーブル４２Ｂあるいは無線を介してＨＭＤ４２に対して出力するため、データ転送の負荷が低減でき、送信速度を上昇させることにより、表示部４２Ａにおける動画等の画像表示をリアルタイムに行え、観察者が遅延無く仮想３次元形状をＨＭＤ４２において観察することができる。

　なお、本発明における図１における形状情報取得サーバ１及び画像生成サーバ２と、図６における画像生成サーバ２Ａ及び表示画像生成端末４と、図１０における画像表示サーバ６との各々機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、対象物の仮想３次元形状のライトフィールド画像の撮像、あるいはＨＭＤの表示部に表示される表示画像を生成する制御を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

　１…形状情報取得サーバ
　２…画像生成サーバ
　３－１，３－２…撮像装置
　４…表示画像生成端末
　１１…撮像画像入力部
　１２…３次元形状情報生成部
　１３…３次元形状情報出力部
　１４，１４Ａ，２４…記憶部
　２１…３次元形状情報入力部
　２２…３次元形状再構成部
　２３…ライトフィールド画像生成部
　２４…記憶部
　２５…ライトフィールド画像出力部
　４１…表示画像生成部
　４２…ＨＭＤ
　４２Ａ…表示部
　５００…情報通信網

Claims (13)

1. 　対象物の３次元形状を示す形状情報を取得する形状情報取得サーバと、
   　前記形状情報から仮想空間内において、前記対象物の３次元形状を仮想３次元形状として再構成する形状再構成部と、前記仮想３次元形状を前記仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成部とを有する画像生成サーバと
   　を備えるライトフィールド画像生成システム。
2. 　前記画像生成サーバにおける前記ライトフィールド画像生成部が、
   　前記仮想空間内における任意の視点位置及び視点方向により、仮想撮像装置により前記仮想３次元形状を撮像し、前記任意の視点位置及び視点方向からライトフィールド画像を生成する
   　請求項１に記載のライトフィールド画像生成システム。
3. 　前記形状情報取得サーバが、
   　撮像装置により前記対象物が撮像された撮像画像から、当該対象物の前記形状情報を生成する
   　請求項１または請求項２に記載のライトフィールド画像生成システム。
4. 　前記形状情報が、前記対象物が撮像された撮像画像における各画素の階調度情報及び深度情報の各々である
   　請求項１から請求項３のいずれか一項に記載のライトフィールド画像生成システム。
5. 　前記形状情報が、前記対象物の特徴点からなる３次元点群情報と、各特徴点の階調度情報との各々である
   　請求項１から請求項３のいずれか一項に記載のライトフィールド画像生成システム。
6. 　前記階調度情報が、色情報としてのＲ成分、Ｇ色成分及びＢ色成分の階調度である
   　請求項４または請求項５に記載のライトフィールド画像生成システム。
7. 　前記形状情報が異なる視点位置及び視点方向に配置された複数の撮像装置により撮像された複数の撮像画像から抽出した情報から構成されている
   　請求項１から請求項６のいずれか一項に記載のライトフィールド画像生成システム。
8. 　前記請求項１から請求項７のいずれか一項に記載のライトフィールド画像生成システムと、
   　ライトフィールド画像から表示画像を生成する画像生成サーバと、
   　表示装置と
   　を備え、
   　前記表示装置が、少なくとも前面透明ディスプレイと後面ディスプレイとを含む２層以上のディスプレイが平面視で対応する画素が重なるように配置された表示部を備えており、
   　前記画像生成サーバが、前記ディスプレイに各々に表示する、前記ライトフィールド画像の前記画素の階調度情報を圧縮した表示画像それぞれを生成する
   　画像表示システム。
9. 　対象物の形状情報から仮想空間内において、前記対象物の３次元形状を仮想３次元形状として再構成する形状再構成部と、前記仮想３次元形状を前記仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成部とを有する画像生成サーバとともにライトフィールド画像生成システムに備えられる形状情報取得サーバであり、
   　前記対象物の３次元形状を示す前記形状情報を取得する
   　形状情報取得サーバ。
10. 　対象物の３次元形状を示す形状情報を取得する形状情報取得サーバとともにライトフィールド画像生成システムに備えられる画像生成サーバであり、
    　前記形状情報から仮想空間内において、前記対象物の３次元形状を仮想３次元形状として再構成する形状再構成部と、
    　前記仮想３次元形状を前記仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成部と
    　を備える画像生成サーバ。
11. 　前記請求項１から請求項６のいずれか一項に記載のライトフィールド画像生成システムと、ライトフィールド画像から表示画像を生成する画像生成サーバとともに画像表示システムに含まれる表示装置であり、
    　少なくとも前面透明ディスプレイと後面ディスプレイとを含む２層以上のディスプレイが平面視で対応する画素が重なるように配置された表示部を備え、前記画像生成サーバが生成した前記ディスプレイに各々に表示する、前記ライトフィールド画像の前記画素の階調度情報を圧縮した表示画像それぞれを、前記ディスプレイのそれぞれに表示する
    　表示装置。
12. 　対象物の３次元形状を示す形状情報を取得する形状情報取得過程と、
    　前記形状情報から仮想空間内において、前記対象物の３次元形状を仮想３次元形状として再構成する形状再構成過程と、
    　前記仮想３次元形状を前記仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成過程と
    　を含むライトフィールド画像生成方法。
13. 　対象物の３次元形状を示す形状情報を取得する形状情報取得過程と、
    　前記形状情報から仮想空間内において、前記対象物の３次元形状を仮想３次元形状として再構成する形状再構成過程と、
    　前記仮想３次元形状を前記仮想空間内における所定の視点位置におけるライトフィールド画像を生成するライトフィールド画像生成過程と、
    　表示装置が、少なくとも前面透明ディスプレイと後面ディスプレイとを含む２層以上のディスプレイが平面視で対応する画素が重なるように配置された表示部に対し、前記ディスプレイに各々に表示する、前記ライトフィールド画像の前記画素の階調度情報を圧縮した表示画像それぞれを生成する表示画像生成過程と
    　を含む画像表示方法。

Images