JP2021012338A - ホログラム生成装置およびホログラム生成方法 - Google Patents

Abstract

【課題】視点移動が発生する際の計算機合成ホログラムを、前フレームの物体光波を次フレームの物体光波として再利用することで高速計算する。【解決手段】視点移動検知部１０２は移動を検知する。方式決定部１０３は、視点移動の検知結果に応じて、ホログラム面における物体光波の取得方式を画素ごとに「計算方式」および「再利用方式」のいずれかに決定する。レンダリング部４０１および光波伝搬計算部４０２は、計算方式に決定された各画素に伝搬する物体光波を計算する。物体光波再利用部４０３は、再利用方式に決定された各画素に前フレームの対応画素の物体光波を再利用する。干渉計算部１０５は、画素ごとに取得した物体光波および収束球面参照光波に基づいてホログラム面上での干渉縞を光波シミュレーションにより計算する。CGH出力部１０６は、干渉縞を表示デバイス５のホログラム面に表示する。【選択図】図２

Description

本発明は、ホログラム生成装置およびホログラム生成方法に係り、特に、視点移動が発生する際の計算機合成ホログラムを、前フレームのホログラム面上の物体光波を再利用することで高速に生成するホログラム生成装置およびホログラム生成方法に関する。

ホログラフィは、光の干渉・回折現象に基づいて、物体からの光（物体光）を記録・再生する立体表示技術であり、物体から放たれる光の波と、レーザーなどから照射される参照光とを干渉させ、干渉縞として物体光を記録することでホログラムが得られる。また、この干渉縞に再生照明光を照射することで、記録時の光を再現することができる。ホログラフィは、物体から放たれる光を忠実に再現できることから、人の３次元知覚の生理的要因を全て満たす理想的な３次元表示技術とされている。

ホログラムは、電子計算機による計算によって作成することが可能であり、そのようなホログラムは計算機合成ホログラム(Computer Generated Hologram：CGH)と呼ばれる。CGHは、ホログラムの計算のために必要となる光波の伝搬や干渉などの計算を計算機内部で光波シミュレーションとして行い、干渉縞を画像などの電子データとして出力する技術である。

写真乾板などを用いて撮影するアナログのホログラムと比較すると、撮影のための複雑な光学系が不要であることや、液晶に表示するCGHを次々と切り替えていくことで動画化が容易に行えるなどの利点が存在するため、次世代のテレビやXR（AR/MR/VRなどの技術の総称）デバイスなどへの適用が期待されている。

一方、広視野での視聴のためには、ピクセルピッチが光の波長オーダーの表示デバイスが必要となる点や、光波シミュレーションの計算時間が大きいことなど、解決すべき課題も多く存在していた。

非特許文献１には、CGのレイトレーシング法をベースとして、写実性の高いレンダリングを行うことが可能なCGHの計算手法が開示されている。加えて、非特許文献1には、視域を犠牲にすることで視野を拡大するフーリエ変換光学系 (Fourier Transform Optical System：FTOS) を用いて視野を拡大する技術が開示されている。

これは、レンズを用いて視野を拡大する技術であるが、視域が犠牲になることから、ヘッドマウントディスプレイ (Head Mounted Display : HMD) 型デバイスのように、狭い視域でも視聴が可能で、ある程度、視点位置を固定できるシステムとの親和性が高いと考えられてきた。

図２１は、視野と視域との違いを示した図であり、視野は、人間の眼で見ることが可能な範囲であり、視域は、映像等を視聴する際に、その映像を視聴することが可能な範囲（映像を視聴するにあたり、眼を移動させることができる範囲）である。

しかしながら、非特許文献１の技術では、CGの計算法の中でも比較的計算時間が大きいとされるレイトレーシング法に基づくレンダリングを行うことに加えて、元々CGHでは光波シミュレーションの計算にも膨大な時間が必要となることから、生成処理時間が大きいという問題があった。

特に、HMD型のデバイスに適用すると、着用者が歩行などに応じて移動した場合に、その視点位置および向きに応じたCGHを毎回計算する必要がある。この点、非特許文献１の方式で計算することを考えた場合、僅かな視点の動きであっても、着用者の位置や向きが変わる度に毎回CGHを再計算しなければならず、非効率的であった。

非特許文献２では、非特許文献１の技術をHMD型のデバイスに適用することを想定し、着用者がわずかに視点の位置や向きを動かしたときの高速計算法を提案する。具体的には、非特許文献１で計算されるホログラム面上の物体光波の一部を再利用することで、次のフレームのCGHを高速計算する技術を提案している。この技術では、一定の近似による品質劣化はあるものの、前フレームの物体光波を再利用するため、光波伝搬に関する計算時間等を大幅に削減できる。

T. Ichikawa, T. Yoneyama, and Y. Sakamoto, "CGH calculation with the ray tracing method for the Fourier transform optical system," Opt. Express 21, 32019-32031 (2013). R. Watanabe, K. Yamaguchi, and Y. Sakamoto, "Fast calculation method of computer generated hologram animation for viewpoint parallel shift and rotation using Fourier transform optical system," Appl. Opt. 55, A167-A177 中村孝雅, 坂本雄児, "フーリエ変換光学系における異なるホログラムデータ計算法の比較・検証," 3次元画像コンファレンス2018, 1-1, (2018). Takuo Yoneyama, Eishin Murakami, Yuki Oguro, Hibiki Kubo, Kazuhiro Yamaguchi, Yuji Sakamoto, "Holographic head-mounted display with correct accommodation and vergence stimuli," Optical Engineering 57(6), 061619, (2018). Laurentini, A."The visual hull concept for silhouette based image understanding.", IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 150-162 (1994). Ryosuke Watanabe, Takuya Sugawara, Yuji Sakamoto, "Fast calculation method of computer generated hologram using ray tracing method for Fourier transform optical system", 10th International Symposium on Display Holography, P-16, Jul. 2015.

非特許文献２では、一定の高速化効果と、品質劣化が少ないことが被験者実験を通して示されているものの、高速に計算できる視点の動きに制約があった。具体的には、視聴する物体に対して、奥行きが変わる方向に視点が移動（前後移動）すると、前フレームの物体光波を再利用できないことが非特許文献２の中で示唆されている。

近年、XRデバイスを装着した際に、対応できる動きの方向数をDoF (Degrees of Freedom)という言葉を用いて表現することがある。一般に、xyz軸方向の移動及びxyz軸周りの回転に対応することを6DoF (6 degrees of freedom) などと呼ぶが、非特許文献２では前後方向の高速化ができないため、5DoFの高速化アルゴリズムであると表現することもできる。

しかしながら、たとえ一方向であっても高速化できない動きが混在することは、少しでも前後移動が生じたときには全て非特許文献１の技術を用いて全て計算をやり直さなければならないことを意味しており、実用上の制約が非常に大きい。

加えて、非特許文献２では、前後移動を伴わない平行移動（本発明では、前後移動を伴わない平行移動のことを"平行移動"と表現する）を実施する際にも、歪みが生じることが示されている。非特許文献２では、物体が存在する奥行きを一点のみ指定し、その奥行きにある物体に関しては正しく平行移動させることができる。しかしながら、その指定した奥行きから、物体の位置が離れれば離れるほど、実際の平行移動量とは異なる移動となるため、奥行差があるようなシーンに関しては上手く平行移動のアルゴリズムを適用することができないという問題があった。

本発明の目的は、上記の技術課題を解決し、レンズにより視野拡大が可能な光学系においてCGHを計算する際、収束球面参照光波に基づく光波シミュレーション法を取り入れることにより、任意の視点移動において、物体光波の再利用によるCGHの高速計算を実現できるホログラム生成装置およびホログラム生成方法を提供することにある。

上記の目的を達成するために、本発明は、レンズを用いて視野を拡大する光学系で使用されるホログラムを生成するホログラム生成装置において、以下の構成を具備した点に特徴がある。

(1) ホログラム面上の物体光波の取得方式を視点移動に応じて画素ごとに「計算方式」および「再利用方式」のいずれかに決定する手段と、「計算方式」に決定された各画素に伝搬する物体光波を計算する手段と、「再利用方式」に決定された各画素に前フレームの対応画素の物体光波を再利用する手段と、各画素の物体光波および収束球面参照光波に基づいてホログラム面上での干渉縞を光波シミュレーションにより計算する手段とを具備した。

(2) 取得方式を決定する手段は、視点の移動量が所定の閾値未満であれば再利用方式に決定し、所定の閾値以上であれば計算方式に決定するようにした。

(3) 再利用する手段は、視点の前後移動が検知されると、その移動方向に応じて前フレームの物体光波分布を拡縮して再利用するようにした。

(4) 取得方式を決定する際の視点の移動量に関する閾値を、ホログラム面の中心からの距離が遠い画素ほど小さくした。

(5) 取得方式を決定する際の視点の移動量に関する閾値を、視点からの距離が遠い物体からの光波を記録する画素ほど大きくした。

(6) 物体光波分布の拡縮率を、ホログラム面から物体点光源までの距離に応じて可変とした。

(7) 取得方式を決定する手段は、視点の平行移動に応答して当該平行移動前と重なる平行移動後の画素領域を再利用方式に決定し、それ以外の画素領域を計算方式に決定するようにした。

(8) 再利用する手段は、視点の回転移動により生じる光路差の違いにより生じる位相差を回転移動前の物体光波分布に乗算して回転移動後の物体光波分布として再利用するようにした。

本発明によれば、以下のような効果が達成される。

(1) レンズを用いて視野を拡大する光学系で使用されるホログラム（CGH）の生成装置において、前フレームで取得したホログラム面上の物体光波を視点移動に応じて移動、加工したうえで次フレームに再利用するにあたり、光波シミュレーションに用いる参照光に収束球面参照光波を用いたので、物体光波の再利用によるホログラムの高速計算を、その品質低下を抑えながら実現できるようになる。

(2) 視点の移動量が所定の閾値未満であり、「再利用方式」を採用しても視聴品質の劣化が小さいと推定される場合は「再利用方式」に決定するので、物体光波の再利用によるホログラムの高速計算を、その品質低下を抑えながら実現できるようになる。

(3) 視点の前後移動が検知されると、その移動方向に応じて前フレームの物体光波分布を拡縮し、次フレームにおいて再利用するので、視点の前後移動を反映したホログラムを高速計算できるようになる。

(4) 視点の前後移動およびその移動量に応じて物体光波の生成方式を画素ごとに「計算方式」または「再利用方式」に決定する際、ホログラム面の中心からの距離が短い画素ほど、移動量が多くても「再利用方式」に決定するので、視点移動による劣化が少ない画素には次フレームの物体光波を再利用できる。したがって、ホログラム面全体で物体光波を再利用できる割合を高めることができ、視点の前後移動を反映したホログラムを高速計算できるようになる。

(5) 取得方式を決定する際の視点の移動量に関する閾値を、視点からの距離が遠い物体 を表示する画素ほど大きくしたので、視点からの距離にかかわらず誤差の少ないホログラムを高速計算できるようになる。

(6) 視点の前後移動に対応した物体光波分布の拡縮率を、ホログラム面から物体点光源までの距離に応じて可変としたので、ホログラム面から物体点光源までの距離にかかわらず誤差の少ないホログラムを高速計算できるようになる。

(7) 視点の平行移動およびその移動量に応じて物体光波の生成方式を画素ごとに「計算方式」または「再利用方式」に決定する際、平行移動前と重なる平行移動後の画素領域は再利用方式に決定するので、移動量が少ないほど「再利用方式」に決定する画素の割合を高くしてホログラムの高速計算できるようになる。

(8) 視点が回転移動すると、当該回転移動により生じる光路差の違いにより生じる位相差を回転移動前の物体光波分布に乗算して回転移動後の物体光波分布として再利用するので、視点の回転移動を反映したホログラムを高速計算できるようになる。

本発明の一実施形態に係るCGH装置を適用したHMDの構成例を示した側面断面図である。 制御装置の主要部の構成を示した機能ブロック図である。 視点の回転移動とホログラム面の回転移動との関係を示した図である。 レイトレーシング法によるレンダリング方法を示した図（その１）である。 レイトレーシング法によるレンダリング方法を示した図（その２）である。 ホログラム面の移動を説明した図である。 ホログラム面の平行移動を説明した図（その１）である。 ホログラム面の回転的平行移動を説明した図（その２）である。 ホログラム面の回転移動を説明した図である。 ホログラム面の前後移動を説明した図である。 ホログラム面の前後移動により生じる光路差を示す図である。 光路差の計算方法を説明するための図である。 物体光波分布を拡大縮小する際の課題を説明した図（その１）である。 物体光波分布を拡大縮小する際の課題を説明した図（その２）である。 視点が後退した際に、見えてくる範囲が広がる例を示した図である。 出力されるCGHの例を示した図である。 ホログラム面の画素ごとに物体光波の生成方式を決定する手順を示したフローチャートである。 物体光波の生成方式を原理ベースで決定する手順を示したフローチャートである。 物体光波の生成方式を誤差ベースで決定する手順を示したフローチャートである。 視点の前後移動が検知された際の物体光波の生成方式を模式的に示した図である。 視野と視域との違いを示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るCGH生成装置を適用したHMDの主要部の構成例を示した側面断面図であり、ホログラム面を提供する表示デバイス５と、この表示デバイス５のホログラム面に配置されて視野を拡大する光学レンズ２と、再生照明光として球面波を照射する再生照明光源３と、ホログラム面と再生照明光源３との間の光軸O上に配置されたハーフミラー４と、表示デバイス５を駆動する制御回路１と、を左右一対として構成され、さらにカラー表示の際に再生照明光源３の発光色と対応するホログラムの表示タイミングとの同期を制御する同期回路（図示省略）を含む。支持部材６ａ，６ｂ，６ｃは、各構成要素を所定に位置関係で視聴者（装着者）の頭部Hに固定する。

図２は、前記制御装置１の主要部の構成を示した機能ブロック図である。シーン設定部１０１は、CGHを作成するシーンの3DCG（3D Computer Graphics）を装置内に定義する。本実施形態では、シーン設定部１０１が3DCGの汎用フォーマットなどを入力として、シーンの3DCGを装置内の座標空間上に配置する。

なお、視聴するシーンは必ずしも仮想物体に限定されず、例えば複数台のカメラで撮影した映像から、非特許文献５に開示された技術で再構成を行って生成した3DCGを用いてシーンを設定しても良い。このような技術を用いれば、実物体をCGHとして記録できるようになる。

視点移動検知部１０２は、モーションセンサや加速度センサ（図示省略）を備え、これらのセンサ出力に基づいて視聴者の視点移動を検知する。方式決定部１０３は、主に視点移動検知部１０２による視点移動の検知結果に基づいて、ホログラム面の画素ごとに次フレームの物体光波の生成方式を「再利用方式」および「計算方式」のいずれかに決定する。

「再利用方式」では、前フレームで生成した各画素の物体光波を次フレームの対応画素で再利用するので、物体光波伝搬に係る計算量を削減できる。「計算方式」では、従来通り画素ごとに物体光波が計算される。本実施形態では、視点の移動量が微小であれば「再利用方式」を採用することを原則として、画素ごとにいずれかの生成方式が決定される。なお、視聴する最初の１フレーム目に関しては、物体光波を再利用できる前フレームが存在しないので、全ての画素に関して必然的に「計算方式」の採用が決定される。

一方、前フレームで生成した物体光波を次フレームで再利用する際、本実施形態ではホログラム面の位置と移動検知に用いるセンサの位置とが異なることから、視点の回転移動が検知されたときに、ホログラム面を回転移動させることで物体光波を再利用しても視点の回転移動に対応したCGHを再現できない。

図１のように、拡大レンズ２を含む光学系を用いた場合、レンズの焦点距離fの位置付近に視点があることから、ホログラム面を回転移動させると、図３に示したように、ホログラム面を中心に距離fの円弧を描くように視点が移動してしまう。

そこで、本実施形態では方式決定部１０３に移動変換部１０３ａを設けている。移動変換部１０３ａは、ホログラム面とセンサとの相対的な位置関係に基づいて、視点移動による視界の変化をホログラム面の移動（(a)平行移動、(b)回転移動、(c)前後移動または各移動の組み合わせ）で再現できるように、検知された視点移動に対応した各移動(a)，(b)，(c)の組み合わせ決定し、移動の形態毎に移動量T（T1，T2，T3）を計算する。

物体光波生成部１０４は、物体光波を「計算方式」により生成するためのレンダリング部４０１および光波伝搬計算部４０２、ならびに物体光波を「再利用方式」により生成する物体光波再利用部４０３を含む。

前記レンダリング部４０１は、方式決定部１０３が「計算方式」の採用を決定した次フレームの各画素に関して、シーン設定部１０１が定義したシーンのレンダリングを実施し、伝搬計算のための物体点光源を取得する。

本実施形態では、シーン設定部１０１が設定した3DCGのシーンに対して、視聴者の視点からの映像を再生できるようにシーンをレンダリングすべく、非特許文献１に開示されているような、要素ホログラムからのレイトレーシングに基づくレンダリング法を利用してシーンのレンダリングを行う。

このレンダリング法は、図４に示すように、ホログラム面を要素ホログラムと呼ばれる小領域に分割し、各小領域の中央から、CGの代表的なレンダリング技法の一つであるレイトレーシング法を用いてレンダリングを行う。

レイトレーシング法は、ある一点から光線を飛ばし、その光線と交わるポリゴンの色で画面を着色することで、隠面消去やシェーディングなどを考慮した写実的なレンダリングを実現することができる技法である。本実施形態では、光線を飛ばした後に得られるポリゴンとの交点の位置及び色を、３次元の位置情報(x, y, z)および色情報(R, G, B)を持つ点として取得、記録する。物体が大きければ多数の点を取得できることから、レンダリング部４０１では対象シーンをある視点から見たときのPoint Cloudが得られる。

前記光波伝搬計算部４０２は、レンダリング部４０１で得られた各物体点からホログラム面までの光波伝搬を計算する。本実施形態では、物体を点群の塊として表現し、この点群からの球面波がホログラム面まで伝搬する際の光波伝搬を計算することで、ホログラム面上の物体光波分布u(x, y)を次式(1)に基づいて計算する。

ここで、Aiはレンダリング部４０１で得られた物体点光源の輝度、riは物体点光源とホログラム面(x, y)との距離、kは光の波長から計算される波数を表し、iは物体点光源のインデックスであり、Nは当該シーンを構成する物体点光源の数である。また、jは虚数単位である。なお、物体点がRGBなどの複数の色空間を持つ場合、物体光波分布u(x, y)は色ごとにそれぞれ計算される。ただし、色によって光の波長が変わるため、波数kは色ごとに異なる。

また、非特許文献１では、伝搬された物体光波の中で、共役像に関する部分を削除するため、ホログラム面上に伝搬された光波分布の一部をカットする技術が開示されているが、このように一部の物体光波分布を削る形で共役像の除去を行ってもよい。

加えて、一般にCGHは光を再現する技術であるため、光の波長レベルのピクセルピッチ（目安として、1μm以下）の液晶が必要とされており、それより粗いピクセルピッチの表示デバイスを用いてしまうと、電子デバイスのサンプリング周波数を超える高周波領域では、折り返し雑音が発生し、像が二重に見えるなどの問題が発生する可能性がある。

しかしながら、このようなレベルの微細なピッチの表示デバイス（例えば、液晶ディスプレイ）を用意することは難しいことから、予め使用する表示デバイスのピクセルピッチを鑑み、物体光波分布u(x, y)の計算時に高周波成分となる領域を、物体点ごとに事前にカットすることで、折り返し雑音の発生を防止するような機構を備えていてもよい。

前記物体光波再利用部４０３は、計算方式決定部１０３が「再利用方式」に決定した次フレームの各画素に関して、前フレームで計算したホログラム面上の物体光波を参照し、その物体光波に視点の移動態様および移動量に応じた変形、加工を適宜に加えて次フレームの対応画素に再利用することで、次フレームのホログラム面の物体光波を近似的に生成する。

これにより、レンダリングや光波伝搬計算を実施せずに物体光波を生成できる画素数が多くなるため、光波伝搬計算の大幅な高速化が実現される。本実施形態では、図５に示すように、光波伝搬計算部４０２および物体光波再利用部４０３のそれぞれが生成したホログラム面上の物体光波を合わせることで、次フレームの全ての画素の物体光波分布が得られる。なお、物体光波の具体的な再利用方法については、後に詳述する。

干渉計算部１０５は、光波伝搬計算部４０２および物体光波再利用部４０３が生成したホログラム面上の物体光波分布u(x, y)に対して、計算機上の光波シミュレーションとして参照光波を差し込むことで干渉計算を行う。本実施形態では、参照光として非特許文献３に開示されている、再生光学系のレンズの焦点距離fの位置に収束する収束球面参照光波を用いる。収束球面参照光波がホログラム面上に伝搬されたときの光波の複素振幅分布R(x, y)は次式(2)で表される。

Roは参照光の強度であり、rは参照光の位置(0,0,f)からホログラム面上の位置(x, y,0)までの距離を表している。この参照光波と物体光波との干渉は次式(3)で表される。

I(x, y)はCGH（干渉縞）の輝度分布であり、このI(x, y)の値に基づいて、CGHが後段のCGH出力部１０６へ提供される。CGH出力部１０６は、干渉計算部１０５が計算した干渉縞を画像データとして出力する。CGHの出力形式は任意だが、一般的には図１６に示したように、0-255などの一定の範囲の輝度値で示されることが多い。

一方、干渉計算部１０５で計算された干渉縞は、このレンジに正規化されていない場合が多いため、最大値を255、最小値を0とするような正規化を行うことが望ましい。また、出力されるCGHに関しては各CGHを画像データとして1枚ずつ出力してもよいし、ウィンドウに画像が随時表示されるような形式であってもよい。

次いで、前記物体光波再利用部４０３が前フレームの物体光波を次フレームに再利用する方法について具体的に説明する。以下の説明では、図６に示すような方向にxyzの各軸が設定されるものとし、物体光波分布を表示するホログラム面は、xy軸が作り出す平面(x, y, 0)上に存在するものと仮定する。

なお、視点移動をホログラム面の(a)平行移動、(b)回転移動、(c)前後移動の組み合わせで実現する場合、組み合わせる各移動の順序は任意であるものの、移動順序に応じて各移動の移動量が異なる場合がある。したがって、組み合わされる各移動の順序については予め決定し、その順序での移動を前提に各移動の移動量を計算することが望ましい。

Ａ．第１の再利用形態：平行移動
物体光波分布の平行移動による再利用は、xy軸方向への平行移動およびz軸中心の回転移動の２種類に大別されるが、基本的な考え方は同一である。なお、z軸中心の回転移動による平行移動を、後述するx軸中心またはy軸中心の回転移動と区別するため、z軸中心の回転移動による平行移動を、回転的平行移動と表現する場合もある。

検知された視点移動が、ホログラム面のxy軸方向への平行移動または当該平行移動を含む複数の移動の組み合わせであると、その移動量が所定の基準値と比較される。移動量が基準値を下回っていれば「再利用方式」に決定され、図７に示したように、前フレームのホログラム面に記録された物体光波分布が、そのまま次フレームの対応位置まで平行移動されて再利用される。それ以外の画素領域は「計算方式」に決定され、前記レンダリング部４０１および光波伝搬計算部４０２の協調動作により光波伝搬が計算されて物体光波分布が生成される。

なお、非特許文献２では、ホログラム面と物体の間にレンズがあることを考慮して計算しなければならないために、単純に物体光波分布を平行移動させると歪みが生じるという問題が存在していた。しかしながら、本実施形態では光波シミュレーションに用いる参照光として収束球面参照光を利用しており、レンズを考慮する必要がないため、このような歪みが発生しない。

一方、検知された視点移動が、ホログラム面のz軸中心の回転的平行移動または当該回転的平行移動を含む複数の移動の組み合わせであると、図８に示すように、前フレームと重なる画素領域に関しては前フレームの物体光波分布を回転方向に平行移動することで再利用され、重ならない画素領域に関しては光波伝搬が計算されて物体光波分布が生成される。

Ｂ．第２の再利用形態：回転移動
検知された視点移動が、ホログラム面のx軸中心またはy軸中心の回転移動または当該回転移動を含む複数の移動の組み合わせであると、図９に示すように、伝搬する物体光波に光路差が発生する。したがって、回転移動によって生じる光路差の違いによって発生する位相を、再利用する回転前のホログラム面上の物体光波分布u(x, y)に乗算することで近似的に回転移動を実現できる。例えば、図９に示すように、ホログラム面がx軸中心で回転した場合、回転後のホログラム面上の物体光波分布u_rot (x, y)は次式(4)で表される。ただし、θ_rotは回転の角度である。

Ｃ．第３の再利用形態：前後移動
検知された視点移動が、ホログラム面のz軸方向への前後移動または当該前後移動を含む複数の移動の組み合わせであると、次フレームの物体光波分布は、前フレームで取得した物体光波の縮小または拡大によって近似できる。例えば、図１０に示すように、ホログラム面の物体光波分布を縮小することで、CGHの再生像の再生位置をホログラム面の近くに移動させることができる。逆に、物体光波分布を拡大することで、CGHの再生像の再生位置を遠方へ移動させることができる。

なお、物体光波分布の拡大、縮小による前後移動再現はあくまで近似に過ぎず、以下に詳述するように、いくつかの誤差や問題点が発生する。したがって、移動量が基準値を上回る場合には、全面の光波伝搬を計算することが望ましい。以下、拡大・縮小処理によって生じる問題点およびその解決法について説明する。

第１の課題として、物体光波面を単純に拡大・縮小すると、奥行きに差がある複数の物体が存在するシーンでは誤差が大きく発生する懸念がある。例えば、ホログラム面から50cmの位置に物体点光源A、100cmの位置に物体点光源Bが存在する場合、ホログラム面を50%に縮小すると、100cmの深さの物体が50cmの位置に、50cmの深さの物体が25cmの位置に、それぞれ現れるような移動となる。

しかしながら、通常の視点の前後移動では、50cm視点が前に動く場合、奥行によらず全ての物体が一様に50cm接近しなければならない。したがって、本実施形態では物体の奥行差があるシーンに対しては誤差が生じ得る。

このような技術課題に対して、本実施形態では、正確に奥行きを変化させたい深さDを設定する。また、視点を奥行方向にΔD動かした場合に、その深さがD'=D+ΔDに変化するとした場合、このDとD'の比率を基にホログラム面を縮小・拡大させる。

例えば、ホログラム面から見てZ方向に深さ100cmの位置にある物体を正確に表現したいとする。このとき、視点が前方に10cm動く(ΔD=-10cm)ことで、この物体は深さ90cmの位置に見えるようになるはずである。このとき、ホログラム面を、ホログラム面の中心を基準に90/100に縮小することでホログラム面の再利用を行う。この正確に奥行きを変化させたい深さDに関しては、事前にユーザの手で手動に設定されてもよいし、シーン全体を構成する物体点光源の平均となる深さに自動設定されるような機構を備えていてもよい。

一方、このようにして拡大・縮小されたホログラム面に関しては、図１１に示すように、ホログラム面の端に寄れば寄るほど、移動前後での光路の差が発生する。そこで、本実施形態では、拡大・縮小後のホログラム面に対して、この光路差によって生じる位相を乗算することで、光路差の違いによって発生する影響を防止することが望ましい。

本実施形態では、図１２に示すように、縮小前のホログラム面の画素(x, y)までの距離をr_h(x, y)、縮小後のホログラム面の画素(x_after, y_after)までの距離をr_h' (x_after, y_after)としたとき、考慮すべき光路差r_d (x_after, y_after)は次式(5)で表される。

物体光波分布u(x, y)を拡大または縮小した後の物体光波分布をu_b (x_after, y_after)としたとき、前述の位相差を考慮して得られるホログラム面の物体光波分布u_after (x_after, y_after)は、次式(6)で表される。

拡大に関しても、同様に光路差を考慮して計算することで、前後移動を実現することが可能となる。

第２の課題として、上記の奥行きDを設定しても、ホログラム面の中心を基準に拡大・縮小を図る場合には、再利用時に再生される位置に誤差が発生する。これは、ホログラム面の中心を基準に拡大・縮小をする場合には、図１３に示すように、物体光波がホログラム面の中央に寄る形で拡大・縮小がなされるため、図１４に示すような正しい位置と異なる位置に物体光波が記録されてしまうためである。このように、本実施形態では、原理的にホログラム面の外側になればなるほど、この位置の違いが大きく発生する。

このような技術課題を解決するために、本実施形態では、方式決定部１０３においてホログラム面の外側の画素ほど「計算方式」に決定され易くするような機構を導入することで、自然な再生を比較的実現しやすくなる。

また、図１５に示すように、通常視点が後退する場合、見えてくる範囲が広がることから、新たな物体点が見えてくるケースが存在する。この場合も、物体点が見えてくるのは外側であることから、外側ほど「計算方式」に決定され易くすることが望ましい。

次いで、図１７のフローチャートを参照して前記方式決定部１０３がホログラム面の画素ごとに次フレームの物体光波の生成方式を「再利用方式」または「計算方式」に決定する具体的な手順について説明する。

ステップＳ１では、前記視点移動検知部１０２により視点移動が検知されたか否かが判断される。視点移動が検知されるとステップＳ２へ進み、この視点移動が前記移動方式変換部１０３ａによりホログラム面の(a)平行移動、(b)回転移動および(c)前後移動の組み合わせに変換される。ステップＳ３では、前記方式決定部１０３により、物体光波の生成方式が、ホログラム面の画素ごとに原理ベースで「再利用方式」または「計算方式」に決定される。

図１８は、原理ベースで物体光波の生成方式を決定する手順を示したフローチャートであり、ここでは、原理的に「再利用方式」を適用できない画素について、物体光波の生成方式が「計算方式」に決定され、それ以外の画素が「再利用方式」に仮決定される。

ステップＳ３０１では、次フレームが最初のフレームであるか否か、換言すれば、物体光波を再利用できる前フレームが存在するか否かが判断される。次フレームが最初のフレームであれば、原理的に「再利用方式」を適用できないのでステップＳ３０８へ進み、全ての画素が「計算方式」に決定される。

これに対して、次フレームが最初のフレームではなく、物体光波を再利用できる前フレームが存在すればステップＳ３０２へ進む。ステップＳ３０２では、検知された視点移動がホログラム面の(a)平行移動を含むか否かが判断される。xy軸が作り出す平面上での平行移動（図５）またはZ軸中心での回転的平行移動（図８）を含めばステップＳ３０３へ進む。

ステップＳ３０３では、図５または図８を参照して説明したように、平行移動により再利用できる物体光波が前フレームに存在するか否かが次フレームの画素ごとに判断される。再利用できる物体光波が前フレームに存在しない画素については、原理的に「再利用方式」を適用できないので「計算方式」に決定される。

なお、検知された視点移動がホログラム面の回転移動を含む場合、図９を参照して説明したように、原理的に「再利用方式」を適用できない画素が存在しないため、「計算方式」に決定される画素は存在しない。同様に、検知された視点移動がホログラム面の前後移動を含む場合も、以下のように、原理的に「再利用方式」を適用できない画素が存在しないため、「計算方式」に決定される画素は存在しない。

すなわち、視点移動がホログラム面の前後移動を含む場合、前方移動であれば前フレームで生成した物体光波分布を縮小して再利用することになる。このとき、縮小したことによって再利用できる物体光波が存在しない画素が生じ得るが、前方移動は物体に対し近付くような運動となるため、視野外から新たな物体が見えてくることはなく、前フレームで生成した物体光波分布が次フレームで見える物体の全ての情報を含むことになる。したがって、前方移動では原理的に「再利用方式」を適用できない画素が存在しない。なお、本実施形態では物体光波が存在しない画素に関しては、特に処理を行う必要はなく画素値を0としている。

後方移動では、前フレームで生成した物体光波分布を拡大することになり、全ての画素が再利用方式となる。したがって、後方移動でも原理的に「再利用方式」を適用できない画素が存在しない。

図１７へ戻り、ステップＳ４では、物体光波の生成方式がホログラム面の画素ごとに、誤差ベースで「再利用方式」または「計算方式」に決定される。ただし、本実施形態では「計算方式」の適用に関して原理ベースでの決定結果が優先されるので、原理ベースで既に「計算方式」に決定された画素については、誤差ベースでの判断に関わらず「計算方式」が維持される。

図１９は、誤差ベースでの決定方法を示したフローチャートであり、本実施形態では、ホログラム面の(a)平行移動、(b)回転移動および(c)前後移動ごとに、「再利用方式」では近似誤差が大きくなって所定の視聴品質を充足できないと判断できる移動量の閾値T1ref，T2ref，T3refを予め設定し、各移動T1，T2，T3が対応する閾値T1ref，T2ref，T3refを超えていると「計算方式」に決定される。

ステップＳ４０１では、検知された視点移動をホログラム面の平行移動に換算したときの移動量T1が閾値T1refと比較される。T1＞T1refであればステップＳ４０２へ進み、全ての画素が「計算方式」に決定される。

ステップＳ４０３では、検知された視点移動をホログラム面の回転移動に換算したときの移動量（回転角度）T2が閾値T2_refと比較される。T2＞T2refであればステップＳ４０４へ進み、全ての画素が「計算方式」に決定される。

ステップＳ４０５では、検知された視点移動をホログラム面の前後移動に換算したときの移動量T3が閾値T3refと比較される。T3＞T3refであればステップＳ４０６へ進み、全ての画素が「計算方式」に決定される。

なお、発明者等の検証によれば、視点の前後移動に応答して前フレームの物体光波分布を拡縮して再利用する際、移動量T3が同一であってもホログラム面の中心からの距離が離れるほど、再生される再生像の呈示位置に誤差が生じ、ホログラムの視聴品質に劣化をきたすことが確認されている。

そこで、ホログラム面の前後移動に関しては、図２０に示したように、距離に応じて異なる閾値T3ref1，T3ref2，T3ref3（T3ref1＞T3ref2＞T3ref3）を設け、T3＞T3ref1であれば全ての画素を「計算方式」に決定する一方、T3ref1≧T3＞T3ref2であれば内側領域を除いた中間領域および外側領域の画素のみを「計算方式」に決定し、T3ref2≧T3＞T3ref3であれば内側領域および中間領域を除いた外側領域の画素のみを「計算方式」に決定し、T3ref3≧T3であればいずれの画素も「計算方式」に決定しないようにしても良い。

ステップＳ４０７では、各移動量T1，T2，T3の重み付け和ΣT=αT1+βT2+γT3（α，β，γは各移動量の重み値）が求められて閾値T123refと比較される。ΣT＞T123refであればステップＳ４０８へ進み、全ての画素が「計算方式」に決定される。

なお、上記の実施形態では、移動量が所定の閾値未満であれば「再利用方式」を採用し、移動量が所定の閾値以上であれば「計算方式」を採用するものとして説明したが、このような閾値としては、例えば表示デバイス５の性能に基づき、表示限界を超える移動量を閾値に設定することができる。

例えば、ホログラム面の平行移動では、理論上、ホログラム面のサイズ以上の移動が発生した場合には「再利用方式」を適用できない。例えば、非特許文献２で示される光学系に使用されている液晶デバイスのピクセルピッチは9.6[μm]で、1280×768[pixels]の画素数を持つが、x方向への平行移動を考えた場合、この大きさは9.6[μm]×1280 ≒ 12[mm]である。したがって、上記のケースでは閾値を12mmに設定することができる。

一方、前後移動の限界に関して、発明者が非特許文献２のデバイスを対象に、物体を視点から75cmの深さに配置し、視点位置を物体から60cm〜90cm付近の深さで動かす前後移動のコンテンツを制作し、十数名に対しDCR法 (Degradation Category Rating)に基づく主観評価実験を行ったところ、1cm程度の移動の度に全面を再計算すれば、劣化が気にならないという結果が得られた。

劣化の発生に関しては、シーンの性質や、視点移動の速度等にも応じて変わってくると考えられるため、一概に限界を示すことは困難であるが、50cm〜100cm程度の深さに物体が存在する場合には、目安として1cm程度の移動毎に全面を再計算すれば良いと考えられる。

また、一般に視点の前後移動に関しては、物体が2mの位置に存在している際に1cm前に移動するのと、物体が50cmの位置に存在している場合に1cm前に移動するのとでは、50cmの位置に物体が存在している方が、視覚的な変化が大きく見えることから、再生される再生像の呈示位置の誤差が目立ちやすい。したがって、視点からの距離が遠い物体からの光波を記録する画素ほど前記閾値Tref3を大きくして「計算方式」が適用されにくくするなど、視点からの距離に応じて各方式の適用条件を異ならせても良い。このようにすれば、品質を維持しながら「再利用方式」を適用できる画素を増やせるので、物体光波の再利用によるホログラムの高速計算を、その品質低下を抑えながら更に促進できるようになる。

さらに、上記の実施形態では、次フレームにおける物体光波の取得方法として「再利用方式」または「計算方式」を選択する際の指標として視点の移動量を採用するが、さらに品質を指標に加えても良い。

例えば、フレームレートを30fpsに保つことで所望の品質が得られる場合、視点の移動量を指標とした方式選択では「再利用方式」を採用する画素領域が少なく、物体光路の計算負荷が増大して30fpsのフレームレートを維持できないのであれば、「再利用方式」を採用する移動量の閾値を高める、すなわち「再利用方式」の決定条件を緩和することで、「再利用方式」を採用する画素領域が拡張されるようにしても良い。

この場合、「再利用方式」の適用に要する計算時間は「計算方式」の適用に要する計算時間に比べて極僅かとなることから、１フレーム分の計算時間は全面に「計算方式」を採用した場合の計算時間で代表できる。したがって、１フレームの許容処理時間を「計算方式」に要する計算時間で除した割合の画素領域のみに「計算方式」が適用されるように、前記閾値を事前にまたは動的に設定するようにしても良い。

あるいは、ホログラム面の全面に「計算方式」を採用すると30fpsのフレームレートを維持できないが半分の領域に「計算方式」を採用すれば30fpsのフレームレートを維持できるならば、例えば、左半分は2nフレーム目、右半分は2n+1フレーム目に「計算方式」を適用することで、30fpsのフレームレートが維持されるようにしても良い。

さらに、非特許文献６に示されるような、予め液晶のピクセルピッチに基づいて、再生の際に見えるはずの物体点を事前に計算し、見えない物体点を事前に削除してから後段の光波伝搬部に渡すようにしても良い。

１...制御回路，２...光学レンズ，３...再生照明光源，４...ハーフミラー，５...表示デバイス，６ａ，６ｂ，６...支持部材，１０１...シーン設定部，１０２...視点移動検知部，１０３...方式決定部，１０４...物体光波生成部，１０５...干渉計算部，１０６...CGH出力部，４０１...レンダリング部，４０２...光波伝搬計算部，４０３...物体光波再利用部

Claims (11)

1. レンズを用いて視野を拡大する光学系で使用されるホログラムの生成装置において、
   ホログラム面上の物体光波の取得方式を視点移動に応じて画素ごとに「計算方式」および「再利用方式」のいずれかに決定する手段と、
   計算方式に決定された各画素に伝搬する物体光波を計算する手段と、
   再利用方式に決定された各画素に前フレームの対応画素の物体光波を再利用する手段と、
   各画素の物体光波および収束球面参照光波に基づいてホログラム面上での干渉縞を光波シミュレーションにより計算する手段とを具備したことを特徴とするホログラム生成装置。
2. 前記取得方式を決定する手段は、視点の移動量が所定の閾値未満であれば再利用方式に決定し、所定の閾値以上であれば計算方式に決定することを特徴とする請求項１に記載のホログラム生成装置。
3. 前記再利用する手段は、視点の前後移動が検知されると、その移動方向に応じて前フレームの物体光波分布を拡縮して再利用することを特徴とする請求項２に記載のホログラム生成装置。
4. 前記所定の閾値が、前記ホログラム面の中心からの距離が所定の基準距離以上の画素は、所定の基準距離未満の画素よりも小さいことを特徴とする請求項３に記載のホログラム生成装置。
5. 前記所定の閾値が、視点からの距離が遠い物体からの光波を記録する画素ほど大きいことを特徴とする請求項３または４に記載のホログラム生成装置。
6. 物体光波分布の拡縮率が、ホログラム面から記録する物体までの距離に応じて可変であることを特徴とする請求項３ないし５のいずれかに記載のホログラム生成装置。
7. 前記取得方式を決定する手段は、視点の平行移動に応答して当該平行移動前と重なる平行移動後の画素領域を再利用方式に決定し、それ以外の画素領域を計算方式に決定することを特徴とする請求項１ないし６のいずれかに記載のホログラム生成装置。
8. 前記再利用する手段は、視点の回転移動により生じる光路差の違いにより生じる位相差を回転移動前の物体光波分布に乗算して回転移動後の物体光波分布として再利用することを特徴とする請求項１ないし７のいずれかに記載のホログラム生成装置。
9. 視点移動を検知する手段と、
   前記干渉縞をホログラム面に表示する手段とをさらに具備したことを特徴とする請求項１ないし８のいずれかに記載のホログラム生成装置。
10. レンズを用いて視野を拡大する光学系で使用されるホログラムの生成方法において、
    ホログラム面上の物体光波の取得方式を視点移動に応じて画素ごとに「計算方式」および「再利用方式」のいずれかに決定する手順と、
    計算方式に決定された各画素に伝搬する物体光波を計算する手順と、
    再利用方式に決定された各画素に前フレームの対応画素の物体光波を再利用する手順と、
    各画素の物体光波および収束球面参照光波に基づいてホログラム面での干渉縞を光波シミュレーションにより計算する手順とを含むことを特徴とするホログラム生成方法。
11. 前記取得方式を決定する手順では、視点の移動量が所定の閾値未満であれば再利用方式に決定し、所定の閾値以上であれば計算方式に決定することを特徴とする請求項１０に記載のホログラム生成方法。