JP7339259B2 - クロスレンダリングマルチビューカメラ、システム、及び方法 - Google Patents
クロスレンダリングマルチビューカメラ、システム、及び方法 Download PDFInfo
- Publication number
- JP7339259B2 JP7339259B2 JP2020534432A JP2020534432A JP7339259B2 JP 7339259 B2 JP7339259 B2 JP 7339259B2 JP 2020534432 A JP2020534432 A JP 2020534432A JP 2020534432 A JP2020534432 A JP 2020534432A JP 7339259 B2 JP7339259 B2 JP 7339259B2
- Authority
- JP
- Japan
- Prior art keywords
- view
- light
- image
- images
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0033—Means for improving the coupling-out of light from the light guide
- G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
- G02B6/0036—2-D arrangement of prisms, protrusions, indentations or roughened surfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
関連出願の相互参照
本出願は、２０１７年１２月２０日に出願された米国仮特許出願第６２／６０８，５５１号の利益を主張するものであり、その内容が参照により本明細書に組み込まれる。
本出願は、２０１７年１２月２０日に出願された米国仮特許出願第６２／６０８，５５１号の利益を主張するものであり、その内容が参照により本明細書に組み込まれる。
連邦政府による資金提供を受けた研究開発の記載
なし
なし
電子ディスプレイは、多種多様なデバイス及び製品のユーザに情報を伝達するためのほぼどこにでもある媒体である。最も一般的に利用される電子ディスプレイとしては、陰極線管（ＣＲＴ）、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、エレクトロルミネセンスディスプレイ（ＥＬ）、有機発光ダイオード（ＯＬＥＤ）及びアクティブマトリクスＯＬＥＤ（ＡＭＯＬＥＤ）ディスプレイ、電気泳動ディスプレイ（ＥＰ）、並びに電気機械的又は電気流体的光変調を利用する様々なディスプレイ（例えば、デジタルマイクロミラーデバイス、エレクトロウェッティングディスプレイなど）が挙げられる。一般に、電子ディスプレイは、アクティブディスプレイ（すなわち、光を放射するディスプレイ）又はパッシブディスプレイ（すなわち、別の光源によって供給される光を変調するディスプレイ）のいずれかに分類することができる。アクティブディスプレイの最も分かりやすい例には、ＣＲＴ、ＰＤＰ、及びＯＬＥＤ／ＡＭＯＬＥＤがある。放射光を考慮したときに通常パッシブとして分類されるディスプレイは、ＬＣＤ及びＥＰディスプレイである。パッシブディスプレイは、限定するものではないが本質的に低消費電力であることを含み、魅力的な性能特性を示すことが多いが、発光する能力がないために、多くの実用的なアプリケーションにおいていくらか使用が限られるように感じられることがある。
画像取り込み、特に３次元（３Ｄ）画像取り込みは、通常、取り込まれた画像（例えば、通常は、２次元画像）を３Ｄ画像に変換して、３Ｄディスプレイ又はマルチビューディスプレイに表示するために、取り込まれた画像の実質的な画像処理を伴う。画像処理は、深度推定、画像補間、画像再構成、又は画像が取り込まれた瞬間からそれらの画像が表示される瞬間までにかなりの時間遅延を生じ得る他の複雑なプロセスを含み得るが、これらに限定されない。
［発明の概要］
本開示は、以下の［１］から［２０］を含む。
［１］第１の軸に沿って互いに離間され、シーン（a scene）の複数の画像を取り込むように構成された複数のカメラと、
上記複数の画像から判定された上記シーンの視差マップを使用して上記シーンの合成画像を生成するように構成された画像合成器であって、
上記合成画像が、上記第１の軸から変位された第２の軸上の仮想カメラの位置に対応する視点からの上記シーンのビュー（a view）を表す、画像合成器と、
を備える、クロスレンダリングマルチビューカメラ。
［２］上記第２の軸が上記第１の軸に垂直である、上記［１］に記載のクロスレンダリングマルチビューカメラ。
［３］上記画像合成器が、上記視差マップを使用して複数の合成画像を提供するように構成され、上記複数の合成画像のうちの各合成画像（each synthesized image）が、上記複数の合成画像のうちの他の合成画像（other synthesized images）に対して、上記シーンの異なる視点からの上記シーンのビューを表す、上記［１］に記載のクロスレンダリングマルチビューカメラ。
［４］上記複数のカメラが、ステレオカメラとして構成された一対のカメラを備え、上記ステレオカメラによって取り込まれた上記シーンの上記複数の画像が上記シーンのステレオ画像対を含み、上記画像合成器が、複数の仮想カメラの位置（locations）に対応する視点（perspectives）からの上記シーンのビュー（views）を表す複数の合成画像を提供するように構成される、上記［１］に記載のクロスレンダリングマルチビューカメラ。
［５］上記第１の軸が水平軸であり、上記第２の軸が上記水平軸に直交する垂直軸であり、上記ステレオ画像対が、上記水平軸に対応する水平方向に配置され、上記複数の合成画像が、上記垂直軸に対応する垂直方向に配置された一対の合成画像を含む、上記［４］に記載のクロスレンダリングマルチビューカメラ。
［６］上記画像合成器が、上記視差マップ及び上記合成画像の一方又は両方において、穴埋めすることを提供するようにさらに構成される、上記［１］に記載のクロスレンダリングマルチビューカメラ。
［７］上記［１］に記載のクロスレンダリングマルチビューカメラを備えるクロスレンダリングマルチビューシステムであって、上記マルチビューシステムが、上記合成画像を、上記シーンを表すマルチビュー画像のビューとして表示するように構成されたマルチビューディスプレイをさらに備える、クロスレンダリングマルチビューシステム。
［８］上記マルチビューディスプレイが、上記複数のカメラ（the camera plurality）のうちのカメラ（cameras）からの上記複数の画像を、上記マルチビュー画像の他のビュー（other views）として表示するようにさらに構成される、上記［７］に記載のクロスレンダリングマルチビューシステム。
［９］第１の軸に沿って互いに離間されたカメラを有し、シーン（a scene）の複数の画像を取り込むように構成されたマルチビューカメラアレイと、
上記複数の画像から判定された視差マップを使用して上記シーンの合成画像を生成するように構成された画像合成器と、
上記合成画像を含む上記シーンのマルチビュー画像（a multiview image）を表示するように構成されたマルチビューディスプレイであって、
上記合成画像が、上記第１の軸に直交する第２の軸上に配置された仮想カメラに対応する視点（a perspective）からの上記シーンのビュー（a view）を表す、マルチビューディスプレイと、
を備える、クロスレンダリングマルチビューシステム。
［１０］上記マルチビューカメラアレイが、上記シーンのステレオ画像対を提供するように構成された一対のカメラを備え、上記視差マップが、上記ステレオ画像対を使用して上記画像合成器によって判定される、上記［９］に記載のクロスレンダリングマルチビューシステム。
［１１］上記画像合成器が、上記シーンの一対の合成画像を提供するように構成され、上記マルチビュー画像が、上記一対の合成画像及び上記複数の画像のうちの一対の画像を含む、上記［９］に記載のクロスレンダリングマルチビューシステム。
［１２］上記画像合成器が、リモートプロセッサに実装され、上記複数の画像が、上記クロスレンダリングマルチビューシステムによって上記リモートプロセッサに送信され、上記合成画像が、上記マルチビューディスプレイを使用して表示されるべく、上記リモートプロセッサから上記クロスレンダリングマルチビューシステムによって受信される、上記［９］に記載のクロスレンダリングマルチビューシステム。
［１３］上記マルチビューディスプレイが、
光を導くように構成された導光体と、
互いに離間され、上記導光体からの導波光を、上記マルチビュー画像のビュー方向に対応する方向を有する指向性光線として散乱させるように構成されたマルチビーム要素アレイと、
上記指向性光線を変調して上記マルチビュー画像を提供するように構成されたライトバルブアレイであって、
上記マルチビーム要素アレイのマルチビーム要素が、上記ライトバルブアレイのライトバルブのサイズに相当するサイズと、上記マルチビーム要素に関連するマルチビューピクセルの形状に類似した形状とを有する、ライトバルブアレイと、
を備える、上記［９］に記載のクロスレンダリングマルチビューシステム。
［１４］上記マルチビーム要素アレイの上記マルチビーム要素が、上記導波光を上記指向性光線として散乱させるために上記導光体に光学的に接続された回折格子、マイクロ反射要素、及びマイクロ屈折要素のうちの１つ又はそれ以上を備える、上記［１３］に記載のクロスレンダリングマルチビューシステム。
［１５］上記マルチビューディスプレイが、上記導光体の入力に光学的に結合された光源をさらに備え、上記光源が、非ゼロ伝播角度を有すること、及び所定のコリメーションファクタにしたがってコリメートされることの一方又は両方である上記導波光を供給するように構成される、上記［１３］に記載のクロスレンダリングマルチビューシステム。
［１６］上記マルチビューディスプレイが、第１のモード中に広角放射光を供給するように構成された広角バックライトをさらに備え、上記導光体及びマルチビーム要素アレイが、第２のモード中に上記指向性光線を供給するように構成され、
上記ライトバルブアレイが、上記第１のモード中に上記広角放射光を変調して２次元画像を供給し、上記第２のモード中に上記指向性光線を変調して上記マルチビュー画像を供給するように構成される、上記［１３］に記載のクロスレンダリングマルチビューシステム。
［１７］クロスレンダリングマルチビューイメージングの方法であって、上記方法が、
第１の軸に沿って互いに離間した複数のカメラを使用してシーンの複数の画像を取り込むステップと、
上記複数の画像から判定された上記シーンの視差マップを使用して上記シーンの合成画像を生成するステップと、を含み、
上記合成画像が、上記第１の軸から変位された第２の軸上の仮想カメラの位置に対応する視点からの上記シーンのビューを表す、方法。
［１８］上記視差マップ及び上記合成画像の一方又は両方において、穴埋めすることを提供するステップをさらに含む、上記［１７］に記載のクロスレンダリングマルチビューイメージングの方法。
［１９］上記複数のカメラが、上記シーンのステレオ画像対を取り込むように構成された一対のカメラを含み、上記視差マップが上記ステレオ画像対を使用して判定され、合成画像を生成するステップが、同様の複数の仮想カメラの位置（locations）に対応する視点（perspectives）からの上記シーンのビュー（views）を表す複数の合成画像を生成する、上記［１７］に記載のクロスレンダリングマルチビューイメージングの方法。
［２０］マルチビューディスプレイを使用して上記合成画像をマルチビュー画像のビュー（a view）として表示するステップをさらに含む、上記［１７］に記載のクロスレンダリングマルチビューイメージングの方法。
本明細書で説明される原理による例及び実施形態の様々な特徴は、以下の「発明を実施するための形態」を添付の図面と併せて読めば、より容易に理解することができ、添付の図面では、同様の参照番号は同様の構造要素を示している。
本開示は、以下の［１］から［２０］を含む。
［１］第１の軸に沿って互いに離間され、シーン（a scene）の複数の画像を取り込むように構成された複数のカメラと、
上記複数の画像から判定された上記シーンの視差マップを使用して上記シーンの合成画像を生成するように構成された画像合成器であって、
上記合成画像が、上記第１の軸から変位された第２の軸上の仮想カメラの位置に対応する視点からの上記シーンのビュー（a view）を表す、画像合成器と、
を備える、クロスレンダリングマルチビューカメラ。
［２］上記第２の軸が上記第１の軸に垂直である、上記［１］に記載のクロスレンダリングマルチビューカメラ。
［３］上記画像合成器が、上記視差マップを使用して複数の合成画像を提供するように構成され、上記複数の合成画像のうちの各合成画像（each synthesized image）が、上記複数の合成画像のうちの他の合成画像（other synthesized images）に対して、上記シーンの異なる視点からの上記シーンのビューを表す、上記［１］に記載のクロスレンダリングマルチビューカメラ。
［４］上記複数のカメラが、ステレオカメラとして構成された一対のカメラを備え、上記ステレオカメラによって取り込まれた上記シーンの上記複数の画像が上記シーンのステレオ画像対を含み、上記画像合成器が、複数の仮想カメラの位置（locations）に対応する視点（perspectives）からの上記シーンのビュー（views）を表す複数の合成画像を提供するように構成される、上記［１］に記載のクロスレンダリングマルチビューカメラ。
［５］上記第１の軸が水平軸であり、上記第２の軸が上記水平軸に直交する垂直軸であり、上記ステレオ画像対が、上記水平軸に対応する水平方向に配置され、上記複数の合成画像が、上記垂直軸に対応する垂直方向に配置された一対の合成画像を含む、上記［４］に記載のクロスレンダリングマルチビューカメラ。
［６］上記画像合成器が、上記視差マップ及び上記合成画像の一方又は両方において、穴埋めすることを提供するようにさらに構成される、上記［１］に記載のクロスレンダリングマルチビューカメラ。
［７］上記［１］に記載のクロスレンダリングマルチビューカメラを備えるクロスレンダリングマルチビューシステムであって、上記マルチビューシステムが、上記合成画像を、上記シーンを表すマルチビュー画像のビューとして表示するように構成されたマルチビューディスプレイをさらに備える、クロスレンダリングマルチビューシステム。
［８］上記マルチビューディスプレイが、上記複数のカメラ（the camera plurality）のうちのカメラ（cameras）からの上記複数の画像を、上記マルチビュー画像の他のビュー（other views）として表示するようにさらに構成される、上記［７］に記載のクロスレンダリングマルチビューシステム。
［９］第１の軸に沿って互いに離間されたカメラを有し、シーン（a scene）の複数の画像を取り込むように構成されたマルチビューカメラアレイと、
上記複数の画像から判定された視差マップを使用して上記シーンの合成画像を生成するように構成された画像合成器と、
上記合成画像を含む上記シーンのマルチビュー画像（a multiview image）を表示するように構成されたマルチビューディスプレイであって、
上記合成画像が、上記第１の軸に直交する第２の軸上に配置された仮想カメラに対応する視点（a perspective）からの上記シーンのビュー（a view）を表す、マルチビューディスプレイと、
を備える、クロスレンダリングマルチビューシステム。
［１０］上記マルチビューカメラアレイが、上記シーンのステレオ画像対を提供するように構成された一対のカメラを備え、上記視差マップが、上記ステレオ画像対を使用して上記画像合成器によって判定される、上記［９］に記載のクロスレンダリングマルチビューシステム。
［１１］上記画像合成器が、上記シーンの一対の合成画像を提供するように構成され、上記マルチビュー画像が、上記一対の合成画像及び上記複数の画像のうちの一対の画像を含む、上記［９］に記載のクロスレンダリングマルチビューシステム。
［１２］上記画像合成器が、リモートプロセッサに実装され、上記複数の画像が、上記クロスレンダリングマルチビューシステムによって上記リモートプロセッサに送信され、上記合成画像が、上記マルチビューディスプレイを使用して表示されるべく、上記リモートプロセッサから上記クロスレンダリングマルチビューシステムによって受信される、上記［９］に記載のクロスレンダリングマルチビューシステム。
［１３］上記マルチビューディスプレイが、
光を導くように構成された導光体と、
互いに離間され、上記導光体からの導波光を、上記マルチビュー画像のビュー方向に対応する方向を有する指向性光線として散乱させるように構成されたマルチビーム要素アレイと、
上記指向性光線を変調して上記マルチビュー画像を提供するように構成されたライトバルブアレイであって、
上記マルチビーム要素アレイのマルチビーム要素が、上記ライトバルブアレイのライトバルブのサイズに相当するサイズと、上記マルチビーム要素に関連するマルチビューピクセルの形状に類似した形状とを有する、ライトバルブアレイと、
を備える、上記［９］に記載のクロスレンダリングマルチビューシステム。
［１４］上記マルチビーム要素アレイの上記マルチビーム要素が、上記導波光を上記指向性光線として散乱させるために上記導光体に光学的に接続された回折格子、マイクロ反射要素、及びマイクロ屈折要素のうちの１つ又はそれ以上を備える、上記［１３］に記載のクロスレンダリングマルチビューシステム。
［１５］上記マルチビューディスプレイが、上記導光体の入力に光学的に結合された光源をさらに備え、上記光源が、非ゼロ伝播角度を有すること、及び所定のコリメーションファクタにしたがってコリメートされることの一方又は両方である上記導波光を供給するように構成される、上記［１３］に記載のクロスレンダリングマルチビューシステム。
［１６］上記マルチビューディスプレイが、第１のモード中に広角放射光を供給するように構成された広角バックライトをさらに備え、上記導光体及びマルチビーム要素アレイが、第２のモード中に上記指向性光線を供給するように構成され、
上記ライトバルブアレイが、上記第１のモード中に上記広角放射光を変調して２次元画像を供給し、上記第２のモード中に上記指向性光線を変調して上記マルチビュー画像を供給するように構成される、上記［１３］に記載のクロスレンダリングマルチビューシステム。
［１７］クロスレンダリングマルチビューイメージングの方法であって、上記方法が、
第１の軸に沿って互いに離間した複数のカメラを使用してシーンの複数の画像を取り込むステップと、
上記複数の画像から判定された上記シーンの視差マップを使用して上記シーンの合成画像を生成するステップと、を含み、
上記合成画像が、上記第１の軸から変位された第２の軸上の仮想カメラの位置に対応する視点からの上記シーンのビューを表す、方法。
［１８］上記視差マップ及び上記合成画像の一方又は両方において、穴埋めすることを提供するステップをさらに含む、上記［１７］に記載のクロスレンダリングマルチビューイメージングの方法。
［１９］上記複数のカメラが、上記シーンのステレオ画像対を取り込むように構成された一対のカメラを含み、上記視差マップが上記ステレオ画像対を使用して判定され、合成画像を生成するステップが、同様の複数の仮想カメラの位置（locations）に対応する視点（perspectives）からの上記シーンのビュー（views）を表す複数の合成画像を生成する、上記［１７］に記載のクロスレンダリングマルチビューイメージングの方法。
［２０］マルチビューディスプレイを使用して上記合成画像をマルチビュー画像のビュー（a view）として表示するステップをさらに含む、上記［１７］に記載のクロスレンダリングマルチビューイメージングの方法。
本明細書で説明される原理による例及び実施形態の様々な特徴は、以下の「発明を実施するための形態」を添付の図面と併せて読めば、より容易に理解することができ、添付の図面では、同様の参照番号は同様の構造要素を示している。
特定の例及び実施形態は、上記の図面に示す特徴のうちの１つである他の特徴を追加的又は代替的に有する。以下、これら及び他の特徴について、上記の図面を参照して詳述する。
本明細書で説明される原理による実施形態及び例は、マルチビューディスプレイに対応し得る、又はマルチビューディスプレイと併せて使用され得るマルチビュー又は「ホログラフィック」イメージングを提供する。特に、本明細書で説明される原理の様々な実施形態によれば、シーンのマルチビューイメージングが、第１の軸に沿って配置された複数のカメラによって提供され得る。複数のカメラは、シーンの複数の画像を取り込むように構成される。次に、画像合成を使用して、第１の軸から変位された第２の軸上の仮想カメラの位置に対応する視点からのシーンのビューを表す合成画像（synthesized image）を生成する。様々な実施形態によれば、合成画像は、シーンの視差又は深度マップからの画像合成によって生成される。次に、様々な実施形態によれば、合成画像を含むマルチビュー画像が提供され、表示され得る。マルチビュー画像は、複数の画像のうちの画像をさらに含み得る。マルチビューディスプレイ上で、１つ又はそれ以上の合成画像と複数の画像のうちの１つ又はそれ以上の画像とを一緒にマルチビュー画像として見ることができる。さらに、マルチビューディスプレイでマルチビュー画像を表示することにより、視聴者が、マルチビューディスプレイで見たときに、カメラによって取り込まれた複数の画像に存在しないシーンのパースペクティブビューを含む、物理環境内の異なる見かけの深さでシーンのマルチビュー画像内の要素を知覚できるようにし得る。このように、本明細書で説明される原理の実施形態によるクロスレンダリングマルチビューカメラは、一部の実施形態によれば、マルチビューディスプレイで見たときに、複数のカメラのみで可能であるものよりも「より完全な」３次元（３Ｄ）視聴体験を視聴者に提供するマルチビュー画像を生成することができる。
本明細書では、「２次元ディスプレイ」又は「２Ｄディスプレイ」は、２Ｄディスプレイで表示された画像が見られる方向に関係なく（すなわち、２Ｄディスプレイの所定の視野角又は範囲内で）実質的に同じ表示画像のビューを提供するように構成されたディスプレイとして定義される。多くのスマートフォン及びコンピュータモニタに見られる液晶ディスプレイ（ＬＣＤ）が、２Ｄディスプレイの例である。ここで対照的に「マルチビューディスプレイ」は、異なるビュー方向で、又は様々なビュー方向からマルチビュー画像の異なるビューを提供するように構成されたディスプレイ又はディスプレイシステムとして定義される。特に、異なるビューは、マルチビュー画像のシーン又はオブジェクトの様々なパースペクティブビューを表し得る。場合によっては、マルチビューディスプレイはまた、例えば、マルチビュー画像の２つの異なるビューを同時に見ると３次元（３Ｄ）画像を見るという知覚を提供するとき、３次元（３Ｄ）ディスプレイと呼ばれ得る。本明細書で説明される、マルチビュー画像の取り込み及び表示に適用可能なマルチビューディスプレイ及びマルチビューシステムの用途は、携帯電話（例えば、スマートフォン）、腕時計、タブレットコンピュータ、モバイルコンピュータ（例えば、ラップトップコンピュータ）、パーソナルコンピュータ及びコンピュータモニタ、自動車のディスプレイコンソール、カメラのディスプレイ、並びに他の様々なモバイル及び実質的に非モバイルの表示アプリケーション及びデバイスを含むが、これらに限定されない。
図１Ａは、本明細書で説明される原理による例による、マルチビューディスプレイ１０の斜視図を示している。図示のように、マルチビューディスプレイ１０は、マルチビュー画像を見るために表示されるスクリーン１２を備える。マルチビューディスプレイ１０は、スクリーン１２に対して異なるビュー方向１６にマルチビュー画像の異なるビュー１４を提供する。ビュー方向１６は、スクリーン１２から様々な異なる主角度方向に延びる矢印として示されており、異なるビュー１４は、ビュー方向１６を示すそれらの矢印の終端において、網掛けした多角形のボックスとして示されており、４つのビュー１４及びビュー方向１６のみが示されており、すべて例示を目的としてものであり、限定を目的としたものではない。図１Ａでは異なるビュー１４がスクリーンの上方にあるものとして示されているが、マルチビュー画像がマルチビューディスプレイ１０に表示される場合、これらのビュー１４は、実際にはスクリーン１２上、又はスクリーン１２の近傍に現れることに留意されたい。ビュー１４をスクリーン１２の上方に示しているのは、単に説明を簡略にするためであり、ビュー方向１６のうち、特定のビュー１４に対応するそれぞれのビュー方向からマルチビューディスプレイ１０を見ていることを表すためである。さらに、マルチビューディスプレイ１０のビュー１４及び対応するビュー方向１６は、一般に、マルチビューディスプレイ１０の実装によって決まる特定の配置で編成又は配置される。例えば、ビュー１４及び対応するビュー方向１６は、以下でさらに説明するように、特定のマルチビューディスプレイ実装にしたがって長方形配置、正方形配置、円形配置、六角形配置などを有し得る。
ビュー方向又は等価的にマルチビューディスプレイのビュー方向に対応する方向を有する光線（light beam）は、一般に、本明細書の定義によれば角度成分｛θ，φ｝で与えられる主角度方向を有する。本明細書では、角度成分θは、光線の「仰角成分」又は「仰角」と呼ばれる。角度成分φは、光線の「方位角成分」又は「方位角」と呼ばれる。定義によれば、仰角θは、垂直面（例えば、マルチビューディスプレイスクリーンの平面に対して直交する面）内の角度であり、方位角φは、水平面（例えば、マルチビューディスプレイスクリーンの平面に対して平行な面）内の角度である。
図１Ｂは、本明細書で説明される原理の例による、マルチビューディスプレイのビュー方向に対応する特定の主角度方向を有する光線２０の角度成分｛θ，φ｝を表す図を示している。加えて、光線２０は、本明細書の定義によれば、特定の点から放射される、又は放出される。つまり、定義によれば、光線２０は、マルチビューディスプレイ内の特定の原点に関連付けられた中心光線を有する。図１Ｂはまた、光線（又はビュー方向）の原点Ｏも示している。
本明細書では、「マルチビュー画像」及び「マルチビューディスプレイ」という用語で使用される「マルチビュー」は、様々な視点を表す、又は複数のビュー間における角度のばらつきを含む、複数のビューとして定義される。さらに、定義によれば、「マルチビュー」という用語は、３つ以上の異なるビュー（すなわち、少なくとも３つのビューであり、一般的には４つ以上のビュー）を明示的に含む。そのため、本明細書で用いる「マルチビュー」は、例えばシーンを表すために２つの異なるビューしか含まない立体視ビューとは明示的に区別される。ただし、マルチビュー画像及びマルチビューディスプレイは、本明細書の定義によれば、３つ以上のビューを含むが、マルチビュー画像は、マルチビューのうちの２つのみ（例えば、各眼あたり１つのビュー）を一度に表示するように選択することにより、立体視画像対として（例えば、マルチビューディスプレイ上で）表示され得ることに留意されたい。
「マルチビューピクセル」は、本明細書では、マルチビューディスプレイの複数の異なるビューの各ビューにおける「ビュー」ピクセルを表すサブピクセル（ライトバルブなど）のセット又はグループとして定義される。特に、マルチビューピクセルは、マルチビュー画像の異なるビューのそれぞれにおけるビューピクセルに対応する、又はマルチビュー画像の様々なビューのそれぞれにおけるビューピクセルを表す、個々のサブピクセルを有し得る。さらに、マルチビューピクセルのサブピクセルは、本明細書の定義によれば、サブピクセルのそれぞれが異なるビューのうちの対応するビューの所定のビュー方向と関連付けられる点で、いわゆる「方向ピクセル」である。さらに、様々な例及び実施形態によれば、マルチビューピクセルのサブピクセルによって表される異なるビューピクセルは、様々なビューのそれぞれにおいて、等価な、又は少なくとも実質的には同様の位置又は座標を有し得る。例えば、第１のマルチビューピクセルは、マルチビュー画像の異なるビューのそれぞれにおいて｛ｘ１，ｙ１｝に位置するビューピクセルに対応する個々のサブピクセルを有することができ、第２のマルチビューピクセルは、様々なビューのそれぞれにおいて｛ｘ２，ｙ２｝に位置するビューピクセルに対応する個々のサブピクセルを有することができる、などである。
一部の実施形態では、マルチビューピクセル中のサブピクセルの数が、マルチビューディスプレイの異なるビューの数と等しい場合がある。例えば、マルチビューピクセルは、８個、１６個、３２個、又は６４個の異なるビューを有するマルチビューディスプレイと関連付けられた８個、１６個、３２個、又は６４個のサブピクセルをそれぞれ提供し得る。別の例では、マルチビューディスプレイが２×２アレイのビュー（すなわち、４個のビュー）を提供し、マルチビューピクセルが、３２の４個のサブピクセル（すなわち、各ビュー当たり１つ）を含み得る。加えて、それぞれの異なるサブピクセルは、例えば異なるビューに対応するビュー方向のうちの異なる１つのビュー方向に対応する関連する方向（例えば、光線の主角度方向）を有し得る。さらに、一部の実施形態によれば、マルチビューディスプレイのマルチビューピクセルの数は、マルチビューディスプレイビューにおける「ビュー」ピクセル（すなわち、選択されたビューを構成するピクセル）の数に実質的に等しい場合がある。例えば、ビューが６４０×４８０個のビューピクセル（すなわち、６４０×４８０ビュー解像度）を含む場合には、マルチビューディスプレイは、３０７２００個のマルチビューピクセルを有し得る。別の例では、ビューが１００×１００個のピクセルを含む場合には、マルチビューディスプレイは、総数で１００００（すなわち、１００×１００＝１００００）個のマルチビューピクセルを含み得る。
本明細書では、「導光体（light guide）」は、内部全反射を用いてその構造内において光を導く構造として定義される。特に、導光体は、導光体の動作波長で実質的に透明なコアを備え得る。「導光体」という用語は、一般に、内部全反射を利用して導光体の誘電体材料と導光体を取り囲む材料又は媒質との間の界面で光を導く、誘電体光学導波路を指す。定義によれば、内部全反射のための条件は、導光体の屈折率が導光体材料の表面に隣接する周囲の媒質の屈折率より大きいことである。一部の実施形態では、内部全反射をさらに促進するために、導光体は、上述の屈折率の差に加えて、又はその代わりに、コーティングを備え得る。コーティングは、例えば反射性コーティングとすることができる。導光体は、導光板又はスラブ導光体、及びストリップ導光体のうちの一方又は両方を含むが、これらに限定されない、いくつかの導光体のうちの任意のものとすることができる。
さらに、本明細書では、「導光板」など導光体に用いられるときの「板」という用語は、「スラブ」導光体と呼ばれることもある、区分的又は微分的に平面状の層又はシートとして定義される。特に、導光板は、その導光体の頂面及び底面（すなわち、互いに反対側を向いた表面）によって画定される２つの略直交する方向に光を導くように構成された導光体として定義される。
加えて、本明細書の定義によれば、頂面及び底面は互いに離間されており、少なくとも微分的な意味では実質的に互いに平行であり得る。つまり、導光板の任意の微分小領域内では、頂面と底面とは実質的に平行である、又は同一平面状にある。
加えて、本明細書の定義によれば、頂面及び底面は互いに離間されており、少なくとも微分的な意味では実質的に互いに平行であり得る。つまり、導光板の任意の微分小領域内では、頂面と底面とは実質的に平行である、又は同一平面状にある。
一部の実施形態では、導光板は、実質的に平坦であり（すなわち、平面に制限され）、したがって、導光板は、平面導光体である。他の実施形態では、導光板は、１つの次元、又は２つの直交する次元において湾曲していてもよい。
例えば、導光板を１つの次元で湾曲させて、円筒形の導光板を形成することもできる。ただし、いかなる湾曲も、導光板内で内部全反射が維持されて光を導くことを保証するのに十分に大きな曲率半径を有する。
例えば、導光板を１つの次元で湾曲させて、円筒形の導光板を形成することもできる。ただし、いかなる湾曲も、導光板内で内部全反射が維持されて光を導くことを保証するのに十分に大きな曲率半径を有する。
本明細書では、「回折格子」は、一般に、その回折格子に入射する光を回折させるように構成された複数の機構（すなわち、回折機構）として定義される。一部の例では、複数の機構は、周期的又は準周期的に構成され得る。他の例では、回折格子は、複数の回折格子を含む混合周期回折格子であり、複数の回折格子のそれぞれが、異なる機構周期構成を有し得る。さらに、回折格子は、１次元（１Ｄ）アレイに構成された複数の機構（例えば、材料表面の複数の溝又はリッジ）を含み得る。
あるいは、回折格子は、機構の２次元（２Ｄ）アレイ又は２次元で定義される機構のアレイを含み得る。回折格子は、例えば材料表面のバンプ又は穴の２Ｄアレイとすることもできる。一部の例では、回折格子は、回折格子を横断する又は回折格子に沿った第１の方向又は次元では実質的に周期的であり、別の方向では実質的に非周期的（例えば、一定、ランダムなど）であり得る。
あるいは、回折格子は、機構の２次元（２Ｄ）アレイ又は２次元で定義される機構のアレイを含み得る。回折格子は、例えば材料表面のバンプ又は穴の２Ｄアレイとすることもできる。一部の例では、回折格子は、回折格子を横断する又は回折格子に沿った第１の方向又は次元では実質的に周期的であり、別の方向では実質的に非周期的（例えば、一定、ランダムなど）であり得る。
そのため、また本明細書の定義によれば、「回折格子」は、その回折格子に入射する光を回折させる構造である。光が導光体から回折格子に入射すると、それによりもたらされる回折又は回折的散乱は、回折格子が導光体から光を回折によって取り出す（couple out）ことができるという点で「回折結合」を生じ、したがって、この回折又は回折的散乱は、「回折結合」と呼ばれることもある。回折格子はまた、回折によって（すなわち、回折角で）、光を方向転換する、又は光の角度を変化させる。特に、回折の結果として、回折格子を出る光（すなわち、回折光）は、一般に、回折格子に入射した光（すなわち、入射光）の伝播方向とは異なる伝播方向を有する。回折による光の伝播方向の変化を、本明細書では、「回折的方向転換」と呼ぶ。したがって、回折格子は、回折格子に入射した光を回折的に方向転換する回折機構を含む構造であると理解することができ、光が導光体から入射した場合に、回折格子は、導光体から光を回折的に取り出すこともできる。
さらに、本明細書の定義によれば、回折格子の機構は、「回折機構」と呼ばれ、材料表面（すなわち、「表面」とは２つの材料の間の境界をいう）にある、表面内にある、表面上にある、のうちの１つ又はそれ以上であり得る。表面は、導光板の表面であり得る。回折機構は、溝、リッジ、穴、及びバンプのうちの１つ又はそれ以上を含むが、これらに限定されない、光を回折させる様々な構造のうちのいずれかを含むこともでき、これらの構造は、表面における、表面内にある、及び表面上にあるもののうちの１つ又はそれ以上であり得る。
例えば、回折格子は、材料表面に複数の平行な溝を含み得る。別の例では、回折格子は材料表面から立ち上がる複数の平行なリッジを含み得る。回折機構（溝、リッジ、穴、バンプなどを問わない）は、正弦波形プロファイル、方形プロファイル（例えば、バイナリ型回折格子）、３角形プロファイル、及び鋸歯形プロファイル（例えば、ブレーズド回折格子）のうちの１つ又はそれ以上を含むが、これらに限定されない、回折をもたらす様々な断面形状又はプロファイルのうちのいずれかを有し得る。
例えば、回折格子は、材料表面に複数の平行な溝を含み得る。別の例では、回折格子は材料表面から立ち上がる複数の平行なリッジを含み得る。回折機構（溝、リッジ、穴、バンプなどを問わない）は、正弦波形プロファイル、方形プロファイル（例えば、バイナリ型回折格子）、３角形プロファイル、及び鋸歯形プロファイル（例えば、ブレーズド回折格子）のうちの１つ又はそれ以上を含むが、これらに限定されない、回折をもたらす様々な断面形状又はプロファイルのうちのいずれかを有し得る。
本明細書で説明される様々な例によれば、回折格子（例えば、以下で述べるような、回折マルチビーム要素（a diffractive multibeam element）の回折格子）を利用して、光を光線として導光体（例えば、導光板）から回折的に散乱させる、又は取り出すことができる。特に、局所的に周期的な回折格子の、又は局所的に周期的な回折格子によってもたらされる、回折角θｍは、式（１）で与えることができる。
ここで、λは、光の波長であり、ｍは、回折次数であり、ｎは、導光体の屈折率であり、ｄは、回折格子の機構間の距離又は間隔であり、θｉは、回折格子への光の入射角である。簡潔にするために、式（１）では、回折格子が導光体の表面に隣接しており、導光体の外部の材料の屈折率が１に等しい（すなわち、ｎｏｕｔ＝１である）ものと仮定している。一般に、回折次数ｍは、整数で与えられる（すなわち、ｍ＝±１、±２、．．．）。回折格子によって生成される光線の回折角θｍは、式（１）で与えることができる。回折次数ｍが１に等しい（すなわち、ｍ＝１である）ときには、一次回折、より具体的には、一次回折角θｍがもたらされる。
さらに、一部の実施形態によれば、回折格子の回折機構は湾曲していてもよく、光の伝播方向に対して所定の向き（例えば、傾斜又は回転）を有していてもよい。回折機構の湾曲及び回折機構の向きの一方又は両方が、例えば、回折格子によって回折格子から出る光の方向を制御するように構成され得る。例えば、指向性の（directional）光の主角度方向は、入射光の伝播方向に対する、光が回折格子に入射する点における回折機構の角度の関数であり得る。
本明細書の定義によれば、「マルチビーム要素（multibeam element）」は、複数の光線を含む光を生成するバックライト又はディスプレイの構造又は要素である。「回折」マルチビーム要素は、定義によれば、回折結合によって、又は回折結合を使用して複数の光線を生成するマルチビーム要素である。特に、一部の実施形態では、回折マルチビーム要素は、バックライトの導光体に光学的に回折結合されて、導光体内を導かれた光（導波光）の一部分を回折的に取り出すことによって複数の光線を提供することができる。さらに、本明細書の定義によれば、回折マルチビーム要素は、マルチビーム要素の境界又は範囲内に複数の回折格子を備える。マルチビーム要素によって生成される複数の光線（又は複数の光線）の光線は、本明細書の定義によれば、互いに異なる主角度方向を有する。特に、定義によれば、複数の光線のうちのある光線は、複数の光線のうちの別の光線とは異なる所定の主角度方向を有する。様々な実施形態によれば、回折マルチビーム要素の回折格子内の回折機構の間隔又は格子ピッチは、サブ波長（すなわち、導波光（guided light）の波長未満）であり得る。
複数の回折格子を備えたマルチビーム要素が、以下の説明における例示的な例として使用され得るが、一部の実施形態では、マイクロ反射要素及びマイクロ屈折要素のうちの少なくとも１つなどの他のコンポーネントがマルチビーム要素において使用され得る。例えば、マイクロ反射要素は、三角形の鏡、台形の鏡、ピラミッド形の鏡、長方形の鏡、半球形の鏡、凹面鏡、及び／又は凸面鏡を含み得る。一部の実施形態では、マイクロ屈折要素は、三角形の屈折要素、台形の屈折要素、ピラミッド形の屈折要素、長方形の屈折要素、半球形の屈折要素、凹面の屈折要素、及び／又は凸面の屈折要素を含み得る。
様々な実施形態によれば、複数の光線はライトフィールドを表し得る。例えば、複数の光線は、実質的に円錐形の空間領域に制限され得る、又は複数の光線における光線の異なる主角度方向を含む所定の角度拡がりを有し得る。そのため、合計の光線（すなわち、複数の光線）の所定の角度拡がりが、ライトフィールドを表し得る。
様々な実施形態によれば、複数の光線における様々な光線の異なる主角度方向は、回折マルチビーム要素内の「格子ピッチ」すなわち回折機構の間隔及び回折格子の向きと共に回折マルチビーム要素のサイズ（例えば、長さ、幅、面積などのうちの１つ又はそれ以上）を含むが、これに限定されない特性によって判定される。一部の実施形態では、回折マルチビーム要素は、本明細書の定義によれば、「拡張された点光源」、すなわち回折マルチビーム要素の範囲にわたって分散された複数の点光源と考えることができる。さらに、回折マルチビーム要素によって生成される光線は、本明細書の定義によれば、また図１Ｂを参照して上述したように、角度成分｛θ，φ｝で与えられる主角度方向を有する。
本明細書では、「コリメータ」は、光をコリメートするように構成された実質的に任意の光学デバイス又は装置として定義される。例えば、コリメータは、コリメートミラー又は反射体、コリメートレンズ、コリメート回折格子、及びそれらの様々な組み合わせを含み得るが、これらに限定されない。
本明細書では、σで示される「コリメーションファクタ」は、光がコリメーションされる程度として定義される。特に、コリメーションファクタは、本明細書の定義によれば、コリメートされた光線内の光線の角度拡がりを規定する。例えば、コリメーションファクタσは、コリメートされた光線内の光線の大部分が特定の角度拡がり（例えば、コリメートされた光線の中心又は主角度方向の周りの±σ度）内にあることを指定することができる。コリメートされた光線内の光線は、一部の例によれば、角度においてガウス分布を有することができ、角度拡がりは、コリメートされた光線のピーク強度の２分の１によって決まる角度であり得る。
本明細書では、「光源」は、光の源（例えば、光を放射する装置又はデバイス）として定義される。例えば、光源は、作動されると光を放射する発光ダイオード（ＬＥＤ）であり得る。光源は、発光ダイオード（ＬＥＤ）、レーザ、有機発光ダイオード（ＯＬＥＤ）、ポリマー発光ダイオード、プラズマ型光エミッタ、蛍光灯、白熱灯、及び実質的に任意の他の光源のうちの１つ又はそれ以上を含むが、これらに限定されない、実質的に任意の光源又は光エミッタであり得る。光源によって生成される光は、色を有してもよい（すなわち、特定の波長の光を含んでもよい）し、特定の波長の光（例えば、白色光）を含んでもよい。さらに、「異なる色の複数の光源」は、本明細書では、複数の光源のうちの少なくとも１つが、複数の光源のうちの少なくとも１つの他の光源によって生成される光の色又は等価的には波長とは異なる色又は等価的には波長を有する光を生成する光源のセット又はグループとして明示的に定義される。異なる色は、例えば原色（例えば、赤、緑、青）を含み得る。さらに、「異なる色の複数の光源」は、複数の光源のうちの少なくとも２つの光源が、異なる色の光源である（つまり、少なくとも２つの光源が異なる光の色を生成する）限り、同色又は略同色の複数の光源を含み得る。したがって、本明細書の定義によれば、「異なる色の複数の光源」は、第１の色の光を生成する第１の光源と第２の色の光を生成する第２の光源とを含み、第２の色が第１の色とは異なり得る。
本明細書では、「配置」又は「パターン」は、要素の相対的な位置及び要素の数によって定義される要素間の関係として定義される。より具体的には、本明細書で使用される場合、「配置」又は「パターン」は、要素間の間隔又は要素アレイの辺のサイズを定義しない。本明細書で定義される場合、「正方形」配置は、２つの略直交する方向（例えば、ｘ方向及びｙ方向）のそれぞれにおいて等しい数の要素（例えば、カメラ、ビューなど）を含む直線で構成された要素配置である。一方、「長方形」配置は、２つの直交方向のそれぞれにおいて異なる数の要素を含む、直線で構成された配置として定義される。
本明細書では、アレイの要素間の間隔又は距離は、定義によれば、「ベースライン」又は等価的に「ベースライン距離」と呼ばれる。例えば、カメラアレイのうちのカメラは、カメラアレイのうちの個々のカメラ間のスペース又は距離を定義するベースライン距離だけ互いに離間され得る。
さらに、本明細書における定義によれば、「広角放射光」における「広角」という用語は、マルチビュー画像又はマルチビューディスプレイのビューの円錐角より大きい円錐角を有する光として定義される。特に、一部の実施形態では、広角放射光は、約６０度（６０°）より大きい円錐角を有し得る。他の実施形態では、広角放射光の円錐角は、約５０度（５０°）よりも大きくなり得る、又は約４０度（４０°）よりも大きくなり得る。例えば、広角放射光の円錐角は、約１２０度（１２０°）であり得る。あるいは、広角放射光は、ディスプレイの法線方向に対してプラスマイナス４５度より大きい角度範囲（例えば、＞±４５°）を有し得る。他の実施形態では、広角放射光の角度範囲は、プラスマイナス５０度より大きく（例えば、＞±５０°）、又はプラスマイナス６０度より大きく（例えば、＞±６０°）、又はプラスマイナス６５度より大きく（例：＞±６５°）なり得る。例えば、広角放射光の角度範囲は、ディスプレイの法線方向のいずれかの側で約７０度より大きく（例えば、＞±７０°）なり得る。「広角バックライト」は、本明細書の定義によれば、広角放射光を供給するように構成されたバックライトである。
一部の実施形態では、広角放射光の円錐角は、ＬＣＤコンピュータモニタ、ＬＣＤタブレット、ＬＣＤテレビ、又は広角表示（例えば、約±４０～６５°）を目的とする同様のデジタルディスプレイデバイスの視野角とほぼ同じであると定義され得る。他の実施形態では、広角放射光は、拡散光、実質的な拡散光、非指向性の（non-directional）光（すなわち、特定の又は定義された方向性を欠く光）、又は単一又は実質的に均一な方向を有する光としても特徴付け又は説明され得る。
本明細書で説明される原理による実施形態は、集積回路（ＩＣ）、超大規模集積（ＶＬＳＩ）回路、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、グラフィカルプロセッサユニット（ＧＰＵ）など、ファームウェア、ソフトウェア（プログラムモジュール又は命令セットなど）、及び上記のうちの２つ又はそれ以上の組み合わせのうちの１つ又はそれ以上を含むが、これらに限定されない様々なデバイス及び回路を使用して実装され得る。例えば、以下に説明される画像プロセッサ又は他の要素はすべて、ＡＳＩＣ又はＶＬＳＩ回路内の回路要素として実装されてもよい。
ＡＳＩＣ又はＶＬＳＩ回路を使用する実装は、ハードウェアベースの回路実装の例である。
ＡＳＩＣ又はＶＬＳＩ回路を使用する実装は、ハードウェアベースの回路実装の例である。
別の例では、画像プロセッサの一実施形態は、コンピュータによって実行される（例えば、コンピュータのメモリに格納され、プロセッサ又はグラフィックプロセッサによって実行される）、動作環境又はソフトウェアベースのモデリング環境（例えば、米国マサチューセッツ州ネイティックのＭａｔｈＷｏｒｋｓ、Ｉｎｃ社製ＭＡＴＬＡＢ（登録商標））で実行されるコンピュータプログラミング言語（例えば、Ｃ／Ｃ＋＋）を使用してソフトウェアとして実装され得る。１つ又はそれ以上のコンピュータプログラム又はソフトウェアがコンピュータプログラムメカニズムを構成し得、プログラミング言語が、コンピュータのプロセッサ又はグラフィックプロセッサによって実行されるべく、コンパイル又は解釈され得る、例えば構成可能であり得る又は構成され得る（本説明では交換可能に使用され得る）ことに留意されたい。
さらに別の例では、本明細書で説明される装置、デバイス、又はシステム（例えば、画像プロセッサ、カメラなど）のブロック、モジュール、又は要素は、実際の又は物理的な回路を使用して（例えば、ＩＣ又はＡＳＩＣとして）実装され得るが、別のブロック、モジュール、又は要素は、ソフトウェア又はファームウェアで実装され得る。特に、上記の定義によれば、本明細書で説明される一部の実施形態は、実質的にハードウェアベースの回路手法又はデバイス（例えば、ＩＣ、ＶＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰ、ファームウェアなど）を使用して実装され得るが、他の実施形態はまた、例えば、ソフトウェアを実行するコンピュータプロセッサ又はグラフィックプロセッサを使用してソフトウェア若しくはファームウェアとして、又はソフトウェア又はファームウェアとハードウェアベースの回路との組み合わせとして実装され得る。
さらに、本明細書で使用される場合、冠詞「ａ（１つ）」は、特許技術（patent art）における通常の意味、すなわち、「１つ又はそれ以上（one or more）」の意味を有することが意図されている。例えば、「カメラ」は１台又はそれ以上のカメラを意味し、したがって「カメラ」はここでは「カメラ（複数可）」を意味する。また、本明細書における「上部（top）」、「下部（bottom）」、「上側（upper）」、「下側（lower）」、「上向き（up）」、「下向き（down）」、「正面（front）」、「背面（back）」、「第１の」、「第２の」、「左」、又は「右」に対するいかなる言及も、本明細書では限定を意図するものではない。本明細書では、「約」という用語は、値に適用されたときは一般にその値を生成するために用いられる機器の許容範囲内を意味する、又は別段明示的に指定されない限り、±１０％、若しくは±５％、若しくは±１％を意味し得る。さらに、本明細書で使用される場合、「実質的に」という用語は、大多数、又はほとんどすべて、又はすべて、又は約５１％～約１００％の範囲内の量を意味する。さらに、本明細書における例は、例示に過ぎず、検討の目的で提示されたものであり、限定のためのものではないことが意図される。
本明細書で説明される原理の一部の実施形態によれば、クロスレンダリングマルチビューカメラが提供される。図２Ａは、本明細書で説明される原理による実施形態による、一例におけるクロスレンダリングマルチビューカメラ１００の図を示す。図２Ｂは、本明細書で説明される原理による実施形態による、一例におけるクロスレンダリングマルチビューカメラ１００の斜視図を示す。クロスレンダリングマルチビューカメラ１００は、シーン１０２の複数の画像１０４を取り込み、次いでシーン１０２の合成画像を合成又は生成するように構成される。特に、クロスレンダリングマルチビューカメラ１００は、シーン１０２の異なる視点のビューを表すシーン１０２の複数の画像１０４を取り込み、次に、複数の画像１０４によって表される異なるパースペクティブビューとは異なる視点からのシーン１０２のビューを表す合成画像１０６を生成するように構成され得る。そのため、合成画像１０６は、様々な実施形態によれば、シーン１０２の「新しい」パースペクティブビューを表し得る。
図示のように、クロスレンダリングマルチビューカメラ１００は、第１の軸に沿って互いに離間された複数のカメラ１１０を備える。例えば、複数のカメラ１１０は、図２Ｂに示されるように、ｘ方向に直線アレイとして互いに離間され得る。そのため、第１の軸はｘ軸を含み得る。
一部の実施形態では、共通の軸（すなわち、直線アレイ）上にあるように示されているが、複数のカメラのうちのカメラ１１０のセットは、いくつかの異なる軸（図示せず）に沿って配置され得ることに留意されたい。
一部の実施形態では、共通の軸（すなわち、直線アレイ）上にあるように示されているが、複数のカメラのうちのカメラ１１０のセットは、いくつかの異なる軸（図示せず）に沿って配置され得ることに留意されたい。
複数のカメラ１１０は、シーン１０２の複数の画像１０４を取り込むように構成される。特に、複数のカメラの各カメラ１１０は、複数の画像のうちの画像１０４のうちの異なる１つを取り込むように構成され得る。例えば、複数のカメラは２つのカメラ１１０を備えることができ、各カメラ１１０が複数の画像のうちの２つの画像１０４のうちの異なる１つを取り込むように構成される。２つのカメラ１１０は、例えば、ステレオカメラ対又は単に「ステレオカメラ」を表し得る。他の例では、複数のカメラは、３つの画像１０４を取り込むように構成された３つのカメラ１１０、又は４つの画像１０４を取り込むように構成された４つのカメラ１１０、又は５つの画像１０４を取り込むように構成された５つのカメラ１１０などを含み得る。さらに、複数の画像のうちの異なる画像１０４は、カメラ１１０が第１の軸、例えば図示のｘ軸に沿って互いに離間されていることにより、シーン１０２の異なるパースペクティブビューを表す。
様々な実施形態によれば、複数のカメラのうちのカメラ１１０は、実質的に任意のカメラ又は関連するイメージングデバイス若しくは撮像デバイスを含み得る。特に、カメラ１１０は、デジタル画像を取り込むように構成されたデジタルカメラであり得る。例えば、デジタルカメラは、これらに限定されないが、電荷結合素子（ＣＣＤ）画像センサ、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、又は裏面照射型ＣＭＯＳ（ＢＳＩ－ＣＭＯＳ）センサなどのデジタル画像センサを備え得る。さらに、カメラ１１０は、様々な実施形態によれば、静止画像（例えば、写真）及び動画（例えば、ビデオ）の一方又は両方を取り込むように構成され得る。一部の実施形態では、カメラ１１０は、複数の画像の振幅又は強度及び位相情報を取り込む。
図２Ａ～図２Ｂに示されるクロスレンダリングマルチビューカメラ１００は、画像合成器１２０をさらに備える。画像合成器は、複数の画像から判定されたシーン１０２の視差マップ又は深度マップを使用して、シーン１０２の合成画像１０６を生成するように構成される。特に、画像合成器１２０は、カメラアレイによって取り込まれた複数の画像のうちの画像１０４（例えば、一対の画像）から視差マップを判定するように構成され得る。次に、画像合成器１２０は、複数の画像のうちの画像１０４のうちの１つ又はそれ以上と併せて、判定された視差マップを使用して合成画像１０６を生成し得る。様々な実施形態によれば、視差マップ（又は等価的に深度マップ）を判定するためのいくつかの異なる手法のいずれかが使用され得る。一部の実施形態では、画像合成器１２０は、視差マップ及び合成画像１０６の一方又は両方を穴埋め（hole-filling）することを提供するようにさらに構成される。例えば、画像合成器１２０は、Hamzah et al.in,“Literature Survey on Stereo Vision Disparity Map Algorithms,” J.of Sensor,Vol.2016,Article ID8742920、又はJain et al.,“Efficient Stereo-to-Multiview Synthesis,” ICASSP 2011,pp.889-892、又はＮｑｕｙｅｎらによる、「Multiview Synthesis Method and Display Devices with Spatial and Inter-View Consistency」と題する米国特許出願公開第２０１６／０３７３７１５Ａ１号によって説明される方法のいずれかを使用でき、これらのそれぞれは、参照により本明細書に組み込まれる。
様々な実施形態によれば、画像合成器によって生成された合成画像１０６は、第１の軸から変位された第２の軸上の仮想カメラ１１０’の位置に対応する視点からのシーン１０２のビューを表す。例えば、図２Ｂに示されるように、複数のカメラのうちのカメラ１１０は、ｘ軸に沿って直線的に配置及び互いに離間され得、仮想カメラ１１０’は、複数のカメラからｙ方向に変位され得る。
一部の実施形態では、第２の軸は第１の軸に垂直である。
例えば、図２Ｂに示されるように、第１の軸がｘ方向にあるとき、第２の軸はｙ方向（例えば、ｙ軸）にあり得る。他の実施形態では、第２の軸は、第１の軸に平行であるが、第１の軸から横方向に変位され得る。例えば、第１の軸及び第２の軸の両方がｘ方向にあり得るが、第２の軸は、第１の軸に対してｙ方向に横方向に変位され得る。
例えば、図２Ｂに示されるように、第１の軸がｘ方向にあるとき、第２の軸はｙ方向（例えば、ｙ軸）にあり得る。他の実施形態では、第２の軸は、第１の軸に平行であるが、第１の軸から横方向に変位され得る。例えば、第１の軸及び第２の軸の両方がｘ方向にあり得るが、第２の軸は、第１の軸に対してｙ方向に横方向に変位され得る。
一部の実施形態では、画像合成器１２０は、視差マップを使用して複数の合成画像１０６を提供するように構成される。特に、複数の合成画像のうちの各合成画像１０６は、複数の合成画像のうちの他の合成画像１０６に対して、シーン１０２の異なる視点からのシーン１０２のビューを表し得る。例えば、複数の合成画像１０６は、２つ、３つ、４つ、又はそれ以上の合成画像１０６を含み得る。次に、複数の合成画像１０６は、例えば、同様の複数の仮想カメラ１１０’の位置に対応するシーン１０２のビューを表し得る。さらに、いくつかの例では、複数の仮想カメラ１１０’は、第２の軸に対応する１つ又はそれ以上の異なる軸上に配置され得る。一部の実施形態では、合成画像１０６の数は、複数のカメラによって取り込まれた画像１０４の数と等しくなり得る。
一部の実施形態では、複数のカメラ１１０は、ステレオカメラとして構成された一対のカメラ１１０ａ、１１０ｂを含み得る。さらに、ステレオカメラによって取り込まれたシーン１０２の複数の画像１０４は、シーン１０２のステレオ画像対１０４を含み得る。これらの実施形態では、画像合成器１２０は、複数の仮想カメラ１１０’の位置に対応する視点からのシーン１０２のビューを表す複数の合成画像１０６を提供するように構成され得る。
一部の実施形態では、第１の軸は、水平軸であり得る又は水平軸を表し得、第２の軸は、水平軸に直交する垂直軸であり得る又は垂直軸を表し得る。
これらの実施形態では、ステレオ画像対１０４は、水平軸に対応する水平方向に配置され得、一対の合成画像１０６を含む複数の合成画像は、垂直軸に対応する垂直方向に配置され得る。
これらの実施形態では、ステレオ画像対１０４は、水平軸に対応する水平方向に配置され得、一対の合成画像１０６を含む複数の合成画像は、垂直軸に対応する垂直方向に配置され得る。
図３Ａは、本明細書で説明される原理による実施形態による、一例におけるクロスレンダリングマルチビューカメラ１００の関連する画像の図を示す。特に、図３Ａの左側は、ステレオカメラとして機能する一対のカメラ１１０によって取り込まれたシーン１０２のステレオ画像対１０４を示している。ステレオ画像対１０４は、水平方向に配置されており、したがって、図示のように、横向きであると呼ばれ得る。図３Ａの右側は、クロスレンダリングマルチビューカメラ１００の画像合成器１２０によって生成されたステレオ合成画像対１０６を示している。ステレオ合成画像対１０６における合成画像１０６は、垂直方向に配置され、したがって、図示のように、縦向きであると呼ばれ得る。左側及び右側のステレオ画像間の矢印は、視差マップを判定することと、ステレオ合成画像対１０６を生成することとを含む、画像合成器１２０の動作を表す。様々な実施形態によれば、図３Ａは、複数のカメラによって取り込まれた横向きの画像１０４の、縦向きの合成画像１０６への変換を示し得る。明示的には示されていないが、逆も可能であり、縦向きの（すなわち、垂直に配置されたカメラ１１０によって取り込まれた）画像１０４が画像合成器１２０によって、横向き（すなわち、水平配置）の合成画像１０６に変換される、又はこれを提供するように変換される。
図３Ｂは、本明細書で説明される原理による実施形態による、別の例におけるクロスレンダリングマルチビューカメラ１００の関連する画像の図を示す。特に、図３Ｂの上部は、ステレオカメラとして機能する一対のカメラ１１０によって取り込まれたシーン１０２のステレオ画像対１０４を示している。図３Ｂの下部は、クロスレンダリングマルチビューカメラ１００の画像合成器１２０によって生成されたステレオ合成画像対１０６を示している。さらに、ステレオ合成画像対１０６は、複数のカメラのうちのカメラ１１０が沿って配置される第１の軸に平行であるが第１の軸から変位されている第２の軸上に配置された一対の仮想カメラ１１０’に対応する。カメラ１１０によって取り込まれたステレオ画像対１０４は、様々な実施形態によれば、ステレオ合成画像対１０６と組み合わされて、シーンの４つのビューを提供して、シーン１０２のいわゆる４ビュー（４Ｖ）マルチビュー画像を提供し得る。
一部の実施形態（図２Ａ～図２Ｂには明示的に示されていない）では、クロスレンダリングマルチビューカメラ１００は、処理サブシステムと、メモリサブシステムと、電力サブシステムと、ネットワーキングサブシステムとをさらに備え得る。処理サブシステムは、これらに限定されないが、マイクロプロセッサ、グラフィックプロセッサユニット（ＧＰＵ）、又はデジタルシグナルプロセッサ（ＤＳＰ）などの計算動作を実行するように構成された１つ又はそれ以上のデバイスを含み得る。メモリサブシステムは、クロスレンダリングマルチビューカメラ１００の動作を提供及び制御するために処理サブシステムによって使用され得るデータ及び命令の一方又は両方を格納するための１つ又はそれ以上のデバイスを含み得る。例えば、格納されたデータ及び命令は、複数のカメラ１１０を使用して複数の画像の取り込みを開始し、画像合成器１２０を実装し、画像１０４及び合成画像（複数可）１０６を含むマルチビューコンテンツをディスプレイ（例えば、マルチビューディスプレイ）に表示するように構成されたデータ及び命令を含み得るが、これらに限定されない。例えば、メモリサブシステムは、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、及び様々な形態のフラッシュメモリを含むがこれらに限定されない１つ又はそれ以上のタイプのメモリを含み得る。
一部の実施形態では、メモリサブシステムに格納され、処理サブシステムによって使用される命令は、例えば、プログラム命令又は命令セット及びオペレーティングシステムを含むが、これらに限定されない。プログラム命令及びオペレーティングシステムは、例えば、クロスレンダリングマルチビューカメラ１００の動作中に処理サブシステムによって実行され得る。１つ又はそれ以上のコンピュータプログラムが、コンピュータプログラムメカニズム、コンピュータ可読記憶媒体、又はソフトウェアを構成し得ることに留意されたい。さらに、メモリサブシステムの様々なモジュールの命令は、高水準手続き言語、オブジェクト指向プログラミング言語、及びアセンブリ言語又は機械言語のうちの１つ又はそれ以上で実装され得る。さらに、プログラミング言語は、様々な実施形態によれば、処理サブシステムによって実行されるべく、コンパイル又は解釈され得る、例えば構成可能であり得る又は構成され得る（本説明では交換可能に使用され得る）。
様々な実施形態において、電力サブシステムは、クロスレンダリングマルチビューカメラ１００の他のコンポーネントに電力を供給するように構成された１つ又はそれ以上のエネルギー貯蔵コンポーネント（バッテリーなど）を含み得る。ネットワーキングサブシステムは、有線ネットワーク及び無線ネットワークの一方又は両方に結合してそれにより通信する（つまり、ネットワーク動作を実行する）ように構成された１つ又はそれ以上のデバイス及びサブシステム又はモジュールを含み得る。例えば、ネットワークサブシステムは、Ｂｌｕｅｔｏｏｔｈ（商標）ネットワーキングシステム、セルラーネットワーキングシステム（例えば、ＵＭＴＳ、ＬＴＥなどの３Ｇ／４Ｇ／５Ｇネットワーク）、ユニバーサルシリアルバス（ＵＳＢ）ネットワーキングシステム、ＩＥＥＥ ８０２．１２で説明されている規格に基づくネットワーキングシステム（例えば、ＷｉＦｉネットワーキングシステム）、イーサネットネットワーキングシステムのいずれか又はすべてを含み得る。
上述の実施形態の動作の一部はハードウェア又はソフトウェアで実装され得るが、一般に、上述の実施形態の動作は、多種多様な構成及びアーキテクチャで実装され得ることに留意されたい。したがって、上述の実施形態における動作の一部又は全部が、ハードウェア、ソフトウェア、又はその両方で実行され得る。例えば、表示技法における動作のうちの少なくとも一部は、プログラム命令、オペレーティングシステム（表示サブシステム用のドライバなど）を使用して、又はハードウェアで実装され得る。
本明細書で説明される原理の他の実施形態によれば、クロスレンダリングマルチビューシステムが提供される。図４は、本明細書で説明される原理による実施形態による、一例におけるクロスレンダリングマルチビューシステム２００のブロック図を示す。クロスレンダリングマルチビューシステム２００は、シーン２０２を取り込む又はイメージングするために使用され得る。画像は、例えば、マルチビュー画像２０８であり得る。
さらに、様々な実施形態によれば、クロスレンダリングマルチビューシステム２００は、シーン２０２のマルチビュー画像２０８を表示するように構成され得る。
さらに、様々な実施形態によれば、クロスレンダリングマルチビューシステム２００は、シーン２０２のマルチビュー画像２０８を表示するように構成され得る。
図４に示されるように、クロスレンダリングマルチビューシステム２００は、第１の軸に沿って互いに離間されたカメラを有するマルチビューカメラアレイ２１０を備える。様々な実施形態によれば、マルチビューカメラアレイ２１０は、シーン２０２の複数の画像２０４を取り込むように構成される。一部の実施形態では、マルチビューカメラアレイ２１０は、クロスレンダリングマルチビューカメラ１００に関して上で説明された複数のカメラ１１０と実質的に同様であり得る。特に、マルチビューカメラアレイ２１０は、第１の軸に沿って直線構成で配置された複数のカメラを含み得る。一部の実施形態では、マルチビューカメラアレイ２１０は、第１の軸上にないカメラを含み得る。
図４に示されるクロスレンダリングマルチビューシステム２００は、画像合成器２２０をさらに備える。画像合成器２２０は、シーン２０２の合成画像２０６を生成するように構成される。特に、画像合成器は、複数の画像のうちの画像２０４から判定された視差マップを使用して合成画像２０６を生成するように構成される。一部の実施形態では、画像合成器２２０は、上述のクロスレンダリングマルチビューカメラ１００の画像合成器１２０と実質的に同様であり得る。例えば、画像合成器２２０は、合成画像２０６が生成される視差マップを判定するようにさらに構成され得る。さらに、画像合成器２２０は、視差マップ及び合成画像２０６の一方又は両方を穴埋めすることを提供し得る。
図示のように、クロスレンダリングマルチビューシステム２００は、マルチビューディスプレイ２３０をさらに備える。マルチビューディスプレイ２３０は、合成画像２０６を含むシーン２０２のマルチビュー画像２０８を表示するように構成される。様々な実施形態によれば、合成画像２０６は、第１の軸に直交する第２の軸上の仮想カメラの位置に対応する視点からのシーン２０２のビューを表す。さらに、マルチビューディスプレイ２３０は、シーン２０２のマルチビュー画像２０８内のビューとして合成画像２０６を含み得る。一部の実施形態では、マルチビュー画像２０８は、複数の仮想カメラに対応し、同様の複数の異なる視点からのシーン２０２の複数の異なるビューを表す複数の合成画像２０６を含み得る。他の実施形態では、マルチビュー画像２０８は、複数の画像のうちの１つ又はそれ以上の画像２０４と共に合成画像２０６を含み得る。例えば、マルチビュー画像２０８は、例えば図３Ｂに示すように４つのビュー（４Ｖ）を含み得、４つのビューのうちの最初の２つのビューは、一対の合成画像２０６であり、４つのビューのうちの２番目の２つのビューは、複数の画像のうちの一対の画像２０４である。
一部の実施形態では、複数のカメラは、シーン２０２のステレオ画像対２０４を提供するように構成されたマルチビューカメラアレイ２１０の１対のカメラを含み得る。これらの実施形態では、視差マップは、画像合成器２２０によって、ステレオ画像対を用いて判定され得る。一部の実施形態では、画像合成器２２０は、シーン２０２の一対の合成画像２０６を提供するように構成される。これらの実施形態では、マルチビュー画像２０８は、一対の合成画像２０６を含み得る。一部の実施形態では、マルチビュー画像２０８は、複数の画像のうちの一対の画像２０４をさらに含み得る。
一部の実施形態では、画像合成器２２０は、リモートプロセッサに実装され得る。例えば、リモートプロセッサは、クラウドコンピューティングサービスのプロセッサ又はいわゆる「クラウド」プロセッサであり得る。画像合成器２２０がリモートプロセッサとして実装される場合、複数の画像２０４は、クロスレンダリングマルチビューシステムによってリモートプロセッサに送信され得、次いで、合成画像２０６は、マルチビューディスプレイ２３０を使用して表示されるべく、リモートプロセッサかクロスレンダリングマルチビューシステムによって受信され得る。様々な実施形態によれば、リモートプロセッサとの間の伝送は、インターネット又は同様の伝送媒体を使用することができる。他の実施形態では、画像合成器２２０は、例えば、クロスレンダリングマルチビューシステム２００のプロセッサ（例えば、ＧＰＵ）などであるがこれらに限定されない別のプロセッサを使用して実装され得る。さらに他の実施形態では、クロスレンダリングマルチビューシステム２００の専用ハードウェア回路（例えば、ＡＳＩＣ）を使用して、画像合成器２２０を実装することができる。
様々な実施形態において、クロスレンダリングマルチビューシステム２００のマルチビューディスプレイ２３０は、実質的に任意のマルチビューディスプレイ又はマルチビュー画像を表示できるディスプレイであり得る。一部の実施形態では、マルチビューディスプレイ２３０は、光の指向性散乱及びその後の散乱光の変調を使用してマルチビュー画像を提供又は表示するマルチビューディスプレイであり得る。
図５Ａは、本明細書で説明される原理による実施形態による、一例におけるマルチビューディスプレイ３００の断面図を示す。図５Ｂは、本明細書で説明される原理による実施形態による、一例におけるマルチビューディスプレイ３００の平面図を示す。図５Ｃは、本明細書で説明される原理による実施形態による、一例におけるマルチビューディスプレイ３００の斜視図を示す。図５Ｃの斜視図は、ここでの説明を容易にするためにのみ部分的に切り取られて示されている。一部の実施形態によれば、マルチビューディスプレイ３００は、クロスレンダリングマルチビューシステム２００のマルチビューディスプレイ２３０として使用され得る。
図５Ａ～図５Ｃに示されるマルチビューディスプレイ３００は、互いに（例えば、ライトフィールドとして）異なる主角度方向を有する複数の指向性光線（directional light beams）３０２を供給するように構成される。特に、様々な実施形態によれば、供給された複数の指向性光線３０２は、マルチビューディスプレイ３００のそれぞれのビュー方向に対応する、又は等価的にマルチビューディスプレイ３００によって表示されるマルチビュー画像（例えば、クロスレンダリングマルチビューシステム２００のマルチビュー画像２０８）の異なるビューの方向に対応する、異なる主角度方向に散乱し、マルチビューディスプレイ３００から離れるように構成される。様々な実施形態によれば、指向性光線３０２は、マルチビューコンテンツ、すなわちマルチビュー画像２０８を有する情報の表示を容易にするために（例えば、以下で説明されるように、ライトバルブを使用して）変調され得る。図５Ａ～図５Ｃはまた、サブピクセルを含むマルチビューピクセル３０６とライトバルブ３３０のアレイとを示し、これらは、以下でさらに詳細に説明される。
図５Ａ～図５Ｃに示されるように、マルチビューディスプレイ３００は、導光体３１０を備える。導光体３１０は、その導光体３１０の長さに沿って、導波光３０４（すなわち、導波光線（a guided light beam））として光を導くように構成される。例えば、導光体３１０は、光学導波路として構成された誘電体材料を含み得る。誘電体材料は、誘電体光学導波路を取り囲む媒質の第２の屈折率より大きい第１の屈折率を有し得る。この屈折率の差は、例えば、導光体３１０の１つ又はそれ以上の導波モードに応じて、導波光３０４の内部全反射を促進するように構成される。
一部の実施形態では、導光体３１０は、光学的に透明な誘電体材料の延展された実質的に平面状のシートを含むスラブ又は平板光学導波路（すなわち、導光板）とすることができる。誘電体材料の実質的に平面状のシートは、内部全反射を用いて導波光３０４を導くように構成される。
様々な例によれば、導光体３１０の光学的に透明な材料は、様々な種類のガラス（例えば、シリカガラス、アルミノケイ酸アルカリガラス、ホウケイ酸ガラスなど）のうちの１種又はそれ以上、及び実質的に光学的に透明なプラスチック又はポリマー（例えば、ポリメタクリル酸メチル又は「アクリルガラス」、ポリカーボネートなど）を含むが、これらに限定されない、様々な誘電体材料のうちのいずれかを含む、又はいずれかで構成することができる。一部の例では、導光体３１０は、導光体３１０の表面（例えば、頂面及び底面の一方又は両方）の少なくとも一部分の上にクラッディング層（図示せず）をさらに含み得る。一部の例によれば、クラッディング層を使用して、内部全反射をさらに促進することができる。
様々な例によれば、導光体３１０の光学的に透明な材料は、様々な種類のガラス（例えば、シリカガラス、アルミノケイ酸アルカリガラス、ホウケイ酸ガラスなど）のうちの１種又はそれ以上、及び実質的に光学的に透明なプラスチック又はポリマー（例えば、ポリメタクリル酸メチル又は「アクリルガラス」、ポリカーボネートなど）を含むが、これらに限定されない、様々な誘電体材料のうちのいずれかを含む、又はいずれかで構成することができる。一部の例では、導光体３１０は、導光体３１０の表面（例えば、頂面及び底面の一方又は両方）の少なくとも一部分の上にクラッディング層（図示せず）をさらに含み得る。一部の例によれば、クラッディング層を使用して、内部全反射をさらに促進することができる。
さらに、一部の実施形態によれば、導光体３１０は、導光体３１０の第１の表面３１０’（例えば、「前」面又は側面）と第２の表面３１０’’（例えば、「背」面又は側面）の間で非ゼロ伝播角度で内部全反射によって導波光３０４を導くように構成される。特に、導波光３０４は、導光体３１０の第１の表面３１０’と第２の表面３１０’’との間で非ゼロ伝播角度で反射又は「バウンド」することによって案内され、それにより伝播する。一部の実施形態では、様々な光の色を含む導波光３０４の複数の導波光線は、様々な色に固有の非ゼロ伝播角度のうちのそれぞれ１つで、導光体３１０によって導かれ得る。図示を簡潔にするために、非ゼロ伝播角度は、図５Ａ～図５Ｃには示していないことに留意されたい。ただし、図５Ａにおいて、伝播方向３０３を示す太い矢印は、導光体の長さに沿った導波光３０４の概略的な伝播方向を示している。
本明細書で定義される場合、「非ゼロ伝播角度」は、導光体３１０の表面（例えば、第１の表面３１０’又は第２の表面３１０’’）に対する角度である。さらに、様々な実施形態によれば、非ゼロ伝播角度は、ゼロよりも大きく、且つ導光体３１０内の内部全反射の臨界角よりも小さい。例えば、導波光３０４の非ゼロ伝播角度は、約１０度（１０°）～約５０度（５０°）、又は一部の例では、約２０度（２０°）～約４０度（４０°）、又は約２５度（２５°）～約３５度（３５°）であり得る。例えば、非ゼロ伝播角度は、約３０度（３０°）であり得る。他の例では、非ゼロ伝播角度は、約２０°、又は約２５°、又は約３５°であり得る。さらに、特定の非ゼロ伝播角度が導光体３１０内の内部全反射の臨界角未満となるように選択される限り、特定の非ゼロ伝播角度が特定の実装のために（例えば、任意に）選択され得る。
導光体３１０内の導波光３０４は、非ゼロ伝播角度（例えば、約３０°～３５°）導光体３１０内に導入又は取り込まれ得る。一部の例では、これらに限定されないが、格子、レンズ、ミラー又は同様の反射体（例えば、傾斜コリメート反射体）、回折格子、及びプリズム（図示せず）、並びにこれらの様々な組み合わせなどの結合構造は、光を導波光３０４として非ゼロ伝播角度で導光体３１０の入力端に結合することを容易にし得る。他の例では、結合構造を使用せずに、又は実質的に使用せずに、光を導光体３１０の入力端に直接導入することができる（すなわち、直接又は「突き合わせ」結合を使用することができる）。導光体３１０に結合されると、（例えば、導波光線としての）導波光３０４は、入力端から概して離れ得る（例えば、図５Ａのｘ軸に沿って向いている太い矢印で示される）伝播方向３０３に導光体３１０に沿って伝播するように構成される。
さらに、様々な実施形態によれば、光を導光体３１０に取り込むことによって生成された、導波光３０４又は等価的に導波光線は、コリメートされた光線であり得る。本明細書では、「コリメートされた光」又は「コリメートされた光線」は、一般に、光線の光が光線（例えば、導波光線）内で互いに実質的に平行である光線として定義される。また、本明細書での定義によれば、コリメートされた光線から発散又は散乱される光線は、コリメートされた光線の一部とは見なされない。一部の実施形態（図示せず）では、マルチビューディスプレイ３００は、例えば光源からの光をコリメートするために、上述のように、格子、レンズ、反射体又はミラー（例えば傾斜コリメート反射体）などのコリメータを備え得る。一部の実施形態では、光源自体がコリメータを備える。いずれの場合でも、導光体３１０に供給されるコリメートされた光は、コリメートされた導波光線である。様々な実施形態において、導波光３０４は、コリメーションファクタσにしたがって、又はコリメーションファクタσを有するようにコリメートされ得る。
あるいは、他の実施形態では、導波光３０４はコリメートされていない場合もある。
あるいは、他の実施形態では、導波光３０４はコリメートされていない場合もある。
一部の実施形態では、導光体３１０は、導波光３０４を「再利用」するように構成され得る。特に、導光体の長さに沿って案内された導波光３０４は、伝播方向３０３とは異なる別の伝播方向３０３’においてその長さに沿って戻るように方向転換され得る。例えば、導光体３１０は、光源に隣接する入力端とは反対側にある導光体３１０の端部に反射体（図示せず）を備え得る。反射体は、導波光３０４を再利用される導波光として入力端に向かって反射して戻すように構成され得る。一部の実施形態では、別の光源が、光の再利用の代わりに又はそれに加えて（例えば、反射体を使用して）、他の伝播方向３０３’に導波光３０４を供給し得る。他の伝播方向３０３’を有する導波光３０４を供給するために、導波光３０４を再利用すること、及び別の光源を使用することの一方又は両方が、導波光を、後述するマルチビーム要素などに複数回利用可能とすることによってマルチビューディスプレイ３００の輝度を増加させる（例えば、指向性光線３０２の強度を増加させる）ことができる。
図５Ａでは、（例えば、負のｘ方向に向けられた）再利用される導波光の伝播方向３０３’を示す太い矢印は、導光体３１０内の再利用される導波光の一般的な伝播方向を示す。
あるいは（例えば、導波光の再利用とは対照的に）、他の伝播方向３０３’に伝播する導波光３０４は、（例えば、伝播方向３０３を有する導波光３０４に加えて）他の伝播方向３０３’で導光体３１０に光を導入することによって供給され得る。
あるいは（例えば、導波光の再利用とは対照的に）、他の伝播方向３０３’に伝播する導波光３０４は、（例えば、伝播方向３０３を有する導波光３０４に加えて）他の伝播方向３０３’で導光体３１０に光を導入することによって供給され得る。
図５Ａ～図５Ｃに示されるように、マルチビューディスプレイ３００は、導光体の長さに沿って互いに離間されたマルチビーム要素３２０のアレイをさらに備える。特に、マルチビーム要素アレイのマルチビーム要素３２０は、導光体の長さに沿って、有限空間によって互いに離間されており、個々の異なる要素を表している。つまり、本明細書での定義によれば、マルチビーム要素アレイのマルチビーム要素３２０は、有限（すなわち、非ゼロ）要素間距離（例えば、有限の中心間距離）にしたがって互いに離間している。さらに、一部の実施形態によれば、一般に、複数のマルチビーム要素３２０は互いに、交差したり、重なり合ったり、他の仕方で接触したりしない。つまり、複数のマルチビーム要素３２０のそれぞれは、一般的に区別され、他のマルチビーム要素３２０とは離間されている。
一部の実施形態によれば、マルチビーム要素アレイのマルチビーム要素３２０は、１Ｄアレイ又は２Ｄアレイのいずれかで配置され得る。例えば、マルチビーム要素３２０は、直線１Ｄアレイとして配置され得る。別の例では、マルチビーム要素３２０は、長方形の２Ｄアレイ又は円形の２Ｄアレイとして配置され得る。さらに、一部の例では、アレイ（すなわち、１Ｄ又は２Ｄアレイ）は、規則的又は一様なアレイであり得る。特に、マルチビーム要素３２０間の要素間距離（例えば、中心間距離又は間隔）は、アレイにわたって実質的に均一又は一定であり得る。他の例では、マルチビーム要素３２０間の要素間距離は、アレイ全体にわたって、及び導光体３１０の長さに沿っての一方又は両方で変化し得る。
様々な実施形態によれば、マルチビーム要素アレイのマルチビーム要素３２０は、導波光３０４の一部を複数の指向性光線３０２として供給、取り出し、又は散乱するように構成される。例えば、様々な実施形態によれば、導波光部分は、回折散乱、反射散乱、及び屈折散乱又は結合のうちの１つ又はそれ以上を使用して、取り出し、又は散乱され得る。図５Ａ及び図５Ｃでは、指向性光線３０２が、導光体３１０の第１の表面（又は前面）３１０’から離れるように描かれている複数の発散する矢印として示されている。さらに、様々な実施形態によれば、マルチビーム要素３２０のサイズは、上で定義され、以下でさらに説明され、図５Ａ～図５Ｃに示されるように、マルチビューピクセル３０６のサブピクセル（又は等価的にライトバルブ３３０）のサイズに相当する。本明細書では、「サイズ」は、長さ、幅、又は面積を含むがこれらに限定されない様々な仕方のいずれかで定義され得る。例えば、サブピクセル又はライトバルブ３３０のサイズはその長さとすることができ、相当するマルチビーム要素３２０のサイズもマルチビーム要素３２０の長さとすることができる。別の例では、サイズは、マルチビーム要素３２０の面積がサブピクセル（又は等価的にライトバルブ３３０）の面積に相当するような面積を指し得る。
一部の実施形態では、マルチビーム要素３２０のサイズは、マルチビーム要素のサイズがサブピクセルサイズの約５０パーセント（５０％）～約２００パーセント（２００％）になるように、サブピクセルサイズに相当する。例えば、（例えば、図５Ａに示すように）マルチビーム要素のサイズを「ｓ」とし、サブピクセルサイズを「Ｓ」とすると、マルチビーム要素のサイズｓは次で与えられ得る。
他の例では、マルチビーム要素のサイズは、サブピクセルサイズの約６０パーセント（６０％）より大きい、又はサブピクセルサイズの約７０パーセント（７０％）より大きい、又はサブピクセルサイズの約８０パーセント（８０％）より大きい、又はサブピクセルサイズの約９０パーセント（９０％）より大きく、且つサブピクセルの約１８０パーセント（１８０％）より小さい、又はサブピクセルサイズの約１６０パーセント（１６０％）より小さい、又はサブピクセルサイズの約１４０（１４０％）より小さい、又はサブピクセルサイズの約１２０パーセント（１２０％）より小さい範囲にあり得る。例えば、「相当するサイズ」という場合、マルチビーム要素のサイズは、サブピクセルサイズの約７５パーセント（７５％）～約１５０（１５０％）であり得る。別の例では、マルチビーム要素３２０は、サブピクセルにサイズが相当し得、マルチビーム要素のサイズは、サブピクセルサイズの約１２５パーセント（１２５％）～約８５パーセント（８５％）であり得る。一部の実施形態によれば、マルチビーム要素３２０及びサブピクセルの相当するサイズは、マルチビューディスプレイのビュー間の暗いゾーンを減らす、又は一部の例では最小化するように選択され得る。さらに、マルチビーム要素３２０及びサブピクセルの相当するサイズは、マルチビューディスプレイのビュー（又はビューピクセル）間のオーバーラップを低減し、一部の例では最小化するように選択され得る。
図５Ａ～図５Ｃに示されるマルチビューディスプレイ３００は、複数の指向性光線のうちの指向性光線３０２を変調するように構成されたライトバルブ３３０のアレイをさらに備える。様々な実施形態において、液晶ライトバルブ、電気泳動ライトバルブ、及びエレクトロウェッティングに基づくライトバルブのうちの１つ又はそれ以上を含むがこれらに限定されない、異なるタイプのライトバルブをライトバルブアレイのライトバルブ３３０として使用することができる。
図５Ａ～図５Ｃに示されるように、異なる主角度方向を有する指向性光線３０２のうちの異なるものが、ライトバルブアレイ内のライトバルブ３３０の異なるものを通過し、これにより変調され得る。さらに、図示のように、アレイのライトバルブ３３０は、マルチビューピクセル３０６のサブピクセルに対応し、ライトバルブ３３０のセットは、マルチビューディスプレイのマルチビューピクセル３０６に対応する。特に、ライトバルブアレイのライトバルブ３３０の異なるセットは、マルチビーム要素３２０の対応する１つからの指向性光線３０２を受け入れて変調するように構成される、すなわち、図示のように、各マルチビーム要素３２０に対して１つの固有のライトバルブ３３０のセットがある。
図５Ａに示されるように、第１のライトバルブセット３３０ａは、第１のマルチビーム要素３２０ａからの指向性光線３０２を受け入れて変調するように構成される。さらに、第２のライトバルブセット３３０ｂは、第２のマルチビーム要素３２０ｂからの指向性光線３０２を受け入れて変調するように構成される。よって、ライトバルブアレイのライトバルブセット（例えば、第１及び第２のライトバルブセット３３０ａ、３３０ｂ）のそれぞれが、図５Ａに示すように、ライトバルブセットの個々のライトバルブ３３０がそれぞれのマルチビューピクセル３０６のサブピクセルに対応する状態で、異なるマルチビーム要素３２０（例えば、要素３２０ａ、３２０ｂ）及び異なるマルチビューピクセル３０６の両方にそれぞれ対応する。
図５Ａに示されるように、マルチビューピクセル３０６のサブピクセルのサイズは、ライトバルブアレイのライトバルブ３３０のサイズに対応し得ることに留意されたい。他の例では、サブピクセルサイズは、ライトバルブアレイの隣接するライトバルブ３３０間の距離（例えば、中心間距離）として定義され得る。例えば、ライトバルブ３３０は、ライトバルブアレイのライトバルブ３３０間の中心間距離より小さくなり得る。サブピクセルサイズは、例えば、ライトバルブ３３０のサイズ又はライトバルブ３３０間の中心間距離に対応するサイズのいずれかとして定義され得る。
一部の実施形態では、マルチビーム要素３２０と対応するマルチビューピクセル３０６と（すなわち、サブピクセルのセットと対応するライトバルブ３３０のセットと）の間の関係は、１対１の関係であり得る。つまり、同数のマルチビューピクセル３０６及びマルチビーム要素３２０が存在し得る。図５Ｂは、例として、１対１の関係を明示的に示しており、ライトバルブ３３０（及び対応するサブピクセル）の異なるセットを含む各マルチビューピクセル３０６は、破線で囲まれているように示されている。他の実施形態（図示せず）では、マルチビューピクセル３０６の数及びマルチビーム要素３２０の数は、互いに異なり得る。
一部の実施形態では、複数のマルチビーム要素３２０の対の間の要素間距離（例えば、中心間距離）は、例えばライトバルブセットによって表される、対応する一対のマルチビューピクセル３０６間のピクセル間距離（例えば、中心間距離）に等しくてもよい。例えば、図５Ａに示されるように、第１のマルチビーム要素３２０ａと第２のマルチビーム要素３２０ｂとの間の中心間距離ｄは、第１のライトバルブセット３３０ａと第２のライトバルブセット３３０ｂとの間の中心間距離Ｄに実質的に等しい。他の実施形態（図示せず）では、マルチビーム要素３２０及び対応するライトバルブセットの対の相対的な中心間距離は異なり得、例えば、マルチビーム要素３２０は、マルチビューピクセル３０６を表すライトバルブセット間の間隔（すなわち、中心間距離Ｄ）より大きいか又は小さいかのいずれか一方である要素間間隔（すなわち、中心間距離ｄ）を有し得る。
一部の実施形態では、マルチビーム要素３２０の形状は、マルチビューピクセル３０６の形状に類似している、又は等価的にマルチビューピクセル３０６に対応するライトバルブ３３０のセット（又は「サブアレイ」）の形状に類似している。例えば、マルチビーム要素３２０は、正方形の形状を有してもよく、マルチビューピクセル３０６（又は対応する１セットのライトバルブ３３０の配置）は、実質的に正方形であってもよい。別の例では、マルチビーム要素３２０は、長方形の形状を有することができ、すなわち、幅又は横寸法より大きい長さ又は縦寸法を有し得る。この例では、マルチビーム要素３２０に対応するマルチビューピクセル３０６（又は等価的にライトバルブ３３０のセットの配置）は、類似の長方形の形状を有し得る。図５Ｂは、正方形のマルチビーム要素３２０及び正方形のライトバルブ３３０のセットを含む、対応する正方形のマルチビューピクセル３０６の上面図又は平面図を示す。さらに他の例（図示せず）では、マルチビーム要素３２０及び対応するマルチビューピクセル３０６は、三角形、六角形、及び円形を含む、又は少なくとも近似されるが、これらに限定されない様々な形状を有する。
さらに（例えば、図５Ａに示されるように）、各マルチビーム要素３２０は、一部の実施形態によれば、特定のマルチビューピクセル３０６に割り当てられたサブピクセルのセットに基づいて、所定の時間に１つのみのマルチビューピクセル３０６に指向性光線３０２を供給するように構成される。特に、マルチビーム要素３２０の所与の１つ、及び特定のマルチビューピクセル３０６へのサブピクセルのセットの割り当てについて、マルチビューディスプレイの異なるビューに対応する異なる主角度方向を有する指向性光線３０２は、図５Ａに示されるように、単一の対応するマルチビューピクセル３０６及びそのサブピクセル、すなわちマルチビーム要素３２０に対応する単一セットのライトバルブ３３０に実質的に限定される。そのため、マルチビューディスプレイ３００の各マルチビーム要素３２０は、マルチビューディスプレイ３００の異なるビューに対応する異なる主角度方向のセットを有する対応する指向性光線３０２のセットを供給する（すなわち、指向性光線３０２のセットは、異なるビュー方向のそれぞれに対応する方向を有する光線を含む）。
図示のように、マルチビューディスプレイ３００は、光源３４０をさらに備え得る。様々な実施形態によれば、光源３４０は、導光体３１０内に案内される光を供給するように構成される。特に、光源３４０は、導光体３１０の入口表面又は端部（入力端）に隣接して配置され得る。
様々な実施形態では、光源３４０は、ＬＥＤ、レーザ（例えば、レーザダイオード）又はそれらの組み合わせを含むがこれらに限定されない実質的に任意の光源（例えば、光エミッタ）を含み得る。一部の実施形態では、光源３４０は、特定の色によって示される狭帯域スペクトルを有する実質的に単色の光を生成するように構成された光エミッタを備え得る。特に、単色光の色は、特定の色空間又は色モデル（例えば、赤－緑－青（ＲＧＢ）色モデル）の原色であり得る。他の例では、光源３４０は、実質的に広帯域又は多色の光を供給するように構成された実質的に広帯域の光源であり得る。例えば、光源３４０は、白色光を供給することができる。一部の実施形態では、光源３４０は、異なる色の光を提供するように構成された複数の異なる光エミッタを含み得る。異なる光エミッタは、異なる色の光のそれぞれに対応する導波光の、異なる色固有の非ゼロ伝播角度を有する光を供給するように構成され得る。
様々な実施形態では、光源３４０は、ＬＥＤ、レーザ（例えば、レーザダイオード）又はそれらの組み合わせを含むがこれらに限定されない実質的に任意の光源（例えば、光エミッタ）を含み得る。一部の実施形態では、光源３４０は、特定の色によって示される狭帯域スペクトルを有する実質的に単色の光を生成するように構成された光エミッタを備え得る。特に、単色光の色は、特定の色空間又は色モデル（例えば、赤－緑－青（ＲＧＢ）色モデル）の原色であり得る。他の例では、光源３４０は、実質的に広帯域又は多色の光を供給するように構成された実質的に広帯域の光源であり得る。例えば、光源３４０は、白色光を供給することができる。一部の実施形態では、光源３４０は、異なる色の光を提供するように構成された複数の異なる光エミッタを含み得る。異なる光エミッタは、異なる色の光のそれぞれに対応する導波光の、異なる色固有の非ゼロ伝播角度を有する光を供給するように構成され得る。
一部の実施形態では、光源３４０は、コリメータをさらに備え得る。コリメータは、光源３４０の光エミッタのうちの１つ又はそれ以上から実質的にコリメートされていない光を受け取るように構成され得る。コリメータは、実質的にコリメートされていない光をコリメートされた光に変換するようにさらに構成される。特に、コリメータは、一部の実施形態によれば、非ゼロ伝播角度を有し、所定のコリメーションファクタσにしたがってコリメートされたコリメートされた光を供給することができる。さらに、異なる色の光エミッタが使用される場合、コリメータは、異なる色固有の非ゼロ伝播角度の一方又は両方を有し、異なる色固有のコリメーションファクタを有するコリメートされた光を供給するように構成され得る。コリメータは、上述のように、導波光３０４として伝播させるために、コリメートされた光線を導光体３１０に伝達するようにさらに構成される。
一部の実施形態では、マルチビューディスプレイ３００は、導光体３１０を通る、導波光３０４の伝播方向３０３、３０３’と直交する（又は略直交する）方向の光に対して実質的に透明であるように構成される。特に、一部の実施形態では、導光体３１０及び離間されたマルチビーム要素３２０は、光が第１の表面３１０’及び第２の表面３１０’’の両方を通して導光体３１０を通過できるようにする。マルチビーム要素３２０の比較的小さいサイズとマルチビーム要素３２０の比較的大きい要素間間隔（例えば、マルチビューピクセル３０６との１対１の対応）との両方に起因して、少なくとも部分的に透明性が促進され得る。さらに、一部の実施形態によれば、マルチビーム要素３２０はまた、導光体面３１０’、３１０’’に直交して伝播する光に対して実質的に透明であり得る。
様々な実施形態によれば、導波光３０４を指向性光線３０２として散乱させる導光体３１０に光学的に接続された回折格子、マイクロ反射要素、及び／又はマイクロ屈折要素を含む多種多様な光学コンポーネントが指向性光線３０２を生成するために使用され得る。
これらの光学コンポーネントは、導光体３１０の第１の表面３１０’、第２の表面３１０’’、又は第１の表面３１０’と第２の表面３１０’’との間にさえ配置されてもよいことに留意されたい。さらに、一部の実施形態によれば、光学コンポーネントは、第１の表面３１０’又は第２の表面３１０’’のいずれかから突出する「正の機構」であってもよいし、第１の表面３１０’又は第２の表面３１０’’のいずれかの内に凹む「負の機構」であってもよい。
これらの光学コンポーネントは、導光体３１０の第１の表面３１０’、第２の表面３１０’’、又は第１の表面３１０’と第２の表面３１０’’との間にさえ配置されてもよいことに留意されたい。さらに、一部の実施形態によれば、光学コンポーネントは、第１の表面３１０’又は第２の表面３１０’’のいずれかから突出する「正の機構」であってもよいし、第１の表面３１０’又は第２の表面３１０’’のいずれかの内に凹む「負の機構」であってもよい。
一部の実施形態では、導光体３１０、マルチビーム要素３２０、光源３４０、及び／又は任意のコリメータは、マルチビューバックライトとして機能する。このマルチビューバックライトは、例えばマルチビューディスプレイ２３０として、マルチビューディスプレイ３００のライトバルブアレイと組み合わせて使用され得る。例えば、マルチビューバックライトは、上記のように、マルチビューバックライトによって供給される指向性光線３０２を変調してマルチビュー画像２０８の指向性ビューを提供するライトバルブ３３０のアレイのための光源（しばしばパネルバックライトとして）として機能し得る。
一部の実施形態では、マルチビューディスプレイ３００は、広角バックライトをさらに備え得る。特に、マルチビューディスプレイ３００（又はクロスレンダリングマルチビューシステム２００のマルチビューディスプレイ２３０）は、上述のマルチビューバックライトに加えて、広角バックライトを備え得る。広角バックライトは、例えば、マルチビューバックライトに隣接していてもよい。
図６は、本明細書で説明される原理による実施形態による、一例における広角バックライト３５０を備えるマルチビューディスプレイ３００の断面図である。図示のように、広角バックライト３５０は、第１のモード中に広角放射光３５２を供給するように構成される。様々な実施形態によれば、マルチビューバックライト（例えば、導光体３１０、マルチビーム要素３２０、及び光源３４０）は、第２のモード中に指向性放射光を指向性光線３０２として供給するように構成され得る。さらに、ライトバルブのアレイは、第１のモード中に広角放射光３５２を変調して２次元（２Ｄ）画像を提供し、第２のモード中に指向性放射光（又は指向性光線３０２）を変調してマルチビュー画像を提供するように構成される。例えば、図６に示されるマルチビューディスプレイ３００が、クロスレンダリングマルチビューシステム２００のマルチビューディスプレイ２３０として採用される場合、２Ｄ画像は、マルチビューカメラアレイ２１０の１つ又はそれ以上のカメラによって取り込まれ得る。そのため、一部の実施形態によれば、２Ｄ画像は、第２のモード中にシーン２０２の指向性ビューの１つを単に表し得る。
図６の左側に示されるように、マルチビュー画像（マルチビュー）は、マルチビーム要素３２０を使用して導光体３１０から散乱される指向性光線３０２を供給するように光源３４０を作動させることにより、マルチビューバックライトを使用して提供され得る。あるいは、図６の右側に示されるように、光源３４０を停止させ、広角バックライト３５０を作動させて、広角放射光３５２をライトバルブ３３０のアレイに供給することにより、２Ｄ画像が提供され得る。そのため、様々な実施形態によれば、広角バックライト３５０を備えるマルチビューディスプレイ３００は、マルチビュー画像の表示と２Ｄ画像の表示との間で切り替えできる。
本明細書で説明される原理の他の実施形態によれば、クロスレンダリングマルチビューイメージングの方法が提供される。図７は、本明細書で説明される原理による実施形態による、一例におけるクロスレンダリングマルチビューイメージングの方法４００の流れ図を示している。図７に示されるように、クロスレンダリングマルチビューイメージングの方法４００は、第１の軸に沿って互いに離間された複数のカメラを使用してシーンの複数の画像を取り込むステップ４１０を含む。一部の実施形態では、複数の画像及び複数のカメラは、クロスレンダリングマルチビューカメラ１００の複数の画像１０４及び複数のカメラ１１０とそれぞれ実質的に同様であり得る。同様に、一部の実施形態によれば、シーンはシーン１０２と実質的に同様であり得る。
図７に示されるクロスレンダリングマルチビューイメージングの方法４００は、複数の画像から判定されたシーンの視差マップを使用してシーンの合成画像を生成するステップ４２０をさらに含む。様々な実施形態によれば、合成画像は、第１の軸から変位された第２の軸上の仮想カメラの位置に対応する視点からのシーンのビューを表す。一部の実施形態では、画像合成器は、上述のクロスレンダリングマルチビューカメラ１００の画像合成器１２０と実質的に同様であり得る。特に、様々な実施形態によれば、画像合成器は、複数の画像のうちの画像から視差マップを判定し得る。
一部の実施形態（図示せず）では、クロスレンダリングマルチビューイメージングの方法４００は、視差マップ及び合成画像の一方又は両方を穴埋めすることをさらに含み得る。穴埋めは、例えば、画像合成器によって実施され得る。
一部の実施形態では、複数のカメラは、シーンのステレオ画像対を取り込むように構成された一対のカメラを含み得る。これらの実施形態では、視差マップは、ステレオ画像対を用いて判定され得る。さらに、合成画像を生成すること４２０は、同様の複数の仮想カメラの位置に対応する視点からのシーンのビューを表す複数の合成画像を生成し得る。
一部の実施形態（図示せず）では、クロスレンダリングマルチビューイメージングの方法４００は、マルチビューディスプレイを使用して合成画像をマルチビュー画像のビューとして表示することをさらに含む。特に、マルチビュー画像は、マルチビューディスプレイによって表示されるマルチビュー画像の異なるビューを表す１つ又はそれ以上の合成画像を含み得る。さらに、マルチビュー画像は、複数の画像のうちの１つ又はそれ以上の画像を表すビューを含み得る。例えば、マルチビュー画像は、図３Ａに示されるようなステレオ合成画像対、又は図３Ｂに示されるようなステレオ合成画像対及び複数の画像のうちの一対の画像のいずれかを含み得る。一部の実施形態では、マルチビューディスプレイは、クロスレンダリングマルチビューシステム２００のマルチビューディスプレイ２３０と実質的に同様であり得る、又は上述のマルチビューディスプレイ３００と実質的に同様であり得る。
このように、複数のカメラによって取り込まれた画像の視差／深度マップから合成画像を提供する、クロスレンダリングマルチビューカメラ、クロスレンダリングマルチビューシステム、及びクロスレンダリングマルチビューイメージングの方法の例及び実施形態を説明してきた。上記の例は、本明細書で説明される原理を表現する多くの具体的な例のうちの一部を単に例示しているに過ぎないことを理解されたい。当然のことながら、当業者であれば、以下の特許請求の範囲によって定義される範囲を逸脱することなく、無数の他の構成を容易に考案することができる。
１０ マルチビューディスプレイ
１２ スクリーン
１４ 異なるビュー
１６ ビュー方向
１００ クロスレンダリングマルチビューカメラ
１０２，２０２ シーン
１０４，２０４ 複数の画像
１０６，２０６ 合成画像
１１０ 複数のカメラ
１２０，２２０ 画像合成器
２００ クロスレンダリングマルチビューシステム
２０８ マルチビュー画像
２１０ マルチビューカメラアレイ
２３０，３００ マルチビューディスプレイ
３０２ 指向性光線
３０３ 伝播方向
３０４ 導波光
３０６ マルチビューピクセル
３０８ 広角放射光
３１０ 導光体
３２０ マルチビーム要素
３３０ ライトバルブ
３４０ 光源
３５０ 広角バックライト
４００ クロスレンダリングマルチビューイメージングの方法
４１０ 第１の軸に沿って互いに離間された複数のカメラを使用してシーンの複数の画像を取り込むステップ
４２０ 複数の画像から判定されたシーンの視差マップを使用してシーンの合成画像を生成するステップ
１２ スクリーン
１４ 異なるビュー
１６ ビュー方向
１００ クロスレンダリングマルチビューカメラ
１０２，２０２ シーン
１０４，２０４ 複数の画像
１０６，２０６ 合成画像
１１０ 複数のカメラ
１２０，２２０ 画像合成器
２００ クロスレンダリングマルチビューシステム
２０８ マルチビュー画像
２１０ マルチビューカメラアレイ
２３０，３００ マルチビューディスプレイ
３０２ 指向性光線
３０３ 伝播方向
３０４ 導波光
３０６ マルチビューピクセル
３０８ 広角放射光
３１０ 導光体
３２０ マルチビーム要素
３３０ ライトバルブ
３４０ 光源
３５０ 広角バックライト
４００ クロスレンダリングマルチビューイメージングの方法
４１０ 第１の軸に沿って互いに離間された複数のカメラを使用してシーンの複数の画像を取り込むステップ
４２０ 複数の画像から判定されたシーンの視差マップを使用してシーンの合成画像を生成するステップ
Claims (15)
- クロスレンダリングマルチビューカメラを備えるクロスレンダリングマルチビューシステムであって、
前記クロスレンダリングマルチビューカメラが、
第１の軸に沿って互いに離間され、シーン（a scene）の複数の画像を取り込むように構成された複数のカメラと、
前記複数の画像から判定された前記シーンの視差マップまたは深度マップを使用して前記シーンの合成画像を生成するように構成された画像合成器とを備え、
前記合成画像が、前記第１の軸から変位された第２の軸上の仮想カメラの位置に対応する視点からの前記シーンのビュー（a view）を表し、
前記クロスレンダリングマルチビューシステムが、前記合成画像を、前記シーンを表すマルチビュー画像のビューとして表示するように構成されたマルチビューディスプレイをさらに備え、
前記マルチビューディスプレイが、前記複数のカメラ（the camera plurality）のうちのカメラ（cameras）からの前記複数の画像を、前記マルチビュー画像の他のビュー（other views）として表示するようにさらに構成され、
前記マルチビューディスプレイが、
光源と、
前記光源からの光を導光体の長さに沿って導くように構成された前記導光体であって、前記光源が、前記導光体の入力端に隣接して配置され、前記導光体の前記入力端に光学的に結合されている、導光体と、
前記導光体の表面に互いに離間して配置され、前記導光体からの導波光を、前記マルチビュー画像のビュー方向に対応する方向を有する指向性光線として散乱させるように構成されたマルチビーム要素（multibeam elements）のアレイと、
前記指向性光線を変調して前記マルチビュー画像を提供するように構成されたライトバルブアレイとを備え、
前記マルチビーム要素のアレイのマルチビーム要素（a multibeam element of the array of multibeam elements）が、前記ライトバルブアレイのライトバルブ（a light valve）のサイズに相当するサイズを有する、クロスレンダリングマルチビューシステム。 - 前記第２の軸が前記第１の軸に垂直である、請求項１に記載のクロスレンダリングマルチビューシステム。
- 前記画像合成器が、前記視差マップまたは深度マップを使用して複数の合成画像を提供するように構成され、前記複数の合成画像のうちの各合成画像（each synthesized image）が、前記複数の合成画像のうちの他の合成画像（other synthesized images）に対して、前記シーンの異なる視点からの前記シーンのビューを表す、請求項１または２に記載のクロスレンダリングマルチビューシステム。
- 前記複数のカメラが、ステレオカメラとして構成された一対のカメラを備え、前記ステレオカメラによって取り込まれた前記シーンの前記複数の画像が前記シーンのステレオ画像対を含み、前記画像合成器が、複数の仮想カメラの位置（locations）に対応する視点（perspectives）からの前記シーンのビュー（views）を表す複数の合成画像を提供するように構成される、請求項１から３のいずれか一項に記載のクロスレンダリングマルチビューシステム。
- 前記第１の軸が水平軸であり、前記第２の軸が前記水平軸に直交する垂直軸であり、前記ステレオ画像対が、前記水平軸に対応する水平方向に配置され、前記複数の合成画像が、前記垂直軸に対応する垂直方向に配置された一対の合成画像を含む、請求項４に記載のクロスレンダリングマルチビューシステム。
- 前記画像合成器が、前記視差マップまたは深度マップ及び前記合成画像の一方又は両方において、穴埋めすることを提供するようにさらに構成される、請求項１から５のいずれか一項に記載のクロスレンダリングマルチビューシステム。
- 第１の軸に沿って互いに離間されたカメラを有し、シーン（a scene）の複数の画像を取り込むように構成されたマルチビューカメラアレイと、
前記複数の画像から判定された視差マップまたは深度マップを使用して前記シーンの合成画像を生成するように構成された画像合成器と、
前記合成画像を含む前記シーンのマルチビュー画像（a multiview image）を表示するように構成されたマルチビューディスプレイとを備える、クロスレンダリングマルチビューシステムであって、
前記合成画像が、前記第１の軸に直交する第２の軸上に配置された仮想カメラに対応する視点（a perspective）からの前記シーンのビュー（a view）を表し、
前記画像合成器が、前記シーンの一対の合成画像を提供するように構成され、前記マルチビュー画像が、前記一対の合成画像及び前記複数の画像のうちの一対の画像を含み、
前記マルチビューディスプレイが、
光源と、
前記光源からの光を導光体の長さに沿って導くように構成された前記導光体であって、前記光源が、前記導光体の入力端に隣接して配置され、前記導光体の前記入力端に光学的に結合されている、導光体と、
前記導光体の表面に互いに離間して配置され、前記導光体からの導波光を、前記マルチビュー画像のビュー方向に対応する方向を有する指向性光線として散乱させるように構成されたマルチビーム要素（multibeam elements）のアレイと、
前記指向性光線を変調して前記マルチビュー画像を提供するように構成されたライトバルブアレイとを備え、
前記マルチビーム要素のアレイのマルチビーム要素（a multibeam element of the array of multibeam elements）が、前記ライトバルブアレイのライトバルブ（a light valve）のサイズに相当するサイズを有する、クロスレンダリングマルチビューシステム。 - 前記マルチビューカメラアレイが、前記シーンのステレオ画像対を提供するように構成された一対のカメラを備え、前記視差マップまたは深度マップが、前記ステレオ画像対を使用して前記画像合成器によって判定される、請求項７に記載のクロスレンダリングマルチビューシステム。
- 前記画像合成器が、リモートプロセッサに実装され、前記複数の画像が、前記クロスレンダリングマルチビューシステムによって前記リモートプロセッサに送信され、前記合成画像が、前記マルチビューディスプレイを使用して表示されるべく、前記リモートプロセッサから前記クロスレンダリングマルチビューシステムによって受信される、請求項７または８に記載のクロスレンダリングマルチビューシステム。
- 前記マルチビーム要素のアレイの前記マルチビーム要素が、前記導波光を前記指向性光線として散乱させるために前記導光体に光学的に接続された回折格子、マイクロ反射要素、及びマイクロ屈折要素のうちの１つ又はそれ以上を備える、請求項７から９のいずれか一項に記載のクロスレンダリングマルチビューシステム。
- 前記光源が、非ゼロ伝播角度を有すること、及び所定のコリメーションファクタにしたがってコリメートされることの一方又は両方である前記導波光を供給するように構成される、請求項７から１０のいずれか一項に記載のクロスレンダリングマルチビューシステム。
- 前記マルチビューディスプレイが、第１のモード中に広角放射光を供給するように構成された広角バックライトをさらに備え、前記導光体及びマルチビーム要素のアレイが、第２のモード中に前記指向性光線を供給するように構成され、
前記ライトバルブアレイが、前記第１のモード中に前記広角放射光を変調して２次元画像を供給し、前記第２のモード中に前記指向性光線を変調して前記マルチビュー画像を供給するように構成される、請求項７から１１のいずれか一項に記載のクロスレンダリングマルチビューシステム。 - クロスレンダリングマルチビューイメージングの方法であって、前記方法が、
第１の軸に沿って互いに離間した複数のカメラを使用してシーンの複数の画像を取り込むステップと、
前記複数の画像から判定された前記シーンの視差マップまたは深度マップを使用して前記シーンの合成画像を生成するステップと、
マルチビューディスプレイを使用して前記合成画像および前記複数の画像をマルチビュー画像のビュー（a view）として表示するステップとを含み、
前記合成画像が、前記第１の軸から変位された第２の軸上の仮想カメラの位置に対応する視点からの前記シーンのビューを表し、
前記マルチビューディスプレイが、
光源と、
前記光源からの光を導光体の長さに沿って導くように構成された前記導光体であって、前記光源が、前記導光体の入力端に隣接して配置され、前記導光体の前記入力端に光学的に結合されている、導光体と、
前記導光体の表面に互いに離間して配置され、前記導光体からの導波光を、前記マルチビュー画像のビュー方向に対応する方向を有する指向性光線として散乱させるように構成されたマルチビーム要素（multibeam elements）のアレイと、
前記指向性光線を変調して前記マルチビュー画像を提供するように構成されたライトバルブアレイとを備え、
前記マルチビーム要素のアレイのマルチビーム要素（a multibeam element of the array of multibeam elements）が、前記ライトバルブアレイのライトバルブ（a light valve）のサイズに相当するサイズを有する、方法。 - 前記視差マップまたは深度マップ及び前記合成画像の一方又は両方において、穴埋めすることを提供するステップをさらに含む、請求項１３に記載のクロスレンダリングマルチビューイメージングの方法。
- 前記複数のカメラが、前記シーンのステレオ画像対を取り込むように構成された一対のカメラを含み、前記視差マップまたは深度マップが前記ステレオ画像対を使用して判定され、合成画像を生成するステップが、同様の複数の仮想カメラの位置（locations）に対応する視点（perspectives）からの前記シーンのビュー（views）を表す複数の合成画像を生成する、請求項１３または１４に記載のクロスレンダリングマルチビューイメージングの方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762608551P | 2017-12-20 | 2017-12-20 | |
| US62/608,551 | 2017-12-20 | ||
| PCT/US2018/064632 WO2019125793A1 (en) | 2017-12-20 | 2018-12-08 | Cross-render multiview camera, system, and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021508965A JP2021508965A (ja) | 2021-03-11 |
| JP7339259B2 true JP7339259B2 (ja) | 2023-09-05 |
Family
ID=66992796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020534432A Active JP7339259B2 (ja) | 2017-12-20 | 2018-12-08 | クロスレンダリングマルチビューカメラ、システム、及び方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20200322590A1 (ja) |
| EP (1) | EP3729804A4 (ja) |
| JP (1) | JP7339259B2 (ja) |
| KR (1) | KR102309397B1 (ja) |
| CN (1) | CN111527749A (ja) |
| CA (1) | CA3085185C (ja) |
| TW (1) | TWI695189B (ja) |
| WO (1) | WO2019125793A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111183638B (zh) * | 2017-10-02 | 2022-06-17 | 镭亚股份有限公司 | 具有带有共享相机的相机子阵列的多视图相机阵列、多视图***及方法 |
| CA3134527C (en) | 2019-04-22 | 2023-12-12 | Leia Inc. | Time-multiplexed backlight, multiview display, and method |
| CN110393916B (zh) * | 2019-07-26 | 2023-03-14 | 腾讯科技（深圳）有限公司 | 视角转动的方法、装置、设备及存储介质 |
| US11815679B2 (en) | 2021-04-16 | 2023-11-14 | Industrial Technology Research Institute | Method, processing device, and display system for information display |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005250167A (ja) | 2004-03-04 | 2005-09-15 | Sony Corp | 立体表示装置および立体表示方法 |
| JP2011128612A (ja) | 2010-12-01 | 2011-06-30 | Hitachi Displays Ltd | 表示装置 |
| WO2012090309A1 (ja) | 2010-12-28 | 2012-07-05 | コニカミノルタホールディングス株式会社 | 情報処理装置、そのプログラム、および情報処理方法 |
| JP2012235338A (ja) | 2011-05-02 | 2012-11-29 | Sony Corp | 画像処理方法、画像処理装置及び表示装置 |
| WO2017204840A1 (en) | 2016-05-23 | 2017-11-30 | Leia Inc. | Diffractive multibeam element-based backlighting |
| JP7129792B2 (ja) | 2017-03-06 | 2022-09-02 | ザ・ボーイング・カンパニー | 帯域内テレメトリを用いた仮想トランスポンダー |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3032414B2 (ja) * | 1993-10-29 | 2000-04-17 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| JP2001256482A (ja) * | 2000-03-08 | 2001-09-21 | Fuji Xerox Co Ltd | 視差画像生成装置および視差画像生成方法 |
| JP2006030753A (ja) * | 2004-07-20 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 三次元画像表示装置 |
| US8854486B2 (en) * | 2004-12-17 | 2014-10-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
| JP4780046B2 (ja) * | 2007-06-19 | 2011-09-28 | 日本ビクター株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| TW201004361A (en) * | 2008-07-03 | 2010-01-16 | Univ Nat Cheng Kung | Encoding device and method thereof for stereoscopic video |
| CN101754042B (zh) * | 2008-10-30 | 2012-07-11 | 华为终端有限公司 | 图像重构方法和图像重构*** |
| KR101627214B1 (ko) * | 2009-11-12 | 2016-06-03 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
| WO2011121920A1 (ja) * | 2010-03-30 | 2011-10-06 | パナソニック株式会社 | 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法 |
| JP5468482B2 (ja) * | 2010-07-14 | 2014-04-09 | シャープ株式会社 | 画像撮像装置 |
| JP5269027B2 (ja) * | 2010-09-30 | 2013-08-21 | 株式会社東芝 | 三次元画像表示装置および画像処理装置 |
| GB201106111D0 (en) * | 2011-04-11 | 2011-05-25 | Mccormick Malcolm | Rendering images for autostereoscopic display |
| JP2012237961A (ja) * | 2011-04-28 | 2012-12-06 | Sony Corp | 表示装置および電子機器 |
| US9041771B2 (en) * | 2011-06-08 | 2015-05-26 | City University Of Hong Kong | Automatic switching of a multi-mode display for displaying three-dimensional and two-dimensional images |
| US9497435B2 (en) * | 2011-08-15 | 2016-11-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoder, method in an encoder, decoder and method in a decoder for providing information concerning a spatial validity range |
| CN102325259A (zh) * | 2011-09-09 | 2012-01-18 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 多视点视频中虚拟视点合成方法及装置 |
| JP5708395B2 (ja) * | 2011-09-16 | 2015-04-30 | 株式会社Ｊｖｃケンウッド | 映像表示装置及び映像表示方法 |
| US9401041B2 (en) | 2011-10-26 | 2016-07-26 | The Regents Of The University Of California | Multi view synthesis method and display devices with spatial and inter-view consistency |
| CA2861868A1 (en) * | 2012-01-25 | 2013-08-01 | Lumenco, Llc | Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses |
| JP2014010783A (ja) * | 2012-07-02 | 2014-01-20 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
| GB2525170A (en) * | 2014-04-07 | 2015-10-21 | Nokia Technologies Oy | Stereo viewing |
| KR20150120659A (ko) * | 2014-04-18 | 2015-10-28 | 한국과학기술원 | 다시점 컨텐츠의 생성 방법 및 장치 |
| US20150381972A1 (en) * | 2014-06-30 | 2015-12-31 | Microsoft Corporation | Depth estimation using multi-view stereo and a calibrated projector |
| EP3243093A4 (en) * | 2015-01-10 | 2018-09-19 | LEIA Inc. | Diffraction grating-based backlighting having controlled diffractive coupling efficiency |
| JP6567058B2 (ja) * | 2015-01-10 | 2019-08-28 | レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． | ２次元／３次元（２ｄ／３ｄ）切り替え可能ディスプレイバックライトおよび電子ディスプレイ |
| CA2996967C (en) * | 2015-09-05 | 2022-05-31 | Leia Inc. | Multibeam diffraction grating-based display with head tracking |
| CN105895023B (zh) * | 2016-06-03 | 2019-03-15 | 深圳市华星光电技术有限公司 | 微机电光阀、显示屏和显示装置 |
| US10055882B2 (en) * | 2016-08-15 | 2018-08-21 | Aquifi, Inc. | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function |
-
2018
- 2018-12-08 CN CN201880083224.XA patent/CN111527749A/zh active Pending
- 2018-12-08 CA CA3085185A patent/CA3085185C/en active Active
- 2018-12-08 EP EP18890795.0A patent/EP3729804A4/en active Pending
- 2018-12-08 WO PCT/US2018/064632 patent/WO2019125793A1/en unknown
- 2018-12-08 JP JP2020534432A patent/JP7339259B2/ja active Active
- 2018-12-08 KR KR1020207018693A patent/KR102309397B1/ko active IP Right Grant
- 2018-12-18 TW TW107145637A patent/TWI695189B/zh active
-
2020
- 2020-06-18 US US16/905,779 patent/US20200322590A1/en not_active Abandoned
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005250167A (ja) | 2004-03-04 | 2005-09-15 | Sony Corp | 立体表示装置および立体表示方法 |
| JP2011128612A (ja) | 2010-12-01 | 2011-06-30 | Hitachi Displays Ltd | 表示装置 |
| WO2012090309A1 (ja) | 2010-12-28 | 2012-07-05 | コニカミノルタホールディングス株式会社 | 情報処理装置、そのプログラム、および情報処理方法 |
| JP2012235338A (ja) | 2011-05-02 | 2012-11-29 | Sony Corp | 画像処理方法、画像処理装置及び表示装置 |
| WO2017204840A1 (en) | 2016-05-23 | 2017-11-30 | Leia Inc. | Diffractive multibeam element-based backlighting |
| JP7129792B2 (ja) | 2017-03-06 | 2022-09-02 | ザ・ボーイング・カンパニー | 帯域内テレメトリを用いた仮想トランスポンダー |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200322590A1 (en) | 2020-10-08 |
| WO2019125793A1 (en) | 2019-06-27 |
| EP3729804A4 (en) | 2021-11-10 |
| EP3729804A1 (en) | 2020-10-28 |
| KR20200083653A (ko) | 2020-07-08 |
| KR102309397B1 (ko) | 2021-10-06 |
| TWI695189B (zh) | 2020-06-01 |
| CA3085185A1 (en) | 2019-06-27 |
| CN111527749A (zh) | 2020-08-11 |
| TW201930960A (zh) | 2019-08-01 |
| CA3085185C (en) | 2024-04-09 |
| JP2021508965A (ja) | 2021-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102367308B1 (ko) | 수렴 시점들을 갖는 다중 빔 요소-기반 역광 조명 | |
| JP7178415B2 (ja) | マルチビューカメラアレイ、マルチビューシステム、およびカメラサブアレイに共有カメラを備えさせる方法 | |
| JP7339259B2 (ja) | クロスレンダリングマルチビューカメラ、システム、及び方法 | |
| EP3326358B1 (en) | Multiview camera | |
| JP2019500634A (ja) | マルチビーム回折格子ベースのニアアイディスプレイ | |
| JP7362775B2 (ja) | 時間多重化バックライト、マルチビューディスプレイ、および方法 | |
| TWI772739B (zh) | 多方向性背光件、多使用者多視像顯示器和方法 | |
| KR20210069729A (ko) | 광학 마스크 소자들을 갖는 멀티뷰 백라이트, 디스플레이 및 방법 | |
| TW202014761A (zh) | 具有使用者追蹤功能的多視像顯示器、系統和方法 | |
| KR20220110549A (ko) | 만곡된 반사성 멀티빔 소자들이 있는 멀티뷰 백라이트, 멀티뷰 디스플레이 및 방법 | |
| CN115004287B (zh) | 多用户多视图显示器、***及方法 | |
| JP7227369B2 (ja) | コンテキスト・ライトフィールド・ディスプレイ・システム、マルチビューディスプレイ、および方法 | |
| JP7256830B2 (ja) | 動的に再構成可能なマルチビューピクセルを用いるマルチビューディスプレイおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201008 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220405 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221209 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221220 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230110 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230217 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20230221 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230824 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7339259 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |