JP7339259B2 - クロスレンダリングマルチビューカメラ、システム、及び方法 - Google Patents
クロスレンダリングマルチビューカメラ、システム、及び方法 Download PDFInfo
- Publication number
- JP7339259B2 JP7339259B2 JP2020534432A JP2020534432A JP7339259B2 JP 7339259 B2 JP7339259 B2 JP 7339259B2 JP 2020534432 A JP2020534432 A JP 2020534432A JP 2020534432 A JP2020534432 A JP 2020534432A JP 7339259 B2 JP7339259 B2 JP 7339259B2
- Authority
- JP
- Japan
- Prior art keywords
- view
- light
- image
- images
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0033—Means for improving the coupling-out of light from the light guide
- G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
- G02B6/0036—2-D arrangement of prisms, protrusions, indentations or roughened surfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本出願は、2017年12月20日に出願された米国仮特許出願第62/608,551号の利益を主張するものであり、その内容が参照により本明細書に組み込まれる。
なし
本開示は、以下の[1]から[20]を含む。
[1]第1の軸に沿って互いに離間され、シーン(a scene)の複数の画像を取り込むように構成された複数のカメラと、
上記複数の画像から判定された上記シーンの視差マップを使用して上記シーンの合成画像を生成するように構成された画像合成器であって、
上記合成画像が、上記第1の軸から変位された第2の軸上の仮想カメラの位置に対応する視点からの上記シーンのビュー(a view)を表す、画像合成器と、
を備える、クロスレンダリングマルチビューカメラ。
[2]上記第2の軸が上記第1の軸に垂直である、上記[1]に記載のクロスレンダリングマルチビューカメラ。
[3]上記画像合成器が、上記視差マップを使用して複数の合成画像を提供するように構成され、上記複数の合成画像のうちの各合成画像(each synthesized image)が、上記複数の合成画像のうちの他の合成画像(other synthesized images)に対して、上記シーンの異なる視点からの上記シーンのビューを表す、上記[1]に記載のクロスレンダリングマルチビューカメラ。
[4]上記複数のカメラが、ステレオカメラとして構成された一対のカメラを備え、上記ステレオカメラによって取り込まれた上記シーンの上記複数の画像が上記シーンのステレオ画像対を含み、上記画像合成器が、複数の仮想カメラの位置(locations)に対応する視点(perspectives)からの上記シーンのビュー(views)を表す複数の合成画像を提供するように構成される、上記[1]に記載のクロスレンダリングマルチビューカメラ。
[5]上記第1の軸が水平軸であり、上記第2の軸が上記水平軸に直交する垂直軸であり、上記ステレオ画像対が、上記水平軸に対応する水平方向に配置され、上記複数の合成画像が、上記垂直軸に対応する垂直方向に配置された一対の合成画像を含む、上記[4]に記載のクロスレンダリングマルチビューカメラ。
[6]上記画像合成器が、上記視差マップ及び上記合成画像の一方又は両方において、穴埋めすることを提供するようにさらに構成される、上記[1]に記載のクロスレンダリングマルチビューカメラ。
[7]上記[1]に記載のクロスレンダリングマルチビューカメラを備えるクロスレンダリングマルチビューシステムであって、上記マルチビューシステムが、上記合成画像を、上記シーンを表すマルチビュー画像のビューとして表示するように構成されたマルチビューディスプレイをさらに備える、クロスレンダリングマルチビューシステム。
[8]上記マルチビューディスプレイが、上記複数のカメラ(the camera plurality)のうちのカメラ(cameras)からの上記複数の画像を、上記マルチビュー画像の他のビュー(other views)として表示するようにさらに構成される、上記[7]に記載のクロスレンダリングマルチビューシステム。
[9]第1の軸に沿って互いに離間されたカメラを有し、シーン(a scene)の複数の画像を取り込むように構成されたマルチビューカメラアレイと、
上記複数の画像から判定された視差マップを使用して上記シーンの合成画像を生成するように構成された画像合成器と、
上記合成画像を含む上記シーンのマルチビュー画像(a multiview image)を表示するように構成されたマルチビューディスプレイであって、
上記合成画像が、上記第1の軸に直交する第2の軸上に配置された仮想カメラに対応する視点(a perspective)からの上記シーンのビュー(a view)を表す、マルチビューディスプレイと、
を備える、クロスレンダリングマルチビューシステム。
[10]上記マルチビューカメラアレイが、上記シーンのステレオ画像対を提供するように構成された一対のカメラを備え、上記視差マップが、上記ステレオ画像対を使用して上記画像合成器によって判定される、上記[9]に記載のクロスレンダリングマルチビューシステム。
[11]上記画像合成器が、上記シーンの一対の合成画像を提供するように構成され、上記マルチビュー画像が、上記一対の合成画像及び上記複数の画像のうちの一対の画像を含む、上記[9]に記載のクロスレンダリングマルチビューシステム。
[12]上記画像合成器が、リモートプロセッサに実装され、上記複数の画像が、上記クロスレンダリングマルチビューシステムによって上記リモートプロセッサに送信され、上記合成画像が、上記マルチビューディスプレイを使用して表示されるべく、上記リモートプロセッサから上記クロスレンダリングマルチビューシステムによって受信される、上記[9]に記載のクロスレンダリングマルチビューシステム。
[13]上記マルチビューディスプレイが、
光を導くように構成された導光体と、
互いに離間され、上記導光体からの導波光を、上記マルチビュー画像のビュー方向に対応する方向を有する指向性光線として散乱させるように構成されたマルチビーム要素アレイと、
上記指向性光線を変調して上記マルチビュー画像を提供するように構成されたライトバルブアレイであって、
上記マルチビーム要素アレイのマルチビーム要素が、上記ライトバルブアレイのライトバルブのサイズに相当するサイズと、上記マルチビーム要素に関連するマルチビューピクセルの形状に類似した形状とを有する、ライトバルブアレイと、
を備える、上記[9]に記載のクロスレンダリングマルチビューシステム。
[14]上記マルチビーム要素アレイの上記マルチビーム要素が、上記導波光を上記指向性光線として散乱させるために上記導光体に光学的に接続された回折格子、マイクロ反射要素、及びマイクロ屈折要素のうちの1つ又はそれ以上を備える、上記[13]に記載のクロスレンダリングマルチビューシステム。
[15]上記マルチビューディスプレイが、上記導光体の入力に光学的に結合された光源をさらに備え、上記光源が、非ゼロ伝播角度を有すること、及び所定のコリメーションファクタにしたがってコリメートされることの一方又は両方である上記導波光を供給するように構成される、上記[13]に記載のクロスレンダリングマルチビューシステム。
[16]上記マルチビューディスプレイが、第1のモード中に広角放射光を供給するように構成された広角バックライトをさらに備え、上記導光体及びマルチビーム要素アレイが、第2のモード中に上記指向性光線を供給するように構成され、
上記ライトバルブアレイが、上記第1のモード中に上記広角放射光を変調して2次元画像を供給し、上記第2のモード中に上記指向性光線を変調して上記マルチビュー画像を供給するように構成される、上記[13]に記載のクロスレンダリングマルチビューシステム。
[17]クロスレンダリングマルチビューイメージングの方法であって、上記方法が、
第1の軸に沿って互いに離間した複数のカメラを使用してシーンの複数の画像を取り込むステップと、
上記複数の画像から判定された上記シーンの視差マップを使用して上記シーンの合成画像を生成するステップと、を含み、
上記合成画像が、上記第1の軸から変位された第2の軸上の仮想カメラの位置に対応する視点からの上記シーンのビューを表す、方法。
[18]上記視差マップ及び上記合成画像の一方又は両方において、穴埋めすることを提供するステップをさらに含む、上記[17]に記載のクロスレンダリングマルチビューイメージングの方法。
[19]上記複数のカメラが、上記シーンのステレオ画像対を取り込むように構成された一対のカメラを含み、上記視差マップが上記ステレオ画像対を使用して判定され、合成画像を生成するステップが、同様の複数の仮想カメラの位置(locations)に対応する視点(perspectives)からの上記シーンのビュー(views)を表す複数の合成画像を生成する、上記[17]に記載のクロスレンダリングマルチビューイメージングの方法。
[20]マルチビューディスプレイを使用して上記合成画像をマルチビュー画像のビュー(a view)として表示するステップをさらに含む、上記[17]に記載のクロスレンダリングマルチビューイメージングの方法。
本明細書で説明される原理による例及び実施形態の様々な特徴は、以下の「発明を実施するための形態」を添付の図面と併せて読めば、より容易に理解することができ、添付の図面では、同様の参照番号は同様の構造要素を示している。
加えて、本明細書の定義によれば、頂面及び底面は互いに離間されており、少なくとも微分的な意味では実質的に互いに平行であり得る。つまり、導光板の任意の微分小領域内では、頂面と底面とは実質的に平行である、又は同一平面状にある。
例えば、導光板を1つの次元で湾曲させて、円筒形の導光板を形成することもできる。ただし、いかなる湾曲も、導光板内で内部全反射が維持されて光を導くことを保証するのに十分に大きな曲率半径を有する。
あるいは、回折格子は、機構の2次元(2D)アレイ又は2次元で定義される機構のアレイを含み得る。回折格子は、例えば材料表面のバンプ又は穴の2Dアレイとすることもできる。一部の例では、回折格子は、回折格子を横断する又は回折格子に沿った第1の方向又は次元では実質的に周期的であり、別の方向では実質的に非周期的(例えば、一定、ランダムなど)であり得る。
例えば、回折格子は、材料表面に複数の平行な溝を含み得る。別の例では、回折格子は材料表面から立ち上がる複数の平行なリッジを含み得る。回折機構(溝、リッジ、穴、バンプなどを問わない)は、正弦波形プロファイル、方形プロファイル(例えば、バイナリ型回折格子)、3角形プロファイル、及び鋸歯形プロファイル(例えば、ブレーズド回折格子)のうちの1つ又はそれ以上を含むが、これらに限定されない、回折をもたらす様々な断面形状又はプロファイルのうちのいずれかを有し得る。
ASIC又はVLSI回路を使用する実装は、ハードウェアベースの回路実装の例である。
一部の実施形態では、共通の軸(すなわち、直線アレイ)上にあるように示されているが、複数のカメラのうちのカメラ110のセットは、いくつかの異なる軸(図示せず)に沿って配置され得ることに留意されたい。
例えば、図2Bに示されるように、第1の軸がx方向にあるとき、第2の軸はy方向(例えば、y軸)にあり得る。他の実施形態では、第2の軸は、第1の軸に平行であるが、第1の軸から横方向に変位され得る。例えば、第1の軸及び第2の軸の両方がx方向にあり得るが、第2の軸は、第1の軸に対してy方向に横方向に変位され得る。
これらの実施形態では、ステレオ画像対104は、水平軸に対応する水平方向に配置され得、一対の合成画像106を含む複数の合成画像は、垂直軸に対応する垂直方向に配置され得る。
さらに、様々な実施形態によれば、クロスレンダリングマルチビューシステム200は、シーン202のマルチビュー画像208を表示するように構成され得る。
様々な例によれば、導光体310の光学的に透明な材料は、様々な種類のガラス(例えば、シリカガラス、アルミノケイ酸アルカリガラス、ホウケイ酸ガラスなど)のうちの1種又はそれ以上、及び実質的に光学的に透明なプラスチック又はポリマー(例えば、ポリメタクリル酸メチル又は「アクリルガラス」、ポリカーボネートなど)を含むが、これらに限定されない、様々な誘電体材料のうちのいずれかを含む、又はいずれかで構成することができる。一部の例では、導光体310は、導光体310の表面(例えば、頂面及び底面の一方又は両方)の少なくとも一部分の上にクラッディング層(図示せず)をさらに含み得る。一部の例によれば、クラッディング層を使用して、内部全反射をさらに促進することができる。
あるいは、他の実施形態では、導波光304はコリメートされていない場合もある。
あるいは(例えば、導波光の再利用とは対照的に)、他の伝播方向303’に伝播する導波光304は、(例えば、伝播方向303を有する導波光304に加えて)他の伝播方向303’で導光体310に光を導入することによって供給され得る。
様々な実施形態では、光源340は、LED、レーザ(例えば、レーザダイオード)又はそれらの組み合わせを含むがこれらに限定されない実質的に任意の光源(例えば、光エミッタ)を含み得る。一部の実施形態では、光源340は、特定の色によって示される狭帯域スペクトルを有する実質的に単色の光を生成するように構成された光エミッタを備え得る。特に、単色光の色は、特定の色空間又は色モデル(例えば、赤-緑-青(RGB)色モデル)の原色であり得る。他の例では、光源340は、実質的に広帯域又は多色の光を供給するように構成された実質的に広帯域の光源であり得る。例えば、光源340は、白色光を供給することができる。一部の実施形態では、光源340は、異なる色の光を提供するように構成された複数の異なる光エミッタを含み得る。異なる光エミッタは、異なる色の光のそれぞれに対応する導波光の、異なる色固有の非ゼロ伝播角度を有する光を供給するように構成され得る。
これらの光学コンポーネントは、導光体310の第1の表面310’、第2の表面310’’、又は第1の表面310’と第2の表面310’’との間にさえ配置されてもよいことに留意されたい。さらに、一部の実施形態によれば、光学コンポーネントは、第1の表面310’又は第2の表面310’’のいずれかから突出する「正の機構」であってもよいし、第1の表面310’又は第2の表面310’’のいずれかの内に凹む「負の機構」であってもよい。
12 スクリーン
14 異なるビュー
16 ビュー方向
100 クロスレンダリングマルチビューカメラ
102,202 シーン
104,204 複数の画像
106,206 合成画像
110 複数のカメラ
120,220 画像合成器
200 クロスレンダリングマルチビューシステム
208 マルチビュー画像
210 マルチビューカメラアレイ
230,300 マルチビューディスプレイ
302 指向性光線
303 伝播方向
304 導波光
306 マルチビューピクセル
308 広角放射光
310 導光体
320 マルチビーム要素
330 ライトバルブ
340 光源
350 広角バックライト
400 クロスレンダリングマルチビューイメージングの方法
410 第1の軸に沿って互いに離間された複数のカメラを使用してシーンの複数の画像を取り込むステップ
420 複数の画像から判定されたシーンの視差マップを使用してシーンの合成画像を生成するステップ
Claims (15)
- クロスレンダリングマルチビューカメラを備えるクロスレンダリングマルチビューシステムであって、
前記クロスレンダリングマルチビューカメラが、
第1の軸に沿って互いに離間され、シーン(a scene)の複数の画像を取り込むように構成された複数のカメラと、
前記複数の画像から判定された前記シーンの視差マップまたは深度マップを使用して前記シーンの合成画像を生成するように構成された画像合成器とを備え、
前記合成画像が、前記第1の軸から変位された第2の軸上の仮想カメラの位置に対応する視点からの前記シーンのビュー(a view)を表し、
前記クロスレンダリングマルチビューシステムが、前記合成画像を、前記シーンを表すマルチビュー画像のビューとして表示するように構成されたマルチビューディスプレイをさらに備え、
前記マルチビューディスプレイが、前記複数のカメラ(the camera plurality)のうちのカメラ(cameras)からの前記複数の画像を、前記マルチビュー画像の他のビュー(other views)として表示するようにさらに構成され、
前記マルチビューディスプレイが、
光源と、
前記光源からの光を導光体の長さに沿って導くように構成された前記導光体であって、前記光源が、前記導光体の入力端に隣接して配置され、前記導光体の前記入力端に光学的に結合されている、導光体と、
前記導光体の表面に互いに離間して配置され、前記導光体からの導波光を、前記マルチビュー画像のビュー方向に対応する方向を有する指向性光線として散乱させるように構成されたマルチビーム要素(multibeam elements)のアレイと、
前記指向性光線を変調して前記マルチビュー画像を提供するように構成されたライトバルブアレイとを備え、
前記マルチビーム要素のアレイのマルチビーム要素(a multibeam element of the array of multibeam elements)が、前記ライトバルブアレイのライトバルブ(a light valve)のサイズに相当するサイズを有する、クロスレンダリングマルチビューシステム。 - 前記第2の軸が前記第1の軸に垂直である、請求項1に記載のクロスレンダリングマルチビューシステム。
- 前記画像合成器が、前記視差マップまたは深度マップを使用して複数の合成画像を提供するように構成され、前記複数の合成画像のうちの各合成画像(each synthesized image)が、前記複数の合成画像のうちの他の合成画像(other synthesized images)に対して、前記シーンの異なる視点からの前記シーンのビューを表す、請求項1または2に記載のクロスレンダリングマルチビューシステム。
- 前記複数のカメラが、ステレオカメラとして構成された一対のカメラを備え、前記ステレオカメラによって取り込まれた前記シーンの前記複数の画像が前記シーンのステレオ画像対を含み、前記画像合成器が、複数の仮想カメラの位置(locations)に対応する視点(perspectives)からの前記シーンのビュー(views)を表す複数の合成画像を提供するように構成される、請求項1から3のいずれか一項に記載のクロスレンダリングマルチビューシステム。
- 前記第1の軸が水平軸であり、前記第2の軸が前記水平軸に直交する垂直軸であり、前記ステレオ画像対が、前記水平軸に対応する水平方向に配置され、前記複数の合成画像が、前記垂直軸に対応する垂直方向に配置された一対の合成画像を含む、請求項4に記載のクロスレンダリングマルチビューシステム。
- 前記画像合成器が、前記視差マップまたは深度マップ及び前記合成画像の一方又は両方において、穴埋めすることを提供するようにさらに構成される、請求項1から5のいずれか一項に記載のクロスレンダリングマルチビューシステム。
- 第1の軸に沿って互いに離間されたカメラを有し、シーン(a scene)の複数の画像を取り込むように構成されたマルチビューカメラアレイと、
前記複数の画像から判定された視差マップまたは深度マップを使用して前記シーンの合成画像を生成するように構成された画像合成器と、
前記合成画像を含む前記シーンのマルチビュー画像(a multiview image)を表示するように構成されたマルチビューディスプレイとを備える、クロスレンダリングマルチビューシステムであって、
前記合成画像が、前記第1の軸に直交する第2の軸上に配置された仮想カメラに対応する視点(a perspective)からの前記シーンのビュー(a view)を表し、
前記画像合成器が、前記シーンの一対の合成画像を提供するように構成され、前記マルチビュー画像が、前記一対の合成画像及び前記複数の画像のうちの一対の画像を含み、
前記マルチビューディスプレイが、
光源と、
前記光源からの光を導光体の長さに沿って導くように構成された前記導光体であって、前記光源が、前記導光体の入力端に隣接して配置され、前記導光体の前記入力端に光学的に結合されている、導光体と、
前記導光体の表面に互いに離間して配置され、前記導光体からの導波光を、前記マルチビュー画像のビュー方向に対応する方向を有する指向性光線として散乱させるように構成されたマルチビーム要素(multibeam elements)のアレイと、
前記指向性光線を変調して前記マルチビュー画像を提供するように構成されたライトバルブアレイとを備え、
前記マルチビーム要素のアレイのマルチビーム要素(a multibeam element of the array of multibeam elements)が、前記ライトバルブアレイのライトバルブ(a light valve)のサイズに相当するサイズを有する、クロスレンダリングマルチビューシステム。 - 前記マルチビューカメラアレイが、前記シーンのステレオ画像対を提供するように構成された一対のカメラを備え、前記視差マップまたは深度マップが、前記ステレオ画像対を使用して前記画像合成器によって判定される、請求項7に記載のクロスレンダリングマルチビューシステム。
- 前記画像合成器が、リモートプロセッサに実装され、前記複数の画像が、前記クロスレンダリングマルチビューシステムによって前記リモートプロセッサに送信され、前記合成画像が、前記マルチビューディスプレイを使用して表示されるべく、前記リモートプロセッサから前記クロスレンダリングマルチビューシステムによって受信される、請求項7または8に記載のクロスレンダリングマルチビューシステム。
- 前記マルチビーム要素のアレイの前記マルチビーム要素が、前記導波光を前記指向性光線として散乱させるために前記導光体に光学的に接続された回折格子、マイクロ反射要素、及びマイクロ屈折要素のうちの1つ又はそれ以上を備える、請求項7から9のいずれか一項に記載のクロスレンダリングマルチビューシステム。
- 前記光源が、非ゼロ伝播角度を有すること、及び所定のコリメーションファクタにしたがってコリメートされることの一方又は両方である前記導波光を供給するように構成される、請求項7から10のいずれか一項に記載のクロスレンダリングマルチビューシステム。
- 前記マルチビューディスプレイが、第1のモード中に広角放射光を供給するように構成された広角バックライトをさらに備え、前記導光体及びマルチビーム要素のアレイが、第2のモード中に前記指向性光線を供給するように構成され、
前記ライトバルブアレイが、前記第1のモード中に前記広角放射光を変調して2次元画像を供給し、前記第2のモード中に前記指向性光線を変調して前記マルチビュー画像を供給するように構成される、請求項7から11のいずれか一項に記載のクロスレンダリングマルチビューシステム。 - クロスレンダリングマルチビューイメージングの方法であって、前記方法が、
第1の軸に沿って互いに離間した複数のカメラを使用してシーンの複数の画像を取り込むステップと、
前記複数の画像から判定された前記シーンの視差マップまたは深度マップを使用して前記シーンの合成画像を生成するステップと、
マルチビューディスプレイを使用して前記合成画像および前記複数の画像をマルチビュー画像のビュー(a view)として表示するステップとを含み、
前記合成画像が、前記第1の軸から変位された第2の軸上の仮想カメラの位置に対応する視点からの前記シーンのビューを表し、
前記マルチビューディスプレイが、
光源と、
前記光源からの光を導光体の長さに沿って導くように構成された前記導光体であって、前記光源が、前記導光体の入力端に隣接して配置され、前記導光体の前記入力端に光学的に結合されている、導光体と、
前記導光体の表面に互いに離間して配置され、前記導光体からの導波光を、前記マルチビュー画像のビュー方向に対応する方向を有する指向性光線として散乱させるように構成されたマルチビーム要素(multibeam elements)のアレイと、
前記指向性光線を変調して前記マルチビュー画像を提供するように構成されたライトバルブアレイとを備え、
前記マルチビーム要素のアレイのマルチビーム要素(a multibeam element of the array of multibeam elements)が、前記ライトバルブアレイのライトバルブ(a light valve)のサイズに相当するサイズを有する、方法。 - 前記視差マップまたは深度マップ及び前記合成画像の一方又は両方において、穴埋めすることを提供するステップをさらに含む、請求項13に記載のクロスレンダリングマルチビューイメージングの方法。
- 前記複数のカメラが、前記シーンのステレオ画像対を取り込むように構成された一対のカメラを含み、前記視差マップまたは深度マップが前記ステレオ画像対を使用して判定され、合成画像を生成するステップが、同様の複数の仮想カメラの位置(locations)に対応する視点(perspectives)からの前記シーンのビュー(views)を表す複数の合成画像を生成する、請求項13または14に記載のクロスレンダリングマルチビューイメージングの方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762608551P | 2017-12-20 | 2017-12-20 | |
US62/608,551 | 2017-12-20 | ||
PCT/US2018/064632 WO2019125793A1 (en) | 2017-12-20 | 2018-12-08 | Cross-render multiview camera, system, and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021508965A JP2021508965A (ja) | 2021-03-11 |
JP7339259B2 true JP7339259B2 (ja) | 2023-09-05 |
Family
ID=66992796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020534432A Active JP7339259B2 (ja) | 2017-12-20 | 2018-12-08 | クロスレンダリングマルチビューカメラ、システム、及び方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20200322590A1 (ja) |
EP (1) | EP3729804A4 (ja) |
JP (1) | JP7339259B2 (ja) |
KR (1) | KR102309397B1 (ja) |
CN (1) | CN111527749A (ja) |
CA (1) | CA3085185C (ja) |
TW (1) | TWI695189B (ja) |
WO (1) | WO2019125793A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111183638B (zh) * | 2017-10-02 | 2022-06-17 | 镭亚股份有限公司 | 具有带有共享相机的相机子阵列的多视图相机阵列、多视图***及方法 |
CA3134527C (en) | 2019-04-22 | 2023-12-12 | Leia Inc. | Time-multiplexed backlight, multiview display, and method |
CN110393916B (zh) * | 2019-07-26 | 2023-03-14 | 腾讯科技(深圳)有限公司 | 视角转动的方法、装置、设备及存储介质 |
US11815679B2 (en) | 2021-04-16 | 2023-11-14 | Industrial Technology Research Institute | Method, processing device, and display system for information display |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250167A (ja) | 2004-03-04 | 2005-09-15 | Sony Corp | 立体表示装置および立体表示方法 |
JP2011128612A (ja) | 2010-12-01 | 2011-06-30 | Hitachi Displays Ltd | 表示装置 |
WO2012090309A1 (ja) | 2010-12-28 | 2012-07-05 | コニカミノルタホールディングス株式会社 | 情報処理装置、そのプログラム、および情報処理方法 |
JP2012235338A (ja) | 2011-05-02 | 2012-11-29 | Sony Corp | 画像処理方法、画像処理装置及び表示装置 |
WO2017204840A1 (en) | 2016-05-23 | 2017-11-30 | Leia Inc. | Diffractive multibeam element-based backlighting |
JP7129792B2 (ja) | 2017-03-06 | 2022-09-02 | ザ・ボーイング・カンパニー | 帯域内テレメトリを用いた仮想トランスポンダー |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3032414B2 (ja) * | 1993-10-29 | 2000-04-17 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
JP2001256482A (ja) * | 2000-03-08 | 2001-09-21 | Fuji Xerox Co Ltd | 視差画像生成装置および視差画像生成方法 |
JP2006030753A (ja) * | 2004-07-20 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 三次元画像表示装置 |
US8854486B2 (en) * | 2004-12-17 | 2014-10-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
JP4780046B2 (ja) * | 2007-06-19 | 2011-09-28 | 日本ビクター株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
TW201004361A (en) * | 2008-07-03 | 2010-01-16 | Univ Nat Cheng Kung | Encoding device and method thereof for stereoscopic video |
CN101754042B (zh) * | 2008-10-30 | 2012-07-11 | 华为终端有限公司 | 图像重构方法和图像重构*** |
KR101627214B1 (ko) * | 2009-11-12 | 2016-06-03 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
WO2011121920A1 (ja) * | 2010-03-30 | 2011-10-06 | パナソニック株式会社 | 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法 |
JP5468482B2 (ja) * | 2010-07-14 | 2014-04-09 | シャープ株式会社 | 画像撮像装置 |
JP5269027B2 (ja) * | 2010-09-30 | 2013-08-21 | 株式会社東芝 | 三次元画像表示装置および画像処理装置 |
GB201106111D0 (en) * | 2011-04-11 | 2011-05-25 | Mccormick Malcolm | Rendering images for autostereoscopic display |
JP2012237961A (ja) * | 2011-04-28 | 2012-12-06 | Sony Corp | 表示装置および電子機器 |
US9041771B2 (en) * | 2011-06-08 | 2015-05-26 | City University Of Hong Kong | Automatic switching of a multi-mode display for displaying three-dimensional and two-dimensional images |
US9497435B2 (en) * | 2011-08-15 | 2016-11-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoder, method in an encoder, decoder and method in a decoder for providing information concerning a spatial validity range |
CN102325259A (zh) * | 2011-09-09 | 2012-01-18 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 多视点视频中虚拟视点合成方法及装置 |
JP5708395B2 (ja) * | 2011-09-16 | 2015-04-30 | 株式会社Jvcケンウッド | 映像表示装置及び映像表示方法 |
US9401041B2 (en) | 2011-10-26 | 2016-07-26 | The Regents Of The University Of California | Multi view synthesis method and display devices with spatial and inter-view consistency |
CA2861868A1 (en) * | 2012-01-25 | 2013-08-01 | Lumenco, Llc | Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses |
JP2014010783A (ja) * | 2012-07-02 | 2014-01-20 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
GB2525170A (en) * | 2014-04-07 | 2015-10-21 | Nokia Technologies Oy | Stereo viewing |
KR20150120659A (ko) * | 2014-04-18 | 2015-10-28 | 한국과학기술원 | 다시점 컨텐츠의 생성 방법 및 장치 |
US20150381972A1 (en) * | 2014-06-30 | 2015-12-31 | Microsoft Corporation | Depth estimation using multi-view stereo and a calibrated projector |
EP3243093A4 (en) * | 2015-01-10 | 2018-09-19 | LEIA Inc. | Diffraction grating-based backlighting having controlled diffractive coupling efficiency |
JP6567058B2 (ja) * | 2015-01-10 | 2019-08-28 | レイア、インコーポレイテッドLeia Inc. | 2次元/3次元(2d/3d)切り替え可能ディスプレイバックライトおよび電子ディスプレイ |
CA2996967C (en) * | 2015-09-05 | 2022-05-31 | Leia Inc. | Multibeam diffraction grating-based display with head tracking |
CN105895023B (zh) * | 2016-06-03 | 2019-03-15 | 深圳市华星光电技术有限公司 | 微机电光阀、显示屏和显示装置 |
US10055882B2 (en) * | 2016-08-15 | 2018-08-21 | Aquifi, Inc. | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function |
-
2018
- 2018-12-08 CN CN201880083224.XA patent/CN111527749A/zh active Pending
- 2018-12-08 CA CA3085185A patent/CA3085185C/en active Active
- 2018-12-08 EP EP18890795.0A patent/EP3729804A4/en active Pending
- 2018-12-08 WO PCT/US2018/064632 patent/WO2019125793A1/en unknown
- 2018-12-08 JP JP2020534432A patent/JP7339259B2/ja active Active
- 2018-12-08 KR KR1020207018693A patent/KR102309397B1/ko active IP Right Grant
- 2018-12-18 TW TW107145637A patent/TWI695189B/zh active
-
2020
- 2020-06-18 US US16/905,779 patent/US20200322590A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250167A (ja) | 2004-03-04 | 2005-09-15 | Sony Corp | 立体表示装置および立体表示方法 |
JP2011128612A (ja) | 2010-12-01 | 2011-06-30 | Hitachi Displays Ltd | 表示装置 |
WO2012090309A1 (ja) | 2010-12-28 | 2012-07-05 | コニカミノルタホールディングス株式会社 | 情報処理装置、そのプログラム、および情報処理方法 |
JP2012235338A (ja) | 2011-05-02 | 2012-11-29 | Sony Corp | 画像処理方法、画像処理装置及び表示装置 |
WO2017204840A1 (en) | 2016-05-23 | 2017-11-30 | Leia Inc. | Diffractive multibeam element-based backlighting |
JP7129792B2 (ja) | 2017-03-06 | 2022-09-02 | ザ・ボーイング・カンパニー | 帯域内テレメトリを用いた仮想トランスポンダー |
Also Published As
Publication number | Publication date |
---|---|
US20200322590A1 (en) | 2020-10-08 |
WO2019125793A1 (en) | 2019-06-27 |
EP3729804A4 (en) | 2021-11-10 |
EP3729804A1 (en) | 2020-10-28 |
KR20200083653A (ko) | 2020-07-08 |
KR102309397B1 (ko) | 2021-10-06 |
TWI695189B (zh) | 2020-06-01 |
CA3085185A1 (en) | 2019-06-27 |
CN111527749A (zh) | 2020-08-11 |
TW201930960A (zh) | 2019-08-01 |
CA3085185C (en) | 2024-04-09 |
JP2021508965A (ja) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102367308B1 (ko) | 수렴 시점들을 갖는 다중 빔 요소-기반 역광 조명 | |
JP7178415B2 (ja) | マルチビューカメラアレイ、マルチビューシステム、およびカメラサブアレイに共有カメラを備えさせる方法 | |
JP7339259B2 (ja) | クロスレンダリングマルチビューカメラ、システム、及び方法 | |
EP3326358B1 (en) | Multiview camera | |
JP2019500634A (ja) | マルチビーム回折格子ベースのニアアイディスプレイ | |
JP7362775B2 (ja) | 時間多重化バックライト、マルチビューディスプレイ、および方法 | |
TWI772739B (zh) | 多方向性背光件、多使用者多視像顯示器和方法 | |
KR20210069729A (ko) | 광학 마스크 소자들을 갖는 멀티뷰 백라이트, 디스플레이 및 방법 | |
TW202014761A (zh) | 具有使用者追蹤功能的多視像顯示器、系統和方法 | |
KR20220110549A (ko) | 만곡된 반사성 멀티빔 소자들이 있는 멀티뷰 백라이트, 멀티뷰 디스플레이 및 방법 | |
CN115004287B (zh) | 多用户多视图显示器、***及方法 | |
JP7227369B2 (ja) | コンテキスト・ライトフィールド・ディスプレイ・システム、マルチビューディスプレイ、および方法 | |
JP7256830B2 (ja) | 動的に再構成可能なマルチビューピクセルを用いるマルチビューディスプレイおよび方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201008 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201008 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220405 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221209 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221220 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230110 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230217 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20230221 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7339259 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |