JP2020536472A - マルチビューカメラアレイ、マルチビューシステム、およびカメラサブアレイに共有カメラを備えさせる方法 - Google Patents

マルチビューカメラアレイ、マルチビューシステム、およびカメラサブアレイに共有カメラを備えさせる方法 Download PDF

Info

Publication number
JP2020536472A
JP2020536472A JP2020539675A JP2020539675A JP2020536472A JP 2020536472 A JP2020536472 A JP 2020536472A JP 2020539675 A JP2020539675 A JP 2020539675A JP 2020539675 A JP2020539675 A JP 2020539675A JP 2020536472 A JP2020536472 A JP 2020536472A
Authority
JP
Japan
Prior art keywords
view
camera
light
array
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020539675A
Other languages
English (en)
Other versions
JP7178415B2 (ja
Inventor
エー. ファタル,デイヴィッド
エー. ファタル,デイヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leia Inc
Original Assignee
Leia Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leia Inc filed Critical Leia Inc
Publication of JP2020536472A publication Critical patent/JP2020536472A/ja
Application granted granted Critical
Publication of JP7178415B2 publication Critical patent/JP7178415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

マルチビューカメラアレイおよびマルチビューシステムは、マルチビューディスプレイに表示するためにシーンのマルチビュー画像をキャプチャするために、少なくとも1つのカメラを共有するカメラサブアレイを採用している。マルチビューカメラアレイは、カメラの第1サブアレイとカメラの第2サブアレイを含む。第1および第2のカメラサブアレイのカメラは、それぞれ第1のベースラインの距離および第2のベースラインの距離だけ互いに離間している。マルチビューシステムは、マルチビュー画像を表示するように構成されたマルチビューディスプレイをさらに含む。マルチビュー画像をキャプチャする方法は、カメラの第1のサブアレイでシーンの第1の複数の異なるビューをキャプチャすること、およびカメラの第2のサブアレイを使用してシーンの第2の複数の異なるビューをキャプチャすることを含む。

Description

関連出願の相互参照
本願は、2017年10月2日に提出された米国仮出願第62/567,138号の利益を主張し、その内容は参照により本明細書に組み込まれる。
連邦政府により資金提供された研究または開発に関する声明
なし
電子ディスプレイは、様々なデバイスや製品の使用者に情報を伝達するためのほぼ至る所にある媒体である。最も一般的に採用されている電子ディスプレイには、ブラウン管(CRT)、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)、エレクトロルミネセントディスプレイ(EL)、有機発光ダイオード(OLED)、およびアクティブマトリックスOLED(AMOLED)ディスプレイ、電気泳動ディスプレイ(EP)および電気機械式または電気流体式の光変調を使用する様々なディスプレイ(例えばデジタルマイクロミラーデバイス、エレクトロウェッティングディスプレイなど)が含まれる。一般に、電子ディスプレイは、アクティブディスプレイ(つまり、光を発するディスプレイ)またはパッシブディスプレイ(つまり、別の光源から提供される光を変調するディスプレイ)に分類できる。アクティブディスプレイの最も明白な例には、CRT、PDP、OLED/AMOLEDがある。放射された光を考慮するときに一般的にパッシブとして分類されるディスプレイは、LCDとEPディスプレイである。パッシブディスプレイは、本質的に低消費電力を含むがこれに限定されない魅力的なパフォーマンス特性を示すことがよくあるが、光を発する能力がないことを考えると、多くの実際の適用で、使用が幾分制限される。
画像キャプチャ、特に3次元(3D)画像キャプチャは通常、3Dディスプレイまたはマルチビューディスプレイに表示するために、キャプチャされた画像(例えば、通常は2次元の画像)を3D画像に変換する、キャプチャされた画像の実質的な画像処理を伴う。画像処理は、深度推定、画像補間、画像再構成、または画像が取り込まれた瞬間からそれらの画像が表示される瞬間までの大幅な時間の遅れを生じさせ得る他の複雑なプロセスを含むことができるが、これらに限定されない。
本明細書に記載の原理による例および実施形態の様々な特徴は、添付の図面と併せて以下の詳細な説明を参照することにより、より容易に理解することができ、添付の図面において類似の参照番号は類似の構造要素を示す。
本明細書に記載の原理と一致する実施形態による、例におけるマルチビューディスプレイの斜視図を示す。
本明細書に記載の原理と一致する実施形態による、例におけるマルチビューディスプレイのビュー方向に対応する特定の主要角度方向を有する光ビームの角度成分のグラフ表示を示す。
本明細書に記載の原理と一致する実施形態による、例におけるマルチビューカメラアレイの斜視図を示す。
本明細書に記載の原理と一致する実施形態による、例における図2Aのマルチビューカメラアレイの側面図を示す。
本明細書に記載の原理と一致する実施形態による、別の例におけるマルチビューカメラアレイの正面図を示す。
本明細書に記載の原理と一致する実施形態による、一例におけるマルチビューシステムのブロック図を示す。
本明細書に記載の原理と一致する実施形態による、例におけるマルチビューディスプレイの断面図を示す。
本明細書に記載の原理と一致する実施形態による、例におけるマルチビューディスプレイの平面図を示す。
本明細書に記載の原理と一致する実施形態による、例におけるマルチビューディスプレイの斜視図を示す。
本明細書に記載の原理に一致する実施形態による、例における広角バックライトを含むマルチビューディスプレイの断面図を示す。
本明細書に記載の原理と一致する実施形態による、例におけるマルチビュー画像をキャプチャする方法のフローチャートを示す。
特定の例および実施形態は、上記で参照された図に示された特徴に加えて、およびその代わりの1つである他の特徴を有する。これらの機能およびその他の機能については、上記で参照した図を参照して以下で詳しく説明する。
本明細書で説明される原理による実施形態および例は、マルチビューディスプレイに対応し得る、またはマルチビューディスプレイと併用され得るマルチビューまたは「ホログラフィック」イメージングを提供する。特に、本明細書で説明する原理の様々な実施形態によれば、シーンのマルチビューイメージングは、複数のカメラサブアレイを含むマルチビューカメラアレイによって提供でき、各カメラサブアレイはカメラサブアレイのカメラ間の異なるベースラインの間隔を有する。さらに、少なくとも2つのカメラサブアレイは、互いに共通の1つまたはそれ以上のカメラを有する。マルチビューカメラアレイは、異なるベースラインの間隔に従って異なる角度または視点からキャプチャまたは記録された複数の別個の画像を含むシーンのマルチビュー画像を生成するように構成されている。別々の画像がまとまって、マルチビューディスプレイで表示され得るシーンのマルチビュー画像を具現化する。さらに、対応するマルチビューディスプレイでマルチビュー画像を見ることで、例えば、マルチビューディスプレイで見たときに、見る者が、物理環境内の異なる見かけの深さで、シーンのマルチビュー画像内の要素を知覚できるようになり得る。そのため、いくつかの実施形態によれば、マルチビューカメラアレイは、対応するマルチビューディスプレイ上で見たときに、見る者に三次元(3D)で見る体験を提供するマルチビュー画像を生成し得る。さらに、様々な実施形態によれば、カメラサブアレイ間でカメラを共有することにより、カメラを共有しないカメラサブアレイの使用と比較して、マルチビュー画像のキャプチャに関連するコストおよび全体の電力消費を削減できる。
本明細書では、「二次元ディスプレイ」または「2Dディスプレイ」は、2Dディスプレイ上にて表示画像を見る方向に関係なく(すなわち、所定の角度以内で見るか2Dディスプレイの範囲)、実質的に同じ表示画像の見え方をもたらすように構成されるディスプレイとして定義される。多くのスマートフォンやコンピュータのモニタに見出される液晶ディスプレイ(LCD)は、2Dディスプレイの例である。対照的に、本明細書において、「マルチビューディスプレイ」は、異なった方向でまたは異なった方向から見てマルチビュー画像の異なる見え方をもたらすように構成されたディスプレイまたはディスプレイシステムとして定義される。特に、異なる見え方は、マルチビュー画像のシーンまたはオブジェクトの異なる透視図を表し得る。場合によっては、マルチビューディスプレイはまた、例えば、マルチビュー画像の2つの異なるビューを同時に見ることが、3次元(3D)画像を見ているという知覚をもたらす場合、3次元(3D)ディスプレイと呼ばれ得る。本明細書に記載のマルチビュー画像のキャプチャおよび表示に適用可能なマルチビューディスプレイおよびマルチビューシステムの用途は、携帯電話(スマートフォンなど)、時計、タブレットコンピュータ、モバイルコンピュータ(ラップトップコンピュータなど)、パーソナルコンピュータおよびコンピュータモニタ、自動車ディスプレイコンソール、カメラのディスプレイ、その他の様々なモバイル、および実質的に非モバイルのディスプレイアプリケーションとデバイスを含むが、これらに限定されない。
図1Aは、本明細書に記載の原理と一致する例による、マルチビューディスプレイ10の斜視図を示す。示されるように、マルチビューディスプレイ10は、マルチビュー画像を見るために見られるスクリーン12を含む。マルチビューディスプレイ10は、スクリーン12に対して異なる見る方向16で、マルチビュー画像の異なるビュー14を提供する。見る方向16は、スクリーン12から様々な異なる主要角度方向に延びる矢印として示されている。異なるビュー14は、矢印16の終端に、影付きの多角形のボックスとして示されている。また、4つのビュー14および4つの見る方向16のみが示されており、これらはすべて例示であって限定するものではない。図1Aではスクリーンの上方に異なるビュー14が示されているが、マルチビュー画像がマルチビューディスプレイ10に表示されるとき、ビュー14は実際にはスクリーン12上またはスクリーン12の近くに現れることに留意されたい。スクリーン12の上方にビュー14を描いているのは、説明を簡単にするためだけでのことであり、特定のビュー14に対応する見る方向16のそれぞれからマルチビューディスプレイ10を見ることを表すことを意図している。さらに、マルチビューディスプレイ10のビュー14および対応する見る方向16は、概して、マルチビューディスプレイ10の実装によって指示される特定の配置で編成または配置される。例えば、ビュー14および対応する見る方向16は、以下でさらに説明されるように、特定のマルチビューディスプレイの実施によって規定されるように、長方形の配置、正方形の配置、円形の配置、六角形の配置などを有し得る。
マルチビューディスプレイの見る方向に対応する方向を有する見る方向または同等の光ビームは、一般に、本明細書の定義により、角度成分{θ,φ}によって得られる主要角度方向を有する。本明細書では、角度成分θは、光ビームの「仰角成分」または「仰角」と呼ばれる。角度成分φは、光ビームの「方位角成分」または「方位角」と呼ばれる。定義により、仰角θは垂直面の角度(例えば、マルチビューディスプレイ画面の平面に垂直)であり、一方で方位角φは水平面の角度(例えば、マルチビューディスプレイ画面の平面に平行)である。
図1Bは、本明細書に記載の原理の例による、マルチビューディスプレイのビュー方向に対応する特定の主要角度方向を有する光ビーム20の角度成分{θ,φ}のグラフ表示を示す。加えて、光ビーム20は、本明細書の定義により、特定の点から放出または発散する。すなわち、定義により、光ビーム20は、マルチビューディスプレイ内の特定の原点に関連付けられた中心光線を有する。図1Bは、光ビーム(または見る方向)の原点Oも示している。
本明細書では、「マルチビュー画像」および「マルチビューディスプレイ」という用語で使用される「マルチビュー」は、異なる視点を表す、または複数の見え方の間の角度の視差を含む、複数の見え方として定義される。さらに、本明細書では、「マルチビュー」という用語は、定義により、明示的に3つ以上の異なる見え方(すなわち、最低3つの見え方および一般に4つ以上の見え方)を含む。したがって、本明細書で使用される「マルチビュー」は、例えば、シーンを表すために2つの異なる見え方のみを含む立体ビューと、明確に区別される。ただし、マルチビュー画像およびマルチビューディスプレイには、本明細書での定義により、3つ以上のビューが含まれるが、マルチビュー画像は、ビューのうち一度に見る2つ(例えば、片目に1つのビュー)だけを選択することによって、立体画像のペアとして見る(例えば、マルチビューディスプレイで)ことができることに留意されたい。
「マルチビューピクセル」は、本明細書では、マルチビューディスプレイの複数の異なるビューのそれぞれのビューにおける「ビュー」ピクセルを表すサブピクセルのセットまたはグループ(例えばライトバルブ)として定義される。特に、マルチビューピクセルは、マルチビュー画像の異なるビューのそれぞれのビューピクセルに対応する、またはビューピクセルを表す個々のサブピクセルを有することができる。さらに、マルチビューピクセルのサブピクセルは、本明細書の定義により、各サブピクセルが異なるビューの対応するビューの所定の見る方向に関連付けられているという点で、いわゆる「方向性ピクセル」である。さらに、様々な例および実施形態によれば、マルチビューピクセルのサブピクセルによって表される異なるビューピクセルは、異なるビューのそれぞれにおいて同等または少なくとも実質的に同様の位置または座標を有し得る。例えば、第1のマルチビューピクセルは、マルチビュー画像の異なるビューのそれぞれの{x,y}にあるビューピクセルに対応する個別のサブピクセルを有することができ、一方で第2のマルチビューピクセルは、異なるビューのそれぞれの{x,y}にあるビューピクセルに対応する個別のサブピクセルを有することができる、などである。
いくつかの実施形態では、マルチビューピクセル内のサブピクセルの数は、マルチビューディスプレイの異なるビューの数に等しくてもよい。例えば、マルチビューピクセルは、64個の異なるビューを有するマルチビューディスプレイに関連付けられた64個のサブピクセルを提供し得る。別の例では、マルチビューディスプレイは8×4のビューの配列(すなわち32のビュー)を提供でき、マルチビューピクセルは32のサブピクセル(すなわち各ビューに1つ)を含むことができる。加えて、それぞれの異なるサブピクセルは、例えば、64個の異なるビューに対応する見る方向の異なる1つに対応する関連する方向(例えば、光ビームの主要角度方向)を有し得る。さらに、いくつかの実施形態によれば、マルチビューディスプレイのマルチビューピクセルの数は、マルチビューディスプレイのビューの「ビュー」ピクセル(すなわち、選択されたビューを構成するピクセル)の数と実質的に等しくてもよい。例えば、ビューに640×480のビューピクセル(つまり、640×480のビューの解像度)が含まれる場合、マルチビューディスプレイには307,200のマルチビューピクセルがあり得る。別の例では、ビューが100×100ピクセルを含む場合、マルチビューディスプレイは合計1万(つまり100×100=10,000)のマルチビューピクセルを含むことがあり得る。
本明細書では、「光ガイド」は、全内部反射を使用して構造内で光を導く構造として定義される。特に、光ガイドは、光ガイドの動作波長で実質的に透明なコアを含んでもよい。「光ガイド」という用語は一般に、全内部反射を使用して、光ガイドの誘電材料と、その光ガイドを囲む材料または媒体との間の界面で、光を導く誘電体光導波路を指す。定義により、全内部反射の条件は、光ガイドの屈折率が、光ガイド材料の表面に隣接する周囲の媒体の屈折率よりも大きいということである。いくつかの実施形態では、光ガイドは、前述の屈折率差に加えて、またはその代わりにコーティングを含んで、全内部反射をさらに促進してもよい。コーティングは、例えば反射コーティングであってもよい。光ガイドは、いくつかの光ガイドのいずれかであり得、プレートまたはスラブガイドおよびストリップガイドの一方または両方を含むがこれらに限定されない。
さらに本明細書において、「プレート状光ガイド」のように光ガイドに適用される場合の「プレート」という用語は、「スラブ」ガイドと呼ばれることもある、区分的または差別的に平面の層またはシートとして定義される。特に、プレート状光ガイドは、光ガイドの上面および底面(すなわち、反対側の面)によって境界を定められた実質的に直交する2つの方向に光を導くように構成された光ガイドとして定義される。さらに、本明細書の定義により、上面および底面は両方とも互いに分離されており、少なくとも差動的な意味で互いに実質的に平行であってもよい。すなわち、プレート状光ガイドの任意の異なる小さな領域内では、上面と底面は実質的に平行または同一平面上にある。
いくつかの実施形態では、プレート状光ガイドは実質的に平坦(すなわち、平面に限定)であり得、したがって、プレート状光ガイドは平面光ガイドである。他の実施形態では、プレート状光ガイドは、1つまたは2つの直交する次元で湾曲していてもよい。例えば、プレート状光ガイドは、円柱状のプレート状光ガイドを形成するために一次元で湾曲していてもよい。しかし、任意の曲率は、光を導くためのプレート状光ガイド内で全内部反射が維持されるのを保証するのに十分に大きい曲率半径を備える。
本明細書において、「回折格子」は一般に、回折格子に入射する光の回折を提供するように配置された複数の特徴部(すなわち、回折特徴部)として定義される。いくつかの例で、複数の特徴部は周期的または準周期的に配置されてもよい。他の例では、回折格子は、複数の回折格子を含む混合周期回折格子であってもよく、複数の回折格子のそれぞれは、特徴部の異なる周期的配置を有する。さらに、回折格子は、一次元(1D)のアレイに配置された複数の特徴部(例えば、材料の表面の複数の溝または***)を含み得る。あるいは、回折格子は、特徴部の二次元(2D)アレイまたは二次元で定義される特徴部のアレイを含んでもよい。回折格子は、例えば、材料表面上のバンプまたは穴の2Dアレイであってもよい。いくつかの例では、回折格子は、第1の方向または次元で実質的に周期的であり、回折格子を横切るまたは回折格子に沿った別の方向で、実質的に非周期的(例えば、一定、ランダムなど)であり得る。
したがって、本明細書の定義により、「回折格子」は、回折格子に入射する光の回折を提供する構造である。光が光ガイドから回折格子に入射する場合、提供された回折または回折散乱は、回折格子が回折によって光ガイドから光を結合出力できるという点で、「回折結合」に至り、そのため「回折結合」と呼ばれることがある。回折格子はまた、回折により(すなわち、回折角で)光を方向転換または光の角度を変更する。特に、回折の結果として、回折格子(すなわち、回折光)を出る光は一般に、回折格子に入射する光(すなわち、入射光)の伝播方向とは異なる伝播方向を有する。回折による光の伝播方向の変化は、本明細書では「回折方向転換」と呼ばれる。したがって、回折格子は、回折格子に入射する光を回折的に方向転換する回折特徴部を含む構造であると理解することができ、光が光ガイドから入射する場合、回折格子はまた、光ガイドからの光を回折的に結合出力し得る。
さらに、本明細書の定義により、回折格子の特徴部は「回折特徴部」と呼ばれ、表面における、表面内、および表面上(すなわち、「表面」は2つの材料間の境界を示す)のうちの1つまたはそれ以上であり得る。表面は、プレート状光ガイドの表面であってもよい。回折特徴部は、溝、***、穴、およびバンプのうちの1つまたはそれ以上を含むがこれらに限定されない、光を回折する様々な構造のいずれかを含んでもよく、またこれらの構造は表面における、表面内、または表面上のうちの1つまたはそれ以上であってもよい。例えば、回折格子は、材料の表面に複数の平行な溝を含んでもよい。別の例では、回折格子は、材料の表面から立ち上がった状態である、複数の平行な***を含んでもよい。回折特徴部(溝、***、穴、バンプなどであっても)は、正弦波プロファイル、長方形のプロファイル(例えば、バイナリ回折格子)、三角形のプロファイルおよび鋸歯状のプロファイル(例えば、ブレーズド(blazed)格子)のうちの1つまたはそれ以上を含むがこれらに限定されない回折を提供する様々な断面形状またはプロファイルのいずれかを有してもよい。
本明細書で説明する様々な例によれば、回折格子(例えば、以下で説明する回折的なマルチビーム要素の回折格子)を使用して、光ガイド(例えば、プレート状光ガイド)からの光を光ビームとして回折的に散乱または結合することができる。特に、局所周期回折格子の回折角θまたはそれによって提供される回折角は、次のような式(1)によって得られる。
式中、λは光の波長、mは回折次数、nは光ガイドの屈折率、dは回折格子の特徴部間の距離または間隔、θは回折格子への光の入射角である。簡単にするために、式(1)は、回折格子が光ガイドの表面に隣接し、光ガイドの外側の材料の屈折率が1に等しい(つまり、nout=1)と仮定している。一般に、回折次数mは整数で得られる(つまり、m=±1、±2、…)。回折格子により生成される光ビームの回折角θは、式(1)により与えられ得る。一次回折、より具体的には、一次回折角θは、回折次数mが1に等しい場合(すなわち、m=1)に提供される。
さらに、いくつかの実施形態によれば、回折格子の回折特徴部は湾曲していてもよく、また、光の伝播方向に対して所定の向き(例えば、傾斜または回転)を有していてもよい。回折特徴部の曲線および回折特徴部の向きの一方または両方は、例えば、回折格子によって結合出力された光の方向を制御するように構成されてもよい。例えば、方向性光の主要角度方向は、入射光の伝播方向に対して光が回折格子に入射する点での回折特徴部の角度の関数であり得る。
本明細書の定義により、「マルチビーム要素」は、複数の光ビームを含む光を生成するバックライトまたはディスプレイの構造または要素である。「回折」マルチビーム要素は、定義により、回折結合によって、または回折結合を使用して、複数の光ビームを生成するマルチビーム要素である。特に、いくつかの実施形態において、回折マルチビーム要素は、バックライトの光ガイドに光学的に結合されて、光ガイド内で誘導される光の一部を回折的に結合出力することにより、複数の光ビームを提供し得る。さらに、本明細書の定義により、回折マルチビーム要素は、マルチビーム要素の境界または範囲内に複数の回折格子を含む。マルチビーム要素によって生成される複数の光ビームのうちの光ビームは、本明細書の定義により、互いに異なる主要角度方向を有する。特に、定義により、複数の光ビームの光ビームは、複数の光ビームの他の光ビームとは異なる所定の主要角度方向を有する。様々な実施形態によれば、回折マルチビーム要素の回折格子内の回折特徴部の間隔または格子ピッチは、サブ波長(すなわち、導波光の波長未満)であり得る。
複数の回折格子を備えたマルチビーム要素は、以下の説明において例示的な例として使用され得るが、いくつかの実施形態では、マルチビーム要素例えばマイクロ反射要素およびマイクロ屈折要素の少なくとも一方において、他の構成要素が使用され得る。例えば、マイクロ反射要素は、三角形の鏡、台形の鏡、角錐の形の鏡、長方形の鏡、半球の形の鏡、凹面鏡および/または凸面鏡を含むことができる。いくつかの実施形態では、マイクロ屈折要素は、三角形の屈折要素、台形の屈折要素、ピラミッドの形状の屈折要素、長方形の屈折要素、半球の形状の屈折要素、凹面の屈折要素、および/または凸面の屈折要素を含み得る。
様々な実施形態によれば、複数の光ビームは光照射野を表してもよい。例えば、複数の光ビームは、実質的に円錐形の空間領域に限定されるか、複数の光ビーム内の光ビームの異なる主要角度方向を含む所定の角度の広がりを有し得る。したがって、組み合わされた光ビーム(すなわち、複数の光ビーム)の所定の角度の広がりは、光照射野を表せる。
様々な実施形態によれば、複数の光ビームにおける様々な光ビームの異なる主要角度方向は、「回折ピッチ」または回折特徴部の間隔に沿った回折マルチビーム要素のサイズ(例えば、長さ、幅、面積などの1つまたはそれ以上)、および回折マルチビーム要素内の回折格子の方向を含むがこれらに限定されない特性によって決定される。いくつかの実施形態では、回折マルチビーム要素は、本明細書の定義により、「拡張した点光源」、すなわち回折マルチビーム要素の範囲全体に分布する複数の点光源と見なされ得る。さらに、回折マルチビーム要素によって生成される光ビームは、本明細書の定義により、図1Bに関して上述したように、角度成分{θ,φ}により得られる主要角度方向を有する。
本明細書では、「コリメータ」は、光をコリメートするように構成された実質的に任意の光学デバイスまたは装置として定義される。例えば、コリメータは、コリメーティングミラーまたはリフレクタ、コリメーティングレンズ、コリメーティング回折格子、およびそれらの様々な組み合わせを含み得るが、これらに限定されない。
本明細書では、σで示される「コリメーション係数」は、光がコリメーションされる度合いとして定義される。特に、コリメーション係数は、本明細書の定義により、コリメート光ビーム内にある光線の角度の広がりを規定する。例えば、コリメーション係数σは、コリメート光のビーム内の光線の大部分が特定の角度の広がり内にあることを指定する場合がある(例えば、コリメート光ビームの中心または主要角度方向を中心として+/−σ度)。いくつかの例によれば、コリメート光ビームの光線は角度に関してガウス分布を有することがあり、角度の広がりはコリメート光ビームのピーク強度の半分にて決定される角度であり得る。
本明細書において、「光源」は、光の供給源(例えば、光を発する装置またはデバイス)として定義される。例えば、光源は、作動すると光を発する発光ダイオード(LED)であってもよい。光源は、実質的に任意の光源であるか、発光ダイオード(LED)、レーザ、有機発光ダイオード(OLED)、ポリマー発光ダイオード、プラズマベースの光エミッタ、蛍光灯、白熱灯、および実質的に任意の他の光源のうちの1つまたはそれ以上を含むがこれらに限定されない光エミッタであってよい。光源によって生成された光は、色を有していても(つまり、特定の波長の光を含んでも)、特定の光の波長(例えば白色光)を含んでいてもよい。さらに、「複数の異なる色の光源」は、本明細書では、光源の少なくとも1つが、複数の光源のうちの少なくとも1つの他の光源によって生成される光の色または波長とは異なる色または同等の波長を有する光を生成する、光源のセットまたはグループとして明示的に定義される。異なる色には、例えば原色(例えば、赤、緑、青)が含まれる場合がある。さらに、「複数の異なる色の光源」は、複数の光源の少なくとも2つの光源が異なる色の光源である限り、同じまたは実質的に同様の色の複数の光源を含み得る(すなわち、少なくとも2つの光源が異なる色の光を生成する)。したがって、本明細書の定義により、「異なる色の複数の光源」は、第1の色の光を生成する第1の光源と、第2の色の光を生成する第2の光源を含むことができ、第2の色は第1の色とは異なる色である。
本明細書では、「配置」または「パターン」は、要素の相対的な位置と要素の数によって定義される要素間の関係として定義される。より具体的には、本明細書で使用される場合、「配置」または「パターン」は、要素間の間隔または要素の配列の辺のサイズを定義しない。本明細書で定義される場合、「正方形」の配置は、2つの実質的に直交する方向(例えば、x方向およびy方向)の各々で等しい数の要素(例えばカメラ、ビューなど)を含む長方形の要素の配置である。一方、「長方形」の配置は、2つの直交方向のそれぞれに異なる数の要素を含む直線の配置として定義される。
本明細書において、アレイの要素間の間隔または分離は、定義により「ベースライン」または同等に「ベースラインの距離」と呼ばれる。例えば、カメラのアレイのカメラは、カメラアレイの個々のカメラ間の空間または距離を定義するベースラインの距離によって互いに分離されてもよい。
さらに、本明細書の定義により、「広角放出光」のような「広角」という用語は、マルチビュー画像またはマルチビューディスプレイのビューの円錐角より大きい円錐角を有する光として定義される。特に、いくつかの実施形態では、広角放出光は、約60度(60°)より大きい円錐角を有し得る。他の実施形態では、広角放出光円錐角は、約50度(50°)より大きくても、約40度(40°)より大きくてもよい。例えば、広角放出光の円錐角は約120度(120°)になり得る。あるいは、広角放出光は、ディスプレイの法線方向に対してプラスおよびマイナス45度より大きい(例えば、>±45°)角度の範囲を有してもよい。他の実施形態では、広角放出光の角度の範囲は、プラスおよびマイナス50度よりも大きく(例えば、>±50°)、プラスおよびマイナス60度よりも大きく(例えば、>±60°)、またはプラスおよびマイナス65度より大きく(例、>±65°)てもよい。例えば、広角放出光の角度の範囲は、ディスプレイの法線方向の両側で約70度より大きくてもよい(例えば、>±70°)。「広角バックライト」は、本明細書の定義により広角放出光を提供するように構成されたバックライトである。
いくつかの実施形態では、広角放出光円錐角は、LCDコンピュータモニタ、LCDタブレット、LCDテレビ、または広い見る角度(例えば、約±40〜65°)を目的とする同様のデジタル表示装置の見る角度とほぼ同じであると定義されてもよい。他の実施形態では、広角放出光はまた、拡散光、実質的に拡散した光、無方向性の光(すなわち、いずれの特定のまたは定義された方向性をも欠く)、または単一のもしくは実質的に均一な方向を有する光として特徴付けまたは説明されてもよい。
本明細書に記載の原理と一致する実施形態は、集積回路(IC)、超大規模集積(VLSI)回路、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、グラフィカルプロセッサユニット(GPU)など、ファームウェア、ソフトウェア(例えばプログラムモジュールまたは一連の命令)のうちの1つまたはそれ以上、および上記の2つ以上の組み合わせを含むがこれらに限定されない様々なデバイスおよび回路を使用して実装され得る。例えば、以下で説明する画像プロセッサまたは他の要素はすべて、ASICまたはVLSI回路内の回路要素として実装されてもよい。ASICまたはVLSI回路を使用する実装は、ハードウェアベースの回路の実装の例である。
別の例では、画像プロセッサの実施形態は、コンピュータによって実行される(例えば、メモリに格納され、プロセッサまたはコンピュータのグラフィックスプロセッサによって実行される)、動作環境またはソフトウェアベースのモデリング環境(例えば、MATLAB(登録商標)、MathWorks,Inc、ナティック、マサチューセッツ州)で実行されるコンピュータプログラミング言語(例えば、C/C++)を使用するソフトウェアとして実装され得る。1つまたはそれ以上のコンピュータプログラムまたはソフトウェアがコンピュータプログラムメカニズムを構成してよく、プログラミング言語がコンパイルまたは解釈される場合がある、例えば、プロセッサまたはコンピュータのグラフィックプロセッサにより実行されるよう構成可能または構成(この説明で交換可能に使用される)されることに留意されたい。
さらに別の例では、本明細書で説明する装置、デバイス、またはシステム(例えば、画像プロセッサ、カメラなど)のブロック、モジュール、または要素は、実際のまたは物理的な回路(例えば、ICまたはASIC)を用いて実装できるが、別のブロック、モジュール、または要素をソフトウェアまたはファームウェアで実装できる。特に、上記の定義によれば、本明細書で説明するいくつかの実施形態は、実質的にハードウェアベースの回路アプローチまたはデバイス(例えば、IC、VLSI、ASIC、FPGA、DSP、ファームウェアなど)を使用して実装できるが、他の実施形態はまた、コンピュータプロセッサまたはグラフィックプロセッサを使用してソフトウェアを実行するソフトウェアまたはファームウェアとして、あるいはソフトウェアまたはファームウェアとハードウェアベースの回路の組み合わせとしてなどで実装され得る。
さらに、本明細書で使用される場合、冠詞「a」は、特許技術におけるその通常の意味、すなわち「1つまたはそれ以上の」という意味を有することを意図している。例えば、「カメラ」は1つまたはそれ以上のカメラを意味するため、ここで「カメラ」とは「カメラ(複数可)」を意味する。また、「上(top)」、「下(bottom)」、「上(upper)」、「下(lower)」、「上(up)」、「下(down)」、「前(front)」、「後ろ(back)」、「第1(first)」、「第2(second)」、「左(left)」または「右(right)」に対する本明細書のいずれの言及も、本明細書では制限を意図するものではない。本明細書において、「約」という用語は、値に適用される場合、他に明示的に記していない限り、通常、値を生じるために使用される機器の許容範囲内であることを意味し、または、プラスまたはマイナス10%、プラスまたはマイナス5%、またはプラスまたはマイナス1%を意味する場合がある。さらに、本明細書で使用される「実質的に」という用語は、過半数、またはほぼすべて、またはすべて、または約51%から約100%の範囲内の量を意味する。さらに、本明細書の例は、例示のみを目的とするものであり、限定目的ではなく、論じる目的で提示されている。
本明細書に記載の原理のいくつかの実施形態によれば、マルチビューカメラアレイが提供される。図2Aは、本明細書に記載の原理と一致する実施形態による、例におけるマルチビューカメラアレイ100の斜視図を示す。図2Bは、本明細書で説明する原理と一致する実施形態による、例における図2Aのマルチビューカメラアレイ100の側面図を示す。図2Cは、本明細書で説明する原理と一致する実施形態による、別の例におけるマルチビューカメラアレイ100の正面図を示す。マルチビューカメラアレイ100は、シーン102のマルチビュー画像をキャプチャするように構成される。特に、マルチビューカメラアレイ100は、シーン102のマルチビュー画像の異なるビューを表すシーン102の複数の画像104をキャプチャするように構成され得る。さらに、様々な実施形態によれば、異なるビューは、シーン102の異なる透視図であってもよい。シーンまでの距離fも(例えば、図2Bに)示されている。距離fは、マルチビューカメラアレイ100の「焦点面」と呼ばれることがある。
図示のように、マルチビューカメラアレイ100は、第1のベースラインの距離bだけ互いに離間したカメラ110の第1のサブアレイを含む。すなわち、カメラ110の第1のサブアレイ内のカメラ110の隣接する対のカメラ110は、図示されるように、第1のベースラインbに従って互いに分離される。いくつかの実施形態では、第1のカメラサブアレイの隣接するカメラ110の各対の間の第1のベースラインの距離bは等しいか実質的に等しい。カメラ110の第1のサブアレイのカメラ110間の第1のベースラインの距離bは、シーン102の異なる透視図をカメラ110に提供するように構成される。次に、異なる視点のビューは、マルチビュー画像の異なるビューを表してもよい。したがって、第1のカメラサブアレイのカメラ110は、様々な実施形態に従って、シーン102の複数の画像104に対して構成され、各画像104は、シーン102のマルチビュー画像の異なるビューを表す。
図2A〜図2Cに示すマルチビューカメラアレイ100は、第2のベースラインの距離bだけ互いに離間したカメラ120の第2のサブアレイをさらに備える。第1のカメラサブアレイと同様に、カメラ120の第2のサブアレイ内のカメラ120の隣接する対のカメラ120は、図示されるように、第2のベースラインbに従って互いに分離される。いくつかの実施形態では、第2のカメラサブアレイの隣接するカメラ120の各対の間の第2のベースラインの距離bは等しいかまたは実質的に等しい。さらに、カメラの第1のサブアレイと同様に、第2のカメラサブアレイのカメラ120間の第2のベースラインの距離bは、シーン102の異なる透視図をカメラ120に提供するように構成される。したがって、カメラの第2のサブアレイのカメラ120はまた、様々な実施形態に従って、シーン102の複数の画像104をキャプチャするように構成され、各画像104はシーン102のマルチビュー画像の異なるビューを表す。
様々な実施形態によれば、マルチビューカメラアレイ100は、3つ以上(すなわち、3つまたはそれより多い)のカメラ110、120を含む。さらに、カメラ110、120の第1および第2のサブアレイのそれぞれは、2つ以上のカメラ110、120を備える。様々な実施形態によれば、第1のベースラインの距離bは、第2のベースラインの距離bの整数倍である(すなわち、b=n・bであり、nは整数である)。加えて、第1および第2のカメラサブアレイの1つまたはそれ以上のカメラ110、120は、各サブアレイに共通であるか、各サブアレイのメンバーである。特に、カメラ120の第2のサブアレイの少なくとも1つのカメラ120は、図示のように、カメラ110の第1のサブアレイのメンバーである。
いくつかの実施形態では、カメラ110の第1のサブアレイ内のカメラ110の数は、カメラ120の第2のサブアレイ内のカメラ120の数に等しい。他の実施形態では、第1のカメラアレイおよび第2のカメラサブアレイは、それぞれ異なる数のカメラ110、120を有してもよい。いくつかの実施形態では、マルチビュー画像の異なるビューの数は、第1のカメラサブアレイおよび第2のカメラサブアレイの一方または両方のカメラ110、120の数に対応し得る。いくつかの実施形態では、カメラ110の第1のサブアレイおよびカメラ120の第2のサブアレイの一方または両方は線形アレイである。すなわち、サブアレイのカメラ110、120は、共通の直線軸に沿って配置される。他の実施形態では、アレイは曲線状であってもよい(すなわち、カメラ110、120は曲線軸に沿って配置されてもよい)。いくつかの実施形態では、カメラ120の第2のサブアレイのカメラ120は、カメラ110の第1のサブアレイのカメラ110とインターリーブされてもよい。例えば、カメラ110、120は、共通した軸例えば共通の線形軸に沿ってインターリーブされてもよい。
例えば、図2Cは、4つのカメラ110、120を含むカメラ110の第1のサブアレイとカメラ120の第2のサブアレイのそれぞれを示している。さらに、第1および第2のカメラサブアレイのカメラ110、120は、図2Cの破線で表される共通の直線軸に沿って配置される。さらに依然図2Cでは、第2のカメラサブアレイのカメラ120は、共通の直線軸に沿って第1のカメラサブアレイのカメラ110とインターリーブされている。さらに、図2A〜図2Cのそれぞれに示されるように、少なくとも1つのカメラ110、120は、第1および第2のカメラサブアレイの間で共通である。いくつかの実施形態によれば、第1および第2のカメラサブアレイ間でカメラ110、120を共有することにより、マルチビューカメラアレイ100内のカメラ110、120の総数を減らすことができる。
様々な実施形態において、カメラ110、120の異なる組み合わせを異なる方法で使用して、マルチビューカメラアレイ100によってマルチビュー画像をキャプチャすることができる。例えば、カメラ110の第1のサブアレイおよびカメラ120の第2のサブアレイのうちの選択される1つは、異なるビューを表すシーン102の複数の画像104を提供するように構成され得る。様々な実施形態において、カメラ110、120の第1および第2のサブアレイのうちの選択される1つは、それぞれの第1および第2のベースラインb、bのいずれが所与のシーン102のマルチビュー画像を関連する距離fまたは焦点面で生成するのに最も適しているかに基づいて決定され得る。
特に、いくつかの実施形態では、マルチビューカメラアレイ100は、シーン102内のオブジェクトとマルチビューカメラアレイ100との間の距離(例えば、距離f)に基づいて第1および第2のカメラサブアレイの選択される一方を決定するように構成される。距離は、例えば、超音波またはレーザベースの距離センサによって測定され得る。他の実施形態では、マルチビューカメラアレイ100のカメラ110、120のオートフォーカスは、オートフォーカスの焦点面に基づいて第1および第2のカメラサブアレイの選択される1つを自動的に決定するように構成され得る。さらに別の実施形態では、第1および第2のカメラサブアレイのうちの選択される1つは、使用者(例えば、使用者の入力)によって選択され得る。例えば、マルチビューカメラアレイ100の使用者は、例えば物質のボタンを押すか、ユーザインターフェースで仮想アイコンをアクティブにすることにより、カメラ110の第1サブアレイおよびカメラ120の第2サブアレイの1つを手動で選択することなどができる。
いくつかの実施形態では、カメラ110、120の選択されたサブアレイのカメラ110、120のみが、マルチビュー画像をキャプチャするために採用される。例えば、カメラ110の第1のサブアレイを選択することができ、第1のカメラサブアレイのカメラ110のみが起動され、マルチビュー画像を構成する複数の画像104をキャプチャするために使用する。別の例では、カメラ120の第2のサブアレイを選択し、複数の画像104をキャプチャするために使用することができる。他の実施形態では、第1および第2のカメラサブアレイのそれぞれに由来するカメラ110、120が起動され、画像をキャプチャするために使用され得る。これらの実施形態では、キャプチャ後の期間中に提供される第1のカメラサブアレイまたは第2のカメラサブアレイのいずれかによってキャプチャされた画像の選択を利用して、キャプチャ画像のどれがマルチビュー画像の複数の画像104に含まれるかを決定することができる。
第1および第2のベースラインb、bは、複数の画像104間で異なる量の視差を提供し得ることに留意されたい。異なる量の視差は、例えば、シーンまでの異なる距離fに基づいて望ましい質を備えるマルチビュー画像を生成し得る。具体的には、ベースラインb、bを使用して、使用者に特定のシーンを多かれ少なかれ「3D」に見えるまたは見せるために十分な3次元(3D)画像特性(画像視差)を提供できる。例えば、より小さなベースライン(例えば図2Cの最初のベースラインb)を使用して、カメラ110、120に相対的に近いオブジェクト(例えば花瓶のグループまたはマルチビューカメラアレイ100に近い人々)を含むシーンを撮像することができる。あるいは、すべてのカメラ110、120の焦点が無限遠である場合でも、相対的に長いベースライン(例えば第2のベースラインb)を使用して、相対的に遠いオブジェクト(例えば山)で別のシーンを撮像することができる。
様々な実施形態によれば、第1および第2のカメラサブアレイのカメラ110、120は、実質的に任意のカメラまたは関連するイメージングデバイスまたは画像キャプチャデバイスを備えてもよい。特に、カメラ110、120は、デジタル画像をキャプチャするように構成されたデジタルカメラであってもよい。例えば、デジタルカメラには、デジタルイメージセンサ例えば電荷結合要素(CCD)イメージセンサ、相補型金属酸化膜半導体(CMOS)イメージセンサ、または裏面照射型CMOS(BSI−CMOS)センサが含まれるが、これらに限定されない。さらに、カメラ110、120は、様々な実施形態に従って、静止画像(例えば、写真)および動画(例えば、ビデオ)の一方または両方をキャプチャするように構成され得る。いくつかの実施形態では、カメラ110、120は、複数の画像の振幅または強度および位相の情報をキャプチャする。
本明細書に記載の原理の他の実施形態によれば、マルチビューシステムが提供される。図3は、本明細書に記載の原理と一致する実施形態による、一例におけるマルチビューシステム200のブロック図を示す。マルチビューシステム200を使用して、シーン202のセットまたは複数の方向性ビュー204としてシーン202をキャプチャまたは撮像することができる。さらに、マルチビューシステム200は、様々な実施形態に従って、シーン202のキャプチャされた複数の方向性ビュー204を表すマルチビュー画像206を表示するように構成され得る。
図3に示すように、マルチビューシステム200は、マルチビューカメラアレイ210を含む。マルチビューカメラアレイ210は、シーン202のマルチビュー画像206をキャプチャするように構成された複数のカメラサブアレイ212を含む。複数のカメラサブアレイ212のカメラは、互いにインターリーブされている。さらに、カメラサブアレイ212のうちの少なくとも2つは、共通のカメラを有している、すなわち、共通のカメラを共有している。いくつかの実施形態では、マルチビューカメラアレイ210は、上述のマルチビューカメラアレイ100と実質的に同様であってもよい。さらに、カメラサブアレイ212は、カメラ110、120の第1および第2のサブアレイと実質的に同様であってもよい。特に、様々な実施形態によれば、カメラサブアレイ212の異なるものの中の隣接するカメラ間のベースラインの距離は、互いに整数倍である。いくつかの実施形態では、複数のカメラサブアレイ212のカメラは、共通の線形軸に沿って配置されてもよく、マルチビューカメラアレイ210は線形アレイである。
図3に示すマルチビューシステム200は、マルチビュー画像206を表示するように構成されたマルチビューディスプレイ220をさらに備える。いくつかの実施形態では、マルチビュー画像206の異なる方向性ビュー204の数は、マルチビューカメラアレイ210のカメラサブアレイ212内のカメラの数に対応し得る。例えば、カメラサブアレイ212はそれぞれ4つのカメラを含むことができ、異なる方向性ビュー204の数に対応する画像の数は4に等しくてよい。別の例では、カメラサブアレイ212は、6つまたは8つのカメラを含むことができ、マルチビューカメラアレイ210によってキャプチャされマルチビューディスプレイ220により表示されるマルチビュー画像206には6つまたは8つの画像があり得る。
いくつかの実施形態では、マルチビュー画像206の異なる方向性ビュー204は、複数のカメラサブアレイ212のうちの選択されたカメラサブアレイ212の異なるカメラによってキャプチャされた画像に対応する。選択されたカメラサブアレイ212は、例えば、使用者によって選択されるものと、シーン202内のオブジェクトとマルチビューカメラアレイ210との間の距離に従って自動的に選択されるものの、一方または両方であり得る。いくつかの実施形態では、オブジェクトとマルチビューカメラアレイ210との間の距離は、マルチビューカメラアレイ210のカメラのオートフォーカスの状態によって決定される。いくつかの実施形態では、複数のカメラサブアレイの各カメラサブアレイ212は、同等の数のカメラを有し、一方で他の実施形態では、カメラの数は異なる。
様々な実施形態によれば、マルチビューディスプレイ220は、実質的に任意のマルチビューディスプレイまたはマルチビュー画像を表示可能なディスプレイであり得る。いくつかの実施形態では、マルチビューディスプレイ220は、光の方向性の散乱およびその後の散乱光の変調を使用して、マルチビュー画像206を提供または表示するマルチビューディスプレイであってもよい。
図4Aは、本明細書に記載の原理と一致する実施形態による、例におけるマルチビューディスプレイ300の断面図を示す。図4Bは、本明細書に記載の原理と一致する実施形態による、例におけるマルチビューディスプレイ300の平面図を示す。図4Cは、本明細書に記載の原理と一致する実施形態による、例におけるマルチビューディスプレイ300の斜視図を示す。図4Cの斜視図は、本明細書での議論を容易にするためだけに、部分的に切欠いた状態で示されている。いくつかの実施形態によれば、マルチビューディスプレイ300は、マルチビューシステム200のマルチビューディスプレイ220として採用されてもよい。
図4A〜図4Cに示すマルチビューディスプレイ300は、互いに異なる主要角度方向を有する複数の方向性光ビーム302を提供するように構成されている(例えば、光照射野として)。特に、様々な実施形態によると、提供された複数の方向性光ビーム302は、マルチビューディスプレイ300のそれぞれの見る方向に対応する異なる主要角度方向に、またはマルチビューディスプレイ300によって表示されるマルチビュー画像(例えば、マルチビュー画像206)の異なるビューの方向(例えば、方向性ビュー204)に等価に対応するように、散乱してマルチビューディスプレイ300から遠ざかる方向に構成される。様々な実施形態によれば、方向性光ビーム302を変調して(例えば、後述するライトバルブを使用して)、マルチビューコンテンツ、すなわちマルチビュー画像206を有する情報の表示を容易にすることができる。図4A〜図4Cはまた、サブピクセルおよびライトバルブ330のアレイを含むマルチビューピクセル306を示しており、これについては以下でさらに詳細に説明する。
図4A〜図4Cに示されるように、マルチビューディスプレイ300は、光ガイド310を含む。光ガイド310は、光を導波光304(すなわち、導波光ビーム)として光ガイド310の長さに沿って導くように構成される。例えば、光ガイド310は、光導波路として構成された誘電材料を含むことができる。誘電材料は、誘電光導波路を取り囲む媒体の第2の屈折率よりも大きい第1の屈折率を有してもよい。屈折率の差は、例えば、光ガイド310の1つまたはそれ以上のガイドモードに従って導波光304の全内部反射を促進するように構成される。
いくつかの実施形態では、光ガイド310は、光学的に透明な誘電材料の延長された実質的に平面のシートを含むスラブまたはプレート光導波路(すなわち、プレート状光ガイド)であり得る。誘電材料の実質的に平面のシートは、全内部反射を使用して導波光304を誘導するように構成される。様々な例によれば、光ガイド310の光学的に透明な材料は、様々なタイプのガラス(例えば、シリカガラス、アルカリ−アルミノケイ酸塩ガラス、ホウケイ酸塩ガラスなど)および実質的に光学的に透明なプラスチックまたはポリマー(例えばポリ(メチルメタクリレート)または「アクリルガラス」、ポリカーボネートなど)のうちの1つまたはそれ以上を含むが、これらに限定されない様々な誘電材料のいずれかを含むか、それらから構成されてもよい。いくつかの例では、光ガイド310は、光ガイド310の表面(例えば、上面および底面の一方または両方)の少なくとも一部にクラッド層(図示せず)をさらに含むことができる。クラッド層は、いくつかの例によれば、全内部反射をさらに促進するために使用されてもよい。
さらに、いくつかの実施形態によれば、光ガイド310は、光ガイド310の第1の表面310’(例えば、「前側の」表面または面)と第2の表面310”(例えば、「後ろ側の」表面または面)との間の非ゼロ伝播角での全内部反射に従って導波光304を誘導するように構成される。特に、導波光304は、光ガイド310の第1の表面310’と第2の表面310’’との間を非ゼロ伝播角で反射または「跳ね返る」ことにより誘導され、したがって伝播する。いくつかの実施形態では、異なる色の光を含む導波光304の複数の導波光ビームは、異なる、色固有の、非ゼロ伝播角のそれぞれで光ガイド310によって誘導され得る。わかりやすくするために、図4A〜図4Cには非ゼロ伝播角は示されていないことに留意されたい。しかし、伝播方向303を示す太い矢印は、図4Aの光ガイドの長さに沿った導波光304の一般的な伝播方向を示している。
本明細書で定義されるように、「非ゼロ伝播角」は、光ガイド310の表面(例えば、第1の表面310’または第2の表面310’’)に対する角度である。さらに、様々な実施形態によれば、非ゼロ伝播角は、ゼロより大きく、かつ光ガイド310内の全内部反射の臨界角より小さい。例えば、導波光304の非ゼロ伝播角は、約10°から約50°の間、またはいくつかの例では、約20°から約40°の間、もしくは約25°から約35°の間であり得る。例えば、非ゼロ伝播角は約30°である。他の例では、非ゼロ伝播角は約20°、または約25°、または約35°であってもよい。さらに、特定の非ゼロ伝播角が、光ガイド310内の全内部反射の臨界角よりも小さくなるように選択される限り、特定の実装に対して特定の非ゼロ伝播角が選択されてもよい(例えば、任意に)。
光ガイド310内の導波光304は、非ゼロ伝播角(例えば、約30°〜35°)で光ガイド310に導入または結合され得る。いくつかの例では、回折、レンズ、ミラーまたは同様のリフレクタ(例えば、傾斜コリメートリフレクタ)、回折格子およびプリズム(図示せず)などを含むがこれらに限定されない結合構造、およびそれらの様々な組み合わせは、非ゼロ伝播角で導波光304として、光ガイド310の入力端への光の結合を促進し得る。他の例では、光は、結合構造を使用せずに、または実質的に使用せずに、光ガイド310の入力端に直接導入することができる(すなわち、直接または「突合せ(butt)」結合を使用することができる)。光ガイド310に結合されると、導波光304(例えば、導波光ビームとして)は、入力端から概ね離れていてもよい伝播方向303に光ガイド310に沿って伝播するように構成される(例えば、図4Aのx軸に沿った太字の矢印で示される)。
さらに、様々な実施形態によれば、導波光304、または同等に光を光ガイド310に結合することにより生成される導波光ビームは、コリメート光ビームであってもよい。本明細書において、「コリメート光」または「コリメート光ビーム」は、一般に、光ビームの光線が光ビーム内で互いに実質的に平行である光ビーム(例えば、導波光ビーム)として定義される。また、本明細書の定義により、コリメート光ビームから発散または散乱される光線は、コリメート光ビームの一部とは見なされない。いくつかの実施形態(図示せず)では、マルチビューディスプレイ300は、例えば光源からの光をコリメートするために、コリメータ例えば上述の格子、レンズ、リフレクタまたはミラー(例えば、傾斜コリメートリフレクタ)を含むことができる。いくつかの実施形態では、光源自体がコリメータを含む。いずれの場合も、光ガイド310に提供されるコリメート光は、コリメート導波光ビームである。様々な実施形態では、導波光304は、コリメーション係数σに従って、またはコリメーション係数σを有してコリメーションされてもよい。あるいは、他の実施形態では、導波光304はコリメートされていなくてもよい。
いくつかの実施形態では、光ガイド310は、導波光304を「再利用」するように構成されてもよい。特に、光ガイドの長さに沿ってガイドされた導波光304は、伝播方向303とは異なる別の伝播方向303’でその長さに沿って元に戻されてもよい。例えば、光ガイド310は、光源に隣接する入口端部の反対側の光ガイド310の端部に、リフレクタ(図示せず)を含むことができる。リフレクタは、導波光304を再利用導波光として入口端部に向かって反射して戻すように構成することができる。いくつかの実施形態では、別の光源は、光の再利用の代わりに、またはそれに加えて、他の伝播方向303’に導波光304を提供してもよい(例えば、リフレクタを使用)。導波光304を再利用すること、および他の伝播方向303’を有する導波光304を提供するために別の光源を使用することの一方または両方は、以下で説明するマルチビーム要素などに、導波光を複数回利用可能にすることで、マルチビューディスプレイ300の輝度を増加させる(例えば、方向性光ビーム302の強度を増加させる)ことができる。
図4Aでは、再利用された導波光の伝播方向303’を示す太い矢印(例えば、負のx方向に向けられている)は、光ガイド310内の再利用された導波光の一般的な伝播方向を示している。代替的に(例えば、導波光の再利用とは対照的に)、他の伝播方向303’で伝播する導波光304を、(例えば、伝播方向303を有する導波光304に加えて)他の伝播方向303’で光ガイド310に光を導入することにより、提供することができる。
図4A〜図4Cに示すように、マルチビューディスプレイ300は、光ガイドの長さに沿って互いに間隔を空けた複数のマルチビーム要素320をさらに含む。特に、複数のマルチビーム要素320は、有限の空間によって互いに分離されており、光ガイドの長さに沿った個々の別個の要素を表している。すなわち、本明細書の定義により、複数のマルチビーム要素320は、有限(すなわち、非ゼロ)の要素間の距離(例えば、有限の中心間距離)に従って互いに間隔を空けられている。さらに、いくつかの実施形態によれば、複数のマルチビーム要素320は一般に、互いに交差したり、重なり合ったり、さもなければ互いに接触したりしない。すなわち、複数の各マルチビーム要素320は、一般的に別個であり、マルチビーム要素320の他の要素から分離されている。
いくつかの実施形態によれば、複数のマルチビーム要素320は、1Dアレイまたは2Dアレイのいずれかに配置されてもよい。例えば、マルチビーム要素320は、線形1Dアレイとして配置されてもよい。別の例では、マルチビーム要素320は、長方形の2Dアレイまたは円形の2Dアレイとして配置されてもよい。さらに、アレイ(すなわち、1Dまたは2Dアレイ)は、いくつかの例では、規則的なアレイまたは均一なアレイであり得る。特に、マルチビーム要素320間の要素間の距離(例えば、中心間の距離または間隔)は、アレイにわたって実質的に均一または一定であり得る。他の例では、マルチビーム要素320間の要素間距離は、アレイ全体にわたり変えること、および光ガイド310の長さに沿って変えることの一方または両方ができる。
様々な実施形態によれば、複数のマルチビーム要素のマルチビーム要素320は、複数の方向性光ビーム302として導波光304の一部を提供、結合出力または散乱するように構成される。例えば、様々な実施形態によれば、導波光部分は、回折散乱、反射散乱、および屈折散乱または結合のうちの1つまたはそれ以上を使用して結合または散乱させてもよい。特に、図4Aおよび図4Cは、方向性光ビーム302を、光ガイド310の第1(または前側)の表面310’から離れるように方向付けられているように描かれた複数の分岐する矢印として示している。さらに、様々な実施形態によれば、マルチビーム要素320のサイズは、上で定義され、以下でさらに説明され、図4A〜図4Cに示されるように、マルチビューピクセル306のサブピクセル(または同等にライトバルブ330)のサイズに匹敵する。本明細書では、「サイズ」は、長さ、幅、または面積を含むがこれらに限定されない様々な様式のいずれかで定義され得る。例えば、サブピクセルまたはライトバルブ330のサイズはその長さであってもよく、マルチビーム要素320の匹敵するサイズはマルチビーム要素320の長さであってもよい。別の例では、サイズは、マルチビーム要素320の面積がサブピクセルの面積(または同等にライトバルブ330)に匹敵できるような面積を指し得る。
いくつかの実施形態では、マルチビーム要素320のサイズは、サブピクセルのサイズに匹敵しており、その結果マルチビーム要素のサイズがサブピクセルのサイズの約50パーセント(50%)から約200パーセント(200%)になる。例えば、マルチビーム要素サイズが「s」で示され、サブピクセルのサイズが「S」で示される場合(例えば、図4Aに示すように)、マルチビーム要素サイズsは以下により求められ得る。
他の例では、マルチビーム要素のサイズは、サブピクセルのサイズの約60パーセント(60%)より大きい、またはサブピクセルのサイズの約70パーセント(70%)より大きい、またはサブピクセルのサイズの約80パーセント(80%)より大きい、またはサブピクセルのサイズの約90パーセント(90%)より大きい範囲、またマルチビーム要素がサブピクセルのサイズの約180パーセント(180%)未満である、またはサブピクセルのサイズの約160パーセント(160%)未満である、またはサブピクセルのサイズの約140パーセント(140%)未満である、またはサブピクセルのサイズの約120パーセント(120%)未満である範囲である。例えば、「匹敵するサイズ」では、マルチビーム要素のサイズは、サブピクセルのサイズの約75パーセント(75%)から約150パーセント(150%)の間である。別の例では、マルチビーム要素320は、マルチビーム要素のサイズがサブピクセルのサイズの約125パーセント(125%)から約85パーセント(85%)の間で、サブピクセルとサイズが匹敵していてもよい。いくつかの実施形態によれば、マルチビーム要素320およびサブピクセルの匹敵するサイズは、マルチビューディスプレイのビュー間の暗いゾーンを減少させるか、いくつかの例では最小化するよう選択することができる。さらに、マルチビーム要素320およびサブピクセルの匹敵するサイズは、マルチビューディスプレイのビュー(またはビューピクセル)間のオーバーラップを低減し、いくつかの例では最小化するように選択することができる。
図4A〜図4Cに示されるマルチビューディスプレイ300は、複数の方向性光ビームの方向性光ビーム302を変調するように構成されたライトバルブ330のアレイをさらに含む。様々な実施形態では、液晶ライトバルブ、電気泳動ライトバルブ、およびエレクトロウェッティングに基づくライトバルブのうちの1つまたはそれ以上を含むがこれらに限定されない、ライトバルブアレイのライトバルブ330として、異なるタイプのライトバルブを使用することができる。
図4A〜図4Cに示されるように、異なる主要角度方向を有する方向性光ビーム302の異なるものは通過し、ライトバルブアレイ内のライトバルブ330の異なるものによって変調され得る。さらに、図示のように、アレイのライトバルブ330はマルチビューピクセル306のサブピクセルに対応し、ライトバルブ330のセットはマルチビューディスプレイのマルチビューピクセル306に対応する。特に、ライトバルブアレイのライトバルブ330の異なるセットは、マルチビーム要素320の対応するものからの方向性光ビーム302を受けるおよび変調するように構成される。すなわち、図示のように、各マルチビーム要素320に対してライトバルブ330の1つの独特なセットがある。
図4Aに示すように、第1のライトバルブセット330aは、第1のマルチビーム要素320aからの方向性光ビーム302を受け取り、変調するように構成される。さらに、第2のライトバルブセット330bは、第2のマルチビーム要素320bからの方向性光ビーム302を受け取り、変調するように構成される。したがって、ライトバルブアレイの各ライトバルブセット(例えば、第1および第2のライトバルブセット330a、330b)は、それぞれ異なるマルチビーム要素320(例えば、要素320a、320b)および異なるマルチビューピクセル306の両方に対応する。図4Aに示すように、ライトバルブセットの個々のライトバルブ330がそれぞれのマルチビューピクセル306のサブピクセルに対応する。
図4Aに示すように、マルチビューピクセル306のサブピクセルのサイズは、ライトバルブアレイ内のライトバルブ330のサイズに対応し得ることに留意されたい。他の例では、サブピクセルのサイズは、ライトバルブアレイの隣接するライトバルブ330間の距離(例えば、中心間距離)として定義されてもよい。例えば、ライトバルブ330は、ライトバルブアレイ内のライトバルブ330間の中心間の距離より小さくてもよい。サブピクセルのサイズは、例えば、ライトバルブ330のサイズ、またはライトバルブ330間の中心間距離に対応するサイズのいずれかとして定義されてもよい。
いくつかの実施形態では、マルチビーム要素320と対応するマルチビューピクセル306(すなわち、サブピクセルのセットとライトバルブ330の対応するセット)との間の関係は、1対1の関係であってもよい。すなわち、同数のマルチビューピクセル306およびマルチビーム要素320が存在し得る。図4Bは、例として、ライトバルブ330(および対応するサブピクセル)の異なるセットを含む各マルチビューピクセル306が破線で囲まれているように示される1対1の関係を明示的に示す。他の実施形態(図示せず)では、マルチビューピクセル306の数およびマルチビーム要素320の数は互いに異なっていてもよい。
いくつかの実施形態では、複数のマルチビーム要素320のペア間の要素間の距離(例えば、中心間の距離)は、例えば、ライトバルブセットによって表される、対応するマルチビューピクセル306のペア間のピクセル間の距離(例えば、中心間の距離)に等しくてもよい。例えば、図4Aに示すように、第1のマルチビーム要素320aと第2のマルチビーム要素320bとの間の中心間距離dは、第1のライトバルブセット330aと第2のライトバルブセット330bとの間の中心間距離Dに実質的に等しい。他の実施形態(図示せず)では、マルチビーム要素320および対応するライトバルブセットのペアの相対的な中心間距離は異なり得る。例えば、マルチビーム要素320は、要素間間隔(すなわち、中心間距離d)を有し得る。中心間距離dは、マルチビューピクセル306を表すライトバルブセット間の間隔(すなわち、中心間距離D)よりも大きいまたは小さいもののうちの1つである。
いくつかの実施形態では、マルチビーム要素320の形状は、マルチビューピクセル306の形状、または同等に、マルチビューピクセル306に対応するライトバルブ330のセット(または「サブアレイ」)の形状に類似している。例えば、マルチビーム要素320は正方形の形状を有してもよく、マルチビューピクセル306(または対応するライトバルブ330のセットの配置)は実質的に正方形であってもよい。別の例では、マルチビーム要素320は、長方形の形状を有してもよく、すなわち、幅または横方向寸法よりも長い長さまたは縦方向寸法を有してもよい。この例では、マルチビーム要素320に対応するマルチビューピクセル306(または同等にライトバルブ330のセットの配置)は、類似の矩形形状を有することができる。図4Bは、正方形のマルチビーム要素320およびライトバルブ330の正方形のセットを含む対応する正方形のマルチビューピクセル306の上面図または平面図を示す。さらに他の例(図示せず)では、マルチビーム要素320および対応するマルチビューピクセル306は、三角形、六角形、および円形を含むか、または少なくともこれらに近似しているが、これらに限定されない様々な形状を有する。
さらに(例えば、図4Aに示すように)、いくつかの実施形態によれば、各マルチビーム要素320は、特定のマルチビューピクセル306に割り当てられたサブピクセルのセットに基づいて、所与の時間にただ1つのマルチビューピクセル306に方向性光ビーム302を提供するように構成される。特に、マルチビーム要素320の所与の1つ、また特定のマルチビューピクセル306へのサブピクセルのセットの割り当てについて、マルチビューディスプレイの異なるビューに対応する異なる主要角度方向を有する方向性光ビーム302は、単一の対応するマルチビューピクセル306およびそのサブピクセル、すなわち、図4Aに示すように、マルチビーム要素320に対応する単一セットのライトバルブ330に実質的に限定される。したがって、マルチビューディスプレイ300の各マルチビーム要素320は、マルチビューディスプレイの異なるビューに対応する異なる主要角度方向のセットを有する(すなわち、方向性光ビーム302のセットが異なる見る方向のそれぞれに対応する方向を有する光ビームを含む)対応する方向性光ビーム302のセットを提供する。
マルチビューディスプレイ300は、光源340をさらに備えてもよい。様々な実施形態によれば、光源340は、光ガイド310内に誘導される光を提供するように構成される。特に、光源340は、光ガイド310の入射面または端部(入力端部)に隣接して配置することができる。様々な実施形態において、光源340は、LED、レーザ(例えば、レーザダイオード)、またはそれらの組み合わせを含むがこれらに限定されない実質的に任意の光源(例えば、光エミッタ)を備えてもよい。いくつかの実施形態では、光源340は、特定の色で示される狭帯域スペクトルを有する実質的に単色の光を生成するように構成された光エミッタを備えてもよい。特に、単色光の色は、特定の色の空間または色のモデル(例えば、赤緑青(RGB)の色のモデル)の原色である場合がある。他の例では、光源340は、実質的に広帯域または多色の光を提供するように構成された実質的に広帯域の光源であり得る。例えば、光源340は白色光を提供してもよい。いくつかの実施形態では、光源340は、異なる色の光を提供するように構成された複数の異なる光エミッタを備えてもよい。異なる光エミッタは、光の異なる色のそれぞれに対応する導波光の、異なる、色固有の、非ゼロ伝播角を有する光を提供するように構成されてもよい。
いくつかの実施形態では、光源340は、コリメータをさらに備えてもよい。コリメータは、光源340の光エミッタの1つまたはそれ以上から実質的にコリメートされていない光を受け取るように構成されてもよい。コリメータはさらに、実質的にコリメートされていない光をコリメート光に変換するように構成されている。特に、いくつかの実施形態によれば、コリメータは、非ゼロ伝播角を有し、所定のコリメーション係数σに従ってコリメートされるコリメート光を提供することができる。さらに、異なる色の光エミッタが使用される場合、コリメータは、異なる、色固有の、非ゼロ伝播角の一方または両方を有し、異なる、色固有のコリメーション係数を有するコリメート光を提供するように構成され得る。コリメータはさらに、コリメート光ビームを光ガイド310に伝達して、上述の導波光304として伝播するように構成される。
いくつかの実施形態では、マルチビューディスプレイ300は、導波光304の伝播方向303、303’に直交する(または実質的に直交する)光ガイド310を通る方向の光に対して実質的に透明になるように構成される。特に、いくつかの実施形態では、光ガイド310および離間したマルチビーム要素320により、光が第1の表面310’および第2の表面310’’の両方を通って光ガイド310を通過することができる。マルチビーム要素320のサイズが比較的小さいことと、マルチビーム要素320の要素間の間隔が比較的大きいこと(例えば、マルチビューピクセル306と1対1の対応)の両方により、少なくとも部分的に透明性が促進され得る。さらに、いくつかの実施形態によれば、マルチビーム要素320はまた、光ガイド表面310’、310’’に直交して伝播する光に対して実質的に透明であってもよい。
様々な実施形態によれば、光ガイド310に光学的に接続された回折格子、マイクロ反射要素および/またはマイクロ屈折要素を含む多種多様な光学的構成要素を使用して方向性光ビーム302を生成し、方向性光ビーム302として導波光304を散乱させることができる。これらの光学的構成要素は、光ガイド310の第1の表面310’、第2の表面310’’、または第1の表面310’と第2の表面310’’の間にさえ位置してもよいことに留意されたい。さらに、いくつかの実施形態によれば、光学的構成要素は、第1の表面310’または第2の表面310’’のいずれかから突出する「正の特徴部」であっても、第1の表面310’または第2の表面310’’に窪んでいる「負の特徴部」であってもよい。
いくつかの実施形態では、光ガイド310、マルチビーム要素320、光源340および/または任意のコリメータが、マルチビューバックライトとして機能する。このマルチビューバックライトは、例えば、マルチビューディスプレイ220として、マルチビューディスプレイ300のライトバルブアレイと共に使用されてもよい。例えば、マルチビューバックライトは、上記のように、ライトバルブ330のアレイの光源として(パネルバックライトとして頻繁に)機能し得、これはマルチビュー画像206の方向性ビュー204を提供するマルチビューバックライトによって提供される方向性光ビーム302を変調する。
いくつかの実施形態では、マルチビューディスプレイ300は、広角バックライトをさらに備えてもよい。特に、マルチビューディスプレイ300(またはマルチビューシステム200のマルチビューディスプレイ220)は、上述のマルチビューバックライトに加えて広角バックライトを含むことができる。広角バックライトは、例えば、マルチビューバックライトに隣接していてもよい。
図5は、本明細書に記載の原理に一致する実施形態による、例において広角バックライト350を含むマルチビューディスプレイ300の断面図を示す。図示のように、広角バックライト350は、第1のモードの最中に広角放出光308を提供するように構成される。様々な実施形態によれば、マルチビューバックライト(例えば、光ガイド310、マルチビーム要素320、および光源340)は、第2のモードの最中に方向性光ビーム302として方向性放出光を提供するように構成され得る。さらに、ライトバルブのアレイは、広角放出光308を変調して、第1のモードの最中に2次元(2D)画像を提供し、第2のモードの最中にマルチビュー画像を提供するよう方向性放出光(または方向性光ビーム302)を変調するように構成される。例えば、図5に示されるマルチビューディスプレイ300がマルチビューシステム200のマルチビューディスプレイ220として採用される場合、2D画像は、マルチビューカメラアレイ210の1つまたは複数のカメラによりキャプチャされ得る。したがって、いくつかの実施形態によれば、2D画像は、第2のモードの最中のシーン202の方向性ビュー204のうちの1つを単に表してもよい。
図5の左側に示されているように、マルチビーム要素320を使用して光ガイド310から散乱された方向性光ビーム302を提供するために光源340を起動することにより、マルチビューバックライトを使用してマルチビュー画像(MULTIVIEW)を提供することができる。あるいは、図5の右側に示すように、光源340を起動停止し、広角バックライト350を起動してライトバルブ330のアレイに広角放出光308を供給することにより、2D画像を提供することができる。したがって、広角バックライト350を含むマルチビューディスプレイ300は、様々な実施形態に従って、マルチビュー画像の表示と2D画像の表示との間で切り替えられ得る。
本明細書に記載の原理の他の実施形態によれば、マルチビュー画像のキャプチャの方法が提供される。図6は、本明細書に記載の原理と一致する実施形態による、例におけるマルチビュー画像をキャプチャする方法400のフローチャートを示す。図6に示すように、マルチビュー画像をキャプチャする方法400は、第1のベースラインの距離だけ互いに離間したカメラの第1のサブアレイを使用して、シーンの第1の複数の異なるビューをキャプチャすること410を含む。いくつかの実施形態では、カメラの第1のサブアレイは、マルチビューカメラアレイ100のカメラ110の第1のサブアレイと実質的に類似していてもよい。同様に、いくつかの実施形態によれば、シーンはシーン102に実質的に類似していてもよい。
図6に示すマルチビュー画像をキャプチャする方法400は、第2のベースラインの距離だけ互いに離間したカメラの第2のサブアレイを使用して、シーンの第2の複数の異なるビューをキャプチャすること420をさらに含む。様々な実施形態によれば、第1のベースラインの距離は、第2のベースラインの距離の整数倍である。さらに、様々な実施形態において、カメラの第2のサブアレイの少なくとも1つのカメラは、カメラの第1のサブアレイのメンバーである。いくつかの実施形態では、カメラの第2のサブアレイは、上述のマルチビューカメラアレイ100のカメラ120の第2のサブアレイと実質的に類似していてもよい。特に、様々な実施形態によれば、マルチビュー画像は、カメラの第1および第2のサブアレイの選択される1つを使用してキャプチャされたシーンの複数の異なるビューを含む。
いくつかの実施形態では、第1のサブアレイ内のカメラの数は、カメラの第2のサブアレイ内のカメラの数に等しい。いくつかの実施形態では、マルチビュー画像の異なるビューの数は、カメラの数に対応してもよい。いくつかの実施形態において、使用者の入力は、カメラの第1および第2のサブアレイのうちの選択される1つを決定し得る。あるいは、いくつかの実施形態では、マルチビューカメラアレイのカメラのオートフォーカスは、シーンの焦点面に基づいて第1および第2のカメラサブアレイの選択される1つを自動的に決定し得る。
したがって、マルチビューカメラアレイ、マルチビュー画像をキャプチャする方法、およびカメラのサブアレイが少なくとも1つのカメラを共有して含むマルチビューカメラアレイとマルチビューディスプレイを含むマルチビューシステムの例および実施形態を説明した。上記の例は、本明細書に記載の原理を表す多くの特定の例の一部を単に例示するものであることを理解されたい。明らかに、当業者は、添付の特許請求の範囲によって定義される範囲から逸脱することなく、多数の他の構成を容易に考案することができる。
図5は、本明細書に記載の原理に一致する実施形態による、例において広角バックライト350を含むマルチビューディスプレイ300の断面図を示す。図示のように、広角バックライト350は、第1のモードの最中に広角放出光352を提供するように構成される。様々な実施形態によれば、マルチビューバックライト(例えば、光ガイド310、マルチビーム要素320、および光源340)は、第2のモードの最中に方向性光ビーム302として方向性放出光を提供するように構成され得る。さらに、ライトバルブのアレイは、広角放出光352を変調して、第1のモードの最中に2次元(2D)画像を提供し、第2のモードの最中にマルチビュー画像を提供するよう方向性放出光(または方向性光ビーム302)を変調するように構成される。例えば、図5に示されるマルチビューディスプレイ300がマルチビューシステム200のマルチビューディスプレイ220として採用される場合、2D画像は、マルチビューカメラアレイ210の1つまたは複数のカメラによりキャプチャされ得る。したがって、いくつかの実施形態によれば、2D画像は、第2のモードの最中のシーン202の方向性ビュー204のうちの1つを単に表してもよい。
図5の左側に示されているように、マルチビーム要素320を使用して光ガイド310から散乱された方向性光ビーム302を提供するために光源340を起動することにより、マルチビューバックライトを使用してマルチビュー画像(MULTIVIEW)を提供することができる。あるいは、図5の右側に示すように、光源340を起動停止し、広角バックライト350を起動してライトバルブ330のアレイに広角放出光352を供給することにより、2D画像を提供することができる。したがって、広角バックライト350を含むマルチビューディスプレイ300は、様々な実施形態に従って、マルチビュー画像の表示と2D画像の表示との間で切り替えられ得る。

Claims (20)

  1. マルチビューカメラアレイであって、
    第1のベースラインの距離だけ互いに離れたカメラの第1のサブアレイ、および
    第2のベースラインの距離だけ互いに離れたカメラの第2のサブアレイであって、前記第1のベースラインの距離が前記第2のベースラインの距離の整数倍であり、カメラの前記第2のサブアレイの少なくとも1つのカメラはカメラの前記第1のサブアレイのメンバーである、カメラの第2のサブアレイ
    を含み、
    前記第1および第2のカメラサブアレイのカメラは、前記シーンのマルチビュー画像の異なるビューを表すシーンの複数の画像をキャプチャするように構成される、マルチビューカメラアレイ。
  2. カメラの前記第1のサブアレイのカメラの数が、カメラの前記第2のサブアレイの前記カメラの数に等しく、前記マルチビュー画像の前記異なるビューの数は、前記カメラの数に対応する、請求項1に記載のマルチビューカメラアレイ。
  3. カメラの前記第1のサブアレイおよびカメラの第2のサブアレイのそれぞれが線形アレイであり、カメラの前記第2のサブアレイのカメラが共通の直線軸に沿ったカメラの前記第1のサブアレイのカメラとインターリーブされる、請求項1に記載のマルチビューカメラアレイ。
  4. カメラの前記第1のサブアレイおよびカメラの前記第2のサブアレイのうちの選択される1つの前記カメラが、前記異なるビューを表す前記シーンの複数の画像を提供するように構成される、請求項1に記載のマルチビューカメラアレイ。
  5. 前記マルチビューカメラアレイが、前記シーンのオブジェクトと前記マルチビューカメラアレイとの間の距離に基づいて、前記第1および第2のカメラサブアレイの選択される1つを決定するように構成される、請求項4に記載のマルチビューカメラアレイ。
  6. 前記マルチビューカメラアレイのカメラのオートフォーカスが、焦点面に基づいて前記第1および第2のカメラサブアレイのうちの前記選択される1つを自動的に決定するように構成される、請求項4に記載のマルチビューカメラアレイ。
  7. マルチビューシステムであって、
    シーンのマルチビュー画像をキャプチャするように構成された複数のカメラサブアレイを有するマルチビューカメラアレイであって、前記複数のカメラサブアレイのカメラサブアレイが互いにインターリーブされ、前記カメラサブアレイの少なくとも2つはカメラを共有するマルチビューカメラアレイ、および
    前記マルチビュー画像を表示するように構成されたマルチビューディスプレイであって、前記マルチビュー画像の異なるビューの数が前記マルチビューカメラアレイの前記カメラサブアレイのカメラの数に対応するマルチビューディスプレイ
    を含み、
    前記カメラサブアレイの異なるものの中の隣接するカメラ間のベースラインの距離が互いに整数倍である、マルチビューシステム。
  8. 前記複数のカメラサブアレイのカメラが共通の線形軸に沿って配置され、前記マルチビューカメラアレイが線形アレイである、請求項7に記載のマルチビューシステム。
  9. マルチビュー画像の前記異なるビューは、前記複数のカメラサブアレイの選択されたカメラサブアレイの異なるカメラによってキャプチャされた画像に対応し、前記選択されたカメラサブアレイは、前記シーン内のオブジェクトと前記マルチビューカメラアレイの間の距離に応じて使用者により選択されるもの、および自動的に選択されるものの1つまたは両方である、請求項7に記載のマルチビューシステム。
  10. 前記距離が、前記マルチビューカメラアレイのカメラのオートフォーカスの状態によって決定される、請求項9に記載のマルチビューシステム。
  11. 前記複数のカメラサブアレイの各カメラサブアレイは、同等の数のカメラを有する、請求項7に記載のマルチビューシステム。
  12. 前記マルチビューディスプレイが、
    光ガイドを含むマルチビューバックライト、
    互いに離間し、前記マルチビュー画像の見る方向に対応する方向を有する方向性放出光として、前記光ガイドからの導波光を散乱させるように構成されるマルチビーム要素のアレイ、および
    前記方向性放出光を変調して前記マルチビュー画像を提供するように構成されたライトバルブアレイ
    を含み、
    マルチビーム要素の前記アレイのマルチビーム要素は、前記ライトバルブアレイのライトバルブのサイズに匹敵するサイズと、前記マルチビーム要素に関連付けられたマルチビューピクセルの形状に類似した形状を有する、請求項7に記載のマルチビューシステム。
  13. マルチビーム要素の前記アレイの個々のマルチビーム要素によって提供される前記方向性放出光が、前記マルチビュー画像の見る方向に対応する異なる主要角度方向を有する複数の方向性光ビームを含む、請求項12に記載のマルチビューシステム。
  14. マルチビーム要素の前記アレイの前記マルチビーム要素は、前記光ガイドに光学的に接続されて前記導波光を前記方向性放出光として散乱させる回折格子、マイクロ反射要素、およびマイクロ屈折要素のうちの1つまたはそれ以上を含む、請求項12に記載のマルチビューシステム。
  15. 前記マルチビューバックライトの前記光ガイドの入力に光学的に結合された光源をさらに備え、前記光源は、非ゼロ伝播角を有することと、所定のコリメーション係数に従ってコリメートされることの1つまたは双方で前記導波光を提供するように構成される、請求項12に記載のマルチビューシステム。
  16. 第1のモードの最中に広角放出光を提供するように構成された広角バックライトをさらに備え、前記マルチビューバックライトが第2のモードの最中に前記方向性放出光を提供するように構成され、
    前記ライトバルブアレイが、前記広角放出光を変調して前記第1のモードの最中に二次元画像を提供し、前記第2のモードの最中に前記方向性放出光を変調して前記マルチビュー画像を提供するように構成される、請求項12に記載のマルチビューシステム。
  17. マルチビュー画像をキャプチャする方法であって、
    第1のベースラインの距離だけ互いに離間したカメラの第1のサブアレイを使用して、シーンの第1の複数の異なるビューをキャプチャするステップ、および
    第2のベースラインの距離だけ互いに離間したカメラの第2のサブアレイを使用してシーンの第2の複数の異なるビューをキャプチャするステップであって、前記第1のベースラインの距離は前記第2のベースラインの距離の整数倍であり、カメラの前記第2のサブアレイの少なくとも1つのカメラがカメラの前記第1のサブアレイのメンバーである、ステップ
    を含み、
    前記マルチビュー画像は、カメラの前記第1および第2のサブアレイの選択される1つを使用してキャプチャされた前記シーンの前記複数の異なるビューを含む、方法。
  18. 前記第1のサブアレイのカメラの数が、カメラの前記第2のサブアレイのカメラの数に等しく、前記マルチビュー画像の前記異なるビューの数が前記カメラの数に対応する、請求項17に記載のマルチビュー画像をキャプチャする方法。
  19. 使用者の入力が、カメラの前記第1および第2のサブアレイのうちの前記選択される1つを決定する、請求項17に記載のマルチビュー画像をキャプチャする方法。
  20. 前記マルチビューカメラアレイのカメラのオートフォーカスが、前記シーンの焦点面に基づいて前記第1および第2のカメラサブアレイの前記選択される1つを自動的に決定する、請求項17に記載のマルチビュー画像をキャプチャする方法。
JP2020539675A 2017-10-02 2018-07-03 マルチビューカメラアレイ、マルチビューシステム、およびカメラサブアレイに共有カメラを備えさせる方法 Active JP7178415B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762567138P 2017-10-02 2017-10-02
US62/567,138 2017-10-02
PCT/US2018/040819 WO2019070317A1 (en) 2017-10-02 2018-07-03 MULTI-VIEW CAMERA NETWORK, MULTI-VIEW SYSTEM AND METHOD HAVING CAMERA SUB-NETWORKS WITH SHARED CAMERA

Publications (2)

Publication Number Publication Date
JP2020536472A true JP2020536472A (ja) 2020-12-10
JP7178415B2 JP7178415B2 (ja) 2022-11-25

Family

ID=65995422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020539675A Active JP7178415B2 (ja) 2017-10-02 2018-07-03 マルチビューカメラアレイ、マルチビューシステム、およびカメラサブアレイに共有カメラを備えさせる方法

Country Status (8)

Country Link
US (1) US11310478B2 (ja)
EP (1) EP3692713A4 (ja)
JP (1) JP7178415B2 (ja)
KR (1) KR102309395B1 (ja)
CN (1) CN111183638B (ja)
CA (1) CA3075164C (ja)
TW (1) TWI688255B (ja)
WO (1) WO2019070317A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198238B (zh) * 2018-01-30 2021-06-22 北京小米移动软件有限公司 全息投影设备、方法、装置及计算机可读存储介质
WO2020219399A1 (en) * 2019-04-22 2020-10-29 Leia Inc. Multi-zone backlight, multiview display, and method
KR20220106171A (ko) * 2020-01-20 2022-07-28 레이아 인코포레이티드 다중 사용자 멀티뷰 디스플레이, 시스템, 및 방법
JP6779554B1 (ja) * 2020-06-29 2020-11-04 株式会社シータ 画像を出力する方法、プログラム及び装置
EP4241120A1 (en) * 2020-11-09 2023-09-13 LEIA Inc. Horizontal parallax multiview backlight, display, and method
CN117917070A (zh) * 2021-08-26 2024-04-19 镭亚股份有限公司 多视图图像捕获***和方法
WO2024063622A1 (ko) * 2022-09-23 2024-03-28 삼성전자주식회사 카메라의 초점을 조정하기 위한 안테나를 포함하는 전자 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435395A (ja) * 1990-05-28 1992-02-06 Shigeo Nakagawa 立体モニター装置
JP2006229725A (ja) * 2005-02-18 2006-08-31 Konica Minolta Photo Imaging Inc 画像生成システム及び画像生成方法
WO2012144471A1 (ja) * 2011-04-22 2012-10-26 シャープ株式会社 表示装置およびその制御方法
WO2014021134A1 (ja) * 2012-07-30 2014-02-06 オリンパス株式会社 撮像装置及び撮像方法
WO2017041073A1 (en) * 2015-09-05 2017-03-09 Leia Inc. Multiview display with head tracking

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
US6552744B2 (en) 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6522325B1 (en) 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
WO2002065763A2 (en) 2001-02-12 2002-08-22 Carnegie Mellon University System and method for manipulating the point of interest in a sequence of images
US20070024701A1 (en) 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
US7751612B2 (en) 2006-10-10 2010-07-06 Usnr/Kockums Cancar Company Occlusionless scanner for workpieces
US8675068B2 (en) 2008-04-11 2014-03-18 Nearmap Australia Pty Ltd Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
TWI401501B (zh) 2008-07-28 2013-07-11 Pixel Qi Corp 繞射型液晶顯示器
JP5239991B2 (ja) 2009-03-25 2013-07-17 富士通株式会社 画像処理装置、及び画像処理システム
US9497386B1 (en) 2009-09-22 2016-11-15 Altia Systems Inc. Multi-imager video camera with automatic exposure control
WO2012038856A1 (en) 2010-09-21 2012-03-29 Koninklijke Philips Electronics N.V. Multi-view display device
US8503813B2 (en) 2010-12-22 2013-08-06 Arcsoft Hangzhou Co., Ltd. Image rectification method
JP5999615B2 (ja) * 2011-10-07 2016-09-28 国立研究開発法人情報通信研究機構 カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム
US9813610B2 (en) 2012-02-24 2017-11-07 Trace Optics Pty Ltd Method and apparatus for relative control of multiple cameras using at least one bias zone
US9389415B2 (en) 2012-04-27 2016-07-12 Leia Inc. Directional pixel for use in a display screen
US9459461B2 (en) 2012-05-31 2016-10-04 Leia Inc. Directional backlight
US9201270B2 (en) 2012-06-01 2015-12-01 Leia Inc. Directional backlight with a modulation layer
US9019615B2 (en) 2012-06-12 2015-04-28 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
KR20140003741A (ko) * 2012-06-26 2014-01-10 세종대학교산학협력단 입체 컨텐츠 제작 방법 및 장치
WO2014120160A1 (en) 2013-01-30 2014-08-07 Hewlett-Packard Development Company, L.P. Directional grating-based backlighting
US9298168B2 (en) 2013-01-31 2016-03-29 Leia Inc. Multiview 3D wrist watch
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014142851A1 (en) 2013-03-13 2014-09-18 Hewlett-Packard Development Company, L.P. Backlight having collimating reflector
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
ES2704675T3 (es) 2013-07-30 2019-03-19 Leia Inc Luz de fondo multi-direccional a base de cuadrícula
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
US9557466B2 (en) 2014-07-30 2017-01-31 Leia, Inc Multibeam diffraction grating-based color backlighting
CN104460115B (zh) 2014-12-31 2017-09-01 苏州大学 一种多视角像素指向型背光模组及裸眼3d显示装置
GB2535706A (en) 2015-02-24 2016-08-31 Nokia Technologies Oy Device with an adaptive camera array
ES2928663T3 (es) 2015-02-27 2022-11-21 Leia Inc Cámara multivista
US9466109B1 (en) 2015-06-30 2016-10-11 Gopro, Inc. Image stitching in a multi-camera array
US10798371B2 (en) 2015-09-05 2020-10-06 Leia Inc. Multiview display with head tracking
WO2017131816A1 (en) * 2016-01-30 2017-08-03 Leia Inc. Privacy display and dual-mode privacy display system
JP6776359B2 (ja) 2016-01-30 2020-10-28 レイア、インコーポレイテッドLeia Inc. 収束ビューを有するマルチビーム要素型バックライティング
EP3408705A4 (en) 2016-01-30 2019-09-11 LEIA Inc. MULTI-LAYERED ELEMENT BASED BACKLIGHTING AND DISPLAY THEREOF
US10244220B2 (en) * 2016-02-04 2019-03-26 Christopher C. Chang Multi-camera time slice system and method of generating integrated subject, foreground and background time slice images
US10928677B2 (en) 2016-05-23 2021-02-23 Leia Inc. Diffractive multibeam element-based backlighting
JP7339259B2 (ja) * 2017-12-20 2023-09-05 レイア、インコーポレイテッド クロスレンダリングマルチビューカメラ、システム、及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435395A (ja) * 1990-05-28 1992-02-06 Shigeo Nakagawa 立体モニター装置
JP2006229725A (ja) * 2005-02-18 2006-08-31 Konica Minolta Photo Imaging Inc 画像生成システム及び画像生成方法
WO2012144471A1 (ja) * 2011-04-22 2012-10-26 シャープ株式会社 表示装置およびその制御方法
WO2014021134A1 (ja) * 2012-07-30 2014-02-06 オリンパス株式会社 撮像装置及び撮像方法
WO2017041073A1 (en) * 2015-09-05 2017-03-09 Leia Inc. Multiview display with head tracking
JP2018533262A (ja) * 2015-09-05 2018-11-08 レイア、インコーポレイテッドLeia Inc. ヘッドトラッキングを備えたマルチビューディスプレイ

Also Published As

Publication number Publication date
US11310478B2 (en) 2022-04-19
US20200228782A1 (en) 2020-07-16
WO2019070317A1 (en) 2019-04-11
KR20200042020A (ko) 2020-04-22
EP3692713A1 (en) 2020-08-12
CA3075164A1 (en) 2019-04-11
CN111183638B (zh) 2022-06-17
EP3692713A4 (en) 2021-10-20
KR102309395B1 (ko) 2021-10-06
TW201924326A (zh) 2019-06-16
CN111183638A (zh) 2020-05-19
JP7178415B2 (ja) 2022-11-25
TWI688255B (zh) 2020-03-11
CA3075164C (en) 2023-06-27

Similar Documents

Publication Publication Date Title
TWI627458B (zh) 基於多波束元件的背光板、方法及其顯示器
JP6986568B2 (ja) 片側バックライト、マルチビューディスプレイ、および傾斜回折格子を使用する方法
CN111183638B (zh) 具有带有共享相机的相机子阵列的多视图相机阵列、多视图***及方法
US10484662B2 (en) Multiview camera, multiview imaging system, and method of multiview image capture
KR20180039051A (ko) 헤드 추적을 가진 멀티뷰 디스플레이
JP6922067B2 (ja) マイクロレンズを備えるマルチビーム要素ベースのバックライトおよびそれを使用したディスプレイ
JP7046987B2 (ja) マルチビューバックライト、マルチビューディスプレイおよびオフセットマルチビーム要素の採用方法
CA3085185C (en) Cross-render multiview camera, system, and method
JP2021511648A (ja) サブ波長格子を用いた偏光リサイクルバックライト、方法、およびマルチビューディスプレイ
TW202014761A (zh) 具有使用者追蹤功能的多視像顯示器、系統和方法
KR20210101332A (ko) 다방향 백라이트, 다중 사용자 멀티뷰 디스플레이 및 방법
JP7308275B2 (ja) 光マスク素子を有する、マルチビューバックライト、マルチビューディスプレイ、及びその方法
TWI833750B (zh) 具有可動態重組多視像像素的多視像顯示器和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7178415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150