JP7489160B2 - 電子的にエミュレートされた透明性を備えたディスプレイアセンブリ - Google Patents

電子的にエミュレートされた透明性を備えたディスプレイアセンブリ Download PDF

Info

Publication number
JP7489160B2
JP7489160B2 JP2020542588A JP2020542588A JP7489160B2 JP 7489160 B2 JP7489160 B2 JP 7489160B2 JP 2020542588 A JP2020542588 A JP 2020542588A JP 2020542588 A JP2020542588 A JP 2020542588A JP 7489160 B2 JP7489160 B2 JP 7489160B2
Authority
JP
Japan
Prior art keywords
circuit board
display
sensor
microlenses
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020542588A
Other languages
English (en)
Other versions
JP2021513112A (ja
JPWO2019156805A5 (ja
Inventor
マーク エイ ラムキン
カイル マーティン リングゲンバーグ
ジョーダン デイヴィッド ラムキン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lockheed Martin Corp
Original Assignee
Lockheed Martin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lockheed Martin Corp filed Critical Lockheed Martin Corp
Publication of JP2021513112A publication Critical patent/JP2021513112A/ja
Publication of JPWO2019156805A5 publication Critical patent/JPWO2019156805A5/ja
Application granted granted Critical
Publication of JP7489160B2 publication Critical patent/JP7489160B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1335Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133526Lenses, e.g. microlenses or Fresnel lenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/16Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
    • H01L25/167Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0062Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between
    • G02B3/0068Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between arranged in a single integral body or plate, e.g. laminates or hybrid structures with other optical elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/13336Combining plural substrates to produce large-area displays, e.g. tiled displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L33/00Semiconductor devices having potential barriers specially adapted for light emission; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L33/48Semiconductor devices having potential barriers specially adapted for light emission; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by the semiconductor body packages
    • H01L33/58Optical field-shaping elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Power Engineering (AREA)
  • Nonlinear Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Electromagnetism (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Electroluminescent Light Sources (AREA)

Description

本開示は、全体的に、ライトフィールドディスプレイ及びカメラに関し、より詳細には、電子的にエミュレートされた透明性を備えたディスプレイアセンブリに関する。
電子ディスプレイは、様々な用途で利用されている。例えば、ディスプレイは、スマートフォン、ノートパソコン、及びデジタルカメラで使用されている。スマートフォン及びデジタルカメラなどの一部のデバイスは、電子ディスプレイに加えてイメージセンサを含むことができる。一部のカメラ及び電子ディスプレイは、ライトフィールドを別々にキャプチャして再生するが、ライトフィールドディスプレイ及びライトフィールドカメラは通常、互いに統合されていない。
米国特許出願第15/724,027号明細書 米国特許出願第15/724,004号明細書
1つの実施形態において、電子ディスプレイアセンブリは、回路基板と、回路基板の第1の側にある第1のマイクロレンズ層と、第1のマイクロレンズ層とは回路基板の反対側にある第2のマイクロレンズ層と、を含む。第1のマイクロレンズ層は、第1の複数のマイクロレンズを含み、第2のマイクロレンズ層は、第2の複数のマイクロレンズを含む。電子ディスプレイアセンブリは更に、第1のマイクロレンズ層に隣接するイメージセンサ層を含む。イメージセンサ層は、第1の複数のマイクロレンズを通って入射光を検出するよう構成された複数のセンサピクセルを含む。電子ディスプレイアセンブリは更に、第2のマイクロレンズ層に隣接するディスプレイ層を含む。ディスプレイ層は、第2の複数のマイクロレンズを通って光を放出するよう構成された複数のディスプレイピクセルを含む。電子ディスプレイアセンブリは更に、回路基板に結合された論理ユニット層を含む。論理ユニット層は、複数のセンサピクセルから複数のディスプレイピクセルに信号を送信し、これにより第1の複数のマイクロレンズを通して検出された入射光の角度に対応する角度で、第2の複数のマイクロレンズから光を放出することにより透明性をエミュレートするように構成された1又は2以上の論理ユニットを含む。
別の実施形態において、電子ディスプレイアセンブリは、回路基板と、回路基板の第1の側にある第1のマイクロレンズ層と、を含む。第1のマイクロレンズ層は、第1の複数のマイクロレンズを含む。電子ディスプレイアセンブリは更に、第1のマイクロレンズ層とは回路基板の反対側にある第2のマイクロレンズ層を含む。第2のマイクロレンズ層は、第2の複数のマイクロレンズを含む。電子ディスプレイアセンブリは更に、第1のマイクロレンズ層に隣接するイメージセンサ層を含む。イメージセンサ層は、第1の複数のマイクロレンズを通って入射光を検出するよう構成された複数のセンサピクセルを含む。電子ディスプレイアセンブリは更に、第2のマイクロレンズ層に隣接するディスプレイ層を含む。ディスプレイ層は、第2の複数のマイクロレンズを通って光を放出するよう構成された複数のディスプレイピクセルを含む。電子ディスプレイアセンブリは、第1の複数のマイクロレンズを通して検出された入射光の角度に対応する角度で、第2の複数のマイクロレンズから光を放出することにより透明性をエミュレートするように構成される。
別の実施形態において、電子ディスプレイを製造する方法は、回路基板上に複数のユニット取付ロケーションを形成するステップと、複数のセンサユニットを回路基板の第1の側に結合するステップと、複数のディスプレイユニットを第1の側とは反対側の回路基板の第2の側に結合するステップとを含む。各ユニット取付ロケーションは、複数のディスプレイユニットの1つ及び複数のセンサユニットの1つに対応する。各センサユニットは、ユニット取付ロケーションのそれぞれに結合される。電子ディスプレイを製造する方法は更に、第1の複数のマイクロレンズを複数のセンサユニットに結合するステップと、第2の複数のマイクロレンズを複数のディスプレイユニットに結合するステップと、を含む。
本開示は、幾つかの技術的利点を提示する。幾つかの実施形態は、ユーザが装着するのに軽量で快適な状態のままで、ターゲットのライトフィールドを完全且つ正確に再現する。幾つかの実施形態は、不透明さと制御可能な一方向のエミュレートされた透明性の両方と、並びに仮想現実(VR)、拡張現実(AR)、複合現実(MR)などのデジタルディスプレイ機能を提供する薄型電子システムを提供する。幾つかの実施形態は、結果として得られる出力ピクセルへの入力ピクセルの直接的な関連付けを利用して、画像変換の必要性を回避する直接センサ-ディスプレイシステムを提供する。これにより、一部のシステムの複雑さ、コスト、電力要件が軽減される。幾つかの実施形態は、大量のデータ(例えば、160kの画像データ又はそれ以上)のローカル分散処理を提供する層内信号処理構成を提供し、これによってボトルネック、並びに性能、電力及び既存の解決策に関連する伝送ラインの問題を回避する。幾つかの実施形態は、プレノプティックセルのアレイを備えたマイクロレンズ層を利用して、ある量の光を正確にキャプチャして、観察者に表示する。プレノプティックセルは、セル間の光学的クロストークを排除する不透明なセル壁を含み、これにより複製されたライトフィールドの精度を向上させる。
幾つかの実施形態は、ジオデシックファセッティングによって三次元エレクトロニクスを提供する。このような実施形態では、小さな剛性面のアレイ(例えば、ディスプレイ及び/又はセンサファセット)を備えたフレキシブル回路基板は、何れかの3D形状に形成することができ、これは、ヘッドマウントのニアアイラップディスプレイに必要とされる狭い曲率半径(例えば30-60mm)に対応するのに特に有用である。幾つかの実施形態は、高密度ディスプレイ用の分散型マルチスクリーンアレイを提供する。このような実施形態では、カスタムサイズ及び形状の小さな高分解能マイクロディスプレイ(例えば、ディスプレイファセット)のアレイが形成され、次いで、3D形状(例えば、半球面)に形成できるより大型のフレキシブル回路基板上に組み立てられる。各マイクロディスプレイは、他のディスプレイとは独立して動作することができ、これにより各々で独自のコンテンツを有する多数の高分解能ディスプレイの大型アレイが提供され、アセンブリ全体が基本的に1つの超高分解能ディスプレイを形成するようになる。幾つかの実施形態は、分散型マルチアパーチャカメラアレイを提供する。このような実施形態は、カスタムサイズ及び形状の小さなイメージセンサ(例えば、センサファセット)のアレイを提供し、これら全ては、3D(例えば、半球)形状に形成されるより大きなフレキシブル回路基板上に組み立てられる。各個別のイメージセンサは、各々で独自のコンテンツをキャプチャするマルチアパーチャの大型アレイを提供するために、他の何れかのイメージセンサとは独立して動作し、アセンブリ全体が本質的にシームレスな超高分解能のマルチノードカメラとなる。
他の技術的利点は、図1A~図42、これらの説明及び特許請求の範囲から当業者には容易に明らかになるであろう。更に、特定の利点が上記で列挙されたが、様々な実施形態は、列挙された利点の全て又は一部を含むか、或いは全てを含まない場合がある。
本開示及びその利点をより完全に理解するために、ここで添付図面を参照しながら以下の説明を参照されたい。
特定の実施形態による、様々な3次元(3D)オブジェクト及び様々なビュー位置を有する参照シーンを示す図である。 特定の実施形態による、様々な3次元(3D)オブジェクト及び様々なビュー位置を有する参照シーンを示す図である。 特定の実施形態による、様々な3次元(3D)オブジェクト及び様々なビュー位置を有する参照シーンを示す図である。 特定の実施形態による、透明パネルを通る図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、透明パネルを通る図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、透明パネルを通る図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、カメラ画像パネルを通る図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、カメラ画像パネルを通る図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、カメラ画像パネルを通る図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、エミュレートされた透明な電子パネルを通る図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、エミュレートされた透明な電子パネルを通る図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、エミュレートされた透明な電子パネルを通る図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、図3A~図3Cのカメラ画像パネルを通る図1A~図1Cの3Dオブジェクトの別の角度からのビューを示す図である。 特定の実施形態による、図3A~図3Cのカメラ画像パネルを通る図1A~図1Cの3Dオブジェクトの別の角度からのビューを示す図である。 特定の実施形態による、図3A~図3Cのカメラ画像パネルを通る図1A~図1Cの3Dオブジェクトの別の角度からのビューを示す図である。 特定の実施形態による、図4A~図4Cのエミュレートされた透明な電子パネルを通る別の角度から図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、図4A~図4Cのエミュレートされた透明な電子パネルを通る別の角度から図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、図4A~図4Cのエミュレートされた透明な電子パネルを通る別の角度から図1A~図1Cの3Dオブジェクトのビューを示す図である。 特定の実施形態による、エミュレートされた透明アセンブリの切り欠き図である。 特定の実施形態による、図7のエミュレートされた透明アセンブリの分解図である。 特定の実施形態による、図7のエミュレートされた透明アセンブリを製造する方法を示す図である。 特定の実施形態による、図7のエミュレートされた透明アセンブリによって使用できる直接センサ-ディスプレイシステムを示す図である。 特定の実施形態による、図10の直接センサ-ディスプレイシステムを製造する方法を示す図である。 特定の実施形態による、図7のエミュレートされた透明性アセンブリによって使用できる様々な層内信号処理構成を示す図である。 特定の実施形態による、図7のエミュレートされた透明性アセンブリによって使用できる様々な層内信号処理構成を示す図である。 特定の実施形態による、図12~図13の層内信号処理システムを製造する方法を示す図である。 特定の実施形態による、図7のエミュレートされた透明アセンブリによって使用できるプレノプティックセルアセンブリを示す図である。 特定の実施形態による、図15のプレノプティックセルアセンブリの一部の断面図である。 特定の実施形態による、様々な光の入射フィールドと共に図15のプレノプティックセルアセンブリの一部の断面を示す図である。 特定の実施形態による、様々な光の入射フィールドと共に図15のプレノプティックセルアセンブリの一部の断面を示す図である。 特定の実施形態による、様々な光の入射フィールドと共に図15のプレノプティックセルアセンブリの一部の断面を示す図である。 特定の実施形態による、図15のプレノプティックセルアセンブリを製造する方法を示す図である。 特定の実施形態による、図15のプレノプティックセルアセンブリを製造する方法を示す図である。 特定の実施形態による、図15のプレノプティックセルアセンブリを製造する別の方法を示す図である。 特定の実施形態による、図15のプレノプティックセルアセンブリを製造する別の方法を示す図である。 特定の実施形態による、図18A~図19Bの方法によって製造することができるプレノプティックセルアセンブリを示す図である。 特定の実施形態による、図18A~図19Bの方法によって製造することができるプレノプティックセルアセンブリを示す図である。 特定の実施形態による、図7のエミュレートされた透明アセンブリによって使用できるフレキシブル回路基板を示す図である。 特定の実施形態による、図22のフレキシブル回路基板の追加の詳細を示す図である。 特定の実施形態による、図22のフレキシブル回路基板を通るデータフローを示す図である。 特定の実施形態による、図22のフレキシブル回路基板を使用して電子アセンブリを製造する方法を示す図である。 特定の実施形態による、湾曲したマルチディスプレイアレイの切り欠き図である。 特定の実施形態による、図26の湾曲したマルチディスプレイアレイの分解図である。 特定の実施形態による、図26の湾曲したマルチディスプレイアレイの論理ファセットを示す図である。 特定の実施形態による、図26の湾曲したマルチディスプレイアレイのディスプレイファセットを示す図である。 特定の実施形態による、図22のフレキシブル回路基板の裏側を示す図である。 特定の実施形態による、図30のフレキシブル回路基板を通るデータフローを示す図である。 特定の実施形態による、半球形状に形成された図30のフレキシブル回路基板を示す図である。 特定の実施形態による、図32のフレキシブル回路基板を通るデータフローを示す図である。 特定の実施形態による、半球形状に形成された論理ファセットのアレイを示す図である。 特定の実施形態による、図34の論理ファセット間の通信を示す図である。 特定の実施形態による、図26の湾曲したマルチディスプレイアレイを製造する方法を示す図である。 特定の実施形態による、湾曲したマルチカメラアレイの切り欠き図である。 特定の実施形態による、図37の湾曲したマルチカメラアレイの分解図である。 特定の実施形態による、図37の湾曲したマルチカメラアレイの分解図である。 特定の実施形態による、図32のフレキシブル回路基板の背面図である。 特定の実施形態による、図40のフレキシブル回路基板を通るデータフローを示す図である。 特定の実施形態による、図37の湾曲したマルチカメラアレイを製造する方法を示す図である。
電子ディスプレイは、様々な用途で利用されている。例えば、ディスプレイは、スマートフォン、ノートパソコン、及びデジタルカメラで使用されている。スマートフォン及びデジタルカメラなどの一部のデバイスは、電子ディスプレイに加えてイメージセンサを含みことができる。しかしながら、ディスプレイ及びイメージセンサを備えたデバイスは、一般に、完全なフォトニック環境を正確にキャプチャして表示する機能に制限がある。
既存の電子ディスプレイに関連する問題及び制限に対処するために、本開示の実施形態は、ライトフィールドをキャプチャして表示するための様々な電子アセンブリを提供する。図1A-図9は、電子的にエミュレートされた透明性を備えたディスプレイアセンブリに関し、図10-図11は、ダイレクトカメラ-ディスプレイシステムに関し、図12-図14は、層内信号処理に関し、図15-図21は、プレノプティックセルラーイメージングシステムに関し、図22-図25は、ジオデシックファセッティングによる3次元(3D)エレクトロニクス分散に関し、図26-図36は高密度ディスプレイ用の分散型マルチスクリーンアレイに関し、図37-図42は分散型マルチアパーチャカメラアレイに関する。
本開示のより良い理解を促進するために、特定の実施形態の以下の実施例が与えられる。以下の実施例は、本開示の範囲を限定又は定義するように読むべきではない。本開示の実施形態及びその利点は、図1A~図42を参照することによって最もよく理解され、これらの図では、同様の参照番号が同様の部分及び対応する部分を示すのに使用されている。
図1A~図9は、特定の実施形態による、電子的にエミュレートされた透明性を有するアセンブリの様々な態様を示す。一般に、図7~図8に詳細に示されている電子アセンブリは、仮想現実(VR)、拡張現実(AR)、及び複合現実(MR)などの機能を提供するのに様々な用途で使用することができる。VRアプリケーションでは、標準のコンピューターモニターが背後のシーンのビューをブロックする方法と同じように、現実世界のビューを完全に置き換えることができるデジタルディスプレイが必要とされる。しかしながら、ARアプリケーションでは、最新のコックピット内のパイロットのヘッドアップディスプレイのように、現実世界のビュー上にデータを重畳することができるデジタルディスプレイが必要とされる。MRアプリケーションでは、両方の組み合わせを必要とする。これらの機能の一部又は全てを提供するために使用される典型的なシステムは、幾つかの理由から望ましいものではない。例えば、典型的な解決策では、ターゲットライトフィールドを正確又は完全な再現を提供していない。別の実施例として、既存の解決策は、典型的には嵩高で、ユーザにとって快適ではない。
既存の電子ディスプレイに関する問題及び制限に対処するために、本開示の実施形態は、不透明性と制御可能な一方向のエミュレートされた透明性の両方、並びにデジタルディスプレイ機能を提供する薄型電子システムを提供する。一方の側からは表面が不透明に見えるが、反対側からは表面が完全に透明に見えるか、完全に不透明に見えてデジタルディスプレイとして機能するか、又はこれらの任意の組み合わせとすることができる。幾つかの実施形態では、プレノプティックセンシングとディスプレイの同時技術が単一の層状構造内で組み合わされて、一方向の視覚的に透明な表面に見えるものを形成する。システムは、拡張及び/又はデジタル制御することができる透明性を人工的に再現する目的で、エレクトロニクス及び光学系の複数の層を含むことができる。一方の側上の個別のイメージセンサピクセルは、アセンブリの反対側上のディスプレイピクセルの位置に一致するように空間的に配置することができる。幾つかの実施形態では、全ての電子駆動回路並びに一部のディスプレイロジック回路は、センサ層とディスプレイ層の間に挟むことができ、各センサピクセルの出力信号は、回路を介して反対側の対応するディスプレイピクセルに送ることができる。幾つかの実施形態では、この中央処理された信号は、反対側のプレノプティックイメージングセンサアレイからの入力信号と集約され、次の動作モードに従って処理される。VRモードでは、外部ビデオフィードがカメラデータよりも優先し、ユーザの外界のビューをビデオからの受信ビューで完全に置き換える。ARモードでは、外部ビデオフィードがカメラデータに重畳されるため、外部世界とビデオからのビューの両方が組み合わされたビューになる(例えば、ビデオデータが単にシーンに追加される)。MRモードでは、外部ビデオフィードがカメラデータと混合され、仮想オブジェクトが現実世界の実際のオブジェクトと相互作用するように見えることができ、仮想コンテンツを変更して、オブジェクトのオクルージョン、照明、その他を通じて実際の環境と統合するように見せる。
幾つかの実施形態は、積み重ねられた透明な高ダイナミックレンジ(HDR)センサ及びディスプレイピクセルを1つの構造体に組み合わせ、センサピクセルをアセンブリの一方の側に、ディスプレイピクセルを他方の側に備え、カメラとディスプレイの間でピクセルごとに整列される。センサ及びディスプレイピクセルアレイの両方は、マイクロレンズのグループにより合焦されて、4次元ライトフィールドをキャプチャし表示することができる。これは、現実世界の完全なビューがアセンブリの一方の側でキャプチャされ、他方の側で電子的に再現され、斜めの角度から見た場合でも、ディスプレイ側の画像が透明に見える明瞭性、輝度、及び十分な角分解能を維持しながら、入力画像の部分的又は完全な変更を可能にすることを意味する。
図1A~図6Cは、本開示の実施形態によって提供される電子的にエミュレートされた透明性と典型的なカメラ画像(カメラビューファインダーを介して、又はスマートフォンを使用して現在のカメラ画像を表示するなど)との間の差異を示すのに提供される。図1A~図1Cは、特定の実施形態による、様々な3Dオブジェクト110(すなわち、110A~C)及び正面ビュー位置を伴う参照シーンを示す。図1Aは、3Dオブジェクト110の配置及び3Dオブジェクト110の正面ビュー方向の上面図である。図1Bは、図1Aと同じ3Dオブジェクト110及び正面ビュー方向の配置の斜視図である。図1Cは、図1A及び1Bに示される位置からの3Dオブジェクト110の結果として得られる正面図である。図から分かるように、3Dオブジェクト110の図1Cのビューは、3Dオブジェクト110の通常の予想ビューである(すなわち、観察者と3Dオブジェクト110との間に何も存在しないので、3Dオブジェクト110のビューは全く変更されない)。
図2A~図2Cは、特定の実施形態による、透明パネル210を通る図1A~図1Cの3Dオブジェクト110のビューを示す。透明パネル210は、例えば、一片の透明ガラスとすることができる。図2Aは、透明パネル210を通る3Dオブジェクト110の正面ビュー方向の上面図であり、図2Bは、図2Aと同じ3Dオブジェクト110及び正面ビュー方向の配置の斜視図である。図2Cは、図2A及び2Bに例示される位置からの透明パネル210を通る3Dオブジェクト110の結果として得られる正面図である。図から分かるように、透明パネル210を通る3Dオブジェクト110の図2Cのビューは、3Dオブジェクト110の通常の予想されるビューである(すなわち、3Dオブジェクト110のビューは、観察者が透明パネル210を通じて見ているので全く変更されない)。換言すると、図2Cの透明パネル210を通る3Dオブジェクト110のビューは、図1Cのビューと同じであり、観察者と3Dオブジェクト110との間にオブジェクトは存在しない(すなわち、「知覚された」透明性)。換言すると、透明パネル210上に投影された画像のエッジは、透明パネル210の背後にある実際の3Dオブジェクト110のビューと整列して、3Dオブジェクト110Aのビュー整列画像220A、3Dオブジェクト110Bのビュー整列画像220B、及び3Dオブジェクト110Cのビュー整列画像220Cを生成する。
図3A~図3Cは、特定の実施形態による、カメラ画像パネル310を通る図1A~図1Cの3Dオブジェクト110のビューを示す。カメラ画像パネル310は、例えば、現在のカメラ画像を表示しているカメラのビューファインダー又はスマートフォンのディスプレイとすることができる。これらの画像では、カメラ画像パネル310は、このようなシステムがどのように真のエミュレートされた透明性を提供しないかを示すために、観察者に対してある角度(例えば、30度)にある。図3Aは、カメラ画像パネル310を通る3Dオブジェクト110の正面ビュー方向の上面図であり、図3Bは、図3Aと同じ3Dオブジェクト110及び正面ビュー方向の配置の斜視図である。図3Cは、図3A及び図3Bに示された位置からカメラ画像パネル310を通る3Dオブジェクト110の結果として得られる正面図である。図から分かるように、カメラ画像パネル310を通る3Dオブジェクト110の図3Cのビューは、透明パネル210を通る3Dオブジェクト110のビューとは異なる。ここで、カメラ画像パネル310は、カメラ画像パネル310に垂直な見通し線をリダイレクトし、これにより、知覚される透明性は示されない(すなわち、カメラ画像パネル310上の画像は、ビューと整列していないが、リダイレクトされた見通し線によって収集された画像を描いている)。換言すると、カメラ画像パネル310上に投影された画像のエッジは、カメラ画像パネル310の背後にある実際の3Dオブジェクト110のビューとは整列しない。これは、図3Cにおいて、カメラ画像パネル310上の3Dオブジェクト110Aの位置合わせされていない画像320A及び3Dオブジェクト110Bの位置合わせされていない画像320Bによって示される。
図4A~図4Cは、特定の実施形態による、エミュレートされた透明な電子パネル410を通る図1A~図1Cの3Dオブジェクト110のビューを示す。これらの画像では、エミュレートされた透明性パネル410は、カメラ画像パネル310とは異なり、エミュレートされた透明性パネル410がどのように真のエミュレートされた透明性を提供するかを示すために、観察者に対してある角度(例えば30度)にある。図4Aは、エミュレートされた透明パネル410を通る3Dオブジェクト110の正面ビュー方向の上面図であり、図4Bは、図4Aと同じ3Dオブジェクト110及び正面ビュー方向の配置の斜視図である。図4Cは、図4A及び図4Bに示される位置からのエミュレートされた透明パネル410を通る3Dオブジェクト110の結果として得られる正面図である。図から分かるように、エミュレートされた透明パネル410を通る3Dオブジェクト110の図4Cのビューは、カメラ画像パネル310を通る3Dオブジェクト110のビューとは異なるが、透明パネル210を通る3Dオブジェクト110のビューに類似している。ここでは、エミュレートされた透明パネル410は、エミュレートされた透明パネル410を通して観察者からの見通し線をリダイレクトしないが、これらを実質的に変更せずに維持し、これによってエミュレートされた透明性を提供する(すなわち、エミュレートされた透明パネル410上の画像は、透明パネル210のようにビューに位置合わせされる)。透明パネル210と同様に、エミュレートされた透明パネル410上に投影された画像のエッジは、エミュレートされた透明パネル410の背後にある実際の3Dオブジェクト110のビューと整列して、3Dオブジェクト110Aのビュー整列画像220A、3Dオブジェクト110Bのビュー整列画像220B、及び3Dオブジェクト110Cのビュー整列画像220Cを作成する。
図5A~図5Cは、図3A~図3Cのカメラ画像パネル310を通るが別の角度からの図1A~図1Cの3Dオブジェクト110のビューを示す。これらの画像では、カメラ画像パネル310は、このようなシステムがどのように真のエミュレートされた透明性を提供しないかを更に示すために、観察者に対して異なる30度の角度にある。図3A~図3Cと同様に、カメラ画像パネル310上の投影された画像のエッジは、カメラ画像パネル310の背後の実際の3Dオブジェクト110のビューと整列しない。これは、図5Cにおいて、カメラ画像パネル310上の3Dオブジェクト110Cの位置合わせされていない画像320C及び3Dオブジェクト110Bの位置合わせされていない画像320Bによって示されている。
図6A~図6Cは、図4A~図4Cのエミュレートされた透明な電子パネル410を通るが別の角度からの図1A~図1Cの3Dオブジェクト110のビューを示す。図4A~図4Cと同様に、図6Cのエミュレートされた透明パネル410に投影された画像のエッジは、エミュレートされた透明パネル410の背後にある実際の3Dオブジェクト110のビューと整列して、3Dオブジェクト110Bのビュー整列画像220B及び3Dオブジェクト110Cのビュー整列画像220Cを作成する。
図4A~図4C及び図6A~図6Cにて上記のように示すように、エミュレートされた透明パネル410は、エミュレートされた透明パネル410の背後にある3Dオブジェクト110のビュー整列画像220を提供し、これによって電子的にエミュレートされた透明性を提供する。図7~図8は、エミュレートされた透明パネル410の例示的な実施形態を示している。図7は、エミュレートされた透明パネル410とすることができるエミュレートされた透明アセンブリ710の切り欠き図を示し、図8は、特定の実施形態による、図7のエミュレートされた透明アセンブリ710の分解図を示す。
幾つかの実施形態では、エミュレートされた透明アセンブリ710は、2つのマイクロレンズアレイ720(すなわち、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720B)と、イメージセンサ層730と、回路基板740と、電子回路ディスプレイ層760とを含む。一般に、入射ライトフィールド701は、センサ側マイクロレンズアレイ720Aに入り、ここでイメージセンサ層730によって検出される。次いで、電子的に複製された出射ライトフィールド702が、電子ディスプレイ層760によって生成され、ディスプレイ側マイクロレンズアレイ720Bを通って投影される。以下でより詳細に説明するように、エミュレートされた透明アセンブリ710の独自の配置及び特徴により、電子的に複製された出射ライトフィールド702を介して電子的にエミュレートされた透明性を、並びに以下で説明する他の特徴を提供することができる。エミュレートされた透明アセンブリ710の特定の形状が図7~図8に示されているが、エミュレートされた透明アセンブリ710は、任意の多角形又は非多角形を含む任意の適切な形状と、フラット及び非フラット構成の両方とを有することができる。
マイクロレンズアレイ720(すなわち、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720B)は、一般に、マイクロレンズの層である。幾つかの実施形態では、図15を参照して以下でより詳細に説明されるように、マイクロレンズアレイ720の各マイクロレンズは、プレノプティックセル1510である。一般に、センサ側マイクロレンズアレイ720Aの各マイクロレンズは、入射ライトフィールド701の一部をキャプチャし、これをイメージセンサ層730内のピクセルに向けるように構成される。同様に、ディスプレイ側マイクロレンズアレイ720Bの各マイクロレンズは、電子ディスプレイ層760のピクセルによって生成される電子的に複製された出射ライトフィールド702の一部を放出するように構成される。幾つかの実施形態では、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720Bの各マイクロレンズは、3D形状であり、その3D形状の一方端にコリメートレンズを有する。3D形状は、例えば、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体とすることができる。幾つかの実施形態では、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720Bの各マイクロレンズは、光が隣接するマイクロレンズに漏れるのを防ぐように構成されたセル壁1514(図15を参照して以下で論じる)などの不透明壁を含む。幾つかの実施形態では、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720Bの各マイクロレンズは、追加として又は代替として、光が隣接するマイクロレンズに漏れることを防ぐために、以下に記載するフィルタ層1640などの光入射角度阻止コーティングを含む。
幾つかの実施形態では、センサ側マイクロレンズアレイ720Aのマイクロレンズは、第1の方向に向けられ、ディスプレイ側マイクロレンズアレイ720Bのマイクロレンズは、第1の方向から180度である第2の方向に向けられる。換言すると、エミュレートされた透明アセンブリ710の幾つかの実施形態は、ディスプレイ側マイクロレンズアレイ720Bと正反対に向けられたセンサ側マイクロレンズアレイ720Aを含む。他の実施形態では、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720Bの何れかの他の向きが実施可能である。
一般に、イメージセンサ層730は、センサ側マイクロレンズアレイ720Aを通過した後に入射ライトフィールド701を検出するように構成された複数のセンサピクセルを含む。幾つかの実施形態では、イメージセンサ層730は、センサユニット735のアレイ(例えば、図8に示されるようなセンサユニット735A~C)を含む。各センサユニット735は、イメージセンサ層730の定義された部分(例えば、矩形グリッドの一部などの特定の領域)、又はイメージセンサ層730内のセンサピクセルの特定の数又はパターンとすることができる。幾つかの実施形態では、各センサユニット735は、以下で説明するように、論理ユニット層750の特定の論理ユニット755に対応する。幾つかの実施形態では、イメージセンサ層730は、センサ側マイクロレンズアレイ720Aに結合されるか、又は直接隣接している。幾つかの実施形態では、イメージセンサ層730は、センサ側マイクロレンズアレイ720Aと回路基板740との間にある。他の実施形態では、イメージセンサ層730は、センサ側マイクロレンズアレイ720Aと論理ユニット層750との間にある。幾つかの実施形態では、他の適切な層が、イメージセンサ層730の何れかの側のエミュレートされた透明アセンブリ710に含めることができる。更に、センサユニット735の特定の数及びパターンが示されているが、センサユニット735の何れかの適切な数(1つのみを含む)及びパターンを使用することができる。
回路基板740は、任意の適切な剛性又はフレキシブル回路基板である。一般に、回路基板740は、エミュレートされた透明アセンブリ710の様々な層間の電気的接続を提供する様々なパッド及びトレースを含む。一例として、回路基板740を含む実施形態では、回路基板740は、イメージセンサ層730と論理ユニット層750との間に電気接続を提供するために、図7~図8に示されるようにイメージセンサ層730と論理ユニット層750の間に配置することができる。他の実施形態では、回路基板740は、論理ユニット層750と電子ディスプレイ層760との間に電気接続を提供するために、論理ユニット層750と電子ディスプレイ層760との間に配置することができる。幾つかの実施形態では、回路基板740は、ユニット取付ロケーション745のアレイ(例えば、図8に示されるようなユニット取付ロケーション745A-C)を含む。各ユニット取付ロケーション745は、回路基板740の定義された部分(例えば、矩形グリッドの一部などの特定の領域)であり、複数のパッド(例えば、ボールグリッドアレイ(BGA)パッド)及び/又はビアを含むことができる。幾つかの実施形態では、各ユニット取付ロケーション745は、イメージセンサ層730の特定のセンサユニット735と電子ディスプレイ層760の特定のディスプレイユニット765に対応し(例えば、ユニット取付ロケーション745Aは、センサユニット735A及びディスプレイユニット765Aに対応する)、対応する特定のセンサユニット735と特定のディスプレイユニット765との間の電気通信を可能にするように構成される。
論理ユニット層750は、エミュレートされた透明アセンブリ710のための任意選択/追加の論理及び/又は処理を提供する。一般に、論理ユニット層750は、イメージセンサ層730の複数のセンサピクセルから電子ディスプレイ層760の複数のディスプレイピクセルに信号を送信することにより透明性をエミュレートし、これによりセンサ側マイクロレンズアレイ720Aを通して検出された入射ライトフィールド701の角度に対応する角度で、電子的に複製された出射ライトフィールド702をディスプレイ側マイクロレンズアレイ720Bから放出する。センサ側マイクロレンズアレイ720Aを通じて検出された入射ライトフィールド701の角度に対応する角度で、ディスプレイ側マイクロレンズアレイ720Bから電子的に複製された出射ライトフィールド702を放出することにより、エミュレートされた透明アセンブリ710が存在しない(すなわち、エミュレートされた透明性)場合に見られるものと一致する画像が表示される。幾つかの実施形態では、論理ユニット層750は、論理ユニット755のアレイ(例えば、図8に示されるような論理ユニット755A~C)を含む。各論理ユニット755は、論理ユニット層750の定義された部分(例えば、矩形グリッドの一部分などの特定の領域)とすることができる。幾つかの実施形態では、各論理ユニット755は、論理ユニット層750を形成するために後で他の論理ユニット755に連結又は結合される別個の物理的剛性ユニットである。幾つかの実施形態では、各論理ユニット755は、イメージセンサ層730の特定のセンサユニット735及び電子ディスプレイ層760の特定のディスプレイユニット765に対応する(例えば、論理ユニット755Aは、センサユニット735A及びディスプレイユニット765Aに対応する(及び電気的に結合される))。幾つかの実施形態では、論理ユニット層750は、回路基板740と電子ディスプレイ層760との間に配置される。他の実施形態では、論理ユニット層750は、イメージセンサ層730と回路基板740との間にある。幾つかの実施形態では、他の適切な層が、論理ユニット層750の何れかの側でエミュレートされた透明アセンブリ710に含めることができる。更に、論理ユニット755の特定の数及びパターンが示されているが、論理ユニット755の任意の適切な数(なし又は1つのみを含む)及びパターンを使用することができる。
一般に、電子ディスプレイ層760は、ディスプレイ側マイクロレンズアレイ720Bを通して電子的に複製された出射ライトフィールド702を生成及び投影するように構成された複数のディスプレイピクセルを含む。幾つかの実施形態では、電子ディスプレイ層760は、ディスプレイユニット765のアレイ(例えば、図8に示されるようなディスプレイユニット765A~C)を含む。各ディスプレイユニット765は、電子ディスプレイ層760の定義された部分(例えば、矩形グリッドの一部などの特定の領域)、又は電子ディスプレイ層760内の特定の数又はパターンのディスプレイピクセルとすることができる。幾つかの実施形態では、各ディスプレイユニット765は、論理ユニット層750の特定の論理ユニット755に対応する。幾つかの実施形態では、電子ディスプレイ層760は、ディスプレイ側マイクロレンズアレイ720Bに結合されるか、或いは直接隣接する。幾つかの実施形態では、電子ディスプレイ層760は、ディスプレイ側マイクロレンズアレイ720Bと回路基板740との間にある。他の実施形態では、電子ディスプレイ層760は、ディスプレイ側マイクロレンズアレイ720Bと論理ユニット層750との間にある。幾つかの実施形態では、他の適切な層が、電子ディスプレイ層760の何れかの側でエミュレートされた透明アセンブリ710に含めることができる。更に、ディスプレイユニット765の特定の数及びパターンが示されているが、ディスプレイユニット765の任意の適切な数(1つだけを含む)及びパターンを使用することができる。
幾つかの実施形態では、イメージセンサ層730のセンサピクセルは、図18~図20及びこれらに関連する、「イメージセンサ用のスタックされた透明ピクセル構造」という名称の米国特許出願第15/724,027号明細書に記載されているように、センサピクセル1800とすることができ、本出願は、引用により全体が本明細書に組み込まれる。幾つかの実施形態では、電子ディスプレイ層760のディスプレイピクセルは、図1~図4及びこれらに関連する、「電子ディスプレイ用のスタックされた透明ピクセル構造」という名称の米国特許出願第15/724,004号明細書に記載されているディスプレイピクセル100であり、本出願は、引用により全体が本明細書に組み込まれる。
図7~図8は、センサ、ディスプレイ、及びエレクトロニクスのアレイを有するものとしてエミュレートされた透明アセンブリ710を示しているが、他の実施形態は、単一ユニット構成を有することができる。更に、エミュレートされた透明性アセンブリ710の図示の実施形態は、一方向のエミュレートされた透明性を示し(すなわち、単一方向からの入射ライトフィールド701のキャプチャ並びに反対方向での対応する電子的に複製された出射ライトフィールド702の表示を可能にする)、他の実施形態は、双方向透明性を可能にするエミュレートされた透明アセンブリ710の配置及び組み合わせを含むことができる。
図9は、特定の実施形態による、図7のエミュレートされた透明アセンブリ710を製造する方法900を示す。方法900は、ステップ910で開始することができ、回路基板上に複数のユニット取付ロケーションが形成される。幾つかの実施形態では、回路基板は回路基板740であり、ユニット取付ロケーションは、ユニット取付ロケーション145である。幾つかの実施形態では、各ユニット取付ロケーションは、ディスプレイユニット765などの複数のディスプレイユニットの1つ及びセンサユニット735などの複数のセンサユニットの1つに対応する。
ステップ920において、複数のセンサユニットが回路基板の第1の側に結合される。幾つかの実施形態では、センサユニットは、センサユニット735である。幾つかの実施形態では、各センサユニットは、ステップ920において、ステップ910のユニット取付ロケーションのそれぞれに結合される。幾つかの実施形態では、センサユニットは、最初にイメージセンサ層730などのイメージセンサ層に形成され、イメージセンサ層は、このステップにおいて回路基板の第1の側に結合される。
ステップ930において、複数のディスプレイユニットが、第1の側とは反対側の回路基板の第2の側に結合される。幾つかの実施形態では、ディスプレイユニットは、ディスプレイユニット765である。幾つかの実施形態では、各ディスプレイユニットは、ユニット取付ロケーションのそれぞれに結合される。幾つかの実施形態では、ディスプレイユニットは、最初に電子ディスプレイ層760などのディスプレイ層に形成され、ディスプレイ層は、このステップで回路基板の第2の側に結合される。
ステップ940において、第1の複数のマイクロレンズが、ステップ920の複数のセンサユニットに結合される。幾つかの実施形態では、マイクロレンズは、プレノプティックセル1510である。幾つかの実施形態では、マイクロレンズは、最初にセンサ側マイクロレンズアレイ720Aなどのマイクロレンズアレイ層に形成され、マイクロレンズアレイ層はセンサユニットに結合される。
ステップ950において、第2の複数のマイクロレンズが、ステップ930の複数のディスプレイユニットに結合される。幾つかの実施形態では、マイクロレンズは、プレノプティックセル1510である。幾つかの実施形態では、マイクロレンズは、最初に、ディスプレイ側マイクロレンズアレイ720Bなどのマイクロレンズアレイ層に形成され、マイクロレンズアレイ層は、ディスプレイユニットに結合される。ステップ950の後、方法900は終了することができる。
幾つかの実施形態では、方法900は、ステップ910の回路基板とステップ930の複数のディスプレイユニットとの間に複数の論理ユニットを結合するステップを更に含むことができる。幾つかの実施形態では、論理ユニットは、論理ユニット755である。幾つかの実施形態では、複数の論理ユニットは、回路基板とステップ920の複数のセンサユニットとの間に結合される。
特定の実施形態は、必要に応じて、方法900の1又は2以上のステップを繰り返すことができる。本開示は、方法900の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で行う方法900の任意の適切なステップを企図している。更に、本開示は、方法900の特定のステップを含むエミュレートされた透明アセンブリの製造方法の実施例を説明及び例示しているが、本開示は、必要に応じて、方法900のステップの全て又は一部を含むか又は全く含まない場合がある、任意の適切なステップを含む任意の適切なエミュレートされた透明アセンブリの製造方法を企図している。更に、本開示は、方法900の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法900の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
図10は、特定の実施形態による、図7のエミュレートされた透明アセンブリによって実装することができる直接センサ-ディスプレイシステム1000を示す。一般に、図10は、エミュレートされた透明性アセンブリ710の実施形態が、入力ピクセルの当然の結果として生じる出力ピクセルへの直接的な関連付けをどのように利用するかを示している。幾つかの実施形態では、これは、イメージセンサ層730と電子ディスプレイ層760が互いに近接近し、図7-8に示されているように共有基板(例:回路ボード740)の両側に装着されるように層状手法を用いて達成される。イメージセンサ層730からの信号は、回路基板740(及び一部の実施形態では論理ユニット層750)を通じて電子ディスプレイ層760に直接伝達することができる。論理ユニット層750は、何らかの必要な制御又は拡張のための任意選択の入力を用いて単純な処理を提供する。典型的な電子センサ/ディスプレイペア(デジタルカメラなど)は、ディスプレイが入力センサに直接結合されておらず、ある程度の画像変換が必要になるという点で、1対1の関係を表していない。しかしながら、本開示の特定の実施形態は、入力ピクセルと出力ピクセルの間に1対1のマッピングを実装し(すなわち、センサピクセルとディスプレイピクセルのレイアウトが同じである)、これにより、何れかの画像変換の必要性が回避される。これにより、エミュレートされた透明性アセンブリ710の複雑さと電力要件が軽減される。
図10に示されるように、各センサユニット735は、対応するディスプレイユニット765に直接結合される。例えば、センサユニット735Aは、ディスプレイユニット765Aに直接結合することができ、センサユニット735Bは、ディスプレイユニット765Bに直接結合することができる。幾つかの実施形態では、センサユニット735とディスプレイユニット765との間の信号伝達は、低電圧差動信号伝達(LVDS)などの任意の適切な差動信号伝達とすることができる。より具体的には、各センサユニット735は、入射ライトフィールド701に対応する特定のフォーマット(例えば、LVDS)で第1の信号を出力することができる。幾つかの実施形態では、第1の信号は、対応する論理ユニット755を介して送信され、該論理ユニット755は、第2の信号を第1の信号(例えば、LVDS)と同じフォーマットでディスプレイユニット765に送信する。他の実施形態では、第1の信号は、センサユニット735からディスプレイユニット765に直接送信される(例えば、センサユニット735及びディスプレイユニット765は、回路基板740の反対側に直接結合される)。ディスプレイユニット765は、論理ユニット755から第2の信号(又は回路基板740を介してセンサユニット735から直接第1の信号)を受け取り、これらを使用して出射ライトフィールド702を生成する。
センサユニット735とディスプレイユニット765との間の信号伝達において変換が必要とされないので、エミュレートされた透明アセンブリ710は、典型的なディスプレイ/センサの組み合わせから多くの利益を提供することができる。第1に、センサユニット735からの信号をディスプレイユニット765に変換するための信号プロセッサが必要とされない。例えば、センサユニット735とディスプレイユニット765との間の画像変換を実行するためのオフボード信号プロセッサが必要ではない。これにより、エミュレートされた透明アセンブリ710についてのスペース、複雑さ、重量、及びコスト要件が軽減される。第2に、エミュレートされた透明アセンブリ710は、ディスプレイ/センサの組み合わせにおいて通常可能となるであろうよりも高い分解能を提供することができる。センサユニット735をディスプレイユニット765と直接結合し、ユニット間のデータの処理又は変換を必要としないことにより、センサユニット735及びディスプレイユニット765の分解能は、通常可能となるであろうよりも遙かに高くなる可能性がある。更に、エミュレートされた透明アセンブリ710は、任意の特定の時間に、センサユニット735及びディスプレイユニット765にわたって異種の分解能を提供することができる。すなわち、特定のセンサユニット735及び対応するディスプレイユニット765は、特定の時間に他のセンサユニット735及びディスプレイユニット765とは異なる特定の分解能を有することができ、各センサユニット735及びディスプレイユニット765の分解能は、いつでも変更することができる。
幾つかの実施形態では、センサユニット735の各特定のセンサピクセルは、対応するディスプレイユニット765の単一のディスプレイピクセルにマッピングされ、ディスプレイピクセルは、そのマッピングされたセンサピクセルによってキャプチャされた光に対応する光を表示する。これは、図17A-図17Bに最もよく示されている。一例として、センサ側マイクロレンズアレイ720Aの特定のプレノプティックセル1510(例えば、図17Aのセンサ側マイクロレンズアレイ720Aの下部プレノプティックセル1510)の各中央センシングピクセル1725は、ディスプレイ側マイクロレンズアレイ720Bの対応するプレノプティックセル1510の1735(例えば、図17Aのディスプレイ側マイクロレンズアレイ720Bの下部プレノプティックセル1510)の中央ディスプレイピクセルにマッピングされる。別の実施例として、センサ側マイクロレンズアレイ720Aの特定のプレノプティックセル1510(例えば、図17Bのセンサ側マイクロレンズアレイ720Aの上部プレノプティックセル1510)の各上部センシングピクセル1725は、ディスプレイ側マイクロレンズアレイ720Bの対応するプレノプティックセル1510の1735(例えば、図17Bのディスプレイ側マイクロレンズアレイ720Bの上部プレノプティックセル1510)の下部ディスプレイピクセルにマッピングされる。
幾つかの実施形態では、図8に示すように、センサユニット735は、回路基板740に直接結合され、ディスプレイユニット765は、論理ユニット755(回路基板740に結合される)に結合される。他の実施形態では、ディスプレイユニット765は、回路基板740に直接結合され、センサユニット735は、論理ユニット755(回路基板740に結合される)に結合される。他の実施形態では、センサユニット735とディスプレイユニット765の両方は、回路基板740に直接結合される(すなわち、介在する論理ユニット755なしで)。このような実施形態では、センサユニット735及びディスプレイユニット765は、ユニット取付ロケーション745において回路基板740の両側に結合される(例えば、センサユニット735A及びディスプレイユニット765Aは、ユニット取付ロケーション745Aにおいて回路基板740の両側に結合される)。
図11は、特定の実施形態による、図10の直接センサ-ディスプレイシステム1000を製造する方法1100を示す。方法1100は、ステップ1110で開始することができ、ここで複数のユニット取付ロケーションが回路基板上で形成される。幾つかの実施形態では、回路基板は回路基板740であり、ユニット取付ロケーションはユニット取付ロケーション745である。幾つかの実施形態では、各ユニット取付ロケーションは、複数のディスプレイユニットの1つ及び複数のセンサユニットの1つに対応する。ディスプレイユニットはディスプレイユニット765とすることができ、センサユニットはセンサユニット735とすることができる。幾つかの実施形態では、各特定のユニット取付ロケーションは、複数のセンサユニットの1つ及び/又は複数の論理ユニットのうちの1つに結合するように構成されたBGAパッドを含む。幾つかの実施形態では、各特定のユニット取付ロケーションは、特定のユニット取付ロケーションを1又は2以上の隣接するユニット取付ロケーションに電気的に結合するように構成された複数の相互接続パッドを含む。幾つかの実施形態では、図8に示すように、ユニット取付ロケーションは、複数の縦列及び複数の横列に配置されている。
ステップ1120において、複数のセンサユニットは、回路基板の第1の側に結合される。幾つかの実施形態では、各センサユニットは、ステップ1110のユニット取付ロケーションのうちのそれぞれに結合される。ステップ1130において、複数のディスプレイユニットは、回路基板の第1の側と反対側にある第2の側に結合される。幾つかの実施形態では、各ディスプレイユニットは、ステップ1110のユニット取付ロケーションのそれぞれに結合され、複数のセンサピクセルユニットの各特定の1つが、複数のディスプレイピクセルユニットの対応する1つにマッピングされる。特定の各センサピクセルユニットをディスプレイピクセルユニットの1つにマッピングすることにより、複数のディスプレイピクセルユニットの各特定のディスプレイピクセルユニットのディスプレイピクセルは、マップされたセンサピクセルユニットのセンサピクセルによってキャプチャされた光に対応する光を表示するように構成される。ステップ1130の後、方法1100は終了することができる。
特定の実施形態は、必要に応じて、方法1100の1又は2以上のステップを繰り返すことができる。本開示は、方法1100の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で方法1100の任意の適切なステップを行うことを企図している。更に、本開示は、方法1100の特定のステップを含む例示的な直接センサ-ディスプレイシステムの製造方法を説明及び例示しているが、本開示は、必要に応じて方法1100のステップの全て又は一部を含むか又は全く含まない場合がある、任意の適切なステップを含む任意の適切な直接センサ-ディスプレイシステムの製造方法を企図している。更に、本開示は、方法1100の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法1100の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
図12~図13は、特定の実施形態による、図7のエミュレートされた透明アセンブリ710によって使用できる様々な層内信号処理構成を示す。一般に、図12~図13の構成は、カメラとディスプレイとの間(すなわち、イメージセンサ層730と電子ディスプレイ層760との間)に挟まれるデジタル論理の層(例えば、論理ユニット層750)を利用する。これらの構成により、大量のデータ(例えば、160k又はそれ以上の画像データ)のローカル分散処理が可能になり、これによりボトルネック、並びに典型的な構成に関連する性能、電力、及び伝送ラインの問題を回避する。人間の視力は、リアルタイムで処理しなければならない膨大な量のデータを表している。典型的なイメージングシステムは、単一のデータストリームを高性能プロセッサ(例えば、CPU又はGPU)との間で伝達し、これは、操作のためにデータをシリアル化する場合としない場合がある。人間の20/20の視力でこの手法に必要とされる帯域幅は、何れかの既知の伝送プロトコルの帯域幅を遙かに超えている。典型的なシステムではまた、全ての受信/発信データの処理、又はより小さな処理ノードへの配信の管理の何れかを担当するマスターコントローラーを使用する。何れにしても、全てのデータはシステム外/チップ外に転送され、操作され、表示デバイスに返される必要がある。しかしながら、この典型的な手法では、人間の視力により必要とされる膨大な量のデータを処理することができない。しかしながら、本開示の実施形態は、信号処理を分散化及び局所化するために、本明細書で説明されるようなセンサ/ディスプレイの組み合わせのファセット化された性質を利用する。これにより、以前は達成できなかったリアルタイムのデジタル画像処理が可能になる。
図12-図13に示すように、エミュレートされた透明性アセンブリ710の特定の実施形態は、イメージセンサ層730からの入力信号を操作し、電子ディスプレイ層760に出力信号を提供するために必要なロジックを含む論理(ロジック)ユニット層750を含む。幾つかの実施形態では、論理ユニット層750は、図12に示されるように、イメージセンサ層730と回路基板740との間に配置される。他の実施形態では、論理ユニット層750は、図13に示されるように、回路基板740と電子ディスプレイ層760との間に配置される。一般に、論理ユニット層750は、イメージセンサ層730からの入力信号を直接混合し、結果として得られる信号を電子ディスプレイ層760に直接出力する前に入力信号に対して1又は2以上の数学演算(例えば、マトリックス変換)を実行することができる特殊な画像処理層である。論理ユニット層750の各ロジックユニット755は、関連するファセット(すなわち、センサユニット735又はディスプレイユニット765)のみ担当するので、特定のロジックユニット755のデータは、システムレベルI/Oにそれほど影響を与えることなく操作することができる。これにより、中央処理のために何れかの受信センサデータをパラレル処理する必要が効果的に回避される。分散型手法により、エミュレートされた透明性アセンブリ710は、拡大/ズーム(各ファセットが入力に対してスケーリング変換を適用)、視覚補正(各ファセットが近視、遠視、乱視などの一般的な視覚問題を補償するシミュレーションされた光学的変換を適用))、色覚異常の補正(各ファセットは一般的な色覚異常の問題を補償する色変換を適用)、偏光(各ファセットはグレア低減を可能にする波動偏光をシミュレートする変換を適用します)、及びダイナミックレンジ低減(各ファセットは、高輝度領域(例:日光)を暗くし、低輝度領域(例えば、影)を明るくする)などの複数の機能を提供できる。更に、データ変換は各ファセットの論理ユニット層750に局所化されたままであるので、長い伝送ラインは無用とすることができる。これにより、クロストーク、シグナルインテグリティ、その他の問題を回避できる。更に、開示された実施形態は光学的透明性を必要としないので(代わりにエミュレートされた透明性を利用する)、センサとディスプレイファセットの間に不透明な処理層を配置することに対する機能的影響がない。
幾つかの実施形態では、論理ユニット層750は、回路基板740上に直接形成される個別論理ユニット(例えば、トランジスタ)を含む。例えば、標準的なフォトリソグラフィー技術を使用して、回路基板740上に直接論理ユニット層750を形成することができる。他の実施形態では、各論理ユニット755は、センサファセット又はディスプレイファセットの何れかに、或いは回路基板740に直接的に結合される別個の集積回路(IC)である。本明細書で使用される場合、「ファセット」は、別個に製造されて、回路基板740に結合されるディスクリートユニットを指す。例えば、「ディスプレイファセット」は、電子ディスプレイ層760とディスプレイ側マイクロレンズアレイ720Bの組み合わせを含むユニットを指すことができ、「センサファセット」は、イメージセンサ層730及びセンサ側マイクロレンズアレイ720Aの組み合わせを含むユニットを指すことができる。幾つかの実施形態では、ディスプレイファセットは、単一のディスプレイユニット765を含むことができ、又は複数のディスプレイユニット765を含むことができる。同様に、センサファセットは、単一のセンサユニット735を含むことができ、又は複数のセンサユニット735を含むことができる。幾つかの実施形態では、論理ユニット755は、センサファセット又はディスプレイファセットの何れかに含むことができる。ロジックユニット755が(回路基板740上に直接形成されるのではなく)ディスプレイファセット又はセンサファセットの何れかに直接結合される個別のICである実施形態では、シリコン貫通ビアを使用した3D IC設計などの適切な技術を用いて、ロジックユニット755のICをファセットのウェーハに結合することができる。
幾つかの実施形態では、論理ユニット層750は、特定用途向け集積回路(ASIC)又は算術論理ユニット(ALU)であるが、汎用プロセッサではない。これにより、ロジックユニットレイヤ750の電力効率を向上させることができる。更に、これにより、論理ユニット層750が冷却なしで動作することが可能になり、エミュレートされた透明アセンブリ710のコスト及び電力要件を更に削減する。
幾つかの実施形態では、論理ユニット755は、センサユニット735及びディスプレイユニット765と同じプロトコルを使用して通信するように構成される。例えば、ロジックユニット755がディスクリートICである実施形態では、ICは、センサ及びディスプレイファセット(例えば、LVDS又はアイ・スクエアド・シー(I2C))と同じプロトコルで通信するように構成することができる。これにより、センサとディスプレイファセットの間で変換しなければならない問題が排除され、これにより電力及びコストが削減される。
幾つかの実施形態では、論理ユニット層750は、出力信号を電子ディスプレイ層760に送信する前に、イメージセンサ層730から受信した信号に対して1又は2以上の動作を実行する。例えば、論理ユニット層750は、イメージセンサ層730から受信した信号を変換して、電子ディスプレイ層760上に表示するための拡張情報を含むことができる。これは、例えば、観察者へのARの提供に利用することができる。幾つかの実施形態では、論理ユニット層750は、イメージセンサ層730からの受信信号を、電子ディスプレイ層760上に表示するための代替情報で完全に置き換えることができる。これは、例えば、観察者にVRを提供するために使用することができる。
図14は、特定の実施形態による、図12~図13の層内信号処理システムを製造する方法1400を示す。方法1400は、ステップ1410で開始することができ、ここで複数のセンサユニットは、回路基板の第1の側に結合される。幾つかの実施形態では、センサユニットはセンサユニット735であり、回路基板は、回路基板740である。幾つかの実施形態では、各センサユニットは、ユニット取付ロケーション745などの複数のユニット取付ロケーションのうちの1つに結合される。各センサユニットは複数のセンサピクセルを含む。
ステップ1420では、複数のディスプレイユニットが形成される。幾つかの実施形態では、ディスプレイユニットは、ディスプレイユニット765と論理ユニット755の組み合わせである。各ディスプレイユニットは、シリコン貫通ビアを使用して、電子ディスプレイとロジックユニットを単一の3D集積回路に組み合わせることによって形成することができる。各ディスプレイユニットは、複数のディスプレイピクセルを含む。
ステップ1430では、ステップ1420の複数のディスプレイユニットが、第1の側とは反対側の回路基板の第2の側に結合される。幾つかの実施形態では、各論理ユニットは、ユニット取付ロケーションのうちのそれぞれに結合される。ステップ1430の後、方法1400は終了することができる。
特定の実施形態は、必要に応じて、方法1400の1又は2以上のステップを繰り返すことができる。本開示は、方法1400の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で方法1400の任意の適切なステップを行うことを企図している。更に、本開示は、方法1400の特定のステップを含む例示的な層内信号処理システム製造方法を説明及び図示するが、本開示は、必要に応じて方法1100のステップの全て又は一部を含むか又は全く含まない場合がある、任意の適切なステップを含む任意の適切な層内信号処理システム製造方法を企図している。更に、本開示は、方法1400の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法1400の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
図15~図17Cは、エミュレートされた透明アセンブリ710のマイクロレンズアレイ720A~B内で使用できるプレノプティックセル1510のアレイ1500の様々な図を示す。図15は、プレノプティックセルアセンブリ1500を示し、図16は、図15のプレノプティックセルアセンブリ1500の一部の断面を示し、図17A~図17Cは、光の様々な入射フィールド及び出射フィールドと共に図15のプレノプティックセルアセンブリ1500の一部の断面を示している。
標準的な電子ディスプレイは、典型的には、2次元のラスタライズされた画像を形成するピクセルの平面配置を含み、本質的に2次元データを伝達する。1つの制限は、伝達されるシーン内の異なる視点を知覚するために平面画像を回転できないことである。この画像を鮮明に見るためには、画像自体内に何が描かれているかに関係なく、観察者の目又はカメラのレンズが画面に合焦しなければならない。対照的に、現実世界から目に入る光の量により、目はその光の量内の何れかの点に必然的に合焦することが可能となる。この光のプレノプティック「フィールド」は、外部レンズによって単一の焦点面に合焦した虚像とは対照的に、自然に目に入るシーンからの光線を含む。既存のライトフィールドディスプレイは、この現象を再現できる可能性があるが、空間分解能と角分解能との間に大きなトレードオフが存在し、その結果、知覚される光の量はぼんやりと又は細部が不十分に見える。
既存のライトフィールドディスプレイの問題及び制限を克服するために、本開示の実施形態は、入射するプレノプティック光量を記録して、電子的に再現できる結合ライトフィールドキャプチャ及びディスプレイシステムを提供する。キャプチャ及びディスプレイプロセスの両方は、大きな合成画像の小さなビューの記録又は表示を担当するプレノプティックセル1510の配置によって実現される。センサの各プレノプティックセル1510自体は、イメージセンサピクセルの高密度クラスターから構成され、ディスプレイの各プレノプティックセル自体は、ディスプレイピクセルの高密度クラスターから構成される。どちらの場合も、センサセルに入る光線又はディスプレイセルから出る光線は、1又は2以上の透明なレンズレット1512によって合焦され、準コリメート光線の正確に調整された分散を生成する。これは、基本的に入射ライトフィールドを記録し、アセンブリの反対側でこれを再現する。具体的には、センサの場合、このセルのレンズ(又は一連のレンズ)に入るある量の光は、各ピクセルがセル内の位置とレンズのプロファイルによって決定される一方向からのみ光を集めるように画像ピクセルに合焦する。これにより、ライトフィールド内の様々な角度光線のラスタライズされたエンコードが可能になり、セル内のピクセル数が記録された角分解能を決定付ける。ディスプレイの場合、ピクセルから放出された光は、同一レンズ(又は一連のレンズ)によって合焦され、センサによって記録されたものに一致する光の量に加えて、電子的拡張又は変更(例えば、上述のロジックユニット層750からの)を生成する。このセルからの放射光の円錐は、観察者のライトフィールドの形成を可能にするのに十分な間隔の角度で光線のサブセットを含み、各出力光線方向は、セル内の元のピクセルの位置とレンズのプロファイルによって決定される。
プレノプティックセル1510は、センサ側マイクロレンズアレイ720A及びディスプレイ側マイクロレンズアレイ720Bの両方によって利用することができる。例えば、複数のプレノプティックセル1510Aは、センサ側マイクロレンズアレイ720Aに含めることができ、各プレノプティックセル1510Aは、イメージセンサ1520に結合又は他の方法で隣接させることができる。イメージセンサ1520は、イメージセンサ層730の一部とすることができ、センシングピクセル1725を含むセンサピクセルアレイ1525を含むことができる。同様に、複数のプレノプティックセル1510Bをディスプレイ側マイクロレンズアレイ720Bに含めることができ、各プレノプティックセル1510Bは、ディスプレイ1530に結合又は他の方法で隣接させることができる。ディスプレイ1530は、電子ディスプレイ層760の一部とすることができ、ディスプレイピクセル1735を含むディスプレイピクセルアレイ1625を含むことができる。図18~図20及びこれらに関連する、「イメージセンサ用のスタックされた透明なピクセル構造」という名称の米国特許出願第15/724,027号明細書に記載されているように、センシングピクセル1725は、センサピクセル1800とすることができ、本出願は、引用により全体が本明細書に組み込まれる。ディスプレイピクセル1735は、図1~図4及びこれらに関連する、「電子ディスプレイ用のスタックされた透明ピクセル構造」という名称の米国特許出願第15/724,004号明細書に記載されているようなディスプレイピクセル100とすることができ、本出願は、引用により全体が本明細書に組み込まれる。
幾つかの実施形態では、プレノプティックセル1510は、透明なレンズレット1512及びセル壁1514を含む。具体的には、プレノプティックセル1510Aは、透明なレンズレット1512A及びセル壁1514Aを含み、プレノプティックセル1510Bは、透明なレンズレット1512B及びセル壁1514Bを含む。幾つかの実施形態では、透明なレンズレット1512は、3D形状を含み、3D形状の一方端にコリメートレンズを備える。例えば、図15に示されるように、透明なレンズレット1512は、直方体であってもよく、直方体の一方端にコリメートレンズを有する。他の実施形態では、透明なレンズレット1512の3D形状は、三角形の多面体、五角形の多面体、六角形の多面体、七角形の多面体、八角形の多面体、円柱、又は他の任意の適切な形状とすることができる。各プレノプティックセル1510Aは、入力視野(FOV)1610(例えば、30度)を含み、また、各プレノプティックセル1510Bは、出力FOV1620(例えば、30度)を含む。幾つかの実施形態では、入力FOV1610は、対応するプレノプティックセル1510の出力FOV1620と一致する。
透明なレンズレット1512は、任意の適切な透明光学材料から形成することができる。例えば、透明なレンズレット1512は、ポリマー、シリカガラス、又はサファイアから形成することができる。幾つかの実施形態では、透明なレンズレット1512は、ポリカーボネート又はアクリルなどのポリマーから形成することができる。幾つかの実施形態では、透明なレンズレット1512は、ライトフィールドをキャプチャ及び/又は生成するために、導波路及び/又はフォトニック結晶で置き替えることができる。
一般に、セル壁1514は、隣接するプレノプティックセル1510間の光学的クロストークを防ぐための障壁である。セル壁1514は、硬化すると可視光に対して不透明となる任意の適切な材料から形成することができる。幾つかの実施形態では、セル壁1514はポリマーから形成される。セル壁1514を使用した光学的クロストークの防止は、図17A及び17Cを参照して以下でより詳細に説明される。
幾つかの実施形態では、イメージセンサ1520は、バックプレーン回路1630Aを含むか、又はこれに結合され、ディスプレイ1530は、バックプレーン回路1630Bを含むか、又はこれに結合される。一般に、バックプレーン回路1630A-Bは、画像データがイメージセンサ1520からディスプレイ1530に流れることを可能にする電気接続を提供する。幾つかの実施形態では、バックプレーン回路1630A及びバックプレーン回路1630Bは、単一のバックプレーンの両側である。幾つかの実施形態では、バックプレーン回路1630A及びバックプレーン回路1630Bは、回路基板740である。
幾つかの実施形態では、光の出入りを特定の入射角に制限するために、フィルタ層1640を透明なレンズレット1512の一方端又は両端に含めることができる。例えば、第1のフィルタ層1640Aは、透明なレンズレット1512の凸状端部に含めることができ、及び/又は第2のフィルタ層1640Bは、透明なレンズレット1512の反対側の端部に含めることができる。セル壁1514と同様に、このようなコーティング又はフィルムはまた、隣接する透明なレンズレット1512間の画像のにじみを許容可能な量に制限することができる。フィルタ層1640は、セル壁1514に加えて又はその代わりに使用することができる。
図17A~図17Cは各々、センサ側マイクロレンズアレイ720A及び対応するディスプレイ側マイクロレンズアレイ720Bの7つの隣接するプレノプティックセル1510の断面図を示す。これらの図は、入射ライトフィールド701が、どのようにイメージセンサ1520によってキャプチャされて、実質的に同一のライトフィールドを放出するためにディスプレイ1530上で電子的に再現されるかを示している。図17Aでは、センサプレノプティックセル1510の真正面にある物体からの入射ライトフィールド1710は、センサプレノプティックセル1510の透明なレンズレット1512によって、中央センシングピクセル1725上に合焦される。次いで、対応する光は、対応するディスプレイプレノプティックセル1510の対応する中央ディスプレイピクセル1735によって透過される。透過した光は、ディスプレイプレノプティックセル1510の透明なレンズレット1512によって合焦され、放射ライトフィールド1711として放射される。放射ライトフィールド1711は、ゼロ度のソースライトフィールド(すなわち、入力ライトフィールド1710)と正確に一致する。更に、隣接するディスプレイプレノプティックセル1510を貫通するはずのロケーション1740にてセル壁1514に当たる放射光線は、不透明なセル壁1514によって遮断され、これにより光学的クロストークが防止される。
図17Bでは、センサプレノプティックセル1510の軸から14度離れた物体からの入射ライトフィールド1720は、センサプレノプティックセル1510の透明なレンズレット1512によって上部センシングピクセル1725上に合焦される。次に、対応する光は、対応するディスプレイプレノプティックセル1510の対応する反対の(すなわち、底部)ディスプレイピクセル1735によって透過される。透過された光は、ディスプレイプレノプティックセル1510の透明なレンズレット1512によって合焦され、放射ライトフィールド1721として放射される。放射ライトフィールド1721は、14度のソースライトフィールド(すなわち、入力ライトフィールド1720)と正確に一致する。
図17Cでは、センサプレノプティックセル1510の軸から25度離れた物体からの入射ライトフィールド1730は、センサプレノプティックセル1510の透明なレンズレット1512によって完全にセル壁1514上に合焦される。入射ライトフィールド1730は、センシングピクセル1725の代わりにセンサプレノプティックセル1510のセル壁1514に完全に合焦されるので、対応する光は、対応するディスプレイプレノプティックセル1510によって透過されない。更に、隣接するセンサプレノプティックセル1510を貫通するはずのロケーション1750でセル壁1514に当たる入射光線は、不透明なセル壁1514によって遮断され、これにより光学的クロストークが防止される。
図18A-18Bは、特定の実施形態による、図15のプレノプティックセルアセンブリを製造する方法を示す図である。図18Aでは、マイクロレンズアレイ(MLA)シート1810が形成又は取得される。MLAシート1810は、図示のように複数のレンズレットを含む。図18Bでは、複数の溝1820が、MLAシート1810の複数のレンズレットの各々の周りに所定の深さまでカットされている。幾つかの実施形態では、溝1820は、所望の深さを達成するために複数のパスを使用してカットすることができる。幾つかの実施形態では、溝1820は、レーザーアブレーション、エッチング、リソグラフィープロセス、又は他の任意の適切な方法を使用してカットすることができる。溝1820を所望の深さにカットした後、溝は、光が溝1820を通って漏れないように構成された材料で充填される。幾つかの実施形態では、材料は、硬化されると光を吸収する材料(例えば、カーボンナノチューブ)又は不透明な材料(例えば、非反射性の不透明な材料又は着色ポリマー)である。溝1820を充填して硬化させた後に結果として得られるプレノプティックセルアセンブリが図20-21に示される。
図19A-19Bは、特定の実施形態による、図15のプレノプティックセルアセンブリを製造する別の方法を示す図である。図19Aでは、ボイド1840を有する予め形成された格子1830が得られるか又は形成される。格子1830は、セル壁1514について上述したように、任意の適切な材料で作られる。格子1830は、限定ではないが、付加製造及びセル物質のアブレーションを含む、任意の適切な方法から形成することができる。
図19Bでは、ボイド1840は、光学ポリマー1850で充填されている。光学ポリマー1850は、透明なレンズレット1512について上述したように、任意の適切な材料とすることができる。ボイド1840が光学ポリマー1850で充填された後、成形又はアブレーションを使用して最終的なレンズプロファイルが作成される。レンズが形成された後の結果として得られたプレノプティックセルアセンブリの実施例が図20-図21に示される。
図22~図23は、特定の実施形態による、図7のエミュレートされた透明アセンブリ710によって回路基板740として使用できるフレキシブル回路基板2210を示す。一般に、球面又は半球面などの3D形状の周りにエレクトロニクスをラップすることは、重要な作業である。フレキシブルで伸縮可能でもある回路の様々な実施例が現在利用可能であるが、このようなエレクトロニクスを小半径(例えば、30~60mm)の球面又は半球面上に位置付ける場合には、克服すべき幾つかの障害がある。例えば、フレキシブルエレクトロニクス基板を一方向に曲げても、湾曲に必要なねじり力により関連する薄膜に損傷が与えられる可能性があるので、複合湾曲への適応性を本質的に示すものではない。別の実施例として、現在利用可能な伸縮可能なエレクトロニクスの伸縮度及び寿命についての疑問が依然としてある。
現在の解決策の問題及び制限に対処するために、本開示の実施形態は、単一のフレキシブル回路上に構築された小さな剛体面のアレイからなるジオデシックファセット手法を用いた3D(例えば、球形又は半球形)エレクトロニクス製造方法を提示する。幾つかの実施形態では、フレキシブル回路は、特定のネットシェイプにカットされ、3D形状(例えば、球状又は半球状)にラップされ、所定位置にロックされて、繰り返しの屈曲による損耗を防ぐ。本方法は、ヘッドマウントのニアアイラップディスプレイに必要な狭い曲率半径(例えば、30~60mm)に対応するのに特に有用である。幾つかの実施形態では、アセンブリは、単一の基本的なフレキシブルプリント回路層を含み、フレキシブル回路の反対側に層状の剛性センサ及びディスプレイアレイが積層されている。センサ層及びディスプレイ層を含むアセンブリ全体は、標準的な平面半導体プロセス(例:スピンコーティング、フォトリソグラフィーなど)により製造することができる。剛性エレクトロニクス層をエッチングして個別のセンサ及びディスプレイユニット(すなわち、「ファセット」)を形成し、次いで、接続パッドによりフレキシブル回路に接続して、パターン化された導電性及び非導電性接着剤により接着することができる。これにより、フレキシブル回路が剛性ファセット間の縁部にて僅かに折り畳むことができる。幾つかの実施形態では、平面製造に続いて、完全に硬化した機能電子スタックが、最終硬質ポリマーケーシングの一方の側を型として使用して、所望の最終3D形状に形成される。このようにして、剛性エレクトロニクスファセットのアレイは変形せずに、単にこれらの型の所定位置に入り、フレキシブル回路は、定められた折り目/ギャップにて曲げられ、ケーシングのファセット内部に一致する。アセンブリは、剛性ケーシングの反対側の一致する側を使用して、最終的にキャップしてシールすることができる。
本開示の実施形態は、球形又は半球形だけに限定されないが、このような形状は確実に企図される。開示された実施形態は、任意の複合曲率又は他の任意の回転形状に形成することができる。更に、開示された実施形態は、任意の不均一な湾曲、並びに非湾曲(すなわち、平坦な)表面に形成することができる。
図22は、2つの異なる状態のフレキシブル回路基板2210、すなわち、平坦なフレキシブル回路基板2210A及び3D形状のフレキシブル回路基板2210Bを示す。フレキシブル回路基板2210は、ファセットロケーション2220を含み、これは、一般に、ファセット(例えば、以下で論じられるセンサファセット3735、ディスプレイファセット2665、又は論理ファセット2655)がフレキシブル回路基板2210上に取り付けることができるロケーションである。幾つかの実施形態では、フレキシブル回路基板2210はギャップ2215を含む。図22の下部に示すように、フレキシブル回路基板2210が平坦である場合、ファセットロケーション2220の少なくとも幾つかは、1又は2以上のギャップ2215によって1又は2以上の隣接するファセットロケーション2220から分離されている。図22の上部に示されるように、フレキシブル回路基板2210が3D形状に形成される場合、ギャップ2215は実質的に排除することができ、これにより、ファセットロケーション2220で結合されるファセットの少なくとも幾つかにわたって連続した表面が形成される(例えば、複数のセンサファセット3735にわたる連続的なセンシング面、又は複数のディスプレイファセット2665にわたる連続的なディスプレイ面)。
一般に、ファセットロケーション2220は、任意の形状を有することができる。幾つかの実施形態では、ファセットロケーション2220は、多角形(例えば、三角形、正方形、矩形、五角形、六角形、七角形、又は八角形)の形状である。幾つかの実施形態では、ファセットロケーション2220は全て同一である。しかしながら、他の実施形態では、ファセットロケーション2220は全て同じ多角形形状を共有する(例えば、全てが六角形である)が、異なる寸法を有する。幾つかの実施形態では、ファセットロケーション2220は異種混在の形状を有する(例えば、幾つかは矩形であり、幾つかは六角形である)。任意の適切な形状のファセットロケーション2220を使用できる。
幾つかの実施形態では、ファセットロケーション2220は、縦列2201に配置される。幾つかの実施形態では、ファセットロケーション2220は、追加的に又は代替的に横列2202に配置される。ファセットロケーション2220の特定のパターンが示されているが、ファセットロケーション2220の任意の適切なパターンを使用することができる。
図23は、特定の実施形態による、フレキシブル回路基板2210の追加の詳細を示す。幾つかの実施形態では、各ファセットロケーション2220は、センサ又はディスプレイファセットをフレキシブル回路基板2210に結合するためのパッド及び/又はビアを含む。例として、フレキシブル回路基板2210の幾つかの実施形態は、各ファセットロケーション2220にてBGAパッド2240を含む。各ファセットロケーション2220には、適切なパターン及び数のパッド/ビアを含めることができる。
一般に、各特定のファセットロケーション2220は、特定のファセットロケーションに結合された特定のセンサファセットと特定のファセットロケーションの反対側に結合された特定のディスプレイファセットとの間で信号を送信するように構成される。例えば、特定のファセットロケーション2220は、一方の側に結合されたセンサファセット3735と、その反対側に結合されたディスプレイファセット2665とを有することができる。特定のファセットロケーション2220は、センサファセット3735からの信号がディスプレイファセット2665に直接伝達可能にするのに必要な電気接続を提供し、これにより、ディスプレイファセット2665がセンサファセット3735によってキャプチャされた光に対応する光を表示できるようにする。
幾つかの実施形態では、ファセットロケーション2220を電気的に接続するために、ワイヤトレース2230がフレキシブル回路基板2210上に含まれる。例えば、ワイヤトレース2230は、隣接するファセットロケーション2220を電気的に接続するために、各ファセットロケーション2220の相互接続パッド2250に接続することができる。幾つかの実施形態では、ファセットロケーション2220は、ワイヤトレース2230を介して連続的に接続される。例えば、図24は、特定の実施形態による、フレキシブル回路基板2210を通るシリアルデータフローを示している。この実施例では、各ファセットロケーション2220には、一意の識別子(例えば、「1」、「2」など)が割り当てられ、データは、図示のようにワイヤトレース2230を介してファセットロケーション2220をシリアルに流れる。このようにして、各ファセットロケーション2220は、その一意の識別子を使用して単一のプロセッサ又は論理ユニットによってアドレス指定することができる。適切なアドレッシングスキーム及びデータフローパターンを使用できる。
図25は、特定の実施形態による、図22のフレキシブル回路基板2210を使用して電子アセンブリを製造する方法2500を示す。ステップ2510において、複数のファセットロケーションが、フレキシブル回路基板上に形成される。幾つかの実施形態では、ファセットロケーションは、ファセットロケーション2220であり、フレキシブル回路基板は、フレキシブル回路基板2210である。各ファセットロケーションは、複数のセンサファセットの1つ及び複数のディスプレイファセットの1つに対応する。センサファセットは、センサファセット3735であり、ディスプレイファセットは、ディスプレイファセット2665である。幾つかの実施形態では、複数のファセットロケーションは、縦列2201などの複数のファセット縦列に配置される。幾つかの実施形態では、複数のファセットロケーションは、追加的に又は代替として、横列2202などの複数のファセット横列に配置される。
ステップ2520において、ステップ2510のフレキシブル回路基板は、フレキシブル回路基板が後で球形又は半球形などの3D形状に形成可能にするパターンにカット又は他の方法で成形される。フレキシブル回路基板が平坦な場合、ファセットロケーションの少なくとも一部は、ギャップ2215などの複数のギャップによって1又は2以上の隣接するファセットロケーションから分離される。フレキシブル基板が3D形状にされた場合、複数のギャップが実質的に排除される。
ステップ2530において、第1の複数の剛性ファセットをフレキシブル回路基板の第1の側に結合することにより、電子アセンブリが組み立てられる。第1の複数の剛性ファセットは、センサファセット3735又はディスプレイファセット2665とすることができる。各剛性ファセットは、ファセットロケーションのそれぞれに結合される。幾つかの実施形態では、第1の複数の剛性ファセットは、パターン化された導電性及び非導電性接着剤を使用して、フレキシブル回路基板の第1の側で接続パッドに結合される。
幾つかの実施形態では、ステップ2530の第1の複数の剛性ファセットは、センサファセット3735などの剛性センサファセットであり、方法2500は、ディスプレイファセット2665などの複数の剛性ディスプレイファセットを、第1の側の反対側にあるフレキシブル回路基板の第2の側に結合するステップを更に含む。この場合、特定の各ファセットロケーションは、特定のファセットロケーションに電気的に結合された特定の剛性センサファセットと、同じ特定のファセットロケーションに電気的に結合された特定の剛性ディスプレイファセットとの間で信号を送信するように構成される。これにより、対応する剛性センサファセットによりキャプチャされた光に対応する特定の剛性ディスプレイファセットから光を表示することができる。
ステップ2540において、組み立てられた電子アセンブリは、所望の3D形状に形成される。幾つかの実施形態では、このステップは、結合された剛性ファセットを備えたフレキシブル回路基板を、所望の形状の剛性ケーシングの一方の側に配置することを含む。これにより、剛性ファセットがケーシングの定義されたスペースに入り、フレキシブル回路基板が剛性ファセット間の定義された折り目/ギャップにて曲がることができるようになる。結合された剛性ファセットを備えたフレキシブル回路基板を剛性ケーシングの一方の側に配置した後、剛性ケーシングの反対側の一致する側を第1の側に取り付けて、これによりアセンブリを目的の形状にシールすることができる。
特定の実施形態は、必要に応じて、方法2500の1又は2以上のステップを繰り返すことができる。本開示は、方法2500の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で方法2500の任意の適切なステップを行うことを企図している。更に、本開示は、フレキシブル回路基板を使用して電子アセンブリを製造する例示的な方法を説明及び例示しているが、本開示は、必要に応じて、方法2500のステップの全て又は一部を含むか又は全く含まない場合がある、フレキシブル回路基板を使用して電子アセンブリを製造する任意の適切な方法を企図している。更に、本開示は、方法2500の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法2500の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
図26~図36は、特定の実施形態による、高密度ディスプレイ用の分散マルチスクリーンアレイを示す。一般に、人間の片目の視野全体をエミュレートできるニアアイディスプレイを提供するには、現在の一般的なディスプレイ画面よりも桁違いに高い分解能の高ダイナミックレンジ画像ディスプレイが必要である。このようなディスプレイは、人間の20/20の視力に対応するのに十分な角度及び空間分解能を有するライトフィールドディスプレイを提供可能であることが必要である。これは膨大な量の情報であり、100K~200Kの合計水平ピクセル数に相当する。これらのディスプレイはまた、人間の1つの目の視野全体(水平方向約160°及び垂直方向約130°)の周りをラップする必要がある。両眼視をレンダリングするためには、それぞれの目の周りの曲面全体に広がるこのようなディスプレイのペアが必要になる。しかしながら、現在入手可能な典型的なディスプレイは、これらの要件を満たすことができない。
現在のディスプレイのこれら及び他の制限に対処するために、本開示の実施形態は、カスタムサイズ及び形状の小型の高分解能マイクロディスプレイ(例えば、ディスプレイファセット2665)のアレイを提供し、これら全てが形成された後、3D形状(例えば、半球面)に形成することができるより大きなフレキシブル回路基板2210上に組み立てられる。マイクロディスプレイは、半球状回路の内側に取り付けることができ、ここでTFTロジックユニット(例えば、ロジックユニット755)のアレイを含む別の層を含めて、電力及び信号管理を全て処理することができる。典型的には、各マイクロディスプレイに対して1つの論理ユニット755を含めることができる。各マイクロディスプレイは、ディスクリートユニットとして動作し、その背後のロジックユニットからのデータを表示する。追加の情報(例えば、AR、VR、又はMRアプリケーションのための外部ビデオなど)は、中央制御プロセッサを介してアレイ全体にわたすことができる。幾つかの実施形態では、外部データ信号は、1つのマイクロディスプレイから次のマイクロディスプレイへとパックドマルチプレックスストリームとしてシリアルに進行し、各ディスプレイに対するTFTロジックユニットは、読み取る信号のソースとセクションを決定する。これにより、各ユニットは、他のディスプレイとは独立して動作することができ、各々で独自のコンテンツを有して多くの高分解能ディスプレイの大型アレイを提供し、アセンブリ全体として本質的に単一の超高分解能ディスプレイを形成する。
分解能、色の明瞭性、及び輝度出力の要件を満たすために、各マイクロディスプレイは、独自の高性能ピクセルアーキテクチャを有することができる。例えば、各マイクロディスプレイ画面は、図1~図4及びこれらに関連する、「電子ディスプレイ用のスタックされた透明ピクセル構造」という名称の米国特許出願第15/724,004号明細書に記載されているように、ディスプレイピクセル100のアレイを含むことができ、本出願は、引用により全体が本明細書に組み込まれる。マイクロディスプレイ画面は、適切な方法を使用して同じ基板上に組み立てることができる。標準的な半導体層形成及びフォトリソグラフィープロセスを使用したこのような同時製造により、多くの個別の画面の製造及びパッケージングに伴うオーバーヘッド及びコストが実質的に排除され、値頃感が大幅に向上する。
図26は、特定の実施形態による、湾曲したマルチディスプレイアレイ2600の切り欠き図を示す。図26は、基本的に、図22のフレキシブル回路基板2210Bの裏側であり、ファセットロケーション2220にてフレキシブル回路基板2210Bに結合された論理ファセット2655及びディスプレイファセット2665が追加されている。一般に、各論理ファセット2655は、論理ユニット層750からの個別の論理ユニット755である。同様に、各ディスプレイファセット2665は、マイクロレンズアレイ720の一部と結合されたディスプレイ層760からの個別のディスプレイユニット765である。
幾つかの実施形態では、各個別の論理ファセット2655は、フレキシブル回路基板2210に結合され、その後、各個別のディスプレイファセット2665は、論理ファセット2655のうちの1つに結合される。他の実施形態では、各論理ファセット2655は、最初にディスプレイファセット2665のうちの1つに結合され、その後、組み合わされたファセットは、フレキシブル回路基板2210に結合される。このような実施形態では、組み合わされた論理ファセット2655及びディスプレイファセット2665は、簡単にするためにディスプレイファセット2665と呼ぶことができる。本明細書で使用される「ディスプレイファセット」は、両方の実施形態(すなわち、個別のディスプレイファセット2665、又はディスプレイファセット2665と論理ファセット2655の組み合わせ)を指すことができる。
一般に、各ディスプレイファセット2665は、(例えば、図示されていない中央制御プロセッサによって)個別にアドレス指定することができ、ディスプレイファセット2665の集合は、単一の集合体を形成する異種の動的集合を表すことができる。換言すると、マルチディスプレイアレイ2600は、全体として完全体を形成する個別のディスプレイファセット2665を通る画像を示すタイル状の電子ディスプレイシステムを提供する。各個別のディスプレイファセット2665は、複数の異なるディスプレイ分解能を提供でき、オンザフライでカスタマイズして、異なる分解能、色範囲、フレームレートなどを実行することができる。例えば、1つのディスプレイファセット2665が512x512の表示分解能を有することができ、隣接するディスプレイファセット2665(同じサイズ)が128x128の表示分解能を有しており、前者はより高濃度の画像データを表す。この実施例では、これら2つのディスプレイは異種であるが、個別に制御可能であり、一体となって作動して単一のディスプレイイメージを形成する。
ディスプレイファセット2665の全体集合は、任意の曲面又は平面の構造に従うことができる。例えば、ディスプレイファセット2665は、半球面、円筒面、楕円球面、又は他の任意の形状の面に形成することができる。
論理ファセット2655及びディスプレイファセット2665は、任意の適切な形状にすることができる。幾つかの実施形態では、論理ファセット2655及びディスプレイファセット2665の形状は、互いに及びファセットロケーション2220の形状に一致する。幾つかの実施形態では、論理ファセット2655及びディスプレイファセット2665は、三角形、四辺形、五角形、六角形、七角形、又は八角形などの多角形の形状である。幾つかの実施形態では、論理ファセット2655及びディスプレイファセット2665の一部又は全てが非多角形の形状を有する。例えば、アセンブリ全体の美観を高めるために湾曲したカットオフを有する場合があるので、フレキシブル回路基板2210の縁部上のディスプレイファセット2665は、多角形でない場合がある。
選択可能/制御可能なディスプレイ分解能を有することに加えて、幾つかの実施形態において、各ディスプレイファセット2665はまた、複数の色範囲からの選択可能な色範囲及び/又は複数のフレームレートからの選択可能なフレームレートを有することができる。このような実施形態では、特定のフレキシブル回路基板2210のディスプレイファセット2665は、異種のフレームレート及び異種の色範囲を提供するように構成可能である。例えば、1つのディスプレイファセット2665が特定の色範囲を有することができ、別のディスプレイファセット2665は、異なる色範囲を有する。同様に、1つのディスプレイファセット2665は、特定のフレームレートを有することができ、別のディスプレイファセット2665は、異なるフレームレートを有する。
図27は、特定の実施形態による、図26の湾曲したマルチディスプレイアレイ2600の分解図を示し、図28~図29は、特定の実施形態による、論理ファセット2655及びディスプレイファセット2665の更なる詳細を示す図である。これらの図に示されるように、各論理ファセット2655は、隣接する論理ファセット2655の相互接続パッド2250に電気的に結合することができる相互接続パッド2850を含むことができる。これにより、ワイヤトレース2230を介してディスプレイファセット2665をシリアルに結合できるようになる。更に、各論理ファセット2655は、ディスプレイファセット2665の背面にあるパッド2940と一致するパターンのパッド2840を含むことができる。これにより、論理ファセット2655とディスプレイファセット2665は、当技術分野の適切な技術を使用して結合することができる。幾つかの実施形態では、パッド2840及びパッド2940は、BGAパッド又は他の適切な表面実装パッドである。
図30及び32は、図22のフレキシブル回路基板2210の裏側を示し、また、図23を参照して説明したのと同様の詳細を示す。図31及び図33は、フレキシブル回路基板2210を通るシリアルデータフローを示し、また、図24を参照して説明したのと同様の詳細を示す。図34は、特定の実施形態による、半球形状に形成された論理ファセット2655のアレイを示している。この図では、明瞭にするために、フレキシブル回路基板2210とディスプレイファセット2665が削除されている。図35は、特定の実施形態による、図34の論理ファセット2655間の通信を示している。この図に示すように、各論理ファセット2655は、相互接続パッド2850を使用して隣接する論理ファセット2655と通信することができる。更に、各論理ファセット2655は、図35に示されているように、一意の識別情報を有することができる。これにより、各論理ファセット2655は、例えば中央処理装置によって一意的にアドレス指定することができる。
図36は、特定の実施形態による、図26の湾曲したマルチディスプレイアレイを製造する方法3600を示す。方法3600は、ステップ3610で開始することができ、ここで回路基板上に複数のファセットロケーションが形成される。幾つかの実施形態では、ファセットロケーションはファセットロケーション2220であり、回路基板はフレキシブル回路基板2210である。幾つかの実施形態では、各ファセットロケーションは、ディスプレイファセット2665などの複数のディスプレイファセットのうちの1つに対応する。
ステップ3620において、フレキシブル回路基板は、フレキシブル回路基板が後で3D形状に形成できるようにするパターンにカット又は他の方法で形成される。フレキシブル回路基板が平坦である場合、ファセットロケーションの少なくとも幾つかは、ギャップ2215などの複数のギャップによって1又は2以上の隣接するファセットロケーションから分離される。フレキシブル基板が3D形状に形成された場合、複数のギャップが実質的に排除される。
ステップ3630において、複数の論理ファセットが、フレキシブル回路基板の第1の側に結合される。各論理ファセットは、ステップ3610のファセットロケーションのそれぞれに結合される。ステップ3640において、複数のディスプレイファセットが、ステップ3630の複数の論理ファセットのそれぞれに結合される。別の実施形態では、ディスプレイファセットは、論理ファセットをフレキシブル回路基板の第1の側に結合する前に、ウェーハレベルでステップ3630の論理ファセットに取り付けることができる。ステップ3650では、組み立てられた電子ディスプレイアセンブリが3D形状に形成される。幾つかの実施形態では、このステップは、上記の方法2500のステップ2540と同様とすることができる。ステップ3650の後、方法3600は終了することができる。
特定の実施形態は、必要に応じて、方法3600の1又は2以上のステップを繰り返すことができる。本開示は、方法3600の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で方法3600の任意の適切なステップを行うことを企図している。更に、本開示は、湾曲したマルチディスプレイアレイを製造する例示的な方法を説明及び例示しているが、本開示は、必要に応じて、方法3600のステップの全て又は一部を含むか又は全く含まない場合がある、湾曲したマルチディスプレイアレイを製造する任意の適切な方法を企図している。更に、本開示は、方法3600の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法3600の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
図37~図42は、特定の実施形態による、分散型マルチアパーチャカメラアレイ3700を示す。一般に、人間の単一の目の視野全体のフルライトフィールドをキャプチャするには、現在入手可能な分解能よりも遙かに高い分解能を備えた大型の高ダイナミックレンジイメージセンサが必要である。このようなイメージセンサは、人間の20/20の視力に対応するのに十分な角度及び空間分解能を有するライトフィールドカメラを可能にする。これは膨大な量の情報であり、100K~200Kの合計水平ピクセル数に相当する。このマルチアパーチャイメージセンサはまた、人間の1つの目の視野全体の周りをラップする必要がある(水平方向約160°、垂直方向約130°)。両眼視の撮像には、両眼の曲面全体に広がるこのようなカメラが必要になる。現在入手可能な典型的なイメージセンサアセンブリは、これらの要件を満たすことができない。
典型的なイメージセンサのこれら及び他の制限を克服するために、本開示の実施形態は、カスタムサイズ及び形状の小さなイメージセンサのアレイを提供し、これらの全ては、3D(例えば、半球状)形状に形成されるより大きなフレキシブル回路基板上に組み立てられる。イメージセンサ(例えば、センサファセット3735)は、フレキシブル回路基板2210の外側部に取り付けられ、ここでTFTロジックユニット(例えば、ロジックユニット755)のアレイを含む別の層を設けて、全ての電力及び信号管理、すなわち各ディスプレイに1つの論理ユニットを処理することができる。各イメージセンサは、読み出しデータをその背後のロジックユニットにわたすディスクリートユニットとして動作し(ロジックユニットを含む実施形態では)、ここで処理されてこれに応じてルーティングされる(例えば、幾つかの実施形態では、対応するディスプレイファセット2665に)。これにより、各センサファセット3735は、他の任意のセンサファセット3735から独立して動作することができ、各々で独自のコンテンツをキャプチャする多数のアパーチャの大きなアレイを提供し、アセンブリ全体が本質的にシームレスな極めて高い分解能のマルチノードカメラになる。幾つかの実施形態では、イメージセンサは、ペアのロジックユニットにデータをわたすことができるが、イメージセンサ自体の機能は必ずしもロジックユニットの結合を必要としない点に留意されたい。
分解能、色の明瞭性、及び輝度出力の要件を満たすために、各マイクロセンサは、独自の高性能ピクセルアーキテクチャを有することができる。例えば、各マイクロセンサは、図18-20及びこれらに関連する、イメージセンサ用のスタックされた透明なピクセル構造」という名称の米国特許出願第15/724,027号明細書に記載されているように、センサピクセル1800のアレイを含むことができ、本出願は、引用により全体が本明細書に組み込まれる。マイクロセンサは、任意の適切な方法を使用して同じ基板上に組み立てることができる。標準的な半導体層形成及びフォトリソグラフィープロセスを使用したこのような同時製造により、多くの個別の画面の製造及びパッケージングに伴うオーバーヘッド及びコストが実質的に排除され、値頃感が大幅に向上する。
分散型マルチアパーチャカメラアレイ3700の特定の実施形態の別の特徴は、異なるプレノプティックセル間の視差に基づく組み込みの奥行き知覚である。所与のセンサの両側のセルによって生成された画像を使用して、画像詳細のオフセットを計算することができ、ここでオフセット距離は、ディテールのセンサ表面への近接度と直接相関性がある。このシーン情報は、拡張ビデオ信号を重畳するときに中央プロセッサによって用いることができ、AR/MRコンテンツが観察者の前方に適切な深度で配置されることになる。この情報はまた、シミュレートされた被写界深度、空間エッジ検出、及び他の視覚効果を含む、様々な人工焦点ぼけ及び深度センシングタスクにおいて使用できる。
図37は、特定の実施形態による、分散マルチアパーチャカメラアレイ3700の切り欠き図を示す。図37は、本質的に図22のフレキシブル回路基板2210Bであり、ファセットロケーション2220でフレキシブル回路基板2210Bに結合されたセンサファセット3735が付加されている。幾つかの実施形態では、各センサファセット3735は、イメージセンサ層730からの個別のセンサユニット735である。
幾つかの実施形態では、各個別のセンサファセット3735は、フレキシブル回路基板2210に結合される。他の実施形態では、各個別のセンサファセット3735は、フレキシブル回路基板2210に結合されている論理ファセット2655のうちの1つに結合される。他の実施形態では、各論理ファセット2655は、最初にセンサファセット3735のうちの1つに結合され、その後、組み合わされたファセットは、フレキシブル回路基板2210に結合される。このような実施形態では、組み合わされた論理ファセット2655とセンサファセット3735は、簡単にするためにセンサファセット3735と呼ぶことができる。本明細書で使用される「センサファセット」は、両方の実施形態(すなわち、個別のセンサファセット3735、又はセンサファセット3735と論理ファセット2655の組み合わせ)を指すことができる。
一般に、各センサファセット3735は、(例えば、図示されていない中央制御プロセッサによって)個別にアドレス指定することができ、センサファセット3735の集合は、単一の集合体を形成する異種の動的集合を表すことができる。換言すると、分散型マルチアパーチャカメラアレイ3700は、タイル状の電子センサシステムを提供し、全体として完全体を形成する個別のセンサファセット3735を通じてキャプチャされた画像を提供する。各個別のセンサファセット3735は、複数の異なる分解能で画像をキャプチャすることができ、オンザフライでカスタマイズして、異なる分解能、色範囲、フレームレートなどをキャプチャすることができる。例えば、1つのセンサファセット3735が512x512のキャプチャ分解能を有することができ、隣接するセンサファセット3735(同じサイズ)が128x128のキャプチャ分解能を有しており、前者はより高濃度の画像データを表す。この実施例では、これら2つのセンサは異種であるが、個別に制御可能であり、一体となって作動して単一のライトフィールドをキャプチャする。
センサファセット3735の全体集合は、任意の曲面又は平面の構造に従うことができる。例えば、センサファセット3735は、半球面、円筒面、楕円球面、又は他の任意の形状の面に形成することができる。
センサファセット3735は、任意の適切な形状にすることができる。幾つかの実施形態では、センサファセット3735の形状は、ディスプレイファセット2665の形状及びファセットロケーション2220の形状と一致する。幾つかの実施形態では、センサファセット3735は、三角形、四辺形、五角形、六角形、七角形、又は八角形などの多角形の形状である。幾つかの実施形態では、センサファセット3735の一部又は全部が非多角形の形状を有する。例えば、アセンブリ全体の美観を高めるために湾曲したカットオフを有する場合があるので、フレキシブル回路基板2210のエッジ上のセンサファセット3735は多角形でない場合がある。
選択可能/制御可能な分解能を有することに加えて、幾つかの実施形態では、各センサファセット3735はまた、複数の色範囲からの選択可能な色範囲及び/又は複数のフレームレートからの選択可能なフレームレートを有することができる。このような実施形態では、特定のフレキシブル回路基板2210のセンサファセット3735は、異種のフレームレート及び異種の色範囲を提供するように構成可能である。例えば、1つのセンサファセット3735が特定の色範囲を有することができ、別のセンサファセット3735が異なる色範囲を有する。同様に、1つのセンサファセット3735は、特定のフレームレートを有することができ、別のセンサファセット3735は、異なるフレームレートを有する。
図38~図39は、特定の実施形態による、図37の分散型マルチアパーチャカメラアレイ3700の分解図を示す。これらの図に示されるように、各センサファセット3735は、フレキシブル回路基板2210のパッド2240又は論理ファセット2655のパッド2940と一致するパターンのパッド3940を含むことができる。これにより、センサファセット3735は、当技術分野の任意の適切な技術を使用して、論理ファセット2655又はフレキシブル回路基板2210に結合することができる。幾つかの実施形態では、パッド3940は、BGAパッド又は他の適切な表面実装パッドである。図40~図40は、フレキシブル回路基板2210が3D形状に形成されていることを除いて、図23~図24に示されるようなフレキシブル回路基板2210の同様の図を示す。
図42は、特定の実施形態による、分散マルチアパーチャカメラアレイ3700を製造する方法4200を示す。方法4200は、ステップ4210で開始することができ、ここで回路基板上に複数のファセットロケーションが形成される。幾つかの実施形態では、ファセットロケーションは、ファセットロケーション2220であり、回路基板は、フレキシブル回路基板2210である。幾つかの実施形態では、各ファセットロケーションは、センサファセット3735などの複数のセンサファセットの1つに対応する。
ステップ4220において、フレキシブル回路基板は、フレキシブル回路基板が後で3D形状に形成できるようにするパターンにカット又は他の方法で形成される。フレキシブル回路基板が平坦である場合、ファセットロケーションの少なくとも幾つかは、ギャップ2215などの複数のギャップによって1又は2以上の隣接するファセットロケーションから分離される。フレキシブル基板が3D形状に形成された場合、複数のギャップが実質的に排除される。
ステップ4230において、複数のセンサファセットが、フレキシブル回路基板の第1の側に結合される。各センサファセットは、ステップ4210のファセットロケーションのそれぞれに結合される。ステップ4240では、組み立てられた電子カメラアセンブリが3D形状に形成される。幾つかの実施形態では、このステップは、上述の方法2500のステップ2540と同様とすることができる。ステップ4240の後、方法4200は終了することができる。
特定の実施形態は、必要に応じて、方法4200の1又は2以上のステップを繰り返すことができる。本開示は、方法4200の特定のステップを特定の順序で行うものとして説明及び例示しているが、本開示は、任意の適切な順序(例えば、任意の時間的順序)で方法4200の任意の適切なステップを行うことを企図している。更に、本開示は、分散型マルチアパーチャカメラアレイを製造する例示的な方法を説明及び例示しているが、本開示は、必要に応じて、方法4200のステップの全て又は一部を含むか又は全く含まない場合がある、分散型マルチアパーチャカメラアレイを製造する任意の適切な方法を企図している。更に、本開示は、方法4200の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び例示しているが、本開示は、方法4200の任意の適切なステップを実行する任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせを企図している。
本明細書では、「又は」は、他に明示的に示されていないか、又は文脈によって他に示されていない限り、包括的であり排他的ではない。従って、本明細書では、「A又はB」は、特に明記されていない限り又は文脈によって別段に指定されていない限り、「A、B、又はその両方」を意味する。更に、「及び」は、特に明記されていない限り又は文脈によって別段に示されていない限り、共同及び別々の両方である。従って、本明細書では、「A及びB」は、特に明記されていない限り又は文脈によって別の方法で指定されていない限り、「A及びBは、共同又は別々に」を意味する。
本開示の範囲は、当業者であれば理解するであろう、本明細書に記載又は例示される例示的な実施形態に対する全ての変更、置換、変形、代替、及び修正を包含する。本開示の範囲は、本明細書で説明又は図示される例示的な実施形態に限定されない。更に、本開示は、特定の構成要素、要素、機能、操作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び図示しているが、これらの実施形態の何れも、当業者が理解するであろう本明細書の任意の場所に記載又は図示されている構成要素、要素、機能、操作、又はステップの任意の組み合わせ又は置換を含むことができる。更に、特定の機能を実行するように適合、配置、実施可能、構成可能、有効、作動可能、又は作動する装置又はシステムもしくは装置又はシステムの構成要素への添付の特許請求の範囲における言及は、その特定の機能が起動、オン、又はロック解除されているかどうかにかかわらず、当該装置、システム、又は構成要素がそのように適合、配置、実施可能、構成、有効、動作可能、又は作動する限り、当該装置、システム、構成要素を包含する。
本開示は、特定の構成要素、要素、機能、操作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び図示しているが、これらの実施形態の何れも、当業者が理解するであろう本明細書のどこかで記載又は例示される構成要素、要素、機能、操作、又はステップの任意の組み合わせ又は置換を含むことができる。
更に、特定の機能を実行するように適合、配置、実施可能、構成可能、有効、作動可能、又は作動する装置又はシステムもしくは装置又はシステムの構成要素への添付の特許請求の範囲における言及は、その特定の機能が起動、オン、又はロック解除されているかどうかにかかわらず、当該装置、システム、又は構成要素がそのように適合、配置、実施可能、構成、有効、動作可能、又は作動する限り、当該装置、システム、構成要素を包含する。以下の本発明の実施態様を記載する。
(実施態様)電子ディスプレイアセンブリであって、回路基板と、前記回路基板の第1の側にあり、第1の複数のマイクロレンズを含む第1のマイクロレンズ層と、前記第1のマイクロレンズ層とは前記回路基板の反対側にあり、第2の複数のマイクロレンズを含む第2のマイクロレンズ層と、前記第1のマイクロレンズ層に隣接し、前記第1の複数のマイクロレンズを通った入射光を検出するよう構成された複数のセンサピクセルを含む、イメージセンサ層と、前記第2のマイクロレンズ層に隣接し、前記第2の複数のマイクロレンズを通して光を放出するよう構成された複数のディスプレイピクセルを含む、ディスプレイ層と、前記回路基板に結合された論理ユニット層であって、前記第1の複数のマイクロレンズを通って検出された前記入射光の角度に対応する角度で前記第2の複数のマイクロレンズから光を放出するように、前記複数のセンサピクセルから前記複数のディスプレイピクセルに信号を送信することにより透明性をエミュレートするように構成された1又は2以上の論理ユニットを含む論理ユニット層と、を備えた、電子ディスプレイアセンブリ。
(実施態様2)前記第1の複数のマイクロレンズは、第1の方向に向けられ、
前記第2の複数のマイクロレンズは、前記第1の方向から180度の第2の方向に向けられる、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様3)前記イメージセンサ層が、前記第1のマイクロレンズ層内に配置され、
前記ディスプレイ層が、前記第2のマイクロレンズ層内に配置される、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様4)前記回路基板がフレキシブルである、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様5)透明性をエミュレートすることが、前記電子ディスプレイアセンブリが存在しない場合に見えることになる画像と一致する画像が表示されるように前記第2の複数のマイクロレンズから光を放出させることを含む、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様6)前記論理ユニット層が、前記イメージセンサ層と前記回路基板との間にある、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様7)前記論理ユニット層が、前記ディスプレイ層と前記回路基板との間にある、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様8)前記第1及び第2の複数のマイクロレンズの各マイクロレンズが、3次元形状であり、該3次元形状の一方端にコリメートレンズを有し、前記3次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、実施態様1に記載の電子ディスプレイアセンブリ。
(実施態様9)前記第1及び第2の複数のマイクロレンズの各マイクロレンズが更に、隣接するマイクロレンズへの光の漏出を防止するよう構成された複数の不透明壁を含む、実施態様8に記載の電子ディスプレイアセンブリ。
(実施態様10)電子ディスプレイアセンブリであって、回路基板と、前記回路基板の第1の側にあり、第1の複数のマイクロレンズを含む第1のマイクロレンズ層と、前記第1のマイクロレンズ層とは前記回路基板の反対側にあり、第2の複数のマイクロレンズを含む第2のマイクロレンズ層と、前記第1のマイクロレンズ層に隣接し、前記第1の複数のマイクロレンズを通った入射光を検出するよう構成された複数のセンサピクセルを含む、イメージセンサ層と、前記第2のマイクロレンズ層に隣接し、前記第2の複数のマイクロレンズを通して光を放出するよう構成された複数のディスプレイピクセルを含む、ディスプレイ層と、を備え、前記電子ディスプレイアセンブリは、前記第1の複数のマイクロレンズを通して検出された入射光の角度に対応する角度で前記第2の複数のマイクロレンズから光を放出することにより透明性をエミュレートするように構成されている、電子ディスプレイアセンブリ。
(実施態様11)前記第1の複数のマイクロレンズは、第1の方向に向けられ、
前記第2の複数のマイクロレンズは、前記第1の方向から180度の第2の方向に向けられる、実施態様10に記載の電子ディスプレイアセンブリ。
(実施態様12)前記イメージセンサ層が、前記第1のマイクロレンズ層内に配置され、前記ディスプレイ層が、前記第2のマイクロレンズ層内に配置される、実施態様10に記載の電子ディスプレイアセンブリ。
(実施態様13)前記回路基板がフレキシブルである、実施態様10に記載の電子ディスプレイアセンブリ。
(実施態様14)透明性をエミュレートすることが、前記電子ディスプレイアセンブリが存在しない場合に見えることになる画像と一致する画像が表示されるように前記第2の複数のマイクロレンズから光を放出させることを含む、実施態様10に記載の電子ディスプレイアセンブリ。
(実施態様15)前記第1及び第2の複数のマイクロレンズの各マイクロレンズが、3次元形状であり、該3次元形状の一方端にコリメートレンズを有し、前記3次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、実施態様10に記載の電子ディスプレイアセンブリ。
(実施態様16)前記第1及び第2の複数のマイクロレンズの各マイクロレンズが更に、隣接するマイクロレンズへの光の漏出を防止するよう構成された複数の不透明壁を含む、実施態様15に記載の電子ディスプレイアセンブリ。
(実施態様17)電子ディスプレイを製造する方法であって、
回路基板上に複数のユニット取付ロケーションを形成するステップであって、前記ユニット取付ロケーションの各々が、複数のディスプレイユニットの1つ及び複数のセンサユニットの1つに対応する、ステップと、
前記複数のセンサユニットを前記回路基板の第1の側に結合するステップであって、前記センサユニットの各々が、前記ユニット取付ロケーションのそれぞれに結合される、ステップと、
前記複数のディスプレイユニットを前記第1の側とは反対側の前記回路基板の第2の側に結合するステップであって、前記ディスプレイユニットの各々が、前記ユニット取付ロケーションのそれぞれに結合される、ステップと、
第1の複数のマイクロレンズを前記複数のセンサユニットに結合するステップと、
第2の複数のマイクロレンズを前記複数のディスプレイユニットに結合するステップと、を含む、方法。
(実施態様18)前記回路基板と前記複数のディスプレイユニットとの間に複数の論理ユニットを結合するステップを更に含む、実施態様17に記載の電子ディスプレイを製造する方法。
(実施態様19)前記回路基板と前記複数のセンサユニットとの間に複数の論理ユニットを結合するステップを更に含む、実施態様17に記載の電子ディスプレイを製造する方法。
(実施態様20)前記第1及び第2の複数のマイクロレンズの各マイクロレンズが、
3次元形状であり、該3次元形状の一方端にコリメートレンズを有し、前記3次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、3次元形状と、
隣接するマイクロレンズへの光の漏出を防止するよう構成された複数の不透明壁と、を含む、実施態様17に記載の電子ディスプレイを製造する方法。
701 入射ライトフィールド
702 出射ライトフィールド
710 エミュレートされた透明アセンブリ
720A センサ側マイクロレンズアレイ
720B ディスプレイ側マイクロレンズアレイ
730 イメージセンサ層
735A~C センサユニット
740 回路基板
745A~C ユニット取付ロケーション
750 論理ユニット層
755A~C 論理ユニット
760 電子ディスプレイ層
765A~C ディスプレイユニット

Claims (12)

  1. 電子ディスプレイアセンブリであって、
    回路基板と、
    前記回路基板の第1の側にあり、第1の複数のマイクロレンズを含む第1のマイクロレンズ層と、
    前記第1のマイクロレンズ層とは前記回路基板の反対側にあり、第2の複数のマイクロレンズを含む第2のマイクロレンズ層と、
    前記第1のマイクロレンズ層に隣接し、前記第1の複数のマイクロレンズを通った入射光を検出するよう構成された複数のセンサピクセルを含む、イメージセンサ層と、
    前記第2のマイクロレンズ層に隣接し、前記第2の複数のマイクロレンズを通して光を放出するよう構成された複数のディスプレイピクセルを含む、ディスプレイ層と、
    前記回路基板に結合された論理ユニット層であって、前記第1の複数のマイクロレンズを通って検出された前記入射光の角度に対応する角度で前記第2の複数のマイクロレンズから光を放出するように、前記複数のセンサピクセルから前記複数のディスプレイピクセルに信号を送信することにより透明性をエミュレートするように構成された1又は2以上の論理ユニットを含み、前記ディスプレイ層が前記論理ユニット層に結合され、前記イメージセンサ層が前記回路基板に結合され、前記論理ユニット層が、前記ディスプレイ層と前記回路基板との間に配置されている、論理ユニット層と、を備えた、電子ディスプレイアセンブリ。
  2. 前記第1の複数のマイクロレンズは、第1の方向に向けられ、
    前記第2の複数のマイクロレンズは、前記第1の方向から180度の第2の方向に向けられる、請求項1に記載の電子ディスプレイアセンブリ。
  3. 前記回路基板がフレキシブルである、請求項1に記載の電子ディスプレイアセンブリ。
  4. 透明性をエミュレートすることが、前記電子ディスプレイアセンブリが存在しない場合に見えることになる画像と一致する画像が表示されるように前記第2の複数のマイクロレンズから光を放出させることを含む、請求項1に記載の電子ディスプレイアセンブリ。
  5. 前記第1及び第2の複数のマイクロレンズの各マイクロレンズが、3次元形状であり、該3次元形状の一方端にコリメートレンズを有し、前記3次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、請求項1に記載の電子ディスプレイアセンブリ。
  6. 前記第1及び第2の複数のマイクロレンズの各マイクロレンズが更に、隣接するマイクロレンズへの光の漏出を防止するよう構成された複数の不透明壁を含む、請求項に記載の電子ディスプレイアセンブリ。
  7. 電子ディスプレイアセンブリであって、
    回路基板と、
    前記回路基板の第1の側にあり、第1の複数のマイクロレンズを含む第1のマイクロレンズ層と、
    前記第1のマイクロレンズ層とは前記回路基板の反対側にあり、第2の複数のマイクロレンズを含む第2のマイクロレンズ層と、
    前記第1のマイクロレンズ層に隣接し且つ前記回路基板の前記第1の側に結合され、前記第1の複数のマイクロレンズを通った入射光を検出するよう構成された複数のセンサピクセルを含む、イメージセンサ層と、
    前記第2のマイクロレンズ層に隣接し且つ前記回路基板の前記反対側に結合され、前記第2の複数のマイクロレンズを通して光を放出するよう構成された複数のディスプレイピクセルを含む、ディスプレイ層と、を備え、
    前記電子ディスプレイアセンブリは、前記第1の複数のマイクロレンズを通して検出された入射光の角度に対応する角度で前記第2の複数のマイクロレンズから光を放出することにより透明性をエミュレートするように構成されている、電子ディスプレイアセンブリ。
  8. 前記第1の複数のマイクロレンズは、第1の方向に向けられ、
    前記第2の複数のマイクロレンズは、前記第1の方向から180度の第2の方向に向けられる、請求項に記載の電子ディスプレイアセンブリ。
  9. 前記回路基板がフレキシブルである、請求項に記載の電子ディスプレイアセンブリ。
  10. 透明性をエミュレートすることが、前記電子ディスプレイアセンブリが存在しない場合に見えることになる画像と一致する画像が表示されるように前記第2の複数のマイクロレンズから光を放出させることを含む、請求項に記載の電子ディスプレイアセンブリ。
  11. 前記第1及び第2の複数のマイクロレンズの各マイクロレンズが、3次元形状であり、該3次元形状の一方端にコリメートレンズを有し、前記3次元形状が、三角形の多面体、矩形の直方体、五角形の多面体、六角形の多面体、七角形の多面体、又は八角形の多面体を含む、請求項に記載の電子ディスプレイアセンブリ。
  12. 前記第1及び第2の複数のマイクロレンズの各マイクロレンズが更に、隣接するマイクロレンズへの光の漏出を防止するよう構成された複数の不透明壁を含む、請求項11に記載の電子ディスプレイアセンブリ。
JP2020542588A 2018-02-07 2019-01-23 電子的にエミュレートされた透明性を備えたディスプレイアセンブリ Active JP7489160B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/890,892 US10838250B2 (en) 2018-02-07 2018-02-07 Display assemblies with electronically emulated transparency
US15/890,892 2018-02-07
PCT/US2019/014655 WO2019156805A1 (en) 2018-02-07 2019-01-23 Display assemblies with electronically emulated transparency

Publications (3)

Publication Number Publication Date
JP2021513112A JP2021513112A (ja) 2021-05-20
JPWO2019156805A5 JPWO2019156805A5 (ja) 2022-02-24
JP7489160B2 true JP7489160B2 (ja) 2024-05-23

Family

ID=65516746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020542588A Active JP7489160B2 (ja) 2018-02-07 2019-01-23 電子的にエミュレートされた透明性を備えたディスプレイアセンブリ

Country Status (10)

Country Link
US (1) US10838250B2 (ja)
EP (1) EP3750183B1 (ja)
JP (1) JP7489160B2 (ja)
KR (1) KR102467346B1 (ja)
CN (1) CN111868926A (ja)
AU (1) AU2019218739B2 (ja)
CA (1) CA3090660A1 (ja)
ES (1) ES2928489T3 (ja)
SG (1) SG11202007478RA (ja)
WO (1) WO2019156805A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006294034A (ja) 2005-04-11 2006-10-26 Valeo Vision デジタル画像から物体を検出するための方法、デバイス、およびカメラ
JP2018524952A (ja) 2015-04-21 2018-08-30 ユニバーシティー オブ ロチェスター クローキングシステム及び方法

Family Cites Families (231)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7075501B1 (en) 1990-12-31 2006-07-11 Kopin Corporation Head mounted display system
US5475514A (en) 1990-12-31 1995-12-12 Kopin Corporation Transferred single crystal arrayed devices including a light shield for projection displays
US6548956B2 (en) 1994-12-13 2003-04-15 The Trustees Of Princeton University Transparent contacts for organic devices
US5719706A (en) * 1995-03-15 1998-02-17 Matsushita Electric Industrial Co., Ltd. Illuminating apparatus, projection lens, and display apparatus including the illumination apparatus and the projection lens
US6744912B2 (en) 1996-11-29 2004-06-01 Varian Medical Systems Technologies, Inc. Multiple mode digital X-ray imaging system
US5731899A (en) 1996-12-20 1998-03-24 Eastman Kodak Company Lenslet array system incorporating an integral field lens/reimager lenslet array
JPH11272209A (ja) 1998-01-30 1999-10-08 Hewlett Packard Co <Hp> 表示用集積回路ビデオ・タイル
AU6182200A (en) * 1999-08-02 2001-02-19 Comoc Corporation Microlens array and display comprising microlens array
WO2001080204A2 (en) 2000-04-14 2001-10-25 C-360, Inc. Illuminated viewing assembly, viewing system including the illuminated viewing assembly, and method of viewing therefor
JP2002062818A (ja) * 2000-08-16 2002-02-28 Sony Corp マイクロレンズおよび画像表示装置の製造方法
US6724012B2 (en) 2000-12-14 2004-04-20 Semiconductor Energy Laboratory Co., Ltd. Display matrix with pixels having sensor and light emitting portions
JP2003114403A (ja) * 2001-07-25 2003-04-18 Canon Inc 画像表示素子及びこれを用いた投射表示装置
US7387913B2 (en) 2001-08-08 2008-06-17 Jsr Corporation 3D optoelectronic micro system
TWI289896B (en) 2001-11-09 2007-11-11 Semiconductor Energy Lab Laser irradiation apparatus, laser irradiation method, and method of manufacturing a semiconductor device
US7233354B2 (en) 2002-10-11 2007-06-19 Hewlett-Packard Development Company, L.P. Digital camera that adjusts resolution for low light conditions
US7015639B2 (en) 2002-10-22 2006-03-21 Osram Opto Semiconductors Gmbh Electroluminescent devices and method of making transparent cathodes
FR2852147B1 (fr) 2003-03-06 2005-09-30 Commissariat Energie Atomique Matrice de pixels detecteurs integree sur circuit de lecture de charges
JP2004363049A (ja) * 2003-06-06 2004-12-24 Seiko Epson Corp 有機エレクトロルミネッセンス表示装置の製造方法及び、有機エレクトロルミネッセンス表示装置並びに、有機エレクトロルミネッセンス表示装置を備える表示装置
US6909233B2 (en) 2003-06-11 2005-06-21 Eastman Kodak Company Stacked OLED display having improved efficiency
US8884845B2 (en) 2003-10-28 2014-11-11 Semiconductor Energy Laboratory Co., Ltd. Display device and telecommunication system
DE102004003013B3 (de) 2004-01-20 2005-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen Verwendung
US20050206755A1 (en) 2004-03-17 2005-09-22 Fuji Photo Film Co., Ltd. Solid-state imaging device
US20050205879A1 (en) 2004-03-17 2005-09-22 Fuji Photo Film Co., Ltd. Photoelectric converting film stack type solid-state image pickup device
JP2005268609A (ja) 2004-03-19 2005-09-29 Fuji Photo Film Co Ltd 多層積層型多画素撮像素子及びテレビカメラ
US7352415B1 (en) 2004-04-23 2008-04-01 Geronimi Heather A Electronic image display systems
US20050242712A1 (en) 2004-04-29 2005-11-03 Chao-Chin Sung Multicolor electroluminescent display
SG155167A1 (en) * 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
US20060054782A1 (en) 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
TW200628921A (en) * 2004-09-17 2006-08-16 Hitachi Maxell Microlens array, method of fabricating microlens array, and liquid crystal display apparatus with microlens array
GB2420536A (en) 2004-11-27 2006-05-31 Tom Vlaming Automotive head up display system
JP2007012359A (ja) 2005-06-29 2007-01-18 Hitachi Displays Ltd 有機el表示装置
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070123133A1 (en) 2005-11-30 2007-05-31 Eastman Kodak Company OLED devices with color filter array units
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
TW200803606A (en) 2006-06-13 2008-01-01 Itc Inc Ltd The fabrication of full color OLED panel using micro-cavity structure
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US7714923B2 (en) 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
US7808540B2 (en) 2007-01-09 2010-10-05 Eastman Kodak Company Image capture and integrated display apparatus
US20080218331A1 (en) 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US8456392B2 (en) 2007-05-31 2013-06-04 Nthdegree Technologies Worldwide Inc Method of manufacturing a light emitting, photovoltaic or other electronic apparatus and system
US7952059B2 (en) 2007-06-13 2011-05-31 Eyes Of God, Inc. Viewing system for augmented reality head mounted display with rotationally symmetric aspheric lenses
CN101345248B (zh) 2007-07-09 2010-07-14 博立码杰通讯(深圳)有限公司 多光谱感光器件及其制作方法
KR20090038242A (ko) 2007-10-15 2009-04-20 삼성전자주식회사 전하를 트랩하는 광전 발생부를 포함하는 이미지 센서
JP4548475B2 (ja) * 2007-11-20 2010-09-22 ソニー株式会社 液晶表示素子および投射型液晶表示装置
KR100916321B1 (ko) 2007-12-17 2009-09-11 한국전자통신연구원 유기 발광 다이오드 터치스크린 장치 및 그 제조 방법
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8339429B2 (en) 2008-07-24 2012-12-25 International Business Machines Corporation Display monitor electric power consumption optimization
US7948547B2 (en) 2008-08-05 2011-05-24 Eastman Kodak Company Apparatus and method for capturing and viewing images
US8610650B2 (en) 2009-05-20 2013-12-17 Dialog Semiconductor Gmbh Advanced multi line addressing
JP2011118324A (ja) * 2009-11-06 2011-06-16 Sony Corp 液晶表示素子及びその製造方法、並びに液晶表示素子を備えた投射型液晶表示装置
DE102010000925B4 (de) 2010-01-14 2012-04-19 Kreyenborg Beteiligungen Und Verwaltungen Gmbh & Co. Kg Siebträgerelement für eine Filtriereinrichtung mit wenigstens einer Siebkavität
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
KR101848526B1 (ko) 2010-06-11 2018-04-12 백 인 포커스 사용자의 시각적인 장애를 보상하기 위해 디스플레이를 렌더링하는 시스템 및 방법
JP2012043939A (ja) * 2010-08-18 2012-03-01 Sony Corp 撮像素子および撮像装置
US8163581B1 (en) 2010-10-13 2012-04-24 Monolith IC 3D Semiconductor and optoelectronic devices
US20130194244A1 (en) * 2010-10-12 2013-08-01 Zeev Tamir Methods and apparatuses of eye adaptation support
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
BR112013014975A2 (pt) 2010-12-16 2020-08-11 Lockheed Martin Corporation exibição de colimação com lentes de pixel
WO2012082825A2 (en) 2010-12-17 2012-06-21 Dolby Laboratories Licensing Corporation Quantum dots for display panels
US9179134B2 (en) 2011-01-18 2015-11-03 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
WO2012117670A1 (ja) 2011-03-01 2012-09-07 パナソニック株式会社 固体撮像装置
JP2012205015A (ja) 2011-03-24 2012-10-22 Casio Comput Co Ltd 画像処理装置及び画像処理方法、並びにプログラム
US8605082B2 (en) 2011-04-18 2013-12-10 Brian K. Buchheit Rendering adjustments to autocompensate for users with ocular abnormalities
US8508830B1 (en) 2011-05-13 2013-08-13 Google Inc. Quantum dot near-to-eye display
US20150077312A1 (en) 2011-05-13 2015-03-19 Google Inc. Near-to-eye display having adaptive optics
US9454851B2 (en) 2011-06-24 2016-09-27 Intel Corporation Efficient approach to estimate disparity map
US20130175557A1 (en) 2011-09-02 2013-07-11 The Procter & Gamble Company Light emitting apparatus
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20130188045A1 (en) 2012-01-20 2013-07-25 Nokia Corporation High Resolution Surveillance Camera
US8848006B2 (en) 2012-01-25 2014-09-30 Massachusetts Institute Of Technology Tensor displays
US9368546B2 (en) * 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US9025111B2 (en) * 2012-04-20 2015-05-05 Google Inc. Seamless display panel using fiber optic carpet
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
KR101260287B1 (ko) 2012-04-27 2013-05-03 (주)뷰아이텍 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9001427B2 (en) 2012-05-30 2015-04-07 Microsoft Technology Licensing, Llc Customized head-mounted display device
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US9841537B2 (en) * 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
CN103576351A (zh) 2012-07-23 2014-02-12 天津富纳源创科技有限公司 具有触控功能的液晶模组
EP2690483A1 (en) 2012-07-25 2014-01-29 Johnson Controls Automotive Electronics SAS Head-up display and method for operating it
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9250445B2 (en) 2012-08-08 2016-02-02 Carol Ann Tosaya Multiple-pixel-beam retinal displays
US9349769B2 (en) 2012-08-22 2016-05-24 Taiwan Semiconductor Manufacturing Company, Ltd. Image sensor comprising reflective guide layer and method of forming the same
JP2014048652A (ja) 2012-09-04 2014-03-17 Japan Display Inc 液晶表示装置
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
EP2915156A4 (en) 2012-11-01 2015-10-28 Lellan Inc MODULAR PANEL LIGHTED WITHOUT INTERRUPTION
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
JP6220125B2 (ja) * 2012-12-28 2017-10-25 キヤノン株式会社 撮像装置およびその制御方法
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
EP2975909A4 (en) 2013-03-13 2016-06-01 Panasonic Ip Man Co Ltd ORGANIC ELECTROLUMINESCENT ELEMENT AND LIGHTING DEVICE USING THE SAME
KR102318391B1 (ko) 2013-03-15 2021-10-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
CN105165122A (zh) 2013-05-01 2015-12-16 柯尼卡美能达株式会社 有机电致发光元件
US9036078B1 (en) 2013-05-14 2015-05-19 Google Inc. Reducing light damage in shutterless imaging devices
DE112014002456B4 (de) 2013-05-17 2017-07-13 Panasonic Intellectual Property Management Co., Ltd. Organisches elektrolumineszierendes Element und Beleuchtungs-Einrichtung
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
KR20140140861A (ko) 2013-05-30 2014-12-10 영남대학교 산학협력단 유기발광표시장치
JP6098375B2 (ja) 2013-05-31 2017-03-22 日本精機株式会社 ヘッドアップディスプレイ装置
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
KR20150006731A (ko) 2013-07-09 2015-01-19 삼성디스플레이 주식회사 표시장치 및 그 구동 방법
EP3022898B1 (en) 2013-07-19 2020-04-15 Google Technology Holdings LLC Asymmetric sensor array for capturing images
GB201314984D0 (en) 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9158115B1 (en) 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
US9454008B2 (en) 2013-10-07 2016-09-27 Resonance Technology, Inc. Wide angle personal displays
TWI498769B (zh) 2013-11-18 2015-09-01 Quanta Comp Inc 頭戴式顯示裝置及其登入方法
CN107315249B (zh) 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实***与方法
US8958158B1 (en) 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
CA2934528C (en) * 2013-12-17 2022-06-28 Marsupial Holdings Inc. Integrated microoptic imager, processor, and display
US10274731B2 (en) 2013-12-19 2019-04-30 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
WO2015098334A1 (ja) 2013-12-24 2015-07-02 ソニー株式会社 調光装置、撮像素子及び撮像装置
JP6352426B2 (ja) 2013-12-27 2018-07-04 インテル コーポレイション ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム
WO2015100714A1 (en) 2014-01-02 2015-07-09 Empire Technology Development Llc Augmented reality (ar) system
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
KR102055840B1 (ko) * 2014-02-20 2019-12-17 삼성전자 주식회사 이미지 센서 패키지
KR102291619B1 (ko) 2014-02-26 2021-08-23 삼성디스플레이 주식회사 유기 발광 표시 장치
AU2015227092B2 (en) * 2014-03-05 2019-07-04 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3D augmented reality display
US9568727B2 (en) 2014-03-25 2017-02-14 Amazon Technologies, Inc. Electrowetting display pixel architecture
WO2015144565A1 (en) * 2014-03-26 2015-10-01 Essilor International (Compagnie Generale D'optique) Methods and systems for augmented reality
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US9895057B2 (en) 2014-04-24 2018-02-20 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
US9843787B2 (en) * 2014-04-24 2017-12-12 Qualcomm Incorporated Generation and use of a 3D radon image
US10171770B2 (en) 2014-05-09 2019-01-01 Maxell, Ltd. Image playback device, display device, and transmission device
JP2017524281A (ja) 2014-05-20 2017-08-24 ユニヴァーシティ オブ ワシントン 媒介現実の外科用視覚化のためのシステム及び方法
US9706910B1 (en) 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
KR102205856B1 (ko) 2014-06-11 2021-01-21 삼성디스플레이 주식회사 센서를 포함하는 유기 발광 표시 장치
CA2952321A1 (en) 2014-06-16 2015-12-23 B.G. Negev Technologies And Applications Ltd., At Ben-Gurion University Swir to visible image up-conversion integrated device
US20160267851A1 (en) 2014-06-17 2016-09-15 Nato Pirtskhlava One Way Display
US9581821B2 (en) 2014-06-24 2017-02-28 Fakespace Labs, Inc. Head mounted augmented reality display
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9596456B2 (en) 2014-07-16 2017-03-14 Quanta Computer Inc. Head mounted display system
EP3129980B1 (en) 2014-07-18 2021-08-25 Vuzix Corporation Near-eye display with self-emitting microdisplay engine
CN104166259B (zh) 2014-07-30 2017-02-08 京东方科技集团股份有限公司 显示基板及其驱动方法和显示装置
US10739882B2 (en) 2014-08-06 2020-08-11 Apple Inc. Electronic device display with array of discrete light-emitting diodes
JP6501462B2 (ja) 2014-08-08 2019-04-17 キヤノン株式会社 光電変換装置及び光電変換装置の駆動方法
US9465991B2 (en) 2014-08-11 2016-10-11 Microsoft Technology Licensing, Llc Determining lens characteristics
US9626936B2 (en) 2014-08-21 2017-04-18 Microsoft Technology Licensing, Llc Dimming module for augmented and virtual reality
KR102271817B1 (ko) 2014-09-26 2021-07-01 삼성전자주식회사 증강현실을 위한 스마트 콘택렌즈와 그 제조 및 동작방법
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
EP3029931A1 (en) * 2014-12-04 2016-06-08 Thomson Licensing Image sensor unit and imaging apparatus
CN105744257B (zh) * 2014-12-08 2018-06-12 北京蚁视科技有限公司 一种光学隐形装置
CN105739093B (zh) * 2014-12-08 2018-02-06 北京蚁视科技有限公司 透过式增强现实近眼显示器
US9824498B2 (en) 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US10049495B2 (en) 2015-01-14 2018-08-14 Hashplay Inc. System and method for providing virtual reality content
KR102311741B1 (ko) 2015-01-14 2021-10-12 삼성디스플레이 주식회사 머리 장착형 디스플레이 장치
WO2016138428A1 (en) 2015-02-27 2016-09-01 LAFORGE Optical, Inc. Augmented reality eyewear
US9734554B2 (en) 2015-02-27 2017-08-15 Charter Communications Operating, Llc Compensation for viewing with common vision abnormalities
US10290156B2 (en) 2015-03-11 2019-05-14 Facebook Technologies, Llc Display device with dual data drivers
US20160269720A1 (en) 2015-03-11 2016-09-15 Oculus Vr, Llc Flexible substrate display panel and panel geometry for ergonomics
ES2795400T3 (es) 2015-03-17 2020-11-23 Kunshan Yunyinggu Electronic Tech Co Ltd Disposición de subpíxeles para pantallas y circuito de excitación de la misma
WO2016162606A1 (en) 2015-04-08 2016-10-13 Dispelix Oy Optical see-through display element and device utilizing such element
US10085005B2 (en) 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
US10152906B2 (en) 2015-04-26 2018-12-11 Mems Start, Llc Near-eye display system and method
US9912897B2 (en) 2015-05-11 2018-03-06 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
EP3294243A4 (en) 2015-05-12 2019-01-02 Agency For Science, Technology And Research A system and method for displaying a video image
CN104795026A (zh) 2015-05-13 2015-07-22 京东方科技集团股份有限公司 全彩有机发光二极管像素的驱动电路及其驱动方法
JP2016225221A (ja) 2015-06-02 2016-12-28 コニカミノルタ株式会社 電界発光素子
US9728143B2 (en) 2015-06-29 2017-08-08 Amazon Technologies, Inc. System and method for driving electrowetting display device
WO2017058322A2 (en) 2015-06-30 2017-04-06 Massachusetts Institute Of Technology Apparatus and methods for augmented reality
KR102593113B1 (ko) 2015-07-03 2023-10-25 에씰로 앙터나시오날 증강 현실을 위한 방법 및 시스템
KR102348760B1 (ko) 2015-07-24 2022-01-07 삼성전자주식회사 이미지 센서 및 그에 따른 신호 처리 방법
CN105093532A (zh) 2015-08-03 2015-11-25 京东方科技集团股份有限公司 虚拟现实眼镜及显示方法
US10437061B2 (en) 2015-08-03 2019-10-08 Facebook Technologies, Llc Near-ocular display based on hologram projection
US20170038607A1 (en) 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
US9983337B2 (en) * 2015-08-07 2018-05-29 Samsung Electronics Co., Ltd. Light emitting diode display apparatus
KR101808852B1 (ko) 2015-08-18 2017-12-13 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
US20170061696A1 (en) 2015-08-31 2017-03-02 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
CN105192982B (zh) 2015-09-07 2018-03-23 北京小鸟看看科技有限公司 可调节式虚拟现实头盔的图像矫正方法和***
KR20170033462A (ko) 2015-09-16 2017-03-27 삼성디스플레이 주식회사 전자 기기 및 헤드 마운트 디스플레이 장치의 영상 표시 방법
KR102404648B1 (ko) 2015-09-21 2022-05-31 엘지디스플레이 주식회사 표시장치
US20170084231A1 (en) * 2015-09-23 2017-03-23 Intel Corporation Imaging system management for camera mounted behind transparent display
US20170090194A1 (en) 2015-09-24 2017-03-30 Halo Augmented Reality Ltd. System And Method For Subtractive Augmented Reality And Display Contrast Enhancement
WO2017053966A1 (en) 2015-09-24 2017-03-30 Tobii Ab Eye-tracking enabled wearable devices
WO2017059386A1 (en) 2015-09-30 2017-04-06 Daqri, Llc Optical true time delay circuit
KR102521944B1 (ko) * 2015-10-02 2023-04-18 삼성디스플레이 주식회사 머리 탑재형 표시 장치 및 이의 제조 방법
KR102406606B1 (ko) 2015-10-08 2022-06-09 삼성디스플레이 주식회사 유기 발광 소자, 이를 포함하는 유기 발광 표시 장치, 및 이의 제조 방법
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US10247858B2 (en) * 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10416454B2 (en) * 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US20170123488A1 (en) 2015-10-28 2017-05-04 Microsoft Technology Licensing, Llc Tracking of wearer's eyes relative to wearable device
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
KR102448611B1 (ko) 2015-10-30 2022-09-27 엘지디스플레이 주식회사 유기 발광 표시 장치
KR102516054B1 (ko) 2015-11-13 2023-03-31 삼성디스플레이 주식회사 유기발광표시장치 및 유기발광표시장치의 제조 방법
KR20170061602A (ko) 2015-11-26 2017-06-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 전자 기기
US10204451B2 (en) 2015-11-30 2019-02-12 Microsoft Technology Licensing, Llc Multi-optical surface optical design
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
EP3179334A1 (en) 2015-12-09 2017-06-14 Airbus Defence and Space GmbH Device and method for testing function or use of a head worn see through augmented reality device
KR20170070693A (ko) 2015-12-14 2017-06-22 삼성전자주식회사 이미지 센서
US20170169612A1 (en) 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
US10438410B2 (en) 2015-12-22 2019-10-08 Intel Corporation Text enhancements for head-mounted displays
JP6641987B2 (ja) 2015-12-25 2020-02-05 セイコーエプソン株式会社 虚像表示装置
KR102570950B1 (ko) 2015-12-28 2023-08-25 엘지디스플레이 주식회사 개인 몰입형 장치의 표시장치
JP6607777B2 (ja) 2015-12-28 2019-11-20 ルネサスエレクトロニクス株式会社 半導体装置およびその製造方法
US10241319B2 (en) 2015-12-28 2019-03-26 Amazon Technologies, Inc. Electrowetting display pixels with fluid motion initiator
KR102458645B1 (ko) 2015-12-28 2022-10-25 엘지디스플레이 주식회사 표시장치와 그 구동 방법
US10038033B2 (en) 2015-12-29 2018-07-31 Industrial Technology Research Institute Image sensor
KR102470377B1 (ko) 2015-12-31 2022-11-23 엘지디스플레이 주식회사 개인 몰입형 기기의 표시장치
US9946073B2 (en) 2015-12-31 2018-04-17 Oculus Vr, Llc Methods and systems for eliminating strobing by switching display modes in response to detecting saccades
US10043305B2 (en) 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
WO2017120660A1 (en) 2016-01-12 2017-07-20 Esight Corp. Language element vision augmentation methods and devices
US9998695B2 (en) * 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
US9836652B2 (en) 2016-02-02 2017-12-05 International Business Machines Corporation Showing danger areas associated with objects using augmented-reality display techniques
CN105572877B (zh) 2016-02-03 2018-11-09 上海群英软件有限公司 一种头戴式增强现实智能显示装置
EP3442827A4 (en) 2016-04-14 2019-02-20 Gentex Corporation VEHICLE DISPLAY SYSTEM WITH DEEP INFORMATION
US10209070B2 (en) * 2016-06-03 2019-02-19 Nxp Usa, Inc. MEMS gyroscope device
CN109788901B (zh) 2016-07-25 2024-01-02 奇跃公司 光场处理器***
CN106309089B (zh) 2016-08-29 2019-03-01 深圳市爱思拓信息存储技术有限公司 Vr视力矫正方法及装置
EP3293959A1 (en) 2016-09-07 2018-03-14 Thomson Licensing Plenoptic imaging device equipped with an enhanced optical system
US11160688B2 (en) 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
US20190057957A1 (en) * 2016-12-21 2019-02-21 PhantaField, Inc. Augmented reality display system
US9977248B1 (en) * 2016-12-21 2018-05-22 PhantaField, Inc. Augmented reality display system
DE102017200112B4 (de) 2017-01-05 2021-03-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erzeugung eines dynamischen Lichtfeldes
US20180269260A1 (en) 2017-01-29 2018-09-20 Emagin Corporation Quantum dot array on directly patterned amoled displays and method of fabrication
CN107260505A (zh) 2017-02-14 2017-10-20 合肥中感微电子有限公司 视力保护方法、装置及具有视力保护功能的vr眼镜
US10163963B2 (en) 2017-04-05 2018-12-25 Semiconductor Components Industries, Llc Image sensors with vertically stacked photodiodes and vertical transfer gates
US10638069B2 (en) 2017-04-07 2020-04-28 Raytheon Company System for and method of configurable line scan array imaging
US10178334B2 (en) 2017-04-07 2019-01-08 Raytheon Company System for and method of configurable diagonal and multi-mission line scan array imaging
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10249800B1 (en) 2017-10-03 2019-04-02 Lockheed Martin Corporation Stacked transparent pixel structures for electronic displays
US10510812B2 (en) * 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006294034A (ja) 2005-04-11 2006-10-26 Valeo Vision デジタル画像から物体を検出するための方法、デバイス、およびカメラ
JP2018524952A (ja) 2015-04-21 2018-08-30 ユニバーシティー オブ ロチェスター クローキングシステム及び方法

Also Published As

Publication number Publication date
WO2019156805A1 (en) 2019-08-15
SG11202007478RA (en) 2020-09-29
AU2019218739A1 (en) 2020-08-27
AU2019218739B2 (en) 2021-09-16
KR102467346B1 (ko) 2022-11-14
US10838250B2 (en) 2020-11-17
JP2021513112A (ja) 2021-05-20
CN111868926A (zh) 2020-10-30
CA3090660A1 (en) 2019-08-15
KR20200118111A (ko) 2020-10-14
US20190243186A1 (en) 2019-08-08
EP3750183A1 (en) 2020-12-16
EP3750183B1 (en) 2022-09-14
ES2928489T3 (es) 2022-11-18

Similar Documents

Publication Publication Date Title
JP7206283B2 (ja) ジオデシックファセッティングによる3次元エレクトロニクス分散
US10594951B2 (en) Distributed multi-aperture camera array
US11146781B2 (en) In-layer signal processing
US10866413B2 (en) Eccentric incident luminance pupil tracking
US10698201B1 (en) Plenoptic cellular axis redirection
KR102479029B1 (ko) 플렌옵틱 셀룰러 이미징 시스템
JP7489160B2 (ja) 電子的にエミュレートされた透明性を備えたディスプレイアセンブリ
US10951883B2 (en) Distributed multi-screen array for high density display
US11616941B2 (en) Direct camera-to-display system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220114

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221110

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20221124

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221221

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221226

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230127

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230201

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240508

R150 Certificate of patent or registration of utility model

Ref document number: 7489160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150