ES2872927T3 - Integración monolítica de lentes plenópticas sobre sustratos fotosensores - Google Patents

Integración monolítica de lentes plenópticas sobre sustratos fotosensores Download PDF

Info

Publication number
ES2872927T3
ES2872927T3 ES13885219T ES13885219T ES2872927T3 ES 2872927 T3 ES2872927 T3 ES 2872927T3 ES 13885219 T ES13885219 T ES 13885219T ES 13885219 T ES13885219 T ES 13885219T ES 2872927 T3 ES2872927 T3 ES 2872927T3
Authority
ES
Spain
Prior art keywords
plenoptic
microlenses
refractive index
lenses
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13885219T
Other languages
English (en)
Inventor
Claret Jorge Vicente Blasco
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Photonic Sensors and Algorithms SL
Original Assignee
Photonic Sensors and Algorithms SL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Photonic Sensors and Algorithms SL filed Critical Photonic Sensors and Algorithms SL
Application granted granted Critical
Publication of ES2872927T3 publication Critical patent/ES2872927T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02Details
    • H01L31/0232Optical elements or arrangements associated with the device
    • H01L31/02327Optical elements or arrangements associated with the device the optical elements being integrated or being directly associated to the device, e.g. back reflectors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14618Containers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0085Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14683Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685Process for coatings or optical elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/0001Technical content checked by a classifier
    • H01L2924/0002Not covered by any one of groups H01L24/00, H01L24/00 and H01L2224/00
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Integración monolítica de una estructura plenóptica en un sensor de imagen merced a utilizar un material de bajo índice de refracción sobre el sustrato de foto-sensores (incluyendo o sin incluir filtros de colores y/o micro-lentes de píxel) y situar un material de alto índice de refracción sobre dicho material de bajo índice de refracción con el fin de crear las micro-lentes plenópticas. Creación de lentes plenópticas directamente sobre el sustrato de foto-sensores. Trazado de foto- sensores con alta densidad de integración a distancias mínimas con el objeto de minimizar interferencias inter-pixel, siguiendo en el extremo de densidad de integración geometrías de "cuadrado deformado" en sus vértices adyacentes a un píxel del mismo color, vaciando dichos vértices de área foto-sensitiva con el fin de alejarlos del ruido de pixeles adyacentes del mismo color (irradiancias de círculos y anillos de Airy de pixeles vecinos del mismo color). Aumento de la eficiencia lumínica merced a estructuras de micro-lentes plenópticas con distancias variables al sustrato (menores en su periferia) y/o con perfiles más asimétricos en su periferia y/o pixeles de diferente tamaño y forma hacia la periferia del sensor. Fabricación de micro- objetivos merced a la creación de capas alternadas de bajo y de alto índice de refracción.

Description

DESCRIPCIÓN
Integración monolítica de lentes plenópticas sobre sustratos fotosensores
1. Campo técnico
La invención aquí divulgada está relacionada con la captura de imágenes, más específicamente con la captura de imágenes plenópticas con un sensor de estado sólido, donde no solo se captura la imagen, sino también la dirección de llegada de los rayos de luz. Este campo comprende elementos ópticos, sensores optoelectrónicos (que convierten la intensidad de la luz en corriente eléctrica) y elementos de procesamiento de las imágenes captadas. Tiene como objetivo reducir los costes de producción de sensores de imagen al tiempo que aumenta su calidad, reduce su tamaño y ofrece capacidad de fabricación con volúmenes muy altos. La invención proporciona diseños ópticos a nivel de oblea y la creación de "sándwiches" de varias obleas optoelectrónicas y ópticas, dando como resultado sensores que pueden ser utilizados en cámaras digitales, teléfonos móviles, tabletas, ordenadores portátiles y bienes de consumo en general que incorporan cámaras, especialmente pero no exclusivamente en combinación con sensores de imágenes CMOS. En este documento se describen diversas estructuras del sensor de imagen y métodos de fabricación.
2. Técnica anterior.
Se suele hacer referencia a "Circuitos integrados monolíticos" en relación a aquellos obtenidos mediante técnicas comunes de diseño de chips, en los que el material base (sustrato) contiene no solo los elementos activos (transistores, sensores, etc.) sino también los elementos de interconexión. El uso de este término se refiere a la integración de tecnologías y funciones que suelen ser diferentes, por ejemplo el uso de circuitos analógicos y digitales en un mismo chip, o la integración de semiconductores de potencia con circuitos analógicos, digitales, procesamiento de señales, sensores y circuitos de protección en el mismo chip.
En optoelectrónica, "integración monolítica" se refiere a la tendencia a integrar en un solo "circuito integrado electroóptico" características tales como fibras ópticas de entrada/salida, cavidades de guía de ondas ópticas en el propio chip, generalmente hechas de "materiales electrónicos", láseres, detectores, y todo con sus circuitos electrónicos de polarización, control y gestión del sistema.
En una cámara normal, la película (o el sensor en una cámara digital) captura una imagen bidimensional donde cada punto de la película (o sensor de píxeles en una cámara digital) integra todos los rayos de luz que llegan a un punto desde cualquier dirección. Una cámara plenóptica (o cámara de campo de luz) es capaz de muestrear un rango de luz y también la dirección de los rayos de luz en un campo de luz.
La captura de la dirección de llegada de la luz permite sintetizar "nuevas vistas" o nuevas imágenes como imágenes tridimensionales, imágenes reenfocadas a diferentes distancias e imágenes "completamente enfocadas" (independientemente de la distancia de los objetos en el mundo real).
La Figura 1 (reproducida de la Patente de los Estados Unidos 8.290.358 B1; inventor Todor G. Georgiev) ilustra una implementación de la técnica anterior, una matriz de cámaras (con dos o más lentes u objetivos, en el caso de la figura tres lentes en la parte superior de la figura). Cada lente/objetivo enfoca imágenes del mundo real en una parte particular del fotosensor (película fina en la parte inferior de la imagen), aunque también sería posible hacerlo en varios fotosensores. El número de imágenes capturadas se puede combinar para formar una sola imagen.
La Figura 2 (reproducida de nuevo de la Patente de los Estados Unidos 8.290.358 B1) ilustra una segunda implementación de la técnica anterior de una cámara plenóptica, que utiliza un solo objetivo o lente (en la parte superior de la imagen) y un conjunto de microlentes (o matriz de microlentes) que puede incluir, por ejemplo, 100.000 lentillas (o muchas más en implementaciones recientes) ubicadas una al lado de la otra formando un patrón bidimensional (la matriz de microlentes, marcada con una flecha en la Figura 2, se encuentra en esta figura en el punto donde el cruz de tres vigas). Dicha matriz de microlentes se ubica típicamente a una pequeña distancia (aproximadamente medio milímetro) de un fotosensor (parte inferior de la imagen) que puede ser un sensor CMOS (Semiconductor de óxido de metal complementario), un sensor CCD (Dispositivo de acoplamiento de carga) o cualquier otra tecnología de fotosensores pasada, presente o futura. El plano de la matriz de microlentes es paralelo al plano del fotosensor. El documento US 2013/0033636 divulga un dispositivo de formación de imágenes que comprende una matriz de microlentes plenópticas monolíticamente integradas.
La imagen capturada por los sensores de la cámara plenóptica descrita en el párrafo anterior es en realidad una colección (matriz) de pequeñas imágenes de la lente/objetivo principal de la cámara, estas imágenes a menudo se denominan "microimágenes". La estructura "microlente/sensor" descrita permite capturar en cada punto no solo el brillo de la luz sino también la distribución de la intensidad de la luz que llega desde diferentes direcciones. Cada una de las diversas microlentes separa el haz de la lente principal que llega a él en forma de rayos desde diferentes posiciones de la lente principal. Los rayos de luz se almacenan como píxeles en el fotosensor, y el conjunto de píxeles debajo de cada microlente forma una imagen de n píxeles llamada macropíxel (marcada con un corchete en la Figura Un tercer tipo de "cámara de campo de luz" es similar al de la Figura 2, excepto que la matriz de microlentes se reemplaza por una matriz de aberturas (pequeños orificios en una superficie opaca que permiten el paso de la luz). Un cuarto tipo de "cámaras plenópticas" es similar al de la Figura 2 excepto que una "máscara sinusoidal" no refractiva reemplaza a las microlentes, dicha máscara modula la luz incidente pero no la refracta, dando como resultado una imagen capturada que es la convolución del campo de luz incidente con la máscara de campo de luz; esta cámara captura el campo de luz directamente en el dominio de la frecuencia (el dominio de Fourier). Así, un sensor bidimensional (2d ) con píxeles representa una combinación lineal codificada de varios rayos incidentes, dicha combinación lineal puede ser decodificada por software para obtener toda la información del campo de luz (incluida la dirección de llegada de los rayos).
Las Figuras 3 y 4 (reproducidas del GB 2.488.905, inventores Norihito Hiasa y Koshi Hatakeyama) ilustran la propagación de los rayos de luz y los fundamentos de los algoritmos que se pueden utilizar para diversas tareas como reenfoque, cálculo de distancias a la cámara, etc. La Figura 3 ilustra el caso donde dos puntos del plano 201 objetivo se enfocan en un plano 202 que se posiciona más allá del plano de las microlentes, sin embargo, estos rayos nunca alcanzan el foco, son difractados por las microlentes y dan lugar a varios píxeles en el sensor (en lugar de un solo píxel en el plano que se habría enfocado). La Figura 4 ilustra el caso en donde dos puntos en el plano 201 objetivo se enfocan en un plano 202 anterior al de las microlentes 202 y desde ese punto divergen, los rayos son difractados por las microlentes y alcanzan varios píxeles en el plano 103 del sensor. En ambos casos, si el sensor (o película) estuviera en el lugar donde están las microlentes 102, la imagen de estos puntos aparecería borrosa; sin embargo, con una cámara plenóptica, donde se puede determinar la dirección de llegada de los rayos, existen múltiples algoritmos para calcular cuál sería la imagen enfocada de los dos píxeles descritos en las Figuras 3 y 4, calculando el "retrotrazado" de los rayos de luz (desde el sensor 103 en el espacio de imagen a la derecha de la lente 101 principal hasta el plano 202 focal, e incluso es posible rastrear hasta el origen de estos rayos en el espacio del objeto, sobre el plano 201 a la izquierda de la lente 101). Debido a la similitud de los triángulos en el espacio de la imagen y en el espacio del objeto, también es posible calcular la distancia desde el plano (201) focal a los planos descritos en las Figuras 3 y 4 (101, 102 y 202), es incluso posible calcular la distancia entre píxeles de una imagen al origen de estos píxeles en el espacio del objeto, con esta información es posible entonces crear imágenes para televisores tridimensionales (3D), reenfocar imágenes, producir imágenes completamente enfocadas, etc.
Aunque se ha descrito la cámara plenóptica con implementaciones posteriores, ya fue descrita en 1908 por Lippman, pero las dificultades tecnológicas no permitieron avances significativos hasta 2004, cuando Ng, Hanrahan, Levoy y Horowitz en su Patente US 2007/025074 (y como en el "Informe técnico de Stanford" CTSR 2005-02) describió una cámara cuya resolución era la misma que el número de microlentes utilizados. En octubre de 2004 Ng, Hanrahan, Levoy y Horowitz (US 2012/0300097) describen un sensor plenóptico con una estructura similar a la descrita en las Figuras 2, 3 y 4. Se reprodujo dicho sensor en la Figura 6A, discutiendo a continuación sus partes principales. La parte inferior de la imagen describe el conjunto completo, mientras que la parte superior de la imagen describe las distintas partes de dicho conjunto. El "Retrodigital" proporciona resistencia mecánica al conjunto, mientras realiza las funciones de la placa de circuito impreso donde se enchufa el "Paquete de chip" (con sus respectivos pines de entrada-salida del chip que se enchufan en el "Retrodigital"), el chip incluye un "Fotosensor", la estructura también incluye una "Placa base" montada sobre el Fotosensor, así como un "Conjunto de microlentes" (o conjunto de microlentes) fijado mecánicamente a un "Soporte de lente", dicho soporte de lente está adjunto a la "Placa base" (base) con tres "Muelles de separación" manteniendo una cierta distancia entre las microlentes y el fotosensor, "Tornillos de ajuste" (o tornillos) ubicados en tres posiciones controlan la distancia y el paralelismo de los planos de fotosensores y matriz de microlentes. Esta figura no muestra la lente de la cámara principal.
Las ideas descritas en las patentes anteriores dieron origen a las primeras cámaras plenópticas orientadas al mercado de consumo, en 2012 la empresa Lytro inició la comercialización de la cámara cuyo esquema se muestra en la Figura 6B, empresa cuya plantilla incluía uno de los inventores de las patentes mencionadas. La figura 6B (extraída de www.lytro.com) muestra en su parte superior un juego de lentes de entrada (zum de 8x y apertura fija f/2), un "sensor de campo de luz" con conceptos similares a los de la Figura 6A (con un "matriz de microlentes" y un "sensor de imagen digital"), y en la parte inferior de la imagen el "Motor de campo de luz" (que consiste en cierta capacidad de procesamiento para implementar algoritmos plenópticos brevemente mencionados en los párrafos anteriores (fundamentalmente reenfocándose en las primeras versiones del producto)).
En 2008 Lumsdaine, Georgiev e Intwala describieron un diseño con una especificación más alta en términos de resolución efectiva que en las patentes antes mencionadas (hasta entonces solo un píxel por microlente) ("A. Lumsdaine y T.Georgiev. Full resolution Lightfield rendering. Technical report, Adobe Systems, January 2008", y la Patente de los Estados Unidos 2009/0041448).
En octubre de 2009 Georgiev describió (US 2010/0020187) una variante diferente en la que en una cámara convencional (con su lente principal ubicada frente al sensor) se agregan varias lentes y varios prismas (el juego de lentes/prismas obtiene diferentes vistas de la misma imagen y dirige dichas vistas hacia los sensores a través de la lente principal). Esta patente proporciona imágenes del conjunto de lentes/prismas (adjunto como Figura 5A) y el conjunto de "lentes/prisma/lente principal" montado en una cámara (Figura 5B). Las imágenes obtenidas a través de las distintas lentes de entrada se combinan para muestrear el "campo de luz".
Con fecha de prioridad en octubre de 2009, DiFrancesco Selkirk, Duff, VandeWettering y Flowers, en la Patente de los Estados Unidos 2011/0169994, describen ópticas ligeramente diferentes (véase Figura 7A) en donde se encuentra la "matriz de microlentes" ("matriz de Lentillas") en la parte delantera de un sistema de lentes, pero con una lente de entrada entre dicha matriz de lentes y el espacio del objeto. La implementación práctica de dicho sistema de lentes (Figura 7B) se describe con un "tubo delantero" que contiene lentes de mayor diámetro y un "tubo posterior" con lentes de menor diámetro en el lado derecho de la imagen, más cerca de la conexión de dicha óptica a la cámara. La matriz de microlentes y la lente de entrada se añaden a dicha estructura para la introducción de un tercer tubo (como se describe en la Figura 7C). Los principios y algoritmos utilizados en la estructura son similares a los utilizados en las estructuras descritas anteriormente: "obtener una muestra del campo de luz a partir de múltiples imágenes".
Independientemente del posible posicionamiento al que parecen apuntar las implementaciones mencionadas, desde los prototipos hasta los productos de consumo orientados al mercado, incluidos los prototipos que persiguen una calidad óptica muy alta para aplicaciones sofisticadas, hubo una tendencia simultánea hacia la reducción del volumen y los costes de fabricación. En febrero de 2001, Ueno, Funaki y Kobayashi (Patente estadounidense 2012/0218448) describen un "dispositivo de imágenes implementado en estado sólido", un pequeño módulo de cámara (véase Figura 8A), que incluye una lente 12 de entrada que envía la luz a una "matriz de microlentes" 14 (que incluye un sustrato 14b transparente y las propias microlentes 14a), la luz se envía finalmente a un "elemento de captura de imagen" 16 que contiene los píxeles 16b, como fotodiodos, que convierten la energía luminosa en energía eléctrica, dicho elemento es formado por un sustrato 16a semiconductor, circuitos de polarización y lectura (no mostrados en la figura) que proporcionan energía eléctrica y leen los píxeles 16b formados en el sustrato 16a, filtros 16c de color (por ejemplo, rojo, verde o azul) correspondientes a cada píxel 16b, dispuestos en formatos estándar como el formato Bayer, y finalmente una pequeña microlente 16d opcional en cada filtro de color, cuya tarea es concentrar el haz de luz incidente en cada uno de los fotosensores (píxeles 16b). En la parte superior del conjunto "sustrato semiconductor/filtros de colores/microlentes de píxeles" (16a-b-c-d), pero fuera del área de los fotosensores, hay "espaciadores de resina" 42, cuyo objetivo es mantener la distancia entre los fotosensores 16 y las microlentes 14, forman parte de un conjunto que incluye un "sustrato transparente a la luz" 40, que puede ser de material que deja pasar la luz visible pero elimina la luz infrarroja o casi infrarroja; en el sustrato semiconductor hay "electrodos de lectura y polarización" 44 para los píxeles 16b, dichos electrodos están conectados por columnas 46 metálicas que cruzan verticalmente el sustrato 50 semiconductor por medio de los "puntos de contacto" 48; el chip 50 puede contener los circuitos de polarización y el procesamiento de los fotosensores (píxeles). La lente 12 de entrada se coloca en una posición fija por medio de un cilindro 62, que se mantiene en posición mediante un soporte 64 colocado sobre el sustrato 40 transparente; un "marco protector contra la luz externa" 52 está montado externamente sobre dicha estructura como una cubierta exterior de todo el conjunto, para evitar la entrada de luz desde el sustrato 16A o el chip 50, dicha cubierta solo es interrumpida por los electrodos 54, que conectan eléctricamente dicha estructura al sistema electrónico exterior. Esta patente (concretamente la "Reivindicación" 1) reivindica un sistema de formación de imágenes de estado sólido que comprende: un sensor semiconductor que comprende bloques de píxeles y estos por píxeles; un primer sistema óptico (representado en la figura por la lente 12); un segundo sistema óptico (representado en la figura por las microlentes 14) y establece que el plano de imagen del primer sistema óptico (lente 12) cuando el objeto está ubicado a una distancia infinita debe estar dentro de una distancia del primer sistema óptico (lente 12) mayor que la distancia entre el primer sistema óptico (lente 12) y el sensor de imagen (16).
En marzo de 2011, Ueno, lida and Funaki, en su Patente US 2012/0050589 (véase Figura 8B reproducida de dicha patente) revelan estructuras ligeramente diferentes a las descritas en el párrafo anterior, por ejemplo, con las microlentes enfrentadas al sistema de lentes de entrada (en lugar de mirar hacia el sensor) y/o agregando filtros de color (por ejemplo, rojo, verde y azul) en la microlente y en el sensor, formando ciertos patrones, como el patrón de Bayer) para que sus sensores de imagen también capturen los colores, y describen los métodos para hacer tales estructuras donde los filtros de color (y sus sensores asociados) se desvían hacia la periferia del área de imagen (véase Figura 8B), con desviaciones de separación importantes a medida que se acercan a la periferia .
El progreso en los procesos de fabricación de sensores monolíticos, microelectrónica y óptica como parte de un solo cubo también fue mostrado en octubre de 2009 por Brueckner, Duparre, Wippermann, Dannberg and Brauer en su Patente US 2011/0228142 A1, una de sus realizaciones se reproduce en la Figura 8C, no es una estructura plenóptica, solo asigna microlentes 10 a grupos de fotosensores 30' contenidos en un sustrato 100, creando "conos de observación espacial 3D" (observados en las líneas 410), dichos conos se truncan en sus partes más estrechas (ubicadas en las microlentes) y se ensanchan con la distancia, con cierta superposición en sus campos de visión en el espacio del objeto. Para evitar el ruido del acoplamiento óptico entre los diferentes canales ópticos (diafonía) asociados con cada microlente 10, existen capas 11, 12 y 12' opacas con aberturas para dejar pasar un haz de luz adecuado. Los sustratos 20, 21 y 22 transparentes están hechos de vidrio, plástico o copolímeros inorgánicos (por ejemplo, ORMOCER). La distancia focal de las microlentes coincide con las distancias entre las microlentes 10 y los sensores 30', estas distancias focales tienen valores típicos entre 30 y 3000 micrones, con diámetros de microlentes entre 10 y 1000 micrones, un número de microlentes entre 4 y 25.000 y una cantidad de píxeles entre 10.000 y 10 megapíxeles o más. Los sensores 30' crean varias microimágenes (entre 4 y 25.000) que posteriormente se combinan con hardware o software adicional. La principal ventaja de esta estructura es su bajo volumen, ya que no requiere lentes adicionales, un diseño optimizado para aplicaciones portátiles y se presta a procesos de fabricación de alto volumen.
La historia de las cámaras de campo de luz ha sido una evolución paralela de tres campos, la óptica (como se explicó anteriormente), los algoritmos (que, a partir de los píxeles de los fotosensores, crean imágenes con nuevas características: imágenes con diferente enfoque, imágenes totalmente enfocadas, imágenes 3D, etc.) y microelectrónica/microóptica, produciendo fotosensores con rendimientos en evolución (en términos de número de megapíxeles, luminosidad, contraste, etc.). Las iniciativas descritas en los dos párrafos anteriores fueron de las primeras donde el procesamiento y fabricación de los elementos ópticos utilizó técnicas similares a las utilizadas en microelectrónica, dando lugar a técnicas de fabricación a nivel de oblea que reducen drásticamente los costes, al tiempo que brindan altos niveles de calidad y muy alta reproducibilidad. Sin embargo, la formación de microlentes y filtros de color en los paneles de fotodiodos semiconductores se ha utilizado en las últimas décadas con una estructura similar a la de la Figura 10A (reproducida de la Patente US 2012/0012959 A1; inventor Po-Shuo Chen), mostrando una sensor típico representativo del estado de la técnica en la tecnología CMOS (Semiconductor de Óxido de Metal Complementario): de abajo hacia arriba se puede distinguir un sustrato semiconductor donde en el interior hay tres fotosensores, el semiconductor está protegido por una fina capa de nitruro de silicio, en donde se colocan dichos filtros de color de sustrato R (rojo), G (verde) y B (azul), pero podría usarse otro sistema de color básico como cian, amarillo y magenta; finalmente en la parte superior hay tres microlentes, construidos con materiales ópticos que concentran la luz hacia los fotosensores, aumentando la eficiencia luminosa de la estructura (generalmente en la mayoría de publicaciones sobre óptica el sensor está representado por un plano fotosensible plano simple, como una película tradicional con una capa fotosensible continua en la que los elementos fotosensibles tienen dimensiones infinitamente pequeñas, pero en realidad los píxeles de cada fotosensor tienen un tamaño discreto y hay espacios entre fotosensores individuales para separarlos y mantener los circuitos de polarización y lectura, de ahí la utilidad de las microlentes mencionadas anteriormente). Los filtros de color se fabrican típicamente mediante métodos fotolitográficos, en los que cada capa de color fotosensible se deposita, se expone parcialmente a la luz (con un patrón de máscaras fotolitográficas de sombreado negativo) y se graba (revela), pero también se puede formar mediante impresión por chorro. Las microlentes (generalmente hechas con resinas termoplásticas o material transparente fotorresistente) a menudo se forman depositando dichos materiales seguidos de fotolitografía y proceso de calentamiento, endurecimiento por reflujo de calor y curado.
En julio de 2010, Po-Shuo Chen describió una estructura con mejores características en la Patente US 2012/0012959 (Figura 10B) donde los filtros de color están separados entre ellos y la matriz de microlentes no presenta espacios entre microlentes adyacentes, una vista superior (Figura 10C) muestra la estructura poligonal de dichos filtros de color (con espacios entre ellos en las direcciones horizontal y vertical (X1, Y1) más bajos que la dirección diagonal (D1). Los beneficios de dicha estructura para evitar "diafonía (diafonía entre colores) son evidentes, además esta estructura evita los huecos entre microlentes y así aumenta la eficiencia lumínica. Chen también explicó que esta estructura (con huecos entre filtros de color) abre la posibilidad de un nuevo método de fabricación de microlentes basado en deposición y procesamiento térmico, mediante el cual abre la flexibilidad de utilizar materiales transparentes que no sean fotorresistentes, como las resinas termoplásticas. Obviamente, un procesamiento fotolitográfico de cada microlente permitirá una mayor precisión que con el material procesado por deposición y posterior tratamiento térmico, sin embargo, el proceso agrega flexibilidad en la elección de materiales.
Otro progreso notable ha sido en sensores más eficientes en luz, evolucionando de una tecnología FSI (iluminación lateral delantero) a tecnología BSI (iluminación lateral trasera), la diferencia entre los dos se ilustra en la Figura 9: en un proceso CMOS estándar (Figura 9A, FSI) el proceso de silicio se lleva a cabo para crear fotosensores y el área entre diferentes fotosensores, así como el área sobre los fotosensores debe usarse para las capas de metal que transportan diferentes señales eléctricas (polarización y lectura de fotosensores, tensiones de alimentación, etc.), estas capas de metalización proporcionan estructuras opacas que deterioran la eficiencia luminosa del sensor; la solución a este problema es inmediata, las interconexiones y metalizaciones se realizan en el lado opuesto del sustrato donde se han creado los fotosensores (Figura 9b) eliminando así las capas opacas entre el fotosensor y el filtro de color, de esta manera mejorando la eficiencia luminosa. Como anécdota cabe mencionar que en los materiales promocionales de los iPADs de Apple se desvela que sus cámaras cuentan entre otras características con iluminación trasera o BSI. Otras ventajas que aporta la tecnología BSI son que posibilitan módulos ópticos de dimensiones más reducidas, permitiendo también aberturas más amplias (lentes más rápidas) y permitiendo diseñar zums de máxima calidad.
Hasta ahora se han descrito las primeras iniciativas plenópticas realizadas con ópticas discretas de gran tamaño, las primeras iniciativas que colocan una matriz de microlentes a muy pequeña distancia de los sensores CMOS o CCD, otras iniciativas que colocan las microlentes como módulo adicional agregado a los objetivos externos de la cámara, y finalmente el primer paso hacia una integración monolítica y procesamiento de obleas, donde las microlentes se colocan sobre un sustrato transparente descansando sobre espaciadores de resina sobre el sustrato en donde se fabrican los sensores, por ejemplo Sensores CCD o fotosensores en un proceso de fabricación CMOS sobre un sustrato semiconductor.
Una de las principales mejoras de la invención aquí expuesta es que se da un paso más hacia la integración monolítica, dando lugar a estructuras procesadas en una sola oblea, en lugar de estructuras ópticas y electrónicas procesadas en diferentes obleas y luego acopladas por espaciadores, conduciendo a mejores características ópticas y métodos de producción de menor coste y mayor calidad.
También se hizo un breve repaso del estado del arte de los fotosensores, especialmente los sensores en tecnología CMOS, con cada vez más megapíxeles, evolucionando hacia estructuras BSI (Back Side Illumination), con color cada vez más sofisticado, así como estructuras que colocan con mucha precisión un microlente encima de cada fotosensor para concentrar la luz en el área activa, evitando desperdiciar energía incidente en el área del semiconductor sin superficies fotosensibles, el área que contiene solo circuitos de polarización o lectura.
Finalmente, antes de pasar a la descripción de la invención, resumimos las diversas tendencias para montar el conjunto completo que contiene la óptica y sus respectivos sensores. Primero, un sensor plenóptico instalado en una cámara comercial (presente o futura) que podría tener lentes casi normales como se describe en la Figura 7B (con más o con menos sofisticación, con objetivos fijos o con zums), la única diferencia con una cámara actual (además de las microlentes del sensor plenóptico) está el posprocesamiento de los píxeles grabados en el sensor. En segundo lugar, las cámaras disponibles comercialmente en la actualidad (y las cámaras futuras) pueden tener microlentes montados en un objetivo externo como se describe en la Figura 7C (o similar). Estas tendencias aportan una cámara de alta definición en cuanto a número de megapíxeles (porque es relativamente sencillo fabricar muchos megapíxeles en un sensor cuyas dimensiones horizontales y verticales son de varios centímetros cuadrados) y una alta calidad óptica gracias a las grandes lentes, que asegurarán bajas aberraciones ópticas y alta eficiencia luminosa. Este segmento cubrirá el nicho de mercado de precios medios, altos y muy altos, llegando finalmente a soluciones profesionales de alta calidad para TV y cine.
Una compensación intermedia en términos de calidad y coste se ejemplifica en la Figura 11 donde se puede ver en la parte inferior un "circuito flexible" en donde se monta un chip fotosensor (similar a los descritos anteriormente, pero en esta figura se incluye encapsulado adicional para conexión a electrónica externa y un pequeño vidrio transparente en la parte superior del sensor de chip, vidrio que tiene como objetivo dejar pasar la luz evitando la penetración de suciedad, polvo y humedad en la zona de los fotosensores Este chip está alojado en una estructura mecánica que alinea el sensor con varias lentes, dando como resultado un módulo, que pretende ser alojado en teléfonos móviles, ordenador portátiles y otros pequeños dispositivos de consumo. El precio típico de estos módulos es muy bajo, ya que están diseñados para formar parte de bienes de consumo que son producidos por millones (terminales móviles y teléfonos inteligentes) cuyo precio debería ser asequible para un gran número de personas.
La estructura descrita anteriormente, a pesar de su coste relativamente bajo, implica una complejidad mecánica y de montaje nada despreciable, incluso si gracias al uso de técnicas de montaje robotizadas o automatizadas, el precio de un gran número de lentes que utilizan la estructura mecánica descrita es bajo, aún es relativamente alto en comparación con estructuras similares que se pueden ensamblar utilizando técnicas de procesamiento similares a las empleadas en microelectrónica o microóptica. Siguiendo esta tendencia, en noviembre de 2007, Weng y Lin describieron (en la Patente US 2009/0134483 A1) un módulo de cámara compacta, reproducido en la Figura 12, que comprende un chip (102) fotosensor, un juego (126) de lentes y una carcasa (134) exterior con material eléctricamente conductor. El módulo incluye un sustrato 100 que puede ser de silicio u otro material semiconductor, y puede contener un sensor de imagen CCD o CMOS, un sustrato 160 transparente ubicado en el sustrato 100 semiconductor y una matriz 104 de microlentes ubicada entre las dos estructuras, el sensor CCD o CMOS contiene una serie de componentes 102 optoelectrónicos tales como fotodiodos o fototransistores, integrados en el sustrato 100 mediante técnicas típicas de semiconductores. Al menos una clavija 114b de tierra (clavija de E/S) está conectada al sustrato 100 semiconductor y la capa 101 conductora formada sobre el sustrato usando técnicas de fabricación microelectrónica. Además, se coloca un conjunto 114a de clavijas para tomar fuera de las lecturas de los fotosensores. Tanto las clavijas de tierra como las clavijas de los fotosensores están aisladas eléctricamente del sustrato por una capa 112 dieléctrica. Sobre el sustrato 100 semiconductor se monta un sustrato 160 transparente (vidrio o cuarzo), formando una cavidad 160b sobre los sensores 102 y sus respectivas microlentes 104. Sobre el sustrato 160 transparente se coloca un conjunto 126 de lentes, luego se coloca una capa conductora sobre el sustrato semiconductor 134 y la lente, cuya función es proteger toda la estructura sensorial contra interferencias electromagnéticas ruidos, ya que esta capa está conectada a tierra a través de la capa 101 y el pasador 114b. Además, se puede usar una capa 136 opaca (que puede ser tan simple como una simple pintura opaca) sobre la capa 134 conductora con el fin de obtener una mejor estructura de aislamiento luminosa. Para aumentar la inmunidad de la estructura a la radiación electromagnética externa, se puede utilizar una capa 130 conductora transparente encima de la estructura formada por materiales tales como IZO (óxido de indio y zinc) o ITO (óxido de indio y estaño). Esta patente también describe un método de fabricación basado en el procesamiento de obleas, que permite la producción de grandes cantidades de módulos de cámara a precios muy bajos, por ejemplo, no solo utilizan tales técnicas para fabricar los sensores, sino también para colocar obleas de vidrio u obleas de cuarzo 160 en el oblea 100 de sustrato semiconductor, o colocar lentes 126 sobre el sustrato de oblea 160de vidrio o cuarzo, o depositar una capa 130 conductora transparente oblea sobre todos los submódulos construidos en las obleas de abajo. Finalmente, esta estructura pasa a un proceso de corte (cubos), o separación de cada uno de los submódulos construidos sobre una oblea, luego se utilizan las técnicas habituales de empaquetado microelectrónico, como BGA (Arreglos de Rejilla de Bola) o "bolas de soldadura" en la parte inferior del chip, normalmente disponible en un empaquetamiento moderno para chips de alta densidad (representado en la figura con los números 118 b y 118a), lo que permite un número muy alto y denso de pines de entrada y salida, muy conveniente para volcar rápidamente un número creciente de megapíxeles con la nueva tecnología CMOS más comúnmente utilizada en sensores de alta densidad.
T.Y. Lin, C.Y. Cheng and H.Y. Lin describieron en mayo de 2007 módulos novedosos en su patente US2011/292271 A1 (reproducida en la Figura 13), la parte inferior de la figura incluye bolas de soldadura para conectar el módulo a un módulo de circuito impreso, la estructura incluye módulos 300 de fotosensores (CMOS o CCD) sobre los cuales se deposita un conjunto 302 de microlentes similares a los descritos anteriormente, cuya finalidad es concentrar la luz en la zona activa de cada fotosensor, sobre dicha estructura se ha colocado un sustrato transparente de materiales como vidrio, cuarzo u otros material transparente. Esta estructura es similar a la de cualquier otro sensor CCD o CMOS, pero a partir de aquí se coloca una estructura 112 plana, que consiste en una película fotorresistente seca (zona punteada), muy similar a la que se usa comúnmente en los procesos microelectrónicos pero con características de alta adhesividad, dicha capa, cuyo espesor se puede controlar a voluntad dependiendo de las distancias diseñadas entre el sensor y la lente, la estructura es procesada y atacada mediante un proceso fotolitográfico, dando lugar a una estructura con un espacio (112a) vacío entre el sustrato transparente y las lentes 10; la lente (10) está formada por un sustrato 100 y dos elementos 102 y 104 en las dos superficies opuestas del sustrato 100 (que en la imagen son convexas pero podrían ser cóncavas) las lentes están hechas de materiales orgánicos como vidrio, epoxi, acrilatos o silicona; la unión mecánica entre las diferentes capas se realiza con procesos de calentamiento. Se pueden agregar más lentes a dicha estructura depositando nuevas capas de material (206 y 214) fotorresistente y su grabado selectivo para formar huecos de espaciamiento entre las lentes (206a y 214a), colocando finalmente un sustrato 216 transparente en la parte superior de la estructura. El proceso de fabricación descrito se presta al procesamiento de obleas, conteniendo la primera oblea el fotosensor, sobre el que se ubican las microlentes 302 de píxel, y a partir de esa estructura se construyen varias lentes, una tras otra en todos los sensores de la oblea, procediendo finalmente al proceso de corte (cortar en cubos u obtener un cubo) del que se derivan un gran número de módulos de cámara.
El proceso descrito en el párrafo anterior reduce drásticamente los costes de fabricación y es especialmente útil cuando se compara con la alternativa de utilizar espaciadores de vidrio entre las lentes o entre el sensor y la primera lente, especialmente considerando que por razones tecnológicas los separadores de vidrio no pueden alcanzar espesores inferiores a 300 micrones (mediante la presente invención se logran espesores de hasta aproximadamente 30 micrones, dando más flexibilidad al diseñador de lentes, al reducir el espesor del conjunto y evitar el uso de materiales adhesivos para la estructura).
Los sensores CCD se utilizan y se han utilizado en cámaras digitales y en muchas aplicaciones, sin embargo, los sensores CMOS han ganado popularidad debido a sus costes de producción más baratos, mayores rendimientos en sus procesos de fabricación (porcentaje de piezas que cumplen con las especificaciones) y menores tamaños, todo gracias al uso de tecnología y equipos desarrollados para equipos de fabricación de semiconductores (misma tecnología y equipos que se utilizan para fabricar microprocesadores, memorias y circuitos lógicos).
Paralelamente al citado progreso, y en principio en un campo diferente han evolucionado los metamateriales, entre los cuales se encuentran estructuras de pequeña escala diseñadas para manejar ondas electromagnéticas, y ya en 1967 Victor Veselago teorizó sobre la posibilidad de materiales con índices de refracción negativos en su artículo "The electrodynamics of substances Simultaneously With negative Values of £ and |j" [1]. En 2007 Henry Lezec obtuvo una refracción negativa en luz visible [2] y desde entonces varios grupos han teorizado sobre la posibilidad del uso de estos materiales para aplicaciones como la invisibilidad o microscopios con poder de aumento mucho más allá del estado de la técnica.
3. Descripción detallada
La siguiente descripción refleja formas particulares de implementar la invención, pero su propósito principal es ilustrar los principios de la invención y no debe tomarse en un sentido limitativo. El alcance de la invención se determina mejor por referencia a las reivindicaciones de este documento.
Además de las definiciones de circuitos integrados monolíticos descritas en la técnica anterior, el término monolítico se extiende en la presente invención a sensores electroópticos que incorporan en una sola estructura también las varias capas de materiales ópticos ubicadas sobre el sustrato del sensor, que procesa ópticamente los rayos de luz antes de que lleguen a los sensores. Dicha estructura monolítica se procesa principalmente mediante métodos comúnmente utilizados en microelectrónica y/o microóptica no solo para los fotosensores (típicamente sensores CCD o CMOS o cualquier otro sensor construido sobre un sustrato, típicamente un sustrato semiconductor) sino también para las capas ópticas superiores.
La principal novedad de esta invención tal como se define en la reivindicación 1 es el uso de capas ópticas de diferentes índices de refracción colocadas una encima de la otra, incluyendo microlentes plenópticos, estando la parte inferior de dichas capas sobre un sustrato fotosensor (CCD, CMOS u otra tecnología de fotosensores pasada, presente o futura).
Con referencia a la Figura 14, se puede distinguir, de abajo hacia arriba, un sustrato 1 sobre el que se encuentran los fotosensores 2 (el sustrato puede ser por ejemplo un sustrato semiconductor, los fotosensores pueden ser por ejemplo fotodiodos, fototransistores u otros fotosensores, la tecnología de semiconductores utilizada puede ser una tecnología CMOS o cualquier tecnología pasada, presente o futura para fabricar fotosensores y/o circuitos electrónicos); la figura muestra solo una dimensión, pero los sensores están construidos en dos dimensiones, formando una "matriz bidimensional". En el "conjunto de fotosensores" se pueden colocar filtros (6, 7 y 8) de color si se desea para construir un sensor de imagen en color (en comparación con uno en blanco, negro y tonos de gris), los filtros de color generalmente contienen los tres colores (verde 6, rojo 7 y azul 8; o amarillo, magenta y cian si se utiliza otro conjunto de colores primarios), el conjunto de filtros de color ha evolucionado de una estructura como la de la Figura 10A a una estructura como la de Figuras 10B y 10C; en los procesos de fabricación más modernos, se coloca una microlente sobre los filtros de color para cada fotosensor/filtro, el objetivo de estas microlentes es enfocar el haz de luz en la parte interna del píxel (en el área activa del fotosensor), ya que la suma de todas las áreas de todos los sensores 2 es menor que el área del sustrato 1 debido a la necesidad de utilizar parte del espacio para los circuitos de polarización y lectura; sobre las microlentes 3 se construye una capa 4 óptica de bajo índice de refracción, de manera que los haces de luz se refractan hacia los fotosensores concentrando toda la energía luminosa por unidad de área a través del área 4 en el área de los fotosensores 2; para cumplir con esta condición, el índice de refracción del material 4 debe tener un valor por debajo del índice de refracción del material 3; finalmente, se colocan las microlentes 5 (con un material de alto índice de refracción, superior al material 4).
La estructura formada por los materiales 5, 4 y 3, al diseñar adecuadamente los perfiles de las lentes 5 y 3 y la distancia x, obtenemos una estructura plenópticoa similar a la descrita en las Figuras 2, 3, 4, 6A, 6B, 8A y 8B (en la implementación de la Figura 14, debajo de cada microlente 5 plenóptica hay 4 píxeles, en realidad son 16 píxeles en la estructura bidimensional asumiendo que las lentes 5 plenópticas tienen una forma cuadrada (con 4 x 4 píxeles), aunque como se verá más adelante es posible diseñar la geometría de los píxeles y microlentes siguiendo patrones diferentes a los tradicionales); la estructura descrita es en varios aspectos mejor que las estructuras descritas anteriormente desde el punto de vista óptico: en comparación con las estructuras con la microlente cerca de los sensores de imagen, similar a las Figuras 3, 4, 6A y 6B, la complejidad mecánica y los costes de fabricación se reducen drásticamente, también es posible utilizar un sensor plenóptico como se describe con objetivos de lente tradicionales o casi tradicionales para cámaras profesionales con ópticas de alta calidad y un número muy alto de píxeles. Diseñar un sensor de este tipo para una cámara grande para producir una gran cantidad de píxeles en un área de unos pocos centímetros cuadrados con un área de cada microlente de valores relativamente altos es relativamente fácil, en comparación con la dificultad de diseñar una cámara para un teléfono móvil o un ordenador portátil, donde la cantidad de megapíxeles deseados y la cantidad de microlentes deseados deben ajustarse a tamaños muy pequeños (menos de 1 cm x 1 cm), para esos casos los presentes sensores ofrecen mejores características que las soluciones de las Figuras 5A, 5B, 7A y 7C. Además, la presente invención ofrece la posibilidad de un mejor control de las tolerancias de microlentes en un proceso microelectrónico (fotolitografía o no) en comparación con una fabricación discreta cómo se lleva a cabo en las Figuras 5A, 6A, 6B, 7A y 7C. La complejidad mecánica y de fabricación también es menor que la alcanzable en las Figuras 8A y 8B evitando procesos de alineación entre diferentes obleas y espacios de aire (u otro gas) ya que esos espacios entre las microlentes y los sensores de dichas figuras, estructuras inherentemente menos monolíticas que las estructuras descritas en la presente invención, las estructuras son más sensibles a la presencia de materiales contaminantes entre el sensor y las microlentes.
Volviendo a la Figura 14, los procesos de fabricación microelectrónica no solo permiten altísimas precisiones para el diseño de las microlentes 3 y 5 de la Figura 14 (esféricas, asféricas, convexas, cóncavas o siguiendo cualquier patrón deseado por el diseñador) sino que permiten un perfecto control de otros parámetros de diseño como la distancia x, dicha distancia suele ser igual a la distancia focal de las lentes 5 plenópticas, pero dependiendo de los algoritmos utilizados esa distancia puede hacerse mayor o menor. Por ejemplo, en la Figura 15 esta distancia se reduce en comparación con la Figura 14 (habilitando algoritmos que permiten una mayor discriminación en términos de número de píxeles, pero menor discriminación en cuanto a la direccionalidad de los rayos incidentes en el sensor).
En lugar de microlentes 5 plenópticas (que se nombran en contraste con las microlentes 3 de píxel) de forma biconvexa, a veces se utilizan lentes con formas de plano convexo, como se muestra en la Figura 16 (donde se utiliza una implementación con dos capas con un índice de refracción bajo entre las microlentes 3 y 5 (etiquetadas en la Figura 16 como "Índice 2 de refracción " e "Índice 3 de refracción "), las microlentes 3 de píxel y las microlentes 5 plenópticas están construidas con materiales de alto índice de refracción (etiquetadas en la Figura 16 "Índice 1 de refracción " e "Índice 4 de refracción "), con el único objetivo de dar mayor flexibilidad al proceso de fabricación y a las interfaces entre los diferentes índices de refracción).
Las flexibilidades que ofrecen los métodos de fabricación de ópticas similares a las que ofrece la microelectrónica son infinitas, por ejemplo la Figura 17 muestra una estructura con solo las microlentes de píxel y sobre ellas las microlentes plenópticas, en dicha Figura tanto la primera como la segunda son esféricas mientras que en la Figura 18 las microlentes plenópticas tienen una estructura asférica. La distancia z entre los centros de los "semiesferas plenópticas" y los centros de los "semiesferas de píxeles" en las Figuras 17 y 18 es igual a cero (ambas semiesferas descansan sobre el sustrato), pero los hemisferios plenópticos pueden colocarse a una distancia más larga del sustrato, creando estructuras similares a las de la Figura 8C.
Las figuras 19 a 22 muestran un posible flujo de fabricación que permite el procesamiento a nivel de oblea, proporcionando la capacidad de fabricar un gran número de sensores de muy alta calidad a precios muy bajos.
Las figuras no muestran el sustrato que contiene la matriz de fotosensores o la fabricación de filtros de color y sus microlentes de píxeles asociados, ya que estas estructuras han sido muy conocidas en productos existentes, y como se discutirá más adelante de la descripción detallada de las estructuras de la invención.
Se comienza, Figura 19, desde el sustrato del fotosensor, con sus lentes de píxel con alto índice de refracción (etiquetadas en la figura como "índice 1 de refracción") para enfocar el haz de rayos sobre el área fotosensible del fotosensor, por encima de dichas lentes de píxeles se coloca un material transparente fotorresistente con índice de refracción bajo (Índice 2 de Refracción), como se muestra en la Figura 19. Los índices de refracción de las microlentes de píxeles, generalmente basados en resinas transparentes pueden tener valores en torno a 1.5, mientras que hay otros materiales y metamateriales que pueden tener valores alrededor de 1.1 o incluso menores. La distancia x puede hacerse mayor o menor dependiendo del número de recubrimientos. La estructura de la Figura 19 se procesa con iluminación selectiva, seguida de un grabado con un ataque selectivo (dependiente de la iluminación selectiva previa), dando como resultado la estructura de la Figura 20, nótese que el material de "Índice 2 de Refracción" depositado en la Figura 19 puede ser atacado de manera selectiva mediante un proceso fotolitográfico.
Un material fotorresistente transparente de una capa de alto índice de refracción se coloca en la parte superior de la estructura de la Figura 20 (etiquetado como "Índice 3 de Refracción o Índice 1 de refracción" en la Figura 21), dando como resultado la estructura de la Figura 21. Este material con alto índice de refracción puede ser similar o incluso del mismo material con el que se construyeron las microlentes de píxeles (Índice 1 de refracción); el siguiente paso es un nuevo proceso de fotolitografía (iluminación selectiva y grabado), que finalmente da como resultado la estructura de la Figura 22, dicha estructura es una versión monolítica (construida en un solo chip) de la estructura plenóptica tradicional descrita en las Figuras 2, 3, 4 , 6A, 6B, 8A y 8B; y como tal susceptible de aplicar los mismos algoritmos de reconocimiento de la dirección de llegada de los rayos, reenfoques, distancias de la cámara a los puntos del mundo objetivo, etc.
La posibilidad de utilizar métodos típicamente utilizados en la fabricación de microelectrónica, que conducen a estructuras microópticas formadas por elementos con diferentes índices de refracción, así como un fácil control de tolerancias con procesos de fabricación avanzados utilizados en microelectrónica, hace que la invención sea extremadamente flexible para adaptarse a diferentes compensaciones de diseño en términos de procesos de fabricación o diferentes relaciones precio-calidad.
Por ejemplo, los procesos de fabricación utilizando CCD o CMOS muy maduros, y por tanto con infraestructura de fabricación ya pagada y susceptibles de ofrecer muy bajo coste para aplicaciones donde la sofisticación y calidad no son fundamentales, esto puede conducir a estructuras como se describe en Figura 23: son procesos maduros donde el tamaño del sesgo, los circuitos de lectura y escritura son relativamente altos en comparación con las dimensiones generales, los fotosensores 2 ocupan un porcentaje relativamente bajo del área total del sustrato 1 (en comparación con para ejemplo Figura 14, donde se puede apreciar un proceso microelectrónico más avanzado, en donde se han reducido las dimensiones de los circuitos electrónicos, ocupando un porcentaje relativamente menor del área total del sustrato 1). Esta estructura, descrita en la Figura 23, requerirá una mayor distancia entre la superficie del sustrato (por ejemplo, silicio en procesos CMOS) y la superficie de las microlentes de píxeles (con una distancia entre las microlentes de píxeles y las microlentes plenópticas (x1) que puede ser igual o diferente de la Figura 14), ya que el haz de luz incidente debe enfocarse en un área más pequeña, y esa es la razón por la cual el material 3 tiene un espesor aumentado en la Figura 23. Esto se puede hacer de una manera relativamente sencilla procesando materiales ópticos de manera similar a los materiales microelectrónicos, como la deposición de materiales transparentes más gruesos seguida de una fotolitografía (iluminación y grabado) para crear superficies de las microlentes con una precisión muy alta tanto para microlentes esféricas como asféricas.
La Figura 24 muestra cómo se construye una microlente sobre un área cuadrada de un sustrato fotosensor (el cuadrado de la línea con menor espesor es el área activa del fotosensor), la alta precisión de los procesos fotolitográficos permite diseñar y fabricar lentes esféricas con bases cuadradas en lugar de lentes hemisféricas con bases circulares. Tales procesos de fabricación permiten estructuras en donde la lente sobre el fotosensor, en lugar de colocar un solo hemisferio, coloca 4 partes del hemisferio que se cruzan entre sí en 4 líneas. La Figura 25A muestra dos píxeles construidos uno al lado del otro, las líneas cuadradas delgadas son los fotosensores integrados en el sustrato (como un sustrato CMOS), entre dichos fotosensores y los cuadrados de línea gruesa aparece el área del sustrato reservado para sesgo, electrónica y circuitos de lectura, las hojas (en forma de X) colocadas en la parte superior representan las intersecciones entre las cuatro porciones hemisféricas que constituyen cada microlente asociada a cada píxel.
La Figura 25B muestra una vista superior de una matriz de 4 por 4 píxeles, la Figura 26 muestra una vista transversal de la estructura, mostrando también la lente 5 plenóptica, ubicada a una distancia x2 de la lente 3 de píxel con un material transparente de bajo índice 4 de refracción entre la lente 5 plenóptica y la lente 3 de píxel. En este ejemplo, cada microlente 5 de la matriz de microlentes plenóptica contiene 16 píxeles (4 por 4). También se puede ver que el proceso de fabricación microelectrónica ha evolucionado hacia estructuras más densas (más submicrónicas), aumentando el porcentaje de área utilizada para los fotosensores 2 al área total del sustrato 1. El tamaño vertical de las microlentes de píxeles también se ha reducido al aumentar el porcentaje del área 2 (ya que el haz de luz que incide en la microlente 3 de píxel no necesita tanta distancia vertical para concentrarse sobre el área del fotosensor 2. Filtros opcionales de los tres colores fundamentales (8, 6 y 7) permanecen en su lugar en el caso de un sensor de color.
Las diferentes capas ópticas pueden formarse mediante procesos bien conocidos en la técnica anterior como CVD (Deposición química de vapor), LPCVD (Deposición química de vapor a baja presión), PECVD (Deposición química de vapor mejorada por plasma), HIDPCVD (Deposición de vapor químico de plasma de alta densidad) u otros procesos de deposición de materiales comúnmente usados en microelectrónica, como puede ser una simple deposición por fuerza gravitacional de un material fundido, métodos usados en este caso para realizar deposiciones de materiales ópticos.
A continuación se discuten los materiales ópticos utilizados o utilizables para la realización de la invención enfatizando que estos son solo ejemplos que de ninguna manera pretenden restringir la generalidad de la invención, ya que es posible implementarla con los materiales citados en los ejemplos, o con materiales alternativos, incluyendo nuevos materiales inexistentes en la actualidad.
Las lentes 5 plenópticas, así como las lentes 3 de píxel, pueden estar hechas de materiales de vidrio fotosensibles, lo que permite la fabricación a nivel de oblea con un gran número de sensores de imagen por oblea y una mínima intervención humana, reduciendo los costes de producción. Las lentes (plenóptica y píxel) también se pueden fabricar a nivel de oblea con resinas termoplásticas, materiales transparentes fotorresistentes o polímeros transparentes de alto índice de refracción que después del grabado (con por ejemplo ataque químico) se pueden curar (con luz ultravioleta o curado por calor a alta temperatura). El curado por UV se puede llevar a cabo de forma selectiva para luego eliminar las porciones no curadas utilizando un disolvente adecuado. También es posible utilizar varias implementaciones comerciales de polímeros híbridos orgánico-inorgánicos y/o gomas de alto índice de refracción curables por luz UV. Se pueden usar polímeros sólidos que pueden ser atacados en áreas no curadas o polímeros líquidos que bajo ciertas condiciones (de temperatura o iluminación UV) se convierten en sólidos transparentes con varios índices de refracción, dando como resultado estructuras ópticas.
Se han mencionado varios materiales típicamente usados para las microlentes 3 y 5, típicamente tienen índices de refracción superiores a 1.5, llegando a 2 para algunos materiales; un material adecuado para lentes de alto índice de refracción es el nitruro de silicio (con índice de refracción de 2.0), que puede depositarse mediante un proceso CVD por plasma (Deposición Química de Vapor), otra alternativa es formar una película de resina de poliimida (con un índice de refracción de 1.6 a 1.7) depositando el material sobre el sustrato y posterior centrifugación (rotación), dando forma a las formas adecuadas para crear la lente con disolventes adecuados al tipo de material utilizado, por ejemplo, el nitruro de silicio se puede atacar mediante grabado en seco (o ataque químico seco). Se pueden depositar materiales fluidos que evolucionan a materiales más blandos, que posteriormente requieren un proceso de curado (térmico o UV-Ultravioleta) para endurecerse, o depositar materiales fundidos que adquieren propiedades de dureza durante el proceso de solidificación; todos estos procesos son aplicables a diferentes tipos de vidrios, plásticos, polímeros orgánico-inorgánicos y los demás materiales mencionados.
Las posibilidades que ofrecen los procesos de fabricación microelectrónica dan al diseñador la flexibilidad de construir lentes con diferentes materiales, con diferente número de Abbe, diferentes características de dispersión, con diámetro variable (paso), o con diferentes índices de refracción, lentes circulares (o hemisféricas/semiesféricas si se miran en 3 dimensiones), lentes de base cuadrada (cuatro cuartos de casquete esféricos/asféricos superpuestos que se cruzan entre sí si se miran en tres dimensiones), hexagonales (seis casquillos esféricos/asféricos superpuestos que se cruzan entre sí si se miran en 3 dimensiones), incluyendo formas triangulares, lo mismo ocurre con el diseño de los píxeles, abriendo la posibilidad para el diseño de topologías novedosas que brinden mejores eficiencias para los algoritmos plenópticos y ofrezcan un mejor rendimiento lumínico (como para ejemplo de microlentes hexagonales que cubren 6 píxeles triangulares) que también amplían la flexibilidad para ofrecer diseños muy flexibles para lentes acromáticos. Se pueden depositar capas de diferentes espesores, nuevas capas de diferentes características depositadas en lentes anteriores, en definitiva, la flexibilidad de diseño es mucho mayor que en las grandes ópticas discretas. Además, se pueden crear capas con índice de refracción cercano a 1 (incluido el aire) debido al uso de "material de sacrificio": sobre una capa transparente (de material 3, 4 o 5) se puede crear un material fotorresistente con el grosor y la forma requeridos depositado, sobre dicho material fotorresistente se crea una nueva capa transparente (de material 3, 4 o 5) con varias aberturas para permitir la entrada de un solvente adecuado al material fotorresistente incrustado, que posteriormente puede ser disuelto y eliminado posteriormente. A pesar de la flexibilidad que ofrece al diseñador para lograr índices de refracción cercanos a 1, incluso capas de aire entre materiales de alto índice de refracción, dicho diseño debe incluir necesariamente "columnas de soporte entre las dos capas de material transparente (3 y 5), como por ejemplo se muestra en la Figura 14b, con todos los inconvenientes que esto conlleva (presencia de "columnas" de alto índice 4' de refracción entre las dos capas 3 y 5; o una estructura con posibles problemas mecánicos debido a la escasa abundancia de dichas columnas de soporte entre capas de mayor índice de refracción). Más atractivo es el uso de metamateriales (en lugar de aire o gases), que proporcionan índices de refracción que pueden ser incluso inferiores a 1. El material fungible puede ser geles solubles en agua, varios comercialmente ya disponibles, o materiales fotorresistentes convencionales muy comercializados para la fabricación de circuitos integrados (solubles en agua, acetona o isopropanol).
El material 4 puede ser cualquier material transparente de bajo índice de refracción. Para reducir la distancia entre las lentes plenópticas y las lentes de píxeles (x en la Figura 14), así como el tamaño de las lentes de píxeles, las relaciones entre los índices de refracción de los materiales 5 y 4 (así como también 3 y 4) deben ser lo más altos posible. Las posibilidades para las capas 4 transparentes de bajo índice de refracción son vidrio, plásticos, copolímeros inorgánicos o polímeros orgánicos, con índices de refracción de aproximadamente 1.5.
Un método bien conocido para reducir el índice de refracción de un polímero orgánico es proporcionar una composición con mayor contenido de flúor, sin embargo, este hecho le da al material una menor solubilidad en agua y aceites y dificulta la unión firme en las interfaces entre materiales con alto y bajo índice de refracción, una posible solución a este problema es bañar la superficie transparente de alto índice de refracción sobre la que se colocará el material con bajo índice de refracción (o la superficie de bajo índice de refracción sobre la que se colocará el material con alto índice de refracción) con un tratamiento de plasma rico en oxígeno (en una atmósfera con alto contenido de oxígeno); sin embargo, si este proceso no se lleva a cabo de forma muy controlada, puede dar lugar a problemas de adhesividad, deteriorando la calidad y el rendimiento de fabricación. Es por eso que los compuestos flúor-orgánicos o flúorinorgánicos se utilizan comúnmente solo en las primeras capas inmediatamente encima de los sensores, a pesar de su bajo índice de refracción (1.3 o 1.4 para películas de resina acrílica de flúor, generalmente formadas por centrifugación -recubrimiento por rotación- o películas de fluoruro de magnesio depositadas típicamente por pulverización catódica), formando "sándwiches" con capas de diversos índices de refracción (aunque simplificado en las figuras donde solo se ha colocado una capa) basándose no solo en los criterios de diseño del índice de refracción sino también en criterios de adhesividad entre capas.
Otros materiales transparentes utilizados inmediatamente sobre los fotosensores pueden ser (en estructuras monocapa o multicapa, que pueden incluir una capa de pasivación y/o planarización) los que tradicionalmente se han utilizado en el dieléctrico entre las capas metálicas y/o polisilicio normalmente utilizado para establecer interconexiones entre los elementos activos de los chips, materiales como óxido de silicio, FSG (Vidrio de silicato fluorado), óxido dopado con carbono, MSQ (Metil-Silsesqui-Oxano), HSQ (Hidrógeno Silse Quioxano), FTEOS ( Fluoro Tetra Etil Orto Silicato) o BPSG (vidrio de silicato de boro-fósforo), este último generalmente formado por un proceso de reflujo térmico (reflujo) alrededor de 900 grados centígrados, el anterior formado por CVD, LPCVD, PECVD, HIPCVD, u otros métodos conocidos en la deposición de la técnica anterior. La capa de pasivación o planarización (no expuesta en las figuras por simplicidad y por ser bien conocida en la técnica) puede estar formada por diversos compuestos, como nitruro de silicio (SiN o Si3N4), oxinitruro de silicio (SiON), carburo de silicio (SiC), carburo óxido de silicio (SiOC) u otras combinaciones con propiedades similares. Los filtros de color generalmente se protegen colocando capas de cobertura adicionales de óxido de silicio o combinaciones de las mismas, no dibujadas en las figuras por simplicidad, puede depositarse mediante CVD, LPCVD, PECVD, HDPCVD u otros procesos de deposición bien conocidos en la técnica.
A continuación se explica un proceso de fabricación propuesto para la invención con el fin de obtener estructuras similares a las mostradas en la Figura 14, con referencia a la secuencia del proceso de fabricación expuesta en las Figuras 19, 20, 21 y 22. Se parte de un sustrato de fotosensores 1, incluida su matriz 2 de fotosensores, sus filtros (6, 7 y 8) de color y su lente 3 de píxel, una estructura bien conocida en la técnica y ampliamente utilizada en procesos CMOS, aunque la invención podría aplicarse a varias otras estructuras. Sobre dicha estructura (Figura 19) que ofrece un alto índice de refracción para las lentes de píxel (Índice 1 de refracción) se coloca un material de bajo índice de refracción (Índice 2 de Refracción) con un espesor x decidido en el proceso de diseño. Esta capa puede ser una sola capa o un "sándwich de capas" como la que se muestra en la Figura 16, en la que por ejemplo se ha agregado una primera capa de bajo índice de refracción (Índice 2 de Refracción) mediante procesos como XCVD, deposicióncentrifugación u otros procesos bien conocidos en la técnica anterior, y sobre esa capa se ha adherido un sustrato también de bajo índice de refracción (Índice 3 de Refracción en la Figura 16).
Sobre la estructura de la Figura 19 se coloca, por ejemplo, una capa fotosensible con un material como fotorresistencia positiva, dicha capa de fotorresistencia se coloca sobre la capa de "Índice 2 de Refracción". Dicha capa fotosensible se expone selectivamente a la luz mediante una máscara gris, por ejemplo iluminando con lámparas I-line (lámparas con vapor de mercurio a muy alta presión), por lo que la estructura se expone a diferentes intensidades de luz, al exponerse a la luz y posteriormente grabar la capa de material fotorresistente proporciona exactamente la misma curvatura de la parte superior de la Figura 20. Después de grabar la capa de material fotorresistente, atacada, por ejemplo, con un ataque químico utilizando solventes de grabado en seco (un proceso de grabado en seco), que generalmente implica bombardear la capa con iones (típicamente un plasma de gases reactivos como flúorcarbonatos, oxígeno, cloro, tricloruro de boro y ocasionalmente añadiendo hidrógeno, argón, helio y otros gases). Este ataque, además de "limpiar" el material fotosensible comienza a "limpiar" (vaciar) el material de la capa inferior, transfiriendo a la capa 4 de índice de refracción bajo ("Índice 2 de Refracción" en la Figura 19) la misma curva que estaba formado inicialmente en el material fotorresistente. La precisión y reproducibilidad mediante grabado en seco son excelentes. También se podrían utilizar disolventes líquidos, pero atacan de forma más anisotrópica. En la Figura 20 hemos obtenido una estructura cóncava, pero como veremos más adelante podrían haberse obtenido estructuras convexas.
Finalmente, se crea una tercera capa de material con alto índice de refracción ("Índice 3 de Refracción o índice 1 de refracción" en la Figura 21), que se puede depositar con técnicas similares a las explicadas anteriormente, como CVD, LPCVD, PECVD, HDPCVD u otros procesos de deposición bien conocidos en la técnica. Si esta capa "Índice 3 de Refracción o índice 1 de refracción" ha sido depositada con un material transparente fotosensible (resina, vidrio u otros materiales fotosensibles) basta con exponer dicha estructura a un proceso de exposición a la luz similar al descrito anteriormente. para posteriormente atacar dicha capa y disolver selectivamente el material, dando como resultado la estructura final de la Figura 22 (una estructura plenóptica obtenida usando procesos de fabricación típicamente usados en microelectrónica). Otra alternativa es repetir el proceso utilizado anteriormente para colocar sobre la estructura de la Figura 21 una capa de material fotorresistente, tratándola con iluminación selectiva, por ejemplo con una máscara de niveles de gris, y procesando la estructura resultante con un ataque con por ejemplo grabado en seco (atacándolo con disolventes secos), no solo para limpiar de la estructura el material fotorresistente, sino para transferirlo a la capa de índice 5 de refracción alto (etiquetada en la Figura 22 "Índice 3 de Refracción o Índice 1 de refracción" ) el perfil creado inicialmente en el material fotorresistente.
La invención ha sido descrita con un ejemplo de una fotolitografía particular, pero también se pueden utilizar otras técnicas fotolitográficas conocidas o futuras, como EUV (Ultravioleta Extremo) de las que se pueden esperar definiciones que alcancen 13.5 nanómetros e inferiores.
Las capas ópticas superiores de las Figuras 14, 15, 16, 17 y 18 también pueden construirse mediante técnicas de replicación, es decir, en un molde con el negativo de la forma de las lentes se vierte un polímero fluido (polímero que puede ser viscoso o líquido a temperatura ambiente), sobre dicho molde relleno con el polímero se coloca el sensor de la oblea en forma invertida (con los fotosensores 2 hacia abajo), de modo que la oblea tenga contacto físico con el polímero-líquido o viscoso (en la lado de los fotosensores 2 y las lentes 3 de píxel), solidificando luego el polímero por exposición a luz ultravioleta o por altas temperaturas. El polímero dará como resultado un sólido transparente con un índice de refracción adecuado, formando así la matriz de microlentes plenópticos.
Los filtros de color se crean depositando capas de cada uno de los tres colores mediante procesos fotolitográficos consecutivos, para luego cubrir todo con una capa protectora o pasivación.
Existe la posibilidad de colocar en la parte superior de las microlentes plenópticas, las microlentes de píxeles y en otros lugares, capas de revestimiento antirreflectante, ayudando así a mejorar la eficiencia luminosa de las estructuras, así como filtros IR (infrarrojo), para mejorar la relación señal/ruido en los fotosensores filtrando la parte no deseada del espectro.
Las lentes de píxeles se fabrican con métodos similares a los descritos para las lentes plenópticas.
Los procesos descritos anteriormente, junto con otras técnicas e instrumentos en óptica y microelectrónica, tales como estampación mecánica de vidrio (a frío y alta temperatura), calor-reflujo, herramientas de moldeo ultraprecisas, marcación láser y otros procesos bien conocidos en el estado del arte en óptica y en microelectrónica, conducen a procesos, herramientas y resultados extremadamente sofisticados, precisos y rentables, brindando al diseñador posibilidades de tolerancia axial (a lo largo del eje z) fijadas por las tolerancias del espesor de las capas. Las tolerancias del montaje lateral (a lo largo de los ejes x e y) están determinadas por la precisión de las máscaras fotolitográficas (capaces de replicar volúmenes muy altos, cientos de millones de unidades, patrones tan pequeños como 28 nm y más bajos en un futuro próximo), lo que lleva a productos integrados monolíticamente con tecnología de fabricación extremadamente simple que hará que los productos en miniatura compitan y superen algunas de las características de los productos ópticos de gran tamaño y peso. A modo de ejemplo, se puede decir que con tolerancias del orden de los nanómetros en la implementación física de microlentes, las aberraciones pueden ser mucho menores que en cámaras de mayor tamaño.
Las obleas ópticas y las obleas de sensores se pueden fabricar por separado y posteriormente unir (mediante soldadura, procesos de unión anódica o procesos de encolado) aprovechando las "marcas de alineación" en ambas obleas y proporcionando una gran precisión utilizando alineadores de máscara modernos; también es posible crear capas ópticas con diferentes patrones sobre la oblea del sensor mediante técnicas de deposición, crecimiento epitaxial u otras técnicas bien conocidas en el arte.
Como en la microelectrónica para la fabricación de circuitos integrados, o en cualquier proceso de fabricación de sensores de imagen (CMOS, CCD, o cualquier otro) los últimos pasos consisten en cortar (seccionar) la oblea en varios chips individuales y un encapsulado final, generalmente con un paquete de plástico o cerámica (que incluye una abertura con un material transparente en la parte superior para dejar pasar la luz al sensor), y pines metálicos para la interconexión eléctrica del chip con el sistema exterior, o en el caso de chips con muy alta densidad de pines, en lugar de pines metálicos se puede usar una matriz de bolas de soldadura ubicadas en la parte inferior del chip (BGA o matriz de rejilla de bolas) similar a las bolas de soldadura en la parte inferior de la Figura 13; incluso a costa de costes unitarios más caros, dependiendo de los procesos de fabricación y la disponibilidad de ciertos instrumentos, también sería posible realizar el proceso de corte (corte en cubitos) para la oblea óptica y para la oblea electrónica por separado, y colocar cada dispositivo óptico sobre cada sensor antes del proceso de encapsulación.
Existen varios problemas prácticos en la miniaturización que la invención descrita resuelve de una manera más apropiada que otras tecnologías. Las lentes exteriores conducen la luz incidente a un sensor como se propone, o cualquier otro sensor en general, debido a la tendencia a reducir el grosor del sensor (con un grosor total menor a 1 cm, o incluso menor, como por ejemplo al ser una parte en un teléfono móvil) recibiendo los haces de rayos de luz de una manera menos perpendicular en las microlentes plenópticas en la periferia de la matriz que en las microlentes en el centro de la matriz, de modo que la luz no se dirija de manera eficiente hacia los fotosensores, dando una máxima eficiencia en el centro del fotosensor y deteriorándose gradualmente hacia su periferia. La luz que incide en las microlentes plenópticas en la periferia de la matriz está más inclinada que en el centro de la matriz, lo que da como resultado una distancia focal menos profunda vista desde los píxeles en la periferia del fotosensor en comparación con los píxeles en el centro de la matriz sensor de fotos. Hay tres formas de resolver este problema, la primera es espaciar los píxeles del fotosensor de manera diferente en la periferia que en el centro de la matriz (colocando los "discos" o "cuadrados" o "hexágonos" o "cualquier forma geométrica" diseñado para los píxeles correspondientes a las microlentes plenópticas en la periferia de la matriz más lejos de sus "discos, o cuadrados o hexágonos" adyacentes que en la zona central), aumentando al mismo tiempo el área de los píxeles en la periferia del sensor en comparación con los píxeles en el centro del sensor. Esta solución no es eficiente porque aumenta el área del sustrato (por ejemplo, silicio en un proceso CMOS) y aumenta el coste del producto, pero se decidió mencionarlo.
La segunda solución al problema descrito en el párrafo anterior es un diseño de las microlentes plenópticas con diferentes perfiles en el centro con respecto a la periferia de la matriz plenóptica, con el fin de asegurar mayores desviaciones para los haces menos perpendiculares en la periferia que en el centro de la matriz plenóptica; con esta medida, solo la lente en el arreglo central sería perfectamente simétrica alrededor de su eje, y gradualmente a medida que se mueve hacia la periferia del arreglo plenóptico, las microlentes son cada vez más asimétricas con respecto a su eje para asegurar que la perpendicularidad de los haces en sus fotosensores son exactamente e igualmente eficientes en su región central como en su periferia. Esta solución, una implementación prácticamente inviable en óptica discreta, es extremadamente eficiente y fácil de implementar mediante procesos fotolitográficos para la fabricación de microlentes como los expuestos en la invención.
Una tercera solución es variar gradualmente la distancia entre las microlentes y el sensor (parámetro x en la Figura 14) de modo que dicha distancia sea menor en la periferia de la matriz plenóptica que en su centro. Sólo una única microlente (o dos o cuatro como máximo) es(son) perpendiculares al eje óptico del sistema, la microlente en el centro del sensor, ya que x es variable en otras microlentes cada vez más inclinadas frente al eje óptico y cada vez más cerca del plano de los sensores a medida que nos alejamos del centro de la matriz plenóptica. Esta solución, también prácticamente inviable en óptica discreta, es eficiente y se implementa fácilmente mediante procesos fotolitográficos.
Una solución mixta entre las discutidas en los párrafos anteriores es la más eficiente desde el punto de vista de maximizar la eficiencia óptica y minimizar las aberraciones ópticas, aberraciones ya muy bajas debido a la eficiencia en el control de distancias y la forma de las lentes. gracias al uso de procesos fotolitográficos.
Dependiendo de los procesos y materiales disponibles es posible fabricar estructuras además de la de la Figura 14b, donde el material de la capa 4 (con bajo índice de refracción) ha sido reemplazado por aire (u otros materiales gaseosos inertes), no corrosivo y con buenas propiedades contra la penetración de humedad); la distancia entre los fotosensores 2 (o su lente 3 asociada) y la "matriz de microlentes" 5 se mantiene gracias a los espaciadores 4'. Esta estructura también es relativamente simple y ofrece una fabricación de bajo coste utilizando técnicas de "apilamiento de obleas": en una oblea de fotosensores del estado del arte (que contiene el sustrato 1, los fotosensores 2, los filtros 6, 7 y 8 de color, y opcionalmente en las microlentes 3) se coloca una segunda oblea (4') con espaciadores, y sobre esta se coloca además una tercera oblea con las microlentes 5. Las técnicas de alineación de máscaras para el proceso de fabricación y la alineación de obleas en los procesos de fabricación microelectrónicos conducen a excelentes resultados al alinear obleas ópticas y al alinear obleas electrónicas con obleas ópticas. Por lo general, se utilizan obleas estándar de 8 o 12 pulgadas.
El material de la oblea 4' espaciadora debe absorber la luz, evitando cualquier tipo de reflexión que dé lugar a "imágenes dobles"; este objetivo se puede conseguir de una manera sencilla como revestimiento de las paredes laterales del separador 4' con material antirreflectante, por ejemplo mediante pulverización. El separador 4' de obleas se puede unir a la oblea del sensor mediante soldadura, unión anódica, mediante tratamiento de temperatura o mediante resinas adhesivas que pueden curarse con luz ultravioleta o endurecerse con la temperatura; la deposición de estas resinas debe ser simétrica al eje óptico, evitando las zonas del camino óptico de la luz hacia el sensor de forma selectiva mediante técnicas de impresión o proyección. La oblea 5 de microlentes se fija al separador 4' de forma similar como se describe.
La oblea 4' espaciadora se fabrica grabando (ataques físicos o químicos) un sustrato de vidrio de las mismas dimensiones que la oblea de sensores (normalmente de 20 a 30 cm), las aberturas también se pueden realizar mediante corte por láser, chorros de arena a alta presión o perforación ultrasónica.
El material 4' y 5 puede construirse en otra realización como una sola pieza en lugar de como dos piezas separadas. Así, la oblea 5 4' se coloca sobre la oblea fotosensible (1 2 6 7 8 3).
Como alternativa a la fabricación de los espaciadores (4') de obleas ópticas, estos se pueden construir depositando un material fotorresistente seco sobre el sustrato semiconductor (ya con los filtros de color y las lentes de píxel) y una posterior aplicación química o ataque físico (grabado) para abrir los espacios de separación que alinearán las lentes (3) de píxeles con las microlentes plenópticas.
Existen muchos métodos para fabricar la oblea 5 de microlentes plenópticos. Aunque en la Figura 14b solo se puede ver el producto final, este se puede obtener gracias al uso de un sustrato delgado que tiene microlentes convexas planas formadas en su parte superior y plano convexo en su parte inferior. Las microlentes se pueden fabricar con materiales orgánicos de vidrio, epoxi, silicona o materiales acrílicos. Las microlentes también pueden formarse mediante procesos de replicación donde se utilizan polímeros o líquidos curables (curables por luz UV o calor), las microlentes pueden construirse sobre un sustrato transparente delgado de vidrio, plástico, cuarzo o resina. De esta manera se pueden construir lentes esféricas, asféricas o de otro tipo. También se pueden construir mediante técnicas de fotolitografía de ataque de materiales sensibles a ataques químicos o físicos, o depositando materiales fotorresistentes sobre el sustrato de las microlentes, grabándolas para darles la forma de las lentes mediante el uso de una máscara gris, para luego someter la estructura a un ataque físico o químico (grabado) para que tome la forma de material fotorresistente que posteriormente forma los materiales de la lente; realizando el proceso en un lado de la oblea de microlentes o en ambos lados.
Después de la alineación y unión de la oblea 5 de microlentes plenópticos a la oblea 4' de separadores, se puede proceder al corte (corte en cubitos), o separación de cada uno de los sensores plenópticos contenidos en la oblea.
Las microlentes 5 en la parte superior de la estructura pueden cubrirse con capas para filtrar la luz IR (infrarroja), aumentando así la relación señal/ruido de los fotosensores. El uso de revestimientos antirreflejos evita que parte de la salida de luz incidente no alcance el sensor.
Los algoritmos plenópticos usados por la tecnología descrita en la Figura 14b colocan el plano de los sensores a una distancia menor que la longitud focal del sistema óptico de entrada.
El mayor impacto de la invención descrita conduce al uso de metamateriales como parte de los procesos microópticos descritos; gracias al uso de materiales sin índice de refracción negativo sino solo de materiales con índice de refracción positivo inferior a 1, se pueden reducir drásticamente las dimensiones de la óptica. Haciendo referencia a la Figura 14, si el índice de refracción de la capa 4 se hace por ejemplo 0.5 o 0.1 la distancia x se reduciría drásticamente, haciendo factible una integración monolítica con espesores sin precedentes (particularmente adecuada para campos como el teléfono móvil, sensores exigentes con muy pequeñas dimensiones). Se han fabricado sensores monolíticos (mediante la integración de electrónica y óptica) en los que la distancia entre las microlentes 3 de píxel y las microlentes 5 de superficie es de tres milímetros, para seguir aumentando el tamaño de los sensores integrados hasta alcanzar el tamaño que se lograría con dispositivos ópticos discretos de pequeño tamaño (como en la Figura 11), pueden resultar en obleas con un grosor excesivo, grandes dificultades en el proceso de corte (cubos) e inestabilidades mecánicas, deteriorando el rendimiento del proceso de fabricación, aumentando los costes y el tamaño de la estructura monolítica.
Sin embargo, el uso de metamateriales con índice de refracción inferior a 1 no solo reduce la distancia x entre las microlentes de píxeles y las microlentes plenópticas (Figura 22B) sino que permite llevarlos a un espesor aceptable para los procesos de fabricación descritos en la invención (unos pocos milímetros) y un mayor número de lentes como parte de un único sensor monolítico. Con referencia a la Figura 22B, el uso de un metamaterial 4 con un índice de refracción menor que 1 disminuye la distancia x, y permite la deposición de una segunda capa de metamaterial 4' sobre las microlentes plenópticas, sobre las cuales para por ejemplo, se pueden construir lentes 5' cóncavas/convexas, o lentes 5" bicóncavas, o lentes 5'" cóncavas/convexas o lentes biconvexas 5"", o una combinación de varias lentes dentro de una estructura "sándwich" similar a la representado en la Figura 22B, dando como resultado un sensor monolítico que integra todas las lentes de una microcámara, que gracias al uso de las técnicas fotolitográficas descritas en la invención, rivaliza en algunas características, como las aberraciones ópticas y la eficiencia lumínica, con sus contrapartes grandes y discretas, estas cámaras superan a las cámaras grandes en términos de facilidad de producción para volúmenes muy altos a bajo coste.
El orden en donde se depositan las diferentes lentes puede ser el adecuado para el diseñador, por lo que la estructura de la Figura 22B es una estructura microóptica equivalente a la Figura 6B (excepto para el zum, que también puede ser construido microópticamente, como se describe más adelante); si la capa 5 (Figura 22B) está en la parte superior del "sándwich óptico" se alcanzan estructuras integradas equivalentes a las de las Figuras 5A y 5B; o si se coloca (inmediatamente debajo de la lente de entrada que separa la microcámara del espacio del objeto) se alcanzan lentes microópticas equivalentes a las Figuras 7A y 7C.
Sin llegar a la extrema reducción de tamaño que se reporta en la Figura 22B gracias al uso de materiales con índices de refracción por debajo de 1, se obtienen cámaras monolíticamente integradas como se describe en la Figura 22C (donde los espacios entre capas no se dibujan en la misma escala como en 22B). Los materiales de bajo índice (4) de refracción de la Figura 22B fueron reemplazados por aire (u otro gas), y la separación entre las lentes de alto índice (5) de refracción, incluidas las microlentes plenópticas, está garantizada gracias al uso de obleas 4"" espaciadoras, de manera que sobre la oblea de sensores (incluidas las capas 1, 2, 6, 7, 8 y opcionalmente 3) se ubica una primera oblea 4"" espaciadora, sobre la cual se ubica una oblea 5 de microlentes plenópticos, sobre esta una segunda oblea espaciadora en la que se colocan soportes para la colocación de una primera lente (convexo-cóncavo en este ejemplo), y así sucesivamente, construyendo una microcámara de excelente rendimiento apta para su uso en dispositivos portátiles (teléfonos móviles, ordenadores portátiles, tabletas, etc.) etc.). Esta invención es un superconjunto del representado en la Figura 14b, mediante la adición de más lentes apilando obleas ópticas en la oblea del sensor y la primera oblea de lente plenóptica.
Las técnicas de fabricación ya han sido expuestas al describir la Figura 14b, explicamos a continuación varias posibilidades para la fabricación de obleas de lentes en las capas superiores de la Figura 22C, algunas ampliamente descritas por Wolterink, Dohmen Sander Van Der Sijde, Arjen De Bruin, Groot y Anton Van Arendonk en WO 2004/027880 A2. Con los materiales descritos al explicar la Figura 14b es posible formar elementos ópticos convexos sobre un sustrato fino transparente mediante técnicas de replicación, dando lugar así a lentes plano-convexas (esféricas, asféricas o anamórficas). Utilizando técnicas de replicación también es posible construir lentes sobre un sustrato de material no transparente en donde se hayan realizado aberturas (huecos para dejar pasar la luz) de las mismas dimensiones que el sensor (de manera similar a como lo haría un corte de un queso suizo con lentes en sus orificios, pero obviamente con orificios para el paso de la luz diseñados de forma más regular), el sustrato no transparente evita que el "ruido-luz" llegue al sensor; por ejemplo, las lentes cóncavas convexas se pueden replicar en las aberturas del sustrato, reduciendo así el grosor del microobjetivo resultante. Otra forma menos eficiente de construir lentes cóncavas convexas es replicar en la parte superior del sustrato transparente una superficie convexa fina, con una concavidad correspondiente replicada en la parte inferior del sustrato. Las obleas ópticas con cualquier perfil pueden construirse como se describe, no solo las que se muestran en la Figura 22C sino cualquier lente anamórfica. Apilando obleas como las descritas anteriormente, o utilizando cualquier otra combinación fácilmente extrapolada por expertos en óptica, es posible fabricar casi cualquier tipo de minicámara integrada monolíticamente.
Además de las técnicas descritas en el párrafo anterior, se fabrican obleas con vidrio o materiales fotosensibles transparentes con altos índices de refracción que pueden ser atacados por técnicas fotolitográficas bien conocidas en el estado de la técnica, dando lugar a cualquier tipo de lentes con cualquier perfil fabricado en ambos laterales de la lente, con aberraciones codiciables en comparación con los métodos de fabricación de lentes de gran tamaño debido a las pequeñas tolerancias de tamaño alcanzables mediante técnicas fotolitográficas. Otra posibilidad es depositar un material fotorresistente sobre la oblea óptica, exponiendo luego el material a máscaras grises, grabando con el fin de crear el perfil óptico deseado de la lente sobre el material fotorresistente, para luego proceder con un ataque físico o químico (grabado), que no solo eliminará el material fotorresistente, sino que reproducirá el perfil de la superficie obtenida fotolitográficamente sobre el sustrato óptico. Esta técnica da como resultado lentes sin comparación posible con el estado de la técnica anterior, ni en tamaño ni en aberraciones.
El orden en donde se apilan las obleas y se construyen las capas ópticas del sensor (o microcámara) no es necesariamente el ilustrado en las Figuras 22B y 22C, por ejemplo, la oblea de microlentes podría ser la última en lugar de la primera (contando desde la superficie de las lentes de píxeles), lo que da como resultado una implementación monolítica similar a la implementación discreta (con lentes discretas) en la Figura 5A; en otro ejemplo, la oblea con microlentes plenópticos podría estar entre la lente de entrada y las otras lentes (estas ubicadas entre el MLA y el sensor), dando como resultado una implementación monolítica de la estructura en las Figuras 7A, 7B y 7C.
También son posibles soluciones mixtas entre las Figuras 22B y 22C, donde las lentes más cercanas al sensor se construyen depositando capas alternas de índice de refracción alto y bajo, mientras que las capas más remotas del sensor se construyen mediante espaciadores y obleas apilables. Las microlentes pueden ser parte de la primera estructura (obtenida por crecimiento de capas ópticas sobre el sensor) o la segunda estructura (obtenida obleas apilables). Es posible cualquier permutación, tanto en el orden de las capas como en la técnica de fabricación.
Un campo de innovación completamente diferente en esta invención es la cantidad de megapíxeles que se pueden integrar (tanto para cámaras grandes como para minicámaras para teléfonos móviles, tabletas y dispositivos de mano), siguiendo teóricamente la Ley de Moore aplicada en microelectrónica, pero en la práctica limitado por la ineficiencia lumínica de píxeles muy pequeños, el tamaño de los píxeles no puede disminuir indefinidamente, porque para dimensiones muy pequeñas la naturaleza ondulatoria de la luz comienza a manifestarse, los rayos de luz sobre los píxeles (fotosensor) producidos por el objetivos, las microlentes plenópticas y las microlentes de píxeles no exhiben una densidad de luz constante independiente de las distancias sobre la superficie del sensor, la densidad de potencia tiene una forma como la de la Figura 27A (asumiendo lentes circulares en la trayectoria de la luz), con una región central donde se concentra la mayor parte de la energía (en el centro del píxel, llamado círculo Airy, área gris oscura en la parte inferior de la Figura 27 a ), y lóbulos laterales cada vez más pequeños a medida que hay alejamiento del píxel central (anillos Airy, anillos concéntricos en gris más blanco en la parte inferior de la Figura 27A). Es bien sabido que en un sistema óptico cuya pupila de salida es circular, la distribución de irradiancia asociada a la imagen de un objeto puntual está constituida por un lóbulo circular central en donde se concentra la mayor parte de la energía (84%), y una serie de anillos concéntricos de intensidad decreciente.
En una de las implementaciones descritas, dado que las lentes de píxeles no son hemisferios perfectos (o semiesferas), sino cuatro sectores hemisféricos (o semiesféricos) que se cruzan entre sí para enfocar el haz de luz en un cuadrado fotosensor (véase Figura 24), los círculos y anillos de Airy no son círculos perfectos sino cuatro sectores circulares que componen lo que llamamos un 'cuadricírculo' como se ve en la parte superior de la Figura 27B (comparado con un círculo de Airy habitual en la parte inferior de la figura) pero tal peculiaridad no disminuye la generalidad de la invención que se describe más adelante: si las lentes de píxel fueran hexagonales conducirían a una distribución de potencia en forma de "hexacírculo".
Si el tamaño de píxel (el tamaño de la microlente y/o el tamaño del fotosensor) se vuelve tan pequeño como el lóbulo principal de la energía luminosa (el círculo de Airy de las Figuras 27A o 27B), los lóbulos secundarios (los anillos de Airy Figura 27A, o "cuadrianillos" en la Figura 27B) pueden eventualmente caer en píxeles adyacentes en lugar de sobre el fotosensor correcto, lo que provoca interferencias entre píxeles. Antes de llegar al fenómeno de la interferencia entre puntos, dependiendo entre otras cosas de la relación entre los índices de refracción, es posible que las microlentes (hemisferios, o más bien "cuadriesferas", formadas por cuatro sectores esféricos o asféricos, o "hexaesferas "en el caso de microlentes hexagonales, o triaesferas u otra forma geométrica) entre píxeles adyacentes se superponen, como se ve en la Figura 28, que ilustra un proceso profundo submicrónico, donde el área del fotosensor es muy alta en comparación con el área total del sustrato (fotosensor y circuitos de polarización y lectura). El hecho de que los dos hemisferios (o dos lentes asféricas o dos cuadriesferas) de dos píxeles adyacentes se superpongan, no tiene ningún efecto negativo, más bien es un efecto positivo, como si el área del fotosensor fuera muy pequeña en comparación con el área total del sustrato, el espesor del material en la dirección vertical de la microlente (3) de píxel sería muy elevado, aumentando el tamaño total de la estructura. En este caso, el grosor de la microlente 3 de píxeles en la dirección vertical es tan bajo, y el espacio en la dirección vertical desde la superficie de la microlente hasta el fotosensor de píxeles es tan pequeño que con un bajo espesor de la estructura se llevamos virtualmente el 100% de la energía luminosa recibida a través del lente principal de la cámara a la superficie útil de los fotosensores. Una diferencia con algunas de las estructuras vistas arriba es que los límites de la superficie superior de las microlentes 3, en la parte más baja de su perfil, no toca realmente el sustrato 1, por lo que en las líneas de intersección entre las superficies de dos microlentes adyacentes el material 4 de índice de refracción bajo siempre está ubicado a una distancia mínima del sustrato 1, como se ilustra en las Figuras 28 y 29.
Al concretar un diseño de muy reducidas dimensiones, donde la cámara formaría parte de un aparato de muy reducidas dimensiones y al mismo tiempo siendo obligatorio tener un número muy grande de píxeles, la reducción de tamaño puede llegar al extremo donde es posible que se requiera que el tamaño de cada uno de los fotosensores alcance un ancho similar al del lóbulo principal de la Figura 27. En este caso tenemos que aceptar que habrá algo de ruido entre píxeles, si es lo suficientemente bajo, no hay motivo para tener un deterioro apreciable de la calidad de la imagen, también hay que aceptar que la energía luminosa que llega a los fotosensores no será el 100% de la energía incidente.
De hecho, acercándose a tales dimensiones (cercanas a unas pocas micras, incluso ligeramente por debajo de la micra) en la mayoría de los casos, la riqueza de los detalles de la imagen solo se puede apreciar gracias a los zums que se mantienen en un ordenador de soporte para mostrar detalles de un área específica de la imagen hasta que los píxeles se vuelven demasiado visibles con zum excesivo, en tales circunstancias una pequeña interferencia entre píxeles adyacentes, mostrando un ligero cambio de detalle de la imagen en el mundo real, no es tan importante como el hecho de que tales detalles en el mundo real puede tener diferentes colores. En esta circunstancia, si los filtros de color, en lugar de estar diseñados píxel a píxel, están diseñando microlente por microlente, los efectos de las interferencias entre píxeles son mucho menos dañinos, adoptando estructuras como la de la Figura 30. Hay varias posibilidades, una de ellas es colocar los filtros de color en las lentes plenópticas (parte superior de la Figura 30), otra posibilidad es colocar los filtros (como se hace tradicionalmente) entre las lentes de píxeles y el fotosensor (parte inferior de la Figura 30), una tercera es utilizar filtros de menor espesor combinando las dos soluciones descritas (filtros debajo de las microlentes de píxeles y en las microlentes plenópticas). Otra posible solución sería que las propias microlentes plenópticas no solo estuvieran construidas con un material transparente con alto índice de refracción, sino que también tuvieran propiedades de filtrado de color, como se muestra en la Figura 31. También es posible que las microlentes de píxeles también sean filtros de microlentes (como se ilustra en la parte inferior de la Figura 32), o soluciones mixtas en donde se realiza el filtrado en ambas matrices de microlentes. Dichas estructuras también son más eficientes desde el punto de vista práctico, ya que las características de dispersión, índice de refracción y otras características ópticas de los materiales utilizados para fabricar las microlentes de píxeles y las microlentes plenópticas, no siempre son independientes de la frecuencia (color), lo que permite diseños en los que las microlentes de píxeles y las microlentes plenópticas son diferentes y optimizadas para cada color, y permiten el uso de materiales ópticos menos sofisticados y de menor precio.
Estructuras como se describen en los párrafos anteriores, o estructuras donde los lóbulos laterales de la Figura 27 (anillos de Airy) caerán sobre áreas del sustrato opaco destinadas a circuitos de polarización y lectura, seleccionando espacios entre píxeles como los que se muestran en las Figuras 33A, 34 y 35, se obtienen fácilmente gracias al uso de técnicas de fabricación microelectrónica aplicadas a las capas ópticas como se describe en la invención. En el extremo exigente de tener que aumentar la cantidad de megapíxeles en el sensor y tener tamaños reducidos obligatorios debido a la aplicación, el tamaño puede llegar al límite para adoptar diseños como en la Figura 33B, donde el centro de un píxel podría ser colocado en el valle de potencia de sus píxeles más cercanos, aprovechando la ortogonalidad entre los colores de los píxeles adyacentes (diferente frecuencia) debido al uso de diferentes filtros de color en los píxeles adyacentes, como se explicará en detalle a continuación.
Alcanzando una reducción de tamaño tan extrema, existen otros efectos de ruido que cobran importancia, como es la salida de luz en el espectro infrarrojo o infrarrojo cercano, si bien no perceptible para el ojo humano, es un ruido considerable en los fotosensores; la forma de minimizarlo es agregar filtros para estos rangos de frecuencia. Dichos filtros se pueden colocar en cualquier punto (o múltiples puntos) del camino óptico, por sí mismos o en combinación con filtros de color (gracias al uso de filtros no solo para un color sino con muy alta selectividad para los rangos de frecuencia cuyo ruido debe evitarse), de esta manera se pueden colocar filtros infrarrojos sobre las microlentes plenópticas, como parte del material de las microlentes plenópticas, entre las microlentes de píxel y el sustrato, como parte de las microlentes de píxel, sobre las microlentes de píxel, en el material de bajo índice de refracción situado entre las microlentes de píxel y las microlentes plenópticas (por ejemplo en el material 4 de la Figura 29). También pueden construirse mediante una combinación de varios de los métodos descritos.
La Figura 34 muestra la distribución de energía luminosa en 4 píxeles adyacentes que forman un patrón Bayer (un cuadrado de 4 píxeles: verde-G, rojo-R, azul-B, verde-G) comúnmente utilizado para sensores de color. En la parte superior de la Figura se muestra la irradiancia de las microlentes, y sus correspondientes filtros de color de píxeles, viéndose en este caso que el área del fotosensor (cuadrado interior que rodea las letras G, R, B y G) y los microlentes de píxeles están diseñados para que el lóbulo principal de irradiancia caiga sobre la superficie del fotosensor y el segundo y tercer lóbulos incidan en un área opaca, evitando así cantidades significativas de ruido en los fotosensores adyacentes. La Figura 35 ilustra más claramente el fenómeno (utilizando la notación de las figuras anteriores): sobre el sustrato 1 se han construido fotosensores 2, y sobre ellos se han depositado filtros verde 6 y rojo 7; sin embargo, sobre el "área del sustrato no activo" (el área no utilizada por los fotosensores, normalmente usada para circuitos de polarización, convertidores A/D y circuitos que leen el fotosensor) se ha depositado una capa de material opaco que no habilita los lóbulos laterales para llegar al sustrato, dependiendo de la tecnología estas capas opacas también pueden desempeñar el papel de "conexiones metálicas" a los fotosensores (normalmente utilizados en procesos CMOS), pero en lugar de metal opaco pueden incluir otros elementos normalmente utilizados o utilizables en la fabricación de semiconductores.
La Figura 36 muestra el patrón Yotsuba, otro patrón que se usa típicamente en los sensores de color (con píxeles blancos BX dispuestos en diagonal, y entre ellos diagonales de píxeles verdes-G, y diagonales con píxeles alternos: 2 azules-B y 2 rojos- R), las discusiones realizadas anteriormente también son aplicables a ese patrón.
Como por ejemplo en un proceso CMOS u otro proceso de fabricación de fotosensores (pasado, presente o futuro), hay un progreso hacia tecnologías más submicrónicas, los circuitos de polarización, los circuitos de lectura y las conexiones se hacen más pequeños, lo que permite diseñar densidades de píxeles más altas en un espacio cada vez más pequeño, si al mismo tiempo se trata de mejorar el uso del sustrato, con áreas de fotosensores que tengan un porcentaje cada vez mayor en comparación con el área total del sustrato (por obvias razones de coste, como por ejemplo en un proceso CMOS el coste es proporcional al área de silicio) se pueden alcanzar estructuras como las de la Figura 37, donde el área del fotosensor es muy alta en comparación con el área total del sustrato, pero se presenta el problema de que el segundo y tercer lóbulos iluminan un fotosensor de píxel adyacente, lo que deteriora la relación señal-ruido SNR (en términos de ruido entre píxeles). En realidad el problema es menos severo de lo que parece a primera vista debido a la ortogonalidad entre colores, como se muestra en la Figura 38, mostrando un diseño en donde las necesidades de la aplicación especificaron dimensiones muy pequeñas para el sensor y un número de píxeles por unidad de área muy alto, por lo que no es posible reducir aún más las dimensiones de las microlentes de píxeles o de los fotosensores, porque a medida que estas dimensiones comienzan a ser comparables a la longitud de onda de la luz incidente el haz sufre difracción y la estructura óptica no es eficiente (muy pocos fotones llegan a los fotosensores), y recuérdese que al momento de redactar esta patente varios fabricantes de semiconductores han comenzado a fabricar en volumen tecnologías CMOS con 28 nanómetros para las dimensiones de la compuerta de un transistor; obviamente fotosensores de tales tamaños pequeños serían ineficaces, porque las longitudes de onda de la luz serían sustancialmente más altas que las dimensiones del fotosensor, lo que resultaría en difracción sobre procesos que reducen la eficiencia lumínica de forma muy significativa.
La necesidad urgente de un tamaño pequeño, un empaquetamiento alto y, por lo tanto, una gran cantidad de píxeles en un espacio pequeño, ha impulsado el diseño de la pareja "fotosensor microlente de píxel" de modo que la irradiancia máxima del "lente de micropíxel filtro "cae en la primera irradiancia cero de los píxeles adyacentes (como se ilustra en las Figuras 38 y 33B), lo que da como resultado, por ejemplo, una estructura de Bayer en irradiancias en las áreas roja y verde en la parte superior de los píxeles como en la Figura 38. Sin embargo, el problema de la interferencia entre píxeles se minimiza por la ortogonalidad de los colores, la parte inferior de la Figura 38 refleja la irradiancia del color verde después de cruzar el filtro rojo, una atenuación de filtrado de 6 dB (línea continua, lóbulos de nivel intermedio) y 10 dB (línea punteada del lóbulo de nivel más bajo), obviamente no es posible aumentar indefinidamente la atenuación de los filtros, ya que estos alcanzarían espesores prohibitivos, sin embargo es fácil llegar a una situación de contrastes aceptables para la mayoría de aplicaciones.
Más crítica es la interferencia de puntos vecinos del mismo color puesto que el ruido de píxel adyacente no se filtra. En este sentido, el patrón de Bayer proporciona un mejor rendimiento, ya que solo los píxeles verdes tienen vecinos diagonales verdes, mientras que en el patrón YOTSUBa todos los puntos son vecinos del mismo color en diagonal. Este fenómeno se ilustra en la Figura 39, en este caso la relación entre el área del fotosensor y el área total del sustrato es suficientemente baja para que los dos haces de luz verde vecinos tengan la potencia de su primer lóbulo en el área del fotosensor, y el segundo y tercer lóbulos iluminan el área opaca entre fotosensores. Sin embargo, a medida que la necesidad de más píxeles en menos área lo impulsa, y las tecnologías submicrónicas lo permiten, se trata de situaciones como la de la Figura 40, que puede ser lo suficientemente buena para ciertas aplicaciones, pero los criterios de diseño han impulsado los haces de luz entre "microlentes de pixel/sensor" adyacentes superpuestos entre sí, no solo la superposición atenuada entre colores (rojo -se muestra con gran atenuación en el figurativo- y azul con verde) sino también dos haces de verde superpuestos entre ellos. Recuerde que no es posible diseñar ni el área de los sensores ni las microlentes más pequeñas, ya que para estas dimensiones por debajo de cierto umbral los fenómenos ondulatorios comienzan a prevalecer sobre la propagación rectilínea, y por debajo de estos umbrales estas estructuras ya no son eficientes, resultando en múltiples refracciones y difracciones que impiden la llegada de una cantidad apreciable de fotones a los sensores. En este punto debemos aceptar ciertas ineficiencias, que sin embargo darán como resultado sensores suficientemente adecuados para una gran mayoría de aplicaciones que requieren tamaños muy pequeños y alta densidad de píxeles por unidad de área, especialmente si minimizamos el problema con la invención que se describe más adelante. Primero, la Figura 40 muestra que no toda la irradiancia del haz principal se proyecta en el área del sensor, parte del lóbulo principal cae en el área opaca (un deterioro en la eficiencia que hay que aceptar en aras de la miniaturización), pero aún más grave es el hecho de que el segundo y tercer lóbulos de un píxel verde introducen ruido en otro píxel verde adyacente, aumentando el ruido entre píxeles, como se muestra en la Figura 40, ya que no hay filtros de atenuación cuando los píxeles vecinos son del mismo color. La Figura 40 también muestra cómo la irradiancia del píxel rojo (y también del azul, que incluso si no se dibujara sería igual) en el área verde es muy atenuada por los filtros.
La necesidad de espacio, la tendencia a la miniaturización y el aumento del número de píxeles, ha empujado a estructuras donde los haces que iluminan los píxeles adyacentes se superponen entre sí, en esa situación los fenómenos ondulatorios, que se pueden descuidar trabajando con mayores dimensiones, debe tenerse en cuenta para que los sensores sigan funcionando. La irradiancia de la Figura 27A forma los llamados círculos de Airy en los sensores (o cuadrículas en la Figura 27B en nuestro ejemplo de lentes con píxeles cuadrados, o "triacírculos" cuando se utilizan píxeles triangulares y lentes de píxeles), dado por la expresión:
Figure imgf000018_0001
donde J 1 es la función de Bessel de primer tipo y orden uno, A la longitud de onda, n el índice de refracción, a el ángulo de incidencia de los rayos de luz entre la pupila de salida y el plano de los fotosensores y p' la coordenada radial en el plano de la imagen.
El primer cero de la función aparece en pi'= 0.61A/n'sena', mostrando que los radios del círculo Airy dependen de la longitud de onda incidente, lo que establece como criterio de diseño el uso de diferentes áreas del área fotosensores para diferentes colores, o diseñando diferentes perfiles de lentes para cada color.
En el caso del patrón de Bayer, la interferencia entre los dos píxeles verdes adyacentes en una dirección diagonal es menor que la interferencia entre dos píxeles rojos adyacentes en diagonal con el patrón de Yotsuba, ya que la longitud de onda es menor y por lo tanto los círculos Airy verdes son más pequeños que los círculos Airy rojos. Aún así, si acercar los píxeles entre sí para llegar al límite de lo prudente y los dos rayos de luz verde comiencen a juntarse, se puede dar pasos (acciones) en el diseño de los fotosensores, de esa manera la Figura 41 muestra cómo en el píxel verde en el lado derecho, el espacio entre los píxeles verdes se ha ampliado al cambiar la estructura física del fotosensor (la esquina del lado izquierdo del fotosensor verde a la derecha se ha eliminado, eliminando el activo área del sustrato-, convirtiendo el cuadrado en un hexágono si se diseñan píxeles simétricos). Más eficiente es el píxel verde en el lado izquierdo de la imagen, un área triangular en el lado derecho del fotosensor verde se quita de la esquina derecha (lo que lo convierte en un área no activa del sustrato), aumentando más la distancia entre los dos fotosensores verdes adyacentes en el área de máxima penetración de luz verde de las microlentes/filtros del sensor verde adyacente, recordando que la luz que proviene de la parte superior de la estructura es difractada por las microlentes y finalmente filtrados por filtros de color antes de llegar al sensor, que pueden ser parte del mismo material de las microlentes o ser capas de color plano ubicadas debajo de las microlentes. En cualquiera de las dos situaciones descritas, la mayor irradiancia entre dos áreas verdes adyacentes de los pases pasará por el vértice donde convergen los 3 sensores de color (los 4 píxeles adyacentes) debido a dos razones, en primer lugar al alejarse la distancia del vértice aumenta y, por lo tanto, la atenuación (alejándose del centro del disco de Airy), en segundo lugar, la luz verde de una microlente de píxel verde adyacente que alcanza áreas alejadas del vértice pasa a través de filtros rojo y azul antes de alcanzar el píxel verde adyacente (en áreas en confluencias verde-rojo y azul-verde), difuminando hasta tal punto que lo hace imperceptible en el área verde adyacente, y esta es la razón por la cual truncar el sensor eliminando una zona triangular del área del sensor, creando un área "no sensible" muy amplia en la zona más cercana al sensor adyacente, sino una zona que se estrecha a medida que aumenta la distancia desde el sensor adyacente, y alcanza su área máxima no sensible en la zona de máxima penetración de la luz verde del sensor diagonal adyacente, luz que ha penetrado a través del punto de atenuación más bajo (el vértice de confluencia de los cuatro píxeles, véase Figura 41), minimizando el ruido entre píxeles.
Algunas tecnologías microelectrónicas no permiten en sus reglas de diseño líneas de fotolitografía dibujadas en ningún ángulo, solo ángulos verticales, horizontales y de 45 grados, en cuyo caso el triángulo del sensor sin área fotoactiva se dibujará como está indicado en la Figura 41 en el lado izquierdo del fotosensor verde más a la izquierda del patrón Bayer. Otras tecnologías son aún más restrictivas y solo permiten líneas verticales y horizontales, en cuyo caso el "triángulo" sin área activa se diseñaría como se muestra en la esquina del lado derecho del sensor verde en el lado derecho de la Figura 41.
Los patrones presentados en la Figura 41 parecen muy pequeños, pero conviene recordar que las longitudes de onda del espectro de luz pueden variar desde aproximadamente 400 nanómetros en la parte superior del espectro azul hasta aproximadamente 800 nanómetros en el espectro inferior rojo. Mientras que en el momento de redactar la presente solicitud de patente, la tecnología CMOS submicrónica de 28 nanómetros se estaba produciendo en gran volumen, lo que indica que con casi cualquier tecnología CMOS (u otras tecnologías pasadas, presentes y futuras) es fácil diseñar geometrías con dimensiones mucho más pequeñas que las longitudes de onda del espectro de luz visible, que están fijando las dimensiones mínimas de las microlentes y microsensores para evitar fenómenos de difracción.
La invención aquí descrita arroja grandes ventajas en la fabricación de grandes volúmenes de sensores plenópticos de muy alta calidad a precios muy bajos, además arroja grandes ventajas en cuanto a la fabricación de sensores con un número creciente de megapíxeles en aplicaciones que exigen tamaño pequeño, permitiendo alcanzar límites en los que los fenómenos ondulatorios de la luz ya no pueden ser ignorados, algunos de los cuales se describen en detalle más adelante.
Las estructuras como se describen en este documento también pueden ser parte de chips 3D, donde se ubica el lado inferior de las estructuras como se muestra en las Figuras 14, 14b, 22B y 22C, en lugar de estar soldadas en una placa de circuito impreso están localizadas en otro circuito integrado con una función específica, como el procesamiento plenóptico.
La mencionada invención puede combinarse con zums micromecánicos, en los que una (o varias) de las lentes del sándwich óptico se mueven perpendicularmente al eje axial impulsado por MEMS (Sistemas Microelectromecánicos), pudiendo así reenfocar la imagen o utilizar la estructura como zum óptico.
La mencionada invención se puede combinar con zums estáticos controlables externamente, en los que una (o varias) de las lentes del sándwich óptico cambia la(s) distancia(s) focal(es) bajo el control de un parámetro externo (un voltaje, una corriente u otro parámetro) puede volver a enfocar la imagen o usar la estructura como un zum óptico.
Los principales prototipos y los primeros productos en el mercado utilizan microlentes como se describe en la sección "estado del arte", el uso de fotosensores y microlentes como se describe aquí les da ventajas de aplicación como se describe más adelante.
Ejemplos de uso que muestran diferencias con el estado de la técnica
Los fotosensores que usan geometrías de píxeles como se describe en la Figura 41 se pueden usar para capturar imágenes de una densidad de píxeles muy alta en un espacio muy pequeño con contraste entre píxeles mejorando drásticamente el estado de la técnica, aumentando la relación señal/ruido entre píxeles adyacentes; cabe mencionar aplicaciones como cámaras de teléfonos móviles, tabletas o portátiles, aplicaciones con un conteo de megapíxeles muy alto y que crecen cada vez más, así como tamaños muy pequeños (los sensores ocupan menos de 1 cm x 1 cm). Esta invención es aplicable tanto a sensores tradicionales (sin microlentes plenópticos) como a sensores de campo de luz (con microlentes plenópticos) pero es especialmente beneficioso en este último caso, ya que el equilibrio entre el número de píxeles por microlente (para discriminar más direcciones de llegada ) y un número de microlentes cada vez más alto para aumentar el número de megapíxeles utilizables impulsa a los sensores con un número total de píxeles mucho más allá del estado actual de la técnica, permaneciendo lejos de los límites de la Ley de Moore pero atenuando en la medida de lo posible. Es posible que los fenómenos de ondas de luz conduzcan a refracciones no deseadas para dimensiones de píxeles muy pequeñas.
Si es posible, relajando las especificaciones en términos de número de megapíxeles por unidad de área, como se muestra en la Figura 40, o incluso más en la Figura 39, lo que también permite el uso de tecnologías de fotosensores de menor coste (o si se utilizan tecnologías densas aumentar el número de megapíxeles por unidad de área del sensor), se puede alcanzar un número muy alto de megapíxeles (más allá del estado de la técnica actual) con una eficiencia luminosa muy alta y un alto contraste en una cámara de tamaño normal/grande para aplicaciones donde el espacio no es un criterio de diseño importante (por ejemplo, en una DSLR, el tamaño del sensor puede ser de varios cm en cada lado). También para aplicaciones en dispositivos portátiles (teléfonos, tabletas, ordenadores portátiles, ...) se puede lograr un contraste muy alto y una calidad de imagen muy alta (con poco ruido) para aplicaciones donde la alta cantidad de megapíxeles no es el objetivo fundamental, calidad que puede ser muy alta en caso de que el área de píxeles contenga el primer círculo Airy completo (como se describe en la Figura 39), circunstancias en las cuales el 84% de la luz incidente llega a los fotosensores, solo sería posible aumentar apreciablemente la sensibilidad y el contraste de un dada la tecnología del sensor multiplicando por 4 el área de los sensores (para incluir el segundo lóbulo Airy dentro del área del sensor). Las afirmaciones realizadas en este párrafo se aplican a sensores tradicionales y cámaras digitales, pero son especialmente útiles para sensores plenópticos en cámaras, ya que el número de microlentes crece exponencialmente y por tanto el número de píxeles especificados para discriminar un gran número de direcciones.
La mencionada invención mejora el estado de la técnica en cuanto a densidad de píxeles hasta el punto de que el factor dominante que empieza a deteriorar la eficiencia del sensor/cámara es la difracción de la luz, especialmente en los colores rojos de mayor longitud de onda, de ahí los primeros en experimentar la difracción. Esto se puede utilizar en sensores normales o plenópticos como en las aplicaciones que se describen a continuación.
Las realizaciones como se establece en las Figuras 14, 14B, 15, 16, 17, 18, 22, 22B, 22C, 23 y 26 pueden resultar en sensores plenópticos en los que, con un proceso apropiado de la información de los píxeles se puede obtener información no solo de la intensidad del color en los píxeles, sino también de la dirección de llegada de los rayos de luz, dando lugar a nuevas aplicaciones en donde es posible volver a enfocar imágenes en un plano del mundo real diferente al plano enfocado durante la toma de fotografía, es posible obtener imágenes completamente enfocadas (en todos los puntos de la imagen), obtener imágenes 3D (tridimensionales) para visualizaciones 3D en pantallas de cine o en monitores con gafas activas (con imágenes estereoscópicas), en pantallas/monitores con gafas pasivas o en nuevas y futuras pantallas/pantallas 3D sin gafas. El número de píxeles y el número de posibles planos enfocados a diferentes profundidades (que aumenta linealmente con el número de píxeles por microlente) aumenta dramáticamente gracias al uso de la invención.
Los sensores plenópticos descritos se pueden utilizar en cámaras portátiles pequeñas con un número de fotosensores relativamente pequeño, incluso en cámaras profesionales con ópticas sofisticadas y una gran cantidad de píxeles. Las principales ventajas sobre otras técnicas plenópticas que integran microlentes plenópticos a nivel discreto en las lentes de la cámara o como una matriz de microlentes discretamente ubicadas en un plano frente al plano del sensor, es la capacidad de procesos de oblea utilizando técnicas de fabricación similares a los utilizados en microelectrónica también para óptica, obteniendo sensores plenópticos de muy alta calidad a muy bajos costes y con procesos de fabricación que se prestan a producciones de muy alto volumen, al tiempo que reducen las aberraciones ópticas y aumentan el número de microlentes por unidad de área y el total número de píxeles.
Uno de los inconvenientes de las tecnologías plenópticas es el número de píxeles resultante, dependiendo de los algoritmos utilizados y las posibles técnicas de superresolución e interpolación de píxeles intermedios en la imagen final (algoritmos plenópticos posprocesados) darán como resultado un número de píxeles en la imagen menor que el número de píxeles del sensor; en el extremo inferior, algunos algoritmos ofrecen un número de píxeles igual al número de microlentes plenópticos. Este hecho, unido al hecho de que discriminar las direcciones de llegada de los rayos requiere un número de píxeles por microlente plenóptico lo más alto posible, conduciría a microlentes y sensores más allá del estado de la técnica.
La integración monolítica de microlentes mediante procesos avanzados microelectrónicos y/o microópticos, que por ejemplo en técnicas CMOS han alcanzado una altísima sofisticación debido a las grandes inversiones realizadas en microprocesadores, memorias y otros circuitos lógicos, permite disponer de unos medios de diseño y producción muy sofisticados que también sean aplicables a las microlentes plenópticas, permitiendo la fabricación de matrices de microlentes plenópticas con un número de lentes más allá del estado de la técnica y con aberraciones ópticas menores que en sus implementaciones discretas equivalentes.
Para apreciar las ventajas de la invención de la presente solicitud, se discuten especificaciones para futuras tecnologías de adquisición de imágenes imposibles de implementar en la actualidad. Supóngase que se tiene la intención de fabricar una cámara de video HDTV 3D (aplicación en la que hoy en día se utilizan dos cámaras en paralelo para producir imágenes estereoscópicas, más que duplicando el coste de fabricación, aumentando drásticamente los costes y disminuyendo la calidad de la imagen durante los posprocesos) en principio hay dos posibilidades, intentar utilizar una matriz de microlentes con lentes de 1280x720 (921.600 microlentes) o lentes de 640x360 (211.260 microlentes) con un algoritmo de superresolución asociado para elevar el número final a 1280x720 píxeles. Supongamos que se usa un número razonable de 16 píxeles por microlente plenóptico (que conduce a 7 planos de enfoque), esto daría lugar a un sensor de 14.745.600 píxeles en el primer caso o 3.686.400 píxeles cuando se usa superresolución, especialmente el primer valor es extremadamente alto, hacia el límite del estado de la técnica en el momento de redactar esta patente. En caso de intentar aumentar la calidad de las imágenes en 3D y perseguir 21 planes enfocados, se necesitarían sensores de 111.5 megapíxeles sin usar superresolución o 25.6 Megapíxeles usando superresolución 2 a 1, claramente más allá del estado de arte al momento de escribir el patente, especialmente para aplicaciones de consumo de muy bajo coste.
Uno de los primeros sensores plenópticos industriales anunciados que estará disponible en volumen durante el segundo trimestre de 2014, se publica en el enlace adjunto (http://lightfield-forum.com/light-field-cameraprototypes/toshiba-lightfield-camera-module/), contiene una matriz de 500.000 microlentes de 30 micrones de diámetro (un número entre los dos valores requeridos para la cámara HDTV citada en el ejemplo anterior) y un sensor de imagen CMOS de 8 Mega-rayos (también ubicado entre los dos requisitos anteriores) en un área de 7 x 5 mm. Aunque no existen datos publicados sobre la tecnología, su implementación puede haberse realizado utilizando técnicas similares a las mostradas en las Figuras 6A, 6B u 8A, 8b . Según el mismo enlace web mencionado anteriormente, la implementación discreta de la Figura 6B tiene un número de microlentes 5 veces menor que el sensor plenóptico mencionado en nuestro ejemplo, un número relativamente bajo en comparación con la invención.
De la discusión en los párrafos anteriores se desprende que el estado de la técnica solo podría implementar una cámara HDTV gracias al uso de algoritmos de superresolución, siempre con una calidad menor que los algoritmos sin superresolución utilizando un mayor número de microlentes. Los procesos microelectrónicos descritos en la presente invención incluyendo procesos de fotolitografía, son capaces de producir un número de microlentes muy superior al máximo de 500.000 microlentes anunciado en la web anterior, además del hecho que en su documentación mencionan el "radio" de las microlentes nos hacen pensar que son lentes circulares en lugar de cuadradas, siempre menos eficientes, ya que el área entre varios círculos desperdicia algunos de los píxeles del fotosensor, y también desperdicia parte de la energía de la luz incidente.
Si el criterio de diseño fuera un sensor para una cámara para películas 3D con el fin de obtener 4000 x 3000 píxeles, podría diseñarse de nuevo con 12 Megalentes en la matriz de microlentes plenópticos (y un sensor de 192 megapíxeles asumiendo 16 píxeles por microlente, enfocado sólo en 7 planos) o 2000 x 1500 (3 megalentes) en la matriz plenóptica (sensor de 48 megapíxeles) y un factor de superresolución de 2x2; ambas especificaciones (especialmente la primera) están más allá del estado de la técnica, y solo se pueden implementar gracias al uso de técnicas microelectrónicas como las aquí descritas, tanto para las microlentes plenópticas como para los sensores con tan alta densidad de integración que presenta niveles adecuados de ruido entre píxeles. Si también se desea tener más de 7 planos enfocados para aumentar la calidad de la imagen 3D, las especificaciones superan con creces los sueños más salvajes sobre el estado del arte.
Finalmente, el uso de metamateriales con índices de refracción por debajo de 1 junto con los procesos microelectrónicos descritos en esta patente permiten la integración monolítica de un objetivo completo construido sobre el sustrato sensor; Las integraciones monolíticas como se describe en la Figura 22B (con o sin lentes plenóptico 5) darán como resultado módulos con costes de fabricación de producción considerablemente más bajos que los ofrecidos hoy en implementaciones como se describe en la Figura 11, con técnicas de producción automatizadas que minimizan al máximo la intervención humana, reducir los costes de producción y aumentar la calidad, así como la eficiencia lumínica y óptica de las cámaras; y esto sin comparaciones con las cámaras que se exponen en las Figuras 5A, 5B, 7A, 7B y 7C, soluciones que se volverán obsoletas frente al uso de sensores aquí establecidos.
Descripción de figuras
Figura 1. Descripción de posibles implementaciones de la técnica anterior para un sensor plenóptico.
Figura 2. Descripción de una segunda posible implementación del estado de la técnica para un sensor plenóptico. Figura 3. Proyección de rayos en un sensor plenóptico en caso de que el plano esté enfocado detrás del sensor. Figura 4. Proyección de rayos en un sensor plenóptico en caso de que el plano esté enfocado frente al sensor. Figura 5A. Implementación de lentes plenópticos en los que las microlentes se ubican entre el lente principal y el espacio del objeto.
Figura 5B. Lentes plenópticos de la figura 5A montadas entre el espacio del objeto (a la izquierda de la imagen) y la lente principal de una cámara (lado derecho de la imagen).
Figura 6A. Implementación de una matriz de microlentes plenópticos ubicados a una distancia muy pequeña (0.5 mm) del plano de los fotosensores.
Figura 6B. Una implementación industrial temprana de la invención de la Figura 6A (una matriz de microlentes plenópticos ubicados a una distancia muy pequeña del plano de los fotosensores).
Figura 7A. Esquema óptico de una implementación en la que las microlentes plenópticas son parte de una lente (grupo de lentes), colocadas entre la primera lente objetivo de entrada (izquierda) y las otras lentes (derecha).
Figura 7B. Esquema óptico mecánico de las piezas para la implementación de la estructura de la Figura 7A.
Figura 7C. Esquema óptico mecánico de una implementación de la estructura de la Figura 7A.
Figura 8A. Implementación donde las microlentes plenópticas se colocan sobre un sustrato de fotosensores (construido sobre un sustrato 14b transparente a una distancia muy pequeña de los fotosensores gracias al uso de separadores de resina 42 entre los fotosensores y el sustrato donde se encuentran las microlentes).
Figura 8B. Similar a la Figura 8A donde las microlentes se colocan encima de la implementación del sustrato transparente.
Figura 8C. Implementar una estructura monolítica que coloca una matriz de microlentes 10 sobre una matriz de sensores construida sobre un sustrato 100 con fotosensores 30.
Figura 9A. Estado del arte de un sustrato que utiliza tecnología de fotosensores FSI (Iluminación Frontal Lateral). Figura 9B. Estado del arte de un sustrato que utiliza tecnología de fotosensores BSI (Iluminación Posterior Lateral). Figura 10A. Construcción del estado del arte de filtros de color y microlentes sobre un sustrato con fotosensores de píxeles.
Figura 10B. Evolución de los filtros de color de construcción del estado del arte y microlentes sobre un sustrato de fotosensores de píxeles más allá de la Figura 10A.
Figura 10C. Vista superior de la Figura 10B.
Figura 11. Módulo de cámara para aplicaciones portátiles (teléfono móvil, tableta, ordenador portátil), compuesto por fotosensor (montado en un circuito impreso flexible) y un soporte mecánico para colocar las lentes en el fotosensor.
Figura 12. Módulo de cámara para aplicaciones portátiles (teléfono móvil, tableta, ordenador portátil), compuesto por fotosensor (montado sobre una placa de circuito impreso flexible) y una lente (126) de dos elementos sobre un sustrato transparente, todo envuelto en un patrón conductor opaco que protege de la radiación electromagnética y proporciona resistencia mecánica al conjunto.
Figura 13. Módulo de cámara para aplicaciones portátiles (teléfono móvil, tableta, ordenador portátil), similar a la Figura 12 pero con dos elementos de lente sobre dos sustratos transparentes y un tercer sustrato transparente para proteger la estructura.
Figura 14. Implementación de una realización de la presente solicitud que contiene un sustrato (1) con fotosensores (2) , sobre el cual se ubican filtros (6, 7 y 8) de color, microlentes (3) de píxel, un material de bajo índice (4) de refracción y las microlentes (5) plenópticas.
Figura 14b. Similar al anterior (Figura 14) en donde el material de bajo índice de refracción ha sido sustituido por aire (u otro gas) y la oblea de microlentes se mantiene a cierta distancia de la oblea de sensores gracias al uso de separadores.
Figura 15. Ejemplo de una segunda realización de la presente solicitud.
Figura 17. Ejemplo de una cuarta realización de la presente solicitud.
Figura 18. Ejemplo de una quinta forma de realización de la presente solicitud.
Figuras 19, 20, 21, 22. Detalle de una secuencia de fabricación de las microlentes plenópticas sobre las microlentes de píxel utilizando para la óptica procesos normalmente utilizados en microelectrónica, procesos que se prestan al procesamiento de obleas para fabricar volúmenes muy altos con muy alta calidad y muy bajo coste.
Figura 22b Miniaturización de tamaño gracias al uso de materiales (o metamateriales) con índices de refracción menores a 1 (capas 4, 4', 4", 4'" y 4""), lo que posibilita la implementación de un objetivo monolítico completo que incluye varias lentes (5"" 5'", 5", 5') y las microlentes (5) plenópticas.
Figura 22C. Implementación de la invención con una funcionalidad similar a la de la Figura 22B reemplazando el material con bajo índice de refracción por aire (u otro gas) y manteniendo las obleas ópticas separadas entre sí y de la oblea optoelectrónica mediante espaciadores.
Figura 23. Ejemplo de implementación similar a la figura 14 donde el área de los fotosensores es relativamente baja en comparación con el área total del sustrato de los fotosensores y por lo tanto las microlentes plenópticas (3) tienen un espesor en el sustrato superior más alto que en la implementación de la figura 14.
Figura 24. Detalle de la construcción de una microlente (compuesta por 4 sectores esféricos o asféricos) sobre un fotosensor y la porción del sustrato más cercana a dicho fotosensor.
Figura 25A. Vista superior de la Figura 24, que muestra la construcción de dos microlentes en dos fotosensores, incluyendo la parte del sustrato más cercana a dicho fotosensor.
Figura 25B. Vista superior de la Figura 24, que muestra la construcción de una matriz de microlentes de 4x4 sobre fotosensores de 4x4 y la parte del sustrato más cercana a dichos fotosensores.
Figura 26. Sección transversal de la Figura 25B, que muestra la construcción de una microlente plenóptica (5) sobre un material de bajo índice (4) de refracción, ubicada en la matriz 4x4 de microlentes (3) de píxeles, ubicada en una matriz 4x4 de filtros (8, 6, 7) de color, a su vez ubicados en una matriz 4x4 de fotosensores (2) construidos sobre un sustrato (1).
Figura 27A. Distribución de irradiancia asociada con la imagen de un objeto puntual sobre el plano de los sensores en un sistema con una pupila de salida redonda, lo que lleva a discos y anillos Airy (la parte superior de la figura muestra la distribución de irradiancia en el eje vertical frente a la distancia del eje horizontal desde el punto central de la imagen sobre el sensor; en la parte inferior de la figura, los niveles de potencia se muestran a través de la intensidad de los colores grises).
Figura 27B. Representación (en la parte superior de la figura) de un patrón de Ai ry resultante en "cuadricírculo" que utiliza microlentes de píxeles cuadrados como se describe en las Figuras 24, 25A y 25B, en comparación con lo que serían el círculo y el anillo de Airy (en la parte inferior de la figura) si la óptica tuviera forma circular.
Figura 28. Lentes de micropíxeles superpuestos entre sí en una topología en la que el porcentaje de área fotosensor sobre el área total del sustrato es alto y el grosor de las microlentes para cumplir su función impone tal superposición.
Figura 29. Sección lateral de la Figura 28 que incluye sustrato (1), fotosensores (2), filtros (6, 7, 8) de color microlentes (3) de píxeles capa de bajo índice (4) de refracción y microlente (5) plenóptico. Nótese que la capa 4 de índice de refracción bajo nunca toca los filtros (8, 6 y 7) de color.
Figura 30. Estructura en la que los filtros de color están agrupados por microlentes plenópticos, y se han distribuido entre la capa debajo de las microlentes de píxeles y sobre las microlentes plenópticas. También pueden cumplir la misión de filtrado de infrarrojos.
Figura 31. Estructura en la que los filtros de color están agrupados por microlentes plenópticos, dotando a dichas microlentes plenópticas de una segunda función, ya que las lentes están construidas con un material que además de producir el cambio requerido del índice de refracción es selectivo al paso de los colores.
Figura 32. Estructura en la que los filtros de color se agrupan en las microlentes plenópticas y las microlentes de píxel, proporcionando a todas las microlentes (plenóptico y píxel) una segunda función, ya que están construidas con un material que además de producir el cambio de índice de refracción requerido es selectivo al paso de los colores.
Figura 33A. Distribuciones de irradiancia asociadas con imágenes de dos objetos puntuales adyacentes en el espacio del objeto proyectadas sobre dos píxeles adyacentes en el plano del sensor a través de dos microlentes adyacentes, lo que da como resultado dos discos Airy no superpuestos y dos anillos Airy interferentes en un área entre píxeles.
Figura 33B. Distribuciones de irradiancia asociadas con cuatro imágenes contiguas de objetos de cuatro puntos en el espacio del objeto, proyectadas sobre cuatro píxeles adyacentes en el plano de sensores a través de cuatro microlentes adyacentes. Los píxeles se reducen a sus dimensiones mínimas aceptables para evitar las difracciones provocadas por la naturaleza ondulatoria de la luz; para aumentar la densidad de píxeles, el pico (máximo) de los discos Airy se encuentra en los ceros de irradiancia de los píxeles adyacentes.
Figura 34. Distribuciones de irradiancia sobre un patrón de Bayer en un píxel verde y un píxel rojo (en el azul sería similar) donde las microlentes, las áreas de los fotosensores y las áreas opacas entre fotosensores, se han dimensionado de manera que el lóbulo principal (el círculo de Airy) está completamente contenido dentro del área del fotosensor, y el segundo y tercer lóbulos (segundo y tercer anillos de Airy) caen sobre un área opaca sin fotosensores.
Figura 35. Corte transversal de la Figura 34, que muestra (de abajo hacia arriba) el sustrato (1) de fotosensores, el fotosensor (2), los filtros de color verde (6) y rojo (7) y las microlentes (3) de píxeles. Los filtros de color en el área del sustrato donde no se encuentran los fotosensores se encuentran sobre una capa de metal (utilizada para polarización y/o lectura) u otro material opaco. Se muestra la magnitud de la irradiancia: los dos círculos Airy verde y rojo están contenidos íntegramente en el área de los fotosensores.
Figura 36. Patrón de Yotsuba, más sensible al ruido entre píxeles que el patrón de Bayer, ya que hay más píxeles del mismo color interfiriendo diagonalmente entre sí.
Figura 37. Con el fin de aumentar la densidad de píxeles por unidad de área, se ha aceptado que el segundo y tercer lóbulos de irradiancia pueden interferir con el píxel vecino.
Figura 38. Con el fin de aumentar aún más la densidad de píxeles por unidad de área incluso se ha aceptado que los picos de Airy se ubiquen en los ceros de los píxeles vecinos, aceptando que no toda la energía del lóbulo principal será utilizada por los sensores, la interferencia entre los píxeles de diferentes colores se minimiza mediante el filtrado de colores.
Figura 39. Los más críticos en términos de píxeles de ruido entre píxeles son del mismo color (verde en un patrón de Bayer) y diagonalmente adyacentes, ya que su interferencia no se puede filtrar.
Figura 40. La distancia entre píxeles adyacentes del mismo color se fijará mediante la relación señal/ruido máxima aceptable para la aplicación, que se deteriorará drásticamente cuando el primer lóbulo Airy de un píxel comience a interferir con el primer lóbulo Airy del píxel adyacente. del mismo color (ambos verdes en un patrón de Bayer).
Figura 41. La distancia entre píxeles adyacentes del mismo color se fijará mediante la relación señal/ruido máxima aceptable para la aplicación, que se deteriorará drásticamente a medida que el primer lóbulo Airy de un píxel comience a interferir con el primer lóbulo Airy del píxel adyacente del mismo color (ambos verdes en un patrón de Bayer), que se puede minimizar mediante geometrías especiales para los fotosensores de píxeles adyacentes del mismo color, en los que los vértices de los cuadrados de los fotosensores se construyen más lejos por no construir área activa de fotosensor en las zonas cercanas al píxel vecino del mismo color.
Referencias.
1. V. G. Veselago (1968 (Russian text 1967)). Sov. Phys. Usp. 10 (4): 509-14. Bibcode: 1968SvPhU.10.509V. doi: 10.1070/PU 1968v010n04ABEH003699
2. Negative Refraction at Visible Frequencies, Henry J. Lezec et al., Science 316, 430 (2007); DOI: 10.1126/science.II39266.

Claims (13)

REIVINDICACIONES
1. Sensor plenóptico que integra monolíticamente los siguientes elementos:
un sustrato (1) con una pluralidad de fotosensores (2) construidos sobre el sustrato (1);
una pluralidad de capas (4,4', 4", 4''', 4"") de uno o más materiales de bajo índice de refracción, colocadas dichas capas (4,4', 4", 4''', 4"") de bajo índice de refracción encima de dicho sustrato (1) y dicha pluralidad de fotosensores;
una pluralidad de microlentes (5) plenópticas construidas con un material de alto índice de refracción y ubicadas sobre una de las capas (4,4', 4", 4''', 4'''') de bajo índice de refracción;
una pluralidad de lentes (5', 5", 5''', 5'''') construidas con un material de alto índice de refracción y ubicadas por encima de dichas microlentes (5) plenópticas y por encima de una de las capas de bajo índice (4,4', 4”, 4'”, 4”“) de refracción, donde la forma de las lentes se selecciona entre las siguientes: biconvexa, bicóncava, cóncava-convexa, convexacóncava, plano-cóncava, plano-convexa, estructura de menisco cóncava-plana, cóncava y estructura de menisco convexa;
caracterizado porque se van añadiendo sucesivamente capas de bajo índice (4,4', 4", 4") de refracción formando espacios de bajo índice de refracción entre diferentes microlentes (5) plenópticas y lentes (5', 5", 5'", 5"") y la pluralidad de lentes (5', 5", 5'", 5"") y capas de bajo índice (4,4', 4", 4'") de refracción se apilan alternativamente una encima de la otra.
2. Sensor plenóptico según se describe en la reivindicación 1, en donde los materiales de los diversos índices de refracción están construidos sobre un fotosensor CMOS o CCD.
3. Sensor plenóptico según se describe en cualquiera de las reivindicaciones 1 a 2, que comprende una pluralidad de microlentes (3) de píxel, en donde cada microlente (3) de píxel está ubicado encima de un fotosensor (2) y debajo de la pluralidad de capas de bajo índice (4,4', 4”, 4'”, 4”“) de refracción, en donde cada microlente (3) de píxel tiene un índice de refracción más alto que la capa de bajo índice (4,4', 4" , 4'", 4"") de refracción y enfoca un haz de luz en la parte interior del fotosensor (2).
4. Sensor plenóptico según se describe en las reivindicaciones 1 a 3, en donde se añaden filtros de color, ya sea en cada fotosensor, o en cada microlente plenóptico, o debajo de microlentes plenópticos o construidos en materiales coloreados que constituyen las microlentes plenópticas o construidos en materiales coloreados que constituyen las microlentes de píxeles, o en base a combinaciones de las anteriores.
5. Sensor plenóptico según las reivindicaciones 1 a 4, que comprende además filtros de infrarrojo cercano o infrarrojo, en donde los filtros de infrarrojos se construyen como parte de los materiales de los filtros de color.
6. Sensor plenóptico según las reivindicaciones 1 a 4, en donde se añaden filtros que impiden el paso de la luz visible, permitiendo únicamente el espectro infrarrojo.
7. Sensor plenóptico como se describe en las reivindicaciones 1 a 6, en donde el material de bajo índice de refracción referido es un metamaterial o un material con un índice de refracción inferior a uno, reduciendo así la distancia entre las lentes de alto índice de refracción y el sensor.
8. Sensor plenóptico como se describe en las reivindicaciones 1 a 7, donde las microlentes plenópticas están diseñadas formando una matriz plenóptica con perfiles gradualmente más asimétricos a medida que se colocan a mayores distancias del centro de la matriz plenóptica con el fin de mejorar la eficiencia en las áreas más remotas lejos del centro de la matriz de fotosensores.
9. Sensor plenóptico según se describe en las reivindicaciones 1 a 8, en donde las microlentes plenópticas están diseñadas formando una matriz plenóptica que tiene distancias al sustrato o a las microlentes de píxeles gradualmente más pequeñas a medida que las microlentes plenópticas se ubican a mayores distancias del centro de la matriz plenóptica, mejorando así la eficiencia en las áreas alejadas del centro de la matriz de fotosensores, donde todas las microlentes se construyen más empinadas ya que están ubicadas lejos del centro de la matriz plenóptica, donde las microlentes en el centro de la matriz son perpendiculares , o cuasiperpendiculares al eje óptico.
10. Sensor plenóptico según se describe en las reivindicaciones 1 a 9, en donde las distancias entre los fotosensores son diferentes en el centro y en la periferia de la matriz de fotosensores, cambiando gradualmente del centro a la periferia mejorando así la eficiencia en la mayoría de las áreas periféricas del conjunto de fotosensores.
11. Sensor plenóptico como se describe en las reivindicaciones 1 a 10, en donde en una o más de las capas ópticas y/o una o más de las lentes tiene una o más capas depositadas de revestimiento antirreflectante.
12. Un método de fabricación del sensor plenóptico de cualquiera de las reivindicaciones 1 a 11, que comprende construir las capas ópticas sobre el sustrato utilizando técnicas de fabricación utilizadas para el procesamiento de semiconductores: procesamiento de obleas, deposición de diversas capas de material, utilizando al menos una de las siguientes técnicas: CVD, LPCVD, PECVD, HIPCVD, obleas ópticas para apilar en sándwich y/o mediante separadores, fotolitografía, uso de material fotorresistente, ataque químico con disolventes, ataques con plasma, materiales ópticos y electrónicos dopados, tratamientos térmicos, curado por ultravioleta o térmico, circuito de empaquetamiento con una pluralidad de encapsulaciones.
13. Un arreglo que comprende:
una pluralidad de sensores plenópticos de acuerdo con las reivindicaciones 1 a 11 que incorpora además: zums micromecánicos, en una serie de lentes ópticas del sándwich; o
zum estático en una serie de lentes del sándwich óptico que cambian la(s) distancia(s) focal(es) bajo el control de un parámetro externo, siendo el parámetro externo un voltaje, una corriente u otro parámetro;
o una combinación de zums micromecánicos y zums estáticos controlables por parámetros externos.
ES13885219T 2013-05-21 2013-12-07 Integración monolítica de lentes plenópticas sobre sustratos fotosensores Active ES2872927T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ES201330727 2013-05-21
PCT/ES2013/070855 WO2014188018A1 (es) 2013-05-21 2013-12-07 Integración monolítica de lentes plenópticas sobre sustratos fotosensores

Publications (1)

Publication Number Publication Date
ES2872927T3 true ES2872927T3 (es) 2021-11-03

Family

ID=51932987

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13885219T Active ES2872927T3 (es) 2013-05-21 2013-12-07 Integración monolítica de lentes plenópticas sobre sustratos fotosensores

Country Status (6)

Country Link
US (1) US9647150B2 (es)
EP (2) EP3916786A3 (es)
JP (2) JP6480919B2 (es)
CN (2) CN110061018B (es)
ES (1) ES2872927T3 (es)
WO (1) WO2014188018A1 (es)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
CN110061018B (zh) * 2013-05-21 2023-11-28 弗托斯传感与算法公司 全光透镜在光传感器衬底上的单片集成
KR102103983B1 (ko) * 2013-07-31 2020-04-23 삼성전자주식회사 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
US10371954B2 (en) * 2014-06-10 2019-08-06 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules including hybrid arrangements of beam shaping elements, and imaging devices incorporating the same
US9768361B2 (en) * 2014-07-23 2017-09-19 Heptagon Micro Optics Pte. Ltd. Light emitter and light detector modules including vertical alignment features
CN105428376A (zh) * 2014-09-12 2016-03-23 芯视达***公司 具有可见光及紫外光探测功能的单芯片影像传感器及其探测方法
CN105570819A (zh) * 2014-10-15 2016-05-11 富泰华工业(深圳)有限公司 背光源
EP3660902A1 (en) * 2014-11-19 2020-06-03 Ams Ag Semiconductor device comprising an aperture array
CN204302525U (zh) * 2015-01-04 2015-04-29 京东方光科技有限公司 导光板、背光源及显示装置
US9714876B2 (en) * 2015-03-26 2017-07-25 Sensata Technologies, Inc. Semiconductor strain gauge
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US20170059305A1 (en) * 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US9946051B2 (en) 2015-04-22 2018-04-17 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US11698510B2 (en) 2015-04-22 2023-07-11 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US9953841B2 (en) * 2015-05-08 2018-04-24 Macronix International Co., Ltd. Semiconductor device and method of fabricating the same
US9865642B2 (en) * 2015-06-05 2018-01-09 Omnivision Technologies, Inc. RGB-IR photosensor with nonuniform buried P-well depth profile for reduced cross talk and enhanced infrared sensitivity
JP2017022200A (ja) * 2015-07-08 2017-01-26 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、および電子機器
US9979909B2 (en) * 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
EP3326203B1 (en) * 2015-07-24 2024-03-06 Artilux, Inc. Multi-wafer based light absorption apparatus and applications thereof
US10644187B2 (en) 2015-07-24 2020-05-05 Artilux, Inc. Multi-wafer based light absorption apparatus and applications thereof
WO2017023211A1 (en) 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Optical modules including customizable spacers for focal length adjustment and/or reduction of tilt, and fabrication of the optical modules
US10154193B1 (en) * 2016-03-08 2018-12-11 National Technology & Engineering Solutions Of Sandia, Llc Noncircular aperture imaging system
US10056417B2 (en) * 2016-03-10 2018-08-21 Visera Technologies Company Limited Image-sensor structures
CN107290099B (zh) 2016-04-11 2021-06-08 森萨塔科技公司 压力传感器、用于压力传感器的插塞件和制造插塞件的方法
EP3236226B1 (en) 2016-04-20 2019-07-24 Sensata Technologies, Inc. Method of manufacturing a pressure sensor
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
AU2017296073B2 (en) * 2016-07-15 2019-02-14 Light Field Lab, Inc. Energy propagation and transverse Anderson localization with two-dimensional, light field and holographic relays
CN109643513B (zh) * 2016-08-31 2021-06-04 国立研究开发法人产业技术综合研究所 显示装置
EP3293959A1 (en) * 2016-09-07 2018-03-14 Thomson Licensing Plenoptic imaging device equipped with an enhanced optical system
WO2018077870A1 (en) * 2016-10-25 2018-05-03 Trinamix Gmbh Nfrared optical detector with integrated filter
JP6912568B2 (ja) * 2016-11-16 2021-08-04 シグニファイ ホールディング ビー ヴィSignify Holding B.V. 可視光通信のための受信器、方法、端末装置、光透過構造体及びシステム
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CN106821361A (zh) * 2017-03-31 2017-06-13 江南大学 一种使简易光电心率传感器测量结果精准化的聚光辅助装置
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US20180301484A1 (en) * 2017-04-17 2018-10-18 Semiconductor Components Industries, Llc Image sensors with high dynamic range and autofocusing hexagonal pixels
US10545064B2 (en) 2017-05-04 2020-01-28 Sensata Technologies, Inc. Integrated pressure and temperature sensor
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
EP3635474A4 (en) * 2017-06-02 2021-01-13 Applied Materials, Inc. NANOSTRUCTURED FLAT LENSES FOR DISPLAY TECHNOLOGIES
US10323998B2 (en) 2017-06-30 2019-06-18 Sensata Technologies, Inc. Fluid pressure sensor
US10724907B2 (en) 2017-07-12 2020-07-28 Sensata Technologies, Inc. Pressure sensor element with glass barrier material configured for increased capacitive response
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10557770B2 (en) 2017-09-14 2020-02-11 Sensata Technologies, Inc. Pressure sensor with improved strain gauge
CN107742631B (zh) * 2017-10-26 2020-02-14 京东方科技集团股份有限公司 深度摄像器件及制造方法、显示面板及制造方法、装置
US11692813B2 (en) * 2017-12-27 2023-07-04 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules and methods for operating the same
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10979699B2 (en) * 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
CN108279496B (zh) * 2018-02-09 2021-02-19 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
WO2019174756A1 (en) 2018-03-15 2019-09-19 Photonic Sensors & Algorithms, S.L. Plenoptic camera for mobile devices
CN108632506A (zh) * 2018-03-21 2018-10-09 中国科学院上海微***与信息技术研究所 一种微透镜阵列成像***
US11971485B2 (en) 2018-06-19 2024-04-30 Analog Devices, Inc. Metasurface array for lidar systems
KR102650669B1 (ko) * 2018-07-19 2024-03-26 삼성디스플레이 주식회사 표시 장치
US11114483B2 (en) * 2018-08-10 2021-09-07 Omnivision Technologies, Inc. Cavityless chip-scale image-sensor package
DK3620829T3 (da) * 2018-09-07 2022-02-14 Sick Ag Lysgitter
JP7237506B2 (ja) * 2018-10-02 2023-03-13 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN111325072B (zh) * 2018-12-17 2023-05-09 上海箩箕技术有限公司 光学传感器模组及其形成方法
WO2020148860A1 (ja) * 2019-01-17 2020-07-23 オリンパス株式会社 内視鏡用撮像装置の製造方法、内視鏡用撮像装置、および、内視鏡
JP2020115515A (ja) * 2019-01-17 2020-07-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
EP3980830A4 (en) 2019-06-06 2023-06-07 Applied Materials, Inc. IMAGING SYSTEM AND METHOD FOR CREATING COMPOSITE IMAGES
US11181667B2 (en) 2019-07-15 2021-11-23 Facebook Technologies, Llc Optical module comprising a polymer layer with a lens portion and an extension portion and spacer stack
EP4004608A4 (en) * 2019-07-26 2023-08-30 Metalenz, Inc. APERTURE META-SURFACE AND HYBRID REFRACTIVE META-SURFACE IMAGING SYSTEMS
CN112490384A (zh) * 2019-09-11 2021-03-12 星宸光电股份有限公司 封装结构
DE102020202784A1 (de) * 2019-09-18 2021-03-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Herstellen eines Kameramoduls
DE20873250T1 (de) * 2019-10-01 2023-11-02 Jade Bird Display (shanghai) Limited Systeme und herstellungsverfahren für anzeigetafeln mit integrierter mikrolinsenanordnung
CN111106137A (zh) * 2019-11-22 2020-05-05 深圳阜时科技有限公司 光学式集成装置
CN112953633A (zh) * 2019-12-11 2021-06-11 Oppo广东移动通信有限公司 电子设备的通信装置及电子设备
WO2021124144A1 (en) * 2019-12-17 2021-06-24 Johnson & Johnson Surgical Vision, Inc. Fluid level monitoring system for phacoemulsification surgical applications
US20210187503A1 (en) * 2019-12-19 2021-06-24 Personal Genomics Taiwan, Inc. Apparatus and system for single-molecule nucleic acids detection
KR20210081767A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
US11843221B2 (en) * 2020-03-30 2023-12-12 Namuga, Co., Ltd. Light source module for emitting high density beam and method for controlling the same
EP4162538A1 (en) 2020-06-03 2023-04-12 Jade Bird Display (Shanghai) Limited Systems and methods for multi-color led pixel unit with horizontal light emission
KR20220031161A (ko) * 2020-09-04 2022-03-11 삼성전자주식회사 반도체 패키지
US20220086321A1 (en) * 2020-09-15 2022-03-17 Micron Technology, Inc. Reduced diffraction micro lens imaging
US11543654B2 (en) * 2020-09-16 2023-01-03 Aac Optics Solutions Pte. Ltd. Lens module and system for producing image having lens module
TWI761197B (zh) * 2021-04-29 2022-04-11 晶盛材料股份有限公司 紫外光陣列模組
CN114142921B (zh) * 2021-12-09 2023-02-28 中山水木光华电子信息科技有限公司 一种基于不同中心波长光纤编码的全光存储***及方法
US11832001B2 (en) * 2021-12-20 2023-11-28 Visera Technologies Company Limited Image processing method and image processing system
US20230238406A1 (en) * 2022-01-27 2023-07-27 The Hong Kong Polytechnic University Bio-Inspired Imaging Device with In-Sensor Visual Adaptation
US11927769B2 (en) 2022-03-31 2024-03-12 Metalenz, Inc. Polarization sorting metasurface microlens array device
WO2024081258A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Plenoptic sensor devices, systems, and methods

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2742185B2 (ja) * 1992-10-01 1998-04-22 松下電子工業株式会社 固体撮像装置
JPH07240361A (ja) * 1994-03-01 1995-09-12 Fujitsu Ltd レジストパターン形成方法
US5910940A (en) * 1996-10-08 1999-06-08 Polaroid Corporation Storage medium having a layer of micro-optical lenses each lens generating an evanescent field
US6490094B2 (en) * 2000-03-17 2002-12-03 Zograph, Llc High acuity lens system
JP2004200360A (ja) * 2002-12-18 2004-07-15 Toppan Printing Co Ltd 固体撮像素子及びその製造方法
JP2004126511A (ja) * 2002-08-01 2004-04-22 Olympus Corp 光学要素ユニットおよび光学系
JP4397819B2 (ja) 2002-09-17 2010-01-13 アンテルヨン、ベスローテン、フェンノートシャップ カメラ・デバイス、ならびに、カメラ・デバイスおよびウェハスケールパッケージの製造方法
US6737719B1 (en) * 2002-10-25 2004-05-18 Omnivision International Holding Ltd Image sensor having combination color filter and concave-shaped micro-lenses
JP2004336228A (ja) 2003-05-02 2004-11-25 Alps Electric Co Ltd レンズアレイ装置
JP4419658B2 (ja) * 2004-04-16 2010-02-24 ソニー株式会社 固体撮像装置
JP2005332471A (ja) 2004-05-19 2005-12-02 Hitachi Ltd ディスクアレイ装置
US6980379B1 (en) * 2004-07-19 2005-12-27 Microalign Technologies, Inc. Flat wide-angle objective
US7106529B2 (en) * 2004-08-24 2006-09-12 Microalign Technologies, Inc. Flat wide-angle lens system
EP1624493A3 (fr) * 2004-07-23 2006-09-13 Stmicroelectronics Sa Procédé de fabrication de module optique pour boîtier semiconducteur à capteur optique
JP2006066596A (ja) * 2004-08-26 2006-03-09 Fuji Photo Film Co Ltd 撮像素子、着色マイクロレンズアレイの製造方法、および画像撮影装置
EP2398223B1 (en) 2004-10-01 2014-03-19 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangement and method therefor
KR100693927B1 (ko) * 2005-02-03 2007-03-12 삼성전자주식회사 마이크로 렌즈 제조방법, 마이크로 렌즈 어레이 제조방법및 이미지 센서 제조방법
KR100870820B1 (ko) * 2005-12-29 2008-11-27 매그나칩 반도체 유한회사 이미지 센서 및 그의 제조방법
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
JP5934459B2 (ja) * 2006-04-17 2016-06-15 オムニビジョン テクノロジーズ, インコーポレイテッド アレイ化撮像システムおよび関連方法
US7408718B2 (en) * 2006-09-07 2008-08-05 Avago Technologies General Pte Ltd Lens array imaging with cross-talk inhibiting optical stop structure
JP4252098B2 (ja) * 2006-09-20 2009-04-08 三洋電機株式会社 光検出装置
KR100821480B1 (ko) * 2006-12-22 2008-04-11 동부일렉트로닉스 주식회사 이미지 센서 및 그의 제조방법
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
US8559756B2 (en) 2007-08-06 2013-10-15 Adobe Systems Incorporated Radiance processing by demultiplexing in the frequency domain
WO2009020031A1 (en) * 2007-08-06 2009-02-12 Canon Kabushiki Kaisha Image sensing apparatus
TWI455326B (zh) * 2007-09-13 2014-10-01 Omnivision Tech Inc 透射式偵測器、使用該偵測器之系統及其方法
DE102007045525A1 (de) * 2007-09-24 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US7829966B2 (en) 2007-11-23 2010-11-09 Visera Technologies Company Limited Electronic assembly for image sensor device
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US20110122467A1 (en) * 2008-07-21 2011-05-26 Gerald Futterer Light modulating device
JP2010161180A (ja) * 2009-01-07 2010-07-22 Sony Corp 固体撮像装置及びその製造方法、カメラ
US8189089B1 (en) * 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
JP2010181485A (ja) * 2009-02-03 2010-08-19 Nikon Corp 撮像装置および撮像素子
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8728719B2 (en) * 2009-08-19 2014-05-20 Lawrence Livermore National Security, Llc Diffractive laser beam homogenizer including a photo-active material and method of fabricating the same
US8314469B2 (en) * 2009-09-04 2012-11-20 United Microelectronics Corp. Image sensor structure with different pitches or shapes of microlenses
JP2011084060A (ja) * 2009-09-17 2011-04-28 Fujifilm Corp レンズアレイのマスターモデル及びその製造方法
US8300294B2 (en) * 2009-09-18 2012-10-30 Toyota Motor Engineering & Manufacturing North America, Inc. Planar gradient index optical metamaterials
DE102009049387B4 (de) 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
US8502909B2 (en) 2009-10-19 2013-08-06 Pixar Super light-field lens
US20110292271A1 (en) 2010-05-27 2011-12-01 Tzy-Ying Lin Camera module and fabrication method thereof
JP2012019113A (ja) * 2010-07-08 2012-01-26 Panasonic Corp 固体撮像装置
US8324701B2 (en) 2010-07-16 2012-12-04 Visera Technologies Company Limited Image sensors
JP2012038768A (ja) * 2010-08-03 2012-02-23 Fujifilm Corp 固体撮像素子及び撮像装置
JP5421207B2 (ja) 2010-08-25 2014-02-19 株式会社東芝 固体撮像装置
JP5741012B2 (ja) * 2011-01-26 2015-07-01 ソニー株式会社 固体撮像装置の製造方法
JP5214754B2 (ja) 2011-02-25 2013-06-19 株式会社東芝 固体撮像装置および携帯情報端末
JP5623313B2 (ja) 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
US9197798B2 (en) * 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
JP2013012518A (ja) * 2011-06-28 2013-01-17 Toppan Printing Co Ltd 固体撮像素子
WO2013003276A1 (en) * 2011-06-28 2013-01-03 Pelican Imaging Corporation Optical arrangements for use with an array camera
US9184199B2 (en) * 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
US8593564B2 (en) * 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor
CN104303493A (zh) * 2012-05-09 2015-01-21 莱特洛公司 用于改进的光场捕获和操作的光学***的优化
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
CN110061018B (zh) 2013-05-21 2023-11-28 弗托斯传感与算法公司 全光透镜在光传感器衬底上的单片集成

Also Published As

Publication number Publication date
EP3916786A2 (en) 2021-12-01
EP3007228B1 (en) 2021-03-17
JP2016526294A (ja) 2016-09-01
US9647150B2 (en) 2017-05-09
CN110061018B (zh) 2023-11-28
JP2019110313A (ja) 2019-07-04
WO2014188018A1 (es) 2014-11-27
CN105900238B (zh) 2019-06-11
EP3916786A3 (en) 2022-03-09
US20160133762A1 (en) 2016-05-12
JP6480919B2 (ja) 2019-03-13
JP7007309B2 (ja) 2022-01-24
EP3007228A4 (en) 2016-07-27
CN110061018A (zh) 2019-07-26
CN105900238A (zh) 2016-08-24
EP3007228A1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
ES2872927T3 (es) Integración monolítica de lentes plenópticas sobre sustratos fotosensores
US11978752B2 (en) Aperture-metasurface and hybrid refractive-metasurface imaging systems
WO2017090437A1 (ja) カメラモジュールおよび電子機器
ES2466820T3 (es) Dispositivo de procesamiento de imágenes
CN101379417B (zh) 用于图像传感器的集成透镜***及其制造方法
US9880391B2 (en) Lens array modules and wafer-level techniques for fabricating the same
JP5507585B2 (ja) 多数のマイクロ光電子デバイスを製造する方法およびマイクロ光電子デバイス
US20170168199A1 (en) Method of Producing a Focal Plane Array for a Multi-Aperture Camera Core
JP2018525684A (ja) 積層レンズ構造体およびその製造方法、並びに電子機器
TW201347524A (zh) 微型相機模組
JP2017032797A (ja) 積層レンズ構造体およびその製造方法、並びに電子機器
TWI393932B (zh) 影像擷取鏡頭
JP2014187160A (ja) 固体撮像装置および携帯情報端末
JP2017032800A (ja) レンズ付き基板、積層レンズ構造体及びその製造方法、並びに、電子機器
JP2006196503A (ja) 固体撮像素子及びその製造方法
KR20090052076A (ko) 씨모스 이미지 센서의 제조방법