CN113884184B - 使用光学滤波器子阵列的光谱传感器*** - Google Patents

使用光学滤波器子阵列的光谱传感器*** Download PDF

Info

Publication number
CN113884184B
CN113884184B CN202110724930.1A CN202110724930A CN113884184B CN 113884184 B CN113884184 B CN 113884184B CN 202110724930 A CN202110724930 A CN 202110724930A CN 113884184 B CN113884184 B CN 113884184B
Authority
CN
China
Prior art keywords
optical
filters
filter
scene
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110724930.1A
Other languages
English (en)
Other versions
CN113884184A (zh
Inventor
J·博勒曼斯
R·利滕
W·范德坦普尔
M·德博克
J·拉奇科夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spectra Corp
Original Assignee
Spectra Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/340,449 external-priority patent/US11696043B2/en
Application filed by Spectra Corp filed Critical Spectra Corp
Priority to CN202311599189.6A priority Critical patent/CN117641139A/zh
Publication of CN113884184A publication Critical patent/CN113884184A/zh
Application granted granted Critical
Publication of CN113884184B publication Critical patent/CN113884184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/281—Interference filters designed for the infrared light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0262—Constructional arrangements for removing stray light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/283—Interference filters designed for the ultraviolet
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/285—Interference filters comprising deposited thin solid films
    • G02B5/288—Interference filters comprising deposited thin solid films comprising at least one thin film resonant cavity, e.g. in bandpass filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685—Process for coatings or optical elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1226—Interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/123—Optical louvre elements, e.g. for directional light blocking

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

一种光学传感器***包括：多组光学传感器，其在衬底上实施；以及多组光学滤波器，其中所述多组光学滤波器中的一组光学滤波器与一组光学传感器相关联，并且所述多组光学滤波器中的一组光学滤波器包括以图案布置的多个光学滤波器，其中所述多个光学滤波器中的每个光学滤波器配置成使预定光谱范围的不同波长范围中的光通过。每组光学滤波器进行操作以提供与预定光谱范围对应的带通响应，并且一组光学滤波器位于相关联的一组光学传感器的顶上，其中所述多组光学滤波器中的至少两组光学滤波器配置成提供不同的带通响应。光学元件与对应的一组光学传感器相关联，其中每个抑制滤波器配置成使预定光谱范围中的光波长通过。

Description

使用光学滤波器子阵列的光谱传感器***
相关专利的交叉引用
不适用。
技术领域
本发明总体上涉及数字成像，并且更具体地涉及使用具有基于干涉的滤波器的光谱传感器来补偿光源畸变。
背景技术
数字成像已对照相机技术的质量和可用性产生了深远的影响。与此同时，照相机消费者的期望值已变得越来越高，尤其是对于嵌入现代智能手机的照相机。例如，自动白平衡已通过补偿各种光源对照相机输出的畸变影响而改善了照相机成像的质量。
光谱装置通过检测和/或获取与多个波长范围相关的入射光来工作，可用于提供光谱信息以帮助自动白平衡。基于干涉的滤波器(诸如法布里-珀罗(Fabry-Perot)滤波器)在与光谱传感器一起使用时，已经证明能够提供可用于照相机***以改善自动白平衡的信息。
附图说明
图1提供了根据本发明的上覆有滤波器的示例性光学传感器的自上而下的图示。
图2提供了根据本发明的用于图像传感器的具有不同空腔厚度的相邻的法布里-珀罗滤波器的侧图示。
图3提供了根据本发明的一对Bragg堆叠反射镜的侧图示。
图4提供了根据本发明的被组合以过滤红外和可见光谱中的波长的干涉滤波器与近红外(NIR)滤波器的图示。
图5提供了根据本发明的用于光谱传感器的滤波器马赛克图案的自上而下的图示。
图6提供了根据本发明的用于光谱传感器的滤波器马赛克图案的另一自上而下的图示。
图7提供了根据本发明的用于光谱传感器的滤波器马赛克图案的另一自上而下的图示。
图8提供了根据本发明的具有标准RGB马赛克图案的图像传感器的自上而下的图示，其中传感器中的一个被光谱滤波器元件替换。
图9提供了根据本发明的由光纤板上覆的相邻的法布里-珀罗滤波器的横截面。
图10提供了根据本发明的光管上方的相邻的法布里-珀罗滤波器的横截面。
图11提供了根据本发明的具有将相邻的滤波器与串扰隔离的遮光罩的相邻的法布里-珀罗滤波器的横截面。
图12提供了根据本发明的具有用于将相邻的滤波器与串扰隔离的沟槽的相邻的法布里-珀罗滤波器的横截面。
图13提供了根据本发明的具有屏蔽栅的滤波器阵列的自上而下的图示。
图14提供了根据本发明的在相邻的光学传感器之间具有隔离空间的相邻的法布里-珀罗滤波器的横截面。
图15提供了根据本发明的滤波器结构的图示，所述滤波器结构在相邻的滤波器马赛克中镜像类似的滤波器带。
图16提供了根据本发明的CIE XYZ标准观察者的颜色匹配函数的图示。
图17提供了根据本发明的呈拜耳(Bayer)图案的CIE/XYZ马赛克结构的自上而下的图示。
图18A提供了根据本发明的由光学角度元件上覆的相邻法布里-珀罗滤波器的横截面。
图18B示出了根据本发明的单个光学器件位于滤波器阵列的子阵列之上。
图18C示出了根据本发明的3个光学器件位于较大滤波器阵列的不同子阵列之上。
图18D提供了根据本发明的具有相关联的光学器件的干涉滤波器子阵列的横截面。
图19A示出了根据本发明的结合高分辨率成像器和低分辨率成像器的成像***。
图19B示出了根据本发明的结合高分辨率成像器和两个低分辨率成像器的成像***。
图20提供了根据本发明的传感器上具有相邻的滤波器马赛克的像素阵列的自上而下的图示。
图21提供了根据本发明的结合高分辨率成像器和低分辨率成像器的成像***的框图。
图22是示出根据本发明的用于校正光畸变的示例性方法的流程图。
图23是示出根据本发明的用于校正光畸变的另一示例性方法的流程图。
图24提供了根据本发明的使用光学传感器/探测器的光学传感器***的自上而下的视图，所述光学传感器/探测器包含纳米半导体材料。
图25提供了根据本发明的由光学角度元件上覆的相邻的法布里-珀罗滤波器的横截面。
图26示出了具有一个或多个光源的场景。
图27A是示出根据本发明的用于从场景的数字图像收集光源信息的示例性方法的流程图。
图27B是示出根据本发明的用于从场景的数字图像收集光源信息的示例性方法的另一流程图。
图28是示出根据本发明的用于补偿由数字成像***捕获的场景中的环境光闪烁的示例性方法的流程图。
图29A示出了具有相邻的中心波长的两个光谱传感器(像素)的单独光谱响应。
图29B示出了所述两个光谱传感器的组合光谱响应。
图29C示出了根据本发明的各自与光学传感器相关联的一对相邻的干涉滤波器。
图29D示出了根据本发明的与单个光学传感器相关联的一对相邻的干涉滤波器。
图29E示出了其中一个置于另一个的顶部的一对干涉滤波器，所述一对干涉滤波器与单个光学传感器相关联。
具体实施方式
在各种实施例中，光谱图像传感器与诸如基于干涉的干涉滤波器之类的光谱滤波器组合以提供关于场景和/或光源的光谱信息。在一些实施例中，可以实行场景的光谱成像，并且在其他实施例中，场景的光谱成像可以与单个成像器或者在收集图像之后组合的单独成像器中的高分辨率成像组合。在又一些实施例中，可以使用与光谱图像传感器(诸如基于CMOS的传感器)集成的法布里-珀罗滤波器来实施基于干涉的滤波器，以提供小尺度光谱图像传感器***。在一些实施例中，小尺度光谱成像***可以适于在需要白平衡校正的应用中使用。应用的示例包括但不限于智能移动电话、高分辨率照相机、摄像机、安全照相机、校准***、检查***和某些工业应用。
补偿光源畸变(有时称为“白点平衡)是照相机渲染图像的基本部分。在没有白点平衡的条件下，图像传感器将无法准确地表示所记录场景或对象的预期色度。各种光源使图像传感器视野中的对象的色度发生畸变。例如，白炽灯、荧光灯和发光二极管(LED)各自使图像传感器“看到”的光发生畸变。其他光源(诸如钠路灯)会使图像传感器的输出发生畸变，该畸变足以使大多数颜色几乎无法区分。
白平衡补偿为稳步发展提供了动力，最终实现了自动白平衡，这使摄影师补偿图像传感器本身输出的光源造成的颜色缺陷。在一个示例中，RGB光学传感器(一种含有在可见光光谱的红、绿和蓝部分中具有峰值灵敏度的三种类型的像素的半导体装置)已用于为自动白平衡提供参考。RGB传感器的红绿和蓝色波长的组合在观察者看来是“白色”的，因此在含有一个或多个基本白色对象的场景中，RGB传感器可以组合红绿和蓝色波长以在观察者看来是白色的。因此，在含有此类基本白色对象的场景中，RGB传感器可以使用白色对象作为参考点来调整场景中的任何其他颜色的处理。AWB已经从结合照相机上的RGB传感器的输出发展到用作白平衡的参考，以包括多通道光谱传感器。这些多通道光谱传感器的精度随着更多通道分布在可见光光谱上而改善，然而，在每种情况下，具有多通道光谱传感器的成像器仅限于用于给定场景的AWB的单个平均参考光谱。因此，在其中存在多个光源或其中场景由单个对象控制的情况下，图像传感器仅可以补偿特定场景的“平均”照明。
图1提供了光谱传感器的自上而下的图示，该光谱传感器具有以3×3图案提供各自跨及成像器阵列的9个光谱带的滤波器。在该示例中，具有不同中心波长的法布里-珀罗滤波器跨及光谱传感器图案化为跨及阵列重复的马赛克结构。在其他实施例中，根据分辨率和/或制造要求所规定，3×3滤波器图案可以用其他图案(诸如2×2图案、4×4滤波器图案、5×5滤波器图案或3×4图案等)替换。在一个示例中，3×3图案的滤波器提供9种不同的空腔厚度，然后跨及示例性传感器阵列重复该9种不同的空腔厚度。在图1的示例中，9种滤波器厚度(图示为滤波器20A至20H等)中的每一个跨及传感器10上的12×9光学像素阵列重复了12次。
在基于图1的传感器***中，用于传感器10的光学像素设置在集成电路上，该集成电路具有在光学像素的顶上制造的多组干涉滤波器。在一个示例中，一组九(9)个干涉滤波器20A至20I以马赛克图案布置，每个干涉滤波器配置为使不同波长范围的光通过。在一个示例中，每组干涉滤波器与至少一组光学传感器对准，使得每组光学传感器能够感测具有9个通道的局部化带通响应。然后，该组光学传感器和滤波器布置跨及阵列重复，使得光学传感器阵列能够提供跨及图像传感器的不同区域的空间分离的多个测量光谱。如本文所用，单个光学传感器对应于像素(像素＝最小可寻址元件)，其中，像素是光电二极管。因此，“光学传感器”、“光学像素”和“像素”可互换使用。
在一个示例中，图1的图像传感器能够为图像传感器的不同区域提供光畸变信息，从而允许白平衡校正扩展到那些区域中的每一个。在实施方式的一个示例中，用于对场景进行成像的传感器***可以包括集成电路上的多个光学传感器，以及多组干涉滤波器，诸如图1的滤波器元件20A至20I。在一个示例中，该多组干涉滤波器中的每组干涉滤波器可以包括以图案布置的多个干涉滤波器，其中多个滤波器中的每个干涉滤波器配置为使不同波长范围的光通过。在一个示例中，多个干涉滤波器中的每组干涉滤波器与场景的空间区域相关联，并且因此可以为场景的每个空间区域确定光谱响应。
在参考图1的实施方式的一个示例中，多组干涉滤波器中的一组干涉滤波器可以在空间上与该多组干涉滤波器中的其他干涉滤波器分离，并且在另一示例中，该多组干涉滤波器中的每组干涉滤波器可以在传感器10的多个光学传感器之间随机间隔开。
图2提供了用于图像传感器(诸如(例如)图1的图像传感器)的具有不同的空腔厚度的相邻的法布里-珀罗滤波器堆叠(滤波器)的横截面。如图所示，每个法布里-珀罗滤波器的中心波长在第一阶由其上下反射镜之间的空腔厚度确定。在该示例中，相邻的滤波器20A至20F提供6个通道的传感器输出。在滤波器20A至20F与传感器10之间，提供抑制滤波器30A至30C以阻挡相关联的干涉滤波器的期望波长之外的杂散光。在某些情况下，法布里-珀罗滤波器可能会使波长(诸如谐波波长或(Bragg)反射镜的有效范围之外的波长)通过，这将对滤波器的期望波长响应产生负面影响。因此，抑制滤波器可以充当带通滤波器，从而抑制带通范围之外的波长。在一个示例中，单个抑制滤波器可以为两个或更多个法布里-珀罗滤波器提供足够的带通抑制。在另一示例中，抑制滤波器可设置在相关联的法布里-珀罗滤波器上方以在期望波长范围之外的光可通过法布里-珀罗滤波器之前抑制该光。在又一示例中，诸如法布里-珀罗滤波器之类的附加干涉滤波器可设置在一个或多个抑制滤波器与传感器10之间。在该示例中，滤波器20A至20F上覆在一个或多个抑制滤波器上，附加干涉滤波器位于该一个或多个抑制滤波器之下。
在一个示例中，抑制滤波器可以包含有机材料并且可以使用旋涂工艺来应用。在另一示例中，抑制滤波器可以包含例如由光刻工艺应用的等离子体干涉滤波器。在另一示例中，抑制滤波器可以是基于胶体或量子点的滤波器。抑制滤波器的其他示例包括有机材料和/或等离子体滤波器的组合。并且在又一示例中，抑制滤波器可以包含单独或与有机材料和/或等离子体滤波器组合的一个或多个干涉滤波器。在一个示例中，多个抑制滤波器可以布置在滤波器元件的马赛克之下的图案中，其中该多个抑制滤波器中的每个抑制滤波器配置为基本上抑制预定波长的光。
在实施方式的具体实例中，一组干涉滤波器以还包括多个有机滤波器的图案布置，并且在另一示例中，该图案包括多个非干涉滤波器，其中非干涉滤波器选自由有机滤波器、等离子体滤波器或合适的替代品组成的群组。
在相关示例中，抑制滤波器可以包含Bragg堆叠反射镜。在图3中所示的示例中，Bragg堆叠反射镜充当滤波器20A和20B的抑制滤波器，同时充当图3中的法布里-珀罗滤波器20C和20D的Bragg堆叠反射镜。在又一示例中，一个或多个抑制滤波器可以包含例如使用薄膜沉积工艺和/或光刻工艺沉积和图案化的多个薄介电材料层。因此，图案化工艺可以由光刻处理(用于限定滤波器空间位置)结合蚀刻或剥离技术(用于局部地移除沉积的滤波器层)组成。特定的蚀刻停止层可以沉积在滤波器堆叠中以控制蚀刻工艺，使得局部地移除滤波器堆叠中的光学层。在一个示例中，可使用不影响光学性能的蚀刻停止层来保护滤波器20A及20B，以免在移除来自其他位置的滤波器材料时被蚀刻掉。在定义带通滤波器和抑制滤波器时，可以使用蚀刻停止件。
在实施方式的具体实例中，多个抑制滤波器中的一个或多个抑制滤波器是另一干涉滤波器。在该示例中，该另一干涉滤波器是该多个干涉滤波器中的一个。在另一示例中，该另一干涉滤波器同时配置为使特定波长范围的光通过，并且为另一光学传感器和干涉滤波器对抑制光。
图4提供了用于过滤可见光并且与近红外(NIR)滤波器组合以过滤红外光谱中波长的干涉滤波器的图示。在一个示例中，一个或多个NIR滤波器可由有机材料构成，而干涉滤波器包含法布里-珀罗滤波器，使得能够跨及可见光及红外光谱进行光波长的测量。在图4的示例中，滤波器50A至50C可以是法布里-珀罗滤波器、有机滤波器或任何其他可接受的替代品中的任意者。
在一个示例中，基于非CMOS的光学传感器可用于将光谱传感器的光谱范围扩展到红外波长。例如，基于胶体或量子点的光学传感器可用于收集红外光，例如在短波红外范围内。在基于量子点的光学传感器的示例中，可以通过调谐量子点大小来优化光学传感器，使得选择预定波长，使得光学传感器提供红外滤波通道。在另一示例中，传感器***可以包括多组光学传感器，其中每组光学传感器布置成包括至少一个光学传感器的图案，该至少一个光学传感器的大小分别大于该组光学传感器中的至少一个其他光学传感器。
图5提供了用于包括大的滤波器元件的光谱传感器的滤波器马赛克图案的自上而下的图示。在该示例中，6个滤波器马赛克包括标准滤波器元件20B、20C、20D和20E，其中单个滤波器元件22占据4个标准滤波器元件的空间。在一个示例中，在一些滤波器响应要求规定增加光捕获的情况下，诸如当波长范围需要具有降低的透射特性的滤波器时，较大的滤波器元件22可以提供6通道的滤波器响应。在具体示例中，一组干涉滤波器可以以还包括干涉滤波器的图案布置，该干涉滤波器的大小分别大于该组干涉滤波器中的至少一个其他干涉滤波器。
图6提供了用于包括形成较大长方形形状的滤波器元件的光谱传感器的另一滤波器马赛克图案的自上而下的图示。在该示例中，大滤波器元件24A和大滤波器元件24B包括在具有16个标准滤波器元件(诸如滤波器元件20A至20D)的滤波器马赛克中。在一个示例中，在一些滤波器响应要求规定增加光捕获的情况下，诸如参考图5，包括更大的滤波器元件可以提供19通道的滤波器响应。在一个示例中，光谱滤波器马赛克可以包括干涉滤波器，该干涉滤波器的大小分别大于该组干涉滤波器中的至少一个其他干涉滤波器和/或呈细长的矩形形状。
图7提供了用于光谱传感器的滤波器马赛克图案的自上而下的图示，其中滤波器元件在中央滤波器元件周围形成逐渐变小的环。在该示例中，较小的滤波器元件26D被较大的滤波器元件26C包围，该较大的滤波器元件被甚至更大的滤波器元件26A包围，所有这些都被大的滤波器元件26B包围。在一个示例中，在一些滤波器响应要求规定增加光捕获的情况下，诸如参考图5，逐渐变大的滤波器元件可以提供4通道的滤波器响应。在示例性光谱滤波器马赛克中，一个或多个干涉滤波器的大小分别大于该组干涉滤波器中的至少一个其他干涉滤波器，和/或适于围绕该组干涉滤波器中的其他干涉滤波器形成环。
图8提供了具有标准RGB马赛克图案的图像传感器的自上而下的图示，其中传感器中的一个被光谱滤波器元件替换。在该示例中，像素传感器20A、20B和20C形成包括滤波器32A(1)的2×2马赛克图案。在一个示例中，标准RGB马赛克图案跨及传感器10重复，其中每个2×2RGB马赛克包括光谱滤波器元件，诸如多带光谱传感器的滤波器元件32B和32C。例如，图8的传感器10是8×8的传感器阵列，具有包括4×4光谱传感器的4×4RGB马赛克。因此，在图8的示例中，标准16RGB阵列可以包括用于传感器10的16个光谱传感器通道。在一个示例中，可跨及传感器10的空间区域重复RGB和光谱传感器组合，以提供用于大图像传感器的本地光谱响应。
在实施方式的一个示例中，传感器***可以包括集成电路上的多组光学传感器，其中每组光学传感器包括以图案布置的多个光学传感器。在该示例中，一组或多组干涉滤波器中的每组包括多个干涉滤波器，每个干涉滤波器位于该多组光学传感器中的光学传感器的顶部并且一组干涉滤波器中的每个干涉滤波器配置为使不同波长范围的光通过。在具体示例中，用于该组光学传感器的图案包括4段以形成2×2矩阵，其中红、绿和蓝通道传感器和光谱通道传感器中的每一个位于该4段中的一段中。
在实施方式的具体示例中，红、绿和蓝通道传感器的图案是2×2图案，而光谱传感器的图案使用N的重复率，其中N>2并且不同光谱传感器的数目N>1。在另一示例中，用于传感器***的每个颜色通道滤波器元件和/或光谱通道滤波器覆盖图案中的多于一个的光学传感器。在又一示例中，滤波器图案包括旨在用于彩色成像(诸如，红、绿、蓝、亮度、透明等)的一组彩色滤波器(诸如在任何现代成像器中发现的彩色滤波器)和至少一组光谱滤波器元件。
在一个示例中，若干图案的不同光谱滤波器一起形成场景的低分辨率光谱图像，而图案的彩色滤波器形成场景的高分辨率彩色图像。在相关示例中，低分辨率光谱响应用于确定场景的不同空间区域的白平衡要求。
在实施方式的具体示例中，一组干涉滤波器中的每个干涉滤波器随机地与光谱通道传感器相关联，并且在另一示例中，每组干涉滤波器中的干涉滤波器的数目基于该组干涉滤波器在传感器***中的空间位置而不同。在又一相关示例中，光谱成像器中每组干涉滤波器和/或每个干涉滤波器的位置是基于伪随机图案。
图9提供了由光纤板60上覆的相邻的法布里-珀罗滤波器20A和20B的横截面。返回参考图2，以特定角度通过滤波器(诸如图2的滤波器20A)的光可由特定滤波器滤波，同时由与相邻的滤波器相关联的光学传感器检测。在具体示例中，滤波器20A配置为使特定波长的光通过，然而，当通过滤波器20A的光的入射角足够倾斜时，光可以通过集成电路后端40传播，并且用与滤波器20B相关联的光学传感器来检测。经过相邻的干涉滤波器传播的非期望波长的光通常被称为“串扰”。串扰对滤波器马赛克的光谱响应质量有不良影响，进而对光畸变校正的质量产生负面影响。因此，消除或至少衰减串扰的影响是期望的。
图9的光纤板60是由一束微米大小的光纤构成的光学装置。当用作滤波器20A和20B上的透镜时，经过光纤板传输的光或图像被准直，以减小通过滤波器的入射角(入射到表面上的光线与入射点处垂直于表面的线之间的角度)，从而充分减少不需要的串扰。与普通光学透镜不同，当使用光纤板(诸如光纤板60)时不需要聚焦距离，因此它与紧凑型光学装置兼容。
图10提供了光管64上方的相邻的法布里-珀罗滤波器20A和20B的另一横截面。在图10的示例中，通过滤波器的入射角过大的光被光管64的侧壁重定向到与该滤波器相关联的光学传感器。在具体示例中，当通过滤波器20A的光的入射角足够大时，它将从光管64的侧壁反射并由与滤波器20A相关联的光学传感器检测。在一个示例中，可调整光管的侧壁的角度以提供最大衰减同时最小化所需波长的吸收。在一个示例中，光管64可以由多种材料构成，其中光管本身是具有相对高的透光率的材料，而间隙材料是不透明或半透明材料。在另一示例中，光管64的侧壁可以包括涂覆或沉积在其上的相对高反射率材料。
图11提供了具有将相邻的滤波器20A和20B与串扰隔离的遮光罩68的相邻法布里-珀罗滤波器20A和20B的另一横截面。在图11的示例中，穿过滤波器20A的光在穿过滤波器的入射角过大时被遮光罩68偏转或阻挡。在一个具体示例中，当穿过滤波器20A的光的入射角足够大时，它将从遮光罩68的侧面反射或被完全阻挡，从而将消除和/或衰减到滤波器20B的串扰。在一个示例中，遮光罩68可以由多种材料构成，包括不透明或半透明材料。在另一示例中，可由金属(诸如沉积于在添加滤波器和/或抑制滤波器之前在集成电路后端40中形成和/或蚀刻的沟槽中的Al或AlSi)构成遮光罩68。在该实施方式的一个具体示例中，在其中已形成沟槽的集成电路后端40的表面上沉积金属，并且然后使用减法工艺(诸如化学机械抛光和/或使用光刻工艺的干蚀刻)从沟槽外部的区域移除金属。在另一示例中，可以调整遮光罩68的深度和宽度，以提供特定入射角的衰减，以便根据需要进行更多或更少的串扰衰减。
图12提供了具有用于将相邻的滤波器20A和20B与串扰隔离的沟槽66的相邻的法布里-珀罗滤波器20A和20B的另一横截面。在图12的示例中，穿过滤波器20A的光在穿过滤波器的入射角过大时被沟槽66偏转或阻挡。在一个具体示例中，当穿过滤波器20A的光的入射角足够大时，它将从沟槽66的侧面反射或被完全阻挡，从而将消除和/或衰减到滤波器20B的串扰。在一个示例中，在使用光刻工艺添加滤波器和/或抑制滤波器之前，在集成电路后端40中形成和/或蚀刻沟槽66。在一个示例中，沟槽66可以用另一种材料填充或留作空隙，光线在沟槽66的侧壁处反射或折射。在另一示例中，可以调整沟槽66的深度和宽度，以提供特定入射角的衰减，以便根据需要进行更多或更少的串扰衰减。
图13提供了具有用于衰减滤波器与光学传感器对之间的串扰的屏蔽栅110的滤波器阵列的自上而下的图示。在图13的示例中，滤波器20A、20D、20E等上的入射光在屏蔽栅110处被阻断以在滤波器之间提供缓冲区，使得滤波器至少局部地彼此隔离。在一个示例中，屏蔽栅110可为不透明材料或半透明材料或任何其他以光刻方式沉积或限定于滤波器20A、20D、20E等的边缘中的充分吸收材料。在另一示例中，屏蔽栅110可由反射材料(诸如Al和/或AlSi)构成。在一个示例中，屏蔽栅110可以配置在滤波器20A、20D、20E等的上方或下方。
在某些实施例中，图像传感器(诸如图9至13中的传感器10)可以配置为在单个光学传感器和/或图像传感器的光学传感器组件之间提供无效空间或空隙。无效空间可以提供光学传感器之间的隔离，以减少光学传感器之间的串扰。在图14中所示的相关示例中，中间元件36位于相邻的滤波器20A和20B的交叉点下方以及感光元件34之间。在一个示例中，中间元件36是图像传感器的光学传感器之间的无效空间。在另一示例中，中间元件36和光敏元件34均位于图像传感器的光学传感器之间的无效空间中。在实施方式的具体示例中，可使用来自光敏元件34的一个或多个响应来测量串扰，并且在相关示例中，可使用来自光敏元件34的一个或多个响应来校正针对所测量串扰的滤波器响应。
参考图1，重复的马赛克图案必然可以使滤波器带之间的转换数目最大化(其中配置为使相同波长范围的光通过的滤波器是相同的滤波器带)。图15提供了滤波器结构的图示，该滤波器结构在相邻的滤波器马赛克中镜像类似的滤波器带，以便减少从一个滤波器带到另一滤波器带的过渡次数。在该示例中，对4个三滤波器马赛克1至4的图案进行了修改，使得滤波器20A彼此相邻。在一个示例中，串扰从一个典型的重复模式减少，因为减少了转换的数目。
在实施方式的一个具体示例中，具有4组干涉滤波器的示例性传感器***包括多组干涉滤波器，该多组干涉滤波器包括以图案布置的多个干涉滤波器，其中，对4组干涉滤波器中的每一组的图案进行修改，使得配置为使相同波长范围内的光通过的4个干涉滤波器在四点(quadripoint)处彼此相邻。在实施方式的另一具体示例中，多组干涉滤波器中的2组干涉滤波器包括以图案布置的多个干涉滤波器，其中，对2组干涉滤波器中的每一组的图案进行修改，使得配置为使相同波长范围内的光通过的2个干涉滤波器绕该2组干涉滤波器之间的中心线彼此相邻。
在一个实施例中，传感器***包括多个光学传感器，该多个光学传感器中的一个或多个用于自动聚焦。在实施方式的一个具体示例中，多组干涉滤波器中的一组干涉滤波器适于将该多个干涉滤波器中的特定一个干涉滤波器定位在用于自动聚焦的一个或多个光学传感器的顶部。
在另一实施例中，传感器***包括设置在集成电路的反面的多个光学传感器和多组干涉滤波器。在该示例中，集成电路的反面与集成电路的具有配线的一面相对。在一个示例中，传感器***包含背面照明图像传感器。背照式传感器(也称为背面照明(BSI或BI)传感器)使用在包含图像传感器的集成电路的反面上的成像元件的新颖布置，以便增加捕获的光量，并且从而改善低光性能。增加的光捕获至少部分是由于单个图像元件的矩阵及其配线反射了一些光，并且因此传感器10可能仅接收剩余的入射光，因为反射减少了可被捕获的信号。
图16提供了CIE XYZ标准观察者的颜色匹配函数的图示(来源：https://en.wikipedia.org/wiki/CIE_1931_color_space)。颜色匹配函数可以被认为是三个线性光探测器的光谱灵敏度曲线，该三个线性光探测器产生CIE三刺激值X、Y和Z，其中Y为亮度，Z为准蓝色，或S锥响应，X是一组非负响应曲线。在一个实施例中，图1至16的传感器***包括一组干涉滤波器中的该多个干涉滤波器中的至少一些，当与包括多个光学传感器的图像传感器配对时，该至少一些干涉滤波器适于提供绝对值颜色测量值(诸如CIE三刺激值X、Y和Z)。在一个示例中，绝对值颜色测量值是包括亮度和色度两者的测量值。
图17提供了呈拜耳图案的CIE/XYZ马赛克结构的自上而下的图示。在该示例中，干涉滤波器20A至20D被图案化以形成真彩色传感器。拜耳图案(有时称为拜耳马赛克或拜耳滤波器马赛克)是用于在光学传感器的方形网格上布置彩色滤波器的阵列。
图18A提供了由光学元件80上覆的相邻的法布里-珀罗滤波器20A至20F的横截面。在一个示例中，光学元件与一个或多个滤波器20A至20F的阵列相关联。图18B和18C示出了多光谱阵列的子阵列(带)上的光学器件的合并。在图18B中，单个光学器件130位于滤波器阵列120的子阵列或(滤波器1至16)的带上，而在图18C中，3个光学器件140、142和144中的每一个位于不同的重复子阵列之上。例如，滤波器子阵列124包括滤波器1至9(带1)，而滤波器子阵列122包括滤波器10至13(带3)，并且滤波器子阵列126包括较大阵列的滤波器14至16(带2)。在实施方式的一个具体示例中，传感器***包括多个光学传感器之上的多个光学器件，其中该多个光学器件的每个透镜与一组或多组干涉滤波器相关联，该一组或多组干涉滤波器本身与该多个光学器件中的一个光学器件相关联。在一个示例中，光学器件包括透镜和低通光学元件。在一个示例中，光学器件的低通光学元件是扩散器，并且在另一示例中，低通光学元件位于与多组干涉滤波器的预定距离处，以便在该多个光学传感器上产生预定模糊尺寸的模糊图像。在不同的示例中，多个光学器件中的2个或更多个(诸如图18C中所示的3个光学器件)与较大阵列的一部分重叠，使得该2个或更多个光学器件中的每一个覆盖较大阵列的一部分。在另一具体示例中，光学元件80可以包含角度元件，其中角度元件配置为选择光传播到一个或多个传感器的输入角度。在又一具体示例中，光学元件80可以包含配置为旋转或倾斜的光学透镜。示例包括光学图像稳定、透镜旋转以改变传播光的极性和/或另一机械透镜运动。
图18D是具有相关联的光学器件的干涉滤波器子阵列的横截面。在实施方式和操作的一个示例中，***包括集成电路上的多个光学传感器，具有多组干涉滤波器(诸如滤波器组184A和184B)。在该示例中，一组干涉滤波器(诸如滤波器组184A和184B)配置为使预定义的光谱范围内的光通过，其中该多个干涉滤波器中的每个干涉滤波器配置为使不同的波长范围内的光通过。在一个示例中，***包括一个或多个光学元件(诸如透镜176A至176D)，其中每个光学元件与至少一组干涉滤波器(诸如滤波器组184A和184B)相关联，以提供光学器件和干涉滤波器组对。在实施方式的另一示例中，一组或多组干涉滤波器中的一些干涉滤波器是法布里-珀罗滤波器。在实施方式的一个示例中，该一个或多个光学元件可包含针孔、透镜、孔径光阑、光圈、元透镜、平面透镜、色散元件和/或透镜组中的一个或多个。
在实施方式的一个示例中，一个或多个光学元件包括滤波器(诸如图18D中的滤波器178)和透镜(诸如透镜176C和176D)，以将图像聚焦到滤波器组184B之下的一组像素上。在一个示例中，滤波器178A和178B是适于抑制不需要的带外光的抑制滤波器。在另一示例中，一个或多个光学元件包括多于一个的透镜元件(诸如透镜176C和/或176D)。在一个示例中，挡板174配置为支撑透镜176A至176D，同时隔离入射到给定滤波器组之下的像素上的光。在该示例中，每个光学元件与干涉滤波器对包含子成像器，该子成像器具有位于滤波器组之下的像素，其中多个子成像器同样配置为在不同光谱范围中提供给定场景的光谱信息。在再一示例中，光学器件包含全光***。在实施方式的一个示例中，挡板174通过模制塑料或另一可变形材料形成。在相关示例中，一个或多个光学元件(诸如透镜176A到176D)是使用预成形挡板174就地制造，并且在替代示例中，光学元件(诸如透镜176A到176D)放置在预成形挡板174中。在再一示例中，一个或多个抑制滤波器(诸如滤波器178A和178B)可使用预成形挡板174就地制造或机械地放置于预成形挡板174中。在相关示例中，挡板总成中的预成形挡板174可与光学元件(诸如透镜176A到176D)和抑制滤波器178A和178B组合，其中挡板总成在光学滤波器184A和/或184B形成之后被放置在像素层186上。注意，可以在没有光学滤波器的情况下配置一些像素组，使得挡板总成将提供任何滤波，而不需要从光学滤波器堆叠分离波长。
在实施方式和操作的一个示例中，第一光学元件与干涉滤波器对配置为使紫外(UV)光谱中的光通过，第二光学元件与干涉滤波器对配置为使红外(IR)光谱中的光通过，并且第三光学元件与干涉滤波器对配置为使可见光谱中的光通过。在另一实施方式中的另一示例，多个光学传感器中的一些光学传感器不与任何类型的滤波器相关联，从而允许全色响应。
在实施方式的另一示例中，使用半导体处理技术将与光学元件相关联的抑制滤波器集成在集成电路上。在另一示例中，使用晶片级光学器件(诸如微透镜)来制造多个光学元件的部分或全部元件。
在实施方式的一个具体示例中，透镜可配置为散焦以产生具有预定模糊尺寸的模糊图像，并且然后在该多个光学传感器处聚焦以产生聚焦图像。在相关示例中，聚焦图像是高分辨率彩色图像，而模糊图像是低分辨率彩色平衡图像。在另一相关示例中，模糊图像用于提供场景的代表性光谱响应，其中代表性光谱响应包括场景的多个空间区域的光谱响应。在实施方式的又一示例中，光学透镜聚焦以使用成像器的颜色传感器形成高分辨率彩色图像，并且散焦以使用光谱传感器形成低分辨率白平衡图像。示例性光学透镜包括复合透镜、菲涅耳透镜、多焦菲涅耳透镜、模制透镜阵列等，并且可以机械和/或电子方式聚焦。透镜可以在制造期间集成在硅晶片上，或者可以在成品图像传感器上进行涂布和/或组装。在一个示例中，光学透镜的散焦可以在拍摄图像时自动完成，或者在用户根据需要或期望选择白平衡捕获模式的情况下手动完成。
图19A示出了结合高分辨率成像器和低分辨率成像器的成像***，而图19B示出了结合高分辨率成像器和两个低分辨率成像器的成像***。在该示例中，光谱传感器170配置为提供场景的低分辨率光谱图像，而图像传感器172配置为提供同一场景的高分辨率图像。在该示例中，来自光谱传感器170的响应可用于提供用图像传感器172成像的场景的空间区域的颜色平衡。成像***可以包括一个或多个处理器，用于使用来自场景的不同空间区域的光谱响应来处理用图像传感器172成像的同一场景的颜色平衡。
在实施方式的一个实例中，传感器***包含与多组干涉滤波器相关联的第一群组的光学传感器，其中一组干涉滤波器包括以图案布置的多个干涉滤波器。在一个示例中，该多个滤波器中的每个干涉滤波器配置为使不同波长范围的光通过，并且该多个干涉滤波器中的每组干涉滤波器与场景的空间区域相关联。在该示例中，第二群组的光学传感器配置为输出图像；并且一个或多个处理器从第一群组的光学传感器产生场景的该多个空间区域的光谱响应，并且图像是由第二群组的光学传感器输出的。
在一个示例中，使用去马赛克工艺从一组滤波器提取光谱带通响应。可以使用一个或多个处理器来启用去马赛克工艺，其中处理器使用算法或数字图像处理来从与一组滤波器的单个滤波器相关联的光学传感器重建带通响应。在其中散布有两个群组的光学传感器的示例中，可以使用去马赛克工艺从散布的群组或阵列中的滤波器的子集检索光谱信息。
在实施方式的一个示例中，第二群组的光学传感器配置为产生更高分辨率的图像，而第一群组的光学传感器提供更低分辨率的光谱响应。该一个或多个处理器利用场景的至少一些空间区域的低分辨率光谱响应，基于所包括的空间区域的光谱响应来修改场景的高分辨率图像。在一个示例中，高分辨率图像的修改包括对场景的图像的所包括的空间区域的颜色校正。
在实施方式的另一示例中，一个或多个处理器利用场景的空间区域的光谱响应来将场景中的一种或多种材料分类。在示例性应用中，将低空间分辨率但高光谱分辨率的传感器图像与高空间分辨率但低光谱分辨率的传感器图像组合。在另一实施例中，包含低分辨率光谱传感器的第一群组的光学传感器提供包含高分辨率传感器的第二群组的光学传感器中的对象的光谱信息。光谱信息可以包括足以确定对象特性的信息，诸如材料成分。光谱信息可以进一步帮助识别对象类型。示例性应用可以包括例如皮肤感应、水或氧检测、食品检测、食品分析、质量检验、植物分析和无人机监视。
在实施方式的一个示例中，第一群组的光学传感器与第二群组的光学传感器彼此相邻，并且在另一示例中，第一群组的光学传感器适于在与场景的一个或多个对象接触时使用，而第二群组的光学传感器配置为不与该一个或多个对象接触。在另一示例中，第一群组的光学传感器与第二群组的光学传感器位于不同的图像传感器上。在又一示例中，第一群组的光学传感器与第二群组的光学传感器位于公共图像传感器上，其中第一群组的光学传感器中的各个传感器分布在第二群组的光学传感器中的光学传感器之间。在相关示例中，传感器***包括第一群组的光学传感器中的一个或多个单独的光学传感器和第二群组的光学传感器中的多个光学传感器，其中第一群组的光学传感器中的每个与第二群组的光学传感器中的多个光学传感器相关联。
在实施方式的一个具体示例中，一个或多个处理器用于根据第一群组的光学传感器的输出来近似第二群组的光学传感器中的一个或多个光学传感器的输出，以产生近似输出。并且，在又一示例中，近似输出是红色、绿色或蓝色传感器输出中的一个。在再一示例中，使用来自第一群组的传感器的光学传感器的近似输出来替换从第二群组的光学传感器的子集的马赛克图案丢失的第二群组的光学传感器中的光学传感器的输出。在一个示例中，由于例如利用用于光谱感测的光学传感器替换马赛克图案中的光学传感器，光学传感器可能丢失。
在其他示例中，附加功能与图19A和19B的成像***相结合。例如，成像***可适于收集信息以产生图像的至少一部分的三维地图，其中，例如，三维地图可用于确定场景中的对象的近似位置和交互。又一些示例包括调节成像***以将与场景中的一个或多个对象相关联的材料分类。材料可基于光照、色度或其他现象进行分类。
在相关示例中，适于输出与场景相关联的数据的一个或多个3D传感器可以包括在成像***中，其中成像***进一步适于基于输出数据产生三维地图。在附加示例中，该一个或多个3D传感器包含3D点传感器和/或3D图像传感器。
在结合图19A和19B的成像***的附加功能的其他示例中，成像***适于收集场景中一个或多个对象的飞行时间信息，在该场景中，飞行时间信息用于确定场景中的一个或多个对象的大致位置。在实施方式的示例中，通过调制信号和对场景中的一个或多个对象的检测来确定飞行时间信息。在另一示例中，飞行时间信息用于进一步修改由高分辨率传感器输出的图像，其中图像输出被进一步修改为例如基于与传感器***的距离来校正光畸变。在该示例中，成像***可以包括可受益于特定光畸变校正的各种透镜。示例包括但不限于广域镜头、超宽镜头、鱼眼镜头、远摄镜头和其他。
图20提供了传感器10上具有相邻的滤波器马赛克182的像素阵列172的自上而下的图示。像素阵列172可以是标准像素阵列，其中滤波器马赛克182包含光谱传感器。在一个示例中，N个滤波器马赛克182可以包围像素阵列172，其中N是2到4中的任意者。
图21提供了结合高分辨率成像器200、低分辨率成像器210和适于产生4图像输出230的3图像处理器220的成像***的框图。在示例性实施例中，照相机***包括图像传感器，诸如本身包括多组光学传感器的高分辨率成像器200，其中每组光学传感器包括以图案布置的多个光学传感器。照相机还包括本身包含多个光学传感器的光谱图像传感器和多组干涉滤波器，每组干涉滤波器以图案布置。该多个滤波器中的每个干涉滤波器配置为使不同波长范围的光通过，并且该多个干涉滤波器中的每组干涉滤波器与由照相机***捕获的场景的区域相关联。照相机***还包括一个或多个处理器，其适于从光谱图像传感器产生场景的多个区域的光谱响应，并且将光谱响应与图像传感器输出的图像组合以产生修改后的图像。
在图21的照相机***的实施例中，修改后的图像可以是在图像输出的该多个区域中的至少一些区域中针对光畸变进行了至少局部校正的图像。在另一示例中，照相机***适于确定图像输出的该多个区域中的至少一些区域的光畸变类型。光畸变类型的示例包括但不限于自然光和各种人造光源。照相机***可进一步适于确定光源的频率或占空比，诸如荧光光源是50Hz还是60Hz。
在另一实施例中，图21的照相机***可适于基于光谱响应修改用于在液晶显示器、有机发光二极管显示器、量子点显示器(QD-OLED)或等离子体显示器中的一个或多个上显示的图像输出。在又一实施例中，照相机***可适于基于光谱响应修改图像输出，以用于缺乏内部光源的显示器或具有微弱的或可选择的内部光源的显示器。示例包括在高光环境(诸如室外或光线充足的位置(诸如活动地点或具有充足人造光的办公室环境))中使用的显示器。在一个示例中，可以向不具有光源而是从屏幕外部反射光的显示器提供修改后的图像以优化显示质量。例如，光谱响应可用于调整液晶显示器以反映校正后的彩色图像。
在各种实施例中，图21的照相机***可适于确定场景中的一个或多个对象的照明方向，并且基于照明方向校正或以其他方式增强图像。实施例包括，确定图像输出的空间区域中的至少一些空间区域的光畸变类型，并收集信息以产生图像的至少一部分的三维地图。在该示例中，可以组合使用照明方向、光畸变类型和三维地图中的任何一种来产生进一步校正和/或增强的图像。又一些其他实施例包括确定场景中一个或多个对象的照明类型，并且基于照明类型，校正光畸变的图像，其中照明类型可以包括白光LED照明、彩色LED照明、磷光源照明、卤素光源照明和各种类型的自然(阳光)照明中的一种或多种。
在其他实施例中，图21的照相机***可以包括一个或多个智能代理，该一个或多个智能代理能够实现认知功能，使得智能代理至少部分用于产生修改/校正的图像。在其中图21的照相机***包括一个或多个智能代理的另一示例中，其中智能代理能够实现认知功能，智能代理可用于例如确定照明方向、产生三维地图和/或确定光畸变类型。
图22是示出通过成像***校正场景中的光畸变的示例性方法的流程图。该方法包括步骤300，其中从用于场景的本地光谱传感器组接收样本光谱，并在步骤310处继续，其中确定每个样本光谱的平均光谱响应。该方法继续至：在步骤320处，成像***从用于场景的图像传感器收集图像数据，并且在步骤330处，成像***使用用于本地区域的平均光谱响应来校正用于场景的每个相应本地区域的图像数据。
图23是示出用于通过成像***修改和/或校正场景的图像的示例性方法的流程图。该方法包括步骤400，其中从用于场景的本地光谱传感器组接收样本光谱，并在步骤410处继续，其中确定场景的每个本地区域的照明类型。该方法在步骤420处继续，其中成像***产生场景的3D地图，并在步骤430处继续，其中确定场景中的一个或多个对象的照明方向。该方法继续至：在步骤440处，成像***从用于场景的图像传感器收集图像数据，并且在步骤450处，成像***基于照明类型、照明方向和3D地图校正用于场景的每个相应本地区域的图像数据，以产生校正后的图像。
图24提供了使用包含纳米半导体材料的光学传感器/探测器的光学传感器***的自上而下的视图。基于纳米半导体材料的探测器(诸如薄膜量子点光电二极管)可以使用与传统半导体工艺兼容的窄带隙薄膜来制造。在实施方式的一个示例中，光学传感器***10结合大小不同的薄膜量子点120，以便提供跨及预定光谱的光谱响应，其中薄膜的粒度和光谱带宽由量子点的数目和大小确定。量子点可以是，但不限于外延量子点和/或胶体量子点。
在实施方式和操作的一个具体示例中，传感器***包含配置为在集成电路上感测不同波段的光的多个纳米级半导体传感器。在一个示例中，传感器***可限于包含纳米级半导体的光学传感器。在另一示例中，传感器***可以包括与CMOS光学传感器相关联的法布里-珀罗滤波器。纳米级半导体元件可以包括量子点、胶体纳米颗粒、CdSe纳米晶体和ZnS纳米晶体等中的一个或多个。在实施方式的一个具体示例中，纳米级半导体元件可以实施为不同的“点”大小，其中点大小决定了给定纳米级元件的光谱响应的波长。在该示例中，各种点大小分布在传感器***上，以便提供给定带宽和粒度的光谱。
图25提供了根据本发明的由光学角度元件上覆的相邻的法布里-珀罗滤波器的横截面。在一个示例中，光学元件130与一个或多个滤波器阵列20A至20F相关联。在实施方式的一个具体示例中，光学元件130可以包含配置为旋转或倾斜的光学透镜。示例包括光学图像稳定、光学元件旋转以改变传播光的极性和/或另一机械透镜运动。
在实施方式和操作的另一示例中，图2的光学元件80包含多个集成偏振元件(滤波器)。在一个示例中，偏振滤波器的组合使得传感器***10能够区分或分离偏振光与非偏振光。在另一示例中，偏振元件的组合可使传感器***能够将光分离成不同的偏振。在一个示例中，该偏振信息可用于检测来自场景或图像中的对象的发光体空间/方向信息和/或关于反射率的信息。在另一示例中，偏振信息可用于检测被成像的图像中的眩光和/或反射。
在实施方式和操作的一个具体示例中，传感器***10包含集成电路上的多个光学传感器，其中多个偏振滤波器设置在传感器***10的顶部。在一个示例中，光学传感器可以构成光学传感器与偏振滤波器对，在另一示例中，多个偏振滤波器可以与单个光学传感器相关联，并且在又一示例中，单个偏振滤波器可以与多个光学传感器相关联。传感器***10可以包括一个或多个处理器，该一个或多个处理器具有一个或多个模块，用于基于光学传感器及其成对偏振滤波器的输出来确定偏振信息。在一个示例中，偏振信息可以包括以下中的一个或多个：1)由光学传感器与偏振对中的光学传感器检测到的光的照明类型；2)由光学传感器与偏振对中的光学传感器检测的光的空间分布信息；3)光学传感器与偏振对中的光学传感器检测到的光的方向信息；以及4)由传感器***成像的对象反射的光的反射信息。
在实施方式和操作的另一具体示例中，传感器***10包含集成电路上的多个光学传感器，其中光学***80设置在传感器***10的顶部。在该示例中，光学***可用于为入射到传感器***10的光选择特定的输入角度，并且在另一示例中，输入角度可用于确定光源在被成像的场景中的位置。在一个示例中，光学***80包含单个光学元件，并且在另一示例中，它包含多个光学元件。
在实施方式和操作的一个具体示例中，传感器***10包含集成电路上的多个光学传感器，其中一个或多个光学元件80位于该多个光学传感器中的至少一些光学传感器的顶部，其中该一个或多个光学元件80配置为为入射到传感器***的光选择输入角度。在另一示例中，处理器可用于基于所选输入角度来确定由该多个光学传感器中的一个或多个光学传感器收集的光的方向。在一个示例中，所确定的光方向可用于通知正在成像的场景或对象的白平衡修改或校正，其中白平衡修改或校正由与传感器***10相关联的处理器执行，或者作为替代，其中所确定的光方向被提供给外部处理***以进行白平衡修改或校正。
在实施方式和操作的另一具体示例中，光学元件80对于传感器***10中的所有光学传感器是公用的，并且在另一示例中，光学元件仅对于传感器***10中的光学传感器的一部分是公用的。
光学元件130有几种选择。在一个示例中，光学元件130包含光学透镜，并且在另一示例中，光学元件130包含位于光学传感器附近的一个或多个掩模，其中掩模包含对于传感器***10的光学传感器中的至少一些具有不同横向偏移的遮光罩。在该示例中，每个掩模配置为允许一些入射角的光，同时遮罩其他入射角的光。掩模可以是各种材料(诸如金属或另一不透明材料)的单线，或者它可以包含配置为为光学传感器的阵列提供屏蔽的栅。
在实施方式和操作的另一具体示例中，光学元件130是光学微透镜；示例包括但不限于菲涅耳透镜和/或模制透镜阵列。在另一具体示例中，光学元件130包括机械元件，使得它们可以旋转和/或倾斜。在该示例中，光学元件130可以是用于结合传感器***的照相机的光学图像稳定***的一部分。在实施方式和操作的另一具体示例中，光学元件130是微透镜，其中每个微透镜适于为传感器***10中光学传感器中的一个或一些选择输入角度。在实施方式和操作的又一具体示例中，光学元件130是偏振滤波器。
图26示出了具有一个或多个光源的场景。在场景中，光源可以从后面(诸如光源140)和从前面和/或下面(诸如光源142)照亮场景。在一个示例中，白平衡信息可以包括在数字成像数据中，允许在图像或视频的后处理中使用白平衡信息。在一个具体示例中，为了提供添加到图像的对象的真实照明，诸如在增强现实***中，可以调整对象的照明以匹配场景的照明。在类似于图25的示例中，可以将对象(在这个示例中是塑料鲨鱼)添加到预先存在的图像中，并且可以使用来自预先存在的图像的本地化白平衡信息通过照亮鲨鱼来提供与预先存在的图像一致的真实照明。在增强现实应用中，可以调整一个或多个对象的照明和/或遮罩，以便使对象在场景中更真实地表示。另外，光的方向信息(诸如图25中提到的)可以用来通知添加到预先存在的场景中的对象的照明。
在实施方式和操作的一个具体示例中，传感器***用于从场景收集光谱信息，诸如白平衡信息。该传感器***可以包含具有多组干涉滤波器的多个光学传感器，在一个示例中，该多组干涉滤波器中的一组干涉滤波器可以图案布置，其中该多个滤波器中的每个干涉滤波器配置为使不同波长范围的光通过，其中每组干涉滤波器与场景的空间区域相关联。在实施方式的一个示例中，该传感器***可以包括一个或多个处理器，该一个或多个处理器适于基于来自该多个光学传感器的输出提供光谱响应，并且基于来自场景的多个空间区域中的每一个的光谱响应来确定可能表示光源的场景的空间区域。
在一个示例中，该一个或多个处理器可适于识别场景的空间区域，该空间区域表示光的源(和强度)，该光用于照亮在采集场景的数字图像之后添加的一个或多个对象。在相关示例中，与表示光源的场景的空间区域相关联的信息可以嵌入在数字图像中，作为数字图像的附录提供和/或作为补充数据文件提供。
图27A是示出用于收集场景的数字图像的示例性方法的流程图。方法开始于步骤460处，其中从空间上彼此分离的光谱传感器组接收来自场景的接收光谱。在一个示例中，每个光谱传感器组与图像传感器相关联。在替代示例中，每个光谱传感器组与场景的空间区域相关联，该空间区域与图像传感器的互补空间区域相关联。方法在步骤464处继续，针对图像传感器的每个空间区域对光谱的光特征进行分类。然后，方法在步骤462处继续，将接收到的光谱用于确定一组或多组光谱传感器是否指示场景中的光源。当未检测到光源时，在步骤468处正常地调整场景的平均白平衡(AWB)。在一个示例中，可以确定光源的相对强度，并且在另一示例中，当光源不位于场景内时，可以基于来自场景内的对象的反射来确定场景外光源的位置和/或强度。在另一示例中，光源位置可用于确定正在成像的场景区域和/或场景中处于阴影中的对象。在可选步骤466处，识别与光源相关联的空间区域。然后，方法在步骤470处继续，为数字图像提供包括光源的空间区域和分类类型的光源信息。在一个示例中，光源信息可用于调整场景的空间区域的白平衡和/或颜色单应性。
图27B是示出用于收集场景的数字图像的示例性方法的另一流程图。方法从步骤480处开始，其中从空间上彼此分离的光谱传感器组接收从场景接收的光谱。在一个示例中，每个光谱传感器组与图像传感器相关联。在替代示例中，每个光谱传感器组与场景的空间区域相关联，该空间区域与图像传感器的互补空间区域相关联。然后，方法在步骤482处继续，其中接收到的光谱用于确定光谱传感器的一组或多组是否指示场景中的光源。当未检测到光源时，在步骤488处正常地调整场景的平均白平衡(AWB)。方法在步骤484处继续，针对图像传感器的每个空间区域对光谱的光特征进行分类。在一个示例中，可以确定光源的相对强度，并且在另一示例中，当光源不位于场景内时，可以基于来自场景内的对象的反射来确定场景外光源的位置和/或强度。在另一示例中，光源位置可用于确定正在成像的场景区域和/或场景中处于阴影中的对象。在可选步骤486处，识别与光源相关联的空间区域。然后，方法在步骤490处继续，为数字图像提供包括光源的空间区域和分类类型的光源信息。
在实施方式和操作的具体示例中，分别在图27A和27B的步骤470和步骤490中提供的光信息可用于辅助数字图像的后处理。在另一示例中，光信息可用于在后处理中调整添加到数字图像中的对象的照明。例如，一旦对空间区域和相关联的光源进行了分类，便除了捕获的图像之外，还可以提供该信息，使得当随后将对象添加到捕获的图像时，可以在后处理中使用该信息。参考图26中所示的示例，可以将塑料鲨鱼添加到房间的捕获图像中，在后处理中使用光信息，以便在塑料鲨鱼上正确放置光强度和颜色。在又一示例中，光信息可用于调整在数字图像中捕获的场景的照明以在场景上提供期望的效果，诸如改善场景的美感或人为地改变场景的美感。在实施方式的一个示例中，可使用分别在图27A和27B的步骤470和步骤490中提供的光信息来调整场景的照明以提供更自然的效果。在替代实施方式中，可以使用分别在图27A和27B的步骤470和步骤490中提供的光信息来调整场景的照明以增强或细化特殊效果。
在实施方式和操作的一个具体示例中，可以在场景或对象的视频成像时提供光信息，以便可以在后处理中基本上校正捕获的视频。在一个示例中，捕获的视频的每一帧可以包括至少一些光信息。在另一示例中，光信息可以间歇地(相对于逐帧地)与视频成像数据一起提供，使得可以通过内插从没有光信息数据的帧丢失的光信息来逐帧地校正捕获的视频。在又一示例中，在成像场景的视频编码期间，可以将诸如分类和/或强度之类的光源信息链接到对象或场景部分，以便在场景或对象移动或改变之前可以忽略光信息，从而实现捕获的视频或图像的改善的压缩和/或降低的计算复杂度。在又一具体示例中，视频捕获***可适于仅当用户切换打开时才包括光信息，使得当切换关闭时不会处理和/或捕获光信息，诸如光分类和/或强度。
在一个示例中，照相机***适于确定图像输出的多个区域中的至少一些的光畸变类型(光畸变类型的示例包括但不限于自然光和各种人工光源)。照相机***可进一步适于确定直接光源和/或环境光源的频率或占空比，诸如荧光光源是50Hz还是60Hz。在又一示例中，照相机***可进一步适于锁定负反馈补偿回路以匹配光源的频率或占空比和/或相位，并且然后衰减和/或取消所产生的光源闪烁。在一个示例中，光学放大器可用于通过修改放大器的开环输出或其反馈网络的增益和相位性质或两者来补偿频率效应，以补偿导致振荡的条件。在一个示例中，可以向照相机***的多个(或全部)受影响像素提供针对闪烁干涉的锁定负反馈补偿回路，从而避免那些像素因闪烁干涉而饱和。
图28是示出用于补偿由数字成像***捕获的场景中的环境光闪烁的示例性方法的流程图。方法从步骤500处开始，其中从多组本地化光谱传感器接收来自场景的接收到的光谱。在步骤510处，确定场景的照明类型，并且在步骤520处，数字成像***确定场景中是否检测到环境光闪烁。如果未检测到光闪烁，则数字成像***可以在步骤550处调整场景的白平衡，并且当检测到光闪烁时，数字成像***可以在步骤530处使用负反馈回路来锁定闪烁源的频率和相位，以便在步骤540处补偿光闪烁。
图29A示出了具有相邻的中心波长的两个光谱传感器(像素)的单独光谱响应，诸如基于法布里-珀罗滤波器的光谱传感器，通常以窄带(诸如10nm)提供光谱响应。有时期望更宽的带(诸如20nm或30nm)的光谱响应。图29B示出了图29A的两个光谱传感器的组合光谱响应，有效地将光谱响应带宽增加了一倍。在实施方式和操作的一个示例中，传感器***包括光学传感器阵列和多个光谱滤波器，该多个光谱滤波器在光学传感器阵列附近布置成阵列。在一个示例中，光谱滤波器是干涉滤波器，诸如法布里-珀罗滤波器或等离子体干涉滤波器和有机滤波器。在一个示例中，每个光学传感器与该多个光谱滤波器中的一个或多个光谱滤波器相关联，其中该多个光谱滤波器中的每个光谱滤波器配置为使选定波长范围的光通过。在一个示例中，电子电路***耦合到光学传感器，使得两个或更多个光学传感器的输出可以被组合。
图29C示出了各自与光学传感器相关联的一对相邻的干涉滤波器(1)。在一个示例中，干涉滤波器(1)配置为使光谱的相邻范围中的波长通过。在一个示例中，相邻的传感器(2)的输出被组合以产生具有更宽光谱响应带宽的组合输出，如图29B中所示。在一个示例中，相邻的传感器(2)的输出可以使用专用电子电路***进行组合，或者在另一示例中，可以由计算装置的一个或多个模块进行组合。
图29D示出了与单个光学传感器(2)相关联的一对相邻的干涉滤波器(1)。在一个示例中，通过两个相邻的滤波器(1)的入射光由单个光学传感器(2)检测。在实施方式和操作的一个示例中，传感器***包括光学传感器阵列和多个光谱滤波器，该多个光谱滤波器在光学传感器阵列附近布置成阵列。在一个示例中，光谱滤波器是干涉滤波器，诸如法布里-珀罗滤波器或等离子体干涉滤波器和有机滤波器。在一个具体示例中，光学传感器与该多个光谱滤波器中的两个或多个光谱滤波器相关联，其中该多个光谱滤波器中的每个光谱滤波器配置为使选定波长范围的光通过。在该示例中，该多个光谱滤波器中的该两个或更多个光谱滤波器配置为使基本上相邻的波长范围中的光通过，使得传感器2有效地接收两倍于单独的任一干涉滤波器(1)的波长。
图29E示出了其中一个置于另一个的顶部的一对干涉滤波器(1)，该一对干涉滤波器与单个光学传感器(2)相关联。在实施方式和操作的一个示例中，传感器***包括光学传感器阵列和多个光谱滤波器，该多个光谱滤波器在光学传感器阵列附近布置成阵列。在一个示例中，光谱滤波器是干涉滤波器，诸如法布里-珀罗滤波器或等离子体干涉滤波器。在一个具体示例中，第一光谱滤波器阵列布置在光学传感器阵列之上的阵列中，其中光学传感器阵列中的每个光学传感器与第一光谱滤波器阵列中的至少一个光谱滤波器相关联，并且每个光谱滤波器配置为使选定波长范围的光通过。在一个示例中，第二光谱滤波器阵列布置在第一光谱滤波器阵列顶部的阵列中以产生光谱滤波器对，其中第二光谱滤波器阵列中的每个光谱滤波器配置为使选定波长范围的光通过，其中该多个光谱滤波器对中的每个光谱滤波器对包括两个或更多个光谱滤波器，该两个或更多个光谱滤波器一起配置为使基本上相邻的波长范围中的光通过。在一个示例中，每个滤波器对配置为使光通过单个光学传感器。
如上所述，使用自动白平衡(AWB)校正来补偿光源畸变使得图像传感器能够更准确地表示所记录场景或对象的预期色度。在实施方式和操作的一个示例中，当成像器接收用于AWB校正的输入时，可以通过在空间上模糊和/或置乱场景来增强均匀AWB校正。模糊图像可以提供更均匀的颜色检测，用于对给定的一组光谱滤波器响应进行去马赛克。
在实施方式和操作的一个示例中，用于对场景进行成像的传感器***可以包括集成电路上的多个光学传感器，该集成电路具有多组干涉滤波器，其中每组干涉滤波器包括以图案布置的干涉滤波器。该多个滤波器中的每个干涉滤波器配置为使不同波长范围的光通过，并且该多个干涉滤波器中的每组干涉滤波器与场景的空间区域相关联。在一个示例中，透镜***配置在该多个光学传感器的顶部，其中透镜***适于在该多个光学传感器处产生具有基本上预定的模糊尺寸的模糊图像。在一个示例中，透镜***配置为散焦以产生具有基本预定的模糊尺寸的模糊图像，并且还聚焦以在该多个光学传感器处产生基本聚焦的图像。在一个具体示例中，镜头***由多个元件构成，并且镜头***配置为通过调整该多个元件中的又一个元件而不调整该一个或多个元件中的其他元件来散焦。
在另一具体示例中，镜头***可适于引入球面像差和/或其他相干像差以增加场景的模糊以用于AWB校正目的。在又一具体示例中，透镜***可以包含大视场(FOV)和低主光线角度。大视场使得给定的成像器能够检测附加的光并捕获广阔的场景，而低的主光线角度降低了入射光到达光谱滤波器(诸如基于干涉的滤波器)的入射角。图7示出了具有反向远心设计的镜头***。反向远心设计提供大视场和低主光线角度，使得通过调整远心设计的元件，可以模糊图像以进行AWB校正，同时可以调整以聚焦图像以进行高空间分辨率图像捕获。已知，远心透镜提供正交投影，在所有距离上提供相同的放大率。离得太近的对象可能仍会失焦，但产生的模糊图像将与正确聚焦的图像具有相同的大小。在反向远心透镜***中，远心透镜***的一个或多个元件被反向，导致光谱滤波器的颜色分布更加均匀。
电子产品制造商越来越多地在智能手机、平板电脑和其他使用照相机的移动装置中使用带有下伏图像传感器的显示器。当图像传感器位于显示器之下时，可导致图像的光谱再着色，这至少部分地是由于显示器发射的活性颜色破坏了图像。光谱传感器可以在显示器之下实施，以减轻显示器对位于显示器之下的成像器的影响，同时还提供用于自动白平衡(AWB)的输入。在实施方式和操作的一个具体示例中，用于对场景进行成像的传感器***包括第一光学传感器阵列和与第一光学传感器阵列相关联的多组干涉滤波器。该多组干涉滤波器中的每组干涉滤波器包括以图案布置的多个干涉滤波器，其中该多个干涉滤波器中的每个干涉滤波器配置为使不同波长范围的光通过。该多个干涉滤波器中的每组干涉滤波器与场景的空间区域相关联。在一个示例中，该传感器***包括配置为输出图像的第二光学传感器阵列和具有一个或多个模块的处理器，该处理器适于从该第一光学传感器阵列和由该第二光学传感器阵列输出的图像产生用于场景的多个空间区域的光谱响应。在该示例中，显示器位于第一多个光学传感器和第二多个光学传感器的顶部。
光谱传感器一般来说呈现为一种用来改善来自位于显示器之下的图像传感器的信号的手段。尽管在给定的示例中，光谱传感器和图像传感器作为单独的实体呈现，但是高光谱照相机可以使用相同的光学传感器实施两种功能(光谱测量和成像)。
在操作的一个具体示例中，第一光学传感器阵列与第二光学传感器阵列在显示器之下彼此相邻。在该示例中，可使用由第一光学传感器阵列提供的光谱响应来校正由第二光学传感器阵列成像的场景的光畸变和其他伪影。在另一示例中，第二光学传感器阵列输出单色图像，而来自第一光学传感器阵列的输出可用于提供单色图像的颜色信息。
在另一示例中，可使用来自第一光学传感器阵列的光学传感器的一部分来校正显示器对由第二光学传感器阵列产生的图像的干涉，可使用来自第一光学传感器阵列的光学传感器的另一部分来为自动白平衡(AWB)提供颜色信息。在相关示例中，可使用来自与干涉滤波器(该干涉滤波器配置为使特定波长范围内的光通过)相关联的第一阵列的光学传感器来校正显示干涉，而使用来自与干涉滤波器(该干涉滤波器配置为使其他波长范围内的光通过)相关联的第一阵列的光学传感器来校正自动白平衡(AWB)。在一个示例中，处理器可以进一步适于基于来自显示器的输出和/或该多个空间区域的光谱响应来检测显示器色度学上随时间的变化。
应当注意，本文可以使用的术语诸如比特流、流、信号序列等(或它们的等同物)已经被可互换地用来描述其内容对应于多种期望类型(例如，数据、视频、语音、文本、图形、音频等，其中的任何一个通常被称为“数据”)中的任何一种的数字信息。
如本文可以使用的，术语“基本”和“大约”为其相应的术语和/或项目之间的相关性提供了行业接受的公差。对于某些行业，行业接受的公差小于百分之一，对于其他行业，行业接受的公差为10％或者更高。其他行业接受的公差的示例范围从小于百分之一到百分之五十。行业接受的公差对应于但不限于组件值、集成电路工艺变化、温度变化、上升和下降时间、热噪声、尺寸、信号误差、丢弃的数据包、温度、压力、材料成分和/或性能指标等。在一个行业内，可接受公差的公差方差可能大于或者小于一个百分比水平(例如，尺寸公差小于+/-1％)。项目之间的某些相关性范围可能从小于百分比水平的差异到几个百分比。项目之间的其他相关性范围可能从百分之几的差异到巨大的差异。
如本文可以使用的，术语“配置为”、“可操作地耦合到”、“耦合到”和/或“耦合”包括项目之间的直接耦合和/或项目之间经由中间项目的间接耦合(例如，项目包括但不限于组件、元件、电路和/或模块)，其中作为间接耦合的示例，中间项目不修改信号的信息，但是可以调整其电流水平、电压水平和/或功率水平。如本文可进一步使用的，推断耦合(即，一个元件通过推断耦合到另一元件)包括以与“耦合到”相同的方式在两个项目之间的直接耦合和间接耦合。
如本文甚至可以进一步使用的，术语“配置为”、“可操作地”、“耦合到”或“可操作地耦合到”指示项目包括电源连接、输入、输出等中的一个或多个，以在被激活时执行其一个或多个相应的功能，并且可以进一步包括推断的与一个或多个其他项目的耦合。如本文可又进一步使用的，术语“与……相关联”包括分开的项目和/或嵌入另一项目中的一个项目的直接耦合和/或间接耦合。
如本文可以使用的，术语“有利地比较”指示两个或更多个项目、信号等之间的比较，提供了期望的关系。例如，当期望的关系是信号1具有比信号2更大的幅度时、当信号1的幅度大于信号2的幅度或者当信号2的幅度小于信号1的幅度时，可以获得有利的比较。如本文可使用的，术语“不利地比较”指示两个或更多个项目、信号等之间的比较，无法提供期望的关系。
如本文可以使用的，一个或多个权利要求可以以此类通用形式的具体形式包括短语“a、b和c中的至少一个”或此类通用形式的“a、b或c中的至少一个”，具有比“a”、“b”和“c”更多或者更少的元件。在任何一种表达方式中，这些短语都要作相同的解释。具体来说，“a、b和c中的至少一个”等同于“a、b或c中的至少一个”，并且应意指a、b和/或c。例如，它意指：仅“a”、仅“b”、仅“c”、“a”和“b”、“a”和“c”、“b”和“c”和/或“a”、“b”和“c”。
如本文也可以使用的，术语“处理模块”、“处理电路”、“处理器”、“处理电路***”和/或“处理单元”可以是单个处理装置或多个处理装置。此类处理装置可以是微处理器、微控制器、数字信号处理器、微型计算机、中央处理器、现场可编程门阵列、可编程逻辑装置、状态机、逻辑电路***、模拟电路***、数字电路***和/或基于电路***和/或操作指令的硬编码来操纵信号(模拟和/或数字)的任何装置。处理模块、模块、处理电路、处理电路***和/或处理单元可以是或进一步包括存储器和/或集成存储器元件，其可以是单个存储器装置、多个存储器装置和/或另一处理模块、模块、处理电路、处理电路***和/或处理单元的嵌入式电路***。此类存储器装置可以是只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪存、高速缓冲存储器和/或存储数字信息的任何装置。应当注意，如果处理模块、模块、处理电路、处理电路***和/或处理单元包括多于一个的处理装置，则处理装置可以于中央定位(例如，经由有线和/或无线总线结构直接耦合在一起)或者可以是分布式定位(例如，经由局域网和/或广域网间接耦合的云计算)。进一步注意，如果处理模块、模块、处理电路、处理电路***和/或处理单元经由状态机、模拟电路***、数字电路***和/或逻辑电路***实施其一个或多个功能，则存储相应的操作指令的存储器和/或存储器元件可以嵌入在包含状态机、模拟电路***、数字电路***和/或逻辑电路***的电路***内或外部。仍进一步注意，存储器元件可以存储并且处理模块、模块、处理电路、处理电路***和/或处理单元执行对应于一个或多个附图中示出的至少一些步骤和/或功能的硬编码和/或操作指令。在制造品中可以包括此类存储器装置或存储器元件。
以上已经借助于说明具体功能的执行及其关系的方法步骤描述了一个或多个实施例。为了方便描述，这些功能构建块和方法步骤的边界和顺序在本文被任意定义。只要适当执行具体功能和关系，就可以限定可替代的边界和顺序。因此，任何此类可替代的边界或顺序都在权利要求的范围和精神内。进一步，为了方便描述，这些功能构建块的边界被任意定义。只要适当执行一定重要功能，就可以限定可替代的边界。类似地，流程框图也可以在本文任意定义，以说明一定重要的功能。
就所使用的范围而言，流程框图边界和顺序可以以其他方式限定，并且仍然执行一定重要的功能。因此，功能构建块和流程框图和序列的此类可替代的定义都在权利要求的范围和精神内。本领域普通技术人员还将认识到，功能构建块以及本文其他说明性块、模块和组件可以如所示出的那样或者通过分立组件、专用集成电路、执行适当软件的处理器等或者它们的任意组合来实施。
此外，流程图可以包括“开始”和/或“继续”指示。“开始”和“继续”指示反映了所呈现的步骤可以可选地合并到一个或多个其他例程中或者以其他方式与一个或多个其他例程结合使用。此外，流程图可以包括“结束”和/或“继续”指示。“结束”和/或“继续”指示反映了所呈现的步骤可以如所描述和示出的那样或者可选地合并到一个或多个其他例程中或者以其他方式与一个或多个其他例程结合使用。在此类情况下，“开始”指示所呈现的第一步的开始，并且可以在未具体示出的其他活动之前。进一步，“继续”指示反映了所呈现的步骤可以被执行多次和/或可以被未具体示出的其他活动所接替。进一步地，虽然流程图指示步骤的特定顺序，但是只要保持因果关系的原则，其他顺序同样是可能提供的。
本文使用一个或多个实施例来说明一个或多个方面、一个或多个特征、一个或多个概念和/或一个或多个示例。设备、制品、机器和/或过程的物理实施例可以包括参考本文讨论的一个或多个实施例所描述的一个或多个方面、特征、概念、示例等。此外，从一个图到另一图，实施例可以包括相同或类似命名的功能、步骤、模块等，该功能、步骤、模块等可以使用相同或不同的参考号，并且因此，该功能、步骤、模块等可以是相同或类似的功能、步骤、模块等，也可以是不同的功能、步骤、模块等。
除非有相反的具体说明，否则本文呈现的任何附图的图形中，去往、来自和/或在元件之间的信号可以是模拟的或数字的、连续时间的或离散时间的、和单端的或差分的。例如，如果信号路径示为单端路径，它也代表差分信号路径。类似地，如果信号路径示为差分路径，它也代表单端信号路径。虽然本文描述了一个或多个特定的体系架构，但是同样可以实现使用一个或多个未明确示出的数据总线、元件之间的直接连接和/或本领域普通技术人员所认识到的其他元件之间的间接耦合的其他体系架构。
术语“模块”用于描述一个或多个实施例。模块经由诸如处理器或其他处理装置或其他硬件之类的装置来实现一个或多个功能，该装置可以包括存储操作指令的存储器或与其相关联地操作。模块可以独立操作和/或与软件和/或固件结合操作。还如本文所用，模块可以含有一个或多个子模块，每个子模块可以是一个或多个模块。
如本文进一步使用的，计算机可读存储器包括一个或多个存储器元件。存储器元件可以是分开的存储器装置、多个存储器装置或者存储器装置内的一组存储器位置。此类存储器装置可以是只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪存、高速缓冲存储器和/或存储数字信息的任何装置。存储器装置可以是固态存储器、硬盘驱动器存储器、云存储器、拇指驱动器、服务器存储器、计算装置存储器和/或用于存储数字信息的其他物理介质的形式。
虽然本文已经明确描述了一个或多个实施例的各种功能和特征的特定组合，但是这些特征和功能的其他组合同样是可能的。本公开不受本文公开的特定示例的限制，并且明确地合并了这些其他组合。
在实施方式和操作的一个示例中，一种用于对场景进行成像的***包括：多个光学传感器，其位于集成电路上；多组干涉滤波器，其中所述多组干涉滤波器中的一组干涉滤波器包括以图案布置的多个干涉滤波器，其中所述多个干涉滤波器中的每个干涉滤波器配置为使不同波长范围的光通过(在所述示例中，所述多组干涉滤波器中的每组干涉滤波器与所述场景的空间区域相关联)；以及一个或多个处理器，其中所述一个或多个处理器适于为所述场景的空间区域提供光谱响应。
在相关示例中，所述***包括：多个抑制滤波器，其以图案布置，其中所述多个抑制滤波器与一组或多组干涉滤波器相关联，并且所述多个抑制滤波器中的每个抑制滤波器配置为基本上抑制一个或多个预定波长的光。在另一示例中，所述多个光学传感器、所述多组干涉滤波器和所述多个抑制滤波器形成在集成电路的背侧上。在又一个示例中，所述多个抑制滤波器中的一个或多个抑制滤波器是另一干涉滤波器，其中所述另一干涉滤波器是所述多个干涉滤波器中的一者，并且其中所述另一干涉滤波器同时配置为对于第一光学传感器与干涉滤波器对使特定波长范围内的光通过并且对于第二光学传感器与干涉滤波器对抑制光。
在实施方式的另一示例中，所述多个抑制滤波器位于一组或多组干涉滤波器的顶部。在相关示例中，所述多个抑制滤波器具有各自的顶表面和各自的底表面，而所述多组干涉滤波器具有各自的顶表面和各自的底表面，其中所述多个抑制滤波器的所述底表面位于所述多组干涉滤波器的所述顶表面附近。在又一示例中，上述多个抑制滤波器具有各自的顶表面和各自的底表面，并且所述多组干涉滤波器具有各自的顶表面和各自的底表面，其中所述多个抑制滤波器的所述顶表面位于所述多组干涉滤波器的所述底表面附近。在一个特定相关示例中，所述组干涉滤波器中的多个干涉滤波器与所述多个抑制滤波器中的每个抑制滤波器相关联。
在一个示例中，所述用于对场景进行成像的***包括多组干涉滤波器，其中所述多组干涉滤波器包括比所述多个光学传感器小的数目组的干涉滤波器。在另一示例中，所述多组干涉滤波器中的每组干涉滤波器与所述多个光学传感器中的一组光学传感器相关联。在相关示例中，所述组干涉滤波器布置成还包括多个有机滤波器的图案。在又一相关示例中，一组干涉滤波器布置成还包括多个非干涉滤波器的图案，其中所述非干涉滤波器选自由有机滤波器和等离子体滤波器中的至少一个组成的群组；并且在具体相关示例中，所述至少一个有机滤波器适于使红外光波长通过。
在实施方式的另一示例中，多组干涉滤波器中的至少一组干涉滤波器布置成一个图案，其中至少一个干涉滤波器的大小分别大于所述组干涉滤波器中的至少一个其他干涉滤波器。在相关示例中，其中大小分别大于所述组干涉滤波器中的至少一个其他干涉滤波器的所述干涉滤波器呈拉长矩形形状。在实施方式的相关示例中，所述多个光学传感器包括多组光学传感器，其中每组光学传感器布置成包括至少一个光学传感器的图案，所述至少一个光学传感器的大小分别大于所述组光学传感器中的至少一个其他光学传感器。在又一相关示例中，所述多个干涉滤波器的图案是马赛克，并且所述***适于产生光谱信息，所述光谱信息包括来自所述多个干涉滤波器中的一组或多组干涉滤波器的带通响应。并且在另一相关示例中，所述带通响应是基于所述马赛克的去马赛克来确定的。
在实施方式和操作的具体示例中，一种用于对场景进行成像的方法包括：通过成像***对从多组光谱传感器中的一组光谱传感器接收到的光谱进行采样，其中多个光谱传感器中的每组光谱传感器在空间上与所述组光谱传感器中的每个其他光谱传感器分离，并且所述组光谱传感器中的每个光谱传感器与和所述成像***相关联的一个或多个光学传感器相关联。所述方法将接收到的所述光谱与多个光谱类型进行比较；并且基于所述比较，确定从所述组光谱传感器接收的所述光谱是否代表所述多个光谱类型的光谱。响应于确定接收到的光谱代表光谱类型，所述方法继续用所述***提供用于调整所述场景的至少一部分的颜色平衡的信息。在相关示例中，所述方法包括将接收到的所述光谱与多个光源方向性进行比较的步骤，其中所述光源方向性是所述光源相对于场景的位置；并且所述方法通过以下继续：基于所述比较，确定所述光源的光源方向性；以及响应于光源方向性确定而提供用于调整所述图像传感器的颜色平衡的信息。

Claims (20)

1.一种光学传感器***，所述***包含：
多组光学传感器，其在衬底上实施，每组光学传感器具有相应的顶表面；
多组光学滤波器，其中所述多组光学滤波器中的一组光学滤波器与所述多组光学传感器中的一组光学传感器相关联，其中所述多组光学滤波器中的一组光学滤波器包括以图案布置的多个光学滤波器，其中所述多个光学滤波器中的每个光学滤波器配置成使预定光谱范围的不同波长范围中的光通过，并且所述多组光学滤波器中的所述一组光学滤波器进行操作以提供与所述预定光谱范围对应的带通响应，每组光学滤波器具有相应的顶表面和相应的底表面，其中一组光学滤波器的各自的底表面位于相关联的一组光学传感器的相应的顶表面的顶上，其中所述多组光学滤波器中的至少两组光学滤波器配置成提供不同的带通响应；
多个光学元件，其中所述多个光学元件中的每个光学元件与对应的一组光学传感器相关联；以及
一个或多个抑制滤波器，其中每个抑制滤波器与对应的一组光学传感器相关联，其中每个抑制滤波器被配置成使预定光谱范围中的光波长通过。
2.根据权利要求1所述的***，还包含：
多个挡板，其与所述多组光学传感器中的至少一组光学传感器相关联，其中所述多个挡板中的每个挡板延伸入射到所述组光学传感器的所述相应的顶表面。
3.根据权利要求2所述的***，其中所述多个挡板中的至少一些挡板适于支撑所述一个或多个光学元件。
4.根据权利要求2所述的***，其中所述挡板适于支撑与相邻组的光学传感器相关联的所述一个或多个抑制滤波器中的至少一些。
5.根据权利要求2所述的***，其中所述多个挡板中的至少一些挡板配置成减少相邻组的光学传感器之间的串扰，其中串扰是在所述多组光学传感器中的一组光学传感器处接收到的非期望波长范围的光。
6.根据权利要求2所述的***，其中所述一个或多个抑制滤波器形成在玻璃衬底上，其中在所述多个挡板中的至少两个挡板之间形成有至少一个光学元件和至少一个抑制滤波器。
7.根据权利要求1所述的***，其中至少一个光学元件选自由以下组成的群组：
针孔；
透镜；
孔径光阑；
光圈；
元透镜；
平面透镜；
色散元件；以及
透镜组。
8.根据权利要求1所述的***，其中所述多组光学滤波器中的至少一组光学滤波器包括一个或多个干涉滤波器。
9.根据权利要求1所述的***，其中所述一个或多个光学元件中的与对应的一组光学传感器相关联的至少一个光学元件适于对场景的空间区域进行成像，其中所述场景落于所述***的视野内。
10.根据权利要求9所述的***，其中所述一个或多个光学元件中的与另一组对应的光学传感器相关联的至少一个光学元件适于从所述场景的所述空间区域收集光。
11.根据权利要求1所述的***，还包含一个或多个处理器，其中所述一个或多个处理器适于针对场景的相同空间区域为所述多组光学传感器中的第一组光学传感器和所述多组光学传感器中的第二组光学传感器提供光谱响应，其中所述场景落于所述***的视野内。
12.根据权利要求1所述的***，其中至少一组光学传感器的带通响应包括紫外光范围中的光波长。
13.根据权利要求1所述的***，其中至少一组光学传感器的带通响应包括红外光范围中的光波长。
14.根据权利要求1所述的***，其中所述多组光学传感器被形成为集成电路上的背侧照明传感器。
15.一种用于制造光学传感器***的方法，所述方法包含：
在衬底上形成光学传感器阵列，所述光学传感器阵列具有相应的顶表面；
形成具有相应的顶表面和相应的底表面的多组光学滤波器，其中所述多个光学滤波器的所述相应的底表面位于所述光学传感器阵列的所述相应的顶表面附近；
形成多个挡板，其中所述多个挡板中的每个挡板延伸入射到所述光学传感器阵列的所述相应的顶表面，其中所述多个挡板中的至少多个挡板与所述多个滤波器中的每组滤波器相关联；
形成多个抑制滤波器，所述多个抑制滤波器中的每个抑制滤波器具有相应的顶表面和相应的底表面，其中每个抑制滤波器的所述相应的底表面位于所述多组光学传感器中的一组光学传感器的所述相应的顶表面上方；以及
形成多个光学元件，所述多个光学元件中的每个光学元件具有相应的顶表面和相应的底表面，其中所述多个光学元件中的至少一些光学元件的所述相应的底表面位于所述多组光学滤波器中的一组光学滤波器的所述相应的顶表面上方。
16.根据权利要求15所述的方法，其中所述多个抑制滤波器中的每个抑制滤波器形成在玻璃衬底上，其中所述多个光学元件、所述多个挡板和所述多个抑制滤波器一起形成总成，其中所述方法还包含将所述总成安装到所述衬底。
17.根据权利要求15所述的方法，其中所述衬底具有相应的前侧和相应的背侧，其中所述相应的前侧包括集成电路，并且所述多组光学传感器形成在所述相应的背侧上以提供背侧照明传感器。
18.一种用于在光学传感器***中执行的方法，所述方法包含：
将光学传感器的多个子阵列作为多波段光谱传感器进行操作以对场景的空间区域进行成像；
通过光学传感器的第一子阵列对所述场景的所述空间区域进行成像以提供所述场景的所述空间区域的第一带通响应，所述光学传感器的第一子阵列具有相应的顶表面，其中所述光学传感器的第一子阵列配置在光学元件的堆叠中，所述光学元件的堆叠包括：
第一多个挡板，其延伸入射到一组滤波器的相应的顶表面；
第一光学元件，其由所述多个挡板中的至少一些支撑，每个光学元件具有相应的顶表面和相应的底表面；
第一抑制滤波器，其具有相应的顶表面和相应的底表面，所述第一抑制滤波器的所述相应的顶表面位于所述第一组光学元件的所述相应的底表面附近；
一组光学滤波器，其中所述多组光学滤波器中的所述组光学滤波器包括以图案布置的多个光学滤波器，其中所述多个光学滤波器中的每个光学滤波器被配置成使第一光谱范围的不同波长范围中的光通过，并且所述多组光学滤波器中的所述组光学滤波器进行操作以提供与所述第一光谱范围对应的带通响应，每组光学滤波器具有相应的顶表面和相应的底表面，其中一组光学滤波器的相应的底表面位于所述光学传感器的第一子阵列的所述相应的顶表面的顶上；
通过光学传感器的第二子阵列对所述场景的所述空间区域进行成像以提供所述场景的所述空间区域的第二带通响应，所述光学传感器的第二子阵列具有相应的顶表面，其中所述光学传感器的第二子阵列配置在光学元件的堆叠中，所述光学元件的堆叠包括：
第二多个挡板，其延伸入射到一组光学滤波器的所述相应的顶表面；
第二组光学元件，其由所述多个挡板中的至少一些挡板支撑，每组光学元件具有相应的顶表面和相应的底表面；
第二抑制滤波器，其具有相应的顶表面和相应的底表面，所述第二抑制滤波器的所述相应的顶表面面对所述第二组光学元件的所述相应的底表面定位；以及
第二组光学滤波器，其中所述第二组光绪滤波器包括以图案布置的多个光学滤波器，其中所述多个光学滤波器中的每个光学滤波器配置成使第二光谱范围的不同波长范围中光通过，并且所述多组光学滤波器中的所述组光学滤波器进行操作以提供与所述第二光谱范围对应的带通响应，每组光学滤波器具有相应的顶表面和相应的底表面，其中一组光学滤波器的相应的底表面位于所述光学传感器的第二子阵列的所述相应的顶表面的顶上。
19.根据权利要求18所述的方法，还包含：
对所述第一带通响应和所述第二带通响应进行处理以提供所述场景的所述空间区域的光谱图像。
20.根据权利要求19所述的方法，其中所述第一组光学元件和所述第二组光学元件选自由以下组成的群组：
针孔；
透镜；
孔径光阑；
光圈；
元透镜；
平面透镜；
色散元件；以及
镜头组。
CN202110724930.1A 2020-07-01 2021-06-29 使用光学滤波器子阵列的光谱传感器*** Active CN113884184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311599189.6A CN117641139A (zh) 2020-07-01 2021-06-29 使用光学滤波器子阵列的光谱传感器***

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US202063047084P 2020-07-01 2020-07-01
US63/047,084 2020-07-01
US202063066507P 2020-08-17 2020-08-17
US63/066,507 2020-08-17
US17/340,449 2021-06-07
US17/340,449 US11696043B2 (en) 2020-07-01 2021-06-07 White balance compensation using a spectral sensor system
US17/349,142 2021-06-16
US17/349,142 US11747533B2 (en) 2020-07-01 2021-06-16 Spectral sensor system using optical filter subarrays

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311599189.6A Division CN117641139A (zh) 2020-07-01 2021-06-29 使用光学滤波器子阵列的光谱传感器***

Publications (2)

Publication Number Publication Date
CN113884184A CN113884184A (zh) 2022-01-04
CN113884184B true CN113884184B (zh) 2023-12-05

Family

ID=79010618

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311599189.6A Pending CN117641139A (zh) 2020-07-01 2021-06-29 使用光学滤波器子阵列的光谱传感器***
CN202110724930.1A Active CN113884184B (zh) 2020-07-01 2021-06-29 使用光学滤波器子阵列的光谱传感器***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311599189.6A Pending CN117641139A (zh) 2020-07-01 2021-06-29 使用光学滤波器子阵列的光谱传感器***

Country Status (3)

Country Link
US (1) US11747533B2 (zh)
CN (2) CN117641139A (zh)
DE (1) DE102021116512A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6945195B2 (ja) * 2019-01-16 2021-10-06 パナソニックＩｐマネジメント株式会社 光学フィルタ、光検出装置、および光検出システム
US11696043B2 (en) * 2020-07-01 2023-07-04 Spectricity White balance compensation using a spectral sensor system
US11747533B2 (en) * 2020-07-01 2023-09-05 Spectricity Spectral sensor system using optical filter subarrays
US20220115420A1 (en) * 2020-10-13 2022-04-14 Samsung Electronics Co., Ltd. Hyperspectral element, hyperspectral sensor including the same, and hyperspectral image generating apparatus
US11810928B2 (en) * 2021-05-17 2023-11-07 Omnivision Technologies, Inc. CMOS image sensor with LED flickering reduction and low color cross-talk
CN114582991A (zh) * 2022-02-22 2022-06-03 南京信息工程大学 一种量子点集成微型紫外光谱传感芯片及其制备方法
WO2024110595A1 (en) * 2022-11-23 2024-05-30 ams Sensors Germany GmbH Optical sensor element, multi-spectral optical sensor and electronic device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102741671A (zh) * 2009-11-30 2012-10-17 Imec公司 用于光谱成像***的集成电路

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6904169B2 (en) * 2001-11-13 2005-06-07 Nokia Corporation Method and system for improving color images
US8040558B2 (en) * 2006-11-29 2011-10-18 Youliza, Gehts B.V. Limited Liability Company Apparatus and method for shift invariant differential (SID) image data interpolation in fully populated shift invariant matrix
WO2008074019A2 (en) * 2006-12-13 2008-06-19 Georgia Tech Research Corporation Systems and methods for real time multispectral imaging
US8229212B2 (en) * 2008-04-08 2012-07-24 Qualcomm Incorporated Interpolation system and method
US9094593B2 (en) * 2013-07-30 2015-07-28 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules that have shielding to reduce light leakage or stray light, and fabrication methods for such modules
US9883128B2 (en) * 2016-05-20 2018-01-30 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US20170374306A1 (en) * 2016-06-23 2017-12-28 Semiconductor Components Industries, Llc Image sensor system with an automatic focus function
EP3348974A1 (en) * 2017-01-17 2018-07-18 IMEC vzw An image sensor, an imaging device, an imaging system and a method for spectral imaging
US11747533B2 (en) * 2020-07-01 2023-09-05 Spectricity Spectral sensor system using optical filter subarrays

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102741671A (zh) * 2009-11-30 2012-10-17 Imec公司 用于光谱成像***的集成电路

Also Published As

Publication number Publication date
US11747533B2 (en) 2023-09-05
CN113884184A (zh) 2022-01-04
DE102021116512A1 (de) 2022-01-05
US20220003907A1 (en) 2022-01-06
CN117641139A (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN113884184B (zh) 使用光学滤波器子阵列的光谱传感器***
US11711629B2 (en) Solid-state image pickup device and electronic apparatus
US11412196B2 (en) Digital cameras with direct luminance and chrominance detection
US9615030B2 (en) Luminance source selection in a multi-lens camera
JP6532185B2 (ja) 露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システム
US9497370B2 (en) Array camera architecture implementing quantum dot color filters
US9307127B2 (en) Image capturing device and image capturing system
US9531963B2 (en) Image capturing device and image capturing system
US9883149B2 (en) Imaging sensor and method for color night vision
US20140191113A1 (en) System and method for color imaging with integrated plasmonic color filters
KR20090067059A (ko) 디지털 이미지를 생성하는 방법 및 장치
TW201407757A (zh) 用於具彩色濾光片之分割影像感測器之鏡片陣列
CN108700472A (zh) 使用相对的滤光器掩模进行相位检测自动聚焦
US11696043B2 (en) White balance compensation using a spectral sensor system
US20190058837A1 (en) System for capturing scene and nir relighting effects in movie postproduction transmission
CN102668571A (zh) 具有像素替代的稀疏色彩像素阵列
US20060289958A1 (en) Color filter and image pickup apparatus including the same
US10609361B2 (en) Imaging systems with depth detection
WO2022074047A1 (en) Multi-spectral optical sensor and system
CN116183021A (zh) 成像***中的发光体校正
US20230082539A1 (en) Illuminant correction in an imaging system
US10304883B2 (en) Color filter array and image sensing device using the same
Getman et al. Crosstalk, color tint and shading correction for small pixel size image sensor
US20240080577A1 (en) Image acquisition apparatus and method using color separation lens array
CN117693668A (zh) 具有光学模糊的分段式多光谱传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant