CN110998261A - 小型热成像核心的设计、测试和操作 - Google Patents

小型热成像核心的设计、测试和操作 Download PDF

Info

Publication number
CN110998261A
CN110998261A CN201880050903.7A CN201880050903A CN110998261A CN 110998261 A CN110998261 A CN 110998261A CN 201880050903 A CN201880050903 A CN 201880050903A CN 110998261 A CN110998261 A CN 110998261A
Authority
CN
China
Prior art keywords
lens
fpa
housing
microkernel
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880050903.7A
Other languages
English (en)
Other versions
CN110998261B (zh
Inventor
W·J·帕里希
J·乌尔夫
D·莫兰
B·亨利
R·威廉姆斯
R·米德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seek Thermal Inc
Original Assignee
Seek Thermal Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seek Thermal Inc filed Critical Seek Thermal Inc
Publication of CN110998261A publication Critical patent/CN110998261A/zh
Application granted granted Critical
Publication of CN110998261B publication Critical patent/CN110998261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/52Radiation pyrometry, e.g. infrared or optical thermometry using comparison with reference sources, e.g. disappearing-filament pyrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/0205Mechanical elements; Supports for optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/0215Compact construction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/061Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity by controlling the temperature of the apparatus or parts thereof, e.g. using cooling means or thermostats
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/08Optical arrangements
    • G01J5/0806Focusing or collimating elements, e.g. lenses or concave mirrors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/52Radiation pyrometry, e.g. infrared or optical thermometry using comparison with reference sources, e.g. disappearing-filament pyrometer
    • G01J5/53Reference sources, e.g. standard lamps; Black bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/52Radiation pyrometry, e.g. infrared or optical thermometry using comparison with reference sources, e.g. disappearing-filament pyrometer
    • G01J5/53Reference sources, e.g. standard lamps; Black bodies
    • G01J5/532Reference sources, e.g. standard lamps; Black bodies using a reference heater of the emissive surface type, e.g. for selectively absorbing materials
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/52Radiation pyrometry, e.g. infrared or optical thermometry using comparison with reference sources, e.g. disappearing-filament pyrometer
    • G01J5/54Optical arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80Calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Radiation Pyrometers (AREA)
  • Measuring Temperature Or Quantity Of Heat (AREA)

Abstract

超小型热成像核心或微核。微核的设计可以包括用于安装光学器件和电子连接器的基板,该基板与成像焦平面阵列(FPA)热匹配。还可以提供用于测试和调节的测试夹具,该测试夹具允许对多个核心进行操作和图像获取。可以包括工具来定位光学器件以设定核心聚焦,方法是在观察场景的同时,或者通过将透镜和透镜支架作为一个整体移动,或者通过对着透镜支架内的透镜定位元件推动和/或拉动透镜。允许对每个个别核心进行全温度校准以及提供对操作期间的均匀性校正有用的数据的测试程序和夹具也可以作为核心的测试和制造的一部分被包括在内。

Description

小型热成像核心的设计、测试和操作
对任何优先权申请的引用
本申请依据35 U.S.C.§119(e)要求于2017年6月21日提交的题为“DESIGN,TEST,AND OPERATION OF A SMALL THERMAL IMAGING CORE”的美国临时申请No.62/523,113和于2017年8月15日提交的题为“DESIGN,TEST,AND OPERATION OF A SMALL THERMAL IMAGINGCORE”的美国临时申请No.62/545,922的优先权权益。这些优先权文件中的每一个的全部公开通过引用并入本文。
技术领域
本说明书涉及非常小的热成像核心,并且特别地涉及使得能够将热成像包括在诸如智能电话、微型无人机、非常小的监视/安全***等的小型设备中的设计、测试和操作元件。
背景技术
高性能、低成本的非冷却式热成像设备(诸如基于辐射热计焦平面阵列(FPA)的设备)不断提高的可用性使得能够设计和生产能够进行高质量的热成像的面向消费者的热成像相机和传感器。这种热成像***长期以来一直很昂贵且难以生产,因此使高性能长波成像的采用限制为仅可用于航空、军事或大规模商业应用的高价值仪器。与复杂的军事或工业***相比,给定设计的热成像***(批量生产)可能具有不同的设计要求。为具有挑战性的成本和空间要求的消费类应用提供热成像仪,诸如用于智能电话和其它个人电子设备(PED)的热成像仪,可能会受益于跨越非常小的热成像核心的设计、制造、测试和操作的新技术。
发明内容
本文描述的示例实施例具有创新特征,其中没有一个是必不可少的或仅对它们的期望属性负责。在不限制权利要求的范围的情况下,现在将总结一些有利特征。
在一些实施例中,可以提供超小型热成像核心或微核。微核的设计可以包括用于安装光学器件和电子连接器的基板,这些基板与成像焦平面阵列(FPA)热匹配。可以提供工具来在观察场景的同时,或者通过将透镜和透镜支架作为一个整体移动,或者通过对着透镜支架内的透镜定位元件推动和/或拉动透镜来定位光学器件以设定核心聚焦。作为核心的测试和制造的一部分,还可以提供允许对每个个别核心进行全温度校准以及提供对操作期间的均匀性校正有用的数据的测试过程。
在一些实施例中,热成像微核包括至少部分地由第一材料微制造的热成像焦平面阵列;具有与第一材料基本相同热性质的第二材料的基板;至少一个光学元件;光学壳体;以及电路元件,其中,FPA被结合到基板,光学元件被附接到壳体,壳体被结合到基板,其中光学元件被部署为将FPA暴露于外部场景,并且电路元件被配置为提供FPA与主机***之间的连接,以及其中组装在一起的壳体、基板和FPA的最长维度小于0.5”,并且与电路元件组装在一起的微核的长度小于1.5”,并且所有其它维度均小于0.5”。
在一些实施例中,第一材料和第二材料都是硅。在一些实施例中,基板是从硅晶片切成的切片,该硅晶片的厚度与微制造FPA的晶片的厚度基本相同。在一些实施例中,电路元件包括柔性电路。在一些实施例中,柔性电路被结合到基板。在一些实施例中,通过在柔性电路上的接触焊盘与FPA上的接触焊盘之间的引线结合来实现到FPA的柔性电路连接。在一些实施例中,通过制造到基板中的连接来实现到FPA的柔性电路连接。在一些实施例中,通过在柔性电路上的接触焊盘与基板上的接触焊盘之间的焊料连接,或在柔性电路上的接触焊盘与基板上的接触焊盘之间的凸点连接中的至少一种来实现到基板的柔性电路连接。在一些实施例中,通过在FPA上的接触焊盘与基板上的接触焊盘之间的焊料连接,或在FPA上的接触焊盘与基板上的接触焊盘之间的凸点连接中的至少一种来实现到基板的FPA连接。在一些实施例中,电路元件包括被配置为与内部主机***连接器兼容的连接器。
在另一个实施例中,一种如权利要求1中所述的用于调节热成像仪的透镜的焦距的处理包括将透镜结合在壳体中;在透镜相对于FPA适当定位的情况下将壳体放置到基板上;将操作和从FPA获取图像数据所需的所有输入和输出与FPA对接;用FPA通过透镜来观察成像场景以确定聚焦的程度;通过改变壳体相对于基板的位置来优化观察到的图像聚焦;以及在优化的聚焦点处相对于基板来固定壳***置。
在一些实施例中,通过结合元件来完成固定壳***置,该结合元件包括胶水、环氧树脂、焊料或紧固件中的至少一种。在一些实施例中,该方法还包括以弹性状态将结合元件应用到基板和壳体上,从而找到焦距,并使结合元件在期望位置处与壳体无弹性。在一些实施例中,结合剂是可固化的,并且在元件处于未固化状态的情况下改变壳***置,并且在壳体的期望位置处将元件固化在适当的位置。在一些实施例中,在壳体的定位中考虑由于固化而引起的位置变化。
在另一个实施例中,一种用于调节热成像仪的透镜的聚焦的处理,其中热成像仪包括焦平面阵列(FPA)、透镜和相对于FPA保持透镜的透镜壳体,该处理包括将透镜放置在壳体中,其中壳体被配置为允许在壳体内进行定位调节,并且透镜工具被配置为在壳体内拉动和/或推动透镜;在透镜和FPA之间的壳体中***位置调节元件,其中位置调节元件被配置为允许通过透镜至少部分无遮挡地查看FPA;使用透镜工具使透镜与定位调节元件接触,其中应用到透镜上的工具对定位元件的推动/拉动压力允许透镜在壳体内的临时稳定定位;用FPA通过透镜观察图像场景以确定聚焦的程度;通过改变透镜在壳体中的位置来优化观察到的图像聚焦;在优化的聚焦的点处固定透镜位置;以及从壳体中移除定位元件。
在一些实施例中,定位元件是基本垂直于透镜聚焦轴线定向的锥形轴,并且透镜工具对着锥形轴推动透镜,并且通过将锥形轴拉入和拉出壳体来改变临时稳定位置。在一些实施例中,锥形轴是圆形锥形轴或楔形锥形轴中的至少一个。在一些实施例中,定位元件是基本垂直于透镜聚焦轴线定向的弹簧,并且透镜工具对着弹簧推动透镜,并且通过平衡透镜工具推动动作抵抗弹簧的反向压力来改变临时稳定位置。在一些实施例中,弹簧是板簧。在一些实施例中,固定透镜位置包括将结合剂应用到透镜和透镜支架中的至少一个上,从而将透镜固定在适当的位置。在一些实施例中,壳体和透镜配置有用于应用结合剂的通道,该通道确保结合剂与透镜和壳体两者相互接触。在一些实施例中,结合剂是胶水、环氧树脂、橡胶密封剂或点焊中的至少一种。在一些实施例中,透镜支架相对于壳体是固定的或附接到精细聚焦元件中的至少一个。在一些实施例中,通过定位元件可实现的透镜定位范围大于10微米,并且定位分辨率小于1微米。在一些实施例中,通过定位元件可实现的透镜定位范围大于50微米。在一些实施例中,在保持多个微核的面板上制造微核,该面板被配置用于对多个微核进行组装操作。在一些实施例中,在保持多个微核的面板上测试微核,该面板被配置用于对多个微核进行测试操作。在一些实施例中,在保持多个微核的面板上设置微核的聚焦,该面板被配置用于对多个微核进行聚焦操作。
在另一个实施例中,一种如权利要求中1所述的用于测试热成像微核的处理包括:将至少一个微核放置在测试夹具中;将微核对接到测试电子器件,该电子器件被配置为操作并从微核获取图像数据;将微核暴露于多个受控环境温度;记录代表每个受控环境温度的温度传感器读数;在每个受控环境温度下将微核暴露于多个受控温度场景,并记录用于场景的微核获取图像的至少一部分像素的信号电平;以及为每个微核创建至少一个数据集,该数据集包括代表场景温度与环境温度,或像素到像素变化与场景温度与环境温度的信号中的至少一个,并且其中表被存储以供在每个微核中使用,或者被提供有每个微核以供在微核操作时存储在与微核对接的处理器中的至少一个。
在一些实施例中,通过将微核安装到其温度受控的散热器来控制环境温度。在一些实施例中,通过流过散热器中的通道的热电设备或温度受控流体中的至少一种来控制散热器温度。在一些实施例中,受控温度场景是依次呈现以供由微核查看的多个独立的温度受控黑体。在一些实施例中,黑体温度通过高温计来测量,并且高温计测量的温度被存储在数据集中。在一些实施例中,受控的环境FPA温度是连续或半连续地变化中的至少一个,并且在图像获取期间采集的FPA温度传感器读数被存储在数据集中作为环境温度数据。
在另一个实施例中,一种用于操作包含根据权利要求30所测试的微核的热成像***的处理包括:应用基于场景的非均匀性校正(SBNUC),其包括生成逐像素FPN校正项的连续更新的固定模式噪声(FPN)校正,该处理包括读取温度传感器;从像素到像素变化的数据集内插数据,与数据集最接近的值对应于与实际温度传感器读数对应的环境温度和黑体温度两者;以及将导出的数据集用作图像帧的增益和偏移校正或初始FPN校正项中的至少一个。在一些实施例中,该处理还包括缩放和归一化数据集。
在另一个实施例中,一种包含根据权利要求30所测试的微核的热成像***被配置为:应用基于场景的非均匀性校正(SBNUC),包括生成逐像素FPN校正项的连续更新的固定模式噪声(FPN)校正;读取温度传感器;从像素到像素变化的数据集内插数据,与数据集最接近的值对应于与实际温度传感器读数对应的环境温度和黑体温度两者;以及将导出的数据集用作图像帧的增益和偏移校正或初始FPN校正项中的至少一个。在一些实施例中,热成像***还被配置为缩放和归一化数据集。
在一些实施例中,微核还包括在透镜和透镜支架之间的机电致动器,该机电致动器被配置为如果热成像***获取的图像没有连续地运动,则将运动赋予透镜或微核中的至少一个,以使FPN项更新。在一些实施例中,所赋予的运动用于开发子像素分辨率。
在另一个实施例中,热成像微核包括基板;结合到基板的热成像焦平面阵列(FPA);至少一个光学元件;耦合到至少一个光学元件的光学壳体,该光学壳体结合到基板,使得至少一个光学元件被部署为将FPA暴露于外部场景;耦合到基板并且被配置为提供FPA与主机***之间的一或多个电连接的电路元件;以及被配置为设置FPA的帧速率的振荡器电路,该振荡器电路被安装到电路元件,其中,振荡器的至少一部分被部署在电路元件与壳体的至少一部分之间,使得壳体防止振荡器电路从微核中移除。
在另一个实施例中,一种显示来自至少部分地成像相同场景的热成像仪和可见光成像仪的融合数据的方法包括:从可见光图像提取边缘信息;选择用于显示热图像的颜色表;以及根据混合系数,将可见光边缘数据与对应场景像素的热图像数据混合,其中,基于所选择的热颜色表自动选择混合系数。
在另一个实施例中,一种用于校正在包括光电检测器的焦平面阵列(FPA)的热成像仪中偏移漂移的方法,该热成像仪包括FPA环境温度传感器,该FPA环境温度传感器被配置为观察热场景并将热场景信息转换成多个其像素对应于阵列中的各个光电检测器的图像帧,该方法包括:在给定的FPA环境温度下,以至少一个像素的期望值的偏移值的形式提供非均匀性校正;在至少一个不同的FPA环境温度下更新非均匀性校正;开发偏移变化和温度传感器读数之间的关系;在热成像仪的成像操作期间,使用该关系将从温度传感器读数导出的偏移校正应用于图像数据。
在一些实施例中,非均匀性校正是通过作为成像仪的初始测试的一部分的校准操作执行的。在一些实施例中,偏移校正基于在制造测试时执行的偏移收集操作,并且其中该关系被存储以供在操作期间使用。在一些实施例中,偏移校正是在离散数量的温度传感器读数下确定的,并且该关系是与偏移校正数据点拟合的曲线。在一些实施例中,偏移校正是在成像仪的实际使用期间执行的,并且用于更新或替换任何先前存在的偏移漂移校正数据。在一些实施例中,偏移校正是在成像仪的操作期间通过以下方式执行的:在第一温度传感器值处观察平坦场景并确定NUC偏移数据集;在至少一个不同的温度传感器值处观察平坦场景并确定偏移数据集的差异;通过在不同FPA温度下从操作上观察到的平坦场景中开发关系,并在其它温度传感器读数下应用从该关系导出的偏移。在一些实施例中,用户将成像仪对准平坦的场景,并且通过来自用户的输入来启动偏移校正。在一些实施例中,成像仪检测到正在对平坦场景进行成像并启动偏移校正。在一些实施例中,在至少一个不同的温度传感器值处观察平坦场景包括,响应于偏移校正的启动并且在以第一温度传感器值观察平坦场景之后,启动省电或用电操作中的至少一个,其中与省电或用电操作相关联的电阻加热的增加或减少至少部分地导致局部环境温度从与第一温度传感器值相关联的第一温度改变为与不同温度传感器相关联的第二温度。
附图说明
结合附图,参考以下详细描述描述了本文提供的实施例的各方面和优点。在整个附图中,附图标记可被重复使用以指示所引用的元件之间的对应关系。提供附图是为了说明本文描述的示例实施例,而无意于限制本公开的范围。
图1A、1B、1C和1D示出了说明性热成像核心的一般元件。
图2示出了示意性布置的核心的一些元件。
图3图示了透镜支架中的透镜,其中透镜相对于FPA的位置决定了核心的聚焦。
图4示意性地示出了示例性聚焦设置。
图5A、5B和5C图示了锥形轴定位元件的实施例。
图6A、6B和6C图示了弹簧定位元件的实施例。
图7示出了用于生产微核的示例性面板。
图8A和8B示出了用于测试和调节微核的示例性子面板。
图9示意性地示出了用于微核的测试设置。
图10示出了示例性测试数据。
图11示出了说明性测试处理的流程图。
图12示出了基于场景的非均匀性校正(SBNUC)的示例性固定模式噪声校正(FPN)。
图13是示例性FPN处理的流程图。
图14示意性地示出了使SBNUC能够用于静态***的透镜抖动实施例。
图15A、15B和15C图示了具有快门的核心的操作概念。
图16A和16B图示了无快门***的偏移漂移和校正的示例。
具体实施方式
本文公开的公开处理和校准可以被实现为模块或元件,其可以是编程的计算机方法或数字逻辑方法,并且可以使用任何各种模拟和/或数字分立电路部件(晶体管、电阻器、电容器、电感器、二极管等)、可编程逻辑、微处理器、微控制器、专用集成电路或其它电路元件的组合来实现。可以与分立电路部件一起实现被配置为存储计算机程序或计算机可执行指令的存储器,以执行本文描述的一种或多种方法。在某些实现中,可以结合相机核心上的一个或多个焦平面阵列(FPA)来实现所公开的方法,其中执行所公开的方法的处理器和存储器部件可以在集成到相机核心的处理设备上,诸如包括智能电话、平板电脑、个人计算机等的移动设备。在一些实现中,成像***的处理和存储器元件可以在作为核心或相机***的一部分的可编程逻辑或板载处理器中。一般而言,数字控制功能、图像获取、图像处理和图像显示/分析可以分布在一个或多个数字元件或处理器上。在任何公开的实施例中,提及***处理器或任何控制器都不应被解释为暗示控制和处理功能位于单个元件中。
作为所公开的***和方法提供的一些优点的特定示例,成像***可以包括被配置为获取场景图像的热成像焦平面阵列(FPA)。FPA可以包括N个检测器的二维阵列,其被配置为输出场景的二维图像。为了成像目的,图像帧(通常是来自所有或一些检测器Nf的数据)由FPA产生,其中每个连续帧都包含来自在连续时间窗口中捕获的阵列的数据。因此,由FPA传送的数据帧包括Nf个数字字,每个字表示图像中特定像素Sx,y的信号。这些数字字的长度通常由模数(A/D)转换处理确定。例如,如果用14位A/D转换像素数据,则像素字的长度可以为14位,并且每个字可以有16384个计数。在一些实施例中,可以以与标准定点或浮点处理兼容的格式(诸如16位)来编码A/D转换字。对于用作热成像***的红外(IR)相机,这些字可以对应于由阵列中的每个像素测量的辐射的强度。在特定示例中,对于辐射热计IR FPA,每个像素的强度通常与成像场景的对应部分的温度相关,其中较低的值对应于较冷的区域,并且较高的值对应于较热的区域。可能期望在视觉显示器上显示该数据。
FPA中的每个像素可以包括辐射检测器,其响应于检测到的辐射而生成相对较小的信号,诸如红外成像阵列中。与源于不是由入射辐射引起的源的FPA中的信号或信号电平或非图像信号相比,这些信号可能相对较小,其中,这些非图像信号与FPA的材料、结构和/或部件相关。例如,FPA中的像素可以包括接口电路***,该接口电路***包括可以直接与检测器阵列对接的读出集成电路(ROIC)上的电阻器网络、晶体管和电容器。例如,可以使用MEMS工艺来制造微辐射热计检测器阵列,微机电***(MEMS)设备。但是,可以使用电子电路技术来制造相关联的ROIC。这两个部件可以被组合以形成FPA。与响应于检测器上的入射辐射而产生的信号相比,接口电路***和检测器本身的组合可以具有相对较大的偏移和温度行为。因此,通常期望在显示或以其它方式处理图像数据之前补偿与图像信号无关的这些影响。
一般而言,本公开涉及小型热成像模块或微核,诸如旨在在智能电话或其它个人电子设备(PED)中内部安装的模块,以及其它诸如非常小的安全相机或环境监视相机之类的小型设备。安装了核心的***将是主机***,内核与一个或多个主机的组合将构成完整的热成像***。这些热成像相机核心旨在作为可以与已经具有处理、显示、用户接口和其它此类功能中的一个或多个的***或设备集成的模块。因此这些微核可以类似于通常为与PED集成而制成的可见光相机模块,因为它们与物理集成兼容,并从与其集成的设备接收功率/控制信号,并向用于显示或其它图像处理的设备提供图像数据。旨在这种用途的核心可以非常小、便宜并且可以以热成像领域中前所未有的量进行生产。生产这种尺寸比例的热成像微核,并且具有包括在智能电话壳体内所要求的生产体积,需要在结构设计、调节设置、测试和实际操作方面的许多创新特征。在这些创新中,一种热设计在超小型单元中维持足够的热性能。诸如聚焦调节之类的光学调节必须批量且高速完成。测试必须是综合性的,以改良超小型单元缺乏设计灵活性的问题-基本上,必须在预期的环境和场景温度要求下对每个单元进行完全表征,而不是像在更大型单元中那样依靠设计中缓解热和环境影响。这种核心的操作方面也面临挑战,诸如难以包含典型设计特征,诸如用于非均匀性校正(NUC)的快门。缺少快门可能导致对***表征以及创新性操作概念的需求增加。由此,可能需要以非常高的吞吐量完成综合测试,并且还可能需要以非常高的吞吐量完成各种生产步骤。例如,在制造小形状因子热成像仪期间,固定透镜和成像阵列之间的分离可能也需要快速且以低制造成本来完成。
一个或多个实施例可以提供非常小的热成像核心或微核。有利的是,这样的微核可以提供向诸如智能电话之类的PED或诸如非常小的安全相机或环境监视器之类的其它小型设备添加热成像的能力。
一个或多个实施例可以提供极小型热成像核心或微核的高效和便宜的制造和测试。有利的是,这可以导致适合包含在诸如智能电话之类的PED中的体积和价格点。
一个或多个实施例可以提供极小型热成像核心或微核的高级热设计。有利的是,这可以补偿对于非常小的核心不实用的热成像仪设计元件。
一个或多个实施例可以提供实现期望的成像仪聚焦的低成本制造。有利的是,这些处理可以与具有成本效益的高速制造使用兼容,同时提供准确且可靠的聚焦。
一个或多个实施例可以提供适用于固定聚焦和可变聚焦***的制造聚焦设置处理。有利的是,对于两种类型的***都可以实现优化的初始聚焦。
一个或多个实施例可以提供每个核心的完全校准。有利的是,这可以补偿对于非常小的核心不实用的热成像仪设计元件。
一个或多个实施例可以将每个核心的前馈校准数据提供给核心的实际操作。有利的是,这可以补偿省略实际上不能包括在非常小的核心中的普通热成像仪设计元件。
参考图1A和1B,示出了热成像模块或微核100的一般元件。图1B是图1A的热成像模块或微核100的分解视图。用于热成像***的各种硬件和数字逻辑/编程元件的示例在于2015年8月18日提交的美国专利申请号14/829,500(现作为美国专利号9,584,750发布)、于2014年5月30日提交的美国专利申请号14/292,124、于2015年8月18日提交的美国专利申请号14/829,490(未作为美国专利号9,595,934发布)、于2015年8月4日提交的美国专利申请号14/817,989(现作为美国专利号9,727,954发布)、于2015年8月4日提交的美国专利申请号14/817,847(现作为美国专利号9,930,324发布)、于2014年4月3日提交的美国专利申请号14/244,533(现作为美国专利号9,684,153发布)、于2015年8月4日提交的美国专利申请号14/817,689(现作为美国专利号9,798,220发布)、于2015年8月4日提交的美国专利申请号14/817,730、于2017年6月21日提交的美国专利申请号15/629,526和于2016年12月20日提交的美国专利申请号62/436,694中被不同地公开;这些专利申请全部由本申请的受让人拥有,并且每个申请都通过引用整体并入本文。这些引用的申请描述了各种成像***配置和用于调节伪像和校正图像质量的退化的各种技术,这些图像质量的退化至少部分由于成像***的各种性质和特性而出现。
示出为保持在透镜壳体120中的透镜130,但是可以包括其它光学元件的光学器件被配置为捕获来自外部场景的红外辐射并将辐射聚焦在FPA 101上。FPA 101通常包括正方形或矩形的IR光电检测器阵列,以及某种级别的被配置为将捕获的辐射转换成电数据的电子器件,电数据通常是代表场景图像的数字数据流。在所示的示例性微核100中,FPA 101被结合到基板105上。具有透镜130的壳体120也被结合到基板105上,其中透镜130被部署为捕获光并将光聚焦到FPA 101上。在旨在安装在智能电话中的实施例中,重要的是要理解,壳体-透镜-FPA基板组件的实用最长维度可能远小于1英寸,并且可能的要求可以小于0.5”或者甚至小于0.3”。根据热成像标准,这些维度非常小。
对于如此小的相机核心,对于如在并入的参考文献中所描述的热成像仪而言始终关注的热考虑因素可能尤其关键。因此,新颖的设计特征可能是必要的。例如,FPA和透镜可能需要保持在固定的距离,这对于如此小的设备来说是困难的,其中即使很小的温度导致的维度变化也足以影响成像仪性能。因此,在所示实施例中,选择基板105以与FPA 101热匹配。虽然热匹配材料的任何组合将是有益的,但是如并入的参考文献中所描述的,FPA 101可以是制造在读出电子器件上以形成FPA的微辐射热计辐射检测器的阵列。对于许多实施例,FPA 101可以由硅晶片制成。选择从硅晶片切成的段作为基板105的材料选择,既实现了牢固的材料又实现了基板与FPA之间的热匹配。基板105的这种选择已被证明是非常有益的。
壳体120可以由诸如铝或锌合金之类的各种材料制成。可以将合适的低反射率涂层应用于壳体120以缓解透镜壳体内的杂散光效应。透镜130可以由适合于热波长的各种材料来产生,诸如硫族化物、蓝宝石等。例如,在一些实施例中,透镜130可以是模制的硫族化物透镜,其尺寸刚好小于壳体表面维度。
还附接到基板105的是电路元件110,其被部署为将FPA 101连接到连接器115。连接可能需要是柔性的,因此在一些实施例中,电路元件110是柔性印刷电路(柔性电路)。在其它实施例中,电路元件110可以是印刷电路板(PCB)或其它电路结构。在最简单的实施例中,电路元件110可以是结合到基板105的柔性电路,并且可以通过引线结合来实现从柔性电路上的焊盘到FPA上的焊盘的连接。即使在这种配置中,也可以使用与智能电话制造兼容的取放和结合装备完成所有组装。在更复杂的实施例中,基板105可以被制造为具有焊盘和电路迹线,该焊盘和电路迹线被配置为在FPA 101、基板105和电路元件110之间焊接和/或进行凸点连接,使得甚至还可以增强组装自动化。
电路元件110的确切配置将取决于每个主机***的安装要求,并因此在图1A中示出为开放式。对于一些安装,可以选择连接器115与内部智能电话约定兼容。典型地,这样的连接器将承载标准供电连接以及某种通信协议(诸如SPI、USB或与主机***处理器的直接连接)的连接。因此,在核心100上可能需要一些电路***。在一个实施例中,出于热原因,电路***125被放置在柔性电路110的连接器端上。电路***可以包括供电调节和时钟发生器,诸如振荡器电路。FPA 101可以被配置为在接受用于配置和操作的命令以及提供图像数据输出方面都支持所需的通信协议。可替代地,可以将通信处理器安装为电路***125的一部分,以在FPA和比如SPI、USB等的标准内部通信总线之间进行对接。如上所述,在最简单的情况下,FPA 101将通过连接器或直接布线连对接到主机处理器I/O。对于一些PED实施例,具有连接器115的电路元件110的长度可以小于1.5”。
如上所述,FPA 101可以以各种方式与主机***控制器通信。关于如何实现通信的设计考虑因素可以取决于微核100与主机***的集成中固有的定制程度。在频谱的高度定制化端上,可以引出FPA 101的控制线和供电线,并直接与主机控制器I/O和主机***电源对接。这将需要将主机控制器专门被配置为直接控制FPA 101。另一方面,微核100可以被设计为接受标准通信和/或供电协议,诸如SPI、USB或特定于制造商的总线,诸如由苹果、三星等使用的总线。在这种情况下,至少在微核100上可能需要通信处理器以及可能的供电调节元件(调节器、滤波器等)。在最高度模块化的情况下,微核100可以包括用于执行一些或全部图像处理和图像获取功能的(一个或多个)处理器和存储器,并且特别地包括用于校准数据的存储器。这些附加的处理器、通信和存储器部件可以作为外部部件被集成到柔性电路或其它电路元件110或基板105上。由于FPA 101通常将使用可与存储器、处理器和其它数字/模拟电路***兼容的硅或其它半导体处理进行微制造,因此也有可能将这些部件作为FPA 101的一部分进行制造。也可以按照一组制造设计规则(例如,线宽为100纳米)制造光电检测器和相关联的接口,同时按照小得多的设计规则(例如,低于100nm线宽)制造处理器/存储器部分,以提高性能并降低功耗。
图1C和1D图示了微核100的另一个实施例。通过示出替代布置,在图1C和1D的实施例中,电路元件110被示出为弯曲的而不是笔直的。但是,图1A-1D中所示的任何实施例可以等同地用弯曲或笔直的电路元件110来实现。有时将这样的布置用于集成到诸如智能电话、平板电脑等设备中的相机单元。
将热成像能力带给广泛的消费者使用所涉及的挑战之一是高帧速率热成像被认为是与美国国家安全相关的技术。因此,为了授予热成像仪的出口许可,帧速率(即每秒图像)必须小于9Hz,并且在设备出口之后,实际上不能被修改超过9Hz。
帧速率由FPA 101用于执行获取和读出图像帧所需的内部切换的定时信号来设置。这些定时信号通常由如在图1C和1D中示出为135的振荡器电路芯片设置。可以选择振荡器芯片,其输出受到振荡器电路设计的限制以在规定的频率下操作,使得改变FPA帧速率的唯一方法将是改变为不同频率的振荡器,即替换电路元件上的实际振荡器部分。在示出的实施例中,透镜座120被构造成在一侧上具有切口,并且振荡器芯片135被安装在柔性电路110上,使得当将透镜座120构建在微核100上时,振荡器135被透镜座120捕获,并且不能在不移除透镜座的情况下将其移除和改变。如下面将示出的,可以利用适当的粘合剂以永久的方式固定透镜座120,使得一旦在适当位置,透镜座120以及相应的振荡器135就不能以非破坏性的方式被移除和/或改变。因此,可以将微核100的帧速率永久地设置为给定频率,从而使得能够出口设备。
图2图示了微核100的基本成像部件。相对于FPA 101保持透镜(和/或其它光学器件)130,该FPA 101可以被结合并且可选地电连接到基板105,该基板105可以是支持FPA以及外部连接的硅晶片段的形式。这样的模块可以包括用于支持通信协议的板上的大量处理以及图像获取和处理,但是还可以依靠诸如智能电话之类的主机***来进行进一步的图像处理、用户接口和显示。
这样的模块可以以小格式包装,以适合于安装在各种***中,这可以受益于添加的热成像能力。例如,FPA尺寸在一侧为~0.25英寸,其中PCB安装的透镜支架直径为~0.3”并且高度为~0.25”,并且对于小型热成像微核,~1.5”×~0.3”的柔性电路是现实的数字。这样的相机核心可以容易地被配置为适合许多智能电话或其它PED。
适用于热成像的透镜的性质和所需的光学性能不同于可见光成像仪,因此用于小型可见光成像仪,诸如智能电话相机的技术和设计可能无法直接应用于旨在安装在小空间中的热成像仪设计。热成像透镜不能由玻璃或大多数塑料制成,而必须由往往比可见光成像透镜材料更庞大和更重的材料制成。由于长得多的波长,因此与可见光成像仪相比,对精细聚焦的要求较不严格,因此固定聚焦或有限聚焦调节型成像仪对于许多应用都是实用的。因此,可能期望直接适用于小批量生产的热成像仪的技术,这些技术对于在制造时确定和设置聚焦具有成本效益。
图3示出了在透镜壳体120中与FPA 101相距焦距310的透镜130。透镜壳体将供给有透镜支架,该透镜支架可以与壳体成一体或以其它方式由壳体保持。对于固定聚焦成像仪,透镜支架可以像壳体中的凹槽或狭槽一样简单,可以在该凹槽或狭槽上应用结合剂以将透镜固定到壳体上。或者透镜支架可以更复杂,诸如保持透镜并且可变形以提供精细聚焦布置的压电环结构,或者潜在地作为抖动设备,如将在本公开中稍后描述的。可能具有附接支架的透镜130可以通过透镜工具被定位在壳体内,并且当将结合剂应用到透镜壳体120上或者直接应用到透镜130上或应用到附接到透镜的透镜支架上时被永久地保持在壳体内的适当位置。或者透镜130可以固定在壳体120内,并且壳体120可以相对于FPA 101定位。
图4图示了一种在制造期间依靠于定位壳体120来设置微核100的聚焦的方法。可以将微核100安装到包括供电和通信接口420的测试夹具,该测试夹具类似于在预期的主机***(诸如PED)中可用的接口。也可以具有测试处理器和显示器430,它们将控制核心100并获取图像数据。壳体120可以在该操作开始时不被附接,但是可以被保持在定位夹具440上。微核100可以暴露于测试场景410,并且将通过测试处理器和显示器430观察和/或显示测试场景410的图像。夹具440可以将壳体120垂直定位,直到实现最佳聚焦。最佳聚焦可以手动观察,或者通过自动聚焦逻辑或者在测试处理器和显示器430上执行的程序来观察。在最佳聚焦的点处,可以使用诸如胶水、环氧树脂、橡胶密封剂、点焊等结合剂将壳体120以适当的位置结合到模块100上。在一个实施例中,结合是通过胶水和/或环氧树脂线450进行的,该胶水和/或环氧树脂线450在实现聚焦的点处应用,或者在将壳体120带到模块的其余部分之前未固化地应用,并且在实现聚焦之后固化。在任一种情况下,都可以在定位中考虑针对胶水线的固化维度变化的供给。
可以将透镜130放置在透镜壳体120中,并且将壳体120放置在基板上的预定位置处,该预定位置对应于到FPA 101的设计焦距310。在实践中,可能需要对实际焦距310进行大约大于10微米并且可能大于50微米但通常小于100微米的调节,以实现小型热成像仪的良好图像质量。
全部处理可以是自动化的,包括结合元件的应用、最佳焦距的确定、结合元件的固化(如果需要)以及微核100和/或目标测试场景的任何定位。
由于图4的聚焦夹具包括需要供电和访问来自微核100的图像数据的所有元件,因此可能期望在聚焦操作中实现其它功能。例如,测试场景410可以包括用于聚焦调节的边缘目标,但是也可以包括在一个或多个温度下的一个或多个平坦场景。边缘或带图案的目标也可以用于进行调制传递函数(MTF)测量。添加这些附加的场景可以允许其它微核设置操作,诸如设置FPA内部数据获取操作的集成时间。
图5A、5B和5C示出了用于制造处理的实施例,该制造处理对于固定壳体并且定位透镜本身以进行聚焦调节的情况以简单且具有成本效益的方式实现了上述范围的聚焦调节。这些图示出了定位元件510,其充当透镜130的物理光阑。元件510以可移除的方式基本垂直地***到透镜壳体120中。在所示的实施例中,元件510是锥形轴。对锥形轴的示例性要求可以是锥度足以引起至少50微米的定位差异,并且轴的宽度或直径使透镜的很大部分不被阻塞,即仅阻塞FPA 101视场(FOV)的一部分。
未示出的透镜工具可以将透镜130对着元件510推入到壳体120中。这提供了透镜130的临时稳定位置。可以拉出或拉入元件510以改变该临时稳定位置。如在图4的实施例中那样,FPA 101可以被供电并连接到显示器或图像获取***。该工具可以被设计为将成像仪暴露于合适的测试图案。可以分析结果得到的图像的清晰度。该分析可以是可视的,或者可以是自动化处理,诸如在图像获取元件上执行的边缘质量算法。通过在观察图像的同时将元件510拉出和/或拉入,可以达到最佳图像清晰度的点,并且可以用结合剂520将透镜和/或透镜支架永久地固定到壳体上。在该点处,可以移除元件510,并且成像仪将保持永久聚焦。
元件510不必是难以产生的物品。例如,在一些实施例中,元件510可以是标准缝纫针。缝纫针通常非常坚硬并且足够坚固以对适当的工具提供足够的阻力。标准针从非常尖锐(小于10微米)的尖端变化到最小量规锥度的数百微米的整个直径。该直径仅会阻塞典型FPA的一小部分。由于锥度位于针的最末端,因此比壳体中针规稍大的孔将提供稳定的配置。当然,可以制造更复杂的直接裁剪的设备,诸如锥状的矩形轴或定制设计的针状物体。
所公开的处理是放置透镜并将其结合到位所需的扩展。一旦将透镜放置,就可能需要工具来处置透镜并将其放置在期望的位置处,然后应用粘合剂,诸如胶水、环氧树脂、橡胶密封剂、点焊或其它。为用作可移动光阑的定位元件添加访问权限是对满足这样的成像仪的基本制造需求所需的制造工具的合理扩展。将透镜工具与测试夹具配合,以允许放置可成像的测试图案和与FPA的操作接口也是基本制造能力的合理扩展。在处理期间,驻留在与FPA接口的测试计算设备中的自动或手动聚焦优化也在这样的成像仪的合适制造实体的能力之内。
图6A、6B和6C示出了替代实施例。在这种情况下,定位元件610是***到透镜支架120中的弹簧。通过工具(未示出)将透镜130对着弹簧元件610推动。抵抗相反的弹簧力推动的工具的平衡定义了临时稳定位置,该位置可以通过变化推动力来改变。FPA 101可以被供电并连接到显示器或图像获取***。该工具可以被设计为将成像仪暴露于合适的测试图案。可以分析结果得到的图像的清晰度。该分析可以是可视的,或者可以是自动化处理,诸如在图像获取元件上执行的边缘质量算法。通过在观察图像的同时增加/减小推动力来达到最佳图像清晰度的点,并且可以用结合剂520将透镜和/或透镜支架永久地固定到壳体上。在该点处,可以移除元件510,并且成像仪将保持永久聚焦。
在一些情况下,透镜可以在***控制下由诸如压电环之类的元件保持,该元件还可以改变焦距。对于这种情况,所公开的处理可以用于设置基本焦距,该基本焦距可以以后在成像仪操作期间在用户控制下进行调节。
为了实现适合于PED市场中发现的容量的生产率,可能期望批量制造和执行设置操作,诸如设置聚焦并执行校准。因此,如图7中示出的,可能期望将用于核心100的构建块附接到保持多个核心100的面板710。在该实施例中,可以使用诸如当前在PED和其它高密度电子设备制造中使用的特殊构造的制造装备来批量放置和结合,甚至引线结合核心元件。
使核心面板化的理想方案也适用于测试和校准操作,但是如图8A和8B中示出的,可以将面板切成更小的段810。例如,聚焦夹具可以被设计为保持微核的面板并且按需包括定位元件。
如以上所讨论的,热成像***,特别是基于微辐射热计的便宜面向大众市场的***,容易受到影响图像质量和热像图准确度的各种影响。特别地,图像信号到图像温度(即热像图)的转换可能受场景信号幅度(即场景温度)和成像传感器(即FPA)所暴露的环境温度两者的影响。场景和环境温度的影响可能因设备而异,并且变化可能呈现在***的所有级别,包括个别单元内的像素到像素的变化、给定设计内的单元到单元的变化以及从设计到设计的变化。成本更高的成像***可能提供更多的工具来减轻这些影响,诸如用于传感器环境温度控制的装置,以及受控的或已知的温度校准设备,诸如温度控制的或温度监视的快门标志。本公开针对具有用于减轻温度影响的有限工具的微核。
本公开假定具有简单便宜实现的集成环境温度传感器的成像***。因此,集成温度传感器可以但不一定直接连接到FPA。重要的是,可以在微核的实际使用期间测量与操作环境温度相关的信号,并使该测量的环境温度与FPA上光电检测器的温度相关。温度传感器的性能可能因单元而异,并且本身可能需要在每单元的基础上进行校准。本公开的热像图处理利用温度传感器以及在***制造的各个阶段获取的数据。
图9示意性地图示了热像图校准测试,该测试完全校准每个微核并生成存储在微核上或由微核提供的校准数据,以通过核心本身或者与主机***中的核心对接的(一个或多个)处理器来用于相机操作。当前公开的微核100是小型的,因此具有有限的热质量,因此可能特别容易受到温度影响。对于许多应用,它也可以不包括快门,快门会使减轻温度效应变得复杂。由此,在***测试中对微核100的非常完整的表征可以帮助缓解这些设计挑战。
设想完整的测试将在多个场景温度和多个受控环境FPA温度下执行。在图9的示例测试设置中,用几个温度控制的黑体910产生多个场景温度,每个黑体设置在覆盖预期场景温度范围的不同温度下。例如,在示例测试设置中,可以使用六个可能覆盖0℃至500℃温度范围的黑体(图中M=6)。在示例测试设置中,黑体处于正常的室温环境中,因此特别是对于低于室温的设置(其中可能会发生结露或结霜),实际的黑体表面温度可能与设置不对应。因此,可以用高温计940监视黑体表面温度,并且可以将高温计值用于场景温度。不同的微核主机***可能需要不同的场景温度范围,但是示例测试设置为黑体可实现的任何范围提供了多个场景温度数据点。
校准测试还可能需要多个受控的成像传感器环境温度。在图9的示例设置中,核心100被安装在温度感应器950上,使得温度受控的散热器与核心基板接触,并且被配置为顺序地察看每个黑体910。FPA和/或模块100需要具有板载温度传感器(如上所述),用于监视或测量指示FPA温度的温度。感应器可以被配置为覆盖与主机***兼容的温度范围。例如,典型的智能电话可以被设计为在15℃至50℃的温度范围内操作。感应器可以以分立的步骤或者通过扫除温度来使被测试核心经受多个环境温度数据点。但是,场景温度和/或环境温度受到控制并且被排序,期望的结果是当在多个操作FPA温度下操作时,FPA图像中的每个辐射热测量计都具有多个黑体温度。
对于每个环境温度下的每个场景温度,实际的已知场景温度被存储在数据集中,其中该已知场景温度对应于与感应的FPA温度对应的温度传感器值。环境温度传感器的值Tsens应随环境温度而变化,其方式是可以促进微核的操作使用。
因此,对于每个黑体/环境温度组合,为图像像素创建如图10中示出的一系列数据集,环境温度数据对应于温度传感器读数。校准操作可以用于测试所有单元,并且数据集可以被进一步带到成像***操作。可以针对任何数量的像素导出数据集,包括用于每个像素的表。结果产生的数据集被存储到每个生产单元中。在用户实际使用期间,对于任何给定的实际观察信号和温度传感器值,在数据集上找到最接近的对应实际场景温度,并作为该像素的场景温度报告给用户。
为了更高的准确度,当信号电平和温度传感器位于数据点之间时,可以使用内插。可能的内插技术包括线性、双线性或双三次内插。对于任何观察到的环境温度和信号,通过内插将产生实际校准数据的内插距离内的场景温度值,从而导致合理地完成微核的热像图数据。还可以在需要插值之前对数据进行预内插,从而将它们存储以供以后操作使用,以避免在相机使用期间为每个图像帧花费额外的时间进行计算。因此,如果进行预内插,则实际存储的数据可能比测试数据点的密度高几倍。还可以存储测试数据的子集并通过内插进行重构。可替代地,可以在操作期间的非成像或相机停机时间期间(诸如在启动时)进行内插。无论如何,可能期望在实际成像操作之外的时间执行内插。
例如,对于具有快门的成像***,在快门关闭和打开时段期间可能会存在其中不需要获取和处理图像数据的帧的时间。在这些“停滞时段”期间,可以读取温度传感器,并且可以预计算与读取的环境温度对应的场景温度与信号的所有可能的插值。对于无快门***,可能存在其中可以预计算内插计算的时间,诸如通过更新温度传感器值并执行内插预计算有意地以规则间隔(比如每10或20帧)跳过一帧或多帧而引入的时间。可替代地,诸如在校准、初始启动、常规启动或不影响成像***操作的其它时间,进行简单地预内插并简单地存储完全内插表可能是实用的。取决于内插的级别,所需的存储可能非常实用。例如,如图10中示出的,对于在15种不同环境温度下成像的8个黑体场景温度的校准,FPA中的每个像素将有120个值。对于QVGA FPA,这相当于在没有内插的情况下~920万个数据值需要被存储。例如,如果使用x4内插(如图10中示出的),则所需的存储将增加400到~3700万倍。如果实际上需要最少存储900万个值,那么对于许多***而言,3900万处于同一数量级,并且可能被容纳而不会造成不适当的成本或性能惩罚,因为这些尺寸的存储器存储装置在现代计算设备中是常见的。
取决于设计到测试设置中的处理能力,可以记录并保存校准数据以供以后处理或在测试期间进行处理。可以为每个像素获取并存储校准数据。但是,如果FPA设计在像素响应和温度依赖性方面相对均匀,则有可能从较少数量的像素(例如一组中心像素)中获取校准数据,并对所有像素使用减少的像素校准数据。校准数据一旦被处理,就可以与微核一起被提供用于存储在主机***处理器中,或者替代地,如果微核具有存储器能力,则存储在微核上。
图11是示出使用诸如图9中所示的设置的测试处理的流程图。
在以上的讨论中,为了简单起见,校准处理的描述暗示每个测试点都在预定的FPA温度和预定的场景温度下发生。但是,即使对于诸如本公开的微核100之类的非常小的设备,等待微核100在散热器温度改变时达到温度平衡也可能花费不期望的长时间进行大量生产。因此,可能不期望逐步并稳定温度的方式获取数据,而是连续或部分连续地扫描温度并与FPA环境温度异步地获取场景数据。
这种方法是可能的,因为如以上所讨论的,在实际中,在使用采用微核100的成像***期间,将基于板载温度传感器的读数访问热像图表。虽然可能期望知道实际的FPA温度,但无论如何,查看温度受控黑体获取的场景最终与温度传感器读数相关。可能出于其它原因期望知道实际的FPA温度,但是在访问热像图信息方面,这是不必要的。
因此,有可能并且潜在地期望连续地升高被测微核的温度,并且只要知道对于每个数据点正在察看哪个温度黑体温度(这对于各种测试设置配置是简单的),就仍然可以针对多个场景温度和FPA温度生成表示给定场景温度的温度传感器读数与像素信号的数据集。由于永远不需要FPA温度稳定,因此可以快得多地获取数据。数据获取时间(实质上是帧速率)比环境温度变化速率更快,因此,获取场景数据的一帧或多帧并使场景数据的一帧或多帧与当前温度传感器值相关是实际的。
所获取的数据集将被拉伸,因为所获取的数据点之间的距离可能不会像步骤和稳定布置那样是一致的。这种影响可能会使内插变得不那么简单。这可以通过以下两种方法中的一种来解决。或者可以将拉伸的数据预拟合回固定的温度增量,或者如果已知温度变化速率曲线,则可以将所使用的内插布置为跟随曲线,而不是标准类型的内插。
如本文先前和在所并入的参考文献中所讨论的,热成像仪易于产生降低图像质量的各种影响。特别地,难以产生其像素具有均匀响应或者其响应随周围环境变化而相同变化的热FPA。因此,通常有必要在热成像仪的操作期间,随着时间的推移反复对热成像仪执行非均匀性校正(NUC)。在大多数并入的参考文献中,快门用于该NUC,其中该快门被定期地关闭以覆盖具有均匀场景的FPA视场并测量像素到像素的变化。每当快门关闭时,可以开发并更新针对每个像素的偏移校正。但是,对于微核100,由于尺寸和成本约束,可能不期望包括快门。
已经产生无快门的热成像仪,并且它们依赖于各种图像处理技术来进行偏移校正,通常称为基于场景的NUC(SBNUC)。SBNUC技术(其中有很多此类技术)已倾向于用于在像素到像素和像素随着时间的推移变化方面的性能都比较好的成像仪。但是,在微核100的成本和尺寸约束内,无法提供导致基本性能提高的许多设计技术。
在并入的参考文献15/629,526中,公开了固定模式噪声(FPN)缓解处理,如图12中所示,其中元件1301至1307形成FPN滤波器1300。该滤波器使用图像的运动以及模糊函数和其它处理来创建一组逐像素FPN校正项,其被应用(1308)到传入图像1350以创建经FPN校正的图像1370。FPN滤波器或等效滤波器可以用于执行SBNUC。在并入的参考文献中,公开了可以在无快门的情况下使用该处理。但是,所公开的主要实施例假设通过快门关闭已经对传入数据1350进行了偏移校正,因此,当打开FPN滤波器时,对于所有像素,时间零FPN校正掩码被设置为零,然后通过滤波器的连续操作随着时间的推移而演化。
在许多实施例中,微核将不具有快门。由于对每个内核进行了广泛的校准,因此,通过校准数据集知道像素到像素和时间上或至少在环境温度下的增益和偏移数据(这是最大的时间相关的影响)。出于热像图目的,在操作期间可获得一系列已知的场景温度与像素信号和温度传感器读数。但是,由于这些数据集是用均匀的场景(即各种黑体)获取的,因此它们包含了可以直接从数据集导出的像素到像素增益和偏移量变化。该增益和偏移数据可以以一种或多种方式使用。读取温度传感器并查看对应的数据集可以允许导出像素到像素变化的映射,该映射即使不好于可以从快门关闭中导出的映射,本质上也是等效的。通过查看当前的温度传感器读数和访问对应的校准数据集,可以将对应的映射定期地用作第一阶段NUC,就像在FPN滤波器用于具有快门的***中一样。可替代地,当在微核中启动FPN滤波器时,可以最初用来自校准数据的数据填充它。在最简单的实施例中(但是其它实施例也是可能的),读取温度传感器,并使用该读取的校准数据集值和对应于温度传感器的黑体读数(或最接近的插值),适当地缩放为用于FPN校正的初始值。因此,用可能至少与从快门关闭中导出的数据一样好的数据来初始化SBNUC处理。
当然,偏移信息在被传递到FPN滤波器之前,可能需要后续处理,诸如像素替换和异常像素抑制。保存的校准数据主要是与观察到的信号和FPA温度对应的场景温度,并且温度和信号之间的关系可能并不简单。如果关系是线性的,则温度数据可能仅需要进行缩放和/或归一化。如果不是线性的但是已知的,则可以在数学上应用该关系。如果不是已知的或不方便导出,则可以保存信号和温度两者的数据集并将其进一步带到相机操作。同样,我们通常只处置几十兆字节,如上所示,或者如果在操作期间预计算内插,则甚至更少。无论如何,从广泛的校准中固有获得的前馈偏移信息用于缓解快门的缺失。
图13是使用校准数据的SBNUC处理的流程图。
校准数据无论是热像图形式(场景温度)还是直接检测器信号都表示对平坦场的FPA响应,因此在理论上等同于快门关闭,其另外的好处是,在一定范围的场景和环境温度内获取平坦场数据。因此,可以在任何温度传感器读数或观察到的场景下,从保存的校准数据中提取在成像仪操作期间的直接NUC偏移校正,并且可以在需要时对其进行内插,就像热像图数据一样。因此,校准数据可以直接独立地用于NUC或与预填充FPN掩码结合使用。
FPN滤波器在一些方面可能与具有快门的***不同。例如,对于无快门***,可能不期望衰减FPN校正,或者至少不那么积极地衰减。还可能期望至少在最初在无快门***中更积极地应用FPN校正。
许多SBNUC技术的一个缺点是它们依靠图像运动来进行操作,并且它们被柔和地应用,即以测量的量来防止颠簸或闪烁图像。对于诸如正常使用智能电话的应用,其中当核心正在操作时电话在手中,缺乏图像运动不是问题,因为存在连续运动,即使这种运动非常不易察觉。但是,对于更静态的应用,诸如安全或监视相机以及在三脚架中使用的PED,对于SBNUC而言,缺乏连续的图像运动可能成问题。如图14中示出的,可以在透镜130和模块100之间***运动感应部件1510。该运动可能非常小,并且可以用各种机电式小振幅致动器来完成,诸如压电设备或肌肉线。如果需要,当FPN滤波器在预定时间段内和/或定期地没有观察到运动时,可以激活运动感应器。运动感应器还可以兼作精细聚焦致动器。在其它实施例中,核心和/或主机***的所有或一部分可以被安装到诸如压电元件的振动感应设备上,并且整个单元的全部或一部分可以暴露于运动。
有意感应运动的另一个优点是,在以小增量移动的成像***中,子像素分辨率是可能的。
就无快门的操作而言,基于辐射热计的检测器阵列的某些行为会呈现实际上可能超出诸如以上描述的FPN(SBNUC)滤波器之类的滤波器的能力的问题。参考图16A,纵轴表示在图像已经被偏移校正(即,针对非均匀性而校正)的点处与调节值的像素偏移差。换句话说,在这一点上,所有像素都被偏移校正到彼此的狭窄范围内,如曲线图的中点所示。横轴是板载温度传感器值,中心点是其中执行NUC的温度传感器值。如在***的操作范围内可以看出的,偏移校正值发生改变,并且变化的形状和数量可能会逐像素而不同。因此,随着FPA温度变化,像素到像素的偏移量中的漂移将自身表现为固定模式噪声。
在快门成像仪中,通过在快门关闭的情况下进行偏移测量来消除该变化。上述的完全校准也旨在解决此问题。但是,在无快门***中,这种影响可能会使FPN滤波器不堪重负,特别是对于在FPA温度可能快速且经常变化的应用中使用的成像仪。FPA温度变化很大的应用的示例是安装在像智能电话这样的设备中的微核。微核的尺寸小意味着其热质量低,因此环境温度变化会很快影响微核。集成到像智能电话这样的小型封闭环境中的本质意味着微核既会受到外部温度的影响,诸如电话从室内移到室外、存储到诸如口袋之类的隔绝环境中和从这样的环境中取出等,又会受到内部影响,诸如可变的处理器和内部部件的使用。由于这些影响,在校准时获取的数据可能并不总是代表在实际使用期间的行为。
图16B示出了单个像素的示例偏差变化与FPA温度。该图图示了相对简单的校准如何可以对此影响进行显著校正。如果仅在几个温度下获取实际偏移,那么即使对曲线进行简单的线性拟合(在图16B中以相对较大的点划线示出)也将带来很大的改进。如果获取多一点数据并将拟合改变为两个线性拟合(在图16B中以相对较小的点划线示出),则改进效果会更好,或者实际曲线拟合(多项式等)可能会产生更好的结果。可以简单地通过观察平坦场景,同时几次改变FPA温度并存储任何或所有像素的偏移校正来完成这种简单的校准和拟合。
但是,由于微核将可能经历以上描述的完全的热像图校准,因此实际上将存在多个FPA和场景温度下的平坦场响应。不是仅如上所述存储热像图数据(例如,信号到温度的转换),而是还可以从校准数据中直接导出并存储偏移曲线。这些偏移校正表可以针对实际场景和温度传感器读数进行内插,并且或者用作直接NUC、对FPN滤波器的不断更新输入,或者用于偏移数据的任何组合。但是随着时间的推移,即使是最完全的校准,性能也可能会有所漂移。
可以提高无快门成像仪的性能的另一种技术是使用以下事实,对于诸如智能电话的应用,成像仪将经常观察平坦场景。分别在于2018年3月29日和2018年6月20日提交的共同待决的美国专利申请号15/940,795和16/013,270中描述了基本上使用外部平坦场场景来替换快门的功能。
可以使用外部平坦场场景来检查在图16A和16B的描述中描述的偏移漂移是否随着时间的推移而改变。只需在获取平坦场时注意温度传感器值,***便可以检查以看出校正是否仍在校准时存储的曲线上。可替代地,使用更简单的曲线拟合方法并通过在一个以上的温度传感器值下在操作期间获取平坦场数据来更新它实际上可能是有益的,因为随着时间的推移自然会发生设备温度变化,因此这可能是实用的。可替代地,在外部平坦场获取期间,成像仪可能与主机设备(例如,智能电话)通信并启动操作以在获取之间驱动内部温度升高或降低,诸如通过打开或关闭内部部件、增加处理器负荷等,以便获得两个或更多个温度数据点。对于偏移漂移与FPA温度随着时间的推移而显著变化的情况,使用更新后的曲线方法可能是有益的。或者可替代地,如果观察到行为的极端改变,则***可以从校准数据校正切换到更新后的曲线拟合。如果已知室温(即智能电话知道环境温度),则可以改进操作期间的偏移漂移更新,因为这可以帮助知道外部平坦场温度。例如,如果外部平坦场是墙壁或天花板,则其温度可能在室温或接近室温。
本公开的微核可以被设计为用于某种类型的仪器或设备中,诸如非常小的热成像仪(例如,相机、安全监视器等)或个人设备,诸如智能电话或平板电脑。在许多情况下,特别是在个人设备中,微核可能会与可见光谱相机共存,而微核和可见光谱相机可能会对相同或至少重叠的视场成像。对于这些应用,可能期望多光谱图像融合,在这种情况下,将来自热成像仪和可见光成像仪的信息混合或组合成一个融合图像。图像融合在其许多当前实现中对于不熟悉的用户而言可能很困难,因为用于创建融合图像的参数可能会令人困惑。使图像融合可供众多用户访问的一种简单方法是限制要组合信息以及如何对其进行组合的选项。常见的图像融合实现是从可见光图像中提取边缘信息,并将边缘信息与相同或部分相同场景的热图像混合,并使用混合系数设定混合量的权重,例如,系数为1意味着将热图像的相应像素替换为可见光图像中的像素,依此类推。如果热图像和可见光图像具有相同或部分相同的视场,则该方法会是有用的。与热图像相比,可见光图像的细节将更高,这是因为在可见波长处固有可得到的更高分辨率,以及(通常)可见光成像仪中更多的像素。因此,将可见光图像边缘叠加在相同场景的热图像上可能会使热图像更容易理解。
但是,热成像仪通常允许用户使用各种颜色表,这些颜色表实质上允许温度数据的假颜色显示。取决于颜色表,为了实现期望出现的融合图像,可见光图像导出的边缘图像与热图像的最佳混合系数将随所选择的颜色表而变化。如果取决于所选择的热图像颜色表来预选择混合系数,则可以实现图像融合的可用性的改进。
本文描述的实施例是示例性的。可以对这些实施例进行修改、重新布置、替换处理、替代元件等,并且仍然包含在本文阐述的教导内。本文描述的步骤、处理或方法中的一个或多个可以由一个或多个计算机/逻辑处理元件来执行。
取决于实施例,本文所述的任何方法步骤的某些动作、事件或功能可以以不同的顺序执行,可以被添加、合并或完全省略(例如,并非所有描述的动作或事件对于算法的实践都是必需的)。而且,在某些实施例中,动作或事件可以并发地而不是顺序地执行。
除非另有明确说明或在所使用的上下文中另有理解,否则本文使用的条件语言,诸如尤其是“能够”、“可以”、“可能”、“例如”等,通常意图传达某些实施例包括,而其它实施例不包括,某些特征、元件和/或状态。因而,这样的条件语言通常不意图暗示特征、元件和/或状态以任何方式对于一个或多个实施例是需要的,或者一个或多个实施例需要包括用于在有或没有作者输入或提示的情况下决定这些特征、元件和/或状态是否被包括在或将在任何特定实施例中执行的逻辑。术语“包括”、“包含”、“具有”、“涉及”等是同义的并且以开放式的方式包含地使用,并且不排除附加的元件、特征、动作、操作等。而且,术语“或”在其包括的含义上(而不是在其排他的含义上)被使用,使得当例如被用来连接元素列表时,术语“或”表示列表中的元素的一个、一些或全部。
除非另有特别说明,否则诸如短语“X、Y或Z中的至少一个”之类的分离语言应当与上下文一起理解为通常用于表示(present)项、术语等可以是X、Y或Z或其任意组合(例如,X、Y和/或Z)。因而,这种分离语言通常不意图,并且不应当,暗示某些实施例需要至少一个X、至少一个Y或至少一个Z各自存在。
除非另有明确说明,否则诸如“一个”的冠词通常应当被解释为包括一个或多个所描述的项。从而,诸如“被配置为…的设备”的短语意图包括一个或多个所述设备。这样的一个或多个所述设备还可以被共同地配置为执行所述陈述。例如,“被配置为执行陈述A、B和C的处理器”可以包括与被配置为执行陈述B和C的第二处理器结合工作的被配置为执行陈述A的第一处理器。
虽然上面的详细描述已经示出、描述和指出了应用到示例性实施例的新颖特征,但是应当理解,在不背离本公开的精神的情况下,可以对所示的设备或方法步骤的形式和细节进行各种省略、替换和改变。如将认识到的,本文所述的某些实施例可以以没有提供本文所阐述的所有特征和益处的形式体现,因为一些特征可以与其它特征分开使用或实践。在权利要求的等同物的含义和范围内的所有改变都将被涵盖在其范围内。

Claims (52)

1.一种热成像微核,包括:
至少部分地由第一材料微制造的热成像焦平面阵列;
具有与所述第一材料基本相同热性质的第二材料的基板;
至少一个光学元件;
光学壳体;以及
电路元件,
其中,所述FPA被结合到所述基板,所述光学元件被附接到所述壳体,所述壳体被结合到所述基板,其中所述光学元件被部署为将所述FPA暴露于外部场景,并且所述电路元件被配置为提供所述FPA与主机***之间的连接,以及
其中组装在一起的所述壳体、所述基板和所述FPA的最长维度小于0.5”,并且与所述电路元件组装在一起的所述微核的长度小于1.5”,并且所有其它维度均小于0.5”。
2.如权利要求1所述的微核,其中,所述第一材料和所述第二材料都是硅。
3.如权利要求2所述的微核,其中,所述基板是从硅晶片切成的切片,所述硅晶片的厚度与微制造所述FPA的晶片的厚度基本相同。
4.如权利要求1所述的微核,其中,所述电路元件包括柔性电路。
5.如权利要求4所述的微核,其中,所述柔性电路被结合到所述基板。
6.如权利要求5所述的微核,其中,通过在所述柔性电路上的接触焊盘与所述FPA上的接触焊盘之间的引线结合来实现到所述FPA的柔性电路连接。
7.如权利要求5所述的微核,其中,通过制造到所述基板中的连接来实现到所述FPA的柔性电路连接。
8.如权利要求7所述的微核,其中,通过在所述柔性电路上的接触焊盘与所述基板上的接触焊盘之间的焊料连接,或在所述柔性电路上的接触焊盘与所述基板上的接触焊盘之间的凸点连接中的至少一种来实现到所述基板的所述柔性电路连接。
9.如权利要求7所述的微核,其中,通过在所述FPA上的接触焊盘与所述基板上的接触焊盘之间的焊料连接,或在所述FPA上的接触焊盘与所述基板上的接触焊盘之间的凸点连接中的至少一种来实现到所述基板的FPA连接。
10.如权利要求1所述的微核,其中,所述电路元件包括被配置为与内部主机***连接器兼容的连接器。
11.一种如权利要求1中所述的用于调节热成像仪的透镜的焦距的处理,所述处理包括:
将所述透镜结合在所述壳体中;
在所述透镜相对于所述FPA适当定位的情况下将所述壳体放置到所述基板上;
将操作和从所述FPA获取图像数据所需的所有输入和输出与所述FPA对接;
用所述FPA通过所述透镜观察成像场景以确定聚焦的程度;
通过改变所述壳体相对于所述基板的位置来优化所述观察到的图像聚焦;以及
在优化的聚焦的点处相对于所述基板来固定所述壳***置。
12.如权利要求11所述的处理,其中,通过结合元件来完成所述固定壳***置,所述结合元件包括胶水、环氧树脂、焊料或紧固件中的至少一种。
13.如权利要求12所述的处理,其中,还包括以弹性状态将所述结合元件应用到所述基板和所述壳体上,从而找到所述焦距,并使所述结合元件在期望位置处与所述壳体无弹性。
14.如权利要求13所述的处理,其中,所述结合剂是可固化的,并且在所述元件处于未固化状态的情况下改变所述壳***置,并且在所述壳体的期望位置处将所述元件固化在适当的位置。
15.如权利要求14所述的处理,其中,在所述壳体的定位中考虑由于固化而引起的位置变化。
16.一种用于调节热成像仪的透镜的聚焦的处理,其中,所述热成像仪包括焦平面阵列(FPA)、透镜和相对于所述FPA保持所述透镜的透镜壳体,所述处理包括:
将所述透镜放置在所述壳体中,其中所述壳体被配置为允许在所述壳体内进行定位调节,并且透镜工具被配置为在所述壳体内拉动和/或推动所述透镜;
在所述透镜和所述FPA之间的所述壳体中***位置调节元件,其中所述位置调节元件被配置为允许通过所述透镜至少部分无遮挡地查看所述FPA;以及
使用所述透镜工具使所述透镜与所述定位调节元件接触,其中应用到所述透镜上的所述工具对所述定位元件的推动压力/拉动压力允许所述透镜在所述壳体内的临时稳定定位;
用所述FPA通过所述透镜观察图像场景以确定聚焦的程度;
通过改变所述透镜在所述壳体中的位置来优化所述观察到的图像聚焦;
在优化的聚焦的点处固定所述透镜位置;以及,
从所述壳体中移除所述定位元件。
17.如权利要求16所述的处理,所述定位元件是基本垂直于所述透镜聚焦轴线定向的锥形轴,并且所述透镜工具对着所述锥形轴推动所述透镜,并且通过将所述锥形轴拉入和拉出所述壳体来改变所述临时稳定位置。
18.如权利要求17所述的处理,其中,所述锥形轴是圆形锥形轴或楔形锥形轴中的至少一个。
19.如权利要求16所述的处理,其中,所述定位元件是基本垂直于所述透镜聚焦轴线定向的弹簧,并且所述透镜工具对着所述弹簧推动所述透镜,并且通过平衡所述透镜工具推动动作抵抗所述弹簧的反向压力来改变所述临时稳定位置。
20.如权利要求19所述的处理,其中,所述弹簧是板簧。
21.如权利要求16所述的处理,其中,所述固定所述透镜位置包括将结合剂应用到所述透镜和透镜支架中的至少一个上,从而将所述透镜固定在适当的位置。
22.如权利要求21所述的处理,其中,所述壳体和所述透镜配置有用于应用所述粘合剂的通道,所述通道确保所述粘合剂与透镜和壳体两者相互接触。
23.如权利要求21所述的处理,其中,所述结合剂是胶水、环氧树脂、橡胶密封剂或点焊中的至少一种。
24.如权利要求21所述的处理,其中,所述透镜支架相对于所述壳体是固定的或附接到精细聚焦元件中的至少一个。
25.如权利要求16所述的处理,其中,通过所述定位元件可实现的透镜定位范围大于10微米,并且定位分辨率小于1微米。
26.如权利要求24所述的处理,其中,通过所述定位元件可实现的透镜定位范围大于50微米。
27.如权利要求1所述的微核,其中在保持多个微核的面板上制造所述微核,所述面板被配置用于对多个微核进行组装操作。
28.如权利要求1所述的微核,其中在保持多个微核的面板上测试所述微核,所述面板被配置用于对多个微核进行测试操作。
29.如权利要求1所述的微核,其中在保持多个微核的面板上设置所述微核的聚焦,所述面板被配置用于对多个微核进行聚焦操作。
30.一种如权利要求中1所述的用于测试热成像微核的处理,所述处理包括:
将至少一个微核放置在测试夹具中;
将所述微核对接到测试电子器件,所述电子器件被配置为操作并从所述微核获取图像数据;
将所述微核暴露于多个受控环境温度;
记录代表每个受控环境温度的温度传感器读数;
在每个受控环境温度下将所述微核暴露于多个受控温度场景,并记录用于所述场景的所述微核获取图像的至少一部分像素的信号电平;以及
为每个微核创建至少一个数据集,所述数据集包括代表场景温度与环境温度,或像素到像素变化与场景温度与环境温度的信号中的至少一个,并且其中表被存储以供在每个微核中使用,或者被提供有每个微核以供在所述微核操作时存储在与所述微核对接的处理器中的至少一个。
31.如权利要求30所述的处理,其中,通过将所述微核安装到其温度受控的散热器来控制所述环境温度。
32.如权利要求31所述的处理,其中,通过流过所述散热器中的通道的热电设备或温度受控流体中的至少一种来控制散热器温度。
33.如权利要求30所述的处理,其中,所述受控温度场景是依次呈现以供由所述微核查看的多个独立的温度受控黑体。
34.如权利要求33所述的处理,其中,黑体温度通过高温计来测量,并且所述高温计测量的温度被存储在所述数据集中。
35.如权利要求30所述的处理,其中,所述受控的环境FPA温度是连续或半连续地变化中的至少一个,并且在图像获取期间采集的FPA温度传感器读数被存储在所述数据集中作为环境温度数据。
36.一种用于操作包含根据权利要求30所测试的微核热成像***的处理,包括:
应用基于场景的非均匀性校正(SBNUC),包括生成逐像素FPN校正项的连续更新的固定模式噪声(FPN)校正,所述处理包括:
读取所述温度传感器;
从像素到像素变化的数据集内插数据,与所述数据集最接近的值对应于与实际温度传感器读数对应的环境温度和黑体温度两者;以及
将导出的数据集用作图像帧的增益和偏移校正或初始FPN校正项中的至少一个。
37.如权利要求36所述的处理,还包括缩放和归一化所述数据集。
38.一种包含根据权利要求30所测试的微核的热成像***,被配置为:
应用基于场景的非均匀性校正(SBNUC),包括生成逐像素FPN校正项的连续更新的固定模式噪声(FPN)校正;
读取温度传感器;
从像素到像素变化的数据集内插数据,与所述数据集最接近的值对应于与实际温度传感器读数对应的环境温度和黑体温度两者;以及
将导出的数据集用作图像帧的增益和偏移校正或述始FPN校正项中的至少一个。
39.如权利要求38所述的热成像***,其中,所述热成像***还被配置为缩放和归一化所述数据集。
40.根据权利要求1所述的用于热成像***的微核,还包括在所述透镜和所述透镜支架之间的机电致动器,所述机电致动器被配置为如果所述热成像***获取的图像没有连续地运动,则将运动赋予所述透镜或所述微核中的至少一个,以使所述FPN项更新。
41.如权利要求40所述的微核,其中,所赋予的运动用于开发子像素分辨率。
42.一种热成像微核,包括:
基板;
结合到所述基板的热成像焦平面阵列(FPA);
至少一个光学元件;
耦合到所述至少一个光学元件的光学壳体,所述光学壳体结合到所述基板,使得所述至少一个光学元件被部署为将所述FPA暴露于外部场景;
耦合到所述基板并且被配置为提供所述FPA与主机***之间的一个或多个电连接的电路元件;以及
被配置为设置所述FPA的帧速率的振荡器电路,所述振荡器电路被安装到所述电路元件,
其中,所述振荡器的至少一部分被部署在所述电路元件与所述壳体的至少一部分之间,使得所述壳体防止所述振荡器电路从所述微核中移除。
43.一种显示来自至少部分地成像相同场景的热成像仪和可见光成像仪的融合数据的方法,所述方法包括:
从可见光图像中提取边缘信息;
选择用于显示热图像的颜色表;以及
根据混合系数将可见光边缘数据与对应场景像素的热图像数据混合,
其中基于所选择的热颜色表自动选择所述混合系数。
44.一种用于校正在包括光电检测器的焦平面阵列(FPA)的热成像仪中偏移漂移的方法,所述热成像仪包括FPA环境温度传感器,所述FPA环境温度传感器被配置为观察热场景并将热场景信息转换成多个其像素对应于所述阵列中的各个光电检测器的图像帧,所述方法包括:
在给定的FPA环境温度下,以至少一个像素的期望值的偏移值的形式提供非均匀性校正;
在至少一个不同的FPA环境温度下更新所述非均匀性校正;
开发偏移变化和温度传感器读数之间的关系;
在所述热成像仪的成像操作期间,使用所述关系将从所述温度传感器读数导出的偏移校正应用于图像数据。
45.如权利要求44所述的方法,其中,所述非均匀性校正是通过作为所述成像仪的初始测试的一部分的校准操作执行的。
46.如权利要求45所述的方法,其中,所述偏移校正基于在制造测试中执行的偏移收集操作,并且其中所述关系被存储以供在操作期间使用。
47.如权利要求44所述的方法,其中,所述偏移校正是在离散数量的温度传感器读数下确定的,并且所述关系是与所述偏移校正数据点拟合的曲线。
48.如权利要求44所述的方法,其中,所述偏移校正是在所述成像仪的实际使用期间执行的,并且用于更新或替换任何先前存在的偏移漂移校正数据。
49.如权利要求48所述的方法,其中,所述偏移校正是在所述成像仪的操作期间通过以下方式执行的:
在第一温度传感器值处观察平坦场景并确定NUC偏移数据集;
在至少一个不同的温度传感器值处观察所述平坦场景并确定偏移数据集的差异;
通过在不同FPA温度下从操作上观察到的平坦场景中开发所述关系,并在其它温度传感器读数下应用从所述关系导出的偏移。
50.如权利要求49所述的方法,其中,用户将所述成像仪对准平坦的场景,并且通过来自所述用户的输入来启动所述偏移校正。
51.如权利要求49所述的方法,其中,所述成像仪检测到正在对平坦场景进行成像并启动所述偏移校正。
52.如权利要求49所述的方法,其中,在至少一个不同的温度传感器值处观察所述平坦场景包括,响应于所述偏移校正的启动并且在以所述第一温度传感器值观察所述平坦场景之后,启动省电或用电操作中的至少一个,其中与所述省电或所述用电操作相关联的电阻加热的增加或减少至少部分地导致局部环境温度从与所述第一温度传感器值相关联的第一温度改变为与不同温度传感器相关联的第二温度。
CN201880050903.7A 2017-06-21 2018-06-20 小型热成像核心的设计、测试和操作 Active CN110998261B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762523113P 2017-06-21 2017-06-21
US62/523,113 2017-06-21
US201762545922P 2017-08-15 2017-08-15
US62/545,922 2017-08-15
PCT/US2018/038606 WO2018237079A1 (en) 2017-06-21 2018-06-20 DESIGN, TESTING AND OPERATION OF A SMALL THERMAL IMAGING CORE

Publications (2)

Publication Number Publication Date
CN110998261A true CN110998261A (zh) 2020-04-10
CN110998261B CN110998261B (zh) 2022-08-16

Family

ID=64735807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880050903.7A Active CN110998261B (zh) 2017-06-21 2018-06-20 小型热成像核心的设计、测试和操作

Country Status (4)

Country Link
US (2) US11353365B2 (zh)
EP (1) EP3642580A4 (zh)
CN (1) CN110998261B (zh)
WO (1) WO2018237079A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112495A (zh) * 2021-04-30 2021-07-13 浙江大华技术股份有限公司 一种异常图像处理方法、装置、热成像设备及存储介质
CN114414060A (zh) * 2020-10-12 2022-04-29 阿自倍尔株式会社 测定装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200697B2 (en) * 2018-12-20 2021-12-14 Flir Systems Ab Infrared camera ambient temperature calibration systems and methods
TWI710846B (zh) * 2019-08-16 2020-11-21 致伸科技股份有限公司 攝像模組及其校正方法
CN112399042B (zh) * 2019-08-19 2022-05-03 致伸科技股份有限公司 摄像模块及其校正方法
WO2021041717A1 (en) * 2019-08-30 2021-03-04 Seek Thermal, Inc. Design, test, and operation of a small thermal imaging core
EP3799423B1 (en) 2019-09-26 2023-04-05 Goodrich Corporation Non-uniformity correction for focal plane arrays
KR102339619B1 (ko) * 2020-11-19 2021-12-17 광주과학기술원 이미지 품질향상장치, 이미지 품질향상방법
CN112683407A (zh) * 2020-12-14 2021-04-20 安徽海螺水泥股份有限公司 一种红外温度检测***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120312976A1 (en) * 2011-06-10 2012-12-13 Flir Systems, Inc. Infrared camera calibration techniques
US20140085482A1 (en) * 2010-04-23 2014-03-27 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
WO2014106276A2 (en) * 2012-12-31 2014-07-03 Flir Systems, Inc. Infrared imaging device having a shutter
US20140253735A1 (en) * 2003-09-04 2014-09-11 Flir Systems, Inc. Device attachment with infrared imaging sensor
WO2015070105A1 (en) * 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US20150281601A1 (en) * 2014-03-25 2015-10-01 INVIS Technologies Corporation Modular Packaging and Optical System for Multi-Aperture and Multi-Spectral Camera Core
US20150312490A1 (en) * 2011-06-10 2015-10-29 Flir Systems, Inc. Infrared focal plane array heat spreaders

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2217442B (en) * 1988-04-22 1992-04-15 Philips Electronic Associated Temperature compensated thermal radiation detectors
US5471055A (en) 1993-05-28 1995-11-28 The United States Of America As Represented By The Secretary Of The Army Focal plane array test facility
US5811808A (en) 1996-09-12 1998-09-22 Amber Engineering, Inc. Infrared imaging system employing on-focal plane nonuniformity correction
WO2001065827A2 (en) 2000-02-29 2001-09-07 Kyocera Corporation Portable information terminal and digital camera therefor, and portable digital camera information terminal system
EP1279011A2 (en) * 2000-05-01 2003-01-29 BAE SYSTEMS Information and Electronic Systems Integration, Inc. Methods and apparatus for compensating a radiation sensor for temperature variations of the sensor
GB2375899A (en) 2001-05-25 2002-11-27 Nokia Corp Flexibly mounted connector
IL157344A0 (en) 2003-08-11 2004-06-20 Opgal Ltd Internal temperature reference source and mtf inverse filter for radiometry
KR101251649B1 (ko) 2006-06-30 2013-04-05 엘지이노텍 주식회사 이동통신단말기의 카메라모듈
US20080170228A1 (en) 2007-01-17 2008-07-17 Micron Technology, Inc. Method and apparatus for wafer level calibration of imaging sensors
US8378290B1 (en) * 2008-09-02 2013-02-19 Flir Systems, Inc. Sensor calibration systems and methods for infrared cameras
US7683321B1 (en) 2008-12-19 2010-03-23 Fluke Corporation Shutterless infrared imager algorithm with drift correction
US8208026B2 (en) * 2009-03-02 2012-06-26 Flir Systems, Inc. Systems and methods for processing infrared images
DE102010023167B4 (de) 2010-06-07 2014-06-26 Dräger Safety AG & Co. KGaA Wärmebildkamera mit einer schnellen elektromechanischen Verschlussvorrichtung
US9900526B2 (en) * 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US8862183B2 (en) 2011-12-09 2014-10-14 Charles J. Kulas Camera including image transfer for coupling to a host device
CN204903714U (zh) 2012-09-14 2015-12-23 菲力尔***公司 照明器
US10162056B2 (en) 2013-02-27 2018-12-25 Ivan Arbouzov Laser range finding attachment for mobile computing device
TW201503681A (zh) 2013-04-09 2015-01-16 Rui Pedro Oliveira 智慧型手機的附加式相機
WO2014173464A1 (en) 2013-04-26 2014-10-30 Mtech Imaging Pte Ltd Noise correction in an infra-red imaging system
US9797942B2 (en) 2014-08-28 2017-10-24 Seek Thermal, Inc. Radiometric test and configuration of an infrared focal plane array at wafer probe

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140253735A1 (en) * 2003-09-04 2014-09-11 Flir Systems, Inc. Device attachment with infrared imaging sensor
US20140085482A1 (en) * 2010-04-23 2014-03-27 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US20120312976A1 (en) * 2011-06-10 2012-12-13 Flir Systems, Inc. Infrared camera calibration techniques
US20150312490A1 (en) * 2011-06-10 2015-10-29 Flir Systems, Inc. Infrared focal plane array heat spreaders
WO2014106276A2 (en) * 2012-12-31 2014-07-03 Flir Systems, Inc. Infrared imaging device having a shutter
WO2015070105A1 (en) * 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US20150281601A1 (en) * 2014-03-25 2015-10-01 INVIS Technologies Corporation Modular Packaging and Optical System for Multi-Aperture and Multi-Spectral Camera Core

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114414060A (zh) * 2020-10-12 2022-04-29 阿自倍尔株式会社 测定装置
CN114414060B (zh) * 2020-10-12 2024-03-15 阿自倍尔株式会社 测定装置
CN113112495A (zh) * 2021-04-30 2021-07-13 浙江大华技术股份有限公司 一种异常图像处理方法、装置、热成像设备及存储介质
CN113112495B (zh) * 2021-04-30 2024-02-23 浙江华感科技有限公司 一种异常图像处理方法、装置、热成像设备及存储介质

Also Published As

Publication number Publication date
WO2018237079A1 (en) 2018-12-27
US11353365B2 (en) 2022-06-07
EP3642580A1 (en) 2020-04-29
EP3642580A4 (en) 2021-03-17
US20200217719A1 (en) 2020-07-09
CN110998261B (zh) 2022-08-16
US20220260424A1 (en) 2022-08-18
US11774293B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
CN110998261B (zh) 小型热成像核心的设计、测试和操作
EP2923187B1 (en) Hybrid infrared sensor array having heterogeneous infrared sensors
US20170374298A1 (en) Hybrid infrared sensor array having heterogeneous infrared sensors
US9843742B2 (en) Thermal image frame capture using de-aligned sensor array
US20160065848A1 (en) Thermography for a thermal imaging camera
JP5548358B2 (ja) 抵抗型イメージングボロメータを具備する赤外放射を検出する装置、そのボロメータのアレイを具備するシステム、及びそのシステムに統合されるイメージングボロメータを読み出すための方法
CN109618084B (zh) 红外成像***和方法
US9442020B2 (en) Method for correcting the drift of an infrared radiation detector comprising an array of resistive imaging bolometers and device implementing such a method
CN103875235B (zh) 用于红外成像装置的非均匀性校正技术
EP2898670B1 (en) Row and column noise reduction in thermal images
US20110068272A1 (en) Device and method for detecting infrared radiation through a resistive bolometer matrix
US20150312490A1 (en) Infrared focal plane array heat spreaders
US11892356B2 (en) Design, test, and operation of a small thermal imaging core
Tissot et al. Status of uncooled infrared detector technology at ULIS, France
WO2014105904A1 (en) Infrared focal plane array heat spreaders
Tankut et al. An 80x80 microbolometer type thermal imaging sensor using the LWIR-band CMOS infrared (CIR) technology
Tankut et al. A 160x120 LWIR-band CMOS Infrared (CIR) microbolometer
Durand et al. VGA 17 μm development for compact, low-power systems
Howard et al. DRS U6000 640x480 VOx uncooled IR focal plane
Inceturkmen et al. Development of 1280x1024 10µm pixel pitch ROIC for MWIR IIR detectors
Crastes Sr et al. Recent uncooled IR development based on state of the art digital ROIC
US8283634B2 (en) Device for detecting electromagnetic radiation
Weiler et al. Digital uncooled IRFPAs based on microbolometers with 17 µm and 12 µm pixel pitch
Krupiński et al. Test stand for determining parameters of microbolometer camera
JP2010283514A (ja) 赤外線撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant