CN112369019A - 通过使用相机模块的统计分布进行基于环境的空间颜色均匀性校正 - Google Patents

通过使用相机模块的统计分布进行基于环境的空间颜色均匀性校正 Download PDF

Info

Publication number
CN112369019A
CN112369019A CN201980043125.3A CN201980043125A CN112369019A CN 112369019 A CN112369019 A CN 112369019A CN 201980043125 A CN201980043125 A CN 201980043125A CN 112369019 A CN112369019 A CN 112369019A
Authority
CN
China
Prior art keywords
profile
cct
anchor
inhomogeneity
profiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980043125.3A
Other languages
English (en)
Other versions
CN112369019B (zh
Inventor
V·J·赞加劳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN112369019A publication Critical patent/CN112369019A/zh
Application granted granted Critical
Publication of CN112369019B publication Critical patent/CN112369019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

一种制造成像***的方法包括:从相机模块群体中选择标准样本相机模块、上部样本相机模块和下部样本相机模块;针对标准样本相机模块在多个CCT处测量标准样本非均匀性轮廓;针对上部样本相机模块在多个CCT处测量上部样本非均匀性轮廓;针对下部样本相机模块在多个CCT处测量下部样本非均匀性轮廓;通过在每个CCT处的标准样本非均匀性轮廓、上部样本非均匀性轮廓和下部样本非均匀性轮廓的加权平均值,针对相机模块群体在每个CCT处计算锚定非均匀性轮廓;以及将多个锚定非均匀性轮廓存储在包括相机模块群体中的第一相机模块的成像***的硬件存储设备中。

Description

通过使用相机模块的统计分布进行基于环境的空间颜色均匀 性校正
背景技术
滤色阵列(CFA)相机包含感光器阵列,该感光器阵列用于检测与该阵列接触的光子。感光器检测通过位于感光器前面的各种颜色的滤光器而传输的光子的存在。滤光器允许一个波长区域相对于其他波长的更大透射。位于像素阵列之上的滤光器允许同时捕获图像的不同颜色通道。
感光器阵列通常在阵列的像素的空间分布内具有被称为非均匀性轮廓(profile)的变化。阵列的变化引起对阵列的不同区域处的入射光的不同响应。例如,从理论上讲,均匀暴露于发光体的感光器阵列在阵列的所有部分处都将表现出对均匀光源的均匀响应。制造运行中存在变化,从而产生具有不同响应的相机模块。
由于感光器阵列对不同波长的入射光可能具有不同响应,所以感光器阵列对于不同发光体可能表现出不同非均匀性轮廓。例如,对白炽光具有近乎均匀的响应的感光器阵列也可以对诸如日光等较冷发光体表现出不均匀的响应。
发明内容
在一些实施例中,一种用于收集图像的成像***包括相机模块、图像信号处理器和硬件存储设备。相机模块具有与校准相关色温(CCT)相关联的至少一个校准非均匀性轮廓。图像信号处理器与相机模块和硬件存储设备进行数据通信。硬件存储设备已经存储有多个锚定非均匀性轮廓,每个锚定非均匀性轮廓与CCT相关联。锚定非均匀性轮廓中的至少一个锚定非均匀性轮廓与校准CCT相关联。
在一些实施例中,一种处理所收集的图像的方法包括:从相机模块接收所收集的图像数据,相机模块在校准CCT处具有与相机模块相关联的至少一个校准非均匀性轮廓,计算所收集的图像数据的图像CCT,确定至少一个校准非均匀性轮廓与校准CCT的第一锚定非均匀性轮廓之间的增量值,从增量值和与图像CCT相关联的第二锚定非均匀性轮廓生成局部非均匀性轮廓,以及将局部非均匀性轮廓应用于所收集的图像数据以创建已校正图像数据。
在一些实施例中,一种制造成像***的方法包括:从相机模块群体中选择标准样本相机模块、上部样本相机模块和下部样本相机模块;针对标准样本相机模块在多个CCT处测量标准样本非均匀性轮廓;针对上部样本相机模块在多个CCT处测量上部样本非均匀性轮廓;针对下部样本相机模块在多个CCT处测量下部样本非均匀性轮廓;通过在每个CCT处的标准样本非均匀性轮廓、上部样本非均匀性轮廓和下部样本非均匀性轮廓的加权平均值,针对相机模块群体在每个CCT处计算锚定非均匀性轮廓;以及将多个锚定非均匀性轮廓存储在包括相机模块群体中的第一相机模块的成像***的硬件存储设备中。
提供本“发明内容”以便以简化的形式介绍一些概念,这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”既不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
其他特征和优点将在下面的描述中阐述,并且部分地将从描述中变得很清楚,或者可以通过本文中的教导的实践而获知。本公开的特征和优点可以借助于在所附权利要求中特别指出的仪器和组合来实现和获取。本公开的特征将从以下描述和所附权利要求书变得更加完全明显,或者可以通过如下所述的本公开的实践来获知。
附图说明
为了描述可以获取本公开的以上引用的特征和其他特征的方式,将通过参考在附图中示出的其具体实施例来进行更具体的描述。为了更好地理解,在各个附图中,相同的元素已经由相同的附图标记表示。尽管某些附图可以是概念的示意性表示或放大表示,但是至少某些附图可以按比例绘制。应当理解,附图描绘了一些示例实施例,将通过使用附图以附加的特性和细节来描述和解释实施例,在附图中:
图1是根据本公开的至少一个实施例的成像***的示意表示;
图2是根据本公开的至少一个实施例的相机的示意表示;
图3-1至图3-3是根据本公开的至少一个实施例的滤色阵列的示意表示;
图4是根据本公开的至少一个实施例的具有滤色阵列的域的示意表示;
图5是示出根据本公开的至少一个实施例的制造滤色阵列相机的方法的流程图;
图6是示出根据本公开的至少一个实施例的相机模块的示例群体的图;
图7是示出根据本公开的至少一个实施例的相机模块的另一示例群体的图;
图8是示出根据本公开的至少一个实施例的处理图像数据的方法的流程图;以及
图9是示出根据本公开的至少一个实施例的相对于锚定相关色温(CCT)的图像CCT的图。
具体实施方式
本公开总体上涉及用于制造和使用成像***的设备、***和方法。更具体地,本公开涉及制造和使用图像信号处理器和相机模块以更快、更精确和更有效地校正相机模块群体内的空间非均匀性。
常规的颜色成像传感器利用检测特定波长范围的光的多个颜色通道。每个颜色通道可以彼此离散,其中在颜色通道之间几乎没有或没有重叠。在一些实施例中,相邻颜色通道可以在共享波长下呈现出不超过最大灵敏度的20%的光谱灵敏度。例如,常规的红-绿-蓝(“RGB”)成像传感器的红色通道在相邻绿色通道中的任何位置处可以呈现出不超过20%的光谱灵敏度。在通道之间的共享波长中,光谱灵敏度可以小于10%,理想情况下为0%。当通过成像***对颜色像素的内核进行插值时,对各个颜色通道中的光的颜色的这种离散检测可以帮助产生接近人类视觉的颜色混合图像。
颜色成像传感器可以用于多种电子设备或机械中,诸如可穿戴计算设备、汽车应用、工业机械、航空设备(例如,无人机)、或者收集、记录或传输视觉信息的其他设备。例如,图1是在以下各项中使用的成像***100的示意表示:数字相机和视频相机;计算设备,诸如笔记本计算机、平板计算机、混合计算机、智能电话和其他计算设备;用于计算设备的配件,诸如网络摄像头、头戴式显示器、运动捕捉***或其他配件;以及其他电子设备。
在一些实施例中,成像***100包括相机模块102,该相机模块102检测光并且将检测到的亮度发送到图像信号处理器(ISP)104。ISP 104可以与存储设备105进行数据通信。在一些实施例中,存储设备105可以与ISP 104成一体。存储设备105可以是硬件存储设备,诸如基于压盘(platen)的存储设备、固态存储设备、或者其他非暂态或长期储存设备。存储设备105可以存储有用于执行本文中描述的一种或多种方法或方法的一部分的指令。
ISP处理来自相机模块102的图像信号,并且在通过应用或其他软件处理110进行操纵之前,图像数据通过设备特定驱动器106和模块化传递功能(MFT)108的校正功能被进一步处理。由相机模块102和ISP 104提供的图像数据的质量部分地与相机模块102的空间均匀性和/或响应均匀性有关。例如,制造相机模块102群体中的成像传感器或滤色器的变化可能会产生在给定相关色温(CCT)下的空间均匀性的不一致(即,环境波长的比例)、对不同CCT的响应的不一致、以及对不同勒克斯水平(即,给定CCT处的光量)的响应的不一致。
尽管可以通过ISP 104处的校正轮廓来校正单个CCT处的空间非均匀性,但是各种CCT的不同空间非均匀性创建对个体相机模块102和ISP 104进行校准的指数需求。在常规成像***中,ISP 104可以针对CCT和勒克斯水平的每个组合存储非均匀性校正文件的矩阵(以校正空间非均匀性)。典型的相机可以具有针对多个CCT(诸如D75、D65、D50、A、Horizon、CWF、TL84、U30、LED、混合照明等)的校正轮廓。每个CCT可以具有与多个勒克斯水平相关联的校正文件,包括0勒克斯、5勒克斯、10勒克斯、50勒克斯、200勒克斯、1000勒克斯、10000勒克斯或其他水平。每个相机模块的校正轮廓阵列的创建和验证是时间和资源密集型的。根据本公开的成像***100可以包括由来自群体的至少三个样本相机模块的加权平均值而创建的较少数目的锚定轮廓。然后,ISP 104可以调节锚定轮廓并且为群体中的任何相机模块102内插校正轮廓,从而节省时间和资源,同时提供更精确的非均匀性校正。
图2是常规RGB相机模块102的示意性侧视截面图。相机模块102从环境接收光112,并且利用成像传感器114检测光112的存在。在一些实施例中,光112可以是环境光,诸如自然光或太阳光,或者光112可以是人造光,诸如建筑物或室外空间中的电照明(例如,卤素灯、荧光灯、白炽灯、LED或其他电照明)。取决于光源,光112可以具有不同的发射光谱。成像传感器114可以根据光112的光谱而表现出不同的响应。
相机模块102将来自光112的到达相机模块102的入射光子转换为电信号。该电信号可以被放大和/或读出以创建相机视场(FOV)的近似人类视觉的离散颜色通道的镶嵌图像。相机模块102包括位于成像传感器114的表面附近以控制光112的光谱的哪一部分到达成像传感器114的多个滤光器116-1、116-2、116-3。
在所描述的RGB相机模块102的实施例中,相机模块102包括红色滤光器116-1、绿色滤光器116-2和蓝色滤光器116-3。在具有其他颜色通道组合(诸如CMYK)的其他实施例中,滤光器可以与所选择的颜色组合相关。在一些实施例中,红色滤光器116-1可以仅允许透射光112的红色部分,绿色滤光器116-2可以仅允许透射光112的绿色部分,而蓝色滤光器116-3可以仅允许透射光112的蓝色部分。
图3-1至图3-3示出了由关于图2描述的相机模块102的实施例的滤色器对入射白光的部分的衰减。图3-1示出了近似为包括红色部分112-1、绿色部分112-2和蓝色部分112-3的入射光。红色滤光器116-1衰减基本上所有的绿色部分112-2和蓝色部分112-3,同时允许红色部分112-1通过到达成像传感器114。在一些实施例中,相机模块102可以包括像素阵列118。每个像素可以是离散的颜色通道,其中颜色滤光器至少部分确定每个像素的颜色通道。例如,阵列118可以包括常规拜耳图案,其中红色滤光器116-1位于红色像素120-1之上。
图3-2示出了近似为包括红色部分112-1、绿色部分112-2和蓝色部分112-3的图3-1的入射光。绿色滤光器116-2衰减基本上所有的红色部分112-1和蓝色部分112-3,同时允许绿色部分112-2通过到达成像传感器114。阵列118可以包括常规RGB拜耳图案,其中绿色滤光器116-2位于绿色像素120-2之上。
图3-3示出了近似为包括红色部分112-1、绿色部分112-2和蓝色部分112-3的图3-1的入射光。蓝色滤光器116-3衰减基本上所有的红色部分112-1和绿色部分112-2,同时允许蓝色部分112-3通过到达成像传感器114。阵列118可以包括常规RGB拜耳图案,其中蓝色滤光器116-3位于蓝色像素120-3之上。
图4示出了像素120的阵列118。阵列118包括像素120的域122。相机模块102可以在阵列118的区域之间表现出空间非均匀性,从而导致由不同域122或甚至由域122内的不同像素120的响应之间的变化。因为仅域122内的像素对给定波长的入射光敏感,所以任何单个颜色通道(诸如红色通道)都不会包括图像数据中的所有像素位置,并且图像数据被内插在域122的像素120之间以填充每个像素位置的颜色通道信息。该过程可以加剧相机模块102的颜色检测或均匀性的任何错误。
在根据本公开的实施例中,制造成像***的方法224包括:在226处,标识相机模块群体,并且在228处,至少选择群体中的标准样本模块、上部样本模块和下部样本模块。在一些实施例中,群体可以在制造时标识。在其他实施例中,群体可以在从第三方制造商接收到群体时标识。
群体可以是任何数目的相机模块。例如,相机模块群体可以是10、100、1000、10000或更多个相机模块。在其他示例中,群体可以是一天、两天、三天、一周、一个月或更长时间在工厂制造的所有相机模块。在其他示例中,群体可以是在生产运行中制造的所有相机模块。在其他示例中,群体可以是由一组库存材料(诸如一组半导体晶片)生产的所有相机模块。
方法224包括:在230处,在多个CCT处测量标准样本的标准样本非均匀性轮廓;在232处,在多个CCT处测量上部样本的上部样本非均匀性轮廓;在234处,在多个CCT处测量下部样本的下部样本非均匀性轮廓。例如,可以选择群体的标准样本作为群体表现最佳的样本,并且可以针对标准样本的不同CCT测量一系列非均匀性轮廓。上部样本和下部样本可以是在空间均匀性范围上来自群体的相机模块的不太均匀的示例。在一些实施例中,上部样本和下部样本可以是群体的上限样本和下限样本。例如,上限样本和下限样本可以表示与满足制造商和/或质量保证要求的标准样本的性能的最大偏差。在其他实施例中,上部样本和下部样本可以表示沿着范围与标准样本性能的偏差,并且可以在性能的上限和下限之上或之下。
在一些实施例中,方法224还包括测量第二下部样本非均匀性轮廓和/或第二上部样本非均匀性轮廓以进一步分别提供在标准样本非均匀性轮廓之下和之上的参考值。
因此,上部样本非均匀性轮廓和下部样本非均匀性轮廓可以沿着标准样本非均匀性轮廓之上和之下的相机模块性能的范围提供参考点。例如,标准样本非均匀性轮廓包括在给定CCT处标准样本的每个像素的标准样本响应值。上部样本非均匀性轮廓包括在给定CCT处在上部样本的每个对应像素处的上部样本响应值(大于标准样本响应值)。下部样本非均匀性轮廓包括在给定CCT处在下部样本的每个对应像素处的下部样本响应值(小于标准样本响应值)。
方法224包括在236处,使用标准样本非均匀性轮廓、上部样本非均匀性轮廓和下部样本非均匀性轮廓的加权平均值在每个CCT处计算锚定轮廓。在一些实施例中,标准样本非均匀性轮廓占锚定轮廓的65%,上部和下部样本非均匀性轮廓分别占锚定轮廓的17.5%。在其他实施例中,标准样本非均匀性轮廓可以在具有上限值、下限值或上限值和下限值的范围内占锚定轮廓的一百分比,包括50%、55%、60%、65%、70%、75%、80%、85%、90%或其之间的任何值中的任何一个。例如,标准样本非均匀性轮廓可以占锚定轮廓的50%以上。在其他示例中,标准样本非均匀性轮廓可以占锚定轮廓的90%以下。在其他示例中,标准样本非均匀性轮廓可以占锚定轮廓的50%至90%之间。在其他示例中,标准样本非均匀性轮廓可以占锚定轮廓的55%至80%之间。在至少一个示例中,至关重要的是,标准样本非均匀性轮廓可以占锚定轮廓的60%至70%之间。
在一些实施例中,上部样本非均匀性轮廓可以在具有上限值、下限值或上限值和下限值的范围内占锚定轮廓的一百分比,包括5%、7.5%、10%、12.5%、15%、17.5%、20%、22.5%、25%或其之间的任何值中的任何一个。例如,上部样本非均匀性轮廓可以占锚定轮廓的5%以上。在其他示例中,上部样本非均匀性轮廓可以占锚定轮廓的25%以下。在其他示例中,上部样本非均匀性轮廓可以占锚定轮廓的5%至25%之间。在其他示例中,上部样本非均匀性轮廓可以占锚定轮廓的10%到22.5%之间。在至少一个示例中,至关重要的是,上部样本非均匀性轮廓可以占锚定轮廓的15%至20%之间。
在一些实施例中,下部样本非均匀性轮廓可以在具有上限值、下限值或上限值和下限值的范围内占锚定轮廓的一百分比,包括5%、7.5%、10%、12.5%、15%、17.5%、20%、22.5%、25%或其之间的任何值中的任何一个。例如,下部样本非均匀性轮廓可以占锚定轮廓的5%以上。在其他示例中,下部样本非均匀性轮廓可以占锚定轮廓的25%以下。在其他示例中,下部样本非均匀性轮廓可以占锚定轮廓的5%至25%之间。在其他示例中,下部样本非均匀性轮廓可以占锚定轮廓的10%至22.5%之间。在至少一个示例中,至关重要的是,下部样本非均匀性轮廓可以占锚定轮廓的15%至20%之间。
在一些实施例中,上部样本非均匀性轮廓比下部样本非均匀性轮廓加权更大。例如,上部样本非均匀性轮廓可以占锚定轮廓的20%,而下部样本非均匀性轮廓可以占锚定轮廓的15%。在其他实施例中,上部样本非均匀性轮廓比下部样本非均匀性轮廓加权更小。例如,上部样本非均匀性轮廓可以占锚定轮廓的15%,而下部样本非均匀性轮廓可以占锚定轮廓的20%。在其他实施例中,上部样本非均匀性轮廓与下部样本非均匀性轮廓相等地加权。例如,上部样本非均匀性轮廓可以占锚定轮廓的15%,而下部样本非均匀性轮廓可以占锚定轮廓的15%。
在具有多个上部样本非均匀性轮廓和/或多个下部样本非均匀性轮廓的实施例中,上部和下部样本非均匀性轮廓可以被相等地加权,作为上部样本非均匀性轮廓的总和和下部样本非均匀性轮廓的总和,或者上部和下部样本非均匀性轮廓可以被不同地加权,作为上部样本非均匀性轮廓的总和和下部样本非均匀性轮廓的总和。在一些示例中,可以如本文所述对标准样本非均匀性轮廓进行加权,可以如本文所述针对上部样本非均匀性轮廓对上部样本非均匀性轮廓进行加权(共同地),并且可以如本文所述针对下部样本非均匀性轮廓对下部样本非均匀性轮廓进行加权(共同地)。换言之,标准样本非均匀性轮廓可以占锚定轮廓的65%,而第一上部样本非均匀性轮廓可以占10%并且第二上部样本非均匀性轮廓可以占7.5%,并且第一下部样本非均匀性轮廓可以占10%并且第二下部样本非均匀性轮廓可以占7.5%。
方法224还包括在238处将多个锚定轮廓存储在包括群体中的第一相机模块的成像***的硬件存储设备中。成像***然后可以使用ISP或其他处理器来访问锚定轮廓以将本地非均匀性轮廓应用于由第一相机模块收集的图像数据。
在一些实施例中,用于计算锚定轮廓的相对比例可以与相机模块群体的性能分布有关。
图6是示出相对于响应值的均匀性的相机模块群体的示例分布的图340。具有最类似于标准样本342的性能的相机模块可以在图340的中心附近处于较高数量。下部样本344和上部样本346可以分别从标准样本342之下或之上的群体的剩余部分中选择。在其他示例中,第二下部样本345和第二上部样本347(或任何数目的下部样本和/或上部样本)可以分别从标准样本342之下或之上的群体的剩余部分中选择。
图340示出了群体之中的性能的近似对称分布,并且从下部样本344和上部样本346测量的非均匀性轮廓可以在这样的群体中近似相等地加权。在其他示例中,分布可以是不对称的,或者上部样本和下部样本可以从分布的不相等部分中选择。图7是示出第二群体的示例分布的图440。标准样本442可以表现出最精确的图像再现并且可以被最高地加权,而上部样本446和下部样本444可以以较低和不相等的量进行加权。
图8是示出根据本公开的至少一个实施例的处理所收集的图像数据的方法548的流程图。方法548包括在550处从相机模块接收所收集的图像数据。相机模块具有与校准CCT相关联的至少一个校准非均匀性轮廓。相机模块在制造时被校准,并且校准非均匀性轮廓至少为校准CCT提供校正轮廓。
方法548还包括在552处计算所收集的图像数据的图像CCT。例如,可以通过自动白平衡或其他图像处理技术来处理所收集的图像数据,以确定在相机模块进行的图像收集期间存在于周围环境中的光的主要波长。
方法548还包括在554处确定相机模块的校准非均匀性轮廓和与校准CCT相关联的第一锚定非均匀性轮廓之间的增量值。例如,校准CCT可以是D75,并且第一锚定非均匀性轮廓可以是针对相机模块所属的相机模块群体而计算的锚定非均匀性轮廓。增量值可以是校准CCT处的相机模块的校准非均匀性轮廓与校准CCT处的第一锚定非均匀性轮廓之间在相机模型的每个像素和/或域处的差异。
在其他实施例中,确定增量值可以包括在多个校准CCT处计算增量值。例如,相机模块可以在两个、三个、四个或更多个不同的CCT处被校准。每个校准CCT可以与锚定非均匀性轮廓的CCT相关。增量值可以通过在相同的校准CCT处对至少两个校准非均匀性轮廓和锚定非均匀性轮廓之间的差异求平均或以其他方式进行合计来确定。例如,第一校准CCT可以是D75,并且第二校准CCT可以是LED。第一增量值和第二增量值可以不同,并且第一增量值和第二增量值的平均值产生平均增量值。
一旦计算出所收集的图像数据的CCT并且确定了增量值(或平均增量值),则方法548包括在556处为所收集的图像数据的图像CCT生成局部非均匀性轮廓。图像CCT处的局部非均匀性轮廓可以通过将增量值(从校准CCT计算的)应用于与图像CCT相关联的锚定非均匀性轮廓来生成。
最后,方法548包括在558处将图像CCT的局部非均匀性轮廓应用于所收集的图像数据以创建已校正图像数据。然后校正图像数据可以被存储或用于将已校正图像显示给用户。例如,已校正图像数据可以被存储到第二硬件存储设备,经由远程存储设备(诸如云存储服务)或其他非暂态存储设备来存储。在其他示例中,已校正图像可以通过计算机显示器、膝上型计算机显示器、平板显示器、头戴式显示器或其他显示设备显示给用户。
在一些实施例中,从所收集的图像数据计算的图像CCT可以在第一锚定CCT与第二锚定CCT之间。图9是示出基于在该CCT处的颜色传感器响应的相对于颜色通道的比率的示例CCT的图560。CCT的特征是具有不同的开氏温度。每个CCT的开氏温度值与产生该光谱分布的发光体的“温暖”有关。例如,Horizon CCT的特征是开氏温度为2400K的温暖CCT。75CCT的特征是开氏温度为7500K的凉爽CCT,并且通常用于近似阴暗的室外照明。CCT的范围包括诸如作为2856K的暖发光体的A(钨)和作为4100K的冷发光体的F2或CWF(冷白色荧光灯)等发光体。
所收集的图像数据可以针对锚定非均匀性轮廓来测量在两个CCT之间的值。例如,所收集的图像数据可以包括光源的组合,使得图像CCT 562不能与锚定非均匀性轮廓的单个CCT完美地对准。常见的图像CCT可以包括A(白炽灯照明)和D65(窗外的午间室外照明)发光体的组合、或者F2或CWF(汽车前灯的荧光灯照明)和Horizon(夕阳照明)的组合。在这样的实施例中,图像CCT 562可以沿着可用锚定CCT的曲线定位,如图9所示。
在一些实施例中,局部非均匀性轮廓在用相似图像CCT收集第二图像数据时可以被本地存储以用于将来参考,和/或经由远程存储设备(诸如云存储服务)远程存储第二图像数据以用于交叉参考相同群体中的相机模块的其他计算的局部均匀性分布。例如,可以将局部非均匀性轮廓与相同群体中的相机模块的其他计算的局部均匀性分布进行比较,以进一步完善相机模块或相同群体中其他相机模块的局部非均匀性轮廓的创建。
在一些实施例中,根据本公开的成像***可以从相邻CCT处的锚定非均匀性轮廓(例如,4100K处的CWF和3000K处的U30)的加权组合来计算基于图像CCT 562的局部非均匀性轮廓。例如,图像CCT 562可以被计算为大约3275K。因此,局部非均匀性轮廓可以通过使用利用针对群体的特定相机模块而测量的增量值针对该相机模块而调节的、以25%的CWF锚定非均匀性轮廓加权的75%的U30锚定非均匀性轮廓来生成。
在至少一个实施例中,从多个锚定非均匀性轮廓创建局部非均匀性轮廓可以以更少的时间和更少的资源提供比常规的非均匀性轮廓矩阵更精确的非均匀性轮廓以用于相机模块的均匀性校正。在至少另一实施例中,对于相机模块群体使用锚定非均匀性轮廓可以节省成像***的生产时的时间和资源,而针对一组特定的所收集的图像数据动态创建局部非均匀性轮廓可以提供比常规方法更精确的图像校正。
冠词“一个(a)”、“一个(an)”和“该(the)”旨在表示在前面的描述中存在一个或多个元素。术语“包括(comprising)”、“包括(including)”和“具有(having)”旨在是包括性的,并且表示除所列元素外可以还有其他元素。另外,应当理解,对本公开的“一个实施例(one embodiment)”或“实施例(an embodiment)”的引用不旨在被解释为排除也包含所述特征的其他实施例的存在。例如,关于本文中的实施例描述的任何元素可以与本文中描述的任何其他实施例的任何元素组合。如本公开的实施例所涵盖的本领域普通技术人员将理解的,本文中所述的数字、百分比、比率或其他值旨在包括该值、以及“约(about)”或“近似(approximately)”为所述值的其他值。因此,应当将所述值解释得足够宽泛,以包含至少与所述值足够接近的值,以执行期望功能或实现期望结果。所述值至少包括在合适的制造或生产过程中预期的变化,并且可以包括在所述值的5%以内、1%以内、0.1%以内或0.01%以内的值。
考虑到本公开,本领域普通技术人员应当认识到,等同的构造不脱离本公开的精神和范围,并且在不背离本公开的精神和范围的情况下,可以对本文中公开的实施例进行各种改变、替换和变更。包括功能性“装置加功能(means-plus-function)”子句的等效构造旨在涵盖本文中描述为执行所列举功能的结构,包括以相同方式操作的结构等效物和提供相同功能的等效结构。申请人的明确意图是不对任何权利要求援引装置加功能或其他功能性声明,但是短语“用于……的装置(means for)”与相关功能一起出现的权利要求除外。落入权利要求的含义和范围内的对实施例的每个增加、删除和修改将被权利要求所涵盖。
应当理解,在前面的描述中任何方向或参考系仅仅是相对方向或运动。例如,对“前”和“后”或“顶部”和“底部”或“左”和“右”的任何引用仅描述相关元素的相对位置或运动。
在不脱离本发明的精神或特征的情况下,本发明可以以其他具体形式来体现。所描述的实施例应当被认为是说明性的而非限制性的。因此,本公开的范围由所附权利要求而不是前述描述来指示。在权利要求的等同含义和范围内的改变应当被包含在其范围内。

Claims (15)

1.一种用于收集图像的成像***,所述成像***包括:
相机模块,所述相机模块具有与校准相关色温(CCT)相关联的至少一个校准非均匀性轮廓;
图像信号处理器,与所述相机模块进行数据通信;以及
硬件存储设备,与所述图像信号处理器通信并且在其上存储有多个锚定非均匀性轮廓,每个锚定非均匀性轮廓与CCT相关联并且所述锚定非均匀性轮廓中的至少一个锚定非均匀性轮廓与所述校准CCT相关联。
2.根据权利要求1所述的成像***,所述相机模块在第一CCT处具有第一校准非均匀性轮廓并且在第二CCT处具有第二校准非均匀性轮廓。
3.根据权利要求1至2中任一项所述的成像***,所述多个锚定非均匀性轮廓是从至少三个其他相机模块测量的。
4.根据权利要求1至3中任一项所述的成像***,所述硬件存储设备是所述图像信号处理器的一部分。
5.根据权利要求1至4中任一项所述的成像***,所述硬件存储设备在其上存储有指令,所述指令在由所述图像信号处理器执行时使所述成像***:
从所述相机模块接收所收集的图像,
计算所述所收集的图像的图像CCT,
从所述至少一个校准非均匀性轮廓与所述校准CCT的第一锚定非均匀性轮廓之间的增量值和与所述图像CCT相关联的第二锚定非均匀性轮廓,生成局部非均匀性轮廓,以及
将所述局部非均匀性轮廓应用于所述所收集的图像以创建已校正图像。
6.一种处理所收集的图像的方法,所述方法包括:
从相机模块接收所收集的图像数据,所述相机模块在校准CCT处具有与所述相机模块相关联的至少一个校准非均匀性轮廓;
计算所述所收集的图像数据的图像CCT;
确定所述至少一个校准非均匀性轮廓与所述校准CCT的第一锚定非均匀性轮廓之间的增量值;
从所述增量值和与所述图像CCT相关联的第二锚定非均匀性轮廓生成局部非均匀性轮廓;以及
将所述局部非均匀性轮廓应用于所述所收集的图像数据以创建已校正图像数据。
7.根据权利要求6所述的方法,还包括将所述已校正图像数据显示给用户。
8.根据权利要求6至7中任一项所述的方法,所述图像CCT在所述多个锚定非均匀性轮廓中的两个相邻锚定非均匀性轮廓的CCT之间,所述局部非均匀性轮廓是从所述两个相邻锚定非均匀性轮廓的组合生成的。
9.根据权利要求8所述的方法,所述局部非均匀性轮廓是基于所述图像CCT和所述两个相邻锚定非均匀性轮廓的所述CCT的色温差从所述两个相邻锚定非均匀性轮廓的加权组合生成的。
10.根据权利要求8所述的方法,还包括将所述局部非均匀性轮廓本地存储在硬件存储设备上。
11.根据权利要求8所述的方法,还包括远程存储所述局部非均匀性轮廓,并且将所述局部非均匀性轮廓与从用于创建所述第一锚定非均匀性轮廓的群体而创建的其他局部非均匀性轮廓进行比较。
12.根据权利要求8所述的方法,计算所述图像CCT包括使用自动白平衡操作。
13.一种制造成像***的方法,所述方法包括:
从相机模块群体中选择标准样本相机模块、上部样本相机模块和下部样本相机模块;
针对所述标准样本相机模块在多个CCT处测量标准样本非均匀性轮廓;
针对所述上部样本相机模块在所述多个CCT处测量上部样本非均匀性轮廓;
针对所述下部样本相机模块在所述多个CCT处测量下部样本非均匀性轮廓;
通过在每个CCT处的所述标准样本非均匀性轮廓、所述上部样本非均匀性轮廓和所述下部样本非均匀性轮廓的加权平均值,针对所述相机模块群体在每个CCT处计算锚定非均匀性轮廓;以及
将多个锚定非均匀性轮廓存储在包括所述相机模块群体中的第一相机模块的所述成像***的硬件存储设备中。
14.根据权利要求13所述的方法,所述标准样本非均匀性轮廓在每个CCT处占所述锚定非均匀性轮廓的至少50%。
15.根据权利要求13至14中任一项所述的方法,所述上部样本非均匀性轮廓在每个CCT处占所述锚定非均匀性轮廓的至少5%。
CN201980043125.3A 2018-06-26 2019-06-03 通过使用相机模块的统计分布进行基于环境的空间颜色均匀性校正 Active CN112369019B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/018,911 US10863059B2 (en) 2018-06-26 2018-06-26 Environmental-based spatial color uniformity correction by using statistical distribution of camera modules
US16/018,911 2018-06-26
PCT/US2019/035154 WO2020005466A1 (en) 2018-06-26 2019-06-03 Environmental-based spatial color uniformity correction by using statistical distribution of camera modules

Publications (2)

Publication Number Publication Date
CN112369019A true CN112369019A (zh) 2021-02-12
CN112369019B CN112369019B (zh) 2024-03-08

Family

ID=66952054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043125.3A Active CN112369019B (zh) 2018-06-26 2019-06-03 通过使用相机模块的统计分布进行基于环境的空间颜色均匀性校正

Country Status (4)

Country Link
US (1) US10863059B2 (zh)
EP (1) EP3794818B1 (zh)
CN (1) CN112369019B (zh)
WO (1) WO2020005466A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450270A (zh) * 2021-05-26 2021-09-28 浙江大华技术股份有限公司 校正参数生成方法、电子装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879144A (zh) * 2003-11-07 2006-12-13 色彩集成方案股份有限公司 用于显示装置特征化、校准和检验的***和方法
CN101911715A (zh) * 2008-02-13 2010-12-08 高通股份有限公司 用于数码相机装置的白平衡校准
US20150036018A1 (en) * 2013-08-01 2015-02-05 Mediatek Inc. Method and apparatus for tuning camera correction setting for camera module
CN107250744A (zh) * 2015-02-11 2017-10-13 苹果公司 具有颜色感测环境光传感器的电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060095222A1 (en) 2004-11-04 2006-05-04 Mindspeed Technologies, Inc. Optic module calibration
US8049789B2 (en) 2006-12-15 2011-11-01 ON Semiconductor Trading, Ltd White balance correction using illuminant estimation
US8659685B2 (en) 2008-06-25 2014-02-25 Aptina Imaging Corporation Method and apparatus for calibrating and correcting shading non-uniformity of camera systems
US8531542B2 (en) 2010-09-01 2013-09-10 Apple Inc. Techniques for acquiring and processing statistics data in an image signal processor
US9219847B2 (en) 2010-11-01 2015-12-22 Nokia Technologies Oy Tuning of digital image quality
US9264689B2 (en) * 2011-08-04 2016-02-16 Semiconductor Components Industries, Llc Systems and methods for color compensation in multi-view video
US9080916B2 (en) 2012-08-30 2015-07-14 Apple Inc. Correction factor for color response calibration
CN104320641B (zh) 2013-03-13 2017-04-12 豪威科技股份有限公司 电子照相机的自动白平衡的自动化自我训练的装置及方法
US9532024B2 (en) 2014-04-21 2016-12-27 Apple Inc. Color calibration and use of multi-LED flash modules
US9307215B1 (en) 2014-12-19 2016-04-05 Omnivision Technologies, Inc. Automatic white balance methods and systems for electronic cameras
US9307214B1 (en) 2014-12-19 2016-04-05 Omnivision Technologies, Inc. Automatic white balance methods and systems for electronic cameras
US9509902B1 (en) 2015-06-10 2016-11-29 Microsoft Technology Licensing, Llc Methods and devices for correction of camera module sensitivity and flash color variation
US10565741B2 (en) * 2017-02-06 2020-02-18 L'oreal System and method for light field correction of colored surfaces in an image
US11037232B2 (en) * 2017-06-06 2021-06-15 Microsoft Technology Licensing, Llc Smart membership management

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879144A (zh) * 2003-11-07 2006-12-13 色彩集成方案股份有限公司 用于显示装置特征化、校准和检验的***和方法
CN101911715A (zh) * 2008-02-13 2010-12-08 高通股份有限公司 用于数码相机装置的白平衡校准
US20150036018A1 (en) * 2013-08-01 2015-02-05 Mediatek Inc. Method and apparatus for tuning camera correction setting for camera module
CN104349150A (zh) * 2013-08-01 2015-02-11 联发科技股份有限公司 相机调优电路和相机校正方法
CN107250744A (zh) * 2015-02-11 2017-10-13 苹果公司 具有颜色感测环境光传感器的电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450270A (zh) * 2021-05-26 2021-09-28 浙江大华技术股份有限公司 校正参数生成方法、电子装置和存储介质

Also Published As

Publication number Publication date
EP3794818B1 (en) 2023-05-24
US20190394360A1 (en) 2019-12-26
US10863059B2 (en) 2020-12-08
WO2020005466A1 (en) 2020-01-02
EP3794818A1 (en) 2021-03-24
CN112369019B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
US8094195B2 (en) Digital camera calibration method
CN101621705B (zh) 自动白平衡的方法及装置
US20090146982A1 (en) Lighting Calibration System and Method
US8731277B2 (en) Methods for matching gain and color for stereoscopic imaging systems
US8462227B2 (en) Digital camera module white balance calibration method and apparatus using only single illumination source data
US20160227100A1 (en) Dual camera systems and methods for rapid 3a convergence and high dynamic range exposure metering
US9483849B2 (en) Method and apparatus for controlling camera for color calibration of multi-displays
US20130033585A1 (en) Systems and methods for color compensation in multi-view video
CN102281389A (zh) 用于生成适于摄影环境的镜头阴影补偿表的装置和方法
US7616314B2 (en) Methods and apparatuses for determining a color calibration for different spectral light inputs in an imaging apparatus measurement
US6982412B2 (en) Infra red camera calibration
CN105551431A (zh) Led显示模块均匀性校正方法
US20100149403A1 (en) Automatic white balancing using meter sensors
US8482629B2 (en) Processing method for a relative illumination phenomenon on a digital image and associated processing system
US7394540B2 (en) Methods and apparatuses for applying different color calibrations at different locations in an imaging photometer measurement
CN108063934B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN112369019B (zh) 通过使用相机模块的统计分布进行基于环境的空间颜色均匀性校正
TWI654873B (zh) 螢幕校正方法及螢幕校正系統
US20040057615A1 (en) Automatic white balance technique
JP2005033609A (ja) 固体撮像装置及びデジタルカメラ
KR20070112949A (ko) 멀티 이미지 센서 튜닝 장치 및 방법
CN113132694B (zh) 基于色度学的彩色相机多摄镜头颜色一致性校正方法
US20080079749A1 (en) White balance method for image processing
CN116233381A (zh) 一种颜色校正方法、装置、电子设备和存储介质
Kamath et al. Prediction of illuminance on the work plane using low dynamic unprocessed image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant