CN115460383A - 对图像捕获设备部件随时间的光学变化的补偿 - Google Patents

对图像捕获设备部件随时间的光学变化的补偿 Download PDF

Info

Publication number
CN115460383A
CN115460383A CN202210642748.6A CN202210642748A CN115460383A CN 115460383 A CN115460383 A CN 115460383A CN 202210642748 A CN202210642748 A CN 202210642748A CN 115460383 A CN115460383 A CN 115460383A
Authority
CN
China
Prior art keywords
time
color
image capture
component
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210642748.6A
Other languages
English (en)
Other versions
CN115460383B (zh
Inventor
M·A·洛佩阿尔瓦瑞兹
赵勇慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN115460383A publication Critical patent/CN115460383A/zh
Application granted granted Critical
Publication of CN115460383B publication Critical patent/CN115460383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40006—Compensating for the effects of ageing, i.e. changes over time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本公开涉及对图像捕获设备部件随时间的光学变化的补偿。公开了设备、方法和非暂态程序存储设备(NPSD)用于补偿相机模块在真实世界使用某些时间之后经历的所预测颜色变化。此类颜色变化可由相机模块的光学部件长时间暴露给以下中的一个或多个引起：太阳辐射、高温条件或高湿条件，其中每一者可随时间推移而引起相机模块的光学部件的颜色响应的偏差。本文公开的技术可首先基于特定环境条件对部件随时间推移的此类预测光学变化进行表征，然后实施一个或多个时变颜色模型以补偿由于所表征的光学变化对相机模块的颜色校准值的所预测变化。在一些实施方案中，也可建模和补偿由持续很久的环境应力引起的其它类型的部件(例如，显示设备)中的光学变化。

Description

对图像捕获设备部件随时间的光学变化的补偿
技术领域
本公开整体涉及图像处理领域。更具体地但非限制性地，其涉及由于相机模块的光学部件和/或电子设备的其它部件随时间的光学变化而导致的颜色补偿的技术。
背景技术
相机模块(例如，移动电话或其它个人电子设备内的相机模块)内的光学部件可包括各种透镜、红外(IR)截止滤光片、抗反射涂层和滤色器阵列(CFA)等。此类部件可随着时间的推移由于暴露于太阳辐射、高湿度和/或高温而经历光学变化。因此，可能的是，这些部件可能经历其初始光谱透射率、光谱发射率(或其它光学特性)的偏差，这可能影响相机模块的总颜色响应。
在一些情况下，一个或多个相机颜色校准值可在出厂校准时存储在相机模块的存储器中，即，在制造模块时测量的校准值。然而，在某个时间点，例如，由于在相机的各个光学部件中可能随时间而经历的上述光学变化，可能的是，这些颜色校准值可能产生比可能优选的相比逼真度更低的图像，例如，一旦相机模块已经在真实世界环境条件中被客户在其移动设备中使用多年，并且可能需要针对这些变化进行调节。
因此，需要方法和***来对于相机模块或电子设备的其它部件的光学元件随时间推移而经历的预测光学变化提供改进的时变补偿。
发明内容
本文公开了设备、方法和非暂态程序存储设备(NPSD)，用于提供相机模块颜色校准值的经改善的时变的基于软件的颜色校正。根据一些实施方案，提供了一种设备，该设备包括：存储器；一个或多个图像捕获设备；和操作地耦接到所述存储器的一个或多个处理器，其中所述一个或多个处理器被配置为执行指令使得所述一个或多个处理器：获取所述一个或多个图像捕获设备中第一图像捕获设备的第一部件的时变颜色模型，其中所述时变颜色模型被配置为对随时间推移应用于所述第一图像捕获设备以补偿所述第一部件中的光学变化的颜色校准量进行建模；获取由所述第一图像捕获设备在第一时间捕获的第一图像；并且根据所述时变颜色模型和所述第一时间对所述第一图像进行颜色校正。
例如，可根据所述时变颜色模型通过调节一个或多个颜色分量测量值诸如相机模块的红色(R)、绿色(G)或蓝色(B)响应和/或用于校准所述第一图像捕获设备的一个或多个预定白点的颜色分量测量值的组合或比率(例如，R/G和B/G比率)来应用所述颜色校正。在其它情况下，可在工厂校准时基于光的一个或多个特定波长上给定部件的光谱透射率(和/或光谱发射率，例如，在补偿显示部件而不是相机部件的情况下，如下文将讨论的)来校准相机模块。换句话说，具体设备制造商用于在工厂校准时执行其相机(或显示)模块颜色校准的任何参数可针对其随时间推移由于暴露于特定环境条件而导致的光学变化被建模，然后随时间进行补偿。
根据一些实施方案，所述第一部件包括所述第一图像捕获设备的光学部件，诸如透镜；红外(IR)截止滤光器；抗反射涂层；或滤色器阵列(CFA)。
根据其它实施方案，由所述时变颜色模型建模的所述光学变化由以下中的一者或多者导致：所述第一部件暴露于太阳辐射；所述第一部件暴露于湿度；或所述第一部件暴露于热。在一些示例中，由所述时变颜色模型建模的所述光学变化包括以下中一者或多者的工厂校准值的偏差：光谱透射率；或颜色响应。在一些实施方案中，由所述时变颜色模型应用的所述颜色校准补偿量可受限于预定最大值(例如，2％、3％等)；并且此类预定最大值可以是所述相机模块的使用寿命的最大补偿值，或者可相反是所述第一图像捕获设备的初始工厂校准之后每个预定义时间段的预定最大补偿值(例如，每2年应用最多高达2％的附加补偿，每3年应用最多高达3％的附加补偿，等等)。
在其它实施方案中，所述时变颜色模型可通过来自容纳所述相机模块的设备的一个或多个传感器(例如，温度计、GPS、高度计、环境光传感器)和/或在所述设备上执行的一个或多个应用的输入数据来精修，并且所述输入数据可包括以下中的一个或多个：所述设备的位置；所述设备的周围环境中的温度；所述设备的周围环境中的湿度水平；或所述设备的周围环境中的光水平。在一些情况下，可至少部分地基于从一个或多个传感器或在所述设备上执行的应用接收的所述输入数据，从多个候选时变颜色模型中选择使用的所述时变颜色模型。
根据另外的实施方案，所述时变颜色模型可包括机器学习(ML)模型，所述机器学习(ML)模型被训练学习所述设备随时间推移而经历的一个或多个环境因素与对所述第一图像捕获设备的所述第一部件导致的对应光学变化的量(例如，对于光的某些波长的透射率、发射率等)之间的相关性。在其它情况下，所述时变颜色模型可简单地包括被配置为在所述设备随时间推移经历的一个或多个环境因素与对所述第一图像捕获设备的所述第一部件引起的对应光学变化的量之间相关的函数(例如，线性、多项式、指数、分段限定的等)。
根据其它实施方案，所述一个或多个处理器还被配置为：获取用于电子设备的显示器的第二部件的第二时变颜色模型(例如，其中与显示部件相关的所述第二模型附加于或代替用于第一图像捕获设备的第一部件的前述第一时变颜色模型而被使用)，其中所述第二时变颜色模型被配置为对随时间推移应用于在所述显示器上显示的图像以补偿所述第二部件的所述颜色的颜色校准的量进行建模；获取用于在第二时间在所述设备的所述显示器上显示的第二图像；根据所述第二时变颜色模型和所述第二时间来对所述第二图像进行颜色校正；以及在所述显示器上显示经颜色校正的所述第二图像。
本文还公开了各种非暂态程序存储设备(NPSD)的实施方案。此类NPSD可被一个或多个处理器读取。指令可被存储在NPSD上，以用于使该一个或多个处理器执行本文所公开的实施方案中的任何一个实施方案。根据本文公开的设备和NPSD实施方案，本文还公开了各种图像处理方法。
附图说明
图1根据一个或多个实施方案示出了图像捕获设备的光学元件的光谱透射率相对于光的波长绘制的曲线图。
图2根据一个或多个实施方案示出了图像捕获设备的光学元件的颜色校准Δ相对于时间绘制的曲线图。
图3根据一个或多个实施方案示出了具有和没有对图像捕获设备的光学元件中的光学变化的补偿的颜色校准Δ相对于时间绘制的另一曲线图。
图4A是示出根据各种实施方案的执行相机颜色校准的方法的流程图。
图4B是示出根据各种实施方案的执行显示器颜色校准的方法的流程图。
图5是示出可编程电子计算设备的框图，在该可编程电子计算设备中可实现本文所公开的技术中的一种或多种技术。
具体实施方式
在以下描述中，为了解释的目的，阐述了很多具体细节，以便提供对本文公开的发明的彻底理解。然而，对本领域的技术人员而言显而易见的是，可以在不存在这些具体细节的情况下实践本发明。在其它情况中，结构和设备被以框图的形式示出，以便避免模糊本发明。对没有下标或后缀的数字的引用应当理解为引用对应于附图标记的所有下标和后缀情况。此外，本公开中所使用的语言已主要被选择用于可读性和指导性目的，并且可能没有被选择为划定或限定本发明的主题，并且因此可能需要诉诸于权利要求书以确定此类发明主题。在说明书中对“一个实施方案”或“实施方案”(或类似表述)的引用意指在发明之一的至少一个实施方案中包括的结合该实施方案描述的特定特征、结构或特性，并且对“一个实施方案”或“实施方案”的多次引用不应被理解为全部必然地参考相同的实施方案。
如上所述，本文公开的技术提供了相机模块颜色校准值的经改进的时变的基于软件的颜色校正，例如，用于补偿客户的移动相机设备在正常使用和暴露于环境条件一定量的时间之后(例如，通常在几年的跨度上)可能经历的颜色变化。此类颜色变化可能是由暴露于以下中一者或多者的组合导致：太阳辐射、高温条件和/或高湿条件，其中每一者都可能诱导相机模块的一个或多个光学部件的特性的一定程度变化，例如透镜、IR截止滤光器、抗反射涂层、CFA等。例如，紫外(UV)辐射可随时间推移损坏相机透镜的塑料部件，使其具有更显著的蓝色含量，从而影响由相机模块拍摄的图像的颜色。
由于暴露于各种环境应力，某些相机模块部件(和/或具有光学元件的其它设备部件)可能经历其光谱透射率的改变，这可能影响相机模块的总颜色响应，如将在下文参考图1更详细地描述的。由于此类部件的光学特性的变化，在真实世界环境中被客户使用某个时间段之后，继续使用存储在相机模块的存储器中的例如在工厂校准时测量的相机颜色校准值可能导致所捕获的图像与可能优选的相比逼真性更低。因此，会期望能够准确地建模和随时间推移补偿这些预测效应，因为颜色校准值大于3％的误差可能被客户感知为导致其捕获(或显示)图像中更低逼真的颜色。
图像捕获设备的部件随时间推移由于环境应力而导致的示例性光学变化
现在转向图1，根据一个或多个实施方案示出了图像捕获设备的光学元件的光谱透射率相对于光的波长绘制的曲线图100。沿曲线图100的y轴105是在曲线图100中绘制的示例性光学元件的光谱透射百分比。沿曲线图100的x轴110是光的波长(以纳米为单位测量)，在曲线图100中对于其绘制示例性光学元件的光谱透射百分比。如图所示，x轴上从左至右，光的波长对应于：可见蓝光、可见绿光和可见红光。
虚线115表示在太阳暴露之前示例性光学元件的光谱响应。实线120表示在示例性量的模拟太阳暴露(例如，正常相机使用2年)之后示例性光学元件的光谱响应。如曲线图100所示，在将线115(即，太阳暴露之前)与线120(即，太阳暴露之后)进行比较时，光学元件在可见光波长光谱上的光谱透射存在明显差异。事实上，所述两个曲线之间的差异(125)在较短波长诸如蓝光上比在与绿(130)或红(135)可见光相关联的波长上相比更加明显。
通过成功地建模在光谱上随时间推移的光谱透射的这些变化的影响，可开发时变的基于软件的颜色模型，用于补偿相机模块的工厂校准设置随时间推移的预测偏差，例如由于暴露于此类环境应力。如将理解的，生成模型时的环境条件越接近匹配或反映设备在真实世界使用期间所面对的环境条件，就可越准确地补偿对相机模块的光学特性的实际变化。然而，由于难以准确地预测用户的相机模块在多年使用时将暴露于的确切环境条件(并且实际上，在相机模块的光学部件中在客户使用的多年中是否将发生任何可测量的光学变化)，所以对相机模块的颜色校准值执行更保守的补偿方法(例如，对于所应用的补偿的频率和/或程度两者而言)可帮助确保相机模块在尽可能多的相机模块使用年内保持在对于颜色准确度的可容许的阈值内(例如，在3％误差内)。保守方法还可帮助确保模型不“过度补偿”相机的颜色校准，例如，在相机模块没有如模型所预测的那么多(或那么极端)地暴露于环境条件的情况下和/或在相机模块部件中随时间推移实际发生少于所建模的光学变化的量的情况下。
现在转向图2，根据一个或多个实施方案示出了相对于时间绘制的用于图像捕获设备的光学元件的颜色校准Δ(即，所需颜色校准值的差异)的曲线图200。沿曲线图200的y轴205是在曲线图200中绘制的示例性光学元件的颜色校准Δ百分比，即“工厂”颜色校准值将随时间推移从其初始值偏离的量，例如基于各个光学部件的光学特性的变化。应理解，使用“百分比”作为沿y轴的颜色校准Δ的测量单位仅是示例性的，并且可使用任何期望类型的测量单位。沿曲线图200的x轴210是两个示例性部件(即，单元1(215)和单元2(220))的十个样本的时间(在“模拟的”部件使用年中测量)，其颜色再现能力的变化在曲线图200中绘制。如图所示，x轴从左向右，在初始时间(T＝0年)，单元1(215)的十个样本或单元2(220)的十个样本都不需要任何附加的颜色校准(即，其颜色校准Δ百分比为0％)。然而，在经过一年模拟环境应力(T＝1年)之后，单元1(215)的十个样品已经开始显示出需要介于0％和0.5％之间的从初始工厂校准值的附加颜色校准，而单元2(220)的十个样品已经开始显示出需要介于0.5％和0.8％之间的从初始工厂校准值的附加颜色校准。在经过两年模拟环境应力(T＝2年)之后，单元1(215)的十个样品看起来已经稳定并继续需要介于0％和0.5％之间的从初始工厂校准值的附加颜色校准，而单元2(220)的十个样品已经似乎继续偏离并且现在显示出需要介于0.8％和1.2％之间的从初始工厂校准值的附加颜色校准。
回归线225和230例示了可为每个单元确定最佳拟合函数以对由于每个相应单元的颜色再现能力的预测变化而随时间推移需要的颜色校准附加量进行建模。如图2所示，回归线225(用于单元1215)和230(用于单元2220)可被建模为具有斜率和偏移的简单线性函数，例如，表示最小二乘回归线(LSRL)或其它形式的最佳拟合。在一个示例中，用于示例性单元2220的最佳拟合的模型线可利用以下公式来实施：
CAL_DELTA(T)＝CAL_DELTA(T0)+0.5*T(等式1)，其中CAL_DELTA(T)是在以年为单位的时间T时要应用于相机模块的颜色校准Δ百分比；CAL_DELTA(T0)是时间T＝0年时所需的初始颜色校准Δ百分比(假设在紧接在工厂校准之后并且在真实世界使用之前不需要附加颜色校准Δ，其将为0)，并且T是相机部件的当前年龄(以年为单位)。换句话说，在示例性等式1中，对于相机部件已使用所经过的每一年，应用附加0.5％的颜色校准Δ。
如上所述，该等式1也可经受某个预定最大值，例如，从不应用超过2％(如虚线235所示)、或3％、或1％等的颜色校准Δ，即使等式1的评估导致在某个年数之后计算出大于预定最大值的值。同样，如果以与百分比不同的测量单位测量颜色校准Δ，则也可以适当的测量单位建立预定最大值。通过采用预定最大颜色校准量，可确保没有任何颜色误差将由于模型应用的补偿而被客户注意到，例如，在其相机模块在相机模块的使用寿命上实际上没有由于环境条件而遭受所预测的光学变化量的情况下。然而，如果所预测的光学变化量(或更多的光学变化量)确实对于相机模块发生了，则将校正量限制到预定最大量将仍然有用于防止颜色误差。
应当理解，其它类型的函数也可用于对给定类型的单元随时间推移所需的附加颜色校准Δ的量进行建模(例如，多项式函数、指数函数或分段定义的函数)。所确定的时变颜色模型然后可被存储在相机模块或该相机模块所嵌入的电子设备的存储器中(例如，在软件或固件中)，使得其在相机被客户在真实世界中使用时可随时间被应用以校正每个相应单元中的所预测光学变化量。
在其他实施方案中，时变颜色模型可包括ML模型，ML模型被训练学***等的所有数据来训练神经网络，对于该真实设备可随时间推移定期测量颜色校准特性。ML模型可有助于提供对随时间推移的图像捕获设备的光学部件中变化的更准确和/或更精细的预测。例如，可能在模型训练期间确定在例如介于45至50摄氏度的平均环境温度条件下5度的移动与介于例如25至30摄氏度的平均环境温度条件下5度的等同移动相比随时间推移对颜色再现能力具有远远更大的影响。此类细微差别在更简单的模型中可能不能被捕捉到，例如，会假设任何5度的平均环境温度增加会对设备部件性能具有等同影响的模型。在一些情况下，两个或更多个ML模型的输出(例如，每个模型被训练预测特定部件的和/或由于特定环境条件的光学变化量)可叠加以预测相机模块的颜色性能的总体变化量，并且通过扩展来预测要应用于相机模块以减少在所捕获图像中可能随时间经历的颜色再现中的任何不期望的偏差的附加颜色补偿量。
在另外的实施方案中，要用于给定相机模块的最终时变颜色模型可叠加从不同环境应力测试获得的不同校正。例如，用于太阳暴露的表征校正可被添加到另一表征的用于高温和/或高湿环境条件的校正。另外，来自嵌入在容纳相机模块的移动设备中的传感器(例如，位置传感器、GPS、温度传感器、高度计、湿度传感器、环境光传感器等)的信息可用于微调和精修所应用的校正量。在一些情况下，一种或多种类型的传感器例如位置传感器和时钟应用可用于提供环境温度和/或湿度水平的估计，即，通过使用移动设备在地球上的当前位置和当天(和年)的时间来导出相机模块的周围环境中此类环境条件的当前估计。
现在转向图3，根据一个或多个实施方案示出了具有和没有对图像捕获设备的示例性光学部件的光学变化的补偿的颜色校准Δ相对于时间绘制的另一曲线图300。沿曲线图300的y轴305是基于图像捕获设备的各个光学部件的光学变化在曲线图300中绘制的示例性相机模块的颜色校准Δ百分比，即“工厂”颜色校准值将随时间推移从其初始值偏离的量。同样，可使用任何期望的测量单位来建模部件所需的颜色校准Δ。沿曲线图300的x轴310是其颜色再现偏差在曲线图300中绘制的两个示例性相机模块(即，没有随时间应用附加颜色校准补偿的相机模块(315)和具有例如根据时变颜色模型随时间应用附加颜色校准补偿的相机模块(320))的时间(以模拟的部件使用年数测量)。如图3所示，与示例性未校正相机模块315(其在大约使用5年时超过示例性3％显著性阈值)相比，使用时变颜色模型应用附加补偿帮助将相机模块320的颜色校准Δ维持在示例性3％显著性阈值(参见虚线330)以下持续更长的时间量(即，至少长于曲线图300上所示的6年)。线325表示按年对相机模块320应用的颜色校正Δ百分比的量，即根据在该示例性场景中使用的时变颜色模型。
执行相机颜色校准的示例性方法
图4A是示出根据各种实施方案的执行相机颜色校准的方法400的流程图。首先，在步骤402，方法400可获取一个或多个图像捕获设备中第一图像捕获设备的第一部件的时变颜色模型，其中时变颜色模型被配置为对随时间推移应用于第一图像捕获设备以补偿第一部件的光学变化的颜色校准量进行建模。如上所述，在一些情况下，由时变颜色模型建模的光学变化由以下中的一者或多者导致：第一部件暴露于太阳辐射；第一部件暴露于湿度；或第一部件暴露于热(步骤404)。在一些情况下，最终时变颜色模型可包括彼此叠加(或以其它方式组合)的两个或更多个不同的所建模部件。在其他情况下，可至少部分地基于从一个或多个传感器或在设备上执行的应用接收的输入数据，从多个候选时变颜色模型中选择最终时变颜色模型。例如，如果图像捕获设备在其使用寿命中在主要为热的环境中使用，则可选择“高温”模型。在另外的情况下，由时变颜色模型应用的颜色校准的量可受限于预定最大值(步骤406)。例如，预定最大值可以是相机模块的使用寿命的最大校正值，或者可相反是第一图像捕获设备的初始工厂校准之后每个预定义时间段的预定最大值(例如，每2年应用最多高达2％的附加补偿，每3年应用最多高达3％的附加补偿，等等)。在另外的情况下，可通过来自容纳相机模块的电子设备的一个或多个传感器或应用的输入数据来精修时变颜色模型(步骤408)。例如，时变颜色模型可通过来自容纳相机模块的设备的一个或多个传感器的输入数据来精修，所述传感器诸如是温度计、GPS、高度计、环境光传感器等。同样，时变颜色模型可通过来自在该设备上执行的一个或多个应用的输入数据来精修，所述应用诸如是天气应用、地图应用、时钟应用等。用于精修时变颜色模型的输入数据可包括以下中的一个或多个：所述设备的位置；所述设备的周围环境中的温度；所述设备的周围环境中的湿度水平；或所述设备的周围环境中的光水平。举例来说，与设备将其更少的使用寿命花费在高温或高湿环境中相比，设备的使用寿命越多花费在高温或高湿环境中，越可精修模型以更激进地(或在设备的使用寿命中更早地)应用其颜色补偿校正。
接下来，在步骤410，方法400可获取第一图像捕获设备在第一时间捕获的第一图像。最后，在步骤412，方法400可根据时变颜色模型和第一时间对第一图像进行颜色校正。此校正可应用于原始图像数据、处理后的图像数据或存储在图像的元数据中的某处(例如，作为标准国际色彩联盟(ICC)简档)，使得可在图像被查看或传输给另一用户的任何时间应用附加补偿，如果期望的话。
图4B是示出根据各种实施方案的执行显示器颜色校准的方法450的流程图。方法450仅仅是另一类型的部件的示例(即，电子设备的显示屏的部件或层)，对于其也可随时间利用时变颜色模型补偿部件的光学变化。方法450可与方法400结合(或与其分开)执行。首先，在步骤452，方法450可获取显示器的第二部件的第二时变颜色模型，其中第二时变颜色模型被配置为对随时间推移应用于在显示器上显示的图像以补偿第二部件的光学变化的颜色校准量进行建模。
如上所述，在一些情况下，由第二时变颜色模型建模的光学变化由以下中的一者或多者导致：第二部件暴露于太阳辐射；第二部件暴露于湿度；或第二部件暴露于热(步骤454)。在一些此类情况下，最终第二时变颜色模型可包括彼此叠加(或以其它方式组合)的两个或更多个不同的所建模部件，例如，显示设备的两个不同层部件随时间推移的所建模光学变化。在其他情况下，由时变颜色模型应用的颜色校准的量可受限于预定最大值(步骤456)。例如，预定最大值可以是相机模块的使用寿命的最大校正值，或者可相反是第一图像捕获设备的初始工厂校准之后每个预定义时间段的预定最大值(例如，每2年应用最多高达2％的附加补偿，每3年应用最多高达3％的附加补偿，等等)。在另外的情况下，可通过来自具有显示器的电子设备的一个或多个传感器或应用的输入数据来精修第二时变颜色模型(步骤458)，如上文参考步骤408所述。
接下来，在步骤460，方法450可(例如，从所捕获的图像、来自显示在显示器上的媒体文件的图像、或简单地为被发送用于由在设备上执行的操作***显示的帧缓冲器)获取用于在第二时间在设备的显示器上显示的第二图像。在步骤462，方法450可根据第二时变颜色模型和第二时间来对第二图像进行颜色校正。例如，可通过根据第二时变颜色模型调节与所显示的图像相关的一个或多个颜色分量来对显示器进行颜色校正。最后，在步骤464，方法450可在显示器上显示经颜色校正的第二图像。
示例性电子计算设备
现在参见图5，示出了根据一个实施方案的例示性可编程电子计算设备500的简化的功能框图。电子设备500可为例如移动电话、个人媒体设备、便携式相机、或平板电脑、笔记本电脑或台式计算机的***。如图所示，电子设备500可包括处理器505、显示器510、用户界面515、图形硬件520、设备传感器525(例如，接近传感器/环境光传感器、加速度计、惯性测量单元和/或陀螺仪)、麦克风530、音频编解码器535、扬声器540、通信电路545、图像捕获设备550(例如，其可包括具有不同特性或能力(例如，静止图像稳定(SIS)、HDR、OIS***、光学变焦和数字变焦等)的多个相机单元/光学图像传感器)、视频编解码器555、存储器560、存储装置565以及通信总线570。
处理器505可执行有必要用于实施或控制由电子设备500所执行的多种功能的操作的指令(例如，根据本文描述的各种实施方案的图像的生成和/或处理)。处理器505可例如驱动显示器510并且可从用户界面515接收用户输入。用户界面515可采取多种形式，诸如按钮、小键盘、拨号盘、点击轮、键盘、显示屏和/或触摸屏。用户界面515可以例如是用户可以通过其观看所捕获的视频流的导线管和/或指示用户想要捕获的特定图像帧(例如，通过在设备的显示屏上正显示所需图像帧的时刻点击物理按钮或虚拟按钮)。在一个实施方案中，显示器510可显示在处理器505和/或图形硬件520和/或图像捕获电路同时地生成视频流并将视频流存储在存储器560和/或存储装置565中时其被捕获的视频流。处理器505可为片上***(SOC)诸如存在于移动设备中的那些片上***，并且可包括一个或多个专用图形处理单元(GPU)。
处理器505可基于精简指令集计算机(RISC)或复杂指令集计算机(CISC)架构或任何其他合适的架构，并且可包括一个或多个处理内核。图形硬件520可以是用于处理图形并/或辅助处理器505执行计算任务的专用计算硬件。在一个实施方案中，图形硬件520可包括一个或多个可编程图形处理单元(GPU)和/或一个或多个专用SOC，例如，专门设计用于以比主设备中央处理单元(CPU)或典型的GPU更节能的方式实现神经网络和机器学习操作(例如，卷积)的SOC，诸如Apple的神经引擎处理核心。
例如，根据本公开，图像捕获设备550可以包括一个或多个相机模块单元，所述相机模块单元被配置为捕获图像，例如，可以被处理以生成所述捕获图像的经颜色校正版本的图像。可至少部分地通过以下设备处理来自图像捕获设备550的输出：视频编解码器555和/或处理器505和/或图形硬件520、和/或结合在图像捕获设备550内的专用图像处理单元或图像信号处理器。这样捕获的图像可被存储在存储器560和/或存储装置565中。存储器560可包括由处理器505、图形硬件520和图像捕获设备550使用的一种或多种不同类型的介质以执行设备功能。例如，存储器560可包括存储器高速缓存、只读存储器(ROM)和/或随机存取存储器(RAM)。存储装置565可存储介质(例如，音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。存储装置565可包括一个或多个非暂态存储介质，该一个或多个非暂态存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质诸如CD-ROM和数字视频光盘(DVD)、以及半导体存储器设备诸如电可编程只读存储器(EPROM)、和电可擦除可编程只读存储器(EEPROM)。存储器560和存储装置565可用于保持被组织成一个或多个模块并以任何期望的计算机编程语言编写的计算机程序指令或代码。例如，在由处理器505执行时，此类计算机程序代码可实现本文所述的方法或过程中的一种或多种。电源575可包括用于管理电子设备500的电子部件和相关联的电路和/或向该电子设备的电子部件和相关联的电路提供电力的可再充电电池(例如，锂离子电池等)或到电源(例如，到电源)的其他电连接。
应当理解，以上描述旨在是示例性的而非限制性的。例如，可彼此结合地使用上述实施方案。在回顾以上描述时，许多其他实施方案对于本领域的技术人员而言将是显而易见的。因此，应当参考所附权利要求以及赋予此类权利要求的等同形式的完整范围来确定本发明的范围。

Claims (20)

1.一种设备，所述设备包括：
存储器；
一个或多个图像捕获设备；以及
一个或多个处理器，所述一个或多个处理器可操作地耦接到所述存储器，其中所述一个或多个处理器被配置为执行使得所述一个或多个处理器进行以下操作的指令：
获取所述一个或多个图像捕获设备中第一图像捕获设备的第一部件的时变颜色模型，其中所述时变颜色模型被配置为对随时间推移应用于所述第一图像捕获设备以补偿所述第一部件的光学变化的颜色校准量进行建模；
获取由所述第一图像捕获设备在第一时间捕获的第一图像；以及
根据所述时变颜色模型和所述第一时间对所述第一图像进行颜色校正。
2.根据权利要求1所述的设备，其中所述第一部件包括所述第一图像捕获设备的光学部件。
3.根据权利要求2所述的设备，其中所述光学部件包括以下各项中的至少一者：透镜；红外(IR)截止滤光器；抗反射涂层；或滤色器阵列(CFA)。
4.根据权利要求1所述的设备，其中由所述时变颜色模型建模的所述光学变化由以下中的一者或多者导致：所述第一部件暴露于太阳辐射；所述第一部件暴露于湿度；或所述第一部件暴露于热。
5.根据权利要求1所述的设备，其中由所述时变颜色模型建模的所述光学变化包括以下中一者或多者的工厂校准值的偏差：光谱透射率；或总颜色响应。
6.根据权利要求1所述的设备，其中由所述时变颜色模型应用的所述颜色校准量受限于预定最大值。
7.根据权利要求6所述的设备，其中所述预定最大值包括相对于初始工厂校准值的2％偏差。
8.根据权利要求1所述的设备，其中由所述时变颜色模型应用的所述颜色校准量受限于在所述第一图像捕获设备的初始工厂校准之后每个预定义时间段的预定最大值。
9.根据权利要求1所述的设备，其中所述时变颜色模型通过来自所述设备的一个或多个传感器的输入数据来精修。
10.根据权利要求9所述的设备，其中所述输入数据包括以下中的一者或多者：所述设备的位置；所述设备的周围环境中的温度；所述设备的周围环境中的湿度水平；或所述设备的周围环境中的光水平。
11.根据权利要求1所述的设备，其中所述时变颜色模型被选择用于至少部分地基于来自所述设备的一个或多个传感器的输入数据而从多个候选时变颜色模型中获取。
12.根据权利要求1所述的设备，其中所述时变颜色模型通过来自在所述设备上执行的一个或多个应用的输入数据来精修。
13.根据权利要求12所述的设备，其中所述时变颜色模型被选择用于至少部分地基于来自在所述设备上执行的所述一个或多个应用的输入数据而从多个候选时变颜色模型中获取。
14.根据权利要求1所述的设备，其中所述时变颜色模型还包括机器学习(ML)模型，所述ML模型被训练学习所述设备随时间推移而经历的一个或多个环境因素与所述第一图像捕获设备的所述第一部件的对应光学变化的量之间的相关性。
15.根据权利要求1所述的设备，其中所述时变颜色模型还包括被配置为在所述设备随时间推移而经历的一个或多个环境因素与所述第一图像捕获设备的所述第一部件的对应光学变化的量之间相关的函数。
16.根据权利要求15所述的设备，其中所述函数包括以下中的至少一个：线性函数；多项式函数；指数函数；或分段定义函数。
17.根据权利要求1所述的设备，其中使所述一个或多个处理器根据所述时变颜色模型和所述第一时间对所述第一图像进行颜色校正的所述指令还包括使所述一个或多个处理器进行以下操作的指令：
调节用于校准所述第一图像捕获设备的颜色分量测量；或者
调节用于校准所述第一图像捕获设备的颜色分量测量的比率。
18.根据权利要求1所述的设备，还包括显示器，其中所述指令还包括使得所述一个或多个处理器执行以下操作的指令：
获取所述显示器的第二部件的第二时变颜色模型，其中所述第二时变颜色模型被配置为对随时间推移应用于在所述显示器上显示的图像以补偿所述第二部件的光学变化的颜色校准量进行建模；
获取用于在第二时间在所述设备的所述显示器上显示的第二图像；
根据所述第二时变颜色模型和所述第二时间来对所述第二图像进行颜色校正；以及
在所述显示器上显示经颜色校正的所述第二图像。
19.一种非暂态计算机可读介质，包括能够由一个或多个处理器执行以进行以下操作的计算机可读指令：
获取电子设备的一个或多个图像捕获设备中第一图像捕获设备的第一部件的时变颜色模型，其中所述时变颜色模型被配置为对随时间推移应用于所述第一图像捕获设备以补偿所述第一部件的光学变化的颜色校准量进行建模；
获取由所述第一图像捕获设备在第一时间捕获的第一图像；以及
根据所述时变颜色模型和所述第一时间对所述第一图像进行颜色校正。
20.一种图像处理方法，所述图像处理方法包括：
获取电子设备的一个或多个图像捕获设备中第一图像捕获设备的第一部件的时变颜色模型，其中所述时变颜色模型被配置为对随时间推移应用于所述第一图像捕获设备以补偿所述第一部件的光学变化的颜色校准量进行建模；
获取由所述第一图像捕获设备在第一时间捕获的第一图像；以及
根据所述时变颜色模型和所述第一时间对所述第一图像进行颜色校正。
CN202210642748.6A 2021-06-09 2022-06-08 对图像捕获设备部件随时间的光学变化的补偿 Active CN115460383B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163208814P 2021-06-09 2021-06-09
US63/208,814 2021-06-09

Publications (2)

Publication Number Publication Date
CN115460383A true CN115460383A (zh) 2022-12-09
CN115460383B CN115460383B (zh) 2024-07-16

Family

ID=84192669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210642748.6A Active CN115460383B (zh) 2021-06-09 2022-06-08 对图像捕获设备部件随时间的光学变化的补偿

Country Status (5)

Country Link
US (1) US11816866B2 (zh)
JP (1) JP7418497B2 (zh)
KR (1) KR20220166206A (zh)
CN (1) CN115460383B (zh)
DE (1) DE102022205639A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116260962B (zh) * 2023-01-29 2024-04-26 电信科学技术仪表研究所有限公司 一种监控摄像机传感器的耐辐射检测装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272253A (ja) * 1998-03-25 1999-10-08 Fuji Photo Film Co Ltd 画像表示装置
US20050094896A1 (en) * 2003-10-31 2005-05-05 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
US20060109358A1 (en) * 2004-11-24 2006-05-25 Dong-Seob Song System on a chip camera system employing complementary color filter
CN102289360A (zh) * 2011-08-25 2011-12-21 浙江大学 一种自适应投影颜色补偿方法
CN103765503A (zh) * 2011-08-29 2014-04-30 高通股份有限公司 使用经基于光谱的色度校准的彩色相机的显示器的快速校准
US20190230254A1 (en) * 2018-01-24 2019-07-25 Ricoh Company, Ltd. Spectral characteristic obtaining apparatus, image forming apparatus, and image forming system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193707A (ja) * 2002-12-09 2004-07-08 Minolta Co Ltd 画像読取装置
JP2005012427A (ja) * 2003-06-18 2005-01-13 Olympus Corp カメラシステム、カメラ用レンズアダプタ及びカメラシステムのサービス方法
JP2009285191A (ja) * 2008-05-29 2009-12-10 Hoya Corp 内視鏡システム
JP5637675B2 (ja) * 2009-10-29 2014-12-10 株式会社朝日ラバー ハイブリッドレンズ
JP5423702B2 (ja) * 2011-02-15 2014-02-19 株式会社デンソー 画像処理装置及びその調整方法
JP2013210564A (ja) * 2012-03-30 2013-10-10 Sharp Corp 表示装置、ホワイトバランス調整方法、プログラム、および、記録媒体
JP2016177195A (ja) 2015-03-20 2016-10-06 株式会社リコー マイクロレンズ基板及び撮像装置
JP7443201B2 (ja) * 2020-09-03 2024-03-05 ＪＤＩ Ｄｅｓｉｇｎ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ 合同会社 表示装置及び表示装置の駆動方法
KR20220097818A (ko) * 2020-12-31 2022-07-08 삼성전자주식회사 언더 디스플레이 카메라
US11184595B2 (en) * 2021-03-12 2021-11-23 Google Llc Color correction using a sensor to reduce color distortions of a camera under a display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272253A (ja) * 1998-03-25 1999-10-08 Fuji Photo Film Co Ltd 画像表示装置
US20050094896A1 (en) * 2003-10-31 2005-05-05 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
US20060109358A1 (en) * 2004-11-24 2006-05-25 Dong-Seob Song System on a chip camera system employing complementary color filter
CN102289360A (zh) * 2011-08-25 2011-12-21 浙江大学 一种自适应投影颜色补偿方法
CN103765503A (zh) * 2011-08-29 2014-04-30 高通股份有限公司 使用经基于光谱的色度校准的彩色相机的显示器的快速校准
US20190230254A1 (en) * 2018-01-24 2019-07-25 Ricoh Company, Ltd. Spectral characteristic obtaining apparatus, image forming apparatus, and image forming system

Also Published As

Publication number Publication date
US20220398779A1 (en) 2022-12-15
JP2022188753A (ja) 2022-12-21
DE102022205639A1 (de) 2022-12-15
KR20220166206A (ko) 2022-12-16
CN115460383B (zh) 2024-07-16
US11816866B2 (en) 2023-11-14
JP7418497B2 (ja) 2024-01-19

Similar Documents

Publication Publication Date Title
US7626614B1 (en) Transfer function and high dynamic range images
US20160104284A1 (en) Post-manufacture camera calibration
EP2796841B1 (en) Dynamic compensation of a sensor in a mobile device
EP2808652B1 (en) Portable electronic device with integrated temperature sensor being compensated by other sensing data
US20140311209A1 (en) System and method for determining sensor accuracy of a portable electronic device
CN102687496B (zh) 无需温度调节用于对检测器输出的图像进行校正的方法以及实现该方法的检测器
CN115460383B (zh) 对图像捕获设备部件随时间的光学变化的补偿
RU2518348C2 (ru) Устройство и способ для детектирования инфракрасного излучения с помощью матрицы резистивных болометров
JP2012215570A (ja) 色測定デバイスの較正方法
CN103165098A (zh) 自动调整电子显示器设置的***和方法
CN111721225A (zh) 一种高温环境下温度变形动态测量方法及装置
CN111225155B (zh) 视频防抖方法、装置、电子设备、计算机设备和存储介质
KR101508746B1 (ko) 디스플레이의 색 충실도 최적화를 위한 작업 예측을 이용한 방법 및 장치
US20200111015A1 (en) Prediction model enhancement
US20180376088A1 (en) Techniques for correcting fixed pattern noise in shutterless fir cameras
CN108419067A (zh) 白平衡参数记录、调整方法及装置、存储介质、终端、相机
CN114018416B (zh) 一种热红外相机辐射定标方法及***
US20160070025A1 (en) Weather forecasting apparatus and weather forecasting method
TW201344427A (zh) 伺服器的工作參數監控系統及方法
CN109084899B (zh) 一种红外焦平面探测器非均匀性本体输出校正方法及装置
EP3944609A1 (en) Image sensor
EP2808651A1 (en) Portable electronic device with integrated temperature sensor being compensated by other sensing data
CN114038372B (zh) 伽马调校方法、相关装置及存储介质
WO2022121901A1 (zh) 校正控制装置、校正***和校正控制方法、校正方法
CN114038371B (zh) 伽马调校方法、相关装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant