CN116158087A - 一种多相机色彩一致性校正方法和装置 - Google Patents

一种多相机色彩一致性校正方法和装置 Download PDF

Info

Publication number
CN116158087A
CN116158087A CN202080103950.0A CN202080103950A CN116158087A CN 116158087 A CN116158087 A CN 116158087A CN 202080103950 A CN202080103950 A CN 202080103950A CN 116158087 A CN116158087 A CN 116158087A
Authority
CN
China
Prior art keywords
image
color
determining
parameter
color mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080103950.0A
Other languages
English (en)
Other versions
CN116158087A8 (zh
Inventor
王月红
郑炳坤
尹玄武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116158087A publication Critical patent/CN116158087A/zh
Publication of CN116158087A8 publication Critical patent/CN116158087A8/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6052—Matching two or more picture signal generators or two or more picture reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6077—Colour balance, e.g. colour cast correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种多相机色彩一致性校正方法和装置，该方法包括：获取第一相机拍摄的第一图像和第二相机拍摄的第二图像；根据所述第一图像指示的图像信息从N个色彩映射参数中确定至少一个色彩映射参数，图像信息包括第一图像的色彩信息和第一图像的环境光源中的至少一种，色彩映射参数指示了第一相机拍摄的图像与第二相机拍摄的图中的色彩转换关系，N个色彩映射参数与N个标准光源一一对应，N为正整数；根据至少一个所述色彩映射参数对第二图像进行色彩一致性校正，以获得校正图像。本申请实施例的多相机色彩一致性校正方法，可以实现不同光照条件下第二图像的实时色彩一致性校正。

Description

一种多相机色彩一致性校正方法和装置 技术领域
本申请涉及图像处理领域，尤其涉及一种多相机色彩一致性校正方法和装置。
背景技术
为了满足用户对高质量成像、全景图、图像拼接和识别等方面的需求，往往采用多个相机拍摄同一场景，或者在越来越多的产品和***中搭载多个相机进行图像的拍摄。例如，在手机等终端设备上搭载多个不同焦段、不同特性的相机，可以给用户提供高质量的图像。然而由于器件本身的差异、器件视野的差异、调试风格等原因，各个相机的摄像头实际获取到的图像的颜色可能存在差异。色彩的差异程度随着光照、拍摄场景的变化而不同，因此在实际的应用中需要根据光照、拍摄场景等的变化对多个相机获取的图像的颜色实时进行调整，使得多个相机的图像的色彩保持一致。
发明内容
本申请提供一种多相机色彩一致性校正方法和装置，能够实现不同光照下对多个相机获取的图像进行色彩一致性调整。
第一方面，提供了一种多相机色彩一致性校正方法，该方法包括：获取第一相机拍摄的第一图像和第二相机拍摄的第二图像；根据第一图像指示的图像信息从N个色彩映射参数中确定至少一个色彩映射参数，图像信息包括第一图像的色彩信息和第一图像的环境光源中的至少一个，色彩映射参数指示了第一相机拍摄的图像与第二相机拍摄的图像的色彩转换关系，N个色彩映射参数与确定N个标准光源一一对应，N为正整数；根据至少一个色彩映射参数对第二图像进行色彩一致性校正，以获得校正图像。
在不同的标准光源下进行色彩映射参数标定，可以获得与每个标准光源相对应的色彩映射参数。在色彩一致性校正的过程中，结合至少一个色彩映射参数对第二图像进行色彩一致性校正，可以实现在不同的光照条件下的实时色彩校正，提高色彩一致性校正的准确性。
在一种可能的实现方式中，在从N个色彩映射参数中确定至少一个色彩映射参数之前，该方法还包括：确定每个标准光源下的第一标定图像和第二标定图像，该第一标定图像和第二标定图像分别是根据第一相机和第二相机的光谱响应曲线生成的色卡图像；根据第一标定图像和第二标定图像确定每个标准光源对应的色彩映射参数。
根据相机的光谱响应，可以模拟生成不同光源条件下的标定图像，降低了标定数据拍摄的时间成本，同时减少了因拍摄引入的不稳定因素，提高了色彩映射参数标定的稳定性和准确性。
在另一种可能的实现方式中，根据至少一个色彩映射参数对第二图像进行色彩一致性校正包括：确定第一图像和第二图像的公共图像区域；根据公共图像区域和至少一个色彩 映射参数确定色彩补偿参数；根据公共图像区域确定白平衡补偿参数；根据白平衡参数和色彩补偿参数对第二图像进行色彩一致性校正。
根据白平衡补偿参数可以对第二图像的灰色区域进行校正，根据色彩补偿参数可以对第二图像的彩色部分进行校正，通过白平衡补偿和色彩补偿相结合，可以实现第二图像的灰色区域和彩色区域都得到色彩一致性校正，提高了色彩校正的效果。
在另一种可能的实现方式中，确定第一图像和第二图像的公共图像区域包括：根据第一相机和第二相机的相对位置和视野范围，确定搜索区域；根据搜索区域确定公共图像区域。
在多个相机的位置信息等标定信息已知的情况下，可以结合相机的标定信息确定图像匹配的范围，提高图像匹配的准确度与搜索效率。
在另一种可能的实现方式中，根据公共图像区域和至少一个色彩映射参数确定色彩补偿参数包括：分别将N个色彩映射参数施加到第二图像中的公共图像区域，得到N个第三图像；分别计算第一图像中的公共图像区域与每个第三图像的色彩差异；根据色彩差异确定至少一个色彩映射参数，该至少一个色彩映射参数是至少一个色彩差异最小的第三图像对应的色彩映射参数；根据至少一个色彩映射参数确定目标色彩映射参数该目标色彩映射参数是至少一个色彩映射参数的加权值；根据目标色彩映射参数确定色彩补偿参数。
在另一种可能的实现方式中，根据公共图像区域和至少一个色彩映射参数确定色彩补偿参数包括：根据第一图像中的公共图像区域的白平衡增益确定环境光源；根据环境光源确定至少一个标准光源对应的至少一个色彩映射参数，该至少一个标准光源与环境光源的差异最小；根据至少一个色彩映射参数确定目标色彩映射参数，该目标色彩映射参数是至少一个色彩映射参数的加权值；根据目标色彩映射参数确定色彩补偿参数。
可以根据多种方式确定色彩补偿参数，并且可以根据实际的光照条件将多个相关的色彩映射参数进行融合，采用这种方式确定的目标色彩映射参数更加准确。
在另一种可能的实现方式中，色彩补偿参数是目标色彩映射参数，或者，色彩补偿参数是目标色彩映射参数与第一图像的白平衡增益以及色彩还原参数的乘积。
在另一种可能的实现方式中，根据公共图像区域确定白平衡补偿参数包括：分别确定第一图像中的公共图像区域的像素在三个颜色通道的加权平均值或者加权颜色直方图；分别确定第二图像中的公共图像区域的像素在三个颜色通道的加权平均值或者加权颜色直方图；根据三个颜色通道的加权平均值或者加权颜色直方图，确定白平衡补偿参数。
在另一种可能的实现方式中，在根据公共图像区域确定白平衡补偿参数之前，该方法还包括：根据公共图像区域的空间位置、色彩相似性和边缘信息，将公共图像区域划分为M块，M为正整数；根据公共图像区域确定白平衡补偿参数包括：分别确定第一图像中的公共图像区域的图像块在三个颜色通道的加权平均值或者加权颜色直方图；分别确定第二图像中的公共图像区域的图像块在三个颜色通道的加权平均值或者加权颜色直方图；根据三个颜色通道的加权平均值或者加权颜色直方图，确定白平衡补偿参数。
通过对图像分块，可以简化计算，提高色彩一致性校正的效率。
第二方面，提供了一种多相机色彩一致性校正装置，该装置包括：获取模块，用于获取第一相机拍摄的第一图像和第二相机拍摄的第二图像；确定模块，用于根据第一图像指示的图像信息从N个色彩映射参数中确定至少一个色彩映射参数，该图像信息包括第一图 像的色彩信息和第一图像的环境光源中的至少一个，色彩映射参数指示了第一相机拍摄的图像和第二相机拍摄的图像的色彩转换关系，N个色彩映射参数与N个标准光源一一对应N为正整数；校正模块，用于根据至少一个色彩映射参数对第二图像进行色彩一致性校正，以获得校正图像。
在不同的标准光源下进行色彩映射参数标定，可以获得与每个标准光源相对应的色彩映射参数。在色彩一致性校正的过程中，结合至少一个色彩映射参数对第二图像进行色彩一致性校正，可以实现在不同的光照条件下的实时色彩校正，提高色彩一致性校正的准确性。
在一种可能的实现方式中，在从N个色彩映射参数中确定至少一个色彩映射参数之前，确定模块具体用于：确定每个标准光源下的第一标定图像和第二标定图像，该第一标定图像和第二标定图像分别是根据第一相机和第二相机的光谱响应曲线生成的色卡图像；根据第一标定图像和第二标定图像确定每个标准光源对应的色彩映射参数。
根据相机的光谱响应，可以模拟生成不同光源条件下的标定图像，降低了标定数据拍摄的时间成本，同时减少了因拍摄引入的不稳定因素，提高了色彩映射参数标定的稳定性和准确性。
在另一种可能的实现方式中，确定模块具体用于：确定第一图像和第二图像的公共图像区域；根据公共图像区域和至少一个色彩映射参数确定色彩补偿参数；根据公共图像区域确定白平衡补偿参数；校正模块具体用于：根据白平衡参数和色彩补偿参数对第二图像进行色彩一致性校正。
白平衡补偿可以对第二图像的灰色区域进行校正，色彩补偿可以对第二图像的彩色部分进行校正，通过白平衡补偿和色彩补偿相结合，可以实现第二图像的灰色区域和彩色区域都得到色彩一致性校正，提高了色彩校正的效果。
在另一种可能的实现方式中，确定模块具体用于：根据第一相机和第二相机的相对位置和视野范围，确定搜索区域；根据搜索区域确定公共图像区域。
在多个相机的位置信息等标定信息已知的情况下，可以结合相机的标定信息确定图像匹配的范围，提高图像匹配的准确度与搜索效率。
在另一种可能的实现方式中，确定模块具体用于：分别将N个色彩映射参数施加到第二图像中的公共图像区域，得到N个第三图像；分别计算第一图像中的公共图像区域与每个第三图像的色彩差异；根据该色彩差异确定至少一个色彩映射参数，至少一个色彩映射参数是至少一个色彩差异最小的第三图像对应的色彩映射参数；根据至少一个色彩映射参数确定目标色彩映射参数，该目标色彩映射参数是至少一个色彩映射参数的加权值；根据目标色彩映射参数确定色彩补偿参数。
在另一种可能的实现方式中，确定模块具体用于：根据第一图像中的公共图像区域的白平衡结果增益确定环境光源；根据该环境光源确定至少一个标准光源对应的至少一个色彩映射参数，该至少一个标准光源与环境光源的差异最小；根据至少一个色彩映射参数确定目标色彩映射参数，该目标色彩映射参数是至少一个色彩映射参数的加权值；根据目标色彩映射参数确定色彩补偿参数。
可以根据多种方式确定色彩补偿参数，并且可以根据实际的光照条件将相关的色彩映射参数进行融合，采用这种方式确定的目标色彩映射参数更加准确。
在另一种可能的实现方式中，色彩补偿参数是目标色彩映射参数，或者，色彩补偿参数是目标色彩映射参数与第一图像的白平衡增益以及色彩还原参数的乘积。
在另一种可能的实现方式中，确定模块具体用于：分别确定第一图像中的公共图像区域的像素在三个颜色通道的加权平均值或者加权颜色直方图；分别确定第二图像中的公共图像区域的像素在三个颜色通道的加权平均值或者加权颜色直方图；根据三个颜色通道的加权值或者加权颜色直方图，确定白平衡补偿参数。
在另一种可能的实现方式中，在根据公共图像区域确定白平衡补偿参数之前，该确定模块还用于：根据公共图像区域的空间位置、色彩相似性和边缘信息，将公共图像区域划分为M块，M为正整数；分别确定第一图像中的公共图像区域的图像块在三个颜色通道的加权平均值或者加权颜色直方图；分别确定第二图像中的公共图像区域的图像块在三个颜色通道的加权平均值或者加权颜色直方图；根据三个颜色通道的加权值或者加权颜色直方图，确定白平衡补偿参数。
通过对图像分块，可以简化计算，提高色彩一致性校正的效率。
第三方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第一方面或者第一方面的任意一种实现方式中的色彩一致性校正方法。
第四方面，提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行第一方面或者第一方面的任意一种实现方式中的色彩一致性校正方法。
第五方面，提供一种芯片，该芯片包括处理器与数据接口，处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面或第一方面中的任意一种实现方式中的色彩一致性校正方法。
可选地，作为一种实现方式，该芯片还可以包括存储器，存储器中存储有指令，处理器用于执行存储器上存储的指令，当指令被执行时，处理器用于执行第一方面或者第一方面中的任意一种实现方式中的色彩一致性校正方法。
第六方面，提供了一种装置，包括：处理器和存储器，存储器用于存储所述计算机程序代码，当所述计算机程序代码在所述处理器上运行时，使得该装置执行第一方面或者第一方面的任意一种实现方式中的色彩一致性校正方法。
附图说明
图1是本申请实施例的应用场景；
图2是本申请实施例的多相机色彩一致性校正方法的流程示意图；
图3是本申请实施例的一种色彩映射参数确定方法的流程示意图；
图4是本申请实施例的另一种色彩映射参数确定方法的流程示意图；
图5是本申请实施例的一种第二图像色彩校正方法的流程示意图；
图6是本申请实施例的图像匹配示意图；
图7是本申请实施例的另一种第二图像色彩校正方法的流程示意图；
图8是本申请实施例的一种多相机色彩一致性校正装置的结构示意图；
图9是本申请实施例的另一种多相机色彩一致性校正装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。可以理解的是，所描述的实施例是本申请一部分的实施例，而不是全部的实施例。
为了满足用户对高质量成像、全景图、图像拼接、识别等方面的需求，通常需要对多个相机拍摄的图像进行处理，例如手机、汽车、电脑，监控***等，通常搭载多个摄像头(或称多个相机)以满足用户的上述需求。由于器件本身差异、视野差异、调试风格等原因，各个相机实际获取到的图像颜色可能存在差异。色彩差异的程度随着光照、场景的变化而不同，因此在实际应用中需根据光照、场景的变化进行实时调整。
在现有的多相机色彩校正技术中，通常以多相机中的一个相机获取的图像作为主路图像(例如，第一图像)，其他图像作为辅路图像(例如，第二图像)，通过第一图像的三个颜色通道的参数和第二图像三个颜色通道的参数的映射关系，分别对第二图像的三个颜色通道的参数进行调整。但是这种调整是对每个颜色通道的参数单独进行处理的。例如，计算红色(red，R)通道的补偿分量，并将R通道的补偿分量施加到第二图像的R通道上。在对第二图像的R通道进行色彩补偿时，往往不考虑绿色(green，G)和蓝色(blue，B)通道的影响。在不同相机的光谱差异较大的情况下，单通道的调整对图像色彩一致性的处理效果较差。
另外，在不同的光照条件下，不同相机间的色彩映射参数往往不同，色彩映射参数指示了一个相机(例如，第一相机)获得的图像与另一个相机(例如，第二相机)获得的图像之间的色彩转换的关系。现有的多相机色彩校正技术中，虽然在色彩映射参数标定时考虑了不同的光照条件，但是在图像的色彩一致性调整时，只考虑一种参数，当光照改变时，无法实现多个图像色彩一致性的调整。
本申请实施例提供一种多相机色彩一致性校正方法和装置，可以实现在不同光照环境下，多相机获取的图像色彩一致性的实时校正。
本申请实施例可以应用于多相机(或称多摄像头)的场景，其中，多个相机可以位于同一个设备，例如，搭载多个摄像头的手机等终端设备、搭载多个摄像头的车辆等；多个相机也可以位于不同的设备上，例如采用多个不同设备上的相机对同一场景进行拍摄等，本申请实施例对此不做限定。
下面以图1为例介绍本申请实施例的应用场景。如图1所示，选择多个相机中的一个相机作为主路相机(例如，称为“第一相机”)，其他相机作为辅路相机(例如，称为“第二相机”)。场景反射的光经相机镜头投射于两路图像传感器上形成数字图像信号，两路图像信号分别经过各自的预处理模块，在预处理模块可以进行例如坏点矫正、黑电平补偿、阴影矫正、白平衡增益计算、色彩还原参数计算等操作，然后两路图像及相关参数进入色彩校正模块。将第一相机的图像作为目标图像效果，在色彩校正模块，结合第一图像的各项参数以及标定的色彩映射参数，计算第二相机获取的第二图像的色彩补偿参数和白平衡补偿参数。随后，根据计算得到的色彩补偿参数和白平衡补偿参数对第二图像进行调整，可以获得与第一图像的色彩保持一致的校正图像。在一些实施例中，对于第一图像和色彩校正后的第二图像，在后处理模块，还可以分别对两个图像进行伽马变换、动态调整等后处理，以获得显示效果更好的第一图像和校正图像。
图2是本申请实施例的多相机色彩一致性校正方法的流程示意图。如图2所示，本申 请实施例的多相机色彩一致性校正方法包括步骤S210至步骤S220。
S210，确定N个标准光源对应的N个色彩映射参数。
其中，N个标准光源与N个色彩映射参数一一对应。
色彩映射参数可以表示两个图像(例如图像1和图像2)的色彩的转换关系。色彩映射参数的描述方式可以包括线性变换矩阵、高阶多项式、神经网络等。示例性地，本申请实施例的图像采用RGB色彩模式，图像中的每个像素点通过R、G、B三个颜色通道的数值进行描述。在这种情况下，色彩映射参数可以是一个3×3的线性变换矩阵。矩阵形式的色彩映射参数如公式(1)所示：
Figure PCTCN2020109722-APPB-000001
其中，(R 1i G 1i B 1i)表示图像中1第i像素的R、G、B三个颜色通道的数值；
(R 2i G 2i B 2i)表示图像2中第i像素的R、G、B三个颜色通道的数值；
3×3的矩阵T是色彩映射参数，表示图像1和图像2的色彩映射关系。
当色彩映射参数是上述公式(1)中的矩阵形式时，对于N个标准光源条件，本申请实施例对于这N个光源分别确定N个矩阵作为不同光源条件下的色彩映射参数。具体来说，标准光源可以包括美式橱窗射灯(A)、模拟太阳光(D50)、模拟蓝天日光(D65)、模拟北方平均太阳光(D75)、模拟水平日光(H)、美国暖白商店光源(U30)、欧洲日本及中国商店光源(TL84)、美国冷白商店光源(cool white fluorescent，CWF)等光源。
本申请实施例中，由于针对不同的标准光源都进行了色彩映射参数的标定，在进行色彩一致性校正时，可以根据不同的光照条件选择合适的色彩映射参数对第二图像进行色彩一致性校正，动态适应性好。
下面结合图3和图4详细介绍色彩映射参数的标定方法。本申请实施例中，色彩映射参数的标定有两种方式。方式1：根据白平衡后的第一标定图像和第二标定图像进行色彩映射参数标定，确定第一色彩映射参数；方式2：根据白平衡前的第一标定图像和第二标定图像进行色彩映射参数标定，确定第二色彩映射参数。
图3是方式1确定第一色彩映射参数的流程示意图。
S310，测量两路相机的光谱响应曲线。根据该光谱响应曲线可以描述相机的光谱敏感度，通常以波长为横坐标，对应光谱响应为纵坐标。
S320，获取标定图像。标定图像是用于标定色彩映射参数的色卡图像，具体来说，标定图像可以是根据成像模型、光谱响应曲线、光源光谱、24色卡反射谱，模拟生成两路相机色卡图像或者其他基准图像。例如，根据第一相机和第二相机的光谱相应曲线，分别生成第一标定图像和第二标定图像。
应理解，在上述步骤S320中，以24色卡为例介绍第一色彩映射参数的标定方法，在其他实施例中，还可以使用其他色卡或者其他含有多种颜色的可用于基准图像的物品进行色彩映射参数的标定。
S330，第一标定图像和第二标定图像分别进行白平衡处理。例如，上述步骤S320中根据第一相机和第二相机的光谱响应曲线分别生成了第一标定图像和第二标定图像，两路图像分别根据图像中灰块的颜色值，计算相应的白平衡增益，并对第一标定图像和第二标 定图像进行白平衡处理。在另一些实施例中，也可以利用当前光源的信息计算光源基准值，并将该光源基准值施加到两个标定图像上进行白平衡处理。
S340，计算第一色彩映射参数。从白平衡后的两路标定图像中，分别获取各图像中的各个像素对应的RGB三个颜色通道的数值。示例性地，(R 1i 1 G 1i 1 B 1i 1)表示白平衡后的第一标定图像的第i像素的RGB数值，(R 2i 1 G 2i 1 B 2i 1)表示白平衡后的第二标定图像的第i像素的RGB数值。
在一些实施例中，根据(R 1i 1 G 1i 1 B 1i 1)和(R 2i 1 G 2i 1 B 2i 1)，利用最小二乘法，计算该光源对应的第一色彩映射参数T 1。在另一些实施例中，根据(R 1i 1 G 1i 1 B 1i 1)和(R 2i 1 G 2i 1B 2i 1)，也可以利用其它回归方法，计算该光源对应的第一色彩映射参数。
应理解，在一些实施例中，当没有光谱响应测量仪器时，可以不执行上述步骤S310和步骤S320，可以直接利用相机拍摄的图像数据作为第一标定图像和第二标定图像进行上述步骤S330和步骤S340的第一色彩映射参数的标定。
在本申请的步骤S210中，对于N个标准光源的中的每个标准光源，分别在每个标准光源下根据上述步骤S310至步骤S340的方法进行色彩映射参数的标定，可以确定N个标准光源分别对应的N个第一色彩映射参数。
图4是方式2确定第二色彩映射参数的流程示意图。在方式2中，直接根据光谱响应获取第一标定图像和第二标定图像，不需要对标定图像进行白平衡处理。
S410，测量两路相机的光谱响应曲线。
S420，获取标定图像。
步骤S410的具体实现方法和上述步骤S310相似，步骤S420的具体实现方法与上述步骤S320相似，在此不再赘述。
S430，计算第二色彩映射参数。具体来说，对于两路相机获取的第一标定图像和第二标定图像，分别获取各图像中的各个像素对应的RGB三个颜色通道的数值。示例性地，(R 1i 2 G 1i 2 B 1i 2)表示第一标定图像的第i像素的RGB数值，(R 2i 2 G 2i 2 B 2i 2)表示第二标定图像的第i像素的RGB数值。
在一些实施例中，根据(R 1i 2 G 1i 2 B 1i 2)和(R 2i 2 G 2i 2 B 2i 2)，利用最小二乘法或者其他回归方法，获取该光源对应的第二色彩映射参数T 2。
应理解，在一些实施例中，当没有光谱响应测量仪器时，与上述方法300相似，可以不执行上述步骤S410和步骤S420，可以直接利用相机拍摄的图像作为第一标定图像和第二标定图像，进行步骤S430的第二色彩映射参数的标定。
还应理解，在上述方法300中，第一相机和第二相机根据白平衡后的标定图像确定第一色彩映射参数，因此在第一色彩映射参数不包括白平衡的调整分量。在上述方法400中，第一相机和第二相机根据白平衡前的标定图像确定第二色彩映射参数，因此，第二色彩映射参数中包括了白平衡的分量。
在色彩映射参数标定的过程中，利用色卡或其他基准数据，根据不同光源的光谱、相机的光谱响应参数，可以模拟生成不同光源条件下的标定图像，降低了数据拍摄的时间成本。同时减少了因拍摄引入的不稳定因素，提高了色彩映射参数标定的稳定性和准确性。
应理解，上述步骤S210中介绍的N个色彩映射参数标定的过程可以是离线进行的，N个色彩映射参数标定完成后，可以将N个标准光源以及N个色彩映射参数的对应关系 预置于图像处理设备中，当图像处理设备在对多个相机获取的图像进行色彩一致性校正时，可以直接使用标定的色彩映射参数，无需重复标定。
S220，根据至少一个色彩映射参数对第二图像进行校正。
具体来说，由于以第一图像作为目标图像，因此可以根据第一图像指示的图像信息选取至少一个色彩映射参数对第二图像进行色彩一致性校正，使校正后得到的校正图像与第一图像的色彩保持一致。
在本申请实施例中，根据N个色彩映射参数中的至少一个对第二图像进行校正主要包括图像匹配以及对第二图像进行色彩补偿和白平衡补偿。由于在步骤S210的确定色彩映射参数过程中，有两种方式标定色彩映射参数，因此相应地，在对第二图像进行色彩补偿和白平衡补偿的过程中，也有两种方式。
图5是与色彩映射参数标定方式1相对应的第二图像色彩校正流程的示意图。
S510，图像匹配。图像匹配目的在于确定第一图像和第二的图像公共图像区域，根据两路图像中的公共图像区域，可以确定第一图像和第二图像的色彩差异，并且依据该色彩差异计算色彩补偿参数和白平衡补偿参数对第二图像进行色彩校正。多种方法可以确定两路图像公共图像区域，如基于特征点匹配的方法、基于三维空间投影的方法、基于模板匹配、基于机器学习等方法，本申请实施例对此不做限定。
图6是第一图像和第二图像进行图像匹配的一种方式的示意图。在一些实施例中，当两路相机的相对位置固定时，可以结合相机的标定获得稳定快速的图像匹配。如图6所示，在图像匹配的过程中，根据多个相机的标定(例如相机的位置、焦段等)，获得两路图像的缩放因子、公共图像区域在两路图像上的偏移量等参数。根据上述参数对两路图像进行缩放，并根据偏移量确定公共图像区域的大致搜索范围。示例性地，如图6中的(a)所示，可以在第一图像上确定搜索起点和搜索终点，在搜索起点和搜索终点的范围内进行图像匹配，最终获得第一图像和第二图像的公共图像区域。
在另一些实施例中，考虑到两路图像存在不完全同步的问题，为了获得更精确的图像匹配，还可以采用基于特征点、基于亮度、边缘模板匹配等方法实现在搜索范围附近的更精确的匹配。
在多个相机的位置相对固定的情况下，结合相机的标定信息可以缩小图像匹配的搜索区域，实现快速的图像匹配。另外，采用模板匹配技术在小图场景下也能得到较好的图像匹配效果，满足色彩一致性校正的实时性需求。
S520，计算第二图像相对于第一图像的白平衡补偿参数。白平衡补偿参数可以根据两路图像的公共图像区域的色彩信息计算得到，此步骤目的在于计算出两路图像公共图像区域的色彩差异，并根据两路图像公共区域的色彩差异计算第二图像相对于第一图像需要的白平衡补偿参数。白平衡补偿参数计算包括以下步骤：
步骤1：在两路图像施加白平衡增益，获得白平衡处理后的两路图像。具体来说，如图1所示，在一些实施例中，第一相机获取的第一图像和第二相机获取的第二图像经过图像传感器后，进入预处理模块进行预处理。预处理模块可以对每一路图像进行白平衡增益的计算，色彩校正模块根据该白平衡增益对该路图像进行白平衡处理。后续的步骤2至步骤5以步骤1得到的白平衡处理后的两路图像为基础进行白平衡补偿参数的计算。
步骤2：对白平衡处理后的第一图像和第二图像的公共图像区域分块。
在一些实施例中，为了降低在后续计算中的计算量，提升图像处理的效率，可以对步骤S510中图像匹配得到的公共图像区域进行分块。示例性地，可以根据图像的空间位置、色彩相似度、边缘信息、语义信息等进行划分，将公共图像区域图像划分为M块，M为正整数，以块为单位进行后续计算。本申请实施例对图像分块的方式不作限定。分块后的每个图像块的颜色数值可以用该图像块的所有像素的三通道颜色的平均值来表示。示例性的，该图像块包括10个像素点，该图像块的R、G、B三通道颜色数值可以分别由10个像素点的R平均值、G平均值、B平均值来表示。还可以用该图像块的所有像素的三通道颜色数值的众数、中位数等表示图像块的颜色数值，本申请实施例对此不做限定。
在另一些实施例中，也可以不对公共图像区域图像进行分块，在这种情况下，M＝1，以像素为单位进行后续计算。在这种情况下可以不执行步骤2。
步骤3：对公共图像区域图像进行置信度(或称为“权重”)赋值。
在一些实施例中，步骤2对公共图像区域图像进行了分块操作后可以根据每一块图像的亮度、饱和度、颜色特性等信息，公共图像区域图像块进行置信度(或权重)的赋值。例如，可以丢弃过曝、过饱和的图像块；例如，可以对过曝、过饱和的图像块赋予较小的置信度(或权重)，对接近灰色的图像块赋予较大的置信度(或权重)。
在另一些实施例中，步骤2中没有对公共图像区域的图像进行分块(或没有执行步骤2)，在这种情况下，可以根据公共图像区域图像的每个像素的亮度、饱和度、颜色特性等信息，对公共图像区域图像的像素进行置信度(或权重)的赋值。例如，可以丢弃过曝、过饱和的像素；例如，可以对过曝、过饱和的像素赋予较小的置信度(或权重)，对接近灰色的像素赋予较大的置信度(或权重)。
在另一些实施例中，也可以将公共图像区域的所有图像块或者公共图像区域的所有像素赋予相同的权重。
本申请实施例对置信度(或权重)的赋值方式、权重的大小不做限定。
步骤4：计算两路图像的公共图像区域的色彩特征。
例如，可以分别计算第一图像和第二图像公共图像区域的图像块的在三个颜色通道的加权平均值；具体来说，步骤3中对每个图像块的三通道颜色数值赋予权重，因此，第一图像的公共图像区域的R通道色彩特征为每个图像块的R数值的加权平均值，第一图像的公共图像区域的G通道色彩特征为每个图像块的G数值的加权平均值，第一图像的公共图像区域的B通道色彩特征为每个图像块的B数值的加权平均值。第二图像的公共图像区域的色彩特征也可以按照相似的方式进行计算。
例如，可以分别计算第一图像和第二图像公共图像区域的图像块的加权颜色直方图；颜色直方图可以表示图像中某一颜色值出现的频数。具体来说，步骤3中对每个图像块的三通道颜色数值赋予权重，以第一图像的公共图像区域为例，在R通道颜色直方图中，每个R数值对应的频数为图像块的对应R数值出现次数的加权和。例如第一图像的公共图像区域包括2个图像块，图像块1的权重为1，R数值为255；图像块2的权重为3，R数值也为255，那么在图像R通道的加权颜色直方图上，数值255对应的频数为1×1+1×3＝4。
例如，可以分别计算第一图像和第二图像公共图像区域的像素的三个颜色通道的加权平均值；计算方式与上述分块后的计算方式相似，不再赘述。
例如，可以分别计算第一图像和第二图像公共图像区域的像素的加权颜色直方图，计 算方式与上述分块后的计算方式相似，不再赘述。
步骤5：计算第二图像针对第一图像的白平衡补偿参数。具体来说，可以根据步骤4提取的两路图像的公共图像区域的色彩特征，计算色彩差异，从而获得第二图像相对于第一图像的白平衡补偿参数。
示例性地，可以比较步骤4中获得的两路图像公共图像区域图像的三个颜色通道平均加权值，计算第二图像相对于第一图像的白平衡补偿参数；
示例性地，可以根据步骤4中获得的两路图像公共图像区域的加权颜色直方图特征，计算第二图像相对于第一图像的白平衡补偿参数；
示例性地，可以根据步骤4中获得的两路图像公共图像区域的加权颜色直方图特征，采用直方图匹配的方式计算第二图像相对于第一图像的白平衡补偿参数。
S530，根据第一色彩映射参数，计算第二图像相对于第一图像的色彩补偿参数。色彩补偿参数可以根据两路图像的公共图像区域的色彩信息以及色彩映射参数计算得到。由于在步骤S210中采用了方式1确定的第一色彩映射参数中，不包括白平衡补偿的分量，因此，在步骤S220的第二图像色彩校正过程中，需要先计算第二图像针对第一图像的白平衡补偿参数(步骤S520)，再计算第二图像对第一图像的色彩补偿参数。具体来说，在这一步骤中，根据至少一个第一色彩映射参数，确定该场景下适用的色彩映射参数，使两路图像经过色彩补偿后色彩差异最小。
在一些实施例中，可以采用全局搜索的方式在N个第一色彩映射参数中查找合适的一个第一色彩映射参数作为第一目标色彩映射参数，使得第二图像的公共图像区域经过该第一色彩映射参数的变换后生成的第三图像与第一图像的公共图像区域的差异最小。例如，可以按照公式(2)所示的方法进行查找：
Figure PCTCN2020109722-APPB-000002
其中，N表示标准光源的数量；
T i 1表示N个标准光源中的第i个标准光源对应的第一色彩映射参数；
M表示第一图像和第二图像的公共图像区域的图像块数，或者像素数；
Figure PCTCN2020109722-APPB-000003
和
Figure PCTCN2020109722-APPB-000004
分别表示第一图像的公共图像区域和第二图像的公共图像区域的第m块的三通道数值，或者第m像素的三通道的数值；
Figure PCTCN2020109722-APPB-000005
表示将色彩映射参数T i 1施加到第二图像的公共图像区域后生成的第三图像的第m块的三通道数值，或者第m像素的三通道的数值；
Dis()函数用于计算图像的差异，示例性地，可以用绝对值距离、欧氏距离或者其他色彩差异度量方式；示例性地，还可以将图像颜色从RGB空间转换到其他颜色空间来度量图像的差异。
通过上述公式(2)，可以从N个第一色彩映射参数中选择一个第一色彩映射参数作为第一目标色彩映射参数，将第一目标色彩映射参数作为第二图像的色彩补偿参数，使得经过该色彩补偿参数作用后的第二图像与第一图像的差异最小。
在另一些实施例中，还可以选取多个第一色彩映射参数，多个第一色彩映射参数是使得上述第三图像和第一图像的公共图像区域差异最小的多个第一色彩映射参数，并且将多个色彩映射参数按照预设的规则进行融合，获得第一目标色彩映射参数，并将第一目标色 彩映射参数作为第二图像的色彩补偿参数。例如，可以将多个第一色彩映射参数的加权值作为第一目标色彩映射参数，并且将该第一目标色彩映射参数作为第二图像的色彩补偿参数。
在另一些实施例中，可以根据步骤S520中的第一图像的白平衡增益确定第一图像的环境光源信息，再根据估计的光源信息从N个标准光源中选择一个最接近第一图像指示的环境光源的光源，并将该标准光源对应的第一色彩映射参数作为第一目标色彩映射参数，第一目标色彩映射参数即为第二图像的色彩补偿参数。或者根据估计的光源信息从N个标准光源中选择多个最接近第一图像指示的环境光源的光源，并将这些标准光源对应的多个第一色彩映射参数进行融合(例如多个第一色彩映射参数的加权平均值)，作为第一目标色彩映射参数。第一目标色彩映射参数可以作为第二图像的色彩补偿参数。
应理解，由于在确定第一色彩映射参数的方式1中，根据白平衡后的第一图像和第二图像确定了第一色彩映射参数，因此，第一目标色彩映射参数
Figure PCTCN2020109722-APPB-000006
不包括白平衡的分量。
S540，第二图像色彩校正。具体来说，在这一步骤中，将步骤S520计算的白平衡补偿参数和步骤S530计算的色彩补偿参数施加到第二图像上，获取色彩校正后的校正图像。第二图像经过色彩校正后得到的校正图像与第一图像的色彩可以保持一致。
图7是与色彩映射参数标定方式2相对应的第二图像色彩校正流程的示意图。
S710，图像匹配。图像匹配目的在于确定两路图像公共图像区域，用于后续色彩补偿参数和白平衡补偿参数的计算。该步骤的图像匹配过程与上述步骤S510中的图像匹配过程相似，在此不再赘述。
S720，计算第二图像相对于第一图像的色彩补偿参数。计算色彩补偿参数的过程包括两个步骤：
步骤1：计算第二目标色彩映射参数；步骤2：计算色彩补偿参数。
在步骤1中计算第二目标色彩映射参数时，可以根据步骤S530中所述的方案，根据公式(2)，从N个第二色彩映射参数中选择一个作为第二目标色彩映射参数，或者选择多个第二色彩映射参数进行融合作为第二目标色彩映射参数。为了简洁，不再详述。
步骤2：计算色彩补偿参数。可以根据公式(3)计算第二图像的色彩补偿参数：
Figure PCTCN2020109722-APPB-000007
其中，
Figure PCTCN2020109722-APPB-000008
表示步骤1中获得的第二目标色彩映射参数；
Figure PCTCN2020109722-APPB-000009
和CC mat分别表示第一图像的白平衡增益和色彩还原参数，该白平衡增益和色彩还原参数可以从图1所示的预处理步骤中获得；
G表示色彩补偿参数，其中包括了白平衡增益分量和色彩还原参数分量。
S730，计算第二图像相对于第一图像的白平衡补偿参数。对色彩补偿后的第二图像进行白平衡补偿的计算，以应对复杂多变的场景。
步骤1：第一图像的公共图像区域施加白平衡增益
Figure PCTCN2020109722-APPB-000010
和色彩还原参数CC mat。其中，第一图像的白平衡增益和色彩还原参数可以从图1所示的预处理步骤中计算得到。
步骤2：在第二图像的公共图像区域施加步骤S720中获得的色彩补偿参数G。
步骤3：根据步骤1获得的处理后的第一图像公共区域和步骤2获得的处理后的第二图像公共区域计算白平衡补偿参数。白平衡补偿的计算方式与步骤S520所述的方法相似，为了避免重复，不再详述。
在另一些实施例中，该步骤S730还可以由以下步骤实现：
步骤1：第二图像的公共图像区域施加
Figure PCTCN2020109722-APPB-000011
步骤2：根据白平衡前的第一图像的公共图像区域和步骤1获得的处理后的第二图像的公共图像区域计算白平衡补偿参数。通过比较白平衡前的第一图像公共区域以及经过色彩映射参数转换后的第二图像公共区域的整体色彩差异，可以动态调整场景中的白平衡补偿量。其中，白平衡补偿参数的计算方式与步骤S520所述的方法相似，为了避免重复，不再详述。
S740，第二图像色彩校正。具体来说，在这一步骤中，将步骤S720计算的色彩补偿参数和步骤S730计算的白平衡补偿参数施加到第二图像上，获取色彩校正后的校正图像。第二图像经过色彩校正后得到的校正图像与第一图像的色彩可以保持一致。
在本申请实施例中，对第二图像的色彩一致性校正包括色彩补偿和白平衡补偿，白平衡补偿和色彩补偿可以分别依据白平衡补偿参数和色彩补偿参数进行。白平衡补偿使得图像中的灰色区域一致性得到校正，色彩补偿使得图像中的彩色区域一致性得到校正，两种校正相结合，图像的灰色区域和彩色区域都能得到较好的校正效果。
图8是本申请实施例的一种多相机色彩一致性校正装置的示意图。如图8所示，本申请实施例的多相机色彩一致性校正装置包括获取模块810、确定模块820和校正模块830。
获取模块810，用于获取第一相机的拍摄的第一图像和第二相机拍摄的第二图像。
确定模块820，用于根据第一图像指示的图像信息从N个色彩映射参数中确定至少一个色彩映射参数，图像信息包括第一图像的色彩信息和第一图像的环境光源中的至少一个，色彩映射参数指示了第一相机拍摄的图像与第二相机拍摄的图像的色彩转换关系，N个色彩映射参数与N个标准光源一一对应。
校正模块830，用于根据至少一个色彩映射参数对第二图像进行色彩一致性校正，以获得校正图像，校正图像与第一图像的色彩保持一致。
在一些实施例中，确定模块820和校正模块830可以实现上述方法200中的步骤S220中确定色彩映射参数，并根据色彩映射参数对第二图像进行色彩一致性校正的功能。具体地，可以用于实现图5至图7所示的色彩一致性校正方法500和方法700。确定模块820和校正模块830的具体功能和有益效果可以参见上述方法中的描述，为了简洁，在此不再赘述。
在一些实施例中，图8所示的色彩一致性校正装置可以实现图1所示的校正模块的功能。
在一些实施例中，确定模块820还可以用于确定图1所示的应用场景中的色彩映射参 数，即可以实现方法200中的步骤S210中确定色彩映射参数的功能。具体来说，确定模块810可以用于实现图3所示的色彩映射参数标定方法300中的各个步骤，以及实现图4所示的色彩映射参数标定方法400中的各个步骤。在这种情况下，确定模块820的具体功能和有益效果可以参见上述方法中的描述，为了简洁不再详述。
应理解，图8所示的色彩一致性校正装置800仅仅包括获取模块810、确定模块820和校正模块830，在其他实施例中，该色彩一致性校正装置还可以包括其他模块或部件，例如图1所示的预处理模块、后处理模块等，本申请实施例对此不做限定。
图9是本申请实施例的另一种多相机色彩一致性校正装置的示意图。如图9所示的色彩一致性校正装置900包括存储器910、处理器920、通信接口930以及总线940。其中，存储器910、处理器920、通信接口930通过总线940实现彼此之间的通信连接。
存储器910可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器910可以存储程序，当存储器910中存储的程序被处理器920执行时，处理器920用于执行本申请实施例的多相机色彩一致性校正方法的各个步骤，例如，执行图2至图7所示的各个步骤。
应理解，本申请实施例所示的色彩一致性校正装置可以是服务器，例如，可以是云端的服务器，或者，也可以是配置于云端的服务器中的芯片；或者，本申请实施例所示的色彩一致性校正装置可以是智能终端，也可以是配置于智能终端中的芯片。
上述本申请实施例揭示的色彩一致性校正方法可以应用于处理器920中，或者由处理器920实现。处理器920可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述色彩一致性校正方法的各步骤可以通过处理器920中的硬件的集成逻辑电路或者软件形式的指令完成。
上述的处理器920可以是中央处理器(central processing unit，CPU)、图像信号处理器(image signal processor，ISP)、图形处理器(graphics processing unit，GPU)、通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器910，处理器920读取存储器910中的指令，结合其硬件完成本申请实施中图2至图7所示的色彩一致性校正方法的各个步骤。
通信接口930使用例如但不限于收发器一类的收发装置，来实现装置900与其他设备或通信网络之间的通信。
总线940可包括在色彩一致性校正装置900各个部件(例如，存储器910、处理器920、通信接口930)之间传送信息的通路。
应注意，尽管上述色彩一致性校正装置900仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，色彩一致性校正装置900还可以包 括实现正常运行所必须的其他器件。同时，根据具体需要本领域的技术人员应当理解，上述色彩一致性校正装置900还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，上述色彩一致性校正装置900也可仅仅包括实现本申请实施例所必须的器件，而不必包括图9中所示的全部器件。
本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述任一方法实施例中的色彩一致性校正方法。
本申请实施例还提供了一种芯片***，包括存储器和处理器，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得安装有该芯片***的设备或装置执行上述任一方法实施例中的方法。
其中，该芯片***可以包括用于发送信息或数据的输入电路或者接口，以及用于接收信息或数据的输出电路或者接口。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中，或者从一个存储介质向另一个存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
应理解，说明书通篇中提到的“一些实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一些实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在本说明书中使用的术语“部件”、“模块”、“***”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地***、分布式***和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它***交互的互联网)的信号通过本地和/或远程进程来通信。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各种说明性逻辑块(illustrative logical block)和步骤(step)，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，可以理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

  1. 一种多相机色彩一致性校正方法，其特征在于，所述方法包括：
    获取第一相机拍摄的第一图像和第二相机拍摄的第二图像；
    根据所述第一图像指示的图像信息从N个色彩映射参数中确定至少一个所述色彩映射参数，所述图像信息包括所述第一图像的色彩信息和所述第一图像的环境光源中的至少一个，所述色彩映射参数指示了所述第一相机拍摄的图像与所述第二相机拍摄的图像的色彩转换关系，所述N个色彩映射参数与N个标准光源一一对应，N为正整数；
    根据所述至少一个所述色彩映射参数对所述第二图像进行色彩一致性校正，以获得校正图像。
  2. 根据权利要求1所述的方法，其特征在于，在所述从N个色彩映射参数中确定至少一个所述色彩映射参数之前，所述方法还包括：
    确定每个所述标准光源下的第一标定图像和第二标定图像，所述第一标定图像和所述第二标定图像分别是根据所述第一相机和所述第二相机的光谱响应曲线生成的色卡图像；
    根据所述第一标定图像和所述第二标定图像确定每个所述标准光源对应的所述色彩映射参数。
  3. 根据权利要求1或2所述的方法，其特征在于，所述根据至少一个所述色彩映射参数对第二图像进行色彩一致性校正包括：
    确定所述第一图像和所述第二图像的公共图像区域；
    根据所述公共图像区域和所述至少一个色彩映射参数确定色彩补偿参数；
    根据所述公共图像区域确定白平衡补偿参数；
    根据所述白平衡补偿参数和所述色彩补偿参数对所述第二图像进行色彩一致性校正。
  4. 根据权利要求3所述的方法，其特征在于，所述确定所述第一图像和所述第二图像的公共图像区域包括：
    根据所述第一相机和所述第二相机的相对位置和视野范围，确定搜索区域；
    根据所述搜索区域确定所述公共图像区域。
  5. 根据权利要求3或4所述的方法，其特征在于，所述根据所述公共图像区域和所述至少一个色彩映射参数确定色彩补偿参数包括：
    分别将N个所述色彩映射参数施加到所述第二图像中的所述公共图像区域，得到N个第三图像；
    分别计算所述第一图像中的所述公共图像区域与每个所述第三图像的色彩差异；
    根据所述色彩差异确定至少一个所述色彩映射参数，所述至少一个色彩映射参数是至少一个所述色彩差异最小的第三图像对应的色彩映射参数；
    根据所述至少一个色彩映射参数确定目标色彩映射参数，所述目标色彩映射参数是所述至少一个色彩映射参数的加权值；
    根据所述目标色彩映射参数确定所述色彩补偿参数。
  6. 根据权利要求3或4所述的方法，其特征在于，所述根据所述公共图像区域和所述至少一个色彩映射参数确定色彩补偿参数包括：
    根据所述第一图像中的所述公共图像区域的白平衡增益确定环境光源；
    根据所述环境光源确定至少一个所述标准光源对应的至少一个所述色彩映射参数，所述至少一个标准光源与所述环境光源的差异最小；
    根据所述至少一个所述色彩映射参数确定目标色彩映射参数，所述目标色彩映射参数是所述至少一个色彩映射参数的加权值；
    根据所述目标色彩映射参数确定所述色彩补偿参数。
  7. 根据权利要求5或6所述的方法，其特征在于，所述色彩补偿参数是所述目标色彩映射参数，或者，所述色彩补偿参数是所述目标色彩映射参数与所述第一图像的白平衡增益以及色彩还原参数的乘积。
  8. 根据权利要求3-7中任一项所述的方法，其特征在于，所述根据所述公共图像区域确定白平衡补偿参数包括：
    分别确定第一图像中的所述公共图像区域的像素在三个颜色通道的加权平均值或者加权颜色直方图；
    分别确定第二图像中的所述公共图像区域的像素在三个颜色通道的加权平均值或者加权颜色直方图；
    根据所述三个颜色通道的加权平均值或者所述加权颜色直方图，确定所述白平衡补偿参数。
  9. 根据权利要求3-7中任一项所述的方法，其特征在于，在确定所述白平衡补偿参数之前，所述方法还包括：
    根据所述公共图像区域的空间位置、色彩相似性和边缘信息，将所述公共图像区域划分为M块，M为正整数；
    所述根据所述公共图像区域确定白平衡补偿参数包括：
    分别确定第一图像中的所述公共图像区域的图像块在三个颜色通道的加权平均值或者加权颜色直方图；
    分别确定第二图像中的所述公共图像区域的图像块在三个颜色通道的加权平均值或者加权颜色直方图；
    根据所述三个颜色通道的加权平均值或者所述加权颜色直方图，确定所述白平衡补偿参数。
  10. 一种多相机色彩一致性校正装置，其特征在于，所述装置包括：
    获取模块，用于获取第一相机拍摄的第一图像和第二相机拍摄的第二图像；
    确定模块，用于根据所述第一图像指示的图像信息从N个色彩映射参数中确定至少一个所述色彩映射参数，所述图像信息包括所述第一图像的色彩信息和所述第一图像的环境光源中的至少一个，所述色彩映射参数指示了所述第一相机拍摄的图像与所述第二相机拍摄的图像的色彩转换关系，所述N个色彩映射参数与N个标准光源一一对应，N为正整数；
    校正模块，用于根据所述至少一个所述色彩映射参数对第二图像进行色彩一致性校正，以获得校正图像。
  11. 根据权利要求10所述的装置，其特征在于，在所述从N个色彩映射参数中确定至少一个所述色彩映射参数之前，所述确定模块具体用于：
    确定每个所述标准光源下的第一标定图像和第二标定图像，所述第一标定图像和所述第二标定图像分别是根据所述第一相机和所述第二相机的光谱响应曲线生成的色卡图像；
    根据所述第一标定图像和所述第二标定图像确定每个所述标准光源对应的所述色彩映射参数。
  12. 根据权利要求10或11所述的装置，其特征在于，所述确定模块具体用于：
    确定所述第一图像和所述第二图像的公共图像区域；
    根据所述公共图像区域和所述至少一个所述色彩映射参数确定色彩补偿参数；
    根据所述公共图像区域确定白平衡补偿参数；
    所述校正模块具体用于：
    根据所述白平衡补偿参数和所述色彩补偿参数对所述第二图像进行色彩一致性校正。
  13. 根据权利要求12所述的方法，其特征在于，所述确定模块具体用于：
    根据所述第一相机和所述第二相机的相对位置和视野范围，确定搜索区域；
    根据所述搜索区域确定所述公共图像区域。
  14. 根据权利要求12或13所述的装置，其特征在于，所述确定模块具体用于：
    分别将N个所述色彩映射参数施加到第二图像中的所述公共图像区域，得到N个第三图像；
    分别计算所述第一图像中的公共图像区域与每个所述第三图像的色彩差异；
    根据所述色彩差异确定至少一个色彩映射参数，所述至少一个色彩映射参数是至少一个所述色彩差异最小的第三图像对应的色彩映射参数；
    根据所述至少一个色彩映射参数确定目标色彩映射参数，所述目标色彩映射参数是所述至少一个色彩映射参数的加权值；
    根据所述目标色彩映射参数确定所述色彩补偿参数。
  15. 根据权利要求12或13所述的装置，其特征在于，所述确定模块具体用于：
    根据所述第一图像中的所述公共图像区域的白平衡增益确定环境光源；
    根据所述环境光源确定至少一个所述标准光源对应的至少一个所述色彩映射参数，所述至少一个标准光源与所述环境光源的差异最小；
    根据所述至少一个所述色彩映射参数确定目标色彩映射参数，所述目标色彩映射参数是所述至少一个色彩映射参数的加权值；
    根据所述目标色彩映射参数确定所述色彩补偿参数。
  16. 根据权利要求14或15所述的装置，其特征在于，所述色彩补偿参数是所述目标色彩映射参数，或者，所述色彩补偿参数是所述目标色彩映射参数与所述第一图像的白平衡增益以及色彩还原参数的乘积。
  17. 根据权利要求12-16中任一项所述的装置，其特征在于，所述确定模块具体用于：
    分别确定第一图像中的所述公共图像区域的像素在三个颜色通道的加权平均值或者加权颜色直方图；
    分别确定第二图像中的所述公共图像区域的像素在三个颜色通道的加权平均值或者加权颜色直方图；
    根据所述三个颜色通道的加权平均值或者所述加权颜色直方图，确定所述白平衡补偿参数。
  18. 根据权利要求12-16中任一项所述的装置，其特征在于，在确定所述白平衡补偿参数之前，所述确定模块还用于：
    根据所述公共图像区域的空间位置、色彩相似性和边缘信息，将所述公共图像区域划分为M块，M为正整数；
    分别确定第一图像中的所述公共图像区域的图像块在三个颜色通道的加权平均值或者加权颜色直方图；
    分别确定第二图像中的所述公共图像区域的图像块在三个颜色通道的加权平均值或者加权颜色直方图；
    根据所述三个颜色通道的加权平均值或者所述加权颜色直方图，确定所述白平衡补偿参数。
  19. 一种多相机色彩一致性校正装置，其特征在于，包括：处理器和存储器，所述存储器用于存储程序，所述处理器用于从存储器中调用并运行所述程序以执行权利要求1至9中任一项所述的方法。
  20. 一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至9中任一项所述的方法。
CN202080103950.0A 2020-08-18 2020-08-18 一种多相机色彩一致性校正方法和装置 Pending CN116158087A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/109722 WO2022036539A1 (zh) 2020-08-18 2020-08-18 一种多相机色彩一致性校正方法和装置

Publications (2)

Publication Number Publication Date
CN116158087A true CN116158087A (zh) 2023-05-23
CN116158087A8 CN116158087A8 (zh) 2024-05-21

Family

ID=80323324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080103950.0A Pending CN116158087A (zh) 2020-08-18 2020-08-18 一种多相机色彩一致性校正方法和装置

Country Status (3)

Country Link
EP (1) EP4195662A4 (zh)
CN (1) CN116158087A (zh)
WO (1) WO2022036539A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115529445A (zh) * 2022-09-15 2022-12-27 海信视像科技股份有限公司 一种投影设备及投影画质调整方法
CN115409953B (zh) * 2022-11-02 2023-03-28 汉斯夫(杭州)医学科技有限公司 基于多相机颜色一致性的颌面重建方法、设备及介质
CN117478802A (zh) * 2023-10-30 2024-01-30 神力视界(深圳)文化科技有限公司 图像处理方法、装置及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4739122B2 (ja) * 2006-06-05 2011-08-03 パナソニック株式会社 車載カメラの画像合成装置および画像合成方法
US8493467B2 (en) * 2007-12-11 2013-07-23 Canon Kabushiki Kaisha Camera control apparatus, camera control method, and camera system
CN103796003B (zh) * 2014-01-21 2016-03-02 深圳市掌网立体时代视讯技术有限公司 一种立体摄像的图像修正方法及***
CN105979238B (zh) * 2016-07-05 2018-09-21 深圳市德赛微电子技术有限公司 一种多摄像头全局成像一致性控制方法
CN106131527A (zh) * 2016-07-26 2016-11-16 深圳众思科技有限公司 双摄像头颜色同步方法、装置及终端
TW201839717A (zh) * 2017-04-19 2018-11-01 睿緻科技股份有限公司 影像拼接方法及其影像拼接裝置
CN109218561A (zh) * 2018-11-30 2019-01-15 豪威科技(上海)有限公司 多摄像头的同步方法及装置

Also Published As

Publication number Publication date
WO2022036539A1 (zh) 2022-02-24
EP4195662A4 (en) 2023-07-26
EP4195662A1 (en) 2023-06-14
CN116158087A8 (zh) 2024-05-21

Similar Documents

Publication Publication Date Title
US11798147B2 (en) Image processing method and device
US10997696B2 (en) Image processing method, apparatus and device
CN108702437B (zh) 计算深度图的方法、***、设备和存储介质
US10013764B2 (en) Local adaptive histogram equalization
US10949958B2 (en) Fast fourier color constancy
CN112258579B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2022036539A1 (zh) 一种多相机色彩一致性校正方法和装置
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
EP3888345B1 (en) Method for generating image data for machine learning based imaging algorithms
US11503262B2 (en) Image processing method and device for auto white balance
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111182217A (zh) 一种图像白平衡的处理方法和装置
WO2019029573A1 (zh) 图像虚化方法、计算机可读存储介质和计算机设备
US20210321069A1 (en) Electronic device which adjusts white balance of image according to attributes of object in image and method for processing image by electronic device
CN114979500B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
US12015835B2 (en) Multi-sensor imaging color correction
CN113542709B (zh) 投影图像亮度调整方法、装置、存储介质及投影设备
US20230328396A1 (en) White balance correction method and apparatus, device, and storage medium
CN111866369A (zh) 图像处理方法及装置
CN115426487A (zh) 色彩校正矩阵调整方法、装置、电子设备及可读存储介质
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
JP7321772B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109191396B (zh) 人像处理方法和装置、电子设备、计算机可读存储介质
CN113409210B (zh) 瞳孔亮斑消除方法
CN114866755B (zh) 自动白平衡方法、装置和计算机存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CI02 Correction of invention patent application

Correction item: PCT international application to national stage day

Correct: 2023.02.14

False: 2023.02.13

Number: 21-01

Page: The title page

Volume: 39

Correction item: PCT international application to national stage day

Correct: 2023.02.14

False: 2023.02.13

Number: 21-01

Volume: 39

CI02 Correction of invention patent application