CN113129400B - 图像处理方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、电子设备和可读存储介质，属于通信技术领域，能够解决黑白图像的着色结果与彩色图像存在色差问题。该方法包括：获取针对目标拍摄对象的双目图像对；基于第一彩色视图中像素点的颜色值，计算第二黑白视图中的各个像素点的第一候选颜色值；基于第二黑白视图中的目标像素点的第一候选颜色值，计算第二黑白视图中遮挡像素点的第二候选颜色值；根据遮挡像素点的第二候选颜色值，以及第二黑白视图中除遮挡像素点以外的其他像素点的第一候选颜色值，对第二黑白视图进行着色，得到目标图像。本申请适用于电子设备拍摄图像后需要进行图像优化的场景。

Description

图像处理方法、装置、电子设备和可读存储介质

技术领域

本申请属于通信技术领域，具体涉及一种图像处理方法、装置、电子设备和可读存储介质。

背景技术

一般的，电子设备的彩色相机首先通过彩色滤波阵列采集第一图像的拜耳阵列图像，然后对拜耳阵列图像进行解马赛克处理，最后获取彩色图像。其中，彩色滤波阵列是指彩色相机中携带交替排列三中颜色的滤光片的光电传感器阵列。由于彩色滤波阵列的滤波结构，导致光电传感器无法利用全部的入射光进行成像，电子设备获取的彩色图像的图像亮度较低。与彩色相机相比，黑白相机在获取黑白图像的过程中无需使用滤光片，因此，黑白相机几乎利用全部的入射光进行成像。也就是，黑白图像的亮度比彩色图像的亮度层次更丰富，且纹理细节丰富。

在相关技术中，对于黑白-彩色双目相机***获取的一组相关的黑白-彩色图像对，可以基于黑白图像着色算法对这组黑白-彩色图像对进行特征匹配，然后，根据匹配结果完成颜色从彩色图像到黑白图像的迁移，以此将黑白图像与彩色图像进行融合，通过图像融合来获得信噪比更低、细节更加丰富的彩色图像。

然而，如果采用上述方式获取对黑白图像进行着色，由于黑白图像与彩色图像相比纹理不完全相同且存在视觉差，在进行特征匹配时黑白图像与彩色图像的匹配结果不准确，进而可能导致获得的黑白图像的着色结果与彩色图像存在色差。

发明内容

本申请实施例的目的是提供一种图像处理方法、装置、电子设备和可读存储介质，能够解决黑白图像的着色结果与彩色图像存在色差的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种图像处理方法。该方法包括：

获取针对目标拍摄对象的双目图像对；上述双目图像对包括：第一彩色视图和第二黑白视图；

基于第一彩色视图中像素点的颜色值，计算第二黑白视图中的各个像素点的第一候选颜色值；

基于第二黑白视图中的目标像素点的第一候选颜色值，计算第二黑白视图中遮挡像素点的第二候选颜色值；遮挡像素点为第二黑白视图中与第一彩色视图存在视差缺失的像素点；目标像素点为与遮挡像素点的亮度值相匹配的像素点；

根据遮挡像素点的第二候选颜色值，以及第二黑白视图中除遮挡像素点以外的其他像素点的第一候选颜色值，对第二黑白视图进行着色，得到目标图像。

第二方面，本申请实施例提供了一种图像处理装置。该装置包括：获取单元、第一计算单元、第二计算单元、着色单元；

上述获取单元，用于获取针对目标拍摄对象的双目图像对；双目图像对包括：第一彩色视图和第二黑白视图；

上述第一计算单元，用于基于第一彩色视图中像素点的颜色值，计算第二黑白视图中的各个像素点的第一候选颜色值；

上述第二计算单元，用于基于第二黑白视图中的目标像素点的第一候选颜色值，计算第二黑白视图中遮挡像素点的第二候选颜色值；遮挡像素点为第二黑白视图中与第一彩色视图存在视差缺失的像素点；目标像素点为与遮挡像素点的亮度值相匹配的像素点；

上述着色单元，用于根据遮挡像素点的第二候选颜色值，以及第二黑白视图中除遮挡像素点以外的其他像素点的第一候选颜色值，对第二黑白视图进行着色，得到目标图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令，该程序或指令被该处理器执行时实现如第一方面提供的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面提供的方法的步骤。

第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面提供的方法。

第六方面，本申请实施例提供了一种计算机程序产品，该程序产品被存储在非易失的存储介质中，该程序产品被至少一个处理器执行以实现如第一方面提供的方法。

在本申请实施例中，首先获取针对目标拍摄对象的双目图像对(包括第一彩色视图和第二黑白视图)，然后基于第一彩色视图中像素点的颜色值，计算第二黑白视图中的各个像素点的第一候选颜色值，再基于第二黑白视图中的目标像素点的第一候选颜色值，计算第二黑白视图中遮挡像素点的第二候选颜色值，最后根据遮挡像素点的第二候选颜色值，以及第二黑白视图中除遮挡像素点以外的其他像素点的第一候选颜色值，对第二黑白视图进行着色，得到目标图像。如此，以第二黑白视图为基础图像，以第一彩色视图为引导图像，使得目标图像既可以保留第二黑白视图中的纹理细节，又能够获取第一彩色视图中的色彩观感。同时，对第二黑白图像进行着色之前，无需将第一彩色视图与第二黑白视图进行视差优化，能够避免因为视差优化造成的纹理细节丢失，以得到清晰度更高、观感更好的目标图像。再者，由于遮挡像素点对应的第一候选颜色值，与实际颜色值相比可能存在较大偏差，因此，根据第二黑白视图中遮挡像素点对应的目标像素点，重新计算遮挡像素点的第二候选颜色值，使得遮挡像素点对应的第二候选颜色值更贴近目标拍摄对象对应的色彩，进而使得根据第一候选颜色和第二候选颜色进行着色的目标图像更符合实际目标拍摄对象对应的色彩。

附图说明

图1为本申请实施例提供的一种图像处理方法的示意图；

图2为本申请实施例提供的一种第一候选颜色值的计算方法的示意图；

图3为本申请实施例提供的另一种第一候选颜色值的计算方法的示意图；

图4为本申请实施例提供的一种第二候选颜色值的计算方法的示意图；

图5为本申请实施例提供的一种目标像素点的确定方法的示意图；

图6为本申请实施例提供的一种图像处理装置的结构示意图；

图7为本申请实施例提供的电子设备的硬件示意图之一；

图8为本申请实施例提供的电子设备的硬件示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

由于黑白图像的亮度细节和纹理细节更丰富，彩色图像的色彩更丰富，并且，通过黑白-彩色双目相机***同时获取的拍摄对象的一组相关的黑白-彩色图像对，以特征匹配的方式将黑白图像与彩色图像融合，得到色彩和细节都更加丰富的融合图像，然而，由于黑白图像与彩色图像相比纹理不完全相同且存在视觉差，在进行特征匹配时黑白图像与彩色图像的匹配结果不准确，进而可能导致获得的黑白图像的着色结果与彩色图像存在色差。

为解决上述问题，如图1所示，本申请实施例提供一种图像处理方法。该方法可以包括下述的步骤101至步骤104。下面以执行主体为图像处理装置为例对该方法进行示例性说明。

步骤101：图像处理装置获取针对目标拍摄对象的双目图像对。

在本申请实施例中，双目图像对包括：第一彩色视图和第二黑白视图。针对目标拍摄对象的一次采集过程中，黑白相机和彩色相机同时对图像采集镜头所捕捉的目标拍摄对象进行拍摄，分别得到关于该目标拍摄对象的第一彩色视图和第二黑白视图。

可理解的是，在一次采集过程中，拍摄第一彩色视图的时刻，与拍摄第二黑白视图的时刻，可能是同一时刻，也可能存在微小的时间差，该时间差可以为纳秒级、微秒级或毫秒级。第一彩色视图和第二黑白视图相比，捕捉到的目标拍摄对象的图像基本相同，因此第一彩色视图可以作为第二黑白视图的引导视图，提供着色依据。

需要说明的是，由于黑白相机和彩色相机是固定安装在上述各类图像采集设备中的预设位置处的，因此，黑白相机和彩色相机之间相对于拍摄对象存在特定的角度关系，这样，在上述拍摄过程中，所得到的第一彩色视图和第二黑白视图也就是彩色相机和黑白相机按照特定的角度关系对应的视差角度拍摄的。也就是说，在一次拍摄过程中可以得到包括第一彩色视图和第二黑白视图的一对图像，并且，第一彩色视图和第二黑白视图是按照视差角度，对同一拍摄对象进行拍摄得到的。

在本申请实施例中，第一彩色视图可以包括以下至少一项：YUV图像，彩色红外图像。

步骤102：图像处理装置基于第一彩色视图中像素点的颜色值，计算第二黑白视图中的各个像素点的第一候选颜色值。

在本申请实施例中，第一彩色视图作为引导视图，引导计算第二黑白视图中的各个像素点用于着色的第一候选颜色值，其中，第一候选颜色值用于表征着色后的第二黑白视图中的各个像素点的颜色值。

示例性的，通过块匹配方式，为第二黑白视图中的各个像素点匹配第一彩色视图中对应的像素点，并根据第一彩色视图中对应的像素点，获取第二黑白视图中各个像素点对应的颜色值，然后根据获取到的颜色值，按照预置算法计算第一候选颜色值。预置算法包括以下至少一项：加权平均算法、均值算法和随机选取算法。

可选地，在本申请实施例中，在步骤102之前，本申请实施例提供的图像处理方法还可以包括：根据DCT频域去噪算法，对第一彩色视图的颜色通道分别进行去噪，更新第一彩色视图。通过上述去噪方式提供第一彩色视图的色彩细节。

示例性的，第一彩色视图记为C∈R^H×W×3，其中，R为实数，H为像素点的高度，W为像素点的宽度，“3”为表征色彩的三个颜色通道。通过提取每个颜色通道中的色彩值，分别进行降噪处理，将降噪后的色彩值按照各自所属的颜色通道进行合并，生成新的第一彩色视图，并将未进行去噪的第一彩色视图更新为新的第一彩色视图。

步骤103：图像处理装置基于第二黑白视图中的目标像素点的第一候选颜色值，计算第二黑白视图中遮挡像素点的第二候选颜色值。

在本申请实施例中，上述遮挡像素点为第二黑白视图中与第一彩色视图存在视差缺失的像素点；上述目标像素点为与遮挡像素点的亮度值相匹配的像素点。

示例性的，在为第二黑白视图中的各个像素点匹配第一彩色视图中对应的像素点位置的过程中，如果匹配结果的置信度较低，则确定置信度较低的匹配对应关系中，第二黑白视图中的像素点是遮挡像素点。

示例性的，基于亮度相似的相邻像素点的颜色相似的假设，以遮挡像素点作为种子点，在与种子点的像素距离属于预置距离范围的像素点中，与遮挡像素点的亮度相近的目标像素点。

在本申请实施例中，与第一候选颜色值类似，第二候选颜色值用于表征着色后的第二黑白视图中的遮挡像素点的颜色值。示例性的，图像处理装置可以根据目标像素点对应的颜色值，按照预置算法计算目标像素点的第二候选颜色值。预置算法包括以下至少一项：加权平均算法、均值算法和随机选取算法。

在一种示例中，图像处理装置可以根据第二黑白视图中的各个像素点匹配第一彩色视图中对应的像素点位置，获取目标像素点对应的颜色值。

在另一种示例性，图像处理装置可以将第二黑白视图中目标像素点的第一候选颜色值，确定为目标像素点对应的颜色值。

步骤104：图像处理装置根据遮挡像素点的第二候选颜色值，以及第二黑白视图中除遮挡像素点以外的其他像素点的第一候选颜色值，对第二黑白视图进行着色，得到目标图像。

在本申请实施例中，如果第二黑白视图中的像素点存在对应的第二候选颜色值则采用第二候选颜色值，如果第二黑白视图中的像素点不存在对应的第二候选颜色值则采用第一候选颜色值，并在此基础上对第二黑白视图进行着色，得到目标图像。

示例性的，上述对第二黑白视图进行着色的过程：是指将第一候选颜色值或者第二候选颜色值，按照预置色彩模式，为第二黑白视图中的各个像素点赋值。

在本申请实施例提供的图像处理方法中，首先获取针对目标拍摄对象的双目图像对(包括第一彩色视图和第二黑白视图)，然后基于第一彩色视图中像素点的颜色值，计算第二黑白视图中的各个像素点的第一候选颜色值，再基于第二黑白视图中的目标像素点的第一候选颜色值，计算第二黑白视图中遮挡像素点的第二候选颜色值，最后根据遮挡像素点的第二候选颜色值，以及第二黑白视图中除遮挡像素点以外的其他像素点的第一候选颜色值，对第二黑白视图进行着色，得到目标图像。如此，以第二黑白视图为基础图像，以第一彩色视图为引导图像，使得目标图像既可以保留第二黑白视图中的纹理细节，又能够获取第一彩色视图中的色彩观感。同时，对第二黑白图像进行着色之前，无需将第一彩色视图与第二黑白视图进行视差优化，能够避免因为视差优化造成的纹理细节丢失，以得到清晰度更高、观感更好的目标图像。再者，由于遮挡像素点对应的第一候选颜色值，与实际颜色值相比可能存在较大偏差，因此，根据第二黑白视图中遮挡像素点对应的目标像素点，重新计算遮挡像素点的第二候选颜色值，使得遮挡像素点对应的第二候选颜色值更贴近目标拍摄对象对应的色彩，进而使得根据第一候选颜色和第二候选颜色进行着色的目标图像更符合实际目标拍摄对象对应的色彩。

可选地，在本申请实施例中，图像处理装置可以通过块匹配方式，获取第二黑白视图中各个像素点对应的颜色值，然后根据获取到的颜色值，按照预置算法计算第一候选颜色值。

示例性的，如图2所示，上述步骤102可以包括如下步骤201至步骤204：

步骤201：图像处理装置将第二黑白视图进行分块处理，得到相互重叠的N个第一图像块。

应注意的是，图像处理装置根据第二黑白视图的分辨率，图像块大小和重叠比例，将第二黑白视图进行重叠分块处理，得到N个第一图像块。其中，在第二黑白视图中位置相邻的第一图像块，包括部分相同的像素点，即为不同的第一图像块相互重叠。可以理解的是，相互重叠是指不同的第一图像块之间可以包括相同的像素点。

示例性的，在第二黑白视图中以任意位置为第一中心点，根据预设的图像块大小(如，S×S)，获取第一中心点对应的第一图像块，然后，获取该第一中心点的高度值，在第一中心点的宽度值的基础上按照S-a的差值，依次沿第一中心点的水平方向选取第一图像块。然后，根据与第一中心点在同一行中的所有第一图像块的第二中心点，获取第二中心点的宽度值，在第二中心点对应的高度值的基础上按照S-a的差值，依次沿第二中心点的垂直方向选取第一图像块。应注意的是，相邻的第一图像块之间具有宽度值为a的重合像素点。

步骤202：图像处理装置在第一彩色视图中确定每个第一图像块对应的彩色图像块。

在本申请实施例中，由于第一黑白视图中只有一个亮度分量，为了便于计算第二黑白视图中各个像素点的第一候选颜色值，第一彩色视图采用YUV色彩模式，第一候选颜色值采用YUV色彩模式中的U、V分量表示。

示例性的，针对N个第一图像块中的任一第一图像块，在第一彩色视图中，根据邻域窗口选择与该任一第一图像块对应的彩色图像块，分别计算该任一第一图像块对应的彩色图像块，与该任一第一图像块之间亮度值的欧式距离，将欧式距离最小的彩色图像块确定为该任一第一图像块对应的彩色图像块。依照上述方式，确定每个第一图像块对应的彩色图像块。

步骤203：图像处理装置分别基于每个彩色图像块中像素点的颜色值，获取各自对应的第一图像块中像素点的第三候选颜色值。

在本申请实施例中，针对N个第一图像块中的任一第一图像块，以及该任一第一图像块对应的彩色图像块，根据该任一第一图像块和彩色图像块的对应关系，获取N个第一图像块中像素点的第三候选颜色。

可以理解的是，由于第一图像块是相互重叠的，因此第二黑白视图中的部分像素点可以对应的第三候选颜色的颜色值的数量为一个，或多个。

示例性的，假设彩色图像块中像素点的颜色值为(132,164,205；83,47,59；108,31,27,45)，那么与彩色图像块对应的第一图像块的第三候选颜色值为(132,164,205；83,47,59；108,31,27,45)。

步骤204：图像处理装置基于各个第一图像块中像素点的第三候选颜色值，确定出第二黑白视图中的各个像素点的第一候选颜色值。

在本申请实施例中，通过加权平均算法，根据一个或多个第三候选颜色确定第二黑白视图中各个像素点对应的一个的第一候选颜色值。

示例性的，假设第一彩色视图的色彩模式为YUV模式，则第三候选颜色值可以通过三维张量U∈R^H×W×K和V∈R^H×W×K进行记录。其中，K为第二黑白视图中高度值H和宽度值W的像素点，所对应的第三候选颜色值的个数。

如此，通过块匹配方式和加权平均算法，确定第二黑白视图中各个像素点对应的第一候选颜色值，无需将第一彩色视图与第二黑白视图进行视差优化，即可获取色差观感更好的第一候选颜色值。

进一步可选地，如图3所示，在本申请实施例中，上述步骤102可以包括步骤301至步骤303：

步骤301：图像处理装置针对第二黑白视图中的采样像素点，确定与采样像素点匹配的K个彩色图像块。

步骤302：图像处理装置确定采样像素点所对应的K个第三候选颜色值。

步骤303：图像处理装置对K个第三候选颜色值进行加权平均，得到采样像素点的第一候选颜色值。

在本申请实施例中，每个第三候选颜色值分别对应K个彩色图像块中的一个图像块。需要说明的是，图2所示的步骤201和202的基础上，将第二黑白视图进行分块的基础上，通过每个第三候选颜色值分别对应的彩色图像块，进而确定与每个第一图像块对应的彩色图像块，再确定第二黑白视图中各个采样像素点对应的第一候选颜色值。

示例性的，第二黑白视图中的采样像素点，并确定与该采样像素点匹配的N个彩色图像块，该采样像素点可以匹配S²个不同的彩色图像块(假设图像块大小为S×S)，通过预置采样策略在S²个色图像块中，提取M个彩色图像块。基于最小可觉察误差JND阈值理论，计算M个彩色图像块中与该采样像素点的亮度值匹配的T个匹配像素点，如果T的数值大于预置阈值，则该采样像素点与该彩色图像块匹配。在M个彩色图像块中，存在K个采样像素点匹配的彩色图像块，其中K与M的比值越接近1，通过块匹配得到的第三候选颜色的置信度越高。

可以理解的是，预置采样策略需要满足采样率尽可能低，即M尽可能小，且K与M的比值越接近1，即置信度尽可能高，使得第三候选颜色尽可能稠密。

如此，通过预置采样策略，确定K个第三候选颜色值，可以提高第一彩色视图和第二黑白视图的第三候选颜色的确定速度。

在本申请实施例中，每个采样像素点对应多个第三颜色候选值，针对单个采样像素点采样采用加权平均的方式，平衡多个第三候选颜色值所占的比重，计算第二黑白视图中每个像素点的第一候选颜色值，使得第一候选颜色值的鲁棒性更好。

示例性的，图像处理装置根据第二黑白视图中每个像素点对应的亮度值集合，确定每个像素点的第一权重值，图像处理装置再根据每个像素点的第一权重值以及第三候选颜色值，确定出第二黑白视图中每个像素点的第一候选颜色值。其中，第二黑白视图中的任一像素点对应的亮度值集合包括：任一像素点在第二黑白视图中的亮度值，以及，在任一像素点所属的每个第一图像块所对应的每个彩色图像块中，与任一像素点相匹配的彩色像素点的亮度值。

在本申请实施例中，将每个像素点的亮度值，除以，累积上述亮度值集合中两种亮度值的偏差和，确定每个像素点的第一权重值。

示例性的，第二黑白视图中每个像素点的亮度值为M(h,w)，该像素点对应的第一彩色视图中的像素点的亮度值为Y(h,w,k)，ε为容错参数，k为第二黑白视图中高度值H和宽度值W的像素点，所对应的第三候选颜色值的个数。其中，ε是防止在计算工作中分母为0出现无法计算的结果而增加的微小值。

进一步的，图像处理装置可以基于如下公式1计算第二黑白视图中任一像素点与其对于的第一彩色视图中的像素点的亮度差系数，再基于如下公式2计算第一权重值。如下：公式1和公式2分别为：

可以理解的，图像处理装置可以根据第一权重值，分别计算每个像素点的各个颜色通道的通道颜色值。例如，第三候选颜色值可以采用YUV色彩模式中的U、V分量表示。

示例性的，在上述示例的基础上，图像处理装置可以基于如下公式3计算U通道的颜色值，基于如下公式4计算V通道的颜色值，再将第二黑白视图中每个像素点的亮度值，以及通过公式3和公式4计算的各个通道的颜色值，生成第三候选颜色值。如下，公式3和公式4分别为：

可选地，在本申请实施例中，基于采样策略与最小可察觉误差JND阈值理论筛选出遮挡像素点，并重新计算遮挡像素点的第二候选颜色值。

示例性的，如图4所示，上述步骤103可以包括如下步骤401至步骤404：

步骤401：图像处理装置基于第二黑白视图中各个像素点的亮度值，确定遮挡像素点。

在本申请实施例中，图像处理装置可以根据第一彩色视图和第二黑白视图的视差角度，确定第二黑白图像中被遮挡的部分遮挡区域，在部分遮挡区域中的像素点为遮挡像素点。

在本申请实施例中，在图3所示的确定第一候选颜色的基础上，图像处理装置还可以依据采样策略计算确定与采样像素点匹配的K个彩色图像块的过程中，如果基于预置JND阈值理论，计算M个彩色图像块中与该采样像素点的亮度值匹配的T个匹配像素点，如果T的数值不大于预置阈值，则该采样像素点与该彩色图像块不匹配，那么如果采样像素点没有与之匹配的彩色图像块，那么该采样像素点为遮挡像素点。

步骤402：图像处理装置将第二黑白视图进行分块处理，得到相互不重叠的X个第二图像块。

在本申请实施例中，每个第二图像块至少包括一个遮挡像素点。第二图像块之间相互不重叠。可以理解的是，相互不重叠是指不同的第二图像块之间不包括相同的像素点。

步骤403：图像处理装置基于第二图像块中各个像素点的亮度值，在第二黑白视图中查找与遮挡像素点对应的目标像素点。

在本申请实施例中，目标像素点与遮挡像素点的亮度值近似，因此，通过亮度值查找遮挡像素点对应的目标像素点。

步骤404：图像处理装置根据目标像素点对应的第一候选颜色值和第二权重值，计算第二黑白视图中遮挡像素点的第二候选颜色值。

在本申请实施例中，当遮挡像素点对应多个目标像素点时，通过第二权重值，对目标像素点对应的第一候选颜色值进行加权平均，计算遮挡像素点的第二候选颜色值。

示例型的，与计算第一权重值的方法类似，重新计算与遮挡像素点对应的目标像素点的第二权重值，根据第二权重值以及目标像素点的第一候选颜色进行加权平均，得到遮挡像素点的第二候选颜色值。

可以理解的，对于每个遮挡像素点，需要分别计算与其对应的目标像素点的第二权重值。

如此，通过不重叠的块匹配结果，可以直接判断第二黑白视图中的像素点是否为遮挡像素点，不需要再进行一致性检测，同时，通过其周围亮度相似的像素点，计算遮挡像素点的第二候选颜色值，以此获取更加稠密的着色颜色值，能有效地减少着色过程中的溢色问题。

进一步可选地，如图5所示，在本申请实施例中，上述步骤403可以包括如下步骤501至步骤503：

步骤501：图像处理装置对每个第二图像块中各个像素点的亮度值进行排序，并按照排序计算任一相邻的像素点间的亮度差值。

步骤502：图像处理装置如果任一相邻的像素点间的亮度差值大于预置亮度梯度阈值，则将任一相邻的像素点划分为不同的亮度等级。

步骤503：图像处理装置按照第二黑白视图中的每个像素点的亮度等级，确定出目标像素点。

其中，上述目标像素点不属于遮挡像素点、且目标像素点与遮挡像素点所属的亮度等级相同。

在本申请实施例中，在确定遮挡像素点对应的目标像素点的过程中，可以以遮挡像素点为中心，通过邻域窗口的方式，查找遮挡像素点附近的，且与遮挡像素点属于同一个亮度等级的目标像素点。

如此，通过对同一第二图像块中各个像素点的亮度值进行局部的亮度等级划分，确定遮挡像素点的目标像素点，实现对初始计算的第一候选颜色值的稠密化处理，能够防止在第二黑白视图中较大的遮挡区域内的像素点，由于在第一彩色视图中不存在对应的像素点而导致该像素点获取错误颜色值。

需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。但实际应用中上述图像处理方法的执行主体还可以是其他可以执行该图像处理方法的设备或装置，本申请实施例对此不作限定。

如图6所示，本申请实施例提供一种图像处理装置。该图像处理装置包括：获取单元61、第一计算单元62、第二计算单元63、着色单元64；

获取单元61，用于获取针对目标拍摄对象的双目图像对；双目图像对包括：第一彩色视图和第二黑白视图；

第一计算单元62，用于基于第一彩色视图中像素点的颜色值，计算第二黑白视图中的各个像素点的第一候选颜色值；

第二计算单元63，用于基于第二黑白视图中的目标像素点的第一候选颜色值，计算第二黑白视图中遮挡像素点的第二候选颜色值；遮挡像素点为第二黑白视图中与第一彩色视图存在视差缺失的像素点；目标像素点为与遮挡像素点的亮度值相匹配的像素点；

着色单元64，用于根据遮挡像素点的第二候选颜色值，以及第二黑白视图中除遮挡像素点以外的其他像素点的第一候选颜色值，对第二黑白视图进行着色，得到目标图像。

可选地，第一计算单元62，具体用于：

将第二黑白视图进行分块处理，得到相互重叠的N个第一图像块；

在第一彩色视图中确定每个第一图像块对应的彩色图像块；

分别基于每个彩色图像块中像素点的颜色值，获取各自对应的第一图像块中像素点的第三候选颜色值；

基于各个第一图像块中像素点的第三候选颜色值，确定出第二黑白视图中的各个像素点的第一候选颜色值。

可选地，第一计算单元62，具体用于：

针对第二黑白视图中的采样像素点，确定与采样像素点匹配的K个彩色图像块；

确定采样像素点所对应的K个第三候选颜色值，其中，每个第三候选颜色值分别对应K个彩色图像块中的一个图像块；

对K个第三候选颜色值进行加权平均，得到采样像素点的第一候选颜色值。

可选地，第二计算单元63，具体用于：

基于第二黑白视图中各个像素点的亮度值，确定遮挡像素点；

将第二黑白视图进行分块处理，得到相互不重叠的X个第二图像块，每个第二图像块至少包括一个遮挡像素点；

基于第二图像块中各个像素点的亮度值，在第二黑白视图中查找与遮挡像素点对应的目标像素点；

根据目标像素点对应的第一候选颜色值和第二权重值，计算第二黑白视图中遮挡像素点的第二候选颜色值。

可选地，第二计算单元63，具体用于：

对每个第二图像块中各个像素点的亮度值进行排序，并按照排序计算任一相邻的像素点间的亮度差值；

如果任一相邻的像素点间的亮度差值大于预置亮度梯度阈值，则将任一相邻的像素点划分为不同的亮度等级；

按照第二黑白视图中的每个像素点的亮度等级，确定出目标像素点；

其中，目标像素点不属于遮挡像素点、且目标像素点与遮挡像素点所属的亮度等级相同。

在本申请实施例提供的图像处理装置中，首先获取针对目标拍摄对象的双目图像对(包括第一彩色视图和第二黑白视图)，然后基于第一彩色视图中像素点的颜色值，计算第二黑白视图中的各个像素点的第一候选颜色值，再基于第二黑白视图中的目标像素点的第一候选颜色值，计算第二黑白视图中遮挡像素点的第二候选颜色值，最后根据遮挡像素点的第二候选颜色值，以及第二黑白视图中除遮挡像素点以外的其他像素点的第一候选颜色值，对第二黑白视图进行着色，得到目标图像。如此，以第二黑白视图为基础图像，以第一彩色视图为引导图像，使得目标图像既可以保留第二黑白视图中的纹理细节，又能够获取第一彩色视图中的色彩观感。同时，对第二黑白图像进行着色之前，无需将第一彩色视图与第二黑白视图进行视差优化，能够避免因为视差优化造成的纹理细节丢失，以得到清晰度更高、观感更好的目标图像。再者，由于遮挡像素点对应的第一候选颜色值，与实际颜色值相比可能存在较大偏差，因此，根据第二黑白视图中遮挡像素点对应的目标像素点，重新计算遮挡像素点的第二候选颜色值，使得遮挡像素点对应的第二候选颜色值更贴近目标拍摄对象对应的色彩，进而使得根据第一候选颜色和第二候选颜色进行着色的目标图像更符合实际目标拍摄对象对应的色彩。

本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(networkattached storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为IOS操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。

可选的，如图7所示，本申请实施例还提供一种电子设备700，包括处理器701，存储器702，存储在存储器702上并可在处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。

本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器810逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器810，用于获取针对目标拍摄对象的双目图像对；双目图像对包括：第一彩色视图和第二黑白视图；基于第一彩色视图中像素点的颜色值，计算第二黑白视图中的各个像素点的第一候选颜色值；基于第二黑白视图中的目标像素点的第一候选颜色值，计算第二黑白视图中遮挡像素点的第二候选颜色值；遮挡像素点为第二黑白视图中与第一彩色视图存在视差缺失的像素点；目标像素点为与遮挡像素点的亮度值相匹配的像素点；根据遮挡像素点的第二候选颜色值，以及第二黑白视图中除遮挡像素点以外的其他像素点的第一候选颜色值，对第二黑白视图进行着色，得到目标图像。

处理器810，具体用于将第二黑白视图进行分块处理，得到相互重叠的N个第一图像块；在第一彩色视图中确定每个第一图像块对应的彩色图像块；分别基于每个彩色图像块中像素点的颜色值，获取各自对应的第一图像块中像素点的第三候选颜色值；基于各个第一图像块中像素点的第三候选颜色值，确定出第二黑白视图中的各个像素点的第一候选颜色值。

处理器810，具体用于针对第二黑白视图中的采样像素点，确定与采样像素点匹配的K个彩色图像块；确定采样像素点所对应的K个第三候选颜色值，其中，每个第三候选颜色值分别对应K个彩色图像块中的一个图像块；对K个第三候选颜色值进行加权平均，得到采样像素点的第一候选颜色值。

处理器810，具体用于基于第二黑白视图中各个像素点的亮度值，确定遮挡像素点；将第二黑白视图进行分块处理，得到相互不重叠的X个第二图像块，每个第二图像块至少包括一个遮挡像素点；基于第二图像块中各个像素点的亮度值，在第二黑白视图中查找与遮挡像素点对应的目标像素点；根据目标像素点对应的第一候选颜色值和第二权重值，计算第二黑白视图中遮挡像素点的第二候选颜色值。

处理器810，具体还用于对每个第二图像块中各个像素点的亮度值进行排序，并按照排序计算任一相邻的像素点间的亮度差值；如果任一相邻的像素点间的亮度差值大于预置亮度梯度阈值，则将任一相邻的像素点划分为不同的亮度等级；按照第二黑白视图中的每个像素点的亮度等级，确定出目标像素点；其中，目标像素点不属于遮挡像素点、且目标像素点与遮挡像素点所属的亮度等级相同。

在本申请实施例提供的电子设备中，首先获取针对目标拍摄对象的双目图像对(包括第一彩色视图和第二黑白视图)，然后基于第一彩色视图中像素点的颜色值，计算第二黑白视图中的各个像素点的第一候选颜色值，再基于第二黑白视图中的目标像素点的第一候选颜色值，计算第二黑白视图中遮挡像素点的第二候选颜色值，最后根据遮挡像素点的第二候选颜色值，以及第二黑白视图中除遮挡像素点以外的其他像素点的第一候选颜色值，对第二黑白视图进行着色，得到目标图像。如此，以第二黑白视图为基础图像，以第一彩色视图为引导图像，使得目标图像既可以保留第二黑白视图中的纹理细节，又能够获取第一彩色视图中的色彩观感。同时，对第二黑白图像进行着色之前，无需将第一彩色视图与第二黑白视图进行视差优化，能够避免因为视差优化造成的纹理细节丢失，以得到清晰度更高、观感更好的目标图像。再者，由于遮挡像素点对应的第一候选颜色值，与实际颜色值相比可能存在较大偏差，因此，根据第二黑白视图中遮挡像素点对应的目标像素点，重新计算遮挡像素点的第二候选颜色值，使得遮挡像素点对应的第二候选颜色值更贴近目标拍摄对象对应的色彩，进而使得根据第一候选颜色和第二候选颜色进行着色的目标图像更符合实际目标拍摄对象对应的色彩。

本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。

应理解的是，本申请实施例中，输入单元804可以包括图形处理器(graphicsprocessi8gu8it，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器809可用于存储软件程序以及各种数据，包括但不限于应用程序和操作***。处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

本申请实施例还提供一种可读存储介质，该可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-onlymemory，ROM)、随机存取存储器(randomaccess memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (8)

1.一种图像处理方法，其特征在于，所述方法包括：

获取针对目标拍摄对象的双目图像对；所述双目图像对包括：第一彩色视图和第二黑白视图；

基于所述第一彩色视图中像素点的颜色值，计算所述第二黑白视图中的各个像素点的第一候选颜色值；

基于所述第二黑白视图中的目标像素点的第一候选颜色值，计算所述第二黑白视图中遮挡像素点的第二候选颜色值；所述遮挡像素点为所述第二黑白视图中与所述第一彩色视图存在视差缺失的像素点；所述目标像素点为与所述遮挡像素点的亮度值相匹配的像素点；

根据所述遮挡像素点的第二候选颜色值，以及所述第二黑白视图中除所述遮挡像素点以外的其他像素点的第一候选颜色值，对所述第二黑白视图进行着色，得到目标图像；

所述基于所述第二黑白视图中的目标像素点的第一候选颜色值，计算所述第二黑白视图中遮挡像素点的第二候选颜色值，包括：

基于所述第二黑白视图中各个像素点的亮度值，确定所述遮挡像素点；

将所述第二黑白视图进行分块处理，得到相互不重叠的X个第二图像块，每个所述第二图像块至少包括一个所述遮挡像素点；

基于所述第二图像块中各个像素点的亮度值，在所述第二黑白视图中查找与所述遮挡像素点对应的所述目标像素点；

根据所述目标像素点对应的第一候选颜色值和第二权重值，计算所述第二黑白视图中遮挡像素点的第二候选颜色值。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一彩色视图中像素点的颜色值，计算所述第二黑白视图中的各个像素点的第一候选颜色值，包括：

将所述第二黑白视图进行分块处理，得到相互重叠的N个第一图像块；

在所述第一彩色视图中确定每个所述第一图像块对应的彩色图像块；

分别基于每个所述彩色图像块中像素点的颜色值，获取各自对应的所述第一图像块中像素点的第三候选颜色值；

基于各个所述第一图像块中像素点的第三候选颜色值，确定出所述第二黑白视图中的各个像素点的第一候选颜色值。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一彩色视图中像素点的颜色值，计算所述第二黑白视图中的各个像素点的第一候选颜色值，包括：

针对所述第二黑白视图中的采样像素点，确定与所述采样像素点匹配的K个彩色图像块；

确定所述采样像素点所对应的K个第三候选颜色值，其中，每个所述第三候选颜色值分别对应K个所述彩色图像块中的一个图像块；

对所述K个第三候选颜色值进行加权平均，得到所述采样像素点的第一候选颜色值。

4.根据权利要求1所述的方法，其特征在于，所述基于所述第二图像块中各个像素点的亮度值，在所述第二黑白视图中查找与所述遮挡像素点对应的所述目标像素点，包括：

对每个所述第二图像块中各个像素点的亮度值进行排序，并按照所述排序计算任一相邻的像素点间的亮度差值；

如果任一相邻的像素点间的亮度差值大于预置亮度梯度阈值，则将所述任一相邻的像素点划分为不同的亮度等级；

按照所述第二黑白视图中的每个像素点的亮度等级，确定出目标像素点；

其中，所述目标像素点不属于所述遮挡像素点、且所述目标像素点与所述遮挡像素点所属的亮度等级相同。

5.一种图像处理装置，其特征在于，所述装置包括：获取单元、第一计算单元、第二计算单元、着色单元；

所述获取单元，用于获取针对目标拍摄对象的双目图像对；所述双目图像对包括：第一彩色视图和第二黑白视图；

所述第一计算单元，用于基于所述第一彩色视图中像素点的颜色值，计算所述第二黑白视图中的各个像素点的第一候选颜色值；

所述第二计算单元，用于基于所述第二黑白视图中的目标像素点的第一候选颜色值，计算所述第二黑白视图中遮挡像素点的第二候选颜色值；所述遮挡像素点为所述第二黑白视图中与所述第一彩色视图存在视差缺失的像素点；所述目标像素点为与所述遮挡像素点的亮度值相匹配的像素点；

所述着色单元，用于根据所述遮挡像素点的第二候选颜色值，以及所述第二黑白视图中除所述遮挡像素点以外的其他像素点的第一候选颜色值，对所述第二黑白视图进行着色，得到目标图像；

所述第二计算单元，具体用于：

基于所述第二黑白视图中各个像素点的亮度值，确定所述遮挡像素点；

将所述第二黑白视图进行分块处理，得到相互不重叠的X个第二图像块，每个所述第二图像块至少包括一个所述遮挡像素点；

基于所述第二图像块中各个像素点的亮度值，在所述第二黑白视图中查找与所述遮挡像素点对应的所述目标像素点；

根据所述目标像素点对应的第一候选颜色值和第二权重值，计算所述第二黑白视图中遮挡像素点的第二候选颜色值。

6.根据权利要求5所述的装置，其特征在于，所述第一计算单元，具体用于：

将所述第二黑白视图进行分块处理，得到相互重叠的N个第一图像块；

在所述第一彩色视图中确定每个所述第一图像块对应的彩色图像块；

分别基于每个所述彩色图像块中像素点的颜色值，获取各自对应的所述第一图像块中像素点的第三候选颜色值；

基于各个所述第一图像块中像素点的第三候选颜色值，确定出所述第二黑白视图中的各个像素点的第一候选颜色值。

7.根据权利要求6所述的装置，其特征在于，所述第一计算单元，具体用于：

针对所述第二黑白视图中的采样像素点，确定与所述采样像素点匹配的K个彩色图像块；

确定所述采样像素点所对应的K个第三候选颜色值，其中，每个所述第三候选颜色值分别对应K个所述彩色图像块中的一个图像块；

对所述K个第三候选颜色值进行加权平均，得到所述采样像素点的第一候选颜色值。

8.根据权利要求6所述的装置，其特征在于，所述第二计算单元，具体用于：

对每个所述第二图像块中各个像素点的亮度值进行排序，并按照所述排序计算任一相邻的像素点间的亮度差值；

如果任一相邻的像素点间的亮度差值大于预置亮度梯度阈值，则将所述任一相邻的像素点划分为不同的亮度等级；

按照所述第二黑白视图中的每个像素点的亮度等级，确定出目标像素点；

其中，所述目标像素点不属于所述遮挡像素点、且所述目标像素点与所述遮挡像素点所属的亮度等级相同。

Images