CN109005343A - 控制方法、装置、成像设备、电子设备及可读存储介质 - Google Patents

Abstract

本申请提出一种控制方法、装置、成像设备、电子设备及可读存储介质，其中，方法应用于成像设备，成像设备包括彩色摄像头和黑白摄像头，控制方法包括：控制彩色摄像头拍摄得到高动态范围的彩色图像；控制黑白摄像头拍摄得到低动态范围的黑白图像；对黑白图像与彩色图像进行合成，得到目标图像。该方法能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

Description

控制方法、装置、成像设备、电子设备及可读存储介质

技术领域

本申请涉及电子设备技术领域，尤其涉及一种控制方法、装置、成像设备、电子设备及可读存储介质。

背景技术

随着终端技术以及图像处理技术的不断发展，人们对于拍摄图像的质量的需求越来越高。在某些场景下，在对移动物体进行拍照时，由于曝光时间不同，画面中移动物体的边缘容易出现错位或者模糊的情况。

相关技术中，通过使用两个彩色摄像头分别拍摄长曝光时间和短曝光时间的两帧曝光图像，而后将两帧曝光图像进行合成，来避免移动物体的边缘出现错位或者模糊的情况。

但是，在实际应用时申请人发现，在被摄物体移动的情况下，由于曝光时长不同，长曝光时间的曝光图像中的移动物体边缘会有较长的拖影，当通过图像合成技术将两帧曝光图像进行合成后，可能发生合成图像中细节丢失或者模糊的情况，使得合成图像质量较低。

发明内容

本申请提出一种控制方法、装置、成像设备、电子设备及可读存储介质，以实现同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

本申请一方面实施例提出了一种控制方法，应用于成像设备，所述成像设备包括彩色摄像头和黑白摄像头，所述控制方法包括：

控制所述彩色摄像头拍摄得到高动态范围的彩色图像；

控制所述黑白摄像头拍摄得到低动态范围的黑白图像；

对所述黑白图像与所述彩色图像进行合成，得到目标图像。

本申请实施例的控制方法，首先通过控制彩色摄像头拍摄得到高动态范围的彩色图像，能够减少噪声，并清楚地显示当前的拍摄场景，提升成像效果和成像质量。而后通过控制黑白摄像头拍摄得到黑白图像，能够更好地保留图像的边缘和细节。最后通过对黑白图像与彩色图像进行合成，得到目标图像，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

本申请又一方面实施例提出了一种控制装置，应用于成像设备，所述成像设备包括彩色摄像头和黑白摄像头，所述控制装置包括：

第一控制模块，用于控制所述彩色摄像头拍摄得到高动态范围的彩色图像；

第二控制模块，用于控制所述黑白摄像头拍摄得到低动态范围的黑白图像；

合成模块，用于对所述黑白图像与所述彩色图像进行合成，得到目标图像。

本申请实施例的控制装置，首先通过控制彩色摄像头拍摄得到高动态范围的彩色图像，能够减少噪声，并清楚地显示当前的拍摄场景，提升成像效果和成像质量。而后通过控制黑白摄像头拍摄得到黑白图像，能够更好地保留图像的边缘和细节。最后通过对黑白图像与彩色图像进行合成，得到目标图像，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

本申请又一方面实施例提出了一种成像设备，所述成像设备包括彩色摄像头和黑白摄像头，所述成像设备还包括处理器，所述处理器用于：

控制所述彩色摄像头拍摄得到高动态范围的彩色图像；

控制所述黑白摄像头拍摄得到低动态范围的黑白图像；

对所述黑白图像与所述彩色图像进行合成，得到目标图像。

本申请实施例的成像设备，首先通过控制彩色摄像头拍摄得到高动态范围的彩色图像，能够减少噪声，并清楚地显示当前的拍摄场景，提升成像效果和成像质量。而后通过控制黑白摄像头拍摄得到黑白图像，能够更好地保留图像的边缘和细节。最后通过对黑白图像与彩色图像进行合成，得到目标图像，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

本申请又一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请前述实施例提出的控制方法。

本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的控制方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的控制方法的流程示意图；

图2为本申请实施例二所提供的控制方法的流程示意图；

图3为本申请实施例三所提供的控制方法的流程示意图；

图4为本申请实施例中彩色摄像头拍摄得到的图像示意图；

图5为本申请实施例中的彩色图像示意图；

图6为本申请实施例中的黑白图像示意图；

图7为本申请实施例中调整后的黑白图像示意图；

图8为本申请实施例四所提供的控制方法的流程示意图；

图9为本申请实施例五所提供的控制方法的流程示意图；

图10为本申请实施六所提供的控制方法的流程示意图；

图11为本申请实施例七所提供的控制装置的结构示意图；

图12为本申请实施例八所提供的控制装置的结构示意图；

图13为本申请实施例九所提供的电子设备的结构示意图；

图14是本申请某些实施方式的电子设备的模块示意图；

图15是本申请某些实施方式的图像处理电路的模块示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请主要针对现有技术中通过图像合成技术将两帧曝光图像进行合成后，可能发生合成图像中细节丢失或者模糊的情况，使得合成图像质量较低的技术问题，提供一种控制方法。

本申请实施例的控制方法，首先通过控制彩色摄像头拍摄得到高动态范围的彩色图像，能够减少噪声，并清楚地显示当前的拍摄场景，提升成像效果和成像质量。而后通过控制黑白摄像头拍摄得到黑白图像，能够更好地保留图像的边缘和细节。最后通过对黑白图像与彩色图像进行合成，得到目标图像，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

下面参考附图描述本申请实施例的控制方法、装置、成像设备、电子设备及可读存储介质。

图1为本申请实施例一所提供的控制方法的流程示意图。

本申请实施例的控制方法，应用于成像设备，成像设备包括彩色摄像头和黑白摄像头。

如图1所示，该控制方法包括以下步骤：

步骤101，控制彩色摄像头拍摄得到高动态范围的彩色图像。

本申请实施例中，为了减少图像中的噪声，从而提升图像的清晰度和对比度，本申请中，可以控制彩色摄像头拍摄得到高动态范围的彩色图像，从而通过该高动态范围的彩色图像，能够减少噪声，并清楚地显示当前的拍摄场景，提升成像效果和成像质量。

步骤102，控制黑白摄像头拍摄得到低动态范围的黑白图像。

本申请实施例中，由于黑白摄像头的进光量高于彩色摄像头，例如现有的黑白摄像头的进光量为彩色摄像头的四倍，因此，为了较多地保留图像的边缘和细节，本申请中，可以控制黑白摄像头拍摄得到低动态范围的黑白图像，从而使得黑白图像能够更好地保留图像的边缘和细节。

步骤103，对黑白图像与彩色图像进行合成，得到目标图像。

本申请实施例中，可以对黑白图像与彩色图像进行合成，得到目标图像。由此，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

作为一种可能的实现方式，可以确定彩色图像中的每个像素，以及确定黑白图像中与彩色图像中的每个像素对应的像素，而后以黑白图像为主体，将彩色图像中每个像素的颜色贴图至黑白图像中对应的像素上，即可得到目标图像。

作为另一种可能的实现方式，可以确定彩色图像中的每个像素，以及确定黑白图像中与彩色图像中的每个像素对应的像素，而后以彩色图像为主体，将黑白图像上每个像素的光强，补偿到彩色图像对应的像素上，即可得到目标图像。

本申请实施例的控制方法，首先通过控制彩色摄像头拍摄得到高动态范围的彩色图像，能够减少噪声，并清楚地显示当前的拍摄场景，提升成像效果和成像质量。而后通过控制黑白摄像头拍摄得到低动态范围的黑白图像，能够更好地保留图像的边缘和细节。最后通过对黑白图像与彩色图像进行合成，得到目标图像，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

作为一种可能的实现方式，为了提升合成的目标图像的质量，本申请实施例中，可以根据彩色摄像头和黑白摄像头的视角差异，对黑白图像进行视角调整。下面结合图2，对上述过程进行详细说明。

图2为本申请实施例二所提供的控制方法的流程示意图。

如图2所示，该控制方法可以包括以下步骤：

步骤201，控制彩色摄像头拍摄得到高动态范围的彩色图像。

步骤202，控制黑白摄像头拍摄得到低动态范围的黑白图像。

步骤201-202的执行过程可以参见上述实施例中步骤101-102的执行过程，在此不做赘述。

步骤203，根据彩色摄像头和黑白摄像头的视角差异，对黑白图像进行视角调整。

可以理解的是，由于彩色摄像头和黑白摄像头的安装位置不同，因而彩色摄像头和黑白摄像头存在视角差异。为了提升后续合成的目标图像的质量，本申请实施例中，可以根据彩色摄像头和黑白摄像头的视角差异，对黑白图像进行视角调整。

作为一种可能的实现方式，为了提升图像的处理效率，可以仅针对黑白图像与彩色图像中画面内容相同的图像区域进行视角调整。具体地，可以根据彩色摄像头和黑白摄像头的视角差异，从黑白图像中保留画面内容与彩色图像的画面内容相同的图像区域，而后对图像区域中的像素进行调整得到调整后的黑白图像；其中，调整后的黑白图像中的像素与彩色图像中的像素一一对应。

具体而言，可以利用图像识别技术，根据视角差异，从黑白图像中保留画面内容与彩色图像的画面内容相同的图像区域，例如，可以根据视角差异，对黑白图像中的画面内容进行特征提取，并对彩色图像中的画面内容进行特征提取，而后将提取的特征进行比较，从而可以确定黑白图像中画面内容与彩色图像的画面内容相同的图像区域，而后对图像区域中的像素进行调整，使得调整后的黑白图像中的像素的视角和位置，与彩色图像中的像素一一对应。

本申请实施例中，根据彩色摄像头和黑白摄像头的视角差异，对黑白图像进行视角调整，能够提升调整后的黑白图像与彩色图像的匹配度，从而提升后续合成图像的质量。

步骤204，将调整后的黑白图像与彩色图像进行合成，得到目标图像。

本申请实施例中，在对黑白图像进行视角调整后，可以将调整后的黑白图像与彩色图像进行合成，得到目标图像。由此，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

作为一种可能的实现方式，可以确定彩色图像中的每个像素，以及确定调整后的黑白图像中与彩色图像中的每个像素对应的像素，而后以视角调整后的黑白图像为主体，将彩色图像中每个像素的颜色贴图至调整后的黑白图像中对应的像素上，即可得到目标图像。

作为另一种可能的实现方式，可以确定彩色图像中的每个像素，以及确定调整后的黑白图像中与彩色图像中的每个像素对应的像素，而后以彩色图像为主体，将调整后的黑白图像上每个像素的光强，补偿到彩色图像对应的像素上，即可得到目标图像。

本申请实施例的控制方法，首先通过控制彩色摄像头拍摄得到高动态范围的彩色图像，能够减少噪声，并清楚地显示当前的拍摄场景，提升成像效果和成像质量。而后通过控制黑白摄像头拍摄得到低动态范围的黑白图像，能够更好地保留图像的边缘和细节。接着通过根据彩色摄像头和黑白摄像头的视角差异，对黑白图像进行视角调整，能够提升调整后的黑白图像与彩色图像的匹配度，从而提升后续合成图像的质量。最后通过将调整后的黑白图像与彩色图像进行合成，得到目标图像，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

为了清楚说明上一实施例，本实施例提供了另一种控制方法，图3为本申请实施例三所提供的控制方法的流程示意图。

如图3所示，该控制方法可以包括以下步骤：

步骤301，根据长曝光时长、短曝光时长和中曝光时长控制彩色摄像头进行拍摄，得到彩色图像。

其中，长曝光时长大于中曝光时长，中曝光时长大于短曝光时长，即长曝光时长>中曝光时长>短曝光时长。长曝光时长、短曝光时长和中曝光时长可以预设在电子设备的内置程序中，或者也可以由用户进行设置，对此不作限制。

可选地，可以控制彩色摄像头分别采用长曝光时长、短曝光时长和中曝光时长进行拍摄，得到包含至少一帧长曝光图像、至少一帧中曝光图像和至少一帧短曝光图像，例如，参见图4，图4为本申请实施例中彩色摄像头拍摄得到的图像示意图。其中，彩色摄像头分别采集了一帧长曝光图像、一帧中曝光图像和一帧短曝光图像。而后可以根据采集得到的图像中的至少两帧图像，得到彩色图像。例如，可以将图4中的三帧图像进行合成，得到的彩色图像可以如图5所示。

步骤302，控制黑白摄像头采用中曝光时长进行拍摄，得到低动态范围的黑白图像。

本申请实施例中，为了保留较多的图像细节，可以控制黑白摄像头采用中曝光时长进行拍摄，得到低动态范围的黑白图像。例如，黑白摄像头拍摄得到的黑白图像可以如图6所示。

步骤303，根据视角差异，从黑白图像中保留画面内容与彩色图像的画面内容相同的图像区域。

为了提升图像的处理效率，可以仅针对黑白图像与彩色图像中画面内容相同的图像区域进行视角调整。具体地，可以根据彩色摄像头和黑白摄像头的视角差异，从黑白图像中保留画面内容与彩色图像的画面内容相同的图像区域。

具体而言，可以利用图像识别技术，根据视角差异，从黑白图像中保留画面内容与彩色图像的画面内容相同的图像区域，例如，可以根据视角差异，对黑白图像中的画面内容进行特征提取，并对彩色图像中的画面内容进行特征提取，而后将提取的特征进行比较，从而可以确定黑白图像中画面内容与彩色图像的画面内容相同的图像区域。

步骤304，对图像区域中的像素进行调整得到调整后的黑白图像；其中，调整后的黑白图像中的像素与彩色图像中的像素一一对应。

本申请实施例中，可以对图像区域中的像素进行调整，使得调整后的黑白图像中的像素的视角和位置，与彩色图像中的像素一一对应。

举例而言，针对图5中的彩色图像和图6中的黑白图像，可以首先确定黑白图像中与彩色图像中画面内容相同的图像区域，对图像区域中的像素进行调整，得到的黑白图像可以如图7所示，图7为本申请实施例中调整后的黑白图像示意图。可知，调整后的黑白图像与彩色图像更匹配。

步骤305，将调整后的黑白图像与彩色图像进行合成，得到目标图像。

步骤305的执行过程可以参见上述实施例中步骤204的执行过程，在此不做赘述。

本申请实施例的控制方法，通过首先通过彩色摄像头拍摄高动态范围的彩色图像，能够减少噪声，并清楚地显示当前的拍摄场景，提升成像效果和成像质量。而后通过黑白摄像头拍摄得到低动态范围的黑白图像，能够更好地保留图像的边缘和细节。接着通过根据彩色摄像头和黑白摄像头的视角差异，对黑白图像进行视角调整，能够提升调整后的黑白图像与彩色图像的匹配度，从而提升后续合成图像的质量。最后通过将调整后的黑白图像与彩色图像进行合成，得到目标图像，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

作为一种可能的实现方式，彩色摄像头包括由多个感光像素单元组成的像素单元阵列，每个感光像素单元包括同色滤光片覆盖的多个感光像素；多个感光像素，用于输出原始像素信息，包括至少一个长曝光像素、至少一个中曝光像素和至少一个短曝光像素，则参见图8，在图3所示实施例的基础上，步骤301具体可以包括以下子步骤：

步骤401，控制像素单元阵列输出分别处于不同曝光时间下的多个原始像素信息。

本申请实施例中，像素单元阵列中的每个感光像素单元包括至少一个长曝光像素、至少一个中曝光像素和至少一个短曝光像素，其中，长曝光像素指的是感光像素对应的曝光时间为长曝光时间，中曝光像素指的是感光像素对应的曝光时间为中曝光时间，短曝光像素指的是感光像素对应的曝光时间为短曝光时间，长曝光时间>中曝光时间>短曝光时间，即长曝光像素的长曝光时间大于中曝光像素的中曝光时间，且中曝光像素的中曝光时间大于短曝光像素的短曝光时间。在成像设备工作时，长曝光像素、中曝光像素及短曝光像素同步曝光，同步曝光指的是中曝光像素及短曝光像素的曝光进行时间位于长曝光像素的曝光进行时间以内。

具体地，可以首先控制长曝光像素最先开始曝光，在长曝光像素的曝光期间内，再控制中曝光像素以及短曝光像素曝光，其中，中曝光像素和短曝光像素的曝光截止时间应与长曝光像素的曝光截止时间相同或位于长曝光像素的曝光截止时间之前；或者，控制长曝光像素、中曝光像素以及短曝光像素同时开始曝光，即长曝光像素、中曝光像素以及短曝光像素的曝光起始时间相同。如此，无需控制像素单元阵列依次进行长曝、中曝和短曝，可减小彩色图像的拍摄时间。

成像设备首先控制像素单元阵列中的每个感光像素单元中的长曝光像素、中曝光像素及短曝光像素同步曝光，其中长曝光像素对应的曝光时间为初始长曝光时间，中曝光像素对应的曝光时间为初始中曝光时间，短曝光像素对应的曝光时间为初始短曝光时间，初始长曝光时间、初始中曝光时间及初始短曝光时间均为预先设定好的。曝光结束后，像素单元阵列中的每个感光像素单元将输出分别处于不同曝光时间下的多个原始像素信息。

步骤402，根据同一感光像素单元中曝光时间相同的原始像素信息计算得到合并像素信息。

步骤403，根据合并像素信息输出彩色图像。

例如，当每个感光像素单元中包括1个长曝光像素、2个中曝光像素、1个短曝光像素时，唯一的长曝光像素的原始像素信息即为长曝光的合并像素信息，2个中曝光像素的原始像素信息之和即为中曝光的合并像素信息，唯一的短曝光像素的原始像素信息即为短曝光的合并像素信息；当每个感光像素单元中包括2个长曝光像素、4个中曝光像素、2个短曝光像素时，2个长曝光像素的原始像素信息之和即为长曝光的合并像素信息，4个中曝光像素的原始像素信息之和即为中曝光的合并像素信息，2个短曝光像素的原始像素信息之和即为短曝光的合并像素信息。如此，可以获得整个像素单元阵列的多个长曝光的合并像素信息、多个中曝光的合并像素信息、多个短曝光的合并像素信息。

而后，再根据多个长曝光的合并像素信息插值计算得到长曝光子图像，根据多个中曝光的合并像素信息插值计算得到中曝光子图像，根据多个短曝光的合并像素信息插值计算得到短曝光子图像。最后，将长曝光子图像、中曝光子图像和短曝光子图像融合处理得到高动态范围的彩色图像，其中，长曝光子图像、中曝光子图像和短曝光子图像并非为传统意义上的三帧图像，而是同一帧图像中长、短、中曝光像素对应区域形成的图像部分。

或者，在像素单元阵列曝光结束后，可以以长曝光像素输出的原始像素信息为基准，将短曝光像素的原始像素信息和中曝光像素的原始像素信息叠加到长曝光像素的原始像素信息上。具体地，针对同一感光像素单元，可以对三种不同曝光时间的原始像素信息分别赋予不同的权值，在各曝光时间对应的原始像素信息与权值相乘后，再将三种乘以权值后的原始像素信息相加作为一个感光像素单元的合成像素信息。随后，由于根据三种不同曝光时间的原始像素信息计算得到的每一个合成像素信息的灰度级别会产生变化，因此，在得到合成像素信息后需要对每一个合成像素信息做灰度级别的压缩。压缩完毕后，可以根据多个压缩完毕后得到的合成像素信息进行插值计算即可得到彩色图像。如此，彩色图像中暗部已经由长曝光像素输出的原始像素信息进行补偿，亮部已经由短曝光像素输出的原始像素信息进行压制，因此，彩色图像不存在过曝区域及欠曝区域，具有较高的动态范围和较佳的成像效果。

进一步地，为进一步改善彩色图像的成像质量，在长曝光像素、中曝光像素及短曝光像素分别根据初始长曝光时间、初始中曝光时间及初始短曝光时间同步曝光后，可以首先根据长曝光像素输出的原始像素信息计算长曝光直方图，根据短曝光像素输出的原始像素信息计算短曝光直方图，并根据长曝光直方图修正初始长曝光时间得到修正长曝光时间，根据短曝光直方图修正初始短曝光时间得到修正短曝光时间。随后，再控制长曝光像素、中曝光像素及短曝光像素分别根据修正长曝光时间、初始中曝光时间及修正短曝光时间同步曝光。其中，修正过程并非一步到位，而是成像设备需要进行多次长、中、短的同步曝光，在每一次的同步曝光后，成像设备会根据生成的长曝光直方图和短曝光直方图继续修正长曝光时间和短曝光时间，并在下一次曝光时采用上一时刻修正好的修正长曝光时间、修正短曝光时间以及原始中曝光时间进行同步曝光，继续获取长曝光直方图和短曝光直方图，如此周而复始，直至长曝光直方图对应的图像中不存在欠曝区域、短曝光直方图对应的图像中不存在过曝区域为止，此时的修正长曝光时间和修正短曝光时间即为最终的修正长曝光时间和修正短曝光时间。曝光结束后再根据长曝光像素、中曝光像素和短曝光像素的输出进行彩色图像的计算，该计算方式与上一实施方式中的计算方式相同，在此不再赘述。

其中，长曝光直方图可以为一个或多个。长曝光直方图为一个时，可以根据所有长曝光像素输出的原始像素信息生成一个长曝光直方图。长曝光直方图为多个时，可以对长曝光像素划分区域，并根据每个区域中的多个长曝光像的原始像素信素生成一个长曝光直方图，如此，多个区域对应多个长曝光直方图。划分区域的作用是可以提升每一次修正的长曝光时间的准确性，加快长曝光时间的修正进程。同样地，短曝光直方图可以为一个或多个。短曝光直方图为一个时，可以根据所有短曝光像素输出的原始像素信息生成一个短曝光直方图。短曝光直方图为多个时，可以对短曝光像素划分区域，并根据每个区域中的多个短曝光像素的原始像素信息生成一个短曝光直方图，如此，多个区域对应多个短曝光直方图。划分区域的作用是可以提升每一次修正的短曝光时间的准确性，加快短曝光时间的修正进程。

作为一种可能的实现方式，参见图9，在图8所示实施例的基础上，步骤402具体可以包括以下子步骤：

步骤501，在同一感光像素单元中，选取长曝光像素的原始像素信息、短曝光像素的原始像素信息或中曝光像素的原始像素信息。

本申请实施例中，在同一感光像素单元中，选取长曝光像素的原始像素信息、短曝光像素的原始像素信息或中曝光像素的原始像素信息，即从长曝光像素的原始像素信息、短曝光像素的原始像素信息或中曝光像素的原始像素信息中，选取一个原始像素信息。

例如，当一个感光像素单元中包括1个长曝光像素、2个中曝光像素、1个短曝光像素，且长曝光像素的原始像素信息为80，两个中曝光像素的原始像素信息为255，短曝光像素的原始像素信息为255时，由于255为原始像素信息的上限，因此，选取的可以为长曝光像素的原始像素信息：80。

步骤502，根据选取的原始像素信息，以及长曝光时间、中曝光时间和短曝光时间之间的曝光比，计算得到合并像素信息。

仍以上述例子示例，假设长曝光时间、中曝光时间和短曝光时间之间的曝光比为：16:4:1，则合并像素信息为：80*16＝1280。

由于现有技术中原始像素信息的上限为255，通过根据选取的原始像素信息，以及长曝光时间、中曝光时间和短曝光时间之间的曝光比，计算得到合并像素信息，可以扩展动态范围，得到高动态范围图像，从而提升彩色图像的成像效果。

作为另一种可能的实现方式，彩色摄像头包括由多个感光像素单元组成的像素单元阵列，每个感光像素单元包括输出原始像素信息的多个感光像素；则参见图10，在图3所示实施例的基础上，步骤301具体可以包括以下子步骤：

步骤601，控制像素单元阵列采用不同曝光时长分别进行多次曝光。

本申请实施例中，以不同曝光时长，控制像素单元阵列进行多次曝光，例如可以以长曝光时长、中曝光时长、短曝光时长，控制控制像素单元阵列进行3次曝光。其中，各曝光时长可以预设在电子设备的内置程序中，或者，还可以由用户进行设置，以提升该控制方法的灵活性及适用性。

步骤602，在每一次曝光时，控制像素单元阵列的感光像素采用相同曝光时间曝光，输出得到多个原始像素信息。

本申请实施例中，在每一次曝光时，像素单元阵列中的感光像素所采用的曝光时间相同，例如，以长曝光时间控制像素单元阵列进行曝光时，像素单元阵列的感光像素均采用相同的长曝光时间曝光。在每次曝光结束后，像素单元阵列中的每个感光像素单元将输出处于对应曝光时间下的多个原始像素信息。

步骤603，根据每一次曝光得到的多个原始像素信息，得到一帧曝光图像。

本申请实施例中，曝光时长不同，例如长曝光时长、中曝光时长或短曝光时长，各感光像素单元输出的原始像素信息不同，针对同一次曝光，可以根据各感光像素单元输出的原始像素信息，生成一帧曝光图像，例如，生成长曝光图像、中曝光图像、短曝光图像。其中，同一帧曝光图像的像素单元阵列的曝光时间相同，即长曝光图像的不同感光像素单元的曝光时间相同，中曝光图像的不同感光像素单元的曝光时间相同，短曝光图像的不同感光像素的曝光时间相同。

步骤604，对各帧曝光图像进行合成，得到彩色图像。

本申请实施例中，在得到采用不同曝光时长生成的曝光图像后，可以对对采用不同曝光时长曝光生成的曝光图像进行合成，得到彩色图像。例如，针对不同曝光时长生成的曝光图像，可以分别赋予不同的权值，而后根据各曝光图像对应的权值，对采用不同曝光时长生成的曝光图像进行合成，得到彩色图像。其中，不同曝光时长生成的曝光图像对应的权值可以预设在电子设备的内置程序中，或者可以由用户进行设置，对此不作限制。

例如，当分别以长曝光时长、中曝光时长和短曝光时长，控制像素单元阵列进行三次曝光后，根据各感光像素单元输出的原始像素信息，生成长曝光图像、中曝光图像、短曝光图像。而后根据预先设置的长曝光图像、中曝光图像、短曝光图像对应的权值，对长曝光图像、中曝光图像、短曝光图像进行合成，可以得到高动态范围的彩色图像。

需要说明的是，上述利用三帧曝光图像合成高动态范围的彩色图像的方法仅为示例，在其他实施方式中，曝光图像的数量也可以为两帧、四帧、五帧、六帧等，在此不做具体限定。例如，当曝光图像的数量为两帧时，可以控制像素单元阵列分别采用长曝光时长和短曝光时长进行两次曝光，或者控制像素单元阵列分别采用中曝光时长和短曝光时长进行两次曝光，或者控制像素单元阵列分别采用长曝光时长和中曝光时长进行两次曝光。

为了实现上述实施例，本申请还提出一种控制装置。

图11为本申请实施例七所提供的控制装置的结构示意图。

如图11所示，该控制装置100包括：第一控制模块110、第二控制模块120，以及合成模块130。其中，

第一控制模块110，用于控制彩色摄像头拍摄得到高动态范围的彩色图像。

作为一种可能的实现方式，第一控制模块110，具体用于：根据长曝光时长、短曝光时长和中曝光时长控制彩色摄像头进行拍摄，得到彩色图像。

第二控制模块120，用于控制黑白摄像头拍摄得到低动态范围的黑白图像。

作为一种可能的实现方式，第二控制模块120，具体用于：控制黑白摄像头采用中曝光时长进行拍摄，得到低动态范围的黑白图像。

合成模块130，用于对黑白图像与彩色图像进行合成，得到目标图像。

进一步地，在本申请实施例的一种可能的实现方式中，参见图11，在图10所示实施例的基础上，该控制装置100还可以包括：

调整模块140，用于在所述对所述黑白图像与所述彩色图像进行合成之前，根据彩色摄像头和黑白摄像头的视角差异，对黑白图像进行视角调整。

作为一种可能的实现方式，黑白摄像头的视场角大于彩色摄像头的视场角，调整模块140，包括：

保留子模块141，用于根据视角差异，从黑白图像中保留画面内容与彩色图像的画面内容相同的图像区域。

调整子模块142，用于对图像区域中的像素进行调整得到调整后的黑白图像；其中，调整后的黑白图像中的像素与彩色图像中的像素一一对应。

作为一种可能的实现方式，彩色摄像头包括由多个感光像素单元组成的像素单元阵列，每个感光像素单元包括同色滤光片覆盖的多个感光像素；多个感光像素，用于输出原始像素信息，包括至少一个长曝光像素、至少一个中曝光像素和至少一个短曝光像素。

第一控制模块110，包括：

控制子模块111，用于控制像素单元阵列输出分别处于不同曝光时间下的多个原始像素信息；其中，长曝光像素的长曝光时长大于中曝光像素的中曝光时长，且中曝光像素的中曝光时长大于短曝光像素的短曝光时长。

计算子模块112，用于根据同一感光像素单元中曝光时间相同的原始像素信息计算得到合并像素信息。

处理子模块113，用于根据合并像素信息输出彩色图像。

作为一种可能的实现方式，计算子模块112，包括：

选取单元1121，用于在同一感光像素单元中，选取长曝光像素的原始像素信息、短曝光像素的原始像素信息或中曝光像素的原始像素信息。

计算单元1122，用于根据选取的原始像素信息，以及长曝光时间、中曝光时间和短曝光时间之间的曝光比，计算得到合并像素信息。

作为一种可能的实现方式，彩色摄像头包括由多个感光像素单元组成的像素单元阵列，每个感光像素单元包括输出原始像素信息的多个感光像素。

控制子模块111，还用于：控制像素单元阵列采用不同曝光时长分别进行多次曝光，以及在每一次曝光时，控制像素单元阵列的感光像素采用相同曝光时间曝光，输出得到多个原始像素信息。

计算子模块112，还用于：根据每一次曝光得到的多个原始像素信息，得到一帧曝光图像。

处理子模块113，还用于：对各帧曝光图像进行合成，得到彩色图像。

需要说明的是，前述对控制方法实施例的解释说明也适用于该实施例的控制装置100，此处不再赘述。

本申请实施例的控制装置，首先通过控制彩色摄像头拍摄得到高动态范围的彩色图像，能够减少噪声，并清楚地显示当前的拍摄场景，提升成像效果和成像质量。而后通过控制黑白摄像头拍摄得到黑白图像，能够更好地保留图像的边缘和细节。最后通过对黑白图像与彩色图像进行合成，得到目标图像，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

为了实现上述实施例，本申请还提出一种成像设备。

图13为本申请实施例九所提供的成像设备的结构示意图。

如图13所示，成像设备包括彩色摄像头10和黑白摄像头20，成像设备还包括处理器30，处理器30用于：

控制彩色摄像头10拍摄得到高动态范围的彩色图像；

控制黑白摄像头20拍摄得到低动态范围的黑白图像；

对黑白图像与彩色图像进行合成，得到目标图像。

本申请实施例的成像设备，首先通过控制彩色摄像头拍摄得到高动态范围的彩色图像，能够减少噪声，并清楚地显示当前的拍摄场景，提升成像效果和成像质量。而后通过控制黑白摄像头拍摄得到黑白图像，能够更好地保留图像的边缘和细节。最后通过对黑白图像与彩色图像进行合成，得到目标图像，能够同时保留目标图像的高动态范围，以及目标图像的边缘和细节，从而避免移动物体的边缘出现错位或者模糊的情况，改善用户的拍摄体验。

为了实现上述实施例，本申请还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本申请前述实施例提出的控制方法。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的控制方法。

请参阅图14，本申请还提供一种电子设备200。电子设备200包括存储器50和处理器60。存储器50中存储有计算机可读指令。计算机可读指令被存储器50执行时，使得处理器60执行上述任一实施方式的控制方法。

图14为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过***总线81连接的处理器60、存储器50(例如为非易失性存储介质)、内存储器82、显示屏83和输入装置84。其中，电子设备200的存储器50存储有操作***和计算机可读指令。该计算机可读指令可被处理器60执行，以实现本申请实施方式的控制方法。该处理器60用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器50为存储器52中的计算机可读指令的运行提供环境。电子设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

请参阅图15，本申请实施例的电子设备200中包括图像处理电路90，图像处理电路90可利用硬件和/或软件组件实现，包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图15为一个实施例中图像处理电路90的示意图。如图15所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图15所示，图像处理电路90包括ISP处理器91(ISP处理器91可为处理器60)和控制逻辑器92。摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像头93可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储到图像存储器95中。

ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供处理。图像存储器95可为存储器50、存储器50的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由CPU或GPU或协处理器实现。

ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。

例如，以下为运用图14中的处理器60或运用图15中的图像处理电路90(具体为ISP处理器91)实现控制方法的步骤：

控制彩色摄像头拍摄得到高动态范围的彩色图像；

控制黑白摄像头拍摄得到低动态范围的黑白图像；

对黑白图像与彩色图像进行合成，得到目标图像。

再例如，以下为运用图14中的处理器或运用图15中的图像处理电路90(具体为ISP处理器)实现控制方法的步骤：

根据视角差异，从黑白图像中保留画面内容与彩色图像的画面内容相同的图像区域；

对图像区域中的像素进行调整得到调整后的黑白图像；其中，调整后的黑白图像中的像素与彩色图像中的像素一一对应。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种控制方法，其特征在于，应用于成像设备，所述成像设备包括彩色摄像头和黑白摄像头，所述控制方法包括以下步骤：

控制所述彩色摄像头拍摄得到高动态范围的彩色图像；

控制所述黑白摄像头拍摄得到低动态范围的黑白图像；

对所述黑白图像与所述彩色图像进行合成，得到目标图像。

2.根据权利要求1所述的控制方法，其特征在于，所述对所述黑白图像与所述彩色图像进行合成之前，还包括：

根据所述彩色摄像头和所述黑白摄像头的视角差异，对所述黑白图像进行视角调整。

3.根据权利要求2所述的控制方法，其特征在于，所述黑白摄像头的视场角大于所述彩色摄像头的视场角，所述根据所述彩色摄像头和所述黑白摄像头的视角差异，对所述黑白图像进行视角调整，包括：

根据所述视角差异，从所述黑白图像中保留画面内容与所述彩色图像的画面内容相同的图像区域；

对所述图像区域中的像素进行调整得到调整后的黑白图像；其中，调整后的黑白图像中的像素与所述彩色图像中的像素一一对应。

4.根据权利要求1所述的控制方法，其特征在于，所述控制所述彩色摄像头拍摄得到高动态范围的彩色图像，包括：

根据长曝光时长、短曝光时长和中曝光时长控制所述彩色摄像头进行拍摄，得到所述彩色图像。

5.根据权利要求4所述的控制方法，其特征在于，所述彩色摄像头包括由多个感光像素单元组成的像素单元阵列，每个感光像素单元包括同色滤光片覆盖的多个感光像素；所述多个感光像素，用于输出原始像素信息，包括至少一个长曝光像素、至少一个中曝光像素和至少一个短曝光像素；

所述根据长曝光时长、短曝光时长和中曝光时长控制所述彩色摄像头进行拍摄，得到所述彩色图像，包括：

控制所述像素单元阵列输出分别处于不同曝光时间下的多个原始像素信息；其中，所述长曝光像素的长曝光时长大于所述中曝光像素的中曝光时长，且所述中曝光像素的中曝光时长大于所述短曝光像素的短曝光时长；

根据同一感光像素单元中曝光时间相同的所述原始像素信息计算得到合并像素信息；

根据所述合并像素信息输出所述彩色图像。

6.根据权利要求5所述的控制方法，其特征在于，所述根据同一感光像素单元中曝光时间相同的所述原始像素信息计算得到合并像素信息，包括：

在同一感光像素单元中，选取长曝光像素的原始像素信息、短曝光像素的原始像素信息或中曝光像素的原始像素信息；

根据选取的原始像素信息，以及所述长曝光时间、所述中曝光时间和所述短曝光时间之间的曝光比，计算得到所述合并像素信息。

7.根据权利要求4所述的控制方法，其特征在于，所述彩色摄像头包括由多个感光像素单元组成的像素单元阵列，每个感光像素单元包括输出原始像素信息的多个感光像素；

所述根据长曝光时长、短曝光时长和中曝光时长控制所述彩色摄像头进行拍摄，得到所述彩色图像，包括：

控制所述像素单元阵列采用不同曝光时长分别进行多次曝光；

在每一次曝光时，控制所述像素单元阵列的感光像素采用相同曝光时间曝光，输出得到多个原始像素信息；

根据每一次曝光得到的多个原始像素信息，得到一帧曝光图像；

对各帧曝光图像进行合成，得到所述彩色图像。

8.根据权利要求4所述的控制方法，其特征在于，所述控制所述黑白摄像头拍摄得到低动态范围的黑白图像，包括：

控制所述黑白摄像头采用所述中曝光时长进行拍摄，得到所述低动态范围的黑白图像。

9.一种控制装置，其特征在于，应用于成像设备，所述成像设备包括彩色摄像头和黑白摄像头，所述控制装置包括：

第一控制模块，用于控制所述彩色摄像头拍摄得到高动态范围的彩色图像；

第二控制模块，用于控制所述黑白摄像头拍摄得到低动态范围的黑白图像；

合成模块，用于对所述黑白图像与所述彩色图像进行合成，得到目标图像。

10.一种成像设备，其特征在于，所述成像设备包括彩色摄像头和黑白摄像头，所述成像设备还包括处理器，所述处理器用于：

控制所述彩色摄像头拍摄得到高动态范围的彩色图像；

控制所述黑白摄像头拍摄得到低动态范围的黑白图像；

对所述黑白图像与所述彩色图像进行合成，得到目标图像。

11.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的控制方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的控制方法。