CN115359105A - 景深扩展图像生成方法、设备及存储介质 - Google Patents

Abstract

本申请提供了一种景深扩展图像生成方法、设备及存储介质。该方法利用电子设备的摄像头中已有的双像素传感器，获取左像素图和右像素图，进而根据预先训练获得的景深扩展模型对左像素图和右像素图进行处理，获得景深扩展图像，保证了图像清晰度和图像细节显示效果，大大提升了照片效果，进而提升了用户的拍照体验感。

Description

景深扩展图像生成方法、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种景深扩展图像生成方法、设备及存储介质。

背景技术

当前，诸如手机等电子设备的拍照功能越来越完善，用户对拍照的体验要求也越来越高。但是，由于手机等电子设备采用的摄像头的光圈是固定的，即目前手机等电子设备采用的光学成像模型，景深范围是固定且有限的，因此在使用电子设备进行拍照时，对于超出景深范围的物体，在像平面成的像将变得肉眼可见的模糊，这就导致用户的视觉体验较差。

因此，如何对电子设备拍摄的照片进行景深扩展，提升照片效果，以拍摄出令用户满意的照片，提升用户的拍照体验感，是当前需要解决的技术问题。

发明内容

为了解决上述技术问题，本申请提供一种景深扩展图像生成方法、设备及存储介质。在该方法中，利用电子设备的摄像头中已有的双像素传感器，获取左像素图和右像素图，进而根据预先训练获得的景深扩展模型对左像素图和右像素图进行处理，获得景深扩展图像，保证了图像清晰度和图像细节显示效果，大大提升了照片效果，进而提升了用户的拍照体验感。

第一方面，本申请提供一种景深扩展图像生成方法。该方法应用于第一电子设备，第一电子设备的摄像头集成了双像素传感器，包括：利用双像素传感器，获取目标对象的左像素图和右像素图，左像素图和右像素图均为RAW图像；基于景深扩展模型对左图像数据和右图像数据进行景深处理，得到目标对象对应的目标景深扩展图像。

其中，第一电子设备例如为手机、平板电脑等。

这样，通过利用电子设备的摄像头中已有的双像素传感器，获取左像素图和右像素图，进而根据预先训练获得的景深扩展模型对左像素图和右像素图进行处理，由于左像素图和右像素图中隐含了场景深度，因此在将做像素图和右像素图输入上述所说的景深扩展模型训练阶段获得的景深扩展模型后，能够根据深度信息实现模糊核的先验处理，进而保证获得的景深扩展图像更加稳定，从而既保证了图像清晰度和图像细节显示效果，大大提升了照片效果，有能够提升用户的拍照体验感。

根据第一方面，在利用双像素传感器，获取目标对象的左像素图和右像素图之前，方法还包括：构建训练景深扩展模型所需的数据集，数据集包括多个数据组，每一个数据组中至少包括一张样本左像素图和一张样本右像素图；将数据集中每一个数据组中的样本左像素图和样本右像素图作为输入图像，输入网络模型进行迭代训练至满足设定要求；将满足设定要求时的网络模型作为景深扩展模型。

根据第一方面，或者以上第一方面的任意一种实现方式，构建训练景深扩展模型所需的数据集，包括：标定不同距离下，双像素传感器上的模糊核，得到不同深度信息与不同模糊核之间的对应关系；从公开数据集中获取样本彩色模式RGB图像和样本RGB图像对应的样本深度图像，公开数据集中的样本RGB图像和样本深度图像由具有多摄像头模组的第二电子设备提供，样本RGB图像为在焦场景下拍摄的RGB图像；根据双像素传感器对应的成像通路，将获取到的每一个样本RGB图像退化到样本RAW图像；对于每一个样本RAW图像，根据对应的样本深度图像从对应关系中选择样本RAW图像对应的模糊核；对于每一个样本RAW图像，根据选择的模糊核对样本RAW图像进行处理，得到样本RAW图像对应的样本左像素图和样本右像素图，并将样本左像素图、样本右像素图和样本RGB图像作为一个数据组；汇总每一个样本RGB图像对应的数据组，得到构建训练景深扩展模型所需的数据集。

其中，提供样本RGB图像和样本深度图像的第二电子设备，例如为手机、平板电脑等。

其中，上述所说的多摄像头模组，在一些实现方式中，例如可以是双摄像头模组；在另一些实现方式中，例如可以是三摄像头模组，甚至更多，此处不再一一例举，申请对此不作限制。这样，通过多摄像头模组就可以得到深度图像，并保证深度图像中深度信息的准确性。

此外，在另一些实现方式，提供样本RGB图像和深度图像的第二电子设备，也可以是集成了D-RGB摄像头的电子设备。这样，直接就可以拍摄得到样本RGB图像和深度图像。

此外，提供样本RGB图像和样本深度图像的第二电子设备的摄像头模组支持的景深较深，即采用第二电子设备的摄像头模组拍摄的样本RGB图像和深度图像都是在焦场景下获得的，样本RGB图像和深度图像中的内容清晰可见，从而保证基于该公开数据集中的样本RGB图像退化出的RAW图，进而得到的左像素图和右像素图能够训练出精准度稿的景深扩展模型。

这样，基于手机等电子设备侧产生的公共数据集中的RBG图像和深度图像为原始数据通过退化和标定模糊核的方式来构建训练所需的数据集，进而基于构建的数据集进行迭代训练获得的。而退化处理流程和标定模糊核的过程，均是由电子设备的完成的，因此制作的数据集能够被电子设备使用。故而，最终得到的景深扩展模型能够更好的适应于手机等电子设备的实际使用场景。

此外，通过利用DP sensor对应的左像素图和右像素图中包含的相位信息，以及隐含的场景深度，使得基于左像素图和右像素图训练获得的景深括模型能够捕获不同深度的模糊核，进而实现模糊核先验处理，从而保证了经景深扩展模型进行景深扩展后的景深扩展图像的稳定性，有效克服了现有方案的不足。

关于构建数据集，训练获得景深扩展模型的具体实现细节详见下文，此处不再赘述。

根据第一方面，或者以上第一方面的任意一种实现方式，双像素传感器上的模糊核包括左模糊核、右模糊核和联合模糊核，联合模糊核为根据左像素图和右像素图联合生成的RAW图像对应的模糊核，左模糊核为RAW图像中左像素图对应的模糊核，右模糊核为RAW图像中右像素图对应的模糊核；根据双像素传感器对应的成像通路，将获取到的每一个样本RGB图像退化到样本RAW图像，包括：对于每一个样本RGB图像，根据对应的样本深度图像从对应关系中选择对应的联合模糊核；根据双像素传感器对应的成像通路和每一个样本RGB对应的联合模糊核，将获取到的每一个样本RGB图像退化到样本RAW图像；对于每一个样本RAW图像，根据对应的样本深度图像从对应关系中选择样本RAW图像对应的模糊核，包括：对于每一个样本RAW图像，根据对应的样本深度图像从对应关系中选择样本RAW图像对应的左模糊核右模糊核；对于每一个样本RAW图像，根据选择的模糊核对样本RAW图像进行处理，得到样本RAW图像对应的样本左像素图和样本右像素图，包括：对于每一个样本RAW图像，根据选择的左模糊对样本RAW图像进行处理，得到样本RAW图像对应的样本左像素图，根据选择的右模糊对样本RAW图像进行处理，得到样本RAW图像对应的样本右像素图。

根据第一方面，或者以上第一方面的任意一种实现方式，满足设定要求为网络模型输出的预测景深扩展图像的损失情况满足设定的损失值，预测景深图像由网络模型基于样本左像素图和样本右像素图预测获得。

关于预测景深扩展图像，例如为下文通过景深扩展模型输出的景深扩展图像，其损失情况例如下文中所说的L_EDOF。

根据第一方面，或者以上第一方面的任意一种实现方式，预测景深扩展图像的损失情况根据样本RGB图像的、预测景深扩展图像、X方向的梯度和Y方向的梯度确定。关于确定预测景深扩展图像的损失情况的具体实现方式，可以参见下文的公式(2)至公式(4)。

根据第一方面，或者以上第一方面的任意一种实现方式，每一个数据组中还包括一张样本深度图像；方法还包括：对于每一个样本RGB图像，将样本左像素图、样本右像素图、样本RGB图像和样本RGB图像对应的样本深度图像作为一个数据组。这样，基于该类型的数据组训练获得的景深扩展模型不仅可以输出景深扩展图像，还可以输出深度图像。

根据第一方面，或者以上第一方面的任意一种实现方式，满足设定要求为网络模型输出的预测景深扩展图像的损失情况和预测深度图像的损失情况满足设定的损失值，预测景深图像和预测深度图像均由网络模型基于样本左像素图和样本右像素图预测获得。

关于预测景深扩展图像，例如为下文通过景深扩展模型输出的景深扩展图像，其损失情况例如下文中所说的L_EDOF。

关于预测深度图像，例如为下文通过景深扩展模型输出的深度图像，其损失情况例如下文所说的L_Depth。

根据第一方面，或者以上第一方面的任意一种实现方式，预测景深扩展图像的损失情况根据样本RGB图像的、预测景深扩展图像、X方向的梯度和Y方向的梯度确定，预测深度图像的损失情况根据样本深度图像和预测深度图像确定。关于确定预测景深扩展图像的损失情况的具体实现方式，可以参见下文的公式(2)至公式(4)，确定预测深度图像的损失情况的具体实现方式，可以参见下文的公式(6)。

根据第一方面，或者以上第一方面的任意一种实现方式，景深扩展模型为卷积神经网络模型。

根据第一方面，或者以上第一方面的任意一种实现方式，卷积神经网络模型中位于输入源的卷积层与位于输出源的卷积层实现跳跃连接，输入源的卷积层之间采用最大池化处理，输出源的卷积层之间采用上卷积处理。

关于上述所说的卷积神经网络的具体结构可以参见下文，此处不再赘述。

根据第一方面，或者以上第一方面的任意一种实现方式，目标景深扩展图像为RGB图像。

第二方面，本申请提供了一种电子设备。该电子设备包括：存储器和处理器，存储器和处理器耦合；存储器存储有程序指令，程序指令由处理器执行时，使得所述电子设备执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第三方面，本申请提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第四方面，本申请提供了一种计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第五方面，本申请提供了一种芯片，该芯片包括处理电路、收发管脚。其中，该收发管脚、和该处理电路通过内部连接通路互相通信，该处理电路执行第一方面或第一方面的任一种可能的实现方式中的方法，以控制接收管脚接收信号，以控制发送管脚发送信号。

第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

附图说明

图1a、图1b为示例性示出的一种应用场景示意图；

图2a为示例性示出的一种拍摄场景；

图2b为示例性示出基于本申请实施例提供的景深扩展图像生成方法对在物平面前的的图像区域进行景深扩展的示意图；

图2c为示例性示出基于本申请实施例提供的景深扩展图像生成方法对在物平面后的的图像区域进行景深扩展的示意图；

图2d为示例性示出基于本申请实施例提供的景深扩展图像生成方法对图2a示出的拍摄场景进行景深扩展的示意图；

图3为示例性示出的电子设备的硬件结构示意图；

图4为示例性示出的电子设备的软件结构示意图；

图5a为示例性示出的在焦场景下物平面上的光点在像平面的成像示意图；

图5b为示例性示出的在一种离焦场景下物平面上的光点在像平面的成像示意图；

图5c为示例性示出的在另一种离焦场景下物平面上的光点在像平面的成像示意图；

图6a为示例性示出的一种经景深扩展模型对左像素图和右像素图处理的示意图；

图6b为示例性示出的另一种经景深扩展模型对左像素图和右像素图处理的示意图；

图7为示例性示出的实现本申请实施例提供的景深扩展图像生成方法时，涉及的各功能模块的纵向交互示意图；

图8为示例性示出的实现本申请实施例提供的景深扩展图像生成方法时，涉及的各功能模块的横向交互示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个***是指两个或两个以上的***。

拍照场景是手机等电子设备常见的应用场景之一。随着用户对手机拍照的体验要求越来越高，手机的拍照功能也越来越完善。下述以手机为例，对电子设备的拍照功能进行相关解释说明。

图1a示例性的示出了一个手机界面。参照图1a，该手机界面上显示有多个应用程序的图标，例如相机应用的图标101、图库应用的图标102等。在一些实施方式中，如图1a所示的手机界面可以称之为主界面。其中，当用户点击该界面中的相机应用图标101时，即可使用相机应用实现拍摄功能；当用户点击该界面中的图库应用图标102时，即可使用图库应用查看手机中存储的图片(或照片)、视频等。

继续参照图1a，示例性的，当用户点击相机应用的图标101时，手机响应于用户操作，识别出用户点击操作对应的控件为相机应用的控件，进而调用应用框架层中相应的接口启动相机应用，并通过调用内核层启动摄像头驱动，以及通过摄像头采集图像。此时，手机显示相机应用的界面，例如图1b所示的手机界面。

随着手机的拍照功能的完善，相机应用支持的拍摄模式也越来越多。示例性的，拍摄模式至少包括光圈模式、夜景模式、人像模式、拍照模式、录像模式、专业模式等，可以参见图1b中拍摄模式列表103中显示的模式选项。当用户点击某个拍摄模式对应的图标选项时，手机显示相应拍摄模式下的相机应用界面。例如，若用户点击拍照模式的图标选项1031，手机则显示相机应用采用拍照模式时的界面，可以参照图1b所示。

需要说明的是，在一些实施例中，手机在启动相机应用后，相机应用默认开启拍照模式，也即拍照模式为相机应用的默认拍摄模式。

继续参见图1b，示例性的，拍照模式对应的显示界面中可以包括一个或多个控件。包括的控件包括但不限于：拍摄模式列表103，预览窗口104，功能选项列表105、快门控件106、前后摄像头切换控件107和图片查看控件108。

其中，预览窗口104可以显示摄像头实时采集的图像。快门控件106可以监听触发拍照的用户操作，即当手机检测到作用于快门控件106的用户操作时，会响应于该操作进行拍照，并将拍摄所得的图像存储于图库应用中。

示例性的，在一些实现方式中，当用户想要查看拍摄的图像时，可以通过点击控件108的方式打开图库应用，进而查看拍摄的图像。

示例性的，在另一些实现方式中，当用户想要查看拍摄的图像时，也可以通过点击图1a所示的界面中图库应用的图标102的方式打开图库应用，进而查看拍摄的图像。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

继续参见图1b，示例性的，功能选项列表105中展示的是拍摄模式下支持的功能选项，例如闪光灯功能、AI(Artificial Intelligence，人工智能)功能、设置功能等。

继续参见图1b，示例性的，当用户点击了快门控件106，手机会检测到作用于快门控件106的用户操作，进而响应于该操作进行拍照。

在已有的一些实现方式中，为了保证拍摄的图像的视觉效果，通常会预先通过改变单反相机的光圈大小，实现对模糊图像数据和清晰图像数据的采集，进而根据不同光圈大小对应的模糊图像数据图清晰图像数据训练景深扩展模型；然后将基于单反相机拍摄的图像数据(模糊图像数据和清晰图像数据)训练获得的景深扩展模型预置到手机中。这样，在手机拍摄图像的过程中，摄像头中的图像传感器可以采集原始RAW域图像(后续称为：RAW图像)，RAW图像经上述所说的景深扩展模型进行景深扩展后，再转换为彩色模式(RedGreen Blue，RGB)图像，就可在显示屏上进行显示。其中，RAW图像可以是指拜耳(Bayer)格式的图像，则RAW域图像也可以称为Bayer格式RAW图。

但是，根据单反相机在不同光圈大小下拍摄的模糊图像数据和清晰图像数据训练景深扩展模型，进而移植到手机中的方式(上述景深扩展方式)，存在诸多问题。

例如，单反相机拍摄的图像数据与手机拍摄的图像数据存在域差异，这就导致基于单反相机拍摄的图像数据训练获得的景深扩展模型，在应用到手机上时很可能无法使用，进而无法实现景深扩展处理。

还例如，由于拍摄的图像数据有限，单一图像难以捕获精准的深度信息，因此基于单反相机拍摄的图像数据训练获得的景深扩展模型，没有考虑到图像的深度信息，其对应的模糊核是固定的，即所有输入景深扩展模型进行景深扩展处理的RAW图像使用的模糊核是相同的，因此景深扩展效果不稳定，导致最终的景深扩展图像效果欠佳。

还例如，由于单反相机在进行图像数据采集时，需要用户手动调整光圈，这样不仅费时费力，还会因为调节光圈造成对单反相机位置、姿势的影响，进而导致拍摄的同一对象的图像数据无法对齐。

因此，如何对电子设备拍摄的照片进行景深扩展，提升照片效果，以拍摄出令用户满意的照片，提升用户的拍照体验感，是当前需要解决的技术问题。

为了解决上述问题，本申请实施例提供了一种景深扩展图像生成方法。在该方法中，利用电子设备的摄像头中已有的双像素传感器，获取左像素图和右像素图，进而根据预先训练获得的景深扩展模型对左像素图和右像素图进行处理，获得景深扩展图像，保证了图像清晰度和图像细节显示效果，大大提升了照片效果，进而提升了用户的拍照体验感。

图2a示例性示出了一种拍摄场景。在该拍摄场景中存在超出景深范围的区域，如图2a中的区域201(物体发光点在物平面前)和区域202(物体发光点在物平面后)。如果基于现有的景深扩展方式，处理后的图像依旧如图2a所示，但基于本申请实施例提供的景深扩展图像生成方法，提取图2b中(1)所示的区域201对应的RAW图像中的左像素图和右像素图，并利用本实施例中构建的景深扩展模型进行处理后，就可以得到图2b中(2)所示区域201'，不难发现经本实施例中构建的景深扩展模型进行处理后的区域201'中，图像清晰度和图像细节显示效果得到了显著提升。

相应地，基于本申请实施例提供的景深扩展图像生成方法，提取图2c中(1)所示的区域202对应的RAW图像中的左像素图和右像素图，并利用本实施例中构建的景深扩展模型进行处理后，就可以得到图2c中(2)所示区域202'，不难发现经本实施例中构建的景深扩展模型进行处理后的区域202'中，图像清晰度和图像细节显示效果得到了显著提升。

由此，在按照上述方式对区域201和区域202进行景深扩展处理后，图2a所示的图像(图2d中(1)所示的图像)就会变为图2d中(2)所示的图像。

需要指出的是，图2a～图2d均以灰度图形式示出，对比图2d中(1)所示的灰度图像的原图和图2d中(2)所示的灰度图形的原图可知，图2d中(2)所示的灰度图形的原图中，整体画面的清晰度和图像细节显示效果都要比图2d中(1)所示的灰度图像的原图好。

也就是说，基于本实施例提供的景深扩展图像生成方法，生成的景深扩展图像的清晰度、显示细节以及颜色显示效果均较佳。

为了更好的理解本申请实施例提供的技术方案，下面结合图3和图4对电子设备的硬件结构和软件结构进行介绍。

参见图3，电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

示例性的，在一些实现方式中，传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等，此处不再一一例举，本申请对此不作限制。

此外，需要说明的是，处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

可理解的，控制器可以是电子设备100的神经中枢和指挥中心。在实际应用中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

此外，还需要说明的是，处理器110中还可以设置存储器，用于存储指令和数据。在一些实现方式中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

示例性的，在一些实现方式中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identitymodule，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

继续参见图3，示例性的，充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实现方式中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实现方式中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

继续参见图3，示例性的，电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实现方式中，电源管理模块141也可以设置于处理器110中。在另一些实现方式中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

继续参见图3，示例性的，电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

需要说明的是，天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实现方式中，天线可以和调谐开关结合使用。

继续参见图3，示例性的，移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实现方式中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实现方式中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

此外，需要说明的是，调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实现方式中，调制解调处理器可以是独立的器件。在另一些实现方式中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

继续参见图3，示例性的，无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellitesystem，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near fieldcommunication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

具体到本申请实施例提供的技术方案中，电子设备100可通过移动通信模块150或无线通信模块160与云端服务器或者其他服务器进行通信。

示例性的，在一些实现方式中，上述所说的云端服务器或其他服务器，例如为用于提供本实施例所需的景深扩展模型的服务器。对于这种景深扩展模型由服务器训练获得的场景，电子设备100可以通过移动通信模块150向云端服务器发送获取上述模型的请求，进而将由服务器训练获得的景深扩展模型获取到本地，以便后续使用摄像头193拍摄获得的图像能够基于景深扩展模型实现本申请提供的景深扩展图像生成方法。示例性的，云端可以是多个服务器组成的服务器集群。

示例性的，在另一些实现方式中，本实施例所使用的景深扩展模型也可以在电子设备100出厂前，直接预置到电子设备100中，或者在电子设备出厂后，由电子设备100进行训练获得。

应当理解的是，上述说明仅是为了更好的理解本申请的技术方案而列举的示例，不作为对本申请的唯一限制。为了便于说明，本申请以景深扩展模型提前预置到电子设备100中，后续根据用户的使用，进行自主学习完善为例。

此外，需要说明的是，不论是服务器训练本实施例所需的景深扩展模型，还是电子设备100训练本实施例所需的景深扩展模型，其训练逻辑均相同，具体的训练过程将在下面的实施例中进行详细说明，此处不再赘述。

此外，还需要说明的是，电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

继续参见图3，示例性的，显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实现方式中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

此外，还需要说明的是，电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

此外，还需要说明的是，ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实现方式中，ISP可以设置在摄像头193中。

此外，还需要说明的是，摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实现方式中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

具体到本申请实施例提供的技术方案中，摄像头193具体为集成了双像素传感器(dual pixel sensor，DP sensor)的摄像头。这样，摄像头拍摄的RAW图像，经ISP处理后，就可以得到左像素图和右像素图。

此外，还需要说明的是，数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

此外，还需要说明的是，视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

继续参见图3，示例性的，外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

继续参见图3，示例性的，内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flashstorage，UFS)等。

具体到本申请实施例提供的技术方案中，上述所说的本实施例中使用的景深扩展模型就可以提取存储在终端设备的内部存储器121中，从而便于实现景深扩展。

此外，还需要说明的是，电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

此外，还需要说明的是，音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实现方式中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

继续参见图3，示例性的，按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

继续参见图3，示例性的，马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

继续参见图3，示例性的，指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

关于电子设备100的硬件结构就介绍到此，应当理解的是，图3所示电子设备100仅是一个范例，在具体实现中，电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图3中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

为了更好的理解图3所示电子设备100的软件结构，以下对电子设备100的软件结构进行说明。在对电子设备100的软件结构进行说明之前，首先对电子设备100的软件***可以采用的架构进行说明。

具体的，在实际应用中，电子设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。

此外，可理解的，目前主流的电子设备使用的软件***包括但不限于Windows***、Android***和iOS***。为了便于说明，本申请实施例以分层架构的Android***为例，示例性说明电子设备100的软件结构。

此外，后续关于本申请实施例提供的景深扩展图像生成方法，在具体实现中同样适用于其他***。

参见图4，为本申请实施例的电子设备100的软件结构框图。

如图4所示，电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实现方式中，将Android***分为五层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，硬件抽象层(hardware abstraction layer，HAL)，以及内核层。

其中，应用程序层可以包括一系列应用程序包。如图4所示，应用程序包可以包括相机、设置、地图、WLAN、蓝牙、图库、音乐等应用程序，此处不再一一列举，本申请对此不作限制。

其中，应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。在一些实现方式中，这些编程接口和编程框架可以描述为函数。如图4所示，应用程序框架层可以包括景深扩展模块、摄像头服务、视图***、内容提供器、窗口管理器、资源管理器等函数，此处不再一一列举，本申请对此不作限制。

示例性的，在本实施例中，摄像头服务用于响应于应用的请求，调用摄像头(包括前置摄像头和/或后置摄像头)。

示例性的，在本实施例中，景深扩展模块用于对摄像头服务提供的左像素图和右像素图进行景深扩展，进而得到景深扩展图像。

关于摄像头服务与景深扩展模块的交互，以及与实现本实施例提供的景深扩展图像生成方法中涉及的其他的功能模块的交互过程，将在下面的实施例中进行详细说明，此处不再赘述。

此外，可以理解的，上述各功能模块的划分，仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。在实际应用中，上述功能也可以集成在一个功能模块中实现，本实施例对此不作限制。

此外，在实际应用中，上述功能模块也可以表示为服务、框架，如景深扩展框架/景深扩展服务等，本实施例对此不作限制。

此外，还需要说明的是，上述位于应用程序框架层中的窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

此外，还需要说明的是，上述位于应用程序框架层中的内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等，此处不再一一列举，本申请对此不作限制。

此外，还需要说明的是，上述位于应用程序框架层中的视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

此外，还需要说明的是，上述位于应用程序框架层中的资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等，此处不再一一列举，本申请对此不作限制。

Android Runtime包括核心库和虚拟机。Android Runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

可理解的，上述所说的2D图形引擎是2D绘图的绘图引擎。

HAL层为位于操作***内核与硬件电路之间的接口层。HAL层包括但不限于：音频硬件抽象层(Audio HAL)和摄像头硬件抽象层(Camera HAL)。其中，Audio HAL用于对音频流进行处理，例如，对音频流进行降噪、定向增强等处理，Camera HAL用于对图像流进行处理。

具体到本申请实施例提供的技术方案中，利用相机进行拍照就需要用到HAL层的Camera HAL。

此外，可理解的，Android***中的内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，麦克风驱动，蓝牙驱动，传感器驱动等。示例性的，摄像头驱动可用于将摄像头拍摄的图像数据经摄像头硬件抽象层传输给摄像头服务，进而使得摄像头服务能够将摄像头拍摄的图像数据发送给景深扩展模块进行景深扩展处理。

关于电子设备100的软件结构就介绍到此，可以理解的是，图4示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。

通过上述对拍摄场景的描述可知，本申请提供的景深扩展图像生成方案，在用户使用电子设备的相机应用拍照时，至少需要完成景深扩展模型的训练，这样才能对摄像头拍摄的图像进行景深扩展。为了便于说明，以下将本申请提供的景深扩展图像生成方案划分为景深扩展模型训练阶段和景深扩展图像生成阶段。

为了更好的理解本申请实施例提供的景深扩展图像生成方案，以下结合附图从景深扩展模型训练阶段和景深扩展图像生成阶段这两个阶段对本实施例提供的技术方案进行具体说明。

1、景深扩展模型训练阶段

可理解的，景深扩展模型需要基于特定的数据集对网络模型进行迭代训练获得。故而，在一些实现方式中，景深扩展模型训练阶段可以分为数据集获取子阶段和网络模型训练子阶段。

1.1、数据集获取子阶段

在本实施例中，数据集获取子阶段包括退化处理流程和模糊核(PSF)标定。其中，模糊核标定具体是指标定不同距离下，摄像头中DP sensor上的模糊核；退化处理流程则是将已知RGB图像退化到RAW图像。

具体到本实施例中，模糊核标定过程例如是采用图5a中～图5c中示出的有12*6(长*高)个发光点的矩形平面作为物平面，然后将电子设备固定在支架等能够保证电子设备摄像头位置、姿态固定不变的物体上，通过移动固定电子设备的支架，进而在不同距离下使用电子设备的摄像头进行拍照，从而得到不同距离下摄像头中DP sensor上的模糊核。

需要说明的是，本实施例中，在不同距离下，标定的双像素传感器中的模糊核包括左模糊核、右模糊核和联合模糊核。

其中，联合模糊核是指根据左像素图和右像素图联合生成的RAW图像对应的模糊核，左模糊核为RAW图像中左像素图对应的模糊核，右模糊核为RAW图像中右像素图对应的模糊核。

示例性的，在一些实现方式中，当上述物平面处于景深范围内，即在焦场景时，对应的像平面例如图5a所示，即在焦场景下，像平面上的成像同样为光点，只是根据距离可能呈现的光点大小存在差异。

示例性的，在另一些实现方式中，当上述物平面处于景深范围外，如景深在物平面前，或在物平面后的离焦场景时，对应的像平面例如图5b，图5c所示，即离焦场景下，像平面上的成像为光斑，并且根据距离呈现的光斑大小存在差异。

应当理解的是，上述说明仅是为了更好的理解本申请的技术方案而列举的示例，不作为对本申请的唯一限制。在实际应用中可以根据需要，选择不同规格的物体作为物平面，另外标定模糊核的操作可以是在电子设备出厂前完成的。

此外，可以理解的，在实际应用中，可以对同一型号、同一批次的电子设备中的一个或多个进行标定，然后将标定结果复用到该型号和该批次的其他电子设备。

关于上述所说退化处理流程，在本实施例中，具体是通过采用目前已经公开的适用于电子设备的的数据集作为基础，从这些公开数据集中获取海量RGB图像(景深扩展处理后的图像，即景深扩展图像)，以及这些RGB图像对应的深度图像。然后基于已有DP sensor的成像通路将RGB图像退化到RAW图像。

具体的说，在将RGB图像退化为RAW图像时，需要到上述标定的联合模糊核，即根据联合模糊核和DP sensor的成像通路，可以将RGB图像退化为RAW图像。

此外，回退过程中可能会存在图像畸变、噪声等因素，为了尽可能避免这些干扰，具体可以实现细节，可以参见相关技术文献，比如采用的通路，或者图像降噪网络，如cycleISP网络，此处不再赘述，本实施例对此也不作限制。

接着，在退化到的RAW图像后，以退化为RAW图像的RGB图像对应的深度图像为指定，确定该RAW图像中每一个像素点的深度信息，进而根据深度信息确定景深，或者说距离，这样就可以根据距离从上述标定的不同距离对应的模糊核中选择适合该RAW图像的模糊核，具体为上述所说的左模糊核和右模糊核，进而将RAW图像中每一个像素点乘以对应深度的左模糊核，就可以得到该像素点对应的左像素图，乘以对应深度的右模糊核，就可以得到该像素点对应的右像素图。

例如图5b中像平面上第一排第一列处的光斑，按照上述方式处理，得到的左像素图和右像素图如图5b所示；图5c中像平面上第一排第一列处的光斑，按照上述方式处理，得到的左像素图和右像素图如图5c所示。

可理解的，公开数据集中的每张图像都有能够标识其唯一性的标记，因此为区分这些图像的左像素图和右像素图，按照上述方式获得的左像素图和右像素图同样需要打上对应的标记，即能够区分是哪一图像的左像素图，还是右像素图。

相应地，按照上述方式处理后，将同一RGB图像，以及该RGB图像对应的左像素图和右像素图作为一组数据，对每一个RGB图像进行类似处理后，就可以得到满足上述要求的数据组，进而得到训练景深扩展模型所需的数据集。

1.2、网络模型训练子阶段

示例性的，本实施例以网络模型为卷积神经网络模型为例，其结构如图6a、6b中示出的景深扩展模型，具体可以包括7组卷积层，如A1、A2、B1、B2、C1、C2、D，每层卷积层可以采用3*3卷积核的，且A1组的卷积层与A2组的卷积层，B1组的卷积层与B2组的卷积层，C1组的卷积层与C2组的卷积层通过跳跃连接(Skip-connections)的方式连接，A1与B1，B1与C1，C1与D之间采用最大池化处理，D与C2，C2与B2，B2与A2之间采用上卷积处理。

由此，在基于1.1中得到的数据集中的数据对上述结构的卷积神经网络模型进行训练时，具体是将每一组数据中的左像素图和右像素图作为输入参数，进而经过A1的卷积处理，然后经最大池化处理，再经B1的卷积处理，接着经最大池化处理，再经C1的卷积处理，接着经最大池化处理，再经D的卷积处理。同时，在经A1、B1和C1进行卷积处理时，还会将处理结果传递给对应的A2、B2和C3，以便进行残差计算，防止网络层数增加而导致的梯度弥散问题与退化问题。

相应地，在完成A1至D的处理后，接着经D卷积处理后的数据会进行上卷积处理，然后由C2进行卷积处理，接着经上卷积处理，再经B2进行卷积处理，接着在进行上卷积出来，最后由A2进行卷积处理后，就可以输出一个图像数据，该图像数据即为进行景深扩展后的景深扩展图像，实质为根据输入的左像素图和右像素图预测出的RGB图像。

可理解的，对应卷积神经网络模型的训练需要进行多次迭代训练，即每次训练结果都需要确定当前对应的损失函数是否满足设定的要求，如果满足设定要求，则结束训练，将当前的卷积神经网络模型作为实现本实施提供的景深扩展图像生成方法所需的景深扩展模型。

可理解的，由于本实施例中，仅考虑输出的景深扩展图像(后续称为EDOF)，因此损失函数实质考虑的是景深扩展图像的损失情况，即卷积神经网络模型对应的损失函数根据下述公式(1)确定：

L＝L_EDOF (1)

其中，L是积神经网络模型对应的损失函数，L_EDOF是输出的景深扩展图像对应的损失函数。

进一步地，L_EDOF又可以根据如下公式(2)确定：

其中，EDOF_pred为经卷积神经网络模型预测的EDOF(即输出的EDOF)的标记，EDOF_GT为输入卷积神经网络模型的左像素图和右像素图对应的数据组中RGB图像的实际标记，

为x方向的梯度，

为y方向的梯度，λ_x为x方向的梯度对应的常量系数，λ_y为y方向的梯度对应的常量系数，这两个常量系数可以根据需要进行调节。即，通过基于线性最小均方误差算法对EDOF_pred和EDOF_GT进行处理，然后将处理结果与乘以对应系数的x方向的梯度和y方向的梯度求和，就可以得到L_EDOF。

进一步地，

又可以根据如下公式(3)确定，

又可以根据如下公式(4)确定：

其中，

为x方向的预测梯度标识(基于边缘检测sobel算子根据输出的EDOF图像确定)，

为x方向的实际梯度标识(基于sobel算子根据RGB图像确定)，

为y方向的预测梯度标识(基于sobel算子根据输出的EDOF图像确定)，

为y方向的实际梯度标识(基于sobel算子根据RGB图像确定)。

由此，在输入一组，或者输入多组，左像素图和右像素图，得到对应的EDOF后，就可以按照上述公式(1)至公式(4)，确定当前是否满足预设要求，如果满足则停止训练，将当前的卷积神经网络模型作为实现本实施例方案所需的景深扩展模型；反之，则继续进行迭代训练。

此外，还需要说明的是，在实际应用中，如果根据左图像图和右图像图，还想要获得EDOF图像对应的深度图像，则构建的数据集中，每一组数据中还需要包括含有对应标记的深度图像。

相应地，对应这种场景，在将左像素图和右像素图输入图6a或图6b所示结构的卷积神经网络模型后，输出的结果既包括景深扩展图像(EDOF图像)，又包括深度图像，如图6b所示。对于这种场景，损失函数则需要考虑深度图像的和EDOF图像的，即卷积神经网络模型对应的损失函数根据下述公式(5)确定：

L＝L_EDOF+L_Depth (5)

其中，L_Depth是深度图像对应的损失函数，L是积神经网络模型对应的损失函数，L_EDOF是输出的景深扩展图像对应的损失函数。

进一步地，L_Depth又可以根据如下公式(6)确定：

L_Depth＝L_MSE(Depth_pred，Depth_FT) (6)

其中，Depth_pred为经卷积神经网络模型预测的深度图像，即输出的深度图像的标记，Depth_FT为输入卷积神经网络模型的左像素图和右像素图对应的数据组中深度图像的实际标记。

由此，在输入一组，或者输入多组，左像素图和右像素图，得到对应的EDOF和深度图像后，就可以按照上述公式(1)至公式(6)，确定当前是否满足预设要求，如果满足则停止训练，将当前的卷积神经网络模型作为实现本实施例方案所需的景深扩展模型；反之，则继续进行迭代训练。

通过上述描述可知，由于本实施例中构建的景深扩展模型是基于手机等电子设备侧产生的公共数据集中的RBG图像和深度图像为原始数据通过退化和标定模糊核的方式来构建训练所需的数据集，进而基于构建的数据集进行迭代训练获得的。而退化处理流程和标定模糊核的过程，均是由电子设备的完成的，因此制作的数据集能够被电子设备使用。故而，最终得到的景深扩展模型能够更好的适应于手机等电子设备的实际使用场景。

此外，通过上述描述可知，本实施例构建的景深扩展模型，所使用的数据集与现有景深扩展方案中的景深扩展模型是完全不相同的，故而二者后续进行景深扩展处理时，需要针对的对象也不相同。具体的，目前的景深扩展方案中，使用的景深扩展模型是针对左像素图和右像素图联合生成的RAW图像的，即输入景深扩展模型的图像是联合的RAW图像；而本实施例中，使用的景深扩展模型是针对双像素传感器采集的左像素图和右像素图，即输入景深扩展模型的图像是左像素图和右像素图。

由于，本实施例通过利用DP sensor对应的左像素图和右像素图中包含的相位信息，以及隐含的场景深度，使得基于左像素图和右像素图训练获得的景深括模型能够捕获不同深度的模糊核，进而实现模糊核先验处理，从而保证了经景深扩展模型进行景深扩展后的景深扩展图像的稳定性，有效克服了现有方案的不足。

2、景深扩展图像生成阶段

关于景深扩展图像生成阶段，具体是在用户通过相机应用进行拍照时涉及的。具体的，用户通过相机应用进行拍照时，需要涉及摄像头的调用，而相机应用对摄像头调用的过程可以分为两部分，第一部分为创建过程，也可以理解为准备过程，创建过程主要是各模块创建对应的实例，并交互控制信息的过程；第二部分为拍摄过程，即各模块或各模块中的实例对摄像头采集到的图像进行处理的过程。需要说明的是，本申请实施例中所述的“实例”也可以理解为运行在进程中的程序代码或进程代码。

下面结合图7所示的各模块的交互流程示意图，对相机应用在调用摄像头的过程中的创建过程，以及拍摄过程进行详细说明。

参照图7，创建过程具体包括：

S101，相机应用调用摄像头服务，摄像头服务进行相应处理。

示例性的，相机应用启动后(例如图1a和图1b中所示的过程)，相机应用调用摄像头服务，例如，相机应用向摄像头服务发送请求消息，请求消息中可包括但不限于：相机应用的应用ID(例如可以是应用程序包名)、PID(Process Identification，进程识别号)、相机应用的配置信息等。示例性的，配置信息可以包括相机应用显示的图像对应的分辨率(例如1080*720P)。

可选地，请求消息中也可以不包括应用ID，例如，请求消息中包括配置信息，示例性的，摄像头服务可通过与应用层的接口，获取到接收到的请求消息对应的应用的应用ID以及PID。

关于摄像头服务进行的相应处理，例如可以是创建相机服务实例、相机设备客户端实例、相机设备实例、相机数据流实例等。

其中，相机服务实例，用于为应用程序层能够调用摄像头的应用提供API接口，并基于应用的请求，创建对应的会话(session)。以相机应用为例，相机服务实例可基于API接口，接收到相机应用输入的请求(包括应用的ID和配置1等)，相机服务实例可基于相机应用的请求，创建对应的会话(例如，会话的标识信息为session1)，并将相机应用的应用的ID、配置1和会话的标识信息(即session1)输出至相机设备客户端实例。

其中，相机设备客户端实例，可以看作为摄像头服务的客户端，主要用于为摄像头服务提供E接口(控制相邻区域的不同移动业务交换中心之间的接口)与其它模块进行数据交互。相机设备客户端实例保存应用ID与session1的对应关系，并将相机应用的应用的ID、配置1和session1输出至相机设备实例。

其中，相机设备实例，用于为HAL层提供接口，以及数据(例如图像)透传。具体的，相机设备实例基于相机设备客户端实例输入的相机应用的应用的ID、配置1和session1，记录各信息之间的对应关系，并将将应用的ID和session1输出至相机数据流实例。

其中，相机数据流实例，用于对图像进行相应处理。具体的，相机数据流实例将相机设备实例输入的相机应用的应用的ID和session1对应保存。

关于摄像头服务创建的上述各实例之间的交互可以参见现有API标准，此处不再赘述。

应当理解的是，上述说明仅是为了更好的理解本申请的技术方案而列举的示例，不作为对本申请的唯一限制。在实际应用中除了使用相机应用进行拍照时可以采用本实施例提供的景深扩展图像生成方法，在执行采用其他应用中集成的调用摄像头进行拍照的操作时，也可以采用本实施例提供的景深扩展图像生成方法。

S102，摄像头服务调用摄像头硬件抽象层，摄像头硬件抽象层进行相应处理。

即，通过相机设备实例调用HAL层的摄像头硬件抽象层，将相机触发的拍照请求透传给摄像头硬件抽象层，从而使得摄像头硬件抽象层能够响应于该请求创建对应的实例。

S103，摄像头硬件抽象层调用内核层中的摄像头驱动，摄像头驱动进行相应处理。

可理解的，摄像头驱动进行的相应处理，例如为建立对应的实例。

S104，摄像头驱动调用对应的摄像头。

示例性的，摄像头响应于摄像头驱动的调用，开始采集图像。需要说明的是，在创建过程中，摄像头硬件抽象层、摄像头驱动中的各实例或模块对数据(例如图像)进行相应处理，具体处理过程可参照已有技术实施例中的技术方案，本申请不再赘述。

继续参见图7，拍摄过程具体包括：

S201，摄像头将采集到的图像输出至摄像头驱动。

需要说明的，由于本实施例是针对摄像头中具有双像素传感器的电子设备，因此摄像头采集的图像实质是两张RAW图像，具体为左像素图和右像素图像。

相应地，在得到左像素图和右像素图后，会经摄像头驱动、摄像头硬件抽象层和摄像头服务，将左向图和右像素图传输至景深扩展模块。

S202，摄像头驱动将图像输出至摄像头硬件抽象层。

S203，摄像头硬件抽象层将图像输出至摄像头服务。

示例性的，摄像头驱动获取摄像头采集的图像，并将摄像头的图像输出至摄像头硬件抽象层。摄像头硬件抽象层将摄像头采集的图像输出至摄像头服务。

S204，摄像头服务将图像输出至景深扩展模块。

可理解的，通过上述描述可知，摄像头驱动输出至摄像头硬件抽象层的图像，具体为双像素传感器采集到的左像素图和右像素图。

相应地，摄像头硬件抽象层输出至摄像头服务的图像，同样为上述所说的左像素图和右像素图。此外，需要说明的是，摄像头硬件抽象层输出至摄像头服务的图像，具体是输出至摄像头服务中的相机设备实例。

相应地，摄像头服务输出至景深扩展模块的图像，同样为上述所说的左像素图和右像素图。

此外，通过上述创建过程的描述可知，相机设备实例记录了相机设备客户端实例输入的相机应用的应用的ID、配置1和session1之间的对应关系，因此相机设备实例在接收摄像头硬件抽象层输入的图像后，相机设备实例会检测当前存储的session，即当前存储有session1及其它信息(包括应用ID和配置1)时，相机设备实例将图像和session1输出至景深扩展模块。

需要说明的是，本实施例中，在创建过程和拍摄过程维护和关联session的目的是为了便于区分不同的会话处理，以便本实施例提供的方法能够应用于多种实现场景，如多次调用拍摄等。

S205，景深扩展模块基于景深扩展模型对摄像头服务输入的左像素图和右像素图进行景深处理，进而得到景深扩展图像，并将得到的景深扩展图像输出至摄像头服务。

S206，摄像头服务将景深扩展图像输出至相机应用。

关于摄像头服务将景深扩展图像输出至相机应用的过程，例如为相机设备实例接收景深扩展模块输入的图像(即处理后的景深扩展图像)和相机应用对应的会话，如session1，相机设备实例将景深扩展图像和session1输出至相机数据流实例，接着相机数据流实例基于已记录的session1与相机应用的应用ID的对应关系，就可以将景深扩展图像输出至相机应用，进而能够在景深扩展图像显示在当前界面，如图8所示，或者直接存储到图库应用中。

由此，在本实施例提供的景深扩展图像生成方法中，通过利用电子设备的摄像头中已有的双像素传感器，获取左像素图和右像素图，进而根据预先训练获得的景深扩展模型对左像素图和右像素图进行处理，由于左像素图和右像素图中隐含了场景深度，因此在将做像素图和右像素图输入上述所说的景深扩展模型训练阶段获得的景深扩展模型后，能够根据深度信息实现模糊核的先验处理，进而保证获得的景深扩展图像更加稳定，从而既保证了图像清晰度和图像细节显示效果，大大提升了照片效果，有能够提升用户的拍照体验感。

此外，可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

此外，需要说明的是，上述以电子设备为手机为例进行说明，仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。在实际应用中，能够应用于本申请实施例提供的景深扩展图像生成方法的电子设备并不局限于上述所说的手机，可以是任意具备摄像头，且摄像头的光圈固定不可调节的设备。

此外，还需要说明的是，在实际的应用场景中由电子设备实现的上述各实施例提供的景深扩展图像生成方法，也可以由电子设备中包括的一种芯片***来执行，其中，该芯片***可以包括处理器。该芯片***可以与存储器耦合，使得该芯片***运行时调用该存储器中存储的计算机程序，实现上述电子设备执行的步骤。其中，该芯片***中的处理器可以是应用处理器也可以是非应用处理器的处理器。

另外，本申请实施例还提供一种计算机可读存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的景深扩展图像生成方法。

另外，本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得电子设备执行上述相关步骤，以实现上述实施例中的景深扩展图像生成方法。

另外，本申请的实施例还提供一种芯片(也可以是组件或模块)，该芯片可包括一个或多个处理电路和一个或多个收发管脚；其中，所述收发管脚和所述处理电路通过内部连接通路互相通信，所述处理电路执行上述相关方法步骤实现上述实施例中的景深扩展图像生成方法，以控制接收管脚接收信号，以控制发送管脚发送信号。

此外，通过上述描述可知，本申请实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种景深扩展图像生成方法，其特征在于，应用于第一电子设备，第一电子设备的摄像头集成了双像素传感器，所述方法包括：

利用所述双像素传感器，获取目标对象的左像素图和右像素图，所述左像素图和所述右像素图均为RAW图像；

基于景深扩展模型对所述左图像数据和所述右图像数据进行景深处理，得到所述目标对象对应的目标景深扩展图像。

2.根据权利要求1所述的方法，其特征在于，在所述利用所述双像素传感器，获取目标对象的左像素图和右像素图之前，所述方法还包括：

构建训练所述景深扩展模型所需的数据集，所述数据集包括多个数据组，每一个数据组中至少包括一张样本左像素图和一张样本右像素图；

将所述数据集中每一个数据组中的样本左像素图和样本右像素图作为输入图像，输入网络模型进行迭代训练至满足设定要求；

将满足设定要求时的网络模型作为所述景深扩展模型。

3.根据权利要求2所述的方法，其特征在于，所述构建训练所述景深扩展模型所需的数据集，包括：

标定不同距离下，所述双像素传感器上的模糊核，得到不同深度信息与不同模糊核之间的对应关系；

从公开数据集中获取样本彩色模式RGB图像和所述样本RGB图像对应的样本深度图像，所述公开数据集中的所述样本RGB图像和所述样本深度图像由具有多摄像头模组的第二电子设备提供，所述样本RGB图像为在焦场景下拍摄的RGB图像；

根据所述双像素传感器对应的成像通路，将获取到的每一个所述样本RGB图像退化到样本RAW图像；

对于每一个所述样本RAW图像，根据对应的所述样本深度图像从所述对应关系中选择所述样本RAW图像对应的模糊核；

对于每一个所述样本RAW图像，根据选择的所述模糊核对所述样本RAW图像进行处理，得到所述样本RAW图像对应的样本左像素图和样本右像素图，并将所述样本左像素图、所述样本右像素图和所述样本RGB图像作为一个数据组；

汇总每一个所述样本RGB图像对应的数据组，得到构建训练所述景深扩展模型所需的数据集。

4.根据权利要求3所述的方法，其特征在于，所述双像素传感器上的模糊核包括左模糊核、右模糊核和联合模糊核，所述联合模糊核为根据左像素图和右像素图联合生成的RAW图像对应的模糊核，所述左模糊核为所述RAW图像中所述左像素图对应的模糊核，所述右模糊核为所述RAW图像中所述右像素图对应的模糊核；

所述根据所述双像素传感器对应的成像通路，将获取到的每一个所述样本RGB图像退化到样本RAW图像，包括：

对于每一个所述样本RGB图像，根据对应的所述样本深度图像从所述对应关系中选择对应的联合模糊核；

根据所述双像素传感器对应的成像通路和每一个所述样本RGB对应的所述联合模糊核，将获取到的每一个所述样本RGB图像退化到样本RAW图像；

所述对于每一个所述样本RAW图像，根据对应的所述样本深度图像从所述对应关系中选择所述样本RAW图像对应的模糊核，包括：

对于每一个所述样本RAW图像，根据对应的所述样本深度图像从所述对应关系中选择所述样本RAW图像对应的左模糊核右模糊核；

所述对于每一个所述样本RAW图像，根据选择的所述模糊核对所述样本RAW图像进行处理，得到所述样本RAW图像对应的样本左像素图和样本右像素图，包括：

对于每一个所述样本RAW图像，根据选择的所述左模糊对所述样本RAW图像进行处理，得到所述样本RAW图像对应的样本左像素图，根据选择的所述右模糊对所述样本RAW图像进行处理，得到所述样本RAW图像对应的样本右像素图。

5.根据权利要求3所述的方法，其特征在于，所述满足设定要求为所述网络模型输出的预测景深扩展图像的损失情况满足设定的损失值，所述预测景深图像由所述网络模型基于所述样本左像素图和所述样本右像素图预测获得。

6.根据权利要求5所述的方法，其特征在于，所述预测景深扩展图像的损失情况根据所述样本RGB图像的、所述预测景深扩展图像、X方向的梯度和Y方向的梯度确定。

7.根据权利要求3所述的方法，其特征在于，每一个数据组中还包括一张样本深度图像；

所述方法还包括：

对于每一个所述样本RGB图像，将所述样本左像素图、所述样本右像素图、所述样本RGB图像和所述样本RGB图像对应的样本深度图像作为一个数据组。

8.根据权利要求7所述的方法，其特征在于，所述满足设定要求为所述网络模型输出的预测景深扩展图像的损失情况和所述预测深度图像的损失情况满足设定的损失值，所述预测景深图像和所述预测深度图像均由所述网络模型基于所述样本左像素图和所述样本右像素图预测获得。

9.根据权利要求8所述的方法，其特征在于，所述预测景深扩展图像的损失情况根据所述样本RGB图像的、所述预测景深扩展图像、X方向的梯度和Y方向的梯度确定，所述预测深度图像的损失情况根据所述样本深度图像和所述预测深度图像确定。

10.根据权利要求1所述的方法，其特征在于，所述景深扩展模型为卷积神经网络模型。

11.根据权利要求10所述的方法，其特征在于，所述卷积神经网络模型中位于输入源的卷积层与位于输出源的卷积层实现跳跃连接，所述输入源的卷积层之间采用最大池化处理，所述输出源的卷积层之间采用上卷积处理。

12.根据权利要求1至11任一项所述的方法，其特征在于，所述目标景深扩展图像为RGB图像。

13.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器和所述处理器耦合；所述存储器存储有程序指令，所述程序指令由所述处理器执行时，使得所述电子设备执行如权利要求1至12任意一项所述的景深扩展图像生成方法。

14.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至12任意一项所述的景深扩展图像生成方法。

Images