CN112822402B - 图像拍摄方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开图像拍摄方法、装置、电子设备和可读存储介质，其方法包括：获取取景画面的深度图；根据深度图，确定多个对焦点，使深度图的深度范围处于多个对焦点的总景深范围中，多个对焦点的总景深范围根据各个对焦点的景深范围确定；推动镜头至各个对焦点对应的对焦距离，在各对焦距离处分别获得至少一帧根据对焦点拍摄的实拍图像；根据获得的多帧实拍图像融合得到最终图像。本申请通过在取景画面选择多个具有代表性的焦点进行多重对焦，并将在多个焦点处得到的实拍图像进行融合，得到全景深的高清晰度拍摄图像，本申请的方法在无需对硬件进行改造的情况下，实现手段简单，且能够满足用户对高清画面的要求，极大程度上提高用户的体验感受。

Description

图像拍摄方法、装置、电子设备和可读存储介质

技术领域

本申请涉及图像拍摄技术领域，具体涉及图像拍摄方法、装置、电子设备和可读存储介质。

背景技术

随着手机、相机等拍摄设备的普及，人们对图像质量的要求越来越高。在长景深拍摄画面中，在一个对焦点拍照只能保证焦点前后一段有限景深范围内到的清晰度，超出该景深范围的景物清晰度会不同程度的下降，造成画面局部模糊。

现有技术中，为了保证画面清晰度主要采用中心权重对焦法和平均权重对焦法。

中心权重对焦法是以中心确认画面心清晰度最佳为对焦原则，这种方法只能保证主焦点景深范围内的清晰度，画面角落的清晰度不能保证，并且，因模组通光镜头(Lens)和模组感光芯片(sensor)成像平面不平行产生的局部模糊无法补救。

而平均权重对焦法虽然使得画面中心和角度的清晰度达到相对平衡，但是其是以通过牺牲画面中心的部分清晰度达到的。

因此，现有技术中的对焦方法都只能保证主焦点景深范围内的清晰度，无法保证全景深画面的清晰度。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的图像拍摄方法、装置、电子设备和可读存储介质。

依据本申请的第一方面，提供了一种图像拍摄方法，包括：

获取取景画面的深度图；

根据深度图，确定多个对焦点，使深度图的深度范围处于多个对焦点的总景深范围中，多个对焦点的总景深范围根据各个对焦点的景深范围确定；

推动镜头至各个对焦点对应的对焦距离，在各对焦距离处分别获得至少一帧根据对焦点拍摄的实拍图像；

根据获得的多帧实拍图像融合得到最终图像。

优选的，在上述的图像拍摄方法中，根据获得的多帧实拍图像融合得到最终图像包括：

对获得的多帧实拍图像进行特征提取和特征匹配，得到各帧实拍图像的匹配点集；

以各帧实拍图像的匹配点集其中之一为基准点集，将其他各帧实拍图像的匹配点集转换至基准点集所在坐标系中，得到融合点集；

对融合点集进行裂缝融合处理，得到最终图像。

优选的，上述的图像拍摄方法还包括：

根据各多个对焦点及其对应的景深范围，将深度图分割为多个第一子区域；

在各实拍图像中分别分割出与各第一子区域对应的第二子区域；

将得到的各第二子区域进行融合，得到最终图像。

优选的，在上述的图像拍摄方法中，根据各所述多个对焦点及其对应的景深范围，将深度图分割为多个第一子区域包括：

根据一个对焦点及其对应的景深范围，在深度图中确定以该对焦点为中心的第一子区域；

若两个第一子区域存在重合部分，则将该重合部分随机划归于这两个第一子区域中的一个。

优选的，在上述的图像拍摄方法中，在各实拍图像中分别分割出与各第一子区域对应的第二子区域包括：

对各实拍图像进行预处理，以使预处理后的各实拍图像与所述深度图的大小一致；

将各实拍图像与深度图投影到同一原点的坐标系中；

根据第一子区域信息分别从各实拍图像中分割出与第一子区域对应的第二子区域。

优选的，在上述的图像拍摄方法中，根据获得的多帧实拍图像融合得到最终图像包括：

将各第二子区域按照其对应的第一子区域处于深度图中的相对位置拼接在一起，形成最终图像。

优选的，在上述的图像拍摄方法中，获取取景画面的深度图包括：

通过第一相机获取取景画面的第一图像，通过第二相机获取取景画面的第二图像，通过立体匹配算法确定第一图像与第二图像的视差信息，根据视差信息表征的取景画面的深度信息生成深度图；

或，

获取TOF相机拍摄的取景画面的中各像素点深度信息，根据各像素点深度信息生成深度图。

优选的，在上述的图像拍摄方法中，所述根据所述深度图，确定多个对焦点包括：

选取所述取景画面的几何中心为一对焦点，并在靠近所述取景画面的边缘的预设范围内随机选取其余对焦点。

优选的，在上述的图像拍摄方法中，推动镜头至各个对焦点对应的对焦距离包括：

通过闭环马达分别推动镜头至多个对焦点对应的对焦距离。

依据本申请的第二方面，提供了一种图像拍摄装置，包括：

获取单元，用于获取取景画面的深度图；

焦点选取单元，用于根据深度图，确定多个对焦点，使深度图的深度范围处于多个对焦点的总景深范围中，多个对焦点的总景深范围根据各个对焦点的景深范围确定；

镜头控制单元，用于推动镜头至各个对焦点对应的对焦距离，在各对焦距离处分别获得至少一帧根据对焦点拍摄的实拍图像；

融合单元，用于根据获得的多帧实拍图像融合得到最终图像。

优选的，在上述的图像拍摄装置中，融合单元，用于对获得的多帧实拍图像进行特征提取和特征匹配，得到各帧实拍图像的匹配点集；用于以各帧实拍图像的匹配点集其中之一为基准点集，将其他各帧实拍图像的匹配点集转换至基准点集所在坐标系中，得到融合点集；以及用于对融合点集进行裂缝融合处理，得到最终图像。

优选的，上述的图像拍摄装置还包括：图像分割单元，用于根据各多个对焦点及其对应的景深范围，将深度图分割为多个第一子区域；以及用于在各实拍图像中分别分割出与各第一子区域对应的第二子区域；融合单元，还用于将得到的各第二子区域进行融合，得到最终图像。

优选的，在上述的图像拍摄装置中，图像分割单元，用于根据一个对焦点及其对应的景深范围，在深度图中确定以该对焦点为中心的第一子区域；若两个第一子区域存在重合部分，则将该重合部分随机划归于这两个第一子区域中的一个。

优选的，在上述的图像拍摄装置中，图像分割单元，用于对各实拍图像进行预处理，以使预处理后的各实拍图像与深度图大小一致；用于将各实拍图像与深度图投影得到同一原点的坐标系中；以及用于根据第一子区域信息分别从各实拍图像中分割出与第一子区域对应的第二子区域。

优选的，在上述的图像拍摄装置中，融合单元，用于将各第二子区域按照与其对应的第一子区域处于深度图中的相对位置拼接在一起，形成最终图像。

优选的，在上述的图像拍摄装置中，获取单元，用于通过第一相机获取取景画面的第一图像，通过第二相机获取取景画面的第二图像，通过立体匹配算法确定第一图像与第二图像的视差信息，根据视差信息表征的取景画面的深度信息生成深度图；

或，

用于获取TOF相机拍摄的取景画面的中各像素点深度信息，根据各像素点深度信息生成深度图。

优选的，在上述的图像拍摄装置中，焦点选取单元，用于选取所述取景画面的几何中心为一对焦点，并在靠近所述取景画面的边缘的预设范围内随机选取其余对焦点。优选的，在上述的图像拍摄装置中，镜头控制单元，用于通过闭环马达分别推动镜头至多个对焦点对应的对焦距离。

依据本申请的第三方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的图像拍摄方法。

依据本申请的第四方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的图像拍摄方法。

由上述可知，本申请的技术方案，通过获取取景画面的深度图；根据深度图，确定多个对焦点，使深度图的深度范围处于多个对焦点的总景深范围中，多个对焦点的总景深范围根据各个对焦点的景深范围确定；推动镜头至各个对焦点对应的对焦距离，在各对焦距离处分别获得至少一帧根据对焦点拍摄的实拍图像；根据获得的多帧实拍图像融合得到最终图像。本申请的有益效果在于：通过在取景画面选择多个具有代表性的焦点进行多重对焦，并将在多个焦点处得到的实拍图像进行融合，得到全景深的高清晰度拍摄图像，本申请的方法在无需对硬件进行改造的情况下，实现手段简单，且能够满足用户对高清画面的要求，极大程度上提高用户的体验感受。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了现有技术中摄像头模组的结构示意图；

图2示出了根据本申请一个实施例的图像拍摄方法的流程示意图；

图3示出了根据本申请另一个实施例的图像拍摄方法的流程示意图；

图4示出了根据本申请一个实施例的图像拍摄装置；

图5示出了根据本申请一个实施例的电子设备的结构示意图；

图6示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

摄像头模组结构示意图如图1所示，成像原理为：光线依次经过模组通光镜头(Lens)、音圈马达(VCM，Voice Coil Motor)、红外滤光片(IR filter)、模组感光芯片(Sensor)，模组感光芯片将光信号转化为电信号输出，再通过图像信号处理器(ISP，Imagesignal processor)处理得到最终人们观察到的图像。

假设物距为u，像距为v，焦距为f，三者的关系是：1/u+1/v＝1/f，由此关系式可知，为了保证不同物距拍摄的照片都是清晰的，需要改变焦距，而焦距改变的过程就是依赖于VCM推动Lens来实现的。

平面对焦场景中，由于模组通光镜头、音圈马达、模组感光芯片组装过程中存在倾斜；或者模组感光芯片在对焦过程中，存在着运动倾斜等原因，导致模组通光镜头、音圈马达和模组感光芯片平面不垂直，因此模组通光镜头的焦平面四角距离模组感光芯片平面距离不同，导致最终的图像中四角清晰度差异大。

本申请的构思在于，通过在取景画面的深度图中，选择有代表性的对焦点，在每个对焦点处获得该对焦点的景深范围内的高清晰度的实拍图像，且多个对焦点的景深范围能够完全覆盖取景画面的整个景深范围，最后将得到的多帧图像融合，即可得到全景深范围的高清晰图像。

图2示出了根据本申请一个实施例的图像拍摄的流程示意图，包括：

步骤S210，获取取景画面的深度图。

首先，获取取景画面的深度图，在深度图中具有整个取景画面的深度信息，即深度图中的每个像素点即表征该点到镜头(Lens)的距离。

步骤S220，根据深度图，确定多个对焦点，使深度图的深度范围处于多个对焦点的总景深范围中，多个对焦点的总景深范围根据各个对焦点的景深范围确定。

根据深度图中的深度信息，确定多个对焦点，对焦点选择的选择，一方面要保证选取的各个对焦点的景深范围合并在一起能够完全覆盖到上述深度图中的深度信息对应的深度范围；另一方面，为了减少工作量，在满足上述要求的基础上，对焦点的个数选取的应该尽量的少。

在本申请的一些实施例中，推荐一中选取焦点的方法，即能够保证取景画面全景深的清晰度，又能够尽可能地减少焦点的数量，为后续的融合工作减少工作量。具体的，选取所述取景画面的几何中心为一对焦点，并在靠近所述取景画面的边缘的预设范围内随机选取其余对焦点。取景画面大多时候为长方形，这时可以选择长方形的中心为一对焦点，并分别选择长方形对角线上，并靠近长方形的四个端点处的点为对焦点。

对于每个对焦点的景深范围的确定可采用景深计算公式得到，也可在Lens景深表中查找，其中，Lens景深表可在现有技术中查找，景深计算公式如下所述：

ΔL＝Lf-Ln；

其中，ΔL为景深范围，Ln为近景深，Lf为远景深；F为调焦距离；EFL为镜头有效焦距；Fno为光圈系数；COC为弥散圆直径。

而对于根据各个对焦点的景深范围确定多个对焦点的总景深范围，取各个对焦点中最近的近点和最远的远点作为总景深范围即可。

步骤S230，推动镜头至各个对焦点对应的对焦距离，在各对焦距离处分别获得至少一帧根据对焦点拍摄的实拍图像。

然后，将Lens推动至上述多个对焦点对应的对焦距离，并在各对焦距离处以各对焦点对焦拍摄至少一帧图像。如果在某处对焦距离处得到的图像不止一张，可从获得的几张图像中甄选出一张图像，作为该对焦点处的实拍图像，以备后续步骤使用，如在某张图像的整体清晰度小于预设阈值的情况下，可删除该图像；又如在某张图像的畸变大于预设阈值的情况下，可删除该图像。

步骤S240，根据获得的多帧实拍图像融合得到最终图像。

最后，将上述得到多帧实拍图像或者经过遴选而保留下的多帧实拍图像进行融合，得到最终图像。

在融合的过程中，应选取各帧图像中清晰度高的部分与其他图像中清晰度高的部分进行融合，以求达到最佳的拍摄效果。

融合级别可以为数据级融合、特征级融合、决策级融合，如为数据级融合，也称像素级融合，是指直接对传感器采集来得数据进行处理而获得融合图像的过程，这种等级的融合能够保持尽可能多的原始数据，提供很多细微信息。

而融合方法如可包括不限于下述的融合方法，从每张图像中分割出清晰度大于预设阈值的部分，得到各帧图像对应的子图像，各子图像应该完全覆盖取景画面，将获得的各子图像融合在一起，得到最终图像。

如图2所示的方法，通过在取景画面选择多个具有代表性的焦点进行多重对焦，并将在多个焦点处得到的实拍图像进行融合，得到全景深的高清晰度拍摄图像，本申请的方法在无需对硬件进行改造的情况下，实现手段简单，且能够满足用户对高清画面的要求，极大程度上提高用户的体验感受。

在本申请的一些实施例中，对于根据获得的多帧实拍图像融合得到最终图像还可以为特征级别的融合，这里推荐下述的方法，首先，对获得的多帧实拍图像进行特征提取和特征匹配，得到各帧实拍图像的匹配点集。

对于特征提取和特征匹配，可采用现有技术中的任一种或几种，如可采用包括但不限于sift(尺度不变特征变换，Scale-invariant feature transform)、surf(SpeededUp Robust Features，业内暂无统一中文名)、harris角点(业内暂无统一中文名)、ORB(Oriented Fast and Rotated Brief，业内暂无统一中文名)等算法因子。

下面，以基于surf算法为例进行说明，surf算法在解决尺度不变性的基础上，具有较高的计算效率。surf算法对于两幅图像中不同尺度的同一个物体点，计算得到的两个尺度因子之间的比率尽量等于图像尺度的比率。这里假设目标图像有两张，分别记为第一目标图像和第二目标图像，其过程可简略描述如下：将第一和第二目标图像进行灰度图转换，并进行提取特征点，特征点提取可采用但不限于海塞矩阵阈值，阈值越大点越少，越精准；然后可以将特征点进行描述，为后续的特征匹配做准备；然后进行匹配特征点，获得最优的匹配点集。

然后以各帧实拍图像中的匹配点集其中之一为基准点集，这里以第一目标图像的匹配点集作为基准点集，将其他各帧实拍图像的匹配点集转换至基准点集所在坐标系，即将第二目标图片的匹配点集可通过矩阵转换至基准点集所在的坐标系，由此得到第一目标图像和第二目标体现的融合点集。

最后，对融合点集进行裂缝融合处理，得到最终图像。通常情况下，两图的拼接并不自然，原因就在于拼接图的交界处，两图因为光照色泽的原因使得两图交界处的过渡效果不是很好，所以需要对裂缝进行融合，这里推荐采用加权融合解决这一问题，即在重叠部分由前一幅图像慢慢过渡到第二幅图，将图像的重叠区域的像素值按一定的权值相加合成最终的图像。

在本申请的一些实施例中，推荐了另外一种最终图像的获得方法，包括：将深度图分割为多个第一子区域，并在各实拍图像中，分别分割出与第一子区域对应的第二子区域，并将得到的多个第二子区域融合，得到最终图像。

具体的，首先，根据各多个对焦点及其对应的景深范围，将深度图分割为多个第一子区域。

举例而言，根据深度图确定了2个对焦点，记为左焦点和右焦点，在距离焦点处的一定范围内的图像都是处于该焦点的景深范围内，因此具有较高的清晰度。在这个基础上可将深度图分为左右两个部分，记为第一左区域和第一右区域，其中，第一左区域包括左焦点以及左焦点对应的景深范围的图像的部分或全部，第一右区域包括右焦点，以及右焦点对应的景深范围的图像的部分或全部。

子区域的表示方法可以为区域坐标和/或图像点集，推荐使用区域坐标，如第一子区域为正方形或长方形的情况下，区域坐标为左上角和右下角坐标；又如第一子区域为不规则形状的情况下，区域坐标可以为其边角坐标，且坐标个数以少数为宜，以能够准确表征第一子区域形状为限。

然后在根据与第一子区域对应的相同的对焦点获得的实拍图像中分别分割出与各第一子区域对应的第二子区域，以上述左焦点为例，从在左焦点对应的对焦距离处根据左焦点获得的实拍图像中，分割出与第一左区域对应的第二左区域，同理，从在右焦点对应的对焦距离处根据右焦点获得的实拍图像中，分割出与第一右区域对应的第二右区域。

最后，将得到的各第二子区域进行融合，得到最终图像。在本实施例中，将第二左区域和第二右区域融合，即得到最终图像。

在本申请的一些实施例中，进一步的，对于第一子区域的分割还可以通过在深度图中选取一个对焦点，并确定该对焦点对应的景深范围，以该对焦点为中心划分第一子区域，第一子区域对应着该对焦点的整个景深范围或者处于该对焦点的整个景深范围内，以保证清晰度。

在一些情况下，多个第一子区域之间存在着重合部分，在这种情况下，可将该重合部分随机划归于这两个第一子区域中的一个。

在本申请的一些实施例中，根据第一子区域划分第二子区域可采用下述方法，首先，对各实拍图像进行预处理，预处理的目的是使预处理后的各实拍图像与深度图大小一致，其中预处理可为以下处理手段的一种或几种的结合：旋转、缩放、畸变矫正等。

然后，将各实拍图像与深度图投影得到同一原点的坐标系中，并根据第一子区域信息分别从与第一子区域对应的相同的对焦点处获得的实拍图像中分割出与第一子区域对应的第二子区域。仍然以上述的左焦点以及根据左焦点确定的第一左区域为例，在根据左焦点获得的实拍图像中，将与第一左区域位置相同的区域分割为第二左区域，以此类推，获得多个第二子区域。

在本申请的一些实施例中，在通过上述方法获得多个第二子区域后，将各第二子区域按照与其对应的第一子区域处于深度图中的相对位置拼接在一起，即可形成最终图像。由于分割过程已经保证了清晰度以及图像大小的一致性，因此，不做裂缝的融合处理也可以得到很自然的融合效果；若追求卓越的图像品质，也可以增加裂缝处理过程。

在本申请的一些实施例中，获取取景画面的深度图可采用现有技术中的一种或几种的组合，这里推荐两种。其一，在拍摄设备安装TOF相机的情况下，通过TOF相机拍摄取景画面中各像素点的深度信息生成深度图。

其二，在拍摄设备具有两个或以上摄像头的情况下，可根据不同相机获得的视觉差来生成深度图，其原理是通过两个相隔一定距离的摄像机同时获取同一场景的两幅图像，通过立体匹配算法找到两幅图像中对应的像素点，随后根据三角原理计算出时差信息，而视差信息通过转换可用于表征场景中物体的深度信息。具体步骤可以为但不限于通过第一相机获取取景画面的第一图像，通过第二相机获取取景画面的第二图像，通过立体匹配算法确定第一图像与第二图像的视差信息，根据视差信息表征的取景画面的深度信息生成所述深度图。

在本申请的一些实施例中，可通过闭环马达分别推动镜头至多个对焦点对应的对焦距离。闭环马达可以通过反馈控制环节加快对焦过程，缩短图像的生成时间。

图3示出了根据本申请另一个实施例的图像拍摄方法的流程示意图，从图3可以看出，该实施例包括：

步骤S310，获取TOF相机拍摄取景画面中各像素点的深度信息，并根据深度信息生成深度图。

步骤S320，在深度图中，确定4个对焦点，并确保取景画面的景深范围处于根据4个对焦点确定的最大景深范围中。

步骤S330，通过闭环马达将镜头分别推至各对焦点对应的对焦距离，并在各对焦距离处根据对焦点获得至少一帧实拍图像，通过遴选，确定出每个对焦点对应的实拍图像，用于后续步骤。

步骤S340，根据各个对焦点以及对应的景深范围，将深度图分割为4个第一子区域，第一子区域通过区域坐标表征，其中，每个第一子区域均是以对焦点为中心的，且第一子区域均处在各焦点的景深范围内。

步骤S350，将各实拍图像进行预处理，使得实拍图像与深度图大小一致，并将其均投入到与深度图同一原点的坐标系中，根据各第一子区域的区域坐标，分别从与各第一子区域相同的对焦点的实拍图像中分割出各第二子区域，各第二子区域也采用区域坐标表征。

步骤S360，将各第二子区域拼接起来，各相对第二子区域的位置关系与其对应的第一子区域在深度图中的位置一致，即得到最终图像。

图4示出了根据本申请一个实施例的图像拍摄装置，如图4所示，该图像拍摄装置400包括：

获取单元410，用于获取取景画面的深度图。

首先，获取取景画面的深度图，在深度图中具有整个取景画面的深度信息，即深度图中的每个像素点即表征该点到镜头(Lens)的距离。

焦点选取单元420，用于根据深度图，确定多个对焦点，使深度图的深度范围处于多个对焦点的总景深范围中，多个对焦点的总景深范围根据各个对焦点的景深范围确定。

根据深度图中的深度信息，确定多个对焦点，对焦点选择的选择，一方面要保证选取的各个对焦点的景深范围合并在一起能够完全覆盖到上述深度图中的深度信息表征的深度范围；另一方面，为了减少工作量，在满足上述要求的基础上，对焦点的个数选取的应该尽量的少。

在本申请的一些实施例中，推荐一中选取焦点的方法，即能够保证取景画面全景深的清晰度，又能够尽可能地减少焦点的数量，为后续的融合工作减少工作量。具体的，选取所述取景画面的几何中心为一对焦点，并在靠近所述取景画面的边缘的预设范围内随机选取其余对焦点。取景画面大多时候为长方形，这时可以选择长方形的中心为一对焦点，并分别选择长方形对角线上，并靠近长方形的四个端点处的点为对焦点。

对于每个对焦点的景深范围的确定可采用景深计算公式得到，也可在Lens景深表中查找，其中，Lens景深表可在现有技术中查找，景深计算公式如下所述：

ΔL＝Lf-Ln；

其中，ΔL为景深范围，Ln为近景深，Lf为远景深；F为调焦距离；EFL为镜头有效焦距；Fno为光圈系数；COC为弥散圆直径。

而对于根据各个对焦点的景深范围确定多个对焦点的总景深范围，取各个对焦点中最近的近点和最远的远点作为总景深范围即可。

镜头控制单元430，用于推动镜头至各个对焦点对应的对焦距离，在各对焦距离处分别获得至少一帧根据对焦点拍摄的实拍图像。

然后将Lens推动至上述多个对焦点对应的对焦距离，并在各对焦距离处以各对焦点对焦拍摄至少一帧图像。如果在某处对焦距离处得到的图像不止一张，可从获得的几张图像中甄选出一张图像，以备后续步骤使用，如在某张图像的整体清晰度小于预设阈值的情况下，可删除该图像；又如在某张图像的畸变大于预设阈值的情况下，可删除该图像。

融合单元440，用于根据获得的多帧实拍图像融合得到最终图像。

最后，将上述得到多帧实拍图像或者经过遴选而保留下的多帧实拍图像进行融合，得到最终图像。

在融合的过程中，应选取各帧图像中清晰度高的部分与其他图像中清晰度高的部分进行融合，以求达到最佳的拍摄效果。

融合级别可以为数据级融合、特征级融合、决策级融合，如数据级融合也称像素级融合，是指直接对传感器采集来得数据进行处理而获得融合图像的过程，这种等级的融合能够保持尽可能多的原始数据，提供很多细微信息。

而融合方法如可包括不限于下述的融合方法，从每张图像中分割出清晰度大于预设阈值的部分，得到各帧图像对应的子图像，各子图像应该完全覆盖取景画面，将获得的各子图像融合在一起，到的最终图像。

如图4所示的装置，本申请的装置通过在取景画面选择多个具有代表性的焦点进行多重对焦，并将在多个焦点处得到的实拍图像进行融合，得到全景深的高清晰度拍摄图像，本申请在无需对硬件进行改造的情况下，实现手段简单，且能够满足用户对高清画面的要求，极大程度上提高用户的体验感受。

在本申请的一些实施例中，在上述的图像拍摄装置中，融合单元440，用于对获得的多帧实拍图像进行特征提取和特征匹配，得到各帧实拍图像的匹配点集；用于以各帧实拍图像的匹配点集其中之一为基准点集，将其他各帧实拍图像的匹配点集转换至基准点集所在坐标系中，得到融合点集；以及用于对融合点集进行裂缝融合处理，得到最终图像。

在本申请的一些实施例中，上述的图像拍摄装置400还包括：图像分割单元，用于根据各多个对焦点及其对应的景深范围，将深度图分割为多个第一子区域；以及用于在各实拍图像中分别分割出与各第一子区域对应的第二子区域；融合单元440，还用于将得到的各第二子区域进行融合，得到最终图像。

在本申请的一些实施例中，在上述的图像拍摄装置400中，图像分割单元，用于根据一个对焦点及其对应的景深范围，在深度图中确定以该对焦点为中心的第一子区域；若两个第一子区域存在重合部分，则将该重合部分随机划归于这两个第一子区域中的一个。

在本申请的一些实施例中，在上述的图像拍摄装置400中，图像分割单元，用于对各实拍图像进行预处理，以使预处理后的各实拍图像与所述深度图大小一致；用于将各实拍图像与深度图投影得到同一原点的坐标系中；以及用于根据第一子区域信息分别从各实拍图像中分割出与第一子区域对应的第二子区域。

在本申请的一些实施例中，在上述的图像拍摄装置400中，融合单元440，用于将各第二子区域按照其处于深度图中的相对位置拼接在一起，形成最终图像。

在本申请的一些实施例中，在上述的图像拍摄装置400中，获取单元410，用于通过第一相机获取取景画面的第一图像，通过第二相机获取取景画面的第二图像，通过立体匹配算法确定第一图像与第二图像的视差信息，根据视差信息表征的取景画面的深度信息生成深度图；

或，

用于获取TOF相机拍摄的取景画面的中各像素点深度信息，根据各像素点深度信息生成深度图。

在本申请的一些实施例中，在上述的图像拍摄装置400中，焦点选取单元420，用于以取景画面的几何中心为一焦点，其余焦点在靠近取景画面的边缘的预设范围内随机选取。

在本申请的一些实施例中，在上述的图像拍摄装置400中，镜头控制单元430，用于通过闭环马达分别推动镜头至多个对焦点对应的对焦距离。

需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的图像拍摄装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图5示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备500包括处理器510和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器520。存储器520可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器520具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码531的存储空间530。例如，用于存储计算机可读程序代码的存储空间530可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码531。计算机可读程序代码531可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图6所示的计算机可读存储介质。图6示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质600存储有用于执行根据本申请的方法步骤的计算机可读程序代码531，可以被电子设备500的处理器510读取，当计算机可读程序代码531由电子设备500运行时，导致该电子设备500执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码531可以执行上述任一实施例中示出的方法。计算机可读程序代码531可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (11)

1.一种图像拍摄方法，其特征在于，包括：

获取取景画面的深度图；

根据所述深度图，确定多个对焦点，使所述深度图的深度范围处于所述多个对焦点的总景深范围中，所述多个对焦点的总景深范围根据各个对焦点的景深范围确定，其中，所述根据所述深度图，确定多个对焦点，包括：

根据所述深度图中的深度信息，选取所述取景画面的几何中心为一对焦点，并在靠近所述取景画面的边缘的预设范围内随机选取其余对焦点；

对于各个对焦点的景深范围的确定包括：在Lens景深表中查找或者采用景深计算公式得到，所述景深计算公式为：

ΔL＝Lf-Ln；

其中，ΔL为景深范围，Ln为近景深，Lf为远景深；F为调焦距离；EFL为镜头有效焦距；Fno为光圈系数；COCO为弥散圆直径；

推动镜头至各个对焦点对应的对焦距离，在各所述对焦距离处分别获得至少一帧根据对焦点拍摄的实拍图像；

根据获得的多帧实拍图像融合得到最终图像；

所述方法还包括：

根据各所述多个对焦点及其对应的景深范围，将所述深度图分割为多个第一子区域，

在各所述实拍图像中分别分割出与各第一子区域对应的第二子区域；

将得到的各所述第二子区域进行融合，得到最终图像。

2.根据权利要求1所述的方法，其特征在于，所述根据获得的多帧实拍图像融合得到最终图像包括：

对获得的多帧实拍图像进行特征提取和特征匹配，得到各帧实拍图像的匹配点集；

以所述各帧实拍图像的匹配点集其中之一为基准点集，将其他各帧实拍图像的匹配点集转换至所述基准点集所在坐标系中，得到融合点集；

对所述融合点集进行裂缝融合处理，得到最终图像。

3.根据权利要求1所述的方法，其特征在于，所述根据各所述多个对焦点及其对应的景深范围，将所述深度图分割为多个第一子区域包括：

根据一个对焦点及其对应的景深范围，在深度图中确定以该对焦点为中心的第一子区域；

若两个第一子区域存在重合部分，则将该重合部分随机划归于这两个第一子区域中的一个。

4.根据权利要求1所述的方法，其特征在于，所述在各实拍图像中分别分割出与各所述第一子区域对应的第二子区域包括：

对各所述实拍图像进行预处理，以使预处理后的各实拍图像与所述深度图的大小一致；

将所述各实拍图像与所述深度图投影到同一原点的坐标系中；

根据第一子区域信息分别从各所述实拍图像中分割出与所述第一子区域对应的第二子区域。

5.根据权利要求1所述的方法，其特征在于，所述根据获得的多帧实拍图像融合得到最终图像包括：

将各所述第二子区域按照其对应的第一子区域处于所述深度图中的相对位置拼接在一起，形成所述最终图像。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述获取取景画面的深度图包括：

通过第一相机获取所述取景画面的第一图像，通过第二相机获取所述取景画面的第二图像，通过立体匹配算法确定所述第一图像与所述第二图像的视差信息，根据所述视差信息表征的所述取景画面的深度信息生成所述深度图；

或，

获取TOF相机拍摄的所述取景画面的中各像素点深度信息，根据所述各像素点深度信息生成所述深度图。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述深度图，确定多个对焦点包括：

选取所述取景画面的几何中心为一对焦点，并在靠近所述取景画面的边缘的预设范围内随机选取其余对焦点。

8.根据权利要求1-5任一项所述的方法，其特征在于，所述推动镜头至各个对焦点对应的对焦距离包括：

通过闭环马达分别推动所述镜头至所述多个对焦点对应的对焦距离。

9.一种图像拍摄装置，其特征在于，包括：

获取单元，用于获取取景画面的深度图；

焦点选取单元，用于根据所述深度图，确定多个对焦点，使所述深度图的深度范围处于所述多个对焦点的总景深范围中，所述多个对焦点的总景深范围根据各个对焦点的景深范围确定，其中，所述根据所述深度图，确定多个对焦点，包括：

根据所述深度图中的深度信息，选取所述取景画面的几何中心为一对焦点，并在靠近所述取景画面的边缘的预设范围内随机选取其余对焦点；

对于各个对焦点的景深范围的确定包括：在Lens景深表中查找或者采用景深计算公式得到，所述景深计算公式为：

ΔL＝Lf-Ln；

其中，ΔL为景深范围，Ln为近景深，Lf为远景深；F为调焦距离；EFL为镜头有效焦距；Fno为光圈系数；COC为弥散圆直径；

镜头控制单元，用于推动镜头至各个对焦点对应的对焦距离，在各所述对焦距离处分别获得至少一帧根据对焦点拍摄的实拍图像；

融合单元，用于根据获得的多帧实拍图像融合得到最终图像；

其中，所述融合单元还用于根据各所述多个对焦点及其对应的景深范围，将所述深度图分割为多个第一子区域，

在各所述实拍图像中分别分割出与各第一子区域对应的第二子区域；

将得到的各所述第二子区域进行融合，得到最终图像。

10.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至8中任一项所述的图像拍摄方法。

11.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1至8中任一项所述的图像拍摄方法。

Images