CN112862880B - 深度信息获取方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请涉及一种深度信息获取方法、装置、电子设备和计算机可读存储介质。上述方法包括：获取目标像素的相位差值，相位差值包括第一方向的相位差值和第二方向相位差值，第一方向和第二方向成预设夹角，根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息。由于可以获取成预设夹角的第一方向和第二方向分别对应的相位差值，针对不同的拍摄条件，可以选择第一方向的相位差值和第二方向的相位差值中其中一个确定深度信息，可以提高深度信息的准确性。

Description

深度信息获取方法、装置、电子设备和存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种深度信息获取方法、装置、电子设备和计算机可读存储介质。

背景技术

随着影像技术的发展，图像的深度信息的应用越来越广泛，例如，可以根据图像的深度信息进行对焦、图像虚化、三维重建等。目前，较为常见的是在电子设备配置两个位置不同的摄像头，根据位置不同的两个摄像头拍摄的图像中被拍摄物体的视差确定被拍摄物体的深度信息。

然而，受被拍摄物体的纹理的影响，根据两个摄像头分别拍摄图像计算的被拍摄物体的视差容易出现误差，存在确定的深度信息不准确的问题。

发明内容

本申请实施例提供一种深度信息获取方法、装置、电子设备和计算机可读存储介质，可以提高深度信息的准确性。

一种深度信息获取方法，应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括阵列排布的多个像素点组，每个所述像素点组包括阵列排布的M*N个像素点；每个像素点对应一个感光单元，其中，M和N均为大于或等于2的自然数；所述方法包括：

获取目标像素对应的相位差值，所述相位差值包括第一方向的相位差值和第二方向的相位差值，所述第一方向与所述第二方向成预设夹角；

根据所述第一方向的相位差值或所述第二方向的相位差值确定所述目标像素对应的深度信息。

一种深度信息获取装置，应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括阵列排布的多个像素点组，每个所述像素点组包括阵列排布的M*N个像素点；每个像素点对应一个感光单元，其中，M和N均为大于或等于2的自然数；所述装置包括：

相位差获取模块，用于获取目标像素对应的相位差值，所述相位差值包括第一方向的相位差值和第二方向的相位差值，所述第一方向与所述第二方向成预设夹角；

深度信息确定模块，用于根据所述第一方向的相位差值或所述第二方向的相位差值确定所述目标像素对应的深度信息。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取目标像素对应的相位差值，所述相位差值包括第一方向的相位差值和第二方向的相位差值，所述第一方向与所述第二方向成预设夹角；

根据所述第一方向的相位差值或所述第二方向的相位差值确定所述目标像素对应的深度信息。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取目标像素对应的相位差值，所述相位差值包括第一方向的相位差值和第二方向的相位差值，所述第一方向与所述第二方向成预设夹角；

根据所述第一方向的相位差值或所述第二方向的相位差值确定所述目标像素对应的深度信息。

上述深度信息获取方法、装置、电子设备和计算机可读存储介质，可以获取目标像素在第一方向的相位差值和第二方向相位差值，第一方向和第二方向成预设夹角，根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息，由于可以获取相互垂直的第一方向和第二方向分别对应的相位差值，针对不同的拍摄条件，可以选择第一方向的相位差值和第二方向的相位差值中其中一个确定深度信息，可以提高深度信息的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中深度图获取方法的应用环境示意图；

图2为一个实施例中图像传感器的一部分的示意图；

图3为一个实施例中像素点的结构示意图；

图4为一个实施例中第一摄像头的内部结构示意图；

图5为一个实施例中像素点组上设置滤光片的示意图；

图6为一个实施例中深度信息获取方法的流程图；

图7为一个实施例中深度信息获取方法的流程图；

图8为一个实施例中对焦距离对应的景深的示意图；

图9为一个实施例中深度信息获取方法的流程图；

图10为一个实施例中获取相位差值的流程图；

图11为一个实施例中像素点组的示意图；

图12为另一个实施例获取目标亮度图的流程图；

图13为一个实施例的深度信息获取装置的结构框图；

图14为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一摄像头称为第二摄像头，且类似地，可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是摄像头，但其不是同一摄像头。

图1为一个实施例中深度信息获取方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。该电子设备包含图像传感器，图像传感器包括阵列排布的多个像素点组，每个像素点组包括阵列排布的M*N个像素点；每个像素点对应一个感光单元，其中，M和N均为大于或等于2的自然数。电子设备110可以获取目标像素对应的相位差值，相位差值包括第一方向的相位差值和第二方向的相位差值，第一方向和第二方向成预设夹角，根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息。其中，电子设备110可以不限于是各种手机、平板电脑、可穿戴式设备等。

在一个实施例中，本申请提供了一种成像组件。成像组件包括图像传感器。图像传感器可以为金属氧化物半导体元件(英文：Complementary Metal Oxide Semiconductor；简称：CMOS)图像传感器、电荷耦合元件(英文：Charge-coupled Device；简称：CCD)、量子薄膜传感器或者有机传感器等。

图2为一个实施例中图像传感器的一部分的示意图。具体地，图像传感器包括阵列排布的多个像素点组Z，每个像素点组Z包括阵列排布的多个像素点D，每个像素点D对应一个感光单元。多个像素点包括M*N个像素点，其中，M和N均为大于或等于2的自然数。每个像素点D包括阵列排布的多个子像素点d。也就是每个感光单元可以由多个阵列排布的感光元件组成。其中，感光元件是一种能够将光信号转化为电信号的元件。在一个实施例中，感光元件可为光电二极管。本实施例中，每个像素点组Z包括2*2阵列排布的4个像素点D，每个像素点可包括2*2阵列排布的4个子像素点d。其中，每个像素点D包括2*2个光电二极管，2*2个光电二极管与2*2阵列排布的4个子像素点d对应设置。每个光电二极管用于接收光信号并进行光电转换，从而将光信号转换为电信号输出。每个像素点D所包括的4个子像素点d与同一颜色的滤光片对应设置，因此每个像素点D对应于一个颜色通道，比如红色R通道，或者绿色通道G，或者蓝色通道B。

如图3所示，以每个像素点D包括子像素点1、子像素点2、子像素点3和子像素点4为例，可将子像素点1和子像素点2信号合并输出，子像素点3和子像素点4信号合并输出，从而构造成沿着第二方向(即竖直方向)的两个PD像素对，根据两个PD像素对的相位值可以确定像素点D内各子像素点沿第二方向的PD值(相位差值)。将子像素点1和子像素点3信号合并输出，子像素点2和子像素点4信号合并输出，从而构造沿着第一方向(即水平方向)的两个PD像素对，根据两个PD像素对的相位值可以确定像素点D内各子像素点沿第一方向的PD值(相位差值)。

图4为一个实施例中第一摄像头的内部结构示意图。如图4所示，该第一摄像头包括微透镜40、滤光片42和成像组件44。微透镜40、滤光片42和成像组件44依次位于入射光路上，即微透镜40设置在滤光片42之上，滤光片42设置在成像组件44上。

滤光片42可包括红、绿、蓝三种，分别只能透过红色、绿色、蓝色对应波长的光线。一个滤光片42设置在一个像素点上。

成像组件44包括图2中的图像传感器。图像传感器包括阵列排布的多个像素点组Z，每个像素点组Z包括阵列排布的多个像素点D，每个像素点D对应一个感光单元，每个感光单元可以由多个阵列排布的感光元件组成。本实施例中，每个像素点D包括2*2阵列排布的4个子像素点d，每个子像素点d对应一个光电二极管442，即2*2个光电二极管442与2*2阵列排布的4个子像素点d对应设置。

在其他实施例中，滤光片也可以是白色，方便较大光谱(波长)范围的光线通过，增加透过白色滤光片的光通量。

透镜40用于接收入射光，并将入射光传输给滤光片42。滤光片42对入射光进行滤波处理后，将滤波处理后的光以像素为基础入射到成像组件44上。

成像组件44包括的图像传感器中的感光单元通过光电效应将从滤光片42入射的光转换成电荷信号，并生成与电荷信号一致的像素信号，经过一系列处理后最终输出图像。

由上文说明可知，图像传感器包括的像素点与图像包括的像素是两个不同的概念，其中，图像包括的像素指的是图像的最小组成单元，其一般由一个数字序列进行表示，通常情况下，可以将该数字序列称为像素的像素值。本申请实施例对“图像传感器包括的像素点”以及“图像包括的像素”两个概念均有所涉及，为了方便读者理解，在此进行简要的解释。图5为一个实施例中像素点组上设置滤光片的示意图。像素点组Z包括按照两行两列的阵列排布方式进行排布的4个像素点D，其中，第一行第一列的像素点的颜色通道为绿色，也即是，第一行第一列的像素点上设置的滤光片为绿色滤光片；第一行第二列的像素点的颜色通道为红色，也即是，第一行第二列的像素点上设置的滤光片为红色滤光片；第二行第一列的像素点的颜色通道为蓝色，也即是，第二行第一列的像素点上设置的滤光片为蓝色滤光片；第二行第二列的像素点的颜色通道为绿色，也即是，第二行第二列的像素点上设置的滤光片为绿色滤光片。

图6为一个实施例中深度信息获取方法的流程图。本申请实施例中的深度信息获取方法，以运行于上述电子设备为例进行描述。如图6所示，该深度信息获取方法包括步骤602至步骤604。其中：

步骤602，获取目标像素对应的相位差值，相位差值包括第一方向的相位差值和第二方向的相位差值，第一方向与第二方向成预设夹角。

目标像素为图像中包含的像素。其中，图像可以是电子设备通过上述第一摄像头采集的图像，也可以是存储在电子设备本地或者从网络下载的图像等。具体地，对于存储于电子设备本地和从网络下载的图像，图像可以携带有包含的像素所对应的相位差值。本申请实施例中以目标像素为电子设备通过第一摄像头采集的图像中的像素为例进行说明。

相位差值包括第一方向的相位差值和第二方向的相位差值，并且，第一方向与第二方向成预设夹角。该预设夹角可为除0度、180度和360度外的任意角度。本申请实施例中以第一方向为水平方向、第二方向为竖直方向为例进行说明。

电子设备获取目标像素对应的相位差值，具体地，电子设备通过第一摄像头拍摄图像时，可以生成该图像对应的相位差图，电子设备可以根据目标像素的位置从相位差图中相同位置的像素所对应的相位差值。

步骤604，根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息。

电子设备可以根据第一方向的相位差或第二方向的相差值确定目标像素对应的深度信息。具体地，电子设备可以选择第一方向的相位差值和第二方向的相差差值中的其中一个确定目标像素对应的深度信息。可选地，电子设备可以按照第一方向的相位差值的置信度和第二方向的相位差值的置信度选择第一方向的相位差值和第二方向的相差差值中的其中一个确定目标像素对应的深度信息；其中，置信度越高，则说明对应的相位差值的可信度越高，则确定的深度信息的准确性越高。

可选地，电子设备还可以检测目标像素所在的图像的纹理方向，根据图像的纹理方向选择第一方向的相位差值和第二方向的相差差值中的其中一个确定目标像素对应的深度信息。

电子设备根据第一方向的相位差值或第二方向的相位差值确定目标像素所对应的深度信息，具体地，电子设备可以根据目标像素的相位差值确定该目标像素对应的离焦值，根据摄像头成像原理及该离焦值可以转换得到该目标像素所对应的深度信息。

通常，目标像素的相位差值越小，则说明该目标像素与第一摄像头的合焦位置的距离越小，也就是说该目标像素所对应的离焦值越小。相位差与离焦值之间的对应关系可以通过标定得到。离焦值与相位差之间的对应关系为：defocus＝PD*slope(DCC)，其中，DCC(Defocus Conversion Coefficient，离焦系数)由标定得到，PD为相位差。

基于几何光学的牛顿公式，有：

其中，depth为像素所对应的深度信息，f为第一摄像头所采用的镜头的焦距，shift为该像素为图像的对焦点时，像距与焦距的差值。像距为第一摄像头进行曝光拍摄时，透镜与图像传感器之间的距离。第一摄像头曝光得到目标亮度图时，透镜与图像传感器之间的距离即像距是确定的，第一摄像头曝光得到目标亮度图时像距与焦距的差值shift_cur是已知的，则像素为图像的对焦点时的shift＝shift_cur+defocus；由此，可以将目标像素所对应的离焦值代入下列公式：

即可以得到目标像素所对应的深度信息。

本申请提供的实施例中，可以获取目标像素在第一方向的相位差值和第二方向的相位差值，根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息，由于可以获取成预设夹角的第一方向和第二方向分别对应的相位差值，针对不同的拍摄条件，可以选择第一方向的相位差值和第二方向的相位差值中其中一个确定深度信息，可以提高深度信息的准确性。

在一个实施例中，提供的深度信息获取方法中根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息，包括：对目标像素所在的第一图像进行纹理检测，得到第一图像的纹理方向；当纹理方向为水平方向时，则根据第二方向的相位差值确定目标像素对应的深度信息；当纹理方向为竖直方向时，则根据第一方向的相位差值确定目标像素对应的深度信息。

电子设备对目标图像所在的第一图像进行纹理检测，可选地，电子设备可以采用训练的纹理检测模型对第一图像进行纹理检测，也可以通过边缘算子等算法对第一图像进行纹理检测。

在一个实施例中，电子设备可以通过边缘算子检测第一图像中的总边缘点数量、第一方向边缘点数量和第二方向边缘点数量；根据第一方向边缘点占总边缘点数量的比值，以及第二方向边缘点数量占总边缘点数量的比值，确定第一图像的纹理方向。

具体地，边缘算子可根据实际情况配置。边缘算子有离散梯度算子、Roberts算子、Laplacian算子、gradient算子和Sobel算子等。Sobel的水平方向的边缘算子为

竖直方向的边缘算子可为

可统计得出第一图像中的总边缘点数量，第一方向边缘点数量和第二方向边缘点数量，当第一方向边缘点占总边缘点数量的比值超过阈值时，则表明第一图像的纹理方向为水平方向，当第二方向边缘点数量占总边缘点数量的比值超过阈值时，则表明该纹理方向为竖直方向。当第一方向边缘点占总边缘点数量的比值超过阈值，且第二方向边缘点数量占总边缘点数量的比值超过阈值，则表明该第一图像包含水平纹理和竖直纹理，针对目标像素处于该水平纹理处，则根据竖直方向的相位差值确定目标像素的深度信息，针对目标像素处于该竖直纹理处，则根据水平方向的相位差值确定目标像素的深度信息。

按照上述纹理检测方式，可以得出第一图像的纹理方向，当纹理方向为水平方向时，则根据第二方向即竖直方向的相位差值确定目标像素对应的深度信息；当纹理方向为竖直方向时，则根据第一方向即水平方向的相位差值确定目标像素对应的深度信息，可以避免采用双摄像头进行测距时，由于被拍摄物体的纹理方向与双摄像头的摆放方向一致，导致双摄像头分别采集的图像计算的视差不准确，进行影响深度信息的准确性的问题，可以提高深度信息的准确性。

在一个实施例中，提供的深度信息获取方法中，根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息的过程，包括：获取第一方向的相位差值的第一置信度和第二方向的相位差值的第二置信度；选取第一置信度和第二置信度中较大的相位差值作为目标相位差值，根据目标相位差值确定目标像素对应的深度信息。

具体地，当第一方向的相位差值和第二方向的相位差值都存在时，电子设备可以求取第一方向的相位差值的第一置信度和第二方向的相位差值的第二置信度。置信度越高，则说明对应的相位差值的可靠性越高。

当第一置信度大于第二置信度时，选取第一方向的相位差值作为目标相位差值，根据目标相位差值得到目标像素所对应的深度信息。

当第一置信度小于第二置信度时，选取第二方向的相位差值作为目标相位差值，根据目标相位差值得到目标像素所对应的深度信息。

当第一置信度等于第二置信度时，可以将第一方向的相位差值和第二方向的相位差值中的任意一个作为目标相位差值，以根据目标相位差值得到目标像素所对应的深度信息。

通过第一方向的相位差值和第二方向的相位差值，根据二者的置信度确定目标相位差值，根据目标相位差值得到对应的深度信息，可以避免存在水平纹理或竖直纹理的场景导致深度信息计算错误的问题，提高深度信息的准确度。

图7为一个实施例中深度信息获取方法的流程图。如图7所示，在一个实施例中，提供的深度信息获取方法包括：

步骤702，获取第一摄像头确定的对焦距离；当对焦距离小于第一距离阈值时，则进入步骤704；当对焦距离大于第二距离阈值时，则进入步骤708。其中，第二距离阈值大于或等于第一距离阈值

电子设备可以包括第一摄像头和第二摄像头。通常，电子设备通过第一摄像头和第二摄像头分别采集的图像之间视差确定被拍摄物体的深度信息。

对焦距离是指第一摄像头确定的对焦点在环境空间中与透镜之间的距离。第一摄像头可以根据上一次曝光得到的目标亮度图确定该对焦距离。具体地，电子设备根据上一曝光得到的目标亮度图可以得到相互匹配的像素的相位差值，从该相位差值从相位差值与离焦值之间的映射关系得到对应的离焦值，第一摄像头根据相互匹配的像素对应的离焦值可以确定镜头的移动距离值和移动方向，根据该移动距离值和移动方向可以确定透镜对应的合焦位置，基于摄像头的成像原理，可以得到透镜处于该合焦位置时对焦点所对应的对焦距离。

可选地，在一个实施例中，第一摄像头确定的对焦距离也可以是根据获取的用户选中的对焦点确定的；即电子设备可以接收用户在预览图像时选中的对焦点，并根据该预览图像对应的深度图获取该对焦点所对应的对焦距离。

步骤704，关闭第二摄像头，获取目标像素对应的相位差值，相位差值包括第一方向的相位差值和第二方向的相位差值，第一方向与第二方向成预设夹角。

步骤706，根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息。

通常，对焦距离越大，则摄像头对应的景深越大，根据相位差确定的深度信息的准确性则越低；反之，对焦距离越小，则摄像头对应的景深越小，根据相位差确定的深度信息的准确性则越高。电子设备可以根据第一摄像头的景深信息与对深度信息的准确性要求设定第一距离阈值，在此不对第一距离阈值的具体取值做限定。

可选地，在一个实施例中，电子设备可以提供不同的深度信息的精确值所对应的第一距离阈值，根据用户选中的精确值采用相对应的第一距离阈值；可选地，电子设备还可以预设不同的应用场景对应的第一距离阈值，从而根据深度信息获取指令所对应的应用场景采用对应的第一距离阈值，其中，应用场景可以包括但不限于是根据深度图对图像进行虚化、三维重建、美颜处理等。

当对焦距离小于第一距离阈值时，则关闭第二摄像头，通过第一摄像头输出的目标像素在第一方向的相位差值或第二方向的相位差值确定目标像素的深度信息，可以在提高深度信息准确性的同时降低电子设备的功耗。

步骤708，获取在同一场景下第一摄像头采集的第一图像和第二摄像头采集的第二图像，目标像素处于第一图像中。

步骤710，根据第一图像和第二图像中相互匹配的像点的视差确定目标像素对应的深度信息。

第二距离阈值大于或等于第一距离阈值。可选地，第二距离阈值可以是根据相位差确定的深度信息的准确性无法满足要求时所对应的对焦距离。

图8为一个实施例中对焦距离对应的景深的示意图。如图8所示，当摄像头拍摄时的对焦距离为7cm时，对应的景深为6.88cm至7.13cm；当对焦距离为10cm时，对应的景深为9.74cm至10.27cm；当对焦距离为20cm时，对应的景深为18.97cm至21.14cm等。由此，对焦距离越远，则对应的景深范围越大，从而根据相位差确定的深度信息的准确性则越低。电子设备根据第一摄像头在不同的对焦距离所对应的景深范围可以确定第一距离阈值和第二距离阈值，例如，第一距离阈值可以是10cm、12cm、15cm、20cm等；第二距离阈值可以是20cm、30cm、50cm、100cm等，在此不做限定。

当对焦距离大于第二距离阈值时，电子设备可以获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，目标像素位于第一图像中，电子设备根据第一图像和第二图像中相互匹配的像点的视差可以确定目标像素所对应的深度信息。第一图像和第二图像通常为第一摄像头和第二摄像头中图像传感器曝光得到的像素点的亮度值经过图像处理器处理后的图像。

具体地，第一摄像头和第二摄像头在电子设备中的位置不同，同一物体在第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像中存在视差，电子设备可以使用尺度不变特征转换(Scale-invariant feature transform，SIFT)方法或加速鲁棒特征(Speed UpRobust Features，SURF)等方法确定第一图像和第二图像中的相互匹配的像点，基于双目测距原理与相互匹配的像点的视差可以确定目标像素所对应的深度信息。

通过当对焦距离小于第一距离阈值时，关闭第二摄像头，根据第一摄像头输出的第一方向的相位差值或第二方向的相位差值确定目标像素深度信息；当对焦距离大于第二距离阈值时，可以获取包括目标像素的第一图像和第二摄像在同一场景采集的第二图像，根据第一图像和第二图像中相互匹配的像点的视差确定目标像素的深度信息，可以在保证深度信息准确性的同时降低电子设备获取深度信息时的功耗。

可选地，在一个实施例中，第二距离阈值大于第一距离阈值，电子设备可以在对焦距离大于或等于第一距离阈值，且小于或等于第二距离阈值时，采用上述根据相位差确定深度信息的方式或者通过第一摄像头和第二摄像头进行双目测距的方式中的任意一种生成目标深度图。

图9为一个实施例中深度信息获取方法的流程图。如图9所示，在一个实施例中，提供的深度信息获取方法中，当对焦距离大于第二距离阈值时，该方法还包括：

步骤902，获取第一摄像头与第二摄像头的位置摆放方向。

具体地，第一摄像头和第二摄像头的位置摆放方向可以认为是连接第一摄像头和第二摄像头的直线的方向。目前，电子设备常用的位置摆放方向为水平方向和竖直方向。

步骤904，对第一图像进行纹理检测，得到第一图像的纹理方向。

步骤906，当位置摆放方向与第一图像的纹理方向不一致时，则获取第一摄像头和第二摄像头分别对同一场景采集的第一图像和第二图像。

步骤908，根据第一图像和第二图像中相互匹配的像点的视差确定目标像素对应的深度信息。

当位置摆放方式与第一图像的纹理方向不一致时，则第一图像和第二图像中包含的相互匹配的像点的准确性较高，电子设备可以获取第一图像和第二图像，根据第一图像和第二图像中相互匹配的像点的视差确定目标像素对应的深度信息。

步骤910，当位置摆放方向与第一图像的纹理方向一致时，则获取目标像素对应的相位差值，相位差值包括第一方向的相位差值和第二方向的相位差值，并关闭第二摄像头。

步骤912，根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息。

当位置摆放方向与第一图像的纹理方向一致时，由于图像在纹理方向的像素值较为接近，则会导致难以检测第一图像和第二图像中相互匹配的像点，相互匹配的像点的视差准确性，电子设备可以在位置摆放方向与第一图像的纹理方向一致时，则关闭第二摄像头，并获取目标像素在第一方向的相位差值和第二方向的相位差值，具体地，当纹理方向为水平方向时，则根据第二方向的相位差值确定深度信息，当纹理方向为竖直方向时，则根据第一方向的相位差值确定深度信息，可以提高深度信息的准确性。

图10为一个实施例中获取相位差值的流程图。如图10所示，在一个实施例中，提供的深度信息获取方法中获取目标像素对应的相位差值的过程，包括：

步骤1002，根据每个像素点组包括的像素点的亮度值获取目标亮度图。

通常情况下，图像传感器的像素点的亮度值可以由该像素点包括的子像素点的亮度值来进行表征。第一摄像头可以根据每个像素点组包括的像素点中子像素点的亮度值来获取该目标亮度图。其中，子像素点的亮度值是指该子像素点对应的感光元件接收到的光信号的亮度值。

如上文，图像传感器包括的子像素点是一种能够将光信号转化为电信号的感光元件，因此，可以根据子像素点输出的电信号来获取该子像素点接收到的光信号的强度，根据子像素点接收到的光信号的强度即可得到该子像素点的亮度值。

本申请实施例中的目标亮度图用于反映图像传感器中子像素点的亮度值，该目标亮度图可以包括多个像素，其中，目标亮度图中的每个像素的像素值均是根据图像传感器中子像素点的亮度值得到的。

电子设备控制第一摄像头进行曝光，从而图像传感器可以通过感光元件接收光信号，得到每一个像素点组包括的像素点的亮度值，根据每一个像素点组包括的像素点的亮度值获取目标亮度图。

步骤1004，对目标亮度图进行切分处理，得到第一切分亮度图和第二切分亮度图，并根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异，生成对应于第一方向的第一相位差图及对应于第二方向的第二相位差图。

在一个实施例中，电子设备可以沿列的方向(图像坐标系中的y轴方向)对该目标亮度图进行切分处理，在沿列的方向对目标亮度图进行切分处理的过程中，切分处理的每一分割线都与列的方向竖直。

在另一个实施例中，电子设备可以沿行的方向(图像坐标系中的x轴方向)对该目标亮度图进行切分处理，在沿行的方向对目标亮度图进行切分处理的过程中，切分处理的每一分割线都与行的方向竖直。

沿列的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为上图和下图。沿行的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为左图和右图。

其中，“相互匹配的像素”指的是由像素本身及其周围像素组成的像素矩阵相互相似。例如，第一切分亮度图中像素a和其周围的像素组成一个3行3列的像素矩阵，该像素矩阵的像素值为：

2 15 70

1 35 60

0 100 1

第二切分亮度图中像素b和其周围的像素也组成一个3行3列的像素矩阵，该像素矩阵的像素值为：

1 15 70

1 36 60

0 100 2

由上文可以看出，这两个矩阵是相似的，则可以认为像素a和像素b相互匹配。判断像素矩阵是否相似的方式很多，通常可对两个像素矩阵中的每个对应像素的像素值求差，再将求得的差值的绝对值进行相加，利用该相加的结果来判断像素矩阵是否相似，也即是，若该相加的结果小于预设的某一阈值，则认为像素矩阵相似，否则，则认为像素矩阵不相似。

例如，对于上述两个3行3列的像素矩阵而言，可以分别将1和2求差，将15和15求差，将70和70求差，……，再将求得的差的绝对值相加，得到相加结果为3，该相加结果3小于预设的阈值，则认为上述两个3行3列的像素矩阵相似。

相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像。例如，第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配。

由于相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像，因此，根据相互匹配的像素的位置差异，即可确定该相互匹配的像素的相位差。

具体地，当第一切分亮度图包括的是偶数行的像素，第二切分亮度图包括的是奇数行的像素，第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配，则根据相互匹配的像素a和像素b的相位差，可以确定第一方向的相位差值，由各个相互匹配的像素在第一方向的相位差值生成第一相位差值图。

当第一切分亮度图包括的是偶数列的像素，第二切分亮度图包括的是奇数列的像素，第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配，则根据相互匹配的像素a和像素b的相位差，可以确定第二方向的相位差值，由各个相互匹配的像素在第二方向的相位差值生成第二相位差值图。

步骤1006，从第一相位差图获取目标像素在第一方向的相位差值，及从第二相位差图获取目标像素在第二方向的相位差值。

具体地，电子设备可以根据目标像素在第一图像中的位置从第一相位差图中获取位置相对应的像素的相位差值即为目标像素在第一方向的相位差值；从第二相位差值中获取位置相对应的像素的相位差值即为目标像素在第二方向的相位差值。

上述像素点组中的像素点的亮度值得到目标亮度图，将目标亮度图划分为两个切分亮度图后，通过像素匹配，可以快速的确定相互匹配的像素的相位差值，同时包含了丰富的相位差值，可以提高相位差值的精确度。

在一个实施例中，提供的深度信息获取方法中根据每个像素点组包括的像素点的亮度值获取目标亮度图的过程，包括：对于每个像素点组，根据像素点组中每个像素点的相同位置处的子像素点的亮度值，获取像素点组对应的子亮度图；根据每个像素点组对应的子亮度图生成目标亮度图。

其中，每个像素点的相同位置处的子像素点指的是在各像素点中排布位置相同的子像素点。

图11为一个实施例中像素点组的示意图。如图11所示，该像素点组包括按照两行两列的阵列排布方式进行排布的4个像素点，该4个像素点分别为D1像素点、D2像素点、D3像素点和D4像素点，其中，每个像素点包括按照两行两列的阵列排布方式进行排布的4个子像素点，其中，子像素点分别为d11、d12、d13、d14、d21、d22、d23、d24、d31、d32、d33、d34、d41、d42、d43和d44。其中，子像素点d11、d21、d31和d41在各像素点中的排布位置相同，均为第一行第一列；子像素点d12、d22、d32和d42在各像素点中的排布位置相同，均为第一行第二列，以此类推。

具体地，电子设备可以从每个像素点中确定相同位置处的子像素点，得到多个子像素点集合；对于每个子像素点集合，根据该子像素点集合中每个子像素点的亮度值，获取该子像素点集合对应的亮度值；根据每个子像素集合对应的亮度值生成子亮度图。进而电子设备可以按照图像传感器中各个像素点组的阵列排布方式，对各个像素点组对应的子亮度图进行拼接，得到目标亮度图。

图12为另一个实施例获取目标亮度图的流程图。如图12所示，在一个实施例中，提供的深度信息获取方法中根据每个像素点组包括的像素点的亮度值获取目标亮度图的过程，包括：

步骤1202，从每个像素点组中确定目标像素点，得到多个目标像素点。

像素点组可以包括阵列排布的多个像素点。电子设备可以从每个像素点组包括的多个像素点中确定一个目标像素点，从而得到多个目标像素点。

可选地，电子设备可以从每个像素点组中确定颜色通道为绿色的像素点(也即是包括的滤光片为绿色滤光片的像素点)，而后，将该颜色通道为绿色的像素点确定为目标像素点。

由于颜色通道为绿色的像素点感光性能较好，因此，将像素点组中颜色通道为绿色的像素点确定为目标像素点，在后续步骤中根据该目标像素点生成的目标亮度图质量较高。

步骤1204，根据每个目标像素点包括的子像素点的亮度值生成每个像素点组对应的子亮度图。

其中，每个像素点组对应的子亮度图包括多个像素，每个像素点组对应的子亮度图中每个像素与该像素点组中目标像素点包括的一个子像素点相对应，每个像素点组对应的子亮度图中每个像素的像素值为对应的子像素点的亮度值。

步骤1206，根据每个像素点组对应的子亮度图生成目标亮度图。

电子设备可以按照图像传感器中各个像素点组的阵列排布方式，对各个像素点组对应的子亮度图进行拼接，得到目标亮度图。

其中，第二种获取目标亮度图的方式中，是根据每个像素点组中一个像素点的亮度值生成该像素点组的子亮度图；而第一种方式中，是根据每个像素点组中每个像素点的相同位置处的子像素点确定的子亮度图，采用第二种方式的运算量更低，而第一种方式相当准确性更高，在实际应用时，电子设备可以选择上述两个获取目标亮度图的方式中的一种。

应该理解的是，虽然图6、7、9、10、12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图6、7、9、10、12中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图13为一个实施例的深度信息获取装置的结构框图。如图13所示，该深度信息获取装置包括：

相位差获取模块1302，用于获取目标像素对应的相位差值，相位差值包括第一方向的相位差值和第二方向的相位差值，第一方向与第二方向成预设夹角；

深度信息确定模块1304，用于根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息。

本申请实施例提供的深度信息获取装置，可以获取目标像素在第一方向的相位差值和第二方向的相位差值，根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息，由于可以获取成预设夹角的第一方向和第二方向分别对应的相位差值，针对不同的拍摄条件，可以选择第一方向的相位差值和第二方向的相位差值中其中一个确定深度信息，可以提高深度信息的准确性。

在一个实施例中，提供的深度信息获取装置还包括纹理检测模块1306，纹理检测模块1306用于对目标像素所在的第一图像进行纹理检测，得到第一图像的纹理方向；深度信息确定模块1304用于当纹理方向为水平方向时，则根据第二方向的相位差值确定目标像素对应的深度信息；当纹理方向为竖直方向时，则根据第一方向的相位差值确定目标像素对应的深度信息。

在一个实施例中，深度信息确定模块1304还可以用于获取第一方向的相位差值的第一置信度和第二方向的相位差值的第二置信度；选取第一置信度和第二置信度中较大的相位差值作为目标相位差值，根据目标相位差值确定目标像素对应的深度信息。

在一个实施例中，相位差获取模块1302还可以用于获取第一摄像头确定的对焦距离；当对焦距离小于第一距离阈值时，则获取目标像素对应的相位差值，并关闭第二摄像头。

在一个实施例中，深度信息确定模块1304还可以用于当对焦距离大于第二距离阈值时，获取在同一场景下第一摄像头采集的第一图像和第二摄像头采集的第二图像，目标像素处于第一图像中；根据第一图像和第二图像中相互匹配的像点的视差确定目标像素对应的深度信息；其中，第二距离阈值大于或等于第一距离阈值。

在一个实施例中，深度信息确定模块1304还可以用于当位置摆放方向与第一图像的纹理方向不一致时，则获取第一摄像头和第二摄像头分别对同一场景采集的第一图像和第二图像，根据第一图像和第二图像中相互匹配的像点的视差确定目标像素对应的深度信息。

在一个实施例中，深度信息确定模块1304还可以用于当位置摆放方向与第一图像的纹理方向一致时，则获取目标像素对应的相位差值的操作，并关闭第二摄像头，根据第一方向的相位差值或第二方向的相位差值确定目标像素对应的深度信息。

在一个实施例中，相位差获取模块1302还可以用于根据每个像素点组包括的像素点的亮度值获取目标亮度图；对目标亮度图进行切分处理，得到第一切分亮度图和第二切分亮度图，并根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异，生成对应于第一方向的第一相位差图及对应于第二方向的第二相位差图；从第一相位差图获取目标像素在第一方向的相位差值，及从第二相位差图获取目标像素在第二方向的相位差值。

在一个实施例中，提供的深度信息获取装置还包括亮度图获取模块1308，用于对于每个像素点组，根据像素点组中每个像素点的相同位置处的子像素点的亮度值，获取像素点组对应的子亮度图；根据每个像素点组对应的子亮度图生成目标亮度图。

在一个实施例中，亮度图获取模块1308还可以用于从每个像素点组中确定目标像素点，得到多个目标像素点；根据每个目标像素点包括的子像素点的亮度值生成每个像素点组对应的子亮度图；根据每个像素点组对应的子亮度图生成目标亮度图。

上述深度信息获取置中各个模块的划分仅用于举例说明，在其他实施例中，可将深度信息获取装置按照需要划分为不同的模块，以完成上述深度信息获取装置的全部或部分功能。

图14为一个实施例中电子设备的内部结构示意图。如图14所示，该电子设备包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该电子设备还包括第一摄像头，第一摄像头包括图像传感器，图像传感器包括阵列排布的多个像素点组，每个像素点组包括阵列排布的多个像素点，该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种深度信息获取方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的深度信息获取装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行深度信息获取方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行深度信息获取方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种深度信息获取方法，其特征在于，应用于电子设备，所述电子设备包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头分别包括图像传感器，所述图像传感器包括阵列排布的多个像素点组，每个所述像素点组包括阵列排布的M*N个像素点；每个像素点对应一个感光单元，其中，M和N均为大于或等于2的自然数；所述方法包括：

获取所述第一摄像头确定的对焦距离；

当所述对焦距离小于第一距离阈值时，获取目标像素对应的相位差值，并关闭所述第二摄像头，所述相位差值包括第一方向的相位差值和第二方向的相位差值，所述第一方向与所述第二方向成预设夹角；

根据所述第一方向的相位差值或所述第二方向的相位差值确定所述目标像素对应的深度信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一方向的相位差值或所述第二方向的相位差值确定所述目标像素对应的深度信息，包括：

对所述目标像素所在的第一图像进行纹理检测，得到所述第一图像的纹理方向；

当所述纹理方向为水平方向时，则根据所述第二方向的相位差值确定所述目标像素对应的深度信息；

当所述纹理方向为竖直方向时，则根据所述第一方向的相位差值确定所述目标像素对应的深度信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一方向的相位差值或所述第二方向的相位差值确定所述目标像素对应的深度信息，包括：

获取第一方向的相位差值的第一置信度和第二方向的相位差值的第二置信度；

选取第一置信度和第二置信度中较大的相位差值作为目标相位差值，根据所述目标相位差值确定所述目标像素对应的深度信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述对焦距离大于第二距离阈值时，获取在同一场景下所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像，所述目标像素处于所述第一图像中；

根据所述第一图像和第二图像中相互匹配的像点的视差确定所述目标像素对应的深度信息；

其中，所述第二距离阈值大于或等于所述第一距离阈值。

5.根据权利要求4所述的方法，其特征在于，所述获取在同一场景下所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像之前，还包括：

获取所述第一摄像头与第二摄像头的位置摆放方向；

对所述第一图像进行纹理检测，得到所述第一图像的纹理方向；

当所述位置摆放方向与所述第一图像的纹理方向不一致时，则执行所述获取所述第一摄像头和第二摄像头分别对同一场景采集的第一图像和第二图像的操作。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当所述位置摆放方向与所述第一图像的纹理方向一致时，则执行所述获取目标像素对应的相位差值的操作，并关闭所述第二摄像头。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取目标像素对应的相位差值，包括：

根据每个所述像素点组包括的像素点的亮度值获取目标亮度图；

对所述目标亮度图进行切分处理，得到第一切分亮度图和第二切分亮度图，并根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异，生成对应于第一方向的第一相位差图及对应于第二方向的第二相位差图；

从所述第一相位差图获取所述目标像素在第一方向的相位差值，及从所述第二相位差图获取所述目标像素在第二方向的相位差值。

8.根据权利要求7所述的方法，其特征在于，所述根据每个所述像素点组包括的像素点的亮度值获取目标亮度图，包括：

对于每个所述像素点组，根据所述像素点组中每个像素点的相同位置处的子像素点的亮度值，获取所述像素点组对应的子亮度图；

根据每个所述像素点组对应的子亮度图生成所述目标亮度图。

9.根据权利要求7所述的方法，其特征在于，每个所述像素点包括阵列排布的多个子像素点，所述根据每个所述像素点组包括的像素点的亮度值获取目标亮度图，包括：

从每个所述像素点组中确定目标像素点，得到多个所述目标像素点；

根据每个所述目标像素点包括的子像素点的亮度值生成每个所述像素点组对应的子亮度图；

根据每个所述像素点组对应的子亮度图生成所述目标亮度图。

10.一种深度信息获取装置，其特征在于，应用于电子设备，所述电子设备包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头分别包括图像传感器，所述图像传感器包括阵列排布的多个像素点组，每个所述像素点组包括阵列排布的M*N个像素点；每个像素点对应一个感光单元，其中，M和N均为大于或等于2的自然数；所述装置包括：

相位差获取模块，用于获取所述第一摄像头确定的对焦距离；当对焦距离小于第一距离阈值时，则获取目标像素对应的相位差值，并关闭第二摄像头，所述相位差值包括第一方向的相位差值和第二方向的相位差值，所述第一方向与所述第二方向成预设夹角；

深度信息确定模块，用于根据所述第一方向的相位差值或所述第二方向的相位差值确定所述目标像素对应的深度信息。

11.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的深度信息获取方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。

13.一种包含指令的计算机程序产品，其特征在于，当其在计算机上运行时，使得计算机执行时实现如权利要求1至9中任一项所述的方法的步骤。