CN112866674B - 深度图获取方法、装置、电子设备和计算机可读存储介质 - Google Patents
深度图获取方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112866674B CN112866674B CN201911101380.7A CN201911101380A CN112866674B CN 112866674 B CN112866674 B CN 112866674B CN 201911101380 A CN201911101380 A CN 201911101380A CN 112866674 B CN112866674 B CN 112866674B
- Authority
- CN
- China
- Prior art keywords
- image
- phase difference
- pixels
- pixel
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种深度图获取方法、装置、电子设备和计算机可读存储介质。上述方法包括:控制所述第一摄像头进行曝光,根据曝光得到的每个所述像素点组包括的像素点的亮度值获取目标亮度图;对所述目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的相位差;根据所述相互匹配的像素的相位差确定所述相互匹配的像素所对应的深度信息,并根据所述相互匹配的像素对应的深度信息生成目标深度图。即不需要同时开启多个摄像头进行图像拍摄以获取深度信息,可以降低获取深度信息时的功耗。
Description
技术领域
本申请涉及影像技术领域,特别是涉及一种深度图获取方法、装置、电子设备和计算机可读存储介质。
背景技术
随着影像技术的发展,图像的深度信息的应用越来越广泛,例如,可以根据图像的深度信息进行对焦、图像虚化、三维重建等。目前,较为常见的是在电子设备配置两个位置不同的摄像头,根据位置不同的两个摄像头拍摄的图像中被拍摄物体的视差确定被拍摄物体的深度信息。
然而,传统的深度信息获取方式需要开启两个摄像头进行拍摄,存在功耗较大的问题。
发明内容
本申请实施例提供一种深度图获取方法、装置、电子设备和计算机可读存储介质,可以降低获取深度信息时的功耗。
一种深度图获取方法,应用于电子设备,所述电子设备包括第一摄像头,所述第一摄像头包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的M*N个像素点,每个像素点对应一个感光单元,其中,M和N均为大于或等于2的自然数;所述方法包括:
控制所述第一摄像头进行曝光,根据曝光得到的每个所述像素点组包括的像素点的亮度值获取目标亮度图;
对所述目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的相位差;
根据所述相互匹配的像素的相位差确定所述相互匹配的像素所对应的深度信息,并根据所述相互匹配的像素对应的深度信息生成目标深度图。
一种深度图获取装置,包括:
亮度图获取模块,用于控制第一摄像头进行曝光,根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图;
相位差确定模块,用于对所述目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的相位差;
深度图生成模块,用于根据所述相互匹配的像素的相位差确定所述相互匹配的像素所对应的深度信息,并根据所述相互匹配的像素对应的深度信息生成目标深度图。
一种电子设备,包括第一摄像头、存储器及处理器,所述第一摄像头包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的M*N个像素点,每个像素点对应一个感光单元,其中,M和N均为大于或等于2的自然数;所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
控制所述第一摄像头进行曝光,根据曝光得到的每个所述像素点组包括的像素点的亮度值获取目标亮度图;
对所述目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的相位差;
根据所述相互匹配的像素的相位差确定所述相互匹配的像素所对应的深度信息,并根据所述相互匹配的像素对应的深度信息生成目标深度图。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
控制所述第一摄像头进行曝光,根据曝光得到的每个所述像素点组包括的像素点的亮度值获取目标亮度图;
对所述目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的相位差;
根据所述相互匹配的像素的相位差确定所述相互匹配的像素所对应的深度信息,并根据所述相互匹配的像素对应的深度信息生成目标深度图。
上述深度图获取方法、装置、电子设备和计算机可读存储介质,可以利用图像传感器中每个像素点组包括的像素点的亮度值确定相互匹配的像素的相位差,根据相位差得到对应的深度信息以生成目标深度图,不需要同时开启多个摄像头进行图像拍摄以获取深度信息,可以降低获取深度信息时的功耗。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中深度图获取方法的应用环境示意图;
图2为一个实施例中第一摄像头包含的图像传感器的一部分的示意图;
图3为一个实施例中像素点的结构示意图;
图4为一个实施例中图像传感器的内部结构示意图;
图5为一个实施例中像素点组上设置滤光片的示意图;
图6为一个实施例中深度图获取方法的流程图;
图7为一个实施例中对焦距离对应的景深的示意图;
图8为一个实施例中深度图获取方法的流程图;
图9为又一个实施例中提供的深度图获取方法的流程图;
图10为一个实施例中确定相互匹配的像素的深度信息的流程图;
图11为一个实施例中像素点组的示意图;
图12为另一个实施例获取目标亮度图的流程图;
图13为一个实施例的深度图获取装置的结构框图;
图14为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一摄像头称为第二摄像头,且类似地,可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是摄像头,但其不是同一摄像头。
图1为一个实施例中深度图获取方法的应用环境示意图。如图1所示,该应用环境包括电子设备110。电子设备110包括第一摄像头,第一摄像头包括图像传感器,图像传感器包括阵列排布的多个像素点组;电子设备110可以控制第一摄像头进行曝光,根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图;对目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定第一切分亮度图和第二切分亮度图中相互匹配的像素的相位差,根据相互匹配的像素的相位差确定相互匹配的像素的所对应的深度信息,并根据相互匹配的像素对应的深度信息生成目标深度图。其中,电子设备110可以不限于是各种手机、平板电脑、可穿戴式设备等。
图2为一个实施例中第一摄像头包含的图像传感器的一部分的示意图。具体地,电子设备包括第一摄像头,第一摄像头包括透镜和图像传感器。图像传感器包括阵列排布的多个像素点组Z,每个像素点组Z包括阵列排布的多个像素点D,每个像素点D对应一个感光单元。多个像素点包括M*N个像素点,其中,M和N均为大于或等于2的自然数。每个像素点D包括阵列排布的多个子像素点d。也就是每个感光单元可以由多个阵列排布的感光元件组成。其中,感光元件是一种能够将光信号转化为电信号的元件。在一个实施例中,感光元件可为光电二极管。本实施例中,每个像素点组Z包括2*2阵列排布的4个像素点D,每个像素点可包括2*2阵列排布的4个子像素点d。其中,每个像素点D包括2*2个光电二极管,2*2个光电二极管与2*2阵列排布的4个子像素点d对应设置。每个光电二极管用于接收光信号并进行光电转换,从而将光信号转换为电信号输出。每个像素点D所包括的4个子像素点d与同一颜色的滤光片对应设置,因此每个像素点D对应于一个颜色通道,比如红色R通道,或者绿色通道G,或者蓝色通道B。
如图3所示,以每个像素点D包括子像素点1、子像素点2、子像素点3和子像素点4为例,可将子像素点1和子像素点2信号合并输出,子像素点3和子像素点4信号合并输出,从而构造成沿着第二方向(即竖直方向)的两个PD像素对,根据两个PD像素对的相位值可以确定像素点D内各子像素点沿第二方向的PD值(相位差值)。将子像素点1和子像素点3信号合并输出,子像素点2和子像素点4信号合并输出,从而构造沿着第一方向(即水平方向)的两个PD像素对,根据两个PD像素对的相位值可以确定像素点D内各子像素点沿第一方向的PD值(相位差值)。
图4为一个实施例中第一摄像头的内部结构示意图。如图4所示,该第一摄像头包括微透镜40、滤光片42和成像组件44。微透镜40、滤光片42和成像组件44依次位于入射光路上,即微透镜40设置在滤光片42之上,滤光片42设置在成像组件44上。
成像组件44包括图2中的图像传感器。图像传感器包括阵列排布的多个像素点组Z,每个像素点组Z包括阵列排布的多个像素点D,每个像素点D对应一个感光单元,每个感光单元可以由多个阵列排布的感光元件组成。本实施例中,每个像素点D包括2*2阵列排布的4个子像素点d,每个子像素点d对应一个光点二极管442,即2*2个光电二极管442与2*2阵列排布的4个子像素点d对应设置。
滤光片42可包括红、绿、蓝三种,分别只能透过红色、绿色、蓝色对应波长的光线。一个滤光片42设置在一个像素点上。
在其他实施例中,滤光片也可以是白色,方便较大光谱(波长)范围的光线通过,增加透过白色滤光片的光通量。
透镜40用于接收入射光,并将入射光传输给滤光片42。滤光片42对入射光进行滤波处理后,将滤波处理后的光以像素为基础入射到成像组件44上。
成像组件44包括的图像传感器中的感光单元通过光电效应将从滤光片42入射的光转换成电荷信号,并生成与电荷信号一致的像素信号,经过一系列处理后最终输出图像。
由上文说明可知,图像传感器包括的像素点与图像包括的像素是两个不同的概念,其中,图像包括的像素指的是图像的最小组成单元,其一般由一个数字序列进行表示,通常情况下,可以将该数字序列称为像素的像素值。本申请实施例对“图像传感器包括的像素点”以及“图像包括的像素”两个概念均有所涉及,为了方便读者理解,在此进行简要的解释。
图5为一个实施例中像素点组上设置滤光片的示意图。像素点组Z包括按照两行两列的阵列排布方式进行排布的4个像素点D,其中,第一行第一列的像素点的颜色通道为绿色,也即是,第一行第一列的像素点上设置的滤光片为绿色滤光片;第一行第二列的像素点的颜色通道为红色,也即是,第一行第二列的像素点上设置的滤光片为红色滤光片;第二行第一列的像素点的颜色通道为蓝色,也即是,第二行第一列的像素点上设置的滤光片为蓝色滤光片;第二行第二列的像素点的颜色通道为绿色,也即是,第二行第二列的像素点上设置的滤光片为绿色滤光片。
图6为一个实施例中深度图获取方法的流程图。本申请实施例中的深度图获取方法,以运行于上述电子设备为例进行描述。如图6所示,该深度图获取方法包括步骤602至步骤606。
步骤602,控制第一摄像头进行曝光,根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图。
通常情况下,图像传感器的像素点的亮度值可以由该像素点包括的子像素点的亮度值来进行表征。电子设备可以根据每个像素点组包括的像素点中子像素点的亮度值来获取该目标亮度图。其中,子像素点的亮度值是指该子像素点对应的感光元件接收到的光信号的亮度值。
如上文,图像传感器包括的子像素点是一种能够将光信号转化为电信号的感光元件,因此,可以根据子像素点输出的电信号来获取该子像素点接收到的光信号的强度,根据子像素点接收到的光信号的强度即可得到该子像素点的亮度值。
本申请实施例中的目标亮度图用于反映图像传感器中子像素点的亮度值,该目标亮度图可以包括多个像素,其中,目标亮度图中的每个像素的像素值均是根据图像传感器中子像素点的亮度值得到的。目标亮度图经由图像处理器进行原始域中以及色彩空间中的图像数据处理,可以得到可输出给显示器或存储于电子设备的图像,以供用户观看或由其他处理器做进一步处理。
电子设备控制第一摄像头进行曝光,从而图像传感器可以通过感光元件接收光信号,得到每一个像素点组包括的像素点的亮度值,根据每一个像素点组包括的像素点的亮度值获取目标亮度图。
步骤604,对目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定第一切分亮度图和第二切分亮度图中相互匹配的像素的相位差。
在一个实施例中,电子设备可以沿列的方向(图像坐标系中的y轴方向)对该目标亮度图进行切分处理,在沿列的方向对目标亮度图进行切分处理的过程中,切分处理的每一分割线都与列的方向竖直。
在另一个实施例中,电子设备可以沿行的方向(图像坐标系中的x轴方向)对该目标亮度图进行切分处理,在沿行的方向对目标亮度图进行切分处理的过程中,切分处理的每一分割线都与行的方向竖直。
沿列的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为上图和下图。沿行的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为左图和右图。
其中,“相互匹配的像素”指的是由像素本身及其周围像素组成的像素矩阵相互相似。例如,第一切分亮度图中像素a和其周围的像素组成一个3行3列的像素矩阵,该像素矩阵的像素值为:
2 15 70
1 35 60
0 100 1
第二切分亮度图中像素b和其周围的像素也组成一个3行3列的像素矩阵,该像素矩阵的像素值为:
1 15 70
1 36 60
0 100 2
由上文可以看出,这两个矩阵是相似的,则可以认为像素a和像素b相互匹配。判断像素矩阵是否相似的方式很多,通常可对两个像素矩阵中的每个对应像素的像素值求差,再将求得的差值的绝对值进行相加,利用该相加的结果来判断像素矩阵是否相似,也即是,若该相加的结果小于预设的某一阈值,则认为像素矩阵相似,否则,则认为像素矩阵不相似。
例如,对于上述两个3行3列的像素矩阵而言,可以分别将1和2求差,将15和15求差,将70和70求差,……,再将求得的差的绝对值相加,得到相加结果为3,该相加结果3小于预设的阈值,则认为上述两个3行3列的像素矩阵相似。
相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像。例如,第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配。
由于相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像,因此,根据相互匹配的像素的位置差异,即可确定该相互匹配的像素的相位差。
步骤606,根据相互匹配的像素的相位差确定相互匹配的像素所对应的深度信息,并根据相互匹配的像素对应的深度信息生成目标深度图。
电子设备根据相互匹配的像素的相位差确定相互匹配的像素所对应的深度信息,具体地,电子设备可以根据相互匹配的像素的相位差确定该相互匹配的像素对应的离焦值,根据摄像头成像原理及该离焦值可以转换得到该相互匹配的像素所对应的深度信息。
通常,相互匹配的像素的相位差越小,则说明该相互匹配的像素与第一摄像头的合焦位置的距离越小,也就是说该相互匹配的像素所对应的离焦值越小。相位差与离焦值之间的对应关系可以通过标定得到。离焦值与相位差之间的对应关系为:defocus=PD*slope(DCC),其中,DCC(Defocus Conversion Coefficient,离焦系数)由标定得到,PD为相位差。
基于几何光学的牛顿公式,有:
其中,depth为像素所对应的深度信息,f为第一摄像头所采用的镜头的焦距,shift为该像素为图像的对焦点时,像距与焦距的差值。像距为第一摄像头进行曝光拍摄时,透镜与图像传感器之间的距离。第一摄像头曝光得到目标亮度图时,透镜与图像传感器之间的距离即像距是确定的,第一摄像头曝光得到目标亮度图时像距与焦距的差值shiftcur是已知的,则像素为图像的对焦点时的shift=shiftcur+defocus;由此,可以将相互匹配的像素所对应的离焦值代入下列公式:
即可以得到相互匹配的像素所对应的深度信息。
目标深度图为最终确定的深度图像。电子设备根据相互匹配的像素的相位差确定相互匹配的像素的深度信息之后,可以根据相互匹配的像素对应的深度信息生成目标深度图。具体地,该目标深度图包含多个像素,每一个像素的像素值为一对相互匹配的像素所对应的深度信息。进一步地,电子设备可以根据目标深度图进行对焦、或对经过原始域中以及色彩空间中的图像数据处理的图像进行虚化、三维重建处理等。
本申请提供的实施例中,可以根据第一摄像头曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图,对目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并根据第一切分亮度图和第二切分亮度图确定相互匹配的像素的相位差,根据相互匹配的像素的相位差确定对应的深度信息,并根据相互匹配的像素对应的深度信息生成目标深度图。由于可以利用图像传感器中每个像素点组包括的像素点的亮度值确定相互匹配的像素的相位差,根据相位差得到对应的深度信息以生成目标深度图,不需要同时开启多个摄像头进行图像拍摄以获取深度信息,可以降低获取深度信息时的功耗。
可选地,在一个实施例中,提供的深度图获取方法中根据相互匹配的像素的相位差确定相互匹配的像素所对应的深度信息,并根据相互匹配的像素对应的深度信息生成目标深度图的过程还可以包括:根据相互匹配的像素的相位差生成对应的相位差图;对相位差图进行下采样处理,得到处理后的相位差图,根据处理后的相位差图中包含的相位差确定对应的深度信息,并根据确定的深度信息生成目标深度图,可以在对深度信息的精度要求较低时,减少电子设备的工作量。
在一个实施例中,电子设备可以获取第一摄像头所确定的对焦距离,当对焦距离小于第一距离阈值时,则执行控制第一摄像头进行曝光,根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图的操作。
对焦距离是指第一摄像头确定的对焦点在环境空间中与透镜之间的距离。第一摄像头可以根据上一次曝光得到的目标亮度图确定该对焦距离。具体地,与获取相互匹配的像素的相位差的过程相同,电子设备根据上一曝光得到的目标亮度图可以得到相互匹配的像素的相位差值,从该相位差值从相位差值与离焦值之间的映射关系得到对应的离焦值,第一摄像头根据相互匹配的像素对应的离焦值可以确定镜头的移动距离值和移动方向,根据该移动距离值和移动方向可以确定透镜对应的合焦位置,基于摄像头的成像原理,可以得到透镜处于该合焦位置时对焦点所对应的对焦距离。
可选地,在一个实施例中,第一摄像头确定的对焦距离也可以是根据获取的用户选中的对焦点确定的;即电子设备可以接收用户在预览图像时选中的对焦点,并根据该预览图像对应的深度图获取该对焦点所对应的对焦距离。
通常,对焦距离越大,则摄像头对应的景深越大,根据相位差确定的深度信息的准确性则越低;反之,对焦距离越小,则摄像头对应的景深越小,根据相位差确定的深度信息的准确性则越高。电子设备可以根据第一摄像头的景深信息与对深度信息的准确性要求设定第一距离阈值,在此不对第一距离阈值的具体取值做限定。
可选地,在一个实施例中,电子设备可以提供不同的深度信息的精确值所对应的第一距离阈值,根据用户选中的精确值采用相对应的第一距离阈值;可选地,电子设备还可以预设不同的应用场景对应的第一距离阈值,从而根据深度信息获取指令所对应的应用场景采用对应的第一距离阈值,电子设备可以根据深度信息获取指令执行上述实施例提供的深度图获取方法,以得到目标深度图,其中,应用场景可以包括但不限于是根据深度图对图像进行虚化、三维重建、美颜处理等。
电子设备获取第一摄像头所确定的对焦距离,当对焦距离小于第一距离阈值时,则控制第一摄像头进行曝光,以根据曝光得到每个像素点组包括的像素点的亮度值获取目标亮度图,从而将目标亮度图进行切分处理,根据切分处理得到的第一切分亮度图和第二切分亮度图中相互匹配的像素的相位差得到对应的深度信息,以生成目标深度图,可以提高目标深度图的准确性。
在一个实施例中,电子设备包括第一摄像头和第二摄像头,本申请实施例以第一摄像头为主摄像头进行说明。其中,第一摄像头和第二摄像头可以但不限于是彩色摄像头、黑白摄像头、长焦摄像头、广角摄像头中的一种或多种。
上述深度图获取方法还包括:当对焦距离大于第二距离阈值时,通过第一摄像头和第二摄像头分别拍摄对应于同一场景的第一图像和第二图像;根据第一图像和第二图像中相互匹配的像点的视差确定相互匹配的像点所对应的深度信息,并根据相互匹配的像点对应的深度信息生成目标深度图;其中,第二距离阈值大于或等于第一距离阈值。
第二距离阈值大于或等于第一距离阈值。可选地,第二距离阈值可以是根据相位差确定的深度信息的准确性无法满足要求时所对应的对焦距离。
图7为一个实施例中对焦距离对应的景深的示意图。如图7所示,当摄像头拍摄时的对焦距离为7cm时,对应的景深为6.88cm至7.13cm;当对焦距离为10cm时,对应的景深为9.74cm至10.27cm;当对焦距离为20cm时,对应的景深为18.97cm至21.14cm等。由此,对焦距离越远,则对应的景深范围越大,从而根据相位差确定的深度信息的准确性则越低。电子设备根据第一摄像头在不同的对焦距离所对应的景深范围可以确定第一距离阈值和第二距离阈值,例如,第一距离阈值可以是10cm、12cm、15cm、20cm等;第二距离阈值可以是20cm、30cm、50cm、100cm等,在此不做限定。
当对焦距离大于第二距离阈值时,电子设备可以通过第一摄像头和第二摄像头分别拍摄对应于同一场景的第一图像和第二图像,根据第一图像和第二图像中相互匹配的像点的视差确定相互匹配的像点所对应的深度信息,根据相互匹配的像点的深度信息生成目标深度图。第一图像和第二图像通常为第一摄像头和第二摄像头中图像传感器曝光得到的像素点的亮度值经过图像处理器处理后的图像。
具体地,第一摄像头和第二摄像头在电子设备中的位置不同,同一物体在第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像中存在视差,电子设备可以使用尺度不变特征转换(Scale-invariant feature transform,SIFT)方法或加速鲁棒特征(Speed UpRobust Features,SURF)等方法确定第一图像和第二图像中的相互匹配的像点,基于双目测距原理与相互匹配的像点的视差可以确定相互匹配的像点所对应的深度信息,根据相互匹配的像点对应的深度信息生成目标深度图。
通过当对焦距离小于第一距离阈值时,关闭第二摄像头,将第一摄像头曝光得到的目标亮度图切分为第一切分亮度图和第二切分亮度图,根据第一切分亮度图和第二切分亮度图中相互匹配的像素的相位差生成目标深度图;当对焦距离大于第二距离阈值时,可以通过第一摄像头和第二摄像头分别采集同一场景的第一图像和第二图像,根据第一图像和第二图像中相互匹配的像点的视差生成目标深度图,可以在保证深度信息准确性的同时降低电子设备获取深度信息时的功耗。
可选地,在一个实施例中,第二距离阈值大于第一距离阈值,电子设备可以在对焦距离大于或等于第一距离阈值,且小于或等于第二距离阈值时,采用上述根据相位差确定深度信息的方式或者通过第一摄像头和第二摄像头进行双目测距的方式中的任意一种生成目标深度图。
可选地,当对焦距离大于或等于第一距离阈值,且小于或等于第二距离阈值时,电子设备还可以获取当前的运行模式,若当前的运行模式为省电模式,则执行控制第一摄像头进行曝光,根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图的操作;若当前的运行模式不为省电模式,则执行根据第一图像和第二图像中相互匹配的像点的视差确定相互匹配的像点所对应的深度信息的操作。当然,电子设备可以在剩余电量低于电量阈值时,则确定电子设备的运行模式为省电模式。其中,电量阈值认为是不满足使用需求的剩余电量值,例如可以是10%、15%、20%、30%等,在此不做限定。
在一个实施例中,提供的深度图获取方法还可以获取第一图像对应的相位差图,并确定相位差图中包含的每一个相位差值是否处于预设相位差区间内;当处于预设相位差区间的相位差值的数量大于数量阈值时,则执行根据第一图像和第二图像中相互匹配的像点的视差确定相互匹配的像点所对应的深度信息,并根据相互匹配的像点对应的深度信息生成目标深度图的操作。
具体地,电子设备通过第一摄像头拍摄第一图像时,第一摄像头曝光得到每个像素点组包括的像素点的亮度值,通过对每一个像素点组包括的像素点的亮度值进行原始域中以及色彩空间中的图像数据处理,可以得到第一图像,同时可以根据第一摄像头曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图,对目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,从而可以确定第一切分亮度图和第二切分亮度图中相互匹配的像素的相位差,根据相互匹配的像素的相位差生成相位差图,即为第一图像所对应相位差图。相位差图中包含与第一图像相对应的相位差信息。
预设相位差区间是按照深度信息小于第一距离阈值时所对应的相位差值确定的。具体地,电子设备可以获取拍摄第一图像时透镜的位置,根据透镜的位置及第一距离阈值可以得到预设相位差区间的边界值,从而得到深度信息小于第一距离阈值时所对应的相位差区间。
当相位差图中包含存在处于预设相位差区间的相位差值时,则说明第一图像中包含深度信息小于第一距离阈值的被拍摄物体,处于预设相位差区间的相位差值的数量越多,则第一图像中深度信息小于第一距离阈值的被拍摄物体在第一图像中的面积越大。
电子设备预设有数量阈值,当处于预设相位差区间的相位差值的数量小于数量阈值时,则可以根据第一图像和第二图像中相互匹配的像点的视差确定相互匹配的像点所对应的深度信息,根据相互匹配的像点对应的深度信息生成目标深度图。其中,数量阈值可以根据相位差图包含的像素个数来确定,例如,可以是相位差图包含的像素个数的3%、5%、10%等,在此不做限定。
通常,由于第一摄像头和第二摄像头位置及视场角不同,采用双目测距时存在无法测量近距离物体的深度信息的问题,因此,本申请实施例通过获取第一图像对应的相位差图,当处于预设相位差区间的相位差值的数量小于数量阈值时,即通过第一图像和第二图像生成目标深度图,可以避免图像中存在近距离的物体,导致生成的目标深度图不够准确的问题,可以提高目标深度图的准确性。
图8为一个实施例中深度图获取方法的流程图。如图8所示,在一个实施例中,提供的深度图获取方法包括:
步骤802,获取第一图像对应的相位差图;确定相位差图中包含的每一个相位差值是否处于预设相位差区间内。
步骤804,当处于预设相位差区间的相位差值的数量大于或等于数量阈值时,按照预设相位差区间分割第一图像中包含的近景区域和远景区域。
电子设备按照预设相位差区间分割第一图像中包含的近景区域和远景区域。可以理解的是,预设相位差区间是按照深度信息小于第一距离阈值时所对应的相位差值确定的,则相位差处于预设相位差区间内的像素即属于近景区域。具体地,电子设备可以分割出相位差图内相位差值处于预设区间内的区域,根据该区域从第一图像中获取位置相对应的近景区域,将第一图像中除近景区域之外的区域作为远景区域。
步骤806,根据相位差图确定近景区域的深度信息,及根据第一图像和第二图像确定远景区域的深度信息。
具体地,电子设备可以根据相位差图包含的相位差值转换的离焦值得到对应的离焦值图;根据该离焦值图计算该近景区域所对应的深度信息;电子设备也可以根据相位差图中与近景区域位置相对应的区域包含的相位差值计算得到各个相位差值所对应的深度信息,即为近景区域的深度信息。
电子设备根据第一图像和第二图像确定远景区域的深度信息,具体地,可以根据第一图像的远景区域与第二图像中相互匹配的像点的视差确定该远景区域的深度信息。
步骤808,根据近景区域的深度信息与远景区域的深度信息生成目标深度图。
将获取的近景区域的深度信息和远景区域的深度信息融合到一张图像中,可以得到包含近景区域的深度信息及远景区域的深度信息的目标深度图。
通过当处于预设相位差区间的相位差值的数量大于或等于数量阈值时,按照预设相位差区间分割第一图像中包含的近景区域和远景区域,从根据相位差图确定近景区域的深度信息,及根据第一图像和第二图像之间的视差确定远景区域的深度信息,可以提高目标深度图的深度信息的准确性。
图9为又一个实施例中提供的深度图获取方法的流程图。如图9所示,在一个实施例中,提供的深度图获取方法包括:
步骤902,获取第一摄像头所确定的对焦距离;当对焦距离小于第一预设距离时,进入步骤906;当对焦距离大于第二预设距离时,进入步骤912;当对焦距离大于或等于第一距离阈值,且小于或等于第二预设距离时,进入步骤904。
步骤904,获取电子设备当前的运行模式,当运行模式为省电模式时,则进入步骤906;当运行模式不为省电模式时,则进入步骤912。
步骤906,控制第一摄像头进行曝光,根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图。
步骤908,对目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定第一切分亮度图和第二切分亮度图中相互匹配的像素的相位差。
步骤910,根据相互匹配的像素的相位差确定相互匹配的像素所对应的深度信息,并根据相互匹配的像素对应的深度信息生成目标深度图,并进入步骤922。
步骤912,通过第一摄像头和第二摄像头分别拍摄对应于同一场景的第一图像和第二图像。
步骤914,获取第一图像对应的相位差图;确定相位差图中包含的每一个相位差值是否处于预设相位差区间内;当处于预设相位差区间的相位差值的数量大于数量阈值时,则进入步骤916;当处于预设相位差区间的相位差值的数量小于或等于数量阈值时,则进入步骤918。
步骤916,根据第一图像和第二图像中相互匹配的像点的视差确定相互匹配的像点所对应的深度信息,并根据相互匹配的像点对应的深度信息生成目标深度图,并进入步骤922。
步骤918,按照预设相位差区间分割第一图像中包含的近景区域和远景区域。
步骤920,根据相位差图确定近景区域的深度信息,及根据第一图像和第二图像确定远景区域的深度信息;根据近景区域的深度信息与远景区域的深度信息生成目标深度图,并进入步骤922。
步骤922,输出目标深度图。
图10为一个实施例中确定相互匹配的像素的深度信息的流程图。如图10所示,在一个实施例中,提供的深度图获取方法包括:
步骤1002,根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素在第一方向的相位差值和第二方向的相位差值。
第一方向的相位差值是指水平方向上的相位差值。第二方向的相位差值是指竖直方向上的相位差值。相互匹配的像素的位置差异指的是,相互匹配的像素中位于第一切分亮度图中的像素的位置和位于第二切分亮度图中的像素的位置的差异。例如,相互匹配的像素a和像素b的位置差异指的是像素a在第一切分亮度图中的位置和像素b在第二切分亮度图中的位置的差异。
具体地,电子设备可以沿行的方向(图像坐标系中的x轴方向)对该目标亮度图进行切分处理,在沿行的方向对目标亮度图进行切分处理的过程中,切分处理的每一分割线都与行的方向垂直。沿行的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为左图和右图。电子设备左图和右图可以确定第一方向的相位差值。例如,当第一切分亮度图包括的是偶数行的像素,第二切分亮度图包括的是奇数行的像素,第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配,则根据相互匹配的像素a和像素b的相位差,可以确定第一方向的相位差值。
电子设备沿列的方向(图像坐标系中的y轴方向)对该目标亮度图进行切分处理,在沿列的方向对目标亮度图进行切分处理的过程中,切分处理的每一分割线都与列的方向垂直。列的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为上图和下图。电子设备根据上图和下图可以确定第二方向的相位差值。例如,当第一切分亮度图包括的是偶数列的像素,第二切分亮度图包括的是奇数列的像素,第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配,则根据相互匹配的像素a和像素b的相位差,可以确定第二方向的相位差值。
步骤1004,获取第一方向的相位差值的第一置信度和第二方向的相位差值的第二置信度。
具体地,当第一方向的相位差值和第二方向的相位差值都存在时,电子设备可以求取第一方向的相位差值的置信度和第二方向的相位差值的置信度。
步骤1006,选取第一置信度和第二置信度中较大的相位差值作为目标相位差值,根据目标相位差值确定相互匹配的像素所对应的深度信息。
当第一方向的相位差值的置信度大于第二方向的相位差值的置信度时,选取第一方向的相位差值作为目标相位差值,根据目标相位差值得到相互匹配的像素所对应的深度信息。
当第一方向的相位差值的置信度小于第二方向的相位差值的置信度时,选取第二方向的相位差值作为目标相位差值,根据目标相位差值得到相互匹配的像素所对应的深度信息。
当第一方向的相位差值的置信度等于第二方向的相位差值的置信度时,可以将第一方向的相位差值和第二方向的相位差值中的任意一个作为目标相位差值,以根据目标相位差值得到相互匹配的像素所对应的深度信息。
对于存在水平纹理的场景,因水平方向上的PD像素对无法得到第一方向的相位差值,可比对竖直方向上的PD像素对,计算竖直方向上的第二方向的相位差值,将第二方向的相位差值作为目标相位差值计算对应的深度信息。
对于存在竖直纹理的场景,因竖直方向上的PD像素对无法得到第二方向的相位差值,可比对水平方向上的PD像素对,计算水平方向上的第一方向的相位差值,将第一方向的相位差值作为目标相位差值计算对应的深度信息。
通过第一方向的相位差值和第二方向的相位差值,根据二者的置信度确定目标相位差值,根据目标相位差值得到对应的深度信息,可以避免存在水平纹理或竖直纹理的场景导致深度信息计算错误的问题,提高深度信息的准确度。
在一个实施例中,提供的深度图获取方法中根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图的过程,包括:对于每个像素点组,根据像素点组中每个像素点的相同位置处的子像素点的亮度值,获取像素点组对应的子亮度图;根据每个像素点组对应的子亮度图生成目标亮度图。
其中,每个像素点的相同位置处的子像素点指的是在各像素点中排布位置相同的子像素点。
图11为一个实施例中像素点组的示意图。如图11所示,该像素点组包括按照两行两列的阵列排布方式进行排布的4个像素点,该4个像素点分别为D1像素点、D2像素点、D3像素点和D4像素点,其中,每个像素点包括按照两行两列的阵列排布方式进行排布的4个子像素点,其中,子像素点分别为d11、d12、d13、d14、d21、d22、d23、d24、d31、d32、d33、d34、d41、d42、d43和d44。其中,子像素点d11、d21、d31和d41在各像素点中的排布位置相同,均为第一行第一列;子像素点d12、d22、d32和d42在各像素点中的排布位置相同,均为第一行第二列,以此类推。
具体地,电子设备可以从每个像素点中确定相同位置处的子像素点,得到多个子像素点集合;对于每个子像素点集合,根据该子像素点集合中每个子像素点的亮度值,获取该子像素点集合对应的亮度值;根据每个子像素集合对应的亮度值生成子亮度图。进而电子设备可以按照图像传感器中各个像素点组的阵列排布方式,对各个像素点组对应的子亮度图进行拼接,得到目标亮度图。
图12为另一个实施例获取目标亮度图的流程图。如图12所示,在一个实施例中,提供的深度图获取方法中根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图的过程,包括:
步骤1202,从每个像素点组中确定目标像素点,得到多个目标像素点。
像素点组可以包括阵列排布的多个像素点。电子设备可以从每个像素点组包括的多个像素点中确定一个目标像素点,从而得到多个目标像素点。
可选地,电子设备可以从每个像素点组中确定颜色通道为绿色的像素点(也即是包括的滤光片为绿色滤光片的像素点),而后,将该颜色通道为绿色的像素点确定为目标像素点。
由于颜色通道为绿色的像素点感光性能较好,因此,将像素点组中颜色通道为绿色的像素点确定为目标像素点,在后续步骤中根据该目标像素点生成的目标亮度图质量较高。
步骤1204,根据每个目标像素点包括的子像素点的亮度值生成每个像素点组对应的子亮度图。
其中,每个像素点组对应的子亮度图包括多个像素,每个像素点组对应的子亮度图中每个像素与该像素点组中目标像素点包括的一个子像素点相对应,每个像素点组对应的子亮度图中每个像素的像素值为对应的子像素点的亮度值。
步骤1206,根据每个像素点组对应的子亮度图生成目标亮度图。
电子设备可以按照图像传感器中各个像素点组的阵列排布方式,对各个像素点组对应的子亮度图进行拼接,得到目标亮度图。
其中,第二种获取目标亮度图的方式中,是根据每个像素点组中一个像素点的亮度值生成该像素点组的子亮度图;而第一种方式中,是根据每个像素点组中每个像素点的相同位置处的子像素点确定的子亮度图,采用第二种方式的运算量更低,而第一种方式相当准确性更高,在实际应用时,电子设备可以选择上述两个获取目标亮度图的方式中的一种。
应该理解的是,虽然图6、8-10、12流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图6、8-10、12中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图13为一个实施例的深度图获取装置的结构框图。如图13所示,该深度图获取装置包括:
亮度图获取模块1302,用于控制第一摄像头进行曝光,根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图。
相位差确定模块1304,用于对目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定第一切分亮度图和第二切分亮度图中相互匹配的像素的相位差。
深度图生成模块1306,用于根据相互匹配的像素的相位差确定相互匹配的像素所对应的深度信息,并根据相互匹配的像素对应的深度信息生成目标深度图。
通过图像传感器中每个像素点组包括的像素点的亮度值确定相互匹配的像素的相位差,根据相位差得到对应的深度信息以生成目标深度图,不需要同时开启多个摄像头进行图像拍摄以获取深度信息,可以降低获取深度信息时的功耗。
在一个实施例中,亮度图获取模块1302还可用于获取第一摄像头所确定的对焦距离;当对焦距离小于第一距离阈值时,则控制第一摄像头进行曝光,根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图。
在一个实施例中,提供的深度图获取模块还包括图像采集模块1308,图像采集模块1308用于当对焦距离大于第二距离阈值时,通过第一摄像头和第二摄像头分别拍摄对应于同一场景的第一图像和第二图像;深度图生成模块1306还可以用于根据第一图像和第二图像中相互匹配的像点的视差确定相互匹配的像点所对应的深度信息,并根据相互匹配的像点对应的深度信息生成目标深度图;其中,第二距离阈值大于或等于第一距离阈值。
在一个实施例中,深度图生成模块1306还可以用于获取第一图像对应的相位差图;确定相位差图中包含的每一个相位差值是否处于预设相位差区间内;预设相位差区间是按照深度信息小于第一距离阈值时所对应的相位差值确定的;当处于预设相位差区间的相位差值的数量小于数量阈值时,则根据第一图像和第二图像中相互匹配的像点的视差确定相互匹配的像点所对应的深度信息,并根据相互匹配的像点对应的深度信息生成目标深度图。
在一个实施例中,深度图生成模块1306还可以用于当处于预设相位差区间的相位差值的数量大于或等于数量阈值时,按照预设相位差区间分割第一图像中包含的近景区域和远景区域;根据相位差图确定近景区域的深度信息,及根据第一图像和第二图像确定远景区域的深度信息;根据近景区域的深度信息与远景区域的深度信息生成目标深度图。
在一个实施例中,亮度图获取模块1302还可以用于获取电子设备当前的运行模式;若当前的运行模式为省电模式,则控制第一摄像头进行曝光,根据曝光得到的每个像素点组包括的像素点的亮度值获取目标亮度图;可选地,在一个实施例中,深度图生成模块1306还可以用于若当前的运行模式不为省电模式,则根据第一图像和第二图像中相互匹配的像点的视差确定相互匹配的像点所对应的深度信息,并根据相互匹配的像点对应的深度信息生成目标深度图。
在一个实施例中,相位差确定模块1304还可以用于根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素在第一方向的相位差值和第二方向的相位差值;深度图生成模块1306还可以用于获取第一方向的相位差值的第一置信度和第二方向的相位差值的第二置信度;选取第一置信度和第二置信度中较大的相位差值作为目标相位差值,根据目标相位差值确定相互匹配的像素所对应的深度信息;并根据相互匹配的像素对应的深度信息生成目标深度图
在一个实施例中,亮度图获取模块1302还可以用于对于每个像素点组,根据像素点组中每个像素点的相同位置处的子像素点的亮度值,获取像素点组对应的子亮度图;根据每个像素点组对应的子亮度图生成目标亮度图。
在一个实施例中,亮度图获取模块1302还可以用于从每个像素点组中确定目标像素点,得到多个目标像素点;根据每个目标像素点包括的子像素点的亮度值生成每个像素点组对应的子亮度图;根据每个像素点组对应的子亮度图生成目标亮度图。
上述深度图获取装置中各个模块的划分仅用于举例说明,在其他实施例中,可将深度图获取装置按照需要划分为不同的模块,以完成上述深度图获取装置的全部或部分功能。
图14为一个实施例中电子设备的内部结构示意图。如图14所示,该电子设备包括通过***总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该电子设备还包括第一摄像头,第一摄像头包括图像传感器,图像传感器包括阵列排布的多个像素点组,每个像素点组包括阵列排布的M*N个像素点,每个像素点对应一个感光单元,其中,M和N均为大于或等于2的自然数;该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种深度图获取方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的深度图获取装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行深度图获取方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行深度图获取方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种深度图获取方法,其特征在于,应用于电子设备,所述电子设备包括第一摄像头,所述第一摄像头包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的M*N个像素点,每个像素点对应一个感光单元,其中,M和N均为大于或等于2的自然数;所述方法包括:
控制所述第一摄像头进行曝光,根据曝光得到的每个所述像素点组包括的像素点的亮度值,得到所述像素点组对应的子亮度图,将各个所述子亮度图进行拼接得到目标亮度图;
对所述目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的相位差;所述相互匹配是指由像素本身及所述像素的周围像素所组成的像素矩阵相互相似;
根据所述相互匹配的像素的相位差确定所述相互匹配的像素所对应的深度信息,并根据所述相互匹配的像素对应的深度信息生成目标深度图。
2.根据权利要求1所述的方法,其特征在于,所述控制所述第一摄像头进行曝光,根据曝光得到的每个所述像素点组包括的像素点的亮度值,得到所述像素点组对应的子亮度图,将各个所述子亮度图进行拼接得到目标亮度图之前,还包括:
获取所述第一摄像头确定的对焦距离;
当所述对焦距离小于第一距离阈值时,则执行所述控制所述第一摄像头进行曝光,根据曝光得到的每个所述像素点组包括的像素点的亮度值,得到所述像素点组对应的子亮度图,将各个所述子亮度图进行拼接得到目标亮度图的操作。
3.根据权利要求2所述的方法,其特征在于,所述电子设备还包括第二摄像头;所述方法还包括:
当所述对焦距离大于第二距离阈值时,通过所述第一摄像头和所述第二摄像头分别拍摄对应于同一场景的第一图像和第二图像;
根据所述第一图像和所述第二图像中相互匹配的像点的视差确定所述相互匹配的像点对应的深度信息,并根据所述相互匹配的像点对应的深度信息生成所述目标深度图;
其中,所述第二距离阈值大于或等于所述第一距离阈值。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一图像和所述第二图像中相互匹配的像点的视差确定所述相互匹配的像点对应的深度信息之前,还包括:
获取所述第一图像对应的相位差图;
确定所述相位差图中包含的每一个相位差值是否处于预设相位差区间内;所述预设相位差区间是按照深度信息小于所述第一距离阈值时对应的相位差值确定的;
当处于所述预设相位差区间的相位差值的数量小于数量阈值时,则执行所述根据所述第一图像和所述第二图像中相互匹配的像点的视差确定所述相互匹配的像点对应的深度信息的操作。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当处于所述预设相位差区间的相位差值的数量大于或等于所述数量阈值时,按照所述预设相位差区间分割所述第一图像中包含的近景区域和远景区域;
根据所述相位差图确定所述近景区域的深度信息,及根据所述第一图像和所述第二图像确定所述远景区域的深度信息;
根据所述近景区域的深度信息与所述远景区域的深度信息生成所述目标深度图。
6.根据权利要求3所述的方法,其特征在于,当所述第二距离阈值大于所述第一距离阈值时,所述方法还包括:
获取所述电子设备当前的运行模式;
若所述当前的运行模式为省电模式,则执行所述控制所述第一摄像头进行曝光,根据曝光得到的每个所述像素点组包括的像素点的亮度值,得到所述像素点组对应的子亮度图,将各个所述子亮度图进行拼接得到目标亮度图的操作;
若所述当前的运行模式不为所述省电模式,则执行根据所述第一图像和所述第二图像中相互匹配的像点的视差确定所述相互匹配的像点对应的深度信息的操作。
7.根据权利要求1所述的方法,其特征在于,所述确定所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的相位差,包括:
根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定所述相互匹配的像素在第一方向的相位差值和第二方向的相位差值;
所述根据所述相互匹配的像素的相位差确定所述相互匹配的像素所对应的深度信息,包括:
获取所述第一方向的相位差值的第一置信度和所述第二方向的相位差值的第二置信度;
选取所述第一置信度和所述第二置信度中较大的置信度对应的相位差值作为目标相位差值,根据所述目标相位差值确定所述相互匹配的像素所对应的深度信息。
8.根据权利要求1所述的方法,其特征在于,每个所述像素点包括阵列排布的多个子像素点,所述根据曝光得到的每个所述像素点组包括的像素点的亮度值,得到所述像素点组对应的子亮度图,包括:
对于每个所述像素点组,根据所述像素点组中每个像素点的相同位置处的子像素点的亮度值,获取所述像素点组对应的子亮度图。
9.根据权利要求1所述的方法,其特征在于,每个所述像素点包括阵列排布的多个子像素点,所述根据曝光得到的每个所述像素点组包括的像素点的亮度值,得到所述像素点组对应的子亮度图,包括:
从每个所述像素点组中确定目标像素点,得到多个所述目标像素点;
根据每个所述目标像素点包括的子像素点的亮度值生成每个所述像素点组对应的子亮度图。
10.一种深度图获取装置,其特征在于,包括:
亮度图获取模块,用于控制第一摄像头进行曝光,根据曝光得到的每个像素点组包括的像素点的亮度值,得到所述像素点组对应的子亮度图,将各个所述子亮度图进行拼接得到目标亮度图;
相位差确定模块,用于对所述目标亮度图进行切分处理得到第一切分亮度图和第二切分亮度图,并确定所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的相位差;所述相互匹配是指由像素本身及所述像素的周围像素所组成的像素矩阵相互相似;
深度图生成模块,用于根据所述相互匹配的像素的相位差确定所述相互匹配的像素所对应的深度信息,并根据所述相互匹配的像素对应的深度信息生成目标深度图。
11.一种电子设备,包括第一摄像头、存储器及处理器,所述第一摄像头包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的M*N个像素点,每个像素点对应一个感光单元,其中,M和N均为大于或等于2的自然数;所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的深度图获取方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的深度图获取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911101380.7A CN112866674B (zh) | 2019-11-12 | 2019-11-12 | 深度图获取方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911101380.7A CN112866674B (zh) | 2019-11-12 | 2019-11-12 | 深度图获取方法、装置、电子设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112866674A CN112866674A (zh) | 2021-05-28 |
CN112866674B true CN112866674B (zh) | 2022-10-25 |
Family
ID=75984596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911101380.7A Active CN112866674B (zh) | 2019-11-12 | 2019-11-12 | 深度图获取方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112866674B (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5640143B2 (ja) * | 2011-03-31 | 2014-12-10 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP2017049426A (ja) * | 2015-09-01 | 2017-03-09 | 富士通株式会社 | 位相差推定装置、位相差推定方法及び位相差推定プログラム |
WO2017181381A1 (zh) * | 2016-04-21 | 2017-10-26 | 华为技术有限公司 | 一种获取深度信息的方法及摄像装置 |
CN112102386A (zh) * | 2019-01-22 | 2020-12-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN109905600A (zh) * | 2019-03-21 | 2019-06-18 | 上海创功通讯技术有限公司 | 成像方法、成像装置及计算机可读存储介质 |
CN110335211B (zh) * | 2019-06-24 | 2021-07-30 | Oppo广东移动通信有限公司 | 深度图像的校正方法、终端设备以及计算机存储介质 |
-
2019
- 2019-11-12 CN CN201911101380.7A patent/CN112866674B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112866674A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20200041981A (ko) | 이미지 처리 방법, 기기, 및 장치 | |
CN112866549B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
US8648961B2 (en) | Image capturing apparatus and image capturing method | |
CN107133982B (zh) | 深度图构建方法、装置及拍摄设备、终端设备 | |
CN112866511B (zh) | 成像组件、对焦方法和装置、电子设备 | |
CN112004029B (zh) | 曝光处理方法、装置、电子设备、计算机可读存储介质 | |
CN111866387B (zh) | 深度图像成像***和方法 | |
CN112866542B (zh) | 追焦方法和装置、电子设备、计算机可读存储介质 | |
CN112087571A (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
JP6544978B2 (ja) | 画像出力装置およびその制御方法、撮像装置、プログラム | |
CN112866675B (zh) | 深度图生成方法和装置、电子设备、计算机可读存储介质 | |
JP7431527B2 (ja) | 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム | |
CN112866655B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN112866510B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN112862880B (zh) | 深度信息获取方法、装置、电子设备和存储介质 | |
CN112866674B (zh) | 深度图获取方法、装置、电子设备和计算机可读存储介质 | |
CN112866546B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN112866547B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN112866548B (zh) | 相位差的获取方法和装置、电子设备 | |
CN112866554B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN112866545B (zh) | 对焦控制方法和装置、电子设备、计算机可读存储介质 | |
CN112866552B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
KR101839357B1 (ko) | 촬상 장치 및 촬상 방법 | |
CN112866551B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN112866544B (zh) | 相位差的获取方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |