CN114762313B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114762313B
CN114762313B CN202080083918.0A CN202080083918A CN114762313B CN 114762313 B CN114762313 B CN 114762313B CN 202080083918 A CN202080083918 A CN 202080083918A CN 114762313 B CN114762313 B CN 114762313B
Authority
CN
China
Prior art keywords
image
camera
lens
shooting
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080083918.0A
Other languages
English (en)
Other versions
CN114762313A (zh
Inventor
王会朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN114762313A publication Critical patent/CN114762313A/zh
Application granted granted Critical
Publication of CN114762313B publication Critical patent/CN114762313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法,应用于电子设备,包括:利用第一摄像头,获取拍摄主体成像清晰的第一图像;获取第一图像的深度信息;对第一图像进行图像分割,分割得到主体图像;利用第二摄像头,获取第二图像,第二图像中拍摄主体失焦;将主体图像和第二图像进行图像融合处理,得到目标图像。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
图像处理技术中经常使用到图像虚化。例如,在进行图像处理时,电子设备可以对图像的背景进行虚化处理,从而可以得到突出拍摄主体的效果。主体突出、背景虚化的图像具有很强的表现力。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,可以提高图像的虚化效果。
第一方面,本申请实施例提供一种图像处理方法,应用于电子设备,所述电子设备至少包括第一摄像头和第二摄像头,所述方法包括:
利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;
获取所述第一图像的深度信息;
根据所述深度信息,对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;
利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;
将所述主体图像和所述第二图像进行图像融合处理,得到目标图像。
第二方面,本申请实施例提供一种图像处理装置,应用于电子设备,所述电子设备至少包括第一摄像头和第二摄像头,所述装置包括:
第一获取模块,用于利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;
第二获取模块,用于获取所述第一图像的深度信息;
图像分割模块,用于根据所述深度信息,对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;
第三获取模块,用于利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;
图像融合模块,用于将所述主体图像和所述第二图像进行图像融合处理,得到目标图像。
第三方面,本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,其中,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法中的流程。
第四方面,本申请实施例提供一种电子设备,包括存储器,处理器,以及至少包括第一摄像头和第二摄像头,所述处理器通过调用所述存储器中存储的计算机程序,用于执行:
利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;
获取所述第一图像的深度信息;
根据所述深度信息,对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;
利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;
将所述主体图像和所述第二图像进行图像融合处理,得到目标图像。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2是本申请实施例提供的图像处理方法的另一流程示意图。
图3至图5是本申请实施例提供的图像处理方法的场景示意图。
图6是本申请实施例提供的图像处理装置的结构示意图。
图7是本申请实施例提供的电子设备的结构示意图。
图8是本申请实施例提供的图像处理电路的结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等具有摄像头的电子设备。
请参阅图1,图1是本申请实施例提供的图像处理方法的流程示意图。该图像处理方法可以应用于电子设备中,该电子设备可以至少包括第一摄像头和第二摄像头。该图像处理方法的流程可以包括:
101、利用第一摄像头,获取拍摄主体成像清晰的第一图像。
图像处理技术中经常使用到图像虚化。例如,在进行图像处理时,电子设备可以对图像的背景进行虚化处理,从而可以得到突出拍摄主体的效果。主体突出、背景虚化的图像具有很强的表现力。相关技术中,在人物拍摄、微距拍摄等拍摄场景下,经常需要使用到图像虚化处理。然而,相关技术中,图像虚化的效果较差。以背景虚化为例,在相关技术中,一般是拍摄一张图像,然后从该图像中分割出拍摄主体,并对拍摄主体以外的背景区域进行模糊虚化处理。因此,相关技术中的虚化处理是在原图像上模拟生成的,不够真实、自然,导致其虚化效果较差。
在本申请实施例中,以电子设备具有两个摄像头为例进行说明。当然,在其它实施方式中,电子设备也可以具有多于两个的摄像头,如三个摄像头或者四个摄像头等,本实施例对此不做具体限定。
比如,电子设备可以先利用第一摄像头获取拍摄主体(如人物等)成像清晰的第一图像。即,在第一图像上拍摄主体是成像清晰的。
102、获取第一图像的深度信息。
比如,在拍摄得到第一图像后,电子设备可以获取该第一图像的深度信息。
103、根据深度信息,对第一图像进行图像分割,分割得到主体图像,该主体图像为第一图像中对应于拍摄主体的图像区域。
比如,在获取到第一图像的深度信息后,电子设备可以根据该深度信息,从第一图像中分割出主体图像,该主体图像即为该第一图像中对应于拍摄主体的图像区域的图像。
例如,拍摄主体为人物,那么电子设备可以根据深度信息从第一图像中分割出人体的图像。
104、利用第二摄像头,获取第二图像,该第二图像中拍摄主体失焦。
比如,电子设备还可以利用第二摄像头拍摄得到第二图像,其中在该第二图像中拍摄主体失焦。也即,在第二图像中拍摄主体是模糊的。
105、将主体图像和第二图像进行图像融合处理,得到目标图像。
比如,在从第一图像中分割出主体图像,并利用第二摄像头拍摄得到主体失焦的第二图像后,电子设备可以将该主体图像和该第二图像融合,从而得到目标图像。
可以理解的是,由于用于融合的主体图像是拍摄主体的清晰成像,因此目标图像中的拍摄主体也是成像清晰的。并且,由于第二图像中拍摄主体失焦导致拍摄主体外的其它区域也成像模糊,因此目标图像中除拍摄主体外的其它区域是呈模糊虚化状态的。
可以理解的是,在本申请实施例中,由于用于进行融合的第二图像是拍摄主体失焦的图像,因此第二图像中的模糊虚化是真实的、自然的模糊虚化,而不是模拟生成的虚化。因此,相比于相关技术中直接在一张原图像上模拟生成虚化效果的方案,本申请实施例提供的图像处理方法可以得到具有真实虚化效果的图像,从而提高了图像虚化效果和成像质量。
请参阅图2,图2为本申请实施例提供的图像处理方法的另一流程示意图。该图像处理方法可以应用于电子设备中,该电子设备可以至少包括第一摄像头和第二摄像头。
当拍摄场景中存在灯光时,若对灯光所在的区域进行虚化处理,则灯光会变为光斑。光斑可以让图像具有朦胧感,从而使得图像具有更好的表现力。然而,相关技术中,一般都是拍摄一张图像,然后在这张图像上利用算法对灯光所在的非主体区域进行模糊虚化处理,从而生成光斑。因此,相关技术中,光斑都是在原始图像上模拟生成的,这种模拟生成的光斑其成像效果不真实、不自然。
本申请实施例提供的图像处理方法,可以得到真实、自然的光斑。本申请实施例提供的图像处理方法的流程可以包括:
201、电子设备利用第一摄像头获取拍摄主体成像清晰的第一图像,该第一图像对应的拍摄场景中存在灯光。
比如,电子设备可以利用第一摄像头获取拍摄主体具有清晰成像的第一图像。其中,该第一图像对应的拍摄场景中存在灯光。
在一种实施方式中,第一摄像头可以为电子设备的主摄像头。
202、电子设备将第一摄像头拍摄第一图像时该第一摄像头的镜头所在的位置确定为第一位置。
203、根据第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备将该第二摄像头的镜头驱动至第六位置,并拍摄第三图像,其中,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第一位置与该第二摄像头的镜头所在的第六位置相对应。
204、电子设备获取第一图像和第三图像的视差信息,并根据该视差信息计算该第一图像的深度信息。
比如,202、203、204可以包括:
在拍摄得到第一图像后,电子设备可以利用第二摄像头获取第三图像,并获取该第一图像和该第三图像的视差信息,以及根据该视差信息计算该第一图像的深度信息。
例如,电子设备可以获取第一摄像头拍摄第一图像时该第一摄像头的所在的位置,并将该位置确定为第一位置。之后,电子设备可以根据预设的第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,将该第二摄像头的镜头驱动至第六位置,并在第二摄像头的镜头位于该第六位置时拍摄第三图像。其中,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第一位置与该第二摄像头的镜头所在的第六位置相对应。在获取到第三图像后,电子设备可以获取第一图像和第三图像的视差信息,并根据该视差信息计算该第一图像的深度信息。
例如,第一摄像头和第二摄像头为相同规格的摄像头。当第一摄像头的镜头位于上述第一位置时,电子设备可以获取此时第一摄像头对应的第一数模转换代码值(DACcode)。然后,电子设备可以根据该第一数模转换代码值来驱动第二摄像头的镜头移动至第六位置。可以理解的是,由于第六位置对应的DAC code值与第一位置对应的DAC code值是同一个数值,因此第二摄像的镜头所在的第六位置和第一摄像头的镜头所在的第一位置是相对应的。
需要说明的是,电子设备中控制镜头对焦的器件为音圈马达(VCM)。音圈马达可以将电流转化为机械力,它的定位和力的控制都是由外部的控制器决定的。电子设备中的音圈马达有一对应的音圈马达驱动电路(VCM Driver IC)。音圈马达驱动电路可以精准的控制音圈马达内的线圈的移动距离和方向,从而带动镜头的移动以达到对焦效果。
音圈马达基于安培定理工作,即当音圈马达内的线圈导电时,其中的电流产生的作用力推动固定在载体上的镜头移动,从而改变对焦距离。可以看到,音圈马达对于对焦距离的控制实际上是通过对线圈中电流的控制来实现的。简单来说就是音圈马达驱动电路提供“电流”这个源动力,电流供给音圈马达的线圈后,利用音圈马达内的磁场,产生推动线圈(镜头)的力量。
音圈马达驱动电路实际上是一个带控制算法的DAC电路。它可以将I2C总线上传来的包含数字位置信息的DAC code值转换成对应的输出电流(DAC code值对应的输出电流);再通过音圈马达器件将输出电流转化为对焦距离。不同的输出电流经过音圈电机形成回路,产生不同的安培力,该力推动音圈马达上面的镜头运动。因此,在对焦完成后摄像头会停留在对焦清晰的位置,该对焦清晰的位置有一个对应的数模转换代码值(DAC code)。
205、根据深度信息,电子设备对第一图像进行图像分割,分割得到主体图像,该主体图像为该第一图像中对应于拍摄主体的图像区域。
比如,在获取到第一图像的深度信息后,电子设备可以根据该深度信息对第一图像进行图像分割,以从该第一图像中分割出主体图像。其中,该主体图像为第一图像中对应于拍摄主体的图像区域的图像。
206、电子设备检测拍摄主体与第一摄像头的距离。
比如,电子设备可以将第一摄像头拍摄第一图像时该第一摄像头的镜头所在的位置确定为第一位置。
之后,电子设备可以检测拍摄主体与第一摄像头的距离。
若拍摄主体与第一摄像头的距离小于预设阈值,那么可以认为拍摄主体在近处。此时,进入207的流程。
若拍摄主体与第一摄像头的距离大于或等于预设阈值,那么可以认为拍摄主体在远处。此时,进入209的流程。
在一种实施方式中,电子设备可以根据第一摄像头拍摄第一图像时该第一摄像头的镜头所在的第一位置来检测拍摄主体与第一摄像头的距离。
例如,如前所述,镜头被驱动到不同的位置时会对应不同的DAC code值。而当拍摄主体与第一摄像头的距离不同时,为了清晰成像,镜头会被驱动到不同的位置。因此,可以根据拍摄主体清晰成像时镜头所在的位置来检测拍摄主体与第一摄像头的距离。
例如,第一摄像头的DAC code值的取值范围为[S1,S3],S2大于S1且小于S3。电子设备可以预先设定当DAC code值的当前数值位于[S1,S2]的范围内时,表示拍摄主体与第一摄像头的距离大于或等于预设阈值,即此时拍摄主体在远处。当DAC code值的当前数值位于(S2,S3]的范围内时,表示拍摄主体与第一摄像头的距离小于预设阈值,即此时拍摄主体在近处。
当然,电子设备还可以采用其它方式来检测拍摄主体与第一摄像头的距离,从而判断出拍摄主体在近处还是远处。例如,电子设备可以根据向外发出激光探测信号与接收到返回的激光信号的时间差来计算拍摄主体与第一摄像头的距离,从而判断拍摄主体在近处或远处,等等。
207、在拍摄主体与第一摄像头的距离小于预设阈值时,电子设备根据预设第一策略从多个镜头位置中选择对应的镜头位置作为该第一摄像头的镜头的第二位置,其中,在该第一摄像头的镜头在该第二位置处时与图像传感器的距离大于该第一摄像头的镜头在该第一位置处时与图像传感器的距离。
208、根据第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备将该第二摄像头的镜头驱动至第三位置,并拍摄第二图像,其中,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第二位置与该第二摄像头的镜头所在的第三位置相对应,该第二图像对应的拍摄场景中存在灯光。
比如,207和208可以包括:
电子设备检测到拍摄主体与第一摄像头的距离小于预设阈值,即拍摄主体在近处。在这种情况下,电子设备可以根据预设第一策略从多个镜头位置中选择对应的镜头位置作为第一摄像头的镜头的第二位置。其中,在该第一摄像头的镜头在该第二位置处时镜头与图像传感器的距离大于该第一摄像头的镜头在第一位置处时镜头与图像传感器的距离。之后,根据预设的第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备可以将第二摄像头的镜头驱动至第三位置,并当第二摄像头的镜头移动至该第三位置时,电子设备可以拍摄第二图像。其中,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第二位置与该第二摄像头的镜头所在的该第三位置相对应。例如,当第一摄像头和第二摄像头为相同规格的摄像头时,第一摄像头的镜头在第二位置处时该第一摄像头对应的DAC code值与第二摄像头的镜头在第三位置处时该第二摄像头对应的DAC code值相同。
在一些实施方式中,预设第一策略可以为随机地选择一个镜头位置作为第一摄像头的镜头的第二位置,只要在该第一摄像头的镜头在该第二位置处时镜头与图像传感器的距离大于该第一摄像头的镜头在第一位置处时镜头与图像传感器的距离即可。
需要说明的是,由于第一摄像头的镜头在第二位置时与(第一摄像头的)图像传感器的距离大于第一摄像头的镜头在第一位置时与(第一摄像头的)图像传感器的距离,因此相比拍摄主体所在的位置,第二摄像头的镜头在第三位置时拍摄的第二图像可以清晰成像更近处的景象,这样就可以使得第二摄像头拍摄得到的第二图像中拍摄主体失焦,即拍摄主体是模糊的。同时,在第二图像中背景区域的景象也是模糊的。也即,此时第二图像属于远焦虚焦。此时,第二图像中可以形成拍摄场景中的灯光的光斑。该光斑由于是经过上述远焦虚焦而自然形成的,因此该光斑是真实生成的光斑。
在一种实施方式中,在第一摄像头的镜头在第二位置处时镜头与图像传感器的距离可以大于该第一摄像头的镜头在其它任一位置处时镜头与图像传感器的距离。即,在第一摄像头中上述第二位置与(第一摄像头的)图像传感器的距离可以大于其它任一镜头位置与(第一摄像头的)图像传感器的距离。即,第三位置为第二摄像头的镜头被驱动到最外侧的位置。在这种情况下拍摄得到的第二图像中背景区域的物体的虚化效果最好。此时,拍摄场景中的灯光在第二图像中可以形成虚化效果最好的光斑。
209、在拍摄主体与第一摄像头的距离大于或等于预设阈值时,电子设备根据预设第二策略从多个镜头位置中选择对应的镜头位置作为该第一摄像头的镜头的第四位置,其中,在第一摄像头的镜头在第四位置处时与图像传感器的距离小于第一摄像头的镜头在第一位置处时与图像传感器的距离。
210、根据第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备将该第二摄像头的镜头驱动至第五位置,并拍摄第二图像,其中,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第四位置与该第二摄像头的镜头所在的第五位置相对应,第二图像对应的拍摄场景中存在灯光。
比如,209和210可以包括:
电子设备检测到拍摄主体与第一摄像头的距离大于或等于预设阈值,即拍摄主体在远处。在这种情况下,电子设备可以根据预设第二策略从多个镜头位置中选择对应的镜头位置作为该第一摄像头的镜头的第四位置,其中,在该第一摄像头的镜头在该第四位置处时镜头与图像传感器的距离小于该第一摄像头的镜头在第一位置处时镜头与图像传感器的距离。之后,根据第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备可以将第二摄像头的镜头驱动至第五位置,并当第二摄像头的镜头移动至该第五位置时,电子设备可以拍摄第二图像。其中,在该第一摄像头的镜头位置与该第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第四位置与该第二摄像头所在的该第五位置相对应。例如,当第一摄像头和第二摄像头为相同规格的摄像头时,第一摄像头的镜头在第四位置处时该第一摄像头对应的DAC code值与第二摄像头的镜头在第五位置时该第二摄像头对应的DAC code值相同。
在一些实施方式中,预设第二策略可以为随机地选择一个镜头位置作为该第一摄像头的镜头的第四位置,只要在该第一摄像头的镜头在该第四位置处时镜头与图像传感器的距离小于该第一摄像头的镜头在第一位置处时镜头与图像传感器的距离即可。
需要说明的是,由于第一摄像头的镜头位于第四位置时与(第一摄像头的)图像传感器的距离小于第一摄像头的镜头位于第一位置时与(第一摄像头)图像传感器的距离,因此相比拍摄主体所在的位置,第二摄像头的镜头在第五位置时拍摄的第二图像对焦到了更远处的景象,这样就可以使得第二摄像头拍摄得到的第二图像中拍摄主体失焦,即拍摄主体是模糊的。同时,第二图像中的前景区域也是模糊的。也即,此时第二图像属于近焦虚焦。此时,第二图像中可以形成拍摄场景中的灯光的光斑,该光斑由于是经过上述近焦虚焦而自然形成的,因此该光斑是真实生成的光斑。
在一种实施方式中,在第一摄像头的镜头在第四位置处时镜头与图像传感器的距离可以小于该第一摄像头的镜头在其它任一位置处时镜头与图像传感器的距离。即,在第一摄像头中上述第四位置与(第一摄像头的)图像传感器的距离可以小于其它任一镜头位置与(第一摄像头的)图像传感器的距离。即,在第五位置时第二摄像头的镜头被驱动到最内侧的位置。在这种情况下拍摄得到的第二图像中前景区域的物体的虚化效果最好。此时,拍摄场景中的灯光在第二图像中可以形成虚化效果最好的光斑。
211、根据第一图像和第二图像,电子设备计算失焦系数。
212、根据失焦系数,电子设备调整第二图像的比例,得到调整比例后的第二图像。
比如,211和212可以包括:
在拍摄得到主体失焦的第二图像后,电子设备可以根据第一图像和第二图像计算失焦系数。
需要说明的是,本实施例中,失焦系数可以指第二图像中的物体相对于第一图像中的物体的放大(形变)倍数。由于第二图像中拍摄主体失焦,因此第二图像中的物体变模糊了,而模糊会使物体发生形变,即变大。因此,第二图像中的物体相对于第一图像中的物体被放大了。例如,第一图像中的某个灯光构成的区域的直径为15个像素,而第二图像中该灯光失焦后形成的光斑的直径为30个像素,那么表明第二图像中的物体相对于第一图像中的物体放大了2倍。
为了让第一图像和第二图像能够保持比例一致,从而利于图像融合。本实施例可以根据计算得到的失焦系数调整第二图像的比例,得到调整比例后的第二图像。例如,第二图像中的物体相对于第一图像中的物体放大了2倍,那么需要在图像融合前,需要把第二图像缩小至原来图像尺寸的二分之一。
213、电子设备将主体图像和调整比例后的第二图像进行图像融合处理,得到目标图像。
比如,在得到调整比例后的第二图像后,电子设备可以将主体图像和调整比例后的第二图像进行图像融合处理,从而得到目标图像。其中,该目标图像中的拍摄主体成像清晰,并且该目标图像中除了该拍摄主体外的其它区域为虚化效果。
可以理解的是,本实施例可以生成真实自然的光斑,并将真实的光斑融合到目标图像中,因此,目标图像中的光斑也是真实自然的,从而提高了图像的成像质量。
可以理解的是,由于用于融合的主体图像是拍摄主体的清晰成像,因此目标图像中的拍摄主体也是成像清晰的。并且,由于第二图像中拍摄主体失焦导致拍摄主体外的其它区域也成像模糊,因此目标图像中除拍摄主体外的其它区域是呈模糊虚化状态的。
可以理解的是,在本申请实施例中,由于用于进行融合的第二图像是拍摄主体失焦的图像,因此第二图像中的模糊虚化是真实的模糊虚化,而不是模拟生成的虚化。因此,相比于相关技术中直接在一张原图像上模拟生成虚化效果的方案,本申请实施例提供的图像处理方法可以得到具有真实虚化效果的图像,从而提高了图像虚化效果和成像质量。
在一些实施方式中,电子设备将主体图像和第二图像进行融合处理得到目标图像的流程,可以包括:
电子设备将第二图像中对应于拍摄主体的区域确定为目标区域,该目标区域的图像与主体图像相匹配;
电子设备将第二图像中的目标区域的图像替换为主体图像,并将完成图像替换后的第二图像确定为目标图像。
比如,电子设备可以先从第二图像中确定出对应于拍摄主体的区域,并将该区域确定为目标区域,该目标区域的图像和从第一图像中分割出来的主体图像是相匹配的。例如,电子设备可以将主体图像和第二图像进行图像对齐(匹配),在图像对齐后电子设备可以将第二图像中对应于该主体图像的区域确定为目标区域。
在确定出目标区域后,电子设备可以将第二图像中的目标区域的图像直接用主体图像替换掉,并将完成图像替换后的第二图像确定为目标图像,从而完成第二图像和主体图像的融合处理。
可以理解的是,上述利用图像直接替换的方式完成的第二图像和主体图像的融合处理,最终得到的目标图像中关于拍摄主体的图像的清晰度较好,因为目标图像中拍摄主体部分的图像是第一图像中成像很清晰的拍摄主体的图像。
或者,在另一种实施方式中,电子设备将主体图像和第二图像进行融合处理得到目标图像的流程,也可以包括:
电子设备将第二图像中对应于拍摄主体的区域确定为目标区域,该目标区域的图像与主体图像相匹配;
电子设备将第二图像中的目标区域的图像与主体图像进行图像融合处理,并将融合完成后的图像确定为目标图像。
比如,电子设备可以先从第二图像中确定出对应于拍摄主体的区域,并将该区域确定为目标区域,该目标区域的图像和从第一图像中分割出来的主体图像是相匹配的。例如,电子设备可以将主体图像和第二图像进行图像对齐(匹配),在图像对齐后电子设备可以将第二图像中对应于该主体图像的区域确定为目标区域。
在确定出目标区域后,电子设备可以将第二图像中的该目标区域的图像与主体图像进行图像像素融合处理,并将融合完成后的图像确定为目标图像。
可以理解的是,上述采用将第二图像中的目标区域的图像与主体图像进行图像像素融合处理的方式得到的目标图像中关于拍摄主体区域的图像和第二图像整体的融合度较好。
在本申请中,除了利用第一摄像头和第二摄像头拍摄的图像的视差信息来计算第一图像的深度信息外,在另一些实施方式中,电子设备的第二摄像头也可以是深感摄像头,例如第二摄像头可以为TOF摄像头或者3D结构光摄像头。那么,电子设备可以根据该第二摄像头获取到第一图像的深度信息,进而根据第一图像的深度信息对该第一图像进行分割,得到关于拍摄主体的主体图像。
需要说明的是,TOF(Time of Flight,飞行时间)摄像头主要由红外光投射器和接收模组构成。TOF摄像头的投射器可以向外投射红外光,该红外光遇到被测物体后反射,并被TOF摄像头的接收模组接收,通过记录红外光从发射到被接收的时间可以计算出被照物体的深度信息,并完成3D建模。即,利用TOF摄像头可以获取到被拍物体的深度信息。
而3D结构光技术的基本原理是通过近红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集。这种具备一定结构的光线,会因被拍摄物体的不同深度区域,而采集不同的图像相位信息,然后通过运算单元将这种结构的变化换算成深度信息,以此来获得三维结构。简单来说就是,通过光学手段获取被拍摄物体的三维结构,再将获取到的信息进行更深入的应用。即,3D结构光摄像头通过利用点阵投影仪向外投射多个光斑到被拍物体,以红外摄像头拍摄被拍摄物体的三维光图像,再经由处理***计算出被拍摄物体的深度信息。
需要说明的是,在本申请中,基于第一摄像头和第二摄像头拍摄得到的图像的视差信息来计算第一图像的深度信息的方式,其硬件成本较低,计算简单,可以快速计算出第一图像的深度信息,从而提高从第一图像中分割出主体图像的速度。而若电子设备中的第二摄像头为TOF摄像头,那么由于TOF摄像头的识别距离较远,因此当拍摄主体距离摄像头较远时,利用TOF摄像头可以较为准确地计算得到第一图像的深度信息,从而提高从第一图像中分割出主体图像的精度。若电子设备中的第二摄像头为3D结构光摄像头,那么由于3D结构光摄像头的识别精度较高,因此利用3D结构光摄像头可以提高计算第一图像的深度信息的精度,从而提高从第一图像中分割出主体图像的精度。
在另一种实施方式中,电子设备也可以先检测拍摄场景中是否存在灯光,若拍摄场景中存在灯光,那么可以使用本申请提供的图像处理方法来得到具有真实光斑的图像。比如,电子设备可以通过场景识别的方式来检测拍摄场景中是否存在灯光。例如,这种场景识别的方式可以是基于人工智能技术实现的场景识别。
除了通过场景识别的方式来检测拍摄场景中是否存在灯光外,本实施例还可以通过如下方式来检测拍摄场景中是否存在灯光,并在检测到拍摄场景中存在灯光时,利用本实施例提供的图像处理方法来得到具有真实光斑的图像:例如电子设备可以先利用第一摄像头获取拍摄主体具有清晰成像的第一图像。之后,电子设备可以获取第一图像的亮度分布信息,并根据该第一图像的亮度分布信息来检测第一图像中亮度值大于预设亮度阈值的像素点数量是否大于预设数值。若检测到第一图像中亮度值大于预设亮度阈值的像素点数量大于预设数值,则可以认为第一图像中存在过曝区域,而该过曝区域很可能是灯或光形成的。在这种情况下,可以认为拍摄场景中存在灯光,并需要利用本实施例提供的图像处理方法来得到具有真实光斑的目标图像。
在一种实施方式中,第一图像的亮度分布信息可以是第一图像的亮度直方图。
请参阅图3至图5,图3至图5为本申请实施例提供的图像处理方法的场景示意图。
比如,电子设备包括两个摄像头,分别为第一摄像头和第二摄像头。当用户将摄像头对准拍摄场景,并按下拍照按钮后,电子设备可以利用第一摄像头拍摄一张拍摄主体成像清晰的第一图像。例如,第一图像可以如图3所示,图3中拍摄主体为自行车的座椅。
之后,电子设备可以获取第一摄像头拍摄第一图像时该第一摄像头的镜头所在的第一位置,并根据预设的第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,将第二摄像头的镜头驱动至第六位置,并在第二摄像头的镜头位于该第六位置时拍摄第三图像。其中,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第一位置与该第二摄像头的镜头所在的第六位置相对应。然后,电子设备可以计算第一图像和第三图像的视差信息,并利用该视差信息计算出第一图像的深度信息。
在计算得到第一图像的深度信息后,电子设备可以对第一图像进行图像分割,从而从第一图像中分割得到主体图像(即自行车的座椅)。
之后,电子设备可以检测拍摄主体与第一摄像头的距离,即电子设备可以检测拍摄主体是在近处还是远处。例如,本实施例中,电子设备检测到拍摄主体(即自行车的座椅)在近处。
在这种情况下,电子设备可以从多个镜头位置中选择对应的镜头位置作为第一摄像头的镜头的第二位置,其中,在第一摄像头的镜头在该第二位置处时与图像传感器的距离大于第一摄像头的镜头在第一位置处时与图像传感器的距离,即相对于第一位置,当镜头位于第二位置时其更远离图像传感器,即镜头向前伸了。并且,在第一摄像头的镜头在该第二位置时与图像传感器的距离大于第一摄像头的镜头在其它任一位置时与图像传感器的距离,此时,镜头所在的第二位置为最远离图像传感器的位置。
然后,根据第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备可以将第二摄像头的镜头驱动至第三位置,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,第一摄像头的镜头所在的第二位置与第二摄像头的镜头所在的第三位置相对应。例如,当第一摄像头和第二摄像头的规格相同时,第三位置对应的DAC code值与第二位置对应的DAC code值相同。
当第二摄像头的镜头移动至第三位置时,电子设备可以利用第二摄像头拍摄第二图像。可以理解的是,第二图像为拍摄主体失焦的图像。例如,第二图像如图4所示,从图4中可以看出自行车座椅的图像模糊了,同时自行车周边的图像也模糊了。
在拍摄得到主体失焦的第二图像后,电子设备可以根据第一图像和第二图像计算失焦系数。之后,电子设备可以根据计算得到的失焦系数调整第二图像的比例,得到调整比例后的第二图像。
之后,电子设备可以将主体图像和调整比例后的第二图像进行图像融合处理,从而得到目标图像。其中,该目标图像中的拍摄主体成像清晰,并且该目标图像中除了该拍摄主体外的其它区域为虚化效果。例如,目标图像可以如图5所示,从图5可以看出,拍摄的主体自行车座椅成像清晰,并且除自行车座椅外其它区域呈虚化效果。
另外,从图3至图5可知,拍摄场景中,树叶、树枝之间有光亮,为了提高图像的表现力,这些光亮可以虚化成光斑。由于第二图像中光斑是在拍摄主体失焦时自然生成的真实光斑,因此图像融合后的图5中的光斑是真实自然的光斑,成像质量好。
可以理解的是,本申请实施例中,电子设备可以提供一种具有真实虚化,尤其是具有真实虚化生成的光斑的图像。相比于相关技术中利用算法来模拟生成光斑的技术,由于本实施例光斑是在拍摄主体失焦时由第二摄像头直接采集得到的,因此本实施例中的光斑是自然真实的。
另外,由于利用算法模拟生成光斑时需要耗费大量的时间和算力来进行光斑渲染。因此,本实施例通过由第二摄像头直接采集光斑的方式,还可以节省为生成光斑所需的渲染时间。
请参阅图6,图6为本申请实施例提供的图像处理装置的结构示意图。该图像处理装置可以应用于电子设备,该电子设备至少包括第一摄像头和第二摄像头。图像处理装置300可以包括:第一获取模块301,第二获取模块302,图像分割模块303,第三获取模块304,图像融合模块305。
第一获取模块301,用于利用所述第一摄像头,获取拍摄主体成像清晰的第一图像。
第二获取模块302,用于获取所述第一图像的深度信息。
图像分割模块303,用于根据所述深度信息,对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域。
第三获取模块304,用于利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦。
图像融合模块305,用于将所述主体图像和所述第二图像进行图像融合处理,得到目标图像。
在一种实施方式中,所述第一图像和所述第二图像对应的拍摄场景中存在灯光。
在一种实施方式中,所述第三获取模块304可以用于:
将所述第一摄像头拍摄所述第一图像时,所述第一摄像头的镜头所在的位置确定为第一位置;
检测所述拍摄主体与所述第一摄像头的距离;
在所述拍摄主体与所述第一摄像头的距离小于预设阈值时,根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第二位置,其中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;
根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第三位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第二位置与所述第二摄像头的镜头所在的第三位置相对应。
在一种实施方式中,所述第三获取模块304还可以用于:
在所述拍摄主体与所述第一摄像头的距离大于或等于预设阈值时,根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第四位置,其中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;
根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第五位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第四位置与所述第二摄像头的镜头所在的第五位置相对应。
在一种实施方式中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。
在一种实施方式中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。
在一种实施方式中,所述图像融合模块305还可以用于:
根据所述第一图像和所述第二图像,计算失焦系数;
根据所述失焦系数,调整所述第二图像的比例,得到调整比例后的第二图像;
将所述主体图像和所述调整比例后的第二图像进行图像融合处理,得到目标图像。
在一种实施方式中,所述第二获取模块302可以用于:
利用所述第二摄像头拍摄第三图像;
获取所述第一图像和所述第三图像的视差信息,并根据所述视差信息计算所述第一图像的深度信息。
在一种实施方式中,所述第二获取模块302可以用于:
获取所述第一摄像头拍摄所述第一图像时所述第一摄像头的镜头所在的第一位置;
根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第六位置,并拍摄第三图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第一位置与所述第二摄像头的镜头所在的第六位置相对应。
在一种实施方式中,所述第二摄像头为TOF摄像头或3D结构光摄像头。
那么,所述第二获取模块302可以用于:根据所述第二摄像头获取所述第一图像的深度信息。
在一种实施方式中,所述图像融合模块305可以用于:将所述第二图像中对应于所述拍摄主体的区域确定为目标区域,所述目标区域的图像与所述主体图像相匹配;将所述第二图像中的所述目标区域的图像替换为所述主体图像,并将完成图像替换后的第二图像确定为目标图像。
在一种实施方式中,所述图像融合模块305可以用于:将所述第二图像中对应于所述拍摄主体的区域确定为目标区域,所述目标区域的图像与所述主体图像相匹配;将所述第二图像中的所述目标区域的图像与所述主体图像进行图像融合处理,并将融合完成后的图像确定为目标图像。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图7,图7为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像模组401可以至少包括第一摄像头和第二摄像头。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;
获取所述第一图像的深度信息;
根据所述深度信息,对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;
利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;
将所述主体图像和所述第二图像进行图像融合处理,得到目标图像。
在其它实施例中,除了摄像模组、存储器和处理器,电子设备还可以具有触摸显示屏、扬声器、麦克风、电池等部件。
其中,触摸显示屏可以用于显示诸如图像、文字等信息。并且,触摸显示屏还可以具有输入输出单元的作用。比如,触摸显示屏可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的光学或者轨迹球信号输入。触摸显示屏还可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
扬声器可以用于播放声音信号。麦克风则可以从周围环境中拾取声音信号。电池可以为整个电子设备的各个部件提供电力。
本发明实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image SignalProcessing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。
图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图8,图8为本实施例中图像处理电路的结构示意图。如图8所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
图像处理电路可以包括:第一摄像头510、第二摄像头520、第一图像信号处理器530、第二图像信号处理器540、控制逻辑器550、图像存储器560、显示器570。其中,第一摄像头510可以包括一个或多个第一透镜511和第一图像传感器512。第二摄像头520可以包括一个或多个第二透镜521和第二图像传感器522。
第一摄像头510采集的第一图像传输给第一图像信号处理器530进行处理。第一图像信号处理器530处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第一摄像头510的控制参数,从而第一摄像头510可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一图像信号处理器530进行处理后可存储至图像存储器560中。第一图像信号处理器530也可以读取图像存储器560中存储的图像以进行处理。另外,第一图像经过图像信号处理器530进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。
第二摄像头520采集的第二图像传输给第二图像信号处理器540进行处理。第二图像信号处理器540处理第二图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第二摄像头520的控制参数,从而第二摄像头520可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二图像信号处理器540进行处理后可存储至图像存储器560中。第二图像信号处理器540也可以读取图像存储器560中存储的图像以进行处理。另外,第二图像经过图像信号处理器540进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。
在另一些实施方式中,第一图像信号处理器和第二图像信号处理器也可合成为统一的图像信号处理器,分别处理第一图像传感器和第二图像传感器的数据。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、第一图像信号处理器、第二图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
一般的,具有双摄像模组的手机,在某些拍照模式下,双摄像模组均工作。此时,CPU控制供电模块为第一摄像头和第二摄像头供电。第一摄像头中的图像传感器上电,第二摄像头中的图像传感器上电,从而可以实现图像的采集转换。在某些拍照模式下,可以是双摄像模组中的一个摄像头工作。例如,仅长焦摄像头工作。这种情况下,CPU控制供电模块给相应摄像头的图像传感器供电即可。
以下为运用图8中图像处理技术实现本实施例提供的图像处理方法的流程:
利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;
获取所述第一图像的深度信息;
根据所述深度信息,对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;
利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;
将所述主体图像和所述第二图像进行图像融合处理,得到目标图像。
在一种实施方式中,所述第一图像和所述第二图像对应的拍摄场景中存在灯光。
在一种实施方式中,电子设备还可以执行:将所述第一摄像头拍摄所述第一图像时,所述第一摄像头的镜头所在的位置确定为第一位置;
那么,电子设备执行所述利用所述第二摄像头获取第二图像时,还可以执行:检测所述拍摄主体与所述第一摄像头的距离;在所述拍摄主体与所述第一摄像头的距离小于预设阈值时,根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第二位置,其中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第三位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第二位置与所述第二摄像头的镜头所在的第三位置相对应。
在一种实施方式中,电子设备执行所述利用所述第二摄像头获取第二图像时,还可以执行:在所述拍摄主体与所述第一摄像头的距离大于或等于预设阈值时,根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第四位置,其中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第五位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第四位置与所述第二摄像头的镜头所在的第五位置相对应。
在一种实施方式中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。
在一种实施方式中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。
在一种实施方式中,电子设备还可以执行:根据所述第一图像和所述第二图像,计算失焦系数;根据所述失焦系数,调整所述第二图像的比例,得到调整比例后的第二图像;所述将所述主体图像和所述第二图像进行图像融合处理得到目标图像,包括:将所述主体图像和所述调整比例后的第二图像进行图像融合处理,得到目标图像。
在一种实施方式中,电子设备执行所述获取所述第一图像的深度信息时,可以执行:利用所述第二摄像头拍摄第三图像;获取所述第一图像和所述第三图像的视差信息,并根据所述视差信息计算所述第一图像的深度信息。
在一种实施方式中,电子设备执行所述利用所述第二摄像头拍摄第三图像时,可以执行:获取所述第摄像头拍摄所述第一图像时所述第一摄像头的镜头所在的第一位置;根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第六位置,并拍摄第三图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第一位置与所述第二摄像头的镜头所在的第六位置相对应。
在一种实施方式中,所述第二摄像头可以为TOF摄像头或3D结构光摄像头。
那么,电子设备执行所述获取所述第一图像的深度信息时,可以执行:根据所述第二摄像头获取所述第一图像的深度信息。
在一种实施方式中,电子设备执行所述将所述主体图像和所述第二图像进行图像融合处理得到目标图像时,可以执行:将所述第二图像中对应于所述拍摄主体的区域确定为目标区域,所述目标区域的图像与所述主体图像相匹配;将所述第二图像中的所述目标区域的图像替换为所述主体图像,并将完成图像替换后的第二图像确定为目标图像。
在一种实施方式中,电子设备执行所述将所述主体图像和所述第二图像进行图像融合处理得到目标图像时,可以执行:将所述第二图像中对应于所述拍摄主体的区域确定为目标区域,所述目标区域的图像与所述主体图像相匹配;将所述第二图像中的所述目标区域的图像与所述主体图像进行图像融合处理,并将融合完成后的图像确定为目标图像。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (18)

1.一种图像处理方法,应用于电子设备,其中,所述电子设备至少包括第一摄像头和第二摄像头,所述方法包括:
利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;
获取所述第一图像的深度信息;
根据所述深度信息,对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;
利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;
将所述主体图像和所述第二图像进行图像融合处理,得到目标图像;
所述利用所述第二摄像头获取第二图像,包括:检测所述拍摄主体与所述第一摄像头的距离;根据所述距离获取第二图像;
所述方法还包括:将所述第一摄像头拍摄所述第一图像时,所述第一摄像头的镜头所在的位置确定为第一位置;
其中,在所述拍摄主体与所述第一摄像头的距离小于预设阈值时,根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第二位置,其中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;
根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第三位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第二位置与所述第二摄像头的镜头所在的第三位置相对应。
2.根据权利要求1所述的图像处理方法,其中,所述第一图像和所述第二图像对应的拍摄场景中存在灯光。
3.根据权利要求1所述的图像处理方法,其中,所述利用所述第二摄像头获取第二图像,还包括:
在所述拍摄主体与所述第一摄像头的距离大于或等于预设阈值时,根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第四位置,其中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;
根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第五位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第四位置与所述第二摄像头的镜头所在的第五位置相对应。
4.根据权利要求1所述的图像处理方法,其中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。
5.根据权利要求3所述的图像处理方法,其中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。
6.根据权利要求1所述的图像处理方法,其中,所述方法还包括:
根据所述第一图像和所述第二图像,计算失焦系数;
根据所述失焦系数,调整所述第二图像的比例,得到调整比例后的第二图像;
所述将所述主体图像和所述第二图像进行图像融合处理得到目标图像,包括:将所述主体图像和所述调整比例后的第二图像进行图像融合处理,得到目标图像。
7.根据权利要求1所述的图像处理方法,其中,所述获取所述第一图像的深度信息,包括:
利用所述第二摄像头拍摄第三图像;
获取所述第一图像和所述第三图像的视差信息,并根据所述视差信息计算所述第一图像的深度信息。
8.根据权利要求7所述的图像处理方法,其中,所述利用所述第二摄像头拍摄第三图像,包括:
获取所述第一摄像头拍摄所述第一图像时所述第一摄像头的镜头所在的第一位置;
根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第六位置,并拍摄第三图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第一位置与所述第二摄像头的镜头所在的第六位置相对应。
9.根据权利要求1所述的图像处理方法,其中,所述第二摄像头为TOF摄像头或3D结构光摄像头;
所述获取所述第一图像的深度信息,包括:根据所述第二摄像头获取所述第一图像的深度信息。
10.根据权利要求1所述的图像处理方法,其中,所述将所述主体图像和所述第二图像进行图像融合处理,得到目标图像,包括:
将所述第二图像中对应于所述拍摄主体的区域确定为目标区域,所述目标区域的图像与所述主体图像相匹配;
将所述第二图像中的所述目标区域的图像替换为所述主体图像,并将完成图像替换后的第二图像确定为目标图像。
11.根据权利要求1所述的图像处理方法,其中,所述将所述主体图像和所述第二图像进行图像融合处理,得到目标图像,包括:
将所述第二图像中对应于所述拍摄主体的区域确定为目标区域,所述目标区域的图像与所述主体图像相匹配;
将所述第二图像中的所述目标区域的图像与所述主体图像进行图像融合处理,并将融合完成后的图像确定为目标图像。
12.一种图像处理装置,应用于电子设备,其中,所述电子设备至少包括第一摄像头和第二摄像头,所述装置包括:
第一获取模块,用于利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;
第二获取模块,用于获取所述第一图像的深度信息;
图像分割模块,用于根据所述深度信息,对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;
第三获取模块,用于利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;
图像融合模块,用于将所述主体图像和所述第二图像进行图像融合处理,得到目标图像;
所述第三获取模块还可以用于:将所述第一摄像头拍摄所述第一图像时,所述第一摄像头的镜头所在的位置确定为第一位置;
其中,在所述拍摄主体与所述第一摄像头的距离小于预设阈值时,根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第二位置,其中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;
根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第三位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第二位置与所述第二摄像头的镜头所在的第三位置相对应。
13.一种计算机可读的存储介质,其上存储有计算机程序,其中,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1所述的方法。
14.一种电子设备,包括存储器,处理器,以及至少包括第一摄像头和第二摄像头,其中,所述处理器通过调用所述存储器中存储的计算机程序,用于执行:
利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;
获取所述第一图像的深度信息;
根据所述深度信息,对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;
利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;
将所述主体图像和所述第二图像进行图像融合处理,得到目标图像;
所述处理器还用于执行:将所述第一摄像头拍摄所述第一图像时,所述第一摄像头的镜头所在的位置确定为第一位置;
其中,在所述拍摄主体与所述第一摄像头的距离小于预设阈值时,根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第二位置,其中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;
根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第三位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第二位置与所述第二摄像头的镜头所在的第三位置相对应。
15.根据权利要求14所述的电子设备,其中,所述处理器还用于执行:
在所述拍摄主体与所述第一摄像头的距离大于或等于预设阈值时,根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第四位置,其中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;
根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第五位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第四位置与所述第二摄像头的镜头所在的第五位置相对应。
16.根据权利要求14所述的电子设备,其中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。
17.根据权利要求15所述的电子设备,其中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。
18.根据权利要求14所述的电子设备,其中,所述处理器还用于执行:
根据所述第一图像和所述第二图像,计算失焦系数;
根据所述失焦系数,调整所述第二图像的比例,得到调整比例后的第二图像;
所述将所述主体图像和所述第二图像进行图像融合处理得到目标图像,包括:将所述主体图像和所述调整比例后的第二图像进行图像融合处理,得到目标图像。
CN202080083918.0A 2020-01-16 2020-01-16 图像处理方法、装置、存储介质及电子设备 Active CN114762313B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/072464 WO2021142711A1 (zh) 2020-01-16 2020-01-16 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN114762313A CN114762313A (zh) 2022-07-15
CN114762313B true CN114762313B (zh) 2024-03-01

Family

ID=76863463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080083918.0A Active CN114762313B (zh) 2020-01-16 2020-01-16 图像处理方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN114762313B (zh)
WO (1) WO2021142711A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847664A (zh) * 2015-07-31 2016-08-10 维沃移动通信有限公司 一种移动终端拍照的方法和装置
CN106791416A (zh) * 2016-12-29 2017-05-31 努比亚技术有限公司 一种背景虚化的拍摄方法及终端
CN107018331A (zh) * 2017-04-19 2017-08-04 努比亚技术有限公司 一种基于双摄像头的成像方法及移动终端
CN107707809A (zh) * 2017-08-17 2018-02-16 捷开通讯(深圳)有限公司 一种图像虚化的方法、移动设备以及存储装置
CN108040207A (zh) * 2017-12-18 2018-05-15 信利光电股份有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN108600643A (zh) * 2018-07-13 2018-09-28 广州三星通信技术研究有限公司 图像拍摄方法和装置
CN109151329A (zh) * 2018-11-22 2019-01-04 Oppo广东移动通信有限公司 拍照方法、装置、终端及计算机可读存储介质
CN110505406A (zh) * 2019-08-26 2019-11-26 宇龙计算机通信科技(深圳)有限公司 背景虚化方法、装置、存储介质及终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140594A (ja) * 2004-11-10 2006-06-01 Pentax Corp デジタルカメラ
KR101994473B1 (ko) * 2017-12-20 2019-07-31 (주)이더블유비엠 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847664A (zh) * 2015-07-31 2016-08-10 维沃移动通信有限公司 一种移动终端拍照的方法和装置
CN106791416A (zh) * 2016-12-29 2017-05-31 努比亚技术有限公司 一种背景虚化的拍摄方法及终端
CN107018331A (zh) * 2017-04-19 2017-08-04 努比亚技术有限公司 一种基于双摄像头的成像方法及移动终端
CN107707809A (zh) * 2017-08-17 2018-02-16 捷开通讯(深圳)有限公司 一种图像虚化的方法、移动设备以及存储装置
CN108040207A (zh) * 2017-12-18 2018-05-15 信利光电股份有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN108600643A (zh) * 2018-07-13 2018-09-28 广州三星通信技术研究有限公司 图像拍摄方法和装置
CN109151329A (zh) * 2018-11-22 2019-01-04 Oppo广东移动通信有限公司 拍照方法、装置、终端及计算机可读存储介质
CN110505406A (zh) * 2019-08-26 2019-11-26 宇龙计算机通信科技(深圳)有限公司 背景虚化方法、装置、存储介质及终端

Also Published As

Publication number Publication date
WO2021142711A1 (zh) 2021-07-22
CN114762313A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN107948519B (zh) 图像处理方法、装置及设备
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
KR102279436B1 (ko) 이미지 처리 방법, 장치 및 기기
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
KR102266649B1 (ko) 이미지 처리 방법 및 장치
CN111246092B (zh) 图像处理方法、装置、存储介质及电子设备
US8553134B2 (en) Imager processing a captured image
CN110602467B (zh) 图像降噪方法、装置、存储介质及电子设备
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN111246093B (zh) 图像处理方法、装置、存储介质及电子设备
WO2019109805A1 (zh) 图像处理方法和装置
CN107846556B (zh) 成像方法、装置、移动终端和存储介质
RU2531632C2 (ru) Устройство захвата изображения, способ управления для устройства захвата изображения и носитель информации
CN108156369B (zh) 图像处理方法和装置
US8294785B2 (en) Method for adjusting photosensitiveness of digital camera
CN110717871A (zh) 图像处理方法、装置、存储介质及电子设备
CN113298735A (zh) 图像处理方法、装置、电子设备及存储介质
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
JP2010072619A (ja) 露出演算装置およびカメラ
CN110581957B (zh) 图像处理方法、装置、存储介质及电子设备
CN106878606B (zh) 一种基于电子设备的图像生成方法和电子设备
CN111212231B (zh) 图像处理方法、装置、存储介质及电子设备
CN114762313B (zh) 图像处理方法、装置、存储介质及电子设备
JP2020046475A (ja) 画像処理装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant