CN110324532A - 一种图像虚化方法、装置、存储介质及电子设备 - Google Patents

一种图像虚化方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110324532A
CN110324532A CN201910603273.8A CN201910603273A CN110324532A CN 110324532 A CN110324532 A CN 110324532A CN 201910603273 A CN201910603273 A CN 201910603273A CN 110324532 A CN110324532 A CN 110324532A
Authority
CN
China
Prior art keywords
image
depth
view information
target
frame number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910603273.8A
Other languages
English (en)
Other versions
CN110324532B (zh
Inventor
李逸超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910603273.8A priority Critical patent/CN110324532B/zh
Publication of CN110324532A publication Critical patent/CN110324532A/zh
Application granted granted Critical
Publication of CN110324532B publication Critical patent/CN110324532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种图像虚化方法、装置、存储介质及电子设备，所述方法包括：获取终端的双摄像头中主摄像头针对目标区域拍摄的第一图像，并获取同一时刻所述双摄像头中副摄像头针对所述目标区域拍摄的第二图像；基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息；基于所述初始景深信息调整所述副摄像头的对焦距离，获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像；基于所述多帧第三图像得到所述第一图像的目标景深信息，基于所述目标景深信息对所述第一图像进行虚化处理。因此，采用本申请实施例，可以提高景深计算精度，进而可以提高图像虚化的准确度。

Description

一种图像虚化方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像虚化方法、装置、存储介质及电子设备。
背景技术
随着移动设备技术以及图像拍摄技术的发展，双摄像头所拍摄的图像的虚化技术受到广泛关注。所谓双摄像头虚化的原理是指利用两颗摄像头来进行拍照处理进行虚化；其中，一个摄像头负责成像，而另外一个摄像头用来计算景深，所谓景深就是计算所拍摄的图像内各个像素单元或者区域距离镜头的距离。最后，根据距离的不同进行后续的软件处理而达到虚化的效果。
目前主流的双摄，使用主副摄像头分别输出一张图像，根据两张图像的相位差进行景深计算，得到景深信息后，进行虚化处理。而由于主副摄像头所输出的图像均为2D图像，本身已经损失了部分景深信息，从而导致所计算的景深信息精度不足，进而降低了根据该景深信息进行图像虚化的准确度。
发明内容
本申请实施例提供了一种图像虚化方法、装置、存储介质及电子设备，可以提高景深计算精度，进而可以提高图像虚化的准确度。所述技术方案如下：
第一方面，本申请实施例提供了一种图像虚化方法，所述方法包括：
获取终端的双摄像头中主摄像头针对目标区域拍摄的第一图像，并获取同一时刻所述双摄像头中副摄像头针对所述目标区域拍摄的第二图像；
基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息；
基于所述初始景深信息调整所述副摄像头的对焦距离，获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像；
基于所述多帧第三图像得到所述第一图像的目标景深信息，基于所述目标景深信息对所述第一图像进行虚化处理。
第二方面，本申请实施例提供了一种图像虚化装置，所述装置包括：
图像获取模块，用于获取终端的双摄像头中主摄像头针对目标区域拍摄的第一图像，并获取同一时刻所述双摄像头中副摄像头针对所述目标区域拍摄的第二图像；
初始景深获取模块，用于基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息；
焦距调整模块，用于基于所述初始景深信息调整所述副摄像头的对焦距离，获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像；
图像虚化模块，用于基于所述多帧第三图像得到所述第一图像的目标景深信息，基于所述目标景深信息对所述第一图像进行虚化处理。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请实施例中，通过获取终端的双摄像头中主摄像头针对目标区域同时拍摄的第一图像以及第二图像，基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息，然后基于所述初始景深信息调整所述副摄像头的对焦距离，再获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像，基于这多帧第三图像计算所述第一图像的目标景深信息，最后根据目标景深信息对所述第一图像进行虚化处理。通过两摄像头拍摄的第一帧图像得到初始景深信息，以对副摄拍摄的对焦距离进行调整，从而可以控制副摄像头在初始景深信息对应的主体附近拍摄多帧图像来计算更精确的景深信息，进而可以提高图像虚化的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施场景的举例示意图；
图2是本申请实施例提供的一种图像虚化方法的流程示意图；
图3是本申请实施例提供的一种景深图像的举例示意图；
图4a-4c是本申请实施例提供的一种对焦距离设置效果的举例示意图；
图5是本申请实施例提供的一种对焦距离设置效果的举例示意图；
图6是本申请实施例提供的一种图像虚化方法的流程示意图；
图7是本申请实施例提供的一种采用相位差计算初始景深信息的原理图；
图8是本申请实施例提供的一种景深距离的原理图；
图9是本申请实施例提供的一种多帧第三图像的拍摄效果示意图；
图10a是本申请实施例提供的一种实际物距计算原理图；
图10b是本申请实施例提供的一种实际物距计算原理图；
图10c是本申请实施例提供的一种实际物距计算原理图；
图11是本申请实施例提供的一种图像虚化装置的结构示意图；
图12是本申请实施例提供的一种图像虚化装置的结构示意图；
图13是本申请实施例提供的一种焦距调整模块的结构示意图；
图14是本申请实施例提供的一种焦距调整模块的结构示意图；
图15是本申请实施例提供的一种图像虚化模块的结构示意图；
图16是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参见图1，是本申请实施例提供的一种实施场景示意图，如图1所示，用户采用设置有主摄像头1000以及副摄像头2000的终端100拍摄目标区域200。
所述终端100包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、5G网络或未来演进网络中的终端设备等。
如图1所示，当终端100接收到用户触发的拍摄指令时，通过主摄像头1000拍摄得到第一图像，并通过副摄像头2000拍摄得到第二图像。
此时，两摄像头采用的是相同的曝光时间以及对焦距离所拍摄。该曝光时间以及对焦距离可以为***设置，也可以为用户设置。
在拍摄完成后，终端100根据第一图像以及第二图像的相关图像信息(如相位差)以及焦距信息，计算所述第一图像或第二图像的初始景深信息，即第一图像或第二图像中各对象(如人物、景物等)与摄像头之间的实际距离。由于该实际距离仅仅依赖两摄像头所拍摄的一张图像计算得到，而第一图像和第二图像为2D图像，不包含空间信息，导致所得到的景深精度不足。但可以统计图像中所包含的主体与摄像头之间的距离以及整个图像的景深分布跨度。
然后再基于所述初始景深信息调整副摄像头2000的对焦距离，并同时调整该副摄像头2000的曝光时间，然后控制所述副摄像头2000分别在调整后的曝光时间以及调整后的多个对焦距离下针对该同一目标区域拍摄的多帧第三图像；
其中，当副摄像头的对焦速度较慢时，所述初始景深信息包括所述第一图像的目标对焦距离，终端100获取第一预设倍数的所述目标对焦距离以及第二预设倍数的所述目标对焦距离，然后在所述第一预设倍数的所述目标对焦距离以及所述第二预设倍数的所述目标对焦距离之间***预设帧数的对焦距离，所述预设帧数为所述第二拍摄帧数与2的差值，再将所述第一预设倍数的所述目标对焦距离、所***的预设帧数的对焦距离以及所述第二预设倍数的所述对焦距离，依次作为所述副摄像头调整后的多个对焦距离。然后将副摄像头对应的马达分别调整到这多个对焦距离处进行拍摄(即用副摄在主体附件拍摄)，每移动一个对焦距离就拍摄一帧第三图像，从而得到多帧第三图像。具体帧数为主摄像头拍摄的第一图像的帧数N*主摄像头的曝光时间t/副摄像头调整后的曝光时间t0。
当副摄像头的对焦速度较快时，所述初始景深信息包括最大景深距离以及最小景深距离，终端100将所述最大景深距离与所述最小景深距离之间的景深图像划分为预设个数的段落，所述预设个数等于所述第二拍摄帧数，再以所述副摄像头到所述预设个数的段落中每个段落的中点之间的距离为所述副摄像头调整后的多个对焦距离。然后将副摄像头对应的马达分别调整到这多个对焦距离处进行拍摄，每移动一个对焦距离就拍摄一帧第三图像，从而得到多帧第三图像。具体帧数为主摄像头拍摄的第一图像的帧数N*主摄像头的曝光时间t/副摄像头调整后的曝光时间t0。
最后，终端100基于所述多帧第三图像得到所述第一图像的目标景深信息，基于所述目标景深信息对所述第一图像进行虚化处理。
其中，可采用梯度算法分别对所述多帧第三图像进行边缘提取处理，得到所述多帧第三图像的各个图像区域，然后计算所述多帧第三图像中各区域的锐度最大值，根据所述各区域的锐度最大值得到所述第一图像的目标景深信息，此时的景深信息相对初始景深信息而言，更精确，进而再根据该目标景深信息对第一图像中的前景或背景区域进行虚化处理后，虚化效果也更准确。
在本申请实施例中，通过获取终端的双摄像头中主摄像头针对目标区域同时拍摄的第一图像以及第二图像，基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息，然后基于所述初始景深信息调整所述副摄像头的对焦距离，再获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像，基于这多帧第三图像计算所述第一图像的目标景深信息，最后根据目标景深信息对所述第一图像进行虚化处理。通过两摄像头拍摄的第一帧图像得到初始景深信息，以对副摄拍摄的对焦距离进行调整，从而可以控制副摄像头在初始景深信息对应的主体附近拍摄多帧图像来计算更精确的景深信息，进而可以提高图像虚化的准确度。
下面将结合附图2-附图10，对本申请实施例提供的图像虚化方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的图像虚化装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的图像虚化装置可以为图1所示的终端。
请参见图2，为本申请实施例提供的一种图像虚化方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：
S101，获取终端的双摄像头中主摄像头针对目标区域拍摄的第一图像，并获取同一时刻所述双摄像头中副摄像头针对所述目标区域拍摄的第二图像；
所述双摄像头可以同时为上下并列或左右并列的前置摄像头，也可以同时为上下并列或左右并列的后置摄像头。当然，两摄像头可以为固定摄像头或可旋转摄像头。
目前，双摄像头主要分以下三种组合情况：
1)黑白+彩色组合，黑白摄像头负责捕捉到更多的细节，能够让手机拍照的效果更加出色。
2)彩色+彩色组合，两个摄像头同时拍照，不仅能记录物体的景深数据，还能有双倍的进光量。
3)广角+长焦的组合，这种组合的双摄像头有主副之分，主摄像头为广角摄像头，负责成像，副摄像头为长焦摄像头，负责测量景深的数值，从而实现光学变焦，就是通过改变光学镜片组结构来改变镜头焦距。
在本申请实施例中，所述双摄像头包括一主摄像头，一副摄像头，可以为广角+长焦的组合形式。
其中，主摄像头与副摄像头采用相同的曝光时间AE以及对焦距离AF针对同一目标区域进行拍摄，从而得到主摄像头拍摄的第一图像以及副摄像头拍摄的第二图像。
需要说明的是，主摄像头拍摄的第一图像可以为一帧，也可以为多帧。当为多帧时，这多帧第一图像的曝光时间以及对焦距离均相同。也就是说，在拍照命令下发的瞬间，主摄保持曝光时间t、焦距不变，连续取N帧，耗时N*t。而副摄像头拍摄的第二图像可以理解为只包括一帧，该第二图像可以在拍照命令下发的瞬间进行拍摄，即与第一帧第一图像同时拍摄。当然，也可以在拍摄多帧第一图像的任一时刻拍摄第二图像。
可选的，对于主摄像头所拍摄的多帧第一图像，可采用多帧降噪(Multi FrameNoise Reduce，MFNR)进行处理，从而可以优化噪声、提升第一图像的清晰度。
所谓MFNR，就是在夜景或者暗光环境下，相机在按快门到成像的时候会采集多帧照片或者影像，在不同的帧数下找到不同的带有噪点性质的像素点，通过加权合成后得到一张较为干净、纯净的夜景或者暗光照片。通俗地说，就是手机在拍摄夜景或者暗光环境的时候，会进行多个帧数的噪点数量和位置的计算和筛选，将有噪点的地方用没有噪点的帧数替换位置，经过反复加权、替换，就得到一张干净的照片。
S102，基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息；
当第一图像只包括一帧时，可基于该第一图像以及第二图像计算初始景深信息。
当第一图像包括多帧时，可选取其中任一帧(如第一帧)第一图像，或采用MFNR处理后的第一图像，并结合第二图像，计算初始景深信息。
当然，无论第一图像包括一帧或者多帧，以拍照命令下发的瞬间所拍摄的一帧第一图像以及一帧第二图像为准，计算初始景深信息。
其中，景深信息就是指所拍摄的第一图像或第二图像中各个物体与摄像头之间的距离。由于第一图像与第二图像的拍摄AE、AF一致，则可以进行迅速的图像匹配，并根据标定数据和相同物体在不同图像(第一图像和第二图像)上的相位差，从而计算出初始景深信息。
例如，如图3所示，左边为所拍摄的原图，右边为所得到的初始景深图。对于初始景深图，可以分割出主体(人物区域)，得到主体的距离(人物距离约为1.5m)以及全图景深跨度(1.5m到无穷远，其中，超过最大焦距即可认为是无穷远，而此图的最大焦距为4m)。因此，整个画面的景深分布主要集中在1.5m和4m，主体集中在1.5m处，背景大量在无穷远处，中间平缓过渡。
此时景深图可以分割出主体，但下方腿部和地面距离接近，很容易混淆，且景深信息质量较差。
S103，基于所述初始景深信息调整所述副摄像头的对焦距离，获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像；
在一种可行的实现方式中，所述初始景深信息包括所述第一图像的目标对焦距离L，若副摄像头的对焦速度较慢，则获取第一预设倍数的所述目标对焦距离(如2L)以及第二预设倍数的所述目标对焦距离(如0.5L)，然后在所述第一预设倍数的所述目标对焦距离以及所述第二预设倍数的所述目标对焦距离之间***预设帧数的对焦距离，从而得到N*t/t0取整(若为3.5，则照片数量为3)个对焦距离。
其中，在所述第一预设倍数的所述目标对焦距离以及所述第二预设倍数的所述目标对焦距离之间***预设帧数的对焦距离，可以平均插值，可以前紧后送，也可前松后紧。
例如，在2L和0.5L之间***4帧，则对应的对焦距离可以为1.7L、1.4L、1.1L、0.8L，如图4a所示；也可以为1.9L、1.7L、1.4L以及1L，如图4b所示；还可以为1.5L、1.1L、0.8L、0.6L，如图4c所示。
在另一种可行的实现方式中，所述初始景深信息包括最大景深距离以及最小景深距离，若副摄像头的对焦速度较快，将所述最大景深距离与所述最小景深距离之间的景深图像划分为预设个数的段落，以所述副摄像头到所述预设个数的段落中每个段落的中点之间的距离为所述副摄像头调整后的多个对焦距离即得到N*t/t0个对焦距离。
例如，如图5所示，若最大景深距离为4m，最小景深距离为1.5m，则将1.5m～4m之间的景深图划分为多个(如N*t/t0＝5个段落)，并取每个段落的中间分别为1.75m、2.25m、2.75m、3.25m以及3.75m为对焦距离。
其中，对焦速度由副摄像头的自身的性能决定。
可选的，还需要保持副摄像头的整体亮度不变，降低曝光时间至t0(即每过t0时间拍摄一帧图像)，以获得更多帧图像。
对于曝光时间的调整，通常，室外减至原来的(第一图像的曝光时间)50％，室内和暗处减至原来的75％。具体可以按硬件性能不同自由设置，此处不作具体限定。
其中，照片亮度＝进光量+硬件感光度+后期增益，进光量取决于曝光时间以及光圈大小，而由于光圈大小以及硬件感光度为固定值，因此，需要通过控制后期增益以及曝光时间来保证照片亮度。当曝光时间降低时，则需要增大后期增益。若曝光时间为原先的50％，则增益需要加大到原先的2倍。
具体实现中，将副摄像头的曝光时长调整为to，然后将马达分别移动到这些对焦距离处对准目标区域进行拍摄，从而得到N*t/t0帧第三图像。
S104，基于所述多帧第三图像得到所述第一图像的目标景深信息，基于所述目标景深信息对所述第一图像进行虚化处理。
采用边缘提取算法分别对所述多帧第三图像进行边缘提取处理，然后根据所提取的边缘特征对每帧第三图像进行分割，再分别计算每帧第三图像各个区域的锐度值sharp_i。当一帧第三图像中某个区域的sharp_i最大时，即认为此时对该区域对焦，由马达数据可以得到马达位置与该区域对应的实物之间的距离，以此方式可以得到整副图像各区域的距离信息，即得到目标景深信息，此时的景深信息更准确，因此，可根据该景深信息对第一图像中的前景或者背景进行更准确的虚化处理。
需要说明的是，这里的整副图像可以为第三图像中的任一图像，也可以为第一图像。由于两摄像头针对同一目标区域所拍摄，因此所包含的图像内容相同，即第三图像的景深信息与第一图像的景深信息相同。
其中，所述边缘提取算法可以为自适应边缘提取、梯度算子等。
边缘提取有两种操作方式:一是直接在空间域中进行提取，另一种方式是先对图像做一变换,在其变换域中提取边缘。自适应边缘提取就是在处理和分析过程图像边缘中，根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数、边界条件或约束条件，使其与所处理数据的统计分布、特征结构特征相适应，以取得最佳的提取效果。
一种梯度算子为Sobel算子，Sobel算子有两个，一个是检测水平边缘的，另一个是检测垂直边缘的。Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度。
在本申请实施例中，通过获取终端的双摄像头中主摄像头针对目标区域同时拍摄的第一图像以及第二图像，基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息，然后基于所述初始景深信息调整所述副摄像头的对焦距离，再获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像，基于这多帧第三图像计算所述第一图像的目标景深信息，最后根据目标景深信息对所述第一图像进行虚化处理。通过两摄像头拍摄的第一帧图像得到初始景深信息，以对副摄拍摄的对焦距离进行调整，从而可以控制副摄像头在初始景深信息对应的主体附近拍摄多帧图像来计算更精确的景深信息，进而可以提高图像虚化的准确度。
请参见图6，为本申请实施例提供的一种图像虚化方法的流程示意图。本实施例以图像虚化方法应用于用户终端中来举例说明。该图像虚化方法可以包括以下步骤：
S201，获取终端的双摄像头中主摄像头针对目标区域拍摄的第一图像，并获取同一时刻所述双摄像头中副摄像头针对所述目标区域拍摄的第二图像；
具体可参见S101，此处不再赘述。
S202，获取所述第一图像与所述第二图像的相位差，根据所述相位差计算所述第一图像的初始景深信息；
具体的，分别检测第一图像和第二图像对应的特征点，对第一图像和第二图像进行特征点匹配，根据特征点匹配结果得到第一图像和第二图像中相对应的各特征点的视差数据(相位差)，再根据各特征点的视差数据，以及双摄像头的间距和焦距，得到各特征点的深度信息。
其中，可根据快速鲁棒特征(Speeded Up Robust Features，SURF)算法对特征点进行对应特征点的检测，并为每个特征点生成描述子，得到特征点匹配集合。然后根据RANSAC(Random Sample Consensus，随机抽样一致性)算法对特征点匹配集合进行过滤，得到优质的特征点匹配集合。
进一步地，通过第一图像和第二图像的最终匹配集合，得到对应特征点的视差数据，并根据视差数据获得各特征点的深度信息，根据视差数据获得各特征点深度信息计算原理图如图7所示，其中，O和O’为双摄像头，深度信息计算公式为：z＝B·f/(xl-xr)
其中，B为双摄像头之间的平移距离，为固定值，即Bl+Br，f为双摄像头的焦距，xl和xr为场景中的3D点和双摄像头中心在图像平面上的投影点的距离，xl-xr即为视差数据，Z表示为个特征点对应的深度信息。
S203，当所述第一图像包括多帧时，获取所述多帧第一图像对应的第一曝光时长以及第一拍摄帧数；
假设第一图像对应的第一曝光时长为t，拍摄帧数为N。这N帧第一图像的曝光时长均相同。
S204，将所述第一曝光时长调整为第二曝光时长，基于所述第一曝光时长、所述第一拍摄帧数以及所述第二曝光时长，得到第二拍摄帧数。
具体的，计算所述第一曝光时长与所述第一拍摄帧数的乘积，将所述乘积与所述第二曝光时长的商作为所述第三图像的第二拍摄帧数。
其中，第二曝光时长为t0，且t0<t。则第二拍摄帧数N1＝N*t/t0。
对于第二曝光时长t0的调整方式具体可参见S103，此处不再赘述。
S205，基于所述初始景深信息调整所述副摄像头的对焦距离；
对于主体合焦点，对焦马达定义为0，对向前景时，位置为-n，对背景时位置为+n，对于副摄像头需要拍摄的多帧图像，则需要分别将马达移动到-n，……，-3，-2，-1，0，+1，+2，+3，……，+n等多个对焦位置(对焦距离)处。
如图8所示，对焦点到摄像头之间的距离(△L1)为前景，对焦点再往后的距离(△L2)为背景。
其中对焦位置的设置方式包括两种情况：副摄像头对焦速度快以及副摄像头对焦速度慢，具体可参见S103，此处不再赘述。
S206，获取所述副摄像头分别在所述第二曝光时长以及调整后的多个对焦距离下，针对所述目标区域拍摄的第二拍摄帧数的第三图像。
具体的，将副摄像头的第二曝光时长调整为t0，然后依次移动副摄像头的马达至上述计算得到的各个对焦距离处，每移动一个位置则拍摄一帧第三图像，从而拍摄N1帧第三图像。
例如，如图9所示，控制副摄像头的对焦距离后，拍摄得到不同清晰度的第三图像。其中，第1张图像中，A清晰度较高，第2张图像中，B清晰度较高，第3张图像中，C清晰度较高。
S207，采用梯度算法分别对所述多帧第三图像进行边缘提取处理，得到所述多帧第三图像的各个图像区域；
其中，所述边缘提取算法可以为自适应边缘提取、梯度算子等。
自适应边缘提取有两种操作方式:一是直接在空间域中进行提取，另一种方式是先对图像做一变换,在其变换域中提取边缘。自适应边缘提取就是在处理和分析过程图像边缘中，根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数、边界条件或约束条件，使其与所处理数据的统计分布、特征结构特征相适应，以取得最佳的提取效果。
一种梯度算子为Sobel算子，Sobel算子有两个，一个是检测水平边缘的，另一个是检测垂直边缘的。Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度。
具体的，采用梯度算法提取边缘可以将每帧第三图像分割为多个区域，由于每帧图像对焦距离不同，因此所分割的区域之间存在一定的区别。例如，针对图9中的3张图像，分割得到的A、B、C区域不相同。
S208，计算所述多帧第三图像中各区域的锐度值，根据所述各区域的锐度值得到所述第一图像的目标景深信息，基于所述目标景深信息对所述第一图像进行虚化处理。
分别计算每帧第三图像各个区域的锐度值sharp_i。当一帧第三图像中某个区域的sharp_i最大时，即认为此时对该区域对焦，由马达数据可以得到马达位置与该区域对应的实物之间的距离，以此方式可以得到整副图像各区域的距离信息，即得到目标景深信息，
例如，如图9中，A在第1张图的锐度为100，第2张只有50，第3张是20，因此，认为第1张图对A对焦，则可根据第一张图计算出A与马达之间的距离为准确的实物距离。按照相同的方式则可分别得到B、C分别与马达之间的实物距离。在得到各人物以及背景与马达之间的距离后，即得到了精准的目标景深信息。因此，可根据该景深信息对第一图像中的前景或者背景进行更准确的虚化处理。
可选的，可通过每两张不同位置拍摄的图像可确定唯一物体距离，则通过多张图像可分别确定目标区域中各物体的距离。
如图10a所示，针对同一目标拍摄区域，左图为近距离拍摄(即镜头与实际拍摄对象距离较近)，右图为远距离拍摄，不同距离的像，可能在传感器像的位置一样，因此，通过两帧不同位置拍摄的图像就可以确认唯一物体的实际物距。其对应的效果图如图10b所示，相应的简图如图10c所示。
图10c中，马达焦距L1、L2是已知的，传感器像宽P1、P2可计算得出(单个像素尺寸已知，成像占像素个数已知)，焦点到传感器中心是垂直的，那么两个斜边的交点唯一，即黑色直线W唯一，可以算出图中L1和L2，物距就是L1+F1或L2+F2。其中，W/L2＝P2/F2，W/L1＝P1/F1，L1+F1＝L2+F2。
在本申请实施例中，通过获取终端的双摄像头中主摄像头针对目标区域同时拍摄的第一图像以及第二图像，基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息，然后基于所述初始景深信息调整所述副摄像头的对焦距离，再获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像，基于这多帧第三图像的各个区域的锐度值计算所述第一图像的目标景深信息，最后根据目标景深信息对所述第一图像进行虚化处理。通过两摄像头拍摄的第一帧图像得到初始景深信息，以对副摄拍摄的对焦距离进行调整，从而可以控制副摄像头在初始景深信息对应的主体附近拍摄多帧图像，根据这多帧图像的锐度值来计算更精确的景深信息，进而可以提高图像虚化的准确度。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图11，其示出了本申请一个示例性实施例提供的图像虚化装置的结构示意图。该图像虚化装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括图像获取模块10、初始景深获取模块20、焦距调整模块30和图像虚化模块40。
图像获取模块10，用于获取终端的双摄像头中主摄像头针对目标区域拍摄的第一图像，并获取同一时刻所述双摄像头中副摄像头针对所述目标区域拍摄的第二图像；
初始景深获取模块20，用于基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息；
焦距调整模块30，用于基于所述初始景深信息调整所述副摄像头的对焦距离，获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像；
图像虚化模块40，用于基于所述多帧第三图像得到所述第一图像的目标景深信息，基于所述目标景深信息对所述第一图像进行虚化处理。
可选的，如图12所示，当所述第一图像包括多帧时，还包括：
信息获取模块50，用于获取所述多帧第一图像对应的第一曝光时长以及第一拍摄帧数；
帧数获取模块60，用于将所述第一曝光时长调整为第二曝光时长，基于所述第一曝光时长、所述第一拍摄帧数以及所述第二曝光时长，得到所述第三图像的第二拍摄帧数。
可选的，所述帧数获取模块60，具体用于：
计算所述第一曝光时长与所述第一拍摄帧数的乘积，将所述乘积与所述第二曝光时长的商作为所述第三图像的第二拍摄帧数。
可选的，所述焦距调整模块30，具体用于：
获取所述副摄像头分别在所述第二曝光时长以及调整后的多个对焦距离下，针对所述目标区域拍摄的第二拍摄帧数的第三图像。
可选的，如图13所示，所述初始景深信息包括所述第一图像的目标对焦距离，所述焦距调整模块30，包括：
焦距获取单元301，用于获取第一预设倍数的所述目标对焦距离以及第二预设倍数的所述目标对焦距离；
焦距***单元302，用于在所述第一预设倍数的所述目标对焦距离以及所述第二预设倍数的所述目标对焦距离之间***预设帧数的对焦距离，所述预设帧数为所述第二拍摄帧数与2的差值；
焦距设置单元303，用于将所述第一预设倍数的所述目标对焦距离、所***的预设帧数的对焦距离以及所述第二预设倍数的所述对焦距离，依次作为所述副摄像头调整后的多个对焦距离。
可选的，如图14所示，所述初始景深信息包括最大景深距离以及最小景深距离，所述焦距调整模块30，包括：
图像分割单元304，用于将所述最大景深距离与所述最小景深距离之间的景深图像划分为预设个数的段落，所述预设个数等于所述第二拍摄帧数；
焦距设置单元305，用于以所述副摄像头到所述预设个数的段落中每个段落的中点之间的距离为所述副摄像头调整后的多个对焦距离。
可选的，所述初始景深获取模块20，具体用于：
获取所述第一图像与所述第二图像的相位差，根据所述相位差计算所述第一图像的初始景深信息。
可选的，如图15所示，所述图像虚化模块40，包括：
区域获取单元401，用于采用梯度算法分别对所述多帧第三图像进行边缘提取处理，得到所述多帧第三图像的各个图像区域；
目标景深获取单元402，用于计算所述多帧第三图像中各区域的锐度值，根据所述各区域的锐度值得到所述第一图像的目标景深信息。
需要说明的是，上述实施例提供的图像虚化装置在执行图像虚化方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像虚化装置与图像虚化方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，通过获取终端的双摄像头中主摄像头针对目标区域同时拍摄的第一图像以及第二图像，基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息，然后基于所述初始景深信息调整所述副摄像头的对焦距离，再获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像，基于这多帧第三图像的各个区域的锐度值计算所述第一图像的目标景深信息，最后根据目标景深信息对所述第一图像进行虚化处理。通过两摄像头拍摄的第一帧图像得到初始景深信息，以对副摄拍摄的对焦距离进行调整，从而可以控制副摄像头在初始景深信息对应的主体附近拍摄多帧图像，根据这多帧图像的锐度值来计算更精确的景深信息，进而可以提高图像虚化的准确度。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2-图10所示实施例的方法步骤，具体执行过程可以参见图2-图10所示实施例的具体说明，在此不进行赘述。
请参见图16，为本申请实施例提供了一种电子设备的结构示意图。如图16所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图16所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及图像虚化应用程序。
在图16所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的图像虚化应用程序，并具体执行以下操作：
获取终端的双摄像头中主摄像头针对目标区域拍摄的第一图像，并获取同一时刻所述双摄像头中副摄像头针对所述目标区域拍摄的第二图像；
基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息；
基于所述初始景深信息调整所述副摄像头的对焦距离，获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像；
基于所述多帧第三图像得到所述第一图像的目标景深信息，基于所述目标景深信息对所述第一图像进行虚化处理。
在一个实施例中，当所述第一图像包括多帧时，所述处理器1001还执行以下操作：
获取所述多帧第一图像对应的第一曝光时长以及第一拍摄帧数；
将所述第一曝光时长调整为第二曝光时长，基于所述第一曝光时长、所述第一拍摄帧数以及所述第二曝光时长，得到所述第三图像的第二拍摄帧数。
在一个实施例中，所述处理器1001在执行基于所述第一曝光时长、所述第一拍摄帧数以及所述第二曝光时长，得到所述第三图像的第二拍摄帧数时，具体执行以下操作：
计算所述第一曝光时长与所述第一拍摄帧数的乘积，将所述乘积与所述第二曝光时长的商作为所述第三图像的第二拍摄帧数。
在一个实施例中，所述处理器1001在执行获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像时，具体执行以下操作：
获取所述副摄像头分别在所述第二曝光时长以及调整后的多个对焦距离下，针对所述目标区域拍摄的第二拍摄帧数的第三图像。
在一个实施例中，所述初始景深信息包括所述第一图像的目标对焦距离，所述处理器1001在执行基于所述初始景深信息调整所述副摄像头的对焦距离时，具体执行以下操作：
获取第一预设倍数的所述目标对焦距离以及第二预设倍数的所述目标对焦距离；
在所述第一预设倍数的所述目标对焦距离以及所述第二预设倍数的所述目标对焦距离之间***预设帧数的对焦距离，所述预设帧数为所述第二拍摄帧数与2的差值；
将所述第一预设倍数的所述目标对焦距离、所***的预设帧数的对焦距离以及所述第二预设倍数的所述对焦距离，依次作为所述副摄像头调整后的多个对焦距离。
在一个实施例中，所述初始景深信息包括最大景深距离以及最小景深距离，所述处理器1001在执行基于所述初始景深信息调整所述副摄像头的对焦距离时，具体执行以下操作：
将所述最大景深距离与所述最小景深距离之间的景深图像划分为预设个数的段落，所述预设个数等于所述第二拍摄帧数；
以所述副摄像头到所述预设个数的段落中每个段落的中点之间的距离为所述副摄像头调整后的多个对焦距离。
在一个实施例中，所述处理器1001在执行基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息时，具体执行以下操作：
获取所述第一图像与所述第二图像的相位差，根据所述相位差计算所述第一图像的初始景深信息。
在一个实施例中，所述处理器1001在执行基于所述多帧第三图像得到所述第一图像的目标景深信息时，具体执行以下操作：
采用梯度算法分别对所述多帧第三图像进行边缘提取处理，得到所述多帧第三图像的各个图像区域；
计算所述多帧第三图像中各区域的锐度值，根据所述各区域的锐度值得到所述第一图像的目标景深信息。
在本申请实施例中，通过获取终端的双摄像头中主摄像头针对目标区域同时拍摄的第一图像以及第二图像，基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息，然后基于所述初始景深信息调整所述副摄像头的对焦距离，再获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像，基于这多帧第三图像的各个区域的锐度值计算所述第一图像的目标景深信息，最后根据目标景深信息对所述第一图像进行虚化处理。通过两摄像头拍摄的第一帧图像得到初始景深信息，以对副摄拍摄的对焦距离进行调整，从而可以控制副摄像头在初始景深信息对应的主体附近拍摄多帧图像，根据这多帧图像的锐度值来计算更精确的景深信息，进而可以提高图像虚化的准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (18)

1.一种图像虚化方法，其特征在于，所述方法包括：
获取终端的双摄像头中主摄像头针对目标区域拍摄的第一图像，并获取同一时刻所述双摄像头中副摄像头针对所述目标区域拍摄的第二图像；
基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息；
基于所述初始景深信息调整所述副摄像头的对焦距离，获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像；
基于所述多帧第三图像得到所述第一图像的目标景深信息，基于所述目标景深信息对所述第一图像进行虚化处理。
2.根据权利要求1所述的方法，其特征在于，当所述第一图像包括多帧时，还包括：
获取所述多帧第一图像对应的第一曝光时长以及第一拍摄帧数；
将所述第一曝光时长调整为第二曝光时长，基于所述第一曝光时长、所述第一拍摄帧数以及所述第二曝光时长，得到所述第三图像的第二拍摄帧数。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一曝光时长、所述第一拍摄帧数以及所述第二曝光时长，得到所述第三图像的第二拍摄帧数，包括：
计算所述第一曝光时长与所述第一拍摄帧数的乘积，将所述乘积与所述第二曝光时长的商作为所述第三图像的第二拍摄帧数。
4.根据权利要求2所述的方法，其特征在于，所述获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像，包括：
获取所述副摄像头分别在所述第二曝光时长以及调整后的多个对焦距离下，针对所述目标区域拍摄的第二拍摄帧数的第三图像。
5.根据权利要求2所述的方法，其特征在于，所述初始景深信息包括所述第一图像的目标对焦距离，所述基于所述初始景深信息调整所述副摄像头的对焦距离，包括：
获取第一预设倍数的所述目标对焦距离以及第二预设倍数的所述目标对焦距离；
在所述第一预设倍数的所述目标对焦距离以及所述第二预设倍数的所述目标对焦距离之间***预设帧数的对焦距离，所述预设帧数为所述第二拍摄帧数与2的差值；
将所述第一预设倍数的所述目标对焦距离、所***的预设帧数的对焦距离以及所述第二预设倍数的所述对焦距离，依次作为所述副摄像头调整后的多个对焦距离。
6.根据权利要求2所述的方法，其特征在于，所述初始景深信息包括最大景深距离以及最小景深距离，所述基于所述初始景深信息调整所述副摄像头的对焦距离，包括：
将所述最大景深距离与所述最小景深距离之间的景深图像划分为预设个数的段落，所述预设个数等于所述第二拍摄帧数；
以所述副摄像头到所述预设个数的段落中每个段落的中点之间的距离为所述副摄像头调整后的多个对焦距离。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息，包括：
获取所述第一图像与所述第二图像的相位差，根据所述相位差计算所述第一图像的初始景深信息。
8.根据权利要求1所述的方法，其特征在于，所述基于所述多帧第三图像得到所述第一图像的目标景深信息，包括：
采用梯度算法分别对所述多帧第三图像进行边缘提取处理，得到所述多帧第三图像的各个图像区域；
计算所述多帧第三图像中各区域的锐度值，根据所述各区域的锐度值得到所述第一图像的目标景深信息。
9.一种图像虚化装置，其特征在于，所述装置包括：
图像获取模块，用于获取终端的双摄像头中主摄像头针对目标区域拍摄的第一图像，并获取同一时刻所述双摄像头中副摄像头针对所述目标区域拍摄的第二图像；
初始景深获取模块，用于基于所述第一图像以及所述第二图像，得到所述第一图像的初始景深信息；
焦距调整模块，用于基于所述初始景深信息调整所述副摄像头的对焦距离，获取所述副摄像头分别在调整后的多个对焦距离下针对所述目标区域拍摄的多帧第三图像；
图像虚化模块，用于基于所述多帧第三图像得到所述第一图像的目标景深信息，基于所述目标景深信息对所述第一图像进行虚化处理。
10.根据权利要求9所述的装置，其特征在于，当所述第一图像包括多帧时，还包括：
信息获取模块，用于获取所述多帧第一图像对应的第一曝光时长以及第一拍摄帧数；
帧数获取模块，用于将所述第一曝光时长调整为第二曝光时长，基于所述第一曝光时长、所述第一拍摄帧数以及所述第二曝光时长，得到所述第三图像的第二拍摄帧数。
11.根据权利要求10所述的装置，其特征在于，所述帧数获取模块，具体用于：
计算所述第一曝光时长与所述第一拍摄帧数的乘积，将所述乘积与所述第二曝光时长的商作为所述第三图像的第二拍摄帧数。
12.根据权利要求10所述的装置，其特征在于，所述焦距调整模块，具体用于：
获取所述副摄像头分别在所述第二曝光时长以及调整后的多个对焦距离下，针对所述目标区域拍摄的第二拍摄帧数的第三图像。
13.根据权利要求10所述的装置，其特征在于，所述初始景深信息包括所述第一图像的目标对焦距离，所述焦距调整模块，包括：
焦距获取单元，用于获取第一预设倍数的所述目标对焦距离以及第二预设倍数的所述目标对焦距离；
焦距***单元，用于在所述第一预设倍数的所述目标对焦距离以及所述第二预设倍数的所述目标对焦距离之间***预设帧数的对焦距离，所述预设帧数为所述第二拍摄帧数与2的差值；
焦距设置单元，用于将所述第一预设倍数的所述目标对焦距离、所***的预设帧数的对焦距离以及所述第二预设倍数的所述对焦距离，依次作为所述副摄像头调整后的多个对焦距离。
14.根据权利要求10所述的装置，其特征在于，所述初始景深信息包括最大景深距离以及最小景深距离，所述焦距调整模块，包括：
图像分割单元，用于将所述最大景深距离与所述最小景深距离之间的景深图像划分为预设个数的段落，所述预设个数等于所述第二拍摄帧数；
焦距设置单元，用于以所述副摄像头到所述预设个数的段落中每个段落的中点之间的距离为所述副摄像头调整后的多个对焦距离。
15.根据权利要求9所述的装置，其特征在于，所述初始景深获取模块，具体用于：
获取所述第一图像与所述第二图像的相位差，根据所述相位差计算所述第一图像的初始景深信息。
16.根据权利要求9所述的装置，其特征在于，所述图像虚化模块，包括：
区域获取单元，用于采用梯度算法分别对所述多帧第三图像进行边缘提取处理，得到所述多帧第三图像的各个图像区域；
目标景深获取单元，用于计算所述多帧第三图像中各区域的锐度值，根据所述各区域的锐度值得到所述第一图像的目标景深信息。
17.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。
18.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～8任意一项的方法步骤。
CN201910603273.8A 2019-07-05 2019-07-05 一种图像虚化方法、装置、存储介质及电子设备 Active CN110324532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910603273.8A CN110324532B (zh) 2019-07-05 2019-07-05 一种图像虚化方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910603273.8A CN110324532B (zh) 2019-07-05 2019-07-05 一种图像虚化方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110324532A true CN110324532A (zh) 2019-10-11
CN110324532B CN110324532B (zh) 2021-06-18

Family

ID=68122756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910603273.8A Active CN110324532B (zh) 2019-07-05 2019-07-05 一种图像虚化方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110324532B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712731A (zh) * 2020-12-21 2021-04-27 北京百度网讯科技有限公司 图像处理方法、装置、***、路侧设备及云控平台
CN112991245A (zh) * 2021-02-03 2021-06-18 无锡闻泰信息技术有限公司 双摄虚化处理方法、装置、电子设备和可读存储介质
CN113012211A (zh) * 2021-03-30 2021-06-22 杭州海康机器人技术有限公司 图像采集方法、装置、***、计算机设备及存储介质
CN113438388A (zh) * 2021-07-06 2021-09-24 Oppo广东移动通信有限公司 处理方法、摄像头组件、电子设备、处理装置和介质
CN113473012A (zh) * 2021-06-30 2021-10-01 维沃移动通信（杭州）有限公司 虚化处理方法、装置和电子设备
CN113570650A (zh) * 2020-04-28 2021-10-29 合肥美亚光电技术股份有限公司 景深的判断方法、装置、电子设备和存储介质
CN113852752A (zh) * 2020-06-28 2021-12-28 北京小米移动软件有限公司 照片拍摄方法、照片拍摄装置及存储介质
CN115134532A (zh) * 2022-07-26 2022-09-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764925A (zh) * 2008-12-25 2010-06-30 华晶科技股份有限公司 数字图像的浅景深模拟方法
US20140232928A1 (en) * 2011-10-28 2014-08-21 Fujifilm Corporation Imaging method
CN104660900A (zh) * 2013-10-30 2015-05-27 株式会社摩如富 图像处理装置及图像处理方法
CN104796621A (zh) * 2014-01-20 2015-07-22 奥林巴斯株式会社 摄像装置以及摄像方法
CN105657394A (zh) * 2014-11-14 2016-06-08 东莞宇龙通信科技有限公司 基于双摄像头的拍摄方法、拍摄装置及移动终端
CN108055452A (zh) * 2017-11-01 2018-05-18 广东欧珀移动通信有限公司 图像处理方法、装置及设备
CN108419009A (zh) * 2018-02-02 2018-08-17 成都西纬科技有限公司 图像清晰度增强方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764925A (zh) * 2008-12-25 2010-06-30 华晶科技股份有限公司 数字图像的浅景深模拟方法
US20140232928A1 (en) * 2011-10-28 2014-08-21 Fujifilm Corporation Imaging method
CN104660900A (zh) * 2013-10-30 2015-05-27 株式会社摩如富 图像处理装置及图像处理方法
CN108107571A (zh) * 2013-10-30 2018-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
CN104796621A (zh) * 2014-01-20 2015-07-22 奥林巴斯株式会社 摄像装置以及摄像方法
CN105657394A (zh) * 2014-11-14 2016-06-08 东莞宇龙通信科技有限公司 基于双摄像头的拍摄方法、拍摄装置及移动终端
CN108055452A (zh) * 2017-11-01 2018-05-18 广东欧珀移动通信有限公司 图像处理方法、装置及设备
CN108419009A (zh) * 2018-02-02 2018-08-17 成都西纬科技有限公司 图像清晰度增强方法和装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570650A (zh) * 2020-04-28 2021-10-29 合肥美亚光电技术股份有限公司 景深的判断方法、装置、电子设备和存储介质
CN113570650B (zh) * 2020-04-28 2024-02-02 合肥美亚光电技术股份有限公司 景深的判断方法、装置、电子设备和存储介质
CN113852752A (zh) * 2020-06-28 2021-12-28 北京小米移动软件有限公司 照片拍摄方法、照片拍摄装置及存储介质
CN113852752B (zh) * 2020-06-28 2024-03-12 北京小米移动软件有限公司 照片拍摄方法、照片拍摄装置及存储介质
CN112712731A (zh) * 2020-12-21 2021-04-27 北京百度网讯科技有限公司 图像处理方法、装置、***、路侧设备及云控平台
CN112991245A (zh) * 2021-02-03 2021-06-18 无锡闻泰信息技术有限公司 双摄虚化处理方法、装置、电子设备和可读存储介质
CN112991245B (zh) * 2021-02-03 2024-01-19 无锡闻泰信息技术有限公司 双摄虚化处理方法、装置、电子设备和可读存储介质
CN113012211A (zh) * 2021-03-30 2021-06-22 杭州海康机器人技术有限公司 图像采集方法、装置、***、计算机设备及存储介质
CN113473012A (zh) * 2021-06-30 2021-10-01 维沃移动通信（杭州）有限公司 虚化处理方法、装置和电子设备
CN113438388A (zh) * 2021-07-06 2021-09-24 Oppo广东移动通信有限公司 处理方法、摄像头组件、电子设备、处理装置和介质
CN115134532A (zh) * 2022-07-26 2022-09-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN110324532B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN110324532A (zh) 一种图像虚化方法、装置、存储介质及电子设备
CN108898567B (zh) 图像降噪方法、装置及***
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
CN111641778B (zh) 一种拍摄方法、装置与设备
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
CN107959778B (zh) 基于双摄像头的成像方法和装置
CN103945118B (zh) 图像虚化方法、装置及电子设备
KR101602394B1 (ko) 3d 깊이 정보를 기반으로 한 이미지 블러
CN109889724B (zh) 图像虚化方法、装置、电子设备及可读存储介质
CN111402135A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109474780B (zh) 一种用于图像处理的方法和装置
CN107948500A (zh) 图像处理方法和装置
US10827107B2 (en) Photographing method for terminal and terminal
CN107409166A (zh) 摇摄镜头的自动生成
CN107835372A (zh) 基于双摄像头的成像方法、装置、移动终端和存储介质
CN107948520A (zh) 图像处理方法和装置
CN106233329A (zh) 3d拉东图像的产生和使用
CN110225330A (zh) 用于多视点降噪和高动态范围的***和方法
CN108024058B (zh) 图像虚化处理方法、装置、移动终端和存储介质
CN110546943B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110677621B (zh) 摄像头调用方法、装置、存储介质及电子设备
CN113313661A (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
KR20160140453A (ko) 4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법
CN110266954A (zh) 图像处理方法、装置、存储介质及电子设备
CN114071010B (zh) 一种拍摄方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant