CN110689565B - 一种深度图确定的方法、装置及电子设备 - Google Patents

一种深度图确定的方法、装置及电子设备 Download PDF

Info

Publication number
CN110689565B
CN110689565B CN201910925118.8A CN201910925118A CN110689565B CN 110689565 B CN110689565 B CN 110689565B CN 201910925118 A CN201910925118 A CN 201910925118A CN 110689565 B CN110689565 B CN 110689565B
Authority
CN
China
Prior art keywords
frame image
depth map
current
base frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910925118.8A
Other languages
English (en)
Other versions
CN110689565A (zh
Inventor
宁本德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910925118.8A priority Critical patent/CN110689565B/zh
Publication of CN110689565A publication Critical patent/CN110689565A/zh
Application granted granted Critical
Publication of CN110689565B publication Critical patent/CN110689565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种深度图确定的方法、装置及电子设备，可以获取待预览的当前帧图像；判断当前帧图像为基础帧图像或间隔帧图像；如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。可见，应用本发明实施例，对于间隔帧图像，用当前帧图像之前的预设数量个基础帧深度图进行融合获得，不像现有技术每一帧图像都要先计算视差图再获取深度图，耗时较短，减少了在实时背景虚化的过程中图像的卡顿现象。

Description

一种深度图确定的方法、装置及电子设备
技术领域
本发明涉及图像处理的技术领域，特别是涉及一种深度图确定的方法、装置及电子设备。
背景技术
双目相机(双目立体视觉深度相机)由于对相机硬件要求和成本较低，根据环境光采集图像，在室内外都可以使用等优点被广泛应用。双目相机在拍照之前可以进行实时预览，在实时预览时可以对待预览的图像直接进行实时背景虚化，使用户预览时直接看到背景虚化后图像的效果。目前，实时背景虚化需要针对每一帧双目图像，先计算出该双目图像的视差图，再基于该双目图像的视差图计算获取该帧图像的深度图，最后将该帧图像的深度图和帧图像结合做背景虚化。
发明人在实现本发明的过程中发现，现有技术至少存在如下问题：
双目相机在进行实时背景虚化的过程中，图像经常出现卡顿现象。
发明内容
本发明实施例的目的在于提供一种深度图确定的方法、装置及电子设备，以减少双目相机在进行实时背景虚化的过程中，图像的卡顿现象。具体技术方案如下：
第一方面，本发明实施例提供了一种深度图确定的方法，所述方法包括：
获取待预览的当前帧图像；
判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；
如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；
如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；
按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。
可选的，所述如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图的步骤，包括：
如果当前帧图像为基础帧图像，则按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图；
基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。
可选的，所述基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图的步骤，包括：
针对当前基础帧图像I上各个像素点p，获取点p周围范围S内的各个点q；所述范围S包括点p；
采用如下公式对各个点p的初始深度值进行滤波，获得当前基础帧图像I上每个像素点p的滤波后深度值，构成当前基础帧图像深度图：
Figure BDA0002218749080000021
其中，bDp为基础帧图像点p的滤波后深度值，rDq为点q的初始深度值，Wp为按如下公式计算的滤波系数：
Figure BDA0002218749080000022
其中，Gσs(||p-q||)为基于两点之间几何距离，按如下公式计算的高斯分布值：
Figure BDA0002218749080000023
Gσr(||Ip-Iq||)为基于这两点之间像素值的差异，按如下公式计算的高斯分布值：
Figure BDA0002218749080000024
其中，Ip代表图像I在p处的像素值，Iq代表图像I在q处的像素值，σ为滤波器影响滤波强度的系数，‖p-q‖为当前帧图像I上两点之间几何距离，||IP-Iq||为这两个点之间像素值的差异。
可选的，所述按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图的步骤，包括：
获得各个参考基础帧深度图的权重值；
基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图。
可选的，所述获得各个参考基础帧深度图的权重值的步骤，包括：
获得所述各个参考基础帧深度图对应的各个参考基础帧图像；
计算当前帧图像与各个参考基础帧图像之间的相似度；
计算当前帧图像与各个参考基础帧图像之间的相似度的总和；
将当前帧图像与各个参考基础帧之间的相似度与所述总和的比值，分别确定为各个参考基础帧深度图的权重值。
可选的，所述基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图的步骤，包括：
按如下公式计算获得当前间隔帧图像深度图：
fDi＝αF1*bDF1+αF2*bDF2+…+αFj*bDFj；
其中，fDi为当前间隔帧i的间隔帧图像深度图，αF1为基础帧F1的参考基础帧深度图的权重值，αF2为基础帧F2的参考基础帧深度图的权重值，αFj为基础帧Fj的参考基础帧深度图的权重值，bDF1为基础帧F1的参考基础帧深度图，bDF2为基础帧F2的参考基础帧深度图，bDFj为基础帧Fj的参考基础帧深度图。
第二方面，本发明实施例提供了一种深度图确定的装置，所述装置包括：
当前帧图像获取单元，用于获取待预览的当前帧图像；
图像判断单元，用于判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；
基础帧深度图计算单元，用于如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；
参考基础帧深度图获取单元，用于如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；
间隔帧图像深度图获得单元，用于按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。
可选的，所述基础帧深度图计算单元，包括：
初始深度图获取模块，用于如果当前帧图像为基础帧图像，则按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图；
基础帧图像深度图获得模块，用于基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。
可选的，所述基础帧图像深度图获得模块，具体用于：
针对当前基础帧图像I上各个像素点p，获取点p周围范围S内的各个点q；所述范围S包括点p；
采用如下公式对各个点p的初始深度值进行滤波，获得当前基础帧图像I上每个像素点p的滤波后深度值，构成当前基础帧图像深度图：
Figure BDA0002218749080000041
其中，bDp为基础帧图像点p的滤波后深度值，rDq为点q的初始深度值，Wp为按如下公式计算的滤波系数：
Figure BDA0002218749080000042
其中，Gσs(||p-q||)为基于两点之间几何距离，按如下公式计算的高斯分布值：
Figure BDA0002218749080000043
Gσr(||Ip-Iq||)为基于这两点之间像素值的差异，按如下公式计算的高斯分布值：
Figure BDA0002218749080000044
其中，Ip代表图像I在p处的像素值，Iq代表图像I在q处的像素值，σ为滤波器影响滤波强度的系数，‖p-q‖为当前帧图像I上两点之间几何距离，||IP-Iq||为这两个点之间像素值的差异。
可选的，所述间隔帧图像深度图获得单元，包括：
权重值获得模块，用于获得各个参考基础帧深度图的权重值；
间隔帧图像深度图获得模块，用于基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图。
可选的，所述权重值获得模块，具体用于：
获得所述各个参考基础帧深度图对应的各个参考基础帧图像；
计算当前帧图像与各个参考基础帧图像之间的相似度；
计算当前帧图像与各个参考基础帧图像之间的相似度的总和；
将当前帧图像与各个参考基础帧之间的相似度与所述总和的比值，分别确定为各个参考基础帧深度图的权重值。
可选的，所述间隔帧图像深度图获得模块，具体用于：
按如下公式计算获得当前间隔帧图像深度图：
fDi＝αF1*bDF1+αF2*bDF2+…+αFj*bDFj；
其中，fDi为当前间隔帧i的间隔帧图像深度图，αF1为基础帧F1的参考基础帧深度图的权重值，αF2为基础帧F2的参考基础帧深度图的权重值，αFj为基础帧Fj的参考基础帧深度图的权重值，bDF1为基础帧F1的参考基础帧深度图，bDF2为基础帧F2的参考基础帧深度图，bDFj为基础帧Fj的参考基础帧深度图。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述深度图确定方法的步骤。
第四方面，本发明实施还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一深度图确定方法的步骤。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一深度图确定方法。
本发明实施例有益效果：
本发明实施例提供的一种深度图确定的方法、装置及电子设备，可以获取待预览的当前帧图像；判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；如果当前帧图像为基础帧图像，则基于当前帧图像的深度图算法计算当前基础帧图像深度图；如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧图像深度图；按照预设的深度图融合算法，对预设数量个基础帧图像深度图进行融合，获得当前间隔帧图像深度图。
可见，应用本发明实施例，对于间隔帧图像，用当前帧图像之前的预设数量个基础帧图像的基础帧深度图进行融合获得，不像相关技术对每一帧图像都先计算出视差图，再基于该视差图计算获取该帧图像的深度图，因此，应用本发明实施例，相对现有技术耗时较短，从而减少了在实时背景虚化的过程中，图像的卡顿现象。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种深度图确定方法的一种流程图；
图2为本发明实施例提供的一种深度图确定方法的另一种流程图；
图3为本发明实施例提供的深度图确定的示意图；
图4为图2中对初始深度图滤波的示意图；
图5为本发明实施例提供一种深度图确定的装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了减少双目相机在进行实时背景虚化的过程中，图像的卡顿现象，本发明实施例提供了深度图确定的方法、装置及电子设备。本发明实施例所提供的深度图确定方法可以应用于任意需要确定深度图的电子设备，如：电脑或移动终端等，在此不做具体限定。为了描述方便，以下简称电子设备。
本发明实施例提供的深度图确定的方法，如图1所示，该方法的具体处理流程可以包括：
步骤S101，获取待预览的当前帧图像。
可实施的，电子设备可以在接收到确定深度图的指令后，获取待预览的当前帧图像。
在一种实际的应用场景中，例如双目相机在实时背景虚化的过程中可以是电子设备接收到背景虚化的指令后，再执行所述获取待预览的当前帧图像的步骤。可实施的，该指令可以是检测到预设的按钮被按下后生成的。
步骤S102，判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像。
可实施的，可以每隔固定的预设个数的间隔帧图像，获取一帧图像，作为基础帧图像。例如，可以将第一帧图像作为基础帧图像；第二、第三和第四帧图像作为间隔帧图像；第五帧图像作为基础帧图像；第六、第七和第八帧图像作为间隔帧图像；第九帧图像作为基础帧图像；以此类推，可以判断当前帧图像为第几帧图像，判断出当前帧图像为基础帧图像或间隔帧图像。当然，也可以将第一帧作为间隔帧图像，在此不做具体限定。
可实施的，两个基础帧图像之间的间隔帧图像的个数也可以不为固定值，也可以设置预设的规则，确定基础帧图像之间间隔帧图像的个数，例如：两个间隔帧图像之间的基础帧图像的个数每次递增2个，即第一帧作为基础帧图像；第二、第三帧作为间隔帧图像；第四帧作为基础帧图像；第五、六、七、八帧作为间隔帧图像；第九帧作为基础帧图像；第十、十一、十二、十三、十四、十五帧作为间隔帧图像；第十六帧图像作为基础帧图像，以此类推，可以判断当前帧图像为第几帧图像，基于预设的规则，判断当前帧图像为基础帧图像或间隔帧图像。
如果判断的结果为当前帧图像为基础帧图像，则执行步骤S103；如果判断的结果为当前帧图像为间隔帧图像，则执行步骤S104。
步骤S103，采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图。
可实施的，在一种实施方式中，可以按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图；基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。
可实施的，在另一种实施方式中，可以按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图；基于当前基础帧图像中像素点之间几何距离，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。
可实施的，在实际应用中，具体可以先获取拍摄同一场景的双目相机的左视图和右视图，再对该左视图和该右视图进行立体匹配，获得对应点的视差图，再根据对应点的视差图与深度图的关系，计算出初始深度图。可实施的，还可以进一步对该初始深度图进行滤波处理，获得当前基础帧图像深度图。
步骤S104，获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图。
可实施的，可以获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图。可实施的，为了简化运算，可以获取当前帧图像之前2个基础帧深度图，作为参考基础帧深度图；当然，也可以获取当前帧图像之前2个以上个基础帧深度图，作为参考基础帧深度图。
步骤S105，按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。
可实施的，可以先获得各个参考基础帧深度图的权重值；再基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图。
在一种具体的实施方式中，可以：获得各个参考基础帧图像深度图的预设权重。例如，因为一般情况下，基础帧图像距离当前帧图像越近，与当前帧图像越相似，所以可以设置距离当前帧图像越近的基础帧图像的参考基础帧图像深度图，所占的权重值越大。以获取当前帧图像之前的2个基础帧深度图，作为参考基础帧深度图为例，则距离当前帧帧数较近的参考基础帧深度图可以占三分之二的权重，距离当前帧帧数较远的参考基础帧深度图可以占三分之一的权重。
可实施的，如果当前帧图像为间隔帧图像，且当前帧图像之前没有基础帧图像，也就没有基础帧深度图，则可以不获取当前帧图像的深度图，在实际应用中，对于前几帧图像的处理方法可以灵活处理。
在一种实际的应用场景中，例如双目相机在实时背景虚化的过程中可以是电子设备接收到背景虚化的指令后，对于每一帧图像，可以先执行本实施例的上述步骤计算出当前基础帧图像的基础帧深度图或当前间隔帧图像深度图，再将该帧图像的深度图和帧图像结合做背景虚化。
可见，应用本发明实施例，对于间隔帧图像，用当前帧图像之前的预设数量个基础帧图像的基础帧深度图进行融合获得，不像现有技术对每一帧图像都先计算出视差图，再基于该视差图计算获取该帧图像的深度图，因此，应用本发明实施例，相对现有技术耗时较短，从而减少了在实时背景虚化的过程中，图像的卡顿现象。
本发明实施例提供的深度图确定的方法的另一种流程，如图2所示，可以包括：
步骤S201，获取待预览的当前帧图像。
步骤S202，判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像。
实际应用中，步骤S201～步骤～S202可以与图1中的步骤S101～S102相同，在此不再详细说明。
如果判断出当前帧图像为基础帧图像，则执行步骤S203；如果判断出当前帧图像为间隔帧图像，则执行步骤S205。
步骤S203，基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图。
可实施的，可以先获取拍摄同一场景双目相机的左视图和右视图，再用立体匹配算法得到对应点的视差图，再根据对应点的视差与深度的关系，将视差图转化为初始深度图。
步骤S204，基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。流程结束。
可实施的，可以针对当前基础帧图像I上各个像素点p，获取点p周围范围S内的各个点q；所述范围S包括点p；
采用如下公式对各个点p的初始深度值进行滤波，获得当前基础帧图像I上每个像素点p的滤波后深度值，构成当前基础帧图像深度图：
Figure BDA0002218749080000101
其中，bDp为基础帧图像点p的滤波后深度值，rDq为点q的初始深度值，Wp为按如下公式计算的滤波系数：
Figure BDA0002218749080000102
其中，Gσs(||p-q||)为基于两点之间几何距离，按如下公式计算的高斯分布值：
Figure BDA0002218749080000103
Gσr(||Ip-Iq||)为基于这两点之间像素值的差异，按如下公式计算的高斯分布值：
Figure BDA0002218749080000111
其中，Ip代表图像I在p处的像素值，Iq代表图像I在q处的像素值，σ为滤波器影响滤波强度的系数，‖p-q‖为当前帧图像I上两点之间几何距离，||IP-Iq||为这两个点之间像素值的差异。
实际应用中，像素值有多种表示方式，常用的有YUV颜色空间模型、RGB颜色空间模型、HSV颜色空间模型和LAB颜色空间模型等。
可实施的，如果像素值是用YUV颜色空间模型表示出来时，则可以计算两个点Y分量的差值作为两个点像素值之间差异，进而进行上述滤波计算。例如：点p的Y分量为100，点q的Y分量为103，则Y分量的差值为3。
可实施的，如果像素值是用RGB颜色空间模型表示出来时，则可以先将RGB颜色空间模型表示出来的像素值转换为YUV颜色空间模型中的Y分量，计算两个点该Y分量的差值作为两个点像素值之间差异，进而进行上述滤波计算。
如果像素值是用HSV颜色空间模型表示出来时，则可以计算两个点V分量的差值作为两个点像素值之间差异，进而进行滤波计算。
如果像素值是用LAB颜色空间模型表示出来时，则可以计算两个点L分量的差值作为两个点像素值之间差异，进而进行滤波计算。
可实施的，在其它实施例中，如果对获得的基础帧图像深度图精度要求不高，也可以按照基于当前帧图像各个像素点之间距离的高斯滤波算法等其它算法进行滤波，获得基础帧图像深度图。
步骤S205，获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图。
实际应用中，步骤S205可以与图1中的步骤S104相同，在此不再详细说明。
步骤S206，获得所述各个参考基础帧深度图对应的各个参考基础帧图像。
可实施的，在步骤S205中可以获得当前帧图像之前的两个基础帧深度图，作为参考基础帧深度图，则在此步骤中可以获得这两个参考基础帧深度图分别对应的参考基础帧图像。
步骤S207，计算当前帧图像与各个参考基础帧图像之间的相似度。
可实施的，在这里以两个参考基础帧图像为例，则可以按如下公式分别计算当前帧图像与这两个参考基础帧图像之间的相似度：
Figure BDA0002218749080000121
其中，Fi表示第i帧当前帧图像，Fn表示第n帧参考基础帧图像，uFi是图像Fi的各个像素值的平均值,uFn是图像Fn各个像素值的的平均值，
Figure BDA0002218749080000122
是图像Fi的方差，
Figure BDA0002218749080000123
是图像Fn的方差，βFiFn是图像Fn的协方差，c1＝(k1L)2，c2＝(k2L)2，L是像素值的动态范围，一般为255，k1＝0.01，k2＝0.03。其中，图像Fi是当前帧图像；图像Fn是一个参考基础帧图像。
同样的，利用上述ssim(Fi，Fn)的公式，可以计算出当前帧图像与另一个参考基础帧图像Fm之间的相似度ssim(Fi，Fm)。
在实际应用中，如果像素点是用RGB颜色空间模型表示时，则可以用上述公式分别计算R、G和B每一个分量的相似度，再计算出平均相似度，将各个平均相似度作为当前帧图像与各个参考基础帧图像之间的相似度ssim(Fi，Fn)或相似度ssim(Fi，Fm)。
可实施的，YUV颜色空间模型可以只计算Y分量的相似度就可以了，将Y分量的相似度作为当前帧图像与参考基础帧图像之间的相似度，当然也可以分别计算Y、U和V方向的相似度取平均值作为平均相似度，将平均相似度作为当前帧图像与参考基础帧图像之间的相似度。
HSV颜色空间模型可以只计算V分量的相似度就可以了，将V分量的相似度作为当前帧图像与参考基础帧图像之间的相似度，当然也可以分别计算H、S和V方向的相似度取平均值，将平均相似度作为当前帧图像与参考基础帧图像之间的相似度。
LAB颜色空间模型可以只计算L分量的相似度就可以了，将L分量的相似度作为当前帧图像与参考基础帧图像之间的相似度，当然也可以分别计算L、A和B方向的相似度取平均值，将平均相似度作为当前帧图像与参考基础帧图像之间的相似度。
步骤S208，计算当前帧图像与各个参考基础帧图像之间的相似度的总和。
可实施的，可以将当前帧图像与各个参考基础帧图像之间的相似度相加，计算当前帧图像与各个参考基础帧图像之间的相似度的总和，本实施例中就是ssim(Fi，Fn)与ssim(Fi，Fm)的和。
步骤S209，将当前帧图像与各个参考基础帧之间的相似度与所述总和的比值，分别确定为各个参考基础帧深度图的权重值。
可实施的，在这里以两个参考基础帧图像为例，则可以按如下公式确定各个参考基础帧深度图的权重值：
以确定第n帧基础帧图像的参考基础帧深度图的权重值为例；
Figure BDA0002218749080000131
其中，i表示第i帧，m表示第m帧，n表示第n帧，m＜n；Fi表示第i帧图像，Fm表示第m帧参考基础帧图像，Fn表示第n帧参考基础帧图像；αn表示第n帧参考基础帧图像的参考基础帧深度图的权重值。
同样的，可以根据当前帧图像与各个参考基础帧之间的相似度与所述总和的比值，分别确定各个参考基础帧深度图的权重值。
步骤S210，基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图。
可实施的，可以按如下公式计算获得当前间隔帧图像深度图：
fDi＝αF1*bDF1+αF2*bDF2+…+αFj*bDFj；
其中，fDi为当前间隔帧i的间隔帧图像深度图，αF1为基础帧F1的参考基础帧深度图的权重值，αF2为基础帧F2的参考基础帧深度图的权重值，αFj为基础帧Fj的参考基础帧深度图的权重值，bDF1为基础帧F1的参考基础帧深度图，bDF2为基础帧F2的参考基础帧深度图，bDFj为基础帧Fj的参考基础帧深度图。
以两个参考基础帧图像为例，则为fDi＝αm*bDm+αn*bDn；
其中，fDi为当前间隔帧i的间隔帧图像深度图，αm为参考基础帧m的参考基础帧深度图的权重值，αn为参考基础帧n的参考基础帧深度图的权重值，bDm为参考基础帧m的参考基础帧深度图，bDn为参考基础帧n的参考基础帧深度图。并且当有两个参考基础帧图像时，αm+αn＝1。例如：参考基础帧m在其图像位置[0，0]处的参考基础帧深度值为200，参考基础帧n在其图像位置[0，0]处的参考基础帧深度值为100，αm是0.8，αn是0.2，则计算当前间隔帧图像在其图像位置[0，0]处的深度值为：200*0.8+100*0.2＝180。
可见，应用本发明实施例，对于间隔帧图像，用当前帧图像之前的预设数量个基础帧图像的基础帧深度图进行融合获得，不像现有技术对每一帧图像都先计算出视差图，再基于该视差图计算获取该帧图像的深度图，因此，应用本发明实施例，相对现有技术耗时较短，从而减少了在实时背景虚化的过程中，图像的卡顿现象。
另外，图2所示的本实施例中，可以通过计算当前帧图像与各个参考基础帧图像之间的相似度，确定各个参考基础帧深度图的权重值，再对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图，获得的当前间隔帧图像深度图相对于预先设置权重，得到的深度图更准确，基于相似度的多帧融合策略，使得相邻帧之间过渡更平滑。
而且，本发明实施例在对基础帧图像的初始深度图滤波的过程中不但基于两个像素点之间的距离，而且还加入了原图信息，考虑了像素点像素值之间的差异，不会像相关技术滤波后得到的基础帧深度图边缘不清晰，本实施例得到的基础帧深度图更精确，得到的基础帧深度图边缘较清晰，减少了实时背景虚化过程中的抖动现象。
本发明实施例提供的深度图确定的一种示意图，如图3所示，可以包括：
图中示出了图像I1、I2、I3、I4、I5、I6、I7、I8、I9和I10。其中，I1、I5和I9为基础帧图像；I2、I3、I4、I6、I7、I8和I10为间隔帧图像。I1、I5和I9，先按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图rD1、rD5和rD9，再对基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图bD1、bD5和bD9。如果当前帧图像为间隔帧图像，则要获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；在这里以获取当前帧图像之前的2个基础帧深度图，作为参考基础帧深度图为例进行说明。因为图中I2、I3、I4之前只有一个基础帧图像，所以可以只用I1的参考基础帧深度图，即I2、I3、I4的间隔帧图像深度图和I1的基础帧深度图相同；I6、I7和I8可以对I1和I5的基础帧深度图，按照预设的深度图融合算法，进行融合获得当前间隔帧图像I6、I7和I8的间隔帧图像深度图fD6、fD7和fD8；同样的，可以对I5和I9的基础帧深度图，按照预设的深度图融合算法，进行融合获得当前间隔帧图像I10的间隔帧图像深度图fD10。
可见，应用本发明实施例，对于间隔帧图像，用当前帧图像之前的预设数量个基础帧图像的基础帧深度图进行融合获得，不像现有技术对每一帧图像都先计算出视差图，再基于该视差图计算获取该帧图像的深度图，因此，应用本发明实施例，相对现有技术耗时较短，从而减少了在实时背景虚化的过程中，图像的卡顿现象。
图4为图2中对初始深度图滤波的示意图，如图4所示，包括：
针对基础帧图像I，获取当前基础帧图像的初始深度图rD；根据当前帧图像I上两点之间距离‖p-q‖的高斯分布值Gσs‖p-q‖，获取像素点之间距离远近的权重rDw；根据当前帧图像I上两个点像素值之间差异||IP-Iq||的高斯分布值Gσr||IP-Iq||，获取像素点像素值之间差异的权重Iw；基于该权重Iw、该权重rDw和该初始深度图rD，按照公式
Figure BDA0002218749080000151
获取初始深度图滤波后的基础帧深度图bD。其中，p为当前帧图像I上任一点，q为点p周围范围S内的点。
可见，本发明实施例在对基础帧图像的初始深度图滤波的过程中不但基于两个像素点之间的距离，而且还加入了原图信息，考虑了像素点像素值之间的差异，不会像相关技术滤波后得到的基础帧深度图边缘不清晰，本实施例得到的基础帧深度图更精确，得到的基础帧深度图边缘较清晰，减少了实时背景虚化过程中的抖动现象。
本发明实施例提供一种深度图确定的装置的结构示意图，如图5所示，可以包括：
当前帧图像获取单元501，用于获取待预览的当前帧图像；
图像判断单元502，用于判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；
基础帧深度图计算单元503，用于如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；
参考基础帧深度图获取单元504，用于如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；
间隔帧图像深度图获得单元505，用于按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。
可选的，所述基础帧深度图计算单元，包括：
初始深度图获取模块，用于如果当前帧图像为基础帧图像，则按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图；
基础帧图像深度图获得模块，用于基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。
可选的，所述基础帧图像深度图获得模块，具体用于：
针对当前基础帧图像I上各个像素点p，获取点p周围范围S内的各个点q；所述范围S包括点p；
采用如下公式对各个点p的初始深度值进行滤波，获得当前基础帧图像I上每个像素点p的滤波后深度值，构成当前基础帧图像深度图：
Figure BDA0002218749080000161
其中，bDp为基础帧图像点p的滤波后深度值，rDq为点q的初始深度值，Wp为按如下公式计算的滤波系数：
Figure BDA0002218749080000162
其中，Gσs(||p-q||)为基于两点之间几何距离，按如下公式计算的高斯分布值：
Figure BDA0002218749080000163
Gσr(||Ip-Iq||)为基于这两点之间像素值的差异，按如下公式计算的高斯分布值：
Figure BDA0002218749080000171
其中，Ip代表图像I在p处的像素值，Iq代表图像I在q处的像素值，σ为滤波器影响滤波强度的系数，‖p-q‖为当前帧图像I上两点之间几何距离，||IP-Iq||为这两个点之间像素值的差异。
可选的，所述间隔帧图像深度图获得单元，包括：
权重值获得模块，用于获得各个参考基础帧深度图的权重值；
间隔帧图像深度图获得模块，用于基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图。
可选的，所述权重值获得模块，具体用于：
获得所述各个参考基础帧深度图对应的各个参考基础帧图像；
计算当前帧图像与各个参考基础帧图像之间的相似度；
计算当前帧图像与各个参考基础帧图像之间的相似度的总和；
将当前帧图像与各个参考基础帧之间的相似度与所述总和的比值，分别确定为各个参考基础帧深度图的权重值。
可选的，所述间隔帧图像深度图获得模块，具体用于：
按如下公式计算获得当前间隔帧图像深度图：
fDi＝αF1*bDF1+αF2*bDF2+…+αFj*bDFj；
其中，fDi为当前间隔帧i的间隔帧图像深度图，αF1为基础帧F1的参考基础帧深度图的权重值，αF2为基础帧F2的参考基础帧深度图的权重值，αFj为基础帧Fj的参考基础帧深度图的权重值，bDF1为基础帧F1的参考基础帧深度图，bDF2为基础帧F2的参考基础帧深度图，bDFj为基础帧Fj的参考基础帧深度图。
可见，应用本发明实施例，对于间隔帧图像，用当前帧图像之前的预设数量个基础帧图像的基础帧深度图进行融合获得，不像现有技术对每一帧图像都先计算出视差图，再基于该视差图计算获取该帧图像的深度图，因此，应用本发明实施例，相对现有技术耗时较短，从而减少了在实时背景虚化的过程中，图像的卡顿现象。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
获取待预览的当前帧图像；
判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；
如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；
如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；
按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一深度图确定方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一深度图确定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质及计算机程序产品等实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种深度图确定的方法，其特征在于，所述方法包括：
获取待预览的当前帧图像；
判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；
如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；
如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；
按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。
2.根据权利要求1所述的方法，其特征在于，所述如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图的步骤，包括：
如果当前帧图像为基础帧图像，则按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图；
基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。
3.根据权利要求2所述的方法，其特征在于，所述基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图的步骤，包括：
针对当前基础帧图像I上各个像素点p，获取点p周围范围S内的各个点q；所述范围S包括点p；
采用如下公式对各个点p的初始深度值进行滤波，获得当前基础帧图像I上每个像素点p的滤波后深度值，构成当前基础帧图像深度图：
Figure FDA0003388966960000011
其中，bDp为基础帧图像点p的滤波后深度值，rDq为点q的初始深度值，Wp为按如下公式计算的滤波系数：
Figure FDA0003388966960000021
其中，Gσs(||p-q||)为基于两点之间几何距离，按如下公式计算的高斯分布值：
Figure FDA0003388966960000022
Gσr(||Ip-Iq||)为基于这两点之间像素值的差异，按如下公式计算的高斯分布值：
Figure FDA0003388966960000023
其中，Ip代表图像I在p处的像素值，Iq代表图像I在q处的像素值，σ为滤波器影响滤波强度的系数，‖p-q‖为当前帧图像I上两点之间几何距离，||IP-Iq||为这两个点之间像素值的差异。
4.根据权利要求1所述的方法，其特征在于，所述按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图的步骤，包括：
获得各个参考基础帧深度图的权重值；
基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图。
5.根据权利要求4所述的方法，其特征在于，所述获得各个参考基础帧深度图的权重值的步骤，包括：
获得所述各个参考基础帧深度图对应的各个参考基础帧图像；
计算当前帧图像与各个参考基础帧图像之间的相似度；
计算当前帧图像与各个参考基础帧图像之间的相似度的总和；
将当前帧图像与各个参考基础帧之间的相似度与所述总和的比值，分别确定为各个参考基础帧深度图的权重值。
6.根据权利要求4或5所述的方法，其特征在于，所述基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图的步骤，包括：
按如下公式计算获得当前间隔帧图像深度图：
fDi＝αF1*bDF1+αF2*bDF2+…+αFj*bDFj；
其中，fDi为当前间隔帧i的间隔帧图像深度图，αF1为参考基础帧F1的参考基础帧深度图的权重值，αF2为参考基础帧F2的参考基础帧深度图的权重值，αFj为参考基础帧Fj的参考基础帧深度图的权重值，bDF1为参考基础帧F1的参考基础帧深度图，bDF2为参考基础帧F2的参考基础帧深度图，bDFj为参考基础帧Fj的参考基础帧深度图。
7.一种深度图确定的装置，其特征在于，所述装置包括：
当前帧图像获取单元，用于获取待预览的当前帧图像；
图像判断单元，用于判断当前帧图像为基础帧图像或间隔帧图像；所述基础帧图像为：预设的用于计算间隔帧图像的深度图的帧图像；所述间隔帧图像为：两个相邻基础帧图像之间的帧图像；
基础帧深度图计算单元，用于如果当前帧图像为基础帧图像，则采用基于当前帧图像的深度图算法计算当前基础帧图像的基础帧深度图；
参考基础帧深度图获取单元，用于如果当前帧图像为间隔帧图像，则获取当前帧图像之前的预设数量个基础帧深度图，作为参考基础帧深度图；
间隔帧图像深度图获得单元，用于按照预设的深度图融合算法，对各个参考基础帧深度图进行融合，获得当前间隔帧图像深度图。
8.根据权利要求7所述的装置，其特征在于，所述基础帧深度图计算单元，包括：
初始深度图获取模块，用于如果当前帧图像为基础帧图像，则按照基于当前帧图像的图像立体匹配方法获取当前基础帧图像的初始深度图；
基础帧图像深度图获得模块，用于基于当前基础帧图像中像素点之间几何距离和像素点之间像素值的差异，对所述当前基础帧图像的初始深度图进行滤波，获得当前基础帧图像深度图。
9.根据权利要求8所述的装置，其特征在于，所述基础帧图像深度图获得模块，具体用于：
针对当前基础帧图像I上各个像素点p，获取点p周围范围S内的各个点q；所述范围S包括点p；
采用如下公式对各个点p的初始深度值进行滤波，获得当前基础帧图像I上每个像素点p的滤波后深度值，构成当前基础帧图像深度图：
Figure FDA0003388966960000041
其中，bDp为基础帧图像点p的滤波后深度值，rDq为点q的初始深度值，Wp为按如下公式计算的滤波系数：
Figure FDA0003388966960000042
其中，Gσs(||p-q||)为基于两点之间几何距离，按如下公式计算的高斯分布值：
Figure FDA0003388966960000043
Gσr(||Ip-Iq||)为基于这两点之间像素值的差异，按如下公式计算的高斯分布值：
Figure FDA0003388966960000044
其中，Ip代表图像I在p处的像素值，Iq代表图像I在q处的像素值，σ为滤波器影响滤波强度的系数，‖p-q‖为当前帧图像I上两点之间几何距离，||IP-Iq||为这两个点之间像素值的差异。
10.根据权利要求7所述的装置，其特征在于，所述间隔帧图像深度图获得单元，包括：
权重值获得模块，用于获得各个参考基础帧深度图的权重值；
间隔帧图像深度图获得模块，用于基于所述各个参考基础帧深度图的权重值，对各个参考基础帧图像深度图进行加权融合，获得当前间隔帧图像深度图。
11.根据权利要求10所述的装置，其特征在于，所述权重值获得模块，具体用于：
获得所述各个参考基础帧深度图对应的各个参考基础帧图像；
计算当前帧图像与各个参考基础帧图像之间的相似度；
计算当前帧图像与各个参考基础帧图像之间的相似度的总和；
将当前帧图像与各个参考基础帧之间的相似度与所述总和的比值，分别确定为各个参考基础帧深度图的权重值。
12.根据权利要求10或11所述的装置，其特征在于，所述间隔帧图像深度图获得模块，具体用于：
按如下公式计算获得当前间隔帧图像深度图：
fDi＝αF1*bDF1+αF2*bDF2+…+αFj*bDFj；
其中，fDi为当前间隔帧i的间隔帧图像深度图，αF1为参考基础帧F1的参考基础帧深度图的权重值，αF2为参考基础帧F2的参考基础帧深度图的权重值，αFj为参考基础帧Fj的参考基础帧深度图的权重值，bDF1为参考基础帧F1的参考基础帧深度图，bDF2为参考基础帧F2的参考基础帧深度图，bDFj为参考基础帧Fj的参考基础帧深度图。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
CN201910925118.8A 2019-09-27 2019-09-27 一种深度图确定的方法、装置及电子设备 Active CN110689565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910925118.8A CN110689565B (zh) 2019-09-27 2019-09-27 一种深度图确定的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910925118.8A CN110689565B (zh) 2019-09-27 2019-09-27 一种深度图确定的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110689565A CN110689565A (zh) 2020-01-14
CN110689565B true CN110689565B (zh) 2022-03-04

Family

ID=69110878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910925118.8A Active CN110689565B (zh) 2019-09-27 2019-09-27 一种深度图确定的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110689565B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750157B (zh) * 2020-08-11 2023-09-12 腾讯科技（深圳）有限公司 一种深度图像生成方法及装置
CN113139998A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 深度图像的生成方法及装置、电子设备、计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098526A (zh) * 2011-01-28 2011-06-15 清华大学 一种深度图求取方法及装置
KR20170049042A (ko) * 2015-10-28 2017-05-10 성균관대학교산학협력단 깊이 지도 보정 방법 및 그 장치
CN107452033A (zh) * 2017-08-17 2017-12-08 万维云视（上海）数码科技有限公司 一种生成深度图的方法和装置
CN108550167A (zh) * 2018-04-18 2018-09-18 北京航空航天大学青岛研究院 深度图像生成方法、装置及电子设备
CN109345582A (zh) * 2018-08-14 2019-02-15 西安电子科技大学 基于优化的置信传播算法和稀疏表示的深度图像获取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237473B2 (en) * 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098526A (zh) * 2011-01-28 2011-06-15 清华大学 一种深度图求取方法及装置
KR20170049042A (ko) * 2015-10-28 2017-05-10 성균관대학교산학협력단 깊이 지도 보정 방법 및 그 장치
CN107452033A (zh) * 2017-08-17 2017-12-08 万维云视（上海）数码科技有限公司 一种生成深度图的方法和装置
CN108550167A (zh) * 2018-04-18 2018-09-18 北京航空航天大学青岛研究院 深度图像生成方法、装置及电子设备
CN109345582A (zh) * 2018-08-14 2019-02-15 西安电子科技大学 基于优化的置信传播算法和稀疏表示的深度图像获取方法

Also Published As

Publication number Publication date
CN110689565A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN108833785B (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
EP3399741B1 (en) Image fusion method and apparatus, and terminal device
CN111028189A (zh) 图像处理方法、装置、存储介质及电子设备
CN110493527B (zh) 主体对焦方法、装置、电子设备和存储介质
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN105243371A (zh) 一种人脸美颜程度的检测方法、***及拍摄终端
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN111614867B (zh) 一种视频去噪方法、装置、移动终端和存储介质
CN109040596B (zh) 一种调整摄像头的方法、移动终端及存储介质
CN110689565B (zh) 一种深度图确定的方法、装置及电子设备
CN109447022B (zh) 一种镜头类型识别方法及装置
WO2019210707A1 (zh) 一种图像清晰度评测方法、装置及电子设备
CN109068060B (zh) 图像处理方法和装置、终端设备、计算机可读存储介质
CN111311481A (zh) 背景虚化方法、装置、终端设备及存储介质
CN111654637B (zh) 对焦方法、对焦装置及终端设备
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
Choi et al. A method for fast multi-exposure image fusion
CN111669572A (zh) 摄像头模组的检测方法、装置、介质及电子设备
CN107295261B (zh) 图像去雾处理方法、装置、存储介质和移动终端
CN112393804B (zh) 一种图像校正的方法及装置
CN108810407B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN116485645A (zh) 图像拼接方法、装置、设备及存储介质
CN104935815A (zh) 拍照的方法、装置及相机和移动终端
CN111754411B (zh) 图像降噪方法、图像降噪装置及终端设备
CN111383184B (zh) 图像的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant