CN112215880A - 一种图像深度估计方法及装置、电子设备、存储介质 - Google Patents

一种图像深度估计方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN112215880A
CN112215880A CN201910621318.4A CN201910621318A CN112215880A CN 112215880 A CN112215880 A CN 112215880A CN 201910621318 A CN201910621318 A CN 201910621318A CN 112215880 A CN112215880 A CN 112215880A
Authority
CN
China
Prior art keywords
layer
inverse depth
image
inverse
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910621318.4A
Other languages
English (en)
Other versions
CN112215880B (zh
Inventor
齐勇
项骁骏
姜翰青
章国锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201910621318.4A priority Critical patent/CN112215880B/zh
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to SG11202108201RA priority patent/SG11202108201RA/en
Priority to JP2021537988A priority patent/JP7116262B2/ja
Priority to KR1020217017780A priority patent/KR20210089737A/ko
Priority to PCT/CN2019/101778 priority patent/WO2021003807A1/zh
Priority to TW109102630A priority patent/TWI738196B/zh
Publication of CN112215880A publication Critical patent/CN112215880A/zh
Priority to US17/382,819 priority patent/US20210350559A1/en
Application granted granted Critical
Publication of CN112215880B publication Critical patent/CN112215880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本公开实施例公开了一种图像深度估计方法，该方法包括：获取当前帧对应的参考帧和当前帧的逆深度空间范围；对当前帧和参考帧分别进行金字塔降采样处理，获得当前帧对应的k层当前图像，以及参考帧对应的k层参考图像；k为大于等于2的自然数；基于k层参考图像和逆深度空间范围，对k层当前图像进行逆深度估计迭代处理，获得当前帧的逆深度估计结果。通过实施上述方案，能够实时获得图像的深度估计结果，且深度估计结果的精确度较高。

Description

一种图像深度估计方法及装置、电子设备、存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种图像深度估计方法及装置、电子设备、存储介质。
背景技术
图像的深度估计是计算机视觉领域的重要问题。在无法直接获得图像的深度信息时，只有通过深度估计方法才能完成场景的三维重建，进而为增强现实和游戏等应用服务。
目前，基于计算机视觉的深度估计方法可以分为主动视觉方法和被动视觉方法两类。其中，主动视觉方法是指向被测物体发射可控制光束，然后拍摄光束在物体表面上形成的图像，通过几何关系计算出被测物体距离的方法，被动视觉方法包括立体视觉、聚焦法，以及散焦法等，主要是通过一个或多个摄像装置获取的二维图像信息确定深度信息。
然而，上述深度估计方法，不能同时满足实时和高精度的要求。
发明内容
本公开实施例期望提供一种图像深度估计方法及装置、电子设备、存储介质。
本公开实施例的技术方案是这样实现的：
本公开实施例提供了一种图像深度估计方法，所述方法包括：
获取当前帧对应的参考帧和所述当前帧的逆深度空间范围；
对所述当前帧和所述参考帧分别进行金字塔降采样处理，获得所述当前帧对应的k层当前图像，以及所述参考帧对应的k层参考图像；k为大于等于2的自然数；
基于所述k层参考图像和所述逆深度空间范围，对所述k层当前图像进行逆深度估计迭代处理，获得所述当前帧的逆深度估计结果。
可以理解的是，在本公开的实施例中，对当前帧和当前帧对应的参考帧进行降采样处理，将获得的多层当前图像结合多层参考图像进行逆深度估计迭代处理，以确定当前帧的逆深度估计结果。由于在确定逆深度估计结果的过程中，逐层减少逆深度搜索空间，从而减少了逆深度估计的计算量，提升了估计速度，能够实时获得逆深度估计结果。
在上述图像深度估计方法中，所述获取当前帧对应的参考帧，包括：
获取至少两个待筛选帧；
从所述至少两个待筛选帧中，选取与所述当前帧之间满足预设角度约束条件的至少一帧，将所述至少一帧作为所述参考帧。
可以理解的是，在本公开的实施例中，按照预设角度预设条件从至少两个待筛选帧中选取参考帧，可以在一定程度上选取出质量较佳，适合与当前帧进行匹配的帧，从而在后续深度估计过程中提高估计的准确性。
在上述图像深度估计方法中，所述预设角度约束条件包括：
所述当前帧对应的位姿中心和所述参考帧对应的位姿中心，与目标点的连线形成的夹角处于第一预设角度范围；所述目标点为所述当前帧对应的平均深度点与所述参考帧对应的平均深度点连线的中点；
所述当前帧和所述参考帧对应的光轴夹角处于第二预设角度范围；
所述当前帧和所述参考帧对应的纵轴夹角处于第三预设角度范围。
可以理解的是，在本公开的实施例中，第一个角度条件限定了当前场景到两个相机的距离，角度过大说明场景过近，两帧重合度会较低，角度过小，则说明场景过远，视差较小，误差会比较大，当相机特别接近时也可能发生角度过小的情况，此时误差同样较大。第二角度条件是为了保证两个相机有足够的共视区域。第三个角度条件是为了避免相机绕着光轴旋转，影响后续深度估计计算过程。同时满足上述三个角度条件的帧作为参考帧有利于提高当前帧深度估计的精度。
在上述图像深度估计方法中，所述基于所述k层参考图像和所述逆深度空间范围，对所述k层当前图像进行逆深度估计迭代处理，获得所述当前帧的逆深度估计结果，包括：
基于所述k层当前图像和所述逆深度空间范围，确定第i层采样点中每一个采样点对应的逆深度候选值；所述第i层采样点为对所述k层当前图像中第i层当前图像采样获得的像素点，i为大于等于1且小于等于k的自然数；
根据所述第i层采样点中每一个采样点对应的逆深度候选值和所述k层参考图像中第i层参考图像，确定所述第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值；
令i＝i+1，继续对所述k层当前图像中分辨率高于所述第i层当前图像的第i+1层当前图像进行逆深度估计，直至i＝k为止，获得第k层逆深度值；
将所述第k层逆深度值确定为所述逆深度估计结果。
可以理解的是，在本公开的实施例中，基于k层参考图像和逆深度空间范围，对k层当前图像进行逆深度估计迭代处理，例如可以从顶层(第1层)当前图像(像素最少的图像)开始，依次向底层进行逆深度估计迭代，逐层缩小逆深度搜索空间，从而有效的减少逆深度估计的计算量。
在上述图像深度估计方法中，所述基于所述k层当前图像和所述逆深度空间范围，确定第i层采样点中每一个采样点对应的逆深度候选值，包括：
对所述逆深度空间范围进行区间划分，并在每个划分区间中选择一个逆深度值，得到多个初始逆深度值；
将所述多个初始逆深度值确定为第1层采样点中每一个采样点对应的逆深度候选值；
当i不等于1的情况下，从所述k层当前图像中获取第i-1层采样点，以及第i-1层逆深度值；
基于所述第i-1层逆深度值、第i-1层采样点，以及所述多个初始逆深度值，确定所述第i层采样点中每一个采样点对应的逆深度候选值。
可以理解的是，在本公开的实施例中，针对逆深度空间范围进行区间划分，从而在不同区间内选取逆深度值，可以使得每一个区间内都存在一个逆深度值作为逆深度候选值。也就是说，每一个采样点在不同逆深度范围内都存在一个逆深度候选值，在后续进行确定采样点的逆深度值，可以保证不同逆深度范围的逆深度值都可以进行逆深度值估计确定，保证估计过程覆盖整个逆深度空间范围，从而最终可以估计出准确的逆深度值。
在上述图像深度估计方法中，所述基于所述第i-1层逆深度估计值、第i-1层采样点，以及所述多个初始逆深度值，确定所述第i层采样点中每一个采样点对应的逆深度候选值，包括：
从所述第i-1层采样点中，确定与第一采样点距离最近的第二采样点，以及与所述第二采样点相邻的至少两个第三采样点；所述第一采样点为所述第i层采样点中任意一个采样点；
根据所述第i-1层逆深度值，获取所述至少两个第三采样点中每一个采样点的逆深度值，以及所述第二采样点的逆深度值，得到至少三个逆深度值；
从所述至少三个逆深度值中，确定最大逆深度值和最小逆深度值；
从所述多个初始逆深度值中，选取处于所述最大逆深度值和所述最小逆深度值范围内的逆深度值，对所述多个等分逆深度值进行选取，将选取出的逆深度值确定为所述第一采样点对应的逆深度候选值；
继续确定所述第i层采样点中非所述第一采样点的采样点对应的逆深度候选值，直至确定出所述第i层采样点中每一个采样点对应的逆深度候选值。
可以理解的是，在本公开的实施例中，利用i-1层采样点对应的逆深度值从多个初始逆深度值中确定第i层采样点的逆深度候选值，可以更为准确的获得第i层采样点的逆深度候选值，并且，减少了逆深度候选值的数量，相应的，减少了逆深度估计的计算量。
在上述图像深度估计方法中，所述根据所述第i层采样点中每一个采样点对应的逆深度候选值和所述k层参考图像中第i层参考图像，确定所述第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值，包括：
对所述第i层采样点中每一个采样点，分别按照对应的逆深度候选值中的每一个逆深度值，将所述第i层采样点中每一个采样点投影到所述第i层参考图像中，获得所述第i层采样点中每一个采样点对应的第i层投影点；
根据所述第i层采样点和所述第i层投影点进行块匹配，获得所述第i层采样点中每一个采样点对应的第i层匹配结果；
根据所述第i层匹配结果，确定所述第i层采样点中每一个采样点的逆深度值，获得所述第i层逆深度值。
可以理解的是，在本公开的实施例中，针对的第i层采样点，分别与相应的第i层投影点进行匹配，从而确定与采用不同逆深度值投影的投影点的差异程度，因此，可以准确选取出第i层采样点的逆深度值。
在上述图像深度估计方法中，所述根据所述第i层采样点和所述第i层投影点进行块匹配，获得所述第i层采样点中每一个采样点对应的第i层匹配结果，包括：
利用预设窗口，从所述第i层当前图像中选取以待匹配采样点为中心的第一图像块，并从所述第i层参考图像中选取以所述待匹配采样点对应的第i层投影点中的每一个投影点分别为中心的多个第二图像块；所述待匹配采样点为所述第i层采样点中任意一个采样点；
将所述第一图像块分别与所述多个第二图像块中每一个图像块进行比较，获得多个匹配结果，并将所述多个匹配结果确定为所述待匹配采样点对应的第i层匹配结果；
继续确定所述第i层采样点中与所述待匹配采样点不同的采样点对应的第i层匹配结果，直至获得所述第i层采样点中每一个采样点对应的第i层匹配结果。
可以理解的是，在本公开的实施例中，利用块匹配的方式进行采样点和投影点的匹配，得到的匹配结果实际上就是匹配的惩罚值，其表征了该投影点与采样点的差异度，相应的，也体现了投影该投影点的逆深度值可作为采样点逆深度值的程度，因此，可以利用其结果后续较为准确的选取采样点的逆深度值。
在上述图像深度估计方法中，所述根据所述第i层匹配结果，确定所述第i层采样点中每一个采样点的逆深度值，获得所述第i层逆深度值，包括：
从目标采样点对应的第i层匹配结果中选取出目标匹配结果；所述目标采样点为所述第i层采样点中任意一个采样点；
将所述目标采样点对应的第i层投影点中，所述目标匹配结果对应的投影点确定为目标投影点；
将所述逆深度候选值中，所述目标投影点对应的逆深度值确定为所述目标采样点的逆深度值；
继续确定所述第i层采样点中与所述目标采样点不同的采样点的逆深度值，直至确定出所述第i层采样点中每一个采样点的逆深度值，获得所述第i层逆深度值。
可以理解的是，在本公开的实施例中，上述针对采样点匹配的过程，实际上就是针对一个采样点，分别确定与采用不同逆深度值投影的投影点的差异程度。选取出匹配结果值最小结果，表征对应的投影点与采样点差异度最小，因此，可以将该投影点采用的逆深度值确定为采样点的逆深度值，从而得到采样点准确的逆深度值。
在上述图像深度估计方法中，所述获得第k层逆深度值之后，所述方法还包括：
对所述第k层逆深度值进行插值优化，获得优化后的第k层逆深度值；
将所述优化后的第k层逆深度值确定为所述逆深度估计结果。
可以理解的是，在本公开的实施例中，上述过程中估计的深度为离散值，因此，还可以进行二次插值，调整每个采样点的逆深度，从而获得更为准确的逆深度值。
在上述图像深度估计方法中，所述对所述第k层逆深度值进行插值优化，获得优化后的第k层逆深度值，包括：
对所述第k层逆深度值中每一个逆深度值，分别从第k层采样点中对应的采样点的候选逆深度值中，选取相邻逆深度值；所述第k层采样点为对所述k层当前图像中第k层当前图像采样获得的像素点；
获取所述相邻逆深度值对应的匹配结果；
基于所述相邻逆深度值和所述相邻逆深度值对应的匹配结果，对所述第k层逆深度值中的每一个逆深度值进行插值优化，获得所述优化后的第k层逆深度值。
可以理解的是，在本公开的实施例中，利用确定的采样点的逆深度值，其相邻逆深度值和相邻逆深度值对应匹配结果，可以更为精确的对采样点的逆深度值进行插值调整，且调整方式简单快速。
本公开实施例提供了一种图像深度估计装置，包括：
获取模块，用于获取当前帧对应的参考帧和所述当前帧的逆深度空间范围；
降采样模块，用于对所述当前帧和所述参考帧分别进行金字塔降采样处理，获得所述当前帧对应的k层当前图像，以及所述参考帧对应的k层参考图像；k为大于等于2的自然数；
估计模块，用于基于所述k层参考图像和所述逆深度空间范围，对所述k层当前图像进行逆深度估计迭代处理，获得所述当前帧的逆深度估计结果。
在上述图像深度估计装置中，所述获取模块，具体用于获取至少两个待筛选帧；从所述至少两个待筛选帧中，选取与所述当前帧之间满足预设角度约束条件的至少一帧，将所述至少一帧作为所述参考帧。
在上述图像深度估计装置中，所述预设角度约束条件包括：
所述当前帧对应的位姿中心和所述参考帧对应的位姿中心，与目标点的连线形成的夹角处于第一预设角度范围；所述目标点为所述当前帧对应的平均深度点与所述参考帧对应的平均深度点连线的中点；
所述当前帧和所述参考帧对应的光轴夹角处于第二预设角度范围；
所述当前帧和所述参考帧对应的纵轴夹角处于第三预设角度范围。
在上述图像深度估计装置中，所述估计模块，具体用于基于所述k层当前图像和所述逆深度空间范围，确定第i层采样点中每一个采样点对应的逆深度候选值；所述第i层采样点为对所述k层当前图像中第i层当前图像采样获得的像素点，i为大于等于1且小于等于k的自然数；根据所述第i层采样点中每一个采样点对应的逆深度候选值和所述k层参考图像中第i层参考图像，确定所述第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值；令i＝i+1，继续对所述k层当前图像中分辨率高于所述第i层当前图像的第i+1层当前图像进行逆深度估计，直至i＝k为止，获得第k层逆深度值；将所述第k层逆深度值确定为所述逆深度估计结果。
在上述图像深度估计装置中，所述估计模块，具体用于对所述逆深度空间范围进行区间划分，并在每个划分区间中选择一个逆深度值，得到多个初始逆深度值；将所述多个初始逆深度值确定为第1层采样点中每一个采样点对应的逆深度候选值；在i不等于1的情况下，从所述k层当前图像中获取第i-1层采样点，以及第i-1层逆深度值；基于所述第i-1层逆深度估计值、第i-1层采样点，以及所述多个初始逆深度值，确定所述第i层采样点中每一个采样点对应的逆深度候选值。
在上述图像深度估计装置中，所述估计模块，具体用于从所述第i-1层采样点中确定与第一采样点距离最近的第二采样点，以及与所述第二采样点相邻的至少两个第三采样点；所述第一采样点为所述第i层采样点中任意一个采样点；根据所述第i-1层逆深度值，获取所述至少两个第三采样点中每一个采样点的逆深度值，以及所述第二采样点的逆深度值，得到的至少三个逆深度值，；从所述至少三个逆深度值中，确定最大逆深度值和最小逆深度值；从所述多个初始逆深度值中，选取处于所述最大逆深度值和所述最小逆深度值范围内的逆深度值，将选取出的逆深度值确定为所述第一采样点对应的逆深度候选值；继续确定所述第i层采样点中非所述第一采样点的采样点对应的逆深度候选值，直至确定出所述第i层采样点中每一个采样点对应的逆深度候选值。
在上述图像深度估计装置中，所述估计模块，具体用于对所述第i层采样点中每一个采样点，分别按照对应的逆深度候选值中的每一个逆深度值，将所述第i层采样点中每一个采样点投影到所述第i层参考图像中，获得所述第i层采样点中每一个采样点对应的第i层投影点；根据所述第i层采样点和所述第i层投影点进行块匹配，获得所述第i层采样点中每一个采样点对应的第i层匹配结果；根据所述第i层匹配结果，确定所述第i层采样点中每一个采样点的逆深度值，获得所述第i层逆深度值。
在上述图像深度估计装置中，所述估计模块，具体用于利用预设窗口，从所述第i层当前图像中选取以待匹配采样点为中心的第一图像块，并从所述第i层参考图像中选取以所述待匹配采样点对应的第i层投影点中的每一个投影点分别为中心的多个第二图像块；所述待匹配采样点为所述第i层采样点中任意一个采样点；将所述第一图像块分别与所述多个第二图像块中每一个图像块进行比较，获得多个匹配结果，并将所述多个匹配结果确定为所述待匹配采样点对应的第i层匹配结果；继续确定所述第i层采样点中与所述待匹配采样点不同的采样点对应的第i层匹配结果，直至获得所述第i层采样点中每一个采样点对应的第i层匹配结果。
在上述图像深度估计装置中，所述估计模块，具体用于从目标采样点对应的第i层匹配结果中选取出目标匹配结果；所述目标采样点为所述第i层采样点中任意一个采样点；将所述目标采样点对应的第i层投影点中，所述目标匹配结果对应的投影点确定为目标投影点；将所述逆深度候选值中，所述目标投影点对应的逆深度值确定为所述目标采样点的逆深度值；继续确定所述第i层采样点中与所述目标采样点不同的采样点的逆深度值，直至确定出所述第i层采样点中每一个采样点的逆深度值，获得所述第i层逆深度值。
在上述图像深度估计装置中，所述估计模块，还用于对所述第k层逆深度值进行插值优化，获得优化后的第k层逆深度值；将所述优化后的第k层逆深度值确定为所述逆深度估计结果。
在上述图像深度估计装置中，所述估计模块，具体用于对所述第k层逆深度值中每一个逆深度值，分别从第k层采样点中对应的采样点的候选逆深度值中，选取相邻逆深度值；所述第k层采样点为对所述k层当前图像中第k层当前图像采样获得的像素点；获取所述相邻逆深度值对应的匹配结果；基于所述相邻逆深度值和所述相邻逆深度值对应的匹配结果，对所述第k层逆深度值中的每一个逆深度值进行插值优化，获得所述优化后的第k层逆深度值。
本公开实施例提供了一种电子设备，所述电子设备包括：处理器、存储器和通信总线；其中，
所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；
所述处理器，用于执行所述存储器中存储的图像深度估计程序，以实现上述图像深度估计方法。
在上述电子设备中，所述电子设备为手机或平板电脑。
本公开实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述图像深度估计方法。
由此可见，本公开实施例的技术方案中，获取当前帧对应的参考帧和当前帧的逆深度空间范围；对当前帧和参考帧分别进行金字塔降采样处理，获得当前帧对应的k层当前图像，以及参考帧对应的k层参考图像；k为大于等于2的自然数；基于k层参考图像和逆深度空间范围，对k层当前图像进行逆深度估计迭代处理，获得当前帧的逆深度估计结果。也就是说，本公开提供的技术方案，采取了对多层当前图像结合多层参考图像进行逆深度估计迭代处理，以逐层减少逆深度搜索空间，确定当前帧的逆深度估计结果，该逆深度估计结果为当前帧的像素点在相机坐标系下的z轴坐标值的倒数，不需要额外进行坐标变换，且逐层减少逆深度搜索空间有助于减少逆深度估计的计算量，提升估计速度，从而能够实时获得图像的深度估计结果，且深度估计结果的精确度较高。
附图说明
图1为本公开实施例提供的一种图像深度估计方法的流程示意图；
图2为本公开实施例提供的一种示例性的相机位姿夹角的示意图；
图3为本公开实施例提供的一种逆深度估计迭代处理的流程示意图一；
图4为本公开实施例提供的一种示例性的3层当前图像的示意图；
图5为本公开实施例提供的一种确定逆深度候选值的流程示意图；
图6为本公开实施例提供的一种示例性的采样点投影示意图；
图7为本公开实施例提供的一种逆深度估计迭代处理的流程示意图二；
图8为本公开实施例提供的一种图像深度估计装置的结构示意图；
图9为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
本公开实施例提供了一种图像深度估计方法，其执行主体可以是图像深度估计装置，例如，图像深度估计方法可以由终端设备或服务器或其它电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像深度估计方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。图1为本公开实施例提供的一种图像深度估计方法的流程示意图。如图1所示，主要包括以下步骤：
S101、获取当前帧对应的参考帧和当前帧的逆深度空间范围。
在本公开的实施例中，执行主体以图像深度估计装置为例进行说明。首先，图像深度估计装置对当前帧进行深度估计时，需要先获取到当前帧对应的参考帧和当前帧的逆深度空间范围。
需要说明的是，在本公开的实施例中，当前帧为需要进行深度估计的图像，而参考帧为在对当前帧进行深度估计时，用于进行参考匹配的图像，参考帧的数量可以为多个，考虑到深度估计的速度和鲁棒性的平衡，选取5个左右的参考帧较为合适，具体的当前帧的参考帧本公开实施例不作限定。
具体的，在本公开的实施例中，图像深度估计装置获取当前帧对应的参考帧包括以下步骤：获取至少两个待筛选帧；从至少两个待筛选帧中，选取与当前帧之间满足预设角度约束条件的至少一帧，将该至少一帧作为参考帧。
需要说明的是，在本公开的实施例中，图像深度估计装置还可以以其它方式获取参考帧，例如，接收用户发送的针对至少两个待筛选帧的选择指令，将选择指令指示的至少一帧作为参考帧。具体的参考帧获取方式本发明实施例不作限定。
需要说明的是，在本公开的实施例中，图像深度估计装置从至少两个待筛选帧中，选取出的当前帧对应的参考帧可以为多个，而每一个参考帧均与当前帧之间满足预设角度约束条件。待筛选帧即为与当前帧针对同一场景，但是不同角度下获取到的图像。图像深度估计装置可以配置有摄像模块，通过该摄像模块可以获取到待筛选帧，当然，也可以通过其它独立的摄像设备先获取待筛选帧，图像深度估计装置再从摄像设备中进一步获取待筛选帧。具体的预设角度约束条件可以根据实际深度估计需求预先设置在图像深度估计装置中，也可以存储在其他装置中，需要进行深度估计时从其他装置中获取，又或者可以通过接收用户输入的角度约束条件获取等，本公开实施例不作限定。
具体的，在本公开的实施例中，预设角度约束条件包括：当前帧对应的位姿中心和参考帧对应的位姿中心，与目标点的连线形成的夹角处于第一预设角度范围；目标点为当前帧对应的平均深度点与参考帧对应的平均深度点连线的中点；当前帧和参考帧对应的光轴夹角处于第二预设角度范围；当前帧和参考帧对应的纵轴夹角处于第三预设角度范围。其中，纵轴即为三维空间中相机坐标系的Y轴。
示例性的，在本公开的实施例中，如图2所示，定义获取当前帧时相机的位姿为位姿1，获取参考帧时相机的位姿为位姿2，位姿1时相机的中心(光心)到对应场景的平均深度点为点P1，位姿2时相机的中心(光心)到对应场景的平均深度点为点P2，P1和P2的连线中点为点P，预设角度预设条件具体包括三个角度条件：第一个角度条件为，位姿1和位姿2时相机中心与P点的连线形成的视角α在[5°，45°]之间；第二个角度条件为相机处于位姿1和位姿2时的光轴夹角在[0°，45°]之间；第三个角度条件为相机处于位姿1和位姿2时的Y轴夹角在[0°，30°]之间，只有同时满足了这三个角度条件的帧才能作为参考帧。以上角度区间实际中都可以进行调整。
需要说明的是，在本公开的实施例中，获取当前帧和参考帧的相机可以配置有定位装置，从而在获取当前帧和参考帧时直接获取到相应的位姿，图像深度估计装置可以获取定位装置中获得的相关位姿，当然，图像深度估计装置还可以按照位姿估计算法，结合获得的当前帧和参考帧中的一些特征点，计算出相应的位姿。
可以理解的是，在本公开的实施例中，第一个角度条件限定了当前场景到两个相机的距离，角度过大说明场景过近，两帧重合度会较低，角度过小，则说明场景过远，视差较小，误差会比较大，当相机特别接近时也可能发生角度过小的情况，此时误差同样较大。第二角度条件是为了保证两个相机有足够的共视区域。第三个角度条件是为了避免相机绕着光轴旋转，影响后续深度估计计算过程。同时满足上述三个角度条件的帧作为参考帧有利于提高当前帧深度估计的精度。
需要说明的是，在本公开的实施例中，图像深度估计装置可以根据当前帧直接获取到对应的逆深度空间范围，逆深度空间范围为当前帧中的像素点的逆深度值可取的空间范围，当然，图像深度估计装置还可以接收用户的设置指令，根据设置指令获取用户指示的逆深度空间范围。具体的逆深度空间范围本公开实施例不作限定。例如，逆深度空间范围为[dmin，dmax]，dmin为逆深度空间范围内最小的逆深度值，dmax为逆深度空间范围内最大的逆深度值。
S102、对当前帧和参考帧分别进行金字塔降采样处理，获得当前帧对应的k层当前图像，以及参考帧对应的k层参考图像；k为大于等于2的自然数。
在本公开的实施例中，图像深度估计装置在获取到当前帧对应的参考帧之后，可以对当前帧和参考帧分别进行金字塔降采样处理，从而获得当前帧对应的k层当前图像，以及参考帧对应的k层参考图像。
需要说明的是，在本公开的实施例中，由于参考帧可以为多个，因此，图像深度估计装置对于每一个参考帧图像分别进行金字塔降采样处理，从而获得的k层参考图像实际上为多组，具体的k层参考图像的数量本公开实施例不作限定。
需要说明的是，在本公开的实施例中，图像深度估计装置对当前帧和参考帧分别进行金字塔降采样处理，获得的当前图像金字塔和参考图像金字塔的层数是相同的，采用的尺度因子也是相同的。例如，图像深度估计装置对当前帧和参考帧分别进行尺度因子为2的降采样，形成三层当前图像和三层参考图像，在这两组三层图像中，顶层图像的分辨率最低，中间层图像的分辨率高于顶层图像的分辨率，底层图像的分辨率最高，实际上，底层图像也就是原图像，即对应的当前帧和参考帧。具体的图像层数k，以及降采样的尺度因子可以根据实际需求预先设置，本公开实施例不作限定。
示例性的，在本公开的实施例中，图像深度估计装置获取到了当前帧It对应的5个参考帧，分别为：参考帧I1、参考帧I2、参考帧I3、参考帧I4，以及参考帧I5，图像深度估计装置对这些帧分别进行尺度因子为2的降采样，从而获取当前帧It对应的3层当前图像，以及参考帧I1、参考帧I2、参考帧I3、参考帧I4各自对应的三层参考图像。
S103、基于k层参考图像和逆深度空间范围，对k层当前图像进行逆深度估计迭代处理，获得当前帧对应的逆深度估计结果。
在本公开的实施例中，图像深度估计装置在获得k层当前图像和k层参考图像之后，可以基于k层参考图像和逆深度空间范围，对k层当前图像进行逆深度估计迭代处理，例如可以从顶层(第1层)当前图像(像素最少的图像)开始，依次向底层进行逆深度估计迭代，逐层缩小逆深度搜索空间，直到最底第k层，获得当前帧对应的逆深度估计结果。
图3为本公开实施例提供的一种逆深度估计迭代处理的流程示意图一。如图3所示，图像深度估计装置基于k层参考图像和逆深度空间范围，对k层当前图像进行逆深度估计迭代处理，获得当前帧对应的逆深度估计结果，包括如下步骤：
S301、基于k层当前图像和逆深度空间范围，确定第i层采样点中每一个采样点对应的逆深度候选值；第i层采样点为对k层当前图像中第i层当前图像采样获得的像素点，i为大于等于1且小于等于k的自然数。
在本公开的实施例中，k层当前图像按照分辨率由低到高依次包括：第1层当前图像、第2层当前图像、第3层当前图像，……，第k层当前图像，第1层当前图像为k层当前图像中的顶层图像，第k层当前图像为当前图像金字塔中的底层图像，同样的，k层参考图像中按照分辨率由低到高依次包括：第1层参考图像、第2层参考图像、第3层参考图像，……，第k层参考图像，第1层参考图像为参考图像金字塔中的顶层图像，第k层参考图像为参考图像金字塔中的底层图像。
需要说明的是，在本公开的实施例中，图像深度估计装置可以对k层当前图像中第i层当前图像进行像素点采样，采样获得的像素点即为第i层采样点，具体的i的取值为大于1且小于等于k的自然数，本公开实施例不作限定。
需要说明的是，在本公开的实施例中，图像深度估计装置对第i层当前图像进行像素点采样，可以按照预设的采样步长来实现。具体的采样步长可以根据实际需求确定，本公开实施例不作限定。
图4为本公开实施例提供的一种示例性的3层当前图像的示意图。如图4所示，图像深度估计装置可以预先对当前帧，在x轴和y轴坐标按照采样步长为2进行像素点采样，共获得3层当前图像，其中，第1层当前图像分辨率最低，第2层当前图像分辨率高于第1层当前图像，第3层当前图像分辨率高于第2层当前图像，第3层当前图像实际上就是当前帧原图。
具体的，在本公开的实施例中，图像深度估计装置基于k层当前图像和逆深度空间范围，确定第i层采样点中每一个采样点对应的第i层逆深度候选值，包括：当i等于1时，对逆深度空间范围进行区间等分，获得划分区间的多个等分逆深度值；将多个等分逆深度值确定为第1层采样点中每一个采样点对应的逆深度候选值；当i不等于1时，从k层当前图像中获取第i-1层采样点，以及第i-1层逆深度估计值；基于第i-1层逆深度估计值、第i-1层采样点，以及多个等分逆深度值，确定第i层采样点中每一个采样点对应的逆深度候选值。
可以理解的是，在本公开的实施例中，图像深度估计装置针对逆深度空间范围进行区间划分，从而在不同区间内选取逆深度值，可以使得每一个区间内都存在一个逆深度值作为逆深度候选值。也就是说，每一个采样点在不同逆深度范围内都存在一个逆深度候选值，在后续进行确定采样点的逆深度值，可以保证不同逆深度范围的逆深度值都可以进行逆深度值估计确定，保证估计过程覆盖整个逆深度空间范围，从而最终可以估计出准确的逆深度值。
可以理解的是，在本公开的实施例中，当i等于1时，即图像深度估计装置需要确定第1层采样点中每一个采样点对应的逆深度候选值，其中，第1层采样点为k层当前图像中分辨率最低的第1层当前图像中的采样点，图像深度估计装置获取到当前帧对应的逆深度空间范围为[dmin，dmax]，可以将其进行等分，获得进行划分区间的q个等分逆深度值d1、d2，……，dq，可以将这q个等分逆深度值均确定为初始逆深度值，也就是第1层采样点中每一个采样点对应的逆深度候选值，当然，逆深度候选值还可以包括dmin和dmax。即对于第1层采样点中每一个采样点而言，其对应的逆深度候选值是完全相同的。图像深度估计装置对逆深度空间范围的等分区间可以根据实际需求进行设置，本公开实施例不作限定。
需要说明的是，在本公开的实施例中，图像深度估计装置如果按照上述等分的方式对逆深度空间范围进行区间划分，并将划分区间的逆深度值作为逆深度候选值，可以保证逆深度候选值均匀覆盖整个逆深度空间范围，保证后续从逆深度候选值中确定的逆深度值更加准确。
需要说明的是，在本公开的实施例中，在i等于1的情况下，除了针对逆深度空间范围进行等分的方式进行划分，还可以以非等分方式进行划分。例如，以预先设置的多个不同间隔依次对逆深度空间范围进行划分，或者，基于预设的初始划分间隔，结合间隔变化规则，每划分一次进行间隔的调整，再利用调整后的间隔进行下一区间的划分。当然，初始逆深度值的选取也可以直接在划分的区间中随机选取一个逆深度值，也可以选取每个划分区间的中间的逆深度值。具体的区间划分方式和初始逆深度值选取方式本公开实施例不作限定。
需要说明的是，在本公开的实施例中，在i不等于1的情况下，图像深度估计装置需要从k层当前图像中获取第i-1层采样点，也就是对k层当前图像中，第i-1层采样点进行采样所获得的像素点，并且，还需要获取第i-1层逆深度值。每一层当前图像都可以以不同的采样步长进行采样。其中，在确定第i层采样点中每一个采样点对应的逆深度候选值之前，在i＝i-1的情况下，图像深度估计装置已经按照上述逆深度估计步骤获得了第i层逆深度值，也就是第i-1层采样点中每一个采样点的逆深度值。因此，图像深度估计装置可以直接获取到第i-1层逆深度值，并进一步的根据第i-1层逆深度值、第i-1层采样点，以及多个等分逆深度值，确定第i层采样点中每一个采样点对应的逆深度候选值。
图5为本公开实施例提供的一种确定逆深度候选值的流程示意图。如图5所示，图像深度估计装置基于第i-1层逆深度估计值、第i-1层采样点，以及多个初始逆深度值，确定第i层采样点中每一个采样点对应的逆深度候选值，包括：
S501、从第i-1层采样点中确定与第一采样点距离最近的第二采样点，以及与第二采样点相邻的至少两个第三采样点；第一采样点为第i层采样点中任意一个采样点。
S502、根据第i-1层逆深度值，获取至少两个第三采样点中每一个采样点的逆深度值，以及第二采样点的深度值，得到至少三个逆深度值。
S503、从至少三个逆深度值中，确定最大逆深度值和最小逆深度值。
S504、从多个初始逆深度值中，选取处于最大逆深度值和最小逆深度值范围内的逆深度值，将选取出的逆深度值确定为第一采样点对应的逆深度候选值。
S505、继续确定第i层采样点中非第一采样点的采样点对应的逆深度候选值，直至确定出第i层采样点中每一个采样点对应的逆深度候选值。
需要说明的是，在本公开的实施例中，在i等于1的情况下，第i层采样点，即第1层采样点中每一个采样点对应的逆深度候选值，均相同，而在i不等于1的情况下，第i层采样点中，每一个采样点对应的第i层逆深度候选值可以根据第i-1层采样点和第i-1层逆深度值，从多个初始逆深度值中进行选取，确定出范围较小的逆深度候选值，且第i层采样点中每一个采样点对应的逆深度候选值可能均不相同。
示例性的，在本公开的实施例中，
Figure BDA0002125562630000101
为第i层采样点中任意一个采样点，图像深度估计装置可以在第i-1层采样点中查找出距离
Figure BDA0002125562630000102
最近的采样点
Figure BDA0002125562630000103
从而从第i-1层采样点中以
Figure BDA0002125562630000104
为中心，确定其相邻的多个(例如8个)采样点，之后，根据第i-1层逆深度值，获取
Figure BDA0002125562630000105
以及与其相邻的8个采样点中每一个采样点的逆深度值，即获得9个逆深度值，进一步的，将9个逆深度值中以最大的逆深度值d1和最小的逆深度值d2为界限，将多个初始逆深度值中d1和d2之间的深度值选取出来，包括d1和d2，均确定为
Figure BDA0002125562630000106
对应的候选逆深度值。
需要说明的是，在本公开的实施例中，图像深度估计装置从第i-1层采样点中确定与第二采样点相邻的第三采样点，可以将其周围的8个采样点均确定为第三采样点，当然，也可以将与其左右相邻的2个采样点，或者上下相邻的2个采样点确定为第三采样点，还可以将其上下左右相邻的4个采样点均确定为第三采样点，具体的第三采样点的数量本公开实施例不作限定。
需要说明的是，在本公开的实施例中，图像深度估计装置还可以按照其它的规则确定第i层采样点中每一个采样点对应的逆深度候选值。例如，接收用户设置的针对不同层采样点设置的不同逆深度候选值，同一层采样点中每一个采样点对应的逆深度候选值相同。具体的逆深度候选值确定方式本公开实施例不作限定。
S302、根据第i层采样点中每一个采样点对应的逆深度候选值和k层参考图像中第i层参考图像，确定第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值。
具体的，在本公开的实施例中，图像深度估计装置根据第i层采样点中每一个采样点对应的逆深度候选值和k层参考图像中第i层参考图像，确定第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值，包括：对第i层采样点中每一个采样点，分别按照对应的逆深度候选值中的每一个逆深度值，将第i层采样点中每一个采样点投影到第i层参考图像中，获得第i层采样点中每一个采样点对应的第i层投影点；根据第i层采样点和第i层投影点进行块匹配，获得第i层采样点中每一个采样点对应的第i层匹配结果；根据第i层匹配结果，确定第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值。
需要说明的是，在本公开的实施例中，图像深度估计装置对第i层采样点中的每一个采样点，均按照对应的逆深度候选值中的每一个逆深度值投影到第i层参考图像中。当然，如果有多个参考帧，相应的，有多个第i层参考图像，那么图像深度估计装置是将第i层采样点中的每一个采样点，分别按照对应的逆深度候选值中的每一个逆深度值，分别投影到每一个第k层参考图像中。
具体的，在本公开的实施例中，对于当前帧t和参考帧r，图像深度估计装置对于第i层采样点中的任意一个采样点
Figure BDA0002125562630000111
u和v为该采样点的x轴和y轴坐标，对于
Figure BDA0002125562630000112
对应的逆深度候选值中的任意一个逆深度值dz，按照以下公式(1)和公式(2)进行投影到第k层参考图像中：
Figure BDA0002125562630000113
Figure BDA0002125562630000114
需要说明的是，K为获取当前帧t和参考帧r的相机对应的相机内参矩阵，
Figure BDA0002125562630000115
和
Figure BDA0002125562630000116
为第i层当前图像对应的焦距在x轴和y轴上的基于像素度量的尺度因子，
Figure BDA0002125562630000117
为使用像素来描述的x轴方向焦距的长度，
Figure BDA0002125562630000118
为使用像素来描述的y轴方向焦距的长度。
Figure BDA0002125562630000119
为第i层当前图像的主点位置，Rr为3×3的旋转矩阵，Tr为3×1的平移向量。公式(1)最终获得的Xr是一个3×1的矩阵，其中，第一行元素为Xr(0)，第二行元素为Xr(1)，第三行元素为Xr(2)，按照公式(2)进一步计算，即可获得采样点
Figure BDA00021255626300001110
按照对应的逆深度候选值中的逆深度值dz，投影到参考帧r中第i层参考图像中的投影点
Figure BDA00021255626300001111
可以理解的是，在本公开的实施例中，对于第i层采样点中的每一个采样点，均可以通过公式(2)和公式(3)，按照对应逆深度候选值中的每一个逆深度值投影到第i层参考图像中，如果是多个第i层参考图像，重复执行即可。
需要说明的是，在本公开的实施例中，图像深度估计装置在获得第i层投影点之后，可以根据第i层采样点和第i层投影点进行块匹配，具体是对第i层采样点中的每一个采样点，与对应的第i层投影点中的每一个投影点分别进行块匹配，从而获得每一个采样点对应的第i层匹配结果。
具体的，在本公开的实施例中，图像深度估计装置根据第i层采样点和第i层投影点进行块匹配，获得第i层采样点中每一个采样点对应的第i层匹配结果，包括：利用预设窗口，从第i层当前图像中选取以待匹配采样点为中心的第一图像块，并从第i层参考图像中选取以待匹配采样点对应的第i层投影点中的每一个投影点分别为中心的多个第二图像块；待匹配采样点为第i层采样点中任意一个采样点；将第一图像块分别与多个第二图像块中每一个图像块进行比较，获得多个匹配结果，并将多个匹配结果确定为待匹配采样点对应的第i层匹配结果；继续确定第i层采样点中与待匹配采样点不同的采样点对应的第i层匹配结果，直至获得第i层采样点中每一个采样点对应的第i层匹配结果。例如，采用一个3*3的窗口，在第i层当前图像和第i层参考图像中，分别以第i层采样点中的每一个采样点和其对应的投影点为中心，获取采样点和投影点的领域点，得到两个图像块，然后对获取的图像块中对应位置的像素点的像素值进行比较，得到两个图像块的匹配的惩罚值(如像素差值的绝对值之和)。针对同一逆深度值，每个第i层参考图像，可以得到一个惩罚值；存在多个第i层参考图像时，对得到的多个惩罚值进行融合(例如多个惩罚值取平均)，即可以得到每个采样点对应一个逆深度值的第i层匹配结果。针对每个采样点的多个逆深度值，均可以得到每个逆深度值对应的一个惩罚值，即得到每个采样点对应的第i层匹配结果。
具体的，在本公开的实施例中，如图6所示，对于当前帧t和m个参考帧，m为大于等于1的自然数，图像深度估计装置对于第i层采样点中的任意一个采样点
Figure BDA0002125562630000121
按照以下公式(3)所示，与对应的第i层投影点中以逆深度值为dz投影获得的投影点
Figure BDA00021255626300001225
进行块匹配，从而获得第i层匹配结果中逆深度值为dz的匹配结果：
Figure BDA0002125562630000122
其中，
Figure BDA0002125562630000123
为
Figure BDA0002125562630000124
按照自身对应的候选逆深度值中的逆深度值dz，分别投影到m个参考帧中每一帧分别对应的第i层参考图像中的投影点，共计m个。
Figure BDA0002125562630000125
为
Figure BDA0002125562630000126
和
Figure BDA0002125562630000127
的邻域像素值比较函数，该比较函数可以是
Figure BDA0002125562630000128
和
Figure BDA0002125562630000129
的邻域灰度值的零均值归一化协方差(Zero-meanNormalized Cross Correlation，ZNCC)，也可以使用绝对差之和(Sum of absolutedifferences，SAD)或差方和(Sum of Squared Differences，SSD)两种方法。
Figure BDA00021255626300001210
即为
Figure BDA00021255626300001211
对应的第i层匹配结果中，逆深度值为dz的匹配结果。
需要说明的是，在本公开的实施例中，第i层采样点中，每一个采样点对应的第i层匹配结果均包括了自身对应的逆深度候选值中，不同逆深度值的匹配结果，例如，对于第i层采样点中的任意一个采样点
Figure BDA00021255626300001212
对应的逆深度候选值包括d1、d2，……，dq，获得的第i层匹配结果包括每一个逆深度值的匹配结果，具体的第i层匹配结果本公开实施例不作限定。
示例性的，在本公开的实施例中，当前帧对应的参考帧包括2个帧，每一个帧对应有一组2层参考图像，即有两个第1层参考图像，图像深度估计装置将当前帧中第1层当前图像的一个采样点
Figure BDA00021255626300001213
按照其对应的逆深度候选值d1、d2和d3分别投影到两个第1层参考图像中，分别在两个第1层参考图像中获得三个投影点，共6个投影点，作为其对应的第1层投影点。其中，按照d1投影到一个第1层参考图像的投影点为
Figure BDA00021255626300001214
按照d1投影到另一个第1层参考图像的投影点为
Figure BDA00021255626300001215
因此，可以将
Figure BDA00021255626300001216
和
Figure BDA00021255626300001217
代入公式(3)中，即m等于2，获得
Figure BDA00021255626300001218
对逆深度值为d1的匹配结果，同样的，也可以获得逆深度候选值为d2和d3的匹配结果，组成
Figure BDA00021255626300001219
对应的第i层匹配结果。
具体的，在本公开的实施例中，图像深度估计装置根据第i层匹配结果，确定第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值，包括：从目标采样点对应的第i层匹配结果中选取出目标匹配结果；目标采样点为第i层采样点中任意一个采样点；将目标采样点对应的第i层投影点中，目标匹配结果对应的投影点确定为目标投影点；将逆深度候选值中，目标投影点对应的逆深度值确定为目标采样点的逆深度值；继续确定第i层采样点中与目标采样点不同的采样点的逆深度值，直至确定出第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值。
需要说明的是，在本公开的实施例中，图像深度估计装置在获得第i层采样点中每一个采样点对应的第i层匹配结果之后，可以按照以下公式(4)确定第i层采样点中任意一个采样点
Figure BDA00021255626300001220
的逆深度值：
Figure BDA00021255626300001221
其中，由于
Figure BDA00021255626300001222
对应的第i层匹配结果中逆深度值为dz的匹配结果
Figure BDA00021255626300001223
相比与其它逆深度值的匹配结果值最小，因此，将对应的逆深度值dz实际上确定为
Figure BDA00021255626300001224
的逆深度值。
可以理解的是，在本公开的实施例中，上述针对采样点匹配的过程，实际上就是针对一个采样点，分别确定与采用不同逆深度值投影的投影点的差异程度，而采用公式(4)进行逆深度值的确定，实际上就是选取出匹配结果值最小结果，表征对应的投影点与采样点差异度最小，因此，可以将该投影点采用的逆深度值确定为采样点的逆深度值，从而得到采样点准确的逆深度值。
需要说明的是，在本公开的实施例中，图像深度估计方法还可以以其它方式确定第i层采样点中每一个采样点的逆深度值。例如，从每一个采样点中对应的匹配结果中选取处于特定范围的部分结果，之后，从部分结果中随机选取一个匹配结果，将随机选取出的匹配结果对应的投影点采用的逆深度值确定为采样点的逆深度值。
S303、令i＝i+1，继续对k层当前图像中分辨率高于第i层当前图像的第i+1层当前图像进行逆深度估计，直至i＝k为止，获得第k层逆深度值。
在本公开的实施例中，图像深度估计装置获得第i层逆深度值之后，令i＝i+1，从而进一步继续对第i层当前图像的第i+1层当前图像进行逆深度估计，其过程与获取第i层逆深度值相同，在此不再赘述，在不断迭代估计过程中，直至i＝k时，图像深度估计装置获得了第k层逆深度值，即k层当前图像中分辨率最高的图像，实际就是当前帧原图中每一个采样点的逆深度值，则停止令i＝i+1。
S304、将第k层逆深度值确定为逆深度估计结果。
在本公开的实施例中，图像深度估计装置在获得第k层逆深度值之后，即可将第k层逆深度值确定为逆深度估计结果。
可选地，上述过程中估计的深度为离散值，为获得更为准确的逆深度，还可以进行二次插值，调整每个采样点的逆深度。具体地，如图7所示，在步骤S303之后还可以包括S305～S306：
S305、对第k层逆深度值进行插值优化，获得逆深度估计结果。
在本公开的实施例中，图像深度估计装置在获得第k层逆深度值之后，第k层逆深度值包括第k层采样点中每一个采样点对应的逆深度值，而为了获得更准确的第k层逆深度值，可以对第k层逆深度值进行插值优化，也就是将第k层采样点中每一个采样点的逆深度值分别进行调整优化，从而获得优化后的第k层逆深度值。
具体的，在本公开的实施例中，图像深度估计装置对第k层逆深度值进行插值优化，获得优化后的第k层逆深度值，包括：对第k层逆深度值中每一个逆深度值，分别从第k层采样点中对应的采样点的候选逆深度值中，选取逆深度值的相邻逆深度值；第k层采样点为对k层当前图像中第k层当前图像采样获得的像素点；获取相邻逆深度值对应的匹配结果；基于相邻逆深度值和相邻逆深度值对应的匹配结果，对第k层逆深度值中的每一个逆深度值进行插值优化，获得优化后的第k层逆深度值。
具体的，在本公开的实施例中，第k层逆深度值包括第k层采样点中每一个采样点对应的逆深度值，图像深度估计装置需要对第k层采样点中每一个采样点对应的逆深度值进行插值优化，从而获得插值优化结果，作为当前帧的逆深度估计结果。其中，对第k层采样点中任意一个采样点
Figure BDA0002125562630000131
若其对应的逆深度值为dz，可以按照公式(5)进行插值优化：
Figure BDA0002125562630000132
其中，dZ-1为采样点
Figure BDA0002125562630000133
对应的逆深度候选值中，与dZ相邻的前一个逆深度值。Cz+1为
Figure BDA0002125562630000134
Cz-1为
Figure BDA0002125562630000135
Cz为
Figure BDA0002125562630000136
均可在计算
Figure BDA0002125562630000137
的逆深度值时，通过公式(3)计算得到，dz+1和dz-1为
Figure BDA0002125562630000138
时应的候选逆深度值中dz相邻的两个逆深度值，在此不再赘述。
可以理解的是，在本公开的实施例中，图像深度估计装置按照公式(5)对第k层逆深度值进行插值优化，由于k层当前图像中，第k层当前图像实际上就是当前帧，即实际上在获得了当前帧中每一个采样点的逆深度值之后，进一步对其进行了优化，从而获得了当前帧中每一个采样点更为准确的逆深度值，即获得了当前帧的逆深度估计结果。在本公开的实施例中，图像深度估计装置还可以获取三个或者更多个相邻逆深度值及其对应的匹配结果，利用与公式(5)类似的多项式进行插值优化。此外，图像深度估计装置还可以针对第k层采样点中每一个采样点的逆深度值，获取其对应逆深度候选值中与确定的逆深度值相邻的两个深度值，并将这三个逆深度值的均值作为采样点最终的逆深度值，实现逆深度值的优化。
S306、将优化后的第k层逆深度值确定为逆深度估计结果。
在本公开的实施例中，图像深度估计装置在获得优化后的第k层逆深度值之后，即可将优化后的第k层逆深度值确定为逆深度估计结果。
可选的，在本公开的实施例中，图像深度估计装置在确定出逆深度估计结果之后，即步骤S103之后，还可以执行以下步骤：
S104、根据逆深度估计结果，确定当前帧的深度估计结果。
在本公开的实施例中，图像深度估计装置在获得当前帧的逆深度估计结果之后，即可根据逆深度估计结果，确定当前帧的深度估计结果；该深度估计结果可用于实现基于当前帧的三维场景构建。
需要说明的是，在本公开的实施例中，对于一个采样点而言，其逆深度值和深度值互为倒数，因此，图像深度估计装置在获得当前帧的逆深度估计结果，即当前帧中每一个采样点插值优化后的逆深度值之后，分别取其倒数即可获得对应的深度值，从而获得当前帧的深度估计结果。例如，当前帧中某一个采样点插值优化后的逆深度值为A，则其深度值为1/A。
需要说明的是，在本公开的实施例中，相比于现有技术中需要进行三角化反求解等计算才能获得相机坐标系下的z轴坐标值，上述图像深度估计方法所确定最终的深度估计结果为当前帧的采样点在相机坐标系下的z轴坐标值，不需要额外进行坐标变换。
需要说明的是，在本公开的实施例中，上述图像深度估计方法可以应用在实现基于当前帧的三维场景构建过程中。例如，用户利用移动设备摄像头拍摄某个场景时，可以利用上述图像深度估计方法获得当前帧的深度估计结果，进而重建视频场景的3D结构；用户点击移动设备中视频的当前帧中的某个位置时，可以利用上述图像深度估计方法确定的当前帧的深度估计结果，进行点击位置的视线求交找到锚点摆放虚拟物体，从而实现虚拟物体和真实场景几何一致性融合的增强现实效果；单目视频中可以利用上述图像深度估计方法恢复出三维场景结构，计算真实场景和虚拟物体之间的遮挡关系，从而实现虚拟物体和真实场景遮挡一致性融合的增强现实效果；单目视频中可以利用上述图像深度估计方法恢复出场景三维结构，获得具有真实感的阴影效果，从而实现虚拟物体和真实场景光照一致性融合的增强现实效果；单目视频中可以利用上述图像深度估计方法恢复出场景三维结构，与虚拟动画角色之间的物理碰撞，从而实现虚拟动画角色和真实场景物理一致性融合的真实感动画效果。
此外，本公开实施例中，也可以不执行上述步骤S104，该逆深度估计结果可以用于非三维场景建立的其它图像处理。例如，直接输出图像采样点的深度信息变化值，至其它设备进行目标识别或三维点距离计算等数据处理。
本公开实施例提供了一种图像深度估计方法，获取当前帧对应的参考帧和当前帧的逆深度空间范围；对当前帧和参考帧分别进行金字塔降采样处理，获得当前帧对应的k层当前图像，以及参考帧对应的k层参考图像；k为大于等于2的自然数；基于k层参考图像和逆深度空间范围，对k层当前图像进行逆深度估计迭代处理，获得当前帧的逆深度估计结果。也就是说，本公开提供的技术方案，采取了对多层当前图像结合多层参考图像进行逆深度估计迭代处理，以逐层减少逆深度搜索空间，确定当前帧的深度估计结果，且最终的深度估计结果为当前帧的像素点在相机坐标系下的z轴坐标值，不需要额外进行坐标变换，从而能够实时获得图像的深度估计结果，且深度估计结果的精确度较高。
本公开实施例还提供了一种图像深度估计装置，图8为本公开实施例提供的一种图像深度估计装置的结构示意图。如图8所示，包括：
获取模块801，用于获取当前帧对应的参考帧和所述当前帧的逆深度空间范围；
降采样模块802，用于对所述当前帧和所述参考帧分别进行金字塔降采样处理，获得所述当前帧对应的k层当前图像，以及所述参考帧对应的k层参考图像；k为大于等于2的自然数；
估计模块803，用于基于所述k层参考图像和所述逆深度空间范围，对所述k层当前图像进行逆深度估计迭代处理，获得所述当前帧的逆深度估计结果；
可选地，本公开实施例的图像深度估计装置还可以包括：确定模块804，用于根据所述逆深度估计结果，确定所述当前帧的深度估计结果；所述深度估计结果可用于实现基于所述当前帧的三维场景构建。
可选的，所述获取模块801，具体用于获取至少两个待筛选帧；从所述至少两个待筛选帧中，选取与所述当前帧之间满足预设角度约束条件的至少一帧，将所述至少一帧作为所述参考帧。
可选的，所述预设角度约束条件包括：
所述当前帧对应的位姿中心和所述参考帧对应的位姿中心，与目标点的连线形成的夹角处于第一预设角度范围；所述目标点为所述当前帧对应的平均深度点与所述参考帧对应的平均深度点连线的中点；
所述当前帧和所述参考帧对应的光轴夹角处于第二预设角度范围；
所述当前帧和所述参考帧对应的纵轴夹角处于第三预设角度范围。
可选的，所述估计模块803，具体用于基于所述k层当前图像和所述逆深度空间范围，确定第i层采样点中每一个采样点对应的逆深度候选值；所述第i层采样点为对所述k层当前图像中第i层当前图像采样获得的像素点，i为大于等于1且小于等于k的自然数；根据所述第i层采样点中每一个采样点对应的逆深度候选值和所述k层参考图像中第i层参考图像，确定所述第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值；令i＝i+1，继续对所述k层当前图像中分辨率高于所述第i层当前图像的第i+1层当前图像进行逆深度估计，直至i＝k为止，获得第k层逆深度值；将所述第k层逆深度值确定为所述逆深度估计结果。
可选的，所述估计模块803，具体用于当对所述逆深度空间范围进行区间划分，并在每个划分区间中选择一个逆深度值，得到多个初始逆深度值；将所述多个初始逆深度值确定为第1层采样点中每一个采样点对应的逆深度候选值；在i不等于1的情况下，从所述k层当前图像中获取第i-1层采样点，以及第i-1层逆深度值；基于所述第i-1层逆深度估计值、第i-1层采样点，以及所述多个初始逆深度值，确定所述第i层采样点中每一个采样点对应的逆深度候选值。
可选的，所述估计模块803，具体用于从所述第i-1层采样点中确定与第一采样点距离最近的第二采样点，以及与所述第二采样点相邻的至少两个第三采样点；所述第一采样点为所述第i层采样点中任意一个采样点；根据所述第i-1层逆深度值，获取所述至少两个第三采样点中每一个采样点的逆深度值，以及所述第二采样点的逆深度值，得到至少三个逆深度值；从所述至少三个逆深度值中，确定最大逆深度值和最小逆深度值；从所述多个初始逆深度值中，选取处于所述最大逆深度值和所述最小逆深度值范围内的逆深度值，将选取出的逆深度值确定为所述第一采样点对应的逆深度候选值；继续确定所述第i层采样点中非所述第一采样点的采样点对应的逆深度候选值，直至确定出所述第i层采样点中每一个采样点对应的逆深度候选值。
可选的，所述估计模块803，具体用于对所述第i层采样点中每一个采样点，分别按照对应的逆深度候选值中的每一个逆深度值，将所述第i层采样点中每一个采样点投影到所述第i层参考图像中，获得所述第i层采样点中每一个采样点对应的第i层投影点；根据所述第i层采样点和所述第i层投影点进行块匹配，获得所述第i层采样点中每一个采样点对应的第i层匹配结果；根据所述第i层匹配结果，确定所述第i层采样点中每一个采样点的逆深度值，获得所述第i层逆深度值。
可选的，所述估计模块803，具体用于利用预设窗口，从所述第i层当前图像中选取以待匹配采样点为中心的第一图像块，并从所述第i层参考图像中选取以所述待匹配采样点对应的第i层投影点中的每一个投影点分别为中心的多个第二图像块；所述待匹配采样点为所述第i层采样点中任意一个采样点；将所述第一图像块分别与所述多个第二图像块中每一个图像块进行比较，获得多个匹配结果，并将所述多个匹配结果确定为所述待匹配采样点对应的第i层匹配结果；继续确定所述第i层采样点中与所述待匹配采样点不同的采样点对应的第i层匹配结果，直至获得所述第i层采样点中每一个采样点对应的第i层匹配结果。
可选的，所述估计模块803，具体用于从目标采样点对应的第i层匹配结果中选取出目标匹配结果；所述目标采样点为所述第i层采样点中任意一个采样点；将所述目标采样点对应的第i层投影点中，所述目标匹配结果对应的投影点确定为目标投影点；将所述逆深度候选值中，所述目标投影点对应的逆深度值确定为所述目标采样点的逆深度值；继续确定所述第i层采样点中与所述目标采样点不同的采样点的逆深度值，直至确定出所述第i层采样点中每一个采样点的逆深度值，获得所述第i层逆深度值。
可选的，所述估计模块803，还用于对所述第k层逆深度值进行插值优化，获得优化后的第k层逆深度值；将所述优化后的第k层逆深度值确定为所述逆深度估计结果。
可选的，所述估计模块803，具体用于对所述第k层逆深度值中每一个逆深度值，分别从第k层采样点中对应的采样点的候选逆深度值中，选取相邻逆深度值；所述第k层采样点为对所述k层当前图像中第k层当前图像采样获得的像素点；获取所述相邻逆深度值对应的匹配结果；基于所述相邻逆深度值和所述相邻逆深度值对应的匹配结果，对所述第k层逆深度值中的每一个逆深度值进行插值优化，获得所述优化后的第k层逆深度值。
本公开实施例提供了一种图像深度估计装置，获取当前帧对应的参考帧和当前帧的逆深度空间范围；对当前帧和参考帧分别进行金字塔降采样处理，获得当前帧对应的k层当前图像，以及参考帧对应的k层参考图像；k为大于等于2的自然数；基于k层参考图像和逆深度空间范围，对k层当前图像进行逆深度估计迭代处理，获得当前帧的逆深度估计结果。也就是说，本公开提供的图像深度估计装置，采取了对多层当前图像结合多层参考图像进行逆深度估计迭代处理，以逐层减少逆深度搜索空间，确定当前帧的深度估计结果，且最终的深度估计结果为当前帧的像素点在相机坐标系下的z轴坐标值，不需要额外进行坐标变换，从而能够实时获得图像的深度估计结果，且深度估计结果的精确度较高。
本公开实施例还提供了一种电子设备，图9为本公开实施例提供的一种电子设备的结构示意图。如图9所示，所述电子设备包括：处理器901、存储器902和通信总线903；其中，
所述通信总线903，用于实现所述处理器901和所述存储器902之间的连接通信；
所述处理器901，用于执行所述存储器902中存储的图像深度估计程序，以实现上述图像深度估计方法。
需要说明的是，在本公开的实施例中，所述电子设备为手机或平板电脑，当然，也可以为其它类型设备，本公开实施例不作限定。
本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述图像深度估计方法。计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatilememory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信号处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信号处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程信号处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程信号处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (10)

1.一种图像深度估计方法，其特征在于，所述方法包括：
获取当前帧对应的参考帧和所述当前帧的逆深度空间范围；
对所述当前帧和所述参考帧分别进行金字塔降采样处理，获得所述当前帧对应的k层当前图像，以及所述参考帧对应的k层参考图像；k为大于等于2的自然数；
基于所述k层参考图像和所述逆深度空间范围，对所述k层当前图像进行逆深度估计迭代处理，获得所述当前帧的逆深度估计结果。
2.根据权利要求1所述的图像深度估计方法，其特征在于，所述获取当前帧对应的参考帧，包括：
获取至少两个待筛选帧；
从所述至少两个待筛选帧中，选取与所述当前帧之间满足预设角度约束条件的至少一帧，将所述至少一帧作为所述参考帧。
3.根据权利要求2所述的图像深度估计方法，其特征在于，所述预设角度约束条件包括：
所述当前帧对应的位姿中心和所述参考帧对应的位姿中心，与目标点的连线形成的夹角处于第一预设角度范围；所述目标点为所述当前帧对应的平均深度点与所述参考帧对应的平均深度点连线的中点；
所述当前帧和所述参考帧对应的光轴夹角处于第二预设角度范围；
所述当前帧和所述参考帧对应的纵轴夹角处于第三预设角度范围。
4.根据权利要求1-3任一项所述的图像深度估计方法，其特征在于，所述基于所述k层参考图像和所述逆深度空间范围，对所述k层当前图像进行逆深度估计迭代处理，获得所述当前帧的逆深度估计结果，包括：
基于所述k层当前图像和所述逆深度空间范围，确定第i层采样点中每一个采样点对应的逆深度候选值；所述第i层采样点为对所述k层当前图像中第i层当前图像采样获得的像素点，i为大于等于1且小于等于k的自然数；
根据所述第i层采样点中每一个采样点对应的逆深度候选值和所述k层参考图像中第i层参考图像，确定所述第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值；
令i＝i+1，继续对所述k层当前图像中分辨率高于所述第i层当前图像的第i+1层当前图像进行逆深度估计，直至i＝k为止，获得第k层逆深度值；
将所述第k层逆深度值确定为所述逆深度估计结果。
5.根据权利要求4所述的图像深度估计方法，其特征在于，所述基于所述k层当前图像和所述逆深度空间范围，确定第i层采样点中每一个采样点对应的逆深度候选值，包括：
对所述逆深度空间范围进行区间划分，并在每个划分区间中选择一个逆深度值，得到多个初始逆深度值；
将所述多个初始逆深度值确定为第1层采样点中每一个采样点对应的逆深度候选值；
在i不等于1的情况下，从所述k层当前图像中获取第i-1层采样点，以及第i-1层逆深度值；
基于所述第i-1层逆深度值、第i-1层采样点，以及所述多个初始逆深度值，确定所述第i层采样点中每一个采样点对应的逆深度候选值。
6.根据权利要求5所述的图像深度估计方法，其特征在于，所述基于所述第i-1层逆深度估计值、第i-1层采样点，以及所述多个初始逆深度值，确定所述第i层采样点中每一个采样点对应的逆深度候选值，包括：
从所述第i-1层采样点中确定与第一采样点距离最近的第二采样点，以及与所述第二采样点相邻的至少两个第三采样点；所述第一采样点为所述第i层采样点中任意一个采样点；
根据所述第i-1层逆深度值，获取所述至少两个第三采样点中每一个采样点的逆深度值，以及所述第二采样点的逆深度值，得到至少三个逆深度值；
从所述至少三个逆深度值中，确定最大逆深度值和最小逆深度值；
从所述多个初始逆深度值中，选取处于所述最大逆深度值和所述最小逆深度值范围内的逆深度值，将选取出的逆深度值确定为所述第一采样点对应的逆深度候选值；
继续确定所述第i层采样点中非所述第一采样点的采样点对应的逆深度候选值，直至确定出所述第i层采样点中每一个采样点对应的逆深度候选值。
7.根据权利要求4所述的图像深度估计方法，其特征在于，所述根据所述第i层采样点中每一个采样点对应的逆深度候选值和所述k层参考图像中第i层参考图像，确定所述第i层采样点中每一个采样点的逆深度值，获得第i层逆深度值，包括：
对所述第i层采样点中每一个采样点，分别按照对应的逆深度候选值中的每一个逆深度值，将所述第i层采样点中每一个采样点投影到所述第i层参考图像中，获得所述第i层采样点中每一个采样点对应的第i层投影点；
根据所述第i层采样点和所述第i层投影点进行块匹配，获得所述第i层采样点中每一个采样点对应的第i层匹配结果；
根据所述第i层匹配结果，确定所述第i层采样点中每一个采样点的逆深度值，获得所述第i层逆深度值。
8.一种图像深度估计装置，其特征在于，包括：
获取模块，用于获取当前帧对应的参考帧和所述当前帧的逆深度空间范围；
降采样模块，用于对所述当前帧和所述参考帧分别进行金字塔降采样处理，获得所述当前帧对应的k层当前图像，以及所述参考帧对应的k层参考图像；k为大于等于2的自然数；
估计模块，用于基于所述k层参考图像和所述逆深度空间范围，对所述k层当前图像进行逆深度估计迭代处理，获得所述当前帧的逆深度估计结果。
9.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和通信总线；其中，
所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；
所述处理器，用于执行所述存储器中存储的图像深度估计程序，以实现权利要求1-7任一项所述的图像深度估计方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现权利要求1-7任一项所述的图像深度估计方法。
CN201910621318.4A 2019-07-10 2019-07-10 一种图像深度估计方法及装置、电子设备、存储介质 Active CN112215880B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910621318.4A CN112215880B (zh) 2019-07-10 2019-07-10 一种图像深度估计方法及装置、电子设备、存储介质
JP2021537988A JP7116262B2 (ja) 2019-07-10 2019-08-21 画像深度推定方法および装置、電子機器、ならびに記憶媒体
KR1020217017780A KR20210089737A (ko) 2019-07-10 2019-08-21 이미지 깊이 추정 방법 및 장치, 전자 기기, 저장 매체
PCT/CN2019/101778 WO2021003807A1 (zh) 2019-07-10 2019-08-21 一种图像深度估计方法及装置、电子设备、存储介质
SG11202108201RA SG11202108201RA (en) 2019-07-10 2019-08-21 Image depth estimation method and apparatus, electronic device, and storage medium
TW109102630A TWI738196B (zh) 2019-07-10 2020-01-22 一種圖像深度估計方法、電子設備、儲存介質
US17/382,819 US20210350559A1 (en) 2019-07-10 2021-07-22 Image depth estimation method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910621318.4A CN112215880B (zh) 2019-07-10 2019-07-10 一种图像深度估计方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN112215880A true CN112215880A (zh) 2021-01-12
CN112215880B CN112215880B (zh) 2022-05-06

Family

ID=74047542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910621318.4A Active CN112215880B (zh) 2019-07-10 2019-07-10 一种图像深度估计方法及装置、电子设备、存储介质

Country Status (7)

Country Link
US (1) US20210350559A1 (zh)
JP (1) JP7116262B2 (zh)
KR (1) KR20210089737A (zh)
CN (1) CN112215880B (zh)
SG (1) SG11202108201RA (zh)
TW (1) TWI738196B (zh)
WO (1) WO2021003807A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313742A (zh) * 2021-05-06 2021-08-27 Oppo广东移动通信有限公司 图像深度估计方法、装置、电子设备及计算机存储介质
CN116129036A (zh) * 2022-12-02 2023-05-16 中国传媒大学 一种深度信息引导的全方向图像三维结构自动恢复方法
CN117880630A (zh) * 2024-03-13 2024-04-12 杭州星犀科技有限公司 对焦深度获取方法、对焦深度获取***及终端

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11688090B2 (en) 2021-03-16 2023-06-27 Toyota Research Institute, Inc. Shared median-scaling metric for multi-camera self-supervised depth evaluation
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140126769A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Fast initialization for monocular visual slam
CN108010081A (zh) * 2017-12-01 2018-05-08 中山大学 一种基于Census变换和局部图优化的RGB-D视觉里程计方法
CN108520554A (zh) * 2018-04-12 2018-09-11 无锡信捷电气股份有限公司 一种基于orb-slam2的双目三维稠密建图方法
CN108648274A (zh) * 2018-05-10 2018-10-12 华南理工大学 一种视觉slam的认知点云地图创建***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
GB2506338A (en) * 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CN105007495B (zh) * 2015-08-20 2018-07-20 上海玮舟微电子科技有限公司 一种基于多层3drs的差异估计方法及装置
EP3501011A4 (en) * 2016-08-19 2020-09-09 Movidius Ltd. ROUTE PLANNING USING SPARKLING VOLUMETRIC DATA
TWI756365B (zh) * 2017-02-15 2022-03-01 美商脫其泰有限責任公司 圖像分析系統及相關方法
CN109993113B (zh) * 2019-03-29 2023-05-02 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140126769A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Fast initialization for monocular visual slam
CN108010081A (zh) * 2017-12-01 2018-05-08 中山大学 一种基于Census变换和局部图优化的RGB-D视觉里程计方法
CN108520554A (zh) * 2018-04-12 2018-09-11 无锡信捷电气股份有限公司 一种基于orb-slam2的双目三维稠密建图方法
CN108648274A (zh) * 2018-05-10 2018-10-12 华南理工大学 一种视觉slam的认知点云地图创建***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313742A (zh) * 2021-05-06 2021-08-27 Oppo广东移动通信有限公司 图像深度估计方法、装置、电子设备及计算机存储介质
CN116129036A (zh) * 2022-12-02 2023-05-16 中国传媒大学 一种深度信息引导的全方向图像三维结构自动恢复方法
CN116129036B (zh) * 2022-12-02 2023-08-29 中国传媒大学 一种深度信息引导的全方向图像三维结构自动恢复方法
CN117880630A (zh) * 2024-03-13 2024-04-12 杭州星犀科技有限公司 对焦深度获取方法、对焦深度获取***及终端
CN117880630B (zh) * 2024-03-13 2024-06-07 杭州星犀科技有限公司 对焦深度获取方法、对焦深度获取***及终端

Also Published As

Publication number Publication date
SG11202108201RA (en) 2021-09-29
KR20210089737A (ko) 2021-07-16
TWI738196B (zh) 2021-09-01
WO2021003807A1 (zh) 2021-01-14
JP2022515517A (ja) 2022-02-18
CN112215880B (zh) 2022-05-06
US20210350559A1 (en) 2021-11-11
TW202103106A (zh) 2021-01-16
JP7116262B2 (ja) 2022-08-09

Similar Documents

Publication Publication Date Title
CN112215880B (zh) 一种图像深度估计方法及装置、电子设备、存储介质
CN110493525B (zh) 变焦图像确定方法及装置、存储介质、终端
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
CN111598993B (zh) 基于多视角成像技术的三维数据重建方法、装置
US10091435B2 (en) Video segmentation from an uncalibrated camera array
CN111899282A (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN109005334A (zh) 一种成像方法、装置、终端和存储介质
CN111292278B (zh) 图像融合方法及装置、存储介质、终端
CN111080776A (zh) 人体动作三维数据采集和复现的处理方法及***
US10154241B2 (en) Depth map based perspective correction in digital photos
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
WO2021031210A1 (zh) 视频处理方法和装置、存储介质和电子设备
JP2009186287A (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
US20120038785A1 (en) Method for producing high resolution image
CN114663599A (zh) 一种基于多视图的人体表面重建方法及***
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
CN114119701A (zh) 图像处理方法及其装置
KR100867731B1 (ko) 전방향 카메라의 위치 추정 방법
CN117456124B (zh) 一种基于背靠背双目鱼眼相机的稠密slam的方法
CN113313646B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN113821107B (zh) 一种实时、自由视点的室内外裸眼3d***
KR102492163B1 (ko) 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법 및 장치
CN114862934B (zh) 十亿像素成像的场景深度估计方法及装置
CN114677734B (zh) 关键点的标注方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40034562

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant