CN111371986A - 用于焦距调节和深度图确定的装置和方法 - Google Patents

用于焦距调节和深度图确定的装置和方法 Download PDF

Info

Publication number
CN111371986A
CN111371986A CN202010110338.8A CN202010110338A CN111371986A CN 111371986 A CN111371986 A CN 111371986A CN 202010110338 A CN202010110338 A CN 202010110338A CN 111371986 A CN111371986 A CN 111371986A
Authority
CN
China
Prior art keywords
directions
energy function
scene
disparity
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010110338.8A
Other languages
English (en)
Inventor
朱振宇
赵丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
SZ DJI Innovations Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202010110338.8A priority Critical patent/CN111371986A/zh
Publication of CN111371986A publication Critical patent/CN111371986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

提供用于获得场景的深度图的方法及装置。获得场景的深度图的方法包括：捕捉场景的多个场景图像；计算多个场景图像的视差；以及基于视差而获得深度图。其中，计算视差包括优化全局能量函数，所述全局能量函数通过以下方式得以优化：聚合多个方向上的数据项以获得所述多个方向中每个方向的能量函数；以及累加所述多个方向上的能量函数。

Description

用于焦距调节和深度图确定的装置和方法
本申请是申请日为2015年3月16日的中国专利申请201580077679.7(“用于焦距调节和深度图确定的装置和方法”)的分案申请。
技术领域
本文公开的实施方式通常涉及数字成像，并且更具体地涉及但不限于用于自动调节焦距和/或确定图像的深度图的装置和方法。
背景技术
立体成像在许多领域中变得越来越普遍，凭借该技术，使用多个成像设备通过立体视觉来形成三维图像。立体成像在机器人学中特别有用，在机器人学中通常期望收集与机器的操作环境有关的三维信息。立体成像模拟人眼的双目视觉并且应用立体视觉的原理以实现深度知觉。这种技术可以通过使用多个成像设备从稍有不同的有利位置观察给定的感兴趣的物体，由人造成像设备来重现。感兴趣的物体的不同视图之间的差异传达了与该物体的位置有关的深度信息，从而支持了该物体的三维成像。
在视频或电视剧的拍摄期间，跟焦是一个困难而且需要专业技术的工作。主流的跟焦设备需要有经验的跟焦师实时根据监视屏和拍摄场景来调节相机的焦距。
对于某些成像应用，手动的焦距调节十分麻烦并且在远程操作成像设备的情况下可能是不现实的。因此，期望焦距调节***能够自动地调节焦距以跟踪正在移动的感兴趣的物体。
发明内容
根据本文公开的第一方面，阐述了一种用于自动焦距调节的方法，包括：
确定感兴趣的物体与成像机构之间的距离；以及
根据所述确定距离，自动调节所述成像机构的焦距。
在所公开方法的示例性实施方式中，所述确定包括确定场景中的感兴趣的物体与所述成像机构之间的距离。
在所公开方法的示例性实施方式中，所述确定包括用包含在所述成像机构中的第一成像设备和第二成像设备来对所述场景进行成像。
在所公开方法的示例性实施方式中，所述确定还包括：
获得所述场景的深度图；
选择所述场景中的感兴趣的物体；以及
根据所述场景的所述深度图，计算所述感兴趣的物体的距离。
在所公开方法的示例性实施方式中，所述获得包括计算来自所述第一成像设备与第二成像设备的场景图像的视差。
在所公开方法的示例性实施方式中，所述计算视差包括优化全局能量函数。
在所公开方法的示例性实施方式中，所述优化全局能量函数包括求取视差能量函数与缩放平滑项的和。
在所公开方法的示例性实施方式中，所述视差能量函数由Birchfield-Tomasi 项表示。
在所公开方法的示例性实施方式中，通过累加由所述第一成像设备捕捉到的所述场景的第一图像与由所述第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi项。
所公开方法的示例性实施方式还包括：针对像素的所有邻居，累加两个相邻像素之间的视差的缩放触发函数以获得所述平滑项。
在所公开方法的示例性实施方式中，所述累加包括：针对像素的所有邻居，累加来自四领域的两个相邻像素之间的视差的缩放触发函数。
在所公开方法的示例性实施方式中，通过累加每一像素的所有邻居的视差的缩放触发函数来获得所述平滑项。
所公开方法的示例性实施方式还包括：
聚合多个方向上的数据项以获得所述方向中的每一个的能量函数；以及
累加所述方向上的能量函数以获得所述能量函数。
在所公开方法的示例性实施方式中，所述聚合包括获得预定数目的方向上的能量函数。
在所公开方法的示例性实施方式中，所述聚合包括获得四个方向或八个方向上的能量函数。
在所公开方法的示例性实施方式中，所述聚合数据项包括：通过求取对应平滑项与一方向上的动态规划的和来获得该方向上的能量函数。
在所公开方法的示例性实施方式中，所述求取对应平滑项与所述方向上的所述动态规划的和包括：基于一个像素的邻居在所述方向上的所述能量函数的递归来表示该方向上的所述动态规划。
在所公开方法的示例性实施方式中，所述方向包括水平方向。
在所公开方法的示例性实施方式中，所述聚合水平方向上的数据项包括：通过基于一个像素的邻居在该水平方向上的所述能量函数的递归来计算所述能量。
所公开方法的示例性实施方式还包括获得最佳深度。
在所公开方法的示例性实施方式中，所述获得最佳深度包括寻求使多个方向上能量的总和最小的视差值。
在所公开方法的示例性实施方式中，所述获得最佳深度包括基于一个方向上的能量函数来寻求所述视差值。
所公开方法的示例性实施方式还包括通过执行以下各项中的至少一项来降低噪声：在置所述视差为-1时，匹配来自所述第一成像设备和第二成像设备的场景图像，以及识别所述场景图像各自的独特性。
所公开方法的示例性实施方式还包括基于至少选自包括以下各项的组的因素来补偿误差：所述两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及所述感兴趣的物体与所述第一成像设备和第二成像设备之间的深度。
所公开方法的示例性实施方式还包括通过使用非局部优化方程来优化所述深度图。
所公开方法的示例性实施方式还包括通过使用递归滤波来获得所述非局部优化方程的Jacobi迭代。
在所公开方法的示例性实施方式中，所述选择所述场景中的感兴趣的物体包括接收外部指令以选择所述感兴趣的物体。
在所公开方法的示例性实施方式中，所述接收指令包括识别在来自所述第一成像设备或所述第二成像设备的场景图像中的任一个上选定的感兴趣的物体。
在所公开方法的示例性实施方式中，所述识别选定的感兴趣的物体包括：在所述场景图像中的任一个上感测框出了该感兴趣的物体的方框或者在所述场景图像中的任一个上感测对该感兴趣的物体的点击。
在所公开方法的示例性实施方式中，所述接收外部指令包括接收声音指令 (可选地为所述感兴趣的物体的预设名称)以确定所述感兴趣的物体。
在所公开方法的示例性实施方式中，所述选择所述场景中的感兴趣的物体包括：在至少一个预设规则下进行判断并且基于所述判断来自动确定所述感兴趣的物体。
在所公开方法的示例性实施方式中，所述在至少一个预设规则下进行判断包括判断所述物体是否正在接近所述成像机构或者是否在该成像机构的一定距离内。
在所公开方法的示例性实施方式中，所述自动调节焦点包括基于所述感兴趣的物体的灰度水平信息，用跟踪学习检测来实时地自动调节所述成像机构的焦距。
根据本文公开的另一方面，阐述了一种立体成像***，其被配置用于根据上述方法中的任一方法来执行自动焦距调节。
根据本文公开的另一方面，阐述了一种焦距调节装置，包括：
距离组件，其用于确定场景中的感兴趣的物体与用于对该场景进行成像的成像机构之间的距离；以及
焦距组件，其用于根据所述确定的距离来自动调节所述成像机构的焦距。
在所公开装置的示例性实施方式中，所述距离组件被配置用于确定场景中的感兴趣的物体与所述成像机构之间的距离。
在所公开装置的示例性实施方式中，所述成像机构包括第一成像设备和第二成像设备，该第一成像设备和第二成像设备对所述场景进行成像以获得第一场景图像和第二场景图像。
在所公开装置的示例性实施方式中，所述第一成像设备和第二成像设备中的任一个是相机或传感器。
在所公开装置的示例性实施方式中，所述第一成像设备和第二成像设备选自包括以下各项的组：激光相机、红外相机、超声相机和渡越时间相机。
在所公开装置的示例性实施方式中，所述第一成像设备和第二成像设备是红-绿-蓝(RGB)相机。
在所公开装置的示例性实施方式中，所述距离组件包括：
深度估计机构，其用于获得所述场景的深度图；
物体确定机构，其用于确定所述场景中的感兴趣的物体；以及
计算机构，其用于根据所述场景的深度图来计算所述感兴趣的物体的距离。
在所公开装置的示例性实施方式中，基于所述第一场景图像与所述第二场景图像的视差来获得所述深度图。
在所公开装置的示例性实施方式中，所述深度估计机构优化全局能量函数。
在所公开装置的示例性实施方式中，所述全局能量函数被定义为视差能量函数与缩放平滑项的和。
在所公开装置的示例性实施方式中，所述视差能量函数包括 Birchfield-Tomasi数据项。
在所公开装置的示例性实施方式中，基于由所述第一成像设备捕捉到的所述场景的第一图像与由所述第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi数据项。
在所公开装置的示例性实施方式中，所述平滑项采用视差的差别的能量函数。
在所公开装置的示例性实施方式中，针对具有坐标(x，y)的像素的所有邻居，所述平滑项是两个相邻像素之间的视差的缩放触发函数的总和。
在所公开装置的示例性实施方式中，所述邻居是来自四领域的像素。
在所公开装置的示例性实施方式中，基于每一像素的所有邻居的视差的缩放触发函数来定义所述平滑项。
在所公开装置的示例性实施方式中，所述全局能量函数通过以下方式得以优化：
聚合多个方向上的数据项以获得所述方向中的每一个的方向能量函数；以及
累加所述方向上的方向能量函数以获得所述能量函数。
在所公开装置的示例性实施方式中，所述方向包括预定数目的方向。
在所公开装置的示例性实施方式中，所述预定数目的方向包括四个方向或八个方向。
在所公开装置的示例性实施方式中，一个方向上的能量函数基于该方向上的动态规划。
在所公开装置的示例性实施方式中，一个方向上的所述能量函数通过求取对应平滑项与该方向上的动态规划的和来获得。
在所公开装置的示例性实施方式中，所述方向上的动态规划是基于一个像素的邻居在该方向上的能量函数的递归。
在所公开装置的示例性实施方式中，所述方向包括水平方向。
在所公开装置的示例性实施方式中，水平方向上的能量函数通过基于一个像素的邻居在该水平方向上的所述能量函数的递归来获得。
在所公开装置的示例性实施方式中，通过寻求使多个方向上能量的总和最小的视差值来获得最佳深度。
在所公开装置的示例性实施方式中，基于一个方向上的能量函数来获得所述最佳深度。
在所公开装置的示例性实施方式中，通过在置所述视差为-1时匹配所述第一场景图像与第二场景图像以及/或者识别所述第一场景图像和第二场景图像各自的独特性来降低噪声。
在所公开装置的示例性实施方式中，基于至少选自包括以下各项的组的因素来补偿误差：所述两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及所述感兴趣的物体与所述第一成像设备和第二成像设备之间的深度。
在所公开装置的示例性实施方式中，通过使用非布局优化方程来优化所述深度图。
所公开装置的示例性实施方式包括通过递归滤波来获得所述非局部优化方程的Jacobi迭代。
在所公开装置的示例性实施方式中，所述物体确定机构接收外部指令以确定所述感兴趣的物体。
在所公开装置的示例性实施方式中，所述物体确定机构使得能够识别在所述第一场景图像和所述第二场景图像中的任一个上选定的感兴趣的物体。
在所公开装置的示例性实施方式中，所述物体确定机构使得能够通过以下方式中的至少一个来识别所述感兴趣的物体：在所述第一场景图像和所述第二场景图像中的任一个上感测用以框出该感兴趣的物体的方框，以及在所述第一场景图像和所述第二场景图像中的任一个上感测对该感兴趣的物体的点击。
在所公开装置的示例性实施方式中，所述物体确定机构接收外部声音指令 (可选地为所述感兴趣的物体的预设名称)以确定所述感兴趣的物体。
在所公开装置的示例性实施方式中，所述物体确定机构基于在至少一个预设规则下的判断来自动确定所述感兴趣的物体。
在所公开装置的示例性实施方式中，所述预设规则包括：所述感兴趣的物体是否正在接近所述第一成像设备和所述第二成像设备或者是否在一定距离内。
在所公开装置的示例性实施方式中，所述焦距组件基于所述感兴趣的物体的灰度水平信息，用跟踪学习检测来实时地自动调节所述成像机构的焦距。
根据本文公开的另一方面，阐述了一种移动平台，其执行根据上述方法中的任一个。
根据本文公开的另一方面，阐述了一种移动平台，其包括上述装置中的任一个。
根据本文公开的另一方面，上述移动平台是无人飞行器(UAV)。
根据本文公开的另一方面，上述移动平台是自稳定平台。
根据本文公开的另一方面，阐述了一种用于获得场景的深度图的方法，包括：
捕捉所述场景的多个场景图像；
计算所述多个场景图像的视差；以及
基于所述视差而获得所述深度图，
其中，计算所述视差包括优化全局能量函数，所述全局能量函数通过以下方式得以优化：
聚合多个方向上的数据项以获得所述多个方向中每个方向的能量函数；以及
累加所述多个方向上的能量函数。
在所公开方法的示例性实施方式中，所述捕捉多个场景图像包括经由第一成像设备和第二成像设备捕捉所述多个场景图像。
在所公开方法的示例性实施方式中，所述优化全局能量函数包括求取视差能量函数与缩放平滑项的和。
在所公开方法的示例性实施方式中，所述优化全局能量函数包括优化所述缩放平滑项，所述缩放平滑项通过以下方式得以优化：聚合多个方向上的数据项以获得所述多个方向中每个方向的方向能量函数；以及累加所述多个方向上的方向能量函数。
在所公开方法的示例性实施方式中，所述视差能量函数由Birchfield-Tomasi 项表示。
在所公开方法的示例性实施方式中，其中通过累加由第一成像设备捕捉到的所述场景的第一图像与由第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi项。
所公开方法的示例性实施方式还包括：针对选定像素的所有邻居，累加两个相邻像素到所述选定像素之间的视差的缩放触发函数以获得所述缩放平滑项。
在所公开方法的示例性实施方式中，所述累加两个相邻像素到所述选定像素之间的视差的缩放触发函数包括：针对所述选定像素的所有邻居，累加来自四领域的两个相邻像素之间的视差的缩放触发函数。
在所公开方法的示例性实施方式中，通过累加每一像素的所有邻居的视差的缩放触发函数来获得所述缩放平滑项。
在所公开方法的示例性实施方式中，所述聚合多个方向上的数据项包括获得预定数目的方向上的方向能量函数。
在所公开方法的示例性实施方式中，所述聚合多个方向上的数据项包括获得四个方向或八个方向上的方向能量函数。
在所公开方法的示例性实施方式中，所述聚合多个方向上的数据项包括：通过求取对应平滑项与一选定方向上的动态规划的和来获得该选定方向上的方向能量函数。
在所公开方法的示例性实施方式中，所述求取对应缩放平滑项与所述选定方向上的动态规划的和包括：用基于一个像素的邻居在所述选定方向上的所述能量函数的递归来表示该选定方向上的动态规划。
在所公开方法的示例性实施方式中，所述选定方向包括水平方向。
在所公开方法的示例性实施方式中，聚合所述水平方向上的数据项包括：通过基于一个像素的邻居在该水平方向上的方向能量函数的递归来计算能量。
所公开方法的示例性实施方式还包括获得最佳深度。
在所公开方法的示例性实施方式中，所述获得最佳深度包括寻求使多个方向上能量的总和最小的视差值。
在所公开方法的示例性实施方式中，所述获得最佳深度包括基于一个方向上的方向能量函数来寻求所述视差值。
所公开方法的示例性实施方式还包括通过执行以下各项中的至少一项来降低噪声：在置所述视差为-1时，匹配来自所述第一成像设备的场景图像和来自所述第二成像设备的场景图像，以及识别所述多个场景图像各自的独特性。
所公开方法的示例性实施方式还包括基于至少选自包括以下各项的组的因素来补偿误差：两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及感兴趣的物体与所述第一成像设备和第二成像设备之间的深度。
所公开方法的示例性实施方式还包括通过使用非局部优化方程来优化所述深度图。
所公开方法的示例性实施方式还包括通过使用递归滤波来获得所述非局部优化方程的Jacobi迭代。
根据本文公开的另一方面，阐述了一种用于获得场景的深度图的装置，包括：
成像***，其用于捕捉多个场景图像；以及
深度组件，其用于基于从所述多个场景图像计算得到的视差来获得深度图，
其中，所述深度组件被配置用于优化全局能量函数，所述全局能量函数通过以下方式得以优化：
聚合多个方向上的数据项以获得所述多个方向中每个方向的能量函数；以及
累加所述多个方向上的能量函数。
在所公开装置的示例性实施方式中，所述成像***包括第一成像设备和第二成像设备。
在所公开装置的示例性实施方式中，所述全局能量函数被定义为视差能量函数与缩放平滑项的总和。
在所公开装置的示例性实施方式中，所述优化全局能量函数包括优化所述缩放平滑项，所述缩放平滑项通过以下方式得以优化：聚合多个方向上的数据项以获得所述多个方向中每个方向的方向能量函数；以及累加所述多个方向上的方向能量函数。
在所公开装置的示例性实施方式中，所述视差能量函数包括 Birchfield-Tomasi数据项。
在所公开装置的示例性实施方式中，基于由所述第一成像设备捕捉到的所述场景的第一图像与由所述第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi数据项。
在所公开装置的示例性实施方式中，所述缩放平滑项采用视差的差别的能量函数。
在所公开装置的示例性实施方式中，针对具有坐标(x，y)的选定像素的所有邻居，所述缩放平滑项是两个相邻像素之间的视差的缩放触发函数的总和。
在所公开装置的示例性实施方式中，所述邻居是来自四领域的像素。
在所公开装置的示例性实施方式中，基于每一像素的所有邻居的视差的缩放触发函数来定义所述缩放平滑项。
在所公开装置的示例性实施方式中，所述多个方向包括预定数目的方向。
在所公开装置的示例性实施方式中，所述预定数目的方向包括四个方向或八个方向。
在所公开装置的示例性实施方式中，一个方向上的方向能量函数基于该方向上的动态规划获得。
在所公开装置的示例性实施方式中，一个方向上的所述能量函数通过求取对应平滑项与该方向上的动态规划的和来获得。
在所公开装置的示例性实施方式中，所述方向上的动态规划是基于一个像素的邻居在该方向上的方向能量函数的递归。
在所公开装置的示例性实施方式中，所述一个方向包括水平方向。
在所公开装置的示例性实施方式中，水平方向上的方向能量函数是通过基于一个像素的邻居在该水平方向上的所述方向能量函数的递归来获得。
在所公开装置的示例性实施方式中，所述深度组件还被配置用于通过寻求使多个方向上能量的总和最小的视差值来获得最佳深度。
在所公开装置的示例性实施方式中，所述深度组件还被配置用于基于一个方向上的方向能量函数来获得最佳深度。
在所公开装置的示例性实施方式中，所述深度组件还被配置用于通过在置所述视差为-1时匹配所述多个图像以及/或者识别所述多个图像各自的独特性来降低噪声。
在所公开装置的示例性实施方式中，所述深度组件被配置用于基于至少选自包括以下各项的组的因素来补偿误差：两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及感兴趣的物体与所述第一成像设备和第二成像设备之间的深度。
在所公开装置的示例性实施方式中，深度组件还被配置用于通过使用非布局优化方程来优化所述深度图。
在所公开装置的示例性实施方式中，所述深度组件被配置用于通过递归滤波来获得所述非局部优化方程的Jacobi迭代。
附图说明
图1是图示了焦距调节装置以及具有第一成像设备和第二成像设备的成像机构的实施方式的示例性顶层框图。
图2和图3示出了由图1中的第一成像设备和第二成像设备获得的场景的两个图像的示例。
图4是示出了第一成像设备和第二成像设备的实施方式的示例性框图。
图5是示出了图1中的第一成像设备和第二成像设备的备选实施方式的零件图，其中所述第一成像设备和所述第二成像设备安装在无人飞行器(UAV) 上。
图6示意性图示了经由三角测量法来计算感兴趣的物体与图1中的第一成像设备和第二成像设备之间的距离的过程。
图7是图示了用于调节焦距的***的实施方式的示例性顶层框图，其中所述***包括距离组件。
图8是由图1中的焦距调节装置获得的示例性深度图。
图9是图示了用于焦距调节的方法的实施方式的示例性顶层流程图。
图10是图示了确定成像机构与感兴趣的物体之间的距离的过程的示例性流程图。
图11-图13是用于示出图1中的焦距调节装置的误差以及对该误差的补偿效果的示例性示意图。
应当注意，附图不是按比例绘制的，并且在全部附图中出于说明性目的，具有类似结构或功能的元件通常由相似的参考数字表示。还应当注意，附图仅旨在帮助描述优选实施方式。附图未图示所描述的实施方式的每个方面，并且不限制本公开内容的范围。
具体实施方式
因为目前可用的焦距调节***不能够提供用于成像***的自动焦距调节，所以本文提供了焦距调节装置和方法，用于自动调节焦距并且充当广泛应用的基础，所述广泛应用诸如为在无人飞行器(UAV)和其他移动平台上的应用。根据本文公开的一个实施方式，这种结果可以通过如图1中所图示的焦距调节装置110来实现。
图1描绘了焦距调节装置110的说明性实施方式。如图1中所示，焦距调节装置110可以与成像机构130相耦合。成像机构130可以生成场景100 的一个或多个图像，感兴趣的物体120定位于该场景100中。
图2和图3中示出了通过成像机构130获得的场景100的图像199的示例。场景100的所生成的图像可以由焦距调节装置110处理以生成用于调节成像机构130的焦距的信号。成像机构130的焦距可以按任何合适的方式调节，优选地实时调节。
虽然参考图1所示出与描述，成像机构130仅出于说明性目的地包括两个成像设备131、132，但该成像机构130可以包括任何数目的成像设备133。例如，成像设备130可以具有2、3、4、5、6个或甚至更多数目的成像设备。对于具有不止两个成像设备的成像机构130，在此图示的自动焦距调节可以适用于任何成像设备对。
图1中的成像设备131、132可以按任何期望的方式布置在成像机构130 中。成像设备131、132的具体布置可以取决于相关的成像应用。在一些实施方式中，例如，成像设备131、132可以并排定位，以使得成像设备131、 132具有平行的光轴。在其他实施方式中，可以定位成像设备131、132以使得该成像设备131、132的光轴不平行。
成像设备131、132中的每一个可以感测光并且将感测到的光转换成电子信号，该电子信号最终可以呈现为图像。适合与焦距调节装置110一起使用的示例性成像设备131、132包括但不限于可商购的相机(彩色相机和/或单色相机)和便携式摄像机。合适的成像设备131、132可以包括模拟成像设备(例如，摄像管)和/或数字成像设备(例如，电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)成像设备，以及它们的混合/变体)。例如，数字成像设备可以包括光敏元件的二维阵列(未示出)，每一光敏元件可以捕捉一个像素的图像信息。成像设备131、 132中的任一个可以例如是光电传感器、热传感器/红外传感器、彩色传感器或单色传感器、多光谱成像传感嚣、分光光度计、分光仪、温度计以及/或者照度计。此外，成像设备131、132中的任一个可以例如是红-绿-蓝(RGB) 相机、超声波相机、激光相机、红外相机、超声相机或渡越时间相机。然而，成像设备131、132可替代地具有相同类型。类似地，在不限制本公开内容的范围的情况下，成像设备131、132的焦距可以是相同的和/或不同的。
图4中示出了示例性第一成像设备131和第二成像设备132。第一成像设备131与第二成像设备132之间的距离D可以是可根据成像设备131、132 与感兴趣的物体120之间的物体距离Z(在图6中示出)而调节的。在实施方式中，第一成像设备131和第二成像设备132可以安装在便携式云台 (“cradle head”)150上。一旦确定所述感兴趣的物体120，则第一成像设备 131和第二成像设备132的焦距可以基于物体距离Z进行自动调节。通过调节成像设备131、132的焦距，感兴趣的物体120可以变得清晰可见。
在一些实施方式中，焦距调节装置110(在图1中示出)可以在物理上位于与成像机构130(在图1中示出)相邻之处，在这种情况下，焦距调节装置110与成像机构130之间的数据可以在本地通信。本地通信的优点是可以减少传输延迟以促进实时的焦距调节、图像处理和参数校准。在其他实施方式中，焦距调节装置110可以位于远离成像机构130之处。由于例如重量限制或者其他与焦距调节装置110的操作环境有关的原因，远程处理可以是优选的。作为非限制性示例，如果成像机构130安装在诸如无人飞行器 (UAV)(在图5中示出)等移动平台上，则可能期望将成像数据传送至远程终端(未示出)用于集中式处理，所述远程终端诸如为地面终端或基站。例如在多个无人飞行器正在以协同方式对给定的感兴趣的物体120进行成像的情况下可能期望集中式处理。图4图示了焦距调节装置110的示例性实施方式，成像设备131、132安装在无人飞行器400上。
虽然如图5中所示出和描述，移动平台仅出于示例性目的地为无人飞行器400，但移动平台可以是任何种类的这样的平台，包括但不限于任何自稳定移动平台。
可以使用各种通信方法用于成像机构130与焦距调节装置110之间的远程通信。合适的通信方法例如包括无线电、无线保真(Wi-Fi)、蜂窝、卫星和广播。示例性无线通信技术包括但不限于全球移动通信***(GSM)、通用分组无线业务(GPRS)、码分多址(CDMA)、宽带CDMA(W-CDMA)、 CDMA2000、IMT单载波、增强型数据速率GSM演进(EDGE)、长期演进 (LTE)、高级LTE、时分LTE(TD-LTE)、高性能无线局域网(HiperLAN)、高性能无线广域网(HiperWAN)、高性能无线城域网(HiperMAN)、本地多点分配业务(LMDS)、全球微波互联接入(WiMAX)、ZigBee、蓝牙、快速正交频分复用(Flash-OFDM)、高容量空分多址(HC-SDMA)、iBurst、通用移动电信***(UMTS)、UMTS时分双工(UMTS-TDD)、增强型高速分组接入(HSPA+)、时分同步码分多址(TD-SCDMA)、演进数据最优化 (EV-DO)、数字增强无绳通信(DECT)等。
备选地和/或附加地，成像机构130可以至少部分地并入到焦距调节装置110中。因此，成像机构130可以有利地充当焦距调节装置110的组件。
如图1中所示，成像机构130可以与焦距调节装置110相接合。例如，成像机构130的成像设备131、132可以分别获取场景100的图像199(在图2和图3中示出)并且可以在本地和/或经由数据通信***(未示出)远程地将所获取的图像中继至焦距调节装置110。例如，焦距调节装置110可被配置用于使用所述两个图像经由立体视觉来重建感兴趣的物体120的三维描绘。因此，焦距调节装置110可以基于成像机构130与感兴趣的物体 120之间的物体距离Z来确定焦距调节是否将会是有利的以及/或者是否向成像机构130传送校准信号用于焦距调节。附加地和/或备选地，焦距调节装置110可有利地被配置用于自动校准一个或多个外部参数以用于立体成像。
现参考图6，由成像设备131、132获取的图像199可以包括图像199A 和199B。可以对比图像199A(左，在以下方程中表示为l)和图像199B(右，在以下方程中表示为r)以确定成像设备131、132与感兴趣的物体120之间的物体距离Z。可以使用三角测量的方法，用所述两个图像199A与199B 之间的双目视差d来确定物体距离Z。具体而言，可以按以下方程给出图像 199A(左)中像素i的坐标(Xi，Yi，Zi)：
Figure BDA0002388709470000151
Figure BDA0002388709470000152
Figure BDA0002388709470000153
其中cx和cy分别表示成像设备131、132的中心坐标，xi和yi表示图像199A (左)和199B(右)中之一或者全部二者中的感兴趣的物体120的坐标，T是基线(换言之，是成像设备131、132的中心坐标之间的距离)，而f是成像设备131、132的校正后的焦距，i是可以用于确定物体距离Z的多个感兴趣的物体120和/或一个感兴趣的物体120的多个选定点的索引，以及d是图像199A (l)与199B(r)之间的双目视差，这里表示为：
Figure BDA0002388709470000154
焦距调节装置110可以包括执行图像采集、焦距调节、校准以及本文描述的任何其他功能和操作所需的任何处理硬件和/或软件。在没有限制的情况下，焦距调节装置110可以包括一个或多个通用微处理器(例如，单核处理器或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。在某些实施方式中，焦距调节装置110可以包括图像处理引擎或媒体处理单元，所述图像处理引擎或媒体处理单元可以包括用于提高图像捕捉、滤波和处理操作的速度和效率的专业硬件。这样的操作例如包括拜耳(Bayer)变换、去马赛克操作、降噪操作和/或图像锐化/柔化操作。
在某些实施方式中，焦距调节装置110可以包括用于执行焦距调节和参数校准的专业硬件和/或软件。例如，可以提供专业硬件和/或软件用于包括但不限于以下各项的功能：使用二维图像经由立体视觉来重建感兴趣的物体120的三维描绘，基于成像机构130与感兴趣的物体120之间的距离来确定是否需要焦距调节，确定最优焦距，向焦距调节装置110的任何组件传送控制信号用于焦距调节。
在一些实施方式中，焦距调节装置110可以根据需要包括一个或多个附加硬件组件(未示出)。示例性附加硬件组件包括但不限于存储器(例如，随机存取存储器(RAM)、静态RAM、动态RAM、只读存储器(ROM)、可编程ROM、可擦可编程ROM、电可擦可编程ROM、闪速存储器、安全数字(SD)卡等) 以及/或者一个或多个输入/输出接口(例如，通用串行总线(USB)、数字视频接口(DVI)、显示端口、串行ATA(SATA)、IEEE 1394接口(亦称为火线)、串口、视频图形阵列(VGA)、高级视频图形阵列(SVAG)、小型计算机***接口(SCSI)、高清晰度多媒体接口(HDMI)、音频端口和/或专有的输入/输出接口)。在没有限制的情况下，一个或多个输入/输出设备(例如，按钮、键盘、小键盘、追踪球、显示器和监控器)也可以根据需要包括在焦距调节装置110 中。
在一些实施方式中，图像采集、焦距调节、校准以及本文描述的用于焦距调节装置110的任何其他功能和操作可以通过运行在常规处理器或通用计算机 (诸如个人计算机)上的软件来实现。所述软件可以根据需要与上文讨论的合适硬件一起操作。例如，所述软件可以采用任何形式的源代码、目标代码、可执行代码和机器可读码。源代码能够以任何形式的高级编程语言来编写，所述高级编程语言包括但不限于C++、Java、Pascal、Visual B等。
现转到图7，示出了图示图1中的焦距调节装置110的备选实施方式的示例性框图。图7中的焦距调节装置110包括距离组件701，该距离组件701用于确定物体距离Z，即场景100中的感兴趣的物体120与成像机构130之间的距离。焦距调节装置110还包括焦距组件702，该焦距组件702被配置用于根据由距离组件701确定的距离来自动调节成像机构130的焦距。
如从图7所见，距离组件701被示出为包括：深度估计机构7011，其用于获得场景100的深度图；物体确定机构7012，其用于确定场景100中的感兴趣的物体120；以及计算机构7013，其用于根据来自深度估计机构7011的场景 100的深度图来计算感兴趣的物体120的距离。
在本公开内容的实施方式中，深度估计机构7011从第一成像设备131接收场景100的第一图像199A(在图2中示出)而从第二成像设备132接收场景 100的第二图像199B(在图3中示出)。基于如图2和图3中所示的场景100 的第一图像199A和第二图像199B，深度估计机构7011获得它们的视差，基于该视差获取深度图800(在图8中示出)。下文将会参考图8详细描述用于获得深度图的深度估计机构7011的具体操作。
图8中描绘了示例性深度图800。深度图800中的每一像素(未示出)与一个值相关联，所述值表示与场景100(在图1中示出)中的像素对应的点与成像机构130(在图1中示出)之间的距离。例如，在某些实施方式中，利用亮度值来表示场景中的点(在感兴趣的物体120上或不在感兴趣的物体120上) 与对该场景进行成像的成像设备之间的距离。备选地和/或附加地，可以向像素分配不同的色值(color value)以表示距离。在亮度值示例中，如从图8所见，较亮的区域810指示场景100中距离成像机构130(在图1中示出)较近的点，较暗的区域820指示场景100中距离成像机构130较远的点，而灰色区域830 指示场景100中处于近距离与远距离之间的点。如果感兴趣的物体120在场景 100中移动，则该感兴趣的物体120的像素亮度可以基于该感兴趣的物体120 与成像机构130之间的距离而变化。如图8中所示，当感兴趣的物体120与成像机构130之间的距离减小时，该感兴趣的物体120的选定像素可以变得更亮，而当所述距离增大时，所述选定像素可以变得更暗。
返回至图7，物体确定机构7012可以接收外部指令，以通过识别在场景100 的第一图像和第二图像中的任一个中选定的感兴趣的物体120来确定该感兴趣的物体120(在图1中示出)。外部指令可以例如由焦距调节装置110的操作者给定。选择感兴趣的物体120可以通过在场景100的第一图像和第二图像中的任一个中框出该感兴趣的物体120来完成。场景100的第一图像和第二图像可以在显示屏(未示出)上和/或在显示屏(未示出)上向焦距调节装置110的操作者显示以供选择。备选地或附加地，选择感兴趣的物体120可以通过在一个或多个显示屏上点击显示在该一个或多个显示屏上的场景100的第一图像和第二图像中的任一个中的感兴趣的物体120来执行。物体确定机构7012可以感测框出操作和/或点击操作以识别感兴趣的物体120正在被选定。
在另一实施方式中，物体确定机构7012能够从例如焦距调节装置110的操作者接收外部口头指令。可选地，口头指令可以是感兴趣的物体120的预设名称。
备选地和/或附加地，可以使物体确定机构7012能够基于在至少一个预设规则下作出的判断来自动确定感兴趣的物体120。可以根据需要设定任何用于判断的规则。例如，预先设定的规则可以包括：如果感兴趣的物体120正在接近第一成像设备131和第二成像设备132以及/或者如果感兴趣的物体120在距第一成像设备和第二成像设备131、132的一定距离以内，则确定该感兴趣的物体120。
基于来自深度估计机构7011的深度图和来自物体确定机构7012的关于感兴趣的物体120的信息，使得计算机构7013能够计算成像机构130与感兴趣的物体120之间的距离。计算机构7013优选地实时计算所述距离。
基于所计算的距离，使得焦距组件702能够基于充当初始值的感兴趣的物体120的灰度信息，用跟踪学习检测方法来自动调节(优选地实时自动调节) 成像机构130的焦距。
如果用户想要使成像机构130聚焦于特定物体上，例如，物体确定机构7012 则可以使得用户能够在示出场景100的图像的显示器上画方框以框出要跟踪的感兴趣的物体120。所述方框可以是任何合适的尺寸、大小或形状，包括但不限于矩形、正方形或圆形或者甚至不规则形状。可选地，使得用户能够点击一个或多个显示屏以确认选择。通过使用由深度估计机构7011获得的深度图(在图8中示出)，使得计算机构7013能够计算正在被用户选定的物体的距离，并且焦距组件702能够根据物体距离Z(在图6中示出)来自动调节焦距调节装置110的焦距，所述距离优选地实时获取。
现参考图9，图示了用于焦距调节的方法900的一个实施方式。在901中，确定成像机构130(在图1中示出)与感兴趣的物体120(在图1中示出)之间的物体距离。物体距离Z(在图6中示出)可以根据需要通过使用若干种不同方法中的任何方法来确定。在一些实施方式中，物体距离Z可以通过使用成像机构130中的多个成像设备133(在图1中示出)经由立体视觉来确定。例如，成像机构130的两个成像设备131、132(在图1中示出)可以分别获取感兴趣的物体120的图像(在图2和图3中示出)，并且可以分析所获取的图像的重叠部分以评估感兴趣的物体120的深度。备选地和/或附加地，物体距离可以使用一个或多个非立体视觉的方法(诸如通过使用激光和/或使用超声)来获取。在 902中，根据步骤901中确定的物体距离Z来自动调节成像机构130的焦距。
在图10中图示了确定成像机构130与感兴趣的物体120之间的距离的详细过程901。在9011中，获得场景100的深度图。任何获得深度图的过程均可在这里适用而没有限制。下文详细图示了示例性过程。
在实施方式中，通过计算来自第一成像设备131与第二成像设备132的场景图像的视差来获得深度图。在获得深度图的领域中，通常在整个图像的子集上计算能量函数。在一个实施方式中，优化全局能量函数以获得视差全局能量。具体而言，可以通过求取视差能量函数与缩放平滑项的和来计算所述视差全局能量。
示例性优化可以通过以下方程来说明：
E(d)＝Ed(d)+pEs(s) (方程5)
其中d指示场景的第一图像与第二图像之间的视差，Ed(d)是指示视差能量函数的数据项而Es(d)指示平滑项。
数据项Ed(d)包括可以根据下列方程获得的Birchfield-Tomasi数据项：
Figure BDA0002388709470000191
其中，
Figure BDA0002388709470000192
Figure BDA0002388709470000193
Figure BDA0002388709470000194
Figure BDA0002388709470000195
其中，IL表示由第一成像设备131捕捉到的场景100的第一图像，而IR表示由第二成像设备132捕捉到的场景100的第二图像；IL(x)中的x表示第一图像中的像素的水平坐标而IL(x’)中的x’表示第二图像中的像素的水平坐标；(x，y) 表示场景100中的像素的坐标。
Birchfield-Tomasi数据项是图像采样/匹配中常用的数据项，将其引入，通过利用子像素的匹配精度解决了错误图像匹配的问题，所述子像素的匹配精度是对图像采样不敏感的像素相异度度量。解释Birchfield-Tomasi数据项的IEEE Transactions onPattern Analysis and Machine Intelligence(1998)的内容通过引用而并入这里。当计算视差全局能量时，可以采用其他数据项作为方程5中的数据项。
平滑项Es(d)可以由视差的差别的能量函数表示，针对具有坐标(x，y)的像素的所有邻居，所述视差的差别的能量函数可以通过求取两个相邻像素之间的视差的缩放触发函数的和来获得。具体而言，平滑项Es(d)可以根据如下方程来获得：
Figure BDA0002388709470000202
其中，(x，y)表示第一图像的像素坐标而(x’，y’)表示第二图像的像素坐标；p2和p1是两个可调节的权重，并且通常p2≥p1，以及累加符号是针对(x，y)的所有邻居，其中通常使用四领域，T是触发函数，当括号中的条件为真时触发。
为了优化平滑项Es(d)，通过以下方式利用最快的动态规划：聚合多个方向上的数据项以获得所述方向中的每一个的方向能量函数并且累加所述方向上的方向能量函数以获得能量函数。在实施方式中，选择四个方向或八个方向以聚合数据项。在没有限制的情况下可以选择其他数目的方向，诸如三个、五个或十个方向。
在实施方式中，一个方向上的能量函数可以通过求取其对应的平滑项与该方向上的动态规划的和来获得。一个方向上的动态规划可以通过基于其邻居在该方向上的能量函数的递归来表示。例如，一个像素的邻居在水平方向上的能量函数表示为L(x-1，y，d)、L(x-1，y，d+1)、L(x-1，y，d-1)和L(x-1，y，d’)。具体而言，根据下列方程获得水平方向上的能量函数：
Figure RE-GDA0002491596940000202
Figure RE-GDA0002491596940000211
其中，在坐标(x，y，d)处接收到的能量定义为L(x，y，d)，其可以表示为基于邻居的能量L(x-1，y，d)、L(x-1，y，d+1)、L(x-1，y，d-1)和L(x-1，y，d’)的递归。
此外，通过寻求使多个方向上能量的总和最小的视差值来获得最佳深度。在实施方式中，根据下列方程获得最佳深度：
d*＝argmind∑L(x，y，d) (方程13)
其中，d*指示最佳深度，L(x，y，d)指示一个方向上的能量函数。
作为一个实施方式，通过在置视差为-1时匹配第一场景图像和第二场景图像以及/或者识别第一场景图像和第二场景图像各自的独特性来降低噪声。
本公开内容还优化了通过深度估计机构7011获得的深度图。如上文所述，通过补偿深度估计机构7011的误差来优化全局能量函数。具体而言，所述误差可以通过以下方程来补偿：
Figure BDA0002388709470000211
Figure RE-GDA0002491596940000213
通过结合方程14和方程15，我们得到：
Figure BDA0002388709470000213
另一方面，我们有：
Figure BDA0002388709470000214
Figure BDA0002388709470000215
通过结合方程17和方程18，我们得到：
Figure BDA0002388709470000216
其中
f＝焦距(mm)
D＝深度(物体与成像平面之间的深度，mm)
a＝基线(两个成像设备的中线之间的距离，mm)
b＝两个相邻像素的实际距离(mm)
d＝视差(按像素计量)
因此，深度估计误差在[-x，x]的范围内，而估计的深度在[D-x，D+x]的范围中。上述误差分析和补偿基于以下假设。例如，误差估计基于假设相机校准参数完全正确并且视差图的平均误差为1个像素的理论值。实际校准可能引入误差，并且深度估计误差可能超过1个像素。因此，上述误差数据仅反映趋势。作为参考：通过使用立体匹配过程排名第一的算法——Middelbury，四个测试图中的深度估计的平均误差为1.29+0.14+6.47+5.70/4＝3.4(像素)。即使在无噪声、无光束变换且校准参数正确的情况下，而当前最佳过程针对所有点所呈现的平均误差为3.4个像素。
图11-图13中描绘了示出焦距调节装置110的误差和对该误差的补偿效果的几张示意图。
图11图示了当仅有测量深度D变化时，焦距调节装置110的估计误差与场景100的测量深度D之间的示例性关系。换言之，当测量深度D改变时，基线a，两个相邻像素的距离b以及方程16、方程17中的焦距f保持恒定。如图 11中所示，横轴表示以mm为单位的测量深度D，而纵轴表示焦距调节装置110 的估计误差。如图11所示，当测量深度D变化时，焦距调节装置110的估计误差也关于测量深度D以非线性的关系改变。例如，当测量深度D为3000mm时，根据图11，估计误差约为5mm，但当测量深度D增加至6000mm时，对应的估计误差增大至20mm以上。
虽然如图11中所示出和描述，估计误差与测量深度D的关系仅出于示例性目的地为非线性关系，但所述关系可以是任何线性关系和/或非线性关系。
图12图示了当仅有基线a变化时，焦距调节装置110的估计误差与基线之间的示例性关系。在这里当基线a改变时，测量深度D，两个相邻像素的距离 b以及方程16、方程17中的焦距f保持恒定。在图12中，横轴表示以mm为单位的基线a，而纵轴表示以mm为单位的估计误差。如图12所示，当基线a 增大时，估计误差可以根据该估计误差与基线a之间的非线性关系而减小。例如，当基线a为500mm时，根据图12，估计误差可以高达35mm，但当基线a 增加至2000mm时，估计误差减小至约8mm。
虽然如图12中所示出和描述，估计误差与基线的关系仅出于示例性目的地为非线性关系，但所述关系可以是任何线性关系和/或非线性关系。
图13是用于示出图像表示符号与包含在方程14-方程19中的变量之间的典型对应关系的说明性示例。换言之，方程14-方程19可以从图13中图示的表示关系中推导得到。在这里，用两个相机Cam 1和Cam 2表示成像设备131、 132(在图1中示出)，所述两个相机具有基线“a”和焦距“f”。
如图13中所示，因为AB平行于CD，所以三角形ABO2与三角形CDO2相似。因此，我们可以得到方程14：
Figure BDA0002388709470000231
另外，因为CD平行于O1O2，所以三角形CDE与三角形O1O2E相似。因此，我们可以得到方程15：
Figure BDA0002388709470000232
通过结合方程14和方程15，我们可以得出方程16：
Figure BDA0002388709470000233
出于相同的原因，方程19可以从三角形AHO2的相似关系和FGO2与 O1O2C的相似关系的组合中推导得到。如图13中所示，在方程16和方程19 中，D是场景100与成像平面之间的实际深度，a是两个成像设备131、132之间的基线，b是两个相邻像素的距离，而f是成像设备131、132的焦距。
虽然如图13中所示出和描述，估计误差-x和+x仅出于示例性目的地为相同绝对值，但是作为方程16和方程19的结果，所述估计误差-x和+x可以是不同的绝对值，在这种情况下，b在每一方程中可以具有不同的值。
基于图11和图12中示出的估计误差的特性，深度图还可以通过应用非局部优化方程而优化，所述非局部优化方程的Jacobi迭代可以通过递归滤波获得。具体而言，根据以下方程来定义所述非局部优化方程：
E(d)＝∑|d(x，y)-d*(x，y)|2+∑exp(|IL(x，y)-IL(x′，y′)|+|x′-x|
+|y′-y|)|d(x；y)-d(x′y′)| (方程20)
其中，d*(x，少)指示最优深度图而d(x，y)是估计的深度图；I(x，y)表示图像强度；x，y是像素在图像坐标中的坐标；x′，y′是相同图像中x，y的相邻像素的坐标。
类似于由物体确定机构7012和计算机构7013执行的操作，在图10的步骤 9012中，确定感兴趣的物体120，并且在图10的步骤9013中计算该感兴趣的物体120与成像机构130之间的距离，该距离转而充当用于自动调节成像机构 130的焦距的基础。
根据本公开内容的任何实施方式，可以获得一种立体成像***，其被配置用于实行前述操作以执行自动焦距调节。
此外，根据本公开内容的实施方式，可以获得一种计算机程序产品，其包括用于根据前述操作来自动调节具有至少两个成像设备的立体成像***的焦距的指令。优选地，根据本公开内容用于自动调节焦距的方法可以通过普通计算设备(诸如个人计算机和/或微型计算机)来实现。
所公开的实施方式易于具有各种修改和替代形式，并且其具体例子已经通过示例的方式在附图中示出并在本文中详细描述。然而应当理解，所公开的实施方式并不限于所公开的特定形式或方法，而反之，所公开的实施方式覆盖所有修改、等效项和替代。

Claims (45)

1.一种用于获得场景的深度图的方法，包括：
捕捉所述场景的多个场景图像；
计算所述多个场景图像的视差；以及
基于所述视差而获得所述深度图；
其中，计算所述视差包括优化全局能量函数，所述全局能量函数通过以下方式得以优化：
聚合多个方向上的数据项以获得所述多个方向中每个方向的方向能量函数；以及
累加所述多个方向上的方向能量函数。
2.根据权利要求1所述的方法，其中，所述捕捉所述场景的多个场景图像包括经由第一成像设备和第二成像设备捕捉所述多个场景图像。
3.据权利要求1所述的方法，其中，所述优化全局能量函数包括求取视差能量函数与缩放平滑项的和。
4.根据权利要求3所述的方法，其中，所述优化全局能量函数包括优化所述缩放平滑项，所述缩放平滑项通过以下方式得以优化：
聚合多个方向上的数据项以获得所述多个方向中每个方向的方向能量函数；以及
累加所述多个方向上的方向能量函数。
5.根据权利要求3所述的方法，其中，所述视差能量函数由Birchfield-Tomasi项表示。
6.根据权利要求5所述的方法，其中，通过累加由第一成像设备捕捉到的所述场景的第一图像与由第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi项。
7.根据权利要求3-6中任一项所述的方法，还包括：针对选定像素的所有邻居，累加两个相邻像素到所述选定像素之间的视差的缩放触发函数以获得所述缩放平滑项。
8.根据权利要求7所述的方法，其中，所述累加两个相邻像素到所述选定像素之间的视差的缩放触发函数包括：针对所述选定像素的所有邻居，累加来自四领域的两个相邻像素之间的视差的缩放触发函数。
9.根据权利要求3-6中任一项所述的方法，其中，通过累加每一像素的所有邻居的视差的缩放触发函数来获得所述缩放平滑项。
10.根据权利要求1所述的方法，其中，所述聚合多个方向上的数据项包括获得预定数目的方向上的方向能量函数。
11.根据权利要求1所述的方法，其中，所述聚合多个方向上的数据项包括获得四个方向或八个方向上的方向能量函数。
12.根据权利要求1、10、11中任一项所述的方法，其中，所述聚合多个方向上的数据项包括：通过求取对应平滑项与一选定方向上动态规划的和来获得该选定方向上的方向能量函数。
13.根据权利要求12所述的方法，其中，所述求取对应平滑项与一选定方向上的动态规划的和包括：用基于一个像素的邻居在所述选定方向上的方向能量函数的递归来表示该选定方向上的动态规划。
14.根据权利要求13所述的方法，其中，所述选定方向包括水平方向。
15.根据权利要求14所述的方法，其中，聚合所述水平方向上的数据项包括：通过基于一个像素的邻居在该水平方向上的方向能量函数的递归来计算能量。
16.根据权利要求1所述的方法，还包括获得最佳深度。
17.根据权利要求16所述的方法，其中，所述获得最佳深度包括寻求使所述多个方向上能量的总和最小的视差值。
18.根据权利要求16所述的方法，其中，所述获得最佳深度包括基于一个方向上的方向能量函数来寻求所述视差值。
19.根据权利要求2所述的方法，还包括通过执行以下各项中的至少一项来降低噪声：在置所述视差为-1时匹配来自所述第一成像设备的场景图像和来自所述第二成像设备的场景图像，以及识别所述多个场景图像各自的独特性。
20.根据权利要求2所述的方法，还包括基于至少选自包括以下各项的组的因素来补偿误差：两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及感兴趣的物体与所述第一成像设备和所述第二成像设备之间的深度。
21.根据权利要求1中所述的方法，还包括通过使用非局部优化方程来优化所述深度图。
22.根据权利要求21所述的方法，还包括通过使用递归滤波来获得所述非局部优化方程的Jacobi迭代。
23.一种用于获得场景的深度图的装置，包括：
成像***，其用于捕捉多个场景图像；以及
深度组件，其用于基于从所述多个场景图像计算得到的视差来获得所述深度图，
其中，所述深度组件被配置用于优化全局能量函数，所述全局能量函数通过以下方式得以优化：
聚合多个方向上的数据项以获得所述多个方向中每个方向的方向能量函数；以及
累加所述多个方向上的方向能量函数。
24.根据权利要求23所述的装置，其中，所述成像***包括第一成像设备和第二成像设备。
25.根据权利要求24所述的装置，其中，所述全局能量函数被定义为视差能量函数与缩放平滑项的总和。
26.根据权利要求25所述的装置，其中，所述优化全局能量函数包括优化所述缩放平滑项，所述缩放平滑项通过以下方式得以优化：
聚合多个方向上的数据项以获得所述多个方向中每个方向的方向能量函数；以及
累加所述多个方向上的方向能量函数。
27.根据权利要求25所述的装置，其中，所述视差能量函数包括Birchfield-Tomasi数据项。
28.根据权利要求27所述的装置，其中，基于由所述第一成像设备捕捉到的所述场景的第一图像与由所述第二成像设备捕捉到的所述场景的第二图像中像素坐标的最小视差来定义所述Birchfield-Tomasi数据项。
29.根据权利要求25-28中任一项所述的装置，其中，所述缩放平滑项采用视差的差别的能量函数。
30.根据权利要求25-28中任一项所述的装置，其中，针对具有坐标(x，y)的选定像素的所有邻居，所述缩放平滑项是两个相邻像素之间的视差的缩放触发函数的总和。
31.根据权利要求30所述的装置，其中，所述邻居是来自四领域的像素。
32.根据权利要求25所述的装置，其中，基于每一像素的所有邻居的视差的缩放触发函数来定义所述缩放平滑项。
33.根据权利要求23所述的装置，其中，所述多个方向包括预定数目的方向。
34.根据权利要求33所述的装置，其中，所述预定数目的方向包括四个方向或八个方向。
35.根据权利要求23所述的装置，其中，一个方向上的方向能量函数基于该方向上的动态规划获得。
36.根据权利要求35所述的装置，其中，一个方向上的所述方向能量函数通过求取对应平滑项与该方向上动态规划的和来获得。
37.根据权利要求36所述的装置，其中，所述方向上动态规划是基于一个像素的邻居在该方向上的方向能量函数的递归。
38.根据权利要求37所述的装置，其中，所述一个方向包括水平方向。
39.根据权利要求38所述的装置，其中，所述水平方向上的所述方向能量函数通过基于一个像素的邻居在该水平方向上的所述方向能量函数的递归来获得。
40.根据权利要求23所述的装置，其中，所述深度组件还被配置用于通过寻求使所述多个方向上能量的总和最小的视差值来获得最佳深度。
41.根据权利要求23所述的装置，其中，所述深度组件还被配置用于基于一个方向上的方向能量函数来获得最佳深度。
42.根据权利要求24所述的装置，其中，所述深度组件还被配置用于通过在置所述视差为-1时匹配所述多个图像以及/或者识别所述多个图像各自的独特性来降低噪声。
43.根据权利要求24所述的装置，其中，所述深度组件被配置用于基于至少选自包括以下各项的组的因素来补偿误差：两个成像设备的中线之间的距离、两个相邻像素的实际距离、所述两个成像设备的焦距以及感兴趣的物体与所述第一成像设备和所述第二成像设备之间的深度。
44.根据权利要求24所述的装置，其中，所述深度组件还被配置用于通过使用非局部优化方程来优化所述深度图。
45.根据权利要求44所述的装置，其中，所述深度组件被配置用于通过递归滤波来获得所述非局部优化方程的Jacobi迭代。
CN202010110338.8A 2015-03-16 2015-03-16 用于焦距调节和深度图确定的装置和方法 Pending CN111371986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010110338.8A CN111371986A (zh) 2015-03-16 2015-03-16 用于焦距调节和深度图确定的装置和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2015/074336 WO2016145602A1 (en) 2015-03-16 2015-03-16 Apparatus and method for focal length adjustment and depth map determination
CN202010110338.8A CN111371986A (zh) 2015-03-16 2015-03-16 用于焦距调节和深度图确定的装置和方法
CN201580077679.7A CN107409205B (zh) 2015-03-16 2015-03-16 用于焦距调节和深度图确定的装置和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580077679.7A Division CN107409205B (zh) 2015-03-16 2015-03-16 用于焦距调节和深度图确定的装置和方法

Publications (1)

Publication Number Publication Date
CN111371986A true CN111371986A (zh) 2020-07-03

Family

ID=56918392

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010110338.8A Pending CN111371986A (zh) 2015-03-16 2015-03-16 用于焦距调节和深度图确定的装置和方法
CN201580077679.7A Expired - Fee Related CN107409205B (zh) 2015-03-16 2015-03-16 用于焦距调节和深度图确定的装置和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580077679.7A Expired - Fee Related CN107409205B (zh) 2015-03-16 2015-03-16 用于焦距调节和深度图确定的装置和方法

Country Status (4)

Country Link
US (2) US10574970B2 (zh)
EP (1) EP3108653A1 (zh)
CN (2) CN111371986A (zh)
WO (1) WO2016145602A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012535A1 (en) * 2020-07-14 2022-01-20 International Business Machines Corporation Guided multi-spectral inspection

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710091B (zh) 2015-06-26 2021-07-16 深圳市大疆创新科技有限公司 用于选择移动平台的操作模式的***和方法
WO2019113966A1 (zh) * 2017-12-15 2019-06-20 深圳市道通智能航空技术有限公司 一种避障方法、装置和无人机
CN108989687A (zh) * 2018-09-07 2018-12-11 北京小米移动软件有限公司 摄像头对焦方法及装置
CN109856015B (zh) * 2018-11-26 2021-08-17 深圳辉煌耀强科技有限公司 一种癌细胞自动诊断的快速处理方法及其***
CN109451241B (zh) * 2018-12-10 2021-06-18 无锡祥生医疗科技股份有限公司 超声图像的焦点自动调节方法及装置
JP6798072B2 (ja) * 2019-04-24 2020-12-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、移動体、制御方法、及びプログラム
CN112995516B (zh) * 2019-05-30 2022-07-29 深圳市道通智能航空技术股份有限公司 一种对焦方法、装置、航拍相机及无人飞行器
US10895637B1 (en) * 2019-07-17 2021-01-19 BGA Technology LLC Systems and methods for mapping manmade objects buried in subterranean surfaces using an unmanned aerial vehicle integrated with radar sensor equipment
CN112154650A (zh) * 2019-08-13 2020-12-29 深圳市大疆创新科技有限公司 一种拍摄装置的对焦控制方法、装置及无人飞行器
CN111579082B (zh) * 2020-05-09 2021-07-30 上海交通大学 红外热成像测温***的误差自动补偿方法
CN116507970A (zh) * 2021-01-07 2023-07-28 深圳市大疆创新科技有限公司 跟焦方法、装置、拍摄设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101243458A (zh) * 2005-08-15 2008-08-13 索尼电子有限公司 创建深度图的图像获取***
CN101840146A (zh) * 2010-04-20 2010-09-22 夏佳梁 自动矫正视差的立体图像拍摄方法及装置
TW201439659A (zh) * 2013-04-11 2014-10-16 Altek Semiconductor Corp 自動對焦方法及自動對焦裝置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148270A (en) 1996-10-30 2000-11-14 Yamatake-Honeywell Co., Ltd. Fast target distance measuring device and high-speed moving image measuring device
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
WO2007050776A2 (en) 2005-10-25 2007-05-03 University Of Kentucky Research Foundation System and method for 3d imaging using structured light illumination
EP2293588A1 (en) 2009-08-31 2011-03-09 Robert Bosch GmbH Method for using a stereovision camera arrangement
EP2336027A1 (en) 2009-12-18 2011-06-22 EADS Construcciones Aeronauticas, S.A. Method and system for enhanced vision in aerial refuelling operations
CN102117576A (zh) 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 电子相框
CN201803697U (zh) 2010-06-03 2011-04-20 蒋安邦 双摄像头对移动光源目标在三维空间位置确定的传感器
KR101012691B1 (ko) 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
JP5870510B2 (ja) 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
KR20120070129A (ko) 2010-12-21 2012-06-29 한국전자통신연구원 입체 영상 촬영 장치 및 그 방법
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
CN102592117B (zh) 2011-12-30 2014-04-16 杭州士兰微电子股份有限公司 三维物体识别方法及***
CN102609936A (zh) * 2012-01-10 2012-07-25 四川长虹电器股份有限公司 基于置信度传播的图像立体匹配方法
CN102591532B (zh) 2012-01-22 2015-01-21 南京先能光电科技有限公司 双反射镜交叉定位电子白板装置
US9230306B2 (en) * 2012-02-07 2016-01-05 Semiconductor Components Industries, Llc System for reducing depth of field with digital image processing
CN102779274B (zh) 2012-07-19 2015-02-25 冠捷显示科技（厦门）有限公司 一种基于双目摄像头的智能电视人脸识别方法
JP6020923B2 (ja) * 2013-05-21 2016-11-02 パナソニックＩｐマネジメント株式会社 焦点可変レンズを有するビューア、および映像表示システム
CN103350281B (zh) * 2013-06-20 2015-07-29 大族激光科技产业集团股份有限公司 激光打标机自动调焦装置及自动调焦方法
US20150010236A1 (en) * 2013-07-08 2015-01-08 Htc Corporation Automatic image refocusing method
CN103595916A (zh) 2013-11-11 2014-02-19 南京邮电大学 一种双摄像头目标跟踪***及其实现方法
US9571819B1 (en) * 2014-09-16 2017-02-14 Google Inc. Efficient dense stereo computation
KR102251483B1 (ko) * 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US9292926B1 (en) * 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101243458A (zh) * 2005-08-15 2008-08-13 索尼电子有限公司 创建深度图的图像获取***
CN101840146A (zh) * 2010-04-20 2010-09-22 夏佳梁 自动矫正视差的立体图像拍摄方法及装置
TW201439659A (zh) * 2013-04-11 2014-10-16 Altek Semiconductor Corp 自動對焦方法及自動對焦裝置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. BIRCHFIELD;C. TOMASI: "Depth Discontinuities by pixel-to-pixel stereo", 《SIXTH INTERNATIONAL CONFERENCE ON COMPUTER VISION (IEEE CAT. NO.98CH36271)》 *
宁晓斐: "双目立体视觉中半全局立体匹配算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012535A1 (en) * 2020-07-14 2022-01-20 International Business Machines Corporation Guided multi-spectral inspection
GB2614145A (en) * 2020-07-14 2023-06-28 Ibm Guided multi-spectral inspection

Also Published As

Publication number Publication date
US10574970B2 (en) 2020-02-25
US20200195908A1 (en) 2020-06-18
US20170374354A1 (en) 2017-12-28
EP3108653A4 (en) 2016-12-28
EP3108653A1 (en) 2016-12-28
WO2016145602A1 (en) 2016-09-22
CN107409205A (zh) 2017-11-28
CN107409205B (zh) 2020-03-20

Similar Documents

Publication Publication Date Title
CN107409205B (zh) 用于焦距调节和深度图确定的装置和方法
US11798147B2 (en) Image processing method and device
US11615546B2 (en) Systems and methods for depth estimation using generative models
US11790481B2 (en) Systems and methods for fusing images
US10013764B2 (en) Local adaptive histogram equalization
US10728514B2 (en) Imaging system and method
US10244164B1 (en) Systems and methods for image stitching
EP3201877B1 (en) Systems and methods for dynamic calibration of array cameras
US9300946B2 (en) System and method for generating a depth map and fusing images from a camera array
CN108510540B (zh) 立体视觉摄像机及其高度获取方法
US10373339B2 (en) Hyperspectral scene analysis via structure from motion
US20210314543A1 (en) Imaging system and method
US9886763B2 (en) Visual navigation method, visual navigation device and robot
CN110231832B (zh) 用于无人机的避障方法和避障装置
CN102997891A (zh) 场景深度的测量装置和方法
JP2005250994A (ja) ステレオ画像処理装置
WO2015182771A1 (ja) 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
WO2021049281A1 (ja) 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法
Mustaniemi et al. Parallax correction via disparity estimation in a multi-aperture camera
KR101823657B1 (ko) 이종 카메라를 위한 스테레오 영상 교정 방법
CN116363156A (zh) 一种图像测距的方法、装置、设备及存储介质
JP6103767B2 (ja) 画像処理装置、方法、及びプログラム
GB2624542A (en) Stabilised 360 degree depth imaging system without image rectification
EP2913797A1 (en) Accurate parallax calculation in image regions with low texture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200703