CN103136745B - 利用散焦碉堡图像执行深度估计的***及方法 - Google Patents

利用散焦碉堡图像执行深度估计的***及方法 Download PDF

Info

Publication number
CN103136745B
CN103136745B CN201210479581.2A CN201210479581A CN103136745B CN 103136745 B CN103136745 B CN 103136745B CN 201210479581 A CN201210479581 A CN 201210479581A CN 103136745 B CN103136745 B CN 103136745B
Authority
CN
China
Prior art keywords
image
depth
gaussian
pillbox
depth estimator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210479581.2A
Other languages
English (en)
Other versions
CN103136745A (zh
Inventor
李平山
宫城健辅
弗洛瑞娜·瑟瑞亚
首田大仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103136745A publication Critical patent/CN103136745A/zh
Application granted granted Critical
Publication of CN103136745B publication Critical patent/CN103136745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Focusing (AREA)

Abstract

本发明涉及利用散焦碉堡图像执行深度估计的***及方法。利用散焦碉堡图像执行深度估计过程的***及方法包括相机设备,该相机设备具有用于捕获拍摄目标的碉堡模糊图像的传感器设备。相机利用深度估计器来执行将碉堡模糊图像转换为相应高斯模糊图像的高斯化过程。高斯化过程是通过将碉堡模糊图像与高斯化内核进行卷积以生成相应的高斯模糊图像来执行的。深度估计器然后利用高斯模糊图像来有效地执行深度估计过程。

Description

利用散焦碉堡图像执行深度估计的***及方法
技术领域
本发明总体涉及用于分析图像数据的技术,并且更具体地,涉及利用散焦碉堡图像(defocusedpillboximage)执行深度估计过程的***及方法。
背景技术
实现用于分析图像数据的高效方法对当代电子设备的设计者及制造商来说是一项重要的考虑。然而,利用电子设备高效地分析图像数据可能给***设计者造成了巨大挑战。例如,对提高的设备功能及性能的增强的要求可能需要更多的***处理能力并且需要额外的硬件资源。处理或硬件需求的提高也可因生产成本增加及运行效率低而导致相应的不利经济影响。
此外,执行各种高级操作的增强的设备能力可以为***用户提供额外的益处,但也可能对各种设备组件的控制及管理提出提高的要求。例如,由于所涉及的数字数据的大量性和复杂性,有效分析数字图像数据的增强型电子设备可能会受益于有效的实现方式。
由于对***资源的逐渐增长的需求和大幅增加的数据大小,显而易见的,开发用于分析图像数据的新技术是相关电子技术的关注事项。因此,出于所有前述原因,开发用于分析图像数据的有效***对当代电子设备的设计者、制造商及用户来说仍是一项重要的考虑。
发明内容
根据本发明,公开了通过利用散焦碉堡图像来执行深度估计过程的***及方法。在一个实施例中,相机首先捕获散焦碉堡图像1。相机的焦距设置然后被改变。例如,焦距设置可以被调整为使相机的焦距减少一个景深。相机然后捕获比先前捕获的碉堡图像1更模糊(离焦)的散焦碉堡图像2。
深度估计器或其他合适的实体选择合适的内核K来执行卷积过程。内核K可以按任何合适的方式来配置。例如,在某些实施例中,内核K可以被配置为方差小的3×3高斯内核。深度估计器还选择合适的高斯化内核来执行根据本发明的高斯化过程。高斯化内核可以按任何合适的方式被实现并利用。例如,高斯化内核可以是高斯函数或具有有限均值和方差的更一般的模糊函数(blurfunction)。
接下来,深度估计器计算图像1与图像2之间的匹配误差,然后执行卷积过程以创建新的当前图像1,该新的当前图像1等于与所选内核K进行卷积的前一个图像1。深度估计器计算当前图像1与图像2之间的匹配误差,并确定当前图像1与图像2是否匹配。如果这两个图像不匹配,那么过程返回来以类似方式执行额外的卷积迭代。
然而,如果图像1与图像2匹配,那么深度估计器通过利用先前选择的高斯化内核对当前图像1与图像2二者执行高斯化过程以将非高斯模糊图像转换为相应的高斯模糊图像。具体地,深度估计器执行卷积过程以创建新的当前高斯图像1,该新的当前高斯图像1等于与所选高斯化内核进行卷积的前一个碉堡模糊图像1。另外,深度估计器执行卷积过程以创建新的当前高斯图像2,该新的当前高斯图像2等于与所选高斯化内核进行卷积的前一个碉堡模糊图像2。
深度估计器然后执行卷积过程以创建新的当前高斯图像1,该新的当前高斯图像1等于与所选内核K进行卷积的前一个高斯图像1。深度估计器计算当前高斯图像1与高斯图像2之间的匹配误差,并确定当前高斯图像1与高斯图像2是否匹配。如果这两个图像不匹配,那么所述过程返回来执行额外的迭代。然而,如果当前高斯图像1与高斯图像2匹配,那么过程可以终止。本发明因此提供了一种通过利用散焦碉堡图像来执行深度估计过程的改进的***及方法。
附图说明
图1是根据本发明的相机设备的一个实施例的框图;
图2是根据本发明的图1的捕获子***的一个实施例的框图;
图3是根据本发明的图1的控制模块的一个实施例的框图;
图4是根据本发明的图3的存储器的一个实施例的框图;
图5是根据本发明的用于捕获散焦模糊图像的一个示例性实施例的示图;
图6是根据本发明的一个实施例的示例性匹配曲线的曲线图;
图7是根据本发明的一个实施例的模糊图像的示例性高斯模型的曲线图;
图8是根据本发明的一个实施例的模糊图像的示例性碉堡模型的曲线图;
图9A-9C是根据本发明的一个实施例的利用碉堡模糊图像执行深度估计过程的方法步骤的流程图;
图10是根据本发明的一个示例性实施例的两个饱和碉堡图像的示图;并且
图11是示出了根据本发明的一个示例性实施例的图10的饱和碉堡图像的填充框技术的示图。
具体实施方式
本发明涉及图像数据分析技术的改进。以下描述被呈现来使本领域的普通技术人员能够制造并使用本发明,并且以下描述是在专利申请及其要求的上下文中提供的。对所公开的实施例的各种修改将容易为本领域的技术人员所明白,并且本文中的一般原理可被应用于其他实施例。因此,本发明并非旨在被限于所示的实施例,而是应符合与本文所描述的原理及特征相一致的最广范围。
本发明包括通过利用散焦碉堡图像执行深度估计过程的***及方法,并且包括具有用于捕获拍摄目标的碉堡模糊图像的传感器设备的相机设备。相机利用深度估计器来执行将碉堡模糊图像转换为相应的高斯模糊图像的高斯化过程。高斯化过程是通过将碉堡模糊图像与高斯化内核进行卷积以生成相应的高斯模糊图像来执行的。深度估计器然后利用高斯模糊图像来有效地执行深度估计过程。
现在参照图1,示出了根据本发明的相机设备110的一个实施例的框图。在图1的实施例中,相机设备110可包括但不限于捕获子***114、***总线116及控制模块118。在图1的实施例中,捕获子***114可以被光学耦合至拍摄目标112,并且还可以通过***总线116被电气耦合至控制模块118。
在替代实施例中,相机设备110可容易地包括除结合图1的实施例进行讨论的那些组件之外的或代替那些组件的各种其他组件。另外,在某些实施例中,本发明可作为替代在任何适当类型的电子设备中被实施,而不是在图1的相机设备110中被实施。例如,相机设备110可作为替代被实现为成像设备、计算机设备或消费电子设备。
在图1的实施例中,一旦相机110的捕获子***114被自动对焦在目标112上,相机用户就可以请求相机设备110捕获与目标112相对应的图像数据。控制模块118然后可以优选通过***总线116指示捕获子***114捕获表示目标112的图像数据。所捕获的图像数据然后可以通过***总线116被传递给控制模块118,控制模块118可以作为响应而利用图像数据执行各种处理及功能。***总线116还可以在捕获子***114与控制模块118之间双向地传递各种状态和控制信号。
现在参照图2,示出了根据本发明的图1的捕获子***114的一个实施例的框图。在图2的实施例中,捕获子***114优选地包括但不限于快门218、镜头220、图像传感器224、红色、绿色和蓝色(R/G/B)放大器228、模数(A/D)转换器230及接口232。在替代实施例中,捕获子***114可容易地包括除结合图2的实施例进行讨论的那些组件之外的或代替那些组件的各种其他组件。
在图2的实施例中,捕获子***114可通过沿着光路236射入到图像传感器224的反射光来捕获与目标112相对应的图像数据。可优选地包括电荷耦合器件(CCD)的图像传感器224可作为响应而生成表示目标112的一组图像数据。图像数据然后可以被路由通过放大器228、A/D转换器230及接口232。图像数据从接口232通过***总线116传递至控制模块118,以便进行适当的处理和存储。其他类型的图像捕获传感器,比如CMOS或线性阵列,也被设想用于结合本发明来捕获图像数据。相机110的使用及功能在下文中结合图3-11被进一步讨论。
现在参照图3,示出了根据本发明的图1的控制模块118的一个实施例的框图。在图3的实施例中,控制模块118优选地包括但不限于取景器308、中央处理单元(CPU)344、存储器346及一个或多个输入/输出接口(I/O)348。取景器308、CPU344、存储器346及I/O348优选地各自耦合到公共***总线116并且通过公共***总线116与捕捉子***114通信,其中公共***总线116也与捕获子***114通信。在替代实施例中,控制模块118可容易地包括除结合图3的实施例进行讨论的那些组件之外的或代替那些组件的各种其他组件。
在图3的实施例中,CPU344可以被实现为包括任何合适的微处理器设备。作为替代,CPU344可以利用任何其他合适的技术来实现。例如,CPU344可以被实现为包括某些专用集成电路(ASIC)或其他合适的电子设备。存储器346可以被实现为一个或多个合适的存储设备,这些存储设备包括但不限于只读存储器、随机存取存储器及各种类型的非易失性存储器,比如软盘设备、硬盘设备或闪存。I/O348可提供一个或多个有效接口以便在相机设备110与任何外部实体之间进行双向通信,该外部实体包括***用户或其他电子设备。I/O348可利用任何合适的输入和/或输出设备来实现。控制模块118的操作及使用在下文中结合图4-图11被进一步讨论。
现在参照图4,示出了根据本发明的图3的存储器346的一个实施例的框图。在图4的实施例中,存储器346可包括但不限于相机应用412、操作***414、深度估计器416、图像数据418、估计数据420、自动对焦模块422及杂项信息424。在替代实施例中,存储器346可包括除结合图4的实施例进行讨论的那些组件之外的或代替那些组件的各种其他组件。
在图4的实施例中,相机应用412可包括程序指令,这些程序指令优选地被CPU344(图3)执行以便执行相机设备110的各种功能及操作。相机应用412的具体性质及功能优选地取决于诸如相应的相机设备110的类型及特定用途等因素而变化。
在图4的实施例中,操作***414优选地控制并协调相机设备110的低级功能。根据本发明,深度估计器416可以控制并协调深度估计过程以促进相机110中的自动对焦特征。在图4的实施例中,图像数据418可包括由相机设备110捕获的拍摄目标112的一个或多个图像。估计数据420可包括用于执行深度估计过程的任何类型的信息或数据。在图4的实施例中,自动对焦模块422可利用深度估计过程的结果对相机设备110执行自动对焦过程。杂项信息424包括用于相机110的操作的任何其他合适的信息。关于深度估计器416的操作的更多细节在下文中结合图5-图11被进一步讨论。
现在参照图5,示出了根据本发明的用于捕获散焦模糊图像518的一个示例性实施例的示图。图5的实施例被提出用于说明目的,并且在替代实施例中,本发明可以利用各种其他配置及元件来捕获散焦模糊图像518。
在图5的实施例中,相机110的传感器224(参见图2)可捕获拍摄目标或场景112的散焦模糊图像518以用于执行深度估计过程。散焦模糊图像518可以通过将镜头220调整到除正确的对焦镜头位置之外的位置而被创建,该正确的对焦镜头位置取决于目标112、镜头220及传感器224的相对位置。
在一个实施例中,可以将两个不同的散焦模糊图像518进行比较以得到深度估计。可以针对两个模糊图像518来计算模糊差异(blurdifference),这两个模糊图像518的彼此相离一个景深。已知的匹配曲线的斜率和该模糊差异可以被用来确定给定目标112的深度。用于深度估计的散焦模糊图像的生成及使用在下文中结合图6-图11被进一步讨论。
现在参照图6,示出了根据本发明的一个实施例的示例性匹配曲线614的图。图6的实施例被提出用于说明目的,并且在替代实施例中,本发明可以被实现为利用具有除结合图6的实施例进行讨论的那些配置及参数之外的或代替那些配置及参数的配置及参数的匹配曲线。
在某些实施例中,模糊图像1和更加散焦的模糊图像2可以被捕获,更清晰的图像1可以与高斯内核(例如,方差小的3×3高斯矩阵)进行卷积以产生卷积图像1。将卷积图像1与模糊图像2进行比较。该过程被重复直至这两个模糊图像匹配为止。然后可以针对景深(或一个DOF(景深)的增量中的图像数量)对迭代次数进行绘图以产生模糊匹配曲线,该模糊匹配曲线可以被用来估计从任何离焦(out-of-focus)位置到对焦(in-focus)位置的距离。有关前述深度估计技术的更多细节在Li等人的第8,045,046号美国专利中被进一步讨论,该美国专利在此通过引用被并入本文。
现在参照图7,示出了根据本发明的一个实施例的模糊图像518(图5)的示例性高斯模型718的曲线图。图7的实施例被提出用于说明目的,并且在替代实施例中,本发明可利用具有除结合图7的实施例进行讨论的那些元件及配置之外的元件及配置的高斯模型。
在图7的实施例中,亮度被表示在纵轴上,像素被表示在横轴上。在图7的曲线图中,高斯模型718显示出典型的钟形曲线形状。然而,不是所有模糊图像518都通过利用高斯模型718来最佳地表示。取决于拍摄目标或场景的图像特性,某些非高斯模型可能更有效。非高斯模型的一个示例在下文中被结合图8-图11进一步讨论。
现在参照图8,示出了根据本发明的一个实施例的模糊图像518的示例性碉堡模型的曲线图。图8的实施例被提出用于说明目的,并且在替代实施例中,本发明可利用具有除结合图8的实施例进行讨论的元件及配置之外的元件及配置的碉堡模型。
在图8的实施例中,亮度被表示在纵轴上,像素被表示在横轴上。在图8的曲线图中,碉堡模型818显示出典型的锐缘形状(sharp-edgedshape)。取决于拍摄目标或场景的图像特性,某些非高斯模型,如碉堡模型818,可能更有效。例如,碉堡模型818对包括很明亮的光源(比如蜡烛)的黑夜场景来说可能会更好。
然而,上文所讨论的某些深度估计技术在结合碉堡模糊图像使用时无法满意地执行。根据本发明,高斯化过程由此被利用,以有利地将碉堡模糊图像转换为然后可被成功用于深度估计过程的高斯格式,如上所述。
高斯化过程可以按任何有效方式来执行。例如,碉堡模糊图像可以与高斯化内核(Gaussianizationkernel)进行卷积以产生高斯化模糊图像。高斯化内核可以按任何合适的方式来实现和利用。例如,高斯化内核可以是高斯函数或者具有有限均值和方差的更一般的模糊函数。
在某些实施例中,高斯化内核可以被实现为具有方阵(squarematrix)的框函数(boxfunction),其中在该方阵中,所有矩阵值都是相同的值,并且所有这些矩阵值的和等于1。高斯化内核还可以被实现为二维均一框函数(uniformboxfunction),该二维均一框函数可以根据以下公式而被表示为两个一维函数的张量积(tensorproduct):
其中m和n为像素坐标,并且其中M和N为内核矩阵的各个维度。在一个替代实施例中,可以利用多级高斯化来提高效率。例如,可以利用较小的高斯化内核在较小片段中执行高斯化过程。该技术可提高不需要大量高斯化的图像的计算速度。有关高斯化过程的更多细节在下文中结合图9A-图11被进一步讨论。
现在参照图9A-9C,示出了根据本发明的一个实施例的用于利用碉堡图像执行深度估计过程的方法步骤的流程图。图9A-9C的实施例被提出用于说明目的,并且在替代实施例中,本发明可容易地利用除结合图9A-9C的实施例进行讨论的那些步骤及顺序之外的各种步骤及顺序。
在图9A的实施例中,在步骤914中,相机110捕获散焦碉堡图像1。在步骤918中,相机110的焦距设置被改变。例如,在图9A的实施例中,焦距设置可以被调整为使相机110的焦距减少一个景深。在步骤922中,相机110捕获比先前捕获的碉堡图像1更模糊(离焦)的散焦碉堡图像2。
在步骤926中,深度估计器416或其他合适的实体选择合适的内核K来执行卷积过程。内核K可以按任何合适的方式来配置。例如,在某些实施例中,内核K可以被配置为方差较小的3×3高斯内核。在步骤926中,深度估计器416还选择合适的高斯化内核来执行根据本发明的高斯化过程。
如上所述,高斯化内核可以按任何合适的方式被实现并利用。例如,高斯化内核可以是高斯函数或者具有有限均值及方差的更一般的模糊函数。在步骤928中,深度估计器416计算图像1与图像2之间的匹配误差,并且在步骤930中,深度估计器416确定图像是否匹配。如果图像匹配,那么图9A-9C的过程可以终止。然而,如果图像不匹配,那么图9A的过程通过连接字母“A”进入图9B的步骤932。
在步骤932中,深度估计器416执行卷积过程以创建新的当前图像1,该新的当前图像1等于与所选内核K进行卷积的前一个图像1。在步骤934中,深度估计器416计算当前图像1与图像2之间的匹配误差。在步骤938中,深度估计器416确定当前图像1与图像2是否匹配。如果这两个图像不匹配,那么图9A-9C的过程返回步骤932以执行额外的迭代。
然而,如果在步骤938中图像1与图像2匹配,那么在步骤942中,深度估计器416通过利用先前选择的高斯化内核对当前图像1与图像2二者执行高斯化过程,以将非高斯模糊图像转换为相应的高斯模糊图像。具体地,深度估计器416执行卷积过程以创建等于与所选高斯化内核进行卷积的前一个图像1的新的当前图像1。另外,深度估计器416执行卷积过程以创建等于与所选高斯化内核进行卷积的前一个图像2的新的当前图像2。在图9B的实施例中,高斯化内核可以利用小的方差值来实现。图9B的过程然后通过连接字母“B”进入图9C的步骤946。
在步骤946中,深度估计器416执行卷积过程以创建新的当前图像1,该新的当前图像1等于与所选内核K进行卷积的前一个图像1。在步骤950中,深度估计器416计算当前图像1与当前图像2之间的匹配误差。在步骤954中,深度估计器416确定当前图像1与当前图像2是否匹配。如果这两个图像不匹配,那么图9A-9C的过程返回步骤946以执行额外的迭代。然而,如果在步骤954中图像1与图像2匹配,那么在步骤958中,深度估计器416确定在前述步骤946中执行了多少次卷积。如果存在非零次卷积,那么图9C的过程通过连接字母“C”返回图9B的步骤942以执行一个或多个额外的高斯化过程。然而,如果存在零卷积,那么图9A-9C的过程可以终止。图像1与图像2之间的模糊差异然后由具有在932及946中执行的与内核K的卷积总数给出。本发明因此提供了通过利用碉堡模糊图像来执行深度估计过程的改进的***及方法。
现在参照图10,示出了根据本发明的一个实施例的两个饱和碉堡图像1014及1018的示图。图10的实施例被提出用于说明目的,并且在替代实施例中,本发明可利用具有除结合图10的实施例进行讨论的元件及配置之外的元件及配置的碉堡图像。
在图10的实施例中,第一碉堡图像1014(例如,图9A-9C的图像1)及第二碉堡图像1018(例如,图9A-9C的图像2)的波形被示出为重叠的。由于图像1014更对焦,因此其波形形状比图像1018的波形更窄更高。然而,与其他类型的模糊图像一样,碉堡模糊图像应保留相同量的能量/总亮度。
在图10的实施例中,因为碉堡图像都超过了饱和阈值水平1022,所以碉堡图像被裁剪/是饱和的。如果碉堡模糊图像是饱和的/被裁剪,那么两个图片的总亮度之间存在差异。一般而言,因为总亮度未被保留,所以模糊匹配技术(如在图9A-9C中所讨论的高斯化过程)不能很好地用于饱和碉堡模糊图像。因此,根据本发明的某些实施例,可以在执行任何模糊匹配技术之前利用填充框技术(fillboxtechnique)。一个这样的填充框实施例在下文中结合图11被进一步讨论。
现在参照图11,示出了根据本发明的一个实施例的示出用于处理图10的饱和碉堡图像的填充框技术的示图。图11的实施例被提出用于说明目的,并且在替代实施例中,本发明可利用具有除结合图11的实施例进行讨论的元件、步骤及配置之外的元件、步骤及配置的填充框技术。
在图11的示图的左侧,因为碉堡图像1018及1014(a)都超过了饱和阈值水平1022,所以碉堡图像1018及1014(a)被裁剪/是饱和的。如果碉堡模糊图像是饱和的/被裁剪,那么两个图片的总亮度之间存在差异。由于图像1014(a)更高,因此该图像的更多量度被饱和阈值1022去除。如在图11的示图的右侧所示,可以有利地利用填充框过程通过使图像1014(a)的亮度增大亮度填充量1030从而产生新的均衡图像1014(b)来使图像1018及1014(a)的各自亮度总量均衡(equalize)。
在图11的实施例中,深度估计器416(图4)或其他合适的实体首先计算每个图片1014(a)及1018中的饱和碉堡的总亮度。深度估计器416确定这两个图片1014(a)及1018之间的总亮度的差。然后针对总亮度较小的碉堡模糊图像1014(a),深度估计器将总亮度的平均差加到碉堡图像1014(a)的每个饱和像素,以产生均衡图像1014(b)。这种填充框技术可以被表征为对较小的碉堡图像1014(a)进行填充直至这两个图像的大小/总亮度相等为止。在完成前述填充框过程之后,深度估计器416可以将碉堡模糊图像1014(b)及1018看作未饱和的碉堡,并且可以利用上文结合图9A-9C所讨论的高斯化过程执行模糊匹配。
在上文中已参照某些实施例说明了本发明。鉴于本公开,其他实施例对本领域的技术人员来说将是显而易见的。例如,本发明可以容易地利用除在上述实施例中描述的配置及技术之外的配置及技术来实现。另外,本发明可以结合除上述的***之外的***被有效地使用。因此,对所讨论的实施例进行的这些及其他变更旨在被本发明所涵盖,本发明仅受所附权利要求的限制。
本申请与2011年12月1日提交的题为“DepthEstimationFromTwoDefocusedImagesUnderVariousLightingConditions”的第61/565,790号美国临时专利申请相关并要求其优先权。前述相关申请被共同转让并通过引用被并入本文。

Claims (14)

1.一种用于执行深度估计过程的***,包括:
传感器设备,用于捕获拍摄目标的碉堡模糊图像;以及
深度估计器,用于执行利用高斯化内核将所述碉堡模糊图像转换为高斯模糊图像的高斯化过程,所述深度估计器然后利用所述高斯模糊图像来执行所述深度估计过程。
2.根据权利要求1所述的***,其中所述深度估计器通过将所述碉堡图像与所述高斯化内核进行卷积以产生所述高斯模糊图像来执行所述高斯化过程。
3.根据权利要求2所述的***,其中所述高斯化内核被实现为具有方阵的框函数,在所述方阵中,所有矩阵值都是相同的值,并且所有这些矩阵值的和等于1。
4.根据权利要求2所述的***,其中所述高斯化内核被实现为二维均一框函数,所述二维均一框函数根据以下公式被表示为两个一维函数的张量积:
其中m和n为像素坐标,并且其中M和N为所述高斯化内核的矩阵的各个维度。
5.根据权利要求1所述的***,
其中所述深度估计器确定所述碉堡模糊图像被饱和阈值水平裁剪,所述深度估计器然后执行填充框过程以在执行所述高斯化过程之前使所述碉堡模糊图像的能量总量均衡,
其中所述深度估计器通过首先计算第一图像的第一总亮度以及第二图像的第二总亮度来执行所述填充框过程,所述深度估计器确定所述第一总亮度与所述第二总亮度之间的亮度差,并且
其中所述深度估计器通过将所述亮度差加到所述碉堡模糊图像中具有较小总亮度的较小图像来完成所述填充框过程,使得所述第一图像和所述第二图像的所述能量总量是均衡的。
6.根据权利要求1所述的***,其中所述传感器设备和所述深度生成器被实现在电子相机设备中,所述电子相机设备利用来自所述深度估计过程的一个或多个深度值来执行自动对焦过程。
7.根据权利要求6所述的***,其中所述传感器设备通过利用第一散焦镜头位置来捕获与拍摄目标相对应的图像1,所述相机设备然后被调整到与所述第一散焦镜头位置不同的第二散焦镜头位置,所述传感器设备通过利用所述第二散焦镜头位置来捕获与所述拍摄目标相对应的图像2,所述第二散焦镜头位置的对焦不如所述第一散焦镜头位置。
8.根据权利要求7所述的***,其中所述深度估计器选择内核K和高斯化内核。
9.根据权利要求8所述的***,其中所述内核K被实现为方差小的高斯3×3矩阵,并且其中所述高斯化内核被实现为具有方阵的框函数,在所述方阵中,所有矩阵值都是相同的值,并且所有这些矩阵值的和等于1。
10.根据权利要求8所述的***,其中所述深度估计器在第一卷积过程中将所述图像1与所述内核K进行卷积以产生当前卷积图像1,并且其中所述深度估计器在第一模糊图像匹配过程中将所述当前卷积图像1与所述图像2进行比较,所述深度估计器对所述卷积过程执行额外迭代直至取得第一匹配结果为止。
11.根据权利要求10所述的***,其中所述深度估计器利用高斯化内核对所述当前卷积图像1与所述图像2执行所述高斯化过程以产生高斯图像1和高斯图像2,并且其中所述深度估计器在第二卷积过程中将所述高斯图像1与所述内核K进行卷积以产生当前卷积高斯图像1。
12.根据权利要求11所述的***,其中所述深度估计器在第二模糊图像匹配过程中将所述当前卷积高斯图像1与所述高斯图像2进行比较,所述深度估计器对所述第二卷积过程执行额外迭代直至取得第二匹配结果为止,所述深度估计器基于所述额外迭代生成总迭代次数。
13.根据权利要求12所述的***,其中所述深度估计器利用所述总迭代次数来为所述深度估计过程生成匹配曲线,所述深度估计器利用所述匹配曲线来生成与所述拍摄目标相对应的深度值,并且其中所述深度估计器执行利用尺寸缩小的高斯化内核对所述碉堡模糊图像的片段进行处理的多级高斯化过程。
14.一种用于通过执行以下步骤来执行深度估计过程的方法:
提供传感器设备,所述传感器设备用于捕获拍摄目标的碉堡模糊图像;以及
利用深度估计器来执行利用高斯化内核将所述碉堡模糊图像转换为高斯模糊图像的高斯化过程,所述深度估计器然后利用所述高斯模糊图像来执行所述深度估计过程。
CN201210479581.2A 2011-12-01 2012-11-22 利用散焦碉堡图像执行深度估计的***及方法 Active CN103136745B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161565790P 2011-12-01 2011-12-01
US61/565,790 2011-12-01
US13/426,828 US8929607B2 (en) 2011-12-01 2012-03-22 System and method for performing depth estimation utilizing defocused pillbox images
US13/426,828 2012-03-22

Publications (2)

Publication Number Publication Date
CN103136745A CN103136745A (zh) 2013-06-05
CN103136745B true CN103136745B (zh) 2016-05-18

Family

ID=47602841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210479581.2A Active CN103136745B (zh) 2011-12-01 2012-11-22 利用散焦碉堡图像执行深度估计的***及方法

Country Status (7)

Country Link
US (1) US8929607B2 (zh)
EP (1) EP2600310B1 (zh)
JP (1) JP5459523B2 (zh)
KR (1) KR101437234B1 (zh)
CN (1) CN103136745B (zh)
CA (1) CA2796543C (zh)
TW (1) TWI557688B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9066002B2 (en) 2012-08-29 2015-06-23 Sony Corporation System and method for utilizing enhanced scene detection in a depth estimation procedure
AU2013273843A1 (en) * 2013-12-23 2015-07-09 Canon Kabushiki Kaisha Motion blur compensation for depth from defocus
US9530214B2 (en) 2014-12-04 2016-12-27 Sony Corporation Image processing system with depth map determination based on iteration count of blur difference and method of operation thereof
US10440348B2 (en) * 2015-03-24 2019-10-08 University Of Florida Research Foundation, Inc. Optical privatizing device, system and method of use
WO2017048927A1 (en) * 2015-09-18 2017-03-23 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
CN111166322A (zh) * 2020-01-17 2020-05-19 哈尔滨工业大学 心电信号特征波提取方法
CN113189634B (zh) * 2021-03-02 2022-10-25 四川新先达测控技术有限公司 一种类高斯成形方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605208A (zh) * 2008-06-13 2009-12-16 富士胶片株式会社 图像处理设备、成像设备、图像处理方法及程序
US7711201B2 (en) * 2006-06-22 2010-05-04 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996041304A1 (en) * 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
JP2001159159A (ja) 1999-12-01 2001-06-12 Hitachi Ltd 水位制御方法および水供給システム
CN1273935C (zh) * 2001-05-17 2006-09-06 西门子共同研究公司 用于分割磁共振心脏图像中左心室的变化的方法
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
WO2007095477A2 (en) * 2006-02-14 2007-08-23 Fotonation Vision Limited Image blurring
US7616254B2 (en) * 2006-03-16 2009-11-10 Sony Corporation Simple method for calculating camera defocus from an image scene
JP4858610B2 (ja) 2007-02-28 2012-01-18 株式会社ニコン 画像処理方法
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8199248B2 (en) 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
US8229172B2 (en) 2009-12-16 2012-07-24 Sony Corporation Algorithms for estimating precise and relative object distances in a scene
JP5468404B2 (ja) * 2010-02-02 2014-04-09 パナソニック株式会社 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP5237978B2 (ja) * 2010-02-12 2013-07-17 パナソニック株式会社 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
US8045046B1 (en) * 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711201B2 (en) * 2006-06-22 2010-05-04 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
CN101605208A (zh) * 2008-06-13 2009-12-16 富士胶片株式会社 图像处理设备、成像设备、图像处理方法及程序

Also Published As

Publication number Publication date
EP2600310A3 (en) 2017-01-25
CA2796543A1 (en) 2013-06-01
TWI557688B (zh) 2016-11-11
JP2013117967A (ja) 2013-06-13
US20130142394A1 (en) 2013-06-06
EP2600310A2 (en) 2013-06-05
TW201337838A (zh) 2013-09-16
JP5459523B2 (ja) 2014-04-02
EP2600310B1 (en) 2018-07-04
CN103136745A (zh) 2013-06-05
KR20130061635A (ko) 2013-06-11
CA2796543C (en) 2015-06-23
KR101437234B1 (ko) 2014-09-02
US8929607B2 (en) 2015-01-06

Similar Documents

Publication Publication Date Title
CN103136745B (zh) 利用散焦碉堡图像执行深度估计的***及方法
CN103139469B (zh) 利用多分辨率过程生成鲁棒深度图的***和方法
CN109155078B (zh) 样本图像的集合的生成方法、装置、电子设备和存储介质
JP5206853B2 (ja) 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
Josephson et al. Pose estimation with radial distortion and unknown focal length
US9215381B2 (en) Image blurring method and apparatus, and electronic devices
CN102223477B (zh) 基于双图片匹配的深度估计的四维多项式模型
CN101527860B (zh) 白平衡控制设备及其控制方法和摄像设备
US20180276834A1 (en) Methods and apparatus for controlling light field capture
CN103369233B (zh) 用于通过利用自适应核来执行深度估计的***和方法
CN108717714B (zh) 多相机标定方法、标定***、存储介质、及电子设备
CN104079818B (zh) 摄像装置、图像处理***、摄像***和图像处理方法
CN112862897B (zh) 一种基于相位移编码圆的相机离焦状态下的快速标定方法
CN105812649A (zh) 一种摄像方法和装置
CN106888344A (zh) 摄像模组及其像面倾斜的获取方法和调整方法
CN114898068B (zh) 三维建模方法、装置、设备及存储介质
US20130142386A1 (en) System And Method For Evaluating Focus Direction Under Various Lighting Conditions
CN106296580A (zh) 一种图像拼接的方法及装置
CN111369612B (zh) 一种三维点云图像生成方法及设备
CN112288791B (zh) 一种视差图获得方法、基于鱼眼相机的三维模型获得方法及装置
CN104125385A (zh) 影像编辑方法以及影像处理装置
TWI807935B (zh) 深度識別模型訓練方法、圖像深度識別方法及相關設備
JP2011113527A (ja) 画像処理装置、画像処理方法及びプログラム
CN116563492A (zh) 基于稀疏点云选取相关性图像的方法及***
CN114862934A (zh) 十亿像素成像的场景深度估计方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant