CN103827920B - 根据图像的对象距离确定 - Google Patents
根据图像的对象距离确定 Download PDFInfo
- Publication number
- CN103827920B CN103827920B CN201280047749.0A CN201280047749A CN103827920B CN 103827920 B CN103827920 B CN 103827920B CN 201280047749 A CN201280047749 A CN 201280047749A CN 103827920 B CN103827920 B CN 103827920B
- Authority
- CN
- China
- Prior art keywords
- image
- distance
- light source
- objects
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 claims abstract description 109
- 230000003287 optical effect Effects 0.000 claims abstract description 62
- 238000006073 displacement reaction Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 230000004044 response Effects 0.000 claims abstract description 11
- 210000001525 retina Anatomy 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 35
- 230000005855 radiation Effects 0.000 claims description 16
- 210000003128 head Anatomy 0.000 claims description 12
- 238000005305 interferometry Methods 0.000 claims description 7
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 2
- 230000005713 exacerbation Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims 1
- 238000005286 illumination Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000010287 polarization Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000004615 ingredient Substances 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 241000167686 Reichardia Species 0.000 description 1
- 230000018199 S phase Effects 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
一种用于确定到对象的距离的***,包括图像捕获装置(101),所述图像捕获装置(101)具有编码孔径和被定位在编码孔径的焦平面之外的图像传感器。接收器(103)从图像传感器接收场景的图像并且检测器(105)响应于对象的光学特性来检测图像的与由编码孔径的不同开口导致的对象的重影图像相对应的至少两个图像对象。距离估计器(107)然后响应于至少两个图像对象的图像中的位移来确定到对象的距离。所述距离可以是对人的,并且所述图像可以是明亮的瞳孔图像,其中瞳孔被光通过视网膜的反射增强。所述图像可以被场景的黑暗的瞳孔图像补偿。
Description
技术领域
本发明涉及到对象的距离基于单个图像的确定,并且特别地,但不排他地涉及到人的距离基于明亮的瞳孔图像的确定。
背景技术
基于由诸如静止或移动图像相机之类的图像捕获装置所捕获的图像确定到对象的距离已经变得日益重要。
例如,随着能够使功能性和特性适应它们的环境的自治***的出现,关于人类的存在和他们的精确位置的信息常常是高度所希望的。例子包括用于老年人或医院病房的监控***、能够局部调光以便节省能源或者改变光束形状和光谱特征以增加舒适的自适应照明***。人眼的精确位置特别地对于其中所提供的视图适于所检测到的眼睛位置的显示目的可能是感兴趣的,例如以便将最佳视图提供给两只眼睛以用于3D成像或者以便在最近的一双眼睛的方向上创建私有视图,同时在其它方向上屏蔽该视图。
已经提出通过局部分析散焦模糊来确定场景(scene)深度信息,因为其取决于从透镜到对象的距离。然而,常规透镜孔径引入数学上为不可逆的并且对深度不是非常有辨别力的散焦模糊。因此,这样的方法往往是复杂的并且导致相对不可靠的深度数据。
WO 2010/150177 A1公开了将场景的叠加图像记录到单个图像检测器上的多种光学装置,关于该场景的深度信息能够借助于适当的图像处理算法被从所述单个图像检测器提取。
在由A. Levin、R. Fergus、F. Durand、W. T. Freema 于2007年8月SIGGRAPH,ACM Transactions on Graphics的文章“Image and Depth from a Conventional Camerawith a Coded Aperture”中,已经提出通过在图像传感器的透镜中引入编码孔径从而塑造结果得到的散焦模糊的光谱属性来减轻这个缺点。这个***是基于编码孔径的,所述编码孔径具有图像的宽带图案和统计模型以便恢复深度并且重建场景的全焦图像。然而,该方法导致具有高复杂性的***,其要求高计算资源。此外,该方法可能导致比期望的不太可靠和准确的深度测量。事实上,所述方法在针对具有类似强度的对象的深度对比存在的情况下是特别困难的。在这种情况下,结果得到的图像表示两个不同地模糊的平面的叠加。
从而,用于基于来自图像捕获装置的图像来确定到对象的距离的改进***将是有利的,并且特别地,允许增加的灵活性、减少的复杂性、减少的资源使用(特别是减少的计算资源使用)、改进的距离确定和/或改进的性能的***将是有利的。
发明内容
因此,本发明寻求单个地或者相结合地优选缓解、减轻或者消除上面提到的缺点中的一个或多个。
根据本发明的方面,提供了根据权利要求1的一种用于确定到场景对象的距离的设备。
本发明可以基于来自图像捕获装置的图像来提供改进的和/或便利的到对象的距离确定。到对象的距离能够根据单个图像被确定。
当对应于对象的重影图像的图像对象的低复杂性检测能够基于光学特性而被实现时,计算资源可以是特别低的。特别地,检测不要求关于场景的复杂建模或假设,并且此外不需要复杂的图像处理来从重叠的散焦模糊核分离贡献。***可能目的在于使用其中与重影图像相对应的特定图像对象是可识别的稀疏数据图像。特别地,不是考虑由离焦(out-of-focus)图像传感器所引起的干涉/具体模糊效应来执行复杂的图像分析,而是大量的数据处理减少能够通过仅检测与相同的容易地可识别对象的重影图像相对应的特定图像对象而被实现。特别地,不是评估整个图像和场景,而是仅非常少量的可识别图像对象需要被处理。***可能特别适合于其中稀疏数据图像能够被捕获或者生成的情境,并且因此特别地适合于其中特定目标突出的场景和图像。
所述方法可以在诸如移动装置之类的具有低计算资源的装置中允许距离确定,或者例如可以允许更快的距离确定从而例如允许实时距离确定。
光学特性是当图像的属性被分析时可以允许场景对象在图像中为可辨别的对象(例如,黑暗环境中的明亮对象、明亮环境中的黑暗对象;或绿色环境中的红色对象)的特性。辐射特性例如可以是发射特性和/或反射特性。光学特性因此可以是来自场景对象的到达图像捕获装置的光的特性。
编码孔径例如可以由固定掩模来提供,所述固定掩膜包括覆盖图像捕获装置的透镜的不透明元件中的许多开口。作为另一例子,不透明元件可以由可控元件来创建,所述可控元件诸如例如由定位在透镜前面的液晶(LC)元件所形成的掩模。
本发明可以允许根据单个图像的距离确定,从而避免对于多个图像传感器、图像捕获装置等的需要。
光学特性可以是预定或假定的光学特性。
依照本发明的可选特征,图像是明亮的瞳孔图像并且光学特性是由视网膜翻转向图像捕获装置的光的特性。
本发明可以提供改进的和/或便利的到瞳孔的距离以及因此到人类或动物的距离的确定。具体地,本发明可以在许多情境下允许到人的距离的简化确定。
明亮的瞳孔图像的使用可以具体地导致与瞳孔相对应的图像中的光学特性更易于检测和/或允许对于场景的其它捕获元件的比较容易的区别。事实上,与瞳孔相对应的图像对象可以使用低复杂性准则而被检测。具体地,来自瞳孔和来自场景的其它元件的图像贡献之间的增加的差异可以被增加,从而便利于检测并且允许减少的复杂性检测。例如,基于亮度(brightness)和/或例如色彩的简单检测准则可以被使用。此外,明亮的瞳孔图像典型地可以具有如下特征,即瞳孔大大地比周围区域更亮从而允许来自瞳孔的对图像的贡献比来自场景的其它位置(部分)的贡献占优势。
明亮的瞳孔图像具体地可以是其中同时光照由基本上定位于图像捕获装置的光轴上的光源来提供的一个。例如,明亮的瞳孔图像当被从瞳孔测量时可以用来自定位在图像的光轴的5°内的光源的场景的光照被捕获。
依照本发明的可选特征,接收器被布置成从图像传感器接收场景的第二图像,第二图像是黑暗的瞳孔(dark pupil)图像;并且其中检测器被进一步布置成在检测至少两个图像对象之前针对第二图像补偿第一图像。
本发明可以提供改进的和/或便利的到瞳孔的距离以及因此到人类或动物的距离的确定。具体地,本发明可以在许多情境下允许到人的距离的简化确定。
黑暗的瞳孔图像以及明亮的瞳孔图像的使用允许与瞳孔相对应的图像对象的显著加重。特别地,明亮的瞳孔图像通过黑暗的瞳孔图像的补偿可以去除或者减少来自瞳孔外的其它对象的贡献。补偿可以导致被处理的图像中的数据减少并且可以便利于和/或改进与瞳孔相对应的图像对象的检测。典型地,与明亮的瞳孔相对应的图像对象和图像的其它区域之间的差异将被加重。因此,计算要求可以被减少并且更可靠的检测可以被实现。
因此该方法可以导致与瞳孔相对应的光学特性更易于在图像中检测。事实上,与瞳孔相对应的图像对象可以在许多情境下使用低复杂性准则来检测。例如,基于亮度和例如色彩的简单检测准则可以被使用。
黑暗的瞳孔图像具体地可以是其中没有同时光照由基本上定位于图像捕获装置的光轴上的光源来提供的一个。例如,明亮的瞳孔图像当被从瞳孔测量时可以在没有来自定位在图像的光轴的5°内的光源的场景的光照的情况下被捕获。
依照本发明的可选特征,所述设备进一步地包括:用于照射场景的光源,所述光源被基本上定位于图像捕获装置的光轴上;以及光源控制器,其被布置成为第一图像接通光源并且为第二图像断开光源。
这可以提供改进的和/便利的图像对象的检测并且可以具体地导致明亮和黑暗的瞳孔图像的受控生成。因此,***本身可以照射场景以便生成从场景中的其它对象突出的可检测对象。
断开(或接通)可以是部分开关。因此,当被接通时,光源将比当被断开时更亮。然而,在光源被切换到断开状态时一些光可以仍然被辐射,以及在接通状态下的光输出可以少于来自光源的最大可能的输出。
在许多实施例中,光源可以有利地是红外光源。
依照本发明的可选特征,至少两个图像对象对应于人的第一瞳孔并且检测器被进一步地布置成检测图像的与由编码孔径的不同开口导致的人的第二瞳孔的重影图像相对应的另外的至少两个图像对象;并且其中距离估计器被进一步地布置成响应于另外的至少两个图像对象的图像中的位移来确定距离。
这可以在许多情境下提供改进的距离确定。例如,到两个瞳孔的单独距离可以被确定并且到头部的距离可以被确定为这些距离估计的平均值。
依照本发明的可选特征,至少两个图像对象对应于人的第一瞳孔;并且检测器被进一步地布置成检测图像的与由编码孔径的不同开口导致的人的第二瞳孔的重影图像相对应的另外的至少两个图像对象;并且其中距离估计器被进一步地布置成响应于所述至少两个图像对象的图像中的位移和所述另外的至少两个图像对象的图像中的位移之间的差来确定人的头部的定向。
本发明可以提供改进的和/或便利的不仅到人的头部的距离、而且人的头部的定向的确定。
依照本发明的可选特征,所述至少两个图像对象中的至少两个是不相交的图像对象。
这可以在许多情境下改进和/或便利于距离确定。特别地,编码孔径可以被生成使得编码孔径的开口针对在指定的距离间隔内的对象导致非重叠图像对象。
依照本发明的可选特征,所述设备进一步地包括用于照射场景的光源,所述光源具有布置成加重场景对象的光学特性的特性。
这可以在许多情境下改进和/或便利于距离确定。***可以引入被具体地适配成增加对象与场景中的其它成分之间的区别的照明。
***因此可以主动地引入真实世界中的对象之间的光学区别,从而允许后续图像处理更容易地识别针对期望对象的重影图像的图像对象。与由编码孔径所创建的重影图像组合的已增加的区别可以大大地改进和/或便利于距离根据单个图像的确定。
依照本发明的可选特征,特性是以下各项中的至少一个:光源的位置;从光源辐射的光的频率分布;从光源辐射的光的空间分布;以及从光源辐射的光的偏振。
这可以在各种情境中通过加重特定光学特性来提供特别有利的性能。
依照本发明的可选特征,编码孔径由许多不相交的开口形成,每个开口导致场景对象的重影图像。
这可以提供改进的和/或便利的距离确定。它可以进一步允许便利的和/或低成本实施方案。
依照本发明的可选特征,数目少于5。
这可以在许多实施例中提供改进的和/或便利的距离确定。
在许多实施例中,在编码孔径中仅具有两个开口可能是特别有利的,因为这可能是允许基于重影图像之间的位移进行距离确定的开口的最低数目。因此,它可以在许多实施例中最小化处理和硬件实施方案的复杂性。
在许多实施例中,在编码孔径中具有被基本上垂直地对准的开口可能是特别有利的。这在检测与人的眼睛相对应的重影图像时可能是特别有利的,因为它可以减少或者消除右和左眼睛的重影图像重叠的可能性。
依照本发明的可选特征,每个开口具有干涉测量(inferometric)图案;并且所述设备被布置成响应于至少两个开口的干涉测量图案的推断(inference)图案来确定至少两个图像对象的图像中的位移。
这可以在许多实施例中提供改进的和/或便利的距离确定。特别地,它可以便利于在图像对象是重叠的情况下图像对象之间的位移的确定。在许多实施例中,所述设备可以被布置成确定图像对象是否是重叠的,并且布置成(仅)如果它们是重叠的则应用基于干涉的位移确定。
干涉测量图案具体地可以是波带片(zone plate)图案。
根据本发明的方面,提供了根据权利要求12 的一种用于确定到场景对象的距离的***。
根据本发明的方面,提供了根据权利要求14的一种确定到场景对象的距离的方法。
本发明的这些和其它方面、特征以及优点从在下文中所描述的(一个或多个)实施例将是明显的,并且将参考在下文中所描述的(一个或多个)实施例而被阐明。
附图说明
将参考附图仅通过例子来描述本发明的实施例,在附图中
图1说明了依照本发明的一些实施例的用于确定到对象的距离的设备的元件的例子;
图2说明了依照现有技术的图像捕获装置的孔径的例子;
图3说明了针对图2的孔径的来自对象的光线分布的例子;
图4说明了针对图2的孔径的来自对象的光线分布的例子;
图5说明了依照本发明的一些实施例的图像捕获装置的编码孔径的例子;
图6说明了针对图5的编码孔径的来自对象的光线分布的例子;
图7说明了明亮的瞳孔图像的例子;
图8说明了依照本发明的一些实施例的由图像捕获装置所捕获的明亮的瞳孔图像的例子;
图9说明了依照本发明的一些实施例的由图像捕获装置所捕获的经补偿的明亮的瞳孔图像的例子;
图10说明了依照本发明的一些实施例的由图像捕获装置所捕获的经补偿的明亮的瞳孔图像的例子;
图11说明了依照本发明的一些实施例的用于确定到对象的距离的设备的元件的例子;
图12说明了依照现有技术的波带片干涉测量图案的例子;
图13说明了依照本发明的一些实施例的由图像捕获装置所捕获的图像的例子;
图14说明了依照本发明的一些实施例的由图像捕获装置所捕获的图像的例子;
图15说明了图1的设备的应用的例子,以及
图16说明了在自动立体显示***中使用设备的例子。
具体实施方式
以下描述集中于本发明的实施例,其适用于用于确定到人类的距离的***以及特别地适用于根据明亮的瞳孔图像确定到人类的眼睛的距离。然而,应当理解,本发明不限于这个应用,而是可以被应用于到许多其它对象的距离基于许多不同光学特性的确定。
图1说明了用于根据单个捕获的图像来确定到对象的距离的***的例子。
图像捕获装置101被布置成捕获对象存在于其中的场景的图像。图像捕获装置101包括编码孔径,其为在图像的图像传感器上的入射光提供掩模。进一步地,图像传感器被定位在焦平面之外使得编码孔径提供已捕获图像的模糊。编码孔径是包括多个开口的孔径。编码孔径将光学掩模应用于常规的单个开口孔径。在图1的***中,编码孔径是这样的使得对象的重影图像(多个副本)被生成。这些重影图像的特征是它们之间的位移与到对象的距离成比例。
图像捕获装置101被耦合到从图像传感器接收图像的接收器103。接收器103被耦合到检测器105,检测器105被布置成检测图像中的至少两个图像对象,所述至少两个图像对象对应于由编码孔径的不同开口导致的对象的重影图像。检测是基于对象的光学特性的。因此,检测器可以识别两个(或可能地更多个)图像对象(区域),所述两个(或可能地更多个)图像对象(区域)是到其的距离正被估计的特定对象的重影图像/副本。图像对象能够通过检测诸如色彩、亮度或图案之类的特定光学特性的存在而被确定。
检测器105被耦合到估计器107,估计器107确定在两个(或更多个)图像对象之间的图像中的位移。该估计器然后继续根据所确定的位移来估计到对象的距离。
将在下文中针对其中对象是人类的一只或两只眼睛的应用对图1的***的操作进行描述。此外,图像是明亮的瞳孔图像并且距离确定是基于评估至少一个瞳孔的重影图像的。
当图像传感器被定位在焦平面外时,散焦模糊的特性取决于孔径的特性以及到场景中的对象的距离。
事实上,在常规摄影中,透镜孔径的形状确定模糊核的属性。例如,常规透镜孔径的典型形状在图2中被示出。图3说明了包括带孔径303的透镜301和确切地定位在焦平面处的图像传感器305的图像捕获装置的横截面。如所说明的那样,从给定对象307辐射的所有光都被透镜303聚焦以便在焦平面处重合于图像传感器305的相同空间点处。因此,在这种情境下,透镜收集源自于对象并且在略微不同的方向上传播的光线并且以这样一种方式折射它们,即它们被建设性地组合到图像传感器305上。
图4说明了相同的图像捕获装置,但具有被定位在传感器平面外的图像传感器。在这种情况下,来自单个点的光线在区域之上被模糊,并且事实上结果得到的图像对应于场景图像与对应于孔径的模糊核的卷积。散焦模糊核是透镜孔径的换算(scaled)表示,以及因此来自单个点的光线将分布在与模糊核相对应的图像区域之上。在图像传感器的给定点处的图像将对应于来自不同位置的光的组合,所述光在通过模糊核卷积之后对所述点做出贡献。如果透镜孔径是圆形开口,则模糊核将类似均匀盘,其在空间域中将具有对应的sinc状 (sinc-like)的光谱行为。当sinc-函数展示零时,一些空间频率在采集期间丢失并且不能够通过任何图像复原程序来重新创建。模糊核的广度(extent)与散焦模糊的量相关并且从而与对象距离相关。然而,为了基于单个孔径的散焦模糊计算这个对象距离,有必要具有关于对象的尺寸的信息。因为这样的信息典型地是不存在的或不可靠的,所以结果得到的距离估计典型地也将是不可靠的。此外,在已捕获图像中提取并且确定实际的散焦模糊特性所需要的信号处理是非常困难的且复杂的。
已经在2007年8月的“Image and Depth from a Conventional Camera with aCoded Aperture” SIGGRAPH, ACM Transactions on Graphics、A. Levin、R. Fergus、F.Durand、W. T. Freeman中提出使用复杂的宽带编码孔径掩模来执行图像的光谱图案化,所述图像的光谱图案化能够被用来确定散焦模糊,距离能够根据所述散焦模糊被计算。然而,这种处理是非常复杂的且资源要求高的并且往往提供次优结果。
在图1的***中,具有编码孔径的透镜被使用,其中编码孔径是包括仅两个开口的非常简单的掩模,如图5中所说明的。在***中,透镜孔径被用来塑造散焦模糊的特性。与使用宽带掩模(如在已引用文章的***中一样)来塑造散焦模糊的光谱特性相反,图1的***使用了允许散焦模糊的非常简单的实用分析(pragmatic analysis)的编码孔径。
图6说明了图1的图像捕获装置101的横截面。图像捕获装置101包括带编码孔径603的透镜601和定位在焦平面611之外的图像传感器609,所述编码孔径603具有两个开口605、607。
如图6中所说明的那样,由两个垂直地放置的圆形开口构成的编码孔径能够导致离焦成像,其导致多个副本或重影图像针对对象被创建。事实上,每个开口能够被认为提供相对于其它开口的模糊核空间上偏移的单独的模糊核。如所说明的那样,给定对象因此在焦平面之外捕获到的图像中将由重影图像/多个表示来表示。图像捕获装置101的编码孔径和属性可以具体地被设计使得对于在目标距离间隔内的对象来说,与不同的重影图像相对应的图像对象可以是非重叠图像对象。
不同的图像对象之间的位移取决于编码孔径中的开口之间的距离和到图像对象所对应于的场景对象的距离。因为编码孔径中的开口之间的距离是已知的,所以图4的***能够确定与针对其的距离将被确定的对象相对应的图像对象之间的位移,并且然后能够继续基于该位移来确定所述距离。
因此,因为重影图像之间的距离表明散焦的量以及因此表明到重影图像的对象的距离,所以图像对象相对于彼此的位移(在图像中它们之间的距离)能够在没有关于所述对象尺度的先验知识的情况下被转换成对象距离。这个方法将散焦模糊的估计简化为估计关联的重影图像的位移的简单任务。孔径编码能够被进一步优化以便甚至更多地简化针对图像处理算法的要求。例如,采用两个垂直地放置的十字图案可以以***的光效率为代价在低功率设备上使能诸实施方案。
此外,因为距离确定是基于与到其的距离将被估计的对象相对应的图像对象之间的低复杂性位移确定的,所以图像分析可以是基于这些特定图像对象在来自图像传感器的图像中的低复杂性检测的。在图1的***中,检测器105被布置成基于对象的光学特性来检测图像对象。光学特性可以是能够区别对象和场景的其它元件的预定已知的或假定的光学特性。例如,光学特性可以是对象的亮度、图案或色彩。
检测器因此可以搜索已捕获的离焦图像以便识别具有与图像的光学特性相对应的特性的图像段/区域。例如,检测器105可以搜索图像以便找到其中色彩充分密切地对应于对象的色彩的图像区域。
为了便利于与重影图像相对应的图像对象的这种检测,场景可以被控制或者可以被限制使得对象具有这样的光学特性,所述光学特性清楚地允许检测已捕获的离焦图像中的对应图像对象。例如,在一些实施例中,对象可以是场景中唯一明亮对象或者可以例如是场景中的唯一红色对象。在这样的情境下,检测器105可以简单地搜索比门限(其例如可能取决于图像的平均亮度)更明亮的或者包括红色彩成分的图像区域。
尽管模糊效应将使这样的图像区域也包括来自其它位置以及因此来自场景的其它元件的贡献,但是这样的低复杂性方法可能通常仍然是有用的。例如,如果对象是场景中的唯一红色对象,则与其重影图像相对应的图像对象将是具有红色彩成分的唯一区域。即使这些图像区域的实际色彩由于来自场景中的其它对象的贡献而不同于该对象的红色彩,这也能够被检测到。事实上,通过例如通过具有红色彩的灯来照射,检测可以被便利并且区别变得更清楚。
因此,图1的***通过基于对象的光学属性检测对应于该对象的多个图像对象/段来确定到对象的距离。该距离然后根据这些图像对象之间的位移/距离而被计算。从而,复杂的图像去模糊信号处理不是要求的并且可靠的距离估计能够以非常低的复杂性被生成。该方法特别适合于其中对象是清楚地可区别的受控场景,并且适合于具有导致重影图像的少量开口的编码孔径。
特别有利的情境是当对象是人类或动物的眼睛(或头部)以及距离确定是基于明亮的瞳孔图像的时。如本技术领域的技术人员将知道的那样,明亮的瞳孔图像是包括眼睛的视网膜的光源的反射的图像。这种反射使瞳孔显得更明亮,并且常常它可能导致瞳孔显得比周围区域大大地更明亮。明亮的瞳孔成像的众所周知的例子是可能在常规闪光摄影期间出现的红眼效应。
明亮的瞳孔图像具体地可以是用基本上定位在图像捕获装置的光轴处的光源所捕获的图像。事实上,明亮的瞳孔图像可以通过提供图像捕获装置轴上照明来生成。具体地,明亮的瞳孔图像当被从眼睛测量时可以例如通过提供从在轴上方向的5°内的位置照射眼睛的光源来生成。光照具体地可以是常常提供增加的明亮的瞳孔效应的红外光照。
明亮的瞳孔图像的例子在图7中被给出。如能够看到的那样,明亮的瞳孔图像的瞳孔可以典型地从剩余图像清楚地突出。这个可以在图1的***中通过具体地瞄准明亮的瞳孔而被利用。
具体地,图8说明了使用具有与图6相对应的编码孔径的图像捕获装置捕获到的明亮的瞳孔图像的例子。如能够看到的那样,明亮的瞳孔图像的使用可以通过提供大大地与剩余图像相区别的目标而大大地便利于与期望的对象相对应的图像对象的检测。
在该例子中,检测器105被布置成寻找光学特性,其是明亮的瞳孔特性。在该例子中,所述特性可以简单地是亮度特性。因此,在特定例子中,检测器105可以搜索图8的图像以识别与被成像的人的瞳孔相对应的四个图像对象。图像对象可以简单地被确定为具有超过图像的平均亮度水平给定量以上的亮度的(例如四个最大的)连续图像区域。随后,估计器107可以找到图像对象的中心和两对重影图像之间的距离,例如它可以确定中心之间的所有距离并且选择两个最短距离。平均位移然后可以被计算为两个最短图像对象距离的平均值。
在与重影图像相对应的图像对象的位移已被计算之后,到瞳孔以及因此到此人的估计距离可以根据以下等式被计算:
其中v是对象距离,b是图像距离(对象将在焦点中被成像在的位置,两者皆相对于透镜)以及f是焦距。散焦模糊核是孔径图案它自身的换算版本,其尺寸与图像传感器到图像平面的位移成比例(参考图6)。将x定义为透镜与图像之间的距离,模糊核的尺寸K能够被定义为:
其中A是孔径自身(在x=0处)。
值得注意的是,模糊尺寸与图像传感器到所述图像平面的距离成比例。如果传感器被聚焦在场景的中间,则难以辨别在焦平面前面的对象和在它后面的那些。对于深度估计,将传感器聚焦在整个场景前面使得结果得到的模糊直接与距离成比例因此常常是有益的。
在一些实施例中,检测器105可以被布置成响应于明亮的瞳孔图像和黑暗的瞳孔图像两者来确定图像对象。黑暗的瞳孔图像是不为明亮的瞳孔图像的图像,即其中不存在特定视网膜反射来生成由于反射而显得更明亮的瞳孔。具体地,接收器103可以接收由图像捕获装置101基本上同时地(或使得瞳孔在时间差期间的移动是可忽略的)所捕获的明亮的瞳孔图像和黑暗的瞳孔图像。检测器105然后可以通过黑暗的瞳孔图像来补偿明亮的瞳孔图像以便生成经补偿的明亮的瞳孔图像,其被搜索来识别适当的图像对象。
这个方法因此使用了如下事实:同轴光照和成像导致离开视网膜的强烈回归反射(retro-reflective)信号。这在使用与成像装置的光轴充分地偏移的光照捕获到的图像中是不存在的。通过由黑暗的瞳孔图像来补偿明亮的瞳孔图像,可以进一步增强由明亮的瞳孔所引起的区别。
补偿具体地可以是明亮的瞳孔图像减去黑暗的瞳孔图像。具体地,减法可以在辉度(luminance)或色度(chrominance)域中被执行,例如通过减去每个辉度、彩度(chroma)或色度色彩通道中的单独的像素值。
尽管这样的减法可能不去除不是由反射导致(例如由于照明中差等而导致)的所有图像贡献,但是它将往往大大地减少这些贡献。通过这样的补偿所生成的明亮的瞳孔图像的例子在图9中被说明。如能够看到的那样(例如与图8的图像对比),在与明亮的瞳孔相对应的图像对象外的图像信号已被大大地衰减了。这种信号衰减允许与明亮的瞳孔的重影图像相对应的图像对象的更简单且更可靠的检测。事实上,通过由黑暗的瞳孔图像来补偿明亮的瞳孔图像,被处理的图像数据可以被认为变得非常稀疏(sparse),意义在于结果得到的数据除在瞳孔的位置处之外仅展示弱信号。这种稀疏允许简单的编码孔径被用来有效地提供能够被用来确定到人的距离的重影图像。
***可以考虑与仅单个瞳孔相对应的图像对象,或者可以在其它实施例或情境中考虑与两个瞳孔相对应的图像对象。例如,如先前描述的那样,两个位移量度可以基于图像对象对而被生成,其中每个图像对象对都对应于由单个瞳孔引起的两个图像对象。图像对象与瞳孔之间的匹配能够通过考虑位置和编码孔径来容易地实现。例如,对于两个垂直地定位的开口,具有最小垂直距离的图像对象可以被假设是相同瞳孔的重影图像。两个位移然后可以被平均并且距离可以基于经平均的位移而被确定(或者等同地,两个距离可以被计算和平均)。应当理解,在一些实施例中,例如取决于对于每个检测的图像对象的可靠性估计,加权平均可以被执行。
替换地或附加地,对于两个瞳孔的两个检测的位移可以被用来确定人的头部的定向。因此,通过单独地分析到人脸上的眼睛的距离,头部定向能够从眼睛的范围差得到。头部的定向可以基于已估计距离而被确定或者可以直接地根据位移被确定。原理可以由图10的示例性图像来说明。当两只眼睛具有相同的重影图像位移时,头部被优选地朝相机定向(如在图9的例子中一样)。然而,当任一重影对比另一对更接近时,头部分别转向其右边或左边(如在图10的例子中一样)。转向的程度能够根据位移中的差被确定,并且转向的方向通过哪一个位移是最大的来给出。
在一些实施例中,***可以包括用于生成明亮的瞳孔图像的主动光源以及用于控制光源使得明亮的瞳孔图像和黑暗的瞳孔图像两者都能够被生成的控制器。这样的***的例子在图11中被说明并且除光源1101 (在特定例子中形式为闪光)被包括之外对应于图1的***。光源1101被基本上定位于图像捕获装置101的光轴上。***进一步地包括被耦合到光源110、图像捕获装置101以及耦合到接收器101的控制器1103。
控制器1103可以首先控制接收器101和图像捕获装置101以便在光源未被接通的情况下捕获图像。这个图像将是黑暗的瞳孔图像。控制器1103然后可以控制接收器101和图像捕获装置101以便捕获第二图像但这次控制器1103控制光源1101使得闪光被与正被捕获的图像同时地(或不久前)生成。因为光源1101被定位于图像捕获装置101的光轴上,所以这个光将被视网膜反射从而导致明亮的瞳孔图像。
图1 (和图11)的***是基于使用编码孔径的图像捕获装置101的。低复杂性编码孔径被用来生成有特色特征(诸如瞳孔)的重影图像,从而允许距离确定是基于低复杂性重影图像位移(偏移)的。在许多实施例中,编码孔径由许多不相交的开口形成,其中每个开口都导致对象的重影图像。典型地,仅几个以及具体地不多于五个开口被使用,从而减少重影图像的数目,并且因此减少对应图像对象的检测和处理所要求的复杂性。这可以进一步减少不同开口的图像之间的干涉并且可以导致更准确的、鲁棒性的且可靠的距离确定。在许多实施例中,编码孔径可以具有仅两个开口。这将提供两个重影图像以及因此足以在最小化或者至少减少处理的复杂性和来自不同开口的重影图像之间的重影图像串扰的同时允许距离确定。
具体地,使用仅几个开口,并且特别地使用仅两个开口,可以增加正被处理的图像的数据稀疏性。当这个与导致稀疏的(捕获的或在处理后的)图像的场景组合时,特别高效的、可靠的、低复杂性且低资源需求的操作能够被实现。
由少量开口组成的这样的编码孔径典型地将不适合于常规成像,因为它将导致整个场景在可变距离处的重影图像,全部都叠加在彼此上。这样的贡献对于许多常规图像来说解析和分离将是非常困难且复杂的,并且将要求非常复杂的算法和方法。然而,发明人已经认识到对于许多场景,与特定对象的重影图像相对应的特定图像对象的低复杂性标识甚至在这样的模糊之后也是可能的,以及这样的图像对象的检测能够被用来确定到对象的距离。在稀疏图像能够在特定图像对象突出的地方被生成时,该方法特别好地工作。这样的稀疏图像例如能够通过作为适合场景(例如仅有的明亮元件是有关对象(诸如黑暗中汽车的前灯)的)的场景、通过特定光照(诸如用来生成明亮眼睛的同轴光照)或者通过已捕获图像的补偿(例如通过使用黑暗的瞳孔图像)或者当然通过这些方法的组合而被生成。事实上,在一些实施例中,该方法可以被用在其中仅假定场景能够导致稀疏图像的应用中。如果场景满足这个假设,则算法将提供可靠的结果(例如当在黑暗中检测到前灯时)。如果场景不满足这个假设(例如对于在白天期间的相同场景以及在前灯被断开情况下),则算法允可能不能够提供准确的估计。然而,在许多应用中,这可能是可接受的,即有时(但不总是)提供可靠估计的低复杂性的算法可能是完全地可接受的。
在许多情境和实施例中,***可以被设计使得与特定对象(例如瞳孔)相对应的图像对象将是不相交/非重叠图像对象(例如对于给定距离范围来说)。这将大大地便利于图像对象之间位移的检测以及确定。
然而,在一些实施例中,图像对象可以被允许重叠(例如甚至在其中设备被要求起作用的操作距离范围内)。在这样的实施例中,位移可以是基于对象几何结构以及开口几何结构的假设的。例如,对于瞳孔和圆形开口,重影图像已知为基本上圆形的。因此,检测器可以被布置成搜索圆形图像对象,同时允许这些是重叠的。例如,明亮的椭圆图像区域可以被解析为两个圆形图像对象。
然而,在一些实施例中,每个开口可以形成干涉测量图案。例如,每个开口可以被形成为如图12中所说明的带波片干涉测量图案。对于足够大的位移,由带波片图案所调制的对应重影图像将仍然是不相交的图像对象,如图13中所说明的。在这种情况下,位移可以简单地被确定为对象的中心之间的距离。然而,当位移被减少使得图像对象开始重叠时(如在图14的两个例子中所说明的那样),位移可以通过分析结果得到的干涉图案而被确定。例如,在图14的例子中,位移能够根据出现在干涉图案中的灰色线之间的距离而被确定。这继而能够容易地通过在水平方向上对信号进行投影/求和来检测。因为灰色线建设性地累计,所以这些将在结果得到的一维信号中形成峰,其距离能够使用互相关或其它众所周知的方法而被容易地找到。
应当理解,尽管先前的实施例已集中在基于明亮的瞳孔图像(以及可选地黑暗的瞳孔图像)检测到瞳孔的距离,但是方法能够被用在许多不同的应用和环境中以及用于到许多不同障碍的距离的检测。
作为例子,方法可以被用来确定到汽车的距离。例如,所描述的原理能够被用在设计成例如在黑暗的数小时期间在乡村道路中操作的高速相机中。在这种情况下,当汽车接近时,相机将呈现有除接近汽车的前灯之外多半为黑暗的场景。这些前灯能够归因于编码的孔径而在捕获的图像中创建重影图形。所述重影图像能够简单地通过搜索明亮图像对象而被识别,并且根据经识别的对象而确定的位移能够被用来计算到汽车的距离。如果两个(或更多个)图像以已知时间差被捕获,则对应的距离能够被计算并且汽车的速度能够被根据其被计算。
所述设备特别适合于在这样的应用中使用,在所述应用中场景是这样的使得所期望的图像的重影图像具有大大地与该场景的其它成分相区别的光学特性。
特别地,场景可以被被动地控制,诸如将高速相机的操作限制于黑暗的数小时。然而,在其它实施例中,***可以包括光源,所述光源以这样一种方式来照射场景使得已辐射光加重对象的光学特性以及具体地使得对象的光学特性与场景中其它元件(例如背景)的光学特性之间的差异被增加。
这例如可以通过光源的定位而被实现。例如,如先前描述的那样,光源可以被定位于相机的光轴上使得视网膜的反射被实现来生成更明亮的瞳孔。另一例子可以定位光源使得具有与所期望的对象类似的光学特性(例如相同的色彩)的对象被定位在阴影中。这样的方法可以适合于其中环境在建立阶段是充分静态的且众所周知的应用。
在一些实施例中,从光源辐射的光的频率分布可以被布置成加重对象当被图像捕获装置101捕获时的光学特性。例如,红外光可以被用来创建更显著的明亮的瞳孔效果。作为另一例子,对于为基本上白色的对象,紫外光可以被用来进一步加重对象在已捕获图像中的重影图像。在其它实施例中,更细微的频率分布可以被用来具体地加重对象相对于其它对象的特定彩度。
在一些实施例中,空间分布可以被用来使对象突出。例如,如果对象的近似位置是已知的或假定的,则光源可以在位置的、较少光在其它方向上辐射的方向上被瞄准。
在一些实施例中,从光源辐射的光的偏振可以被用来加重已捕获图像中对象的区别性光学特性。例如,如果对象包括偏振滤光器,则反射对于正确地偏振的光来说比其它对象的反射可能是大大地更高的。这例如可以在使用照射反射器的偏振光源时发生。完美的镜子将不变更光的偏振,然而所有其它扩散反射表面将会。
在一些实施例中,到其的距离将被检测的一个或多个对象可以被提供有这样的特征,所述特征提供在已捕获图像中能够被检测到的特定光学特性。这可以允许与由编码孔径所生成的重影图像相对应的图像对象的检测。例如,特定光辐射或光反射元件可以被定位于对象上,并且***可以被布置成在已捕获图像中检测对应的图像对象。
作为特定例子,***可以被用在其中工业机器人被用在仓库中的应用中。工业机器人可以被布置成在仓库内移动(自由地或在轨道上)以便选择和拾取特定物品,其然后被移动其它特定位置。具体地,订单可以通过使用布置成从它们在仓库中的单独存储位置挑选与该订单相对应的物品的工业机器人而被自动地包装。在这样的应用中,重要的是跟踪机器人的位置并且这可以通过使用与图1的装置相对应的一个或多个装置来实现。
作为特定例子,图15说明了其中三个工业机器人1501、1503、1505被定位在由根据图1的***的图像捕获装置所勘查的场景内的情境。在该例子中,三个工业机器人1501、1503、1505中的每一个都提供有反射元件1507、1509、1511,其在该特定例子中可以为附着到单独的机器人的回归反射贴纸。仓库可以被将由反射元件1507、1509、1511反射的光照射,从而使这些在已捕获图像中很清楚地突出。结果,与反射元件1507、1509、1511相对应的图像对象能够容易地在已捕获图像中被检测到并且对应的重影图像之间的位移能够被测量,从而导致到反射元件1507、1509、1511以及因此到工业机器人1501、1503、1505的距离的确定。
回归反射贴纸因此可以提供使对应图像对象的检测变得更容易且更可靠的光学特性。该方法可能在许多方式上类似于利用明亮的瞳孔的特性(即视网膜的回归反射性质)的方法。该方法可以进一步包括能够改进操作的其它措施。例如,照明和/或回归反射贴纸可以被具体地适配成提供清楚地可检测的图像对象。例如,光照可以被选择成具有和回归反射贴纸的频率响应匹配的频率分布,从而在衰减来自其它场景对象(或背景)的贡献的同时加重反射。事实上,在一些实施例中,除被回归反射贴纸作为可见光反射的UV光之外,仓库例如可以处于黑暗中。在这样的情境下,检测器105可以简单地检测已捕获图像中的明亮图像区域。
在图15的例子中,场景包括提供有相同的回归反射贴纸的三个不同的工业机器人。在这种情境下,***可以连续地跟踪机器人1501、1503、1505的移动,并且可以具体地跟踪对应图像对象在图像中的移动。***因此可以使用这个信息来在与不同的机器人1501、1503、1505相对应的图像对象之间进行区分。
在其它实施例中,场景对象可以提供有具有不同光学特性的元件。因此,多个场景对象可以针对距离确定而被检测,区别由光学特性的区别来提供。例如,回归反射贴纸可以提供有在由编码孔径和非焦平面成像所导致的模糊之后仍然能够被区别的不同图案。作为另一例子,反射贴纸可以具有在重影图像的结果得到的图像对象中能够被检测到的不同形状。这样的方法可以允许***不仅检测到场景对象的距离,而且从正被测量的多个场景对象识别出所述场景对象。
在一些实施例中,将可区别的属性提供给场景对象的光学元件可以是主动光源而不是被动或反射光源。例如,工业机器人1501、1503、1505可以提供有静态或闪烁光源,诸如单个发光二极管(LED)或例如LED的阵列。进一步地,光源具体地可以被布置成提供改进或者便利于检测的属性。例如,红外或紫外光源可以被提供,或者具有例如特定色彩的光源能够被用来提供比较容易的检测。例如,图5的工业机器人1501、1503、1505中的每一个都可以提供有不同色彩的LED阵列。例如第一机器人1501可以提供有红LED阵列,第二机器人1503可以提供有绿LED阵列,以及第三机器人1505可以提供有黄LED阵列。这样的方法可以(特别地在另外的黑暗环境中)允许与重影图像相对应的图像对象的非常简单又可靠的检测,并且可以进一步允许工业机器人之间的区别。
应当理解,相对于提供容易地可检测的图像对象的场景的光照所描述的不同属性同样地可以与反射或主动光源一起使用。例如,偏振的光源或偏振的反射器可以与在编码孔径前面的偏振滤光器一起使用。这可以衰减来自其它元件的光,同时允许来自所期望的光学元件的光基本上未被衰减地穿过。作为另一例子,不同的色彩或图案可以被用来提供与重影图像相对应的图像对象的可检测且可区别的属性。
应当理解,多个距离确定装置可以被使用。例如,装置可以被定位于仓库的垂直墙上,从而允许距离沿着垂直轴线被确定。这可以允许工业机器人在仓库中的特定位置的确定。
作为又一个例子,可检测的光学特性可以是光的衰减或阻断,而不是主动或被动光辐射。例如,输送机带可以位于光辐射墙前面。因此,光辐射墙可以提供能够被定位于输送机带上的物品阻断的背光。如所描述的距离确定装置可以被定位在输送机带前面并且向背光瞄准。输送机带上的物品将阻断背光,从而导致黑暗图像对象,其与黑暗对象在已捕获场景中的重影图像相对应。
作为另一例子,方法可以被用来确定对象的多个点的位置。例如,当对例如游戏或虚拟电影的演员进行运动捕获时,演员可以提供有在已捕获图像中被跟踪的许多元件。例如,贴纸可以被提供在演员的手臂、腿、躯干等的有关位置上。执行移动的演员的视频捕获然后允许密切地和该演员的移动匹配的虚拟模型被生成。进一步地,通过作为例如反射元件提供这些元件,如所描述的距离确定装置可以检测到反射元件的距离,从而允许视频捕获被从距离确定装置得到的深度信息增强。因此,改进的运动捕获能够被实现。
如应当理解的那样,方法可以允许显著地减少的复杂性并且可以提供用于确定距离的高度有利的方法。事实上,该方法特别适于许多不同的机器视觉***和应用。
应当理解,所描述的原理能够被用在许多不同的应用和情境中。例如,方法可以被用来估计人类的位置,其中例如图像对象在已捕获图像中的位置能够被用来确定与图像平面平行的平面中的位置然而在与其正交的方向上的位置是基于所描述的深度估计的。这样的方法例如对于诸如用于老年人或医院病房的监控***、能够局部调光以便节省能量或者改变光束形状和光谱特征以增加舒适的自适应照明***之类的应用来说可能是有用的。特别地,人眼的精确位置对于其中所提供的视图适于所检测到的眼睛位置的显示目的来说可能是感兴趣的,例如以便将最佳视图提供给两只眼睛以用于3D成像或者以便在最近的一双眼睛的方向上提供私有视图,同时在其它方向上屏蔽该视图。
图16说明了使用自动立体显示器1601的3D再现***中的示范性使用情境。对于这样的***上的准确3D再现,具有对于观察者的头部的姿势和距离的信息是有用的,不仅以便潜在地创建新的3D再现,而且以便经由柱镜光栅式(lenticular)屏幕来创建新的图像视图投影1620、1621。特别地,头部运动应该被迅速地跟踪,以便视图投影总是能够被立即补偿,而观察者实际上没有察觉到***,并且看见自然3D (例如,例如在视频会议***或具有运动行为交互的游戏中的不仅静态观察者1605,而且四处走动的观察者1610)。再次,一个人可以使用具有智能地(smartly)选取的孔径图案的相机1602来取决于观察者的眼睛的距离容易地分割信息,并且眼睛图案的位置能够被用来确定例如定向。特别地,一个人能够想出孔径图案或其它映射来在图像平面中起作用(例如经由具有例如LCD或迅速改变的快门等的可变孔径),除涉及距离的几何确定之外还允许更精确的姿势确定。典型地,连接到相机的将是红外光照源1603。应当理解,本***还能够被用在用户接口***中,例如便携式装置1630可以包含诸如回归反射图案的红外反射结构,并且于是该装置的3D定位可以被确定,以及被用在取决于其的软件中,诸如控制或游戏软件等。当然这个便携式装置同样可以包括类似的相机***。例如典型地,本发明的一个或多个这样的基于相机的设备实施例可以例如经由连接单独的设备的电连接而被连接到显示器(例如,在其上部的中间)和机械固定***。
应当理解,为清楚起见,上述描述已经参考不同的功能电路、单元以及处理器描述了本发明的实施例。然而,将明显的是,在不偏离本发明的情况下,功能性在不同的功能电路、单元或处理器之间的任何适合的分布可以被使用。例如,被图示成由单独的处理器或控制器执行的功能性可以由相同的处理器或控制器来执行。从而,对特定功能单元或电路的参考仅将被视为对用于提供所描述的功能性的适当装置的参考,而不是表明严格的逻辑或物理结构或组织。
本发明能够以包括硬件、软件、固件或这些的任何组合的任何适合的形式被实施。本发明可选地可以被至少部分地实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件或构件可以以任何适合的方式被在物理上、功能上以及逻辑上实施。事实上,功能性可以被实施在单个单元中、在多个单元中或被实施为其它功能单元的一部分。这样,本发明可以被实施在单个单元中,或者可以在物理上和功能上被分布在不同的单元、电路以及处理器之间。
尽管已经结合一些实施例描述了本发明,但是其不旨在被限于在本文中所阐述的特定形式。相反,本发明的范围仅由所附权利要求来限制。附加地,尽管特征可能好像是结合特定实施例被描述了,但是本领域的技术人员将认识到,可以依照本发明来组合所描述的实施例的各种特征。在权利要求中,术语包括不排除其它元件或步骤的存在。
此外,尽管被单独地列举,但是多个装置、元件、电路或方法步骤可以例如由单个电路、单元或处理器来实施。附加地,尽管单独的特征可以被包括在不同的权利要求中,但是这些可以可能地被有利地组合,并且包括在不同权利要求中不暗示特征的组合不是可行的和/或有利的。同样地,将特征包括在权利要求的一个类别中并不暗示对这个类别的限制,而是表明特征视情况同样地可适用于其它权利要求类别。此外,特征在权利要求中的次序不暗示特征必须以其工作的任何特定次序,并且特别地,方法权利要求中的单独步骤的次序不暗示步骤必须以此次序被执行。相反,步骤可以以任何适合的次序被执行。此外,单数参考不排除多个。因此对“一”、“一个”、“第一”、“第二”等的参考不排除多个。权利要求中的附图标记仅作为澄清的例子被提供,不应该被解释为以任何方式限制权利要求的范围。
Claims (14)
1.一种用于确定到场景对象的距离的设备,所述设备包括:
图像捕获装置(101),其具有编码孔径和图像传感器,所述图像传感器被定位在针对场景对象的焦平面之外;
接收器(103),用于从图像捕获装置(101)的图像传感器接收场景的第一图像;
检测器(105),用于响应于场景对象的光学特性来检测图像中的与由编码孔径的不同开口导致的场景对象的重影图像相对应的至少两个图像对象,所述光学特性是对象对于图像捕获装置(101)的辐射特性,其中所述光学特性是当图像的属性被分析时允许场景对象在图像中为可辨别的场景对象的特性;
距离估计器(107),用于响应于所述至少两个图像对象的图像中的位移来确定到场景对象的距离;所述设备的特征进一步包括:
光源(1101),其用于照射场景,所述光源具有被布置成加重场景对象的光学特性使得场景对象的光学特性与场景的其它元素的光学特性之间的差被增加的特性,其中所述特性是以下各项中的至少一个:
光源的位置;
从光源辐射的光的频率分布;
从光源辐射的光的空间分布。
2.根据权利要求1所述的设备,其中所述图像是明亮的瞳孔图像并且所述光学特性是由视网膜翻转向图像捕获装置(101)的光的特性。
3.根据权利要求2所述的设备,其中接收器(103)被布置成从图像传感器接收场景的第二图像,第二图像是黑暗的瞳孔图像;并且其中检测器(105)被进一步布置成在检测所述至少两个图像对象之前针对第二图像补偿第一图像。
4.根据权利要求3所述的设备,进一步包括:用于照射场景的光源(1101),光源(1101)被基本上定位于图像捕获装置(101)的光轴上;以及光源控制器(103),其被布置成为第一图像接通光源并且布置成为第二图像断开光源。
5.根据权利要求2或3所述的设备,其中所述至少两个图像对象对应于人的第一瞳孔并且检测器(105)被进一步布置成检测所述图像的与由编码孔径的不同开口导致的人的第二瞳孔的重影图像相对应的另外的至少两个图像对象;并且其中距离估计器(107)被进一步布置成响应于所述另外的至少两个图像对象的图像中的位移来确定所述距离。
6.根据权利要求2或3所述的设备,其中所述至少两个图像对象对应于人的第一瞳孔;并且检测器(105)被进一步布置成检测所述图像的与由编码孔径的不同开口导致的人的第二瞳孔的重影图像相对应的另外的至少两个图像对象;并且其中距离估计器(107)被进一步布置成响应于所述至少两个图像对象的图像中的位移与所述另外的至少两个图像对象的图像中的位移之间的差来确定人的头部的定向。
7.根据权利要求1或2所述的设备,其中所述至少两个图像对象中的至少两个是不相交的图像对象。
8.根据权利要求1或2所述的设备,其中编码孔径由许多不相交的开口形成,每个开口导致场景对象的重影图像。
9.根据权利要求8所述的设备,其中所述不相交的开口的数目少于五。
10.根据权利要求8所述的设备,其中每个开口具有干涉测量图案;并且所述设备被布置成响应于至少两个开口的干涉测量图案的推断图案来确定所述至少两个图像对象的图像中的位移。
11.一种用于确定到场景对象的距离的***,所述***包括根据权利要求1的设备。
12.根据权利要求11所述的***,进一步包括用于附着到场景对象的光学元素,所述检测器被布置成响应于光学元素的光学属性来检测所述至少两个图像对象。
13.一种确定到场景对象的距离的方法,所述方法包括:
从具有编码孔径的图像捕获装置(101)的图像传感器接收场景的第一图像,所述图像传感器被定位在针对场景图像的焦平面之外;
响应于场景对象的光学特性来检测图像中的与由编码孔径的不同开口导致的场景对象的重影图像相对应的至少两个图像对象,所述光学特性是对象对于图像捕获装置(101)的辐射特性,其中所述光学特性是当图像的属性被分析时允许场景对象在图像中为可辨别的场景对象的特性;
响应于所述至少两个图像对象的图像中的位移来确定到场景对象的距离;所述方法的特征进一步包括以下步骤:
照射场景,光源具有被布置成加重场景对象的光学特性使得场景对象的光学特性与场景的其它元素的光学特性之间的差被增加的特性,其中所述特性是以下各项中的至少一个:
光源的位置;
从光源辐射的光的频率分布;
从光源辐射的光的空间分布。
14.自动立体显示***,包括根据权利要求1-10中的任一项所述的设备。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161540045P | 2011-09-28 | 2011-09-28 | |
US61/540,045 | 2011-09-28 | ||
US61/540045 | 2011-09-28 | ||
PCT/IB2012/055010 WO2013046100A1 (en) | 2011-09-28 | 2012-09-21 | Object distance determination from image |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103827920A CN103827920A (zh) | 2014-05-28 |
CN103827920B true CN103827920B (zh) | 2018-08-14 |
Family
ID=47291186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280047749.0A Active CN103827920B (zh) | 2011-09-28 | 2012-09-21 | 根据图像的对象距离确定 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10595014B2 (zh) |
EP (1) | EP2748797B1 (zh) |
JP (1) | JP6110862B2 (zh) |
CN (1) | CN103827920B (zh) |
RU (1) | RU2616175C2 (zh) |
WO (1) | WO2013046100A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9784577B2 (en) * | 2012-03-16 | 2017-10-10 | Lg Innotek Co., Ltd. | Measuring distance from object by using size of pattern projected onto object |
KR102044498B1 (ko) * | 2012-07-02 | 2019-11-13 | 삼성전자주식회사 | 영상 통화 서비스를 제공하기 위한 방법 및 그 전자 장치. |
RU2595759C2 (ru) * | 2014-07-04 | 2016-08-27 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для захвата изображения и одновременного извлечения глубины |
WO2016003253A1 (en) | 2014-07-04 | 2016-01-07 | Samsung Electronics Co., Ltd. | Method and apparatus for image capturing and simultaneous depth extraction |
WO2016047240A1 (ja) | 2014-09-24 | 2016-03-31 | ソニー株式会社 | 画像処理装置、撮像素子、撮像装置および画像処理方法 |
WO2016136501A1 (ja) * | 2015-02-26 | 2016-09-01 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
JP6582604B2 (ja) * | 2015-06-23 | 2019-10-02 | 富士通株式会社 | 瞳孔検出プログラム、瞳孔検出方法、瞳孔検出装置および視線検出システム |
CN106643642B (zh) * | 2015-10-29 | 2019-05-10 | 原相科技股份有限公司 | 双孔径测距*** |
CN107865473B (zh) * | 2016-09-26 | 2019-10-25 | 华硕电脑股份有限公司 | 人体特征测距装置及其测距方法 |
JP6860433B2 (ja) * | 2017-06-19 | 2021-04-14 | 株式会社東芝 | 処理装置、処理システム、方法及びプログラム |
CN107884782B (zh) * | 2017-11-07 | 2021-07-13 | 上海理工大学 | 基于人眼视觉和玫瑰扫描的移动物体关联成像方法 |
JP7052305B2 (ja) * | 2017-11-13 | 2022-04-12 | トヨタ自動車株式会社 | 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム |
CN108303039B (zh) * | 2018-01-23 | 2019-06-21 | 北京理工大学 | 一种高斯光鬼成像的光强补偿方法 |
CN111868764A (zh) * | 2018-03-16 | 2020-10-30 | 福特汽车公司 | 在共享车辆环境中提供可用性的指示器 |
CN113055584B (zh) * | 2019-12-26 | 2023-06-30 | 深圳市海思半导体有限公司 | 基于模糊程度的对焦方法、镜头控制器及相机模组 |
CN111383199B (zh) * | 2020-03-23 | 2023-05-26 | 如你所视(北京)科技有限公司 | 图像处理方法、装置、计算机可读存储介质及电子设备 |
US11381729B1 (en) * | 2021-01-08 | 2022-07-05 | Hand Held Products, Inc. | Systems, methods, and apparatuses for focus selection using image disparity |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996041304A1 (en) * | 1995-06-07 | 1996-12-19 | The Trustees Of Columbia University In The City Of New York | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus |
CN101662694A (zh) * | 2008-08-29 | 2010-03-03 | 深圳华为通信技术有限公司 | 视频的呈现方法、发送、接收方法及装置和通信*** |
CN101884011A (zh) * | 2007-12-05 | 2010-11-10 | Nxp股份有限公司 | 用于数字摄像机***的闪光补偿*** |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003004441A (ja) * | 2001-06-18 | 2003-01-08 | Hitachi Ltd | 距離計測方法および距離計測機能を有する画像入力装置 |
US7756319B2 (en) * | 2002-02-13 | 2010-07-13 | Ascension Technology Corporation | Optical system for determining the angular position of a radiating point source and method of employing |
US7206435B2 (en) * | 2002-03-26 | 2007-04-17 | Honda Giken Kogyo Kabushiki Kaisha | Real-time eye detection and tracking under various light conditions |
US10148897B2 (en) * | 2005-07-20 | 2018-12-04 | Rearden, Llc | Apparatus and method for capturing still images and video using coded lens imaging techniques |
GB0510470D0 (en) * | 2005-05-23 | 2005-06-29 | Qinetiq Ltd | Coded aperture imaging system |
BRPI0616547A2 (pt) * | 2005-08-17 | 2011-06-21 | Seereal Technologies Gmbh | método e sistema de reconhecimento e rastreamento, em tempo real, da posição ocular de múltiplos usuários |
US7773218B2 (en) * | 2006-04-17 | 2010-08-10 | Duke University | Spatially-registered wavelength coding |
GB0615040D0 (en) * | 2006-07-28 | 2006-09-06 | Qinetiq Ltd | Processing method for coded apperture sensor |
US8970680B2 (en) * | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
EP2064676B1 (en) * | 2006-09-21 | 2011-09-07 | Thomson Licensing | A method and system for three-dimensional model acquisition |
JP2008175925A (ja) * | 2007-01-17 | 2008-07-31 | Hitachi Ltd | 光情報記録再生装置および光記録媒体 |
US8089635B2 (en) * | 2007-01-22 | 2012-01-03 | California Institute Of Technology | Method and system for fast three-dimensional imaging using defocusing and feature recognition |
KR20100019455A (ko) * | 2007-04-23 | 2010-02-18 | 캘리포니아 인스티튜트 오브 테크놀로지 | 단일-렌즈, 단일-개구, 단일-센서의 3-cd 영상화 장치 |
GB0814562D0 (en) * | 2008-08-08 | 2008-09-17 | Qinetiq Ltd | Processing for coded aperture imaging |
US8374389B2 (en) * | 2009-02-06 | 2013-02-12 | Robert Bosch Gmbh | Iris deblurring method based on global and local iris image statistics |
EP2446638B1 (en) * | 2009-06-25 | 2016-12-28 | Koninklijke Philips N.V. | Stereoscopic image capturing method, system and camera |
US8304737B2 (en) * | 2009-10-02 | 2012-11-06 | Ut-Battelle, Llc | Apparatus and method to achieve high-resolution microscopy with non-diffracting or refracting radiation |
US8577539B1 (en) * | 2010-01-27 | 2013-11-05 | The United States Of America As Represented By The Secretary Of The Air Force | Coded aperture aided navigation and geolocation systems |
EP2537332A1 (en) * | 2010-02-19 | 2012-12-26 | Dual Aperture, Inc. | Processing multi-aperture image data |
US8330852B2 (en) * | 2010-04-30 | 2012-12-11 | Eastman Kodak Company | Range measurement using symmetric coded apertures |
US20110267485A1 (en) * | 2010-04-30 | 2011-11-03 | Kane Paul J | Range measurement using a coded aperture |
DE102010023344A1 (de) * | 2010-06-10 | 2012-01-19 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Kameraobjektiv und Kamerasystem |
US8705801B2 (en) * | 2010-06-17 | 2014-04-22 | Panasonic Corporation | Distance estimation device, distance estimation method, integrated circuit, and computer program |
US8427324B2 (en) * | 2010-07-30 | 2013-04-23 | General Electric Company | Method and system for detecting a fallen person using a range imaging device |
US8582820B2 (en) * | 2010-09-24 | 2013-11-12 | Apple Inc. | Coded aperture camera with adaptive image processing |
US9007689B2 (en) * | 2011-04-04 | 2015-04-14 | General Electric Company | Method and apparatus for forming multiple images |
US9030522B2 (en) * | 2011-06-24 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for providing media content |
US8966613B2 (en) * | 2011-09-30 | 2015-02-24 | Microsoft Technology Licensing, Llc | Multi-frame depth image information identification |
-
2012
- 2012-09-21 CN CN201280047749.0A patent/CN103827920B/zh active Active
- 2012-09-21 RU RU2014117031A patent/RU2616175C2/ru active
- 2012-09-21 EP EP12795618.3A patent/EP2748797B1/en active Active
- 2012-09-21 WO PCT/IB2012/055010 patent/WO2013046100A1/en active Application Filing
- 2012-09-21 JP JP2014532522A patent/JP6110862B2/ja active Active
- 2012-09-21 US US14/342,899 patent/US10595014B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996041304A1 (en) * | 1995-06-07 | 1996-12-19 | The Trustees Of Columbia University In The City Of New York | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus |
CN101884011A (zh) * | 2007-12-05 | 2010-11-10 | Nxp股份有限公司 | 用于数字摄像机***的闪光补偿*** |
CN101662694A (zh) * | 2008-08-29 | 2010-03-03 | 深圳华为通信技术有限公司 | 视频的呈现方法、发送、接收方法及装置和通信*** |
Non-Patent Citations (1)
Title |
---|
"Image and Depth from a Conventional Camera with a Coded Aperture";Anat Levin,et al.;《ACM TRANSACTION ON GRAPHICS(TOG)》;20070731;第26卷(第3期);第1-1.2节 * |
Also Published As
Publication number | Publication date |
---|---|
RU2616175C2 (ru) | 2017-04-12 |
US20140210964A1 (en) | 2014-07-31 |
CN103827920A (zh) | 2014-05-28 |
US10595014B2 (en) | 2020-03-17 |
JP2015501416A (ja) | 2015-01-15 |
JP6110862B2 (ja) | 2017-04-05 |
WO2013046100A1 (en) | 2013-04-04 |
EP2748797B1 (en) | 2015-03-04 |
RU2014117031A (ru) | 2015-11-10 |
EP2748797A1 (en) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103827920B (zh) | 根据图像的对象距离确定 | |
US11693242B2 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
KR101550474B1 (ko) | 양안을 찾아내어 추적하는 방법 및 장치 | |
US9392262B2 (en) | System and method for 3D reconstruction using multiple multi-channel cameras | |
US11330200B2 (en) | Parallax correction using cameras of different modalities | |
US9947098B2 (en) | Augmenting a depth map representation with a reflectivity map representation | |
CN109711243A (zh) | 一种基于深度学习的静态三维人脸活体检测方法 | |
EP3503033B1 (en) | Optical tracking system and optical tracking method | |
CN108701363B (zh) | 使用多相机识别和追踪对象的方法、设备和*** | |
TW201112161A (en) | Depth mapping based on pattern matching and stereoscopic information | |
JPH0782539B2 (ja) | 瞳孔画像撮影装置 | |
JP3450801B2 (ja) | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム | |
CN107103589A (zh) | 一种基于光场图像的高光区域修复方法 | |
EP3042341A1 (en) | Method and apparatus for eye detection from glints | |
US10485420B2 (en) | Eye gaze tracking | |
JP6555707B2 (ja) | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム | |
Rantoson et al. | 3D reconstruction of transparent objects exploiting surface fluorescence caused by UV irradiation | |
KR102253350B1 (ko) | 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법 | |
Yildiz et al. | A multi-view camera system for the generation of real-time occlusion-free scene video | |
KR20150144185A (ko) | 안구 중심점 추출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |