CN102947726B - 扫描3d成像仪 - Google Patents

Abstract

一种扫描3D成像仪，用于记录场景的图像，所述成像仪包括光源、扫描镜、以及成像仪芯片；所述光源配置为发射具有线性截面的扇形脉冲光束；所述扫描镜设置在所述光束的光路中，以引导所述光束进入所述场景，并且通过将所述光束横切于其所述线性截面扫过所述场景来相继照亮所述场景的切片；设置所述成像仪芯片以经由所述扫描镜接收来自所述场景的光，所述成像仪芯片包括光电传感器阵列，所述光电传感器阵列以所述场景的所述照亮切片在其上相继成像的方式设置。

Description

扫描3D成像仪

技术领域

本发明涉及一种扫描3D成像仪，特别是这种根据飞行时间(ToF)测量原理进行操作的成像仪。

背景技术

用于产生空间给定部分的三维(3D)表示的***在许多不同领域中具有多种潜在的应用。仅举几例，示例为汽车传感器技术(例如车辆乘客检测和/或分类)，自动化技术，或监视技术(例如工厂监控、人数统计、访问控制以及行人检测)。

根据ToF距离测量原理，将光信号发射至感兴趣的场景且测量发射信号的回波(echo-return)与发射之间的时间。对应距离与测量的飞行时间成比例。为了本发明描述的目的，术语“光”可理解为包括可见光、红外(IR)光以及紫外线(UV)光。

现今，存在使用ToF测量原理的不同的3D成像技术。下文中将对它们进行简要介绍。

3D相机

自1994年根据Seitz和Spirig的工作已知基于飞行时间距离测量的单目3D相机，例如参见DE4440613。Seitz和Spirig提出了将场景成像的特殊图像传感器矩阵。该矩阵中的每个像素执行由调制光源发射的(正弦的)振幅调制光与由观测下的场景反射的振幅调制光之间的相移的测量。该技术有时也称为“相移技术”。这种模拟ToF测量技术有许多测量误差，这些测量误差需要特殊测量以校正它们。

因为所测距离(与相移成比例)是可能经过不同的路径和经过多次反射的所有到达图像传感器的调制光的加权平均，因此需要考虑光在大气或光学***中的扩散。为实现很高的测量精度，因此需要很长的光子采集时间。这意味着，反过来，例如来自太阳或其它未受控制的光源的许多“背景”光子(未出自振幅调制光的光源的光)将影响测量。背景光抑制在理论上可行，但被证明难以实现。因此调制光源需要非常高的功率，以使得***能够处理环境光。该高功率光的要求对于许多应用表现出主要的缺点。该技术的典型性能是每秒约10幅图像的帧重复率，该图像具有多于10000像素的分辨率并对于每个像素具有深度信息的完整X-Y图像。主要的缺点是IR光源非常高的功率。

激光雷达

已知激光雷达或光雷达通过随着检测反向散射光之后发射短激光脉冲来执行准确的ToF距离测量。这种设备的成像特征通常局限于通过使用旋转的多面镜扫描一个或两个平面。飞行时间通常由所谓的TDC、时间数字转换器进行测量。因为对场景的特定点的测量时间非常短，每15cm的距离间隔最大1ns，因此数字距离测量提供了更高精度和减少环境光影响的优点。观测下的特定点的激光照明比测量时间期间累积的环境光的贡献更亮。主要用于军事应用和科学试验的激光雷达仪器历来是昂贵的。成像性能差且记录完整图像所需的时间很长。

振动镜扫描仪

通过使用振动镜将光脉冲依次引导至观测下的场景的各个点上，来制作一种成本较低的成像激光雷达。扫描镜ToF技术避免了一些模拟相移测量的传统问题。一些实施方式能够实现具有距离信息的完整2D图像(即3D图像)的记录。

在激光偏转应用中，已知所谓电镜(galvano-mirror)很长时间了。使用光刻工艺以低得多的成本来生产现代镜。这种微型机电***(MEMS)镜可在空气或真空中操作。

发射激光脉冲的功率受成本和人眼安全规则限制。为了覆盖重要距离以及对低反射率表面灵敏，相机需要最小孔径以采集足够的从场景返回的光。光学孔径受镜的尺寸限制。因此从光学的角度来看，理想镜必须很大。

从机械角度来看，理想镜的直径将仅有零点几波长。较大镜的质量与刚性会冲突。质量-弹簧(镜的质量和旋转轴的扭转弹簧)的共振频率与质量成反比。因此，高扫描频率要求非常低的镜质量。另一方面，图像质量需要一个定义良好的镜表面形状；这意味着高刚性，这要求厚的，即重的镜。

最合理的镜扫描频率是质量-弹簧***的共振频率。这符合对于给定扫描角度所需的最小驱动功率，使用正弦函数来驱动镜。如果需要二维扫描，可使用具有单一倾斜轴的两个不同MEMS镜或者使用具有两个不同倾斜轴的MEMS镜。所产生的二维扫描曲线描述了场景中的李萨如(Lissajou)图形。来自正弦形状的结果是图像的边缘处的扫描轨迹密度比在中心处高得多。这意味着，反过来，扫描时间效率很低(低于约20％)。这强烈地影响了最大的帧率-像素密度乘积。

每秒至少10幅完整的2D图像的帧率要求20kHz以上的镜振动频率。机械稳定的镜的直径将因此被限制到几毫米，从而导致差的光学孔径。该技术具有同时实现高2D分辨率、高帧率以及显著距离范围的明显问题。因此，这种类型的3D成像仪通常限于大约10m的距离范围和/或少于10000像素的图像分辨率。

固态数字ToF成像仪

另一ToF成像技术将像素传感器矩阵的优点与激光雷达的ToF测量精度相结合。整个场景同时由短激光脉冲照亮。检测反射脉冲，并且由与成像仪芯片的每个像素相关联的TDC测量时间延迟。32×32像素成像仪已被演示。不过，因为TDC和其它电路限制了可用光敏区域，因此实现高分辨率的芯片是主要问题。而且，用于多事件处理的深本地存储结构以及数据访问总线与最佳的光子灵敏度和高图像分辨率相冲突。这种装置的另一问题是需要一次照亮整个场景的激光闪光的高功率。

例如在自动化或监视领域中的许多问题可由提供特定场景的动态3D图像的传感器来解决。一般而言，现今的瓶颈不是在计算能力上，而是在对计算机的可用实时信息上。

提供在高帧重复率下的高分辨率图像并可靠测量至观测下场景的每一点的距离(范围)的3D成像仪对于视觉感测技术将是一个主要进展。这种成像仪的典型应用示例将是交通监控。所有这种车辆、行人和/或其它道路使用者的正确分类要求高分辨率。由于车辆相对高的速度，需要高帧率。明亮阳光下的操作要求非常高的环境光抗扰性。成千上万的其它应用将欢迎这种类型的3D相机。

技术问题

本发明的目的是提供一种具有改进性能的3D成像仪。该目的通过如权利要求1所述的扫描3D成像仪来实现。

发明内容

根据本发明，用于记录场景的图像，例如基于ToF的范围图像的扫描

3D成像仪，包括光源、扫描镜以及成像仪芯片，所述光源配置为发射具有线性截面的扇形脉冲光束；所述扫描镜设置在光束的光路中以引导光束进入该场景，且通过将光束横切于该线性截面扫过场景来相继照亮该场景的切片；设置所述成像仪芯片以经由该扫描镜接收来自该场景的光；所述成像仪芯片包括光电传感器阵列，所述光电传感器阵列以所述场景的所述照亮切片在其上相继成像的方式设置。

应当理解，每次只照亮该场景的切片(即，本质上为场景的一维部分)的事实使得能够使用线性光电传感器阵列，即，光电传感器阵列设置在直线上，来作为光电传感器阵列。该光电传感器阵列可包括单个线性光电传感器阵列。可替换地，它可以包括至少两个互相平行设置的线性光电传感器阵列。因此，每次仅正被照亮的场景的切片允许使用一行(或几行)光电传感器。这为TDC和存储电路留下了紧邻光电传感器的足够空间。光电传感器阵列因此实质上可视为一维的。

优选地，光源是脉冲激光源、LED或多个LED的组件，包括用于将脉冲光束成扇形的装置(例如柱面透镜、或曲面镜、或其组合)。应当理解，仅照亮场景的一行(或列)所需的脉冲功率当然是适度的，例如，约小于照亮整个场景所需的脉冲功率的100倍。

在操作期间，该3D成像仪将一个场景切片接着一个切片照亮。因为扫描镜在其倾斜轴周围振动，扇形光束横切(优选于垂直)于光束线性截面延伸的主方向扫过场景。优选于实质上一维的光电传感器阵列和由放置在光路中的运动镜执行的扫描运动的组合实现了获得该场景的完整图像，在这个意义上该图像是3D图像，其具有设置在行和列中的像素，每一像素包含距离信息。

可以以诸如低于1kHz的低频率进行扫描。甚至可在25Hz获得合理的帧重复率，而对于完全机械的2D扫描需要多于10kHz。扫描镜可因此相对很大，以导致好的光学孔径以及容易控制的、定义明确的角运动的时间函数。而且，由于较低的扫描频率，传感器指向场景特定切片的时间跨度相当长。与传统3D成像仪相比，与改进的光学孔径一起，这导致该3D成像仪的较长的距离范围(即，从最小测量距离至最大测量距离的范围)。因此可执行根据本发明的具有简单成像仪芯片和简单低频振动镜的3D成像仪以实现高分辨率。光源能够以低重复率下的合理脉冲功率来操作。以每次镜扫描1000个光脉冲(或光闪)且每秒50次扫描，该时间跨度允许覆盖多于100米的距离范围。采用成像仪芯片上的1000像素光电传感器线使得高于VGA格式甚至HD的分辨率是可行的。

紧邻每个单独的光电传感器的实际上无限制的空间使得评价电路设计能够具有复杂的功能。因此，评价电路优选以下述方式进行配置，该方式为即使以紧密的顺序接收来自场景一点的反射光，每个接收的光脉冲也获得其单独的时间戳。内存栈优选设计为具有足够的深度以处理的目标场景和情景，包括光路中的雨滴或昆虫。这种事件优选在所记录的图像数据的后处理期间被过滤掉。

因为在距离测量中通常需要亚纳秒的反应时间以实现目标的精度，因此评价电路优选被设置在靠近光电传感器的光敏区域。成像仪芯片可使用标准硅衬底制成。然而，诸如硅-锗的其它衬底可被用于实现非常快的电路并因此提高成像仪的性能。

已知用于各光子的快速检测的光电传感器，例如，所谓的SPAD(单光子雪崩二极管)。SPAD的光敏性与单个光子一样高，以导致在半导体中可检测到放电(可计数并采用时间戳来标记)。可选地，在半导体顶端的各微透镜将光线聚焦到最灵敏的区域，这增加了有效的光学填充因子。

为了获得最好的灵敏度，雪崩光电传感器以接近于击穿电压来操作。通过使用激光闪光暂停期间的暗率(darkrate)，可以单独并动态地调整该电压，以补偿传感器的差异、温度以及寿命漂移。

成像仪芯片的一个几何像素可以组合多个单独的光电传感器，以提高产量、填充因子以及甚至动态光强度范围，而仍可单独处理被检测的脉冲。

成像仪芯片可配置为不仅获得距离信息，而且获得光强度信息；在这种情况下，产生的图像包含(例如，基于ToF)距离和强度信息。

光源的波长可在可见或不可见光谱中进行选择。优选地，将光源配置为在红外光谱区中进行操作。3D成像仪可装配有以不同波长操作的多个光源，以使得能够与3D轮廓图像一起计算彩色图像或进行远程材料分析。可根据应用的需要进行波长的组合。

扫描镜优选包括配置为共振时振动的微机械镜(MEMS镜)。可替换地，扫描镜还可是(多边形)旋转镜。

根据本发明的优选实施例，该3D成像仪包括偏转镜，以将来自场景的光偏转至成像仪芯片，该偏转镜中具有使光束穿过的狭缝。

优选地，成像仪包括诸如柱面透镜的成像光学元件，以将场景的照亮切片成像在光电传感器阵列上。

为了将光束扇形展开，光源还可包括另外的扫描镜。平均而言，该另外的扫描镜可沿第一方向扇形展开光束，而前面提到的扫描镜将扇形光束扫过场景。

本发明的优选方面涉及一种计算机视觉***，其包括如上文所述的成像设备以及可操作地连接于该成像设备以处理图像数据的处理器。

附图说明

根据参照附图非限制性实施例的详细描述，本发明的进一步细节和优点将是明显的，其中：

图1是根据本发明优选实施例的扫描3D成像仪的示意性视图；

图2是根据本发明的用于扫描3D成像仪的成像仪芯片的示意性视图。

具体实施方式

图1示出了包括作为光源的脉冲激光源12的扫描3D成像仪10。脉冲激光束采用柱面透镜(未图示)扇形展开，并借助设置在激光束18的光路中的振动扫描镜16引入到待成像的场景14中。因为将激光束横切于激光束被扇形展开的平面扫过场景，因此激光束相继照亮场景16的切片。在图1中，将激光束18垂直于纸的平面扇形展开。在脉冲激光源12与振动镜之间，扇形激光束穿过以45°设置的静态偏转镜22中的狭缝20，该静态偏转镜22将从场景14散射回来的光24引到成像仪芯片26上。柱面聚焦透镜28以使场景的照亮切片能在其上成像的方式取向聚焦。

图2示意性示出3D成像仪10的成像仪芯片26。单独的光电传感器32设置在两个平行线中，以形成实质上一维的光电传感器阵列26。每一光电传感器32可操作地连接至其特定电路34(例如，TDC)。提供定时和读取电路36以进行光电传感器32的控制和同步操作，以及读取不同的测量值。

每一光电传感器32和其相关联的电路34测量时间参考点(激光脉冲的发射时间)与来自场景的返回脉冲击中光电传感器32的瞬间之间的持续时间。

图1示例中的扫描镜16为共振型微机械镜。

光电传感器32优选为SPAD(单光子雪崩二极管)。运行和控制SPAD所需的所有***组件在填充因子计算中不再起作用，虽然它们被放置在光敏区域的左边或右边。有利地，光电传感器阵列26包括每条线多于1000个的单独光电传感器。采用ToF成像仪，百万像素范围内的分辨率也因此变得可行。

尽管已详细描述了具体实施例，本领域技术人员应当理解，根据本发明公开内容的总体教导，对于这些细节的各种修改和替代都可进行开发。因此，所公开的特定设置仅是说明性的，而非对本发明的范围进行限制，所附的权利要求书及其任何和所有等同物给出了本发明的范围。

Claims (13)

1.扫描3D成像仪，用于记录场景的图像，所述成像仪包括：

光源，所述光源配置为发射具有线性截面的扇形脉冲光束，以将场景切片一个接一个地照亮；

扫描镜，所述扫描镜设置在所述光束的光路中，以引导所述光束进入所述场景，并且通过将所述光束横切于所述线性截面扫过所述场景来相继照亮所述场景的切片；其中，所述扫描镜在其倾斜轴周围振动，使所述扇形脉冲光束横切于所述光束的线性截面延伸的主方向扫过所述场景；以及

成像仪芯片，设置所述成像仪芯片以经由所述扫描镜接收来自所述场景的光，所述成像仪芯片包括光电传感器阵列，所述光电传感器阵列以所述场景的所述照亮切片在其上相继成像的方式设置；

其中，所述光电传感器阵列是线性光电传感器阵列；所述线性光电传感器阵列与由设置在所述光路中的所述扫描镜执行的扫描运动的组合，使得所述成像仪芯片获得所述场景的完整图像。

2.根据权利要求1所述的扫描3D成像仪，其中，所述光电传感器阵列包括至少两个彼此平行设置的线性光电传感器阵列。

3.根据权利要求1所述的扫描3D成像仪，其中，所述光电传感器阵列包括雪崩二极管阵列。

4.根据权利要求1所述的扫描3D成像仪，其中，所述扫描镜包括微机械镜。

5.根据权利要求1所述的扫描3D成像仪，包括用于将来自所述场景的光偏转至所述成像仪芯片的偏转镜，所述偏转镜中具有狭缝，所述光束穿过所述狭缝。

6.根据权利要求1所述的扫描3D成像仪，其中，所述光源为激光源，并且其中，所述光束为激光束。

7.根据权利要求1所述的扫描3D成像仪，其中，所述光源为LED。

8.根据权利要求1所述的扫描3D成像仪，包括用于将所述场景的所述照亮切片成像在所述光电传感器阵列上的成像光学元件。

9.根据权利要求1所述的扫描3D成像仪，其中，所述光源包括用于使所述光束成为扇形的柱面透镜。

10.根据权利要求1所述的扫描3D成像仪，其中，所述光源包括用于使所述光束扇形展开的另外的扫描镜。

11.根据权利要求1所述的扫描3D成像仪，其中，所述光电传感器阵列的每一个单独的光电传感器连接至单独的TDC。

12.根据权利要求3所述的扫描3D成像仪，其中，所述雪崩光电二极管阵列包括SPAD阵列。

13.一种计算机视觉***，包括如权利要求1所述的扫描3D成像仪以及可操作地连接至所述扫描3D成像仪以处理从所述扫描3D成像仪接收的图像数据的处理器。