CN101281914B - 成像器半导体器件、摄像机***和用于建立图像的方法 - Google Patents

Abstract

本发明涉及成像器半导体器件、摄像机***和用于建立图像的方法，该成像器半导体器件(6)用于汽车的摄像机***(4)，它包括：成像器像素(Bij)的二维的、集成的布置，用于接收视觉的或者红外射线(IR)并且输出图像信号(bij)。本发明规定，在该成像器半导体器件(6)上集成用于通过视觉的或者红外射线(IR)的传播时间测量的距离确定的测量单元(Pkl)、尤其是PMD单元。由此，实现单目的摄像机***(4)以及其应用的方法，其中，发射用于传播时间测量的被调制的红外射线(IR)，并且从由成像器像素(Bij)输出的图像信号(bij)和由测量单元(Pkl)输出测量单元信号(pkl)建立具有图像和深度显示的复合的图像，它包含测量单元(Pkl)的距离信息。

Description

成像器半导体器件、摄像机***和用于建立图像的方法

技术领域

本发明涉及一种成像器半导体器件、带有这种成像器半导体器件的摄像机***和用于借助这种摄像机***建立图像的方法。本发明的摄像机***尤其可以使用在汽车中。

背景技术

在汽车中部分地使用单目摄像机，它检测在汽车前方的和必要时汽车旁边的道路状况，其中所检测的图像被直接再现在显示器上或者在再处理装置中借助图像处理算法被分析。在所述分析中，可以由接收的灰度值图像或彩色图像求得道路情形的不同细节，例如借助轮辙识别、交通指示识别、物体识别或者用于指示的图像预处理。这种摄像机的角度分辨率在每度大约15至25个像素。这种摄像机图像因此是高分辨的并且提供相对好的对比度，使得物体可以以高的横向分辨率被观测。灰度值图像或彩色图像在此也能够实现物体的边缘检测。

这种摄像机***通常具有成像器芯片，在其上侧构造有成像器像素(摄像像素)的矩阵布置，其中摄像机***的光学装置检测在汽车前方的和必要时在汽车旁边的大致呈楔形的图像区域并且将其成像到成像器像素的矩阵布置上，这些成像器像素接着相应地被读出。

然而，在单目的图像处理中的缺点是，不能直接地测量距离。为此，人们通常以对于表面的假设和由物体的下边缘的相应的距离估计来应付。然而这种方法是不准确的。

为了求得距离或者说图像深度(Bildtiefen)，已知的是PMD(光混合探测器(Photomischdetektor)photo mixer device)摄像机。在此，优选在远红外区中例如在870nm上的红外射线被用于传播时间的测量，其中，由在所发射的和所接收的IR射线之间的相位差可以推断出距离。由红外照明装置，可以以例如20mHz的调制频率发射已调的IR射线，并且被在检测区域中的物体反射的射线接着被PMD单元接收，这些PMD单元通常以CMOS技术来制造。为了排除非单值性或者数学上的多重解，通常使用多于一个的调制频率。由IR射线的被接收的光子所产生的电子还在PMD单元的光敏的半导体区域中借助所谓的载流子抖动选择性地被分离，为此，使用与IR射线的调制相耦合的参考信号。这些PMD单元由此提供带有距离信息的亮度图像信号。

这里，PMD的难度在于大面积成像器的发展，以便能够以更高的分辨率观察到更大的区域。此外，PMD-CMOS-单元被运行在其饱和状态附近，以便能够实现尽可能好的三维测量。然而，由此，对比度在该灰度值区域中受到损害。因此产生具有极高的对比度即小的灰度值分级和相对小的分辨率的图像，使得常规的图像处理是困难的。

DE10002069A1记载了一种用于改善汽车中可见度的装置，其中照明光学***稳定地发射出脉动的红外光，并且接收光学***接收所发射的光的被反射的部分。IR射线被汽车的CCD摄像机接收并且接着作为可见的图像被显示在显示屏上。这里，激光二极管的脉动运行与CCD摄像机的快门时间同步。

DE4007646A1记载了另一种带有照明光学***、接收光学***和显示光学***的装置。在此，摄像区域代替地或者通过激光射束的二维射束扩径同时被照明，或者该激光射束在仅仅一个方向上被导向，同时在正交的第二方向上窄地聚束并且沿一空间角度转动，或者被聚束的激光射束在用于采样的二维上被调节。

发明内容

本发明基于这样的思想：将带有成像器像素(摄像像素)的成像器芯片与用于通过传播时间测量来确定距离的传感器在硬件上耦合，其中这些成像器像素在视觉的或者红外的范围中检测射线并且提供高分辨率的图像。为此，在该成像器芯片上集成测量单元；这些测量单元尤其可以为PMD单元。

按照本发明，由此能够实现由成像器像素所输出的成像器图像信号与测量单元信号的直接耦合，因为与成像器像素成比例的测量单元的空间布置是已知的。由此，在一些位置上包含深度说明或者距离说明的高分辨率的图像被接收，它们可被用作用于建立三维显示的样本。

在此，根据本发明认识到，该成像器摄像技术和PMD单元技术相互是极好的补充。成像器图像具有高分辨率并且提供好的对比度，使得可以以好的横向分辨率测量物体。低分辨率的PMD图像相反尤其是在近区域中提供好的距离数据。因为两个***基于原则上相同的半导体技术即CCD和/或CMOS来构建，因此它们已经可以在硬件上被组合。按照本发明，在此，在共同的半导体器件或者芯片上进行集成。

作为用于深度测量的测量单元，代替PMD单元原则上也可以使用其他的、用于借助传播时间测量来确定距离的测量元件，例如具有脉动光的激光-LED。然而，PMD单元的特别的优点在于：与成像器像素原则上相同的制造工艺以及在半导体材料中已经完成所发射的和所接收的光之间的相位信息耦合或者混合，使得带有距离信息或者深度信息的直接的测量信号被输出。

PMD单元一方面可以被设置成在成像器像素的矩阵布置上规则地分布，以便实现图像区域的均匀的扫描。然而因为在这种均匀地扫描时会产生PMD图像的具有例如一角度(Winkelgrad)的分辨率，所以PMD单元可有时不能检测到在横向或者垂直方向上具有较小的尺寸的物体。在此，根据本发明认识到，这尤其可能是具有大的垂直长度和小的横向长度的行人。因而，按照一个实施形式，PMD单元可以不被设置为均匀的矩阵状，而是被设置成彼此错开的行，使得具有垂直长度的、可能不被测量单元的一行所检测到的长形物体至少能被相邻的行检测到。

根据本发明还认识到，对于例如驾驶员辅助***通常这样是足够的：在确定的图像区域中可以测量深度。这尤其可以是下部的图像区域，因为通常所有的物体都在地面上运动，飞行的物体几乎不会出现或者是不重要的。

因此，PMD单元可以仅仅或者有重点地设置在成像器芯片的部分区域中，并且尤其用于测量下部的图像区域。这些PMD单元也可以被设置为密集的阵列或者与成像器像素的矩阵相邻接的特定的矩阵。特别地，在这种布置中所使用的光学***可以相应地被适配，使得PMD单元对于功能感兴趣的区域进行深度测量(tiefenvermessen)。通过将成像器像素和PMD单元固定地集成到一个芯片中，在已知的光学***中可以自动地给出在成像器像素和PMD之间的交叉校准(Kreuzkalibrierung)，使得所测量的深度总是可以对应图像区域。

因为PMD单元具有质量上较差的图像并且尤其是较小的分辨率，所以在成像器像素阵列中代替一些成像器像素使用的PMD单元首先提供在图像中的固定的图案(Muster)。它们尤其构成在灰度梯度图像或者彩色图像中的亮斑，视成像器像素与PMD单元的大小比例而定地，这些亮斑可代替成像器矩阵的多个像素。对此，按照本发明，可以通过例如根据附近的成像器像素的内插来进行“死像素”校正。为此，可以采用已知的算法，因为市场上常见的成像器——可能在一段时间之后——也具有功能不完全的像素即“死像素”，它们不再会提供相应的灰度梯度图像，而是不再响应并且在该图像中始终是黑的。这种固定的图案在图像处理算法已知的情况下被认识并且通过死像素校正来处理。这种图像处理算法按照本发明也可在校正由所使用的PMD单元造成的影响时采用。

按照本发明，由此可以以相对小的花费、尤其是标准制造方法来制造成像器半导体器件，该成像器半导体器件可以实现具有附加的深度测量的、好的光学图像处理。所提供的、要在显示器上显示的图像在质量上可以与不带附加的PMD单元的成像器图像相同或者几乎相同，并且可以附加地提供与所检测的物体的显示和确定相关的深度信息。

由此，按照本发明，也可以通过单目的摄像机***实现具有深度说明的高质量的图像处理。

附图说明

图1示出了带有本发明的摄像机***的汽车的道路状况和其他的物体；

图2示出了按照该实施形式的本发明的摄像机***；

图3示出了具有在成像器芯片上的PMD单元的均匀的矩阵分布的、按照第一实施形式的成像器芯片的俯视图；

图4示出了具有成像器芯片的PMD单元的非均匀的矩阵分布的、按照另一实施形式的成像器芯片的俯视图；

图5a，b示出了按照几个实施形式的、PMD单元在成像器芯片上的不同的错开的布置；

图6示出了按照另外的实施形式的、具有单独的摄像像素区域和PMD单元区域的成像器芯片的俯视图；

图7示出了本发明的方法的流程图。

具体实施方式

根据图1，在道路状况1中，汽车2行驶在车道3中。汽车2具有在图2中详细示出的本发明的摄像机***4，该摄像机***检测在该汽车2前面和旁边的一个基本上呈楔形的光学的检测区域(摄像区域)。

摄像机***4在其检测区域5中以不同的距离d检测车道3和此外存在于车道3上以及旁边的不同物体O1，O2，O3。本发明的摄像机***4具有光学装置12、成像器芯片6、带有例如一个或多个IR-LED的红外(IR)照明装置7、用于以第一信号S1控制IR照明装置7并且接收成像器芯片6的信号bij和pkl的控制装置8，以及分析装置10。在此，控制装置8和分析装置10可以组合或者集成为摄像机***4的控制器8，10。光学装置12和成像器芯片6优选设置在挡风板9的后面，该照明装置7可以设置在挡风板9的外部，例如设置在保险杠的区域中。

按照本发明，成像器像素(摄像像素)Bij和PMD单元Pkl被构造在成像器芯片6的共同的衬底11上，其中图3至6示出了具有成像器像素Bij和PMD单元Pkl的不同布置的成像器芯片6的俯视图。成像器像素Bij以已知的方式设置成由行和列组成的矩阵布置，并且经过光学装置12聚束(gebuendelt)地接收由检测区域5发射的射线或者光。成像器像素Bij以CMOS或者CCD技术构造并且根据不同的实施形式可以用于接收视觉范围或也可以用于接收IR范围中的光。

在一个带有在视觉范围敏感的成像器像素Bij的实施形式中，成像器芯片用作视频摄像机用于接收灰度值图像或彩色图像，其中灰度值图像或彩色图像接着可以在汽车中的显示器上被显示和/或借助图像处理算法检查相关的特征，例如车道3或者与汽车2相关的通道以及物体O1，O2，O3，例如车道标记、交通指示牌、信号灯等等。在这样分析图像时，可以由分析装置10补充地也识别由于与物体O1，O2，O3的可能的碰撞引起的危险状况，并且必要时向驾驶者发出信号或者也导致对于行驶动态或刹车***的干预。

在具有在IR范围中敏感的成像器像素Bij的实施形式中，摄像机***优选用作夜视摄像机***，以便能够以IR射线照明宽的检测区域5而不会对反向车辆或者其他交通参与者造成眩目，并且接着可以在显示器上以可见光、例如也以灰度显示出该图像。

PMD(光混合探测器，photo mixer device)单元Pkl探测由红外线照明装置7在IR检测区域5中反射的光或者IR射线。在此，由车道3反射的和由物体O1，O2，O3反射的IR射线被检测到并且被分析。IR照明装置以已知的方式发射被调制的光信号，例如具有800至2000nm波长以及两个或者多个大约20MHz调制频率的IR射线。这里，控制装置8控制IR照明装置7并且耦合地控制成像器芯片6的PMD单元Pkl，使得在PMD单元Pkl的半导体材料中已经借助载流子抖动根据由于不同的光程差产生的相位差实现分离。PMD单元在此提供具有在灰度值图像中的较小的对比度并且具有距离说明的亮度图像信号。

成像器像素Bij和PMD单元Pkl在成像器芯片6上以已知的空间布置相对彼此被设置，使得由它们发出的信号bij和pkl可以相应地由控制装置8或者分析装置10相互对应。

按照图3的实施形式，成像器像素Bij被设置成2D矩阵布置并且每几个例如九个相邻的成像器像素由一个PMD单元Pkl代替。原则上也可以是：每一个成像器像素Bij由恰好一个PMD单元Pkl代替；然而PMD单元的尺寸通常被确定得较大。根据图3，PMD单元Pkl本身又构成矩阵布置，也就是说它们被布置成在Bij矩阵中均匀分布并且因此在垂直和水平方向上检测在检测区域5中的分别均匀间距的点。因此，可以在整个PMD芯片6上以确定的间距测量距离或者深度。

图4示出了另一种实施形式，其中PMD单元Pkl仅仅被设置在PMD芯片6的部分区域、例如上部区域中，并且在那里又表现为均匀的分布。基于通过光学装置12的光学成像，PMD芯片6的在图4上部所示出的部分区域接收具有车道3并且通常也具有全部物体O1，O2，O3的下部图像区域或者下部检测区域。由此，借助图4的成像器芯片实现在下半部图像中的深度测量；必要时在水平线上方借助物体识别进行深度测量。

成像器芯片6的成像器像素Bij例如能够实现1/20度的分辨率。如果例如每第二十个摄像像素Bij通过一个PMD单元Pkl来代替，由此能够通过PMD单元Pkl实现1度分辨率的深度采样。在PMD有效范围为大约25m的情况下，这相应于PMD测量射束之间或者由PMD测量形成的深度采样点或者深度采样样本之间的43cm的距离。因为在这种栅格测量的情况下可能不能检测到行人，所以可以按照图5a或者5b将PMD单元Pkl彼此错开地布置，即PMD单元Pkl的各个行彼此错开。图5a示出了在每第二个行具有PMD单元Pkl的情况下的中心错位布置，图5b示出了越过四个行的阶梯式的错位布置。虽然行人也许在具有行号1的相同行的两个彼此相继的PMD单元Pkl，P(k+1)1之间不被检测到；然而基于其较大的垂直尺寸，他可能被具有行号1+1，1+2的相邻行的PMD单元Pk(1+1)或者Pk(1+2)检测到。

因为PMD单元Pkl被尽可能饱和地运行并且由此输出相对亮的图像值，它们在所输出的图像中表现为亮斑，所以可以由分析装置10执行作为图像处理算法的死像素校正。因此，分析装置10使用这种已知的算法，以便将由PMD单元Pkl代替的摄像像素通过内插法或者在成像器特性曲线已知的情况下由灰度值推导来补偿。

图6示出了另一种实施形式，其中PMD单元Pkl设置在单独的区域16中并且由此成像器像素Bij不被其干扰，或者(不同于所示出地)在Bij的矩阵中设置一些少量的PMD单元Pkl。由此，例如PMD阵列16可以装在具有成像器像素Bij的成像器区域17上。当通过PMD单元的图像引起的干扰超过对于功能来说不再可接受的尺度时，例如可以选择这种实施形式。PMD区域16有利地这样定位，使得下部的检测区域5即下部的图像区域被检测，这样又基于通过光学装置12的成像，成像器芯片6的上部的部分大体上被占据。在这种实施形式中也通过在已知的光学装置12中的固定的组合自动地给出在由成像器像素Bij产生的图像和PMD单元Pkl的深度值之间的交叉校准，使得深度测量值可以对应于图像区域。

按照本发明的用于图像检测和图像建立的方法按照图7的流程图在步骤St0中在激活摄像机***4、例如接通点火***或者起动发动机时被起动。在步骤St1中，由成像器芯片6的成像器像素Bij连续地接收图像信号bij并且输出给分析装置10。此外，连续地按照步骤St2由IR照明装置7产生被调制的IR射线IR，并且在摄像机***4的检测区域5中被发射，接着，被反射的IR射线由PMD单元Pkl接收并且由此输出具有亮度和传播时间值(距离说明)的PMD信号pkl。步骤St1和St2，St3在此同时或者并行地进行，其中像素Bij和单元Pkl一般逐步地被读出。

在步骤St4中，信号bj和pkl基于成像器芯片6上的已知的组合或者空间布置被相互对应，使得PMD信号Pkl的距离数据也可以被对应于相邻的成像器像素Bij的图像信号bij或者基于已知的交叉校正也被对应于更远地有间距的成像器像素Bij的图像信号bij。

在步骤St5中实现向驾驶员的图像输出，例如输出到在仪表盘区域中的显示器上或者也例如通过投影输出到挡风板上。此外，步骤St5也可以基于分析来进行报警信号的输出和/或进行行驶动态干预包括刹车干预。

如通过图7的流程图的回路示出的一样，该方法在此连续地进行。

Claims (9)

1.单目的摄像机***（4），具有

成像器半导体器件（6），

用于发射用于传播时间测量的被调制的红外射线（IR）的照明装置（7），

用于控制所述成像器半导体器件（6）和所述照明装置（7）的控制装置（8），和

分析装置（10），

其中，成像器半导体器件（6）具有用于接收红外射线（IR）并且输出图像信号（bij）的成像器像素（Bij）的至少一个二维的、集成的矩阵和用于通过红外射线（IR）的传播时间测量来确定距离的集成的测量单元（Pkl），

其中，所述测量单元（Pkl）设置在成像器像素（Bij）的矩阵的每一个矩阵位置或者多个相邻的矩阵位置上，并且所述测量单元（Pkl）形成由行和列构成的另一矩阵布置，这些行和列具有相对于所述成像器像素（Bij）的矩阵多倍的间距，

其中，所述分析装置（10）设置用于接收和分析由所述成像器像素（Bij）输出的图像信号（bij）和由所述测量单元（Pkl）输出的测量单元信号（pkl），其中，该分析装置（10）分析所述测量单元信号（pkl）中的距离信息并且建立具有图像显示和深度显示的组合图像，

其中，对于成像器像素（Bij）的矩阵的被测量单元（Pkl）替代的矩阵位置，所述分析装置（10）借助由周围的成像器像素（Bij）的图像信号（bij）的内插求得图像值，

其中，所述分析装置（10）从所述测量单元信号（pkl）的所求得的距离信息（d）借助于成像器像素（Bij）与测量单元（Pkl）之间的已知的交叉校正来求得用于成像器像素（Bij）的图像信号（bij）的距离信息（d），并且在所输出的图像中显示具有所求得的距离信息（d）的图像信号（bij），以及

其中，对于所述测量单元（Pkl）的所述矩阵位置，所述分析装置（10）通过带有死像素校正的图像算法求得图像值，其中，所述分析装置将时间上不改变的图像信号识别为有错误并且通过内插来代替。

2.根据权利要求1的摄像机***，其特征在于，至少一些测量单元（Pkl）被成像器像素（Bjj）围绕。

3.根据权利要求1或2的摄像机***，其特征在于，这些测量单元（Pkl）被设置成行或列，它们与相邻的具有测量单元（Pkl）的行或列错开。

4.根据权利要求1或2的摄像机***，其特征在于，这些测量单元（Pkl）仅仅被设置在成像器像素（Bij）的二维布置的部分区域中。

5.根据权利要求1或2的摄像机***，其特征在于，所述成像器像素（Bij）和测量单元（Pkl）作为CCD元件和/或CMOS元件被集成在共同的衬底（11）上。

6.根据权利要求1或2的摄像机***，其特征在于，这些测量单元（Pkl）是用于通过红外射线（IR）的传播时间测量来确定深度的PMD单元。

7.根据权利要求2的摄像机***，其特征在于，所有测量单元（Pkl）被成像器像素（Bij）围绕。

8.用于使用根据前述权利要求的单目的摄像机***建立图像的方法，其中

用被调制的红外射线照明检测区域（5），

读出该成像器半导体器件（6）的成像器像素（Bij）的成像器像素图像信号（bij），

读出该成像器半导体器件（6）的测量单元（Pkl）的测量单元信号（pkl），

由所述测量单元信号（pkl）求得距离信息（d），并且

建立由成像器图像信号（bij）和距离信息（d）构成的组合图像并且将其输出到显示装置上，其中，从所述测量单元信号（pkl）的所求得的距离信息（d）由成像器像素（Bij）与测量单元（Pkl）之间的已知的交叉校正来求得用于成像器像素（Bij）的图像信号（bij）的距离信息（d），并且在所输出的图像中显示具有所求得的距离信息（d）的图像信号（bij），

其中，对于成像器像素（Bij）的二维矩阵的被测量单元（Pkl）代替的矩阵位置，借助由周围的成像器像素（Bjj）的图像信号（bjj）的内插求得图像值，并且

其中，对于所述测量单元（Pkl）的所述矩阵位置，通过带有死像素校正的图像算法求得图像值，其中，时间上不改变的图像信号被识别为有错误并通过内插来代替。

9.根据权利要求8的方法，其特征在于，由该照明装置（7）发出高频调制的IR射线（IR），并且该成像器半导体器件（6）的构造为PMD单元的测量单元（Pkl）用一个参考信号来控制。

Images