CN1751322A - 用于校正广角摄取的图像的设备和方法 - Google Patents

Abstract

在具有数字式光学摄取装置和具有存储装置的设备中，该数字式光学摄取装置用于广角摄取人员、生物或对象的图像，其中该对象的空间定向和其典型图像特征基本上是确定的，该存储装置用于电子存放所述图像，通过以下的装置来解决提供有效的二维校正的任务：检测装置，用于二维检测所摄取对象的典型图像特征彼此的相对位置；参考存储装置，包含所述典型图像特征彼此对应于标准配置的相对位置；以及校正装置，该校正装置被构造用于读出存放在存储装置中的图像，并且用于根据来自检测装置的所摄取对象的典型图像特征的相对位置、与来自参考存储装置的典型图像特征对应于标准配置的相对位置的比较来校正所存放的图像。此外还说明了一种用于校正广角摄取的图像的方法。

Description

用于校正广角摄取的图像的设备和方法

本发明涉及一种具有数字式光学摄取装置和具有存储装置的设备，该数字式光学摄取装置用于广角摄取人员、生物或对象的图像，其中该对象的空间定向和该对象的典型图像特征基本上是确定的，该存储装置用于电子存放所述图像。本发明还涉及一种用于校正这种图像的方法。

上述的那种设备的实例是市面上流行的数码相机，其中尤其是在肖像摄影时生成和存储数字图像。恰恰在已经谈及的肖像摄影时，基本上确定了要摄取的对象的空间定向和典型的图像特征。

不久以前同样在移动电话中采用了数码相机，以便允许移动电话的使用者借助通信连接将自己本身的或在他周围的某些对象的照片向所希望的目的地传送，该目的地同样配置有通信装置。

通常正是将广角镜头用于肖像摄影，以便使用者可以给自己本身录像(filmen)(视频录像，Videofonie)或摄影(单个图像)。在集成到移动电话中的数码相机和想由自身进行摄影的使用者的头部之间的典型距离约为40cm-60cm，以至于广角镜头的使用显得对于数码相机来说是必须的。

但是广角镜头具有强烈的远景失真/畸变的缺点。不成比例大(ueberproportional gross)地摄取要摄取的对象的比较近的片断，而不成比例小地示出较远的对象。这导致在肖像摄影时，例如异常大(ueberdurchschnittlich gross)地摄取人员的嘴与鼻，但是与此相反地异常小地摄取头部轮廓。

所以本发明所基于的任务是，创造一种具有用于广角摄取对象图像的数字式光学摄取装置的设备以及一种方法，在该设备和方法中实现对所摄取的图像的有效校正。

该任务在文章开头所提到的那种设备方面通过用于二维检测所摄取对象的典型图像特征彼此的相对位置的检测装置、包含典型图像特征彼此对应于标准配置(Standard-Anordnung)的相对位置的参考存储装置、和校正装置来解决，该校正装置被构造用于读出存放在存储装置中的图像，并且用于根据来自检测装置的所摄取对象的典型图像特征的相对位置与来自参考存储装置的典型图像特征对应于标准配置的相对位置的比较来校正所存放的图像。

在本说明书的意义上，将“广角摄取”理解为采集图像片断的摄取，该图像片断大于被映射到人眼的视网膜上的那个图像片断。这例如适用于在具有24×36mm胶片片断的缩微照相中的、小于50mm的镜头焦距。

该设备因此适用于，借助检测装置来识别所摄取对象的典型图像特征(这在人的脸部上例如是嘴、鼻和耳)，以及检测所识别的典型图像特征的相对位置。以动用标准配置的方式来实现对所摄取的图像的真正的校正，在该标准配置中相互确定典型图像特征的相应的相对位置。

校正装置优选地至少部分地非线性地工作。与此相关地可以确定，线性化算法一般可以得到采用，这些线性化算法在某些值域中非线性地工作，而在另外的值域中线性地工作。

于是所进行的比较给出关于以下情况的说明，即在所摄取对象上和在标准配置中典型图像特征的相对位置彼此不同到何种程度。于是在校正时，可以使所摄取的图像在其典型图像特征的位置方面接近标准配置。关于这一点，优选地如此来选择典型图像特征，使得它们部分地位于所摄取对象的外部区域中并且部分地位于所摄取对象的内部区域中。由此产生了可归因于广角镜头的畸变的、特别有代表性的图像。优选地如此来构造校正装置，使得在比较时确定这样一个变量的值，该变量再现了在来自检测装置的所摄取对象的典型图像特征的相对位置、和来自参考存储装置的典型图像特征对应于标准配置的相对位置之间的相关性，其中根据该值的大小进行或不进行所摄取对象的校正。

以此方式可以确定，刚才所摄取的对象是否与所规定的典型特征的标准配置相配。例如可以以此方式查明，刚才所进行的摄影是否是肖像摄影。关于这一点，可以设想有不同对象的典型特征的多个标准配置可供使用，以便在校正的范围内进行比较。

在作为图像的人的肖像中，可以优选地将嘴、鼻、眼、耳、头部范围和/或头部轮廓用作典型图像特征。

优选地将校正装置构造用于图像片断的放大和缩小，使得可以有效地补偿由所采用的广角镜头引起的畸变。不仅可以在像素平面上而且可以在面积平面上进行校正。

在像素平面上进行校正时，为了缩小图像片断，可以对所摄取的图像的相应像素求平均值，以便计算出所属的缩小的图像片断的像素值。优选地为此构造校正装置。

为了放大图像片断，可以将校正装置构造用于通过基于所摄取的图像的相邻像素的内插来计算出所属的放大的图像片断的像素值。在此情况下，根据所摄取的图像片断的放大得出附加的像素值，可以给这些附加的像素值分配亮度值和色值。借助用于生成新像素的内插来闭合这种由于放大而产生的“空隙”。

上述任务在方法方面通过一种用于校正对象的用数字方式广角摄取的图像的方法来解决，该方法具有用数字方式摄取和存储图像的步骤，其中该对象的空间定向和该对象的典型图像特征基本上是确定的，其中附加地设置有以下步骤：

二维地检测所摄取对象的典型图像特征彼此的相对位置，

提供典型图像特征对应于标准配置的相对位置，以及

非线性地校正所存储的所摄取的图像，其中，读出所摄取的图像，并且根据来自检测装置的所摄取对象的典型图像特征的相对位置、与来自参考存储装置的典型图像特征对应于标准配置的相对位置的比较来校正所摄取的图像。

上面已经借助对设备的说明阐述了该方法及其按照从属权利要求8-12的优选实施形式的优点。

在另一种优选实施形式中，可以基于在校正时的比较确定所摄取对象的典型特征彼此的相对位置和典型特征在标准配置中彼此的相对位置之间的进入校正的尺寸比例。

通过该措施考虑以下事实，即在某些情况下在对象在图像中的绝对尺寸和对象在标准配置中的绝对尺寸方面可能存在显著的差别。通过以上述方式确定尺寸比例，可以补偿这种差别。

特别优选地将两个典型特征在所摄取对象上的位置之间的距离、和相同的两个典型特征在标准配置中的位置之间的距离之比用作尺寸比例。以肖像摄影为例，可以将瞳距用于尺寸比例的形成。

虽然要摄取的对象的空间定向以及它的典型特征基本上是确定的，但仍然可以通过以下方式来改进校正，即在检测所摄取对象的典型特征彼此的相对位置时，确定用图像示出的对象的空间定向，并且为了进行比较而适配标准配置的空间定向。如果在典型的正视图的意义上例如将肖像摄影的典型特征作为标准配置存储，而在所摄取的图像中已经以远景视图摄取了人的头部，则该措施可能是合理的。在这些情况下，可以在识别人脸部的诸如眼和耳等等的典型特征的范围内确定所摄取图像的空间定向，并且基于该图像来适配标准配置的空间定向。当然也可以通过电子途径来改变所摄取对象的空间定向，即与标准配置的空间定向适配。

应强调的是，不仅在该设备中而且在该方法中可以对例如已经以像JPEG那样的压缩数据格式存在的静止图像进行校正以及在多个图像彼此连接的录像中进行校正。因此可以实时地、即在通过通信连接的传输期间、也可以时移地执行校正。

以下还将详细地阐述本发明的实施例。

该实施例涉及借助集成在移动电话中的数码相机来进行的肖像摄影。该数码相机配备有广角镜头，以便使其使用者能够在舒适地手持移动电话时也可以对其自己进行摄影。

首先借助软件实现的检测装置来执行对使用者头部的典型图像特征的相对位置的二维检测。在此情况下，检测诸如眼、耳、嘴、头部大小和头部轮廓那样的典型图像特征。借助检测装置来识别这些特征。此外还确定它们的位置并因此确定它们彼此的相对位置。

然后访问参考存储装置，该参考存储装置包含人头部的所述典型图像特征对应于标准配置的相对位置。

非线性工作的校正装置从存储装置中读出暂存的使用者头部的图像。紧随此后实现对所存放的图像的、如以下所述那样的校正。该校正基于所摄取的使用者头部的典型图像特征的相对位置、与典型图像特征根据标准配置的相对位置的比较。在该标准配置中存储有例如可以从“平均脸”中获得的典型特征的相对位置和位置。

下面将如下分析该比较，即在所摄取对象(这里为使用者头部)的典型图像特征的相对位置和由参考存储装置所提供的相对位置之间是否存在着显著的相关性。这例如可以借助最小误差平方法来实现，该方法提供所摄取的图像的像素值和标准配置的像素值之间的相关性的代表值。如果不存在足够的相关性，则不进行校正。以此方式避免了在非肖像摄影情况下执行在这里所述的实施例中的基于涉及人脸部的标准配置的校正。

也在这样的方面分析该比较，即在校正时确定所摄取对象的典型特征彼此的相对位置和典型特征在标准配置中的相对位置之间的尺寸比例。以此方式在真正的校正之前识别，在所摄取的图像和标准配置之间是否可能存在着显著的绝对的尺寸差别。可以将在这里所讨论肖像摄影的标准配置中的两个眼睛之间的距离与所摄取的图像中的瞳距进行比较，以便获得尺寸比例的合适的值。

分析由检测装置所提供的关于典型图像特征的位置的结果，以便确定用所摄取的图像来表示的人头部的空间定向。基于所摄取的使用者头部的眼、耳等等的识别和位置，可以推断出空间定向。

按这种方式，以合适的方式来评价对于校正来说所有必要的边界条件。

典型地在真正的校正时，在放大外部的图像片断的同时，缩小内部的图像片断。在像素平面上为了缩小而求出所摄取的图像的一部分像素的平均值，使得获得再现原始图像片断中的该部分像素的像素的亮度值和色值。

在仅放大图像片断的情况下产生“像素空隙”，这些“像素空隙”应根据所摄取的图像中的相邻像素来补满。这借助基于所摄取的图像中相邻像素的亮度值和色值的内插来实现。

从所摄取的图像的如此执行的校正中可以获得成像规范(Abbildungsvorschrift)，按照该成像规范可以针对每个新摄取的图像对在肖像摄影时人头部和广角镜头之间的某个距离自动进行校正。

Claims (15)

1.具有数字式光学摄取装置和具有存储装置的设备，所述数字式光学摄取装置用于广角摄取人员、生物或对象的图像，其中所述对象的空间定向和其典型图像特征基本上是确定的，所述存储装置用于电子存放所述图像，

其特征在于，

检测装置，用于二维检测所摄取对象的所述典型图像特征彼此的相对位置，

参考存储装置，包含所述典型图像特征彼此对应于标准配置的相对位置，以及

校正装置，该校正装置被构造用于读出存放在所述存储装置中的图像，并且用于根据来自所述检测装置的所摄取对象的典型图像特征的相对位置、与来自所述参考存储装置的所述典型图像特征对应于所述标准配置的相对位置的比较来校正所存放的图像。

2.按权利要求1的设备，其特征在于，所述校正装置被如此构造，使得在所述比较时确定变量的值，该变量再现来自所述检测装置的所摄取对象的典型图像特征的相对位置、和来自所述参考存储装置的所述典型图像特征对应于所述标准配置的相对位置之间的相关性，并且根据所述值的大小来进行对所摄取对象的校正。

3.按权利要求1或2之一的设备，其特征在于，在作为所述图像的人的肖像中，可以将嘴、鼻、眼、耳、头部范围和/或头部轮廓用作所述典型图像特征。

4.按权利要求1至3之一的设备，其特征在于，所述校正装置被构造用于放大和用于缩小所述图像的片断。

5.按权利要求4的设备，其特征在于，为了缩小图像片断，所述校正装置被构造用于通过对所摄取的图像的相应像素求平均值来计算出所属的缩小的图像片断的像素值。

6.按权利要求4或5的设备，其特征在于，为了放大图像片断，所述校正装置被构造用于通过基于所摄取的图像的相邻像素的内插来计算出所属的放大的图像片断的像素值。

7.用于校正人员、生物或对象的用数字方式广角摄取的图像的方法，其中所述对象的空间定向和其典型图像特征基本上是确定的，所述方法具有用数字方式摄取和存储图像的步骤，

其特征在于以下其它的步骤：

二维地检测所摄取对象的所述典型图像特征彼此的相对位置，

提供所述典型图像特征对应于标准配置的相对位置，以及

非线性地校正所存储的所摄取的图像，其中读出所摄取的图像，并且根据来自所述检测装置的所摄取对象的典型图像特征的相对位置、与来自所述参考存储装置的所述典型图像特征对应于所述标准配置的相对位置的比较来校正所摄取的图像。

8.按权利要求7的方法，其特征在于，在所述比较时在所述校正的范围内确定变量的值，该变量再现所摄取对象的典型图像特征的相对位置、和所述典型图像特征对应于所述标准配置的相对位置之间的相关性，并且根据所述值的大小来进行对所摄取的图像的校正。

9.按权利要求7或8之一的方法，其特征在于，在作为所述图像的人的肖像中，将嘴、鼻、眼、耳、头部范围和/或头部轮廓用作所述典型图像特征。

10.按权利要求7或8之一的方法，其特征在于，将所述校正装置构造用于放大和用于缩小所述图像的片断。

11.按权利要求10的方法，其特征在于，为了缩小图像片断，对所摄取的图像的相应像素求平均值，以便计算出所属的缩小的图像片断的像素值。

12.按权利要求10的方法，其特征在于，为了放大图像片断，实现基于所摄取的图像的相邻像素的内插，以便计算出所属的放大的图像片断的像素值。

13.按权利要求7至12之一的方法，其特征在于，根据所述比较，在所述校正时确定所摄取对象的所述典型特征彼此的相对位置和所述典型特征在所述标准配置中彼此的相对位置之间的进入所述校正的尺寸比例。

14.按权利要求13的方法，其特征在于，将两个典型特征在所摄取对象中的位置之间的距离和相同的两个典型特征在所述标准配置中的位置之间的距离之比用作所述尺寸比例。

15.按权利要求7至14之一的方法，其特征在于，在检测所摄取对象的所述典型特征彼此的相对位置时，确定用所述图像来表示的对象的空间定向，并且为了进行所述比较而适配所述标准配置的空间定向。