CN101448065B - 校正图像失真的方法以及使用该方法处理图像的装置 - Google Patents

Abstract

本发明涉及一种校正图像失真的方法和使用该方法处理图像的装置，其中该方法能够克服校正镜头失真的传统方法的缺点并且能够最小化外部的图像质量退化。该方法包括：从广角镜头接收图像；提取图像中由广角镜头所导致的失真的失真系数；通过使用提取的失真系数校正图像失真；以及显示校正图像。该装置包括：广角镜头，用于接收图像；图像处理单元，包括用于提取图像中由广角镜头所导致的失真的失真系数的失真系数提取单元和用于使用提取的失真系数校正图像失真的失真校正单元；以及显示单元，用于显示校正的图像。

Description

校正图像失真的方法以及使用该方法处理图像的装置

技术领域

本发明涉及处理图像的方法和装置，具体地，涉及校正图像失真的方法以及使用该方法处理图像的装置。

背景技术

照相机已经使用在广泛的工业应用中并且正使用在数目不断变大的应用中。例如，照相机取代人眼而使用在许多自动工业应用中，如生产线上的机器人监控、产品质量测试、医学诊断、安全和通过使用图像***捕获的图像的识别。

通常，当需要获取高分辨率图像时，在照相机前面放置窄角镜头，并且当需要对更宽区域进行照相时，在照相机前面放置广角镜头。广角镜头允许宽角度的视野，但具有分辨率从镜头中央向外部减小的缺点。

广角镜头还具有径向失真从镜头中央向外部增加的缺点。这种径向失真是分辨率退化的主要原因。

图1A和1B是分别图解其中径向失真由广角镜头所导致的模式图像和网络图像的照片。如上所述，分辨率退化和径向失真从镜头中央向外部增加。

校正镜头失真的方法分为尺度方法和非量测方法。尺度方法通过使用可能影响镜头失真的照相机模型的内在和外部参数来校正图像中的失真。内在和外部参数基于参考点而被测量。非量测方法不依赖于参考点而依赖于视景中的直线必需一直对应(project to)图像中的直线的事实。非量测方法通过将由镜头失真所导致的曲线修正为直线来校正失真。

在尺度方法中，使用更多参考点可能增加失真系数的精确性。因此，尺度方法在提取参考点的过程中可能需要多个模式图像。此外，尺度方法可能引入在获取内在和外部参数时出现的严重测量误差。

在非量测方法中，能够通过使用单个图像而不是任何参考点的使用来获取失真系数。然而，在非量测方法中，失真系数仅仅在图像包括具有线性分量的对象时才能被测量。此外，自动失真校正算法对非量测方法中的噪声非常敏感。

发明内容

本发明提供一种校正图像失真的装置和方法，其能够克服校正镜头失真的传统方法的缺点并且能够减少图像外部的图像质量退化。

根据本发明的一个方面，提供一种校正图像失真的方法，该方法包括：从广角镜头接收图像；提取图像中的失真的失真系数；使用提取的失真系数来校正图像失真；以及显示校正图像。

提取失真系数可以包括通过使用镜头失真模型人工地获取预定范围内的最佳失真系数。校正图像失真可以包括应用使用提取的失真系数的反向映射。镜头失真模型可以通过等式描述

R_C＝R_D(1+kR² _D)，0＜k ≤(a-1)/R² _DM

其中：R_C是从预定点到校正图像的坐标系原点的距离；R_D是从预定点到具有失真的图像的坐标系原点的距离；以及k是大于0并且等于或者小于(a-1)除以R_DM的平方的失真系数。术语R_DM是从具有失真的图像的坐标系原点到最远点的最大距离，并且a是大于2的常数。

校正图像失真可以包括通过使用双线性插值消除锯齿边缘伪影(jagged-edge artifacts)。图像失真的校正还可以包括修正外部的曲线以最小化校正图像外部的模糊化。

外部曲线的修正可以包括基于R_C-R_D图形中的拐点选择多个点并且基于所选的多个点修正曲线。

根据本发明的另一方面，提供一种处理图像的装置，该装置包括：广角镜头，用于接收图像；图像处理单元包括用于提取由广角镜头所导致的图像中的失真的失真系数的失真系数提取单元，和用于通过使用提取的失真系数校正图像失真的失真校正单元；以及显示单元，用于显示校正图像。

广角镜头可以包括具有小于120°的视角的鱼眼镜头(fish-eye lens)。失真系数提取单元可以通过使用镜头失真模型人工地获取预定范围内的最佳失真系数。

失真校正单元可以通过使用失真系数的反向映射来校正由广角镜头所导致的径向失真。失真校正单元可以使用双线性插值消除由径向失真的校正所导致的锯齿边缘伪影。

图像处理单元可以进一步包括曲线修正单元，用于修正外部的曲线以最小化校正图像外部的模糊化。曲线修正单元可以基于R_C-R_D图形中的拐点选择多个点并且基于所选的多个点修正外部的曲线。

附图说明

通过下文对本发明示例性实施例的详细描述，本发明的特征和优点将变得更加明显。本发明通过参考附图来描述，附图中：

图1A和1B是分别图解其中径向失真由广角镜头所导致的模式图像和网络图像的照片；

图2A和2B用于解释由广角镜头所导致的径向失真的平面坐标系；

图3是根据本发明实施例的使用校正图像失真的方法来处理图像的装置的框图；

图4是用于校正失真图像的径向失真曲线的图形；

图5是用于解释修正图4的径向失真曲线的方法的图形；

图6A和6B是图1A和1B所示的模式图像和网络图像在已经通过使用图3的方法校正之后的照片；

图7是用于更加详细地解释图5的方法的图形；

图8A至8E是图解了失真图像和通过图7中修正失真曲线的方法所获得的校正图像的照片；以及

图9是图解根据本发明另一个实施例的校正图像失真的方法的流程图。

具体实施方式

现在将参考附图详细描述本发明，附图中显示了本发明的示例性实施例。应当理解当一个元件被描述为连接至另一个元件时，元件可以直接连接，或者两个元件之间可以存在中间元件。在本发明的下文描述中，附图中所示的元件的大小可以在需要时被放大，并且为了更好地理解本发明，元件可以从附图中省略。附图中相同的附图标记表示相同的元件。所用的术语意在描述示例性实施例并且应当被解释为限制权利要求的指定范围。

图2A和2B是显示由广角镜头所导致的径向失真的平面坐标系。图2A图解了校正图像的坐标系。图2B图解了具有由广角镜头所导致的径向失真的图像的坐标系。

参考图2A和2B，由广角镜头所导致的径向失真从原点开始随距离增加，使得主题大小和曲线度数从原点开始随距离增加。在图2A和2B中，R_C是从预定点到校正图像的坐标系原点的距离，并且R_D是从预定点到具有径向失真的图像的坐标系原点的距离。

图3是根据本发明实施例的使用校正图像失真的方法来处理图像的装置的框图。

参考图3，该装置包括广角镜头100、图像处理单元200和显示单元300。广角镜头100可以是具有小于120°的视角的鱼眼镜头，更精确地，60至120°的视角。显示单元300，其显示由图像处理单元200处理的图像，可以是液晶显示(LCD)监视器或者阴极射线管(CRT)监视器。

图像处理单元200处理通过广角镜头100接收的图像，并且包括失真系数提取单元220、失真校正单元240和曲线修正单元260以校正由广角镜头100所导致的径向失真。通过广角镜头100接收的图像由图像传感器捕捉为电子信号图像。图像处理单元200校正该电子信号图像。尽管未示出，图像处理单元200可以包括多媒体处理器，其转换已校正的电子信号图像为图像文件，以及存储器，其存储图像文件。

失真系数提取单元220提取图像中由广角镜头100所导致的失真的失真系数。失真校正单元240通过使用提取的失真系数的反向映射来校正图像。

特别地，为了校正图像中产生的径向失真，失真系数通过使用变换公式或者镜头失真模型来提取，并且失真通过使用提取的失真系数的图像变换来校正。图像变换分为前向映射和反向映射。前向映射具有能够直接从失真图像计算与失真图像的像素相对应的校正图像的像素的优点，但是具有可能在校正图像中生成空洞的缺点，因为整数计算被执行以计算校正图像的像素。

不同于前向映射，反向映射并不生成空洞，因为失真图像的坐标通过使用校正图像的坐标来计算。

图3的失真系数提取单元220使用下面的等式1作为镜头失真模型来获取失真系数。

R_C＝R_D(1+kR² _D)，0＜k ≤(a-1)/R² _DM            (1)

其中R_C是从预定点到校正图像的坐标系原点的距离，R_D是从预定点到失真图像的坐标系原点的距离，R_DM是从失真图像的坐标系原点到最远点的最大距离，k是失真系数，并且a是大于2的常数。

根据镜头失真模型，在预定的测量范围内人工地测量最佳失真系数k，而不是使用自动估算，以消除传统方法所遇到的噪声所导致的误差。也就是说，允许通过广角镜头100输入的图像与通过人眼感知的图像相同的位于预定范围内的最佳失真系数是人工地获取的。

为了更加精确，镜头失真模型可以使用包括多个失真系数的更高阶项。然而，增加失真系数的数目可能增加失真系数测量期间所引入的误差，因而增加后续数值计算误差。因此，图3的装置使用仅仅一个失真系数，因为径向失真能够通过仅仅一个失真系数被充分模型化。如等式1所示，图3的装置所使用的镜头失真模型包括仅仅一个失真系数。

因为本发明假设失真是径向失真，因此最佳失真系数是正数并且最大值由距离R_DM和常数a来确定。因此，可以根据等式1在预定范围内人工地提取最佳失真系数。

一旦由失真系数提取单元220提取了最佳失真系数，失真校正单元240通过使用提取的失真系数的反向映射来校正图像。尽管反向映射能够克服前向映射的缺点，即消除校正图像中的一些空洞，但反向映射可能留下缺陷，即图像的线性分量中的锯齿边缘伪影。因此，图3的失真校正单元240执行使用四个最相邻像素的加权总数的双线性插值以消除锯齿边缘伪影。

曲线修正单元260减少了由失真校正单元240所校正的图像外部的图像质量退化。由失真校正单元240校正的图像在大小上大于失真图像，即，原始图像，因为校正图像的大小随着视角的增加而增加。同样，因为径向失真通常从图像的原点向外部开始增加，如模糊化的图像质量退化在图像的外部是明显的。因此，曲线修正单元260通过使用径向失真曲线来减少这样的图像质量退化，所述径向失真曲线基于依据等式1的R_C和R_D之间的关系。结合图4将详细解释径向失真曲线的使用。

图4是图解R_C和R_D之间的关系的径向失真曲线的图形。径向失真曲线被用来校正失真图像。

参考图4，实线，其为依据等式1的径向失真曲线，随着从预定点到校正图像的坐标系原点的距离R_C的增加而陡峭。虚线，其为最佳校正图像或者真实图像的线，显示了相互直接成正比的距离R_C和R_D。因此，如果失真图像通过使用所示的径向失真曲线来校正，那么校正图像的外部的图像质量退化是不可避免的。

图5是解释修正图4的径向失真曲线的方法的图形。

参考图5，径向失真曲线的外部被修正以减少外部的图像质量退化。在图5中，实线是原始径向失真曲线，而虚线是修正的径向失真曲线。径向失真曲线可以通过基于原始径向失真曲线的拐点选择多个点，并且接着通过使用适当的三次方程式从拐点开始修正径向失真曲线来修正。

图6A和6B是图解与图1A和1B中图解的那些照片相对应的其失真通过使用图3的方法来校正的模式图像和网络图像的照片。

图3的装置能够校正其径向失真由广角镜头所导致的图1A和1B的模式图像和网络图像为图6A和6B所示的失真被消除的模式图像和网络图像。

图7是图解使用多个径向失真曲线的图5的方法的图形。

参考图7，改变三次方程式可以生成与图5相比拟合更好的径向失真曲线。实线中的点是所选的拐点。线1是原始径向失真曲线，而线2至4是分别通过使用三次方程式2、3和4所修正的径向失真曲线。

R_D＝(1.0×10^-9)×R³ _C-0.000248×R² _C+0.555×R_C+79          (2)

R_D＝(-1.0×10^-20)×R³ _C-(7.8×10^-5)×R² _C+0.43×R_C+105     (3)

R_D＝(-1.37×10^-6)×R³ _C+0.00367×R² _C-2.16×R_C+634         (4)

图8A至8E是图解失真图像和通过使用图7的等式的方法来校正的图像的照片。图8A是其中失真由广角镜头所导致的网络图像的照片。图8B是通过使用图7的原始径向失真曲线1来校正的网络图像的照片。图8C是通过使用图7的修正径向失真曲线2来校正的网络图像的照片。图8D是通过使用图7的修正径向失真曲线3来校正的网络图像的照片。图8E是通过使用图7的修正径向失真曲线4来校正的网络图像的照片。

图像外部的图像质量通过图7的方法而被提高。比较这些校正图像，图8C的网络图像的质量好于图8B的网络图像的质量。尽管图8D的网络图像的质量好于图8C的网络图像的质量，但在图8D的网络图像中再次出现了一些失真。

因此，图3的装置校正图像为与通过人眼感知的图像几乎相同的最佳图像。该装置通过选择适当的三次方程式并且依据三次方程式修正径向失真曲线来消除外部的模糊化。

图9是图解根据本发明另一个实施例的校正图像失真的方法的流程图。

参考图9，在操作步骤S100，从广角镜头接收图像。如上所述，当从广角镜头接收图像时，例如径向失真的图像失真由广角镜头所导致。在操作步骤S200，提取失真系数以校正图像的径向失真。允许通过广角镜头入射的图像与通过人眼感知的图像几乎相同的最佳失真系数可以通过使用失真系数落入在预定范围内的适当失真系数模型来人工地提取。等式1是失真系数模型的一个示例。

在操作步骤S300，图像的失真通过反向映射来校正。由反向映射所导致的锯齿边缘伪影通过双线性插值来消除。

在操作步骤S400，消除校正图像的外部的模糊化。模糊化可以通过曲线修正来消除，例如，通过基于拐点选择多个点并且通过使用适当的三次方程式修正曲线。

在操作步骤S500，校正图像由多媒体处理器转换为图像文件并且显示在显示单元。

具有由广角镜头所导致的失真的图像通过使用图9中校正失真的方法被校正为与通过人眼感知的图像几乎相同的最佳图像：人工地提取预定范围内的最佳失真系数；通过使用提取的最佳失真系数执行反向映射；通过使用双线性插值消除锯齿边缘伪影；以及通过使用曲线修正消除外部的模糊化。

如上所述，根据本发明的校正图像失真的方法和执行该方法的装置不需要单个模式图像或者多个模式图像来校正由广角镜头所导致的失真。也就是说，因为失真系数是人工地提取的，根据本发明的方法和装置不需要用于提取相应点的任何模式图像，不同于传统的方法和装置。

而且，因为根据本发明的方法通过使用双线性插值消除锯齿边缘伪影并且通过使用曲线修正消除外部的模糊化，该方法能够校正图像为与通过人眼感知的图像几乎相同的最佳图像。

而且，使用根据本发明的方法的装置适当地校正由鱼眼镜头或者具有120°的视角的镜头所导致的失真为与通过人眼感知的图像几乎相同的图像。

尽管已经参考本发明的示例性实施例对本发明进行了特定显示和描述，但本领域的技术人员将会理解，在不脱离由下文权利要求所定义的本发明的实质和范围的前提下，可以做出形式和细节上的各种改变。

本申请要求于2007年8月27日在韩国知识产权局提交的申请号为10-2007-0086274的韩国专利申请的优先权，该申请的公开内容在此通过引用而全部并入。

Claims (14)

1.一种校正图像失真的方法，所述方法包括：

从广角镜头接收图像；

针对具有由广角镜头所导致的失真的图像，提取失真系数；

使用提取的失真系数校正图像的失真；

通过基于原始径向失真曲线的拐点选择多个点，修正校正的图像的径向失真曲线；以及

显示曲线修正后的图像，

其中，提取失真系数的步骤包括使用镜头失真模型人工地获取预定范围内的失真系数，并且

其中，所述镜头失真模型如下面所示：

R_C＝R_D(1+kR² _D)，0＜k≤(a-1)/R² _DM

其中：R_C为从预定点到校正图像的坐标系原点的距离，R_D为从预定点到具有失真的图像的坐标系原点的距离，R_DM是从具有失真的图像的坐标系原点到该具有失真的图像的最远点的最大距离，k是所述失真系数，而a是大于2的常数。

2.如权利要求1所述的方法，其中，所述广角镜头包括具有小于120°的视角的鱼眼镜头。

3.如权利要求1所述的方法，其中，校正失真的步骤包括通过使用提取的失真系数的反向映射来校正图像失真。

4.如权利要求1所述的方法，其中，校正失真的步骤包括使用提取的失真系数校正径向失真。

5.如权利要求4所述的方法，其中，校正失真的步骤包括使用双线性插值消除锯齿边缘伪影。

6.如权利要求4所述的方法，其中，校正失真的步骤包括修正外部的曲线以减小校正图像的外部的模糊化。

7.如权利要求6所述的方法，其中，修正曲线的步骤包括基于示出R_C与R_D之间关系的图形中的拐点选择多个点并且使用所选的多个点修正曲线。

8.如权利要求7所述的方法，其中，修正外部的曲线通过使用三次方程式来执行。

9.一种处理图像的装置，所述装置包括：

广角镜头，用于接收图像；

图像处理单元，包括：

失真系数提取单元，用于提取图像中由广角镜头所导致的失真的失真系数，以及

失真校正单元，用于使用提取的失真系数校正图像失真；

曲线修正单元，用于通过基于原始径向失真曲线的拐点选择多个点，修正校正的图像的径向失真曲线；以及

显示单元，显示曲线修正后的图像，

其中，所述失真系数提取单元使用镜头失真模型人工地获取预定范围内的失真系数，并且

其中，所述镜头失真模型如下面所示：

R_C＝R_D(1+kR² _D)，0＜k≤(a-1)/R² _DM

其中：R_C为从预定点到校正图像的坐标系原点的距离，R_D为从预定点到具有失真的图像的坐标系原点的距离，R_DM是从具有失真的图像的坐标系原点到该具有失真的图像的最远点的最大距离，k是所述失真系数，而a是大于2的常数。

10.如权利要求9所述的装置，其中，所述广角镜头包括具有小于120°的视角的鱼眼镜头。

11.如权利要求9所述的装置，其中，所述失真校正单元通过使用失真系数的反向映射来校正由广角镜头所导致的径向失真。

12.如权利要求11所述的装置，其中，所述失真校正单元使用双线性插值消除锯齿边缘伪影。

13.如权利要求11所述的装置，其中，所述图像处理单元进一步包括曲线修正单元，用于修正校正图像的外部的曲线以减小模糊化。

14.如权利要求13所述的装置，其中，所述曲线修正单元基于示出R_C与R_D之间关系的图形中的拐点选择多个点并且使用三次方程式修正外部的曲线。

Images