CN101729739A - 一种图像纠偏处理方法 - Google Patents

Abstract

本发明提供一种图像纠偏处理方法，包括进行数学建模、计算反向影射坐标及进行图像恢复三大步骤，通过定义其拍摄设备镜头的光路畸变成像函数并计算其相应的参数，利用光路畸变成像函数计算出实际成像坐标与理想成像空间坐标的影射关系，并将该影射关系的坐标系转换成图像坐标系，对畸变图像作反向坐标点查找，利用图像插值恢复并输出非畸变图像，将复杂的函数运算以简洁的图像坐标影射关系表示出来，结合数学建模及最小误差逼近分析方法，通过多种空间坐标系的转换、影射，对畸变图像自动进行分析，在保证运算速度和识别程度的基础上，将所需要的纠偏参数一一提取出来，并分析、储存，使结果集形、色、量于一体，提升了图像纠偏的效果。

Description

一种图像纠偏处理方法

技术领域

本发明涉及图像处理技术，特别是涉及一种对于畸变图像进行纠偏的处理方法。

背景技术

当用数码相机或手机等拍摄设备拍摄照片、名片、文本等资料时，所拍到的图像往往是倾斜的，另外，照片、名片、文本等本来是矩形的物体会发生畸变而变成任意四边形，放大来看时尤其明显。其原因一是拍摄者并没有正对垂直于被拍摄物体上，与被拍摄物体之间存在着一定的水平距离和偏离角度；二是拍摄设备的各项数据参数，尤其是镜头参数的差异化相距甚远，导致这种畸变的现象极为常见，对人们的资料读取及处理造成困难。

申请号为200410095109.4的专利，专利名称为图像处理***及图像处理方法和电子相机及图像处理装置。该发明的图像处理***由电子照像机及图像处理装置组成，电子照相机拍摄到的图像以再生模式显示在监视器上，如果用户需要修正图像畸变，需要自己动手操作识别修正时成为基准的四边形轮廓线，将选择的轮廓线的四个顶点坐标信息写入显示图像的图像文件的标题部，之后再执行修正操作，其缺点在于用户需要手动操作，无法实现自动校正，过程复杂，精确度不高。

申请号为200610117277.8的专利，专利名称为图像畸变自动校正的图像处理方法。该发明虽然可以实现自动校正的功能，精确度也相对提高，但识别程度还远远不够，在畸变处理时还需要人工确认判断，在运算方式上很是复杂，必然会对图像处理的速度造成影响，导致识别率降低，不够人性化设计，成本较高。

另外，大家熟悉的Photoshop软件在一定程度上也可以实现图像的畸变校正功能，但是局限性很大，首先是它必须建立在电脑的基础上才能实施，需要用户手动调节、校正、渲染等等，因此操作过程中会出现误差，精确度不高，更没有自动校正的功能，其次是它只能针对简单的图像或者单一平面的图像进行畸变校正，对于相对复杂或者3D等立体的图像则无法实现操作，再次是它对电脑***及电脑配置的要求越来越高，低端的电脑根本无法达到要求或者在运行及反应的速度上极为缓慢，难以提高效率。

发明内容

本发明的目的正是针对现有技术存在的技术缺陷，提出一种图像纠偏处理方法，能够实现多种图像及文件的畸变校正，无需人工参与，自动进行识别和调整，反应快速，内部操作简单方便，有效的提高效率。

为达到上述目的，本发明的技术方案通过以下步骤予以实现：

(1)进行数学建模：针对拍摄设备来定义其拍摄设备镜头的光路畸变成像函数，其镜头的光路畸变成像函数的模型定义为：(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]，其中参数A_未知设为m*n的矩阵，通过计算确定其函数的未知参数，即A_未知，并代入实拍图像的畸变数据，得出参数已知的函数；

(2)计算反向影射坐标：利用光路畸变成像函数计算实际成像坐标与理想成像空间坐标的影射关系，并将该影射关系的坐标系转换成图像坐标系；

(3)进行图像恢复：利用上一步图像坐标的影射关系，对畸变图像作反向坐标点查找，利用图像插值恢复并输出非畸变图像。

进行数学建模是根据以下步骤形成的：

a、取用一副测量用图像标靶，即标准栅格标靶作为实拍对象，并计算出此时镜头物距与像距之间的比例K；

b、在标靶上设定并平均分布100——200个关键点，并给每个关键点分配空间坐标(X_物，Y_物)，利用物距与像距之间的比例K计算出标靶上每个关键点所对应的理想成像空间坐标(X_像，Y_像)，即理想的非畸变成像空间坐标；

c、对标靶图进行实际拍摄，得到带有畸变的标靶图像，并在畸变的标靶图像上找出对应的关键点，并根据拍摄设备中图像传感器的像素点物理特征，计算出标靶图像的关键点的物像空间坐标，即“图像——物像”的坐标系转换，得出畸变物像空间坐标(X`<sub>像</sub>，Y`_像)；

d、把(X`<sub>像</sub>，Y`_像)及(X_像，Y_像)代入到函数模型(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中，得出函数模型的超定方程组并求解，得出参数A_未知，进一步得出函数模型的数值为理论上拍摄设备镜头的光路畸变成像函数，结合拍摄设备的镜头光学畸变参数与非畸变光路成像的对照关系，采用逐次迫近法，修正参数A_未知得出A`，以达到操作的最小纠偏误差，即E≤B，E为纠偏误差，B为设定常数，B设得越小，则E越小，修正参数A的计算则越复杂。

计算反向影射坐标根据是以下步骤形成的：

a、利用函数模型的(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]计算出基于物像坐标系的畸变(X`<sub>像</sub>，Y`_像)——非畸变(X_像，Y_像)坐标之间的影射关系，再把这种影射关系转换成基于成像坐标系(X_图，Y_图)，结合拍摄设备的拍摄模组中图像感应器的像素点物理特征，进行图像坐标反向影射的计算；

b、生成图像纠偏运算参数，把基于成像坐标系的畸变——非畸变坐标像素点之间的影射关系转换成二进制数，以二进制数文件的形式存在；

c、取出镜头光学畸变参数中各采样点的畸变像高H`与非畸变像高H，将畸变像高H`转换成物像空间坐标(X`<sub>像</sub>，Y`_像)，将非畸变像高H转换成物像空间坐标(X_像，Y_像)；

d、把转换所得到的非畸变物像空间坐标(X_像，Y_像)代入到函数模型(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中，计算得到相应的畸变物像空间坐标(X``<sub>像</sub>，Y``_像)，再计算(X``<sub>像</sub>，Y``_像)与(X`<sub>像</sub>，Y`_像)的均方纠偏误差E，判断纠偏误差E是否≤设定常数B，其结果有两种，分别是：

当纠偏误差E是≤常数B时，把修正后的参数A`代入到函数模型(X`_像，Y`_像)＝F[X_像，Y_像，A_未知]中，得出最终的函数F；

当纠偏误差E不是≤常数B时，则返回到数学建模的步骤中，将标靶图等分为四面，此时采样点也等分成四份，若之前已经有等分过，则再此基础上进一步细分成四份，即4X4份，利用数学建模的步骤重新进行计算，把各面所属的采样点单独再求解一次参数A`，相应得到A`₁、A`<sub>2</sub>、A`₃、A`₄，进而得到四个图像各自的函数F，即F⁺、F²、F³、F⁴′，并重新计算得到相应的畸变物像坐标点和均方纠偏误差，同样得到最终的函数F；

e、查找图像感应器的物理尺寸，其尺寸的单位为um，物理尺寸设定为X*Y大小的矩形框，假定图像感应器的中心点为新的物像空间坐标原点，计算原点到图像感应器边框的距离Dx、Dy，则Dx＝X/2，Dy＝Y/2；

f、计算非畸变物像的有效尺寸，其大小设为2Rx*2Ry，畸变图像的原形，即非畸变图像比畸变图像的尺寸要大1.5倍，计算非畸变图像的有效尺寸，其大小设为Px*Py像素，设每个像素的大小为a*a的正方形，单位为um，则Px＝2Rx/a，Py＝2Ry/a，计算非畸变图像各像素的反向影射坐标，设置Rx*Ry的初始值，将Rx的初始值设为1.5xDx，Ry的初始值设为1.5xDy，并代入到函数(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中求解，则2Rx及2Ry分别为非畸变物像坐标的有效尺寸；

g、把非畸变图像的各个像素转换成相应的物像坐标，将物像坐标代入函数(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中，求得相应畸变物像的坐标点，并将坐标点转换回相应的图像像素坐标点，该像素坐标点即位于畸变图像的特点位置上。

进行图像恢复是根据以下步骤形成的：

a、创建一幅空位图文件，其大小设为Px*Py，形成非畸变图像的邹形；

b、在空位图文件中读入之前生成的二进制文件，根据空位图文件中各像素的坐标点从二进制文件中查找对应于畸变图像的坐标点；

c、以位图的形式读入畸变图像，并进行图像插值和图像切割，保证图像色度值、像素值和去除多余的图像边沿部分；

d、生成完整的非畸变图像并输出纠偏图像。

本发明与现有技术相比，具有以下显著的进步和突出的特点：

1——不会对拍摄设备的镜头参数过度依赖，无需进行白准位补偿及校正，亦不会产生光源不均匀的情况，并且将复杂的运算函数以简洁的图像坐标影射关系表示出来，结合数学建模及函数模型，通过图像与物像之间坐标系的转换、影射、插值，自动进行分析，在保证运算速度和识别程度的基础上，提升纠偏速度和输出效果；

2——而现有市场上的纠偏产品在进行畸变校正过程中，需要重复多个步骤，如一张图像畸变量达到30％的图像，用传统的纠偏产品或技术每按一次最多只能进行10％的纠偏，30％的畸变量最少就需要重复操作三次，比较烦琐，借助于本发明，在实际操作步骤上更为省略，响应速度更快，用户从拍摄到生成再到显示这一整个过程，完全不需手工调整，可一步到位，人性化设计，方便简易，并且更为精确，因为本发明不依赖于用户对拍摄图像的各线位置的主观感觉，保证最后的纠偏结果形状上不失真；

3——本发明可直接以软件的形式安装于电脑中进行操作，但相比于Photoshop软件更为简单和方便，对硬件及软件的要求没那么严格，本发明也可集成在芯片上，然后将芯片安装于各种拍摄设备上，拍摄设备在拍摄时就会自动将图像进行识别并进行校正和纠偏，达到显示或输出来的图像是完整且不会产生畸变的，在形式上更为灵活和方便，扩大了使用范畴和应用领域，市场前景巨大。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明的总体流程图；

图2是数学建模的流程图；

图3是计算反向影射坐标的流程图；

图4是图像恢复的流程图。

具体实施方式

根据图1至图4所示，本发明的图像纠偏处理方法主要分为数学建模、计算反向影射坐标以及进行图像恢复三大步骤，在使用时，对拍摄对象进行图像拍摄的过程中，首先是取用一副测量用图像标靶，即标准栅格标靶作为实拍对象，并计算出此时镜头物距与像距之间的比例K，在标靶上设定并平均分布100——200个关键点，并给每个关键点分配空间坐标(X_物，Y_物)，利用物距与像距之间的比例K计算出标靶上每个关键点所对应的理想成像空间坐标(X_像，Y_像)，即理想的非畸变成像空间坐标，对标靶图进行实际拍摄，得到带有畸变的标靶图像，并在畸变的标靶图像上找出对应的关键点，并根据拍摄设备中图像传感器的像素点物理特征，计算出标靶图像的关键点的物像空间坐标，即“图像——物像”的坐标系转换，得出畸变物像空间坐标(X`<sub>像</sub>，Y`_像)，把(X`<sub>像</sub>，Y`_像)及(X_像，Y_像)代入到函数模型(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中，得出函数模型的超定方程组并求解，得出参数A_未知，进一步得出函数模型的数值为理论上拍摄设备镜头的光路畸变成像函数，结合拍摄设备的镜头光学畸变参数与非畸变光路成像的对照关系，采用逐次迫近法，修正参数A_未知得出A`，以达到操作的最小纠偏误差，即E≤B，E为纠偏误差，B为设定常数，B设得越小，则E越小，修正参数A的计算则越复杂。

其次是计算反向影射坐标，利用函数模型的(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]计算出基于物像坐标系的畸变(X`<sub>像</sub>，Y`_像)——非畸变(X_像，Y_像)坐标之间的影射关系，再把这种影射关系转换成基于成像坐标系(X_图，Y_图)，结合拍摄设备的拍摄模组中图像感应器的像素点物理特征，进行图像坐标反向影射的计算，生成图像纠偏运算参数，把基于成像坐标系的畸变——非畸变坐标像素点之间的影射关系转换成二进制数，以二进制数文件的形式存在，取出镜头光学畸变参数中各采样点的畸变像高H`与非畸变像高H，将畸变像高H`转换成物像空间坐标(X`<sub>像</sub>，Y`_像)，将非畸变像高H转换成物像空间坐标(X_像，Y_像)，把转换所得到的非畸变物像空间坐标(X_像，Y_像)代入到函数模型(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中，计算得到相应的畸变物像空间坐标(X``<sub>像</sub>，Y``_像)，再计算(X``<sub>像</sub>，Y``_像)与(X`<sub>像</sub>，Y`_像)的均方纠偏误差E，判断纠偏误差E是否≤设定常数B，其结果有两种，分别是：

当纠偏误差E是≤常数B时，把修正后的参数A`代入到函数模型(X`_像，Y`_像)＝F[X_像，Y_像，A_未知]中，得出最终的函数F。

当纠偏误差E不是≤常数B时，则返回到数学建模的步骤中，将标靶图等分为四面，此时采样点也等分成四份，若之前已经有等分过，则再此基础上进一步细分成四份，即4X4份，利用数学建模的步骤重新进行计算，把各面所属的采样点单独再求解一次参数A`，相应得到A`₁、A`<sub>2</sub>、A`₃、A`₄，进而得到四个图像各自的函数F，即F⁺、F²、F³、F⁴′，并重新计算得到相应的畸变物像坐标点和均方纠偏误差，同样得到最终的函数F。

再查找图像感应器的物理尺寸，其尺寸的单位为um，物理尺寸设定为X*Y大小的矩形框，假定图像感应器的中心点为新的物像空间坐标原点，计算原点到图像感应器边框的距离Dx、Dy，则Dx＝X/2，Dy＝Y/2，计算非畸变物像的有效尺寸，其大小设为2Rx*2Ry，畸变图像的原形，即非畸变图像比畸变图像的尺寸要大1.5倍，计算非畸变图像的有效尺寸，其大小设为Px*Py像素，设每个像素的大小为a*a的正方形，单位为um，则Px＝2Rx/a，Py＝2Ry/a，计算非畸变图像各像素的反向影射坐标，设置Rx*Ry的初始值，将Rx的初始值设为1.5xDx，Ry的初始值设为1.5xDy，并代入到函数(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中求解，则2Rx及2Ry分别为非畸变物像坐标的有效尺寸，把非畸变图像的各个像素转换成相应的物像坐标，将物像坐标代入函数(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中，求得相应畸变物像的坐标点，并将坐标点转换回相应的图像像素坐标点，该像素坐标点即位于畸变图像的特点位置上。

再次进行图像恢复，创建一幅空位图文件，其大小设为Px*Py，形成非畸变图像的邹形，在空位图文件中读入之前生成的二进制文件，根据空位图文件中各像素的坐标点从二进制文件中查找对应于畸变图像的坐标点，以位图的形式读入畸变图像，并进行图像插值和图像切割，保存图像色度值、像素值和去除多余的图像边沿部分，生成完整的非畸变图像并输出纠偏图像。

上述实施例仅为说明本发明而列举，并非用于限制本发明，任何基于本技术方案所变换的等同效果的结构，均属于本发明的保护范围。

Claims (4)

1.一种图像纠偏处理方法，其特征在于，包括以下步骤：

(1)进行数学建模：根据拍摄设备镜头的参数以定义所述拍摄设备镜头的光路畸变成像函数，其镜头的光路畸变成像函数的模型定义为：(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]，通过计算确定函数F中的未知参数A_未知的值，将计算得出后的A_未知的值代入实拍图像的畸变数据中，以得出确定了已知参数的函数；

(2)计算反向影射坐标：利用光路畸变成像函数计算出实际成像坐标与理想成像空间坐标的影射关系，并将该影射关系的坐标系转换成图像坐标系；

(3)进行图像恢复：利用步骤(2)的影射关系，对畸变图像作反向坐标点查找，利用图像插值恢复并输出非畸变图像。

2.根据权利要求1所述的一种图像纠偏处理方法，其特征在于：步骤(1)所述的进行数学建模根据以下步骤形成：

a、取用一副测量用图像标靶，即标准栅格标靶作为实拍对象，并计算出此时镜头物距与像距之间的比例K；

b、在标靶上设定并平均分布100——200个关键点，并给每个关键点分配空间坐标(X_物，Y_物)，利用物距与像距之间的比例K计算出标靶上每个关键点所对应的理想成像空间坐标(X_像，Y_像)，即理想的非畸变成像空间坐标；

c、对标靶图进行实际拍摄，得到带有畸变的标靶图像，并在畸变的标靶图像上找出对应的关键点，并根据拍摄设备中图像传感器的像素点物理特征，计算出标靶图像的关键点的物像空间坐标，即“图像——物像”的坐标系转换，得出畸变物像空间坐标(X`<sub>像</sub>，Y`_像)；

d、把(X`<sub>像</sub>，Y`_像)及(X_像，Y_像)代入到函数模型(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中，得出函数模型的超定方程组并求解，得出参数A_未知，进一步得出函数模型的数值为理论上拍摄设备镜头的光路畸变成像函数，结合拍摄设备的镜头光学畸变参数与非畸变光路成像的对照关系，采用逐次迫近法，修正参数A_未知得出A`，以达到操作的最小纠偏误差，即E≤B，E为纠偏误差，B为设定常数。

3.根据权利要求1所述的一种图像纠偏处理方法，其特征在于：步骤(2)所述的计算反向影射坐标根据以下步骤形成：

a、利用函数模型的(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]计算出基于物像坐标系的畸变(X`<sub>像</sub>，Y`_像)——非畸变(X_像，Y_像)坐标之间的影射关系，再把这种影射关系转换成基于成像坐标系(X_图，Y_图)，结合拍摄设备的拍摄模组中图像感应器的像素点物理特征，进行图像坐标反向影射的计算；

b、生成图像纠偏运算参数，把基于成像坐标系的畸变——非畸变坐标像素点之间的影射关系转换成二进制数，以二进制数文件的形式存在；

c、取出镜头光学畸变参数中各采样点的畸变像高H`与非畸变像高H，将畸变像高H`转换成物像空间坐标(X`<sub>像</sub>，Y`_像)，将非畸变像高H转换成物像空间坐标(X_像，Y_像)；

d、把转换所得到的非畸变物像空间坐标(X_像，Y_像)代入到函数模型(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中，计算得到相应的畸变物像空间坐标(X``<sub>像</sub>，Y``_像)，再计算(X``<sub>像</sub>，Y``_像)与(X`<sub>像</sub>，Y`_像)的均方纠偏误差E，判断纠偏误差E是否≤设定常数B，然后根据上述判断结果进行相应的修正和计算，代入到函数模型(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中，得出最终的函数F；

e、查找图像感应器的物理尺寸，其尺寸的单位为um，物理尺寸设定为X*Y大小的矩形框，假定图像感应器的中心点为新的物像空间坐标原点，计算原点到图像感应器边框的距离Dx、Dy，则Dx＝X/2，Dy＝Y/2；

f、计算非畸变物像的有效尺寸，其大小设为2Rx*2Ry，畸变图像的原形，即非畸变图像比畸变图像的尺寸要大1.5倍，计算非畸变图像的有效尺寸，其大小设为Px*Py像素，设每个像素的大小为a*a的正方形，单位为um，则Px＝2Rx/a，Py＝2Ry/a，计算非畸变图像各像素的反向影射坐标，设置Rx*Ry的初始值，将Rx的初始值设为1.5xDx，Ry的初始值设为1.5xDy，并代入到函数(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中求解，则2Rx及2Ry分别为非畸变物像坐标的有效尺寸；

g、把非畸变图像的各个像素转换成相应的物像坐标，将物像坐标代入函数(X`<sub>像</sub>，Y`_像)＝F[X_像，Y_像，A_未知]中，求得相应畸变物像的坐标点，并将坐标点转换回相应的图像像素坐标点，该像素坐标点即位于畸变图像的特点位置上。

4.根据权利要求1所述的一种图像纠偏处理方法，其特征在于：步骤(3)所述的进行图像恢复根据以下步骤形成：

a、创建一幅空位图文件，其大小设为Px*Py；

b、在空位图文件中读入之前生成的二进制文件，根据空位图文件中各像素的坐标点从二进制文件中查找对应于畸变图像的坐标点；

c、以位图的形式读入畸变图像，并进行图像插值和图像切割；

d、生成完整的非畸变图像并输出纠偏图像。

Images