CN106780389B - 一种基于坐标转换的鱼眼图像校正方法及装置 - Google Patents

Abstract

本发明公开了一种基于坐标转换的鱼眼图像校正方法及装置，从鱼眼图像中任意选取一个像素点P'作为对鱼眼图像进行校正的中心点，通过鱼眼摄像机的成像模型计算出P′在鱼眼半球的入射点P的球面坐标，将平行于以P点为切点与鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标，将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。本发明的方法和装置对高清鱼眼摄相机进行多方位实时校正，便于观察鱼眼图像中各个不同区域的细节。

Description

一种基于坐标转换的鱼眼图像校正方法及装置

技术领域

本发明属于视频监控领域，尤其涉及一种基于坐标转换的鱼眼图像校正方法及装置。

背景技术

在很多应用场景中，用户希望在一个视频监控摄像机的监控画面中能够监控到更大的范围，因此超大广角的镜头得到了越来越多的应用，其中，鱼眼镜头拥有能够获得超过180度视场角的图像，实现无死角监控，在视频监控中得到广泛应用。鱼眼摄像机虽然能获取超大视场角的图像，但是鱼眼摄像机拍摄的图像有着严重的畸变，不符合人眼的观察习惯，因此需要对鱼眼摄像机拍摄的图像进行畸变校正，以便人们对鱼眼摄像机的监控区域进行观察。基于透视原理的畸变校正技术可以将鱼眼摄像机拍摄的图像校正为无畸变的图像，目前基于透视原理的畸变校正一般根据球面投影模型，通过多项式求解对鱼眼摄像机拍摄的图像进行校正，这种方法计算复杂，计算量大，在实时应用中有较大的困难。

例如，专利CN201510195083公开了一种基于球面透视投影的鱼眼图像校正方法，该方法首先将鱼眼图像映射成球面图像,据此建立鱼眼图像与校正图像的关系，然后对空白的校正图像内的像素点采用向后映射，以确定空白校正图像中的像素点在鱼眼图像中对应的亚像素坐标，对确定的亚像素坐标进行线性插值，以得到亚像素值，再将亚像素值填充到空白校正图像内，遍历空白校正图像内的每个像素点，直至空白校正图像内每个像素点均赋予对应的亚像素值，得到鱼眼图像的校正图像。

上述方法虽然能对鱼眼图像进行校正，但是该方法首先要将鱼眼图像映射成球面图像,而将鱼眼图像映射成球面图像计算量非常大,并且通过该方法对鱼眼图像进行校正时，并不需要用到全部的鱼眼图像的像素,因此该方法的效率较低。

发明内容

本发明的目的是提供一种基于坐标转换的鱼眼图像校正方法及装置，通过改进坐标转换的球面映射方法，能以鱼眼图像中的任意一个点为中心对鱼眼图像进行快速、精准的校正。

为了实现上述目的，本发明技术方案如下：

一种基于坐标转换的鱼眼图像校正方法，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，所述基于坐标转换的鱼眼图像校正方法，包括：

从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；

将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；

根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标；

将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。

进一步地，所述根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标，包括：

以所述鱼眼半球中心点O为坐标原点，以鱼眼半球的圆形底面为XOY所在的平面，建立的三维坐标系XYZ，计算P′对应在等距投影模型中鱼眼半球上的入射点P的球面坐标P

的公式如下：

f＝r*2/π

θ＝π-arctan{(d-m),(e-n)}

其中，f为鱼眼摄像机的等效焦距，

为OP与Z轴的夹角，P₀为P点在XOY平面上的投影，θ为OP₀与X轴的夹角，r为鱼眼图像的半径，m为P′点在鱼眼图像中的横坐标，n为P′点在鱼眼图像中的纵坐标，d为鱼眼图像中心点O"在鱼眼图像中的横坐标，e为鱼眼图像中心点O"在鱼眼图像中的纵坐标。

进一步地，所述根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，计算出绘制点在鱼眼图像中对应的像素点的坐标，包括：

将XYZ坐标系绕Z轴旋转θ，使X轴旋转到与OP₀重合的位置，然后再绕Y轴旋转

使P点落在Z′轴上，得到坐标系X′Y′Z′；

根据校正图像中绘制点M的坐标(x,y)、Q点到O点的距离h，通过如下公式计算出校正图像中的绘制点M与鱼眼光学中心O的连线与鱼眼半球的交点M′的球面坐标(f,

θ′)中的

θ′:

其中，

为OM′与Z轴的夹角，θ′为M′在XOY上的投影与X轴的夹角，OM的长度为L，

R为从坐标系XYZ到坐标系X′Y′Z′的旋转矩阵，

根据M′的球面坐标(f,

θ′)中的

θ′以及等距投影模型，通过如下公式计算出绘制点M在鱼眼图像上对应的像素点M"的坐标：

其中，i为M"在鱼眼图像中的横坐标，j为M"在鱼眼图像中的纵坐标，m为鱼眼图像中心点O"在鱼眼图像中的横坐标，n为鱼眼图像中心点O"在鱼眼图像中的纵坐标，r为鱼眼图像的半径。

进一步地，所述基于坐标转换的鱼眼图像校正方法，还包括：

在对鱼眼图像进行实时校正时，如果需要扩大校正图像在鱼眼图像中对应的校正区域，则缩短校正图像的中心点Q到O点的距离h，如果需要缩小校正图像的在鱼眼图像中对应的校正区域，则增大校正图像的中心点Q到O点的距离h。

本发明还提出了一种基于坐标转换的鱼眼图像校正装置，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，其特征在于，所述基于坐标转换的鱼眼图像校正装置，包括：

球面坐标计算模块，用于从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；

虚拟成像面建立模块，用于将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；

像素点坐标计算模块，用于根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标；

校正图像绘制模块，用于将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。

进一步地，所述基于坐标转换的鱼眼图像校正装置，还包括：

校正区域调整模块，用于在对鱼眼图像进行实时校正时，如果需要扩大校正图像在鱼眼图像中对应的校正区域，则缩短校正图像的中心点Q到O点的距离h，如果需要缩小校正图像的在鱼眼图像中对应的校正区域，则增大校正图像的中心点Q到O点的距离h。

本发明还提出了一种基于坐标转换的鱼眼图像校正装置，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，所述基于坐标转换的鱼眼图像校正装置，包括：

球面坐标计算模块，用于从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；

虚拟成像面建立模块，用于将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；

像素点坐标计算模块，用于根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标；

校正图像绘制模块，用于将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。

进一步地，所述球面坐标计算模块根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标，包括：

以所述鱼眼半球中心点O为坐标原点，以鱼眼半球的圆形底面为XOY所在的平面，建立的三维坐标系XYZ，计算P′对应在等距投影模型中鱼眼半球上的入射点P的球面坐标P

的公式如下：

f＝r*2/π

θ＝π-arctan{(d-m),(e-n)}

其中，f为鱼眼摄像机的等效焦距，

为OP与Z轴的夹角，P₀为P点在在XOY平面上的投影，θ为OP₀与X轴的夹角，r为鱼眼图像的半径，m为P′点在鱼眼图像中的横坐标，n为P′点在鱼眼图像中的纵坐标，d为鱼眼图像中心点O"在鱼眼图像中的横坐标，e为鱼眼图像中心点O"在鱼眼图像中的纵坐标。

进一步地，所述像素点坐标计算模块根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，计算出绘制点在鱼眼图像中对应的像素点的坐标，执行如下操作：

将XYZ坐标系绕Z轴旋转θ，使X轴旋转到与OP₀重合的位置，然后再绕Y轴旋转

使P点落在Z′轴上，得到坐标系X′Y′Z′；

根据校正图像中绘制点M的坐标(x,y)、Q点到O点的距离h，通过如下公式计算出校正图像中的绘制点M与鱼眼光学中心O的连线与鱼眼半球的交点M′的球面坐标(f,

θ′)中的

θ′:

其中，

为OM′与Z轴的夹角，θ′为M′在XOY上的投影与X轴的夹角，OM的长度为L，

R为从坐标系XYZ到坐标系X′Y′Z′的旋转矩阵，

根据M′的球面坐标(f,

θ′)中的

θ′以及等距投影模型，通过如下公式计算出绘制点M在鱼眼图像上对应的像素点M"的坐标：

其中，i为M"在鱼眼图像中的横坐标，j为M"在鱼眼图像中的纵坐标，m为鱼眼图像中心点O"在鱼眼图像中的横坐标，n为鱼眼图像中心点O"在鱼眼图像中的纵坐标，r为鱼眼图像的半径。

进一步地，所述基于坐标转换的鱼眼图像校正装置，还包括：

校正区域调整模块，用于在对鱼眼图像进行实时校正时，如果需要扩大校正图像在鱼眼图像中对应的校正区域，则缩短校正图像的中心点Q到O点的距离h，如果需要缩小校正图像的在鱼眼图像中对应的校正区域，则增大校正图像的中心点Q到O点的距离h。

本发明提出了一种基于坐标转换的鱼眼图像校正方法及装置，通过等距投影模型和坐标转换对鱼眼图像进行快速、精准的校正，本发明只需获取鱼眼图像的图像半径和中心点的位置，而无需获取鱼眼摄像机的焦距等参数，也无需对鱼眼图像的畸变参数进行标定就可以对鱼眼图像内的任意区域进行校正，得到满足透视原理的校正效果，并且与相似的现有技术比较，具有清晰易懂，计算过程简单，计算量小，并行性高的优点。该校正方法可以对高清鱼眼摄相机进行多方位实时校正，便于观察鱼眼图像中各个不同区域的细节。

附图说明

图1为本发明基于坐标转换的鱼眼图像校正方法的流程图；

图2为本实施例鱼眼摄像机等距投影模型的示意图；

图3为本实施例基于坐标转换的球面投射校正方法的示意图；

图4为本实施例控制校正图像在鱼眼图像中对应的校正区域大小的示意图；

图5为本发明基于坐标转换的鱼眼图像校正装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本实施例一种基于坐标转换的鱼眼图像校正方法，如图1所示，包括：

步骤S1、从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标。

鱼眼摄像机的成像模型有等距投影、等立体角投影、体视投影和正交投影等，其中最常用的是等距投影。本实施例鱼眼摄像机等距投影模型的示意图，如图2所示，其中，O点为鱼眼摄像机的光学中心,XYZ为以O点为坐标原点，以鱼眼半球的圆形底面为XOY所在的平面建立的三维坐标系，T为Z轴与鱼眼半球的交点，OT＝f，f为鱼眼摄像机的等效焦距，UVO”为鱼眼摄像机的成像面，O"为鱼眼摄像机所成圆形图像(即鱼眼图像)的中心点，O"U与XYZ坐标系中的X轴以及鱼眼图像的横坐标轴i平行，O"V与XYZ坐标系中的Y轴以及鱼眼图像的纵坐标轴j平行。

假设空间中任意一点在鱼眼摄像机中成像时，该点与鱼眼摄像机光学中心O的连线交鱼眼半球于P点，P′点为P点在鱼眼摄像机中的成像点，则根据等距投影的原理得到：

∠XOP₀＝π-∠UO”P'＝θ

其中，P₀为P点在在XOY平面上的投影，

为OP与Z轴的夹角，θ为OP₀与X轴的夹角,

为弧长。

从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据等距投影模型及光路可逆的原理可以得到P′在鱼眼半球上的入射点P，然后通过等距投影的逆向过程计算出点P′在鱼眼半球的入射点P的球面坐标P

θ＝π-∠UO”P'

P′在鱼眼图像中的坐标为(m,n)，鱼眼图像的中心点O"在鱼眼图像中的坐标为(d,e)，鱼眼图像的半径为r(即r个像素点间的距离)，则得到P′在坐标系UVO”中的坐标为：

u＝m-d

v＝n-e

其中u为P′在坐标系UVO”中的横坐标，v为P′在坐标系UVO”中的纵坐标。

根据勾股定理及三角函数得到：

∠UO”P'＝arctan(u,v)

根据等距投影模型得到，当P′位于鱼眼图像的边缘位置，即P′到O"的距离等于鱼眼图像的半径r时，P位于鱼眼半球圆形底面的边缘位置，即

等于π/2，则根据公式

得到：

f＝r*2/π

因此得到P的球面坐标P

为：

f＝r*2/π

θ＝π-arctan{(m-d),(n-e)}

通过上述方法，本实施例根据鱼眼图像中任意一点P′的坐标(m,n)、鱼眼图像中心点O"的坐标(d,e)、以及鱼眼图像的半径r，通过鱼眼摄像机的等距投影模型计算出P′在鱼眼半球上的入射点P的球面坐标P

步骤S2、将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面。

本实施例计算出鱼眼图像中P′在鱼眼半球上的入射点P后，以P为切点，作一个与鱼眼半球相切的切面，将与该切面平行的任意平面作为鱼眼图像的校正图像所在的平面，校正图像所在的平面与射线OP的交点为Q点，然后以Q点为校正图像的中心点建立校正图像的虚拟成像面。

本实施例以校正图像所在的平面为鱼眼半球的切面为例进行说明，此时Q点即为P点，Q点到O点的距离h等于f。

步骤S3、根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标。

本实施例以Q点为校正图像的中心点建立校正图像的虚拟成像面后，如图3所示，将鱼眼摄像机等距投影模型中的XYZ坐标系绕Z轴旋转θ，使X轴旋转到与OP₀重合的位置，然后再绕Y轴旋转

使Q点落在Z′轴上，得到坐标系X′Y′Z′，Q点在坐标系X′Y′Z′中的三维坐标为(0,0,h)。

校正图像中的绘制点M与鱼眼光学中心O的连线与鱼眼半球相交于M′点，则根据透视投影的原理，M′为该绘制点M在鱼眼摄像机中成像时的入射点，然后根据鱼眼摄像机等距投影模型可以得到M′在鱼眼图像中对应的像素点M"，M"即为绘制点M在鱼眼图像中对应的像素点。

首先，本实施例根据绘制点M在坐标系X′Y′Z′中的坐标计算出M′在XYZ坐标系中的坐标。具体地，设绘制点M在校正图像中的坐标为(x,y),则绘制点M在坐标系X′Y′Z′中的坐标为(x,y,h)，根据三角函数得到M′在坐标系XYZ中的坐标为：

然后根据坐标系X′Y′Z′与坐标系XYZ的旋转关系得到：

其中，

为OM'与Z轴的夹角，θ'为M′在XOY上的投影与X轴的夹角，OM的长度为L，

R为坐标系XYZ到坐标系X′Y′Z′的旋转矩阵，

则通过转换得到：

本实施例根据上述公式可以计算出M'的球面坐标中

和θ′的值，因此得到M′的球面坐标(f,

θ′)，f为鱼眼摄像机的等效焦距。

然后根据等距投影模型得到M'在鱼眼图像中对应的像素点M"在坐标系UVO”中的坐标为：

其中，s为M"在坐标系UVO”中的横坐标，t为M"在坐标系UVO”中的纵坐标。

则得到M"在鱼眼图像中的坐标为：

其中，i为M"在鱼眼图像中的横坐标，j为M"在鱼眼图像中的纵坐标，m为鱼眼图像中心点O"在鱼眼图像中的横坐标，n为鱼眼图像中心点O"在鱼眼图像中的纵坐标。

通过上述方法，本实施例根据校正图像中绘制点的坐标、鱼眼图像的半径，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标。

容易理解的是，本实施例对于校正图像中绘制点的坐标，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标，采用了几何学方法中一种计算公式。本领域技术人员还可以采用鱼眼摄像机的其他成像模型来进行计算，如采用等立体角投影、体视投影和正交投影等，其计算的公式与等距投影类似，这里不再赘述。

步骤S4、将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。

本实施例计算出校正图像中的绘制点在鱼眼图像中对应的像素点的横坐标和纵坐标后，得到该绘制点在鱼眼图像中对应的像素点，将该绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值，在校正图像中绘制出该绘制点。

本实施例通过上述方法得到校正图像中的每个绘制点在鱼眼图像中对应的像素点，并将各个绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值，在校正图像中绘制出所有的绘制点，生成鱼眼图像对应的校正图像。

需要说明的是，本实施例在对鱼眼图像进行校正时，可以通过鼠标操作来实时选取对鱼眼图像进行校正的中心位置。优选地，本实施例通过鼠标在鱼眼图像中进行点击来实时选取对鱼眼图像进行校正的中心位置，点击的方式可以为单击或双击鼠标左键，也可以是单击或双击鼠标右键，本实施例不限定鼠标点击的方式。本实施例也可以通过按住鼠标左键或右键对校正图像进行拖动来调整对鱼眼图像进行校正的中心位置。本实施例还可以在鱼眼图像中选取多个不同的中心点对鱼眼图像的不同区域同时进行校正，从而实现对鱼眼图像的多个不同区域同时进行观察，使监控画面无死角。

本实施例在对鱼眼图像进行实时校正时，通过调整校正图像的虚拟成像面的中心点Q到O点的距离h，可以控制校正图像在鱼眼图像中对应的校正区域的大小，当增大Q点到O点的距离h时，校正图像在鱼眼图像中对应的校正区域缩小，使校正图像中物体所成的图像放大，图像细节更加清楚；当缩短Q点到O点的距离h时，校正图像的在鱼眼图像中对应的校正区域扩大，使校正图像的监控区域扩大。优选地，本实施例通过鼠标滚轮的滚动来调整Q点到O点的距离，鼠标滚轮向下滚动时Q点到O点的距离变小，鼠标滚轮向上滚动时Q点到O点的距离变大。本实施例控制校正图像在鱼眼图像中对应的校正区域大小的示意图，如图4所示，O点为鱼眼摄像机的光学中心，平面0为校正图像的虚拟成像面与鱼眼半球相切时的位置，OA为平面0的法线方向，平面1和平面2与平面0平行。当鼠标滚轮向下滚动时，校正图像的虚拟成像面沿着法线方向OA，从平面0向平面1移动，逐渐扩大校正图像的在鱼眼图像中对应的校正区域；当鼠标滚轮向上滚动时，校正图像的虚拟成像面沿着法线方向OA，从平面0向平面2移动，逐渐缩小校正图像的在鱼眼图像中对应的校正区域。

本实施例还提出了一种基于坐标转换的鱼眼图像校正装置，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，与上述方法对应，如图5所示，包括：

球面坐标计算模块，用于从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；

虚拟成像面建立模块，用于将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；

像素点坐标计算模块，用于根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标；

校正图像绘制模块，用于将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像。

本实施例球面坐标计算模块球面坐标计算模块根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标，包括：

以所述鱼眼半球中心点O为坐标原点，以鱼眼半球的圆形底面为XOY所在的平面，建立的三维坐标系XYZ，计算P′对应在等距投影模型中鱼眼半球上的入射点P的球面坐标的公式如下：

f＝r*2/π

θ＝π-arctan{(d-m),(e-n)}

其中，f为鱼眼摄像机的等效焦距，

为OP与Z轴的夹角，P₀为P点在在XOY平面上的投影，θ为OP₀与X轴的夹角，r为鱼眼图像的半径，m为P′点在鱼眼图像中的横坐标，n为P′点在鱼眼图像中的纵坐标，d为鱼眼图像中心点O"在鱼眼图像中的横坐标，e为鱼眼图像中心点O"在鱼眼图像中的纵坐标。

本实施例像素点坐标计算模块根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，计算出绘制点在鱼眼图像中对应的像素点的坐标，执行如下操作：

将XYZ坐标系绕Z轴旋转θ，使X轴旋转到与OP₀重合的位置，然后再绕Y轴旋转

使P点落在Z′轴上，得到坐标系X′Y′Z′；

根据校正图像中绘制点M的坐标(x,y)、Q点到O点的距离h，通过如下公式计算出校正图像中的绘制点M与鱼眼光学中心O的连线与鱼眼半球的交点M′的球面坐标(f,

θ′)中的

θ′:

其中，

为OM′与Z轴的夹角，θ′为M′在XOY上的投影与X轴的夹角，OM的长度为L，

R为从坐标系XYZ到坐标系X′Y′Z′的旋转矩阵，

根据M′的球面坐标(f,

θ′)中的

θ′以及等距投影模型，通过如下公式计算出绘制点M在鱼眼图像上对应的像素点M"的坐标：

其中，i为M"在鱼眼图像中的横坐标，j为M"在鱼眼图像中的纵坐标，m为鱼眼图像中心点O"在鱼眼图像中的横坐标，n为鱼眼图像中心点O"在鱼眼图像中的纵坐标，r为鱼眼图像的半径。

本实施例基于坐标转换的鱼眼图像校正装置，还包括：

校正区域调整模块，用于在对鱼眼图像进行实时校正时，如果需要扩大校正图像在鱼眼图像中对应的校正区域，则缩短校正图像的中心点Q到O点的距离h，如果需要缩小校正图像的在鱼眼图像中对应的校正区域，则增大校正图像的中心点Q到O点的距离h。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种基于坐标转换的鱼眼图像校正方法，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，其特征在于，所述基于坐标转换的鱼眼图像校正方法，包括：

从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；

将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；

根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标；

将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像；

其中，所述成像模型为等距投影，所述根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标，包括：

以所述鱼眼半球中心点O为坐标原点，以鱼眼半球的圆形底面为XOY所在的平面，建立的三维坐标系XYZ，计算P′对应在等距投影模型中鱼眼半球上的入射点P的球面坐标

的公式如下：

f＝r*2/π

θ＝π-arctan{(d-m)，(e-n)}

其中，f为鱼眼摄像机的等效焦距，

为OP与Z轴的夹角，P₀为P点在XOY平面上的投影，θ为OP₀与X轴的夹角，r为鱼眼图像的半径，m为P′点在鱼眼图像中的横坐标，n为P′点在鱼眼图像中的纵坐标，d为鱼眼图像中心点O″在鱼眼图像中的横坐标，e为鱼眼图像中心点O″在鱼眼图像中的纵坐标；

所述根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，计算出绘制点在鱼眼图像中对应的像素点的坐标，包括：

将XYZ坐标系绕Z轴旋转θ，使X轴旋转到与OP₀重合的位置，然后再绕Y轴旋转

使P点落在Z′轴上，得到坐标系X′Y′Z′；

根据校正图像中绘制点M的坐标(x，y)、Q点到O点的距离h，通过如下公式计算出校正图像中的绘制点M与鱼眼光学中心O的连线与鱼眼半球的交点M′的球面坐标

中的

θ′：

其中，

为OM′与Z轴的夹角，θ′为M′在XOY上的投影与X轴的夹角，OM的长度为L，

R为从坐标系XYZ到坐标系X′Y′Z′的旋转矩阵，

根据M′的球面坐标

中的

θ′以及等距投影模型，通过如下公式计算出绘制点M在鱼眼图像上对应的像素点M″的坐标：

其中，i为M″在鱼眼图像中的横坐标，j为M″在鱼眼图像中的纵坐标，m为鱼眼图像中心点O″在鱼眼图像中的横坐标，n为鱼眼图像中心点O″在鱼眼图像中的纵坐标，r为鱼眼图像的半径。

2.根据权利要求1所述的基于坐标转换的鱼眼图像校正方法，其特征在于，所述基于坐标转换的鱼眼图像校正方法，还包括：

在对鱼眼图像进行实时校正时，如果需要扩大校正图像在鱼眼图像中对应的校正区域，则缩短校正图像的中心点Q到O点的距离h，如果需要缩小校正图像的在鱼眼图像中对应的校正区域，则增大校正图像的中心点Q到O点的距离h。

3.一种基于坐标转换的鱼眼图像校正装置，用于对鱼眼摄像机拍摄的鱼眼图像进行校正，其特征在于，所述基于坐标转换的鱼眼图像校正装置，包括：

球面坐标计算模块，用于从鱼眼图像中任意选取一个像素点P′作为对鱼眼图像进行校正的中心点，根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标；

虚拟成像面建立模块，用于将平行于以P点为切点与所述鱼眼半球相切的切面的任意平面作为校正图像所在的平面，以该平面与所述鱼眼半球中心点O到P点的射线OP的交点Q为校正图像的中心点建立校正图像的虚拟成像面；

像素点坐标计算模块，用于根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，逐个计算出各绘制点在鱼眼图像中对应的像素点的坐标；

校正图像绘制模块，用于将计算出的绘制点在鱼眼图像中对应的像素点的像素值作为该绘制点在校正图像中的像素值在校正图像中进行绘制，得到鱼眼图像的校正图像；

其中，所述球面坐标计算模块根据P′点在鱼眼图像中的坐标、鱼眼图像的中心点的坐标以及鱼眼图像的半径，通过鱼眼摄像机的成像模型计算出P′对应在成像模型中鱼眼半球上的入射点P的球面坐标，包括：

以所述鱼眼半球中心点O为坐标原点，以鱼眼半球的圆形底面为XOY所在的平面，建立的三维坐标系XYZ，计算P′对应在等距投影模型中鱼眼半球上的入射点P的球面坐标

的公式如下：

f＝r*2/π

θ＝π-arctan{(d-m)，(e-n)}

其中，f为鱼眼摄像机的等效焦距，

为OP与Z轴的夹角，P₀为P点在在XOY平面上的投影，θ为OP₀与X轴的夹角，r为鱼眼图像的半径，m为P′点在鱼眼图像中的横坐标，n为P′点在鱼眼图像中的纵坐标，d为鱼眼图像中心点O″在鱼眼图像中的横坐标，e为鱼眼图像中心点O″在鱼眼图像中的纵坐标；

所述像素点坐标计算模块根据校正图像中绘制点的坐标、鱼眼图像中心点的坐标、鱼眼图像的半径、以及Q点到O点的距离，计算出绘制点在鱼眼图像中对应的像素点的坐标，执行如下操作：

将XYZ坐标系绕Z轴旋转θ，使X轴旋转到与OP₀重合的位置，然后再绕Y轴旋转

使P点落在Z′轴上，得到坐标系X′Y′Z′；

根据校正图像中绘制点M的坐标(x，y)、Q点到O点的距离h，通过如下公式计算出校正图像中的绘制点M与鱼眼光学中心O的连线与鱼眼半球的交点M′的球面坐标

中的

θ′：

其中，

为OM′与Z轴的夹角，θ′为M′在XOY上的投影与X轴的夹角，OM的长度为L，

R为从坐标系XYZ到坐标系X′Y′Z′的旋转矩阵，

根据M′的球面坐标

中的

θ′以及等距投影模型，通过如下公式计算出绘制点M在鱼眼图像上对应的像素点M″的坐标：

其中，i为M″在鱼眼图像中的横坐标，j为M″在鱼眼图像中的纵坐标，m为鱼眼图像中心点O″在鱼眼图像中的横坐标，n为鱼眼图像中心点O″在鱼眼图像中的纵坐标，r为鱼眼图像的半径。

4.根据权利要求3所述的基于坐标转换的鱼眼图像校正装置，其特征在于，所述基于坐标转换的鱼眼图像校正装置，还包括：

校正区域调整模块，用于在对鱼眼图像进行实时校正时，如果需要扩大校正图像在鱼眼图像中对应的校正区域，则缩短校正图像的中心点Q到O点的距离h，如果需要缩小校正图像的在鱼眼图像中对应的校正区域，则增大校正图像的中心点Q到O点的距离h。

Images