CN103247020A - 一种基于径向特征的鱼眼图像展开方法 - Google Patents

Abstract

本发明公开了一种基于径向特征的鱼眼图像展开方法。本方法仅考虑全向鱼眼图像的径向畸变而不考虑其切向畸变，首先根据拍摄图像的结构确定变换图像的长轴R和短轴r；然后将展开后的矩形全景图像上的任意一列与鱼眼全向图像上的一条半径相对应，并利用鱼眼变换公式矫正径向方向上的畸变；最后输出一幅合适人眼浏览习惯的矩形二维全景图像。本发明所述方法避免了原始全向图边缘畸变较大的问题，消除了图像中的径向畸变，提高了全景展开图的图像质量和视觉效果，在控制图像变形的同时保证了可用信息最大利用率。

Description

一种基于径向特征的鱼眼图像展开方法

技术领域：

本发明涉及图像处理和全向视觉领域，特指一种基于径向特征的鱼眼图像展开方法。

背景技术：

全景图像/视频凭借360度全方位视角、能覆盖大范围场景的优势，在全景视频监控、机器人视觉导航、虚拟实景空间构建等领域得到了越来越广泛的研究和应用。鱼眼全向成像是全景图像获取的重要途径。但由于鱼眼摄像头的特殊设计，焦距越短，视角越大；视角越大，因光学原理产生的变形也就越强烈，鱼眼镜头所拍摄的图像除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化，这样鱼眼摄像机获得的全方位图像存在严重的扭曲现象。要有效的利用图像信息进行导航跟踪，需恢复还原图像。

传统方法上，将圆形全向图展开为矩形全景图的基本思想是：根据全向图和矩形全景图之间的投影变换关系，将展开后的矩形全景图中每一像素点正向投影到原始的全向图中，获取全向图中相应点采样的颜色值，再将该颜色值赋回给矩形全景图中相应的像素点，直至生成一幅完整的矩形全景图像。

目前，鱼眼图像畸变校正的方法有很多，其中基于球面模型和基于柱面模型的鱼眼镜头矫正方法最为常见。依据该模型，人们提出各种图像展开校正模型，例如文献《基于柱面模型的鱼眼影像校正方法的研究》(2008年10月28日《计算机应用》杂志上公开)中描述的方法即为其中的一个典型方法，该文的作者为周辉、罗飞、李慧娟、冯炳枢，其核心内容是从鱼眼镜头球面成像模型出发，完成从像平面到物球面的坐标变换，用等弧长映射方法将球面的影像投影到柱面上。然而在实际应用中，由于镜头的安装误差以及畸变，基于球面模型和基于柱面模型的鱼眼镜头矫正方法，虽然整体视角较广，中心位置处的畸变校正效果比较好，但但是对接近边缘区域的像素校正后弯曲现象严重，对于一些全景图像摄取应用，例如全景会议记录仪等装置，往往难以达到满意的视觉效果，同时由于其变换的复杂性，在校正图像生成速度方面仍有所欠缺，难以满足实时处理要求。

发明内容：

本发明要解决的技术问题在于：针对将鱼眼全向图像展开为柱面全景图像这个特定问题，为了消除全向成像装置的镜头的安装误差以及畸变对全向图展开过程中的不利影响，以及基于球面模型和基于柱面模型的鱼眼镜头矫正方法边缘处变形较大且变换处理复杂的问题，提出一种基于径向特征的全向鱼眼图像展开方法，通过精确计算圆形全向图像的径向畸变，忽略切向畸变的方式对图像上的任一像素做单向变换，得到一幅合适人眼浏览习惯的矩形二维全景图像。本发明提出的方法具有算法简单，视觉效果好，可以去除原始图像中不规则等优点，在控制图像变形的同时保证了可用信息最大利用。

为解决上述技术问题，本发明采取的技术方案是：一种基于径向特征的全向鱼眼图像展开方法，其特征是包括如下步骤：

1).根据拍摄鱼眼全向图像的结构确定变换图像的长轴R和短轴r；

2).将展开后的矩形全景图像上的任意一列O′B′与鱼眼全向圆形图像上的一条半径OB相对应；

3).对于步骤2中O′B′上任意一点P′在鱼眼全向圆形图像半径OB上的对应点可由标准鱼眼变换等距公式得到：

$\mathrm{dis}\left(O^{\′}{P}^{\′}\right)=c\arctan \left(\frac{\mathrm{dis}\left(\mathrm{OP}\right)}{c}\right)$

其中c为成像平面到光心的距离；

4).遍历所选O′B′上每一个像素点，重复步骤3，直至得到完整的矩形全景图像上的一列；

5).根据拍摄图像的结构动态确定变换在全向圆形图像半径的长度，可由最长长度R到最短长度短轴r之间变化，以去除由于镜头安装产生的遮挡区域；

6).遍历全向圆形图像上每一条半径，重复步骤2-5，直至生成一幅完整的矩形全景图像。

其中步骤1)中的鱼眼全向图像不限定为标准圆形形状，可以为椭圆或者是不规则形状，通过选择合适的长轴R和短轴r可以消除以去除由于镜头安装产生的遮挡区域，当原始图像区域不是完整圆形时，矩形全景图像上的一列OE对应于圆形图像上的一条线段O′E′。

步骤2)中将展开后的矩形全景图像上的任意一列O′B′与鱼眼全向圆形图像上的一条半径OB相对应，仅考虑了鱼眼镜头的径向畸变而忽略其切向畸变，实际应用中可以达到较好的视觉效果，克服了一般柱面、球面展开算法边缘处形变较大的缺点。

步骤3)中全景空间任一点鱼眼成像到全向图中的正向投影公式和全向图中任一点逆向投影到矩形全景图像的坐标映射关系均是根据鱼眼成像全向成像***的面型参数和结构尺寸，通过光学成像几何分析推导得到的。在实际应用中，鱼眼成像满足等距条件，以及满足单视点约束，正向投影公式及逆向映射关系都能很容易通过光学成像过程的简单几何推导，即光学成像几何分析推导而成，因此，本发明对于不同的成像***的正向和逆向映射关系推导过程不一作详细描述。

本发明的优点和积极效果：

●本发明基于鱼眼镜头的成像模型，即适应于等矩投影原理的鱼眼镜头，也适用于其它投影原理的鱼眼镜头。

●本发明弥补了其它展开方法对鱼眼镜头中部图像展开形变较小，而边缘变形较大的问题，不仅可以复原顶部的信息，也可以复原边缘星系。

●本发明的展开效果消除了其它恢复方法边缘“拉扯”的现像，在边缘也可以得到接近现实世界的效果。

●本发明算法原理简单，速度较快，占用时间少利于硬件实现。

●本发明在基于鱼眼镜头的图像跟踪、监控及视频会议等领域都有积极的效果与广泛的应用前景。

附图说明：

图1是发明所述基于径向特征的全向鱼眼图像展开方法示意图；

其中S101是展开全景图像上一点正向投影到全向图成像平面的示意图；

S102是指全向图中一点逆向投影到全景图像的示意图；

图2本发明中鱼眼图像光学原理示意图；

其中是S103是空间平面，S104是鱼眼镜头，S105是成像平面；

图3是吸顶式360度全景摄像机；

图4是鱼眼镜头光路成像示意图

图5是实施例中所述基于径向特征的全向鱼眼图像展开方法的实验效果图。

具体实施方式：

以下结合附图和具体实例对本发明做进一步详细说明。

全向鱼眼图像展开方法在本发明提出的***中，有两种方式实现，摄像机嵌入式***实现变换和监控计算机终端实现变换。

摄像机工作原理和图像变换的原理：全景成像器件采集周围360视野的图像，得到全向图像，全向图像输入图像处理电路板进行变换处理，变换后的数字图像输出至网络输出接口，网络输出接口连接终端监视器进行视频的显示。外部控制设备通过网络接口控制全景摄像机。

图像变换在监控计算机终端实现的原理：全景成像器件采集周围360视野的图像，得到全景图像通过网络传输到计算机监控终端之后通过计算机CPU进行计算全景图像变换，并且在终端显示出来。

全向鱼眼图像展开是指将全景成像器件获得的360度全向图像变换成符合人眼观察习惯的矩形全景的过程。如图1所示。

本发明提出的具体变换算法如下：

当选定矩形全景图像中某个位置(x，y)的时候，假设展开后矩形全景图像的真实图像高度和宽度为W_T，H_T，而展开前其全向图像的宽度和高度为W_S，H_S，则其在展开前其全向图像中以圆点为圆心的极坐标角度θ仅与x相关，表示为参数方程的形式为：

$\mathrm{\θ}=\frac{x}{W_T}2\mathrm{\π},$

同时由如图2所以鱼眼成像等距模型可得，则其在展开前其全向图像中以圆点为圆心的极坐标极径ρ可以以下公式表达：

$\mathrm{\ρ}=\frac{\mathrm{\θ}-x}{\mathrm{\θ}}(R-2\mathrm{\θ}\left(\frac{R-r}{\mathrm{\π}}\right))$

可得到变换后图像中点(x，y)对应原图的像素点(x′，y′)位置的值：

$\left\{\begin{array}{c}{x}^{\′}=\frac{W_S}{2}+\mathrm{\ρ}\cos \left(\mathrm{\θ}\right)\\ y^{\′}=\frac{H_s}{2}+\mathrm{\ρ}\sin \left(\mathrm{\θ}\right)\end{array}\right.$

由上述基于径向特征的鱼眼图像展开方法得到的柱面全景展开图如图5所示，图像质量高，且展开速度快。

本发明中提出的方法实际上可用于具有精确光学成像坐标映射关系的任意鱼眼镜头全向成像***。以上实施例仅仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现***和具体实施步骤。因此，仅对上述实施例中具体的成像模型、公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (4)

1.一种基于径向特征的鱼眼图像展开方法，其特征是，包括如下步骤：

1).根据拍摄鱼眼全向图像的结构确定变换图像的长轴R和短轴r；

2).将展开后的矩形全景图像上的任意一列O′B′与鱼眼全向圆形图像上的一条半径OB相对应；

3).对于步骤2中O′B′上任意一点P′在鱼眼全向圆形图像半径OB上的对应点可由标准鱼眼变换等距公式得到：

$\mathrm{dis}\left(O^{\′}{P}^{\′}\right)=c\arctan \left(\frac{\mathrm{dis}\left(\mathrm{OP}\right)}{c}\right)$

其中c为成像平面到光心的距离；

4).遍历所选O′B′上每一个像素，重复步骤3)，直至得到完整矩形全景图像上的一列；

5).根据拍摄图像的结构动态确定变换在全向圆形图像半径的长度，可由最长长度R到最短长度短轴r之间变化，以去除由于镜头安装产生的遮挡区域；

6).遍历全向圆形图像上每一条半径，重复步骤2)-5)，直至生成一幅完整的矩形全景图像。

2.根据权利要求1所述基于径向特征的鱼眼图像展开方法，其步骤1)中的鱼眼全向图像不限定为标准圆形形状，可以为椭圆或者是不规则形状，通过选择合适的长轴R和短轴r可以消除以去除由于镜头安装产生的遮挡区域。

3.根据权利要求1所述基于径向特征的鱼眼图像展开方法，其特征是，所述步骤2)中将展开后的矩形全景图像上的任意一列O′B′与鱼眼全向圆形图像上的一条半径OB相对应，仅考虑了鱼眼镜头的径向畸变而忽略其切向畸变，实际应用中可以达到较好的视觉效果，克服了一般柱面、球面展开算法边缘处形变较大的缺点。

4.根据权利要求1所述基于径向特征的鱼眼图像展开方法，其特征是，所述步骤3)中全景空间任一点鱼眼成像到全向图中的正向投影公式和全向图中任一点逆向投影到全景图像的坐标映射关系均是根据鱼眼成像全向成像***的面型参数和结构尺寸，通过光学成像几何分析推导得到的。

Images