CN102291527A - 基于单个鱼眼镜头的全景视频漫游方法及装置 - Google Patents

Abstract

本发明涉及图像处理，公开了一种基于单个鱼眼镜头的全景视频漫游方法及装置。通过使用半球透镜漫游模型，得到校正图像像素索引表，用于校正该单个鱼眼镜头采集的原始视频图像，可以通过鼠标或键盘等输入设备输入水平或垂直旋转角度和缩放系数等，对校正后的图像进行相应的缩放和控制显示。在全景视频漫游关键技术中，利用光学原理，解决了现有技术中设备成本高昂、算法复杂度高和***实时性差的难题。

Description

基于单个鱼眼镜头的全景视频漫游方法及装置

技术领域

本发明涉及图像处理领域，特别涉及基于鱼眼镜头的全景视频漫游技术。

背景技术

鱼眼镜头是一种视角接近或等于180度和焦距极短的超广角镜头中一种特殊镜头，为使镜头达到最大的摄影视角，其视角力求达到或超出人眼所能看到的范围。由于焦距越短，视角越大；而视角越大，则因光学原理产生的畸变也就越强烈。为了达到180度的超大视角，鱼眼镜头的设计者不得不允许这种变形(或称为畸变)的合理存在。其结果是除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化。也正是这种强烈的视觉效果为全景漫游提供了技术基础源材料。

360度三维全景虚拟漫游以三维全景为主体，添加图片、视频、音频、文字等多种媒体要素，使用虚拟技术模拟产生一个三度空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。使用者进行位置移动时，电脑通过相应的复杂运算，将精确的3D世界影像传回产生临场感，从而对各种场景包括楼盘、城市、景点进行整体全面的展示，不仅可以获得整体的全面认识，亦可深入其中一个场景或其细节进行浏览观看。该技术集成了计算机图形技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟***。

对被拍摄个体360度地全景漫游展示的拍摄架构也在不断改进，目前全景云台是专门为拍摄360度全景而使用的承载相机等拍摄设备的一个装置。其关键作用就在于将镜头成像中心固定在云台的旋转轴心上，这样就可以保证在旋转相机拍摄的时候每张图像都是在一个点上拍摄，拼合的全景图完美。

目前，360度全景制作技术往往需要以硬件成本或者效率低下为代价，在静态图像处理上，才能取得较好的全景显示效果。例如多鱼眼镜头多张图像拼合中，两鱼眼拼合就是在360度范围内，每隔180度拍摄一张，共两张鱼眼图片进行拼合。三鱼眼拼合就是在360°范围内，每隔120度拍摄一张，共三张鱼眼图片进行拼合。四鱼眼拼合可将鱼眼镜头和高像素的单反相机配合使用时，得到鼓形鱼眼，用四鱼眼进行拼合，鼓形鱼眼的垂直视角达到180度，水平视角达到110度以上，这样充分利用了成像面，有利于全景图质量的提高。

而如果仅采用一台相机绕圆周拍摄360度全景图像，则获取的视频图像并非同一时刻，一旦有运动物体出现在场景中，拼接后全景图就易产生鬼影(或称为重影)等瑕疵。视频图像拼接算法的复杂性导致目前无法达到实时处理的要求，只能进行视频图像的拼接，而无法用于视频处理。这样的漫游方式是基于静态图片的，只能让使用者看到某一瞬间的景象，缺乏动态真实感。

同样，在涉及多摄像机同步获取360度高清全景的***方案中，采用了多个高清摄像机以圆周排列的方式固定在装置上同步采集视频，并采用后期合成的方式输出全景画面，其缺点在于需要要获取360度全景需配备多个高清摄像机，使得整套***的成本相当高昂、全景画面采用后期合成的方式的实时性不稳定以及当多摄像机同时工作时的彼此之间时间同步问题不易解决。

当进行多摄像机同步获取360度高清全景的方案中，其设备成本高昂、视频图像拼接算法的复杂性使得处理***达不到实时处理的标准无法用于视频处理。

基于上述原因，本发明在视频处理中，利用光学原理，提出了一种基于单个鱼眼镜头的全景视频漫游方法及其装置，使得视频全景漫游处理的实时性强、容易实现以及软硬件成本的性价比高，从而在全景漫游时，可以像使用者提供更加具体生动的细节信息。

发明内容

本发明的目的在于提供一种基于单个鱼眼镜头的全景视频漫游方法及装置，可以以较低的成本实时地对鱼眼镜头所获视频进行全景漫游。

为解决上述技术问题，本发明的实施方式提供了一种基于单个鱼眼镜头的全景视频漫游方法，包括以下步骤：

从鱼眼镜头所获视频的原始图像中提取包络圆参数；

根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；

根据校正图像像素索引表，对从鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像，并在显示设备中显示校正图像。

本发明的实施方式还提供了一种基于单个鱼眼镜头的全景视频漫游装置，包括以下模块：

提取模块，用于提取鱼眼镜头获取的原始视频图像的包络圆参数；

校正模块，用于根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；

插值模块，用于根据校正模块获取的校正图像像素索引表，对从鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像；

显示设备，用于根据漫游窗口在包络圆中的相对位置和缩放系数，显示校正图像。

本发明实施方式与现有技术相比，主要区别及其效果在于：

根据漫游窗口的位置，计算鱼眼镜头所获原始图像和校正图像的坐标换算关系，得到校正图像像素索引表，据此对视频中每一帧图像进行插值处理，可以以较低的成本实时地对鱼眼镜头所获视频进行全景漫游。

进一步地，采用校正图像索引表的半球透镜漫游模型对单个鱼眼镜头一路视频源采集到的原始视频图像进行畸形校正，在不仅限于静态图像漫游的同时，增加了漫游图像的动态性进行视频全景图像漫游，由于其畸形矫正的算法复杂度不高，就简化了多路视频同步问题容易实现，使得图像处理领域中全景漫游关键技术的采用可以达到实时处理的要求，同时节省全景视频漫游装置的硬件成本提高了性价比。

进一步地，对于同一段视频，只在漫游窗口发生变化时重新计算校正图像像素索引表，可以最大限度地减少计算量。

进一步地，根据经改进的扫描线逼近算法提取原始视频图像轮廓，准确地求取其包络圆参数圆心坐标和半径，特别是在鱼眼图像圆形轮廓区域内存在大量黑色像素点、统计算法失效的情况下，该算法仍能准确地以较快的速度提取图像轮廓确定包络圆参数，在此基础上，使用校正图像像素索引表的半球透镜漫游模型进行原始视频图像畸形校正，取得了较好的图像校正效果，提高了图像处理效率，从而快速实时准确响应了基于单个鱼眼镜头的全景视频漫游操作。

进一步地，在对包络圆的图像进行插值运算得到校正图像像素索引表步骤当中，采用双线性插值算法使得插值运算的运算量小速度较快，校正图像像素索引表精确度，且经插值处理的图像缩放平滑无缝和干净无噪，使得全景视频漫游时，校正图像显示的更加真实可信。

进一步地，根据输入操作参数实体鼠标、键盘、轨迹球、光笔、摇杆、滚轮等设备输入设备缩放系数，在校正视频图像的基础上，可根据缩放系数对视频图像进行缩放，以观察视频图像的细节信息。

附图说明

图1是本发明第一实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的流程示意图；

图2(a)是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的垂直旋转角度示意图；

图2(b)是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的水平旋转角度示意图；

图3(a)是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的半球透视模型原理示意图；

图3(b)是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的半球透视模型映射关系示意图；

图3(c)是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的半球透镜漫游模型相对位置示意图；

图4是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的畸形校正示意图；

图5是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的包络圆参数提取的流程示意图；

图6是本发明第三实施方式中一种基于单个鱼眼镜头的全景视频漫游装置的结构示意图；

图7是本发明第四实施方式中一种基于单个鱼眼镜头的全景视频漫游装置的包络圆参数提取模块的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种基于单个鱼眼镜头的全景视频漫游方法。图1是该基于单个鱼眼镜头的全景视频漫游方法的流程示意图。该基于单个鱼眼镜头的全景视频漫游方法包括以下步骤：

从鱼眼镜头所获视频的原始图像中提取包络圆参数；

根据所述包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；

根据所述校正图像像素索引表，对从所述鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像，并在显示设备中显示校正图像。

具体地说，

在步骤101中，从鱼眼镜头所获视频的原始图像中提取包络圆参数；

一般从一帧原始图像中就可以得到包络圆参数，当然也可以从多帧图像中得到多个包络圆参数进行平均，以得到更为准确的参数。一般来说，对一段视频只要计算一次包络圆参数就可以了。

此后进入步骤102，获取漫游窗口在包络圆中的相对位置；

此后进入步骤103，根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；

根据漫游窗口的位置，计算鱼眼镜头所获原始图像和校正图像的坐标换算关系，得到校正图像像素索引表，据此对视频中每一帧图像进行插值处理，可以以较低的成本实时地对鱼眼镜头所获视频进行全景漫游。

此后进入步骤104中，根据校正图像像素索引表，对从鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像；

此后进入步骤105，在显示设备中显示校正图像。

本发明第二实施方式涉及一种基于单个鱼眼镜头的全景视频漫游方法。

第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：采用校正图像索引表的半球透镜漫游模型对单个鱼眼镜头一路视频源采集到的原始视频图像进行畸形校正，动态进行视频全景图像漫游，简化了多路视频同步问题容易实现且实时处理，同时节省硬件成本提高了性价比。

对于同一段视频，只在漫游窗口发生变化时重新计算校正图像像素索引表，可以最大限度地减少计算量。

根据经改进的扫描线逼近算法提取原始视频图像轮廓，准确地求取其包络圆参数圆心坐标和半径，特别是在鱼眼图像圆形轮廓区域内存在大量黑色像素点、统计算法失效的情况下，该算法仍能准确地以较快的速度提取图像轮廓确定包络圆参数，在此基础上，使用校正图像像素索引表的半球透镜漫游模型进行原始视频图像畸形校正，取得了较好的图像校正效果，提高了图像处理效率，从而快速实时准确响应了基于单个鱼眼镜头的全景视频漫游操作。

在对包络圆的图像进行插值运算得到校正图像像素索引表步骤当中，采用双线性插值算法使得插值运算的运算量小速度较快，校正图像像素索引表精确度，且经插值处理的图像缩放平滑无缝和干净无噪，使得全景视频漫游时，校正图像显示的更加真实可信。

根据输入操作参数实体鼠标、键盘、轨迹球、光笔、摇杆、滚轮等设备输入设备缩放系数，可根据缩放系数对视频图像进行缩放校正图像，观察视频图像的细节信息。

可以通过公式(4)、公式(2)和公式(1)校正图像像素索引表表项，其具体计算可由以下方式实现，坐标轴旋转变换可以知道P(x，y，z)点在新的坐标轴体系下的坐标值

P′(x′，y′，z′)为：

z′＝r cosφ-x sinφ

y′＝y

x′＝r sinφ+x sinφ    (1)

像点P′(u，v，0)可由P(x′，y′，z′)求出：

$u=\frac{r\·x^{\′}}{\sqrt{x^{\′2}+y^{\′2}+z^{\′2}}},$ $v=\frac{r\·y^{\′}}{\sqrt{x^{\′2}+y^{\′2}+z^{\′2}}}---\left(2\right)$

其中，r为包络圆半径，将初始校正范围绕着中心点旋转，坐标轴水平旋转γ角度，通过原始校正范围内有点P′(u，v)，在旋转角度后得到Q(u′，v′)两点之间的对应关系：

$\sqrt{u^2+v^2}=\sqrt{u^{\′2}+v^{\′2}}$

$\arctan \left(\frac{v^{\′}}{u^{\′}}\right)-\arctan \left(\frac{v}{u}\right)=\mathrm{\γ}---\left(3\right)$

可得u′，v′：

$u^{\′}=d\·\cos (\arctan \left(\frac{v}{u}\right)+\mathrm{\γ})$

$v^{\′}=d\·\sin (\arctan \left(\frac{v}{u}\right)+\mathrm{\γ}),$ $d=\sqrt{u^2+v^2}---\left(4\right).$

如图2(a)所示，垂直旋转角度(或称为俯仰角)是以光心为旋转轴，鱼眼镜头光轴为起始边，范围为0至90的旋转角度，同样，如图2(b)所示，水平旋转角度是在与鱼眼镜头光轴垂直的平面中，以光心为旋转轴，以过光心的任意直线为起始边，范围为0至360的旋转角度。

优选地，在基于如图3(a)所示的半球透视模型的畸变校正步骤中，该半球透视模型是根据鱼眼镜头的成像特性，将鱼眼镜头简化成一个半球面，当成像平面与Z轴垂直时，任意角度的法向入射光经过球面折射后，光路会平行于Z轴，从而可以得到校正视频图像与原始视频图像之间的映射关系。

上述半球透视模型是当视角中心点位于光心点(或称为包络圆圆心)时的一个特例，再加入了垂直或者水平旋转角度分量，形成如图3(b)和图3(c)所示的半球透视漫游模型的映射关系，可将视角中心点设置为包络圆中的任意一点。图3(c)是将左图绕Y轴向右旋转角度后所得到的形态，可将这种坐标轴的旋转看成是摄像机垂直旋转角度。校正图像像素索引表表项的具体计算可由以下方式实现，

z′＝r cosφ-x sinφ

y′＝y

x′＝r sinφ+x sinφ    (1)

其中，r为包络圆半径，其中，φ为漫游窗口相对包络圆的相对位置中的像素点坐标P(x，y，z)垂直旋转角度。漫游窗口相对包络圆的相对位置中的像素点坐标P(x，y，z)在新的坐标轴体系下的坐标P(x′，y′，z′)可通过以下公式得出：

原始校正范围内的像素点坐标P′(u，v，0)为可通过以下公式得出：

$u=\frac{r\·x^{\′}}{\sqrt{x^{\′2}+y^{\′2}+z^{\′2}}},$ $v=\frac{r\·y^{\′}}{\sqrt{x^{\′2}+y^{\′2}+z^{\′2}}}---\left(2\right)$

其中，将初始校正范围绕着中心点旋转，坐标轴水平旋转γ角度，通过原始校正范围内有点P′(u，v)，在旋转角度后得到Q(u′，v′)两点之间的对应关系：

$\sqrt{u^2+v^2}=\sqrt{u^{\′2}+v^{\′2}}$

$\arctan \left(\frac{v^{\′}}{u^{\′}}\right)-\arctan \left(\frac{v}{u}\right)=\mathrm{\γ}---\left(3\right)$

可得u′，v′：

$u^{\′}=d\·\cos (\arctan \left(\frac{v}{u}\right)+\mathrm{\γ})$

$v^{\′}=d\·\sin (\arctan \left(\frac{v}{u}\right)+\mathrm{\γ}),$ $d=\sqrt{u^2+v^2}---\left(4\right).$

其中，点Q(u′，v′，0)为校正图像像素索引表表项，d为点P′(u，v，0)到包络圆圆心的距离，γ为坐标轴水平旋转角度。

校正视频图像是将垂直旋转角度和水平旋转角度所确定的属于圆鱼眼视频图像的子区域的一个类扇形区域校正成符合人类正常透视感受的矩形视频图像，如图4所示，由于鱼眼视频图像属于二维平面，无法直观地表达垂直旋转角度，所以采用此角度的投影即校正区域中心点到鱼眼视频图像圆心的距离来表示垂直旋转角度，定义当垂直旋转角度为0度时，校正区域中心点与鱼眼视频图像的圆心重合，当垂直旋转角度为90度时，校正区域中心点位于鱼眼视频图像最***圆周上。

校正视频图像的上边缘为类扇形区域远离圆心的圆弧，下边缘为靠近圆心的圆弧。校正视频图像的分辨率可设任意值。

遍历校正视频图像中的每一点Q(u′，v′)，根据垂直旋转角度和水平旋转角度，将u′、v′、φ、γ的值代入式(1)、(2)和(4)联立解方程得到此点映射到原始视频图像中像素点坐标P(x，y)，将P(x，y)作为插值坐标写入校正视频图像像素索引表。

水平或者垂直旋转角度数值的由包括但不仅限于鼠标、轨迹球、摇杆、滚轮、光笔等设备输入，也可由键盘直接输入数值。

例如，鼠标、摇杆、轨迹球、光笔移动的横向位移量可作为水平旋转角度输入，而纵向位移量作为垂直旋转角度输入。或者由键盘的方向键来控制，左右方向键用于控制水平旋转角度，上下方向键控制垂直旋转角度，或者由键盘数字键输入0至360度之间的任意数值作为水平旋转角度数值，0至90度之间的任意数值作为垂直旋转角度数值。

遍历完校正视频图像的所有点后，完成校正视频图像像素索引表。遍历校正视频图像所有点的同时顺序读取校正视频图像像素索引表中的插值坐标，根据原始视频图像的像素值，采用双线性插值法计算得到校正视频图像每一点的像素值。最后将校正视频图像数据送入显示设备。双线性插值法是视频图像处理技术中的基础方法，除了双线性插值法，还有邻近域插值法，双立方插值法，Lanczos插值法，Bell插值法，Triangle插值，B样条插值法等插值校正方法。

用校正图像索引表的半球透镜漫游模型对单个鱼眼镜头一路视频源采集到的原始视频图像进行畸形校正，在不仅限于静态图像漫游的同时，增加了漫游图像的动态性进行视频全景图像漫游，由于其畸形矫正的算法复杂度不高，就简化了多路视频同步问题容易实现，使得图像处理领域中全景漫游关键技术的采用可以达到实时处理的要求，同时节省全景视频漫游装置的硬件成本提高了性价比。

根据控制模块提供的缩放系数，可对校正视频图像进行缩放，以观察视频图像的细节信息。缩放系数可由鼠标滚轮，键盘按键，摇杆等设备输入。例如，鼠标滚轮向上滚动为增大缩放系数，向下滚动则为缩小缩放系数，或者键盘的“加”键控制放大，“减”键控制缩小。

根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表的步骤在每次漫游窗口发生变化时执行。

对于同一段视频，只在漫游窗口发生变化时重新计算校正图像像素索引表，可以最大限度地减少计算量。

在本发明的其它某些实例中，在漫游窗口未发生变化时，可以重新计算校正图像像素索引表。

图5是基于单个鱼眼镜头的全景视频漫游方法的包络圆参数提取的流程示意图，采用圆形鱼眼镜头所拍摄的照片，这种镜头将画面的四角全遮挡住了，只看到圆形部分，这个圆形称为包络圆。对于鱼眼畸变校正算法而言，包络圆的圆心和半径是校正算法的重要参数。

在步骤102中的从鱼眼镜头所获视频的原始图像中提取包络圆参数的操作中，具体地说，包括以下子步骤：

在步骤501中，计算原始图像***黑色区域的平均亮度值；

此后进入步骤502，判断平均亮度值是否大于阈值TH；

若平均值大于阈值TH，则进行灰度拉伸处理，反之则不作处理，进入下一步。

若是，则进入步骤503；否则，进入步骤504；

在步骤503中，若平均亮度值大于阈值TH，则进行灰度增强处理；

此后进入步骤504，对原始图像或者经过灰度增强处理的图像进行边缘检测，获取边缘图像；

对原始视频图像或者灰度拉伸后的视频图像进行边缘检测，获得边缘视频图像。常用的边缘检测方法有Roberts边缘检测法，Canny边缘检测法，Sobel边缘检测法及Laplacian边缘检测法。本发明优选算法速度较快的的Roberts边缘检测方法。

此后进入步骤505，通过形态学处理滤除边缘图像中的离散杂点；

去除离散点的方法可采用形态学处理的方法，例如腐蚀或者膨胀运算。

此后进入步骤506，从经过形态学处理的边缘图像中提取包络圆参数。

对经过形态学处理的边缘视频图像进行扫描，获取N个落在包络圆圆周上的边缘点坐标，通过加权平均的方法算出圆心坐标。再计算圆心与这N个点的平均距离，即半径。

基于视频图像的测量技术如视觉测量、视觉检测或摄影测量，广泛应用于几何量的尺寸测量。一般都是通过处理被测视频图像中的特殊目标如边缘、拐角点等自然特征、十字刻划线、激光投射点或光条、圆形标志等的影像，得到特征目标的二维视频图像坐标，然后用MATLAB丰富的视频图像处理函数对视频图像进行降噪、灰度调整、二值化，变成易于处理的视频图像矩阵进行测量分析。

由于鱼眼图像的圆形有效区域集中了全部的景物信息，该区域内的像素点亮度值远远大于有效区域之外像素点的亮度，因此区域内的极限亮度差比有效区域之外的极限亮度差要大得多。基于鱼眼图像的这种特征，本发明鱼眼图像轮廓中包络圆参数提取采用了扫描线逼近算法。

在本发明的其他实施方式中，包络圆参数的提取方法包括但不局限于扫描线逼近算法，为准确的提取出鱼眼原始视频图像的包络圆参数，可使用的算法还包括最小二乘拟合算法和统计算法等提取算法。其中扫描线逼近算法具有准确地提取鱼眼图像轮廓，计算量小，实时性好，校正效果好的特点。

其中，求解圆方程一般采用最小二乘拟合法，由于鱼眼图像在圆形区域外像素点的灰度值很小，而在圆形区域内灰度值很小的像素点是比较少的，可以定义较小阈值，由此对图像进行一值化，然后也可通过逐行扫描法对得到的图像做轮廓跟踪，求得圆周上的所有像素点，然后用最小二乘法拟合圆方程求得圆心和半径。

由于一般拍摄的鱼眼图像的有效区域的灰度值较小的像素点很少，由此我们可以采用面积统计法，但这种方法的在某些情况下的误差很大，例如，拍摄一幅黑色着装的人物，该场景中灰度值很小的像素点还是很多的(黑色的灰度值为0)，此时用该方法的误差很大。

在对包络圆的图像进行插值运算得到校正图像像素索引表步骤当中，采用双线性插值算法使得插值运算的运算量小速度较快，校正图像像素索引表精确度，图像插值即图像放大时，相应地增加像素，增加的过程就是“插值”程序自动选择信息较好的像素作为增加的像素，而并非只使用临近的像素，所以在放大图像时，经插值处理的图像缩放平滑无缝和干净无噪，同时，插值运算并不能增加图像信息。使得全景视频漫游时，校正图像显示的更加真实可信。

双线性插值(或者称为双线性内插)，在数学上是指有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。例如在一维线性插值中，对于一个数列c，我们假设c[a]到c[a+1]之间是线性变化，那么对于浮点数x(a＜＝x＜a+1)，c(x)＝c[a+1]＊(x-a)+c[a]＊(1+a-x)。在二维线性插值中，对于一个二维数组c，我们假设对于任意一个浮点数i，c(a，i)到c(a+1，i)之间是线性变化的，c(i，b)到c(i，b+1)之间也是线性变化的(a，b都是整数)，那么对于浮点数的坐标(x，y)满足(a＜＝x＜a+1，b＜＝y＜b+1)，我们可以先分别求出c(x，b)和c(x，b+1)：

c(x，b)＝c[a+1]＊(x-a)+c[a]＊(1+a-x)。

c(x，b+1)＝c[a+1][b+1]＊(x-a)+c[a][b+1]＊(1+a-x)。

根据假设c(x，b)到c(x，b+1)也是线性变化的，所以c(x，y)＝c(x，b+1)＊(y-b)+c(x，b)＊(1+b-y)，此时c(x，y)即是由双线性插值计算得到。

在本发明的其他实施方式中，该基于单个鱼眼镜头的全景视频漫游方法采取的插值方法并不限于双线性插值算法，可以根据具体实际应用场景，采用同系列的不同维次的线性插值算法，比如三线性插值算法，也可以采用其他的插值算法，比如最近邻算法，三次立方卷积插值，n次样条插值算法，以及使得图像表现的更加完美的经改进的S-Spline、Turbo Photo插值算法等。其中，在对校正图像缩放质量要求不是很严格的情况下，可以采取处理速度最快，算法复杂度最小的最近邻算法进行插值计算，最近邻算法是指目的像素的值，通过坐标反向变换得到的浮点坐标为(i+u，j+v)(其中i、j均为浮点坐标的整数部分，u、v为浮点坐标的小数部分，用原始图像中里该浮点坐标最近的像素值表示，即用最邻近的点的像素值赋予目的像素值，其结果是图像出现了马赛克和锯齿等明显走样。而在不考虑处理速度、实时性和算法复杂度的情况下，可以根据图像缩放质量很高的三次立方卷积插值算法或者多次样条插值算法进行插值，三次立方卷积插值算法对源图像进行插值扩大，将按照双线性算法映射方法，扩大图像索引到原图像坐标，寻找到它的领域，由于矩阵B的领域的特性，将不能对图像的第一行、第一列、最后两行以及最后两列进行插值计算。

多次样条插值则是使用分段多项式插值，对给定数据集进行插值的n阶多项式就被给定数据点所唯一地定义出来。其对同样的数据进行插值的n阶样条并不是唯一的，为了构建一个唯一的样条插值式它还必须满足另外n-1个自由度。

漫游窗口在包络圆中的相对位置由水平旋转角度和垂直旋转角度确定。

根据输入操作参数实体鼠标、键盘、轨迹球、光笔、摇杆、滚轮等设备输入设备缩放系数或者水平旋转角度、垂直旋转角度，在校正视频图像的基础上，可根据缩放系数对视频图像进行缩放，以更加具体详细地观察视频图像的生动信息。

基于半球透镜漫游模型的畸变校正的水平或垂直旋转角度的数值变化和缩放系数的变化，其输入操作参数实体可为鼠标、键盘、轨迹球、光笔、摇杆、滚轮等设备，例如，鼠标、摇杆、轨迹球、光笔移动的横向位移量可作为水平旋转角度输入，而纵向位移量作为垂直旋转角度输入，或者由键盘的方向键来控制，左右方向键用于控制水平旋转角度，上下方向键控制垂直旋转角度，或者由键盘数字键输入从0至360之间的任意数值作为水平旋转角度数值，从0至90之间的任意数值作为垂直旋转角度数值。缩放系数可由鼠标滚轮，键盘按键，摇杆等设备输入。例如，鼠标滚轮向上滚动为增大缩放系数，向下滚动则为缩小缩放系数，或者键盘的“加”键控制校正图像放大，“减”键控制校正图像缩小。

在本发明的其他实施方式中，漫游窗口在包络圆中的相对位置的确定包含但不限于水平旋转角度和垂直旋转角度，还可以通过其他的方式进行确定，例如由维次空间中曲面、平面、曲线、直线之间空间关系进行确定。

根据输入操作参数实体鼠标、键盘、轨迹球、光笔、摇杆、滚轮等设备输入设备缩放系数，在校正视频图像的基础上，可根据缩放系数对视频图像进行缩放，以观察视频图像的细节信息。例如，鼠标滚轮向上滚动为增大缩放系数，向下滚动则为缩小缩放系数。

在本发明的其他实施方式中，水平旋转角度、垂直旋转角度和缩放系数的参数实体可由但不限于鼠标、键盘、轨迹球、光笔、摇杆、滚轮等设备，还包括其他的一些输入设备，例如，基于手势识别，轨迹跟踪，无线射频识别(“Radio Frequency Identification Devices”，简称“RFID”)等技术的输入设备，如触摸屏，轨迹仪等。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第三实施方式涉及一种基于单个鱼眼镜头的全景视频漫游装置。图6是该基于单个鱼眼镜头的全景视频漫游装置的结构示意图。该基于单个鱼眼镜头的全景视频漫游装置包括以下模块：

提取模块，用于提取鱼眼镜头获取的原始视频图像的包络圆参数。

校正模块，用于根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表。

插值模块，用于根据校正模块获取的校正图像像素索引表，对从鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像。

显示设备，用于根据漫游窗口在包络圆中的相对位置和缩放系数，显示校正图像。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第四实施方式涉及一种基于单个鱼眼镜头的全景视频漫游装置。

第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于：校正图像像素索引表表项的具体计算可由以下方式实现，

坐标轴旋转变换可以知道P(x，y，z)点在新的坐标轴体系下的坐标值P′(x′，y′，z′)为：

z′＝r cosφ-x sinφ

y′＝y

x′＝r sinφ+x sinφ    (1)

像点P′(u，v，0)可由P(x′，y′，z′)求出：

$u=\frac{r\·x^{\′}}{\sqrt{x^{\′2}+y^{\′2}+z^{\′2}}},$ $v=\frac{r\·y^{\′}}{\sqrt{x^{\′2}+y^{\′2}+z^{\′2}}}---\left(2\right)$

其中，r为包络圆半径，将初始校正范围绕着中心点旋转，坐标轴水平旋转γ角度，通过原始校正范围内有点P′(u，v)，在旋转角度后得到Q(u′，v′)两点之间的对应关系：

$\sqrt{u^2+v^2}=\sqrt{u^{\′2}+v^{\′2}}$

$\arctan \left(\frac{v^{\′}}{u^{\′}}\right)-\arctan \left(\frac{v}{u}\right)=\mathrm{\γ}---\left(3\right)$

可得u′，v′：

$u^{\′}=d\·\cos (\arctan \left(\frac{v}{u}\right)+\mathrm{\γ})$

$v^{\′}=d\·\sin (\arctan \left(\frac{v}{u}\right)+\mathrm{\γ}),$ $d=\sqrt{u^2+v^2}---\left(4\right).$

用校正图像索引表的半球透镜漫游模型对单个鱼眼镜头一路视频源采集到的原始视频图像进行畸形校正，在不仅限于静态图像漫游的同时，增加了漫游图像的动态性进行视频全景图像漫游，由于其畸形矫正的算法复杂度不高，就简化了多路视频同步问题容易实现，使得图像处理领域中全景漫游关键技术的采用可以达到实时处理的要求，同时节省全景视频漫游装置的硬件成本提高了性价比。

根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表的步骤在每次漫游窗口发生变化时执行。

对于同一段视频，只在漫游窗口发生变化时重新计算校正图像像素索引表，可以最大限度地减少计算量。

在本发明的其它某些实例中，在漫游窗口未发生变化时，可以重新计算校正图像像素索引表。

图7是该基于单个鱼眼镜头的全景视频漫游装置的包络圆参数提取模块的结构示意图。具体地说，提取模块包括以下子模块：

平均子模块，用于计算原始图像***黑色区域的平均亮度值。

判断子模块，用于判断平均子模块计算原始图像***黑色区域的平均亮度值是否大于阈值TH。

灰度增强子模块，用于根据判断子模块判定的平均模块计算原始图像***黑色区域的平均亮度值大于阈值TH，对鱼眼镜头获取的原始图像进行灰度增强处理。

检测子模块，用于对鱼眼镜头获取的原始图像或者经过灰度增强子模块灰度增强处理的图像进行边缘检测，获取边缘图像。

滤除子模块，用于通过形态学处理滤除检测子模块获取的边缘图像中的离散杂点。

参数提取子模块，用于根据滤除子模块形态学处理的边缘图像中提取包络圆参数。

根据经改进的扫描线逼近算法提取原始视频图像轮廓，准确地求取其包络圆参数圆心坐标和半径，特别是在鱼眼图像圆形轮廓区域内存在大量黑色像素点、统计算法失效的情况下，该算法仍能准确地以较快的速度提取图像轮廓确定包络圆参数，在此基础上，使用校正图像像素索引表的半球透镜漫游模型进行原始视频图像畸形校正，取得了较好的图像校正效果，提高了图像处理效率，从而快速实时准确响应了基于单个鱼眼镜头的全景视频漫游操作。

插值计算使用双线性插值算法。

漫游窗口在包络圆中的相对位置由水平旋转角度和垂直旋转角度确定。

在显示校正图像时，通过缩放系数进行缩放显示。

水平旋转角度、垂直旋转角度和缩放系数是由鼠标、键盘、轨迹球光笔、摇杆、滚轮输入设备输入。

根据输入操作参数实体鼠标、键盘、轨迹球、光笔、摇杆、滚轮等设备输入设备缩放系数，在校正视频图像的基础上，可根据缩放系数对视频图像进行缩放，以观察视频图像的细节信息。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种基于单个鱼眼镜头的全景视频漫游方法，其特征在于，包括以下步骤：

从鱼眼镜头所获视频的原始图像中提取包络圆参数；

根据所述包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；

根据所述校正图像像素索引表，对从所述鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像，并在显示设备中显示校正图像。

2.根据权利要求1所述的基于单个鱼眼镜头的全景视频漫游方法，其特征在于，校正图像像素索引表表项的具体计算可由以下方式实现，

$u^{\′}=d\·\cos (\arctan \left(\frac{v}{u}\right)+\mathrm{\γ}),$

$v^{\′}=d\·\sin (\arctan \left(\frac{v}{u}\right)+\mathrm{\γ}),$ $d=\sqrt{u^2+v^2}$

其中，点Q(u′，v′，0)为校正图像像素索引表表项，d为点P′(u，v，0)到包络圆圆心的距离，γ为坐标轴水平旋转角度。

原始校正范围内的像素点坐标P′(u，v，0)为可通过以下公式得出：

$u=\frac{r\·x^{\′}}{\sqrt{x^{\′2}+y^{\′2}+z^{\′2}}},$ $v=\frac{r\·y^{\′}}{\sqrt{x^{\′2}+y^{\′2}+z^{\′2}}}$

其中，r为包络圆半径，漫游窗口相对包络圆的相对位置中的像素点坐标P(x，y，z)在新的坐标轴体系下的坐标P(x′，y′，z′)可通过以下公式得出：

z′＝r cosφ-x sinφ

y′＝y

x′＝r sinφ+x sinφ

其中，φ为漫游窗口相对包络圆的相对位置中的像素点坐标P(x，y，z)垂直旋转角度。

3.根据权利要求2所述的基于单个鱼眼镜头的全景视频漫游方法，其特征在于，所述根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表的步骤在每次漫游窗口发生变化时执行。

4.根据权利要求1至3中任一项所述的基于单个鱼眼镜头的全景视频漫游方法，其特征在于，在所述从鱼眼镜头所获视频的原始图像中提取包络圆参数的步骤中，包括以下子步骤：

计算原始图像***黑色区域的平均亮度值，若所述平均亮度值大于阈值TH，则进行灰度增强处理；

对原始图像或者经过灰度增强处理的图像进行边缘检测，获取边缘图像；

通过形态学处理滤除所述边缘图像中的离散杂点；

从经过所述形态学处理的边缘图像中提取包络圆参数。

5.根据权利要求1至3中任一项所述的基于单个鱼眼镜头的全景视频漫游方法，其特征在于，所述插值计算使用双线性插值算法。

6.根据权利要求1至3中任一项所述的基于单个鱼眼镜头的全景视频漫游方法，其特征在于，所述漫游窗口在包络圆中的相对位置由水平旋转角度和垂直旋转角度确定；

在显示校正图像时，通过缩放系数进行缩放显示；

所述水平旋转角度、垂直旋转角度和缩放系数是由鼠标、键盘、轨迹球光笔、摇杆、滚轮输入设备输入。

7.一种基于单个鱼眼镜头的全景视频漫游装置，其特征在于，包括以下模块：

提取模块，用于提取所述鱼眼镜头获取的原始视频图像的包络圆参数；

校正模块，用于根据所述包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；

插值模块，用于根据所述校正模块获取的校正图像像素索引表，对从所述鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像；

显示设备，用于根据漫游窗口在包络圆中的相对位置和缩放系数，显示校正图像。

8.根据权利要求7所述的基于单个鱼眼镜头的全景视频漫游装置，其特征在于，校正图像像素索引表表项的具体计算可由以下方式实现，

$u^{\′}=d\·\cos (\arctan \left(\frac{v}{u}\right)+\mathrm{\γ})$

$v^{\′}=d\·\sin (\arctan \left(\frac{v}{u}\right)+\mathrm{\γ}),$ $d=\sqrt{u^2+v^2}$

其中，点Q(u′，v′，0)为校正图像像素索引表表项，d为点P′(u，v，0)到包络圆圆心的距离，γ为坐标轴水平旋转角度。

原始校正范围内的像素点坐标P′(u，v，0)为可通过以下公式得出：

$u=\frac{r\·x^{\′}}{\sqrt{x^{\′2}+y^{\′2}+z^{\′2}}},$ $v=\frac{r\·y^{\′}}{\sqrt{x^{\′2}+y^{\′2}+z^{\′2}}}$

其中，r为包络圆半径，漫游窗口相对包络圆的相对位置中的像素点坐标P(x，y，z)在新的坐标轴体系下的坐标P(x′，y′，z′)可通过以下公式得出：

z′＝r cosφ-x sinφ

y′＝y

x′＝r sinφ+x sinφ

其中，φ为漫游窗口相对包络圆的相对位置中的像素点坐标P(x，y，z)垂直旋转角度。

9.根据权利要求8所述的基于单个鱼眼镜头的全景视频漫游装置，其特征在于，所述根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表的步骤在每次漫游窗口发生变化时执行。

10.根据权利要求7至9中任一项所述的基于单个鱼眼镜头的全景视频漫游装置，其特征在于，在所述提取模块中，包括以下子模块：

平均子模块，用于计算原始图像***黑色区域的平均亮度值；

判断子模块，用于判断所述平均子模块计算原始图像***黑色区域的平均亮度值是否大于阈值TH；

灰度增强子模块，用于根据判断子模块判定的所述平均模块计算原始图像***黑色区域的平均亮度值大于阈值TH，对所述鱼眼镜头获取的原始图像进行灰度增强处理；

检测子模块，用于对所述鱼眼镜头获取的原始图像或者经过所述灰度增强子模块灰度增强处理的图像进行边缘检测，获取边缘图像；

滤除子模块，用于通过形态学处理滤除所述检测子模块获取的边缘图像中的离散杂点；

参数提取子模块，用于根据所述滤除子模块形态学处理的边缘图像中提取包络圆参数。

11.根据权利要求7至9中任一项所述的基于单个鱼眼镜头的全景视频漫游装置，其特征在于，所述插值计算使用双线性插值算法。

12.根据权利要求7至9中任一项所述的基于单个鱼眼镜头的全景视频漫游装置，其特征在于，所述漫游窗口在包络圆中的相对位置由水平旋转角度和垂直旋转角度确定；

在显示校正图像时，通过缩放系数进行缩放显示；

所述水平旋转角度、垂直旋转角度和缩放系数是由鼠标、键盘、轨迹球光笔、摇杆、滚轮输入设备输入。

Images