CN100576907C

CN100576907C - 利用单摄像机实时生成360°无缝全景视频图像的方法

Info

Publication number: CN100576907C
Application number: CN200710125400A
Authority: CN
Inventors: 谢维信; 裴继红
Original assignee: Individual
Current assignee: Individual
Priority date: 2007-12-25
Filing date: 2007-12-25
Publication date: 2009-12-30
Anticipated expiration: 2027-12-25
Also published as: CN101247513A

Abstract

利用单摄像机实现360°实时无缝全景视频图像的方法，解决单摄像机随云台的旋转进行连续的视频采集，将连续采集的多帧视频图像，经计算机合成为360°实时无缝全景视频图像的技术问题，该方法先将即时采集的每帧视频图像预处理，将预处理的每帧视频图像嵌入全景视频图像，根据帧间相关距离和全景视频图圆周周期，计算出每帧视频图像保留变形较小的中间垂直条带在全景视频图像中的嵌入位置，将其嵌入计算出的位置，对当前嵌入的每帧视频图像，在与全景视频图像中左、右帧重叠区域进行光线一致性调整。本发明的优点是，实时生成全景视频图像，计算、拼接和成像速度快，设备简单，成本低，可广泛用于机场候机厅等大场面及交通、安防监控等使用。

Description

利用单摄像机实时生成360°无缝全景视频图像的方法

所属技术领域

本发明涉及摄像机采集的视频图像的处理方法，特别是一种利用单摄像机实时生成360°无缝全景视频图像的方法。

背景技术

实时生成360°无缝全景视频图像对于在安防监控***中的应用有着非常重要的意义，同时也可用于其它使用，现有技术中，生成360°无缝全景视频图像的方法有：

在“中国安防”年2006年12月出版的第3期中，介绍了一种全景智能球实现360°全景的方法。文中介绍其“全景视频监控”是指只用一只摄像头不用机械移动部件，也不用图像拼接，能捕捉涵盖整个半球(180°×360°)，但文中并未给出具体的实现方法。

现有技术中还记载有一种使用全景环形透镜(Panoramic Annular Lens，PAL)相机。PAL是一块具有两个反射面及两个投射面的折返透镜，是全景相机的关键元件。另外，该相机提高全景图的分辨率的途径是使用高分辨率的传感器阵列。

小型微型计算机***，1999年12月出版的第20期中，介绍了一种数码照相机绕垂直轴360°旋转，得到一组带有一定程度重叠的照片，利用柱面透视投影算法和基于相邻帧两列像素相关的匹配算法生产全景图像的方法。用光线渐变过渡技术进行光线一致性调整。由该方法构建的***是一种非实时、交互式全景图像生成***。

大连理工大学学报，2005年2月出版的第45期，介绍了一种基于轮廓相位相关的图像拼接方法。该方法首先计算出两幅图像重叠区域的二值轮廓图，然后利用付立叶变换法计算相位相关得到初始匹配位置，最后利用迭代优化算法计算图像间的投影变换矩阵。用光线渐变过渡技术进行光线一致性调整。

合肥工业大学学报，2007年1月出版的第30期，介绍了一种基于相位相关的全景图拼接技术。该技术首先将相机拍摄的实景照片投影到柱面上，然后对相邻图像的重叠部分采用付立叶互功率谱中的相位信息进行配准，最后用光线渐变过渡技术进行光线一致性调整。

综上所述，现有技术中，对于利用单摄像机实时生成360°无缝全景视频图像的方法处于空白。

发明目的

本发明的目的是，利用现使用的普通单摄像机，在360°旋转的云台上，随云台的旋转进行连续的视频采集，将连续采集的多帧视频图像，经计算机实时合成为360°无缝全景视频图像。

本发明实现发明目的采用的技术方案是，该方法是采用下列步骤实现的：

A将即时采集的每帧视频图像预处理，预处理包括：视频奇偶场锯齿消减，删除每帧视频图像中，柱面投影坐标中变形较大的视频图像左、右边界垂直条带，保留变形较小的视频图像中间垂直条带：

B将预处理的每帧视频图像嵌入全景视频图像，根据帧间相关距离(d)和全景视频图圆周周期(D)，计算出每帧视频图像保留变形较小的中间垂直条带在全景视频图像中的嵌入位置，将其嵌入计算出的位置：

C全景视频图像后处理，对当前嵌入的每帧视频图像，在与全景视频图像中左、右帧重叠区域进行光线一致性调整。

本发明的有益效果是，实时生成360°无缝全景视频图像，计算、拼接和成像速度快，设备简单，成本低，可广泛用于机场候机厅、车站候车厅等大场面场景视频监控及交通监控、全景安防监控等使用。

下面结合附图对本发明进行详细描述。

附图1本发明的硬件装置的组成框图。

附图2本发明中的360°全景图实时生成技术方案框图。

附图3本发明中相邻帧间相关距离d的计算方法方案框图。

附图4本发明中360°全景图圆周周长D的计算方法方案框图。

具体实施方式

参考附图1，附图2，利用单摄像机实现360°实时无缝全景视频图像的方法，该方法是由单摄像机在可360°匀速转动的云台上，随云台的旋转进行连续的视频采集，将连续采集的多帧视频图像，经计算机合成为360°实时无缝全景视频图像，该方法是采用下列步骤实现的：

A、将即时采集的每帧视频图像预处理，预处理包括：视频奇偶场锯齿消减，删除每帧视频图像中，柱面投影坐标中变形较大的视频图像左、右边界垂直条带，保留变形较小的视频图像中间垂直条带。

视频奇偶场锯齿消减的具体方案和目的是：对于逐行扫描的摄像机可以省略这一步骤；对于隔行扫描的摄像机，只取每一帧视频图像的奇数场，对奇数场的每一行，计算每一个奇数列像素与后续相邻偶数列像素的平均值，然后将偶数列像素丢弃。该步骤的目的是为了消除某些摄像机由于运动带来的图像奇偶场锯齿偏移。

保留变形较小的视频图像中间垂直条带的标准是，一般摄像机会在边界处有一些非成像的黑条带，并在四周边界处变形较大。根据摄像机质量的差异，剪切掉视频图像每帧左右各10至30个像素宽度的垂直条带，保留中间垂直条带图像。一般默认剪切视频图像左右各20个像素宽度的垂直条带。

B、将预处理的每帧视频图像嵌入全景视频图像，根据帧间相关距离(d)和全景视频图圆周周期(D)，计算出每帧视频图像保留变形较小的中间垂直条带在全景视频图像中的嵌入位置，将其嵌入计算出的位置。

C、全景视频图像后处理，对当前嵌入的每帧视频图像，在与全景视频图像中左、右帧重叠区域进行光线一致性调整。

本发明的技术关键在于，利用帧间相关距离(d)和全景视频图圆周周期(D)对将连续采集的多帧视频图像进行360°实时无缝全景视频图像无缝拼接，采用上述技术方案，大大加快了无缝拼接时的计算，极大提高了成像速度，降低设备的制造成本。

参看附图3，本发明的技术内容中，利用单摄像机实现360°实时无缝全景视频图像的方法，该方法步骤B中，帧间相关距离(d)是采用下列步骤取得：

A、获取当前视频图像帧，计算沿摄像机运动方向的该帧图像梯度，得到平行梯度图。

计算沿摄像机运动方向的该帧图像梯度的目的是，将该帧图像中的图像特征用数学模型表示，便于帧图像之间的相关性判断。发明中的平行梯度图为：对图像使用水平梯度算子(如Sobe1算子[1，0，-1；2，0，-2；1，0，-1]等)进行卷积运算得到的图。

B、对步骤A平行梯度图，进行垂直方向的梯度投影，得梯度垂直投影直方图。发明中的梯度垂直投影直方图为：对梯度图中每一像素点处的值沿列方向累加起来，形成的一个沿行方向的一维信号序列。

C、在相邻帧重叠区域内，取相关的一段投影直方图。

D、对步骤C中所取相关的一段投影直方图，对照相邻的上一帧视频图像的投影直方图中的相关位置，计算前后相邻的两帧图像的相关距离(d)。

参看附图4，本发明利用单摄像机实现360°实时无缝全景视频图像的方法，该方法步骤B中，全景视频图圆周周期(D)是采用下列步骤取得：

A、获取云台匀速转动三到四个周期期间采集的视频图像序列。

B、根据帧间相关距离(d)，对步骤A采集的视频图像序列进行全景拼接。

C、对步骤B获得的拼接多周期全景图像，计算其灰度图的梯度投影直方图p(t)。

D、对步骤C获得的梯度投影直方图，进行一维低通滤波，计算滤波信号的局部极大位置(t0)。

一维低通滤波的目的和技术方案是：在低通滤波后的信号中可以获得更准确的最大值位置，该位置一般为图像中垂直边界最强的位置。一种技术实现方案为，首先对梯度垂直投影直方图的每个值取绝对值，得到一个非负的一维序列信号，将该信号与一个一维低通滤波器(如长度为7的低通滤波器【1，1，1，1，1，1，1】)作卷积运算后的信号。

E、以局部极大位置(to)为中心，取适当长度直方信号图，以此作为待相关的局部信号L(t)。

F、在梯度投影直方图p(t)中，找出与相关的局部信号L(t)相关系数大于0.9的3个点位置，3个点分别为t1点、t2点和t3点。

G、验算t1点、t2点和t3点相邻点之间距离关系，t1点与t2点之间的距离等于t2点与t3点之间的距离，t1点与t2点、或t2点与t3点之间的距离即为全景视频图圆周周期(D)。

Claims

1、利用单摄像机实现360°实时无缝全景视频图像的方法，该方法是由单摄像机在可360°匀速转动的云台上，随云台的旋转进行连续的视频采集，将连续采集的多帧视频图像，经计算机合成为360°实时无缝全景视频图像，其特征在于该方法是采用下列步骤实现的：

A、将即时采集的每帧视频图像预处理，预处理包括：视频奇偶场锯齿消减，删除每帧视频图像中，柱面投影坐标中变形较大的视频图像左、右边界垂直条带，保留变形较小的视频图像中间垂直条带，

B、将预处理的每帧视频图像嵌入全景视频图像，根据帧间相关距离(d)和全景视频图圆周周期(D)，计算出每帧视频图像保留变形较小的中间垂直条带在全景视频图像中的嵌入位置，将其嵌入计算出的位置，

C、全景视频图像后处理，对当前嵌入的每帧视频图像，在与全景视频图像中左、右帧重叠区域进行光线一致性调整，

以上步骤B中，帧间相关距离(d)是采用下列步骤取得：

a)、获取当前视频图像帧，计算沿摄像机运动方向的该帧图像梯度，得到平行梯度图，

b)、对步骤A平行梯度图，进行垂直方向的梯度投影，得梯度垂直投影直方图，

c)、在相邻帧重叠区域内，取相关的一段投影直方图，

d)、对步骤C中所取的投影直方图，对照相邻的上一帧视频图像的投影直方图中的相关位置，计算前后相邻的两帧图像的相关距离(d)；

以上步骤B中，全景视频图圆周周期(D)是采用下列步骤取得：

a)、获取云台匀速转动三到四个周期期间采集的视频图像序列，

b)、根据帧间相关距离(d)，对步骤A采集的视频图像序列进行全景拼接，

c)、对步骤B获得的拼接多周期全景图像，计算其灰度图的梯度投影直方图p(t)，

d)、对步骤C获得的梯度投影直方图，进行一维低通滤波，计算滤波信号的局部极大位置(t0)，

e)、以局部极大位置(t0)为中心，取适当长度直方信号图，以此作为待相关的局部信号L(t)，

f)、在梯度投影直方图p(t)中，找出与相关的局部信号L(t)相关系数大于0.9的3个点位置，3个点分别为t1点、t2点和t3点，

g)、验算t1点、t2点和t3点相邻点之间距离关系，t1点与t2点之间的距离应等于t2点与t3点之间的距离，则t1点与t2点、或t2点与t3点之间的距离即为全景视频图圆周周期(D)。