CN100576907C - 利用单摄像机实时生成360°无缝全景视频图像的方法 - Google Patents
利用单摄像机实时生成360°无缝全景视频图像的方法 Download PDFInfo
- Publication number
- CN100576907C CN100576907C CN200710125400A CN200710125400A CN100576907C CN 100576907 C CN100576907 C CN 100576907C CN 200710125400 A CN200710125400 A CN 200710125400A CN 200710125400 A CN200710125400 A CN 200710125400A CN 100576907 C CN100576907 C CN 100576907C
- Authority
- CN
- China
- Prior art keywords
- video image
- point
- full
- frame
- view video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
利用单摄像机实现360°实时无缝全景视频图像的方法,解决单摄像机随云台的旋转进行连续的视频采集,将连续采集的多帧视频图像,经计算机合成为360°实时无缝全景视频图像的技术问题,该方法先将即时采集的每帧视频图像预处理,将预处理的每帧视频图像嵌入全景视频图像,根据帧间相关距离和全景视频图圆周周期,计算出每帧视频图像保留变形较小的中间垂直条带在全景视频图像中的嵌入位置,将其嵌入计算出的位置,对当前嵌入的每帧视频图像,在与全景视频图像中左、右帧重叠区域进行光线一致性调整。本发明的优点是,实时生成全景视频图像,计算、拼接和成像速度快,设备简单,成本低,可广泛用于机场候机厅等大场面及交通、安防监控等使用。
Description
所属技术领域
本发明涉及摄像机采集的视频图像的处理方法,特别是一种利用单摄像机实时生成360°无缝全景视频图像的方法。
背景技术
实时生成360°无缝全景视频图像对于在安防监控***中的应用有着非常重要的意义,同时也可用于其它使用,现有技术中,生成360°无缝全景视频图像的方法有:
在“中国安防”年2006年12月出版的第3期中,介绍了一种全景智能球实现360°全景的方法。文中介绍其“全景视频监控”是指只用一只摄像头不用机械移动部件,也不用图像拼接,能捕捉涵盖整个半球(180°×360°),但文中并未给出具体的实现方法。
现有技术中还记载有一种使用全景环形透镜(Panoramic Annular Lens,PAL)相机。PAL是一块具有两个反射面及两个投射面的折返透镜,是全景相机的关键元件。另外,该相机提高全景图的分辨率的途径是使用高分辨率的传感器阵列。
小型微型计算机***,1999年12月出版的第20期中,介绍了一种数码照相机绕垂直轴360°旋转,得到一组带有一定程度重叠的照片,利用柱面透视投影算法和基于相邻帧两列像素相关的匹配算法生产全景图像的方法。用光线渐变过渡技术进行光线一致性调整。由该方法构建的***是一种非实时、交互式全景图像生成***。
大连理工大学学报,2005年2月出版的第45期,介绍了一种基于轮廓相位相关的图像拼接方法。该方法首先计算出两幅图像重叠区域的二值轮廓图,然后利用付立叶变换法计算相位相关得到初始匹配位置,最后利用迭代优化算法计算图像间的投影变换矩阵。用光线渐变过渡技术进行光线一致性调整。
合肥工业大学学报,2007年1月出版的第30期,介绍了一种基于相位相关的全景图拼接技术。该技术首先将相机拍摄的实景照片投影到柱面上,然后对相邻图像的重叠部分采用付立叶互功率谱中的相位信息进行配准,最后用光线渐变过渡技术进行光线一致性调整。
综上所述,现有技术中,对于利用单摄像机实时生成360°无缝全景视频图像的方法处于空白。
发明目的
本发明的目的是,利用现使用的普通单摄像机,在360°旋转的云台上,随云台的旋转进行连续的视频采集,将连续采集的多帧视频图像,经计算机实时合成为360°无缝全景视频图像。
本发明实现发明目的采用的技术方案是,该方法是采用下列步骤实现的:
A将即时采集的每帧视频图像预处理,预处理包括:视频奇偶场锯齿消减,删除每帧视频图像中,柱面投影坐标中变形较大的视频图像左、右边界垂直条带,保留变形较小的视频图像中间垂直条带:
B将预处理的每帧视频图像嵌入全景视频图像,根据帧间相关距离(d)和全景视频图圆周周期(D),计算出每帧视频图像保留变形较小的中间垂直条带在全景视频图像中的嵌入位置,将其嵌入计算出的位置:
C全景视频图像后处理,对当前嵌入的每帧视频图像,在与全景视频图像中左、右帧重叠区域进行光线一致性调整。
本发明的有益效果是,实时生成360°无缝全景视频图像,计算、拼接和成像速度快,设备简单,成本低,可广泛用于机场候机厅、车站候车厅等大场面场景视频监控及交通监控、全景安防监控等使用。
下面结合附图对本发明进行详细描述。
附图1本发明的硬件装置的组成框图。
附图2本发明中的360°全景图实时生成技术方案框图。
附图3本发明中相邻帧间相关距离d的计算方法方案框图。
附图4本发明中360°全景图圆周周长D的计算方法方案框图。
具体实施方式
参考附图1,附图2,利用单摄像机实现360°实时无缝全景视频图像的方法,该方法是由单摄像机在可360°匀速转动的云台上,随云台的旋转进行连续的视频采集,将连续采集的多帧视频图像,经计算机合成为360°实时无缝全景视频图像,该方法是采用下列步骤实现的:
A、将即时采集的每帧视频图像预处理,预处理包括:视频奇偶场锯齿消减,删除每帧视频图像中,柱面投影坐标中变形较大的视频图像左、右边界垂直条带,保留变形较小的视频图像中间垂直条带。
视频奇偶场锯齿消减的具体方案和目的是:对于逐行扫描的摄像机可以省略这一步骤;对于隔行扫描的摄像机,只取每一帧视频图像的奇数场,对奇数场的每一行,计算每一个奇数列像素与后续相邻偶数列像素的平均值,然后将偶数列像素丢弃。该步骤的目的是为了消除某些摄像机由于运动带来的图像奇偶场锯齿偏移。
保留变形较小的视频图像中间垂直条带的标准是,一般摄像机会在边界处有一些非成像的黑条带,并在四周边界处变形较大。根据摄像机质量的差异,剪切掉视频图像每帧左右各10至30个像素宽度的垂直条带,保留中间垂直条带图像。一般默认剪切视频图像左右各20个像素宽度的垂直条带。
B、将预处理的每帧视频图像嵌入全景视频图像,根据帧间相关距离(d)和全景视频图圆周周期(D),计算出每帧视频图像保留变形较小的中间垂直条带在全景视频图像中的嵌入位置,将其嵌入计算出的位置。
C、全景视频图像后处理,对当前嵌入的每帧视频图像,在与全景视频图像中左、右帧重叠区域进行光线一致性调整。
本发明的技术关键在于,利用帧间相关距离(d)和全景视频图圆周周期(D)对将连续采集的多帧视频图像进行360°实时无缝全景视频图像无缝拼接,采用上述技术方案,大大加快了无缝拼接时的计算,极大提高了成像速度,降低设备的制造成本。
参看附图3,本发明的技术内容中,利用单摄像机实现360°实时无缝全景视频图像的方法,该方法步骤B中,帧间相关距离(d)是采用下列步骤取得:
A、获取当前视频图像帧,计算沿摄像机运动方向的该帧图像梯度,得到平行梯度图。
计算沿摄像机运动方向的该帧图像梯度的目的是,将该帧图像中的图像特征用数学模型表示,便于帧图像之间的相关性判断。发明中的平行梯度图为:对图像使用水平梯度算子(如Sobe1算子[1,0,-1;2,0,-2;1,0,-1]等)进行卷积运算得到的图。
B、对步骤A平行梯度图,进行垂直方向的梯度投影,得梯度垂直投影直方图。发明中的梯度垂直投影直方图为:对梯度图中每一像素点处的值沿列方向累加起来,形成的一个沿行方向的一维信号序列。
C、在相邻帧重叠区域内,取相关的一段投影直方图。
D、对步骤C中所取相关的一段投影直方图,对照相邻的上一帧视频图像的投影直方图中的相关位置,计算前后相邻的两帧图像的相关距离(d)。
参看附图4,本发明利用单摄像机实现360°实时无缝全景视频图像的方法,该方法步骤B中,全景视频图圆周周期(D)是采用下列步骤取得:
A、获取云台匀速转动三到四个周期期间采集的视频图像序列。
B、根据帧间相关距离(d),对步骤A采集的视频图像序列进行全景拼接。
C、对步骤B获得的拼接多周期全景图像,计算其灰度图的梯度投影直方图p(t)。
D、对步骤C获得的梯度投影直方图,进行一维低通滤波,计算滤波信号的局部极大位置(t0)。
一维低通滤波的目的和技术方案是:在低通滤波后的信号中可以获得更准确的最大值位置,该位置一般为图像中垂直边界最强的位置。一种技术实现方案为,首先对梯度垂直投影直方图的每个值取绝对值,得到一个非负的一维序列信号,将该信号与一个一维低通滤波器(如长度为7的低通滤波器【1,1,1,1,1,1,1】)作卷积运算后的信号。
E、以局部极大位置(to)为中心,取适当长度直方信号图,以此作为待相关的局部信号L(t)。
F、在梯度投影直方图p(t)中,找出与相关的局部信号L(t)相关系数大于0.9的3个点位置,3个点分别为t1点、t2点和t3点。
G、验算t1点、t2点和t3点相邻点之间距离关系,t1点与t2点之间的距离等于t2点与t3点之间的距离,t1点与t2点、或t2点与t3点之间的距离即为全景视频图圆周周期(D)。
Claims (1)
1、利用单摄像机实现360°实时无缝全景视频图像的方法,该方法是由单摄像机在可360°匀速转动的云台上,随云台的旋转进行连续的视频采集,将连续采集的多帧视频图像,经计算机合成为360°实时无缝全景视频图像,其特征在于该方法是采用下列步骤实现的:
A、将即时采集的每帧视频图像预处理,预处理包括:视频奇偶场锯齿消减,删除每帧视频图像中,柱面投影坐标中变形较大的视频图像左、右边界垂直条带,保留变形较小的视频图像中间垂直条带,
B、将预处理的每帧视频图像嵌入全景视频图像,根据帧间相关距离(d)和全景视频图圆周周期(D),计算出每帧视频图像保留变形较小的中间垂直条带在全景视频图像中的嵌入位置,将其嵌入计算出的位置,
C、全景视频图像后处理,对当前嵌入的每帧视频图像,在与全景视频图像中左、右帧重叠区域进行光线一致性调整,
以上步骤B中,帧间相关距离(d)是采用下列步骤取得:
a)、获取当前视频图像帧,计算沿摄像机运动方向的该帧图像梯度,得到平行梯度图,
b)、对步骤A平行梯度图,进行垂直方向的梯度投影,得梯度垂直投影直方图,
c)、在相邻帧重叠区域内,取相关的一段投影直方图,
d)、对步骤C中所取的投影直方图,对照相邻的上一帧视频图像的投影直方图中的相关位置,计算前后相邻的两帧图像的相关距离(d);
以上步骤B中,全景视频图圆周周期(D)是采用下列步骤取得:
a)、获取云台匀速转动三到四个周期期间采集的视频图像序列,
b)、根据帧间相关距离(d),对步骤A采集的视频图像序列进行全景拼接,
c)、对步骤B获得的拼接多周期全景图像,计算其灰度图的梯度投影直方图p(t),
d)、对步骤C获得的梯度投影直方图,进行一维低通滤波,计算滤波信号的局部极大位置(t0),
e)、以局部极大位置(t0)为中心,取适当长度直方信号图,以此作为待相关的局部信号L(t),
f)、在梯度投影直方图p(t)中,找出与相关的局部信号L(t)相关系数大于0.9的3个点位置,3个点分别为t1点、t2点和t3点,
g)、验算t1点、t2点和t3点相邻点之间距离关系,t1点与t2点之间的距离应等于t2点与t3点之间的距离,则t1点与t2点、或t2点与t3点之间的距离即为全景视频图圆周周期(D)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710125400A CN100576907C (zh) | 2007-12-25 | 2007-12-25 | 利用单摄像机实时生成360°无缝全景视频图像的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710125400A CN100576907C (zh) | 2007-12-25 | 2007-12-25 | 利用单摄像机实时生成360°无缝全景视频图像的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101247513A CN101247513A (zh) | 2008-08-20 |
CN100576907C true CN100576907C (zh) | 2009-12-30 |
Family
ID=39947677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200710125400A Expired - Fee Related CN100576907C (zh) | 2007-12-25 | 2007-12-25 | 利用单摄像机实时生成360°无缝全景视频图像的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100576907C (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556423B (zh) * | 2009-04-16 | 2011-05-18 | 陈祜 | 全自动数码全景转机座 |
CN101794069B (zh) * | 2010-01-29 | 2011-08-31 | 于辉 | 一种全景成像仪 |
CN102013112B (zh) * | 2010-12-04 | 2012-07-11 | 徐进 | 文物史迹外形三维实景数据采集方法 |
CN102201115B (zh) * | 2011-04-07 | 2013-12-11 | 湖南天幕智能科技有限公司 | 无人机航拍视频实时全景图拼接方法 |
CN102984453B (zh) * | 2012-11-01 | 2015-10-28 | 深圳大学 | 利用单摄像机实时生成半球全景视频图像的方法及*** |
CN103945103B (zh) * | 2013-01-17 | 2017-05-24 | 成都国翼电子技术有限公司 | 基于柱面的多平面二次投影消除全景摄像机图像畸变的方法 |
US10229477B2 (en) * | 2013-04-30 | 2019-03-12 | Sony Corporation | Image processing device, image processing method, and program |
CN103826063A (zh) * | 2014-02-27 | 2014-05-28 | 广州市晶华光学电子有限公司 | 全景360度智能监控装置 |
CN104038668B (zh) * | 2014-06-30 | 2017-11-10 | Tcl集团股份有限公司 | 一种全景视频显示方法及*** |
WO2016199608A1 (ja) * | 2015-06-12 | 2016-12-15 | ソニー株式会社 | 情報処理装置および情報処理方法 |
CN104967821A (zh) * | 2015-06-23 | 2015-10-07 | 国家电网公司 | 高空无线巡视仪 |
CN105245841B (zh) * | 2015-10-08 | 2018-10-09 | 北京工业大学 | 一种基于cuda的全景视频监控*** |
JP6834976B2 (ja) * | 2015-11-17 | 2021-02-24 | ソニー株式会社 | マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ |
EP3387622B1 (en) | 2016-05-03 | 2020-09-23 | Google LLC | Method and system for obtaining pair-wise epipolar constraints and solving for panorama pose on a mobile device |
CN105915794A (zh) * | 2016-05-27 | 2016-08-31 | 武汉理工大学 | 一种使用高速球摄像机的全景场景制作方法 |
CN106131498B (zh) * | 2016-07-26 | 2019-03-29 | 中国科学院遥感与数字地球研究所 | 全景视频拼接方法及装置 |
US10219008B2 (en) | 2016-07-29 | 2019-02-26 | At&T Intellectual Property I, L.P. | Apparatus and method for aggregating video streams into composite media content |
CN106791282B (zh) * | 2016-11-16 | 2019-10-25 | 中国电子科技集团公司第十一研究所 | 一种周视扫描***视频增强方法及装置 |
CN107454375A (zh) * | 2017-01-24 | 2017-12-08 | 江苏思特威电子科技有限公司 | 3d全景成像装置和方法 |
CN106952225B (zh) * | 2017-02-15 | 2020-07-07 | 山东科技大学 | 一种面向森林防火的全景拼接方法 |
CN107087154A (zh) * | 2017-04-25 | 2017-08-22 | 中国科学技术大学先进技术研究院 | 一种利用单摄像机进行立体全景图像采集的方法和装置 |
CN108965917B (zh) * | 2017-05-27 | 2021-07-20 | 华为技术有限公司 | 视频图像的呈现、封装方法和视频图像的呈现、封装装置 |
CN107911683B (zh) * | 2017-11-28 | 2019-07-23 | Oppo广东移动通信有限公司 | 图像白平衡处理方法、装置、存储介质和电子设备 |
CN108307105B (zh) * | 2017-12-27 | 2020-07-07 | 努比亚技术有限公司 | 一种拍摄方法、终端及计算机可读存储介质 |
CN108305218B (zh) * | 2017-12-29 | 2022-09-06 | 浙江水科文化集团有限公司 | 全景图像处理方法、终端及计算机可读存储介质 |
CN109410120B (zh) * | 2018-09-27 | 2023-03-21 | 浙江工商大学 | 一种极快速的图像无缝合成方法 |
CN111862302B (zh) * | 2019-04-12 | 2022-05-17 | 北京城市网邻信息技术有限公司 | 图像处理和对象建模方法与设备、图像处理装置及介质 |
CN110766830A (zh) * | 2019-09-24 | 2020-02-07 | 重庆特斯联智慧科技股份有限公司 | 一种基于全景成像的安防门禁***及控制方法 |
CN111982015B (zh) * | 2020-08-18 | 2022-06-21 | 深圳大学 | 结构几何形态监测方法 |
CN112070886B (zh) * | 2020-09-04 | 2023-04-25 | 中车大同电力机车有限公司 | 矿用自卸车的影像监控方法及相关设备 |
-
2007
- 2007-12-25 CN CN200710125400A patent/CN100576907C/zh not_active Expired - Fee Related
Non-Patent Citations (10)
Title |
---|
PANORAMIC IMAGE ACQUISITION. ARUN KRISHNAN ECT.COMPUTER VISION AND PATTERN RECOQNITION. 1996 |
PANORAMIC IMAGE ACQUISITION. ARUN KRISHNAN ECT.COMPUTER VISION AND PATTERN RECOQNITION. 1996 * |
PANORAMIC MOSAICS BY MANIFOLD PROJECTION. SHMUEL PELEG ETC.IMAGE PROCESSING,Vol.1 . 1994 |
PANORAMIC MOSAICS BY MANIFOLD PROJECTION. SHMUEL PELEG ETC.IMAGE PROCESSING,Vol.1 . 1994 * |
VIRTUAL BELLOWS:CONSTRUCTING HIGHQUALITYSHILLS FORM VIDEO. S.MANN ETC.IMAGE PROCESSING ,1994.,Vol.1 . 1994 |
VIRTUAL BELLOWS:CONSTRUCTING HIGHQUALITYSHILLS FORM VIDEO. S.MANN ETC.IMAGE PROCESSING ,1994.,Vol.1 . 1994 * |
全景图像拼接算法. 曹俊杰等.大连理工大学学报,第43卷第增刊1期. 2003 |
全景图像拼接算法. 曹俊杰等.大连理工大学学报,第43卷第增刊1期. 2003 * |
摄像机图像序列的全景拼接. 漆驰等.计算机辅助设计与图形学学报,第13卷第7期. 2001 |
摄像机图像序列的全景拼接. 漆驰等.计算机辅助设计与图形学学报,第13卷第7期. 2001 * |
Also Published As
Publication number | Publication date |
---|---|
CN101247513A (zh) | 2008-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100576907C (zh) | 利用单摄像机实时生成360°无缝全景视频图像的方法 | |
CN100432836C (zh) | 实现二维全景真实成像的方法 | |
EP3057317B1 (en) | Light-field camera | |
CN101276465B (zh) | 广角图像自动拼接方法 | |
CN102984453B (zh) | 利用单摄像机实时生成半球全景视频图像的方法及*** | |
JP6273163B2 (ja) | 立体パノラマ | |
CN102857739B (zh) | 分布式全景监控***及其方法 | |
CN1213602C (zh) | 快速数字平移角倾变焦距的视频设备 | |
CN101916455B (zh) | 一种高动态范围纹理三维模型的重构方法及装置 | |
CN201523430U (zh) | 一种全景视频监控*** | |
CN105957015A (zh) | 一种螺纹桶内壁图像360度全景拼接方法及*** | |
CN103971352A (zh) | 一种基于广角镜头的快速图像拼接方法 | |
CN102111629A (zh) | 图像处理装置、图像捕获装置、图像处理方法和程序 | |
CN1669337A (zh) | 用于从单视场图像产生立体图像的方法 | |
CN101276415A (zh) | 用多定焦摄像机实现多分辨率图像采集的装置和方法 | |
WO2013032769A1 (en) | Producing focused videos from single captured video | |
CN104159026A (zh) | 一种实现360度全景视频的*** | |
CN104094318A (zh) | 适用于拍摄视频电影的*** | |
CN105357433A (zh) | 一种高速旋转焦距自适应全景成像方法 | |
CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN101540822A (zh) | 高分辨率大视场航空成像装置及其方法 | |
CN115086550A (zh) | 元成像方法与*** | |
CN110276714B (zh) | 快速扫描式全景图图像合成方法及装置 | |
CN103854269B (zh) | 基于多角度、多分辨率的影像超分辨率重建方法及装置 | |
CN206364891U (zh) | 高清线阵全景照相*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091230 Termination date: 20161225 |
|
CF01 | Termination of patent right due to non-payment of annual fee |