CN102256111B - 多通道全景视频实时监控***及方法 - Google Patents
多通道全景视频实时监控***及方法 Download PDFInfo
- Publication number
- CN102256111B CN102256111B CN201110199571.9A CN201110199571A CN102256111B CN 102256111 B CN102256111 B CN 102256111B CN 201110199571 A CN201110199571 A CN 201110199571A CN 102256111 B CN102256111 B CN 102256111B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- channel
- pixel
- ref
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims description 27
- 101100058681 Drosophila melanogaster Btk29A gene Proteins 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 108091006146 Channels Proteins 0.000 description 74
- 230000008676 import Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种多通道全景视频实时监控方法,主要解决多通道全景视频的实时融合问题。其实现步骤是:通过摄像头或导入视频文件获取视频;然后对视频帧进行特征点提取,求得相应视频帧之间的单应性矩阵,用以描述视频通道间的坐标位置关系;接着确定多通道视频帧之间的相互位置关系,得到多通道视频帧的融合顺序;根据融合顺序选取当前待处理的两个视频帧,在两个视频帧的公共区域寻找最优拼接线,建立通道信息和像素坐标变换关系的融合查找表;根据融合查找表将多通道视频帧融合生成全景视频帧,并将得到的全景视频帧以指定的帧率进行实时显示,实现多通道全景视频的实时监控。本发明具有实时性好、可用性强和不依赖硬件的优点。
Description
技术领域
本发明属于全景视频拼接技术领域,特别是一种多通道全景视频实时监控***,可应用于车站、超市、交通路段场所的全景实时监控。
背景技术
近年来,人们对视频监控的需求日益提高。传统的监控方案采用若干摄像头拍摄不同视角的场景(见图1),并将场景信息返回到客户端的多个独立窗口来实现监控(见图2)。由于监控场所的空间复杂性,尤其监控区域存在部分重叠的情况,监控人员需要监测多个窗口,分析信息相关性并实现目标识别和跟踪,监控不方便,不直观。
随着全景图像技术的发展,全景视频以其视角的宽广性和内容的丰富性,成为一种新型的监控方案。目前,应用于全景视频中的技术主要有以下几种:
1.陈立栋,徐玮,张茂军等.基于四拼图的嵌入式全景视频实时生成***.信号处理,2009(12):1946-1950。设计了一个正四棱台形视频采集固定装置,依赖硬件DSP的并行和流水特点,实现对四个广角摄像头采集所得信息进行实时视频拼接。
2.李伟,庞其昌.基于DSPs的实时图像融合软件***设计与研究.暨南大学硕士学位论文,2006。采用高性能的数字信号处理器(DSP)为平台,达到了多通道图像实时融合的目的。
3.庄越挺,陈铭,吴飞等.根据多视角视频流生成全景视频的方法.公开号:CN101146231,公开日:2008.03.19.描述了一种基于视频流进行全景视频拼接的方法,其特点在于:需要先对应各个视频流中的同步帧,再生成全景视频,不能用于实时监控。
上述全景视频监控技术,针对监控地点的复杂性,往往需要多个摄像头实现全景监控,因此首先获取多通道视频,并确定各视频通道的相对位置关系。针对获取的多通道视频帧,按照其通道间相对位置关系,进行相应的坐标变换和帧融合,从而得到实时的全景视频。目前全景视频技术存在以下缺点:
1.硬件设备依赖较强,需要借助于专门的硬件设备实现视频通道的位置关系确定和视频融合,扩展性差;
2.融合速度慢,难以实现多通道全景视频的实时监控;
3.***的可用性不强,工作方式单一,只能实现2至4个通道的实时视频拼接或只能通过导入视频文件的方式完成视频的非实时拼接。
发明内容
本发明的目的在于克服上述已有技术的不足,提出一种多通道全景视频实时监控***及方法,以降低对硬件设备的依赖性,提高融合速度并实现多通道全景视频的实时融合,增强***的可用性。
为实现上述目的,本发明的技术方案如下:
一.本发明的多通道全景视频实时监控***,包括
视频采集模块:通过摄像头或视频文件获取视频帧,并传送给视频配准模块;
视频配准模块:用于对视频帧进行特征点提取,得到特征点之间的匹配关系,求得相应视频帧间的单应性矩阵,以描述两视频通道间的坐标位置关系,并传送给视频通道排序模块;
视频通道排序模块:用于对多个视频通道的融合顺序进行排序,通过构造以视频通道为节点的图结构,构造图结构的最优生成树和排序树,确定多通道视频帧间的相互位置关系,并传送给融合查找表建立模块;
融合查找表建立模块:根据视频通道的相互位置关系,对视频帧进行相应的坐标变换,寻找最优拼接线,并基于该拼接线建立视频通道信息和像素坐标变换关系的融合查找表,将该融合查找表传送给逐帧视频融合模块;
逐帧视频融合模块:根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系,采用“分块预取”策略,将多通道视频帧融合生成全景视频帧,并将该全景视频帧传送给视频显示模块;
视频显示模块:逐帧接收全景视频帧,并进行实时显示。
二.本发明的多通道全景视频实时监控方法,包括
视频采集步骤:通过摄像头或视频文件获取视频帧;
视频配准步骤:对视频帧进行特征点提取,得到特征点之间的匹配关系,求得相应视频帧间的单应性矩阵,以描述两视频通道间的坐标位置关系;
视频通道排序步骤:用于对多个视频通道的融合顺序进行排序,通过构造以视频通道为节点的图结构,构造图结构的最优生成树和排序树,确定多通道视频帧间的相互位置关系;
融合查找表建立步骤:根据视频通道的相互位置关系,对视频帧进行相应的坐标变换,寻找最优拼接线,并基于该拼接线建立视频通道信息和像素坐标变换关系的融合查找表;
逐帧视频融合步骤:根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系,采用“分块预取”策略,将多通道视频帧融合生成全景视频帧;
视频显示步骤:逐帧接收全景视频帧,并进行实时显示。
所述的视频通道排序步骤包括:
视频通道图结构子步骤:根据视频帧配准,建立以视频通道为节点,以视频通道间的单应性矩阵为边的图结构;
视频通道最优生成树子步骤:根据视频通道图结构,利用视频通道间的配准关系,得到视频通道最优生成树;
视频通道排序树子步骤:根据视频通道最优生成树,构造排序树,确定基准视频通道和其他视频通道到基准通道的位置关系,实现多视频通道的位置排序。
所述的融合查找表建立步骤包括:
多通道视频帧坐标变换子步骤:根据视频帧排序确定的各视频帧间的位置关系,利用单应性矩阵对各视频帧进行坐标位置变换;
最优拼接线子步骤:在两视频帧的公共区域寻找一条像素平均能量值最小的最优拼接线;
映射关系子步骤:根据最优拼接线,结合加权融合,确定各通道视频帧和全景视频帧之间的坐标映射关系;
建表子步骤:将各通道视频帧和全景视频帧之间的坐标映射关系构成融合查找表,该融合查找表包括两种数据结构。
所述的“分块预取”策略,包括如下步骤:
a)对当前要融合的基准视频帧Src1和非基准视频帧Src2做像素相减操作后得到差值视频帧s进行分块,即将差值视频帧s中最优拼接线左右两侧各15个像素单位的区域作为分块1,将差值视频帧s中除去分块1的区域作为分块2。
b)对分块1,根据融合查找表中的第一种数据结构查找坐标信息,取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中像素值pixel_2,求得加权值pixel并赋值给全景视频帧r的对应坐标处;
c)对分块2,根据融合查找表中的第二种数据结构查找坐标信息,取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中的像素值pixel_2,并根据像素值相对于最优拼接线的位置关系,将像素值直接赋值给全景视频帧r的对应坐标处。
本发明具有如下优点:
1.本发明由于其视频配准、视频通道排序、融合查找表的建立和逐帧视频融合中均由软件***完成,不依赖于其他硬件,从而降低了对硬件设备的依赖性;
2.由于采用了“分块预取”策略建立融合查找表,使用简单的像素加权法和像素值直接赋值的方法进行全景视频帧的融合,达到了快速融合视频帧的目的,从而实现了多通道全景视频的实时融合;
3.本发明由于具备了如下两种使用方式,从而增强了***的可用性。两种使用方式:
方式1,通过摄像头进行视频帧的实时采集,经过视频配准、视频通道排序、融合查找表的建立和逐帧视频融合步骤,实现多通道全景视频的实时监控;
方式2,通过导入已录制好的多个通道的视频文件进行全景视频拼接。
附图说明
图1是传统摄像头监控方式;
图2是传统监控显示方式;
图3是本发明多通道全景视频实时监控***框图;
图4是本发明多通道全景视频实时监控方法流程图;
图5是本发明使用的最优拼接线示意图;
图6是本发明融合查找表的第一种数据结构示意图;
图7是本发明融合查找表的第二种数据结构示意图;
图8是本发明采用视频文件导入的全景视频拼接结果图;
图9是本发明采用摄像头获取视频并对室外场景进行多通道实时监控的结果图;
图10是本发明采用摄像头获取视频并对室内场景进行多通道实时监控的结果图。
具体实施方式
参照图3,本发明的多通道全景视频实时监控***主要由视频采集模块、视频配准模块、视频通道排序模块、融合查找表建立模块、逐帧视频融合模块和视频显示模块组成。其中:
视频采集模块,用于获取多通道实时场景视频或非实时场景的视频,获取方式有两种:一是通过摄像头采集室内或室外的实时场景信息,本发明不受摄像头型号的限制;二是通过导入已经录制好的多通道的视频文件获取视频帧,视频文件格式要求为Audio Video Interleaved,AVI,即音频视频交错格式,获取的这些视频帧传送给视频配准模块。
视频配准模块,对获取得到的所有通道的视频帧进行特征点提取并去除不稳定的特征点,该特征点提取采用的是尺度不变特征转换SIFT检测子,它是David G.Lowe在2004年总结提出的一种基于尺度空间的,对图像的旋转、缩放和亮度变化保持不变性,对视角变化、仿射变换也保持一定程度稳定性的图像局部特征检测子,用以描述视频帧的SIFT特征点信息;对得到的SIFT特征点,按特征点的大小和方向信息生成对应的特征向量后,采用基于k-d树的最近邻搜索BBF算法得到特征点之间的匹配关系;使用随机抽样一致RANSAC算法寻找两幅图像间最佳的4对匹配点,并剔除误配点,得到用以描述视频帧之间坐标位置关系的单应性矩阵,并将求得的单应性矩阵传送给视频通道排序模块。
视频通道排序模块,用于确定所有视频帧的拼接顺序,并将拼接顺序传送给融合查找表建立模块,它包括视频通道图结构子模块、视频通道图最优生成树子模块和视频通道排序树子模块。各个子模块的功能是:视频通道图结构子模块,根据视频帧配准得到的视频通道间的坐标位置关系,建立以视频通道为节点,以视频通道间的单应性矩阵为边的有向图结构,并将该有向图结构传送给视频通道最优生成树子模块;视频通道最优生成树子模块,根据视频通道的有向图结构,利用视频通道间的配准关系,通过求解有向图结构的强连通分图,得到视频通道最优生成树,并确定树根节点所表示的视频通道为基准视频通道,将该最优生成树传送给视频通道排序树模块;视频通道排序树子模块,根据视频通道最优生成树,构造排序树,确定基准视频通道和其他视频通道到基准通道的位置关系,确定多通道视频帧间的相互位置关系和视频帧拼接顺序,并传送给融合查找表建立模块。
融合查找表建立模块,用于建立在视频融合阶段用来获取坐标信息的融合查找表,它包括多通道视频帧坐标变换子模块、最优拼接线子模块、映射关系子模块和建表子模块。各个子模块的功能是:多通道视频帧坐标变换子模块,根据视频通道排序确定的基准视频帧和各视频帧间的位置关系,利用非基准视频帧和基准视频帧之间的单应性矩阵将各个非基准视频帧变换至基准视频帧的坐标系内,并将对非基准视频帧进行变换后的视频帧传送给最优拼接线子模块;最优拼接线子模块,根据各视频帧间的位置关系和已确定的视频帧拼接顺序,按拼接顺序选取两个视频帧作为当前待操作的两个视频帧,在当前两个视频帧的公共区域寻找一条像素平均能量值最小拼接线作为最优拼接线,如图5所示,并将求得的最优拼接线传递给映射关系子模块;映射关系子模块,根据求得的最优拼接线,确定各通道视频帧和全景视频帧之间的坐标映射关系,并将坐标映射关系传送给建表子模块;建表子模块,将各通道视频帧和全景视频帧之间的坐标映射关系构成融合查找表,该融合查找表包括两种不同的数据结构:a)第一种数据结构如图6,图6中Dst表示全景视频帧的像素坐标,No1和No2分别表示基准视频通道号和非基准视频通道号,Src1和Src2分别表示视频帧通道号为No1和No2的像素坐标;b)第二种数据结构如图7,图7中Dst表示全景视频帧的像素坐标,No表示视频通道号,Src表示视频帧通道号为No的像素坐标。建立融合查找表后,将融合查找表传送给逐帧视频融合模块。
逐帧视频融合模块,根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系,采用“分块预取”策略进行,其实现步骤是:a)对当前要融合的基准视频帧Src1和非基准视频帧Src2做像素相减操作后得到差值视频帧s进行分块,即将差值视频帧s中最优拼接线左右两侧各15个像素单位的区域作为分块1,将差值视频帧s中除去分块1的区域作为分块2;b)对分块1,根据图6所示的融合查找表中的第一种数据结构查找坐标信息,取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中像素值pixel_2,求得加权值pixel并赋值给全景视频帧r的对应坐标处;c)对分块2,根据图7所示融合查找表中的第二种数据结构查找坐标信息,取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中的像素值pixel_2,并根据像素值相对于最优拼接线的位置关系,将像素值直接赋值给全景视频帧r的对应坐标处。将多通道视频帧融合生成全景视频帧,并将该全景视频帧传送给视频显示模块。
视频显示模块:用于逐帧接收全景视频帧,并进行实时显示。
参照图4,本发明的多通道全景视频实时监控方法,包括如下步骤:
步骤1,视频采集。
使用摄像头获取实时场景视频信息或者导入视频文件获取非实时场景视频信息,对于使用摄像头获取视频信息的方式,本发明不受摄像头型号的限制;对于导入视频文件获取非实时视频信息的方式,视频文件格式要求为Audio Video Interleaved,AVI,即音频视频交错格式。
步骤2,视频配准。
2a)对获取得到的所有通道的视频帧提取特征点,建立高斯差分尺度空间DoG,在DoG空间进行极值检测得到候选特征点及候选特征点数,然后剔除候选特征点中低对比度的点和位于图像边缘的点,最终得到稳定的特征点。本发明用尺度不变特征转换SIFT算子提取特征点,该尺度不变特征转换SIFT检测子,是由David G.Lowe在2004年总结提出的一种基于尺度空间的,对图像的旋转、缩放和亮度变化保持不变性,对视角变化、仿射变换也保持一定程度稳定性的图像局部特征检测子,用以描述视频帧的SIFT特征点信息。SIFT算法首先在尺度空间进行特征检测,并确定特征点的位置和特征点所在的尺度,然后利用特征点邻域梯度的主方向作为该点的方向,以实现特征点对尺度和方向的不变性,所述低对比度的点是这样的点:首先在DoG空间中对特征点的极值处求解用以精确地确定特征点位置和尺度的差值估计值,如果该差值估计值小于0.03,则认为该点为低对比度的点;
2b)对得到的SIFT特征点,按特征点的大小和方向信息生成对应的特征向量后,采用基于k-d树的最近邻搜索BBF算法在任意两个视频帧的欧氏空间寻找各特征向量的最近邻和次近邻,当特征向量到最近邻与次近邻距离之比小于设定的阈值时,认为这两个特征向量匹配,得到特征点之间的匹配关系,本发明中的阈值取0.6;
2c)使用随机抽样一致RANSAC算法寻找两幅图像间最佳的4对匹配点,并剔除误配点,得到用以描述视频帧之间坐标位置关系的H矩阵。
前面自动提取和匹配得到的初始匹配特征点对集合中难免存在误配点,此外特征点在提取时也存在一定的精度误差,因此需要一种容错能力很强的算法来过滤初始匹配特征点对集合,而RANSAC正是这样的一种算法。
步骤3,视频通道排序。
3a)根据视频帧配准得到的视频通道间的坐标位置关系,建立以视频通道为节点,以视频通道间的单应性矩阵为边的有向图结构;
3b)根据视频通道的有向图结构,利用视频通道间的配准关系,求解有向图结构的强连通分图,得到视频通道最优生成树,并确定树根节点所表示的视频通道为基准视频通道;
3c)根据视频通道最优生成树,构造排序树,求得基准视频通道和其他视频通道到基准通道的位置关系,从而确定出多通道视频帧间的相互位置关系和视频帧拼接顺序。
步骤4,建立融合查找表。
4a)根据视频通道排序确定的基准视频帧和各视频帧间的位置关系,利用非基准视频帧和基准视频帧之间的单应性矩阵将各个非基准视频帧变换至基准视频帧的坐标系内;
4b)根据各视频帧间的位置关系和已确定的视频帧拼接顺序,按拼接顺序选取两个视频帧作为当前待操作的两个视频帧,在当前两个视频帧的公共区域寻找一条像素平均能量值最小拼接线作为最优拼接线,如图5所示;
4c)根据求得的最优拼接线,确定各通道视频帧和全景视频帧之间的坐标映射关系,并将各通道视频帧和全景视频帧之间的坐标映射关系构成融合查找表,该融合查找表包括以下两种不同的数据结构:
第一种数据结构如图6,图6中Dst表示全景视频帧的像素坐标,No1和No2分别表示基准视频通道号和非基准视频通道号,Src1和Src2分别表示视频帧通道号为No1和No2的像素坐标;
第二种数据结构如图7,图7中Dst表示全景视频帧的像素坐标,No表示视频通道号,Src表示视频帧通道号为No的像素坐标。
步骤5,根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系,采用“分块预取”策略进行融合操作。
5a)对当前要融合的基准视频帧Src1和非基准视频帧Src2做像素相减操作后得到差值视频帧s进行分块,即将差值视频帧s中最优拼接线左右两侧各15个像素单位的区域作为分块1,将差值视频帧s中除去分块1的区域作为分块2;
5b)根据图6所示的融合查找表中的第一种数据结构查找分块1中的坐标信息,取得基准视频帧Src1中的像素值pixel_1及其权重r1,取得非基准视频帧Src2中像素值pixel_2及其权重r2,通过公式:
pixel=pixel_1×r1+pixel_2×r2
求得加权值pixel并赋值给全景视频帧r的对应坐标处;
5c)根据图7所示融合查找表中的第二种数据结构查找分块2中的坐标信息,取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中的像素值pixel_2,并根据像素值相对于最优拼接线的位置关系,将像素值直接赋值给全景视频帧r的对应坐标处。
步骤6,接收融合得到全景视频帧,并按指定的帧率在视频显示窗口进行实时显示,实现多通道全景视频实时监控。
本发明的优点可通过以下仿真进一步说明:
仿真1,通过导入视频文件进行全景视频拼接
通过视频文件导入5个通道的非实时场景视频,对该5个通道的非实时场景视频进行拼接,拼接结果如图8,从图8可以看出,本发明可以在不依赖于硬件的情况下,采用导入视频文件的方法进行多通道视频的融合,并可在视频监控窗口查看实时融合结果。
仿真2,采用摄像头获取室外场景视频并对室外场景进行多通道实时监控
通过4个摄像头进行室外场景视频信息的实时采集,并对该4个通道的视频进行实时拼接,拼接结果如图9,由图9可以看出,本发明可以在不依赖于硬件进行算法加速的情况下,通过摄像头进行室外视频信息的实时获取,实现多个通道全景视频的实时监控。
仿真3,采用摄像头获取视频并对室内场景进行多通道实时监控
通过3个摄像头进行室内场景视频信息的实时采集,并对该3个通道的视频进行实时拼接,拼接结果如图10,由图10可以看出,本发明可以在不依赖于硬件进行算法加速的情况下,通过摄像头进行室内视频信息的实时获取,实现多个通道全景视频的实时监控。
Claims (2)
1.一种多通道全景视频实时监控***,包括
视频采集模块:通过摄像头或视频文件获取视频帧,并传送给视频配准模块;
视频配准模块:用于对视频帧进行特征点提取,得到特征点之间的匹配关系,求得相应视频帧间的单应性矩阵,以描述两视频通道间的坐标位置关系,并传送给视频通道排序模块;
视频通道排序模块:用于对多个视频通道的融合顺序进行排序,通过构造以视频通道为节点,以视频通道间的单应性矩阵为边的有向图结构,构造有向图结构的最优生成树和排序树,确定多通道视频帧间的相互位置关系,并传送给融合查找表建立模块;
融合查找表建立模块:根据视频通道的相互位置关系,对视频帧进行相应的坐标变换,寻找最优拼接线,即位于两视频帧的公共区域的一条像素平均能量值最小的拼接线,并基于该拼接线建立各通道视频帧和全景视频帧之间的坐标映射关系的融合查找表,将该融合查找表传送给逐帧视频融合模块;
逐帧视频融合模块:根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系,采用“分块预取”策略,将多通道视频帧融合生成全景视频帧,并将该全景视频帧传送给视频显示模块;
视频显示模块:逐帧接收全景视频帧,并进行实时显示;
所述的视频通道排序模块包括:
视频通道图结构子模块:用于根据视频帧配准得到的视频通道间的坐标位置关系,建立以视频通道为节点,以视频通道间的单应性矩阵为边的有向图结构,并将该有向图结构传送给视频通道最优生成树子模块;
视频通道最优生成树子模块:根据视频通道有向图结构,利用视频通道间的配准关系,通过求解有向图结构的强连通分图,得到视频通道最优生成树,并确定树根节点所表示的视频通道为基准视频通道,并将该最优生成树传送给视频通道排序树子模块;
视频通道排序树子模块:用于根据视频通道最优生成树,构造排序树,确定基准视频通道和其他视频通道到基准通道的位置关系,实现多视频通道的位置排序。;
所述的融合查找表建立模块包括:
多通道视频帧坐标变换子模块:用于根据视频帧排序确定的基准视频帧和各视频帧间的位置关系,利用非基准视频帧和基准视频帧之间的单应性矩阵将各个非基准视频帧变换至基准视频帧的坐标系内,将对非基准视频帧进行变换后的视频帧传送给最优拼接线子模块;
最优拼接线子模块:用于在两视频帧的公共区域寻找一条像素平均能量值最小的最优拼接线,并将该最优拼接线传递给映射关系子模块;
映射关系子模块:用于根据最优拼接线,结合加权融合,确定各通道视频帧和全景视频帧之间的坐标映射关系,并将该坐标映射关系传送给建表子模块;
建表子模块:用于将各通道视频帧和全景视频帧之间的坐标映射关系构成融合查找表,该融合查找表包括两种不同的数据结构:
1)第一种数据结构包括如下变量:Dst,No1,Src1,r1,No2,Src2,r2,其中Dst表示全景视频帧的像素坐标,No1和No2分别表示基准视频通道号和非基准视频通道号,Src1和Src2分别表示视频帧通道号为No1和No2的像素坐标;
2)第二种数据结构包括如下变量:Dst,No,Src,其中Dst表示全景视频帧的像素坐标,No表示视频通道号,Src表示视频帧通道号为No的像素坐标;
所述的“分块预取”策略,包括如下步骤:
(a)对当前要融合的基准视频帧Src1和非基准视频帧Src2做像素相减操作后得到差值视频帧s进行分块,即将差值视频帧s中最优拼接线左右两侧各15个像素单位的区域作为分块1,将差值视频帧s中除去分块1的区域作为分块2;
(b)对分块1,根据融合查找表中的第一种数据结构查找坐标信息,取得基准视频帧Src1中的像素值pixel_1及其权重r1和非基准视频帧Src2中像素值pixel_2及其权重r2,通过公式:pixel=pixel_1×r1+pixel_2×r2求得加权值pixel并赋值给全景视频帧r的对应坐标处;
(c)对分块2,根据融合查找表中的第二种数据结构查找坐标信息,取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中的像素值pixel_2,并根据像素值相对于最优拼接线的位置关系,将像素值直接赋值给全景视频帧r的对应坐标处。
2.一种多通道全景视频实时监控方法,包括
视频采集步骤:通过摄像头或视频文件获取视频帧;
视频配准步骤:对视频帧进行特征点提取,得到特征点之间的匹配关系,求得相 应视频帧间的单应性矩阵,以描述两视频通道间的坐标位置关系;
视频通道排序步骤:用于对多个视频通道的融合顺序进行排序,通过构造以视频通道为节点,以视频通道间的单应性矩阵为边的有向图结构,构造有向图结构的最优生成树和排序树,确定多通道视频帧间的相互位置关系;
融合查找表建立步骤:根据视频通道的相互位置关系,对视频帧进行相应的坐标变换,寻找最优拼接线,即位于两视频帧的公共区域的一条像素平均能量值最小的拼接线,并基于该拼接线建立各通道视频帧和全景视频帧之间的坐标映射关系的融合查找表;
逐帧视频融合步骤:根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系,采用“分块预取”策略,将多通道视频帧融合生成全景视频帧;
视频显示步骤:逐帧接收全景视频帧,并进行实时显示;
所述的视频通道排序步骤包括:
视频通道图结构子步骤:根据视频帧配准得到的视频通道间的坐标位置关系,建立以视频通道为节点,以视频通道间的单应性矩阵为边的有向图结构;
视频通道最优生成树子步骤:根据视频通道有向图结构,利用视频通道间的配准关系,通过求解有向图结构的强连通分图,得到视频通道最优生成树,并确定树根节点所表示的视频通道为基准视频通道;
视频通道排序树子步骤:根据视频通道最优生成树,构造排序树,确定基准视频通道和其他视频通道到基准通道的位置关系,实现多视频通道的位置排序;
所述的融合查找表建立步骤包括:
多通道视频帧坐标变换子步骤:根据视频帧排序确定的基准视频帧和各视频帧间的位置关系,利用非基准视频帧和基准视频帧之间的单应性矩阵将各个非基准视频帧变换至基准视频帧的坐标系内;
最优拼接线子步骤:在两视频帧的公共区域寻找一条像素平均能量值最小的最优拼接线;
映射关系子步骤:根据最优拼接线,结合加权融合,确定各通道视频帧和全景视频帧之间的坐标映射关系;
建表子步骤:将各通道视频帧和全景视频帧之间的坐标映射关系构成融合查找表,该融合查找表包括两种不同的数据结构:
1)第一种数据结构包括如下变量:Dst,No1,Src1,r1,No2,Src2,r2,其中Dst表示全景视频帧的像素坐标,No1和No2分别表示基准视频通道号和非基准视频通道号,Src1和Src2分别表示视频帧通道号为No1和No2的像素坐标;
2)第二种数据结构包括如下变量:Dst,No,Src,其中Dst表示全景视频帧的像素坐标,No表示视频通道号,Src表示视频帧通道号为No的像素坐标;
所述的“分块预取”策略,包括如下步骤:
(a)对当前要融合的基准视频帧Src1和非基准视频帧Src2做像素相减操作后得到差值视频帧s进行分块,即将差值视频帧s中最优拼接线左右两侧各15个像素单位的区域作为分块1,将差值视频帧s中除去分块1的区域作为分块2;
(b)对分块1,根据融合查找表中的第一种数据结构查找坐标信息,取得基准视频帧Src1中的像素值pixel_1及其权重r1和非基准视频帧Src2中像素值pixel_2及其权重r2,通过公式:pixel=pixel_1×r1+pixel_2×r2求得加权值pixel并赋值给全景视频帧r的对应坐标处;
(c)对分块2,根据融合查找表中的第二种数据结构查找坐标信息,取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中的像素值pixel_2,并根据像素值相对于最优拼接线的位置关系,将像素值直接赋值给全景视频帧r的对应坐标处。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110199571.9A CN102256111B (zh) | 2011-07-17 | 2011-07-17 | 多通道全景视频实时监控***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110199571.9A CN102256111B (zh) | 2011-07-17 | 2011-07-17 | 多通道全景视频实时监控***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102256111A CN102256111A (zh) | 2011-11-23 |
CN102256111B true CN102256111B (zh) | 2013-06-12 |
Family
ID=44983060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110199571.9A Expired - Fee Related CN102256111B (zh) | 2011-07-17 | 2011-07-17 | 多通道全景视频实时监控***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102256111B (zh) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202652420U (zh) * | 2012-04-17 | 2013-01-02 | 北京明科全讯技术有限公司 | 一种全景监控*** |
CN102801978A (zh) * | 2012-08-08 | 2012-11-28 | 浪潮集团有限公司 | 一种基于云存储的视频数据采集和管理*** |
CN103595954A (zh) * | 2012-08-16 | 2014-02-19 | 北京中电华远科技有限公司 | 一种基于位置信息的多视频图像融合处理的方法及*** |
CN102857739B (zh) * | 2012-08-20 | 2015-09-09 | 上海光亮光电科技有限公司 | 分布式全景监控***及其方法 |
CN103841368B (zh) * | 2012-11-22 | 2017-12-12 | 中国电信股份有限公司 | 视频切换方法和***、中心服务器、视频通道管理设备 |
CN103366375B (zh) * | 2013-07-15 | 2016-08-10 | 中国科学院自动化研究所 | 基于动态有向图的图像集配准方法 |
CN103473565B (zh) * | 2013-08-23 | 2017-04-26 | 华为技术有限公司 | 一种图像匹配方法和装置 |
CN103428462A (zh) * | 2013-08-29 | 2013-12-04 | 中安消技术有限公司 | 一种多通道音视频处理方法和装置 |
CN103489165B (zh) * | 2013-10-01 | 2016-04-06 | 中国人民解放军国防科学技术大学 | 一种面向视频拼接的小数查找表生成方法 |
CN103997609A (zh) * | 2014-06-12 | 2014-08-20 | 四川川大智胜软件股份有限公司 | 基于cuda的多视频实时全景融合拼接方法 |
CN105376504A (zh) * | 2014-08-27 | 2016-03-02 | 北京顶亮科技有限公司 | 一种基于高速摆镜的红外成像***及红外成像方法 |
CN104767973B (zh) * | 2015-04-08 | 2018-01-23 | 北京航空航天大学 | 一种多路视频实时无线传输与显示***及构建方法 |
CN105227866B (zh) * | 2015-08-31 | 2019-06-21 | 青岛中星微电子有限公司 | 一种多通道视频显示方法和装置 |
CN105608671B (zh) * | 2015-12-30 | 2018-09-07 | 哈尔滨工业大学 | 一种基于surf算法的图像拼接方法 |
CN106204456B (zh) * | 2016-07-18 | 2019-07-19 | 电子科技大学 | 全景视频序列运动估计越界折叠搜索方法 |
CN106454256B (zh) * | 2016-11-03 | 2019-09-13 | 贵阳朗玛信息技术股份有限公司 | 一种多视频实时拼接方法及装置 |
TWI632812B (zh) | 2016-12-16 | 2018-08-11 | 財團法人工業技術研究院 | 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置 |
EP3442240A1 (en) * | 2017-08-10 | 2019-02-13 | Nagravision S.A. | Extended scene view |
CN108229390A (zh) * | 2018-01-02 | 2018-06-29 | 济南中维世纪科技有限公司 | 基于深度学习的快速行人检测方法 |
CN108234819B (zh) * | 2018-01-30 | 2019-08-13 | 西安电子科技大学 | 基于单应变换的视频同步方法 |
CN108234904B (zh) * | 2018-02-05 | 2020-10-27 | 刘捷 | 一种多视频融合方法、装置与*** |
CN108495089A (zh) * | 2018-04-02 | 2018-09-04 | 北京京东尚科信息技术有限公司 | 车辆监控方法、装置、***以及计算机可读存储介质 |
CN108833877B (zh) * | 2018-06-12 | 2020-02-18 | 重庆虚拟实境科技有限公司 | 图像处理方法及装置、计算机装置及可读存储介质 |
CN108769781B (zh) * | 2018-06-14 | 2019-02-26 | 视云融聚(广州)科技有限公司 | 一种视频标签定位方法 |
CN111107307A (zh) * | 2018-10-29 | 2020-05-05 | 曜科智能科技(上海)有限公司 | 基于单应性变换的视频融合方法、***、终端及介质 |
CN111193877B (zh) * | 2019-08-29 | 2021-11-30 | 桂林电子科技大学 | 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备 |
CN112333502B (zh) * | 2020-07-30 | 2024-07-05 | 深圳Tcl新技术有限公司 | 智能电视显示方法、智能电视及计算机可读存储介质 |
CN113727078A (zh) * | 2021-10-13 | 2021-11-30 | 广联达科技股份有限公司 | 一种工程监控方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101277429A (zh) * | 2007-03-27 | 2008-10-01 | 中国科学院自动化研究所 | 监控中多路视频信息融合处理与显示的方法和*** |
CN101312526A (zh) * | 2008-06-26 | 2008-11-26 | 天津市亚安科技电子有限公司 | 全景联动视频监控装置及其全景图像的拼接方法 |
CN101719986A (zh) * | 2009-12-30 | 2010-06-02 | 湖北莲花山计算机视觉和信息科学研究院 | 基于多层次全景建模的ptz跟踪方法和*** |
CN102096915A (zh) * | 2011-02-09 | 2011-06-15 | 北京航空航天大学 | 一种基于精准图像拼接的摄像机镜头去污方法 |
-
2011
- 2011-07-17 CN CN201110199571.9A patent/CN102256111B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101277429A (zh) * | 2007-03-27 | 2008-10-01 | 中国科学院自动化研究所 | 监控中多路视频信息融合处理与显示的方法和*** |
CN101312526A (zh) * | 2008-06-26 | 2008-11-26 | 天津市亚安科技电子有限公司 | 全景联动视频监控装置及其全景图像的拼接方法 |
CN101719986A (zh) * | 2009-12-30 | 2010-06-02 | 湖北莲花山计算机视觉和信息科学研究院 | 基于多层次全景建模的ptz跟踪方法和*** |
CN102096915A (zh) * | 2011-02-09 | 2011-06-15 | 北京航空航天大学 | 一种基于精准图像拼接的摄像机镜头去污方法 |
Non-Patent Citations (5)
Title |
---|
图像拼接技术综述;王娟等;《计算机应用研究》;20080731;第25卷(第7期);全文 * |
基于特征点匹配的图像拼接***;朱正明等;《林业科学》;20040731;第40卷(第4期);全文 * |
朱正明等.基于特征点匹配的图像拼接***.《林业科学》.2004,第40卷(第4期), |
栗涛,郑海红等.西安电子科技大学国家大学生创新性实验计划中期检查报告.《http://cxjh.xidian.edu.cn/project_management/show_project/145/》.2011,1-8. * |
王娟等.图像拼接技术综述.《计算机应用研究》.2008,第25卷(第7期), |
Also Published As
Publication number | Publication date |
---|---|
CN102256111A (zh) | 2011-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102256111B (zh) | 多通道全景视频实时监控***及方法 | |
CN101950426B (zh) | 一种多摄像机场景下车辆接力跟踪方法 | |
CN105245841B (zh) | 一种基于cuda的全景视频监控*** | |
CN103150715B (zh) | 图像拼接处理方法及装置 | |
US9317762B2 (en) | Face recognition using depth based tracking | |
CN107316275A (zh) | 一种光流辅助的大尺度显微图像拼接算法 | |
CN102006425B (zh) | 一种基于多摄像机的视频实时拼接方法 | |
EP4261778A1 (en) | Posture estimation method related apparatus | |
CN105933678A (zh) | 基于多目标智能跟踪的多焦距镜头联动成像装置 | |
CN101504761A (zh) | 一种图像拼接的方法和装置 | |
Milford et al. | Condition-invariant, top-down visual place recognition | |
CN105611170A (zh) | 一种无人机及其全景拼接方法、装置和*** | |
CN110022463A (zh) | 动态场景下实现视频感兴趣区域智能编码方法及*** | |
CN103020941A (zh) | 基于全景拼接的旋转摄像头背景建立法及运动物体检测法 | |
CN103795978B (zh) | 一种多画面智能识别方法及其装置 | |
CN101605209A (zh) | 摄像装置及图像再生装置 | |
CN102693632A (zh) | 一种基于视觉图像的监控装置和监控方法 | |
CN101626513A (zh) | 全景视频生成方法及*** | |
CN104580933A (zh) | 基于特征点的多尺度实时监控视频拼接装置及拼接方法 | |
CN104392416A (zh) | 一种运动场景的视频拼接方法 | |
CN105787876A (zh) | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 | |
CN106952225A (zh) | 一种面向森林防火的全景拼接方法 | |
US20210027483A1 (en) | Collaborative visual enhancement devices | |
CN109784230A (zh) | 一种人脸视频图像质量寻优方法、***及设备 | |
CN103544696B (zh) | 一种用于fpga实现的缝合线实时查找方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130612 Termination date: 20190717 |