CN102857739A - 分布式全景监控***及其方法 - Google Patents

Abstract

本发明提供了一种分布式全景监控***及方法，其包括：视频信号获取模块，分布式布局的获取多路视频信号；视频信号转换模块，对单路视频信号进行显示和存储，并提取单路视频信号的特征，将特征信息与视频信号交织和同步；图像拼接模块，对多路视频信号进行同步及其图像拼接；该***多个摄像头的安置要求低，根据场景情况，可分别安置在距离较远的不同位置，此种多摄像机全景可视***可根据用户需求选择摄像机的取景方向，以规避遮挡问题；摄像机的分布式安放提高了全景图的可视范围和清晰度。该***能够对不同聚焦图像进行拼接组合，并对几何失真进行补偿。

Description

分布式全景监控***及其方法

技术领域

本发明涉及全景影像素材的制作，尤其涉及多摄像机图像的同步获取以及图像内容的拼接等。

背景技术

近年来，全景视频监控***逐步兴起，主要的做法分为三种：

（1）使用单摄像机，通过特殊的镜头设计得到全景影像。受镜头性能的影响，这类方法的缺陷是全景视频图的分辨率不高且图像存在一定的畸变。即使通过图像处理算法对畸变进行矫正，图像失真仍在一定程度上不可避免。

（2）通过电动机在垂直和水平两个自由度上的转动，由一组图像近视产生一个全景图像。这类方法的缺陷在于得到的图像是不连续的，可能存在一定的盲区。此外相机运动会造成机械磨损，且获得的图像有一定程度的抖动。

（3）在全景摄像机上安置多个摄像头，这些摄像头安装在固定位置，且画面彼此交错。较前两种方法，该方法的清晰度高、失真小，且无机械运动部分。目前与之相关的专利文献被公开的包括：中国发明专利说明书CN1706195A（公开于2005年12月7日）揭示一种具有对个摄像机的全景可视***；中国发明专利说明书CN102137229A（公开于2011年07月27日）公开了一种嵌入式高清全景摄像机的设计方法；中国发明专利说明书CN102355545A（公开于2012年02月15日）公开了一种360度实时全景摄像机的设计方法；中国发明专利说明书CN101102514A（公开于2008年1月9日）公开了实时全景无缝无失真视频摄像机；中国发明专利说明书CN101568018A（公开于2009年10月28日）公开了一种无旋转全景摄像装置及其构成的监控***；中国发明专利说明书CN101630117A（公开于2010年1月20日）公开了涉及多摄像机同步获取360度高清全景***；中国发明专利说明书CN101753849A（公开于2008年12月01日）公开了复眼全景摄像机；中国发明专利说明书CN101866482A（公开于2010年10月20日）提出一种基于摄像设备自动标定技术的全景图拼接方法。

然而，上述的这些专利方法中，摄像头以轴为中心，被近似均匀的安置在全景摄像机的机壳上。这类***无法应对复杂场景，当存在遮挡时，全景重建存在阻塞区域。受限于摄像头的景深，由上述方法重构的全景图像的清晰度不尽理想。

鉴于以上的几种问题，一种新的效果好、性价比高的全景视频监控***的发明是势在必行的。

发明内容

本发明所要解决的技术问题是：现有的多种视频监控***存在的图像失真、存在一定的盲区且获得的图像有一定程度的抖动以及全景图像的清晰度不尽理想等问题。

本发明的目的是提供一种由多摄像机组成的全景可视***。本发明采用分布式摄像机布局可以很好的解决遮挡问题，且能提高全景摄像机的可视范围及清晰度。

为了达到上述目的，本发明提供了一种分布式全景监控***，其包括：

视频信号获取模块，分布式布局的获取多路视频信号；

视频信号转换模块，对单路视频信号进行显示和存储，并提取单路视频信号的特征，将特征信息与视频信号交织和同步；

图像拼接模块，对多路视频信号进行同步及其图像拼接。

所述视频信号转换模块，其包括：

信号转换器单元：顺序对视频进行打包，每个数据包由视频帧和与其对应的特征拼接而成；

解码器单元：实现对摄像头视频编码信号的解码，恢复出像素域图像；

特征提取单元：对解码视频信号逐帧提取特征；

数据交织单元：实现对视频帧信号与特征信号的数据重新组织。

所述图像拼接模块，其包括：

数据同步单元，实现视频数据帧同步；

特征点匹配单元，实现相邻视频中的特征点进行匹配，全局仿射矩阵计算；

奇异点排除单元，对奇异特征点去除；

仿射优化和细化单元，实现仿射变换校正，仿射矩阵细化；

图像拼接单元，进行拼接全景图像；

所述数据同步单元包含多个乒乓缓存器，每路输入的视频信号使用一路缓存器，数据流传输至乒乓缓存器，当一个完整的数据帧被导入乒或者乓缓存器后，后继图像帧数据存入另一个缓存器。

所述特征点匹配单元采用特征向量遍历或者二叉树***匹配算法将所有的特征点配对，找到毗邻视频帧中特征点的对应关系。

所述仿射优化和细化单元首先对特征点仿射变换求精，再估计非特征点的仿射变换。

所述图像拼接单元根据计算出的仿射场，对相邻视图的图像进行扭转，且在做图像拼接时，对不同视频获取造成的差异进行校正。

所述分布式全景监控***还包括显示器和硬盘存储器，所述视频信号转换模块的一路连接至所述硬盘存储器并通过所述显示器提供独立的预览显示，另一路连接至所述图像拼接模块。

一种分布式全景监控方法，其包括如下步骤：

获取多路分布式布局的视频信号；

对单路视频信号进行显示和存储，并提取单路视频信号的特征，将特征信息与视频信号交织和同步；

对多路视频信号进行同步及其图像拼接。

所述对单路视频信号进行显示和存储，并提取单路视频信号的特征，将特征信息与视频信号交织和同步的步骤具体包括：

顺序对视频进行打包，每个数据包由视频帧和与其对应的特征拼接而成；

实现对摄像头视频编码信号的解码，恢复出像素域图像；

对解码视频信号逐帧提取特征；

实现对视频帧信号与特征信号的数据重新组织。

所述对多路视频信号进行同步及其图像拼接的步骤具体包括：

进行视频数据帧同步；

对相邻视频中的特征点进行匹配，全局仿射矩阵计算；

对奇异特征点去除；

实现仿射变换校正，仿射矩阵细化；

进行拼接全景图像；

所述修正后的仿射矩阵满足两个条件：

1）使得两幅图像彼此覆盖区域中的可匹配的特征点的误差为最小；

2）求取的特征点的仿射矩阵间是平滑的。

所述在做图像拼接时首先检测相邻图像的交汇区域，再根据交汇区域图像直方图的不同，计算直方图色度变换矩阵，根据计算出的色度变换矩阵对图像做色度归一化处理，最终拼接成无亮度和色彩差异的全景图像。

所述特征点进行匹配时采用特征向量遍历或者二叉树***匹配算法将所有的特征点配对，找到毗邻视频帧中特征点的对应关系。

所述实现仿射变换校正，仿射矩阵细化时首先对特征点仿射变换求精，再估计非特征点的仿射变换。

所述拼接全景图像时根据计算出的仿射场，对相邻视图的图像进行扭转，且在做图像拼接时，对不同视频获取造成的差异进行校正。

本发明的有益效果是：该***的特点在于它对多个摄像头的安置要求低，根据场景情况，可分别安置在距离较远的不同位置。此种多摄像机全景可视***可根据用户需求选择摄像机的取景方向，以规避遮挡问题。摄像机的分布式安放提高了全景图的可视范围和清晰度。该***能够对不同聚焦图像进行拼接组合，并对几何失真进行补偿。

附图说明

通过以下对本发明的实施例结合其附图的描述，可以进一步理解其发明的目的、具体结构特征和优点。其中，附图为：

图1分布式全景监控***的应用效果示意图；

图2视频信号转换模块组织结构示意图；

图3图像拼接模块结构示意图。

摄像头1、视频信号转换模块2、转换器3、；显示器4、硬盘存储器5、图像拼接模块6、数据同步单元31、特征点匹配单元32、奇异点排除单元33、仿射优化和细化单元34、图像拼接单元35

具体实施方式

本发明涉及全景影像素材的制作，尤其涉及多摄像机图像的同步获取以及图像内容的拼接。该技术可以广泛适用于广场、大型仓库、商场、机场、交通管理等安防领域，实现对复杂环境下全场景的360度实时观察和监控，是在对现有的全景视频监控***的基础上作出的重大改进，具有非常重要的实践意义。

本发明提供一种由多摄像机组成的全景可视***。该***的特点在于它对多个摄像头的安置要求低，根据场景情况，可分别安置在距离较远的不同位置。此种多摄像机全景可视***可根据用户需求选择摄像机的取景方向，以规避遮挡问题。摄像机的分布式安放提高了全景图的可视范围和清晰度。该***能够对不同聚焦图像进行拼接组合，并对几何失真进行补偿。

如图1所示的分布式全景监控***实务操作中的应用效果示意图中，包括：多个相互独立的、彼此影像有覆盖的摄像头1；显示和存储单路视频信号并根据拼接需要提取单路特征，最终将特征信息与视频信号交织和同步的视频信号转换模块2；实现多路视频信号同步和图像拼接的图像拼接模块6；显示器4；硬盘存储器5。视频信号转换模块2由多个转换器3组成，转换器3包括：实现对摄像头视频编码信号的解码，并恢复出像素域图像的解码器；对解码视频信号逐帧提取特征的特征提取模块；实现对视频帧信号与特征信号的数据重新组织的数据交织模块。视频信号转换模块2的一路连接至所述硬盘存储器并提供独立的预览显示，另一路连接至所述图像拼接模块。

如图所示：本发明的全景可视监控***主要包括视频信号获取模块、视频信号转换模块和图像拼接模块：

所述视频信号获取模块（或称为图像拼接模块）提取各镜头中的显著特征点，首先对这些特征点作三维仿射匹配，再由这些仿射匹配点估算出其它非特征点的仿射变换，通过对所有的像素点进行移位操作，最终合成全景图像。

所述视频信号转换模块主要实现对单路视频信号的显示和存储，并根据后续的图像拼接模块的拼接需要提取单路的特征，最终将特征信息与视频信号交织和同步。

所述视频信号转换模块，其包含：

信号转换器单元：信号转换器顺序对视频进行打包，每个数据包由视频帧和与其对应的特征拼接而成；

解码器单元：实现对摄像头视频编码信号的解码，恢复出像素域图像；

特征提取单元：对解码视频信号逐帧提取特征；

数据交织单元：实现对视频帧信号与特征信号的数据重新组织。

在本发明中，定义了一种以帧为单位的数据组织结构。信号转换器顺序对视频进行打包，每个数据包由视频帧和与其对应的特征拼接而成，参阅图2。

所述图像拼接模块主要实现对多路视频信号的同步及其图像拼接，具体工作模块及所承担的任务，如图3所示：

数据同步单元31，实现视频数据帧同步；

特征点匹配单元32，实现相邻视频中的特征点进行匹配，全局仿射矩阵计算；

奇异点排除单元33，对奇异特征点去除；

仿射优化和细化单元34，实现仿射变换校正，仿射矩阵细化；

图像拼接单元35，进行拼接全景图像；

在本发明中，设计像素级仿射变换计算方式及仿射矩阵的细化和优化方式，从而精准估计相邻视频间的匹配关系；设计了仿射变换优化的评价标准，经过仿射变换后的特征描述子对的总误差为最小方法；设计了非特征点的仿射关系的估计准则，参考特征描述子及几何距离的差距计算非特征点的仿射关系的方法。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限制本发明。

分布式多摄像头监控***利用多摄像头分布的灵活性来提高视角范围监控视频质量的一种新型设备。该设备通过图像处理算法去除不同镜头中视觉信息的冗余，进而将多个摄像机拍摄的一组视频信息转换成为一副包含该系列所有信息的全景图像。

本发明具体实施方案如下：

1.视频信号转换模块

视频信号转换模块有三个功能：（1）将视频的数字采样信号通过显存导出至显示器；(2)对视频信号进行压缩，并存储在硬盘存储介质中；(3)特征提取以及数据交织。

视频信号显示通过DirectX编程实现，该程序直接将缓存数据映射至显示器的显存中；摄像数据压缩采用H.264标准压缩，采用mplayer开源代码实现H.264标准压缩；mplayer可对输入视频实时编码，并通过网口，USB口输出，或直接存储到本地硬盘；采用SIFT特征描述图像，SIFT特征具有平移、选择和尺度的不变性，且对光照等变换较为鲁棒。除SIFT算子以外，也可采用计算复杂度较低的Harris算子；以SIFT描述子为例，通过系列运算，在图像中自动探测出一系列SIFT点及这些点对应的长度为128bits的特征向量。以图像左上角的第一个像素为坐标原点，以字典顺序对所有的特征点进行扫描，这些点的坐标和特征向量共同组合成最基本的特征描述子2112。对视频帧中的像素值以字典顺序扫描组成荷载2111。荷载2111和2112的级联帧级别的数据包212即为输入至图像拼接模块的最基本的数据处理单元。进一步考虑摄像机在时域的连续采样，输入至图像拼接模块的数据流21是由一系列帧数据包211、212和213等组成。

2.图像拼接模块

数据同步单元31包含多个乒乓缓存器，每路输入视频使用一路缓存器，数据流21以流形式传输至乒乓缓存器，当一个完整的数据帧被导入乒或者乓缓存器后，后继图像帧数据存入另一个缓存器。在做图像全景拼接时，主控单元检测乒乓缓存器，读取完整数据帧信息后，将对应缓存器置空。通过上述机理，主控单元保证所取得的各路视频帧信号是完整的。

特征点匹配单元32采用特征向量遍历或者二叉树***匹配算法将所有的特征点配对，找到毗邻视频帧中特征点的对应关系。当然，由于视角、尺度等变化，用于匹配的图像的特征点并不完全一致，造成视图中的一些匹配点无法找到相应的匹配对。本发明采用RANSCA算法对特征点进行提纯，去除奇异点，即那些无法匹配的特征点和匹配向量与全局匹配向量相差较大的特征点。所述RANSAC算法原理：1.有一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出。2.用1中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点。3.如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。然后，用所有假设的局内点去重新估计模型（譬如使用最小二乘法），因为它仅仅被初始的假设局内点估计过。4.最后，通过估计局内点与模型的错误率来评估模型。上述过程被重复执行固定的次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。

仿射优化和细化单元34：首先对特征点仿射变换求精，再估计非特征点的仿射变换。仿射优化过程中，对奇异点去除后的图像1中的所有特征点求取修正的仿射矩阵ΔA_j。修正矩阵的仿射ΔA_j与A_j同维，用4参数坐标或6参数坐标描述。修正后的仿射矩阵B_j＝A_j+ΔA_j满足两个条件：1）使得两幅图像彼此覆盖区域中的可匹配的特征点的误差为最小；2）求取的特征点的仿射矩阵间是平滑的。所以，B_i应满足B_j＝minE(B_j)，g为凸集函数，在本设计中，g为一方差可调的高斯函数；f为一单调增函数，本实例中使用2为底的对数函数；为高通滤波后的能量计算函数，在本实例中采用L2范数。E(B_j)能量最小化过程由数值计算完成，在本实施例中采用最陡下降法实现。在对特征点的计算仿射变换之后，需要求取非特征点的仿射变换。仿射求精和细化单元计算非特征点的仿射变换时，采用如下策略：（1）相似特征的像素点应有相似的仿射变换；（2）图像是连续的，所以相邻的像素具有相似的仿射变换。未知像素点的仿射场由其最邻近的L个特征点的仿射场AT_l决定，

w_l＝h((c_x-c_j),(x-j))。其中h为凸函数，c_x为坐标为x的像素点的相似性特征。在本例中h采用指数函数，h(x,y)=-exp(x*x+y*y)。像素点x的相似性特征为以x为中心的图像块的特征描述，在本实例中采用该图像块的高通滤波后的残余信号。

图像拼接单元35，根据计算出的仿射场，对相邻视图的图像进行扭转。由于不同相机的参数不同，即使对同一对象摄取的图像的亮度及色度也不完全相同，所以在做图像拼接时，必须对上述摄象机造成的差异进行校正。本发明首先检测相邻图像的交汇区域，再根据交汇区域图像直方图的不同，计算直方图色度变换矩阵H。根据计算出的色度变换矩阵对图像2做色度归一化处理，最终拼接成的无亮度和色彩差异的全景图像=图像1+H*图像2。

总之，本发明对多个摄像头的安置要求低，根据场景情况，可分别安置在距离较远的不同位置。此种多摄像机全景可视***可根据用户需求选择摄像机的取景方向，以规避遮挡问题。摄像机的分布式安放提高了全景图的可视范围和清晰度。该***能够对不同聚焦图像进行拼接组合，并对几何失真进行补偿。重构的全景图像的清晰度理想，可以满足多场合的安防需求。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明的目的，而并非用作对本发明的限定，只要在本发明的实质范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求的范围内。

Claims (10)

1.一种分布式全景监控***，其包括：

视频信号获取模块，分布式布局的获取多路视频信号；

视频信号转换模块，对单路视频信号进行显示和存储，并提取单路视频信号的特征，将特征信息与视频信号交织和同步；

图像拼接模块，对多路视频信号进行同步及其图像拼接。

2.根据权利要求1所述的分布式全景监控***，其特征在于，所述视频信号转换模块，其包括：

信号转换器单元：顺序对视频进行打包，每个数据包由视频帧和与其对应的特征拼接而成；

解码器单元：实现对摄像头视频编码信号的解码，恢复出像素域图像；

特征提取单元：对解码视频信号逐帧提取特征；

数据交织单元：实现对视频帧信号与特征信号的数据重新组织；

所述图像拼接模块，其包括：

数据同步单元，实现视频数据帧同步；

特征点匹配单元，实现相邻视频中的特征点进行匹配，全局仿射矩阵计算；

奇异点排除单元，对奇异特征点去除；

仿射优化和细化单元，实现仿射变换校正，仿射矩阵细化；

图像拼接单元，进行拼接全景图像。

3.根据权利要求2所述的分布式全景监控***，其特征在于，所述数据同步单元包含多个乒乓缓存器，每路输入的视频信号使用一路缓存器，数据流传输至乒乓缓存器，当一个完整的数据帧被导入乒或者乓缓存器后，后继图像帧数据存入另一个缓存器；所述特征点匹配单元采用特征向量遍历或者二叉树***匹配算法将所有的特征点配对，找到毗邻视频帧中特征点的对应关系。

4.根据权利要求2所述的分布式全景监控***，其特征在于，所述仿射优化和细化单元首先对特征点仿射变换求精，再估计非特征点的仿射变换；所述图像拼接单元根据计算出的仿射场，对相邻视图的图像进行扭转，且在做图像拼接时，对不同视频获取造成的差异进行校正。

5.根据权利要求1或2所述的分布式全景监控***，其特征在于，所述分布式全景监控***还包括显示器和硬盘存储器，所述视频信号转换模块的一路连接至所述硬盘存储器并通过所述显示器提供独立的预览显示，另一路连接至所述图像拼接模块。

6.一种分布式全景监控方法，其包括如下步骤：

获取多路分布式布局的视频信号；

对单路视频信号进行显示和存储，并提取单路视频信号的特征，将特征信息与视频信号交织和同步；

对多路视频信号进行同步及其图像拼接；

所述对单路视频信号进行显示和存储，并提取单路视频信号的特征，将特征信息与视频信号交织和同步的步骤具体包括：

顺序对视频进行打包，每个数据包由视频帧和与其对应的特征拼接而成；

实现对摄像头视频编码信号的解码，恢复出像素域图像；

对解码视频信号逐帧提取特征；

实现对视频帧信号与特征信号的数据重新组织。

7.根据权利要求6所述的分布式全景监控方法，其特征在于，所述对多路视频信号进行同步及其图像拼接的步骤具体包括：

进行视频数据帧同步；

对相邻视频中的特征点进行匹配，全局仿射矩阵计算；

对奇异特征点去除；

实现仿射变换校正，仿射矩阵细化；

进行拼接全景图像。

8.根据权利要求7所述的分布式全景监控方法，其特征在于，所述修正后的仿射矩阵满足两个条件：

1）使得两幅图像彼此覆盖区域中的可匹配的特征点的误差为最小；

2）求取的特征点的仿射矩阵间是平滑的；且，

所述在做图像拼接时首先检测相邻图像的交汇区域，再根据交汇区域图像直方图的不同，计算直方图色度变换矩阵，根据计算出的色度变换矩阵对图像做色度归一化处理，最终拼接成无亮度和色彩差异的全景图像。

9.根据权利要求7所述的分布式全景监控方法，其特征在于，所述特征点进行匹配时采用特征向量遍历或者二叉树***匹配算法将所有的特征点配对，找到毗邻视频帧中特征点的对应关系；所述实现仿射变换校正，仿射矩阵细化时首先对特征点仿射变换求精，再估计非特征点的仿射变换。

10.根据权利要求7所述的分布式全景监控方法，其特征在于，所述拼接全景图像时根据计算出的仿射场，对相邻视图的图像进行扭转，且在做图像拼接时，对不同视频获取造成的差异进行校正。

Images