CN204350148U - 基于特征点的多尺度实时监控视频拼接装置 - Google Patents

Abstract

本实用新型涉及图像处理与视频处理技术领域，提供了一种基于特征点的多尺度实时监控视频拼接装置，包括：摄像头，视频解码电路，视频捕获、图像预处理、SDRAM控制、图像截取转换、特征点提取、特征点过滤、图像融合裁剪、输出控制、特征点匹配和图像单应性矩阵获得模块；摄像头与视频解码电路相连；视频捕获模块与多个视频解码电路、图像预处理模块相连；SDRAM控制模块与其它模块相连接；特征点匹配模块与特征点提取模块、特征点过滤模块相连；图像单应性矩阵获得模块与特征点过滤模块、图像融合裁剪模块相连。本实用新型将多路高清摄像头采集到的视频数据进行无缝拼接，生成宽视角的视频，满足实时性要求，提高拼接准确度。

Description

基于特征点的多尺度实时监控视频拼接装置

技术领域

 本实用新型涉及图像处理与视频处理技术领域，特别涉及一种基于特征点的多尺度实时监控视频拼接装置。

背景技术

随着视频监控技术的发展，视频采集到的图像呈现高清化和高帧率化的特点，同时在视频监控中，采用多摄像头监控并拼接为全景图像的方式，可以增强图像监控的质量并降低摄像头的数量从而节约成本；但是视频监控中较大的数据量和较高的帧速率给视频的实时拼接带来了较大的困难。

在图像拼接技术出现之前，全景图像的获取方式主要包括扫描式全景相机和广角摄像头，但是这些设备造价高昂、操作复杂且得到的图像有明显的边缘畸变。将这些设备应用于视频监控领域之后，监控人员是无法对摄像头监控图像的边缘进行有效的观察的，因此这些图像必须进行平铺和展开的处理，但这样会造成图像信息的丢失。此外，当采用多个摄像头来监控大片区域时，若不进行图像拼接，监控人员对于两个摄像头重叠区域的监控会有较大的困难。

因此基于图像拼接而发展起来的视频拼接技术可降低视频监控***的成本同时提供大视角、完整和高清的监控信息，突破了摄像设备的限制，具有很强的实用价值。

    视频拼接的主要基础技术是图像拼接技术，但是相对于图像拼接技术来说，视频拼接需要兼顾处理速度和存储的影响，这就对图像拼接的算法提出更高的要求。对于图像拼接来说，其主要由图像配准和图像融合两部分组成。当前图像配准主要基于模板的配准装置、基于图像相位的配准装置、基于区域特征的配准装置和基于特征点的图像配准装置。基于模板的配准装置采用参考图像的预设模板进行配准，获得量较大；基于相位的配准装置主要对图像在频域进行分析，但是这种装置对于旋转和缩放后的图像处理比较复杂；基于区域特征的配准装置主要根据图像中形状的周长、面积、扁度和纵横比等特征进行配准，但配准效果并不理想；基于特征点的配准装置具有稳定和获得简便的特点，且能适应旋转和缩放之后的图像的配准。

    此外，基于FPGA的监控视频实时拼接装置中提出了基于FPGA的监控视频拼接***，是在Nios II微处理器中进行处理的，处理速度并不能支持较高帧率的高清图像的拼接。

因此，图像处理与视频处理技术领域急需一种将多路高清摄像头采集到的视频数据进行无缝拼接，生成宽视角的视频，并在显示器上直接输出拼接后的高清图像，满足了视频拼接的实时性要求，提高拼接准确度，对多幅图像之间的色差进行了调整，实现了宽视角的实时监控的基于特征点的多尺度实时监控视频拼接装置。

发明内容

本实用新型为了解决如上问题，提供了一种基于特征点的多尺度实时监控视频拼接装置，技术方案如下：

基于特征点的多尺度实时监控视频拼接装置，包括：多个摄像头、多个视频解码电路，视频捕获模块，图像预处理模块、SDRAM控制模块、图像截取转换模块、特征点提取模块、特征点过滤模块、图像融合裁剪模块、输出控制模块、特征点匹配模块和图像单应性矩阵获得模块；

摄像头与视频解码电路的个数相同，并且每个摄像头都与一个视频解码电路相连接；视频捕获模块与多个视频解码电路、图像预处理模块相连接；

SDRAM控制模块包括SDRAM控制器和SDRAM存储器，并且SDRAM控制器与图像预处理模块、图像截取转换模块、特征点提取模块、特征点过滤模块、图像融合裁剪模块、输出控制模块、SDRAM存储器相连接；

特征点匹配模块与特征点提取模块、特征点过滤模块相连接；

图像单应性矩阵获得模块与特征点过滤模块、图像融合裁剪模块相连接。

优选的，在基于特征点的多尺度实时监控视频拼接装置中，摄像头和视频解码电路都为4个。

本实用新型的有益效果：

本实用新型实现了将多路高清摄像头采集到的视频数据进行无缝拼接，生成宽视角的视频，并在显示器上直接输出拼接后的高清图像。满足了视频拼接的实时性要求，且拼接得到的图像具有较高的准确度。

附图说明

图1是本实用新型的基于特征点的多尺度监控视频拼接装置的结构示意图。

具体实施方式

为了使本实用新型技术实现的措施、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本实用新型。

图1是本实用新型的基于特征点的多尺度监控视频拼接装置的结构示意图。

如图1所示，本实用新型提供了一种基于特征点的多尺度实时监控视频拼接装置，包括：多个摄像头1、多个视频解码电路2，视频捕获模块3，图像预处理模块4、SDRAM控制模块5、图像截取转换模块6、特征点提取模块7、特征点过滤模块8、图像融合裁剪模块9、输出控制模块10、特征点匹配模块11和图像单应性矩阵获得模块12；摄像头1与视频解码电路2的个数相同，并且每个摄像头1都与一个视频解码电路2相连接；视频捕获模块3与多个视频解码电路2、图像预处理模块4相连接；SDRAM控制模块5包括SDRAM控制器51和SDRAM存储器52，并且SDRAM控制器51与图像预处理模块4、图像截取转换模块6、特征点提取模块7、特征点过滤模块8、图像融合裁剪模块9、输出控制模块10、SDRAM存储器52相连接；特征点匹配模块11与特征点提取模块7、特征点过滤模块8相连接；图像单应性矩阵获得模块12与特征点过滤模块8、图像融合裁剪模块9相连接；视频捕获模块3用于实现视频信息的输入，SDRAM控制模块5用于控制SDRAM存储器52的读取，SDRAM存储器52用于存储视频图像和数据中间值，图像预处理模块4用于对视频信息进行白平衡和色彩加强等操作，对图像进行修正，图像截取转换模块6用于对图像进行截取并获得积分图像，特征点提取模块7用于获得待拼接图像的预定义重叠区域的特征点位置和特征描述向量，特征点匹配模块8用于获得匹配的特征点对，特征点过滤模块9用于对求得的匹配特征点对进行过滤以得到最优匹配特征点对，图像单应性矩阵获得模块10根据最优匹配特征点对获得图像单应性矩阵，图像融合裁剪模块11根据图像单应性矩阵对多幅图像进行拼接和融合，并对最终图像进行裁剪，输出控制模块12用于控制图像的输出和显示。

优选的，本实施例中，摄像头和视频解码电路都为4个。

需要说明的是，除非上下文另有特定清楚的描述，本实用新型中的元件和组件，数量既可以单个的形式存在，也可以以多个形式存在，本实用新型并不对此进行限定。

通过以上的实施例可以看出，本实用新型对4路摄像头的高清视频信息进行预处理，所得到的图像经部分截取，最后获得出积分图像。根据积分图像获得出待拼接图像预定义重叠部分的特征点位置和特征点描述向量的值，根据特征点描述向量的值进行匹配，得到匹配的特征点。对匹配的特征点对进行迭代过滤，除去误匹配的特征点对，进而获得待拼接图像实际重叠区域，对图像进行融合、拼接和裁剪得出最终的全景图像并显示出来。其中图像的拼接、融合和裁剪在每帧图像到来时均进行，而最优单应性矩阵的获得会以一个低于视频帧速率的合适速率进行，最终得出的视频是一个广角的无接缝的高清全景视频，进而实现了将4路高清摄像头采集到的视频数据进行无缝拼接，生成宽视角的视频，并在显示器上直接输出拼接后的高清图像。满足了视频拼接的实时性要求，且拼接得到的图像具有较高的准确度。

以上显示和描述了本实用新型的基本原理、主要特征和本实用新型的优点。本行业的技术人员应该了解，本实用新型不受上述实施例的限制，上述实施例和说明书中描述的只是说明本实用新型的原理，在不脱离本实用新型精神和范围的前提下本实用新型还会有各种变化和改进，这些变化和改进都落入要求保护的本实用新型范围内。本实用新型要求保护范围由所附的权利要求书及其等同物界定。

Claims (2)

1.基于特征点的多尺度实时监控视频拼接装置，包括：多个摄像头、多个视频解码电路，视频捕获模块，图像预处理模块、SDRAM控制模块、图像截取转换模块、特征点提取模块、特征点过滤模块、图像融合裁剪模块、输出控制模块、特征点匹配模块和图像单应性矩阵获得模块；

所述摄像头，与所述视频解码电路的个数相同，并且每个所述摄像头都与一个视频解码电路相连接；

所述视频捕获模块，与多个所述视频解码电路、图像预处理模块相连接；

所述SDRAM控制模块，包括SDRAM控制器和SDRAM存储器，并且所述SDRAM控制器与图像预处理模块、图像截取转换模块、特征点提取模块、特征点过滤模块、图像融合裁剪模块、输出控制模块、SDRAM存储器相连接；

所述特征点匹配模块，与所述特征点提取模块、特征点过滤模块相连接；

所述图像单应性矩阵获得模块，与所述特征点过滤模块、图像融合裁剪模块相连接。

2.根据权利要求1所述的基于特征点的多尺度实时监控视频拼接装置，其特征在于，所述摄像头和视频解码电路都为4个。