CN107147877A - 固定区域夜雾天况全天候彩***成像***及其构建方法 - Google Patents

Abstract

本发明公开了一种固定区域夜雾天况全天候彩***成像***及其构建方法，所述***包括可见光视频采集***、可见光图像采集模块、背景图更新模块、可见光背景图库、红外光视频采集***、红外光图像采集模块、图像预处理模块、红外光背景图库、红外光目标检测模块、图像配准模块、视频融合模块、视频信号发送模块、RTSP传输模块和显示模块。本发明采用混合高斯模型和对称差分法相结合的改进算法，再利用红外视频与可见光背景图像融合的成像思想，经过数据处理中心的处理，能够在夜晚及大雾天气等能见度低的天况下输出清晰的彩***图像，真正实现红外光视频的彩色化效果。本发明的***实现简单、成本低、安装方便，并实现了远距离的实时监控。

Description

固定区域夜雾天况全天候彩***成像***及其构建方法

技术领域

本发明应用于夜雾天气各重大交通设施区域的实时监控，特别涉及一种基于多波段成像技术的固定区域夜雾天况全天候彩***成像***。

背景技术

随着信息化的迅速发展，公众的安全意识日益提高，视频安全监控在机场、仓库、交通枢纽等重点防范区域和日常生活中具有广泛的应用前景和普遍意义。

目前现有的视频监控***大都利用传统的、单一波段的成像技术，主要分为如下几种：

1、可见光成像技术；

2、红外光成像技术；

3、微光成像技术；

4、激光成像技术。

上述技术中，第一种，可见光成像技术，能在白天清晰成像，价格具有很大的优势，但是对工作环境即光照强度要求十分高，夜晚及大雾等能见度低的天况下成像效果差，目标检测困难。第二种，红外光成像技术，根据成像机理的不同，分为主动红外光成像和被动红外光成像两种。前者能够在夜雾天况下正常工作，作用距离远，但是成像为黑白灰度级图像，对比度差、信息量低、不适合于人眼观看；后者价格优势大，但是监控距离十分有限，并且在夜雾天成像效果差，多用于室内监控。第三种，微光成像技术，利用微弱的自然光即可实现彩色成像，但对强光敏感度高，一旦遇到强光，图像质量急剧下降。第四种，激光成像技术，通过激光束对成像目标进行照射，利用目标或背景的反射波进行成像，但其要求激光束的峰值功率高、脉冲宽度窄、同步控制技术精准，因此，实现困难，代价成本高。上述单一波段监控受天气、照明灯因素制约，监控效果大打折扣，在夜色、雾天等低能见度的天况下不能清晰观测到事故苗头，进而不能提供准确事故进展的信息，耽误了最佳响应时机，同时也很难满足固定区域全天候监控的需求。

发明内容

为解决现有技术存在的上述问题，本发明要设计一种能够在夜雾天等低能见度天况时依然可以达到对固定区域的清晰彩色成像要求的固定区域夜雾天况全天候彩***成像***及其构建方法。

为了实现上述目的，本发明的技术方案如下：固定区域夜雾天况全天候彩***成像***，包括可见光视频采集***、可见光图像采集模块、背景图更新模块、可见光背景图库、红外光视频采集***、红外光图像采集模块、图像预处理模块、红外光背景图库、红外光目标检测模块、图像配准模块、视频融合模块、视频信号发送模块、RTSP传输模块和显示模块；所述的可见光视频采集***依次经可见光图像采集模块、背景更新模块、和可见光背景图库连接到图像配准模块；所述的红外光视频采集***依次经红外光图像采集模块、图像预处理模块和红外光背景图库连接到图像配准模块；所述的图像配准模块与视频融合模块连接；所述的视频融合模块分别与可见光背景图库、红外光目标检测模块、视频信号发送模块和RTSP传输模块连接，所述的视频信号发送模块和RTSP传输模块分别与显示模块连接；

所述的背景更新模块、可见光背景图库、图像预处理模块、红外光背景图库、红外光目标检测模块、图像配准模块和视频融合模块组成数据处理中心；

所述的红外图像采集模块和红外光图像采集模块采集可见光视频数据和红外光视频数据，并输入到数据处理中心；

所述的图像预处理模块通过预处理过程消除图像中的孤立噪声点；

所述的红外光目标检测模块，通过构造背景模型，选取合适背景图，进行相关的算法分析，检测出红外光运动目标；

所述的图像配准模块，通过改进的SIFT图像配准技术进行图像配准，为图像融合做准备；

所述的视频融合模块，将红外光目标序列根据配准系数正确的融合在可见光背景图像中，实时的输出彩***；

所述的背景图更新模块，利用可见光视频成像***构建可见光背景图库，并通过对背景图库的调用进行彩色背景的自动更新；

所述的视频信号发送模块，利用数据处理中心对图像数据的处理，最终得到的所需视频通过视频发送模块进行传输；

所述的RTSP传输模块，有效地通过IP网络进行多媒体数据的传送，实现多路视频监控数据的实时传输；

所述的显示模块，通过***监控界面实时输出显示经数据处理中心处理后的彩***。

固定区域夜雾天况全天候彩***成像***的构建方法，包括以下步骤：

A、图像采集

基于PC机的图像数据处理中心，通过利用PCI接口，接入一块或者多块视频采集卡，经过红外光图像采集模块和可见光图像采集模块实时捕获前端红外光传感器和可见光传感器阵列输出的视频帧序列，经过简单的模数转换，传输至PC机；

B、图像预处理

在对红外光视频序列运动物体检测前，先通过图像预处理模块对其平滑预处理，去除图像中的孤立噪声，进而通过梯度锐化的方式增强目标轮廓，便于红外光运动目标的提取和红外光图像与可见光图像的配准；

C、红外光运动目标提取

采用混合高斯模型和对称差分法相结合的方法为背景差法建立背景模型，进行背景图像的构造。并通过红外光目标检测模块来提取处红外光视频帧序列中的运动目标，具体步骤如下：

C1、选取视频序列中的连续三帧，两两做差，进而获取相应的两幅差值图像；

C2、根据自适应阈值分割算法设定不同的阈值，对两幅差值图像进行二值化处理，获得二值图像；

C3、对二值图像上的每一个像素点进行图像“与”运算，提取出两幅二值图像中一致的像素点部分，精确获取到运动物体的轮廓信息；

C4、根据运动物体轮廓信息，确定运动变化区域。

C5、根据运动变化区域大小依次对其进行混合高斯模型匹配，判断该区域内的像素点是否为背景像素点。

C6、读入图像当前帧与上述背景模型构造的背景图像进行差分，再通过滤波处理滤除差分图像的噪声点，最终准确地获得红外光运动目标。

D、红外光图像与可见光图像的配准

通过图像配准模块进行红外光图像与可见光图像的配准，具体步骤如下：

D1、增强图像特征：对红外光图像进行灰度线性变换和反相处理，增强图像特征。

D2、特征提取：从待配准的图像中提取特征信息，这里的特征信息特指图像特征点。

D3、特征匹配：通过提取到的特征点进行相似性判断，计算出特征点之间的变换关系，得到的变换模型参数。

D4、坐标变换：根据步骤D3得到的变换模型参数，将待配准的红外光图像映射到可见光图像的空间坐标系下。

E、红外光图像与可见光图像的融合

通过步骤C提取出来的运动目标与可见光的背景图片通过视频融合模块进行逐帧融合，将红外光运动目标按比例地显示在可见光背景中。

F、通过不同时段捕获的可见光背景图和红外光背景图，建立可见光背景图库和红外光背景图库，并根据检测的实际天况通过背景图更新模块进行可见光背景的适应性更新。

G、通过图像预处理、图像配准及视频融合对视频图像数据的处理，最终得到所需的彩***图像，再通过视频信号发送模块进行视频信号发送。

H、在同一个局域网内，通过实时流传输协议利用RTSP传输模块实现多个PC机的实时视频流传输。

I、经数据处理中心处理后得到的彩***，通过显示模块进行监控界面实时输出显示，实现全天候彩色化视频的实时监控要求。

与现有技术相比，本次发明的优点如下：

1、本发明独创性地利用多波段成像的思想，结合不同波段的有效信息，获取更多的图像信息，提高目标识别率，充分利用各个成像波段的优势进行固定区域的实时监控。

2、本发明采用混合高斯模型和对称差分法相结合的改进算法，再利用红外视频与可见光背景图像融合的成像思想，经过数据处理中心的处理，能够在夜晚及大雾天气等能见度低的天况下输出清晰的彩***图像，真正实现红外光视频的彩色化效果。

3、本发明构建了一套固定区域夜雾天况全天候彩***成像***，***实现简单、成本低、安装方便，并实现了远距离的实时监控。

附图说明

图1是本发明的视频成像***组成示意图。

图2是本发明的视频成像***构建方法流程图。

图3是本发明的红外光视频序列的运动目标检测流程图。

图4是本发明的红外光图像与可见光图像的配准流程图。

具体实施方式

下面结合附图对本发明进行进一步地说明。固定区域夜雾天况全天候彩***成像***的组成如图1所示。固定区域夜雾天况全天候彩***成像***的构建方法如图2所示，步骤C的红外光运动目标提取方法如图3所示，步骤D的红外光图像与可见光图像的配准方法如图4所示。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (2)

1.固定区域夜雾天况全天候彩***成像***，其特征在于：包括可见光视频采集***、可见光图像采集模块、背景图更新模块、可见光背景图库、红外光视频采集***、红外光图像采集模块、图像预处理模块、红外光背景图库、红外光目标检测模块、图像配准模块、视频融合模块、视频信号发送模块、RTSP传输模块和显示模块；所述的可见光视频采集***依次经可见光图像采集模块、背景更新模块、和可见光背景图库连接到图像配准模块；所述的红外光视频采集***依次经红外光图像采集模块、图像预处理模块和红外光背景图库连接到图像配准模块；所述的图像配准模块与视频融合模块连接；所述的视频融合模块分别与可见光背景图库、红外光目标检测模块、视频信号发送模块和RTSP传输模块连接，所述的视频信号发送模块和RTSP传输模块分别与显示模块连接；

所述的背景更新模块、可见光背景图库、图像预处理模块、红外光背景图库、红外光目标检测模块、图像配准模块和视频融合模块组成数据处理中心；

所述的红外图像采集模块和红外光图像采集模块采集可见光视频数据和红外光视频数据，并输入到数据处理中心；

所述的图像预处理模块通过预处理过程消除图像中的孤立噪声点；

所述的红外光目标检测模块，通过构造背景模型，选取合适背景图，进行相关的算法分析，检测出红外光运动目标；

所述的图像配准模块，通过改进的SIFT图像配准技术进行图像配准，为图像融合做准备；

所述的视频融合模块，将红外光目标序列根据配准系数正确的融合在可见光背景图像中，实时的输出彩***；

所述的背景图更新模块，利用可见光视频成像***构建可见光背景图库，并通过对背景图库的调用进行彩色背景的自动更新；

所述的视频信号发送模块，利用数据处理中心对图像数据的处理，最终得到的所需视频通过视频发送模块进行传输；

所述的RTSP传输模块，有效地通过IP网络进行多媒体数据的传送，实现多路视频监控数据的实时传输；

所述的显示模块，通过***监控界面实时输出显示经数据处理中心处理后的彩***。

2.固定区域夜雾天况全天候彩***成像***的构建方法，其特征在于：包括以下步骤：

A、图像采集

基于PC机的图像数据处理中心，通过利用PCI接口，接入一块或者多块视频采集卡，经过红外光图像采集模块和可见光图像采集模块实时捕获前端红外光传感器和可见光传感器阵列输出的视频帧序列，经过简单的模数转换，传输至PC机；

B、图像预处理

在对红外光视频序列运动物体检测前，先通过图像预处理模块对其平滑预处理，去除图像中的孤立噪声，进而通过梯度锐化的方式增强目标轮廓，便于红外光运动目标的提取和红外光图像与可见光图像的配准；

C、红外光运动目标提取

采用混合高斯模型和对称差分法相结合的方法为背景差法建立背景模型，进行背景图像的构造；并通过红外光目标检测模块来提取处红外光视频帧序列中的运动目标，具体步骤如下：

C1、选取视频序列中的连续三帧，两两做差，进而获取相应的两幅差值图像；

C2、根据自适应阈值分割算法设定不同的阈值，对两幅差值图像进行二值化处理，获得二值图像；

C3、对二值图像上的每一个像素点进行图像“与”运算，提取出两幅二值图像中一致的像素点部分，精确获取到运动物体的轮廓信息；

C4、根据运动物体轮廓信息，确定运动变化区域；

C5、根据运动变化区域大小依次对其进行混合高斯模型匹配，判断该区域内的像素点是否为背景像素点；

C6、读入图像当前帧与上述背景模型构造的背景图像进行差分，再通过滤波处理滤除差分图像的噪声点，最终准确地获得红外光运动目标；

D、红外光图像与可见光图像的配准

通过图像配准模块进行红外光图像与可见光图像的配准，具体步骤如下：

D1、增强图像特征：对红外光图像进行灰度线性变换和反相处理，增强图像特征；

D2、特征提取：从待配准的图像中提取特征信息，这里的特征信息特指图像特征点；

D3、特征匹配：通过提取到的特征点进行相似性判断，计算出特征点之间的变换关系，得到的变换模型参数；

D4、坐标变换：根据步骤D3得到的变换模型参数，将待配准的红外光图像映射到可见光图像的空间坐标系下；

E、红外光图像与可见光图像的融合

通过步骤C提取出来的运动目标与可见光的背景图片通过视频融合模块进行逐帧融合，将红外光运动目标按比例地显示在可见光背景中；

F、通过不同时段捕获的可见光背景图和红外光背景图，建立可见光背景图库和红外光背景图库，并根据检测的实际天况通过背景图更新模块进行可见光背景的适应性更新；

G、通过图像预处理、图像配准及视频融合对视频图像数据的处理，最终得到所需的彩***图像，再通过视频信号发送模块进行视频信号发送；

H、在同一个局域网内，通过实时流传输协议利用RTSP传输模块实现多个PC机的实时视频流传输；

I、经数据处理中心处理后得到的彩***，通过显示模块进行监控界面实时输出显示，实现全天候彩色化视频的实时监控要求。