CN102158690A - 远程多路实时视频监控*** - Google Patents

Abstract

本发明公开了一种远程多路实时视频监控***。该***由现场监控设备、监控服务器和监控客户端三部分组成；其中现场监控设备分布在进行视频监控的现场，包括摄像机、视频采集卡、控制云台和传感器，现场监控设备与监控服务器实现连接；监控服务器包括网络监控设备、存储设备和数据库服务器，用于对现场监控设备传来的数据进行验证、分发、处理和保存；监控客户端包括固定监控客户端和移动监控客户端，固定监控客户端通过互联网与监控服务器连接，移动监控客户端通过移动互联网与监控服务器连接。本发明所提供的视频监控***可以同时提供Web和移动互联网两种模式查看监控现场的信息，方便实用，具有较高的经济效益、社会效益和广泛的应用前景。

Description

远程多路实时视频监控***

技术领域

本发明涉及一种视频监控***，尤其涉及一种将手机作为监控客户端，实现远程监控分布于不同方位的多个目标的远程多路实时视频监控***，属于视频监控技术领域。

背景技术

视频监控技术的发展经历了三个阶段。在20世纪90年代初以前，市场上主要是以模拟设备为主的闭路电视监控***，称为第一代模拟视频监控***。20世纪90年代中期开始，随着计算机运算能力的提高和视频处理技术的发展，人们开始利用计算机进行视频的采集和处理，利用高分辨率的显示器实现图像的多画面显示，从而大大提高了图像质量。这种基于PC机的多媒体主控台***，称为第二代数字化视频监控***。

随着数字视频压缩编码技术的日益成熟，计算机的多媒体性能不断提高，网络带宽逐步增大，视频监控步入了全数字化的网络时代，称为第三代远程视频监控***。它以网络为依托，以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像分析为特色，引发了视频监控的技术革命。它不仅符合社会信息化的发展趋势，而且代表了视频监控行业的发展方向。

在专利号为ZL 200810071517.4的中国发明专利中，公开了一种多路远程视频统一监控装置，包括多个用于采集并发送视频数据的远程监控设备以及经网络与各远程监控设备相连接的本地监控中心。本地监控中心设有用户界面模块、访问权限管理模块、用以并发管理多个远程监控设备的多个视频流对象以及用以管理视频流对象的连接管理线程。该装置有利于实现对多个视频监控设备的并发管理，从而达到同时监控多个场景的目的。

但是，现有的视频监控***仍然存在很多不足，例如监控传输的信息质量差、误报率高，往往只能提供文字信息或时断时续的声音、模糊的图片；没有充分利用现有的无线、有线网络和红外线等网络传输方式；不能支持手机等移动通信终端作为监控客户端。

发明内容

本发明所要解决的技术问题在于提供一种远程多路实时视频监控***(简称视频监控***)。该视频监控***将手机作为监控客户端，以便远程监控分布于不同方位的多个目标。

为实现上述的发明目的，本发明采用下述的技术方案：

一种远程多路实时视频监控***，其特征在于：

所述远程多路实时视频监控***由现场监控设备、监控服务器和监控客户端三部分组成；其中，

所述现场监控设备分布在进行视频监控的现场，包括摄像机、视频采集卡、控制云台和传感器，所述现场监控设备与所述监控服务器实现连接；

所述监控服务器包括网络监控设备、存储设备和数据库服务器，用于对所述现场监控设备传来的数据进行验证、分发、处理和保存；

所述监控客户端包括固定监控客户端和移动监控客户端，所述固定监控客户端通过互联网与所述监控服务器连接，所述移动监控客户端通过移动互联网与所述监控服务器连接。

其中较优地，所述固定监控客户端为安装在固定区域的PC机或服务器，所述移动监控客户端为手机。

所述监控客户端上设置有模拟键盘，通过所述模拟键盘向所述监控服务器发出云台控制命令，所述监控服务器将所述云台控制命令翻译后转发给所述现场监控设备，从而实现对摄像机的控制。

所述现场监控设备与所述监控服务器之间通过传输层的UDP Socket实现实时传输。

所述监控服务器将接收到的媒体数据流进行压缩处理，同时不停地向所述监控客户端连续、实时地传输，在数据传输中采用基于RTP/RTCP自适应流量控制技术。

本发明所提供的远程多路实时视频监控***在前端布置了多种现场监控设备，以提供充分的现场监控；监控客户端则兼顾了移动和固定两种监控方式；监控服务器同时提供Web和移动互联网两种模式查看监控现场的信息。该视频监控***方便实用，具有较高的经济效益、社会效益和广泛的应用前景。

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为监控客户端发送数据的流程示意图；

图2为监控服务器的功能模块示意图；

图3为手机播放器实现媒体数据流解码播放的流程示意图；

图4为监控服务器与监控客户端之间的信息交互过程示意图。

具体实施方式

本发明所提供的远程多路实时视频监控***主要由现场监控设备、监控服务器和监控客户端三部分组成。其中，现场监控设备包括摄像机、视频采集卡、控制云台、PC机和各种类型传感器等。这些现场监控设备分布在进行视频监控的现场处，对各现场进行全天候的监视。它们通过无线、有线网络和红外线等网络传输方式与监控服务器实现连接。监控服务器对现场监控设备传来的数据进行验证、分发、处理和保存，并同时告知与之进行数据交互的监控客户端。监控客户端主要负责日常的监控管理。在本发明中，监控客户端包括固定监控客户端和移动监控客户端两种类型，这为本视频监控***提供了移动和固定两种监控方式。其中固定监控客户端是安装在某一固定区域的PC机或服务器，而移动监控客户端是指具有一定数据处理能力的手机。需要说明的是，本发明中用手机一词统一指代智能手机、平板电脑等具有一定数据处理能力的移动通信终端，因此该手机一词含义比通常理解的范围要广。在每个监控客户端上提供一个模拟键盘，通过该模拟键盘可以向监控服务器发出各种云台控制命令。监控服务器将这些云台控制命令翻译后转发给现场监控设备，从而实现对各摄像机的控制。监控客户端的用户可以通过模拟键盘向监控服务器提出调看某一路视频的申请，以便实时监视某一处现场的当前运行情况。

在现场监控设备中，由摄像头拍摄的视频信号传输到视频采集卡，并在PC机中进行进一步的压缩处理。现场监控设备与监控服务器之间的通信是基于RTP/RTCP协议构建的，通过传输层的UDP Socket实现实时传输。现场监控设备的内部程序采用源代码级DirectX开发，可以灵活、方便地操作硬件并获得各种需要的视频数据。具体而言，首先创建DirectDraw对象，然后获得硬件HAL(Hardware Abstraction Layer)支持，再创建视频端口，这样就可以捕获视频流进行压缩、传输等。如图1所示，现场监控设备通过网络初始化后，实现与监控服务器的连接，不间断地采集现场的视频信号，通过网络传给监控服务器。在内部程序中，用如下函数来实现其功能：

init(unsigned int svrIP，unsigned short svrDatPort，unsigned short svrCrlPort，unsigned short locCrlPort＝0)

函数：用于初始化RTP以及TCP连接状态的函数接口

onCrlDataArrive(const TRPAddress frm，const CrlType crltype，unsigned char*data，const int length，const char*id)

函数：用于实时接收监控服务器返回的信息数据函数接口

SendData(DateType datatype，unsigned char*Data，int Length)

函数：利用RTP协议实时发送音频数据及视频数据的函数接口

由于视频图像处理成标准RGB或YUV格式后，其数据量非常大。例如未经压缩的PAL制式CIF格式的真彩***，其RGB格式数据至少需要352×288×3×8×25＝58.01Mb/s，因此视频传输和存储必须进行压缩。关于视频压缩的算法和标准很多，其中ISO与IEC联合制定的MPEG系列和ITU-T的H.26×系列标准占视频压缩编码技术的主导地位。本视频监控***采用高效的X264编码标准，在不明显降低编码性能的前提下，努力降低编码的计算复杂度，实现了具有基本功能的H.264基本档次(Baseline Profile)视频编解码。

监控服务器是本远程多路实时视频监控***的核心。它主要根据监控信息进行相关的数据处理并完成对监控客户端的数据实时传输和实时监控。监控服务器包括网络监控设备、存储设备和数据库服务器。其中网络监控设备用于接收各监控客户端发来的控制命令，根据优先级别翻译转发给各种现场监控设备，完成对各种现场监控设备的控制，同时收集和转发现场监控设备的各种状态信息，并实时通知监控客户端的用户通过监视器进行查看，同时提供监控客户端的实时视频查询、历史数据的查询和实时信息分析处理等面向客户的应用***。由于监控服务器需要存储大量的视频信息，所以外挂大容量硬盘作为存储设备，用来存储现场传输来的各摄像机拍摄的视频信号，同时接收各监控客户端的调看要求，为各监控客户端的用户提供实时视频信号。另一方面，在监控服务器中使用了大量的数据库表，包括摄像头信息表、地图和子地图信息表、报警器信息表、报警器预设信息表、视频通道的设置信息表、用户账号与用户权限表、硬盘的信息设置表、硬盘的定时时段设置表、操作日志记录表等。为了方便用户对这些数据库表进行操作和管理，专门设置了数据库服务器。数据库服务器的管理和设置是计算机领域普通技术人员都能掌握的常规技术，在此就不详细赘述了。

如图2所示，监控服务器主要包括如下的功能模块：网络管理模块、协议分发模块、代理模块、管理模块、登录管理模块、终端管理模块、监控客户端管理模块、文件管理模块、数据库管理模块、日志管理模块及UI(用户界面)模块等。在监控服务器中采用TCP/IP协议，使用户通过网络对各个监控现场进行实时监控。为了实现多点实时监控，本视频监控***采用了多播技术，只需要在网络上传输一份数据就可以实现多点接收，有效减轻了网络传输的负载，提高网络的利用率。在本发明中，对于点对点的信息及图像的传输采用面向连接的TCP通信协议，而对控制需要多播和站点选择的数据则采用面向无连接的UDP(User Datagram Protocol)通信协议。

前已述及，本发明中的监控客户端包括固定监控客户端和移动监控客户端两种类型，可以让用户通过Web和移动互联网两种模式查看监控现场的信息。在监控客户端中，用如下函数来实现其功能：

InitDevice(void)函数：用于初始化GPRS设备驱动程序的函数接口。

Userid(char*hostname)函数：用于登录注册。

GetdataType(datatype，unsigned char*Data，int Length)函数：利用RTP协议实时接收视频数据的函数接口。

PlayData(DataType datatype，unsigned char*Data，int Length)函数：解压播放视频数据的函数接口。

onCrlDataArrive(const TRPAddress frm，const CrlType crltype，unsigned char*data，const int length，const char*id)函数：用于实时接收监控服务器返回的控制信息函数接口。

利用该监控客户端，可以设置本区域的监控布防图、配置本区域视频监控***的视频输入、视频输出、报警联动等功能。在现有技术中，普遍不能支持手机等移动通信终端作为监控客户端。本发明考虑到当前发达的网络资源、覆盖范围大的无线信号以及手机的应用越来越普及，在传统视频监控***的基础上加入手机作为移动监控客户端，从而使手机成为进行实时监控的一种有效和便捷的工具。采用手机作为移动监控客户端的本视频监控***具有监控方便、移动性好、信息量大、实时性强等优点。根据各监控现场反馈的信息，管理人员可针对一些突发事件，迅速做出正确的判断，发出指挥、调度和处理方案。

在本发明中，用户可以通过手机或通过Web查看监控现场的信息。这样大大提高了本视频监控***的覆盖面和灵活性。在实现实时视频监控的过程中，确保媒体数据流的高质量传输是实现本视频监控***的关键技术之一。为了保证视频多媒体信息具有严格的前后时序关系，本发明采用的技术方案是由监控服务器将接收到的媒体数据流进行特定的压缩处理，同时不停地向监控客户端连续、实时地传输，监控客户端可以一边下载一边查看。为了克服手机缓冲能力有限和处理速度较低等不足，并且减少媒体数据流的抖动，在数据传输中采用基于RTP/RTCP自适应流量控制技术。这种技术是基于发送方的流量控制机制，由接收方统计数据流的信息，再反馈给发送方。发送方综合考虑长期网络背景和当前的网络运行状态，采用变常数增长或变常数减少的方法对发送速度进行自适应调整，避免网络的拥塞，使实时业务的服务质量得到保证，解决了无线网络传输时产生的高误码率和带宽时变等问题，使手机用户通过无线网络接收到比较流畅的媒体数据流。

另外，为了保证用户利用手机能及时、清晰地查看实时音视频信息，并保证播放质量，本发明还采用WinCE技术开发专用的手机播放器。WinCE是为了支持如PDA、手机小型的嵌入式或移动设备而推出的一系列的技术和规范的总称，由于其良好的可移植性、资源占用少和较高的安全性等特点，在移动设备开发领域特别是手机应用软件开发方面得到了广泛的应用。利用MIDP(Mobile Information Device Profile)2.0提供的对HTTPS、报文、Socket通信以及串口通信的支持及对支持监控服务器Push体系架构，用户的手机能够接收到来自监控服务器的信息，并根据要求启动手机播放器。图3显示了手机播放器实现媒体数据流解码播放的基本流程。只要用户在手机中启动该播放器，播放器自动登入监控服务器，通过验证后，检索到对应的音视频信息进行播放。该播放器除了具有播放音视频的功能外，还具备进行实时录制、发送监控服务器等一些交互操作功能。

用户通过监控客户端得到现场信息后，可以启动手机播放器对监控现场的音、视频进行监听，也可以根据监控服务器发送过来的口令登入到相应的Web站点进行在线观看。这种双模式兼容的工作方式使得本视频监控***具有很大的灵活机动性。

在本视频监控***中，监控服务器与监控客户端之间的信息交互过程如图4所示。监控服务器监听网络事件，接收监控客户端的各项请求。对于监控客户端的连接请求一般予以接受，并分配相应的空间通道；对于监控客户端的退出请求一般也予以接受，在此情况下，首先删除rtpl对象，从在线列表中清除此对象，然后释放分配的通道；对于监控客户端的登录请求，首先判断其为合法用户还是非法用户，如果是非法用户则返回登录不成功信息，如果是合法用户则将其加入到在线列表中，然后创建Rtp会话rtpl，查询监控客户端列表，把所有监控客户端的数据接收地址加入rtpl的目的列表中。

本发明针对视频编码算法中的快速运动估计部分提出一种具有自适应性的快速运动估计搜索算法DTAS。该算法利用空域和时域相邻块的运动矢量预测搜索初始点，根据视频序列运动矢量的方向选择不同的搜索策略，对静止块和准静止块直接中止搜索。在算法中采用了三角形模板和小菱形模板，在保证搜索精度的同时有效地提高了搜索速度。实验结果表明，对于各种不同运动程度的视频序列，DTAS算法不但可以获得和DIA算法基本相同的图像质量，而且速度是DIA算法的2.80～10.24倍，大大降低了块匹配的计算量，因此DTAS算法适用于实时性要求比较高的远程多路实时视频监控***。关于DTAS算法的进一步说明，可以参阅申请人在先提出的中国发明专利申请“用于视频编码运动估计的搜索方法”(专利申请号：201010609255.X)，在此就不详细赘述了。

另一方面，由于视频监控***的工作时间长，数据存储量相当庞大，给存储设备提出了较高的要求。存储监控图像的目的是记录监控场景中的动作，如果长时间记录无运动的图像，不仅仅耗费巨大的存储量，而且存储的信息量也极少，这就失去了存储的意义。为此，需要有一个运动检测算法判断监控图像的全部或部分有无运动的发生，进而控制存储设备的动作，有效地节省存储数据，减少不必要的回放。由此可见，图像序列的运动检测算法在本视频监控***中具有较强的实用价值。

本发明也提出了一种检测视频序列图像中运动物体的三帧差分算法。该算法的核心在于对连续的三帧视频图像中第一二帧和第二三帧的图像分别做差分运算，根据未变化区域与运动变化区域服从不同的统计规律设置变化检测门限，对差分图像做运动变化检测和连通域的识别。然后将检测到的运动变化图像做去噪和空域识别后，做相与运算，最后再基于物体自身的灰度信息，恢复真正的运动图像。该三帧差分算法克服了传统的两帧差分法对运动物体界定过大、模糊的缺陷，能够快速对运动物体进行定位。在恢复运动物体时，采用的是基于物体本身的灰度信息，灰度门限也是随着当前帧运动物体本身与背景自适应变化的，因此检测结果比较准确。

本视频监控***通过对视频采集、视频编解码、显示回放、网络编程、通信与同步等关键技术的整合，使整个***具有灵活多样的编码模式和良好的显示性能，适用于不同速率和信道性能的各种监控场合，实现了远程多路实时监控的目的。

以上对本发明所提供的远程多路实时视频监控***进行了详细的说明。对本领域的技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (6)

1.一种远程多路实时视频监控***，其特征在于：

所述远程多路实时视频监控***由现场监控设备、监控服务器和监控客户端三部分组成；其中，

所述现场监控设备分布在进行视频监控的现场，包括摄像机、视频采集卡、控制云台和传感器，所述现场监控设备与所述监控服务器实现连接；

所述监控服务器包括网络监控设备、存储设备和数据库服务器，用于对所述现场监控设备传来的数据进行验证、分发、处理和保存；

所述监控客户端包括固定监控客户端和移动监控客户端，所述固定监控客户端通过互联网与所述监控服务器连接，所述移动监控客户端通过移动互联网与所述监控服务器连接。

2.如权利要求1所述的远程多路实时视频监控***，其特征在于：

所述固定监控客户端为安装在固定区域的PC机或服务器。

3.如权利要求1所述的远程多路实时视频监控***，其特征在于：

所述移动监控客户端为手机。

4.如权利要求1所述的远程多路实时视频监控***，其特征在于：

所述监控客户端上设置有模拟键盘，通过所述模拟键盘向所述监控服务器发出云台控制命令，所述监控服务器将所述云台控制命令翻译后转发给所述现场监控设备，从而实现对摄像机的控制。

5.如权利要求1所述的远程多路实时视频监控***，其特征在于：

所述现场监控设备与所述监控服务器之间通过传输层的UDP Socket实现实时传输。

6.如权利要求1所述的远程多路实时视频监控***，其特征在于：

所述监控服务器将接收到的媒体数据流进行压缩处理，同时不停地向所述监控客户端连续、实时地传输，在数据传输中采用基于RTP/RTCP自适应流量控制技术。

Images