CN103795976A

CN103795976A - 一种全时空立体可视化方法

Info

Publication number: CN103795976A
Application number: CN201310747292.0A
Authority: CN
Inventors: 张政; 周锋; 刘舟; 张贺; 何浩
Original assignee: BEIJING ZHENGAN RONGHAN TECHNOLOGY Co Ltd
Current assignee: BEIJING ZHENGAN RONGHAN TECHNOLOGY Co Ltd
Priority date: 2013-12-30
Filing date: 2013-12-30
Publication date: 2014-05-14
Anticipated expiration: 2033-12-30
Also published as: CN103795976B

Abstract

本发明提供了一种全时空立体可视化方法，包括：将摄像机采集的实时视频数据进行封包格式转换；将实时的固定角度视频数据拼接融合到3D GIS空间数据中，形成全景立体视频；以全景立体视频中的事件目标为驱动，实现摄像机协同追视；根据上述封包格式转换结果，在存储装置中保存实时视频数据，形成历史视频数据，将其中的固定角度视频数据拼接融合到3D GIS空间数据中，实现历史视频的全时空立体可视化展示。此外，为了在整体场景下进行视频智能分析以及实现多维数据融合和立体可视化展示，本发明还提出了全场景视频智能分析方法和多类型数据全时空立体可视化方法。本发明为宏观指挥监测、整体关联、综合调度提供有效手段，适用性强。

Description

一种全时空立体可视化方法

技术领域

本发明涉及计算机图形图像学领域，特别地，涉及到一种全时空立体可视化方法。

背景技术

随着信息技术的飞速发展，各种应用设备，如扫描仪、监控摄像机、报警器、传感器等，采集到海量的数据，这些数据包含了空间位置、文字、图像、声音等各种信息。数据量的与日俱增给数据管理带来了极大的挑战。基于人80%以上信息依靠视觉获取的特点，可视化技术得到了长足的发展，目前已经在城市各处安装了大量的监控摄像机、报警器、传感器等，由于多个摄像机捕获的视频画面是离散独立的，各画面间关联性较差。同时，基于视频监控的智能分析成为了目前的研究热点，即使用计算机代替人、协助人分析监控场景中出现的可疑目标和具有潜在危险的事件，并完成相应的控制任务。为了实现全方位大场景的智能视频监控，使得观察者能够更快更准确的感知周围场景的变化，人们期望能够通过摄像机看到更广范围的视频图像。为了实现这一目标，目前主要有以下几类方法：

1.全景摄像技术

传统的视频图像采集获得的是单视点在某个观察方向上的场景信息，而运用全景成像则可以得到单视点在所有观察方向上的场景信息。与快球摄像机不同，全景摄像机能同时观察和摄录多个不同的区域，具有实现监控范围广，同时可在指定范围内代替多台摄像机，具备无机械部件、避免了故障率高和降低后期维修服务量等优势。全景摄像机的实现方式主要有两种，一种是采用鱼眼镜头，在吸顶安装时实现360度全景监控，或通过壁装实现180度全景监控；另一种是采用多镜头拼接实现360度的监控。

(1)鱼眼镜头全景摄像技术

Lancam、MOBOTIX、奇偶、腾龙、海康威视和殷浩等都开发了此类技术。鱼眼镜头全景摄像机具有更宽广的视野范围，在采集全景图像方面更具优势。然而，在实际的全景图像的生成过程中，鱼眼摄像机除了画面中心的景物保持不变，因光学原理产生的变形，其它本应水平或垂直的景物都发生了相应的变化，必须对鱼眼摄像机采集的图像进行复杂的较准和较正，但是处理后的鱼眼图像的变形依然存在，尤其是边缘区域的图像失真严重。同时，因为安装位置的限制，其适用范围受限。

目前鱼眼摄像机主要定位在专业应用市场，比如大场景环境或易于垂直安装的场合。作为常规摄像机的一个补充，它有着不错的发展前景，特别是在那些不是很注重细节，但很关注过程的场合，比如十字路口、大门口、会议室等。

(2)多镜头全景摄像技术

多镜头全景摄像机虽然不存在鱼眼图像变形矫正的问题，但如何保证多镜头拍摄画面的拼接实现无死角、无盲点、连贯的全景监控，是其中的关键问题。当前主要有两类实现方法：基于拼接的全景采集成像和基于折反射的全景采集成像。

基于拼接的全景技术已比较成熟，许多知名公司的产品都己具有拼接全景的功能，典型的有苹果公司的QulckTimeVR***，微软公司的Surrounding Video***，佳能的A71015、柯达的V705数码相机等，国内的国防科技大学、浙江大学、清华大学等提出了许多新的图像拼接方法和思想，极大丰富和完善了基于图像拼接的全景成像技术。但这种基于拼接产生的全景图像存在拼接缝和明暗差异，画面的整体感差，且生成过程复杂。如果将拼接式全景技术应用于视频，则需要精确校准且同步拍摄的多摄像机阵列，设备复杂，且和拼接式全景图像一样，画面整体感差的问题依然无法解决。

利用折反射光学元件实现全景成像已逐渐发展起来，并以其结构简单，兼容已有成像设备，可方便的扩展应用于全景视频采集等优势。

全景摄像机产品由于各种因素的局限性，目前国内的应用仍然处于初级阶段。当前全景摄像机的成本过高依旧是其不能广泛在市场被应用的一大软肋，同时，全景摄像机画面的效果也是制约发展的重要因素，这包括了全景摄像机的分辨率和画面矫正两大难题。全景摄像机高像素的产品不仅是Sensor的选取，ISP的处理、编码以及与网络相应的配合都很重要，并且在相应的结构、工艺等要求上，要比普通摄像机严格数倍。

2.3D GIS与监控视频的整合技术

随着Google Earth、Skyline Software、GeoFusion以及国内的“影像中国”、Ev-Globe、VGEGIS等三维软件的推出，三维GIS在构建数字城市基础平台***中的地位变得越来越重要。如何把三维GIS与广泛分布于城市各个角落的二维视频监控***集成起来已成为基于位置的视频监控***的研究热点。集成了空间位置信息的视频监控***在增强用户空间位置意识、辅助用户应急决策等方面将发挥更大的作用。目前比较流行的做法是间断性地从各地实时监控影像中采集出图片，以标注的形式在三维场景中进行显示。当用户想知道某地的监控影像时，点击该标注即可弹出实时监控影像截图，如立得空间将摄像机的数据引入3DGIS平台中，实现“动”“静”态城市监控。在实际应用中，由于网络传输速度等原因，该三维视频监控方式还远没有达到与三维周边信息进行融合的目标，丢失了大量的信息。

3.立体视频监控技术

随着计算机视觉和模式识别等领域理论研究的逐步深入，视频的立体融合技术成为研究热点。美国专利US2002191003涉及到视频路数受限情况下的视频融合，该方法能够同时处理的视频路数受限，无法实时处理多于十六路的监控视频，距离大规模的应用还有很大差距；而且没有针对融合后的视频分析功能。由于监控视频数据量巨大，对于多于16路的视频数据无法实时处理，限制了该方法的适用环境。国内受限于技术水平，尚无同类产品。实时融合海量视频数据并进行立体全景显示仍是一个世界级的难题。

4.视频监控的智能分析技术

针对分镜头的视频分析，在世界范围内，美、英等国已经开展了大量相关项目的研究。从上世界90年代中期开始，在欧美国家，智能视觉分析取得了快速发展，它主要研究用于战场及普通民用场景进行监控的自动视频理解技术。英国的ADVISOR项目（Annotated DigitalVideo for Intelligent Surveillance and Optimized Retrieval），依据视频数据估计地铁交通环境中的人群密度及其运动量，分析人与人群的行为，对有潜在危险的事件或犯罪事件进行预警。当前，IBM的S3(Smart Surveillance System)项目组，Intel的IRISNET(Internet-scale，Resource-intensive Sensor Network ServICes)项目组等，分别在分布式智能监控***的不同领域处于领先地位。在国内研究机构中，清华大学、上海交通大学、中科院计算所等单位均进行了相关的智能视觉监控项目研究。但是，目前国内的研究多数还停留在实验室阶段，在室外多摄像机的视频监控网络中的多目标跟踪与识别尚没有得到大规模的应用。

在视频智能分析软件的市场需求急剧增长的刺激下，国外提供视频智能分析软件产品的厂商已经有很多，其中很多厂商提供的视频智能分析产品，都基于ObjectVideo公司的图像分析技术，采用Object Video Onboard平台来设计并创建自己品牌的OEM产品。在解决方案的提供商，国外有很多成功的案例，如旧金山国际机场采用了由Vidient公司提供的智能视频分析***Smart Catch，该***与机场现有的闭路电视***协同检测异常或可疑行为。当智能视频分析软件识别出一个异常情况时，就立即将视频片断通过呼机、手提电脑、移动电话或其他通讯设备发送给响应者前来进行现场调查。但是国外公司的产品基本是以标清或CIF分辨率为主，监控视场较小，不太适合中国人流复杂、运动无规律的应用背景；而且国外军方的智能分析虽较成功，但技术受保密限制。国内视频智能分析产品大多是对单路监控视频及进行分析，如智安邦、文安科技、贝儿信等，目前针对全场景的全局智能分析产品很少。

综上所述，视频监控技术经历了从局部监控到全景观察、从平面视频监控到立体视频监控的发展过程，目前针对大场景的视频监控技术已经取得了一些重要成果，但总体来说，目前国内外尚无能够大规模应用的对监控区域进行全局监控的技术和能够对监控区域进行全场景视频智能分析的通用技术。

发明内容

本发明的目的是为了克服现有技术中存在的上述不足，提供一种通用、高效的方法，将不同视角的零散视频、多种传感器信息、GPS信息、门禁信息、报警信息实时自动拼接融合到3D GIS空间数据中，在全景画面中实现全时空立体可视化展示与控制。

为了实现上述目的，根据本发明的一个方面，提供了一种监控视频全时空立体拼接融合方法，包括以下步骤：

步骤1）、将摄像机采集的实时视频数据进行封包格式转换，所述实时视频数据包括枪式摄像机和/或球型摄像机在预置位采集的固定角度视频数据，还包括球型摄像机采集的非固定角度视频数据；

步骤2）、将实时采集的固定角度视频数据拼接融合到3D GIS空间数据中，形成全景立体视频，实现实时的全时空立体可视化展示；

步骤3）、根据步骤1）预处理的非固定角度视频数据和步骤2）形成的全景立体视频，通过以全景监控中的事件目标为驱动，实现摄像机协同追视，即在全景立体视频或3D GIS空间数据中点击观测目标或位置，其周边的多个摄像机将被调用以锁定该区域；

步骤4）、根据步骤1）的封包格式转换结果，在存储装置中保存实时视频数据，形成历史视频数据；

步骤5）、将步骤4）形成的历史视频数据中的固定角度视频数据拼接融合到3D GIS空间数据中，实现历史视频的全时空立体可视化展示，以对历史视频数据进行全景还原回溯。

进一步地，在所述的步骤2）实现的实时全时空立体可视化展示包括：重点区域大场景监控、关键路径自动巡航、二维和三维信息关联显示、摄像机反向关联、以及摄像机协同追视。

进一步地，在所述的步骤5）实现的全时空立体可视化展示包括：重点区域大场景监控、关键路径自动巡航、二维和三维信息关联显示、摄像机反向关联，以及历史事件大场景回溯。

进一步地，所述重点区域大场景监控包括：用户预设观测点监控重点区域的场景，以全局视角观察重点区域动态；所述关键路径自动巡航包括：自定义巡航轨迹，并按照设定好的视角、速度进行自动巡航；所述二维和三维信息关联显示包括：全景立体视频显示与2D GIS空间数据同步显示，全景立体视频显示与分镜头视频数据同步显示，2D GIS空间数据与分镜头视频数据同步显示，摄像机的位置和覆盖区域以及用户当前观察点的位置均记录在2D GIS空间数据中；所述摄像机反向关联包括：在全景立体视频或2D GIS空间数据上选择所需要观测的目标或地理位置，根据该目标或地理位置关联所有照射到该目标或地理位置的摄像机。

进一步地，摄像机协同追视包括：在全景立体视频或3D GIS空间数据中通过交互选择观测目标或地理位置，根据该目标或地理位置调用周边的多个摄像机照射到该区域，并可以对摄像机进行光学变焦，全方位、多角度捕捉细节信息。

进一步地，历史事件大场景回溯包括：从存储装置中读入多个摄像机采集的历史视频数据，将历史视频数据可视化到3D GIS空间数据中，在全时空环境下正向或反向播放搜索，即设置回溯的时间段和区域、提供逐帧正播、逐帧倒播、停止播放、快进、快退和随机定位播放，以提升历史事件的查询效率。

进一步地，在所述的步骤1）中采集固定角度视频数据时，摄像机采集到的视频覆盖区域不发生变化；采集非固定角度视频数据时，摄像机采集到的视频覆盖区域可以任意变化。

根据本发明的另一个方面，提供了一种全场景视频智能分析方法，包括以下步骤：

步骤10）、选定视频智能分析区域；

步骤20）、采用权利要求1-7之一所述的监控视频全时空立体拼接融合方法，建立视频数据和三维空间的对应关系，进行跨镜头全场景下的视频智能分析，在发现异常时自动报警；

步骤30）、将步骤20）的分析结果在权利要求1-7之一所述的全景立体视频中进行展示，或根据报警信息自动触发摄像机协同追视，通过摄像机观察报警点的细节信息。

进一步地，在所述的步骤20）中，视频智能分析包括跨镜头目标跟踪、人流车流密度估计、异常行为检测。所述异常行为检测包括拌线检测、人群异常聚集检测、遗留物检测、异常速度检测。

根据本发明的再一个方面，提供一种多类型数据全时空立体可视化方法，实现在全景视频与多类型传感器、GPS、门禁、报警数据的信息融合，包括以下步骤：

步骤100）、输入传感器信息、GPS信息、门禁信息、报警信息；

步骤200）、采用权利要求1-7之一所述的监控视频全时空立体拼接融合方法建立的视频数据和三维空间的对应关系，将多种传感器信息、GPS信息、门禁信息、报警信息整合到全景立体视频中，以实现全方位的多维融合和可视化展示。

根据本发明的又一方面，提供了一种与传感器***、门禁***、报警***联动的多类型数据全时空立体可视化应用，其特征在于，根据权利要求10所述的多类型数据全时空立体可视化方法实现所述应用。

本发明通过将具有不同视角的零散摄像视频以及处在不同位置的传感器、GPS、门禁和报警信息自动拼接融合到3D GIS中形成多维数据的全时空立体可视化，用户无须了解数据采集设备的具***置、无需切换任何视频画面，即可实现全景立体监控、全景视频展示和细节掌控有机结合、历史视频全景回溯、全场景下智能报警与展示以及多类型数据的综合应用，为宏观指挥监测、整体关联、综合调度提供有效手段，该方法具有广阔的适用性。

附图说明

以下结合附图来详细说明本发明的实施例，其中：

图1为本发明方法流程图；

图2为一个实例中基于特征的图像配准算法示意图；

图3为视频拼接融合到三维场景模型中形成的全景立体视频；

图4为摄像机协同追视示意图；

图5为全景智能分析流程图；

图6为全景智能分析结果示意图；

图7为多类型数据融合示意图。

具体实施方式

下面结合附图给出本发明的具体实施例。

根据本发明的一个实施例，提供了一种监控视频全时空立体拼接融合方法。其流程图参见图1。该方法包括如下步骤：

步骤1、生成和/或获得高精度的2D/3D GIS空间数据，采集和/或获得视频数据。

作为一种实施方式，基于场景扫描数据、场景图像、CAD/建筑图纸数据生成2D/3D GIS空间数据。

所述2D/3D GIS空间数据可以是（但不限于）二维地图或三维场景模型。在一个优选的实施例中，2D/3D GIS空间数据为三维场景模型。

作为一种实施方式，所述视频数据来自摄像机采集的实时视频数据。作为另一种实施方式，所述视频数据来自第三方平台提供的实时视频数据。视频数据包括如下数据：枪式摄像机和/或球型摄像机在预置位采集的固定角度视频数据，还包括球型摄像机采集的非固定角度视频数据。

根据本发明的一个优选的实施例，在采集所述的固定角度视频数据时，摄像机采集到的视频覆盖区域不发生变化；采集非固定角度视频数据时，摄像机采集到的视频覆盖区域可以任意变化。

步骤2、所述视频数据经过网络通信实时传输到指挥中心，并在指挥中心对各类数据进行预处理。

这一步骤的主要目的是获取到外部的上述视频数据，对视频数据进行封包格式转换，并以内部数据传输格式分发出去。

作为一种实施方式，上述视频数据的获取可以通过以下几种视频接入的方式实现。其中，前三种方式中外部视频数据既可以是摄像机采集的视频数据（例如通过前文所述的摄像机采集的实时视频数据的方式），也可以是第三方***提供的视频数据（例如通过前文所述的第三方***提供的实时视频数据的方式），第四种方式中外部视频数据仅针对摄像机采集的视频数据。

(1)RTSP方式（RTSP Over TCP、RTSP Over UDP）

依照标准RTSP协议实现，解析H.264数据并将H.264数据封装到MPEG2-TS流中。其中RTSP协议的实现，与MEPG2-TS协议的实现均为标准协议。

(2)RTP方式（RTP Over UDP）

RTP为RTSP协议中传输H.264数据的封装格式，解析RTP数据保存的H.264数据，并将H.264数据封装到MPEG2-TS流中。RTP数据接收为UDP组播或者单播。

(3)MPEG-TS方式（MPEG-TS Over UDP）

MPEG2-TS为MPEG2中的标准协议，解析H.264数据，并将H.264数据封装到MPEG2-TS流中。

(4)SDK定制开发

当接入摄像机没有开放协议时，通过摄像机提供的SDK进行接入。如果SDK中只提供显示数据如YUV、RGB，则先对此数据进行编码为H.264数据后，再封装到MPEG2-TS中。

在一个优选的实施例中，内部数据传输格式为MPEG-TS Over Multicast UDP，通过不同的TS-PID进行解复用和区分。

步骤3、将实时采集和/或获得的固定角度视频数据自动拼接融合到三维场景模型中，形成全景立体视频，实现实时的全时空立体可视化展示。

作为一种优选的实施方式，所述自动拼接融合按照如下的步骤实现：对所有的上述固定角度视频数据进行分析，检测分离出前景目标，基于相机标定技术精确计算出其空间位置，按照其对应的时间序列信息拼接融到三维场景模型中，实现在三维场景模型中的拼接融合显示，且融合后的全时空立体视频无形变、不失真。

具体来说，在该步骤中，将实时的固定角度视频数据自动拼接融合到3D GIS空间数据中，形成全景立体视频，实现实时的全时空立体可视化展示具体包括前景目标检测、三维重建融合、视频图像归一化和全时空立体可视化展示几部分或步骤。下面结合本发明的一个优选的实施例来阐述以上各部分或步骤。

(1)前景目标检测

前景是指在假设背景为静止的情况下，任何有意义的运动目标。其中重点涉及如下两方面：

A.多层次前景背景建模

背景建模是前景目标提取的一个重要环节，基本思想是从当前帧中提取前景。其目的是使背景更接近当前视频帧的背景。利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景。但是由于光照突变以及其他外界环境的影响，一般建模后的背景并非十分干净清晰；而且运动目标行进速度随时变化，很有可能出现完全静止，如果将它们更新为背景，会造成对重要目标的遗漏。基于此，本优选的实施例中采用多层次高斯混合模型，用于实时的、鲁棒的检测各种速度（包括从运动到静止）的目标。利用多层次混合高斯模型来抽取背景的方法鲁棒地克服光线、树枝摇动等造成的影响，而且可以克服运动物体长期静止时的失效状况。

具体方法是使用K（例如，从3到5）个高斯模型来表征图像中各个像素点的特征。具体来说，特定像素点的视频序列可看作一时间序列{X₁，X₂，…，X_t}={I(x₀，y₀,i)：1≤i≤t}，且该时间序列可表示为K个高斯分布的叠加，当前点的概率表示为：

p (X_{t}) = Σ_{i = 1}^{K} ω_{i, t} η (X_{t}, μ_{i, t}, Σ_{i, t})

式中：K为高斯函数个数，ω_i,t为相应高斯函数的权重系数，μ_i,t为第i个高斯模型的数学期望，Σ_i,t为第i个高斯模型的协方差矩阵，η为高斯模型，其计算如下：

η (x_{i}, μ, Σ) = \frac{1}{{(2 π)}^{\frac{n}{2}} {| Σ |}^{\frac{1}{2}}} e^{\frac{- 1}{2} {(x_{t} - μ_{t})}^{T Σ^{- 1} (x_{t} - μ_{t})}}

式中，x_i为时间序列X_i的某一个时刻。

在新一帧视频图像获得后,更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,根据匹配结果，可以判定该点为背景点、运动前景点和停止前景点（如停下来的行人、遗留的包裹等）。

B.运动阴影抑制、噪音消除和缺失补偿

运动阴影常被误划为目标，造成错误的目标分割和跟踪，***综合考虑颜色信息和纹理信息，利用阴影的颜色、空间和纹理属性确定其造成的形变，通过使用颜色形变补偿和纹理校正进行阴影抑制。对于目标检测中产生的噪音和小部分目标缺失，基于数学形态学的图像处理快速进行噪音滤除和缺失补偿。

(2)三维重建融合

三维重建融合就是将采集的二维视频信息实时动态的映射到三维场景模型上，通过三维虚拟观测，从而实现对真实场景多角度全方位的实时立体监控。要实现这一目标，首先需要计算视频的相机参数，然后进行相机映射和运动目标的动态建模，从而实现无形变不失真的全时空融合。

在计算机图形学中，物理相机或摄像机可以用透视投影模型描述，借用相机投影矩阵，可以算出世界坐标中任意点在最终投影图像上的像素坐标，现实相机摄像机也是通过投影矩阵的变换将真实场景拍摄成图像和视频的。反之，如果已有图像和视频数据，也可以通过投影矩阵反向投影回三维场景模型上，从而实现不失真的实时三维渲染。通常相机的投影矩阵是未知的，而已知的是视频数据和三维场景模型。

根据本发明的一个优选的实施方式，首先检测出二维视频和三维场景模型的特征点，实时拼接融合就是要选用自动准确的计算算法实现实时图像配准。在基于特征的图像配准中，采用特征描述符用来对两幅图像的特征进行相似性度量，合适的特征描述符对于建立图像之间的配准映射关系和提高配准精度具有重要意义。为了适应图像的尺度变化，提高配准算法的精度，引入多尺度匹配算法。在附图2中，图2（a）和图2（b）分别是摄像机拍摄的图像，图中圆圈的圆心表示算法所探测特征点的位置，圆圈的半径表示它所在的尺度。图2（c）是这两幅图的特征点匹配结果。由于假设图2（a）的所有参数已知，则可以通过图2（c）跟图2（a）实现匹配之后得到图2（b）的参数。

然后通过自动或半监督的特征匹配，反算从三维场景模型到二维视频的投影变化矩阵以及精确三维物理相机参数。在三维场景中虚拟出投影相机，再将视频动态投射到场景的表面从而完成时空的融合。

通过对视频数据分析，检测分离出前景目标。借用相机参数，目标的像素坐标可以转化成三维位置信息，从而能在三维位置上对动态目标实施实时动态三维建模。在融合过程中，背景信息只需投影在静态的三维场景模型上，而前景目标投影在三维动态重建的目标模型上，即实现无形变、不失真的全时空融合。该项技术可以实现任意多路的实时视频处理。

(3)视频图像归一化

通过上述步骤实现了大规模摄像机视频数据在空间和时间上拼接融合。由于视频数据可能来自于不同品牌的摄像机，或是使用不同的光度参数，例如，曝光时间、白色平衡、伽马校正、传感器的灵敏度（ISO）等，这些将直接产生不一致的颜色数据。此外，由于摄像机建设时间的不同，造成视频图像在色彩、亮度、饱和度和对比度等方面的情况也不同。为了达到更好的视觉拼接融合效果，将视频图像在色彩、亮度、饱和度、对比度方面进行归一化，提高大规模摄像机网络色彩的一致性。具体分以下两个步骤：

A.视频色彩校准

将Macbeth彩色影像板放置在监控区域内，对每个摄像机的标定进行增益和偏移，最大限度地减少对比度和黑度，并确保线性响应和白场景的平衡。

B.视频的色彩传递

归一化目标是一致的色彩反应，而不是绝对的色彩精确度，因此，无需将每个摄像机视频匹配成标准色彩，而是通过色彩传递对摄像视频进行两两色彩匹配。具体的说，是将一幅视频图像的颜色特征传递给另一幅视频图像，使目标图像具有与源图像相似的色彩。

假设两个视频取自不同视角，但有固定的光照和不同的光度参数。在Lambertian假设场景中，两个视频图像之间存在全局一致颜色映射。由于两幅图像中有不同区域，采用自动采集样本的图像颜色传递方法，利用特征点的方法把目标图像和源图像分别分成对应的子块。根据对应的子块颜色直方图匹配，计算出最优的色彩传递函数。对于不同视角、不同光照和光度参数的视频，由于摄像视频之间不存在全局一致颜色映射，给出一组色彩传递函数，以人工辅助的目测方法，选取最优结果。在全局一致颜色映射存在的情况下，在RGB三个色彩通道中，RMS误差预计不超过5%。在全局一致颜色映射不存在的情况下，到达肉眼观察没有明显色差。

(4)全时空立体可视化展示

支持重点区域大场景监控、关键路径自动巡航、二维和三维信息关联显示、摄像机反向关联、摄像机协同追视和历史事件大场景回溯。

重点区域大场景监控：重点区域大场景指不少于两个分镜头视频覆盖区域对应的场景，用户通过预设观测点监控重点区域的大场景，以全局视角观察重点区域动态。通过在三维场景中虚拟投影相机，任意设置观察视点，以当前视角监控重点区域大场景动态；对于同一场景中高低摄像机同时存在的情况，自动将高点摄像机和低点摄像机统一拼接融合显示，针对不同的视点采用不同的视频源进行拼接和显示：对于高视点、大视野的情况，采用高点摄像机进行拼接融合显示；当视点降低的时候，采用低点摄像机进行拼融合显示；支持放大镜功能，对局部区域进行数字变焦显示。

关键路径自动巡航：支持自定义巡航轨迹，并按照设定好的视角、速度进行自动巡航。巡航路径由多个路径控制点组成，通过设置路径控制点，组成直线路径、弧线路径、圆路径、catmull-rom路径或复合路径，***按照设定好的路径和速度依次进行自动巡航。

二维和三维信息关联显示：全景立体视频显示与2D GIS空间数据同步显示，全景立体视频显示与分镜头视频数据同步显示，2D GIS空间数据与分镜头视频数据同步显示，摄像机的位置和覆盖区域以及用户当前观察点的位置均记录在2D GIS空间数据中。通过三维重建融合建立全景立体视频、2D GIS空间数据和分镜头视频数据同步联动关系，全景立体视频显示与2D GIS空间数据同步显示、全景立体视频显示与分镜头视频数据同步显示、2D GIS空间数据与分镜头视频数据同步显示，摄像机的位置和覆盖区域以及当前观察点的位置均可以显示在2D GIS空间数据中。

摄像机反向关联：在全景立体视频或2D GIS空间数据上选择所需要观测的目标或地理位置，根据目标或地理位置自动关联到所有照射到该目标或地理位置的摄像机。

摄像机协同追视：摄像机协同追视包括：在全景立体视频或3D GIS空间数据中通过靶标交互选择观测目标或地理位置，根据该目标或地理位置调用周边的多个摄像机照射到该区域，且靶标大小可调，通过调整靶标大小实现摄像机的光学变焦，全方位、多角度快速捕捉细节信息。对于有固定摄像机和非固定摄像机的监控区域，统一用固定摄像机的视频进行拼接融合显示，当用户交互选择观测目标或地理位置时，自动将固定摄像机和非固定摄像机统一关联，调用关联的多个非固定摄像机照射到该目标区域（详见步骤4）。

历史事件大场景回溯：历史事件大场景回溯包括：从存储装置中读入多个摄像机采集的历史视频数据，将历史视频数据可视化到3D GIS空间数据中，在全时空环境下正向或反向播放搜索，即设置回溯的时间段和区域、提供逐帧正播、逐帧倒播、停止播放、快进、快退和随机定位播放，以提升历史事件的查询效率（详见步骤5）。

在附图3中，图3（a）给出了监控场景中的多个分镜头视频，图3（b）给出了将分镜头视频融合到三维场景模型中形成的全景立体视频。在全景立体视频中能够直观的展示摄像机的覆盖范围和监控盲区，因此本方法也为设计摄像机的布置方案、实现无盲区规划提供了直观的科学依据。

步骤4、将场景内所有非固定摄像机关联于全景立体视频中，通过以全景监控中的事件目标为驱动，摄像机协同追视，在全景立体视频或3D GIS空间数据中点击观测目标或位置，其周边的多个摄像机将被自动调用以锁定该区域，做到有的放矢地关注细节，实现纵览全局和细节把控的有机结合。

实现全景融合视频与非固定摄像机的协同联动，当在全景立体视频中用户通过靶标交互选择观测目标或地理位置时，或者在三维场景模型中交互选择特定地理位置时，***启动摄像机协同追视功能，发送摄像机协同指令，根据指令自动计算关注区域相关联的所有非固定摄像机，并显示输出优先级高的摄像机视频。

该步骤包括相机标定、交互设置、摄像机控制和显示输出几个部分或步骤。下面结合本发明的一个优选的实施例来阐述以上各部分或步骤。

(1)相机标定

确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，建立相机成像的几何模型，相机标定是实现摄像机协同追视的基础。

(2)交互设置

实现人机交互，当用户在全景视频中发现潜在热点事件时，以事件目标为驱动，在全景视频中直接点击事件中的目标，无需预知摄像机的位置、数量及其控制范围，无需以摄像机为操作对象，根据目标位置自动地调度周边的多个摄像机照射到该目标区域，且靶标大小可调，通过调整靶标大小实现光学变焦。

(3)摄像机控制

向摄像机发送控制指令，实现对摄像机的联动控制。对于存在多个摄像机的区域，根据目标区域、摄像机覆盖范围等信息，按照一定的优先级调用相关联的多个摄像机，如目标区域在摄像机中心点的摄像机、在关注目标区域周围均匀分布的多个摄像机。

(4)显示输出

显示与选定区域相关联的多个摄像机视频，全景立体视频与多个摄像机视频同步显示。

附图4为摄像机协同追视示意图，图4（a）为全景立体视频，图4（b）为关联的摄像机视频。

步骤5、实时视频数据经过视频格式转换后，和/或门禁、温/湿度传感器数据经过空间位置标注后，数据保存于存储装置中形成历史数据。当需要反查历史事件时，通过将保存的固定角度视频数据和其他类型数据拼接融合到三维场景模型中，实现对历史事件的全时空立体可视化展示（例如，通过正向或反向播放），以对历史视频数据进行全景还原回溯。

根据本发明的一个优选的实施方式，存储的视频编码为H.264的MPEG2-TS流。由于绝大部分摄像机输出H.264编码流没有B帧，以下实施方式均针对于无B帧的视频进行处理。门禁数据和温/湿度传感器数据为标注了设备在三维场景模型中的空间位置属性的数据。录像文件为磁盘预分配，在存储历史数据时建立录像索引文件，索引文件中标记了录像文件的开始时间和结束时间。

历史回溯完成功能包括：正播、倒播、加速播放、减速播放和随机定位播放。可以根据需要在摄像机列表中选中某通道（可多选）或特定时间段，回溯特定区域特定时间段的历史视频。历史回溯过程具体如下：

(1)检索录像文件

根据用户选定的时段，通过载入录像索引文件并搜索哪些文件符合目标条件，检索出该时段对应的录像文件信息。

(2)建立视频帧索引

在完成检索录像文件后，对检索出的录像文件建立帧索引。解析录像文件MPEG2-TS流，通过时间戳判断，当前读取文件位置是否为目标时段。确定为目标时段后，解析H.264视频数据，并记录每一帧帧类型、该帧开始位置及时间戳，直到判断当前视频已不在目标时段内。完成建立视频帧索引后，获得了一个视频帧、文件位置、时间戳的一个索引表。

(3)获取视频帧

当有视频帧请求时，根据请求帧视频时间戳检索视频帧索引表，找出对应帧。判断当前帧是否已在YUV缓存中，如果在当前帧缓存中，则返回该帧解码后的YUV数据显示。如果当前帧不在缓存中，则需要对该帧进行解码。判断当前是否为I帧和P帧或I帧和I帧组合，如果是，则从当前帧解码，并将解码后数据放入YUV缓存中，并返回该帧YUV数据；如果为P帧，则先前追溯到最近的一个IP、II帧组合，从该帧开始向后解码，将YUV数据加入到缓冲区中，直到解码到请求帧获取到YUV数据为止。

(4)回放时间轴

在获取帧流程完成后，建立回放时间轴。

正播和倒播：根据时间轴的当前时间调度获取帧，即可完成视频逐帧正播和逐帧倒播。

变速播放：缩短、延长调度帧间隔时间。

随机定位播放：根据时间轴的时间调度获取视频帧。

根据本发明的另一个实施例，提供了一种全场景视频智能分析方法，包括以下步骤：

步骤10）、选定视频智能分析区域。根据一个优选的实施方式，该区域为待分析的感兴趣区域。

步骤20）、采用前述的监控视频全时空立体拼接融合方法，建立视频数据和三维空间的对应关系，进行跨镜头全场景下的视频智能分析，在发现异常时自动报警；

步骤30）、将步骤20）的分析结果在前述的全景立体视频中进行展示，或根据报警信息触发摄像机协同追视，通过摄像机观察报警点的细节信息。

在一个优选的实施方式中，在所述的步骤20）中，视频智能分析包括跨镜头目标跟踪、人流车流密度估计、异常行为检测。

在上述方案中，诸多异常事件都可归为行为模式分析问题，如人流车流密度过大、人群的非正常聚集、人物的异常分离、突然加减速等，这些行为往往跨越多个摄像机监控区域，单一视角下的目标行为模式特征识别往往难以达到预期的效果。在全时空立体可视化方法中，多个摄像机之间的相关性及互补性为实现目标行为模式的准确识别打下了坚实的基础。因此，本发明结合全景立体视频，实现跨分镜头区域的视频智能分析，对各种异常事件进行自动预警，同时根据预警类型和级别进行优化，自动显示预警地点的全景立体视频，对可疑目标实现跨镜头连续跟踪、人流车流密度估计和异常行为检测（所述异常行为检测包括：拌线检测、人群异常聚集检测、遗留物检测、异常速度检测），提高对全时空智能视频监控***的应用效能。数据处理流程如附图5所示，具体包括以下步骤：

(1)单镜头异常行为分析

A.异常行为预检技术

异常行为多种多样，从技术上讲，不可能提前对所有行为预先定义，而且受计算速度的影响，不可能对所有预定义异常行为都进行检测和分析。这就要求智能分析算法在第一级对所有可能的异常行为进行预检，并将异常结果交给下一级进行进一步分析和处理。虽然对异常行为不能穷举，但在可以收集到大量的正常场景，积累海量的正常运动数据。显然，对这些数据不能解释的行为模式，就是异常行为模式。该方法的关键就在于从海量数据中发现和整理出正常的行为模式。

基于范例的矩阵逼近和分解技术可有效的用于监测和分析大规模数据中异常波动。矩阵逼近提供了一个小而多的原始数据的“素描”，极大的提高了计算效率。此外，低秩逼近有从矩阵结构的数据中自动提取和消除噪音的能力。一种广泛使用的低秩逼近是奇异值分解，但是，奇异值分解需要经过反复矩阵向量乘法运算，速度慢、不能实时进行。基于范例的矩阵逼近和分解技术可以保留矩阵的稀疏性，极大提高运算速度，从而使实时智能分析成为了可能。具体来说，给定一个运动矩阵A，其低秩逼近通常表示为

式中，C是一个视频帧代表性的数据，其中包含了一组从A中选择的列，也就是范例。同样，R可以看作是代表运动特征的子空间，包含了一组从A中选择的行。对于时变数据，C和R的选择是在已有的基础上快速更新的。中间矩阵U的计算方法是最小化

其中是Frobenius范数。根据矩阵逼近的误差SSE可区分正常非正常状态，从而预警异常行为。

B.异常行为识别和分析

异常行为分析离不开对目标的追踪。使用多层次混合高斯模型统计学习方法，实现前景目标检测，通过计算当前帧与背景模型的差，实现对运动目标的检测，提取检测的目标颜色特征和角点特征信息。将根据运动前景的颜色和角点特征，快速、准确、鲁棒的提取场景内目标的运动轨迹，该方法可以应用于遮挡现象严重的环境中。这些信息与全景立体视频相结合，用于实现大场景内人流和车流的综合分析，为大场景众多目标的实时分析、行为模式分析快速及目标快速排除打下良好的基础。同时，通过统计分析运动轨迹，建立行为分布图，预定义一系列异常行为模式，如非法入侵、异常聚集、非法遗留、异常速度等。在预检报警的情况下，根据统计特征，可以对异常行为进行进一步识别、分类和分级。

(2)大场景、多摄像机的时空关联

为实现多路监控视频图像在跨镜头大场景下智能分析，首先基于静态贝叶斯网络构建摄像机之间的空间拓扑关系，然后利用动态贝叶斯网络推理和预测多种行为模式之间的语义关联结构。

贝叶斯网络方法是基于概率分析、图论的一种不确定性知识表达和推理模型，是一种将因果知识和概率知识相结合的信息表示框架。贝叶斯网络表现为一种赋值的复杂因果关系网络图，网络中每一个节点表示一个摄像机，各摄像机之间的有向弧表示事件发生的直接因果关系。在贝叶斯网络中，定性信息主要通过网络的拓扑结构表达，而定量信息主要通过节点的联合概率密度表示。在贝叶斯网络中，没有有向弧输入的节点称为根节点，对于根节点需要确定其先验概率；有有向弧输入的节点为子节点，对于每个子节点要确定其在父节点不同状态下的条件概率。作为贝叶斯网络推理的基础，将根据摄像机之间的空间关系对贝叶斯网络参数（先验概率和条件概率）进行赋值。

基于静态贝叶斯网络，结合全景立体视频，实现跨区域跨镜头的整体大场景人流及车流分析，人员轨迹分析和速度分析。

动态贝叶斯网络是贝叶斯网络随时间变化的一个动态扩展，可以反映各摄像机之间一系列行为模式间的概率依赖关系。由于摄像机网络空间拓扑结构不随时间改变，假设各摄像机之间满足一阶马尔可夫性，对其中行为模式的时间连续性进行建模。基本思想是全局行为模式是由一系列局部行为构成的，通过对局部行为及其关系的识别，可以有效的预测全局场景和行为。在一个摄像机发现异常行为的情况下，利用动态贝叶斯网络，迅速对相关摄像机和行为模式进行预判，在大场景下显示相关视频和信息。

在异常报警的情况下，依据目标参数与预定义模式进行匹配，对异常行为进行识别和确定优先级别，实时跨镜头智能报警和结果显示。

同时根据异常报警的优先级，选取和该报警信息有时空关联关系的所有摄像机数据，实现全景立体视频自动聚焦显示。结合摄像机协同追视功能，根据报警信息自动调用摄像机锁定该区域。

在附图6中，图6（a）为将监控视频融合到三维场景模型中形成的全景立体视频，图6（b）为人流车流密度估计结果，左上角为密度标尺，将人流车流密度分为不同的等级。通过人流密度智能分析，一旦某区域人流密度较大，通过点击密度分析结果相应区域，即可观看该区域对应的全景视频。

根据本发明的又一个实施例，提供了一种多类型数据全时空立体可视化方法，包括以下步骤：

步骤100）、输入多种传感器信息、GPS信息、门禁信息、报警信息；在一个优选的实施方式中，上述信息被设置在从感兴趣的分析区域中获取和/或输入。

步骤200）、采用前述的监控视频全时空立体拼接融合方法建立的视频数据和三维空间的对应关系，将多种传感器信息、GPS信息、门禁信息、报警信息整合到全景立体视频中，以实现全方位的多维融合和可视化展示。

具体来说，在感兴趣的待分析区域中，首先获取各类数据，并对其进行预处理。即，将门禁数据和温/湿度传感器数据中标注传感器在三维模型中的空间位置属性。门禁信息和传感器信息的主要来源为传感器SDK或其他外部***经私有协议解析得到的数据。如果是直接获取数据，则通过SDK调用获取到数据，并封装入MPEG2-TS中；如果是从外部***获取，数据的获取可以是主动调用，也可以是被动推送，通过外部***的私有解析协议获取到数据，并封装入MPEG2-TS中。

对不同数据的解复用，当内部***接收到MPEG2-TS数据时，数据中包括视频数据、门禁数据和温/湿度传感器数据。通过MPEG2-TS解复用模块，解复用模块中通过不同的PID来区别各个数据的类型区别，并缓存不同数据。解复用的模块实现符合标准的MPEG2-TS协议。将带有空间位置的门禁数据和温/湿度传感器数据拼接融合到三维场景模型中，建立基于全景融合视频下的多维数据可视化展示，并支持多维数据属性查看。

附图7给出了在三维场景模型中融合视频数据、门禁数据及温/湿度传感数据的示意图。通过多类型数据融合，实现了在全景立体视频中展示多维数据属性功能，进而可以与其他***结合实现联动控制功能，如，当温/湿度传感器探测到火情时，***自动切换到出现警情的全景立体视频，同时联动门禁***，在全景视频中实现对门禁***的远程控制，实现对突发事件的快速响应和宏观指挥。图7中，数据通过摄像头7-1、门禁7-2、湿度传感器7-3和温度传感器7-4采集。

通过上述步骤，将处在不同位置、具有不同视角的零散视频数据以及门禁数据和温/湿度传感器数据实时拼接融合到三维场景模型中，形成多类型数据的全景立体可视化，同时实现了历史视频全景回溯和逐帧倒播、全景视频展示和细节掌控的有机结合以及全场景下智能报警与展示。

根据本发明的再一个实施例，提供了一种与传感器***、门禁***、报警***联动的多类型数据全时空立体可视化应用，根据前述的多类型数据全时空立体可视化方法实现所述应用。

在本实施例中，虽然只对三维场景模型、摄像视频、门禁、温/湿度传感器数据的全时空可视化进行了说明，但本领域的普通技术人员应当理解，本发明的方法同样可以应用于2D和3D GIS空间数据中，视频及各种传感器数据不只是由数据采集设备直接捕获得到的数据，还可以是第三方平台输出的多类型数据。

以上实施例仅用以说明本发明的技术方案，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims

1.一种监控视频全时空立体拼接融合方法，包括以下步骤：

2.根据权利要求1所述的监控视频全时空立体拼接融合方法，其特征在于，在所述的步骤2）实现的实时全时空立体可视化展示包括：重点区域大场景监控、关键路径自动巡航、二维和三维信息关联显示、摄像机反向关联、以及摄像机协同追视。

3.根据权利要求1所述的监控视频全时空立体拼接融合方法，其特征在于，在所述的步骤5）实现的全时空立体可视化展示包括：重点区域大场景监控、关键路径自动巡航、二维和三维信息关联显示、摄像机反向关联，以及历史事件大场景回溯。

4.根据权利要求2或3所述的监控视频全时空立体拼接融合方法，其特征在于，所述重点区域大场景监控包括：用户预设观测点监控重点区域的场景，以全局视角观察重点区域动态；所述关键路径自动巡航包括：自定义巡航轨迹，并按照设定好的视角、速度进行自动巡航；所述二维和三维信息关联显示包括：全景立体视频显示与2D GIS空间数据同步显示，全景立体视频显示与分镜头视频数据同步显示，2D GIS空间数据与分镜头视频数据同步显示，摄像机的位置和覆盖区域以及用户当前观察点的位置均记录在2D GIS空间数据中；所述摄像机反向关联包括：在全景立体视频或2D GIS空间数据上选择所需要观测的目标或地理位置，根据该目标或地理位置关联所有照射到该目标或地理位置的摄像机。

5.根据权利要求2所述的监控视频全时空立体拼接融合方法，其特征在于，摄像机协同追视包括：在全景立体视频或3D GIS空间数据中通过交互选择观测目标或地理位置，根据该目标或地理位置调用周边的多个摄像机照射到该区域，并可以对摄像机进行光学变焦，全方位、多角度捕捉细节信息。

6.根据权利要求3所述的监控视频全时空立体拼接融合方法，其特征在于，历史事件大场景回溯包括：从存储装置中读入多个摄像机采集的历史视频数据，将历史视频数据可视化到3D GIS空间数据中，在全时空环境下正向或反向播放搜索，即设置回溯的时间段和区域、提供逐帧正播、逐帧倒播、停止播放、快进、快退和随机定位播放，以提升历史事件的查询效率。

7.根据权利要求1所述的监控视频全时空立体拼接融合方法，其特征在于，在所述的步骤1）中采集固定角度视频数据时，摄像机采集到的视频覆盖区域不发生变化；采集非固定角度视频数据时，摄像机采集到的视频覆盖区域可以任意变化。

8.一种全场景视频智能分析方法，包括以下步骤：

步骤10）、选定视频智能分析区域；

9.根据权利要求8所述的全场景视频智能分析方法，其特征在于，在所述的步骤20）中，视频智能分析包括跨镜头目标跟踪、人流车流密度估计、异常行为检测。

10.一种多类型数据全时空立体可视化方法，包括以下步骤：

11.一种与传感器***、门禁***、报警***联动的多类型数据全时空立体可视化应用，其特征在于，根据权利要求10所述的多类型数据全时空立体可视化方法实现所述应用。