CN113192125B - 虚拟视点优选的地理场景中多相机视频浓缩方法及*** - Google Patents

Abstract

一种虚拟视点优选的地理场景中多相机视频浓缩方法及***，通过获取视频序列图像信息，并在视频图像和三维地理场景模型采集同名点对，获取同名点对的坐标数据；由同名点对的坐标数据，建立视频图像与地理空间的映射关系，定位相机视域；通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合；对可观测集合通过构建评价模型进行优选，获得虚拟视点组；预设运动目标的显示参数，根据显示参数进行多相机视频浓缩。本发明显著的效果在于建立了视频目标与地理场景的映射关系，增强了监控视频在地理场景中融合表达的效果，为视频地理场景信息一体化的快速检索与高效理解提供极大的便利。

Description

虚拟视点优选的地理场景中多相机视频浓缩方法及***

技术领域

本发明涉及视频流与三维模型实时融合技术领域，具体涉及一种虚拟视点优选的地理场景中多相机视频浓缩方法及***。

背景技术

随着虚拟地理环境(VGE)对场景模拟仿真的准确性与实时性需求提升，多源异构数据被引入增强VGE的可视化表达与分析功能。其中，视频数据不仅能实现地理环境实景展现，也能描述地理场景中运动目标(行人、车辆等)时空运动。用户在VGE中观看视频时，虚拟视点一般都选在与相机原始地理位置相近的虚拟位置。

然而传统的虚拟视点选取方式往往在实际部署和使用中，会存在以下困难和问题：

第一，这种方式看单相机、短时长视频很便利，但如果场景中包含多路视频，并且相机视线方向各异，视域互不重叠、离散分布，则用户很难通过单个虚拟视点查看所有视频。而若给每路视频单独安排一个的虚拟视点逐个观看，会大规模提升观看时长，不利于用户快速查看视频内容。

第二，视频运动目标通常会先后在拍摄不同区域的相机中出现，对每路视频图像单独观看，无法表达运动目标在场景中的跨相机全局运动情况。

因此，如何在虚拟场景中有效选取少量虚拟视点快速观看多相机视频目标，展现视频目标的跨相机运动情况，成为一个亟待解决的技术问题。

发明内容

为此，本发明提供一种虚拟视点优选的地理场景中多相机视频浓缩方法及***，以解决现有技术中用户在VGE中观看视频时，虚拟视点一般都选在与相机原始地理位置相近的虚拟位置，这种方式看单相机、短时长视频很便利，但如果场景中包含多路视频，并且相机视线方向各异，视域互不重叠、离散分布，则用户很难通过单个虚拟视点查看所有视频；而若给每路视频单独安排一个的虚拟视点逐个观看，会大规模提升观看时长，不利于用户快速查看视频内容；另一方面，视频运动目标通常会先后在拍摄不同区域的相机中出现，对每路视频图像单独观看，无法表达运动目标在场景中的跨相机全局运动情况的问题。

为了实现上述目的，本发明提供如下技术方案：第一方面，提供一种虚拟视点优选的地理场景中多相机视频浓缩方法，包括以下步骤：

获取视频序列图像信息，并在视频图像和三维地理场景模型采集同名点对，获取所述同名点对的坐标数据，所述坐标数据包括图像坐标和地理坐标；

由同名点对的坐标数据，建立视频图像与地理空间的映射关系，定位相机视域；

通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合；

对所述可观测集合通过构建评价模型进行优选，获得虚拟视点组；

预设运动目标的显示参数，根据所述显示参数进行多相机视频浓缩。

作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案，所述视频图像为截取监控视频的第一帧图像。

作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案，所述三维地理场景模型为根据真实地理场景量测信息构建的三维场景模型，所述视频图像和虚拟地理场景上采集同名点对的数量不少于三对，三对所述同名点对不全部共线。

作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案，所述建立视频图像与地理空间的映射关系包括以下步骤：

a1)预设给定像点图像空间坐标q，q所对应的物点地理空间坐标Q,将q与Q表达为齐次坐标形式：

q＝[x y 1]^T

Q＝[X Y Z 1]^T；

记单应矩阵M，则q与Q的关系为：

q＝MQ；

单应矩阵M的表达式为：

a2)求解每个图像中像点所对应物点的地理空间坐标：

a3)设当前摄像机网络中共有L个相机，则对于第k个相机(k＝1,2…L),其映射矩阵标记为M_k；界定地理空间中的每个相机位置为每个相机视域多边形的地理空间位置为/>

其中，相机位置视为地理空间中的一个点，相机视域多边形由o个边界点P_k,num顺序连接构成的多边形记录。

作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案，所述定位相机视域的过程，选择虚拟视线距离与相机-虚拟视点夹角两个因素作为约束条件；

所述虚拟视线距离指虚拟视点与视域中某一点的地理空间距离；所述相机-虚拟视点夹角指以视域中给定点作为角点，计算所述给定点与虚拟视点、相机位置点在水平面投影所成夹角；

界定距离阈值T_dis与角度阈值T_ang作为约束条件，并假定距离阈值T_dis与角度阈值T_ang已经给出，在场景模型中寻找符合约束条件的区域作为虚拟视点范围。

作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案，所述通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合包括以下步骤：

b1)记相机位置与相机视域多边形/>且/>距离中/>的最近线段为P_k,n1P_k,n2，最远线段为P_k,n3P_k,n4；

b2)分别以点P_k,n3,P_k,n4为圆心，距离阈值T_dis为半径，在线段P_k,n3P_k,n4朝向相机位置的一侧画半圆，取两个半圆在线段P_k,n1P_k,n2靠近相机位置/>一侧的交集区域，作为虚拟视点距离合理区域A_k,dis；

b3)分别以点P_k,n1,P_k,n2为角点，角度阈值T_ang为偏转角，正时针与逆时针分别偏转T_ang作四条射线，取四条射线向在线段P_k,n1P_k,n2靠近相机位置一侧的交集区域，作为虚拟视点角度合理区域A_k,ang；

b4)相机的虚拟视点范围A_k即为A_k,dis与A_k,ang的交集；

b5)记Obj为所有视频相机中所有视频运动目标的总集合；记第k个相机中有N_k个视频运动目标，每个视频运动目标的轨迹记为C_k,i，C_k,i的表达式如下：

Obj＝{C_k,i,(k＝1,2…L)}

C_k,i＝{I_k,i,j,P_k,i,j,(i＝1,2,…,N_k)(j＝1,2,…,n)}；

其中，L表示相机个数，I_k,i,j与P_k,i,j表示第k个相机中第i个视频运动目标在第j个视频帧中的子图与子图所处的地理空间位置经视频运动目标跨相机关联分析，归并单相机视频运动目标轨迹获得多相机视频运动目标轨迹实现多相机视频运动目标关联组织：

Cube_io＝{C_k1,i1,C_k2,i2…C_ko,iL,(k1,k2,…ko)∈(1,2…L)}；

其中，L_o表示监控视频网络中跨相机同名视频运动目标归并后的视频运动目标总数，Cube_io表示序号为io的视频运动目标在监控视频网络中的全局轨迹，表示序号为io的视频运动目标在第ko个相机中的子轨迹。

作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案，对所述可观测集合通过构建评价模型进行优选，获得虚拟视点组，具体包括以下步骤：

c1)记相机数量为L，相机的所有组合方式构成的集合记为M：

m_i＝{n_i,j}

其中，m_i指第i个相机组合模式，包含了这种组合方式下所有的相机组；n_i,j指相机组合方式m_i条件下的第j组相机，包含了该组所有的相机；指第i个相机组合模式下的第j个相机组中的第l个相机；

c2)通过界定距离阈值T_dis与角度阈值T_ang，对每种相机组合模式m_i中每个相机组n_i,j中所有相机求可观测域并求交；若某个相机组合方式m_i中所有相机组n_i,j中的任意数量的相机观测域交集均不为空，则记该相机组合方式m_i为一个可观测组合，否则记该相机组合方式m_i为一个不可观测组合；

c3)基于多相机视频目标轨迹数据，指定如下视频浓缩优化目标，实现对相机组的优选：

①同名目标跨相机表达连贯性，即单个目标出现过的视频相机以尽可能少的虚拟视点连贯表达；

②表达所有视频目标所使用的虚拟视点总数尽量少；

c4)以value综合评价该相机组合对应虚拟视点组的多相机视频目标表达效果：

其中，n_c表示相机总数，n_v表示虚拟视点个数，N表示视频运动对象总数，m_i表示每个视频运动目标所关联表达的虚拟视点个数，μ为权值参数；

c5)在距离阈值T_dis与角度阈值T_ang取值一定时，通过界定参数α，计算当前所有的相机可观测集合的value值，取最大值作为相机组合选取结果，进行虚拟场景中多相机视频浓缩。

作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案，所述预设运动目标的显示参数，根据所述显示参数进行多相机视频浓缩，包括以下步骤：

d1)记当前相机组合下，查看所有L个相机的视频运动目标共需要W个虚拟视点(W≤L)；同时，设置视频运动目标子图在三维场景中显示的帧率fps，作为单个视频运动目标每秒显示子图的个数；设置对象显示间隔时间t₀，作为添加显示新视频运动目标的时间间隔；

d2)对于某个虚拟视点w(w≤W)，首先显示第一个出现的运动对象O₀在地理空间轨迹T₀，并标识该视频对象在不同相机间出现的先后顺序；

根据帧率fps对视频对象子图进行筛选，并将筛选出的视频对象子图对应的平面坐标转化为地理坐标，同时按照比例系数P_w、P_h对视频对象子图进行放缩，P_w、P_h计算公式如下：

其中是从视频对象子图库中随机选取适量子图的平均宽、高，把选取出的子图对应在原始视频帧中左上、左下、右上三点坐标映射到虚拟场景中对应的地理位置求得视频对象子图在三维空间中的长和高，/>是视频对象子图在虚拟场景中显示的平均长和高；

d3)在动态显示过程中根据帧率fps，在虚拟场景中的相机视域内显示O₀当前帧的视频对象子图于其对应的地理位置中，不再显示旧的视频对象子图；

在t₀,2t₀…,nt₀时刻，分别添加视频对象O₁,O₂…O_n动态表达于三维场景模型中，实现多相机视频对象浓缩。

作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案，对于相机拍摄区域重叠产生的同一段对象轨迹由多个相机获得的情况，通过比较虚拟视点、对象轨迹点分别与两个相机位置三点连线的夹角，确定获得对象子图的相机：

相机a和相机b存在视域重叠部分C，对于通过视域C的视频对象，比较相机位置、轨迹点及虚拟视点V三点之间的夹角，即α和β的大小，如果α≤β，则使用相机a获取的视频对象子图，否则使用相机b获取的视频对象子图。

第二方面，提供一种虚拟视点优选的地理场景中多相机视频浓缩***，采用第一方面或其任意可能实现方式的虚拟视点优选的地理场景中多相机视频浓缩方法，该浓缩***包括：

同名点获取模块：用于获取视频序列图像信息，并在视频图像和三维地理场景模型采集同名点对，获取所述同名点对的坐标数据，所述坐标数据包括图像坐标和地理坐标；

映射关系构建模块：用于由同名点对的坐标数据，建立视频图像与地理空间的映射关系，定位相机视域；

相机组可观测集合生成模块：用于通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合；

虚拟视点组生成模块：用于对所述可观测集合通过构建评价模型进行优选，获得虚拟视点组；

视频目标时空运动表达模块：用于预设运动目标的显示参数，根据所述显示参数进行多相机视频浓缩。

本发明具有如下优点：通过获取视频序列图像信息，并在视频图像和三维地理场景模型采集同名点对，获取同名点对的坐标数据，坐标数据包括图像坐标和地理坐标；由同名点对的坐标数据，建立视频图像与地理空间的映射关系，定位相机视域；通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合；对可观测集合通过构建评价模型进行优选，获得虚拟视点组；预设运动目标的显示参数，根据显示参数进行多相机视频浓缩。本发明显著的效果在于建立了视频目标与地理场景的映射关系，增强了监控视频在地理场景中融合表达的效果，为视频地理场景信息一体化的快速检索与高效理解提供极大的便利。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本发明实施例中提供的VGE中多路视频集成表达示意图；

图2为本发明实施例中提供的一种虚拟视点优选的地理场景中多相机视频浓缩方法流程示意图；

图3为本发明实施例中提供的摄像机与地理空间坐标系、图像空间坐标系示意图；

图4(a)为本发明实施例中提供的虚拟视线距离示意图；

图4(b)为本发明实施例中提供的相机-虚拟视点夹角示意图；

图5(a)为本发明实施例中提供的相机至视频视域的最近/最远线段示意图；

图5(b)为本发明实施例中提供的虚拟视点距离合理区示意图；

图5(c)为本发明实施例中提供的虚拟视点角度合理区示意图；

图5(d)为本发明实施例中提供的虚拟视点角度和距离合理区示意图；

图6为本发明实施例中提供的可观察摄像机集示意图；

图7为本发明实施例中提供的地理场景中多相机视频目标浓缩示意图；

图8为本发明实施例中提供的相机视域重叠处理示意图；

图9为本发明实施例中提供的一种虚拟视点优选的地理场景中多相机视频浓缩***示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1，通过将视频引入VGE，以地理空间信息支持视频智能分析，可实现VGE中视频数据组织管理、空间映射、视频-场景融合表达等相关功能。

参见图2，提供一种虚拟视点优选的地理场景中多相机视频浓缩方法，包括以下步骤：

S1、获取视频序列图像信息，并在视频图像和三维地理场景模型采集同名点对，获取所述同名点对的坐标数据，所述坐标数据包括图像坐标和地理坐标；

S2、由同名点对的坐标数据，建立视频图像与地理空间的映射关系，定位相机视域；

S3、通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合；

S4、对所述可观测集合通过构建评价模型进行优选，获得虚拟视点组；

S5、预设运动目标的显示参数，根据所述显示参数进行多相机视频浓缩。

具体的，步骤S1中，所述视频图像为截取监控视频的第一帧图像。步骤S1中，所述三维地理场景模型为根据真实地理场景量测信息构建的三维场景模型，所述视频图像和虚拟地理场景上采集同名点对的数量不少于三对，三对所述同名点对不全部共线。

具体的，参见图3，示意出了摄像机与图像空间坐标系、地理空间坐标系的关系。记摄站中心记为C，图像空间坐标系记为O_iX_iY_i，地理空间坐标系记为O_gX_gY_gZ_g。步骤S2中，所述建立视频图像与地理空间的映射关系包括以下步骤：

a1)预设给定像点图像空间坐标q，q所对应的物点地理空间坐标Q,将q与Q表达为齐次坐标形式：

q＝[x y 1]^T

Q＝[X Y Z 1]^T；

记单应矩阵M，则q与Q的关系为：

q＝MQ；

单应矩阵M的表达式为：

a2)由于M存在6个未知数，所以至少需要3组已知的像点图像空间坐标和物点地理空间坐标，实现M的求解。确定了M后，求解每个图像中像点所对应物点的地理空间坐标：

a3)设当前摄像机网络中共有L个相机，则对于第k个相机(k＝1,2…L),其映射矩阵标记为M_k；在此基础上，界定地理空间中的每个相机位置为每个相机视域多边形的地理空间位置为/>

其中，相机位置视为地理空间中的一个点，相机视域多边形由o个边界点P_k,num顺序连接构成的多边形记录。

本实施例中，步骤S2中，所述定位相机视域的过程，选择虚拟视线距离与相机-虚拟视点夹角两个因素作为约束条件；

具体参见图4，所述虚拟视线距离指虚拟视点与视域中某一点的地理空间距离；所述相机-虚拟视点夹角指以视域中给定点作为角点，计算所述给定点与虚拟视点、相机位置点在水平面投影所成夹角；

界定距离阈值T_dis与角度阈值T_ang作为约束条件，并假定距离阈值T_dis与角度阈值T_ang已经给出，在此基础上，在场景模型中寻找符合约束条件的区域作为虚拟视点范围。

具体的，步骤S3中，所述通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合包括以下步骤：

b1)具体参见图5(a)，记相机位置与相机视域多边形/>且/>距离中的最近线段为P_k,n1P_k,n2，最远线段为P_k,n3P_k,n4；

b2)具体参见图5(b)，分别以点P_k,n3,P_k,n4为圆心，距离阈值T_dis为半径，在线段P_{k, n3}P_k,n4朝向相机位置的一侧画半圆，取两个半圆在线段P_k,n1P_k,n2靠近相机位置/>一侧的交集区域，作为虚拟视点距离合理区域A_k,dis；

b3)具体参见图5(c)，分别以点P_k,n1,P_k,n2为角点，角度阈值T_ang为偏转角，正时针与逆时针分别偏转T_ang作四条射线，取四条射线向在线段P_k,n1P_k,n2靠近相机位置一侧的交集区域，作为虚拟视点角度合理区域A_k,ang；

b4)具体参见图5(d)，相机的虚拟视点范围A_k即为A_k,dis与A_k,ang的交集；

b5)记Obj为所有视频相机中所有视频运动目标的总集合；记第k个相机中N_k个视频运动目标，每个视频运动目标的轨迹记为C_k,i，C_k,i的表达式如下：

Obj＝{C_k,i,(k＝1,2…L)}

C_k,i＝{I_k,i,j,P_k,i,j,(i＝1,2,…,N_k)(j＝1,2,…,n)}；

其中，L表示相机个数，I_k,i,j与P_k,i,j表示第k个相机中第i个视频运动目标在第j个视频帧中的子图与子图所处的地理空间位置经视频运动目标跨相机关联分析，归并单相机视频运动目标轨迹获得多相机视频运动目标轨迹实现多相机视频运动目标关联组织：

Cube_io＝{C_k1,i1,C_k2,i2…C_ko,iL,(k1,k2,…ko)∈(1,2…L)}；

其中，L_o表示监控视频网络中跨相机同名视频运动目标归并后的视频运动目标总数，Cube_io表示序号为io的视频运动目标在监控视频网络中的全局轨迹，表示序号为io的视频运动目标在第ko个相机中的子轨迹。

具体的，步骤S4中，对所述可观测集合通过构建评价模型进行优选，获得虚拟视点组，具体包括以下步骤：

c1)记相机数量为L，相机的所有组合方式构成的集合记为M：

m_i＝{n_i,j}

具体参见图6，其中，m_i指第i个相机组合模式，包含了这种组合方式下所有的相机组；n_i,j指相机组合方式m_i条件下的第j组相机，包含了该组所有的相机；指第i个相机组合模式下的第j个相机组中的第l个相机；

c2)通过界定距离阈值T_dis与角度阈值T_ang，对每种相机组合模式m_i中每个相机组n_i,j中所有相机求可观测域并求交；若某个相机组合方式m_i中所有相机组n_i,j中的任意数量的相机观测域交集均不为空，则记该相机组合方式m_i为一个可观测组合，否则记该相机组合方式m_i为一个不可观测组合；

c3)基于多相机视频目标轨迹数据，指定如下视频浓缩优化目标，实现对相机组的优选：

①同名目标跨相机表达连贯性，即单个目标出现过的视频相机以尽可能少的虚拟视点连贯表达；

②表达所有视频目标所使用的虚拟视点总数尽量少；

c4)以value综合评价该相机组合对应虚拟视点组的多相机视频目标表达效果：

其中，n_c表示相机总数，n_v表示虚拟视点个数，N表示视频运动对象总数，m_i表示每个视频运动目标所关联表达的虚拟视点个数，μ为权值参数；

c5)在距离阈值T_dis与角度阈值T_ang取值一定时，通过界定参数α，计算当前所有的相机可观测集合的value值，取最大值作为相机组合选取结果，进行虚拟场景中多相机视频浓缩。

具体参见图7，步骤S4基于可观测集合优选结果，在相机显示组合选定的条件下，以每个相机组可观测域的中心点作为虚拟视点，设置运动目标显示参数，进行多相机视频浓缩。

步骤S5中，所述预设运动目标的显示参数，根据所述显示参数进行多相机视频浓缩，包括以下步骤：

d1)记当前相机组合下，查看所有L个相机的视频运动目标共需要W个虚拟视点(W≤L)；同时，设置视频运动目标子图在三维场景中显示的帧率fps，作为单个视频运动目标每秒显示子图的个数；设置对象显示间隔时间t₀，作为添加显示新视频运动目标的时间间隔；

d2)对于某个虚拟视点w(w≤W)，首先显示第一个出现的运动对象O₀在地理空间轨迹T₀，并标识该视频对象在不同相机间出现的先后顺序；

根据帧率fps对视频对象子图进行筛选，并将筛选出的视频对象子图对应的平面坐标转化为地理坐标，同时按照比例系数P_w、P_h对视频对象子图进行放缩，P_w、P_h计算公式如下：

其中是从视频对象子图库中随机选取适量子图的平均宽、高，把选取出的子图对应在原始视频帧中左上、左下、右上三点坐标映射到虚拟场景中对应的地理位置求得视频对象子图在三维空间中的长和高，/>是视频对象子图在虚拟场景中显示的平均长和高；

d3)在动态显示过程中根据帧率fps，在虚拟场景中的相机视域内显示O₀当前帧的视频对象子图于其对应的地理位置中，不再显示旧的视频对象子图；

另一方面，在t₀,2t₀…,nt₀时刻，分别添加视频对象O₁,O₂…O_n动态表达于三维场景模型中，实现多相机视频对象浓缩。

具体的，步骤S5中，对于相机拍摄区域重叠产生的同一段对象轨迹由多个相机获得的情况，通过比较虚拟视点、对象轨迹点分别与两个相机位置三点连线的夹角，确定获得对象子图的相机：

具体参见图8，相机a和相机b存在视域重叠部分C，对于通过视域C的视频对象，比较相机位置、轨迹点及虚拟视点V三点之间的夹角，即α和β的大小，如果α≤β，则使用相机a获取的视频对象子图，否则使用相机b获取的视频对象子图。

实施例2

参见图9，本发明还提供一种虚拟视点优选的地理场景中多相机视频浓缩***，采用实施例1或其任意可能实现方式的虚拟视点优选的地理场景中多相机视频浓缩方法，该浓缩***包括：

同名点获取模块1：用于获取视频序列图像信息，并在视频图像和三维地理场景模型采集同名点对，获取所述同名点对的坐标数据，所述坐标数据包括图像坐标和地理坐标；

映射关系构建模块2：用于由同名点对的坐标数据，建立视频图像与地理空间的映射关系，定位相机视域；

相机组可观测集合生成模块3：用于通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合；

虚拟视点组生成模块4：用于对所述可观测集合通过构建评价模型进行优选，获得虚拟视点组；

具体的，通过构建视频图像可视域模型，描述虚拟场景中每个相机可以被有效观测的范围，继而生成虚拟视点，查看视频运动目标在多相机地理场景中全局运动情况；在相机观测域模型的基础上，对相机可观测集合进行穷举，优选出视频目标信息表达效果最佳的组合，作为虚拟视点生成区域；

视频目标时空运动表达模块5：用于预设运动目标的显示参数，根据所述显示参数进行多相机视频浓缩。

具体的，基于可观测集合优选结果，在相机显示组合选定的条件下，以每个相机组可观测域的中心点作为虚拟视点，设置运动目标显示参数，进行多相机视频浓缩。

需要说明的是，上述虚拟视点优选的地理场景中多相机视频浓缩***各模块/单元之间的信息交互、执行过程等内容，由于与本申请实施例中的方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述。

本发明通过获取视频序列图像信息，并在视频图像和三维地理场景模型采集同名点对，获取同名点对的坐标数据，坐标数据包括图像坐标和地理坐标；由同名点对的坐标数据，建立视频图像与地理空间的映射关系，定位相机视域；通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合；对可观测集合通过构建评价模型进行优选，获得虚拟视点组；预设运动目标的显示参数，根据显示参数进行多相机视频浓缩。本发明显著的效果在于建立了视频目标与地理场景的映射关系，增强了监控视频在地理场景中融合表达的效果，为视频地理场景信息一体化的快速检索与高效理解提供极大的便利。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“模块”或“平台”。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.一种虚拟视点优选的地理场景中多相机视频浓缩方法，其特征在于，包括以下步骤：

获取视频序列图像信息，并在视频图像和三维地理场景模型采集同名点对，获取所述同名点对的坐标数据，所述坐标数据包括图像坐标和地理坐标；

由同名点对的坐标数据，建立视频图像与地理空间的映射关系，定位相机视域；

通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合；

对所述可观测集合通过构建评价模型进行优选，获得虚拟视点组；

对所述可观测集合通过构建评价模型进行优选，获得虚拟视点组，具体包括以下步骤：

c1)记相机数量为L，相机的所有组合方式构成的集合记为M：

m_i＝{n_i,j}

其中，m_i指第i个相机组合模式，包含了这种组合方式下所有的相机组；n_i,j指相机组合方式m_i条件下的第j组相机，包含了该组所有的相机；指第i个相机组合模式下的第j个相机组中的第l个相机；

c2)通过界定距离阈值T_dis与角度阈值T_ang，对每种相机组合模式m_i中每个相机组n_i,j中所有相机求可观测域并求交；若某个相机组合方式m_i中所有相机组n_i,j中的任意数量的相机观测域交集均不为空，则记该相机组合方式m_i为一个可观测组合，否则记该相机组合方式m_i为一个不可观测组合；

c3)基于多相机视频目标轨迹数据，指定如下视频浓缩优化目标，实现对相机组的优选：

①同名目标跨相机表达连贯性，即单个目标出现过的视频相机以尽可能少的虚拟视点连贯表达；

②表达所有视频目标所使用的虚拟视点总数尽量少；

c4)以value综合评价该相机组合对应虚拟视点组的多相机视频目标表达效果：

其中，n_c表示相机总数，n_v表示虚拟视点个数，N表示视频运动对象总数，m_i表示每个视频运动目标所关联表达的虚拟视点个数，μ为权值参数；

c5)在距离阈值T_dis与角度阈值T_ang取值一定时，通过界定参数α，计算当前所有的相机可观测集合的value值，取最大值作为相机组合选取结果，进行虚拟场景中多相机视频浓缩；

预设运动目标的显示参数，根据所述显示参数进行多相机视频浓缩。

2.根据权利要求1所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法，其特征在于，所述视频图像为截取监控视频的第一帧图像。

3.根据权利要求2所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法，其特征在于，所述三维地理场景模型为根据真实地理场景量测信息构建的三维场景模型，所述视频图像和虚拟地理场景上采集同名点对的数量不少于三对，三对所述同名点对不全部共线。

4.根据权利要求3所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法，其特征在于，所述建立视频图像与地理空间的映射关系，定位相机视域包括以下步骤：

a1)预设给定像点图像空间坐标q，q所对应的物点地理空间坐标Q,将q与Q表达为齐次坐标形式：

q＝[x y 1]^T

Q＝[X Y Z 1]^T；

记单应矩阵M，则q与Q的关系为：

q＝MQ；

单应矩阵M的表达式为：

a2)求解每个图像中像点所对应物点的地理空间坐标：

a3)设当前摄像机网络中共有L个相机，则对于第k个相机(k＝1,2…L),其映射矩阵标记为M_k；界定地理空间中的每个相机位置为每个相机视域多边形的地理空间位置为

其中，相机位置视为地理空间中的一个点，相机视域多边形由o个边界点P_k,num顺序连接构成的多边形记录。

5.根据权利要求4所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法，其特征在于，所述定位相机视域的过程，选择虚拟视线距离与相机-虚拟视点夹角两个因素作为约束条件；

所述虚拟视线距离指虚拟视点与视域中某一点的地理空间距离；所述相机-虚拟视点夹角指以视域中给定点作为角点，计算所述给定点与虚拟视点、相机位置点在水平面投影所成夹角；

界定距离阈值T_dis与角度阈值T_ang作为约束条件，并假定距离阈值T_dis与角度阈值T_ang已经给出，在场景模型中寻找符合约束条件的区域作为虚拟视点范围。

6.根据权利要求5所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法，其特征在于，所述通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合包括以下步骤：

b1)记相机位置与相机视域多边形/>且/>距离中/>的最近线段为P_k,n1P_k,n2，最远线段为P_k,n3P_k,n4；

b2)分别以点P_k,n3,P_k,n4为圆心，距离阈值T_dis为半径，在线段P_k,n3P_k,n4朝向相机位置的一侧画半圆，取两个半圆在线段P_k,n1P_k,n2靠近相机位置/>一侧的交集区域，作为虚拟视点距离合理区域A_k,dis；

b3)分别以点P_k,n1,P_k,n2为角点，角度阈值T_ang为偏转角，正时针与逆时针分别偏转T_ang作四条射线，取四条射线向在线段P_k,n1P_k,n2靠近相机位置一侧的交集区域，作为虚拟视点角度合理区域A_k,ang；

b4)相机的虚拟视点范围A_k即为A_k,dis与A_k,ang的交集；

b5)记Obj为所有视频相机中所有视频运动目标的总集合；记第k个相机中有N_k个视频运动目标，每个视频运动目标的轨迹记为C_k,i，C_k,i的表达式如下：

Obj＝{C_k,i,(k＝1,2…L)}

C_k,i＝{I_k,i,j,P_k,i,j,(i＝1,2,…,N_k)(j＝1,2,…,n)}；

其中，L表示相机个数，I_k,i,j与P_k,i,j表示第k个相机中第i个视频运动目标在第j个视频帧中的子图与子图所处的地理空间位置经视频运动目标跨相机关联分析，归并单相机视频运动目标轨迹获得多相机视频运动目标轨迹实现多相机视频运动目标关联组织：

Cube_io＝{C_k1,i1,C_k2,i2…C_ko,iL,(k1,k2,…ko)∈(1,2…L)}；

其中，L_o表示监控视频网络中跨相机同名视频运动目标归并后的视频运动目标总数，Cube_io表示序号为io的视频运动目标在监控视频网络中的全局轨迹，表示序号为io的视频运动目标在第ko个相机中的子轨迹。

7.根据权利要求6所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法，其特征在于，所述预设运动目标的显示参数，根据所述显示参数进行多相机视频浓缩，包括以下步骤：

d1)记当前相机组合下，查看所有L个相机的视频运动目标共需要W个虚拟视点，W≤L；同时，设置视频运动目标子图在三维场景中显示的帧率fps，作为单个视频运动目标每秒显示子图的个数；设置对象显示间隔时间t₀，作为添加显示新视频运动目标的时间间隔；

d2)对于某个虚拟视点w，w≤W；首先显示第一个出现的运动对象O₀在地理空间轨迹T₀，并标识视频对象在不同相机间出现的先后顺序；

根据帧率fps对视频对象子图进行筛选，并将筛选出的视频对象子图对应的平面坐标转化为地理坐标，同时按照比例系数P_w、P_h对视频对象子图进行放缩，P_w、P_h计算公式如下：

其中是从视频对象子图库中随机选取适量子图的平均宽、高，把选取出的子图对应在原始视频帧中左上、左下、右上三点坐标映射到虚拟场景中对应的地理位置求得视频对象子图在三维空间中的长和高，/>是视频对象子图在虚拟场景中显示的平均长和高；

d3)在动态显示过程中根据帧率fps，在虚拟场景中的相机视域内显示O₀当前帧的视频对象子图于其对应的地理位置中，不再显示旧的视频对象子图；

在t₀,2t₀…,nt₀时刻，分别添加视频对象O₁,O₂…O_n动态表达于三维场景模型中，实现多相机视频对象浓缩。

8.根据权利要求7所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法，其特征在于，对于相机拍摄区域重叠产生的同一段对象轨迹由多个相机获得的情况，通过比较虚拟视点、对象轨迹点分别与两个相机位置三点连线的夹角，确定获得对象子图的相机：

相机a和相机b存在视域重叠部分C，对于通过视域C的视频对象，比较相机位置、轨迹点及虚拟视点V三点之间的夹角，即α和β的大小，如果α≤β，则使用相机a获取的视频对象子图，否则使用相机b获取的视频对象子图。

9.一种虚拟视点优选的地理场景中多相机视频浓缩***，采用如权利要求1至8任一项所述的虚拟视点优选的地理场景中多相机视频浓缩方法，其特征在于，该浓缩***包括：

同名点获取模块：用于获取视频序列图像信息，并在视频图像和三维地理场景模型采集同名点对，获取所述同名点对的坐标数据，所述坐标数据包括图像坐标和地理坐标；

映射关系构建模块：用于由同名点对的坐标数据，建立视频图像与地理空间的映射关系，定位相机视域；

相机组可观测集合生成模块：用于通过分析可观测距离与视线偏转角，构建相机观测域模型，生成相机组可观测集合；

虚拟视点组生成模块：用于对所述可观测集合通过构建评价模型进行优选，获得虚拟视点组；

视频目标时空运动表达模块：用于预设运动目标的显示参数，根据所述显示参数进行多相机视频浓缩。