CN113192125B - 虚拟视点优选的地理场景中多相机视频浓缩方法及*** - Google Patents
虚拟视点优选的地理场景中多相机视频浓缩方法及*** Download PDFInfo
- Publication number
- CN113192125B CN113192125B CN202110327605.1A CN202110327605A CN113192125B CN 113192125 B CN113192125 B CN 113192125B CN 202110327605 A CN202110327605 A CN 202110327605A CN 113192125 B CN113192125 B CN 113192125B
- Authority
- CN
- China
- Prior art keywords
- camera
- video
- virtual
- scene
- geographic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000013210 evaluation model Methods 0.000 claims abstract description 12
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008520 organization Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种虚拟视点优选的地理场景中多相机视频浓缩方法及***,通过获取视频序列图像信息,并在视频图像和三维地理场景模型采集同名点对,获取同名点对的坐标数据;由同名点对的坐标数据,建立视频图像与地理空间的映射关系,定位相机视域;通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合;对可观测集合通过构建评价模型进行优选,获得虚拟视点组;预设运动目标的显示参数,根据显示参数进行多相机视频浓缩。本发明显著的效果在于建立了视频目标与地理场景的映射关系,增强了监控视频在地理场景中融合表达的效果,为视频地理场景信息一体化的快速检索与高效理解提供极大的便利。
Description
技术领域
本发明涉及视频流与三维模型实时融合技术领域,具体涉及一种虚拟视点优选的地理场景中多相机视频浓缩方法及***。
背景技术
随着虚拟地理环境(VGE)对场景模拟仿真的准确性与实时性需求提升,多源异构数据被引入增强VGE的可视化表达与分析功能。其中,视频数据不仅能实现地理环境实景展现,也能描述地理场景中运动目标(行人、车辆等)时空运动。用户在VGE中观看视频时,虚拟视点一般都选在与相机原始地理位置相近的虚拟位置。
然而传统的虚拟视点选取方式往往在实际部署和使用中,会存在以下困难和问题:
第一,这种方式看单相机、短时长视频很便利,但如果场景中包含多路视频,并且相机视线方向各异,视域互不重叠、离散分布,则用户很难通过单个虚拟视点查看所有视频。而若给每路视频单独安排一个的虚拟视点逐个观看,会大规模提升观看时长,不利于用户快速查看视频内容。
第二,视频运动目标通常会先后在拍摄不同区域的相机中出现,对每路视频图像单独观看,无法表达运动目标在场景中的跨相机全局运动情况。
因此,如何在虚拟场景中有效选取少量虚拟视点快速观看多相机视频目标,展现视频目标的跨相机运动情况,成为一个亟待解决的技术问题。
发明内容
为此,本发明提供一种虚拟视点优选的地理场景中多相机视频浓缩方法及***,以解决现有技术中用户在VGE中观看视频时,虚拟视点一般都选在与相机原始地理位置相近的虚拟位置,这种方式看单相机、短时长视频很便利,但如果场景中包含多路视频,并且相机视线方向各异,视域互不重叠、离散分布,则用户很难通过单个虚拟视点查看所有视频;而若给每路视频单独安排一个的虚拟视点逐个观看,会大规模提升观看时长,不利于用户快速查看视频内容;另一方面,视频运动目标通常会先后在拍摄不同区域的相机中出现,对每路视频图像单独观看,无法表达运动目标在场景中的跨相机全局运动情况的问题。
为了实现上述目的,本发明提供如下技术方案:第一方面,提供一种虚拟视点优选的地理场景中多相机视频浓缩方法,包括以下步骤:
获取视频序列图像信息,并在视频图像和三维地理场景模型采集同名点对,获取所述同名点对的坐标数据,所述坐标数据包括图像坐标和地理坐标;
由同名点对的坐标数据,建立视频图像与地理空间的映射关系,定位相机视域;
通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合;
对所述可观测集合通过构建评价模型进行优选,获得虚拟视点组;
预设运动目标的显示参数,根据所述显示参数进行多相机视频浓缩。
作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案,所述视频图像为截取监控视频的第一帧图像。
作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案,所述三维地理场景模型为根据真实地理场景量测信息构建的三维场景模型,所述视频图像和虚拟地理场景上采集同名点对的数量不少于三对,三对所述同名点对不全部共线。
作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案,所述建立视频图像与地理空间的映射关系包括以下步骤:
a1)预设给定像点图像空间坐标q,q所对应的物点地理空间坐标Q,将q与Q表达为齐次坐标形式:
q=[x y 1]T
Q=[X Y Z 1]T;
记单应矩阵M,则q与Q的关系为:
q=MQ;
单应矩阵M的表达式为:
a2)求解每个图像中像点所对应物点的地理空间坐标:
a3)设当前摄像机网络中共有L个相机,则对于第k个相机(k=1,2…L),其映射矩阵标记为Mk;界定地理空间中的每个相机位置为每个相机视域多边形的地理空间位置为/>
其中,相机位置视为地理空间中的一个点,相机视域多边形由o个边界点Pk,num顺序连接构成的多边形记录。
作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案,所述定位相机视域的过程,选择虚拟视线距离与相机-虚拟视点夹角两个因素作为约束条件;
所述虚拟视线距离指虚拟视点与视域中某一点的地理空间距离;所述相机-虚拟视点夹角指以视域中给定点作为角点,计算所述给定点与虚拟视点、相机位置点在水平面投影所成夹角;
界定距离阈值Tdis与角度阈值Tang作为约束条件,并假定距离阈值Tdis与角度阈值Tang已经给出,在场景模型中寻找符合约束条件的区域作为虚拟视点范围。
作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案,所述通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合包括以下步骤:
b1)记相机位置与相机视域多边形/>且/>距离中/>的最近线段为Pk,n1Pk,n2,最远线段为Pk,n3Pk,n4;
b2)分别以点Pk,n3,Pk,n4为圆心,距离阈值Tdis为半径,在线段Pk,n3Pk,n4朝向相机位置的一侧画半圆,取两个半圆在线段Pk,n1Pk,n2靠近相机位置/>一侧的交集区域,作为虚拟视点距离合理区域Ak,dis;
b3)分别以点Pk,n1,Pk,n2为角点,角度阈值Tang为偏转角,正时针与逆时针分别偏转Tang作四条射线,取四条射线向在线段Pk,n1Pk,n2靠近相机位置一侧的交集区域,作为虚拟视点角度合理区域Ak,ang;
b4)相机的虚拟视点范围Ak即为Ak,dis与Ak,ang的交集;
b5)记Obj为所有视频相机中所有视频运动目标的总集合;记第k个相机中有Nk个视频运动目标,每个视频运动目标的轨迹记为Ck,i,Ck,i的表达式如下:
Obj={Ck,i,(k=1,2…L)}
Ck,i={Ik,i,j,Pk,i,j,(i=1,2,…,Nk)(j=1,2,…,n)};
其中,L表示相机个数,Ik,i,j与Pk,i,j表示第k个相机中第i个视频运动目标在第j个视频帧中的子图与子图所处的地理空间位置经视频运动目标跨相机关联分析,归并单相机视频运动目标轨迹获得多相机视频运动目标轨迹实现多相机视频运动目标关联组织:
Cubeio={Ck1,i1,Ck2,i2…Cko,iL,(k1,k2,…ko)∈(1,2…L)};
其中,Lo表示监控视频网络中跨相机同名视频运动目标归并后的视频运动目标总数,Cubeio表示序号为io的视频运动目标在监控视频网络中的全局轨迹,表示序号为io的视频运动目标在第ko个相机中的子轨迹。
作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案,对所述可观测集合通过构建评价模型进行优选,获得虚拟视点组,具体包括以下步骤:
c1)记相机数量为L,相机的所有组合方式构成的集合记为M:
mi={ni,j}
其中,mi指第i个相机组合模式,包含了这种组合方式下所有的相机组;ni,j指相机组合方式mi条件下的第j组相机,包含了该组所有的相机;指第i个相机组合模式下的第j个相机组中的第l个相机;
c2)通过界定距离阈值Tdis与角度阈值Tang,对每种相机组合模式mi中每个相机组ni,j中所有相机求可观测域并求交;若某个相机组合方式mi中所有相机组ni,j中的任意数量的相机观测域交集均不为空,则记该相机组合方式mi为一个可观测组合,否则记该相机组合方式mi为一个不可观测组合;
c3)基于多相机视频目标轨迹数据,指定如下视频浓缩优化目标,实现对相机组的优选:
①同名目标跨相机表达连贯性,即单个目标出现过的视频相机以尽可能少的虚拟视点连贯表达;
②表达所有视频目标所使用的虚拟视点总数尽量少;
c4)以value综合评价该相机组合对应虚拟视点组的多相机视频目标表达效果:
其中,nc表示相机总数,nv表示虚拟视点个数,N表示视频运动对象总数,mi表示每个视频运动目标所关联表达的虚拟视点个数,μ为权值参数;
c5)在距离阈值Tdis与角度阈值Tang取值一定时,通过界定参数α,计算当前所有的相机可观测集合的value值,取最大值作为相机组合选取结果,进行虚拟场景中多相机视频浓缩。
作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案,所述预设运动目标的显示参数,根据所述显示参数进行多相机视频浓缩,包括以下步骤:
d1)记当前相机组合下,查看所有L个相机的视频运动目标共需要W个虚拟视点(W≤L);同时,设置视频运动目标子图在三维场景中显示的帧率fps,作为单个视频运动目标每秒显示子图的个数;设置对象显示间隔时间t0,作为添加显示新视频运动目标的时间间隔;
d2)对于某个虚拟视点w(w≤W),首先显示第一个出现的运动对象O0在地理空间轨迹T0,并标识该视频对象在不同相机间出现的先后顺序;
根据帧率fps对视频对象子图进行筛选,并将筛选出的视频对象子图对应的平面坐标转化为地理坐标,同时按照比例系数Pw、Ph对视频对象子图进行放缩,Pw、Ph计算公式如下:
其中是从视频对象子图库中随机选取适量子图的平均宽、高,把选取出的子图对应在原始视频帧中左上、左下、右上三点坐标映射到虚拟场景中对应的地理位置求得视频对象子图在三维空间中的长和高,/>是视频对象子图在虚拟场景中显示的平均长和高;
d3)在动态显示过程中根据帧率fps,在虚拟场景中的相机视域内显示O0当前帧的视频对象子图于其对应的地理位置中,不再显示旧的视频对象子图;
在t0,2t0…,nt0时刻,分别添加视频对象O1,O2…On动态表达于三维场景模型中,实现多相机视频对象浓缩。
作为虚拟视点优选的地理场景中多相机视频浓缩方法的优选方案,对于相机拍摄区域重叠产生的同一段对象轨迹由多个相机获得的情况,通过比较虚拟视点、对象轨迹点分别与两个相机位置三点连线的夹角,确定获得对象子图的相机:
相机a和相机b存在视域重叠部分C,对于通过视域C的视频对象,比较相机位置、轨迹点及虚拟视点V三点之间的夹角,即α和β的大小,如果α≤β,则使用相机a获取的视频对象子图,否则使用相机b获取的视频对象子图。
第二方面,提供一种虚拟视点优选的地理场景中多相机视频浓缩***,采用第一方面或其任意可能实现方式的虚拟视点优选的地理场景中多相机视频浓缩方法,该浓缩***包括:
同名点获取模块:用于获取视频序列图像信息,并在视频图像和三维地理场景模型采集同名点对,获取所述同名点对的坐标数据,所述坐标数据包括图像坐标和地理坐标;
映射关系构建模块:用于由同名点对的坐标数据,建立视频图像与地理空间的映射关系,定位相机视域;
相机组可观测集合生成模块:用于通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合;
虚拟视点组生成模块:用于对所述可观测集合通过构建评价模型进行优选,获得虚拟视点组;
视频目标时空运动表达模块:用于预设运动目标的显示参数,根据所述显示参数进行多相机视频浓缩。
本发明具有如下优点:通过获取视频序列图像信息,并在视频图像和三维地理场景模型采集同名点对,获取同名点对的坐标数据,坐标数据包括图像坐标和地理坐标;由同名点对的坐标数据,建立视频图像与地理空间的映射关系,定位相机视域;通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合;对可观测集合通过构建评价模型进行优选,获得虚拟视点组;预设运动目标的显示参数,根据显示参数进行多相机视频浓缩。本发明显著的效果在于建立了视频目标与地理场景的映射关系,增强了监控视频在地理场景中融合表达的效果,为视频地理场景信息一体化的快速检索与高效理解提供极大的便利。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例中提供的VGE中多路视频集成表达示意图;
图2为本发明实施例中提供的一种虚拟视点优选的地理场景中多相机视频浓缩方法流程示意图;
图3为本发明实施例中提供的摄像机与地理空间坐标系、图像空间坐标系示意图;
图4(a)为本发明实施例中提供的虚拟视线距离示意图;
图4(b)为本发明实施例中提供的相机-虚拟视点夹角示意图;
图5(a)为本发明实施例中提供的相机至视频视域的最近/最远线段示意图;
图5(b)为本发明实施例中提供的虚拟视点距离合理区示意图;
图5(c)为本发明实施例中提供的虚拟视点角度合理区示意图;
图5(d)为本发明实施例中提供的虚拟视点角度和距离合理区示意图;
图6为本发明实施例中提供的可观察摄像机集示意图;
图7为本发明实施例中提供的地理场景中多相机视频目标浓缩示意图;
图8为本发明实施例中提供的相机视域重叠处理示意图;
图9为本发明实施例中提供的一种虚拟视点优选的地理场景中多相机视频浓缩***示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
参见图1,通过将视频引入VGE,以地理空间信息支持视频智能分析,可实现VGE中视频数据组织管理、空间映射、视频-场景融合表达等相关功能。
参见图2,提供一种虚拟视点优选的地理场景中多相机视频浓缩方法,包括以下步骤:
S1、获取视频序列图像信息,并在视频图像和三维地理场景模型采集同名点对,获取所述同名点对的坐标数据,所述坐标数据包括图像坐标和地理坐标;
S2、由同名点对的坐标数据,建立视频图像与地理空间的映射关系,定位相机视域;
S3、通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合;
S4、对所述可观测集合通过构建评价模型进行优选,获得虚拟视点组;
S5、预设运动目标的显示参数,根据所述显示参数进行多相机视频浓缩。
具体的,步骤S1中,所述视频图像为截取监控视频的第一帧图像。步骤S1中,所述三维地理场景模型为根据真实地理场景量测信息构建的三维场景模型,所述视频图像和虚拟地理场景上采集同名点对的数量不少于三对,三对所述同名点对不全部共线。
具体的,参见图3,示意出了摄像机与图像空间坐标系、地理空间坐标系的关系。记摄站中心记为C,图像空间坐标系记为OiXiYi,地理空间坐标系记为OgXgYgZg。步骤S2中,所述建立视频图像与地理空间的映射关系包括以下步骤:
a1)预设给定像点图像空间坐标q,q所对应的物点地理空间坐标Q,将q与Q表达为齐次坐标形式:
q=[x y 1]T
Q=[X Y Z 1]T;
记单应矩阵M,则q与Q的关系为:
q=MQ;
单应矩阵M的表达式为:
a2)由于M存在6个未知数,所以至少需要3组已知的像点图像空间坐标和物点地理空间坐标,实现M的求解。确定了M后,求解每个图像中像点所对应物点的地理空间坐标:
a3)设当前摄像机网络中共有L个相机,则对于第k个相机(k=1,2…L),其映射矩阵标记为Mk;在此基础上,界定地理空间中的每个相机位置为每个相机视域多边形的地理空间位置为/>
其中,相机位置视为地理空间中的一个点,相机视域多边形由o个边界点Pk,num顺序连接构成的多边形记录。
本实施例中,步骤S2中,所述定位相机视域的过程,选择虚拟视线距离与相机-虚拟视点夹角两个因素作为约束条件;
具体参见图4,所述虚拟视线距离指虚拟视点与视域中某一点的地理空间距离;所述相机-虚拟视点夹角指以视域中给定点作为角点,计算所述给定点与虚拟视点、相机位置点在水平面投影所成夹角;
界定距离阈值Tdis与角度阈值Tang作为约束条件,并假定距离阈值Tdis与角度阈值Tang已经给出,在此基础上,在场景模型中寻找符合约束条件的区域作为虚拟视点范围。
具体的,步骤S3中,所述通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合包括以下步骤:
b1)具体参见图5(a),记相机位置与相机视域多边形/>且/>距离中的最近线段为Pk,n1Pk,n2,最远线段为Pk,n3Pk,n4;
b2)具体参见图5(b),分别以点Pk,n3,Pk,n4为圆心,距离阈值Tdis为半径,在线段Pk, n3Pk,n4朝向相机位置的一侧画半圆,取两个半圆在线段Pk,n1Pk,n2靠近相机位置/>一侧的交集区域,作为虚拟视点距离合理区域Ak,dis;
b3)具体参见图5(c),分别以点Pk,n1,Pk,n2为角点,角度阈值Tang为偏转角,正时针与逆时针分别偏转Tang作四条射线,取四条射线向在线段Pk,n1Pk,n2靠近相机位置一侧的交集区域,作为虚拟视点角度合理区域Ak,ang;
b4)具体参见图5(d),相机的虚拟视点范围Ak即为Ak,dis与Ak,ang的交集;
b5)记Obj为所有视频相机中所有视频运动目标的总集合;记第k个相机中Nk个视频运动目标,每个视频运动目标的轨迹记为Ck,i,Ck,i的表达式如下:
Obj={Ck,i,(k=1,2…L)}
Ck,i={Ik,i,j,Pk,i,j,(i=1,2,…,Nk)(j=1,2,…,n)};
其中,L表示相机个数,Ik,i,j与Pk,i,j表示第k个相机中第i个视频运动目标在第j个视频帧中的子图与子图所处的地理空间位置经视频运动目标跨相机关联分析,归并单相机视频运动目标轨迹获得多相机视频运动目标轨迹实现多相机视频运动目标关联组织:
Cubeio={Ck1,i1,Ck2,i2…Cko,iL,(k1,k2,…ko)∈(1,2…L)};
其中,Lo表示监控视频网络中跨相机同名视频运动目标归并后的视频运动目标总数,Cubeio表示序号为io的视频运动目标在监控视频网络中的全局轨迹,表示序号为io的视频运动目标在第ko个相机中的子轨迹。
具体的,步骤S4中,对所述可观测集合通过构建评价模型进行优选,获得虚拟视点组,具体包括以下步骤:
c1)记相机数量为L,相机的所有组合方式构成的集合记为M:
mi={ni,j}
具体参见图6,其中,mi指第i个相机组合模式,包含了这种组合方式下所有的相机组;ni,j指相机组合方式mi条件下的第j组相机,包含了该组所有的相机;指第i个相机组合模式下的第j个相机组中的第l个相机;
c2)通过界定距离阈值Tdis与角度阈值Tang,对每种相机组合模式mi中每个相机组ni,j中所有相机求可观测域并求交;若某个相机组合方式mi中所有相机组ni,j中的任意数量的相机观测域交集均不为空,则记该相机组合方式mi为一个可观测组合,否则记该相机组合方式mi为一个不可观测组合;
c3)基于多相机视频目标轨迹数据,指定如下视频浓缩优化目标,实现对相机组的优选:
①同名目标跨相机表达连贯性,即单个目标出现过的视频相机以尽可能少的虚拟视点连贯表达;
②表达所有视频目标所使用的虚拟视点总数尽量少;
c4)以value综合评价该相机组合对应虚拟视点组的多相机视频目标表达效果:
其中,nc表示相机总数,nv表示虚拟视点个数,N表示视频运动对象总数,mi表示每个视频运动目标所关联表达的虚拟视点个数,μ为权值参数;
c5)在距离阈值Tdis与角度阈值Tang取值一定时,通过界定参数α,计算当前所有的相机可观测集合的value值,取最大值作为相机组合选取结果,进行虚拟场景中多相机视频浓缩。
具体参见图7,步骤S4基于可观测集合优选结果,在相机显示组合选定的条件下,以每个相机组可观测域的中心点作为虚拟视点,设置运动目标显示参数,进行多相机视频浓缩。
步骤S5中,所述预设运动目标的显示参数,根据所述显示参数进行多相机视频浓缩,包括以下步骤:
d1)记当前相机组合下,查看所有L个相机的视频运动目标共需要W个虚拟视点(W≤L);同时,设置视频运动目标子图在三维场景中显示的帧率fps,作为单个视频运动目标每秒显示子图的个数;设置对象显示间隔时间t0,作为添加显示新视频运动目标的时间间隔;
d2)对于某个虚拟视点w(w≤W),首先显示第一个出现的运动对象O0在地理空间轨迹T0,并标识该视频对象在不同相机间出现的先后顺序;
根据帧率fps对视频对象子图进行筛选,并将筛选出的视频对象子图对应的平面坐标转化为地理坐标,同时按照比例系数Pw、Ph对视频对象子图进行放缩,Pw、Ph计算公式如下:
其中是从视频对象子图库中随机选取适量子图的平均宽、高,把选取出的子图对应在原始视频帧中左上、左下、右上三点坐标映射到虚拟场景中对应的地理位置求得视频对象子图在三维空间中的长和高,/>是视频对象子图在虚拟场景中显示的平均长和高;
d3)在动态显示过程中根据帧率fps,在虚拟场景中的相机视域内显示O0当前帧的视频对象子图于其对应的地理位置中,不再显示旧的视频对象子图;
另一方面,在t0,2t0…,nt0时刻,分别添加视频对象O1,O2…On动态表达于三维场景模型中,实现多相机视频对象浓缩。
具体的,步骤S5中,对于相机拍摄区域重叠产生的同一段对象轨迹由多个相机获得的情况,通过比较虚拟视点、对象轨迹点分别与两个相机位置三点连线的夹角,确定获得对象子图的相机:
具体参见图8,相机a和相机b存在视域重叠部分C,对于通过视域C的视频对象,比较相机位置、轨迹点及虚拟视点V三点之间的夹角,即α和β的大小,如果α≤β,则使用相机a获取的视频对象子图,否则使用相机b获取的视频对象子图。
实施例2
参见图9,本发明还提供一种虚拟视点优选的地理场景中多相机视频浓缩***,采用实施例1或其任意可能实现方式的虚拟视点优选的地理场景中多相机视频浓缩方法,该浓缩***包括:
同名点获取模块1:用于获取视频序列图像信息,并在视频图像和三维地理场景模型采集同名点对,获取所述同名点对的坐标数据,所述坐标数据包括图像坐标和地理坐标;
映射关系构建模块2:用于由同名点对的坐标数据,建立视频图像与地理空间的映射关系,定位相机视域;
相机组可观测集合生成模块3:用于通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合;
虚拟视点组生成模块4:用于对所述可观测集合通过构建评价模型进行优选,获得虚拟视点组;
具体的,通过构建视频图像可视域模型,描述虚拟场景中每个相机可以被有效观测的范围,继而生成虚拟视点,查看视频运动目标在多相机地理场景中全局运动情况;在相机观测域模型的基础上,对相机可观测集合进行穷举,优选出视频目标信息表达效果最佳的组合,作为虚拟视点生成区域;
视频目标时空运动表达模块5:用于预设运动目标的显示参数,根据所述显示参数进行多相机视频浓缩。
具体的,基于可观测集合优选结果,在相机显示组合选定的条件下,以每个相机组可观测域的中心点作为虚拟视点,设置运动目标显示参数,进行多相机视频浓缩。
需要说明的是,上述虚拟视点优选的地理场景中多相机视频浓缩***各模块/单元之间的信息交互、执行过程等内容,由于与本申请实施例中的方法实施例基于同一构思,其带来的技术效果与本申请方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述。
本发明通过获取视频序列图像信息,并在视频图像和三维地理场景模型采集同名点对,获取同名点对的坐标数据,坐标数据包括图像坐标和地理坐标;由同名点对的坐标数据,建立视频图像与地理空间的映射关系,定位相机视域;通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合;对可观测集合通过构建评价模型进行优选,获得虚拟视点组;预设运动目标的显示参数,根据显示参数进行多相机视频浓缩。本发明显著的效果在于建立了视频目标与地理场景的映射关系,增强了监控视频在地理场景中融合表达的效果,为视频地理场景信息一体化的快速检索与高效理解提供极大的便利。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为***、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“模块”或“平台”。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (9)
1.一种虚拟视点优选的地理场景中多相机视频浓缩方法,其特征在于,包括以下步骤:
获取视频序列图像信息,并在视频图像和三维地理场景模型采集同名点对,获取所述同名点对的坐标数据,所述坐标数据包括图像坐标和地理坐标;
由同名点对的坐标数据,建立视频图像与地理空间的映射关系,定位相机视域;
通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合;
对所述可观测集合通过构建评价模型进行优选,获得虚拟视点组;
对所述可观测集合通过构建评价模型进行优选,获得虚拟视点组,具体包括以下步骤:
c1)记相机数量为L,相机的所有组合方式构成的集合记为M:
mi={ni,j}
其中,mi指第i个相机组合模式,包含了这种组合方式下所有的相机组;ni,j指相机组合方式mi条件下的第j组相机,包含了该组所有的相机;指第i个相机组合模式下的第j个相机组中的第l个相机;
c2)通过界定距离阈值Tdis与角度阈值Tang,对每种相机组合模式mi中每个相机组ni,j中所有相机求可观测域并求交;若某个相机组合方式mi中所有相机组ni,j中的任意数量的相机观测域交集均不为空,则记该相机组合方式mi为一个可观测组合,否则记该相机组合方式mi为一个不可观测组合;
c3)基于多相机视频目标轨迹数据,指定如下视频浓缩优化目标,实现对相机组的优选:
①同名目标跨相机表达连贯性,即单个目标出现过的视频相机以尽可能少的虚拟视点连贯表达;
②表达所有视频目标所使用的虚拟视点总数尽量少;
c4)以value综合评价该相机组合对应虚拟视点组的多相机视频目标表达效果:
其中,nc表示相机总数,nv表示虚拟视点个数,N表示视频运动对象总数,mi表示每个视频运动目标所关联表达的虚拟视点个数,μ为权值参数;
c5)在距离阈值Tdis与角度阈值Tang取值一定时,通过界定参数α,计算当前所有的相机可观测集合的value值,取最大值作为相机组合选取结果,进行虚拟场景中多相机视频浓缩;
预设运动目标的显示参数,根据所述显示参数进行多相机视频浓缩。
2.根据权利要求1所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法,其特征在于,所述视频图像为截取监控视频的第一帧图像。
3.根据权利要求2所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法,其特征在于,所述三维地理场景模型为根据真实地理场景量测信息构建的三维场景模型,所述视频图像和虚拟地理场景上采集同名点对的数量不少于三对,三对所述同名点对不全部共线。
4.根据权利要求3所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法,其特征在于,所述建立视频图像与地理空间的映射关系,定位相机视域包括以下步骤:
a1)预设给定像点图像空间坐标q,q所对应的物点地理空间坐标Q,将q与Q表达为齐次坐标形式:
q=[x y 1]T
Q=[X Y Z 1]T;
记单应矩阵M,则q与Q的关系为:
q=MQ;
单应矩阵M的表达式为:
a2)求解每个图像中像点所对应物点的地理空间坐标:
a3)设当前摄像机网络中共有L个相机,则对于第k个相机(k=1,2…L),其映射矩阵标记为Mk;界定地理空间中的每个相机位置为每个相机视域多边形的地理空间位置为
其中,相机位置视为地理空间中的一个点,相机视域多边形由o个边界点Pk,num顺序连接构成的多边形记录。
5.根据权利要求4所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法,其特征在于,所述定位相机视域的过程,选择虚拟视线距离与相机-虚拟视点夹角两个因素作为约束条件;
所述虚拟视线距离指虚拟视点与视域中某一点的地理空间距离;所述相机-虚拟视点夹角指以视域中给定点作为角点,计算所述给定点与虚拟视点、相机位置点在水平面投影所成夹角;
界定距离阈值Tdis与角度阈值Tang作为约束条件,并假定距离阈值Tdis与角度阈值Tang已经给出,在场景模型中寻找符合约束条件的区域作为虚拟视点范围。
6.根据权利要求5所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法,其特征在于,所述通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合包括以下步骤:
b1)记相机位置与相机视域多边形/>且/>距离中/>的最近线段为Pk,n1Pk,n2,最远线段为Pk,n3Pk,n4;
b2)分别以点Pk,n3,Pk,n4为圆心,距离阈值Tdis为半径,在线段Pk,n3Pk,n4朝向相机位置的一侧画半圆,取两个半圆在线段Pk,n1Pk,n2靠近相机位置/>一侧的交集区域,作为虚拟视点距离合理区域Ak,dis;
b3)分别以点Pk,n1,Pk,n2为角点,角度阈值Tang为偏转角,正时针与逆时针分别偏转Tang作四条射线,取四条射线向在线段Pk,n1Pk,n2靠近相机位置一侧的交集区域,作为虚拟视点角度合理区域Ak,ang;
b4)相机的虚拟视点范围Ak即为Ak,dis与Ak,ang的交集;
b5)记Obj为所有视频相机中所有视频运动目标的总集合;记第k个相机中有Nk个视频运动目标,每个视频运动目标的轨迹记为Ck,i,Ck,i的表达式如下:
Obj={Ck,i,(k=1,2…L)}
Ck,i={Ik,i,j,Pk,i,j,(i=1,2,…,Nk)(j=1,2,…,n)};
其中,L表示相机个数,Ik,i,j与Pk,i,j表示第k个相机中第i个视频运动目标在第j个视频帧中的子图与子图所处的地理空间位置经视频运动目标跨相机关联分析,归并单相机视频运动目标轨迹获得多相机视频运动目标轨迹实现多相机视频运动目标关联组织:
Cubeio={Ck1,i1,Ck2,i2…Cko,iL,(k1,k2,…ko)∈(1,2…L)};
其中,Lo表示监控视频网络中跨相机同名视频运动目标归并后的视频运动目标总数,Cubeio表示序号为io的视频运动目标在监控视频网络中的全局轨迹,表示序号为io的视频运动目标在第ko个相机中的子轨迹。
7.根据权利要求6所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法,其特征在于,所述预设运动目标的显示参数,根据所述显示参数进行多相机视频浓缩,包括以下步骤:
d1)记当前相机组合下,查看所有L个相机的视频运动目标共需要W个虚拟视点,W≤L;同时,设置视频运动目标子图在三维场景中显示的帧率fps,作为单个视频运动目标每秒显示子图的个数;设置对象显示间隔时间t0,作为添加显示新视频运动目标的时间间隔;
d2)对于某个虚拟视点w,w≤W;首先显示第一个出现的运动对象O0在地理空间轨迹T0,并标识视频对象在不同相机间出现的先后顺序;
根据帧率fps对视频对象子图进行筛选,并将筛选出的视频对象子图对应的平面坐标转化为地理坐标,同时按照比例系数Pw、Ph对视频对象子图进行放缩,Pw、Ph计算公式如下:
其中是从视频对象子图库中随机选取适量子图的平均宽、高,把选取出的子图对应在原始视频帧中左上、左下、右上三点坐标映射到虚拟场景中对应的地理位置求得视频对象子图在三维空间中的长和高,/>是视频对象子图在虚拟场景中显示的平均长和高;
d3)在动态显示过程中根据帧率fps,在虚拟场景中的相机视域内显示O0当前帧的视频对象子图于其对应的地理位置中,不再显示旧的视频对象子图;
在t0,2t0…,nt0时刻,分别添加视频对象O1,O2…On动态表达于三维场景模型中,实现多相机视频对象浓缩。
8.根据权利要求7所述的一种虚拟视点优选的地理场景中多相机视频浓缩方法,其特征在于,对于相机拍摄区域重叠产生的同一段对象轨迹由多个相机获得的情况,通过比较虚拟视点、对象轨迹点分别与两个相机位置三点连线的夹角,确定获得对象子图的相机:
相机a和相机b存在视域重叠部分C,对于通过视域C的视频对象,比较相机位置、轨迹点及虚拟视点V三点之间的夹角,即α和β的大小,如果α≤β,则使用相机a获取的视频对象子图,否则使用相机b获取的视频对象子图。
9.一种虚拟视点优选的地理场景中多相机视频浓缩***,采用如权利要求1至8任一项所述的虚拟视点优选的地理场景中多相机视频浓缩方法,其特征在于,该浓缩***包括:
同名点获取模块:用于获取视频序列图像信息,并在视频图像和三维地理场景模型采集同名点对,获取所述同名点对的坐标数据,所述坐标数据包括图像坐标和地理坐标;
映射关系构建模块:用于由同名点对的坐标数据,建立视频图像与地理空间的映射关系,定位相机视域;
相机组可观测集合生成模块:用于通过分析可观测距离与视线偏转角,构建相机观测域模型,生成相机组可观测集合;
虚拟视点组生成模块:用于对所述可观测集合通过构建评价模型进行优选,获得虚拟视点组;
视频目标时空运动表达模块:用于预设运动目标的显示参数,根据所述显示参数进行多相机视频浓缩。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110327605.1A CN113192125B (zh) | 2021-03-26 | 2021-03-26 | 虚拟视点优选的地理场景中多相机视频浓缩方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110327605.1A CN113192125B (zh) | 2021-03-26 | 2021-03-26 | 虚拟视点优选的地理场景中多相机视频浓缩方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113192125A CN113192125A (zh) | 2021-07-30 |
CN113192125B true CN113192125B (zh) | 2024-02-20 |
Family
ID=76974146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110327605.1A Active CN113192125B (zh) | 2021-03-26 | 2021-03-26 | 虚拟视点优选的地理场景中多相机视频浓缩方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113192125B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113840159B (zh) * | 2021-09-26 | 2024-07-16 | 北京沃东天骏信息技术有限公司 | 视频处理方法、装置、计算机***及可读存储介质 |
CN114067071B (zh) * | 2021-11-26 | 2022-08-30 | 湖南汽车工程职业学院 | 一种基于大数据的高精地图制作*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013033442A1 (en) * | 2011-08-30 | 2013-03-07 | Digimarc Corporation | Methods and arrangements for identifying objects |
CN110009561A (zh) * | 2019-04-10 | 2019-07-12 | 南京财经大学 | 一种监控视频目标映射到三维地理场景模型的方法及*** |
CN110148223A (zh) * | 2019-06-03 | 2019-08-20 | 南京财经大学 | 三维地理场景模型中监控视频目标浓缩表达方法及*** |
CN110516014A (zh) * | 2019-01-18 | 2019-11-29 | 南京泛在地理信息产业研究院有限公司 | 一种面向城市道路监控视频映射到二维地图的方法 |
CN111161130A (zh) * | 2019-11-25 | 2020-05-15 | 北京智汇云舟科技有限公司 | 一种基于三维地理信息的视频矫正方法 |
CN111582022A (zh) * | 2020-03-26 | 2020-08-25 | 深圳大学 | 一种移动视频与地理场景的融合方法、***及电子设备 |
CN112381935A (zh) * | 2020-09-29 | 2021-02-19 | 西安应用光学研究所 | 一种合成视觉生成及多元融合装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2471231C1 (ru) * | 2011-09-30 | 2012-12-27 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры |
-
2021
- 2021-03-26 CN CN202110327605.1A patent/CN113192125B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013033442A1 (en) * | 2011-08-30 | 2013-03-07 | Digimarc Corporation | Methods and arrangements for identifying objects |
CN110516014A (zh) * | 2019-01-18 | 2019-11-29 | 南京泛在地理信息产业研究院有限公司 | 一种面向城市道路监控视频映射到二维地图的方法 |
CN110009561A (zh) * | 2019-04-10 | 2019-07-12 | 南京财经大学 | 一种监控视频目标映射到三维地理场景模型的方法及*** |
CN110148223A (zh) * | 2019-06-03 | 2019-08-20 | 南京财经大学 | 三维地理场景模型中监控视频目标浓缩表达方法及*** |
CN111161130A (zh) * | 2019-11-25 | 2020-05-15 | 北京智汇云舟科技有限公司 | 一种基于三维地理信息的视频矫正方法 |
CN111582022A (zh) * | 2020-03-26 | 2020-08-25 | 深圳大学 | 一种移动视频与地理场景的融合方法、***及电子设备 |
CN112381935A (zh) * | 2020-09-29 | 2021-02-19 | 西安应用光学研究所 | 一种合成视觉生成及多元融合装置 |
Non-Patent Citations (2)
Title |
---|
Jianqing Zhu ; Shengcai Liao ; Stan Z. Li.Multicamera Joint Video Synopsis.IEEE Transactions on Circuits and Systems for Video Technology.2015,全文. * |
地理场景中监控视频浓缩方法研究;解愉嘉;中国博士学位论文全文数据库 信息科技辑;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113192125A (zh) | 2021-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7371924B2 (ja) | 映像監視システム、映像監視方法、及びプログラム | |
AU2019281667B2 (en) | Data collection and model generation method for house | |
CN109348119B (zh) | 一种全景监控*** | |
US7522186B2 (en) | Method and apparatus for providing immersive surveillance | |
KR102239530B1 (ko) | 복수의 카메라로부터 뷰를 결합하는 방법 및 카메라 시스템 | |
EP2553924B1 (en) | Effortless navigation across cameras and cooperative control of cameras | |
CN112053446A (zh) | 一种基于三维gis的实时监控视频与三维场景融合方法 | |
CN113192125B (zh) | 虚拟视点优选的地理场景中多相机视频浓缩方法及*** | |
CN109691084A (zh) | 信息处理装置和方法以及程序 | |
US20100103173A1 (en) | Real time object tagging for interactive image display applications | |
JP2015521419A (ja) | コンピュータ生成された3次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステム | |
CN103795976A (zh) | 一种全时空立体可视化方法 | |
CN103226838A (zh) | 地理场景中移动监控目标的实时空间定位方法 | |
CN101021669A (zh) | 全视场成像与显示方法与*** | |
Jian et al. | Augmented virtual environment: fusion of real-time video and 3D models in the digital earth system | |
CN107957772A (zh) | 现实场景中采集vr 图像的处理方法以及实现vr 体验的方法 | |
US20200183958A1 (en) | User interaction event data capturing system for use with aerial spherical imagery | |
CN114387679A (zh) | 基于递归卷积神经网络实现视线估计与注意力分析的***及其方法 | |
Aron et al. | Use of inertial sensors to support video tracking | |
de Haan et al. | Spatial navigation for context-aware video surveillance | |
JP5213883B2 (ja) | 合成表示装置 | |
Kollert et al. | Mapping of 3D eye-tracking in urban outdoor environments | |
Rieffel et al. | Geometric tools for multicamera surveillance systems | |
KR20160099933A (ko) | 3차원 지형 지물을 고려한 cctv 가시권 분석방법 | |
CN108510433B (zh) | 空间展示方法、装置及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |