CN114827570A - 一种基于三维场景的视频态势感知与信息融合方法及电子设备 - Google Patents
一种基于三维场景的视频态势感知与信息融合方法及电子设备 Download PDFInfo
- Publication number
- CN114827570A CN114827570A CN202110060458.6A CN202110060458A CN114827570A CN 114827570 A CN114827570 A CN 114827570A CN 202110060458 A CN202110060458 A CN 202110060458A CN 114827570 A CN114827570 A CN 114827570A
- Authority
- CN
- China
- Prior art keywords
- video
- target
- camera
- scene
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 10
- 230000008447 perception Effects 0.000 title abstract description 9
- 238000012544 monitoring process Methods 0.000 claims abstract description 155
- 238000004458 analytical method Methods 0.000 claims abstract description 46
- 230000004927 fusion Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 22
- 230000003068 static effect Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 12
- 239000011800 void material Substances 0.000 claims description 12
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 8
- 238000007726 management method Methods 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 4
- 206010044565 Tremor Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及视频空间匹配、视频智能识别和态势空间融合技术领域，具体涉及一种基于三维场景的视频态势感知与信息融合方法及电子设备，包含监控场景动态三维建模、场景与目标摄机规划部署、视频时间同步/去抖/畸变矫正处理、场景摄机位姿解算与空间匹配、视频图像监测区域分割、视频态势识别解析、视频态势三维融合、多源态势信息三维融合和全景态势监控等步骤，实现监控视频影像与监控区域三维模型的精确匹配、智能视频态势识别解析成果与动态三维空间模型的融合展示，进而接入管理、监控和设备等***的态势信息，实现全景融合态势监控和热点巡视、任务联动和报警联动模式的智能数据调度展示、设备联动控制，实现监控***“全动态三维展示、全要素视频解析、全维度信息融合、全智能态势监控”的技术体系升级和应用模式创新。
Description
技术领域
本发明涉及综合态势智能感知和视频三维定位技术领域，具体涉及一种基于三维场景的视频态势感知与信息融合方法及电子设备。
背景技术
视频监控作为空间态势感知的直接手段，其技术深化和应用提升是智慧监控规划建设的焦点之一。摄机作为视觉传感器，可获取监控三维物理空间局部区域的二维动态实景纹理影像，现有视频监控技术已完成全系列摄机产品、存储传输网络，智能化应用方向已完成基于纹理特征智能分析的视频结构化。因二维视频影像与三维空间尚未有***、成熟的高精度空间匹配与应用技术，在城市、园区、场站、工厂等区域场景的空间态势感知与管控应用中，难以实现智能视频识别目标的精确空间定位、其他监控***信息的精确空间融合和监控区域的全维态势监控，制约监控***的技术体系升级和应用模式创新。
发明内容
针对现有技术的不足，本发明公开了一种基于三维场景的视频态势感知与信息融合方法及电子设备，用于实现监控视频影像与监控区域三维模型的精确匹配、智能视频态势识别解析成果与动态三维空间模型的融合展示，进而接入管理、监控和设备等***的态势信息，实现全景融合态势监控和热点巡视、任务联动和报警联动模式的智能数据调度展示、设备联动控制，实现监控***“全动态三维展示、全要素视频解析、全维度信息融合、全智能态势监控”的技术体系升级和应用模式创新。
本发明通过以下技术方案予以实现：
第一方面，本发明公开一种基于三维场景的视频态势感知与信息融合方法，包括以下步骤：
S1以多源态势信息的空间匹配和动态展示为目的，采集制作监控区域的动态三维空间模型；
S2以监控区域的视频态势识别解析为目的，规划部署场景摄机与目标摄机；
S3对摄机视频进行时间同步、去抖、畸变矫正处理；
S4对场景摄机进行位姿解算及空间匹配；
S5对场景摄机视频进行区域分割处理，单路摄机分割各类目标的监测区域，多路摄机分割同类目标的重叠监测区域；
S6对场景摄机视频进行态势识别解析，获取指定监测区域的指定监测目标及其位置、状态、跟踪轨迹、区域热度图和标签信息；
S7将视频态势识别解析信息与三维动态空间模型匹配融合；
S8将管理、监控和设备***等多源态势信息，与动态三维空间模型及视频态势信息匹配融合；
S9配置热点巡视、任务联动和报警联动等模式的智能数据调度展示、设备联动控制。
更进一步的，所述S1中，所述的采集制作动态三维空间模型，是通过摄影测量、激光雷达扫描、现场拍照和建筑工程设计资料，采用多种空间数据加工技术，制作适用管控场景和业务需求的多种空间精度、视觉效果和制作成本的三维空间模型，包括空间、建筑、设施等的静态三维模型，人员、车辆、设备等的动态三维模型。为展示全域场景的空间态势，立柱、站房等有空间遮挡的建筑结构和设施设备等做透明处理；为展示监测目标的精细态势，人员动态模型包括站、坐、走、跑、跌倒等状态，设备动态模型包括开关、动作等状态，实现监控区域的全动态三维展示。
更进一步的，所述S2中，所述的规划部署场景摄机与目标摄机的原则为：一般地，场景摄机选用高清枪机或全景摄机，其有效监测区域应静态覆盖监控区域以识别解析获取全域的视频态势；目标摄机选用PTZ球机，其有效监视区域应动态覆盖监控区域以跟踪获取全域的监测目标精细影像。
更进一步的，所述S3中，所述的时间同步处理是对没有时间同步***的同一区域多路视频进行时间同步修订，以保证该区域视频态势及联动控制的时间一致性，步骤为：
S3a：选取同一区域全部摄机有动态目标穿越相邻场景摄机重叠视域和场景摄机与目标摄机重叠视域的标定视频；
S3b：提取动态目标在摄机重叠视域同一位置的标定视频帧，记录各摄机ID及其视频帧时间戳，以延时最小的摄机视频的时间戳为参考时间计算各摄机时间同步补偿值；
S3c：重复S3a～S3b若干次，计算各摄机时间同步补偿值的平均值；
S3d：修订各摄机时间同步补偿后的视频时间戳，获取时间同步的视频帧。
所述的去抖处理是消除场景摄机振动、抖动造成的视域变化，保证后续摄机位姿解算和空间匹配的精度，步骤为：
S3e：选取场景视频基准帧，提取基准帧中的特征点集；
S3f：读取场景视频当前帧，使用光流法提取基准帧特征点集在当前帧中的对应特征点集；
S3g：通过基准帧和当前帧的特征点集，计算变换矩阵：
计算抖动补偿参数，并生成去抖变换矩阵H′：
dx′＝b1+x-xcur
dy′＝b2+y-ycur
S3h：计算当前帧所有像素点去抖变换后的坐标，生成去抖的当前帧。
所述的畸变矫正处理是消除场景摄机镜头制造和组装精度造成的图像形变，保证后续摄机位姿解算和空间匹配的精度，步骤为：
S3i：选取S3e-S3h消抖处理的场景视频基准帧，计算像素坐标到畸变中心的距离：
(x，y)为像素坐标，(xc，yc)为畸变中心坐标
计算畸变修正量L(r)：
L(r)＝1+k1r2+k2r4
S3j：读取场景视频当前帧，计算所有像素点修正后的坐标
生成畸变矫正的当前帧：
更进一步的，所述S4中，所述的场景摄机位姿解算是指通过若干组三维模型中的已知三维坐标(3D点)与视频图像中对应的像素匹配点对(2D点)，获取场景摄机的位置坐标和姿态并验证结果精度，步骤为：
S4a：选取S3处理的场景摄机视频标定帧，提取若干组三维模型中的已知三维坐标(3D点)与视频图像中对应的像素匹配点对(2D 点)；
S4b：将所有3D-2D点对数据随机分为80％的位姿解算数据集及 20％的精度检验数据集；
S4c：通过位姿解算数据集计算场景摄机的外参矩阵R，T和地主点坐标P(X，Y，Z)；
S4d：拟合视频图像目标定位点的高程，确定高程拟合参数；
S4e：通过精度检验数据集计算场景摄机外参矩阵R，T参数的精度，如果平均距离误差小于最长边的2％，则输出计算结果，否则重复S4b-S4e。
更进一步的，所述S4c中，通过匹配点对计算外参矩阵R，T的过程为：
假设空间点P的齐次坐标为PT＝(X，Y，Z，1)，P在图像上的投影坐标为pT＝(x，y，1)。
依据3D-2D点对的映射关系：
变形后为：
令：
得：
假设从图像中提取了N个特征点，使用矩阵形式表示如下：
据此可求解相机的位姿矩阵
分解可得R，T。
更进一步的，所述S4d中，拟合视频图像的高程可以表达平面- 地面、斜面-步梯、楼梯等各种三维曲面，过程为：
通过多项式：
h(x，y)＝a1x2+a2y2+a3xy+a4x+a5y+a6
依据2D点坐标和3D点高程进行多项式拟合，其中，(x，y)为图像坐标，h(x，y)为坐标点对应的高程，将所有匹配点整理成矩阵形式如下：
其中AT＝[a1 a2 a3 a4 a5 a6]是代求的系数矩阵，其它为已知量。使用最小二乘法计算上式，可以得到最优的多项式系数解。则可以得到图像坐标和高程之间的关系。
更进一步的，所述S4e中，计算外参矩阵R，T参数误差计算公式如下：
d≤L×2％
更进一步的，所述S4中，所述的空间匹配是指场景摄机视频图像的空间位置解析，即通过摄机的位姿参数，将选定目标定位点在视频图像中的像素坐标，计算转换为三维空间模型中的经纬坐标。
由于场景摄机部署方案属于单目相机，图像中的目标缺少深度信息，只能计算出像素坐标系中对应的射线，无法确定射线长度对应的深度坐标，因此需要根据通过多项式拟合出的高程信息作为像素深度信息，进行经纬坐标计算，步骤为：
S4f：获取S3处理的场景摄机视频图像，将目标定位点在视频图像中的像素坐标(x，y)转换为地面摄影测量坐标PT＝(X，Y，H)；
S4g：将目标定位点的地面摄影测量坐标PT＝(X，Y，H)转换为三维空间模型的经纬坐标(Longitude，Latitude，H)。
更进一步的，所述S4f中，视频图像像素坐标转换为地面摄影测量坐标系的步骤为：
S4f1：依据S4d计算的高程拟合参数，计算目标定位点像素坐标 (x，y)的高程H：
H＝h(x，y)
S4f2：依据S4e计算的场景摄机外参矩阵R，T，按成像原理计算目标定位点像素坐标(x，y)对应的地面摄影测量坐标PT＝(X，Y，H)：
更进一步的，所述S4g中，地面摄影测量坐标转换为三维空间模型经纬坐标的步骤为：
S4g1：根据监控区域的场景及位置，选择投影坐标系。
考虑视频态势监控应用场景较为精细且定位精度要求高，因此选择高斯-克吕格3度分带投影，根据监控区域位置确定投影带带号。
高斯-克吕格3度分带投影从东京1°30′起，每3°为一带，将全球划分为120个投影带，东半球(东经)有60个投影带，编号1-60。各带中央经线计算公式为：
L0＝3°×n
西半球(西经)有60个投影带，编号61-120。各带中央经线计算公式为：
L0＝360°-3°×n
高斯-克吕格投影带内布置了平面直角坐标***，具体方法是，规定中央经线为X轴，赤道为Y轴，中央经线与赤道交点为坐标原点，x值在北半球为正，南半球为负，y值在中央经线以东为正，中央经线以西为负
S4g2：依据选择的投影带计算目标定位点的地面摄影测量坐标 PT＝(X，Y，H)对应的三维空间模型的经纬坐标 (Longitude，Latitude，H)。
地面摄影测量坐标系的坐标在高斯-克吕格投影坐标系的坐标计算公式为：
更进一步的，所述S5中，所述的场景摄机视频区域分割处理包括单路摄机的各类目标监测区域分割和多路摄机的同类目标重叠监测区域分割，以提高后续的视频态势识别解析的速度和降低所需的硬件运算资源。
所述的单路摄机的各类目标监测区域分割是将每路场景摄机视频图像根据监测目标及其区域进行分割，并指定目标类型及其算法，去除非监测区域的背景图像，步骤为：
S5a：获取S3处理的场景摄机视频图像，根据管控任务需要，使用任意多边形圈定各类目标的监测区域；
S5b：记录摄机ID及其监测区域、目标类型、识别算法、刷新频率、标签信息，输出视频态势分析配置表。
所述的多路摄机的重叠监测区域分割是将相邻场景摄机视域重叠的同类目标监测区域进一步分割裁剪，去除监测区域的重叠图像。优先考虑视频态势监测的识别分辨率和定位精度，在摄机相同的像素和焦距参数下，靠近摄机地主点区域的目标像素和定位精度大于远离地主点区域，可根据相邻摄机重叠监测区域到地主点的距离确定分割线，进一步裁剪每路摄机的监测区域并实现区域多路摄机监测区域的无缝衔接覆盖，步骤为：
S5c：依据视频态势分析配置表，获取S3处理的有同类目标监测区域重叠的相邻场景摄机视频图像；
S5d：依据S4e计算的两个摄机像地主点坐标Pi(Xi，Yi，Zi)，i为摄机编号，计算重叠区域分割方程g(X，Y，Z)：
g(X，Y，Z)＝D1-D2
将重叠区域的坐标带入分割方程，g(X，Y，Z)＜0的区域属于摄机1，g(X，Y，Z)＞0的区域属于摄机2，g(X，Y，Z)＝0代表的曲线即为分割线。
S5e：依据分割线，每路摄机视频图像裁剪保留距离最近的监测区域，并更新视频态势分析配置表。
更进一步的，所述S6中，所述的场景摄机视频态势识别解析是指根据视频态势分析配置表，通过深度卷积网络等智能识别分析技术，获取各监测区域的各监测目标及其位置、状态、跟踪轨迹和区域热度图、标签信息，包括人员、车辆等动态目标态势和电梯、道闸等静态目标态势，实现全要素视频态解析。
所述的获取动态监测目标区域热度图的步骤为：
S6a：依据S5输出的视频态势分析配置表，调取S3处理的指定场景摄机视频图像；
S6b：调用指定算法识别提取场景摄机视频指定监测区域的指定目标及其定位点像素坐标；
S6c：依据S4换算各目标定位点经纬坐标，并合成区域目标定位图及其定位经纬坐标；
S6d：通过深度卷积网络将区域目标定位图生成区域目标密度图及热度图；
S6e：按指定刷新频率重复S6b-S6d，连续输出动态区域热度图、经纬坐标和标签信息，标签信息包括目标类型、统计数据、摄机ID 等。
更进一步的，所述的S6d中，将区域目标定位图生成密度图的深度卷积网络的结构为：前端使用VGG-16的前13层网络，其中包括 10个填充为1，步长为1，卷积核为3×3的卷积层和3个步长为2，池化核为2×2的池化层，并将这3个池化层替换为3个卷积核为3×3，空洞率为2的空洞卷积层；后端使用6个卷积核为3×3，空洞率为2 的空洞卷积层；最后使用1×1卷积输出维度为1的密度图。
所述的获取动态监测目标及其位置、状态、跟踪轨迹是指对移动人员、车辆、设备等进行识别与跟踪，其中跟踪包括单场景摄机监测区域跟踪和跨场景摄机监测区域跟踪，步骤为：
S6f：选择S5输出的视频态势分析配置表，调取S3处理的指定场景摄机视频图像；
S6g：调用指定算法识别提取场景摄机视频指定监测区域的指定目标及其定位点像素坐标；
S6h：依据S4换算目标定位点经纬坐标；
S6i：输出指定目标的初始经纬坐标和标签信息，标签信息包括目标类型、编号、视频截图、统计数据、摄机ID等；
S6j：提取目标特征形成特征结构体，通过跟踪算法进行该摄机监测区域内的目标连续跟踪，连续提取目标定位点像素坐标；
S6k：依据S4换算目标定位点经纬坐标；
S6l：连续输出指定目标的跟踪经纬坐标，补充目标运动速度方向、视频录像、跨越摄机ID等标签信息；
S6m：依据目标跟踪的经纬坐标和相邻场景摄机监测区域，关联统一跨越摄机指定目标，重复S6j-S6m。
所述的获取静态设备状态的步骤为：
S6n：选择S5输出的视频态势分析配置表，调取S3处理的指定场景摄机视频图像；
S6o：调用指定算法识别提取场景摄机视频指定监测区域的指定目标及其状态；
S6p：按指定刷新频率重复S6o-S6p，连续输出指定目标的标签信息，包括目标类型、编号、视频截图、统计数据、摄机ID等。
更进一步的，所述S7中，所述的视频态势识别解析信息与三维动态空间模型匹配融合是指依据视频态势识别解析输出的监测目标及其位置、状态、跟踪轨迹和区域热度图、标签信息，在监控区域的空间、建筑、设施静态模型中，调度、定位、展示指定目标的人员、车辆、设备的动态模型及其信息标签，实现全场景视频态势，步骤为：
S7a：获取S6e连续输出的指定目标区域热度图、经纬坐标和标签信息，在监控区域三维场景中刷新调度、定位、展示动态区域热度图及其目标类型、统计数据等标签信息；
S7b：获取S6i和S6l输出的指定动态目标经纬坐标和标签信息，在监控区域三维场景中刷新调度、定位、展示动态目标三维模型，初始位置、实时位置及其轨迹，目标类型、编号、视频截图、速度方向、视频录像、统计数据等标签信息；
S7c：获取S6p输出的指定静态目标标签信息，在监控区域三维场景中刷新调度、定位、展示静态目标三维模型及其目标类型、编号、视频截图、统计数据等标签信息。
更进一步的，所述S8中，所述的管理、监控和设备***等多源态势信息与三维动态空间模型及视频态势信息匹配融合，是指接入多源态势信息，包括计划任务、人车定位、门禁/安防/消防/设备等运行控制信息，并根据时间、空间与三维动态空间模型及视频态势信息的位置、目标关联，补充视频态势标签信息，新增多源态势标签信息，实现全维度信息融合。
更进一步的，所述S9中，所述的配置热点巡视、任务联动和报警联动等模式的智能数据调度展示、设备联动控制是指根据业务监控需要，配置热点巡视模式的区域与路径、展示数据，任务联动模式的区域、目标和展示数据，报警联动模式的目标、区域、设备、展示数据及联动控制指令，实现全智能态势监控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例***架构图；
图2是本发明实施例静态三维模型示例图；
图3是本发明实施例动态三维模型示例图；
图4是本发明实施例摄机部署示意图1：高清枪机与PTZ球机；
图5是本发明实施例摄机部署示意图2：90度全景相机；
图6是本发明实施例摄机部署示意图3：90+180度全景相机；
图7是本发明实施例摄机部署示意图4：270度全景相机与PTZ 球机；
图8是本发明实施例摄机部署示意图5：360度全景相机与PTZ 球机；
图9是本发明实施例视频时间同步流程图；
图10是本发明实施例视频去抖流程图；
图11是本发明实施例视频畸变矫正流程图；
图12是本发明实施例摄机位姿解算流程图；
图13是本发明实施例摄机空间匹配流程图；
图14是本发明实施例单路摄机监测区域分割示例图；
图15是本发明实施例多路摄机重叠监测区域分割示例图；
图16是本发明实施例区域热度图三维融合示例图；
图17是本发明实施例动态目标三维融合示例图；
图18是本发明实施例静态设备状态三维融合示例图；
图19是本发明实施例多源态势信息三维融合示例图；
图20是本发明实施例三维融合全景态势监控***界面示例图；
图21是本发明实施例开放环境三维融合全景态势监控***架构示例图；
图22是本发明实施例开放环境三维融合全景态势监控***界面示例图；
图23是本发明实施例封闭环境三维融合全景态势监控***架构示例图；
图24是本发明实施例封闭环境三维融合全景态势监控***界面 示例图。
图25是本发明实施例热点巡视模式的三维融合全景态势监控系 统界面示例图。
图26是本发明实施例任务联动模式的三维融合全景态势监控系 统界面示例图。
图27是本发明实施例报警联动模式的三维融合全景态势监控系 统界面示例图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例公开一种基于三维场景的视频态势感知与信息融合方法，用于实现监控视频影像与监控区域三维模型的精确匹配、智能视频态势识别解析成果与动态三维空间模型的融合展示，进而接入管理、监控和设备等***的态势信息，实现全景融合态势监控和热点巡视、任务联动和报警联动模式的智能数据调度展示、设备联动控制，***架构见图1，具体如下：
步骤1，以多源态势信息的空间匹配和动态展示为目的，采集制作监控区域的动态三维空间模型；
步骤2，以监控区域的视频态势识别解析为目的，规划部署场景摄机与目标摄机；
步骤3，对摄机视频进行时间同步、去抖、畸变矫正处理；
步骤4，对场景摄机进行位姿解算及空间匹配；
步骤5，对场景摄机视频进行区域分割处理，单路摄机分割各类目标的监测区域，多路摄机分割同类目标的重叠监测区域；
步骤6，对场景摄机视频进行态势识别解析，获取指定监测区域的指定监测目标及其位置、状态、跟踪轨迹、区域热度图和标签信息；
步骤7，将视频态势识别解析信息与三维动态空间模型匹配融合；
步骤8，将管理、监控和设备***等多源态势信息，与动态三维空间模型及视频态势信息匹配融合；
步骤9，配置热点巡视、任务联动和报警联动等模式的智能数据调度展示、设备联动控制。
步骤1中所述的采集制作动态三维空间模型，是通过摄影测量、激光雷达扫描、现场拍照和建筑工程设计资料，多种空间数据加工技术，制作适用管控场景和业务需求的多种空间精度、视觉效果和制作成本的三维空间模型，包括空间、建筑、设施等的静态三维模型，人员、车辆、设备等的动态三维模型。为展示全域场景的空间态势，立柱、站房等有空间遮挡的建筑结构和设施设备等做透明处理，如图2 所示；为展示监测目标的精细态势，人员动态模型包括站、坐、走、跑、跌倒等状态，设备动态模型包括开关、动作等状态，如图3所示，实现监控区域的全动态三维展示。
步骤2中所述的规划部署场景摄机与目标摄机的原则为：一般地，场景摄机选用高清枪机或全景摄机，其有效监测区域应静态覆盖监控区域以识别解析获取全域的视频态势；目标摄机选用PTZ球机，其有效监视区域应动态覆盖监控区域以跟踪获取全域的监测目标精细影像。高清枪机与PTZ球机部署如图4所示、90度全景相机部署如图5所示、90+180度全景相机部署如图6所示、270度全景相机与 PTZ球机部署如图7所示、360度全景相机与PTZ球机部署如图8 所示。
步骤3中所述的摄机视频时间同步、去抖、畸变矫正处理：
所述的时间同步处理是对没有时间同步***的同一区域的多路视频进行时间同步修订，以保证该区域视频态势及联动控制的时间一致性，具体实现流程如图9所示，步骤为：
步骤3a：选取同一区域全部摄机有动态目标穿越相邻场景摄机重叠视域和场景摄机与目标摄机重叠视域的标定视频；
步骤3b：提取动态目标在摄机重叠视域同一位置的标定视频帧，记录各摄机ID及其视频帧时间戳，以延时最小的摄机视频时间戳为参考时间计算各摄机同步补偿值；
步骤3c：重复步骤3a～3b若干次，计算各摄机时间同步补偿值的平均值；
步骤3d：修订各摄机时间同步补偿后的视频时间戳，获取时间同步的视频帧。
所述的去抖处理是消除场景摄机振动、抖动造成的视域变化，保证后续摄机位姿解算和空间匹配的精度，具体实现流程如图10所示，步骤为：
步骤3e：选取场景视频基准帧，提取基准帧中的特征点集；
步骤3f：读取场景视频当前帧，使用光流法提取基准帧特征点集在当前帧中的对应特征点集；
步骤3g：通过基准帧和当前帧的特征点集，计算变换矩阵：
计算抖动补偿参数，并生成去抖变换矩阵H′：
dx′＝b1+x-xcur
dy′＝b2+y-ycur
步骤3h：计算当前帧所有像素点去抖变换后的坐标，生成去抖的当前帧。
所述的畸变矫正处理是消除场景摄机镜头制造和组装精度造成的图像形变，保证后续摄机位姿解算和空间匹配的精度，具体实现流程如图11所示，步骤为：
步骤3i：选取步骤3e-3h消抖处理的场景视频基准帧，计算像素坐标到畸变中心的距离：
(x，y)为像素坐标，(xc，yc)为畸变中心坐标
计算畸变修正量L(r)
L(r)＝1+k1r2+k2r4
步骤3j：读取场景视频当前帧，计算所有像素点修正后的坐标
生成畸变矫正的当前帧：
步骤4中所述的场景摄机位姿解算及空间匹配：
所述的场景摄机位姿解算是指通过若干组三维模型中的已知三维坐标(3D点)与视频图像中对应的像素匹配点对(2D点)，获取场景摄机的位置坐标和姿态并验证结果精度，具体实现流程如图12所示，步骤为：
步骤4a：选取S3处理的场景摄机视频标定帧，提取若干组三维模型中的已知三维坐标(3D点)与视频图像中对应的像素匹配点对 (2D点)；
步骤4b：将所有3D-2D点对数据随机分为80％的位姿解算数据集及20％的精度检验数据集；
步骤4c：通过位姿解算数据集计算场景摄机的外参矩阵R，T和地主点坐标P(X，Y，Z)；
步骤4d：拟合视频图像目标定位点的高程，确定高程拟合参数；
步骤4e：通过精度检验数据集计算场景摄机外参矩阵R，T参数的精度，如果平均距离误差小于最长边的2％，则输出计算结果，否则重复步骤4b-4e。
更进一步的，所述步骤4c中，通过匹配点对计算外参矩阵R，T 的过程为：
假设空间点P的齐次坐标为PT＝(X，Y，Z，1)，P在图像上的投影坐标为pT＝(x，y，1)。
依据3D-2D点对的映射关系：
变形后为：
令：
得：
假设从图像中提取了N个特征点，使用矩阵形式表示如下：
据此可求解相机的位姿矩阵
分解可得R，T。
更进一步的，所述步骤4d中，拟合视频图像的高程可以表达平面-地面、斜面-步梯、楼梯等各种三维曲面，过程为：
通过多项式：
h(x，y)＝a1x2+a2y2+a3xy+a4x+a5y+a6
依据2D点坐标和3D点高程进行多项式拟合，其中，(x，y)为图像坐标，h(x，y)为坐标点对应的高程，将所有匹配点整理成矩阵形式如下：
其中AT＝[a1 a2 a3 a4 a5 a6]是代求的系数矩阵，其它为已知量。使用最小二乘法计算上式，可以得到最优的多项式系数解。则可以得到图像坐标和高程之间的关系。
更进一步的，所述步骤4e中，计算外参矩阵R，T参数误差计算公式如下：
d≤L×2％
所述的空间匹配是指场景摄机视频图像的空间位置解析，即通过摄机的位姿参数，将选定目标定位点在视频图像中的像素坐标，计算转换为三维空间模型中的经纬坐标。
由于场景摄机部署方案属于单目相机，图像中的目标缺少深度信息，只能计算出像素坐标系中对应的射线，无法确定射线长度对应的深度坐标，因此需要根据通过多项式拟合出的高程信息作为像素深度信息，进行经纬坐标计算，具体实现流程如图13所示，步骤为：
步骤4f：获取步骤3处理的场景摄机视频图像，将目标定位点在视频图像中的像素坐标(x，y)转换为地面摄影测量坐标PT＝(X，Y，H)；
步骤4g：将目标定位点的地面摄影测量坐标PT＝(X，Y，H)转换为三维空间模型的经纬坐标(Longitude，Latitude，H)。
更进一步的，所述步骤4f中，视频图像像素坐标转换为地面摄影测量坐标系的步骤为：
步骤4f1：依据步骤4d计算的高程拟合参数，计算目标定位点像素坐标(x，y)的高程H：
H＝h(x，y)
步骤4f2：依据步骤4e计算的场景摄机外参矩阵R，T，按成像原理计算目标定位点像素坐标(x，y)对应的地面摄影测量坐标PT＝ (X，Y，H)：
更进一步的，所述步骤4g中，地面摄影测量坐标转换为三维空间模型经纬坐标的步骤为：
步骤4g1：根据监控区域的场景及位置，选择投影坐标系。
考虑视频态势监控应用场景较为精细且定位精度要求高，因此选择高斯-克吕格3度分带投影，根据监控区域位置确定投影带带号。
高斯-克吕格3度分带投影从东京1°30′起，每3°为一带，将全球划分为120个投影带，东半球(东经)有60个投影带，编号1-60。各带中央经线计算公式为：
L0＝3°×n
西半球(西经)有60个投影带，编号61-120。各带中央经线计算公式为：
L0＝360°-3°×n
高斯-克吕格投影带内布置了平面直角坐标***，具体方法是，规定中央经线为X轴，赤道为Y轴，中央经线与赤道交点为坐标原点，x值在北半球为正，南半球为负，y值在中央经线以东为正，中央经线以西为负。
步骤4g2：依据选择的投影带计算目标定位点的地面摄影测量坐标PT＝(X，Y，H)对应的三维空间模型的经纬坐标 (Longitude，Latitude，H)。
地面摄影测量坐标系的坐标在高斯-克吕格投影坐标系的坐标计算公式为：
步骤5所述的场景摄机视频区域分割处理包括单路摄机的各类目标监测区域分割和多路摄机的同类目标重叠监测区域分割，以提高后续的视频态势识别解析的速度和降低所需的硬件运算资源。
所述的单路摄机的各类目标监测区域分割是将每路场景摄机视频图像根据监测目标及其区域进行分割，并指定目标类型及其算法，去除非监测区域的背景图像，示例如图14所示，步骤为：
步骤5a：获取步骤3处理的场景摄机视频图像，根据管控任务需要，使用任意多边形圈定各类目标的监测区域；
步骤5b：记录摄机ID及其监测区域、目标类型、识别算法、刷新频率、标签信息，输出视频态势分析配置表。
所述的多路摄机的重叠监测区域分割是将相邻场景摄机视域重叠的同类目标监测区域进一步分割裁剪，去除监测区域的重叠图像。优先考虑视频态势监测的识别分辨率和定位精度，在摄机相同的像素和焦距参数下，靠近摄机地主点区域的目标像素和定位精度大于远离地主点区域，可根据相邻摄机重叠监测区域到地主点的距离确定分割线，进一步裁剪每路摄机的监测区域并实现区域多路摄机监测区域的无缝衔接覆盖，示例如图15所示，步骤为：
步骤5c：依据视频态势分析配置表，获取步骤3处理的有同类目标监测区域重叠的相邻场景摄机视频图像；
步骤5d：依据步骤4e计算的两个摄机像地主点坐标Pi(Xi，Yi，Zi)，i为摄机编号，计算重叠区域分割方程g(X，Y，Z)：
g(X，Y，Z)＝D1-D2
将重叠区域的坐标带入分割方程，g(X，Y，Z)＜0的区域属于摄机 1，g(X，Y，Z)＞0的区域属于摄机2，g(X，Y，Z)＝0代表的曲线即为分割线。
步骤5e：依据分割线，每路摄机视频图像裁剪保留距离最近的监测区域，并更新视频态势分析配置表。
步骤6中所述的场景摄机视频态势识别解析是指根据视频态势分析配置表，通过深度卷积网络等智能识别分析技术，获取各监测区域的各监测目标及其位置、状态、跟踪轨迹和区域热度图、标签信息，包括人员、车辆等动态目标态势和电梯、道闸等静态目标态势，实现全要素视频态解析。
所述的获取动态监测目标区域热度图的步骤为：
步骤6a：依据步骤5输出的视频态势分析配置表，调取步骤3 处理的指定场景摄机视频图像；
步骤6b：调用指定算法识别提取场景摄机视频指定监测区域的指定目标及其定位点像素坐标；
步骤6c：依据步骤4换算各目标定位点经纬坐标，并合成区域目标定位图及其定位经纬坐标；
步骤6d：通过深度卷积网络将区域目标定位图生成区域目标密度图及热度图；
步骤6e：按指定刷新频率重复步骤6b-6d，连续输出动态区域热度图、经纬坐标和标签信息，标签信息包括目标类型、统计数据、摄机ID等。
更进一步的，所述的步骤6d中，将区域目标定位图生成密度图的深度卷积网络的结构为：前端使用VGG-16的前13层网络，其中包括10个填充为1，步长为1，卷积核为3×3的卷积层和3个步长为 2，池化核为2×2的池化层，并将这3个池化层替换为3个卷积核为 3×3，空洞率为2的空洞卷积层；后端使用6个卷积核为3×3，空洞率为2的空洞卷积层；最后使用1×1卷积输出维度为1的密度图。
所述的获取动态监测目标及其位置、状态、跟踪轨迹是指对移动人员、车辆、设备等进行识别与跟踪，其中跟踪包括单场景摄机监测区域跟踪和跨场景摄机监测区域跟踪，步骤为：
步骤6f：选择步骤5输出的视频态势分析配置表，调取步骤3 处理的指定场景摄机视频图像；
步骤6g：调用指定算法识别提取场景摄机视频指定监测区域的指定目标及其定位点像素坐标；
步骤6h：依据步骤4换算目标定位点经纬坐标；
步骤6i：输出指定目标的初始经纬坐标和标签信息，标签信息包括目标类型、编号、视频截图、统计数据、摄机ID等；
步骤6j：提取目标特征形成特征结构体，通过跟踪算法进行该摄机监测区域内的目标连续跟踪，连续提取目标定位点像素坐标；
步骤6k：依据步骤4换算目标定位点经纬坐标；
步骤6l：连续输出指定目标的跟踪经纬坐标，补充目标运动速度方向、视频录像、跨越摄机ID等标签信息；
步骤6m：依据目标跟踪的经纬坐标和相邻场景摄机监测区域，关联统一跨越摄机指定目标，重复步骤6j-6m。
所述的获取静态设备状态的步骤为：
步骤6n：选择步骤5输出的视频态势分析配置表，调取步骤3 处理的指定场景摄机视频图像；
步骤6o：调用指定算法识别提取场景摄机视频指定监测区域的指定目标及其状态；
步骤6p：按指定刷新频率重复步骤6o-6p，连续输出指定目标的标签信息，包括目标类型、编号、视频截图、统计数据、摄机ID等。
步骤7中所述的视频态势识别解析信息与三维动态空间模型匹配融合是指依据视频态势识别解析输出的监测目标及其位置、状态、跟踪轨迹和区域热度图、标签信息，在监控区域的空间、建筑、设施静态模型中，调度、定位、展示指定目标的人员、车辆、设备的动态模型及其信息标签，实现全场景视频态势，步骤为：
步骤7a：获取步骤6e连续输出的指定目标区域热度图、经纬坐标和标签信息，在监控区域三维场景中刷新调度、定位、展示动态区域热度图及其目标类型、统计数据等标签信息，示例如图16所示；
步骤7b：获取步骤6i-6l输出的指定动态目标经纬坐标和标签信息，在监控区域三维场景中刷新调度、定位、展示动态目标三维模型，初始位置、实时位置及其轨迹，目标类型、编号、视频缩略图、速度方向、视频录像、统计数据等标签信息，示例如图17所示；
步骤7c：获取步骤6p输出的指定静态目标标签信息，在监控区域三维场景中刷新调度、定位、展示静态目标三维模型及其目标类型、编号、视频截图、统计数据等标签信息，示例如图18所示。
步骤8中所述的管理、监控和设备***等多源态势信息与三维动态空间模型及视频态势信息匹配融合，是指接入多源态势信息，包括计划任务、人车定位、门禁/安防/消防/设备等运行控制信息，并根据时间、空间与三维动态空间模型及视频态势信息的位置、目标关联，补充视频态势标签信息，新增多源态势标签信息，实现全维度信息融合，示例如图19所示。
步骤9中所述的配置热点巡视、任务联动和报警联动等模式的智能数据调度展示、设备联动控制是指根据业务监控需要，配置热点巡视模式的区域与路径、展示数据，任务联动模式的区域、目标和展示数据，报警联动模式的目标、区域、设备、展示数据及联动控制指令，实现全智能态势监控，***界面示例如图20所示，包括综合业务图表分屏、三维运行态势分屏和三维热点视频分屏。
实施例2
本实施例中，应用在智慧园区、智慧城市等开放环境的三维融合全景态势监控***，部署低点与高点场景摄机、目标摄机，接入各类监测设施和接警中心***，***架构示例如图21所示，***界面示例如图22所示。
应用在机场、车站、场馆、工厂等封闭环境的三维融合全景态势监控***，部署场景摄机、目标摄机，接入各类设备设施和管理信息***，***架构示例如图23所示，***界面示例如图24所示。
实施例3
本实施例中，三维融合全景态势监控***可配置热点巡视、任务联动、报警联动等多种操控模式，其优先权为：热点巡视＜任务联动＜报警联动。
热点巡视模式适用于多个热点区域的巡视监控，可设置巡航路径、视点、视角、速度及时间，该模式启动后，三维运行态势分屏轮巡展示各热点区域运行态势，三维热点视频分屏同步展示轮巡区域的场景视频，示例如图25所示。
任务联动模式启动后，综合业务图标分屏突出展示相关任务的信息标签(黄色)，三维运行态势分屏定位展示相关任务的区域运行态势及信息标签(黄色)，三维热点视频分屏展示相关任务的场景视频，多个任务并行时轮巡展示，示例如图26所示。
报警联动模式指视频态势监测与安防、设备等***报警后，综合业务图标分屏闪烁展示相关报警的信息标签(红色)，三维运行态势分屏定位展示相关报警的区域运行态势、闪烁展示报警目标/设备及其信息标签(红色)，三维热点视频分屏显示相关报警的场景视频与目标视频，多个报警并行时轮巡展示，示例如图27所示。
实施例4
本实施例公开一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行基于三维场景的视频态势感知与信息融合方法。
综上所述本发明以区域监控视频的图像深度处理及与三维静态、动态模型的精确匹配融合为基础，进而实现视频态势感知信息、设备设施信息和任务管控信息的精确空间匹配和融合显示，从而实现基于整体区域三维模型的全维态势融合监控指挥和基于计划任务、热点区域和侦测报警的局部三维模型定位和关联信息智能调度融合展示，显著提升***智能水平和应用效能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (13)
1.一种基于三维场景的视频态势感知与信息融合方法，其特征在于，所述的方法包括以下步骤：
S1以多源态势信息的空间匹配和动态展示为目的，采集制作监控区域的动态三维空间模型；
S2以监控区域的视频态势识别解析为目的，规划部署场景摄机与目标摄机；
S3对摄机视频进行时间同步、去抖、畸变矫正处理；
S4对场景摄机进行位姿解算及空间匹配；
S5对场景摄机视频进行区域分割处理，单路摄机分割各类目标的监测区域，多路摄机分割同类目标的重叠监测区域；
S6对场景摄机视频进行态势识别解析，获取指定监测区域的指定监测目标及其位置、状态、跟踪轨迹、区域热度图和标签信息；
S7将视频态势识别解析信息与三维动态空间模型匹配融合；
S8将管理、监控和设备***等多源态势信息，与动态三维空间模型及视频态势信息匹配融合；
S9配置热点巡视、任务联动和报警联动等模式的智能数据调度展示、设备联动控制。
2.根据权利要求1所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S3中，所述的时间同步处理的步骤为：
S3a：选取同一区域全部摄机有动态目标穿越相邻场景摄机重叠视域和场景摄机与目标摄机重叠视域的标定视频；
S3b：提取动态目标在摄机重叠视域同一位置的标定视频帧，记录各摄机ID及其视频帧时间戳，以延时最小的摄机视频的时间戳为参考时间计算各摄机时间同步补偿值；
S3c：重复S3a～S3b若干次，计算各摄机时间同步补偿值的平均值；
S3d：修订各摄机时间同步补偿后的视频时间戳，获取时间同步的视频帧。
所述的去抖处理的步骤为：
S3e：选取场景视频基准帧，提取基准帧中的特征点集；
S3f：读取场景视频当前帧，使用光流法提取基准帧特征点集在当前帧中的对应特征点集；
S3g：通过基准帧和当前帧的特征点集，计算变换矩阵：
计算抖动补偿参数，并生成去抖变换矩阵H′：
dx′＝b1+x-xcur
dy′＝b2+y-ycur
S3h：计算当前帧所有像素点去抖变换后的坐标，生成去抖的当前帧。
所述的畸变矫正处理的步骤为：
S3i：选取S3e-S3h消抖处理的场景视频基准帧，计算像素坐标到畸变中心的距离：
(x，y)为像素坐标，(xc，yc)为畸变中心坐标
计算畸变修正量L(r)：
L(r)＝1+k1r2+k2r4
S3j：读取场景视频当前帧，计算所有像素点修正后的坐标
生成畸变矫正的当前帧：
3.根据权利要求1所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4中，所述的场景摄机位姿解算的步骤为：
S4a：选取S3处理的场景摄机视频标定帧，提取若干组三维模型中的已知三维坐标(3D点)与视频图像中对应的像素匹配点对(2D点)；
S4b：将所有3D-2D点对数据随机分为80％的位姿解算数据集及20％的精度检验数据集；
S4c：通过位姿解算数据集计算场景摄机的外参矩阵R，T和地主点坐标P(X，Y，Z)；
S4d：拟合视频图像目标定位点的高程，确定高程拟合参数；
S4e：通过精度检验数据集计算场景摄机外参矩阵R，T参数的精度，如果平均距离误差小于最长边的2％，则输出计算结果，否则重复S4b-S4e。
所述的空间匹配的步骤为：
S4f：获取S3处理的场景摄机视频图像，将目标定位点在视频图像中的像素坐标(x，y)转换为地面摄影测量坐标PT＝(X，Y，H)；
S4g：将目标定位点的地面摄影测量坐标PT＝(X，Y，H)转换为三维空间模型的经纬坐标(Longitude，Latitude，H)。
4.根据权利要求3所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4c中，通过匹配点对计算外参矩阵R，T的过程为：
假设空间点P的齐次坐标为PT＝(X，Y，Z，1)，P在图像上的投影坐标为pT＝(x，y，1)。
依据3D-2D点对的映射关系：
变形后为：
令：
得：
假设从图像中提取了N个特征点，使用矩阵形式表示如下：
据此可求解相机的位姿矩阵
分解可得R，T。
5.根据权利要求3所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4d中，拟合视频图像的高程可以表达平面-地面、斜面-步梯、楼梯等各种三维曲面，过程为：
通过多项式：
h(x，y)＝a1x2+a2y2+a3xy+a4x+a5y+a6
依据2D点坐标和3D点高程进行多项式拟合，其中，(x，y)为图像坐标，h(x，y)为坐标点对应的高程，将所有匹配点整理成矩阵形式如下：
其中AT＝[a1 a2 a3 a4 a5 a6]是代求的系数矩阵，其它为已知量。使用最小二乘法计算上式，可以得到最优的多项式系数解。则可以得到图像坐标和高程之间的关系。
6.根据权利要求3所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4e中，计算外参矩阵R，T参数误差计算公式如下：
d≤L×2％。
7.根据权利要求3所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4f中，视频图像像素坐标转换为地面摄影测量坐标系的步骤为：
S4f1：依据S4d计算的高程拟合参数，计算目标定位点像素坐标(x，y)的高程H：
H＝h(x，y)
S4f2：依据S4e计算的场景摄机外参矩阵R，T，按成像原理计算目标定位点像素坐标(x，y)对应的地面摄影测量坐标PT＝(X，Y，H)：
8.根据权利要求3所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S4g中，地面摄影测量坐标转换为三维空间模型经纬坐标的步骤为：
S4g1：根据监控区域的场景及位置，选择投影坐标系-高斯-克吕格3度分带投影，根据监控区域位置确定投影带带号；
S4g2：依据选择的投影带计算目标定位点的地面摄影测量坐标PT＝(X，Y，H)对应的三维空间模型的经纬坐标(Longitude，Latitude，H)。
地面摄影测量坐标系的坐标在高斯-克吕格投影坐标系的坐标计算公式为：
9.根据权利要求1所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S5中，所述的单路摄机的各类目标监测区域分割的步骤为：
S5a：获取S3处理的场景摄机视频图像，根据管控任务需要，使用任意多边形圈定各类目标的监测区域；
S5b：记录摄机ID及其监测区域、目标类型、识别算法、刷新频率、标签信息，输出视频态势分析配置表。
所述的多路摄机的重叠监测区域分割的步骤为：
S5c：依据视频态势分析配置表，获取S3处理的有同类目标监测区域重叠的相邻场景摄机视频图像；
S5d：依据S4e计算的两个摄机像地主点坐标Pi(Xi，Yi，Zi)，i为摄机编号，计算重叠区域分割方程g(X，Y，Z)：
g(X，Y，Z)＝D1-D2
将重叠区域的坐标带入分割方程，g(X，Y，Z)＜0的区域属于摄机1，g(X，Y，Z)＞0的区域属于摄机2，g(X，Y，Z)＝0代表的曲线即为分割线。
S5e：依据分割线，每路摄机视频图像裁剪保留距离最近的监测区域，并更新视频态势分析配置表。
10.根据权利要求1所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S6中，所述的获取动态监测目标区域热度图的步骤为：
S6a：依据S5输出的视频态势分析配置表，调取S3处理的指定场景摄机视频图像；
S6b：调用指定算法识别提取场景摄机视频指定监测区域的指定目标及其定位点像素坐标；
S6c：依据S4换算各目标定位点经纬坐标，并合成区域目标定位图及其定位经纬坐标；
S6d：通过深度卷积网络将区域目标定位图生成区域目标密度图及热度图；
S6e：按指定刷新频率重复S6b-S6d，连续输出动态区域热度图、经纬坐标和标签信息，标签信息包括目标类型、统计数据、摄机ID 等。
所述的获取动态监测目标及其位置、状态、跟踪轨迹的步骤为：
S6f：选择S5输出的视频态势分析配置表，调取S3处理的指定场景摄机视频图像；
S6g：调用指定算法识别提取场景摄机视频指定监测区域的指定目标及其定位点像素坐标；
S6h：依据S4换算目标定位点经纬坐标；
S6i：输出指定目标的初始经纬坐标和标签信息，标签信息包括目标类型、编号、视频截图、统计数据、摄机ID等；
S6j：提取目标特征形成特征结构体，通过跟踪算法进行该摄机监测区域内的目标连续跟踪，连续提取目标定位点像素坐标；
S6k：依据S4换算目标定位点经纬坐标；
S6l：连续输出指定目标的跟踪经纬坐标，补充目标运动速度方向、视频录像、跨越摄机ID等标签信息；
S6m：依据目标跟踪的经纬坐标和相邻场景摄机监测区域，关联统一跨越摄机指定目标，重复S6j-S6m。
所述的获取静态设备状态的步骤为：
S6n：选择S5输出的视频态势分析配置表，调取S3处理的指定场景摄机视频图像；
S6o：调用指定算法识别提取场景摄机视频指定监测区域的指定目标及其状态；
S6p：按指定刷新频率重复S6o-S6p，连续输出指定目标的标签信息，包括目标类型、编号、视频截图、统计数据、摄机ID等。
11.根据权利要求8所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S6d中将区域目标定位图生成密度图的深度卷积网络的结构为：前端使用VGG-16的前13层网络，其中包括10个填充为1，步长为1，卷积核为3×3的卷积层和3个步长为2，池化核为2×2的池化层，并将这3个池化层替换为3个卷积核为3×3，空洞率为2的空洞卷积层；后端使用6个卷积核为3×3，空洞率为2的空洞卷积层；最后使用1×1卷积输出维度为1的密度图。
12.根据权利要求1所述的基于三维场景的视频态势感知与信息融合方法，其特征在于，所述S7中，所述的视频态势识别解析信息与三维动态空间模型匹配融合的步骤为：
S7a：获取S6e连续输出的指定目标区域热度图、经纬坐标和标签信息，在监控区域三维场景中刷新调度、定位、展示动态区域热度图及其目标类型、统计数据等标签信息；
S7b：获取S6i和S6l输出的指定动态目标经纬坐标和标签信息，在监控区域三维场景中刷新调度、定位、展示动态目标三维模型，初始位置、实时位置及其轨迹，目标类型、编号、视频截图、速度方向、视频录像、统计数据等标签信息；
S7c：获取S6p输出的指定静态目标标签信息，在监控区域三维场景中刷新调度、定位、展示静态目标三维模型及其目标类型、编号、视频截图、统计数据等标签信息。
13.一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如权利要求1至10中任一所述的基于三维场景的视频态势感知与信息融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110060458.6A CN114827570A (zh) | 2021-01-18 | 2021-01-18 | 一种基于三维场景的视频态势感知与信息融合方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110060458.6A CN114827570A (zh) | 2021-01-18 | 2021-01-18 | 一种基于三维场景的视频态势感知与信息融合方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114827570A true CN114827570A (zh) | 2022-07-29 |
Family
ID=82523841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110060458.6A Pending CN114827570A (zh) | 2021-01-18 | 2021-01-18 | 一种基于三维场景的视频态势感知与信息融合方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114827570A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433756A (zh) * | 2023-06-15 | 2023-07-14 | 浪潮智慧科技有限公司 | 一种单目相机的地表物体空间分析方法、设备及介质 |
| CN116866534A (zh) * | 2023-09-05 | 2023-10-10 | 南京隆精微电子技术有限公司 | 用于数字视频监控***的处理方法及装置 |
| CN117774986A (zh) * | 2024-02-27 | 2024-03-29 | 中国测绘科学研究院 | 一种智能网联汽车高精度地图厘米级定位方法及*** |
| CN118054866A (zh) * | 2024-02-08 | 2024-05-17 | 宁波爱芯微电子有限公司 | 一种包括自动增益控制器的红外接收器 |
-
2021
- 2021-01-18 CN CN202110060458.6A patent/CN114827570A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433756A (zh) * | 2023-06-15 | 2023-07-14 | 浪潮智慧科技有限公司 | 一种单目相机的地表物体空间分析方法、设备及介质 |
| CN116433756B (zh) * | 2023-06-15 | 2023-08-18 | 浪潮智慧科技有限公司 | 一种单目相机的地表物体空间分析方法、设备及介质 |
| CN116866534A (zh) * | 2023-09-05 | 2023-10-10 | 南京隆精微电子技术有限公司 | 用于数字视频监控***的处理方法及装置 |
| CN118054866A (zh) * | 2024-02-08 | 2024-05-17 | 宁波爱芯微电子有限公司 | 一种包括自动增益控制器的红外接收器 |
| CN118054866B (zh) * | 2024-02-08 | 2024-07-23 | 宁波爱芯微电子有限公司 | 一种包括自动增益控制器的红外接收器 |
| CN117774986A (zh) * | 2024-02-27 | 2024-03-29 | 中国测绘科学研究院 | 一种智能网联汽车高精度地图厘米级定位方法及*** |
| CN117774986B (zh) * | 2024-02-27 | 2024-05-07 | 中国测绘科学研究院 | 一种智能网联汽车高精度地图厘米级定位方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111836012B (zh) | 基于三维场景的视频融合与视频联动方法及电子设备 | |
| CN114827570A (zh) | 一种基于三维场景的视频态势感知与信息融合方法及电子设备 | |
| AU2020100323A4 (en) | Solar Power Forecasting | |
| CN103795976B (zh) | 一种全时空立体可视化方法 | |
| CN106204595B (zh) | 一种基于双目摄像机的机场场面三维全景监视方法 | |
| CN102148965B (zh) | 多目标跟踪特写拍摄视频监控*** | |
| Palaniappan et al. | Wide-area persistent airborne video: Architecture and challenges | |
| US20060222209A1 (en) | Wide-area site-based video surveillance system | |
| CN101916455B (zh) | 一种高动态范围纹理三维模型的重构方法及装置 | |
| CN112053391B (zh) | 一种基于动态三维模型的监控预警方法、***及存储介质 | |
| WO2017193172A1 (en) | "solar power forecasting" | |
| Dev et al. | Short-term prediction of localized cloud motion using ground-based sky imagers | |
| CN115375779B (zh) | 相机ar实景标注的方法及*** | |
| CN112801184A (zh) | 一种云跟踪方法、***及装置 | |
| CN112348775A (zh) | 基于车载环视的路面坑塘检测***及方法 | |
| CN116013016A (zh) | 火灾监测方法、***及装置 | |
| CN116051731A (zh) | 一种综合输电线路多源数据的实时监控视频融合方法 | |
| den Hollander et al. | Automatic inference of geometric camera parameters and inter-camera topology in uncalibrated disjoint surveillance cameras | |
| CN103903269B (zh) | 球机监控视频的结构化描述方法和*** | |
| CN112860946B (zh) | 一种视频图像信息转换为地理信息的方法及*** | |
| Ahmad et al. | Model and placement optimization of a sky surveillance visual sensor network | |
| CN112822442B (zh) | 热度图生成方法、装置及电子设备 | |
| Wu et al. | A method of information fusion for the civil aviation ASTERIX data and airport surface video surveillance | |
| CN115331074A (zh) | 跨尺度全景感知***和全景图像的跨尺度目标检测方法 | |
| Sankaranarayanan et al. | A fast linear registration framework for multi-camera GIS coordination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220729 |