CN112053446B - 一种基于三维gis的实时监控视频与三维场景融合方法 - Google Patents

一种基于三维gis的实时监控视频与三维场景融合方法 Download PDF

Info

Publication number
CN112053446B
CN112053446B CN202010665539.4A CN202010665539A CN112053446B CN 112053446 B CN112053446 B CN 112053446B CN 202010665539 A CN202010665539 A CN 202010665539A CN 112053446 B CN112053446 B CN 112053446B
Authority
CN
China
Prior art keywords
real
dimensional
video
scene
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010665539.4A
Other languages
English (en)
Other versions
CN112053446A (zh
Inventor
沈健
韦曼琼
徐頔飞
殷海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING GUOTU INFORMATION INDUSTRY CO LTD
Original Assignee
NANJING GUOTU INFORMATION INDUSTRY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING GUOTU INFORMATION INDUSTRY CO LTD filed Critical NANJING GUOTU INFORMATION INDUSTRY CO LTD
Priority to CN202010665539.4A priority Critical patent/CN112053446B/zh
Publication of CN112053446A publication Critical patent/CN112053446A/zh
Application granted granted Critical
Publication of CN112053446B publication Critical patent/CN112053446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于三维GIS的实时监控视频与三维场景融合方法，属于三维GIS技术领域，包括如下步骤：S1输入模型数据，使用超图iDesktop软件对人工建模模型检查纹理和三角面片数，并移除重复点，转换格式生成模型数据集，倾斜模型对原始OSGB格式的数据进行合并根节点和纹理压缩；S2将模型数据集和倾斜OSGB切片转换为S3M格式的三维切片缓存。本发明的实景融合方法在面向公共安防和智慧城市领域，避免了传统二维地图与监控视频的应用局限，解决了监控视频画面割裂的弊端，增强了视频监控的空间感知，在一定程度上提升了多路实时视频集成在三维场景中的展示性能，可以广泛应用于强视频、强GIS业务的公安和智慧城市领域。

Description

一种基于三维GIS的实时监控视频与三维场景融合方法
技术领域
本发明涉及三维GIS技术领域，具体涉及一种基于三维GIS的实时监控视频与三维场景融合方法。
背景技术
随着监控视频的广泛应用与GIS技术的蓬勃发展，催生了基于视频的GIS技术，不同场景下的监控视频与地理空间数据融合是视频GIS的研究热点。现有研究成果根据关联方式的不同大致可分为两类:①时间关联模式,其特点是以时间戳为基准,通过时间索引实现视频数据与GPS定位信息的同步关联；②位置关联模式,其特点是以相机定位信息为基础进行视频关联。从目前的项目应用来看，视频数据与空间数据的融合大多停留在***集成应用上，并没有建立视频和场景的自动化匹配投射的算法，仅在一定程度上实现了视频图像与三维场景的融合，而且多路实时视频在三维场景加载的性能上并没有进行深入研究，实际项目应用具有一定的局限性。
为了管理大量的摄像机和视频数据，传统的方法根据摄像机的监控区域建立树结构，每个视频序列根据所有权被附加到相机，但摄像机的位置并不直观，摄像机之间的可达性也不清楚，不同摄像机采集的视频数据被隔离和分离，导致摄像机采集的信息碎片化。例如实际应用中，监控视频与三维场景融合大多通过提取关键视频帧并且以标注的形式在三维场景中展示，监控区域与监看目标的查看操作繁杂，无法发挥出三维场景的空间优势。因此需要进行基于三维GIS的实景融合展示的研究，将真实场景中实时的监控视频在三维场景中的相同位置以相同的视角进行投射，实现实时监控视频与三维场景的融合展示。以监控视频的实时性优势弥补三维场景的静态展示的不足，以三维场景的空间化优势改变孤立视频画面的弊端，从而达到对全局态势的实时掌握。而且继承了三维空间信息的三维视频监控***将清晰表达摄像机之间的相对位置，使视频画面不会被割裂，在增强用户空间意识、辅助用户应急决策等方面发挥更大作用。
发明内容
本发明的为了解决实时监控视频与三维模型数据融合展示的问题，本发明提供一种基于三维GIS的实时监控视频与三维场景融合方法，采用服务化配置的方法进行场景和视频流的前端加载，以满足三维场景流畅化浏览和实时视频流低延迟传输。同时利用基于视觉特征的自动化匹配进行视频在三维场景中融合投射的视角参数，且针对智能球摄像机使用基于网络摄像机云台设备的PTZ(Pan/Tilt/Zoom)获取与解算方法实现了实时监控视频随摄像机旋转在三维场景中联动投射，从而达到实时监控视频与三维模型数据融合展示的目的。
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于三维GIS的实时监控视频与三维场景融合方法，包括如下步骤：
S1输入模型数据，使用超图iDesktop软件对人工建模模型检查纹理和三角面片数，并移除重复点，转换格式生成模型数据集，倾斜模型对原始OSGB格式的数据进行合并根节点和纹理压缩；
S2将模型数据集和倾斜OSGB切片转换为S3M格式的三维切片缓存，保存场景和工作空间，使用iServer发布三维服务，并将三维切片服务加载到三维场景；
S3通过网线将网络摄像机设备接入局域网，配置IP和端口号，使用H5S服务进行实时视频流的传输；
S4通过测绘的方法确定网络摄像机的空间位置，同时获取实时视频流，并对视频画面进行解帧，筛选最能够表达场景原貌，且人流较少的视频图像作为特征匹配的真实场景的图像；
S5将网络摄像机的空间位置在三维场景中进行定位，使用三维场景虚拟相机获得此位置全视角的场景图像作为特征匹配的虚拟三维场景图像，同时记录每一视角图像所对应视角参数的值，包括水平方位角、倾斜角，建立视角参数与场景图像的一一对应关系；
S6使用真实场景视频图像与虚拟三维场景图像进行特征匹配，通过单应性矩阵计算两幅匹配图像重叠部分的特征点对，使用特征点对之间的距离阈值进行重复点的筛选，获得有效特征点对数量作为特征匹配评价结果，从而确定最佳匹配视角并输出参数；
S7使用服务化配置的场景和实时视频流，利用投射的视角参数，按照真实摄像头的点的空间位置，将视频投射在三维场景中，实现实时监控视频与三维模型的融合展示；
S8利用可旋转的智能球摄像机的PTZ参数获取方法，分别获取球机在初始位置和旋转后位置的P值和T值，计算两次获取的P、T值变化量，使用此变化量与初始位置的投射视角参数进行计算获得新的视角参数，利用新的视角参数进行投射可获得旋转后的投射效果；
S9根据获取到的Z值可获得摄像机当前的焦距，根据摄像机靶面的宽和高以及摄像机当前的焦距，计算当前视场角，以视场角的变化实时更新视频投射时的视场角，从而适应网络摄像机的焦距变化；
S10通过配置监听，对摄像机旋转的PTZ的变化进行感知，同时进行新的视角和视场角的实时计算，再进行实时监控视频的投射，最终实现实时监控视频随摄像机旋转联动投射。
1、通过服务化配置的方式加载三维模型数据和实时视频流数据，使用超图iServer的云GIS服务器进行三维服务发布和数据传递，使用H5Stream的技术进行低延迟的视频流传输和前端加载。
2、输入模型数据(包括人工3dmax建模和OSGB格式倾斜模型)，使用超图iDesktop软件进行处理，对人工建模模型进行格式转换生成模型数据集，并存储在udb数据源中，进行检查纹理且分辨率一般不大于1024*1024，检查三角面片数并移除重复点，对OSGB格式的倾斜模型数据进行合并根节点和压缩纹理实现模型的优化；
3、将模型数据集加载至球面三维场景中，生成S3M格式的三维切片缓存，对于倾斜模型在优化后直接转换成S3M格式的切片数据。将模型数据保存到一个球面场景中，同时生成工作空间，使用iServer发布三维服务，并通过三维服务的地址在三维场景中加载模型数据切片，提升三维场景浏览的流畅化程度；
4、通过网线将网络摄像机设备接入局域网，再配置IP和端口号，利用H5S服务进行实时视频流的传输,使用配置的地址进行视频的访问，在Html5中使用video标签实现实时视频流在网页中播放。
5、实现三维场景和实时视频流的接入后，以真实摄像头位置为三维场景虚拟相机的位置，使用此位置的场景截图和视频画面进行视觉特征匹配，通过匹配到的最佳结果的场景截图对应的虚拟相机的视角参数为实时视频流在三维场景中融合投射的视角参数。
(1)首先需要确定所有网络摄像机的位置，通过测绘的方法定其空间坐标。然后对接入的实时视频流进行解帧，筛选最能够表达场景原貌，且人流较少的视频图像作为真实场景的图像用于特征匹配。
(2)使用真实摄像机的坐标在三维场景中进行定位，使用三维场景虚拟相机在此位置进行全视角的场景截图，同时记录每一视角所对应视角参数的值，包括水平方位角、倾斜角，并建立截图图像与视角参数的一一对应关系，从而获取特征匹配计算的场景图像。
(3)根据所获得的真实视频图像与三维场景的虚拟图像进行特征匹配，获得大量特征点，然后通过单应性矩阵计算两幅匹配图像重叠部分的特征点对，使用特征点对之间的距离阈值进行重复点的筛选，获得的有效特征点对数量作为特征匹配评价结果，从而确定最佳匹配视角并输出参数。
(4)使用服务化配置的场景和实时视频流，利用投射的视角参数，按照真实摄像头的点的空间位置，将视频投射在三维场景中，实现实时视频与三维模型的融合展示。
针对可旋转的球机设备，需要根据其实际旋转的角度，求解其在三维场景中对应的视频投射视角参数的变化，实现实时联动投射。
(1)利用可旋转的智能球摄像机的PTZ参数获取方法,获取球机在初始位置的P值P1和T值T1，然后旋转摄像头再计算新的P值P2和T值T2，计算两次获取的P、T值变化量，使用此变化量与初始位置的投射视角参数(水平方位角α和倾斜角β)进行计算获得新的视角参数(α1和倾斜角β1)，具体公式如下：
水平方位角：α1＝α+T2-T1
倾斜角：β1＝β+P2-P1
(2)同时根据获取到的Z值可获得摄像机当前的焦距，根据摄像机靶面的宽和高以及摄像机当前的焦距，可以计算当前视场角，以视场角的变化，实时的更新视频投射时的视场角，从而适应网络摄像机的焦距变化。
水平视场角：
竖直视场角：
(3)通过配置监听，对摄像机旋转的PTZ的变化进行感知，同时进行新的视角和视场角的实时计算，再进行实时监控视频的投射，最终实现实时监控视频随摄像机旋转联动投射。
本发明中，所述一种基于三维GIS的实时监控视频与三维场景融合方法，首先通过服务化配置的方式进行三维场景和实时视频流的前端加载，然后利用视觉特征匹配技术实现监控视频在三维场景中的投射视角参数计算，同时针对球机设备可旋转的特点，研究了在旋转过程中虚实场景视频联动投射的方法；
本发明的实景融合方法在面向公共安防和智慧城市领域，避免了传统二维地图与监控视频的应用局限，解决了监控视频画面割裂的弊端，增强了视频监控的空间感知，在一定程度上提升了多路实时视频集成在三维场景中的展示性能，可以广泛应用于强视频、强GIS业务的公安和智慧城市领域。
附图说明
图1为本发明总技术流程图；
图2为本发明网络摄像机的姿态参数示意图；
图3为本发明三维场景虚拟相机的视角参数示意图；
图4为本发明基于视觉特征匹配的视角参数计算流程图；
图5为本发明网络摄像机设备图；
图6为本发明焦距与视场角关系图；
图7为本发明基于网络摄像机云台设备的PTZ解算流程图；
图8为本发明视频投射效果。
具体实施方式
为使本发明的实施目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-8，一种基于三维GIS的实时监控视频与三维场景融合方法，包括如下步骤：
S1输入模型数据，使用超图iDesktop软件对人工建模模型检查纹理和三角面片数，并移除重复点，转换格式生成模型数据集，倾斜模型对原始OSGB格式的数据进行合并根节点和纹理压缩；
S2将模型数据集和倾斜OSGB切片转换为S3M格式的三维切片缓存，保存场景和工作空间，使用iServer发布三维服务，并将三维切片服务加载到三维场景；
S3通过网线将网络摄像机设备接入局域网，配置IP和端口号，使用H5S服务进行实时视频流的传输；
S4通过测绘的方法确定网络摄像机的空间位置，同时获取实时视频流，并对视频画面进行解帧，筛选最能够表达场景原貌，且人流较少的视频图像作为特征匹配的真实场景的图像；
S5将网络摄像机的空间位置在三维场景中进行定位，使用三维场景虚拟相机获得此位置全视角的场景图像作为特征匹配的虚拟三维场景图像，同时记录每一视角图像所对应视角参数的值，包括水平方位角、倾斜角，建立视角参数与场景图像的一一对应关系；
S6使用真实场景视频图像与虚拟三维场景图像进行特征匹配，通过单应性矩阵计算两幅匹配图像重叠部分的特征点对，使用特征点对之间的距离阈值进行重复点的筛选，获得有效特征点对数量作为特征匹配评价结果，从而确定最佳匹配视角并输出参数；
S7使用服务化配置的场景和实时视频流，利用投射的视角参数，按照真实摄像头的点的空间位置，将视频投射在三维场景中，实现实时监控视频与三维模型的融合展示；
S8利用可旋转的智能球摄像机的PTZ参数获取方法，分别获取球机在初始位置和旋转后位置的P值和T值，计算两次获取的P、T值变化量，使用此变化量与初始位置的投射视角参数进行计算获得新的视角参数，利用新的视角参数进行投射可获得旋转后的投射效果；
S9根据获取到的Z值可获得摄像机当前的焦距，根据摄像机靶面的宽和高以及摄像机当前的焦距，计算当前视场角，以视场角的变化实时更新视频投射时的视场角，从而适应网络摄像机的焦距变化；
S10通过配置监听，对摄像机旋转的PTZ的变化进行感知，同时进行新的视角和视场角的实时计算，再进行实时监控视频的投射，最终实现实时监控视频随摄像机旋转联动投射。
1、三维场景和实时视频流的服务化配置，实景融合所需的三维模型数据一般使用人工精细建模和倾斜摄影建模，模型的精度越高前端加载的流畅化程度越低。而实时视频流数据的前端加载与普通的网页插件加载不同，由于是在三维场景接入多路实时视频流，视频流加载的越多就会影响***使用的性能。因此，进行服务化的配置加载三维场景和实时视频流。使用超图iServer的云GIS服务器进行三维服务的发布和读取，使用H5S(H5Stream)的技术进行低延迟的视频流传输和前端加载。
(1)输入模型数据(包括人工3DMAX建模和OSGB格式倾斜模型)，使用超图iDesktop软件进行处理，人工建模模型进行格式转换生成模型数据集，并存储在udb数据源中，进行检查纹理且分辨率一般不大于1024*1024，检查三角面片数并移除重复点。倾斜模型对原始OSGB格式的数据进行合并根节点和压缩纹理实现模型的优化。
(2)将模型数据集加载至球面三维场景中，生成S3M格式的三维切片缓存，对于倾斜模型优化后直接转换成S3M格式的切片数据。将模型数据保存为一个场景，同时生成一个工作空间，使用iServer发布三维服务，并通过三维服务的数据地址在三维场景中加载切片。S3M(Spatial 3D Model)是由北京超图软件公司提出，由中国地理信息产业协会发布的空间三维模型数据格式团体标准，该团体标准规定了三维地理空间数据格式的逻辑结构及存储格式要求，适用于网络环境和离线环境下海量、多源三维地理空间数据的数据传输、交换和高性能可视化，以及满足不同终端(移动设备、浏览器、桌面电脑)上的三维地理信息***相关应用。另外，该标准融合了倾斜摄影模型、BIM、精模、激光点云、矢量、地下管线、地形、动态水面、三维栅格等多源数据，还支持将OSGB转换成S3M，极大提高了数据加载及运行效率。
(3)通过网线将网络摄像机设备接入局域网，再配置IP和端口号，利用H5S服务进行实时视频流的传输。H5S服务使用WebRTC可以获取和原生应用一样的延迟(500ms以内)，因此可实现实时视频流的低延迟加载。H5S还支持RTSP/RTMP拉流/RTMP推流/GB28181摄像机NVR集成，支持HLS/RTSP/RTMP/WS/RTC服务，并且在不转码的情况下支持H.264。
(4)服务配置完成后，使用配置的IP和端口号进行视频的访问，在Html5中使用video标签进行实时视频流在网页中播放。
2、基于视觉特征匹配计算实时视频在三维场景中投射的视角参数。实现三维场景和实时视频流的接入后，以真实摄像头位置为场景虚拟相机位置，进行此位置的场景截图和视频画面的视觉特征匹配，通过匹配到的最佳结果的场景截图对应的虚拟相机的视角参数为实时视频流在三维场景中融合投射的视角参数。实景融合需要在三维虚拟场景中对真实网络摄像机的位置和姿态进行模拟。网络摄像机位置可以通过测绘的方法进行获取，但对于网络摄像机的姿态参数却无法进行测量，因为在不同场景下网络摄像机的放置方式不同，无法在一个统一的标准下进行姿态参数的获取，因此需要基于视觉特征的自动化匹配进行网络摄像机的姿态参数获取。
(1)网络摄像机姿态参数是确定其镜头朝向的重要参数(如图2所示)，以其中心点建立空间直角坐标系，绕Z轴旋转所产生的角度为偏航角，绕Y轴旋转所产生的角度为俯仰角，绕X轴旋转所产生的角度为翻滚角。在实际的应用中，网络摄像机安装时会默认翻滚角为0，从而使网络摄像机的画面是水平的。因此，只需要确定偏航角和俯仰角就可以模拟网络摄像机在三维场景中的姿态。
(2)确定所有网络摄像机的位置，通过测绘的方法定其空间坐标。同时获取实时视频流，对视频流进行解帧，筛选最能够表达场景原貌，且人流较少的视频图像作为真实场景的图像用于特征匹配。
(3)使用真实摄像机的坐标在三维场景中进行定位，获取三维场景虚拟相机在此位置进行全视角场景截图的图像，同时记录每一视角所对应视角参数的值，并建立截图图像与视角参数的一一对应关系，从而获取特征匹配计算的场景图像。三维场景虚拟相机的视角参数如图3所示，视点为网络摄像机的位置，视点(ViewPoint)与投射面的中心点连线为视中心线。以正北方向为0度，使视中心线顺时针旋转后与正北方向的夹角(0～360°)为三维场景中虚拟相机水平方位角(Direction)，以水平方向为0度,使视中心线在竖直方向上的偏移后后与水平方向的夹角为(-90～90°)为倾斜角(Tilt)，且向上为正向下为负。
(4)根据所获得的真实视频图像与三维场景的虚拟图像进行特征匹配，获得大量特征点。但是对于不同三维模型构成的三维场景，其与真实场景存在一定的差异，基于倾斜摄像获取的模型在建筑物纹理更贴近真实，其匹配效果要高于3DMAX等建模软件的人工建模。另外，实时监控画面中会出现人流、车辆等实时性强的干扰因素，因此使用视觉特征匹配算法进行特征点提取时，需要使用特征点筛选方法剔除干扰点。通过单应性矩阵计算两幅匹配图像重叠部分的特征点对，使用特征点对之间的距离阈值进行重复点的筛选，获得有效特征点对数量作为特征匹配评价结果，筛选出最佳匹配的图像并获取其对应三维场景中虚拟相机的视角参数，以此代替网络摄像机视角参数进行视频的投射。
(5)使用服务化配置的场景和实时视频流，利用投射的视角参数，按照真实摄像头的点的空间位置，将视频投射在三维场景中，实现实时视频与三维模型的融合展示。
3、项目应用中的监控设备通常为枪机和球机。枪机即枪式摄像机，如图5(a)所示，其监控位置固定，只能正对某一个监控位置。球机即智能球摄像机，如图5(b)所示，集摄像机***、变焦镜头、电子云台于一体，在稳定性和操控性上比枪机要好。球机和枪机最大的区别就是云台***，可以通过RS485信号在远距离控制球机的水平垂直转动，也能控制镜头的变焦聚焦，球机的监控范围一般可以做到360°旋转。实景融合针对枪机的视频投射通过计算视角参数后可直接进行视频投射，而球机在进行视频投射的同时需要解决因旋转而带来的视角变换，需要根据球机旋转调整视角参数的值实现实时联动投射，因此需要进行PTZ值的获取与解算。
(1)PTZ是Pan/Tilt/Zoom的缩写，代表云台全方位(上下、左右)移动及镜头变焦控制，其中P对应三维场景虚拟相机的倾斜角(Pitch)，T对应水平方位角(Direction)，Z为设备当前的焦距倍数，根据Z值可计算设备的视场角范围。使用视觉特征匹配计算当前起始位置云台摄像头的水平方位角α和倾斜角β，同时获取摄像机初始位置的P值P1和T值T1。然后旋转摄像机再计算新的P值P2和T值T2,根据两次获取的P、T值计算变化量，将变化量的值与初始位置的视角参数进行计算获得新的水平方位角α1和倾斜角β1,公式如下：
水平方位角：α1＝α+T2-T1
倾斜角：β1＝β+P2-P1
(2)同时根据获取到的Z值可获得摄像机当前的焦距，从而进行视场角的计算。在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。针对直线投射镜头(无空间扭曲)产生的遥远物体影像，有效焦距与影像格式尺寸可以定义视场角，如图6所示，以视场角的变化，实时的更新视频投射时的视场角，从而适应网络摄像机的焦距变化。视场角(γ)由摄像机靶面的水平宽度(v)和高度(h)，以及镜头焦距(f)计算出来,具体如公式所示：
水平视场角：
竖直视场角：
(3)通过配置监听，进行摄像头旋转的PTZ的变化，对应的进行实时的计算获取新的视角和视场角用于视频的投射，从而实现实时视频随摄像头联动旋转投射。
综上所述，本发明的一种基于三维GIS的实时监控视频与三维场景融合方法，运用服务化配置的方法进行三维场景和实时视频流的前端加载，并根据真实摄像机的姿态与虚拟三维场景相机的视角参数的关系，通过基于视觉特征匹配算法进行视频投射视角参数的计算，实现了实时视频流在三维场景中的投射。同时分析智能球摄像机的可旋转特点，利用PTZ值的变化，进行视角参数与摄像头旋转的实时联动更新，从而达到联动投射的目的。本发明解决了实时监控视频在三维场景中融合投射的数据加载、实景融合以及实时联动等问题，在实际应用中的效果明显，场景操作流畅化程度高，模型与视频融合效果好，在对于公共安防和智慧城市等领域日益增长的监控视频应用提供了新思路，既保留了实时监控视频的实时性、真实性的优势，又增强了监控视频的空间感，实现了三维的空间数据与视频监控的融合应用，在实际应用中具有较好的应用价值。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种基于三维GIS的实时监控视频与三维场景融合方法，其特征在于：包括如下步骤：
S1输入模型数据，使用超图iDesktop软件对人工建模模型检查纹理和三角面片数，并移除重复点，转换格式生成模型数据集，倾斜模型对原始OSGB格式的数据进行合并根节点和纹理压缩；
S2将模型数据集和倾斜OSGB切片转换为S3M格式的三维切片缓存，保存场景和工作空间，使用iServer发布三维服务，并将三维切片服务加载到三维场景；
S3通过网线将网络摄像机设备接入局域网，配置IP和端口号，使用H5S服务进行实时视频流的传输；
S4通过测绘的方法确定网络摄像机的空间位置，同时获取实时视频流，并对视频画面进行解帧，选取接帧后的视频图像作为特征匹配的真实场景的图像；
S5将网络摄像机的空间位置在三维场景中进行定位，使用三维场景虚拟相机获得此位置全视角的场景图像作为特征匹配的虚拟三维场景图像，同时记录每一视角图像所对应视角参数的值，包括水平方位角、倾斜角，建立视角参数与场景图像的一一对应关系；
S6使用真实场景视频图像与虚拟三维场景图像进行特征匹配，通过单应性矩阵计算两幅匹配图像重叠部分的特征点对，使用特征点对之间的距离阈值进行重复点的筛选，获得有效特征点对数量作为特征匹配评价结果，从而确定最佳匹配视角并输出参数；
S7使用服务化配置的场景和实时视频流，利用投射的视角参数，按照真实摄像头的点的空间位置，将视频投射在三维场景中，实现实时监控视频与三维模型的融合展示；
S8利用可旋转的智能球摄像机的PTZ参数获取方法，分别获取球机在初始位置和旋转后位置的P值和T值，计算两次获取的P、T值变化量，使用此变化量与初始位置的投射视角参数进行计算获得新的视角参数，利用新的视角参数进行投射可获得旋转后的投射效果；
S9根据获取到的Z值可获得摄像机当前的焦距，根据摄像机靶面的宽和高以及摄像机当前的焦距，计算当前视场角，以视场角的变化实时更新视频投射时的视场角，从而适应网络摄像机的焦距变化；
S10通过配置监听，对摄像机旋转的PTZ的变化进行感知，同时进行新的视角和视场角的实时计算，再进行实时监控视频的投射，最终实现实时监控视频随摄像机旋转联动投射。
2.根据权利要求1所述的一种基于三维GIS的实时监控视频与三维场景融合方法，其特征在于：所述步骤S1中，需进行三维模型预处理，包括人工建模模型检查纹理和三角面片数，并移除重复点，OSGB格式的倾斜数据合并根节点和纹理压缩。
3.根据权利要求1所述的一种基于三维GIS的实时监控视频与三维场景融合方法，其特征在于：所述步骤S3中，利用H5S服务实现实时视频流前端低延迟加载。
4.根据权利要求1所述的一种基于三维GIS的实时监控视频与三维场景融合方法，其特征在于：所述步骤S6中，使用基于视觉特征的自动化匹配方法匹配真实场景视频画面与三维虚拟场景截图，获取视频投射视角参数。
5.根据权利要求1所述的一种基于三维GIS的实时监控视频与三维场景融合方法，其特征在于：所述步骤S7中，使用三维场景虚拟相机视角模拟网络摄像机姿态进行实时视频流在三维场景中投射。
CN202010665539.4A 2020-07-11 2020-07-11 一种基于三维gis的实时监控视频与三维场景融合方法 Active CN112053446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010665539.4A CN112053446B (zh) 2020-07-11 2020-07-11 一种基于三维gis的实时监控视频与三维场景融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010665539.4A CN112053446B (zh) 2020-07-11 2020-07-11 一种基于三维gis的实时监控视频与三维场景融合方法

Publications (2)

Publication Number Publication Date
CN112053446A CN112053446A (zh) 2020-12-08
CN112053446B true CN112053446B (zh) 2024-02-02

Family

ID=73602017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010665539.4A Active CN112053446B (zh) 2020-07-11 2020-07-11 一种基于三维gis的实时监控视频与三维场景融合方法

Country Status (1)

Country Link
CN (1) CN112053446B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584060A (zh) * 2020-12-15 2021-03-30 北京京航计算通讯研究所 一种视频融合***
CN112584120A (zh) * 2020-12-15 2021-03-30 北京京航计算通讯研究所 一种视频融合方法
CN113111414A (zh) * 2021-01-20 2021-07-13 同济大学 一种基于三维监控和bim的既有建筑改造工程混合模拟***
CN113516745B (zh) * 2021-04-02 2022-08-09 深圳市斯维尔科技股份有限公司 图像数据处理方法及计算机可读存储介质
CN113115001B (zh) * 2021-04-13 2022-11-04 大庆安瑞达科技开发有限公司 一种油气田视频监控实时三维投影融合方法
CN113239520B (zh) * 2021-04-16 2023-09-08 大连海事大学 一种近水底三维水下地形环境建模方法
CN113190040B (zh) * 2021-04-29 2021-10-08 集展通航(北京)科技有限公司 一种基于无人机视频与铁路bim进行线路巡检的方法和***
CN113378334B (zh) * 2021-05-07 2022-06-21 青海省地质环境监测总站 地下管线参数化建模方法、***及计算机可读存储介质
CN113784107A (zh) * 2021-09-17 2021-12-10 国家能源集团陕西富平热电有限公司 一种用于视频信号的三维可视化显示方法和***
CN113724402B (zh) * 2021-11-02 2022-02-15 长沙能川信息科技有限公司 一种变电站视频三维场景融合方法
CN114255285B (zh) * 2021-12-23 2023-07-18 奥格科技股份有限公司 视频与城市信息模型三维场景融合方法、***及存储介质
CN114429512A (zh) * 2022-01-06 2022-05-03 中国中煤能源集团有限公司 一种选煤厂bim和实景三维模型的融合展示方法及装置
CN114442805A (zh) * 2022-01-06 2022-05-06 上海安维尔信息科技股份有限公司 一种监控场景展示方法、***、电子设备及存储介质
CN114594697B (zh) * 2022-03-04 2022-09-27 蚌埠高灵传感***工程有限公司 物联网型智能爬架控制器
CN115086629B (zh) * 2022-06-10 2024-02-27 谭健 球体多镜头实时全景三维成像***
CN115361530A (zh) * 2022-10-19 2022-11-18 通号通信信息集团有限公司 一种视频监控的显示方法及***
CN116996742A (zh) * 2023-07-18 2023-11-03 数元科技(广州)有限公司 一种基于三维场景的视频融合方法及***
CN117495694B (zh) * 2023-11-09 2024-05-31 大庆安瑞达科技开发有限公司 一种视频和地图三维场景融合的方法、电子设备及存储介质
CN117974865A (zh) * 2024-03-28 2024-05-03 山东捷瑞信息技术产业研究院有限公司 基于相机视角的轻量化场景模型渲染方法、装置及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合***和方法
CN103795976A (zh) * 2013-12-30 2014-05-14 北京正安融翰技术有限公司 一种全时空立体可视化方法
CN105578145A (zh) * 2015-12-30 2016-05-11 天津德勤和创科技发展有限公司 一种三维虚拟场景与视频监控实时智能融合的方法
CN106354251A (zh) * 2016-08-17 2017-01-25 深圳前海小橙网科技有限公司 一种虚拟场景与真实场景融合的模型***与方法
CN106651794A (zh) * 2016-12-01 2017-05-10 北京航空航天大学 一种基于虚拟相机的投影散斑校正方法
CN106713847A (zh) * 2016-11-28 2017-05-24 天津商企生产力促进有限公司 一种基于虚拟三维静态场景的机电一体化监控器
WO2017124663A1 (zh) * 2016-01-21 2017-07-27 杭州海康威视数字技术股份有限公司 三维监控***及其快速部署方法
CN107862703A (zh) * 2017-10-31 2018-03-30 天津天地伟业信息***集成有限公司 一种多目联动ptz跟踪方法
CN108174090A (zh) * 2017-12-28 2018-06-15 北京天睿空间科技股份有限公司 基于三维空间视口信息的球机联动方法
CN109963120A (zh) * 2019-02-26 2019-07-02 北京大视景科技有限公司 一种虚实融合场景中多ptz相机的联合控制***及方法
CN110009561A (zh) * 2019-04-10 2019-07-12 南京财经大学 一种监控视频目标映射到三维地理场景模型的方法及***
CN110659385A (zh) * 2019-09-12 2020-01-07 中国测绘科学研究院 一种多路视频与三维gis场景的融合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821323B (zh) * 2012-08-01 2014-12-17 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、***及移动终端
CN116563075A (zh) * 2023-05-16 2023-08-08 武汉云计算科技有限公司 基于实景三维的智慧街道数字化管理孪生平台

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合***和方法
CN103795976A (zh) * 2013-12-30 2014-05-14 北京正安融翰技术有限公司 一种全时空立体可视化方法
CN105578145A (zh) * 2015-12-30 2016-05-11 天津德勤和创科技发展有限公司 一种三维虚拟场景与视频监控实时智能融合的方法
WO2017124663A1 (zh) * 2016-01-21 2017-07-27 杭州海康威视数字技术股份有限公司 三维监控***及其快速部署方法
CN106354251A (zh) * 2016-08-17 2017-01-25 深圳前海小橙网科技有限公司 一种虚拟场景与真实场景融合的模型***与方法
CN106713847A (zh) * 2016-11-28 2017-05-24 天津商企生产力促进有限公司 一种基于虚拟三维静态场景的机电一体化监控器
CN106651794A (zh) * 2016-12-01 2017-05-10 北京航空航天大学 一种基于虚拟相机的投影散斑校正方法
CN107862703A (zh) * 2017-10-31 2018-03-30 天津天地伟业信息***集成有限公司 一种多目联动ptz跟踪方法
CN108174090A (zh) * 2017-12-28 2018-06-15 北京天睿空间科技股份有限公司 基于三维空间视口信息的球机联动方法
CN109963120A (zh) * 2019-02-26 2019-07-02 北京大视景科技有限公司 一种虚实融合场景中多ptz相机的联合控制***及方法
CN110009561A (zh) * 2019-04-10 2019-07-12 南京财经大学 一种监控视频目标映射到三维地理场景模型的方法及***
CN110659385A (zh) * 2019-09-12 2020-01-07 中国测绘科学研究院 一种多路视频与三维gis场景的融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Global Coverage Maximization in PTZ-Camera Networks Based on Visual Quality Assessment";Krishna Reddy Konda, et al.,;《 IEEE Sensors Journal》;第16卷(第16期);全文 *
视频拼接在三维空间的融合实现;聂电开;刘文明;张靖男;;电脑编程技巧与维护(第12期);全文 *

Also Published As

Publication number Publication date
CN112053446A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112053446B (zh) 一种基于三维gis的实时监控视频与三维场景融合方法
CN111415416B (zh) 一种监控实时视频与场景三维模型融合方法及***
WO2021227359A1 (zh) 一种无人机投影方法、装置、设备及存储介质
TWI691197B (zh) 用於全視差光場壓縮之預處理器
US20140375761A1 (en) Interactive wide-angle video server
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
US11776142B2 (en) Structuring visual data
JP2015521419A (ja) コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステム
CN110428501B (zh) 全景影像生成方法、装置、电子设备及可读存储介质
CN110992484B (zh) 一种交通动态视频在真景三维平台中的显示方法
WO2023280038A1 (zh) 一种三维实景模型的构建方法及相关装置
CN103198488A (zh) Ptz监控摄像机实时姿态快速估算方法
CN112270736B (zh) 增强现实处理方法及装置、存储介质和电子设备
CN113487723B (zh) 基于可量测全景三维模型的房屋在线展示方法及***
US11812154B2 (en) Method, apparatus and system for video processing
CN115330594A (zh) 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法
CN114926612A (zh) 空中全景图像处理与沉浸式显示***
CN111083368A (zh) 一种基于云端的模拟物理云台全景视频展示***
CN113132708B (zh) 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
CN114283243A (zh) 数据处理方法、装置、计算机设备及存储介质
CN112288878B (zh) 增强现实预览方法及预览装置、电子设备及存储介质
CN110047035B (zh) 全景视频热点交互***及交互设备
CN110196638B (zh) 基于目标检测和空间投影的移动端增强现实方法和***
CN108986183B (zh) 一种全景地图的制作方法
CN112860946A (zh) 一种视频图像信息转换为地理信息的方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant