CN112584060A - 一种视频融合*** - Google Patents

一种视频融合*** Download PDF

Info

Publication number
CN112584060A
CN112584060A CN202011478934.8A CN202011478934A CN112584060A CN 112584060 A CN112584060 A CN 112584060A CN 202011478934 A CN202011478934 A CN 202011478934A CN 112584060 A CN112584060 A CN 112584060A
Authority
CN
China
Prior art keywords
video
unit
dimensional model
picture
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011478934.8A
Other languages
English (en)
Inventor
邓子超
尹严研
张明敏
李梦
徐鑫
张巧霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jinghang Computing Communication Research Institute
Original Assignee
Beijing Jinghang Computing Communication Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jinghang Computing Communication Research Institute filed Critical Beijing Jinghang Computing Communication Research Institute
Priority to CN202011478934.8A priority Critical patent/CN112584060A/zh
Publication of CN112584060A publication Critical patent/CN112584060A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明属于虚实融合视频监控相关技术领域，具体涉及一种视频融合***，其包括：三维建模模块、效果调整模块、视频流处理模块、视频畸形矫正模块、视频投射模块；本发明的视频融合技术，通过对监控视频数据流提取视频帧并将其投射到虚拟场景里，实现视频数据与虚拟场景数据的全时空立体融合，改变了地图应用只能静态展示的传统模式，将部署在不同地理位置的多路实时监控视频与监控区域的三维模型进行配准融合，生成大范围三维全景动态监控画面，实现监控区域整体安全态势的实时全局掌控。

Description

一种视频融合***
技术领域
本发明属于虚实融合视频监控相关技术领域，具体涉及一种视频融合***。
背景技术
目前，传统视频监控技术的应用，主要以平面矩阵式视频监控画面为主，随着Web信息***技术、GIS地理信息***技术、H5视频流技术、三维建模技术的发展和推广应用，用户对视频监控的实现手段提出更高的要求，希望实现一种视频监控与虚拟空间场景结合的创新应用方式。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何提出一种基于Web信息***的视频数据与GIS地理信息***虚拟场景相结合的视频监控方案，使视频监控画面与虚拟场景进行融合，能够一图看尽全局，降低监控操作复杂性。
(二)技术方案
为解决上述技术问题，本发明提供一种视频融合***，所述视频融合***包括：三维建模模块、效果调整模块、视频流处理模块、视频畸形矫正模块、视频投射模块；
其中，
所述三维建模模块用于采用无人机航拍倾斜摄影建模的方法，控制无人机搭载五目数码相机拍摄目标的建模区域的数码照片，并利用三维模型生成工具将数码照片转换成三维模型；
所述效果调整模块用于将三维模型加载到地理信息***，对三维模型进行调整，包括模型简化、三维坐标设置、位置调整、比例尺调整，以搭建类真实的虚拟场景；
所述视频流处理模块用于从视频监控摄像头、视频服务器设备处拉取RTSP视频流，通过H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流；
所述视频畸形矫正模块用于采用OPENCV算法库里的相机畸变矫正工具，应用棋盘格图片矫正参数的方法将具备广角参数、桶形畸变的视频码流的视频监控画面画面进行调整，裁剪截取视频监控画面的有效视域，将视频监控画面画面与虚拟场景中的空间位置进行匹配；
所述视频投射模块用于参照视频监控画面的有效视域，在虚拟场景中对应的坐标点上构建一个多边形平面作为视频投射的载体，然后将支持Html5协议的视频码流作为多边形平面的材质进行加载；视频投射时需要将多路独立视频的拼接组成一个整体场景，将相邻的多边形块进行位置和大小调整，直至相邻多边形块边缘区域连续无间隙。
其中，所述三维建模模块包括：飞行路线规划单元、无人机控制单元、照片导入单元、三维模型修正单元；
所述飞行路线规划单元用于规划建模区域并整理坐标信息，规划无人机水平飞行路线，指定飞行高度，飞行区域覆盖建模区域；
所述无人机控制单元用于控制无人机搭载五目数码相机按照所述飞行路线规划单元规划的飞行路线进行飞行，使用五目数码相机周期性连续拍摄地面照片；
所述照片导入单元用于将无人机拍摄的地面照片统一导入三维模型生成工具，生成倾斜摄影的三维模型；
所述三维模型修正单元用于检查三维模型生成工具生成的倾斜摄影的三维模型，并控制无人机补拍重点区域实景照片对模型材质和纹理进行精细化修正。
其中，所述三维模型生成工具为Smart3D软件工具。
其中，所述建模区域包括建筑、道路、绿植、固定设施。
其中，所述拍摄地面照片为JPG格式。
其中，所述效果调整模块包括：工具选择单元、数据加载单元、模型加载及调整单元、
所述工具选择单元用于选择支持WebGL的Cecium数字地球引擎，搭建GIS地理信息***环境；
所述数据加载单元用于加载卫星正视影像数据至步骤21的GIS地理信息***，作为基础图层，形成数字地球场景；
所述模型加载及调整单元用于将所述三维建模模块输出的倾斜摄影的三维模型数据转成Obj文件格式，加载至所述数字地球场景；并用于调整三维模型空间坐标参数，直至三维模型空间位置与所述卫星正视影像对比匹配一致；调整三维模型比例尺等比例缩放，直至三维模型大小贴近真实场景。
其中，所述GIS地理信息***采用开源Cesium平台。
其中，所述视频流处理模块包括：第一地址配置单元、视频流转换单元；
所述地址配置单元用于对所安装的摄像机，配置每台摄像机RTSP主码流地址；并用于将每台摄像机的RTSP主码流地址配置到H5Stream服务配置文件中；
所述视频流转换单元用于启动H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流，生成每台摄像机Html5视频流地址，使用浏览器能同时访问多路视频流预览画面。
其中，所述效果调整模块包括：第二地址配置单元、棋盘格图片设置及标定单元、画面矫正单元、画面裁剪单元；
所述第二地址配置单元用于将摄像机的Html5视频流地址配置到OPENCV算法库里的相机畸变矫正工具的视频流输入端；
所述棋盘格图片设置及标定单元用于将打印好的8×16黑白棋盘格A3图片放置到待纠正的视频画面中，标定棋盘格每个单元格交点；
所述画面矫正单元用于根据所述标定的单元格交点，通过均匀拉伸视频监控画面，将单元格交点对应的标定点还原成等间距分布的矩阵，实现视频流桶式畸变的矫正；
所述画面裁剪单元用于使用矩形工具裁剪畸变矫正后的视频监控画面，生成有效视域的视频码流输出地址。
其中，所述视频投射模块包括：多边形平面创建及调整单元、皮肤材质加载单元、场景拼接单元；
所述多边形平面创建及调整单元用于在加载了三维模型的数字地球场景中创建多边形平面，参照有效视域的视频监控画面调整多边形平面的大小和位置；调整多边形平面高度以匹配对应区域的三维模型的空间位置；
所述皮肤材质加载单元用于设置多边形平面材质参数，将有效视域的视频监控画面作为多边形平面的皮肤材质进行加载；
所述场景拼接单元用于调整相邻的多边形块位置和大小，直至相邻多边形块边缘区域连续无间隙，使多边形拼接组成连续大场景视频监控画面。
(三)有益效果
与现有技术相比较，本发明提出一种基于Web信息***的视频数据与GIS地理信息***虚拟场景相结合的视频监控方案，使视频监控画面与虚拟场景进行融合，能够一图看尽全局，降低监控操作复杂性。
本发明技术方案基于地理信息***构建对管理区域的建筑、道路、绿植、固定设施等进行三维建模，形成三维模型；将三维模型放到地理信息***中进行模型效果的调整，形成虚拟场景；从视频监控摄像头、视频服务器等设备拉取RTSP视频流，将RTSP视频流转换成为支持Html5协议的视频码流；将具备广角参数和桶形畸变的视频矫正为与空间位置高精度匹配的矫正视频；再将矫正视频投射到虚拟场景中形成虚实融合场景。同时，本发明采用的视频融合技术，通过对监控视频数据流提取视频帧并将其投射到虚拟场景里，实现视频数据与虚拟场景数据的全时空立体融合，改变了地图应用只能静态展示的传统模式，将部署在不同地理位置的多路实时监控视频与监控区域的三维模型进行配准融合，生成大范围三维全景动态监控画面，实现监控区域整体安全态势的实时全局掌控。
附图说明
图1为本发明技术方案中技术处理流程图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
为解决上述技术问题，本发明提供一种视频融合***，所述视频融合***包括：三维建模模块、效果调整模块、视频流处理模块、视频畸形矫正模块、视频投射模块；
其中，
所述三维建模模块用于采用无人机航拍倾斜摄影建模的方法，控制无人机搭载五目数码相机拍摄目标的建模区域的数码照片，并利用三维模型生成工具将数码照片转换成三维模型；
所述效果调整模块用于将三维模型加载到地理信息***，对三维模型进行调整，包括模型简化、三维坐标设置、位置调整、比例尺调整，以搭建类真实的虚拟场景；
所述视频流处理模块用于从视频监控摄像头、视频服务器设备处拉取RTSP视频流，通过H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流；
所述视频畸形矫正模块用于采用OPENCV算法库里的相机畸变矫正工具，应用棋盘格图片矫正参数的方法将具备广角参数、桶形畸变的视频码流的视频监控画面画面进行调整，裁剪截取视频监控画面的有效视域，将视频监控画面画面与虚拟场景中的空间位置进行匹配；
所述视频投射模块用于参照视频监控画面的有效视域，在虚拟场景中对应的坐标点上构建一个多边形平面作为视频投射的载体，然后将支持Html5协议的视频码流作为多边形平面的材质进行加载；视频投射时需要将多路独立视频的拼接组成一个整体场景，将相邻的多边形块进行位置和大小调整，直至相邻多边形块边缘区域连续无间隙。
其中，所述三维建模模块包括：飞行路线规划单元、无人机控制单元、照片导入单元、三维模型修正单元；
所述飞行路线规划单元用于规划建模区域并整理坐标信息，规划无人机水平飞行路线，指定飞行高度，飞行区域覆盖建模区域；
所述无人机控制单元用于控制无人机搭载五目数码相机按照所述飞行路线规划单元规划的飞行路线进行飞行，使用五目数码相机周期性连续拍摄地面照片；
所述照片导入单元用于将无人机拍摄的地面照片统一导入三维模型生成工具，生成倾斜摄影的三维模型；
所述三维模型修正单元用于检查三维模型生成工具生成的倾斜摄影的三维模型，并控制无人机补拍重点区域实景照片对模型材质和纹理进行精细化修正。
其中，所述三维模型生成工具为Smart3D软件工具。
其中，所述建模区域包括建筑、道路、绿植、固定设施。
其中，所述拍摄地面照片为JPG格式。
其中，所述效果调整模块包括：工具选择单元、数据加载单元、模型加载及调整单元、
所述工具选择单元用于选择支持WebGL的Cecium数字地球引擎，搭建GIS地理信息***环境；
所述数据加载单元用于加载卫星正视影像数据至步骤21的GIS地理信息***，作为基础图层，形成数字地球场景；
所述模型加载及调整单元用于将所述三维建模模块输出的倾斜摄影的三维模型数据转成Obj文件格式，加载至所述数字地球场景；并用于调整三维模型空间坐标参数，直至三维模型空间位置与所述卫星正视影像对比匹配一致；调整三维模型比例尺等比例缩放，直至三维模型大小贴近真实场景。
其中，所述GIS地理信息***采用开源Cesium平台。
其中，所述视频流处理模块包括：第一地址配置单元、视频流转换单元；
所述地址配置单元用于对所安装的摄像机，配置每台摄像机RTSP主码流地址；并用于将每台摄像机的RTSP主码流地址配置到H5Stream服务配置文件中；
所述视频流转换单元用于启动H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流，生成每台摄像机Html5视频流地址，使用浏览器能同时访问多路视频流预览画面。
其中，所述效果调整模块包括：第二地址配置单元、棋盘格图片设置及标定单元、画面矫正单元、画面裁剪单元；
所述第二地址配置单元用于将摄像机的Html5视频流地址配置到OPENCV算法库里的相机畸变矫正工具的视频流输入端；
所述棋盘格图片设置及标定单元用于将打印好的8×16黑白棋盘格A3图片放置到待纠正的视频画面中，标定棋盘格每个单元格交点；
所述画面矫正单元用于根据所述标定的单元格交点，通过均匀拉伸视频监控画面，将单元格交点对应的标定点还原成等间距分布的矩阵，实现视频流桶式畸变的矫正；
所述画面裁剪单元用于使用矩形工具裁剪畸变矫正后的视频监控画面，生成有效视域的视频码流输出地址。
其中，所述视频投射模块包括：多边形平面创建及调整单元、皮肤材质加载单元、场景拼接单元；
所述多边形平面创建及调整单元用于在加载了三维模型的数字地球场景中创建多边形平面，参照有效视域的视频监控画面调整多边形平面的大小和位置；调整多边形平面高度以匹配对应区域的三维模型的空间位置；
所述皮肤材质加载单元用于设置多边形平面材质参数，将有效视域的视频监控画面作为多边形平面的皮肤材质进行加载；
所述场景拼接单元用于调整相邻的多边形块位置和大小，直至相邻多边形块边缘区域连续无间隙，使多边形拼接组成连续大场景视频监控画面。
此外，本发明还提供一种视频融合方法，其应用于军队大院、部队基地、科研院校等对视频监控安全防范有较高要求的用户，如图1所示，所述视频融合方法包括以下步骤：
步骤1：三维建模；
采用无人机航拍倾斜摄影建模的方法，通过无人机搭载五目数码相机拍摄目标的建模区域的数码照片，利用三维模型生成工具将数码照片转换成三维模型；
步骤2：效果调整；
将三维模型加载到地理信息***，对三维模型进行调整，包括模型简化、三维坐标设置、位置调整、比例尺调整，以搭建类真实的虚拟场景；
步骤3：视频流处理；
从视频监控摄像头、视频服务器设备处拉取RTSP视频流，通过H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流；
步骤4：视频畸形矫正；
采用OPENCV算法库里的相机畸变矫正工具，应用棋盘格图片矫正参数的方法将具备广角参数、桶形畸变的视频码流的视频监控画面画面进行调整，裁剪截取视频监控画面的有效视域，将视频监控画面画面与虚拟场景中的空间位置进行高精度匹配；
步骤5：视频投射；
参照视频监控画面的有效视域，在虚拟场景中对应的坐标点上构建一个多边形平面作为视频投射的载体，然后将支持Html5协议的视频码流作为多边形平面的材质进行加载；视频投射时需要将多路独立视频的拼接组成一个整体场景，将相邻的多边形块进行位置和大小调整，直至相邻多边形块边缘区域连续无间隙。
其中，所述步骤1的三维建模过程包括如下步骤：
步骤11：规划建模区域并整理坐标信息，规划无人机水平飞行路线，指定飞行高度，飞行区域覆盖建模区域；
步骤12：控制无人机搭载五目数码相机按照步骤11飞行路线进行飞行，使用五目数码相机周期性连续拍摄地面照片；
步骤13：将步骤12拍摄的地面照片统一导入三维模型生成工具，生成倾斜摄影的三维模型；
步骤14：检查步骤13的倾斜摄影的三维模型，补拍重点区域实景照片对模型材质和纹理进行精细化修正。
其中，所述三维模型生成工具为Smart3D软件工具。
其中，所述建模区域包括建筑、道路、绿植、固定设施。
其中，所述拍摄地面照片为JPG格式。
所述倾斜摄影的三维模型的源文件为osgb格式，目标文件为obj格式。
其中，所述步骤2的效果调整过程包括如下步骤：
步骤21：选择支持WebGL的Cecium数字地球引擎，搭建GIS地理信息***环境；
步骤22：加载卫星正视影像数据至步骤21的GIS地理信息***，作为基础图层，形成数字地球场景；
步骤23：将步骤14输出的倾斜摄影的三维模型数据转成Obj文件格式，加载至步骤22的数字地球场景；调整三维模型空间坐标参数，直至三维模型空间位置与步骤22的卫星正视影像对比匹配一致；调整三维模型比例尺等比例缩放，直至三维模型大小贴近真实场景。
其中，所述GIS地理信息***采用开源Cesium平台。
其中，所述步骤3的视频流处理过程包括如下步骤：
步骤31：安装摄像机，配置每台摄像机RTSP主码流地址；
步骤32：将步骤31的每台摄像机的RTSP主码流地址配置到H5Stream服务配置文件中；
步骤33：启动H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流，生成每台摄像机Html5视频流地址，使用浏览器能同时访问多路视频流预览画面。
其中，所述步骤4的效果调整过程包括如下步骤：
步骤41：将步骤33的摄像机的Html5视频流地址配置到OPENCV算法库里的相机畸变矫正工具的视频流输入端；
步骤42：将打印好的8×16黑白棋盘格A3图片放置到待纠正的视频画面中，标定棋盘格每个单元格交点；
步骤43：根据步骤42标定的单元格交点，通过均匀拉伸视频监控画面，将单元格交点对应的标定点还原成等间距分布的矩阵，实现视频流桶式畸变的矫正；
步骤44：使用矩形工具裁剪步骤43畸变矫正后的视频监控画面，生成有效视域的视频码流输出地址。
其中，所述步骤5的视频投射过程包括如下步骤：
步骤51：在步骤23加载了三维模型的数字地球场景中创建多边形平面，参照步骤44有效视域的视频监控画面调整多边形平面的大小和位置；调整多边形平面高度以匹配对应区域的三维模型的空间位置；
步骤52：设置多边形平面材质参数，将步骤44有效视域的视频监控画面作为多边形平面的皮肤材质进行加载；
步骤53：调整相邻的多边形块位置和大小，直至相邻多边形块边缘区域连续无间隙，使多边形拼接组成连续大场景视频监控画面。
综上，本发明提供一种视频融合方法，其应用于军队大院、部队基地、科研院校等对视频监控安全防范有较高要求的用户，针对大型公共区域、封闭场所、院区营区等安全防范视频监控的需求，提供了设计方案。采用基于WebGL渲染引擎的GIS***为底层构建虚实结合的视频融合监控***，***设计方法具有较高的先进性和可行性。
实施例1
本实施例中包括：
(1)三维建模
规划无人机飞行路线及飞行高度，覆盖建模目标区域，操控无人机沿规划路线飞行并根据设置拍摄频率采用机载五目摄像机拍摄照片。飞行完成后将照片完整导入SMART3D软件进行数据处理和模型生成。数据生成成功后进行场景预览，使用数码相机现场补拍重点区域照片，采用3DMAX对模型进行材质修正。导出成obj格式文件。
(2)效果调整
将三维模型obj文件加载到地理信息***，调整三维模型参数信息，包括三维坐标设置、位置调整、比例尺调整、纹理调整、模型简化等，模型与卫星正视影像图层位置贴合，模型高度与真实地形贴合，以搭建类真实的虚拟场景。
(3)视频流处理
从视频监控摄像头、视频服务器等设备拉取RTSP视频流，记录视频流配置信息，包括IP地址、登录用户口令、通道号等；将视频流信息按照指定格式填写到H5Stream服务的conf配置文件中，启动H5Stream服务能通过浏览器访问到视频画面，将RTSP视频流转换成支持Html5协议的视频码流，并记录转换后的H5视频流地址。
(4)视频畸形矫正
将H5视频流地址配置到OPENCV相机畸变矫正程序中，应用棋盘格图片矫正参数的方法将具备广角参数、桶形畸变的监控画面进行调整，裁剪截取视频监控有效视域，将视频画面与虚拟场景中的空间位置进行高精度匹配。
(5)视频投射
参照视频监控画面的有效视域，在虚拟场景中对应的坐标点上构建一个多边形平面作为视频投射的载体，然后将支持Html5协议的视频码流作为多边形的材质进行加载。视频投射时需要将多路独立视频的拼接组成一个整体场景，相邻的多边形块拼接重叠区域需要灵活配置调整。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种视频融合***，其特征在于，所述视频融合***包括：三维建模模块、效果调整模块、视频流处理模块、视频畸形矫正模块、视频投射模块；
其中，
所述三维建模模块用于采用无人机航拍倾斜摄影建模的方法，控制无人机搭载五目数码相机拍摄目标的建模区域的数码照片，并利用三维模型生成工具将数码照片转换成三维模型；
所述效果调整模块用于将三维模型加载到地理信息***，对三维模型进行调整，包括模型简化、三维坐标设置、位置调整、比例尺调整，以搭建类真实的虚拟场景；
所述视频流处理模块用于从视频监控摄像头、视频服务器设备处拉取RTSP视频流，通过H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流；
所述视频畸形矫正模块用于采用OPENCV算法库里的相机畸变矫正工具，应用棋盘格图片矫正参数的方法将具备广角参数、桶形畸变的视频码流的视频监控画面画面进行调整，裁剪截取视频监控画面的有效视域，将视频监控画面画面与虚拟场景中的空间位置进行匹配；
所述视频投射模块用于参照视频监控画面的有效视域，在虚拟场景中对应的坐标点上构建一个多边形平面作为视频投射的载体，然后将支持Html5协议的视频码流作为多边形平面的材质进行加载；视频投射时需要将多路独立视频的拼接组成一个整体场景，将相邻的多边形块进行位置和大小调整，直至相邻多边形块边缘区域连续无间隙。
2.如权利要求1所述的视频融合***，其特征在于，所述三维建模模块包括：飞行路线规划单元、无人机控制单元、照片导入单元、三维模型修正单元；
所述飞行路线规划单元用于规划建模区域并整理坐标信息，规划无人机水平飞行路线，指定飞行高度，飞行区域覆盖建模区域；
所述无人机控制单元用于控制无人机搭载五目数码相机按照所述飞行路线规划单元规划的飞行路线进行飞行，使用五目数码相机周期性连续拍摄地面照片；
所述照片导入单元用于将无人机拍摄的地面照片统一导入三维模型生成工具，生成倾斜摄影的三维模型；
所述三维模型修正单元用于检查三维模型生成工具生成的倾斜摄影的三维模型，并控制无人机补拍重点区域实景照片对模型材质和纹理进行精细化修正。
3.如权利要求2所述的视频融合***，其特征在于，所述三维模型生成工具为Smart3D软件工具。
4.如权利要求2所述的视频融合***，其特征在于，所述建模区域包括建筑、道路、绿植、固定设施。
5.如权利要求2所述的视频融合***，其特征在于，所述拍摄地面照片为JPG格式。
6.如权利要求2所述的视频融合***，其特征在于，所述效果调整模块包括：工具选择单元、数据加载单元、模型加载及调整单元、
所述工具选择单元用于选择支持WebGL的Cecium数字地球引擎，搭建GIS地理信息***环境；
所述数据加载单元用于加载卫星正视影像数据至步骤21的GIS地理信息***，作为基础图层，形成数字地球场景；
所述模型加载及调整单元用于将所述三维建模模块输出的倾斜摄影的三维模型数据转成Obj文件格式，加载至所述数字地球场景；并用于调整三维模型空间坐标参数，直至三维模型空间位置与所述卫星正视影像对比匹配一致；调整三维模型比例尺等比例缩放，直至三维模型大小贴近真实场景。
7.如权利要求6所述的视频融合***，其特征在于，所述GIS地理信息***采用开源Cesium平台。
8.如权利要求3所述的视频融合***，其特征在于，所述视频流处理模块包括：第一地址配置单元、视频流转换单元；
所述地址配置单元用于对所安装的摄像机，配置每台摄像机RTSP主码流地址；并用于将每台摄像机的RTSP主码流地址配置到H5Stream服务配置文件中；
所述视频流转换单元用于启动H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流，生成每台摄像机Html5视频流地址，使用浏览器能同时访问多路视频流预览画面。
9.如权利要求8所述的视频融合***，其特征在于，所述效果调整模块包括：第二地址配置单元、棋盘格图片设置及标定单元、画面矫正单元、画面裁剪单元；
所述第二地址配置单元用于将摄像机的Html5视频流地址配置到OPENCV算法库里的相机畸变矫正工具的视频流输入端；
所述棋盘格图片设置及标定单元用于将打印好的8×16黑白棋盘格A3图片放置到待纠正的视频画面中，标定棋盘格每个单元格交点；
所述画面矫正单元用于根据所述标定的单元格交点，通过均匀拉伸视频监控画面，将单元格交点对应的标定点还原成等间距分布的矩阵，实现视频流桶式畸变的矫正；
所述画面裁剪单元用于使用矩形工具裁剪畸变矫正后的视频监控画面，生成有效视域的视频码流输出地址。
10.如权利要求9所述的视频融合***，其特征在于，所述视频投射模块包括：多边形平面创建及调整单元、皮肤材质加载单元、场景拼接单元；
所述多边形平面创建及调整单元用于在加载了三维模型的数字地球场景中创建多边形平面，参照有效视域的视频监控画面调整多边形平面的大小和位置；调整多边形平面高度以匹配对应区域的三维模型的空间位置；
所述皮肤材质加载单元用于设置多边形平面材质参数，将有效视域的视频监控画面作为多边形平面的皮肤材质进行加载；
所述场景拼接单元用于调整相邻的多边形块位置和大小，直至相邻多边形块边缘区域连续无间隙，使多边形拼接组成连续大场景视频监控画面。
CN202011478934.8A 2020-12-15 2020-12-15 一种视频融合*** Pending CN112584060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011478934.8A CN112584060A (zh) 2020-12-15 2020-12-15 一种视频融合***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011478934.8A CN112584060A (zh) 2020-12-15 2020-12-15 一种视频融合***

Publications (1)

Publication Number Publication Date
CN112584060A true CN112584060A (zh) 2021-03-30

Family

ID=75135069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011478934.8A Pending CN112584060A (zh) 2020-12-15 2020-12-15 一种视频融合***

Country Status (1)

Country Link
CN (1) CN112584060A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538681A (zh) * 2021-07-14 2021-10-22 云南电网有限责任公司曲靖供电局 变电站动态实景三维重构方法、装置、电子设备及介质
CN113592326A (zh) * 2021-08-05 2021-11-02 合肥永信科翔智能技术有限公司 一种适用于智慧工厂的远程智能化监控***
CN114140593A (zh) * 2021-12-02 2022-03-04 北京清晨动力科技有限公司 数字地球和全景图融合显示方法和装置
CN115546377A (zh) * 2022-12-01 2022-12-30 杭州靖安科技有限公司 一种视频融合方法、装置、电子设备及存储介质
CN117152400A (zh) * 2023-10-30 2023-12-01 武汉苍穹融新科技有限公司 交通道路上多路连续视频与三维孪生场景融合方法及***
CN117560578A (zh) * 2024-01-12 2024-02-13 北京睿呈时代信息科技有限公司 基于三维场景渲染且视点无关的多路视频融合方法及***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001067749A2 (en) * 2000-03-07 2001-09-13 Sarnoff Corporation Camera pose estimation
US20030085992A1 (en) * 2000-03-07 2003-05-08 Sarnoff Corporation Method and apparatus for providing immersive surveillance
CN101951502A (zh) * 2010-10-19 2011-01-19 北京硅盾安全技术有限公司 一种三维智能视频监控方法
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合***和方法
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
CN106373148A (zh) * 2016-08-31 2017-02-01 中国科学院遥感与数字地球研究所 多路视频图像配准融合到三维数字地球***的设备及方法
CN107835436A (zh) * 2017-09-25 2018-03-23 北京航空航天大学 一种基于WebGL的实时虚实融合直播***及方法
US20200126299A1 (en) * 2018-10-18 2020-04-23 Trimble Inc. Virtual video projection system to synch animation sequences
CN111415416A (zh) * 2020-03-31 2020-07-14 武汉大学 一种监控实时视频与场景三维模型融合方法及***
CN112053446A (zh) * 2020-07-11 2020-12-08 南京国图信息产业有限公司 一种基于三维gis的实时监控视频与三维场景融合方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001067749A2 (en) * 2000-03-07 2001-09-13 Sarnoff Corporation Camera pose estimation
US20030085992A1 (en) * 2000-03-07 2003-05-08 Sarnoff Corporation Method and apparatus for providing immersive surveillance
CN101951502A (zh) * 2010-10-19 2011-01-19 北京硅盾安全技术有限公司 一种三维智能视频监控方法
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合***和方法
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
CN106373148A (zh) * 2016-08-31 2017-02-01 中国科学院遥感与数字地球研究所 多路视频图像配准融合到三维数字地球***的设备及方法
CN107835436A (zh) * 2017-09-25 2018-03-23 北京航空航天大学 一种基于WebGL的实时虚实融合直播***及方法
US20200126299A1 (en) * 2018-10-18 2020-04-23 Trimble Inc. Virtual video projection system to synch animation sequences
CN111415416A (zh) * 2020-03-31 2020-07-14 武汉大学 一种监控实时视频与场景三维模型融合方法及***
CN112053446A (zh) * 2020-07-11 2020-12-08 南京国图信息产业有限公司 一种基于三维gis的实时监控视频与三维场景融合方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538681A (zh) * 2021-07-14 2021-10-22 云南电网有限责任公司曲靖供电局 变电站动态实景三维重构方法、装置、电子设备及介质
CN113592326A (zh) * 2021-08-05 2021-11-02 合肥永信科翔智能技术有限公司 一种适用于智慧工厂的远程智能化监控***
CN114140593A (zh) * 2021-12-02 2022-03-04 北京清晨动力科技有限公司 数字地球和全景图融合显示方法和装置
CN114140593B (zh) * 2021-12-02 2022-06-14 北京清晨动力科技有限公司 数字地球和全景图融合显示方法和装置
CN115546377A (zh) * 2022-12-01 2022-12-30 杭州靖安科技有限公司 一种视频融合方法、装置、电子设备及存储介质
CN117152400A (zh) * 2023-10-30 2023-12-01 武汉苍穹融新科技有限公司 交通道路上多路连续视频与三维孪生场景融合方法及***
CN117152400B (zh) * 2023-10-30 2024-03-19 武汉苍穹融新科技有限公司 交通道路上多路连续视频与三维孪生场景融合方法及***
CN117560578A (zh) * 2024-01-12 2024-02-13 北京睿呈时代信息科技有限公司 基于三维场景渲染且视点无关的多路视频融合方法及***
CN117560578B (zh) * 2024-01-12 2024-04-16 北京睿呈时代信息科技有限公司 基于三维场景渲染且视点无关的多路视频融合方法及***

Similar Documents

Publication Publication Date Title
CN112584120A (zh) 一种视频融合方法
CN112584060A (zh) 一种视频融合***
CN109872401B (zh) 一种无人机视频增强现实实现方法
US20190149732A1 (en) Digital 3d/360 degree camera system
JP3243063B2 (ja) 投映画像の歪を制御する方法および装置
US10748243B2 (en) Image distortion transformation method and apparatus
US7961983B2 (en) Generating gigapixel images
US20050271299A1 (en) Image transforming method, image transforming device and multiprojection system
US8963943B2 (en) Three-dimensional urban modeling apparatus and method
CN107067447B (zh) 一种大空间区域的整体化视频监控方法
US20060165310A1 (en) Method and apparatus for a virtual scene previewing system
CN115641401A (zh) 一种三维实景模型的构建方法及相关装置
CN112437276A (zh) 一种基于WebGL的三维视频融合方法及***
KR20180130911A (ko) 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법
US11176716B2 (en) Multi-source image data synchronization
WO2023029551A1 (zh) 一种基于多无人机的图像拼接方法及其***
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
US6731825B1 (en) Apparatus and method for producing images using digitally stored dynamic background sets
See et al. Virtual reality 360 interactive panorama reproduction obstacles and issues
CN108108396B (zh) 一种飞行器航拍图片拼接管理***
KR102113950B1 (ko) 이미지 오버레이 보정
CN114332383B (zh) 一种基于全景视频的场景三维建模方法及装置
JP2005175620A (ja) 画像処理方法及び装置
TWI681365B (zh) 建築資訊模型與數值地形模型之整合系統及其整合方法
CN112822442A (zh) 热度图生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330

RJ01 Rejection of invention patent application after publication