CN115393192A - 一种基于总平面图的多点位多视角视频融合方法和*** - Google Patents
一种基于总平面图的多点位多视角视频融合方法和*** Download PDFInfo
- Publication number
- CN115393192A CN115393192A CN202211033403.7A CN202211033403A CN115393192A CN 115393192 A CN115393192 A CN 115393192A CN 202211033403 A CN202211033403 A CN 202211033403A CN 115393192 A CN115393192 A CN 115393192A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- fusion
- video
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010586 diagram Methods 0.000 title claims abstract description 42
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 126
- 230000004927 fusion Effects 0.000 claims abstract description 98
- 238000010276 construction Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 230000003247 decreasing effect Effects 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 3
- 238000005211 surface analysis Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 238000003860 storage Methods 0.000 abstract description 8
- 230000001360 synchronised effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于总平面图的多点位多视角视频融合方法和***，涉及数字化建造监管等领域，方法包括：基于工程项目总平面图的监控全覆盖点位规划及设备布设；基于建筑空间高度分层的监控区域划分；局部监控区域内的多角度视频融合；局部融合视频关键区域提取；基于工程项目平面图为底图的区域性填充融合；快速增或减摄影头画面补盲或去重；多区域视频边缘的均色、去除拼缝融合优化处理。本发明有效解决多点位多视角视频融合对三维模型的依赖性及施工现场环境复杂多变需频繁更新三维模型的繁琐性；实现对管辖项目内多个施工作业面、路面、堆场等的同步监管和调度指挥，提升监管能力及效率；具有较高的实用性和普适性。
Description
技术领域
本发明属于数字化建造、智慧建造、安全绿色施工、视频安防监管等技术领域，具体涉及图像融合处理、摄影测量及虚拟现实增强，更具体地，涉及一种基于总平面图的多点位多视角视频融合方法和***。
背景技术
传统的工地监控***中一直存在着视频监控画面零散、***繁多不连续、整体缺乏空间感的问题，已经无法满足现代化建设生产中的监管需求。
随着建筑工程数字化的发展，尤其是在数字化智慧建造方向，大数据、人工智能方向在建筑工地的应用越来越广泛。目前市面上较为普及的多点位多视角监控视频融合必须依赖静态三维模型，如倾斜摄影模型、BIM模型等进行投影映射，监控摄像头均采用静止点位进行布设。由于工地施工现场每日每时都在变化，如果采用基于三维模型的视频融合则需对建筑面升高、堆场堆料变化等进行动态建模；高频多次三维建模费用较高；架设摄像头监控群的塔机顶升后需人工调整监控布点参数；后期需要人为干预维护；实时性无法得到保障；故该技术无法满足日益动态变化的工地施工现场，然而不使用三维模型则多点位多视角如多塔机和不同高度无法拼接融合。
因此，如何有效实现智能化数字化工地的总平面视频监控，是亟待解决的问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于总平面图的多点位多视角视频融合方法和***，可以有效实现智能化数字化工地的总平面视频监控。
为实现上述目的，按照本发明的一个方面，提供了一种基于总平面图的多点位多视角视频融合方法，包括：
基于工程项目总平面图分析规划监控设备的布设点位，使监控设备能全面覆盖整个项目工地区域；
对工程项目总平面图进行空间高度作业面分析，对空间高低不同的目标区域进行区域划分；
调取各区域的相关监控画面进行图像特征点分析，计算出各区域对应的监控设备之间相应的位置及变换关系，将多角度监控视频画面初步拼接起来，并对拼接的图像进行融合处理；
将融合后的视频监控画面中的各目标区域采用图像边缘识别裁剪处理；
将裁剪后的局部融合视频画面填充至工程项目总平面图中相对应的区域并进行融合；
对区域性填充融合后的画面进行分析，对区域缺失监控画面部分进行快速增加摄像头进行补盲，对画面重合区域进行快速删减摄像头进行去重；
对多个局部融合视频区域边缘进行整体均色、去除拼接缝融合优化处理。
在一些可选的实施方案中，所述基于工程项目总平面图分析规划监控设备的布设点位，包括：
基于工程项目总平面图分析后，自动规划监控设备的布设点位，使监控设备能全面覆盖整个项目工地区域，监控架设完成后，规划有线和/或无线网络布点及自适应组网。
在一些可选的实施方案中，所述对工程项目总平面图进行空间高度作业面分析，对空间高低不同的目标区域进行区域划分，包括：
对工程项目总平面图进行空间高度作业面分析，以经纬网的形式对工地空间高低不同的目标区域(如施工面、路面、堆场)进行区域划分，以架设监控摄像头群的目标设备(包括塔机、施工电梯、照明路灯杆等)对主体施工面及施工空间高度会增长的目标区域(如施工面、路面、堆场等)进行区域划分。
在一些可选的实施方案中，所述调取各区域的相关监控画面进行图像特征点分析，计算出各区域对应的监控设备之间相应的位置及变换关系，将多角度监控视频画面初步拼接起来，并对拼接的图像进行融合处理，包括：
通过计算出同点位不同角度监控设备之间相应的位置及图像变换关系，将多角度监控视频画面初步拼接起来，并对拼接的图像进行融合处理。
在一些可选的实施方案中，所述将融合后的视频监控画面中的各目标区域采用图像边缘识别裁剪处理，包括：
将局部融合后的视频监控画面中的目标区域(如施工面、路面、堆场等)采用图像边缘识别裁剪处理，将裁剪后的图像画面以积木画面模块的形式暂存。
在一些可选的实施方案中，所述将裁剪后的局部融合视频画面填充至工程项目总平面图中相对应的区域并进行融合，包括：
将局部融合并对边缘裁剪好的视频融入工程项目总平面图经纬网对应的区块，在首次使用需设置参数，后期如无拆卸变动监控可做到无人值守。
在一些可选的实施方案中，所述对区域性填充融合后的画面进行分析，对区域缺失监控画面部分进行快速增加摄像头进行补盲，对画面重合区域进行快速删减摄像头进行去重，包括：
对区域缺失监控画面部分进行快速增加摄像头进行补盲，对画面重合区域进行快速删减摄像头进行去重，采用积木式拼搭，以动补静、模块化快速融合。
在一些可选的实施方案中，所述对多个局部融合视频区域边缘进行整体均色、去除拼接缝融合优化处理，包括：
将不同角度的局部融合画面统一转换成数字正射影像DOM；
采用工程总平面图经纬网对应的区块及总平面图具备的比例尺信息，塔机的至高点监控作为基准地形影像；
使用ASIFT算法分别提取不同角度的局部融合画面视频作为关键帧与融合塔机至高点监控画面地形影像的总平面图匹配点；
使用ASIFT算法获得关键帧与地形影像的匹配点，ASIFT通过计算经度角和纬度角的角度变化实现完全的仿射不变，其中，匹配点为局部融合监控画面关键帧图像与总平面图中相对的基准地形影像中具有相同特征的像素点。
按照本发明的另一方面，提供了一种基于总平面图的多点位多视角视频融合***，包括：
全覆盖点位规划及设备布设模块，用于基于工程项目总平面图分析规划监控设备的布设点位，使监控设备能全面覆盖整个项目工地区域；
监控区域划分模块，用于对工程项目总平面图进行空间高度作业面分析，对空间高低不同的目标区域进行区域划分；
多角度视频融合模块，用于调取各区域的相关监控画面进行图像特征点分析，计算出各区域对应的监控设备之间相应的位置及变换关系，将多角度监控视频画面初步拼接起来，并对拼接的图像进行融合处理；
局部融合视频关键区域提取模块，用于将融合后的视频监控画面中的各目标区域采用图像边缘识别裁剪处理；
区域性填充融合模块，用于将裁剪后的局部融合视频画面填充至工程项目总平面图中相对应的区域并进行融合；
快速增或减摄影头画面补盲或去重模块，用于对区域性填充融合后的画面进行分析，对区域缺失监控画面部分进行快速增加摄像头进行补盲，对画面重合区域进行快速删减摄像头进行去重；
多区域视频融合优化处理模块，用于对多个局部融合视频区域边缘进行整体均色、去除拼接缝融合优化处理。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
以工程项目总平面图为载体，结合视频融合、区域划分、监控画面关键区域提取及积木式画面拼接技术，实现了动态实时获取工地现场的工程项目总平面图监控。有效解决了多点位多视角视频融合对三维模型的依赖性及施工现场环境复杂多变需频繁更新三维模型的繁琐性；高频多次三维建模费用较高；架设摄像头监控群的塔机顶升后需人工调整监控布点参数；后期需要人为干预维护；实时性无法得到保障等问题。基于总平面图的多点位多视角视频融合，实现低成本、快速布设及后期无人化值守，具有更高的可靠性和实用性。
附图说明
图1是本发明实施例提供的一种方法流程示意图；
图2是本发明实施例提供的一种***架构示意图；
图3是本发明实施例提供的一种项目总平面图；
图4是本发明实施例提供的一种项目快速增或减摄影头及视频多分层融合方案流程图；
图5是本发明实施例提供的一种项目局部监控区域内的多角度视频融合；
图6是本发明实施例提供的一种项目局部融合视频关键区域提取；
图7是本发明实施例提供的一种项目局部融合视频画面的区域性填充；
图8是本发明实施例提供的一种项目多区域视频边缘匀色及整体融合优化处理。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明采用先进的实时视频融合技术，基于总平面图的区域划分及模块化形式对多个局部融合后的监控作业面，如施工面、路面、堆场等进行填充融合。实现了工地平面可视化，能够更好的俯视工地施工现场；实现了动态实时获取工地现场的工程项目总平面图监控，通过项目总平面图监控监督管理，实现对管辖项目内多个施工作业面、路面、堆场等一览无余的同步监控和调度指挥，免除使用人员需切换监控画面巡视，提升了监控能力和工作效率。
本发明涉及图像融合处理、摄影测量、虚拟现实增强、数字化建造、智慧建造、安全绿色施工、视频安防监管等技术领域，公开了一种基于总平面图的多点位多视角视频融合方法和***，该方法具体包含以下步骤：
(1)基于工程项目总平面图的监控全覆盖点位规划及设备布设；(2)基于建筑空间高度分层的监控区域划分；(3)局部监控区域内的多角度视频融合；(4)局部融合视频关键区域提取；(5)基于工程项目平面图为底图的区域性填充融合；(6)快速增或减摄影头画面补盲或去重；(7)多区域视频边缘的均色、去除拼接缝融合优化处理。
本发明实现了动态实时获取工地现场的工程项目总平面图监控，有效解决了多点位多视角视频融合对三维模型的依赖性及施工现场环境复杂多变需频繁更新三维模型的繁琐性；高频多次三维建模费用较高；架设摄像头监控群的塔机顶升后需人工调整监控布点参数；后期需要人为干预维护；实时性无法得到保障等问题。基于总平面图的多点位多视角视频融合方法和***，实现低成本、快速布设及后期无人化值守，具有更高的可靠性和实用性。
图1是本发明实施例提供的一种基于总平面图的多点位多视角视频融合方法的流程示意图，包括：
1、基于工程项目总平面图的监控全覆盖点位规划及设备布设；
2、基于建筑空间高度分层的监控区域划分；
3、局部监控区域内的多角度视频融合；
4、局部融合视频关键区域提取；
5、基于工程项目平面图为底图的区域性填充融合；
6、快速增或减摄影头画面补盲或去重；
7、多区域视频边缘的均色、去除拼接缝融合优化处理。
图2是本发明实施例提供的一种基于总平面图的多点位多视角视频融合***的架构图，包括：
全覆盖点位规划及设备布设模块，用于基于工程项目总平面图分析规划监控设备的布设点位，使监控设备能全面覆盖整个项目工地区域；
监控区域划分模块，用于对工程项目总平面图进行空间高度作业面分析，对空间高低不同的施工面、路面、堆场等进行区域划分；
多角度视频融合模块，用于调取各区域的相关监控画面进行图像特征点分析，计算出各区域对应的监控设备之间相应的位置及变换关系，将多角度监控视频画面初步拼接起来，并对拼接的图像进行融合处理；
局部融合视频关键区域提取模块，用于将融合后的视频监控画面中施工面、路面、堆场等采用图像边缘识别裁剪处理；
区域性填充融合模块，用于将裁剪后的局部融合视频画面填充至工程项目总平面图中相对应的区域并进行融合；
快速增或减摄影头画面补盲或去重模块，用于对区域性填充融合后的画面进行分析，对区域缺失监控画面部分进行快速增加摄像头进行补盲，对画面大部分重合区域进行快速删减摄像头进行去重；
多区域视频融合优化处理模块，用于对多个局部融合视频区域边缘的色差、拼接缝等进行整体均色、去除拼接缝融合优化处理。
图3是本发明具体实施例中的项目总平面图；通过项目总平面图，识别出建筑体或建筑群的高度、塔机高度及摆放位置、道路规划、堆场布置等重要信息；全覆盖点位规划及设备布设模块对识别出的重要信息进行分析，规划监控设备的布设点位，监控架设完成后，规划有线、无线(Wi-Fi、4G、5G等)网络布点及自适应组网。该实施例布设方案：参考图5左侧部分，以塔机为安装支点，共四侧，每侧以水平同轴方式各安装两台枪型摄像机，2.8mm-12mm焦距1080P红外枪型摄像机8台；作为至高点监控，主要监测建筑高层施工作业面为主。四面围墙各居中安装一根15米高立杆，每根立杆上方各安装四台枪型摄像机，其中两台为一组同轴且每组背对安装，监测道路及堆场等。通过上述实施例中监控设备的布设，初步做到全面覆盖整个项目工地区域。
图4是本发明具体实施例中的项目快速增或减摄影头及视频多分层融合方案流程图，涉及两个功能模块：监控区域划分模块、快速增或减摄影头画面补盲或去重模块；依据建筑体或建筑群的高度、塔机摆放位置、道路规划、堆场布置等重要信息，使用监控区域划分模块进行空间高度作业面分析，对空间高低不同的施工面、路面、堆场等进行区域划分。快速增或减摄影头画面补盲或去重模块对区域性填充融合后的画面进行分析，对区域缺失监控画面部分进行快速增加摄像头进行补盲，对画面大部分重合区域进行快速删减摄像头进行去重。
图5是本发明具体实施例中的项目局部监控区域内的多角度视频融合；图5左侧部分为实施例中塔机上安装的8台枪机单多视角画面，右侧部分为局部拼接画面。该过程中使用多角度视频融合模块，调取区域划分后的相关监控画面进行图像特征点分析，计算出监控设备之间相应的位置及变换关系，将多角度监控视频画面初步拼接起来，并对拼接的图像进行融合处理。
多角度视频融合模块主要用到的技术有：多路图像拼接用于将多路具备相关性的监控画面相融合；图像边缘融合用于处理图像拼接产生的拼接缝；图像匀色技术用于将多组监控画面色彩统一，解决多组监控曝光度等不同产生的色差；图像仿射、透视变换技术用于将多组监控融合的画面进行多角度变换；图像自动矫正技术用于解决图像变换过程中产生的形变。如：图像拼接处会出现色差、缝隙等差异，通过融合算法优化可有效解决局部的边缘缝隙等问题；全局图像融合中，由于拍摄时间、设备拍摄参数等的不同，使得最终融合会出现以块为单位的色彩差异，可通过色彩提取、修正、增强等，可将全局色彩一致化；图像拍摄、融合、变换视角等，会出现畸变，可采取轮廓检测、直线检测等，并对曲线和直线结构保持约束项的结构保持绘制，对相似变换进行约束，矫正拼接图像的形状，减小投影失真导致的最终图像扭曲。
图6是本发明具体实施例中的项目局部融合视频关键区域提取；该过程中使用局部融合视频关键区域提取功能模块，通过人工框选或深度学习将建筑施工作业面采用图像边缘识别裁剪处理；将裁剪后的图像画面以积木画面模块的形式暂存。
图7是本发明具体实施例中的项目局部融合视频画面的区域性填充；该过程中使用区域性填充融合功能模块。该模块将局部融合视频画面中识别裁剪处理后的施工作业面、道路、堆场等监控画面进行工程项目总平面图中相对应的区域填充，包括以下步骤：将“多分层”的“积木画面”(局部融合并对边缘裁剪好的视频)融入工程项目总平面图“经纬网”对应的区块；项目工程总平面图具备比例尺信息，有效解决多点位多视角(多塔机、不同高度)不依赖三维模型无法拼接融合、多路融合后畸变过大、成像中的“近大远小”等问题；首次使用需设置参数，后期如无拆卸变动监控可做到“无人值守”。
图8是本发明具体实施例中的项目多区域视频边缘匀色及整体融合优化处理；该过程中使用多区域视频融合优化处理功能模块对多个局部融合视频区域边缘的色差、拼接缝等进行整体均色、去除拼接缝融合优化处理。
多区域视频融合优化涉及的将不同角度的局部融合画面统一转换成数字正射影像(Digital Orthophoto Map，DOM)。采用工程总平面图“经纬网”对应的区块及总平面图具备的比例尺信息，塔机的至高点监控(距离地面高度90米)作为基准地形影像；使用ASIFT算法分别提取不同角度的局部融合画面视频作为关键帧与融合塔机至高点监控画面地形影像的总平面图匹配点。使用ASIFT算法获得关键帧与地形影像的匹配点，ASIFT通过计算经度角和纬度角的角度变化实现完全的仿射不变，所述匹配点为局部融合监控画面关键帧图像与总平面图中相对的基准地形影像中具有相同特征的像素点。
局部融合监控关键帧图像与总平面图中相对的基准地形影像的坐标转换公式由仿射变换矩阵组成：
任何一个矩阵A都可以分解为：
Ri和Ti分别代表旋转变化对应的转换矩阵和倾斜变化对应的转换矩阵。
通过透视变换将仿射变换后的局部融合监控关键帧图像投影至总平面图相对应区域。
通用的透视变换公式为
上述实施例中提供的一种基于总平面图的多点位多视角视频融合方法和***，以工程项目总平面图载体，结合视频融合、区域划分、监控画面关键区域提取、“积木式”画面拼接技术，实现了动态实时获取工地现场的工程项目总平面图监控。有效解决了多点位多视角视频融合对三维模型的依赖性及施工现场环境复杂多变需频繁更新三维模型的繁琐性；高频多次三维建模费用较高；架设摄像头监控群的塔机顶升后需人工调整监控布点参数；后期需要人为干预维护；实时性无法得到保障等问题。基于总平面图的多点位多视角视频融合方法和***，实现低成本、快速布设及后期无人化值守，具有更高的可靠性和实用性。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于总平面图的多点位多视角视频融合方法，其特征在于，包括：
基于工程项目总平面图分析规划监控设备的布设点位，使监控设备能全面覆盖整个项目工地区域；
对工程项目总平面图进行空间高度作业面分析，对空间高低不同的目标区域进行区域划分；
调取各区域的相关监控画面进行图像特征点分析，计算出各区域对应的监控设备之间相应的位置及变换关系，将多角度监控视频画面初步拼接起来，并对拼接的图像进行融合处理；
将融合后的视频监控画面中的各目标区域采用图像边缘识别裁剪处理；
将裁剪后的局部融合视频画面填充至工程项目总平面图中相对应的区域并进行融合；
对区域性填充融合后的画面进行分析，对区域缺失监控画面部分进行快速增加摄像头进行补盲，对画面重合区域进行快速删减摄像头进行去重；
对多个局部融合视频区域边缘进行整体均色、去除拼接缝融合优化处理。
2.根据权利要求1所述的方法，其特征在于，所述基于工程项目总平面图分析规划监控设备的布设点位，包括：
基于工程项目总平面图分析后，自动规划监控设备的布设点位，使监控设备能全面覆盖整个项目工地区域，监控架设完成后，规划有线和/或无线网络布点及自适应组网。
3.根据权利要求2所述的方法，其特征在于，所述对工程项目总平面图进行空间高度作业面分析，对空间高低不同的目标区域进行区域划分，包括：
对工程项目总平面图进行空间高度作业面分析，以经纬网的形式对工地空间高低不同的目标区域进行区域划分，以架设监控摄像头群的目标设备对主体施工面及施工空间高度会增长的目标区域进行区域划分。
4.根据权利要求3所述的方法，其特征在于，所述调取各区域的相关监控画面进行图像特征点分析，计算出各区域对应的监控设备之间相应的位置及变换关系，将多角度监控视频画面初步拼接起来，并对拼接的图像进行融合处理，包括：
通过计算出同点位不同角度监控设备之间相应的位置及图像变换关系，将多角度监控视频画面初步拼接起来，并对拼接的图像进行融合处理。
5.根据权利要求4所述的方法，其特征在于，所述将融合后的视频监控画面中的各目标区域采用图像边缘识别裁剪处理，包括：
将局部融合后的视频监控画面中的目标区域采用图像边缘识别裁剪处理，将裁剪后的图像画面以积木画面模块的形式暂存。
6.根据权利要求5所述的方法，其特征在于，所述将裁剪后的局部融合视频画面填充至工程项目总平面图中相对应的区域并进行融合，包括：
将局部融合并对边缘裁剪好的视频融入工程项目总平面图经纬网对应的区块，在首次使用需设置参数，后期如无拆卸变动监控可做到无人值守。
7.根据权利要求6所述的方法，其特征在于，所述对区域性填充融合后的画面进行分析，对区域缺失监控画面部分进行快速增加摄像头进行补盲，对画面重合区域进行快速删减摄像头进行去重，包括：
对区域缺失监控画面部分进行快速增加摄像头进行补盲，对画面重合区域进行快速删减摄像头进行去重，采用积木式拼搭，以动补静、模块化快速融合。
8.根据权利要求7所述的方法，其特征在于，所述对多个局部融合视频区域边缘进行整体均色、去除拼接缝融合优化处理，包括：
将不同角度的局部融合画面统一转换成数字正射影像DOM；
采用工程总平面图经纬网对应的区块及总平面图具备的比例尺信息，塔机的至高点监控作为基准地形影像；
使用ASIFT算法分别提取不同角度的局部融合画面视频作为关键帧与融合塔机至高点监控画面地形影像的总平面图匹配点；
使用ASIFT算法获得关键帧与地形影像的匹配点，ASIFT通过计算经度角和纬度角的角度变化实现完全的仿射不变，其中，匹配点为局部融合监控画面关键帧图像与总平面图中相对的基准地形影像中具有相同特征的像素点。
9.一种基于总平面图的多点位多视角视频融合***，其特征在于，包括：
全覆盖点位规划及设备布设模块，用于基于工程项目总平面图分析规划监控设备的布设点位，使监控设备能全面覆盖整个项目工地区域；
监控区域划分模块，用于对工程项目总平面图进行空间高度作业面分析，对空间高低不同的目标区域进行区域划分；
多角度视频融合模块，用于调取各区域的相关监控画面进行图像特征点分析，计算出各区域对应的监控设备之间相应的位置及变换关系，将多角度监控视频画面初步拼接起来，并对拼接的图像进行融合处理；
局部融合视频关键区域提取模块，用于将融合后的视频监控画面中的各目标区域采用图像边缘识别裁剪处理；
区域性填充融合模块，用于将裁剪后的局部融合视频画面填充至工程项目总平面图中相对应的区域并进行融合；
快速增或减摄影头画面补盲或去重模块，用于对区域性填充融合后的画面进行分析，对区域缺失监控画面部分进行快速增加摄像头进行补盲，对画面重合区域进行快速删减摄像头进行去重；
多区域视频融合优化处理模块，用于对多个局部融合视频区域边缘进行整体均色、去除拼接缝融合优化处理。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211033403.7A CN115393192A (zh) | 2022-08-26 | 2022-08-26 | 一种基于总平面图的多点位多视角视频融合方法和*** |
| PCT/CN2023/071527 WO2024040863A1 (zh) | 2022-08-26 | 2023-01-10 | 一种基于总平面图的多点位多视角视频融合方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211033403.7A CN115393192A (zh) | 2022-08-26 | 2022-08-26 | 一种基于总平面图的多点位多视角视频融合方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393192A true CN115393192A (zh) | 2022-11-25 |
Family
ID=84122929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211033403.7A Pending CN115393192A (zh) | 2022-08-26 | 2022-08-26 | 一种基于总平面图的多点位多视角视频融合方法和*** |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115393192A (zh) |
| WO (1) | WO2024040863A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115589536A (zh) * | 2022-12-12 | 2023-01-10 | 杭州巨岩欣成科技有限公司 | 泳池防溺水多相机空间融合方法及装置 |
| WO2024040863A1 (zh) * | 2022-08-26 | 2024-02-29 | 中建三局集团有限公司 | 一种基于总平面图的多点位多视角视频融合方法和*** |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8611691B2 (en) * | 2009-07-31 | 2013-12-17 | The United States Of America As Represented By The Secretary Of The Army | Automated video data fusion method |
| CN110225315A (zh) * | 2019-07-12 | 2019-09-10 | 北京派克盛宏电子科技有限公司 | 电力***视屏监控画面融合方法 |
| CN111586351A (zh) * | 2020-04-20 | 2020-08-25 | 上海市保安服务(集团)有限公司 | 场馆三维视频融合可视化监控***及方法 |
| CN114882201A (zh) * | 2022-04-15 | 2022-08-09 | 中建三局集团有限公司 | 实时全景三维数字工地地图监管***及方法 |
| CN115393192A (zh) * | 2022-08-26 | 2022-11-25 | 中建三局集团有限公司 | 一种基于总平面图的多点位多视角视频融合方法和*** |
-
2022
- 2022-08-26 CN CN202211033403.7A patent/CN115393192A/zh active Pending
-
2023
- 2023-01-10 WO PCT/CN2023/071527 patent/WO2024040863A1/zh unknown
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024040863A1 (zh) * | 2022-08-26 | 2024-02-29 | 中建三局集团有限公司 | 一种基于总平面图的多点位多视角视频融合方法和*** |
| CN115589536A (zh) * | 2022-12-12 | 2023-01-10 | 杭州巨岩欣成科技有限公司 | 泳池防溺水多相机空间融合方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024040863A1 (zh) | 2024-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115393192A (zh) | 一种基于总平面图的多点位多视角视频融合方法和*** | |
| CN108564647B (zh) | 一种建立虚拟三维地图的方法 | |
| Han et al. | Potential of big visual data and building information modeling for construction performance analytics: An exploratory study | |
| Jiang et al. | UAV-based 3D reconstruction for hoist site mapping and layout planning in petrochemical construction | |
| US8818076B2 (en) | System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments | |
| US7509241B2 (en) | Method and apparatus for automatically generating a site model | |
| CN110910338A (zh) | 一种三维实景视频的获取方法、装置、设备及存储介质 | |
| CN109902332A (zh) | 一种基于三维化技术的电力配网*** | |
| CN107396046A (zh) | 一种基于倾斜摄影真三维模型的立体监控***及方法 | |
| CN104330074A (zh) | 一种智能测绘平台及其实现方法 | |
| CN110660125B (zh) | 用于电力配网***的三维建模装置 | |
| CN114419231B (zh) | 基于点云数据和ai技术的交通设施矢量识别提取分析*** | |
| CN112383745A (zh) | 一种基于全景影像的大型集群化施工项目的数字化呈现方法 | |
| Busch et al. | Lumpi: The leibniz university multi-perspective intersection dataset | |
| CN116210013A (zh) | Bim可视化***及装置、可视化平台、存储介质 | |
| CN111522360A (zh) | 一种基于电力铁塔的带状倾斜摄影自动航线规划方法 | |
| CN116883251B (zh) | 基于无人机视频的图像定向拼接与三维建模方法 | |
| CN114882201A (zh) | 实时全景三维数字工地地图监管***及方法 | |
| CN115604433A (zh) | 一种虚实结合的三维可视化*** | |
| Zhou et al. | Application of UAV oblique photography in real scene 3d modeling | |
| CN110189395B (zh) | 一种基于人视角倾斜摄影实现景观立面动态分析与定量设计的方法 | |
| CN109035365B (zh) | 一种高分辨率影像的镶嵌处理方法 | |
| CN112529498B (zh) | 一种仓储物流管理方法及*** | |
| CN114299236A (zh) | 倾斜摄影测量空地融合实景建模方法、装置、产品及介质 | |
| CN114359489A (zh) | 一种管道施工期实景影像的制作方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |