CN116091723B - 一种基于无人机的消防应急救援实景三维建模方法及*** - Google Patents

Abstract

本发明提供了一种基于无人机的消防应急救援实景三维建模方法及***，三维建模方法包括S1：通过无人机进行建筑物拍摄，获取图像信息；S2：对图像信息进行特征点分析，建立图像和实物的对应关系；S3：通过三维建模引擎，生成建筑三维模型并与图像信息进行位置匹配，建立图像和模型的对应关系；S4：融合图像和实物的对应关系以及图像和模型的对应关系，生成图像、实物和模型的三者对应关系；S5：通过混合现实技术将三者对应关系转换为虚拟三维模型，并在移动载体上呈现；S6：将移动载体上的虚拟三维模型与真实建筑进行匹配和纠偏，完成实景三维建模。

Description

一种基于无人机的消防应急救援实景三维建模方法及***

【技术领域】

本发明涉及无人机技术领域，尤其涉及一种基于无人机的消防应急救援实景三维建模方法及***。

【背景技术】

随着城市建筑不断增加，面临的重大特大火灾也时有发生。在火灾发生后，现场环境非常复杂，救援人员工作的开展相当困难。同时，由于火灾现场环境复杂，救援人员时刻面临着巨大的危险，严重危及着救援人员的生命安全。因而，能够在极短的时间内掌握受灾现场的地理位置信息以及相关参数显得尤为重要，为营救受困人员与保护国家人民财产创造有利条件。

当前，随着无人机的迅速发展，无人机具备机动灵活、成本低廉；视野全面、全局性强；拓展性强、适用广泛等特点，在消防应急救援中得到广泛应用。有人提出将5G与无人机技术应用于危化品仓库火灾应急救援，能够实现现场拍摄画面的实时图传；有人提出借助无人机构建三维消防辅助救援***，对无人机采集的实时数据进行云端数学建模和计算处理，预测火灾可能的演变路径和灾变过程，形成根据实时灾害信息动态调整的消防救援决策方案等，在一定基础上提供消防救援人员灾变信息，提高了灭火救援效率。但是，对于地图位置与三维建模未进行绑定，建筑地理位置发生变化时，三维建模会发生偏差；此外，对于建筑室内地图未进行三维建模，更没有室内消防设施信息标注，无法提供全要素消防信息。本专利提出借助无人机倾斜摄影技术，通过专用软件进行航拍线路规划和三维建模。同时，将建筑地理位置与构建的三维模型进行位置绑定，加以自动纠偏或者手动纠偏的方式，使得两者高度吻合。更为重要的是，笔者还针对建筑进行室内三维地图的构建，标注全要素的消防设施信息，包括消防电梯、防火门、消火栓等，有力支撑多变的灾害现场灭火救援指挥决策。

因此，有必要研究一种基于无人机的消防应急救援实景三维建模方法及***来应对现有技术的不足，以解决或减轻上述一个或多个问题。

【发明内容】

有鉴于此，本发明提供了一种基于无人机的消防应急救援实景三维建模方法及***，借助无人机、倾斜摄影、5G、图像识别、室内定位、混合现实(Mixed Reality，MR)等技术，实现室内外一体的动态匹配建筑实景三模建模，能够实时掌握火灾现场的动态信息，依据现场突发情况能够更加及时、精准、高效地更新消防预案，为应急救援提供科学、合理的辅助决策，满足现有的火灾应急救援实战需要。

一方面，本发明提供一种基于无人机的消防应急救援实景三维建模方法，所述三维建模方法包括：

S1：通过无人机进行建筑物拍摄，获取图像信息；

S2：对图像信息进行特征点分析，建立图像和实物的对应关系；

S3：通过三维建模引擎，生成建筑三维模型并与图像信息进行位置匹配，建立图像和模型的对应关系；

S4：融合图像和实物的对应关系以及图像和模型的对应关系，生成图像、实物和模型的三者对应关系；

S5：通过混合现实技术将三者对应关系转换为虚拟三维模型，并在移动载体上呈现；

S6：将移动载体上的虚拟三维模型与真实建筑进行匹配和纠偏，完成实景三维建模。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2中建立图像和实物的对应关系具体为：采用SIFT算子计算图片每个像素点的特征；拍摄过程中形成多张实物关键点图片，根据关键点对实物图片进行命名，根据特征点分析结果，建立特征点与实物关键点的对应关系。对应关系以二元组呈现：<特征点，实物点>。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3中建立图像和模型的对应关系具体为：通过上步得到的特征点，对多张图片像素做匹配对应，从而估计相机参数，得到稀疏的3D信息，根据得到的相机参数，做稠密重建，得到点云，从而实现特征点到模型结构点的映射。对应关系以二元组呈现：<特征点，模型点>。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4中生成图像、实物和模型的三者对应关系具体为：根据<特征点，实物点>、<特征点，模型点>构建三者之间的对应关系<特征点，模型点，实物点>。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S5中通过混合现实技术将三者对应关系转换为虚拟三维模型具体为：根据稀疏的3D信息和相机参数，做稠密重建，得到点云，并对点云做后处理，得到网格，去除噪声点等，然后得到虚拟三维模型。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S6中匹配方法具体为：根据上述构建的<特征点，模型点，实物点>关系，对实物点和虚拟三维模型中点进行匹配。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S6中纠偏方法具体为：根据上述构建的<特征点，模型点，实物点>关系，对实物点和虚拟三维模型中点进行纠偏。

如上所述的方面和任一可能的实现方式，进一步提供一种基于无人机的消防应急救援实景三维建模***，所述三维建模***包括：

图像信息获取模块，用于通过无人机进行建筑物拍摄，获取图像信息；

特征点分析模块，用于对图像信息进行特征点分析，建立图像和实物的对应关系；

建筑模型匹配模块，用于通过三维建模引擎，生成建筑三维模型并与图像信息进行位置匹配，建立图像和模型的对应关系；

数据融合模块，用于融合图像和实物的对应关系以及图像和模型的对应关系，生成图像、实物和模型的三者对应关系；

虚拟建模模块，通过混合现实技术将三者对应关系转换为虚拟三维模型，并在移动载体上呈现；

实景建模模块，用于将移动载体上的虚拟三维模型与真实建筑进行匹配和纠偏，完成实景三维建模。

如上所述的方面和任一可能的实现方式，进一步提供一种可读存储介质，包括：存储器，所述存储器存储有程序；处理器，所述处理器执行所述程序时实现任一项所述的三维建模方法。

与现有技术相比，本发明可以获得包括以下技术效果：

本发明可以实现建筑地理位置与三维模型的位置绑定，加以自动纠偏或者手动纠偏的方式，使得两者高度吻合，精度可以达到厘米级，远远优于现有的分米级精度。更为重要的是，本专利还针对建筑进行室内三维地图的构建，标注全要素的消防设施信息，包括消防电梯、防火门、消火栓等，结合三维可视化消防救援预案，可以在构建完成的实景三维模型上标识消防救援人员、消防车辆以及装备的实时位置信息，更加直观、快速和准确。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一个实施例提供的三维建模方法的流程图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

本发明提供一种基于无人机的消防应急救援实景三维建模方法，所述三维建模方法包括：

S1：通过无人机进行建筑物拍摄，获取图像信息；

S2：对图像信息进行特征点分析，建立图像和实物的对应关系；

S3：通过三维建模引擎，对拍摄图像坐标信息进行提取分析，建立精准的建筑二维信息，通过对建筑二维信息的层高处理，架构起带有基本特征的室内外三维框架图信息。生成建筑三维模型并与图像信息进行位置匹配，建立图像和模型的对应关系；

S4：融合图像和实物的对应关系以及图像和模型的对应关系，生成图像、实物和模型的三者对应关系；

S5：通过混合现实技术将三者对应关系转换为虚拟三维模型，并在移动载体上呈现；

S6：将移动载体上的虚拟三维模型与真实建筑进行匹配和纠偏，完成实景三维建模，在移动端呈现是为了方便各种智能终端查看，纠偏过程根据无人机拍摄高分辨率图片为主。

所述S2中建立图像和实物的对应关系具体为：采用SIFT算子计算图片每个像素点的特征；拍摄过程中形成多张实物关键点图片，根据关键点对实物图片进行命名，根据特征点分析结果，建立特征点与实物关键点的对应关系。对应关系以二元组呈现：<特征点，实物点>。所述S3中建立图像和模型的对应关系具体为：通过上步得到的特征点，对多张图片像素做匹配对应，从而估计相机参数，得到稀疏的3D信息，根据得到的相机参数，做稠密重建，得到点云，从而实现特征点到模型结构点的映射。对应关系以二元组呈现：<特征点，模型点>。所述S4中生成图像、实物和模型的三者对应关系具体为：根据<特征点，实物点>、<特征点，模型点>构建三者之间的对应关系<特征点，模型点，实物点>。所述S5中通过混合现实技术将三者对应关系转换为虚拟三维模型具体为：根据稀疏的3D信息和相机参数，做稠密重建，得到点云，并对点云做后处理，得到网格，去除噪声点等，然后得到虚拟三维模型。

所述S6中匹配方法具体为：根据上述构建的<特征点，模型点，实物点>关系，对实物点和虚拟三维模型中点进行匹配。所述S6中纠偏方法具体为：根据上述构建的<特征点，模型点，实物点>关系，对实物点和虚拟三维模型中点进行纠偏。

本发明还提供一种基于无人机的消防应急救援实景三维建模***，所述三维建模***包括：

图像信息获取模块，用于通过无人机进行建筑物拍摄，获取图像信息；

特征点分析模块，用于对图像信息进行特征点分析，建立图像和实物的对应关系；

建筑模型匹配模块，用于通过三维建模引擎，生成建筑三维模型并与图像信息进行位置匹配，建立图像和模型的对应关系；

数据融合模块，用于融合图像和实物的对应关系以及图像和模型的对应关系，生成图像、实物和模型的三者对应关系；

虚拟建模模块，通过混合现实技术将三者对应关系转换为虚拟三维模型，并在移动载体上呈现；

实景建模模块，用于将移动载体上的虚拟三维模型与真实建筑进行匹配和纠偏，完成实景三维建模。

本发明还提供一种可读存储介质，包括：存储器，所述存储器存储有程序；处理器，所述处理器执行所述程序时实现任一项所述的三维建模方法。

实施例1：

如图1所示，本发明借助无人机倾斜摄影，获取目标建筑的地面影像信息。通过无人机摄像头相对固定的三维空间坐标，以及对目标建筑拍摄的角度，可以确定目标建筑的三维空间位置，规避传统三维建模需要通过大量的人工外测以及复杂的建模和贴图处理，尤其对于构建大面积的三维数字城市，其工作量很大，任务周期长，处理过程复杂且成本很高的局限。在此基础上，通过拍摄图像特征点，确定其在真实环境中的位置，建立拍照图像与真实建筑地理位置信息的对应关系。更为创新地，本专利提出通过三维建模引擎，快速生成建筑三维模型，与拍摄图像进行位置匹配，两者也建立对应关系，进而实现真实环境地理位置信息、拍摄图像三维坐标信息及生成的三维模型的三者相互对应关系。借助三者对应关系，实现建筑地理位置与三维模型的位置绑定，加以自动纠偏或者手动纠偏的方式，使得两者高度吻合，精度可以达到厘米级，远远优于现有的分米级精度。更为重要的是，本专利还针对建筑进行室内三维地图的构建，标注全要素的消防设施信息，包括消防电梯、防火门、消火栓等，结合三维可视化消防救援预案，可以在构建完成的实景三维模型上标识消防救援人员、消防车辆以及装备的实时位置信息，更加直观、快速和准确。

本发明针对我国消防火灾呈现“情况复杂、现场多变”趋势的现状，有助于消防应急救援辅助决策。借助无人机生成的实景三维模型与真实环境地理位置相互绑定，可通过混合现实技术，将真实建筑和生成的虚拟三维模型呈现于载体上(手机、平板……)。

针对危化品仓库，可以借助5G技术实时上传采集到的灾害现场火灾信息，进行后台智能分析，辅助指挥员作战决策，更为有利的是，本专利实现的消防设施、人员和车辆在三维模型的标识，指挥员可通过载体点击着火建筑，可掌握罐体基本信息(包括：体积、储存气体、温度、风向等)，结合消防员、消防车辆位置信息，在原有的消防预案基础上，及时高效制定合理的作战方案。针对大型综合体或者地下建筑，本方法可以多视角的掌握具体着火位置、消防人员及消防车辆分布情况，因无人机生成的实景三维模型与真实环境地理位置相互绑定，指挥员旋转三维模型，真实着火建筑也会随之旋转，时刻保持高度重合。此外，消防指挥人员可通过室内三维地图及标识信息，掌握建筑内部结构及消防设施分布情况，为消防救援人员内部作战制定合理的作战路线，真正实现内外三维实景构建，目标建筑和三维模型联动，消防指挥人员能够更加精准地进行消防预案研判，面对火灾趋势变化，实时地在线作出预案调整，高效、联动、及时的作出实战部署，提升作战效能，做到信息联动、精准指挥。

以上对本申请实施例所提供的一种基于无人机的消防应急救援实景三维建模方法及***，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。

Claims (3)

1.一种基于无人机的消防应急救援实景三维建模方法，其特征在于，所述三维建模方法包括：S1：通过无人机进行建筑物拍摄，获取图像信息；

S2：对图像信息进行特征点分析，建立图像和实物的对应关系；

S3：通过三维建模引擎，生成建筑三维模型并与图像信息进行位置匹配，建立图像和模型的对应关系；

S4：融合图像和实物的对应关系以及图像和模型的对应关系，生成图像、实物和模型的三者对应关系；

S5：通过混合现实技术将三者对应关系转换为虚拟三维模型，并在移动载体上呈现；

S6：将移动载体上的虚拟三维模型与真实建筑进行匹配和纠偏，完成实景三维建模；

所述S2中建立图像和实物的对应关系具体为：采用SIFT算子计算图片每个像素点的特征；拍摄过程中形成多张实物关键点图片，根据关键点对实物图片进行命名，根据特征点分析结果，建立特征点与实物关键点的对应关系，对应关系以二元组呈现：<特征点，实物点>；

所述S3中建立图像和模型的对应关系具体为：通过S2得到的特征点，对多张图片像素做匹配对应，从而估计相机参数，得到稀疏的3D信息，根据得到的相机参数，做稠密重建，得到点云，从而实现特征点到模型结构点的映射，对应关系以二元组呈现：<特征点，模型点>；

所述S4中生成图像、实物和模型的三者对应关系具体为：根据<特征点，实物点>、<特征点，模型点>构建三者之间的对应关系<特征点，模型点，实物点>；

所述S5中通过混合现实技术将三者对应关系转换为虚拟三维模型具体为：根据稀疏的3D信息和相机参数，做稠密重建，得到点云，并对点云做后处理，得到网格和去除噪声点，然后得到虚拟三维模型；

所述S6中匹配方法具体为：根据上述构建的<特征点，模型点，实物点>关系，对实物点和虚拟三维模型中点进行匹配；

所述S6中纠偏方法具体为：根据上述构建的<特征点，模型点，实物点>关系，对实物点和虚拟三维模型中点进行纠偏。

2.一种基于无人机的消防应急救援实景三维建模***，基于上述权利要求1所述的三维建模方法，其特征在于，所述三维建模***包括：图像信息获取模块，用于通过无人机进行建筑物拍摄，获取图像信息；

特征点分析模块，用于对图像信息进行特征点分析，建立图像和实物的对应关系；

建筑模型匹配模块，用于通过三维建模引擎，生成建筑三维模型并与图像信息进行位置匹配，建立图像和模型的对应关系；

数据融合模块，用于融合图像和实物的对应关系以及图像和模型的对应关系，生成图像、实物和模型的三者对应关系；

虚拟建模模块，通过混合现实技术将三者对应关系转换为虚拟三维模型，并在移动载体上呈现；

实景建模模块，用于将移动载体上的虚拟三维模型与真实建筑进行匹配和纠偏，完成实景三维建模。

3.一种可读存储介质，包括：存储器，所述存储器存储有程序；处理器，所述处理器执行所述程序时实现如权利要求1中所述的三维建模方法。