CN111968221A - 基于温度场与实景视频流的双模式三维建模方法及装置 - Google Patents
基于温度场与实景视频流的双模式三维建模方法及装置 Download PDFInfo
- Publication number
- CN111968221A CN111968221A CN202010769149.1A CN202010769149A CN111968221A CN 111968221 A CN111968221 A CN 111968221A CN 202010769149 A CN202010769149 A CN 202010769149A CN 111968221 A CN111968221 A CN 111968221A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- temperature field
- live
- video stream
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000015654 memory Effects 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 abstract description 19
- 239000002609 medium Substances 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000010485 coping Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009529 body temperature measurement Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Educational Administration (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Radiation Pyrometers (AREA)
Abstract
本申请实施例公开了基于温度场与实景视频流的双模式三维建模方法及装置。本申请实施例提供的技术方案，通过采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录红外相机的第一位姿信息和可见光相机的第二位姿信息，进一步基于点云数据构建火灾现场的初始三维模型，基于第一位姿信息将红外图像与初始三维模型匹配，构建温度场三维模型，基于第二位姿信息将视频流图像与初始三维模型融合，构建实景三维模型，最终将温度场三维模型和实景三维模型同屏输出显示。采用上述技术手段，可以实现火灾现场的温度场三维模型和实景三维模型的构建及显示，还原火灾现场情况，详细显示火源分布。
Description
技术领域
本申请实施例涉及三维模型构建技术领域，尤其涉及基于温度场与实景视频流的双模式三维建模方法及装置。
背景技术
目前，在火灾发生时，如若扑救不及时，难免会造成经济损失乃至人员伤亡。因此，在火灾发生时，如何对火灾进行及时扑救一直是人们关注的问题。为此，现有一种三维建模方法，其在发生大型火灾时，通过对火灾现场进行三维建模，可以准确的还原出火灾现场建筑、各类障碍物等的布局情况，消防人员基于火灾现场的三维模型，即可进行救援布局，制定相应的扑救计划，以此可提升火灾扑救效率，及时扑灭火源，保障人们的生命和财产安全。
但是，由于火灾现场情况复杂，现场环境瞬息万变，仅仅通过三维模型难以较好地还原火灾现场的实际情况，也难以获知火源的具体分布情况，基于简单的三维模型容易误导救援布局，导致扑救计划出错的情况。
发明内容
本申请实施例提供基于温度场与实景视频流的双模式三维建模方法及装置，能够准确还原火灾现场情况，详细显示火源分布，优化火灾现场信息展示效果。
在第一方面，本申请实施例提供了一种基于温度场与实景视频流的双模式三维建模方法，包括：
采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息；
基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型；
将所述温度场三维模型和所述实景三维模型同屏输出显示。
进一步的，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，包括：
基于所述第一位姿信息建立所述红外图像上各个点与所述初始三维模型的空间点的匹配关系；
确定所述红外图像上各个点的温度值，基于所述匹配关系将所述红外图像上各个点的温度值映射至所述初始三维模型；
对所述初始三维模型进行插值处理，构建温度场三维模型。
进一步的，确定所述红外图像上各个点的温度值，包括：
基于所述红外图像上各个点的图像特征确定各个点的温度值。
进一步的，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型，包括：
基于所述第二位姿信息在所述初始三维模型上构建所述可见光相机的虚拟视见体；
基于所述虚拟视见体的拍摄范围利用投影纹理技术将所述视频流图像投影至所述初始三维模型中；
通过所述视频流图像与所述初始三维模型进行纹理融合构建实景三维模型。
进一步的，将所述温度场三维模型和所述实景三维模型同屏输出显示，还包括：
将所述温度场三维模型和所述实景三维模型同方位显示于显示屏，并响应于对所述温度场三维模型的显示方位调整，对应调整所述实景三维模型的显示方位，或者响应于对所述实景三维模型的显示方位调整，对应调整所述温度场三维模型的显示方位。
进一步的，在将所述温度场三维模型和所述实景三维模型同屏输出显示之后，还包括：
将所述温度场三维模型上各个空间点的温度值比对预设的温度阈值，确定温度超标的高温位置，将所述高温位置标记于所述温度场三维模型。
进一步的，在确定温度超标的高温位置，将所述高温位置标记于所述温度场三维模型之后，还包括：
根据所述高温位置的坐标点在所述实景三维模型确定对应的坐标点并进行标记。
在第二方面，本申请实施例提供了一种基于温度场与实景视频流的双模式三维建模装置，包括：
采集模块，用于采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息；
构建模块，用于基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型；
显示模块，用于将所述温度场三维模型和所述实景三维模型同屏输出显示。
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于温度场与实景视频流的双模式三维建模方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于温度场与实景视频流的双模式三维建模方法。
本申请实施例通过采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录红外相机的第一位姿信息和可见光相机的第二位姿信息，进一步基于点云数据构建火灾现场的初始三维模型，基于第一位姿信息将红外图像与初始三维模型匹配，构建温度场三维模型，基于第二位姿信息将视频流图像与初始三维模型融合，构建实景三维模型，最终将温度场三维模型和实景三维模型同屏输出显示。采用上述技术手段，可以实现火灾现场的温度场三维模型和实景三维模型的构建及显示，准确还原火灾现场情况，详细显示火源分布。以此可便于消防人员了解实时火灾情况，制定消防应对方案，优化火灾现场信息展示效果及火灾救援效率。
附图说明
图1是本申请实施例一提供的一种基于温度场与实景视频流的双模式三维建模方法的流程图；
图2是本申请实施例一中的温度场三维模型构建流程图；
图3是本申请实施例一中的空间点匹配示意图；
图4是本申请实施例一中的实景三维模型的构建流程图；
图5是本申请实施例二提供的一种基于温度场与实景视频流的双模式三维建模装置的结构示意图；
图6是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的基于温度场与实景视频流的双模式三维建模方法，旨在通过构建显示火灾现场的温度场三维模型和实景三维模型，以更具象地还原火灾现场情况，详细显示火源分布。对于消防人员而言，基于实景三维模型配合温度场分布可以具体了解火源、高温点的分布，并结合实景三维模型和温度场三维模型进行消防应对方案的制定，可以有效提高火灾扑救效率。相对于传统的火灾现场三维模型构建方式，其在进行火灾现场三维模型构建时，仅仅基于火灾现场的点云数据进行三维模型的构建，以此得到三维模型，其能够提供的火灾现场信息相对较少。消防人员基于这样的三维模型，只能够了解火灾现场相关建筑、障碍物等的布局情况。而对于实时变化的火势情况则无从得知。显然，仅仅基于这样的三维模型难以了解火灾现场的详细情况。基于此，提供本申请实施例的基于温度场与实景视频流的双模式三维建模方法，以解决现有火灾现场三维模型信息显示简略的技术问题。
实施例一：
图1给出了本申请实施例一提供的一种基于温度场与实景视频流的双模式三维建模方法的流程图，本实施例中提供的基于温度场与实景视频流的双模式三维建模方法可以由基于温度场与实景视频流的双模式三维建模设备执行，该基于温度场与实景视频流的双模式三维建模设备可以通过软件和/或硬件的方式实现，该基于温度场与实景视频流的双模式三维建模设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于温度场与实景视频流的双模式三维建模设备可以是电脑，平板，手机等带有显示屏的智能终端。
下述以该基于温度场与实景视频流的双模式三维建模设备为执行基于温度场与实景视频流的双模式三维建模方法的主体为例，进行描述。参照图1，该基于温度场与实景视频流的双模式三维建模方法具体包括：
S110、采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息。
示例性的，本申请实施例中，在发生火灾时，会通过无人机搭载激光雷达、红外摄像机和可见光摄像机以实时对火灾现场进行扫描和拍摄。其中，激光雷达用于采集火灾现场的点云数据，红外相机用于采集火灾现场的红外图像，可见光相机用于采集火灾现场的视频流图像。上述激光雷达、红外摄像机和可见光摄像机可分别搭载在不同的无人机上采集对应数据，也可以搭载于同一无人机上采集对应数据。并且，根据实际需要，无人机的数量可以是一个或者多个，即在获取火灾现场的点云数据、红外图像或者视频流图像时，对于上述任意一种数据都可以由多个设备进行采集。例如，通过四架无人机搭载可见光摄像机进行火灾现场的视频流图像获取，并且，不同的可见光摄像机负责拍摄的方位不同，后续通过将四个摄像机拍摄的视频流图像进行拼接即为对应火灾现场的全景视频流图像。需要说明的是，为了方便后续模型构建，会设定激光雷达、红外摄像机和可见光摄像机位于同一高度、同一方位进行对应数据的获取，以便于后续进行三维模型构建时，相关空间点数据能够匹配。因此，一般采用无人机同时搭载激光雷达、红外摄像机和可见光摄像机对应进行火灾现场的点云数据、红外图像和视频流图像的采集。
进一步的，上述激光雷达、红外摄像机和可见光摄像机采集到的相关数据，均发送至本申请实施例的基于温度场与实景视频流的双模式三维建模设备上，以便于基于获取到的数据进行温度场三维模型和实景三维模型的构建。需要说明的是，在获取上述数据时，该基于温度场与实景视频流的双模式三维建模设备还进一步获取红外相机和可见光相机的位姿信息，将红外相机的位姿信息定义为第一位姿信息，将可见光相机的位姿信息定义为第二位姿信息。上述位姿信息对应采集到的相应红外图像数据或者视频流图像数据进行记录，以用于后续调用构建温度场三维模型和实景三维模型。
S120、基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型。
进一步的，基于上述相关数据采集之后，首先基于点云数据进行初始三维模型的构建。本申请实施例的温度场三维模型和实景三维模型的构建，都是基于该初始三维模型的基础进行构建，通过将采集到的红外图像数据和实景视频流图像数据映射至初始三维模型上的对应位置，以此得到该温度场三维模型和实景三维模型。而为了确保映射的位置准确，则需要根据上述采集的第一位姿信息和第二位姿信息确定红外摄像机和可见光摄像机相对于初始三维模型的位置。可以理解的是，红外摄像机和可见光摄像机在三维模型上投影的范围，即为红外摄像机和可见光摄像机采集相关数据的范围。基于这一原理进行相关数据的匹配映射，即可构建该温度场三维模型和实景三维模型。
在此之前，通过此前利用激光雷达采集的点云数据构建火灾现场的初始三维模型。现有技术基于点云数据构建三维模型的技术手段有很多，本申请实施例在此不做固定限制，在此不多赘述。完成初始三维模型构建之后，即可基于初始三维模型分别进行温度场三维模型和实景三维模型的构建。其中，参照图2，温度场三维模型的构建流程包括：
S1201、基于所述第一位姿信息建立所述红外图像上各个点与所述初始三维模型的空间点的匹配关系；
S1202、确定所述红外图像上各个点的温度值，基于所述匹配关系将所述红外图像上各个点的温度值映射至所述初始三维模型；
S1203、对所述初始三维模型进行插值处理，构建温度场三维模型。
具体的，由于红外摄像机获取的红外图像是二维的，需要将红外图像上的点与三维模型上的空间点匹配，建立匹配关系。并且，由于是建立温度场三维模型，所以实际上确定的应当是初始三维模型中各个空间点的温度值。因此，本申请通过确定红外图像上各个点的温度值，进而根据匹配关系将红外图像上各个点的温度值映射至初始三维模型对应空间点的位置上，以此即可完成温度场三维模型的构建。其中基于所述红外图像上各个点的图像特征确定各个点的温度值。可以理解的是，基于红外测温技术，不同温度的点的红外图像特征不同，因此，通过图像特征识别比对即可确定各个点的温度值。
进一步的，在将红外图像的点与初始三维模型的空间点匹配时，参照图3，假设三维空间中的某一点p＝[x,y,z]T，对应第一位姿信息、旋转矩阵和平移向量分别是A，R，t，则空间中的点P在相机坐标系下的坐标为：
pt＝R(p-t)
则在相机坐标系下，pt＝[xt,yt,zt]。将Pt进行变形处理，得到pt′＝[xt/zt,yt/zt,1]。Pt在图像坐标系下的坐标为：
pi＝A*pt′
空间中的所有的三维空间点通过投影变换投射到二维的图像平面上，每一个空间点都可以与红外图像中的点建立联系，即为该匹配关系。如图3所示，三维空间中的相邻点Pl，P2，P3，经过投影变换到红外摄相机的成像平面，对应在红外图像上的点分别是Pl′，P2′，P3′。Pl，P2，P3与Pl′，P2′，P3′具有相同的拓扑结构，初始三维模型与红外图像中直接的匹配关系得以构建，将红外图像中对应点的温度值返回初始三维模型中，可以得到初步的温度三维分布。然而，三维模型信息与红外图像中的信息并不是严格等量的，也就是说在匹配过程中，可能存在红外图像中的部分点在初始三维模型中没有相应的点与其相对应，因此，需要对三维模型进行插值处理。
本申请实施例中，在热红外图像中，假设一点Pc′在Pl′，P2′，P3′构建的三角形中，则Pc′和Pl′，P2′，P3′满足：
∠p1′pc′p3′+∠p2′pc′p3′+∠p1′pc′p2′＝2π (1)
根据上述公式(1)，可以确定Pc′在初始三维模型空间中的射线方程：
pc＝pc′*A-1R-1+t
Pl′，P2′，P3′，所在的平面则可以表示为：
以此，通过对初始三维模型插值处理，得到完整的温度场三维模型。
进一步的，参照图4，本申请实施例实景三维模型的构建流程包括：
S1204、基于所述第二位姿信息在所述初始三维模型上构建所述可见光相机的虚拟视见体；
S1205、基于所述虚拟视见体的拍摄范围利用投影纹理技术将所述视频流图像投影至所述初始三维模型中；
S1206、通过所述视频流图像与所述初始三维模型进行纹理融合构建实景三维模型。
具体的，在实景三维模型构建时，要求初始三维模型中模型空间位置和模型间的相对位置、朝向、大小与实景的视频流图像保持一致，因此本申请实施例采用将激光雷达和可见光相机搭载在同一无人机上进行数据采集。进一步的，基于第二位姿信息将可见光摄像机所处地球表面的经纬度坐标转换为初始三维模型中使用笛卡尔坐标表示的世界坐标，并对应在初始三维模型中加入虚拟投影机模型以及虚拟投影机模型相对应的虚拟视见体，虚拟投影机模型在初始三维模型中与现实场景中的可见摄像机的位置对应设置，用于在初始三维模型中投影视频纹理，同时根据可见光摄像机位姿信息设定初始三维模型虚拟投影机模型的初始位姿值。进一步的，对真实拍摄的视频流图像进行视频帧预处理得到动态视频纹理，利用投影纹理技术将预处理后的视频数据投影到初始三维模型中。更进一步的，将初始三维模型中的静态纹理和/或地表原有的遥感影像纹理与视频流图像中的动态视频纹理进行融合，并对虚拟投影机模型中不同投影机有相交覆盖区域采用纹理融合。以此即可完成实景三维模型的构建。
需要说明的是，上述仅为温度场三维模型和实景三维模型的一种构建方式，实际应用中，根据实际模型构建需求可以采用多种模型构建方式构建温度场三维模型和实景三维模型，本申请实施例在此不做固定限制。
S130、将所述温度场三维模型和所述实景三维模型同屏输出显示。
最终，基于已构建的温度场三维模型和实景三维模型，将上述两个模型输出至基于温度场与实景视频流的双模式三维建模设备的显示屏进行显示，以供消防人员根据上述模型了解火灾现场情况及火源分布，进而优化消防应对方案的制定。示例性的，在实际应用中，消防人员通过平板电脑接收火灾现场的点云数据、红外图像和视频流图像，并记录对应红外相机的第一位姿信息和可见光相机的第二位姿信息。通过本申请实施例的基于温度场与实景视频流的双模式三维建模方法完成温度场三维模型和实景三维模型的构建，进而将温度场三维模型和实景三维模型输出显示于平板电脑的显示界面上。基于显示界面上显示的火灾现场的温度场三维模型和实景三维模型，消防人员即可直观地、具象地了解火灾现场的具体情况，以此来辅助消防人员进行消防应对方案的制定，优化火灾现场信息展示效果及火灾救援效率。需要说明的是，由于火灾现场的情况多变，因此，后续再次接收到火灾现场的红外图像和实景视频流图像的更新数据时，同样可以基于本申请实施例的基于温度场与实景视频流的双模式三维建模方法进行温度场三维模型和实景三维模型的更新显示，以此可保障温度场三维模型和实景三维模型的显示具备实时性，更进一步优化火灾现场信息展示效果。
在一个实施例中，该基于温度场与实景视频流的双模式三维建模设备还将所述温度场三维模型和所述实景三维模型同方位显示于显示屏，并响应于对所述温度场三维模型的显示方位调整，对应调整所述实景三维模型的显示方位，或者响应于对所述实景三维模型的显示方位调整，对应调整所述温度场三维模型的显示方位。可以理解的是，通过同方位显示温度场三维模型和实景三维模型，可以便于消防人员比对查看火灾现场的实景情况和温度分布情况，得到更好的信息查看效果。同样的，用户在操作温度场三维模型和实景三维模型中任意一个三维模型的显示方位时，该基于温度场与实景视频流的双模式三维建模设备响应于用户的这一操作，对应调整另一个三维模型的显示方位，以此可实现温度场三维模型和实景三维模型的实时同方位显示效果。当然，根据实际需要，用户也可以通过相应的控制操作，只调整温度场三维模型和实景三维模型两者中的一个模型的显示方位进行变化，而另一个保持不变。
进一步的，在一个实施例中，在将温度场三维模型和实景三维模型显示在显示屏之后，本申请实施例还进一步将所述温度场三维模型上各个空间点的温度值比对预设的温度阈值，确定温度超标的高温位置，将所述高温位置标记于所述温度场三维模型。此外，为了便于比对观看，本申请实施例还根据所述高温位置的坐标点在所述实景三维模型确定对应的坐标点并进行标记。可以理解的是，通过在温度场三维模型和实景三维模型上对高温位置进行标记，便于用户了解火灾现场的高温位置，以此可便于火源的确定、救援路径的确定和消防应对方案的确定，更进一步优化火灾现场信息展示效果及火灾救援效率。
上述，通过采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录红外相机的第一位姿信息和可见光相机的第二位姿信息，进一步基于点云数据构建火灾现场的初始三维模型，基于第一位姿信息将红外图像与初始三维模型匹配，构建温度场三维模型，基于第二位姿信息将视频流图像与初始三维模型融合，构建实景三维模型，最终将温度场三维模型和实景三维模型同屏输出显示。采用上述技术手段，可以实现火灾现场的温度场三维模型和实景三维模型的构建及显示，准确还原火灾现场情况，详细显示火源分布。以此可便于消防人员了解实时火灾情况，制定消防应对方案，优化火灾现场信息展示效果及火灾救援效率。
实施例二：
在上述实施例的基础上，图5为本申请实施例二提供的一种基于温度场与实景视频流的双模式三维建模装置的结构示意图。参考图5，本实施例提供的基于温度场与实景视频流的双模式三维建模装置具体包括：采集模块21、构建模块22和显示模块23。
其中，采集模块21用于采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息；
构建模块22用于基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型；
显示模块23用于将所述温度场三维模型和所述实景三维模型同屏输出显示。
上述，通过采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录红外相机的第一位姿信息和可见光相机的第二位姿信息，进一步基于点云数据构建火灾现场的初始三维模型，基于第一位姿信息将红外图像与初始三维模型匹配，构建温度场三维模型，基于第二位姿信息将视频流图像与初始三维模型融合，构建实景三维模型，最终将温度场三维模型和实景三维模型同屏输出显示。采用上述技术手段，可以实现火灾现场的温度场三维模型和实景三维模型的构建及显示，准确还原火灾现场情况，详细显示火源分布。以此可便于消防人员了解实时火灾情况，制定消防应对方案，优化火灾现场信息展示效果及火灾救援效率。
本申请实施例二提供的基于温度场与实景视频流的双模式三维建模装置可以用于执行上述实施例一提供的基于温度场与实景视频流的双模式三维建模方法，具备相应的功能和有益效果。
实施例三：
本申请实施例三提供了一种电子设备，参照图6，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于温度场与实景视频流的双模式三维建模方法对应的程序指令/模块(例如，基于温度场与实景视频流的双模式三维建模装置中的采集模块、构建模块和显示模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于温度场与实景视频流的双模式三维建模方法。
输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的基于温度场与实景视频流的双模式三维建模方法，具备相应的功能和有益效果。
实施例四：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于温度场与实景视频流的双模式三维建模方法，该基于温度场与实景视频流的双模式三维建模方法包括：采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息；基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型；将所述温度场三维模型和所述实景三维模型同屏输出显示。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机***存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于温度场与实景视频流的双模式三维建模方法，还可以执行本申请任意实施例所提供的基于温度场与实景视频流的双模式三维建模方法中的相关操作。
上述实施例中提供的基于温度场与实景视频流的双模式三维建模装置、存储介质及电子设备可执行本申请任意实施例所提供的基于温度场与实景视频流的双模式三维建模方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于温度场与实景视频流的双模式三维建模方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种基于温度场与实景视频流的双模式三维建模方法，其特征在于，包括：
采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息；
基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型；
将所述温度场三维模型和所述实景三维模型同屏输出显示。
2.根据权利要求1所述的基于温度场与实景视频流的双模式三维建模方法，其特征在于，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，包括：
基于所述第一位姿信息建立所述红外图像上各个点与所述初始三维模型的空间点的匹配关系；
确定所述红外图像上各个点的温度值，基于所述匹配关系将所述红外图像上各个点的温度值映射至所述初始三维模型；
对所述初始三维模型进行插值处理，构建温度场三维模型。
3.根据权利要求1所述的基于温度场与实景视频流的双模式三维建模方法，其特征在于，确定所述红外图像上各个点的温度值，包括：
基于所述红外图像上各个点的图像特征确定各个点的温度值。
4.根据权利要求1所述的基于温度场与实景视频流的双模式三维建模方法，其特征在于，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型，包括：
基于所述第二位姿信息在所述初始三维模型上构建所述可见光相机的虚拟视见体；
基于所述虚拟视见体的拍摄范围利用投影纹理技术将所述视频流图像投影至所述初始三维模型中；
通过所述视频流图像与所述初始三维模型进行纹理融合构建实景三维模型。
5.根据权利要求1所述的基于温度场与实景视频流的双模式三维建模方法，其特征在于，将所述温度场三维模型和所述实景三维模型同屏输出显示，还包括：
将所述温度场三维模型和所述实景三维模型同方位显示于显示屏，并响应于对所述温度场三维模型的显示方位调整，对应调整所述实景三维模型的显示方位，或者响应于对所述实景三维模型的显示方位调整，对应调整所述温度场三维模型的显示方位。
6.根据权利要求1所述的基于温度场与实景视频流的双模式三维建模方法，其特征在于，在将所述温度场三维模型和所述实景三维模型同屏输出显示之后，还包括：
将所述温度场三维模型上各个空间点的温度值比对预设的温度阈值，确定温度超标的高温位置，将所述高温位置标记于所述温度场三维模型。
7.根据权利要求6所述的基于温度场与实景视频流的双模式三维建模方法，其特征在于，在确定温度超标的高温位置，将所述高温位置标记于所述温度场三维模型之后，还包括：
根据所述高温位置的坐标点在所述实景三维模型确定对应的坐标点并进行标记。
8.一种基于温度场与实景视频流的双模式三维建模装置，其特征在于，包括：
采集模块，用于采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息；
构建模块，用于基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型；
显示模块，用于将所述温度场三维模型和所述实景三维模型同屏输出显示。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的基于温度场与实景视频流的双模式三维建模方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的基于温度场与实景视频流的双模式三维建模方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010769149.1A CN111968221A (zh) | 2020-08-03 | 2020-08-03 | 基于温度场与实景视频流的双模式三维建模方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010769149.1A CN111968221A (zh) | 2020-08-03 | 2020-08-03 | 基于温度场与实景视频流的双模式三维建模方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111968221A true CN111968221A (zh) | 2020-11-20 |
Family
ID=73363890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010769149.1A Pending CN111968221A (zh) | 2020-08-03 | 2020-08-03 | 基于温度场与实景视频流的双模式三维建模方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968221A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465987A (zh) * | 2020-12-17 | 2021-03-09 | 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) | 一种视觉融合信息三维重建的导航地图构建方法 |
| CN113596335A (zh) * | 2021-07-31 | 2021-11-02 | 重庆交通大学 | 基于图像融合的公路隧道火灾监测***及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0239692A (ja) * | 1988-07-29 | 1990-02-08 | Toshiba Corp | 監視装置 |
| JP2003207596A (ja) * | 2002-01-11 | 2003-07-25 | Hitachi Ltd | 異常監視装置 |
| US20070065002A1 (en) * | 2005-02-18 | 2007-03-22 | Laurence Marzell | Adaptive 3D image modelling system and apparatus and method therefor |
| KR100839090B1 (ko) * | 2008-03-17 | 2008-06-20 | (주)나인정보시스템 | 영상기반 화재감시시스템 |
| CN102147290A (zh) * | 2011-01-14 | 2011-08-10 | 北京广微积电科技有限公司 | 红外成像温度监测方法和*** |
| CN104915986A (zh) * | 2015-06-26 | 2015-09-16 | 北京航空航天大学 | 一种实体三维模型自动建模方法 |
| CN107808412A (zh) * | 2017-11-16 | 2018-03-16 | 北京航空航天大学 | 一种基于低成本的三维热源环境模型确定环境信息方法 |
| JP2019032600A (ja) * | 2017-08-04 | 2019-02-28 | 日本電気株式会社 | 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム |
| CN109490899A (zh) * | 2018-11-12 | 2019-03-19 | 广西交通科学研究院有限公司 | 一种基于激光雷达和红外热成像仪的隧道内火源定位方法 |
-
2020
- 2020-08-03 CN CN202010769149.1A patent/CN111968221A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0239692A (ja) * | 1988-07-29 | 1990-02-08 | Toshiba Corp | 監視装置 |
| JP2003207596A (ja) * | 2002-01-11 | 2003-07-25 | Hitachi Ltd | 異常監視装置 |
| US20070065002A1 (en) * | 2005-02-18 | 2007-03-22 | Laurence Marzell | Adaptive 3D image modelling system and apparatus and method therefor |
| KR100839090B1 (ko) * | 2008-03-17 | 2008-06-20 | (주)나인정보시스템 | 영상기반 화재감시시스템 |
| CN102147290A (zh) * | 2011-01-14 | 2011-08-10 | 北京广微积电科技有限公司 | 红外成像温度监测方法和*** |
| CN104915986A (zh) * | 2015-06-26 | 2015-09-16 | 北京航空航天大学 | 一种实体三维模型自动建模方法 |
| JP2019032600A (ja) * | 2017-08-04 | 2019-02-28 | 日本電気株式会社 | 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム |
| CN107808412A (zh) * | 2017-11-16 | 2018-03-16 | 北京航空航天大学 | 一种基于低成本的三维热源环境模型确定环境信息方法 |
| CN109490899A (zh) * | 2018-11-12 | 2019-03-19 | 广西交通科学研究院有限公司 | 一种基于激光雷达和红外热成像仪的隧道内火源定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙春辉;成锡平;: "基于无人机的实景三维建模在消防中的应用", 消防科学与技术, no. 04 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465987A (zh) * | 2020-12-17 | 2021-03-09 | 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) | 一种视觉融合信息三维重建的导航地图构建方法 |
| CN113596335A (zh) * | 2021-07-31 | 2021-11-02 | 重庆交通大学 | 基于图像融合的公路隧道火灾监测***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11165959B2 (en) | Connecting and using building data acquired from mobile devices | |
| US11238666B2 (en) | Display of an occluded object in a hybrid-reality system | |
| US11272165B2 (en) | Image processing method and device | |
| US11748906B2 (en) | Gaze point calculation method, apparatus and device | |
| US20200035034A1 (en) | Method, device, terminal device and storage medium for realizing augmented reality image | |
| CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
| US11232642B2 (en) | Method and system for visualizing overlays in virtual environments | |
| US20170186219A1 (en) | Method for 360-degree panoramic display, display module and mobile terminal | |
| CN111625091B (zh) | 基于ar眼镜的标签叠加方法及装置 | |
| KR102384543B1 (ko) | 드론 기반 재난상황 관제 방법 및 시스템 | |
| CN111968221A (zh) | 基于温度场与实景视频流的双模式三维建模方法及装置 | |
| CN115641401A (zh) | 一种三维实景模型的构建方法及相关装置 | |
| US20220005281A1 (en) | Augmented reality (ar) imprinting methods and systems | |
| CN104978077A (zh) | 一种交互方法及*** | |
| CN111885366A (zh) | 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备 | |
| CN114283243A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| KR20180029690A (ko) | 매물에 관한 가상현실영상 제공방법 및 제공서버, 매물에 관한 가상현실영상 제작방법 및 제작서버 | |
| WO2023207354A1 (zh) | 特效视频确定方法、装置、电子设备及存储介质 | |
| EP4227907A1 (en) | Object annotation information presentation method and apparatus, and electronic device and storage medium | |
| EP3882846B1 (en) | Method and device for collecting images of a scene for generating virtual reality data | |
| CN111970504A (zh) | 利用虚拟投影反向模拟三维球体的展示方法、装置和*** | |
| US12033289B2 (en) | Method and system for visualizing overlays in virtual environments | |
| WO2024055925A1 (zh) | 图像传输方法、图像显示方法、装置和计算机设备 | |
| CN112286355B (zh) | 一种用于沉浸式内容的交互方法和*** | |
| TWI721299B (zh) | 影像顯示系統與影像顯示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |