CN113487732B - 基于手机众包成像终端的室内地下应急场景三维建模方法 - Google Patents

Abstract

本发明提供了一种基于手机众包成像终端的室内地下应急场景三维建模方法，包括以下步骤：在手机端开发设计众包图像数据采集软件，形成手机众包成像终端；通过手机众包成像终端采集室内地下场景的众包图像数据和特征点真实尺度信息，并将采集到的信息上传至数据处理服务器；在数据处理服务器端搭建三维点云数据处理操作平台，将众包图像数据生成第一众包三维点云；将特征点尺度信息赋予第一众包三维点云，最终生成具有真实尺度的第二众包三维点云在数据处理服务器端进行展示，并进行量测应用。本方法支持众包感知数据的传输、汇聚、匹配和融合，实现室内地下场景的协同感知和三维成像，为室内地下突发事件应急处理提供厘米级可量测场景信息。

Description

基于手机众包成像终端的室内地下应急场景三维建模方法

技术领域

本发明涉及数据传输和三维重建领域，尤其涉及一种基于手机众包成像终端的室内地下应急场景三维建模方法。

背景技术

随着全球变化和高强度社会经济开发，在我国的诸多城市都发生过火灾、内涝以及一些其他突发性事件。城市火灾当局部或整体坍塌时，由于建筑物跨度大，给现场指挥员的组织指挥决策造成极大困难。城市内涝除了破坏建筑、交通设施，造成不同程度的人员伤亡，还可能给城市建设、环境安全、社会稳定带来不同程度的危害，以及经济损失等。这些突发事件会造成经济社会诸项功能的衰退，而且还将引发城市生存环境的持续恶化，成为阻碍城市发展的“顽疾”。

城市突发事件因有不确定性、紧急性，管理机构中各种功能强大的设备都无法及时到达，且城市职能部门人员无法及时对事件进行处理、指挥和决策。另外，突发事件是因为一些不可抗拒的外力因素以及一些我们原本可以控制的人为因素，所以我们不能仅仅依靠相应的管理机构，在城市中的广大市民也要参与其中，要让市民明确在此过程中，自己应该能够做什么。

为了针对城市突发事件得到最优最快的解决办法，对城市的影响降到最低，我们必须让管理机构第一时间通过市民获取城市突发事件的状况。因此，如何设计基于手机众包成像终端的室内地下应急场景三维建模方法来应对城市突发事件是亟待解决的问题。

发明内容

为了解决上述问题，本发明提供了一种基于手机众包成像终端的室内地下应急场景三维建模方法，主要包括以下步骤：

S1、在智能手机端开发设计众包图像数据采集软件，形成手机众包成像终端，所述众包图像数据采集软件具有图像数据采集功能、AR测距功能、特征点标记功能、数据上传功能和数据下载功能；

S2、基于所述手机众包成像终端，采集室内地下场景的众包图像数据和特征点真实尺度信息，并将所述众包图像数据和所述特征点真实尺度信息上传至数据处理服务器端；

S3、在所述数据处理服务器端搭建一个三维点云数据处理操作平台，基于所述三维点云数据处理操作平台将所述众包图像数据生成第一众包三维点云；

S4、将所述特征点真实尺度信息赋予所述第一众包三维点云，生成具有真实尺度的第二众包三维点云；

S5、将所述第二众包三维点云在所述数据处理服务器端进行展示、量测和应用，为室内地下场景中的突发应急事件提供基本数据信息。

本发明主要是实现室内地下场景的协同感知和三维成像，为突发事件(城市火灾、违章建筑、城市内涝等)应急处置提供室内地下厘米级可量测场景信息。

优选地，步骤S1中，在带有景深摄像头(tof)或lidar摄像头的智能手机端上开发设计所述众包图像数据采集软件，形成所述手机众包成像终端。

优选地，步骤S1中，所述众包图像数据采集软件的各个功能是在谷歌推出的一个Android集成开发工具—Android Studio上开发完成的。

优选地，步骤S2中，所述众包图像数据采集软件在使用图像数据采集功能时，提醒用户拍照时需要设置相机模式(光圈、曝光度、镜头聚焦等)，且获取图像的重叠度要达到80％以上，同时要注意控制快门速度，避免照片模糊。

优选地，步骤S2中，所述众包图像数据采集软件在使用AR测距功能时，提示用户选择角点、光线好的位置，测量时保持手机平稳移动，保证测量结果的准确性。

优选地，所述三维点云数据处理操作平台是在Ubuntu 18.04***上搭建的，在Ubuntu18.04***中安装colmap开源软件，colmap开源软件用于将所述众包图像数据生成.ply格式的第一众包三维点云。

优选地，步骤S3中，采用colmap开源软件的colmap算法将所述众包图像数据生成第一众包三维点云，colmap算法包括：SFM算法和MVS算法。

优选地，所述采用colmap开源软件的colmap算法将所述众包图像数据生成第一众包三维点云的具体步骤包括：

将采集到的所述众包图像数据输入到colmap算法中，通过SFM算法计算得到稀疏点云和相机参数，所述相机参数包括：视角、位姿、内参和共视关系；

将采集到的所述众包图像数据、稀疏点云和相机参数输入到MVS算法中，生成稠密三维点云，即得到第一众包三维点云。

优选地，步骤S4具体包括：将所述特征点真实尺度信息赋予所述第一众包三维点云，利用特征点之间的对应关系求取得到变换矩阵，根据所述变换矩阵使用pcl库中的transformPointCloud完成点云尺度转换工作，获得所述第一众包三维点云的真实尺度，生成第二众包三维点云。

优选地，步骤S5中，在所述数据处理服务器端安装meshlab开源软件，通过所述meshlab开源软件对第二众包三维点云进行查看、量测、获取所需信息。

优选地，meshlab软件是一个开源、可移植和可扩展的三维几何处理***，主要用于交互处理和非结构化编辑三维三角形网格，meshlab开源软件主要提供了一套工具，用于编辑、清洁、愈合、检查、渲染和转换网格，主要使用该软件对最终生成的第二众包三维点云进行编辑、查看、量测，获取所需信息。

本发明可针对突发事件(城市火灾、违章建筑、城市内涝等)，通过获取场景众包图像数据，然后对众包图像数据进行快速处理，得到具有绝对尺度的场景三维模型，为室内地下突发事件提供厘米级、可量测的场景信息。

本发明提供的技术方案带来的有益效果是：本发明一种基于手机众包成像终端的室内地下应急场景三维建模方法，在城市发生城市火灾、违章建筑、城市内涝等突发事件时，市民可通过使用手机、pad等手持设备及时获取实况众包图像数据并将其上传至数据处理服务器端，经过数据处理服务器端技术人员快速处理后，便可获得可量测、精度达厘米级的三维点云场景，让城市各部门工作人员快速获取突发事件实况。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例中基于手机众包成像终端的室内地下应急场景三维建模方法的流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的实施例提供了一种基于手机众包成像终端的室内地下应急场景三维建模方法。

请参考图1，图1是本发明实施例中基于手机众包成像终端的室内地下应急场景三维建模方法的流程图；

一种基于手机众包成像终端的室内地下应急场景三维建模方法，具体包括如下步骤：

S1、在智能手机端开发设计众包图像数据采集软件，形成手机众包成像终端，所述众包图像数据采集软件具有图像数据采集功能、AR测距功能、特征点标记功能、数据上传功能和数据下载功能。

在本实施例中，在带有tof(景深摄像头)或者lidar摄像头的智能手机上开发设计众包图像数据采集软件，形成所述手机众包成像终端，众包图像数据采集软件在谷歌推出的一个Android集成开发工具——Android Studio上开发完成的，需要实现图像数据采集、AR测距、特征点标记、数据上传和数据下载等功能。

所开发的众包图像数据采集软件的图像数据采集功能主要是调用手机的拍照功能采集场景众包图像数据；注意，需在图像数据采集时提示用户一些注意事项，包括设置相机模式(光圈、曝光度、镜头聚焦等)，相邻图像的重叠度要达到80％以上，注意控制快门速度，避免照片模糊等。AR测距功能主要是调用手机的AR测距功能采集特征点信息，用户在手机端选择场景内两点进行量测；用户可在手机端选择一对、多对特征点进行量测，并提示用户，尽量选择角点、例如门框、壁纸夹角、光线好的位置。特征点标记功能是在手机端图像上进行特征点标记；数据上传功能主要是将手机端的图片数据和距离数据上传至数据处理服务器端；用户可在采集完场景图像数据后，选择所拍摄的场景图像数据进行.jpg格式的图像数据上传，在量测完场景特征点尺度信息后，输入特征点尺度信息进行.txt格式的文件上传；数据下载功能主要是下载数据处理服务器端的数据至手机供用户查看和使用。

使用Android Studio开发众包图像数据采集软件的主要步骤如下：

S11、首先在中创建一个空白Android工程，在布局中加入多个点击按钮来实现触发相应的功能；

S12、在配置文件中获取拍照和存储网络传输等相关权限；

S13、拍照按钮实现调用手机自带相机实现连续拍照保存到***相册；

S14、选择按钮实现多项选择手机***相册中的图像，获取其uri和路径以便后续上传；

S14、上传按钮实现前一步选择的图像进行批量上传并将第一张图片名保存供后续使用；

S15、下载按钮实现选择数据处理服务器端已处理好的需要标记的图像保存到智能手机端进行标记特征点使用；

S16、标记按钮是在前一步下载的图像上添加特征点进行标点处理，保存像素坐标位置上传；

S17、最后一个按钮通过调用arcore里相关组件实现手机锚点测距功能并将距离保存文件上传。

S2、基于所述手机众包成像终端，采集室内地下场景的众包图像数据和特征点真实尺度信息，并将所述众包图像数据和所述特征点真实尺度信息上传至数据处理服务器端。

步骤S2具体操作如下：

S21、打开手机众包成像终端的众包图像数据采集软件，选择拍照按钮，对场景的状况进行拍摄，图像自动存入手机内；

S22、选择上传按钮进入图片选择界面，选择上一步拍摄的所有图片，选择完成后，点击上传，将众包图像数据上传至数据处理服务器端；

S23、选择AR测距按钮，选择场景内合适的两到三对特征点进行测距，将测得的结果填入输入框，上传至数据处理服务器端。

在使用图像数据采集功能时，需提醒用户拍照时需要设置相机模式(光圈、曝光度、镜头聚焦等)，且获取的图像之间重叠度需要达到80％以上。同时要注意控制快门速度，避免照片模糊，影响后续的三维建模工作。在使用测距功能时，需提示用户尽量选择角点、例如门框、壁纸夹角、光线好的位置，测量时保持手机平稳移动，保证测量结果的准确性。

S3、在所述数据处理服务器端搭建一个三维点云数据处理操作平台，基于所述三维点云数据处理操作平台将所述众包图像数据生成第一众包三维点云；

在本实施例中，数据处理服务器端的三维点云数据处理操作平台是在Ubuntu18.04***上搭建的，在***中先后安装colmap、meshlab等开源软件，其中colmap软件主要是将设备采集的场景图像数据生成.ply格式的三维点云数据，而meshlab开源软件主要在后续对第二众包三维点云进行展示、量测时使用。采用colmap算法将众包图像数据生成第一众包三维点云，colmap算法包括：SFM算法和MVS算法，采用colmap算法获取第一众包三维点云的具体步骤如下：

S31、数据准备：将采集的众包图像数据组织为colmap的工程格式；

S32、开始重建：colmap提供了自动重建的命令，也可逐步进行重建，主要步骤包括特征提取、特征点匹配、稀疏重建、图像去畸变、稠密重建、融合。

S33、可视化：使用COLMAP GUI对重建结果进行可视化。

S4、将所述特征点真实尺度信息赋予所述第一众包三维点云，生成第二众包三维点云；

步骤S4具体包括：

将所述特征点真实尺度信息赋予所述第一众包三维点云，利用特征点之间的对应关系求取得到变换矩阵，根据所述变换矩阵使用pcl库中的transformPointCloud完成点云尺度转换工作，获得所述第一众包三维点云的真实尺度，从而生成第二众包三维点云。

S5、将所述第二众包三维点云在所述数据处理服务器端进行展示、量测和应用，为室内地下场景中的突发应急事件提供基本数据信息。

在本实例中，最终生成的第二众包三维点云，我们可在数据处理服务器端进行展示，并可对其进行量测，为突发事件提供可用信息。meshlab是一个开源、可移植和可扩展的三维几何处理***，主要用于交互处理和非结构化编辑三维三角形网格，meshlab开源软件主要提供了一套工具，用于编辑、清洁、愈合、检查、渲染和转换网格，主要使用该软件对点云进行编辑、查看、量测，获取所需信息。

本发明可针对突发事件(城市火灾、违章建筑、城市内涝等)，通过设计的手机众包成像终端获取场景众包图像，然后对图像数据进行快速处理，得到具有绝对尺度的场景三维模型，为这些室内地下突发事件提供厘米级可量测场景信息。

本发明提供的技术方案带来的有益效果是：本发明一种基于手机众包成像终端的室内地下应急场景三维建模方法，在城市发生城市火灾、违章建筑、城市内涝等突发事件时，市民可通过使用手机、pad等手持设备及时获取实况数据并对其上传，经过数据处理服务器端技术人员快速处理后，便可建立可量测、精度达厘米级的三维点云场景，让城市各部门工作人员快速获取突发事件实况。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (9)

1.一种基于手机众包成像终端的室内地下应急场景三维建模方法，所述室内地下应急场景三维建模方法包括以下步骤：

S1、在智能手机端开发设计众包图像数据采集软件，形成手机众包成像终端，所述众包图像数据采集软件具有图像数据采集功能、AR测距功能、特征点标记功能、数据上传功能和数据下载功能；

所述众包图像数据采集软件的各个功能是在谷歌推出的一个Android集成开发工具—Android Studio上开发完成的；

使用Android Studio开发众包图像数据采集软件的主要步骤如下：

S11、首先在中创建一个空白Android工程，在布局中加入多个点击按钮来实现触发相应的功能；

S12、在配置文件中获取拍照和存储网络传输相关权限；

S13、拍照按钮实现调用手机自带相机实现连续拍照保存到***相册；

S14、选择按钮实现多项选择手机***相册中的图像，获取其uri和路径以便后续上传；

S15、上传按钮实现前一步选择的图像进行批量上传并将第一张图片名保存供后续使用；

S16、下载按钮实现选择数据处理服务器端已处理好的需要标记的图像保存到智能手机端进行标记特征点使用；

S17、标记按钮是在前一步下载的图像上添加特征点进行标点处理，保存像素坐标位置上传；

S18、最后一个按钮通过调用arcore里相关组件实现手机锚点测距功能并将距离保存文件上传；

S2、基于所述手机众包成像终端，采集室内地下场景的众包图像数据和特征点真实尺度信息，并将所述众包图像数据和所述特征点真实尺度信息上传至数据处理服务器端；

S2包括：

S21、打开手机众包成像终端的众包图像数据采集软件，选择拍照按钮，对场景的状况进行拍摄，图像自动存入手机内；

S22、选择上传按钮进入图片选择界面，选择上一步拍摄的所有图片，选择完成后，点击上传，将众包图像数据上传至数据处理服务器端；

S23、选择AR测距按钮，选择场景内合适的两到三对特征点进行测距，将测得的结果填入输入框，上传至数据处理服务器端；

S3、在所述数据处理服务器端搭建一个三维点云数据处理操作平台，基于所述三维点云数据处理操作平台将所述众包图像数据生成第一众包三维点云；

S4、将所述特征点真实尺度信息赋予所述第一众包三维点云，生成具有真实尺度的第二众包三维点云；

S5、将所述第二众包三维点云在所述数据处理服务器端进行展示、量测和应用，为室内地下场景中的突发事件应急处理提供厘米级可量测场景信息。

2.如权利要求1所述的室内地下应急场景三维建模方法，其特征在于，步骤S1中，在带有景深摄像头或lidar摄像头的智能手机端上开发设计所述众包图像数据采集软件，形成所述手机众包成像终端。

3.如权利要求1所述的室内地下应急场景三维建模方法，其特征在于，步骤S2中，所述众包图像数据采集软件在使用图像数据采集功能时，提示用户拍照时设置相机模式，且获取图像重叠度要达到80％以上，控制快门速度，避免照片模糊。

4.如权利要求1所述的室内地下应急场景三维建模方法，其特征在于，步骤S2中，所述众包图像数据采集软件在使用AR测距功能时，提示用户选择角点、光线好的位置，测量时保持手机平稳移动，以保证测量结果的准确性。

5.如权利要求1所述的室内地下应急场景三维建模方法，其特征在于，步骤S3中，所述三维点云数据处理操作平台是在Ubuntu 18.04***上搭建的，在Ubuntu 18.04***中安装colmap开源软件，colmap开源软件用于将所述众包图像数据生成.ply格式的第一众包三维点云。

6.如权利要求1所述的室内地下应急场景三维建模方法，其特征在于，步骤S3中，采用colmap开源软件的colmap算法将所述众包图像数据生成第一众包三维点云，colmap算法包括：SFM算法和MVS算法。

7.如权利要求6所述的室内地下应急场景三维建模方法，其特征在于，所述采用colmap开源软件的colmap算法将所述众包图像数据生成第一众包三维点云的具体步骤包括：

将采集到的所述众包图像数据输入到colmap算法中，通过SFM算法计算得到稀疏点云和相机参数，所述相机参数包括：视角、位姿、内参和共视关系；

将采集到的所述众包图像数据、稀疏点云和相机参数输入到MVS算法中，生成稠密三维点云，即得到第一众包三维点云。

8.如权利要求1所述的室内地下应急场景三维建模方法，其特征在于，步骤S4具体包括：

将所述特征点真实尺度信息赋予所述第一众包三维点云，利用特征点之间的对应关系求取得到变换矩阵，根据所述变换矩阵使用pcl库中的transformPointCloud完成点云尺度转换工作，获得所述第一众包三维点云的真实尺度，生成第二众包三维点云。

9.如权利要求1所述的室内地下应急场景三维建模方法，其特征在于，步骤S5中，在所述数据处理服务器端安装meshlab开源软件，通过所述meshlab开源软件对第二众包三维点云进行查看、量测、获取所需信息。

Images