CN117437357A - 模型构建方法、装置、非易失性存储介质及电子设备 - Google Patents
模型构建方法、装置、非易失性存储介质及电子设备 Download PDFInfo
- Publication number
- CN117437357A CN117437357A CN202311431114.7A CN202311431114A CN117437357A CN 117437357 A CN117437357 A CN 117437357A CN 202311431114 A CN202311431114 A CN 202311431114A CN 117437357 A CN117437357 A CN 117437357A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- panoramic
- target object
- panoramic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012216 screening Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000009467 reduction Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种模型构建方法、装置、非易失性存储介质及电子设备。其中,该方法包括:获取目标对象的全景图像,并确定全景图像中的特征点;依据全景图像,确定目标对象的全景图像点云数据,并依据特征点从全景图像点云数据中筛选得到全景特征点云数据;匹配全景特征点云数据和目标对象的激光点云数据;依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型。本申请解决了由于目前建模技术存在数据采集成本高效率低且不能与全景结合造成的建模成本高、耗时长并且实景还原度低的技术问题。
Description
技术领域
本申请涉及三维场景构建技术领域,具体而言,涉及一种模型构建方法、装置、非易失性存储介质及电子设备。
背景技术
随着高压电缆设备规模的不断扩大,对于高压电缆设备的建模手段要求也越来越高,目前存在基于的点云数据的高精度三维数据模型建模、基于设计图纸的参数化建模、360度全景建模及倾斜摄影建模等方式,但是存在数据采集成本高、效率低并且实景还原度低的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种模型构建方法、装置、非易失性存储介质及电子设备,以至少解决由于目前建模技术存在数据采集成本高效率低且不能与全景结合造成的建模成本高、耗时长并且实景还原度低的技术问题。
根据本申请实施例的一个方面,提供了一种模型构建方法,包括:获取目标对象的全景图像,并确定全景图像中的特征点;依据全景图像,确定目标对象的全景图像点云数据,并依据特征点从全景图像点云数据中筛选得到全景特征点云数据;匹配全景特征点云数据和目标对象的激光点云数据;依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型。
可选地,匹配全景特征点云数据和目标对象的激光点云数据的步骤包括:确定全景特征点云中包含的空间位置信息;确定预设空间位置误差范围,并依据预设空间位置误差范围和空间位置信息构建搜索包围盒,其中,搜索包围盒用于缩小全景特征点云数据和激光点云数据的匹配检索空间范围;在各个搜索包围盒中对搜索包围盒内的激光点云数据和全景特征点云数据进行匹配,得到点云配准参照基准点,其中,点云配准参照基准点为匹配结果。
可选地,依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型的步骤包括:依据点云配准参照基准点确定全景特征点云数据和激光点云数据之间的位置差异信息,其中,位置差异信息包括以下至少之一:全景特征点云数据和激光点云数据之间的空间位置差异信息,以及全景特征点云数据和激光点云数据之间的空间姿态差异信息;依据位置差异信息,确定全景特征点云数据和激光点云数据之间的空间位置差异参数;依据空间位置差异参数,以激光点云数据的空间位置信息为基准对初始模型进行校准,得到目标模型。
可选地,在各个搜索包围盒中对搜索包围盒内的激光点云数据和全景特征点云数据进行匹配的步骤包括:依据激光点云数据和全景特征点云数据中各自包含的色彩特征信息和空间位置结构特征信息,对激光点云数据和全景点云数据进行匹配。
可选地,确定全景图像中的特征点的步骤包括:确定全景图像的图像特征信息,其中,图像特征信息包括以下至少之一:全景图像的像素颜色值,全景图像中的目标对象的物体特征点;依据图像特征信息,对全景图像进行对象化分类处理,从而确定全景图像中的特征点。
可选地,依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型的步骤之前,模型构建方法还包括:建立与目标对象对应的空间多面体;依据全景图像对空间多面体进行反向贴图,得到初始模型。
可选地,建立与目标对象对应的空间多面体的步骤包括:确定全景图像的全景采集站点的间距信息;依据间距信息和全景采集站点,对每个全景采集站点建立对应的空间多面体。
根据本申请实施例的另一方面,还提供了一种模型构建方法,包括:第一处理模块,用于获取目标对象的全景图像,并确定全景图像中的特征点;第二处理模块,用于依据全景图像,确定目标对象的全景图像点云数据,并依据特征点从全景图像点云数据中筛选得到全景特征点云数据;第三处理模块,用于匹配全景特征点云数据和目标对象的激光点云数据;第四处理模块,用于依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型。
根据本申请实施例的另一方面,还提供了一种非易失性存储介质,非易失性存储介质中存储有程序,其中,在程序运行时控制非易失性存储介质所在设备执行任意模型构建方法。
根据本申请实施例的另一方面,还提供了一种电子设备,包括:存储器和处理器,处理器用于运行存储在存储器中的程序,其中,程序运行时执行任意模型构建方法。
在本申请实施例中,采用获取目标对象的全景图像,并确定全景图像中的特征点;依据全景图像,确定目标对象的全景图像点云数据,并依据特征点从全景图像点云数据中筛选得到全景特征点云数据;匹配全景特征点云数据和目标对象的激光点云数据;依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型的方式,通过将全景图像中特征点对应得到全景特征点云数据,达到了高速建模的目的,从而实现了低成本、快速建模,且建模成果具备较高的实用性的技术效果,进而解决了由于目前建模技术存在数据采集成本高效率低且不能与全景结合造成的建模成本高、耗时长并且实景还原度低技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种电子设备的结构示意图;
图2是根据本申请实施例的一种模型构建方法的流程图;
图3是根据本申请实施例的一种模型构建流程的流程图;
图4是根据本申请实施例的一种模型构建装置结构示意图;
图5是根据本申请实施例的一种模型构建结果示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解本申请实施例,以下将本申请实施例中涉及的技术术语解释如下:
激光点云:激光点云是通过激光扫描仪或激光雷达采集的一系列三维坐标点。激光扫描仪或激光雷达会发射激光束,当激光束击中物体表面时,会被反射回来并被接收器接收。通过测量激光束的发射和接收时间,可以计算出激光束与物体之间的距离。激光点云可以提供物体的几何信息和表面形状,因此广泛应用于各个领域,如地理测绘、建筑设计、机器人导航、自动驾驶等。激光点云可以用于生成高精度的三维模型,对于建筑物、地形、道路等复杂环境的建模和分析提供了重要的数据基础。
在相关技术中,建模时数据采集成本高效率低且不能融合全景数据,因此,存在场景还原成本高但是还原度低的问题。为了解决该问题,本申请实施例中提供了相关的解决方案。
根据本申请实施例,提供了一种模型构建方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现模型构建方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的模型构建方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的模型构建方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下,本申请实施例提供了一种模型构建方法,如图2所示,该方法包括如下步骤:
步骤S202,获取目标对象的全景图像,并确定全景图像中的特征点;
在步骤S202中,确定全景图像中的特征点的步骤包括:确定全景图像的图像特征信息,其中,图像特征信息包括以下至少之一:全景图像的像素颜色值,全景图像中的目标对象的物体特征点;依据图像特征信息,构建电力隧道设备及环境图像样本库,采用机器学习的算法,对全景图像中电力隧道设备内容进行识别学习,进而对全景图像进行对象化分类处理,从而确定全景图像中的特征点。
在本申请的一些实施例中,采集目标对象的全景图像数据,对采集得到的全景图像数据进行解析处理,并将相关像素信息按照二进制的数据结构进行存储,然后对全景图像数据进行图像分析,然后按照像素颜色值、物体特征点位等信息,进行分析计算,对图像进行对象化分类,将具有显著特性信息的点位记录为全景图像特征点。采集激光点云数据,对采集得到的激光点云数据解析后按照二进制结构进行存储,在二进制数据存储的基础上,对点云数据的色彩属性、点云空间位置关系等信息进行分析计算,色彩信息特征明显和空间位置特征明显的点记录为特征点,并对相关空间位置信息进行存储记录。
具体地,对全景图像数据进行解析并以二进制的数据结构进行存储,首先输入全景图像数据,对采集得到的全景图像数据进行解析处理,构建图像管理ID,并将其记录的像素点进行存储,建立二者的对照关系,其次图像的像素点像素位置和色彩信息进行读取,并按照二进制的数据结构进行存储。对采集得到的激光点云数据解析后按照二进制结构进行存储步骤包括:首先将点云数据中的信息进行读取,读取信息包含公共文件头区(包含采集日期,生成软件和点记录的个数等信息)、变长记录区(坐标系信息等)和点集记录区(记录点的X、Y、Z和点属性等内容)的相关信息,其次将建模配准所需要的ID、坐标系信息、点X、Y、Z坐标以及颜色等属性信息按照二进制的形式进行存储和记录,节约存储空间的同时提升数据读取效率。然后进行激光点云数据中特征点的提取,在二进制数据存储的基础上,对点云数据的色彩属性、点云空间位置关系等信息进行分析计算,将色彩聚集以及色彩差异的边缘点位进行记录,将记录下来的点位进行组合进行空间位置、拓扑关系的分析,对色彩及空间位置特性一致的点位记录为特征点。
步骤S204,依据全景图像,确定目标对象的全景图像点云数据,并依据特征点从全景图像点云数据中筛选得到全景特征点云数据;
在本申请的一些实施例中,利用不同角度的多张全景图像数据进行全景图像点云数据构建,并根据全景图像数据进行全景图像中的特征点提取。其中,利用不同角度的多张全景图像数据进行全景图像点云数据构建包括利用图像识别技术进行多张图像相似区域的计算,获取相似区域后在相似区域内利用尺度不变特征变换法进行同名点的提取;结合全景图像所记录的空间位置姿态,对提取的同名点进行空间位置信息的绑定关联,并对得到的同名点进行立体化呈现,得到具有立体空间位置信息的图像点云数据。再通过全景图像特征点数据对全景图像点云数据进行筛选,得到最终的全景特征点云数据,筛选过程包括利用像素坐标对全景图像点云数据和全景图像特征点数据进行匹配;以全景图像特征点为基准,将全景图像点云数据进行删减,保留能够与全景图像特征点具有对应关系的点,并重新进行整理输出为最终的全景特征点云数据。
具体地,利用不同角度的多张全景图像数据进行全景图像点云数据构建,可以采用以下方法:
(1)利用图像识别技术,进行多张图像相似区域的计算,将相似区域外的图像数据剔除,进一步压缩数据运算的数据量。在相似区域内利用尺度不变特征变换法进行同名点的提取。
(2)结合全景图像所记录的空间位置姿态,对提取的同名点进行空间位置信息的绑定关联,并对得到的同名点进行立体化呈现,得到具有立体空间位置信息的图像点云数据。
具体地,对全景图像数据上的特征点进行提取包括:利用人工智能图像分析得对全景图像数据进行图像分析,实现对图像进行对象化分类;对图像中分类出来的对象化内容的特殊色彩点位、几何角点等具有显著特性信息的点位记录为全景图像特征点。
具体地,提取到全景图像数据上的特征点后,依据特征点从全景图像点云数据中筛选得到全景特征点云数据,对全景图像点云数据进行筛选,得到最终的全景特征点云数据。首先将全景图像点云数据和全景图像特征点数据按照点位在图像中位置,赋予图像的像素坐标;其次,利用像素坐标对二者进行匹配,对能够与全景图像特征点匹配上的全景图像点云数据予以保留,重新对保留的数据进行整理输出为最终的全景特征点云数据。
步骤S206,匹配全景特征点云数据和目标对象的激光点云数据;
在步骤S206中,匹配全景特征点云数据和目标对象的激光点云数据的步骤包括:确定全景特征点云中包含的空间位置信息;确定预设空间位置误差范围,并依据预设空间位置误差范围和空间位置信息构建搜索包围盒,其中,搜索包围盒用于缩小全景特征点云数据和激光点云数据的匹配检索空间范围;在各个搜索包围盒中对搜索包围盒内的激光点云数据和全景特征点云数据进行匹配,得到点云配准参照基准点,其中,点云配准参照基准点为匹配结果,点云配准参照基准点用于点云数据和全景照片数据的匹配融合。
具体地,在各个搜索包围盒中对搜索包围盒内的激光点云数据和全景特征点云数据进行匹配的步骤包括:依据激光点云数据和全景特征点云数据中各自包含的色彩特征信息和空间位置结构特征信息,对激光点云数据和全景点云数据进行匹配。
在本申请的一些实施例中,利用全景特征点云数据所包含的空间位置信息,按照1米的空间位置误差构建激光点云数据匹配搜索包围盒,便于缩小点云数据匹配检索的空间范围,提升检索匹配效率。按照色彩特征、空间位置结构特征等信息,将每个包围盒内的激光点云数据与图像点云数据进行匹配,得到最终的点云配准参照基准点。
步骤S208,依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型。
在步骤S208中,依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型的步骤包括:依据点云配准参照基准点确定全景特征点云数据和激光点云数据之间的位置差异信息,其中,位置差异信息包括以下至少之一:全景特征点云数据和激光点云数据之间的空间位置差异信息,以及全景特征点云数据和激光点云数据之间的空间姿态差异信息;依据位置差异信息,确定全景特征点云数据和激光点云数据之间的空间位置差异参数;依据空间位置差异参数,以激光点云数据的空间位置信息为基准对初始模型进行校准,得到目标模型。根据空间位置差异参数进行全景图像和点云数据的空间位置调整,以便实现二者之间的快速配准,达到空间位置的一致。
具体地,依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型的步骤之前,模型构建方法还包括:建立与目标对象对应的空间多面体;依据全景图像对空间多面体进行反向贴图,得到初始模型,其中,对照全景采集站点位置构建空间多面体,空间包围体的大小以全景图像采集点位的间距的三分之二为准,空间多面体构建完成后,将全景图片按照对应的空间姿态对空间包围体开展反向贴图。
具体地,建立与目标对象对应的空间多面体的步骤包括:确定全景图像的全景采集站点的间距信息;依据间距信息和全景采集站点,对每个全景采集站点建立对应的空间多面体。
在本申请的一些实施例中,分析激光点云数据与全景数据位置差异包括:以全景图像采集点位的间距的三分之二为空间包围盒大小,对照全景采集站点,每个点位构建一个空间多面体;将全景图片按照对应的空间姿态对空间包围体开展反向贴图,对全景特征点云数据与激光点云数据配准的基础上进行两种数据空间位置、空间姿态等方面的差异进行计算分析,获取空间位置差异参数。依据匹配结果对目标对象的初始模型进行校准包括:根据激光点云数据和全景贴图多面体的空间位置差异分析结果,以激光点云数据空间位置为参照,进行全进贴图空间多面体的位置及姿态调整,实现其与激光点云模型的配准,得到目标对象的目标模型。
具体地,以激光点云数据空间位置为参照对全景贴图多面体进行校正配准,根据激光点云数据和全景贴图多面体的空间位置差异分析结果,进行全景贴图空间多面体的位置及姿态调整,实现其与激光点云模型的配准。空间中坐标系的任意旋转(任意姿态),都可以等效成依次绕着三个坐标轴旋转的叠加,分别确定X、Y、Z三个轴的旋转矩阵,如下:
(A)绕X轴旋转的坐标旋转矩阵为:
(B)绕Y轴旋转的坐标旋转矩阵为:
(C)绕Z轴旋转的坐标旋转矩阵为:
其中,θ、γ、Φ分别代表与X、Y、Z轴的旋转角度,有一物体的空间姿态为P,nCb1表示P点只绕X轴旋转,得到新P′的X轴坐标,nCb2代表P只绕Y轴旋转,得到新P′的Y轴坐标,nCb3代表P只绕Z轴旋转,得到P'的Z轴坐标。三个旋转矩阵进行合成叠加,即可得到P→P′坐标变换的总对应关系,如下所示:
就是坐标系n到坐标系b的坐标旋转矩阵。该矩阵完整地描述了n系的P点转换到b系的P点的过程,以及两不同坐标系的点的对应关系。称这个最终矩阵结果为“方向余弦矩阵”或“旋转矩阵”。通过该矩阵,物体就可以完整地旋转到新姿态。
通过上述步骤,获取目标对象的全景图像,并确定全景图像中的特征点;依据全景图像,确定目标对象的全景图像点云数据,并依据特征点从全景图像点云数据中筛选得到全景特征点云数据;匹配全景特征点云数据和目标对象的激光点云数据;依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型。可以实现在多级特征点筛选结果基础上进行点云与全景数据匹配,将具有良好可视化效果的全景数据和具有精准空间位置信息点云数据相融合,构建的融合全景数据兼具可视化效果和空间位置信息,实现了低成本、快速建模,且建模成果具备较高的实用性。
作为一种可选的实施方式,如图3所示,
步骤S302,全景图像解析并存储,激光点云数据解析并存储,其中,数据以二进制形式进行存储,便于节省存储空间,提升数据读取效率;
步骤S304,特征点提取,提取激光点云数据特征点信息和全景图像特征点信息,并构建全景图像点云;激光点云数据特征点用于与全景图像特征点进行匹配,获得同名点,后续根据同名点进行点云数据与全景数据空间位置差异分析,并根据差异进行点云数据和全景数据空间位置调整,最终实现二者的匹配融合;
步骤S306,全景图像点云数据筛选,其中,以全景图像特征点为基准,将全景图像点云数据进行删减,保留能够与全景图像特征点具有对应关系的点,并重新进行整理输出为最终的全景特征点云数据;
步骤S308,全景特征点云数据与激光点云数据匹配,构建全景贴图空间多面体,其中,利用全景特征点云数据所包含的空间位置信息,按照1米的空间位置误差构建激光点云数据匹配搜索包围盒,按照色彩特征、空间位置结构特征等信息,将每个包围盒内的激光点云数据与图像点云数据进行匹配,得到最终的点云配准参照基准点。以全景图像采集点位的间距的三分之二为空间包围盒大小,对照全景采集站点,每个点位构建一个空间多面体;将全景图片按照对应的空间姿态对空间包围体开展反向贴图构建空间多面体;
步骤S310,全景特征点云数据与激光点云数据空间位置差异分析,其中,对两种数据配准的基础上进行两种数据空间位置、空间姿态等方面的差异进行计算分析,获取空间位置差异参数;
步骤S312,校正全景贴图空间多面***置及姿态,得到全景图像数据与激光点云数据配准融合模型,其中,根据步骤S310获取的空间位置差异参数校正全景贴图空间多面***置及姿态。
本申请实施例提供了一种模型构建装置,如图4所示,包括:第一处理模块40,用于获取目标对象的全景图像,并确定全景图像中的特征点;第二处理模块42,用于依据全景图像,确定目标对象的全景图像点云数据,并依据特征点从全景图像点云数据中筛选得到全景特征点云数据;第三处理模块44,用于匹配全景特征点云数据和目标对象的激光点云数据;第四处理模块46,用于依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型。模型构建结果示意图如图5所示
作为一种可选地实施例,第一处理模块40用于采集目标对象的全景图像数据,对采集得到的全景图像数据进行解析处理,并将相关像素信息按照二进制的数据结构进行存储,然后对全景图像数据进行图像分析,然后按照像素颜色值、物体特征点位等信息,进行分析计算,对图像进行对象化分类,将具有显著特性信息的点位记录为全景图像特征点。还用于采集激光点云数据,对采集得到的激光点云数据解析后按照二进制结构进行存储,在二进制数据存储的基础上,对点云数据的色彩属性、点云空间位置关系等信息进行分析计算,色彩信息特征明显和空间位置特征明显的点记录为特征点,并对相关空间位置信息进行存储记录。
作为一种可选地实施例,第二处理模块42用于根据不同角度的多张全景图像数据进行全景图像点云数据构建包括利用图像识别技术进行多张图像相似区域的计算,获取相似区域后在相似区域内利用尺度不变特征变换法进行同名点的提取;结合全景图像所记录的空间位置姿态,对提取的同名点进行空间位置信息的绑定关联,并对得到的同名点进行立体化呈现,得到具有立体空间位置信息的图像点云数据。再通过全景图像特征点数据对全景图像点云数据进行筛选,得到最终的全景特征点云数据,筛选过程包括利用像素坐标对全景图像点云数据和全景图像特征点数据进行匹配;以全景图像特征点为基准,将全景图像点云数据进行删减,保留能够与全景图像特征点具有对应关系的点,并重新进行整理输出为最终的全景特征点云数据。
作为一种可选地实施例,第三处理模块44用于匹配全景特征点云数据和目标对象的激光点云数据,具体步骤包括:确定全景特征点云中包含的空间位置信息;确定预设空间位置误差范围,并依据预设空间位置误差范围和空间位置信息构建搜索包围盒,其中,搜索包围盒用于缩小全景特征点云数据和激光点云数据的匹配检索空间范围;在各个搜索包围盒中对搜索包围盒内的激光点云数据和全景特征点云数据进行匹配,得到点云配准参照基准点,其中,点云配准参照基准点为匹配结果。在各个搜索包围盒中对搜索包围盒内的激光点云数据和全景特征点云数据进行匹配的步骤包括:依据激光点云数据和全景特征点云数据中各自包含的色彩特征信息和空间位置结构特征信息,对激光点云数据和全景点云数据进行匹配。
作为一种可选地实施例,第四处理模块46用于依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型,具体步骤包括:依据点云配准参照基准点确定全景特征点云数据和激光点云数据之间的位置差异信息,其中,位置差异信息包括以下至少之一:全景特征点云数据和激光点云数据之间的空间位置差异信息,以及全景特征点云数据和激光点云数据之间的空间姿态差异信息;依据位置差异信息,确定全景特征点云数据和激光点云数据之间的空间位置差异参数;依据空间位置差异参数,以激光点云数据的空间位置信息为基准对初始模型进行校准,得到目标模型。
需要说明的是,上述模型构建装置中的各个模块可以是程序模块(例如是实现某种特定功能的程序指令集合),也可以是硬件模块,对于后者,其可以表现为以下形式,但不限于此:上述各个模块的表现形式均为一个处理器,或者,上述各个模块的功能通过一个处理器实现。
根据本申请实施例,提供了一种非易失性存储介质,非易失性存储介质中存储有程序,程序运行时控制非易失性存储介质所在设备执行如下模型构建方法:获取目标对象的全景图像,并确定全景图像中的特征点;依据全景图像,确定目标对象的全景图像点云数据,并依据特征点从全景图像点云数据中筛选得到全景特征点云数据;匹配全景特征点云数据和目标对象的激光点云数据;依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型。
根据本申请实施例,还提供了一种存储器和处理器,处理器用于运行存储在存储器中的程序,程序运行时控制存储器和处理器所在设备执行如下模型构建方法:获取目标对象的全景图像,并确定全景图像中的特征点;依据全景图像,确定目标对象的全景图像点云数据,并依据特征点从全景图像点云数据中筛选得到全景特征点云数据;匹配全景特征点云数据和目标对象的激光点云数据;依据匹配结果对目标对象的初始模型进行校准,得到目标对象的目标模型。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种模型构建方法,其特征在于,包括:
获取目标对象的全景图像,并确定所述全景图像中的特征点;
依据所述全景图像,确定所述目标对象的全景图像点云数据,并依据所述特征点从所述全景图像点云数据中筛选得到全景特征点云数据;
匹配所述全景特征点云数据和所述目标对象的激光点云数据;
依据匹配结果对所述目标对象的初始模型进行校准,得到所述目标对象的目标模型。
2.根据权利要求1所述的模型构建方法,其特征在于,所述匹配所述全景特征点云数据和所述目标对象的激光点云数据的步骤包括:
确定所述全景特征点云中包含的空间位置信息;
确定预设空间位置误差范围,并依据所述预设空间位置误差范围和所述空间位置信息构建搜索包围盒,其中,所述搜索包围盒用于缩小所述全景特征点云数据和所述激光点云数据的匹配检索空间范围;
在各个所述搜索包围盒中对所述搜索包围盒内的所述激光点云数据和所述全景特征点云数据进行匹配,得到点云配准参照基准点,其中,所述点云配准参照基准点为所述匹配结果。
3.根据权利要求1所述的模型构建方法,其特征在于,所述依据匹配结果对所述目标对象的初始模型进行校准,得到所述目标对象的目标模型的步骤包括:
依据所述点云配准参照基准点确定所述全景特征点云数据和所述激光点云数据之间的位置差异信息,其中,所述位置差异信息包括以下至少之一:所述全景特征点云数据和所述激光点云数据之间的空间位置差异信息,以及所述全景特征点云数据和所述激光点云数据之间的空间姿态差异信息;
依据所述位置差异信息,确定所述全景特征点云数据和所述激光点云数据之间的空间位置差异参数,依据所述空间位置差异参数,以所述激光点云数据的空间位置信息为基准对所述初始模型进行校准,得到所述目标模型。
4.根据权利要求2所述的模型构建方法,其特征在于,所述在各个所述搜索包围盒中对所述搜索包围盒内的所述激光点云数据和所述全景特征点云数据进行匹配的步骤包括:
依据所述激光点云数据和所述全景特征点云数据中各自包含的色彩特征信息和空间位置结构特征信息,对所述激光点云数据和所述全景特征点云数据进行匹配。
5.根据权利要求1所述的模型构建方法,其特征在于,所述确定所述全景图像中的特征点的步骤包括:
确定所述全景图像的图像特征信息,其中,所述图像特征信息包括以下至少之一:所述全景图像的像素颜色值,所述全景图像中的所述目标对象的物体特征点;
依据所述图像特征信息,对所述全景图像进行对象化分类处理,从而确定所述全景图像中的特征点。
6.根据权利要求1所述的模型构建方法,其特征在于,所述依据匹配结果对所述目标对象的初始模型进行校准,得到所述目标对象的目标模型的步骤之前,所述模型构建方法还包括:
建立与所述目标对象对应的空间多面体;
依据所述全景图像对所述空间多面体进行反向贴图,得到所述初始模型。
7.根据权利要求6所述的模型构建方法,其特征在于,所述建立与所述目标对象对应的空间多面体的步骤包括:
确定所述全景图像的全景采集站点的间距信息;
依据所述间距信息和所述全景采集站点,对每个所述全景采集站点建立对应的所述空间多面体。
8.一种模型构建装置,其特征在于,包括:
第一处理模块,用于获取目标对象的全景图像,并确定所述全景图像中的特征点;
第二处理模块,用于依据所述全景图像,确定所述目标对象的全景图像点云数据,并依据所述特征点从所述全景图像点云数据中筛选得到全景特征点云数据;
第三处理模块,用于匹配所述全景特征点云数据和所述目标对象的激光点云数据;
第四处理模块,用于依据匹配结果对所述目标对象的初始模型进行校准,得到所述目标对象的目标模型。
9.一种非易失性存储介质,其特征在于,所述非易失性存储介质中存储有程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的模型构建方法。
10.一种电子设备,其特征在于,包括:存储器和处理器,所述处理器用于运行存储在所述存储器中的程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的模型构建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311431114.7A CN117437357A (zh) | 2023-10-31 | 2023-10-31 | 模型构建方法、装置、非易失性存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311431114.7A CN117437357A (zh) | 2023-10-31 | 2023-10-31 | 模型构建方法、装置、非易失性存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117437357A true CN117437357A (zh) | 2024-01-23 |
Family
ID=89547691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311431114.7A Pending CN117437357A (zh) | 2023-10-31 | 2023-10-31 | 模型构建方法、装置、非易失性存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117437357A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117690095A (zh) * | 2024-02-03 | 2024-03-12 | 成都坤舆空间科技有限公司 | 一种基于三维场景的智慧社区管理*** |
-
2023
- 2023-10-31 CN CN202311431114.7A patent/CN117437357A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117690095A (zh) * | 2024-02-03 | 2024-03-12 | 成都坤舆空间科技有限公司 | 一种基于三维场景的智慧社区管理*** |
CN117690095B (zh) * | 2024-02-03 | 2024-05-03 | 成都坤舆空间科技有限公司 | 一种基于三维场景的智慧社区管理*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
CN109887003B (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
CN113592989B (zh) | 一种三维场景的重建***、方法、设备及存储介质 | |
Gonzalez‐Aguilera et al. | GRAPHOS–open‐source software for photogrammetric applications | |
CN107507274A (zh) | 一种基于云计算的公安案件现场三维实景快速还原方法 | |
CN113763533B (zh) | 对象的模型处理方法、存储介质和处理器 | |
Houshiar et al. | A study of projections for key point based registration of panoramic terrestrial 3D laser scan | |
CN117437357A (zh) | 模型构建方法、装置、非易失性存储介质及电子设备 | |
CN111862180A (zh) | 一种相机组位姿获取方法、装置、存储介质及电子设备 | |
CN111612731B (zh) | 基于双目显微视觉的测量方法、装置、***及介质 | |
Cheng et al. | Extracting three-dimensional (3D) spatial information from sequential oblique unmanned aerial system (UAS) imagery for digital surface modeling | |
CN111709988A (zh) | 一种物体的特征信息的确定方法、装置、电子设备及存储介质 | |
CN113763478A (zh) | 无人车相机标定方法、装置、设备、存储介质及*** | |
CN114611635B (zh) | 一种对象的识别方法、装置、存储介质及电子装置 | |
CN114565916A (zh) | 目标检测模型训练方法、目标检测方法以及电子设备 | |
CN112613107A (zh) | 杆塔工程确定施工进度的方法、装置、存储介质及设备 | |
CN116429162A (zh) | 一种多传感器的标定方法、装置和计算机设备 | |
CN114693836A (zh) | 道路要素矢量的生成方法和*** | |
US11868377B2 (en) | Systems and methods for providing geodata similarity | |
CN116958485A (zh) | 一种可视域分析方法及装置 | |
CN114913246B (zh) | 相机标定方法、装置、电子设备及存储介质 | |
Moussa et al. | Complementing TLS point clouds by dense image matching | |
Atik et al. | An automatic image matching algorithm based on thin plate splines | |
CN117115434A (zh) | 数据分割装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |