CN113487741B - 稠密三维地图更新方法及装置 - Google Patents
稠密三维地图更新方法及装置 Download PDFInfo
- Publication number
- CN113487741B CN113487741B CN202110610890.8A CN202110610890A CN113487741B CN 113487741 B CN113487741 B CN 113487741B CN 202110610890 A CN202110610890 A CN 202110610890A CN 113487741 B CN113487741 B CN 113487741B
- Authority
- CN
- China
- Prior art keywords
- dense
- dimensional
- dimensional map
- dimensional image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008859 change Effects 0.000 claims abstract description 95
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种稠密三维地图更新方法及装置，该稠密三维地图更新方法包括：获取稠密三维地图以及目标二维图像；将目标二维图像在稠密三维地图中进行配准，得到目标二维图像的位姿信息；基于位姿信息，确定稠密三维地图中与目标二维图像对应的虚拟二维图像；基于虚拟二维图像与目标二维图像的相似性比较，确定稠密三维地图中的变化区域；将稠密三维地图中的变化区域替换为对应的目标二维图像，并进行三维重建处理，得到更新稠密三维地图。本发明提供的稠密三维地图更新方法及装置，通过利用目标二维图像来与稠密三维地图中对应位姿信息的虚拟二维图像进行相似性比较，能够实现对稠密三维地图的快速高效更新，降低经济成本和工作量。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种稠密三维地图更新方法及装置。
背景技术
基于图像的室内外场景三维重建和定位导航技术一直是计算机视觉领域的热点研究领域之一。现有的许多实际应用，如数字城市、智能机器人、无人机、自动驾驶、增强/虚拟现实等，都对场景稠密三维地图的准确性和时效性提出了很高要求。
目前在稠密三维地图的现有技术中，大量的研究工作集中于高效精准的稠密三维地图构建方法，但对于如何保持稠密三维地图的时效性，即如何有效地发现地图中的变化并及时更新，还没有***性的解决方案，在实践中往往是由人工进行重绘以进行更新，这样会耗费较大的经济成本，且更新效率较低。
发明内容
本发明提供一种稠密三维地图更新方法及装置，用以解决现有技术中耗费较大的经济成本，且更新效率较低的缺陷，实现对稠密三维地图的快速高效更新，降低经济成本和工作量。
本发明提供一种稠密三维地图更新方法，该稠密三维地图更新方法包括：获取稠密三维地图以及目标二维图像；将所述目标二维图像在所述稠密三维地图中进行配准，得到所述目标二维图像的位姿信息；基于所述位姿信息，确定所述稠密三维地图中与所述目标二维图像对应的虚拟二维图像；基于所述虚拟二维图像与所述目标二维图像的相似性比较，确定所述稠密三维地图中的变化区域；将所述稠密三维地图中的变化区域替换为对应的所述目标二维图像，并进行三维重建处理，得到更新稠密三维地图。
根据本发明提供的一种稠密三维地图更新方法，所述基于所述虚拟二维图像与所述目标二维图像的相似性比较，确定所述稠密三维地图中的变化区域，包括：基于稠密描述子，比较所述虚拟二维图像与所述目标二维图像的相似度，得到相似度图像；基于所述位姿信息，将所述相似度图像反投影到所述稠密三维地图中，得到所述稠密三维地图中每个三角面片对应的变化概率信息；基于所述稠密三维地图中每个三角面片对应的变化概率信息，确定所述稠密三维地图中的变化区域。
根据本发明提供的一种稠密三维地图更新方法，所述基于所述稠密三维地图中每个三角面片对应的变化概率信息，确定所述稠密三维地图中的变化区域，包括：确定所述稠密三维地图中相邻三维面片之间的平滑项信息；基于所述平滑项信息以及所述变化概率信息，确定所述稠密三维地图中每个三角面片对应的变化标签；基于所述变化标签，确定所述稠密三维地图中的变化区域。
根据本发明提供的一种稠密三维地图更新方法，所述基于稠密描述子，比较所述虚拟二维图像与所述目标二维图像的相似度，得到相似度图像，包括：基于所述虚拟二维图像中的每一所述稠密描述子与所述目标二维图像中对应的所述稠密描述子之间的欧氏距离，确定所述虚拟二维图像中的每一所述稠密描述子与所述目标二维图像中对应的所述稠密描述子之间相似度；基于所述虚拟二维图像中的每一所述稠密描述子与所述目标二维图像中对应的所述稠密描述子之间相似度，得到相似度图像。
根据本发明提供的一种稠密三维地图更新方法，所述稠密描述子为将所述虚拟二维图像以及所述目标二维图像分别输入到稠密描述子提取模型中输出的；所述稠密描述子提取模型为以样本二维图像为样本，与所述样本二维图像对应的语义类别标签为样本标签训练得到。
根据本发明提供的一种稠密三维地图更新方法，所述基于所述位姿信息，确定所述稠密三维地图中与所述目标二维图像对应的虚拟二维图像，包括：在所述稠密三维地图中渲染所述目标二维图像的所述位姿信息对应的参考图像，得到所述虚拟二维图像。
根据本发明提供的一种稠密三维地图更新方法，所述将所述稠密三维地图中的变化区域替换为对应的所述目标二维图像，并进行三维重建处理，得到更新稠密三维地图，包括：将所述稠密三维地图中的变化区域替换为对应的所述目标二维图像，得到更新区域；将所述稠密三维地图中的所述更新区域以及未更新区域进行图像特征匹配；对所述更新区域中的新特征点进行三角化操作和局部BA优化操作；对所述更新区域进行多视图立体重建算法，得到深度图像，并将所述深度图像融合到所述稠密三维地图中，并进行局部点云三角化和局部纹理贴图，得到所述更新稠密三维地图。
本发明还提供一种稠密三维地图更新装置，该稠密三维地图更新装置包括：获取模块，用于获取稠密三维地图以及目标二维图像；配准模块，用于将所述目标二维图像在所述稠密三维地图中进行配准，得到所述目标二维图像的位姿信息；第一确定模块，用于基于所述位姿信息，确定所述稠密三维地图中与所述目标二维图像对应的虚拟二维图像；第二确定模块，用于基于所述虚拟二维图像与所述目标二维图像的相似性比较，确定所述稠密三维地图中的变化区域；更新模块，用于将所述稠密三维地图中的变化区域替换为对应的所述目标二维图像，并进行三维重建处理，得到更新稠密三维地图。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述稠密三维地图更新方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述稠密三维地图更新方法的步骤。
本发明提供的稠密三维地图更新方法及装置，通过利用目标二维图像来与稠密三维地图中对应位姿信息的虚拟二维图像进行相似性比较，确定变化区域，并利用目标二维图像对变化区域进行更新，这样能够实现对稠密三维地图的快速高效更新，降低经济成本和工作量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的稠密三维地图更新方法的流程示意图；
图2是本发明提供的稠密三维地图更新装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1至图3描述本发明的稠密三维地图更新方法及装置。
如图1所示，本发明提供一种稠密三维地图更新方法，该稠密三维地图更新方法包括：如下步骤110至步骤150。
其中，步骤110、获取稠密三维地图以及目标二维图像。
可以理解的是，稠密三维地图是与稀疏三维地图相对的概念，其包含丰富的几何和纹理信息，能够在实际的视觉应用中提供更多有用的信息，目前在数字城市和虚拟现实等实际场景应用中都会使用到稠密三维地图。
此处的稠密三维地图可以为实际场景应用中的基于真实数据搭建的三维图像，也可以为在实验条件仿真模拟出来的三维图像。
在实验室条件下，可以使用三维重建***获取稠密点云模型形式的稠密三维地图，这一获取方法与开源稠密重建***OpenMVS中所用的方法类似。基于场景的稠密点云模型进一步实现点云网格化。以Delaunay三角测量为基础的全局优化算法是比较有代表性的基于图像的三维网格表面重建方法。此处可以采用基于Delaunay四面体和图割(GraphCut)优化的点云网格化方法，充分利用SfM和多视图立体视觉(Multiple View Stereo，MVS)重建中相机位姿以及点云可见性等信息，实现稠密三角网格模型的重建。该获取方法的实现流程可以包括：(1)利用输入的3D点构造Delaunay四面体；(2)将四面体转化为有向图，并利用3D点到相机的可视性信息设置权重；(3)定义能量函数，并使用图割算法最小化能量函数，将四面体标记为内部或外部；(4)提取处在内部与外部四面体之间的三角面片就可以得到最终的三维网格模型。最后，在三维网格模型基础上进一步为其附着纹理信息，得到三维网格模型的纹理信息。在已知三维网格模型和相机位姿的前提下，纹理映射就是为每一个三角面片寻找最优的可见图像，并把该面片在这幅图像上的投影区域作为该面片的纹理。为了保持局部纹理的光度一致性，通常会约束相邻三角面片的纹理尽量来自于同一幅可见图像，因此纹理映射问题可以转化为一个多标签标记问题，这是一个典型的马尔科夫能量优化问题，可以通过图割算法求解。为了进一步增加纹理平滑度，完成纹理映射后，通常还会再进行一次局部和全局纹理匀光操作来增强整个网格模型上的纹理一致性。至此，获得了本实施例中所说的稠密三维地图。
该稠密三维地图在构建后，就具有相对稳定性，在需要更新时并不重新绘制和构建，而是采用目标二维图像来对稠密三维地图进行局部更新。
目标二维图像是新获取到的二维场景照片，比如可以是摄像头所拍摄到的和稠密三维地图中的某个场景所对应的实时照片，比如稠密三维地图中有停车场的三维图像，此处目标二维图像可以为最近拍摄到停车场的俯视图，当然还可以为停车场的其他视图，也就是说，稠密三维地图是根据过去某一个时间点的停车场的实际情况构建起来的，而停车场在经过一段时间后，可能会发生翻修、装饰或者搬迁等操作，这样稠密三维地图就不符合当前停车场的真实情况了，而目标二维图像就可以为拍摄到的当前停车场的二维照片。
步骤120、将目标二维图像在稠密三维地图中进行配准，得到目标二维图像的位姿信息。
可以理解的是，目标二维图像可以和稠密三维地图中的某一个位置姿态的选定二维图像是对应的，位姿信息就是该选定二维图像在稠密三维地图中的六个自由度相机位姿，此处将目标二维图像在稠密三维地图中进行定位和配准，得到目标二维图像在稠密三维地图中对应的位姿信息。
步骤130、基于位姿信息，确定稠密三维地图中与目标二维图像对应的虚拟二维图像。
可以理解的是，在确定了目标二维图像的位姿信息后，就可以根据该位姿信息在稠密三维地图中进行渲染，得到该位姿信息对应的虚拟二维图像，该虚拟二维图像的位姿信息和目标二维图像的位姿信息相同，但是内容并不一定相同。
步骤140、基于虚拟二维图像与目标二维图像的相似性比较，确定稠密三维地图中的变化区域。
可以理解的是，可以将该虚拟二维图像和目标二维图像进行相似性比较，比如可以比较虚拟二维图像的每个像素点与目标二维图像中对应的像素点之间的欧式距离，也可以从虚拟二维图像和目标二维图像中提取目标特征，通过比较目标特征的差异，来得到虚拟二维图像和目标二维图像的相似程度，根据相似程度，确定稠密三维地图相对于目标二维图像的变化区域。
也就是说，目标二维图像可以为多张，也就是不同位置姿态对应的二维图像，通过将多张目标二维图像与稠密三维地图中对应位姿信息的虚拟二维图像的相似程度对比，就可以确定稠密三维地图中有哪些区域发生了变化，对于那些变化区域，就需要及时更新，而对于不变区域，则暂时不需要更新。
步骤150、将稠密三维地图中的变化区域替换为对应的目标二维图像，并进行三维重建处理，得到更新稠密三维地图。
可以理解的是，稠密三维地图中的变化区域和不变区域可以面片的形式呈现出来，
此处可以将变化区域的面片对应的旧图像进行删除，将目标二维图像作为替换，在替换之后再进行三维重建处理，从而得到更新稠密三维地图。
更新稠密三维地图是根据符合当前场景实际情况的目标二维图像进行更新的，因此更新稠密三维地图也符合当前场景的实际情况。
本发明提供的稠密三维地图更新方法，通过利用目标二维图像来与稠密三维地图中对应位姿信息的虚拟二维图像进行相似性比较，确定变化区域，并利用目标二维图像对变化区域进行更新，这样能够实现对稠密三维地图的快速高效更新，降低经济成本和工作量。
在一些实施例中，上述步骤140、基于虚拟二维图像与目标二维图像的相似性比较，确定稠密三维地图中的变化区域，包括：基于稠密描述子，比较虚拟二维图像与目标二维图像的相似度，得到相似度图像；基于位姿信息，将相似度图像反投影到稠密三维地图中，得到稠密三维地图中每个三角面片对应的变化概率信息；基于稠密三维地图中每个三角面片对应的变化概率信息，确定稠密三维地图中的变化区域。
可以理解的是，图像特征描述子是许多视觉任务的基础，在图像匹配、物体识别、图像检索和三维重建中都有广泛的应用。稠密描述子就是图像特征描述子中的一种，能够作为一个描述局部图像内容的鲁棒的和可区分性强描述向量。
此处使用稠密描述子，逐像素地度量目标二维图像与虚拟二维图像的对应像素的相似度，来衡量两个图像之间发生变化的区域，通过相似度比较，可以得到相似度图像。
相似度图像中每个像素存储的是对应像素发生变化的概率值，将所有的相似度图像反投影到稠密三维地图中，这样就使得稠密三维地图中每个面片发生变化的概率，而三角面片对应有多个像素点，三角面片对应的变化概率信息可以为该三维面片上可见像素点的变化概率平均值。
此处可以直接根据三角面片的变化概率信息来确定该三角面片是否发生了变化，可以将变化概率信息与变化概率阈值进行比较，将那些变化概率信息大于变化概率阈值的三角面片认为是变化区域，这样就得到了稠密三维地图中的变化区域。
在一些实施例中，基于稠密描述子，比较虚拟二维图像与目标二维图像的相似度，得到相似度图像，包括：基于虚拟二维图像中的每一稠密描述子与目标二维图像中对应的稠密描述子之间的欧氏距离，确定虚拟二维图像中的每一稠密描述子与目标二维图像中对应的稠密描述子之间相似度；基于虚拟二维图像中的每一稠密描述子与目标二维图像中对应的稠密描述子之间相似度，得到相似度图像。
可以理解的是，对于目标二维图像集合中的每一幅目标二维图像i∈Inew_align以及对应的虚拟二维图像j(j∈Irender)，i和j中像素位置为(r，c)的稠密描述子分别表示为和/>稠密描述子Desc(r,c)是一个256维的描述子向量。/>和之间的相似距离S(r,c)(i,j)表示为：
通过相似性度量就可以得到具有目标二维图像的1/4大小的相似度图像(Similarity Image)Si(Si∈S)。Si中像素位置为(r,c)存储的是该像素发生变化的概率
根据配准后的目标二维图像的位姿信息，可以把相似度图像Si上坐标为(r,c)的像素p通过目标二维图像的位姿信息投影到稠密三维地图中(地图由三角面片构成的集合F来表示)。因为相似度图像只有目标二维图像的1/4尺度，所以，需要把目标二维图像的位姿信息的内参数矩阵中的焦距和图像主点坐标相应缩小4倍之后，再进行反投影。
通过反投影，把稠密三维地图中与像素p的射线方向相交的三角面片f(f∈F)的变化概率赋值为当前像素p的概率值但由于稠密三维地图中的每个三角面片往往对应着多幅图像中的多个像素值，因此，把每个三角面片f∈F的变化概率定义为在该面片上可见像素的变化概率平均值。面片f的变化概率Pf可表示为：
其中，Ω(i,f)是相似度图像Si∈S在三角面片f上的可见区域。
在一些实施例中，基于稠密三维地图中每个三角面片对应的变化概率信息，确定稠密三维地图中的变化区域，包括：确定稠密三维地图中相邻三维面片之间的平滑项信息；基于平滑项信息以及变化概率信息，确定稠密三维地图中每个三角面片对应的变化标签；基于变化标签，确定稠密三维地图中的变化区域。
可以理解的是，在稠密三维地图中，相邻的三角面片之间具有平滑性，因此，可以利用稠密三维地图相邻面片之间的局部平滑性作为先验信息，优化稠密三维地图变化检测结果。
三维地图的变化检测中，相邻三角面片的局部平滑性主要考虑两个因素：一是位于同一个平面的相邻三角面片，它们具有的变化标签应该是趋于相同的；二是如果两个相邻三角面片之间的法向变化比较显著，即使这两个相邻面片发生变化的概率很接近，但它们被分配到相同的变化标签的概率仍然很小。本章通过面片约束方法来实现相邻面片之间的平滑性约束。
给定三角面片f和它的邻近三角面片fn，它们的变化标签分别为lf和那么它们之间的平滑项信息定义为：
其中，α是比例因子，Wff和是6×1的向量。包含主曲率Kmin，Kmax和主方向Wmin，Wmax。W可表示为：
在得到了平滑项信息以及三角面片的变化概率信息的基础上，可以采用MRF优化算法。基于三角面片的变化概率信息以及相邻三角面片之间的平滑性约束，可以把稠密三维地图的变化检测问题，转换成马尔可夫随机场(Markov Random Field，MRF)的优化问题，则稠密三维地图的变化检测问题就转化为了给稠密三维地图中的每个三角面片分配变化标签的过程。
通过最小化MRF能量函数求解稠密三维地图的变化检测结果，可以使用图割算法实现。用于三维地图变化检测的能量函数定义为：
其中，F是稠密三维地图上的所有三角面片的集合，A代表的是每个面片的领域面片集合。第一项Edata被称为似然数据项，根据反投影过程求解的三角面片的变化概率信息Pf。
Edata可以表示为：
Edata(lf)＝1-pf
Esmooth使用平滑项信息β是用于平衡平滑项和数据项的权重因子。经过MRF优化之后，稠密三维地图的每个三角面片都获得了一个标签(发生变化：1；没有发生变化：0)。
在一些实施例中，稠密描述子为将虚拟二维图像以及目标二维图像分别输入到稠密描述子提取模型中输出的；稠密描述子提取模型为以样本二维图像为样本，与样本二维图像对应的语义类别标签为样本标签训练得到。
可以理解的是，稠密描述子提取模型可以为神经网络模型，比如可以为卷积神经网络模型或者残差神经网络模型，能够通过样本数据进行自我学习，实现对稠密描述子的高效提取。
众所周知，卷积神经网络结构，比如VGGNet、ResNet、Xception等，在图像描述方面有良好性能。本实施例提出的稠密描述子提取模型可以基于Xception-65的DeepLab V3+模型，获取目标二维图像和虚拟二维图像的稠密描述子。
DeepLab V3+语义分割网络模型的目的是实现图像的语义分割，所以DeepLab V3+提取的稠密描述子还需要进一步通过全卷积层，实现语义类别分割的任务。
而本实施例提出的稠密描述子提取网络不同于端到端的语义分割模型，因为本实施例使用卷积网络的目的是获得图像的稠密描述子，所以不需要通过全卷积层把描述视觉三维地图的稠密描述子映射到语义类别上。因此本实施例中不考虑全卷积层，而是把全卷积层的上一卷积层提取得到的描述子，作为图像的稠密描述子。
也就是说，在对稠密描述子提取模型进行训练时，输入为样本二维图像，输出为语义类别，但是在稠密描述子提取模型的实际应用时，将输出语义类别的全卷积层去掉了，只保留能够输出稠密描述子的部分，将这一部分用来提取虚拟二维图像和目标二维图像的稠密描述子。
单个卷积神经网络结构在基于Xception-65的DeepLab V3+网络结构的基础上，进行了稍微改动。类似于基于Xception-65的DeepLab V3+网络结构。
首先，通过Xception-65提取图像描述子，Xception-65的主要贡献在于它的深度可分离卷积结构(Depthwise Separable Convolution)，能够在减小卷积的参数数量和计算量的同时保持了相同或更好的特征描述性能。
其次，使用空洞卷积的空间金字塔池化层(Atrous Spatial Pyramid Pooling，ASPP)，引入多尺度特征信息，一方面，通过ASPP池化，能在不同尺度下捕获更长视野的特征信息，另一方面，利用空洞卷积上采样来获取高维空间特征描述的同时，能够保持特征图的空间分辨率不变，避免了上采样操作导致特征细节丢失的问题。
最后，经过ASPP获取的高维密集特征还需要和低层次的特征进行融合，因为ASPP过程会导致物体的边界信息丢失，因此需要通过底层次的特征重新恢复物体的边界信息。
本章提出的方法与DeepLab V3框架的不同点在于经过和低层次的特征融合以后，不再进行进一步的卷积、上采样和全卷积操作，而是把当前得到的深度为256维的特征描述图(Descriptor Map)作为图像的稠密描述子，在1/4的尺度空间逐像素地度量256维稠密描述子的相似性，实现图像的变化检测。
本实施例主要使用了以下两个模型，用于提取变化检测所需要的图像稠密描述子。
(1)在Cityscapes上预训练的DeepLab V3+(Xception-65)模型。Cityscapes数据集包含来自50个不同城市的街道场景图片，在该数据集训练的模型具有良好的场景表达和泛化能力。因此，利用Cityscapes上预训练的DeepLab V3+(Xception-65)模型来提取用于变化检测的稠密描述子。
(2)在航拍图像数据集上微调的DeepLab V3+(Xception-65)模型。目前语义三维地图在工业领域中被普遍应用，因此，也可以充分利用在具体的场景中微调后的语义分割网络，提取图像的稠密描述子。在本实施例中，基于CityScapes数据集上预训练的模型，在航拍场景图像数据集上进行了微调，使模型能够更好地拟合当前的数据集，提高稠密描述子对当前场景的描述能力。
在一些实施例中，上述步骤130、基于位姿信息，确定稠密三维地图中与目标二维图像对应的虚拟二维图像，包括：在所述稠密三维地图中渲染所述目标二维图像的所述位姿信息对应的参考图像，得到所述虚拟二维图像。
首先，可以根据目标二维图像的定位和配准方法，计算目标二维图像在稠密三维地图的位姿信息。
第二步，从带有纹理信息的稠密三维地图中，根据配准后的目标二维图像的位姿信息，渲染目标二维图像对应的稠密三维地图的参考图像。OpenGL能够实现将三维空间的坐标转换为二维图像的像素坐标，这一过程是通过OpenGL的渲染管线(RederingPipeline)实现的，它通过顶点处理、光栅化计算、纹理贴图、像素处理以及渲染等一系列的操作，把稠密三维地图在目标二维图像对应的位姿信息下可见的场景数据转换到虚拟二维图像上。为了进行后续的基于目标二维图像和虚拟二维图像的逐像素稠密描述子相似性度量，渲染过程中把虚拟二维图像的大小设置为和目标二维图像相同的尺寸，而且由于相机的实际焦距难以获取，因此渲染时，焦距设置为标准焦距范围中的一个较小值(在本实施例中可以设为10mm)，这样就尽可能将场景在虚拟二维图像上的可见区域都渲染出来。
在一些实施例中，上述步骤150、将稠密三维地图中的变化区域替换为对应的目标二维图像，并进行三维重建处理，得到更新稠密三维地图，包括：将稠密三维地图中的变化区域替换为对应的目标二维图像，得到更新区域；将稠密三维地图中的更新区域以及未更新区域进行图像特征匹配；对更新区域中的新特征点进行三角化操作和局部BA优化操作；对更新区域进行多视图立体重建算法，得到深度图像，并将深度图像融合到稠密三维地图中，并进行局部点云三角化和局部纹理贴图，得到更新稠密三维地图。
本小节实现了稠密三维地图的更新。通过稠密三维地图的变化检测方法，检测到稠密三维地图中发生变化的三维面片后，从数据库中删除这些发生变化的三维面片所对应的旧的二维图像，并替换为三角面片可见的目标二维图像。加入目标二维图像后，在目标二维图像与其附近的不变区域之间执行图像特征匹配，然后对新点进行三角化并运行局部BA优化新添加的图像和新三角化的3D点。之后对新添加的目标二维图像执行多视图立体重建算法获取深度图像，并融合到原始地图中。最后进行局部点云三角化和局部纹理贴图，获取更新稠密三维地图。
这里需要特别指出的是，对于视觉三维地图而言，更新的本质在于替换数据库中发生变化的场景图像，并进行局部图像三维重建。由于图像三维重建是比较成熟的流程，且重建的为局部区域，因此整个更新过程是比较可靠的。
本实施例中用于实验的数据集是无人机拍摄的大约0.5平方公里的城市航拍场景。包括3100张旧航空影像和1520张新航空影像，两次采集之间的间隔大约为一年。在此期间，场景变化包括新建筑的产生，旧建筑的消失，动态的行人/汽车、建筑物的外观变化等。对于新采集的1520张航拍影像，从稠密三维地图中渲染得了到对应的1520张虚拟二维图像。
为了能够定量地分析基于稠密描述子的变化检测结果，对数据集进行了真值标注。相比于稀疏三维地图，稠密三维地图中包含更多场景中发生变化的细节，分别对配准后的新旧三维地图进行正射投影，获取场景的正射图像，并标注正射图像中的变化区域作为为量化分析的真值。
下面对本发明提供的稠密三维地图更新装置进行描述，下文描述的稠密三维地图更新装置与上文描述的稠密三维地图更新方法可相互对应参照。
如图2所示，本发明还提供一种稠密三维地图更新装置，该稠密三维地图更新装置包括：获取模块210、配准模块220、第一确定模块230、第二确定模块240和更新模块250。
获取模块210，用于获取稠密三维地图以及目标二维图像。
配准模块220，用于将目标二维图像在稠密三维地图中进行配准，得到目标二维图像的位姿信息。
第一确定模块230，用于基于位姿信息，确定稠密三维地图中与目标二维图像对应的虚拟二维图像。
第二确定模块240，用于基于虚拟二维图像与目标二维图像的相似性比较，确定稠密三维地图中的变化区域。
更新模块250，用于将稠密三维地图中的变化区域替换为对应的目标二维图像，并进行三维重建处理，得到更新稠密三维地图。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行稠密三维地图更新方法，该方法包括：获取稠密三维地图以及目标二维图像；将目标二维图像在稠密三维地图中进行配准，得到目标二维图像的位姿信息；基于位姿信息，确定稠密三维地图中与目标二维图像对应的虚拟二维图像；基于虚拟二维图像与目标二维图像的相似性比较，确定稠密三维地图中的变化区域；将稠密三维地图中的变化区域替换为对应的目标二维图像，并进行三维重建处理，得到更新稠密三维地图。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的稠密三维地图更新方法，该方法包括：获取稠密三维地图以及目标二维图像；将目标二维图像在稠密三维地图中进行配准，得到目标二维图像的位姿信息；基于位姿信息，确定稠密三维地图中与目标二维图像对应的虚拟二维图像；基于虚拟二维图像与目标二维图像的相似性比较，确定稠密三维地图中的变化区域；将稠密三维地图中的变化区域替换为对应的目标二维图像，并进行三维重建处理，得到更新稠密三维地图。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的稠密三维地图更新方法，该方法包括：获取稠密三维地图以及目标二维图像；将目标二维图像在稠密三维地图中进行配准，得到目标二维图像的位姿信息；基于位姿信息，确定稠密三维地图中与目标二维图像对应的虚拟二维图像；基于虚拟二维图像与目标二维图像的相似性比较，确定稠密三维地图中的变化区域；将稠密三维地图中的变化区域替换为对应的目标二维图像，并进行三维重建处理，得到更新稠密三维地图。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种稠密三维地图更新方法，其特征在于，包括：
获取稠密三维地图以及目标二维图像；
将所述目标二维图像在所述稠密三维地图中进行配准，得到所述目标二维图像的位姿信息；
基于所述位姿信息，确定所述稠密三维地图中与所述目标二维图像对应的虚拟二维图像；
基于所述虚拟二维图像与所述目标二维图像的相似性比较，确定所述稠密三维地图中的变化区域；
将所述稠密三维地图中的变化区域替换为对应的所述目标二维图像，并进行三维重建处理，得到更新稠密三维地图。
2.根据权利要求1所述的稠密三维地图更新方法，其特征在于，所述基于所述虚拟二维图像与所述目标二维图像的相似性比较，确定所述稠密三维地图中的变化区域，包括：
基于稠密描述子，比较所述虚拟二维图像与所述目标二维图像的相似度，得到相似度图像；
基于所述位姿信息，将所述相似度图像反投影到所述稠密三维地图中，得到所述稠密三维地图中每个三角面片对应的变化概率信息；
基于所述稠密三维地图中每个三角面片对应的变化概率信息，确定所述稠密三维地图中的变化区域。
3.根据权利要求2所述的稠密三维地图更新方法，其特征在于，所述基于所述稠密三维地图中每个三角面片对应的变化概率信息，确定所述稠密三维地图中的变化区域，包括：
确定所述稠密三维地图中相邻三维面片之间的平滑项信息；
基于所述平滑项信息以及所述变化概率信息，确定所述稠密三维地图中每个三角面片对应的变化标签；
基于所述变化标签，确定所述稠密三维地图中的变化区域。
4.根据权利要求2所述的稠密三维地图更新方法，其特征在于，所述基于稠密描述子，比较所述虚拟二维图像与所述目标二维图像的相似度，得到相似度图像，包括：
基于所述虚拟二维图像中的每一所述稠密描述子与所述目标二维图像中对应的所述稠密描述子之间的欧氏距离，确定所述虚拟二维图像中的每一所述稠密描述子与所述目标二维图像中对应的所述稠密描述子之间相似度；
基于所述虚拟二维图像中的每一所述稠密描述子与所述目标二维图像中对应的所述稠密描述子之间相似度，得到相似度图像。
5.根据权利要求2所述的稠密三维地图更新方法，其特征在于，所述稠密描述子为将所述虚拟二维图像以及所述目标二维图像分别输入到稠密描述子提取模型中输出的；所述稠密描述子提取模型为以样本二维图像为样本，与所述样本二维图像对应的语义类别标签为样本标签训练得到。
6.根据权利要求1至5中任一项所述的稠密三维地图更新方法，其特征在于，所述基于所述位姿信息，确定所述稠密三维地图中与所述目标二维图像对应的虚拟二维图像，包括：
在所述稠密三维地图中渲染所述目标二维图像的所述位姿信息对应的参考图像，得到所述虚拟二维图像。
7.根据权利要求1至5中任一项所述的稠密三维地图更新方法，其特征在于，所述将所述稠密三维地图中的变化区域替换为对应的所述目标二维图像，并进行三维重建处理，得到更新稠密三维地图，包括：
将所述稠密三维地图中的变化区域替换为对应的所述目标二维图像，得到更新区域；
将所述稠密三维地图中的所述更新区域以及未更新区域进行图像特征匹配；
对所述更新区域中的新特征点进行三角化操作和局部BA优化操作；
对所述更新区域进行多视图立体重建算法，得到深度图像，并将所述深度图像融合到所述稠密三维地图中，并进行局部点云三角化和局部纹理贴图，得到所述更新稠密三维地图。
8.一种稠密三维地图更新装置，其特征在于，包括：
获取模块，用于获取稠密三维地图以及目标二维图像；
配准模块，用于将所述目标二维图像在所述稠密三维地图中进行配准，得到所述目标二维图像的位姿信息；
第一确定模块，用于基于所述位姿信息，确定所述稠密三维地图中与所述目标二维图像对应的虚拟二维图像；
第二确定模块，用于基于所述虚拟二维图像与所述目标二维图像的相似性比较，确定所述稠密三维地图中的变化区域；
更新模块，用于将所述稠密三维地图中的变化区域替换为对应的所述目标二维图像，并进行三维重建处理，得到更新稠密三维地图。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述稠密三维地图更新方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述稠密三维地图更新方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110610890.8A CN113487741B (zh) | 2021-06-01 | 2021-06-01 | 稠密三维地图更新方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110610890.8A CN113487741B (zh) | 2021-06-01 | 2021-06-01 | 稠密三维地图更新方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487741A CN113487741A (zh) | 2021-10-08 |
| CN113487741B true CN113487741B (zh) | 2024-05-28 |
Family
ID=77934286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110610890.8A Active CN113487741B (zh) | 2021-06-01 | 2021-06-01 | 稠密三维地图更新方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487741B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024104591A1 (en) * | 2022-11-17 | 2024-05-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Keeping track of changes in a high-resolution digital map |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464158A (zh) * | 2009-01-15 | 2009-06-24 | 上海交通大学 | 基于gps定位的道路网络栅格数字地图自动生成方法 |
| CN101950364A (zh) * | 2010-08-30 | 2011-01-19 | 西安电子科技大学 | 基于邻域相似度和阈值分割的遥感图像变化检测方法 |
| CN109448111A (zh) * | 2018-10-25 | 2019-03-08 | 山东鲁能软件技术有限公司 | 一种图像三维曲面模型优化构建方法及装置 |
| CN109583457A (zh) * | 2018-12-03 | 2019-04-05 | 荆门博谦信息科技有限公司 | 一种机器人定位与地图构建的方法及机器人 |
| CN110119679A (zh) * | 2019-04-02 | 2019-08-13 | 北京百度网讯科技有限公司 | 物体三维信息估计方法及装置、计算机设备、存储介质 |
| CN110728717A (zh) * | 2019-09-27 | 2020-01-24 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
| CN110930503A (zh) * | 2019-12-05 | 2020-03-27 | 武汉纺织大学 | 一种服装三维模型建立方法、***、存储介质及电子设备 |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、***及存储介质 |
| CN111768498A (zh) * | 2020-07-09 | 2020-10-13 | 中国科学院自动化研究所 | 基于稠密语义三维地图与混合特征的视觉定位方法、*** |
| CN111968240A (zh) * | 2020-09-04 | 2020-11-20 | 中国科学院自动化研究所 | 基于主动学习的摄影测量网格的三维语义标注方法 |
| CN111968129A (zh) * | 2020-07-15 | 2020-11-20 | 上海交通大学 | 具有语义感知的即时定位与地图构建***及方法 |
| WO2020264222A1 (en) * | 2019-06-25 | 2020-12-30 | DeepMap Inc. | Image-based keypoint generation |
| WO2020259248A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| CN115049739A (zh) * | 2022-06-14 | 2022-09-13 | 贵州大学 | 一种基于边缘检测的双目视觉立体匹配方法 |
| CN115239903A (zh) * | 2022-08-12 | 2022-10-25 | 北京地平线信息技术有限公司 | 地图的生成方法、装置、电子设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11003956B2 (en) * | 2019-05-16 | 2021-05-11 | Naver Corporation | System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression |
-
2021
- 2021-06-01 CN CN202110610890.8A patent/CN113487741B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464158A (zh) * | 2009-01-15 | 2009-06-24 | 上海交通大学 | 基于gps定位的道路网络栅格数字地图自动生成方法 |
| CN101950364A (zh) * | 2010-08-30 | 2011-01-19 | 西安电子科技大学 | 基于邻域相似度和阈值分割的遥感图像变化检测方法 |
| CN109448111A (zh) * | 2018-10-25 | 2019-03-08 | 山东鲁能软件技术有限公司 | 一种图像三维曲面模型优化构建方法及装置 |
| CN109583457A (zh) * | 2018-12-03 | 2019-04-05 | 荆门博谦信息科技有限公司 | 一种机器人定位与地图构建的方法及机器人 |
| CN110119679A (zh) * | 2019-04-02 | 2019-08-13 | 北京百度网讯科技有限公司 | 物体三维信息估计方法及装置、计算机设备、存储介质 |
| WO2020264222A1 (en) * | 2019-06-25 | 2020-12-30 | DeepMap Inc. | Image-based keypoint generation |
| WO2020259248A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| CN110728717A (zh) * | 2019-09-27 | 2020-01-24 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
| CN110930503A (zh) * | 2019-12-05 | 2020-03-27 | 武汉纺织大学 | 一种服装三维模型建立方法、***、存储介质及电子设备 |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、***及存储介质 |
| CN111768498A (zh) * | 2020-07-09 | 2020-10-13 | 中国科学院自动化研究所 | 基于稠密语义三维地图与混合特征的视觉定位方法、*** |
| CN111968129A (zh) * | 2020-07-15 | 2020-11-20 | 上海交通大学 | 具有语义感知的即时定位与地图构建***及方法 |
| CN111968240A (zh) * | 2020-09-04 | 2020-11-20 | 中国科学院自动化研究所 | 基于主动学习的摄影测量网格的三维语义标注方法 |
| CN115049739A (zh) * | 2022-06-14 | 2022-09-13 | 贵州大学 | 一种基于边缘检测的双目视觉立体匹配方法 |
| CN115239903A (zh) * | 2022-08-12 | 2022-10-25 | 北京地平线信息技术有限公司 | 地图的生成方法、装置、电子设备和存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| Dense 3D semantic mapping of indoor scenes from RGB-D images;A. Hermans;《2014 IEEE International Conference on Robotics and Automation (ICRA)》;20140929;2631-2638 * |
| SemanticFusion: Dense 3D semantic mapping with convolutional neural networks;J. McCormac;《2017 IEEE International Conference on Robotics and Automation (ICRA)》;20170724;4628-4635 * |
| 基于三维信息的视频中人脸替换的研究;张芯月;《中国优秀硕士学位论文全文数据库信息科技辑》;20210615(第06期);I138-654 * |
| 机器人认知地图创建关键技术研究;梁明杰;《中国博士学位论文全文数据库信息科技辑》;20150515(第05期);I140-35 * |
| 视觉主导的多传感器融合机器地图构建与定位技术;高伟;《卫星导航定位与北斗***应用2019——北斗服务全球 融合创新应用》;20190831;6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487741A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及*** | |
| CN112288875B (zh) | 一种面向无人机矿山巡检场景的快速三维重建方法 | |
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| Xia et al. | Geometric primitives in LiDAR point clouds: A review | |
| Ma et al. | A review of 3D reconstruction techniques in civil engineering and their applications | |
| US11145073B2 (en) | Computer vision systems and methods for detecting and modeling features of structures in images | |
| CN106803267B (zh) | 基于Kinect的室内场景三维重建方法 | |
| WO2019153245A1 (en) | Systems and methods for deep localization and segmentation with 3d semantic map | |
| Li et al. | A tutorial review on point cloud registrations: principle, classification, comparison, and technology challenges | |
| CN108010123B (zh) | 一种保留拓扑信息的三维点云获取方法 | |
| CN113012122B (zh) | 一种类别级6d位姿与尺寸估计方法及装置 | |
| CN113689535B (zh) | 基于无人机影像的建筑物模型的生成方法和装置 | |
| CN115953535A (zh) | 三维重建方法、装置、计算设备和存储介质 | |
| CN111143489B (zh) | 基于图像的定位方法及装置、计算机设备和可读存储介质 | |
| CN115423978A (zh) | 用于建筑物重建的基于深度学习的图像激光数据融合方法 | |
| CN104463962B (zh) | 基于gps信息视频的三维场景重建方法 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN115272599A (zh) | 一种面向城市信息模型的三维语义地图构建方法 | |
| CN111325184A (zh) | 一种遥感影像智能解译与变化信息检测方法 | |
| CN114612612A (zh) | 人体姿态估计方法及装置、计算机可读介质、电子设备 | |
| CN113487741B (zh) | 稠密三维地图更新方法及装置 | |
| CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
| CN113514053B (zh) | 生成样本图像对的方法、装置和更新高精地图的方法 | |
| Ariff et al. | Exploratory study of 3D point cloud triangulation for smart city modelling and visualization | |
| KR102558095B1 (ko) | 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |