CN115187743A - 一种地铁站内部环境布置预测和白模采集方法及*** - Google Patents

一种地铁站内部环境布置预测和白模采集方法及*** Download PDF

Info

Publication number
CN115187743A
CN115187743A CN202210908029.4A CN202210908029A CN115187743A CN 115187743 A CN115187743 A CN 115187743A CN 202210908029 A CN202210908029 A CN 202210908029A CN 115187743 A CN115187743 A CN 115187743A
Authority
CN
China
Prior art keywords
dimensional
model
white
subway station
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210908029.4A
Other languages
English (en)
Other versions
CN115187743B (zh
Inventor
高跃
刘小兰
黄晋
肖罡
杨钦文
万可谦
魏志宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Kejun Industrial Co ltd
Original Assignee
Jiangxi Kejun Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Kejun Industrial Co ltd filed Critical Jiangxi Kejun Industrial Co ltd
Priority to CN202210908029.4A priority Critical patent/CN115187743B/zh
Publication of CN115187743A publication Critical patent/CN115187743A/zh
Application granted granted Critical
Publication of CN115187743B publication Critical patent/CN115187743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种地铁站内部环境布置预测和白模采集方法及***，本发明地铁站内部环境布置预测和白模采集方法包括：在目标位置采集图像和点云；将图像输入预先训练好的卷积神经网络模型以获得空间布局三维白模；将点云和所述空间布局三维白模融合得到目标位置的局部三维白模；其中卷积神经网络模型包括特征提取网络、上采样融合网络和布局预测网络。本发明针对当前SLAM类采集方案中会产生的大量白模空洞的缺点，采用基于图像进行基础白模构建并与采集到的点云进行融合的方式进行三维白模构建，由于基础白模由图像自动生成，因此也解决了手工白模构建中人力和时间成本过高的缺陷。

Description

一种地铁站内部环境布置预测和白模采集方法及***
技术领域
本发明涉及计算机视觉采集和建模技术，具体涉及一种地铁站内部环境布置预测和白模采集方法及***。
背景技术
三维白模是指物体的不含材质贴图的三维模型，三维白模构建是指对三维物体建立适合计算机表示和处理的数学模型(不含材质贴图的三维模型),是在计算机环境下对其进行处理、操作和分析的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
现有针对特定场景下的三维白模型构建方法主要分为激光SLAM建模、视觉SLAM建模和手工建模三类。1)视觉SLAM方案。以RTAB-Map为代表的视觉SLAM方案从功能角度上分为图像数据采集、视觉里程计、后端非线性优化、回环检测以及建图五个部分，其中图像数据采集模块通过相机对环境的2D视觉数据进行获取，视觉里程计通过不同时刻和不同位置的2D图像(由于运动产生的图像变化)对3D立体信息进行预测计算，通过后端非线性优化和回环检测进而估计自身位姿的过程。输入为图像、视频序列，输出相机运动轨迹和局部地图。在建图过程中将当前计算得到的相机运动轨迹和局部地图匹配拼接到原有地图中。地图融合将这一轮来自激光雷达的新数据拼接到原始地图当中，最终完成地图的更新。2)激光SLAM方案。以LIO-SAM为代表的激光SLAM，与视觉SLAM方案不同，激光SLAM方案以3D点云作为直接输入数据。从功能角度上分为点云数据采集、激光里程计、后端非线性优化、回环检测以及建图五个部分。其中点云数据采集通过激光雷达或其他传感器获取所在位置的环境信息，然后对激光雷达原始数据进行优化，剔除一些有问题的数据，或者进行滤波。激光里程计不再预测3D立体信息，而是直接将当前局部环境的点云数据在已建立的地图上寻找对应的位置，匹配的好坏对SLAM构建地图的精度有直接的影响。在SLAM过程中，需要将激光雷达当前采集的点云(红色部分)匹配拼接到原有地图中。后端非线性优化、回环检测以及建图模块与视觉SLAM方案一致。3)手工三维建模。通过相机对场景内的信息进行记录，然后以人工CAD方式对场景的3D模型进行绘制，然后构建光照和视角模型，在VR类模型中进行应用。但是，这些针对特定场景下的三维白模型构建方法中，前雷达或相机SLAM采集类技术方案，以点云或图像作为直接输入，经过视差进行建模，难以获得完整没有空洞的三维模型；手工类三维建模方案，人力和时间成本过高，难以大规模应用。
发明内容
本发明要解决的技术问题是：针对现有技术存在的上述技术问题，提供一种地铁站内部环境布置预测和白模采集方法及***，本发明旨在以点云或图像作为直接输入获得没有空洞的白模，且整个白模采集过程不需要人工干预、人力和时间成本低，可在包括地铁站内部环境以及类似场景下的广泛应用。
为了解决上述技术问题，本发明采用的技术方案为：
一种地铁站内部环境布置预测和白模采集方法，包括：
S1，在目标位置采集图像和点云；
S2，将图像输入预先训练好的卷积神经网络模型以获得空间布局三维白模；
S3，将点云和所述空间布局三维白模融合得到目标位置的局部三维白模。
可选地，步骤S2中的卷积神经网络模型包括：
特征提取网络，用于对图像进行特征提取得到特征向量；
上采样融合网络，用于对特征向量进行上采样融合得到融合特征；
布局预测网络，用于对融合特征进行布局预测得到空间布局三维白模；
所述特征提取网络、上采样融合网络以及布局预测网络依次相连。
可选地，所述特征提取网络包括编码器和解码器，所述编码器和解码器均包括堆叠布置的用于得到不同尺寸的特征图的多个卷积层，且所述编码器和解码器的堆叠方向相反，且编码器中任意卷积层的输出通过曼哈顿霍夫变换、卷积后作为解码器中相同尺寸的卷积层的输入；最终通过解码器的最后一个卷积层输出三个尺寸为128×1的特征向量。
可选地，所述上采样融合网络对特征向量进行上采样融合得到融合特征包括：将3个尺寸为128×1的特征向量在第一个维度上分别叠加4次，获得3个尺寸为512×1的特征向量；将3个尺寸为512×1的特征向量在第二个维度上进行复制，获得3个尺度为512×1024的特征向量。
可选地，所述布局预测网络对融合特征进行布局预测得到空间布局三维白模包括：将获得的3个尺度为512×1024的特征向量进行叠加得到尺寸为512×1024×3的特征图，在将叠加得到尺寸为512×1024×3的特征图经过三层等尺寸卷积获得尺寸为512×1024×3的输出三维模型以作为布局预测得到空间布局三维白模，该输出三维模型包含512×1024个顶点，每个顶点的3维特征表示该顶点的空间坐标值(x,y,z)。
可选地，步骤S1之前还包括对卷积神经网络模型进行训练的步骤，且训练卷积神经网络模型时采用的损失函数的函数表达式为：
Figure BDA0003773130020000021
上式中，
Figure BDA0003773130020000022
表示损失函数，X表示输出三维模型中的线、X*表示输出三维模型中的线对应的样本真值，xi表示线X的第i个点，
Figure BDA0003773130020000023
表示线X对应的样本真值X*的第i个点。
可选地，步骤S3之后还包括：将局部三维白模增加到当前的全局三维白模中以得到新的全局三维白模；然后判断地铁站内部是否仍有尚未采集的位置，若地铁站内部仍有尚未采集的位置，则移动到地铁站内部新的目标位置，然后跳转步骤S1。
可选地，所述将局部三维白模增加到当前的全局三维白模中以得到新的全局三维白模时，记新生成的局部三维模型尺寸为M×3，M表示新生成的局部三维模型的顶点数，记当前的全局三维白模尺寸为N×3，N表示当前的全局三维白模的顶点数，所述将局部三维白模增加到当前的全局三维白模中指将全局三维模型N×3和局部三维模型M×3进行叠加以得到新的全局三维白模，且获得新的新的全局三维白模的尺寸为(N+M)×3。
此外，本发明还提供一种地铁站内部环境布置预测和白模采集***，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述地铁站内部环境布置预测和白模采集方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行前述地铁站内部环境布置预测和白模采集方法的步骤。
和现有技术相比，本发明具有下述优点：本发明针对当前SLAM类采集方案中会产生的大量白模空洞的缺点，采用基于图像进行基础白模构建并与采集到的点云进行融合的方式进行三维白模构建，由于基础白模由图像自动生成，因此也解决了手工白模构建中人力和时间成本过高的缺陷，我们使用图像自动估计曼哈顿房间布局白模，然后与采集到的点云进行融合，生成完整白模，避免点云生成白模中具有空洞的缺陷。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中卷积神经网络模型的结构示意图。
图3为本发明实施例中涉及的曼哈顿霍夫变换基本原理。
图4为本发明实施例中涉及的曼哈顿霍夫变换的实现方式。
图5为本发明实施例中特征上采样部分的实现流程。
图6为本发明实施例中输出三维模型生成部分实现流程。
具体实施方式
如图1所示，本实施例地铁站内部环境布置预测和白模采集方法包括：
S1，在目标位置采集图像和点云；
S2，将图像输入预先训练好的卷积神经网络模型以获得空间布局三维白模；
S3，将点云和所述空间布局三维白模融合得到目标位置的局部三维白模。
如图2所示，本实施例中步骤S2中的卷积神经网络模型包括：
特征提取网络，用于对图像进行特征提取得到特征向量；
上采样融合网络，用于对特征向量进行上采样融合得到融合特征；
布局预测网络，用于对融合特征进行布局预测得到空间布局三维白模；
所述特征提取网络、上采样融合网络以及布局预测网络依次相连。
如图2所示，本实施例中特征提取网络包括编码器和解码器，所述编码器和解码器均包括堆叠布置的用于得到不同尺寸的特征图的多个卷积层，且所述编码器和解码器的堆叠方向相反，且编码器中任意卷积层的输出通过曼哈顿霍夫变换、卷积后作为解码器中相同尺寸的卷积层的输入；最终通过解码器的最后一个卷积层输出三个尺寸为128×1的特征向量。
众所周知，全景图像存在失真，即3D空间中的直线在全景图像的圆柱投影视图中可能不是直的。通过采用E2P(Equirectangular to Perspective，全景-透视图)变换得到一个包含六个图块的立方体贴图。给定单个RGB图像作为输入，首先我们采取一些预处理步骤来对齐图像，获取立方体贴图并转换地面实况标签。在线检测的情况下，曼哈顿霍夫变换将图像中的线参数化为具有两个参数的极坐标，一个方向和一个距离。每个图像像素都会投票给一个离散化的参数，该参数表示相应的极坐标。参数空间表示为霍夫空间，最大局部峰值表示图像中的线。具体来说曼哈顿霍夫变换可以表示为：
Figure BDA0003773130020000041
上式中，
Figure BDA0003773130020000042
表示曼哈顿霍夫变换，ρ和θ表示三维空间点到远点的距离和方向角，l为球面空间中的一条直线，i为该直线上的每个点；X(xi,yi)为该点(xi,yi)上的特征。
如图3所示，曼哈顿霍夫变换提取得到的三个特征向量H,V,C分别为述曼哈顿霍夫变换提取得到的三个特征向量，表示水平线、垂直线和通过图像中心的线,其变换的方式由三维空间点到远点的距离和方向角ρ和θ所确定。
如图4所示，编码器中任意卷积层的输出的尺度为h×w×c的特征图经过卷积变换(图4中conv表示卷积变换)得到尺寸为h×w×c/2的特征图，然后通过曼哈顿霍夫头(简称MH)得到为H×c/2,V×c/2,C×c/2三个分特征H,V,C,再经过卷积变换(图4中conv表示卷积变换)得到尺寸为h×w×c的特征图以作为解码器中相同尺寸的卷积层的输入，其中h,w,c分别为特征图的高度、宽度和通道数量，H,V,C分别为述曼哈顿霍夫变换提取得到的三个特征向量，表示水平线、垂直线和通过图像中心的线。本实施例中的一个关键概念是检测每个立方体地图瓦片中房间布局边界的所有可能位置。因此将卷积神经网络模型与霍夫变换结合起来进行布局边界检测。具体来说，我们提出了结合深度CNN特征和曼哈顿世界假设的深度曼哈顿霍夫变换。它基于以下两个假设：1.曼哈顿世界假设，即所有的墙壁、天花板和地板都必须相互垂直，并且它们的所有交线必须与某些或正交坐标空间的坐标轴之一平行(命名为曼哈顿空间)。2.输入图像必须对齐，即每个立方体贴图瓦片的相机精确面向其中一面墙壁，并且其光轴与曼哈顿空间的坐标轴之一平行。在实际实现中将角度离散化，对应的线在坐标为整数的位置与图像的边界相交。通过上述离散化技术，特征提取网络的过程可以通过矩阵加法和乘法来实现，具有高度的并行性，适用于GPU计算。本实施例中将输入的图像记作Iequi，并等效变换尺寸为512×1024×3；作为一种可选的实施方式，编码器为五层残差卷积层，解码器与编码器结构相同但层数堆叠方式相反，同样为五层残差卷积层。需要说明的是，残差卷积层为现有网络结构，其详细实现在此不再详述。对于立方体贴图(全景-透视图)的六个图块中的每一个，为了捕获低级和高级特征，提取了编码器网络的中间特征。特别是，我们在下采样层之前从每个块中收集感知特征。然后，所有特征被输入到5个独立的曼哈顿霍夫头中，具有不同的输入和输出大小，并输入解码器中对应的层；编码器第1层输出的特征加入解码器第5层，同理编码器第2至5层的输出特征加入解码器第4至1层。
由于特征提取器(编码器)提取的特征图的大小随层的深度而变化，因此5个曼哈顿霍夫头的输出特征向量的大小不同。将所有特征向量上采样到与原始图像的宽度和高度相同的大小。本实施例中上采样融合网络对特征向量进行上采样融合得到融合特征包括：将3个尺寸为128×1的特征向量(共包含两个维度的二维向量)在第一个维度(图5中简称为第一维度)上分别叠加4次，获得3个尺寸为512×1的特征向量；将3个尺寸为512×1的特征向量在第二个维度(图5中简称为第二维度)上进行复制，获得3个尺度为512×1024的特征向量，单个特征的实现流程如图5所示。
如图6所示，本实施例中布局预测网络对融合特征进行布局预测得到空间布局三维白模包括：将获得的3个尺度为512×1024的特征向量进行叠加得到尺寸为512×1024×3的特征图，在将叠加得到尺寸为512×1024×3的特征图经过三层等尺寸卷积获得尺寸为512×1024×3的输出三维模型以作为布局预测得到空间布局三维白模，该输出三维模型包含512×1024个顶点，每个顶点的3维特征表示该顶点的空间坐标值(x,y,z)。
本实施例中，步骤S1之前还包括对卷积神经网络模型进行训练的步骤，且训练卷积神经网络模型时采用的损失函数的函数表达式为：
Figure BDA0003773130020000051
上式中，
Figure BDA0003773130020000052
表示损失函数，X表示输出三维模型中的线、X*表示输出三维模型中的线对应的样本真值，xi表示线X的第i个点，
Figure BDA0003773130020000053
表示线X对应的样本真值X*的第i个点。通过上述调整后的Binary Cross Entropy(二元交叉熵)损失函数进行训练约束，可加速对卷积神经网络模型进行训练的收敛速度，从而提高训练效率。
本实施例中，步骤S3之后还包括：将局部三维白模增加到当前的全局三维白模中以得到新的全局三维白模；然后判断地铁站内部是否仍有尚未采集的位置，若地铁站内部仍有尚未采集的位置，则移动到地铁站内部新的目标位置，然后跳转步骤S1。
本实施例中，所述将局部三维白模增加到当前的全局三维白模中以得到新的全局三维白模时，记新生成的局部三维模型尺寸为M×3，M表示新生成的局部三维模型的顶点数，记当前的全局三维白模尺寸为N×3，N表示当前的全局三维白模的顶点数，所述将局部三维白模增加到当前的全局三维白模中指将全局三维模型N×3和局部三维模型M×3进行叠加以得到新的全局三维白模，且获得新的新的全局三维白模的尺寸为(N+M)×3。
综上所述，本实施例提供了一种在以地铁站为主要目标环境的室内进行布局预测和白模构建方法，当前雷达或相机SLAM采集类技术方案，以点云或图像作为直接输入，经过视差进行建模，难以获得完整没有空洞的三维模型；手工类三维建模方案，人力和时间成本过高，难以大规模应用。本实施例针对当前SLAM类采集方案中会产生的大量白模空洞的缺点，采用基于图像进行基础白模构建并与采集到的点云进行融合的方式进行三维白模构建，由于基础白模由图像自动生成，因此也解决了手工白模构建中人力和时间成本过高的缺陷。
此外，本实施例还提供一种地铁站内部环境布置预测和白模采集***，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述地铁站内部环境布置预测和白模采集方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行前述地铁站内部环境布置预测和白模采集方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种地铁站内部环境布置预测和白模采集方法，其特征在于，包括：
S1，在目标位置采集图像和点云；
S2，将图像输入预先训练好的卷积神经网络模型以获得空间布局三维白模；
S3，将点云和所述空间布局三维白模融合得到目标位置的局部三维白模。
2.根据权利要求1所述的地铁站内部环境布置预测和白模采集方法，其特征在于，步骤S2中的卷积神经网络模型包括：
特征提取网络，用于对图像进行特征提取得到特征向量；
上采样融合网络，用于对特征向量进行上采样融合得到融合特征；
布局预测网络，用于对融合特征进行布局预测得到空间布局三维白模；
所述特征提取网络、上采样融合网络以及布局预测网络依次相连。
3.根据权利要求2所述的地铁站内部环境布置预测和白模采集方法，其特征在于，所述特征提取网络包括编码器和解码器，所述编码器和解码器均包括堆叠布置的用于得到不同尺寸的特征图的多个卷积层，且所述编码器和解码器的堆叠方向相反，且编码器中任意卷积层的输出通过曼哈顿霍夫变换、卷积后作为解码器中相同尺寸的卷积层的输入；最终通过解码器的最后一个卷积层输出三个尺寸为128×1的特征向量。
4.根据权利要求3所述的地铁站内部环境布置预测和白模采集方法，其特征在于，所述上采样融合网络对特征向量进行上采样融合得到融合特征包括：将3个尺寸为128×1的特征向量在第一个维度上分别叠加4次，获得3个尺寸为512×1的特征向量；将3个尺寸为512×1的特征向量在第二个维度上进行复制，获得3个尺度为512×1024的特征向量。
5.根据权利要求4所述的地铁站内部环境布置预测和白模采集方法，其特征在于，所述布局预测网络对融合特征进行布局预测得到空间布局三维白模包括：将获得的3个尺度为512×1024的特征向量进行叠加得到尺寸为512×1024×3的特征图，在将叠加得到尺寸为512×1024×3的特征图经过三层等尺寸卷积获得尺寸为512×1024×3的输出三维模型以作为布局预测得到空间布局三维白模，该输出三维模型包含512×1024个顶点，每个顶点的3维特征表示该顶点的空间坐标值(x,y,z)。
6.根据权利要求5所述的地铁站内部环境布置预测和白模采集方法，其特征在于，步骤S1之前还包括对卷积神经网络模型进行训练的步骤，且训练卷积神经网络模型时采用的损失函数的函数表达式为：
Figure FDA0003773130010000011
上式中，
Figure FDA0003773130010000012
表示损失函数，X表示输出三维模型中的线、X*表示输出三维模型中的线对应的样本真值，xi表示线X的第i个点，
Figure FDA0003773130010000013
表示线X对应的样本真值X*的第i个点。
7.根据权利要求1所述的地铁站内部环境布置预测和白模采集方法，其特征在于，步骤S3之后还包括：将局部三维白模增加到当前的全局三维白模中以得到新的全局三维白模；然后判断地铁站内部是否仍有尚未采集的位置，若地铁站内部仍有尚未采集的位置，则移动到地铁站内部新的目标位置，然后跳转步骤S1。
8.根据权利要求7所述的地铁站内部环境布置预测和白模采集方法，其特征在于，所述将局部三维白模增加到当前的全局三维白模中以得到新的全局三维白模时，记新生成的局部三维模型尺寸为M×3，M表示新生成的局部三维模型的顶点数，记当前的全局三维白模尺寸为N×3，N表示当前的全局三维白模的顶点数，所述将局部三维白模增加到当前的全局三维白模中指将全局三维模型N×3和局部三维模型M×3进行叠加以得到新的全局三维白模，且获得新的新的全局三维白模的尺寸为(N+M)×3。
9.一种地铁站内部环境布置预测和白模采集***，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述地铁站内部环境布置预测和白模采集方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述地铁站内部环境布置预测和白模采集方法的步骤。
CN202210908029.4A 2022-07-29 2022-07-29 一种地铁站内部环境布置预测和白模采集方法及*** Active CN115187743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210908029.4A CN115187743B (zh) 2022-07-29 2022-07-29 一种地铁站内部环境布置预测和白模采集方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210908029.4A CN115187743B (zh) 2022-07-29 2022-07-29 一种地铁站内部环境布置预测和白模采集方法及***

Publications (2)

Publication Number Publication Date
CN115187743A true CN115187743A (zh) 2022-10-14
CN115187743B CN115187743B (zh) 2024-07-05

Family

ID=83521437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210908029.4A Active CN115187743B (zh) 2022-07-29 2022-07-29 一种地铁站内部环境布置预测和白模采集方法及***

Country Status (1)

Country Link
CN (1) CN115187743B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006066372A2 (en) * 2004-12-24 2006-06-29 Mario Junior Cimbalista Coding process on original infrared images, generated in black and white, to codifying them in negative black, white with specific split colours
JP2008227825A (ja) * 2007-03-12 2008-09-25 Ricoh Co Ltd 画像処理装置およびこれを備えた画像形成装置、並びに画像処理方法
US20120127288A1 (en) * 2010-11-24 2012-05-24 Himax Media Solutions, Inc. 2D-to-3D DELAY COMPENSATION SYSTEM AND METHOD THEREOF
US20170118456A1 (en) * 2015-10-27 2017-04-27 Research & Business Foundation Sungkyunkwan University Method and system for determining optimal exposure time and number of exposures in structured light-based 3d camera
US20190197667A1 (en) * 2017-12-26 2019-06-27 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
CN110135374A (zh) * 2019-05-21 2019-08-16 吉林大学 采用图像块特征识别与回归分类的火灾烟雾检测方法
JP2019192156A (ja) * 2018-04-27 2019-10-31 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20200082160A1 (en) * 2018-09-12 2020-03-12 Kneron (Taiwan) Co., Ltd. Face recognition module with artificial intelligence models
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及***
CN112489143A (zh) * 2020-11-30 2021-03-12 济南博观智能科技有限公司 一种颜色识别方法、装置、设备及存储介质
CN112884890A (zh) * 2021-01-07 2021-06-01 中国电建集团贵州电力设计研究院有限公司 一种多格式基础地理信息数据融合显示的方法
US20220044451A1 (en) * 2020-08-04 2022-02-10 Ping An Technology (Shenzhen) Co., Ltd. Method and device for image generation and colorization
CN114067061A (zh) * 2021-12-01 2022-02-18 成都睿铂科技有限责任公司 一种三维重建方法及***
CN114332603A (zh) * 2021-12-09 2022-04-12 上海城市地理信息***发展有限公司 一种对白模的外观处理方法、装置和电子设备
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN114792359A (zh) * 2022-06-24 2022-07-26 北京百度网讯科技有限公司 渲染网络训练和虚拟对象渲染方法、装置、设备及介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006066372A2 (en) * 2004-12-24 2006-06-29 Mario Junior Cimbalista Coding process on original infrared images, generated in black and white, to codifying them in negative black, white with specific split colours
JP2008227825A (ja) * 2007-03-12 2008-09-25 Ricoh Co Ltd 画像処理装置およびこれを備えた画像形成装置、並びに画像処理方法
US20120127288A1 (en) * 2010-11-24 2012-05-24 Himax Media Solutions, Inc. 2D-to-3D DELAY COMPENSATION SYSTEM AND METHOD THEREOF
US20170118456A1 (en) * 2015-10-27 2017-04-27 Research & Business Foundation Sungkyunkwan University Method and system for determining optimal exposure time and number of exposures in structured light-based 3d camera
US20190197667A1 (en) * 2017-12-26 2019-06-27 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
JP2019192156A (ja) * 2018-04-27 2019-10-31 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20200082160A1 (en) * 2018-09-12 2020-03-12 Kneron (Taiwan) Co., Ltd. Face recognition module with artificial intelligence models
CN110135374A (zh) * 2019-05-21 2019-08-16 吉林大学 采用图像块特征识别与回归分类的火灾烟雾检测方法
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及***
US20220044451A1 (en) * 2020-08-04 2022-02-10 Ping An Technology (Shenzhen) Co., Ltd. Method and device for image generation and colorization
CN112489143A (zh) * 2020-11-30 2021-03-12 济南博观智能科技有限公司 一种颜色识别方法、装置、设备及存储介质
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112884890A (zh) * 2021-01-07 2021-06-01 中国电建集团贵州电力设计研究院有限公司 一种多格式基础地理信息数据融合显示的方法
CN114067061A (zh) * 2021-12-01 2022-02-18 成都睿铂科技有限责任公司 一种三维重建方法及***
CN114332603A (zh) * 2021-12-09 2022-04-12 上海城市地理信息***发展有限公司 一种对白模的外观处理方法、装置和电子设备
CN114792359A (zh) * 2022-06-24 2022-07-26 北京百度网讯科技有限公司 渲染网络训练和虚拟对象渲染方法、装置、设备及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MANON L等: "Outcome Prediction Based on Automatically Extraction infarct Core Image Features in Patients with Acute Ischemic Stroke", MDPI, 23 July 2022 (2022-07-23) *
严娟;方志军;高永彬;: "结合混合域注意力与空洞卷积的3维目标检测", 中国图象图形学报, no. 06, 16 June 2020 (2020-06-16) *
张广翩;计忠平;: "基于二维点云图的三维人体建模方法", 计算机工程与应用, no. 19, 31 December 2020 (2020-12-31) *
曾厉;张志伟;: "水电站作业人员管控***及关键技术应用研究", 电工技术, no. 07, 10 April 2020 (2020-04-10) *
杨文婧;: "大区域三维建筑白模建设及关键技术研究", 测绘与空间地理信息, no. 06, 25 June 2017 (2017-06-25) *

Also Published As

Publication number Publication date
CN115187743B (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
CN111968129B (zh) 具有语义感知的即时定位与地图构建***及方法
Fathi et al. Automated as-built 3D reconstruction of civil infrastructure using computer vision: Achievements, opportunities, and challenges
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
AU2018436279B2 (en) System and method of operation for remotely operated vehicles for simultaneous localization and mapping
CN113192200B (zh) 一种基于空三并行计算算法的城市实景三维模型的构建方法
CN113256699B (zh) 图像处理方法、装置、计算机设备和存储介质
CN108491763A (zh) 三维场景识别网络的无监督训练方法、装置及存储介质
CN115115859A (zh) 基于无人机航拍的长线性工程施工进度智能识别与分析方法
CN111914615A (zh) 基于立体视觉的消防区域可通过性分析***
CN115063542A (zh) 一种几何不变量的预测和模型构建方法与***
CN115330946A (zh) 元宇宙构建方法、装置、存储介质及电子设备
Attard et al. A comprehensive virtual reality system for tunnel surface documentation and structural health monitoring
WO2022064242A1 (en) The method of automatic 3d designing of constructions and colonies in an smart system using a combination of machine scanning and imaging and machine learning and reconstruction of 3d model through deep learning and with the help of machine learning methods
CN115187743B (zh) 一种地铁站内部环境布置预测和白模采集方法及***
CN115841546A (zh) 一种场景结构关联的地铁站多视矢量仿真渲染方法及***
CN114581684A (zh) 基于语义时空表示学习的主动目标跟踪方法、***及设备
Kaiser et al. Co-registration of video-grammetric point clouds with BIM–first conceptual results
Zhang et al. A Self-Supervised Monocular Depth Estimation Approach Based on UAV Aerial Images
Chen et al. Improving completeness and accuracy of 3D point clouds by using deep learning for applications of digital twins to civil structures
Zhang et al. Multi-Source and Multi-Dimensional Data Fusion of Magnetic Levitation Track Transportation Based on Digital Twin
CN115423938B (zh) 一种基于语义识别的三维模型重建方法及***
Kulkarni et al. A Novel Technique for Converting Images from 2D to 3D using Deep Neural Networks
Deshmukh et al. Enhanced 3D Model Generation from a Single Image using GLPN Depth Estimation
Izutsu et al. Chapter As-Built Detection of Structures by the Segmentation of Three-Dimensional Models and Point Cloud Data
Shi et al. Research on Viewpoint Planning Method for Multi-view Image 3D Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant