CN113129372A - 基于HoloLens空间映射的三维场景语义分析方法 - Google Patents

基于HoloLens空间映射的三维场景语义分析方法 Download PDF

Info

Publication number
CN113129372A
CN113129372A CN202110331289.5A CN202110331289A CN113129372A CN 113129372 A CN113129372 A CN 113129372A CN 202110331289 A CN202110331289 A CN 202110331289A CN 113129372 A CN113129372 A CN 113129372A
Authority
CN
China
Prior art keywords
hololens
data
scene
point cloud
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110331289.5A
Other languages
English (en)
Other versions
CN113129372B (zh
Inventor
吴学毅
李云腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qingyuan Cultural Technology Co ltd
Shenzhen Wanzhida Technology Co ltd
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110331289.5A priority Critical patent/CN113129372B/zh
Publication of CN113129372A publication Critical patent/CN113129372A/zh
Application granted granted Critical
Publication of CN113129372B publication Critical patent/CN113129372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于HoloLens空间映射的三维场景语义分析方法，具体按照以下步骤实施：通过HoloLens对室内真实场景进行扫描重建，获得场景的三维空间映射的网格数据a；将得到的网格数据a转换成点云数据b，并完成点云数据b的预处理和数据标注；步骤不断重复前两步直至完成所需要室内数据的采集和标注，并制作成室内点云数据集以及类别信息查找表；对三维场景语义神经网络进行模型训练，并保存训练模型M；HoloLens场景语义分析工具包制作，完成场景信息标注和空间区域划分，提高HoloLens对空间认知能力。本发明提供的方法可以提高HoloLens空间映射能力以及在HoloLens中直接观察空间物体的分布和类别的能力，提升HoloLens对空间环境的感知能力。

Description

基于HoloLens空间映射的三维场景语义分析方法
技术领域
本发明属于计算机视觉技术领域，涉及一种基于HoloLens空间映射的三维场景语义分析方法。
背景技术
随着硬件技术的革新，虚拟现实(VR)、增强现实(AR)以及混合现实(MR)在三维空间认知上有了很大提升。混合现实技术将真实场景和虚拟场景结合起来，并且可以与之交互，增强了用户的真实感体验。
HoloLens是微软推出的一款混合现实设备，用户在佩戴HoloLens之后可以通过眼镜上的透镜看到真实的环境，同时虚拟的数字模型和动画也会通过透镜显示出来。HoloLens可以通过传感器获取周围真实场景的三维扫描数据，利用HoloToolKit工具包可将三维数据进行空间映射处理，使之成为紧贴真实场景物体表面的网格数据。但是HoloLens获取的场景数据只具备场景的XYZ坐标信息，缺乏场景的颜色(RGB)信息，并且空间映射仅仅停留在将真实环境转化为整体网格模型,无法对真实空间物体进行解析，形成对三维空间物体的认知。本发明是在HoloLens所获得的空间映射数据基础上，通过将空间映射数据转换为点云数据，并对其进行语义分析，从而获得关于真实空间物体个体的认知，为更为复杂的智能交互做好准备。
发明内容
本发明的目的是提供一种基于HoloLens空间映射的三维场景语义分析方法，解决了现有技术中存在的HoloLens无法通过三维数据对三维场景进行语义分析的问题。
本发明所采用的技术方案是，一种基于HoloLens空间映射的三维场景语义分析方法，具体按照以下步骤实施：
步骤1：通过HoloLens对室内真实场景进行扫描重建，获得场景的三维空间映射的网格数据a；
步骤2：将步骤1得到的网格数据a转换成点云数据b，并完成点云数据b的预处理和数据标注；
步骤3：不断重复步骤1和步骤2，直至完成所需要室内数据的采集和标注，并制作成室内点云数据集以及类别信息查找表；
步骤4：对三维场景语义神经网络进行模型训练，并保存训练模型M；
步骤5：HoloLens场景语义分析工具包制作，完成场景信息标注和空间区域划分，提高HoloLens对空间认知能力。
本发明的特点还在于：
步骤1具体按照以下步骤实施：
步骤1.1、通过局域网内PC端登录HoloLens IP地址；
步骤1.2、佩戴HoloLens在室内场景中走动，HoloLens将进行场景建模；
步骤1.3、不断更新网页端，并下载HoloLens空间映射的室内场景网格数据a，保存格式为.obj。
步骤2具体按照以下步骤实施：
步骤2.1、对网格数据a进行泊松圆盘采样，通过选择不同的半径r对点云N个邻域点进行采样判断，N为30～50，得到均匀分布的点云数据b；
步骤2.2、将点云数据b依次经过直通滤波、统计滤波和双边滤波进行离群点剔除，得到点云数据c。
步骤2.2的统计滤波的操作包含每个点周围K个近邻统计点的设置和离群点阈值设定，K为30～50，离群点阈值设置为0～1。
步骤4三维场景语义神经网络的搭建和训练具体按照以下步骤实施：
步骤4.1、求取点云法向量，求取过程如下：
假设平面方程：
Figure BDA0002997511630000031
求重心：
Figure BDA0002997511630000032
求重心：
Figure BDA0002997511630000033
求系数：
Figure BDA0002997511630000034
对系数求偏导：
Figure BDA0002997511630000035
求协方差矩阵A最小特征向量[a，b，c]，即为所求之法向量；
步骤4.2、三维场景语义神经网络结构进行训练。
步骤4中三维场景语义神经网络包括有基础网络层和多尺度融合层，基础网络层包括两个多层感知器，一个最大池化层，两个全连接层，一个Dropout层；多尺度融合层包括三个单一尺度层，每一层包括最远点采样层、两个多层感知器、上采样层和最大池化层。
步骤4.2具体按照以下步骤实施：
步骤4.2.1、三个单一尺度层提取的特征f1、f2和f3按加和方式融合，再将基础网络层的局部特征f4与全局特征f5按拼接方式融合；
步骤4.2.2、将融合后的特征f6，经过多层感知器进行完成特征提取；
步骤4.2.1、将包含100组三维场景的训练集数据输入搭建好的神经网络进行模型训练，训练过程中进行学习率、正则化参数调整；
步骤4.2.3、三维场景语义神经网络经过4500次训练，每一轮训练都从训练集中随机的选出一组点进行训练，每组包含24×4096个点云，得到训练模型M并保存为.ckpt格式数据。
步骤5中HoloLens场景语义分析工具包制作，具体按照步骤实施：
步骤5.1、通过Unity3D创建UWP程序，用于HoloLens开发；
步骤5.2、利用HoloLens空间映射能力对室内环境进行三维场景采集后得到待测点云数据p；
步骤5.3、加载训练模型M，通过训练模型M对点云数据p进行语义分析得到三维数据p1；
步骤5.4、对三维数据p1进行泊松重建得到网格数据p2；
步骤5.5、获取HoloLens视觉凝视点对应的三维真实坐标v；
步骤5.6、判断三维真实坐标v属于网格数据p2内哪个类别范围内的坐标点，获取该类别的点云集合P以及通过类别查找获取的类别信息L和颜色信息C；
步骤5.7、计算点云集合P同一法向量朝向的平面，将其归一化至统一平面S，并获取平面S的边界坐标bp的中心坐标cp；
步骤5.8、创建虚拟网格模型，其边界坐标为bp，中心点坐标cp，颜色信息C；通过空间映射将网格模型映射在真实空间内，并完成类别信息L的标志。
本发明的有益效果是：
1、本发明可以实现使HoloLens感知到空间真实物体的位置范围；
2、本发明可以通过HoloLens获取空间中物体的类别；
3、本发明可以进一步提高HoloLens的空间映射能力。
附图说明
图1是本发明基于HoloLens空间映射的三维场景语义分析方法的空间映射三维场景分析流程图；
图2是本发明基于HoloLens空间映射的三维场景语义分析方法的类别查找表；
图3是本发明基于HoloLens空间映射的三维场景语义分析方法的场景数据集构建过程示意图；
图4是本发明基于HoloLens空间映射的三维场景语义分析方法的HoloLens采集空间模型的网格模型图；
图5是本发明基于HoloLens空间映射的三维场景语义分析方法的数据泊松圆盘结果；
图6是本发明基于HoloLens空间映射的三维场景语义分析方法的三维场景语义分析神经网络网络结构图；
图7是本发明基于HoloLens空间映射的三维场景语义分析方法的混合现实显示结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
实施例1
本发明基于HoloLens空间映射的三维场景语义分析方法，如图1所示，具体按照以下步骤实施：
步骤1：通过HoloLens对室内真实场景进行扫描重建，获得场景的三维空间映射的网格数据a；
步骤2：将网格数据a转换成点云数据b，并完成点云数据b的预处理和数据标注；
步骤3：不断重复步骤1和步骤2，直至完成所需要室内数据的采集和标注，并制作成室内点云数据集以及类别信息查找表，类别信息查找表如图2所示，数据集制作过程如图3所示；
步骤4：对三维场景语义神经网络进行模型训练，并保存训练模型M；
步骤5：HoloLens场景语义分析工具包制作，完成场景信息标注和空间区域划分，提高HoloLens对空间认知能力。
步骤1中网格数据a获取具体步骤如下：
步骤1.1：通过局域网内PC端登录HoloLens IP地址；
步骤1.2：佩戴HoloLens在室内场景中走动，HoloLens将进行场景建模；
步骤1.3：不断更新网页端，并下载HoloLens空间映射的室内场景网格数据a，保存格式为.obj，如图4所示。
步骤2中点云数据b预处理具体步骤如下：
步骤2.1：对网格数据a进行泊松圆盘采样，通过选择不同的半径r对点云N个邻域点进行采样判断，N为30～50个，得到均匀分布的点云数据b，如图5所示；
步骤2.2：将点云数据b依次经过直通滤波、统计滤波和双边滤波进行离群点剔除，得到点云数据c。
直通滤波能剔除规定坐标范围之外的多于点云数据，统计滤波能进一步剔除点云内部的离群点，双边滤波的目的是为了保证点云平滑之后能够保证边缘信息不被平滑；
步骤2.2中的统计滤波的操作包含每个点周围K个近邻统计点的设置和离群点阈值设定，K为30～50个，离群点阈值设置为0～1。
这里K大小设置为50，即统计每个点周围的50个近邻点。离群点阈值设置为0.1，即如果一个点超出统计点平均距离10cm则测判定为离群点。
步骤4三维场景语义神经网络搭建和训练具体步骤如下：
Scale-fusion-Point Net神经网络是基于Point Net神经网络的改进，由于HoloLens数据仅有XYZ三维信息，本发明通过点云的XYZ坐标信息来计算点云法向量Nx、Ny、Nz作为点云数据属性，协同使用三维坐标数据进行模型训练，提高了场景分析能力。
步骤4.1、求取点云法向量，求取是通过每一点对其K-近邻点拟合平面，求取平面法向量的方法来计算的，求取过程如下：
假设平面方程：
Figure BDA0002997511630000081
求重心：
Figure BDA0002997511630000082
求重心：
Figure BDA0002997511630000083
求系数：
Figure BDA0002997511630000084
对系数求偏导：
Figure BDA0002997511630000085
求协方差矩阵A最小特征向量[a，b，c]，即为所求之法向量。
步骤4中三维场景语义神经网络包括有基础网络层和多尺度融合层；
基础网络层包括两个多层感知器，一个最大池化层，两个全连接层，一个Dropout层；多尺度融合层包括三个单一尺度层，每一层包括最远点采样层、两个多层感知器、上采样层和最大池化层。
步骤4.2、三维场景语义神经网络结构进行，具体过程如图6所示；
步骤4.2.1、三个单一尺度层提取的特征f1、f2和f3按加和方式融合，再将基础网络层的局部特征f4与全局特征f5按拼接方式融合；
步骤4.2.2、将融合后的特征f6，经过多层感知器进行完成特征提取；
步骤4.2.1、将包含100组三维场景的训练集数据输入搭建好的神经网络进行模型训练，训练过程中进行学习率、正则化参数调整。
步骤4.2.3、三维场景语义神经网络经过4500次训练，每一轮训练都从训练集中随机的选出一组点进行训练，每组包含24×4096个点云，得到训练模型M并保存为.ckpt格式数据。
步骤5中HoloLens场景语义分析工具包制作。具体包含如下步骤：
步骤5.1、通过Unity3D创建UWP程序，用于HoloLens开发；
步骤5.2、利用HoloLens空间映射能力对室内环境进行三维场景采集后得到待测点云数据p；
步骤5.3、加载训练模型M，通过训练模型M对点云数据p进行语义分析得到三维数据p1；
步骤5.4、对三维数据p1进行泊松重建得到网格数据p2；
步骤5.5、获取HoloLens视觉凝视点对应的三维真实坐标v；
步骤5.6、判断三维真实坐标v属于网格数据p2内哪个类别范围内的坐标点，获取该类别的点云集合P以及通过类别查找获取的类别信息L和颜色信息C；
步骤5.7、计算点云集合P同一法向量朝向的平面，将其归一化至统一平面S，并获取平面S的边界坐标bp的中心坐标cp。
步骤5.8、创建虚拟网格模型，其边界坐标为bp，中心点坐标cp，颜色信息C。通过空间映射将网格模型映射在真实空间内，并完成类别信息L的标志，如图7。

Claims (8)

1.一种基于HoloLens空间映射的三维场景语义分析方法，其特征在于，具体按照以下步骤实施：
步骤1：通过HoloLens对室内真实场景进行扫描重建，获得场景的三维空间映射的网格数据a；
步骤2：将步骤1得到的网格数据a转换成点云数据b，并完成点云数据b的预处理和数据标注；
步骤3：不断重复步骤1和步骤2，直至完成所需要室内数据的采集和标注，并制作成室内点云数据集以及类别信息查找表；
步骤4：对三维场景语义神经网络进行模型训练，并保存训练模型M；
步骤5：HoloLens场景语义分析工具包制作，完成场景信息标注和空间区域划分，提高HoloLens对空间认知能力。
2.根据权利要求1所述一种基于HoloLens空间映射的三维场景语义分析方法，其特征在于，所述步骤1具体按照以下步骤实施：
步骤1.1、通过局域网内PC端登录HoloLens IP地址；
步骤1.2、佩戴HoloLens在室内场景中走动，HoloLens将进行场景建模；
步骤1.3、不断更新网页端，并下载HoloLens空间映射的室内场景网格数据a，保存格式为.obj。
3.根据权利要求2所述的一种基于HoloLens空间映射的三维场景语义分析方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1、对网格数据a进行泊松圆盘采样，通过选择不同的半径r对点云N个邻域点进行采样判断，N为30～50，得到均匀分布的点云数据b；
步骤2.2、将点云数据b依次经过直通滤波、统计滤波和双边滤波进行离群点剔除，得到点云数据c。
4.根据权利要求3所述的一种基于HoloLens空间映射的三维场景语义分析方法，其特征在于，所述步骤2.2的统计滤波的操作包含每个点周围K个近邻统计点的设置和离群点阈值设定，K为30～50，离群点阈值设置为0～1。
5.根据权利要求3所述的一种基于HoloLens空间映射的三维场景语义分析方法，其特征在于，所述步骤4三维场景语义神经网络的搭建和训练具体按照以下步骤实施：
步骤4.1、求取点云法向量，求取过程如下：
假设平面方程：
Figure FDA0002997511620000021
求重心：
Figure FDA0002997511620000022
求重心：
Figure FDA0002997511620000023
求系数：
Figure FDA0002997511620000024
对系数求偏导：
Figure FDA0002997511620000025
求协方差矩阵A最小特征向量[a，b，c]，即为所求之法向量；
步骤4.2、三维场景语义神经网络结构进行训练。
6.根据权利要求5所述的一种基于HoloLens空间映射的三维场景语义分析方法，其特征在于，所述步骤4中三维场景语义神经网络包括有基础网络层和多尺度融合层，所述基础网络层包括两个多层感知器，一个最大池化层，两个全连接层，一个Dropout层；所述多尺度融合层包括三个单一尺度层，每一层包括最远点采样层、两个多层感知器、上采样层和最大池化层。
7.根据权利要求6所述的一种基于HoloLens空间映射的三维场景语义分析方法，其特征在于，所述步骤4.2具体按照以下步骤实施：
步骤4.2.1、三个单一尺度层提取的特征f1、f2和f3按加和方式融合，再将基础网络层的局部特征f4与全局特征f5按拼接方式融合；
步骤4.2.2、将融合后的特征f6，经过多层感知器进行完成特征提取；
步骤4.2.1、将包含100组三维场景的训练集数据输入搭建好的神经网络进行模型训练，训练过程中进行学习率、正则化参数调整；
步骤4.2.3、三维场景语义神经网络经过4500次训练，每一轮训练都从训练集中随机的选出一组点进行训练，每组包含24×4096个点云，得到训练模型M并保存为.ckpt格式数据。
8.根据权利要求7所述的一种基于HoloLens空间映射的三维场景语义分析方法，其特征在于，所述步骤5中HoloLens场景语义分析工具包制作，具体按照步骤实施：
步骤5.1、通过Unity3D创建UWP程序，用于HoloLens开发；
步骤5.2、利用HoloLens空间映射能力对室内环境进行三维场景采集后得到待测点云数据p；
步骤5.3、加载训练模型M，通过训练模型M对点云数据p进行语义分析得到三维数据p1；
步骤5.4、对三维数据p1进行泊松重建得到网格数据p2；
步骤5.5、获取HoloLens视觉凝视点对应的三维真实坐标v；
步骤5.6、判断三维真实坐标v属于网格数据p2内哪个类别范围内的坐标点，获取该类别的点云集合P以及通过类别查找获取的类别信息L和颜色信息C；
步骤5.7、计算点云集合P同一法向量朝向的平面，将其归一化至统一平面S，并获取平面S的边界坐标bp的中心坐标cp；
步骤5.8、创建虚拟网格模型，其边界坐标为bp，中心点坐标cp，颜色信息C；通过空间映射将网格模型映射在真实空间内，并完成类别信息L的标志。
CN202110331289.5A 2021-03-29 2021-03-29 基于HoloLens空间映射的三维场景语义分析方法 Active CN113129372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110331289.5A CN113129372B (zh) 2021-03-29 2021-03-29 基于HoloLens空间映射的三维场景语义分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110331289.5A CN113129372B (zh) 2021-03-29 2021-03-29 基于HoloLens空间映射的三维场景语义分析方法

Publications (2)

Publication Number Publication Date
CN113129372A true CN113129372A (zh) 2021-07-16
CN113129372B CN113129372B (zh) 2023-11-03

Family

ID=76774300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110331289.5A Active CN113129372B (zh) 2021-03-29 2021-03-29 基于HoloLens空间映射的三维场景语义分析方法

Country Status (1)

Country Link
CN (1) CN113129372B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470095A (zh) * 2021-09-03 2021-10-01 贝壳技术有限公司 室内场景重建模型的处理方法和装置
CN113589929A (zh) * 2021-07-29 2021-11-02 和舆图（北京）科技有限公司 一种基于HoloLens设备的空间距离测量方法及***
CN113706689A (zh) * 2021-08-04 2021-11-26 西安交通大学 一种基于Hololens深度数据的装配指导方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985155A (zh) * 2014-05-14 2014-08-13 北京理工大学 基于映射法的散乱点云Delaunay三角剖分曲面重构方法
CN110353806A (zh) * 2019-06-18 2019-10-22 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及***
US20190340825A1 (en) * 2016-12-26 2019-11-07 Interdigital Ce Patent Holdings Device and method for generating dynamic virtual contents in mixed reality
CN111680542A (zh) * 2020-04-17 2020-09-18 东南大学 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
CN111753698A (zh) * 2020-06-17 2020-10-09 东南大学 一种多模态三维点云分割***和方法
CN111798475A (zh) * 2020-05-29 2020-10-20 浙江工业大学 一种基于点云深度学习的室内环境3d语义地图构建方法
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
EP3789965A1 (en) * 2019-09-09 2021-03-10 apoQlar GmbH Method for controlling a display, computer program and mixed reality display device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985155A (zh) * 2014-05-14 2014-08-13 北京理工大学 基于映射法的散乱点云Delaunay三角剖分曲面重构方法
US20190340825A1 (en) * 2016-12-26 2019-11-07 Interdigital Ce Patent Holdings Device and method for generating dynamic virtual contents in mixed reality
CN110353806A (zh) * 2019-06-18 2019-10-22 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及***
EP3789965A1 (en) * 2019-09-09 2021-03-10 apoQlar GmbH Method for controlling a display, computer program and mixed reality display device
CN111680542A (zh) * 2020-04-17 2020-09-18 东南大学 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
CN111798475A (zh) * 2020-05-29 2020-10-20 浙江工业大学 一种基于点云深度学习的室内环境3d语义地图构建方法
CN111753698A (zh) * 2020-06-17 2020-10-09 东南大学 一种多模态三维点云分割***和方法
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
QI C R: "PointNet Plus Plus: Deep llierarchical feature Learning on Point Sets in a Metric Space", 《2017 31ST ANNUAL CONFERENCE ON NEURAL LNFORMATION PROCESSING SYSTEMS(N1PS)》 *
YU FENG: "Mesorasi: Architecture Support for Point Cloud Analytics via Delayed-Aggregation", 《2020 53RD ANNUAL IEEE/ACM INTERNATIONAL SYMPOSIUM ON MICROARCHITECTURE (MICRO)》 *
任浩然: "动态多光照三维光场采集***设计与实现", 《杭州电子科技大学学报》 *
李林瞳: "适用宇航智能交互场景的混合现实技术研究", 《计算机测量与控制》 *
赵中阳: "基于多尺度特征和PointNet的LiDAR点云地物分类方法", 《激光与光电子学进展》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589929A (zh) * 2021-07-29 2021-11-02 和舆图（北京）科技有限公司 一种基于HoloLens设备的空间距离测量方法及***
CN113706689A (zh) * 2021-08-04 2021-11-26 西安交通大学 一种基于Hololens深度数据的装配指导方法及***
CN113706689B (zh) * 2021-08-04 2022-12-09 西安交通大学 一种基于Hololens深度数据的装配指导方法及***
CN113470095A (zh) * 2021-09-03 2021-10-01 贝壳技术有限公司 室内场景重建模型的处理方法和装置
CN113470095B (zh) * 2021-09-03 2021-11-16 贝壳技术有限公司 室内场景重建模型的处理方法和装置

Also Published As

Publication number Publication date
CN113129372B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN113129372B (zh) 基于HoloLens空间映射的三维场景语义分析方法
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN105550678B (zh) 基于全局显著边缘区域的人体动作特征提取方法
Liao et al. Automatic caricature generation by analyzing facial features
JP2016218999A (ja) ターゲット環境の画像内に表現されたオブジェクトを検出するように分類器をトレーニングする方法およびシステム
CN112784736B (zh) 一种多模态特征融合的人物交互行为识别方法
CN113012122B (zh) 一种类别级6d位姿与尺寸估计方法及装置
Li et al. Learning to reconstruct botanical trees from single images
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN112818925A (zh) 一种城市建筑和树冠识别方法
CN112396655B (zh) 一种基于点云数据的船舶目标6d位姿估计方法
CN115082254A (zh) 一种变电站精益管控数字孪生***
CN112001293A (zh) 结合多尺度信息和编解码网络的遥感影像地物分类方法
CN114627017B (zh) 一种基于多层次注意力感知的点云去噪方法
CN111080754A (zh) 一种头部肢体特征点连线的人物动画制作方法及装置
CN110717978A (zh) 基于单张图像的三维头部重建方法
CN114299339A (zh) 一种基于区域相关性建模的三维点云模型分类方法及***
CN117853191A (zh) 一种基于区块链技术的商品交易信息共享方法及***
CN113144613A (zh) 基于模型的体积云生成的方法
CN116935008A (zh) 一种基于混合现实的展示交互方法和装置
WO2024044078A1 (en) Systems and methods for rigging a point cloud for animation
CN117218192A (zh) 一种基于深度学习与合成数据的弱纹理物***姿估计方法
CN113255514B (zh) 基于局部场景感知图卷积网络的行为识别方法
CN114255328A (zh) 一种基于单视图与深度学习的古文物三维重建方法
CN110033521B (zh) 一种基于vr与ar技术的三维可视化***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230921

Address after: C217-2, Tsinghua University Research Institute, No. 019 Gaoxin South 7th Road, Gaoxin Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518000

Applicant after: Shenzhen Qingyuan Cultural Technology Co.,Ltd.

Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Wanzhida Technology Co.,Ltd.

Effective date of registration: 20230921

Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Wanzhida Technology Co.,Ltd.

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 5

Applicant before: XI'AN University OF TECHNOLOGY

GR01 Patent grant
GR01 Patent grant