CN113424220B - 生成点云补全网络及点云数据的处理 - Google Patents

生成点云补全网络及点云数据的处理 Download PDF

Info

Publication number
CN113424220B
CN113424220B CN202180001706.8A CN202180001706A CN113424220B CN 113424220 B CN113424220 B CN 113424220B CN 202180001706 A CN202180001706 A CN 202180001706A CN 113424220 B CN113424220 B CN 113424220B
Authority
CN
China
Prior art keywords
point cloud
processed
cloud data
game
completion network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180001706.8A
Other languages
English (en)
Other versions
CN113424220A (zh
Inventor
张俊哲
陈心怡
蔡中昂
赵海宇
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Priority claimed from PCT/IB2021/055007 external-priority patent/WO2022208143A1/en
Publication of CN113424220A publication Critical patent/CN113424220A/zh
Application granted granted Critical
Publication of CN113424220B publication Critical patent/CN113424220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Communication Control (AREA)

Abstract

本公开实施例提供生成点云补全网络的方法和装置，以及点云数据的处理方法、装置和***。由第一点云补全网络基于隐空间采样出的隐空间向量获取第一点云数据，再基于第一点云数据中的点的分布特征调整第一点云补全网络，以生成第二点云补全网络。由于在生成第二点云补全网络的过程中考虑了点云数据中点的分布特征，从而使训练出的第二点云补全网络能够对点云数据中点的分布特征进行修正，进而输出点的分布特征比较均匀的点云数据。

Description

生成点云补全网络及点云数据的处理
交叉引用声明
本申请为2021年6月8日递交的PCT申请PCT/IB2021/055007的中国国家阶段申请，要求2021年3月30日递交的新加坡专利申请10202103270P的优先权，该PCT申请的全部内容在此引入本申请作为参考。
技术领域
本公开涉及计算机视觉技术领域，尤其涉及生成点云补全网络的方法和装置，以及点云数据的处理方法、装置和***。
背景技术
点云补全用于修补有所缺失的点云数据(即残缺点云数据)，从残缺点云数据出发估计完整点云数据。点云补全在自动驾驶、机器人导航等多个领域有着诸多应用。传统的点云补全网络输出的点云分布不均匀，使得输出的点云在下游任务中的应用效果较差。
发明内容
本公开提供生成点云补全网络的方法和装置，以及点云数据的处理方法、装置和***。
根据本公开实施例的第一方面，提供一种生成点云补全网络的方法，包括：基于隐空间采样出隐空间向量；将所述隐空间向量输入至第一点云补全网络以获取基于所述隐空间向量生成的第一点云数据；确定所述第一点云数据中的点的分布特征；根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络。
在一些实施例中，所述确定所述第一点云数据中的点的分布特征，包括：确定所述第一点云数据中的多个点云块；计算所述多个点云块的点密度的方差，作为所述第一点云数据中的点的分布特征。
在一些实施例中，所述确定所述第一点云数据中的多个点云块，包括：从所述第一点云数据中采样多个种子位置的点作为种子点；针对每个种子点，确定所述种子点的多个邻近点，并将所述种子点与所述多个邻近点确定为一个点云块。
在一些实施例中，所述点云块的点密度根据所述点云块内的种子点与所述种子点的各邻近点之间的距离确定。
在一些实施例中，所述根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络，包括：基于所述第一点云数据中的点的分布特征建立第一损失函数，所述第一损失函数表征第一点云数据中的点的分布的均匀性；基于所述第一点云数据与样本点云数据集中的完整点云数据建立第二损失函数，所述第二损失函数表征所述第一点云数据与所述完整点云数据之间的差异；基于所述第一损失函数和第二损失函数对所述第一点云补全网络进行训练，得到所述第二点云补全网络。
在一些实施例中，所述根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络，包括：基于所述第一点云数据中的点的分布特征建立第三损失函数；基于所述第一点云数据经过预设的退化处理后得到的相应点云数据与从物理空间采集的真实点云数据之间的差异建立第四损失函数；基于所述第三损失函数和第四损失函数对所述第一点云补全网络进行优化，得到所述第二点云补全网络。
在一些实施例中，所述预设的退化处理包括：对所述真实点云数据中的任意一个目标点，从所述第一点云数据中确定与所述目标点最邻近的至少一个邻近点；将所述真实点云数据中各个目标点在所述第一点云数据中的邻近点的并集确定为所述相应点云数据。
在一些实施例中，所述方法还包括：获取点云采集装置从三维空间中采集的原始点云数据；对所述原始点云数据进行点云分割得到至少一个对象的第二点云数据；采用第二点云补全网络对所述第二点云数据进行补全。
在一些实施例中，所述方法还包括：根据至少两个对象的补全后的第二点云数据检测所述至少两个对象之间的关联性。
根据本公开实施例的第二方面，提供一种点云数据的处理方法，所述方法包括：获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云；将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云；基于所述第一经处理点云和所述第二经处理点云对所述游戏参与者和所述游戏对象进行关联处理；其中，所述第二点云补全网络通过基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，且所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。
在一些实施例中，所述游戏对象包括所述游戏区域内投入的游戏币；所述方法还包括：基于所述第一经处理点云和所述第二经处理点云的关联结果，确定所述游戏参与者在所述游戏区域内投入的游戏币。
在一些实施例中，所述方法还包括：基于所述第一经处理点云和所述第二经处理点云的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。
在一些实施例中，所述获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云，包括：获取设置在所述游戏区域周围的点云采集装置采集的原始点云数据；对所述原始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云以及游戏对象的第二待处理点云。
在一些实施例中，所述第二点云补全网络用于对多个类别的游戏参与者的第一待处理点云和/或多个类别的游戏对象的第二待处理点云进行补全；或者所述第二点云补全网络包括第一点云补全子网络和第二点云补全子网络，所述第一点云补全子网络用于对第一类别的游戏参与者的第一待处理点云进行补全，所述第二点云补全子网络用于对第二类别的游戏对象的第二待处理点云进行补全。
根据本公开实施例的第三方面，提供一种生成点云补全网络的装置，所述装置包括：采样模块，用于基于隐空间采样出隐空间向量，将所述隐空间向量输入至第一点云补全网络以获取所基于所述隐空间向量生成的第一点云数据；确定模块，用于确定所述第一点云数据中的点的分布特征；生成模块，用于根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络。
在一些实施例中，所述确定模块包括：点云块确定单元，用于确定所述第一点云数据中的多个点云块；计算单元，用于计算所述多个点云块的点密度的方差，作为所述第一点云数据中的点的分布特征。
在一些实施例中，所述点云块确定单元包括：采样子单元，用于从所述第一点云数据中采样多个种子位置的点作为种子点；确定子单元，用于针对每个种子点，确定所述种子点的多个邻近点，并将所述种子点与所述多个邻近点确定为一个点云块。
在一些实施例中，所述点云块的点密度根据所述点云块内的种子点与所述种子点的各邻近点之间的距离确定。
在一些实施例中，所述生成模块包括：第一建立单元，用于基于所述第一点云数据中的点的分布特征建立第一损失函数，所述第一损失函数表征第一点云数据中的点的分布的均匀性；第二建立单元，用于基于所述第一点云数据与样本点云数据集中的完整点云数据建立第二损失函数，所述第二损失函数表征所述第一点云数据与所述完整点云数据之间的差异；训练单元，用于基于所述第一损失函数和第二损失函数对所述第一点云补全网络进行训练，得到所述第二点云补全网络。
在一些实施例中，所述生成模块包括：第三建立单元，用于基于所述第一点云数据中的点的分布特征建立第三损失函数；第四建立单元，用于基于所述第一点云数据经过预设的退化处理后得到的相应点云数据与从物理空间采集的真实点云数据之间的差异建立第四损失函数；优化单元，用于基于所述第三损失函数和第四损失函数对所述第一点云补全网络进行优化，得到所述第二点云补全网络。
在一些实施例中，所述装置还包括：邻近点确定模块，用于对所述真实点云数据中的任意一个目标点，从所述第一点云数据中确定与所述目标点最邻近的至少一个邻近点；退化处理模块，用于将所述真实点云数据中各个目标点在所述第一点云数据中的邻近点的并集确定为所述相应点云数据。
在一些实施例中，所述装置还包括：原始点云数据获取模块，用于获取点云采集装置从三维空间中采集的原始点云数据；点云分割模块，用于对所述原始点云数据进行点云分割得到至少一个对象的第二点云数据；补全模块，用于采用第二点云补全网络对所述第二点云数据进行补全。
在一些实施例中，所述装置还包括：检测模块，用于根据至少两个对象的补全后的第二点云数据检测所述至少两个对象之间的关联性。
根据本公开实施例的第四方面，提供一种点云数据的处理装置，所述装置包括：获取模块，用于获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云；输入模块，用于将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云；关联处理模块，用于基于所述第一经处理点云和所述第二经处理点云对所述游戏参与者和所述游戏对象进行关联处理；其中，所述第二点云补全网络通过基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，且所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。
在一些实施例中，所述游戏对象包括所述游戏区域内投入的游戏币；所述装置还包括：游戏币确定模块，用于基于所述第一经处理点云和所述第二经处理点云的关联结果，确定所述游戏参与者在所述游戏区域内投入的游戏币。
在一些实施例中，所述装置还包括：动作确定模块，用于基于所述第一经处理点云和所述第二经处理点云的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。
在一些实施例中，所述获取模块包括：原始点云数据获取单元，用于获取设置在所述游戏区域周围的点云采集装置采集的原始点云数据；点云分割单元，用于对所述原始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云以及游戏对象的第二待处理点云。
在一些实施例中，所述第二点云补全网络用于对多个类别的游戏参与者的第一待处理点云和/或多个类别的游戏对象的第二待处理点云进行补全；或者所述第二点云补全网络包括第一点云补全子网络和第二点云补全子网络，所述第一点云补全子网络用于对第一类别的游戏参与者的第一待处理点云进行补全，所述第二点云补全子网络用于对第二类别的游戏对象的第二待处理点云进行补全。
根据本公开实施例的第五方面，提供一种点云数据的处理***，所述***包括：点云采集装置，设置在游戏区域周围，用于采集所述游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云；以及处理单元，与所述点云采集装置通信连接，用于将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云，并基于所述第一经处理点云和所述第二经处理点云对所述游戏参与者和所述游戏对象进行关联处理；其中，所述第二点云补全网络通过基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，且所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
根据本公开实施例的第七方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
本公开实施例由第一点云补全网络基于隐空间采样出的隐空间向量获取第一点云数据，再基于第一点云数据中的点的分布特征调整第一点云补全网络，以生成第二点云补全网络，由于在生成第二点云补全网络的过程中考虑了点云数据中点的分布特征，从而使训练出的第二点云补全网络能够对点云数据中点的分布特征进行修正，进而输出点的分布特征比较均匀的点云数据。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是一些实施例的残缺点云数据的示意图。
图2是本公开实施例的点云数据中点的分布特征的示意图。
图3是本公开实施例的生成点云补全网络的方法的流程图。
图4是本公开实施例的点云补全网络的训练和优化过程的示意图。
图5是本公开实施例的退化处理过程的示意图。
图6是点云补全网络输出的多种候选完整点云数据的示意图。
图7是本公开实施例的点云数据的处理方法的流程图。
图8是本公开实施例的生成点云补全网络的装置的框图。
图9是本公开实施例的点云数据的处理装置的框图。
图10是本公开实施例的点云数据的处理***的示意图。
图11是本公开实施例的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
在实际应用中，往往需要采集点云数据，并对采集的点云数据进行一些处理。例如，在自动驾驶领域，会在自动行驶的车辆上安装激光雷达，利用激光雷达采集车辆周围的点云数据，并对点云数据进行分析，以确定车辆周围的障碍物的移动速度，从而有效地对车辆进行路径规划。又例如，在机器人导航领域，可以采集机器人周围环境的点云数据，并基于从点云数据中识别出的各种对象，对机器人进行定位。再例如，在一些游戏场景下，可以采集游戏区域内的点云数据，并对从点云数据中识别出的各种目标(例如，游戏参与者与游戏对象)进行关联处理。
然而，在真实场景中，由于遮挡等原因，采集到的三维点云往往并非完整点云数据，而是残缺点云数据。例如，对于一个三维物体，其背离点云采集装置的表面会被面对点云采集装置的表面所遮挡，导致背离点云采集装置的表面的点云无法采集到。即便是平面物体，由于场景中往往存在多个交叠的物体，因此，一个物体的表面可能被另一个物体的表面遮挡，导致采集到的点云数据不完整。除此之外，残缺点云产生的原因还有其他多种，采集到的残缺点云的形式也是多种多样的。如图1所示，是一些实施例的物理空间中采集的残缺点云及其对应的完整点云的示意图。
应当说明的是，本公开中的残缺点云数据是指不能代表对象的完整形状的点云数据，例如，在一个对象包括一个或多个表面(surface)的情况下，其中的部分表面或者一个表面的部分区域可能被遮挡，采集到的点云数据中不包括被遮挡的表面或区域的点，从而使得采集到的点云数据无法表示被遮挡的表面或区域对应的形状。其中，所述多个表面朝向不同方向，或者相互之间存在朝向突变。相应地，完整点云数据是指能够代表对象的完整形状的点云数据。例如，在一个对象包括一个或多个表面的情况下，点云数据中包括各个表面的点，从而点云数据能够完整地表示各个表面的形状。
基于残缺点云进行的各种操作往往难以达到预期的效果。因此，有必要对残缺点云数据进行补全，以获取残缺点云数据对应的完整点云数据。在相关技术中，一般是采用点云补全网络对残缺点云数据进行补全。然而，传统的点云补全网络输出的点云分布不均匀。如图2所示，是分布均匀的点云数据a与分布不均匀的点云数据b的对比图，可以看出，在点云数据b中，采集到的点大多分布在虚线框中所示的位置，而其他区域点的分布则比较分散。由于点云补全网络能够处理的点数相对固定，点云数据的不均匀意味着部分区域的点的数量可能不足以使点云补全网络获取到足够的信息来用于点云补全，从而导致点云补全结果不准确。此外，点云数据的不均匀还可能导致输出的点云数据在下游任务中的应用效果较差。例如，在从分布不均匀的点云数据中识别目标对象时，用于表征目标对象中部分区域的点的数量较少，可能导致不足以准确识别出目标对象，导致识别错误。
基于此，本公开提供一种生成点云补全网络的方法，如图3，所述方法包括：
步骤301：基于隐空间采样出隐空间向量，将所述隐空间向量输入至第一点云补全网络以获取基于所述隐空间向量生成的第一点云数据；
步骤302：确定所述第一点云数据中的点的分布特征；
步骤303：根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络。
本公开实施例中的调整第一点云补全网络以生成第二点云补全网络的方法流程可以用于点云补全网络的训练过程中；或者，本公开实施例中的调整第一点云补全网络以生成第二点云补全网络的方法流程可以用于对训练好的点云补全网络进行优化的过程中。
在步骤301中，第一点云补全网络例如可以基于包括但不限于tree-GAN或者r-GAN等任意种类的生成对抗网络(Generative Adversarial Networks，GAN)获得。
可以从隐空间中采样得到隐空间向量，采样方式可以是随机采样。在一些实施例中，隐空间可以是一个96维的空间，每次采样可以随机生成一个或多个96维的向量，即原始隐空间向量。
在步骤302中，可以将第一点云数据中多个点云块的点密度的方差确定为所述第一点云数据中的点的分布特征。方差越大，说明第一点云数据中各个点云块之间的点的分布越不均匀；反之，方差越小，说明各个点云块之间的点的分布越均匀。
在一些实施例中，可以从所述第一点云数据中采样多个种子位置的点作为种子点，针对每个种子点，确定所述种子点的多个邻近点，并将所述种子点与所述多个邻近点确定为一个点云块。在一些实施例中，每个点云块中点的数量可以是固定的，因此，所述点云块的点密度可以直接根据所述点云块内的种子点与所述种子点的各邻近点之间的距离确定。通过这种方式，降低了计算点密度的复杂度。
可以从第一点云数据中随机采样n个种子位置，采样方式例如可以采用最远距离采样(Farthest Point Sampling，FPS)，从而使得各个种子位置之间的距离最远。一个点云块中的点的分布特征可以基于该点云块中各个点与所述点云块中的某个位置(例如，可以是种子位置)的平均距离来确定。可以对第一点云补全网络的网络参数进行优化，以使第一点云数据中各个点云块对应的平均距离的方差最小。
在步骤303中，可以基于所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络。
本公开实施例中的调整第一点云补全网络以生成第二点云补全网络可以用于点云补全网络的训练过程中，即，上述第一点云补全网络为未经训练的原始点云补全网络，所述第二点云补全网络为经过训练的点云补全网络；或者，本公开实施例中的调整第一点云补全网络以生成第二点云补全网络可以用于对训练好的点云补全网络进行优化的过程中，即，上述第一点云补全网络为经过训练的点云补全网络，所述第二点云补全网络为经过优化的点云补全网络。下面分别对点云补全网络的训练过程和优化过程进行展开说明。
在训练过程中，可以将样本点云数据集中的完整点云数据确定为目标点云数据。以生成对抗网络为例，可以将第一点云补全网络作为生成器，通过与预设的判别器进行对抗训练得到第二点云补全网络，生成器的输入为从隐空间采样得到的隐空间向量，判别器的输入为样本点云数据集中的完整点云数据。由于在真实场景下往往难以采集到完整点云数据，因此，本公开的实施例所采用的所述完整点云数据可以是人为生成的，例如，是ShapeNet数据集上的完整点云数据。此外，成对的残缺点云-完整点云的样本数据通常也难以构建，本公开的实施例采用隐空间向量替代残缺点云输入生成器以生成完整点云，降低了获取样本数据的难度，且通过生成-对抗的方式训练第一点云补全网络可以达到较好的精度。
可以获取第一点云补全网络基于隐空间向量输出的第一点云数据，基于所述第一点云数据中的点的分布特征建立第一损失函数，所述第一损失函数表征第一点云数据中的点的分布的均匀性；基于所述第一点云数据与样本点云数据集中的完整点云数据建立第二损失函数，所述第二损失函数表征所述第一点云数据与所述完整点云数据之间的差异；基于所述第一损失函数和第二损失函数对所述第一点云补全网络进行训练，得到所述第二点云补全网络。其中，第一损失函数可记为：
式中，Lpatch为第一损失函数，Var表示方差，ρj为第j个点云块中各个点与种子位置的平均距离，n为点云块的总数，k为点云块中点的总数，distij为第j个点云块中的第i个点与种子位置之间的距离。可以调整第一点云补全网络的网络参数，以使第二点云补全网络输出的点云数据中各个点云块对应的平均距离的方差最小。通过这种方式，可以使各个点云块中点与种子位置的平均距离比较相似，从而提高点第二云补全网络输出的点云数据中点的分布均匀性。
第二损失函数的作用是使第二点云补全网络输出的点云数据尽可能接近样本点云数据集中的点云数据，以达到判别器难以区分的程度。可以基于判别器对第一点云数据与样本点云数据集中的点云数据的判别结果确定第二损失函数。
在优化过程中，可以将从物理空间中采集到的真实点云数据作为目标点云数据。可以从多个原始隐空间向量中选取最优者作为所述隐空间向量(称为目标隐空间向量)。针对每个原始隐空间向量，可以获取第一点云补全网络基于该原始隐空间向量生成的点云数据，基于所述原始隐空间向量对应的点云数据以及真实点云数据，确定所述原始隐空间向量的目标函数。然后，基于各个原始隐空间向量的目标函数，从所述各个原始隐空间向量中确定所述目标隐空间向量。可以采用以下方式计算各个原始隐空间向量的目标函数L：
LFD＝||D(xp)-D(xin)||1
式中，LCD和LFD分别表示chamfer距离(倒角距离)和特征距离，xp表示第一点云数据经过预设的退化处理后得到的相应点云数据，xin表示真实点云数据，p和q分别表示第一点云数据中的点与真实点云数据中的点，||·||1和||·||2分别表示1范数和2范数，D(xp)和D(xin)分别表示xp和xin的特征向量。以上仅为对目标函数的举例说明，除了上述目标函数之外，根据实际需要，也可以采用其他类型的目标函数，此处不再赘述。
在获取各个原始隐空间向量对应的目标函数之后，可以将目标函数最小的原始隐空间向量确定为所述目标隐空间向量。本公开实施例通过上述方式，能够从多个原始隐空间向量中选取最优的目标隐空间向量用于点云补全网络的训练和优化过程，能够加快点云补全网络的训练和优化速度，提高点云补全网络的优化效率。
经过优化处理，第一点云补全网络输出的第一点云数据经过预设的退化处理后得到的相应点云数据与从物理空间采集的真实点云数据之间的差异在预设的差异范围内。在实践中，可以将上述“第一点云数据经过预设的退化处理后得到的相应点云数据，与从物理空间采集的真实点云数据之间的差异在预设的差异范围内”作为优化目标，通过设置相应的优化目标来调整第一点云补全网络的参数，以实现第一点云补全网络的优化，得到第二点云补全网络。
具体地，可以基于所述第一点云数据中的点的分布特征建立第三损失函数；基于所述第一点云数据退化后得到的相应点云数据与真实点云数据之间的差异建立第四损失函数；基于所述第三损失函数和第四损失函数对所述第一点云补全网络进行优化，得到所述第二点云补全网络。其中，可以将上述Lpatch函数作为第三损失函数，将目标隐空间向量对应的目标函数作为第四损失函数。
上述第一点云补全网络的训练和优化过程如图4所示，采用生成对抗网络中的生成器作为点云补全网络N1，所述生成对抗网络包括生成器G和判别器D，图中所示的两个D可以是同一个判别器，xc为xc1或者xc2，z为z1或z2，xin为xin1或xin2。在训练过程中，采用生成器G与判别器D进行对抗训练，生成器G的输入为随机采样的隐空间向量z1，判别器D的输入为样本点云数据集中的完整点云数据xin1，训练的目的是使判别器D难以区分出生成器G产生的完整点云数据xC1与样本点云数据集中的完整点云数据xin1，并使训练后得到的点云补全网络N2能够输出较为均匀的完整点云数据。因此，在训练阶段，采用梯度下降法对隐空间向量z1以及点云补全网络N1中生成器的参数θ1进行优化，使第一损失函数与第二损失函数最小，从而获取点云补全网络N2。其中，第一损失函数由点云补全网络N1基于隐空间向量z1生成的完整点云数据xC1中点的分布特征获取，第二损失函数基于判别器的判别结果获取。通过训练，使得点云补全网络N2能够基于样本点云数据集中的完整点云数据学习到较好的空间几何的先验信息。可以基于训练后的生成对抗网络中判别器D的中间层输出的特征计算上述特征的距离。
在优化阶段，可以从多个随机采样的原始隐空间向量中获取目标隐空间向量z2。将目标隐空间向量z2输入点云补全网络N2，获取点云补全网络N2输出的完整点云数据xC2，基于完整点云数据XC2中点的分布特征确定第三损失函数，并基于该完整点云数据xC2退化后得到的点云数据xp与真实点云数据xin2的距离确定第四损失函数，采用梯度下降法对目标隐空间向量z2以及点云补全网络N2中生成器G的参数θ2进行优化，使第三损失函数与第四损失函数最小，从而获取点云补全网络N3，N3即为最终用于进行点云补全的点云补全网络。
本公开实施例的方式无需采用完整点云数据与残缺点云数据构成的点云对，由于整个训练过程没有涉及到特定形式的残缺点云，从而能够适用于对各种形式的残缺点云进行补全，泛化性能较高，并且对于不同残缺程度的点云具有较好的鲁棒性；并且，由于点云补全网络经过优化，使得其生成的相应点云数据经过了预设的退化处理，与真实点云数据之间的差异较小，因此，点云补全结果较为准确。
此外，本公开实施例由第一点云补全网络基于隐空间采样出的隐空间向量获取第一点云数据，再基于第一点云数据中点的分布特征调整第一点云补全网络，以生成第二点云补全网络，由于在生成第二点云补全网络的过程中考虑了点云数据中点的分布特征，从而使训练出的第二点云补全网络能够对点云数据中点的分布特征进行修正，进而输出点的分布特征比较均匀的点云数据。
在一些实施例中，可以采用以下方式对第一点云数据进行退化处理：对真实点云数据中的任意一个目标点，从所述第一点云数据中确定与所述目标点邻近的至少一个邻近点；将所述真实点云数据中各个目标点在所述第一点云数据中的邻近点的并集确定为相应点云数据。
如图5所示，对于真实点云数据xin中的点P1，可以获取P1在第一点云数据xc中的邻近点，所述邻近点可以包括xc中与P1距离最近的k个点，即区域S1中所示的点。同理，可以获取真实点云数据xin中的点P2在第一点云数据xc中的邻近点，即区域S2中所示的点。同理，可以获取真实点云数据xin中其他的目标点在第一点云数据xc中的邻近点，所述目标点可以包括真实点云数据xin中的部分点，例如可以是从真实点云数据xin中按照设定的采样率均匀采样的点。可选地，设定的采样率＜1/k，这样经过退化处理后得到的相应点云数据中的点的数量会减少。各个目标点的邻近点可能存在部分重叠，因此，可以将各个目标点的邻近点的并集构成的点云确定为第一点云数据经退化处理后得到的相应点云数据。
得到第二点云补全网络之后，可以通过第二点云补全网络对第二点云数据进行补全。针对输入的每个第二点云数据，第二点云补全网络可以输出一种或多种候选完整点云数据。如图6所示，是一些实施例的第一点云数据及其对应的候选完整点云数据的示意图，基于第二点云数据，第二点云补全网络一共输出了4种候选完整点云数据以供选择。进一步地，可以获取对各个候选完整点云数据的选择指令，响应于所述选择指令，从各个候选完整点云数据中选择一个作为所述第二点云数据对应的完整点云数据。
本公开可用于配备有3D传感器(如深度相机或者激光雷达)的任意场景，整个场景的残缺点云数据可以由3D传感器扫描得到。场景中每一个对象的残缺点云数据通过第二点云补全网络生成完整点云数据，进而可以对整个场景进行3D重建。重建好的场景可以提供精确的空间信息，如探测人体与场景中的其他物体之间的距离，人与人之间的距离等。上述空间信息可以用于对人与物，人与人进行关联，进而提高关联准确度。
在一些实施例中，可以获取多帧第二点云数据，并对多帧第二点云数据进行关联处理。所述多帧第二点云数据可以是同一类别的对象的第二点云数据，例如，在游戏场景下，每帧第二点云数据可以是一个游戏参与者的点云数据。通过对多个游戏参与者的点云数据进行关联处理，可以确定同一游戏区域内参与同一游戏的多个游戏参与者。所述多帧第二点云数据也可以是不同类别的对象的第二点云数据，仍以游戏场景为例，所述多帧第二点云数据可以包括游戏参与者的点云数据以及游戏对象的点云数据。通过将游戏参与者的点云数据与游戏对象的点云数据进行关联处理，可以确定游戏参与者与游戏对象之间的关系，例如，属于游戏参与者的游戏币、游戏棋牌、现金，游戏参与者所在的游戏区域，游戏参与者落座的座椅等。
游戏场景中游戏参与者、游戏对象的位置和状态可能发生实时的变化，游戏参与者之间的关系、游戏参与者与游戏对象之间的关系也可能发生实时的变化，而这些实时变化的信息对于游戏状态的分析、游戏进程的监控而言具有比较重要的意义，针对点云采集装置采集到的游戏参与者和/或游戏对象的残缺点云数据进行补全，有利于提升点云数据之间的关联结果的准确性，进而可以提升基于该关联结果的游戏状态分析、游戏进程监控等结果的可靠性。
在一些实施例中，在获取第二点云数据之后，还可以对第二点云数据中包括的对象进行识别，从而确定所述对象的类别。还可以基于识别结果对多帧第二点云数据进行关联处理。进一步，为了提高关联处理和/或对象识别的准确度，可以在进行关联处理和/或对象识别之前，对所述第二点云数据进行均匀化处理。
在一些实施例中，点云采集装置采集的原始点云数据中往往包括多个对象的点云数据。为了便于处理，可以获取点云采集装置从三维空间中采集的原始点云数据；对所述原始点云数据进行点云分割得到至少一个对象的第二点云数据；采用第二点云补全网络对所述第二点云数据进行补全。
如图7，本公开实施例还提供一种点云数据的处理方法，所述方法包括：
步骤701：获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云；
步骤702：将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云；
步骤703：基于所述第一经处理点云和所述第二经处理点云对所述游戏参与者和所述游戏对象进行关联处理；
其中，所述第二点云补全网络通过基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，且所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。
所述游戏参与者可以包括但不限于游戏裁判、游戏玩家、游戏观众等中的至少一者。
在一些实施例中，所述游戏对象包括所述游戏区域内投入的游戏币；所述方法还包括：基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者在所述游戏区域内投入的游戏币。每个游戏参与者可以拥有一定数量的游戏币，用于进行游戏。通过对游戏参与者与游戏币进行关联，可以确定游戏参与者在游戏过程中投入币的数额，游戏参与者在不同游戏阶段所拥有和已投入的币数额等信息，并判断游戏过程中的操作是否符合预先设置的游戏规则，或者在游戏结束时根据投入的币数额和游戏结果进行赔付。
在一些实施例中，所述方法还包括：基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。所述动作可以包括落座、投入币、发牌等。
在一些实施例中，所述获取游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象的第二待处理点云数据，包括：获取设置在所述游戏区域周围的点云采集装置采集的原始点云数据；对所述原始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云数据以及游戏对象的第二待处理点云数据。
在一些实施例中，所述第二点云补全网络用于对多个类别的游戏参与者的第一待处理点云数据和/或多个类别的游戏对象的第二待处理点云数据进行补全。在这种情况下，可以采用多个类别的完整点云数据对第二点云补全网络进行训练，并在网络优化阶段采用多个类别的真实点云数据进行网络优化。
或者，所述第二点云补全网络包括第一点云补全子网络和第二点云补全子网络，所述第一点云补全子网络用于对第一类别的游戏参与者的第一待处理点云数据进行补全，所述第二点云补全子网络用于对第二类别的游戏对象的第二待处理点云数据进行补全。在这种情况下，可以分别用不同类别的完整点云数据训练不同的点云补全子网络，训练好的每个点云补全子网络再基于对应类别的真实点云数据进行优化处理。
本公开实施例所采用的第二点云补全网络可基于前述生成点云补全网络的方法生成，具体细节参见前述生成点云补全网络的方法的实施例，此处不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
如图8所示，本公开还提供一种生成点云补全网络的装置，所述装置包括：
采样模块801，用于基于隐空间采样出隐空间向量，将所述隐空间向量输入至第一点云补全网络以获取基于所述隐空间向量生成的第一点云数据；
确定模块802，用于确定所述第一点云数据中的点的分布特征；
生成模块803，用于根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络。
在一些实施例中，所述确定模块包括：点云块确定单元，用于确定所述第一点云数据中的多个点云块；计算单元，用于计算所述多个点云块的点密度的方差，作为所述第一点云数据中的点的分布特征。
在一些实施例中，所述点云块确定单元包括：采样子单元，用于从所述第一点云数据中采样多个种子位置的点作为种子点；确定子单元，用于针对每个种子点，确定所述种子点的多个邻近点，并将所述种子点与所述多个邻近点确定为一个点云块。
在一些实施例中，所述点云块的点密度根据所述点云块内的种子点与所述种子点的各邻近点之间的距离确定。
在一些实施例中，所述生成模块包括：第一建立单元，用于基于所述第一点云数据中的点的分布特征建立第一损失函数，所述第一损失函数表征第一点云数据中的点的分布的均匀性；第二建立单元，用于基于所述第一点云数据与样本点云数据集中的完整点云数据建立第二损失函数，所述第二损失函数表征所述第一点云数据与所述完整点云数据之间的差异；训练单元，用于基于所述第一损失函数和第二损失函数对所述第一点云补全网络进行训练，得到所述第二点云补全网络。
在一些实施例中，所述生成模块包括：第三建立单元，用于基于所述第一点云数据中的点的分布特征建立第三损失函数；第四建立单元，用于基于所述第一点云数据经过预设的退化处理后得到的相应点云数据与从物理空间采集的真实点云数据之间的差异建立第四损失函数；优化单元，用于基于所述第三损失函数和第四损失函数对所述第一点云补全网络进行优化，得到所述第二点云补全网络。
在一些实施例中，所述装置还包括：邻近点确定模块，用于对所述真实点云数据中的任意一个目标点，从所述第一点云数据中确定与所述目标点最邻近的至少一个邻近点；退化处理模块，用于将所述真实点云数据中各个目标点在所述第一点云数据中的邻近点的并集确定为所述相应点云数据。
在一些实施例中，所述装置还包括：原始点云数据获取模块，用于获取点云采集装置从三维空间中采集的原始点云数据；点云分割模块，用于对所述原始点云数据进行点云分割得到至少一个对象的第二点云数据；补全模块，用于采用第二点云补全网络对所述第二点云数据进行补全。
在一些实施例中，所述装置还包括：检测模块，用于根据至少两个对象的补全后的第二点云数据检测所述至少两个对象之间的关联性。
如图9所示，本公开还提供一种点云数据的处理装置，所述装置包括：
获取模块901，用于获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云；
输入模块902，用于将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云；
关联处理模块903，用于基于所述第一经处理点云和所述第二经处理点云对所述游戏参与者和所述游戏对象进行关联处理；
其中，所述第二点云补全网络通过基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，且所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。
在一些实施例中，所述游戏对象包括所述游戏区域内投入的游戏币；所述装置还包括：游戏币确定模块，用于基于所述第一经处理点云和所述第二经处理点云的关联结果，确定所述游戏参与者在所述游戏区域内投入的游戏币。
在一些实施例中，所述装置还包括：动作确定模块，用于基于所述第一经处理点云和所述第二经处理点云的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。
在一些实施例中，所述获取模块包括：原始点云数据获取单元，用于获取设置在所述游戏区域周围的点云采集装置采集的原始点云数据；点云分割单元，用于对所述原始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云以及游戏对象的第二待处理点云。
在一些实施例中，所述第二点云补全网络用于对多个类别的游戏参与者的第一待处理点云和/或多个类别的游戏对象的第二待处理点云进行补全；或者所述第二点云补全网络包括第一点云补全子网络和第二点云补全子网络，所述第一点云补全子网络用于对第一类别的游戏参与者的第一待处理点云进行补全，所述第二点云补全子网络用于对第二类别的游戏对象的第二待处理点云进行补全。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
如图10所示，本公开实施例还提供一种点云数据的处理***，所述***包括点云采集装置1001，设置在游戏区域1003周围，用于采集所述游戏区域1003内的游戏参与者1004的第一待处理点云以及游戏对象1005的第二待处理点云；以及处理单元1002，与所述点云采集装置1001通信连接，用于将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云，并对所述第一经处理点云和所述第二经处理点云进行关联处理。
其中，所述第二点云补全网络基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。
在一些实施例中，所述点云采集装置1001可以是激光雷达或者深度相机。可以在游戏区域周围设置一个或多个点云采集装置1001，不同的点云采集装置1001可以采集游戏区域内不同子区域的点云数据，且不同的点云采集装置1001采集的子区域之间可以存在重叠。
所述游戏区域内的游戏参与者的数量可以是一个或多个，每个游戏参与者可以对应一种或多种游戏对象，包括但不限于游戏币、现金、座椅、棋牌、标志类道具、游戏桌等。基于所述经处理的点云数据识别所述目标对象，可以确定不同点云数据中包括的对象的类别，还可以确定各个类别的对象所处的空间信息。通过对第一经处理点云数据和第二经处理点云数据进行关联，可以获取各种游戏对象与游戏参与者之间的关系，还可以确定游戏参与者所执行的动作，进而可以判断游戏参与者执行的动作是否符合预先设置的游戏规则。
本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。
图11示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1101、存储器1102、输入/输出接口1103、通信接口1104和总线1105。其中处理器1101、存储器1102、输入/输出接口1103和通信接口1104通过总线1105实现彼此之间在设备内部的通信连接。
处理器1101可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器1101还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。
存储器1102可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1102可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1102中，并由处理器1101来调用执行。
输入/输出接口1103用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1104用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1105包括一通路，在设备的各个组件(例如处理器1101、存储器1102、输入/输出接口1103和通信接口1104)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1101、存储器1102、输入/输出接口1103、通信接口1104以及总线1105，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施本发明。

Claims (20)

1.一种生成点云补全网络的方法，包括：
基于隐空间采样出隐空间向量；
将所述隐空间向量输入至第一点云补全网络以获取基于所述隐空间向量生成的第一点云数据；
确定所述第一点云数据中的点的分布特征；
根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络；
其中，所述第二点云补全网络用于对游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云进行补全，得到所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云，所述第一经处理点云和所述第二经处理点云用于对所述游戏参与者和所述游戏对象进行关联处理。
2.根据权利要求1所述的方法，其中，所述确定所述第一点云数据中的点的分布特征，包括：
确定所述第一点云数据中的多个点云块；
计算所述多个点云块的点密度的方差，作为所述第一点云数据中的点的分布特征。
3.根据权利要求2所述的方法，其中，所述确定所述第一点云数据中的多个点云块，包括：
从所述第一点云数据中采样多个种子位置的点作为种子点；
针对每个种子点，确定所述种子点的多个邻近点，并将所述种子点与所述多个邻近点确定为一个点云块。
4.根据权利要求3所述的方法，其中，所述点云块的点密度根据所述点云块内的种子点与所述种子点的各邻近点之间的距离确定。
5.根据权利要求1至4任意一项所述的方法，其中，所述根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络，包括：
基于所述第一点云数据中的点的分布特征建立第一损失函数，所述第一损失函数表征第一点云数据中的点的分布的均匀性；
基于所述第一点云数据与样本点云数据集中的完整点云数据建立第二损失函数，所述第二损失函数表征所述第一点云数据与所述完整点云数据之间的差异；
基于所述第一损失函数和第二损失函数对所述第一点云补全网络进行训练，得到所述第二点云补全网络。
6.根据权利要求1至4任意一项所述的方法，其中，所述根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络，包括：
基于所述第一点云数据中的点的分布特征建立第三损失函数；
基于所述第一点云数据经过预设的退化处理后得到的相应点云数据与从物理空间采集的真实点云数据之间的差异建立第四损失函数；
基于所述第三损失函数和第四损失函数对所述第一点云补全网络进行优化，得到所述第二点云补全网络。
7.根据权利要求6所述的方法，其中，所述预设的退化处理包括：
对所述真实点云数据中的任意一个目标点，从所述第一点云数据中确定与所述目标点最邻近的至少一个邻近点；
将所述真实点云数据中各个目标点在所述第一点云数据中的邻近点的并集确定为所述相应点云数据。
8.根据权利要求1至7任意一项所述的方法，还包括：
获取点云采集装置从三维空间中采集的原始点云数据；
对所述原始点云数据进行点云分割得到至少一个对象的第二点云数据；
采用第二点云补全网络对所述第二点云数据进行补全。
9.根据权利要求8所述的方法，还包括：
根据至少两个对象的补全后的第二点云数据检测所述至少两个对象之间的关联性。
10.一种点云数据的处理方法，包括：
获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云；
将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云；
基于所述第一经处理点云和所述第二经处理点云对所述游戏参与者和所述游戏对象进行关联处理；
其中，所述第二点云补全网络通过基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，且所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。
11.根据权利要求10所述的方法，所述游戏对象包括所述游戏区域内投入的游戏币；所述方法还包括：
基于所述第一经处理点云和所述第二经处理点云的关联结果，确定所述游戏参与者在所述游戏区域内投入的游戏币。
12.根据权利要求10或11所述的方法，还包括：
基于所述第一经处理点云和所述第二经处理点云的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。
13.根据权利要求10至12任意一项所述的方法，所述获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云，包括：
获取设置在所述游戏区域周围的点云采集装置采集的原始点云数据；
对所述原始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云以及游戏对象的第二待处理点云。
14.根据权利要求10至13任意一项所述的方法，
所述第二点云补全网络用于对多个类别的游戏参与者的第一待处理点云和/或多个类别的游戏对象的第二待处理点云进行补全；或者
所述第二点云补全网络包括第一点云补全子网络和第二点云补全子网络，所述第一点云补全子网络用于对第一类别的游戏参与者的第一待处理点云进行补全，所述第二点云补全子网络用于对第二类别的游戏对象的第二待处理点云进行补全。
15.一种生成点云补全网络的装置，包括：
采样模块，用于基于隐空间采样出隐空间向量，将所述隐空间向量输入至第一点云补全网络以获取基于所述隐空间向量生成的第一点云数据；
确定模块，用于确定所述第一点云数据中的点的分布特征；
生成模块，用于根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络；
其中，所述第二点云补全网络用于对游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云进行补全，得到所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云，所述第一经处理点云和所述第二经处理点云用于对所述游戏参与者和所述游戏对象进行关联处理。
16.一种点云数据的处理装置，包括：
获取模块，用于获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云；
输入模块，用于将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云；
关联处理模块，用于基于所述第一经处理点云和所述第二经处理点云对所述游戏参与者和所述游戏对象进行关联处理；
其中，所述第二点云补全网络通过基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，且所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。
17.一种点云数据的处理***，包括：
点云采集装置，设置在游戏区域周围，用于采集所述游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云；以及
处理单元，与所述点云采集装置通信连接，用于将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云，并基于所述第一经处理点云和所述第二经处理点云对所述游戏参与者和所述游戏对象进行关联处理；
其中，所述第二点云补全网络通过基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，且所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。
18.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至14任意一项所述的方法。
19.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至14任意一项所述的方法。
20.一种计算机程序产品，包括计算机可读代码，所述计算机可读代码被处理器执行以实现权利要求1至14任意一项所述的方法。
CN202180001706.8A 2021-03-30 2021-06-08 生成点云补全网络及点云数据的处理 Active CN113424220B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202103270P 2021-03-30
SG10202103270P 2021-03-30
PCT/IB2021/055007 WO2022208143A1 (en) 2021-03-30 2021-06-08 Generating point cloud completion network and processing point cloud data

Publications (2)

Publication Number Publication Date
CN113424220A CN113424220A (zh) 2021-09-21
CN113424220B true CN113424220B (zh) 2024-03-01

Family

ID=77719397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180001706.8A Active CN113424220B (zh) 2021-03-30 2021-06-08 生成点云补全网络及点云数据的处理

Country Status (4)

Country Link
US (1) US20220319110A1 (zh)
KR (1) KR20220136884A (zh)
CN (1) CN113424220B (zh)
AU (1) AU2021204585A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593224A (zh) * 2023-12-06 2024-02-23 北京建筑大学 古建筑点云缺失数据补全方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615594A (zh) * 2018-11-30 2019-04-12 四川省安全科学技术研究院 一种激光点云空洞修补着色方法
KR20190082066A (ko) * 2017-12-29 2019-07-09 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
KR101966020B1 (ko) * 2018-10-12 2019-08-13 (주)셀빅 혼합 현실 기반의 다중 참여형 공간 어뮤즈먼트 서비스 방법 및 다중 참여형 공간 어뮤즈먼트 서비스 시스템
CN110689618A (zh) * 2019-09-29 2020-01-14 天津大学 基于多尺度变分图卷积的三维可变形物补全方法
CN110852419A (zh) * 2019-11-08 2020-02-28 中山大学 一种基于深度学习的动作模型及其训练方法
CN110895795A (zh) * 2018-09-13 2020-03-20 北京工商大学 改进的语义图像修补模型方法
CN111028279A (zh) * 2019-12-12 2020-04-17 商汤集团有限公司 点云数据处理方法及装置、电子设备和存储介质
CN111414953A (zh) * 2020-03-17 2020-07-14 集美大学 点云分类方法和装置
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN112241997A (zh) * 2020-09-14 2021-01-19 西北大学 基于多尺度点云上采样的三维模型建立、修复方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912257B2 (en) * 2006-01-20 2011-03-22 3M Innovative Properties Company Real time display of acquired 3D dental data
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
WO2017113260A1 (zh) * 2015-12-30 2017-07-06 中国科学院深圳先进技术研究院 一种三维点云模型重建方法及装置
SG11201809960YA (en) * 2016-05-16 2018-12-28 Sensen Networks Group Pty Ltd System and method for automated table game activity recognition
US20190107845A1 (en) * 2017-10-09 2019-04-11 Intel Corporation Drone clouds for video capture and creation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082066A (ko) * 2017-12-29 2019-07-09 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
CN110895795A (zh) * 2018-09-13 2020-03-20 北京工商大学 改进的语义图像修补模型方法
KR101966020B1 (ko) * 2018-10-12 2019-08-13 (주)셀빅 혼합 현실 기반의 다중 참여형 공간 어뮤즈먼트 서비스 방법 및 다중 참여형 공간 어뮤즈먼트 서비스 시스템
CN109615594A (zh) * 2018-11-30 2019-04-12 四川省安全科学技术研究院 一种激光点云空洞修补着色方法
CN110689618A (zh) * 2019-09-29 2020-01-14 天津大学 基于多尺度变分图卷积的三维可变形物补全方法
CN110852419A (zh) * 2019-11-08 2020-02-28 中山大学 一种基于深度学习的动作模型及其训练方法
CN111028279A (zh) * 2019-12-12 2020-04-17 商汤集团有限公司 点云数据处理方法及装置、电子设备和存储介质
CN111414953A (zh) * 2020-03-17 2020-07-14 集美大学 点云分类方法和装置
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN112241997A (zh) * 2020-09-14 2021-01-19 西北大学 基于多尺度点云上采样的三维模型建立、修复方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RL-GAN-NETa Reinforcement Learning Agent Controlled GAN Network for Real-Time Point Cloud Shape Completion;Muhammad Sarmad；Hyunjoo Jenny Lee；Young Min Kim;Web of Science;论文第3-6页 *
Spherical Kernel for Efficient Graph Convolution on 3D Point Clouds;Huan Lei； Naveed Akhtar；Ajmal Mian;Web of Science;论文第2-3页 *

Also Published As

Publication number Publication date
US20220319110A1 (en) 2022-10-06
CN113424220A (zh) 2021-09-21
AU2021204585A1 (en) 2022-10-13
KR20220136884A (ko) 2022-10-11

Similar Documents

Publication Publication Date Title
KR101532864B1 (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
CN103456003B (zh) 对象跟踪装置及方法以及错误特征点剔除装置及方法
CN106033621B (zh) 一种三维建模的方法及装置
CN105701839B (zh) 状态估计装置、状态估计方法以及集成电路
CN113557528B (zh) 生成点云补全网络及点云数据处理方法、装置和***
CN104867225A (zh) 一种纸币的面向识别方法及装置
EP3291532B1 (en) Image processing device and image processing method
CN113077476A (zh) 一种高度测量方法、终端设备以及计算机存储介质
CN107844803B (zh) 一种图片比对的方法和装置
CN113424220B (zh) 生成点云补全网络及点云数据的处理
CN110633711A (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
KR101927861B1 (ko) 형태론적 연산에 기반한 공간 기하 정보의 노이즈 제거 방법 및 장치
CN109165654A (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN116385520A (zh) 融合全光源图像的磨损表面形貌光度立体重建方法及***
US20220398400A1 (en) Methods and apparatuses for determining object classification
CN113269752A (zh) 一种图像检测方法、装置终端设备及存储介质
CN107534730B (zh) 图像处理装置及图像处理方法
CN113906443A (zh) 点云数据的补全和点云数据的处理
CN107534729B (zh) 图像处理装置和图像处理方法
WO2022208143A1 (en) Generating point cloud completion network and processing point cloud data
WO2022208145A1 (en) Generating point cloud completion network and processing point cloud data
WO2022208142A1 (en) Completing point cloud data and processing point cloud data
CN112200711A (zh) 一种水印分类模型的训练方法及***
CN110852210A (zh) 车辆重识别模型的生成方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant