CN109716393A - 用于创建虚拟3d模型的方法和*** - Google Patents

用于创建虚拟3d模型的方法和*** Download PDF

Info

Publication number
CN109716393A
CN109716393A CN201780058370.2A CN201780058370A CN109716393A CN 109716393 A CN109716393 A CN 109716393A CN 201780058370 A CN201780058370 A CN 201780058370A CN 109716393 A CN109716393 A CN 109716393A
Authority
CN
China
Prior art keywords
voxel
image
image data
descriptor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780058370.2A
Other languages
English (en)
Inventor
彼得·翁德鲁什卡
卢卡斯·普拉廷斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blue Vision Labs UK Ltd
Original Assignee
Blue Vision Labs UK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blue Vision Labs UK Ltd filed Critical Blue Vision Labs UK Ltd
Publication of CN109716393A publication Critical patent/CN109716393A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种用于创建体素占用模型的方法。体素占用模型表示可以使用三维体素阵列描述的空间区域。空间区域包含对象的至少一部分。该方法包括接收第一图像数据，第一图像数据表示对象的至少一部分的第一视图并且包括第一图像方位数据，以及接收第二图像数据，第二图像数据表示对象的至少一部分的第二视图并且包括第二图像方位数据。该方法还包括确定第一描述符，第一描述符描述在第一图像数据中体素阵列的第一体素的投影的属性，以及确定第二描述符，第二描述符描述在第二图像数据中第一体素的投影的属性。该方法还包括基于第一描述符和第二描述符向第一体素分配占用值，占用值表示第一体素是否被对象的至少一部分占用。

Description

用于创建虚拟3D模型的方法和***
本公开涉及计算机视觉领域，并且特别地涉及一种用于创建对象的虚拟3D模型的方法和***。
背景技术
根据一系列2D图像观察理解世界的3D结构，并且特别是根据2D图像序列产生3D重建，是计算机视觉领域中的重要任务。根据图像数据创建虚拟3D模型在许多领域中具有应用，所述领域诸如但不限于机器人技术、自动驾驶汽车和增强现实。增强现实涉及将虚拟对象投影到我们周围的物理(真实)世界。可以根据真实对象创建虚拟对象，使得它们可以投影到这些空间中。其次，对于机器人技术、自动驾驶汽车和增强现实等，能够知道设备(电话、无人机、汽车)在世界上的位置可能是重要的，而环境的3D模型可能很有帮助。
现有方法趋向于分为两类中的一类：几何方法和深度学习方法。
正如R.Hartley和A.Zisserman在剑桥大学出版社(Cambridge universitypress)，2003年出版的“Multiple view geometry in computer vision”一书中所讨论的那样，现有的几何方法基于多视图几何原理。假设在位置T1、T2、...TN∈SE3处取得两个或更多图像I1、I2、…IN并且这些图像之间的像素对应，可以对图像像素的3D位置进行三角测量。为了确定这些对应关系，可以提取像素周围的图像块(片)并沿着极线执行穷举搜索，找到不同图像中类似块的位置。如果对每个像素进行此操作，则可以产生2.5D深度图像，其包含关于每个像素的深度信息，例如，相应图像中每个像素到相机的距离。
要计算完整的3D模型，必须将几个2.5D深度图像并置在一起，或者替代地将它们融合到单个体积模型中。在后一种方法的情况下，将3D空间分割成体素网格，并且通过以下规则计算每个体素的内容：如果在某个点处在比对应像素深度更近的距离观察到体素，被认为是自由空间的一部分。否则，它可以被认为是被占用的。
然而，这种类型的***受到错误的像素对应，这导致不正确的深度计算。而且，以上述方式将深度图像融合到单个体积模型中是耗时的，并且消耗计算机资源。
第二种已知方法是使用所谓的“深度学习”，例如如以下所讨论的：C.B.Choy，D.Xu，J.Gwak，K.Chen和S.Savarese的文章“3D-R2N2:A unified approach for singleand multi-view 3D object reconstruction”arXiv preprint arXiv:1604.00449,2016以及D.J.Rezende，S.Eslami，S.Mohamed，P.Battaglia，M.Jaderberg和N.Heess的文章“Unsupervised learning of 3S structure from images”arXiv preprint arXiv:1607.00662,2016。在这种方法中，深度生成的模型直接以输入图像为条件。该方法的基本原理是，首先，将各个2D输入图像压缩成总结图像的内容的1D特征向量。这些1D特征向量随后作为输入传递给长短期记忆(long short-term memory，LSTM)网络，长短期记忆网络的输出用于生成模型。
这种方法适用于“成像”已知对象的缺失部分，但在建模新的未知的观察对象时往往会导致一般化问题。
因此，需要一种资源密集性更低、耗时更少并且能够提供未知的观察对象的更好模型的方法。本公开描述了这种方法。
发明内容
在独立权利要求中阐述了一种方法和***。在从属权利要求中阐述了可选特征。
根据一方面，提供了一种用于创建体素占用模型的方法。体素占用模型表示可以使用三维体素阵列描述的空间区域。空间区域包含对象的至少一部分。该方法包括接收第一图像数据，第一图像数据表示对象的至少一部分的第一视图并且包括第一图像方位数据，以及接收第二图像数据，第二图像数据表示对象的至少一部分的第二视图并且包括第二图像方位数据。该方法还包括确定第一描述符，第一描述符描述在第一图像数据中体素阵列的第一体素的投影的属性，以及确定第二描述符，第二描述符描述在第二图像数据中第一体素的投影的属性。该方法还包括基于第一描述符和第二描述符向第一体素分配占用值，占用值表示第一体素是否被对象的至少一部分占用。
在一些实施方式中，该方法还包括接收一组图像数据，该组图像数据中的每个相应成员表示对象的至少一部分的视图并且包括图像方位数据。该方法还可以包括针对该组图像数据的每个成员确定描述符，所得到的多个描述符中的每个描述符描述该组图像数据的每个对应成员中的体素阵列的第一体素的投影的属性。该方法还可以包括基于所确定的描述符向第一体素分配占用值。
在一些实施方式中，该方法还包括为体素阵列的每个体素确定相应的多个描述符，并基于所确定的描述符向每个体素分配占用值。
在一些实施方式中，第一投影的属性是第一图像数据中第一体素的投影的2D方位，并且第二投影的属性是第二图像数据中第一体素的投影的2D方位。
在一些实施方式中，第一图像数据和第二图像数据都是从相机接收的，该相机被布置成相对于对象的至少一部分移动。
在一些实施方式中，从第一相机接收第一图像数据，并且从第二相机接收第二图像数据，第一相机和第二相机相对于对象的至少一部分定位在相应的方位处。
在一些实施方式中，第一图像方位数据表示第一图像的姿态，并且第二图像方位数据表示第二图像的姿态。
在一些实施方式中，该方法还包括输出体素占用模型，该体素占用模型包括为已被分配占用值的每个体素所分配的占用值。
在一些实施方式中，该方法还包括根据体素占用模型生成对象的至少一部分的视觉表示。
在一些实施方式中，第一图像数据包括表示从第一视图获取的第一图像的第一编码图像数据，其中第一编码图像数据描述第一图像的多个像素中的每个像素的属性。在一些实施方式中，第二图像数据包括表示从第二视图获取的第二图像的第二编码图像数据，其中第二编码图像数据描述第二图像的多个像素中的每个像素的属性。
在一些实施方式中，属性包括亮度值、强度值、图案、纹理、颜色值或图像特征，诸如图像角或梯度。
在一些实施方式中，使用神经网络确定描述符。
在一些实施方式中，将描述符输入到神经网络中，并且基于神经网络的输出确定占用值。
根据一方面，提供了一种***，***包括处理器，该处理器被配置为执行如上所述和如本文所公开的方法。
根据一方面，提供了一种包括计算机可执行指令的计算机可读介质，在被执行时计算机可读介质执行如上所述和如本文所公开的方法。
附图说明
现在参考附图描述特定实施方式，在附图中：
图1描绘了3D建模过程的示意图；
图2描绘了3D建模装置的示意图；
图3描绘了3D建模过程的流程图；
图4描绘了3D建模过程的流程图；
图5a描绘了在观察对象的表面后面的体素的观察；
图5b描绘了在观察对象的表面前方的体素的观察。
具体实施方式
本发明旨在提供一种用于创建对象的虚拟3D模型的改进的方法和***。虽然下面描述了本发明的各种实施方式，但是本发明不限于这些实施方式，并且这些实施方式的变化可以完全落入本发明的范围内，本发明的范围本身仅由所附权利要求限定。
根据本发明的实施方式，图1示出了3D建模过程的示意图。对象105位于空间区域中。在图1中，作为示例，对象105是大教堂的模型。可以使用体素阵列120来描述空间区域，其中体素阵列中的每个体素Vj描述物理空间的小元素，“j”是对应于特定体素的索引，如本领域技术人员将理解的。出于建模过程的目的，如果对象105的一部分位于体素内，则称特定体素Vj“被占用”。如果对象105的任何部分都不位于体素内，则特定体素Vj可以被认为是自由空间的一部分，并因此未被占用。
总的来说，本文描述的过程涉及从对象105周围的多个方位T获取对象105的多个图像li。与每个图像li相关联的图像数据115i包括表示图像li的数据，并且还包括与以下相关联的数据Ti：每个图像的姿态，即在位置Ti处相机的方位和角度定向。图像数据经历“投影池化(联合，汇聚，pooling)”过程，利用神经网络合并来自各个图像的池化输出，以允许产生空间区域的虚拟3D模型/体素占用模型150。占用模型150描述了对象105的3D模型140。
相机101可围绕对象105移动，并因此可布置成从对象105周围的各个方位Ti捕获图像。图1中示出两个不同的相机方位Ta和Tb。图1示出了从方位Ta获取的对象105的图像Ia。因此，可以产生第一图像数据115a。第一图像数据115a还包括关于图像姿态的信息，例如，相机在方位Ta处的视点的方位和角度。如将被理解的，第一图像Ia是对象105在第一方位Ta处的相机101的平面中的投影。
类似地，从方位Tb获得对象105的图像1b。因此，可以产生第二图像数据115b。第二图像数据115b包括关于在相机方位Tb处的图像姿态的信息。如将被理解的，第二图像1b是对象105在第二方位Tb处的相机101的平面中的投影。
从对象105周围的各个视点和方位Ti获取对象105的多个这样的图像。在优选实施方式中，相机101围绕对象105以圆周运动移动，从而从对象105的所有侧(面)捕获“N”个图像。这产生在位置T1、T2...TN处获取的一系列连续图像I1，I2，...IN。可以对图像li进行编码，例如，每个图像li可以被转换为空间上可索引的描述符Di，如下面将更详细描述的。
可以使用多个图像，并且特别是与每个图像li相关联的图像数据115i，所述图像数据包括关于每个图像的姿态的信息，以确定体素阵列120的特定体素130是否被观察对象105占用。
体素位置可以标记为Vj。为了确定位于3D位置qj处的体素Vj的占用计算每个图像li中的子像素的方位：
其中Ti是图像方位数据，即图像姿态数据。
更详细地，通过以下找到特定体素到第i图像li中的3D投影w＝[wx,wy,wz]：
w＝Tioqj (2)
将空间区域的经变换的3D点投影到图像中，并通过投影π找到对应的子像素方位
ux＝fx·wx/wz+cx (3)
uy＝fy·wy/wz+cz (4)
对于固有相机校准参数fx、fy、cx、cy，其中fx和fy是焦点，并且cx和cy是主要点的坐标。
注意到这是相机校准的可能选择的一个示例。存在许多模型，例如用于鱼眼、广角和微距镜头，或用于不同的传感器类型的模型。选择fx、fy、cx、cy来描述相机校准的一种选择。这里其他模型可以替代。
然后可以考虑围绕该投影位置的局部图像块局部图像块是位置周围的图像的区域。局部图像块可以采用该位置周围区域的任何大小或形状。
如下所述，可以通过分析投影体素方位的位置处的图像流来确定体素占用。
图2描绘了适合于实现根据本发明实施方式的3D建模过程的3D建模装置的示意图。本***可以直接根据与图像方位数据相关联的图像序列分类体素占用。可以使用神经网络架构将该想法在单个相干网络中实施。该网络能够对例如大小M×M×M体素的体积网格的占用进行分类。该过程可包括如下所述的四个部分。
总的来说，该过程具有以下输入：体素位置qj，图像方位数据Ti，即图像姿态数据，以及相应的图像Ii，并且具有虚拟3D模型/体素占用模型150的输出。
N个图像I1，…N形成一组图像。将主要考虑图像I1的处理，并且应当理解，每个图像li经历基本相似的过程。图像I1由处理设备201(1)编码。由处理设备201(1)执行的编码步骤的输出是编码图像数据。编码图像数据描述图像I1的每个像素的属性。例如，属性可以是亮度值、颜色值、强度值、图案、纹理或图像特征，诸如图像角或梯度，但是如本领域技术人员所理解的，可以在编码步骤中使用像素的任何局部属性。
每个输入图像li被转换为空间上可索引的编码图像数据描述符：
Di＝enc(Ii) (5)
这样，Di的特定部分对应于图像li的区域。该过程将输入图像转换为空间上可索引的描述符通过长度为K的描述符描述每个像素的局部邻域。如本领域技术人员所理解的，该步骤可以通过简单的多层卷积神经网络来实现，不需要池化以保持与图像I1相同的分辨率。为了支持检测不同分辨率下的光流所需的大的感受野，可以使用扩张卷积。感受野是影响特定描述符值的图像部分。扩张卷积是一种特殊形式的卷积。卷积是将感受野内的信息组合起来以有助于特定描述符的操作。
第二步是由处理设备202(1)执行的“投影池化”步骤。进入处理设备202(1)的输入是编码图像数据描述符D1，对应图像方位数据/图像姿态数据T1和体素方位qj。编码图像数据描述符D1和图像方位数据T1一起包括第一图像数据。类似地，编码图像数据D2和图像方位数据T2包括第二图像数据等。
在由处理设备202执行的投影池化阶段，为每个体素图像对确定空间描述符
通过首先使用等式1将体素Vj投影到每个图像中，独立地为每个体素池化每个图像的编码图像数据描述符Di。然后，在给定的子像素方位处对编码图像数据描述符Di进行双线性***。这可以并行完成，从而得到每个体素的池化描述符d∈RM×M×M×K。
以这种方式，可以确定第一描述符第一描述符描述了图像I1中的体素V1的投影的属性。这对应于体素V1在第一图像数据中的投影。在优选实施方式中，第一描述符表示第一图像中第一体素的投影方位。
还可以通过以类似方式相对于体素V1处理图像I2来确定第二描述符以这种方式，可以为该组图像数据的每个成员确定体素V1的多个描述符。所得到的多个描述符可以标记为该多个描述符描述了体素V1与每个图像li之间的关系。简单来说，可以说多个描述符描述体素V1可见的所有图像li中的各个区域。可以针对体素阵列120的每个体素Vj确定相应的多个描述符。
下一阶段是由处理设备203执行的“体积融合”阶段。该阶段涉及将连续的体素测量结果通过递归神经网络聚集到隐藏的表示h：
h＝RNN(d1,d2,..dN) (7)
使用递归神经网络2013合并来自各个图像的池化输出。可以使用诸如3D长短期记忆(long short-term memory，LSTM)网络之类的递归神经网络来执行该任务，其中隐藏状态的大小hi∈RM×M×M×L。
最后，处理设备204对最终的体积占用模型进行解码，其可以表示如下：
o＝dec(h) (8)
在这个阶段，递归网络202的输出被馈送到解码器203，实现为简单的多层3D卷积网络，将最终隐藏状态hN减少到描述每个体素的占用概率的网络输出O∈RM×M×M中。在此阶段，可以使用诸如条件随机场作为递归神经网络(Conditional Random Fields-as-Recurrent Neural Networks,CRF-as-RNN)之类的附加机制来获得更高的质量结果。
图3示出了本文描述的方法的实施方式的流程图。
在302处，从对象周围的各种不同方位T获取对象的一组图像I。
在304处，对图像I进行编码以产生编码图像描述符D。描述符D和T一起包括图像数据。
在306处，将编码图像数据D，图像方位T和体素位置q作为输入提供到“投影池化”神经网络中。可以说编码阶段是输出潜在图像表示。
在308处，“投影池化”神经网络确定每个体素图像对的空间描述符投射池化阶段可以说是池化潜在图像表示。
在310处，如上所述，使用递归神经网络来聚集空间描述符此阶段可以描述为聚集池化的表示。
在312处，将聚集的描述符解码为体积3D模型，例如，体素占用模型。一些实施方式可以包括使用体素占用模型生成和/或输出对象的视觉表示的另一步骤。
图4示出了本文描述的方法的实施方式的流程图。流程图中描绘的方法可以由在诸如处理器或计算机网络的处理装置上实现的处理器、计算机或神经网络来执行。该方法可用于创建体素占用模型，体素占用模型表示可使用三维体素阵列描述的空间区域，其中空间区域包含对象的至少一部分。
在402处，接收第一图像数据。第一图像数据(例如D1+T1)表示对象的至少一部分的第一视图，并且包括第一图像方位数据。
在404，接收第二图像数据。第二图像数据(例如D2+T2)表示对象的至少一部分的第二视图，并且包括第二图像方位数据。
在406，确定第一描述符。第一描述符描述第一图像数据中的体素阵列的第一体素的投影的属性。
在408处，确定第二描述符。第二描述符描述第二图像数据中的第一体素的投影的属性。
在410处，基于第一描述符和第二描述符向第一体素分配占用值。占用值表示第一体素是否被对象的至少一部分占用。
应当理解，在本文描述的方法的实施方式中，可以针对表示对象的每个可用图像的图像数据重复该过程，以便建立第一体素是否被占用的更精确的估计。还应当理解，可以针对每个体素重复该过程。这个和/或这些过程可以通过一个或多个神经网络并行执行。关于描述空间区域的多个体素中的任何特定体素的占用的预测的集合可以被描述为体素占用模型。
在可选步骤412中，输出对象的视觉表示，视觉表示基于占用值或体素占用模型。代替生成视觉表示，可以将占用模型传递给机器人，以允许所述机器人以精确的方式导航或与对象交互。
图5a和5b描绘了在投影池化阶段202期间神经网络可以使用的机制。
图5a和5b示出了对象105的一部分。对象105的一部分具有表面505，其由相机101从相应的方位Tc、Td和Te成像。对象105在其表面505上具有三个点x1、x2和x3。虚线箭头表示相机的移动。在图5a中，被考虑的体素V1在对象105的表面505“后面”，因此可以说体素V1被对象105占用。在图5b中，被考虑的体素V2位于对象105的表面505的前面，因此体素V2可以说是自由空间的一部分，即不被对象105占用。
在此阶段，观察局部光流的方向。光流可以描述为图像1c、1d和1e之间的对象105的表面505的明显运动。该明显运动是由相机101和对象105的表面505之间的相对移动引起的。局部图像块Uc、Ud和Ue中的局部光流与体素V1和观察表面505的相对位置直接相关。实线箭头表示光流方向。应当理解，如果体素在表面后面，如图5a所示，光流的方向与相机运动相反。如果体素位于表面前方，如图5b所示，则光流的方向与相机运动一致。流的速度取决于从体素到表面和相机的相对距离，并且当体素远离表面时更高，而当体素接近时更低。
光流的观察和分析允许确定体素占用。如果在一系列图像中检测到正光流，即确定光流方向与相机运动的方向大致相同，则证明给定的体素是自由的。相反，如果观察到负光流，则可以认为体素被占用。
卷积神经网络可用于分析图像块Uc、Ud和Ue的相似性。卷积和递归神经网络的组合可用于检测和分类图像块，如下面更详细描述的。
本文描述的方法(和***)是有利的，因为它比先前的方法和***资源密集性更低，耗时更少，并且可以提供更好的未知观察对象的模型。此外，本文描述的方法和***可能实现更高质量的模型并且还可以更好地概括已知***。也就是说，在给定一定量的训练数据的情况下，它可以创建比其他方法更多种类的对象的模型。如本文所述的方法和***可以在诸如移动电话之类的消费者级设备上实时运行。如本文所述的方法和***也不太可能遭受图像之间的错误的像素对应，错误的像素对应是已知方法的缺点。另外，本文描述的方法和***不像其他一些方法那样需要深度传感器。
由于所有单独的步骤都是可区分的，因此可以使用标准的反向传播梯度下降来训练整个网络。如果提供微分渲染器，将来也可以以非监督的方式完成。在这种情况下，不需要地面真实体素占用的知识，并且与训练2D图像相比训练是由射线投射模型的精度误差驱动的。
应当理解，特定实施方式的以上描述仅是示例性的，并不旨在限制本公开的范围。设想现在描述的所描述的实施方式的许多修改并且旨在落入本公开的范围内。
应当理解，可以使用多种不同类型的相机。虽然已经描述了具有单个移动相机的实施方式，但是同样可以使用定位在对象周围的不同位置处的多个相机以便获得图像li。类似地，在固定相机阵列或固定相机环或立体相机设置的情况下，相机的姿态可以是已知的并且总是恒定的，如本领域技术人员将理解的。类似地，所使用的相机投影模型是针孔相机的模型，但是也可以结合诸如或鱼眼之类的全方向相机模型。
计算编码图像数据描述符Di的编码神经网络201的结构可以是任意的，诸如但不限于卷积网络或深度残留网络。
递归神经网络202的结构可以是任意的，诸如但不限于LSTM、GRU或它们的3D变体。
图像的数量可以是恒定的-在这种情况下，更准确地将递归神经网络代替称为神经网络，在这种情况下对于每个图像的编码器网络201(等式(5))可以不同。
解码网络203等式(8)的结构可以是任意的，诸如但不限于深度生成网络或去卷积网络。
如果使用微分体积渲染器，则可以对训练过程进行半监督。
除了池化信息之外，递归网络202(RNN，等式(7))可以直接连接到预处理的输入图像以合并全局图像内容，而不仅仅是本地池化信息。
池化的描述符di也可以以相反的顺序计算：首先计算位置然后从图像li中提取给定方位处的显式图像块然后将它们独立地通过编码网络201enc(等式(5))。在这种情况下，不会发生显式池化，但结果信息的内容类似，因为它描述了关于方位处的图像的信息。
本文描述的方法和***可以输出每个体素被占用的概率。然而，***可以输出任意级别的占用或简单地输入或输出(例如1/0)的二进制级别而不是概率。***的输出可以包括模型的颜色信息。这类似地实现-代替或除了体素占用之外，网络产生单独的体素颜色。类似地训练这样的网络在预测中的反向传播误差。
在递归神经网络202的每个步骤之后使用解码器模块203并且使用其输出作为RNN202的下一步骤的附加输入，可以来改进对递归神经网络202的训练。
本文描述的方法可以由包括处理器/计算机的***执行，并且还可以体现在计算机可读介质上，所述计算机可读介质可以是非暂时性计算机可读介质。该计算机可读介质携带计算机可读指令，所述计算机可读指令布置用于在处理器上执行，以便使处理器执行本文描述的任何或所有方法。
本文使用的术语“计算机可读介质”是指存储用于使处理器以特定方式操作的数据和/或指令的任何介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质可包括例如光盘或磁盘。易失性介质可以包括动态存储器。示例性形式的存储介质包括软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁数据存储介质、CD-ROM、任何其他光数据存储介质、任何具有一个或多个孔图案的物理介质、RAM、PROM、EPROM、LASH-EPROM、NVRAM以及任何其他存储器芯片或盒式磁带。
结合上面公开的方法和***，本文公开了以下项目：
一种用于使用神经网络进行实时3D重建的计算机实现的方法，该方法包括：
接收相机图像流和相应的相机姿态；
将输入图像编码成潜在图像表示；
投影池化潜在图像表示；
聚集池化表示；以及
将聚集信息解码为得到的体积3D模型。
当仅将一个图像输入到处理设备201时，也可以应用本文描述的方法和***，尽管与使用表示对象的多个视图的数据的***相比，得到的体素占用模型可能相对粗糙。为了实现这一点，一种用于创建体素占用模型的方法，体素占用模型表示可以使用三维体素阵列描述的空间区域，其中空间区域包含对象的至少一部分，所述方法可以包括：
接收第一图像数据，第一图像数据表示对象的至少一部分的第一视图并且包括第一图像方位数据；
确定第一描述符，第一描述符描述第一图像数据中的体素阵列的第一体素的投影的属性。
基于第一描述符向第一体素分配占用值，占用值表示第一体素是否被对象的至少一部分占用。
还提供了一种包括处理器的***，所述处理器能够实现计算机可读指令，当由处理器执行时，所述计算机可读指令执行用于创建体素占用模型的方法，所述体素占用模型表示可以使用三维体素阵列来描述的空间区域，其中空间区域包含对象的至少一部分，所述方法包括：
接收第一图像数据，第一图像数据表示对象的至少一部分的第一视图并且包括第一图像方位数据；
接收第二图像数据，第二图像数据表示对象的至少一部分的第二视图并且包括第二图像方位数据；
确定第一描述符，第一描述符描述第一图像数据中体素阵列的第一体素的投影的属性；
确定第二描述符，第二描述符描述第二图像数据中第一体素的投影的属性。
基于第一描述符和第二描述符向第一体素分配占用值，占用值表示第一体素是否被对象的至少一部分占用。
还提供了一种包括计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在被执行时执行如下方法：
接收第一图像数据，第一图像数据表示对象的至少一部分的第一视图并且包括第一图像方位数据；
接收第二图像数据，第二图像数据表示对象的至少一部分的第二视图并且包括第二图像方位数据。
确定第一描述符，第一描述符描述第一图像数据中体素阵列的第一体素的投影的属性。
确定第二描述符，第二描述符描述第二图像数据中第一体素的投影的属性。
基于第一描述符和第二描述符向第一体素分配占用值，占用值表示第一体素是否被对象的至少一部分占用。

Claims (15)

1.一种用于创建体素占用模型的方法，所述体素占用模型表示能够使用三维体素阵列描述的空间区域，其中所述空间区域包含对象的至少一部分，所述方法包括：
接收第一图像数据，所述第一图像数据表示所述对象的至少一部分的第一视图并且包括第一图像方位数据；
接收第二图像数据，所述第二图像数据表示所述对象的至少一部分的第二视图并且包括第二图像方位数据；
确定第一描述符，所述第一描述符描述在所述第一图像数据中所述体素阵列的第一体素的投影的属性；
确定第二描述符，所述第二描述符描述在所述第二图像数据中所述第一体素的投影的属性；以及
基于所述第一描述符和所述第二描述符向所述第一体素分配占用值，所述占用值表示所述第一体素是否被所述对象的至少一部分占用。
2.根据权利要求1所述的方法，还包括：
接收一组图像数据，所述组图像数据中的每个相应成员表示所述对象的至少一部分的视图并且包括图像方位数据；
确定所述组图像数据的每个成员的描述符，所得到的多个描述符的每个描述符描述在所述组图像数据的每个对应成员中所述体素阵列的所述第一体素的投影的属性；以及
基于所确定的描述符向所述第一体素分配占用值。
3.根据前述权利要求中任一项所述的方法，还包括：
为所述体素阵列的每个体素确定相应的多个描述符，并基于所确定的描述符向每个体素分配占用值。
4.根据前述权利要求中任一项所述的方法，其中：
第一投影的属性是在所述第一图像数据中所述第一体素的投影的2D方位；以及
第二投影的属性是在所述第二图像数据中所述第一体素的投影的2D方位。
5.根据前述权利要求中任一项所述的方法，其中，所述第一图像数据和所述第二图像数据两者都是从相机接收的，所述相机被布置成相对于所述对象的至少一部分移动。
6.根据权利要求1-4中任一项所述的方法，其中，从第一相机接收所述第一图像数据，以及从第二相机接收所述第二图像数据，所述第一相机和所述第二相机相对于所述对象的至少一部分定位在相应的方位处。
7.根据前述权利要求中任一项所述的方法，其中，所述第一图像方位数据表示所述第一图像的姿态，以及所述第二图像方位数据表示所述第二图像的姿态。
8.根据前述权利要求中任一项所述的方法，还包括输出体素占用模型，所述体素占用模型包括已被分配占用值的每个体素的所分配的占用值。
9.根据权利要求8所述的方法，还包括根据所述体素占用模型生成所述对象的至少一部分的视觉表示。
10.根据前述权利要求中任一项所述的方法，其中，所述第一图像数据包括表示从所述第一视图获取的第一图像的第一编码图像数据，其中所述第一编码图像数据描述所述第一图像的多个像素中的每个像素的属性；以及
所述第二图像数据包括表示从所述第二视图获取的第二图像的第二编码图像数据，其中所述第二编码图像数据描述所述第二图像的多个像素中的每个像素的属性。
11.根据权利要求10所述的方法，其中，所述属性包括亮度值、强度值、图案、纹理、颜色值或图像特征，诸如图像角或梯度。
12.根据前述权利要求中任一项所述的方法，其中，使用神经网络确定描述符。
13.根据前述权利要求中任一项所述的方法，其中，将所述描述符输入到神经网络中，以及基于所述神经网络的输出确定占用值。
14.一种***，包括：处理器，所述处理器被配置为执行前述权利要求中任一项所述的方法。
15.一种计算机可读介质，包括计算机可执行指令，所述计算机可执行指令在被执行时执行权利要求1-13中任一项所述的方法。
CN201780058370.2A 2016-09-23 2017-09-20 用于创建虚拟3d模型的方法和*** Pending CN109716393A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/274,898 2016-09-23
US15/274,898 US10460511B2 (en) 2016-09-23 2016-09-23 Method and system for creating a virtual 3D model
PCT/GB2017/052789 WO2018055354A1 (en) 2016-09-23 2017-09-20 A method and system for creating a virtual 3d model

Publications (1)

Publication Number Publication Date
CN109716393A true CN109716393A (zh) 2019-05-03

Family

ID=59997389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780058370.2A Pending CN109716393A (zh) 2016-09-23 2017-09-20 用于创建虚拟3d模型的方法和***

Country Status (7)

Country Link
US (2) US10460511B2 (zh)
EP (1) EP3516624B1 (zh)
CN (1) CN109716393A (zh)
AU (1) AU2017331496A1 (zh)
CA (1) CA3037805A1 (zh)
MX (1) MX2019003279A (zh)
WO (1) WO2018055354A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047548A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 姿态变换数据处理方法、装置、计算机设备和存储介质
CN113892112A (zh) * 2019-07-10 2022-01-04 赫尔实验室有限公司 使用深度嵌入聚类的动作分类
TWI794929B (zh) * 2020-08-12 2023-03-01 美商尼安蒂克公司 用於藉由使用方框嵌入以判定影像的視覺重疊之電腦實施方法及非暫時性電腦可讀記憶體

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373059B1 (en) * 2014-05-05 2016-06-21 Atomwise Inc. Systems and methods for applying a convolutional network to spatial data
KR102061408B1 (ko) * 2017-03-24 2019-12-31 (주)제이엘케이인스펙션 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
US10534962B2 (en) * 2017-06-17 2020-01-14 Matterport, Inc. Automated classification based on photo-realistic image/model mappings
WO2019012632A1 (ja) * 2017-07-12 2019-01-17 株式会社ソニー・インタラクティブエンタテインメント 認識処理装置、認識処理方法及びプログラム
US10915760B1 (en) * 2017-08-22 2021-02-09 Objectvideo Labs, Llc Human detection using occupancy grid maps
GB2573102A (en) * 2018-04-20 2019-10-30 Drugai Ltd Interaction property prediction system and method
US11126915B2 (en) * 2018-10-15 2021-09-21 Sony Corporation Information processing apparatus and information processing method for volume data visualization
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
CN111178495B (zh) * 2018-11-10 2023-06-30 杭州凝眸智能科技有限公司 用于检测图像中极小物体的轻量卷积神经网络
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
US11050932B2 (en) * 2019-03-01 2021-06-29 Texas Instruments Incorporated Using real time ray tracing for lens remapping
CN115280363A (zh) * 2019-11-01 2022-11-01 前瞻机械私人有限公司 用相机阵列生成和/或使用3维信息的***和方法
JP7386888B2 (ja) * 2020-10-08 2023-11-27 グーグル エルエルシー 画面上の話者のフューショット合成
CN113763539B (zh) * 2021-09-09 2023-04-07 哈尔滨工业大学（深圳） 一种基于图像和三维输入的隐式函数三维重建方法
CN113822825B (zh) * 2021-11-25 2022-02-11 电子科技大学成都学院 基于3d-r2n2的光学建筑目标三维重建方法
US20230306645A1 (en) * 2022-03-25 2023-09-28 Tencent America LLC Convolutional Approach to Fast and Compact Packing of 3D Mesh Into 2D Maps
US20240104829A1 (en) * 2022-09-26 2024-03-28 Sony Interactive Entertainment Inc. Using vector graphics to create 3d content

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178988A1 (en) * 2012-05-22 2015-06-25 Telefonica, S.A. Method and a system for generating a realistic 3d reconstruction model for an object or being

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3463858B2 (ja) * 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
US6990228B1 (en) * 1999-12-17 2006-01-24 Canon Kabushiki Kaisha Image processing apparatus
ES2312881T3 (es) * 2004-06-11 2009-03-01 Saab Ab Modelizacion por computadora de escenas fisicas.
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US8866821B2 (en) * 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
CN102396002B (zh) * 2009-04-15 2015-07-08 丰田自动车株式会社 目标探测装置
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US20160189419A1 (en) * 2013-08-09 2016-06-30 Sweep3D Corporation Systems and methods for generating data indicative of a three-dimensional representation of a scene
US10121259B2 (en) * 2015-06-04 2018-11-06 New York University Langone Medical System and method for determining motion and structure from optical flow
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
US10878583B2 (en) * 2016-12-02 2020-12-29 Google Llc Determining structure and motion in images using neural networks
CN109196556A (zh) * 2017-12-29 2019-01-11 深圳市大疆创新科技有限公司 避障方法、装置及可移动平台

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178988A1 (en) * 2012-05-22 2015-06-25 Telefonica, S.A. Method and a system for generating a realistic 3d reconstruction model for an object or being

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHOY, CHRISTOPHER BONGSOO ET AL.: "3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction", 《ARXIV》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892112A (zh) * 2019-07-10 2022-01-04 赫尔实验室有限公司 使用深度嵌入聚类的动作分类
CN111047548A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 姿态变换数据处理方法、装置、计算机设备和存储介质
TWI794929B (zh) * 2020-08-12 2023-03-01 美商尼安蒂克公司 用於藉由使用方框嵌入以判定影像的視覺重疊之電腦實施方法及非暫時性電腦可讀記憶體
US11836965B2 (en) 2020-08-12 2023-12-05 Niantic, Inc. Determining visual overlap of images by using box embeddings

Also Published As

Publication number Publication date
WO2018055354A1 (en) 2018-03-29
EP3516624A1 (en) 2019-07-31
US10460511B2 (en) 2019-10-29
US11205298B2 (en) 2021-12-21
US20180089888A1 (en) 2018-03-29
EP3516624B1 (en) 2021-05-26
MX2019003279A (es) 2019-10-04
US20200126289A1 (en) 2020-04-23
CA3037805A1 (en) 2018-03-29
AU2017331496A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
CN109716393A (zh) 用于创建虚拟3d模型的方法和***
Xu et al. Unifying flow, stereo and depth estimation
Bozic et al. Transformerfusion: Monocular rgb scene reconstruction using transformers
Mayer et al. A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation
Flynn et al. Deepstereo: Learning to predict new views from the world's imagery
CN109166144B (zh) 一种基于生成对抗网络的图像深度估计方法
CN111325794A (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN112509115B (zh) 序列图像动态场景三维时变无约束重建方法及***
WO2022198684A1 (en) Methods and systems for training quantized neural radiance field
dos Santos Rosa et al. Sparse-to-continuous: Enhancing monocular depth estimation using occupancy maps
Rist et al. Scssnet: Learning spatially-conditioned scene segmentation on lidar point clouds
Häne et al. Hierarchical surface prediction
Afifi et al. Pixel2Point: 3D object reconstruction from a single image using CNN and initial sphere
CN110033483A (zh) 基于dcnn深度图生成方法及***
CN117635801A (zh) 基于实时渲染可泛化神经辐射场的新视图合成方法及***
Reza et al. Farsight: Long-range depth estimation from outdoor images
Hernandez et al. 3D-DEEP: 3-Dimensional Deep-learning based on elevation patterns for road scene interpretation
Salvador et al. Multi-view video representation based on fast Monte Carlo surface reconstruction
Inoue et al. Enhanced depth estimation of integral imaging using pixel blink rate
Babahajiani Geometric computer vision: Omnidirectional visual and remotely sensed data analysis
Mitra Monocular Depth Estimation Using Adversarial Training
Bhattacharyya Efficient Attention Guided GAN Architecture for Unsupervised Depth Estimation
Premalatha et al. Adaptive fish school search optimized resnet for multi-view 3D objects reconstruction
Farnoosh et al. Indoor GeoNet: Weakly Supervised Hybrid Learning for Depth and Pose Estimation
Todt et al. Spherical light field rendering in application for analysis by synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40006840

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190503

WD01 Invention patent application deemed withdrawn after publication