CN110168608B - 用于获取物理对象的3维数字表示的*** - Google Patents

Abstract

一种用于创建物理对象的数字3D表示的方法，所述物理对象包括对象表面；其中，所述方法包括：获取输入数据，所述输入数据包括所述物理对象的多个捕获图像和所述对象的表面法线信息，所述捕获图像由图像捕获设备捕获，所述表面法线信息表示与对象表面的各个部分关联的对象表面法线；创建对象表面的数字3D表示；其中，创建数字3D表示至少基于所获得的多个捕获图像和所获得的表面法线信息。

Description

用于获取物理对象的3维数字表示的***

技术领域

本发明涉及用于获得物理对象的3D数字表示的方法和装置。特别地，本发明涉及包括这样的方法和装置的玩具增强型游戏***，例如，包括具有连接构件的玩具构造元件的***，所述连接构件用于将玩具构造元件彼此可拆卸地互连。

背景技术

玩具构造***已为人所知数十年。多年来，简单的箱形构建块已经补充了具有特定外观或机械或电气功能的其他构造元件，以增强游戏价值。这些功能包括例如电机、开关和灯，以及可编程处理器，可接受来自传感器的输入，并可响应接收的传感器输入激活功能元件。

已经进行了多次尝试以通过物理玩具来控制虚拟游戏。许多这样的***要求玩具通过有线或无线连接通信地耦合到计算机。然而，这些现有技术***需要玩具和计算机***之间的通信接口。而且，上述现有技术玩具相对复杂，包括电子元件或甚至存储器和通信接口。而且，从附件制造玩具时的自由度可能是有限的。

其他***在玩具增强型游戏的背景下使用视觉技术。例如，US2011/298922公开了一种用于提取物理对象的图像的***。所提取的图像可以在显示设备上数字地表示为虚拟世界或视频游戏的一部分，其中禁止虚拟世界和/或视频游戏的对象是根据现实世界中的构造集来设计和构建的。然而，在许多视频游戏或其他虚拟环境中，期望提供准确地类似于物理对象的三维虚拟对象。

通常，用于从一组多个图像创建三维(3D)模型的过程被称为来自多个图像的3D重建。在下文中，物理对象的3D模型也被称为物理对象的3D形状的数字表示。

根据至少一个方面，因此期望提供一种用于以用户友好的方式创建物理对象的三维(3D)形状的数字表示的过程，例如，物理玩具构造模型的3D形状的数字表示。特别地，期望提供一种易于使用并且提供准确表示物理对象的3D形状的数字表示的方法。通常希望这种方法在诸如环境照明条件、所用设备的机械不精确性和/或其他因素等因素方面是稳健的。

通常希望提供一种例如玩具增强型游戏***的玩具***的教育和/或游戏价值的方法和装置。还希望提供一种玩具构造***，其中一组构造元件可以容易地用在不同的玩具构造模型中和/或与现有的玩具构造元件组合使用。此外，希望提供一种玩具构造***，其允许用户，特别是儿童，以用户友好、有效、灵活和可靠的方式构造多个玩具模型。特别地，希望提供一种玩具构造***，其允许在诸如游戏***的虚拟环境中创建虚拟对象的用户友好且灵活的方式。

发明内容

根据第一方面，这里公开了一种用于创建物理对象的至少对象表面的数字表示的方法。通常，对象表面是3D空间中的表面，其包括在3D空间中具有各自取向的表面部分。

该方法包括：

-获得输入数据，输入数据包括物理对象的多个捕获图像和对象的表面法线信息，表面法线信息表示对象表面法线与对象表面的各个部分相关联；

-创建至少对象表面的数字表示；

其中，创建对象表面的数字表示至少基于所获得的多个捕获图像和所获得的表面法线信息，并且包括：

-获得对象表面的中间表示，中间表示包括表示对象表面的第一部分的第一部分；

-修改中间表示的第一部分以获得修改的表示；

其中修改中间表示的第一部分包括：

-确定对象表面的第一部分附近的对象表面的第二部分；

-从所获得的表面法线信息确定与所确定的第二部分相关联的一个或多个对象表面法线；

-至少部分地基于所确定的一个或多个对象表面法线来修改中间表示的第一部分。

这种过程的实施例也将被称为3D对象重建过程或3D重建流水线。

因此，这里描述的方法的实施例不仅使用来自多个捕获图像的信息，还使用关于对象的对象表面法线的信息，从而提高物理对象的3D形状的重建数字表示的质量。特别地，对象表面法线表示物理对象的对象表面法线而不是从对象的创建的3D表面表示导出的虚拟表面法线，即表示所创建的数字3D表示的虚拟表面的定向。所获得的对象表面法线也可以称为“外部”表面法线，因为它们是从不同于所创建的数字3D表面表示的源导出的，例如，与虚拟3D表面的网格表示不同。外部对象表面法线可以例如被获得作为表示从例如相机视点的给定视点看到的表面的表面法线的法线贴图。因此，法线贴图(normal map)可以是法线矢量的2D阵列。

当该过程选择性地使用关于与表面的一部分的接近度相关的对象表面法线的信息以便修改该部分的数字表示时，可以实现特别高质量的重建，例如，对于具有许多平坦、光滑表面和明显边缘的对象。

中间表示的第一部分的修改选择性地基于与对象表面的第二部分相关联的对象法线，即基于仅与第二部分相关联的表面法线。因此，中间表示的修改仅基于局部法线信息，而不是基于与对象表面的所有部分相关联的全局法线信息。然而，应当理解，该过程可以包括确实取决于全局法线信息的附加步骤。该修改至少部分地基于表面法线信息，即，修改还可以基于表面法线信息以外的信息。

接近度可以基于合适的距离度量，例如，应用于中间表示的距离度量。距离度量的示例包括欧几里德距离。接近度也可以被定义为网格表示的顶点和/或表面元素的邻域，例如，单环顶点或k环顶点，其中k是正整数，例如，K ＝1。中间表示的第一部分可以表示对象表面的点或区域和/或由中间表示定义的虚拟表面。第二部分可以包括第一部分中的一些或全部；或者，第二部分可以与第一部分不相交。例如，第一部分可以是点或区域，第二部分可以包围第一部分，例如，围绕限定第一部分的区域的周边。在一些实施例中，第一部分可以是第一顶点，第二部分可以是由围绕第一顶点的顶点限定的表面元素表示的对象表面的一部分，例如，通过围绕第一顶点的1环(或更高阶环)的顶点。

数字表示可以是对象的至少表面的任何合适的表示，并且特别是3D空间中的对象的表面的形状，适合于提供物理对象的数字3D模型。在一些实施例中，数字表示包括共同定义虚拟3D空间中的虚拟表面的、例如平坦表面元素的表面元素的网格。表面元件可以是例如是由一组顶点定义的三角形或其他类型的多边形。数字表示的其他示例包括体素表示。

捕获的图像通常表示来自给定视点的场景的视图；因此，图像可以被视为从3D场景到2D图像平面的投影。多个捕获图像可以包括从相对于物理对象的相应视点捕获的图像。优选地，多个图像包括两个以上的图像。图像可以指示光强度和/或颜色信息，例如，在各个图像位置处的不同颜色/波长的相应强度。捕获的图像可以由图像捕获设备捕获，例如包括一个或多个数字相机和/或一个或多个深度相机的图像捕获设备，例如如下所述。在一些实施例中，图像捕获设备提供附加信息，例如深度信息、偏振信息或其他类型的信息；在一些实施例中，除了图像之外，这种信息可以由图像捕获设备作为单独的数据结构或信号提供；或者，可以提供这样的附加信息作为包括捕获图像和附加信息的单个数据结构的一部分。

每个对象表面法线可以指示对象表面在与对象表面法线相关联的对象表面上的位置，特别是点处的方向，即，表面法线可以指示从在与所述点中的切向平面垂直的方向上的表面的点向外指向的矢量。表面法线信息可以包括多个法线贴图，每个法线贴图可以定义2D阵列，其中阵列的每个元素表示表面法线。在一些实施例中，一些或所有捕获图像具有与其相关联的对应法线贴图。特别地，与捕获图像相关联的法线贴图可以表示与捕获图像的各个像素或像素组相关联的表面法线。法线贴图的创建可以由图像捕获设备或由处理设备执行，例如，作为重建流水线之前的预处理步骤。为此，可以使用各种用于提取法线贴图的方法来获得表面法线信息。作为非限制性示例，法线贴图可以通过如(Woodham，1979)和(Barsky&Petrou，2003)的光度立体算法生成。

表面法线信息可以在重建过程的不同阶段使用，即它们可以用于修改不同类型的中间表示。

此外，修改中间表示以获得修改的表示可以是迭代过程的一部分，其中中间表示可以是迭代过程的先前迭代的获得的修改表示和/或其中修改的表示被用作充当迭代过程的后续迭代的输入的中间表示。

通常，用于对象重建的过程可以包括多个子过程，并且具体地，包括子过程的流水线，其中后续子过程使用流水线的较早子过程的结果/输出。因此，流水线的一个或多个子过程可以创建一个或多个中间表示，这些中间表示被流水线的一个或多个后续子过程用作输入。某些过程可能会创建多个中间表示。因此，术语“中间表示”旨在表示整个过程的子过程的输出，该输出由整个过程的一个或多个后续子过程使用，用于创建对象表面的最终表示，即整个过程的输出。取决于沿着流水线(pipeline)的阶段，中间表示可以具有各种形式。例如，中间表示可以是深度图。中间表示的其他示例包括将在重建流水线的后续子过程中细化的初步表面网格。类似地，修改的中间表示可以是修改的深度图、修改的表面网格等。

因此，中间表示可以是重建流水线的先前步骤的输出，或者可以是由迭代过程的先前迭代产生的修改表示。修改的表示可以是由过程创建的最终表示，或者它可以是另一个中间表示，其被进一步处理以获得最终表示。因此，修改的表示可以用作迭代过程的后续迭代的输入或者作为重建流水线的后续步骤的输入。

在一些实施例中，中间表示包括深度图，该深度图指示从参考位置到对象表面上的相应位置的距离。这样的深度图可以是例如在重建过程的初始阶段创建，例如，通过来自运动处理、多视图立体处理等的结构。在其他实施例中，可以基于从深度相机或类似设备接收的深度信息来至少部分地获得深度图。在任何情况下，深度图通常包括孔，即没有或几乎没有可靠深度信息的区域。这可以是例如当一个对象具有许多平坦、光滑的表面而没有许多在多视图立体方法中有用的特征时就是这种情况。

因此，对象表面的第一部分可以包括深度图中的孔或者是深度图中的孔，并且修改中间表示可以包括使用表面法线信息填充孔，从而提高深度图的质量。反过来，这可以促进重建过程的子序列阶段并且改善由重建过程产生的最终数字表示的质量。

在一些实施例中，确定第一部分附近的第二部分包括将孔识别为待填充的孔并确定孔的周边，即第二部分可被确定为孔的周边或作为周边的一部分-或至少作为包括周边或其一部分。

在一些实施例中，创建中间表示包括从多个图像创建深度图，例如，通过从运动过程和/或多视图立体对应分析执行结构。或者，可以从深度相机获得深度图。

在一些实施例中，将孔识别为待填充的孔包括

-识别深度图中的孔

-基于所获得的表面法线信息，确定所识别的孔是否是要填充的孔。

深度图中的孔可以被确定为深度图中具有缺失数据或具有稀疏和/或不可靠数据的区域。

在一些实施例中，确定所识别的孔是否是待填充的孔包括确定与所确定的孔的周边相关联的第一组对象表面法线；计算所确定的第一组对象表面法线的第一相似性度量；并且将计算的第一相似性度量与第一目标相似性值进行比较。

附加地或替代地，确定所识别的孔是否是待填充的孔包括确定与所识别的孔相关联的第二组对象表面法线，例如，与孔内点相关的表面法线；计算所确定的第二组对象表面法线的第二相似性度量；并且将计算的第二相似性度量与第二目标相似性值进行比较。因此，当仅在第二相似性度量大于第二相似性值时将孔识别为要填充的孔时，仅将相对均匀的孔确定为要填充的孔。

附加地或替代地，确定所识别的孔是否是待填充的孔包括确定与所确定的孔的周边相关联的第一组对象表面法线和与所识别的孔相关联的第二组对象表面法线；计算第一和第二组对象表面法线的兼容性度量；并将计算的兼容性度量与目标兼容性值进行比较。因此，当仅在兼容性度量大于兼容性值时将孔识别为要填充的孔时，仅填充可能由不可靠的深度信息引起的孔，同时在深度图中保留可能代表对象中的实际孔的孔。

填充孔可以包括计算孔内的一个或多个位置的深度值，例如，使用与所确定的周边相关联的深度值和/或对象表面法线。因此，修改的中间表示可以是修改的深度图，其中已经填充了一个或多个或甚至所有的孔。

在一些实施例中，该方法包括用于增加数字表示与捕获的输入数据和/或从所述表面法线信息导出的法线贴图之间的照片一致性度量的优化步骤。通常，照片一致性度量测量一组输入图像与在输入图像中捕获的场景的模型的3D表面几何形状之间的一致/类似性(即一致性)的程度。因此，用于增加照片一致性度量的优化步骤可以迭代地修改数字表示(即，当前重建的表面)，例如，修改表面网格，例如通过修改表面网格的顶点位置，从而增加照片一致性度量。因此，优化步骤可以接收表面网格形式的中间表示，并且以修改的表面图的形式创建修改的中间表示，其导致关于捕获的图像和/或表面法线的增加的照片一致性度量。

当照片一致性度量包括所获得的表面法线信息和从修改的表示获得的表面法线信息之间的一致性度量时，可以进一步增加重建的对象表面的质量。

通常，根据另一方面，本文公开了用于创建物理对象的至少对象表面的数字表示的方法的实施例；其中，该方法包括：

-获得输入数据，输入数据包括物理对象的多个捕获图像和对象的表面法线信息，表面法线信息表示对象表面法线与对象表面的各个部分相关联；

-创建对象表面的数字表示；

其中，创建数字表示至少基于获得的多个捕获图像和获得的表面法线信息，并且包括：

-获得对象表面的中间表示；

-至少部分地基于所获得的表面法线信息来修改中间表示的第一部分以获得修改的表示，中间表示的第一部分表示对象表面的第一部分；

其中修改中间表示的第一部分包括用于增加中间表示与从所述表面法线信息导出的法线贴图之间的照片一致性(photoconsistency)度量的优化步骤。

在一些实施例中，修改中间表示以获得修改的表示包括执行双边滤波步骤，可选地随后是用于增加修改的表示与捕获的输入数据和/或从所述表面法线信息导出的法线贴图之间的照片一致性度量的优化步骤。因此，双边滤波步骤为优化步骤提供了合适的起点，从而降低了优化步骤导致局部杂散最优的风险，从而提高了重建对象表面的质量。

在一些实施例中，中间表示定义虚拟3D空间中的虚拟表面并且包括表面元素的网格；每个表面元素定义虚拟表面法线；每个表面元素包括多个顶点，每个顶点限定所述虚拟表面上的位置。双边滤波步骤包括通过计算的顶点位移来修改所述多个顶点的至少第一顶点的位置，以减小根据所获得的表面法线信息确定的一个或多个对象表面法线与对应的一个或多个虚拟表面法线之间的差异度量。一个或多个虚拟表面法线指示第一顶点附近的相应表面元素的取向，并且一个或多个对象表面法线指示对象表面在与所述邻近区域内的表面元素的位置相对应的相应3D位置处的取向。因此，如上所述，在一些实施例中，中间表示的第一部分可以是表面元素网格的第一顶点。

特别地，网格定义了对象的表面拓扑，并且在一些实施例中，顶点位移受到网格拓扑的约束。例如，可以仅基于与第一顶点附近的表面元素相关联的信息来计算第一顶点的位移。在一些实施例中，第一顶点与一个或多个表面元素相关联，并且顶点位移由与第一顶点相关联的一个或多个表面元素的大小缩放。

在一些实施例中，根据所获得的表面法线信息确定的每个对象表面法线是如下对象表面法线，该对象表面法线指示在与第一顶点附近的表面元件之一对应的位置处的对象表面取向，并且从由所获得的表面法线信息表示的表面法线中选择，例如，对象表面法线最接近与第一顶点附近的所述表面元素相关联的所获得的表面法线信息的所有表面法线的平均值。例如，对于在第一顶点附近的每个表面元素，可以在各个法线贴图的候选表面法线中选择表面法线，其中候选表面法线表示与所述表面元素相关联的对象表面的部分。因此，在一些实施例中，双边滤波步骤包括选择由所获得的表面法线信息表示的实际对象表面法线之一，并将所选择的表面法线与与第一顶点相关联的表面元素相关联，从而提供改进的边缘保持。

本公开涉及不同方面，包括上面和下面描述的方法、相应的装置、***、方法和/或产品，每个产生与一个或多个第一所述方面结合描述的一个或多个益处和优点，每个具有与结合一个或两个第一前述方面描述的和/或在所附权利要求中公开的实施例相对应的一个或多个实施例。

特别地，这里公开的是用于创建物理对象的数字表示的***的实施例；该***包括数据处理***，该数据处理***被配置为执行本文公开的一个或多个方法的实施例的步骤。

为此，数据处理***可以包括或可连接到计算机可读介质，计算机程序可以从该计算机可读介质加载到诸如CPU的处理器中以供执行。因此，计算机可读介质可以在其上存储有程序代码装置，该程序代码装置适于在数据处理***上执行时使数据处理***执行本文所述方法的步骤。数据处理***可以包括适当编程的计算机，例如便携式计算机、平板计算机、智能电话、PDA或具有图形用户界面的另一可编程计算设备。在一些实施例中，数据处理***可以包括客户端***，例如，包括相机和用户界面，以及可以创建和控制虚拟环境的主机***。客户端和主机***可以通过合适的通信网络(例如互联网)连接。

这里和下文中，术语处理器旨在包括适合于执行本文所述功能的任何电路和/或设备。特别地，上述术语包括通用或专用可编程微处理器，例如计算机的中央处理单元(CPU)或其他数据处理***、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、专用电子电路等，或其组合。

在一些实施例中，该***包括扫描站，该扫描站包括用于接收物理对象的对象支撑件。对象支撑件可以是静态对象支撑件或可移动对象支撑件。例如，对象支撑件可以是被配置为围绕旋转轴旋转的转盘，以便允许图像捕获装置从相对于对象的不同视点捕获放置在转盘上的物理对象的多个图像。转盘可包括例如沿着转盘的圆周的标记，数据处理***可以基于一个或多个捕获图像来配置，以确定与捕获图像相关联的转盘的角位置。数据处理***还可以被配置为检测转盘相对于图像捕获设备的倾斜或其他位移，以便允许针对两个或更多个图像计算相对于相应图像已从其被捕获的物理对象的相应视点。例如，该确定可以通过来自运动技术的结构来执行。

在一些实施例中，该***还包括图像捕获设备，该图像捕获设备可操作以捕获物理对象的两个或更多个图像，例当物理对象放置在对象支撑件上时，其中两个或更多个图像是从相对于物理对象的不同视点获取的。

图像捕获设备可以包括一个或多个传感器，其检测光或其他形式的电磁辐射，例如由图像捕获设备的视场中的物理对象的表面反射的光或其他电磁辐射。图像捕获设备可以包括传感器阵列，例如CCD芯片，或可操作以扫描视场的单个传感器，或扫描的多个传感器的组合。因此，物理对象可以是被动的，因为它不需要主动发射任何声音、光、无线电信号、电信号等。此外，可以以非接触方式捕获图像，而无需建立任何电接触、通信接口等。

图像捕获设备可以包括辐射源，例如光源，可操作以将辐射引向物理对象。例如，图像捕获设备可以包括闪光灯、一个或多个LED、激光器和/或类似物。或者，图像捕获装置可用于检测由对象反射的环境辐射。这里，术语反射旨在表示响应于所接收的辐射或波的任何类型的被动发射，包括漫反射、折射等。

图像可以是图片或图像捕获设备的视场的二维表示的另一种形式，该表示允许确定视场内的对象的形状和/或颜色和/或大小。例如，图像捕获设备可以包括响应于可见光、红外光和/或类似物的数字相机。在一些实施例中，相机可以是3D相机，其可操作以还检测视场内相对于相机位置的各个点的距离信息。图像捕获设备的另一示例可以包括数字相机，其适于获得光的局部偏振的数据，例如，对于传感器阵列的每个像素或传感器阵列的像素组。这样的相机可用于获得图像捕获装置的视场内的各个表面点的相应极化和/或表面法线的2D图。因此，捕获的图像可以表示为像素的2D阵列或其他阵列元素，每个阵列元素表示与视场内的点或方向相关联的感测信息。感测的信息可以包括接收的辐射或波的强度和/或接收的辐射或波的频率/波长。在一些实施例中，2D阵列可以包括附加信息，诸如距离图、偏振图、表面法线贴图和/或其他合适的感测量。因此，2D阵列可包括图像数据和可选的附加信息。

在一些实施例中，图像捕获设备包括一个或多个数字相机，例如两个数码相机适于相对于物理对象的相应视点，例如在相对于物理对象的相应高度处。在一些实施例中，数字相机被配置为除了光强度数据(诸如RGB数据)之外还捕获深度信息。在一些实施例中，数字相机被配置为捕获指示数字相机的视场内的一个或多个表面的表面法线的信息。例如，数字相机可以被配置为获得接收光的偏振数据。相机和/或数据处理***可以被配置为根据所获得的偏振数据确定局部表面法线。捕获的表面法线也可以基于转盘相对于相机的检测的倾斜或其他位移而变换为世界坐标系。能够检测表面法线的相机传感器的示例包括美国专利No.8,023,724中公开的***。用于确定表面法线的技术的其他示例包括Wan-Cun Ma等人的“Rapid Acquisition of Specular and Diffuse Normal Maps from PolarizedSpherical Gradient Illumination”，Eurographics Symposium on Rendering(2007)，Jan Kautz和Sumanta Pattanaik(编辑)中描述的技术。

然后，数据处理***可以适于根据光强度数据以及如本文所述的偏振数据和/或表面法线数据和/或深度信息来创建数字3D模型。

因此，例如物理玩具构造模型的物理对象的多个捕获图像和可选的附加信息可以用作生成具有精确对应于物理对象的3D形状的三维图形表示的虚拟对象的基础。基于捕获的图像，该过程然后可以自动创建包括其三维图形表示的虚拟对象。

在一些实施例中，该***还包括多个玩具构造元件，其构造成彼此可拆卸地互连，以便形成玩具构造模型形式的物理对象。玩具构造元件可各自包括一个或多个连接构件，所述连接构件构造成用于将玩具构造元件彼此可拆卸地互连。

因此，物理玩具构造模型的一个或多个简单捕获图像可以用作在虚拟环境中生成具有用户定义外观的虚拟对象的基础。用户可以创建类似于在计算机生成的虚拟环境中用作虚拟对象的对象的物理玩具构建模型。由于用户可以从玩具构造元件构造这些对象，因此用户对于如何构造对象具有很大的自由度。此外，该***为用户提供灵活且易于理解且易于使用的机制，用于影响虚拟环境中虚拟对象的期望外观。

该过程甚至可以包括例如通过使用共同未决的国际专利申请PCT/EP2015/062381中公开的机制分配虚拟属性，例如，诸如虚拟对象的能力、需求、偏好或其他属性的行为属性，或者虚拟对象的其他游戏相关属性，例如基于物理对象的检测到的视觉属性。

***的构造元件可以各自具有从预定的一组颜色、形状和/或尺寸中选择的颜色、形状和/或尺寸，即玩具构造***可以仅包括有限的预定范围的预定颜色、形状和/或尺寸的玩具构造元件。所确定的视觉属性可以至少部分地(如果不是完全的话)由玩具构造元件的形状的颜色、形状和尺寸以及它们在构造的玩具构造模型内的相对位置和取向来限定。因此，虽然玩具构造***可以提供大量的建筑选择并且允许构建各种各样的玩具构造模型，但是构建玩具构造模型的自由度受到各个玩具构造元件的特性和玩具建筑***规定的构造规则的限制。例如，玩具构造模型的颜色限于各个玩具构造元件的颜色组。每个玩具构造模型的形状和尺寸至少部分地由各个玩具构造元件的形状和尺寸以及它们可以相互连接的方式限定。

因此，可以由一组预定的视觉属性确定可由处理器确定的玩具构造模型的视觉属性。因此，在一些实施例中，所创建的虚拟对象的行为属性可以仅从对应于与玩具构建***一致的预定视觉属性集合的一组预定行为属性创建。

这里描述的各个方面可以用各种游戏***实现，例如，计算机生成的虚拟环境，其中虚拟对象由数据处理***控制以展示虚拟环境内的行为和/或虚拟对象具有影响视频游戏的游戏玩法或虚拟环境的其他演变的相关属性。

通常，虚拟对象可以表示虚拟角色，诸如类似人类的角色、类似动物的角色、幻想生物等。或者，虚拟对象可以是无生命对象，诸如建筑物、车辆、植物、武器等等。在一些实施例中，物理世界中的对应物是无生命的虚拟对象，例如汽车，可以用作虚拟环境中的动画虚拟角色。因此，在一些实施例中，虚拟对象是虚拟角色，并且在一些实施例中，虚拟对象是无生命对象。

虚拟角色可以通过在虚拟环境内移动，通过与其他虚拟角色交互和/或与虚拟环境中存在的无生命虚拟对象交互和/或与虚拟环境本身交互，和/或通常从事其他虚拟角色和/或通常从事虚拟环境中存在的无生命虚拟对象和/或通常从事虚拟环境本身，和/或通过在虚拟环境内以其他方式开发，例如成长、老化、发展或失去能力、属性等，来展示行为。通常，虚拟对象可以具有属性，例如，影响游戏玩法或虚拟环境其他演变的能力。例如，汽车可以具有特定的最大速度，或者对象可以具有确定虚拟角色是否或如何与虚拟对象交互的属性，和/或类似物。

因此，计算机生成的虚拟环境可以由在数据处理***上执行的计算机程序实现，并使数据处理***生成虚拟环境并模拟虚拟环境随时间的演变，包括虚拟环境中的一个或多个虚拟对象的属性和/或一个或多个虚拟特征的行为。出于本说明书的目的，计算机生成的虚拟环境可以是持久的，即，即使没有用户与其交互，例如，用户会话之间，它也可以继续发展和存在。在备选实施例中，虚拟环境可以仅在用户与其交互时才进化，例如，仅在活动用户会话期间。虚拟对象可以至少部分地由用户控制，即数据处理***可以至少部分地基于所接收的用户输入来控制虚拟对象的行为。计算机生成的虚拟环境可以是单用户环境或多用户环境。在多用户环境中，多于一个用户可以同时与虚拟环境交互，例如，通过控制虚拟环境中的各个虚拟角色或其他虚拟对象。计算机生成的虚拟环境，特别是持久的多用户环境有时也称为虚拟世界。计算机生成的虚拟环境经常用在游戏***中，其中用户可以控制虚拟环境中的一个或多个虚拟角色。由用户控制的虚拟角色有时也被称为“玩家”。应当理解，本文描述的方面的至少一些实施例也可以用于除游戏之外的上下文中。计算机生成的虚拟环境的示例可以包括但不限于视频游戏，例如，视频游戏、技能游戏、冒险游戏、动作游戏、即时战略游戏、角色扮演游戏、模拟游戏等等或其组合。

数据处理***可以呈现虚拟环境的表示，包括一个或多个虚拟对象的表示，诸如虚拟环境内的虚拟角色，并且包括环境和/或虚拟对象随时间的演变。

本公开还涉及一种包括程序代码装置的计算机程序产品，该程序代码装置适于在数据处理***上执行时使所述数据处理***执行本文所述的一种或多种方法的步骤。

计算机程序产品可以作为计算机可读介质提供，例如，CD-ROM、DVD、光盘、存储卡、闪存、磁存储设备、软盘、硬盘等。在其他实施例中，计算机程序产品可以作为可下载的软件包提供，例如在Web服务器上通过因特网或其他计算机或通信网络下载，或从App Store下载到移动设备的应用程序。

本公开还涉及一种数据处理***，其被配置为执行本文公开的一种或多种方法的实施例的步骤。

本公开还涉及一种玩具构造组件，其包括多个玩具构造元件和用于获得计算机程序计算机程序代码的指令，当计算机程序代码由数据处理***执行时，该计算机程序代码使得数据处理***执行本文所述的一个或多个方法的实施例的步骤。例如，可以以因特网地址、对App商店的引用等形式提供指令。玩具构造组甚至可以包括其上存储有诸如计算机程序代码的计算机可读介质。这种玩具构造组甚至可以包括可连接到数据处理***的相机或其他图像捕获设备。

附图说明

图1示意性地示出了本文公开的***的实施例。

图2示出了用于在物理对象的对象表面的3D空间中创建数字表示的方法的示例的流程图。特别地，图2示出了从输入2D照片到创建3D纹理模型的3D重建流水线。

图3示出了自动轮廓生成子过程的步骤。

图4示出了深度图孔填充子过程。

图5示出了双边滤波子过程。

图6A-C示出了使用法线数据的照片一致性网格优化过程。

图7示出了双形状和轮廓优化子过程的示例的流程图。

具体实施方式

现在将部分地参考砖形式的玩具构造元件来描述用于从2D图像数据重建3D对象的过程和***的各个方面和实施例。然而，本发明可以应用于其他形式的物理对象，例如用于玩具构造组的其他形式的构造元件。

图1示意性地示出了用于创建物理对象的数字3D表示的***的实施例。该***包括计算机401、输入设备402、显示器403、相机404、转盘405和由至少一个玩具构造元件构成的玩具构造模型406。

计算机401可以是个人计算机、台式计算机、膝上型计算机、诸如平板计算机的手持计算机、智能手机等、游戏控制台、手持娱乐设备或任何其他适当可编程的计算机。计算机401包括诸如中央处理单元(CPU)的处理器409和诸如存储器、硬盘等的一个或多个存储设备。

显示器403可操作地耦合到计算机401，并且计算机401被配置为在显示器403上呈现虚拟环境411的图形表示。尽管在图1中示出为单独的功能块，可以理解，显示器可以集成在计算机的外壳中。

输入设备402可操作地耦合到计算机401并且被配置为接收用户输入。例如，输入设备可以包括键盘、鼠标或其他指示设备等。在一些实施例中，该***包括一个以上的输入设备。在一些实施例中，输入设备可以集成在计算机和/或显示器中，例如，以触摸屏的形式。应当理解，该***可以包括可操作地耦合到计算机，例如集成到计算机中的其他***计算机设备。

相机404可操作以捕获玩具构造模型406的图像并将捕获的图像转发到计算机401。为此，用户可将玩具构造模型406定位在转盘405上。在一些实施例中，用户可以在底板上构建玩具结构模型。相机可以是可操作以拍摄例如以二维像素阵列的形式的数字图像的数码相机。特别地，相机可以被配置为捕获每个像素的光强度，并且可选地，捕获诸如每个像素或像素组的偏振信息和/或表面法线的方向的附加信息。或者，可以使用其他类型的图像捕获设备。在其他实施例中，用户可以将对象定位在对象支撑件上，例如桌子，并移动相机以便从不同的视点捕捉物体的图像。

显示器403、相机404和输入设备402可以以各种方式可操作地耦合到计算机。例如，上述设备中的一个或多个可以通过计算机401的合适的有线或无线输入接口耦合到计算机，例如，经由例如USB端口的计算机的串行或并行端口，经由蓝牙、Wifi或其他合适的无线通信接口。替代地，一个或所有设备可以集成到计算机中。例如，计算机可以包括集成显示器和/或输入设备和/或集成相机。特别地，许多平板计算机和智能电话包括集成相机、可用作显示和输入设备的集成触摸屏。

计算机401上存储有程序，例如应用或其他软件应用，适于处理捕获的图像并创建如本文所述的虚拟3D对象。通常，在初始步骤中，该过程接收例如玩具构造模型的物理对象的多个数字图像，其已经从转盘的相应角位置或从各个视点捕获。

在随后的步骤中，该过程从数字图像构建玩具构造模型的3D数字表示。为此，该过程可以执行数字图像处理领域中本身已知的一个或多个图像处理步骤。例如，处理可以包括以下步骤中的一个或多个：背景检测、边缘检测、颜色校准、颜色检测。下面将更详细地描述这种方法的实例。软件应用可以进一步模拟虚拟环境并控制虚拟环境内的创建的虚拟3D对象。

应当理解，在一些实施例中，计算机401可以通信地连接到主机***，例如，经由互联网或其他合适的计算机网络。然后，主机***可以执行本文描述的处理的至少一部分。例如，在一些实施例中，主机***可以生成并模拟虚拟环境，例如可以由来自相应客户端计算机的多个用户访问的虚拟世界。用户可以使用执行合适程序的客户端计算机来捕获图像。捕获的图像可以由客户端计算机处理或上载到主机***以便处理和创建相应的虚拟对象。然后，主机***可以将虚拟对象添加到虚拟世界并控制虚拟世界内的虚拟对象，如本文所述。

在图1的示例中，虚拟环境411是诸如虚拟水族馆或其他水下环境的水下环境。虚拟对象407、408类似于鱼或其他水下动物或生物。特别地，计算机基于玩具构造模型406的所捕获的图像创建了一个虚拟对象407。计算机已经创建了虚拟对象407，以便类似于玩具构造模型，例如通过创建3D网格或其他合适的表示形式。在图1的示例中，虚拟对象407类似于玩具构造模型406的形状和颜色。在本示例中，虚拟对象甚至类似于构建玩具构造模型406的各个玩具构造元件。然而，应该理解，可以实现不同级别的相似性。例如，在一些实施例中，可以创建虚拟对象以便仅类似于建筑模型的整体形状而不模拟其各个玩具构造元件的内部结构。还可以创建虚拟对象以具有与虚拟构造元素的大小相对应的大小，例如，通过在转盘405上提供参考长度标尺，以便允许计算机确定玩具构造模型的实际尺寸。或者，计算机可以使用玩具构造元件的尺寸作为参考长度尺度。在又一些实施例中，用户可以手动缩放虚拟对象的大小。在其他实施例中，重建的虚拟对象可以用在除涉及虚拟环境的应用之外的软件应用中。

图2-7示出了用于在3D空间中创建物理对象的表面的表示的过程以及这种处理的各种子过程的示例。然后，可以使用这里描述的实施例来创建虚拟对象或角色。例如，过程及其子过程的不同示例可以由图1的***执行。

特别地，图2示出了图示整个重建流水线的示例的流程图。从多个图像开始，该过程通过3D纹理模型恢复对象的3D形状。

物体的体积可以被视为同时从所有投影存在(可见)的所有点的轨迹。该对象的表面将是与非对象点(即空白空间)相邻的所有点。

获取对象的表面(并将其转换为点或三角形)对于涉及计算机图形(游戏或cgi)的应用是优选的，因为它对于对象的表示更紧密(在存储空间方面)并且与传统3D流水线相匹配。

该过程由计算设备执行，例如，如图1中所描述的。通常，计算设备可以是适当编程的计算机。在一些实施例中，可以在服务器上进行处理，并且在计算之后将结果返回到客户端设备。

特别地，在初始步骤101，该过程接收来自各个视点的诸如玩具构造模型的物理对象的多个数字图像。例如，该过程可以接收2D图像的集合(例如，与具有原始RGB图像的背景相比，通过分割获得的对象的不透明度图)以及用于获取图像的所有相机的所有相关的模型视图投影矩阵作为输入。尽管输入图像可以从任何类型的相机馈送到流水线，但是出于本说明的目的，假设每个图像都伴随有相应的法线贴图。法线贴图的创建可以由已经捕获图像的(多个)相机执行，或者由处理设备执行，例如作为重建流水线之前的预处理步骤。为此，可以使用用于提取法线贴图的各种方法，并且这里描述的重建流水线独立于用于创建法线贴图的特定方法，优选地用于创建与每个输入图像相关联的法线贴图。作为非限制性示例，法线贴图可以通过如(Woodham，1979)和(Barsky&Petrou，2003)中的光度立体算法生成，其中利用来自采集硬件上的特定安装的LED的不同光视点获得多个照明设置。灯和相机传感器可以安装偏振滤光片。

在随后的步骤102中，该过程计算对象轮廓。对象轮廓将与图像组合在重建流水线的若干阶段中使用。可以使用自动方法或利用图3中所示并在下文中介绍的方法来提取轮廓。

在随后的步骤103中，该过程优选地使用合适的特征点提取器从图像中提取特征点。优选地，特征点提取器是尺度不变的并且具有高重复性。可以使用几个特征点提取器，例如US6711293和(Lindeberg，1998)中提出的那种。分数响应可以与每个提取的关键点相关联。

接下来，在步骤104，该过程执行成对图像匹配和轨道生成。先前提取的关键点描述符在成对匹配框架中跨图像匹配。图像上的对应关键点与轨道相关联。为此，可以使用不同的方法，例如但不限于(Toldo，Gherardi，Farenzena，&Fusiello，2015)中描述的方法。

在随后的步骤105，从已知的初始估计开始，从先前生成的轨道开始调整内部和外部相机参数。例如，可以采用束调整过程来联合恢复轨道的3D位置和相机的内部和外部参数，例如，如(Triggs，McLauchlan，Hartley，&Fitzgibbon，1999)中所述。

可选地，在随后的步骤106中，该过程可以显示第一中间输出，例如，相机的内部和外部以及具有可见性信息的稀疏点云。

接下来，在步骤107，该过程执行体素雕刻。来自轮廓步骤的这种形状允许通过将先前计算的轮廓投影到3D空间中来生成体素网格，例如，如(Laurentini，1994)中描述的。为方便起见，可以将体素转换为3D密集点云。

在随后的步骤108中，该过程执行双重形状和轮廓迭代优化。在该步骤期间，通过将空间雕刻的体积重新投影到图像上并通过将像素/超像素匹配信息嵌入到全局优化框架中来优化先前计算的轮廓。下面将参考图7更详细地描述该子过程的示例。

接下来，在步骤109，该过程执行角落检测。角落被提取并用于改善重建对象的整体几何形状。为此，可以使用几种角落提取器，例如(Canny，1986)或(Harris&Stephens，1988)。提取的角落在不同的图像中匹配，并且生成的3D点用于整合原始点云并且雕刻出不一致的点，例如，网格的凹陷部分由体素雕刻方法产生。

在步骤110，该过程使用来自步骤108和109的结果执行像素深度范围计算。在该步骤期间，来自体素雕刻步骤的初始体积用于在深度图初始化期间限制每个像素的深度范围搜索。

在步骤111，该过程执行实际深度图计算。为此，使用拐角和互相关来定义初始深度图候选。对于每个像素，可以定义零个或一个“候选深度”。可以使用若干算法和若干相关方法来生成深度图，参见例如(Seitz，Curless，Diebel，Scharstein，&Szeliski，2006)。因此，该步骤以深度图的形式创建中间表示。

在步骤112，处理先前计算的法线并将其馈送到下一步骤(步骤113)。可以通过使用用于计算本领域中已知的法线贴图的任何合适的方法来计算法线贴图，包括但不限于光度立体算法。如图2中所示，来自步骤112的计算的法线在流水线的不同阶段使用。

接下来，在步骤113，该过程使用法线贴图执行深度图孔填充。深度贴图可以包含多个孔，特别是在完全无纹理的区域中，由于匹配不良。为了克服这个问题，如果是封闭的孔，如果边界像素表示均匀的平坦表面，并且如果法线数据证实了上述两个发现，则可以填充深度图中的孔。因此，在该步骤中，修改深度图形式的中间表示，以便以修改的深度图的形式创建修改的中间表示，其中先前深度图中的一些或所有孔已经被归档。该过程的一个例子如图4所示将在下文中介绍。

在步骤114，该过程利用基于全局可见性的异常值拒绝来执行深度图融合到3D空间中。通过检查可见性约束可以拒绝异常点，即它们不得遮挡其他可见点。可以使用几个过程来强制执行可见性约束，参见例如(Seitz，Curless，Diebel，Scharstein，&Szeliski，2006)(Furukawa，Curless，Seitz，&Szeliski，2010)。

在步骤115，该过程可以可选地产生该流水线的第二中间输出，即由密集点云和可见性信息组成的多视图立体声输出。

接下来，在步骤116，该过程执行网格提取。可以使用任何已知方法来提取网格，例如解决泊松方程(Kazhdan，Bolitho，&Hoppe，2006)或基于Delaunay的算法(Seitz，Curless，Diebel，Scharstein，&Szeliski，2006)。先前在框112处计算的法线可以用作附加输入，例如直接在泊松方程中。网格可以是三角形网格或另一种类型的多边形网格。网格包括通过它们的共同边缘或角落连接的一组三角形(或其他类型的多边形)。角落被称为网格的顶点，其在3D空间中定义。因此，该子过程以初步/中间表面网格的形式创建中间表示。

接下来，在步骤117，该过程使用法线执行双边滤波。与步骤116类似，在框112处计算的法线贴图用作附加输入。双边滤波步骤移动网格顶点的位置，以便最大化法线的一致性，从而产生更少的噪声和更锐利的边缘。此步骤使网格更接近在运行基于随后是照片一致性的网格优化之前的全局最小值。图5中示出了双边滤波方法的示例，将在下文中介绍。

接下来，在步骤118，该过程使用法线执行基于照片一致性的网格优化。与前两个步骤类似，在框112处计算的相同法线用作附加输入。基于照片一致性的网格优化的示例在图6中示出，并将在下文中介绍。因此，该步骤从先前的中间表示(以先前网格的形式)创建修改的中间表示(以修改的网格的形式)。

在步骤119，该过程执行稳健的平面拟合：从3D模型检测平面区域。平面区域可用于改进后续抽取、对象识别和网格的最终质量。可以使用几种平面区域算法，包括但不限于(Toldo&Fusiello,Robust multiple structures estimation with j-linkage,2008)和(Toldo&Fusiello,Photo-consistent planar patches from unstructured cloud ofpoints,2010)。

在步骤120，该过程执行网格抽取。这可以是基于提取的平面，也可以是在将点投影到相应平面上之后简单地几何(Garland&Heckbert，1997)。

在步骤121，该过程使用多频带、色彩平衡和均匀性约束来执行纹理化。纹理可以使用多波段方法生成(Allene,Pons,&Keriven,Seamless image-based texture atlasesusing multi-band blending,2008)；通过划分低频和高频，可以更加稳健地照明变化(多频带)以及全局颜色变化的颜色平衡。此外，考虑到重建对象的性质，可以设置某些均匀性约束。

最后，在步骤122，该过程输出重建流水线的最终输出，即具有法线和纹理的简化3D网格。

应当理解，重建流水线的替代实施例可以修改或甚至省略一个或多个上述步骤，改变一些步骤的顺序，和/或通过其他步骤替换上述步骤中的一个或多个。

可选地，一旦创建了物理对象的3D表示，例如，通过上述流水线，该过程可以确定检测到的玩具构造模型的一个或多个视觉属性，例如，检测到的形状、主色等的纵横比。

在随后的步骤中，该过程可以基于重建的3D数字表示来创建虚拟对象。如果要在虚拟环境中动画化虚拟对象的移动，则该过程可以进一步创建与所创建的3D表示匹配的骨架。

可选地，该过程设置与虚拟对象相关联的一个或多个虚拟属性的值。该过程基于检测到的视觉属性设置值。例如：

-该过程可以基于纵横比设置最大速度参数：max_speed＝F(纵横比)；

-该过程可以基于检测到的颜色设置虚拟对象的食物类型，例如，

情况(颜色)

(红色)：食物类型＝肉类；

(绿色)：食物类型＝植物；

(否则)：食物类型＝全部。

-该过程可以基于检测到的玩具构造模型的大小来设置虚拟角色的所需每日卡路里摄入量。

在随后的步骤中，该过程可以将虚拟对象添加到虚拟环境并控制虚拟环境的演变，包括虚拟对象的行为。为此，该过程可以执行控制过程，该控制过程实现用于控制虚拟环境中的虚拟对象的控制***。

图3示出了自动轮廓生成子过程的步骤。在一个实施例中，通过背景和前景分割算法为每个图像自动提取要重建的对象的轮廓。为此，假设物理设置的一些预先存在的知识是可用的，例如，以背景图像的形式和关于物体在图像空间中的粗略定位的信息。根据对象定位的粗略知识，可以为每个像素提取概率图P。概率图函数P(x，y)输出属于对象的像素的概率值，其值的范围为0到1，其中值0表示该像素确定属于背景，值为1表示该像素确定属于该对象。通过首先生成超像素来完成分割。可以使用几种方法来提取超像素，例如(Achanta，et al。，2012)中描述的。每个超像素与一组像素相关联。每个超像素值可以与来自该组所属像素的值相关联。可以使用平均值或中值。可以在超像素级别完成分割，然后将其传送到像素级别。

可以将原始RGB图像转换为LAB颜色空间，以改善相关函数和超像素提取。

在算法的第一部分中，检测一组超像素种子。种子被标记为前景或背景，并且它们代表具有属于前景或背景的高概率的超像素。更详细地，对于超像素i，可以如下计算得分S。

S(i)＝P(i)*dist(i，back(i))

dist是两个超像素之间的距离函数(例如，LAB颜色空间中的超像素中值之间的欧几里德距离)，并且back是将超像素i与背景对象上的对应超像素相关联的函数。如果S低于固定阈值T1，则超像素i与背景种子相关联，否则如果S高于固定阈值T2，则超像素i与前景种子相关联。可以使用自适应阈值作为替代，例如通过计算场景照明。

然后使用区域生长方法生长种子超像素。具体地，对于靠近前景或背景超像素s的每个超像素j，计算具有函数dist(j,s)的距离d。在所有超像素中具有最小距离的超像素与前景或背景超像素集相关联，并且迭代该过程直到所有超像素属于前景或背景集。

图像201示出了普通背景图像的示例，即，为了捕获物理对象的图像而将物理对象放置到其中的场景的图像。图像202示出了将背景图像分割成超像素的示例，例如，使用普通的超像素方法。

图像203示出了放置在背景前面的物理对象210的图片。图像203可以表示物理对象的多个视图之一，其用作流水线的输入。图像204示出了将图像203分割成超像素的示例，例如，使用普通的超像素方法。

图像205示出了初始种子，其使用上述方法计算。前景(即对象)种子用黑色表示，而背景种子用灰色表示。图像206示出了生长到最终掩模中的背景(灰色)和前景(黑色)，其可以通过参考图2的步骤108描述的过程进一步改进。

图4示出了深度图孔填充子过程。特别地，图像310示意性地示出了深度图的示例，例如，如从图2的过程的步骤111创建的。图像301示出了具有灰度的有效深度数据的区域和具有作为白色区域的缺失(或太稀疏或不可靠)深度数据的区域。由于初始深度图具有有效值和缺失数据，因此该过程最初是深度图的连接区域，其具有缺失数据。各个候选连接区域由图像302中的不同灰度阴影示出。对于每个连接的候选区域，该过程计算候选区域的区域。然后，该过程丢弃具有大于预定阈值的面积的区域。剩余的候选区域在图像303中示出，而图像4示意性地示出了剩余的候选区域。

对于每个剩余的连接候选区域并且基于法线贴图，该过程计算以下量并使用所计算的量来选择候选区域是否表示要填充的孔，例如，通过将各个量与各个阈值进行比较，并且仅当量满足预定的选择标准时(例如，仅当所有量都超过相应的阈值时)确定区域是要填充的孔：

-落入连接区域(S1)内的法线的第一相似性值；高相似性值表示与平面表面相似的区域。基于第一相似性值选择区域允许该过程控制将被填充的孔的类型：仅填充具有高第一相似性值的区域将导致仅填充非常均匀的区域，同时填充具有小的第一相似性值的区域导致要填充的复杂区域(尽管这可能在填充阶段引入一些近似误差)。

-落在连接区域的周边(S2)上的法线的第二相似性值。考虑第二相似性值允许该过程区分以下可能的场景：缺失深度数据的连接区域可以指示物理对象中确实存在的孔，或者它可以指示深度图中不可靠的丢失数据，不代表物体中的真正孔。

-为了正确区分这些场景，该过程进一步确定落在区域(S1)内的法线与落在其边界(S2)附近或上的法线之间的兼容性。低兼容性值表示孔及其边界属于两个不同的表面(相同对象或对象相对于背景)，这反过来意味着该区域不需要填充。高兼容性值表示候选区域表示需要填充的缺失数据的区域。

如果第一和第二相似性值高于相应阈值并且如果兼容值高于特定阈值，则确定连接区域表示要填充的深度图中的孔。可以以多种方式定义每个相似性值。例如，在许多情况下，可以合理地假设待填充的孔是至少在某种程度上是平面的区域的一部分。在这种情况下，孔内和沿边界的法线将指向相同的方向。因此，可以通过使用法线之间的点积或角度距离来计算相似性值。例如，可以通过确定考虑中的区域(分别为S1和S2)内的平均法线并且通过计算每个法线wrt与计算的平均法线的距离来计算相似性值。如果大多数法线与平均法线之间的距离d低于某个阈值(或-d高于某个阈值)，则确定该区域是平面的。可以根据区域S1的平均法线与区域S2的平均法线之间的距离来确定兼容性值，其中大距离对应于低兼容性值。

然后，该过程填充尚未被丢弃并且已被确定为表示要填充的孔的剩余候选区域。例如，可以通过在要填充的连接区域的边界上或附近的深度值之间进行插值来完成深度图填充。其他更复杂的填充方法可以基于边界的全局分析，使得填充过程可以更均匀(例如，使用平面拟合)。还可以基于优先级函数使用全局方法，使得在每次迭代时，该过程重新评估将要填充哪个像素以及如何填充。

图5示出了双边滤波子过程。双边滤波过程接收表示要重建的对象的初步网格531作为输入，例如在图2的过程的步骤116中计算的网格。双边滤波步骤还接收多个n(n>1)个相机的信息和与每个相机相关联的法线贴图，由图5中的三角形532示意性地指示。相机信息包括相机参数包括相机视点的信息，如图2的过程的步骤106所提供的那样。法线贴图可以是图2的步骤112提供的法线贴图，可选地通过图2的步骤113的孔填充工艺进一步细化。n对相机和法线将由(Camera1/Normals1(C1/N1)，Camera2/Normals2(C2/N2)，......，Camera i/Normal i(Ci/Ni))表示。双边滤波步骤是迭代算法，包括以下四个步骤，这些步骤重复一定次数的迭代(例如，预定次数的迭代或基于合适的顶部标准)：

步骤1：最初，该过程计算网格的每个三角形的面积和重心。

步骤2：随后，对于每个三角形，该过程确定三角形是否可见。为此，该过程可以使用任何合适的可见度计算方法，例如在计算机图形领域中已知的，例如，(Katz，Tal，&Basri，2007)描述的方法。

步骤3：随后，使用与相机相关联的法线贴图，该过程计算每个三角形的估计表面法线，例如，通过执行以下步骤：

·三角形的重心投影到所有看到当前检查的三角形的法线贴图上。该子步骤的输出是法线列表(L)

·计算由此确定的法线(L)的平均值，可选地考虑与每个法线相关联的权重(例如，表示来自光度立体方法的法线的置信度的置信度值)。

·最接近计算的平均值的列表中的法线(L)，是当前检查的三角形的新法线。

因此，该步骤导致每个三角形具有与它们相关联的两个法线：i)由三角形定义的法线，即垂直于三角形平面的方向，以及ii)通过上述过程从法线贴图确定的估计表面法线。虽然第一法线定义三角形的定向，但第二法线表示物理对象在三角形位置处的估计表面定向。

当该过程从最接***均法线的法线贴图中选择法线时，其使用与所考虑的3D点关联的所有法线计算，该过程将单独的法线值分配给3D点而不是一个平均的。已经发现这可以防止过度平滑并且更好地保持锋利的边缘，同时在选择期间也是稳健的。

步骤4：随后，该过程计算新的估计顶点位置。

该子步骤的目标是移动网格的顶点，使得新顶点位置至少近似地最小化与3D模型的三角形相关联的法线与基于法线贴图估计的法线之间的差异。

此子步骤是迭代的，并通过应用于每次迭代的以下公式进行描述：

其中：

V_i是旧的顶点位置

V'_i是新的顶点位置

c_j是第j个三角形的质心

n_j是关于第j个三角形的质心从法线贴图导出的法线

N(v_i)是v_i的1环邻域，即具有顶点v_i作为角的网格的所有三角形的集合(或者可以使用更大的邻域)。

A_j是第j个三角形的区域

因此，移动顶点vi，使得与顶点所属的三角形相关联的法线更精确地对应于从法线贴图导出的对应法线。来自每个三角形的贡献由三角形的表面积加权，即，大三角形的加权大于小三角形。因此，v_i的移动受到网格拓扑的约束，即由顶点附近的网格的局部属性确定。特别地，vi的移动受到围绕顶点的三角形的区域的约束。

图6A-C示出了使用法线数据的照片一致性网格优化过程。由于初始表面重建方法是插值的并且由于点云可能包含相当大量的噪声，因此获得的初始网格(标记为S₀)通常是有噪声的并且可能无法捕获精细细节。通过使用所有图像数据，该网格用变分多视图立体视觉方法进行细化：S₀用作具有足够能量函数的梯度下降的初始条件。由于网格S₀已经接近期望的解决方案-特别是当S₀是上述双边滤波步骤的结果时-该局部优化不太可能陷入无关的局部最小值。基于照片一致性的现有技术网格优化技术已经在若干作品中呈现，包括但不限于(Faugeras&Keriven，2002)，(Vu，Labatut，Pons，&Keriven，2012)，(Vu，Labatut，Pons，&Keriven，2012)。在下文中，将描述改进的照片一致性过程，其进一步包含表示法线贴图的数据，例如，如图2的步骤112所提供的，可选地，通过图2的步骤113进一步细化。

图6A示出了S上的特定表面S和点x的简单示例。对于每个相机位置，计算由相机捕获的图像633中的x的投影。在图6A中，示出了两个相机位置532和相应的图像633，但是应当理解，这里描述的过程的实施例通常将涉及两个以上的相机位置。

C_i是相机i，C_j是相机j。每个相机具有对应的图像633，在该示例中，I_i表示由C_i捕获的图像，I_j是由C_j捕获的图像。类似地，如果П表示图像中点x的投影，则x_i＝П_i(x)是x在I_i中的投影，x_j＝П_j(x)是x在I_j中的投影。

图6B示出了图像重投影的示例：图像I_j中的每个有效像素x_j可以表示为

此外，如果从相机位置C_i可见x，则以下内容也成立：

结果，I_ij ^S是表面S诱导的C_i中I_j的重投影。

如图6C所示，这意味着如果I_j中的像素未被正确地(由S引起)重新投影到I_i中，则为了定义重投影而简单地丢弃像素。

为了继续该算法，定义了一些相似性度量：作为示例，使用法线的互相关、互信息或相似性可以用作合适的相似性度量。无论选择的相似性度量如何，在某些情况下，必须以合适的方式选择附近的相机，例如，在相邻相机不能查看对象的类似区域的情况下。

I_i和I_ij ^S之间在xi处的相似性的局部度量被定义为

然后将I_i和I_ij ^S之间的相似性的总体度量定义为

其中I_ij ^S的定义域是П_ij.^S

基于这种相似性度量，可以定义以下能量函数：

其中P是在相邻相机位置之间选择的一组相机位置(Ci，Cj)。

出于本说明书的目的，我们使用E的导数来定义当表面S沿着矢量场v经历变形时能量E的变化率：

通过功能最小化的形状运动可以通过在负导数的方向上进化表面S来执行，以最佳地减少能量E。

在下文中，将描述如何通过合并法线贴图来修改相似性度量的计算。

给定两个法线贴图，必须定义允许在属于第一法线贴图的点和属于第二法线贴图的点之间建立相似度的度量。可以使用各种功能来实现此目的。在下文中，作为示例，描述了应用于法线的互相关使用。

在下文中，为了便于描述，假设法线贴图可用于所有图像，即对于每个相机位置，并且法线贴图已被变换为世界空间坐标。如果法线获取方法在相机空间中输出法线贴图，则因此可能需要在处理之前执行转换。

现在我们考虑x_i处的法线贴图N_i和N_ij ^S，而不是x_i处的图像I_i和I_ij ^S。

为方便起见，我们表示N₁＝N_i，N₂＝N_ij ^S，我们丢弃x_i的索引i。

相似性度量定义为

其中协方差、均值和方差分别表示如下：

υ_1，2(x)＝K*(N₁(x)·N₂(x))-μ₁(x)·μ₂(x)

μ_r(x)＝K*N_r(x) With r＝1，2

其中K是合适的卷积核(例如，高斯核，平均核等)。

E的导数需要相对于法线贴图N₂的相似性度量的导数。在这种情况下，该导数可以如下计算：/>

其中

D₂[υ_1，2(x)]＝N₁(x)-μ₁(x)

我们最终获得

因此，该过程可以执行能量函数的梯度下降最小化(关于建模/重建的表面)，其是使用上述导数和上述相似性度量的定义或其他合适的相似性度量从法线贴图的相似性度量来计算的。

图7示出了双形状和轮廓优化子过程的示例的流程图。

在初始步骤601，该过程接收在重建流水线的前一步骤期间已经提取的轮廓，例如，在图2的过程的步骤102期间。

该过程进一步接收所需迭代次数(h)作为输入，例如，作为用户定义的输入。该值可能不需要非常高，因为当足够好的轮廓被馈送到***时，仅2或3次迭代就足以使该过程收敛。

在步骤602，初始化该过程。特别地，迭代次数I被设置为其初始值，在这种情况下i＝0。此外，提取每个图像的超像素，例如，如上所述，参考轮廓提取。在步骤603处增加迭代计数，并且在框604处使用体素雕刻来计算密集点云，例如，如结合图2的步骤107所述。当前迭代i大于0且小于h时重复步骤603和604，而当该条件为真时，在步骤605中检查，该过程在返回步骤603之前执行步骤606至613。

具体地，在步骤606，计算密集点云的可见性信息。可以使用任何用于计算点云的可见性的方法，例如，(Katz，Tal，&Basri，2007)。

然后，对于每个图像的每个超像素，在步骤607计算密集点云的相关3D点(如果有的话)。

接下来，在步骤608，对于每个超像素，通过检查它们是否与相同的3D点相关联来构建其他图像上的对应超像素的列表。

在随后的步骤609，该处理标记每个背景超像素，其仅对应于其他图像中的背景超像素和每个超像素没有对应的3D点作为背景。

在步骤610，计算每个前景超像素与其他图像的其他相关超像素的相关性得分。任何相关函数都可以用作相关性得分。例如，考虑的两个超像素的中值颜色之间的简单欧几里德差异。

在步骤611，如果在步骤610计算的相关性高(例如，高于预定阈值)，则该过程将当前图像的超像素标记为前景，否则该过程将其标记为未知。

在步骤612，基于已经标记为所考虑图像的前景的超像素的距离图，生成每个图像的每个未知超像素的概率图。

在步骤613，在返回到框603之前，使用区域生长方法将每个图像的所有剩余超像素与前景或背景相关联。

当框605处的条件为假时，即在期望的迭代次数之后，该过程在框614处继续，其中该过程提供密集点云和精细轮廓作为输出。

这里描述的方法的实施例可以借助于包括若干不同元件的硬件来实现，和/或至少部分地借助于适当编程的微处理器来实现。

在列举了若干装置的权利要求中，这些装置中的若干装置可以由同一个元件、组件或硬件项来体现。仅在相互不同的从属权利要求中陈述或在不同实施例中描述的某些措施的事实并不表示这些措施的组合不能用于获益。

应该强调的是，当在本说明书中使用时，术语“包括/包含”用于指定所述特征、元件、步骤或组件的存在，但不排除一个或多个其他特征、元件、步骤、组件或组的存在或添加。

参考文献：

Achanta,R.,Shaji,A.,Smith,K.,Lucchi,A.,Fua,P.,&Susstrunk,S.(2012).SLIC superpixels compared to state-of-the-art superpixel methods.IEEEtransactions on pattern analysis and machine intelligence,34(11),2274-2282.

Allene,C.,Pons,J.,&Keriven,R.(2008).Seamless image-based textureatlases using multi-band blending.Pattern Recognition,2008.ICPR 2008.19thInternational Conference on,(pp.1--4).

Allene,C.,Pons,J.-P.,&Keriven,R.(2008).Seamless image-based textureatlases using multi-band blending.Pattern Recognition,2008.ICPR 2008.19thInternational Conference on,(pp.1-4).

Barsky,S.,&Petrou,M.(2003).The 4-source photometric stereo techniquefor three-dimensional surfaces in the presence of highlights and shadows.IEEETransactions on Pattern Analysis and Machine Intelligence,25(10),1239-1252.

Canny,J.(1986).A computational approach to edge detection.IEEETransactions on pattern analysis and machine intelligence(6),679-698.

Crandall,D.,Owens,A.,Snavely,N.,&Huttenlocher,D.(2011).Discrete-continuous optimization for large-scale structure from motion.Computer Visionand Pattern Recognition(CVPR),2011 IEEE Conference on,(pp.3001--3008).

Farenzena,M.,Fusiello,A.,&Gherardi,R.(2009).Structure-and-motionpipeline on a hierarchical cluster tree.Computer Vision Workshops(ICCVWorkshops),2009 IEEE 12th International Conference on,(pp.1489--1496).

Funayama,R.,Yanagihara,H.,Van Gool,L.,Tuytelaars,T.,&Bay,H.(2010).USPatent No.EP1850270 B1.

Furukawa,Y.,Curless,B.,Seitz,S.M.,&Szeliski,R.(2010).Towardsinternet-scale multi-view stereo.Computer Vision and Pattern Recognition(CVPR),2010 IEEE Conference on,(pp.1434-1441).

Fusiello,T.R.(2010).Photo-consistent planar patches from unstructuredcloud of points.European Conference on Computer Vision(pp.298--372).Springer.

Garland,M.,&Heckbert,P.S.(1997).Surface simplification using quadricerror metrics.Proceedings of the 24th annual conference on Computer graphicsand interactive techniques,(pp.209-216).

Gherardi,R.,&Fusiello,A.(2010).Practical autocalibration.ComputerVision--ECCV 2010,(pp.790--801).

Harris,C.,&Stephens,M.(1988).A combined corner and edgedetector.Alvey vision conference,15,p.50.

Hernandez Esteban,C.,&Schmitt,F.(2004).Silhouette and stereo fusionfor 3D object modeling.Computer Vision and Image Understanding,367--392.

Hiep,V.H.,Keriven,R.,Labatut,P.,&Pons,J.-P.(2009).Towards high-resolution large-scale multi-view stereo.Computer Vision and PatternRecognition,2009.CVPR 2009.IEEE Conference on,(pp.1430-1437).

Katz,S.,Tal,A.,&Basri,R.(2007).Direct visibility of point sets.ACMTransactions on Graphics(TOG),26,p.24.

Kazhdan,M.,Bolitho,M.,&Hoppe,H.(2006).Poisson surfacereconstruction.Proceedings of the fourth Eurographics symposium on Geometryprocessing,7.

Laurentini,A.(1994).The visual hull concept for silhouette-basedimage understanding.IEEE Transactions on pattern analysis and machineintelligence,16(2),150-162.

Lindeberg,T.(1998).Feature detection with automatic scaleselection.International journal of computer vision,79--116.

Lowe,D.G.(1999).Object recognition from local scale-invariantfeatures.Computer vision,1999.The proceedings of the seventh IEEEinternational conference on,2,pp.1150-1157.

Lowe,D.G.(2004).US Patent No.US6711293 B1.

Popa,T.,Germann,M.,Keiser,R.,Gross,M.,&Ziegler,R.(2014).US PatentNo.US20140219550 A1.

Seitz,S.M.,Curless,B.,Diebel,J.,Scharstein,D.,&Szeliski,R.(2006).Acomparison and evaluation of multi-view stereo reconstructionalgorithms.Computer vision and pattern recognition,2006 IEEE Computer SocietyConference on,(pp.519--528).

Sinha,S.N.,Steedly,D.E.,&Szeliski,R.S.(2014).US Patent No.US8837811.

Tola,E.,Lepetit,V.,&Fua,P.(2010).Daisy:An efficient dense descriptorapplied to wide-baseline stereo.Pattern Analysis and Machine Intelligence,IEEE Transactions on,815--830.

Toldo,R.,&Fusiello,A.(2008).Robust multiple structures estimationwith j-linkage.European conference on computer vision,(pp.537-547).

Toldo,R.,&Fusiello,A.(2010).Photo-consistent planar patches fromunstructured cloud of points.European Conference on Computer Vision,(pp.589-602).

Toldo,R.,Gherardi,R.,Farenzena,M.,&Fusiello,A.(2015).Hierarchicalstructure-and-motion recovery from uncalibrated images.Computer Vision andImage Understanding,140,127-143.

Tong,X.,Li,J.,Hu,W.,Du,Y.,&Zhang,Y.(2013).US Patent No.US20130201187.

Triggs,B.(1997).Autocalibration and the absolute quadric.ComputerVision and Pattern Recognition,1997.Proceedings.,1997 IEEE Computer SocietyConference on,(pp.609--614).

Triggs,B.,McLauchlan,P.F.,Hartley,R.I.,&Fitzgibbon,A.W.(1999).Bundleadjustment—a modern synthesis.International workshop on vision algorithms,(pp.298-372).

Woodham,R.J.(1979).Photometric stereo:A reflectance map technique fordetermining surface orientation from image intensity.22nd Annual TechnicalSymposium,(pp.136-143).

Wu,C.(2013).Towards linear-time incremental structure frommotion.3DTV-Conference,2013 International Conference on,(pp.127--134).

Claims (22)

1.一种计算机实现的方法，用于创建物理对象的至少对象表面的数字表示；其中，该方法包括：

-获得输入数据，输入数据包括物理对象的多个捕获图像和对象的表面法线信息，表面法线信息表示与对象表面的各个部分相关联的对象表面法线；

-创建至少对象表面的数字3D表示；

其中，创建对象表面的数字表示至少基于所获得的多个捕获图像和所获得的表面法线信息，并且包括：

-获得对象表面的中间表示，其中中间表示包括深度图，该深度图表示从参考位置到对象表面上的各个位置的距离，中间表示包括中间表示的第一部分，所述中间表示的第一部分表示对象表面的第一部分，其中对象表面的第一部分包括深度图中的孔；

-修改中间表示的第一部分以获得修改的表示；

其中修改中间表示的第一部分包括：

-确定对象表面的第一部分附近的对象表面的第二部分；

-从所获得的表面法线信息确定与所确定的第二部分相关联的一个或多个对象表面法线；

-至少部分地基于所确定的一个或多个对象表面法线来修改中间表示的第一部分；

其中修改中间表示的第一部分包括填充孔。

2.根据权利要求1所述的方法；其中，所述多个捕获图像包括从相对于物理对象的相应视点捕获的图像。

3.根据权利要求2所述的方法；其中所述多个捕获图像包括从相对于物理对象的相应视点捕获的多于两个图像。

4.根据权利要求1至3中任一项所述的方法；其中每个对象表面法线指示对象表面在与对象表面法线相关联的对象表面上的位置处的方向。

5.根据权利要求1至3中任一项所述的方法；其中，获得中间表示包括从多个图像创建深度图。

6.根据权利要求1至3中任一项所述的方法；其中确定对象表面的第二部分包括将孔识别为待填充的孔并确定所识别的孔的周边。

7.根据权利要求6所述的方法；其中，将孔识别为待填充的孔包括：

-识别深度图中的孔；和

-基于所获得的表面法线信息，确定所识别的孔是否是要填充的孔。

8.根据权利要求7所述的方法；其中，确定所识别的孔是否是要填充的孔包括：

-确定与所确定的孔的周边相关联的第一组对象表面法线；

-计算所确定的第一组表面法线的第一相似性度量；和

-将计算的第一相似性度量与第一目标相似性值进行比较。

9.根据权利要求7所述的方法；其中，确定所识别的孔是否是要填充的孔包括：

-确定与所识别的孔相关联的第二组对象表面法线；

-计算所确定的第二组对象表面法线的第二相似性度量；和

-将计算的第二相似性度量与第二目标相似性值进行比较。

10.根据权利要求1至3中任一项所述的方法；包括用于增加中间表示和捕获的输入数据和/或从所述表面法线信息导出的法线贴图之间的照片一致性度量的优化步骤。

11.一种用于创建物理对象的至少对象表面的数字表示的方法；其中，该方法包括：

-获得输入数据，输入数据包括物理对象的多个捕获图像和对象的表面法线信息，表面法线信息表示与对象表面的各个部分相关联的对象表面法线；

-创建对象表面的数字表示；

其中，创建数字表示至少基于获得的多个捕获图像和获得的表面法线信息，并且包括：

-获得对象表面的中间表示；其中，中间表示定义虚拟表面并包括表面元素网格，所述网格定义网格拓扑，每个表面元素定义虚拟表面法线，每个表面元素包括多个顶点，每个顶点限定所述虚拟表面上的位置；

-至少部分地基于所获得的表面法线信息来修改中间表示的第一部分以获得修改的表示，中间表示的第一部分表示对象表面的第一部分；

其中修改中间表示的第一部分包括用于增加中间表示与从所述表面法线信息导出的法线贴图之间的照片一致性度量的优化步骤。

12.根据权利要求11所述的方法；其中照片一致性度量包括所获得的表面法线信息和从中间表示获得的表面法线信息之间的一致性度量。

13.根据权利要求11或12所述的方法；其中修改中间表示的第一部分包括执行双边滤波步骤。

14.根据权利要求13所述的方法；其中，双边滤波步骤之后是优化步骤，用于增加修改的表示和捕获的输入数据和/或从所述表面法线信息导出的法线贴图之间的照片一致性度量。

15.根据权利要求13所述的方法；其中，双边滤波步骤包括：通过计算的顶点位移来修改所述多个顶点的至少第一顶点的位置，以减小从所获得的表面法线信息确定的对象表面法线与虚拟表面法线之间的差异度量；其中顶点位移受到网格拓扑的约束。

16.根据权利要求15所述的方法；其中第一顶点与一个或多个表面元素相关联，并且其中顶点位移由与第一顶点相关联的一个或多个表面元素的大小缩放。

17.根据权利要求13所述的方法；其中，双边滤波步骤包括选择由所获得的表面法线信息表示的对象表面法线之一，并将所选择的表面法线和与第一顶点相关联的表面元素相关联。

18.一种用于创建物理对象的数字表示的***；该***包括数据处理***，该数据处理***被配置为执行如权利要求1至17中任一项所述的方法的步骤。

19.根据权利要求18所述的***，还包括扫描站，所述扫描站包括用于接收物理对象的对象支撑件。

20.根据权利要求18至19中任一项所述的***；进一步包括可操作以捕获物理对象的两个或更多个图像的图像捕获设备，其中所述两个或更多个图像是从相对于物理对象的不同视点获取的。

21.根据权利要求18至19中任一项所述的***；进一步包括多个玩具构造元件，所述玩具构造元件构造成彼此可拆卸地互连，以便形成玩具构造模型形式的物理对象。

22.一种计算机可读介质，所述计算机可读介质存储包括程序代码装置的计算机程序产品，当在数据处理***上执行时，所述程序代码装置适于使所述数据处理***执行权利要求1至17中任一项所述的方法的步骤。