CN116018576A - 将至少两种材料的外观可视化 - Google Patents

Abstract

在一种用于将至少两种材料的外观可视化的计算机实现的方法中，获得外观模型的第一实例(56)，第一实例指示第一材料的外观，并且获得外观模型的第二实例(66)，第二实例(66)指示第二材料的外观。使用显示装置(70)将具有连续三维表面几何结构的虚拟对象(72)一起可视化。虚拟对象具有通过虚拟分隔元素(74)或融合区在视觉上分隔开的第一和第二部分(72a、72b)。使用外观模型的第一实例将虚拟对象的第一部分可视化，并且使用外观模型的第二实例将虚拟对象的第二部分可视化。

Description

将至少两种材料的外观可视化

技术领域

本发明涉及将至少两种材料的外观可视化的方法。本发明还涉及用于执行这样的方法的装置和相应的计算机程序。

背景技术

寻找与待颜色匹配的物理对象(“目标对象”)的给定颜色相匹配的颜色配制(formulation)可能是冗长的反复试验(trial and error)的过程。选择一组着色剂，检索或配制使用所述着色剂的候选配方，并通过将根据候选配方制备的材料应用于试验对象来制备试验对象，诸如测试面板。然后将试验对象与目标对象进行视觉比较。如果试验对象的颜色与目标对象的颜色不匹配，则根据需要经常反复地修改候选配方，直到试验对象的颜色与目标对象的颜色匹配到期望的容差范围内。

在一些应用中，目标对象可以是涂覆有现有涂层的车辆部件，并且期望找到其颜色与现有涂层的外观相匹配的涂层配制。即使已知与目标对象相关联的油漆代码或车辆标识号，仅检索相应的参考配方可能不会产生可接受的匹配。这是因为，即使存在油漆代码规格和涂层配方，给定目标对象的颜色和外观也将会因批次、配制师或年份而略有不同。需要考虑对参考配方的修改。

传统上，寻找匹配配方的过程已经是完全人工过程。无论是从零开始配制还是修改参考配方，成功很大程度上取决于选择着色剂和定义候选配方的颜色专业人员的经验。即使有经验的专家也经常需要几次反复，直到获得满意的匹配。

在过去的几十年中，已经引入了越来越复杂的颜色配制软件来在以更少的反复获得定义的容差范围内的颜色配制时帮助颜色专业人员。示例包括可从美国密歇根州大急流城的X-Rite公司获得的软件“Color iMatch^TM”、可从美国俄亥俄州斯特朗斯维尔的PPG实业公司获得的软件“PaintManager”、可从美国新泽西州劳伦斯维尔的Datacolor获得的软件“Match Pigment”、或可从日本大阪的Konica Minolta公司获得的软件“Colibri^TMColorMatch”。颜色配制软件通常有三个主要组件(例如参见[Ber19])：第一个是着色剂的光学性质的数据库。第二个是选择着色剂和预测候选配方的一组算法。第三个是当匹配不在容差范围内时校正初始候选配方的一组算法。

为了用着色剂的光学性质填充数据库，需要通过测量来确定光学性质。取决于设想的应用的类型，这可以以不同的方式来完成。例如，对于如它们通常在汽车工业中被使用的涂层，可以制备每种着色剂以不同浓度与基础配制的混合，并且可能与不同量的添加的白色和黑色颜料的混合，并且可以为每种混合创建以所谓的缩减(drawdown)的形式(例如，以涂覆有该混合的黑白不透明卡的形式)的参考对象。然后，可以使用比如分光光度计的仪器来确定以光谱数据的形式或在预定义颜色空间中(例如，以三色值或CIELAB值的形式)的缩减的颜色属性，并且可以将其馈送到数据库。

为了对物理目标对象执行颜色匹配，同样确定目标对象的颜色属性。然后配制软件预测一个或多个候选配方，所述配方预期产生与目标对象近似相同的颜色属性。为了评估匹配的质量，可以为所选候选配方创建试验对象(例如，在涂层的情况下的缩减)。然后，可以将试验对象与目标对象进行视觉比较。如果匹配在视觉上还不令人满意，则可以采集试验对象的颜色属性，并且颜色配制软件可以基于候选配方的计算的颜色属性与试验对象的测得颜色属性的比较来校正配方。可以根据需要经常重复该过程，直到获得可接受的匹配。

虽然与用传统的人工方法相比以这种方式用较少的反复通常可以获得可接受的结果，但是仍然有改进的空间。特别地，期望能够在试验对象已经被实际生产之前就已经以提高的置信度来判断候选配方和目标对象之间的匹配的质量。如果其中生产试验对象的位置与其中目标对象所在的位置不同，则这是特别地期望的。例如，目标对象可以是需要在车身修理厂(body shop)中修理的受损车辆的一部分。然而，车身修理厂本身可能没有配备颜色混合设施。而是车身修理厂可能不得不从远程油漆供应商订购准备好喷涂的油漆。在这样的情况下，第一次尝试(shot)时匹配在容差范围内可能是必要的。

已知的颜色匹配的方法可能无法产生令人满意的结果，尤其是对于油漆涂层或表现出角度外观变化性质(gonioapparent property)的其他材料。例如，一些材料表现出颜色突变(color flop)。“颜色突变”是当照射和观察方向改变时，材料的外观中的颜色值、色调或色度中的改变。具有角度外观变化性质的材料的其他示例是包含效果颜料的材料，比如产生闪光效果的金属薄片或产生珠光效果的干涉薄片，以及具有非平面表面微结构的材料。在这样的情况下，仅匹配颜色可能是不够的。而是需要匹配整个外观，包括角度相关颜色和质地(texture)。已知的技术通常无法提供令人满意的可视化或测量来准确匹配此类材料的外观。

US20150026298A1公开了使用移动装置为车辆修理选择匹配油漆候选颜色标准的最可能变体的方法。在这种方法中，车身修理厂处的用户将关于车辆的颜色的信息输入到移动装置中，并将该信息传输到远程中央计算机。中央计算机选择候选颜色标准并将关于该候选颜色标准的信息传输到移动装置。移动装置显示关于所选候选颜色标准的信息。用户将表示所选候选颜色标准的物理片与待修理车辆的颜色进行视觉比较。这种方法的缺点在于，在车身修理厂处需要大量的颜色标准的物理片。可选地，将所选候选颜色标准的图像显示在移动装置的颜色显示器上，并且用户将所显示的图像与要修理的车辆的颜色进行视觉比较。然而，这需要仔细校准显示器以便使能实现有意义的比较。

US20050128484A1公开了用于确定颜色匹配的修理漆配制方案(formula)的方法。要匹配的目标颜色的颜色特性以这样的方式被标识、输入和处理：使得能够视觉显示目标颜色。替代颜色选自数据库。替代颜色可以在显示器上以几个虚拟片显示，每个虚拟片表示不同的观察角度，或者显示为弯曲面板。可以将示出薄片外观特性的图像与该颜色叠加。可以结合目标颜色来观察虚拟片。

US20070097119A1公开了用于在显示装置上显示模拟油漆涂层的方法。在一定范围的非镜面(aspecular)角度上计算RGB颜色值。确定油漆涂层的统计质地函数。将统计质地函数应用于RGB值，并使用这些值显示颜色像素。统计质地函数不取决于照射和观察方向。

US20080291449A1和US20080235224A1两者都公开了用于显示图像以选择匹配配制方案来匹配诸如车辆的目标涂层的物品的外观的方法。在一个实施例中，使用色度计或分光光度计获得物品的颜色数据。使用成像装置获得物品的质地数据。基于颜色和质地数据创建目标图像，并将其显示在显示装置上。从数据库中人工检索初步匹配配制方案。为初步匹配配制方案生成匹配图像。将匹配图像与目标图像并排显示在显示装置上。可以针对多个非镜面角度显示目标图像和匹配图像。所述文献没有提到如何针对多个非镜面角度生成和显示质地数据。

US20200089991A1公开了用于显示一个或多个图像以选择一个或多个匹配配制方案来匹配物品的目标涂层的外观的***。第一数据库包含修理配制方案和相关联的外观特性。第二数据库包含至少一个物品的标识信息或三维几何数据。从第一数据库中检索初步匹配配制方案，从第二数据库中选择物品或其三维几何数据，并接收物品的表面的标记部分。生成包含标记部分和与标记部分相邻的未标记部分的个体匹配图像，并且在显示装置上显示个体匹配图像。在标记部分中，基于初步匹配配制方案的外观特性生成个体匹配图像。在未标记部分中，基于物品的外观特性生成个体匹配图像。从使用成像装置从物品采集的图像计算外观特性。外观特性可以包括质地、金属或珠光效果、光泽、图像的清晰度、薄片外观(诸如质地、闪光、反光和闪烁)、以及由薄片赋予(impart)的深度感知的增强。该文献没有指定对于不同的照射和观察方向以哪种方式显示物品的外观。

US8,872,811B1公开了数字地生成数据的方法，所述数据指示具有物理上合理的外观属性的模拟材料的合成外观。部分地基于与物理上有形的源材料相关联的数据并且部分地基于物理上有形的参考材料的测得属性的数据来确定指示模拟材料的合成外观的数据集。

US2007291993A1公开了用于测量表面的空间欠采样双向反射分布函数(BRDF)的设备。

US2018285481A1公开了用于制造、可视化和分发石板材的***和过程。可以生成3D场景，其描绘在板材安装环境的目标区域处的石板材的主表面的一部分。

发明内容

本发明的目的是提供一种以这样的方式将至少两种材料的外观可视化的方法：使得用户能够以提高的置信度确定材料的外观是否匹配，而不需要生产物理对象。

该目的通过根据权利要求1的方法来实现。在从属权利要求中主张(1aid down)本发明的进一步实施例。

本公开提供了一种用于将至少两种材料的外观可视化的计算机实现的方法。该方法包括：

获得外观模型的第一实例，第一实例指示第一材料的外观；

获得外观模型的第二实例，第二实例指示第二材料的外观；以及

获得虚拟对象的几何模型，所述几何模型定义所述虚拟对象的三维宏观表面几何结构；以及

使用显示装置、使用外观模型的第一和第二实例以及所述几何模型连同虚拟分隔元素或融合区(blending region)来将包括虚拟对象的场景可视化，

其中，虚拟对象具有第-和第二部分，

其中，使用外观模型的第一实例来将虚拟对象的第一部分可视化，

其中，使用外观模型的第二实例来将虚拟对象的第二部分可视化，以及

其中，通过虚拟分隔元素或通过融合区将第一和第二部分在视觉上分隔开。

在本发明中，将包括任意三维虚拟对象的场景可视化，其中将虚拟对象的两个不同部分并排可视化，所述两个不同部分通过虚拟分隔结构或融合区分隔开。使用相同外观模型的两个实例来将所述两个部分可视化。第一实例是针对第一材料的，并且第二实例是针对第二材料的。以这种方式，便于第一和第二材料的外观的直接比较。对象可以具有任意形状和任意方向，并且可以在任意照射和观察条件下被可视化。

如本公开中使用的术语“外观”包括颜色和质地两者，“质地”广泛理解为描述跨对象的表面的外观的空间变化。“外观模型”是使用称为“外观属性”的多个材料相关参数以数学术语来描述外观的形式构造。外观属性可以包括颜色属性和质地属性。在简单的实施例中，外观模型仅描述颜色与照射和观察条件的相关性，而不考虑跨对象的表面的外观的空间变化。例如，在简单的实施例中，外观模型可以是BRDF模型，其仅将光谱反射率描述为照射和观察方向的函数，而不考虑空间变化。因此，外观模型可以仅在颜色属性的方面描述外观。在更复杂的实施例中，外观模型可以是包括“质地”的模型，即，除了反射和/或透射的角度相关性之外，还有跨对象的表面的外观的空间变化。特别地，外观模型可以是空间变化的双向反射分布函数(“SVBRDF”)模型、双向质地函数(“BTF”)模型、双向表面散射分布函数(“BSSRDF模型”)、汽车油漆的专用模型等。许多这样的模型是本领域中已知的。因此，外观模型可以在颜色属性和质地属性两个方面描述外观。

质地可以很大程度上取决于照射和观察方向。例如，在通常包含高反射薄片的金属效果油漆中，当照射和/或观察方向连续变化时，其中观察到强反射的表面位置可能不连续地变化，因为跨表面在不同位置处的薄片将在不同的照射和观察方向的组合下反射。因此，观察到的质地在仅相差小角度值的照射和观察方向之间可能非常不同。

在本发明中，将至少一个虚拟对象可视化。通过三维几何模型来描述虚拟对象的几何结构。几何模型定义了虚拟对象的三维宏观表面几何结构。优选地，宏观表面几何结构沿着至少两个相互正交的方向弯曲。在一些实施例中，可以在几何模型中使用小多边形平面表面的组合(例如，多边形网格)来表示虚拟对象的弯曲表面。优选地，弯曲的三维宏观表面几何结构包括凸起和凹陷部分两者。优选地，虚拟对象的宏观表面几何结构具有覆盖大立体角的表面法线，即在三维空间中具有大范围的方向。优选地，由虚拟对象的表面法线的方向覆盖的立体角至少是半球的立体角的50％，即，其优选地至少是πsr。以这种方式，可以针对相对于虚拟对象的表面法线的大量的照射和观察方向同时比较两种材料之间的比如颜色偏移、光泽、闪光、质地等的效果。

在一些实施例中，第一和第二材料可以是基本上不透明的材料，例如如它们在汽车工业中被使用用于涂覆车辆部件的涂层，或者不透明塑料。在其他实施例中，第一和第二材料可以是半透明材料，例如半透明塑料。外观模型可以特别适于特定类别的材料。例如，对于车辆涂层，外观模型可以包括不透明或半透明油漆层的顶部上的透明涂层的效果的模型和/或油漆层中反射薄片的效果的模型。作为另一示例，对于半透明材料，外观模型可以使用体积吸收和散射系数以及相位函数参数来对材料的次表面(subsurface)光传输进行建模，以求解辐射传递方程(radiative transfer equation)。

如果用虚拟分隔元素来将场景可视化，则虚拟对象的第一和第二部分可以彼此相邻，并且通过虚拟分隔元素在视觉上分隔开，使得第一和第二部分看起来在虚拟分隔元素所在的位置相遇。

如果用融合区来将场景可视化，则将融合区可视化可以包括在外观模型的第一和第二实例的外观属性之间进行内插，从而创建虚拟对象的第一和第二部分的外观之间的平滑过渡。

外观模型可以要求每个实例包括至少一个质地，特别是包括多个质地的离散质地表，每个质地与照射和观察方向的不同组合相关联。在外观模型的第一和第二实例的外观属性之间进行内插然后可以包括通过在外观模型的第一实例的至少一个质地与外观模型的第二实例的至少一个质地之间进行内插来计算融合区中的至少一个内插质地。计算每个内插质地可以包括：

(i)给外观模型的第一实例的至少一个质地和外观模型的第二实例的至少一个质地分配内插权重；以及

(ii)使用外观模型的第一实例的至少一个质地和外观模型的第二实例的至少一个质地以及所分配的内插权重来合成内插质地，

其中，合成内插质地包括：

(a)以与所述质地的内插权重成比例的概率随机选择外观模型的第一和第二实例的质地之一；

(b)从所选质地随机提取质地片；

(c)通过修改所提取的质地片中的像素值来修改所提取的质地片，以获得经修改的质地片，以这样的方式执行像素值的修改：使得经修改的质地片的至少一个统计性质近似于相应的平均统计性质，通过对外观模型的第一和第二实例的质地执行加权平均来确定平均统计性质，所述外观模型的第一和第二实例的质地通过内插权重进行加权；

(d)将经修改的质地片***到内插质地中，使得经修改的质地片无缝地拟合内插质地中的现有质地内容；以及

(e)重复步骤(a)-(d)直到完全填充内插质地。

显示装置可以是屏幕，例如LCD屏幕、投影仪或如它们是本领域中众所周知的任何其他类型的显示装置。如果显示装置包括屏幕，则屏幕可以是触敏的，如它是本领域中众所周知的那样。显示装置可以能够创建3D印象，如它是本领域中众所周知的那样。例如，显示装置可以是VR头戴送受话器或3D显示器。在这样的情况下，虚拟分隔元素可以是虚拟平面。然而，在优选实施例中，显示装置将虚拟对象的可视化显示为二维观察平面中的二维投影。在这种情况下，虚拟分隔元素可以是观察平面中的简单线、特别是直线或曲线。

该方法可以包括相对于虚拟对象移动虚拟分隔元素或融合区。这可以交互地完成，即响应于用户输入，例如响应于用户移动比如鼠标或轨迹板的定点装置、响应于用户敲击键盘上的键、或者响应于用户跨触摸屏挥动手指或比如数字铅笔的定点装置。当移动虚拟分隔元素或融合区时，第一和第二部分被以这样的方式永久地重新定义：使得即使在已经移动虚拟分隔元素或融合区之后，第一和第二部分仍然被虚拟分隔元素或融合区在视觉上分隔开。具体地，如果存在虚拟分隔元素，则在移动虚拟分隔元素时，第一和第二部分可以仍看起来在虚拟分隔元素所在的位置相遇。以这种方式，当虚拟对象的材料改变时，用户可以在视觉上评估虚拟对象的外观在虚拟对象的所选区域中如何改变。

在一些实施例中，在一些定义的照射条件下将场景可视化，如它是本领域中众所周知的那样，所述定义的照射条件可以例如通过环境图来描述。该方法可以可选地包括响应于用户输入来改变照明条件，特别是一个或多个照明方向或光源的类型，即用于照射的光的光谱性质，并且在改变后的照射条件下将虚拟对象可视化，以便于比较不同照射条件下第一和第二材料的外观。例如，以该方式，可以检测到同色异谱。

在一些实施例中，虚拟对象以定义的姿势(pose)(例如，方向、位置、大小和与观察点的距离)来可视化，并且该方法包括响应于用户输入而改变虚拟对象的姿势，即，旋转、移动或重新缩放(rescaling)虚拟对象，并且以姿势中的改变之后呈现的姿势来将虚拟对象可视化。由此，可以更好地辨别微妙地取决于照射和观察的方向的外观中的差异。可以以视频的形式执行可视化，其将连续旋转的虚拟对象可视化。该方法还可以包括改变虚拟对象的形状。

第一和/或第二材料的外观模型的实例可以从与每种材料相关联的一组有限的可用外观属性生成。该组有限的值可以已经以某种其他方式(例如，通过计算或数据库检索)测量或获得。外观模型通常可能需要比实际可用的有限组多得多的外观属性，并且它可能需要与那些可用的外观属性不同类型的外观属性。特别地，外观模型所需的一组外观属性可以比一组有限的可用外观属性具有更大的基数(即，包含更大数量的外观属性)。换言之，与外观模型所需的一组更密集的外观属性相比，该组可用的外观属性可能是稀疏的。可能涉及变换、拟合运算和/或内插和外推的数学运算对于从一组有限的可用外观属性生成外观模型的实例可能是必要的。例如，一组有限的可用外观属性可以包含仅针对有限数量的照射和观察方向对的颜色属性(例如以三色或光谱数据的形式)。该组有限的可用外观属性还可以包括仅针对一对或有限数量的照射和观察方向队的质地属性(例如以图像数据的形式)。相比之下，外观模型可以以不同的形式将反射和/或透射描述为角度和位置的函数。特别地，外观模型可能需要比可用的那些照射和观察方向多得多的照射和观察方向对的光谱数据和/或质地数据，并且所需的照射和观察方向可能与可用的那些照射和观察方向不同。下面将更详细地描述可以如何从一组稀疏的可用外观属性生成具有一组密集的外观属性的外观模型的实例的示例。

在一些实施例中，通过使用(第一)外观捕获装置对包括第一材料的目标对象执行测量来确定第一材料的有限组的可用外观属性的值，并且从该有限组的外观属性生成外观模型的第一实例。在这种情况下，第一材料也可以称为“目标材料”。

在一些实施例中，第二材料是预期具有与第一材料相似外观的候选材料。因此，可以基于与候选材料相关联的候选外观属性来生成外观模型的第二实例。在一些实施例中，候选材料是已知参考材料，并且候选外观属性是与已知参考材料相关联的外观属性。在其他实施例中，候选材料由多种成分材料组成，并且外观属性可以可用于包括候选材料的成分材料的多种参考材料。因此，通过使用计算，候选外观属性可以是基于与多个参考材料相关联的预定外观属性。可以以这样的方式确定配方：使得候选材料具有至少近似地匹配目标材料的外观属性的预期外观属性。特别地，目前提出的方法可以包括确定配方的步骤。这可以涉及将候选材料的预期外观属性和目标材料的测得外观属性之间的差异度量最小化。合适的差异度量和优化算法在颜色配制的领域中是众所周知的。

特别地，获得外观模型的第二实例可以包括：

接收第一材料的外观属性；

基于所接收的第一材料的外观属性和参考材料的预定外观属性来确定第二材料的配方；以及

基于配方和参考材料的测得外观属性来生成外观模型的第二实例。

在一些实施例中，该方法还包括例如通过生产试验对象来获得包括候选材料的物理的、有形的试验对象。该方法可以包括通过使用外观捕获装置对试验对象执行测量来确定试验对象的测得外观属性。该方法还可以包括使用试验对象的测得外观属性来将所述至少一个虚拟对象的至少一部分可视化。以这种方式，即使目标对象不存在于与试验对象相同的位置处，也可以将试验对象的外观与目标对象的外观进行比较。附加地或替代地，该方法可以包括使用试验对象的测得外观属性和候选材料的计算的外观属性来确定经修改的配方。一旦试验对象的测得外观属性是可用的，用于确定经修改的配方的合适算法就在颜色配制的领域中是众所周知的。这样的算法通常称为“校正算法”。然后，可以用经修改的配方重复该方法。

用于确定试验对象的测得外观属性的外观捕获装置可以是与用于确定第一材料的测得外观属性的装置相同的装置，或者其可以是不同的装置。该装置优选地被配置为在与用于目标对象的外观捕获装置相同的照射和观察条件对下确定相同类型的外观属性。然而，用于试验对象的外观捕获装置被配置为确定与用于目标对象的外观捕获装置不同类型的外观属性、不同数量的外观属性和/或不同照射和观察方向对的外观属性也是可设想的。

在每种情况下，外观捕获装置可以是多角度分光光度计，其被配置为确定针对照射和观察方向的多个组合的颜色属性。外观捕获装置还可以具有成像能力，以确定除颜色属性之外的质地属性。

第一和/或第二材料的该组可用外观属性可以包括针对照射和观察方向的多个组合的外观属性，特别是照射和观察方向的两个或更多个组合下的颜色属性和/或照射和观察方向的两个或更多个组合下的质地属性。

在一些实施例中，第一材料(目标材料)的可用的(例如，测得的)外观属性包括多个测得图像数据集，每个测得图像数据集与照射和观察方向的不同组合(例如，不同对)相关联。为此，用于确定第一材料的外观属性的外观捕获装置可以包括一个或多个相机，其被配置为确定针对照射和观察方向的多个组合(例如，多个对)下的图像数据。在一些实施例中，测得图像数据的照射和观察方向的所有组合包括相同的观察方向，但是多个不同的照射方向(或者等效地，相同的照射方向和多个不同的观察方向)。例如，当使用具有单个相机和多个不同光源的外观捕获装置时，可能是这种情况。在其他实施例中，照射和观察方向的组合包括两个或更多个观察方向。

在一些实施例中，第一材料的可用外观属性可能缺少质地属性，或者可能仅包含一组有限的质地属性。例如，如果用于测量目标对象的外观捕获装置缺乏成像能力或者仅具有非常有限的成像能力，则可能发生这种情况。在这种情况下，第一材料的测得外观属性可以由来自不同来源的质地属性来补充。特别地，与第一材料相关联的一组外观属性可以包括质地属性，特别是以图像数据的形式的质地属性，其是已经基于与一个或多个参考材料和/或与第二材料(候选材料)相关联的质地属性来确定的。特别地，第一材料的质地属性中的一些或所有可以是基于与第二材料(候选材料)相关联的计算的质地属性(特别是以图像数据的形式)或基于与包括第二材料的试验对象相关联的测得质地属性(特别是以图像数据的形式)来确定的。因此，该方法可以包括基于与一个或多个参考材料和/或与第二材料相关联的质地属性(特别是以图像数据的形式)来确定第一材料的质地属性(特别是以图像数据的形式)。这可以涉及修改与参考材料和/或与第二材料相关联的图像数据的像素值。以这种方式，第一材料可以被可视化为具有逼真的质地的印象，即使该材料的可用质地信息本身将不足以达到该目的。

在仍然其他实施例中，候选材料或参考材料的可用外观属性可能缺少质地属性，或者可能仅包含一组有限的质地属性。例如，如果包含参考材料的外观属性的数据库是使用缺乏成像能力或仅具有有限成像能力的较简单或较旧的外观捕获装置创建的，则可能发生这种情况。在这种情况下，与第二材料相关联的外观属性可以由来自不同来源的质地属性(特别是以图像数据的形式)来补充。特别地，与第二材料相关联的外观属性可以包括已经基于与第一材料和/或与包括第二材料的试验对象相关联的可用质地属性(特别是以图像数据的形式)来确定的质地属性(特别是以图像数据的形式)。特别地，与第二材料相关联的质地属性中的一些或所有可以是基于与第一材料相关联的测得质地属性(特别是以图像数据的形式)或者是基于与包括第二材料的试验对象相关联的测得质地属性(特别是以图像数据的形式)来确定的。因此，该方法可以包括基于与第一材料相关联的测得质地属性和/或基于与包括第二材料的试验对象相关联的质地属性来确定与第二材料相关联的质地属性。这可以涉及修改与第一材料和/或与试验对象相关联的图像数据的像素值。以这种方式，第二材料可以被可视化为具有逼真的质地的印象，即使可用的质地信息本身将不足以达到该目的。

如上面已经概述的，与相关联的外观模型中的一组密集外观属性相比，每种材料的一组可用外观属性可能是稀疏的。针对材料生成外观模型的实例可以包括以下操作中的至少一个：

在照射和观察方向的不同组合下的材料的可用外观属性之间进行内插；以及

从在所选照射和观察方向的组合下的材料的可用外观属性进行外推。

可用外观属性可以包括多个源质地，每个源质地与不同的源坐标组相关联，每个源坐标组指示照射和观察方向的组合，对于该组合，相应的源质地指示外观的空间变化。外观模型可能需要包括多个目标质地的离散质地表，每个目标质地与不同的目标坐标组相关联，该目标坐标组指示照射和观察方向的特定组合，对于该组合，目标质地指示外观的空间变化。源质地可以与不同于离散质地表的目标坐标的源坐标组相关联。生成外观模型的第一和/或第二实例然后可以包括通过基于以下各项来执行统计质地合成操作来确定目标质地中的至少一个：

(i)与目标质地相关联的目标坐标组；

(ii)源质地，以及

(iii)源坐标组。

每个源坐标和目标坐标组指示照射和观察方向的特定组合。每个源坐标和目标坐标组可以特别是一组两个或更多个角度坐标。源坐标和目标坐标不需要在由材料的表面确定的参考系中直接指示照射和观察方向。代之以，它们可以是从这些方向通过适当的变换导出的。特别地，源坐标和/或目标坐标可以用Rusinkiewicz参数化来表达[Rus98]。特别地，在Rusinkiewicz参数化中，每个源坐标或目标坐标组可以包括极角或由极角组成。

每个源质地和每个目标质地可以由二维图像数据来表示，所述二维图像数据通常将是以像素的阵列的形式的，每个像素具有表示该像素的位置处的反射的像素值。源质地和目标质地的大小不需要相同。源质地中的每个可以表示针对照射和观察方向的特定组合的材料的反射性质的空间变化。因此，目标质地可以表示针对照射和观察方向的另一组合的材料的反射性质的空间变化。空间变化可以表示例如材料中效果颜料的效果，效果颜料产生闪光效果。

通过执行统计质地合成操作，创建目标质地，该目标质地具有与源质地相似的统计性质，但在逐个像素的基础上，与源质地中的任何源质地和不同目标坐标处的目标质地不相似。这模仿了金属效果油漆的性质。

统计质地合成操作可以包括：

(i)基于目标坐标和目标坐标，给源质地中的每个分配内插权重；以及

(ii)使用源质地和所分配的内插权重来合成目标质地。

在一些实施例中，给源质地中的每个分配内插权重包括以下过程：

创建源坐标组的德劳内三角剖分(triangulation)；

在包含目标坐标的德劳内三角剖分中找到单纯形(simplex)，找到的单纯形具有多个角；以及

使用目标坐标相对于所找到的单纯形的重心坐标作为所找到的单纯形的所述角处的源质地的内插权重。

所找到的单纯形之外的源质地的内插权重优选地被设置为零，即所找到的单纯形之外的源质地不用于合成目标质地。

合成目标质地可以包括以下步骤：

(a)以与源质地的内插权重成比例的概率随机选择源质地之一；

(b)从所选源质地随机提取质地片，质地片是源质地的一部分；

(c)通过修改所提取的质地片中的像素值来修改所提取的质地片，以获得经修改的质地片，以这样的方式执行像素值的修改：使得经修改的质地片的至少一个统计性质近似于相应的平均统计性质，通过对源质地执行加权平均来确定平均统计性质，所述源质地通过内插权重进行加权；

(d)将经修改的质地片***到目标质地中，使得经修改的质地片无缝地拟合已经存在于目标质地中的质地内容；以及

(e)重复步骤(a)-(d)直到完全填充目标质地。

每个质地片要理解为它已经从其提取的源质地的连续部分，即，已经从该源质地中剪切出的连续图像片。每个质地片可以具有任意形状。优选矩形形状、特别是方形形状。每个质地片优选地具有对应于被建模的油漆中最大效果颜料(例如，最大反射薄片)的大小的至少两倍的边长。另一方面，优选地，每个质地片具有不大于相应源质地的面积的10％的面积。

质地片是随机提取的，即每个提取的质地片在所选源质地中的位置是随机确定的，优选地在源质地的面积上具有恒定的权重。通过随机提取质地片，确保了在不同目标坐标处的得到的目标质地是不相似的。

在优选实施例中，对于其期望近似匹配的统计性质是像素值直方图。像素值直方图是数据集，该数据集针对图像中可能存在的多个亮度值的范围中的每个包括图像中该范围的相对频率的指示符。像素值直方图广泛用于数字图像处理中，以用于将比如数字图像的对比度和亮度的性质可视化。从图像数据生成它们和它们的解释在本领域中是众所周知的。

像素值的修改优选地包括对像素值应用逐点变换，即，对每个像素值单独应用的变换，逐点变换是单调非递减的。以这种方式，确保了在修改之前相同的像素值在修改之后仍然相同，并且像素的相对亮度顺序不会改变，即，在修改质地片之前比另一个像素值更亮的像素值在修改之后将不会比另一个像素值更暗。合适的变换函数在数字图像处理的领域中是众所周知的。特别地，用于确定将使得图像的直方图与另一图像的直方图相匹配的变换函数的直方图匹配算法在本领域中是众所周知的。

将经修改的质地片***到目标质地中，使得它无缝地拟合已经存在于目标质地中的质地内容，这可以通过使用本领域中众所周知的比如Graphcut/MinCut[Kw03]的技术来实现。在这些技术中，计算加强现有质地内容与新放置的片之间的视觉平滑度的接缝。质地片和已经存在的质地内容沿着该接缝被缝合在一起。

除了离散质地表之外，外观模型可以包括单色亮度BRDF模型，用于描述在表面位置和波长上平均的整体反射性质的角度相关性。生成材料的外观模型的实例然后可以包括确定亮度BRDF模型的参数。

外观模型还可以包括具有以颜色值的形式的多个条目的离散颜色表，每个条目与特定的坐标组相关联，每个坐标组指示观察材料所处于的照明和观察方向。颜色值可以在任意颜色空间中表达，所述颜色空间例如比如RGB或CIEXYZ的三色颜色空间，或者比如CIELAB(L*a*b*)的任何其他颜色空间，或者以任意格式以表示材料对入射光的光谱响应的光谱数据的形式表达。生成外观模型的实例然后可以包括以下操作中的至少一个：

(i)通过在照射和观察方向的不同组合下的可用颜色属性之间进行内插来确定离散颜色表的条目；和/或

(ii)通过从照射和观察方向的不同组合下的可用颜色属性外推来确定离散颜色表的条目。

代替与颜色表结合的单色BRDF模型，在替代实施例中，外观模型可以包括用于描述亮度和颜色的角度相关性的任何其他种类的模型。例如，外观模型可以包括三色BRDF模型，该三色BRDF模型为三色颜色空间(比如CIEXYZ或RGB)中的三个不同颜色通道中的每个单独建模反射性质的角度相关性，或者其建模CIELAB颜色空间中的L*a*b*值的角度相关性。

外观模型还可以包括在不透明或半透明油漆层的顶部上的透明涂层的效果的模型。

本公开还提供了一种用于将至少两种材料的外观可视化的***。该***包括显示装置、至少一个处理器和至少一个存储器，所述存储器包括被配置为使用显示装置使处理器执行上述方法的程序指令。该***还可以包括上述第一和/或第二外观捕获装置，并且可以相应地被配置用于从这些外观捕获装置接收外观属性。

本公开还提供了一种包括程序指令的计算机程序产品，所述程序指令在由处理器执行时使处理器执行上述方法。计算机程序产品可以包括其上存储了程序指令的非易失性计算机可读介质。非易失性介质可以包括硬盘、固态驱动器、存储卡或如它是本领域中众所周知的任何其他类型的计算机可读介质。

附图说明

在下文中参考附图描述本发明的优选实施例，所述附图是用于说明本发明的当前优选实施例的目的，而不是用于限制本发明的当前优选实施例的目的。在附图中，

图1示出了将两种材料的外观可视化的方法的示意图示；

图2-4示出了根据本发明的实施例以替代方式显示虚拟对象的显示装置的示意图示；

图5示出了图示图1的方法的流程图；

图6示出了示例性颜色配制***的面向硬件图示的示意图；

图7示出了根据现有技术的示例性外观捕获装置的透视图；

图8示出了图7中的外观捕获装置的测量阵列的透视图；

图9示出了图示示例性离散颜色表的图；

图10示出了离散质地表的示例性质地；

图11示出了图示示例性离散质地表的图；

图12示出了用于基于多个源质地来生成目标质地的方法的示意图示；

图13示出了示意性像素值直方图；

图14示出了将质地片***到目标质地中的示意图示；

图15示出了用于生成外观模型的实例的方法的流程图；

图16示出了用于基于多个源质地来生成目标质地的方法的流程图；以及

图17示出了图示信息含量沿三维中的变化的示意图。

具体实施方式

定义

在本公开中，以单数形式的引用也可以包括复数。具体地，除非上下文另外指示，否则词语“一”或“一个”可以指代一个、或者一个或多个。

术语“着色剂”要理解为当光从材料反射或透射通过材料时提供颜色的外观的材料的成分。着色剂包括颜料和染料。“颜料”是通常不溶于基料成分材料中的着色剂。颜料可以来自天然或合成来源。颜料可以包含有机和无机成分。术语“颜料”还包含在材料中产生特殊效果的所谓“效果颜料”。示例包括干涉颜料和反射颗粒或薄片。“染料”是通常可溶于基料成分材料中的着色剂。

术语“配方”要理解为涉及确定要如何制备材料的信息的集合。材料可以包括涂层材料(诸如汽车漆)、固体材料(诸如塑料材料)、半固体材料(诸如凝胶)以及其组合。配方特别地包括成分的浓度，所述材料由所述成分组成，所述成分诸如基料和着色剂。已经根据配方制备的材料也可以称为“配制物”。

术语“视觉外观”或简称“外观”要广义地理解为对象以其来反射和透射光的方式，包括但不限于在各种观察条件下观察对象的个体如何感知对象的颜色和表面质地。外观还包括对象如何反射和透射光的仪器测量结果。

视觉外观的一个方面是颜色。对象的“颜色”由入射白光的光谱的被反射或透射而未被吸收的部分决定。对象的颜色可以通过“颜色属性”来描述。一般而言，颜色属性指示在对象被入射光照射时对象的光谱响应。在本公开的上下文中，术语“颜色属性”要广义地理解为包含指示在对象被入射光照射时对象的光谱响应的任何形式的数据。颜色属性可以采取任意颜色空间中的颜色值的形式，例如在比如RGB或CIEXYZ的三色颜色空间中，或者在比如CIELAB(L*a*b*)的任何其他颜色空间中，或者以任意格式的表示材料对入射光的光谱响应的光谱数据的形式。在本公开的上下文中，颜色属性特别地可以包括材料在多个波长下的反射值和/或吸收和散射系数。“离散颜色表”要理解为涉及多组颜色属性的集合，每组颜色属性与照射和观察方向的不同组合相关联。

视觉外观的另一方面是质地。术语“质地”要广义地理解为指跨材料的表面的外观的空间变化，既指微观或中观尺度上的变化(即个体结构元素通常不能被肉眼辨别的尺度上的变化)，并且也指宏观尺度上的变化(即个体结构元素能被肉眼辨别的尺度上的变化)。如在本公开中理解的质地包括比如粗糙度、闪光和表面形貌的变化的现象。质地可以通过“质地属性”来描述。在本公开的上下文中，术语“质地属性”要广义地理解为包含能够量化质地的至少一个方面的任何形式的数据。质地属性的示例包括全局质地属性，诸如全局粗糙度参数或全局闪光参数。在一些实施例中，质地属性可以包括法线图或高度图。在一些实施例中，质地属性可以包括图像数据。在一些实施例中，图像数据可以与照射和观察方向的特定组合相关联。在这样的实施例中，质地属性可以包括多个图像数据集，每个图像数据集与照射和观察方向的不同组合相关联。“离散质地表”要理解为涉及优选地以图像数据的形式的多组质地属性的集合，每组质地属性与照射和观察方向的不同组合相关联。在本公开的一些实施例中，离散质地表中的图像是从一组源质地生成的，并且这些图像因此称为“目标质地”。

术语“外观模型”要理解为涉及使用称为“外观属性”的多个材料相关的参数以数学术语描述外观的形式构造。外观属性可以包括颜色属性和质地属性。外观模型优选地是独立于装置和平台的，即，它独立于可能已经用其来确定外观属性的特定测量装置，并且它独立于用于可视化的特定渲染平台。外观模型以这样的形式和以这样的完整性的水平提供对外观的数学描述：使得使用与虚拟对象的几何模型相结合的外观模型来生成在任意照射和观察条件下的虚拟对象的可视化(即，渲染和显示)是可能的。对于其几何结构由几何模型定义的虚拟对象的表面的任何部分、以及对于任何给定的照射和观察角度，外观模型提供必要信息以计算适当外观属性。

“虚拟对象”是只虚拟地存在于计算机中的对象。虚拟对象可能对应于或者可能不对应于真实的有形对象。虚拟对象可以通过几何模型和通过相关联的外观信息来数学定义。

真实的或虚拟的对象的“几何模型”要理解为该对象的任何表面在三维中的几何结构的至少近似表示。例如，在一些实施例中，几何模型沿着至少两个相互正交的方向定义曲线。在其他实施例中，几何模型定义多个多边形或面。几何模型可以例如由CAD文件来表示。

表述“外观模型的实例”要理解为涉及特定外观模型的所有外观属性的一组值，补充以使得能够标识底层外观模型的信息。换言之，虽然外观模型本身是定义如何根据一组外观属性来描述外观的形式构造，但是外观模型的实例包括例如如通过测量确定的和/或如从材料的个体成分的外观属性导出的特定于给定材料的这些外观属性的实际值。特别地，可以以数据文件的形式提供外观模型的实例。优选地，数据文件是以独立于装置和平台的格式的，诸如由X-Rite提出的AxF^TM格式。因此，AxF文件可以被认为是外观模型的“实例”的表示。然而，本公开不限于外观模型的实例的特定格式，并且外观模型的实例可以以另一文件格式(例如MDL格式)提供，或者它甚至可以以不同于文件的形式提供，例如作为数据流。

亮度属性可以在具有双向反射分布函数的外观模型中表示。“双向反射分布函数”(BRDF)在通常意义上要理解为定义光如何取决于照射和观察方向而在不透明表面处反射的函数，从而提供沿观察方向出射的反射辐射与从照射方向入射到表面上的辐照度的比率。如果该表面表现出该比率的空间变化，则BRDF被理解为提供该比率在表面区域上的平均值。“单色亮度BRDF”是这样的BRDF：它提供了所有可见光波长上的比率的(可能加权的)平均值，从而对表面的整体亮度变化建模。

“图像数据”是表示图像的数据。图像包括实际目标表面或对象的图像以及从与一组或多组外观属性结合的一个或多个几何模型导出的合成图像。图像可以采取图像元素(“像素”)的二维阵列的形式，每个像素具有一定的像素值。像素值可以表示特定波长下像素的位置处的反射、特定波长范围内的平均反射或所有可见波长内的平均反射。因此，在一些实施例中，图像数据可以以像素值的阵列的形式提供。在其他实施例中，图像数据可以以压缩形式或以变换形式提供。“图像数据集”是包括至少一个图像的图像数据或由至少一个图像的图像数据组成的数据集，即表示一个或多个图像的数据集。

如果两个大小相同的图像X、Y的像素值不相关，则在逐像素的基础上认为它们是“不相似的”。不相似性可以通过像素值的适当定义的相关性度量来量化。出于本公开的目的，如果图像中像素值的皮尔逊积矩相关系数r_XY的绝对值不大于0.1，优选不大于0.02，则可以认为图像是“不相似的”。皮尔逊积矩相关系数r_XY被定义为像素值的协方差除以两个图像的像素值的标准偏差(即方差的平方根)的乘积的商：

这里，x_i表示图像X中的像素值，

表示图像X中的像素值的算术平均值，y_i表示图像Y中的像素值，

表示图像Y中的像素值的算术平均值，N指示每个图像中的像素的数量(对于两个图像是相同的，因为图像具有相同的大小)，并且求和是针对所有像素的。图像X中像素值的算术平均值

以通常的方式被定义为

“Rusinkiewicz参数化”是根据“中途矢量(halfway vector)”和“差矢量(difference vector)”对照射和观察方向的描述，“中途矢量”被定义为作为入射和反射光线之间的中途的矢量，“差矢量”是其中中途矢量位于北极处的参考系中的照射方向。中途矢量在其中表面法线位于北极处的样本固定参考系中的球面坐标可以表示为(θ_h，φ_h)，其中θ_h称为极坐标“中途角”。差矢量在其中中途矢量位于北极处的参考系中的球坐标可以表示为(θ_I，φ_I)，其中θ_I称为极坐标“差角”。定义照射和观察方向的其余角度是方位角φ_h和φ_I。关于细节，请参考[Rus98]，其内容通过引用整体地并入本文中。

在本公开的一些实施例中，使用重心坐标来确定与外观模型相关联的质地属性。“重心坐标”是这样的坐标系中的坐标：其中单纯形(即，在二维的情况下的三角形)的点的位置由分配给其顶点的权重来指定。在二维中，单纯形是三角形。点r相对于顶点r₁、r₂和r₃的二维中的重心坐标由三个数字λ₁、λ₂、λ₃给出，使得

(λ₁+λ₂+λ₃)r＝λ₁r₁+λ₂r₂+λ₃r₃，

其中，数字λ₁、λ₂、λ₃中的至少一个是非零的。可能需要重心坐标是非负的(即，可能需要该点位于顶点的凸包内)。可能需要重心坐标满足条件λ₁+λ₂+λ₃＝1。然后将它们称为“绝对重心坐标”。

“外观捕获装置”是能够确定对象的一个或多个外观属性的装置。取决于要确定的外观属性，外观捕获装置可以采取例如相机、色度计、分光光度计或成像分光光度计的形式。

“分光光度计”是用于确定表面或材料在用可见光的照射下的反射和/或透射性质(作为波长的函数，即对象的光谱响应)的装置。已知不同类型的分光光度计，其具有不同的几何结构，并针对不同的目的进行了优化。一种重要的类型是“积分球分光光度计”。积分球分光光度计包括“积分球”，即由漫反射白色内表面界定的中空球形腔，其具有至少一个用于照射的入口端口和至少一个用于观察的出口端口。积分球产生均匀的散射或扩散效果。通过多次散射反射，入射到内表面上任何点上的光线都均匀地分布到所有其他点。光的原始方向的影响被最小化。积分球分光光度计的示例是X-Rite的型号Ci7860和Ci7500。其他类型的分光光度计仅确定单个窄范围的照射的方向(例如与表面法线成45°)和单个窄范围的观察的方向(例如与表面法线成0°)的光谱信息。示例包括可从X-Rite获得的型号962和964。称为“测角分光光度计”或“多角度分光光度计”的又一些其他分光光度计能够确定不同照射和观察方向的多个组合的光谱信息。“成像分光光度计”附加地具有成像能力，即它可以包括一个或多个相机来拍摄对象的一个或多个数字图像。具有成像能力的多角度分光光度计的示例包括可从X-Rite获得的台式型号TAC7或手持式型号MA-T6或MA-T12。

材料可以是透明的、半透明的或不透明的。如果材料允许光穿过该材料而没有明显的光的吸收和散射，则该材料是“透明的”。如果材料允许光通过，但是光可能在两个界面中的任何一个或内部散射，则该材料是“半透明的”。如果材料不透光，则该材料是“不透明”的。材料可能仅在一些光谱区域中是不透明的，而其在其他光谱区域中是半透明或透明的，并且反之亦然。例如，材料可以强烈吸收红光，即对红光基本上是不透明的，而只微弱吸收蓝光，即对蓝光是透明的。一些更复杂的材料，尤其是角度外观变化材料，可以包括透明、半透明和不透明材料的组合。例如，油漆涂层可以包括不透明的基层和透明的透明涂层。不透明(反射或干涉薄片)或半透明颜料可以被包含在油漆涂层的不透明、透明或半透明层中。

出于本公开的目的，如果材料的相当薄的切片在可见光谱的至少一部分中透射入射辐射通量的可观部分，例如，如果具有0.1mm的厚度的切片在可见光谱的至少一部分中透射入射辐射通量的至少1％，则该材料将被广泛地认为是“半透明的”。在这个意义上，术语“半透明的”包含术语“透明的”，即，出于本公开的目的，透明材料也被认为是半透明的。在这个意义上，半透明材料的示例包括许多基于聚合物的普通塑料材料，包括但不限于有机聚合物(比如PET、PP、PE、PMMA、PS、PC、PVC、PTFE、尼龙)、有机共聚物(比如苯乙烯-丁二烯共聚物)、无机聚合物(比如聚硅氧烷)和许多天然聚合物。半透明塑料材料可以包含颜料和添加剂。然而，在本公开的意义上，其他类别的材料也可以是半透明的，包括例如硅酸盐玻璃或纸。

出于本公开的目的，如果材料的次表面光传输性质在宏观或中观尺度上不变，例如在大于1μm的尺度上不变，则该材料要理解为“均质的”。特别地，均质材料不包括中观或宏观角度外观变化对象，比如薄片。

术语“宏观表面几何结构”要理解为涉及产品的整体几何结构，不包括微观或中观表面结构，即不包括低于例如1mm的微观或中观尺度上的表面几何结构的变化。例如，表面高度与局部平均值的小于例如1mm的局部变化可以被认为是微观或中观表面结构，并且因此宏观表面几何结构可以等同于在至少1mm的长度尺度上平均之后的表面几何结构。如果用数学术语来说，表面几何结构至少局部地对应于三维欧几里得空间中的二维可微流形，则该表面几何结构是“连续弯曲的”。

术语“渲染”指代通过计算机程序生成场景的照片真实感图像的自动过程。在本公开中，场景包括至少一个虚拟对象。用于渲染操作的输入信息包括至少一个虚拟对象的3D几何模型、与虚拟对象相关联的至少一组外观属性、关于场景中至少一个虚拟对象的位置和方向的信息、照明条件(其可以采取环境图的形式)、以及表征观察者的参数，诸如视点、焦距、视野、景深、纵横比和/或光谱灵敏度。渲染操作的输出是场景的图像，其包括虚拟对象的至少一部分的图像。许多不同的渲染算法在不同的复杂的程度上是已知的，并且用于渲染的软件可以采用多种不同的技术来获得最终图像。跟踪场景中的每个光的颗粒通常是不切实际的，因为它需要过多的计算时间。因此，通常使用用于对光传输进行建模的简化技术，诸如光线跟踪和路径跟踪......。

术语“可视化”包含渲染包括虚拟对象的场景并显示渲染的场景。术语“显示装置”或简称为“显示器”要理解为涉及用于以视觉形式呈现信息的计算机的输出装置。显示装置可以采取计算机监视器、TV屏幕、投影仪、VR头戴送受话器、诸如智能电话或平板计算机等的手持式装置的屏幕的形式。显示装置可以是触摸屏。在一些实施例中，显示装置可以是如EP 3 163 358 A1中公开的“虚拟灯箱(virtual light booth)”，以便提供渲染场景的特别逼真的印象。

术语“数据库”指代可以由计算机***电子地访问的有组织的数据的集合。在简单的实施例中，数据库可以是以任意格式的可搜索电子文件。示例包括Microsoft Excel^TM电子表格或可搜索的PDF文档。在更复杂的实施例中，数据库可以是由关系数据库管理***使用比如SQL的语言维护的关系数据库。

术语“计算机”或“计算装置”指代可以经由程序被指示自动执行算术或逻辑运算的序列的任何装置。在没有限制的情况下，计算机可以采取台式计算机、笔记本计算机、平板计算机、智能电话、可编程数字信号处理器等的形式。计算机通常包括至少一个处理器和至少一个存储器装置。计算机可以是另一装置(诸如外观捕获装置)的子单元。计算机可以被配置为建立到另一计算机、包括用于查询数据库的计算机的有线或无线连接。计算机可以被配置为经由有线或无线连接耦合到数据输入装置(比如键盘或计算机鼠标)，或者耦合到数据输出装置(比如显示器或打印机)。

“计算机***”要广义地理解为包含一个或多个计算机。如果计算机***包括多于一个计算机，则这些计算机不一定需要在同一位置处。计算机***内的计算机可以经由有线或无线连接彼此通信。

“处理器”是对外部数据源、特别是存储器装置执行操作的电子电路。

“存储器装置”或简称“存储器”是用于存储信息以供处理器使用的装置。存储器装置可以包括易失性存储器，如随机存取存储器(RAM)，以及非易失性存储器，如只读存储器(ROM)。在一些实施例中，存储器装置可以包括非易失性半导体存储器装置，诸如(E)EPROM或闪存装置，其可以采取例如存储卡或固态盘的形式。在一些实施例中，存储器装置可以包括具有机械组件的大容量存储装置，比如硬盘。存储器装置可以存储程序以供处理器执行。非易失性存储器装置也可以称为非易失性计算机可读介质。

“程序”是可以由处理器执行以执行特定任务的指令的集合。

“有线连接”是经由电导体的连接。有线连接可以包括一个或多个线缆。“无线连接”是包括没有通过电导体连接的两个或更多个点之间的信息的电磁传递的连接。无线连接包括经由WiFi^TM、蓝牙^TM、3G/4G/5G移动网络、光通信、红外等的连接。

使用颜色配制软件的方法的示例性实施例

图1图示了在车辆修理的情境中使两种或更多种材料的外观可视化的方法的示例性实施例。

假设受损车辆需要在车身修理厂中修理。车身修理厂处的技术人员使用手持式外观捕获装置52来确定完整车辆部件上的油漆涂层的一组外观属性54。油漆涂层是目标材料的示例，并且完整车辆部件是包括目标材料的目标对象的示例。油漆涂层的外观属性54一方面包括针对多对照射和观察方向的以光谱数据的形式的颜色属性，并且另一方面包括针对多对(可能不同的对)照射和观察方向的以图像数据的形式的质地属性。

外观捕获装置52将测得外观属性54传输到计算机***。计算机***可以包括在车身修理厂的场所处的本地客户端计算机。计算机***可以进一步包括在与车身修理厂不同的一个或多个位置处的一个或多个远程计算机。本地客户端计算机可以是例如移动电子装置，诸如笔记本计算机或平板计算机。远程计算机可以充当车身修理厂处的本地客户端计算机的服务器。

计算机***执行软件的几个元素。在第一方面中，计算机***执行模型生成软件102。模型生成软件102基于测得外观属性54生成所选形式外观模型的第一实例56，第一实例56表示目标材料的外观。外观模型的第一实例以独立于装置和平台的形式存储在第一AxF文件中。

在第二方面中，计算机***执行颜色配制软件104。颜色配制软件104从参考配方的数据库中确定一个或多个候选配方60。每个候选配方定义其外观属性可能与目标材料的测得外观属性54匹配的候选材料(在本示例中，候选油漆涂层)，候选材料包括基础配制中的一种或多种着色剂。为了确定候选配方，配制软件104从数据库106中检索与不同参考材料相关联的预定外观属性。特别地，预定外观属性可以与个体着色剂和/或与包含分散在基础配制中的一种或多种着色剂的参考配制相关联。特别地，数据库106可以包括两个子数据库：存储与个体着色剂和基础材料相关联的外观属性的着色剂数据库，以及存储与参考配方相关联的外观属性的配方数据库。数据库106中的外观属性可以通过对参考对象执行测量而已经预先确定，所述参考对象包括根据参考配方制成的参考材料或者包括参考配方的成分。

例如，为了确定与着色剂数据库中的个体着色剂相关联的外观属性，可以制备和测量涂有包含不同浓度下的单个着色剂的配制的缩减；为了确定配方数据库中的外观属性，可以测量涂有已经根据参考配方制备的配制的缩减。可以使用外观捕获装置来执行测量，该外观捕获装置可以是与外观捕获装置52相同类型的，或者其可以是不同类型的，如将在下面更详细地讨论的那样。

配制软件使用从数据库106中检索的预定外观属性来计算其相关联的外观属性预期“接近”目标材料的测得外观属性的候选配方。如果候选配方的外观属性和测得外观属性之间的外观差异根据某个预定义差异范数(difference norm)是小的，则候选配方的外观属性“接近”目标材料的测得外观属性。换言之，配制软件执行最小化算法，以确定接近差异范数的最小值的候选配方。配制软件104输出如此确定的候选配方60中的一个或多个。技术人员选择并可选地人工修改候选配方之一。配制软件104为所选(并且可选地修改的)候选配方60提供一组候选外观属性64。在一些使用情况下，候选配方对应于单个参考材料，即候选外观属性包括与单个参考材料相关联的外观属性。在其他使用情况下，候选外观属性根据与多个参考材料相关联的测得外观属性来计算。参考材料可以以使得能够确定与这些个体成分相关联的外观属性的方式包括候选配方的个体成分。当通过改变配方的个体成分的比例来修改候选配方时，这是特别有用的。模型生成软件102接收候选外观属性64，并生成外观模型的第二实例66，表示已经根据候选配方60制备的油漆涂层的预期外观。外观模型的第二实例66被存储在第二AxF文件中。

在第三方面中，计算机***执行渲染软件108。渲染软件渲染虚拟对象72，即，它基于虚拟对象72的表面几何结构的几何模型、外观模型的至少一个实例、以及照射和观察条件来创建虚拟对象72的照片真实感数字图像。渲染的虚拟对象72被显示在显示装置70上的场景中。几何模型定义了连续的三维宏观表面几何结构，该表面几何结构具有分布在相对大的立体角上的表面法线，即，它包括弯曲的或直线的表面部分，所述表面部分具有垂直于指向许多不同方向的表面部分的方向。在3D计算机图形学中，众所周知，使用多边形建模作为用于通过使用多边形网格表示或近似它们的表面来对对象进行建模的方法。如果多边形网格在渲染时基本上表现为连续弯曲的表面，则这些多边形网格也被认为是连续弯曲的三维宏观表面。渲染软件在特定的方向上和在特定的照射条件下(假设特定的观察条件)生成虚拟对象72的二维图像。以这样的方式来选择表面几何结构、方向和照射条件：使得所渲染的图像分别对于表面法线、照射方向和观察方向之间的大范围的角度给出虚拟对象的外观的良好印象，以便允许观察者同时针对这些方向的大范围评估所渲染的虚拟对象72的外观。

虚拟对象72具有彼此相邻的第一和第二部分72a、72b。使用外观模型的第一实例56来渲染第一部分72a，而使用外观模型的第二实例66来渲染第二部分72b。在第一和第二部分72a、72b之间可视化虚拟分隔线74。第一和第二部分72a、72b看起来在虚拟分隔线74处相遇。虚拟分隔线可以是可见的或不可见的。渲染软件可以被配置为基于用户输入而在虚拟分隔线在其中可见的第一模式和虚拟分隔线在其中不可见的第二模式之间切换。

显示装置70可以位于车身修理厂处。例如，显示装置70可以是车身修理厂处的本地客户端计算机的触摸屏显示器。车身修理厂处的技术人员可以使用他的手指或使用比如数字笔、轨迹板或鼠标的定点装置跨显示装置70移动虚拟线74，并观察如在虚拟对象72上渲染的外观模型的第一和第二实例之间外观如何匹配或不同，即，在如测得的汽车的实际油漆涂层的外观和已经根据候选配方制备的油漆涂层的预期外观之间，外观如何匹配或不同。可选地，技术人员可以改变虚拟对象的形状，在空间中旋转虚拟对象，同时改变照射和观察角度。可选地，技术人员可以改变照射条件，包括照射方向和光源的选择。

在一些实施例中，虚拟对象72可以具有受损汽车的实际部分的形状，例如，目标对象50的形状。为此，渲染软件108可以从合适的存储器中(例如从存储多个汽车部件的几何数据的数据库110中)检索对应于汽车部件的几何结构的三维几何模型。为此，技术人员可以提供例如受损汽车的制造商和型号或另一类型的车辆信息，诸如唯一的车辆标识号，以及要被渲染为虚拟对象72的一个或多个组件。

在其他实施例中，渲染的虚拟对象72是三维对象，其不同于要修理的汽车的实际汽车部件，但是具有对检查各种材料的外观特性有用的三维形状。同样在这样的实施例中，渲染软件108可以从存储器中、例如从数据库110中检索虚拟对象的三维几何模型。不管虚拟对象72是否表示实际的汽车部件，虚拟对象72优选地允许同时检查表面法线、照射方向和观察方向之间的大量的角度的颜色和质地差异。

当在显示装置70上观察时，渲染的虚拟对象的第一部分72a的外观不需要完美匹配实际目标对象50的外观。特别地，显示装置70不需要被校准。重要的是第一和第二部分72a、72b的外观在颜色和质地两者上可彼此直接比较。即使显示器上的颜色不是真颜色，这也是可能的。通过对两个部分使用相同的外观模型，确保了两个部分72a、72b的外观的直接可比性。

还应注意，外观模型本身和渲染软件都不需要为了确保直接可比性而是完美的。外观模型和渲染软件使得能够对表示目标对象50上的实际涂层材料和根据候选配方60的涂层材料的两个实例之间的差异进行相当的现实判断就足够了。

如果第一和第二部分72a、72b的视觉比较示出匹配还不令人满意，则技术人员可以通过选择不同的候选配方或通过修改先前选择的候选配方来在配制软件104中修改候选配方60。配制软件104向模型生成软件102提供修改的候选配方的外观属性，模型生成软件102基于这些属性创建外观模型的修改的第二实例。可以指示渲染软件108使用外观模型的修改的第二实例来渲染虚拟对象的第二部分，从而通过修改的配方替换可视化中的先前候选配方，或者可以指示渲染软件将虚拟对象分割成三个部分72a、72b、72c，以便将目标材料与两个候选配方一起可视化，从而在可视化中添加另一可移动的分隔线76(“递归分割器控制”)。

当已经获得满意的匹配时，可以用所选候选配方60生产实际的试验对象80，例如缩减。可以使用外观捕获装置82来确定试验对象80的外观属性。可以将试验对象80的外观属性与目标对象50的那些外观属性进行比较，以便确定匹配是否客观地在容差范围内。这可以通过评估试验对象80的测得外观属性和目标对象50的那些测得外观属性之间的适当差异范数来完成。附加地或替代地，可以使用试验对象80的外观属性生成外观模型的第三实例，并且可以使用外观模型的相关联的实例在显示装置70上并排地将目标材料和试验材料可视化。当然，如果物理试验对象80和物理目标对象50两者位于相同的位置处，则直接比较这两个对象也是可能的。如果匹配还不在容差范围内，则配制软件104可以通过考虑候选配方60的预测外观属性与针对试验对象80已经实际确定的那些外观属性之间的差异来进-步修改候选配方60。

试验对象80可以由车身修理厂中的技术人员生产。然而，最经常的是，试验对象80将由远离车身修理厂的位置处的油漆供应商生产。因此，用于确定试验对象80的外观属性的外观捕获装置82可能不同于用于确定目标对象50的外观属性的外观捕获装置52。

在上述实施例中，假设车身修理厂处的技术人员不仅操作外观捕获装置52来确定目标对象50的一组外观属性54，而且该同一人还操作配制软件104来定义一个或多个候选配方，并使用显示装置70来比较虚拟对象72的第一和第二部分72a、72b。然而，这些任务也可以在不同地点处工作的不同的人中分配。例如，车身修理厂处的技术人员可以将外观属性54传输给远程油漆供应商，并且油漆供应商处的油漆专家可以使用配制软件104来定义候选配方，并且可以比较虚拟对象的不同部分以确定预期的匹配是否是令人满意的。因此，计算机***可以包括在油漆供应商的控制下的至少一台计算机，例如执行配制软件104、模型生成软件102和渲染软件108的计算机。对于在该过程中涉及的不同实体之中的任务的划分，存在许多其他可能性。因此，对于技术人员来说将显而易见的是，计算机***可以包括几个计算机，所述计算机可以位于不同的位置处，并且所述计算机可以在不同实体的控制下，这些计算机经由无线或有线数据通信连接进行通信。

分割器控制的替代实施例

图2-4图示了虚拟对象可以在其中显示在显示装置70上的方式的替代实施例。

在图2的实施例中，虚拟对象72再次被分割成三个部分72a、72b、72c，以便将目标材料以及两个候选配方可视化。然而，与图1的实施例相比，第二可移动分隔线76垂直于第一可移动分隔线74定向，其在竖直可移动分隔线74与显示场景的竖直边界之间水平延伸。以这种方式，目标材料可以与两种不同的候选配方并排地在虚拟对象72上可视化。通过移动第一和第二分隔线，用户不仅可以容易地评估目标材料和候选配方之间的相似性，而且还可以将候选配方彼此比较。

在图3的实施例中，围绕将部分72a与部分72b和72c分隔开的虚拟分隔线74限定了融合区78。在融合区78中，虚拟对象72被可视化为具有在部分72a的外观属性和相应的相邻部分72b或72c的外观属性之间平滑变化的外观属性。可以通过在目标材料的外观属性与相应候选配方的外观属性之间进行内插来计算融合区78中的外观属性。融合区78与虚拟分隔线78相关联，并且当用户使虚拟分隔线78移动时，融合区78与虚拟分隔线78一起移动，从而总是确保虚拟分隔线74周围的平滑融合。以这种方式，如果使用根据相应候选配方的涂层过度喷涂目标涂层的一部分，则获得虚拟对象72将看起来如何的更加逼真的印象。

目标涂层的外观属性和候选配方之间的内插可以以与在从一组有限的可用外观属性生成外观模型的实例的情境中进行的下述内插过程非常相似的方式执行。特别地，目标涂层的颜色属性和候选配方之间的内插可以在任何线性颜色空间中以直接的方式执行。目标涂层的质地属性和候选配方之间的内插可以使用经修改的统计质地合成过程来执行，这将在下面更详细地描述。

如图4中所图示，虚拟对象72的两个或更多个部分之间的一条或多条分隔线和/或一个或多个融合区的许多其他布置是可设想的。分隔线不必是直线。它们也可以是弯曲的。例如，在图4中，示出了环形融合区78，该环形融合区完全包围虚拟对象的第一部分72a。用户可以跨虚拟对象移动环形融合区，以评估目标涂层和一个或多个候选配方之间的差异，所述目标涂层在由融合区78界定的圆形区域中被可视化，所述一个或多个候选配方在融合区之外被可视化。再次，通过将不同的外观属性与虚拟对象72的不同部分相关联，可以将多于仅一个候选配方可视化。在图4的示例中，除了第一部分72a之外，还图示了虚拟对象72的两个附加部分72b、72c。这些附加部分72b、72c通过虚拟分隔线76分隔开。虚拟分隔线76也可以由用户移动。

虚拟分隔元素和/或融合区的多得多的布置是可设想的。

使用外观模型的实例来将对象可视化的其他可能方式

在替代实施例中，外观模型的实例可以用于可视化除了仅包括单个虚拟对象的场景之外的其他场景，该单个虚拟对象具有使用外观模型的不同实例可视化的两个或更多部分。例如，可以可视化包括两个或更多个相同或不同虚拟对象的场景，虚拟对象中的每个是使用外观模型的不同实例来可视化的。一般而言，场景包括一个或多个虚拟对象，并且使用外观模型的不同实例来可视化场景的不同部分。例如，两个相同形状的对象(例如，两个相同形状的车辆部件，比如后视镜)可以使用与公共几何模型结合的外观模型的第一和第二实例并排可视化。

流查图

图5示出了图示可视化两种材料的外观的方法的示例性流程图。在步骤501中，用户(例如，车身修理厂处的技术人员)通过用第一外观捕获装置52测量目标对象的光反射和/或透射性质以及可选的质地性质来确定目标对象50的外观属性54。在步骤502中，外观捕获装置52将这些测得外观属性传输到计算机***的组件，例如传输到车身修理厂中的手持式计算机。在步骤503中，计算机***使用模型生成软件102从测得外观属性生成外观模型的第一实例56。在步骤504中，计算机***从数据库106中读取一个或多个参考材料的外观属性。在步骤505中，计算机***使用配制软件104确定一个或多个候选配方60。配制软件104可以如下执行该步骤505：通过简单地选择具有与目标对象50的测得外观属性54相似的外观属性的一种或多种参考材料，通过修改检索到的参考材料的配方，或者如果在数据库106中没有找到接近的匹配则通过生成新的候选配方60。在步骤506中，计算机***使用配制软件104确定与候选配方60相关联的外观属性64。在步骤507中，计算机***使用模型生成软件102从与候选配方60相关联的外观属性64生成外观模型的第二实例66。在步骤508中，计算机***使用渲染软件108基于外观模型的两个实例56、66、虚拟对象72的几何模型以及照射和观察条件来可视化虚拟对象72。在步骤509中，用户比较渲染的虚拟对象部分72a、72b，以获得可接受的外观匹配。在步骤510中，如果可视化虚拟对象部分72a、72b没有提供可接受的可视化匹配，则用户可以修改配方或选择不同的候选配方60。一旦获得可接受的渲染匹配，在步骤511中，用户就使用候选配方制备试验对象80。在步骤512中，相同或不同的用户使用第二外观捕获装置82确定试验对象80的外观属性。在步骤513中，试验对象80的外观属性被传输到计算机***，并且计算机***使用配制软件104确定修改的配方，如果需要的话，以改进(refine)匹配。然后可以针对修改的配方重复步骤506到513。

计算机***：示例性硬件

图6图示了可以在图1和2中所图示的方法中使用的计算机***的示例性面向硬件的框图。在该示例中，计算机***包括两个主要组件：本地客户端计算机(例如，膝上型或平板计算机)300，其可以位于车身修理厂处，以及远程服务器计算机360，其可以位于油漆供应商的场所处。

如它是本领域中众所周知的那样，本地客户端计算机300的各种组件经由一个或多个总线301彼此通信。本地客户端计算机300包括一个或多个处理器310。如它是本领域中众所周知的那样，处理器310可以包括例如单核或多核CPU和GPU。本地客户端计算机300还包括一个或多个非易失性存储器装置320，诸如闪存装置和/或硬盘驱动器。非易失性存储器320尤其存储本地客户端计算机300的操作***321和几个应用程序，包括模型生成软件102和渲染软件108。非易失性存储器320还存储用户数据。本地客户端计算机300还包括随机存取存储器(RAM)330、和输入/输出(I/O)接口340和通信接口350。附接到通信接口的是显示装置70和定点装置90。通信接口350可以包括例如以太网接口、WiFi接口、蓝牙^TM接口等中的一个或多个。通信接口可以用于与远程服务器360的通信。

远程服务器计算机360可以类似于客户端计算机300来设置。它存储配制软件104以供执行。客户端计算机360可以包括或被连接到数据库106。服务器计算机360和客户端计算机300之间的通信可以经由有线或无线网络进行，例如经由LAN或WAN，特别是经由互联网进行。

客户端计算机还经由通信接口350与第一和/或第二外观捕获装置52、82通信。

在其他实施例中，客户端计算机300的某些功能代之以被转移到服务器计算机360。特别地，服务器计算机(而不是客户端计算机)可以执行模型生成软件102和/或渲染软件108。如果客户端计算机是具有有限的计算能力的“瘦(thin)”客户端，则这可能是有用的。

在又一些其他实施例中，计算机***仅由执行上述软件组件中的所有组件的单个计算机组成。

示例性外观捕获装置

在上面的示例中，外观捕获装置52和82优选地是具有成像能力的多角度分光光度计。这样的装置本身是已知的。例如，可以使用可从X-Rite获得的MA-TX系列。

图4和图5中图示了可以与本发明结合使用的示例性手持式外观捕获装置。在文献US20140152990A1中更详细地描述了图4和图5的外观捕获装置，文献US20140152990A1的内容通过引用被整体地并入本文中，用于教导手持式外观捕获装置。

外观捕获装置被配置用于捕获测量对象的视觉印象。在下文中，外观捕获装置也称为“测量装置”或简称为“装置”。在下文中，术语“测量阵列”被理解为是指手持式测量装置的组件的总和，所述组件用于照射测量对象的表面上的测量点，并捕获由该测量点反射的光，并将其转换成相应的电信号。术语“装置法线”被理解为是指假想的直线，该直线相对于装置是固定的，并且基本上延伸穿过测量装置的测量开口的中心点，并且当测量装置被定位在测量对象的平面表面上时，该直线垂直于测量对象的表面。测量开口的平面通常平行于测量对象的表面，使得装置法线也垂直于测量开口。术语“竖直”被理解为是指装置法线的方向。因此，竖直截面要理解为是指包含装置法线或平行于装置法线的平面中的平面截面。在测量装置的以下描述中，方向和/或角度是相对于装置法线的，装置法线相对于测量装置在空间上是固定的。

图7中所示的手持式测量装置作为整体由参考标记HMD指示。它包括容纳测量阵列的壳体H，如图7中所示，以及控制测量阵列的电子控制阵列(未示出)。两个握持部件1和2在壳体H上横向地实现。腕带3被布置在壳体H的上侧上。显示阵列4在壳体H的前侧上提供。操作构件(未示出)被布置在壳体H的上侧上。

壳体H的下侧包括由基板7加固的壳体基座5，基板7配备有测量开口6。壳体基座5在测量开口6的区域中包括孔(未用参考标记指示)，使得光可以通过孔和测量开口6离开壳体的内部，并且相反，来自外部的光可以通过测量开口6和孔进入壳体的内部。三个支撑构件7a、7b和7c围绕基板7上的测量开口6布置，并且有助于使得测量装置即使在弯曲的测量表面上也能够正确定位，使得装置法线完全或至少大部分与测量点的中心点中的测量表面的法线重合。

装置法线在图7中由参考标记DN指示。它垂直于基板7并延伸穿过测量开口6的中心点。

测量阵列的设置在图8中图示。它包括弧形体10，弧形体10固定地保持在壳体H中，并且测量阵列的光学和/或光电组件被布置在弧形体10中。在所示的示例性实施例中，这些组件包括七个照射装置21、22、23、24、25、26和27以及三个拾取(pick-up)装置31、32和33。此外，紧邻测量开口6还提供漫射照射的照射装置28。

七个照射装置21至27沿着相对于装置法线DN的不同照射方向照射测量对象的表面上的测量点。例如，照射装置21至27的光轴可以相对于装置法线以-60°、-45°、-30°、-20°、0°、+30°和+65°的角度定向。所有七个照射装置21至27被布置成使得它们的光轴位于包含装置法线DN的公共平面中，该平面在下文中称为***平面SP。

三个拾取装置31至33中的两个被实现为光谱测量通道；第三拾取装置被实现为空间分辨颜色测量通道。拾取装置在***平面SP中以+15°和+45°的观察角度接收在测量对象的照射测量点的区域中反射的测量光。形成光谱测量通道的两个拾取装置31、32包括两个分光计31a和32a，测量光通过透镜和光纤31c和32c被馈送到所述两个分光计31a和32a。形成空间分辨测量通道的拾取装置33包括颜色使能(RGB)相机33a，测量光经由分束器和透镜(未示出)被施加到该相机33a。分束器位于拾取装置32的拾取光路(beam path)中，并且以+15°的观察角度将测量光的一部分从弧形体10中横向引导到相机33a上。因此，拾取装置32和33共享测量光，并以完全相同的观察角度接收测量光。

测量几何结构与ASTM标准E2194和E2539相反，其中定义了以15°和45°的两个镜面照射和以0°、30°、65°、-20°、-30°和-60°的六个镜面光谱通道，用于针对金属和珠光效果颜料的测量。提供一个在-45°的角度处的附加照射装置22，用于结合拾取装置31测量光泽。

两个分光计31a和32a分别对以45°和15°的观察角度馈送给它们的测量光进行光谱解析，并且每次测量分别产生一组光谱测量值，每个测量值对应于不同波长范围内的强度。分光计31a、32a不对测量光进行空间解析，即，它们对它们接收的整个测量光进行光谱解析。

RGB相机33a在空间和光谱两者上解析以15°的观察角度馈送给它的测量光。根据三种颜色RGB，光谱分辨率限于三个通道。RGB相机每次测量相应地产生3*n个测量值的原始数据集，其中n是分辨像素的数量。

提供漫射照射的照射装置28，使得该测量装置也支持具有漫射照射条件的测量模式。照射装置28被配置为LED背景照射，其从大的空间角度直接照射测量对象。它包括布置在测量开口6的两侧上的两行白色发光二极管和两个倾斜的漫射膜，每个分配给一行，用于均匀化照射。两行LED可以由控制阵列分离地控制。

当然，取决于设想的应用，也可以采用其他类型的照射装置。

上述手持式测量装置配备有七个照射装置和三个拾取装置以用于测量的目的。使用照射装置和拾取装置的其他组合是可能的。照射装置不一定需要被布置在平面内。

测量装置的输出包括一组外观属性。这些外观属性中的一些是例如以由分光计确定的光谱测量值的形式或者以从其导出的颜色值的形式的颜色属性，例如RGB、CIELAB或CIEXYZ值。其他外观属性是例如以由RGB相机获得的原始图像数据的形式或者以从其导出的图像数据的形式、例如以单色灰度图像数据的形式的质地属性。与生成外观模型的实例所需的外观属性相比，从测量装置获得的该组外观属性通常是稀疏的，如将在下一节中更详细地讨论的那样。

外观模型的示例

如上面已经概述的，在本领域中已经提出了许多不同的外观模型。在下文中，将描述示例，该示例对于描述现代车辆涂层的外观特别有用。该示例性外观模型是[RMS+08]中提出的模型的改进。[RMS+08]的内容通过引用被整体地并入到本文中，用于教导示例性外观模型。目前讨论的外观模型也称为“CPA2模型”。

外观模型假设涂层包括两个最外层：不透明或半透明的颜色层，其被平滑透明的透明涂层覆盖。颜色层可以包含高反射效果颗粒(所谓的“薄片”)。具有方向i的入射光在其沿着“折射”入射方向

到达颜色层之前被折射到透明涂层中。反射光在沿一个方向o折射到周围空气中之前，沿出射方向

传播通过透明涂层。折射通过标准几何光学建模，假设透明涂层的典型折射率。

颜色层的外观模型被分隔成三个部分：

(a)单色亮度BRDF部分，其对材料的空间和波长平均的整体反射行为(亮度变化)进行建模。亮度BRFD部分可以在角度域中示出高频。

(b)以离散颜色表的形式的光谱部分，其描述颜色的低频角度变化(颜色偏移)。

(c)以质地表的形式的BTF部分，其捕获颜色层中反射薄片的效果。BTF部分由多个固定大小的图像表示，每个图像表示在照射和观察角度的特定组合下的质地。

这三个部分被组合成一个表示油漆表面的外观的空间变化的BRDF函数，如下：

这里，

i表示空气中的入射光的方向，

o为空气中的反射光的方向，

x为对象表面上的位置，

n为位置x处的表面法线，

为透明涂层中的入射光的(折射)方向，

为透明涂层中的反射光的(折射)方向，

F(n，d，η)为在相对折射率η的介质边界处近似菲涅耳反射的函数(或菲涅耳公式本身)，

为单色BRDF模型，参见后续部分(a)，

为内插的颜色表，参见后续部分(b)，

为内插的质地表，参见后续部分(c)，

δ(d₁，d₂)为O(3)上的狄拉克δ函数，仅当d₁＝d₂时为非零，并且

r(n，d)为法线n的表面处的反射的方向d。

(a)亮度BRDF部分的示例

使用基于多瓣微面元的BRDF模型来对单色亮度BRDF部分进行建模：

这里，

表示

和

之间的中途的方向(也称为“中途矢量”)，

a表示漫射反照率，

K表示BRDF瓣的数量，

s_k表示第k瓣的乘数，

D表示根据所选模型的微面元正态分布函数，

α_k表示第k瓣的粗糙度参数，

F_0，k表示第k瓣的菲涅耳函数参数，其可能是折射率或垂直入射时的反射的指数，并且

G表示根据所选模型的所谓几何结构项。

在一些实施例中，使用具有施利克-菲涅耳近似的库克-托兰斯BRDF模型。这里，D、F和G被定义如下：

F(n，d，F_0，k)＝F_0，k+(1-F_0，k)(1-<n，d>)⁵

这里，

θ_h表示固定对象参考系中的中途矢量

的极角，其中表面法线n定义z轴(“北极”)，

分别表示在所述参考系中的矢量

和

的z分量。

该模型的自由参数是a、s_k、α_k和F_0，k(对于k＝[1..K])。通常，K被选择为在1和3之间。

(b)光谱部分的示例

通过离散颜色表来对光谱部分进行建模，离散颜色表包括针对多个方向的组合的一个或多个颜色属性(例如，色调和饱和度)的值。颜色属性的值在下文中将被简称为“颜色值”。有利地，采用Rusinkiewicz参数化[Rus98]来指示方向。在简单的实施例中，颜色表是双变量的，即颜色属性的值仅取决于Rusinkiewicz参数化中的极角，如将在下文中解释的那样。这些极角在下文中也将被称为颜色表的“坐标”。

图9中示出了双变量离散颜色表的示例性表示。在水平轴上，中途矢量

的极角θ_h被用作第一坐标。该极角也称为“薄片角”，因为它定义了油漆层的表面法线n和油漆层中薄片的法线之间的角度，该角度将导致入射光从入射方向

反射到出射方向

在竖直轴上，中途矢量

和入射方向

之间的极差角θ_I被用作第二坐标。极差角θ_I对应于变换的参考系中的入射方向

的极角，在变换的参考系中，中途矢量

定义z轴。它可以被解释为指示相对于薄片法线的入射方向。颜色表包含每对坐标(即极角θ_h和θ_I的每个组合)的一个或多个颜色值。颜色表针对其包含一个或多个颜色值的每对坐标由图9中的圆圈表示。这样的一对坐标(极角θ_h和θ_I的组合)在下文中将被称为颜色表中的“位置”。颜色表中的位置被规则地间隔开。因此，颜色表由位置与其相关联的颜色值的规则矩形网格来表示。颜色表中的两个示例性条目的位置被标记为“a”和“b”。

外观模型假设油漆材料具有各向同性反射。对于各向同性材料，颜色不取决于固定对象参考系中的中途矢量

的方位角φ_h。因此，颜色表不考虑方位角φ_h。

此外，该模型假设效果颗粒(“薄片”)本身也具有各向同性反射，并且颜色偏移由反射光的镜面反射分量控制(dominate)。因此，颜色仅微弱地取决于变换的参考系中的入射方向

的方位角φ_I。因此，颜色表也不考虑方位角φ_I。

在图9的颜色表中，在θ_h和θ_I的较大值处的空白区域指示“禁止”角度的组合，由于在透明涂层与周围空气的界面处的折射和全反射，这些“禁止”角度的组合在物理上是不可能的。颜色表不包含这些角度的组合的任何颜色值。

(c)BTF部分的示例

外观模型包括双向质地函数(BTF)模型。一般来说，BTF模型是取决于平面质地坐标(x，y)以及观察和照射球面角度的多维函数。通过离散质地表来对BTF部分进行建模。质地表中的每个条目是质地切片，即表示针对特定照射和观察方向的组合的薄片的效果的图像。在简单的实施例中，Rusinkiewicz参数化也用于质地表，并且质地表再次是双变量的，其再次由角度θ_h和θ_I来参数化。

图10中示出了质地切片的简化示例。该图中的亮点指示薄片的反射，该薄片的薄片法线以相关联的薄片角度φ_h定向，并且其在相关联的差角φ_I处可。

图11图示了双变量质地表的离散性质。在外观模型中，为由圆圈标记的离散位置(由其坐标θ_h、θ_I定义)提供质地切片。由于如与颜色表中的颜色值相比，针对每个质地切片的更高的存储空间要求，因此质地表中的θ_h和θ_I的离散值之间的间距可能分别比颜色表中的更大。与颜色表中一样，对于质地表，没有任何针对“禁止”角度的条目。三个示例性质地切片的位置被标记为a′、b′和c′。

生成外观模型的实例

在目前提出的方法中，从使用手持式外观捕获装置的测量或从配制软件，仅针对有限数量的方向

的组合的一组有限的外观属性可用。这些外观属性通常对与由外观模型中的离散颜色和质地表所要求的那些相同的入射和出射光的方向的组合不可用。此外，可用的外观属性不一定与由外观模型所要求的那些属性具有相同的类型。例如，可用的外观属性通常不包括如上所述的单色亮度BRDF模型的参数。

因此，为了生成外观模型的实例，需要从一组有限的可用外观属性确定外观模型的外观属性。应当注意，外观模型的该组外观属性可能比该组有限的可用外观属性具有大得多的基数。因此，生成外观模型的实例可能涉及内插和外推。

如上面已经讨论的，亮度BRDF部分的自由参数为a、s_k、α_k和F_0，k(对于k＝[1..K])。这些参数可以使用如本领域中已知的非线性优化来确定[RMS+08]。

接下来，需要填充双变量颜色表。颜色属性可能仅对几对角度θ_h和θ_I可用，在图9的图中用十字标记。颜色属性对其可用的每对角度(θ_h，θ_I)将在下文中称为“样本点”。样本点定义了凸包，其在图9中示出为虚线区域。对其而言在双变量颜色表中需要颜色值的每个位置(θ_h，θ_I)将称为具有“目标坐标”的“目标位置”。在本示例中，目标位置分布在规则的网格上，并且因此这些位置也可以称为“网格点”。目标位置处的颜色值将被称为“目标颜色值”。它们可能与可用颜色属性具有相同的格式，或者它们可能具有不同的格式。例如，可用的颜色属性可以包括光谱数据，而颜色表可以包括减少的值(例如，比如RGB或者CIEXYZ的三色值，或者比如CIELAB的另一个颜色空间中的值)。对于以下讨论，假设样本点处的可用颜色属性的格式和颜色表中的颜色值的格式之间的变换是已知的。

通过标准的内插和外推过程，可以容易地从样本点处的可用颜色属性来内插和外推目标位置处的颜色值。如果颜色表中的颜色值的格式不同于样本点处的可用颜色属性的格式，则可以在内插/外推之前或之后应用必要的变换，只要样本点处的可用颜色属性和颜色表中的颜色值两者都在线性颜色空间中表达。如果颜色表中的颜色值未在线性颜色空间中表达(例如，作为CIELAB值)，则首先在线性颜色空间中执行内插/外推，并且然后才应用变换。

例如，对于凸包内的内插，可以使用在可用样本点处的颜色属性之间或通过所述变换从这些颜色属性获得的颜色值之间的最近邻内插、反距离加权[Sh68]或高斯过程回归[W98]，如它是本领域中众所周知的那样。

在优选实施例中，对于在具有低于凸包的最小θ_h的θ_h或高于凸包的最大θ_h的θ_h的凸包外的目标位置处的外推，可以使用最近邻样本点处的颜色属性(或导出的颜色值)。最近邻样本点要理解为与目标位置具有最小欧几里德距离

的样本点。在图9中，这针对目标位置“a”来图示。目标位置“a”处的颜色值从样本点A处的可用颜色属性导出，样本点A是距离目标位置“a”的最近邻样本点。

对于凸包外的所有其他目标位置处的外推，特别是具有低或高θ_I的那些位置处的外推，优选实施例将不仅使用最近邻样本点，而且将在最接近目标位置的那两个样本点的颜色属性(或导出的颜色值)之间进行内插。在图9中，这由目标位置“b”处的条目图示。两个最接近的样本点是点B和C。因此，目标位置“b”处的颜色值将通过样本点B和C处的颜色属性(或导出的颜色值)之间的内插来确定。

当然，也可以使用其他“表现良好的”内插和外推方法，如它们在本领域中已知的那样。

最后，需要填充双变量质地表。以图像的形式的质地样本可能仅对几对角度θ_h和θ_I(在下文中再次称为“样本点”)可用。例如，如上所述，外观捕获装置52可以具有一个或多个相机。可用的质地样本可以是针对多个照射角度和单个观察角度的图像数据(例如，在单个RGB相机的情况下)或者针对多个照射角度和多个观察角度的图像数据集(例如，在多个RGB相机的情况下)。

在图11的示例中，只有六个质地样本可用。相应的样本点在图11中用十字来标记，并标为A′、B′、C′、D′、E′和F′。这些样本点的凸包再次被示为虚线区域。样本点处的质地样本称为“源质地”。需要为其确定质地切片以填充双变量质地表的角度对θ_h和θ_I再次称为具有“目标坐标”的“目标位置”。与颜色表的情况中一样，在本示例中，这些点被布置在规则的网格上，并且因此也可以称为“网格点”。因此，目标位置处的质地切片称为“目标质地”。它们可以从可用的源质地中确定如下：

-对于质地表中的每个目标位置(θ_h，θ_I)，确定该目标位置是否在凸包内。

-如果目标位置在凸包内，则使用“统计质地合成”从周围的源质地中内插该目标位置处的目标质地，如下面更详细解释的那样。例如，对于图11中的位置a′，将使用统计质地合成。

-如果目标位置不在凸包内，则使用最近邻样本点的源质地来定义目标质地(“第一策略”)，或使用没有任何空间变化的恒定质地，即不包含来自薄片的任何反射的“空”质地(“第二策略”)。在一个可能的实现中，对于小于可用样本点的最大θ_h的值θ_h可以采用第一策略，而对于大于可用样本点的最大θ_h的θ_h采用第二策略。例如，对于图11中的位置b′，第一策略将是合适的，而对于位置c′，可以使用第二策略。只要至少两个样本点足够接近目标位置，对凸包之外的目标位置使用统计质地合成也是可能的。例如，使用样本点B′和D′处的源质地，对于目标位置b′使用统计质地合成可能是合适的。

统计质地合成

现在将参考图12至16来解释图11中针对目标位置a′的统计质地合成的示例性实施例。

最初，不同样本点处的三个源质地被选择用于目标位置a′。为此，为所有样本点A′到F′创建德劳内三角剖分。在二维中，如在本示例中，德劳内三角剖分的结果是一组三角形。在图11中，得到的三角形的边由各个样本点A′到F′之间的直线图示。现在，选择包含目标位置a′的三角形，并且确定在这个三角形的角处的样本点。在本示例中，这些是样本点B′、D′和E′。对于后续过程，使用这三个样本点处的源质地。

接下来，确定这三个源质地的内插权重。为此，确定目标位置a′相对于所选三角形的绝对重心坐标，即满足条件λ₁+λ₂+λ₃＝1的非负重心坐标λ₁、λ₂、λ₃。然后，这些重心坐标被用作所选三角形的角处的源质地的内插权重。在图11的示例中，相对于样本点B′的绝对重心坐标相当大，而相对于样本点D′和E′的绝对重心坐标小得多。因此，样本点B′处的源质地将接收相对较大的内插权重，而样本点D′和E′的内插权重将小得多。对于所有其他源质地，内插权重设置为零。

现在，从样本点B′、D′和E′处的三个源质地中为目标位置a′合成目标质地。这将关于图9进行解释。

为此，随机选择三个源质地之一，其中概率与源质地的内插权重成比例。在图12的示例中，已经随机选择了样本点B′处的源质地211。

从该源质地211中，现在在源质地内的随机位置处提取质地片，即源质地的一小部分，这由源质地中的小矩形指示。在图12的示例中，提取质地片212。现在修改所提取的质地片212，使得其统计性质之一至少近似地匹配相应的平均统计性质。在本示例中，修改所提取的质地片212，使得其像素值直方图近似地匹配平均像素值直方图202。现在将更详细地解释这一点。

图13中图示了示例性像素值直方图。像素值直方图包含多个相对频率值，一个这样的值对应于图像中的每个离散像素值。例如，如果像素值范围从0变化到255，则对于0和255之间的每个像素值，像素值直方图将包括该像素值在图像中的相对频率。在一些实施例中，像素值可以被分仓(bin)，每个仓对应于一定范围的像素值，并且像素值直方图可以相应地包括减少的数量的相对频率值，每个值表示仓中的一个中的像素值的相对频率。像素值直方图可以用于评估图像中的亮度的分布，包括整体亮度和对比度。例如，图13的像素值图将指示图像在相对暗的背景之前包含一些亮点或区域。

在图12中，所有像素值直方图以非常简化的方式示出为每个像素值直方图只有五个仓。从其提取质地片212的源质地211的像素值直方图被示出为直方图213。平均像素值直方图示出为直方图202。该平均直方图已经作为分别在样本点B′、D′和E′处的三个源质地211、221和231的像素直方图213、222和232的加权平均而获得，权重是如上面确定的内插权重。现在修改质地片212的像素值，以便获得更接近匹配平均像素值直方图202的像素值直方图。通过对质地片212中的每个像素值应用单调非递减的逐点变换来执行修改。用于寻找合适变换的直方图匹配算法在与亮度和对比度修改相关联的数字图像处理的领域中是众所周知的。经修改的质地片被图示为质地片214，并且得到的像素值直方图被图示为直方图215。得到的像素值直方图215现在紧密地匹配平均像素值直方图202。

现在将经修改的质地片214***到目标质地201中，使得它无缝地拟合已经在目标质地201中的质地内容。为此，第一经修改的质地片214可以简单地被放置在目标质地201的角中。每个后续的质地片通过称为“MinCut”或“Graphcut”的技术***到目标质地上。参考文献[Kw03]。非常简单地说，计算加强现有像素和新放置的片之间的视觉平滑度的接缝。质地片和存在的内容沿着这条接缝缝合在一起。

在图14中图示了一个这样的***步骤。在该示例中，经修改的质地片214将被***到已经包括质地片203的目标质地201中。选择新***的片214的位置204，使得新***的片214与现有片203重叠。在重叠的区域中计算接缝205，使得沿着接缝的现有像素和新***的像素看起来在视觉上是平滑的，即，没有沿着接缝产生可见的边界，如在[Kw03]中详细解释的那样。现有片203和新***的片214沿着该接缝缝合在一起，每个片的剩余部分被丢弃。这导致更大的片206。

现在根据需要经常重复该过程，以完全填充目标质地201。

用于填充离散质地表的流程图

图15示出了图示生成外观模型的实例的示例性过程的流程图。在步骤601中，模型生成软件接收一组可用外观属性，该组可用外观属性可能已经由测量目标对象50的外观捕获装置或者由确定候选配制方案60的成分(包括候选配制方案60中成分的比例量)的配制软件确定。在步骤602中，软件执行亮度BRDF模型与可用外观属性的拟合。在步骤603中，软件基于可用外观属性填充离散颜色表。在步骤604中，软件基于可用外观属性填充离散质地表。为此，它确定形成离散质地表的条目的目标质地。

用于统计质地合成的流程图

图16示出了图示确定与目标坐标组相关联的目标质地的示例性过程的流程图。在步骤701中，模型生成软件接收多个源质地及其相关联的坐标。在步骤702中，软件创建德劳内三角剖分。在步骤703中，软件标识包含目标坐标的德劳内三角剖分的单纯形。在步骤704中，软件确定目标坐标相对于所标识的单纯形的重心坐标，并将这些存储为内插权重。在步骤705中，软件以根据源质地的内插权重的概率在所选单纯形的角处随机选择源质地中的一个。在步骤706中，软件从所选源质地中随机提取质地片。在步骤707中，软件修改该片以使其像素值直方图与平均像素值直方图匹配。在步骤708中，软件将经修改的片***到目标质地中，使得它无缝地拟合目标质地中的现有质地内容。重复步骤705到708，直到目标质地被完全填充。完成的目标质地然后可以用作离散质地表中的条目。

计算混合物的质地表

当计算材料(其是几种成分的混合物(例如，候选材料的几种成分，其是根据由配制软件确定的配方的成分的混合物))的离散质地表的条目时，同样可以采用统计质地合成。在这种情况下，源片可以以根据它们在混合物中的浓度的概率从与不同成分相关联的源质地中随机采样。

生成融合区的质地属性

如果融合区显示在显示装置上，则融合区中要使用的质地属性同样可以使用统计质地合成过程来计算。所采用的统计质地合成过程可以在外观模型的第一实例的双变量质地表中的质地(以下称为“第一质地”)和外观模型的第二实例的双变量质地表中的相应质地(以下称为“第二质地”)之间进行内插。第一质地与要显示在融合区的一侧上的目标材料相关联，并且第二质地与要显示在融合区的另一侧上的候选配方相关联。得到的合成质地可以用于为与融合区内的特定位置相关联的融合外观模型生成双变量质地表。每个合成的质地都是以与上面讨论的针对合成目标质地所解释的相同的精神从第一和第二质地合成的，唯一的区别在于，不是在三个源质地之间进行内插，而是在第一和第二质地之间执行内插。根据融合区内的位置，第一和第二质地之间的内插权重可以在0和1之间选择。

不同外观捕获装置的组合

在上面讨论的工作流程中，通过测量来确定三种类型的对象的外观属性：目标对象、试验对象和已经针对各种参考材料产生的参考对象。这些测量通常将在不同的位置处进行。例如，在车辆修理的情况下，对目标对象的测量在车身修理厂中执行，对试验对象的测量通常将由油漆供应商执行，并且对参考材料的缩减的测量通常将在油漆开发实验室中执行。

因此，这些测量通常将不会由相同的外观捕获装置来执行。如果相同类型的外观捕获装置用于所有三种类型的对象的测量，则仅需要仪器间校准。然而，通常可以使用不同位置处的可能具有不同的复杂的程度的不同类型的外观捕获装置。例如，车身修理厂可能仅使用相对简单的不具备成像能力的手持式多角度分光光度计(诸如X-Rite的MA-5仪器)来测量目标对象，而油漆供应商可能使用具有成像能力的更复杂的手持式多角度分光光度计(诸如X-Rite的MA-T6或MA-T12仪器)来测量试验对象，而油漆开发实验室可能使用高度复杂的固定外观捕获装置(比如X-Rite的TAC7仪器)来确定参考材料的性质，该装置具有大量的照射和观察方向以及高度复杂的成像能力。

因此，与三种类型的对象相关联的可用信息含量可能不同。这在图17中图示，图17示意性地图示了信息含量沿三个维度中的变化：第一维度是目标对象的可用信息含量，第二维度是试验对象的可用信息含量，并且第三维度是参考材料的可用信息含量。可用信息含量可以沿着这些维度中的每个在“L”(“低”，颜色属性仅对于照射和观察方向的少量的组合可用，没有可用的质地属性)和“H”(“高”，颜色属性和质地属性两者都可用，每个都对于照射和观察方向的大量的组合可用)之间变化。

现在将讨论用于处理不同级别的信息含量的可能策略。

(a)对于目标对象、试验对象和参考材料，信息含量是高的(图17中的块“H/H/H”)

理想地，对于三个维度中的每个，信息含量是高的，即对于目标材料、对于试验材料以及对于每个参考材料，照射和观察方向的大量的组合的颜色属性以及照射和观察方向的相当大量的组合的以图像形式的质地属性都是可用的。在这种情况下，足够的信息直接可用于基于目标对象的测得外观属性将目标材料的外观可视化，并为此生成外观模型的第一实例。也有足够的信息用于确定合适的候选配方(对于其而言，期望与目标材料的外观的良好匹配)，用于基于参考材料的可用外观属性将候选配方的外观可视化，以及用于为此生成外观模型的第二实例。最后，也有足够的信息用于将试验材料可视化以及用于为此生成外观模型的另一实例，以及用于通过确定合适的差异范数和/或通过视觉比较目标材料和试验材料的可视化来评估试验材料的外观是否实际上匹配目标材料的外观。

(b)对于目标对象，信息含量是低的，但是对于试验对象和参考材料，信息含量是 高的(图17中的块“L/H/H”)

在一些实施例中，使用具有分光光度和成像能力两者(即，相关联的信息含量是高的)的外观捕获装置来执行对试验对象和参考对象的测量，而使用仅具有分光光度能力而没有成像能力(即，相关联的信息含量是低的)的更简单的装置来执行对目标对象的测量。那么问题就来了，如何以逼真的方式将目标对象的材料的外观可视化，尽管没有该材料的测得质地属性。

在这种情况下，至少有两种可想到的策略。在简单的策略中，在没有质地的情况下将整个虚拟对象简单地可视化。为此，外观模型的第一和第二实例两者都可以用“空的”质地表来生成，即，用其条目全部都相同并且不表现出任何空间变化的质地表来生成。等效地，不包括质地的外观模型可以用于将虚拟对象可视化。

然而，该过程可能不会产生目标对象和候选配方的材料的外观的相当逼真的印象，并且因此可能难以判断这些外观是否实际匹配。

因此，在优选策略中，基于与参考材料相关联的已知质地属性来预测目标对象的质地。一旦已经生产了试验对象，对试验对象的质地预测就可以附加地基于试验对象的质地属性。换言之，与参考材料和/或试验对象的材料相关联的质地信息用于将目标材料的外观可视化。为此，可以使用属于外观模型的另一实例的质地信息来“编辑”外观模型的第一实例，即，与目标材料相关联的质地信息被与不同材料相关联的质地信息替换或修改。在US20150032430A1中描述了用于以这种方式“编辑”外观属性的方法，其内容通过引用被整体地并入本文中。

如果有限数量的质地属性可用于目标材料，然而这些质地属性不足以用于以有意义的方式生成外观模型的第一实例的质地部分，或者包含比可用于参考材料和/或试验对象的质地信息更少的质地信息，则也可以使用类似的策略。例如，第一外观捕获装置可以是多角度分光光度计，其被配置为确定颜色属性和仅一个或几个全局质地属性，例如，全局粗糙度参数或全局闪光参数。相比之下，对于参考材料和/或对于试验对象的可用质地属性可以包括照射和观察方向的几个组合的图像数据。在这种情况下，可以修改与目标对象相关联的质地属性，以包括从参考材料和/或试验对象的可用图像数据中导出的图像数据。将与目标对象相关联的图像数据当然应该与目标对象的可用测得质地属性一致，例如，与诸如粗糙度或闪光参数的测得全局参数一致。这可以通过适当地修改参考和/或试验材料的可用图像数据中的像素值来确保，使得从经修改的图像数据计算的全局参数分别对应于目标对象的测得全局参数。

用于修改像素值的方法可以非常类似于统计质地合成的情境中的上述方法，其中修改质地片，使得其像素值直方图近似地匹配平均像素值直方图。注意，像素值直方图和全局粗糙度或闪烁参数两者都表示与图像数据相关联的统计性质的示例。类似于上面的统计质地合成的示例，在本示例中，图像也被修改，使得它的统计性质之一(这里：从图像数据计算的全局参数)近似地匹配目标对象的测得统计性质(这里：目标对象的测得全局参数)。

针对目标对象测得的有限质地属性也可以不同于全局参数。例如，测得质地属性可以包括用于照射和观察方向的一个单个组合的一个单个图像。不管测得质地属性的确切性质如何，可以通过以这样的方式修改与目标材料、参考材料和/或试验对象相关联的可用图像的像素值来生成目标材料的附加图像：经修改的图像数据的至少一个统计性质近似于与目标对象的测得质地属性相关联的相应统计性质。

所建议的质地预测的过程基于这样的假设：只要候选配方的成分属于与目标材料的成分相同的材料的类别，目标材料的质地就将相当类似于候选配方的质地。例如，如果已知目标材料包括某种类型的薄片，并且如果候选配方包括这样的类型的薄片，则合理地假设目标材料的质地将至少接近候选配方的质地。

如果目标材料的可用颜色属性不足以用于可靠地拟合由所使用的外观模型所需的颜色属性，则也可以采用类似的策略。例如，如果所使用的多角度分光光度计没有足够数量的照射和观察方向对来确定目标材料的颜色属性，则可能是这种情况。在这种情况下，外观模型的颜色属性也可以使用如US20150032430A1中公开的过程以与上述质地属性的编辑过程类似的方式通过“编辑”来确定。

(c)对于目标对象和参考材料，信息含量是高的，但对于试验对象，信息含量是低 的(图17中的块“H/L/H”)

在一些实施例中，基于图像的质地信息可用于目标材料和参考材料，但是没有质地信息或仅有限的质地信息(例如，针对仅一对或照射和观察方向的一个或多个全局质地参数或图像信息)可用于试验对象。在这种情况下，可以采用与情况(b)中类似的策略。特别地，可以基于与目标材料和/或与参考材料相关联的已知质地属性来预测试验材料的质地。

(d)对于目标对象，信息含量是低的，并且对于试验对象，信息含量是低的，但对于 参考材料，信息含量是高的(图17中的块“L/L/H”)在一些实施例中，基于图像的质地信息仅可用于参考材料，而没有质地信息或仅有限的质地信息可用于目标对象和试验对象。在这种情况下，可以再次采用与情况(b)中类似的策略。特别地，目标材料和试验材料的质地可以基于与参考材料相关联的已知质地属性来预测。

(e)对于目标对象和试验对象，信息含量是高的，但对于参考材料，信息含量是低 的(“H/H/L”，在图17中不可见)

在一些实施例中，基于图像的质地信息可用于目标对象和试验对象两者，但是没有质地信息或仅有限的质地信息可用于参考材料。例如，如果使用相对旧的着色剂数据库，该数据库是在只有不太复杂的仪器可用的时候填充的，而更现代的外观捕获装置可用于测量目标材料和试验材料，则可能是这种情况。

在这样的情况下，目标对象和/或试验对象(一旦已经生产试验对象)的质地信息可以用于将候选配方的外观可视化。为此，可以使用属于目标材料和/或试验材料的质地信息来“编辑”相关联的外观模型的第二实例。这可以以与上述情况(b)中以其来编辑外观模型的第一实例非常相同的方式来完成。

一旦这些质地属性可用，就使用试验对象的质地属性来将候选配方可视化，这是有利的，因为可以安全地假设，另外的候选配方和试验材料的组成之间的相对小的差异将仅可忽略地影响质地。

(f)对于目标对象和参考材料，信息含量是低的，但对于试验对象，信息含量是高 的(“L/H/L”，在图17中不可见)

如果基于图像的质地信息可用于试验材料，而没有质地信息或仅有限的质地信息可用于目标材料和参考材料，则可以在没有质地或使用一些通用质地的情况下将虚拟对象可视化，只要试验对象还不可用。一旦试验对象可用，试验对象的质地属性然后就可以用于将目标材料和候选配方可视化。为此，可以如上面针对情况(b)描述的那样编辑外观模型的相关联实例中的质地属性。

(g)对于目标对象，信息含量是高的，但对于试验对象和参考材料，信息含量是低 的(图17中的块“H/L/L”)

如果基于图像的质地信息可用于目标材料，而没有质地信息或仅有限的质地信息可用于试验材料和参考材料，则可以采用与针对上述情况(e)类似的策略。目标对象的质地信息可以用于将候选配方的外观和试验对象的外观可视化。为此，可以使用属于目标材料的质地信息来“编辑”外观模型的相关联的实例。

(h)对于目标对象、试验对象和参考材料，信息含量是低的(图17中的块“L/L/L”)

如果没有基于图像的质地信息可用于对象中的任何对象，则可以在没有质地的情况下或使用目标对象所属的材料的类别的通用质地将虚拟对象简单地可视化。

参考文献

[Berl9]Roy S.Berns，“Billmeyer and Saltzman′s Principles of ColorTechnology”，第4版，Wiley，2019，第184页。

[Kw03]Kwatra，V.，

A.，Essa，I.，Turk，G.和Bobick，A.，“Graphcuttextures：image and Video synthesis using graph cuts”，ACM Transactions onGraphics(ToG)，2003，22(3)，第277-286页。

[MTG+19]Gero Milller、Jochen Tautges、Alexander Gress、Martin Rump、MaxHermann和Francis Lamy，“AxF-Appearance exchange Format”，版本1.7，2019年4月11日，其是可基于请求从X-Rite公司获得的。

[RMS+08]MartinRump、Gero Müller、Ralf Sarlette、Dirk Koch和RichardKlein，“Photo-realistic Rendering of Metallic Car Paint from Image-BasedMeasurements”，载于：R.Scopigno、E.

(编辑)，Computer Graphics Forum，Eurographics，2008年4月，27：2(527-536)。

[RSK09]Martin Rump、Ralf Sarlette和Richard Klein，“EfficientResampling，Compression and Rendering of Metallic and Pearlescent Paint”，载于：M.Magnus、B.Rosenhahn、H.Theisel(编辑)，Proceedings of Vision，Modeling，andVisualization，2009年11月，第11-18页。

[Rus98]Szymon M.Rusinkiewicz，“A New Change of Variables for EfficientBRDF Representation”，载于：G.Drettakis G.、N.Max(编辑)，Rendering Techniques’98，Eurographics，Springer，维也纳，1998，https：//doi.org/10.1007/978-3-7091-6453-2  2。

[Sh68]Shepard D.，“A two-dimensional interpolation function forirregularly-spaced data”，载于：Proceedings of the 196823rd ACM nationalconference，1968，第517-524页。

[W98]Williams，C.K.，“Prediction with Gaussian processes：From linearregression to linear prediction and beyond”，载于：Learning in graphical model，Springer，Dordrecht，1998，第599-621页。

参考标记的列表

1、2握持部件

3腕带

4显示阵列

5壳体基座

6测量开口

7基板

7a、7b、7c支撑构件

10弧形体

21、22、23、24、25、26、27、28照射装置

31、32、33拾取装置

31a、32a分光计

33a RGB相机

31c、32c光纤

50目标对象

52外观捕获装置

54、64外观属性

56、66外观模型的实例

60候选配方

70显示装置

72虚拟对象

72a、72b、72c部分

74、76虚拟分隔线

78融合区

80试验对象

82外观捕获装置

90定点装置

102模型生成软件

104配制软件

106数据库(着色剂和配方)

108渲染软件

110数据库(几何数据)

201 目标质地

211、221、231 源质地

203、206、212、214 质地片

202、213、215、222、232 像素值直方图

204 位置

205 接缝

300 客户端计算机

310 处理器

320 非易失性存储器

321 操作***软件

330 RAM

340 I/O接口

350 通信接口

360 服务器计算机

501-511 步骤

HMD 手持式测量装置

H 壳体

DN 装置法线

SP ***平面

A、B、C 样本点(颜色)

a、b 目标位置(颜色表)

A′、B′、C′、D′、E′、F′ 样本点(质地)

a′、b′、c′ 目标位置(质地表)

Claims (17)

1.一种用于将至少两种材料的外观可视化的计算机实现的方法，所述方法包括：

获得外观模型的第一实例(56)，第一实例(56)指示第一材料的外观，其中，获得外观模型的第一实例(56)包括使用第一材料的一组外观属性(54)来生成第一实例(56)；

获得外观模型的第二实例(66)，第二实例(66)指示第二材料的外观，其中，获得外观模型的第二实例(66)包括使用第二材料的一组外观属性(64)或使用一个或多个参考材料的预定外观属性来生成第二实例(66)，所述预定外观属性被存储在数据库(106)中；以及

获得虚拟对象(72)的几何模型，所述几何模型定义虚拟对象(72)的三维宏观表面几何结构；以及

使用显示装置(70)、使用外观模型的第一和第二实例(56、66)以及几何模型以及虚拟分隔元素(74)和/或融合区(78)来将包括虚拟对象(72)的场景可视化，

其中，虚拟对象(72)具有第一和第二部分(72a、72b)，

其中，使用外观模型的第一实例(56)来将虚拟对象(72)的第一部分(72a)可视化，以及

其中，使用外观模型的第二实例(66)来将虚拟对象(72)的第二部分(72b)可视化，以及

其中，通过虚拟分隔元素(74)和/或通过融合区(78)将第一和第二部分(72a、72b)在视觉上分隔开。

2.根据权利要求1所述的计算机实现的方法，

其中，用虚拟分隔元素(74)来将场景可视化，并且

其中，第一和第二部分(72a、72b)彼此相邻，并且通过虚拟分隔元素(74)在视觉上分隔开，使得第一和第二部分(72a、72b)看起来在虚拟分隔元素(74)所在的位置相遇。

3.根据权利要求2所述的计算机实现的方法，其中，显示装置(70)定义二维观察平面，并且其中，虚拟分隔元素(74)是观察平面中的线，特别是直线。

4.根据前述权利要求中的任一项所述的计算机实现的方法，

其中，用融合区(78)将场景可视化，并且

其中，将融合区(78)可视化包括在外观模型的第一和第二实例(56、66)的外观属性之间进行内插。

5.根据权利要求4所述的计算机实现的方法，

其中，在外观模型的第一和第二实例(56、66)的外观属性之间进行内插包括通过在外观模型的第一实例(56)的至少一个质地与外观模型的第二实例(66)的至少一个质地之间进行内插来计算融合区(78)中的至少一个内插质地，

其中，计算每个内插质地包括：

(i)给外观模型的第一实例(56)的至少一个质地并且给外观模型的第二实例(66)的至少一个质地分配内插权重；以及

(ii)使用外观模型的第一实例(56)的至少一个质地和外观模型的第二实例(66)的至少一个质地以及所分配的内插权重来合成内插质地，合成内插质地包括：

(a)以与所述质地的内插权重成比例的概率随机选择外观模型的第一和第二实例(56、66)的质地之一；

(b)从所选质地随机提取质地片；

(c)通过修改所提取的质地片中的像素值来修改所提取的质地片，以获得经修改的质地片，以这样的方式执行像素值的修改：使得经修改的质地片的至少一个统计性质近似于相应的平均统计性质，通过对外观模型的第一和第二实例(56、66)的质地执行加权平均来确定平均统计性质，所述外观模型的第一和第二实例(56、66)的质地通过内插权重进行加权；

(d)将经修改的质地片***到内插质地中，使得经修改的质地片无缝地拟合内插质地中的现有质地内容；以及

(e)重复步骤(a)-(d)直到完全填充内插质地。

6.根据前述权利要求中的任一项所述的计算机实现的方法，包括响应于用户输入而相对于虚拟对象(72)移动虚拟分隔元素(74)或融合区(78)，并且以这样的方式重新定义第一和第二部分(72a、72b)：使得即使在已经移动虚拟分隔元素(74)或融合区(78)之后，第一和第二部分(72a、72b)仍然被虚拟分隔元素(74)或融合区(78)在视觉上分隔开。

7.根据前述权利要求中的任一项所述的计算机实现的方法，

其中，场景用定义的照射条件来可视化，并且

其中，所述方法包括响应于用户输入而改变照射条件，并且用改变的照射条件将场景可视化。

8.根据前述权利要求中的任一项所述的计算机实现的方法，

其中，场景用处于定义的姿势中的虚拟对象(72)来可视化，并且

其中，所述方法包括响应于用户输入而改变虚拟对象(72)的姿势，并且将具有处于改变的方向上的虚拟对象(72)的场景可视化。

9.根据前述权利要求中的任一项所述的计算机实现的方法，包括：

通过使用第一外观捕获装置(52)对包括第一材料的目标对象(50)执行测量来确定第一材料的该组外观属性(54)。

10.根据前述权利要求中的任一项所述的计算机实现的方法，其中，获得外观模型的第二实例(66)包括：

接收第一材料的外观属性(54)；

基于所接收的第一材料的外观属性(54)和参考材料的预定外观属性来确定第二材料的配方(60)；以及

基于配方(60)和参考材料的预定外观属性来生成外观模型的第二实例(66)。

11.根据权利要求10所述的计算机实现的方法，还包括：

使用根据配方(60)制备的材料来制备物理试验对象(80)；

通过对试验对象(80)执行测量来确定试验对象(80)的一组测得外观属性；

基于配方(60)和参考材料的预定外观属性来计算第二材料的外观属性；以及

使用试验对象(80)的测得外观属性和第二材料的计算的外观属性来确定经修改的配方。

12.根据前述权利要求中的任一项所述的计算机实现的方法，

其中，第一材料的外观属性(54)、第二材料的外观属性(64)和/或参考材料的预定外观属性与照射和观察方向的多个组合相关联，并且

其中，生成外观模型的第一和/或第二实例(56、66)包括以下操作中的至少一个：

在照射和观察方向的不同组合下的可用外观属性之间进行内插；以及

从在所选照射和观察方向的组合下的可用外观属性进行外推。

13.根据权利要求12所述的计算机实现的方法，

其中，可用外观属性包括多个源质地(211、221、231)，每个源质地与不同的源坐标组(A′至F′)相关联，每个源坐标组(A′至F′)指示照射和观察方向的组合，对于所述照射和观察方向的组合，相应的源质地(211、221、231)指示外观的空间变化，

其中，外观模型包括离散质地表，所述离散质地表包括多个目标质地(201)，每个目标质地(201)与不同的目标坐标组(a′)相关联，目标坐标组(a′)指示照射和观察方向的特定组合，对于所述照射和观察方向的特定组合，目标质地(201)指示外观的空间变化，并且

其中，生成外观模型的第一和/或第二实例(56、66)包括通过基于以下各项来执行统计质地合成操作来确定目标质地(201)中的至少一个：

(i)与目标质地(201)相关联的目标坐标组；

(ii)源坐标组(A′-F′)；以及

(iii)源质地(211、221、231)。

14.根据权利要求13所述的计算机实现的方法，其中，统计质地合成操作包括：

(i)基于目标坐标组(a′)和源坐标组(A′-F′)，给源质地(211、221、231)中的每个分配内插权重；以及

(ii)使用源质地(211、221、231)和所分配的内插权重合成目标质地(201)。

15.根据权利要求14所述的计算机实现的方法，其中，合成目标质地(201)包括：

(a)以与源质地(211、221、231)的内插权重成比例的概率随机选择源质地(211、221、231)之一；

(b)从所选源质地(211)随机提取质地片(212)；

(c)通过修改所提取的质地片中的像素值来修改所提取的质地片(212)，以获得经修改的质地片(214)，以这样的方式执行像素值的修改：使得经修改的质地片(214)的至少一个统计性质(215)近似于相应的平均统计性质(202)，通过对源质地(211、221、231)执行加权平均来确定平均统计性质(202)，源质地(211、221、231)通过内插权重进行加权；

(d)将经修改的质地片(214)***到目标质地中，使得经修改的质地片(214)无缝地拟合目标质地中的现有质地内容(203)；以及

(e)重复步骤(a)-(d)直到完全填充目标质地。

16.一种用于将至少两种材料的外观可视化的装置，包括显示装置、处理器和存储器，所述存储器包括被配置为使所述处理器执行前述权利要求中的任一项所述的方法的程序指令。

17.一种计算机程序产品，包括程序指令，所述程序指令当由处理器执行时使得所述处理器执行根据权利要求1至15中的任一项所述的方法。

Images