CN112655014A - 用于将牙弓的3d模型的视图转换为照片级视图的方法 - Google Patents

Abstract

一种用于将“原始”数字三维模型的“原始”视图转换为超逼真视图的方法，所述方法包括以下步骤：21)创建由多于1000条“转换”记录组成的“转换”学习库，每条转换记录包括：‑表示场景的“转换”照片，以及‑对所述场景进行建模的“转换”数字三维模型的视图或“转换视图”，所述转换视图如所述转换照片一样地表示所述场景；22)通过所述转换学习库训练至少一个“转换”神经网络；23)将所述原始视图提交给所述至少一个转换神经网络，使得所述至少一个转换神经网络将所述原始视图转换为超逼真视图。

Description

用于将牙弓的3D模型的视图转换为照片级视图的方法

技术领域

本发明涉及牙弓照片的分析领域。

它特别涉及用于使三维模型和此类模型的视图超逼真、创建旨在基于这些超逼真的视图来训练神经网络的学习库，以及使用如此训练的神经网络来分析牙弓的照片的方法。

背景技术

最新技术基于图像(通常为X射线)使用神经网络来评估牙齿状况，特别是用于验尸鉴定。

“神经网络”或“人工神经网络”是本领域技术人员众所周知的一组算法。特别地，所述神经网络可以选自：

-专门用于图像分类的神经网络(被称为卷积神经网络(CNN))，例如：

-AlexNet(2012)

-ZF Net(2013)

-VGG Net(2014)

-GoogleNet(2015)

-微软ResNet(2015)

-Caffe：BAIR Reference(参考)CaffeNet、BAIR AlexNet

-Torch：VGG_CNN_S、VGG_CNN_M、VGG_CNN_M_2048、VGG_CNN_M_1024、VGG_CNN_M_128、VGG_CNN_F、16-layer(层)VGG ILSVRC-2014、19层VGG ILSVRC-2014、网络中网络(Imagenet和CIFAR-10)

-Google：Inception(V3，V4)；

-专门用于定位和检测图像中的对象的网络(对象检测网络)，例如：

-R-CNN(2013)

-SSD(单发多箱检测器(Single Shot MultiBox Detector)：对象检测网络)，更快的R-CNN(基于更快区域的卷积神经网络：对象检测网络)

-更快的R-CNN(2015)

-SSD(2015)。

上面的列表不是详尽的。

为了可操作，必须基于不成对学习库或成对学习库，使用称为“深度学习”的学习过程来训练神经网络。

成对学习库由一组记录组成，每个记录包括图像和该图像的描述。通过在神经网络的输入端呈现记录，所述神经网络逐渐学习如何为呈现给它的图像生成描述。

例如，学习库中的每个记录可以包括牙弓的图像以及在该图像中标识牙齿或“牙齿区域”的表示以及相应的牙齿编号的描述。在经过训练之后，神经网络将因此能够在呈现给它的图像中识别牙齿的表示和相应的牙齿编号。

神经网络执行分析的质量直接取决于学习库中的记录的数量。该学习库通常包含多于10000条记录。

在牙科领域，由于产生的图像数量有限、特别是由正畸医生和牙医产生的图像数量有限，并且由于这些图像的普遍机密性，使得创建大量记录变得困难。

由神经网络执行的分析的质量还取决于学习库中的记录的描述的质量。这些描述通常由操作员产生，该操作员通过计算机限定牙齿区域，并且在识别出相应的牙齿(例如“右上犬齿”)之后，相应地为其分配编号。此操作称为做标记。如果操作员在识别牙齿时或输入牙齿时犯了错误，则该描述将不正确，从而导致训练质量下降。

进行标记的操作员可能对同一张图像有不同的解释。因此，学习库的质量将取决于操作员采用的解释。

因此，持续需要一种用于创建高质量的学习库的方法。

本发明的一个目的是满足这一需求。

发明内容

本发明提出了一种用于丰富历史学习库的方法，所述方法包括以下步骤：

1)生成场景、特别是牙齿场景的数字三维模型，或“历史模型”以及优选地所述历史模型的描述；

2)创建所述历史模型的超逼真或“照片级”视图；

3)优选地，基于所述历史模型的描述，创建所述超逼真视图的描述或“历史描述”；

4)创建由所述超逼真视图和所述超逼真视图的描述组成的历史记录，并将该历史记录添加到历史学习库中。

如在说明书的其余部分中将更详细地看到的，根据本发明的丰富方法使用模型、特别是由牙科专业人员执行的扫描来创建与照片等效的超逼真视图。因此，本发明有利地使得可以生成学习库，该学习库使得可以训练神经网络来分析照片，即使该学习库不一定包含照片。

优选地，在步骤1)中，生成历史模型的描述，并且在步骤3)中，至少部分地从历史模型的描述创建历史描述。

优选地，将历史模型划分为多个基本模型，于是在步骤1)中，在历史模型的描述中生成用于在基本模型、优选地超逼真视图中表示的每个基本模型的特定描述，以及在步骤3)中，将在超逼真视图中的所述基本模型的表示的特定描述包括在历史描述中，该特定描述的至少一部分是从所述特定描述继承的。

例如，在历史模型中创建表示牙齿的基本模型或“牙齿模型”，并且在历史模型的描述中，为每个牙齿模型创建特定描述，例如以便识别相应的牙齿编号。这样就很容易相应地填写历史描述。特别地，可以在超逼真视图中将牙齿模型的牙齿编号分配给这些牙齿模型的表示。有利地，一旦创建了历史模型及其描述，就可以在没有人工干预的情况下使用计算机来生成历史记录。因此，历史描述的创建可以至少部分地自动化。由此有利地限制了错误的风险。

此外，根据本发明的丰富方法有利地使得可以通过修改同一个模型的视图来生成大量历史记录。因此，所述丰富方法优选地包括在步骤4)之后的以下步骤：

5)修改超逼真视图，然后返回到步骤3)。

在一优选实施方式中，所述丰富方法包括在步骤4)或可选步骤5)之后的以下步骤6)：

6)使历史模型变形，然后返回到步骤1)。

步骤6)是特别有利的。具体地，这使得可以创建各种历史模型，这些历史模型并非仅由对患者的测量、特别是对患者的牙弓的扫描得到。特别地，可以创建历史模型以便模拟几乎没有照片可用的牙齿状况，例如与罕见病有关的状况。

因此，本发明还涉及一种用于分析表示“分析”患者的牙弓的“分析”照片的方法，所述方法包括以下步骤：

A)通过实施根据本发明的丰富方法来创建包含多于1000条历史记录的历史学习库；

B)通过历史学习库训练至少一个“分析”神经网络；

C)将分析照片提交给经训练的分析神经网络，以获得分析照片的描述。

当历史学习库包含与特定病理有关的历史记录时，分析神经网络因此有利地使得有可以评估在分析照片中表示的牙齿场景是否对应于该病理。

本发明还涉及一种用于将“原始”数字三维模型、特别是牙弓模型的“原始”视图转换为超逼真视图的方法，所述方法包括以下步骤：

21)创建包含多于1000条“转换”记录的“转换”学习库，每条转换记录包括：

-表示场景的“转换”照片，以及

-对所述场景进行建模的“转换”数字三维模型的视图或“转换视图”，所述转换视图以与转换照片相同的方式表示所述场景；

22)通过转换学习库训练至少一个“转换”神经网络；

23)将原始视图提交给经训练的所述至少一个转换神经网络，以使得其确定所述超逼真视图。

如在说明书的其余部分中将更详细地看到的，转换方法基于神经网络，该神经网络被训练以能够使模型的视图超逼真。因此，使用该方法有利地使得可以创建超逼真视图库，从而提供与照片基本相同的信息，而不必拍照。

转换方法可以特别地用于从历史模型的原始视图创建历史模型的超逼真视图，以便按照根据本发明的丰富方法来丰富历史学习库。

优选地，在步骤23)中，在将原始视图提交给转换神经网络之前，通过3D引擎对其进行处理。由此获得的结果被进一步改善。

在一个实施方式中，该方法包括以下附加步骤：

24)将超逼真实视图与历史描述相关联，以形成历史学习库的历史记录，也就是说，以执行步骤1)至4)。

本发明还涉及一种用于使“原始”数字三维模型超逼真的纹理化方法，所述方法包括以下步骤：

21')创建由多于1000条“纹理”记录组成的“纹理”学习库，每条纹理记录包括：

-表示场景(特别是牙弓)的非逼真纹理模型以及该模型的描述，该描述指出该模型为非逼真纹理的，或者

-表示场景(特别是牙弓)的逼真纹理模型以及对该模型的描述，该描述指出该模型为逼真纹理的；

22')通过纹理学习库训练至少一个“纹理”神经网络；

23')将原始模型提交给经训练的所述至少一个纹理神经网络，以使得其对原始模型进行纹理化以使其超逼真。

如在说明书的其余部分中将更详细地看到的，这种方法有利地使得可以通过简单地观察变得超逼真的原始模型来创建超逼真视图。

为此，该方法还包括以下步骤：

24')通过观察在步骤23')中变得超逼真的原始模型来获取超逼真视图。

根据本发明的方法至少部分地，优选完全地由计算机实现。因此，本发明还涉及：

-包括程序代码指令的计算机程序，当所述程序由计算机执行时，所述程序代码指令用于执行根据本发明的任何方法的一个或多个步骤，

-其上存储有这种程序的存储介质，例如，存储器或CD-ROM。

定义

“患者”是可以对其实施根据本发明的方法的任何人，无论该人是否正在接受正畸治疗。

“牙科护理专业人员”被理解为是指有资格提供牙科护理的任何人，特别包括正畸医生和牙医。

“牙齿状况”限定了在一时刻与患者的牙弓有关的一组特征，例如，在该时刻牙齿的位置、牙齿的形状、正畸设备的位置等。

“模型”被理解为是指数字三维模型。它由一组体素组成。“牙弓模型”是表示牙弓的至少一部分并且优选地至少2颗、优选地至少3颗、以及优选地至少4颗牙齿的模型。

为了清楚起见，在将模型“划分”为“多个基本模型”与将图像(特别是照片)的“分段”为“多个基本区域”之间进行区分。基本模型和基本区域分别是真实场景的元素(例如牙齿)的3D或2D表示。

在限定的观察条件下，特别是从限定的角度和限定的距离观察的模型称为“视图”。

“图像”是场景的二维表示(由像素形成)。因此，“照片”是使用相机拍摄的特定图像，通常是彩色图像。“相机”应理解为是指允许拍照的任何设备，包括摄像机、移动电话、平板电脑或计算机。视图是图像的另一个示例。

牙齿属性是其值特定于牙齿的属性。优选地，将牙齿属性的值分配给所讨论的视图中的每个牙齿区域或所讨论的牙弓模型的每个牙齿模型。特别地，牙齿属性不与视图或整个模型相关。它从与之相关的牙齿的特性中获得其值。

“场景”由可以同时观察的一组元素组成。“牙齿场景”是包含牙弓的至少一部分的场景。

“牙弓的照片”、“牙弓的表示”、“牙弓的扫描”、“牙弓的模型”或“牙弓的视图”被理解为是指全部或部分所述牙弓的照片、表示、扫描、模型或视图。

照片或视图的“获取条件”指定用于获取该照片的设备(照相机)或用于获取该视图的设备相对于该患者的牙弓的空间位置和取向(实际获取条件)，或相对于该患者的牙弓的模型的空间位置和取向(虚拟获取条件)。获取条件优选还指定获取设备的校准。当获取条件对应于模拟时，在该模拟中，获取设备相对于模型处于所述获取条件(获取设备的理论定位和优选校准)中，获取条件被称为“虚拟的”。

在视图的虚拟获取条件下，获取设备也可以称为“虚拟的”。该视图由概念性获取设备专门获取，该概念性获取设备具有“真实”相机的特性，这些特性已被用来获取能够叠加在该视图上的照片。

获取设备的“校准”由校准参数的所有值组成。“校准参数”是获取设备固有的参数(不同于其位置和其取向)，该参数的值会影响照片或获取的视图。校准参数优选地选自由光圈孔径、曝光时间、焦距和灵敏度组成的组。

“区分信息”是通常可以通过对图像进行的计算机处理来从该图像提取的特性信息(“图像特征”)。

区分信息可以具有可变数量的值。例如，取决于像素是否属于轮廓，轮廓信息可以等于1或0。亮度信息可以采用大量的值。图像处理使得可以提取和量化区分信息。

区分信息可以以“图表”的形式表示。因此，图表是处理图像以显示区分信息(例如牙齿和牙龈的轮廓)的结果。

两个对象之间的“匹配度”或“拟合度”是用来衡量这两个对象之间的差异的名称。如果匹配度是通过使所述差异最小化的最优化而得到的，则匹配度是最大的(“最佳拟合”)。

展现出最大匹配度的照片和视图以几乎相同的方式表示场景。特别地，在牙齿场景中，照片和视图中的牙齿的表示能够基本重叠。

通过搜索与照片的实际获取条件展现出最大匹配度的视图的虚拟获取条件，来执行对与照片展现出最大匹配度的视图的搜索。

照片和视图之间的比较优选地由两个相应图表的比较得到。“距离”是常规上给出的用来测量两个图表之间或照片与视图之间的差异的名称。

“学习库”是适合于训练神经网络的计算机记录的数据库。

神经网络的训练适合于期望的目标，并且对本领域技术人员不会造成任何特别的困难。

训练神经网络在于将其与学习库相对应，该学习库包含关于神经网络必须学习以“匹配”(即相互连接)的两种类型的对象的信息。

可以根据“成对”学习库进行训练，“成对”学习库由“成对”记录组成，也就是说，每条记录都包括用于神经网络的输入的第一类型的第一对象和相应的用于神经网络的输出的第二类型的第二对象。也可以说神经网络的输入和输出是“成对的”。用所有这些成对记录训练神经网络会教其从第一类型的任何对象提供第二类型的相应对象。

例如，为了使转换神经网络能够将原始视图转换为超逼真视图，通过转换学习库对其进行了训练，以便当在输入处向其呈现相应的转换视图时，在输出处基本上提供转换照片。换句话说，为转换神经网络提供了所有转换记录，也就是说，每次成对记录都包含转换视图(牙弓模型的视图(第一类型的第一对象))以及相应的转换照片(同一牙弓的照片，其以与观察牙弓模型相同的方式观察以获得视图(第二类型的第二对象))，以便转换神经网络确定其参数值，从而，当在输入处向转换神经网络呈现转换视图时，转换神经网络将转换视图转换为与相应照片(如果已拍摄)基本相同的超逼真视图。

图12示出了示例性的转换记录。

通常来说，这种训练是通过为转换神经网络在输入处提供转换视图，以及在输出处提供转换照片来执行的。

类似地，通过向分析神经网络提供历史记录来通过分析学习库而对分析神经网络进行训练，以便使分析神经网络确定其参数值，从而在输入处向分析神经网络呈现超逼真视图时，它提供与对应于超逼真视图的历史描述基本上相同的描述。

通常来说，这种训练是通过在输入出为分析神经网络提供超逼真视图以及在输出处通过历史描述来执行的。

加州大学伯克利分校的伯克利AI研究(BAIR)实验室的Phillip Isola Jun-YanZhu、周婷慧(Tinghui Zhou)、Alexei A.Efros的文章“Image-to-Image Translation withConditional Adversarial Networks”示出了成对学习库的使用。

基于成对学习库的训练是优选的。

作为替选，可以基于被称为“未成对”或“不成对”的学习库来执行训练。这样的学习库由以下组成：

-由第一类型的第一对象组成的“输出”集，以及

-由第二类型的第二对象组成的输入集，

第二对象不一定与第一对象相对应，也就是说独立于第一对象。

在神经网络的输入和输出处提供输入集和输出集，以对其进行训练。神经网络的这种训练教导其从第一类型的任何对象提供第二类型的相应对象。

例如，Zhu，Jun-Yan等人的文章“Unpaired image-to-image translation usingcycle-consistent adversarial networks”中描述了这种“不成对”训练技术。

图13示出了不成对学习库的输入集的3D模型的视图和该学习库的输出集的照片的示例。该照片与视图不对应，特别是因为没有以相同的方式观察到牙弓和/或因为所观察的牙弓相同。

例如，输入集可以包含各自表示牙弓的多个非逼真纹理模型(多个第一对象)，输出集可以包含各自表示牙弓的多个逼真纹理模型(多个第二对象)。即使输入集中表示的牙弓与输出集中表示的牙弓不同，“不成对”训练技术也允许神经网络学习为第一类型的对象(非纹理模型)确定相应的第二类型的对象(纹理模型)。

当然，学习的质量取决于输入集和输出集中的记录的数量。输入集中的记录的数量优选地基本上与输出集中的记录的数量相同。

根据本发明，不成对学习库优选地包含多个输入集和多个输出集，每个输入集和每个输出集分别包含多于1000个、多于5000个，优选地多于10000个、优选地多于30000个、优选地多于50000个、以及优选地第一100000个第一对象和第二个对象。

对象的性质不是穷尽的。对象可以是例如关于该对象的图像或一组信息或“描述”。描述包含另一个对象的属性的值。例如，牙齿场景的图像的属性可以用于识别所表示的牙齿的编号。于是该属性是“牙齿编号”，并且对于每颗牙齿，该属性的值是该牙齿的编号。

在本说明书中，为清楚起见，使用限定词“历史”、“原始”、“转换”和“分析”。

除非另有说明，否则“包含”或“包括”或“展现出”必须解释为非限制性的。

附图说明

通过阅读以下详细描述并检查附图，本发明的其它特征和优点将变得更加明显，其中：

-图1至图3以及图11分别示意性地示出了根据本发明的丰富、分析、转换和纹理化方法的各个步骤；

-图4示出了牙弓模型的示例；

-图5示出了图4中模型的原始视图的示例；

-图6示出了从图5的原始视图获得的超逼真视图的示例；

-图7示出了牙弓的示例性转换照片；

-图8示出了与图7中的转换照片相对应的示例性转换视图；

-图9示出了从转换照片获得的与牙齿轮廓有关的转换图表的示例；

-图10a和图10b分别示出了历史模型的原始视图和相应的超逼真视图，超逼真视图的描述继承了历史模型的某些描述；

-图12示出了“成对”学习库中的记录，左手边图像示出了要在神经网络的输入处提供的牙弓模型的转换视图，右手边图像示出了将在神经网络的输出处提供的相应的转换照片；

-图13示出了不成对学习库的输入集的模型的视图和该学习库的输出集的照片的示例。

具体实施方式

以下详细描述是优选实施方式的详细描述，但不是限制性的。

创建历史学习库

根据本发明的用于丰富历史学习库的方法包括步骤1)至3)。

在步骤1)中，生成所谓的“历史”患者的牙弓的历史模型。

历史模型可以基于对历史患者的牙齿或他的牙齿铸模(例如，石膏铸模)执行的测量来制备。

历史模型优选地从真实情况获得，优选地利用3D扫描仪创建。可以从任何角度观察被称为“3D”模型的这种模型。

在一个实施方式中，历史模型是理论上的，也就是说不对应真实情况。特别地，可以通过组合从数字图书馆中选择的一组牙齿模型来创建历史模型。牙齿模型的布置被限定为使得历史模型是逼真的，也就是说，对应于患者可能遇到的情况。特别地，牙齿模型根据其性质排列成弧形，并且逼真地取向。使用理论历史模型有利地使得可以模拟展现出稀有特征的牙弓。

优选地，还生成历史模型的描述。

模型的“描述”由与模型的整体或模型的一部分(例如模型的对牙齿建模的部分)有关的一组数据组成。

历史模型优选地被划分。特别地，对于每颗牙齿，优选地基于历史模型来限定所述牙齿的模型或“牙齿模型”。

在历史模型中，牙齿模型优选地由牙龈边缘限定，该牙龈边缘可以分解成内牙龈边缘(相对于牙齿朝向嘴的内部)、外牙龈边缘(相对于牙齿朝向嘴的外部取向)、和两个侧牙龈边缘。

一个或多个牙齿属性基于牙齿模型所建模的牙齿而与该牙齿模型相关联。

牙齿属性优选地是仅与由牙齿模型建模的牙齿有关的属性。

牙齿属性优选地选自牙齿编号、牙齿类型、牙齿的形状参数(例如牙齿宽度(特别是近中腭宽度)、厚度、牙冠高度、切缘的近中和远端偏转指数、或磨损水平)、牙齿的外观参数(特别是关于牙齿上的牙垢、牙菌斑或食物的存在的指标、半透明指数或颜色参数)、或与牙齿状况有关的参数(例如“磨损”、“折断”、“腐烂”或“适合”(也就是说与牙科设备(例如正畸设备)接触))、或与牙齿相关联的病理学相关参数(例如，与牙齿区域中的牙龈炎，MIH(摩尔切牙低矿物质化)、AIH(自身免疫性肝炎)、氟中毒或坏死的存在有关的参数)。

可以将牙齿属性值分配给特定牙齿模型的每个牙齿属性。

例如，牙齿属性“牙齿类型”将根据牙齿模型是门齿、犬齿还是臼齿的模型而分别具有值“门齿”、“犬齿”或“臼齿”。

牙齿属性“病理状况”将具有值“健康牙齿”、“折断牙齿”，“破损牙齿”、“破裂牙齿”、“修复牙齿”、“纹身牙齿”或“龋齿”。

牙齿属性值到牙齿模型的分配可以是手动的或至少部分自动的。

同样，牙齿编号通常根据标准规则来分配。因此，知道该规则和由牙齿模型建模的牙齿的编号以计算其它牙齿模型的编号是充分的。

在一个优选的实施方式中，分析特定牙齿模型的形状，以便定义其牙齿属性值，例如其编号。该形状识别可以手动执行。优选地，通过神经网络来执行。

牙齿模型的定义和与之相关的牙齿属性值构成了历史模型的描述的一部分。

类似地，可以基于历史模型来定义除牙齿模型之外的基本模型，特别是针对舌头、和/或嘴、和/或嘴唇、和/或颌部、和/或牙龈、和/或牙科设备(优选正畸设备)的模型，并分别为它们分配舌头、和/或嘴、和/或嘴唇、和/或颌部、和/或牙龈、和/或牙科设备的属性值。

舌头属性可以例如与舌头的位置有关(例如采用值“缩回”)。

嘴属性可以例如与患者的嘴的张开有关(例如采用值“嘴张开”或“嘴闭合”)。

正畸设备属性可以例如与牙科设备的存在有关和/或与牙科设备的状况有关(例如采用值“设备完好”、“设备破损”或“设备损坏”)。

历史模型的描述还可以包括与整个模型有关的数据，即针对“模型属性”的值。

例如，模型属性可以定义由历史模型示出的牙齿状况是“病理学的”还是“非病理学的”，而无需执行每颗牙齿的检查。模型属性优选地定义在创建历史模型时历史患者所遭受的一种或多种病理。

例如，模型属性还可以定义咬合类别、下颌骨相对于上颌骨的位置(“覆咬合”或“覆盖”)、整体卫生指数或充血指数。

转换为超逼真视图

在步骤2)中，创建所述历史模型的超逼真视图，即，看起来是照片的视图。

优选地，选择历史模型的“原始”视图，然后使其成为超逼真的。原始视图优选地是口外视图，例如对应于优选地使用牵开器面向患者所拍摄的照片的视图。

使原始视图超逼真的任何方法都是可行的。优选地使用所谓的“转换”神经网络，其被训练以使原始视图超逼真，并包括步骤21)至23)。

图像转换技术在Zhu，Jun-Yan等人的文章“Unpaired image-to-imagetranslation using cycle-consistent adversarial networks”中有所描述。然而，该文章没有描述模型的视图的转换。

在步骤21)中，因此创建了由多于1000条所谓的“转换”记录组成的所谓的“转换”学习库，每条转换记录包括：

-表示牙齿场景的“转换”照片，以及

-对所述场景建模的“转换”数字三维模型的视图或“转换视图”，该转换视图以与转换照片相同的方式表示所述场景。

当该场景在转换视图中的表示和在转换照片中的表示基本相同时，转换视图以与转换照片相同的方式表示场景。

转换学习库优选地包含多于5000条、优选地多于10000条、优选地多于30000条、优选地多于50000条、以及优选地多于100000条转换记录。转换记录的数量越多，转换神经网络将原始视图转换为超逼真视图的能力就越好。

对于“转换”患者，优选地如下产生转换记录：

211)产生转换患者的牙弓的模型或“转换模型”；

212)在实际获取条件下，优选地通过移动电话获取表示所述牙弓的转换照片；

213)搜索合适的虚拟获取条件，以获取在所述虚拟获取条件下展现出与所述转换照片的最大匹配度的转换模型的“转换”视图，并获取所述转换视图；

214)将转换照片和转换视图组合，以形成转换记录。

特别地，可以如WO 2016/066651中所述地执行步骤213)。

优选地，对转换照片进行处理，以便产生至少一个至少部分地表示区分信息的“转换”图表。因此，转换图表表示转换照片的参考系中的区分信息。

区分信息优选地选自由轮廓信息、颜色信息、密度信息、距离信息、亮度信息、饱和度信息、关于反射的信息以及这些信息的组合组成的组。

本领域技术人员知道如何处理转换照片以揭示区分信息。

例如，图9是从图7的转换照片中获得的与牙齿的轮廓有关的转换图表。

然后所述搜索包括以下步骤：

i)确定“待测试”的虚拟获取条件；

ii)在所述待测试的虚拟获取条件下产生转换模型的参考视图；

iii)处理参考视图，以产生至少一个至少部分地表示区分信息的参考图表；

iv)比较转换图表和参考图表，以便确定评估函数的值，所述评估函数的值取决于所述转换图表和参考图表之间的差异，并且对应于继续或停止搜索如下虚拟获取条件的决定，该虚拟获取条件与上一个步骤i)的实例中的待测试和确定的所述虚拟获取条件相比，更精确地接近所述实际获取条件；

v)如果所述评估函数的值对应于继续进行所述搜索的决定，则修改待测试的虚拟获取条件，然后返回到步骤ii)。

步骤i)涉及从确定待测试的虚拟获取条件开始，所述虚拟获取条件即，当捕获转换照片时可能与相机的实际位置和取向相对应的虚拟位置和取向，但是优选还可以是当捕获转换照片时可能与相机的实际校准相对应的虚拟校准。

在步骤ii)中，然后在待测试的虚拟获取条件下虚拟地配置相机，以便在这些待测试的虚拟获取条件下获取转换模型的参考视图。因此，参考视图对应于在待测试的虚拟获取条件下相机(如果已放置)所拍摄的关于转换模型的、且可选地校准的转换模型的照片。

在步骤iii)中，以与转换照片相同的方式处理参考视图，以从参考视图中产生表示区分信息的参考图表。

在步骤iv)中，为了比较转换照片和参考视图，在转换图表和参考图表上比较它们各自的区分信息。这两个图表之间的差异或“距离”特别地通过分数进行评估。例如，如果区分信息是牙齿的轮廓，则可以比较参考图表上出现的牙齿轮廓点与转换图表上出现的相应轮廓点之间的平均距离，分数越高，则距离越小。

分数可以是例如相关系数。

然后使用评估函数来评估分数。评估函数使得可以决定是应该继续还是停止从步骤i)至步骤v)的循环。在步骤v)中，如果评估函数的值指示决定继续该循环，则修改待测试的虚拟获取条件并重新开始步骤i)至步骤v)中的循环，这包括产生参考视图和参考图表，将参考图表与转换图标进行比较以确定分数，然后基于该分数做出决定。

修改待测试的虚拟获取条件对应于空间中的虚拟移动和/或修改相机的取向和/或优选地修改相机的校准。修改优选地通过启发式规则来指导，例如，通过有利修改来指导，该有利修改根据获得的先前分数的分析而看起来最有利于增加分数。

继续循环，直到评估函数的值指示决定停止该循环(例如，如果分数达到或超过阈值)。

虚拟获取条件优选地使用元启发式方法、优选地进化方法(优选地模拟退火算法)来最优化。这种方法对于非线性最优化是众所周知的。

优选地，其选自由以下组成的组：

-进化算法，其优选地选自：

进化策略、遗传算法、差分进化算法、分布估计算法、人工免疫***、混合复杂进化路径重组、模拟退火算法、蚁群算法、粒子群优化算法、禁忌搜索和GRASP方法；

-袋鼠算法，

-弗莱彻和鲍威尔方法，

-噪声方法，

-随机穿遂法，

-随机重启爬坡，

-交叉熵方法，以及

-上述元启发式方法之间的混合方法。

如果在没有能够获得令人满意的分数的情况下退出了循环，例如在分数没有能够达到所述阈值的情况下，该方法可以停止(失败情况)或以新的区分信息重新开始。该方法也可以用对应于最佳获得分数的虚拟获取条件继续。

如果在已经能够获得的令人满意的分数的情况下，例如由于分数达到或甚至超过所述阈值，已经退出了循环，则虚拟获取条件基本上对应于转换照片的实际获取条件，并且参考视图具有与转换照片的最大匹配度。在参考视图和转换照片中的牙齿场景的表示能够基本重叠。

然后选择以与转换照片相同的方式表示所述牙齿场景的参考视图作为转换视图。

在步骤22)中，通过转换学习库对转换神经网络进行训练。这样的训练对于本领域技术人员是众所周知的。

通常，训练包括在转换神经网络的输入处提供所有的所述转换视图，并在转换神经网络的输出处提供所有所述转换照片。

通过该训练，转换神经网络将学习如何将模型的任何视图转换为超逼真视图。

在步骤23)中，将历史模型的原始视图提交给转换神经网络。转换神经网络将原始视图转换为超逼真视图。

作为步骤21)至23)的替选，步骤2)可以包括以下步骤，首先使历史模型超逼真，然后从中提取超逼真视图：

21')创建由多于1000条“纹理”记录组成的“纹理”学习库，每条纹理记录包括：

-表示牙弓的非逼真纹理模型(例如对牙弓的扫描)以及对该模型的描述，该描述指出该模型是非逼真纹理的，或者

-表示牙齿弓的逼真纹理模型(例如对牙弓的扫描变得超逼真)以及对该模型的描述，该描述指出该模型是逼真纹理的，或者

22')通过纹理学习库训练至少一个“纹理”神经网络；

23')将历史模型提交给经训练的所述至少一个纹理神经网络，以使得其对历史模型进行纹理化以使其超逼真。

然后可以通过观察所述超逼真历史模型来直接获得超逼真视图。

“纹理化”被理解为是指对模型进行转换以赋予其超逼真的外观，类似于真实牙弓的观察者可能会观察到的外观。换句话说，超逼真纹理模型的观察者具有观察牙弓本身的印象。

在步骤21')中，可以如上所述地生成非逼真纹理模型以生成历史模型。

可以通过对初始的非逼真纹理模型进行纹理化来生成逼真纹理模型。优选地，实现一种用于生成超逼真模型的方法，该方法包括步骤A")至C")，其中原始模型是初始的非逼真纹理模型。

在步骤22')中，特别地，可以按照Zhu，Jun-Yan等人在“Unpaired image-to-imagetranslation using cycle-consistent adversarial networks”(开放存取计算机视觉基金会，Open access Computer Vision Foundation)的文章中的教导来进行训练。

通过该训练，纹理神经网络学习了对模型进行纹理化，从而使其变得超逼真。特别地，它学习对牙弓模型进行纹理化。

在步骤2)中，还可以通过借助于常规3D引擎处理原始图像来获得3D模型的超逼真视图。

3D引擎是一种软件组件，其使得可以在数字三维对象上模拟环境对相应的实际对象的影响，特别是对相应的实际对象的光照影响、光学影响、物理影响和机械影响。换句话说，3D引擎在数字三维对象上模拟现实世界中在这些影响的起源处的物理现象。

例如，基于“虚拟”光源相对于数字三维对象的相对位置以及该光源投射的光的性质，3D引擎将计算该物体的外观，例如，以显示阴影或反射。因此，当以与数字三维对象相同的方式对相应的实际对象进行照明时，数字三维对象的外观会模拟该实际对象的外观。

3D引擎也称为3D渲染引擎、图形引擎、游戏引擎、物理引擎或3D建模器。特别地，可以从以下引擎或其变型中选择这种引擎：

-Arnold

-Aqsis

-Arion渲染器

-Artlantis

-Atomontage

-Blender

-巴西(Brazil)r/s

-BusyRay

-Cycles

-FinalRender

-Fryrender

-Guerilla渲染器

-Indigo

-Iray

-Kerkythea

-KeyShot

-Kray

-Lightscape(渲染巨匠)

-LightWorks

-Lumiscaphe

-LuxRender

-Maxwell渲染器

-Mental Ray

-Nova

-Octane

-Povray

-RenderMan

-Redsdk，Redway3d

-Sunflow

-Turtle

-V-Ray

-VIRTUALIGHT

-YafaRay。

在一个特别有利的实施方式中，原始视图首先通过3D引擎进行处理，然后被提交给转换神经网络，如上所述(步骤23)。将这两种技术结合可以获得显著的效果。

在一个实施方式中，原始视图可以首先被提交给转换神经网络，然后通过3D引擎进行处理。然而，该实施方式不是优选的。

在一个实施方式中，通过3D引擎处理通过观察根据步骤21')至步骤23')的纹理化的超逼真历史模型而直接获得的超逼真视图。该附加处理还改善了所获得图像的逼真外观。

在步骤3)中，创建对超逼真视图的描述。

对超逼真视图的描述包括与所述视图整体或所述视图的一部分(例如与所述视图的表示牙齿的部分)有关的一组数据。

以与对历史模型的描述相同的方式，对超逼真视图的描述可以包括在超逼真视图中表示的牙齿、和/或舌头、和/或嘴、和/或嘴唇、和/或颌部、和/或牙龈和/或牙科设备的属性的值。用于历史模型的描述的上述属性可以是超逼真视图的描述的属性。

对超逼真视图的描述还可以包括视图属性的值，也就是说，与超逼真视图或整个原始视图有关的视图属性的值。视图属性可以特别涉及：

-用于获取原始视图的虚拟相机的位置和/或取向和/或校准，和/或

-超逼真视图的质量，特别是与超逼真视图的亮度、对比度或清晰度有关的超逼真视图的质量，和/或

-原始视图或超逼真视图的内容，例如与所表示的对象的布置有关的内容(例如以便指定舌头遮盖了某些牙齿)，或与患者的治疗性或非治疗性的情况有关的内容。

对超逼真视图的描述可以至少部分手动地形成。

优选地，该描述优选地通过计算机程序至少部分地、优选地完全地通过继承历史模型来产生。

特别地，如果历史模型已经被划分，则虚拟获取条件使得可以确定在超逼真视图中表示的历史模型的基本模型以及它们各自的位置。在历史模型的描述中可得的与所述基本模型有关的属性的值因此可以被分配给与在超逼真视图中的所述基本模型的表示有关的相同属性。

例如，如果已经对历史模型进行划分以定义牙齿模型，并且历史模型的描述指定了牙齿模型的编号，则可以在超逼真视图中为该牙齿模型的表示分配相同的编号。

图10a示出了历史模型的原始视图，该历史模型已被划分以定义牙齿模型。历史模型的描述包含历史模型的牙齿编号。

因此，超逼真视图的描述的至少一些属性的值可以继承历史模型的描述。

在步骤4)中，创建由超逼真视图和所述超逼真视图的描述组成的历史记录，并将该历史记录添加到历史学习库中。

历史学习库可以仅由按照根据本发明的丰富方法生成的历史记录组成。作为替选，历史学习库可以包含按照根据本发明的丰富方法生成的历史记录和其它历史记录，例如按照常规方法、特别是通过标记照片来创建的其它历史记录。

在步骤5)中(其是可选的)，修改历史模型的超逼真视图，然后返回到步骤3)。

为了修改超逼真视图，优选地从新的原始视图创建新的超逼真视图。

因此，通过执行步骤3)至步骤5)的循环，可以创建与历史模型的各种观察条件相对应的大量历史记录。因此，单个历史模型使得可以创建许多历史记录，而甚至不需要照片。

在步骤6)中，优选地使历史模型变形。

变形特别可以包括：

-移动牙齿模型，例如以模拟两个牙齿之间的间距，

-使牙齿模型变形，例如以模拟磨牙症，

-删除牙齿模型，

-使颌部模型变形。

在一个实施方式中，变形模拟病理。

步骤6)得到理论历史模型，该理论历史模型有利地使得可以轻松地模拟测量不可用的牙齿情况。

然后返回到步骤2)。因此，基于初始历史模型，可以获得与牙齿情况有关的历史记录，该牙齿情况与初始历史模型相对应的牙齿情况不同。特别地，可以为与罕见病的不同阶段相对应的历史模型创建历史记录。

历史学习库优选地包含多于5000条、优选地多于10000条、优选地多于30000条、优选地多于50000条、以及优选地多于100000条的历史记录。

对分析照片的分析

为了对分析照片进行分析，执行步骤A)至C)。

该方法优选地包括预备步骤，在该预备步骤中，使用相机来获取分析照片，该相机优选地选自包括照片获取***的移动电话、所谓的“连接”相机、所谓的“智能手表”、平板电脑、或固定或便携式的个人计算机。相机优选地是移动电话。

更优选地，当获取分析照片时，相机与牙弓的间距大于5cm、大于8cm或甚至大于10cm，这防止了水蒸气在相机的光学器件上凝结并便于聚焦。此外，优选地，相机、特别是移动电话不具有用于获取分析照片的任何特定的光学器件，这尤其是由于在获取期间与牙弓的间距而是可能的。

分析照片优选地是彩色照片，优选地是真彩照片。

分析照片优选地由患者获取，优选地不使用保持器来固定相机，并且特别是不使用三脚架。

在步骤A)中，创建包含按照根据本发明的丰富方法获得的历史记录的历史学习库。

在步骤B)中，通过历史学习库来训练“分析”神经网络。这样的训练对于本领域技术人员是众所周知的。

可以特别地从本说明书的前文部分中提供的列表中选择神经网络。

通过该练，分析神经网络学会为呈现给它的照片评估在历史描述中评估的属性的值。

例如，每个历史描述可以为属性“存在咬合不正？”指定一个值(“是”或“否”)。

训练通常包括提供所有所述超逼真视图作为分析神经网络的输入，以及在分析神经网络的输出处提供所有所述历史描述。

在步骤C)中，将分析照片呈现给分析神经网络，并因此获得对各种属性的评估(例如“是”)，其中对于存在咬合不正的情况，概率为95％。

该分析方法可以用于治疗或非治疗目的，例如用于研究目的或用于纯粹美学目的。

例如，该分析方法可用于评估正畸治疗或牙齿增白治疗期间患者的牙齿情况。它可以用于监视牙齿的移动或牙齿病理的演变。

在一个实施方式中，患者例如用他的移动电话和集成到该移动电话中的计算机拍摄分析照片并实施该方法，该移动电话能够与计算机通信的计算机。因此，通过传输一张或优选地多张患者的牙齿照片，患者甚至可以无需移动就可以非常轻松地请求对他的牙齿情况进行分析。

对分析照片进行分析对于检测罕见病特别有用。

模拟牙齿情况

还可以实施根据本发明的转换方法，以生成表示通过牙弓的数字三维模型模拟的牙齿情况的超逼真视图。特别地，可以在治疗性或非治疗性处理的情境下在过去或将来的模拟时间模拟牙齿情况。

因此，本发明涉及一种用于模拟牙齿情况的方法，包括以下步骤：

A')在更新时间，生成患者的牙弓的数字三维模型，称为“更新模型”，优选地如以上在步骤1)中所述；

B')使更新模型变形，以便模拟更新时间与在更新时间之前或之后(例如之前或之后多于1周、1个月或6个月)的模拟时间之间的时间的影响，以获得“模拟模型”，优选地如以上步骤6)中所述；

C')获取模拟模型的视图或“原始模拟视图”；

D')按照根据本发明的转换方法，将原始模拟视图转换为超逼真模拟视图。

因此，超逼真模拟视图看起来与在模拟时间拍摄的照片相同。可以将超逼真模拟视图呈现给患者，以便例如向患者呈现他将来或过去的牙齿情况，从而激励他进行正畸治疗。

在步骤A')中，优选地，如以上在步骤1)中所述，将更新模型优选地划分为多个基本模型。因此，在步骤B')中，变形可以例如由一个或多个基本模型、特别是一个或多个牙齿模型的移动或变形得到，以便模拟正畸设备的影响。

模型的转换

根据本发明的转换方法变得超逼真的原始模型的视图可以有利地用于使原始模型本身超逼真。

因此，本发明还涉及一种用于从原始模型、特别是从牙弓的原始模型生成超逼真模型的方法，所述方法包括以下连续步骤：

A”)获取原始模型的原始视图；

B”)根据本发明的转换方法将原始视图转换为超逼真视图；

C”)对于超逼真视图的每个像素，识别原始模型的相应体素、也就是说在超逼真视图中由所述像素表示的体素，并将像素的属性值分配给体素的属性。

像素的属性特别可以涉及其外观，例如涉及其颜色或其亮度。体素的属性优选地与像素的属性相同。因此，例如将像素的颜色分配给体素。

根据本发明的方法是至少部分地，优选完全由计算机实现的。可以考虑任何计算机，特别是PC、服务器或平板电脑。

特别是，计算机通常包括：处理器，存储器，人机界面(人机界面通常包括屏幕)，用于经由因特网、经由Wi-Fi、经由

或经由电话网络进行通信的模块。被配置为实现所讨论的本发明的方法的软件被加载到计算机的存储器中。

计算机也可以连接到打印机。

当然，本发明不限于上述和所示的实施方式。

特别地，患者不限于人类。根据本发明的方法可以用于另一种动物。

学习库不一定由“成对”的记录组成。它可以是不成对的记录。

转换学习库可以例如包含：

-由“输入视图”组成的输入集，每个输入视图表示对牙齿场景建模的转换数字三维模型的视图，优选多于1000个，多于5000个，优选多于10000个，优选多于30000个，优选多于50000个，以及优选多于100000个输入视图，以及

-由“输出照片”组成的“输出”集，每个输出照片表示牙齿场景，输出照片优选多于1000张，多于5000张，优选多于10000张，优选多于30000张，优选多于50000张，优选多于100000张，

输出照片能够独立于输出视图，也就是说不表示相同的牙齿场景。

纹理学习库可以例如包含：

-由非逼真纹理模型组成的输入集，每个非逼真纹理模型表示一个牙弓，非逼真纹理模型优选多于1000个，多于5000个，优选多于10000个，优选多于30000个，优选多于50000个，优选多于100000个，以及

-由逼真纹理模型组成的输出集，每个逼真纹理模型表示一个牙弓，逼真纹理模型优选多于1000个，多于5000个，优选多于10000个，优选多于30000个，优选多于50000个，以及优选多于100000个，

逼真纹理模型能够独立于非逼真纹理模型，也就是说不表示相同的牙弓。

Claims (13)

1.一种用于将牙弓的“原始”数字三维模型的“原始”视图转换为超逼真视图的方法，所述方法包括以下步骤：

21)创建不成对的或者由多于1000条“转换”记录组成的“转换”学习库，每条转换记录包括：

-表示牙齿场景的“转换”照片，以及

-对所述牙齿场景进行建模的“转换”数字三维模型的视图或“转换视图”，所述转换视图以与所述转换照片相同的方式表示所述场景；

22)通过所述转换学习库训练至少一个“转换”神经网络，使得所述至少一个“转换”神经网络学习如何将任何数字三维模型的任何视图转换为超逼真视图；

23)将所述原始视图提交给所述至少一个转换神经网络，使得所述至少一个转换神经网络将所述原始视图转换为超逼真视图。

2.根据紧接的前一项权利要求所述的转换方法，其中，在步骤23)中，在将所述原始视图提交给所述转换神经网络之前，通过3D引擎对所述原始视图进行处理。

3.一种用于创建“原始”数字三维模型的超逼真视图的方法，所述方法包括以下步骤：

21')创建不成对的或者由多于1000条“纹理”记录组成的“纹理”学习库，每条纹理记录包括：

-表示牙弓的非逼真纹理模型以及所述非逼真纹理模型的描述，所述非逼真纹理模型的描述指出所述非逼真纹理模型为非逼真纹理的，或者

-表示牙弓的逼真纹理模型以及所述逼真纹理模型的描述，所述逼真纹理模型的描述指出所述逼真纹理模型为逼真纹理的；

22')通过所述纹理学习库训练至少一个“纹理”神经网络，使得所述至少一个“纹理”神经网络学习使初始非纹理的模型逼真地纹理化；

23')将原始模型提交给经训练的所述至少一个纹理神经网络，使得经训练的所述至少一个纹理神经网络对所述原始模型进行纹理化以使其超逼真；

24')通过观察变得超逼真的所述原始模型来获取超逼真视图。

4.一种用于丰富历史学习库的方法，所述方法包括以下步骤：

1)生成牙弓的数字三维模型或“历史模型”；

2)根据如前述权利要求中任一项所述的方法，从所述历史模型的原始视图创建所述历史模型的超逼真视图，其中，所述原始模型为所述历史模型；

3)创建所述超逼真视图的描述或“历史描述”；

4)创建由所述超逼真视图和所述历史描述组成的历史记录，并将所述历史记录添加到所述历史学习库中。

5.根据紧接的前一项权利要求所述的方法，其中，在步骤1)中，生成所述历史模型的描述，并且在步骤3)中，至少部分地从所述历史模型的所述描述创建所述历史描述。

6.根据紧接的前一项权利要求所述的方法，其中，

-将所述历史模型划分为多个基本模型，

-在步骤1)中，在所述历史模型的所述描述中生成用于在所述超逼真视图中表示的基本模型的特定描述，以及

-在步骤3)中，将在所述超逼真视图中的所述基本模型的表示的特定描述包括在所述历史描述中，该特定描述的至少一部分是从所述特定描述继承的。

7.根据紧接的前三项权利要求中任一项所述的方法，包括在步骤4)之后的以下步骤5)：

5)修改所述超逼真视图，然后返回到步骤3)。

8.根据紧接的前四项权利要求中任一项所述的方法，包括在步骤4)或可选步骤5)之后的以下步骤6)：

6)使所述历史模型变形，然后返回到步骤1)。

9.根据紧接的前一项权利要求所述的方法，其中，使所述历史模型变形，以表示理论牙齿情况。

10.一种用于分析表示“分析”患者的牙弓的“分析”照片的方法，所述方法包括以下步骤：

A)通过实施如紧接的前六项权利要求中任一项所述的丰富方法来创建包含多于1000条历史记录的历史学习库；

B)通过所述历史学习库来训练至少一个“分析”神经网络，使得所述至少一个“分析”神经网络针对呈现给其的照片进行学习以评估在所述历史描述中评估的属性的值；

C)将所述分析照片提交给经训练的所述神经网络，以获得所述分析照片的描述。

11.一种用于模拟牙齿情况的方法，所述方法包括以下步骤：

A')在更新时间，生成患者的牙弓的数字三维模型，称为“更新模型”；

B')使所述更新模型变形，以便模拟在所述更新时间与模拟时间之间的时间的影响，以获得“模拟模型”；

C')获取所述模拟模型的视图或“原始模拟视图”；

D')根据如权利要求1所述的方法，将所述原始模拟视图转换为超逼真模拟视图。

12.根据紧接的前一项权利要求所述的方法，其中，在步骤A')中，将所述更新模型划分为多个基本模型，以及在步骤B')中，使一个或多个基本模型移动和/或变形。

13.一种用于从牙弓的原始模型生成超逼真模型的方法，所述方法包括以下连续步骤：

A”)获取所述原始模型的原始视图；

B”)根据如权利要求1所述的转换方法将所述原始视图转换为超逼真视图；

C”)对于所述超逼真视图的每个像素，识别所述原始模型的相应体素，并将所述像素的属性值分配给所述体素的属性。

Images