CN114972547A - 用于确定牙齿颜色的方法 - Google Patents

用于确定牙齿颜色的方法 Download PDF

Info

Publication number
CN114972547A
CN114972547A CN202210148578.6A CN202210148578A CN114972547A CN 114972547 A CN114972547 A CN 114972547A CN 202210148578 A CN202210148578 A CN 202210148578A CN 114972547 A CN114972547 A CN 114972547A
Authority
CN
China
Prior art keywords
tooth
color
evaluation device
analytical
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210148578.6A
Other languages
English (en)
Inventor
R·帕特里克
F·阿伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ivoclar Vivadent AG
Original Assignee
Ivoclar Vivadent AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ivoclar Vivadent AG filed Critical Ivoclar Vivadent AG
Publication of CN114972547A publication Critical patent/CN114972547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/508—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour of teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/10—Supports for artificial teeth for transport or for comparison of the colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462—Computing operations in or between colour spaces; Colour management systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/463—Colour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

本发明提出一种用于确定牙齿颜色的方法，其中，分析评估装置具有使用CNN的迭代学习算法，所述迭代学习算法在预备步骤中基于至少一个预先已知的、必要时在RGB空间中虚拟地生成的样板牙齿颜色在不同的光照度和拍摄角度下采集图像并且对所述图像进行分析评估，并且学习与恰当的样板牙齿颜色的对应关系。在分析评估步骤中，设有拍摄装置，利用所述拍摄装置拍摄具有预先已知的、必要时虚拟地生成的样板牙齿颜色的辅助体连同至少一个牙齿的图像。所述拍摄装置从不同的拍摄角度采集所述要确定的牙齿与所述辅助体的组合的至少两个图像并将所述图像传输给分析评估装置。所述分析评估装置基于所学习的与恰当的样板牙齿颜色的对应关系分析评估所采集的图像并且根据基准值，如常用的牙齿比色卡、例如A1、B2等输出要确定的牙齿的牙齿颜色。

Description

用于确定牙齿颜色的方法
技术领域
本发明涉及一种根据权利要求1的前序部分所述的用于确定牙齿颜色的方法。
背景技术
由EP 3 613 382 A1已知，使用颜色选择体，将所述颜色选择体保持在应确定其牙齿颜色的牙齿的旁边。拍摄所述牙齿和所述构造成辅助体的颜色选择体的共同的图像。由于辅助体具有已知的牙齿颜色，由此可以较为容易和较为精确地获得所述牙齿的颜色。
前面所述的解决方案要求有可能提供可再现的光照度。而且，由于存在具有已知牙齿颜色的辅助体可以对牙齿的检测到的颜色进行校准或规格化。但已经表明的是，尽管存在所述可能性，在实用中会出现偏差，从而在试验室中能实现的颜色测定精度在实用中不能保持。
发明内容
与此相对，本发明的目的在于，实现一种根据权利要求1的前序部分所述的用于确定牙齿颜色的方法，所述方法确保在实用中也实现精确的颜色测定。
所述目的根据本发明通过权利要求1来实现。有利的改进方案由从属权利要求得出。
根据本发明设定，分析评估装置首先以迭代学习的算法在不同的光照度和拍摄角度下采集并分析评估样板牙齿的图像，并且学习每个采集的图像与已知的恰当的样板牙齿颜色的对应关系。
根据本发明在不同的拍摄角度下进行采集和学习是重要的并且非常有助于对改进分析评估装置的识别能力。
为了拍摄样板牙齿的图像使用首次拍摄装置。这种首次拍摄装置(Erstaufnahmevorrichtung)可以具有特别高的质量。例如可以使用专业的反射式相机，以便能够读出其原始数据。原始数据的质量通常比相机的转换成标准格式、如JPG的数据更好。
但也可以使用终端设备的相机、例如智能手机的相机作为首次拍摄装置。
在分析评估步骤中使用一个拍摄装置、例如另一个拍摄装置。在所述分析评估步骤中，拍摄应确定其颜色的牙齿连同具有已知颜色的辅助体的图像。
所述分析评估装置使用所学习的图像和利用所述图像检测到的图像数据。
所述分析评估装置优选具有在所述预备步骤中使用的第一部分和在分析评估装置此后的实用中使用的第二部分。
所述第二部分使用与第一部分相同的数据。
由此可以实现的是，所述分析评估装置可以在现场使用，就是说例如在牙医诊所中使用，而不必放弃预备性获取的数据。
为了实现容易地访问所获取的数据和知识，优选的是，将所述数据和知识存储在云端或至少存储在这样的区域中，所述区域一方面受到保护并且另一方面在实用中可以访问。
此时，在实用中使用所述分析评估装置的第二部分，所述第二部分使用与第一部分相同的数据。
就是说，所述数据始终可供所述分析评估装置使用。但这并不意味着，在根据本发明的方法中要求随时能全权使用所述数据。
相反优选的是，所述分析评估装置在第二部分中具有存储器，所述存储器的内容周期性地与云端同步。
所述分析评估装置的第二部分所做的是，对由所述-另一个-拍摄装置采集的图像进行分析评估并基于所学习的与样板牙齿颜色的对应关系使所述图像与样板牙齿颜色对应起来，并且然后基于这种对应关系按照常用的牙齿比色卡输出牙齿颜色。
这里样板牙齿颜色不必是实物存在的并且是存储的；相反，虚拟地生成样板牙齿颜色，就是说在确定的色彩空间中进行定义就足够了。也可以仅数值式地在一个虚拟的色彩空间中、优选在RGB空间中生成一个牙齿颜色，并将这个牙齿颜色用作基准。这种颜色这里称为RGB牙齿颜色，这里可以理解的是，由此也应同时包括在其他虚拟的色彩空间中生成的颜色。
对于这种虚拟牙齿颜色的生成存在多种可能性：
1.利用对牙齿的扫描并确定对应的RGB值；
2.使用现有的牙齿库的值；或者
3.使用色度计，如光电光谱仪，以便数值式地确定颜色。
出人意料的是，在所述预备步骤中，通过多个拍摄状况实现了明显更好地识别和确定要确定的牙齿的实际颜色。
所述拍摄状况包括这样的拍摄状况，在这些拍摄状况中以不同的光源和亮度工作。
例如可以利用卤素灯、LED灯和在日照时以及另一方面在天空有云时的自然光的光谱拍摄相同的样板牙齿。此外，这在三个不同的亮度级下进行。此外，在5至15个沿竖直和沿水平方向不同的拍摄角度下进行拍摄。
这种预备工作实现了一个对于每个样板牙齿有例如100至300个不同的拍摄状况的深度数据库。
可以理解的是，前面的说明仅是示例性的，并且本发明特别是不仅限于预备步骤中拍摄状况的所述数量。
在根据本发明的方法中有利的设计方案中设定，在所述预备步骤中，在迭代时检查，在每次迭代中结果以怎样的程度变化。如果结果变化小于一个预先规定的阈值，则可以认定，实现了希望的精度。
这个设计方案也可以这样来改进，即，在多次低于所述变化的阈值之后才终止迭代。
优选在所述预备步骤结束之后确保，将所获得的包括预备步骤的结果与样板牙齿颜色的对应关系的所有数据带入云端，如果有必要，则在云端中访问所述数据。
在由终端设备执行分析评估步骤之前，所述终端设备进行数据对比，使得只要有必要就将所获得的数据特别是完整地在本地存储在所述终端设备上。
定期对这些数据进行同步，从而定期地使变化到达终端设备上。
就是说，当终端设备应执行所述分析评估步骤时，则始终提供所述分析评估装置的当前数据，只要在预备步骤中已经产生并提供了这些数据。
所述分析评估装置的第一部分仅在预备步骤中工作，但当应检测其他光照度或拍摄角度时，所述第一部分继续可供使用。
在实用中，尽管检测了相关的光照度和拍摄角度，但必要时还进行细节调整是合理的，在这种情况下，也可以将所述分析评估装置作为可执行或可编译的程序带入云端。
这个解决方案有这样的优点，当牙医拥有必要的装备时，牙医本身在需要时也可以在所述分析评估装置的第一部分中使用所述分析评估装置，并且牙医本身可以对其特殊的光照度加以考虑，前体条件是，向牙医提供了执行所述第一个步骤所需的样板牙齿颜色。
此时，在希望的情况下，牙医可以在云端中将由该牙医这样获得的并且在特殊的光照度方面新的数据提供给其他牙医。
当希望针对地域进行适配调整时，也可以进行类似的操作：
自然光的光谱在地理上在赤道附近和极地附近的地区之间是不同的，因为在极地附近的地区大气层的吸收谱带明显更强地起作用。
如果在所述第一个步骤中以自然光的平均值为基础，则在赤道附近地区的牙医基于由他通过所述分析评估装置提供的数据得出这样的结论，即，需要对已设置的自然光数据进行修正。
牙医可以将由他针对地域进行适配调整的数据例如在云端中提供给身在该牙医的地区中的其他牙医。
这只是根据本发明优选的可能性的一个示例，即，实现在云端中对所提供的数据进行数据交换。可以理解的是，根据本发明也包括基于其他基础数据交换。
对于所述分析评估装置中实际的分析评估有利的是，在辅助体上设置基准点。所述基准点选择成，使得能够由所述分析评估装置识别到所述基准点。当例如设置三个或四个基准点时，由所述基准点在所拍摄的图像中的布局可以推断出，所述拍摄是以怎样的角度进行的。
此时，根据本发明有利的是，由这种角度检测得出结论或者说与配设给相关拍摄角度的数据进行比对。
在另一个有利的设计方案中设定，将所拍摄的图像分成多个区段。
这种分区具有这样的优点，即，可以隐去以下这些区域，由所述区域的在分析评估步骤中检测到的数据可以推断出，存在反射。
出人意料的是，通过这个措施可以明显提高分析评估的精度，特别是在明亮的并且由此反射多发的环境中也能提高精度。
对于通过所述分析评估装置进行的分析评估可以使用不同的参数：
例如可以通过环境光传感器针对环境亮度进行规格化。通常，终端设备、如智能手机具有环境光传感器，所述环境光传感器通常对屏幕的亮度进行适应性调整。
在本发明的有利的设计方案中，利用所述环境光传感器，以便进行前面所述的规格化。
高端的智能手机也可以在光谱上在人造光和自然光之间进行区分。这种区分同样通过内置的环境光传感器进行。根据本发明优选也可以利用这种区分的结果，其方式是，从一开始就不向分析评估装置提供不恰当的数据。
附图说明
其他优点、细节和特征由下面参考附图对根据本发明的方法的一个实施例的说明得出。
其中：
图1示出根据本发明的预备步骤的示意性流程图；
图2示出作为子程序的图像管线的示意性流程图，所述子程序既在预备步骤中也在分析评估步骤中使用；
图3示出分析评估步骤的示意性流程图；
图4作为具有输入和输出的函数示出根据本发明的学习算法；
图5示出在所述算法中CNN卷积层的示意图；以及
图6示出最大池化的一个示例的示意图。
具体实施方式
在图1中示意性示出根据本发明的用于确定牙齿颜色的方法的预备步骤12。所述预备步骤12这里称为训练10并且根据图1的流程图以开始训练10开始。
在步骤12中，首先拍摄图像，所述图像也可以称为“照片”。这些照片显示样板牙齿颜色，并且在不同的光照度和拍摄角度下拍摄、采集和分析评估相应的构成样板的牙齿。
将所记录的数据传输给作为子程序的图像管线14，由图2可以看出所述图像管线的设计方案。
在图像管线14中的处理之后，将预备处理的数据传输给训练算法16。所述训练算法实施实际的训练，就是说在不同的光照度和拍摄角度下以数据的形式优化地再现(Wiedergabe)样板牙齿颜色。
接下来，在步骤18中检查，训练是否充分。如果不是这样，即需要更大的精度，则返回跳转到框12并且使检测到的数据重新通过图像管线14。
相反，如果训练被视为是充分的，则在步骤20中将“经训练的”数据存储在云端。由此在框22处结束训练。
由图2可以看出图像管线14的各个步骤。所述图像管线14在步骤26中开始。存在图像数据28，这些图像数据在步骤28中存储在图像存储器中。
现在存在图像30并且在步骤32中在其分辨率和其格式方面对该图像进行检查。如果分辨率和格式是不充分的，则进入路径34，而如果格式和分辨率都是足够的，执行以路径36继续。
在路径36中，在步骤38中检查图像30，以发现基准目标的基准点的位置；采集所述基准点。在路径40中，又得出这样的可能性，即，可能没有确定基准点或者没有确定足够的基准点。
相反，如果可以发现基准点，则继续执行路径42并且在框44中从图像30中提取相关的信息。根据框46，所述信息包括由基准目标提取的色值。
现在检查，在图30中是否存在牙齿区段。如果是这样，则转入路径48。
与此并行地，利用路径50处理色值。在框52处将所述色值传输给在路径54中由所述色值生成图像30的颜色信息的算法，并且在框56中向调用的程序进行数据传输，就是说，子程序图像管线结束。
根据路径48，也对牙齿区段数据进行继续处理。在框58中检查，是否存在反射。如果反射高于一个阈值，则转入路径60，所述路径与路径34和路径40相同结束于以下情况，即，根据框62不存在结果。
相反，如果根据路径64反射低于一个阈值，则通过所谓的k均值聚类来计算占优势的牙齿颜色。这在框66中进行。
由此在路径88中得到色值，又将所述色值传输给算法52。
由图3可以看到分析评估步骤。这个分析评估步骤确定为用于在终端设备中、例如在智能手机中执行。第一个框70表示云端，而第二个框72表示智能手机。
在有利的设计方案中，由最终用户采集的图像的数据在框74中传输给云端并在框76中进入图像管线(图2)。这个图像管线与图1中的图像管线14相同的图像管线。
在对数据进行预备处理和分析评估之后，在步骤78中检查，是否存在足够的图像。如果是这样，则转入路径80，并且在框82中执行分类算法。由此，在框82的输出侧，在框84处存在经分类的颜色。这些颜色通过框86传导给智能手机72。
智能手机在框88中接收数据并且颜色分类在框90中结束。
相反，如果在步骤78中确定，不存在足够的图像，则转入路径92。在这种情况下，在框94中由智能手机开始颜色分类，并且在96处拍摄照片。
照片或图像的拍摄由此经由路径92触发或启动。
在智能手机72的输出侧，在路径98中存在图像。在框100中将这个图像经由路径102传导给云端并在这里加载，从而对于该图像可以启动框74中的执行过程。
下面说明一个示例性的学习算法：
如果该算法完成训练，则如由图4可以看出的那样，所述算法在最高层面上可以视为函数，所述函数给每个输入图像分配一个自然数(包括0)从0到N(类别的数量)。输出的数字代表不同的分类，由此所述数字的上限与使用情况或不同的要分类的目标的数量相关。在根据本发明的这个设计方案中，这是牙齿比色卡的16个不同的颜色(A1-D4)。
图4示出作为具有输入和输出的函数的算法。这个算法属于神经网络的一种变型，即所谓的CNN(卷积神经网络)。CNN是主要用于对图像进行分类(就是说对其所见内容进行命名)、根据相似性对图像进行分组(图片搜索)和识别场景中的目标的神经网络。这样，CNN例如用于识别面部、人员、路牌、肿瘤、动物和用于可视化数据的很多其他方面。
试验已经表明，CNN在图像识别上是特别有效的并且使得可以实现深度学习。可以使用本身已知的名为AlexNet(ImageNet比赛，2012年)的深度卷积架构；当时讨论了这种深度卷积架构用于自动驾驶汽车、机器人、无人机、安全领域、医疗诊断的应用。
根据本发明的CNN如其所使用的那样不是像人类那样感知图像。相反，重要的是，图像如何供应给CNN并如何由其处理图像。
CNN更多地将图像感知为体积，就是说感知为三维目标，并且不是感知为仅按宽度和高度测量的平面的画布式结构。这是因为，数码的彩色图像具有红蓝绿编码(RGB)，在这种红蓝绿编码中混合这三种颜色，以便产生人类感知的色彩光谱。CNN将这这种图像记录为三个单独的相互堆叠的颜色层。
就是说，CNN作为矩形的箱体接收正常的彩色图像，所述箱体的宽度和高度通过沿这些维度的像素数量来测量，并且其深度包括三个层，对于RGB中的每个字母有一个层。这种深度层被称为通道。
这些数字是输入到CNN中的初始的、原始的感知上的特征，CNN的目的是，发现这些数字中的哪个数字是有助于其按确定的类别对图像进行精确分类的重要信号。
CNN大致由三个不同的层组成，输入图像经由数学运算连续地传播通过这些层。这些层的数量、特性和布局可以根据应用目的而改变，以便优化结果。图5示出CNN的一种可能的架构。下面几段详细说明不同的层。
图5示出一个CNN卷积层的示意图。替代着重于逐个像素进行处理，CNN接收多个像素的正方形区域并且让这些区域通过一个过滤器。这个过滤器同样是正方矩阵，这个矩阵小于图像本身并且具有与所述场(区域)相同的大小。所述过滤器也称为内核并且所述过滤器的任务是，发现像素中的模式。这个过程称为卷积或旋积(Convolution)。
在下面的链接可以看到卷积的一种示例性可能的可视化表达：https://cs231n.github.io/assets/conv-demo/index.html。
CNN中的下一个层有三个名称：最大池化、降采样和下采样。图6示出一个示例性的最大池化层。前面的层的输入送入降采样层中，如在卷积中那样，逐块地应用这个方法。在这种情况下，在最大池化中，在最大池中简单地从一个图像的一个区域中获取最大值(见图6)，将所述最大值与来自其他区域的最大值一起填入新的矩阵，并且丢弃包含激活图中的信息的其余部分。
在这个步骤中损失了很多关于较小的值的信息，这促使进行寻找备选方法的研究工作。但这种降采样具有这样的优点，降低了存储和处理支出，这同样是因为损失了信息。
全连接层(Dense Layer)
全连接层是“传统的”层，这种层也在经典的神经元网络中使用。所述全连接层由数量可变的神经元组成。这些层中的神经元与前一个层中的所有输出有完整的连接，如在正常的神经网络中那样。因此所述全连接层的输出可以在后续进行偏置-偏移的情况下利用矩阵乘法计算。为了进行进一步的说明，完整地参考下面的链接：www.adventuresinmachinelearning.com/wp-content/uploads/2020/02/A-beginners-introduction-to-neural-networks-V3.pdf.
学习过程
CNN的学习过程大部分与经典神经网络的过程相同。就此而言，参考以下链接的全部内容：
https://futurism.com/how-do-artificial-neural-networks-learn
CNN目前为止只用于识别图像中的目标，而根据本发明使用这种架构，用于以很高的精度对目标的颜色进行分类。

Claims (18)

1.用于确定牙齿颜色的方法，其中，
-分析评估装置具有使用CNN的迭代学习算法，所述迭代学习算法在预备步骤中基于至少一个预先已知的、必要时在RGB空间中虚拟地生成的样板牙齿颜色在不同的光照度和拍摄角度下采集图像并且对所述图像进行分析评估，并且学习与恰当的样板牙齿颜色的对应关系，
-在分析评估步骤中，
-设有拍摄装置、特别是终端设备的、如智能手机的相机，或者是扫描仪，利用所述拍摄装置拍摄具有预先已知的、必要时虚拟地生成的样板牙齿颜色的辅助体连同至少一个牙齿的图像，
-所述拍摄装置从不同的拍摄角度采集所述要确定的牙齿与所述辅助体的组合的至少两个图像并将所述图像传输给所述分析评估装置，以及
-所述分析评估装置基于所学习的与恰当的、必要时虚拟地生成的样板牙齿颜色的对应关系分析评估所采集的图像并且根据基准值，如常用的牙齿比色卡、例如A1、B2等输出要确定的牙齿的牙齿颜色。
2.根据权利要求1所述的方法，其特征在于，在所述预备步骤中，当与恰当的样板牙齿颜色的对应关系的精度超过一个阈值时，或者当在迭代中提供的数据相对于前一次迭代的数据的变化低于一个阈值时，结束学习算法的迭代。
3.根据权利要求1或2所述的方法，其特征在于，在结束所述预备步骤时，将分析评估装置或其数据带入云端，并且在分析评估步骤中，实现将所述至少两个图像传递到云端。
4.根据上述权利要求中任一项所述的方法，其特征在于，所述终端设备输出要确定的牙齿的牙齿颜色。
5.根据上述权利要求中任一项所述的方法，其特征在于，所述辅助体具有基准点，并且在所述分析评估步骤中，只有当在要分析评估的图像中识别到基准点时，才开始分析评估，并且特别是在缺少基准点的情况下，请求另一个图像。
6.根据上述权利要求中任一项所述的方法，其特征在于，在所述分析评估步骤中，所述分析评估装置特别是在识别到基准点之后将要分析评估的图像分成多个区段。
7.根据权利要求6所述的方法，其特征在于，在所述分析评估步骤中，如果所述多个区段中的一个区段具有基本上为牙齿形状并且具有与牙齿类似的小色差和亮度差的区域时，所述分析评估装置将该区段确认为牙齿区段。
8.根据权利要求6或7所述的方法，其特征在于，在所述分析评估步骤中，所述分析评估装置将所述多个区段中的一个区段确认为辅助体区段。
9.根据权利要求6、7或8所述的方法，其特征在于，所述分析评估装置在一个区段中、特别是在牙齿区段和/或辅助体区段中寻找反射，并且只有当只识别到低于一个预先规定的阈值的反射时，才继续分析评估，并且特别是当反射高于所述预先规定的阈值时，请求另一个图像。
10.根据上述权利要求中任一项所述的方法，其特征在于，在所述分析评估步骤中，所述分析评估装置确定一个区段、特别是牙齿区段的主色，并且基于所学习的对应关系，就是说特别是在考虑不同光照度的情况下，按照最小色差法进行分析评估。
11.根据上述权利要求中任一项所述的方法，其特征在于，在所述分析评估步骤中，所述分析评估装置也基于对所述或各所述辅助体区段和所述牙齿区段的色值和亮度值的比较进行分析评估。
12.根据上述权利要求中任一项所述的方法，其特征在于，所述分析评估装置、如相机，或所述终端设备具有环境光传感器，将所述环境光传感器的输出信号传输给所述分析评估装置。
13.根据上述权利要求中任一项所述的方法，其特征在于，在预先规定的次数的分析评估之后，所述分析评估装置在包含已完成的分析评估的情况下重新进行预备步骤。
14.根据上述权利要求中任一项所述的方法，其特征在于，所述分析评估装置具有几何检测单元，所述几何检测单元基于区段边界的定向或不平行度输出报警信号，并且所述分析评估装置作为关于所述终端设备希望的要改变的定向的指示在所述终端设备的屏幕上显示所述报警信号。
15.根据上述权利要求中任一项所述的方法，其特征在于，将已知的在实用中出现的牙齿形状存储在所述分析评估装置，以用于确定所述区段和/或用于改进几何检测，并且将所述牙齿形状与检测到的形状或区段边界相比较。
16.根据上述权利要求中任一项所述的方法，其特征在于，所述拍摄装置构造成相机并且所述分析评估装置包括智能手机的APP，所述APP完成通过所述分析评估装置进行的分析评估的至少一部分。
17.根据上述权利要求中任一项所述的方法，其特征在于，所述拍摄装置构造成扫描仪，在所述扫描仪中集成计算机、特别是小型计算机，如树莓派(Raspberry Pi)，所述计算机完成通过所述分析评估装置进行的分析评估的至少一部分。
18.用于确定牙齿颜色的方法，其中，
-分析评估装置具有使用CNN的迭代学习算法，所述迭代学习算法在预备步骤中基于至少一个预先已知的、必要时在RGB空间中虚拟地生成的样板牙齿颜色在不同的光照度和拍摄角度下采集图像并且对所述图像进行分析评估，并且学习与恰当的RGB牙齿颜色的对应关系，
-其中，在分析处理步骤中，
-设有拍摄装置、特别是终端设备、如智能手机的相机，或者是扫描仪，利用所述拍摄装置拍摄具有预先已知的RGB牙齿颜色的辅助体连同至少一个牙齿的图像，
-所述拍摄装置从不同的拍摄角度采集所述要确定的牙齿与所述辅助体的组合的至少两个图像并将所述图像传输给所述分析评估装置，以及
-所述分析评估装置基于所学习的与恰当的RGB牙齿颜色的对应关系分析评估所采集的图像并且根据基准值，如常用的牙齿比色卡、例如A1、B2等输出要确定的牙齿的牙齿颜色。
CN202210148578.6A 2021-02-18 2022-02-18 用于确定牙齿颜色的方法 Pending CN114972547A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21158015.4A EP4046594A1 (de) 2021-02-18 2021-02-18 Verfahren zur festlegung einer zahnfarbe
EP21158015.4 2021-02-18

Publications (1)

Publication Number Publication Date
CN114972547A true CN114972547A (zh) 2022-08-30

Family

ID=74672076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210148578.6A Pending CN114972547A (zh) 2021-02-18 2022-02-18 用于确定牙齿颜色的方法

Country Status (5)

Country Link
US (1) US20220260420A1 (zh)
EP (2) EP4046594A1 (zh)
JP (1) JP2022130308A (zh)
KR (1) KR20220118339A (zh)
CN (1) CN114972547A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024073869A1 (zh) * 2022-10-04 2024-04-11 施霖 获取被摄对象表面多点色度坐标值的装置与方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT407954B (de) * 1999-04-19 2001-07-25 Oesterr Forsch Seibersdorf Verfahren und vorrichtung zur bestimmung von zahnfarben
KR100722897B1 (ko) * 2002-07-26 2007-05-31 올림푸스 가부시키가이샤 화상 처리 시스템
JP5073996B2 (ja) * 2006-09-20 2012-11-14 オリンパス株式会社 画像処理装置
EP2259034A1 (de) * 2009-05-29 2010-12-08 Ivoclar Vivadent AG Dentalfarben-Analysevorrichtung
EP2919185A4 (en) * 2012-11-09 2016-07-13 Fujifilm Corp CAMERA SYSTEM, COLOR TRANSFORMATION DEVICE AND METHOD THEREFOR, AND COLOR TRANSFORMATION PROGRAM
US10467815B2 (en) * 2016-12-16 2019-11-05 Align Technology, Inc. Augmented reality planning and viewing of dental treatment outcomes
US11026766B2 (en) * 2018-05-21 2021-06-08 Align Technology, Inc. Photo realistic rendering of smile image after treatment
EP3613381B1 (de) * 2018-08-23 2022-10-19 Ivoclar Vivadent AG System aus einer kamera-app und einem farbselektionshilfskörper und verfahren zur bestimmung von zahnfarben
EP3613382A1 (de) 2018-08-23 2020-02-26 Ivoclar Vivadent AG System aus einem farbselektionskörper und einem verfahren zur bestimmung von zahnfarben
US20200060798A1 (en) * 2018-08-23 2020-02-27 Ivoclar Vivadent Ag Color Selection Aid For Target Objects Such As Dental Objects
US11191342B2 (en) * 2019-07-18 2021-12-07 L'oreal Techniques for identifying skin color in images having uncontrolled lighting conditions
US11475544B2 (en) * 2020-10-16 2022-10-18 Adobe Inc. Automated braces removal from images

Also Published As

Publication number Publication date
JP2022130308A (ja) 2022-09-06
EP4046595A1 (de) 2022-08-24
EP4046594A1 (de) 2022-08-24
US20220260420A1 (en) 2022-08-18
KR20220118339A (ko) 2022-08-25

Similar Documents

Publication Publication Date Title
CN109271921B (zh) 一种多光谱成像的智能识别方法及***
US6134339A (en) Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
JP4783795B2 (ja) 照明および反射境界の区別
KR102237583B1 (ko) 빌리루빈 레벨의 추정
KR102222913B1 (ko) 정보 탐색 시스템 및 프로그램
JP2022509034A (ja) ニューラルネットワークを使用した輝点除去
EP3241154B1 (en) Image processing method and system for iris recognition
KR101695246B1 (ko) 광원 추정 장치 및 광원 추정 방법
Liu et al. Soft prototyping camera designs for car detection based on a convolutional neural network
CN114972547A (zh) 用于确定牙齿颜色的方法
KR102273128B1 (ko) 정보 탐색 시스템 및 방법, 정보 탐색 프로그램
JP2018124814A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US7653219B2 (en) System and method for image attribute recording an analysis for biometric applications
JP2001311666A (ja) 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP6884584B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN107661087B (zh) 用于感光物体如生物组织的成像的医学成像装置及方法
JP4936074B2 (ja) 特徴抽出方法
JP2019139720A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
RU2754966C1 (ru) Способ телевизионной спектральной селекции изображений объектов
Hugeng et al. Establishment of an application for photographs’ quality detection based on sharpness and light intensity
CN115035286A (zh) 图像处理方法、图像处理装置、终端及可读存储介质
FR2674974A1 (fr) Procede de classification automatique de l'etat nuageux du ciel et dispositif pour sa mise en óoeuvre.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination