CN117615733A - 三维牙齿图像显示装置和方法以及用于训练三维牙齿图像显示装置的方法 - Google Patents

三维牙齿图像显示装置和方法以及用于训练三维牙齿图像显示装置的方法 Download PDF

Info

Publication number
CN117615733A
CN117615733A CN202280042318.9A CN202280042318A CN117615733A CN 117615733 A CN117615733 A CN 117615733A CN 202280042318 A CN202280042318 A CN 202280042318A CN 117615733 A CN117615733 A CN 117615733A
Authority
CN
China
Prior art keywords
tooth
image
dental
dimensional
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280042318.9A
Other languages
English (en)
Inventor
柳济光
崔圭钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osstem Implant Co Ltd
Original Assignee
Osstem Implant Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osstem Implant Co Ltd filed Critical Osstem Implant Co Ltd
Publication of CN117615733A publication Critical patent/CN117615733A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/0003—Making bridge-work, inlays, implants or the like
    • A61C13/0004—Computer-assisted sizing or machining of dental prostheses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Image Analysis (AREA)

Abstract

根据本发明的实施方式的三维牙齿图像显示装置包括：牙齿分割单元，该牙齿分割单元将通过在轴向方向上对输入的三维牙科图像进行分割而生成的牙科截面图像中的每个对象的边界进行分割；牙齿检测单元，该牙齿检测单元识别牙科截面图像中的对象中的牙齿区域，并且检测属于该牙齿区域的每颗牙齿的牙齿编号；以及牙齿图像获取单元，该牙齿图像获取单元基于通过牙齿分割单元和牙齿检测单元获得的每个牙科截面图像中的每个对象的边界以及每颗牙齿的牙齿编号来生成每颗牙齿的三维图像，其中，每颗牙齿的三维图像可以根据牙齿编号具有不同的显示方法。

Description

三维牙齿图像显示装置和方法以及用于训练三维牙齿图像显 示装置的方法
技术领域
本发明涉及三维牙齿图像显示装置和方法，以及用于训练三维牙齿图像显示装置的方法，并且更具体地，涉及使用人工神经网络以根据口腔区域的牙科截面图像显示三维牙科图像并且检测牙齿编号的三维牙齿图像显示装置和方法，以及用于训练三维牙齿图像显示装置的方法。
背景技术
通常，在种植手术期间，需要牙齿编号，即受试者的牙齿放置编号。
因此，传统上，牙科医生使用二维低剂量锥形束计算机断层扫描(Cone-BeamComputed Tomography，CBCT)图像手动确认牙齿编号。
然而，常规的CBCT图像由于牙冠扭曲导致的金属伪影的大量出现，而难以确认患者的口腔状态。
为了解决这个问题，最近，已经使用了使用基于CBCT图像的预训练的人工神经网络模型来提供牙齿图像的方法。
发明内容
[技术问题]
用于解决上述问题的本发明的目的是提供用于显示通过牙齿编号准确地区分的三维牙齿图像，同时减少数据处理吞吐量和加载时间的三维牙齿图像显示装置和方法，以及用于高效且快速地训练该三维牙齿图像显示装置的方法。
[技术解决方案]
根据用于实现上述目的的本发明的一个实施方式，三维牙齿图像显示装置包括：牙齿分割单元，该牙齿分割单元将通过在轴向方向上对输入的三维牙科图像进行分割而生成的牙科截面图像中的每个对象的边界进行分割；牙齿检测单元，该牙齿检测单元识别牙科截面图像中的对象中的牙齿区域，并且检测属于牙齿区域的每颗牙齿的牙齿编号；以及牙齿图像获取单元，该牙齿图像获取单元基于通过牙齿分割单元和牙齿检测单元获得的每个牙科截面图像中的每个对象的边界以及每颗牙齿的牙齿编号来生成每颗牙齿的三维图像，其中，每颗牙齿的三维图像可以根据牙齿编号具有不同的显示方法。
牙齿分割单元可以包括牙齿分割神经网络，并且牙齿分割神经网络可以使用多个训练牙科截面图像作为训练输入数据以及使用掩蔽图像作为标签数据来训练，在掩蔽图像中，训练牙科截面图像中的每个对象的边界区域被掩蔽。
牙齿检测单元可以包括牙齿检测神经网络，并且牙齿检测神经网络可以使用多个训练牙科截面图像作为训练输入数据以及使用在训练牙科截面图像中存在牙齿的牙齿区域和牙齿区域内的每颗牙齿的牙齿编号作为标签数据来训练。
牙齿图像获取单元可以包括牙齿图像获取神经网络，并且牙齿图像获取神经网络可以被训练成：基于通过沿一个轴分割三维图像而生成的训练牙科截面图像以及每个训练牙科截面图像内的每颗牙齿的边界信息和每颗牙齿的牙齿编号来生成三维图像内具有相同牙齿编号的每颗牙齿的单独的三维图像。
牙齿图像获取神经网络可以被训练成：通过在轴向方向上将在分割的训练牙科截面图像中的每一个内基于边界信息提取的牙齿特定分割图像以及与所提取的牙齿特定分割图像具有相同牙齿编号的牙齿特定分割图像进行堆叠来生成单独的三维图像。
显示方法可以包括：根据每颗牙齿的牙齿编号以不同的颜色显示至少一些牙齿。
显示方法可以包括：在每颗牙齿的牙齿编号的关系是镜像或对立关系(mirroringor antagonist relationship)的情况下，以相同的颜色显示牙齿，或者在每颗牙齿的牙齿编号的关系不是镜像或对立关系的情况下，以不同的颜色显示牙齿。
三维牙科图像可以包括锥形束计算机断层扫描(CBCT)，并且分割的牙科截面图像可以是垂直于轴向方向的图像。
根据用于实现该目的的本发明的另一实施方式，三维牙齿图像显示方法包括：将通过在轴向方向上对输入的三维牙科图像进行分割而生成的牙科截面图像中的每个对象的边界进行分割；识别牙科截面图像中的对象中的牙齿区域，并且检测属于牙齿区域的每颗牙齿的牙齿编号；以及基于所获得的每个牙科截面图像中的每个对象的边界以及所获得的每颗牙齿的牙齿编号来生成每颗牙齿的三维图像，其中，每颗牙齿的三维图像可以根据牙齿编号具有不同的显示方法。
根据用于实现上述目的的本发明的又一实施方式，用于训练三维牙齿图像分割装置的方法包括：训练牙齿分割神经网络，以将通过在轴向方向上对输入的三维牙科图像进行分割而生成的牙科截面图像中的每个对象的边界进行分割；训练牙齿检测神经网络，以识别牙科截面图像中的对象中的牙齿区域，并且检测属于牙齿区域的每颗牙齿的牙齿编号；以及训练牙齿图像获取神经网络，以基于通过牙齿分割神经网络和牙齿检测神经网络获得的每个牙科截面图像中的每个对象的边界以及每颗牙齿的牙齿编号来生成每颗牙齿的三维图像。
可以通过沿一个轴分割训练三维图像来生成训练牙科截面图像，并且训练牙齿图像获取神经网络还可以包括：训练牙齿图像获取神经网络，以基于每个训练牙科截面图像内的每颗牙齿的边界信息和每颗牙齿的牙齿编号来生成三维图像内的具有相同牙齿编号的每颗牙齿的单独的三维图像。
[有益效果]
根据本发明的实施方式，三维牙齿图像显示装置和显示方法以及用于训练三维牙齿图像显示装置的方法训练人工神经网络模型以从轴向牙科截面图像中识别至少一个牙齿编号。
当与被训练成使用3D CBCT图像来检测牙齿并将牙齿分割成多个三维单元的常规牙齿检测方法相比，根据本发明的实施方式的装置和方法提供逐颗牙齿分割的三维图像，从而防止在训练数据以及识别和显示任意患者的牙齿图像内的牙齿和牙齿编号时出现的数据开销问题。
此外，可以提供用于显示通过牙齿编号准确地区分的三维牙科图像，同时减少数据处理吞吐量和加载时间的三维牙齿图像显示装置和显示方法、以及用于高效且快速地训练该三维牙齿图像显示装置的方法。
附图说明
图1是示出根据本发明的实施方式的三维牙齿图像显示装置的框图。
图2是根据本发明的实施方式的三维牙齿图像显示装置的牙齿分割单元的输出结果图像。
图3是根据本发明的实施方式的三维牙齿图像显示装置的牙齿检测单元的输出结果图像。
图4是根据本发明的实施方式的三维牙齿图像显示装置的图像分割单元的输出结果图像。
图5是根据本发明的实施方式的三维牙齿图像显示装置的最终输出结果图像。
图6是用于从硬件角度描述根据本发明的实施方式的三维牙齿图像显示装置的框图。
图7是示出根据本发明的另一实施方式的用于训练三维牙齿图像的方法的流程图。
具体实施方式
尽管本发明易于进行各种修改和替选形式，但是具体实施方式在附图中通过示例的方式被示出，并且进行了详细描述。然而，应当理解，本说明书并不旨在将本发明限制于特定实施方式，而相反地，本发明覆盖落入本发明的精神和范围内的所有修改、等同方案和替选方案。
尽管术语“第一”、“第二”、“A”、“B”等在本文中可以用于指代各种元件，但是这样的元件不应被解释为受这些术语限制。这些术语仅用于将一个元件与另一元件进行区分。
例如，在不脱离本发明的范围的情况下，第一元件可以被称为第二元件，并且第二元件可以被称为第一元件。术语“和/或”包括相关联的所列项中的一个或更多个中的任何和所有组合。
应当理解，当元件被称为“连接”或“耦接”至另一元件时，该元件可以直接地连接或耦接至另一元件，或者可以存在中间元件。相比之下，当元件被称为“直接连接”或“直接耦接”至另一元件时，不存在中间元件。
本文使用的术语仅出于描述特定实施方式的目的，并不旨在限制本发明的实施方式。如本文所使用的，除非上下文另有明确指示，否则单数形式“一”、“一个”和“该”旨在也包括复数形式。还将理解，术语“包括(comprise)”、“包括(comprising)”、“包括(include)”和/或“包括(including)”当在本文中使用时指定所陈述的特征、整数、步骤、操作、元件、部件和/或其组合的存在，但不排除存在或添加一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组合。
除非另有定义，否则在本文中使用的所有术语(包括技术术语和科技术语)具有与由本发明所属领域的普通技术人员通常理解的含义相同的含义。还应当理解，在常用词典中定义的术语应当被解释为具有与其在相关领域的上下文中的含义一致的含义，并且除非在本文中明确地如此定义，否则将不被以理想化或过于正式的意义来解释。
在下文中，将参照附图更详细地描述本发明的示例性实施方式。为了有助于对本发明的透彻理解，附图中相同的附图标记表示相同的部件，并且将省略对相同部件的重复描述。
图1是示出根据本发明的实施方式的三维牙齿图像显示装置的框图。
参照图1，三维牙齿图像显示装置1000可以包括数据接收单元1100、图像分割单元1200、牙齿分割单元1300、牙齿检测单元1400、牙齿图像获取单元1500以及显示单元1600。
三维牙齿图像显示装置1000可以使用预训练的牙齿分割神经网络模型来检测包括在多个牙科截面图像中的每一个中的对象的边界。
另外，三维牙齿图像显示装置1000可以使用牙齿检测神经网络模型来检测牙科截面图像中的至少一颗牙齿的宽度和编号。
此外，三维牙齿图像显示装置1000可以输出至少一颗检测到的牙齿作为三维图像。因此，三维牙齿图像显示装置1000可以提供种植手术期间所需的牙齿放置信息。
数据接收单元1100可以从外部源接收其中捕获了口腔区域的至少一部分的至少一个三维牙科图像。
例如，数据接收单元1100可以从外部成像设备接收至少一个三维牙科图像。从外部成像设备输入的三维牙科图像可以包括三维锥形束计算机断层扫描(CBCT)牙科图像。
图像分割单元1200可以将从数据接收单元1100接收到的三维牙科图像分割成垂直于轴向方向的多个牙科截面图像，从而生成多个牙科截面图像。
例如，如果三维牙科图像是三维CBCT牙科图像，则图像分割单元1200可以垂直于轴向方向对三维CBCT牙科图像进行切片以生成多个牙科截面图像。
根据实施方式，牙科截面图像可以是包含0至255范围内的灰度信息的CBCT图像中垂直于轴向方向的轴向截面图像。
牙齿分割单元1300可以包括牙齿分割神经网络1350。另外，牙齿分割单元1300可以从图像分割单元1200接收至少一个牙科截面图像并且输出第一图像，在该第一图像中，被包括在接收到的牙科截面图像中的至少一个对象被掩蔽。
更详细地，牙齿分割单元1300可以将从图像分割单元1200接收到的至少一个牙科截面图像输入至牙齿分割神经网络1350中。另外，牙齿分割单元1300可以使用牙齿分割神经网络1350来检测被包括在牙科截面图像中的至少一个对象的边界。
接下来，牙齿分割单元1300可以生成单独掩蔽的第一图像，在该第一图像中标记有至少一个对象的边界。例如，牙齿分割单元1300使用牙齿分割神经网络1350检测其边界的对象可以包括至少一颗牙齿。
此外，牙齿分割神经网络1350可以是机器训练模型，该机器训练模型利用包含至少一颗牙齿的至少一个训练牙科截面图像以及映射到训练牙科截面图像中的牙齿的CT坐标的掩蔽图像作为标签数据。例如，牙齿分割神经网络1350可以包括卷积神经网络。
因此，牙齿分割单元1300可以在任何输入的牙科截面图像上利用牙齿分割神经网络1350来识别牙科截面图像内的牙齿的边界，并且获取标记有牙齿边界的第一图像。
图2是根据本发明的实施方式的三维牙齿图像显示装置的牙齿分割单元的输出结果图像。
牙齿分割单元1300可以从图像分割单元1200接收至少一个牙科截面图像20。随后，牙齿分割单元1300可以使用牙齿分割神经网络1350以通过将接收到的牙科截面图像20内的至少一颗牙齿的边界进行分割以获得掩蔽的牙科图像。
如图1所示，牙齿检测单元1400可以包括牙齿检测神经网络1450。牙齿检测单元1400可以根据从图像分割单元1200接收到的至少一个牙科截面图像来生成牙齿特定属性信息。
具体地，牙齿检测单元1400可以将从图像分割单元1200接收到的至少一个牙科截面图像输入至牙齿检测神经网络1450中。接下来，牙齿检测单元1400可以使用牙齿检测神经网络1450以根据包含在牙科截面图像中的至少一颗牙齿来获得第二图像，该第二图像显示包括牙齿宽度或牙齿编号中至少一个的牙齿特定属性信息。例如，关于牙齿编号22的牙齿特定属性信息可以包括牙齿编号22的宽度或牙齿编号22的牙齿编号或者两者均包括。
根据一个实施方式，牙齿检测神经网络1450可以使用卷积神经网络来训练。
具体地，牙齿检测神经网络1450可以使用包括至少一颗牙齿的至少一个牙科截面图像以及映射到牙科截面图像中的牙齿的CT坐标的牙齿编号和位置作为标签数据来进行机器训练。
因此，牙齿检测单元1400可以将牙科截面图像输入至牙齿检测神经网络1450中以获得显示所指示的牙齿特定属性信息(包括牙齿编号)的第二图像。
图3是根据本发明的实施方式的三维牙齿图像显示装置的牙齿检测单元的输出结果图像。
如图1和图3所示，牙齿检测单元1400可以在从数据接收单元1100接收到的牙科截面图像20上以预定的形式针对每颗牙齿检测并获得包括在第二图像中的检测信息。例如，牙齿检测单元1400可以检测到框32形式的检测信息。
此外，牙齿检测单元1400可以从使用牙齿检测神经网络1450获得的坐标数据中获得关于每颗牙齿的至少一个属性信息。在这种情况下，属性信息可以包括每颗牙齿的牙齿位置信息或牙齿宽度信息中的至少一个。
此外，如图1所示，牙齿图像获取单元1500可以通过将分别从牙齿分割单元1300和牙齿检测单元1400获得的至少一个第一图像和一个第二图像进行分割来获得每颗牙齿的多个二维分割图像。
随后，牙齿图像获取单元1500基于从牙齿分割单元1300和牙齿检测单元1400获得的至少一条信息，可以将多个二维分割图像分类为同一牙齿类别。根据一个实施方式，所述至少一条信息可以包括以下中的至少一个：牙齿编号、牙齿坐标数据或牙齿边界信息。
牙齿图像获取单元1500可以包括牙齿图像获取神经网络1550。此外，牙齿图像获取单元1500可以通过根据针对至少一个第一图像和一个第二图像的被分类为同一牙齿类别的至少一个二维分割图像重建至少一个三维图像来获得第三图像。
例如，牙齿图像获取单元1500可以将被分类为同一牙齿类别的二维分割图像在轴向方向上进行堆叠以获得第三图像，该第三图像是三维重建的单独的牙齿图像。
更具体地，可以预先训练牙齿图像获取神经网络1550，以基于通过沿一个轴分割三维图像生成的训练牙科截面图以及每个训练牙科截面图像内的每颗牙齿的边界信息和牙齿编号，来针对三维图像内具有相同牙齿编号的每颗牙齿生成单独的三维图像。
牙齿图像获取神经网络1550可以在轴向方向上将在分割的训练牙科截面图像中的每一个内基于边界信息提取的牙齿特定分割图像以及与所提取的牙齿特定分割图像具有相同牙齿编号的牙齿特定分割图像进行堆叠以针对每颗牙齿生成单独的三维图像。
另外，牙齿图像获取神经网络1550可以被训练成使用堆叠的图像针对三维图像内具有相同牙齿编号的每颗牙齿生成单独的三维图像。
牙齿图像获取单元1500可以考虑存在于三维牙科图像中的牙齿的牙齿编号或类型，并且基于牙齿的牙齿编号或类型以不同的颜色掩蔽至少一些牙齿。
例如，在每颗牙齿的牙齿编号的关系是镜像或对立关系(mirroring orantagonist relationship)的情况下，牙齿图像获取单元1500可以使用相同的颜色进行掩蔽。另外，在每颗牙齿的牙齿编号的关系不是镜像或对立关系的情况下，牙齿图像获取单元1500可以使用不同的颜色进行掩蔽。
牙齿图像获取神经网络1550可以被训练成通过将牙科截面图像内每颗牙齿的CBCT裁剪DICOM(CBCT crop DICOM)图像在一个轴向方向上进行堆叠来针对三维图像中具有相同牙齿编号的每颗牙齿生成三维图像。
根据本发明的一个实施方式的三维牙齿图像显示装置1000可以基于二维图像(第一图像和第二图像)获得每颗牙齿的三维图像，从而减少数据处理吞吐量和加载时间，并且提供通过牙齿编号准确地区分的三维牙科图像。
图4是根据本发明的实施方式的三维牙齿图像显示装置的图像分割单元的输出结果图像。
如图1和图4所示，牙齿图像获取单元1500可以分别从牙齿分割单元1300和牙齿检测单元1400接收第一图像和第二图像，以生成每颗牙齿的三维图像42。另外，牙齿图像获取单元1500可以使用牙齿图像获取神经网络1550来生成具有与每颗牙齿的映射的三维图像对应的掩蔽坐标的三维牙科图像。
牙齿图像获取单元1500可以生成其中每个图像的三维图像42的显示方法根据牙齿编号而变化的3D牙科图像。此外，显示单元1600可以根据每颗牙齿的牙齿编号以不同的颜色输出每颗牙齿42的三维图像42。
例如，牙齿图像获取单元1500可以将属于同一牙齿类别的牙齿11、牙齿21、牙齿31和牙齿41的三维图像42设置成以红色显示。此外，显示单元1600可以以红色显示这些牙齿的三维图像42。
图5是根据本发明的实施方式的三维牙齿图像显示装置的最终输出结果图像。
如图1和图5所示，三维牙齿图像显示装置1000可以输出其中各个牙齿被分离且被显示的三维牙齿区域作为最终输出结果图像。三维牙齿图像显示装置1000可以将表示牙齿的区域与其他区域区分开并显示。
上面已经描述了根据本发明的一个实施方式的三维牙齿图像显示装置的软件配置。
在下面的描述中，将参照图6更详细地描述根据本发明的一个实施方式的三维牙齿图像显示装置的硬件配置。
图6是用于描述根据本发明的实施方式的三维牙齿图像显示装置的硬件配置的框图。
如图1和图6所示，三维牙齿图像显示装置1000可以包括：被配置成存储至少一个指令的存储设备1210、被配置成执行存储设备的至少一个指令的处理器1220、发送/接收设备1230、输入接口设备1240以及输出接口设备1250。
三维牙齿图像显示装置1000中包括的部件1210、部件1220、部件1230、部件1240和部件1250中的每个部件可以经由数据总线1260彼此连接并且彼此通信。
存储设备1210可以包括以下中的至少一个：存储器、易失性存储介质或非易失性存储介质。例如，存储设备1210可以包括只读存储器(ROM)或随机存取存储器(RAM)中的至少一个。
存储设备1210还可以包括要由处理器1220执行的至少一个指令，这将在下面描述。
根据本发明的另一实施方式，至少一个指令可以包括第一指令和第二指令，第一指令用于训练牙齿分割神经网络1350以将在轴向方向上分割的牙科截面图像内的每个对象的边界进行分割，第二指令用于训练牙齿检测神经网络1450以检测训练牙科截面图像内的牙齿区域和每颗牙齿的牙齿编号。另外，至少一个指令可以包括第三指令，该第三指令用于训练牙齿图像获取神经网络1550，以从通过第一指令和第二指令单独获得的多个图像中提取具有相同牙齿编号的每颗牙齿的分割图像，在轴向方向上堆叠每颗牙齿的多个分割图像，并且输出被重建为包含牙齿编号和牙齿位置的三维图像的多个牙齿特定三维分割图像。
处理器1220可以是中央处理单元(CPU)、图形处理单元(GPU)或被配置成执行根据本发明的方法的特定处理器。
还参照图1，如上所述的处理器1220可以根据存储在存储设备1210中的至少一个程序指令来执行图像分割单元1200、牙齿分割单元1300、牙齿检测单元1400和牙齿图像获取单元1500的功能。
输入接口设备1240可以从用户接收至少一个控制信号，并且输出接口设备1250可以输出与由处理器1220生成的三维牙齿图像相关的至少一条信息并使其可视化。
以上描述了根据本发明的一个实施方式的三维牙齿图像显示装置。在下面的描述中，将描述根据本发明的另一实施方式的由三维牙齿图像显示装置内的处理器执行的用于训练三维牙齿图像的方法。
图7是示出根据本发明的另一实施方式的用于训练三维牙齿图像的方法的流程图。
如图1、图6和图7所示，三维牙齿图像显示装置1000中的发送/接收设备1230可以从外部接收捕获的牙齿的至少一个三维牙科图像(S1000)。
接下来，处理器1220可以在轴向方向上分割三维牙科图像以获得牙科截面图像(S2000)。例如，三维牙科图像可以是三维CBCT图像。此外，牙科截面图像可以是通过将CBCT图像在轴向方向上进行切片而获得的截面图像。
随后，处理器1220可以使用预训练的牙齿分割神经网络1350从至少一个牙科截面图像中检测至少一个牙齿边界。
此外，处理器1220可以通过使用牙齿分割神经网络1350从至少一个牙科截面图像中分割每颗牙齿的边界来获得第一图像(S3000)。在这种情况下，可以使用多个训练牙科截面图像作为训练输入数据以及使用其中训练牙科截面图像中的每个对象的真值(groundtruth)边界区域被掩蔽的掩蔽真值图像作为标签数据来训练牙齿分割神经网络1350。另外，可以使用卷积神经网络来训练牙齿分割神经网络1350。
处理器1220可以使用预训练的牙齿检测神经网络1450从至少一个牙科截面图像中获得包括牙齿检测信息的第二图像(S4000)。
此处，可以使用多个训练牙科截面图像作为训练输入数据并且使用训练牙科截面图像中存在牙齿的牙齿区域和牙齿区域内的每颗牙齿的牙齿编号作为标签数据来训练牙齿检测神经网络1450。此外，可以使用卷积神经网络来训练牙齿检测神经网络1450。
随后，处理器1220可以输出多个牙科截面图像的坐标数据，并且使用牙齿检测神经网络1450来获得包含牙科截面图像内的每颗牙齿的属性信息的第二图像。属性信息可以包括每颗牙齿的牙齿宽度或牙齿编号中的至少一个。
此后，处理器1220可以从第一图像或第二图像中的至少一个中获得包括感兴趣区域的三维第三图像。
换句话说，处理器1220可以逐颗牙齿地分割第一图像和第二图像，使用预训练的牙齿图像获取神经网络1550将同一牙齿的分割图像进行分类，并且将这些图像沿轴向方向堆叠。因此，处理器1220可以获得三维重建的三维牙齿图像(S5000)。
之后，处理器1220可以通过输出接口设备1250来输出牙齿的三维图像(S5000)。
根据本发明的又一实施方式的三维图像显示装置和方法以及使用该三维图像显示装置提供三维牙齿图像的方法包括：训练牙齿分割神经网络1350以将在轴向方向上分割的牙科截面图像内的每个对象的边界进行分割的第一步骤；以及训练牙齿检测神经网络1450以对训练牙科截面图像内的牙齿区域和每颗牙齿的牙齿编号进行检测的第二步骤。随后，根据本发明的实施方式的装置和方法包括第三步骤：训练牙齿图像获取神经网络1550以从根据第一步骤和第二步骤单独获得的多个图像中提取具有相同牙齿编号的每颗牙齿的分割图像，在轴向方向上堆叠每颗牙齿的多个分割图像，并且输出被重建为包含牙齿的牙齿编号和牙齿位置的三维图像的多个牙齿特定三维分割图像。
因此，当与被训练成使用3D CBCT图像检测牙齿并将牙齿分割成多个三维单元的常规牙齿检测方法相比，根据本发明的实施方式的装置和方法可以防止在训练和利用数据时出现的数据开销问题。此外，根据本发明的实施方式的装置和方法可以提供用于三维牙齿重建的具有改进的处理速度和加载时间的三维牙齿图像显示装置和方法，以及使用该装置显示三维牙齿图像的方法。
因此，根据本发明的另一实施方式的用于训练三维牙齿图像的方法可以减少种植手术的持续时间，消除由牙齿的牙冠变形引起的噪声，并有可能用于以牙齿为中心的三维截面图像。
所附框图中的框或所附流程图中的步骤的组合可以由计算机程序或指令代码来执行。这些计算机程序或代码可以创建用于实现框图和/或流程图的每个框中指定的功能的手段。这些计算机程序或代码可以存储在任何类型的计算机可用或可读记录介质上。因此，存储在记录介质中的程序或代码还可以产生执行流程图中的每个框或每个步骤的功能的项。此外，这些程序或代码可以被加载到计算机或其他可编程数据处理设备上，以允许计算机或其他可编程数据处理设备执行一系列操作步骤。
框或步骤中的每一个可以指示包括一个或更多个可执行程序或代码的模块的一部分或者代码的一部分，并且框或步骤中描述的功能可以不按顺序执行。例如，连续示出的两个框或步骤实际上可以同时执行，并且所述两个框或步骤还可以以相应功能的相反顺序执行。
虽然本发明包括示例实施方式，但是对于本领域的普通技术人员来说将明显的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以在这些示例实施方式中进行形式和细节上的各种改变。

Claims (12)

1.一种三维牙齿图像显示装置，包括：
牙齿分割单元，所述牙齿分割单元将通过在轴向方向上对输入的三维牙科图像进行分割而生成的牙科截面图像中的每个对象的边界进行分割；
牙齿检测单元，所述牙齿检测单元识别所述牙科截面图像中的对象中的牙齿区域，并且检测属于所述牙齿区域的每颗牙齿的牙齿编号；以及
牙齿图像获取单元，所述牙齿图像获取单元基于通过所述牙齿分割单元和所述牙齿检测单元获得的每个牙科截面图像中的每个对象的所述边界以及每颗牙齿的所述牙齿编号来生成每颗牙齿的三维图像。
其中，所述每颗牙齿的三维图像根据所述牙齿编号具有不同的显示方法。
2.根据权利要求1所述的三维牙齿图像显示装置，其中，所述牙齿分割单元包括牙齿分割神经网络，并且
所述牙齿分割神经网络是使用多个训练牙科截面图像作为训练输入数据以及使用掩蔽图像作为标签数据来训练的，在所述掩蔽图像中，所述训练牙科截面图像中的每个对象的边界区域被掩蔽。
3.根据权利要求1所述的三维牙齿图像显示装置，其中，所述牙齿检测单元包括牙齿检测神经网络，并且
所述牙齿检测神经网络是使用多个训练牙科截面图像作为训练输入数据以及使用在所述训练牙科截面图像中存在牙齿的牙齿区域和所述牙齿区域内的每颗牙齿的牙齿编号作为标签数据来训练的。
4.根据权利要求1所述的三维牙齿图像显示装置，其中，所述牙齿图像获取单元包括牙齿图像获取神经网络，并且
所述牙齿图像获取神经网络被训练成：基于通过沿一个轴分割三维图像而生成的训练牙科截面图像以及每个训练牙科截面图像内的每颗牙齿的边界信息和每颗牙齿的牙齿编号来生成所述三维图像内具有相同牙齿编号的每颗牙齿的单独的三维图像。
5.根据权利要求4所述的三维牙齿图像显示装置，其中，所述牙齿图像获取神经网络被训练成：通过在所述轴向方向上将在分割的训练牙科截面图像中的每一个内基于所述边界信息提取的牙齿特定分割图像以及与所提取的牙齿特定分割图像具有相同牙齿编号的牙齿特定分割图像进行堆叠来生成所述单独的三维图像。
6.根据权利要求1所述的三维牙齿图像显示装置，其中，所述显示方法包括：根据每颗牙齿的牙齿编号以不同的颜色显示至少一些牙齿。
7.根据权利要求6所述的三维牙齿图像显示装置，其中，所述显示方法包括：在每颗牙齿的牙齿编号的关系是镜像或对立关系的情况下，以相同的颜色显示牙齿，或者在每颗牙齿的牙齿编号的关系不是镜像或对立关系的情况下，以不同的颜色显示牙齿。
8.根据权利要求1所述的三维牙齿图像显示装置，其中，所述三维牙科图像包括锥形束计算机断层扫描(CBCT)，并且所述分割的牙科截面图像是垂直于所述轴向方向的图像。
9.一种三维牙齿图像显示方法，包括：
将通过在轴向方向上对输入的三维牙科图像进行分割而生成的牙科截面图像中的每个对象的边界进行分割；
识别所述牙科截面图像中的对象中的牙齿区域，并且检测属于所述牙齿区域的每颗牙齿的牙齿编号；以及
基于所获得的每个牙科截面图像中的每个对象的边界以及所获得的每颗牙齿的牙齿编号来生成每颗牙齿的三维图像，
其中，所述每颗牙齿的三维图像根据所述牙齿编号具有不同的显示方法。
10.一种用于训练三维牙齿图像显示装置的方法，包括：
训练牙齿分割神经网络，以将通过在轴向方向上对输入的三维牙科图像进行分割而生成的牙科截面图像中的每个对象的边界进行分割；
训练牙齿检测神经网络，以识别所述牙科截面图像中的对象中的牙齿区域，并且检测属于所述牙齿区域的每颗牙齿的牙齿编号；以及
训练牙齿图像获取神经网络，以基于通过所述牙齿分割神经网络和所述牙齿检测神经网络获得的每个牙科截面图像中的每个对象的所述边界以及每颗牙齿的所述牙齿编号来生成每颗牙齿的三维图像。
11.根据权利要求10所述的方法，其中，训练牙科截面图像是通过沿一个轴分割训练三维图像而生成的图像。
12.根据权利要求10所述的方法，其中，训练所述牙齿图像获取神经网络包括：训练所述牙齿图像获取神经网络，以基于每个训练牙科截面图像内的每颗牙齿的边界信息和每颗牙齿的牙齿编号来生成所述三维图像内的具有相同牙齿编号的每颗牙齿的单独的三维图像。
CN202280042318.9A 2021-07-27 2022-07-25 三维牙齿图像显示装置和方法以及用于训练三维牙齿图像显示装置的方法 Pending CN117615733A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0098582 2021-07-27
KR1020210098582A KR102607886B1 (ko) 2021-07-27 2021-07-27 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법
PCT/KR2022/010849 WO2023008849A1 (ko) 2021-07-27 2022-07-25 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법

Publications (1)

Publication Number Publication Date
CN117615733A true CN117615733A (zh) 2024-02-27

Family

ID=85087098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280042318.9A Pending CN117615733A (zh) 2021-07-27 2022-07-25 三维牙齿图像显示装置和方法以及用于训练三维牙齿图像显示装置的方法

Country Status (4)

Country Link
EP (1) EP4378416A1 (zh)
KR (2) KR102607886B1 (zh)
CN (1) CN117615733A (zh)
WO (1) WO2023008849A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651466B1 (ko) * 2023-03-20 2024-03-27 고려대학교 산학협력단 내포 함수 신경망을 이용한 파노라마 방사선 사진으로부터의 3차원 치아 재구성 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120258416A1 (en) 2011-04-08 2012-10-11 Hongsheng Tong Method to define, measure, and display mesiodistal angulation and faciolingual inclination of each whole tooth
KR101739091B1 (ko) 2014-11-19 2017-05-24 성균관대학교산학협력단 치과용 ct 이미지들을 이용한 3차원 이미지의 재구성 방법 및 장치
KR101903424B1 (ko) 2017-01-10 2018-11-13 한국광기술원 광단층영상시스템 기반 3d 구강 스캐너 및 이를 이용한 치아 상태 진단 방법
WO2018167530A1 (en) 2017-03-17 2018-09-20 Trophy Dynamic dental arch map
FR3069355B1 (fr) * 2017-07-21 2023-02-10 Dental Monitoring Procédé d’entrainement d’un réseau de neurones par enrichissement de sa base d’apprentissage pour l’analyse d’une image d’arcade dentaire
KR101839789B1 (ko) 2017-08-01 2018-03-19 주식회사 뷰노 치과 영상의 판독 데이터 생성 시스템
KR102289610B1 (ko) * 2019-05-09 2021-08-17 오스템임플란트 주식회사 치아 부가정보 제공 방법 및 그 장치

Also Published As

Publication number Publication date
EP4378416A1 (en) 2024-06-05
KR20230016952A (ko) 2023-02-03
WO2023008849A1 (ko) 2023-02-02
KR102607886B1 (ko) 2023-11-29
KR20230164633A (ko) 2023-12-04

Similar Documents

Publication Publication Date Title
US11348237B2 (en) Artificial intelligence architecture for identification of periodontal features
US11398013B2 (en) Generative adversarial network for dental image super-resolution, image sharpening, and denoising
Lee et al. Automated CNN-based tooth segmentation in cone-beam CT for dental implant planning
Khan et al. Automated feature detection in dental periapical radiographs by using deep learning
US20200364624A1 (en) Privacy Preserving Artificial Intelligence System For Dental Data From Disparate Sources
US11367188B2 (en) Dental image synthesis using generative adversarial networks with semantic activation blocks
KR101839789B1 (ko) 치과 영상의 판독 데이터 생성 시스템
US20210118132A1 (en) Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment
US20200372301A1 (en) Adversarial Defense Platform For Automated Dental Image Classification
US11189028B1 (en) AI platform for pixel spacing, distance, and volumetric predictions from dental images
US10991091B2 (en) System and method for an automated parsing pipeline for anatomical localization and condition classification
US11366985B2 (en) Dental image quality prediction platform using domain specific artificial intelligence
US20200411167A1 (en) Automated Dental Patient Identification And Duplicate Content Extraction Using Adversarial Learning
US11217350B2 (en) Systems and method for artificial-intelligence-based dental image to text generation
US11276151B2 (en) Inpainting dental images with missing anatomy
EP3561778A1 (en) Automated correction of metal affected voxel representations of x-ray data using deep learning techniques
US10489940B2 (en) System and computer-implemented method for improving image quality
US20210357688A1 (en) Artificial Intelligence System For Automated Extraction And Processing Of Dental Claim Forms
US11311247B2 (en) System and methods for restorative dentistry treatment planning using adversarial learning
Lo Giudice et al. Fully automatic segmentation of the mandible based on convolutional neural networks (CNNs)
US20200387829A1 (en) Systems And Methods For Dental Treatment Prediction From Cross- Institutional Time-Series Information
EP1649810A1 (en) Image processing method and computer-readable recording medium containing image processing program
CN113226181B (zh) 在x射线锥形束计算机断层扫描中校准x射线投影几何形状的方法
KR20230164633A (ko) 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법
CN112912008B (zh) 权重图像生成装置、方法及程序、判别器学习装置、方法及程序、区域提取装置、方法及程序以及判别器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination