KR20210098683A - Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm - Google Patents
Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm Download PDFInfo
- Publication number
- KR20210098683A KR20210098683A KR1020200012517A KR20200012517A KR20210098683A KR 20210098683 A KR20210098683 A KR 20210098683A KR 1020200012517 A KR1020200012517 A KR 1020200012517A KR 20200012517 A KR20200012517 A KR 20200012517A KR 20210098683 A KR20210098683 A KR 20210098683A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- surgical treatment
- tooth
- treatment
- orthodontic
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013135 deep learning Methods 0.000 title description 2
- 238000001356 surgical procedure Methods 0.000 claims abstract description 88
- 238000012148 non-surgical treatment Methods 0.000 claims abstract description 57
- 230000001815 facial effect Effects 0.000 claims description 104
- 238000000605 extraction Methods 0.000 claims description 68
- 238000011282 treatment Methods 0.000 claims description 44
- 238000003745 diagnosis Methods 0.000 claims description 41
- 238000013145 classification model Methods 0.000 claims description 34
- 238000012937 correction Methods 0.000 claims description 32
- 238000011328 necessary treatment Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 10
- 210000002050 maxilla Anatomy 0.000 claims description 9
- 210000003128 head Anatomy 0.000 description 60
- 238000004458 analytical method Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 241000282465 Canis Species 0.000 description 7
- 210000004763 bicuspid Anatomy 0.000 description 7
- 210000004283 incisor Anatomy 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 206010061274 Malocclusion Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 210000004513 dentition Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000004373 mandible Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000036346 tooth eruption Effects 0.000 description 2
- 208000006650 Overbite Diseases 0.000 description 1
- 208000002925 dental caries Diseases 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000024693 gingival disease Diseases 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 230000018984 mastication Effects 0.000 description 1
- 238000010077 mastication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
- A61B5/4547—Evaluating teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
- A61C7/002—Orthodontic computer assisted systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Robotics (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Physical Education & Sports Medicine (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
본 발명은 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에 관한 것으로, 보다 구체적으로 치아 교정 분석에 이용되는 의료 영상에 기초한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에 관한 것이다.The present invention relates to a method for providing information on orthodontics and a device for providing information on orthodontics using the same, and more particularly, to a method for providing information on orthodontics based on a medical image used for orthodontic analysis and orthodontics using the same. It relates to a device for providing information about.
일반적으로, 치열이 바르지 않고 상하의 치아 교합이 비정상적인 상태를 부정교합이라고 한다. 이와 같은 부정교합은 저작, 발음상의 문제와 같은 기능적인 문제점과 얼굴에 대한 미적인 문제점을 발생시킬 뿐만 아니라 충치와 잇몸질환과 같은 건강상의 문제점도 발생시킬 수 있다.In general, a state in which the dentition is not aligned and the upper and lower teeth occlusion is abnormal is called malocclusion. Such malocclusion may cause functional problems such as mastication and pronunciation problems and aesthetic problems on the face, as well as health problems such as tooth decay and gum disease.
이러한 부정교합을 정상교합으로 만들기 위한 방법으로 치열 교정 치료가 수행될 수 있다. Orthodontic treatment may be performed as a method for making this malocclusion into a normal bite.
한편, 치열 교정 치료에 있어서, 중요한 부분은 치료 계획을 결정하는 것일 수 있다. 특히, 교정 치료의 예후와 관련하여, 발치 여부의 결정, 나아가 발치를 진행할 치아의 결정하는 치료 계획 수립 단계는 매우 중요할 수 있다. 예를 들어, 잘못된 치료 계획은, 앵커리지 제어 (anchorage control) 실패, 전치의 비정상적인 경사 (inclination), 부적절한 폐색, 부적절한 치아의 수평피개 (overjet) 및 수직피개 (overbite), 발치 공간 폐쇄의 어려움 등의 문제를 야기할 수 있다.On the other hand, in orthodontic treatment, an important part may be to determine a treatment plan. In particular, with respect to the prognosis of orthodontic treatment, the determination of whether to extract, furthermore, the treatment plan establishment step of determining the tooth to be extracted may be very important. For example, a poor treatment plan may cause failure of anchorage control, abnormal inclination of anterior teeth, improper occlusion, inadequate horizontal overjet and overbite of teeth, and difficulty in occlusion of the extraction space. It can cause problems.
대부분의 치과 교정 전문의는 경험과 지식을 바탕으로 임상 평가, 치아 사진, 구강 모델 (dental model) 및 방사선 사진의 데이터를 사용하여 치료 계획을 결정한다. 이때, 상기와 같은 의사 결정은, 종종 치료 계획 과정에서 오류를 발생시킬 수 있다. 나아가, 경험이 많은 의료진과 경험이 적은 의료진 사이에서 치료 계획의 차이가 발생할 수 있다.Based on their experience and knowledge, most orthodontists use data from clinical evaluations, dental photographs, dental models, and radiographs to determine treatment plans. In this case, such decision-making may often cause errors in the treatment planning process. Furthermore, differences in treatment plan may occur between experienced and inexperienced medical staff.
따라서, 의료 서비스 질의 향상 등을 위하여 교정 치료 전 치료 계획 수립에 대한 정확성이 더욱 요구되고 있음에 따라, 정확하게 교정에 필요한 처치를 결정하여 치아 교정에 대한 정보를 제공하는 방법의 개발이 지속적으로 요구되고 있는 실정이다. Therefore, as the accuracy of establishing a treatment plan before orthodontic treatment is more required to improve the quality of medical services, the development of a method for providing information on orthodontic treatment by accurately determining the treatment required for orthodontic treatment is continuously required. there is a situation.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.The description underlying the invention has been prepared to facilitate understanding of the invention. It should not be construed as an admission that the matters described in the background technology of the invention exist as prior art.
한편, 전술한 문제점을 해결하기 위해, 프로그램적으로 교정 치료 전 분석을 수행하도록 구성된 치열 교정용 분석 프로그램들이 등장하였다. 그러나 이러한 치열 교정용 분석 프로그램은, 해부학적 랜드마크들을 일일이 입력해야 함에 따라 의료진으로 하여금 번거로움이 수반될 수 있다. 나아가, 이러한 종래의 기술은, 의료진이 측모 두부 의료 영상을 기초로 해부학적 랜드마크를 직접 찾아야 한다는 점에서, 의료진의 숙련도에 따라 분석의 정확도가 달라질 수 있다는 한계가 여전히 존재할 수 있다.On the other hand, in order to solve the above-mentioned problems, orthodontic analysis programs configured to perform analysis before orthodontic treatment programmatically have appeared. However, such an orthodontic analysis program may cause inconvenience to medical staff as anatomical landmarks must be input one by one. Furthermore, in this conventional technique, in that the medical staff must directly find the anatomical landmark based on the lateral head medical image, there may still be a limitation in that the accuracy of the analysis may vary depending on the skill of the medical staff.
본 발명의 발명자들은, 상기와 같은 문제점을 해결하기 위한 방안으로, 분류, 안면인식, 및 글자인식 등 다양한 분야에서 활용되고 있는 인공 지능 기술에 주목하였다. The inventors of the present invention paid attention to artificial intelligence technology that is being used in various fields such as classification, face recognition, and character recognition as a way to solve the above problems.
보다 구체적으로, 본 발명의 발명자들은, 인공 지능 기술이 치과 교정학의 진단분야에 적용될 경우, 임상적 자료들을 바탕으로 진단에 대한 적절한 결정을 내려, 치열 교정에 대한 정보를 제공할 수 있음을 인지할 수 있었다. More specifically, the inventors of the present invention recognize that, when artificial intelligence technology is applied to the diagnostic field of orthodontics, it is possible to provide information about orthodontics by making an appropriate decision for diagnosis based on clinical data. could
본 발명의 발명자들은, 상기의 치열 교정에 대한 정보 제공 시스템에 의해 교정 전문의는 숙련도에 관계없이 예측 모델에 의해 결정된 진단 확률을 참고하여 정확한 진단 및 치료 계획 수립을 할 수 있음을 기대할 수 있었다. The inventors of the present invention could expect that, by the system for providing information on orthodontics, an orthodontist can make an accurate diagnosis and establish a treatment plan by referring to the diagnosis probability determined by the predictive model regardless of skill level.
그 결과, 본 발명의 발명자들은, 임상 자료, 특히 치아 영상, 방사선 영상과 같은 의료 영상에 기초하여 비수술적 교정, 악교정 수술 등의 필요한 처치를 결정하는 예측 모델에 기초한 치열 교정에 대한 정보 제공 시스템을 개발하기에 이르렀다.As a result, the inventors of the present invention provide an information providing system for orthodontics based on a predictive model that determines necessary treatments such as non-surgical correction and orthodontic surgery based on clinical data, in particular, medical images such as dental images and radiographic images. came to development.
이때, 본 발명의 발명자들은, 지도학습 방식을 통하여 다수의 의료 영상을 기반으로 치열 교정에 대한 정보를 확률적으로 제공하는 인공지능의 예측 모델을 구축하였다. 나아가, 본 발명의 발명자들은 이를 이용하여 새로운 의료 영상이 입력되었을 때 적절한 진단의 확률을 결정하도록 치열 교정에 대한 정보 제공 시스템을 구성하였다.At this time, the inventors of the present invention built a predictive model of artificial intelligence that probabilistically provides information on orthodontics based on a plurality of medical images through a supervised learning method. Furthermore, the inventors of the present invention configured an orthodontic information providing system to determine the probability of an appropriate diagnosis when a new medical image is input using this.
또한, 본 발명의 발명자들은, 종래의 치열 교정용 분석 프로그램에서 필수 단계인 임상 데이터로부터 계측값을 추출하는 과정 없이, 예측 모델이 의료 영상만으로 필요한 처치를 분류하고 평가하도록 치열 교정에 대한 정보 제공 시스템을 구성하였다.In addition, the inventors of the present invention provide a system for providing information on orthodontics so that a predictive model classifies and evaluates necessary treatment only with medical images without a process of extracting measurement values from clinical data, which is an essential step in a conventional orthodontic analysis program. was configured.
이에, 본 발명의 발명자들은 측모 두부 규격 방사선 영상으로부터 특정한 랜드마크를 찍어 계측값을 도출하고 구강 모델로부터 모델 분석을 시행해 계측값을 도출하여 이를 토대로 진단을 시행했던 종래의 치열 교정 시스템의 한계를 극복할 수 있음을 기대할 수 있었다. Accordingly, the inventors of the present invention derive measurement values by taking specific landmarks from the standard radiographic image of the lateral head, and derive the measurement values by performing model analysis from the oral model. could be expected to do.
더욱이, 본 발명의 발명자들은, 방사선 영상, 구내 영상, 구외 영상 및 구강 모델을 모두 사용하는 종래의 기술에 비해, 측모 두부 의료 영상 및/또는 구내 영상만으로 치열 교정에 대한 정보 제공 시스템의 구현이 가능하도록 구성할 수 있었다.Furthermore, the inventors of the present invention can implement a system for providing information about orthodontics only with lateral head medical images and/or intraoral images, compared to conventional techniques using all of radiographic images, intraoral images, extraoral images and oral models. could be configured to do so.
본 발명의 발명자들은, 특히, CNN (convolutional neural network) 기반의 딥러닝 기술 (예를 들어, Two-stream CNN) 을 적용하였고, 비수술적 처치뿐만 아니라 수술적 처치를 포괄하는 진단을 수행하도록 치열 교정에 대한 정보 제공 시스템을 구성하여 진단의 성능을 높일 수 있었다. The inventors of the present invention, in particular, applied a deep learning technique (eg, two-stream CNN) based on a convolutional neural network (CNN), and orthodontized to perform a diagnosis covering not only non-surgical treatment but also surgical treatment. It was possible to increase the performance of diagnosis by configuring an information providing system for
이에, 본 발명이 해결하고자 하는 과제는 수신된 측모 두부 의료 영상 및/또는 구내 영상 각각에 측모 안면 영역 또는 치아 영역을 예측하고, 이를 기초로 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하여 제공하는 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다. Accordingly, the problem to be solved by the present invention is to predict the lateral facial region or tooth region in each of the received lateral head medical images and/or intraoral images, and to classify the surgical or non-surgical treatment necessary for the subject based on this. It is to provide a method for providing information on orthodontics to provide and a device using the same.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법이 제공된다. 본 방법은, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계, 측모 두부 의료 영상 또는 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하는 단계, 및 측모 안면 영역 또는 치아 영역을 기초로, 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하는 단계를 포함한다.In order to solve the problems as described above, there is provided a method for providing information about orthodontics according to an embodiment of the present invention. The method includes the steps of receiving a paratrophic medical image or an intraoral image of a subject, predicting a parafacial region or a dental region comprising a parafacial region in the paratrophic medical image or intraoral image, and and classifying the surgical or non-surgical treatment required for the subject based on the dental area.
본 발명의 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계는, 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 측모 안면 영역을 예측하는 단계를 포함할 수 있다. 또한, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 측모 안면 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하는 단계를 포함할 수 있다.According to a feature of the present invention, the predicting of the lateral facial region or the dental region includes predicting the lateral facial region using a lateral facial region prediction model configured to predict the lateral facial region within the paratrophic medical image. can do. In addition, the step of classifying the surgical treatment or the non-surgical treatment may include classifying the necessary treatment for the subject as a surgical treatment or a non-surgical treatment based on the parafacial region.
본 발명의 다른 특징에 따르면, 측모 안면 영역을 예측하는 단계는, 측모 안면 영역 예측 모델을 이용하여, 측모 두부 의료 영상 내에서 측모 안면 영역에 대한 좌표를 예측하는 단계를 포함할 수 있다.According to another feature of the present invention, predicting the lateral facial region may include predicting the coordinates of the lateral facial region in the lateral head medical image by using the lateral facial region prediction model.
본 발명의 또 다른 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계는, 구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 치아 영역을 예측하는 단계를 포함할 수 있다. 또한, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 치아 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하는 단계를 포함할 수 있다.According to another feature of the present invention, predicting the parafacial area or the tooth area may include predicting the tooth area using a tooth area prediction model configured to predict the tooth area in the intraoral image. . In addition, the step of classifying the surgical treatment or the non-surgical treatment may include classifying the necessary treatment for the subject as a surgical treatment or a non-surgical treatment based on the tooth area.
본 발명의 또 다른 특징에 따르면, 치아 영역을 예측하는 단계는, 치아 영역 예측 모델을 이용하여, 구내 영상 내에서 치아 영역에 대한 좌표를 예측하는 단계를 포함할 수 있다.According to another feature of the present invention, predicting the tooth region may include predicting the coordinates of the tooth region in the intraoral image by using the tooth region prediction model.
본 발명의 또 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 측모 안면 영역 또는 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 피검자에 대하여 필요한 처치를 분류하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of classifying the surgical treatment or the non-surgical treatment includes an orthodontic classification model configured to classify the necessary treatment as a surgical treatment or a non-surgical treatment based on the parafacial region or the tooth region. It may include the step of classifying the necessary treatment for the subject by using the.
본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, 측모 안면 영역 및 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 더 구성될 수 있다.According to another feature of the present invention, the orthodontic classification model may be further configured to classify a necessary treatment into a surgical treatment or a non-surgical treatment based on the parafacial region and the tooth region.
본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, 특징을 추출하도록 구성된, 독립된 두 개의 특징 추출 레이어 (feature extraction layer), 두 개의 특징 추출 레이어로부터 추출된 두 개의 특징을 통합하는 퓨젼 레이어 (fusion layer) 를 포함할 수 있다.According to another feature of the present invention, the orthodontic classification model includes two independent feature extraction layers, configured to extract features, and a fusion layer that integrates two features extracted from the two feature extraction layers. fusion layer).
본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, Two-Stream CNN (Convolutional Neural Network) 일 수 있다.According to another feature of the present invention, the orthodontic classification model may be a Two-Stream Convolutional Neural Network (CNN).
본 발명의 또 다른 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계 이후에, 측모 안면 영역 또는 치아 영역을 포함하는 박스를 생성하는 단계를 더 포함할 수 있다. According to another feature of the present invention, the method may further include, after the step of predicting the lateral facial region or the tooth region, generating a box including the lateral facial region or the tooth region.
본 발명의 또 다른 특징에 따르면, 수술적 처치는, 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나일 수 있다.According to another feature of the present invention, the surgical treatment may be at least one of orthodontic class 2 extraction surgery, orthodontic class 2 non-extraction surgery,
본 발명의 또 다른 특징에 따르면, 비수술적 처치는, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나일 수 있다.According to another feature of the present invention, the non-surgical treatment includes non-extraction correction, upper and lower first premolar extraction correction, upper and lower second premolar extraction correction, maxilla first premolar extraction correction, and maxilla first premolar mandibular second premolar extraction correction. may be at least one of
본 발명의 또 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 수술적 처치 또는 비수술적 처치를 확률적으로 예측하는 단계를 포함할 수 있다. 나아가, 분류하는 단계 이후에, 수술적 처치 진단 확률 또는 비수술적 처치 진단 확률을 제공하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the step of classifying the surgical treatment or the non-surgical treatment may include probabilistically predicting the surgical treatment or the non-surgical treatment. Furthermore, after the classifying step, the method may further include providing a surgical treatment diagnosis probability or a non-surgical treatment diagnosis probability.
본 발명의 또 다른 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계 이후에, 측모 안면 영역 또는 치아 영역을 흑백으로 전환하는 단계, 및 흑백 전환된 측모 안면 영역 또는 흑백 전환된 치아 영역을 벡터화하는 단계를 더 포함할 수 있다.According to another feature of the present invention, after predicting the paratrophic facial region or tooth region, the steps of converting the paratrophic facial region or the tooth region to black and white, and vectorizing the black-and-white converted paratrophic facial region or the black-and-white converted tooth region It may further include the step of
본 발명의 또 다른 특징에 따르면, 수신하는 단계 이전에, 표본 피검자에 대한 표본 측모 두부 의료 영상 또는 표본 구내 영상을 수신하는 단계, 표본 측모 두부 의료 영상 내에서 표본 측모 안면 영역에 대한 선택 또는 표본 구내 영상 내에서 표본 치아 영역에 대한 선택을 입력 받는 단계, 표본 측모 안면 영역 또는 표본 치아 영역의 좌표 에 대한 좌표 및 표본 측모 두부 의료 영상을 기초로, 학습용 측모 두부 의료 영상을 생성하는 단계를 더 포함할 수 있다.According to another feature of the present invention, prior to the receiving step, receiving a sample collateral head medical image or a sample intraoral image of a sample subject, selecting a sample paratrophic facial region in the sample collateral head medical image or sample intraoral The method may further include receiving a selection input for a sample tooth region within the image, and generating a paratrophic medical image for training based on the coordinates of the sample parafacial region or the coordinates of the sample tooth region and the sample paracephalometric medical image. can
본 발명의 또 다른 특징에 따르면, 학습용 측모 두부 의료 영상을 생성하는 단계는, 표본 측모 두부 의료 영상에 대한 정보 및 표본 측모 안면 영역에 대한 좌표를 포함하는 json 파일 또는 xml 파일을 생성하는 단계를 더 포함할 수 있다. According to another feature of the present invention, the generating of the lateral head medical image for learning includes the step of generating a json file or xml file including information on the sample lateral head medical image and coordinates for the sample lateral head facial region. may include
본 발명의 또 다른 특징에 따르면, 분류하는 단계 이후에, 분류 결과를 기초로, 피검자에 대한 치료 계획을 결정하는 단계를 더 포함할 수 있다.According to another feature of the present invention, after the classifying step, based on the classification result, the method may further include determining a treatment plan for the subject.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스가 제공된다. 본 디바이스는, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신하도록 구성된 수신부, 및 수신부와 연결된 프로세서를 포함한다. 이때, 프로세서는, 측모 두부 의료 영상 또는 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하고, 측모 안면 영역 또는 치아 영역을 기초로, 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하도록 구성된다.In order to solve the problems as described above, there is provided a device for providing information about orthodontics according to another embodiment of the present invention. The device includes a receiving unit configured to receive a paracephalometric medical image or an intraoral image of a subject, and a processor connected to the receiving unit. At this time, the processor predicts a parafacial region or a dental region including a paratrophic region in the paratrophic medical image or intraoral image, and based on the paratrophic facial region or tooth region, a surgical treatment or non-surgical treatment required for the subject It is structured to classify treatments.
본 발명의 특징에 따르면, 프로세서는, 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 측모 안면 영역을 예측하고, 측모 안면 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 더 구성될 수 있다.According to a feature of the present invention, the processor predicts the lateral facial region using a lateral facial region prediction model configured to predict the lateral facial region within the lateral head medical image, and a necessary treatment for the subject based on the lateral facial region may be further configured to classify as surgical treatment or non-surgical treatment.
본 발명의 다른 특징에 따르면, 프로세서는, 구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 치아 영역을 예측하고, 치아 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성될 수 있다.According to another feature of the present invention, the processor predicts a tooth area using a tooth area prediction model configured to predict a tooth area in an intraoral image, and provides a surgical treatment or a necessary treatment for the subject based on the tooth area. It can be configured to classify as a non-surgical treatment.
본 발명의 또 다른 특징에 따르면, 프로세서는, 측모 안면 영역 또는 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 피검자에 대하여 필요한 처치를 분류하도록 더 구성될 수 있다.According to another feature of the present invention, the processor uses an orthodontic classification model configured to classify a necessary treatment as a surgical treatment or a non-surgical treatment, based on the parafacial region or the dental region, to determine the necessary treatment for the subject. It may be further configured to classify.
본 발명은, 측모 두부 의료 영상 및/또는 구내 영상 각각에 대하여 측모 안면 영역 및 치아 영역을 예측하도록 구성된 예측 모델, 나아가 필요한 처치를 분류하도록 구성된 분류 모델을 이용한 치열 교정에 대한 정보 제공 시스템을 제공함으로써 피검자의 치열 교정 분석을 위한 정보를 제공할 수 있는 효과가 있다. The present invention provides an information providing system for orthodontics using a predictive model configured to predict a parafacial region and a dental region for each of the paracephalic medical images and/or intraoral images, and furthermore, a classification model configured to classify necessary treatments. There is an effect that can provide information for the orthodontic analysis of the subject.
보다 구체적으로, 본 발명은, 종래의 치열 교정용 분석 프로그램에서 필수 단계인 임상 데이터로부터 계측값을 추출하는 과정 없이, 예측 모델이 의료 영상만으로 필요한 처치를 분류하고 평가하여 치열 교정에 대한 정보를 제공할 수 있다.More specifically, the present invention provides information on orthodontic treatment by using a predictive model to classify and evaluate necessary treatments only with medical images, without the process of extracting measurement values from clinical data, which is an essential step in the conventional orthodontic analysis program. can do.
이에, 본 발명은, 측모 두부 규격 방사선 영상으로부터 특정한 랜드마크를 찍어 계측값을 도출하고 구강 모델로부터 모델 분석을 시행해 계측값을 도출하여 이를 토대로 진단을 시행했던 종래의 치열 교정 시스템의 한계를 극복할 수 있다.Accordingly, the present invention is to overcome the limitations of the conventional orthodontic system, which derives measurement values by taking specific landmarks from the standard radiographic image of the lateral head, and derives the measurement values by performing model analysis from the oral model, and performs diagnosis based on this. can
또한, 본 발명은, 방사선 영상, 구내 영상, 구외 영상 및 구강 모델을 모두 사용하는 종래의 기술에 비해, 측모 두부 의료 영상 및/또는 구내 영상만으로 치열 교정에 대한 정보를 제공하는 시스템의 구현이 가능할 수 있다. In addition, the present invention can implement a system that provides information on orthodontics only with a lateral head medical image and/or an intraoral image, compared to the prior art using both a radiographic image, an intraoral image, an extraoral image, and an oral model. can
나아가, 본 발명은, 임상적 자료들을 바탕으로 의료진의 지식과 경험에 의존적인 종래의 치열 교정에 대한 정보 제공 시스템이 갖는 한계를 극복할 수 있는 효과가 있다.Furthermore, the present invention has an effect of overcoming the limitations of the conventional orthodontic information providing system that is dependent on the knowledge and experience of the medical staff based on clinical data.
보다 구체적으로 본 발명은, 다양한 예측 모델에 기초한 치열 교정에 대한 정보 제공 시스템을 제공함으로써, 의료진의 숙련도에 따른 진단의 오차, 이에 따른 진달 결과의 낮은 신뢰도를 극복할 수 있고, 피검자에 대한 정확한 교정 치료 전 치료 계획 수립이 가능할 수 있다.More specifically, the present invention provides a system for providing information on orthodontics based on various predictive models, thereby overcoming errors in diagnosis according to the proficiency of medical staff and low reliability of diagnosis results, and correct correction for the subject It may be possible to establish a treatment plan before treatment.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effect according to the present invention is not limited by the contents exemplified above, and more various effects are included in the present specification.
도 1a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스를 이용한 치열 교정 분석 시스템을 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 예측 모델에 기초한 측모 안면 영역의 절차를 예시적으로 도시한 것이다.
도 3b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치아 영역 예측 모델에 기초한 치아 영역의 절차를 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치열 교정 분류 모델에 기초한 의료적 처리 분류의 절차를 예시적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 및 치아 영역의 전처리 절차를 예시적으로 도시한 것이다.
도 6a 내지 6d는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에서 이용되는, 예측 모델들의 학습용 영상 데이터의 생성 절차를 도시한 것이다.1A illustrates an orthodontic analysis system using a device for providing information on orthodontics according to an embodiment of the present invention.
1B exemplarily shows the configuration of a device for providing information on orthodontics according to an embodiment of the present invention.
Figure 2 shows a procedure of a method for providing information about orthodontics according to an embodiment of the present invention.
3A exemplarily illustrates a procedure of a lateral facial region based on a lateral facial region prediction model in a method for providing information on orthodontics according to an embodiment of the present invention.
3B exemplarily illustrates a procedure of a tooth area based on a tooth area prediction model in a method for providing information on orthodontics according to an embodiment of the present invention.
4 exemplarily illustrates a procedure of medical treatment classification based on an orthodontic classification model in a method for providing information on orthodontics according to an embodiment of the present invention.
5 exemplarily illustrates a pre-processing procedure of a lateral facial region and a tooth region in a method for providing orthodontic information according to an embodiment of the present invention.
6A to 6D are diagrams illustrating a process of generating image data for training of predictive models used in a method for providing orthodontic information and a device for providing orthodontic information using the same according to an embodiment of the present invention.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages of the invention, and methods of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다. The shapes, sizes, proportions, angles, numbers, etc. disclosed in the drawings for explaining the embodiments of the present invention are exemplary, and thus the present invention is not limited to the illustrated matters. In addition, in describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. When 'including', 'having', 'consisting', etc. mentioned in this specification are used, other parts may be added unless 'only' is used. When a component is expressed in a singular, the case in which the plural is included is included unless otherwise explicitly stated.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다. In interpreting the components, it is interpreted as including an error range even if there is no separate explicit description.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다. Each feature of the various embodiments of the present invention may be partially or wholly combined or combined with each other, and technically various interlocking and driving are possible, as will be fully understood by those skilled in the art, and each embodiment may be independently implemented with respect to each other, It may be possible to implement together in a related relationship.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다. For clarity of interpretation of the present specification, terms used herein will be defined below.
본 명세서에서 사용되는 용어, "측모 두부 의료 영상"은 의료 영상 진단 장치로부터 수신한 피검자의 옆모습을 포함하는 모든 영상을 의미할 수 있다. 바람직하게, 본 원에 개시된 측모 두부 의료 영상은, 측모 두부 규격 방사선 영상일 수 있으나, 이에 제한되는 것은 아니다. 한편, 측모 두부 의료 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 측모 두부 의료 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에 따라 복수개의 측모 두부 의료 영상 각각에 대한 측모 안면 영역이 예측될 수 있다. As used herein, the term “lateral head medical image” may refer to all images including a side view of a subject received from a medical imaging apparatus. Preferably, the lateral head medical image disclosed herein may be a lateral head standard radiographic image, but is not limited thereto. Meanwhile, the lateral head medical image may be a two-dimensional image, a three-dimensional image, a still image of one cut, or a moving image composed of a plurality of cuts. For example, if the sidebar head medical image is a moving picture composed of a plurality of cuts, the sideface facial region for each of the plurality of sidehead head medical images may be predicted according to the orthodontic information providing method according to an embodiment of the present invention. can
한편, 측모 두부 의료 영상은, 측모 안면 부위를 포함하는 측모 안면 영역을 포함할 수 있다. Meanwhile, the lateral head medical image may include a lateral facial region including a lateral facial region.
본 명세서에서 사용되는 용어, "구내 영상"은 피검자의 치아 구조를 나타내는 영상으로, 바람직하게 피검자의 상하의 치열을 모두 포함하는 영상일 수 있다. As used herein, the term “intraoral image” is an image representing the structure of a subject's teeth, and may preferably be an image including both upper and lower teeth of the subject.
이때, 구내 영상은, 위턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니에 대한 치아 영역 및/또는 아래턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니 중 적어도 하나에 대한 치아 영역을 포함할 수 있다.In this case, the intraoral image may include a tooth area for the incisors, canines, premolars, and molars of the upper jaw and/or a tooth area for at least one of the incisors, canines, premolars, and molars of the lower teeth. there is.
바람직하게, 치아 영역은, 위턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니에 대한 치아 영역 및/또는 아래턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니의 복수의 치아에 대한 영역일 수 있다. 따라서, 치아 영역의 배열은, 피검자의 치열의 특징을 반영할 수 있다. Preferably, the tooth region may be a tooth region for the incisors, canines, premolars, and molars of the upper teeth and/or regions for the plurality of teeth of the incisors, canines, premolars, and molars of the lower teeth. . Accordingly, the arrangement of the tooth region may reflect the characteristics of the examinee's dentition.
본 명세서에서 사용되는 용어, "측모 안면 영역 예측 모델"은 측모 두부 의료 영상에 대하여 치열 교정을 위해 계측하고자 하는 대상 영역인, 측모 안면 부위를 포함하는 측모 안면 영역을 예측하도록 구성된 모델일 수 있다. 예를 들어, 측모 안면 영역 예측 모델은 측모 두부 의료 영상 내에서 상기 측모 안면 영역 예측하도록 학습된 faster R-CNN일 수 있다. 보다 구체적으로, 측모 안면 영역 예측 모델은, 측모 안면 영역의 좌표가 미리 결정된 학습용 측모 두부 의료 영상을 수신하고, 측모 안면 영역의 좌표를 기초로 학습용 측모 두부 의료 영상 내에서 측모 안면 영역을 관심 영역으로 예측하도록 학습된 모델일 수 있다. 그러나, 측모 안면 영역 예측 모델은 이에 제한되지 않고 보다 다양한 영상 분할 알고리즘에 기초할 수 있다. As used herein, the term "paralateral facial region prediction model" may be a model configured to predict a paratrophic facial region including a lateral facial region, which is a target region to be measured for orthodontic treatment with respect to a lateral head medical image. For example, the lateral facial region prediction model may be a faster R-CNN trained to predict the lateral facial region within the lateral head medical image. More specifically, the lateral facial region prediction model receives a lateral head medical image for training in which the coordinates of the lateral facial region are predetermined, and sets the lateral facial region as a region of interest in the lateral head medical image for training based on the coordinates of the lateral facial region. It can be a model trained to predict. However, the lateral facial region prediction model is not limited thereto and may be based on more various image segmentation algorithms.
이때, 측모 안면 영역은 다른 영역, 예를 들어 배경 영역과 상이한 픽셀 값, 질감 (texture) 을 가질 수 있다. 이에, 측모 안면 영역 예측 모델은, 픽셀 값 또는 질감을 기초로 측모 안면 영역을 예측할 수도 있다. In this case, the lateral facial region may have different pixel values and textures from other regions, for example, the background region. Accordingly, the lateral facial region prediction model may predict the lateral facial region based on a pixel value or a texture.
본 명세서에서 사용되는 용어, "치아 영역 예측 모델"은 측모 두부 의료 영상에 대하여 치열 교정을 위해 계측하고자 하는 대상 영역인, 상하의 치열에 대응하는 피검자의 복수의 치아 영역을 예측하도록 구성된 모델일 수 있다. 예를 들어, 치아 영역 예측 모델은 구내 영상 내에서 치아 영역을 예측하도록 학습된 faster R-CNN일 수 있다. 보다 구체적으로, 치아 영역 예측 모델은, 위턱 치아 및 아래턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니 각각에 대하여 이들 영역의 좌표가 미리 결정된 학습용 구내 영상을 수신하고, 미리 결정된 치아 영역의 좌표를 기초로 학습용 구내 영상 내에서 치아 영역을 관심 영역으로 예측하도록 학습된 모델일 수 있다. 그러나, 치아 영역 예측 모델은 이에 제한되지 않고 보다 다양한 영상 분할 알고리즘에 기초할 수 있다. As used herein, the term "tooth region prediction model" may be a model configured to predict a plurality of tooth regions of a subject corresponding to upper and lower teeth, which is a target region to be measured for orthodontic treatment with respect to a paracephalometric medical image. . For example, the tooth area prediction model may be a faster R-CNN trained to predict a tooth area within an intraoral image. More specifically, the tooth area prediction model receives an intraoral image for learning in which the coordinates of these areas are predetermined for each of the incisors, canines, premolars, and molars of the upper and lower teeth, and the coordinates of the predetermined tooth area are received. It may be a model trained to predict a tooth region as a region of interest in an intraoral image for learning based on it. However, the tooth region prediction model is not limited thereto and may be based on more various image segmentation algorithms.
이때, 치아 영역은 다른 영역, 예를 들어, 입술, 혀 등과 같은 배경 영역과 상이한 픽셀 값, 질감 (texture) 을 가질 수 있다. 이에, 치아 영역 예측 모델은, 픽셀 값 또는 질감을 기초로 치아 영역을 예측할 수도 있다.In this case, the tooth region may have different pixel values and textures from other regions, for example, background regions such as lips and tongue. Accordingly, the tooth region prediction model may predict the tooth region based on a pixel value or texture.
본 명세서에서 사용되는 용어, "수술적 처치"는, 수술적 치열 교정으로, 악교정 수술을 의미할 수 있다. 이때, 수술적 처치는, 피검자의 측모 안면 영역 및/또는 치아 영역의 배열에 기초하여 결정될 수 있다.As used herein, the term “surgical treatment” refers to surgical orthodontic treatment, and may refer to orthognathic surgery. In this case, the surgical treatment may be determined based on the arrangement of the lateral facial region and/or the tooth region of the subject.
본 발명의 특징에 따르면, 수술적 처치는, 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나일 수 있다.According to a feature of the present invention, the surgical treatment may be at least one of orthodontic class 2 extraction surgery, orthodontic class 2 non-extraction surgery,
본 명세서에서 사용되는 용어, "비수술적 처치"는, 비수술적 치열 교정, 예를 들어 브라켓 (bracket) 을 이용한 교정을 의미할 수 있다. 이때, 비수술적 처치는, 피검자의 측모 안면 영역 및/또는 치아 영역의 배열에 기초하여 결정될 수 있다.As used herein, the term “non-surgical treatment” may refer to non-surgical orthodontic correction, for example, correction using a bracket. In this case, the non-surgical treatment may be determined based on the arrangement of the lateral facial region and/or the tooth region of the subject.
본 발명의 특징에 따르면, 비수술적 처치는, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나일 수 있다.According to a feature of the present invention, the non-surgical treatment includes at least one of non-extraction correction, upper and lower first premolar extraction correction, upper and lower second premolar extraction correction, maxilla first premolar extraction correction, and maxilla first premolar mandibular second premolar extraction correction. can be one
본 명세서에서 사용되는 용어, "치열 교정 분류 모델"은 측모 안면 영역 및/또는 치아 영역에 기초하여, 피검자에게 필요한 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 모델일 수 있다. 예를 들어, 치열 교정 분류 모델은, 측모 안면 영역 및 치아 영역의 영상으로부터, 피검자에게 필요한 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나의 수술적 처치의 진단 결과를 확률적으로 제공하도록 학습된 모델일 수 있다. 또한, 치열 교정 분류 모델은, 측모 안면 영역 및 치아 영역의 영상으로부터, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나의 비수술적 처치의 진단 결과를 확률적으로 제공하도록 학습된 모델일 수 있다. As used herein, the term “orthodontic classification model” may be a model configured to classify surgical or non-surgical treatment required for a subject based on a parafacial region and/or a tooth region. For example, the orthodontic classification model may include at least one of orthodontic class 2 extraction surgery, orthodontic class 2 non-extraction surgery,
이때, 치열 교정 분류 모델은, 입력된 측모 안면 영역 및 치아 영역 각각에 대하여 특징을 추출하도록 구성된 두 개의 특징 추출 레이어 (feature extraction layer)와 두 개의 특징 추출 레이어로부터 추출된 두 개의 특징을 통합하는 퓨젼 레이어 (fusion layer) 로 이루어질 수 있다. 바람직하게, 치열 교정 분류 모델은, Two-Stream CNN (Convolutional Neural Network) 일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 치열 교정 분류 모델은, 측모 안면 영역을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제1 치열 교정 분류 모델과 치아 영역을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제2 치열 교정 분류 모델의 두 개의 독립된 모델이 합쳐진 앙상블 모델일 수도 있다.In this case, the orthodontic classification model is a fusion that integrates two features extracted from two feature extraction layers and two feature extraction layers configured to extract features for each of the input lateral facial region and tooth region. It may be formed of a fusion layer. Preferably, the orthodontic classification model may be a Two-Stream Convolutional Neural Network (CNN), but is not limited thereto. For example, the orthodontic classification model may include a first orthodontic classification model configured to classify a surgical or non-surgical treatment based on a parafacial region and a first orthodontic classification model configured to classify a surgical or non-surgical treatment based on a tooth region. It may be an ensemble model in which two independent models of the second orthodontic classification model are combined.
한편, 본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, 개시 학습 비율 (initial learning rate) 가 0.01로, 모멘텀 (momentum) 이 0.9로, 가중치 감쇠 (weight decay) 가 0.0005로, 드롭 아웃 (dropout) 이 0.5로 학습 인자 값이 설정될 수 있다. 그러나 학습을 위해 입력되는 파라미터들의 학습 인자 값은 이에 제한되는 것은 아니다.Meanwhile, according to another feature of the present invention, the orthodontic classification model has an initial learning rate of 0.01, a momentum of 0.9, a weight decay of 0.0005, and a dropout ( dropout), a learning factor value of 0.5 may be set. However, learning factor values of parameters input for learning are not limited thereto.
이하에서는 도 1a 및 1b를 참조하여, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스를 이용한 치열 교정 분석 시스템 및 치열 교정에 대한 정보 제공용 디바이스를 설명한다. Hereinafter, an orthodontic analysis system using a device for providing information about orthodontics and a device for providing information about orthodontics according to an embodiment of the present invention will be described with reference to FIGS. 1A and 1B .
도 1a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스를 이용한 치열 교정 분석 시스템을 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.1A illustrates an orthodontic analysis system using a device for providing information on orthodontics according to an embodiment of the present invention. 1B exemplarily shows the configuration of a device for providing information on orthodontics according to an embodiment of the present invention.
먼저, 도 1a를 참조하면, 측모 두부 계측 방사선 촬영 장치로부터 측모 두부 의료 영상 (210) 이 획득될 수 있고, 구내 촬영 장치로부터 피검자에 대한 구내 영상 (220) 이 획득될 수 있다. 이때, 획득된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 의 의료 영상 (200) 은, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스 (100) 에 수신된다. First, referring to FIG. 1A , a lateral head
치열 교정에 대한 정보 제공용 디바이스 (100) 는, 수신된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 내에서 측모 안면 영역 및/또는 치아 영역을 예측하고, 예측된 영역에 기초하여 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 결정하여 제공한다. The
보다 구체적으로, 도 1b를 참조하면, 치열 교정에 대한 정보 제공용 디바이스 (100) 는 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함한다. More specifically, referring to FIG. 1B , the
구체적으로 수신부 (110) 는 측모 두부 계측 방사선 촬영 장치로부터 피검자에 대한 측모 두부 의료 영상을 수신하거나 또는, 구내 촬영 장치로부터 피검자에 대한 구내 영상을 수신하도록 구성될 수 있다. 이때, 수신부 (110) 에 의해 획득된 측모 두부 의료 영상 (210) 은 측모 두부 규격 방사선 영상일 수 있고, 구내 영상 (220) 은 RGB 컬러 영상일 수 있으나, 이에 제한되는 것은 아니다. 한편, 수신부 (110) 는 획득된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 을 후술할 프로세서 (150) 에 송신하도록 더 구성될 수 있다. 한편, 수신부 (110) 를 통해 획득된 측모 두부 의료 영상 (210) 은 측모 안면 영역을 포함하고, 구내 영상 (220) 은 복수의 치아 영역을 포함할 수 있다. In more detail, the receiver 110 may be configured to receive a lateral head medical image of the subject from the paracephalometric radiography apparatus or to receive an intraoral image of the subject from the intraoral imaging apparatus. In this case, the lateral head
입력부 (120) 는 치열 교정에 대한 정보 제공용 디바이스 (100) 를 설정할 수 있다. 나아가, 사용자는, 측모 두부 의료 영상 (210) 및 구내 영상 (220) 각각에 대하여 측모 안면 영역 및 치아 영역을 직접 선택할 수 있다. 이때, 입력부 (120) 는 키보드, 마우스, 터치 스크린 패널일 수 있으나, 이이 제한되는 것은 아니다. The
한편, 출력부 (130) 는 수신부 (110) 로부터 획득된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 을 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 측모 두부 의료 영상 (210) 내에서 결정된 측모 안면 영역, 및/또는 구내 영상 (210) 내에서 결정된 복수의 치아 영역을 표시하도록 구성될 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 결정된 피검자에 대하여 필요한 진단에 대한 정보를 표시하도록 구성될 수 있다. 그러나, 이에 제한되지 않고 출력부 (130) 는 피검자의 치열 교정을 위해 프로세서 (150) 에 의해 결정된 보다 다양한 정보들을 표시하도록 구성될 수 있다.Meanwhile, the output unit 130 may visually display the lateral head
저장부 (140) 는 수신부 (110) 를 통해 획득한 피검자에 대한 의료 영상 (200) 을 저장하고, 입력부 (120) 를 통해 설정된 치열 교정에 대한 정보 제공용 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술할 프로세서 (150) 에 의해 예측된 결과들을 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부 (140) 는, 피검자의 치열 교정을 위해 프로세서 (150) 에 의해 결정된 보다 다양한 정보들을 저장할 수 있다.The
한편, 프로세서 (150) 는 치열 교정에 대한 정보 제공용 디바이스 (100) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 프로세서 (150) 는 측모 두부 의료 영상 (210) 에 대하여 측모 안면 영역을 예측하거나, 구내 영상 (220) 내에서 복수의 치아 영역을 예측하고, 예측된 안면 영역 및/또는 복수의 치아 영역에 기초하여 피검자의 치아 상태에 따른 진단 결과를 분류하여 제공하도록 구성될 수 있다. Meanwhile, the
예를 들어, 프로세서 (150) 는 수신부 (110) 로부터 획득한 피검자에 대한 측모 두부 의료 영상 (210) 내에서 측모 안면 영역을 예측하도록 학습된 예측 모델, 그리고 구내 영상 (220) 내에서 치아 영역을 예측하도록 학습된 예측 모델을 이용하도록 구성될 수 있다. 나아가, 프로세서 (150) 는, 예측 모델에 의해 예측된 측모 안면 영역 및/또는 치아 영역에 기초하여 피검자의 치아 상태에 따른 진단 결과를 분류하여 제공하는 분류 모델을 이용하도록 구성될 수 있다. 이때, 측모 안면 영역 및 치아 영역 각각을 예측하도록 학습된 모델은 faster R-CNN에 기초할 수 있고, 치열 교정 진단의 분류 모델은 Two-Stream CNN에 기초할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 다양한 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델들 및 분류 모델은 DNN (Deep Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 모델, SVM (Support Vector Machine) 또는 U-net을 기반으로 하여 관심 영역을 예측하거나, 피검자에 대하여 적합한 의료적 처치를 분류하도록 구성될 수 있다. For example, the
한편, 본 발명의 다양한 실시예에 따르면, 치열 교정에 대한 정보 제공용 디바이스는, 수신부 (110) 에 의해 수신한 측모 두부 의료 영상 및/또는 구내 영상이 RGB 컬러 영상일 경우, 의료 영상을 흑백 영상으로 전환하고, 흑백 영상을 벡터화하도록 구성된, 데이터 전처리부를 더 포함할 수 있다. Meanwhile, according to various embodiments of the present disclosure, the device for providing information on orthodontics converts the medical image to a black-and-white image when the lateral head medical image and/or the intraoral image received by the receiving unit 110 is an RGB color image. It may further include a data pre-processing unit configured to convert to and vectorize a black-and-white image.
이하에서는, 도 2, 3a, 3b, 도 4 및 도 5를 참조하여, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법을 구체적으로 설명한다. 도 2는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 3a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 예측 모델에 기초한 측모 안면 영역의 절차를 예시적으로 도시한 것이다. 도 3b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치아 영역 예측 모델에 기초한 치아 영역의 절차를 예시적으로 도시한 것이다. 도 4는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치열 교정 분류 모델에 기초한 의료적 처리 분류의 절차를 예시적으로 도시한 것이다. 도 5는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 및 치아 영역의 전처리 절차를 예시적으로 도시한 것이다. Hereinafter, a method of providing information on orthodontics according to an embodiment of the present invention will be described in detail with reference to FIGS. 2, 3A, 3B, 4 and 5 . Figure 2 shows a procedure of a method for providing information about orthodontics according to an embodiment of the present invention. 3A exemplarily illustrates a procedure of a lateral facial region based on a lateral facial region prediction model in a method for providing information on orthodontics according to an embodiment of the present invention. 3B exemplarily illustrates a procedure of a tooth area based on a tooth area prediction model in a method for providing information on orthodontics according to an embodiment of the present invention. 4 exemplarily illustrates a procedure of medical treatment classification based on an orthodontic classification model in a method for providing information on orthodontics according to an embodiment of the present invention. 5 exemplarily illustrates a pre-processing procedure of a lateral facial region and a tooth region in a method for providing orthodontic information according to an embodiment of the present invention.
먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 의료적 처치 결정 절차는 다음과 같다. 먼저, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신한다 (S210). 그 다음, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측한다 (S220). 그 다음, 측모 안면 영역 및/또는 치아 영역에 기초하여 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 결정한다 (S230). 마지막으로, 예측된 결과를 제공한다 (S240). First, referring to FIG. 2 , a medical treatment decision procedure according to an embodiment of the present invention is as follows. First, a lateral head medical image or an intraoral image of the subject is received (S210). Thereafter, the lateral facial region is predicted with respect to the lateral head medical image, or the tooth region is predicted within the intraoral image ( S220 ). Next, a surgical treatment or a non-surgical treatment necessary for the subject is determined based on the parafacial area and/or the tooth area ( S230 ). Finally, a predicted result is provided (S240).
보다 구체적으로, 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서, 측모 두부 계측 방사선 촬영 장치로부터 피검자에 대한 측모 두부 의료 영상을 수신하거나 또는, 구내 촬영 장치로부터 피검자에 대한 구내 영상이 수신될 수 있다. More specifically, in the step S210 of receiving the lateral head medical image or the intraoral image, a lateral head medical image of the subject is received from the lateral head measurement radiography apparatus, or an intraoral image of the subject is received from the intracranial imaging apparatus. can be
바람직하게, 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서, 측모 두부 의료 영상 및 구내 영상이 함께 수신될 수 있다. 이때, 측모 두부 의료 영상은 측모 두부 규격 방사선 영상이고, 구내 영상은 RGB 컬러 영상일 수 있으나, 이에 제한되는 것은 아니다. Preferably, in the step of receiving the lateral head medical image or the intraoral image ( S210 ), the lateral head medical image and the intraoral image may be received together. In this case, the lateral head medical image may be a lateral head standard radiographic image, and the intraoral image may be an RGB color image, but is not limited thereto.
본 발명의 일 실시예에 따르면, 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서, 측모 두부 의료 영상 및 구내 영상에 대한 빠른 분석이 가능하도록 일정한 픽셀을 갖도록 전처리가 수행된 측모 두부 의료 영상 및 구내 영상이 수신될 수도 있다.According to an embodiment of the present invention, in the step of receiving the medical image of the temporal head or the oral cavity (S210), the medical image of the temporal head is pre-processed to have constant pixels so that the medical image and the intraoral image can be quickly analyzed. Images and intraoral images may be received.
다음으로, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 의료 영상 각각에 대한 관심 영역이 예측될 수 있다.Next, in step S220 of predicting the parafacial region or predicting the tooth region in the intraoral image with respect to the paracephalic medical image, the region of interest for each medical image may be predicted.
본 발명의 특징에 따르면, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 측모 안면 영역 예측 모델 및/또는 치아 영역 예측 모델에 의해 측모 안면 영역 예측 모델 및/또는 치아 영역이 결정될 수 있다.According to a feature of the present invention, in the step (S220) of predicting the sidemofacial region with respect to the paratrophic medical image or predicting the tooth region within the intraoral image (S220), the sidemolar facial region prediction model and/or the tooth region prediction model A facial region prediction model and/or a tooth region may be determined.
예를 들어, 도 3a를 함께 참조하면, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 측모 안면 영역 예측 모델 (310) 에, 전술한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서 획득된 측모 두부 의료 영상 (210) 이 입력된다. 그 다음, 측모 안면 영역 예측 모델 (310) 에 의해 측모 두부 의료 영상 (210) 내에 측모 안면 부위에 해당하는 관심 영역인, 측모 안면 영역 (312) 이 결정된다. 이때, 측모 안면 영역 예측 모델 (310) 은 측모 안면 영역 (312) 을 두르는 박스를 형성하도록 더욱 구성될 수 있다. 한편, 측모 안면 영역 예측 모델 (310) 은 측모 두부 의료 영상 (210) 내의 측모 안면 영역 (312) (또는 박스) 에 대한 좌표에 기초하여 측모 안면 영역 (312) 을 예측하도록 구성될 수 있으나, 이에 제한되는 것은 아니다. For example, referring together with FIG. 3A , in the step of predicting the paratrophic facial region with respect to the paratrophic medical image or predicting the tooth region within the intraoral image (S220), the paratrophic facial
한편, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 의 결과에 의해 예측된 측모 안면 영역 (312) 은 해당 영역만 포함하도록 크로핑될 수도 있다. On the other hand, the lateral
도 3b를 더욱 참조하면, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 치아 영역 예측 모델 (320) 에, 전술한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서 획득된 구내 영상 (220) 이 입력된다. 그 다음, 치아 영역 예측 모델 (320) 에 의해 구내 영상 (220) 내에 치아 각각에 해당하는 관심 영역인 복수의 치아 영역 (322) 이 결정된다. 바람직하게, 치아 영역 예측 모델 (320) 은 구내 영상 (220) 내에서 특정된 단일의 치아의 영역을 예측하기보다 구내 영상 (220) 에 나타나는 모든 치아에 대한 영역을 예측하도록 구성될 수 있다. 이에, 복수의 치아 영역 (322) 의 배열은, 피검자의 치열의 특징을 나타낼 수 있다. 한편, 치아 영역 예측 모델 (320) 은 치아 영역 (322) 을 두르는 박스를 형성하도록 더욱 구성될 수 있다. 이때, 치아 영역 예측 모델 (320) 은 구내 영상 (220) 내의 상 하측 앞니, 송곳니, 작은 어금니, 및 큰 어금니 각각의 영역 (또는, 박스) 에 대한 좌표에 기초하여 복수의 치아 영역 (322) 을 예측하도록 구성될 수 있으나, 이에 제한되는 것은 아니다. Referring further to FIG. 3B , in the step S220 of predicting the parafacial region with respect to the paratrophic medical image or predicting the dental region within the intraoral image ( S220 ), the dental
한편, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 의 결과에 의해 예측된 복수의 치아 영역 (322) 은 해당 영역만 포함하도록 크로핑될 수도 있다.On the other hand, a plurality of
다시, 도 2를 참조하면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 측모 안면 영역 및/또는 복수의 치아 영역에 기초하여, 피검자의 치열 상태에 따른 수술적 처치 또는 비수술적 처치의 진단 결과가 결정될 수 있다.Referring again to FIG. 2 , in the step of determining a surgical treatment or a non-surgical treatment ( S230 ), based on the parafacial region and/or the plurality of tooth regions, surgical treatment or non-surgical treatment according to the dental status of the subject A diagnostic outcome of the treatment may be determined.
본 발명의 특징에 따르면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 수술적 처치 진단 확률 또는 비수술적 처치 진단 확률이 결정될 수 있다.According to a feature of the present invention, in the step of determining the surgical treatment or the non-surgical treatment (S230), the surgical treatment diagnosis probability or the non-surgical treatment diagnosis probability may be determined.
예를 들어, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 피검자에 대하여, 악교정 2급 발치 수술의 잔단 확률, 악교정 2급 비발치 수술의 진단 확률, 악교정 3급 발치 수술의 진단 확률, 또는 악교정 3급 비발치 수술의 진단 확률이 결정될 수 있다. 또한, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 비발치 교정 진단 확률, 상하악 제1 소구치 발치 교정 진단 확률, 상하악 제2 소구치 발치 교정 진단 확률, 상악 제1 소구치 발치 교정 진단 확률, 또는 상악 제1 소구치 하악 제2 소구치 발치 교정 진단 확률이 결정될 수 있다. 이때, 의료적 처치의 진단 확률이 높을 수록, 피검자에 적용될 경우 치아 교정의 성공률이 높을 수 있다. For example, in the step of determining the surgical treatment or the non-surgical treatment (S230), for the subject, the residual probability of orthodontic class 2 extraction surgery, the diagnosis probability of the orthodontic class 2 non-extraction surgery, and the diagnosis probability of the
본 발명의 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 치열 교정 분류 모델에 의해 피검자에 필요한 처치가 결정될 수 있다.According to another feature of the present invention, in the step of determining the surgical treatment or the non-surgical treatment (S230), the treatment required for the subject may be determined by the orthodontic classification model.
예를 들어, 도 4를 함께 참조하면, 전술한 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 의 결과에 의해 예측된 측모 안면 영역 (312) 및 복수의 치아 영역 (322) 이 치열 교정 분류 모델 (330) 에 입력될 수 있다. For example, referring together with FIG. 4 , the paratrophic
이때, 치열 교정 분류 모델 (330) 은 측모 안면 영역 (312) 및 복수의 치아 영역 (322) 각각에 대한 특징을 추출하도록 구성된 두 개의 독립된 특징 추출 레이어 (332) 및 이들의 특징을 통합하고, 최종적으로 필요한 의료적 처치를 결정하도록 구성된 퓨젼 레이어 (334) 로 이루어질 수 있다. 보다 구체적으로, 특징 추출 레이어 (332) 는 Two-Stream CNN에 대응할 수 있고, 퓨젼 레이어 (334) 는 퓨젼 및 FC (Fully connected) 레이어에 대응할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 치열 교정 분류 모델 (330) 은, 측모 안면 영역 (312) 을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제1 치열 교정 분류 모델과 복수의 치아 영역 (322) 을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제2 치열 교정 분류 모델의 두 개의 독립된 모델이 합쳐진 앙상블 모델일 수도 있다.At this time, the
입력된 측모 안면 영역 (312) 및 복수의 치아 영역 (322) 각각은 특징 추출 레이어 (332) 를 거쳐 특징이 추출되고, 퓨젼 레이어 (334) 를 거쳐 특징이 통합되고, 최종적으로 적절한 수술적 처치, 또는 비수술적 처치의 진단 결과 (342) 가 결정된다. 이때, 진단 결과 (342) 는, 피검자에 대하여, 악교정 2급 발치 수술의 잔단 확률, 악교정 2급 비발치 수술의 진단 확률, 악교정 3급 발치 수술의 진단 확률, 및 악교정 3급 비발치 수술의 진단 확률 중 적어도 하나를 포함할 수 있다. 또한, 진단 결과 (342) 는 비발치 교정 진단 확률, 상하악 제1 소구치 발치 교정 진단 확률, 상하악 제2 소구치 발치 교정 진단 확률, 상악 제1 소구치 발치 교정 진단 확률, 및 상악 제1 소구치 하악 제2 소구치 발치 교정 진단 확률 중 적어도 하나를 포함할 수 있다. Each of the input lateral
이때, 진단 결과 (342) 에 따르면, 2급 발치 수술 교정술에 대한 진단 확률이 95 %로 나타난다. 이는, 피검저에 대하여 2급 발치 수술 교정술이 수행될 경우, 교정 치료의 성공률이 다른 수술적 처치보다 높을 수 있음을 의미할 수 잇다.At this time, according to the
즉, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 의 결과로, 피검자의 치아 상태에 따른 의료적 처치가 확률적으로 결정될 수 있다. That is, as a result of the step (S230) of determining the surgical treatment or the non-surgical treatment, the medical treatment according to the dental condition of the examinee can be determined probabilistically.
한편, 본 발명의 또 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 이전에, 측모 안면 영역 및/또는 치아 영역을 포함하는 각각의 의료 영상이 RGB 컬러 영상일 경우, 이들 의료 영상을 전처리하는 단계가 더욱 수행될 수 있다.On the other hand, according to another feature of the present invention, before the step of determining the surgical treatment or the non-surgical treatment (S230), when each medical image including the lateral facial region and/or the tooth region is an RGB color image, A step of preprocessing these medical images may be further performed.
보다 구체적으로, 도 5를 함께 참조하면, 전처리 단계에서, RGB 컬러의 측모 안면 영역 (312) 및 치아 영역 (322) 이 흑백으로 전환되고, 흑백 전환된 측모 안면 영역 또는 흑백 전환된 치아 영역이 벡터화될 수 있다. 이때, 흑백 영상으로 전환된 측모 안면 영역 (312) 및 치아 영역 (322) 각각은, 복수의 픽셀에 대하여 명도 차이 값이 가장 큰 픽셀의 방향으로 벡터화될 수도 있다. More specifically, referring together with FIG. 5 , in the pre-processing step, the RGB color lateral
전처리 단계의 결과로, 측모 안면 영역 (312) 및 치아 영역 (322) 이 치아 교정 분류 모델에 입력될 경우, 처리 속도가 향상될 수 있다. As a result of the pre-processing step, when the
마지막으로, 예측된 결과를 제공하는 단계 (S240) 에서, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 의 결과로 결정된 수술적 처치 또는 비수술적 처치에 대한 정보가 제공될 수 있음.Finally, in the step (S240) of providing the predicted result, information on the surgical treatment or the non-surgical treatment determined as a result of the step (S230) of determining the surgical treatment or non-surgical treatment may be provided.
예를 들어, 도 4를 다시 참조하면, 예측된 결과를 제공하는 단계 (S240) 에서, 피검자의 측모 안면 영역 (312), 치아 영역 (322) 에 기초하여 치아 상태에 따라 결정된 '2급 발치 수술 교정 (95 %의 진단 확률)'의 수술적 처치가 출력되어 의료진에게 제공될 수 있다. For example, referring back to FIG. 4 , in the step of providing the predicted result ( S240 ), the 'second-class extraction surgery' determined according to the tooth condition based on the subject's lateral
이에, 의료진은, 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따라, 피검자의 치열 교정에 대한 정보를 제공받을 수 있어, 성공 확률 높은 의사 결정 및 치료 계획을 수립할 수 있다. Accordingly, the medical staff, according to the information providing method according to various embodiments of the present invention, can be provided with information about the subject's orthodontics, so that they can make a decision and establish a treatment plan with a high probability of success.
이하에서는, 도 6a 내지 도 6d를 참조하여, 본 발명의 다양한 실시예에서 이용되는 측모 안면 영역 예측 모델 및 치아 영역 예측 모델의 학습 방법을 설명한다. 도 6a 내지 6d는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에서 이용되는, 예측 모델들의 학습용 영상 데이터의 생성 절차를 도시한 것이다.Hereinafter, a learning method of the lateral facial region prediction model and the tooth region prediction model used in various embodiments of the present invention will be described with reference to FIGS. 6A to 6D . 6A to 6D are diagrams illustrating a process of generating image data for training of predictive models used in a method for providing orthodontic information and a device for providing orthodontic information using the same according to an embodiment of the present invention.
먼저, 도 6a 및 6b를 참조하면, 먼저, 측모 안면 영역 예측 모델의 학습을 위해, 복수개의 표본 측모 두부 규격 방사선 영상이 준비된다. 그 다음, 복수개의 측모 두부 규격 방사선 영상 내에서, 측모 안면 부위는 사각형의 영역으로 표시된 후, 이의 좌표가 지정된다. 그 다음, 복수개의 측모 두부 규격 방사선 영상 각각에 대하여 형성된 표본 측모 안면 영역 (박스) 에 대한 위치 정보를 포함하는 json 파일이 준비된다. 보다 구체적으로, json 파일은 복수개의 표본 측모 두부 규격 방사선 영상 파일 각각에 대한 이름, 복수개의 측모 두부 규격 방사선 영상 내에서 표본 측모 안면 영역에 대하여 형성된 박스의 위치값 (top, left, width 및 height) 을 포함할 수 있다. 그 결과, 표본 측모 안면 영역에 대한 위치 정보가 담긴, 측모 안면 영역 예측 모델에 대한 학습용 측모 두부 의료 영상이 생성될 수 있다. 한편, 학습용 측모 두부 의료 영상First, referring to FIGS. 6A and 6B , first, for learning the lateral facial region prediction model, a plurality of sample lateral head standard radiographic images are prepared. Then, in the plurality of lateral head standard radiographic images, the lateral facial region is indicated as a rectangular area, and then its coordinates are designated. Then, a json file including location information on the sample lateral facial region (box) formed for each of the plurality of lateral head standard radiographic images is prepared. More specifically, the json file is a name for each of the plurality of sample lateral head standard radiographic image files, and the position values (top, left, width and height) of the box formed for the sample lateral head area within the plurality of lateral head standard radiographic images. may include. As a result, a lateral head medical image for learning about the lateral facial region prediction model containing location information on the sample lateral facial region may be generated. On the other hand, medical imaging of the lateral head for learning
측모 안면 영역 예측 모델은, 학습용 측모 두부 의료 영상 내에서 위치 정보가 미리 결정된 측모 안면 영역, 즉 표본 측모 안면 영역을 예측하도록 학습될 수 있다. The lateral lateral facial region prediction model may be trained to predict a lateral lateral facial region, ie, a sample lateral facial region, in which position information is predetermined in the lateral cephalometric medical image for training.
한편, 측모 안면 영역 예측 모델은, 학습용 측모 두부 의료 영상 내에서 관심 영역을 탐지할 수 있는 faster R-CNN 기반의 인공지능 모델일 수 있다. 그러나, 이에 제한되는 것은 아니다.Meanwhile, the lateral facial region prediction model may be a faster R-CNN-based AI model capable of detecting a region of interest in a lateral head medical image for training. However, it is not limited thereto.
다음으로, 도 6c 및 6d를 참조하면, 먼저, 치아 영역 예측 모델의 학습을 위해, 복수개의 표본 구내 영상이 준비된다. 그 다음, 복수개의 표본 구내 영상 내에서, 복수의 치아 (앞니, 송곳니, 작은 어금니, 큰 어금니) 각각의 영역을 두르는 박스가 형성되고, 이후 각각의 박스에 대한 좌표가 지정된다. 그 다음, 복수개의 구내 영상 각각에 대하여 형성된 복수의 표본 치아 영역 (박스) 에 대한 위치 정보를 포함하는 json 파일이 준비된다. 보다 구체적으로, json 파일은 복수개의 표본 구내 영상 파일 각각에 대한 이름, 복수개의 표본 구내 영상 내에서 복수의 표본 치아 영역 각각에 대하여 형성된 박스의 위치값 (top, left, width 및 height) 을 포함할 수 있다. 그 결과, 표본 치아 영역에 대한 위치 정보가 담긴, 치아 영역 예측 모델에 대한 학습용 구내 영상이 생성될 수 있다. Next, referring to FIGS. 6C and 6D , first, a plurality of sample intraoral images are prepared for learning the tooth region prediction model. Then, in the plurality of sample intraoral images, a box surrounding each area of the plurality of teeth (incisors, canines, premolars, molars) is formed, and thereafter, coordinates for each box are designated. Then, a json file including location information for a plurality of sample tooth regions (boxes) formed for each of a plurality of intraoral images is prepared. More specifically, the json file may include a name for each of a plurality of intraoral image files, and position values (top, left, width and height) of a box formed for each of a plurality of sampled tooth regions within a plurality of intraoral images. can As a result, an intraoral image for learning about the tooth area prediction model containing position information on the sample tooth area may be generated.
치아 영역 예측 모델은, 학습용 구내 영상 내에서 위치 정보가 미리 결정된 복수의 치아 영역, 즉 표본 치아 영역 각각을 예측하도록 학습될 수 있다. The tooth region prediction model may be trained to predict each of a plurality of tooth regions, that is, a sample tooth region, for which position information is predetermined in an intraoral image for training.
한편, 치아 영역 예측 모델은, 학습용 구내 영상 내에서 관심 영역을 탐지할 수 있는 faster R-CNN 기반의 인공지능 모델일 수 있다. 그러나, 이에 제한되는 것은 아니다.Meanwhile, the tooth region prediction model may be a faster R-CNN-based AI model capable of detecting a region of interest in an intraoral image for training. However, it is not limited thereto.
본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에서 이용되는, 예측 모델들은, 이상의 학습 알고리즘을 채택함에 따라 의료 영상 내에서 측모 안면 영역 또는 치아 영역의 관심 영역을 높은 정확도로 예측할 수 있다. 그러나, 측모 안면 영역 예측 모델 및 치아 영역 예측 모델은, 전술한 것에 제한되지 않고 보다 다양한 방법으로 학습될 수 있다. Predictive models used in a method for providing orthodontic information providing method and a device for providing orthodontic information using the same according to an embodiment of the present invention, by adopting the above learning algorithm, a parafacial region or tooth in a medical image The region of interest of the region can be predicted with high accuracy. However, the lateral facial region prediction model and the tooth region prediction model are not limited to the above-described ones and may be learned in more various ways.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications may be made within the scope without departing from the technical spirit of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
100: 치열 교정에 대한 정보 제공용 디바이스
110: 수신부
120: 입력부
130: 출력부
140: 저장부
150: 프로세서
200: 의료 영상
210: 측모 두부 의료 영상
220: 구내 영상
310: 측모 안면 영역 예측 모델
312: 측모 안면 영역
320: 치아 영역 예측 모델
322: 치아 영역
330: 치열 교정 분류 모델
332: 특징 추출 레이어
334: 퓨젼 레이어
342: 진단 결과100: device for providing information about orthodontics
110: receiver
120: input unit
130: output unit
140: storage
150: processor
200: medical image
210: lateral head medical image
220: video in premises
310: lateral facial region prediction model
312: lateral facial region
320: tooth area prediction model
322: tooth area
330: orthodontic classification model
332: feature extraction layer
334: fusion layer
342: diagnosis result
Claims (21)
상기 측모 두부 의료 영상 또는 상기 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하는 단계, 및
상기 측모 안면 영역 또는 상기 치아 영역을 기초로, 상기 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.receiving a lateral head medical image or an intraoral image of the subject;
Predicting a paratrophic region or a tooth region including a paratrophic region in the paratrophic medical image or the intraoral image, and
A method for providing information on orthodontics, comprising the step of classifying a surgical or non-surgical treatment required for the subject based on the parafacial region or the tooth region.
측모 안면 영역 또는 치아 영역을 예측하는 단계는,
측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 상기 측모 안면 영역을 예측하는 단계를 포함하고,
수술적 처치 또는 비수술적 처치로 분류하는 단계는,
상기 측모 안면 영역을 기초로 상기 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.According to claim 1,
Predicting the parafacial area or the tooth area comprises:
Using a paratrophic facial region prediction model configured to predict a paratrophic facial region in a paratrophic medical image, comprising the step of predicting the paratrophic facial region,
The step of classifying surgical treatment or non-surgical treatment is,
A method of providing information on orthodontic treatment, comprising the step of classifying the necessary treatment for the subject into surgical treatment or non-surgical treatment based on the parafacial region.
상기 측모 안면 영역을 예측하는 단계는,
상기 측모 안면 영역 예측 모델을 이용하여, 상기 측모 두부 의료 영상 내에서 상기 측모 안면 영역에 대한 좌표를 예측하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.3. The method of claim 2,
Predicting the lateral facial region comprises:
and estimating coordinates of the paratrophic facial region in the lateral head medical image by using the lateral facial region prediction model.
측모 안면 영역 또는 치아 영역을 예측하는 단계는,
구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 상기 치아 영역을 예측하는 단계를 포함하고,
수술적 처치 또는 비수술적 처치로 분류하는 단계는,
상기 치아 영역을 기초로 상기 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.According to claim 1,
Predicting the parafacial area or the tooth area comprises:
Using a tooth area prediction model configured to predict a tooth area within an intraoral image, predicting the tooth area,
The step of classifying surgical treatment or non-surgical treatment is,
A method of providing information on orthodontic treatment, comprising the step of classifying a treatment necessary for the subject based on the tooth area into a surgical treatment or a non-surgical treatment.
상기 치아 영역을 예측하는 단계는,
상기 치아 영역 예측 모델을 이용하여, 상기 구내 영상 내에서 상기 치아 영역에 대한 좌표를 예측하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.5. The method of claim 4,
Predicting the tooth area comprises:
Using the tooth region prediction model, the method of providing information on orthodontics comprising the step of predicting the coordinates of the tooth region in the intraoral image.
상기 수술적 처치 또는 비수술적 처치로 분류하는 단계는,
측모 안면 영역 또는 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 상기 피검자에 대하여 필요한 처치를 분류하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법. According to claim 1,
The step of classifying the surgical treatment or non-surgical treatment is,
Using an orthodontic classification model configured to classify a necessary treatment as a surgical or non-surgical treatment based on a parafacial area or a dental area, classifying the necessary treatment for the subject. HOW TO PROVIDE INFORMATION.
상기 치열 교정 분류 모델은,
측모 안면 영역 및 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 더 구성된, 치열 교정에 대한 정보 제공 방법. 7. The method of claim 6,
The orthodontic classification model is,
The method for providing information on orthodontics, further configured to classify a necessary treatment into a surgical treatment or a non-surgical treatment based on the parafacial area and the dental area.
상기 치열 교정 분류 모델은,
특징을 추출하도록 구성된, 독립된 두 개의 특징 추출 레이어 (feature extraction layer), 상기 두 개의 특징 추출 레이어로부터 추출된 두 개의 특징을 통합하는 퓨젼 레이어 (fusion layer) 를 포함하는, 치열 교정에 대한 정보 제공 방법.7. The method of claim 6,
The orthodontic classification model is,
A method for providing information on orthodontics, comprising two independent feature extraction layers configured to extract features, and a fusion layer integrating two features extracted from the two feature extraction layers .
상기 치열 교정 분류 모델은,
상기 Two-Stream CNN (Convolutional Neural Network) 인, 치열 교정에 대한 정보 제공 방법. 7. The method of claim 6,
The orthodontic classification model is,
The Two-Stream Convolutional Neural Network (CNN), a method of providing information about orthodontics.
상기 측모 안면 영역 또는 치아 영역을 예측하는 단계 이후에, 상기 측모 안면 영역 또는 상기 치아 영역을 포함하는 박스를 생성하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법.According to claim 1,
After predicting the paratrophic facial region or the tooth region, the method further comprising generating a box including the paratrophic facial region or the tooth region.
상기 수술적 처치는,
악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나인, 치열 교정에 대한 정보 제공 방법.According to claim 1,
The surgical treatment is
A method of providing information on orthodontics, which is at least one of orthodontic class 2 extraction surgery, orthodontic class 2 non-extraction surgery, orthodontic class 3 extraction surgery, and orthodontic class 3 non-extraction surgery.
상기 비수술적 처치는,
비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나인, 치열 교정에 대한 정보 제공 방법.According to claim 1,
The non-surgical treatment is
At least one of non-extraction correction, upper and lower first premolar extraction correction, upper and lower second premolar extraction correction, maxillary first premolar extraction correction, and maxilla first premolar mandibular second premolar extraction correction, orthodontic information providing method.
상기 수술적 처치 또는 비수술적 처치로 분류하는 단계는,
상기 수술적 처치 또는 비수술적 처치를 확률적으로 예측하는 단계를 포함하고,
상기 분류하는 단계 이후에,
수술적 처치 진단 확률 또는 비수술적 처치 진단 확률을 제공하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법.According to claim 1,
The step of classifying the surgical treatment or non-surgical treatment is,
Probabilistically predicting the surgical or non-surgical treatment,
After the classifying step,
The method of providing information about orthodontics, further comprising the step of providing a surgical treatment diagnosis probability or a non-surgical treatment diagnosis probability.
상기 측모 안면 영역 또는 치아 영역을 예측하는 단계 이후에,
상기 측모 안면 영역 또는 상기 치아 영역을 흑백으로 전환하는 단계, 및
흑백 전환된 측모 안면 영역 또는 흑백 전환된 치아 영역을 벡터화하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법.According to claim 1,
After predicting the parafacial area or tooth area,
converting the lateral facial region or the tooth region to black and white, and
The method of providing information on orthodontics, further comprising the step of vectorizing the black-and-white converted side facial area or the black-and-white converted tooth area.
상기 수신하는 단계 이전에,
표본 피검자에 대한 표본 측모 두부 의료 영상 또는 표본 구내 영상을 수신하는 단계;
상기 표본 측모 두부 의료 영상 내에서 표본 측모 안면 영역에 대한 선택 또는 상기 표본 구내 영상 내에서 표본 치아 영역에 대한 선택을 입력 받는 단계;
상기 표본 측모 안면 영역 또는 상기 표본 치아 영역의 좌표 에 대한 좌표 및 상기 표본 측모 두부 의료 영상을 기초로, 학습용 측모 두부 의료 영상을 생성하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법.According to claim 1,
Prior to the receiving step,
receiving a sample lateral head medical image or a sample intraoral image of a sample subject;
receiving an input for selection of a sample side facial region in the sample lateral head medical image or a selection for a specimen tooth region in the sample intraoral image;
The method of providing information on orthodontics, further comprising the step of generating a lateral head medical image for learning based on the coordinates of the sample lateral facial region or the specimen tooth region and the specimen lateral head medical image.
상기 학습용 측모 두부 의료 영상을 생성하는 단계는,
상기 표본 측모 두부 의료 영상에 대한 정보 및 상기 표본 측모 안면 영역에 대한 좌표를 포함하는 json 파일 또는 xml 파일을 생성하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.16. The method of claim 15,
The step of generating the lateral head medical image for learning comprises:
A method for providing information on orthodontics, comprising generating a json file or an xml file including information on the sample lateral head medical image and coordinates for the sample lateral facial region.
상기 분류하는 단계 이후에,
분류 결과를 기초로, 상기 피검자에 대한 치료 계획을 결정하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법.According to claim 1,
After the classifying step,
Based on the classification result, further comprising the step of determining a treatment plan for the subject, orthodontic information providing method.
상기 수신부와 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 측모 두부 의료 영상 또는 상기 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하고, 상기 측모 안면 영역 또는 상기 치아 영역을 기초로, 상기 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하도록 구성된, 치열 교정에 대한 정보 제공용 디바이스.a receiving unit configured to receive a lateral head medical image or an intraoral image of the subject; and
and a processor connected to the receiver;
The processor is
Predicting a paratrophic facial region or a dental region including a paratrophic facial region in the paratrophic medical image or the intraoral image, and based on the paratrophic facial region or the dental region, a surgical treatment or non-surgical treatment required for the subject A device for providing information about orthodontics, configured to classify treatments.
상기 프로세서는,
측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 상기 측모 안면 영역을 예측하고, 상기 측모 안면 영역을 기초로 상기 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 더 구성된, 치열 교정에 대한 정보 제공용 디바이스.19. The method of claim 18,
The processor is
Using a paratrophic facial region prediction model configured to predict a paratrophic facial region within a paratrophic medical image, predicts the paratrophic facial region, and based on the paratrophic facial region, surgical or non-surgical treatment is required for the subject. A device for providing information about orthodontics, further configured to classify as a treatment.
상기 프로세서는,
구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 상기 치아 영역을 예측하고, 상기 치아 영역을 기초로 상기 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된, 치열 교정에 대한 정보 제공용 디바이스.19. The method of claim 18,
The processor is
Using a tooth area prediction model configured to predict a tooth area within an intraoral image, predicting the tooth area, and classifying a necessary treatment for the subject based on the tooth area as a surgical treatment or a non-surgical treatment, Device for providing information about orthodontics.
상기 프로세서는,
측모 안면 영역 또는 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 상기 피검자에 대하여 필요한 처치를 분류하도록 더 구성된, 치열 교정에 대한 정보 제공용 디바이스.19. The method of claim 18,
The processor is
Using an orthodontic classification model configured to classify a necessary treatment as a surgical treatment or a non-surgical treatment based on the parafacial region or the dental region, further configured to classify the necessary treatment for the subject, providing information on orthodontics for device.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200012517A KR20210098683A (en) | 2020-02-03 | 2020-02-03 | Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm |
| PCT/KR2021/001239 WO2021157966A1 (en) | 2020-02-03 | 2021-01-29 | Method for providing information about orthodontics using deep learning artificial intelligence algorithm, and device using same |
| KR1020220031302A KR102462185B1 (en) | 2020-02-03 | 2022-03-14 | Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200012517A KR20210098683A (en) | 2020-02-03 | 2020-02-03 | Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220031302A Division KR102462185B1 (en) | 2020-02-03 | 2022-03-14 | Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210098683A true KR20210098683A (en) | 2021-08-11 |
Family
ID=77199286
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200012517A KR20210098683A (en) | 2020-02-03 | 2020-02-03 | Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm |
| KR1020220031302A KR102462185B1 (en) | 2020-02-03 | 2022-03-14 | Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220031302A KR102462185B1 (en) | 2020-02-03 | 2022-03-14 | Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm |
Country Status (2)
| Country | Link |
|---|---|
| KR (2) | KR20210098683A (en) |
| WO (1) | WO2021157966A1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102448169B1 (en) * | 2021-10-05 | 2022-09-28 | 세종대학교산학협력단 | Method and apparatus for predicting orthodontic treatment result based on deep learning |
| KR102469288B1 (en) * | 2022-05-13 | 2022-11-22 | 주식회사 쓰리디오엔에스 | Methods, devices and computer programs for automated orthodontic planning |
| EP4124982A2 (en) | 2021-07-27 | 2023-02-01 | Samsung Electronics Co., Ltd. | Storage device, storage system operating method, and computing system |
| WO2023017401A1 (en) * | 2021-08-12 | 2023-02-16 | 3M Innovative Properties Company | Deep learning for generating intermediate orthodontic aligner stages |
| WO2023113272A1 (en) * | 2021-12-15 | 2023-06-22 | 연세대학교 산학협력단 | Method for providing information on endodontic treatment and device for providing information on endodontic treatment using same |
| WO2023211025A1 (en) * | 2022-04-28 | 2023-11-02 | 김신엽 | Orthodontic recommendation system and method using artificial intelligence |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102470875B1 (en) * | 2022-05-13 | 2022-11-25 | 주식회사 쓰리디오엔에스 | Method, apparatus and computer program for generating target image based on 3d medical image |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4468871B2 (en) * | 2005-08-02 | 2010-05-26 | 秀文 伊藤 | Dental care support method and system |
| US10568716B2 (en) * | 2010-03-17 | 2020-02-25 | ClearCorrect Holdings, Inc. | Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning |
| JP4926292B1 (en) * | 2011-09-16 | 2012-05-09 | 大樹 平林 | Jaw bone surgery necessity index calculation method in orthodontic treatment, Jaw bone surgery necessity judgment method in orthodontic treatment, Maxillary bone discord judgment index method in dental treatment, Maxillary bone discord judgment method in dental treatment, Programs and computers |
| KR101744080B1 (en) * | 2014-07-04 | 2017-06-09 | 주식회사 인스바이오 | Teeth-model generation method for Dental procedure simulation |
| KR101769334B1 (en) * | 2016-03-14 | 2017-08-21 | 오스템임플란트 주식회사 | Image processing method for supporting orthodontic treatments, apparatus, and method thereof |
| KR101887198B1 (en) * | 2016-06-20 | 2018-09-06 | 주식회사 디오코 | Simulation method in orthodontics and facial plastic surgery simulation device, and computer-readable storage medium storing the same |
| KR101952887B1 (en) * | 2018-07-27 | 2019-06-11 | 김예현 | Method for predicting anatomical landmarks and device for predicting anatomical landmarks using the same |
-
2020
- 2020-02-03 KR KR1020200012517A patent/KR20210098683A/en not_active IP Right Cessation
-
2021
- 2021-01-29 WO PCT/KR2021/001239 patent/WO2021157966A1/en active Application Filing
-
2022
- 2022-03-14 KR KR1020220031302A patent/KR102462185B1/en active IP Right Grant
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4124982A2 (en) | 2021-07-27 | 2023-02-01 | Samsung Electronics Co., Ltd. | Storage device, storage system operating method, and computing system |
| WO2023017401A1 (en) * | 2021-08-12 | 2023-02-16 | 3M Innovative Properties Company | Deep learning for generating intermediate orthodontic aligner stages |
| KR102448169B1 (en) * | 2021-10-05 | 2022-09-28 | 세종대학교산학협력단 | Method and apparatus for predicting orthodontic treatment result based on deep learning |
| WO2023058994A1 (en) * | 2021-10-05 | 2023-04-13 | 세종대학교산학협력단 | Method and device for orthodontic treatment result prediction based on deep learning |
| WO2023113272A1 (en) * | 2021-12-15 | 2023-06-22 | 연세대학교 산학협력단 | Method for providing information on endodontic treatment and device for providing information on endodontic treatment using same |
| WO2023211025A1 (en) * | 2022-04-28 | 2023-11-02 | 김신엽 | Orthodontic recommendation system and method using artificial intelligence |
| KR102469288B1 (en) * | 2022-05-13 | 2022-11-22 | 주식회사 쓰리디오엔에스 | Methods, devices and computer programs for automated orthodontic planning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102462185B1 (en) | 2022-11-03 |
| WO2021157966A1 (en) | 2021-08-12 |
| KR20220039677A (en) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102462185B1 (en) | Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm | |
| US11464467B2 (en) | Automated tooth localization, enumeration, and diagnostic system and method | |
| KR101952887B1 (en) | Method for predicting anatomical landmarks and device for predicting anatomical landmarks using the same | |
| US10521935B2 (en) | Method for creating an image from a 3D volume | |
| US10049457B2 (en) | Automated cephalometric analysis using machine learning | |
| EP3595574B1 (en) | Automatic dental arch mapping system and method | |
| JP6531115B2 (en) | Method of 3D cephalometric analysis | |
| US11443423B2 (en) | System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex | |
| US11734825B2 (en) | Segmentation device and method of generating learning model | |
| US20210118132A1 (en) | Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment | |
| US20220084267A1 (en) | Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports | |
| CN110326023B (en) | Method for head shadow measurement analysis | |
| EP3471617B1 (en) | Method and system for 3d cephalometric analysis | |
| US20200085548A1 (en) | Method for Virtual Setup with Mixed Dentition | |
| US20210217170A1 (en) | System and Method for Classifying a Tooth Condition Based on Landmarked Anthropomorphic Measurements. | |
| KR102380166B1 (en) | Periodontitis automatic diagnosis method, and program implementing the same method | |
| Liu et al. | Artificial intelligence-aided detection of ectopic eruption of maxillary first molars based on panoramic radiographs | |
| KR20210018661A (en) | Method for recommending crown model and prosthetic CAD apparatus therefor | |
| US20220361992A1 (en) | System and Method for Predicting a Crown and Implant Feature for Dental Implant Planning | |
| KR20200012707A (en) | Method for predicting anatomical landmarks and device for predicting anatomical landmarks using the same | |
| US11488305B2 (en) | Segmentation device | |
| US20230252748A1 (en) | System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR) | |
| Carneiro | Enhanced tooth segmentation algorithm for panoramic radiographs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X601 | Decision of rejection after re-examination |