KR20220019860A - Teeth examination system using deep learning algorithms - Google Patents
Teeth examination system using deep learning algorithms Download PDFInfo
- Publication number
- KR20220019860A KR20220019860A KR1020200099628A KR20200099628A KR20220019860A KR 20220019860 A KR20220019860 A KR 20220019860A KR 1020200099628 A KR1020200099628 A KR 1020200099628A KR 20200099628 A KR20200099628 A KR 20200099628A KR 20220019860 A KR20220019860 A KR 20220019860A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- tooth
- deep learning
- dental
- learning algorithm
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 30
- 208000014151 Stomatognathic disease Diseases 0.000 claims abstract description 13
- 208000018035 Dental disease Diseases 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 210000000515 tooth Anatomy 0.000 claims description 102
- 210000002295 maxillary tooth Anatomy 0.000 claims description 20
- 210000004871 mandibular tooth Anatomy 0.000 claims description 17
- 238000002156 mixing Methods 0.000 claims description 12
- 208000010641 Tooth disease Diseases 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 210000004283 incisor Anatomy 0.000 claims description 8
- 230000037123 dental health Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 11
- 238000010191 image analysis Methods 0.000 description 10
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 238000013500 data storage Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 208000002925 dental caries Diseases 0.000 description 4
- 210000004373 mandible Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 206010006326 Breath odour Diseases 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 208000025157 Oral disease Diseases 0.000 description 2
- 208000008312 Tooth Loss Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000030194 mouth disease Diseases 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000002679 Alveolar Bone Loss Diseases 0.000 description 1
- 208000006558 Dental Calculus Diseases 0.000 description 1
- 208000002064 Dental Plaque Diseases 0.000 description 1
- 208000028389 Nerve injury Diseases 0.000 description 1
- 206010044029 Tooth deposit Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 208000004042 dental fluorosis Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 208000028169 periodontal disease Diseases 0.000 description 1
- 201000001245 periodontitis Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000004357 third molar Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
- A61B5/4547—Evaluating teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Physical Education & Sports Medicine (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Orthopedic Medicine & Surgery (AREA)
Abstract
Description
본 발명은 치아 검진 방법에 관한 것으로, 보다 상세하게는 딥러닝 알고리즘을 이용한 치아 검진 방법을 제공한다.The present invention relates to a dental examination method, and more particularly, to a dental examination method using a deep learning algorithm.
충치, 치주 질환 및 치아 손실을 포함한 구강 질환은 전 세계적으로 가장 널리 퍼진 질병 중 하나이며 질병으로 인한 고통과 경제적 손실로 사람들의 삶의 질을 떨어트린다. 구강 건강은 지속적인 모니터링을 통해 관리된다면, 초기 단계에서 치료하고 구강 질환의 진행을 예방할 수 있다. 네트워크 및 센서 기술의 발전으로 IOT 기반의 다양한 헬스케어 서비스가 제공되고 있으며 사람들의 건강관리를 다양한 방법으로 지원하고 있다. 하지만, 이러한 IOT 기반 헬스케어 서비스 플랫폼 중에 개인이 편리하게 구강 진료 및 서비스를 제공받을 수 있도록 서비스하는 플랫폼 및 관련 연구가 부족하다.Oral diseases, including tooth decay, periodontal disease and tooth loss, are one of the most prevalent diseases worldwide and reduce people's quality of life due to the pain and economic loss caused by the disease. If oral health is managed through continuous monitoring, treatment at an early stage and progression of oral disease can be prevented. With the development of network and sensor technology, various IOT-based health care services are being provided, and people's health management is supported in various ways. However, among these IOT-based healthcare service platforms, there is a lack of platforms and related research that provide services so that individuals can conveniently receive oral care and services.
최근 몇 년간 classification, object detection, instance segmentation, image captioning 등 컴퓨터 비전 분야에서 딥러닝은 엄청난 잠재력을 보여주었다. CPU, GPU, Dataset 발전으로 딥러닝 기반 방법론은 의료 분야에서 유망한 결과를 낳았다. 이는 대부분의 radiographic와 같은 의료 영상을 분석하는 임상 수준의 치과 문제에 적용되었다. 치과 산업에 대한 대부분의 접근 방식은 단층 촬영 및 방사선 사진 이미지를 기반으로 CNN (Convolutional Neural Network) 딥러닝 방법론을 사용하여 치과 의사의 진료 보조 도구 형태로 진행되었다. 특히, Radiographic을 이용해 사랑니를 제거한 후 신경 손상의 잠재적 위험과 그에 따른 아랫입술과 턱의 감각 장애를 예상하는 방법, 치주 골 손실을 감지하는 방법, 치아 질환을 분류하는 방법 등에 관한 연구들이 활발히 진행되고 있다.In recent years, deep learning has shown tremendous potential in computer vision fields such as classification, object detection, instance segmentation, and image captioning. With the advancement of CPU, GPU, and dataset, deep learning-based methodologies have produced promising results in the medical field. It has been applied to most clinical-level dental problems analyzing medical images such as radiographic. Most approaches to the dental industry have been in the form of dental practice assistants using a Convolutional Neural Network (CNN) deep learning methodology based on tomographic and radiographic images. In particular, studies are being actively conducted on the potential risk of nerve damage after removal of a wisdom tooth using radiographic, a method for predicting sensory impairment of the lower lip and jaw, a method for detecting periodontal bone loss, and a method for classifying dental diseases. there is.
본 발명은 치아건강을 효과적으로 관리할 수 있는 딥러닝 알고리즘을 이용한 치아 검진 방법을 제공한다.The present invention provides a dental examination method using a deep learning algorithm that can effectively manage dental health.
본 발명에 따른 딥러닝 알고리즘을 이용한 치아 검진 방법은 구강 카메라로 상악 치아 영상과 하악 치아 영상을 촬영하는 치아 영상 획득 단계; 상기 상악 치아 영상과 상기 하악 치아 영상을 딥러닝 알고리즘으로 학습하여 개별 치아 ROI 영상을 추출하는 개별 치아 ROI 영상 추출 단계; 및 상기 개별 치아 ROI 영상을 딥러닝 알고리즘으로 학습하여 해당 치아의 치과 치료가 필요한지 여부를 판단하는 치아 질병 예측 단계를 포함한다.A dental examination method using a deep learning algorithm according to the present invention includes: a tooth image acquisition step of photographing an image of a maxillary tooth and an image of a mandible with an oral camera; an individual tooth ROI image extraction step of extracting an individual tooth ROI image by learning the maxillary tooth image and the mandibular tooth image using a deep learning algorithm; and a dental disease prediction step of learning the individual tooth ROI image with a deep learning algorithm to determine whether the corresponding tooth needs dental treatment.
또한, 상기 구강 카메라는 머릿부와 몸통부를 갖는 바디; 상기 머릿부의 일 면에 제공되는 카메라 렌즈; 상기 머릿부의 일 면에 제공되는 엘이디 조명; 및 상기 카메라 렌즈를 통해 입력된 영상 정보를 사용자 단말에 제공하는 통신부를 포함할 수 있다.In addition, the oral camera may include a body having a head and a torso; a camera lens provided on one surface of the head; LED lighting provided on one surface of the head; and a communication unit that provides image information input through the camera lens to a user terminal.
또한, 상기 치아 영상 획득 단계는, 상기 카메라 렌즈로부터 입력된 상기 상악 치아 영상과 상기 하악 치아 영상 각각으로부터 어금니 치아 영상과 앞니 치아 영상을 추출하고, 상기 어금니 치아 영상의 전방 경계선과 상기 앞니 치아 영상의 전방 경계선을 연결하는 기준 가이드 라인을 생성하고, 상기 어금니 치아 영상의 두께에 대응하는 간격으로 상기 기준 가이드 라인의 후방에 보조 가이드 라인을 생성하고, 상기 기준 가이드 라인과 상기 보조 가이드 라인을 상기 사용자 단말의 디스플레이에 표시할 수 있다.In addition, the tooth image acquisition step extracts a molar tooth image and an incisor tooth image from each of the maxillary tooth image and the mandibular tooth image input from the camera lens, and the front boundary line of the molar tooth image and the incisor tooth image. Create a reference guide line connecting the front boundary line, create an auxiliary guide line behind the reference guide line at an interval corresponding to the thickness of the molar tooth image, and set the reference guide line and the auxiliary guide line to the user terminal can be displayed on the display of
또한, 상기 치아 영상 획득 단계는, 상기 카메라 렌즈로부터 입력된 상기 상악 치아 영상과 상기 하악 치아 영상 각각으로부터 치아 ROI 박스를 추출하고, 상기 치아 ROI 박스들의 외측 모서리를 연결하여 기준 가이드 라인을 생성하고, 내측 모서리를 연결하여 보조 가리드 라인을 생성하고, 상기 기준 가이드 라인과 상기 보조 가이드 라인을 상기 사용자 단말의 디스플레이에 표시할 수 있다.In addition, the tooth image acquisition step extracts a tooth ROI box from each of the maxillary tooth image and the mandibular tooth image input from the camera lens, and connects the outer corners of the tooth ROI boxes to generate a reference guideline, An auxiliary guard line may be generated by connecting the inner corners, and the reference guide line and the auxiliary guide line may be displayed on the display of the user terminal.
또한, 상기 치아 질병 예측 단계는 영상 블렌딩을 적용하여 상기 치아의 질병 영상을 제공할 수 있다.In addition, the dental disease prediction step may provide an image of the tooth disease by applying image blending.
본 발명에 의하면, 사용자의 치아 질환 검증이 용이하고, 치과 방문 치료의 필요성을 정확하고 신속하게 사용자에게 제공할 수 있으므로, 사용자의 치아건강이 효과적으로 관리될 수 있다.According to the present invention, it is easy to verify the user's dental disease, and the need for dental visit treatment can be accurately and quickly provided to the user, so that the user's dental health can be effectively managed.
도 1은 본 발명의 실시 예에 따른 딥러닝 알고리즘을 이용한 치아 검진 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 구강 카메라를 나타내는 도면이다.
도 3은 도 2의 구강 카메라로 촬영한 상악 치아 영상을 나타내는 도면이다.
도 4는 도 2의 구강 카메라로 촬영한 하악 치아 영상을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따라 가이드 라인이 표시된 사용자 단말기를 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따라 딥러닝 분석 엔진이 딥러닝 알고리즘으로 학습하여 개별 치아 ROI 영상을 추출하는 과정을 나타내는 도면이다.
도 7은 도 6에서 추출된 개별 치아 ROI 영상을 나타내는 도면이다.
도 8은 포아송 영상 블렌딩이 적용된 치아의 질병 영상을 나타내는 도면이다.
도 9는 본 발명의 실시 예에 따른 딥러닝 알고리즘을 이용한 치아 검진 방법을 나타내는 순서도이다.
도 10은 본 발명의 실시 예에 따라 사용자 단말기에 표시되는 개별 치아 ROI 영상과 치아의 질병 영상을 나타내는 도면이다.1 is a diagram illustrating a dental examination system using a deep learning algorithm according to an embodiment of the present invention.
Figure 2 is a view showing an oral camera according to an embodiment of the present invention.
3 is a view showing an image of the maxillary teeth taken with the oral camera of FIG. 2 .
Figure 4 is a view showing an image of the mandible taken with the oral camera of Figure 2;
5 is a diagram illustrating a user terminal on which guide lines are displayed according to an embodiment of the present invention.
6 is a diagram illustrating a process of extracting an individual tooth ROI image by a deep learning analysis engine learning with a deep learning algorithm according to an embodiment of the present invention.
7 is a diagram illustrating an individual tooth ROI image extracted in FIG. 6 .
8 is a diagram illustrating a disease image of a tooth to which Poisson image blending is applied.
9 is a flowchart illustrating a dental examination method using a deep learning algorithm according to an embodiment of the present invention.
10 is a diagram illustrating an individual tooth ROI image and a tooth disease image displayed on a user terminal according to an embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the technical spirit of the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. In this specification, when a component is referred to as being on another component, it means that it may be directly formed on the other component or a third component may be interposed therebetween. In addition, in the drawings, thicknesses of films and regions are exaggerated for effective description of technical content.
또한, 본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.In addition, in various embodiments of the present specification, terms such as first, second, third, etc. are used to describe various components, but these components should not be limited by these terms. These terms are only used to distinguish one component from another. Accordingly, what is referred to as a first component in one embodiment may be referred to as a second component in another embodiment. Each embodiment described and illustrated herein also includes a complementary embodiment thereof. In addition, in this specification, 'and/or' is used in the sense of including at least one of the components listed before and after.
명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다. In the specification, the singular expression includes the plural expression unless the context clearly dictates otherwise. In addition, terms such as "comprise" or "have" are intended to designate that a feature, number, step, element, or a combination thereof described in the specification exists, but one or more other features, number, step, configuration It should not be construed as excluding the possibility of the presence or addition of elements or combinations thereof. In addition, in this specification, "connection" is used in a sense including both indirectly connecting a plurality of components and directly connecting a plurality of components.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.In addition, in the following description of the present invention, if it is determined that a detailed description of a related well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
도 1은 본 발명의 실시 예에 따른 딥러닝 알고리즘을 이용한 치아 검진 시스템을 나타내는 도면이고, 도 2는 본 발명의 실시 예에 따른 구강 카메라를 나타내는 도면이고, 도 3은 도 2의 구강 카메라로 촬영한 상악 치아 영상을 나타내는 도면이고, 도 4는 도 2의 구강 카메라로 촬영한 하악 치아 영상을 나타내는 도면이다.1 is a view showing a dental examination system using a deep learning algorithm according to an embodiment of the present invention, FIG. 2 is a view showing an oral camera according to an embodiment of the present invention, and FIG. 3 is taken with the oral camera of FIG. It is a view showing an image of a maxillary tooth, and FIG. 4 is a view showing an image of a mandible taken with the oral camera of FIG. 2 .
도 1 내지 도 4를 참조하면, 딥러닝 알고리즘을 이용한 치아 검진 시스템(10)은 구강 카메라(100), 사용자 단말기(200), 그리고 영상 분석부(300)를 포함한다.1 to 4 , the
구강 카메라(100)는 사용자의 입안에 삽입되거나, 사용자의 입 밖에서 상악 치아 영상과 하악 치아 영상을 촬영한다. 구강 카메라(100)는 바디(110, 120), 카메라 렌즈(130), 조명(140), 통신부(150), 그리고 배터리(160)를 포함한다.The
바디(110, 120)는 사용자의 입안에 삽입가능한 얇은 두께로 제공되며, 사용자가 손으로 쥘 수 있는 몸통부(110)와 상기 몸통부(110)의 전방에 제공되는 머릿부(120)를 포함한다. The
카메라 렌즈(130)는 머릿부(120)의 일 면에 제공되며, 치아 영상이 입력된다. 카메라 렌즈(130)는 넓은 화각을 가질 수 있다. 실시 예에 의하면, 카메라 렌즈(130)는 100°~150°의 화각을 가질 수 있다. 바람직하게 카메라 렌즈(130)는 120°의 화각을 가질 수 있다. 카메라 렌즈(130)는 상악 치아와의 거리를 고려하여 1~3cm의 초점 길이를 가질 수 있다. 상기 카메라 렌즈(130)를 통해 상악 치아의 전체 영역과 하악 치아의 전체 영역 각각이 개별 영상으로 촬영될 수 있다.The
조명(140)은 머릿부(120)의 일 면에 제공되며, 카메라 렌즈(130)의 전방으로 광을 조사한다. 조명(140)은 카메라 렌즈(130)에 인접한 지점에 위치할 수 있다. 조명(140)은 일반 LED, 적외선 LED, 그리고 큐레이 검사용 LED가 사용될 수 있다.The
통신부(150)는 몸통부(110) 내에 위치하며, 카메라 렌즈(130)를 통해 입력된 영상 정보를 사용자 단말(200)에 전송한다.The
배터리(160)는 몸통부(110) 내에 위치하며, 구강 카메라(100))의 각 구성에 전력을 제공한다.The
도면에는 도시하지 않았지만, 구강 카메라(100)는 가스 센서, 열선, HW 촬영 가이드를 더 포함할 수 있다.Although not shown in the drawings, the
가스 센서는 머릿부(120)에 제공되며, 치아 영상 촬영 시, 사용자의 입냄새를 측정한다. 측정된 입냄새는 통신부(150)를 통해 사용자 단말(200)에 전송된다. 사용자 단말(200)은 사용자의 입냄새의 변화와 충치의 변화를 사용자에게 제공할 수 있다.The gas sensor is provided on the
열선은 카메라 렌즈(130)의 주변에 매설되며, 카메라 렌즈(130)를 가열하여 김서림 발생을 방지한다.The heating wire is embedded in the periphery of the
HW 촬영 가이드는 머릿부(120)의 타 면에 결합하며, 치아에 걸칠 수 있는 홈을 제공한다. 카메라 렌즈(130)가 상악 치아를 촬영하는 경우, HW 촬영 가이드의 홈에는 하악 치아가 삽입되고, 카메라 렌즈(130)가 하악 치아를 촬영하는 경우, HW 촬영 가이드의 홈에는 상악 치아가 삽입된다. HW 촬영 가이드의 홈에 치아가 삽입되는 경우, 구강 카메라의 흔들림 및 떨림이 예방되어 안정적인 영상을 획득할 수 있다.The HW shooting guide is coupled to the other surface of the
사용자 단말기(200)에는 치아 검진을 위한 전용 어플리케이션이 설치되며, 상기 어플리케이션을 통해 구강 카메라(100)로부터 영상 정보를 수신하고, 수신된 영상 정보를 영상 분석부(300)에 전송한다. 그리고 사용자 단말기(200)는 구강 카메라(100)와 영상 분석부(300)로부터 전송된 영상을 디스플레이에 표시한다. A dedicated application for dental examination is installed in the
또한 사용자 단말기(200)는 구강 카메라(100)에서 전송된 영상 정보에 가이드 라인을 생성하고, 생성된 가이드 라인을 영상 정보와 함께 디스플레이에 표시한다. In addition, the
도 5는 본 발명의 실시 예에 따라 가이드 라인이 표시된 사용자 단말기를 나타내는 도면이다.5 is a diagram illustrating a user terminal on which a guide line is displayed according to an embodiment of the present invention.
도 5를 참조하면, 사용자 단말기는 상악 치아 영상과 하악 치아 영상 각각으로부터 어금니 치아 영상(T1)과 앞니 치아 영상(T2)을 추출하고, 어금니 치아 영상(T1)의 전방 경계선과 앞니 치아 영상(T2)의 전방 경계선을 연결하는 기준 가이드 라인(L1)을 생성하고, 어금니 치아 영상(T1)의 두께(d)에 대응하는 간격으로 기준 가이드 라인(L1)의 후방에 보조 가이드 라인(L2)을 생성하고, 기준 가이드 라인(L1)과 보조 가이드 라인(L2)을 상기 사용자 단말(200)의 디스플레이부에 표시한다. 사용자는 영상 정보에 나타난 자신의 치아를 상기 가이드 라인(L1, L2)에 정렬시켜 상악 치아 영상과 하악 치아 영상을 각각 획득할 수 있다.Referring to FIG. 5 , the user terminal extracts a molar tooth image T1 and an incisor tooth image T2 from each of the maxillary tooth image and the mandibular tooth image, and the front boundary line of the molar tooth image T1 and the incisor tooth image T2 ), create a reference guide line (L1) connecting the anterior boundary of and the reference guide line L1 and the auxiliary guide line L2 are displayed on the display unit of the
다른 실시 예에 의하면, 사용자 단말기는 카메라 렌즈(130)로부터 입력된 상악 치아 영상과 하악 치아 영상 각각으로부터 치아 ROI 박스(도 6의 11)를 추출하고, 치아 ROI 박스들의 외측 모서리를 연결하여 기준 가이드 라인(L1)을 생성하고, 내측 모서리를 연결하여 보조 가리드 라인(L2)을 생성할 수 있다. 사용자 단말기는 기준 가이드 라인(L1)과 보조 가이드 라인(L2)을 상기 사용자 단말(200)의 디스플레이부에 표시한다. 사용자는 영상 정보에 나타난 자신의 치아를 상기 가이드 라인(L1, L2)에 정렬시켜 상악 치아 영상과 하악 치아 영상을 각각 획득할 수 있다.According to another embodiment, the user terminal extracts a tooth ROI box (11 in FIG. 6) from each of the maxillary tooth image and the mandibular tooth image input from the
영상 분석부(300)는 사용자 단말기(200)로부터 상악 치아 영상과 하악 치아 영상을 수신하고, 상기 영상을 딥러닝 알고리즘으로 학습하여 개별 치아 ROI (Region Of Interest) 영상을 추출하고, 개별 치아 ROI 영상을 딥러닝 알고리즘으로 학습하여 해당 치아의 치과 치료가 필요한지 여부를 판단한다. The
그리고 영상 분석부(300)는 영상 블렌딩을 적용하여 치아의 질병 영상을 사용자 단말기에 전송한다. 영상 블렌딩은 포아송 영상 블렌딩, 가우시안 커널을 이용한 영상 블렌딩, 그리고 2D Kernel을 직접 만들어서 블렌딩하는 방법이 사용될 수 있다. 영상 분석부(300)는 별도의 서버로 제공되거나 사용자 단말기 내에 탑재될 수 있다.And the
영상 분석부(300)는 통신부(310), 데이터 저장부(320), 딥러닝 분석 엔진(330)을 포함한다.The
통신부(310)는 사용자 단말기(200)와 유선 또는 무선 통신할 수 있다. The
데이터 저장부(320)는 딥러닝 알고리즘의 학습에 사용되는 다양한 치아 영상 정보를 저장한다. 데이터 저장부(320)에는 구강 카메라(100)로 촬영한 상악 치아 영상과 하악 치아 영상이 저장될 수 있다. 그리고 데이터 저장부(320)에는 성별, 연령, 그리고 인종에 따라 촬영된 치아 영상이 저장될 수 있다. The
도 6은 본 발명의 실시 예에 따라 딥러닝 분석 엔진이 딥러닝 알고리즘으로 학습하여 개별 치아 ROI 영상을 추출하는 과정을 나타내는 도면이고, 도 7은 도 6에서 추출된 개별 치아 ROI 영상을 나타내는 도면이다.6 is a diagram illustrating a process in which a deep learning analysis engine extracts an individual tooth ROI image by learning with a deep learning algorithm according to an embodiment of the present invention, and FIG. 7 is a diagram illustrating an individual tooth ROI image extracted in FIG. .
도 6 및 도 7을 참조하면, 딥러닝 분석 엔진(330)은 딥러닝 알고리즘으로 학습하여 개별 치아 ROI 영상(11)을 추출한다. 딥러닝 분석 엔진(330)은 Tooth ROI network를 이용하여 치아 ROI 영상(11)을 추출하며, 상기 Tooth ROI network는 CNN 네트워크와 RPN(Region Proposal Network)로 구성된다. 6 and 7 , the deep
그리고 딥러닝 분석 엔진(330)은 개별 치아 ROI 영상을 딥러닝 알고리즘으로 학습하여 해당 치아의 치과 치료가 필요한지 여부를 판단한다. 딥러닝 분석 엔진(330)은 개별 치아 ROI 영상에서 특징점 추출(Feature extraction)을 위해 ResNet과 같은 CNN 네트워크에 이미지의 high level feature, low level feature를 효과적으로 전달하기 위한 FPN(Feature Pyramid Network) 방법을 사용할 수 있다. 딥러닝 분석 엔진(330)은 포아송 영상 블렌딩을 적용하여 치아의 질병 영상을 생성할 수 있다. 도 8은 포아송 영상 블렌딩이 적용된 치아의 질병 영상을 나타내는 도면이다.And the deep
딥러닝 분석 엔진(330)은 치아의 질병 영상을 통해 Occlusal caries, proximal caries, cavitation, dental fluorosis, periodontitis, cracked tooth, dental calculus, dental plaque, tooth loss를 포함한 다양한 dental 치과 질병을 예측할 수 있다.The deep
도 9는 본 발명의 실시 예에 따른 딥러닝 알고리즘을 이용한 치아 검진 방법을 나타내는 순서도이다.9 is a flowchart illustrating a dental examination method using a deep learning algorithm according to an embodiment of the present invention.
도 9를 참조하면, 딥러닝 알고리즘을 이용한 치아 검진 방법은 치아 영상 획득 단계(S10), 개별 치아 ROI 영상 추출 단계(S20), 그리고 치아 질병 예측 단계(S30)를 포함한다.Referring to FIG. 9 , a dental examination method using a deep learning algorithm includes a tooth image acquisition step (S10), an individual tooth ROI image extraction step (S20), and a dental disease prediction step (S30).
치아 영상 획득 단계(S10)는 구강 카메라(100)의 머릿부(120)를 사용자가 입안에 삽입한 상태에서 사용자의 상악 치아 영상과 하악 치아 영상을 촬영한다. 엘이디 조명(140)이 온(ON) 상태에서 카메라 렌즈(130)가 상악 치아 또는 하악 치아를 촬영하고, 촬영된 영상은 통신부(150)를 통해 사용자 단말기(200)에 전송된다. 사용자 단말기(200)는 전용 어플리케이션의 실행으로 카메라 렌즈(130)로부터 전송되는 영상을 실시간으로 디스플레이부에 나타내고, 영상에 나타난 치아들을 분석하여 가이드 라인(L1, L2)을 디스플레이부에 표시한다. 어플리케이션은 영상에 나타난 어금니(T1)와 앞니(T2)를 추출하고, 어금니 치아 영상의 전방 경계선과 앞니 치아 영상의 전방 경계선을 연결하는 기준 가이드 라인(L1)을 생성하고, 어금니 치아 영상의 두께(d)에 대응하는 간격으로 기준 가이드 라인(L1)의 후방에 보조 가이드 라인(L2)을 생성한다. 사용자는 영상에 표시되는 치아 라인을 가이드 라인(L1, L2)과 일치시켜 상악 치아 영상과 하악 치아 영상을 촬영할 수 있다. 상악 치아 영상과 하악 치아 영상은 사용자 단말기를 통해 영상 분석부에 전송된다.In the tooth image acquisition step (S10), the user's upper and lower teeth images are captured while the user inserts the
개별 치아 ROI 영상 추출 단계(S20)는 상악 치아 영상과 하악 치아 영상을 딥러닝 알고리즘으로 학습하여 개별 치아 ROI 영상을 추출한다. 개별 치아 ROI 영상 추출을 위한 딥러닝 알고리즘 학습은 데이터 저장부에 저장된 상악 치아 영상과 하악 치아 영상의 개별 치아 영역에 전문 치과의사가 픽셀 단위로 주석을 달고, 이를 ROI 검출 네트워크로 학습하여 개별 치아 ROI 영상을 추출할 수 있다.In the individual tooth ROI image extraction step (S20), an individual tooth ROI image is extracted by learning the maxillary tooth image and the mandibular tooth image with a deep learning algorithm. Deep learning algorithm learning for individual tooth ROI image extraction is performed by a professional dentist who annotates individual tooth regions of the maxillary and mandibular teeth images stored in the data storage unit in pixel units, and learns them with an ROI detection network to ROI on individual teeth. You can extract images.
또한, 딥러닝 알고리즘 학습 시 개별 영상에 대해 전처리 과정이 먼저 수행 될 수 있다. 전처리 과정은 영상 정규화 단계와 데이터 증가 단계를 포함한다. In addition, when learning a deep learning algorithm, a preprocessing process may be performed first for individual images. The preprocessing process includes an image normalization step and a data augmentation step.
영상 정규화 단계는 입력 치아 영상에 대하여 전체적인 명암값의 분포를 고르게 하도록 정규화하고 치아 질병들의 특징을 부각하기 위해 대비를 높여준다. 영상 정규화 단계는 0~255 사이의 이미지 픽셀값을 0~1로 변환하여 딥러닝 학습 최적화를 한다. In the image normalization step, the input tooth image is normalized to make the distribution of the overall contrast values even, and the contrast is increased to highlight features of dental diseases. The image normalization step optimizes deep learning learning by converting image pixel values between 0 and 255 into 0-1.
데이터 증가 단계는 딥러닝 학습 시 분류하려는 클래스 간의 불균형 문제, 오버피팅 문제를 해결하기 위해 더 많은 데이터를 확보하기 위해 수행된다. 데이터 증가 단계는 random horizontal and vertical shift, color jitter, contrast enhancement, affine transformation, crop 등 데이터 특성은 유지하면서 다양한 데이터를 확보하는 영상 처리 방법론이 적용될 수 있다.The data increase step is performed to obtain more data to solve the problem of imbalance between classes to be classified and overfitting problems during deep learning learning. In the data increase step, an image processing methodology that secures various data while maintaining data characteristics such as random horizontal and vertical shift, color jitter, contrast enhancement, affine transformation, and crop may be applied.
치아 질병 예측 단계(S30)는 개별 치아 ROI 영상을 딥러닝 알고리즘으로 학습하여 해당 치아의 치과 치료가 필요한지 여부를 판단한다. 치아 질병 예측 단계(S30)는 개별 치아 ROI 영상에서 특징점 추출을 통해 치과 치료가 필요한 영역을 추출할 수 있다. In the tooth disease prediction step (S30), the individual tooth ROI image is learned by a deep learning algorithm to determine whether the corresponding tooth needs dental treatment. In the dental disease prediction step ( S30 ), a region requiring dental treatment may be extracted by extracting key points from the individual tooth ROI image.
다른 실시 예에 의하면, 치아 질병 예측 단계(S30)는 개별 치아 ROI 영상을 딥러닝 알고리즘으로 학습하여 정상 치아와 치과 치료가 필요한 치아를 검출하고, 치과 치료가 필요한 치아 영상에서 의심 부분을 찾아 하이라이트로 표시할 수 있다. According to another embodiment, the dental disease prediction step (S30) learns individual tooth ROI images with a deep learning algorithm to detect normal teeth and teeth requiring dental treatment, and finds a suspicious part in the tooth image requiring dental treatment and highlights it. can be displayed
또 다른 실시 예에 의하면, 치아 질병 예측 단계(S30)는 개별 치아 ROI 영상을 딥러닝 알고리즘으로 학습하여 정상 치아, 표면 충치 치아, 깊은 충치 치아, 그리고 단순 착색 치아로 분류 후 표면 충치 치아 영상과 깊은 충치 치아 영상에서 의심 부분을 찾아 하이라이트로 표시할 수 있다.According to another embodiment, in the tooth disease prediction step (S30), the individual tooth ROI image is learned by a deep learning algorithm and classified into normal teeth, superficially decayed teeth, deep decayed teeth, and simple colored teeth. It is possible to find and highlight the suspicious part in the decayed tooth image.
치아 질병 예측 단계(S30)는 상술한 영상 블렌딩을 적용하여 치아의 질병 영상을 제공할 수 있다.The dental disease prediction step S30 may provide an image of a tooth disease by applying the above-described image blending.
치아 질병 예측 단계(S30)에서 생성된 개별 치아 ROI 영상과 치아의 질병 영상은 사용자의 단말기(200)에 전송된다.The individual tooth ROI image and the tooth disease image generated in the tooth disease prediction step S30 are transmitted to the user's
도 10은 본 발명의 실시 예에 따라 사용자 단말기에 표시되는 개별 치아 ROI 영상과 치아의 질병 영상을 나타내는 도면이다.10 is a diagram illustrating an individual tooth ROI image and a tooth disease image displayed on a user terminal according to an embodiment of the present invention.
도 10의 (A)를 참조하면, 상악 치아 영상과 하악 치아 영상에서 개별 치아 ROI 영상이 추출된 영역(15)이 표시된다. 개발 영역(15)에는 개별 치아 ROI 영상의 순번이 부여된다.Referring to FIG. 10A , a
도 10의 (B)를 참조하면, 치과 치료가 필요하다고 예측된 치아의 ROI영상과 포아송 영상 블렌딩이 적용된 치아의 질병 영상(16)이 표시된다. 그리고 치아의 질병 확률이 수치로 표현되고, 치과 치료가 필요한 정도(17))가 단계별로 표시된다.Referring to FIG. 10B , an ROI image of a tooth predicted to require dental treatment and a
이러한 분석 정보는 사용자의 요청에 따라 사용자 단말기를 통해 사용자가 지정한 치과 병원의 전산 영상 분석부로 전송될 수 있으며, 치과 의사의 치료 진단에 활용될 수 있다. 또한, 이러한 분석 정보는 원격 진료용으로 사용가능하다.Such analysis information may be transmitted to a computerized image analysis unit of a dental hospital designated by a user through a user terminal according to a user's request, and may be utilized for treatment diagnosis by a dentist. In addition, such analysis information is available for telemedicine.
이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.As mentioned above, although the present invention has been described in detail using preferred embodiments, the scope of the present invention is not limited to specific embodiments and should be construed according to the appended claims. In addition, those skilled in the art should understand that many modifications and variations are possible without departing from the scope of the present invention.
10: 치아 검진 시스템
100: 구강 카메라
200: 사용자 단말기
300: 영상 분석부10: dental examination system
100: oral camera
200: user terminal
300: image analysis unit
Claims (5)
상기 상악 치아 영상과 상기 하악 치아 영상을 딥러닝 알고리즘으로 학습하여 개별 치아 ROI 영상을 추출하는 개별 치아 ROI 영상 추출 단계; 및
상기 개별 치아 ROI 영상을 딥러닝 알고리즘으로 학습하여 해당 치아의 치과 치료가 필요한지 여부를 판단하는 치아 질병 예측 단계를 포함하는 딥러닝 알고리즘을 이용한 치아 검진 방법.A dental image acquisition step of taking a maxillary tooth image and a mandibular tooth image with an oral camera;
an individual tooth ROI image extraction step of extracting an individual tooth ROI image by learning the maxillary tooth image and the mandibular tooth image using a deep learning algorithm; and
A dental examination method using a deep learning algorithm, comprising a dental disease prediction step of learning the individual tooth ROI image with a deep learning algorithm to determine whether the corresponding tooth needs dental treatment.
상기 구강 카메라는
머릿부와 몸통부를 갖는 바디;
상기 머릿부의 일 면에 제공되는 카메라 렌즈;
상기 머릿부의 일 면에 제공되는 엘이디 조명; 및
상기 카메라 렌즈를 통해 입력된 영상 정보를 사용자 단말에 제공하는 통신부를 포함하는 딥러닝 알고리즘을 이용한 치아 검진 방법.The method of claim 1,
the oral camera
a body having a head and a torso;
a camera lens provided on one surface of the head;
LED lighting provided on one surface of the head; and
A dental examination method using a deep learning algorithm comprising a communication unit that provides image information input through the camera lens to a user terminal.
상기 치아 영상 획득 단계는,
상기 카메라 렌즈로부터 입력된 상기 상악 치아 영상과 상기 하악 치아 영상 각각으로부터 어금니 치아 영상과 앞니 치아 영상을 추출하고, 상기 어금니 치아 영상의 전방 경계선과 상기 앞니 치아 영상의 전방 경계선을 연결하는 기준 가이드 라인을 생성하고,
상기 어금니 치아 영상의 두께에 대응하는 간격으로 상기 기준 가이드 라인의 후방에 보조 가이드 라인을 생성하고,
상기 기준 가이드 라인과 상기 보조 가이드 라인을 상기 사용자 단말의 디스플레이에 표시하는 딥러닝 알고리즘을 이용한 치아 검진 방법.3. The method of claim 2,
The tooth image acquisition step is,
A molar tooth image and an incisor tooth image are extracted from each of the maxillary tooth image and the mandibular tooth image input from the camera lens, and a reference guideline connecting the front boundary line of the molar tooth image and the front boundary line of the incisor tooth image. create,
creating an auxiliary guide line behind the reference guide line at an interval corresponding to the thickness of the molar tooth image,
A dental examination method using a deep learning algorithm for displaying the reference guideline and the auxiliary guideline on a display of the user terminal.
상기 치아 영상 획득 단계는,
상기 카메라 렌즈로부터 입력된 상기 상악 치아 영상과 상기 하악 치아 영상 각각으로부터 치아 ROI 박스를 추출하고,
상기 치아 ROI 박스들의 외측 모서리를 연결하여 기준 가이드 라인을 생성하고, 내측 모서리를 연결하여 보조 가리드 라인을 생성하고,
상기 기준 가이드 라인과 상기 보조 가이드 라인을 상기 사용자 단말의 디스플레이에 표시하는 딥러닝 알고리즘을 이용한 치아 검진 방법.3. The method of claim 2,
The tooth image acquisition step is,
Extracting a tooth ROI box from each of the maxillary tooth image and the mandibular tooth image input from the camera lens,
Connecting the outer corners of the tooth ROI boxes to create a reference guide line, connecting the inner corners to create an auxiliary guard line,
A dental examination method using a deep learning algorithm for displaying the reference guideline and the auxiliary guideline on a display of the user terminal.
상기 치아 질병 예측 단계는 영상 블렌딩을 적용하여 상기 치아의 질병 영상을 제공하는 딥러닝 알고리즘을 이용한 치아 검진 방법.The method of claim 1,
The dental disease prediction step is a dental examination method using a deep learning algorithm that provides an image of the tooth disease by applying image blending.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200099628A KR102428636B1 (en) | 2020-08-10 | 2020-08-10 | Teeth examination system using deep learning algorithms |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200099628A KR102428636B1 (en) | 2020-08-10 | 2020-08-10 | Teeth examination system using deep learning algorithms |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220019860A true KR20220019860A (en) | 2022-02-18 |
KR102428636B1 KR102428636B1 (en) | 2022-08-04 |
Family
ID=80495123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200099628A KR102428636B1 (en) | 2020-08-10 | 2020-08-10 | Teeth examination system using deep learning algorithms |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102428636B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117078631A (en) * | 2023-08-21 | 2023-11-17 | 四川大学 | Tooth and tooth disease identification method based on deep learning algorithm |
KR102672173B1 (en) * | 2023-04-14 | 2024-06-07 | 주식회사 오비젠 | Artificial intelligence-based system and method for identifying adjacent surfaces between teeth |
KR20240104268A (en) | 2022-12-27 | 2024-07-04 | 주식회사 디메디 | Multi-private oral self diagnostic device and smart oral management system including same and method thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170127950A (en) * | 2016-05-13 | 2017-11-22 | 연세대학교 산학협력단 | Fully automatic dental segmentation system and method for computerized tomography |
KR20190105333A (en) | 2018-03-05 | 2019-09-17 | 재단법인 경북아이티융합 산업기술원 | Oral conditon management remote monitoring system using image analysis |
US20200146646A1 (en) * | 2018-06-27 | 2020-05-14 | Denti.Ai Technology Inc. | Systems and methods for processing of dental images |
-
2020
- 2020-08-10 KR KR1020200099628A patent/KR102428636B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170127950A (en) * | 2016-05-13 | 2017-11-22 | 연세대학교 산학협력단 | Fully automatic dental segmentation system and method for computerized tomography |
KR20190105333A (en) | 2018-03-05 | 2019-09-17 | 재단법인 경북아이티융합 산업기술원 | Oral conditon management remote monitoring system using image analysis |
US20200146646A1 (en) * | 2018-06-27 | 2020-05-14 | Denti.Ai Technology Inc. | Systems and methods for processing of dental images |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240104268A (en) | 2022-12-27 | 2024-07-04 | 주식회사 디메디 | Multi-private oral self diagnostic device and smart oral management system including same and method thereof |
KR102672173B1 (en) * | 2023-04-14 | 2024-06-07 | 주식회사 오비젠 | Artificial intelligence-based system and method for identifying adjacent surfaces between teeth |
CN117078631A (en) * | 2023-08-21 | 2023-11-17 | 四川大学 | Tooth and tooth disease identification method based on deep learning algorithm |
Also Published As
Publication number | Publication date |
---|---|
KR102428636B1 (en) | 2022-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11398013B2 (en) | Generative adversarial network for dental image super-resolution, image sharpening, and denoising | |
US11367188B2 (en) | Dental image synthesis using generative adversarial networks with semantic activation blocks | |
KR102428636B1 (en) | Teeth examination system using deep learning algorithms | |
US20210118132A1 (en) | Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment | |
US11348237B2 (en) | Artificial intelligence architecture for identification of periodontal features | |
US20200364624A1 (en) | Privacy Preserving Artificial Intelligence System For Dental Data From Disparate Sources | |
US11189028B1 (en) | AI platform for pixel spacing, distance, and volumetric predictions from dental images | |
US10405754B2 (en) | Standardized oral health assessment and scoring using digital imaging | |
US20200411167A1 (en) | Automated Dental Patient Identification And Duplicate Content Extraction Using Adversarial Learning | |
US11276151B2 (en) | Inpainting dental images with missing anatomy | |
US11217350B2 (en) | Systems and method for artificial-intelligence-based dental image to text generation | |
US20210357688A1 (en) | Artificial Intelligence System For Automated Extraction And Processing Of Dental Claim Forms | |
US20200387829A1 (en) | Systems And Methods For Dental Treatment Prediction From Cross- Institutional Time-Series Information | |
US11311247B2 (en) | System and methods for restorative dentistry treatment planning using adversarial learning | |
JP6830082B2 (en) | Dental analysis system and dental analysis X-ray system | |
US20210358604A1 (en) | Interface For Generating Workflows Operating On Processing Dental Information From Artificial Intelligence | |
Park et al. | Caries detection with tooth surface segmentation on intraoral photographic images using deep learning | |
WO2020013642A1 (en) | Oral care device and oral care service system including same | |
KR102041888B1 (en) | Dental care system | |
Mallick et al. | Analysis of Panoramic Images using Deep Learning For Dental Disease Identification | |
Zhao et al. | Recognition and segmentation of teeth and mandibular nerve canals in panoramic dental X-rays by Mask RCNN | |
Jain et al. | Dental image analysis for disease diagnosis | |
Jaiswal et al. | A cropping algorithm for automatically extracting regions of ınterest from panoramic radiographs based on maxilla and mandible parts | |
Shivpuje et al. | A review on digital dental radiographic images for disease identification and classification | |
Carneiro | Enhanced tooth segmentation algorithm for panoramic radiographs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right |