KR20200012707A - 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 - Google Patents
해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 Download PDFInfo
- Publication number
- KR20200012707A KR20200012707A KR1020190019788A KR20190019788A KR20200012707A KR 20200012707 A KR20200012707 A KR 20200012707A KR 1020190019788 A KR1020190019788 A KR 1020190019788A KR 20190019788 A KR20190019788 A KR 20190019788A KR 20200012707 A KR20200012707 A KR 20200012707A
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- landmark
- head medical
- outline
- predicting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000001815 facial effect Effects 0.000 claims abstract description 49
- 210000004872 soft tissue Anatomy 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 210000004283 incisor Anatomy 0.000 claims description 16
- 230000001936 parietal effect Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 210000001142 back Anatomy 0.000 claims description 4
- 235000013527 bean curd Nutrition 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 210000004513 dentition Anatomy 0.000 claims description 4
- 230000036346 tooth eruption Effects 0.000 claims description 4
- 241000083547 Columella Species 0.000 claims description 3
- 208000006077 Dental Fissures Diseases 0.000 claims 1
- 238000011282 treatment Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 206010061274 Malocclusion Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000002050 maxilla Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 208000002925 dental caries Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000024693 gingival disease Diseases 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명은, 피검자에 대한 측모 두부 의료 영상을 수신하는 단계, 측모 두부 의료 영상 내의 해부학적 랜드마크 (anatomical landmark) 를 예측하도록 구성된 랜드마크 예측 모델을 이용하여, 측모 두부 의료 영상 내에서 랜드마크를 예측하는 단계, 및 예측된 랜드마크가 표시된 영상을 제공하는 단계를 포함하는, 해부학적 랜드마크의 예측 방법 방법 및 이를 이용한 디바이스를 제공한다.
Description
본 발명은 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스에 관한 것으로, 보다 구체적으로 치아 교정 분석에 이용되는 해부학적 계측점들을 예측하도록 구성된, 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스에 관한 것이다.
일반적으로, 치열이 바르지 않고 상하의 치아 교합이 비정상적인 상태를 부정교합이라고 한다. 이와 같은 부정교합은 저작, 발음상의 문제와 같은 기능적인 문제점과 얼굴에 대한 미적인 문제점을 발생시킬 뿐만 아니라 충치와 잇몸질환과 같은 건강상의 문제점도 발생시킬 수 있다.
이러한 부정교합을 정상교합으로 만들기 위한 방법으로 치아 교정 치료가 수행될 수 있다.
한편, 치아 교정 치료에 있어서, 치료 계획 단계에서 수행되는 피검자에 대한 악안면 골격의 크기의 계측, 악안면 골격의 성장 방향의 측정, 치열의 돌출 정도의 측정과 같은 치아 교정 분석은 교정 치료의 예후와 밀접하게 연관될 수 있다. 특히, 치아 교정 치료에 대한 정확한 치료 계획 수립에 있어서, 계측을 위해 해부학적으로 미리 결정된 해부학적 랜드마크 (anatomical landmark) 를 찾는 것은 매우 중요할 수 있다. 이를 위해, 의료인들은 피검자로부터 획득한 측모 두부 의료 영상에 대하여 해부학적 랜드마크들을 육안으로 확인하고, 전술한 교정 치료 전 분석들을 수행해 왔다. 그러나, 이러한 방법은 의료인의 숙련도에 따라 해부학적 랜드마크의 위치가 달라질 수 있어 치료 계획 수립의 정확도가 떨어지는 문제를 수반할 수 있다.
의료 서비스 질의 향상 등을 위하여 교정 치료 전 치료 계획 수립에 대한 정확성이 더욱 요구되고 있음에 따라, 정확하게 해부학적 랜드마크를 탐지하는 방법의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
한편, 전술한 문제점을 해결하기 위해, 프로그램적으로 교정 치료 전 분석을 수행하도록 구성된 치아 교정용 분석 프로그램들이 등장하였다. 그러나 이러한 치아 교정용 분석 프로그램은, 해부학적 랜드마크들을 일일이 입력해야 함에 따라 의료인으로 하여금 번거로움이 수반될 수 있다. 나아가, 이러한 종래의 기술은, 의료인이 여전히 측모 두부 의료 영상을 기초로 해부학적 랜드마크를 직접 찾아야 한다는 점에 있어서, 의료인에 숙련도에 따라 분석의 정확도가 달라질 수 있다.
본 발명의 발명자는, 종래의 치아 교정용 분석 프로그램이 갖는 문제점을 해결하고 치아 교정 전 분석의 정확도를 높이기 위한 방안으로, 측모 두부 의료 영상의 데이터에 의해 교정을 위한 랜드마크를 예측하도록 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다.
그 결과, 본 발명의 발명자는, 예측 모델을 이용하여 피검자에 대한 측모 두부 의료 영상 내에서 교정을 위한 해부학적 랜드마크의 위치를 예측하여, 치아 교정 분석을 위한 정보를 제공할 수 있는, 새로운 치아 교정 분석 시스템을 개발하기에 이르렀다.
보다 구체적으로, 본 발명의 발명자는, 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하고, 예측된 측모 안면 영역 내에서 계측을 위한 해부학적 랜드마크를 예측하도록 학습된 두 개의 예측 모델을 이용했을 때 예측의 정확도가 높아질 수 있음에 주목하였다.
그 결과, 측모 두부 의료 영상 내에서 예측된 측모 안면 영역을 예측하도록 구성된 예측 모델과 측모 안면 영역 내에서 해부학적 랜드마크를 예측하도록 구성된 예측 모델을 이용한 치아 교정 분석 시스템을 개발할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는 수신된 측모 두부 의료 영상을 기초로 계측을 위한 해부학적 랜드마크를 예측하도록 구성된 랜드마크 예측 모델을 이용하여, 의료 영상 내에서 랜드마크를 예측하고, 예측 결과를 제공하도록 구성된, 해부학적 랜드마크의 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 측모 안면 영역에 대한 좌표를 예측하고, 랜드마크 예측 모델을 이용하여 측모 안면 영역 내에서 랜드마크를 예측하도록 구성된, 해부학적 랜드마크의 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 예측된 랜드마크를 기초로, 피검자에 대한 악안면 골격의 크기, 악안면 골격의 성장 방향 및 치열의 돌출 정도 중 선택된 적어도 하나를 측정하도록 구성된, 해부학적 랜드마크의 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 피검자에 대한 측모 두부 의료 영상을 수신하도록 구성된 수신부 및 수신부와 동작 가능하게 연결되고 다양한 예측 모델을 이용하도록 구성된 프로세서를 포함하는, 해부학적 랜드마크의 예측용 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법이 제공된다. 본 방법은, 피검자에 대하여 측모 두부 의료 영상을 수신하는 단계, 측모 두부 의료 영상 내의 해부학적 랜드마크 (anatomical landmark) 를 예측하도록 구성된 랜드마크 예측 모델을 이용하여, 의료 영상 내에서 랜드마크를 예측하는 단계, 및 예측된 랜드마크가 표시된 영상을 제공하는 단계를 포함한다.
본 발명의 특징에 따르면, 본 발명의 예측 방법은, 랜드마크를 예측하는 단계 이전에 수행되는, 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여 의료 영상 내에서 측모 안면 영역에 대한 좌표를 예측하는 단계를 더 포함할 수 있다. 나아가, 랜드마크를 예측하는 단계는 랜드마크 예측 모델을 이용하여 측모 안면 영역 내에서 랜드마크를 예측하는 단계를 더 포함할 수 있다.
본 발명의 다른 특징에 따르면, 랜드마크를 예측하는 단계는, 랜드마크 예측 모델을 이용하여 예측된 측모 안면 영역에 대한 좌표 및 의료 영상을 기초로 측모 안면 영역 내에서 랜드마크에 대한 x 축 및 y 축 좌표를 예측하는 단계, 및 예측된 랜드마크, x 축 및 y 축 좌표를 포함하는 xml, json 또는 csv 파일을 생성하는 단계를 포함할 수 있다. 나아가, 제공하는 단계는 측모 두부 의료 영상 및 xml, json 또는 csv 파일을 기초로 측모 두부 의료 영상 내에서 랜드마크의 위치가 표시된 영상을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 랜드마크 예측 모델은, 그래디언트 부스팅 알고리즘 (gradient boosting algorithm) 에 기초하여 측모 두부 의료 영상 내에서 랜드마크를 예측하도록 학습된 모델이고, 측모 안면 영역 예측 모델은, 서포트 벡터 머신 알고리즘 (support Vector Machine algorithm, SVM) 에 기초하여 측모 두부 의료 영상 내에서 측모 안면 영역 예측하도록 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 측모 안면 영역 예측 모델은, 측모 안면 영역의 좌표가 미리 결정된 학습용 측모 두부 의료 영상을 수신하는 단계, 및 측모 안면 영역의 좌표 및 학습용 측모 두부 의료 영상이 갖는 패턴을 기초로 학습용 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하는 단계를 통해 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 학습용 측모 두부 의료 영상은, 표본 피검자에 대한 표본 측모 두부 의료 영상을 HOG (Histogram of Oriented Gradient) 변환하는 단계, 및 표본 측모 두부 의료 영상 내의 측모 안면 영역의 좌표 및 표본 측모 두부 의료 영상의 경로를 기초로, HOG 변환된 표본 측모 두부 의료 영상에 측모 안면 영역을 표시하는 단계를 통해 획득된 영상일 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 예측 방법은, 예측된 랜드마크를 기초로, 피검자에 대한 악안면 골격의 크기, 악안면 골격의 성장 방향 및 치열의 돌출 정도 중 선택된 적어도 하나를 측정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 수신된 의료 영상이 RGB 컬러 영상일 경우, 의료 영상을 흑백 영상으로 전환하는 단계, 및 흑백 영상을 벡터화하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 벡터화하는 단계는, 흑백 영상이 갖는 복수의 픽셀 중 선택된 하나의 임의의 픽셀과 임의의 픽셀과 인접한 복수의 픽셀에 대한 명도 차이 값을 각각 산출하는 단계, 및 인접한 복수의 픽셀 중, 임의의 픽셀과의 명도 차이 값이 가장 큰 픽셀의 방향으로 흑백 영상을 벡터화하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 랜드마크는, 교정을 위한 측모 두부 계측 방사선 랜드마크 (Cephalometric Landmark) 로 미리 결정된 A 지점 (A-point), B 지점 (B-point), ANS (Anterior nasal spine), AN (Antegonial notch), 아르티큐라레 (Articulare), 배이지온 (Basion), C (Cervical point), 콘딜리온 (Condylion), 콜루멜라 (Columella), CL (Corpus Left), 코배 (Dorsum of Nose), 글라벨라 (Glabella), 그나티온 (Gnathion), 고니온 (Gonion), 인프라덴탈레 (Infradentale), LICT (Lower incisor crown tip), LIRT (Lower incisor root tip), LMDP (Lower molar distal point), LMMP (Lower molar mesial point), Li (Labrale inferius), Ls (Labrale superius), LE (Lower embrasure), 하순점 (Lower lip), 멘톤 (Menton), 내이지온 (Nasion), 콧등 (Nasal bridge), 오비딸레 (Orbitale), PM 지점, PNS (Posterior nasal spine), 포리온 (Porion), 포고니온 (Pogonion), Pn (Pronasale), Pt (Pterygoid point), R1 지점, R3 지점, RD (Ramus down), 셀라 (Sella), Sd (Supradentale), Soft tissue A point, Soft tissue B point, Gn' (Soft tissue Gnathion), Me' (Soft tissue Menton), N' (Soft tissue Nasion), Pg' (Soft tissue Pogonion), Stmi (Stomion inferius), Stms (Stomion superius), SM 지점 (Submandibular point), Sn (Subnasale), UICT (Upper incisor crown tip), UIRT (Upper incisor root tip), UMDP (Upper molar distal point), UMMP (Upper molar mesial point), UE (Upper embrasure), 상순점 (Upper lip), 멘디뷸러 아웃라인 (Mandibular outline) 1, 멘디뷸러 아웃라인 2, 멘디뷸러 아웃라인 3, 멘디뷸러 아웃라인 4, 멘디뷸러 아웃라인 5, 멘디뷸러 아웃라인 6, 맥실러리 아웃라인 (Maxilla outline) 1, 맥실러리 아웃라인 2, 맥실러리 아웃라인 3, 맥실러리 아웃라인 4, 맥실러리 아웃라인 5, 맥실러리 아웃라인 6, 맥실러리 아웃라인 7, 맥실러리 아웃라인 8, 맥실러리 아웃라인 9, 맥실러리 아웃라인 10, 맥실러리 아웃라인 11, 심피시스 아웃라인 (Symphysis outline) 1, 심피시스 아웃라인 2, 심피시스 아웃라인 3 및 심피시스 아웃라인 4로 이루어진 그룹 중 선택된 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 랜드마크 예측 모델은, 측모 안면 영역에 대하여 복수의 랜드마크의 좌표가 미리 결정된 학습용 측모 두부 의료 영상을 수신하는 단계, 및 학습용 측모 두부 의료 영상 내에서 복수의 랜드마크의 좌표에 의해 형성된 형태 (shape) 를 기초로 학습용 측모 두부 의료 영상 내에서 복수의 랜드마크의 좌표를 예측하는 단계를 통해 학습된 모델일 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측용 디바이스가 제공된다. 본 디바이스는, 피검자에 대한 측모 두부 의료 영상을 수신하도록 구성된 수신부, 및 수신부와 동작 가능하게 연결된 프로세서를 포함한다. 이때, 프로세서는 측모 두부 의료 영상 내의 해부학적 랜드마크를 예측하도록 구성된 랜드마크 예측 모델을 이용하여 의료 영상 내에서 랜드마크를 예측하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 의료 영상 내에서 측모 안면 영역에 대한 좌표를 예측하고, 랜드마크 예측 모델을 이용하여 측모 안면 영역 내에서 랜드마크를 예측하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는 랜드마크 예측 모델을 이용하여, 예측된 측모 안면 영역에 대한 좌표 및 의료 영상을 기초로 측모 안면 영역 내에서 랜드마크에 대한 x 축 및 y 축 좌표를 예측하고, 예측된 상기 랜드마크, 상기 x 축 및 y 축 좌표를 포함하는 xml, json 또는 csv 파일을 생성하고, 측모 두부 의료 영상 및 xml, json 또는 csv 파일을 기초로 측모 두부 의료 영상 내에서 상기 랜드마크의 위치가 표시된, 영상을 제공하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 예측용 디바이스는, 예측된 랜드마크를 기초로, 피검자에 대한 악안면 골격의 크기, 악안면 골격의 성장 방향 및 치열의 돌출 정도 중 선택된 적어도 하나를 측정하도록 구성된 계측부를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 예측용 디바이스는, 수신된 의료 영상이 RGB 컬러 영상일 경우, 의료 영상을 흑백 영상으로 전환하고, 흑백 영상을 벡터화하도록 구성된, 데이터 전처리부를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 데이터 전처리부는, 흑백 영상이 갖는 복수의 픽셀 중 선택된 하나의 임의의 픽셀과 임의의 픽셀과 인접한 복수의 픽셀에 대한 명도 차이 값을 각각 산출하고, 인접한 복수의 픽셀 중, 임의의 픽셀과의 명도 차이 값이 가장 큰 픽셀의 방향으로 흑백 영상을 벡터화하도록 구성될 수 있다.
본 발명은, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델 및 측모 안면 영역 내에서 해부학적 랜드마크를 예측하도록 구성된 랜드마크 예측 모델을 이용한 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스를 제공함으로써, 피검자에 대한 치아 교정 분석을 위한 정보를 제공할 수 있는 효과가 있다.
보다 구체적으로, 본 발명은 치아 교정 분석을 위한 계측 지점인, 해부학적 랜드마크를 예측하여 제공함으로써 피검자에 대한 정확한 교정 치료 전 치료 계획 수립이 가능할 수 있다. 이에, 본 발명은 개인의 상태에 맞춘 정확하고 효과적인 교정 방법을 제공하는 것에 기여할 수 있다.
예를 들어, 해부학적 랜드마크를 제공에 따라 의료인은 보다 정확하고 용이하게 악안면 골격의 크기를 계측하고, 악안면 골격의 성장 방향을 측정하며 치열의 돌출 정도를 분석할 수 있다.
또한, 본 발명은, 의료인의 숙련도에 관계없이 수신된 측모 두부 의료 영상 내에서 해부학적 랜드마크의 계측 지점을 높은 정확도로 예측하여 제공할 수 있는 효과가 있다.
본 발명은, 측모 두부 의료 영상에 대하여 측모 안면 영역을 보다 정확하게 예측하도록 학습용 측모 두부 의료 영상을 가공하여 예측 모델의 학습에 이용함에 따라, 정확도 높은 예측 정보를 제공할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측용 디바이스를 이용한 치아 교정 분석 시스템을 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법의 절차를 도시한 것이다.
도 2b는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법에 의한 측모 두부 의료 영상에 대한 랜드마크 예측의 절차를 예시적으로 도시한 것이다.
도 3a 내지 3c는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에서 이용되는, 측모 안면 영역 예측 모델의 학습용 측모 두부 의료 영상 데이터의 생성 절차를 도시한 것이다.
도 4a 내지 4d는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에서 이용되는, 랜드마크 예측 모델의 학습용 측모 두부 의료 영상 데이터의 생성 절차를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 해부학적 랜드마크 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에 의해 예측된 랜드마크를 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법의 절차를 도시한 것이다.
도 2b는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법에 의한 측모 두부 의료 영상에 대한 랜드마크 예측의 절차를 예시적으로 도시한 것이다.
도 3a 내지 3c는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에서 이용되는, 측모 안면 영역 예측 모델의 학습용 측모 두부 의료 영상 데이터의 생성 절차를 도시한 것이다.
도 4a 내지 4d는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에서 이용되는, 랜드마크 예측 모델의 학습용 측모 두부 의료 영상 데이터의 생성 절차를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 해부학적 랜드마크 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에 의해 예측된 랜드마크를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "측모 두부 의료 영상"은 의료 영상 진단 장치로부터 수신한 피검자의 옆모습을 포함하는 모든 영상을 의미할 수 있다. 바람직하게, 본 원에 개시된 측모 두부 의료 영상은, 측모 두부 규격 방사선 영상일 수 있으나, 이에 제한되는 것은 아니다. 한편, 측모 두부 의료 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 측모 두부 의료 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법에 따라 복수개의 측모 두부 의료 영상 각각에 대한 랜드마크들이 예측될 수 있다. 그 결과, 본 발명은 영상 진단 장치로부터의 측모 두부 의료 영상의 수신과 동시에 해부학적 랜드마크의 예측을 수행함으로써, 실시간으로 예측된 정보를 제공할 수도 있다.
한편, 본 명세서에서 사용되는 용어, "해부학적 랜드마크"는 치아 교정을 위한 계측 지점으로 해부학적으로 미리 결정된 랜드마크를 의미할 수 있다. 이때, 해부학적 랜드마크는, 측모 두부 계측 방사선 랜드마크 (Cephalometric Landmark) 일 수 있으나, 이에 제한되는 것은 아니다.
한편, 치아 교정 치료에 대한 정확한 치료 계획 수립에 있어서, 해부학적 랜드마크를 찾는 것은 매우 중요할 수 있다. 이때, 의료인의 숙련도에 따라 결정되는 해부학적 랜드마크의 위치가 달라질 수 있어 치료 계획 수립의 정확도가 떨어지는 문제를 수반할 수 있다.
이러한 문제를 해결하기 위해, 측모 두부 의료 영상 내에서 해부학적 랜드마크를 예측하도록 학습된 예측 모델이 이용될 수 있다.
본 명세서에서 사용되는 용어, "랜드마크 예측 모델"은 측모 두부 의료 영상에 대하여 계측을 위한 랜드마크 지점을 예측하도록 구성된 모델일 수 있다. 예를 들어, 랜드마크 예측 모델은, 그래디언트 부스팅 알고리즘에 기초하여 수신한 측모 두부 의료 영상에 내에서 랜드마크를 예측하도록 학습된 모델일 수 있다. 보다 구체적으로, 랜드마크 예측 모델은 학습용 측모 두부 의료 영상 내에서 복수의 랜드마크의 좌표에 의해 형성된 형태를 기초로 학습용 측모 두부 의료 영상 내에서 복수의 랜드마크의 좌표를 예측하는 단계를 통해 학습된 모델일 수 있다.
이때, 교정을 위한 측모 두부 계측 방사선 랜드마크 (Cephalometric Landmark) 로 미리 결정된 A 지점 (A-point), B 지점 (B-point), ANS (Anterior nasal spine), AN (Antegonial notch), 아르티큐라레 (Articulare), 배이지온 (Basion), C (Cervical point), 콘딜리온 (Condylion), 콜루멜라 (Columella), CL (Corpus Left), 코배 (Dorsum of Nose), 글라벨라 (Glabella), 그나티온 (Gnathion), 고니온 (Gonion), 인프라덴탈레 (Infradentale), LICT (Lower incisor crown tip), LIRT (Lower incisor root tip), LMDP (Lower molar distal point), LMMP (Lower molar mesial point), Li (Labrale inferius), Ls (Labrale superius), LE (Lower embrasure), 하순점 (Lower lip), 멘톤 (Menton), 내이지온 (Nasion), 콧등 (Nasal bridge), 오비딸레 (Orbitale), PM 지점, PNS (Posterior nasal spine), 포리온 (Porion), 포고니온 (Pogonion), Pn (Pronasale), Pt (Pterygoid point), R1 지점, R3 지점, RD (Ramus down), 셀라 (Sella), Sd (Supradentale), Soft tissue A point, Soft tissue B point, Gn' (Soft tissue Gnathion), Me' (Soft tissue Menton), N' (Soft tissue Nasion), Pg' (Soft tissue Pogonion), Stmi (Stomion inferius), Stms (Stomion superius), SM 지점 (Submandibular point), Sn (Subnasale), UICT (Upper incisor crown tip), UIRT (Upper incisor root tip), UMDP (Upper molar distal point), UMMP (Upper molar mesial point), UE (Upper embrasure), 상순점 (Upper lip), 멘디뷸러 아웃라인 (Mandibular outline) 1, 멘디뷸러 아웃라인 2, 멘디뷸러 아웃라인 3, 멘디뷸러 아웃라인 4, 멘디뷸러 아웃라인 5, 멘디뷸러 아웃라인 6, 맥실러리 아웃라인 (Maxilla outline) 1, 맥실러리 아웃라인 2, 맥실러리 아웃라인 3, 맥실러리 아웃라인 4, 맥실러리 아웃라인 5, 맥실러리 아웃라인 6, 맥실러리 아웃라인 7, 맥실러리 아웃라인 8, 맥실러리 아웃라인 9, 맥실러리 아웃라인 10, 맥실러리 아웃라인 11, 심피시스 아웃라인 (Symphysis outline) 1, 심피시스 아웃라인 2, 심피시스 아웃라인 3 및 심피시스 아웃라인 4 로 이루어진 그룹 중 선택된 적어도 하나일 수 있으나, 이에 제한되는 것은 아니다.
한편, 랜드마크 예측 모델은, 측모 두부 의료 영상 내에서 계측의 대상이 되는 측모 안면 영역만을 포함하도록 크로핑 (cropping) 한 의료 영상을 기초로, 랜드마크의 위치를 예측하도록 학습된 모델일 수 있다. 예를 들어, 랜드마크 예측 모델은, 측모 안면 영역에 대한 좌표 및 측모 두부 의료 영상을 기초로 측모 안면 영역 내에서 랜드마크에 대한 x 축 및 y 축 좌표를 예측하도록 학습된 모델일 수 있다. 이러한 학습 방법에 의해, 랜드마크 예측 모델은, 전체 측모 두부 의료 영상 내에서 랜드마크를 예측하도록 구성되었을 때 보다, 높은 정확도로 랜드마크를 예측할 수 있다.
본 명세서에서 사용되는 용어, "측모 안면 영역 예측 모델"은 측모 두부 의료 영상에 대하여 치아 교정을 위해 계측하고자 하는 대상 영역인, 측모 안면 부위를 포함하는 측모 안면 영역을 예측하도록 구성된 모델일 수 있다. 예를 들어, 측모 안면 영역 예측 모델은, 서포트 벡터 머신 알고리즘에 기초하여 상기 측모 두부 의료 영상 내에서 상기 측모 안면 영역 예측하도록 학습된 모델일 수 있다. 보다 구체적으로, 측모 안면 영역 예측 모델은, 측모 안면 영역의 좌표가 미리 결정된 학습용 측모 두부 의료 영상을 수신하고, 측모 안면 영역의 좌표 및 학습용 측모 두부 의료 영상이 갖는 패턴을 기초로 학습용 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 학습된 모델일 수 있다.
이때, "측모 안면 영역"은 다른 영역, 예를 들어 배경 영역과 상이한 픽셀 값, 질감 (texture) 을 가질 수 있다. 이에, 측모 안면 영역 예측 모델은, 픽셀 값 또는 질감을 기초로 측모 안면 영역을 예측할 수도 있다.
한편, 측모 두부 의료 영상은, 표본 피검자에 대한 표본 측모 두부 의료 영상을 HOG (Histogram of Oriented Gradient) 변환하고, 표본 측모 두부 의료 영상 내의 측모 안면 영역의 좌표 및 표본 측모 두부 의료 영상의 경로를 기초로 HOG 변환된 표본 측모 두부 의료 영상에 측모 안면 영역을 표시하는 단계를 통해 획득된 영상일 수 있다. 그러나, 학습용 측모 두부 의료 영상은 이에 제한되는 것이 아니다.
전술한 바와 같이 본 발명의 다양한 실시예에서 이용되는 예측 모델들은, 해부학적 랜드마크의 예측에 있어서 단일로 또는 조합으로 이용될 수 있다.
이하에서는 도 1a 및 1b를 참조하여, 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측용 디바이스를 이용한 치아 교정 분석 시스템 및 해부학적 랜드마크의 예측용 디바이스를 설명한다.
도 1a는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측용 디바이스를 이용한 치아 교정 분석 시스템을 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측용 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1a를 참조하면, 측모 두부 계측 방사선 촬영 장치 (300) 에 의해 피검자에 대한 측모 두부 의료 영상이 획득될 수 있다. 이때, 획득된 측모 두부 의료 영상은, 측모 두부 규격 방사선 영상일 수 있다. 피검자에 대한 옆모습이 촬상된 측모 두부 의료 영상은, 본 발명의 일 실시예에 따른 해부학적 랜드마크 예측용 디바이스 (100) 에 수신된다.
해부학적 랜드마크 예측용 디바이스 (100) 는, 수신된 측모 두부 의료 영상을 기초로 측모 안면 영역을 예측하고, 예측된 측모 안면 영역 내에서 랜드마크를 예측한다.
보다 구체적으로, 도 1b를 참조하면, 해부학적 랜드마크의 예측용 디바이스 (100) 는 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함한다.
구체적으로 수신부 (110) 는 측모 두부 계측 방사선 촬영 장치 (300) 로부터 피검자에 대한 측모 두부 의료 영상을 수신하도록 구성될 수 있다. 전술한 바와 같이, 수신부 (110) 에 의해 획득된 측모 두부 의료 영상은 측모 두부 규격 방사선 영상 수 있으나, 이에 제한되는 것은 아니다. 한편, 수신부 (110) 는 획득된 측모 두부 의료 영상을 후술할 프로세서 (150) 에 송신하도록 더 구성될 수 있다. 나아가, 수신부 (110) 는 외부로부터 측모 두부 의료 영상을 수신할 수도 있다. 이때, 수신부 (110) 를 통해 획득된 측모 두부 의료 영상은 측모 안면 영역을 포함할 수 있다.
입력부 (120) 는 해부학적 랜드마크의 예측용 디바이스 (100) 를 설정하고, 전술한 수신부 (110) 의 동작을 지시할 수 있다. 한편, 입력부 (120) 는 키보드, 마우스, 터치 스크린 패널일 수 있으나, 이이 제한되는 것은 아니다.
한편, 출력부 (130) 는 수신부 (110) 로부터 획득된 측모 두부 의료 영상을 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 측모 두부 의료 영상 내에서 결정된 측모 안면 영역, 또는 랜드마크의 위치 정보를 표시하도록 구성될 수 있다. 그러나, 이에 제한되지 않고 출력부 (130) 는 해부학적 랜드마크의 예측을 위해 프로세서 (150) 에 의해 결정된 보다 다양한 정보들을 표시하도록 구성될 수 있다.
저장부 (140) 는 수신부 (110) 를 통해 획득한 피검자에 대한 측모 두부 의료 영상을 저장하고, 입력부 (120) 를 통해 설정된 해부학적 랜드마크의 예측용 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술할 프로세서 (150) 에 의해 예측된 결과들을 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부 (140) 는, 해부학적 랜드마크의 예측을 위해 프로세서 (150) 에 의해 결정된 보다 다양한 정보들을 저장할 수 있다.
한편, 프로세서 (150) 는 해부학적 랜드마크의 예측용 디바이스 (100) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 해부학적 랜드마크의 예측을 위해 프로세서 (150) 는 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하고, 예측된 안면 영역 내에서 해부학적 랜드마크를 예측하도록 구성될 수 있다. 예를 들어, 프로세서 (150) 는 수신부 (110) 로부터 획득한 피검자에 대한 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 학습된 예측 모델과, 측모 안면 영역 내에서 해부학적 랜드마크를 예측하도록 학습된 예측 모델을 이용하도록 구성될 수 있다. 이때, 측모 안면 영역을 예측하도록 학습된 모델은 서포트 벡터 머신 알고리즘에 기초할 수 있고, 랜드마크를 예측하도록 학습된 모델은 그래디언트 부스팅 알고리즘에 기초할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 다양한 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델들은 DNN (Deep Neural Network), CNN (Convolutional Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector), YOLO (You Only Look Once) 모델 또는 U-net을 기반으로 하여 의료 영상 내에서 측모 안면 영역과 랜드마크를 예측하도록 학습된 모델일 수도 있다.
한편, 본 발명의 다양한 실시예에 따르면, 해부학적 랜드마크의 예측용 디바이스는 프로세서 (150) 에 의해 예측된 랜드마크를 기초로 피검자에 대한 악안면 골격의 크기, 악안면 골격의 성장방향 및 치열의 도출 정도 중 선택된 적어도 하나를 측정하도록 구성된, 계측부를 더 포함할 수 있다.
나아가, 본 발명의 다양한 실시예에 따르면, 해부학적 랜드마크의 예측용 디바이스는, 수신부 (110) 에 의해 수신한 측모 두부 의료 영상이 RGB 컬러 영상일 경우, 측모 두부 의료 영상을 흑백 영상으로 전환하고, 흑백 영상을 벡터화하도록 구성된, 데이터 전처리부를 더 포함할 수 있다.
이하에서는, 도 2a 내지 도 2b를 참조하여, 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법을 구체적으로 설명한다. 도 2a는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법의 절차를 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법에 의한 측모 두부 의료 영상에 대한 해부학적 랜드마크 예측의 절차를 예시적으로 도시한 것이다.
도 2a를 참조하면, 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 절차는 다음과 같다. 먼저, 피검자에 대한 측모 두부 의료 영상을 수신한다 (S210). 그 다음, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 측모 안면 영역을 예측한다 (S220). 그 다음, 랜드마크를 예측하도록 구성된 랜드마크 예측 모델을 이용하여, 해부학적 계측지점인 랜드마크를 예측한다 (S230). 마지막으로, 예측된 결과를 제공한다 (S240).
예를 들어, 도 2b를 참조하면, 측모 두부 의료 영상을 수신하는 단계 (S210) 피검자에 대한 측모 두부 의료 영상 (212) 를 수신할 수 있다. 이때, 측모 두부 의료 영상 (212) 은 측모 두부 규격 방사선 영상일 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따르면, 측모 두부 의료 영상을 수신하는 단계 (S210) 에서는 측모 두부 의료 영상 (212) 에 대한 빠른 분석이 가능하도록 일정한 픽셀을 갖도록 전처리가 수행된 측모 두부 의료 영상 (212) 를 더 수신할 수 있다. 그렇지 않은 경우, 측모 두부 의료 영상을 수신하는 단계 (S210) 이후에, 수신된 측모 두부 의료 영상 (212) 에 대하여 일정한 픽셀 단위를 갖도록 크기를 조절하거나 대비, 해상도, 명암, 또는 좌우 대칭을 조절하는, 측모 두부 의료 영상 (212) 에 대한 전처리 단계가 더 수행될 수 있다. 예를 들어, 측모 두부 의료 영상 (212) 이 RGB 컬러 영상일 경우, 전처리 단계에서 측모 두부 의료 영상 (212) 은 흑백 영상으로 전환되고, 벡터화가 수행될 수 있다. 보다 구체적으로, 흑백 영상으로 전환된 측모 두부 의료 영상 (212) 은 복수의 픽셀에 대하여 명도 차이 값이 가장 큰 픽셀의 방향으로 벡터화될 수 있다.
전처리 단계의 결과로, 측모 두부 의료 영상 (212) 은 후술할 예측 모델에서 요구되는 해상도 또는 크기를 갖게 되고, 원본 측모 두부 의료 영상보다 해상도 또는 크기가 작아질 수 있어, 예측 모델에서의 처리 속도가 향상될 수 있다.
다음으로, 도 2b를 참조하면, 측모 안면 영역을 예측하는 단계 (S220) 에서는, 측모 안면 영역 예측 모델 (222) 에, 측모 두부 의료 영상을 수신하는 단계 (S210) 에서 획득된 측모 두부 의료 영상 (212) 이 입력된다. 이때, 측모 안면 영역 예측 모델 (222) 은 측모 두부 의료 영상 (212) 내의 측모 안면 영역에 대한 좌표와 측모 두부 의료 영상 (212) 이 갖는 패턴을 기초로 측모 안면 영역을 예측할 수 있으나, 이에 제한되는 것은 아니다.
한편, 측모 안면 영역을 예측하는 단계 (S220) 의 결과로 측모 안면 영역이 예측된 측모 두부 의료 영상 (224) 이 획득되는데, 측모 안면 영역이 예측된 측모 두부 의료 영상 (224) 은 측모 안면 영역을 포함하도록 크로핑될 수 있다.
다음으로, 도 2b를 참조하면, 크로핑된 측모 안면 영역 (226) 은 랜드마크를 예측하는 단계 (S230) 에서 랜드마크 예측 모델 (232) 에 입력된다. 이때, 랜드마크 예측 모델 (232) 은 크로핑된 측모 안면 영역 (226) 을 기초로 랜드마크의 위치, 보다 구체적으로 x 축, y 축 좌표를 예측할 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따르면, 랜드마크를 예측하는 단계 (S230) 에서는, 랜드마크 예측 모델 (232) 에 의해 예측된 랜드마크, x 축 및 y 축 좌표를 포함하는 xml, json 또는 csv 파일이 생성될 수 있다.
랜드마크를 예측하는 단계 (S230) 의 결과로, 랜드마크가 예측된 측모 두부 의료 영상 (234) 이 획득될 수 있다. 이때, 랜드마크가 예측된 측모 두부 의료 영상 (234) 은 측모 두부 의료 영상 (212) 및 전술한 랜드마크를 예측하는 단계 (S230) 에서 생성된 xml, json 또는 csv 파일을 기초로 측모 두부 의료 영상 (212) 내에 랜드마크의 위치가 표시됨으로써 생성될 수 있으나, 이에 제한되는 것은 아니다.
다시 도 2b를 참조하면, 예측 결과를 제공하는 단계 (S240) 에서는, 랜드마크를 예측하는 단계 (S230) 에서 획득된 랜드마크가 예측된 측모 두부 의료 영상 (234) 이 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법에서는, 예측된 랜드마크의 계측 지점을 기초로, 피검자에 대한 악안면 골격의 크기, 악안면 골격의 성장 방향 및 치열의 돌출 정도 중 선택된 적어도 하나를 측정하는 단계가 더 수행될 수 있다.
이상의 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법에 의해, 피검자로부터 획득된 측모 두부 의료 영상 내에서 해부학적 랜드마크가 높은 정확도로 예측될 수 있고, 치아 교정을 위한 정확한 계측이 가능할 수 있다. 이에, 본 발명은 측모 두부 의료 영상에 기초한 치아 교정 분석 시스템에 적용될 수 있다.
이하에서는, 도 3a 내지 도 3c를 참조하여, 본 발명의 다양한 실시예에서 이용되는 측모 안면 영역 예측 모델의 학습 방법을 설명한다. 도 3a 내지 3c는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에서 이용되는, 측모 안면 영역 예측 모델의 학습용 측모 두부 의료 영상 데이터의 생성 절차를 도시한 것이다.
도 3a를 참조하면, 먼저, 측모 안면 영역 예측 모델의 학습을 위해, 복수개의 측모 두부 규격 방사선 영상이 준비된다. 그 다음, 복수개의 측모 두부 규격 방사선 영상 내에서, 계측 지점의 랜드마크를 포함하는 측모 안면 부위는 사각형의 영역으로 좌표가 지정된다. 그 다음, 복수개의 측모 두부 규격 방사선 영상 각각이 저장된 위치 (영상 경로) 와 각각의 영상 내에 형성된 측모 안면 영역 (박스) 에 대한 좌표를 포함하는 xml 파일이 준비된다. 보다 구체적으로, xml 파일은 복수개의 측모 두부 규격 방사선 영상 파일 각각에 대한 이름, 복수개의 측모 두부 규격 방사선 영상 내에서 측모 안면 영역에 대하여 형성된 박스의 위치값 (top, left, width 및 height) 을 포함할 수 있다.
한편, 도 3b의 (a) 및 (b) 를 참조하면, 준비된 복수개의 측모 두부 규격 방사선 영상들은, HOG (Histogram of Oriented Gradient) 변환과 같은 전처리가 수행될 수 있다. 전처리 단계에서 측모 두부 규격 방사선 영상들은, 영상이 갖는 복수개의 픽셀에서 인접한 픽셀들의 명암 차이값이 산출되어 변환됨에 따라 측모 안면 부위의 대상의 경계가 명확해 질 수 있다. 보다 구체적으로, 전처리 단계에서는, 측모 두부 규격 방사선 영상들은 흑백 영상으로 전환되고, 각 영상들이 구성하는 픽셀 중 특정 픽셀에 대하여, 인접한 8개의 픽셀과의 명도값의 차이가 산출되고, 명도값 차이가 가장 큰 방향 (예를 들어, 도 3b의 (a) 에서 2번에서 8번 방향) 으로 각 영상들이 벡터화될 수 있다. 그 결과, 경계가 뚜렷해진 측모 두부 규격 방사선 영상을 획득할 수 있다.
도 3c를 참조하면, 도 3b에서 전술한 HOG 변환된 측모 두부 규격 방사선 영상에, 도 3a에서 전술한, 영상 경로 및 측모 안면 영역에 대한 좌표를 포함하는 xml 파일에 기초하여 측모 안면 영역에 대한 위치가 표시된다. 그 결과, 측모 안면 영역에 대한 위치 정보가 담긴, 측모 안면 영역 예측 모델에 대한 학습용 측모 두부 의료 영상이 생성될 수 있다.
한편, 측모 안면 영역 예측 모델은, 학습용 측모 두부 의료 영상에 대하여 패턴을 인식하여 범주, 즉 측모 안면 영역을 분류하도록 구성된 SVM 알고리즘에 기초할 수 있다.
예를 들어, 측모 안면 영역 예측 모델에 의한 측모 안면 영역의 예측은 하기 [수학식 1]의 SVM 기계 학습 알고리즘에 기초하여 수행될 수 있다.
[수학식1]
[수학식 1]
이러한 알고리즘은, [수학식 1]에서 
가 최소값을 갖게 하도록 구성될 수 있다.
이때, 기계 학습 중에 잘못 분류하는 것을 허용하는 정도의 'Cost'를 결정하는 파라미터인 'C-vlaue' (Ｃ) 는 1일 수 있다. 즉, [수학식 1] 에서 코스트 함수를 의미하는 
에서 'C-value'는 1로 설정될 수 있다. 나아가, [수학식 1]에서 
의 코스트 함수에서, 'Cost'를 부과하지 않는 폭을 의미하는 파라미터인 'epsion' (ξ) 값은 0.01일 수 있다.
그러나 학습을 위해 입력되는 상기 파라미터들의 학습 인자 값은 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에서 이용되는, 측모 안면 영역 예측 모델은, 이상의 알고리즘을 채택함에 따라 측모 두부 의료 영상 내에서 측모 안면 영역을 높은 정확도로 예측할 수 있다. 그러나, 측모 안면 영역 예측 모델은, 전술한 것에 제한되지 않고 보다 다양한 방법으로 학습될 수 있다.
이하에서는, 도 4a 내지 도 4d를 참조하여, 본 발명의 다양한 실시예에서 이용되는 랜드마크 예측 모델의 학습 방법을 설명한다. 도 4a 내지 4d는 본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에서 이용되는, 랜드마크 예측 모델의 학습용 측모 두부 의료 영상 데이터의 생성 절차를 도시한 것이다.
도 4a를 참조하면, 랜드마크 예측 모델의 학습을 위해 미리 설정된 랜드마크는, 치아 교정을 위한 계측 지점으로 해부학적으로 미리 결정된, A 지점 (A-point), B 지점 (B-point), ANS (Anterior nasal spine), AN (Antegonial notch), 아르티큐라레 (Articulare), 배이지온 (Basion), C (Cervical point), 콘딜리온 (Condylion), 콜루멜라 (Columella), CL (Corpus Left), 코배 (Dorsum of Nose), 글라벨라 (Glabella), 그나티온 (Gnathion), 고니온 (Gonion), 인프라덴탈레 (Infradentale), LICT (Lower incisor crown tip), LIRT (Lower incisor root tip), LMDP (Lower molar distal point), LMMP (Lower molar mesial point), Li (Labrale inferius), Ls (Labrale superius), LE (Lower embrasure), 하순점 (Lower lip), 멘톤 (Menton), 내이지온 (Nasion), 콧등 (Nasal bridge), 오비딸레 (Orbitale), PM 지점, PNS (Posterior nasal spine), 포리온 (Porion), 포고니온 (Pogonion), Pn (Pronasale), Pt (Pterygoid point), R1 지점, R3 지점, RD (Ramus down), 셀라 (Sella), Sd (Supradentale), Soft tissue A point, Soft tissue B point, Gn' (Soft tissue Gnathion), Me' (Soft tissue Menton), N' (Soft tissue Nasion), Pg' (Soft tissue Pogonion), Stmi (Stomion inferius), Stms (Stomion superius), SM 지점 (Submandibular point), Sn (Subnasale), UICT (Upper incisor crown tip), UIRT (Upper incisor root tip), UMDP (Upper molar distal point), UMMP (Upper molar mesial point), UE (Upper embrasure), 상순점 (Upper lip), 멘디뷸러 아웃라인 (Mandibular outline) 1, 멘디뷸러 아웃라인 2, 멘디뷸러 아웃라인 3, 멘디뷸러 아웃라인 4, 멘디뷸러 아웃라인 5, 멘디뷸러 아웃라인 6, 맥실러리 아웃라인 (Maxilla outline) 1, 맥실러리 아웃라인 2, 맥실러리 아웃라인 3, 맥실러리 아웃라인 4, 맥실러리 아웃라인 5, 맥실러리 아웃라인 6, 맥실러리 아웃라인 7, 맥실러리 아웃라인 8, 맥실러리 아웃라인 9, 맥실러리 아웃라인 10, 맥실러리 아웃라인 11, 심피시스 아웃라인 (Symphysis outline) 1, 심피시스 아웃라인 2, 심피시스 아웃라인 3 및 심피시스 아웃라인 4의 75 개의 측두부 계측 방사선 랜드마크를 포함할 수 있다. 그러나, 해부학적 랜드마크는 이에 제한되는 것이 아니며, 피검자의 안면 해부학적 구조, 획득되는 측모 두부 의료 영상의 종류 등에 따라 용이하게 변경될 수 있다.
도 4b를 참조하면, 먼저, 랜드마크 예측 모델의 학습을 위해, 복수개의 측모 두부 규격 방사선 영상에 대하여 측모 안면 영역이 크로핑된 영상이 준비된다. 그 다음, 크로핑된 복수개의 측모 안면 영상 내에서, 복수개의 랜드마크 각각에 대한 좌표가 지정된다. 그 다음, 복수개의 측모 안면 영상 각각이 저장된 위치 (영상 경로) 와 각각의 영상 내에 존재하는 복수개의 랜드마크에 대한 좌표를 포함하는 xml 파일이 준비된다. 보다 구체적으로, 형성된 xml 파일은 복수개의 측모 안면 영상 파일 각각에 대한 이름, 복수개의 측모 안면 영상 즉 측모 안면 영역에 대하여 형성된 박스의 위치값 (top, left, width 및 height) 을 포함하고, 복수개의 랜드마크 각각에 대한 이름 및 x 축 및 y 축 좌표를 포함할 수 있다.
도 4c를 참조하면, 도 4b에서 전술한 복수개의 측모 안면 영상에, 영상 경로 및 복수개의 랜드마크 각각에 대한 x 축 및 y 축 좌표를 포함하는 xml 파일을 기초로, 복수개의 랜드마크 각각에 대한 위치가 표시된다. 그 결과, 복수개의 랜드마크에 대한 위치 정보가 담긴, 랜드마크 예측 모델에 대한 학습용 측모 두부 의료 영상이 생성될 수 있다.
한편, 랜드마크 예측 모델의 학습에 이용되는 학습용 측모 두부 의료 영상은, 이에 제한되는 것이 아니다.
예를 들어, 도 4d의 (a)를 참조하면, 학습용 측모 두부 의료 영상은 랜드마크를 포함하는 측모 안면 영역을 포함하는 영상의 크기가 임의화 된 영상일 수 있다. 보다 구체적으로, 최좌측점, 최우측점, 최상방점, 최하방점에 의해 만들어지는 영역 (노란색 박스) 과 원본 영상의 최외곽 영역 (빨간색 박스) 사이에 랜덤한 박스 영역 (연두색 박스) 를 랜덤 함수로 설정하여 학습용 영상으로 이용할 수 있다.
도 4d의 (b)를 참조하면, 랜드마크 예측 모델에 대한 학습용 측모 두부 의료 영상은 동일한 측모 두부 의료 영상에 대하여 임의의 각도, 예를 들어 10 도 이내로 회전될 수 있다. 그 결과, 각도 다양화에 따라 다수의 학습용 측모 두부 의료 영상이 획득될 수 있다. 보다 구체적으로, 각도 다양화에 따라 xml 파일의 좌표값 또한 회전되어 랜드마크에 대하여 다양한 위치 정보를 포함하는 다수의 학습용 측모 두부 의료 영상이 획득될 수 있다. 이에, 랜드마크 예측 모델은 학습량 증가에 따라 예측 수준이 향상될 수 있다.
도 4d의 (c)를 참조하면, 랜드마크 예측 모델에 대한 학습용 측모 두부 의료 영상은, 동일한 측모 두부 의료 영상에 대하여 명도, 대조도 랜덤화될 수 있다. 이에, 명도, 대조도 랜덤화에 따라 다수의 학습용 측모 두부 의료 영상이 획득될 수 있다. 보다 구체적으로, 학습용 측모 두부 의료 영상에 대하여 각 랜드마크에 대한 좌표값이 고정한 상태에서, 이미지의 명도값, 대조도, 감마값 임의값 (랜덤 함수 이용) 이 조절된다. 이에, 랜드마크 예측 모델은 임의 가로세로 비율에서 랜드마크를 예측하도록 훈련될 수 있다. 그 결과, 랜드마크 예측 모델은 성능이 향상되어 다양한 측모 두부 의료 영상에 대하여 높은 정확도로 랜드마크를 예측할 수 있다.
한편, 랜드마크 예측 모델은, 복수의 랜드마크 들이 형성하는 형태를 기초로 랜드마크의 위치를 예측하도록 구성된 그래디언트 부스팅 알고리즘에 기초할 수 있다.
예를 들어, 랜드마크 예측 모델에 랜드마크의 위치 예측은 하기 [수학식 2]의 그래디언트 부스팅의 기계 학습 알고리즘에 기초하여 수행될 수 있다.
[수학식 2]
여기서, S는 복수개의 랜드마크 각각이 갖는 위치값에 의해 형성된 형태 (Shape) 를 의미하고, I는 학습용 측모 두부 의료 영상 (Image) 을 의미하며, 
는 복수회의 예측 단계 중 특정한 예측 단계에서 예측된 형태를 의미한다. 이러한 알고리즘을 통해 특정한 예측 단계 이전에 형성된 예측 형태에서 업데이트된 벡터를 더함으로써 다음 단계의 예측 형태를 얻게 되면서, 최종적으로 복수개의 랜드마크들이 이루는 형상이 예측될 수 있다.
이때, 기계 학습 중에 연속적인 예측을 하는 과정을 의미하는 'Cascade'의 횟수를 의미하는 'Cascade depth'는 10일 수 있다. 즉, [수학식 2]에서 t는 10일 수 있다. 나아가, 오버샘플링 양 (oversampling amount) 은 500으로 설정될 수 있다.
한편, 그래디언트 부스팅 알고리즘은 연쇄적으로 연결된 k 개의 약한 학습기 (Weak learner) 로 구성된 알고리즘으로서, 하기 [수학식 3]으로 표현될 수 있다.
[수학식 3]
여기서, 
는 각각의 약한 학습기를 의미할 수 있다. 이때, 약한 학습기에서 학습률을 의미하는 'v-value' (v) 은 0.1일 수 있고, 약한 학습기의 개수를 의미하는 'Number of trees per casade level' (k) 은 500일 수 있다.
한편, 
의 약한 학습기는, 중요도에 따라 비교 특성의 우선 순위를 정하고, 기준에 따라 분기해 나가는 과정을 반복하여 낮은 특징까지 내려가는 결정 트리의 회귀 트리 (regression tree) 일 수 있다.
이때, 랜드마크의 위치 예측에 있어서, 회귀트리의 각 노드에서 분기의 기준이 되는 비교 특성은 인접한 투 픽셀 사이의 명도 차이인데, 회귀트리의 최상부 노드에서 최하위 노드까지의 가장 긴 노드의 개수를 의미하는 'Tree depth'는 5로 설정될 수 있다.
그러나 학습을 위해 입력되는 상기 파라미터들의 학습 인자 값은 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따른 해부학적 랜드마크의 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에서 이용되는, 랜드마크 예측 모델은, 이상의 알고리즘을 채택함에 따라 측모 두부 의료 영상 내에서 랜드마크들을 높은 정확도로 예측할 수 있다. 그러나, 랜드마크 예측 모델은, 전술한 것에 제한되지 않고 보다 다양한 방법으로 학습될 수 있다.
실시예 1: 측모 안면 영역 예측 모델 및 랜드마크 예측 모델을 이용한 랜드마크 위치의 예측
이하에서는, 도 5를 참조하여 측모 안면 영역 예측 모델 및 랜드마크 예측 모델을 이용한 랜드마크 위치의 예측결과를 설명한다. 도 5는 본 발명의 일 실시예에 따른 해부학적 랜드마크 예측 방법 및 이를 이용한 해부학적 랜드마크의 예측용 디바이스에 의해 예측된 랜드마크를 도시한 것이다.
도 5를 참조하면, 수신한 피검자에 대한 측모 두부 의료 영상에 대하여 측모 안면 영역 예측 모델이 측모 안면 영역을 예측하고, 랜드마크 예측 모델이 예측된 측모 안면 영역 내에서 복수개의 랜드마크를 예측한다. 결과적으로 해부학적 랜드마크가 예측된 의료 영상이 제공됨에 따라, 의료인은 피검자에 대한 치아 교정 분석을 위한 정보를 획득할 수 있다. 그러나, 본 발명의 효과는 이에 제한되지 않는다.
예를 들어, 본 발명은 치아 교정 분석을 위한 계측 지점인, 해부학적 랜드마크를 예측하여 제공함으로써 피검자에 대한 정확한 교정 치료 전 치료 계획 수립이 가능할 수 있다. 이에, 본 발명은 개인의 상태에 맞춘 정확하고 효과적인 교정 방법을 제공하는 것에 기여할 수 있다. 예를 들어, 해부학적 랜드마크를 제공에 따라 의료인은, 보다 정확하고 용이하게 악안면 골격의 크기를 계측하고, 악안면 골격의 성장 방향을 측정하며 치열의 돌출 정도를 분석할 수 있다.
또한, 본 발명은, 의료인의 숙련도에 관계없이 수신된 측모 두부 의료 영상 내에서 해부학적 랜드마크의 계측 지점을 높은 정확도로 예측하여 제공할 수 있는 효과가 있다.
이에, 본 발명은 측모 두부 의료 영상에 기초한 치아 교정 분석 시스템에 적용될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 해부학적 랜드마크의 예측용 디바이스
110: 수신부
120: 입력부
130: 출력부
140: 저장부
150: 프로세서
212: 측모 두부 의료 영상
222: 측모 안면 영역 예측 모델
224: 측모 안면 영역이 예측된 측모 두부 의료 영상
226: 크로핑된 측모 안면 영역
232: 랜드마크 예측 모델
234: 랜드마크가 예측된 측모 두부 의료 영상
300: 측모 두부 계측 방사선 촬영 장치
110: 수신부
120: 입력부
130: 출력부
140: 저장부
150: 프로세서
212: 측모 두부 의료 영상
222: 측모 안면 영역 예측 모델
224: 측모 안면 영역이 예측된 측모 두부 의료 영상
226: 크로핑된 측모 안면 영역
232: 랜드마크 예측 모델
234: 랜드마크가 예측된 측모 두부 의료 영상
300: 측모 두부 계측 방사선 촬영 장치
Claims (18)
- 프로세서를 포함하는 해부학적 랜드마크 (anatomical landmark) 의 예측용 디바이스에 의해 수행되는 해부학적 랜드마크의 예측 방법에 관한 것으로,
피검자에 대한 측모 두부 의료 영상을 수신하는 단계;
상기 측모 두부 의료 영상 내의 해부학적 랜드마크 (anatomical landmark)
를 예측하도록 구성된 랜드마크 예측 모델을 이용하여, 상기 측모 두부 의료 영상 내에서 상기 랜드마크를 예측하는 단계, 및
예측된 상기 랜드마크가 표시된 영상을 제공하는 단계를 포함하는, 해부학적 랜드마크의 예측 방법. - 제1항에 있어서,
상기 방법은,
상기 랜드마크를 예측하는 단계 이전에 수행되는,
상기 측모 두부 의료 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 상기 측모 두부 의료 영상 내에서 상기 측모 안면 영역에 대한 좌표를 예측하는 단계를 더 포함하고,
상기 랜드마크를 예측하는 단계는,
상기 랜드마크 예측 모델을 이용하여 측모 안면 영역 내에서 상기 랜드마크를 예측하는 단계를 더 포함하는 해부학적 랜드마크의 예측 방법. - 제2항에 있어서,
상기 랜드마크를 예측하는 단계는,
상기 랜드마크 예측 모델을 이용하여, 예측된 상기 측모 안면 영역에 대한 좌표 및 상기 측모 두부 의료 영상을 기초로 상기 측모 안면 영역 내에서 상기 랜드마크에 대한 x 축 및 y 축 좌표를 예측하는 단계, 및
예측된 상기 랜드마크, 상기 x 축 및 y 축 좌표를 포함하는 xml, json 및 csv 중 적어도 하나의 파일을 생성하는 단계를 포함하고,
상기 제공하는 단계는,
상기 측모 두부 의료 영상 및 상기 xml, json 및 csv 중 적어도 하나의 파일을 기초로 상기 측모 두부 의료 영상 내에서 상기 랜드마크의 위치가 표시된, 영상을 제공하는 단계를 더 포함하는, 해부학적 랜드마크의 예측 방법. - 제2항에 있어서,
상기 랜드마크 예측 모델은,
그래디언트 부스팅 알고리즘 (gradient boosting algorithm) 에 기초하여 상기 측모 두부 의료 영상 내에서 상기 랜드마크를 예측하도록 학습된 모델이고,
상기 측모 안면 영역 예측 모델은,
서포트 벡터 머신 알고리즘 (Support Vector Machine algorithm) 에 기초하
여 상기 측모 두부 의료 영상 내에서 상기 측모 안면 영역 예측하도록 학습된 모델인, 해부학적 랜드마크의 예측 방법. - 제2항에 있어서,
상기 측모 안면 영역 예측 모델은,
측모 안면 영역의 좌표가 미리 결정된 학습용 측모 두부 의료 영상을 수신하는 단계, 및
상기 측모 안면 영역의 좌표 및 상기 학습용 측모 두부 의료 영상이 갖는 패턴을 기초로 상기 학습용 측모 두부 의료 영상 내에서 상기 측모 안면 영역을 예측하는 단계를 통해 학습된 모델인, 해부학적 랜드마크의 예측 방법. - 제5항에 있어서,
상기 학습용 측모 두부 의료 영상은,
표본 피검자에 대한 표본 측모 두부 의료 영상을 HOG (Histogram of
Oriented Gradient) 변환하는 단계, 및
상기 표본 측모 두부 의료 영상 내의 측모 안면 영역의 좌표 및 상기 표본 측모 두부 의료 영상의 경로를 기초로, 상기 HOG 변환된 표본 측모 두부 의료 영상에 상기 측모 안면 영역을 표시하는 단계를 통해 획득된 영상인, 해부학적 랜드마크의 예측 방법. - 제1항에 있어서,
상기 방법은,
예측된 상기 랜드마크를 기초로, 상기 피검자에 대한 악안면 골격의 크기,
상기 악안면 골격의 성장 방향 및 치열의 돌출 정도 중 선택된 적어도 하나를 측정하는 단계를 더 포함하는, 해부학적 랜드마크의 예측 방법. - 제1항에 있어서,
상기 방법은,
수신된 상기 측모 두부 의료 영상이 RGB 컬러 영상일 경우,
상기 측모 두부 의료 영상을 흑백 영상으로 전환하는 단계, 및
상기 흑백 영상을 벡터화하는 단계를 더 포함하는, 해부학적 랜드마크의 예측 방법. - 제8항에 있어서,
상기 벡터화하는 단계는,
상기 흑백 영상이 갖는 복수의 픽셀 중 선택된 하나의 임의의 픽셀과 상기 임의의 픽셀과 인접한 복수의 픽셀에 대한 명도 차이 값을 각각 산출하는 단계, 및
상기 인접한 복수의 픽셀 중, 상기 임의의 픽셀과의 명도 차이 값이 가장 큰 픽셀의 방향으로 상기 흑백 영상을 벡터화하는 단계를 포함하는, 해부학적 랜드마크의 예측 방법. - 제1항에 있어서,
상기 랜드마크는, 교정을 위한 측모 두부 계측 방사선 랜드마크
(Cephalometric Landmark) 로 미리 결정된 A 지점 (A-point), B 지점 (B-point), ANS (Anterior nasal spine), AN (Antegonial notch), 아르티큐라레 (Articulare), 배이지온 (Basion), C (Cervical point), 콘딜리온 (Condylion), 콜루멜라 (Columella), CL (Corpus Left), 코배 (Dorsum of Nose), 글라벨라 (Glabella), 그나티온 (Gnathion), 고니온 (Gonion), 인프라덴탈레 (Infradentale), LICT (Lower incisor crown tip), LIRT (Lower incisor root tip), LMDP (Lower molar distal point), LMMP (Lower molar mesial point), Li (Labrale inferius), Ls (Labrale superius), LE (Lower embrasure), 하순점 (Lower lip), 멘톤 (Menton), 내이지온 (Nasion), 콧등 (Nasal bridge), 오비딸레 (Orbitale), PM 지점, PNS (Posterior nasal spine), 포리온 (Porion), 포고니온 (Pogonion), Pn (Pronasale), Pt (Pterygoid point), R1 지점, R3 지점, RD (Ramus down), 셀라 (Sella), Sd (Supradentale), Soft tissue A point, Soft tissue B point, Gn' (Soft tissue Gnathion), Me' (Soft tissue Menton), N' (Soft tissue Nasion), Pg' (Soft tissue Pogonion), Stmi (Stomion inferius), Stms (Stomion superius), SM 지점 (Submandibular point), Sn (Subnasale), UICT (Upper incisor crown tip), UIRT (Upper incisor root tip), UMDP (Upper molar distal point), UMMP (Upper molar mesial point), UE (Upper embrasure), 상순점 (Upper lip), 멘디뷸러 아웃라인 (Mandibular outline) 1, 멘디뷸러 아웃라인 2, 멘디뷸러 아웃라인 3, 멘디뷸러 아웃라인 4, 멘디뷸러 아웃라인 5, 멘디뷸러 아웃라인 6, 맥실러리 아웃라인 (Maxilla outline) 1, 맥실러리 아웃라인 2, 맥실러리 아웃라인 3, 맥실러리 아웃라인 4, 맥실러리 아웃라인 5, 맥실러리 아웃라인 6, 맥실러리 아웃라인 7, 맥실러리 아웃라인 8, 맥실러리 아웃라인 9, 맥실러리 아웃라인 10, 맥실러리 아웃라인 11, 심피시스 아웃라인 (Symphysis outline) 1, 심피시스 아웃라인 2, 심피시스 아웃라인 3 및 심피시스 아웃라인 4로 이루어진 그룹 중 선택된 적어도 하나인, 해부학적 랜드마크의 예측 방법. - 제1항에 있어서,
상기 랜드마크 예측 모델은,
측모 안면 영역에 대하여 복수의 랜드마크의 좌표가 미리 결정된 학습용 측모 두부 의료 영상을 수신하는 단계, 및
상기 학습용 측모 두부 의료 영상 내에서 상기 복수의 랜드마크의 좌표에 의해 형성된 형태 (shape) 를 기초로 상기 학습용 측모 두부 의료 영상 내에서 상기 복수의 랜드마크의 좌표를 예측하는 단계를 통해 학습된 모델인, 해부학적 랜드마크의 예측 방법. - 피검자에 대한 측모 두부 의료 영상을 수신하도록 구성된 수신부, 및
상기 수신부와 통신하도록 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 측모 두부 의료 영상 내의 랜드마크를 예측하도록 구성된 랜드마크 예측 모델을 이용하여 상기 측모 두부 의료 영상 내에서 상기 랜드마크를 예측하도록 구성된, 해부학적 랜드마크의 예측용 디바이스. - 제12항에 있어서,
상기 프로세서는,
상기 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 상기 측모 두부 의료 영상 내에서 상기 측모 안면 영역에 대한 좌표를 예측하고, 상기 랜드마크 예측 모델을 이용하여 측모 안면 영역 내에서 상기 랜드마크를 예측하도록 더 구성된, 해부학적 랜드마크의 예측용 디바이스. - 제13항에 있어서,
상기 프로세서는,
상기 랜드마크 예측 모델을 이용하여, 예측된 상기 측모 안면 영역에 대한 좌표 및 상기 측모 두부 의료 영상을 기초로 상기 측모 안면 영역 내에서 상기 랜드마크에 대한 x 축 및 y 축 좌표를 예측하고, 예측된 상기 랜드마크, 상기 x 축 및 y 축 좌표를 포함하는 xml, json 및 csv 중 적어도 하나의 파일을 생성하고, 상기 측모 두부 의료 영상 및 상기 xml, json 및 csv 중 적어도 하나의 파일을 기초로 상기 측모 두부 의료 영상 내에서 상기 랜드마크의 위치가 표시된 영상을 제공하도록 더 구성된, 해부학적 랜드마크의 예측용 디바이스. - 예측된 상기 랜드마크를 기초로, 상기 피검자에 대한 악안면 골격의 크기, 상기 악안면 골격의 성장 방향 및 치열의 돌출 정도 중 선택된 적어도 하나를 측정하도록 구성된, 계측부를 더 포함하는, 해부학적 랜드마크의 예측용 디바이스.
- 제12항에 있어서,
상기 디바이스는,
수신된 상기 측모 두부 의료 영상이 RGB 컬러 영상일 경우,
상기 측모 두부 의료 영상을 흑백 영상으로 전환하고, 상기 흑백 영상을 벡터화하도록 구성된, 데이터 전처리부를 더 포함하는, 해부학적 랜드마크의 예측용 디바이스. - 제16항에 있어서,
상기 데이터 전처리부는,
상기 흑백 영상이 갖는 복수의 픽셀 중 선택된 하나의 임의의 픽셀과 상기 임의의 픽셀과 인접한 복수의 픽셀에 대한 명도 차이 값을 각각 산출하고,
상기 인접한 복수의 픽셀 중, 상기 임의의 픽셀과의 명도 차이 값이 가장 큰 픽셀의 방향으로 상기 흑백 영상을 벡터화하도록 구성된, 해부학적 랜드마크의 예측용 디바이스. - 제12항에 있어서,
상기 랜드마크 예측 모델은,
그래디언트 부스팅 알고리즘 (gradient boosting algorithm) 에 기초하여 상기 측모 두부 의료 영상 내에서 상기 랜드마크를 예측하도록 학습된 모델이고,
상기 측모 안면 영역 예측 모델은,
서포트 벡터 머신 알고리즘 (Support Vector Machine algorithm) 에 기초하여 상기 측모 두부 의료 영상 내에서 상기 측모 안면 영역 예측하도록 학습된 모델인, 해부학적 랜드마크의 예측용 디바이스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190019788A KR20200012707A (ko) | 2019-02-20 | 2019-02-20 | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190019788A KR20200012707A (ko) | 2019-02-20 | 2019-02-20 | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180088078A Division KR101952887B1 (ko) | 2018-07-27 | 2018-07-27 | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200012707A true KR20200012707A (ko) | 2020-02-05 |
Family
ID=69515128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190019788A KR20200012707A (ko) | 2019-02-20 | 2019-02-20 | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200012707A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766314A (zh) * | 2020-12-31 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 解剖结构的识别方法、电子设备及存储介质 |
| KR20210118328A (ko) * | 2020-03-20 | 2021-09-30 | 부산대학교 산학협력단 | 3차원 세팔로메트리를 위한 기준점 결정 방법 및 시스템 |
-
2019
- 2019-02-20 KR KR1020190019788A patent/KR20200012707A/ko active Application Filing
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210118328A (ko) * | 2020-03-20 | 2021-09-30 | 부산대학교 산학협력단 | 3차원 세팔로메트리를 위한 기준점 결정 방법 및 시스템 |
| CN112766314A (zh) * | 2020-12-31 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 解剖结构的识别方法、电子设备及存储介质 |
| CN112766314B (zh) * | 2020-12-31 | 2024-05-28 | 上海联影智能医疗科技有限公司 | 解剖结构的识别方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101952887B1 (ko) | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 | |
| US11464467B2 (en) | Automated tooth localization, enumeration, and diagnostic system and method | |
| KR102462185B1 (ko) | 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 | |
| US11443423B2 (en) | System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex | |
| US10339649B2 (en) | Method and system for hybrid mesh segmentation | |
| US11734825B2 (en) | Segmentation device and method of generating learning model | |
| CN114746952A (zh) | 用于从二维草图创建三维牙科修复体的方法、***和计算机可读存储介质 | |
| KR20200109292A (ko) | 치열 교정 응용에서 최적화 방법 | |
| US20170258420A1 (en) | Method for 3-D Cephalometric Analysis | |
| KR20190044067A (ko) | 하이브리드 메시 세분화를 위한 방법 및 시스템 | |
| JP2023014295A (ja) | 頭部計測解析のための方法 | |
| US20220084267A1 (en) | Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports | |
| US20210244372A1 (en) | Method and System for 3D Cephalometric Analysis | |
| JP2019121283A (ja) | 予測モデル生成システム及び予測システム | |
| US20210217170A1 (en) | System and Method for Classifying a Tooth Condition Based on Landmarked Anthropomorphic Measurements. | |
| EP3998037A1 (en) | Implant surgery planning method using automatic placement of implant structure, user interface providing method therefor, and teeth image processing device therefor | |
| CN113065552A (zh) | 自动定位头影测量标志点的方法 | |
| KR20200121608A (ko) | 골 연령 추정 방법 및 장치 | |
| KR20200012707A (ko) | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 | |
| KR102372962B1 (ko) | 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법 | |
| CN115471444A (zh) | 用于使用深度神经网络进行医学图像质量评估的***和方法 | |
| KR20200058316A (ko) | 인공지능 기술을 활용한 치과용 두부 계측점 자동 추적 방법 및 그를 이용한 서비스 시스템 | |
| US20220378548A1 (en) | Method for generating a dental image | |
| US11488305B2 (en) | Segmentation device | |
| KR102672239B1 (ko) | 랜드마크를 이용한 교정 진단 이미지 표시 방법, 디바이스 및 그 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent |