KR20210055847A - 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법 - Google Patents

영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법 Download PDF

Info

Publication number
KR20210055847A
KR20210055847A KR1020190141886A KR20190141886A KR20210055847A KR 20210055847 A KR20210055847 A KR 20210055847A KR 1020190141886 A KR1020190141886 A KR 1020190141886A KR 20190141886 A KR20190141886 A KR 20190141886A KR 20210055847 A KR20210055847 A KR 20210055847A
Authority
KR
South Korea
Prior art keywords
coordinates
coordinate
point
mip
sagittal
Prior art date
Application number
KR1020190141886A
Other languages
English (en)
Other versions
KR102302249B1 (ko
Inventor
황재준
최성환
김도현
Original Assignee
부산대학교 산학협력단
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단, 연세대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020190141886A priority Critical patent/KR102302249B1/ko
Publication of KR20210055847A publication Critical patent/KR20210055847A/ko
Application granted granted Critical
Publication of KR102302249B1 publication Critical patent/KR102302249B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Physiology (AREA)
  • Computer Graphics (AREA)
  • Pulmonology (AREA)
  • Neurosurgery (AREA)

Abstract

본 발명은 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법에 관한 것으로, 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리부;영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부;상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치에 놓이도록 상악을　회전하는 상악 처리부;cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치에 놓이도록 하악을　회전하는 하악 처리부;윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트부;를 포함하는 것이다.

Description

영상처리와 ＣＮＮ을 이용한 자동 3차원 세팔로메트리 장치 및 방법{Fully Automatic 3Ｄ Cephalometry System and Method using Image Processing and Convolutional Neural Network}
본 발명은 세팔로메트리(Cephalometry)에 관한 것으로, 구체적으로 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법에 관한 것이다.
일반적으로, 의료 분야에서는 진료 목적을 위하여 CT 등의 X선 촬영 영상을 사용하게 된다. 이는 피사체에 투과성이 높은 X선 등의 방사선을 조사하면, 피사체의 물리적 성질과 거리에 따라 X선의 세기가 감쇠되는 특성을 이용하여 조사된 방사선을 수광하는 이미지 센서에서 피사체의 투영(Projection)을 영상을 획득함으로써 얻어진다.
특히 치과의 경우 진단을 위하여 전체 턱 및 머리 특히 환자의 악궁에 대한 엑스레이 영상을 생성하여 활용한다.
그런데, X선 촬영 영상은 인체 내부 조직에 대한 영상으로서 전문가가 아닌 일반인에게는 익숙하지 아니하며, 전문 인력의 경우에도 진료에 필요한 정보를 획득하기 위하여 별도의 과정을 거쳐야 한다.
특히, 치과나 성형외과 분야 등에서는 진료 기타 목적으로 구강 내부 구조를 다양한 방향에서 재구성한 이미지가 계속적으로 활용되는데, 이때 영상처리 과정에서 별도의 인력이 필요하고 계속적인 작업이 요구되어 경제적 시간적으로 상당한 부담이 발생하게 된다.
따라서, 보다 효율적으로 영상으로부터 원하는 정보를 획득하도록 하는 방안이 요구되고 있다.
한편, 치과에서 환자의 턱 및 머리 영역을 촬영하기 위하여 사용되는 치과용 콘빔시티(CBCT: cone beam computered tomography)의 경우, 시티 영상을 촬영한 후 축상면(axial) 이미지 상에서 악궁의 적당한 위치에 수동으로 점을 찍은 후 재구성된 파노라마 및 단면 이미지를 얻도록 함이 종래 보편적으로 활용되었는데, 이 과정에서 방사선사 내지 위생사와 같은 전문 인력이 투입되고 작업자의 숙련도에 따라 오차 발생의 여지가 있으며 진단 및 치료가 지연된다는 점에서 보다 빠르고 정확하게 표준화된 재구성 이미지를 획득할 수 있도록 하는 방안이 요구된다.
따라서, 3차원에서 자동으로 정확하게 3차원 두부계측을 해주는 기술의 개발이 요구되고 있다.
대한민국 등록특허 제10-1822908호 대한민국 공개특허 제10-2019-0049733호 대한민국 등록특허 제10-1836817호
본 발명은 종래 기술의 두부계측(Cephalometry) 기술의 문제점을 해결하기 위한 것으로, 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하여 기준 평면(교합평면, 상악: mid-sagittal plane)을 따라 3차원 악골이 재조정(reorientation)되고, 하악의 경우 computed modified ANP를 기준으로 중앙부위의 교정점들이 위치하도록 하여 비대칭 환자, 상하악골의 관계가 틀어진 비정상인 환자도 분석할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하고 좌표가 불분명한 경우, 각각의 기준 plane을 근거로 위치를 정하여 데이터 연산량을 줄일 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치는 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리부;영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부;상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치에 놓이도록 상악을　회전하는 상악 처리부;cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치에 놓이도록 하악을　회전하는 하악 처리부;윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트부;를 포함하는 것을 특징으로 한다.
여기서, 상악 처리부는, coronal에서 안구, nasal fossa가 나타난 이미지를 만드는 상악 처리 이미지 결정부와,midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리부와,Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출부와,Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS 산출부와,Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출부와,sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 포리온 산출부와,Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 Nasion 산출부와,두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 Sella 산출부를 포함하는 것을 특징으로 한다.
그리고 하악 처리부는, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 회전 처리부와,Coronal MIP에서 교정점 좌표 산출을 하는 Coronal MIP 교정점 좌표 산출부와,Sagittal MIP에서 교정점 좌표 산출을 하는 Sagittal MIP 교정점 좌표 산출부를 포함하는 것을 특징으로 한다.
그리고 좌표 업데이트부는, 수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법은 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리 단계;영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리 단계;상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치에 놓이도록 상악을　회전하는 상악 처리 단계;cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치에 놓이도록 하악을　회전하는 하악 처리 단계;윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리 단계; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트 단계;를 포함하는 것을 특징으로 한다.
여기서, 3D 해부학 구조별 영상 처리 단계에서, 상악, 하악, 치아, cervical vertebra를 3D cnn으로 segmentation하고, 전체 3D 이미지에서 연조직과 cervical vertebra 삭제하는 것을 특징으로 한다.
그리고 교합평면 회전처리 단계에서, Sagittal MIP에서 교합평면 중심의 높이 구하고, Sagittal MIP에서 치아로 이루어진 교합평면이 바닥에 평행하게 sagittal 방향 rotation(교합평면의 중심을 기준)하여 치열이 바닥에 평행하도록 하는 것을 특징으로 한다.
그리고 교합평면 회전처리 단계에서, 기준평면을 잡기 위하여 정면과 위에서 사람을 내려다보았을 때, 두 안와의 중점이 평행하게 있도록 reorientation되어야 하고, 옆에서 사람을 보았을 때, porion과 orbitale가 바닥과 수평이 되도록 하는 것을 특징으로 한다.
그리고 상악 처리 단계는, coronal에서 안구, nasal fossa가 나타난 이미지를 만드는 상악 처리 이미지 결정 단계와,midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리 단계와,Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출 단계와,Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS 산출 단계와,Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출 단계와,sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 포리온 산출 단계와,Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 Nasion 산출 단계와,두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 Sella 산출 단계를 포함하는 것을 특징으로 한다.
그리고 상악 처리 이미지 결정 단계에서, 치열의 후방으로부터 경계를 앞쪽으로 전진하면서, 앞쪽 끝부터 경계까지 coronal MIP를 만들면서 내부 구멍을 구하고, 구멍의 개수가 3개가 되는 곳 중, 구멍 넓이의 합이 가장 큰 단면에서 멈추는 것을 특징으로 한다.
그리고 깊이가 있는 연속된 hole인 안와, foramen magnum, porioin를 포함하는 구멍의 중심을 한점의 위치로 정하기 위하여, 구멍의 외부로부터 두께를 증가시키면서 MIP 시켜 나갔을 때 가장 큰 구멍 넓이가　나오는 곳을 해당 구멍의 위치로 잡거나, 뼈로 둘러쌓여　closing된 구멍의 형태가　된 후, 가장 큰 너비가 나오는 단면을 선택하거나, 특정 구조물의 sagittal 단면으로 정하는 것을 특징으로 한다.
그리고 회전 처리 단계에서, midsagittal plane은 coronal MIP에서 양쪽 안구의 중심의 수직이등분선이고, midsagittal plane이 바닥에 수직이 되게 전체 3D 이미지를 coronal 방향으로 회전하는 것을 특징으로 한다.
그리고 포리온 산출 단계에서, condyle 후방에서 1.5cm 내외, condylion 높이에서 ramusian 높이까지 영역중 가장 큰 구멍을 구하여 구멍 중심의 좌표를 구하고, 구멍의 x좌표는 condyle 외측으로 정하는 것을 특징으로 한다.
그리고 Sella 산출 단계에서, sella turcica 영역을 segmentation 후 CBCT에서 3차원으로 딥러닝해서 그 중심좌표를 구하는 것을 특징으로 한다.
그리고 하악 처리 단계는, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계와,Coronal MIP에서 교정점 좌표 산출을 하는 단계와,Sagittal MIP에서 교정점 좌표 산출을 하는 단계를 포함하는 것을 특징으로 한다.
그리고 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계는, computed modified ANP으로, 첫 기준은 이공, 혹은 axial에서 내려다 본 악궁(치열)의 knee point 양쪽에 모두 있는 대칭된 구조면 사용이 가능하고, 회전시마다, 회전 후 sagittal MIP에서 B point를 구해 특정 각도 하후방으로 genioplasty 후 similarity index 비교를 하고, 하악의 정준선 바닥에 수직으로 회전을 하는 것을 특징으로 한다.
그리고 Coronal MIP에서 교정점 좌표 산출을 하는 단계는, 이진화된 하악 반구 → Coronal MIP 과정으로, 이진화된 이미지의 가장 높은 점을 이용해 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(Condylion)과, 교합평면에서 턱끝까지 바깥 윤곽선의 knee point를 이용해 z 및 x 좌표 구하고, x좌표 주변의 sagittal 방향 MIP 이미지에서 후방 윤곽선의 knee point를 이용해 y, z 좌표 구하고, coronal MIP 이미지에서 해당 z좌표에 해당하는 x좌표 구해서 업데이트하는 과정(Gonion)과, 교합평면 상방(ramus)만 남기고, ramus의 중심선에서 앞쪽만 남긴 후, 가장 높은 점의 z 및 x좌표 구하는 과정(coronoid process 끝)과, sagittal MIP에서 coronoid process의 끝과 condylion을 있는 선분을 그린 후 내부의 구멍의 가장 아래점의 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(ramusian)을 포함하는 것을 특징으로 한다.
그리고 좌표 업데이트 단계는, 수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한다.
둘째, 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하여 기준 평면(교합평면, 상악: mid-sagittal plane)을 따라 3차원 악골이 재조정(reorientation)되고, 하악의 경우 computed modified ANP를 기준으로 중앙부위의 교정점들이 위치하도록 하여 효율적인 3차원 두부계측이 가능하도록 한다.
셋째, 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하고 좌표가 불분명한 경우, 각각의 기준 plane을 근거로 위치를 정하여 데이터 연산량 및 연산 시간을 단축하여 차원 두부계측이 가능하도록 한다.
도 1은 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 구성도
도 2는 상악 처리부의 상세 구성도
도 3은 하악 처리부의 상세 구성도
도 4는 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법을 나타낸 플로우차트
도 5는 본 발명에 따른 상악 처리 상세 과정을 나타낸 플로우차트
도 6은 본 발명에 따른 하악 처리 상세 과정을 나타낸 플로우차트
도 7은 3D CNN에 의해 segmentation된 3차원 구조도
도 8a는 치열의 중심을 기준으로 바닥과 평행하게 회전된 3차원 악골 구성도
도 8b는 기준 평면을 잡기 위한 다른 방향에서의 reorientation 상태를 나타낸 구성도
도 9는 coronal MIP 구성도
도 10은 coronal MIP에서 양쪽 안구의 중심의 수직이등분선이 바닥과 평행하고 FOV의 중심에 오도록 회전 및 평행이동을 한 구성도
도 11은 Rt. Orbitale 좌표 구하기를 나타낸 구성도
도 12는 ANS 구하기를 나타낸 구성도
도 13은 Porion 구하기를 나타낸 구성도
도 14는 Nasion 구하기를 나타낸 구성도
도 15는 Sella 구하기를 나타낸 구성도
도 16은 하악처리를 위하여 하악의 정중선이 바닥에 수직으로 회전하는 것을 나타낸 구성도
도 17은 Condylion 좌표 구하기를 나타낸 구성도
도 18은 Gonion 좌표 구하기를 나타낸 구성도
도 19는 Sagittal MIP에서 구해진 교정점 좌표를 나타낸 구성도
이하, 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 구성도이다.
본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법은 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 것으로 다음과 같은 특징을 포함한다.
본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하는 구성을 포함한다.
본 발명은 상악은 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치(바닥에 평행, 바닥에 수직)에 놓이도록 상악을　회전, 하악은 cmANP를 이용해 기준 plane을 설정하고, cmANP이 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 하악을　회전하는 구성을 포함한다.
본 발명은 기준 plane이 설정되어야 찍을 수 있는 점들은 기준 plane을 잡은 후 2D cephalometry 정의에 따라 찍고, 기준 plane이 필요없는 점들은 (예: 뽀족한 점) 정의대로 찍는 구성을 포함한다.
본 발명은 기준 plane 내에 위치해야 2D와 의미상 연결이 쉬운 점들(2D cephalometry에서 윤곽선 상에 위치)은 '기준 plane 상'에 위치하도록 찍는 구성을 포함한다.
이와 같이 본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하는데, 이와 같이 하악 기준평면을 따로 잡게되면, 비대칭 환자, 상하악골의 관계가 틀어진 비정상인 환자도 분석할 수 있다.
이는 MSP(mid-sagittal plane 등) 상악 기준평면만으로는 비뚤어진 하악을 분석할 수 없는 문제를 해결할 수 있도록 한다.
본 발명은 특정 방향, 특정 두께의 MIP이미지(2D)에서 딥러닝을 시행해 3차원 딥러닝을 회피함으로써 연산을 줄일 수 있도록 한다.
본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치는 도 1에서와 같이, 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리부(10)와, 영상 처리를 위하여 교합평면 회전(rotation)(Sagittal 방향 reorientation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부(20)와, 상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치(바닥에 평행, 바닥에 수직)에 놓이도록 상악을　회전하는 상악 처리부(30)와, cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 하악을　회전하는 하악 처리부(40)와, Gonion 등에서 knee point가 잘못되었을 경우, 윤곽선 smoothing의 정도를 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부(50)와, 수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하는 좌표 업데이트부(60)를 포함한다.
여기서, 상악 처리부(30)의 상세 구성은 다음과 같다.
도 2는 상악 처리부의 상세 구성도이다.
상악 처리부(30)는 coronal에서 안구, nasal fossa가 나타난 이미지를 만드는 상악 처리 이미지 결정부(31)와, midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리부(32)와, Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출부(33)와, Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS 산출부(34)와, Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출부(35)와, sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 포리온 산출부(36)와, Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 Nasion 산출부(37)와, 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 (예 8mm) 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 Sella 산출부(38)를 포함한다.
그리고 하악 처리부(40)의 상세 구성은 다음과 같다.
도 3은 하악 처리부의 상세 구성도이다.
하악 처리부(40)는 하악 정준선 구하기 및 바닥에 수직으로 회전하는 회전 처리부(41)와, Coronal MIP에서 교정점 좌표 산출을 하는 Coronal MIP 교정점 좌표 산출부(42)와, Sagittal MIP에서 교정점 좌표 산출을 하는 Sagittal MIP 교정점 좌표 산출부(43)를 포함한다.
본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법을 구체적으로 설명하면 다음과 같다.
도 4는 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법을 나타낸 플로우차트이다.
본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법은 크게 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제 단계(S401)와, 교합평면 rotation(Sagittal 방향 reorientation) 단계(S402)와, 상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치(바닥에 평행, 바닥에 수직)에 놓이도록 상악을　회전하는 상악처리 단계(S403)와, cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 하악을　회전하는 하악 처리 단계(S404)와, Gonion 등에서 knee point가 잘못되었을 경우, 윤곽선 smoothing의 정도를 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리(Computer assisted correction system) 단계(S405)와, 수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하는 딥러닝에 의한 좌표 업데이트 단계(S406)를 포함한다.
여기서, 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제 단계(S401)에서는 도 7에서와 같이, 상악(청), 하악(적), 치아(백), cervical vertebra(녹)를 3D cnn으로 segmentation하고, 전체 3D 이미지에서 연조직과 cervical vertebra 삭제하는 것이다.
도 7은 3D CNN에 의해 segmentation된 3차원 구조도를 나타낸 것으로, (A)는 3D CNN에 의해 segmentation된 3차원 악골, 치아 및 cervical vertebra을 나타낸 것이고, (B)는 연조직과 cervical vertebra가 제거된 악골을 나타낸 것이다.
그리고 교합평면 rotation(Sagittal 방향 reorientation) 단계(S402)는 도 8a에서와 같이, Sagittal MIP에서 교합평면 중심의 높이 구하고, Sagittal MIP에서 치아로 이루어진 교합평면이 바닥에 평행하게 sagittal 방향 rotation(교합평면의 중심을 기준)하는 것이다. 치열이 바닥에 평행하면 이후의 영상처리가 수월해진다.
도 8a는 (A)치열의 중심을 기준으로 바닥과 평행하게 회전된 (B)3차원 악골 구성을 나타낸 것이다.
그리고 도 8b는 기준 평면을 잡기 위한 다른 방향에서의 reorientation 상태를 나타낸 구성도이다.
기준평면을 잡을 때, 1)정면과 위에서 사람을 내려다보았을 때, 두 안와의 중점이 평행하게 있도록 reorientation되어야 하고, 2)옆에서 사람을 보았을 때, porion과 orbitale가 바닥과 수평이 되어야 한다.
그리고 상악처리 단계(S403)를 구체적으로 설명하면 다음과 같다.
도 5는 본 발명에 따른 상악 처리 상세 과정을 나타낸 플로우차트이다.
상악처리 단계(S403)는 coronal에서 안구, nasal fossa가 나타난 이미지 결정 단계(S501)와, midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 단계(S502)와, Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S503)와, Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S504)와, Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S505)와, sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 단계(S506)와, Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출을 하는 단계(S507)와, 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비(예 8mm) 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 단계(S508)를 포함한다.
여기서, 상악처리를 위한 coronal에서 안구, nasal fossa가 나타난 이미지 결정 단계(S501)는, 치열의 후방으로부터 경계를 앞쪽으로 전진하면서, 앞쪽 끝부터 경계까지 coronal MIP를 만들면서 내부 구멍을 구하고, 구멍의 개수가 3개가 되는 곳 중, 구멍 넓이의 합이 가장 큰 단면에서 멈추는 것이다.
도 9는 coronal MIP 구성도이다.
도 9에서, (A)는 전방부에서 치열 후방까지의 coronal MIP, (B)는 전방부에서 치열 중간까지의 coronal MIP, (C)는 전방부에서 구멍 넓이가 최대가 되는 coronal MIP, (D)는 너무 전방부로 좁게 MIP 되어 안구가 구멍으로 추출될 수 없는 상황을 나타낸 것이다.
구멍(안와, foramen magnum, porioin)의 경우 깊이가 있는 연속된 hole이기 때문에, 구멍의 중심을 잡을 때　어디를　이 구멍을　대표하는 한점의 위치로 잡을 거인지 결정하는 것은 어렵다.
본 발명에서는 1)구멍의 외부로부터 두께를 증가시키면서 MIP 시켜 나갔을 때 가장 큰 구멍 넓이가　나오는 곳을 해당 구멍의 위치로 잡거나,
2)뼈로 둘러쌓여　closing된 구멍의 형태가　된 후, 가장 큰 너비가 나오는 단면을 선택하거나,
3)혹은 porion 같은 경우 특정 구조물(condyle의 중심)의 sagittal 단면으로도 잡을 수 있다.
상악처리를 위한 mid sagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 단계(S502)에서, midsagittal plane은 coronal MIP에서 양쪽 안구의 중심의 수직이등분선이고, midsagittal plane이 바닥에 수직이 되게 전체 3D 이미지를 coronal 방향으로 회전하는 것이다.
도 10은 coronal MIP에서 양쪽 안구의 중심의 수직이등분선이 바닥과 평행하고 FOV의 중심에 오도록 회전 및 평행이동을 한 구성도이다.
상악처리를 위한 Orbitale 구하기는 Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S503)에 의해 이루어지는 것으로 도 11에서와 같다.
도 11은 Rt. Orbitale 좌표 구하기를 나타낸 것으로, (A)는 S501 단계에서 얻어진 coronal MIP, (B)는 왼쪽 상단 구멍의 최하점의 높이와 x좌표를 구하고, (C)는 해당 x좌표에 해당하는 sagittal view에서 해당 높이에 해당하는 y좌표를 구하는 것을 나타낸 것이다.
상악처리를 위한 Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S504)는 도 12에서와 같이 이루어진다.
도 12는 ANS 구하기를 나타낸 구성도이다.
(A)는 S501 단계에서 얻어진 coronal MIP, (B)는 하방 구멍의 최하점의 높이와 x좌표를 구하고, (C)는 해당 x좌표에 해당하는 sagittal view에서 해당 높이에 해당하는 y좌표를 구하는 것을 나타낸 것이다.
그리고 상악처리를 위한 코뿌리점 구하기는 Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S505)에 의해 수행된다.
그리고 상악처리를 위한 sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 단계(S506)는 도 13에서와 같이 이루어지고, condyle 후방에서 1.5cm 내외, condylion 높이에서 ramusian 높이까지 영역중 가장 큰 구멍을 구하여 구멍 중심의 좌표를 구하고, 구멍의 x좌표는 condyle 외측 등으로 정한다.
도 13은 Porion 구하기를 나타낸 구성도이다.
도 13에서 (A)는 condyle 중앙에서 외측까지의 sagittal MIP, (B)는 condyle 후방에서부터 1.5cm 내, condylion에서 ramusian 상부까지 범위에서 가장 큰 구멍 (C)을 구하는 것을 나타낸 것이다.
그리고 상악 처리를 위한 Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출을 하는 단계(S507)는 Nasion 구하기 위한 것으로 도 14에서와 같이 이루어진다.
도 14는 Nasion 구하기를 나타낸 구성도이다.
도 14에서 (A)는 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역(붉은색)을 한정하여 Coronal MIP에서 딥러닝을 이용하여 x 및 z 좌표 구한 후(초록점), (B) x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 구하기를 나타낸 것이다.
그리고 상악 처리를 위한 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비(예 8mm) 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 단계(S508)는 Sella 구하기를나타낸 것으로, 도 15에서와 같다.
도 15는 Sella 구하기를 나타낸 구성도이다.
Sella 구하기는 sella turcica 영역을 segmentation 후 CBCT에서 3차원으로 딥러닝해서 그 중심좌표를 구하는 것도 가능하다.
하악 처리 단계(S404)를 구체적으로 설명하면 다음과 같다.
도 6은 본 발명에 따른 하악 처리 상세 과정을 나타낸 플로우차트이다.
하악 처리 단계(S404)는 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계(S601)와, Coronal MIP에서 교정점 좌표 산출을 하는 단계(S602)와, Sagittal MIP에서 교정점 좌표 산출을 하는 단계(S603)를 포함한다.
여기서, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계(S601)는 도 16에서와 같이 이루어진다.
도 16은 하악처리를 위하여 하악의 정중선이 바닥에 수직으로 회전하는 것을 나타낸 구성도이다.
computed modified ANP으로, 첫 기준은 이공, 혹은 axial에서 내려다 본 악궁(치열)의 knee point 등 양쪽에 모두 있는 대칭된 구조면 사용이 가능하고, 회전시마다, 회전 후 sagittal MIP에서 B point를 구해 특정 각도(예: 70도) 하후방으로 genioplasty 후 similarity index 비교하고, 하악의 정준선 바닥에 수직으로 회전을 한다.
그리고 Coronal MIP에서 교정점 좌표 산출을 하는 단계(S602)는 이진화된 하악 반구 → Coronal MIP 과정으로, 이진화된 이미지의 가장 높은 점을 이용해 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(Condylion)과, 교합평면에서 턱끝까지 바깥 윤곽선의 knee point를 이용해 z 및 x 좌표 구하고, x좌표 주변 (예: 좌우 3mm)의 sagittal 방향 MIP 이미지에서 후방 윤곽선의 knee point를 이용해 y, z 좌표 구하고, coronal MIP 이미지에서 해당 z좌표에 해당하는 x좌표 구해서 업데이트하는 과정(Gonion)과, 교합평면 상방(ramus)만 남기고, ramus의 중심선에서 앞쪽만 남긴 후, 가장 높은 점의의 z 및 x좌표 구하는 과정(coronoid process 끝)과, sagittal MIP에서 coronoid process의 끝과 condylion을 있는 선분을 그린 후 내부의 구멍의 가장 아래점의 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(ramusian)을 포함한다.
도 17은 Condylion 좌표 구하기를 나타낸 구성도이고, 도 18은 Gonion 좌표 구하기를 나타낸 구성도이다.
그리고 Sagittal MIP에서 교정점 좌표 산출을 하는 단계(S603)는 이진화된 하악 반구 → Sagittal MIP 과정으로 도 19에서와 같이 수행된다.
도 19는 Sagittal MIP에서 구해진 교정점 좌표를 나타낸 구성도이다.
B, Menton, Gnathione, Pogonion를 sagittal 방향에서 영역을 한정하여 정의대로 y, z좌표 구하는 것이다.
예를 들어, Menton의 경우 하악의 끝점, B점의 경우 하악 전치 치관 하방에서 앞턱(치관 하방에서 턱끝까지)의 중간 높이(혹은 치근첨 주변 위 아래 2mm 범위) 까지의 전면 윤곽선에서 knee point로 한다.
이상에서 설명한 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하여 기준 평면(교합평면, 상악: mid-sagittal plane)을 따라 3차원 악골이 재조정(reorientation)되고, 하악의 경우 computed modified ANP를 기준으로 중앙부위의 교정점들이 위치하도록 하여 비대칭 환자, 상하악골의 관계가 틀어진 비정상인 환자도 분석할 수 있도록 한 것이다.
본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하고 좌표가 불분명한 경우, 각각의 기준 plane을 근거로 위치를 정하여 데이터 연산량을 줄일 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10. 3D 해부학 구조별 영상 처리부
20. 교합평면 회전처리부
30. 상악 처리부
40. 하악 처리부
50. 보정 처리부
60. 좌표 업데이트부

Claims (18)

  1. 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리부;
    영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부;
    상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치에 놓이도록 상악을　회전하는 상악 처리부;
    cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치에 놓이도록 하악을　회전하는 하악 처리부;
    윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트부;를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.
  2. 제 1 항에 있어서, 상악 처리부는,
    coronal에서 안구, nasal fossa가 나타난 이미지를 만드는 상악 처리 이미지 결정부와,
    midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리부와,
    Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출부와,
    Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS 산출부와,
    Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출부와,
    sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 포리온 산출부와,
    Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 Nasion 산출부와,
    두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 Sella 산출부를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.
  3. 제 1 항에 있어서, 하악 처리부는,
    하악 정준선 구하기 및 바닥에 수직으로 회전하는 회전 처리부와,
    Coronal MIP에서 교정점 좌표 산출을 하는 Coronal MIP 교정점 좌표 산출부와,
    Sagittal MIP에서 교정점 좌표 산출을 하는 Sagittal MIP 교정점 좌표 산출부를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.
  4. 제 1 항에 있어서, 좌표 업데이트부는,
    수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.
  5. 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리 단계;
    영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리 단계;
    상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치에 놓이도록 상악을　회전하는 상악 처리 단계;
    cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치에 놓이도록 하악을　회전하는 하악 처리 단계;
    윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리 단계; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트 단계;를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  6. 제 5 항에 있어서, 3D 해부학 구조별 영상 처리 단계에서,
    상악, 하악, 치아, cervical vertebra를 3D cnn으로 segmentation하고, 전체 3D 이미지에서 연조직과 cervical vertebra 삭제하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  7. 제 5 항에 있어서, 교합평면 회전처리 단계에서,
    Sagittal MIP에서 교합평면 중심의 높이 구하고, Sagittal MIP에서 치아로 이루어진 교합평면이 바닥에 평행하게 sagittal 방향 rotation(교합평면의 중심을 기준)하여 치열이 바닥에 평행하도록 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  8. 제 5 항에 있어서, 교합평면 회전처리 단계에서,
    기준평면을 잡기 위하여 정면과 위에서 사람을 내려다보았을 때, 두 안와의 중점이 평행하게 있도록 reorientation되어야 하고, 옆에서 사람을 보았을 때, porion과 orbitale가 바닥과 수평이 되도록 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  9. 제 5 항에 있어서, 상악 처리 단계는,
    coronal에서 안구, nasal fossa가 나타난 이미지를 만드는 상악 처리 이미지 결정 단계와,
    midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리 단계와,
    Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출 단계와,
    Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS 산출 단계와,
    Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출 단계와,
    sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 포리온 산출 단계와,
    Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 Nasion 산출 단계와,
    두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 Sella 산출 단계를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  10. 제 9 항에 있어서, 상악 처리 이미지 결정 단계에서,
    치열의 후방으로부터 경계를 앞쪽으로 전진하면서, 앞쪽 끝부터 경계까지 coronal MIP를 만들면서 내부 구멍을 구하고, 구멍의 개수가 3개가 되는 곳 중, 구멍 넓이의 합이 가장 큰 단면에서 멈추는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  11. 제 10 항에 있어서, 깊이가 있는 연속된 hole인 안와, foramen magnum, porioin를 포함하는 구멍의 중심을 한점의 위치로 정하기 위하여,
    구멍의 외부로부터 두께를 증가시키면서 MIP 시켜 나갔을 때 가장 큰 구멍 넓이가　나오는 곳을 해당 구멍의 위치로 잡거나,
    뼈로 둘러쌓여　closing된 구멍의 형태가　된 후, 가장 큰 너비가 나오는 단면을 선택하거나,
    특정 구조물의 sagittal 단면으로 정하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  12. 제 9 항에 있어서, 회전 처리 단계에서,
    midsagittal plane은 coronal MIP에서 양쪽 안구의 중심의 수직이등분선이고, midsagittal plane이 바닥에 수직이 되게 전체 3D 이미지를 coronal 방향으로 회전하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  13. 제 9 항에 있어서, 포리온 산출 단계에서,
    condyle 후방에서 1.5cm 내외, condylion 높이에서 ramusian 높이까지 영역중 가장 큰 구멍을 구하여 구멍 중심의 좌표를 구하고, 구멍의 x좌표는 condyle 외측으로 정하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  14. 제 9 항에 있어서, Sella 산출 단계에서,
    sella turcica 영역을 segmentation 후 CBCT에서 3차원으로 딥러닝해서 그 중심좌표를 구하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  15. 제 5 항에 있어서, 하악 처리 단계는,
    하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계와,
    Coronal MIP에서 교정점 좌표 산출을 하는 단계와,
    Sagittal MIP에서 교정점 좌표 산출을 하는 단계를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  16. 제 15 항에 있어서, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계는,
    computed modified ANP으로, 첫 기준은 이공, 혹은 axial에서 내려다 본 악궁(치열)의 knee point 양쪽에 모두 있는 대칭된 구조면 사용이 가능하고,
    회전시마다, 회전 후 sagittal MIP에서 B point를 구해 특정 각도 하후방으로 genioplasty 후 similarity index 비교를 하고, 하악의 정준선 바닥에 수직으로 회전을 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  17. 제 15 항에 있어서, Coronal MIP에서 교정점 좌표 산출을 하는 단계는,
    이진화된 하악 반구 → Coronal MIP 과정으로, 이진화된 이미지의 가장 높은 점을 이용해 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(Condylion)과, 교합평면에서 턱끝까지 바깥 윤곽선의 knee point를 이용해 z 및 x 좌표 구하고, x좌표 주변의 sagittal 방향 MIP 이미지에서 후방 윤곽선의 knee point를 이용해 y, z 좌표 구하고, coronal MIP 이미지에서 해당 z좌표에 해당하는 x좌표 구해서 업데이트하는 과정(Gonion)과,
    교합평면 상방(ramus)만 남기고, ramus의 중심선에서 앞쪽만 남긴 후, 가장 높은 점의 z 및 x좌표 구하는 과정(coronoid process 끝)과,
    sagittal MIP에서 coronoid process의 끝과 condylion을 있는 선분을 그린 후 내부의 구멍의 가장 아래점의 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(ramusian)을 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
  18. 제 5 항에 있어서, 좌표 업데이트 단계는,
    수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
KR1020190141886A 2019-11-07 2019-11-07 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법 KR102302249B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190141886A KR102302249B1 (ko) 2019-11-07 2019-11-07 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190141886A KR102302249B1 (ko) 2019-11-07 2019-11-07 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210055847A true KR20210055847A (ko) 2021-05-18
KR102302249B1 KR102302249B1 (ko) 2021-09-16

Family

ID=76158616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190141886A KR102302249B1 (ko) 2019-11-07 2019-11-07 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102302249B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230036675A (ko) 2021-09-08 2023-03-15 정수아 Cnn 영상처리기법을 이용한 의류 원단의 불량검출 방법
CN116843648A (zh) * 2023-07-04 2023-10-03 北京大学口腔医学院 基于锥形束ct影像的髁突骨改建三维自动定量测量***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070067491A (ko) * 2005-12-23 2007-06-28 주식회사 사이버메드 3차원 볼륨 데이터의 기울어짐을 실시간으로 보정하는 방법
US20150265374A1 (en) * 2014-03-18 2015-09-24 President And Fellows Of Harvard College 3d dentofacial system and method
KR101692250B1 (ko) * 2015-11-30 2017-01-03 오스템임플란트 주식회사 치아쌍 단면 영상 생성 방법, 장치, 및 이를 기록한 기록 매체
KR20170128046A (ko) * 2016-05-12 2017-11-22 연세대학교 산학협력단 방사선 영상의 정보 획득 방법 및 장치
KR101822908B1 (ko) 2016-08-12 2018-01-29 연세대학교 산학협력단 방사선 영상의 정보 획득 방법 및 장치
US20180061054A1 (en) * 2016-08-29 2018-03-01 CephX Technologies Ltd. Automated Cephalometric Analysis Using Machine Learning
KR101836817B1 (ko) 2016-09-02 2018-03-09 연세대학교 산학협력단 3차원 방사선 영상의 처리 방법 및 장치
KR20190049733A (ko) 2016-08-19 2019-05-09 더 메서디스트 하스피틀 시스템 컴퓨터 지원 악교정 수술 계획을 위한 시스템 및 방법
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070067491A (ko) * 2005-12-23 2007-06-28 주식회사 사이버메드 3차원 볼륨 데이터의 기울어짐을 실시간으로 보정하는 방법
US20150265374A1 (en) * 2014-03-18 2015-09-24 President And Fellows Of Harvard College 3d dentofacial system and method
KR101692250B1 (ko) * 2015-11-30 2017-01-03 오스템임플란트 주식회사 치아쌍 단면 영상 생성 방법, 장치, 및 이를 기록한 기록 매체
KR20170128046A (ko) * 2016-05-12 2017-11-22 연세대학교 산학협력단 방사선 영상의 정보 획득 방법 및 장치
KR101822908B1 (ko) 2016-08-12 2018-01-29 연세대학교 산학협력단 방사선 영상의 정보 획득 방법 및 장치
KR20190049733A (ko) 2016-08-19 2019-05-09 더 메서디스트 하스피틀 시스템 컴퓨터 지원 악교정 수술 계획을 위한 시스템 및 방법
US20180061054A1 (en) * 2016-08-29 2018-03-01 CephX Technologies Ltd. Automated Cephalometric Analysis Using Machine Learning
KR101836817B1 (ko) 2016-09-02 2018-03-09 연세대학교 산학협력단 3차원 방사선 영상의 처리 방법 및 장치
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230036675A (ko) 2021-09-08 2023-03-15 정수아 Cnn 영상처리기법을 이용한 의류 원단의 불량검출 방법
CN116843648A (zh) * 2023-07-04 2023-10-03 北京大学口腔医学院 基于锥形束ct影像的髁突骨改建三维自动定量测量***

Also Published As

Publication number Publication date
KR102302249B1 (ko) 2021-09-16

Similar Documents

Publication Publication Date Title
CN105342708B (zh) 基于ct和cbct融合数据的数字化咬合导板及其重建方法
ES2717447T3 (es) Creación asistida por ordenador de una preparación de diente habitual usando análisis facial
US8244028B2 (en) Virtual cephalometric imaging
US11896452B2 (en) Method for virtual setup with mixed dentition
US10258439B1 (en) Method of manufacturing orthodontic devices
ZA200610143B (en) Method for deriving a treatment plan for orthognatic surgery and devices therefor
Ye et al. Integration accuracy of laser-scanned dental models into maxillofacial cone beam computed tomography images of different voxel sizes with different segmentation threshold settings
Li et al. A cone-beam computed tomography evaluation of facial asymmetry in unilateral cleft lip and palate individuals
KR20200030745A (ko) 인상 트레이 및 상기 인상 트레이와 ct 영상 촬영 장치를 이용한 틀니 제조 방법
KR102302249B1 (ko) 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법
KR102215068B1 (ko) 임플란트 진단용 영상 정합을 위한 장치 및 방법
Han et al. In-vitro assessment of the accuracy and reliability of mandibular dental model superimposition based on voxel-based cone-beam computed tomography registration
KR102372962B1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
Jang et al. Fully automatic integration of dental CBCT images and full-arch intraoral impressions with stitching error correction via individual tooth segmentation and identification
Noguchi et al. An orthognathic simulation system integrating teeth, jaw and face data using 3D cephalometry
JP2008142400A (ja) 医用撮影装置
Zimmermann et al. The impact of technological innovation on dentistry
RU2689860C1 (ru) Способ определения положения верхней челюсти
Barone et al. Geometrical modeling of complete dental shapes by using panoramic X-ray, digital mouth data and anatomical templates
Na et al. A comparative study of the reproducibility of landmark identification on posteroanterior and anteroposterior cephalograms generated from cone-beam computed tomography scans
CN115530870A (zh) 一种cbct扫描区域精确定位***和方法
TW201302164A (zh) 口顎影像融合方法
Ho et al. Average three-dimensional skeletofacial model as a template for bone repositioning during virtual orthognathic surgery
TWI633875B (zh) 根尖切除手術導板製造方法、系統及電腦可讀取紀錄媒體
Apostolakis et al. Use of CBCT and Low-Cost Additive Manufacturing in Implant Surgical Guide Fabrication.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant