KR20210055847A - Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network - Google Patents

Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network Download PDF

Info

Publication number
KR20210055847A
KR20210055847A KR1020190141886A KR20190141886A KR20210055847A KR 20210055847 A KR20210055847 A KR 20210055847A KR 1020190141886 A KR1020190141886 A KR 1020190141886A KR 20190141886 A KR20190141886 A KR 20190141886A KR 20210055847 A KR20210055847 A KR 20210055847A
Authority
KR
South Korea
Prior art keywords
coordinates
coordinate
point
mip
sagittal
Prior art date
Application number
KR1020190141886A
Other languages
Korean (ko)
Other versions
KR102302249B1 (en
Inventor
황재준
최성환
김도현
Original Assignee
부산대학교 산학협력단
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단, 연세대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020190141886A priority Critical patent/KR102302249B1/en
Publication of KR20210055847A publication Critical patent/KR20210055847A/en
Application granted granted Critical
Publication of KR102302249B1 publication Critical patent/KR102302249B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Pulmonology (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Neurosurgery (AREA)
  • Geometry (AREA)
  • Neurology (AREA)

Abstract

The present invention relates to an automatic 3d cephalometry system using image processing to automatically and accurately perform 3D cephalometric measurement in three dimensions and a convolutional neural network (CNN) and a method thereof. According to the present invention, the automatic 3D cephalometry system comprises: an image processing unit for each 3D anatomical structure performing segmentation and cervical vertebra deletion for each 3D anatomical structure; an occlusal plane rotation unit allowing the teeth to be parallel to the floor by rotation of the occlusal plane for image processing; a maxillary processing unit dividing a reference plane of the upper and lower jaws to define new orthodontic points with respect to the divided reference planes, setting a reference plane (Midsaggital plane, MSP) of the maxilla bone by using the reference point, and rotating the upper jaw so that the MSP is placed in a correct position; a mandible processing unit setting the reference plane by using cmANP and rotating the mandible bone so that the cmANP is placed in a correct position; a correction processing unit performing correction by reorienting a contour to calculate the exact coordinates of a point; and a coordinate update unit updating the coordinates by training a CNN network on the basis of the corrected 3D coordinates.

Description

영상처리와 ＣＮＮ을 이용한 자동 3차원 세팔로메트리 장치 및 방법{Fully Automatic 3Ｄ Cephalometry System and Method using Image Processing and Convolutional Neural Network}{Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network}

본 발명은 세팔로메트리(Cephalometry)에 관한 것으로, 구체적으로 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법에 관한 것이다.The present invention relates to cephalometry, and more particularly, to an image processing device and a method for automatic three-dimensional cephalometry using a CNN and an image processing capable of automatically and accurately performing three-dimensional head measurement in three dimensions. .

일반적으로, 의료 분야에서는 진료 목적을 위하여 CT 등의 X선 촬영 영상을 사용하게 된다. 이는 피사체에 투과성이 높은 X선 등의 방사선을 조사하면, 피사체의 물리적 성질과 거리에 따라 X선의 세기가 감쇠되는 특성을 이용하여 조사된 방사선을 수광하는 이미지 센서에서 피사체의 투영(Projection)을 영상을 획득함으로써 얻어진다.In general, in the medical field, an X-ray image such as CT is used for treatment purposes. This is because when the subject is irradiated with highly transparent X-rays, the intensity of the X-rays is attenuated according to the physical properties and distance of the subject, and the projection of the subject is imaged by an image sensor that receives the irradiated radiation. It is obtained by obtaining

특히 치과의 경우 진단을 위하여 전체 턱 및 머리 특히 환자의 악궁에 대한 엑스레이 영상을 생성하여 활용한다.In particular, in the case of dentistry, an X-ray image of the entire jaw and head, especially the patient's arch, is generated and utilized for diagnosis.

그런데, X선 촬영 영상은 인체 내부 조직에 대한 영상으로서 전문가가 아닌 일반인에게는 익숙하지 아니하며, 전문 인력의 경우에도 진료에 필요한 정보를 획득하기 위하여 별도의 과정을 거쳐야 한다.However, the X-ray imaging image is an image of the internal tissues of the human body, which is unfamiliar to the general public, not an expert, and even a specialist must go through a separate process in order to obtain information necessary for treatment.

특히, 치과나 성형외과 분야 등에서는 진료 기타 목적으로 구강 내부 구조를 다양한 방향에서 재구성한 이미지가 계속적으로 활용되는데, 이때 영상처리 과정에서 별도의 인력이 필요하고 계속적인 작업이 요구되어 경제적 시간적으로 상당한 부담이 발생하게 된다.In particular, in the field of dentistry and plastic surgery, images that reconstruct the internal structure of the oral cavity in various directions for treatment and other purposes are continuously used.At this time, a separate manpower is required in the image processing process and continuous work is required. There is a burden.

따라서, 보다 효율적으로 영상으로부터 원하는 정보를 획득하도록 하는 방안이 요구되고 있다.Therefore, there is a need for a method to more efficiently acquire desired information from an image.

한편, 치과에서 환자의 턱 및 머리 영역을 촬영하기 위하여 사용되는 치과용 콘빔시티(CBCT: cone beam computered tomography)의 경우, 시티 영상을 촬영한 후 축상면(axial) 이미지 상에서 악궁의 적당한 위치에 수동으로 점을 찍은 후 재구성된 파노라마 및 단면 이미지를 얻도록 함이 종래 보편적으로 활용되었는데, 이 과정에서 방사선사 내지 위생사와 같은 전문 인력이 투입되고 작업자의 숙련도에 따라 오차 발생의 여지가 있으며 진단 및 치료가 지연된다는 점에서 보다 빠르고 정확하게 표준화된 재구성 이미지를 획득할 수 있도록 하는 방안이 요구된다.Meanwhile, in the case of a cone beam computered tomography (CBCT), which is used to photograph the jaw and head regions of a patient in dentistry, after taking a city image, manually place the arch on an axial image. It has been commonly used in the past to obtain reconstructed panoramic and cross-sectional images after drawing a point.In this process, professional personnel such as radiologists or hygienists are put in, and there is room for error depending on the skill level of the operator, and diagnosis and treatment In terms of delay, there is a need for a method to obtain a standardized reconstructed image more quickly and accurately.

따라서, 3차원에서 자동으로 정확하게 3차원 두부계측을 해주는 기술의 개발이 요구되고 있다.Therefore, there is a need to develop a technology that automatically and accurately performs 3D head measurement in 3D.

대한민국 등록특허 제10-1822908호Korean Patent Registration No. 10-1822908 대한민국 공개특허 제10-2019-0049733호Republic of Korea Patent Publication No. 10-2019-0049733 대한민국 등록특허 제10-1836817호Korean Patent Registration No. 10-1836817

본 발명은 종래 기술의 두부계측(Cephalometry) 기술의 문제점을 해결하기 위한 것으로, 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problem of the cephalometry technology of the prior art, and an automatic three-dimensional cephalometry device using image processing and CNN to automatically and accurately perform three-dimensional cephalometry in three dimensions, and Its purpose is to provide a method.

본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하여 기준 평면(교합평면, 상악: mid-sagittal plane)을 따라 3차원 악골이 재조정(reorientation)되고, 하악의 경우 computed modified ANP를 기준으로 중앙부위의 교정점들이 위치하도록 하여 비대칭 환자, 상하악골의 관계가 틀어진 비정상인 환자도 분석할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법을 제공하는데 그 목적이 있다.In the present invention, the three-dimensional jaw is reorientated along the reference plane (occlusal plane, maxilla: mid-sagittal plane) by dividing the reference plane of the maxilla and mandible separately and defining correction points based on this, and in the case of the mandible, computed modified ANP It provides an automatic three-dimensional cephalometry apparatus and method using image processing and CNN to analyze asymmetric patients and abnormal patients whose relationship between the maxilla and mandible is distorted by placing the correction points in the central area based on the There is a purpose.

본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하고 좌표가 불분명한 경우, 각각의 기준 plane을 근거로 위치를 정하여 데이터 연산량을 줄일 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법을 제공하는데 그 목적이 있다.The present invention separates the reference planes of the upper and lower jaws and newly defines correction points based on them, and when the coordinates are unclear, the image processing and CNN are used to reduce the amount of data computation by determining the location based on each reference plane. It is an object to provide a dimensional cephalometry apparatus and method.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치는 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리부;영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부;상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치에 놓이도록 상악을　회전하는 상악 처리부;cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치에 놓이도록 하악을　회전하는 하악 처리부;윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트부;를 포함하는 것을 특징으로 한다.The automatic 3D cephalometry apparatus using image processing and CNN according to the present invention for achieving the above object is an image processing unit for each 3D anatomical structure that performs segmentation and cervical vertebra deletion for each 3D anatomical structure; for image processing Occlusal plane rotation processing unit that makes the teeth parallel to the floor by rotation of the occlusal plane; dividing the reference plane of the maxilla and mandible to newly define correction points based on this, and setting the reference plane (Midsaggital plane-MSP) of the jaw using the reference point And, the maxillary processing unit that rotates the maxilla so that the MSP is placed in the correct position; the mandibular processing unit that sets the reference plane using cmANP and rotates the mandible so that the cmANP is placed in the correct position; the contour is readjusted to calculate the exact coordinates of the point. A correction processing unit that performs correction in a manner; And a coordinate update unit for updating coordinates by performing CNN network learning based on the modified 3D coordinates.

여기서, 상악 처리부는, coronal에서 안구, nasal fossa가 나타난 이미지를 만드는 상악 처리 이미지 결정부와,midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리부와,Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출부와,Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS 산출부와,Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출부와,sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 포리온 산출부와,Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 Nasion 산출부와,두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 Sella 산출부를 포함하는 것을 특징으로 한다.Here, the maxillary processing unit includes a maxillary processing image determination unit that creates an image of the eyeball and nasal fossa in the coronal, a rotation processing unit that rotates so that the midsagittal plane is perpendicular to the floor (coronal direction reorientation), and the lowest point of the eyeball in the Coronal MIP. An orbital point calculation unit that calculates the x, z coordinates, and calculates the y coordinate that meets the z coordinate in the sagittal section of the x coordinate, and the point where the center point of the nasal fossa meets the line segment parallel to the lowest point of the nasal fossa in Coronal MIP. ANS calculation unit that calculates the z-coordinate and the y-coordinate that meets the z-coordinate in the sagittal section of the x-coordinate, x,z coordinates from the top point of the nasal fossa in Coronal MIP, and the z-coordinate from the sagittal section of the x-coordinate The nasal root point calculation unit that calculates the y-coordinates that meet, the porion calculation unit that calculates the sagittal MIP from the outer side of the condyle to the center of the condyle in the sagittal direction, and the inner center of the eyeball in the Coronal MIP, and the area is defined between the upper eyeball and the root point. After obtaining the x and z coordinates using deep learning, a Nasion calculator that calculates the y coordinate meeting z in the sagittal image corresponding to the x coordinate, and a specific width based on the midpoint of the maxilla between the average upper and lower parts of the two eyes. It characterized in that it includes a Sella calculation unit that calculates the central coordinates after deep learning by segmenting the sella region from the MIPed sagittal image.

그리고 하악 처리부는, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 회전 처리부와,Coronal MIP에서 교정점 좌표 산출을 하는 Coronal MIP 교정점 좌표 산출부와,Sagittal MIP에서 교정점 좌표 산출을 하는 Sagittal MIP 교정점 좌표 산출부를 포함하는 것을 특징으로 한다.The mandibular processing unit includes a rotation processing unit that obtains the mandibular canonical line and rotates perpendicular to the floor, a Coronal MIP calibration point coordinate calculation unit that calculates calibration point coordinates in Coronal MIP, and a Sagittal MIP calibration that calculates calibration point coordinates in Sagittal MIP. It characterized in that it comprises a point coordinate calculation unit.

그리고 좌표 업데이트부는, 수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 한다.And the coordinate update unit, based on the modified 3D coordinates, defines the area based on points that can be obtained from the 2D MIP by the 2D regression CNN network, and then trains the 3D regression CNN network to refine and update the coordinates. It is characterized by that.

다른 목적을 달성하기 위한 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법은 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리 단계;영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리 단계;상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치에 놓이도록 상악을　회전하는 상악 처리 단계;cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치에 놓이도록 하악을　회전하는 하악 처리 단계;윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리 단계; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트 단계;를 포함하는 것을 특징으로 한다.The automatic 3D cephalometry method using image processing and CNN according to the present invention for achieving another object is an image processing step for each 3D anatomical structure that performs segmentation and cervical vertebra deletion for each 3D anatomical structure; occlusion for image processing. Occlusal plane rotation processing step of making the teeth parallel to the floor by plane rotation; dividing the reference plane of the maxilla and mandible to newly define correction points based on this, and setting the reference plane (Midsaggital plane-MSP) of the jaw using the reference point And, the maxillary processing step of rotating the upper jaw so that the MSP is placed in the normal position; the mandibular processing step of setting the reference plane using cmANP and rotating the mandible so that the cmANP is placed in the correct position; readjusting the outline to adjust the coordinates of the correct point A correction processing step of performing correction in a calculation manner; And a coordinate update step of updating coordinates by performing CNN network learning based on the modified 3D coordinates.

여기서, 3D 해부학 구조별 영상 처리 단계에서, 상악, 하악, 치아, cervical vertebra를 3D cnn으로 segmentation하고, 전체 3D 이미지에서 연조직과 cervical vertebra 삭제하는 것을 특징으로 한다.Here, in the image processing step for each 3D anatomy structure, the maxilla, mandible, tooth, and cervical vertebra are segmented into 3D cnn, and soft tissue and cervical vertebra are deleted from the entire 3D image.

그리고 교합평면 회전처리 단계에서, Sagittal MIP에서 교합평면 중심의 높이 구하고, Sagittal MIP에서 치아로 이루어진 교합평면이 바닥에 평행하게 sagittal 방향 rotation(교합평면의 중심을 기준)하여 치열이 바닥에 평행하도록 하는 것을 특징으로 한다.And in the occlusal plane rotation processing step, the height of the center of the occlusal plane is obtained in the sagittal MIP, and the occlusal plane consisting of the teeth in the sagittal MIP is rotated in the sagittal direction (based on the center of the occlusal plane) so that the teeth are parallel to the floor. It is characterized by that.

그리고 교합평면 회전처리 단계에서, 기준평면을 잡기 위하여 정면과 위에서 사람을 내려다보았을 때, 두 안와의 중점이 평행하게 있도록 reorientation되어야 하고, 옆에서 사람을 보았을 때, porion과 orbitale가 바닥과 수평이 되도록 하는 것을 특징으로 한다.And in the occlusal plane rotation process step, when looking down at the person from the front and the top to hold the reference plane, reorientation should be made so that the midpoints of the two orbits are parallel, and when looking at the person from the side, the porion and orbitale should be level with the floor. Characterized in that.

그리고 상악 처리 단계는, coronal에서 안구, nasal fossa가 나타난 이미지를 만드는 상악 처리 이미지 결정 단계와,midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리 단계와,Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출 단계와,Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS 산출 단계와,Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출 단계와,sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 포리온 산출 단계와,Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 Nasion 산출 단계와,두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 Sella 산출 단계를 포함하는 것을 특징으로 한다.In addition, the maxillary processing step is a maxillary processing image determination step that creates an image of the eyeball and nasal fossa in the coronal, a rotational processing step in which the midsagittal plane is rotated to be perpendicular to the floor (coronal direction reorientation), and the lowest point of the eyeball in Coronal MIP. The orbital point calculation step of calculating the x, z coordinates and y coordinates meeting the z coordinates in the sagittal section of the x coordinates, and the point where the center point of the nasal fossa meets the line segment parallel to the lowest point of the nasal fossa in Coronal MIP. ANS calculation step of calculating the z-coordinate and y-coordinate that meets the z-coordinate in the sagittal section of the x-coordinate, and the x,z-coordinate from the top point of the nasal fossa in Coronal MIP, and the z-coordinate of the sagittal section of the x-coordinate. The nasal root point calculation step of calculating the y-coordinate that meets with, the porion calculation step of calculating the sagittal MIP from the outer side of the condyle to the center of the condyle in the sagittal direction, and the area between the inner center of the eyeball and the upper eyeball and the root point in the coronal MIP. After obtaining the x and z coordinates using deep learning, the nasion calculation step of calculating the y coordinate meeting z in the sagittal image corresponding to the x coordinate, and the midpoint of the maxilla between the average upper and lower parts of the two eyes It characterized by including a Sella calculation step of calculating the central coordinates after deep learning by segmenting the sella region from the sagittal image MIPed by the width.

그리고 상악 처리 이미지 결정 단계에서, 치열의 후방으로부터 경계를 앞쪽으로 전진하면서, 앞쪽 끝부터 경계까지 coronal MIP를 만들면서 내부 구멍을 구하고, 구멍의 개수가 3개가 되는 곳 중, 구멍 넓이의 합이 가장 큰 단면에서 멈추는 것을 특징으로 한다.And in the maxillary processing image determination step, while advancing the border forward from the rear of the dentition, making a coronal MIP from the anterior end to the border, the inner hole is obtained. Among the places where the number of holes is 3, the sum of the hole widths is the most. It is characterized by stopping at a large cross section.

그리고 깊이가 있는 연속된 hole인 안와, foramen magnum, porioin를 포함하는 구멍의 중심을 한점의 위치로 정하기 위하여, 구멍의 외부로부터 두께를 증가시키면서 MIP 시켜 나갔을 때 가장 큰 구멍 넓이가　나오는 곳을 해당 구멍의 위치로 잡거나, 뼈로 둘러쌓여　closing된 구멍의 형태가　된 후, 가장 큰 너비가 나오는 단면을 선택하거나, 특정 구조물의 sagittal 단면으로 정하는 것을 특징으로 한다.And in order to determine the center of the hole including the orbit, foramen magnum, and porioin, which is a continuous hole with a depth, the hole where the largest hole width comes out when MIP is performed while increasing the thickness from the outside of the hole is the corresponding hole. It is characterized in that the shape of the hole enclosed by bone or closed by bone is selected, and then the cross section with the largest width is selected, or as the sagittal cross section of a specific structure.

그리고 회전 처리 단계에서, midsagittal plane은 coronal MIP에서 양쪽 안구의 중심의 수직이등분선이고, midsagittal plane이 바닥에 수직이 되게 전체 3D 이미지를 coronal 방향으로 회전하는 것을 특징으로 한다.In the rotation processing step, the midsagittal plane is a vertical bisector of the centers of both eyes in the coronal MIP, and the entire 3D image is rotated in the coronal direction so that the midsagittal plane is perpendicular to the floor.

그리고 포리온 산출 단계에서, condyle 후방에서 1.5cm 내외, condylion 높이에서 ramusian 높이까지 영역중 가장 큰 구멍을 구하여 구멍 중심의 좌표를 구하고, 구멍의 x좌표는 condyle 외측으로 정하는 것을 특징으로 한다.And in the porion calculation step, the largest hole in the region from the rear of the condyle to about 1.5 cm and from the height of the condylion to the height of the ramusian is calculated to obtain the coordinates of the center of the hole, and the x-coordinate of the hole is determined to the outside of the condyle.

그리고 Sella 산출 단계에서, sella turcica 영역을 segmentation 후 CBCT에서 3차원으로 딥러닝해서 그 중심좌표를 구하는 것을 특징으로 한다.And in the Sella calculation step, after segmentation of the sella turcica region, it is characterized by deep learning in 3D in CBCT to obtain its central coordinates.

그리고 하악 처리 단계는, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계와,Coronal MIP에서 교정점 좌표 산출을 하는 단계와,Sagittal MIP에서 교정점 좌표 산출을 하는 단계를 포함하는 것을 특징으로 한다.In addition, the mandibular processing step includes obtaining the mandibular canonical line and rotating it perpendicular to the floor, calculating the coordinates of the correction points in Coronal MIP, and calculating the coordinates of the correction points in the Sagittal MIP.

그리고 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계는, computed modified ANP으로, 첫 기준은 이공, 혹은 axial에서 내려다 본 악궁(치열)의 knee point 양쪽에 모두 있는 대칭된 구조면 사용이 가능하고, 회전시마다, 회전 후 sagittal MIP에서 B point를 구해 특정 각도 하후방으로 genioplasty 후 similarity index 비교를 하고, 하악의 정준선 바닥에 수직으로 회전을 하는 것을 특징으로 한다.In addition, the step of obtaining the mandibular canonical line and rotating it perpendicular to the floor is computed modified ANP.The first criterion is the tooth cavity or symmetrical structural surfaces on both the knee points of the arch (dental column) viewed from the axial can be used. At each rotation, the B point is obtained from the sagittal MIP after rotation, and the similarity index is compared after genioplasty to a specific angle downward and backward, and it rotates vertically to the bottom of the canonical line of the mandible.

그리고 Coronal MIP에서 교정점 좌표 산출을 하는 단계는, 이진화된 하악 반구 → Coronal MIP 과정으로, 이진화된 이미지의 가장 높은 점을 이용해 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(Condylion)과, 교합평면에서 턱끝까지 바깥 윤곽선의 knee point를 이용해 z 및 x 좌표 구하고, x좌표 주변의 sagittal 방향 MIP 이미지에서 후방 윤곽선의 knee point를 이용해 y, z 좌표 구하고, coronal MIP 이미지에서 해당 z좌표에 해당하는 x좌표 구해서 업데이트하는 과정(Gonion)과, 교합평면 상방(ramus)만 남기고, ramus의 중심선에서 앞쪽만 남긴 후, 가장 높은 점의 z 및 x좌표 구하는 과정(coronoid process 끝)과, sagittal MIP에서 coronoid process의 끝과 condylion을 있는 선분을 그린 후 내부의 구멍의 가장 아래점의 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(ramusian)을 포함하는 것을 특징으로 한다.And the step of calculating the coordinates of the correction point in the coronal MIP is the process of binarized mandibular hemisphere → Coronal MIP, where the height is obtained using the highest point of the binarized image, and the remaining coordinates are obtained using the average coordinates of the points on the plane of the corresponding height. From the process (Condylion) and the knee point of the outer contour from the occlusal plane to the tip of the chin, the z and x coordinates are obtained, the y, z coordinates are obtained from the sagittal direction MIP image around the x coordinate using the knee point of the posterior contour, and from the coronal MIP image The process of obtaining and updating the x-coordinate corresponding to the z-coordinate (Gonion), leaving only the upper occlusal plane (ramus), leaving only the front side from the center line of the ramus, and obtaining the z and x-coordinates of the highest point (End of the coronoid process) And, in the sagittal MIP, after drawing the end of the coronoid process and the line segment with the condylion, the height of the lowest point of the inner hole is obtained, and the process of obtaining the remaining coordinates with the average coordinates of the points on the plane of the corresponding height (ramusian). It is characterized by that.

그리고 좌표 업데이트 단계는, 수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 한다.And coordinate update step, based on the modified 3D coordinates, after defining the area based on points that can be obtained from the 2D MIP by the 2D regression CNN network, and then learning the 3D regression CNN network to refine and update the coordinates. Characterized in that.

이상에서 설명한 바와 같은 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법은 다음과 같은 효과가 있다.The apparatus and method for automatic 3D cephalometry using image processing and CNN according to the present invention as described above have the following effects.

첫째, 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한다.First, it is possible to automatically and accurately perform 3D head measurement in 3D.

둘째, 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하여 기준 평면(교합평면, 상악: mid-sagittal plane)을 따라 3차원 악골이 재조정(reorientation)되고, 하악의 경우 computed modified ANP를 기준으로 중앙부위의 교정점들이 위치하도록 하여 효율적인 3차원 두부계측이 가능하도록 한다.Second, by dividing the reference plane of the maxilla and mandible separately, correction points are newly defined based on this, and the 3D jaw is reorientated along the reference plane (occlusal plane, maxilla: mid-sagittal plane), and computed modified ANP is used for the mandible. As a reference, the calibration points in the center are located so that efficient three-dimensional head measurement is possible.

셋째, 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하고 좌표가 불분명한 경우, 각각의 기준 plane을 근거로 위치를 정하여 데이터 연산량 및 연산 시간을 단축하여 차원 두부계측이 가능하도록 한다.Third, by dividing the reference plane of the maxilla and mandible separately, correction points are newly defined based on this, and when the coordinates are unclear, the position is determined based on each reference plane to reduce the amount of data calculation and operation time to enable dimensional head measurement.

도 1은 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 구성도
도 2는 상악 처리부의 상세 구성도
도 3은 하악 처리부의 상세 구성도
도 4는 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법을 나타낸 플로우차트
도 5는 본 발명에 따른 상악 처리 상세 과정을 나타낸 플로우차트
도 6은 본 발명에 따른 하악 처리 상세 과정을 나타낸 플로우차트
도 7은 3D CNN에 의해 segmentation된 3차원 구조도
도 8a는 치열의 중심을 기준으로 바닥과 평행하게 회전된 3차원 악골 구성도
도 8b는 기준 평면을 잡기 위한 다른 방향에서의 reorientation 상태를 나타낸 구성도
도 9는 coronal MIP 구성도
도 10은 coronal MIP에서 양쪽 안구의 중심의 수직이등분선이 바닥과 평행하고 FOV의 중심에 오도록 회전 및 평행이동을 한 구성도
도 11은 Rt. Orbitale 좌표 구하기를 나타낸 구성도
도 12는 ANS 구하기를 나타낸 구성도
도 13은 Porion 구하기를 나타낸 구성도
도 14는 Nasion 구하기를 나타낸 구성도
도 15는 Sella 구하기를 나타낸 구성도
도 16은 하악처리를 위하여 하악의 정중선이 바닥에 수직으로 회전하는 것을 나타낸 구성도
도 17은 Condylion 좌표 구하기를 나타낸 구성도
도 18은 Gonion 좌표 구하기를 나타낸 구성도
도 19는 Sagittal MIP에서 구해진 교정점 좌표를 나타낸 구성도1 is a block diagram of an automatic 3D cephalometry apparatus using image processing and CNN according to the present invention
2 is a detailed configuration diagram of the maxillary processing unit
3 is a detailed configuration diagram of the mandibular treatment unit
4 is a flowchart showing an automatic three-dimensional cephalometry method using image processing and CNN according to the present invention.
5 is a flowchart showing a detailed process of maxillary treatment according to the present invention
6 is a flowchart showing a detailed process of mandibular treatment according to the present invention
7 is a 3D structure diagram segmented by 3D CNN
Figure 8a is a configuration diagram of a three-dimensional jaw rotated parallel to the floor based on the center of the dentition
8B is a configuration diagram showing a reorientation state in another direction for holding a reference plane
9 is a configuration diagram of coronal MIP
FIG. 10 is a diagram illustrating a configuration in which rotation and translation are performed so that the vertical bisectors of the centers of both eyes are parallel to the floor and are located at the center of the FOV in coronal MIP.
11 shows Rt. Configuration diagram showing obtaining Orbitale coordinates
12 is a diagram showing the configuration of obtaining ANS
13 is a block diagram showing obtaining Porion
14 is a block diagram showing the Nasion calculation
15 is a block diagram showing obtaining Sella
Figure 16 is a configuration diagram showing that the midline of the mandible rotates vertically on the floor for mandibular treatment
17 is a block diagram showing obtaining Condylion coordinates
18 is a block diagram showing obtaining Gonion coordinates
19 is a configuration diagram showing the coordinates of calibration points obtained from Sagittal MIP

이하, 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of an automatic 3D cephalometry apparatus and method using image processing and CNN according to the present invention will be described in detail.

본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the apparatus and method for automatic 3D cephalometry using image processing and CNN according to the present invention will become apparent through detailed description of each embodiment below.

도 1은 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 구성도이다.1 is a block diagram of an automatic 3D cephalometry apparatus using image processing and CNN according to the present invention.

본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법은 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 것으로 다음과 같은 특징을 포함한다.The apparatus and method for automatic 3D cephalometry using image processing and CNN according to the present invention enables accurate 3D head measurement in 3D and includes the following features.

본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하는 구성을 포함한다.The present invention includes a configuration in which the reference planes of the upper and lower jaws are separately divided and correction points are newly defined based on them.

본 발명은 상악은 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치(바닥에 평행, 바닥에 수직)에 놓이도록 상악을　회전, 하악은 cmANP를 이용해 기준 plane을 설정하고, cmANP이 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 하악을　회전하는 구성을 포함한다.The present invention sets the reference plane (Midsaggital plane-MSP) of the jaw using the reference point for the maxilla, rotates the maxilla so that the MSP is placed in the normal position (parallel to the floor, perpendicular to the floor), and the mandible uses cmANP to set the reference plane. It is set up and includes a configuration that rotates the mandible so that the cmANP is in its correct position (parallel to the floor, perpendicular to the floor).

본 발명은 기준 plane이 설정되어야 찍을 수 있는 점들은 기준 plane을 잡은 후 2D cephalometry 정의에 따라 찍고, 기준 plane이 필요없는 점들은 (예: 뽀족한 점) 정의대로 찍는 구성을 포함한다.The present invention includes a configuration in which points that can be taken when a reference plane is set are taken according to a 2D cephalometry definition after a reference plane is captured, and points that do not need a reference plane (eg, pointed points) are taken as defined.

본 발명은 기준 plane 내에 위치해야 2D와 의미상 연결이 쉬운 점들(2D cephalometry에서 윤곽선 상에 위치)은 '기준 plane 상'에 위치하도록 찍는 구성을 포함한다.The present invention includes a configuration in which points (located on the contour in 2D cephalometry) that must be located in the reference plane to be semantically connected to 2D are photographed so that they are located on the “reference plane”.

이와 같이 본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하는데, 이와 같이 하악 기준평면을 따로 잡게되면, 비대칭 환자, 상하악골의 관계가 틀어진 비정상인 환자도 분석할 수 있다.As described above, the present invention separates the reference plane of the maxilla and mandible and newly defines correction points based on this. When the mandibular reference plane is separately held in this way, it is possible to analyze an asymmetric patient and an abnormal patient whose relationship between the maxilla and mandible is distorted.

이는 MSP(mid-sagittal plane 등) 상악 기준평면만으로는 비뚤어진 하악을 분석할 수 없는 문제를 해결할 수 있도록 한다.This makes it possible to solve the problem that it is impossible to analyze the crooked mandible with only the MSP (mid-sagittal plane, etc.) maxillary reference plane.

본 발명은 특정 방향, 특정 두께의 MIP이미지(2D)에서 딥러닝을 시행해 3차원 딥러닝을 회피함으로써 연산을 줄일 수 있도록 한다.The present invention performs deep learning in a specific direction and a specific thickness of the MIP image (2D) to avoid 3D deep learning, thereby reducing computation.

본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치는 도 1에서와 같이, 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리부(10)와, 영상 처리를 위하여 교합평면 회전(rotation)(Sagittal 방향 reorientation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부(20)와, 상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치(바닥에 평행, 바닥에 수직)에 놓이도록 상악을　회전하는 상악 처리부(30)와, cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 하악을　회전하는 하악 처리부(40)와, Gonion 등에서 knee point가 잘못되었을 경우, 윤곽선 smoothing의 정도를 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부(50)와, 수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하는 좌표 업데이트부(60)를 포함한다.The automatic 3D cephalometry apparatus using image processing and CNN according to the present invention includes an image processing unit 10 for each 3D anatomical structure that performs segmentation and cervical vertebra deletion for each 3D anatomical structure, as shown in FIG. 1, and image processing. For this purpose, the occlusal plane rotation processing unit 20 which makes the teeth parallel to the floor by rotation of the occlusal plane (sagittal reorientation), and the reference plane of the maxilla and mandible are newly defined based on this, and the jaw bone using the reference point The reference plane (Midsaggital plane-MSP) of is set, and the maxillary processing unit 30 rotates the upper jaw so that the MSP is placed in a fixed position (parallel to the floor, perpendicular to the floor), and the reference plane is set using cmANP, and cmANP The mandibular processing unit 40 that rotates the mandible so that it is placed in this correct position (parallel to the floor, perpendicular to the floor), and when the knee point is wrong in Gonion, etc., the degree of contour smoothing is readjusted to calculate the exact coordinates of the point. Based on the corrected 3D coordinates and the correction processing unit 50, the area is defined based on points that can be obtained from the 2D MIP by the 2D regression CNN network, and then learned by the 3D regression CNN network. It includes a coordinate update unit 60 to refine the coordinates.

여기서, 상악 처리부(30)의 상세 구성은 다음과 같다.Here, the detailed configuration of the maxillary processing unit 30 is as follows.

도 2는 상악 처리부의 상세 구성도이다.2 is a detailed configuration diagram of the maxillary treatment unit.

상악 처리부(30)는 coronal에서 안구, nasal fossa가 나타난 이미지를 만드는 상악 처리 이미지 결정부(31)와, midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리부(32)와, Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출부(33)와, Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS 산출부(34)와, Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출부(35)와, sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 포리온 산출부(36)와, Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 Nasion 산출부(37)와, 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 (예 8mm) 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 Sella 산출부(38)를 포함한다.The maxillary processing unit 30 includes a maxillary processing image determination unit 31 that creates an image of the eyeball and nasal fossa in the coronal, a rotation processing unit 32 that rotates so that the midsagittal plane is perpendicular to the floor (coronal direction reorientation), and the coronal An orbital point calculation unit (33) that calculates the x, z coordinates as the lowest point of the eyeball in MIP, and calculates the y coordinate that meets the z coordinate in the sagittal section of the x coordinate, and the center point of the nasal fossa in Coronal MIP is the lowest point of the nasal fossa. An ANS calculation unit 34 that calculates the x,z coordinates from the point where it meets the parallel line segment, and the y coordinate that meets the z coordinate in the sagittal section of the x coordinate, and x,z coordinates from the top point of the nasal fossa in Coronal MIP And a nose root point calculation unit 35 that calculates the y coordinate meeting the z coordinate in the sagittal section of the x coordinate, and a porion calculation unit 36 that calculates the sagittal MIP from the outside of the condyle to the center of the condyle in the sagittal direction. , Nasion calculation unit that calculates the y coordinate meeting z in the sagittal image corresponding to the x coordinate after obtaining x and z coordinates using deep learning by defining the area between the inner center of the eyeball, the upper eyeball and the root point in the coronal MIP ( 37) and the Sella calculation unit that calculates the central coordinates after deep learning by segmenting the sella region from the sagittal image MIPed by a specific width (e.g. 8mm) based on the midpoint of the maxilla between the average upper and lower parts of the two eyes (38). ).

그리고 하악 처리부(40)의 상세 구성은 다음과 같다.And the detailed configuration of the mandibular processing unit 40 is as follows.

도 3은 하악 처리부의 상세 구성도이다.3 is a detailed configuration diagram of the mandibular treatment unit.

하악 처리부(40)는 하악 정준선 구하기 및 바닥에 수직으로 회전하는 회전 처리부(41)와, Coronal MIP에서 교정점 좌표 산출을 하는 Coronal MIP 교정점 좌표 산출부(42)와, Sagittal MIP에서 교정점 좌표 산출을 하는 Sagittal MIP 교정점 좌표 산출부(43)를 포함한다.The mandibular processing unit 40 includes a rotation processing unit 41 that obtains a mandibular canonical line and rotates perpendicular to the floor, a Coronal MIP calibration point coordinate calculation unit 42 that calculates calibration point coordinates in Coronal MIP, and a calibration point in Sagittal MIP. It includes a Sagittal MIP calibration point coordinate calculation unit 43 that calculates the coordinates.

본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법을 구체적으로 설명하면 다음과 같다.The image processing and automatic three-dimensional cephalometry method using CNN according to the present invention will be described in detail as follows.

도 4는 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법을 나타낸 플로우차트이다.4 is a flowchart showing an automatic 3D cephalometry method using image processing and CNN according to the present invention.

본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법은 크게 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제 단계(S401)와, 교합평면 rotation(Sagittal 방향 reorientation) 단계(S402)와, 상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치(바닥에 평행, 바닥에 수직)에 놓이도록 상악을　회전하는 상악처리 단계(S403)와, cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 하악을　회전하는 하악 처리 단계(S404)와, Gonion 등에서 knee point가 잘못되었을 경우, 윤곽선 smoothing의 정도를 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리(Computer assisted correction system) 단계(S405)와, 수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하는 딥러닝에 의한 좌표 업데이트 단계(S406)를 포함한다.The image processing and automatic three-dimensional cephalometry method using CNN according to the present invention are largely divided into 3D anatomical structure segmentation and cervical vertebra deletion step (S401), occlusal plane rotation (Sagittal direction reorientation) step (S402), and up and down. By dividing the reference plane of the jaw and newly defining correction points based on this, setting the reference plane (Midsaggital plane-MSP) of the jaw using the reference point, and setting the maxilla so that the MSP is placed in the normal position (parallel to the floor, perpendicular to the floor). Rotating maxillary processing step (S403), setting a reference plane using cmANP, and rotating the mandible so that cmANP is in the correct position (parallel to the floor, perpendicular to the floor) (S404), and knee in Gonion, etc. If a point is wrong, a computer assisted correction system step (S405) that corrects in a way that calculates the exact coordinates of the point by re-adjusting the degree of contour smoothing, and based on the corrected 3D coordinates, 2D MIP After defining a region based on points that can be obtained by a 2D regression CNN network, the coordinates are updated by deep learning by learning with a 3D regression CNN network to refine the coordinates (S406).

여기서, 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제 단계(S401)에서는 도 7에서와 같이, 상악(청), 하악(적), 치아(백), cervical vertebra(녹)를 3D cnn으로 segmentation하고, 전체 3D 이미지에서 연조직과 cervical vertebra 삭제하는 것이다.Here, in the 3D anatomical structure segmentation and cervical vertebra deletion step (S401), as shown in FIG. 7, the maxillary (blue), mandible (red), tooth (white), and cervical vertebra (green) are segmented into 3D cnn, and the entire The soft tissue and cervical vertebra are removed from the 3D image.

도 7은 3D CNN에 의해 segmentation된 3차원 구조도를 나타낸 것으로, (A)는 3D CNN에 의해 segmentation된 3차원 악골, 치아 및 cervical vertebra을 나타낸 것이고, (B)는 연조직과 cervical vertebra가 제거된 악골을 나타낸 것이다.7 shows a three-dimensional structure diagram segmented by 3D CNN, (A) shows a three-dimensional jaw, teeth and cervical vertebra segmented by 3D CNN, and (B) is a jaw with soft tissue and cervical vertebra removed. Is shown.

그리고 교합평면 rotation(Sagittal 방향 reorientation) 단계(S402)는 도 8a에서와 같이, Sagittal MIP에서 교합평면 중심의 높이 구하고, Sagittal MIP에서 치아로 이루어진 교합평면이 바닥에 평행하게 sagittal 방향 rotation(교합평면의 중심을 기준)하는 것이다. 치열이 바닥에 평행하면 이후의 영상처리가 수월해진다.And the occlusal plane rotation (Sagittal direction reorientation) step (S402), as in Fig.8a, obtain the height of the occlusal plane center in the sagittal MIP, and in the sagittal MIP, the occlusal plane made of teeth is parallel to the floor and the sagittal direction rotation (occlusal plane) Center). If the teeth are parallel to the floor, subsequent image processing becomes easier.

도 8a는 (A)치열의 중심을 기준으로 바닥과 평행하게 회전된 (B)3차원 악골 구성을 나타낸 것이다.Figure 8a shows the (B) three-dimensional jawbone configuration rotated parallel to the floor based on the center of the (A) tooth row.

그리고 도 8b는 기준 평면을 잡기 위한 다른 방향에서의 reorientation 상태를 나타낸 구성도이다.And FIG. 8B is a configuration diagram showing a state of reorientation in another direction for grasping a reference plane.

기준평면을 잡을 때, 1)정면과 위에서 사람을 내려다보았을 때, 두 안와의 중점이 평행하게 있도록 reorientation되어야 하고, 2)옆에서 사람을 보았을 때, porion과 orbitale가 바닥과 수평이 되어야 한다.When holding the reference plane, 1) when looking down at the person from the front and from above, the center of the two orbits should be parallel, and 2) when looking at the person from the side, the porion and orbitale should be level with the floor.

그리고 상악처리 단계(S403)를 구체적으로 설명하면 다음과 같다.And the maxillary processing step (S403) will be described in detail as follows.

도 5는 본 발명에 따른 상악 처리 상세 과정을 나타낸 플로우차트이다.5 is a flowchart showing a detailed process of maxillary processing according to the present invention.

상악처리 단계(S403)는 coronal에서 안구, nasal fossa가 나타난 이미지 결정 단계(S501)와, midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 단계(S502)와, Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S503)와, Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S504)와, Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S505)와, sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 단계(S506)와, Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출을 하는 단계(S507)와, 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비(예 8mm) 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 단계(S508)를 포함한다.The maxillary processing step (S403) includes an image determination step in which the eyeball and nasal fossa appear in the coronal (S501), a step in which the midsagittal plane is rotated to be perpendicular to the floor (coronal direction reorientation) (S502), and the lowest point of the eyeball in the coronal MIP. Calculate the x and z coordinates with the step of calculating the y coordinate that meets the z coordinate in the sagittal section of the x coordinate (S503), and in the coronal MIP, the center point of the nasal fossa meets the line segment parallel to the lowest point of the nasal fossa. Calculating the z-coordinate, and calculating the y-coordinate that meets the z-coordinate in the sagittal section of the x-coordinate (S504), and the x,z coordinates from the top point of the nasal fossa in Coronal MIP, and z in the sagittal section of the x-coordinate Calculating the y-coordinate meeting the coordinates (S505), calculating the sagittal MIP from the outer side of the condyle to the center of the condyle in the sagittal direction (S506), and forming a region between the inner center of the eyeball, the upper eyeball and the root point in the coronal MIP. After obtaining the x and z coordinates using deep learning, calculating the y coordinate meeting z in the sagittal image corresponding to the x coordinate (S507), and based on the midpoint of the maxilla between the average upper and lower parts of the two eyes. And calculating the center coordinates after deep learning by segmenting the sella region from the sagittal image MIPed by a specific width (eg 8 mm) (S508).

여기서, 상악처리를 위한 coronal에서 안구, nasal fossa가 나타난 이미지 결정 단계(S501)는, 치열의 후방으로부터 경계를 앞쪽으로 전진하면서, 앞쪽 끝부터 경계까지 coronal MIP를 만들면서 내부 구멍을 구하고, 구멍의 개수가 3개가 되는 곳 중, 구멍 넓이의 합이 가장 큰 단면에서 멈추는 것이다.Here, in the image determination step (S501) in which the eyeball and nasal fossa appear in the coronal for maxillary processing, while advancing the boundary from the rear of the dentition to the front, the inner hole is obtained while making the coronal MIP from the anterior end to the boundary. Among the places where the number is 3, it stops at the cross section where the sum of the hole widths is the largest.

도 9는 coronal MIP 구성도이다.9 is a configuration diagram of a coronal MIP.

도 9에서, (A)는 전방부에서 치열 후방까지의 coronal MIP, (B)는 전방부에서 치열 중간까지의 coronal MIP, (C)는 전방부에서 구멍 넓이가 최대가 되는 coronal MIP, (D)는 너무 전방부로 좁게 MIP 되어 안구가 구멍으로 추출될 수 없는 상황을 나타낸 것이다.In Figure 9, (A) is a coronal MIP from anterior to posterior dentition, (B) is a coronal MIP from anterior to the middle of a dentition, (C) is a coronal MIP with a maximum hole width in the anterior part, (D ) Represents a situation in which the eyeball cannot be extracted through the hole due to the MIP being too narrow anteriorly.

구멍(안와, foramen magnum, porioin)의 경우 깊이가 있는 연속된 hole이기 때문에, 구멍의 중심을 잡을 때　어디를　이 구멍을　대표하는 한점의 위치로 잡을 거인지 결정하는 것은 어렵다.In the case of a hole (orbital, foramen magnum, porioin), it is a continuous hole with a depth, so it is difficult to determine where to place the hole as a representative point when centering the hole.

본 발명에서는 1)구멍의 외부로부터 두께를 증가시키면서 MIP 시켜 나갔을 때 가장 큰 구멍 넓이가　나오는 곳을 해당 구멍의 위치로 잡거나, In the present invention, 1) when MIP is performed while increasing the thickness from the outside of the hole, the largest hole width is taken as the location of the hole, or

2)뼈로 둘러쌓여　closing된 구멍의 형태가　된 후, 가장 큰 너비가 나오는 단면을 선택하거나,2) After the shape of the hole enclosed by the bone 　 has been 　, select the cross section with the largest width, or

3)혹은 porion 같은 경우 특정 구조물(condyle의 중심)의 sagittal 단면으로도 잡을 수 있다.3) Or, in the case of porion, it can be taken as a sagittal cross section of a specific structure (the center of the condyle).

상악처리를 위한 mid sagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 단계(S502)에서, midsagittal plane은 coronal MIP에서 양쪽 안구의 중심의 수직이등분선이고, midsagittal plane이 바닥에 수직이 되게 전체 3D 이미지를 coronal 방향으로 회전하는 것이다.In the step of rotating the mid sagittal plane for maxillary treatment to be perpendicular to the floor (coronal direction reorientation) (S502), the midsagittal plane is the vertical bisector of the center of both eyes in the coronal MIP, and the midsagittal plane is the whole so that it is perpendicular to the floor. It rotates the 3D image in the coronal direction.

도 10은 coronal MIP에서 양쪽 안구의 중심의 수직이등분선이 바닥과 평행하고 FOV의 중심에 오도록 회전 및 평행이동을 한 구성도이다.FIG. 10 is a diagram illustrating a configuration in which rotation and translation are performed so that the vertical bisectors of the centers of both eyeballs are parallel to the floor and are located at the center of the FOV in coronal MIP.

상악처리를 위한 Orbitale 구하기는 Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S503)에 의해 이루어지는 것으로 도 11에서와 같다.Obtaining the orbitale for maxillary processing is performed by the step (S503) of obtaining the x and z coordinates as the lowest point of the eyeball in Coronal MIP, and calculating the y coordinate meeting the z coordinate in the sagittal section of the x coordinate (S503), as shown in FIG.

도 11은 Rt. Orbitale 좌표 구하기를 나타낸 것으로, (A)는 S501 단계에서 얻어진 coronal MIP, (B)는 왼쪽 상단 구멍의 최하점의 높이와 x좌표를 구하고, (C)는 해당 x좌표에 해당하는 sagittal view에서 해당 높이에 해당하는 y좌표를 구하는 것을 나타낸 것이다.11 shows Rt. (A) is the coronal MIP obtained in step S501, (B) is the height and x coordinate of the lowest point of the upper left hole, and (C) is the corresponding height in the sagittal view corresponding to the x coordinate. This is to find the y-coordinate corresponding to.

상악처리를 위한 Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S504)는 도 12에서와 같이 이루어진다.In the coronal MIP for maxillary treatment, x,z coordinates are obtained as the point where the center point of the nasal fossa meets the line segment parallel to the lowest point of the nasal fossa, and the y coordinate that meets the z coordinate in the sagittal section of the x coordinate is calculated (S504). Is made as in FIG. 12.

도 12는 ANS 구하기를 나타낸 구성도이다.12 is a block diagram showing the calculation of ANS.

(A)는 S501 단계에서 얻어진 coronal MIP, (B)는 하방 구멍의 최하점의 높이와 x좌표를 구하고, (C)는 해당 x좌표에 해당하는 sagittal view에서 해당 높이에 해당하는 y좌표를 구하는 것을 나타낸 것이다.(A) is the coronal MIP obtained in step S501, (B) is to obtain the height and x-coordinate of the lowest point of the lower hole, and (C) is to obtain the y-coordinate corresponding to the corresponding height in the sagittal view corresponding to the x-coordinate. Is shown.

그리고 상악처리를 위한 코뿌리점 구하기는 Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S505)에 의해 수행된다.And the nose root point for maxillary processing is performed by obtaining the x,z coordinates from the top point of the nasal fossa in Coronal MIP, and calculating the y coordinate meeting the z coordinate in the sagittal section of the x coordinate (S505).

그리고 상악처리를 위한 sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 단계(S506)는 도 13에서와 같이 이루어지고, condyle 후방에서 1.5cm 내외, condylion 높이에서 ramusian 높이까지 영역중 가장 큰 구멍을 구하여 구멍 중심의 좌표를 구하고, 구멍의 x좌표는 condyle 외측 등으로 정한다.In addition, the step of calculating the sagittal MIP from the outer side of the condyle to the center of the condyle in the sagittal direction for maxillary treatment (S506) is performed as in FIG. 13, and the largest hole in the area from the rear of the condyle to about 1.5 cm and from the height of the condylion to the ramusian height. Calculate the coordinates of the center of the hole, and the x-coordinate of the hole is determined by the outer side of the condyle.

도 13은 Porion 구하기를 나타낸 구성도이다.13 is a diagram showing the configuration of obtaining Porion.

도 13에서 (A)는 condyle 중앙에서 외측까지의 sagittal MIP, (B)는 condyle 후방에서부터 1.5cm 내, condylion에서 ramusian 상부까지 범위에서 가장 큰 구멍 (C)을 구하는 것을 나타낸 것이다.In FIG. 13, (A) is a sagittal MIP from the center of the condyle to the outside, (B) shows that the largest hole (C) is obtained within 1.5 cm from the rear of the condyle, and from the condylion to the upper ramusian.

그리고 상악 처리를 위한 Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출을 하는 단계(S507)는 Nasion 구하기 위한 것으로 도 14에서와 같이 이루어진다.And in the coronal MIP for maxillary treatment, x and z coordinates are obtained using deep learning by limiting the area between the inner center of the eyeball, the upper eyeball and the root of the nose, and then calculating the y coordinate meeting z in the sagittal image corresponding to the x coordinate. The step (S507) is for obtaining Nasion and is performed as shown in FIG. 14.

도 14는 Nasion 구하기를 나타낸 구성도이다.14 is a block diagram showing the Nasion calculation.

도 14에서 (A)는 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역(붉은색)을 한정하여 Coronal MIP에서 딥러닝을 이용하여 x 및 z 좌표 구한 후(초록점), (B) x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 구하기를 나타낸 것이다.In Figure 14, (A) is the inner center of the eyeball, the upper part of the eyeball, and the area (red color) is defined between the root point of the nose, and x and z coordinates are obtained using deep learning in Coronal MIP (green point), and (B) x coordinates. It shows how to find the y-coordinate that meets z in the sagittal image corresponding to.

그리고 상악 처리를 위한 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비(예 8mm) 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 단계(S508)는 Sella 구하기를나타낸 것으로, 도 15에서와 같다.And the step of segmenting the sella region from the sagittal image MIPed by a specific width (e.g. 8mm) based on the midpoint of the maxilla between the average upper and lower portions of the two eyes for maxillary processing, and calculating the central coordinates after deep learning (S508) Is shown to obtain Sella, as in FIG. 15.

도 15는 Sella 구하기를 나타낸 구성도이다.15 is a diagram showing the configuration of obtaining Sella.

Sella 구하기는 sella turcica 영역을 segmentation 후 CBCT에서 3차원으로 딥러닝해서 그 중심좌표를 구하는 것도 가능하다.To find Sella, it is also possible to find the center coordinates of the sella turcica region by segmentation and deep learning in 3D in CBCT.

하악 처리 단계(S404)를 구체적으로 설명하면 다음과 같다.The mandibular processing step (S404) will be described in detail as follows.

도 6은 본 발명에 따른 하악 처리 상세 과정을 나타낸 플로우차트이다.6 is a flowchart showing a detailed process of mandibular treatment according to the present invention.

하악 처리 단계(S404)는 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계(S601)와, Coronal MIP에서 교정점 좌표 산출을 하는 단계(S602)와, Sagittal MIP에서 교정점 좌표 산출을 하는 단계(S603)를 포함한다.The mandibular processing step (S404) includes obtaining the mandibular canonical line and rotating it perpendicular to the floor (S601), calculating the coordinates of the correction points in the Coronal MIP (S602), and calculating the coordinates of the correction points in the Sagittal MIP ( S603).

여기서, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계(S601)는 도 16에서와 같이 이루어진다.Here, the step of obtaining the mandibular canonical line and rotating it perpendicular to the floor (S601) is performed as in FIG. 16.

도 16은 하악처리를 위하여 하악의 정중선이 바닥에 수직으로 회전하는 것을 나타낸 구성도이다.16 is a block diagram showing that the midline of the mandible rotates vertically on the floor for mandibular treatment.

computed modified ANP으로, 첫 기준은 이공, 혹은 axial에서 내려다 본 악궁(치열)의 knee point 등 양쪽에 모두 있는 대칭된 구조면 사용이 가능하고, 회전시마다, 회전 후 sagittal MIP에서 B point를 구해 특정 각도(예: 70도) 하후방으로 genioplasty 후 similarity index 비교하고, 하악의 정준선 바닥에 수직으로 회전을 한다.With computed modified ANP, the first criterion is the use of symmetrical structural surfaces on both sides, such as the knee point of the arch (dental column) looking down from the tooth cavity or the axial, and each rotation, after rotation, a specific angle by calculating the B point from the sagittal MIP. (Example: 70 degrees) After genioplasty to the lower posterior, compare the similarity index, and rotate it vertically to the bottom of the mandibular canonical line.

그리고 Coronal MIP에서 교정점 좌표 산출을 하는 단계(S602)는 이진화된 하악 반구 → Coronal MIP 과정으로, 이진화된 이미지의 가장 높은 점을 이용해 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(Condylion)과, 교합평면에서 턱끝까지 바깥 윤곽선의 knee point를 이용해 z 및 x 좌표 구하고, x좌표 주변 (예: 좌우 3mm)의 sagittal 방향 MIP 이미지에서 후방 윤곽선의 knee point를 이용해 y, z 좌표 구하고, coronal MIP 이미지에서 해당 z좌표에 해당하는 x좌표 구해서 업데이트하는 과정(Gonion)과, 교합평면 상방(ramus)만 남기고, ramus의 중심선에서 앞쪽만 남긴 후, 가장 높은 점의의 z 및 x좌표 구하는 과정(coronoid process 끝)과, sagittal MIP에서 coronoid process의 끝과 condylion을 있는 선분을 그린 후 내부의 구멍의 가장 아래점의 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(ramusian)을 포함한다.And the step of calculating the coordinates of the correction point in the coronal MIP (S602) is a process of binarized mandibular hemisphere → Coronal MIP, where the height is obtained using the highest point of the binarized image, and the remaining coordinates are the average coordinates of the points on the plane of the corresponding height. The process of obtaining (Condylion), z and x coordinates using the knee point of the outer contour from the occlusal plane to the tip of the chin, and y, using the knee point of the posterior contour in the sagittal direction MIP image around the x coordinate (e.g. 3mm left and right). The process of obtaining the z-coordinate, obtaining and updating the x-coordinate corresponding to the z-coordinate from the coronal MIP image (Gonion), leaving only the upper occlusal plane (ramus), leaving only the front side from the center line of the ramus, and then the z and After drawing the x-coordinate process (the end of the coronoid process) and the line segment with the condylion and the end of the coronoid process in the sagittal MIP, the height of the lowest point of the inner hole is obtained, and the remaining coordinates are the average coordinates of the points on the plane of the corresponding height. It includes the process of finding (ramusian).

도 17은 Condylion 좌표 구하기를 나타낸 구성도이고, 도 18은 Gonion 좌표 구하기를 나타낸 구성도이다.FIG. 17 is a configuration diagram illustrating obtaining Condylion coordinates, and FIG. 18 is a configuration diagram illustrating obtaining Gonion coordinates.

그리고 Sagittal MIP에서 교정점 좌표 산출을 하는 단계(S603)는 이진화된 하악 반구 → Sagittal MIP 과정으로 도 19에서와 같이 수행된다.In addition, the step (S603) of calculating the coordinates of the correction point in the Sagittal MIP is performed as shown in FIG. 19 in a process of binarized mandibular hemisphere → Sagittal MIP.

도 19는 Sagittal MIP에서 구해진 교정점 좌표를 나타낸 구성도이다.19 is a block diagram showing the coordinates of calibration points obtained from Sagittal MIP.

B, Menton, Gnathione, Pogonion를 sagittal 방향에서 영역을 한정하여 정의대로 y, z좌표 구하는 것이다.B, Menton, Gnathione, and Pogonion are defined in the sagittal direction to obtain the y and z coordinates as defined.

예를 들어, Menton의 경우 하악의 끝점, B점의 경우 하악 전치 치관 하방에서 앞턱(치관 하방에서 턱끝까지)의 중간 높이(혹은 치근첨 주변 위 아래 2mm 범위) 까지의 전면 윤곽선에서 knee point로 한다.For example, in the case of Menton, the knee point is at the front contour of the mandible end point, and in the case of point B, from the lower anterior crown to the middle height of the anterior jaw (or the range of 2 mm above and below the apex). .

이상에서 설명한 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하여 기준 평면(교합평면, 상악: mid-sagittal plane)을 따라 3차원 악골이 재조정(reorientation)되고, 하악의 경우 computed modified ANP를 기준으로 중앙부위의 교정점들이 위치하도록 하여 비대칭 환자, 상하악골의 관계가 틀어진 비정상인 환자도 분석할 수 있도록 한 것이다.The apparatus and method for automatic 3D cephalometry using image processing and CNN according to the present invention described above divide the reference plane of the maxilla and mandible separately, and newly define correction points based on the reference plane (occlusal plane, maxillary: mid- The three-dimensional jaw bone is reorientated along the sagittal plane, and in the case of the mandible, the correction points in the central area are located based on the computed modified ANP, so that asymmetric patients and abnormal patients whose relationship between the maxilla and mandible is distorted can also be analyzed. I did it.

본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하고 좌표가 불분명한 경우, 각각의 기준 plane을 근거로 위치를 정하여 데이터 연산량을 줄일 수 있도록 한 것이다.In the present invention, when the reference planes of the upper and lower jaws are separately divided, correction points are newly defined based on them, and when the coordinates are unclear, a location is determined based on each reference plane to reduce the amount of data computation.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered from a descriptive point of view rather than a limiting point of view, and the scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto are included in the present invention. It will have to be interpreted.

10. 3D 해부학 구조별 영상 처리부
20. 교합평면 회전처리부
30. 상악 처리부
40. 하악 처리부
50. 보정 처리부
60. 좌표 업데이트부10. Image processing unit for each 3D anatomical structure
20. Occlusal plane rotation processing unit
30. Maxillary treatment unit
40. Mandibular treatment
50. Correction processing unit
60. Coordinate update unit

Claims (18)

3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리부;
영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부;
상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치에 놓이도록 상악을　회전하는 상악 처리부;
cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치에 놓이도록 하악을　회전하는 하악 처리부;
윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트부;를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.3D anatomical structure-specific image processing unit that performs segmentation by 3D anatomical structure and cervical vertebra deletion;
The occlusal plane rotation processing unit to make the teeth parallel to the floor by rotation of the occlusal plane for image processing;
A maxillary processing unit for dividing a reference plane of the maxilla and mandible to newly define correction points based on the reference point, setting a reference plane (Midsaggital plane-MSP) of the jaw using the reference point, and rotating the maxilla so that the MSP is placed in a correct position;
a mandibular processing unit that sets a reference plane using cmANP and rotates the mandible so that cmANP is placed in a correct position;
A correction processing unit that corrects the outline in a manner that readjusts the outline and calculates the exact coordinates of the point; And a coordinate update unit for updating coordinates by learning a CNN network based on the modified 3D coordinates. 제 1 항에 있어서, 상악 처리부는,
coronal에서 안구, nasal fossa가 나타난 이미지를 만드는 상악 처리 이미지 결정부와,
midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리부와,
Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출부와,
Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS 산출부와,
Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출부와,
sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 포리온 산출부와,
Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 Nasion 산출부와,
두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 Sella 산출부를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.The method of claim 1, wherein the maxillary treatment unit,
a maxillary processing image determining part that creates an image in which the eyeball and nasal fossa appear in the coronal,
a rotation processing unit that rotates the midsagittal plane perpendicular to the floor (reorientation in the coronal direction),
An orbital point calculation unit that calculates the x, z coordinates as the lowest point of the eyeball in Coronal MIP, and calculates the y coordinate meeting the z coordinate in the sagittal section of the x coordinate;
In Coronal MIP, the center point of the nasal fossa meets the line segment parallel to the lowest point of the nasal fossa, and calculates the x,z coordinates, and calculates the y coordinate that meets the z coordinate in the sagittal section of the x coordinate; and
A nose root point calculation unit that calculates the x,z coordinates from the top point of the nasal fossa in the coronal MIP, and calculates the y coordinate meeting the z coordinate in the sagittal section of the x coordinate,
a porion calculation unit that calculates the sagittal MIP from the outer side of the condyle to the center of the condyle in the sagittal direction,
In Coronal MIP, a Nasion calculation unit that calculates the y coordinate meeting z in the sagittal image corresponding to the x coordinate after obtaining x and z coordinates using deep learning by defining a region between the inner center of the eyeball, the upper eyeball and the root point, and
Image processing and CNN, characterized in that it includes a Sella calculation unit that calculates the central coordinates after deep learning by segmenting the sella region from the sagittal image MIPed by a specific width based on the midpoint of the maxilla between the average upper and lower parts of the two eyes. Automatic three-dimensional cephalometry device using. 제 1 항에 있어서, 하악 처리부는,
하악 정준선 구하기 및 바닥에 수직으로 회전하는 회전 처리부와,
Coronal MIP에서 교정점 좌표 산출을 하는 Coronal MIP 교정점 좌표 산출부와,
Sagittal MIP에서 교정점 좌표 산출을 하는 Sagittal MIP 교정점 좌표 산출부를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.The method of claim 1, wherein the mandibular treatment unit,
Obtaining the mandibular canonical line and rotating processing unit rotating perpendicular to the floor,
A Coronal MIP calibration point coordinate calculation unit that calculates calibration point coordinates in Coronal MIP,
An automatic three-dimensional cephalometry device using image processing and CNN, comprising: a Sagittal MIP calibration point coordinate calculation unit that calculates calibration point coordinates in Sagittal MIP. 제 1 항에 있어서, 좌표 업데이트부는,
수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.The method of claim 1, wherein the coordinate update unit,
Based on the modified 3D coordinates, a region is defined based on points that can be obtained by a 2D regression CNN network in a 2D MIP, and then the coordinates are refined and updated by learning with a 3D regression CNN network. Automatic 3D cephalometry device using processing and CNN. 3D 해부학 구조별 segmentation 및 cervical vertebra 삭제를 수행하는 3D 해부학 구조별 영상 처리 단계;
영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리 단계;
상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가　정위치에 놓이도록 상악을　회전하는 상악 처리 단계;
cmANP를 이용해 기준 평면을 설정하고, cmANP이 정위치에 놓이도록 하악을　회전하는 하악 처리 단계;
윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리 단계; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트 단계;를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.3D anatomical structure-specific image processing step of performing segmentation by 3D anatomical structure and cervical vertebra deletion;
The occlusal plane rotation processing step of making the teeth parallel to the floor by rotation of the occlusal plane for image processing;
A maxillary processing step of dividing a reference plane of the maxilla and mandible to newly define correction points based on this, setting a reference plane (Midsaggital plane-MSP) of the jaw using the reference point, and rotating the maxilla so that the MSP is placed in a correct position;
a mandibular processing step of setting a reference plane using cmANP and rotating the mandible so that the cmANP is placed in the correct position;
A correction processing step of correcting the outline by re-adjusting the outline and calculating the coordinates of the exact point; And a coordinate update step of updating coordinates by learning a CNN network based on the modified 3D coordinates. 제 5 항에 있어서, 3D 해부학 구조별 영상 처리 단계에서,
상악, 하악, 치아, cervical vertebra를 3D cnn으로 segmentation하고, 전체 3D 이미지에서 연조직과 cervical vertebra 삭제하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 5, wherein in the image processing step for each 3D anatomy structure,
An automatic three-dimensional cephalometry method using image processing and CNN, characterized in that the maxilla, mandible, tooth, and cervical vertebra are segmented into 3D cnn, and soft tissue and cervical vertebra are deleted from the entire 3D image. 제 5 항에 있어서, 교합평면 회전처리 단계에서,
Sagittal MIP에서 교합평면 중심의 높이 구하고, Sagittal MIP에서 치아로 이루어진 교합평면이 바닥에 평행하게 sagittal 방향 rotation(교합평면의 중심을 기준)하여 치열이 바닥에 평행하도록 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 5, wherein in the step of rotating the occlusal plane,
Image processing and CNN, characterized in that the height of the center of the occlusal plane is obtained in the sagittal MIP, and the occlusal plane made of teeth in the sagittal MIP is rotated in the sagittal direction (based on the center of the occlusal plane) to be parallel to the floor. Automatic three-dimensional cephalometry method using. 제 5 항에 있어서, 교합평면 회전처리 단계에서,
기준평면을 잡기 위하여 정면과 위에서 사람을 내려다보았을 때, 두 안와의 중점이 평행하게 있도록 reorientation되어야 하고, 옆에서 사람을 보았을 때, porion과 orbitale가 바닥과 수평이 되도록 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 5, wherein in the step of rotating the occlusal plane,
Image processing and image processing characterized in that when looking down at a person from the front and from above in order to establish a reference plane, the center of the two orbits should be parallel, and when looking at the person from the side, the porion and orbitale are made horizontal with the floor. Automatic three-dimensional cephalometry method using CNN. 제 5 항에 있어서, 상악 처리 단계는,
coronal에서 안구, nasal fossa가 나타난 이미지를 만드는 상악 처리 이미지 결정 단계와,
midsagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리 단계와,
Coronal MIP에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출 단계와,
Coronal MIP에서 nasal fossa의 중심점이 nasal fossa의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS 산출 단계와,
Coronal MIP에서 nasal fossa의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출 단계와,
sagittal 방향으로 condyle 외측에서 condyle 중심까지 sagittal MIP를 산출하는 포리온 산출 단계와,
Coronal MIP에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 Nasion 산출 단계와,
두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP한 sagittal image에서 sella 영역을 segmentation해서 딥러닝 후 그 중심좌표를 산출하는 Sella 산출 단계를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 5, wherein the maxillary treatment step,
The step of determining the maxillary processing image to create an image in which the eyeball and nasal fossa appear in the coronal,
a rotation processing step in which the midsagittal plane is rotated to be perpendicular to the floor (coronal direction reorientation), and
An orbital point calculation step of calculating the x, z coordinates as the lowest point of the eyeball in Coronal MIP, and calculating the y coordinate meeting the z coordinate in the sagittal section of the x coordinate,
In Coronal MIP, the ANS calculation step of calculating the x,z coordinates as the point where the center point of the nasal fossa meets the line segment parallel to the lowest point of the nasal fossa, and calculating the y coordinate meeting the z coordinate in the sagittal section of the x coordinate, and
In the coronal MIP, x,z coordinates are calculated from the top point of the nasal fossa, and the y-coordinate that meets the z-coordinate at the sagittal section of the x-coordinate is calculated, and
A porion calculation step of calculating the sagittal MIP from the outer side of the condyle to the center of the condyle in the sagittal direction, and
Nasion calculation step of calculating the y coordinate meeting z in the sagittal image corresponding to the x coordinate after obtaining x and z coordinates using deep learning by defining the area between the inner center of the eyeball, the upper eyeball, and the root point in the coronal MIP, and
Image processing, characterized in that it includes a Sella calculation step of calculating the central coordinates after deep learning by segmenting the sella region from the sagittal image MIPed by a specific width based on the midpoint of the maxilla between the average upper and lower parts of the two eyes. Automatic three-dimensional cephalometry method using CNN. 제 9 항에 있어서, 상악 처리 이미지 결정 단계에서,
치열의 후방으로부터 경계를 앞쪽으로 전진하면서, 앞쪽 끝부터 경계까지 coronal MIP를 만들면서 내부 구멍을 구하고, 구멍의 개수가 3개가 되는 곳 중, 구멍 넓이의 합이 가장 큰 단면에서 멈추는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 9, wherein in the step of determining the maxillary process image,
Characterized in that the inner hole is obtained by making a coronal MIP from the anterior end to the boundary while advancing the boundary from the rear of the dentition, and the sum of the hole widths stops at the cross section where the sum of the hole widths is the largest among the three holes. Automatic 3D cephalometry method using image processing and CNN. 제 10 항에 있어서, 깊이가 있는 연속된 hole인 안와, foramen magnum, porioin를 포함하는 구멍의 중심을 한점의 위치로 정하기 위하여,
구멍의 외부로부터 두께를 증가시키면서 MIP 시켜 나갔을 때 가장 큰 구멍 넓이가　나오는 곳을 해당 구멍의 위치로 잡거나,
뼈로 둘러쌓여　closing된 구멍의 형태가　된 후, 가장 큰 너비가 나오는 단면을 선택하거나,
특정 구조물의 sagittal 단면으로 정하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 10, wherein the center of the hole including the orbit, foramen magnum, and porioin, which is a continuous hole with a depth, is positioned at a point,
When MIP is made while increasing the thickness from the outside of the hole, the largest hole width appears as the location of the hole, or
Select the section with the largest width after being surrounded by bones and forming a closed hole, or
Automatic three-dimensional cephalometry method using image processing and CNN, characterized in that it is determined as a sagittal cross section of a specific structure. 제 9 항에 있어서, 회전 처리 단계에서,
midsagittal plane은 coronal MIP에서 양쪽 안구의 중심의 수직이등분선이고, midsagittal plane이 바닥에 수직이 되게 전체 3D 이미지를 coronal 방향으로 회전하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 9, wherein in the rotation processing step,
The midsagittal plane is the vertical bisector of the centers of both eyes in the coronal MIP, and the entire 3D image is rotated in the coronal direction so that the midsagittal plane is perpendicular to the floor. . 제 9 항에 있어서, 포리온 산출 단계에서,
condyle 후방에서 1.5cm 내외, condylion 높이에서 ramusian 높이까지 영역중 가장 큰 구멍을 구하여 구멍 중심의 좌표를 구하고, 구멍의 x좌표는 condyle 외측으로 정하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 9, wherein in the step of calculating the porion,
Image processing and automatic 3D scanning using CNN, characterized in that the coordinate of the center of the hole is determined by finding the largest hole out of the area from the rear of the condyle to the height of the ramusian to the height of the condyle, and the x-coordinate of the hole is determined to the outside of the condyle. Palometry method. 제 9 항에 있어서, Sella 산출 단계에서,
sella turcica 영역을 segmentation 후 CBCT에서 3차원으로 딥러닝해서 그 중심좌표를 구하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 9, wherein in the Sella calculation step,
An automatic 3D cephalometry method using image processing and CNN, characterized in that after segmentation of a sella turcica region, deep learning in 3D in CBCT to obtain its central coordinates. 제 5 항에 있어서, 하악 처리 단계는,
하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계와,
Coronal MIP에서 교정점 좌표 산출을 하는 단계와,
Sagittal MIP에서 교정점 좌표 산출을 하는 단계를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 5, wherein the mandibular treatment step,
Obtaining the mandibular canonical line and rotating it perpendicular to the floor,
The step of calculating calibration point coordinates in Coronal MIP, and
Automatic three-dimensional cephalometry method using image processing and CNN, comprising the step of calculating calibration point coordinates in Sagittal MIP. 제 15 항에 있어서, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계는,
computed modified ANP으로, 첫 기준은 이공, 혹은 axial에서 내려다 본 악궁(치열)의 knee point 양쪽에 모두 있는 대칭된 구조면 사용이 가능하고,
회전시마다, 회전 후 sagittal MIP에서 B point를 구해 특정 각도 하후방으로 genioplasty 후 similarity index 비교를 하고, 하악의 정준선 바닥에 수직으로 회전을 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 15, wherein obtaining the mandibular canonical line and rotating it perpendicular to the floor,
With computed modified ANP, the first criterion is the use of a symmetrical structural surface on both sides of the knee point of the arch (dental column) viewed from the dental cavity or axial.
After each rotation, the B point is obtained from the sagittal MIP after rotation, and the similarity index is compared after genioplasty at a specific angle, and the image processing and CNN are used to rotate vertically to the bottom of the mandibular canonical line. Palometry method. 제 15 항에 있어서, Coronal MIP에서 교정점 좌표 산출을 하는 단계는,
이진화된 하악 반구 → Coronal MIP 과정으로, 이진화된 이미지의 가장 높은 점을 이용해 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(Condylion)과, 교합평면에서 턱끝까지 바깥 윤곽선의 knee point를 이용해 z 및 x 좌표 구하고, x좌표 주변의 sagittal 방향 MIP 이미지에서 후방 윤곽선의 knee point를 이용해 y, z 좌표 구하고, coronal MIP 이미지에서 해당 z좌표에 해당하는 x좌표 구해서 업데이트하는 과정(Gonion)과,
교합평면 상방(ramus)만 남기고, ramus의 중심선에서 앞쪽만 남긴 후, 가장 높은 점의 z 및 x좌표 구하는 과정(coronoid process 끝)과,
sagittal MIP에서 coronoid process의 끝과 condylion을 있는 선분을 그린 후 내부의 구멍의 가장 아래점의 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(ramusian)을 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.The method of claim 15, wherein calculating calibration point coordinates in Coronal MIP,
Binary mandibular hemisphere → Coronal MIP process, the process of obtaining the height using the highest point of the binarized image and obtaining the remaining coordinates from the average coordinates of the points on the plane of the corresponding height (Condylion), and the outer contour from the occlusal plane to the tip of the chin The process of obtaining the z and x coordinates using the knee point of the x coordinate, the y, z coordinates using the knee point of the rear contour from the sagittal direction MIP image around the x coordinate, and obtaining and updating the x coordinate corresponding to the z coordinate from the coronal MIP image ( Gonion) and,
The process of obtaining the z and x coordinates of the highest point after leaving only the occlusal plane (ramus) and leaving only the front side from the center line of the ramus (end of the coronoid process),
In sagittal MIP, after drawing the line segment with the end of the coronoid process and the condylion, the height of the lowest point of the inner hole is obtained, and the process of obtaining the remaining coordinates (ramusian) using the average coordinates of the points on the plane of the corresponding height. Automatic 3D cephalometry method using image processing and CNN. 제 5 항에 있어서, 좌표 업데이트 단계는,
수정된 3D 좌표들을 기준으로, 2차원 MIP에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
The method of claim 5, wherein the step of updating the coordinates comprises:
Based on the modified 3D coordinates, a region is defined based on points that can be obtained by a 2D regression CNN network in a 2D MIP, and then the coordinates are refined and updated by learning with a 3D regression CNN network. Automatic three-dimensional cephalometry method using processing and CNN.
KR1020190141886A 2019-11-07 2019-11-07 Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network KR102302249B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190141886A KR102302249B1 (en) 2019-11-07 2019-11-07 Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190141886A KR102302249B1 (en) 2019-11-07 2019-11-07 Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network

Publications (2)

Publication Number Publication Date
KR20210055847A true KR20210055847A (en) 2021-05-18
KR102302249B1 KR102302249B1 (en) 2021-09-16

Family

ID=76158616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190141886A KR102302249B1 (en) 2019-11-07 2019-11-07 Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network

Country Status (1)

Country Link
KR (1) KR102302249B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230036675A (en) 2021-09-08 2023-03-15 정수아 Clothes defect detection algorithm using CNN image processing
CN116843648A (en) * 2023-07-04 2023-10-03 北京大学口腔医学院 Cone-beam CT image-based three-dimensional automatic quantitative measurement system for reconstruction of condyle bones

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070067491A (en) * 2005-12-23 2007-06-28 주식회사 사이버메드 Method of correcting the orientation of 3d volume data in real time
US20150265374A1 (en) * 2014-03-18 2015-09-24 President And Fellows Of Harvard College 3d dentofacial system and method
KR101692250B1 (en) * 2015-11-30 2017-01-03 오스템임플란트 주식회사 Method for generating sectional image of tooth pairs, apparatus, and recording medium thereof
KR20170128046A (en) * 2016-05-12 2017-11-22 연세대학교 산학협력단 Method and Apparatus for Obtaining Information of Radiographic Images
KR101822908B1 (en) 2016-08-12 2018-01-29 연세대학교 산학협력단 Method and Apparatus for Obtaining Information of Radiographic Images
US20180061054A1 (en) * 2016-08-29 2018-03-01 CephX Technologies Ltd. Automated Cephalometric Analysis Using Machine Learning
KR101836817B1 (en) 2016-09-02 2018-03-09 연세대학교 산학협력단 Method and Apparatus for Processing 3-Dimensional Radiographic Images
KR20190049733A (en) 2016-08-19 2019-05-09 더 메서디스트 하스피틀 시스템 System and method for computer aided orthognathic surgery planning
KR101952887B1 (en) * 2018-07-27 2019-06-11 김예현 Method for predicting anatomical landmarks and device for predicting anatomical landmarks using the same

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070067491A (en) * 2005-12-23 2007-06-28 주식회사 사이버메드 Method of correcting the orientation of 3d volume data in real time
US20150265374A1 (en) * 2014-03-18 2015-09-24 President And Fellows Of Harvard College 3d dentofacial system and method
KR101692250B1 (en) * 2015-11-30 2017-01-03 오스템임플란트 주식회사 Method for generating sectional image of tooth pairs, apparatus, and recording medium thereof
KR20170128046A (en) * 2016-05-12 2017-11-22 연세대학교 산학협력단 Method and Apparatus for Obtaining Information of Radiographic Images
KR101822908B1 (en) 2016-08-12 2018-01-29 연세대학교 산학협력단 Method and Apparatus for Obtaining Information of Radiographic Images
KR20190049733A (en) 2016-08-19 2019-05-09 더 메서디스트 하스피틀 시스템 System and method for computer aided orthognathic surgery planning
US20180061054A1 (en) * 2016-08-29 2018-03-01 CephX Technologies Ltd. Automated Cephalometric Analysis Using Machine Learning
KR101836817B1 (en) 2016-09-02 2018-03-09 연세대학교 산학협력단 Method and Apparatus for Processing 3-Dimensional Radiographic Images
KR101952887B1 (en) * 2018-07-27 2019-06-11 김예현 Method for predicting anatomical landmarks and device for predicting anatomical landmarks using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230036675A (en) 2021-09-08 2023-03-15 정수아 Clothes defect detection algorithm using CNN image processing
CN116843648A (en) * 2023-07-04 2023-10-03 北京大学口腔医学院 Cone-beam CT image-based three-dimensional automatic quantitative measurement system for reconstruction of condyle bones

Also Published As

Publication number Publication date
KR102302249B1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
CN105342708B (en) Digitlization bite guide and its method for reconstructing based on CT and CBCT fused datas
ES2717447T3 (en) Computer-assisted creation of a habitual tooth preparation using facial analysis
US8244028B2 (en) Virtual cephalometric imaging
US11896452B2 (en) Method for virtual setup with mixed dentition
US10258439B1 (en) Method of manufacturing orthodontic devices
ZA200610143B (en) Method for deriving a treatment plan for orthognatic surgery and devices therefor
Ye et al. Integration accuracy of laser-scanned dental models into maxillofacial cone beam computed tomography images of different voxel sizes with different segmentation threshold settings
Li et al. A cone-beam computed tomography evaluation of facial asymmetry in unilateral cleft lip and palate individuals
KR20200030745A (en) Impressing tray and denture manufacturing process using the impressing tray and ct imaging apparatus
KR102302249B1 (en) Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network
KR102215068B1 (en) Apparatus and Method for Registrating Implant Diagnosis Image
KR102372962B1 (en) Method Of Determinating Cephalometric Prameters For Orthodontic Diagnosis From Three Dimensional CBCT Images Taken In Natural Head Position Based On Machine Learning
Jang et al. Fully automatic integration of dental CBCT images and full-arch intraoral impressions with stitching error correction via individual tooth segmentation and identification
Han et al. In-vitro assessment of the accuracy and reliability of mandibular dental model superimposition based on voxel-based cone-beam computed tomography registration
Noguchi et al. An orthognathic simulation system integrating teeth, jaw and face data using 3D cephalometry
JP2008142400A (en) Medical imaging apparatus
Zimmermann et al. The impact of technological innovation on dentistry
RU2689860C1 (en) Method of making position of maxilla
Barone et al. Geometrical modeling of complete dental shapes by using panoramic X-ray, digital mouth data and anatomical templates
Na et al. A comparative study of the reproducibility of landmark identification on posteroanterior and anteroposterior cephalograms generated from cone-beam computed tomography scans
CN115530870A (en) Accurate positioning system and method for CBCT scanning area
TW201302164A (en) Method of fusing maxilla and mandibular image
Ho et al. Average three-dimensional skeletofacial model as a template for bone repositioning during virtual orthognathic surgery
TWI633875B (en) Method and system for manufacturing apical resection surgery guide plate and computer-readable recording medium
Apostolakis et al. Use of CBCT and Low-Cost Additive Manufacturing in Implant Surgical Guide Fabrication.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant