KR20230016952A - 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 - Google Patents
3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 Download PDFInfo
- Publication number
- KR20230016952A KR20230016952A KR1020210098582A KR20210098582A KR20230016952A KR 20230016952 A KR20230016952 A KR 20230016952A KR 1020210098582 A KR1020210098582 A KR 1020210098582A KR 20210098582 A KR20210098582 A KR 20210098582A KR 20230016952 A KR20230016952 A KR 20230016952A
- Authority
- KR
- South Korea
- Prior art keywords
- tooth
- image
- learning
- dental
- dimensional
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 claims description 66
- 230000011218 segmentation Effects 0.000 claims description 37
- 238000007408 cone-beam computed tomography Methods 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 7
- 230000000873 masking effect Effects 0.000 claims description 7
- 230000003042 antagnostic effect Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C13/00—Dental prostheses; Making same
- A61C13/0003—Making bridge-work, inlays, implants or the like
- A61C13/0004—Computer-assisted sizing or machining of dental prostheses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치는 입력된 3차원 치과 이미지에 대해 액시얼(Axial) 방향으로 분할하여 생성된 치과 단면 이미지 내에서 각 객체의 경계를 분할하는 치아 분할부, 치과 단면 이미지 내의 객체중에서 치아 영역을 인식하고, 치아 영역에 속하는 각 치아의 치아 번호를 검출하는 치아 검출부 및 치아 분할부 및 치아 검출부를 통해 획득된 각 치과 단면 이미지 내의 각 객체의 경계 및 각 치아의 치아 번호를 기초로, 각 치아별 3차원 이미지를 생성하되, 각 치아별 3차원 이미지는 치아번호에 따라 표시방법이 상이한 치아 이미지 획득부를 포함할 수 있다.
Description
본 발명은 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법에 관한 것으로, 인공신경망을 이용하여 구강 영역이 촬영된 치과 단면 이미지로부터 3차원 치아 이미지를 표시하고 치아 번호를 검출하는, 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법에 관한 것이다.
일반적으로, 임플란트 시술 시에는 시술 대상자의 치아 식립 번호인, 치식 번호가 요구된다.
이에 따라, 종래에는 2차원의 저선량 콘빔 CT(conebeam computed tomography, CBCT) 이미지를 이용하여, 의료자가 수동으로 치식 번호를 확인하였다.
그러나, 종래의 CBCT 이미지는 치아의 크라운으로 인해 변형된 메탈 아티팩트(metal artifact)들이 다량 발생되어, 환자의 구강 상태를 확인하는데 어려움이 있었다.
이를 해결하고자, 최근에는 CBCT 이미지를 바탕으로 사전 학습된 인공신경망 모델을 이용하여, 치아 이미지를 제공하는 방법이 이용되고 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 데이터 처리량 및 로딩시간이 감소되면서도, 치식번호 별로 정확히 구분되어 3차원 치아 이미지를 표시하는 3차원 치아 이미지 표시 장치, 표시 방법 및 그리고 이를 효율적이고 신속하게 학습시키는 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치는 입력된 3차원 치과 이미지에 대해 액시얼(axial) 방향으로 분할하여 생성된 치과 단면 이미지 내에서 각 객체의 경계를 분할하는 치아 분할부, 상기 치과 단면 이미지내의 객체중에서 치아 영역을 인식하고, 상기 치아 영역에 속하는 각 치아의 치아 번호를 검출하는 치아 검출부 및 상기 치아 분할부 및 상기 치아 검출부를 통해 획득된 각 치과 단면 이미지 내의 각 객체의 경계 및 각 치아의 치아 번호를 기초로, 각 치아별 3차원 이미지를 생성하되, 각 치아별 3차원 이미지는 치아번호에 따라 표시방법이 상이한 치아 이미지 획득부를 포함할 수 있다.
상기 치아 분할부는 치아 분할 신경망을 포함하고, 상기 치아 분할 신경망은 복수의 학습용 치과 단면 이미지를 학습용 입력 데이터로서 이용하고, 상기 학습용 치과 단면 이미지 내의 각 객체의 경계 영역이 마스킹된 마스킹 이미지를 레이블 데이터로서 이용하여 학습될 수 있다.
상기 치아 검출부는 치아 검출 신경망을 포함하고, 상기 치아 검출 신경망은, 복수의 학습용 치과 단면 이미지를 학습용 입력 데이터로서 이용하고, 상기 학습용 치과 단면 이미지 내의 치아가 존재하는 치아 영역 및 상기 치아 영역 내의 각 치아에 대한 치아번호를 레이블 데이터로서 이용하여 학습될 수 있다.
상기 치아 이미지 획득부는 치아 이미지 획득 신경망을 포함하고, 상기 치아 이미지 획득 신경망은 학습용 3차원 이미지가 일축을 따라 분할된 학습용 치과 단면 이미지, 각 학습용 치과 단면 이미지 내의 각 치아의 경계 정보 및 각 치아별 치아번호를 기초로, 상기 3차원 이미지 내의 동일한 치아번호를 갖는 각 치아별로 각각의 3차원 이미지를 생성하도록 학습될 수 있다.
상기 치아 이미지 획득 신경망은, 상기 각 분할된 학습된 치과 단면 이미지 내에서 상기 경계 정보에 따라 추출된 치아별 분할 이미지들 및 추출된 상기 치아별 분할 이미지들에 대해 동일한 치아번호를 갖는 치아별 분할 이미지들을 상기 일축 방향을 기준으로 적층하여 상기 각각의 3차원 이미지를 생성하도록 학습될 수 있다.
상기 표시방법은 각 치아별 치아번호에 따라 적어도 일부는 서로 다른 색상으로 디스플레이되는 것을 포함할 수 있다.
상기 표시방법은 각 치아별 치아번호 관계가 동명치, 대합치관계인 경우, 같은 색상으로 디스플레이되고, 각 치아별 치아번호 관계가 동명치, 대합치관계가 아닌 경우, 서로 다른 색상으로 디스플레이되는 것을 포함할 수 있다.
상기 3차원 치과 이미지는 CBCT 이미지를 포함하고, 상기 분할된 치과 단면 이미지는 상기 액시얼 방향에 수직한 이미지일 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 3차원 치아 이미지 표시 방법은 입력된 3차원 치과 이미지에 대해 액시얼(axial) 방향으로 분할하여 생성된 치과 단면 이미지 내에서 각 객체의 경계를 분할하는 단계와 상기 치과 단면 이미지 내의 객체중에서 치아 영역을 인식하고, 상기 치아 영역에 속하는 각 치아의 치아 번호를 검출하는 단계 및 상기 획득된 각 치과 단면 이미지 내의 각 객체의 경계 및 각 치아의 치아 번호를 기초로, 각 치아별 3차원 이미지를 생성하되, 각 치아별 3차원 이미지는 치아번호에 따라 표시방법이 상이한 단계를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 3차원 치아 이미지 분할 장치 학습 방법은 입력된 3차원 치과 이미지에 대해 액시얼 방향으로 분할하여 생성된 치과 단면 이미지 내에서 각 객체의 경계를 분할하도록, 복수의 학습용 치과 단면 이미지를 제 1 학습용 입력 데이터로서 이용하고, 상기 학습용 치과 단면 이미지 내의 각 객체의 경계 영역이 마스킹된 마스킹 이미지를 제1 레이블 데이터로서 이용하여 치아 분할 신경망을 학습시키는 단계, 상기 생성된 치과 단면 이미지 내의 객체중에서 치아 영역을 인식하고, 상기 치아 영역에 속하는 각 치아의 치아 번호를 검출하도록, 상기 복수의 학습용 치과 단면 이미지를 제 2 학습용 입력 데이터로서 이용하고, 상기 학습용 치과 단면 이미지 내의 치아가 존재하는 치아 영역 및 상기 치아 영역 내의 각 치아에 대한 치아번호를 제 2 레이블 데이터로서 이용하여 치아 검출 신경망을 학습시키는 단계 및 상기 치아 분할 신경망 및 상기 치아 검출 신경망을 통해 획득된 각 치과 단면 이미지 내의 각 객체의 경계 및 각 치아의 치아 번호를 기초로, 각 치아별 3차원 이미지를 생성하되, 각 치아별 3차원 이미지는 치아번호에 따라 표시방법이 상이한 치아 획득 신경망을 학습시키는 단계를 포함할 수 있다.
상기 학습용 치과 단면 이미지는 학습용3차원 이미지가 일축을 따라 분할된 것이고, 상기 치아 이미지 획득 신경망을 학습시키는 단계는, 상기 각 학습용 치과 단면 이미지 내의 각 치아의 경계 정보 및 각 치아별 치아번호를 기초로, 상기 3차원 이미지 내의 동일한 치아번호를 갖는 각 치아별로 각각의 3차원 이미지를 생성하도록 학습시키는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 3차원 치아 이미지 표시 장치 및 표시 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법은 액시얼 방향의 2차원 치과 단면 이미지로부터 적어도 하나의 치아 번호를 인식하도록 인공신경망 모델을 학습한다. 본 발명의 실시예에 따른 장치 및 방법은 치아별로 분할된 3차원 이미지를 제공함으로써, 3차원 CBCT 이미지를 이용하여 복수의 3차원 셀 형태로 치아를 검출 및 분할하도록 학습된 종래의 치아 검출 방법 대비 데이터 학습 및 임의의 환자의 치아 영상내에서 치아 및 치식 번호를 인식하여 표시할 때 발생하는 데이터의 오버헤드(overhead) 문제를 방지한다. 그뿐 아니라, 데이터 처리량 및 로딩시간이 감소되면서도, 치식번호 별로 정확히 구분되어 3차원 치아 이미지를 표시하는 3차원 치아 이미지 표시 장치, 표시 방법 및 그리고 이를 효율적이고 신속하게 학습시키는 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치를 설명하기 위한 블록 구성도이다.
도 2은 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 치아 분할부의 출력 결과 이미지이다.
도 3는 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 치아 검출부의 출력 결과 이미지이다.
도 4는 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 이미지 분할부의 출력 결과 이미지이다.
도 5는 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 최종 출력 결과 이미지이다.
도 6은 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치를 하드웨어적 측면에서 설명하기 위한 블록 구성도이다.
도 7은 본 발명의 다른 실시예에 따른 3차원 치아 이미지 학습 방법의 순서도이다.
도 2은 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 치아 분할부의 출력 결과 이미지이다.
도 3는 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 치아 검출부의 출력 결과 이미지이다.
도 4는 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 이미지 분할부의 출력 결과 이미지이다.
도 5는 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 최종 출력 결과 이미지이다.
도 6은 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치를 하드웨어적 측면에서 설명하기 위한 블록 구성도이다.
도 7은 본 발명의 다른 실시예에 따른 3차원 치아 이미지 학습 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 각 구성 요소들은 사용된 용어들에 의해 한정되어서는 안 된다. 사용된 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 3차원 치아 이미지 분할 표시 장치를 설명하기 위한 블록 구성도이다.
도 1을 참조하면, 3차원 치아 이미지 표시 장치(1000)는 데이터 수신부(1100), 이미지 분할부(1200), 치아 분할부(1300), 치아 검출부(1400), 치아 이미지 획득부(1500) 및 디스플레이부(1600)를 포함할 수 있다.
3차원 치아 이미지 표시 장치(1000)는 사전 학습된 치아 분할 신경망 모델을 이용하여 복수의 치과 단면 이미지 내 객체의 경계를 검출할 수 있다.
또한, 3차원 치아 이미지 표시 장치(1000)는 치아 검출 신경망 모델을 이용하여, 2차원 단면 이미지에서 적어도 하나의 치아의 너비, 및 번호를 검출할 수 있다.
이후, 3차원 치아 이미지 표시 장치(1000)는 검출된 적어도 하나의 치아를 3차원 이미지로 출력할 수 있다. 이에 따라, 3차원 치아 이미지 표시 장치(1000)는 임플란트 시술 시 필요한 치아 식립 정보를 제공할 수 있다
데이터 수신부(1100)는 외부로부터 구강 영역의 적어도 일부가 촬영된 적어도 하나의 3차원 치과 이미지를 입력 받을 수 있다.
보다 구체적으로 설명하면, 데이터 수신부(1100)는 적어도 하나의 치과 단면 이미지를 외부 촬영 기기로부터 수신할 수 있다. 외부 촬영 기기로부터 입력된 3차원 치과 이미지는 3차원 CBCT 치과 이미지를 포함할 수 있다.
이미지 분할부(1200)는 데이터 수신부(1100)로부터 입력받은 3차원 치과 이미지를 액시얼(axial) 방향에 수직한 단면 이미지로 분할하여 복수의 치과 단면 이미지를 생성할 수 있다.
예를 들어, 3차원 치과 이미지가 3차원 CBCT 치과 이미지인 경우, 이미지 분할부(1200)는 3차원 CBCT 치과 이미지를 액시얼 방향에 수직으로 슬라이싱한 둘 이상의 2차원 치과 단면 이미지를 생성할 수 있다.
실시예에 따르면, 치과 단면 이미지는 0 이상 내지 255 이하의 범위를 갖는 그레이 스케일(gray scale) 정보를 포함하는 CBCT 이미지의 액시얼 방향에 수직한 액시얼 단면 이미지일 수 있다.
치아 분할부(1300)는 치아 분할 신경망(1350)을 포함할 수 있다. 또한 치아 분할부(1300)는 이미지 분할부(1200)로부터 적어도 하나의 2차원 치과 단면 이미지를 입력받아, 상기 2차원 치과 단면 이미지 내 적어도 하나의 객체들이 마스킹(masking)된 제1 이미지를 출력할 수 있다.
보다 자세하게는, 치아 분할부(1300)는 이미지 분할부(1200)로부터 수신한 적어도 하나의 2차원 치과 단면 이미지를 치아 분할 신경망(1350)에 입력하고 치아 분할 신경망(1350)을 이용하여, 상기 2차원 치과 단면 이미지 내에서 적어도 하나의 객체의 경계를 검출할 수 있다.
이어서, 치아 분할부(1300)는 적어도 하나의 객체의 경계가 표기되어 개별 마스킹된 제1 이미지를 생성할 수 있다.
실시예에 따르면, 상기 객체는 적어도 하나의 치아를 포함할 수 있고, 치아 분할 신경망(1350)은 컨볼루션 신경망을 적어도 일부로 가질 수 있다.
보다 구체적으로 설명하면, 치아 분할 신경망(1350)은 적어도 하나의 치아가 존재하는 적어도 하나의 학습용 2차원 치과 단면 이미지 및 학습용 2차원 치과 단면 이미지에서 치아의 CT좌표와 매핑되는 마스킹 이미지를 레이블 데이터로 이용하여 기계 학습된 모델일 수 있다.
이에 따라, 치아 분할부(1300)는 임의의 2차원 치과 단면 이미지를 입력 받아 치아 분할 신경망(1350)을 이용하여 치아 경계를 식별하고, 치아 경계가 표기된 제1 이미지를 획득할 수 있다.
도 2는 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 치아 분할부의 결과 이미지이다.
도 1 및 도 2를 참조하면, 치아 분할부(1300)는 이미지 분할부(1200)로부터 적어도 하나의 2차원 치과 단면 이미지(20)를 수신할 수 있다. 이어서, 치아 분할부(1300)는 치아 분할 신경망(1350)을 이용하여 수신된 2차원 치과 단면 이미지(20)내에 적어도 하나의 치아의 경계를 분할하여 마스킹된 치아 이미지(22)를 획득할 수 있다.
도 1을 다시 참조하면, 치아 검출부(1400)는 치아 검출 신명망(1450)을 포함할 수 있다. 치아 검출부(1400)는 이미지 분할부(1200)로부터 수신한 적어도 하나의 2차원 치과 단면 이미지를 입력받아, 상기 2차원 치과 단면 이미지의 치아별 속성 정보를 생성할 수 있다.
보다 자세하게는, 치아 검출부(1400)는 이미지 분할부(1200)로부터 수신한 적어도 하나의 2차원 치과 단면 이미지를 치아 검출 신경망(1450)에 입력할 수 있다. 이어서, 치아 검출부(1400)는 치아 검출 신경망(1450)을 이용하여, 상기 2차원 치과 단면 이미지로부터, 적어도 하나의 치아에 관하여, 각 치아별 너비 및 치아 번호 중 적어도 하나를 포함하는 치아별 속성 정보를 나타내는 제2 이미지를 획득할 수 있다. 예를 들어, 치아 번호 22에 대한 치아별 속성 정보는 치아 번호 22의 너비를 포함하거나, 치아 번호 22의 치아 번호를 포함하거나, 이들을 모두 포함할 수 있다.
일 실시예에 따르면, 치아 검출 신경망(1450)은 컨볼루션 신경망을 이용하여 학습될 수 있다.
보다 구체적으로 설명하면, 치아 검출 신경망(1450)은 적어도 하나의 치아가 존재하는 적어도 하나의 2차원 치과 단면 이미지 및 2차원 치과 단면 이미지에서 치아의 CT좌표와 매핑되는 치아 번호, 위치를 레이블 데이터로 이용하여 기계 학습된 모델일 수 있다.
이에 따라, 치아 검출부(1400)는 2차원 치과 단면 이미지를 입력받아, 치아 검출 신경망(1450)을 이용하여 치아 번호를 포함하는 치아별 속성정보가 표기된 제2 이미지를 획득할 수 있다.
도 3은 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 치아 검출부의 출력 결과 이미지이다.
도 1 및 도 3을 참조하면, 치아 검출부(1400)는 데이터 수신부(1100)로부터 수신된 2차원 치과 단면 이미지(20)위에 제2 이미지에 포함된 검출 정보를 각각의 치아에 소정의 형태, 예를 들면 박스의 형태(32)로 검출하여 획득할 수 있다. 또한, 치아 검출부(1400)는 치아 검출 신경망(1450)을 이용하여 획득한 좌표 데이터로부터 각 치아별 적어도 하나의 속성 정보를 획득할 수 있다. 상기 속성 정보는 치아별 위치 및 너비 정보 중 적어도 하나를 포함할 수 있다.
도 1을 다시 참조하면, 치아 이미지 획득부(1500)는 치아 분할부(1300) 및 치아 검출부(1400)로부터 얻어진 적어도 하나의 제1 이미지 및 제2 이미지를 대상으로 각각 치아별로 분할한 복수의 2차원 분할 이미지를 획득할 수 있다.
이후, 치아 이미지 획득부(1500)는 치아 분할부(1300) 및 치아 검출부(1400)로부터 획득된 적어도 하나의 정보를 바탕으로, 복수의 상기 2차원 분할 이미지를 동일한 치아별로 분류할 수 있다. 일 실시예에 따르면, 상기 적어도 하나의 정보는 치아 번호, 치아 좌표 데이터 및 치아 간 경계 정보 중 적어도 하나일 수 있다.
치아 이미지 획득부(1500)는 치아 이미지 획득 신경망(1550)을 포함할 수 있고, 동일한 치아로 분류된 적어도 하나의 제1 이미지 및 제2 이미지에 대한 적어도 하나의 2차원 분할 이미지를 3차원으로 재구성하여 제3 이미지를 획득할 수 있다.
예를 들어, 치아 이미지 획득부(1500)는 분류된 2차원 분할 이미지를 액시얼 방향으로 적층하여, 3차원으로 재구성된 개별 치아 이미지인 제3 이미지를 획득할 수 있다.
보다 구체적으로 설명하면, 치아 이미지 획득 신경망(1550)은 사전에, 3차원 이미지가 일축을 따라 분할된 학습용 치과 단면 이미지 및 각 학습용 치과 단면 이미지 내의 각 치아의 경계 정보 및 각 치아별 치아번호를 기초로, 3차원 이미지 내의 동일한 치아번호를 갖는 각 치아별로 각각의 3차원 이미지를 생성하도록 학습될 수 있다.
치아 이미지 획득 신경망(1550)를 이용하여 각 치아별 3차원 이미지를 생성하는 방법은, 각 분할된 학습용 치과 단면 이미지 내에서 경계 정보에 따라 추출된 치아별 분할 이미지들 및 추출된 치아별 분할 이미지들에 대해 동일한 치아번호를 갖는 치아별 분할 이미지들을 일축 방향을 기준으로 적층하여 생성할 수 있다.
또한, 치아 이미지 획득 신경망(1550)은 적층된 이미지를 이용하여 3차원 이미지 내의 동일한 치아번호를 갖는 각 치아별로 각각의 3차원 이미지를 생성하도록 학습될 수 있다.
치아 이미지 획득부(1500)는 3차원 치과 이미지 내 존재하는 치아의 번호 또는 종류를 고려하여, 치아의 번호 또는 종류에 따라 적어도 일부는 각각 상이한 색상으로 마스킹할 수 있다.
예를 들어, 치아 이미지 획득부(1500)는 각 치아별 치아 번호 관계가 동명치, 대합치관계인 경우, 같은 색상으로 마스킹하고 각 치아별 치아번호 관계가 동명치, 대합치관계가 아닌 경우, 서로 상이한 색상으로 마스킹할 수 있다.
치아 이미지 획득 신경망(1550)은 치과 단면 이미지 내의 각 치아에에 대한 CBCT crop dicom 이미지를 일축 방향을 기준으로 적층함으로써, 3차원 이미지 내의 동일한 치아번호를 갖는 각 치아별로 각각 3차원 이미지를 생성하도록 학습될 수 있다.
본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치(1000)는 2차원 이미지인 제1 이미지 및 제2 이미지들을 바탕으로 치아별 3차원 이미지를 획득함으로써, 데이터 처리량 및 로딩시간이 감소되면서도 치식별로 정확히 구분되는 3차원 치과 이미지를 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 치아 이미지 획득부의 출력 결과 이미지이다.
도 1 및 도 4를 참조하면, 치아 이미지 획득부(1500)는 치아 분할부(1300)와 치아 검출부(1400)으로부터 제1 이미지와 제2 이미지를 각각 전달받아 치아별 3차원 이미지(42)를 생성할 수 있고, 치아 이미지 획득 신경망(1550)을 이용하여 치아별 3차원 이미지를 매핑되는 좌표에 마스킹된 3차원 치과 이미지를 생성할 수 있다.
치아 이미지 획득부(1500)는 각 치아별 3차원 이미지(42)를 치아번호에 따라 표시방법이 상이하도록 3차원 치과 이미지를 생성할 수 있다. 이어서, 디스플레이부(1600)는 각 치아별 치아번호에 따라 서로 다른 색상으로 치아별 3차원 이미지(42)를 출력할 수 있다.
예를 들어, 치아 이미지 획득부(1500)는 치아별 3차원 이미지(42)를 동일 종류인 11, 21, 31, 41번 치아에 대해 모두 빨간색으로 표시하고, 디스플레이부(1600)는 색상이 표시된 치아별 3차원 이미지(42)를 디스플레이할 수 있다.
도 5는 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 최종 출력 결과 이미지이다.
도 1 및 도 5를 참조하면, 3차원 치아 이미지 표시 장치(1000)는 개별치아가 분리되어 표시된 3차원 치아 영역을 최종 출력 결과 이미지로 출력할 수 있다. 여기서, 3차원 치아 이미지 표시 장치(1000)는 치아가 표시된 영역을 다른 영역과 구분하여 표시할 수 있다.
이상 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 소프트웨어 구성들에 대해 살펴보았다.
이하 도 6에서는, 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치에 대해 하드웨어 구성별로 보다 자세히 설명한다.
도 6은 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치의 하드웨어 구성들을 설명하기 위한 블록 구성도이다.
도 1 및 도 6을 참조하면, 3차원 치아 이미지 표시 장치(1000)는 적어도 하나의 명령을 저장하는 저장장치(1210) 및 상기 메모리의 적어도 하나의 명령을 실행하는 프로세서(1220), 송수신 장치(1230), 입력 인터페이스 장치(1240) 및 출력 인터페이스 장치(1250)를 포함할 수 있다.
3차원 치아 이미지 표시 장치(1000)에 포함된 각각의 구성 요소들(1210, 1220, 1230, 1240, 1250)은 데이터 버스(bus, 1260)에 의해 연결되어 서로 통신을 수행할 수 있다.
저장장치(1210)는 메모리 또는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나를 포함할 수 있다. 예를 들어, 저장장치(1210)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나를 포함할 수 있다.
저장장치(1210)는 후술될 프로세서(1220)에 의해 실행될 적어도 하나의 명령을 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 적어도 하나의 명령은, 액시얼 방향으로 분할된 치과 단면 이미지 내에서 각 객체의 경계를 분할하도록 치아 분할 신경망(1350)을 학습시키는 제1 명령, 상기 학습용 치과 단면 이미지 내에서 치아 영역 및 각 치아의 치아 번호를 검출하도록 치아 검출 신경망(1450)을 학습시키는 제2 명령을 포함할 수 있다. 또한, 상기 제1 명령 및 상기 제2 명령에서 개별 획득한 복수의 이미지로부터 동일한 치아 번호를 갖는 치아별 분할 이미지들을 추출하고, 상기 복수의 치아별 분할 이미지를 액시얼 방향을 기준으로 적층하여, 상기 치아 번호 및 상기 치아 위치를 포함하는 3차원 이미지로 재구성한 복수의 치아별 3차원 분할 이미지들을 출력하도록 치아 이미지 획득 신경망(1550)을 학습시키도록 하는 제3 명령을 포함할 수 있다.
프로세서(1220)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), MCU(micro controller unit) 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
도 1을 더 참조하면, 프로세서(1220)는 앞서 설명한 바와 같이, 저장장치(1210)에 저장된 적어도 하나의 프로그램 명령에 의해 이미지 분할부(1200), 치아 분할부(1300), 치아 검출부(1400) 및 치아 이미지 획득부(1500)의 기능을 수행할 수 있으며, 이들 각각은 적어도 하나의 모듈의 형태로 메모리에 저장되어 프로세서에 의해 실행될 수 있다.
입력 인터페이스 장치(1240)는 사용자로부터 적어도 하나의 제어 신호를 입력받을 수 있으며, 출력 인터페이스 장치(1250)는 프로세서(1220)의 동작에 의해 3차원 치아 이미지와 관련된 적어도 하나의 정보를 출력하여 가시화할 수 있다.
이상에서는, 본 발명의 일 실시예에 따른 3차원 치아 이미지 표시 장치를 설명하였다. 이하에서는 본 발명의 또 다른 실시예에 따른 상기 3차원 치아 이미지 표시 장치 내 프로세서 동작에 의해 실행되는 3차원 치아 이미지 학습 방법을 설명한다.
도 7은 본 발명의 또 다른 실시예에 따른 3차원 치아 이미지 학습 방법의 순서도이다.
도 1, 도 6 및 도 7을 참조하면, 3차원 치아 이미지 표시 장치(1000) 내 송수신 장치(1230)는 외부로부터 치아가 촬영된 적어도 하나의 3차원 치과 이미지를 수신할 수 있다(S1000).
이후, 프로세서(1220)는 3차원 치과 이미지를 액시얼 방향으로 분할하여 치과 단면 이미지를 획득할 수 있다(S2000). 예를 들어, 3차원 치과 이미지는 3차원 CBCT 이미지일 수 있고, 치과 단면 이미지는 CBCT 이미지를 액시얼 방향으로 슬라이싱한 단면 이미지일 수 있다.
이어서, 프로세서(1220)는 사전 학습된 치아 분할 신경망(1350)을 이용하여, 적어도 하나의 2차원 치과 단면 이미지로부터 적어도 하나의 치아 경계를 검출할 수 있다.
다시 말해, 프로세서(1220)는 치아 분할 신경망(1350)을 이용하여, 적어도 하나의 2차원 치과 단면 이미지로부터 치아별 경계를 분할한 제1 이미지를 획득할 수 있다(S3000).
여기서, 치아 분할 신경망(1350)은 학습용 입력 데이터로서 복수의 학습용 치과 단면 이미지를 이용하고, 레이블 데이터로서 상기 학습용 치과 단면 이미지 내의 각 객체의 경계 영역 정답이 마스킹된 마스킹 정답 이미지를 이용하여 학습될 수 있다. 또한, 치아 분할 신경망(1350)은 컨볼루션 신경망을 이용하여 학습될 수 있다.
프로세서(1220)는 사전 학습된 치아 검출 신경망(1450)을 이용하여, 적어도 하나의 2차원 치과 단면 이미지로부터 치아 검출 정보를 포함하는 제2 이미지를 획득할 수 있다(S4000).
여기서, 치아 검출 신경망(1450)은 학습용 입력 데이터로서 복수의 학습용 치과 단면 이미지를 이용하고, 레이블 데이터로서 상기 학습용 치과 단면 이미지 내의 치아가 존재하는 치아 영역 및 상기 치아 영역 내의 각 치아에 대한 치아번호를 이용하여 학습될 수 있다. 또한, 치아 검출 신경망(1450)은 컨볼루션 신경망을 이용하여 학습될 수 있다.
이후, 프로세서(1220)는 복수의 치과 단면 이미지 내 좌표 데이터를 출력할 수 있고, 치아 검출 신경망(1450)을 이용하여, 치과 단면 이미지 내 치아별 속성 정보를 포함하는 제2 이미지를 획득할 수 있다. 상기 속성 정보는 치아별 너비, 및 상기 치아 번호 중 적어도 하나를 포함할 수 있다.
이후, 프로세서(1220)는 제1 이미지 및 제2 이미지 중 적어도 하나로부터 관심 영역을 포함하는 3차원의 제3 이미지를 획득할 수 있다.
다시 말해, 프로세서(1220)는 제1 이미지 및 제2 이미지를 치아별로 분할하고 사전 학습된 치아 이미지 획득 신경망(1550)을 이용하여 분할된 이미지들을 동일한 치아별로 분류하고, 액시얼 방향을 따라 적층할 수 있다. 따라서, 프로세서(1220)는 3차원으로 재구성된 3차원 치아 이미지를 획득할 수 있다(S5000).
이후, 프로세서(1220)는 치아의 3차원 이미지를 출력 인터페이스 장치(1250)를 통해출력할 수 있다(S5000).
본 발명의 또 다른 실시예에 따른 3차원 치아 이미지 표시 장치 및 방법, 그리고 이를 이용한 3차원 치아 이미지 제공 방법은 액시얼 방향으로 분할된 치과 단면 이미지 내에서 각 객체의 경계를 분할하도록 치아 분할 신경망(1350)을 학습시키는 제 1 단계, 상기 학습용 치과 단면 이미지 내에서 치아 영역 및 각 치아의 치아 번호를 검출하도록 치아 검출 신경망(1450)을 학습시키는 제 2 단계를 포함한다. 이어서, 본 발명의 실시예에 따른 장치 및 방법은 상기 제 1 단계 및 상기 제 2 단계에서 개별 획득한 이미지들로부터 동일한 치아 번호를 갖는 치아별 분할 이미지들을 추출하고, 상기 치아별 분할 이미지들을 액시얼 방향을 기준으로 적층하여, 상기 치아 번호 및 상기 치아 위치를 포함하는 3차원 이미지로 재구성한 복수의 치아별 3차원 분할 이미지를 출력하도록 치아 이미지 획득 신경망(1550)을 학습시키는 제 3 단계를 포함한다.
이로써, 본 발명의 실시예에 따른 장치 및 방법은 종래의 3차원 CBCT 이미지를 이용하여 3차원의 복수의 셀 형태로 치아를 검출 및 분할하도록 학습된 치아 검출 방법 대비 데이터 학습 및 활용 시 발생하는 데이터의 오버헤드 문제를 방지할 수 있다. 그 뿐아니라, 본 발명의 실시예에 따른 장치 및 방법은3차원의 치아 재구성을 위한 처리 속도 및 로딩 속도가 개선된 3차원 치아 이미지 표시 장치 및 방법, 그리고 이를 이용한 3차원 치아 이미지 표시 방법을 제공할 수 있다.
따라서, 본 발명의 또 다른 실시예에 따른 3차원 치아 이미지 학습 방법은 임플란트 시술 시간을 단축시킬 수 있고, 치아의 크라운 변형에 의해 발생하는 노이즈를 제거할 수 있으며, 치아 중심의 3차원 섹션 이미지로 활용이 가능할 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 또는 코드로인스트럭션들에 의해 수행구현될 수도 있다. 컴퓨터 프로그램 또는 코드는 각 블록 또는 순서도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성할 수 있다. 이들 컴퓨터 프로그램 또는 코드는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능한 모든 종류의 기록매체에 저장될 수도 있으므로, 기록매체 등에 저장된 프로그램 또는 코드들은 블록 또는 순서도 각 단계의 기능을 수행하는 제조 품목을 생산하는 것도 가능하다. 또한, 이들 프로그램 또는 코드들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되어, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비가 일련의 동작 단계를 수행할 수도 있다.
각 블록 또는 각 단계는 하나 이상의 실행 가능한 프로그램 또는 코드들을 포함하는 모듈 또는 코드의 일부를 나타낼 수 있고, 블록 또는 순서도의 단계는 순서를 벗어나서 수행되는 것도 가능하다. 예컨대, 잇달아 도시된 두 개의 블록들 또는 단계들은 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1000: 3차원 치아 이미지 표시 장치 1100: 데이터 수신부
1200: 이미지 분할부 1300: 치아 분할부
1350: 치아 분할 신경망 1400: 치아 검출부
1450: 치아 검출 신경망 1500: 치아 이미지 획득부
1550: 치아 이미지 획득 신경망
1600: 디스플레이부
1210: 저장장치 1220: 프로세서
1230: 송수신 장치 1240: 입력 인터페이스 장치
1250: 출력 인터페이스 장치 1260: 데이터 버스
1200: 이미지 분할부 1300: 치아 분할부
1350: 치아 분할 신경망 1400: 치아 검출부
1450: 치아 검출 신경망 1500: 치아 이미지 획득부
1550: 치아 이미지 획득 신경망
1600: 디스플레이부
1210: 저장장치 1220: 프로세서
1230: 송수신 장치 1240: 입력 인터페이스 장치
1250: 출력 인터페이스 장치 1260: 데이터 버스
Claims (11)
- 입력된 3차원 치과 이미지에 대해 액시얼(Axial) 방향으로 분할하여 생성된 치과 단면 이미지 내에서 각 객체의 경계를 분할하는 치아 분할부;
상기 치과 단면 이미지 내의 객체중에서 치아 영역을 인식하고, 상기 치아 영역에 속하는 각 치아의 치아 번호를 검출하는 치아 검출부; 및
상기 치아 분할부 및 상기 치아 검출부를 통해 획득된 각 치과 단면 이미지 내의 각 객체의 경계 및 각 치아의 치아 번호를 기초로, 각 치아별 3차원 이미지를 생성하되, 각 치아별 3차원 이미지는 치아번호에 따라 표시방법이 상이한 치아 이미지 획득부를 포함하는, 3차원 치아 이미지 표시 장치. - 제1 항에 있어서,
상기 치아 분할부는 치아 분할 신경망을 포함하고,
상기 치아 분할 신경망은,
복수의 학습용 치과 단면 이미지를 학습용 입력 데이터로서 이용하고, 상기 학습용 치과 단면 이미지 내의 각 객체의 경계 영역이 마스킹된 마스킹 이미지를 레이블 데이터로서 이용하여 학습된 3차원 치아 이미지 표시 장치. - 제1 항에 있어서,
상기 치아 검출부는 치아 검출 신경망을 포함하고,
상기 치아 검출 신경망은,
복수의 학습용 치과 단면 이미지를 학습용 입력 데이터로서 이용하고, 상기 학습용 치과 단면 이미지 내의 치아가 존재하는 치아 영역 및 상기 치아 영역 내의 각 치아에 대한 치아번호를 레이블 데이터로서 이용하여 학습된3차원 치아 이미지 표시 장치. - 제1 항에 있어서,
상기 치아 이미지 획득부는, 치아 이미지 획득 신경망을 포함하고,
상기 치아 이미지 획득 신경망은,
학습용 3차원 이미지가 일축을 따라 분할된 학습용 치과 단면 이미지, 각 학습용 치과 단면 이미지 내의 각 치아의 경계 정보 및 각 치아별 치아번호를 기초로, 상기 3차원 이미지 내의 동일한 치아번호를 갖는 각 치아별로 각각의 3차원 이미지를 생성하도록 학습된, 3차원 치아 이미지 표시 장치. - 제4 항에 있어서,
상기 치아 이미지 획득 신경망은,
상기 각 분할된 학습된 치과 단면 이미지 내에서 상기 경계 정보에 따라 추출된 치아별 분할 이미지들 및 추출된 상기 치아별 분할 이미지들에 대해 동일한 치아번호를 갖는 치아별 분할 이미지들을 상기 일축 방향을 기준으로 적층하여 상기 각각의 3차원 이미지를 생성하도록 학습된, 3차원 치아 이미지 표시 장치. - 제1 항에 있어서,
상기 표시방법은 각 치아별 치아번호에 따라 적어도 일부는 서로 다른 색상으로 디스플레이되는 것을 포함하는 3차원 치아 이미지 표시 장치. - 제6 항에 있어서,
상기 표시방법은 각 치아별 치아번호 관계가 동명치, 대합치관계인 경우, 같은 색상으로 디스플레이되고, 각 치아별 치아번호 관계가 동명치, 대합치관계가 아닌 경우, 서로 다른 색상으로 디스플레이되는 것을 포함하는 3차원 치아 이미지 표시 장치. - 제1 항에 있어서,
상기 3차원 치과 이미지는 CBCT 이미지를 포함하고, 상기 분할된 치과 단면 이미지는 상기 액시얼 방향에 수직한 이미지인, 3차원 치아 이미지 표시 장치. - 입력된 3차원 치과 이미지에 대해 액시얼(Axial) 방향으로 분할하여 생성된 치과 단면 이미지 내에서 각 객체의 경계를 분할하는 단계와,
상기 치과 단면 이미지 내의 객체중에서 치아 영역을 인식하고, 상기 치아 영역에 속하는 각 치아의 치아 번호를 검출하는 단계; 및
획득된 상기 각 치과 단면 이미지 내의 각 객체의 경계 및 상기 각 치아의 치아 번호를 기초로, 각 치아별 3차원 이미지를 생성하되, 각 치아별 3차원 이미지는 치아번호에 따라 표시방법이 상이한 단계를 포함하는, 3차원 치아 이미지 표시 방법. - 입력된 3차원 치과 이미지에 대해 액시얼(Axial) 방향으로 분할하여 생성된 치과 단면 이미지 내에서 각 객체의 경계를 분할하도록, 복수의 학습용 치과 단면 이미지를 제1 학습용 입력 데이터로서 이용하고, 상기 학습용 치과 단면 이미지 내의 각 객체의 경계 영역이 마스킹된 마스킹 이미지를 제1 레이블 데이터로서 이용하여 치아 분할 신경망을 학습시키는 단계;
상기 생성된 치과 단면 이미지 내의 객체중에서 치아 영역을 인식하고, 상기 치아 영역에 속하는 각 치아의 치아 번호를 검출하도록, 상기 복수의 학습용 치과 단면 이미지를 제2 학습용 입력 데이터로서 이용하고, 상기 학습용 치과 단면 이미지 내의 치아가 존재하는 치아 영역 및 상기 치아 영역 내의 각 치아에 대한 치아번호를 제2 레이블 데이터로서 이용하여 치아 검출 신경망을 학습시키는 단계; 및
상기 치아 분할 신경망 및 상기 치아 검출 신경망을 통해 획득된 각 치과 단면 이미지 내의 각 객체의 경계 및 각 치아의 치아 번호를 기초로, 각 치아별 3차원 이미지를 생성하되, 각 치아별 3차원 이미지는 치아번호에 따라 표시방법이 상이하도록 치아 이미지 획득 신경망을 학습시키는 단계를 포함하는 3차원 치아 이미지 표시 장치 학습 방법. - 제10 항에 있어서,
상기 학습용 치과 단면 이미지는 학습용3차원 이미지가 일축을 따라 분할된 것이고,
상기 치아 이미지 획득 신경망을 학습시키는 단계는, 상기 각 학습용 치과 단면 이미지 내의 각 치아의 경계 정보 및 각 치아별 치아번호를 기초로, 상기 3차원 이미지 내의 동일한 치아번호를 갖는 각 치아별로 각각의 3차원 이미지를 생성하도록 학습시키는 단계를 포함하는 3차원 치아 이미지 표시 장치 학습 방법.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210098582A KR102607886B1 (ko) | 2021-07-27 | 2021-07-27 | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 |
| PCT/KR2022/010849 WO2023008849A1 (ko) | 2021-07-27 | 2022-07-25 | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 |
| EP22849825.9A EP4378416A1 (en) | 2021-07-27 | 2022-07-25 | Three-dimensional tooth image display apparatus and method, and method for training three-dimensional tooth image display apparatus |
| CN202280042318.9A CN117615733A (zh) | 2021-07-27 | 2022-07-25 | 三维牙齿图像显示装置和方法以及用于训练三维牙齿图像显示装置的方法 |
| KR1020230164931A KR20230164633A (ko) | 2021-07-27 | 2023-11-23 | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210098582A KR102607886B1 (ko) | 2021-07-27 | 2021-07-27 | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230164931A Division KR20230164633A (ko) | 2021-07-27 | 2023-11-23 | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230016952A true KR20230016952A (ko) | 2023-02-03 |
| KR102607886B1 KR102607886B1 (ko) | 2023-11-29 |
Family
ID=85087098
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210098582A KR102607886B1 (ko) | 2021-07-27 | 2021-07-27 | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 |
| KR1020230164931A KR20230164633A (ko) | 2021-07-27 | 2023-11-23 | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230164931A KR20230164633A (ko) | 2021-07-27 | 2023-11-23 | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4378416A1 (ko) |
| KR (2) | KR102607886B1 (ko) |
| CN (1) | CN117615733A (ko) |
| WO (1) | WO2023008849A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102651466B1 (ko) * | 2023-03-20 | 2024-03-27 | 고려대학교 산학협력단 | 내포 함수 신경망을 이용한 파노라마 방사선 사진으로부터의 3차원 치아 재구성 장치 및 방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120258416A1 (en) * | 2011-04-08 | 2012-10-11 | Hongsheng Tong | Method to define, measure, and display mesiodistal angulation and faciolingual inclination of each whole tooth |
| KR101739091B1 (ko) * | 2014-11-19 | 2017-05-24 | 성균관대학교산학협력단 | 치과용 ct 이미지들을 이용한 3차원 이미지의 재구성 방법 및 장치 |
| KR101839789B1 (ko) * | 2017-08-01 | 2018-03-19 | 주식회사 뷰노 | 치과 영상의 판독 데이터 생성 시스템 |
| KR101903424B1 (ko) | 2017-01-10 | 2018-11-13 | 한국광기술원 | 광단층영상시스템 기반 3d 구강 스캐너 및 이를 이용한 치아 상태 진단 방법 |
| JP2020516335A (ja) * | 2017-03-17 | 2020-06-11 | トロフィー | 動的歯列弓マップ |
| KR20200129509A (ko) * | 2019-05-09 | 2020-11-18 | 오스템임플란트 주식회사 | 치아 부가정보 제공 방법 및 그 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3069355B1 (fr) * | 2017-07-21 | 2023-02-10 | Dental Monitoring | Procédé d’entrainement d’un réseau de neurones par enrichissement de sa base d’apprentissage pour l’analyse d’une image d’arcade dentaire |
-
2021
- 2021-07-27 KR KR1020210098582A patent/KR102607886B1/ko active Application Filing
-
2022
- 2022-07-25 WO PCT/KR2022/010849 patent/WO2023008849A1/ko active Application Filing
- 2022-07-25 EP EP22849825.9A patent/EP4378416A1/en active Pending
- 2022-07-25 CN CN202280042318.9A patent/CN117615733A/zh active Pending
-
2023
- 2023-11-23 KR KR1020230164931A patent/KR20230164633A/ko active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120258416A1 (en) * | 2011-04-08 | 2012-10-11 | Hongsheng Tong | Method to define, measure, and display mesiodistal angulation and faciolingual inclination of each whole tooth |
| KR101739091B1 (ko) * | 2014-11-19 | 2017-05-24 | 성균관대학교산학협력단 | 치과용 ct 이미지들을 이용한 3차원 이미지의 재구성 방법 및 장치 |
| KR101903424B1 (ko) | 2017-01-10 | 2018-11-13 | 한국광기술원 | 광단층영상시스템 기반 3d 구강 스캐너 및 이를 이용한 치아 상태 진단 방법 |
| JP2020516335A (ja) * | 2017-03-17 | 2020-06-11 | トロフィー | 動的歯列弓マップ |
| KR101839789B1 (ko) * | 2017-08-01 | 2018-03-19 | 주식회사 뷰노 | 치과 영상의 판독 데이터 생성 시스템 |
| KR20200129509A (ko) * | 2019-05-09 | 2020-11-18 | 오스템임플란트 주식회사 | 치아 부가정보 제공 방법 및 그 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102651466B1 (ko) * | 2023-03-20 | 2024-03-27 | 고려대학교 산학협력단 | 내포 함수 신경망을 이용한 파노라마 방사선 사진으로부터의 3차원 치아 재구성 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4378416A1 (en) | 2024-06-05 |
| WO2023008849A1 (ko) | 2023-02-02 |
| KR102607886B1 (ko) | 2023-11-29 |
| KR20230164633A (ko) | 2023-12-04 |
| CN117615733A (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11348237B2 (en) | Artificial intelligence architecture for identification of periodontal features | |
| KR101981202B1 (ko) | 의료영상 재구성 방법 및 그 장치 | |
| KR101839789B1 (ko) | 치과 영상의 판독 데이터 생성 시스템 | |
| Khan et al. | Automated feature detection in dental periapical radiographs by using deep learning | |
| KR101613159B1 (ko) | 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체 | |
| JP6930283B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
| JP6525912B2 (ja) | 画像分類装置、方法およびプログラム | |
| US10991091B2 (en) | System and method for an automated parsing pipeline for anatomical localization and condition classification | |
| KR20230164633A (ko) | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 | |
| CN113226181B (zh) | 在x射线锥形束计算机断层扫描中校准x射线投影几何形状的方法 | |
| EP3665643B1 (en) | X-ray image processing method and system and computer storage medium | |
| KR102084138B1 (ko) | 영상 처리 장치 및 방법 | |
| Jusman et al. | Classification of Caries X-Ray Images using Multilayer Perceptron Models Based Shape Features | |
| KR20210099835A (ko) | 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치 | |
| CN114512221A (zh) | 一种牙弓线图像的生成方法、装置及计算机设备 | |
| US20220122261A1 (en) | Probabilistic Segmentation of Volumetric Images | |
| US20240257290A1 (en) | Three-dimensional tooth image display apparatus and method, and method for training three-dimensional tooth image display apparatus | |
| CN114565623A (zh) | 肺血管分割方法、装置、存储介质及电子设备 | |
| CN114387259A (zh) | 用于预测缺失牙坐标的方法与装置及识别模型的训练方法 | |
| CN114170177A (zh) | 一种手术路径分析方法及存储介质 | |
| CN115880326A (zh) | 医用图像的轮廓获取方法、终端及存储介质 | |
| CA3202828A1 (en) | Method of automatic segmentating of maxillofacial bone in ct image using deep learning | |
| EP4365855A1 (en) | Method, system, and computer program for generating 3d models of dentures in occlusion conditions | |
| KR102069774B1 (ko) | 영상 처리 장치 및 방법 | |
| EP4318381A1 (en) | Image conversion method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent |