KR102651466B1

KR102651466B1 - 내포 함수 신경망을 이용한 파노라마 방사선 사진으로부터의 3차원 치아 재구성 장치 및 방법

Info

Publication number: KR102651466B1
Application number: KR1020230048579A
Authority: KR
Inventors: 백승준; 박시화; 송인석; 김성준
Original assignee: 고려대학교 산학협력단
Priority date: 2023-03-20
Filing date: 2023-04-13
Publication date: 2024-03-27

Abstract

내포 함수 신경망을 이용한 파노라마 방사선(Panoramic X-ray, PX) 이미지로부터의 3차원 치아 재구성 장치 및 방법이 개시된다. 상기 3차원 치아 재구성 방법은 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 파노라마 방사선 이미지로부터의 3차원 치아 재구성 방법으로써, 피검자의 PX 이미지를 획득하는 단계, 상기 PX 이미지의 각 치아를 분할하는 단계, 조건 벡터(condition vector)를 생성하는 단계, 및 사전학습된 내포 함수 신경망(Neural Implicit Function) 기반의 재구성 모델을 이용하여, 상기 조건 벡터로부터 3차원 이미지를 예측하는 단계를 포함하고, 상기 조건 벡터는 분할된 치아에 대응하는 치아 패치의 인코딩 값과 치아 번호의 임베딩을 더함으로써 생성된다.

Description

내포 함수 신경망을 이용한 파노라마 방사선 사진으로부터의 3차원 치아 재구성 장치 및 방법{DEVICE AND METHOD FOR 3D TEETH RECONSTRUCTION FROM PANORAMIC RADIOGRAPHS USING NEURAL IMPLICIT FUNCTIONS}

본 발명은 3차원 치아 재구성 알고리즘에 관한 것으로, 보다 상세하게는 내포 함수 신경망(neural implicit function)을 이용하여 단일 치아들을 3차원으로 재구성하는 장치 및 방법에 관한 것이다.

심층 신경망 기반 2차원 이미지에서의 3차원 재구성 기술은 다양한 데이터와 구조를 바탕으로 연구가 활발히 진행되고 있는 분야이다. 심층신경망을 이용하는 대표적 기술로는 컨볼루션 신경망, 생성적 대립 신경망, 순환 신경망 등을 이용한 기술이 있다. 이러한 기술들을 활용해 종전에 제안된 방법으로는, UNet, GAN, 3D-R2N2, Occupancy Network 등의 논문이 있다.

파노라마 방사선 사진은 촬영 방식의 특성상 상악과 하악을 포함한 치아 구조를 가로로 펼쳐놓은 2차원 이미지를 생성한다. 하지만, 2차원 이미지를 통한 진단과 치료의 경우 실제 3차원 치아에 대한 정보가 없다는 한계가 존재한다. 따라서 3차원 치아 재구성 주제는 보다 정밀한 치과 의료 진단 및 응용 분야에서 중요한 분야이다. 그러나, 3차원 데이터의 특성상 컴퓨팅 자원의 한계나 낮은 치아 예측 정확도 등의 문제들이 존재한다. 또한, 기존 복셀(voxel) 형식의 생성 방식의 경우 3차원 치아를 입력과 출력으로 한번에 학습시키기에 계산 복잡도가 높으며 입출력 해상도에 따른 정확도 문제가 발생하게 된다.

또한, 기존의 복셀(voxel) 기반 결과를 생성하는 방식은 메모리적 한계와 세부적인 치아 형태 예측의 어려움이 존재한다. 해부학적으로 인간의 치아는 최대 32개가 존재하며, 개별 치아는 치아 번호에 따라 다른 형태를 띄고 있다. 서로 다른 번호의 세부적인 치아 형태를 나타내기 위해 높은 해상도, 즉 많은 수의 복셀(voxel)이 요구된다. 그러나, 복셀(voxel) 기반 방식의 경우 해상도가 높아질수록 모델의 크기 또한 매우 커지기 때문에 메모리적 한계가 존재하고, 임계값을 이용하여 표면을 매끄럽게 만드는 등의 후처리 작업이 요구된다. 더불어, 3차원 결과물의 경우 일반적인 이미지보다 컴퓨팅 자원을 더 많이 사용하고 있어, 의료 분야에 있어 3차원 재구성은 어려운 연구 분야 중에 하나이다. 따라서, 파노라마 방사선 사진에서 3차원 치아 재구성을 하기 위해서는 앞서 언급된 문제점을 해결할 수 있는 새로운 구조의 기법이 필요하다.

대한민국 등록특허 제1739091호 (2017.05.24. 공고) 대한민국 공개특허 제2022-0154471호 (2022.11.22. 공개) 대한민국 공개특허 제2017-0025241호 (2017.03.08. 공개) 대한민국 등록특허 제2117290호 (2020.06.01. 공고)

본 발명이 이루고자 하는 기술적인 과제는 내포 함수 신경망을 이용한 파노라마 방사선 사진으로부터의 3차원 치아 재구성 장치 및 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 3차원 치아 재구성 방법은 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 파노라마 방사선(Panoramic X-ray, PX) 이미지로부터의 3차원 치아 재구성 방법으로써, 피검자의 PX 이미지를 획득하는 단계, 상기 PX 이미지의 각 치아를 분할하는 단계, 조건 벡터(condition vector)를 생성하는 단계, 및 사전학습된 내포 함수 신경망(Neural Implicit Function) 기반의 재구성 모델을 이용하여, 상기 조건 벡터로부터 3차원 이미지를 예측하는 단계를 포함하고, 상기 조건 벡터는 분할된 치아에 대응하는 치아 패치의 인코딩 값과 치아 번호의 임베딩을 더함으로써 생성된다.

본 발명의 실시예에 따른, 내포 함수 신경망을 이용한 파노라마 방사선 사진으로부터의 3차원 치아 재구성 장치 및 방법에 의할 경우, 파노라마 방사선 사진으로부터 정확한 3차원 개별 치아 생성을 수행할 수 있어, 치과 의료 진단과 치료에 3차원 보조 시각화 자료로 사용될 수 있다.

또한, 3차원으로 재구성된 치아 데이터를 통해 의료 시뮬레이션, 의료 학습 도구 등의 개발에 이용될 수 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 CBCT와 파노라마 방사선 사진의 예시를 도시한다.
도 2는 본 발명에서 제안하는 기법의 전체적인 개요도이다.
도 3은 본 발명에 의한 3차원 재구성 예측 결과를 도시한다.
도 4는 본 발명의 일 실시예에 따른 3차원 치아 재구성 방법을 설명하기 위한 흐름도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세히 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

파노라마 방사선(panoramic radiography, panoramic X-ray, or PX)은 치아 검진(dental examination)과 진단(diagnosis) 분야에서 주로 이용된다. PX는 파노라마 스캐닝(panoramic scanning)으로부터 2D 이미지를 생성하는 반면에, CBCT(Cone-Beam Computed Tomography)는 치아, 구강, 악안면 구조(dental, oral, and maxillofacial structures)에 대한 3D 정보를 제공한다. PX에 비해 포괄적인 정보를 제공함에도 불구하고, CBCT는 고가이고 환자에 대한 방사선 노출이 크다. 따라서, PX로부터 3D 치아 재구성은 매우 중요한 의미를 갖는다. 이와 관련하여, 도 1에는 CBCT와 파노라마 방사선 사진의 예시가 도시되어 있다.

본 발명에서 제안하는 기법은 2D 치아 분할(2D teeth segmentation)과 3D 치아 재구성(3D teeth reconstruction)으로 구성된다. 2D 치아 분할은, 소정의 분할 기법(예컨대, UNet++ 모델)을 이용하여, PX로부터의 복수의 치아(예컨대, 32개의 치아)에 대한 분할을 수행한다. 예시적인 치아 분할 모델인 UNet++ 모델은 Zhou 등의 논문(Zhou, Z., Siddiquee, M.M.R., Tajbakhsh, N., Liang, J.: Unet++: A nested u-net architecture for medical image segmentation. In: Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, pp. 3-11. Springer (2018))에서 제안되었다.

개별적으로 분할된 치아와 치아 번호(tooth class)는 재구성을 위해 3D 치아 재구성 모델에 입력된다. 재구성 과정은, 내포 함수 신경망(neural implicit function)에 기초하여, 치아의 3D 표현을 예측한다. 제안하는 기법의 전체적인 개요는 도 2에 도시되어 있다.

도 2를 참조하면, (a) PX 이미지는, 치아 분할 모델(예컨대, UNet++ 모델)을 이용하여, 복수의 치아(예컨대, 32개의 치아)로 분할된다. 이때, 각 치아에는 치아의 위치, 형상, 역할 등에 따라 고유한 치아 번호(고유 번호나 식별 번호로 명명될 수도 있음)가 부여될 수 있다. 각 치아에 대하여, 분할된 패치(segmented patch, 개별 치아에 대응되는 분할된 이미지를 의미할 수 있음)는, 예측된 분할 마스크로 입력 PX를 잘라냄으로써(crop), 생성된다. 분할된 패치는 이미지 인코더(image encoder)를 통해 인코딩된다. 치아 번호는 임베딩 레이어(embedding layer)에 의해 인코딩되어 번호 임베딩(class embedding)이 생성된다. 분할된 패치와 번호 임베딩은 합산(결합)되어 조건 벡터(condition vector)가 생성된다.

(b) 재구성 과정(reconstruction process)은, 3D 공간으로부터 샘플링된 점들의 점유 특징들(occupancy features)을 계산하는 N(N은 임의의 자연수) 개의 ResBlocks으로 구성된다. PX로부터의 조건 벡터는 ResBlocks 내에 병합된 조건부 활성 모듈(Conditional eXcitation module, CX 모듈)에 의해 처리된다.

(c) CX 서브-모듈을 갖는 컨볼루션 레이어(Conv)는 배치 정규화(batch normalization), 조건부 활성(CX), 활성화 함수(예컨대, ReLU), 및 컨볼루션 레이어(conv1D)로 구성된다. CX를 갖는 FC(Fully Connected layer, 완전 연결 레이어)는 CX를 갖는 ResBlock과 유사하다. 다만, Conv1D 레이어가 완전 연결 레이어로 교체된 점에서 차이점이 있다.

(d) CX는 활성 값들(excitation values)을 이용하여 조건 정보(condition information)를 재구성 네트워크에 주입한다(inject). CX는 학습가능한 가중치 행렬(trainable weight matrix)를 이용하여, 조건 벡터(condition vector)를, 게이트 함수(gating function)를 통하여, 활성 벡터(excitation vector)로 인코딩한다. 입력 특징(input feature)은 활성 벡터를 이용하여, 요소간 곱셈(component-wise multiplication)을 통하여, 스케일링된다.

상술한 재구성 모델은 학습 데이터를 이용하여 학습된 모델을 의미할 수 있다. 재구성 모델은, 분할된 치아 패치에 대하여 이에 대응하는 3차원 치아를 출력하도록 하는 학습 과정을 반복 수행하고 가중치를 업데이트함으로써, 생성될 수 있다. 이때, 3차원 치아는 분할된 치아에 대응하는 3차원 치아 이미지로써, CBCT 이미지를 의미할 수 있다.

2D 치아 분할(2D Teeth Segmentation)

입력 PX(PX 이미지) 내의 치아는 복수의 치아(예컨대, 32개의 치아)로 분할된다. 각 치아에 대한 치아 번호는 치아에 대한 전통적인 넘버링에 따른 것일 수 있다. 따라서, 치아 번호는 치아의 위치, 형상, 역학 등에 대한 정보를 포함하는 것으로 이해될 수 있다.

모델의 입력은 H×W 사이즈의 PX 이미지이다. 분할 출력은 C×H×W의 차원을 갖는다. 여기서, 채널 차원(channel dimension) C=33은 치아 번호의 개수를 나타낼 수 있다. 33개 중 하나는 배경(background)을 위한 번호를, 32개는 치아를 위한 번호를 의미할 수 있다. 따라서, 각 채널에서의 H×W 출력은 각 치아 번호에 대한 분할 출력이다. 분할 출력은 재구성을 위한 치아 패치들을 생성하기 위해 이용된다. 분할을 위해, 사전 학습된(pre-trained) 치아 분할 모델(예컨대, UNet++)를 이용할 수 있다. UNet++은 의료 이미지 분할 분야에서 강점을 갖는다. 그러나, 본 발명이 다른 분할 기법의 채용을 제한하는 것은 아니며, 실시예에 따라 UNet 등 다양한 분할 기법이 이용될 수도 있다.

3D 치아 재구성(3D Teeth Reconstruction)

내포 함수 신경망 표현(Neural Implicit Representation). 3D 형상의 전형적인 표현으로 점-기반(point-based), 복셀-기반(voxel-based), 또는 메쉬-기반(mesh-based) 기법 등이 있다. 이러한 기법들은, 이산 점들, 꼭지점들, 및 면(discrete points, vertices, and faces)의 집합을 통해, 3D 형상을 명시적으로(explicitly) 표현한다. 최근, 3D 형상의 경계를 정의하는 연속 함수(continuous function)에 기초한 내포적 표현 기법(implicit representation methods)이 알려졌다. Occupancy Networks는 물체의 점유(object's occupancy)에 대한 내포 함수(implicit function)를 근사하는 신경망(neural networks)을 이용한다(Mescheder, L., Oechsle, M., Niemeyer, M., Nowozin, S., Geiger, A.: Occupancy networks: Learning 3d reconstruction in function space. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 4460-4470 (2019)). "점유"라는 용어는 공간(space) 내의 점(point)이 물체 경계의 내부 또는 외부에 놓인 것인지 여부를 의미한다. 점유 함수(occupancy function)는 3D 점(3D point)을 0 또는 1로 매핑한다. 이때, 0은 점유(또는 비점유)를, 1은 비점유(또는 점유)를 나타낸다. o_A를 물체 A에 대한 점유 함수라 하자. o_A는 수학식 1과 같다.

[수학식 1]

o_A는, 로 표기되는, 물체 A에 대한 관측들의 집합(set of observations)만으로 추정될 수 있다. 관측들의 예는 물체로부터의 투영된 이미지들(projected images) 또는 점군 데이터(point cloud data)이다. 본 발명의 목적은 의 상태에 있는 점유 함수를 추정하는 것이다. 특히, 에 기초하여 3D 공간 내의 점의 점유 확률(occupancy probability)을 추정하는 함수(점유 확률 함수) 를 찾고자 한다. 함수 는 수학식 2와 같이 표현된다.

[수학식 2]

본 발명에서는 분할된 치아 패치와 이에 대응하는 치아 번호를 관측들(조건 벡터 c로 표기됨)로써 이용한다. 특히, 함수에 대한 입력은, 미리 정의된 공간(예컨대, 단위정육면체(unit cube))) 내의 임의로 샘플링된 T 개의 위치들(점들)의 집합이고, 함수는 입력의 점유 확률을 출력한다. 따라서, 함수는 와 같이 주어진다.

를 위한 모델은 도 2의 (b)에 도시되어 있다. 샘플링된 위치들은 고차원, 예컨대 128 차원의 특징 벡터들로, 1D 컨볼루션을 이용하여, 투영된다. 다음으로, 특징들은 FC 레이어들(fully connected layers, 완전 연결 레이어)가 뒤따르는 일련의 ResNet 블럭들(컨볼루션 레이어, CX를 갖는 컨볼루션 레이어, 컨볼루션 블럭 등으로 명명될 수도 있음)에 의해 처리된다. 조건 벡터 c는 조건부 활성(Conditional eXcitation, CX)를 통해 각 블럭을 위해 사용된다. 또한, 실시예에 따라, 첫번째 컨볼루션 레이어의 입력은 마지막 컨볼루션 레이어의 출력과 합산된 후 완전 연결 레이어로 입력될 수도 있다.

치아 번호-특화 조건 특징들(Class-specific Conditional Features). 치아 재구성 태스크의 구별되는 특징(distinctive feature)은 동일한 치아 번호를 갖는 치아는 표면(surface)과 뿌리 형상(root shapes) 등과 같은 특징들을 공유한다는 것이다. 따라서, 본 발명에서는 치아 번호 정보를 PX로부터의 분할된 치아 패치와 결합하여 사용하는 것을 제안한다. 치아 번호는 치아 번호 임베딩 벡터를 출력하는 학습가능한 임베딩 레이어(learnable embedding layer)에 의해 처리된다.

다음으로, 다음과 같이 분할 출력을 이용하여 치아의 정사각형 패치(square patch)를 생성한다. 분할된 치아의 이진 마스크(binary mask)는 분할 출력에 대한 경계화(thresholding)를 적용함으로써 생성된다. 치아 패치는 입력 PX로부터 치아 영역을 잘라냄으로써 생성된다. 즉, 패치를 획득하기 위해 이진 마스크가 입력 PX에 적용된다(bitwise AND). 분할된 치아 패치는 소정의 모델, 예컨대 사전 학습된 인코딩 모델, 예컨대 ResNet18 모델(He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 770-778 (2016))을 이용하여 인코딩된다. 예시적인 인코딩 모델인 ResNet18 모델은 패치 임베딩 벡터(patch embedding vector)를 출력한다. 패치와 치아 번호 임베딩은 재구성 모델을 위한 조건 벡터를 생성하기 위해서 더해진다. 이 과정은 도 2의 (a)에 도시되어 있다.

조건부 활성(Conditional eXcitation, CX). 2D 관측들을 재구성 네트워크에 효율적으로 주입하기 위하여, Squeeze-and-Excitation Network (SENet)(Hu, J., Shen, L., Sun, G.: Squeeze-and-excitation networks. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 7132-7141 (2018))에 의해 영감받은, 조건부 활성(CX)을 제안한다. SENet에서, 활성(excitation)은 중요도에 따라 입력 특징(input feature)들을 스케일링하는 것을 나타낸다. 본 발명에서, "활성"의 개념은 조건 특징들(conditional features)을 네트워크에 병합(incorporating)하는 것으로 확장된다. 우선, 조건 벡터는 활성 벡터 e로 인코딩된다. 다음으로, 활성 벡터는, 특징 요소들을 e로 스케일링함으로써, 입력 특징에 적용된다. CX 과정은 수학식 3 및 수학식 4로 표현된다.

[수학식 3]

[수학식 4]

상기 수학식에서, c는 조건 벡터, σ는 게이트 함수(gating function), W는 학습가능한 가중치 행렬(learnable weight matrix), α는 활성 결과(excitation result)를 위한 하이퍼파라미터, 그리고 F_ext는 활성 함수(excitation function)를 나타낸다. σ로 시그모이드 함수(sigmoid function)가 이용될 수 있고, 활성을 위한 요소간 곱(component-wise multiplication)은 이다. CX 모듈은 도 2의 (d)에 도시되어 있다. CX는 조건 벡터로부터 활성을 유도하는 반면에 SENet은 입력 특징들로부터 유도한다는 점에서, CX는 SENet와는 상이하다. 제안 기법은 CBN(Conditional Batch Normalization)을 이용한 Occupancy Networks(Dumoulin, V., Belghazi, I., Poole, B., Mastropietro, O., Lamb, A., Arjovsky, M., Courville, A.: Adversarially learned inference. arXiv preprint arXiv:1606.00704 (2016), De Vries, H., Strub, F., Mary, J., Larochelle, H., Pietquin, O., Courville, A.C.: Modulating early visual processing by language. Advances in Neural Information Processing Systems 30 (2017))와도 상이하다.

도 3은 본 발명에 의한 3차원 재구성 예측 결과를 도시한다. 구체적으로, 도 3의 (a)는 PX 이미지를, (b)는 본 발명에서 제안하는 재구성 모델을 이용한 예측 결과를, (c)는 정답 이미지를 도시한다. 도 3을 참조하면, PX 이미지로부터 예측이 어려운 치아의 뿌리 부분에 대해서도 3차원 재구성이 이루어짐을 알 수 있다.

도 4는 본 발명의 일 실시예에 따른 3차원 치아 재구성 방법을 설명하기 위한 흐름도이다. 이하에서, 3차원 치아 재구성 방법을 설명함에 있어, 앞선 기재와 중복되는 내용에 관하여는 그 구체적인 기재를 생략하기로 한다.

3차원 치아 재구성 방법은 적어도 프로세서(processor) 및/또는 메모리(memory)를 포함하는 컴퓨팅 장치에 의해 수행될 수 있다. 즉, 3차원 치아 재구성 방법의 단계들 중 적어도 일부는 컴퓨팅 장치에 포함되는 프로세서의 동작으로 이해될 수도 있다. 컴퓨팅 장치는 PC(Personal Computer), 서버(server), 랩탑 컴퓨터, 태블릿 PC 등을 포함할 수 있다 .실시예에 따라, 컴퓨팅 장치는 PX 이미지를 생성하는 PX 장치(PX 이미징 장치, PX 촬영 장치 등으로 명명될 수도 있음) 자체를 의미할 수도 있다. 컴퓨팅 장치는 3차원 치아 재구성 장치 등으로 명명될 수 있다.

우선, 피검자 또는 환자의 치아에 대한 파노라마 방사선(PX) 이미지가 획득된다(S110). 이차원(2D) 이미지인 PX 이미지는 유무선 통신망을 통하여 수신될 수 있다. PX 이미지는 PX 이미징 장치로부터 수신될 수 있다. 실시예에 따라, PX 이미지는 USB 메모리 장치와 같은 저장 장치로부터 소정의 입출력 인터페이스를 통하여 수신되거나, 컴퓨팅 장치의 저장부에 미리 저장되어 있는 것도 가능하다. 또한, 컴퓨팅 장치가 PX 이미징 장치 자체를 의미하는 경우, PX 이미지는 피검자 또는 환자의 치아에 대한 PX 이미지를 촬영하는 것으로 획득될 수도 있다.

PX 이미지로부터 각 치아가 분할된다(S120). 소정의 치아 분할 기법, 예컨대 UNet++을 이용하여 치아가 분할될 수 있다. 이때, 분할된 각 치아는 고유한 번호인 치아 번호가 할당될 수 있다.

다음으로, 재구성 모델의 입력인 조건 벡터가 생성된다(S130). 조건 벡터는 치아 패치 임베딩과 치아 번호 임베딩의 결합(합산)으로 생성된다. 치아 패치 임베딩은 분할된 각 치아에 대한 패치로써, 소정의 인코딩 기법을 통해 인코딩(또는 임베딩)된 것을 의미하고, 치아 번호 임베딩은 해당 치아에 대한 치아 번호에 대한 임베딩을 의미할 수 있다.

내포 함수 신경망 기반의 재구성 모델을 이용하여 삼차원(3D) 치아 재구성이 수행된다(S140). 재구성 모델은, 각 치아에 대하여, 조건 벡터를 입력받고 조건 벡터에 대응하는 3차원 치아 이미지를 생성할 수 있다.

구체적으로, 미리 정의된 공간 내에서 샘플링된 복수의 점들(points)로부터 다차원의 특징 벡터를 생성한다. 생성된 특징 벡터는 적어도 하나의 컨볼루션 레이어에 의해 처리된 후 적어도 하나의 완전 연결 레이어에 의해 3차원 치아 이미지(각 점들의 점유 여부를 의미할 수도 있음)가 도출될 수 있다.

이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 집합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPA(Field Programmable array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(Operation System, OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor)와 같은, 다른 처리 구성(Processing Configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(Code), 명령(Instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(Collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성 요소(Component), 물리적 장치, 가상 장치(Virtual Equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(Signal Wave)에 영구적으로, 또는 일시적으로 구체화(Embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-optical Media), 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성 요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 파노라마 방사선(Panoramic X-ray, PX) 이미지로부터의 3차원 치아 재구성 방법에 있어서,
피검자의 PX 이미지를 획득하는 단계;
상기 PX 이미지의 각 치아를 분할하는 단계;
조건 벡터(condition vector)를 생성하는 단계; 및
사전학습된 내포 함수 신경망(Neural Implicit Function) 기반의 재구성 모델을 이용하여, 상기 조건 벡터로부터 3차원 이미지를 예측하는 단계를 포함하고,
상기 조건 벡터는 분할된 치아에 대응하는 치아 패치의 인코딩 값과 치아 번호의 임베딩을 더함으로써 생성되고,
상기 3차원 이미지를 예측하는 단계는, 미리 정해진 공간 내에서 임의로 샘플링된 복수의 점들에 기초하여 차원이 증가된 특징 벡터(feature vector)를 생성하는,
3차원 치아 재구성 방법.
제1항에 있어서,
상기 분할하는 단계는 UNet++을 이용하여 각 치아를 분할하는,
3차원 치아 재구성 방법.
삭제
제1항에 있어서,
상기 3차원 이미지를 예측하는 단계는, 상기 특징 벡터를 완전 연결 레이어(Fully Connected Layer)가 후속하는 적어도 하나의 컨볼루션 레이어에 입력함으로써, 상기 복수의 점들 각각이 3차원 형상에 점유되는지 여부를 예측하는,
3차원 치아 재구성 방법.
제4항에 있어서,
상기 적어도 하나의 컨볼루션 레이어는 조건부 활성 레이어를 더 포함하고,
상기 조건부 활성 레이어는 입력되는 특징 벡터와 활성 벡터(excitation vector) 간의 요소간 곱을 수행하여 출력하고,
상기 활성 벡터(e)는 수학식에 의해 산출되고,
상기 수학식은 이고,
상기 c는 상기 조건 벡터이고, 상기 W는 가중치 행렬(weight matrix)이고, σ는 게이트 함수(gating function)이고, α는 미리 정해진 값을 갖는 하이퍼파라미터인,
3차원 치아 재구성 방법.