KR102382602B1 - 3d 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템 및 방법 - Google Patents

Abstract

본 발명은 기 준비된 피사체를 촬영하여 얻은 3D 학습데이터와, 콘빔 아티팩트가 포함된 CBCT 목표데이터를 입력받는 학습데이터 및 목표데이터 입력부, 상기 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나누는 패치 분할부, 상기 나눈 3D 학습데이터의 복수 개의 하위 패치 중 미리 결정된 퍼센티지만큼을 훈련 셋(training set)으로 하고, 그 외의 하위 패치를 검증 셋(validation set)으로 하여 콘빔 아티팩트를 보정하는 학습을 수행하여 3D 기반 신경망 학습 모델을 생성하는 3D 기반 신경망 학습 모델 생성부, 상기 생성된 3D 기반 신경망 학습 모델에 상기 나눈 CBCT 목표데이터의 복수 개의 하위 패치를 입력하여 상기 CBCT 목표데이터의 콘빔 아티팩트를 보정하는 보정 수행부, 상기 보정된 CBCT 목표데이터의 복수 개의 하위 패치의 소정 부분을 크롭(crop)한 후, 이들을 병합하여 최종 보정 데이터를 출력하는 최종 보정 데이터 출력부를 포함하하여, 보다 효과적으로 콘빔 아티팩트를 제거하고 처리 시간을 단축시킬 수 있는 효과를 가진다.

Description

3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템 및 방법{3D convolutional neural network based cone-beam artifact correction system and method}

본 발명은 콘빔 아티팩트 보정 기술에 관한 것으로, 보다 상세하게는 3D 기반 신경망 모델의 학습 데이터를 충분하게 확보하여 보다 효과적으로 콘빔 아티팩트를 제거하고 처리 시간을 단축시키는 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템 및 방법에 관한 것이다.

콘빔 CT(CBCT: Cone beam CT)란 X선을 원뿔 형태로 방사하여 검출하는 CT 촬영을 의미한다. 일반 CT(Conventional CT)와 CBCT는 공통적으로 투사(Projection) 및 재구성(Reconstruction)의 과정을 거쳐서 영상을 형성하지만 중요한 차이점이 있다. 일반 CT는 부채꼴형의 X선과 선형 검출기를 사용하여, 피사체를 투과한 X선을 1차원으로 검출하고, 투사 데이터를 재구성하여 2차원 단면 정보를 획득한다. 반면, CBCT는 원뿔형의 X선과 평면형 검출기를 사용하여 피사체를 투과한 X선을 2차원으로 검출하고, 투사 데이터를 재구성하여 3차원 체적 정보를 획득한다.

CBCT는 1회의 완전한 회전이나 부분적인 회전만으로 피사체의 3차원 체적 정보를 획득할 수 있다. 따라서 일반 CT에 비해 촬영시간이 짧고, 환자가 받는 방사선 노출량이 적다. 또한, 영상을 구성하는 체적소(voxel)가 매우 작은 정육면체 형태이기 때문에 고해상도의 영상을 얻을 수 있다. 이러한 장점을 지닌 CBCT는 임플란트 치과, 정형외과, Interventional 영상의학 등의 다양한 분야에서 진단 및 치료 계획에 널리 활용되고 있다.

그러나 도 1에 도시된 바와 같이, CBCT는 중심에서 벗어난 위치를 촬영했을 때 주파수 영역에서 missing cone 범위에 해당하는 정보가 소실된다는 한계점을 안고 있다. X선 입사각이 커질수록 검출기에서 얻은 투과/흡수에 대한 정보가 적어지게 되고, 투사 데이터가 3차원 체적으로 재구성되는 과정에서 소실된 정보로 인해 재구성된 영상의 말단 부분에 줄 형태의 왜곡이 생기는 콘빔 아티팩트(Cone beam artifact)가 발생한다.

이는 X선 방출기와 검출기의 기하학적 구조로 인해 발생하는 근본적인 오차이기 때문에 raw data 상에서는 더 줄일 수가 없다. 이러한 오차를 줄이기 위해서는 X선 방출기와 검출기의 구조를 변경하거나, 재구성 알고리즘을 개선하는 방향으로 접근하는 방법이 필요하다.

다만 기존 재구성 알고리즘 중 FDK 재구성(FDK Reconstruction)의 경우 처리 속도는 빠르지만 콘빔 아티팩트가 많은 편이며, TV-IR 기법의 경우 콘빔 아티팩트가 적은 대신 처리 속도가 느리다는 한계점을 안고 있다. 이에 TV-IR 기법은 긴급한 의료 진단 등에는 사용하기 어려운 점이 있다.

한국등록특허공보 제10-2020221호

이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 학습 데이터를 충분하게 확보하여 3D 기반 신경망 모델을 학습하고, 학습된 모델을 통해 새로운 CBCT 영상에서 효과적으로 콘빔 아티팩트를 제거하고 처리 시간을 단축시키는 것을 목적으로 한다.

또한, 본 발명은 긴급한 진단 현장에서 더 선명한 이미지를 활용하여 각종 질환의 초기진단율을 향상시키며, 저선량 CT 이미지 복원 기술 또는 산업용 CT 등에도 응용이 가능하도록 하는 것을 목적으로 한다.

또한, 본 발명은 기존에 제시된 여러 콘빔 아티팩트 보정 기술과는 다르게 현재 사용되고 있는 CT 시스템에 즉각적으로 기용이 가능하여 쉽게 보급이 가능하도록 하는 것을 목적으로 한다.

또한, 본 발명은 기존의 콘빔 아티팩트 보정 기술들에 비해 콘빔 아티팩트 보정 정도 및 성능이 우수하여, 큰 Cone angle을 발생시키는 대면적 X선 검출기에도 적용이 가능하도록 하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템은 기 준비된 피사체를 촬영하여 얻은 3D 학습데이터와, 콘빔 아티팩트가 포함된 CBCT 목표데이터를 입력받는 학습데이터 및 목표데이터 입력부, 상기 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나누는 패치 분할부, 상기 나눈 3D 학습데이터의 복수 개의 하위 패치 중 미리 결정된 퍼센티지만큼을 훈련 셋(training set)으로 하고, 그 외의 하위 패치를 검증 셋(validation set)으로 하여 콘빔 아티팩트를 보정하는 학습을 수행하여 3D 기반 신경망 학습 모델을 생성하는 3D 기반 신경망 학습 모델 생성부, 상기 생성된 3D 기반 신경망 학습 모델에 상기 나눈 CBCT 목표데이터의 복수 개의 하위 패치를 입력하여 상기 CBCT 목표데이터의 콘빔 아티팩트를 보정하는 보정 수행부, 상기 보정된 CBCT 목표데이터의 복수 개의 하위 패치의 소정 부분을 크롭(crop)한 후, 이들을 병합하여 최종 보정 데이터를 출력하는 최종 보정 데이터 출력부를 포함하는 것을 특징으로 한다.

상기 학습데이터 및 목표데이터 입력부는 기 준비된 적어도 하나 이상의 피사체를 CT로 촬영하여 얻은 3D 원본 학습데이터와, 상기 얻은 3D 원본 학습데이터를 기준으로 재구성한 3D 콘빔 학습데이터를 입력받는 학습데이터 입력부, 상기 기 준비된 적어도 하나 이상의 피사체를 CBCT로 촬영하여 얻은 CBCT 목표데이터를 입력받는 목표데이터 입력부를 포함하는 것을 특징으로 한다.

상기 패치 분할부는 상기 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나눈 후, 콘 앵글(Cone angle)에 의한 복수 개의 집합으로 분류하는 것을 특징으로 한다.

상기 검증 셋(validation set)은 상기 3D 기반 신경망 학습 모델 생성부로부터 생성된 3D 기반 신경망 모델의 학습을 평가하는 척도인 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 방법은 학습데이터 및 목표데이터 입력부에서 기 준비된 피사체를 촬영하여 얻은 3D 학습데이터와, 콘빔 아티팩트가 포함된 CBCT 목표데이터를 입력받는 학습데이터 및 목표데이터 입력단계, 패치 분할부에서 상기 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나누는 패치 분할단계, 3D 기반 신경망 학습 모델 생성부에서 상기 나눈 3D 학습데이터의 복수 개의 하위 패치 중 미리 결정된 퍼센티지만큼을 훈련 셋(training set)으로 하고, 그 외의 하위 패치를 검증 셋(validation set)으로 하여 콘빔 아티팩트를 보정하는 학습을 수행하여 3D 기반 신경망 학습 모델을 생성하는 3D 기반 신경망 학습 모델 생성단계, 보정 수행부에서 상기 생성된 3D 기반 신경망 학습 모델에 상기 나눈 CBCT 목표데이터의 복수 개의 하위 패치를 입력하여 상기 CBCT 목표데이터의 콘빔 아티팩트를 보정하는 보정 수행단계, 최종 보정 데이터 출력부에서 상기 보정된 CBCT 목표데이터의 복수 개의 하위 패치의 소정 부분을 크롭(crop)한 후, 이들을 병합하여 최종 보정 데이터를 출력하는 최종 보정 데이터 출력단계를 포함하는 것을 특징으로 한다.

상기 3D 학습데이터는 학습데이터 입력부에서 기 준비된 적어도 하나 이상의 피사체를 CT로 촬영하여 얻은 3D 원본 학습데이터와, 상기 얻은 3D 원본 학습데이터를 기준으로 재구성한 3D 콘빔 학습데이터를 포함하는 것을 특징으로 한다.

상기 CBCT 목표데이터는 목표데이터 입력부에서 상기 기 준비된 적어도 하나 이상의 피사체를 CBCT로 촬영하여 얻은 CBCT 목표데이터를 포함하는 것을 특징으로 한다.

상기 패치 분할단계는 상기 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나눈 후, 콘 앵글(Cone angle)에 의한 복수 개의 집합으로 분류하는 것을 특징으로 한다.

상기 검증 셋(validation set)은 상기 3D 기반 신경망 학습 모델 생성부로부터 생성된 3D 기반 신경망 모델의 학습을 평가하는 척도인 것을 특징으로 한다.

이상에서 설명한 바와 같은 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템 및 방법에 따르면,

첫째, 3D 기반 신경망 모델의 학습 데이터를 충분하게 확보하여 3D 기반 신경망 모델을 학습하고, 학습된 모델을 통해 새로운 CBCT 영상에서 효과적으로 콘빔 아티팩트를 제거하고 처리 시간을 단축시킬 수 있는 효과를 가진다.

둘째, 긴급한 진단 현장에서 더 선명한 이미지를 활용하여 각종 질환의 초기진단율을 향상시키며, 저선량 CT 이미지 복원 기술 또는 산업용 CT 등에도 응용이 가능한 효과를 가진다.

셋째, 기존에 제시된 여러 콘빔 아티팩트 보정 기술과는 다르게 현재 사용되고 있는 CT 시스템에 즉각적으로 기용이 가능하여 쉽게 보급이 가능한 효과를 가진다.

넷째, 기존의 콘빔 아티팩트 보정 기술들에 비해 콘빔 아티팩트 보정 정도 및 성능이 우수하여, 큰 Cone angle을 발생시키는 대면적 X선 검출기에도 적용이 가능한 효과를 가진다.

도 1은 CBCT 촬영 과정에서, 중앙에 위치한 피사체와 중앙에서 벗어난 피사체에서 획득하는 주파수 영역 데이터의 범위를 나타낸 도면.
도 2는 일반적인 컨벌루션 뉴럴 네트워크(Convolutional Neural Network) 구조 중 하나인 2D-UNet을 나타낸 도면.
도 3은 본 발명의 실시예에 따른 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템을 나타낸 구성도.
도 4는 본 발명의 실시예에 따른 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 방법을 나타낸 순서도.
도 5는 본 발명의 실시예로서, 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정과정을 보다 구체적으로 나타낸 도면.
도 6은 본 발명의 실시예로서, 컨벌루션 뉴럴 네트워크(CNN: Convolutional Neural Network) 구조인 3D-ResUNet을 나타낸 도면.
도 7은 본 발명의 실시예로서, 3D 데이터에서 하위 패치를 생성하는 것을 나타낸 도면.
도 8은 본 발명의 실시예로서, XCAT Phantom을 3D 원본 학습데이터로 하였을 때 투사 및 FDK 재구성에 사용된 콘빔 CT 시스템을 나타낸 도면.
도 9는 도 8에 따른 시뮬레이션 구현 결과를 나타낸 도면.

첨부한 도면을 참조하여 본 발명의 실시예들에 의한 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템 및 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 영상을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.

또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 3은 본 발명의 실시예에 따른 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템을 나타낸 구성도이다.

도 3을 참조하면, 본 발명의 실시예에 따른 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템은 학습데이터 및 목표데이터 입력부(100), 패치 분할부(200), 3D 기반 신경망 학습 모델 생성부(300), 보정 수행부(400) 및 최종 보정 데이터 출력부(500)를 포함하는 것을 특징으로 할 수 있다.

학습데이터 및 목표데이터 입력부(100)는 기 준비된 피사체를 촬영하여 얻은 3D 학습데이터와, 콘빔 아티팩트가 포함된 CBCT 목표데이터를 입력받는 것을 특징으로 할 수 있다.

보다 상세하게, 학습데이터 및 목표데이터 입력부(100)는 학습데이터 입력부(110) 및 목표데이터 입력부(130)를 포함하는 것을 특징으로 할 수 있다.

학습데이터 입력부(110)는 기 준비된 적어도 하나 이상의 피사체를 CT로 촬영하여 얻은 3D 원본 학습데이터와, 상기 얻은 3D 원본 학습데이터를 기준으로 재구성한 3D 콘빔 학습데이터를 입력받는 것을 특징으로 할 수 있다.

목표데이터 입력부(130)는 상기 기 준비된 적어도 하나 이상의 피사체를 CBCT로 촬영하여 얻은 CBCT 목표데이터를 입력받는 것을 특징으로 할 수 있다.

패치 분할부(200)는 상기 학습데이터 및 목표데이터 입력부(100)로부터 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나누는 것을 특징으로 할 수 있다.

보다 상세하게, 패치 분할부(200)는 상기 학습데이터 및 목표데이터 입력부(100)로부터 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나눈 후, 콘 앵글(Cone angle)에 의한 복수 개의 집합으로 분류하는 것을 특징으로 할 수 있다. 이는 3D 기반 신경망 학습 모델부(300)에서의 학습 수행 시, 각 집합별로 개별적인 학습을 수행하기 위한 특징이라 할 수 있다. 여기서 콘 앵글에 의한 복수 개의 집합은 z축 별 집합인 것을 특징으로 할 수 있다.

3D 기반 신경망 학습 모델 생성부(300)는 상기 패치 분할부(200)로부터 나눈 3D 학습데이터의 복수 개의 하위 패치 중 미리 결정된 퍼센티지만큼을 훈련 셋(training set)으로 하고, 그 외의 하위 패치를 검증 셋(validation set)으로 하여 콘빔 아티팩트를 보정하는 학습을 수행하는 것을 특징으로 할 수 있다.

한편, 검증 셋(validation set)은 상기 3D 기반 신경망 학습 모델 생성부(300)로부터 생성된 3D 기반 신경망 모델의 학습을 평가하는 척도인 것을 특징으로 할 수 있다.

보정 수행부(400)는 상기 3D 기반 신경망 학습 모델 생성부(300)로부터 생성된 3D 기반 신경망 학습 모델에 상기 패치 분할부(200)로부터 나눈 CBCT 목표데이터의 복수 개의 하위 패치를 입력하여 상기 CBCT 목표데이터의 콘빔 아티팩트를 보정하는 것을 특징으로 할 수 있다.

최종 보정 데이터 출력부(500)는 상기 보정 수행부(400)로부터 보정된 CBCT 목표데이터의 복수 개의 하위 패치의 소정 부분을 크롭(crop)한 후, 이들을 병합하여 최종 보정 데이터를 출력하는 것을 특징으로 할 수 있다.

도 4는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 방법을 나타낸 순서도이다.

도 4를 참조하면, 본 발명의 실시예에 따른 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 방법은 학습데이터 및 목표데이터 입력단계(S100), 패치 분할단계(S200), 3D 기반 신경망 학습 모델 생성단계(S300), 보정 수행단계(S400) 및 최종 보정 데이터 출력단계(S500)를 포함하는 것을 특징으로 할 수 있다.

학습데이터 및 목표데이터 입력단계는 학습데이터 및 목표데이터 입력부(100)에서 기 준비된 피사체를 촬영하여 얻은 3D 학습데이터와, 콘빔 아티팩트가 포함된 CBCT 목표데이터를 입력받는 것을 특징으로 할 수 있다(S100).

이 때, 학습데이터 및 목표데이터 입력단계(S100)에서 상기 3D 학습데이터는 학습데이터 입력부(110)에서 기 준비된 적어도 하나 이상의 피사체를 CT로 촬영하여 얻은 3D 원본 학습데이터와, 상기 얻은 3D 원본 학습데이터를 기준으로 재구성한 3D 콘빔 학습데이터를 포함하는 것을 특징으로 할 수 있다.

그리고, 학습데이터 및 목표데이터 입력단계(S100)에서 상기 CBCT 목표데이터는 목표데이터 입력부(130)에서 상기 기 준비된 적어도 하나 이상의 피사체를 CBCT로 촬영하여 얻은 CBCT 목표데이터를 포함하는 것을 특징으로 할 수 있다.

패치 분할단계는 패치 분할부(200)에서 상기 학습데이터 및 목표데이터 입력단계(S100)로부터 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나누는 것을 특징으로 할 수 있다(S200).

보다 상세하게, 패치 분할단계(S200)는 상기 학습데이터 및 목표데이터 입력단계(S100)로부터 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나눈 후, 콘 앵글(Cone angle)에 의한 복수 개의 집합으로 분류하는 것을 특징으로 할 수 있다. 이는 3D 기반 신경망 학습 모델단계(S300)에서의 학습 수행 시, 각 집합별로 개별적인 학습을 수행하기 위한 특징이라 할 수 있다. 여기서 콘 앵글에 의한 복수 개의 집합은 z축 별 집합인 것을 특징으로 할 수 있다.

3D 기반 신경망 학습 모델 생성단계는 3D 기반 신경망 학습 모델 생성부(300)에서 상기 패치 분할단계(S200)로부터 나눈 3D 학습데이터의 복수 개의 하위 패치 중 미리 결정된 퍼센티지만큼을 훈련 셋(training set)으로 하고, 그 외의 하위 패치를 검증 셋(validation set)으로 하여 콘빔 아티팩트를 보정하는 학습을 수행하는 것을 특징으로 할 수 있다(S300).

한편, 검증 셋(validation set)은 상기 3D 기반 신경망 학습 모델 생성부(300)로부터 생성된 3D 기반 신경망 모델의 학습을 평가하는 척도인 것을 특징으로 할 수 있다.

보정 수행단계는 보정 수행부(400)에서 상기 3D 기반 신경망 학습 모델 생성단계(S300)로부터 생성된 3D 기반 신경망 학습 모델에 상기 패치 분할단계(S200)로부터 나눈 CBCT 목표데이터의 복수 개의 하위 패치를 입력하여 상기 CBCT 목표데이터의 콘빔 아티팩트를 보정하는 것을 특징으로 할 수 있다(S400).

최종 보정 데이터 출력단계는 최종 보정 데이터 출력부(500)에서 상기 보정 수행단계(S400)로부터 보정된 CBCT 목표데이터의 복수 개의 하위 패치의 소정 부분을 크롭(crop)한 후, 이들을 병합하여 최종 보정 데이터를 출력하는 것을 특징으로 할 수 있다(S500).

도 3 및 도 4에 기초하여, 본 발명을 보다 상세하게 설명하면 다음과 같다.

도 5는 본 발명의 실시예로서, 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정과정을 보다 구체적으로 나타낸 도면이다. 이 때 도 5a는 3D 기반 신경망 학습 모델을 생성하는 것이 주요과정이고, 도 5b는 CBCT 데이터를 보정하는 것이 주요과정이다.

도 5a에서 X 및 X’은 본 발명의 학습데이터 입력부(110)에서 입력받는 데이터라 할 수 있다.

X는 미리 준비된 일반 CT 데이터로서 콘빔 아티팩트가 없는, 즉 3D 원본 학습데이터라 할 수 있다. 보다 상세하게, X는 기 준비된 피사체들을 일반 CT로 촬영하여 이들을 병합한 3D 원본 학습데이터라 할 수 있다.

X’은 미리 준비된 CBCT 데이터로서 콘빔 아티팩트가 있는, 즉 3D 콘빔 학습데이터라 할 수 있다. 보다 상세하게, X’은 상기 X에 투사 및 FDK 재구성을 적용하여 얻은 3D 콘빔 학습데이터라 할 수 있다.

그리고 패치 분할부(200)에서 상기 X(3D 원본 학습데이터)와, 상기 X’(3D 콘빔 학습데이터)를 각각 복수 개의 하위 패치로 나누고, 나눈 각각의 하위 패치들을 콘 앵글(Cone angle)에 의한 복수 개의 집합으로 분류할 수 있다.

도 5b에서 Y’은 본 발명의 목표데이터 입력부(130)에서 입력받는 데이터라 할 수 있다.

Y’은 보정이 필요한 CBCT 데이터로서 콘빔 아티팩트가 있는, 즉 CBCT 목표데이터라 할 수 있다. 보다 상세하게, Y’은 상기 기 준비된 피사체들을 CBCT로 촬영한, 보정이 필요한 CBCT 목표데이터라 할 수 있다.

그리고 마찬가지로, 패치 분할부(200)에서 상기 Y’(CBCT 목표데이터)를 각각 복수 개의 하위 패치로 나누고, 나눈 각각의 하위 패치들을 콘 앵글(Cone angle)에 의한 복수 개의 집합으로 분류할 수 있다.

그리고, 보정 수행부(400)에서 상기 도 5a에서 생성된 3D 기반 신경망 학습 모델에 상기 Y’(CBCT 목표데이터)의 하위 패치들을 입력하여 콘빔 아티팩트 보정을 수행할 수 있다.

보정이 완료된 복수 개의 하위 패치들은 최종 보정 데이터 출력부(500)에서 소정 부분이 크롭(crop)된 후, 병합되어 최종 보정 데이터인 Y로 출력될 수 있다.

Y는 보정이 완료된 CBCT 데이터로서 콘빔 아티팩트가 없는, 즉 최종 보정 데이터라 할 수 있다.

다시 말해서, 본 발명은 컨벌루션 뉴럴 네트워크(Convolutional Neural Network)을 FDK 재구성이 적용된 영상에 후처리로 적용하여 콘빔 아티팩트를 보정하는 것을 특징으로 할 수 있다. 이는 훈련 셋(training set) 데이터를 충분하게 확보한 후, 이를 학습하여 신경망 모델을 완성한 다음, 완성된 모델에 새로운 입력 영상을 입력하여 후처리를 하는 데에 수 초 내외의 짧은 소요시간만이 소요될 수 있도록 할 수 있다.

이와 관련하여 도 6은 본 발명의 실시예로서, 컨벌루션 뉴럴 네트워크(Convolutional Neural Network) 구조인 3D-ResUNet을 나타낸 도면이다.

도 6에 도시된 바와 같이, 본 발명에서 제시하는 CNN 구조는 3D-ResUNet으로서 도 2의 2D-UNet을 변형한 것이라 할 수 있다. UNet은 주로 Biomedical Image Segmentation에 사용되는 CNN 구조로서, U자 형태의 구조를 가지고 있어 생긴 이름이며 Localization에 특화되어 있다고 할 수 있다.

본 발명의 CNN 구조인 도 6(3D-ResUNet)과, 일반적으로 사용되는 CNN 구조 중 하나인 도 2(2D-UNet)를 비교하면 다음과 같다.

첫째, 본 발명의 CNN은 Residual Learning을 추가적으로 수행함으로써 기존 CNN에서 네트워크가 깊어질수록 발생하는 Vanishing Gradient 문제를 해결할 수 있다. 여기서, Residual Learning은 도 6에서 보라색 화살표로 표시된 과정으로서, 네트워크의 입력과 출력이 더해진 것을 다음 레이어의 입력으로 사용하는 것을 의미한다.

둘째, 일반적인 CNN 구조인 2D-UNet은 Convolution Layer 이후 Activation Function(ReLU)을 적용하였으나, 본 발명의 CNN 구조인 3D-ResUNet에서는 Batch Normalization, ReLU, Convolution Layer를 순서대로 적용함으로써 full pre-activation을 구현하였다. 본 발명의 CNN 구조에 따르면, Residual Learning에서 full pre-activation을 적용할 때 Test set에 대한 정확도가 향상되는 이점을 가진다.

셋째, 일반적인 CNN 구조의 입력 데이터는 2D인 반면, 본 발명의 CNN 구조의 입력 데이터는 3D volume이다. CBCT에서는 3차원 상으로 콘빔 아티팩트가 형성되기 때문에, 2차원 단면을 2D 네트워크 구조에 대입하는 것보다 3차원 볼륨 전체를 3D 네트워크에 대입하면 더 좋은 성능을 낼 수 있다. 이에 본 발명에서는 네트워크를 구성하는 모든 함수들을 3차원 함수로 교체하였다.

넷째, 본 발명의 3D 네트워크는 학습 시 훨씬 더 많은 연산을 필요로 하기 때문에 연산량의 제약에 부딪히는 한계점을 안고 있다. 이에 낮은 해상도의 훈련 셋을 사용해야하는데, 이 때 네트워크 구조를 재조정하지 않을 경우 심층부 feature들의 해상도가 너무 낮아져서 유의미한 영향을 미치지 못하게 된다. 기존 UNet은 Convolution Layer마다 출력의 크기가 작아지는 특징(도 2의 점선 부분)을 가지고 있으나 이 특징은 본 발명에서 사용하는 학습 데이터의 특성과는 궁합이 좋지 않기 때문에, 본 발명의 3D-ResUNet에서는 zero-padding을 통해 출력의 크기를 유지하고 계층 구조를 하나 줄였다.

이러한 본 발명의 3D-ResUNet 구조를 통한 콘빔 아티팩트 보정은 다음과 같이 이루어질 수 있다.

step 1) X(3D 원본 학습데이터) 다수와, X(3D 원본 학습데이터)에 투사 및 FDK 재구성을 적용하여 콘빔 아티팩트가 포함된 X’(3D 콘빔 학습데이터) 다수를 확보할 수 있다. X(3D 원본 학습데이터)는 일반 CT로 촬영한 2D 단면들을 병합하여 얻은 3D 체적 정보를 사용할 수 있다. 본 발명의 실시예에서는 XCAT Phantom을 사용하였는데 이는 시뮬레이션을 위한 것으로 실제 CT 영상과는 다소 차이가 있다.

step 2) 다만, 3D 데이터의 해상도가 큰 관계로 도 7에 도시된 바와 같이, X(3D 원본 학습데이터)와 X’(3D 콘빔 학습데이터)를 각각 하위 Patch들로 나눌 수 있다. X(3D 원본 학습데이터) Patch와 X’(3D 콘빔 학습데이터) Patch 중에서 80% 정도를 훈련 셋(training set)으로 사용하며, 나머지는 검증 셋(validation set)으로 사용할 수 있다. 여기서 80%는 용이하게 변경 가능한 수치이며, 주어진 학습 데이터가 많다면 훈련 셋의 비율을 더 높일 수 있다.

step 3) 그리고 상기 훈련 셋을 사용해서 3D-ResUNet의 학습을 진행할 수 있다. Epoch가 경과함에 따라 X’(3D 콘빔 학습데이터)를 X(3D 원본 학습데이터)에 fitting하도록 네트워크의 내부 파라미터를 조정하게 된다. 본 발명의 2가지 학습 방법은 다음과 같다.

학습 방법 1: 모든 훈련 셋을 한꺼번에 하나의 네트워크에 넣고 학습을 수행할 수 있다.

학습 방법 2: Patch(X’(3D 콘빔 학습데이터)의 Patch, X(3D 원본 학습데이터)의 Patch)들을 Cone angle 별로 다수의 집합으로 나누고, 각각의 집합 별로 개별적인 네트워크를 학습할 수 있다. Cone angle의 절대값이 큰 구역일수록 콘빔 아티팩트가 심하게 발생하기 때문에, Cone angle 별로 분류하여 따로 학습 및 테스트를 거친 후 다시 합치는 방식으로 사용하는 것이다.

step 4) 콘빔 아티팩트를 보정할 Y’(CBCT 목표데이터)를 Patch들로 나눈 후, 3D-ResUNet에 대입하여 콘빔 아티팩트가 보정된 Y(최종 보정 데이터)의 Patch들을 획득할 수 있다. 여기서, 학습 방법 2의 경우 각 Patch(X’(3D 콘빔 학습데이터)의 Patch, X(3D 원본 학습데이터)의 Patch)들의 Cone angle 수치에 부합하는 네트워크에 대입하게 된다.

step 5) Y’(CBCT 목표데이터) Patch들을 추합하여 Y(최종 보정 데이터)를 획득할 수 있다. 각 Y’(CBCT 목표데이터) Patch의 중간부만 잘라내어 추합하며, Y’(CBCT 목표데이터)의 각 체적소(voxel)들은 하나의 Y’(CBCT 목표데이터) Patch만을 참조하게 된다. 이러한 추합 방식을 통해 Y’(CBCT 목표데이터) Patch 경계면에서 발생하는 불연속성을 배제할 수 있다.

도 8은 본 발명의 실시예로서, XCAT phantom을 X(3D 원본 학습데이터)로 하였을 때 투사 및 FDK 재구성에 사용된 콘빔 CT 시스템을 나타낸 도면이다.

도 8에 도시된 바와 같이, 본 발명은 시뮬레이션으로 구현하기 위해 도 8과 같은 콘빔 CT 시스템 기하 구조를 구성할 수 있다. 여기서 도 8의 시뮬레이터로는 MATLAB R2018b를 사용하였으며, 사람의 흉부를 모델링한 XCAT phantom을 60keV의 에너지 대역에서 획득하여 활용하였다. 시뮬레이션에 사용된 시스템 파라미터는 하기 <표 1>로서, ±11.2도의 Cone angle을 가지는 시스템에서 본 발명의 제안 알고리즘을 적용하였다.

<표 1>

24개의 full body model에서 총 152개의 168x168x168 볼륨을 추출하였다. 각각의 볼륨에 sigma=0.5인 3D Gaussian Filter를 적용하여 X(3D 원본 학습데이터)를 생성하였다. X(3D 원본 학습데이터)에 FDK 재구성을 적용하여 X’(3D 콘빔 학습데이터)을 생성한 후, X(3D 원본 학습데이터)와 X’(3D 콘빔 학습데이터)를 128x128x128 크기로 잘라서 사용하였다. FDK 재구성 시에는 피사체 및 검출기를 z축 방향으로 60 픽셀만큼 offset을 주어, Cone angle에 따른 콘빔 아티팩트의 수준을 극대화하였다.

볼륨을 각 축 별로 1~64, 33~96, 65~128로 나누어, 볼륨 1개당 27개의 Patch가 생성되었다. 144x27 쌍의 Patch를 훈련 셋(training set), 8x27 쌍의 Patch를 검증 셋(validation set)으로 이용한다. 학습 방법 2의 경우, 3개의 네트워크를 각각 학습하였다. 각각의 네트워크는 144x9 쌍의 Patch를 훈련 셋(training set), 8x9 쌍의 Patch를 검증 셋(validation set)으로 이용한다.

Training Epoch = 300, batch_size = 1, learning_rate = 0.0001로 설정하였으며, Training 이후 검증 셋(validation set)에 대해 output Patch를 얻고 추합하여 output data를 획득하였다.

도 9는 도 8에 따른 시뮬레이션 구현 결과를 나타낸 도면으로서, Y’(CBCT 목표데이터)(Input), Y(최종 보정 데이터)(Output), X(3D 원본 학습데이터(Reference) 의 Coronal Slice 이다. 이 때 도 9a는 검증 셋(validation set) #2를 나타낸 도면이고, 도 9b는 검증 셋(validation set) #4을 나타낸 도면이다. 그리고 도 9a 및 도 9b의 Input은 콘빔 아티팩트가 발생한 Y’(CBCT 목표데이터), Reference는 콘빔 아티팩트가 발생하지 않은 X(3D 원본 학습데이터라 할 수 있다.

또한, 상기 도 9와 함께 하기 <표 2>를 참조하여 도 8의 시뮬레이션 구현 결과를 확인할 수 있다. <표 2>는 PSNR(Peak Signal-to-Noise Ratio) 및 SSIM(Structural Similarity Index Map) 수치로서, 서로 다른 이미지(영상)가 2개 있을 때 그 2개의 이미지가 얼마나 비슷한지를 알려주는 지표이다. 이는 수치가 높을수록 X(3D 원본 학습데이터)(콘빔 아티팩트가 발생하지 않은 깨끗한 이미지)와 유사하다는 것을 알 수 있다. PSNR은 높을수록 정답과 유사하며, SSIM은 0~1 사이의 값으로 도출되는데 이 또한 높을수록 원본과 유사하다는 것을 알 수 있다.

<표 2>

도 9 및 표 2를 참조하면, 본 발명에서 제시된 Method 1(학습 방법 1)과 Method 2(학습 방법 2) 모두 상당한 수준의 콘빔 아티팩트 보정 성능이 나타남을 확인할 수 있다. PSNR 및 SSIM 수치 상으로는 Method 1의 성능이 미세하게 더 좋았다. 또한, 도 9b의 검증 셋(validation set) #4에서 상부 척추를 관찰해보면 오히려 Method 2가 Method 1보다 Localization 성능이 더 우수하다고 볼 수 있다.

이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.

100 : 학습데이터 및 목표데이터 입력부
110 : 학습데이터 입력부
130 : 목표데이터 입력부
200 : 패치 분할부
300 : 3D 기반 신경망 학습 모델 생성부
400 : 보정 수행부
500 : 최종 보정 데이터 출력부

Claims (8)

1. 기 준비된 피사체를 촬영하여 얻은 3D 학습데이터와, 콘빔 아티팩트가 포함된 CBCT 목표데이터를 입력받는 학습데이터 및 목표데이터 입력부;
   상기 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나누는 패치 분할부;
   상기 나눈 3D 학습데이터의 복수 개의 하위 패치 중 미리 결정된 퍼센티지만큼을 훈련 셋(training set)으로 하고, 그 외의 하위 패치를 검증 셋(validation set)으로 하여 콘빔 아티팩트를 보정하는 학습을 수행하여 3D 기반 신경망 학습 모델을 생성하는 3D 기반 신경망 학습 모델 생성부;
   상기 생성된 3D 기반 신경망 학습 모델에 상기 나눈 CBCT 목표데이터의 복수 개의 하위 패치를 입력하여 상기 CBCT 목표데이터의 콘빔 아티팩트를 보정하는 보정 수행부; 및
   상기 보정된 CBCT 목표데이터의 복수 개의 하위 패치의 소정 부분을 크롭(crop)한 후, 이들을 병합하여 최종 보정 데이터를 출력하는 최종 보정 데이터 출력부;를 포함하고,
   상기 패치 분할부는,
   상기 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나눈 후, 콘 앵글(Cone angle)에 의한 복수 개의 집합으로 분류하는 것을 특징으로 하는 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템.
2. 삭제
3. 제 1 항에 있어서, 상기 검증 셋(validation set)은,
   상기 3D 기반 신경망 학습 모델 생성부로부터 생성된 3D 기반 신경망 모델의 학습을 평가하는 척도인 것을 특징으로 하는 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템.
4. 제 1 항에 있어서, 상기 학습데이터 및 목표데이터 입력부는,
   기 준비된 적어도 하나 이상의 피사체를 CT로 촬영하여 얻은 3D 원본 학습데이터와, 상기 얻은 3D 원본 학습데이터를 기준으로 재구성한 3D 콘빔 학습데이터를 입력받는 학습데이터 입력부; 및
   상기 기 준비된 적어도 하나 이상의 피사체를 CBCT로 촬영하여 얻은 CBCT 목표데이터를 입력받는 목표데이터 입력부;를 포함하는 것을 특징으로 하는 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템.
5. 학습데이터 및 목표데이터 입력부에서 기 준비된 피사체를 촬영하여 얻은 3D 학습데이터와, 콘빔 아티팩트가 포함된 CBCT 목표데이터를 입력받는 학습데이터 및 목표데이터 입력단계;
   패치 분할부에서 상기 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나누는 패치 분할단계;
   3D 기반 신경망 학습 모델 생성부에서 상기 나눈 3D 학습데이터의 복수 개의 하위 패치 중 미리 결정된 퍼센티지만큼을 훈련 셋(training set)으로 하고, 그 외의 하위 패치를 검증 셋(validation set)으로 하여 콘빔 아티팩트를 보정하는 학습을 수행하여 3D 기반 신경망 학습 모델을 생성하는 3D 기반 신경망 학습 모델 생성단계;
   보정 수행부에서 상기 생성된 3D 기반 신경망 학습 모델에 상기 나눈 CBCT 목표데이터의 복수 개의 하위 패치를 입력하여 상기 CBCT 목표데이터의 콘빔 아티팩트를 보정하는 보정 수행단계; 및
   최종 보정 데이터 출력부에서 상기 보정된 CBCT 목표데이터의 복수 개의 하위 패치의 소정 부분을 크롭(crop)한 후, 이들을 병합하여 최종 보정 데이터를 출력하는 최종 보정 데이터 출력단계;를 포함하고
   상기 패치 분할단계는,
   상기 입력받은 3D 학습데이터 및 CBCT 목표데이터를 각각 복수 개의 하위 패치로 나눈 후, 콘 앵글(Cone angle)에 의한 복수 개의 집합으로 분류하는 것을 특징으로 하는 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 방법.
6. 삭제
7. 제 5 항에 있어서, 상기 검증 셋(validation set)은,
   상기 3D 기반 신경망 학습 모델 생성부로부터 생성된 3D 기반 신경망 모델의 학습을 평가하는 척도인 것을 특징으로 하는 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 방법.
8. 제 5 항에 있어서,
   상기 3D 학습데이터는 학습데이터 입력부에서 기 준비된 적어도 하나 이상의 피사체를 CT로 촬영하여 얻은 3D 원본 학습데이터와, 상기 얻은 3D 원본 학습데이터를 기준으로 재구성한 3D 콘빔 학습데이터를 포함하고,
   상기 CBCT 목표데이터는 목표데이터 입력부에서 상기 기 준비된 적어도 하나 이상의 피사체를 CBCT로 촬영하여 얻은 CBCT 목표데이터를 포함하는 것을 특징으로 하는 3D 인공신경망 네트워크 기반 콘빔 아티팩트 보정 방법.
   
   

Images