KR102210474B1 - 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법 - Google Patents

Abstract

본 발명은 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법에 관한 것으로, 양전자방출 단층촬영 시스템은 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집하는 수집부, 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성하는 영상 생성부, 그리고 영상 생성부에서 생성된 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상을 입력 영상으로 선택하고, 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 제어부를 포함한다.

Description

양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법{POSITRON EMISSION TOMOGRAPHY SYSTEM AND IMGAE RECONSTRUCTION METHOD USING THE SAME}

양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법이 제공된다.

양전자방출 단층촬영(positron emission tomography, PET)은 양전자를 방출하는 방사선 의약품을 이용하여 인체에 대한 생리/화학적, 기능적 영상을 3차원으로 나타낼 수 있는 핵의학 검사 방법이다.

현재, 양전자방출 단층 촬영은 각종 암을 진단하는데 주로 활용되며, 암에 대한 감별 진단, 병기 설정, 재발 평가, 치료 효과 판정 등에 유용한 검사로 평가된다.

일반적으로 양전자방출 단층 촬영 기기는 양전자에서 방출되는 2개의 소멸 방사선(감마선)을 검출하여 원 데이터(RAW DATA)를 제공함으로, 해당 원 데이터로부터 신체 어떤 부위에서 방사성 의약품이 얼마나 모여있는 가를 확인하기 위해서는 영상을 보정하여 재구성하는 과정을 거쳐야 한다.

최근에는 x선을 이용하여 영상을 얻는 컴퓨터 단층촬영(Computed Tomography, CT) 또는 자기장 내에서 고주파를 전사하여 영상을 얻는 자기공명영상법(magnetic resonance imaging, MRI)의 추가 촬영을 통해 얻은 해부학적 정보를 이용하여 양전자방출 단층 촬영 영상을 재구성한다.

도 1A는 기존의 양전자방출 단층촬영 영상을 재구성하는 과정을 나타낸 예시도이다.

도 1A에 도시한 바와 같이, 양전자방출 단층 촬영영상을 재구성 알고리즘(ordered subset expectation maximization, OSEM)을 통해 감쇠 보정된 방출 영상(λ-CT)으로 재구성하는 과정에서 x선의 컴퓨터 단층촬영을 통해 얻은 감쇠 영상(μ-CT)을 이용한다.

이와 같이, 추가 촬영으로 얻은 감쇠 영상을 이용하여 영상을 재구성하면, 보다 정확하게 보정이 가능하며 화질이 우수하지만, 추가 촬영을 통해 환자가 받는 방사선량의 양이 늘어난다.

이에, 양전자방출 단층촬영만으로 영상을 재구성할 수 있도록 감쇠 영상(μ-MLAA)과 방출 영상(λ-MLAA)을 동시에 얻을 수 있는 동시 재구성 알고리즘(Maximum Likelihood reconstruction of Attenuation and Activity with Time-Of-Flight, MLAA with TOF)이 연구되고 있다.

도 1B는 양전자방출 단층영상에서 기존의 동시 재구성 알고리즘을 이용하여 감쇠 영상과 방출 영상을 생성하는 과정을 나타낸 예시도이다.

도 1B와 같이, 동시 재구성 알고리즘을 통해 추가 촬영 없이도, 감쇠 영상(μ-MLAA)과 방출 영상(λ-MLAA)을 동시에 얻을 수 있지만, 기존의 추가 촬영을 통해 얻은 감쇠 영상(μ-CT)과는 영상 전체에서 큰 오차를 가진다.

특히, 방출 영상에서 활동성이 높게 나타나는 영역이 감쇠 영상에서 나타나 왜곡시키는 형상(crosstalk artifact)이 발생하기 때문에, 동시 재구성 알고리즘을 이용하여 획득한 감쇠 영상과 방출 영상을 이용하기에는 어려움이 많다.

이에, 감쇠 영상을 얻기 위한 별도의 자기공명영상법(MRI) 또는 컴퓨터 단층촬영(CT)의 촬영 없이도 양전자방출 단층촬영만으로 고품질의 감쇠 영상과 방출 영상을 동시에 획득할 수 있는 기술이 요구된다.

본 발명의 하나의 실시예는 딥러닝 알고리즘을 이용하여 양전자방출 단층촬영 영상만으로 고품질의 감쇠 영상 및 방출 영상을 얻기 위한 것이다.

상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.

본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템은 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집하는 수집부, 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성하는 생성부, 그리고 생성부에서 생성된 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상을 입력 영상으로 선택하고, 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 제어부를 포함한다.

양전자방출 단층촬영 사이노그램에 기초하여 추가 촬영을 통해 획득된 감쇠 영상을 수집하고, 양전자방출 단층촬영 사이노그램으로부터 생성된 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상과 획득된 감쇠 영상을 이용하여 딥러닝 알고리즘을 학습시키는 학습부를 더 포함할 수 있다.

학습부는, 딥러닝 알고리즘을 통해 제1 감쇠 영상으로부터 제2 감쇠 영상을 생성하는 영상 생성부, 제2 감쇠 영상과 획득된 감쇠 영상간의 오차를 산출하는 오차 산출부, 그리고 오차 값이 임계치 이하의 값이 되는 최종 감쇠 영상이 생성되도록 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시키는 가중치 조정부를 포함할 수 있다.

영상 생성부는, 딥러닝 알고리즘의 필터를 이용하여 입력 영상으로부터 복수 개의 특징 지도를 생성하고 생성된 특징 지도로부터 미리 설정된 비율로 다운사이징된 샘플을 생성하며, 다운사이징된 샘플에 필터를 이용하여 복수개의 특징 지도를 생성하는 과정을 샘플의 사이즈가 미리 설정된 기준 사이즈에 도달할 때까지 반복하고, 샘플이 미리 설정된 기준 사이즈에 도달하면, 샘플을 미리 설정된 비율로 업사이징하고, 업사이징된 샘플에 필터를 이용하여 복수개의 특징 지도를 생성하는 과정을 반복하여 업사이징된 샘플의 사이즈가 최초의 사이즈와 일치하면, 제2 감쇠 영상을 생성할 수 있다.

영상 생성부는, 샘플을 업사이징을 하고 복수개의 특징 지도를 생성할 때 업사이징된 샘플의 사이즈와 동일한 특징 지도를 수집하여 샘플과 합치고, 합쳐진 샘플에서 복수개의 특징 지도를 생성할 수 있다.

제어부는, 영상 생성부에서 생성된 제1 감쇠 영상을 입력 영상으로 선택하거나 제1 감쇠 영상 및 제1 방출 영상을 입력영상으로 선택하여 학습된 딥러닝 알고리즘을 통해 최종 감쇠 영상을 생성할 수 있다.

제어부는, 제1 감쇠 영상 또는 제1 방출 영상에서 일부 복셀 데이터 그룹을 선택하고, 선택한 복셀 데이터 그룹을 학습된 딥러닝 알고리즘에 적용하는 과정을 반복하여 제1 감쇠 영상 또는 제1 방출 영상 전체에 학습된 딥러닝 알고리즘을 적용하여 3D 형태로 최종 감쇠 영상을 생성할 수 있다.

제어부는, 제1 방출 영상과 최종 감쇠 영상을 이용하여 최종 감쇠 영상이 보정된 최종 방출 영상을 생성하여 제공할 수 있다.

본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템의 영상 재구성 방법은 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집하는 단계, 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성하는 단계, 생성된 제1 감쇠 영상을 입력 영상으로 선택하는 단계, 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 단계 그리고 제1 방출 영상과 최종 감쇠 영상을 이용하여 보정된 최종 방출 영상을 생성하여 제공하는 단계를 포함한다.

본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 사이노그램(PET sinogram)을 동시 재구성 알고리즘으로 생성한 제1 방출 영상과 제1 감쇠 영상을 수집하는 단계, 생성된 제1 감쇠 영상을 입력 영상으로 선택하는 단계, 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 단계 그리고 제1 방출 영상과 최종 감쇠 영상을 이용하여 보정된 최종 방출 영상을 생성하여 제공하는 단계를 포함한다.

본 발명의 하나의 실시예에 따르면, 추가적인 CT 또는 MRI 촬영 없이 양전자방출 단층 촬영 영상만으로 감쇠 영상을 얻을 수 있어, 환자가 받는 방사선량을 최소화할 수 있다.

본 발명의 하나의 실시예에 따르면, 동시 재구성 기법을 통해 고품질의 감쇠 영상을 얻을 수 있어 양전자방출 단층 촬영 영상을 재구성하는 데 요구되는 비용 및 시간을 절감할 수 있다.

본 발명의 하나의 실시예에 따르면, 동시 재구성 기법으로 인해 발생하는 영상의 잡음과 왜곡 현상(crosstalk artifact)으로 인한 정량적인 오차를 해결하여 고품질의 감쇠 영상을 제공할 수 있다.

도 1A는 기존의 양전자방출 단층촬영 영상을 재구성하는 과정을 나타낸 예시도이다.
도 1B는 양전자방출 단층영상에서 기존의 동시 재구성 알고리즘을 이용하여 감쇠 영상과 방출 영상을 생성하는 과정을 나타낸 예시도이다.
도 2는 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템을 포함하는 통신 네트워크를 나타낸 예시도이다.
도 3은 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템을 나타낸 구성도이다.
도 4는 본 발명의 하나의 실시예에 따른 학습부를 나타낸 구성도이다.
도 5는 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 학습하는 과정을 나타낸 순서도이다.
도 6A, 6B 그리고 6C는 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘의 입력 영상을 설명하기 위한 예시도이다.
도 7은 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 설명하기 위한 예시도이다.
도 8은 본 발명의 하나의 실시예에 따른 Unet 딥러닝 알고리즘을 통해 학습되는 결과를 비교하기 위한 예시도이다.
도 9A와 9B는 본 발명의 하나의 실시예에 따른 복수의 딥러닝 알고리즘을 통해 생성된 영상을 비교하기 위한 예시도이다.
도 10은 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템의 영상 재구성 방법을 나타낸 순서도이다.
도 11은 본 발명의 하나의 실시예에 따른 3D 패치를 입력 영상 및 출력 영상으로 학습하는 딥러닝 알고리즘을 나타낸 예시도이다,
도 12은 본 발명의 하나의 실시예에 따라 딥러닝 알고리즘을 통해 3D 패치를 이용하여 재구성된 감쇠 영상을 나타낸 예시도이다.
도 13은 본 발명의 하나의 실시예에 따라 3D 패치를 이용하여 재구성된 방출 영상에 대해서 측정한 SUV 오류를 나타낸 예시도이다.
도 14는 본 발명의 하나의 실시예에 따라 재구성된 영상과 CT 기반의 영상에 대해서 ROI 기반의 SUV를 비교한 예시도이다.

첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 2는 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템을 포함하는 통신 네트워크를 나타낸 예시도이다.

도 2에 도시한 바와 같이, 양전자방출 단층 촬영 기기(100), 양전자방출 단층촬영 시스템(200) 그리고 사용자 단말(300)은 서로 네트워크로 연결되어 데이터를 송수신한다.

여기서 네트워크는 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다.

먼저, 양전자방출 단층촬영 기기(100)는 양전자 단층촬영(PET) 스캐너로, 원통형으로 형성되어 동시에 방출되는 2개의 소멸 방사선을 검출할 수 있다.

이때, 양전자방출 단층촬영 기기(100)는 컴퓨터 단층촬영(CT) 또는 자기공명영상법(magnetic resonance imaging, MRI)과 결합된 형태가 아닌, 단독으로 구성된다.

다음으로 양전자방출 단층촬영 시스템(200)은 양전자방출 단층촬영 기기(100)와 직접적으로 연결되거나 또는 저장 장치(미도시함)을 통해서 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집한다.

양전자방출 단층촬영 시스템(200)은 동시 재구성 알고리즘을 통해 수집한 양전자방출 단층촬영 사이노그램에서 제1 방출 영상과 제1 감쇠 영상을 생성한다. 그리고 양전자방출 단층촬영 시스템(200)은 제1 감쇠 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 제공한다.

학습된 딥러닝 알고리즘은 다른 영상 기기로부터 생성된 감쇠 영상과 임계치 이하의 오차값을 가지는 최종 감쇠 영상이 생성되도록 하는 인공 신경망을 나타낸다.

이때, 양전자방출 단층촬영 시스템(200)은 최종 감쇠 영상을 생성하기 위해 제1 감쇠 영상과 다른 영상 기기로부터 생성된 감쇠 영상을 이용하여 딥러닝 알고리즘을 반복 학습시켜 학습된 딥러닝 알고리즘을 구축할 수 있다.

한편, 도 2에서는 양전자방출 단층촬영 기기(100)와 양전자방출 단층촬영 시스템(200)을 별도의 기기로 도시하였지만, 추후 관리자에 의해 양전자방출 단층촬영 기기(100)에 양전자방출 단층촬영 시스템(200)이 장착될 수 있다.

다음으로 사용자 단말(300)은 의료 기기 관리자 또는 양전자방출 단층촬영 영상을 분석하는 의료진의 단말을 나타내며, 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.

사용자 단말(300)은 양전자방출 단층촬영 기기(100) 또는 양전자방출 단층촬영 시스템(200)과 연동되어 양전자방출 단층촬영 사이노그램 및 최종 감쇠 영상을 디스플레이 하거나 저장하여 관리할 수 있다.

이하에서는 도 3 및 도 4를 이용하여 학습된 딥러닝 알고리즘을 통해 양전자방출 단층 영상을 재구성하는 양전자방출 단층촬영 시스템(200)에 대해서 상세하게 설명한다.

도 3은 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템을 나타낸 구성도이고, 도 4는 본 발명의 하나의 실시예에 따른 학습부를 나타낸 구성도이다.

도 3에 도시한 바와 같이, 양전자방출 단층촬영 시스템(200)은 수집부(210), 생성부(220), 제어부(230), 그리고 학습부(240)를 포함한다.

먼저, 수집부(210)는 양전자방출 단층촬영 사이노그램을 수집한다. 양전자방출 단층촬영 사이노그램은 양전자방출 단층촬영 기기(100)로부터 생성된 원데이터(Raw data)를 나타낸다.

다음으로 생성부(220)는 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상 및 제1 감쇠 영상을 생성한다.

여기서, 동시 재구성 알고리즘은 MLAA (A. Rezaei, et al. (2012), Simultaneous reconstruction of activity and attenuation in time-of-flight PET, Trans Med Imaging), MLAA-GMM (A. Mehranina and H. Zaidi (2015), Trans Med Imaging), SMLGA-MLAA (S.C. Cade, et al. (2013), Use of measured scatter data for the attenuation correction of single photon emission tomography without transmission scanning, Med Phys), MLACF(M. Defrise, et al. (2014) Transmission-less attenuation correction in time-of-flight PET: analysis of a discrete iterative algorithm, Phys Med Biol) 등을 포함할 수 있으나 이에 한정하는 것은 아니다.

제어부(230)는 생성부(220)에서 생성된 영상을 입력영상으로 선택하고, 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공한다.

제어부(230)는 입력영상으로 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상을 선택할 수 있다. 예를 들어, 제어부(230)는 제1 감쇠 영상만을 선택하거나 제1 방출 영상과 제1 감쇠 영상을 선택할 수 있다.

또한 제어부(230)는 입력영상으로 제1 감쇠 영상 중에서 복셀 데이터 그룹을 선택하거나 제1 방출 영상과 제1 감쇠 영상에서 각각 복셀 데이터 그룹을 선택할 수 있다. 여기서 복셀 데이터 그룹은 미리 설정된 매트릭스 사이즈로 2D 슬라이스(2D slice), 3D 패치(3D patch), 3D 영상 전체를 포함할 수 있으나, 이에 한정하는 것은 아니다.

그리고 학습부(240)는 최종 감쇠 영상을 생성하는 딥러닝 알고리즘을 반복 학습시켜 학습된 딥러닝 알고리즘을 구축한다.

학습부(240)는 양전자방출 단층촬영 사이노그램에 기초하여 동일인에 대한 추가 촬영을 통해 획득된 감쇠 영상을 수집하고, 입력 영상과 획득된 감쇠 영상을 이용하여 딥러닝 알고리즘을 학습시킨다.

여기서, 획득된 감쇠 영상은 양전자방출 단층촬영 기기(100)와는 상이한 의료 기기를 통해 촬영하여 획득된 감쇠 영상을 나타낸다. 예를 들어, 컴퓨터 단층촬영(CT) 또는 자기공명영상법(magnetic resonance imaging, MRI)와 같은 의료 기기를 통해 획득된 감쇠 영상을 포함할 수 있다.

도 4에 도시한 바와 같이, 학습부(240)는 영상 생성부(241), 오차 산출부(242) 그리고 가중치 조정부(243)을 포함한다.

먼저, 영상 생성부(241)는 딥러닝 알고리즘을 통해 제1 감쇠 영상으로부터 제2 감쇠 영상을 생성한다.

여기서, 딥러닝 알고리즘은 영상 처리에 특화되었다고 알려진 콘볼루션 신경망(CNN, convolutional neural network)이나 생성적 적대 신경망(GAN, generative adversarial network (I. Goodfellow, et al. (2014), Generative Adversarial Network, NIPS)등을 포함하지만, 이에 한정하는 것은 아니다.

콘볼루션 신경망(CNN)의 예로는 VGGNet (K. Simonyan, A. Zisserman, (2015), Very Deep Convolutional Networks for Large-Scale Image Recognition, ICLR), ResNet (K. He, et al. (2016), Deep Residual Learning for Image Recognition, CVPR), DnCNN (K. Zhang, etl al. (2016), Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising, Trans Image Processing), DenseNet (G. Huang, et al. (2017), Densely Connected Convolutional Networks, CVPR) 등을 들 수 있다.

그리고 생성적 적대 신경망(Generative Adversarial Network: GAN)은 원본 데이터 분포와 유사한 이미지를 생성하기 위한 머신 러닝으로, 진짜 같은 가짜를 쉽고 빠르게 만들 수 있는 기술로 활용되고 있다. 생성적 적대 신경망(GAN)은 생성자(Generator: G)와 판별자(Discriminator: D)의 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 생성해낸다. 생성자(G)는 실제에 가까운 데이터를 생성하는 것을 목적으로 실제 데이터를 학습하고 이를 바탕으로 데이터를 생성하고, 판별자(D)는 생성자(G)가 생성한 데이터를 실제인지, 거짓인지 판별하도록 학습한다.

다음으로 오차 산출부(242)는 제2 감쇠 영상과 획득된 감쇠 영상간의 오차 값을 산출한다.

오차 산출부(242)는 다이스 계수(Dice coefficient), 퍼센트 오차, Bias-RMSE(Bias and root-mean square error), 비용 함수 등을 이용하여 오차 값을 산출할 수 있으며, 이에 한정하는 것은 아니다.

그리고 가중치 조정부(243)는 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시킨다. 그리고 가중치 조정부(243)는 오차 산출부(242)에서 산출된 오차 값이 임계치 이하의 값이 되면, 학습을 종료하도록 제어할 수 있다.

이와 같이 학습부(240)는 양전자방출 단층촬영 사이노그램에서 생성된 제1 감쇠 영상이 획득된 감쇠 영상과 일치하는 방향으로 학습된 딥러닝 알고리즘을 구축할 수 있다.

한편, 양전자방출 단층촬영 시스템(200)은 서버, 단말, 또는 이들이 결합된 형태일 수 있다.

단말은 각각 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 장치를 통칭하는 것이다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.

서버는 복수개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.

메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.

통신 수단은 단말과 서비스 정보 또는 액션 정보를 실시간으로 송수신한다.

UI 표시 수단은 장치의 서비스 정보 또는 액션 정보를 실시간으로 출력한다. UI 표시 수단은 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.

이하에서는 도 5 내지 도 9B를 이용하여 양전자방출 단층촬영 시스템(200)의 딥러닝 알고리즘을 학습하는 방법 및 결과에 대해서 상세하게 설명한다.

도 5는 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 학습하는 과정을 나타낸 순서도이고, 도 6A, 6B 그리고 6C는 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘의 입력 영상을 설명하기 위한 예시도이다.

도 7은 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 설명하기 위한 예시도이고, 도 8은 본 발명의 하나의 실시예에 따른 딥러닝 알고리즘을 통해 학습되는 결과를 비교하기 위한 예시도이다.

도 5에 도시한 바와 같이, 양전자방출 단층촬영 시스템(200)은 양전자방출 단층촬영 사이노그램과 대응하여 추가 촬영을 통해 획득된 감쇠 영상을 수집한다(S510).

양전자방출 단층촬영 시스템(200)은 동일인의 양전자방출 단층촬영 사이노그램과 CT 의료 기기의 촬영으로 획득된 감쇠 영상을 수집한다.

이때, 양전자방출 단층촬영 시스템(200)은 실시간으로 각각의 의료 기기에 연동되어 촬영 영상을 수집할 수 있고 별도의 데이터베이스(미도시함)에 접속하여 영상을 수집할 수 있다.

다음으로 양전자방출 단층촬영 시스템(200)은 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성한다(S520). 그리고 양전자방출 단층촬영 시스템(200)은 딥러닝 알고리즘에 적용할 입력 영상을 선택한다(S530).

예를 들어, 양전자방출 단층촬영 시스템(200)은 제1 감쇠 영상을 입력 영상으로 선택하거나 제1 방출 영상과 제1 감쇠 영상을 입력 영상으로 선택할 수 있다.

도 6A는 양전자방출 단층촬영 시스템(200)이 입력 영상으로 제1 감쇠 영상(μ-MLAA)를 선택하여 딥러닝 알고리즘(CNN)에 적용하여 최종 감쇠 영상(μ-CNN)을 생성하는 과정을 나타낸다. 그리고 도 6B는 양전자방출 단층촬영 시스템(200)이 입력 영상으로 제1 방출 영상(λ-MLAA)와 제1 감쇠 영상(μ-MLAA)를 선택하여 딥러닝 알고리즘(CNN)에 적용하여 최종 감쇠 영상(μ-CNN)을 생성하는 과정을 나타낸다.

한편, 6C에서 도시한 바와 같이, 양전자방출 단층촬영 시스템(200)이 입력 영상으로 2차원의 슬라이스 형태를 선택하여 딥러닝 알고리즘을 통해 2차원의 슬라이스로 최종 감쇠 영상을 생성할 수 있다.

이처럼 양전자방출 단층촬영 시스템(200)은 제1 감쇠 영상 또는 제1 방출 영상과 제1 감쇠 영상을 복수개의 복셀 데이터 그룹으로 3차원 패치 형태로 선택할 수 있다.

다시 말해, 양전자방출 단층촬영 시스템(200)은 학습 알고리즘에 입력되는 영상의 종류를 선택할 수 있고, 선택된 영상에 대해 2D 슬라이스, 3D 패치 또는 3D 영상 전체와 같은 형태를 선택할 수 있다.

다음으로 양전자방출 단층촬영 시스템(200)은 선택된 입력 영상을 딥러닝 알고리즘에 적용하여 제2 감쇠 영상을 생성한다(S540).

도 7에 도시한 바와 같이 양전자방출 단층촬영 시스템(200)은 딥러닝 알고리즘에 입력 영상을 적용하여 좌측에서 우측 방향으로 학습시킨다.

도 7은 입력 영상으로 제1 감쇠 영상(Attenuation)과 제1 방출 영상(Activity)을 2D 슬라이스 형태로 선택한 것으로, CAE, Unet, Hybird 등의 다양한 딥러닝 알고리즘 중에서 UNet 딥러닝 알고리즘을 통해 학습하는 과정을 예시한다.

그리고 도 7에서 각각의 상자형태는 다중 채널 기능 맵을 나타내며, 각 다중 채널 기능 맵에 연계되는 개수 및 크기는 하나의 예시로 추후에 관리자에 의해 용이하게 설계 및 변경 가능하다.

먼저, 양전자방출 단층촬영 시스템(200)은 딥러닝 알고리즘의 필터를 이용하여 입력 영상으로부터 복수 개의 특징 지도를 생성한다.

도 7에 도시한 바와 같이, 양전자방출 단층촬영 시스템(200)은 제1 감쇠 영상(Attenuation)과 제1 방출 영상(Activity)의 사이즈(200*200)에서 필터를 이용한 회선을 통해 여러 장의 특징 지도(feature map)을 생성한다. 여기서 특징 지도는 2개로 각각 20장으로 도시하였지만, 이에 한정하는 것은 아니며, 추후에 관리자에 의해 변경 및 설계 가능하다.

다음으로 양전자방출 단층촬영 시스템(200)은 특징 지도로부터 미리 설정된 비율로 다운사이징된 샘플을 생성한다(Max pooling 20, 100*100). 이러한 과정을 풀링(Pooling)이라고 하며, 도 7에서는 최대값을 이용하는 맥스 풀링(Max pooling)을 이용하였지만 이에 한정하는 것은 아니다.

그리고 양전자방출 단층촬영 시스템(200)은 다운사이징한 샘플(100*100)에서 필터를 이용한 회선을 통해 여러 장의 특징 지도 (feature map)을 생성한다.

다시 양전자방출 단층촬영 시스템(200)은 복수개의 특징 지도들을 이용하여 미리 설정된 비율로 다운사이징된 샘플을 생성한다(Max pooling 40, 50*50). 그리고 양전자방출 단층촬영 시스템(200)은 다운사이징한 샘플(50*50)에서 필터를 이용한 회선을 통해 여러 장의 특징 지도 (feature map)을 생성한다.

다시 말해, 양전자방출 단층촬영 시스템(200)은 다운사이징된 샘플의 사이즈가 미리 설정된 기준 사이즈에 도달할 때까지 반복하여 특징지도를 생성하고 다운사이징을 수행한다.

그리고 다운사이징된 샘플의 사이즈(Max pooling 80, 25*25)가 미리 설정된 기준 사이즈에 도달하면, 양전자방출 단층촬영 시스템(200)은 해당 복수개의 특징 지도들을 이용하여 미리 설정된 비율로 업사이징하고(Deconv 80, 50*50), 업사이징된 샘플의 사이즈와 동일한 사이즈의 다운사이징된 특징 지도(50*50)를 수집한다.

양전자방출 단층촬영 시스템(200)은 필터를 걸쳐 생성되는 특징 지도가 다듬어지는(smoothing) 경향을 보완하기 위해 다운사이징 전의 샘플(Copy & Concat)을 수집하여 업사이징된 샘플과 합친다.

도 7의 73과 같이, 샘플을 업사이징되는 단계부터 동일한 사이즈의 특징지도를 수집하여 합치고, 합쳐진 샘플에서 특징지도를 생성한다. 그리고 복수개의 특징 지도들을 이용하여 미리 설정된 비율로 업사이징하고(Deconv 40, 100*100), 동일한 사이즈의 특징 지도를 수집하여 합치고(72), 합쳐진 샘플에서 특징지도를 생성한다.

양전자방출 단층촬영 시스템(200)은 최초의 입력 영상의 사이즈와 동일해질 때까지 해당 과정을 반복하여 특징지도를 생성한다. 그리고 양전자방출 단층촬영 시스템(200)은 초의 입력 영상의 사이즈와 동일한 제2 감쇠 영상을 생성할 수 있다.

한편, 양전자방출 단층촬영 시스템(200)은 Hybrid 딥러닝 알고리즘과 같이, 업사이징된 샘플의 사이즈가 최초 영상 입력 사이즈와 동일하면, 동일한 사이즈의 특징 지도를 수집하지 않을 수 있다. 다시 말해 최초 생성된 특징 지도에 노이즈가 많이 포함될 가능성에 따라서 처음 생성된 특징 지도를 수집하여 업사이징된 샘플과 합하는 단계(도 7의 71)를 제외할 수 있다.

다음으로 양전자방출 단층촬영 시스템(200)은 제2 감쇠 영상과 획득된 감쇠 영상간의 오차를 산출한다(S550).

양전자방출 단층촬영 시스템(200)은 다이스 계수(Dice coefficient), 퍼센트 오차, Bias-RMSE(Bias and root-mean square error), 비용 함수등을 이용하여 오차 값을 산출할 수 있다.

예를 들어, 양전자방출 단층촬영 시스템(200)은 수학식 1을 통해 딥러닝 알고리즘을 통해 생성된 제2 감쇠 영상과 획득된 감쇠 영상간의 다이스 계수(Dice coefficient)를 산출하여 두 영상간 유사성을 비교할 수 있다.

다시 말해, 각 영상에서의 뼈와 공기 영역의 중첩을 측정한 다이스 계수를 이용하여 유사성을 비교할 수 있다,

[수학식 1]

다이스 계수(Dice coefficient) 값은 0에서 1의 값을 가지며, 0에 가까울수록 유사도가 낮고 1에 가까울수록 유사도가 높게 나타난다.

이때, 양전자방출 단층촬영 시스템(200)은 다이스 계수를 이용하여 유사성을 산출하면, 산출된 유사성에 기초하여 오차를 추정할 수 있다.

한편, 양전자방출 단층촬영 시스템(200)은 영상에 관심 영역을 설정하고 제2 감쇠 영상과 획득된 감쇠 영상에서의 퍼센트 오차를 계산하여 오차를 산출할 수 있다.

이외에도 양전자방출 단층촬영 시스템(200)은 제2 감쇠 영상과 획득된 감쇠 영상간의 오차 또는 유사도를 측정 가능한 다양한 방법들을 포함할 수 있다.

그리고 양전자방출 단층촬영 시스템(200)은 산출된 오차값과 미리 설정된 임계치와 비교한다(S560).

이때, 양전자방출 단층촬영 시스템(200)은 오차 값이 미리 설정된 임계치보다 크면 딥러닝 알고리즘에 포함된 필터의 가중치를 재조정한다(S770).

한편, 딥러닝 알고리즘을 최초 학습하는 과정에서는 복수의 필터에 적용되는 가중치는 무작위로 초기화되었으며, 학습을 통해 생성된 제2 감쇠 영상이 획득된 감쇠 영상에 가까워지도록 각각의 가중치들을 재조정한다.

그리고 양전자방출 단층촬영 시스템(200)은 재조정된 필터의 가중치를 포함하는 딥러닝 알고리즘으로 다시 S540 단계로 회귀한다. 이처럼 양전자방출 단층촬영 시스템(200)은 S540단계에서 S570단계를 반복하면서 생성된 제2 감쇠 영상과 획득된 감쇠 영상(μ-CT )의 일치도를 향상시킬 수 있다.

한편, S560 단계에서 오차 값이 미리 설정된 임계치보다 작으면 양전자방출 단층촬영 시스템(200)은 필터의 가중치가 적용된 학습된 딥러닝 알고리즘을 생성한다(S580). 이처럼 양전자방출 단층촬영 시스템(200)은 학습된 딥러닝 알고리즘을 구축하고, 학습된 알고리즘을 저장하여 관리할 수 있다.

이때, 양전자방출 단층촬영 시스템(200)은 복수 개의 딥러닝 알고리즘을 학습시키고 기준이 되는 획득된 감쇠 영상(Grount Truth, μ-CT)과의 오차가 가장 작은 딥러닝 알고리즘을 선택하여 구축할 수 있다.

도 8은 딥러닝 알고리즘의 입력영상 (Inputs, λ-MLAA,μ-MLAA)과 최종 감쇠 영상(μ-Unet), 획득된 감쇠 영상(Grount Truth, μ-CT)을 나타낸 예시도이다.

도 8에 도시한 바와 같이, 뇌의 관상면(Coronal), 시상면(Sagittal), 그리고 수평면(transaxial)에 있어서, 동시 재구성 알고리즘을 통해 생성된 제1 방출영상(λ-MLAA) 및 제1 감쇠영상(μ-MLAA)은 영상 자체에 노이즈가 많을 뿐 아니라 제1 방출영상(λ-MLAA)에서 활동성이 높게 나타난 부분(붉은 계열 색상)이 제1 감쇠영상(μ-MLAA)에 나타나는 것을 알 수 있다.

상세하게 도 8에 도시한 복수 개의 화살표는 MLAA 알고리즘을 통해 잘 추정되지 않아 CT와 큰 차이를 나타내는 영역으로, 딥러닝 알고리즘을 통해 생성된 최종 감쇠 영상(μ-Unet)에서 크게 개선된 영역을 나타낸다.

먼저, 노란색 화살표는 방출 영상에서 활동성이 높게 나타나는 영역이 감쇠 영상에서 나타나 왜곡시키는 형상(crosstalk artifact)을 가리킨다. μ-MLAA와 μ-CT을 비교하면, μ-MLAA에서 노란색 화살표가 가리키는 부분이 낮게 추정되어 상대적으로 어둡게 표시된 것을 알 수 있다. 반면, μ-Unet에서는 이러한 현상이 개선된 것을 확인할 수 있다.

다음으로 주황색 화살표는 두개골 영역을 가리키는데, μ-MLAA에서 두개골 앞쪽 부분은 μ-CT보다 두껍게 추정되고, 뒤쪽 부분은 μ-CT보다 얇게 추정되는 경향을 알 수 있다. 반면 μ-Unet에서는 μ-CT와 거의 비슷한 두께로 개선된 것을 확인할 수 있다.이처럼 Unet 딥러닝 알고리즘을 통해 최종 감쇠 영상(μ-Unet)은 제1 감쇠영상(μ-MLAA)에 비해 화질이 뚜렷하며, 앞서 말한 노이즈와 artifact로 인해 정량적인 오차를 최소화된 것을 알 수 있다. 더불어 CT 촬영으로 획득된 감쇠 영상(μ-CT)과 매우 유사한 것을 알 수 있다. 아래의 표 1은 양전자방출 단층촬영 시스템(200)은 다이스 계수를 이용하여 딥러닝 알고리즘을 통해 생성된 최종 감쇠 영상과 획득된 감쇠 영상간의 유사도를 산출한 결과이다.

[표 1]

표 1를 보면, 전체 머리(Whole Head)와 두개골 영역(Cranial Region)에서 측정한 감쇠 영상을 기초하여 비교한 것으로, 전체 머리를 나타내는 감쇠 영상에 비해 두개골 영역을 나타내는 감쇠 영상에서 전체적으로 다이스 계수가 높은 것을 알 수 있다.

그리고 CNN(Hybrid), CNN(U-net), CNN(CAE)에서 생성된 최종 감쇠 영상이 MLAA에서 생성된 제1 감쇠 영상에 비해 획득된 감쇠 영상과 유사도가 높은 것을 확인할 수 있다.

이하에서는 도 9를 이용하여 동시 재구성 알고리즘을 통해 생성된 제1 감쇠 영상, 다양한 딥러닝 알고리즘을 이용하여 생성된 최종 감쇠 영상들과 CT를 통해 획득된 감쇠 영상을 비교한다.

도 9A와 9B는 본 발명의 하나의 실시예에 따른 복수의 딥러닝 알고리즘을 통해 생성된 영상을 비교하기 위한 예시도이다.

먼저, 도 9A의 (A)에 도시한 바와 같이, 시상면(Sagittal)의 영상에 대해 RMSE 오차값을 생성하여 나타낸 그래프를 보면, 제일 높은 오차를 갖는 영상은 가장 우측에 있는 제1 감쇠영상(μ-MLAA)이며, 다음으로 CAE, Unet, Hybrid임을 알 수 있다.

특히, MLAA와 Hybrid 의 감쇠 영상을 비교하면, MLAA의 감쇠 영상에서 나타나는 오류를 Hybrid로 생성된 감쇠 영상에서 50% 이하로 감소 시킨 것을 확인할 수 있다.

도 9A의 (B)에서 ①, ②, ③는 도 9A의 (A)에서 ①, ②, ③의 각 위치와 대응되는 결과로, 뇌의 수평면에 대한 제1 감쇠영상(μ-MLAA), CAE, Unet, Hybrid 그리고 CT 영상으로 획득된 감쇠 영상을 감쇠 영상을 나타낸다. 도 9A의 (B)를 살펴보면, Hybrid 딥러닝 알고리즘으로 생성된 제2 감쇠 영상이 획득된 감쇠 영상(CT)와 가장 유사함을 확인할 수 있다.

도 9B의 (A)는 제1 감쇠영상(μ-MLAA), 딥러닝 알고리즘을 통한 감쇠 영상(CAE, Unet, Hybrid)에 대해 계산된 퍼센트 오차를 나타낸 그래프이다. 그리고 도 9B의 (B)는 제1 감쇠영상(μ-MLAA), 딥러닝 알고리즘을 통한 감쇠 영상(CAE, Unet, Hybrid)에 대해 특이적 결합비(Binding ratio)를 측정하고, 계산된 퍼센트 오차를 나타낸 그래프이다.

도 9B의 (A)에는, 소뇌(cerebellum), 후두엽 피질(Occipital cortex), 후단머리(Caudate head), 그리고 피질하 영역인 조가비핵(Putamen) 인 네 부위의 영역에 대해서 관심영역을 설정하고, 각 영역에 대해 획득된 감쇠 영상(CT)과의 퍼센트 오차를 산출한 값을 나타낸다.

도 9B의 (A)에서 각각의 산출된 퍼센트 오차값에서 긴 세로상자는 표준 편차를 나타내고, 해당 긴 세로 상자 안의 수평 막대는 중앙 값을 나타낸다.

도 9B의 (A)에서 중앙값을 기준을 기준으로 비교해보면, MLAA의 감쇠 영상과 CAE에 의한 감쇠 영상은 가장 오차가 큰 것으로 보이고, Unet및 Hybrid의 딥러닝 알고리즘을 통한 감쇠 영상은 퍼센트 오차 값이 작은 것을 알 수 있다.

다음으로 도 9B의 (B)는 도 9B의 (A)에서 선정한 관심영역과 동일한 영역에 대해서 특이적 결합비를 측정하고, 각 영역에 대해 획득된 감쇠 영상(CT)과의 퍼센트 오차를 산출한 값을 나타낸다.

도 9B의 (B)에서 각각의 산출된 퍼센트 오차값에서 긴 세로상자는 표준 편차를 나타내고, 해당 긴 세로 상자 안의 수평 막대는 중앙 값을 나타낸다.

도 9B의 (B)에서 중앙값을 기준을 기준으로 비교해보면, MLAA의 제1 감쇠 영상은 10% 이상의 오차를 보이기도 하는 반면, 딥러닝 알고리즘을 통한 감쇠 영상들(CAE, Unet, Hybrid)는 모두 5% 내외의 매우 적은 오차를 가지는 것을 확인할 수 있다.

이처럼 본 발명에서 제안하는 딥러닝 알고리즘을 통해 생성된 최종 감쇠 영상은 획득된 감쇠 영상(CT)과 매우 높은 유사도를 가지며, MLAA의 제1 감쇠 영상에 비해 노이즈 및 오차가 크게 감소된 것을 확인할 수 있다.

이하에서는 학습된 딥러닝 알고리즘을 이용하여 실시간으로 수집된 양전자방출 단층촬영 사이노그램을 이용하여 최종 감쇠 영상 및 최종 방출 영상을 생성하는 과정에 대해서 상세하게 설명한다.

도 10은 본 발명의 하나의 실시예에 따른 양전자방출 단층촬영 시스템의 영상 재구성 방법을 나타낸 순서도이다.

양전자방출 단층촬영 시스템(200)은 양전자단층 촬영 사이노그램을 수집한다(S1010). 그리고 양전자방출 단층촬영 시스템(200)은 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성한다(S1020).

이때, 양전자방출 단층촬영 시스템(200)은 양전자 단층 촬영 사이노그램을 수집하지 않고, 양전자 단층 촬영 사이노그램에서 동시 재구성 알고리즘으로 생성한 제1 방출 영상과 제1 감쇠 영상을 수집할 수 있다.

다시 말해, 양전자방출 단층촬영 시스템(200)은 S1010과 S1020 단계를 거치지 않고, 연동되는 외부 장치 또는 데이터베이스에서 동시 재구성 알고리즘으로 생성한 제1 방출 영상과 제1 감쇠 영상을 수집하는 단계가 대체될 수 있다.

다음으로 양전자방출 단층촬영 시스템(200)은 딥러닝 알고리즘에 적용할 입력 영상을 선택한다(S1030).

양전자방출 단층촬영 시스템(200)은 학습 알고리즘에 입력되는 영상의 종류를 선택할 수 있고, 선택된 영상에 대해 2D 슬라이스, 3D 패치 또는 3D 영상 전체와 같은 형태를 선택할 수 있다.

이하에서는 양전자방출 단층촬영 시스템(200)은 제1 감쇠 영상에서 복셀 데이터 그룹을 선택하는 경우(CNN1)와 제1 방출 영상과 제1 감쇠 영상에서 각각 복셀 데이터 그룹을 선택하는 경우(CNN2)로 가정하고 설명한다.

다음으로 양전자방출 단층촬영 시스템(200)은 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공한다(S1040).

양전자방출 단층촬영 시스템(200)은 선택된 입력 영상의 종류 및 형태에 기초하여 대응되는 학습된 딥러닝 알고리즘을 선택할 수 있다.

도 11은 본 발명의 하나의 실시예에 따른 3D 패치를 입력 영상 및 출력 영상으로 학습하는 딥러닝 알고리즘을 나타낸 예시도이다,

도 11에 도시한 바와 같이, 양전자방출 단층촬영 시스템(200)은 동시 재구성 알고리즘을 통해 생성된 제1 방출 영상과 제1 감쇠 영상에서 각각 복셀 데이터 그룹을 선택할 수 있다.

여기서, 딥러닝 알고리즘의 입력 영상으로 제1 감쇠 영상에서 3D 패치를 선택하는 경우(CNN1)과 제1 방출 영상과 제1 감쇠 영상에서 각각 3D 패치를 선택하는 경우(CNN2)로 구분될 수 있다.

또한, 모든 입력 및 레이블은 32*32*32의 매트릭스 크기로 사용될 수 있으며, 이러한 매트릭스 크기는 하나의 예시로 정육면체의 형태에 국한되지 않으며, 추후에 용이하게 변경 및 설계 가능하다.

양전자방출 단층촬영 시스템(200)은 도 5를 통해 설명한 딥러닝 알고리즘 학습 방법과 동일하게, 입력 영상에서 특징 지도를 산출하고, 사이즈를 조정하면서, CT영상으로부터 획득한 감쇠 영상에 가까워지도록 딥러닝 알고리즘 필터의 가중치를 조정한다.

양전자방출 단층촬영 시스템(200)은 딥러닝 알고리즘을 통해 산출한 3D 패치 형태의 제2 감쇠 영상과 CT영상으로부터 획득한 감쇠 영상간의 비용 함수를 이용하여 오차값을 산출할 수 있으며, 비용 함수를 최소화하는 방향으로 딥러닝 알고리즘의 필터 가중치를 재조정하며 학습을 반복한다.

이와 같이, 양전자방출 단층촬영 시스템(200)은 학습된 딥러닝 알고리즘을 통해 3D 패치 형식의 입력 영상을 통해 3D 패치 형식의 최종 감쇠 영상을 생성할 수 있다.

이때, 양전자방출 단층촬영 시스템(200)은 입력의 형태가 2D 슬라이스나 3D 패치 형태 여부에 상관없이 최종 감쇠 영상이 3D 영상의 형태로 도출한다. 예를 들어 입력 형태가 2D 슬라이스이면 양전자방출 단층촬영 시스템(200)은 복수개의 2D 슬라이스를 조합하여 최종 감쇠 영상으로 3D 영상을 생성할 수 있다. 도 12은 본 발명의 하나의 실시예에 따라 딥러닝 알고리즘을 통해 3D 패치를 이용하여 재구성된 감쇠 영상을 나타낸 예시도이다.

도 12에 도시한 바와 같이, 동시 재구성 알고리즘을 통해 생성된 제1 방출영상(MLAA act(λ)) 및 제1 감쇠영상(MLAA atn(μ))은 노이즈 및 왜곡 현상(crosstalk artifact)이 심하게 나타나는 것을 알 수 있다.

또한, 제1 감쇠 영상에서 3D 패치를 선택하는 경우(CNN1)과 제1 방출 영상과 제1 감쇠 영상에서 각각 3D 패치를 선택하는 경우(CNN2)를 CT영상으로부터 획득한 감쇠 영상(CT-based)와 비교해보면, CNN1보다 CNN2에서 CT-based 영상과 높은 유사도를 갖는 것을 확인할 수 있다.

자세하게는 CNN1보다 CNN2에서 노이즈가 대폭 감소되었고 향상된 골격 식별을 확인할 수 있다. 이에 제1 방출 영상과 제1 감쇠 영상을 모두 이용하여 학습된 딥러닝 알고리즘에 적용하는 방안(CNN2)이 해부학적 세부 사항 측면에서 보다 나은 결과를 가지는 것을 알 수 있다.

한편, MLAA, CNN1, CNN2과 CT 영상으로부터 획득한 감쇠 영상을 아래 수학식 2를 통해 다이스 계수를 산출하면 다음 표 2와 같다.

[수학식 2]

[표 2]

다이스 계수의 값이 1에 가까울수록 유사도가 높은 것을 의미하기 때문에, 표 1을 통해 CNN2로 생성된 최종 감쇠 영상은 가장 높은 유사도를 가지는 것을 확인할 수 있다,

이처럼, 2D 슬라이스뿐 아니라 3D 패치 형식을 이용하여 딥러닝 알고리즘을 통해 생성된 최종 감쇠 영상도 획득된 감쇠 영상(CT)과 매우 높은 유사도를 가지며, MLAA의 제1 감쇠 영상에 비해 노이즈 및 오차가 크게 감소된 것을 확인할 수 있다.

다음으로 양전자방출 단층촬영 시스템(200)은 제1 방출 영상과 최종 감쇠 영상을 이용하여 보정된 최종 방출 영상을 생성하여 제공한다(S1050).

양전자방출 단층촬영 시스템(200)은 재구성 알고리즘(OSEM)을 이용하여 감쇠 보정된 최종 방출 영상을 재구성할 수 있다,

도 13은 본 발명의 하나의 실시예에 따라 3D 패치를 이용하여 재구성된 방출 영상에 대해서 측정한 SUV 오류를 나타낸 예시도이다.

도 13은 수학식 3을 이용하여 재구성된 방출 영상에서 SUV 오류를 측정하고 MLAA 및 CNN 결과를 사용하여 감쇠 보정의 정확도를 비교한 도면이다.

[수학식 3]

여기서, λ_*에는 MLAA, CNN1 또는 CNN2 중에서 하나의 방출 영상을 나타낸다.

도 13에 도시한 바와 같이, CNN1과 CNN2는 모두 CT 기반 감쇠 보정에 비해 오류를 현저하게 줄였으며, CNN2는 절대 오류(Absolute difference) 및 퍼센트 오류(Percent difference)가 가장 적게 나타나는 것을 알 수 있다.

다음으로, 도 14는 본 발명의 하나의 실시예에 따라 재구성된 영상과 CT 기반의 영상에 대해서 ROI 기반의 SUV를 비교한 예시도이다.

도 14에서는 뼈 병변이 있는 관심영역(ROI)을 기반으로 SUV를 비교한 결과를 나타낸다. 상세하게는 뼈 병변이 있는 관심영역(ROI)에 대한 각각의 MLAA, CNN1 또는 CNN2 영상과 CT 기반의 영상간의 상관관계를 나타낸 그래프들로, 기준선 Y=X에 근접할수록 상관관계가 높게 나타난다.

CNN1과 CNN2는 MLAA에 비해 기준선 Y=X에 대해 더 나은 일관성을 가지는 것을 알 수 있다. 특히 CNN2의 상관관계의 값이 더 높은 것을 확인할 수 있다.

이와 같이 본 발명에 따르면, 별도의 CT 또는 MRI와 같은 의료 기기의 촬영 과정 없이도 동시 재구성 기법으로 인해 발생하는 영상의 잡음과 왜곡 현상(crosstalk artifact)으로 인한 정량적인 오차를 해결하여 고품질의 감쇠 영상을 제공할 수 있다.

본 발명의 하나의 실시예에 따른 방법을 실행시키기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.

컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.

이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 양전자방출 단층촬영 기기 200: 양전자방출 단층촬영 시스템
210: 수집부 220: 생성부
230: 제어부 240: 학습부
241: 영상 생성부 242: 오차 산출부
243: 가중치 조정부 300: 사용자 단말

Claims (15)

1. 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집하는 수집부,
   상기 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성하는 생성부, 그리고
   상기 생성부에서 생성된 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상을 입력 영상으로 선택하고, 상기 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 제어부
   를 포함하는 양전자방출 단층촬영 시스템.
   
2. 제1항에서,
   상기 양전자방출 단층촬영 사이노그램에 기초하여 추가 촬영을 통해 획득된 감쇠 영상을 수집하고, 상기 양전자방출 단층촬영 사이노그램으로부터 생성된 제1 방출 영상과 제1 감쇠 영상 중에서 하나 이상과 상기 획득된 감쇠 영상을 이용하여 딥러닝 알고리즘을 학습시키는 학습부를 더 포함하는 양전자방출 단층촬영 시스템.
   
3. 제2항에서,
   상기 학습부는,
   상기 딥러닝 알고리즘을 통해 상기 제1 감쇠 영상으로부터 제2 감쇠 영상을 생성하는 영상 생성부,
   상기 제2 감쇠 영상과 상기 획득된 감쇠 영상간의 오차를 산출하는 오차 산출부, 그리고
   상기 오차 값이 임계치 이하의 값이 되는 최종 감쇠 영상이 생성되도록 상기 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시키는 가중치 조정부를 포함하는 양전자방출 단층촬영 시스템.
   
4. 제3항에서,
   상기 영상 생성부는,
   상기 딥러닝 알고리즘의 필터를 이용하여 상기 입력 영상으로부터 복수 개의 특징 지도를 생성하고 생성된 상기 특징 지도로부터 미리 설정된 비율로 다운사이징된 샘플을 생성하며, 상기 다운사이징된 샘플에 필터를 이용하여 복수개의 특징 지도를 생성하는 과정을 상기 샘플의 사이즈가 미리 설정된 기준 사이즈에 도달할 때까지 반복하고,
   상기 샘플이 미리 설정된 기준 사이즈에 도달하면, 상기 샘플을 미리 설정된 비율로 업사이징하고, 업사이징된 상기 샘플에 필터를 이용하여 복수개의 특징 지도를 생성하는 과정을 반복하여 업사이징된 상기 샘플의 사이즈가 최초의 사이즈와 일치하면, 제2 감쇠 영상을 생성하는 양전자방출 단층촬영 시스템.
   
5. 제4항에서,
   상기 영상 생성부는,
   상기 샘플을 업사이징을 하고 복수개의 특징 지도를 생성할 때 업사이징된 상기 샘플의 사이즈와 동일한 특징 지도를 수집하여 상기 샘플과 합치고, 합쳐진 샘플에서 복수개의 특징 지도를 생성하는 양전자방출 단층촬영 시스템.
   
6. 제1항에서,
   상기 제어부는,
   상기 생성부에서 생성된 제1 감쇠 영상을 입력 영상으로 선택하거나 상기 제1 감쇠 영상 및 제1 방출 영상을 입력영상으로 선택하여 상기 학습된 딥러닝 알고리즘을 통해 최종 감쇠 영상을 생성하는 양전자방출 단층촬영 시스템.
   
7. 제1항에서,
   상기 제어부는,
   상기 제1 감쇠 영상 또는 제1 방출 영상에서 일부 복셀 데이터 그룹을 선택하고, 선택한 상기 복셀 데이터 그룹을 상기 학습된 딥러닝 알고리즘에 적용하는 과정을 반복하여 상기 제1 감쇠 영상 또는 제1 방출 영상 전체에 상기 학습된 딥러닝 알고리즘을 적용하여 3D 형태로 최종 감쇠 영상을 생성하는 양전자방출 단층촬영 시스템.
   
8. 제1항에서,
   상기 제어부는,
   상기 제1 방출 영상과 상기 최종 감쇠 영상을 이용하여 상기 최종 감쇠 영상이 보정된 최종 방출 영상을 생성하여 제공하는 양전자방출 단층촬영 시스템.
   
9. 수집부는 양전자방출 단층촬영 사이노그램(PET sinogram)을 수집하는 단계,
   생성부는 상기 양전자방출 단층촬영 사이노그램을 동시 재구성 알고리즘에 적용하여 제1 방출 영상과 제1 감쇠 영상을 생성하는 단계,
   제어부는 생성된 상기 제1 감쇠 영상을 입력 영상으로 선택하는 단계,
   상기 제어부는 상기 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 단계 그리고
   상기 제어부는 상기 제1 방출 영상과 상기 최종 감쇠 영상을 이용하여 보정된 최종 방출 영상을 생성하여 제공하는 단계
   를 포함하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
   
10. 수집부는 양전자방출 단층촬영 사이노그램(PET sinogram)을 동시 재구성 알고리즘으로 생성한 제1 방출 영상과 제1 감쇠 영상을 수집하는 단계,
    제어부는 생성된 상기 제1 감쇠 영상을 입력 영상으로 선택하는 단계,
    상기 제어부는 상기 입력 영상을 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하여 제공하는 단계 그리고
    상기 제어부는 상기 제1 방출 영상과 상기 최종 감쇠 영상을 이용하여 보정된 최종 방출 영상을 생성하여 제공하는 단계
    를 포함하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
    
11. 제9항 또는 제10항에서,
    학습부는 상기 양전자방출 단층촬영 사이노그램과 대응되는 추가 촬영을 통해 획득된 감쇠 영상을 수집하고, 상기 입력 영상과 상기 획득된 감쇠 영상을 이용하여 딥러닝 알고리즘을 학습시키는 단계를 더 포함하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
    
12. 제11항에서,
    상기 딥러닝 알고리즘을 학습시키는 단계는,
    상기 딥러닝 알고리즘을 통해 상기 제1 감쇠 영상으로부터 제2 감쇠 영상을 생성하는 단계,
    상기 제2 감쇠 영상과 상기 획득된 감쇠 영상간의 오차를 산출하는 단계, 그리고
    상기 오차 값이 임계치 이하의 값이 되는 최종 감쇠 영상을 생성하도록 상기 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시키는 단계를 포함하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
    
13. 제12항에서,
    상기 제2 감쇠 영상을 생성하는 단계는,
    상기 딥러닝 알고리즘의 필터를 이용하여 상기 입력 영상으로부터 복수 개의 특징 지도를 생성하는 단계,
    생성된 상기 특징 지도로부터 미리 설정된 비율로 다운사이징된 샘플을 생성하며, 상기 다운사이징된 샘플에 필터를 이용하여 복수개의 특징 지도를 생성하는 단계,
    상기 샘플이 미리 설정된 기준 사이즈에 도달하면, 상기 샘플을 미리 설정된 비율로 업사이징하고, 업사이징된 상기 샘플과 동일한 사이즈의 다운사이징된 특징 지도를 수집하는 단계,
    상기 업사이징된 상기 샘플과 수집된 특징 지도에서 필터를 이용하여 복수개의 특징 지도를 생성하는 단계, 그리고
    업사이징된 상기 샘플의 사이즈가 최초의 사이즈와 일치하면, 제2 감쇠 영상을 생성하는 단계를 포함하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
    
14. 제9항 또는 제10항에서,
    상기 입력영상으로 상기 제1 감쇠 영상과 제1 방출 영상이 선택되면,
    최종 감쇠 영상을 생성하여 제공하는 단계는,
    상기 제1 감쇠 영상 및 제1 방출 영상을 상기 학습된 딥러닝 알고리즘에 적용하여 최종 감쇠 영상을 생성하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.
    
15. 제9항 또는 제10항에서,
    상기 입력영상으로 상기 제1 감쇠 영상 또는 제1 방출 영상에서 일부 복셀 데이터 그룹이 선택되면,
    상기 최종 감쇠 영상을 생성하여 제공하는 단계는,
    선택한 상기 복셀 데이터 그룹을 상기 학습된 딥러닝 알고리즘에 적용하여 3D 형태로 최종 감쇠 영상을 생성하는 양전자방출 단층촬영 시스템의 영상 재구성 방법.

Images