KR20190135618A

KR20190135618A - 뉴럴 네트워크를 이용한 내부 전산단층 촬영 영상 처리 방법 및 그 장치

Info

Publication number: KR20190135618A
Application number: KR1020180060853A
Authority: KR
Inventors: 예종철; 한요섭
Original assignee: 한국과학기술원
Priority date: 2018-05-29
Filing date: 2018-05-29
Publication date: 2019-12-09
Also published as: KR102094599B1

Abstract

뉴럴 네트워크를 이용한 내부 전산단층 촬영 영상 처리 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 처리 방법은 내부 전산단층 촬영 데이터를 수신하는 단계; 및 영 공간 신호를 제거하는 뉴럴 네트워크를 이용하여 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.

Description

뉴럴 네트워크를 이용한 내부 전산단층 촬영 영상 처리 방법 및 그 장치{METHOD FOR PROCESSING INTERIOR COMPUTED TOMOGRAPHY IMAGE USING ARTIFICIAL NEURAL NETWORK AND APPARATUS THEREFOR}

본 발명은 내부 전산단층 촬영 영상 처리 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 학습된 뉴럴 네트워크를 이용하여 내부 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치에 관한 것이다.

전산단층 촬영 기법(Computed Tomography, CT)은 객체의 단층영상을 획득하기 위한 촬영 기법으로써, 엑스선(X-ray)을 객체에 투과시킨 후 감쇄된 엑스선을 획득하고, 이렇게 획득된 엑스선을 이용하여 단층영상을 복원하게 된다. 전산단층 촬영은 엑스선을 이용하기 때문에 방사선 노출이 큰 문제로 대두된다. 상기 문제를 해결하기 위해 다양한 연구가 진행되었다. 엑스선의 세기를 줄이는 저선량 전산화 단층촬영(Low-dose CT), 또는 국소 영역 예를 들어, 관심영역 (Region-of-Interest, ROI)에만 엑스선을 조사하여 단층영상을 생성하는 내부 단층촬영(Interior Tomography) 등이 있다.

내부 단층촬영(Interior Tomography) 방식은 단지 ROI에만 엑스선으로 방사함으로써 ROI 영상을 얻는 것이기 때문에, 심장과 같이 환자 신체 내 ROI가 작을 때 유용하다. 내부 단층촬영은 엑스선량을 극적으로 감소시킬 수 있을 뿐만 아니라, 소규모 감지기를 사용함으로써 비용적인 이익을 갖는다. 그러나, 해석적 CT 복원 알고리즘 사용은 횡방향 투영 절단(transverse directional projection truncation)에 따른 심각한 아티팩트(artifact)를 생성한다. 즉, 관심영역에만 엑스선을 조사하여 촬영을 진행할 경우, 기존의 해석적 방법인 필터링-역투영(filtered-backprojection, FBP) 방식을 적용할 수 없게 된다. 이는 ROI 만을 촬영함으로 생기는 투영 데이터의 짤림 현상으로 인하여 FBP 연산자에 생기는 영공간(Null space)이 복원 영상에 커핑 아티팩트(Cupping artifact)의 형태로 발현되기 때문이다.

도 1은 투영 데이터의 짤림 현상으로 인한 FBP 영상에 대한 일 예시도를 나타낸 것으로, 도 1에 도시된 바와 같이 FBP 영상은 원본 영상(ground truth)(또는 실측 영상)과 영공간 영상(null space image)로 분리 될 수 있으며, 영공간 영상은 투영 데이터의 짤림 현상으로 발현된 영상 아티팩트이다. 이를 해결하기 위해, 과거엔 투영 연산(projection operator)과 역투영 연산(back-projection operator)을 반복적으로 사용하는 반복적 복원기법(iterative reconstruction method)을 이용하여 영공간 영상 아티팩트를 없애는 연구를 진행하였다. 이 같은 경우, 투영 연산과 역투영 연산을 반복적으로 수행해야 하기 때문에 과도한 연산량이 요구되게 되어 복원시간이 길어지는 단점이 있다.

사이노그램 보외법(sinogram extrapolation)은 아티팩트를 감소시키기 위한 간단한 근사 방법이다. 그러나, 사이노그램 보외법은 복원된 영상 내에 바이어스된 CT 수(biased CT number)를 여전히 생성한다.

근래에 들어, 뉴럴 네트워크(neural network)을 이용한 전산단층 촬영 복원기법에 관한 연구가 활발히 진행되기 시작하였다. 이미 저선량 CT와 희소 뷰 CT에서는 뉴럴 네트워크를 이용하여 높은 수준의 복원 성능을 보여준다는 것이 검증된 바 있다. 뉴럴 네트워크를 이용한 복원기법의 경우, 복원 수행 시간이 굉장히 짧음에도 불구하고 우수한 성능을 보여주는 것으로 알려져 있다.

본 발명의 실시예들은, 학습된 뉴럴 네트워크를 이용하여 내부 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치를 제공한다.

구체적으로, 본 발명의 실시예들은, 학습된 뉴럴 네트워크를 이용하여 커핑 아티팩트(cupping artifacts)를 발생시키는 영 공간 신호를 제거함으로써, 내부 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있는 영상 처리 방법 및 그 장치를 제공한다.

본 발명의 일 실시예에 따른 영상 처리 방법은 내부 전산단층 촬영 데이터를 수신하는 단계; 및 영 공간 신호를 제거하는 뉴럴 네트워크를 이용하여 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.

상기 영상을 복원하는 단계는 상기 내부 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 영 공간 신호가 포함된 최초 복원 영상을 획득하는 단계; 및 상기 뉴럴 네트워크를 이용하여 상기 최초 복원 영상으로부터 영 공간 신호를 제거함으로써, 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.

상기 최초 복원 영상을 획득하는 단계는 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 상기 해석적 알고리즘을 이용하여 상기 최초 복원 영상을 획득할 수 있다.

상기 뉴럴 네트워크는 실측 영상과 상기 실측 영상의 절단된 투영 영상 간의 매핑에 대한 학습 모델을 생성하고, 상기 생성된 학습 모델을 이용하여 영 공간 신호가 제거된 영상을 제공할 수 있다.

상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.

상기 뉴럴 네트워크는 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.

상기 뉴럴 네트워크는 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.

본 발명의 다른 일 실시예에 따른 영상 처리 방법은 내부 전산단층 촬영 데이터를 수신하는 단계; 상기 내부 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 영 공간 신호가 포함된 최초 복원 영상을 획득하는 단계; 및 영 공간 신호를 제거하는 뉴럴 네트워크를 이용하여 상기 최초 복원 영상으로부터 영 공간 신호를 제거함으로써, 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 단계를 포함한다.

본 발명의 일 실시예에 따른 영상 처리 장치는 내부 전산단층 촬영 데이터를 수신하는 수신부; 및 영 공간 신호를 제거하는 뉴럴 네트워크를 이용하여 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 복원부를 포함한다.

상기 복원부는 상기 내부 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 영 공간 신호가 포함된 최초 복원 영상을 획득하고, 상기 뉴럴 네트워크를 이용하여 상기 최초 복원 영상으로부터 영 공간 신호를 제거함으로써, 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.

상기 복원부는 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 상기 해석적 알고리즘을 이용하여 상기 최초 복원 영상을 획득할 수 있다.

본 발명의 실시예들에 따르면, 학습된 뉴럴 네트워크를 이용하여 커핑 아티팩트(cupping artifacts)를 발생시키는 영 공간 신호를 제거함으로써, 내부 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있다.

전산단층 촬영 장비의 제작과정 중 비용의 많은 부분을 차지하는 부분이 검출기(detector)이며, 전산단층 촬영 영상을 촬영하기 위해선 촬영하고자 하는 부위의 전체를 포함할 수 있을 정도의 검출기가 요구된다. 만약, 검출기가 상기 조건을 만족시키기 못하면 예를 들어, 획득된 투영 영상이 촬영부분을 모두 포함하지 못한다면 해석적 복원방법에 의해 복원을 수행할 경우 복원영상에 커핑 아티팩트(cupping artifact)가 나타나게 되는데, 본 발명은 이러한 커핑 아티팩트를 효과적으로 제거함으로써, 내부 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있으며, 따라서 전산단층 촬영 장비 제작 시 소요되는 검출기의 크기를 축소시켜 생산 단가를 낮출 수 있다.

본 발명의 실시예들에 따르면, 뉴럴 네트워크를 이용하여 내부 전산단층 촬영 영상을 복원함으로써, 연산량을 감소시키고 복원 성능을 향상시킬 수 있다.

이러한 본 발명은 내부 전산단층 촬영 영상을 촬영하는 의료용 전산단층 촬영(Computed Tomography, CT) 장비 뿐만 아니라 내부 전산단층 촬영 기법을 사용하는 모든 장비에 적용할 수 있다.

도 1은 투영 데이터의 짤림 현상으로 인한 FBP 영상에 대한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 내부 전산단층 촬영 영상의 좌표계에 대한 일 예시도를 나타낸 것이다.
도 4는 내부 전산단층 촬영 영상에 대한 딥 러닝 네트워크 구조를 나타낸 것이다.
도 5는 반복적 복원기법들과 본 발명의 방법에 따른 복원 성능과 정량적 지표인 PSNR(Peak Signal-to-noise ratio) 값에 대한 일 예시도를 나타낸 것이다.
도 6은 원본 영상과의 차이 영상에 대한 일 예시도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 구성을 나타낸 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

최근 몇 년 간, 컨볼루션 뉴럴 네트워크(Convolutional neural network, CNN)을 사용하는 딥 러닝 알고리즘들이 저선량 CT, 희소 뷰(sparse view) CT 등에 성공적으로 사용되고 있다. 그러나, CT 문제에서 인상적인 실험적 결과들을 관측할수록, 해답이 없는 더 많은 질문들을 마주친다. 특히, 생의학적인 적용에 대한 가장 중요한 질문들 중 하나는 딥 러닝 기반의 CT가 방사선 전문의들이 임상 결정을 하는 데 잘못된 안내를 하는 임의의 인공적인 구조들을 생성하는지 여부이다. 최근 이론인 딥 컨볼루션 프레임렛(deep convolutional framelets)에서, 딥 러닝의 성공은 블랙 박스의 마법 같은 힘이 아니라 데이터 주도의 국소 기저(data-driven local basis)와 결합된 비국소 기저를 사용하는 새로운 신호 표현의 힘에서 비롯된다는 점을 보였다. 그러므로, 딥 네트워크는 웨이블릿(wavelet), 프레임 등과 같은 고전적인 신호 표현 이론의 자연적인 확장이다. 따라서, 그것은 새로운 정보를 생성하기 보다는 최적 신호 표현을 사용하여 입력 데이터 중에서 대부분의 정보를 추출하려고 시도한다.

기존의 일 실시예 방법은 모델 기반 반복적 복원기법 (Model-based Iterative Reconstruction, MBIR)을 이용하여 전산단층 촬영 영상의 복원을 수행하였지만 반복적 복원 기법을 사용하게 되면 높은 연산량을 요구하는 투영 연산자와 역투영 연산자를 사용함은 물론 반복적 과정이 동반되기 때문엔 높은 연산량과 그에 대응하는 오랜 복원시간을 요구하게 된다.

본 발명의 실시예들은, 학습된 뉴럴 네트워크를 이용하여 커핑 아티팩트(cupping artifacts)를 발생시키는 영 공간 신호를 제거함으로써, 내부 전산단층 촬영 영상을 고품질의 영상으로 복원하는 것을 그 요지로 한다.

여기서, 본 발명은 투영 연산자과 역투영 연산자를 사용하지 않으며, 반복적 과정을 생략함으로써 연산량을 효과적으로 감소시켜 연산 시간을 줄이고, 복원 성능을 향상시킬 수 있다.

이 때, 본 발명에서 사용하는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다. 나아가, 다중 해상도 뉴럴 네트워크는 풀링 레이어에서 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.

본 발명의 뉴럴 네트워크는 내부 전산단층 촬영 영상을 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 해석적 알고리즘을 이용하여 영 공간 신호를 포함한 입력 영상을 입력으로 하고, 입력 영상으로부터 영 공간 신호를 제거함으로써, 내부 전산단층 촬영 영상에 대한 고품질의 영상을 복원할 수 있다.

즉, 본 발명은 해석적 알고리즘 복원에 의해 발생하는 영 공간 신호를 제거하는 딥 러닝 뉴럴 네트워크 구조를 제공함으로써, 내부 전산단층 촬영 영상에 대한 고품질의 복원 영상을 제공할 수 있다.

상술한 컨볼루션 프레임렛은 입력신호에 대하여 국소 기저와 비국소 기저를 이용하여 표현하는 방식으로, 이에 대해 설명하면 다음과 같다.

컨볼루션 프레임렛은 입력신호

에 대하여 국소 기저(

)와 비국소 기저 (

)를 이용하여 표현한 것으로, 아래 <수학식 1>과 같이 나타낼 수 있다.

[수학식 1]

여기서,

는 비국소 기저 벡터를 가지는 선형 변환 연산을 의미하고,

는 국소 기저 벡터를 가지는 선형 변환 연산을 의미할 수 있다.

이 때, 국소 기저 벡터와 비국소 기저 벡터는 각각 서로 직교하는 듀얼 기저 벡터

와

를 가질 수 있으며, 기저 벡터들의 직교 관계는 아래 <수학식 2>와 같이 정의될 수 있다.

[수학식 2]

상기 수학식 2를 이용하면 컨볼루션 프레임렛은 아래 <수학식 3>과 같이 표현할 수 있다.

[수학식 3]

여기서,

는 행켈 행렬 연산(Hankel matrix operator)을 의미하는 것으로, 컨볼루션 연산을 행렬곱(matrix multiplication)으로 표현할 수 있게 해주며,

는 국소 기저와 비국소 기저에 의하여 변환된 신호인 컨볼루션 프레임렛 계수(convolution framelet coefficient)를 의미할 수 있다.

컨볼루션 프레임렛 계수

는 듀얼 기저 벡터

를 적용하여 본래의 신호로 복원될 수 있다. 신호 복원 과정은 아래 <수학식 4>와 같이 나타낼 수 있다.

[수학식 4]

이와 같이, 국소 기저 및 비국소 기저를 통해 입력 신호를 표현하는 방식을 컨볼루션 프레임렛이라 한다.

도 2는 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 처리 방법은 내부 전산단층 촬영 데이터를 수신하는 단계(S210)와 영 공간 신호를 제거하는 뉴럴 네트워크를 이용하여 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 단계(S220)를 포함한다.

여기서, 단계 S220은 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 해석적 알고리즘을 이용하여 내부 전산단층 촬영 데이터를 영 공간 신호가 포함된 최초 복원 영상을 획득하고, 뉴럴 네트워크를 이용하여 최초 복원 영상으로부터 영 공간 신호를 제거함으로써, 내부 전산단층 촬영 데이터에 대한 영상을 복원할 수 있다.

본 발명에서 사용되는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.

여기서, 컨볼루션 프레임렛은 입력신호에 대하여 국소 기저와 비국소 기저를 이용하여 표현하는 방식을 의미할 수 있다.

나아가, 뉴럴 네트워크는 상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.

이러한 본 발명에 따른 방법에 대해 도 3 내지 도 6을 참조하여 설명한다.

문제 공식화

변수

는 단위 구(unit sphere)

상의 벡터를 나타낸다.

와 직교하는 벡터들의 수집은 아래 <수학식 5>과 같이 나타낼 수 있다.

[수학식 5]

본 발명은 영상으로서 공간 도메인 상의 실수 값 함수(real-valued function)들을 참조하며

에 대한

로 나타낸다. 여기서, 영상

의 라돈 변환(Radon Transform)은 아래 <수학식 2>와 같이 나타낼 수 있다.

[수학식 6]

여기서,

이고

를 의미할 수 있다.

절단된 시계(truncated field-of-view)에 대한 국소 라돈 변환은 영역

로

를 제한하는 것이며, 이는

로 나타낼 수 있다. 그리고 나서, 내부 복원은

로부터 ROI 내의 알려지지 않은

를 찾는 것이다.

절단된 라돈 변환의 영 공간

내부 복원의 주된 기술적 어려움은 영 공간의 존재이다. 영 공간을 분석하기 위하여, 본 발명은 기존 논문("Interior tomography using 1D generalized total variation. Part I: Mathematical foundation," SIAM Journal on Imaging Sciences, vol. 8, no. 1, pp. 226-247, 2015.)에서의 수학적인 분석을 따른다. 특히,

의 해석적 역행렬(analytic inversion)은 화음 줄(chord line)들을 따라 절단된 힐버트 변환(truncated Hilbert transform)이 뒤따르는 미분된 역투영(back projection)을 사용하여 등가적으로 표현될 수 있으며, 따라서 본 발명은 이것의 장점을 취하기 위하여 내부 복원 문제를 분석한다.

구체적으로, 화음 줄을 따르는 단위 벡터

가 좌표 축 상에 설정된다면, 도 3에 도시된 바와 같이

가 국소 좌표 시스템에 대한 기저로 구성되며

가 그것의 좌표 값을 나타내도록 단위 벡터

를 찾을 수 있다. 나아가,

로 매개화된 1-D 인덱스 세트를 정의할 수 있으며, 아래 <수학식 7>과 같이 나타낼 수 있다.

[수학식 7]

그러면,

의 영 공간

은 몇몇 함수들

에 대해 아래 <수학식 8>와 같이 나타낼 수 있다.

[수학식 8]

도 1은 영 공간 영상

의 전형적인 예시를 나타낸 것으로, 이것은 종종 커핑 아티팩트(cupping artifact)라고 불린다. 커핑 아티팩트는 대조(contrast)를 감소시키고 임상 진단(clinical diagnosis)을 방해한다.

영 공간 신호

는 피적분 함수(integrand) 내 원점 제거에 의하여 임의의 순서로 미분이 가능하다. 따라서, 내부 복원 알고리즘은 이것을 이용함으로써

를 억누르는 적절한 정규화 텀(regularization term)이 필요하다. 특히, 영 공간

가 전체 함수를 포함하도록 해석 변환 L을 찾고, 이것을 해석 기반 정규화 텀을 위해 사용할 수 있다. 예를 들어, 전체 변이(total variation, TV) 및 L-spline 모델을 사용하는 정규화가 여기에 대응될 수 있다. 영 공간 요소

가 ROI 내에서 신호

와 등가라면, 복소 평면의 상반(upper half) 상 해석적 함수들의 경계 값들이라는 힐버트 변환 쌍의 특징에 의해

는 0과 동일하다. 따라서, TV 또는 L-spline 정규화는 단일한 해결책을 제공한다.

CNN 기반 영 공간 제거

본 발명은

및

의 일반적인 영 공간이 0이 되도록 선형 연산자 L을 설계하는 대신에, 모든

및 실측 영상(ground-truth image)

에 대해

및

가 되도록 프레임

와 그 듀얼 프레임인

을 설계할 수 있다. 이 프레임 기반 정규화는 또한 영상 디노이징(denoising), 인페인팅(inpainting) 등에 대한 활발한 연구 분야로서, 딥 컨볼루션 프레임렛 이론(deep convolutional framelet theory)의 가장 중요한 기여들 중 하나는

와 가 각각 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN)의 인코더 및 디코더 구조와 대응되고, 감소 연산자

는 필터 채널의 개수 및 비선형성을 제어함으로써 나타난다. 따라서,

로 표현되는 컨볼루션 뉴럴 네트워크는 아래 <수학식 9>가 되도록 설계한다.

[수학식 9]

즉, 상기 수학식 9는 직접적으로 영 공간 구성요소를 제거하는 것으로, 상기 수학식 3은 뉴럴 네트워크를 트레이닝하기 위해 사용하는 제약 조건(constraint)일 수 있다.

본 발명의 내부 전산단층 촬영 알고리즘은 아래 <수학식 10>과 같이 나타낸 문제에 대한 해결책인

를 찾기 위해 공식화될 수 있다.

[수학식 10]

여기서

는 표본 데이터를 위해 이용할 수 있는 실측 데이터를 의미하고,

는 상기 수학식 9를 만족하는 CNN을 의미할 수 있다.

예를 들어

와 같이,

을

의 우역행렬로 정의함으로써, 일부

에 대해서만

를 가지는데, 이는 우역행렬이 영 공간의 존재 때문에 유일하지 않기 때문이다.

의 분해는 도 1을 통해 알 수 있다. 그러므로, 본 발명은 트레이닝 데이터에 대한 아래 <수학식 11>이기 때문에

는 상기 수학식 10에 대해 실현 가능한 솔루션이라는 것을 알 수 있다.

[수학식 11]

이는 상기 수학식 11과 데이터 적합성 제약이 우역행렬의 정의에 따라 자동적으로 만족되기 때문이다. 그러므로, 상기 수학식 11을 만족시키기 위한 뉴럴 네트워크 트레이닝 문제는 아래 <수학식 12>와 같이 등가로 표현될 수 있다.

[수학식 12]

여기서,

는 실측 영상 및 그것의 절단된 투영으로 구성된 트레이닝 데이터 세트를 의미할 수 있다.

즉, 뉴럴 네트워크

는 트레이닝을 통해 실측 영상과 실측 영상의 절단된 투영 영상 간의 매핑에 대한 학습 모델을 생성하고, 이렇게 생성된 학습 모델을 이용하여 영 공간 신호가 제거된 영상을 제공할 수 있다.

절단된 라돈 변환에 대한 우역행렬의 전형적인 예시는 역 라돈 변환(inverse Radon transform)이며, 이는 필터링된 역투영(Filtered Back Projection, FBP) 알고리즘에 의해 구현될 수 있다. 그러므로, 상기 수학식 12에서

는 FBP를 사용하여 구현될 수 있다.

뉴럴 네트워크가 학습된 이후에, 추론(inference)은 뉴럴 네트워크

를 사용하여 절단된 라돈 데이터

로부터 FBP 복원 영상을 처리함으로써 간단히 수행될 수 있다. 즉, 추론은

와 같이 간단히 수행될 수 있다.

데이터 세트

본 발명에서는 미국의학물리학자협회 저선량 CT 그랜드 챌린지(AAPM Low-Dose CT Grand Challenge)로부터의 10개의 대상(subject) 데이터 세트가 사용되었다. 10개의 세트 중에서, 8개의 세트는 네트워크 트레이닝에 사용될 수 있다. 다른 2개의 세트는 각각 검증(validation) 및 시험(test)에 사용될 수 있다. 제공된 데이터 세트들은 나선형 CT에서 얻어질 수 있고, 이 나선형 CT로부터 360도 각도의 스캔 팬-빔(fan-beam) CT로 리빈(rebin)될 수 있다. 512 × 512 크기의 아티팩트가 없는 CT 영상들은 FBP 알고리즘을 사용하여 리빈된 팬-빔 CT 데이터로부터 재구성된다. 이 CT 영상으로부터, 사이노그램은 전방 투영 연산자를 사용하여 수치적으로 얻어질 수 있으며, 수치적인 실험에서의 감지기의 수는 736개이다. 736개의 감지기 중에서 오직 350개의 감지기만이 절단된 투영 데이터를 시뮬레이션하는 데 사용될 수 있으며, 이를 사용하여 256 × 256 ROI 영상들을 재구성할 수 있다.

네트워크 구조 및 트레이닝

도 4는 내부 전산단층 촬영 영상에 대한 딥 러닝 네트워크 구조를 나타낸 것으로, 변형된 U-Net 구조를 나타낸 것이다.

도 4에 도시된 바와 같이, 짤림이 있는 투영 데이터(truncated projection)를 이용하여 FBP를 수행함으로써 영공간 잡음이 발생한 입력영상

을 생성한다. 입력영상은 넓은 수용영역을 갖는 뉴럴 네트워크 인공신경망 구조의 입력으로 전달되며, 뉴럴 네트워크는 입력 영상으로부터 영공간 잡음 영상이 제거된 복원 영상

을 도출하게 된다. 여기서, 복원 영상

는 실측 데이터에서 잘라진 256 × 256 크기의 중앙 ROI 영상에 대응될 수 있다.

본 발명의 네트워크는 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어, 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어, 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 연쇄를 가진 경로 연결(contracting path connection with concatenation)을 포함한다. 특히, 각 스테이지는 3 × 3 커널들을 갖는 컨볼루션, 배치 노말라이제이션 및 ReLU 레이어들로 구성된 4개의 순차적인 레이어들을 포함한다. 마지막 스테이지는 두 개의 순차적인 레이어들과 마지막 레이어를 포함하며, 마지막 레이어는 최종 복원 영상을 생성하는 1 × 1 커널을 갖는 컨볼루션만을 포함한다. 각 컨볼루션 레이어에 대한 채널 수는 도 4에 도시되어 있으며, 각 풀링 레이어 후에 채널 수는 두 배가 되며, 계층들의 크기를 4배로 감소시킨다. 여기서, 풀링 레이어는 2 × 2 평균 풀링 레이어일 수 있으며, 풀링 레이어는 각 스테이지들 사이에 위치할 수 있다. 또한 언풀링 레이어도 2 × 2 평균 언풀링 레이어일 수 있다.

본 발명의 네트워크는 확률적 경사 하강법(stochastic gradient descent, SGC)에 의해 트레이닝될 수 있다. 정규화 파라미터(regularization parameter)는 10^-4이며, 초기 학습 레이트(learning rate)는 10^-3이며, 이는 10^-5까지 점진적으로 떨어지는데 이는 각 에포크(epoch) 내에서 단계적으로 감소될 수 있다. 에포크의 수는 300개이고, 네트워크는 MATLAB2015a 환경에서 MatConvNet toolbox를 사용하여 구현될 수 있다.

도 4에 도시된 바와 같이, 본 발명에서의 U-Net은 평균 풀링 레이어와 평균 언풀링 레이어를 비국소 기저로 이용 또한 바이패스 연결 레이어(bypass connection layer)를 통해 입력부의 신호를 출력부로 전달해주는 역할을 한다. U-Net은 저해상도 신호에 재귀적으로 적용되는데, 여기서, 입력은 국소 컨볼루션 필터로 필터링되고, 풀링 연산을 사용하여 절반 크기의 근사 신호로 감소될 수 있으며, 바이패스 연결은 풀링 중에 손실된 고주파를 보상할 수 있다.

도 5는 반복적 복원기법들과 본 발명의 방법에 따른 복원 성능과 정량적 지표인 PSNR(Peak Signal-to-noise ratio) 값에 대한 일 예시도를 나타낸 것으로, 반복적 복원기법들은 전체 변이(TV), Lee method를 포함하고, CT의 수평면(axial), 관상면(coronal)과 시상면(sagittal) 영상에 대해 비교한 것이며, 마지막 그래프는 프로파일을 나타낸 것이다.

도 5에 도시된 바와 같이, 입력 영상(Input:FBP)의 경우 커핑 아티팩트(cupping artifact)에 의하여 영상의 경계부에 왜곡이 심하게 나타나 영상이 포화(saturation)되는 현상이 발생하고, TV 복원방법의 경우 커핑 아티팩트가 사라지긴 하였지만 원본 영상(ground truth)에 존재하던 텍스처 패턴이 사라지고 스무딩(smoothing)된 영상을 볼 수 있다. Lee 방법의 경우에는 TV 방법보다 텍스처가 잘 보존되었지만 프로파일에서 보면 영상의 DC 값이 전반적으로 떨어지는 문제점이 발생하여 PSNR 값이 상대적으로 TV 방법보다도 떨어지는 현상이 나타난다. 반면, 본 발명에 따른 방법(proposed)은 복원 영상에 존재하는 텍스처 패턴 뿐만 아니라 프로파일에서 보이는 DC 값까지도 원본영상의 화질까지 충분히 복원되는 것을 알 수 있다. 이는 PSNR을 보면 알 수 있듯이 기존 방법들 보다 7 ~ 10 dB 가량 높은 수준의 복원 성능을 보이는 것을 알 수 있다.

도 6은 원본 영상과의 차이 영상에 대한 일 예시도를 나타낸 것으로, 원본 영상(i), 원본 영상과 TV 방법의 복원 영상 간 차이 영상(ii), 원본 영상과 Lee 방법의 복원 영상 간 차이 영상(iii) 및 원본 영상과 본 발명에 따른 복원 영상 간 차이 영상(vi)을 나타낸 것이다.

도 6을 통해 알 수 있듯이, 원본 영상과 TV 방법의 복원 영상 간 차이 영상(ii)의 경우에는 텍스처 패턴이 차이 영상에 남아 있는 것을 알 수 있으며, 원본 영상과 Lee 방법의 복원 영상 간 차이 영상(iii)의 경우에는 DC 값의 차이로 인한 차이 영상이 남는 것을 알 수 있으며, 반면 원본 영상과 본 발명에 따른 복원 영상 간 차이 영상(vi)의 경우에는 텍스처 뿐만 아니라 DC 값에 의한 차이로 남지 않은 차이 영상을 보여주며, 이는 기존의 다른 복원 영상과의 성능 차이를 분명이 보여주는 것을 알 수 있다.

상술한 바와 같이, 본 발명은 절단된 라돈 변환의 영 공간 신호 성분들을 제거하는 제약 하에서 단대단(end-to-end) 방식으로 내부 전산단층 촬영 문제가 복원 문제로 공식화될 수 있다는 것을 알 수 있으며, 이러한 영 공간 신호 성분들을 제거하는 뉴럴 네트워크를 구현함으로써, 내부 전산단층 촬영 영상을 복원할 수 있다.

이와 같이, 본 발명의 실시예에 따른 방법은 라돈 변환 시 커핑 아티팩트(cupping artifacts)를 발생시키는 영 공간 신호를 학습된 뉴럴 네트워크를 이용하여 제거함으로써, 내부 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있다.

또한, 본 발명의 실시예에 따른 방법은 커핑 아티팩트를 효과적으로 제거함으로써, 내부 전산단층 촬영 영상을 고품질의 영상으로 복원할 수 있으며, 따라서 전산단층 촬영 장비 제작 시 소요되는 검출기의 크기를 축소시켜 생산 단가를 낮출 수 있다.

또한, 본 발명의 실시예에 따른 방법은 뉴럴 네트워크를 이용하여 내부 전산단층 촬영 영상을 복원함으로써, 연산량을 감소시키고 복원 성능을 향상시킬 수 있기 때문에 내부 전산단층 촬영 영상을 촬영하는 의료용 전산단층 촬영(Computed Tomography, CT) 장비 뿐만 아니라 내부 전산단층 촬영 기법을 사용하는 모든 장비에 적용할 수 있다.

도 7은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 구성을 나타낸 것으로, 도 2 내지 도 6의 방법을 수행하는 장치에 대한 구성을 나타낸 것이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치(700)는 수신부(710) 및 복원부(720)를 포함한다.

수신부(710)는 내부 전산단층 촬영 데이터를 수신한다.

복원부(720)는 영 공간 신호를 제거하는 뉴럴 네트워크를 이용하여 수신부(710)로 수신된 내부 전산단층 촬영 데이터에 대한 영상을 복원한다.

이 때, 복원부(720)는 내부 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 영 공간 신호가 포함된 최초 복원 영상을 획득하고, 뉴럴 네트워크를 이용하여 최초 복원 영상으로부터 영 공간 신호를 제거함으로써, 내부 전산단층 촬영 데이터에 대한 영상을 복원할 수 있으며, 해석적 알고리즘은 FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함할 수 있다.

복원부(720)에서 이용하는 뉴럴 네트워크는 실측 영상과 상기 실측 영상의 절단된 투영 영상 간의 매핑에 대한 학습 모델을 생성하고, 생성된 학습 모델을 이용하여 영 공간 신호가 제거된 영상을 제공할 수 있다.

또한, 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있으며, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.

나아가, 뉴럴 네트워크는 풀링 레이어에서 언풀링 레이어로의 바이패스 연결을 포함할 수 있다.

비록, 도 7의 장치에서 그 설명이 생략되었더라도, 도 7을 구성하는 각 구성 수단은 도 2 내지 도 6에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

내부 전산단층 촬영 데이터를 수신하는 단계; 및
영 공간 신호를 제거하는 뉴럴 네트워크를 이용하여 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 단계
를 포함하는 영상 처리 방법.
제1항에 있어서,
상기 영상을 복원하는 단계는
상기 내부 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 영 공간 신호가 포함된 최초 복원 영상을 획득하는 단계; 및
상기 뉴럴 네트워크를 이용하여 상기 최초 복원 영상으로부터 영 공간 신호를 제거함으로써, 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 단계
를 포함하는 것을 특징으로 하는 영상 처리 방법.
제2항에 있어서,
상기 최초 복원 영상을 획득하는 단계는
FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 상기 해석적 알고리즘을 이용하여 상기 최초 복원 영상을 획득하는 것을 특징으로 하는 영상 처리 방법.
제1항에 있어서,
상기 뉴럴 네트워크는
실측 영상과 상기 실측 영상의 절단된 투영 영상 간의 매핑에 대한 학습 모델을 생성하고, 상기 생성된 학습 모델을 이용하여 영 공간 신호가 제거된 영상을 제공하는 것을 특징으로 하는 영상 처리 방법.
제1항에 있어서,
상기 뉴럴 네트워크는
컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
제1항에 있어서,
상기 뉴럴 네트워크는
풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 방법.
제6항에 있어서,
상기 뉴럴 네트워크는
상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함하는 것을 특징으로 하는 영상 처리 방법.
내부 전산단층 촬영 데이터를 수신하는 단계; 및
상기 내부 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 영 공간 신호가 포함된 최초 복원 영상을 획득하는 단계; 및
영 공간 신호를 제거하는 뉴럴 네트워크를 이용하여 상기 최초 복원 영상으로부터 영 공간 신호를 제거함으로써, 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 단계
를 포함하는 영상 처리 방법.
내부 전산단층 촬영 데이터를 수신하는 수신부; 및
영 공간 신호를 제거하는 뉴럴 네트워크를 이용하여 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 복원부
를 포함하는 영상 처리 장치.
제9항에 있어서,
상기 복원부는
상기 내부 전산단층 촬영 데이터를 미리 설정된 해석적 알고리즘을 이용하여 영 공간 신호가 포함된 최초 복원 영상을 획득하고, 상기 뉴럴 네트워크를 이용하여 상기 최초 복원 영상으로부터 영 공간 신호를 제거함으로써, 상기 내부 전산단층 촬영 데이터에 대한 영상을 복원하는 것을 특징으로 하는 영상 처리 장치.
제10항에 있어서,
상기 복원부는
FDK(Feldkamp-Davis-Kress) 알고리즘과 필터링-역투영(filtered-backprojection, FBP) 알고리즘을 포함하는 상기 해석적 알고리즘을 이용하여 상기 최초 복원 영상을 획득하는 것을 특징으로 하는 영상 처리 장치.
제9항에 있어서,
상기 뉴럴 네트워크는
실측 영상과 상기 실측 영상의 절단된 투영 영상 간의 매핑에 대한 학습 모델을 생성하고, 상기 생성된 학습 모델을 이용하여 영 공간 신호가 제거된 영상을 제공하는 것을 특징으로 하는 영상 처리 장치.
제9항에 있어서,
상기 뉴럴 네트워크는
컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
제9항에 있어서,
상기 뉴럴 네트워크는
풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 처리 장치.
제14항에 있어서,
상기 뉴럴 네트워크는
상기 풀링 레이어에서 상기 언풀링 레이어로의 바이패스 연결을 포함하는 것을 특징으로 하는 영상 처리 장치.