KR102248444B1 - 초음파 영상 생성 방법 및 이를 수행하는 장치들 - Google Patents

Abstract

초음파 영상 생성 방법 및 이를 수행하는 장치들이 개시된다. 일 실시예에 따른 초음파 영상 생성 방법은 혈관에 대한 초음파 영상을 획득하는 단계와, 기 학습된 신경망 알고리즘에 기초하여 상기 초음파 영상의 표적 입자가 반영된 초고해상도 초음파 영상을 생성하는 단계를 포함한다.

Description

초음파 영상 생성 방법 및 이를 수행하는 장치들{METHOD OF GENERATING ULTRASONIC IMAGE AND APPARATUSES PERFORMING THE SAME}

아래 실시예들은 초음파 영상 생성 방법 및 이를 수행하는 장치들에 관한 것이다.

순환기 질환은 혈관의 형상 및 혈류 정보를 정확하게 영상화하여 진단하는 것이 매우 중요하다.

혈관을 영상화하는 방법은 초음파 영상 기법이 있다. 초음파 영상 기법은 비침습성, 경제성, 빠른 영상처리 등과 같은 장점이 있기에, 널리 활용되고 있다.

하지만, 초음파 영상 기법은 초음파 영상 기법의 단점 때문에 심부 조직의 혈관을 고해상도로 측정하는 것이 매우 어렵다. 초음파 영상 기법의 단점은 공간 해상도와 투과(penetration) 깊이의 트레이드오프(trade-off), 및 회절 한계 등일 수 있다.

최근에는 초음파 위치 측정 현미경(ultrasound localization microscopy, ULM)의 도입으로 심부 조직의 혈관을 고해상도로 측정하는 것이 가능하게 되었다.

먼저, ULM은 수 만장의 초음파 영상에서 혈관을 따라 움직이는 미세 기포들을 신호 비상관화(signal decorrelation) 방식으로 찾아낼 수 있다. 이때, 미세 기포는 초음파 조영제에 의해 혈관에 형성되는 미세 기포일 수 있다. 최근에는 임상적으로 승인된 초음파 조영제가 의료 현장에서 흔히 사용되고 있지만, 초음파 조영제의 생체 적합성에 대한 논란이 계속되고 있다. 그렇기 때문에, 초음파 조영제는 임산부를 비롯한 환자들로부터 초음파 조영제의 사용을 기피하는 단점이 있다. 또한, 초음파 조영제는 초음파 조영제의 소멸 속도, 농도에 따라 혈액 유동의 표적 입자(또는 추적 입자)로의 기능을 제대로 수행하지 못하는 단점이 있다.

이후에, ULM은 찾아낸 미세 기포들의 초음파 신호에서 점상 강도 분포 함수(point spread function, PSF)를 디콘볼루션 (deconvolution)시켜 미세 기포들의 중심 위치를 찾아낼 수 있다.

마지막으로, ULM은 찾아낸 미세기포들의 중심 위치를 재구성하여 초고해상도 초음파 영상을 획득할 수 있다.

ULM 기법이 파장보다 작은 해상도로 혈관을 영상화할 수 있지만, ULM 기법은 초음파 조영제로 주입된 미세기포의 농도에 따라 측정 정확도가 크게 영향을 받는다.

고해상도 혈관 영상을 획득하는 방법은 혈관 내부를 흐르는 미세 기포들의 중심 위치를 최대한 많이 찾아내는 것이다. 미세 기포들의 중심 위치를 많이 찾기 위해서는 미세 기포의 농도가 높아야 하지만, 미세 기포의 높은 농도로 인해 초음파 신호가 겹쳐지게 되는 경우, 단일 PSF를 이용하여 미세 기포들의 중심 위치를 정확하게 구하기 어려울 수 있다.

또한, 초음파 조영제에 의한 미세 기포가 아닌 혈관의 적혈구에 대한 초음파 영상에서는 적혈구의 신호 대 잡음비(signal-to-noise ratio, SNR)가 낮아서 적혈구의 정확한 위치 정보가 획득되기 어렵다.

상술한 문제점들을 보완하기 위해서 최근에는 여러 가지 알고리즘들이 제안되었지만, 알고리즘을 적용하기 위한 시간 소모가 크고, 미세기포 농도에 따라 매번 최적화 세팅을 변경해야 하는 어려움이 발생한다.

실시예들은 혈관에 대한 초음파 영상을 초고해상도의 초음파 영상으로 생성(또는 변환)하고, 초고해상도 초음파 영상으로부터 혈관의 혈류 유동 정보를 생성하여 초고해상도 초음파 영상 및 혈류 유동 정보를 제공하는 기술을 제공할 수 있다.

일 실시예에 따른 초음파 영상 생성 방법은 혈관에 대한 초음파 영상을 획득하는 단계와, 기 학습된 신경망 알고리즘에 기초하여 상기 초음파 영상의 표적 입자가 반영된 초고해상도 초음파 영상을 생성하는 단계를 포함한다.

상기 기 학습된 신경망 알고리즘은 학습 초음파 영상과 상기 학습 초음파 영상의 학습 표적 입자에 대한 정보를 합성한 학습 데이터에 의해 학습될 수 있다.

상기 표적 입자 및 상기 학습 표적 입자는 상기 혈관 또는 도관에 포함된 미세 기포 및 적혈구 중에서 적어도 하나일 수 있다.

상기 학습 데이터는 미세 기포에 대한 제1 학습 데이터와, 적혈구에 대한 제2 학습 데이터를 포함할 수 있다.

상기 생성하는 단계는 상기 기 학습된 신경망 알고리즘을 이용하여 상기 표적 입자의 중심 위치를 추출하는 단계와, 상기 초음파 영상에 상기 표적 입자의 중심 위치를 반영하여 상기 초고해상도 초음파 영상을 생성하는 단계를 포함할 수 있다.

상기 방법은 상기 초고해상도 초음파 영상에 기초하여 상기 표적 입자의 중심 위치에 입자 추적 속도 측정법을 적용하여 상기 혈관의 내부 혈류 흐름에 대한 속도장 정보를 생성하는 단계와, 상기 속도장 정보에 기초하여 상기 혈류에 대한 유동 정보를 생성하는 단계를 더 포함할 수 있다.

일 실시예에 따른 초음파 영상 생성 장치는 통신 모듈과, 혈관에 대한 초음파 영상을 획득하고, 기 학습된 신경망 알고리즘에 기초하여 상기 초음파 영상의 표적 입자가 반영된 초고해상도 초음파 영상을 생성하는 프로세서를 포함할 수 있다.

상기 기 학습된 신경망 알고리즘은 학습 초음파 영상과 상기 학습 초음파 영상의 학습 표적 입자에 대한 정보를 합성한 학습 데이터에 의해 학습될 수 있다.

도 1은 일 실시예에 따른 초음파 영상 생성 시스템을 나타내는 도면이다.
도 2는 도 1에 도시된 초음파 영상 생성 장치의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 신경망 알고리즘을 설명하기 위한 일 예를 나타낸다.
도 4는 도 2에 도시된 프로세서의 동작을 설명하기 위한 일 예를 나타낸다.
도 5는 일 실시예에 따른 표적 입자의 중심 위치를 설명하기 위한 일 예를 나타낸다.
도 6은 일 실시예에 따른 표적 입자의 중심 위치 추적 정확도 및 중심 위치 탐지율을 설명하기 위한 일 예를 나타낸다.
도 7은 일 실시예에 따른 분지 혈관 모델에 대한 초음파 영상을 설명하기 위한 일 예를 나타낸다.
도 8은 일 실시예에 따른 수화젤 분지 혈관 모델에 대한 초음파 영상 및 혈류 유동 정보를 설명하기 위한 일 예를 나타낸다.
도 9는 일 실시예에 따른 대복재 정맥의 발목 판막에 대한 초음파 영상 및 혈류 유동 정보를 설명하기 위한 일 예를 나타낸다.
도 10은 도 1에 도시된 초음파 영상 생성 장치의 동작을 설명하기 위한 도면을 나타낸다.
도 11은 도 1에 도시된 초음파 영상 생성 장치의 동작을 설명하기 위한 순서도를 나타낸다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.

다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.

이하, 실시예들은 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 초음파 영상 생성 시스템을 나타내는 도면이다.

초음파 영상 생성 시스템(10)은 초음파 영상 제공 장치(100) 및 초음파 영상 생성 장치(300)를 포함할 수 있다.

초음파 영상 제공 장치(100)는 혈관에 대한 초음파 영상을 초음파 영상 생성 장치(300)에 제공할 수 있다. 초음파 영상은 해상도가 좋지 못한 초음파 영상일 수 있다.

일 예로, 초음파 영상 제공 장치(100)는 혈관 부위를 실제 촬영하여 혈관에 대한 초음파 영상을 생성하는 촬영 장치일 수 있다.

다른 예로, 초음파 영상 제공 장치(100)는 다양한 혈관에 대한 초음파 영상을 보유한 의료 시설 및 의료 기관 등 의료와 관련된 다양한 단체의 전자 장치일 수 있다.

전자 장치는 다양한 혈관 초음파 영상을 저장한 데이터 베이스를 포함할 수 있다.

예를 들어, 전자 장치는 PC(personal computer), 데이터 서버, 또는 휴대용 전자 장치 등 다양한 장치일 수 있다. 휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)으로 구현될 수 있다. 이때, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.

초음파 영상 생성 장치(300)는 초음파 영상 제공 장치(100)로부터 전송된 혈관에 대한 초음파 영상을 초고해상도의 초음파 영상으로 생성(또는 변환)하고, 초고해상도 초음파 영상으로부터 혈관의 혈류 유동 정보를 생성하여 초고해상도 초음파 영상 및 혈류 유동 정보를 다양한 장치(예를 들어, 디스플레이 장치, 전자 장치 등)에 제공할 수 있다.

이에, 초음파 영상 생성 장치(300)는 초음파 조영제의 유무에 상관없이 주어진 측정 조건에 따라 표적 입자의 중심 위치를 빠르고 정확하게 추적하여 미세 혈관의 정확한 형상 및 다양한 임상 조건에서의 혈류 역학적 정보인 혈류 정보를 획득함으로써, 초고해상도로 혈관의 초음파 영상 및 혈관 내부 혈류의 유동 정보를 생성 및 제공할 수 있다.

또한, 초음파 영상 생성 장치(300)는 다양한 조건을 반영하여 의료 기관의 초음파 임상데이터를 초고해상도 초음파 영상 데이터로 영상 화질을 변환하여 화질 향상에 응용 가능하고, 실제 임상 조건에서도 활용(또는 적용) 가능할 수 있다.

또한, 초음파 영상 생성 장치(300)는 초음파 조영제에 대한 환자들의 거부감 없이 임상에서 폭넓게 활용 가능하고, 초음파 영상 기법과 딥러닝 기반의 학습 알고리즘 분야에서 융합 연구의 초석이 될 수 있고, 융합 역구의 초석이 됨으로써, 고부가가치의 의료 산업을 선도하는데 이바지할 수 있다.

도 1에 도시된 바와 같이 초음파 영상 제공 장치(100)와 초음파 영상 생성 장치(300)가 독립적으로 구별되게 도시되었지만, 이에 한정하는 것은 아니다. 예를 들어, 초음파 영상 제공 장치(100) 및 초음파 영상 생성 장치(300)는 하나의 장치로 통합될 수 있다.

도 2는 도 1에 도시된 초음파 영상 생성 장치의 개략적인 블록도를 나타낸다.

초음파 영상 생성 장치(300)는 통신 모듈(310), 메모리(330) 및 프로세서(350)를 포함한다.

통신 모듈(310)은 초음파 영상 제공 장치(100)로부터 전송된 초음파 영상을 프로세서(350)에 전송할 수 있다.

통신 모듈(310)은 프로세서(350)로부터 전송된 초고해상도 초음파 영상을 다양한 장치에 제공할 수 있다.

메모리(330)는 프로세서(350)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서(350)의 동작 및/또는 프로세서(350)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.

프로세서(350)는 메모리(330)에 저장된 데이터를 처리할 수 있다. 프로세서(350)는 메모리(330)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(350)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.

프로세서(350)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.

예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.

프로세서(350)는 초음파 영상 생성 장치(300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(350)는 초음파 영상 생성 장치(300)의 각 구성(310 및 330)의 동작을 제어할 수 있다.

프로세서(350)는 초음파 영상 제공 장치(100)로부터 전송된 혈관에 대한 초음파 영상을 획득할 수 있다.

프로세서(350)는 초음파 영상 및 기 학습된 신경망 알고리즘(370)에 기초하여 초음파 영상의 표적 입자가 반영된 초고해상도 초음파 영상을 생성할 수 있다. 표적 입자는 혈관 또는 도관에 포함된 미세 기포 및 적혈구 중에서 적어도 하나일 수 있다. 미세 기포는 초음파 조영제에 의한 미세 기포일 수 있다.

예를 들어, 프로세서(350)는 초음파 영상을 초고해상도 영상으로 생성(또는 변환)하기 위한 신경망 알고리즘(370)을 학습시킬 수 있다. 프로세서(350)는 기 학습된 신경망 알고리즘(370)에 초음파 영상을 입력 데이터로 입력하여 초음파 영상의 표적 입자가 반영된 초고해상도 초음파 영상을 생성할 수 있다.

또한, 프로세서(350)는 초고해상도 초음파 영상에 기초하여 초음파 영상에 대응하는 혈관에 대한 혈류 유동 정보를 생성할 수 있다. 혈류는 혈관 내부의 혈류(또는 혈액)일 수 있다.

도 3은 도 2에 도시된 신경망 알고리즘을 설명하기 위한 일 예를 나타낸다.

신경망 알고리즘(370)은 학습 초음파 영상과 학습 초음파 영상의 학습 표적 입자에 대한 정보를 합성한 학습 데이터에 의해 학습(또는 딥러닝(deep-learning))된 기 학습된 신경망 알고리즘일 수 있다. 신경망 알고리즘(370)은 U-net 아키텍처일 수 있다. U-net은 컨볼루션 뉴럴 네트워크(convolutional neural network)일 수 있다. 학습 초음파 영상은 신경망 알고리즘을 학습하기 위해 기 생성 및 저장된 다양한 혈관에 대한 초음파 영상일 수 있다. 학습 표적 입자는 학습 초음파 영상에 대응하는 혈관 또는 도관의 표적 입자로써, 미세 기포 및 적혈구일 수 있다.

학습 데이터는 미세 기포에 대한 제1 학습 데이터(710) 및 적혈구에 대한 제2 학습 데이터(730)를 포함할 수 있다.

제1 학습 데이터(710)는 미세 기포를 포함하는 혈관에 대한 제1 학습 초음파 영상과 제1 학습 초음파 영상의 미세 기포의 스페클 신호(또는 특징) 및 중심 위치가 합성된 데이터일 수 있다. 제1 학습 초음파 영상의 미세 기포의 스페클 신호는 제1 학습 초음파 영상의 미세 기포의 농도, 초음파 신호 세기 및 형태가 반영된 신호일 수 있다. 제1 학습 초음파 영상의 미세 기포의 중심 위치는 제1 학습 초음파 영상의 미세 기포의 농도, 초음파 신호 세기가 높고, 형태에서 가장 중심에 위치한 위치일 수 있다.

예를 들어, 제1 학습 데이터(710)는 제1 미세 기포 영상 및 제2 미세 기포 영상을 포함할 수 있다. 제1 미세 기포 영상은 제1 학습 초음파 영상에 제1 학습 초음파 영상의 미세 기포의 중심 위치를 반영한 제1 합성 초음파 영상일 수 있다. 제2 미세 기포 영상은 제1 학습 초음파 영상에 제1 학습 초음파 영상의 미세 기포의 스페클 신호를 반영한 제2 합성 초음파 영상일 수 있다.

제2 학습 데이터(730)는 적혈구를 포함하는 혈관에 대한 제2 학습 초음파 영상과 제2 학습 초음파 영상의 적혈구의 스페클 신호 및 중심 위치가 합성된 데이터일 수 있다. 제2 학습 초음파 영상의 적혈구의 스페클 신호는 제2 학습 초음파 영상의 적혈구의 농도, 초음파 신호 세기 및 형태가 반영된 신호일 수 있다. 제2 학습 초음파 영상의 적혈구의 중심 위치는 제2 학습 초음파 영상의 적혈구의 농도, 초음파 신호 세기가 높고, 형태에서 가장 중심에 위치한 위치일 수 있다.

예를 들어, 제2 학습 데이터(730)는 제1 적혈구 영상 및 제2 적혈구 영상을 포함할 수 있다. 제1 적혈구 영상은 제2 학습 초음파 영상에 제2 학습 초음파 영상의 적혈구의 중심 위치를 반영한 제3 합성 초음파 영상일 수 있다. 제2 적혈구 영상은 제2 학습 초음파 영상에 제2 학습 초음파 영상의 적혈구의 스페클 신호를 반영한 제4 합성 초음파 영상일 수 있다.

제1 미세 기포 영상 및 제1 적혈구 영상은 학습 초음파 영상을 검은색으로 변환하고, 변환된 학습 초음파 영상에 최소 픽셀 크기로 학습 표적 입자를 하얀색 점으로 표시한 이진 영상(또는 binary 영상)일 수 있다.

상술한 바와 같이, 학습 초음파 영상이 검은색이고, 학습 표적 입자가 하얀색이지만, 이에 한정하는 것은 아니다. 예를 들어, 학습 초음파 영상 및 학습 표적 입자는 서로 구분되는 색으로 변환 및 표시될 수 있다.

제2 미세 기포 영상 및 제2 적혈구 영상은 이진 영상의 학습 표적 입자의 중심 위치에 학습 표적 입자의 스페클 신호 및 가우시안 노이즈(gaussian noise)가 반영된 영상일 수 있다. 학습 표적 입자의 스페클 신호는 학습 표적 입자의 농도, 초음파 신호 세기 및 형태에 따른 신호일 수 있다.

즉, 신경망 알고리즘(370)은 제1 및 제2 합성 초음파 영상이 쌍으로 구성된 미세 기포에 대한 제1 학습 데이터 및 제3 및 제4 합성 초음파 영상이 쌍으로 구성된 적혈구에 대한 제2 학습 데이터에 의해 학습되는 U-net 아키텍처일 수 있다. 신경망 알고리즘(370)은 정확도 향상 경향을 확인하여 높은 정확도를 획득할 때까지 학습량이 조절되어 학습될 수 있다.

도 4는 도 2에 도시된 프로세서의 동작을 설명하기 위한 일 예를 나타낸다.

프로세서(350)는 기 학습된 신경망 알고리즘(370)을 활용하여 초음파 영상을 초고해상도 초음파 영상으로 생성(또는 변환)할 수 있다. 기 학습된 신경망 알고리즘은 딥러닝을 이용한 초고해상도 초음파 영상 기법(DL-SRU)일 수 있다.

먼저, 프로세서(350)는 기 학습된 신경망 알고리즘(370)을 이용하여 초음파 영상에서 초음파 영상의 표적 입자를 추적할 수 있다.

예를 들어, 프로세서(350)는 기 학습된 신경망 알고리즘(370)에 혈관에 대한 복수의 초음파 영상들을 입력하여 복수의 초음파 영상들 각각의 표적 입자를 추적(또는 탐지)할 수 있다. 표적 입자는 초음파 영상을 초고해상도 초음파 영상으로 변환(또는 생성)하기 위해 초음파 영상에서 추적해야 하는 추적 입자일 수 있다.

이후에, 프로세서(350)는 표적 입자를 분석하여 표적 입자의 전체 영역에서 표적 입자의 중심 위치를 추출할 수 있다. 표적 입자의 중심 위치는 초음파 영상에 포함된 표적 입자의 전체 영역에서 표적 입자의 농도 및/또는 초음파 신호 세기가 가장 크고(또는 크거나, 높고, 높거나), 표적 입자의 형태에서 가장 중심에 위치한 중앙 영역일 수 있다. 표적 입자의 농도는 단위 면적당 관찰되는 표적 입자의 개수를 의미할 수 있다. 표적 입자의 초음파 신호 세기는 이미지 처리를 통해 각 픽셀에서의 값들이 계산된 세기 분포를 의미할 수 있다.

예를 들어, 프로세서(350)는 복수의 초음파 영상들 각각의 표적 입자의 스페클 신호(speckle signal)에서 표적 입자의 중심 위치를 정확하게 추적하여 추출할(또는 뽑아낼) 수 있다. 스페클 신호는 표적 입자의 농도, 신호 세기 및 형태에 따른 고유한 음향학적 특성이 반영된 신호일 수 있다. 스페클 신호는 타원 형태의 반점성 신호(granular signal)일 수 있다. 적혈구에 대한 스페클 신호는 적혈구에 의해 산란된 음파들의 간섭에 따른 신호일 수 있다. 미세 기포에 대한 스페클 신호는 미세 기포에 의해 산란된 음파들의 간섭에 따른 신호일 수 있다.

마지막으로, 프로세서(350)는 초음파 영상에 표적 입자의 중심 위치를 반영하여 초고해상도 초음파 영상을 생성할 수 있다.

예를 들어, 프로세서(350)는 복수의 초음파 영상들에 복수의 초음파 영상들 각각의 표적 입자의 중심 위치를 반영한 뒤, 표적 입자의 중심 위치가 반영된 복수의 초음파 영상들을 중첩하여 초고해상도 초음파 영상을 생성할 수 있다.

또한, 프로세서(350)는 초고해상도 초음파 영상의 혈류 흐름(또는 혈액 흐름)에 대한 혈류 유동 정보를 획득할 수 있다.

예를 들어, 프로세서(350)는 초고해상도 초음파 영상의 표적 입자의 중심 위치에 입자 추적 속도 측정법을 적용하여 혈관의 내부 혈류 흐름에 대한 속도장 정보를 생성할 수 있다. 입자 추적 속도 측정법은 PTV(particle tracking velocimetry) 알고리즘으로, 표적 입자를 추적하면서 표적 입자의 속도 정보를 획득하는 알고리즘일 수 있다.

프로세서(350)는 속도장 정보에 기초하여 혈관에 대한 혈류 유동 정보를 생성할 수 있다. 혈류 유동 정보는 각 혈관 영역에서의 혈액에 의한 속도 벡터(예를 들어, 방향 및 크기), 압력 분포 및 혈관 벽에서의 벽전단응력(wall shear stress)를 포함할 수 있다.

도 5는 일 실시예에 따른 표적 입자의 중심 위치를 설명하기 위한 일 예를 나타낸다.

도 5의 A 및 B는 미세 기포에 대한 초음파 영상에 기존 ULM 기법 및 DL-SRU를 적용하여 추적된 미세 기포의 중심 위치와 실제 미세 기포의 중심 위치를 나타낸다. 이때, DL-SRU는 제1 합성 초음파 영상 및 제2 합성 초음파 영상이 쌍으로 구성된 미세 기포에 대한 학습 데이터로 학습된 신경망 알고리즘일 수 있다.

A 및 B의 기존 ULM 기법과 DL-SRU를 비교하면, A 및 B의 DL-SRU은 겹쳐진 미세 기포들의 초음파 영상에서도 기존 ULM 기법 보다 정확하게 미세 기포의 중심 위치를 추적(또는 측정, 탐지)한다.

도 5의 C는 적혈구에 대한 초음파 영상에 기존 ULM 기법 및 DL-SRU를 적용하여 추적된 적혈구의 중심 위치와 실제 적혈구의 중심 위치를 나타낸다. 이때, DL-SRU는 제3 합성 초음파 영상 및 제4 합성 초음파 영상이 쌍으로 구성된 적혈구에 대한 학습 데이터로 학습된 신경망 알고리즘일 수 있다.

C의 기존 ULM 기법과 DL-SRU를 비교하면, C의 DL-SRU는 실제 초음파 영상에서 적혈구의 스페클 신호가 약하더라도 기존 ULM 기법 보다 정확하게 적혈구의 중심 위치를 추적(또는 측정, 탐지)한다. 기존 ULM 기법은 실제 초음파 영상에서 적혈구의 스페클 신호가 약하기에, 적혈구의 중심 위치를 정확하게 추적할 수 없다.

즉, DL-SRU는 기존의 ULM 기법보다 표적 입자의 중심 위치를 추적하는 중심 위치 추적 성능이 우수하다.

도 6은 일 실시예에 따른 표적 입자의 중심 위치 추적 정확도 및 중심 위치 탐지율을 설명하기 위한 일 예를 나타낸다.

도 6의 A는 실험관(in vitro) 조건에서 초음파 영상의 표적 입자의 중심 위치가 얼마나 정확하게 추적(또는 측정)되는 지를 나타내는 DL-SRU의 표적 입자의 중심 위치 추적 정확도를 나타낸다.

도 6의 B는 실험관(in vitro) 조건에서 초음파 영상의 표적 입자가 얼마나 정확하게 탐지(또는 추적)되는 지를 나타내는 DL-SRU의 표적 입자 탐지율을 나타낸다.

도 6의 A 및 B의 DL-SRU는 학습 표적 입자의 농도를 변화시키면서 학습되었다. 학습 표적 입자의 농도가 높아지더라도 DL-SRU의 중심 위치 추적 정확도와 표적 입자 탐지율은 높게 나타났다.

DL-SRU에 의한 실험 결과와 선행 연구 결과가 유사하므로, 도 6의 DL-SRU의 성능은 선행 연구의 성능과 유사하다.

도 7은 일 실시예에 따른 분지 혈관 모델에 대한 초음파 영상을 설명하기 위한 일 예를 나타낸다.

도 7의 A는 컴퓨터 가상 실험(또는 컴퓨터 시뮬레이션, in silico)에서 획득된 분지 혈관 모델을 나타낸다.

도 7의 B는 분지 혈관 모델에 대한 초음파 신호의 평균 영상을 나타낸다.

도 7의 C는 분지 혈관 모델의 초음파 영상을 기존의 ULM 기법으로 재구성한 초음파 영상을 나타낸다.

도 7의 D는 분지 혈관 모델의 초음파 영상을 DL-SRU로 재구성한 초고해상도 초음파 영상을 나타낸다.

도 7의 초고해상도 초음파 영상은 분지 혈관 모델을 지나는 표적 입자의 시뮬레이션 결과를 초음파 영상으로 획득하고, 획득한 초음파 영상을 DL-SRU에 입력 데이터로 사용하여 생성될 수 있다. 이때, 초고해상도 초음파 영상은 5,000장의 초음파 영상에서 50,000개 이상의 표적 입자의 중심 위치를 찾아내어 혈관 구조를 구성한 초음파 영상일 수 있다.

도 7의 E, F 및 G는 B, C 및 D의 일부를 확대한 영상의 공간 해상도를 나타낸다.

도 7의 H 및 I는 B, C 및 D에 표시된 점선 H-H’, I-I’에 따른 신호의 강도를 그래프로 표현하여 분석한 결과를 나타낸다.

도 7의 B, C 및 D를 비교하면, D는 기존의 영상 기법으로 생성된 B 및 C 보다 혈관 초음파 영상의 해상도가 높다. 예를 들어, 초음파 영상의 해상도는 B, C, D, E, F, G에서 두 갈래와 세 갈래로 나누어진 분지 부분의 점선 H-H’, I-I’를 따라 각각 실험 기법의 공간해상도를 비교하여 판단할 수 있다.

도 8은 일 실시예에 따른 수화젤 분지 혈관 모델에 대한 초음파 영상 및 혈류 유동 정보를 설명하기 위한 일 예를 나타낸다.

도 8의 A는 실험관(in vitro) 조건에서 분지 혈과 모델을 수화젤로 제작한 수화젤 분지 혈관 모델의 초음파 영상을 나타낸다. 이때, 초음파 영상은 초음파 조영제의 미세 기포에 대한 초음파 영상일 수 있다.

도 8의 B는 수화젤 분지 혈관 모델에 대한 초음파 신호의 평균 영상을 나타낸다.

도 8의 C는 수화젤 분지 혈관 모델의 초음파 영상을 기존의 ULM 기법으로 재구성한 초음파 영상을 나타낸다.

도 8의 D는 수화젤 분지 혈관 모델의 초음파 영상을 DL-SRU로 재구성한 초고해상도 초음파 영상을 나타낸다.

도 8의 초고해상도 초음파 영상은 수화젤 혈관 모델을 지나는 표적 입자의 실험 결과를 초음파 영상으로 획득하고, 획득한 초음파 영상을 DL-SRU에 입력 데이터로 사용하여 생성될 수 있다. 이때, 초고해상도 초음파 영상은 798장의 초음파 영상에서 85,000개 이상의 표적 입자의 중심 위치를 찾아내어 혈관 구조를 구성한 초음파 영상일 수 있다.

도 8의 E는 B, C 및 D에 표시된 점선 E-E’를 따라 변환하는 신호의 강도를 그래프로 표현한 결과를 나타낸다.

도 8의 F는 DL-SRU로 재구성한 초고해상도 초음파 영상의 표적 입자의 중심 위치에 입자 추적 속도 측정법(particle tracking velocimetry; PTV)을 적용하여 생성한(또는 측정한) 혈관 모델 내부 흐름의 속도장 정보에 기반한 혈류 유동 정보를 나타낸다.

도 8의 B, C 및 D를 비교하면, D는 기존의 영상 기법으로 생성된 B 및 C 보다 혈관 모델 벽면에서 잡음이 덜 발생하고, B 및 C 보다 혈관 초음파 영상의 해상도가 높다. 예를 들어, 초음파 영상의 해상도는 B, C, D에서 점선 E-E’를 따라 각각 실험 기법의 공간해상도를 비교하여 판단할 수 있다.

도 9는 일 실시예에 따른 대복재 정맥의 발목 판막에 대한 초음파 영상 및 혈류 유동 정보를 설명하기 위한 일 예를 나타낸다.

도 9의 A는 생체내(in vivo) 사람의 하지 대복재 정맥(great saphenous vein)의 발목 판막 부근에서 획득한 혈관의 초음파 영상을 나타낸다. 이때, 초음파 영상은 초음파 조영제를 주입하지 않은, 적혈구에 대한 초음파 영상일 수 있다.

도 9의 B는 대복재 정맥의 발목 판막 부근의 혈관의 초음파 영상을 기존의 ULM 기법으로 재구성한 초음파 영상 및 표적 입자의 중심 위치를 나타낸다.

도 9의 C는 대복재 정맥의 발목 판막 부근의 혈관의 초음파 영상을 DL-SRU로 재구성한 초고해상도 초음파 영상 및 표적 입자의 중심 위치를 나타낸다.

도 9의 DL-SRU는 사람의 하지 대복재 정맥의 발목 판막 부근의 혈관에서 초음파 조영제를 주입하지 않고, 적혈구에 대한 초음파 영상으로 학습된 신경망 알고리즘일 수 있다. 예를 들어, DL-SRU는 적혈구의 스페클 신호 특성들을 분석하여 생성된 적혈구에 대한 합성 초음파 영상에 의해 학습될 수 있다.

도 9의 초고해상도 초음파 영상은 대복재 정맥의 발목 판막 부근의 혈관을 지나는 표적 입자의 실험 결과를 초음파 영상으로 획득하고, 획득한 초음파 영상을 상술한 바와 같이 학습된 DL-SRU에 입력 데이터로 사용하여 생성될 수 있다.

도 9의 D1, D2 및 D3는 B 및 C에 표시된 1, 2 및 3 위치를 확대한 영상의 표적 입자의 중심 위치 측정 정확도를 나타낸다.

도 9의 E는 DL-SRU로 재구성한 초고해상도 초음파 영상의 표적 입자의 중심 위치에 입자 추적 속도 측정법(particle tracking velocimetry; PTV)을 적용하여 생성된 혈관 벽면 부근의 정확한 혈류 유동 정보를 나타낸다.

도 9의 F는 E에 표시된 f를 확대한 영상을 나타낸다.

도 9의 D1, D2 및 D3을 비교하면, C는 적혈구의 스페클 신호의 다양한 형상, 낮은 세기 및 겹침 조건에서도 혈관의 위치와 상관없이 적혈구의 중심 위치를 정확하게 찾아낼 수 있다.

도 10은 도 1에 도시된 초음파 영상 생성 장치의 동작을 설명하기 위한 도면을 나타내고, 도 11은 도 1에 도시된 초음파 영상 생성 장치의 동작을 설명하기 위한 순서도를 나타낸다.

프로세서(350)는 미세 기포에 대한 제1 학습 데이터 및 적혈구에 대한 제2 학습 데이터에 기초하여 신경망 알고리즘(370)을 학습할 수 있다(1110).

프로세서(350)는 초음파 영상 제공 장치(100)로부터 전송된 초음파 영상을 획득할 수 있다(1130).

프로세서(350)는 기 학습된 신경망 알고리즘(370)에 초음파 영상을 입력 데이터로 입력하여 초음파 영상의 표적 입자가 반영된 초고해상도 초음파 영상 및 혈류 유동 정보를 생성할 수 있다(1150).

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (8)

1. 혈관에 대한 초음파 영상을 획득하는 단계;
   기 학습된 신경망 알고리즘에 기초하여 상기 초음파 영상의 표적 입자가 반영된 초고해상도 초음파 영상을 생성하는 단계;
   상기 초고해상도 초음파 영상에 기초하여 상기 표적 입자의 중심 위치에 입자 추적 속도 측정법을 적용하여 상기 혈관의 내부 혈류 흐름에 대한 속도장 정보를 생성하는 단계; 및
   상기 속도장 정보에 기초하여 상기 혈류에 대한 유동 정보를 생성하는 단계
   를 포함하고,
   상기 기 학습된 신경망 알고리즘은 학습 초음파 영상과 상기 학습 초음파 영상의 학습 표적 입자에 대한 정보를 합성한 학습 데이터에 의해 학습된 초음파 영상 생성 방법.
   
2. 제1항에 있어서,
   상기 표적 입자 및 상기 학습 표적 입자는 상기 혈관 또는 도관에 포함된 미세 기포 및 적혈구 중에서 적어도 하나인 초음파 영상 생성 방법.
   
3. 제1항에 있어서,
   상기 학습 데이터는,
   미세 기포에 대한 제1 학습 데이터; 및
   적혈구에 대한 제2 학습 데이터
   를 포함하는 초음파 영상 생성 방법.
   
4. 제3항에 있어서,
   상기 제1 학습 데이터는 상기 미세 기포를 포함하는 혈관에 대한 제1 학습 초음파 영상과 상기 미세 기포의 스페클 신호 및 중심 위치가 합성된 데이터이고,
   상기 제2 학습 데이터는 상기 적혈구를 포함하는 혈관에 대한 제2 학습 초음파 영상과 상기 적혈구의 스페클 신호 및 중심 위치가 합성된 데이터인 초음파 영상 생성 방법.
   
5. 제1항에 있어서,
   상기 생성하는 단계는,
   상기 기 학습된 신경망 알고리즘을 이용하여 상기 표적 입자의 중심 위치를 추출하는 단계; 및
   상기 초음파 영상에 상기 표적 입자의 중심 위치를 반영하여 상기 초고해상도 초음파 영상을 생성하는 단계를 포함하는 초음파 영상 생성 방법.
   
6. 삭제
7. 통신 모듈; 및
   혈관에 대한 초음파 영상을 획득하고, 기 학습된 신경망 알고리즘에 기초하여 상기 초음파 영상의 표적 입자가 반영된 초고해상도 초음파 영상을 생성하고, 상기 초고해상도 초음파 영상에 기초하여 상기 표적 입자의 중심 위치에 입자 추적 속도 측정법을 적용하여 상기 혈관의 내부 혈류 흐름에 대한 속도장 정보를 생성하고, 상기 속도장 정보에 기초하여 상기 혈류에 대한 유동 정보를 생성하는 프로세서
   를 포함하고,
   상기 기 학습된 신경망 알고리즘은 학습 초음파 영상과 상기 학습 초음파 영상의 학습 표적 입자에 대한 정보를 합성한 학습 데이터에 의해 학습된 초음파 영상 생성 장치.
   
8. 제7항에 있어서,
   상기 프로세서는,
   제2항 내지 제5항의 어느 한 항에 따른 초음파 영상 생성 방법을 수행하는 초음파 영상 생성 장치.

Images