WO2015016403A1 - 융합 영상을 획득하는 장치 및 방법 - Google Patents

융합 영상을 획득하는 장치 및 방법 Download PDF

Info

Publication number
WO2015016403A1
WO2015016403A1 PCT/KR2013/006943 KR2013006943W WO2015016403A1 WO 2015016403 A1 WO2015016403 A1 WO 2015016403A1 KR 2013006943 W KR2013006943 W KR 2013006943W WO 2015016403 A1 WO2015016403 A1 WO 2015016403A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
signal
detector
generated
photoacoustic
Prior art date
Application number
PCT/KR2013/006943
Other languages
English (en)
French (fr)
Inventor
장진호
송태경
유양모
강지운
윌슨브라이언
김강
한승희
Original Assignee
서강대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교 산학협력단 filed Critical 서강대학교 산학협력단
Priority to EP13890324.0A priority Critical patent/EP3015068A4/en
Priority to CN201380078630.4A priority patent/CN105431091A/zh
Priority to PCT/KR2013/006943 priority patent/WO2015016403A1/ko
Priority to KR1020157034474A priority patent/KR20160013893A/ko
Priority to US14/909,388 priority patent/US20160192840A1/en
Publication of WO2015016403A1 publication Critical patent/WO2015016403A1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission

Definitions

  • FIG. 8 is a flowchart illustrating a medical treatment method using a fixed probe according to another embodiment of the present invention.
  • a PAUS image obtained through a probe structure is provided, and when a user presses an FL button, the image is switched to the FL image display mode and the fluorescent light is applied to the WL image.
  • An image in which the image is fused may be provided to the user.
  • one depth of the N depth images generated along the longitudinal axis is stacked to generate one 3D PAUS image. Then, after the generated PAUS image is optimized, the PAUS image and the FL image are mapped to be displayed on one display device. The user may reconstruct the displayed image by adjusting and resetting image parameters as needed.
  • the drug delivery and its effects can be quantitatively determined in response to light in the preclinical stage, and thus, the quantitative evaluation of drug efficacy can be enabled, and in the clinical stage, A more quantitative understanding of the optical properties between tissues with clinical significance enables early diagnosis and accurate staging of the disease, which can help in planning and treating the disease.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 융합 영상을 획득하는 장치 및 방법에 관한 것으로서, 초음파 영상을 위한 초음파 신호, 광음향 영상 및 형광 영상을 위한 광 신호를 대상에 인가하고, 대상으로부터 초음파 신호, 광음향 신호 및 광 신호를 수신하며, 수신된 초음파 신호, 광음향 신호 및 광 신호 중 적어도 둘 이상의 신호를 이용하여 대상에 대한 탐지 면을 달리하는 영상 정보를 포함하는 융합 영상을 생성한다.

Description

융합 영상을 획득하는 장치 및 방법
본 발명은 진단, 분석 또는 치료를 위한 의료 영상 기술에 관한 것으로, 특히 다양한 의료 영상 기술에 기초하여 동시에 병리학적, 해부학적 정보를 제공할 수 있는 융합 영상을 획득하는 프로브 구조, 영상화 장치 및 영상화 방법에 관한 것이다.
초음파(ultrasound, US) 영상은 초음파 프로브(probe)를 이용하여 인체 내의 관찰 영역에 초음파 신호를 인가하고 조직으로부터 반사되어 돌아오는 초음파 신호를 수신하여 그 신호에 포함된 정보를 추출함으로써 관찰 영역의 구조 및 특성을 영상화하는 장비이다. 이는 X-ray, CT, MRI, PET 등의 다른 의료영상 시스템들과 비교하였을 때 낮은 비용으로 인체에 해가 없는 실시간 영상을 얻을 수 있다는 장점을 갖는다.
광음향(photoacoustic, PA) 영상은 인체 내의 관찰 영역에 광자를 인가하고, 조직에 흡수된 광자들에 의해 직접 발생하는 초음파 신호를 수신하여 그 신호로부터 영상 정보를 추출한다. 광자들이 조직 내에 흡수되어 초음파가 발생하는 이러한 특이한 상황은 조직이 광자들을 흡수할 때 가열되기 때문이 나타나는 현상으로서, 펄스 레이저로 흡수성 조직 구조를 비추면, 조직의 온도가 바뀌고, 그 결과로서 조직의 구조가 팽창한다. 이렇게 팽창하는 구조로부터 압력파가 밖으로 전파되며, 이러한 압력파는 초음파 변환기(transducer)에 의해 검출될 수 있다. 광음향 영상의 장점은 광흡수 대조비를 토대로 하는 영상을 얻을 수 있으면서도 초음파 정도의 분해능을 얻을 수 있다는 점에 있으며, MRI에 비해 매우 저렴할 뿐만 아니라, 환자들이 전리방사선에 노출될 위험이 없다는 점이다.
형광(fluorescent, FL) 영상은 형광 단백질 유전자가 발현된 세포나 박테리아 등을 생체에 표지 또는 투입하고 특정 파장의 광원으로 조사하게 되면, 생체 내의 세포, 조직, 또는 생체의 형광 물질이 외부에서 조사하는 빛을 흡수하고 여기(excitation)되어 특정 파장의 빛을 방출할 때 이를 감지하여 영상화하는 원리를 이용한 것이다. 형광 영상 획득에 필요한 형광 단백질 유전자는 GFP(Green Fluorescene Protein), RFP(Red Fluorescene Protein), BFP(Blue Fluorescene Protein) 및 YEP(Yellow Fluorescene Protein) 또는 GFP나 GFP의 변종인 EGFP(Enhanced GFP)가 널리 사용되고 있으며, 점차 다양하고 더 밝기가 센 형광 단백질 유전자들이 개발되고 있는 추세이다. 이러한, 형광 영상은 주로 CCD(Charged Coupled Device) 카메라를 이용하여 영상을 획득하므로, 신속하게 형광 영상을 획득할 수 있으며, 실험쥐와 같은 동물을 희생시키지 않는 장점을 갖는다.
이상과 같은 의료용 진단 영상은 각각 관측하고자 하는 영역과 그 특징이 상이하므로, 하나의 관찰 영역에 대해서도 목적과 상황에 따라 다른 적용이 필요할 뿐만 아니라, 보다 정확한 진단과 많은 정보를 얻기 위해 이들 영상 기법들이 동시에 활용될 필요가 있다. 현재, 실험 또는 연구를 위해 하나의 병변 부위에 대해 각기 다른 영상화 수단을 활용하여 획득된 영상을 순차적으로 비교 검토하는 수준의 일회성 검토 방법들은 보고되고 있으나, 임상에서의 활용을 위해 동시 다발적으로 영상 정보를 동시에 획득할 수 있는 기술적 수단은 제시된 바가 없다.
본 발명의 실시예들이 해결하고자 하는 기술적 과제는, 종래의 의료용 영상 장치들이 진단/의료 현장에서 개별적으로 활용되는 한계를 극복하고, 하나의 병변 부위를 동시에 다각적으로 관찰할 수 있는 기술적 수단이 존재하지 않아 관찰하고자 하는 대상 및 목적에 따라 관찰 부위에 대한 의료 영상을 산발적으로 획득한 후, 전문가에 의해 각각의 영상이 해석되어야만 하는 불편함을 해소하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 획득 장치는, 초음파(ultrasound, US) 영상을 위한 초음파 신호를 대상에 인가하는 음향 소스부; 광음향(photoacoustic, PA) 영상 및 형광(fluorescent, FL) 영상을 위한 광 신호를 상기 대상에 인가하는 광 소스부; 상기 대상으로부터 상기 음향 소스부에 의해 발생한 초음파 신호 또는 상기 광 소스부에 의해 발생한 광음향 신호를 수신하는 음향 탐지부; 상기 대상으로부터 상기 광 소스부에 의해 발생한 광 신호를 수신하는 광 탐지부; 및 수신된 상기 초음파 신호, 상기 광음향 신호 및 상기 광 신호 중 적어도 둘 이상의 신호를 이용하여 상기 대상에 대한 탐지 면(probing plane)을 달리하는 영상 정보를 포함하는 융합 영상을 생성하는 영상 생성부;를 포함한다.
일 실시예에 따른 상기 영상 획득 장치에서, 상기 영상 생성부는, 수신된 상기 초음파 신호 또는 상기 광음향 신호로부터 상기 대상에 대한 깊이 영상을 생성하고, 수신된 상기 광 신호로부터 상기 대상에 대한 평면 영상을 생성하며, 생성된 상기 깊이 영상 및 상기 평면 영상을 사상(mapping)시켜 하나의 융합 영상을 생성한다.
일 실시예에 따른 상기 영상 획득 장치에서, 상기 영상 생성부는, 상기 탐지 면을 달리하는 영상들 각각으로부터 특징점을 결정하고, 결정된 상기 특징점을 사상시킴으로써, 상기 영상들 간의 관계를 시각적으로 정합시켜 표시한 영상을 생성할 수 있다.
일 실시예에 따른 상기 영상 획득 장치에서, 상기 음향 탐지부는 상기 대상에 인접하여 위치하며, 상기 광 탐지부는 상기 음향 탐지부에 비해 상기 대상으로부터 상대적으로 먼 거리에 위치하도록 설치될 수 있다.
일 실시예에 따른 상기 영상 획득 장치에서, 상기 음향 탐지부 및 상기 광 탐지부는 서로 다른 축(axis)을 따라 설치됨으로써 상호 신호 간섭을 방지할 수 있다.
일 실시예에 따른 상기 영상 획득 장치에서, 상기 음향 탐지부 및 상기 광 탐지부의 동작을 상호 전환하는 스위치(switch);를 더 포함하되, 사용자의 스위치 조작에 따라 각각의 탐지부를 통해 대응하는 신호를 수신할 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 영상 획득 장치는, 초음파 영상을 위한 초음파 신호를 대상에 인가하는 음향 소스부; 광음향 영상 및 형광 영상을 위한 광 신호를 상기 대상에 인가하는 광 소스부; 상기 대상으로부터 상기 음향 소스부에 의해 발생한 초음파 신호 또는 상기 광 소스부에 의해 발생한 광음향 신호를 수신하는 음향 탐지부; 상기 대상으로부터 상기 광 소스부에 의해 발생한 광 신호를 수신하는 광 탐지부; 상기 음향 탐지부 및 상기 광 탐지부의 물리적인 위치를 조절하는 위치 제어부; 및 상기 조절된 위치에 따라 수신된 상기 초음파 신호, 상기 광음향 신호 및 상기 광 신호 중 적어도 둘 이상의 신호를 이용하여 상기 대상에 대한 탐지 면을 달리하는 영상 정보를 포함하는 융합 영상을 생성하는 영상 생성부;를 포함한다.
다른 실시예에 따른 상기 영상 획득 장치에서, 상기 영상 생성부는, 상기 위치 제어부의 제어에 따라 상기 음향 탐지부를 상기 대상의 표면을 따라 이동시킴으로써 수신된 상기 초음파 신호 또는 상기 광음향 신호로부터 상기 대상에 대한 깊이 영상을 적층함으로써 입체 영상을 생성하고, 상기 위치 제어부의 제어에 따라 상기 광 탐지부의 위치를 고정하여 상기 대상에 대한 평면 영상을 생성하며, 상기 조절된 위치를 고려하여 생성된 상기 입체 영상 및 상기 평면 영상을 사상시켜 하나의 융합 영상을 생성한다.
다른 실시예에 따른 상기 영상 획득 장치에서, 상기 위치 제어부는, 상기 광 탐지부를 중심으로 상기 음향 탐지부를 상기 대상의 표면을 따라 종 방향으로 이동시킴으로써, 상기 광 탐지부에 의한 평면 영상에 대응하여 연속적인 깊이 영상 생성을 유도한다.
다른 실시예에 따른 상기 영상 획득 장치에서, 상기 음향 탐지부는 상기 대상에 인접하여 위치하고, 상기 광 탐지부는 상기 음향 탐지부에 비해 상기 대상으로부터 상대적으로 먼 거리에 위치하도록 설치되며, 상기 음향 탐지부는 상기 위치 제어부의 제어에 따라 위치를 달리하며 상기 대상으로부터 음향 신호를 수신할 수 있다.
다른 실시예에 따른 상기 영상 획득 장치에서, 상기 대상에 인접하며, 광 신호 및 음향 신호에 대해 투과성을 갖는(optical/acoustical transparent) 전단부(front);를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 획득 방법은, 초음파 영상을 위한 초음파 신호 또는 광음향 영상을 위한 광 신호를 상기 대상에 인가하고, 상기 대상으로부터 인가된 신호에 대응하여 초음파 신호 또는 광음향 신호를 수신하는 단계; 형광 영상을 위한 광 신호를 상기 대상에 인가하고, 상기 대상으로부터 광 신호를 수신하는 단계; 및 수신된 상기 초음파 신호, 상기 광음향 신호 및 상기 광 신호 중 적어도 둘 이상의 신호를 이용하여 상기 대상에 대한 탐지 면을 달리하는 영상 정보를 포함하는 융합 영상을 생성하는 단계;를 포함하되, 상기 융합 영상은, 수신된 상기 초음파 신호 또는 상기 광음향 신호로부터 생성된 깊이 영상, 수신된 상기 광 신호로부터 생성된 평면 영상 및 상기 깊이 영상과 상기 평면 영상 간의 사상 정보를 포함한다.
일 실시예에 따른 상기 영상 획득 방법에서, 생성된 상기 융합 영상을 디스플레이 수단에 표시하는 단계;를 더 포함하되, 상기 융합 영상에 포함된 상기 깊이 영상 및 상기 평면 영상을 사용자의 조작에 따라 상호 전환하여 동시에 또는 순차적으로 표시할 수 있다.
일 실시예에 따른 상기 영상 획득 방법에서, 상기 형광 영상을 위한 탐지 수단을 중심으로, 상기 초음파 신호 또는 광음향 신호의 수신을 위한 탐지 수단을 상기 대상의 표면을 따라 종 방향으로 이동시킴으로써, 상기 평면 영상에 대응하여 상기 깊이 영상을 연속적으로 적층함으로써 입체 영상을 생성하는 단계;를 더 포함하되, 상기 융합 영상을 생성하는 단계는, 상기 조절된 위치를 고려하여 생성된 상기 입체 영상 및 상기 평면 영상을 사상시켜 하나의 융합 영상을 생성할 수 있다.
일 실시예에 따른 상기 영상 획득 방법에서, 상기 탐지 면을 달리하는 영상들 각각으로부터 특징점을 결정하고, 결정된 상기 특징점을 사상시키는 단계;를 더 포함하되, 상기 융합 영상을 생성하는 단계는, 상기 영상들 간의 관계를 시각적으로 정합시켜 표시한 영상을 생성할 수 있다.
일 실시예에 따른 상기 영상 획득 방법에서, 상기 초음파 영상, 상기 광음향 영상 및 상기 형광 영상을 각각 동시에 디스플레이 수단에 표시하는 단계; 및 사용자에 의해 선택된 적어도 두 개의 영상을 중첩시킨(overlay) 영상을 생성하여 상기 디스플레이 수단에 표시하는 단계;를 더 포함할 수 있다.
일 실시예에 따른 상기 영상 획득 방법에서, 영상의 위치, 영상에 대한 파라미터(parameter) 또는 투명도의 조절값을 사용자로부터 입력받는 단계; 및 입력된 상기 조절값에 따라 변경된 영상을 생성하여 디스플레이 수단에 표시하는 단계;를 더 포함할 수 있다.
본 발명의 실시예들은 초음파 영상, 광음향 영상 및 형광 영상과 같은 다양한 관점의 의료용 영상 기술들을 동시에 활용할 수 있으며, 관찰 대상에 대한 탐지 면(probing plane)을 달리하는 평면 영상 정보 및 깊이 영상 정보에 기초한 융합 영상을 생성함으로써 하나의 관찰 영역에 대한 병리학적 정보, 해부학적 정보 및 기능적 정보를 다각적으로 제공할 수 있을뿐만 아니라, 의료 현장에서 간단한 사용자 조작에 의해 융합 영상을 생성할 수 있는 프로브 구조체를 제공함으로써 보다 용이한 영상 해석을 가능하게 한다.
도 1은 본 발명의 실시예들이 채택하고 있는 영상 획득 장치의 기본 구조를 도시한 블록도이다.
도 2는 본 발명의 실시예들이 채택하고 있는 두 가지 프로브(probe)들의 구조적 특징을 설명하기 위한 도면이다.
도 3a 내지 도 3d는 본 발명의 실시예들에 따른 영상 획득 장치에서 활용될 수 있는 다양한 프로브 구조체를 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 획득 장치가 구비된 융합 영상 진단 시스템을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 융합 영상을 획득하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 영상 전환 스위치를 활용한 진료 방법을 예시한 흐름도이다.
도 7은 도 6의 진료 방법에 따라 획득된 영상을 디스플레이 장치에 표시하는 방법을 예시한 도면이다.
도 8은 본 발명의 다른 실시예에 따라 고정식 프로브를 활용한 진료 방법을 예시한 흐름도이다.
도 9는 도 8의 진료 방법에서 따라 획득된 영상을 디스플레이 장치에 표시하는 방법을 예시한 도면이다.
본 발명의 일 실시예로서, 초음파(ultrasound, US) 영상을 위한 초음파 신호를 대상에 인가하는 음향 소스부; 광음향(photoacoustic, PA) 영상 및 형광(fluorescent, FL) 영상을 위한 광 신호를 상기 대상에 인가하는 광 소스부; 상기 대상으로부터 상기 음향 소스부에 의해 발생한 초음파 신호 또는 상기 광 소스부에 의해 발생한 광음향 신호를 수신하는 음향 탐지부; 상기 대상으로부터 상기 광 소스부에 의해 발생한 광 신호를 수신하는 광 탐지부; 및 수신된 상기 초음파 신호, 상기 광음향 신호 및 상기 광 신호 중 적어도 둘 이상의 신호를 이용하여 상기 대상에 대한 탐지 면(probing plane)을 달리하는 영상 정보를 포함하는 융합 영상을 생성하는 영상 생성부;를 포함하는 영상 획득 장치를 제공한다.
이하에서는 본 발명의 실시예들이 채택하고 있는 기본 아이디어를 개괄적으로 제시한 후, 구체적인 기술적 수단을 순차적으로 설명하도록 한다.
생체 조직의 광음향 계수를 통하여 조직은 복사 과정(radiative process)과 비복사 과정(nonradiative process)를 일으키는데, 형광 영상과 광음향 영상은 흡수된 광 에너지를 통한 각각의 다른 프로세스(process) 기저에 의해서 이루어진다. 본 발명의 실시예들은 이러한 조직의 광 흡수의 정도, 복사/비복사 과정의 생성을 관찰할 수 있도록 함으로써 조직의 광 특성을 더욱 정확한 정량 지표로서 얻을 수 있고, 초음파 신호 처리를 통한 탄성초음파영상(elastography) 및 색 흐름 이미지(color flow imaging) 등을 제공할 수 있는 시스템 구조를 제안하고자 한다. 또한 본 발명의 실시예들은 단일 또는 복수개의 영상 기법에 반응하는 조영제(contrast agent)를 사용한 응용에서도 고대조도 및 정량 지표를 제공할 수 있으며, 기존 초음파, 광음향 및 형광 영상에서 사용하는 다양한 영상 기법 및 응용에 대해 개별적인 정보 제공, 혹은 이들의 조합을 통한 새로운 응용을 개발하는데 필요한 구조를 제안하고자 한다.
이상과 같은 목적 하에서, 초음파 영상, 광 음향 영상 및 형광 영상 기법을 동일 조직에 대해 각각 취득하여 한번에 상호 연관시켜 처리할 수 있는 융합 프로브(probe) 및 시스템 구조가 필요하다. 또한, 융합 프로브의 형태, 시스템의 구조 및 영상의 질을 향상시키기 위한 부수적인 시스템 구조를 제안하고자 한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
도 1은 본 발명의 실시예들이 채택하고 있는 영상 획득 장치(20)의 기본 구조를 도시한 블록도로서, 관찰 대상(10)에 접근시켜 사용하는 소스부(21)와 탐지부(24), 그리고 이들과 전기적으로 연결되는 영상 생성부(29)를 포함한다.
소스부(21)는 생성하는 신호의 종류에 따라 음향 소스부와 광 소스부로 구분될 수 있다. 음향 소스부는 초음파(ultrasound, US) 영상을 위한 초음파 신호를 대상(10)에 인가하며, 광 소스부는 광음향(photoacoustic, PA) 영상 및 형광(fluorescent, FL) 영상을 위한 광 신호를 대상(10)에 인가한다.
또한, 탐지부(24)는 수신하는 신호의 종류에 따라 역시 음향 탐지부와 광 탐지부로 구분될 수 있다. 음향 탐지부는 대상(10)으로부터 음향 소스부에 의해 발생한 초음파 신호 또는 광 소스부에 의해 발생한 광음향 신호를 수신하며, 광 탐지부는 대상(10)으로부터 광 소스부에 의해 발생한 광 신호를 수신한다.
도 1에서, 소스부(21)와 탐지부(24)는 기능적 관점에서 분리하여 도시하였으나, 구현의 관점에서는 편의에 따라 물리적으로 동일한 장치로 구현될 수도 있다. 특히, 대상(10)으로부터 획득하고자 하는 영상의 종류에 따라 소스부(21)와 탐지부(24)를 동일한 구성 내에 포함시켜 구현할 수 있다. 예를 들어, 초음파 영상과 광음향 영상은 대상(10)으로부터 탐지하고자 하는 반송 신호가 초음파 신호이므로, 동일한 하드웨어 내에 구현될 수 있다. 다만, 광음향의 경우 구체적인 소스(source)는 맥동파(pulsed wave)로서 초음파와는 그 소스가 상이하다. 한편, 형광 영상은 광 신호, 보다 구체적으로는 지속파(continuous wave)를 인가하되, 대상(10)의 조직으로부터 방출되는 광 신호를 CCD 카메라를 통해 수신하므로, 하나의 하드웨어 내에 구현될 수 있다.
나아가, 음향 탐지부와 광 탐지부는 신호 관측의 특성에 따라 관찰 대상(10)까지의 최소 거리가 다소 상이하다. 즉, 음향 탐지부는 관찰 대상(10)에 인접하여 위치하는 것이 바람직하며, 광 탐지부는 음향 탐지부에 비해 관찰 대상(10)으로부터 상대적으로 먼 거리에 위치하도록 설치되는 것이 바람직하다. 왜냐하면, 초음파 영상과 같은 음향 신호 기반의 프로브는 관찰 대상(10)과 접촉하여 사용되는 반면, 형광 영상과 같은 광 신호 기반의 프로브는 관찰 대상(10)의 표면과 같은 평면 구조의 관측을 위해 일정 거리만큼 이격되어 사용되기 때문이다.
영상 생성부(29)는 탐지부(24)로부터 수신된 초음파 신호, 광음향 신호 및 광 신호 중 적어도 둘 이상의 신호를 이용하여 대상(10)에 대한 탐지 면(probing plane)을 달리하는 영상 정보를 포함하는 융합 영상을 생성한다. 본 발명의 실시예들은 이러한 탐지 면이 서로 상이한 복수 개의 영상 정보를 취합하여 다양한 정보를 포함하는 하나의 융합 영상을 생성할 수 있으며, 보다 구체적인 구성에 대해서는 이후 도면을 참조하여 실시예별로 설명하도록 한다.
또한, 도 1의 영상 획득 장치는 소스부(21)/탐지부(24)와 영상 생성부(29) 간에 위치 제어부(27)를 선택적으로 포함할 수 있다. 이러한 위치 제어부(27)는 음향 탐지부 및 광 탐지부의 물리적인 위치를 조절하는 구성으로서, 영상 생성부(29)로 하여금, 위치 제어부(27)에 의해 조절된 위치에 따라 수신된 신호들로부터 융합 영상을 생성하도록 유도한다.
특히, 영상 생성부(29)는, 위치 제어부(27)의 제어에 따라 탐지부(24), 특히 음향 탐지부를 대상(10)의 표면을 따라 이동시킴으로써, 수신된 초음파 신호 또는 광음향 신호로부터 대상(10)에 대한 깊이 영상을 적층함으로써 입체 영상을 생성할 수 있다. 나아가, 영상 생성부(29)는 위치 제어부(27)의 제어에 따라 탐지부(24), 특히 광 탐지부의 위치를 고정하여 대상(10)에 대한 평면 영상을 생성하며, 최종적으로 조절된 위치를 고려하여 생성된 입체 영상 및 평면 영상을 사상시켜(mapping) 하나의 융합 영상을 생성할 수 있다. 즉, 위치 제어부(27)는 탐지부(24)의 위치를 제어하여 깊이 영상으로부터 입체 영상을 생성하기 위해 필요한 구성이다.
혹은, 위치 제어부(27)를 통한 제어 대신 사용자가 직접 탐지부(24)를 대상(10)의 표면을 따라 이동시킴으로써 취득한 초음파 신호 또는 광음향 신호와 동일한 부위에 대해 광 탐지부를 위치시켜 형광 평면 영상을 취득함으로써 소프트웨어적인 영상 사상을 통해 하나의 융합 영상을 제공할 수도 있다.
물론, 상기된 영상 사상에 사용되는 각 영상 기법의 데이터는 개별 기법에서 사용되는 고대조도 영상 방법을 수행하여 영상의 질을 향상시킬 수 있다. 초음파 영상의 예로는, 하모닉, perfusion 영상화, 합성 구경, 평면파, 혈류 영상화, 적응 빔 집속 방법 등이 활용될 수 있다. 또한, 광음향 영상의 예로는, 적응 빔 집속, 분광 기법 등이 활용될 수 있다. 나아가, 형광 영상의 예로는, 스테레오 3D 영상화, 분광 기법, 파장 분리 기법 등이 활용될 수 있다.
한편, 영상 생성부(29)는, 탐지 면을 달리하는 영상들 각각으로부터 특징점을 결정하고, 결정된 특징점을 사상시킴으로써, 영상들 간의 관계를 시각적으로 정합시켜 표시한 영상을 생성할 수 있다. 이를 위해 복수 개의 영상들로부터 특징점을 추출하고, 이를 사상시키는 영상 처리 기술이 활용될 수 있다. 영상 간의 사상은 기본적으로 대상(10)을 기준으로 한 영상의 축(axis)을 특정하고, 특정된 축을 중심으로 각각의 영상을 연결하되, 공통되는 특징점 간의 관계를 표시하는 것이 바람직하다. 이를 위해 대상(10)에 대한 3차원 좌표계를 가정하고, 좌표계의 x, y, z 축에 대해 영상의 표시 방향을 설정한 후, 특징점을 중심으로 각각의 영상을 사상시킴으로써 정합된 영상을 생성하는 것이 가능하다.
이하에서는, 의료용 영상 기술에 따른 개별 프로브의 특성을 간략하게 소개한 후, 융합 영상을 생성하기 위한 기구적으로 결합된 다양한 프로브 구조를 순차적으로 제시하도록 한다.
도 2는 본 발명의 실시예들이 채택하고 있는 두 가지 프로브(probe)들의 구조적 특징을 설명하기 위한 도면으로서, 대상에 대한 평면 영상을 생성하는 형광 영상용 프로브(FL 프로브)(210)와 대상에 대한 깊이 영상을 생성하는 광음향/초음파 영상용 어레이 프로브(PAUS 어레이 프로브)(220)를 도시하였다. 하드웨어 구현의 관점에서 각각의 프로브는 신호 인가 수단(소스)와 수신 수단이 하나의 장치로서 구현될 수 있음은 앞서 설명한 바와 같다.
각각의 의료용 영상별로 그 특징을 정리하면 다음의 표 1과 같다.
표 1
소스 탐지 수단 설명
초음파 영상 초음파 신호 변환자(transducer) 깊이 영상에 기반한 해부학적 정보 제공
광음향 영상 광 신호/맥동파(pulsed wave) 변환자(transducer) 깊이 영상에 기반한 기능적 정보 제공
형광 영상 광 신호/지속파(continuous wave) CCD 센서 평면 영상에 기반한 기능적 정보 제공
도 2에서 FL 프로브(210)는 광을 인가할 수 있는 광 인가부와 대상 조직으로부터 발생된 형광 신호를 수신할 수 있는 CCD 센서로 구성되어 형광(FL) 영상과 백광(WL) 영상을 취득할 수 있으며, PAUS 어레이 프로브(220)는 맥동(pulsed) 레이저를 전달할 수 있는 광 인가부와 초음파를 수신할 수 있는 어레이 변환자(array transducer)로 이루어져 광음향 영상과 초음파 영상 데이터를 취득할 수 있다. FL 광 인가부와 PAUS 광 인가부는 하나의 구성으로 병합될 수도 있으며, 또는 분리되어 설계될 수도 있다.
이와 같은 상이한 특징을 고려하여 본 발명의 실시예들이 제안하는 영상 생성부는, 음향 탐지부를 통해 수신된 초음파 신호 또는 광음향 신호로부터 대상에 대한 깊이 영상을 생성하고, 광 탐지부를 통해 수신된 광 신호로부터 대상에 대한 평면 영상을 생성하며, 각각 생성된 깊이 영상 및 평면 영상을 사상(mapping)시켜 하나의 융합 영상을 생성한다.
도 3a 내지 도 3d는 본 발명의 실시예들에 따른 영상 획득 장치에서 활용될 수 있는 다양한 프로브 구조체를 예시한 도면으로서, 크게 두 가지 활용 양태로 구분될 수 있다.
첫째, 도 3a 및 도 3b는, 실시간 PAUS, FL 영상화를 위한 프로브 구조로서, 각각의 PAUS 프로브 및 FL 프로브는 하나의 프로브 구조체(310) 내에 고정된 형태로 구현되며, 음향 탐지부 및 광 탐지부의 동작을 상호 전환하는 스위치에 해당하는 FL 버튼(320)의 조작(PUSH/RELEASE)에 따라 PAUS 영상과 FL 영상을 교대로 출력할 수 있다. 이제, 프로브 구조체(310)를 통해 획득된 영상은 케이블을 구비하는 연결 수단(350)을 경유하여 컨넥터를 통해 영상 시스템에 제공될 수 있다. 필요에 따라서 이러한 연결 수단(350)은 프로브 구조체(310)을 관찰 대상에서 접근시켜 구동시킬 수 있는 기구적인 암(mechanical arm)을 더 구비할 수 있다.
또한, 도 3a 및 도 3b에서 음향 탐지부(PAUS 어레이 프로브)와 광 탐지부(WL/FL 프로브)는 서로 다른 축(axis)을 따라 설치됨으로써 상호 신호 간섭을 방지하는 것이 바람직하다.
둘째, 도 3c 및 도 3d는, 인체의 동일한 위치에 대한 PAUS 영상과 FL 영상을 융합하여 표시할 수 있는 융합 프로브 구조로서, 하나의 프로브 구조체(330) 내에 이동 가능한 PAUS 프로브와 고정된 WL/FL 프로브를 구비한다. PAUS 프로브는 기구적으로 이동 가능한 스캐너(mechanical scanner)에 의해 상하로 움직임으로써 입체 영상 데이터를 취득하며, FL 프로브는 융합 프로브 뒤쪽에 위치하여 영상 영역에 대한 평면 영상을 취득한다. 이를 위해, 본 발명의 실시예들이 제안하는 영상 획득 장치는 위치 제어부(미도시)를 이용하여 광 탐지부(WL/FL 프로브)를 중심으로 음향 탐지부(PAUS 어레이 프로브)를 대상의 표면을 따라 종 방향으로 이동시킴으로써, 광 탐지부(WL/FL 프로브)에 의한 평면 영상에 대응하여 연속적인 깊이 영상 생성을 유도할 수 있다.
또한, 앞서 설명한 영상 획득의 구조적인 차이로 인하여, 음향 탐지부(PAUS 어레이 프로브)는 대상에 인접하여 위치하고, 광 탐지부(WL/FL 프로브)는 음향 탐지부(PAUS 어레이 프로브)에 비해 대상으로부터 상대적으로 먼 거리에 위치하도록 설치되며, 음향 탐지부(PAUS 어레이 프로브)는 위치 제어부(미도시)의 제어에 따라 위치를 달리하며 대상으로부터 음향 신호를 수신하는 것이 바람직하다.
나아가, 프로브 내부는 광의 손실 없는 전달이 가능하며 초음파 투과가 가능한 커플러(coupler)로 채워져 있으며, 프로브 표면 역시 초음파 및 광 투과가 가능한 재질을 사용하는 것이 바람직하다. 이를 위해 도 3c 및 도 3d의 프로브 구조체(330)는 대상에 인접하며, 광 신호 및 음향 신호에 대해 투과성을 갖는(optical/acoustical transparent) 전단부(front)(340)를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 획득 장치가 구비된 융합 영상 진단 시스템을 예시한 도면으로서, 복수 개의 소스부와 탐지부를 구비하는 멀티-모달 프로브(multi-modal probe)(410), 영상 처리 시스템(420) 및 디스플레이 장치(430)를 포함한다.
영상 처리 시스템(420)은 전체 융향 영상 진단 시스템을 제어하는 워크스테이션(workstation), 광음향 및 초음파 영상의 신호 처리 수단인 PAUS 시스템, 형광영상 및 광음향 영상을 위하여 광 에너지를 인가하는 FL 광 소스(light source)와 레이저 소스(laser source), 프로브의 위치를 사용자의 요구대로 제어할 수 있는 프로브 위치 제어부(probe positioner)를 포함하며, 융합 프로브인 멀티-모달 프로브(410)를 통하여 다양한 관점의 생체 데이터를 취득한다.
멀티-모달 프로브(410)는 광음향, 초음파 신호를 수신하는 PAUS 선형 변환자(linear transducer)와 본체에서 전달된 광 에너지를 인가하는 광 섬유 번들(optic fiber bundle), 그리고 인체에서 생성된 형광 데이터를 취득하는 CCD 센서를 포함하되며, 취득된 데이터를 영상 처리 시스템(420)으로 전송한다. 영상 처리 시스템(420)은 수신된 데이터에 기초하여 영상 복원을 수행한 후, 복원된 영상을 디스플레이 장치(430)에 표시한다.
도 5는 본 발명의 일 실시예에 따른 융합 영상을 획득하는 방법을 도시한 흐름도로서, 앞서 설명한 도 1의 영상 획득 장치의 각 구성의 수행 동작에 대응하는 단계들을 포함한다. 따라서, 여기서는 설명의 중복을 피하기 위하여 영상 처리의 흐름을 중심으로 각 과정을 약술하도록 하다.
S510 단계에서, 영상 획득 장치는, 초음파 영상을 위한 초음파 신호 또는 광음향 영상을 위한 광 신호를 대상에 인가하고, 대상으로부터 인가된 신호에 대응하여 초음파 신호 또는 광음향 신호를 수신한다.
S520 단계에서, 영상 획득 장치는, 형광 영상을 위한 광 신호를 대상에 인가하고, 대상으로부터 광 신호를 수신한다.
S530 단계에서, 영상 획득 장치는, S510 단계를 통해 수신된 초음파 신호, 광음향 신호 및 S520 단계를 통해 수신된 광 신호 중 적어도 둘 이상의 신호를 이용하여 대상에 대한 탐지 면을 달리하는 영상 정보를 포함하는 융합 영상을 생성한다. 여기서, 융합 영상은, 초음파 신호 또는 광음향 신호로부터 생성된 깊이 영상, 광 신호로부터 생성된 평면 영상 및 깊이 영상과 상기 평면 영상 간의 사상 정보를 포함할 수 있다.
한편, 도 5의 영상 획득 방법은, 탐지 면을 달리하는 영상들 각각으로부터 특징점을 결정하고, 결정된 특징점을 사상시키는 과정을 더 포함할 수 있다. 따라서, S530 단계의 융합 영상을 생성하는 과정은, 영상들 간의 관계를 시각적으로 정합시켜 표시한 영상을 생성하는 것이 바람직하다.
도 6은 본 발명의 일 실시예에 따라 영상 전환 스위치를 활용한 진료 방법을 예시한 흐름도로서, 크게 음향 신호 기반의 영상 획득 과정(610)과 광 신호 기반의 영상 획득 과정(620)으로 구분된다.
도 6는 사용자가 프로브 구조체를 자유롭게 활용하여 환자의 신체 일부에 접촉/접근시켜 필요로 하는 영상을 획득하는 진료 모드(surgery mode)를 가정하고 있으며, 도 3a 또는 도 3b의 프로브 구조체(310)를 사용하여 PAUS 영상 및 FL 영상을 순차적으로 획득할 때 활용 가능한 동작의 순서를 예시하고 있다. 이를 위해, 본 발명의 일 실시예에 따른 영상 획득 방법은, 생성된 융합 영상을 디스플레이 수단에 표시하는 과정을 더 포함하되, 융합 영상에 포함된 깊이 영상 및 평면 영상을 사용자의 조작에 따라 상호 전환하여 동시에 또는 순차적으로 표시하는 입력 수단을 활용하는 것이 바람직하다.
도 6을 참조하면, 최초에 시스템 동작을 시작하는 경우 프로브 구조체를 통해 획득된 PAUS 영상을 제공하며, 사용자가 FL 버튼을 누른 경우 FL 영상 표시 모드로 전환되어 백광(WL) 영상에 형광(FL) 영상이 융합된 영상을 사용자에게 제공할 수 있다. 물론 PAUS 버튼을 눌러 PAUS 모드로 전환하는 방식, 또는 스위치 버튼을 1회씩 누를때마다 다른 영상 모드로 전환하는 방식 역시 용이하게 구현 가능하다.
보다 구체적으로, 음향 신호 기반의 영상 획득 과정(610)은 우선 US 프레임 데이터를 획득하여 이로부터 US 이미지를 생성/최적화하고, 이와 더불어 PA 프레임 데이터를 획득하여 이로부터 PA 이미지를 생성/최적화한다. 그런 다음, 이렇게 생성된 PA 이미지 및 US 이미지를 사상시켜 깊이 방향의 영상 정보를 생성할 수 있다. 이제, 사용자는 FL 버튼을 눌러 다른 형광 영상 모드로 전환하게 된다.
광 신호 기반의 영상 획득 과정(620)은 우선 WL 이미지와 FL 이미지를 각각 획득한 후, 이로부터 WL 이미지 및 FL 이미지를 사상시켜 정면 방향의 영상 정보를 생성할 수 있다. 이제 다시, 사용자가 FL 버튼에서 손을 떼게 되면 PAUS 영상 획득 과정(610)으로 돌아가게 된다.
도 7은 도 6의 진료 방법에 따라 획득된 영상을 디스플레이 장치에 표시하는 방법을 예시한 도면으로서, 활용 가능한 그래픽 사용자 인터페이스(graphic user interface, GUI)를 제시하고 있다.
도 7을 참조하면, 스위치 조작에 따라 PAUS 영상과 FL 영상 각각을 교대로 사용자에게 실시간으로 제공하며, 각 영상 모드에 대한 복원 정보나 영상 파라미터 설정을 제공할 수 있다. 파라미터 설정부는 PAUS 영상 및 FL 영상에 대하여 동시에 제공되거나 또는 별도로 제공될 수 있다. 또한, 백광 영상 및 형광 영상을 동시에 병렬적으로 또는 중첩하여 표시함으로써 각 영상별 특징을 동시에 진단에 활용하는 것이 가능하다.
도 8은 본 발명의 다른 실시예에 따라 고정식 프로브를 활용한 진료 방법을 예시한 흐름도로서, 크게 개별 영상 획득 과정(810)과 3차원 영상 생성 과정(820)으로 구분된다. 여기서, 고정식 프로브란, 관찰 대상에 고정시킨 후 입체 영상을 획득할 수 있는 프로브 구조체를 의미하는 것으로, 고정되어 있는 프로브 구조체 자체와는 달리 역설적으로 프로브 구조체 내부에 구비된 PA/US 영상 획득을 위한 프로브는 이동을 통해 입체 영상을 얻게 된다.
도 8은 사용자가 프로브 구조체를 자유롭게 활용하는 것이 아니라, 프로브 구조체를 환자의 신체 일부에 접촉/접근시켜 고정시킨 다음, 하나의 관찰 대상에 대한 다양한 유형의 영상을 획득하는 영상 등록 모드(registration mode)를 가정하고 있으며, 도 3c 또는 도 3d의 프로브 구조체(330)를 사용하여 PAUS 영상 및 FL 영상을 획득할 때 활용 가능한 동작의 순서를 예시하고 있다.
이를 위해, 본 실시예에 활용될 수 있는 영상 획득 장치는, 형광 영상을 위한 탐지 수단(FL 프로브)을 중심으로, 초음파 신호 또는 광음향 신호의 수신을 위한 탐지 수단(PAUS 어레이 프로브)을 관찰 대상의 표면을 따라 종 방향으로 이동시킴으로써, 평면 영상에 대응하여 깊이 영상을 연속적으로 적층함으로써 입체 영상을 생성하는 것이 바람직하다. 이 때, 융합 영상을 생성하는 과정은, 위치 제어 수단을 통해 조절된 위치를 고려하여 입체 영상 및 평면 영상을 사상시켜 하나의 융합 영상을 생성하게 된다.
우선, 개별 영상 획득 과정(810)에서는 WL 영상과 FL 영상을 획득하고, 이와 더불어 US 프레임 데이터와 PA 프레임 데이터를 획득한 후, 하나의 프레임에 대한 PAUS 영상을 획득한다. 이제 PAUS 어레이 프로브를 관찰 대상의 종 방향을 따라 이동시킴으로써 인접한 프레임에 대한 PAUS 영상을 획득한다. 이러한 프레임별 깊이 영상 획득 과정을 반복적으로 수행함으로써 희망하는 프레임 개수에 도달한 경우(예를 들어, 최종 프레임의 인덱스가 미리 설정된 양의 정수 N에 도달한 경우가 될 수 있다.), 개별 영상 획득 과정(810)을 종료하게 된다. 이 때, 생성된 영상은 관심 영역에 대한 1개의 표면 영상과 N개의 깊이 영상이 된다.
이제, 3차원 영상 생성 과정(820)에서는 종 방향 축을 따라 생성된 N개의 깊이 영상을 적층하여 하나의 3차원 PAUS 영상을 생성하게 된다. 그런 다음, 생성된 PAUS 영상을 최적화한 후, PAUS 영상과 FL 영상을 사상시켜 하나의 디스플레이 장치에 표시하게 된다. 사용자는 필요에 따라 이미지 파라미터를 조정하여 재설정함으로써 표시되는 영상을 재구성할 수도 있다.
도 9는 도 8의 진료 방법에서 따라 획득된 영상을 디스플레이 장치에 표시하는 방법을 예시한 도면으로서, 활용 가능한 그래픽 사용자 인터페이스를 제시하고 있다.
도 9를 참조하면, 다수의 영상 모드에 따른 영상 복원을 수행하여 동시에 제공할 수 있으므로, 프로브 구조체를 통해 획득 가능한 다양한 영상 데이터에 기반하여 사용자가 필요로 하는 최대한의 자유도를 제공하는 것이 가능하다. 프로브 구조체를 통해 획득되는 영상은 WL 영상, FL 영상, PA 영상(C-plane, B-plane), US 영상(B-mode, elastography, color) 등을 제공할 수 있으며, 이는 영상 취득 전에 사용자의 선택에 따를 수 있다. 도 9에는 프로브 구조체를 통해 획득한 PAUS 영상, WL 영상 및 FL 영상 데이터를 통하여 사용자가 자유롭게 영상의 위치, 영상에 대한 파라미터(parameter), 융합하고자 하는 개별 영상의 투명도의 조절값 등을 조정하여 인체 생체 정보를 취득할 수 있다.
이를 위해, 본 발명의 일 실시예에 따른 영상 획득 방법은, 초음파 영상, 광음향 영상 및 형광 영상을 각각 동시에 디스플레이 수단에 표시하고, 사용자에 의해 선택된 적어도 두 개의 영상을 중첩시킨(overlay) 영상을 생성하여 디스플레이 수단에 표시하는 것이 바람직하다. 또한, 본 발명의 일 실시예에 따른 영상 획득 방법은, 영상의 위치, 영상에 대한 파라미터 또는 투명도의 조절값을 사용자로부터 입력받고, 입력된 조절값에 따라 변경된 영상을 생성하여 디스플레이 수단에 표시하는 것이 바람직하다.
상기된 본 발명의 실시예들에 따르면, 전임상 단계에서는 약 전달 및 이의 효과를 광에 대한 반응으로 정량적으로 파악할 수 있음에 따라 더욱 정량적인 약 효능 평가가 가능해 질 수 있으며, 또한 임상 단계에서는 서로 다른 임상적 의미를 갖는 조직 간의 광 특성을 더욱 정량적으로 이해함으로써 질병 조기 진단 및 정확한 단계 특정(staging)이 가능해지므로 질병의 치료 계획 수립 및 실제 치료에 도움을 줄 수 있다.
나아가, 본 발명의 실시예들은 관찰 대상에 대해 상대적으로 깊은 깊이를 관찰할 수 있는 광음향/초음파 영상 기법과 비교적 낮은 깊이에서 전체적인 포면을 관찰할 수 있는 형광 영상의 장점을 조합하여 다양한 응용이 가능하다. 또한, 조영제(contrast agent)를 사용할 경우 조영제 외부/내부의 물질 특성을 광에 대한 광음향과 형광 영상에 대해 각각 다르게 설정한 후 조영제의 분포나 조영제 내부에 포함되어 있던 약의 전달 정도를 정량적으로 파악할 수 있다.
한편, 본 발명의 실시예들은 프로브 구조체의 동작 제어 및 프로브 구조체를 통해 획득된 개별 영상에 대한 영상 처리 과정을 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상기된 본 발명의 실시예들에 따르면, 초음파 영상, 광음향 영상 및 형광 영상과 같은 다양한 관점의 의료용 영상 기술들을 동시에 활용할 수 있으며, 관찰 대상에 대한 탐지 면을 달리하는 평면 영상 정보 및 깊이 영상 정보에 기초한 융합 영상을 생성함으로써 하나의 관찰 영역에 대한 병리학적 정보, 해부학적 정보 및 기능적 정보를 다각적으로 제공할 수 있을뿐만 아니라, 의료 현장에서 간단한 사용자 조작에 의해 융합 영상을 생성할 수 있는 프로브 구조체를 제공함으로써 보다 용이한 영상 해석을 가능하게 한다.

Claims (17)

  1. 초음파(ultrasound, US) 영상을 위한 초음파 신호를 대상에 인가하는 음향 소스부;
    광음향(photoacoustic, PA) 영상 및 형광(fluorescent, FL) 영상을 위한 광 신호를 상기 대상에 인가하는 광 소스부;
    상기 대상으로부터 상기 음향 소스부에 의해 발생한 초음파 신호 또는 상기 광 소스부에 의해 발생한 광음향 신호를 수신하는 음향 탐지부;
    상기 대상으로부터 상기 광 소스부에 의해 발생한 광 신호를 수신하는 광 탐지부; 및
    수신된 상기 초음파 신호, 상기 광음향 신호 및 상기 광 신호 중 적어도 둘 이상의 신호를 이용하여 상기 대상에 대한 탐지 면(probing plane)을 달리하는 영상 정보를 포함하는 융합 영상을 생성하는 영상 생성부;를 포함하는 영상 획득 장치.
  2. 제 1 항에 있어서,
    상기 영상 생성부는,
    수신된 상기 초음파 신호 또는 상기 광음향 신호로부터 상기 대상에 대한 깊이 영상을 생성하고,
    수신된 상기 광 신호로부터 상기 대상에 대한 평면 영상을 생성하며,
    생성된 상기 깊이 영상 및 상기 평면 영상을 사상(mapping)시켜 하나의 융합 영상을 생성하는 것을 특징으로 하는 영상 획득 장치.
  3. 제 1 항에 있어서,
    상기 영상 생성부는,
    상기 탐지 면을 달리하는 영상들 각각으로부터 특징점을 결정하고, 결정된 상기 특징점을 사상시킴으로써, 상기 영상들 간의 관계를 시각적으로 정합시켜 표시한 영상을 생성하는 것을 특징으로 하는 영상 획득 장치.
  4. 제 1 항에 있어서,
    상기 음향 탐지부는 상기 대상에 인접하여 위치하며,
    상기 광 탐지부는 상기 음향 탐지부에 비해 상기 대상으로부터 상대적으로 먼 거리에 위치하도록 설치되는 것을 특징으로 하는 영상 획득 장치.
  5. 제 1 항에 있어서,
    상기 음향 탐지부 및 상기 광 탐지부는 서로 다른 축(axis)을 따라 설치됨으로써 상호 신호 간섭을 방지하는 것을 특징으로 하는 영상 획득 장치.
  6. 제 1 항에 있어서,
    상기 음향 탐지부 및 상기 광 탐지부의 동작을 상호 전환하는 스위치(switch);를 더 포함하되,
    사용자의 스위치 조작에 따라 각각의 탐지부를 통해 대응하는 신호를 수신하는 것을 특징으로 하는 영상 획득 장치.
  7. 초음파 영상을 위한 초음파 신호를 대상에 인가하는 음향 소스부;
    광음향 영상 및 형광 영상을 위한 광 신호를 상기 대상에 인가하는 광 소스부;
    상기 대상으로부터 상기 음향 소스부에 의해 발생한 초음파 신호 또는 상기 광 소스부에 의해 발생한 광음향 신호를 수신하는 음향 탐지부;
    상기 대상으로부터 상기 광 소스부에 의해 발생한 광 신호를 수신하는 광 탐지부;
    상기 음향 탐지부 및 상기 광 탐지부의 물리적인 위치를 조절하는 위치 제어부; 및
    상기 조절된 위치에 따라 수신된 상기 초음파 신호, 상기 광음향 신호 및 상기 광 신호 중 적어도 둘 이상의 신호를 이용하여 상기 대상에 대한 탐지 면을 달리하는 영상 정보를 포함하는 융합 영상을 생성하는 영상 생성부;를 포함하는 영상 획득 장치.
  8. 제 7 항에 있어서,
    상기 영상 생성부는,
    상기 위치 제어부의 제어에 따라 상기 음향 탐지부를 상기 대상의 표면을 따라 이동시킴으로써 수신된 상기 초음파 신호 또는 상기 광음향 신호로부터 상기 대상에 대한 깊이 영상을 적층함으로써 입체 영상을 생성하고,
    상기 위치 제어부의 제어에 따라 상기 광 탐지부의 위치를 고정하여 상기 대상에 대한 평면 영상을 생성하며,
    상기 조절된 위치를 고려하여 생성된 상기 입체 영상 및 상기 평면 영상을 사상시켜 하나의 융합 영상을 생성하는 것을 특징으로 하는 영상 획득 장치.
  9. 제 7 항에 있어서,
    상기 위치 제어부는,
    상기 광 탐지부를 중심으로 상기 음향 탐지부를 상기 대상의 표면을 따라 종 방향으로 이동시킴으로써, 상기 광 탐지부에 의한 평면 영상에 대응하여 연속적인 깊이 영상 생성을 유도하는 것을 특징으로 하는 영상 획득 장치.
  10. 제 7 항에 있어서,
    상기 음향 탐지부는 상기 대상에 인접하여 위치하고,
    상기 광 탐지부는 상기 음향 탐지부에 비해 상기 대상으로부터 상대적으로 먼 거리에 위치하도록 설치되며,
    상기 음향 탐지부는 상기 위치 제어부의 제어에 따라 위치를 달리하며 상기 대상으로부터 음향 신호를 수신하는 것을 특징으로 하는 영상 획득 장치.
  11. 제 7 항에 있어서,
    상기 대상에 인접하며, 광 신호 및 음향 신호에 대해 투과성을 갖는(optical/acoustical transparent) 전단부(front);를 더 포함하는 영상 획득 장치.
  12. 초음파 영상을 위한 초음파 신호 또는 광음향 영상을 위한 광 신호를 상기 대상에 인가하고, 상기 대상으로부터 인가된 신호에 대응하여 초음파 신호 또는 광음향 신호를 수신하는 단계;
    형광 영상을 위한 광 신호를 상기 대상에 인가하고, 상기 대상으로부터 광 신호를 수신하는 단계; 및
    수신된 상기 초음파 신호, 광음향 신호 및 상기 광 신호 중 적어도 둘 이상의 신호를 이용하여 상기 대상에 대한 탐지 면을 달리하는 영상 정보를 포함하는 융합 영상을 생성하는 단계;를 포함하되,
    상기 융합 영상은,
    수신된 상기 초음파 신호 또는 상기 광음향 신호로부터 생성된 깊이 영상, 수신된 상기 광 신호로부터 생성된 평면 영상 및 상기 깊이 영상과 상기 평면 영상 간의 사상 정보를 포함하는 것을 특징으로 하는 영상 획득 방법.
  13. 제 12 항에 있어서,
    생성된 상기 융합 영상을 디스플레이 수단에 표시하는 단계;를 더 포함하되,
    상기 융합 영상에 포함된 상기 깊이 영상 및 상기 평면 영상을 사용자의 조작에 따라 상호 전환하여 동시에 또는 순차적으로 표시하는 것을 특징으로 하는 영상 획득 방법.
  14. 제 12 항에 있어서,
    상기 형광 영상을 위한 탐지 수단을 중심으로, 상기 초음파 신호 또는 광음향 신호의 수신을 위한 탐지 수단을 상기 대상의 표면을 따라 종 방향으로 이동시킴으로써, 상기 평면 영상에 대응하여 상기 깊이 영상을 연속적으로 적층함으로써 입체 영상을 생성하는 단계;를 더 포함하되,
    상기 융합 영상을 생성하는 단계는,
    상기 조절된 위치를 고려하여 생성된 상기 입체 영상 및 상기 평면 영상을 사상시켜 하나의 융합 영상을 생성하는 것을 특징으로 하는 영상 획득 방법.
  15. 제 12 항에 있어서,
    상기 탐지 면을 달리하는 영상들 각각으로부터 특징점을 결정하고, 결정된 상기 특징점을 사상시키는 단계;를 더 포함하되,
    상기 융합 영상을 생성하는 단계는,
    상기 영상들 간의 관계를 시각적으로 정합시켜 표시한 영상을 생성하는 것을 특징으로 하는 영상 획득 방법.
  16. 제 12 항에 있어서,
    상기 초음파 영상, 상기 광음향 영상 및 상기 형광 영상을 각각 동시에 디스플레이 수단에 표시하는 단계; 및
    사용자에 의해 선택된 적어도 두 개의 영상을 중첩시킨(overlay) 영상을 생성하여 상기 디스플레이 수단에 표시하는 단계;를 더 포함하는 영상 획득 방법.
  17. 제 12 항에 있어서,
    영상의 위치, 영상에 대한 파라미터(parameter) 또는 투명도의 조절값을 사용자로부터 입력받는 단계; 및
    입력된 상기 조절값에 따라 변경된 영상을 생성하여 디스플레이 수단에 표시하는 단계;를 더 포함하는 영상 획득 방법.
PCT/KR2013/006943 2013-08-01 2013-08-01 융합 영상을 획득하는 장치 및 방법 WO2015016403A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP13890324.0A EP3015068A4 (en) 2013-08-01 2013-08-01 Device and method for acquiring fusion image
CN201380078630.4A CN105431091A (zh) 2013-08-01 2013-08-01 用于获取融合图像的设备和方法
PCT/KR2013/006943 WO2015016403A1 (ko) 2013-08-01 2013-08-01 융합 영상을 획득하는 장치 및 방법
KR1020157034474A KR20160013893A (ko) 2013-08-01 2013-08-01 융합 영상을 획득하는 장치 및 방법
US14/909,388 US20160192840A1 (en) 2013-08-01 2013-08-01 Device and method for acquiring fusion image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/006943 WO2015016403A1 (ko) 2013-08-01 2013-08-01 융합 영상을 획득하는 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2015016403A1 true WO2015016403A1 (ko) 2015-02-05

Family

ID=52431918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/006943 WO2015016403A1 (ko) 2013-08-01 2013-08-01 융합 영상을 획득하는 장치 및 방법

Country Status (5)

Country Link
US (1) US20160192840A1 (ko)
EP (1) EP3015068A4 (ko)
KR (1) KR20160013893A (ko)
CN (1) CN105431091A (ko)
WO (1) WO2015016403A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170093379A (ko) * 2016-02-05 2017-08-16 전북대학교산학협력단 혈전 모니터링을 위한 형광 영상 장치 및 이를 이용한 다중 영상 시스템

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160073087A1 (en) * 2014-09-10 2016-03-10 Lenovo (Singapore) Pte. Ltd. Augmenting a digital image with distance data derived based on acoustic range information
JP2017047056A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 被検体情報取得装置
US20190239860A1 (en) * 2016-07-08 2019-08-08 Canon Kabushiki Kaisha Apparatus, method and program for displaying ultrasound image and photoacoustic image
CN107582096A (zh) * 2016-07-08 2018-01-16 佳能株式会社 用于获取信息的装置、方法和存储介质
CN106214130A (zh) * 2016-08-31 2016-12-14 北京数字精准医疗科技有限公司 一种手持式光学成像和超声成像多模态融合成像***与方法
CN106872367B (zh) * 2017-04-19 2019-09-13 中国科学院深圳先进技术研究院 一种成像***及方法
CN106983494B (zh) * 2017-04-21 2021-02-09 中国科学院深圳先进技术研究院 多模态成像***及其成像方法
CN108186115B (zh) * 2018-02-08 2020-04-21 北京数字精准医疗科技有限公司 手持式荧光超声融合造影导航***
CN108185974A (zh) * 2018-02-08 2018-06-22 北京数字精准医疗科技有限公司 一种内窥式荧光超声融合造影导航***
CN108056821B (zh) * 2018-02-08 2020-08-14 北京数字精准医疗科技有限公司 一种开放式荧光超声融合造影导航***
EP3530191A1 (en) * 2018-02-27 2019-08-28 Leica Instruments (Singapore) Pte. Ltd. Ultrasound head combining ultrasound and optics
JP7205821B2 (ja) * 2018-08-24 2023-01-17 キヤノン株式会社 システム
WO2020082269A1 (zh) * 2018-10-24 2020-04-30 中国医学科学院北京协和医院 一种成像方法以及成像***
CN109998599A (zh) * 2019-03-07 2019-07-12 华中科技大学 一种基于ai技术的光/声双模成像眼底疾病诊断***
CN110720895A (zh) * 2019-11-25 2020-01-24 窦少彬 一种基于fmt成像原理的小动物活体特征检测方法
US11890142B2 (en) * 2020-01-13 2024-02-06 GE Precision Healthcare LLC System and methods for automatic lesion characterization
EP4344646A1 (en) * 2022-09-30 2024-04-03 Supersonic Imagine Method and system for adjusting a medical imaging parameter of a medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123083A1 (en) * 2006-11-29 2008-05-29 The Regents Of The University Of Michigan System and Method for Photoacoustic Guided Diffuse Optical Imaging
JP2008142355A (ja) * 2006-12-11 2008-06-26 Aloka Co Ltd 画像形成システム
KR20100047392A (ko) * 2008-10-29 2010-05-10 주식회사 메디슨 프로브장치, 이를 구비하는 초음파 진단장치 및 그 제어방법
US20110088477A1 (en) * 2008-06-18 2011-04-21 Canon Kabushiki Kaisha Ultrasonic probe, and photoacoustic-ultrasonic system and inspection object imaging apparatus including the ultrasonic probe
KR20130081067A (ko) * 2012-01-06 2013-07-16 삼성메디슨 주식회사 초음파 진단 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007100937A2 (en) * 2006-01-19 2007-09-07 The Regents Of The University Of Michigan System and method for spectroscopic photoacoustic tomography
CN101563035B (zh) * 2006-12-19 2012-08-08 皇家飞利浦电子股份有限公司 组合光声和超声成像***
CN103222846B (zh) * 2007-01-19 2017-04-26 桑尼布鲁克健康科学中心 用于成像探头的扫描机构
US8454512B2 (en) * 2007-10-25 2013-06-04 Washington University Confocal photoacoustic microscopy with optical lateral resolution
US8052605B2 (en) * 2008-05-07 2011-11-08 Infraredx Multimodal catheter system and method for intravascular analysis
WO2012061940A1 (en) * 2010-11-08 2012-05-18 Colibri Technologies Inc. Systems and methods for improved visualization during minimally invasive procedures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123083A1 (en) * 2006-11-29 2008-05-29 The Regents Of The University Of Michigan System and Method for Photoacoustic Guided Diffuse Optical Imaging
JP2008142355A (ja) * 2006-12-11 2008-06-26 Aloka Co Ltd 画像形成システム
US20110088477A1 (en) * 2008-06-18 2011-04-21 Canon Kabushiki Kaisha Ultrasonic probe, and photoacoustic-ultrasonic system and inspection object imaging apparatus including the ultrasonic probe
KR20100047392A (ko) * 2008-10-29 2010-05-10 주식회사 메디슨 프로브장치, 이를 구비하는 초음파 진단장치 및 그 제어방법
KR20130081067A (ko) * 2012-01-06 2013-07-16 삼성메디슨 주식회사 초음파 진단 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170093379A (ko) * 2016-02-05 2017-08-16 전북대학교산학협력단 혈전 모니터링을 위한 형광 영상 장치 및 이를 이용한 다중 영상 시스템
KR102581189B1 (ko) 2016-02-05 2023-09-20 전북대학교산학협력단 혈전 모니터링을 위한 형광 영상 장치 및 이를 이용한 다중 영상 시스템

Also Published As

Publication number Publication date
US20160192840A1 (en) 2016-07-07
CN105431091A (zh) 2016-03-23
EP3015068A1 (en) 2016-05-04
EP3015068A4 (en) 2017-06-21
KR20160013893A (ko) 2016-02-05

Similar Documents

Publication Publication Date Title
WO2015016403A1 (ko) 융합 영상을 획득하는 장치 및 방법
CN107157448B (zh) 用于浅表部位成像的光声与超声同步成像***和方法
CN104382558B (zh) 一种双模式乳腺三维成像装置与方法
US12036032B2 (en) Detection device and detection method for fusion of tactile sensing and optical tomography
CN105395170B (zh) 一种光声超声双模态同步成像***
US7144370B2 (en) Method and apparatus for imaging of tissue using multi-wavelength ultrasonic tagging of light
CN102824154B (zh) 一种基于oct的复合内窥镜成像***及成像方法
WO2014073907A1 (ko) 유방암 진단용 광음향 스캐닝 장치
CN106214130A (zh) 一种手持式光学成像和超声成像多模态融合成像***与方法
CN202821285U (zh) 一种基于oct的复合内窥镜成像***
CN109893258B (zh) 一体化外视镜腹腔镜***
WO2017086709A1 (ko) 초음파를 이용한 의료장치 및 트랜스듀서의 이동 제어 방법
CN103040429A (zh) 一种用于口腔的光学影像检测装置和成像方法
CN111772652A (zh) 三维影像检测***、装置、成像方法以及肺部检测装置
EP3435831A1 (en) Imaging apparatus, imaging method, and medical observation equipment
Jiang et al. Programmable acoustic delay-line enabled low-cost photoacoustic tomography system
TWI342201B (ko)
WO2015108263A1 (en) Photo-acoustic imaging apparatus and method of displaying photo-acoustic images
CN203153692U (zh) 一种用于口腔的光学影像检测装置
WO2020111731A1 (ko) 3차원 광음향 영상 장치
WO2010126264A2 (ko) 횡탄성파 생성 방법, 횡탄성파를 이용한 이미지 획득 방법 및 장치
CN102068285B (zh) 具有彩色多普勒超声扫描功能的食管镜***
WO2020082269A1 (zh) 一种成像方法以及成像***
JP5354885B2 (ja) 超音波診断システム
WO2012018218A2 (ko) 임상실험용 소동물의 이미지 취득장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380078630.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13890324

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157034474

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013890324

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14909388

Country of ref document: US