KR102269467B1 - 의료 진단 이미징에서의 측정 포인트 결정 - Google Patents

의료 진단 이미징에서의 측정 포인트 결정 Download PDF

Info

Publication number
KR102269467B1
KR102269467B1 KR1020180116569A KR20180116569A KR102269467B1 KR 102269467 B1 KR102269467 B1 KR 102269467B1 KR 1020180116569 A KR1020180116569 A KR 1020180116569A KR 20180116569 A KR20180116569 A KR 20180116569A KR 102269467 B1 KR102269467 B1 KR 102269467B1
Authority
KR
South Korea
Prior art keywords
volume
ray
image
ultrasound
location
Prior art date
Application number
KR1020180116569A
Other languages
English (en)
Other versions
KR20190038448A (ko
Inventor
잉마르 보이트
토마소 만시
헬렌 씨. 울
Original Assignee
지멘스 메디컬 솔루션즈 유에스에이, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 메디컬 솔루션즈 유에스에이, 인크. filed Critical 지멘스 메디컬 솔루션즈 유에스에이, 인크.
Publication of KR20190038448A publication Critical patent/KR20190038448A/ko
Application granted granted Critical
Publication of KR102269467B1 publication Critical patent/KR102269467B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/462—Displaying means of special interest characterised by constructional features of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Pulmonology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)

Abstract

의료 스캐너(10)를 이용한 이미징에서의 측정 포인트 결정(68)을 위해, 사용자는 이미지 상에서 위치를 선택한다(64). 그 위치를 사용하기보다는, 이미지 내에 표현된 로컬 경계 또는 랜드마크에 대응하는 "의도된" 위치가 식별된다(68). 의료 스캐너는 단순한 사용자 인터페이스(22)를 사용하여, 측정을 위한 포인트들을 더 정확하게 결정한다(68). 사용자 선택 위치로부터 하나 또는 그 초과의 광선들이 캐스팅된다(66). 광선 또는 광선들을 따라 데이터를 조사함으로써, 실제 위치가 발견된다(68). 2D 이미징의 경우, 광선들은 평면 내에서 캐스팅된다(66). 3D 이미징의 경우, 깊이를 발견하기 위해, 광선은 뷰 방향을 따라 캐스팅된다(66). 광선을 따르는 또는 광선 주변의 강도들은, 이를테면, 광선 주변의 제한된 구역에 대한 기계-학습 분류기의 적용에 의해 또는 임계치와 관련하여 광선을 따라 강도들을 발견함으로써, 실제 위치를 발견(68)하는 데 사용된다.

Description

의료 진단 이미징에서의 측정 포인트 결정{MEASUREMENT POINT DETERMINATION IN MEDICAL DIAGNOSTIC IMAGING}
[0001] 본 실시예들은 의료 진단 이미징(medical diagnostic imaging)에 관한 것이다. 현대의 심장학에서의 많은 결정들은, 비-침습성 이미징(non-invasive imaging)으로부터 비-침습성으로 유도되는, 아나토미(anatomy)의 정량적 측정들에 기반한다. 정상적 기능시에 심장의 치수(dimension)들은, 심장 절개 수술(open heart surgery)시와 비교할 때 상이하다.
[0002] 컨투어링 툴(contouring tool)들을 이용하여 2차원(2D; two-dimensional) 이미지(image)들 상의 평면 구조들을 정량화하는 것은, 시간 소모적인 그리고 부지런한 수동 아웃라이닝(outlining)을 필요로 한다. 많은 다양한 활동들이 발생하고 그리고/또는 제한된 사용자 인터페이스(예컨대, 조이스틱(joystick) 제어)만이 이용가능함으로써 자유도가 제한될 수 있는 중재적 시술 환경(interventional setting)에서 특히 편리한 사용자 상호작용이 중요하다.
[0003] 최근의 스캐너(scanner) 기술의 발전들은, 심장의 3차원+시간(3D+t) 실시간 초음파 이미징을 가능하게 한다. 3D 이미징은 정량화를 훨씬 더 어렵게 만들 수 있다. 3D 이미징은 전통적인 2D 이미징과 비교하여 아나토미 형상(anatomical shape)의 더 양호한 이해를 제공하는 것으로 인지된다. 반면에, 2D 초음파 이미징을 동작시키는 복잡성은 3D보다 더 낮으며, 종종 임상 실무에서 선호된다. 또한, 아나토미 정량화를 위해, 2D 다평면 재포맷화 또는 재구성(MPR; multi-planar reformatted or reconstruction) 이미지들에 대한 측정들이 수행되는데, 그러한 이미지들은 추가의 사용자 인터페이스들, 이를테면, 트랙볼(trackball)어들 또는 테이블 측 조이스틱 제어들을 이용하여 선택된다.
[0004] 기계 학습 기술들을 이용하여, 보통의 아나토미 구조들이 완전자동 또는 반자동 방식들로 효율적으로 그리고 견고하게 모델링된다. 그러나, 특히 예외적인 경우들에서, 아나토미 가변성(anatomical variability)에 대처하는 것은 까다로울 수 있다. 더욱이, 기계-학습 기술은 특정한 세분화(segmentation) 및/또는 측정들을 제공하도록 훈련되지만, 사용자들은 자신들의 필요성에 따라 맞춤형 치수(custom dimension)들을 정의하기를 원할 수 있다. 신속하고 직관적인 방식들로 3D 이미지들로부터 일반적이고 임의적인 정량적 정보를 유도하기 위한 효율적인 작업흐름들이 정의되어야 한다.
[0005] 서론으로서, 아래에서 설명되는 바람직한 실시예들은 의료 스캐너를 이용한 이미징에서의 측정 포인트 결정을 위한 방법들, 컴퓨터-판독가능 매체들, 및 시스템들을 포함한다. 사용자는 이미지 상의 위치를 선택한다. 그 위치를 사용하기보다는, 이미지 내에 표현된 로컬 경계(local boundary) 또는 랜드마크(landmark)에 대응하는 "의도된(intended)" 위치가 식별된다. 의료 스캐너는 단순한 사용자 인터페이스를 사용하여, 측정을 위한 포인트들을 더 정확하게 결정한다. 사용자가 선택한 위치로부터 하나 이상의 광선(ray)들이 캐스팅(cast)된다. 광선 또는 광선들을 따라 데이터를 조사함으로써, 실제 위치가 발견된다. 2D 이미징(예컨대, 3D 볼륨(volume)으로부터 컴퓨팅된 MPR 이미지 또는 네이티브(native) 2D 스캔 이미지)의 경우, 광선들은 평면 내에서(즉, 평면과 평행하게) 캐스팅된다. 3D 이미징의 경우, 깊이를 발견하기 위해, 광선은 관찰 방향(view direction)을 따라 3D 볼륨을 향해 캐스팅된다. 광선을 따르는 또는 광선 주변의 강도(intensity)들은, 이를테면, 광선 주변의 제한된 구역에 대한 기계-학습 분류기(machine-learnt classifier)의 적용에 의해 또는 임계치와 관련하여 광선을 따라 강도들을 발견함으로써, 실제 위치를 발견하는 데 사용된다.
[0006] 제1 양상에서, 초음파 스캐너를 이용한 이미징에서의 측정 포인트 결정을 위한 방법이 제공된다. 초음파 이미지는 환자의 조직(tissue)의 볼륨을 나타내는 초음파 데이터로부터 디스플레이 상에 3차원으로 렌더링된다. 사용자 입력 디바이스는 초음파 이미지 상에서의 측정 캘리퍼(measurement caliper)의 포지션(position)을 수신한다. 광선은, 측정 캘리퍼의 포지션으로부터 볼륨 내로의 관찰 방향을 따라 정의된다. 광선을 따르는 깊이는, 광선 주변으로 제한되고 광선을 포함하는, 볼륨의 서브-구역(sub-region)으로부터의 초음파 데이터의 입력에 기반하여, 기계-학습 분류기를 이용하여 식별된다. 이미지 프로세서는, 깊이 및 측정 캘리퍼의 포지션의 함수로써 정량적 값(quantity)을 계산한다. 정량적 값이 출력된다.
[0007] 제2 양상에서, 의료 스캐너를 이용한 이미징에서의 측정 포인트 결정을 위한 방법이 제공된다. 디스플레이는 환자의 조직을 나타내는 강도들로부터 맵핑된(mapped) 의료 이미지를 디스플레이한다. 사용자 입력 디바이스는 의료 이미지 상에서의 측정 캘리퍼의 포지션을 수신한다. 측정 캘리퍼의 포지션으로부터 연장되는 광선이 정의된다. 광선 주변으로 제한되고 광선을 포함하는 서브-구역으로부터의 강도들에 기반하여, 광선을 따르는 위치가 식별된다. 이미지 프로세서는 위치의 함수로써 정량적 값을 계산한다. 정량적 값이 출력된다.
[0008] 제3 양상에서, 의료 초음파 시스템은 환자의 볼륨을 스캔하도록 구성된 초음파 스캐너, 환자의 볼륨의 볼륨 렌더링된 이미지(volume rendered image) 상의 포지션의 표시를 수신하도록 구성된 사용자 입력 디바이스, 및 이미지 프로세서를 포함한다. 이미지 프로세서는, 포지션으로부터 관찰 방향을 따라 광선을 캐스팅하고, 볼륨의 스캔으로부터의 초음파 데이터에 기반하여 광선을 따라 위치를 선택하고, 그리고 위치 및 포지션에서 포인트를 표시하는 그래픽(graphic)을 생성하도록 구성된다.
[0009] 본 발명은 다음의 청구항들에 의해 정의되며, 본 섹션(section)의 어떤 것도 그러한 청구항들에 대한 제한으로서 고려되지 않아야 한다. 본 발명의 추가의 양상들 및 장점들은 바람직한 실시예들과 함께 아래에서 논의되며, 나중에 독립적으로 또는 결합되어 청구될 수 있다.
[0010] 컴포넌트(component)들 및 도면들은 반드시 실척에 맞는 것은 아니며, 대신에 본 발명의 원리들을 예시할 때 강조가 이루어진다. 더욱이, 도면들에서, 동일한 참조 번호들은 상이한 도면들 전체에 걸쳐 대응하는 부분들을 지시한다.
[0011] 도 1은 의료 이미징에서의 측정 포인트 결정을 위한 방법의 실시예의 플로 차트 다이어그램(flow chart diagram)이고;
[0012] 도 2는, 거리 계산을 위해 정의된 포인트들이 있는, 볼륨 렌더링된 의료 이미지(volume rendered medical image)들의 예들을 도시하고;
[0013] 도 3은, 거리 계산을 위해 정의된 포인트들이 있는, 볼륨 렌더링된 의료 이미지들의 다른 예들을 도시하고;
[0014] 도 4는 의료 이미지(medical image)에서 경계를 수동으로 트레이싱(tracing)하기 위한 예시적인 시퀀스(sequence)를 도시하고;
[0015] 도 5는 볼륨의 상이한 렌더링(rendering)들을 이용한 컨투어링(contouring)의 예를 도시하고; 그리고
[0016] 도 6은 측정 포인트 결정을 위한 시스템의 일 실시예의 블록 다이어그램(block diagram)이다.
[0017] 사용자 인터페이스는 사용자에 의한 부정확한 캘리퍼 배치를 허용하고, 정량화를 위해 정교화된 포지션(refined position)을 자동으로 선택한다. 의료 스캐너를 이용하여, 이를테면, 컴퓨터 단층촬영(CT; computed tomography), 자기 공명(MR; magnetic resonance), 초음파(예컨대, TEE, TTE, ICE 또는 다른 종류의 트랜스듀서(transducer)), 또는 이러한 모달리티(modality)들의 조합을 이용하여, 2D 평면 또는 3D 볼륨 데이터세트들이 포착된다. 3D 볼륨 시각화 또는 2D 평면(예컨대, 2D MPR) 이미지 상에서 랜드마크(landmark)들, 컨투어들 또는 볼륨 메시(volumetric mesh)들이 반자동 방식으로 효율적으로 표시된다. 원하는 위치는 2D 이미지 내의 포지션, 또는 볼륨 렌더링 내에 표면으로서 시각화된 구조 상에서 수동으로 선택된다. 그런 다음, 마우스 포인터 근처의 구조들이 선택되거나 또는 제안되는데, 이를테면, 장기(organ) 또는 혈액 풀(blood pool)의 경계를 선택하거나 또는 구별되는 해부학적 랜드마크를 선택한다. 선택된 랜드마크 포인트들 및 컨투어들은 오버레이된 그래픽(overlaid graphic)으로 시각화될 수 있고, 포인트들에 기반하여 측정들이 계산된다. 3D+t가 이용가능한 경우(예컨대, 심장 초음파의 경우에서 볼륨 ICE, TTE, 또는 3D TEE), 시간의 경과에 따른 변동(variation)과 함께 정량화가 수행될 수 있다. 정량화는 다른 이미징, 이를테면, 아나토미를 오버레이(overlay)하기 위한 융합 다중-모달리티 이미징(fusing multi-modality imaging) 및 형광투시법(fluoroscopy)에 대한 초음파로부터의 측정 그래픽스와 관련될 수 있다.
[0018] 일 실시예에서, 3D 볼륨 스캔들을 위해 랜드마킹(landmarking) 및 측정들이 제공된다. 볼류메트릭 의료 이미지(volumetric medical image)의 3D 시각화와의 사용자 직관적 상호작용들이 제공된다. 표면들로서 시각화되는 장기 부분들(예컨대, 3D 심장 초음파 스캔의 경우에서는 혈액-조직 계면들) 상의 포인트들이 식별된다. 원하는 3D 위치를 발견하고 검증할 때까지 직교 MPR(orthogonal MPR)들에 걸쳐 스크롤(scroll) 해야 하는 대신에, 사용자는 단지 3D 볼륨 시각화를 클릭(click) 하면 된다. 이미지 프로세서는 클릭 및 광선 캐스팅(ray casting) 시에 커서(cursor)의 선택된 포지션을 사용하여, 포인트들을, 예컨대, 심장내막 벽(endocardial wall) 상에, 승모판 고리(mitral valve annulus) 상에, 판막엽(leaflet)들 상에, 또는 의료용 임플란트(medical implant)를 포함하는 불투명한 표면으로서 시각화되는 임의의 다른 구조 상에 배치한다. 2D 이미징의 경우(예컨대, MPR에서), 사용자는 포지션을 선택하고, 그런 다음, 그 포지션은 광선 캐스팅을 사용하여 경계 또는 랜드마크에 대해 외삽된다(extrapolated). 트레이싱의 경우, 사용자의 부정확한 "스크리블링(scribbling)"은 광선 캐스팅을 사용하여 가까운 경계를 따라 정교화될 수 있다. 로컬 광선(local ray)들을 따르는 데이터로 탐색을 제한함으로써, 전체 경계를 발견하는 것과 비교할 때 실시간으로 정교화(refinement)가 일어날 수 있다.
[0019] 이러한 접근법은, 볼륨 렌더링 상에서 하나 이상의 위치들을 직접적으로 지정하는 것을 가능하게 하여, 각각의 위치를 발견하기 위한 번거로운 MPR 내비게이션(navigation)을 감소시킨다. 깊이 및/또는 3D 포인트를 정의하기 위해 어떤 MPR도 포지셔닝될(positioned) 필요가 없는데, 왜냐하면, 포인트들이 볼륨 렌더링에 직접적으로 배치될 수 있기 때문이다. 볼륨 렌더링 또는 2D 이미지(예컨대, MPR) 상의 임의적인 형상들의 윤곽형성(contouring)이 용이하게 되어, 사용자가 덜 정확하게 트레이싱(trace)하는 것을 허용한다. 탐색은 사용자가 선택한 포지션 근처의 구역으로 제한되기 때문에, 실시간 랜드마크 식별에 의해, 발전된 작업흐름들을 위한 원활한 상호작용이 제공된다. 랜드마크를 정확하게 발견하기 위해 기계 학습이 사용되는 경우, 광선에 의해 제한된 탐색 구역은 랜드마크의 더 신속한 식별을 가능하게 하고 그리고/또는 장기들 또는 장기의 부분들에 대해 일반적인 분류기의 훈련(training)을 가능하게 한다. 경계들을 발견하기 위해 장기와 무관하게 동일한 분류기가 적용되어서, 랜드마크 결정을 견고하고 다재다능하게 만들 수 있다. 통상적으로, 광범위한 장기 모델링(organ modeling)은, 반드시 상호작용 프레임 레이트들로 동작할 필요는 없고, 대략 수 초의 실행 시간들로 동작한다. 정의된 광선 주변의 탐색 공간을 감소시킴으로써, 더 신속한 식별이 제공된다. 스캔 변환 이전에 구-좌표(spherical coordinate)들로 데이터를 연산하고, 그에 따라 계산 시간을 감소시킴으로써, 추가의 속도 증가가 제공된다.
[0020] 도 1은 의료 스캐너, 이를테면, 초음파 스캐너를 이용한 이미징에서의 측정 포인트 결정을 위한 방법의 일 실시예를 도시한다. 의료 이미징에서의 정량화를 위해, 사용자는 포인트 또는 일련의 포인트들을 선택한다. 이미지 프로세서는, 포인트에 대해 로컬화된(localized) 경계 또는 랜드마크 탐색에 기반하여 선택을 정교화하여, 정확한 사용자 입력을 요구하지 않으면서, 반자동의 신속한 포인트 결정을 가능하게 한다. 포인트 결정은 사용자 선택 포인트로부터의 광선 캐스팅을 사용하여, 평면 이미지 또는 볼륨 렌더링 상에서 수행될 수 있다.
[0021] 방법은 의료 진단 이미징 시스템, 리뷰 스테이션(review station), 워크스테이션(workstation), 컴퓨터, PACS 스테이션, 서버, 이들의 조합들, 또는 의료 이미지 프로세싱을 위한 다른 디바이스에 의해 구현된다. 예컨대, 도 6에 도시된 초음파 시스템(10) 또는 메모리(14) 및 이미지 프로세서(12)가 방법을 구현한다. 초음파 대신에 CT 또는 MR과 같은 다른 시스템들 또는 스캐너들이 사용될 수 있다. 또 다른 실시예들에서, 컴퓨터, 서버, 또는 워크스테이션은 메모리로부터 의료 이미지 데이터를 획득하며, 의료 스캐너는 제공되지 않는다.
[0022] 본원의 예들은 초음파 이미징을 위해 제공된다. 대안적인 실시예들에서, 의료 이미징을 할 수 있는 다른 의료 모달리티들, 이를테면, 자기 공명, 컴퓨터 단층촬영, 양전자 방출 단층촬영, 단일 광자 방출 컴퓨터 단층촬영, 또는 x선이 사용된다.
[0023] 방법은 도시된 순서로 또는 상이한 순서로 구현된다. 평면 또는 볼륨을 나타내는 동일한 데이터 세트가 모든 동작들(62-74)에 대해 사용된다. 이를테면, 심장 사이클(heart cycle)에 걸친 데이터 세트들의 시퀀스에 대해, 하나의 데이터 세트에서 동작(68)에서 위치를 식별한 후에, 동작들(64-68) 대신 동작(70)이 수행된다. 동작들(72 및 74)에서, 정량적 값이 계산되고 시간의 함수로써 출력된다. 대안적으로, 동작들(64-68)은 시퀀스를 거치며 각각의 데이터 세트 및 대응하는 시간에 대해 반복된다.
[0024] 동작들은 스캔 동안 실시간으로 또는 스캔 후 리뷰(post scan review)로 수행된다. 측정에 사용할 주어진 데이터 세트의 선택 또는 프리즈 동작(freeze operation)이 사용될 수 있다. 사용자는 스캔하는 동안 이미지들을 관찰하고 이미지들과 상호작용할 수 있는데, 이를테면, 정지 이미지(frozen image)와 상호작용하고, 그런 다음, 포인트 위치가 실시간으로 시퀀스를 통해 트래킹된다(tracked).
[0025] 추가의 동작들, 상이한 동작들 또는 더 적은 동작들이 수행될 수 있다. 예컨대, 동작(70)은 선택적이다. 다른 예로서, 동작(62)에서 디스플레이를 위해 사용되는 데이터를 포착하기 위해 스캔이 수행된다. 또 다른 예에서, 정량적 값은 동작(72)에서 계산되고 동작(74)에서 출력되지 않는다. 일 예에서, 동작들(72 및 74)은 수행되지 않지만, 그 대신에, 선택된 포인트 또는 포인트들의 그래픽 또는 다른 강조(highlight)가 이미지와 함께 출력된다.
[0026] 동작(62)에서, 이미지 프로세서 또는 의료 스캐너가 의료 이미지를 디스플레이한다. 의료 이미지를 디스플레이하기 위해, 환자가 스캔된다. 스캔을 위해, 초음파 트랜스듀서가 환자 근처에, 환자 상에, 또는 환자 내에 배치된다. 일 실시예에서, 볼륨 스캐닝 트랜스듀서, 이를테면, 기계적 와블러(mechanical wobbler), 경식도 심초음파(TEE; transesophageal echocardiogram) 어레이, 심장내 심장초음파(ICE; intra-cardiac echocardiography) 어레이, 또는 다차원 어레이가 포지셔닝된다. 평면 또는 2D 이미징의 경우, (예컨대, MPR을 위한) 볼륨 스캐닝 트랜스듀서 또는 2D 이미징 트랜스듀서(예컨대, 1D 어레이)가 사용될 수 있다. 환자 근처에서의 또는 환자 상에서의 경우, 트랜스듀서는 피부 상에 바로 포지셔닝되거나 또는 환자의 피부에 음향적으로 연결된다. 환자 내부에서의 경우, 환자 내부로부터 스캔하기 위해, 수술중(intraoperative), 인터캐비티(intercavity), ICE 어레이, TEE 어레이, 또는 환자 내부에 포지셔닝가능한 다른 트랜스듀서가 사용된다.
[0027] 사용자는, 이를테면, 핸드헬드 프로브(handheld probe)를 사용하거나 또는 스티어링 와이어(steering wire)들을 조작하여, 트랜스듀서를 수동으로 포지셔닝할 수 있다. 대안적으로, 로봇식 또는 기계적 메커니즘이 트랜스듀서를 포지셔닝한다.
[0028] 환자의 볼륨 구역이 스캔된다. 대안적으로, 환자의 2D 또는 단지 평면이 스캔된다. 식도(esophagus)로부터 또는 다른 음향 윈도우(acoustic window)를 통해 전체 심장 또는 심장의 부분이 스캔될 수 있다. 환자의 다른 장기들 또는 부분들이 스캔될 수 있다. 구역 내에는 하나 이상의 오브젝트(object)들, 이를테면, 심장, 장기, 혈관, 유체 챔버(fluid chamber), 응혈(clot), 병변(lesion), 근육, 및/또는 조직이 있다. 어레이는 음향 에너지를 생성하고 응답 에코들을 수신한다.
[0029] 하나 이상의 세트들의 초음파 데이터가 획득된다. 초음파 데이터는, 디스플레이된 이미지(예컨대, 검출되고 스캔 변환된 초음파 데이터), 빔형성된(beamformed) 데이터, 검출된 데이터, 및/또는 스캔 변환된 데이터에 대응한다. 초음파 데이터는 환자의 구역을 나타낸다. 다수의 평면 슬라이스(planar slice)들에 대한 데이터는 볼륨 구역을 나타낼 수 있다. 대안적으로, 볼륨 스캔이 사용된다.
[0030] 초음파 데이터는 임의의 이미징 모드, 이를테면, 흐름 모드(flow mode) 또는 B-모드에 대한 것이다. 흐름 모드는 도플러(Doppler) 또는 다른 모션(motion) 추정들(예컨대, 컬러(color) 또는 도플러 속도 또는 에너지)을 포함한다. 구조 또는 공간적 양상의 형상이 B-모드 데이터에서 반영될 수 있다.
[0031] 동작(62)에서, 디스플레이 디바이스가 의료 이미지를 디스플레이한다. 의료 이미지는 환자의 조직 및/또는 다른 오브젝트들을 나타내는 강도들로부터 맵핑된다. 스캔은 강도들을 제공한다. 예컨대, 강도들은 초음파 스캔으로부터의 B-모드 또는 흐름 모드 값들이다. 다른 예로서, 강도들은 검출 전에 빔형성(beamforming)에 의해 생성된다. 검출 후에, 강도들에 대한 스칼라 값(scalar value)들이 스캔 변환되어, 상이한 포맷(format)의 강도들을 제공할 수 있다. 스칼라 값들을 동적 범위에 그리고 이미지 이득과 맵핑함으로써, 디스플레이 값들이 강도들로서 생성된다. 의료 이미지는 컬러 또는 그레이-스케일(gray-scale) 이미지이다. 심장 이미징 또는 몸체의 다른 부분들의 이미징이 제공될 수 있다.
[0032] 일 실시예에서, 의료 이미지는 초음파에 의해 스캔된 조직의 볼륨의 볼륨 렌더링된 이미지이다. 표면 렌더링, 프로젝션(projection), 경로 트레이싱, 또는 다른 볼륨 렌더링 기법을 사용하여, 볼륨을 나타내는 데이터가 이미지로 렌더링된다. 이미지 프로세서(예컨대, 그래픽스 프로세싱 유닛(graphics processing unit))가 이미지를 디스플레이 상에 렌더링한다.
[0033] 이미지는 전체 볼륨 또는 볼륨의 비-평면 부분으로부터의 정보를 포함한다. 예컨대, 주어진 픽셀(pixel)의 값은 픽셀을 통해 관찰 방향(viewing direction)을 따라 지나가는 라인(line)을 따르는 다수의 복셀(voxel)들로부터 결정된다. 비교를 사용하여, 표면의 값(예컨대, 임계치를 초과하는 첫번째 값 또는 가장 높은 값)이 선택된다. 다른 접근법에서, 알파 블렌딩(alpha blending) 또는 다른 프로젝션 접근법은 라인을 따라 데이터를 결합한다. 볼륨 렌더링된 이미지는 볼륨 내의 평면이라기 보다는 3차원으로 이격된 데이터로부터 생성된다. 초음파를 이용하여, 실시간 볼륨 스캔이 제공되어, 볼륨 렌더링된 초음파 이미지들의 시퀀스가 실시간으로 디스플레이되도록 할 수 있다.
[0034] 다른 실시예에서, 의료 이미지는 단지 평면을 나타내는 강도들로부터 생성된다. 평면이 스캔되고, 이미지는 스캔으로부터 생성된다. 대안적으로, 볼륨 내에서 평면이 정의된다. 이를테면, MPR을 이용하여 의료 이미지를 생성하기 위해, 평면을 나타내는 3D 스캔 또는 볼륨으로부터의 강도들이 사용된다. 볼륨 데이터 세트로부터 단지 평면 상의 강도들을 결정하기 위해, 내삽(interpolation)이 사용될 수 있다.
[0035] 동작(64)에서, 사용자 입력 디바이스는 의료 이미지 상에서의 측정 캘리퍼의 포지션을 수신한다. 프로세서는 사용자 입력 디바이스로부터 포지션을 수신한다. 예컨대, 도 2에서, 사용자는 사용자 입력 디바이스를 사용하여 볼륨 렌더링된 이미지(38) 상에 측정 표시 또는 캘리퍼(42)를 배치한다. 사용자는 측정을 위해 원하는 위치에 캘리퍼(42)를 포지셔닝(position)한다. 일단 포지셔닝되면, 사용자는, 이를테면, 버튼(button)을 누름으로써(예컨대, 마우스를 클릭(clicking) 함으로써) 측정 캘리퍼를 활성화시킨다.
[0036] 입력 디바이스는, 디스플레이되는 의료 이미지, 이를테면, 3차원 오브젝트의 렌더링된 볼류메트릭 이미지 상에, 사용자 선택 측정 위치를 제공한다. 볼륨 렌더링의 경우, 스크린 상의 위치는 볼륨 렌더링된 이미지의 관찰 방향을 따르는 또는 관찰 방향에 대한 가능한 깊이들의 범위에 대응한다. 3차원에서의 포인트는, 볼륨 렌더링된 이미지(38) 상의 2D 포지션의 사용자 선택에 기반하여서는 불확실하다(indeterminate). 사용자 입력 포지션은 또한, 정확하지 않을 수 있다. 2D 이미징의 경우, 위치는 사용자 입력 위치 근처의 가능한 랜드마크 또는 경계 위치들의 범위에 대응한다. 사용자 입력 포지션은 정확하지 않을 수 있다.
[0037] 하나보다 많은 캘리퍼(42)의 포지션들이 수신될 수 있다. 거리 측정의 경우, 2 이상의 캘리퍼들(42)의 포지션들(예컨대, 도 2의 좌측의 2개의 이미지들) 또는 측정 형상들(예컨대, 타원형 또는 박스형(box))이 수신되고, 2개의 포지션들을 연결하는 그래픽(44)이 디스플레이될 수 있다. 그래픽(44)은 동작(68)에서의 식별 및/또는 동작(72)에서의 계산 후에 디스플레이된다. 면적(area) 또는 볼륨 측정들의 경우, 3개 이상의 캘리퍼 포지션들(44)이 수신될 수 있다. 예컨대, 사용자는 경계, 이를테면, 혈액/조직 경계를 트레이싱한다.
[0038] 도 1의 동작(66)에서, 이미지 프로세서는 각각의 측정 캘리퍼의 포지션으로부터 연장되는 광선을 정의한다. 광선은 하나의 방향으로 연장되거나(즉, 그 포지션에서 시작함) 또는 다수의 방향들로 연장된다(즉, 그 포지션을 통해 연장됨). 사용자 입력 포지션은 광선 상의 포인트를 결정한다.
[0039] 어레이의 길이는 디폴트(default)로 세팅된다. 길이는 이미징된 영역 또는 볼륨에 기반할 수 있는데, 이를테면, 시야(field of view)의 에지(edge)까지 연장된다. 광선은 캘리퍼 포지션(44)으로부터 주어진 거리에서 끝날 수 있다. 임의의 길이가 사용될 수 있다.
[0040] 광선의 방향은 이미징의 유형에 기반한다. 2D 이미지 또는 단지 평면을 나타내는 이미지의 경우, 광선은 평면 내에 있다. 임의의 각도 간격을 갖는 복수의 광선들이 캘리퍼 포지션을 통해 또는 캘리퍼 포지션으로부터 정의된다. 예컨대, 하나의 또는 다수의 방향들로 연장되는 4개, 8개, 또는 16개의 광선들이 정의된다. 대안적으로, 이를테면, 평면 이미지를 생성하기 위해 볼륨 스캔이 수행되고 사용되는 경우(예컨대, MPR), 하나 이상의 광선들이 평면 밖으로 연장된다. 다른 대안들에서, 이를테면, 사용자가 캘리퍼를 포지셔닝한 2D MPR 이미지로 디스플레이된 볼륨 렌더링의 관찰 방향을 따라, 단일 광선이 형성된다.
[0041] 볼륨 렌더링된 의료 이미지의 경우, 하나의 방향을 따라 단일 광선이 정의된다. 광선은 관찰 방향을 따라 연장된다. 광선은 캘리퍼(44)의 포지션을 통해 또는 캘리퍼(44)의 포지션으로부터 관찰 방향을 따라 정의된다. 광선은 포지션으로부터 1개 또는 2개의 방향들로 연장된다. 예컨대, 광선은 반대 방향들로 포지션을 넘어 연장되는 광선 또는 광선을 따라 센터링된(centered) 포지션으로 캐스팅된다. 볼륨 렌더링된 이미지의 3D 렌더링으로부터의 관찰 방향은 광선의 방향을 정의한다. 마우스 포지션 및 카메라 포지션(camera position)은 광선 캐스팅을 위해 볼륨 내의 위치 또는 픽셀 및 관찰 방향을 제공한다. 광선은, 3D 볼륨 시각화를 렌더링할 때의 광선 캐스팅과 같이, 카메라 방향을 따라 볼륨을 향해 트레이싱된다(traced). 대안적으로, 카메라로부터 발산(diverging)되는 상이한 각도 간격을 갖는 광선들, 또는 사용자 선택 픽셀로부터 프로젝션 평면 또는 카메라에 수직인 중심 광선을 갖는 평행 광선들과 같은 다수의 광선들이 형성된다.
[0042] 각각의 사용자 선택 포지션에 대해 하나 이상의 광선들이 정의된다. 랜드마크가 로케이팅되는(located) 경우, 하나의 사용자 선택 포지션이 수신될 수 있다. 거리가 측정되는 경우, 2개의 사용자 선택 포지션들이 수신될 수 있다. 면적 또는 볼륨이 측정되는 경우, 2개(예컨대, 2개의 위치들에 의해 정의된 피팅 영역 형상(fit area shape)), 3개(예컨대, 3개의 위치들에 의해 정의된 피팅 볼륨 또는 영역 형상), 또는 그보다 많은(예컨대, 경계의 사용자 트레이싱)가 수신된다. 또한, 이들 형상들은 후속적인 단계에서 정교화될 수 있다. 광선들은 사용자 입력 포지션들 각각에 대해 정의된다. 광선들은, 사용자 입력 포지션들 사이에 내삽되는 위치들과 같이, 다른 포지션들에 대해 정의될 수 있다. 광선들을 정의하는 것은 임의의 횟수들로 반복된다.
[0043] 광선은 스캔 데이터의 서브-세트(sub-set)를 정의한다. 예컨대, 광선은 볼륨 또는 평면 내에 라인을 정의한다. 초음파 강도들은, 라인을 따르는 강도들 또는 라인을 따르도록 내삽에 의해 형성되었을 수 있는 강도들을 포함한다. 대안적으로, 광선은 실린더(cylinder), 원뿔(cone) 또는 광선에 관한 다른 형상으로 스캔 데이터의 서브-세트를 정의한다. 단지 광선을 따르는 강도들만을 사용하기보다는, 광선으로부터 주어진 거리 내의 또는 평행 광선들을 따르는 강도들이 사용된다.
[0044] 서브-세트 내의 또는 라인을 따르는 강도들은 경계 또는 다른 랜드마크를 나타낼 수 있다. 동작(68)에서, 이미지 프로세서는 광선을 따라 위치를 식별한다. 다수의 광선들이 존재하는 경우, 이미지 프로세서는 광선들 중 하나를 따라 위치를 식별하고, 또한 특정 광선을 식별한다. 광선이, 광선으로부터의 거리 내의 위치들을 포함하는 볼륨 또는 영역 서브-세트(즉, 광선 주변으로 제한되고 광선을 포함하는 서브-구역)를 정의하는 경우, 이미지 프로세서는 영역 또는 볼륨 내의 위치를 식별한다.
[0045] 각각의 사용자 입력 포지션 및 대응하는 광선 또는 광선들에 대해, 위치가 식별된다. 식별은 사용자 입력으로부터 수신된 각각의 포지션에 대해 반복된다.
[0046] 주어진 포지션에 대해 다수의 광선들이 정의되는 경우, 각각의 광선을 따라 위치가 발견된다. 그런 다음, 사용자 입력 포지션에 가장 가까운 위치가 선택된다. 평면 내의 광선들의 경우, 사용자 입력 포지션에 가장 가까운 랜드마크 또는 경계의 대응하는 위치 및 그 광선이 선택된다. 위치에 대한 탐색은 클릭된 포인트(clicked point)를 중심으로 동심원의 광선들을 따라 실행된다. 볼륨을 통해 캐스팅된 광선의 경우, 사용자 포지션은 어떤 정의된 깊이도 갖지 않는다. 대신에, 카메라 포지션으로부터의 광선 또는 관찰 방향을 따라 제1 경계 또는 랜드마크가 로케이팅된다. 2차원에서의 사용자 입력 포지션 및 깊이에서 3차원에서의 위치가 식별된다. 볼륨이 사용자에게 불투명하게 보이는 경우, 마우스 포인터 아래의 3D 볼륨의 볼륨 렌더링된 뷰 상의 포인트가 식별된다.
[0047] 위치는 강도들(예컨대, 의료 스캔 데이터)에 기반하여 식별된다. 식별하기 위해, 광선으로부터의 강도들 또는 광선을 포함하여 광선 주변의 서브-구역으로부터의 강도들이 사용된다. 대안적으로 또는 부가적으로, 다른 정보, 이를테면, 강도들로부터 계산된 그레디언트(gradient)들, 다른 모달리티들로부터의 스캔 데이터, 및/또는 임상 정보(clinical information)(예컨대, 연령, 성별, 체중, 및/또는 혈액 생체지표 값(blood biomarker value)들)가 사용될 수 있다.
[0048] 프로세싱 체인(processing chain)에서 다른 포인트들로부터의 강도들 또는 디스플레이된 이미지(즉, 디스플레이 값들)에 대한 강도들이 사용된다. 예컨대, 스캔 변환 전에(즉, 극-좌표 또는 구-좌표 스캔 포맷의), 검출된 초음파 데이터로부터의 강도들이 사용된다. 다른 예에서, 디스플레이 값들에 맵핑되기 전에, 데카르트 좌표 포맷(Cartesian coordinate format)(즉, 스캔 변환됨)의 강도들이 사용된다. 강도들은 동적 범위 및 이미지 이득 맵핑에 종속될 수 있거나 또는 종속되지 않을 수 있다.
[0049] 일 실시예에서, 위치를 식별하기 위해 임계치가 사용된다. 2D 의료 이미지의 경우 사용자 선택 포인트로부터 또는 3D 렌더링된 이미지의 경우 카메라 포지션으로부터 시작하여 강도들이 검사(examine)된다. 각각의 강도가 임계치와 비교된다. 임계치를 초과하는 첫번째 강도의 위치가 식별된다. 임계치를 초과하는 가장 가까운 강도가 식별된다. 강도들은 저역 통과 필터링될(low pass filtered) 수 있거나, 또는 위치는, 소정의 개수의 인접한 강도들이 임계치를 초과하는 위치일 수 있다. 임계치를 초과하면 위치가 식별된다. 대안적으로, 임계치 미만으로 떨어지면 위치가 식별된다.
[0050] 일 실시예에서, 강도들은 불투명도(opacity)를 확립하는 데 사용된다. 위치를 식별하기 위해 볼륨 렌더링 기법들이 사용된다. 광선을 따라 볼륨을 가로지르는 동안, (예컨대, 실제 볼륨 시각화와 매칭(match)시키기 위해) 전달 함수를 사용하여 복셀 값들이 맵핑된다. 볼륨 렌더링과 유사하게, 렌더러(renderer)의 시각화 세팅(visualization setting)들에 맞게 조정하기 위해, 임의의 이미지 이득 및 동적 범위가 사용된다. 광선을 따르는 복셀들은, 불투명한 볼륨 표면에 대응하는 미리 정의된 임계치에 도달할 때까지 통합된다. 공간은 "스크린으로부터 시작하여"(즉, 월드 좌표(world coordinate)들에서 클릭된 포인트로부터 시작하는 뷰 프러스텀(view frustum)의 "가까운 평면"의 법선을 따라) 볼륨을 향해 횡단된다. 통합 없이, 볼륨 강도들은 소정의 강도 임계치를 초과할 때까지 샘플링된다(sampled).
[0051] 다른 실시예에서, 기계-학습 분류기가 위치를 식별한다. 볼륨 강도들을 직접적으로 사용하는 대신에, 강도들로부터 위치를 견고하게 결정하기 위해, 학습 기반 방법들이 사용된다. 강도들 및/또는 강도들로부터 유도된 입력 특징(input feature) 값들(예컨대, 하 웨이블릿들(Haar wavelets))이 기계-학습 분류기에 입력된다. 다른 실시예에서, 강도들은, 이미지의 판별 포인트(discriminant point)들을 결정하기 위해 헤센-오브-가우스(Hessian-of-Gaussian) 또는 다른 필터 커널(filter kernel)을 이용하여 콘볼루션된다. 콘볼루션(convolution)의 결과들은 분류기에 입력된다. 광선 또는 광선들에 의해 정의된 서브-구역으로부터의 정보가 기계-학습 분류기에 제공된다.
[0052] 분류기는, 입력 특징 벡터에 기반하여, 위치의 식별을 출력한다. 기계-학습 분류기의 적용에 의해, 깊이, 랜드마크, 및/또는 경계 포인트가 식별된다. 예컨대, 광선을 따르는 깊이는, 광선 주변으로 제한되고 광선을 포함하는 볼륨의 서브-구역으로부터의 초음파 데이터의 입력에 기반하여 기계-학습 분류기를 이용하여 식별된다.
[0053] 분류기의 적용 속도를 높이기 위해, 서브-구역이 사용된다. 시야로부터 장기의 부분 또는 전체 장기를 세그먼트화(segment)하도록 시도하기보다는, 정의된 광선에 기반한 서브-구역이 탐색 구역을 제한한다. 예컨대, 서브-구역은 스캔된 볼륨의 5% 미만이다. 이는, 랜드마크, 경계, 또는 다른 위치의 더 신속한 식별을 가능하게 할 수 있다. 탐색 구역이 제한되기 때문에, 기계-학습 분류기는 특정 장기들에 무관하게 위치를 식별하도록 훈련될 수 있다. 하나의 분류기는, 장기의 부분 또는 심지어 장기에 특정되지 않으면서 경계를 발견하도록 훈련될 수 있다. 이러한 일반화는 시간 소모적인 장기 특정적 훈련을 회피할 수 있으며, 중요하게는 임의적인 장기들 및 랜드마크들에 대한 기법의 적용가능성을 일반화한다. 대안적인 실시예들에서, 기계-학습 분류기는 장기, 조직, 또는 부분 특정된다.
[0054] 일 예에서, 기계-학습 분류기는 서브-구역에 대한 초음파 데이터로부터 그레디언트들 및/또는 초음파 데이터로부터 관찰 방향을 따라 깊이를 식별하도록 트레이닝된다. 트레이닝(training)은 심장내 혈액 풀 경계(intra-cardiac blood pool boundary)와 같은 장기들의 경계들을 따라 포인트들을 발견하는 것이다. 볼륨 그레디언트들 및 강도들은 결합된 특징 벡터(combined feature vector)로 결합된다. 분류기, 이를테면, 확률적 부스팅 트리(probabilistic boosting tree), 지원 벡터 머신(support vector machine), 신경 네트워크(neural network), 베이즈 네트워크(Bayesian network), 또는 심층 신경 네트워크(deep neural network)는, 상이한 주석(annotation)들의 컬렉션으로부터의 이러한 특징들(즉, 그라운드 트루스(ground truth) ― 알려진 위치들 ― 를 이용하여 환자들의 심실(heart chamber) 및/또는 심장 판막(heart valve) 스캔들로부터의 트레이닝 데이터)을 이용하여 트레이닝된다. 분류기가 상이한 장기들 또는 스캐닝 애플리케이션(application)들에 대해 일반적일 수 있는 경우, 트레이닝 데이터는 상이한 장기들 및/또는 스캐닝 애플리케이션들로부터의 샘플(sample)들을 포함한다. 일단 트레이닝되면, 분류기는 런타임(runtime)에서 캐스팅된(casted) 광선을 따라 주어진 환자에 대한 데이터를 평가한다.
[0055] 다른 예에서, 기계-학습 분류기는 인근의 아나토미 랜드마크들을 발견하도록 트레이닝된다. 평면 또는 볼륨 렌더링된 이미지 상의 일반적인 또는 부정확한 위치에서의 사용자 입력 및 결과적인 정의된 광선 또는 광선들에 기반하여, 분류기는, 랜드마크, 이를테면, 승모판 삼각(mitral trigone)들, 심장 판막 교련부(heart valve commissure)들, 승모판 고리, 심근 첨부(myocardial apex), 폐정맥(pulmonary vein)들, LAA 오리피스(orifice), 또는 가장 가까운 경계에 대한 포인트 상으로 "스냅(snap)"하는 데 사용된다.
[0056] 기계-학습 분류기는 매트릭스(matrix) 또는 매트릭스들일 수 있다. 입력 특징 벡터의 값들이 주어지면, 분류기는 그 위치를 출력하도록 트레이닝된다. 예컨대, 광선-정의된 서브-구역으로 공간적으로 크롭핑된(cropped) 강도들을 트레이닝된 신경 네트워크에 제공하면, 신경 네트워크는, 다른 콘볼루션들의 입력 및/또는 결과들로 필터 커널들을 콘볼루션하고, 콘볼루션들의 결과들로부터 위치를 결정한다. 출력은 확률들의 맵(map)(예컨대, 히트 맵(heat map))일 수 있으며, 여기서 맵에 기반하여 위치가 선택되는데, 이를테면, 가장 큰 확률을 갖는 위치가 선택되거나 또는 더 큰 확률들의 구역에 중심을 둔 위치가 선택된다.
[0057] 일 실시예에서, 심층 이미지-투-이미지 신경 네트워크(deep image-to-image neural network)를 트레이닝시키는 것과 같은 심층 학습(deep learning)이 사용된다. 프로그래머 확립 입력 특징 벡터(programmer established input feature vector)에 기반한 트레이닝보다는, 트레이닝은 입력 강도들 및/또는 다른 데이터와의 콘볼루션을 위해 필터 커널들을 학습한다. 대안적으로, 세그넷(SegNet) 또는 다른 심층 학습 기법의 3D 확장이 사용될 수 있다. 신경 네트워크는 특징들을 학습하고, 학습된 특징들에 기반하여 위치를 발견하는 것을 학습한다.
[0058] 다른 실시예에서, 심층 강화 학습(deep reinforcement learning)이 적용된다. 강화를 통해 일련의 이미지 프로세싱 동작들이 학습된다. 분류기는 위치를 식별하기 위해 동작들을 수행하는 것을 학습한다. 인공 에이전트(artificial agent)는 강화를 통해 랜드마크들을 어떻게 발견하는지를 학습한다.
[0059] 혈액-조직 계면들을 발견하기 위해 광선들을 따라 단계적으로 움직이는 동안, 분류기는 볼륨 또는 평면 내의 각각의 샘플링 위치들에 대한 입력 특징 벡터를 평가한다. 이러한 방식으로, 식별은, 임계치와의 비교보다 잡음, 아티팩트(artifact)들 또는 드롭아웃(dropout)에 대해 더 견고하다. 트레이닝은 각각의 포인트 또는 광선 이웃 주변의 상이한 해상도들의 콘텍스트(context)를 통합할 수 있다. 그런 다음, 트레이닝된 분류기는 샘플링 위치들의 이웃에 걸쳐 스캔함으로써 인근의 랜드마크 포인트들을 출력한다.
[0060] 3차원에서 경계를 발견하기 위해, 사용자는 볼륨 렌더링된 이미지 상에 복수의 포지션들을 배치할 수 있다. 그런 다음, 광선 이웃으로 제한된 입력에 기반하여 기계-훈련된 분류기를 적용함으로써 경계 위치들이 발견된다. 그런 다음, 식별된 위치들 및 강도들을 사용하여, 식별된 위치들에 메시(mesh)가 피팅(fit)될 수 있다.
[0061] 2D 이미지에서의 컨투어링의 경우, 컨투어에 대한 위치들이 식별된다. 도 4는 MPR 이미지에 대한 예를 도시한다. 사용자는 커서를 배치하고, 그런 다음, 이 예에서는 혈액 조직 경계인, 경계 주변을 트레이싱한다. 이미지들의 상부 행(row)은 좌측에서 우측으로 순차적으로 수동 트레이싱이 진행되는 것을 도시한다. 그런 다음, 이미지 프로세서는 커서의 위치들을 사용하여, 실제 경계의 가까운 위치들을 식별한다. 캐비티(cavity)의 인근의 경계들을 탐색함으로써(예컨대, MPR 평면 내에 광선들을 캐스팅하고, 장기 또는 혈액 풀 경계 위치들을 결정함으로써), 사용자는 꼼꼼하게(meticulously) 트레이싱하는 대신에 원하는 구조의 근처 주변을 단지 "스크리블링(scribble)"할 수 있다. 실제 컨투어는 마우스 포인터 근처의 높은 강도들에 기반하여 결정된다. 마우스 포인터는 캐비티 경계의 직접 위에서 이동하기보다는 오히려 캐비티 부근을 따라 이동하고, 그에 따라, 꼼꼼하게 트레이싱할 필요성을 제거한다. 도 4의 하부 이미지는, 곡선의 최소 및 최대 직경들 또는 컨투어 길이와 같은, 이미지 상에 오버레이된 컨투어의 측정들을 도시한다.
[0062] 임의의 목적을 위해, 2D 또는 3D에서의 위치는 포지션의 사용자 입력 및 강도들에 기반하여 결정된다. 위치는, 주어진 픽셀에 대한 깊이가 모호할 수 있는, 볼륨 렌더링된 이미지 상의 사용자 입력에 기반할 수 있다. 위치는 볼륨 렌더링된 이미지 상의 사용자 입력에 기반하거나, 또는 사용자 입력이 부정확한 경우에는 단지 평면을 나타내는 2D 이미지에 기반할 수 있어서, 더 용이한 선택을 가능하게 한다. 이미지 프로세서는 사용자 입력 포지션 및 강도들에 기반하여 위치를 식별한다.
[0063] 도 1의 동작(70)에서, 이미지 프로세서는 시퀀스에 걸쳐 식별된 2D 또는 3D 위치를 트래킹(track)한다. 예컨대, 포지션 및 깊이(즉, 3D 포인트)는 시퀀스 내의 이미지들의 초음파 데이터에 걸쳐 트래킹된다. 사용자 입력 및 대응하는 광선 정의 및 위치 식별을 반복하기보다는, 트래킹(tracking)이 사용된다.
[0064] 임의의 트래킹, 이를테면, 스페클 트래킹(speckle tracking), 하나의 이미지로부터 다른 이미지로의 트래킹에 기반한 기계-학습 분류, 또는 시간의 경과에 따른 주어진 위치 또는 구역의 임의의 다른 트래킹이 사용될 수 있다. 각각의 포인트가 개별적으로 트래킹되거나 또는 트래킹은 트래킹되는 다수의 포인트들에 대한 동시적인 솔루션(simultaneous solution)을 포함한다. 트래킹은 시간의 경과에 따른 환자를 나타내는 데이터 세트들을 통해 이루어진다. 이러한 트래킹은 트랜스듀서 및/또는 환자 모션을 고려하여서, 새로운 데이터 세트들이 스캔에 의해 포착됨에 따라 또는 시간의 경과에 따라 식별된 위치들을 동적으로 업데이트할 수 있다.
[0065] 예컨대, 미트라클립 중재적시술(MitraClip intervention)의 경우, 이미지 프로세서는 동작(68)에서 천공 부위(puncture site)의 위치를 식별한다. 이러한 위치는 환자의 볼륨을 나타내는 새로운 데이터 세트들이 포착됨에 따라, 시간의 경과에 따라 트래킹된다. 유사하게, 전달 카테터(delivery catheter)의 팁(tip)이 로케이팅된다. 팁을 트래킹하는 것에 또한 기반하여, 2개의 위치들 사이에 거리가 지속적으로 또는 정기적으로 업데이트될(updated) 수 있다.
[0066] 실시간 랜드마크 트래킹의 경우, 위치 식별 기법은 실시간으로 이미지 상에 랜드마크들을 배치하기 위한 사용자 경험을 향상시킬 수 있다. 일단 마우스 커서가 MPR 위를 맴돌면, 장기 또는 심장 혈액 풀의 가장 가까운 경계가 결정될 수 있다. 일단 결정되면, 이러한 경계 위치는 즉각적으로 시간의 경과에 따라 트래킹될 수 있다. 마우스 포인터를 이동시키고 포인트를 활성화시킴으로써, 나중의 이미지에서의 위치가 정정되어서, 그 나중의 이미지에서 랜드마크를 트래킹할 시작 포지션이 업데이트될 수 있다. 그런 다음, 트래킹은 새로운 입력 포지션으로부터의 광선 캐스팅에 의해 식별된 위치로부터 진행된다. 대안적으로, 트래킹되기보다는 위치 식별이 반복된다. 또 다른 대안들에서, 위치는 소정의 시간 또는 위상(phase) 동안에 식별되고, 다른 시간들 또는 위상들 동안에는 식별되지 않는다.
[0067] 동작(72)에서, 이미지 프로세서는 위치의 함수로써 정량적 값을 계산한다. 2D 또는 3D 위치는 측정 또는 다른 정량화를 위해 사용된다. 예컨대, 볼륨 렌더링에 대해 사용자에 의해 입력된 2D 포지션뿐만 아니라 동작(68)에서 식별된 깊이가 정량화를 위해 사용된다. 다른 예에서, 탐색을 위한 구역을 정의하기 위해 사용자 입력에 기반하여 동작(68)에서 식별된 3D 포인트가 정량화를 위해 사용된다.
[0068] 임의의 정량적 값이 계산될 수 있다. 예컨대, 2개의 엔드 포인트(end point)들 사이의 거리가 계산된다. 캘리퍼들을 조직의 상이한 위치들에 배치함으로써, 위치들 사이의 거리가 측정된다. 병변의 크기, 태아(fetus)의 길이, 뼈의 폭 또는 길이, 또는 다른 아나토미의 디멘션이 측정될 수 있다. 사용자는 MPR 대신 볼륨 렌더링된 이미지의 위치들을 식별할 수 있다. 다른 예로서, 영역, 둘레, 볼륨 또는 다른 공간적 측정이 수행된다.
[0069] 프로세서는 계산을 위해 정의된 포인트 또는 포인트들을 사용한다. 거리의 경우, 볼륨 내에 포지셔닝된 2개의 엔드 포인트들 사이의 거리가 계산된다. 복셀들의 크기 또는 볼륨의 공간 범위는 스캔 기하형상으로부터 알려진다. 3차원 공간 내에 2개의 엔드 포인트들을 정의함으로써, 포인트들 사이의 거리가 계산된다. 거리는 2차원에서의 포인트들 사이의 거리이기보다는 3차원 공간과 관련된다. 일부 실시예들에서, 포인트들 둘 모두는 동일한 평면 상에 있을 수 있다. 평면에서의 프로세서-보조 위치 식별은 덜 정확한, 따라서 더 용이한 포인트들의 배치를 가능하게 한다.
[0070] 영역, 볼륨, 둘레, 또는 다른 측정들의 경우, 2개 초과의 포인트들이 식별될 수 있다. 사용자는 3차원 공간에서 시드(seed)들에 대한 위치들을 표시할 수 있다. 프로세서는, 계산에서 사용되는 경계를 식별하기 위해, 이를테면, 시드 포인트(seed point)들을 사용한, 임계값 처리(thresholding), 랜덤 워커(random walker) 또는 그레디언트 프로세싱을 사용하여 경계 검출을 수행한다. 식별된 위치들 및 강도 데이터를 사용하여 곡선 또는 형상 피팅(curve or shape fitting)을 하는 것은 피팅 곡선 또는 형상(fit curve or shape)에 대한 정량적 값을 계산하는 데 사용될 수 있다.
[0071] 초음파 데이터에 의해 표현되는 3차원 오브젝트의 공간적 양상이 측정된다. 측정은 의료 이미지 상에 입력된 하나 이상의 위치들에 기반하고, 강도들을 이미지 프로세싱함으로써 더 구체적으로 배치된다.
[0072] 도 2 및 3은 정량적 값으로서 거리를 계산하는 것을 도시한다. 볼륨 렌더링된 이미지(38) 상의 캘리퍼(42)에서의 사용자 선택 포지션들은 깊이를 식별(즉, 3D 포인트를 발견)하기 위해 사용된다. 관심 위치가 사용자에게 보여지도록 카메라 각도가 세팅되었기 때문에, 광선 라인을 따라 경계를 발견하는 것은 관심 깊이를 발견한다. 포인트들의 배치 사이에 뷰를 재배향하거나 또는 재배향하지 않고서 2개의 포인트들을 배치한 후에, 거리가 계산된다. 도 2의 예에서, 거리는 승모판 고리(mitral annulus)(AP)의 직경(즉, 단축)이다. 도 3의 예에서, 거리는 LAA 오스티엄(ostium) 직경이다.
[0073] 도 4 및 5는 경계에 기반하여 계산하는 것을 도시한다. 영역 또는 볼륨(예컨대, 직경), 영역, 볼륨, 및/또는 다른 정량적 값의 디멘션이 경계로부터 계산된다. 경계는 적어도 부분적으로 2D 또는 3D에서의 포인트의 식별에 기반한다. 도 4의 예에서, 사용자는 단축 및 장축을 계산하기 위해 2D 이미지에서의 경계를 트레이싱한다. 도 5의 예에서, 사용자는 볼륨 렌더링으로 표현된 비-평면 구조의 컨투어를 트레이싱한다. 이미지들의 상부 2개의 행들 및 최하부 행의 좌측 이미지는 가상 렌더링 상의 포지션들을 표시하기 위한 커서 배치들을 도시한다. 가상 렌더링은 포지션들 중 일부의 배치를 위해 회전될 수 있다. 각각의 포지션에 대해, 강도들에 기반하여 3D 포인트가 로케이팅된다. 곡선은 포인트들에 피팅되거나 또는 포인트들로부터 내삽된다. 예컨대, 에르미트 스플라인(Hermite spline)이 형성된다. 곡선은 컨투어를 형성한다. 이 예에서, 컨투어는 승모판 고리에 대한 것이다. 정량적 값이 컨투어로부터 계산되어, 예컨대, 컨투어의 길이 또는 둘레, 영역, 최소 직경, 및/또는 최대 직경들을 측정한다. 다른 예들에서, 3D 경계를 정의하기 위해 메시가 피팅되어, 볼륨의 계산을 가능하게 한다.
[0074] 대안적인 실시예들에서, 정량적 값이 계산되지 않는다. 대신에, 시각적 검사를 위해 랜드마크 또는 경계가 식별된다.
[0075] 도 1의 동작(74)에서, 이미지 프로세서는 정량적 값을 출력한다. 정량적 값은 디스플레이에 출력되고, 예컨대, 디스플레이 디바이스에 의해 판독되는 버퍼(buffer) 또는 디스플레이 평면 메모리에 정량적 값이 부가된다. 다른 출력들은 프린터로의 출력, 메모리로의 출력, 또는 네트워크를 통한 출력을 포함한다.
[0076] 볼륨 렌더링된 또는 2D 의료 이미지 근처에, 볼륨 렌더링된 또는 2D 의료 이미지 상에, 또는 볼륨 렌더링된 또는 2D 의료 이미지와 별도로 정량적 값이 디스플레이된다. 예컨대, 볼륨 렌더링된 이미지의 조직 표현 위에, 또는 조직 표현 위가 아닌 배경에 2개의 캘리퍼들(42) 사이의 거리가 디스플레이된다. 이미지들의 실시간 시퀀스가 제시되는 경우, 하나 이상의 위치들을 표시하는 데 사용된 이미지 이후에 생성된 이미지 또는 이미지들 상에 정량적 값이 보여질 수 있다. 정량적 값은 후속적인 이미지 상에 디스플레이된다. 그 데이터 세트에 대한 대응하는 위치들은 트래킹되거나 또는 독립적으로 식별될 수 있다.
[0077] 정량적 값은 텍스트 값 또는 수치 값으로 출력된다. 다른 실시예들에서, 정량적 값은 그래프, 차트, 파형, 스프레드시트, 또는 다른 정량적 값 표시자로 출력된다. 심장 사이클 또는 다른 기간에 걸친 변동을 보여주기 위해 시간에 따른 정량적 값이 출력될 수 있다. 정량적 값은 혼자 또는 다른 값들과 함께 출력될 수 있다. 예컨대, 심장 또는 호흡 사이클을 통한 볼륨 데이터세트들의 시퀀스 또는 시간의 경과에 따른 측정이 출력된다. 다른 예로서, 정량적 값은 노옴(norm), 편차, 또는 비정상적 결과들을 나타내는 다른 정량적 값들과 함께 출력된다. 측정의 그래픽 표현(예컨대, 거리 측정을 위한 엔드포인트(endpoint)들 사이의 점선, 또는 영역 또는 볼륨 관련 측정들을 위한 컨투어 또는 메시)이 만들어지는 것과 같이, 의료 이미지 상에 다른 출력들이 제공될 수 있다.
[0078] 다른 디스플레이 변화가 수행될 수 있다. 예컨대, 볼륨 내의 3D 포인트를 식별한 후에, 그 포인트에 대해 직교 MPR들이 정렬될 수 있다. MPR들은 그 포인트에 센터링되어, 사용자의 일반적 또는 부정확한 캘리퍼 포지셔닝(caliper positioning)이 주어지면, 원하는 포인트를 이미지 프로세서가 식별하였음을 사용자가 검증할 수 있게 한다.
[0079] 다중-모달리티 이미징 지침(multi-modality imaging guidance)은 향상된 절차적 작업흐름 및 성과들을 제공할 수 있다. 최소 침습성 치료법으로서의 미트라클립 배치(MitraClip deployment)의 경우, 전달 카테터 및 디바이스 전개를 안내하기 위해 형광투시법이 사용되는 한편, 배치 전에 중격경유성 천공(trans-septal puncture) 또는 디바이스 또는 전달 카테터의 포지셔닝을 안내하기 위해 초음파 3D TEE 또는 볼륨 ICE가 사용된다. 형광투시법은 전달 카테터 및 디바이스의 우수한 시각화를 제공하는 2D 프로젝션이다.
[0080] 하나의 모드(예컨대, 초음파)로부터의 측정 또는 정량적 값은 의료 이미징의 다른 모드(예컨대, 형광투시법)로 등록될 수 있다. 예컨대, 초음파 트랜스듀서의 포지션 및 배향은 형광투시법 이미지에서 검출된다. 이러한 검출은 좌표계들을 공간적으로 정렬 또는 등록하는 데 사용된다. 결과적으로, 형광투시법 프로젝션(fluoroscopy projection)에서의 위치는 초음파에서의 위치로부터 결정될 수 있다. 그런 다음, 위치들 및/또는 정량적 값들은 형광투시법 이미지 상에 그래픽스로서 오버레이될(overlaid) 수 있다. 예컨대, 초음파로부터 결정된 중격경유성 천공 부위의 위치 및 전달 카테터의 팁으로부터 중격경유성 천공 부위까지의 거리는 전달 카테터를 내비게이팅(navigating)하는 것을 돕기 위해 형광투시법 이미지 상에 오버레이된다.
[0081] 중격경유성 천공이 수행된 후에, 전달 카테터가 좌심방 내로 진행되어, 타겟팅된 아나토미(targeted anatomy)를 향해 포인팅(pointing)된다. 다음 단계에서, 폐쇄 디바이스(closure device)가 삽입되어 전달 카테터의 팁으로 진행된다. 폐쇄 디바이스와 배치를 위한 위치 사이의 거리가 계산되어 출력된다. 일단 폐쇄 디바이스가, 초음파로부터 결정된 바와 같은 천공 부위에 대한 폐쇄 디바이스의 최적의 거리에 도달하면, 시스템은 형광투시법 이미지 상에 오버레이된 대응하는 메시지를 보여준다. 거리는, 그 거리가 4 mm를 초과하는 경우에는 녹색, 그렇지 않고, 3.5 mm 미만인 경우에는 적색, 그리고 4 내지 3.5 mm인 경우에는 황색과 같이, 상대적 범위 또는 적절한 포지션을 표시하기 위해 컬러 코딩될(color coded) 수 있다. 일단 원하는 거리에 있게 되면, 폐쇄 디바이스는 형광투시법, 또는 형광투시법과 3D TEE 또는 볼륨 ICE의 조합을 사용하여 완전히 전개될 수 있다.
[0082] 도 6은 의료 이미징에서 측정하기 위한 의료 진단 이미징 시스템(10)을 도시한다. 시스템(10)은 의료 진단 초음파 이미징 시스템이지만, 컴퓨터, 워크스테이션, 데이터베이스(database), 서버, 또는 다른 이미징 시스템일 수 있다. 다른 의료 이미징 시스템들, 이를테면, 컴퓨터 단층촬영 또는 자기 공명 시스템이 사용될 수 있다.
[0083] 시스템(10)은 도 1의 방법 또는 상이한 방법을 구현한다. 시스템(10)은 의료 이미지 상에 측정 툴(measurement tool)을 제공한다. 시스템(10)을 사용하면, 사용자가 이미지 상에 부정확한 위치를 입력하거나 볼륨 렌더링된 이미지들 상에 입력에 대한 심도 모호성(depth ambiguity)을 입력함에도 불구하고, 임상의(clinician)들은 관심 아나토미를 측정하고, 3차원 또는 2차원 공간에서 정의된 포인트들 사이의 정확한 측정들로 구조들의 상대적 포지션을 평가할 수 있다. 포인트 또는 포인트들은, 인접한 위치의 사용자 입력에 기반하여 원하는 위치를 발견함으로써, 실시간으로 또는 신속하게 발견된다.
[0084] 시스템(10)은 프로세서(12), 메모리(14), 디스플레이(16), 트랜스듀서(18), 및 사용자 입력부(22)를 포함한다. 추가의, 상이한, 또는 더 적은 컴포넌트들이 제공될 수 있다. 예컨대, 시스템(10)은, 송신 빔형성기(transmit beamformer), 수신 빔형성기, B-모드 검출기(B-mode detector), 도플러 검출기(Doppler detector), 고조파 응답 검출기, 조영제 검출기(contrast agent detector), 스캔 변환기(scan converter), 필터(filter), 이들의 조합들, 또는 다른 현재 알려진 또는 나중에 개발되는 의료 진단 초음파 시스템 컴포넌트들을 포함한다. 다른 예로서, 시스템(10)은 트랜스듀서(18)를 포함하지 않는다.
[0085] 트랜스듀서(18)는 음향 에너지와 전기 에너지 사이를 변환하도록 동작가능한 압전 또는 용량성 디바이스이다. 트랜스듀서(18)는 엘리먼트(element)들의 어레이, 이를테면, 1차원, 다차원, 또는 2차원 어레이이다. 예컨대, 트랜스듀서(18)는 TEE, TTE, 또는 ICE 프로브이다. 대안적으로, 트랜스듀서(18)는 일차원의 기계적 스캐닝 및 다른 차원의 전기적 스캔을 위한 와블러(wobbler)이다. 다른 대안들에서, 트랜스듀서(18)는 1차원 어레이이다.
[0086] 시스템(10)은 볼륨 또는 평면을 스캔하기 위해 트랜스듀서(18)를 사용한다. 전기적 및/또는 기계적 스티어링(steering)은 상이한 스캔 라인(scan line)들을 따라 송신 및 수신하는 것을 가능하게 한다. 임의의 스캔 패턴(scan pattern)이 사용될 수 있다. 일 실시예에서, 송신 빔(transmit beam)은, 각각의 송신에 대해 최대 16개 이상의 수신 라인들의 그룹(group)을 수신하는 것과 같이, 복수의 스캔 라인들을 따라 수신하기에 충분히 넓다. 다른 실시예에서, 복수의, 많은 수의, 또는 모든 스캔 라인들을 따라 수신하기 위해, 평면, 시준(collimated) 또는 발산(diverging) 송신 파형이 제공된다.
[0087] 스캔에 대한 응답으로, 평면 또는 볼륨을 나타내는 초음파 데이터가 제공된다. 초음파 데이터는 빔형성기에 의해 빔형성되고, 검출기에 의해 검출되고, 그리고/또는 스캔 변환기에 의해 스캔 변환된다(scan converted). 초음파 데이터는 임의의 포맷, 이를테면, 극좌표 또는 데카르트 좌표, 평면들 사이에 극좌표 공간을 갖는 데카르트 좌표, 또는 다른 포맷일 수 있다. 다른 실시예들에서, 초음파 데이터는, 이를테면, 제거가능 매체들로부터의 또는 네트워크를 통한 전달에 의해 포착된다. 볼륨을 나타내는 다른 유형들의 의료 데이터가 또한 포착될 수 있다.
[0088] 메모리(14)는 버퍼, 캐시(cache), RAM, 제거가능 매체들, 하드 드라이브(hard drive), 자기, 광학, 또는 다른 현재 알려진 또는 나중에 개발되는 메모리이다. 메모리(14)는 단일 디바이스이거나 또는 2개 이상의 디바이스들의 그룹일 수 있다. 메모리(14)는 시스템(10) 내에 도시되지만, 시스템(10)의 다른 컴포넌트들로부터 원격에 또는 외부에 있을 수 있다.
[0089] 메모리(14)는 초음파 데이터 및/또는 위치 정보를 저장한다. 예컨대, 메모리(14)는 흐름 또는 조직 모션 추정치들(예컨대, 속도, 에너지 또는 둘 모두) 및/또는 B-모드 초음파 데이터를 저장한다. 의료 이미지 데이터는 2차원 또는 3차원 데이터 세트(예컨대, 3차원(nxmxo, 여기서 n, m 및 o는 모두 1보다 더 큰 정수들임)으로 분포된 위치들로부터의 음향 응답을 나타내는 데이터) 또는 이러한 세트들의 시퀀스이다. 예컨대, 심장의 부분 심장 사이클, 1 심장 사이클, 또는 그보다 많은 심장 사이클들에 걸친 세트들의 시퀀스가 저장된다. 이를테면, 동일한 환자, 장기 또는 구역을 상이한 각도들 또는 위치들로부터 이미징하는 것과 연관된 복수의 세트들이 제공될 수 있다. 데이터는, 심장의 부분 또는 전부를 나타내는 것과 같이, 환자의 볼륨 또는 평면을 나타낸다.
[0090] 실시간 이미징의 경우, 초음파 데이터는 메모리(14)를 우회하거나, 메모리(14)에 일시적으로 저장되거나, 또는 메모리(14)로부터 로딩된다(loaded). 실시간 이미징은 데이터 포착과 이미징 사이에 수 초 미만의(a fraction of seconds) 또는 심지어 수 초의 지연을 허용할 수 있다. 예컨대, 스캔에 의한 데이터의 포착과 거의 동시에 이미지들을 생성함으로써, 실시간 이미징이 제공된다. 다음 또는 후속 데이터 세트를 포착하기 위해 스캔하는 동안, 이전 데이터 세트에 대한 이미지들이 생성된다. 이미징은 데이터를 포착하는 데 사용되는 동일한 이미징 세션(imaging session) 동안 발생한다. 실시간 동작을 위한 포착과 이미징 사이의 지연의 양(amount)은 변화할 수 있다. 대안적인 실시예들에서, 초음파 데이터는 이전 이미징 세션으로부터 메모리(14)에 저장되고 동시적인 포착 없이 이미징을 위해 사용된다.
[0091] 측정의 경우, 단지 하나의 데이터세트만이 사용될 수 있다. 볼륨 또는 평면의 단지 하나의 데이터세트 또는 스캔만이 포착되거나, 또는 이를테면, "프리즈(freeze)" 동작을 사용하여 시퀀스로부터 하나가 선택된다. 대안적으로, 실시간 이미징이 제공되는 동안 측정들이 이루어진다. 시간의 경과에 따른 측정이 결정된다.
[0092] 부가적으로 또는 대안적으로, 메모리(14)는 프로세싱 명령들을 갖는 컴퓨터 판독가능 저장 매체이다. 메모리(14)는 측정 포인트 결정을 위해 프로그래밍된(programmed) 이미지 프로세서(12)에 의해 실행가능한 명령들을 나타내는 데이터를 저장한다. 본원에서 논의된 프로세스(process)들, 방법들 및/또는 기법들을 구현하기 위한 명령들은 컴퓨터-판독가능 저장 매체들 또는 메모리들, 이를테면, 캐시, 버퍼, RAM, 제거가능 매체들, 하드 드라이브 또는 다른 컴퓨터 판독가능 저장 매체들 상에 제공된다. 컴퓨터 판독가능 저장 매체들은 다양한 유형들의 휘발성 및 비휘발성 저장 매체들을 포함한다. 도면들에서 예시되거나 본원에서 설명되는 기능들, 동작들, 또는 태스크(task)들은 컴퓨터 판독가능 저장 매체들 내에 또는 컴퓨터 판독가능 저장 매체들 상에 저장된 하나 이상의 세트들의 명령들에 대한 응답으로 실행된다. 기능들, 동작들, 또는 태스크들은 특정 유형의 명령 세트, 저장 매체들, 프로세서 또는 프로세싱 전략과 독립적이고, 그리고 소프트웨어(software), 하드웨어(hardware), 집적 회로들, 펌웨어(firmware), 마이크로 코드(micro code) 등에 의해 수행되어서, 단독으로 또는 조합되어 동작할 수 있다. 마찬가지로, 프로세싱 전략들은 멀티프로세싱(multiprocessing), 멀티태스킹(multitasking), 병렬 프로세싱 등을 포함할 수 있다. 일 실시예에서, 명령들은, 로컬 또는 원격 시스템들에 의한 판독을 위해 제거가능 매체 디바이스 상에 저장된다. 다른 실시예들에서, 명령들은, 컴퓨터 네트워크를 통한 또는 전화 라인(telephone line)들을 통한 전달을 위해 원격 위치에 저장된다. 또 다른 실시예들에서, 명령들은 주어진 컴퓨터, CPU, GPU 또는 시스템 내에 저장된다.
[0093] 사용자 입력 디바이스(22)는 버튼, 슬라이더(slider), 노브(knob), 키보드(keyboard), 마우스, 트랙볼, 터치 스크린(touch screen), 터치 패드(touch pad), 이들의 조합들, 또는 다른 현재 알려진 또는 나중에 개발되는 사용자 입력 디바이스들이다. 사용자는, 렌더링 값들을 세팅(set)하고(예컨대, 클립 평면(clip plane)을 정의하거나, 렌더링의 유형을 선택하거나, 또는 오프셋 각도(offset angle)를 세팅함), MPR 평면 어레인지먼트(arrangement)들을 선택하고, 하나 이상의 평면들의 포지션을 변경하고, 의료 이미지 상의 측정 위치를 선택하고, 그리고/또는 시스템(10)을 동작시키기 위해, 사용자 입력 디바이스(22)를 동작시킬 수 있다. 예컨대, 사용자 입력 디바이스(22)는, 볼륨 렌더링된 이미지와 같은 의료 이미지 상의 포지션의 표시를 사용자로부터 수신한다. 복수의 그러한 측정 위치들이 수신될 수 있다. 다른 예로서, 사용자 입력 디바이스(22)는 하나 이상의 MPR들의 포지션 및/또는 볼륨 렌더링에 대한 관찰 방향의 사용자 표시를 수신한다.
[0094] 이미지 프로세서(12)는 일반적인 프로세서, 디지털 신호 프로세서(digital signal processor), 3차원 데이터 프로세서, 그래픽스 프로세싱 유닛, 주문형 집적 회로(application specific integrated circuit), 필드 프로그램가능 게이트 어레이(field programmable gate array), 디지털 회로, 아날로그 회로(analog circuit), 이들의 조합들, 또는 다른 현재 알려진 또는 나중에 개발되는, 의료 이미지 데이터를 프로세싱하기 위한 디바이스이다. 이미지 프로세서(12)는 단일 디바이스, 복수의 디바이스들, 또는 네트워크이다. 1개 초과의 디바이스의 경우, 병렬 또는 순차적인 분할의 프로세싱이 사용될 수 있다. 프로세서(12)를 구성하는 상이한 디바이스들, 이를테면, 별도로 동작하는 측정들을 계산하기 위한 제어 프로세서 및 볼륨 렌더링 그래픽스 프로세싱 유닛은 상이한 기능들을 수행할 수 있다. 일 실시예에서, 이미지 프로세서(12)는 의료 진단 초음파 이미징 시스템(10)과 같은 의료 진단 이미징 시스템의 제어 프로세서 또는 다른 프로세서이다. 다른 실시예에서, 이미지 프로세서(12)는 PACS 시스템 또는 이미징 리뷰 워크스테이션(imaging review workstation)의 프로세서이다. 또 다른 실시예에서, 이미지 프로세서(12)는 볼륨 렌더링 프로세서이다.
[0095] 이미지 프로세서(12)는 하드웨어, 펌웨어, 및/또는 소프트웨어에 의해 구성된다. 예컨대, 이미지 프로세서(12)는, 본원에서 설명되는 다양한 동작들, 이를테면, 도 1의 동작들(62, 64, 66, 68, 70, 72, 및 74)을 수행하기 위해 저장된 명령들에 따라 동작한다.
[0096] 일 실시예에서, 이미지 프로세서(12)는, 의료 이미지를 디스플레이하도록 그리고 사용자 인터페이스에 기반하여 의료 이미지 상의 위치의 사용자 입력을 수신하도록 구성된다. 예컨대, 환자의 볼륨의 볼륨 렌더링 및/또는 MPR은 초음파 데이터로부터 생성된다. 관찰 방향으로 또는 뷰 포인트로부터 광선 라인들을 따라 프로젝팅(projecting)하는 것과 같은, 임의의 유형의 볼륨 렌더링이 사용될 수 있다. 조명, 전달 기능, 또는 다른 볼륨 렌더링 동작들이 제공될 수 있다.
[0097] 이미지 프로세서(12)는 관찰 방향을 따라 포지션으로부터 광선을 캐스팅하거나 또는 평면 내의 포지션으로부터 광선들을 캐스팅하도록 구성된다. 이미지 프로세서(12)는 평면 또는 볼륨의 스캔으로부터의 초음파 데이터에 기반하여 광선을 따라 또는 광선 주변의 위치를 선택하도록 구성된다. 그 선택은, 광선 캐스팅, 렌더링 전달 함수, 임계값 처리, 및/또는 기계-학습 분류기의 적용을 사용한다. 예컨대, 캐스팅된 광선(cast ray)에 의해 정의된 서브-볼륨(sub-volume) 내의 초음파 데이터가 기계-학습 분류기에 입력되고, 기계-학습 분류기는 응답하여, 서브-볼륨 내의 위치 또는 광선 상에 있는 것으로 제한된 위치들을 출력한다.
[0098] 이미지 프로세서(12)는 포인트를 표시하는 그래픽을 생성하도록 구성된다. 예컨대, 사용자 입력 포지션에서의 3D 포인트 및 이미지 프로세서(12)가 결정한 깊이 또는 위치가 이미지에서 마킹된다. 선택된 위치에 기반하여 계산된 정량적 값들에 대한 그래픽스가 생성될 수 있다. 그래픽은 의료 이미지에 대한 측정 위치들의 대시 폴리라인(dash polyline) 또는 다른 표시자이다.
[0099] 이미지 프로세서(12)는 2D 또는 3D 포인트의 함수로써 값을 계산하도록 구성된다. 측정 위치들을 사용하여, 프로세서(12)는 값, 이를테면, 거리를 계산한다. 정량적 값은 이미지와 함께 디스플레이(16)에 출력될 수 있다.
[00100] 디스플레이 디바이스(16)는 CRT, LCD, 플라즈마(plasma), 모니터(monitor), 프로젝터(projector), 프린터, 또는 다른 현재 알려진 또는 나중에 개발되는 디스플레이 디바이스이다. 디스플레이(16)는 프로세서로부터의 이미지를 디스플레이 버퍼에 로딩(loading)함으로써 구성된다. 대안적으로, 디스플레이(16)는 디스플레이 버퍼로부터 판독하거나 또는 픽셀들에 대한 디스플레이 값들을 수신함으로써 구성된다.
[00101] 디스플레이(16)는 의료 이미지(예컨대, 볼륨 렌더링), 클립 평면 내비게이션 사용자 인터페이스(clip plane navigation user interface), MPR 이미지들, 평면 그래픽스, 캘리퍼들, 측정 그래픽스, 및/또는 사용자 인터페이스 툴(user interface tool)들을 디스플레이하도록 구성된다. 볼륨 렌더링은 그 자체로 또는 평면들의 이미지들과 함께 디스플레이된다. 다수의 이미지들이 디스플레이(16)의 스크린의 상이한 부분들, 이를테면, 상이한 윈도우(window)들에 디스플레이될 수 있다. 디스플레이(16)는 그래픽 및/또는 값, 이를테면, 측정에서 계산된 정량적 값을 디스플레이하도록 구성된다.
[00102] 본 발명이 다양한 실시예들을 참조하여 위에서 설명되지만, 본 발명의 범위를 벗어나지 않으면서 많은 변경들 및 수정들이 이루어질 수 있다는 것이 이해되어야 한다. 그러므로, 전술한 상세한 설명은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다는 것이 의도되며, 그리고 본 발명의 사상 및 범위를 정의하도록 의도되는 것은, 모든 등가물들을 포함하는 다음의 청구항들이라는 것이 이해되어야 한다.

Claims (15)

  1. 초음파 스캐너를 이용한 이미징에서의 측정 포인트 결정을 위한 방법으로서, 상기 방법은 초음파 이미징 시스템에 의해 수행되고, 상기 방법은,
    환자의 조직(tissue)의 3차원 볼륨(volume)을 나타내는 초음파 데이터로부터 3차원으로 렌더링된 초음파 이미지를 디스플레이 상에 디스플레이하는 단계(62) ― 상기 3차원으로 렌더링된 이미지는, 관찰 방향(view direction)을 따라 렌더링된 상기 3차원 볼륨의 2차원 표현임 ―;
    상기 3차원으로 렌더링된 디스플레이된 초음파 이미지 상에서 측정 캘리퍼(measurement caliper)의 포지션을 사용자 입력 디바이스로부터 수신하는 단계(64);
    상기 3차원으로 렌더링된 디스플레이된 초음파 이미지 상에서의 상기 측정 캘리퍼의 포지션으로부터 상기 3차원 볼륨 내로 향하는, 상기 3차원으로 렌더링된 디스플레이된 초음파 이미지의 상기 관찰 방향을 따르는 광선(ray)을 정의하는 단계(66) ― 상기 광선은 상기 포지션으로부터 상기 2차원 표현의 평면 밖의 볼륨 내로 연장됨 ―;
    상기 볼륨의 서브-볼륨(sub-volume)으로부터의 초음파 데이터의 입력에 기반하여, 기계-학습 분류기를 이용하여 상기 광선을 따른 깊이를 식별하는 단계(68) ― 상기 서브-볼륨은 상기 광선을 포함하고 상기 광선 주변으로 제한됨 ―;
    이미지 프로세서에 의해, 상기 깊이 및 상기 측정 캘리퍼의 포지션의 함수로써 정량적 값(quantity)을 계산하는 단계(72); 및
    상기 정량적 값을 출력하는 단계(74)
    를 포함하는,
    방법.
  2. 제1항에 있어서,
    상기 디스플레이하는 단계(62)는, 이미지들의 시퀀스(sequence)로 볼륨 렌더링된 심장 이미지로서 상기 초음파 이미지를 디스플레이하는 단계(62)를 포함하고,
    상기 방법은, 상기 시퀀스의 이미지들의 초음파 데이터를 거쳐서, 상기 포지션 및 깊이를 추적하는 단계(70)를 더 포함하는,
    방법.
  3. 제1항에 있어서,
    상기 광선을 정의하는 단계(66)는 상기 관찰 방향으로 광선 캐스팅(ray casting)하는 단계를 포함하고,
    상기 관찰 방향은 3차원 렌더링으로부터의 관찰 방향인,
    방법.
  4. 제1항에 있어서,
    상기 깊이를 식별하는 단계(68)는 상기 초음파 데이터로부터의 강도(intensity)들 및 상기 서브-볼륨에 대한 초음파 데이터로부터의 그레디언트(gradient)들을 이용하여 상기 깊이를 식별하는 단계(68)를 포함하는,
    방법.
  5. 제1항에 있어서,
    상기 깊이를 식별하는 단계(68)는 확률적 부스팅 트리(probabilistic boosting tree)를 포함하는 기계-학습 분류기 또는 심층 신경 네트워크 학습 분류기를 이용하여 상기 깊이를 식별하는 단계(68)를 포함하는,
    방법.
  6. 제1항에 있어서,
    상기 깊이를 식별하는 단계(68)는 상이한 장기(organ)들의 샘플들로부터 훈련된 기계-학습 분류기를 이용하여 상기 깊이를 식별하는 단계(68)를 포함하는,
    방법.
  7. 제1항에 있어서,
    상기 계산하는 단계(72)는 상기 정량적 값으로서 거리를 계산하는 단계(72)를 포함하고,
    상기 포지션 및 포인트는, 상기 볼륨 내에서의 상기 거리의 끝(end)을 정의하는(66),
    방법.
  8. 제1항에 있어서,
    상기 계산하는 단계(72)는, 영역 또는 볼륨, 또는 상기 영역 또는 볼륨의 크기(dimension)를 계산하는 단계(72)를 포함하고,
    상기 포지션 및 포인트는, 상기 영역 또는 볼륨의 경계의 3차원에서의 포인트를 정의하는,
    방법.
  9. 의료 스캐너를 이용한 이미징에서의 측정 포인트 결정을 위한 방법으로서, 상기 방법은 의료 이미징 시스템에 의해 수행되고, 상기 방법은,
    환자의 조직을 나타내는 강도들로부터 맵핑된(mapped) 의료 이미지를 디스플레이 상에 디스플레이하는 단계(62);
    상기 의료 이미지 상에서의 측정 캘리퍼의 포지션을 사용자 입력 디바이스로부터 수신하는 단계(64);
    상기 의료 이미지 상에서의 상기 포지션을 수신하는 것에 응답하여, 상기 측정 캘리퍼의 포지션으로부터 연장되는 광선을 정의하는 단계(66);
    상기 광선을 포함하고 상기 광선 주변으로 제한되는 서브-구역으로부터의 강도들에 기반하여, 상기 광선을 따른 위치를 식별하는 단계(68); 및
    이미지 프로세서에 의해, 상기 위치의 함수로써 정량적 값을 계산하는 단계(72); 및
    상기 정량적 값을 출력하는 단계(74)를 포함하는,
    방법.
  10. 제9항에 있어서,
    상기 디스플레이하는 단계(62)는 단지 평면(plane)을 나타내는 의료 이미지를 디스플레이하는 단계(62)를 포함하고,
    상기 광선을 정의하는 단계(66)는 상기 평면에서의 복수의 광선들 중 하나로서 상기 광선을 정의하는 단계(66)를 포함하고,
    상기 광선은 상기 포지션에 가장 가까운 위치에서 경계를 갖는,
    방법.
  11. 제9항에 있어서,
    경계를 트레이싱(tracing)함에 있어서 다른 포지션들에 대해, 상기 수신하는 단계(64), 상기 정의하는 단계(66), 및 상기 식별하는 단계(68)를 반복하는 단계를 더 포함하고, 그리고
    상기 계산하는 단계(72)는 상기 경계의 함수로써 계산하는 단계(72)를 포함하는,
    방법.
  12. 제9항에 있어서,
    상기 위치를 식별하는 단계(68)는 상기 서브-구역의 강도들을 기계-학습 분류기에 입력함으로써 식별하는 단계(68)를 포함하는,
    방법.
  13. 제9항에 있어서,
    상기 디스플레이하는 단계(62)는 볼륨 렌더링하는 단계를 포함하고,
    상기 강도들은 상기 환자의 조직의 3차원 부분을 나타내는 초음파 데이터를 포함하고,
    상기 광선을 정의하는 단계(66)는 볼륨 렌더링된 의료 이미지의 관찰 방향을 따라 상기 광선을 정의하는 단계(66)를 포함하고, 그리고
    상기 위치를 식별하는 단계(68)는, 2차원에서의 상기 포지션 및 상기 광선 주변의 그리고 상기 광선을 포함하는 서브-구역으로부터의 강도들에 기반한 깊이로써 3차원에서의 위치를 식별하는 단계(68)를 포함하는,
    방법.
  14. 의료 초음파 시스템으로서,
    환자의 볼륨을 스캔하도록 구성된 초음파 스캐너(10);
    디스플레이되고 볼륨 렌더링된, 상기 환자의 볼륨의 이미지 상에서 2차원 포지션의 표시를 수신하도록 구성된 사용자 입력 디바이스(22) ― 상기 디스플레이되고 볼륨 렌더링된 이미지는, 상기 환자의 볼륨을 3차원으로 나타내는 데이터로부터 렌더링된 픽셀들의 2차원 분포이고, 상기 포지션은 상기 3차원 중 제3의 차원에 대해 모호하게 선택된 픽셀임 ―; 및
    상기 볼륨 렌더링된 이미지를 렌더링하기 위해 사용되는 상기 제3의 차원의 관찰 방향을 따라 상기 포지션으로부터 광선을 캐스팅(cast)하고, 상기 볼륨의 스캔으로부터의 초음파 데이터에 기반하여 상기 광선을 따른 위치를 선택하고, 그리고 상기 위치 및 상기 포지션에 있는 포인트를 표시하는 그래픽을 생성하도록 구성된 이미지 프로세서(12)를 포함하고,
    상기 이미지 프로세서는, 상기 광선 주변의 그리고 상기 광선을 포함하는 서브-볼륨의 초음파 데이터를 기계-학습 분류기에 적용함으로써, 상기 위치를 선택하도록 구성되는,
    의료 초음파 시스템.
  15. 삭제
KR1020180116569A 2017-09-29 2018-09-28 의료 진단 이미징에서의 측정 포인트 결정 KR102269467B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/720,317 2017-09-29
US15/720,317 US10660613B2 (en) 2017-09-29 2017-09-29 Measurement point determination in medical diagnostic imaging

Publications (2)

Publication Number Publication Date
KR20190038448A KR20190038448A (ko) 2019-04-08
KR102269467B1 true KR102269467B1 (ko) 2021-06-24

Family

ID=65727871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180116569A KR102269467B1 (ko) 2017-09-29 2018-09-28 의료 진단 이미징에서의 측정 포인트 결정

Country Status (4)

Country Link
US (1) US10660613B2 (ko)
KR (1) KR102269467B1 (ko)
CN (1) CN109584350B (ko)
DE (1) DE102018216296A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293672A1 (en) * 2016-09-07 2018-03-14 Malvern Panalytical Limited Particle boundary identification
US20190125302A1 (en) * 2017-10-31 2019-05-02 Koninklijke Philips N.V. Accelerometer in handle for ultrasound medical imaging device
US10909684B2 (en) * 2017-11-20 2021-02-02 University Of Iowa Research Foundation Systems and methods for airway tree segmentation
US11238197B1 (en) * 2018-04-03 2022-02-01 David Byron Douglas Generating a 3D dataset containing a simulated surgical device
US10956635B1 (en) * 2019-12-04 2021-03-23 David Byron Douglas Radiologist-assisted machine learning with interactive, volume subtending 3D cursor
GB201913832D0 (en) * 2019-09-25 2019-11-06 Guys And St Thomas Hospital Nhs Found Trust Method and apparatus for navigation and display of 3d image data
WO2021065750A1 (ja) * 2019-09-30 2021-04-08 テルモ株式会社 診断支援装置、診断支援システム、及び診断支援方法
US20230026942A1 (en) * 2019-11-22 2023-01-26 Koninklijke Philips N.V. Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
US20220133228A1 (en) * 2020-11-03 2022-05-05 Biosense Webster (Israel) Ltd. Identification and visualization of non-navigated objects in medical images
EP4092621A1 (en) 2021-05-21 2022-11-23 Siemens Healthcare GmbH Technique for assigning a perfusion metric to dce mr images
CN114241232B (zh) * 2021-11-23 2023-04-18 电子科技大学 基于多任务学习的摄影***识别和体表解剖标志检测方法
EP4252670A1 (en) * 2022-03-31 2023-10-04 Koninklijke Philips N.V. Methods and systems for ultrasound-based structure localization using image and user inputs
WO2023186584A1 (en) 2022-03-31 2023-10-05 Koninklijke Philips N.V. Methods and systems for ultrasound-based structure localization using image and user inputs
KR102473828B1 (ko) * 2022-05-13 2022-12-05 주식회사 쓰리디오엔에스 의료 영상의 랜드마크 위치 설정 가이드 방법, 장치 및 컴퓨터프로그램
US20240023925A1 (en) * 2022-07-21 2024-01-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for fetus monitoring
KR20240019548A (ko) * 2022-08-04 2024-02-14 안가람 피부 시술 가이딩 및 피드백 시스템
CN116844697B (zh) * 2023-02-24 2024-01-09 萱闱(北京)生物科技有限公司 图像多维可视化方法、装置、介质和计算设备
CN116531089B (zh) * 2023-07-06 2023-10-20 中国人民解放军中部战区总医院 基于图像增强的阻滞麻醉超声引导数据处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110021915A1 (en) * 2009-07-21 2011-01-27 Seimens Corporation Detection of Structure in Ultrasound M-Mode Imaging
US20150150460A1 (en) * 2012-06-07 2015-06-04 The Trustees Of Dartmouth College Methods And Systems For Intraoperative Tumor Margin Assessment In Surgical Cavities And Resected Tissue Specimens
CN107106867A (zh) * 2014-12-10 2017-08-29 医科达有限公司 磁共振投影成像

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1264062C (zh) * 2002-12-31 2006-07-12 清华大学 一种多视角x射线立体成像的方法与***
US20070053563A1 (en) 2005-03-09 2007-03-08 Zhuowen Tu Probabilistic boosting tree framework for learning discriminative models
US8532352B2 (en) 2010-10-06 2013-09-10 Siemens Aktiengesellschaft Method and system for intraoperative guidance using physiological image fusion
BR112014031672A2 (pt) * 2012-06-20 2017-06-27 Koninklijke Philips Nv instrumento médico; aparelho médico; e produto de programa de computador
KR101468419B1 (ko) * 2012-12-04 2014-12-03 삼성메디슨 주식회사 3차원 캘리퍼를 이용하여 측정 정보를 제공하는 의료 시스템 및 방법
US9730643B2 (en) 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US20160225180A1 (en) * 2015-01-29 2016-08-04 Siemens Medical Solutions Usa, Inc. Measurement tools with plane projection in rendered ultrasound volume imaging
US9569736B1 (en) 2015-09-16 2017-02-14 Siemens Healthcare Gmbh Intelligent medical image landmark detection
US10588605B2 (en) * 2015-10-27 2020-03-17 General Electric Company Methods and systems for segmenting a structure in medical images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110021915A1 (en) * 2009-07-21 2011-01-27 Seimens Corporation Detection of Structure in Ultrasound M-Mode Imaging
US20150150460A1 (en) * 2012-06-07 2015-06-04 The Trustees Of Dartmouth College Methods And Systems For Intraoperative Tumor Margin Assessment In Surgical Cavities And Resected Tissue Specimens
CN107106867A (zh) * 2014-12-10 2017-08-29 医科达有限公司 磁共振投影成像

Also Published As

Publication number Publication date
US20190099159A1 (en) 2019-04-04
CN109584350A (zh) 2019-04-05
KR20190038448A (ko) 2019-04-08
DE102018216296A1 (de) 2019-04-04
CN109584350B (zh) 2024-06-25
US10660613B2 (en) 2020-05-26

Similar Documents

Publication Publication Date Title
KR102269467B1 (ko) 의료 진단 이미징에서의 측정 포인트 결정
US10874373B2 (en) Method and system for measuring flow through a heart valve
US9561016B2 (en) Systems and methods to identify interventional instruments
EP3003161B1 (en) Method for 3d acquisition of ultrasound images
US20190096140A1 (en) Systems for linking features in medical images to anatomical models and methods of operation thereof
US10499879B2 (en) Systems and methods for displaying intersections on ultrasound images
US11969286B2 (en) Systems and methods for automatic detection and visualization of turbulent blood flow using vector flow data
US8715184B2 (en) Path parametric visualization in medical diagnostic ultrasound
US20100195878A1 (en) Systems and methods for labeling 3-d volume images on a 2-d display of an ultrasonic imaging system
US20160225180A1 (en) Measurement tools with plane projection in rendered ultrasound volume imaging
US20230329669A1 (en) System and method for concurrent visualization and quantification of blood flow using ultrasound vector flow imaging
EP3108456B1 (en) Motion adaptive visualization in medical 4d imaging
EP2601637B1 (en) System and method for multi-modality segmentation of internal tissue with live feedback
CN115334975A (zh) 用于对心外膜脂肪组织进行成像和测量的***和方法
US9842427B2 (en) Methods and systems for visualization of flow jets
US20230240645A1 (en) Systems and methods for measuring cardiac stiffness
US20220301240A1 (en) Automatic Model-Based Navigation System And Method For Ultrasound Images
WO2024013114A1 (en) Systems and methods for imaging screening
CN116263948A (zh) 用于图像融合的***和方法
WO2021099171A1 (en) Systems and methods for imaging screening
CN117651526A (zh) 用于注释医学图像的***、方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant