KR20150078845A - 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법 - Google Patents

영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법 Download PDF

Info

Publication number
KR20150078845A
KR20150078845A KR1020130168616A KR20130168616A KR20150078845A KR 20150078845 A KR20150078845 A KR 20150078845A KR 1020130168616 A KR1020130168616 A KR 1020130168616A KR 20130168616 A KR20130168616 A KR 20130168616A KR 20150078845 A KR20150078845 A KR 20150078845A
Authority
KR
South Korea
Prior art keywords
mark
interest
region
image
user interface
Prior art date
Application number
KR1020130168616A
Other languages
English (en)
Inventor
전주혁
성영경
이기용
김예훈
조백환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130168616A priority Critical patent/KR20150078845A/ko
Priority to US15/109,022 priority patent/US10394416B2/en
Priority to PCT/KR2014/004399 priority patent/WO2015102167A1/ko
Publication of KR20150078845A publication Critical patent/KR20150078845A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20108—Interactive selection of 2D slice in a 3D data set

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스가 개시된다. 3차원 영상인 볼륨 및 상기 볼륨을 절단한 단면들 각각을 나타내는 2차원 영상인 슬라이스들을 포함하는 영상들에 대한 상호작용을 인에이블하는 사용자 인터페이스에 관한 것이다. 영상들 중 적어도 2개는 적어도 하나의 공통 관심영역을 식별하기 위한 동일한 시각적인 마크를 각각 포함한다. 사용자 인터페이스는 상기 영상들 중 하나의 영상에 포함된 상기 동일한 시각적인 마크와 연관된 사용자 입력을 수신하는 입력부와, 상기 사용자 입력과 연관된 상기 동일한 시각적인 마크를 포함하고 있는 영상들에 대한 상호작용을 인에이블하는 적어도 하나의 컴포넌트를 포함한다.

Description

영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법 {USER INTERFACE SYSTEM AND METHOD FOR ENABLING MARK-BASED INTERRACTION TO IMAGES}
사용자 인터페이스에 관련된 것으로서, 더 상세하게는 영상에 대한 상호작용을 인에이블하는 사용자 인터페이스와 관련된다.
근래 의료 영상 수집 및 처리 기술이 발달함에 따라 3차원적 의료 영상을 이용하여 인체의 병변을 진단할 수 있게 되었다. 3차원 의료 영상은, 예컨대 다수의 2차원 영상을 묶어 3차원 영상으로 재구성함으로써 획득할 수 있거나 또는, 의료 영상 촬영시 3차원 스캐너를 사용하여 촬영함으로써 획득할 수 있다. 일반적으로 3차원 영상, 즉 입체영상은 특정 공간에 포함되어 있는 복수의 2차원 평면들의 영상을 포함할 수 있다. 그러므로 입체영상은, 특정한 하나의 평면만을 나타내고 있는 2차원 영상에 비하여, 예컨대 병변 진단을 위해 활용가능한 정보를 더 많이 담고 있음을 기대할 수 있다.
일반적으로 의료 영상진단 분야에서는 입체영상인 볼륨 및 이 볼륨을 3개의 서로 직교하는 평면에서 자른 단면영상 즉 슬라이스들을 다룬다. 볼륨과 그 단면인 슬라이스들은 병변과 같은 관심영역(ROI: Region Of Interest)을 공통적으로 포함할 수 있다.
서로 연관되어 있는 볼륨 및 슬라이스에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스를 제안한다.
일 양상에 따라 제공되는 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템은, 3차원 영상인 볼륨 및 상기 볼륨을 절단한 단면들 각각을 나타내는 2차원 영상인 슬라이스들을 포함하는 영상들에 대한 상호작용을 인에이블하는 사용자 인터페이스 시스템으로서, 상기 영상들 중 적어도 2개는 적어도 하나의 공통 관심영역을 식별하기 위한 동일한 시각적인 마크를 각각 포함하며, 상기 사용자 인터페이스 시스템은, 상기 영상들 중 하나의 영상에 포함된 상기 동일한 시각적인 마크와 연관된 사용자 입력을 수신하는 입력부와, 상기 사용자 입력과 연관된 상기 동일한 시각적인 마크를 포함하고 있는 영상들에 대한 상호작용을 인에이블하는 적어도 하나의 컴포넌트 를 포함할 수 있다.
일 실시예에 있어서, 상기 마크는, 상기 관심영역을 설명하는 문자, 숫자 또는 기호의 조합으로 된 텍스트 표현 및 상기 관심영역을 직관적으로 나타내는 그림, 부호, 또는 그래픽 표현 중 적어도 하나를 더 포함할 수 있다.
다른 실시예에 있어서, 상기 마크는, 상기 관심영역의 내부 또는 외부에 적어도 하나 생성될 수 있다.
또 다른 실시예에 있어서, 상기 적어도 하나의 컴포넌트는, 상기 영상들 중 하나의 영상 내의 관심영역에 상기 관심영역을 고유하게 식별하기 위한 식별정보를 포함하는 마크를 상기 사용자 입력에 따라 생성하여 마킹하고, 이후 상기 영상들 중 상기 하나의 영상 이외의 다른 영상들 내의 상응하는 관심영역에 자동으로 상기 마크와 동일한 식별정보를 포함하는 상응하는 마크를 생성하여 태깅함으로써, 상기 영상들 중 상기 하나의 영상 이외의 다른 영상들 상기 관심영역을 식별하는 마크를 포함하여 화면에 표시하도록 하는 마크 생성부를 포함할 수 있다.
또 다른 실시예에 있어서, 상기 적어도 하나의 컴포넌트는, 상기 영상들 중 하나의 영상 내의 관심영역의 마크를 선택하는 사용자 입력 정보를 수신하면, 상기 사용자 입력 정보에 의해 선택된 마크에 의해 식별되는 관심영역이 포함되어 있는 슬라이스들 중에서 설정된 선택 기준에 따라 슬라이스들을 선택하고, 선택된 슬라이스들을 화면에 표시하도록 하는 영상 탐색부를 더 포함할 수 있다.
또 다른 실시예에 있어서, 상기 영상 탐색부가 슬라이스를 선택하는 설정된 선택 기준은, 상기 선택된 마크가 식별하는 관심영역을 중심으로 MPR(Multi-Planar Reconstruction) 뷰에 해당하는 슬라이스를 우선적으로 선택하는 것, 사용자가 이전에 상호작용했던 슬라이스를 우선적으로 선택하는 것, 및 볼륨 내의 그 외 다른 관심영역을 최대한 많이 포함하는 슬라이스를 우선적으로 선택하는 것 중 적어도 하나를 포함할 수 있다.
또 다른 실시예에 있어서, 상기 적어도 하나의 컴포넌트는, 상기 볼륨 내에 포함되어 있는 마크들을 화면 상에서 겹침 없이 표시하는 마크 배열부를 더 포함할 수 있다.
또 다른 실시예에 있어서, 상기 마크 배열부는, 화면에 표시된 상기 볼륨이 확대, 축소, 회전, 또는 이동함으로써 변형되었을 때, 상기 마크를 상기 볼륨의 변형과 함께 변화되도록 하면서 겹침 없이 화면에 표시할 수 있다.
또 다른 실시예에 있어서, 상기 적어도 하나의 컴포넌트는, 상기 볼륨 내의 관심영역들 중에서 선택된 관심영역 또는 선택된 마크에 의해 식별되는 관심영역을 시각적으로 주변과 구별되도록 상기 볼륨을 나타내는 영상 데이터를 조절하는 ROI 시각화부를 더 포함할 수 있다.
또 다른 실시예에 있어서, 상기 관심영역 시각화부는, 상기 선택된 관심영역 또는 상기 선택된 마크에 의해 식별되는 관심영역을 둘러싸는 주변 영역을, 상기 선택된 관심영역 또는 상기 선택된 마크에 의해 식별되는 관심영역을 중심으로 멀어질수록 투명도가 점진적으로 증가되도록 상기 볼륨을 나타내는 영상 데이터를 변화시킬 수 있다.
또한 다른 양상에 따라 제공되는 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법은, 3차원 영상인 볼륨 및 상기 볼륨을 절단한 단면들 각각을 나타내는 2차원 영상인 슬라이스들을 포함하는 영상들에 대한 상호작용을 인에이블하는 사용자 인터페이스 제공 방법으로서, 상기 영상들 중 적어도 2개는 적어도 하나의 공통 관심영역을 식별하기 위한 동일한 시각적인 마크를 각각 포함하며, 상기 사용자 인터페이스 제공 방법은, 상기 영상들 중 하나의 영상에 포함된 상기 동일한 시각적인 마크와 연관된 사용자 입력을 수신하는 단계와, 상기 사용자 입력과 연관된 상기 동일한 시각적인 마크를 포함하고 있는 영상들에 대한 상호작용을 인에이블하는 단계를 포함할 수 있다.
상술한 양상들 및 실시예들과 그 외 다른 실시예들에 대한 더 상세한 설명이 아래에서 도면을 참조하여 제공될 것이다.
서로 연관되어 있는 볼륨 및 슬라이스에 공통적으로 포함된 관심영역(ROI)에 고유 식별정보를 가진 마크를 시각적으로 표시하고, 이 마크를 기초로 하여 볼륨 및 슬라이스를 연계하여 표시, 탐색, 배열, 시각화 등의 다양한 상호작용을 인에이블하는 사용자 인터페이스를 구현할 수 있는 효과가 있다.
도 1a은 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템의 일 실시예를 나타낸 블록도,
도 1b는 도 1a의 시스템에서, 영상 탐색부를 더 상세히 설명하기 위한 블록도,
도 1c는 도 1a의 시스템에서, 마크 배열부를 더 상세히 설명하기 위한 블록도,
도 1d는 도 1a의 시스템에서, 관심영역 시각화부를 더 상세히 설명하기 위한 블록도,
도 2는 도 1a의 시스템과 연관된 사용자 인터페이스의 일 실시예를 보여주는 도면,
도 3은 도 1a의 시스템과 연관된 사용자 인터페이스에서, 관심영역에 마크를 생성하는 예를 설명하기 위한 도면,
도 4는 도 1a의 시스템과 연관된 사용자 인터페이스에서, 볼륨의 관심영역과 연관되어 있는 슬라이스들의 관심영역에 표시되는 마크를 설명하기 위한 도면,
도 5a는 도 1a의 시스템과 연관된 사용자 인터페이스에서, 볼륨의 관심영역에 표시된 마크를 사용자가 선택하여 슬라이스를 탐색하는 예를 설명하기 위한 도면,
도 5b는 도 5a에서 선택된 마크에 대응하는 서로 다른 3개의 슬라이스가 탐색된 예를 설명하기 위한 도면,
도 6a는 도 1a의 시스템과 연관된 사용자 인터페이스에서, 볼륨의 관심영역에 표시된 마크를 이용하여 슬라이스를 탐색할 때 탐색될 슬라이스 선택기준을 설명하기 위한 도면,
도 6b는 도 6b의 선택기준에 따른 슬라이스들을 보여주는 도면,
도 7a는 도 1a의 시스템과 연관된 사용자 인터페이스에서, 볼륨을 변형시켰을 때 관심영역에 표시된 마크들을 겹침없이 보여주는 예를 설명하기 위한 도면,
도 7b는 도 7a에서, 볼륨이 변형된 경우 마크들을 겹침없이 보여주는 예를 설명하기 위한 도면,
도 8a는 도 1a의 시스템과 연관된 사용자 인터페이스에서, 볼륨이 3차원 초음파 영상인 경우의 일 예를 보여주는 도면,
도 8b 도 8a의 볼륨에 포함된 관심영역과 마크들 중 하나의 마크를 사용자가 선택하는 일 예를 보여주는 도면,
도 8c는 도 8b에서 선택된 마크가 지시하는 관심영역의 가시성을 높이기 위한 시각화의 예를 설명하기 위한 도면,
도 9는 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법의 일 예에서, 마크 생성 과정의 예를 보여주는 흐름도,
도 10은 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법의 일 예에서, 마크 기반 탐색 과정의 예를 보여주는 흐름도,
도 11은 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법의 일 예에서, 볼륨 내에서 마크들을 겹치지 않도록 표시되는 과정의 예를 보여주는 흐름도.
도 12는 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법의 일 예에서, 볼륨 내에서 관심영역을 시각화하는 과정의 예를 보여주는 흐름도이다.
이하에서는 첨부한 도면을 참조하여 실시예를 상세히 설명한다. 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 명세서에서 설명하는 기술에서 각각의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 실질적으로 그 정의는 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
아래에서 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법에 관한 다양한 실시예들이 도면들을 참조하여 기술된다.
영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법의 일 실시예는 볼륨 및 이 볼륨의 단면을 나타내는 복수의 슬라이스를 이용하여 컴퓨터 보조 진단(CAD) 시스템을 통해 진단할 때에 이용될 수 있다. 볼륨 및 슬라이스들은 예컨대 초음파 진단 분야에서 어떤 개인의 유방암 조기 발견을 위해 상기 개인의 유방을 촬영한 의료영상일 수 있다. 이 경우, 사용자는 영상 내에서 예컨대 유방암과 관련된 병변을 발견하기 위해 특정 관심영역(ROI)을 구별하고 서로 연관시키는 작업을 할 필요가 있다.
영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법의 실시예는, 사용자가 볼륨 및 슬라이스들로 이루어진 의료영상들에 대한 상호작용을 할 수 있게 하는 사용자 인터페이스를 제공할 수 있다.
사용자 인터페이스 제공 시스템 및 방법의 실시예는, 컴퓨팅 장치와, 이 컴퓨팅 장치 상에 설치되고 컴퓨팅 장치의 프로세서에 의해 실행되어 디스플레이 상에 영상을 표시하고 사용자 입력장치를 통해 사용자 입력을 수신하도록 코팅된 영상 프로세싱 애플리케이션을 포함하여 구현될 수 있다.
영상 프로세싱 애플리케이션은 컴퓨팅 장치의 프로세서에 의해 실행되면 아래에서 상세히 설명하는 방법들의 단계들 중 일부 또는 전부를 실현하도록 구현된 컴퓨터 코드, 모듈, 루틴, 인스트럭션, 소프트웨어, 프로그램, 애플리케이션 등을 포함할 수 있다. 컴퓨팅 장치는 프로세서, 메모리, 디스플레이, 사용자 입력장치 등을 포함할 수 있다. 컴퓨팅 장치에는 타블렛, 랩탑, 데스크탑, 서버 시스템, 또는 분산 컴퓨터 시스템 등이 포함될 수 있다.
영상 프로세싱 애플리케이션은 컴퓨팅 장치에 의해 실행됨으로써 사용자 인터페이스를 제공한다. 사용자 인터페이스는 사용자와 컴퓨팅 장치에 의해 실행되는 영상 프로세싱 애플리케이션 사이에서 다양한 상호작용을 인에이블할 수 있다.
이하에서, 간단한 표현을 위하여, 사용자와 다양한 상호작용을 하는 컴퓨팅 장치 및 영상 프로세싱 애플리케이션의 조합은 단지 '애플리케이션'으로서 지칭된다. 그리고, 간단한 표현을 위하여, 다양한 상호작용을 인에이블하기 위하여 이 애플리케이션이 제공하는 사용자 인터페이스는 단지 '사용자 인터페이스'로서 지칭된다.
사용자는 사용자 인터페이스를 통해 영상에 대하여 애플리케이션과 상호작용할 수 있다. 사용자는 사용자 인터페이스를 통해 영상을 생성하고, 보고, 수정하고, 마크를 표시하고, 배열하고, 탐색하고, 저장하는 등의 다양한 상호작용을 할 수 있다.
복수의 의료영상들, 만약 이 복수의 의료영상들이 신체의 동일한 영역을 서로 다른 위치에서 촬영한 것이라면, 각각은 서로 다른 형태로 나타나지만 동일한 병변일 수 있는 공통 관심영역을 포함할 수 있다. 실시예에 따라, 사용자는 사용자 인터페이스를 통해, 공통 관심영역에 표시된 시각적인 식별 마크에 기초하여, 볼륨 및 슬라이스들에 대해 상호작용할 수 있다.
이 문서에서, 볼륨(volume)은 3차원 영상 또는 입체영상이라고 지칭될 수 있다. 볼륨은 예컨대 특정한 인체 부분을 촬영하여 생성할 수 있는 3차원 초음파 의료 영상일 수 있다. 볼륨은, 예컨대 인체를 3개의 서로 직교하는 인체면(body planes)에 따라 절단한 평면을 나타내는, 복수의 슬라이스로 분할될 수 있다.
이 문서에서, 슬라이스(slice)는 2차원 영상 또는 단면영상이라고도 지칭될 수 있다. 슬라이스는 예컨대 MPR(multi-planar reconstruction) 뷰에서와 같이 서로 직교하는 3개의 축(X, Y, Z)에 평행한 평면에 대응하여, 볼륨을 절단한 면을 나타내는 2차원 평면 영상일 수 있다.
실시예에 따라, 서로 연관되어 있는 볼륨 및 슬라이스들 내 ROI에 시각적으로 표시된 마크를 기반으로 영상에 대한 사용자와 애플리케이션 사이의 상호작용을 가능하게 하는 사용자 인터페이스가 제공될 수 있다.
어떤 볼륨과 슬라이스가 '서로 연관되어 있다'는 것은, 그 슬라이스가 그 볼륨을 임의의 방향으로 절단하였을 때의 단면을 나타내는 영상이라는 의미이다.
그러므로, 특별히 명시적으로 지적하지 않는다고 할지라도, 하나의 볼륨에 복수 개의 슬라이스가 존재한다는 점이 해당 분야의 통상의 지식을 가진 자에게 자명할 것이다. 예를 들어, 슬라이스들은 볼륨 내의 한 점에 대해 서로 직교하는 3개의 평면을 따라 제공될 수 있다는 점도 해당 분야의 통상의 지식을 가진 자라면 쉽게 이해할 것이다. 덧붙여서, '슬라이스들이 서로 연관되어 있다'라는 표현 및 이와 유사한 표현은 이 연관된 슬라이스들이 동일한 하나의 볼륨의 서로 다른 단면들을 나타낸다는 것을 의미한다.
표현을 단순하게 하기 위하여, 이하의 기재에서, 볼륨, 슬라이스, 다른 슬라이스들 등은, 특별히 명시적으로 그렇지 않다고 지적하지 않는 한, 서로 연관되어 있는 볼륨, 슬라이스, 및 슬라이스들을 지칭한다.
실시예에 따라 제공되는 사용자 인터페이스는, 볼륨 및 슬라이스들에 포함되어 있는 ROI를 시각적 표지 즉 마크(mark)를 기반으로 하여 편리하게 조작할 수 있게 한다.
마크는 각각의 ROI를 고유하게 식별할 수 있는 시각적인 표지이다. 마크는 하나의 ROI에 대하여 하나 또는 2개 이상으로 표시될 수 있다. 마크는 텍스트, 기호, 및/또는 그래픽 표현을 이용하여 형성될 수 있다. 예를 들어, 마크는 ROI를 고유하게 식별하는 일련번호 등과 같은 고유한 식별정보를 포함할 수 있다. 또한 마크는 ROI의 크기, 명칭, 악성도 등과 같이 ROI를 설명하는 정보를 나타내는 문자, 숫자 및/또는 기호 등을 추가로 포함할 수 있다. 더 나아가, 마크는 ROI의 특성을 직관적으로 나타내는 그림, 부호, 2차원적 그래픽 표현, 3차원적 그래픽 표현, 정지된 아이콘, 및/또는 움직이는 아이콘 등을 더 포함할 수 있다.
예를 들어, 실시예에 따른 사용자 인터페이스를 통해 사용자는 하나의 슬라이스 내에서 특정 ROI를 확인한 후, 확인한 ROI의 내부 또는 외부에 마크를 표시(이하 종종 '마킹(marking)'이라고도 한다)하기 위한 마킹 정보를 입력할 수 있다. 마킹 정보는, 예컨대, 슬라이스 내에서 마크가 표시될 위치, 표시될 마크의 형태, 마크에 포함될 정보 등을 포함할 수 있다.
ROI는 사용자가, 사용자 인터페이스를 통해 애플리케이션과 현재 상호작용하고 있는 슬라이스(이하, '현재 슬라이스'라고 한다) 내에 존재한다. 또한, 현재 슬라이스와 연관되어 있는 볼륨 내에도 존재한다. 나아가, 현재 슬라이스와 연관되어 있는 타 슬라이스들 내에도 슬라이스마다 각각 존재한다.
현재 슬라이스에서 확인된 ROI는, 연관되어 있는 볼륨 및 연관되어 있는 다른 슬라이스 내에서, 동일하지만 그 형태가 조금씩 다를 수 있는 '상응하는 ROI'로서 존재한다고 가정한다. 이러한 경우는, 예컨대, 유방암 조기 진단을 위하여 어떤 개인의 유방 영역을 촬영한 초음파 영상들일 수 있고, ROI는 이들 영상들에서 발견된 병변일 수 있다.
실시예에 따라, 사용자 인터페이스는 사용자가 영상에 자동 마크 표시 를 포함하는 상호작용을 인에이블한다. 다시 말해서, 애플리케이션은, 현재 슬라이스의 특정 ROI에 대한 사용자의 마킹 액션에 응답하여, 연관되어 있는 볼륨 및 연관되어 있는 다른 슬라이스들 내에 있는 상응하는 ROI에 대해, 사용자의 직접적인 액션 없이, 현재 슬라이스에서 표시된 마크와 동일한 식별정보를 가지는 상응하는 마크를 자동으로 생성하고 표시할 수 있다.
이처럼 현재 슬라이스에 대한 마킹을 행하는 경우, 자동으로 나머지 슬라이스들에 동일한 마크가 붙는 것을 태깅(tagging)이라고 정의하기로 한다.
예를 들어, 사용자 인터페이스를 통해 사용자는 현재 슬라이스의 특정 ROI의 외부에 텍스트로 이루어진 고유한 일련번호를 포함하는 식별정보를 포함하는 텍스트 상자 형태의 마크를 시각적으로 표시할 수 있다. 이 예에서, 표시된 마크는 슬라이스에 대해 오버레이된 이미지의 형태로 슬라이스에 포함될 수 있다. 사용자의 마크 표시에 응답하여, 애플리케이션은, 볼륨 및 다른 슬라이스들의 상응하는 ROI에 대해 외부에 텍스트로 이루어진 마크를 자동으로 태깅한다. 이 경우, 특정 ROI에 마킹된 마크와, 상응하는 ROI에 태깅된 마크는 동일한 식별정보를 포함하며, 동일한 텍스트 상자 형태로 시각적으로 표시될 수 있다.
사용자 인터페이스는, 사용자가 현재 화면에 표시되어 있는 슬라이스내 특정 ROI에 마킹할 수 있게 하며, 그 후, 연관된 볼륨 및 다른 슬라이스들 중 하나 이상을 화면에 표시하기 위해 불러낼 수 있게 한다. 그 결과 화면에 표시된 볼륨 또는 슬라이스에는 상응하는 ROI에 자동으로 마크가 표시된다.
또한 사용자 인터페이스는 ROI의 마크를 기반으로 비순차적인 탐색 기능을 제공한다. 사용자가 화면에 표시되어 있는 현재 볼륨 내에서 원하는 ROI의 마크를 선택하면, 이에 응답하여 애플리케이션은 선택된 마크가 식별하는 ROI가 포함되어 있는 모든 슬라이스 중에서 소정 선택 기준에 따라 선택된 몇 개의 슬라이스를 화면에 표시한다.
선택 기준은, 사용자에 의해 또는 다른 엔터티들에 의해 설정되거나 한정될 수 있다. 예를 들어, 선택 기준에는, 선택된 마크가 식별하는 ROI를 포함하는 슬라이스들 중에서 사용자가 이전에 상호작용했던 슬라이스가 우선적으로 선택되는 것, 선택된 마크가 식별하는 ROI를 포함하는 슬라이스들 중에서 그 외 다른 ROI들을 포함하고 있는 슬라이스가 우선적으로 선택되는 것 등이 포함될 수 있다.
더 나아가, 사용자 인터페이스는 볼륨에 포함되어 있는 모든 마크를 겹침 없이 화면에 표시하는 마크 배열 기능을 제공한다. 볼륨 내에는 다수의 ROI가 포함될 수 있고, 각각의 ROI에는 하나 이상의 마크가 표시될 수 있다. 각각의 마크는 사용자의 시선을 따라 2차원 평면인 화면 상에서 겹치는 경우가 발생하지 않도록 배열될 수 있다. 이에 따라 사용자가 마크들을 살펴보거나 원하는 마크를 선택할 때 사용자 편리성을 제공할 수 있다.
이 경우, 사용자 인터페이스는 볼륨의 변형시에도 볼륨에 포함되어 있는 모든 마크가 겹침 없이 화면에 표시되도록 하는 기능을 더 제공한다. 사용자는 이미 마크들이 표시되어 있는 볼륨을 특정 기준점을 중심으로 회전시키거나, 확대 또는 축소시키거나, 이동시키는 등의 변형 동작을 가할 수 있다. 이때, 볼륨 내의 모든 마크가 볼륨의 변형에 따라 변화되도록 하면서 동시에 겹침없이 항상 사용자를 바라보도록 자동으로 조절될 수 있다.
그리고, 사용자 인터페이스는 선택된 마크가 가리키는 ROI를 주변과 구별되어 시각적으로 부각되도록 하는 ROI 시각화 기능을 제공할 수 있다. 사용자는 볼륨 내에서 원하는 하나의 ROI를 식별하는 마크를 선택할 수 있다. 그러면, 볼륨 내에서 예컨대 ROI를 중심으로 멀어질수록 명도 및/또는 채도와 같은 픽셀의 특성을 변화시킬 수 있다. 이러한 변화는 볼륨 내에서 선택된 마크가 가리키는 ROI를 둘러싸는 주변 영역의 투명도가 점진적으로 증가되도록 할 수 있다. 그 결과 ROI를 제외한 주변 영역이 투명하게 되므로, ROI가 시각적으로 주변과 구별될 뿐만 아니라, 사용자의 시선이 강제로 ROI를 향하게 되는 효과를 얻을 수 있다.
도 1a은 일 실시예에 따른 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템의 일 예를 나타낸 블록도이다.
도 1a를 참조하면, 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템(100)은 컴퓨팅 장치에 의해 구현될 수 있다. 컴퓨팅 장치는 스토리지 매체, 프로세서 수단, 디스플레이 수단, 입력 수단 등을 포함할 수 있다. 스토리지 매체는 2차원 영상, 3차원 영상, 정지 영상, 동영상 등의 영상 정보를 저장할 수 있다면 제한 없이 이용가능하다. 프로세서 수단은 2차원 영상, 3차원 영상, 정지 영상, 동영상 등의 영상정보를 디스플레이하고 수정하거나 연관시키거나 결합하는 기능 등을 수행하기 위한 것이라면 제한 없이 이용가능하다. 디스플레이 수단은 2차원 영상, 3차원 영상, 정지 영상, 동영상 등의 영상정보를 시각적으로 표시할 수 있는 것이라면 제한 없이 이용가능하다. 입력 수단은 키보드, 터치-민감형 입력 장치, 마우스, 음성 인식 기능을 포함한 마이크로폰 등과 같이, 사용자의 명령이나 텍스트, 숫자, 부호 등의 조합으로 이루어진 정보를 입력하기 위한 장치라면 제한 없이 이용가능하다. 그러므로, 예컨대, 타블렛, 랩탑, 데스크탑, 서버 시스템과 같은 다양한 컴퓨팅 장치가 단독으로 또는 복수로 협력하여 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템(100)을 구현할 수 있다.
도 2는 일 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 시스템에서 디스플레이에 표시하는 인터페이스 화면의 일 예를 보여주는 도면이다.
도 2를 참조하면 인터페이스 화면(20)은 볼륨 영역(22) 및 슬라이스 영역(24)을 포함한다. 볼륨 영역(22)에는 회색의 원 및 타원으로서 간단하게 표시되어 있는 3개의 ROI를 포함하는 볼륨이 표시되어 있다. 슬라이스 영역(24)은 서로 다른 개별 슬라이스 영역들(241, 242, 243)을 포함한다. 이들 개별 슬라이스 영역 각각에는 하나의 슬라이스가 표시되어 있다. 도시된 예는 단지 예시로서 제공된 것이며, 다른 방식의 화면 구성들도 가능하다. 예를 들어, 슬라이스 영역(24)이 볼륨 영역(22)과는 별개의 윈도우에서 보여지는 화면 구성도 가능하다. 다른 예를 들어, 슬라이스 영역(24)이 볼륨 영역(22)의 좌측이 아니라 우측에 배치되거나, 또는 위나 아래에 배치되는 화면 구성들도 역시 가능하다.
도 1a를 다시 참조하면, 실시예에 따라, 입체영상의 관심영역 탐색을 위한 사용자 인터페이스 시스템(100)은 입력부(110), 마크 생성부(120), 영상정보 데이터베이스(DB)(130), 영상 탐색부(140), 마크 배열부(150), ROI 시각화부(160), 화면 구성부(170), 출력부(180), 영상처리부(CAD)(190) 등의 컴포넌트들을 포함하여 구성될 수 있다.
입력부(110)는 사용자가 입력수단(예컨대, 키보드, 마우스, 터치 패널 등)을 통해 입력한 정보를 수신하는 컴포넌트이다.
마크 생성부(120)는 볼륨 및 이 볼륨을 절단한 단면들 각각을 나타내는 슬라이스들에 포함되어 있는 관심영역(ROI)에 표시될 마크를 생성하는 컴포넌트이다.
마크 생성부(120)는 먼저 사용자의 입력 정보에 따라 마크를 생성할 수 있다. 예를 들어, 사용자가 인체의 유방 일부를 촬영한 3차원 초음파 영상인 볼륨 및 연관되어 있는 슬라이스들을 유방암 진단을 위해 검토하고 있다고 가정하자. 사용자는 현재 화면에 표시되어 있는 슬라이스 또는 볼륨을 검토하여, 관심영역(ROI)으로서 예컨대 유방암 종양일 수 있는 병변을 하나 이상 확인할 수 있다. 사용자는 확인된 병변 즉 확인된 ROI를 고유하게 식별하는 마크를 생성하도록 명령을 입력할 수 있다. 그러면, 마크 생성부(120)는 사용자 명령에 따라 각각의 ROI를 고유하게 식별하는 정보를 포함하는 마크를 생성하여 각각의 ROI에 대응시켜 화면에 표시하도록 제공할 수 있다.
도 3은 일 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 시스템에서, 관심영역에 마크를 생성하는 예를 설명하기 위한 도면이다.
도 3을 참조하면, 예를 들어 사용자는 손가락의 터치 또는 마우스의 포인터를 이용하여 마크가 배치될 위치를 선택한 후, 물리적인 키보드나 가상 키보드를 이용하여 마크에 포함될 정보를 입력할 수 있다. 도 3은 하나의 ROI의 외부에 상자 형태의 마크(301) 및 ROI의 내부에 타원 형태의 그래픽 표현인 마크(302)가 각각 표시되는 예를 보여준다. 상자 형태의 마크(301)에는, 그것이 식별하는 ROI의 고유 식별정보(예컨대, 일련번호), ROI의 크기, 악성도 등의 정보가 텍스트 형태로 포함될 수 있다. 그래픽 표현 마크(302)는, 비록 설명적인 식별정보를 표현하지는 않지만, 사용자로 하여금 ROI의 대략적인 형상 및 상대적인 크기를 직관적으로 알 수 있게 한다.
이와 같이, 하나의 ROI에는 하나 또는 2개 이상의 마크가 시각적인 형태로 표시될 수 있다. 마크는 ROI와 연관되어 표시될 수 있다면 충분하며, ROI의 내부/외부 위치의 제한 없이 표시될 수 있다. 마크는 ROI를 고유하게 식별하기 위한 식별정보 이외에, 텍스트 표현 및/또는 그래픽 표현을 포함할 수 있다. 텍스트 표현은 ROI를 서술적으로 설명하는 문자, 숫자 또는 기호의 조합 으로 이루어질 수 있다. 그래픽 표현은 ROI를 직관적으로 나타내는 그림, 부호, 2차원/3차원 그래픽 표현, 및/또는 정지 아이콘, 움직이는 아이콘 등과 같은 다양한 그래픽 표현을 포함할 수 있다.
도 1a로 다시 돌아가면, 더 나아가, 마크 생성부(120)는 현재 슬라이스의 ROI에 마크를 생성하여 표시(또는, 마킹)한 이후, 다른 슬라이스들 및 볼륨 내에서 상응하는 ROI에 자동으로 상응하는 마크를 생성하여 표시(또는, 태깅)할 수 있다. 이 경우, 태깅된 마크는, 마킹된 마크와 동일한 식별정보를 가진다. 즉 다른 슬라이스들에서 태깅된 마크는 현재 슬라이스에서 마킹된 마크가 식별하는 ROI와 동일한(또는 상응하는) ROI를 식별한다.
마크 생성부(120)에 의해 생성된 마크, ROI, 볼륨 및 슬라이스와 관련된 정보는 영상정보 데이터베이스(DB)(130)에 저장될 수 있다.
이후 마크 생성부(120)에 의해 마크가 태깅된 ROI를 포함하는 다른 슬라이스들이 사용자에 의해 화면에 표시되도록 불러내어지면, 예컨대 화면구성부(170)에서 영상정보 DB(130)를 참조하여, 불러내어진 슬라이스를 화면에 표시하도록 출력부(180)에 제공할 수 있다. 이때 불러내어진 슬라이스는 이전에 마크 생성부(120)에 의해 태깅된 마크가 표시되어 있는 슬라이스로서 화면에 표시될 수 있다.
도 4는 일 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 시스템에서, 볼륨의 ROI와 연관되어 있는 슬라이스들의 관심영역에 표시되는 마크를 설명하기 위한 도면이다.
도 4를 참조하면, 볼륨 형태 즉 3차원 럭비공 형태의 ROI(400)가 도시된다. 이 3차원의 ROI(400)를 절단하는 단면들 중 일부를 예시하는 4개의 슬라이스(410, 420, 430, 440)가 도시된다. 슬라이스(410, 420, 430, 440) 각각은 텍스트 박스 형태의 마크(411, 421, 431, 441) 및 타원 형태의 2차원 그래픽 마크(412, 422, 432, 442)를 포함한다. 이들 슬라이스(410, 420, 430, 440)는 모두 하나의 동일한 ROI(400)를 포함한다. 하지만, 이들 슬라이스(410, 420, 430, 440)는 동일한 텍스트 박스 형태의 마크(411, 421, 431, 441)뿐만 아니라 서로 다른 크기를 가지는 타원 형태의 2차원 그래픽 마크(412, 422, 432, 442)를 가진다.
이와 같이, 예를 들어, 사용자가 하나의 슬라이스(410)를 화면에 표시한 후 ROI(400)에 상응하는 형태의 ROI에 대해 고유 식별정보를 포함하는 텍스트 형태의 마크(411)와 ROI의 크기와 형상을 직관적으로 나타내는 2차원의 작은 타원 형태의 마크(412)를 생성하여 표시하였다고 가정하자. 그러면 마크 생성부(120)는, 자동으로, ROI(400)를 절단하는 다른 모든 슬라이스들(420, 430, 440)에 포함되어 있는 상응하는 ROI에 대하여 동일한 고유 식별정보를 포함하는 텍스트 형태의 마크(421, 431, 441)를 태깅하고, 더 나아가 ROI의 크기와 형상을 직관적으로 나타내는 2차원의 서로 다른 크기의 타원 형태의 마크(422, 432, 442)를 태깅할 수 있다.
이후, 예를 들어, 사용자가 슬라이스(420)을 화면에 표시하도록 불러내었다고 가정하자. 그러면, 비록 사용자가 상응하는 ROI에 대해 마킹한 적은 없지만, 화면에 표시된 슬라이스(420)는 상응하는 ROI에 대해 자동으로 태깅된 마크(421, 422)를 포함한다.
도 1b는 도 1a의 시스템에서, 영상 탐색부를 더 상세히 설명하기 위한 블록도이다.
도 1a 및 도 1b를 참조하면, 영상 탐색부(140)는, 마크가 표시된 슬라이스들 중에서 원하는 슬라이스에 대한 비순차적인 탐색이 가능하게 한다. 영상 탐색부(140)는 마크 선택부(141) 및 연관 영상 선택부(143)를 포함할 수 있다.
마크 선택부(141)는 사용자로 하여금 원하는 ROI를 식별하는 마크를 선택하도록 제공하고, 사용자가 선택한 마크를 수신하는 컴포넌트이다. 사용자는 슬라이스 또는 볼륨을 화면에 표시한 상태에서, 표시된 슬라이스 또는 볼륨 내에서 원하는 ROI를 식별하는 마크를 입력장치를 통해 선택할 수 있다. 연관 영상 선택부(143)는 사용자가 선택한 마크가 식별하는 ROI에 상응하는 ROI를 가진 슬라이스들 중에서 설정된 선택 기준에 따라 선별하여 슬라이스들을 선택한다. 그리고 연관 영상 선택부(143)는 선택된 슬라이스를 화면에 출력하도록 화면 구성부(170)에 제공할 수 있다.
실시예에 따라 연관 영상 선택부(143)가 슬라이스를 선택하는 선택 기준은, 시스템 제조자 또는 공급자에 의해 설정된 디폴트 값이 사용될 수 있다 대안적으로 선택 기준은 시스템이 제공하는 설정 과정에서 사용자에 의해 설정될 수 있다. 예를 들어, 사용자는 선택 기준으로서 선택된 마크가 식별하는 ROI를 중심으로 MPR(Multi-Planar Reconstruction) 뷰에 해당하는 슬라이스를 우선적으로 선택하는 것으로 설정할 수 있다. 대안으로서, 사용자는 선택기준으로서 사용자(자기 자신 또는 다른 사용자)가 이전에 상호작용했던 슬라이스를 우선적으로 선택하는 것으로 설정할 수 있다. 다른 대안으로서, 사용자는 선택기준으로서 볼륨 내의 그 외 다른 ROI들을 최대한 많이 포함하는 슬라이스를 우선적으로 선택하는 것으로 설정할 수 있다. 이러한 선택 기준은, 특정 ROI에 대해 비순차적인 탐색을 가능하게 하며, 현재 검토 중인 ROI와 상응하거나 유사도가 높은 ROI를 포함한 슬라이스를 우선적으로 탐색할 수 있게 한다.
도 5a는 도 1a의 시스템과 연관된 사용자 인터페이스에서, 볼륨의 관심영역에 표시된 마크를 사용자가 선택하여 슬라이스를 탐색하는 예를 설명하기 위한 도면이다.
도 5a를 참조하면, 화면에 표시된 볼륨(50)에는 3개의 ROI(512, 522, 532)에 대해 각각 고유 식별정보를 포함하는 텍스트 상자 형태의 마크(511, 521, 531)가 시각적으로 표시되어 있는 볼륨이 도시된다. 예를 들어, 사용자는 마크들 중 하나 즉 마크(511)를 손가락을 사용하여 터치함으로써 원하는 ROI(512)를 선택할 수 있다. 그러면, 이러한 선택은 영상 탐색부의 마크 선택부에서 감지되고, 연관 영상 선택부에서 설정된 선택 기준에 따라 유사도가 높은 슬라이스들이 자동으로 탐색될 수 있다.
도 5b는 도 5a에서 선택된 마크에 대응하는 서로 다른 3개의 슬라이스가 탐색된 예를 설명하기 위한 도면이다.
도 5b를 참조하면, 도 5a에서 사용자가 선택한 마크에 대해 탐색된 결과가 도시된다. 도시된 바와 같이, 3개의 슬라이스(513, 514, 515)가 선택되어 화면에 표시될 수 있다. 표시된 3개의 슬라이스(513, 514, 515)는 사용자가 선택한 마크(511)가 식별하는 ROI(512)를 서로 다른 단면에서 보여주는 슬라이스일 수 있다.
도 6a는 도 1a의 시스템과 연관된 사용자 인터페이스에서, 볼륨의 관심영역에 표시된 마크를 이용하여 슬라이스를 탐색할 때 탐색될 슬라이스 선택기준을 설명하기 위한 도면이다.
도 6a를 참조하면, 사용자가 ROI(512)를 식별하는 마크를 선택하였다고 가정하자. 이 경우, 선택된 ROI(512)를 중심으로 서로 직교하는 3개의 평면을 보여주는 슬라이스(601, 602, 603)들이 선택될 수 있다. 더 나아가, 단순히 선택된 ROI(512)를 중심으로 임의로 절단한 단면을 선택하는 것뿐만 아니라, ROI들을 최대한 많이 포함하는 단면을 선택하는 것도 선택기준에 포함될 수 있다.
도 6b는 도 6b의 선택기준에 따른 슬라이스들을 보여주는 도면이다.
도 6b를 참조하면, 선택된 슬라이스들(601, 602, 603)은, 선택된 ROI(512) 뿐만 아니라, 그 외 다른 ROI(522, 532)를 부분적으로나마 포함하는 슬라이스일 수 있다. 이러한 슬라이스((601, 602, 603)들은 ROI들을 최대한 많이 포함한다는 선택기준에 따라 선택된 것이다.
도 1c는 도 1a의 시스템에서, 마크 배열부를 더 상세히 설명하기 위한 블록도이다.
도 1a 및 도 1c를 참조하면, 마크 배열부(150)는 볼륨 내에 포함되어 있는 마크들을 화면 상에서 겹침 없이 표시하는 컴포넌트이다. 볼륨 내에는 하나 이상의 ROI가 존재할 수 있고, 각각의 ROI에 대해 하나 이상의 마크가 표시될 수 있다. 따라서 볼륨을 화면에 포함할 때, 다수의 마크들이 혼재된 상태일 수 있다. 마크 배열부(150)는 이러한 마크들이 서로 겹치지 않게 2차원의 화면에 배열하는 기능을 담당한다. 이에 따라, 사용자는 원하는 ROI를 식별하는 마크를 용이하게 선택할 수 있어, 사용자 편리성이 증대될 수 있다.
마크 배열부(150)는 볼륨 선택부(151), 마크 배열 수행부(153), 볼륨 변형 감지부(155), 마크 배열 변형부(157)를 포함할 수 있다. 볼륨 선택부(151)는 사용자로 하여금, 마크를 배열할 볼륨을 선택하도록 제공하고, 사용자의 선택을 입력부(110)를 경유하여 수신한다. 마크 배열 수행부(153)는 선택된 볼륨 내에 포함되어 있는 모든 마크들을 화면 상에서 서로 겹치지 않도록 배열한다. 배열된 마크들의 위치는 화면 구성부(170)로 제공되어, 볼륨과 함께 화면에 표시되도록 출력될 수 있다.
또한 화면에 표시된 볼륨이 확대, 축소, 회전, 또는 이동함으로써 변형되었을 때 이를 볼륨 변형 감지부(155)에서 감지할 수 있다 마크 배열 변형부(157)는 일단 한번 배열되었던 마크들이 볼륨의 변형에 따라 변화되지 않으면서, 및/또는 마크들이 볼륨의 변형에 따라 변화되도록 함으로써 겹침 없이 화면에 표시하도록 배열할 수 있다.
도 7a는 도 1a의 시스템과 연관된 사용자 인터페이스에서, 볼륨을 변형시켰을 때 관심영역에 표시된 마크들을 겹침없이 보여주는 예를 설명하기 위한 도면이다.도 7a를 참조하면, 볼륨(50)은 3개의 ROI(512, 522, 532)를 포함하며, 각각의 ROI에는 하나씩의 마크(511, 521, 531)가 표시되어 있다. 이러한 볼륨(50)이 화면 상에 보여질 때, 마크 배열부(150)는 마크(511, 521, 513)들이 서로 겹치지 않도록 배열할 수 있다. 사용자는 볼륨(50)의 좌측하단을 손가락으로 작은 원을 그리는 터치를 함으로써 볼륨(50)이 회전하도록 할 수 있다.
도 7b는 도 7a에서, 볼륨이 변형된 경우 마크들을 겹침없이 보여주는 예를 설명하기 위한 도면이다.
도 7b를 참조하면, 도 7a에서 회전된 볼륨의 경우, 마크 배열부는 마크(511, 521, 513)들이 사용자가 읽기에 편하도록 수평 상태를 유지하면서 각각의 대응하는 ROI와 연관될 수 있는 방식으로 변형시켜 재배열할 수 있다. 그 결과 도시된 바와 같이, 비록 볼륨(50)은 회전되어 기울어졌지만, 마크(511, 521, 531)는 수평상태를 유지하여 재배열될 수 있다.
도 1d는 도 1a의 시스템에서, 관심영역 시각화부를 더 상세히 설명하기 위한 블록도이다.
도 1a 및 도 1d를 참조하면, ROI 시각화부(160)는 볼륨 내의 ROI들 중에서 선택된 ROI 또는 선택된 마크가 식별하는 ROI를 시각적으로 주변과 구별되도록 시각화하는 컴포넌트이다. ROI 시각화부(160)는 마크 선택부(161) 및 투명도 조절부(163)를 포함할 수 있다.
마크 선택부(161)는 사용자가 화면에 표시된 볼륨에 포함되어 있는 마크들 중에서 원하는 마크를 선택하도록 제공하고, 사용자가 선택한 정보를 수신할 수 있다. 투명도 조절부(163)는 사용자가 선택한 마크가 식별하는 ROI를 주변에 비하여 구별되도록 변형시키는 컴포넌트이다. 실시예에 따라, 투명도 조절부(163)는 선택된 마크가 식별하는 ROI를 둘러싸는 주변 영역을, 선택된 ROI 또는 선택된 마크가 식별하는 ROI를 중심으로 멀어질수록 투명도가 점진적으로 증가되도록 볼륨을 나타내는 영상 데이터를 변화시킬 수 있다.
도 8a는 도 1a의 시스템과 연관된 사용자 인터페이스에서, 볼륨이 3차원 초음파 영상인 경우의 일 예를 보여주는 도면이다.
도 8a를 참조하면, 3차원 초음파 영상일 수 있는 볼륨(80)이 도시된다. 도시된 볼륨(80)은 예컨대 인체의 유방과 같은 특정 영역을 초음파를 이용하여 촬영한 입체영상일 수 있다. 볼륨(80)은 피부, 유실, 지방, 근육, 갈비뼈 등과 같은 해부학적 구조들을 포함하고 있는 복잡한 구조의 영상이다. 사용자는 예컨대 CAD(Computer Aided Diagnosis)와 같은 영상 프로세싱 애플리케이션을 이용함으로써 이러한 복잡한 구조 내에서 병변과 같은 관심영역을 식별할 수 있다.
도 8b 도 8a의 볼륨에 포함된 관심영역과 마크들 중 하나의 마크를 사용자가 선택하는 일 예를 보여주는 도면이다.
도 8b를 참조하면, 도 8a의 볼륨(80)을 3개의 ROI(512, 522, 532)와 이들에 각각 표시된 마크(511, 521), (532)를 포함한 볼륨(50)으로 변형시킨 예가 도시된다. 사용자가 이 볼륨(50)을 화면에 표시한 후, 마크(511)를 주변보다 시각적으로 구별되도록 시각화하기 위해 선택하였다고 하자.
도 8c는 도 8b에서 선택된 마크가 지시하는 관심영역의 가시성을 높이기 위한 시각화의 예를 설명하기 위한 도면이다.
도 8c를 참조하면, 도시된 바와 같이, 투명도 조절부가 선택된 마크(511)가 식별하는 ROI(512)를 중심으로 멀어질수록 볼륨(50)의 투명도를 높일 수 있다. 이에 따라 사용자에게 원하는 ROI를 좀더 집중적으로 살펴볼 수 있도록 하는 편리함이 제공될 수 있다.
이하 도 9 내지 도 12를 참조하여 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법을 설명한다. 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법은 예컨대 컴퓨터 실행가능 인스트럭션, 모듈, 루틴, 프로그램, 소프트웨어 등의 형태로, 컴퓨터 판독가능 스토리지 매체에 저장될 수 있고, 이후 프로세서에 의해 판독된 후 실행되면서 동시에 디스플레이 장치 및 입력 장치를 통해 사용자와 상호작용하는 컴퓨팅 장치에 의해 구현될 수 있다.
도 9는 일 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법에서, 마크 생성 과정의 예를 보여주는 흐름도이다.
도 9를 참조하면, 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법에서 마크 생성 단계(900)가 예시된다.
예를 들어, 사용자가 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법을 구현하는 컴퓨팅 장치에서, 예컨대 마크 생성 모드를 시작하는 메뉴를 선택하거나 명령을 입력함으로써 시작될 수 있다(901). 이후, 사용자가 슬라이스에서 원하는 ROI를 선택하고 마크 생성에 필요한 정보 또는 명령을 입력함으로써, 마크가 생성되어 표시될 수 있다(902). 이후, 마크가 표시된 ROI를 기초로 컴퓨팅 장치는 상응하는 ROI를 포함하고 있는 연관된 볼륨 및 슬라이스를 탐색한다(904). 그런 다음, 연관된 볼륨 및 슬라이스에서 상응하는 ROI에 대해 동일한 식별정보를 포함하는 마크를 생성하고 표시한다(906). 이후, 사용자가 연관된 볼륨 또는 슬라이스를 화면에 표시하려고 선택하면, 선택된 볼륨 또는 슬라이스는 상응하는 ROI에 대해 마크가 표시된 상태로 화면에 표시될 수 있다(908).
한편, 마크 생성 모드가 시작(901) 이후, 사용자가 볼륨에서 원하는 ROI를 선택하고 마크 생성에 필요한 정보 또는 명령을 입력함으로써, 마크가 생성되어 표시될 수 있다(903). 이후, 마크가 표시된 ROI를 기초로 컴퓨팅 장치는 상응하는 ROI를 포함하고 있는 연관된 슬라이스를 탐색한다(905). 그런 다음, 연관된 슬라이스에서 상응하는 ROI에 대해 동일한 식별정보를 포함하는 마크를 생성하고 표시한다(907). 이후, 사용자가 연관된 슬라이스를 화면에 표시하려고 선택하면, 선택된 슬라이스는 상응하는 ROI에 대해 마크가 표시된 상태로 화면에 표시될 수 있다(908).
도 10은 일 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법에서, 마크 기반 탐색 과정의 예를 보여주는 흐름도이다.
도 10을 참조하면, 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법에서 마크 기반 탐색 단계(1000)가 예시된다.
예를 들어, 사용자가 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법을 구현하는 컴퓨팅 장치에서, 예컨대 ROI 탐색 모드를 시작하는 메뉴를 선택하거나 명령을 입력함으로써 시작될 수 있다(1001). 이후, 사용자가 슬라이스에서 원하는 ROI 또는 원하는 마크를 선택할 수 있다(1002). 이후, 선택된 마크 또는 ROI를 기초로 컴퓨팅 장치는 상응하는 ROI를 포함하고 있는 연관된 볼륨 및 슬라이스를 탐색한다(1004). 그런 다음, 연관된 볼륨 및 슬라이스들 중에서 소정 선택 기준에 따라 슬라이스를 선택(1006)하고. 화면에 표시할 수 있다(1007).
이 때 선택 기준은, 선택된 마크가 식별하는 ROI를 포함하는 슬라이스들 중에서 사용자가 이전에 상호작용했던 슬라이스가 우선적으로 선택되는 것, 선택된 마크가 식별하는 ROI를 포함하는 슬라이스들 중에서 그 외 다른 ROI들을 포함하고 있는 슬라이스가 우선적으로 선택되는 것 등이 포함될 수 있다.
한편, ROI 탐색 모드가 시작(1001) 이후, 사용자가 볼륨에서 원하는 ROI 또는 원하는 마크를 선택할 수 있다(1003). 이후, 선택된 마크 또는 ROI를 기초로 컴퓨팅 장치는 상응하는 ROI를 포함하고 있는 연관된 슬라이스를 탐색한다(1005). 그런 다음, 연관된 볼륨 및 슬라이스들 중에서 소정 선택 기준에 따라 슬라이스를 선택(1006)하고. 화면에 표시할 수 있다(1007).
도 11은 일 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법에서, 입체영상 내에서 마크들을 겹치지 않도록 표시되는 과정의 예를 보여주는 흐름도이다
도 11을 참조하면, 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법에서 마크 배열 단계(1100)가 예시된다.
예를 들어, 사용자가 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법을 구현하는 컴퓨팅 장치에서, 예컨대 볼륨 마크 배열 모드를 시작하는 메뉴를 선택하거나 명령을 입력함으로써 시작될 수 있다(1101). 이후, 볼륨 내의 모든 마크가 탐색(1102)된다. 탐색된 모든 마크는 2차원적인 화면 상에서 겹치지 않게 배열될 수 있다(1103). 그런 다음 볼륨에 대해 회전, 이동, 축소, 확대 등의 변형이 있는지 여부가 판단된다(1104). 만약 변형이 없다면(1104의 아니오), 겹치지 않게 배열된 마크들을 포함한 볼륨이 화면에 표시된(1106). 만약 볼륨 변형이 존재하면(1104의 예), 변형된 볼륨 형상에 따라 마크를 변형하거나 위치를 이동시킴으로써 겹치지 않게 재배열하고(1105), 화면에 표시(1106)할 수 있다.
도 12는 일 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법에서, 입체영상 내에서 관심영역을 시각화하는 과정의 예를 보여주는 흐름도이다.
도 12를 참조하면, 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법에서 ROI 시각화 단계(1200)가 예시된다.
예를 들어, 사용자가 실시예에 따른 영상의 관심영역 조작을 위한 사용자 인터페이스 제공 방법을 구현하는 컴퓨팅 장치에서, 예컨대 ROI 시각화 모드를 시작하는 메뉴를 선택하거나 명령을 입력함으로써 시작될 수 있다(1201). 이후, 볼륨 내에서 사용자가 원하는 마크 또는 원하는 ROI가 선택된다(1202). 선택된 마크에 의해 식별되는 ROI를 중심으로 또는 선택된 ROI를 중심으로 멀어질수록 점차적으로 투명도가 증가되는 방식으로 볼륨 영상 성질이 조절될 수 있다(1203). 그런 다음 이렇게 조절된 볼륨을 화면에 표시(1204)할 수 있다.
100 : 사용자 인터페이스 시스템
110 : 입력부
120 : 마크 생성부
130 : 영상정보DB
140 : 영상 탐색부
141 : 마크 선택부
143 : 연관 영상 선택부
150 : 마크 배열부
151 : 볼륨 선택부
153 : 마크 배열 수행부
155 : 볼륨 변형 감지부
157 : 마크 배열 변형부
160 : ROI 시각화부
161 : 마크 선택부
163 : 투명도 조절부
170 : 화면 구성부
180 : 출력부
190 : 영상처리부

Claims (20)

  1. 3차원 영상인 볼륨 및 상기 볼륨을 절단한 단면들 각각을 나타내는 2차원 영상인 슬라이스들을 포함하는 영상들에 대한 상호작용을 인에이블하는 사용자 인터페이스 시스템으로서,
    상기 영상들 중 적어도 2개는 적어도 하나의 공통 관심영역을 식별하기 위한 동일한 시각적인 마크를 각각 포함하며,
    상기 사용자 인터페이스 시스템은,
    상기 영상들 중 하나의 영상에 포함된 상기 동일한 시각적인 마크와 연관된 사용자 입력을 수신하는 입력부와,
    상기 사용자 입력과 연관된 상기 동일한 시각적인 마크를 포함하고 있는 영상들에 대한 상호작용을 인에이블하는 적어도 하나의 컴포넌트
    를 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템.
  2. 제 1 항에 있어서,
    상기 마크는,
    상기 관심영역을 설명하는 문자, 숫자 또는 기호의 조합으로 된 텍스트 표현 및 상기 관심영역을 직관적으로 나타내는 그림, 부호, 또는 그래픽 표현 중 적어도 하나
    를 더 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템.
  3. 제 1 항에 있어서,
    상기 마크는,
    상기 관심영역의 내부 또는 외부에 적어도 하나 생성되는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 컴포넌트는,
    상기 영상들 중 하나의 영상 내의 관심영역에 상기 관심영역을 고유하게 식별하기 위한 식별정보를 포함하는 마크를 상기 사용자 입력에 따라 생성하여 마킹하고, 이후 상기 영상들 중 상기 하나의 영상 이외의 다른 영상들 내의 상응하는 관심영역에 자동으로 상기 마크와 동일한 식별정보를 포함하는 상응하는 마크를 생성하여 태깅함으로써, 상기 영상들 중 상기 하나의 영상 이외의 다른 영상들 상기 관심영역을 식별하는 마크를 포함하여 화면에 표시하도록 하는 마크 생성부
    를 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 컴포넌트는,
    상기 영상들 중 하나의 영상 내의 관심영역의 마크를 선택하는 사용자 입력 정보를 수신하면, 상기 사용자 입력 정보에 의해 선택된 마크에 의해 식별되는 관심영역이 포함되어 있는 슬라이스들 중에서 설정된 선택 기준에 따라 슬라이스들을 선택하고, 선택된 슬라이스들을 화면에 표시하도록 하는 영상 탐색부
    를 더 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템.
  6. 제 5 항에 있어서,
    상기 영상 탐색부가 슬라이스를 선택하는 설정된 선택 기준은,
    상기 선택된 마크가 식별하는 관심영역을 중심으로 MPR(Multi-Planar Reconstruction) 뷰에 해당하는 슬라이스를 우선적으로 선택하는 것, 사용자가 이전에 상호작용했던 슬라이스를 우선적으로 선택하는 것, 및 볼륨 내의 그 외 다른 관심영역을 최대한 많이 포함하는 슬라이스를 우선적으로 선택하는 것 중 적어도 하나
    를 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 컴포넌트는,
    상기 볼륨 내에 포함되어 있는 마크들을 화면 상에서 겹침 없이 표시하는 마크 배열부
    를 더 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템.
  8. 제 6 항에 있어서,
    상기 마크 배열부는,
    화면에 표시된 상기 볼륨이 확대, 축소, 회전, 또는 이동함으로써 변형되었을 때, 상기 마크를 상기 볼륨의 변형과 함께 변화되도록 하면서 겹침 없이 화면에 표시하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템.
  9. 제 1 항에 있어서,
    상기 적어도 하나의 컴포넌트는,
    상기 볼륨 내의 관심영역들 중에서 선택된 관심영역 또는 선택된 마크에 의해 식별되는 관심영역을 시각적으로 주변과 구별되도록 상기 볼륨을 나타내는 영상 데이터를 조절하는 ROI 시각화부
    를 더 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템.
  10. 제 9 항에 있어서,
    상기 관심영역 시각화부는,
    상기 선택된 관심영역 또는 상기 선택된 마크에 의해 식별되는 관심영역을 둘러싸는 주변 영역을, 상기 선택된 관심영역 또는 상기 선택된 마크에 의해 식별되는 관심영역을 중심으로 멀어질수록 투명도가 점진적으로 증가되도록 상기 볼륨을 나타내는 영상 데이터를 변화시키는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템.
  11. 3차원 영상인 볼륨 및 상기 볼륨을 절단한 단면들 각각을 나타내는 2차원 영상인 슬라이스들을 포함하는 영상들에 대한 상호작용을 인에이블하는 사용자 인터페이스 제공 방법으로서,
    상기 영상들 중 적어도 2개는 적어도 하나의 공통 관심영역을 식별하기 위한 동일한 시각적인 마크를 각각 포함하며,
    상기 사용자 인터페이스 제공 방법은,
    상기 영상들 중 하나의 영상에 포함된 상기 동일한 시각적인 마크와 연관된 사용자 입력을 수신하는 단계와,
    상기 사용자 입력과 연관된 상기 동일한 시각적인 마크를 포함하고 있는 영상들에 대한 상호작용을 인에이블하는 단계
    를 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법.
  12. 제 11 항에 있어서,
    상기 마크는,
    상기 관심영역을 설명하는 문자, 숫자 또는 기호의 조합으로 된 텍스트 표현 및 상기 관심영역을 직관적으로 나타내는 그림, 부호, 또는 그래픽 표현 중 적어도 하나
    를 더 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법.
  13. 제 11 항에 있어서,
    상기 마크는,
    상기 관심영역의 내부 또는 외부에 적어도 하나 생성되는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법.
  14. 제 11 항에 있어서,
    상기 상호작용을 인에이블하는 단계는,
    상기 영상들 중 하나의 영상 내의 관심영역에 상기 관심영역을 고유하게 식별하기 위한 식별정보를 포함하는 마크를 상기 사용자 입력에 따라 생성하여 마킹하고, 이후 상기 영상들 중 상기 하나의 영상 이외의 다른 영상들 내의 상응하는 관심영역에 자동으로 상기 마크와 동일한 식별정보를 포함하는 상응하는 마크를 생성하여 태깅함으로써, 상기 영상들 중 상기 하나의 영상 이외의 다른 영상들 상기 관심영역을 식별하는 마크를 포함하여 화면에 표시하도록 하는 마크 생성 단계
    를 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법.
  15. 제 11 항에 있어서,
    상기 상호작용을 인에이블하는 단계는,
    상기 영상들 중 하나의 영상 내의 관심영역의 마크를 선택하는 사용자 입력 정보를 수신하면, 상기 사용자 입력 정보에 의해 선택된 마크에 의해 식별되는 관심영역이 포함되어 있는 슬라이스들 중에서 설정된 선택 기준에 따라 슬라이스들을 선택하고, 선택된 슬라이스들을 화면에 표시하도록 하는 영상 탐색 단계
    를 더 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법.
  16. 제 15 항에 있어서,
    상기 영상 탐색 단계에서 슬라이스를 선택하는 설정된 선택 기준은,
    상기 선택된 마크에 의해 식별되는 관심영역을 중심으로 MPR(Multi-Planar Reconstruction) 뷰에 해당하는 슬라이스를 우선적으로 선택하는 것, 사용자가 이전에 상호작용했던 슬라이스를 우선적으로 선택하는 것, 및 볼륨 내의 그 외 다른 관심영역들을 최대한 많이 포함하는 슬라이스를 우선적으로 선택하는 것 중 적어도 하나
    를 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법.
  17. 제 11 항에 있어서,
    상기 상호작용을 인에이블하는 단계는,
    상기 볼륨 내에 포함되어 있는 마크들을 화면 상에서 겹침 없이 표시하는 마크 배열 단계
    를 더 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법.
  18. 제 16 항에 있어서,
    상기 마크 배열 단계는,
    화면에 표시된 상기 볼륨이 확대, 축소, 회전, 또는 이동함으로써 변형되었을 때, 상기 마크를 상기 볼륨의 변형과 함께 변화되도록 하면서 겹침 없이 화면에 표시하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법.
  19. 제 11 항에 있어서,
    상기 상호작용을 인에이블하는 단계는,
    상기 볼륨 내의 관심영역들 중에서 선택된 관심영역 또는 선택된 마크에 의해 식별되는 관심영역을 시각적으로 주변과 구별되도록 상기 볼륨을 나타내는 영상 데이터를 조절하는 ROI 시각화부
    를 더 포함하는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법.
  20. 제 19 항에 있어서,
    상기 관심영역 시각화부는,
    상기 선택된 관심영역 또는 상기 선택된 마크에 의해 식별되는 관심영역을 둘러싸는 주변 영역을, 상기 선택된 관심영역 또는 상기 선택된 마크에 의해 식별되는 관심영역을 중심으로 멀어질수록 투명도가 점진적으로 증가되도록 상기 볼륨을 나타내는 영상 데이터를 변화시키는
    영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 제공 방법.
KR1020130168616A 2013-12-31 2013-12-31 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법 KR20150078845A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130168616A KR20150078845A (ko) 2013-12-31 2013-12-31 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법
US15/109,022 US10394416B2 (en) 2013-12-31 2014-05-16 User interface system and method for enabling mark-based interaction for images
PCT/KR2014/004399 WO2015102167A1 (ko) 2013-12-31 2014-05-16 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130168616A KR20150078845A (ko) 2013-12-31 2013-12-31 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20150078845A true KR20150078845A (ko) 2015-07-08

Family

ID=53493499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130168616A KR20150078845A (ko) 2013-12-31 2013-12-31 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법

Country Status (3)

Country Link
US (1) US10394416B2 (ko)
KR (1) KR20150078845A (ko)
WO (1) WO2015102167A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017104448A (ja) * 2015-12-11 2017-06-15 東芝メディカルシステムズ株式会社 画像観察装置
KR20190094974A (ko) * 2018-02-06 2019-08-14 삼성메디슨 주식회사 초음파 진단 장치 및 초음파 진단 장치의 제어 방법
KR20190117187A (ko) * 2018-04-06 2019-10-16 주식회사 뷰노 의료 영상을 시각화하는 방법 및 이를 이용한 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9808213B2 (en) * 2014-08-11 2017-11-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
US11043042B2 (en) * 2016-05-16 2021-06-22 Hewlett-Packard Development Company, L.P. Generating a shape profile for a 3D object
JP7228332B2 (ja) * 2017-11-17 2023-02-24 キヤノンメディカルシステムズ株式会社 医用画像処理装置および医用画像処理方法
CN110349653A (zh) * 2019-07-15 2019-10-18 杭州依图医疗技术有限公司 影像分析数据的显示方法、设备和存储介质
EP3797697B1 (de) 2019-09-27 2024-03-27 Siemens Healthineers AG Tomosyntheseverfahren mit kombinierten schichtbilddatensätzen

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7615008B2 (en) 2000-11-24 2009-11-10 U-Systems, Inc. Processing and displaying breast ultrasound information
KR20020041277A (ko) 2000-11-25 2002-06-01 김보형 3차원 다면 영상 재구성 시스템 및 방법과 이를 저장한컴퓨터가 판독 가능한 기록 매체
WO2002043007A1 (en) * 2000-11-25 2002-05-30 Infinitt Co., Ltd. 3-dimensional multiplanar reformatting system and method and computer-readable recording medium having 3-dimensional multiplanar reformatting program recorded thereon
WO2004017263A2 (en) 2002-08-14 2004-02-26 Koninklijke Philips Electronics N.V. Method and apparatus for generating improved computer tomography images of natural tissues
KR20050094536A (ko) 2004-03-23 2005-09-28 (주)메비시스 평면영상과 3차원 입체영상을 동시에 표시하는 방법
KR100905244B1 (ko) * 2005-12-06 2009-06-30 주식회사 메디슨 초음파 영상을 디스플레이 하기 위한 장치 및 방법
US20080009722A1 (en) * 2006-05-11 2008-01-10 Constantine Simopoulos Multi-planar reconstruction for ultrasound volume data
US8051386B2 (en) 2006-12-21 2011-11-01 Sectra Ab CAD-based navigation of views of medical image data stacks or volumes
KR101117003B1 (ko) 2008-12-02 2012-03-19 삼성메디슨 주식회사 볼륨 슬라이스를 이용하여 다수의 3차원 초음파 영상을 제공하는 초음파 시스템 및 방법
US9131918B2 (en) 2008-12-02 2015-09-15 Samsung Medison Co., Ltd. 3-dimensional ultrasound image provision using volume slices in an ultrasound system
US8787651B2 (en) * 2010-09-28 2014-07-22 Flagship Biosciences, LLC Methods for feature analysis on consecutive tissue sections
JP5950619B2 (ja) * 2011-04-06 2016-07-13 キヤノン株式会社 情報処理装置
US8754888B2 (en) * 2011-05-16 2014-06-17 General Electric Company Systems and methods for segmenting three dimensional image volumes
KR101501518B1 (ko) 2012-06-11 2015-03-11 삼성메디슨 주식회사 3차원(3ｄ) 초음파 영상과 2차원(2ｄ) 초음파 영상을 디스플레이하는 방법 및 장치
WO2015044711A1 (en) * 2013-09-24 2015-04-02 General Electric Company Method of processing x-ray images of a breast

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017104448A (ja) * 2015-12-11 2017-06-15 東芝メディカルシステムズ株式会社 画像観察装置
KR20190094974A (ko) * 2018-02-06 2019-08-14 삼성메디슨 주식회사 초음파 진단 장치 및 초음파 진단 장치의 제어 방법
KR20190117187A (ko) * 2018-04-06 2019-10-16 주식회사 뷰노 의료 영상을 시각화하는 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
US10394416B2 (en) 2019-08-27
WO2015102167A1 (ko) 2015-07-09
US20160334964A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
KR20150078845A (ko) 영상에 대한 마크-기반 상호작용을 인에이블하는 사용자 인터페이스 시스템 및 방법
US9848186B2 (en) Graphical system with enhanced stereopsis
US9956054B2 (en) Dynamic minimally invasive surgical-aware assistant
US9524080B1 (en) Dynamic customizable human-computer interaction behavior
CN101116110B (zh) 医学图像浏览协议
CN110515513B (zh) 显示设备和使用所述显示设备的图像显示方法
JP6396310B2 (ja) 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置
US8929628B2 (en) Measuring device and measuring method
US20100208968A1 (en) Occlusion Reduction and Magnification for Multidimensional Data Presentations
US20040233222A1 (en) Method and system for scaling control in 3D displays ("zoom slider")
US9514575B2 (en) Image and annotation display
US20130249903A1 (en) Medical image display device, medical information management server
JP6112689B1 (ja) 重畳画像表示システム
CN111223556B (zh) 集成医学图像可视化和探索
EP3198565B1 (en) Visualizing volumetric image of an anatomical structure
CN101118574A (zh) 基于规则的体绘制和导航的***和方法
US20130332868A1 (en) Facilitating user-interactive navigation of medical image data
WO2013114817A1 (en) Image processing apparatus, image processing system, image processing method, and program
JP2008067915A (ja) 医用画像表示装置
CN111248941A (zh) 超声图像的显示方法、***及设备
WO2021138262A1 (en) Systems and methods for telestration with spatial memory
CN107329669B (zh) 在人体医学三维模型中选择人体子器官模型的方法及装置
JP6142462B1 (ja) 重畳画像表示システム
CN111724388B (zh) 医学图像数据的可视化
Gallo et al. User-friendly inspection of medical image data volumes in virtual environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right