KR102399510B1 - 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치 - Google Patents
사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치 Download PDFInfo
- Publication number
- KR102399510B1 KR102399510B1 KR1020200066266A KR20200066266A KR102399510B1 KR 102399510 B1 KR102399510 B1 KR 102399510B1 KR 1020200066266 A KR1020200066266 A KR 1020200066266A KR 20200066266 A KR20200066266 A KR 20200066266A KR 102399510 B1 KR102399510 B1 KR 102399510B1
- Authority
- KR
- South Korea
- Prior art keywords
- blood vessel
- region
- image processing
- input
- branch
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 265
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000002792 vascular Effects 0.000 title claims description 88
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 817
- 238000000605 extraction Methods 0.000 claims abstract description 85
- 230000004044 response Effects 0.000 claims description 56
- 238000000547 structure data Methods 0.000 claims description 37
- 238000012937 correction Methods 0.000 claims description 30
- 238000003672 processing method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 description 30
- 239000000284 extract Substances 0.000 description 28
- 239000013598 vector Substances 0.000 description 20
- 238000012549 training Methods 0.000 description 13
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 239000002872 contrast media Substances 0.000 description 6
- 210000004351 coronary vessel Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 210000001367 artery Anatomy 0.000 description 4
- 230000002526 effect on cardiovascular system Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20096—Interactive definition of curve of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Vascular Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
프로세서에 의해 수행되는 혈관 영상으로부터 혈관 영상을 처리하는 방법에 있어서, 혈관 영상으로부터 대상 혈관을 추출하는 단계, 사용자로부터 수신되는 제1 입력에 기초하여 상기 대상 혈관의 추출 결과에 대한 관심 영역(Region of Interest, ROI)를 결정하는 단계, 및 상기 결정된 관심 영역 내에서 상기 사용자로부터 수신되는 제2 입력에 기초하여 상기 추출 결과의 오류 부위(error portion)를 식별(identify)하고 상기 식별된 오류 부위를 수정하는 단계를 포함할 수 있다.
Description
이하, 혈관 영상을 처리하는 방법에 관한 기술이 제공된다.
혈관 조영술(angiography) 영상은 주요 혈관을 관찰하여 혈관 내의 문제 부위를 진단하고 필요한 시술 및 조치를 하기 위하여 광범위하게 활용된다. 종래에는, 편의성을 높이고 진단 결과를 정량화하기 위하여 혈관 영상으로부터 주요 혈관을 자동으로 식별하는 영상 처리 엔진들이 이용되고 있다. 예를 들어, 파이 메디칼社의 Caas QCA 엔진은 혈관조영 영상에서 주요 혈관을 찾아 표시할 수 있다. 반면, 엔진으로부터 추출된 주요 혈관은 실제 추출해야 할 주요 혈관 부위가 아닌 다른 혈관 부위(misidentification)에 해당하거나 일부분이 끊어져 있는(disconnection) 등 오류를 보이는 경우가 잦다. 따라서, 임상에서는 엔진이 주요 혈관을 1차 추출한 식별 결과를 그대로 사용하지 못하고 인력이 투입되어 혈관 조영 영상을 확인하고 상기한 오류들을 인력이 직접 수정해서 활용하고 저장한다.
일 실시예에 따르면, 프로세서에 의해 수행되는 혈관 영상 처리 방법은 혈관 영상으로부터 대상 혈관을 추출하는 단계, 사용자로부터 수신되는 제1 입력에 기초하여 상기 대상 혈관의 추출 결과에 대한 관심 영역(Region of Interest, ROI)을 결정하는 단계, 및 상기 결정된 관심 영역 내에서 상기 사용자로부터 수신되는 제2 입력에 기초하여 상기 추출 결과의 오류 부위(error portion)를 식별(identify)하고 상기 식별된 오류 부위를 수정하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 방법의 상기 관심 영역을 결정하는 단계는, 상기 제1 입력이 검출되는 지점들에 기초하여 상기 관심 영역의 형태를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 방법의 상기 오류 부위를 수정하는 단계는, 상기 제2 입력이 상기 관심 영역 내 복수의 지점들에서 검출되는 경우에 응답하여, 상기 제2 입력의 상기 복수의 지점들에 기초하여 오류 부위를 수정하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 방법의 상기 복수의 지점들에 기초하여 오류 부위를 수정하는 단계는, 상기 제2 입력에 대응하는 지점이 상기 대상 혈관으로 추출된 영역을 따라 이동하는 동안, 상기 제2 입력이 통과한 지점들에서 단절 부위가 존재하는지 검출하는 단계, 및 상기 단절 부위가 검출되는 경우에 응답하여, 상기 제2 입력의 이동 궤적(movement trajectory)을 따라 단절된 부위들을 연결하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 방법의 상기 이동 궤적에 기초하여 오류 부위를 수정하는 단계는, 상기 제2 입력에 대응하는 지점이 상기 대상 혈관으로 추출된 영역 내의 분지 지점으로부터 상기 대상 혈관을 벗어난 영역으로 이동하는 경우에 응답하여, 상기 분지 지점과 연결된 혈관 분지들 중 상기 제2 입력의 이동 궤적에 대응하는 영역의 바깥에 위치되는 혈관 분지를 오인 부위로 결정하고, 상기 대상 혈관을 벗어난 상기 제2 입력에 의해 지시되는 혈관 분지로 교체하고, 상기 교체된 혈관 분지에 기초하여 나머지 추출 결과를 수정하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 방법의 상기 오류 부위를 수정하는 단계는, 상기 관심 영역의 결정에 응답하여, 상기 대상 혈관의 추출 결과로부터 상기 오류 부위를 식별하고 상기 식별된 오류 부위를 수정하는 단계, 및 상기 오류 부위의 수정 결과를 사용자에게 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 방법의 상기 수정 결과를 사용자에게 제공하는 단계는, 상기 오류 부위가 오인 부위인 경우에 응답하여, 하나 이상의 후보 분지를 사용자에게 제공하는 단계, 및 상기 사용자로부터 상기 하나 이상의 후보 분지 중 한 분지에 대한 포인팅 입력을 수신하는 경우에 응답하여, 상기 오류 부위에 대응하는 분지를 상기 선택된 분지로 교체하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 방법의 상기 수정 결과를 사용자에게 제공하는 단계는, 상기 수정 결과에 대하여 복수의 지점들에서 사용자 입력이 검출되는 경우에 응답하여, 사용자 입력의 시작 지점에 대응하는 혈관 분지에 대응하는 영역 및 상기 사용자 입력의 종료 지점에 대응하는 혈관 분지에 대응하는 영역을 연결하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 방법의 상기 오류 부위를 수정하는 단계는, 상기 관심 영역이 결정되는 경우에 응답하여, 상기 대상 혈관과 관련된 혈관 구조 데이터, 상기 대상 혈관의 곡률 정보, 상기 대상 혈관의 직경 정보, 및 상기 대상 혈관의 밝기 정보 중 적어도 하나에 기초하여 상기 오류 부위를 식별하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 방법의 상기 오류 부위를 수정하는 단계는, 상기 오류 부위가 식별되는 경우에 응답하여, 상기 대상 혈관과 관련된 혈관 구조 데이터, 상기 대상 혈관의 곡률 정보, 상기 대상 혈관의 직경 정보, 및 상기 대상 혈관의 밝기 정보 중 적어도 하나에 기초하여 상기 오류 부위를 수정하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 방법의 상기 오류 부위를 수정하는 단계는, 상기 오류 부위가 식별된 경우에 응답하여, 상기 대상 혈관에 대한 복수의 새로운 추출 결과들을 생성하는 단계, 및 사용자의 선택 입력에 응답하여, 상기 복수의 새로운 추출 결과들 중 상기 선택 입력에 의해 지시되는 하나의 추출 결과를 선택하는 단계를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 장치는, 혈관 영상을 수신하는 영상 수신부, 및 상기 혈관 영상으로부터 대상 혈관을 추출하고, 사용자로부터 수신되는 제1 입력에 기초하여 상기 대상 혈관의 추출 결과에 대한 관심 영역(Region of Interest, ROI)를 결정하며, 상기 결정된 관심 영역 내에서 상기 사용자로부터 수신되는 제2 입력에 기초하여 상기 추출 결과의 오류 부위(error portion)를 식별(identify)하고 상기 식별된 오류 부위를 수정하는 프로세서를 포함할 수 있다.
일 실시예에 따른 혈관 영상 처리 장치에 의해 수행되는, 혈관 영상을 처리하는 방법은 조영제가 삽입된 혈관 영상으로부터 주요 혈관에 대응하는 대상 혈관을 추출할 수 있다. 일 실시예에 따른 혈관 영상 처리 장치는 사용자의 입력을 수신하여 관심 영역(Region of Interest, ROI)을 결정하며, 관심 영역 내에서 사용자로부터 수신되는 입력에 기초하여 오류 부위를 식별하고 수정할 수 있다.
도 1은 일실시예에 따른 혈관 영상을 처리하는 방법을 도시한 흐름도이다.
도 2a 내지 도 2c는 일 실시예에 따른 대상 혈관 및 관심 영역(Region of Interest, ROI)이 표시된 혈관 영상을 도시한 도면이다.
도 3은 일 실시예에 따른 대상 혈관의 추출 결과에서 오류 부위가 발생한 예시를 도시한다.
도 4 내지 도 6는 관심 영역 내에서 사용자로부터 수신되는 제2 입력에 기초하여 추출 결과의 오류 부위를 식별하고, 식별된 오류 부위를 수정하는 방법을 도시한다.
도 7 내지 도 8은 일 실시예에 따른 오류 부위를 수정하는 방법을 도시한다.
도 9는 혈관 분지에 대응하는 노드에 기초한 혈관 구조 데이터의 토폴로지를 이용하여 대상 혈관의 오류를 식별하는 방법을 도시한다.
도 10 및 도 11은 일 실시예에 따른 오류 부위를 수정하는 방법을 도시한다.
도 12은 대상 혈관의 곡률 정보를 이용하여 대상 혈관의 오류를 식별하고 수정하는 방법을 도시한다.
도 13은 대상 혈관의 직경 정보를 이용하여 대상 혈관의 오류를 식별하고 수정하는 방법을 도시한다.
도 14는 대상 혈관의 밝기 정보를 이용하여 대상 혈관의 오류를 식별하고 수정하는 방법을 도시한다.
도 15는 일실시예에 따른 혈관 영상 처리 장치를 대략적으로 도시한 블록도이다.
도 2a 내지 도 2c는 일 실시예에 따른 대상 혈관 및 관심 영역(Region of Interest, ROI)이 표시된 혈관 영상을 도시한 도면이다.
도 3은 일 실시예에 따른 대상 혈관의 추출 결과에서 오류 부위가 발생한 예시를 도시한다.
도 4 내지 도 6는 관심 영역 내에서 사용자로부터 수신되는 제2 입력에 기초하여 추출 결과의 오류 부위를 식별하고, 식별된 오류 부위를 수정하는 방법을 도시한다.
도 7 내지 도 8은 일 실시예에 따른 오류 부위를 수정하는 방법을 도시한다.
도 9는 혈관 분지에 대응하는 노드에 기초한 혈관 구조 데이터의 토폴로지를 이용하여 대상 혈관의 오류를 식별하는 방법을 도시한다.
도 10 및 도 11은 일 실시예에 따른 오류 부위를 수정하는 방법을 도시한다.
도 12은 대상 혈관의 곡률 정보를 이용하여 대상 혈관의 오류를 식별하고 수정하는 방법을 도시한다.
도 13은 대상 혈관의 직경 정보를 이용하여 대상 혈관의 오류를 식별하고 수정하는 방법을 도시한다.
도 14는 대상 혈관의 밝기 정보를 이용하여 대상 혈관의 오류를 식별하고 수정하는 방법을 도시한다.
도 15는 일실시예에 따른 혈관 영상 처리 장치를 대략적으로 도시한 블록도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 혈관 영상을 처리하는 방법을 도시한 흐름도이다.
우선, 단계(110)에서 혈관 영상 처리 장치는 혈관 영상(blood vessel image)으로부터 대상 혈관(target vessel)을 추출할 수 있다. 대상 혈관은 주 혈관이라고도 나타낼 수 있다. 일 실시예에 따르면 혈관 영상 처리 장치의 영상 수신부는 혈관 영상 촬영 장치에 의해 촬영된 혈관 영상을 수신할 수 있다. 혈관 영상은 생체(living body)의 혈관을 촬영한 영상으로서, 혈관조영술(coronary angiography, 이하 CAG) 영상 및/또는 자기공명영상(Magnetic Resonance Imaging, 이하 MRI)을 이용하여 생성될 수 있다. 예시적으로, 혈관 영상은 조영제가 주입된 생체에 대해 엑스선 촬영함으로써 획득된 영상일 수 있다.
일 실시예에 따르면 혈관 영상 처리 장치는 기계 학습 모델(machine learning model)에 기초하여 혈관 영상으로부터 대상 혈관을 추출할 수 있다. 기계 학습 모델은 혈관 영상의 입력에 응답하여 혈관 영상으로부터 대상 혈관을 추출하도록 설계된 기계 학습 구조를 갖는 하나 이상의 모델로서, 예를 들어, 뉴럴 네트워크(neural network)를 포함할 수 있다. 혈관 영상 처리 장치는 수신된 혈관 영상에 대해 상술한 기계 학습 모델에 따른 연산을 수행함으로써 대상 혈관의 추출 결과를 산출할 수 있다. 예를 들어, 기계 학습 모델의 출력 데이터는 혈관 영상의 복수의 픽셀들에서 각 픽셀이 대상 혈관을 지시할 가능성(예를 들어, 확률)에 대응하는 스코어(score)를 포함할 수 있다. 혈관 영상 처리 장치는 출력 데이터에서 임계 값 이상의 스코어를 갖는 픽셀을 대상 혈관으로 결정함으로써 대상 혈관의 추출 결과를 생성할 수 있다. 다른 예를 들어, 기계 학습 모델의 출력 데이터는, 혈관 영상으로부터 분할(segment)된 대상 혈관 영역으로서, 혈관 영상의 복수의 픽셀들 중 대상 혈관으로서 추출된 픽셀을 포함할 수 있다. 대상 혈관의 추출 결과는, 예를 들어, 혈관 영상의 픽셀들 중 대상 혈관으로서 추출된 픽셀들의 집합 및/또는 혈관 영상으로부터 분할된 대상 혈관 영역에 대응하는 영상(예를 들어, 대상 혈관 영상)일 수 있다.
참고로, 뉴럴 네트워크는 딥 뉴럴 네트워크(DNN, deep neural network)를 포함할 수 있다. DNN은 완전 연결 네트워크(fully connected network), 딥 컨볼루셔널 네트워크(deep convolutional network) 및 리커런트 뉴럴 네트워크(recurrent neural network) 등을 포함할 수 있다. 뉴럴 네트워크는 딥 러닝에 기반하여 비선형적 관계에 있는 입력 데이터 및 출력 데이터를 서로 매핑함으로써 객체 분류, 객체 인식, 및 레이더 이미지 인식 등을 수행할 수 있다. 딥 러닝은 빅 데이터 세트로부터 객체 인식과 같은 문제를 해결하기 위한 기계 학습 기법으로 지도식(supervised) 또는 비지도식(unsupervised) 학습을 통해 입력 데이터 및 출력 데이터를 서로 매핑할 수 있다. 지도식 학습의 경우, 상술한 기계 학습 모델은 트레이닝 입력(예를 들어, 트레이닝을 위한 혈관 영상) 및 해당 트레이닝 입력에 매핑된 트레이닝 출력(예를 들어, 트레이닝을 위한 혈관 영상에 대해 전문가 등에 의해 대상 혈관으로 분할된 참값(ground truth) 영상)의 쌍을 포함하는 트레이닝 데이터에 기초하여 트레이닝될 수 있다. 예를 들어, 기계 학습 모델은 트레이닝 입력으로부터 트레이닝 출력을 출력하도록 트레이닝될 수 있다. 트레이닝 중의 기계 학습 모델(이하, '임시 모델')은 트레이닝 입력에 응답하여 임시 출력을 생성할 수 있고, 임시 출력 및 트레이닝 출력(예를 들어, 참값) 간의 손실이 최소화되도록 트레이닝될 수 있다. 트레이닝 과정 동안 기계 학습 모델의 파라미터(예를 들어, 뉴럴 네트워크에서 노드들/레이어들 간의 연결 가중치)가 손실에 따라 업데이트될 수 있다.
다만, 기계 학습 모델이 혈관 영상으로부터 대상 혈관을 바로 추출하는 예시를 설명하였으나, 이로 한정하는 것은 아니다. 예를 들어, 기계 학습 모델은 전체 혈관 추출 모델 및 대상 혈관 추출 모델을 포함할 수 있다. 전체 혈관 추출 모델은 혈관 영상으로부터 전체 혈관 영역을 추출하도록 설계된 모델일 수 있다. 대상 혈관 추출 모델은 전체 혈관 영역을 지시하는 영상(예를 들어, 전체 혈관 영상)으로부터 대상 혈관 영역을 추출하도록 설계된 모델일 수 있다. 또한, 전체 혈관 추출 모델 대신, 혈관 영상 처리 장치는 혈관 영상에서의 픽셀들의 주변 픽셀과의 그레이스케일 레벨 차이에 기초하여 경계를 검출함으로써 전체 혈관 영역을 추출할 수도 있다. 예시적으로, 혈관 영상 처리 장치는 임의의 픽셀과 주변 픽셀의 그레이스케일 레벨의 그라디언트(gradient) 값이 임계 그라디언트 값보다 큰 경우 해당 픽셀을 경계로 검출할 수 있다. 따라서 혈관 영상 처리 장치는 그레이스케일 레벨이 급격하게 변하는 영역을 경계로 검출할 수 있다. 혈관 영상 처리 장치는 그레이스케일 레벨의 그라디언트 값에 기초하여 추출된 전체 혈관 영상으로부터 대상 혈관 추출 모델을 이용하여 대상 혈관 영상을 추출할 수도 있다.
더 나아가, 혈관 영상 처리 장치는 혈관의 형태, 종류 및/또는 혈관 영역에 따라 복수의 기계 학습 모델들 중 대상 혈관 추출에 사용할 기계 학습 모델을 선택적으로 이용할 수도 있다. 일 실시예에 따르면, 혈관 영상 처리 장치는 혈관의 종류별(예를 들어, 좌주관상동맥(Left Main Coronary Artery, LM), 좌전하행동맥(Left Anterior Descending Artery, LAD), 좌회선동맥(Left Circumflex Artery, LCX), 우관상동맥(Right Coronary Artery, RCA)) 및/또는 혈관 영역별(예를 들어, 근위 영역(proximal region), 중간 영역(mid region), 및 원위 영역(distal region)) 복수의 기계 학습 모델들을 저장할 수 있다. 참고로, 혈관 영역은 카테터(catheter)가 삽입되는 혈관 지점으로부터 떨어진 거리에 따라 근위 영역(proximal portion), 중간 영역(middle portion), 및 원위 영역(distal portion)으로 분류할 수 있으나, 이로 한정하지 않는다. 혈관 영역은 혈관 영상을 획득하기 위하여 조영제가 혈관 삽입부에 주입되는 지점으로부터 떨어진 거리 및 조영제가 주입될 수 있는 혈관 말단으로부터 떨어진 거리의 비율에 따라 분류할 수도 있다. 예를 들어, 혈관 영상 처리 장치는 추출하고자 하는 혈관의 종류를 선택하고, 식별된 혈관의 종류에 대응하는 기계 학습 모델을 로딩할 수 있다. 혈관 영상 처리 장치는 로딩된 기계 학습 모델을 이용하여 혈관 영상으로부터 선택된 혈관의 종류에 대응하는 대상 혈관의 추출 결과를 생성할 수 있다. 예시적으로, 혈관 영상 처리 장치는 복수의 심혈관 종류들(예를 들어, 한 개의 우 관상동맥, 두개의 좌 관상동맥)에 대응하는 기계 학습 모델을 저장할 수 있다. 복수의 심혈관 종류들에 대응하는 기계 학습 모델들의 각각은 해당 심혈관 종류에 대응하는 트레이닝 데이터에 기초하여 트레이닝될 수 있다. 심혈관 종류들 별로 기계 학습 모델들의 트레이닝된 파라미터는 서로 다를 수 있고, 더 나아가, 서로 기계 학습 구조(예를 들어, 컨볼루션 뉴럴 네트워크, U-net 구조 등)가 다를 수도 있다. 설명의 편의를 위하여 혈관의 종류 별로 파라미터 및/또는 기계 학습 구조가 구별되는 기계 학습 모델을 설명하였으나, 이로 한정하는 것은 아니다. 혈관 영상 처리 장치는 혈관의 형태, 종류, 및/또는 혈관 영역 별로 서로 구별되는 복수의 기계 학습 모델들을 저장하고, 필요한 혈관 모델을 선택적으로 로딩하여 대상 혈관 추출에 이용할 수도 있다.
그리고 단계(120)에서 혈관 영상 처리 장치는 사용자로부터 수신되는 제1 입력에 기초하여 상기 대상 혈관의 추출 결과에 대한 관심 영역(Region of Interest, ROI)을 결정할 수 있다. 관심 영역은 혈관 영상 분석을 위하여 사용자가 혈관 영상 내에서 선택한 일부 영역을 나타낼 수 있다. 혈관 영상 처리 장치는 관심 영역을 결정함으로써, 혈관 영상에 관한 처리를 관심 영역에 집중할 수 있다. 관심 영역에 대한 자세한 설명은 도 2에서 후술한다.
단계(130)에서 혈관 영상 처리 장치는 상기 결정된 관심 영역 내에서 상기 사용자로부터 수신되는 제2 입력에 기초하여 상기 추출 결과의 오류 부위(error portion)를 식별(identify)하고 상기 식별된 오류 부위를 수정할 수 있다. 오류 부위는 단절 부위(discontinuity portion) 및/또는 오인 부위(misidentification portion)를 포함할 수 있다. 단절 부위는 대상 혈관으로서 추출된 대상 혈관 영역들 및/또는 대상 혈관을 지시하는 픽셀들 중 적어도 한 영역 및/또는 적어도 한 픽셀이 다른 영역 및/또는 다른 픽셀로부터 분리되거나(separated) 이격된(spaced) 부위를 나타낼 수 있다. 오인 부위는 혈관 영상에서 실제 추출해야 할 대상 혈관이 아닌 다른 혈관에 대응하는 영역 및/또는 픽셀이 대상 혈관이라고 잘못 추출된 부위를 나타낼 수 있다.
예를 들어, 혈관 영상 처리 장치는 제2 입력이 검출되는 지점이 관심 영역 내에서 이동하는 경우에 응답하여, 제2 입력의 이동 궤적(movement trajectory)에 기초하여 오류 부위를 식별하고 수정할 수 있다. 다른 예를 들어, 제2 입력은 제2 입력은 포인팅 입력을 나타낼 수 있다. 혈관 영상 처리 장치는 포인팅 입력에 대응하는 시작 지점과 종료 지점 사이의 영역에 기초하여 오류 부위를 식별하고 수정할 수도 있다. 다른 예를 들어, 혈관 영상 처리 장치는 제2 입력이 검출되는 지점이 관심 영역 내의 한 지점에서 임계 시간 이상 유지되는 경우에 응답하여, 제2 입력이 유지된 지점을 오류 부위로 식별하고 수정할 수 있다. 제2 입력에 기초한 수정은 하기 도 4 내지 도 6에서 설명한다.
도 2a 내지 도 2c는 일 실시예에 따른 대상 혈관 및 관심 영역(Region of Interest, ROI)이 표시된 혈관 영상을 도시한 도면이다.
혈관 영상 처리 장치는 혈관 영상(201, 202, 203)을 촬영할 수 있다. 혈관 영상 처리 장치는 혈관 영상 촬영 장치로부터 혈관 영상(201, 202, 203)을 수신할 수 있다. 혈관 영상 처리 장치는 수신된 혈관 영상(201, 202, 203)으로부터 대상 혈관(211, 212, 213)을 추출할 수 있다. 혈관 영상 처리 장치는 기계 학습 모델에 기초하여 대상 혈관(211, 212, 213)을 추출할 수 있다. 혈관 영상 처리 장치는 사용자로부터 수신되는 제1 입력(231)에 기초하여 대상 혈관의 추출 결과에 대한 관심 영역(221)을 결정할 수 있다. 혈관 영상 처리 장치는 제1 입력이 검출되는 지점들에 기초하여 관심 영역의 형태를 결정할 수 있다. 혈관 영상 처리 장치는 사용자로부터 수신되는 제1 입력(231)의 시작 지점(232) 및 제1 입력(231)의 종료 지점(233)을 검출할 수 있다. 제1 입력(231)은 시작 지점(232)에서 검출된 후 종료 지점(233)까지 유지되고, 종료 지점(233)에서 해제될 수 있다.
도 2a를 참조하면, 혈관 영상 처리 장치는 사용자로부터 시작 지점(231)으로부터 종료 지점(233)까지의 드래그(drag) 입력을 제1 입력(231)으로서 수신할 수 있다. 드래그 입력은, 디스플레이 상의 임의의 지점(예를 들어, 시작 지점(232))에서 클릭(click) 또는 터치(touch)가 발생하고, 클릭 또는 터치가 유지된 상태로 이동하고, 다른 지점(예를 들어, 종료 지점(233))에서 클릭 또는 터치가 릴리즈되는 입력을 나타낼 수 있다. 또한, 혈관 영상 처리 장치는 검출된 시작 지점(232) 및 종료 지점(233) 사이에서 미리 정의된 형태로 관심 영역(221)을 결정할 수 있다. 예를 들어, 관심 영역(221)은 관심 영역(221)의 경계 상에 시작 지점(232) 및 종료 지점(233)이 배치되게 결정될 수 있다. 도 2a에 도시된 바와 같이 관심 영역(221)의 미리 정의된 형태는 직사각형으로 나타낼 수 있으나, 이로 한정하는 것은 아니고 다각형 또는 원형일 수도 있다. 혈관 영상 처리 장치는 제1 입력(231)의 검출이 시작된 지점으로부터 제1 입력(231)이 현재 검출되는 지점 사이의 영역인 임시 관심 영역(220)을 디스플레이를 통해 출력하여 사용자에게 제공할 수 있다. 혈관 영상 처리 장치는 임시 관심 영역(220)을 사용자에게 제공함으로써, 관심 영역(221)을 결정하기 전에 사용자에게 피드백(feedback)을 제공할 수 있다. 혈관 영상 처리 장치는 제1 입력(231)의 검출이 종료되면, 제1 입력(231)이 검출된 시작 지점(232) 및 제1 입력(231)의 종료 지점(233) 사이에서 미리 정의된 형태로 관심 영역(221)으로 결정하여 사용자에게 디스플레이를 통해 출력하여 제공할 수 있다.
도 2b를 참조하면, 혈관 영상 처리 장치는 사용자로부터 복수개의 입력을 포함하는 제1 입력을 수신할 수 있다. 제1 입력이 포함하는 복수개의 입력은 디스플레이 상의 임의의 지점에 대한 클릭(click) 또는 터치(touch)를 나타낼 수 있다. 혈관 영상 처리 장치는 사용자로부터 수신되는 제1 입력에 따라, 복수개의 입력에 대응하는 디스플레이 상의 지점들(241, 242, 243)을 사용자의 입력에 따라 연속적으로 직선으로 연결하여 형성되는 다각형 내부의 영역을 관심 영역(222)으로 결정할 수 있다. 혈관 영상 처리 장치는 제1 입력의 검출이 시작된 지점으로부터 제1 입력이 현재 검출되는 지점 사이에서 형성되는 다각형의 일부의 형태를 사용자에게 제공할 수 있다.
도 2c를 참조하면, 혈관 영상 처리 장치는 사용자로부터 시작 지점(251)으로부터 시작 지점과 동일한 지점인 종료 지점(251)까지의 드래그 입력을 제1 입력으로 수신할 수 있다. 혈관 영상 처리 장치는 사용자의 시작 지점과 종료 지점이 동일한 드래그 입력에 대응한 자유 곡선(free curve) 내부의 영역을 관심 영역(223)으로 결정할 수 있다. 혈관 영상 처리 장치는 제1 입력의 검출이 시작된 지점으로부터 제1 입력이 현재 검출되는 지점 사이에서 형성되는 자유 곡선으로 이루어진 자유 도형의 일부의 형태를 사용자에게 제공할 수 있다.
일 실시예에 따른 혈관 영상 처리 장치는 사용자로부터 수신되는 제1 입력에 기초하여 결정된 관심 영역 내에 대상 혈관으로 추출된 혈관 분지가 존재하는 경우, 관심 영역 내에 포함되는 하나의 분지 지점을 기준으로 서로 인접한 상위 분지 및 하위 분지 중 상위 분지를 정답 영역 분지로 고정할 수 있다. 정답 영역 분지란 혈관 영상 처리 장치에 의해 추출된 대상 혈관 중 오류 부위로 식별되지 않거나 사용자가 수정을 원하지 않는 혈관 분지를 나타낼 수 있다. 혈관 영상 처리 장치는 정답 영역 분지로 고정된 상위 분지를 기준으로 하위 분지들에 대하여만 오류 부위를 식별하고 수정할 수 있다.
다른 일 실시예에 따른 혈관 영상 처리 장치는 사용자로부터 수신되는 제1 입력에 기초하여 결정된 관심 영역을 미리 정한 조건에 상응하여 수정할 수도 있다. 예를 들어, 미리 정한 조건은 관심 영역이 관심 영역 경계의 일부에서 혈관 영상 처리 장치에 의해 추출된 대상 혈관 중 오류 부위에 해당되지 않거나 사용자가 수정을 원하지 않는 적어도 하나의 정답 영역 분지와 교차하는 것을 나타낼 수 있다. 예시적으로, 혈관 영상 처리 장치는 사용자로부터 수신되는 제1 입력에 기초하여 결정된 관심 영역의 경계의 일부에서 혈관 영상 처리 장치에 의해 추출된 대상 혈관 중 오류 부위에 해당하지 않거나 사용자가 수정을 원하지 않는 적어도 하나의 정답 영역 분지와 교차할 수 있도록, 관심 영역을 확장하거나 이동시키는 수정이 가능하다. 혈관 영상 처리 장치는 관심 영역 내부의 혈관 분지들 중 정답 영역 분지와 관심 영역이 관심 영역의 상부 경계에서 교차하도록 관심 영역을 수정할 수 있다. 그러나 이에 한정하지 않으며, 관심 영역 경계의 임의의 위치에서 대상 혈관과 교차하도록 관심 영역을 수정할 수 있다. 또한, 혈관 영상 처리 장치는 사용자로부터 수신되는 제1 입력에 기초하여 결정된 관심 영역 내부에 추출된 대상 혈관이 전혀 포함되어 있지 않은 경우, 사용자로부터 제1 입력을 다시 수신 받을 수도 있다.
혈관 영상 처리 장치는 분지 지점(branch point)을 기준으로 오류 부위를 식별하고 수정할 수 있다. 분지 지점(branch point)은 둘 이상의 혈관 분지가 합쳐지는 지점 및/또는 복수의 혈관 분지들로 나눠지는 지점을 나타낼 수 있다. 혈관 영상(200)에 캡처된 혈관 영역은 다수의 분지 지점을 가질 수 있다.
일 실시예에 따른 혈관 영상 처리 장치는 최종적으로 도 2에 도시된 바와 같은 대상 혈관(210)을 결정하기 위해, 대상 혈관(210)의 추출, 관심 영역(220)의 결정, 결정된 관심 영역(220) 내에서 추출 결과의 오류 부위의 식별 및 수정을 수행할 수 있다.
도 3은 일 실시예에 따른 대상 혈관의 추출 결과에서 오류 부위가 발생한 예시를 도시한다.
일 실시예에 따른 혈관 영상 처리 장치는 혈관 영상으로부터 분지 지점들 및 분지들을 식별할 수 있다. 예를 들어, 혈관 영상 처리 장치는 전체 혈관 영역을 추출하고, 추출된 전체 혈관 영역으로부터 분지 지점들 및 분지들을 식별할 수 있다. 혈관 영상 처리 장치는 분지 지점(branch point)을 기준으로 혈관 분지들을 식별할 수 있다. 혈관 영상으로부터 전체 혈관 영역을 추출할 수 있다. 일실시예에 따른 혈관 영상 처리 장치는 전체 혈관 추출 모델에 기초하여 혈관 영상으로부터 전체 혈관 영역을 추출할 수 있다. 전체 혈관 추출 모델은, 상술한 바와 같이, 혈관 영상으로부터 혈관 영역 및 나머지 비혈관 영역이 구분된 결과를 지시하는 출력 데이터를 생성하도록 트레이닝된 모델일 수 있다.
도 3은 추출된 전체 혈관 영역 중에서 도 2에 도시된 혈관 영상(200)의 관심 영역(220)에 대응하는 부분(300)을 도시한다. 혈관 영상 처리 장치는 관심 영역(220) 내에서 분지 지점을 기준으로 혈관 분지들을 식별할 수 있다. 참고로, 본 명세서에서 상위 혈관 분지는 혈류의 진행 방향 또는 조영제의 진행 방향에 따라 분지 지점 이전의 분지를 나타낼 수 있고, 하위 혈관 분지는 분지 지점 이후의 분지를 나타낼 수 있다. 예를 들어, 혈관 영상 처리 장치에 의해 식별된 결과로서, 제1 분지 내지 제7 분지(301 내지 307) 및 분지 지점들(311, 312)이 도시된다. 제1 분지 지점(311)을 기준으로, 제1 분지(301)는 상위 혈관 분지, 제2 분지(302) 및 제3 분지(303)는 하위 혈관 분지일 수 있다. 또한, 상위 혈관 분지 및 하위 혈관 분지의 관계는 상대적인 것으로서, 분지 지점 별로 달라질 수 있다. 예를 들어, 제2 분지(302)는 제4 분지(304) 및 제5 분지(305)에 대해서는 상위 혈관 분지일 수 있다. 혈관 영상 처리 장치는 혈관 분지들 각각에 대응하는 노드를 생성하여 인덱싱함으로써 혈관 구조 데이터를 생성할 수 있다. 혈관 구조 데이터는 하기 도 9에서 후술한다.
도 3에 도시된 예시에서 혈관 영상 처리 장치는 대상 혈관에 속하는 혈관 분지로서, 제1 분지(301), 제3 분지(303), 및 제5 분지(305)를 추출할 수 있다. 다만, 도 2에 도시된 대상 혈관(220)에 대응하는 혈관 경로(320)는 제1 분지(301), 제2 분지(302), 및 제5 분지(305)를 통과한다. 따라서 예시적인 대상 혈관의 추출 결과에서 제1 분지(301)로부터 제3 분지(303)로 향하는 제1 분지 지점(311)은 오류 부위일 수 있다. 아래에서는 오류 부위의 검출 및 수정을 설명한다.
도 4 내지 도 6는 관심 영역 내에서 사용자로부터 수신되는 제2 입력에 기초하여 추출 결과의 오류 부위를 식별하고, 식별된 오류 부위를 수정하는 방법을 도시한다.
도 4는 일 실시예에 따른 혈관 영상 처리 장치가 사용자로부터 수신되는 제2 입력에 기초하여 추출 결과의 단절 부위를 식별하고 수정하는 방법을 설명한다. 혈관 영상 처리 장치는 제2 입력이 관심 영역 내 복수의 지점들에서 검출되는 경우에 응답하여, 제2 입력의 복수의 지점들에 기초하여 오류 부위를 수정할 수 있다.
일 실시예에 따른 혈관 영상 처리 장치가 사용자로부터 수신하는 제2 입력은 드래그(drag) 입력을 나타낼 수 있다. 혈관 영상 처리 장치는 제2 입력이 검출되는 지점이 관심 영역 내에서 이동하는 경우에 응답하여, 제2 입력(491)의 이동 궤적(movement trajectory)에 기초하여 오류 부위를 식별하고 수정할 수 있다. 혈관 영상 처리 장치는 제2 입력(491)에 대응하는 지점이 대상 혈관으로 추출된 영역을 따라 이동하는 동안, 제2 입력(491)이 통과한 지점들에서 단절 부위가 존재하는지 검출할 수 있다. 예시적으로, 혈관 영상 처리 장치가 혈관 분지들(401, 405)을 대상 혈관으로 1차 추출하고, 사용자의 제2 입력(491)에 대응하는 지점이 대상 혈관으로 추출된 영역(420)을 따라 이동하는 경우, 혈관 영상 처리 장치는 제2 입력(491)이 통과한 지점들에서 단절 부위가 존재하는지 검출할 수 있다. 참고로, 혈관 영상 처리 장치는 제2 입력(491)에 대응하는 지점이 대상 혈관으로 추출된 영역을 잠시 벗어나더라도 제2 입력(491)에 대응하는 지점이 대상 혈관으로 추출된 영역을 따라 이동하는 것으로 판정할 수 있다. 예를 들어, 혈관 영상 처리 장치는, 제2 입력(491)이 대상 혈관으로 추출된 영역(420) 내의 분지 지점(branch point)이 아닌 지점으로부터 상술한 영역(420)을 벗어난 지점으로 이동하고, 임계 시간이 경과하기 전에 다시 영역(420)으로 복귀하는 경우 제2 입력(491)이 영역(420) 내에서 유지된 것으로 판정할 수 있다. 다만, 혈관 영상 처리 장치는, 제2 입력(491)이 대상 혈관으로 추출된 영역(420) 내의 분지 지점에서 영역(420)을 벗어난 다른 분지로 이동되는 경우에 응답하여, 제2 입력(491)이 영역(420)을 벗어난 것으로 판정할 수 있다.
예를 들어, 혈관 영상 처리 장치는 사용자로부터 관심 영역 내에서 추출된 대상 혈관의 영역에 포함되는 두개의 지점들에 대응하는 그래픽 지점 사이의 드래그(drag) 입력에 대응하는 제2 입력(491)을 수신할 수 있다. 상기 드래그 입력은, 사용자가 대상 혈관의 영역에 포함되는 두개의 지점들 중 하나에 대응하는 그래픽 지점을 클릭 또는 터치하며, 클릭 또는 터치된 상태로 이동을 하고, 나머지 하나의 지점에 대응하는 그래픽 지점에서 클릭 또는 터치를 릴리즈하는 입력을 나타낼 수 있다. 혈관 영상 처리 장치는 사용자로부터 수신되는 제2 입력(491)에 응답하여, 제2 입력(491)의 시작 지점에 대응하는 혈관 분지와 제2 입력(491)의 종료 지점에 대응하는 혈관 분지 사이의 지점들마다 단절 부위가 존재하는지 검출할 수 있다. 따라서 혈관 영상 처리 장치는 제2 입력(491)이 대상 혈관으로 추출된 영역을 따라 이동하는 동안 지속적으로 단절 부위의 검출을 시도할 수 있다. 예시적으로, 혈관 영상 처리 장치는 사용자로부터 수신한 제2 입력(491)에 대응하는 시작 지점 및 종료 지점이 각각 혈관 분지들(401, 405)에 대응하는 영역에 포함되며, 제2 입력(491)에 대응되는 지점이 대상 혈관으로 추출된 영역(420)을 따라 이동하는 경우, 혈관 영상 처리 장치는 혈관 분지들(401, 405) 사이에서 단절 부위가 존재하는지 검출할 수 있다. 혈관 영상 처리 장치는, 혈관 분지들(401, 405)을 추출된 대상 혈관의 혈관 분지들(401, 405)에 대응하는 영역이 서로 분리되거나 이격되는 경우, 단절 부위로 판단할 수 있다. 예를 들어, 혈관 영상 처리 장치는, 제2 입력(491)이 혈관 분지들(401, 405) 사이의 지점들을 통과하는 동안, 해당 지점들이 대상 혈관으로 추출된 영역(420)에 속하는지 판단할 수 있다. 혈관 영상 처리 장치는 해당 지점들이 영역(420)에 속하지 않는 경우에 응답하여, 해당 지점들을 단절 부위로 결정할 수 있다. 일 실시예에 따른 혈관 영상 처리 장치는 단절 부위가 검출되는 경우에 응답하여, 제2 입력(491)의 이동 궤적을 따라 단절된 부위들을 연결할 수 있다. 예를 들어, 혈관 영상 처리 장치는 단절 부위로 판단된 혈관 분지들의 외곽 및/또는 경계에 대하여 서로 연결할 수 있다. 예시적으로, 사용자의 제2 입력(491)에 대응하는 지점이 대상 혈관으로 추출된 영역(420)을 따라 이동하는 경우, 혈관 영상 처리 장치는 단절 부위로 판단된 혈관 분지들(401, 405)에 대응하는 영역을 사용자로부터 수신된 제2 입력(491)의 이동 궤적에 따라 연결할 수 있다. 혈관 영상 처리 장치는 제2 입력(490)에 대응하는 지점들이 단절된 혈관 분지들(401, 405) 사이의 영역(402)을 따라 이동하는 경우, 혈관 영상 처리 장치는 단절된 혈관 분지들(401, 405) 사이의 영역(402)을 대상 혈관으로서 추출할 수 있다. 즉, 혈관 영상 처리 장치는 대상 혈관의 추출 결과에 영역(402)을 추가시킬 수 있다.
일 실시예에 따른 혈관 영상 처리 장치가 사용자로부터 수신하는 제2 입력은 포인팅(pointing) 입력을 나타낼 수 있다. 포인팅 입력은 디스플레이 상의 한 지점을 지시하는 입력으로서, 예를 들어, 마우스 조작에 의한 클릭 입력 및/또는 터치 디스플레이에 대한 터치 조작에 의한 입력(예를 들어, 터치 입력)을 포함할 수 있다. 다만, 포인팅 입력을 이로 한정하는 것은 아니고, 설계에 따라 다양한 포인팅 디바이스(예를 들어, 트랙볼 마우스, 터치패드, 및 트랙패드 등)에 의한 위치 지시 입력을 포함할 수 있다. 혈관 영상 처리 장치는 사용자로부터 시작 지점 및 종료 지점에 대한 포인팅 입력을 제2 입력으로서 수신할 수 있다. 그러나 이에 한정하지 않으며, 혈관 영상 처리 장치는 사용자로부터 두 지점 이상에 대한 클릭 또는 터치의 포인팅 입력을 수신할 수도 있다. 혈관 영상 처리 장치는 포인팅 입력에 따라, 포인팅 입력의 시작 및 종료 지점 사이의 영역에 기초하여 오류 부위를 식별하고 수정할 수 있다. 예시적으로, 혈관 영상 처리 장치가 혈관 분지들(401, 405)을 대상 혈관으로 1차 추출하고, 사용자의 제2 입력에 대응하는 지점들(492, 493) 사이의 혈관 영역에 대하여 단절 부위가 존재하는지 검출할 수 있다.
예를 들어, 혈관 영상 처리 장치는 사용자로부터 관심 영역 내에서 추출된 대상 혈관의 영역에 포함되는 두개의 지점들(492, 493)에 대한 클릭 또는 터치 입력을 포함하는 포인팅 입력에 대응하는 제2 입력을 수신할 수 있다. 혈관 영상 처리 장치는 사용자로부터 수신되는 제2 입력에 응답하여, 제2 입력의 시작 지점(492)에 대응하는 혈관 분지와 제2 입력의 종료 지점에 대응하는 혈관 분지 사이의 지점들마다 단절 부위가 존재하는지 검출할 수 있으며, 제2 입력으로 드래그 입력을 수신한 경우와 마찬가지로 단절 부위를 수정할 수 있다.
도 5는 일 실시예에 따른 혈관 영상 처리 장치가 사용자로부터 수신되는 입력의 이동 궤적에 기초하여 추출 결과의 오인 부위를 식별하고 수정하는 방법을 설명한다. 혈관 영상 처리 장치는 제2 입력(590)에 대응하는 지점이 대상 혈관으로 추출된 영역 내의 분지 지점으로부터 대상 혈관을 벗어난 영역으로 이동하는 경우에 응답하여, 분지 지점과 연결된 대상 혈관으로 추출된 혈관 분지들 중 제2 입력의 이동 궤적에 대응하는 영역의 바깥에 위치되는 혈관 분지를 오인 부위로 결정할 수 있다. 혈관 영상 처리 장치는 분지 지점과 관련된 부위를 오인 부위로 판단한 경우, 제1 입력에 기초한 관심 영역은 분지 지점을 기준으로 모든 하위 분지가 관심 영역 내에 포함되도록 확장될 수 있다. 예시적으로, 혈관 영상 처리 장치가 혈관 분지들(501, 502, 505)을 대상 혈관으로 1차 추출하고, 사용자의 제2 입력(590)에 대응하는 지점이 대상 혈관으로 추출된 영역(520) 내의 분지 지점(513)으로부터 대상 혈관을 벗어난 영역(530)으로 이동하는 경우, 분지 지점(513)과 관련된 부위를 오인 부위로 판단할 수 있다. 예를 들어, 혈관 영상 처리 장치는 분지 지점(513)을 기준으로 대상 혈관으로 1차 추출된 하위 혈관 분지(505)와 상이한 하위 혈관 분지(504)에 대응하는 영역으로 제2 입력(590)이 이동하는 경우, 사용자로부터 수신한 제2 입력(590)에 대응하는 지점이 대상 혈관을 벗어난 영역으로 이동한 것으로 판단할 수 있다. 혈관 영상 처리 장치는 분지 지점(513)에 이웃하는 대상 혈관으로 추출된 혈관 분지들 중 적어도 한 분지(505)를 대상 혈관에 대한 추출 결과에서 오인 부위로 판단할 수 있다.
혈관 영상 처리 장치는 오인 부위로 식별된 혈관 분지들 중 적어도 하나를 대상 혈관을 벗어난 제2 입력(590)에 의해 지시되는 혈관 분지로 교체하고, 교체된 혈관 분지에 기초하여 나머지 추출 결과를 수정할 수 있다. 예를 들어, 혈관 영상 처리 장치는 제2 입력(590)에 대응하는 지점들이 추출된 대상 혈관에 대응하는 영역을 벗어나 이동하는 경우, 분지 지점(513)을 기준으로 대상 혈관으로 1차 추출된 하위 혈관 분지(505)를 혈관 분지(504)로 교체할 수 있다. 혈관 영상 처리 장치는 교체된 혈관 분지(504)에 기초하여 대상 혈관의 추출 결과를 수정할 수 있다. 예를 들어, 혈관 영상 처리 장치는, 대상 혈관의 추출 결과로부터 1차 추출된 하위 혈관 분지(505)에 후속하는 혈관 분지들을 배제하고, 교체된 혈관 분지(504)에 후속하는 혈관 분지들을 대상 혈관의 추출 결과에 추가할 수 있다.
도 6은 일 실시예에 따른 혈관 영상 처리 장치가 사용자로부터 수신되는 제2 입력(690)에 기초하여 수정 후보들을 사용자에게 제공하며, 사용자의 선택 입력에 따라 오류 부위를 식별하고 수정하는 방법을 도시한다. 혈관 영상 처리 장치는 대상 혈관의 추출 결과에 대응하는 영역 내의 지점에서 제2 입력(690)이 제1 임계 시간 이상 검출되는 경우, 해당 지점을 오류 부위로 결정할 수 있다. 혈관 영상 처리 장치는 오류 부위로 결정된 지점에 대응하는 수정 후보들을 사용자에게 제공할 수 있다. 수정 후보들은, 제2 입력(690)이 유지된 지점이 오류 부위로 판단되는 경우, 단절 부위를 보충 가능한 형태를 갖는 후보 혈관 분지들의 집합 또는 오인 부위를 대체 가능한 형태 및 구조를 갖는 후보 혈관 분지들의 집합을 나타낼 수 있다. 예를 들어, 혈관 영상 처리 장치는 하기 도 7 내지 도 14에서 후술하는 바에 따라 혈관 구조 데이터, 혈관의 곡률 정보, 혈관의 직경 정보, 및 밝기 정보 등에 기초하여 수정 후보를 결정할 수 있다. 예를 들어, 제1 수정 후보(661)는 혈관 구조 데이터에 기초하여 결정된 후보 분지, 제2 수정 후보(662)는 곡률 정보에 기초하여 결정된 후보 분지, 제3 수정 후보(663)는 직경 정보에 기초하여 결정된 후보 분지, 및 제4 수정 후보(664)는 밝기 정보에 기초하여 결정된 후보 분지일 수 있다. 다만, 이는 순전히 예시적인 것으로, 후보 분지의 결정은 설계에 따라 달라질 수 있다. 아울러, 앞서 제2 입력(690)이 유지된 지점을 오류 부위로 판단하는 예시를 설명하였으나, 혈관 영상 처리 장치는 제2 입력(690)이 유지된 지점에 대해 하기 도 7 내지 도 14에서 후술하는 바에 따른 혈관 구조 데이터, 혈관의 곡률 정보, 혈관의 직경 정보, 및 밝기 정보 등에 기초하여 오류 부위를 결정할 수도 있다.
혈관 영상 처리 장치는 사용자로부터 수신되는 수정 후보들을 선택하는 제3 입력에 기초하여, 수정 후보들 중 하나를 선택할 수 있다. 혈관 영상 처리 장치는 선택된 수정 후보에 포함된 혈관 분지들을 대상 혈관의 추출 결과에 추가할 수 있다.
예시적으로, 혈관 영상 처리 장치가 혈관 분지들(601, 602, 605)을 대상 혈관으로 1차 추출할 수 있다. 혈관 영상 처리 장치가 사용자로부터 수신되는 제2 입력(690)이 검출되는 지점이 분지 지점(611)에 대응하는 영역에 포함되는 경우, 혈관 영상 처리 장치는 분지 지점(611)에 대응하는 수정 후보들(661, 662, 663, 664) 중 하나에 대한 선택을 사용자에게 제공 가능한 그래픽 객체(660)를 출력할 수 있다. 혈관 영상 처리 장치는 사용자로부터 수정 후보들(661, 662, 663, 664) 중 하나를 선택하는 제3 입력을 수신하여, 선택된 수정 후보로 구성된 혈관 분지들(예를 들어, 혈관 분지들(602, 604))을 대상 혈관으로 추출할 수 있다.
일 실시예에 따른 혈관 영상 처리 장치는 제2 입력(690)에 대응하는 지점이 추출된 대상 혈관의 경계선(예를 들어, 혈관 엣지(edge))에 대응하는 지점이며, 해당 지점에서 제2 입력(690)이 검출되는 시간이 제2 임계 이상인 경우, 해당 경계선에 대응하는 수정 후보들을 사용자에게 제공할 수 있다. 예를 들어, 혈관 영상 처리 장치는 사용자로부터 수신되는 제2 입력(690)에 대응하는 대상 혈관의 경계선에 대하여, 경계선을 부드럽게 평탄화(smoothing) 시키는 수정 후보, 배경과의 대비(contrast)를 강조시키는 수정 후보, 또는 기존 경계선과 상이한 경계선을 선택하도록 하는 수정 후보의 옵션을 사용자에게 제공할 수 있다.
혈관 영상 처리 장치는 관심 영역의 결정에 응답하여, 대상 혈관의 추출 결과로부터 오류 부위를 식별하고, 식별된 오류 부위를 수정할 수 있다. 혈관 영상 처리 장치는 오류 부위의 수정 결과를 사용자에게 제공할 수 있다. 혈관 영상 처리 장치는 오류 부위의 수정 결과를 사용자에게 제공하여, 사용자로부터 수정 결과에 대응하는 입력을 수신하여 오류 부위를 수정할 수 있으며, 오류 부위가 수정된 관심 영역 내에서 사용자로부터 수신되는 제2 입력(690)에 기초하여 오류 부위를 식별하고 수정할 수 있다. 다시 말해, 혈관 영상 처리 장치는 관심 영역 내에서 사용자로부터 제2 입력(690)을 수신하여 오류 부위가 식별되고 수정되기 전, 프로세서에 의해 자동으로 오류 부위를 식별하고 수정하여 사용자에게 수정 결과를 제공하는 전처리 과정을 거칠 수 있다.
참고로, 도 4 내지 도 6에서 설명의 편의를 위하여 제2 입력(490, 590, 690)이 터치 입력인 것으로 도시되었으나, 이로 한정하는 것은 아니고, 클릭 입력 등과 같이 디스플레이 상의 지점을 포인팅하는 다른 형태의 입력도 포함할 수 있다.
도 7 내지 도 8은 일 실시예에 따른 오류 부위를 수정하는 방법을 도시한다.
도 7은 대상 혈관의 추출 결과로부터 오류 부위가 식별되며, 식별된 오류 부위가 오인 부위인 경우, 오인 부위의 수정 결과를 사용자에게 제공하는 방법을 설명한다. 일 실시예에 따르면 혈관 영상 처리 장치는 대상 혈관에서 오류 부위가 식별되는 경우, 사용자의 입력(예를 들어, 터치(touch) 입력)에 기초하여 식별된 오류 부위를 수정할 수 있다. 혈관 영상 처리 장치는 오류 부위가 오인 부위인 경우에 응답하여, 하나 이상의 후보 분지를 사용자에게 제공할 수 있다. 혈관 영상 처리 장치는 사용자로부터 하나 이상의 후보 분지 중 한 분지에 대한 포인팅 입력을 수신하는 경우에 응답하여, 오류 부위에 대응하는 분지를 선택된 분지로 교체할 수 있다. 예시적으로, 혈관 영상 처리 장치가 혈관 분지들(701, 702)을 대상 혈관으로서 1차 추출한 경우, 대상 혈관과 관련된 혈관 구조 데이터, 대상 혈관의 곡률 정보, 대상 혈관의 직경 정보, 및 대상 혈관의 밝기 정보 중 적어도 하나에 기초하여 혈관 분지들(701, 702) 중 적어도 한 분지를 대상 혈관에 대한 추출 결과에서 오류 부위로 판단할 수 있다. 혈관 영상 처리 장치는 식별된 오류 부위가 오인 부위인 경우, 대상 혈관으로 추출되지 않은 하나 이상의 후보 혈관 분지들(711, 712, 713)을 사용자에게 제공할 수 있다. 혈관 영상 처리 장치의 입출력 인터페이스는 디스플레이를 통해 후보 혈관 분지들(711, 712, 713)에 대한 선택을 사용자에게 제공 가능한 그래픽 객체들(771, 772, 773)을 출력할 수 있다. 그래픽 객체들은 후보 혈관 분지들에 대응하는 영역을 둘러싸는 형태일 수 있다. 도 7에서는 그래픽 객체들(771, 772, 773)은 직사각형 형태로 도시되어 있으나, 형태를 이로 한정하는 것은 아니다. 사용자는 단순히 디스플레이에 출력되는 후보 혈관 분지들에 대응하는 그래픽 객체들 중 하나에 대응하는 지점에 대해 클릭(click)하거나 터치(touch)하는 포인팅 입력을 통하여 후보 혈관 분지를 선택할 수 있다. 즉, 혈관 영상 처리 장치는 그래픽 객체에 대응하는 지점에 대한 사용자 입력을 감지하는 경우, 그래픽 객체에 대응하는 후보 혈관 분지가 선택된 것으로 판단할 수 있으며, 오류 부위에 대응하는 혈관 분지를 선택된 후보 혈관 분지로 교체할 수 있다. 예시적으로, 혈관 영상 처리 장치가 사용자로부터 그래픽 객체(771)에 대응하는 지점에 대한 사용자의 입력을 감지하는 경우, 그래픽 객체(771)에 대응하는 후보 혈관 분지(711)를 대상 혈관으로서 추출할 수 있다. 즉, 혈관 영상 처리 장치는 대상 혈관의 추출 결과에서 혈관 분지(702)를 혈관 분지(711)로 교체할 수 있다.
도 8은 대상 혈관의 추출 결과로부터 오류 부위가 식별되며, 식별된 오류 부위가 단절 부위인 경우, 단절 부위의 수정 결과를 사용자에게 제공하는 방법을 설명한다. 일 실시예에 따르면 혈관 영상 처리 장치는 대상 혈관에서 식별된 오류 부위가 단절 부위인 경우에 응답하여, 단절 부위를 포함하는 혈관 영역을 사용자에게 제공할 수 있다. 혈관 영상 처리 장치는 수정 결과에 대하여 복수의 지점들에서 사용자 입력이 검출되는 경우에 응답하여, 사용자 입력의 시작 지점에 대응하는 혈관 분지에 대응하는 영역 및 상기 사용자 입력의 종료 지점에 대응하는 혈관 분지에 대응하는 영역을 연결할 수 있다.
일 실시예에 따른 혈관 영상 처리 장치는 수정 결과에 대하여 사용자로부터 수신되는 드래그 입력(891)에 응답하여, 드래그 입력(891)의 시작 지점에 대응하는 혈관 분지에 대응하는 영역 및 드래그 입력(891)의 종료 지점에 대응하는 혈관 분지에 대응하는 영역을 연결할 수 있다. 예시적으로, 혈관 영상 처리 장치가 혈관 분지들(801, 802)을 대상 혈관으로 1차 추출한 경우, 혈관 영상 처리 장치는 추출된 대상 혈관의 혈관 분지들(801, 802)에 대응하는 영역이 서로 분리되는 단절 부위로 판단할 수 있다. 혈관 영상 처리 장치의 입출력 인터페이스는 디스플레이를 통해 혈관 분지들(801, 802)에 대응하는 영역들 사이의 연결과 관련된 그래픽 객체(870)을 출력할 수 있다. 그래픽 객체(870)는 단절 부위에 대응하는 혈관 분지들(801, 802)의 적어도 일부에 대응하는 영역을 둘러싸는 형태로서, 혈관 분지들(801, 802)이 사용자에 의해 연결 가능한 것을 나타낼 수 있다. 혈관 영상 처리 장치는 사용자로부터 수신되는 드래그 입력(891)에 응답하여, 드래그 입력(891)에 의해 선택된 혈관 분지들(801, 802)에 대응하는 영역을 연결하며, 단절된 혈관 분지들(801, 802) 사이의 혈관 분지(803)를 대상 혈관으로서 추출할 수 있다. 드래그 입력(891)에 의해 선택된 분지들은, 드래그 시작 지점에 대응하는 혈관 분지 및 드래그 종료 지점에 대응하는 혈관 분지를 나타낼 수 있다. 즉, 혈관 영상 처리 장치는 대상 혈관의 추출 결과에서 혈관 분지(803)을 포함시킬 수 있다.
다른 일 실시예에 따른 혈관 영상 처리 장치는 수정 결과에 대하여 사용자로부터 수신되는 둘 이상의 지점에 대응하는 포인팅(pointing) 입력에 응답하여, 포인팅 입력에 대응하는 시작 지점(892)과 종료 지점(893)에 대응하는 혈관 분지에 대응하는 영역을 연결할 수 있다. 즉, 혈관 영상 처리 장치는 사용자로부터 시작 지점 및 종료 지점에 대한 클릭 또는 터치 입력을 수신할 수 있다. 혈관 영상 처리 장치는 사용자로부터 수신되는 포인팅 입력에 응답하여, 포인팅 입력의 시작 지점(892)에 대응하는 혈관 분지(801)에 대응하는 영역과 포인팅 입력의 종료 지점(893)에 대응하는 혈관 분지(802)에 대응하는 영역을 연결할 수 있다.
도 9는 혈관 분지에 대응하는 노드에 기초한 혈관 구조 데이터의 토폴로지를 이용하여 대상 혈관의 오류를 식별하는 방법을 도시한다.
일 실시예에 따르면 혈관 영상 처리 장치는 대상 혈관과 관련된 혈관 구조 데이터(900)에 기초하여 오류 부위(error portion)를 식별할 수 있다. 혈관 구조 데이터(900)는 혈관의 구조를 지시하는 토폴로지 데이터로서, 예를 들어, 혈관 분지들에 대응하는 노드들이 인덱싱된 트리 구조 데이터일 수 있다. 예를 들어, 혈관 영상 처리 장치는 전체 혈관 영역에 대하여 혈관 분지 지점들을 기준으로 혈관 분지들을 식별하고, 식별된 혈관 분지들의 각각에 대응하는 노드를 생성하며, 생성된 노드의 인덱싱에 기초하여 혈관 구조 데이터(900)를 생성할 수 있다.
혈관 영상 처리 장치는 상위 혈관 분지로부터 분지 지점을 기준으로 복수의 하위 혈관 분지들로 분기되는 경우, 상위 혈관 분지에 대응하는 노드와 하위 혈관 분지들에 대응하는 노드들을 연결할 수 있다. 혈관 영상 처리 장치는 혈관 영상으로부터 식별되는 분지 지점들 및 혈관 분지들에 대해 상술한 노드 연결을 반복함으로써 전체 혈관에 대한 혈관 구조 데이터(900)를 생성할 수 있다. 예를 들어, 도 9에 도시된 혈관 구조 데이터(900)에서 제1 노드 내지 제7 노드(N1 내지 N7)는 순차적으로 각각 도 3에 도시된 제1 분지 내지 제7 분지(301 내지 307)에 대응할 수 있다. 제1 노드(N1)는 최상위 노드이고, 제2 노드(N2) 및 제3 노드(N3)는 제1 노드(N1)의 하위 노드일 수 있다. 나머지 노드들도 유사한 상하 관계를 가질 수 있다.
일 실시예에 따른 혈관 영상 처리 장치는 혈관 영상으로부터 대상 혈관으로서 추출된 혈관 분지들에 대응하는 노드들 간의 노드 연결 데이터(910)를 산출할 수 있다. 예를 들어, 혈관 영상 처리 장치는 도 3에 도시된 대상 혈관의 추출 결과로부터 제1 노드(N1), 제3 노드(N3), 및 제5 노드(N5)가 연결된 노드 연결 데이터(910)를 산출할 수 있다.
혈관 영상 처리 장치는 노드 연결 데이터(910)를 혈관 구조 데이터(900)와 비교함으로써, 대상 혈관의 오류 부위를 식별할 수 있다. 혈관 영상 처리 장치는 생성된 혈관 구조 데이터(900)에 기초하여 대상 혈관의 노드들 간의 연결 오류를 검출할 수 있다. 혈관 영상 처리 장치는 연결 오류가 검출된 노드들에 대응하는 혈관 분지 및/또는 분지 지점을 오류 부위로 판단할 수 있다. 혈관 영상 처리 장치는 노드 연결 데이터(910)에서 혈관 구조 데이터(900)에 매칭하지 않는 노드에 기초하여 오류 부위를 판단할 수 있다. 예시적으로, 도 9에서 추출된 노드 연결 데이터(910)는 제1 노드(N1), 제3 노드(N3), 및 제5 노드(N5)가 순서대로 연결된 것을 지시할 수 있다. 혈관 구조 데이터(900)에서 제3 노드(N3)는 제5 노드(N5)와 연결되지 않는다. 다시 말해, 혈관 영상 처리 장치는 노드 연결 데이터(910)에서 제3 노드(N3) 및 제5 노드(N5) 간의 연결이 혈관 구조 데이터(900)에 매칭하지 않는 것으로 결정할 수 있다. 제3 노드(N3) 및 제5 노드(N5) 간의 연결은 연결 오류일 수 있다. 혈관 영상 처리 장치는 연결 오류에 대응하는 노드들 중 적어도 한 노드에 대응하는 혈관 분지를 오류 부위로 판단할 수 있다. 예를 들어, 도 9에서 혈관 영상 처리 장치는 제3 노드(N3) 및 제5 노드(N5) 중 적어도 하나에 대응하는 혈관 분지를 오류 부위로 판단할 수 있다. 상술한 예시는 제3 노드(N3) 또는 제5 노드(N5)에 대응하는 혈관 분지가 대상 혈관에 속하는 것으로 잘못 추출되었므로, 오인 부위일 수 있다.
다른 예를 들어, 혈관 영상 처리 장치는 혈관 구조 데이터(900)에 기초하여 노드 연결 데이터(920)에서 누락된 노드에 대응하는 혈관 분지를 단절 부위로 검출할 수 있다. 혈관 영상 처리 장치는 제1 노드(N1)로부터 제5 노드(N5)로 직접 연결되는 노드 연결 데이터(920)를 산출할 수 있다. 혈관 영상 처리 장치는 혈관 구조 데이터(900)에 기초하여, 노드 연결 데이터(920)에서 제2 노드(N2)가 누락(missing)된 것을 검출할 수 있다. 이 경우, 혈관 영상 처리 장치는 제2 노드(N2)에 대응하는 혈관 분지를 단절 부위로 검출할 수 있다.
도 10 및 도 11은 일 실시예에 따른 오류 부위를 수정하는 방법을 도시한다.
도 10은 도 9에서 노드 연결 데이터(910)가 산출된 경우의 수정을 설명한다. 일 실시예에 따르면 혈관 영상 처리 장치는 오인 부위(misidentification portion)가 식별되는 경우에 응답하여, 오인 부위에 대응하는 노드를 혈관 구조 데이터에 매칭하는 노드로 교체할 수 있다. 예시적으로, 혈관 영상 처리 장치는 노드 연결 데이터(910)에서 제5 노드(N5)가 혈관 구조 데이터에 매칭하지 않는 것으로 판단할 수 있다. 혈관 영상 처리 장치는 혈관 구조 데이터에 매칭하지 않는 제5 노드(N5)를 노드 연결 데이터로부터 배제하고, 혈관 구조 데이터에 매칭하는 제6 노드(N6)를 노드 연결 데이터에 추가함으로써 수정된 노드 연결 데이터(1010)를 생성할 수 있다. 따라서 혈관 영상 처리 장치는 교체된 제6 노드(N6)에 대응하는 혈관 분지(예를 들어, 도 3에서 제6 분지(306))를 대상 혈관으로서 추출할 수 있다.
도 11은 도 9에서 노드 연결 데이터(920)가 산출된 경우의 수정을 설명한다. 일 실시예에 따르면 혈관 영상 처리 장치는 단절 부위가 식별되는 경우에 응답하여, 단절 부위에 대응하는 노드들 사이에 연결 가능한 노드를 삽입할 수 있다. 예시적으로, 혈관 영상 처리 장치는 노드 연결 데이터(920)에서 제1 노드(N1) 및 제5 노드(N5)의 사이가 누락된 것으로 판단할 수 있다. 혈관 영상 처리 장치는 노드들(N1, N5) 사이에 제2 노드(N2)를 삽입함으로써 수정된 노드 연결 데이터(1110)를 생성할 수 있다. 혈관 영상 처리 장치는 제2 노드(N2)에 대응하는 혈관 분지(예를 들어, 도 3에서 제2 분지(302))를 대상 혈관으로서 추출할 수 있다.
상술한 바와 같이 노드 교체 및 노드 추가에 의한 오인 부위 수정을 통해, 혈관 영상 처리 장치는 혈관 구조 데이터의 토폴로지에 기초한 노드 연결성 오류를 제거할 수 있다.
도 12은 대상 혈관의 곡률 정보를 이용하여 대상 혈관의 오류를 식별하고 수정하는 방법을 도시한다.
일 실시예에 따르면 혈관 영상 처리 장치는 대상 혈관에서 서로 인접한 혈관 분지들 간의 곡률을 이용하여 오인 부위를 식별하고 수정할 수 있다. 예를 들어, 혈관 영상 처리 장치는 대상 혈관에서 서로 인접한 분지들 간의 곡률이 임계 곡률을 초과하는 경우에 응답하여, 서로 인접한 분지들을 오인 부위로 판단할 수 있다. 예시적으로, 혈관 영상 처리 장치는 혈관 분지들(1201, 1202)을 대상 혈관으로서 1차 추출한 경우, 혈관 분지들(1201, 1202) 간의 곡률을 계산할 수 있다. 혈관 영상 처리 장치는 계산된 곡률이 임계 곡률을 초과하는 경우에 응답하여 상술한 혈관 분지들(1201, 1202) 중 적어도 한 분지를 대상 혈관에 대한 추출 결과에서 오인 부위로 판단할 수 있다. 혈관 영상에서 실제 추출해야 할 대상 혈관에 속하는 인접한 혈관 분지들은 비교적 작은 곡률을 나타내는 바, 임계 곡률을 초과하는 곡률을 나타내는 인접한 혈관 분지들은 오류 부위일 가능성이 있다.
혈관 영상 처리 장치는 대상 혈관에서 임계 곡률을 이용하여 오류 부위가 식별되는 경우에 응답하여, 식별된 오류 부위를 수정할 수 있다. 혈관 영상 처리 장치는 식별된 오류 부위에 대하여, 서로 인접한 분지들 중 한 분지를 나머지 분지와의 곡률이 임계 곡률 이하인 후보 분지로 교체할 수 있다. 후보 분지는 임의의 분지 지점을 기준으로 하나의 혈관 분지에 연결된 복수의 혈관 분지들 중 대상 혈관으로 추출되지 않은 나머지 하나 이상의 분지들을 나타낼 수 있다. 예시적으로, 혈관 영상 처리 장치는 대상 혈관으로 추출되지 않은 혈관 분지(1203)와 상위 혈관 분지(1201) 사이의 곡률이 임계 곡률 이하인 경우, 혈관 분지(1202) 대신 혈관 분지(1203)를 대상 혈관으로서 추출할 수 있다. 혈관 영상 처리 장치는 대상 혈관의 추출 결과에서 혈관 분지(1202)를 혈관 분지(1203)로 교체할 수 있다. 더 나아가, 혈관 영상 처리 장치는 식별된 오류 부위를 수정하는데 있어서, 혈관의 종류(예를 들어, 좌주관상동맥(Left Main Coronary Artery, LM), 좌전하행동맥(Left Anterior Descending Artery, LAD), 좌회선동맥(Left Circumflex Artery, LCX), 우관상동맥(Right Coronary Artery, RCA)) 또는 혈관 영역(예를 들어, 근위 영역, 중간 영역, 및 원위 영역)에 따라 서로 다른 임계 곡률을 적용할 수 있다.
혈관 영상 처리 장치는 곡률 차이를 분석하기 위해, 혈관 분지의 주방향 성분 분석(예를 들어, 주성분 분석(PCA, principal component analysis)을 수행할 수 있다. 혈관 영상 처리 장치는 분지 지점을 기준으로 구분된 혈관 분지들 각각에 대하여 주방향 성분을 분석할 수 있다. 혈관 분지의 주방향 성분은 해당 혈관 분지의 방향을 대표하는 성분을 나타낼 수 있다. 예를 들어, 혈관 영상 처리 장치는 각 혈관 분지들에 대한 주방향 성분 분석을 이용하여 각 혈관 분지들 마다 주방향 벡터를 구할 수 있다. 주방향 벡터는 분지 지점으로부터 혈관 분지가 연장하는 방향을 대표하는 방향 성분을 가지는 벡터로서, 단위 벡터의 크기를 가질 수 있다. 예를 들어, 임의의 혈관 분지에 대한 주방향 벡터는 분지 지점으로부터 해당 혈관 분지에 대응하는 지점들을 향하는 벡터 성분들의 주성분의 방향을 나타낼 수 있다. 예시적으로, 혈관 분지들(1201, 1202, 1203)의 주방향 벡터는 각각 벡터(1221, 1222, 1223)에 대응할 수 있다. 혈관 영상 처리 장치는 대상 혈관에서 서로 인접한 혈관 분지들의 주방향 벡터의 내적 값이 임계 값을 초과하는 경우에 응답하여, 서로 인접한 분지들을 오인 부위로 판단할 수 있다.
예시적으로 혈관 영상 처리 장치는 대상 혈관에서 서로 인접한 혈관 분지들(1201, 1202)의 주방향 벡터들(1221, 1222)의 내적 값이 임계 값을 초과하는 경우, 서로 인접한 혈관 분지들(1201, 1202)을 오인 부위(misidentification portion)로 판단할 수 있다. 각 혈관 분지들의 주방향 벡터는 단위 벡터의 크기를 가지므로 주방향 벡터들의 내적 값은 벡터들이 서로 이루는 각도에 의존할 수 있다. 결국, 상위 분지에 대응하는 주방향 벡터 및 하위 분지에 대응하는 주방향 벡터는 서로 반대 방향을 향하므로 두 주방향 벡터의 내적은 음수값을 가지므로, 주방향 벡터들의 내적 값이 임계 값 이상이라는 것은 혈관 분지들 사이의 곡률이 크다는 것을 의미할 수 있다. 혈관 영상에서 실제 추출해야 할 대상 혈관은 하나의 혈관으로서 인접한 혈관 분지 사이에 큰 곡률의 변화가 없는 것이 일반적이므로, 인접한 혈관 분지들 간의 주방향 벡터의 내적 값이 임계 값을 초과하는 것은 혈관 영상 처리 장치가 실제 찾아야 할 대상 혈관이 아닌 다른 혈관을 추출한 것을 나타낼 수 있다. 더 나아가, 식별된 오류 부위를 수정하는데 있어서, 혈관 영상 처리 장치는 혈관의 종류 또는 혈관 영역에 따라 서로 다른 임계 값을 적용할 수 있다.
혈관 영상 처리 장치는 추출된 대상 혈관에 대하여 분지 지점을 기준으로 분할된 혈관 분지 마다 주방향 벡터를 구할 수 있으나, 미리 지정된 길이로 혈관을 분할(segment)하여 미리 지정된 길이로 분할된 조각(piece) 마다 주방향 벡터를 구할 수도 있다. 혈관 영상 처리 장치는 추출된 대상 혈관에 대하여 이웃한 조각들의 주방향을 비교함으로써 곡률이 임계치 이상으로 커진 부분을 찾아내는 방식으로 대상 혈관에서 오류 부위를 식별할 수도 있다. 다시 말해, 혈관 영상 처리 장치는 추출된 대상 혈관을 임계 길이 이하로 분할할 수 있다. 혈관 영상 처리 장치는 서로 인접한 미리 지정된 길이로 분할된 조각들의 주방향 벡터의 내적 값이 임계 값을 초과하는 경우에 응답하여, 서로 인접한 조각들을 오인 부위로 판단할 수 있다. 혈관 영상 처리 장치는 대상 혈관을 임계 길이 이하로 분할하여 이웃한 조각들 사이의 곡률을 계산할 수 있으므로, 분지 지점을 기준으로 분할된 혈관 분지에 따라 대상 혈관의 오류 부위를 식별하는 경우보다 더 정확하게 대상 혈관의 오류 부위를 식별할 수 있다.
혈관 영상 처리 장치는 대상 혈관에서 주방향 벡터를 이용하여 오류 부위가 식별되는 경우에 응답하여, 식별된 오류 부위를 수정할 수 있다. 혈관 영상 처리 장치는 식별된 오류 부위에 대하여, 서로 인접한 분지들 중 한 분지를 나머지 분지와의 주방향 벡터의 내적 값이 임계 값 이하인 후보 분지로 교체할 수 있다. 예시적으로, 혈관 영상 처리 장치는 대상 혈관으로 추출되지 않은 혈관 분지(1203)와 상위 혈관 분지(1201) 사이의 주방향 벡터들(1223, 1221)의 내적 값이 임계 값 이하인 경우, 혈관 분지(1202) 대신 혈관 분지(1203)을 대상 혈관으로서 추출할 수 있다. 혈관 영상 처리 장치는 대상 혈관의 추출 결과에서 혈관 분지(1202)를 혈관 분지(1203)로 교체할 수 있다.
도 13은 대상 혈관의 직경 정보를 이용하여 대상 혈관의 오류를 식별하고 수정하는 방법을 도시한다.
일 실시예에 따르면 혈관 영상 처리 장치는 대상 혈관에서 서로 인접한 혈관 분지들 간의 직경(diameter) 차이를 계산하여 오인 부위를 식별하고 수정할 수 있다. 예를 들어, 혈관 영상 처리 장치는 대상 혈관에서 서로 인접한 분지들 간의 직경 차이가 임계 직경 차이 이상인 경우에 응답하여, 서로 인접한 분지들을 오인 부위로 판단할 수 있다. 혈관 영상 처리 장치는 분지 지점들을 기준으로 식별된 혈관 분지들 각각에 대하여 직경 정보를 획득할 수 있다. 예를 들어, 도 13에 도시된 혈관 분지들(1301, 1302, 1303)의 직경은 각각 r1, r2, r3에 대응할 수 있다. 예시적으로, 혈관 영상 처리 장치는 혈관 분지들(1301, 1302)을 대상 혈관으로서 1차 추출한 경우, 혈관 분지들(1301, 1302) 간의 직경 차이를 계산할 수 있다. 혈관 영상 처리 장치는 계산된 직경 차이가 임계 직경 차이 이상인 경우에 응답하여 상술한 혈관 분지들(1301, 1302) 중 적어도 한 분지를 대상 혈관에 대한 추출 결과에서 오인 부위로 판단할 수 있다. 혈관 영상에서 실제 추출해야 할 대상 혈관에 속하는 인접한 혈관 분지들 사이에서는 비교적 작은 직경의 변화를 나타내는 바, 임계 직경 차이 이상인 직경 차이를 나타내는 인접한 혈관 분지들은 오류 부위일 가능성이 있다.
혈관 영상 처리 장치는 추출된 대상 혈관에 대하여 서로 인접한 혈관 분지들 간의 직경 차이를 계산할 수 있으나, 혈관 분지들의 직경 정보를 평활화(smoothing)하여 직경 차이를 계산할 수 있다. 혈관 영상에서 실제 추출해야 할 대상 혈관에 속하는 인접한 혈관 분지들 사이에서는 비교적 작은 직경의 변화를 나타내는 것이 일반적이다. 그러나, 추출해야 할 대상 혈관이 질환이 있는 혈관 분지를 포함하는 경우, 질환이 있는 혈관 분지와 이웃한 혈관 분지 사이의 직경의 변화는 크게 나타날 수 있다. 따라서, 혈관 영상 처리 장치는 복수의 혈관 분지들을 묶어 혈관 분지들의 직경 정보를 평활화(smoothing) 하여 직경 차이를 계산함으로써 추출된 대상 혈관에서 오인 부위를 식별할 수 있다.
혈관 영상 처리 장치는 대상 혈관에서 직경 정보를 이용하여 오류 부위가 식별되는 경우에 응답하여, 식별된 오류 부위를 수정할 수 있다. 혈관 영상 처리 장치는 식별된 오인 부위에 대하여, 서로 인접한 분지들 중 한 분지를 나머지 분지와의 직경 차이가 임계 직경 차이 미만인 후보 분지로 교체할 수 있다. 예시적으로, 혈관 영상 처리 장치는 대상 혈관으로 추출되지 않은 혈관 분지(1303)와 상위 혈관 분지(1301) 사이의 직경 차이가 임계 직경 차이 미만인 경우, 혈관 분지(1302) 대신 혈관 분지(1303)를 대상 혈관으로서 추출할 수 있다. 혈관 영상 처리 장치는 대상 혈관의 추출 결과에서 혈관 분지(1302)를 혈관 분지(1303)로 교체할 수 있다. 더 나아가, 혈관 영상 처리 장치는 식별된 오류 부위를 수정하는데 있어서, 혈관의 종류(예를 들어, LM, LAD, LCX, RCA) 또는 혈관 영역에 따라 서로 다른 임계 직경 차이를 적용할 수 있다.
도 14는 대상 혈관의 밝기 정보를 이용하여 대상 혈관의 오류를 식별하고 수정하는 방법을 도시한다.
일 실시예에 따르면 혈관 영상 처리 장치는 대상 혈관에서 서로 인접한 혈관 분지들 간의 밝기(brightness) 차이를 계산하여 오인 부위를 식별하고 수정할 수 있다. 예를 들어, 혈관 영상 처리 장치는 대상 혈관에서 서로 인접한 분지들 간의 밝기 차이가 임계 밝기 차이 이상인 경우에 응답하여, 서로 인접한 분지들을 오인 부위로 판단할 수 있다. 혈관 영상 처리 장치는 분지 지점들을 기준으로 식별된 혈관 분지들 각각에 대하여 밝기 정보를 획득할 수 있다. 예를 들어, 혈관 분지들의 밝기는 혈관 영상을 획득하기 위하여 투여한 조영제의 분포 농도를 나타낼 수 있다. 예시적으로, 혈관 영상 처리 장치는 혈관 분지들(1401, 1402)을 대상 혈관으로서 1차 추출한 경우, 혈관 분지들(1401, 1402) 간의 밝기 차이를 계산할 수 있다. 혈관 영상 처리 장치는 계산된 밝기 차이가 임계 밝기 차이 이상인 경우에 응답하여 상술한 혈관 분지들(1401, 1402) 중 적어도 한 분지를 대상 혈관에 대한 추출 결과에서 오인 부위로 판단할 수 있다. 혈관 영상에서 실제 추출해야 할 대상 혈관에 속하는 인접한 혈관 분지들 사이에서는 비교적 작은 밝기의 변화를 나타내는 바, 임계 밝기 차이 이상인 밝기 차이를 나타내는 인접한 혈관 분지들은 오류 부위일 가능성이 있다.
혈관 영상 처리 장치는 대상 혈관에서 밝기 정보를 이용하여 오류 부위가 식별되는 경우에 응답하여, 식별된 오류 부위를 수정할 수 있다. 혈관 영상 처리 장치는 식별된 오인 부위에 대하여, 서로 인접한 분지들 중 한 분지를 나머지 분지와의 밝기 차이가 임계 밝기 차이 미만인 후보 분지로 교체할 수 있다. 예시적으로, 혈관 영상 처리 장치는 대상 혈관으로 추출되지 않은 혈관 분지(1403)와 상위 혈관 분지(1401) 사이의 밝기 차이가 임계 밝기 차이 미만인 경우, 혈관 분지(1402) 대신 혈관 분지(1403)를 대상 혈관으로서 추출할 수 있다. 혈관 영상 처리 장치는 대상 혈관의 추출 결과에서 혈관 분지(1402)를 혈관 분지(1403)로 교체할 수 있다. 더 나아가, 혈관 영상 처리 장치는 식별된 오류 부위를 수정하는데 있어서, 혈관의 종류(예를 들어, LM, LAD, LCX, RCA) 또는 혈관 영역에 따라 서로 다른 임계 직경 차이를 적용할 수 있다. 결국, 혈관 영상 처리 장치는 도 8 내지 도 14의 방법에 의한 1차 추출한 대상 혈관의 오류 부위를 식별하고, 식별된 오류 부위의 수정 결과를 사용자에게 제공하는 전처리 동작을 수행할 수 있다.
일 실시예에 따른 혈관 영상 처리 장치는 오류 부위가 식별되는 경우에 응답하여, 이전 추출 결과에서 적용된 모델 앙상블과 구별되는 모델 앙상블에 기초하여 대상 혈관에 대하여 새로운 추출 결과를 생성할 수 있다. 오류 부위가 식별되는 경우, 혈관 영상 처리 장치는 직접 오류 부위를 수정하지 않고, 저장된 복수의 기계 학습 모델들 중 이전 추출 결과에서 적용된 모델 앙상블과 구별되는 하나의 모델 앙상블에 기초하여 대상 혈관에 대하여 새로운 추출 결과를 생성할 수 있다.
또한, 혈관 영상 처리 장치는 저장된 복수의 기계 학습 모델들 중 이전 추출 결과에서 적용된 모델 앙상블과 구별되는 모델 앙상블들에 기초하여 복수의 모델 앙상블들의 각각에 대하여 대상 혈관에 대한 복수의 새로운 추출 결과를 생성할 수 있다. 혈관 영상 처리 장치는 모델 앙상블에 따라 생성된 대상 혈관의 추출 결과 마다 대상 혈관과 관련된 혈관 구조 데이터, 대상 혈관의 곡률 정보, 대상 혈관의 직경 정보, 및 대상 혈관의 밝기 정보 중 적어도 하나에 기초하여 오류 부위를 식별할 수 있다. 혈관 영상 처리 장치는 생성된 복수의 대상 혈관에 대한 추출 결과들 중 실제 추출해야 할 대상 혈관과 가장 가까운 하나의 추출 결과를 대상 혈관으로 자동으로 선택하여 사용자에게 제공할 수 있다. 예를 들어, 혈관 영상 처리 장치는 식별된 오류 부위가 가장 적은 대상 혈관에 대한 추출 결과를 실제 추출해야 할 대상 혈관과 가장 가까운 추출 결과로 선택할 수 있으나, 이로 한정하는 것은 아니다. 혈관 영상 처리 장치는 사용자의 선택 입력에 응답하여, 선택된 추출 결과를 대상 혈관으로 추출할 수 있다. 더 나아가, 혈관 영상 처리 장치는 복수개의 대상 혈관에 대한 추출 결과에 대한 정보를 사용자에게 제공할 수 있다. 혈관 영상 처리 장치는 사용자로부터 복수개의 대상 혈관에 대한 추출 결과들 중 하나를 입력 받아, 입력에 의해 지시되는 하나의 추출 결과를 대상 혈관으로 추출할 수 있다. 따라서, 혈관 영상 처리 장치는 상이한 기계 학습 모델을 이용한 대상 혈관의 수정 결과를 사용자에게 제공하는 전처리 과정을 거칠 수 있다.
일 실시예에 따른 혈관 영상 처리 장치는 대상 혈관의 추출 결과에서 오류 부위가 식별되는 경우에 응답하여, 후보 혈관 분지들 각각에 대한 연결성 점수(connectivity score)에 기초하여 후보 혈관 분지들 중 하나의 혈관 분지를 대상 혈관으로 추출할 수 있다. 혈관 영상 처리 장치는 대상 혈관의 추출 결과에서 오류 부위가 식별되는 경우, 오류 부위를 수정할 수 있는 후보 혈관 분지들 중 하나의 혈관 분지를 선택할 수 있다. 혈관 영상 처리 장치는 후보 혈관 분지들 각각에 대하여 연결성 점수를 산출할 수 있다. 연결성 점수는 대상 혈관의 추출 결과에서 임의의 후보 혈관 분지에 인접한 혈관 분지 및 해당 후보 혈관 분지 간의 연결성을 지시하는 점수로서, 예를 들어, 후보 혈관 분지 및 인접한 혈관 분지 간의 혈관 구조 데이터에 대한 매칭 정도, 곡률 차이, 직경 차이, 및 밝기 차이 등에 기초하여 산출될 수 있다. 연결성 점수는 후보 혈관 분지가 대상 혈관으로 포함된 경우, 수정된 대상 혈관이 실제 추출해야 할 대상 혈관과 유사한 정도에 대응할 수 있다.
예를 들어, 후보 혈관 분지가 대상 혈관으로 추출된 경우, 후보 혈관 분지와 상기 후보 혈관 분지와 이웃하여 연결된 혈관 분지들 사이에서 대상 혈관과 관련된 혈관 구조 데이터, 상기 대상 혈관의 곡률 정보, 상기 대상 혈관의 직경 정보, 및 상기 대상 혈관의 밝기 정보 중 적어도 하나에 기초하여 연결성 점수를 산출할 수 있다. 그러나 이에 한정하지 않고, 다양한 방법으로 후보 혈관 분지들 각각에 대한 연결성 점수를 산출할 수 있다. 혈관 영상 처리 장치는 연결성 점수에 기초하여 후보 혈관 분지들 중 하나의 혈관 분지를 선택할 수 있다. 예를 들어, 후보 혈관 분지들 중 연결성 점수가 가장 높은 혈관 분지로서, 오류가 가장 작다고 판단되는 혈관 분지를 선택할 수 있다. 혈관 영상 처리 장치는 선택된 혈관 분지를 대상 혈관으로 추출할 수 있다.
예시적으로, 도9에서 혈관 영상 처리 장치가 대상 혈관의 추출 결과로부터 제1 노드(N1), 제3 노드(N3), 및 제5 노드(N5)가 연결된 노드 연결 데이터(910)를 산출한 경우, 혈관 영상 처리 장치는 노드 연결 데이터(910)에서 제3 노드(N3) 및 제5 노드(N5) 간의 연결이 혈관 구조 데이터(900)에 매칭하지 않는 것으로 결정할 수 있다. 혈관 영상 처리 장치는 연결 오류에 대응하는 노드들(N3, N5) 중 적어도 한 노드에 대응하는 혈관 분지를 오류 부위로 판단할 수 있다. 혈관 영상 처리 장치는 제3 노드(N3)에 대응하는 혈관 분지를 오류로 판단한 경우, 혈관 구조 데이터에 매칭하지 않는 제3 노드(N3)를 노드 연결 데이터로부터 배제할 수 있고, 혈관 구조 데이터에 매칭하는 제2 노드(N2)를 노드 연결 데이터에 추가할 수 있다. 또한, 혈관 영상 처리 장치는 제5 노드(N5)에 대응하는 혈관 분지를 오류로 판단한 경우, 혈관 구조 데이터에 매칭하지 않는 제5 노드(N3)를 노드 연결 데이터로부터 배제할 수 있고, 혈관 구조 데이터에 매칭하는 제6 노드(N6) 또는 제7 노드(N7)를 노드 연결 데이터에 추가할 수 있다. 결국, 혈관 영상 처리 장치는 대상 혈관의 노드가 될 수 있는 제2 노드, 제6노드, 제7노드에 대응하는 후보 혈관 분지들 각각에 대한 연결성 점수를 산출할 수 있다. 혈관 영상 처리 장치는 후보 혈관 분지들 각각에 대한 연결성 점수에 기초하여, 오류가 가장 작다고 판단되는 혈관 분지를 선택하여 대상 혈관으로 추출할 수 있다.
또 다른 예시로, 도 12에서 혈관 영상 처리 장치가 혈관 분지들(1201, 1202)을 대상 혈관으로서 1차 추출한 경우, 혈관 분지들(1201, 1202) 간의 곡률이 임계 곡률을 초과하여 오류 부위로 판단할 수 있다. 혈관 영상 처리 장치는 서로 인접한 분지들 중 한 분지를 나머지 분지와의 곡률이 임계 곡률 이하인 후보 분지로 교체할 수 있다. 도 12에 도시된 바와 달리, 후보 혈관 분지가 복수개인 경우, 혈관 영상 처리 장치는 후보 혈관 분지들 각각에 대하여 연결성 점수를 산출할 수 있다. 혈관 영상 처리 장치는 후보 혈관 분지들 각각에 대한 연결성 점수에 기초하여, 오류가 가장 작다고 판단되는 혈관 분지를 선택하여 대상 혈관으로 추출할 수 있다. 도 13, 및 도 14에서도 혈관 영상 처리 장치는 상술한 바와 동일한 방법으로 후보 혈관 분지들 중 하나를 대상 혈관으로 선택하여 추출할 수 있다.
도 15는 일실시예에 따른 혈관 영상 처리 장치를 대략적으로 도시한 블록도이다.
일실시예에 따른 혈관 영상을 처리하는 시스템(1500)은 혈관 영상 처리 장치(1510) 및 혈관 영상 촬영 장치(1520)를 포함할 수 있다. 혈관 영상 처리 장치(1510)는 영상 수신부(1511), 프로세서(1512), 및 입출력 인터페이스(1513)를 포함할 수 있다.
영상 수신부(1511)는 혈관 영상 촬영 장치(1520)에 의해 촬영된 혈관 영상을 수신할 수 있다. 영상 수신부(1511)는 유무선 데이터 통신을 통해 혈관 영상 촬영 장치(1520)로부터 혈관 영상을 수신할 수 있다. 다만, 이로 한정하는 것은 아니고, 영상 수신부(1511)에 혈관 영상 촬영 장치(1520)가 통합되어 구성될 수도 있다.
프로세서(1512)는 기계 학습 모델을 이용하여 영상 수신부로부터 수신한 혈관 영상으로부터 대상 혈관을 추출하고, 사용자로부터 수신되는 제1 입력에 기초하여 대상 혈관의 추출 결과에 대한 관심 영역을 결정하고, 결정된 관심 영역 내에서 사용자로부터 수신되는 제2 입력에 기초하여 추출 결과의 오류 부위를 식별하고, 식별된 오류 부위를 수정할 수 있다. 프로세서(1512)의 동작을 이로 한정하는 것은 아니고, 프로세서(1512)는 도 1 내지 도 14에서 상술한 동작들을 수행할 수 있다.
입출력 인터페이스(1513)는 사용자로부터 입력을 수신하여 프로세서에 전달할 수 있다. 예를 들어, 입출력 인터페이스(1513)는 마우스 조작, 및 터치 조작 등에 따른 입력을 수신할 수 있다. 또한, 입출력 인터페이스(1513)는 시각적 피드백을 사용자에게 제공할 수 있다. 예를 들어, 입출력 인터페이스(1513)는 대상 혈관의 추출 결과를 단계별로 디스플레이를 통해 출력할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
Claims (12)
- 프로세서에 의해 수행되는 혈관 영상 처리 방법에 있어서,
혈관 영상으로부터 대상 혈관을 추출하는 단계;
사용자로부터 수신되는 제1 입력에 기초하여 상기 대상 혈관의 추출 결과에 대한 관심 영역(Region of Interest, ROI)을 결정하는 단계; 및
상기 관심 영역의 결정에 응답하여, 상기 대상 혈관의 추출 결과로부터 제1 오류 부위를 식별하고 상기 제1 오류 부위의 수정 결과를 사용자에게 제공하는 단계; 및
상기 제1 오류 부위가 수정된 관심 영역 내에서 상기 사용자로부터 수신되는 제2 입력에 기초하여 상기 추출 결과의 제2 오류 부위(error portion)를 식별(identify)하고 상기 식별된 제2 오류 부위를 수정하는 단계
를 포함하는 혈관 영상 처리 방법. - 제1항에 있어서,
상기 관심 영역을 결정하는 단계는,
상기 제1 입력이 검출되는 지점들에 기초하여 상기 관심 영역의 형태를 결정하는 단계
를 포함하는 혈관 영상 처리 방법. - 제1항에 있어서,
상기 제2 오류 부위를 수정하는 단계는,
상기 제2 입력이 상기 관심 영역 내 복수의 지점들에서 검출되는 경우에 응답하여, 상기 제2 입력의 상기 복수의 지점들에 기초하여 오류 부위를 수정하는 단계
를 포함하는 혈관 영상 처리 방법. - 제3항에 있어서,
상기 복수의 지점들에 기초하여 오류 부위를 수정하는 단계는,
상기 제2 입력에 대응하는 지점이 상기 대상 혈관으로 추출된 영역을 따라 이동하는 동안, 상기 제2 입력이 통과한 지점들에서 단절 부위가 존재하는지 검출하는 단계; 및
상기 단절 부위가 검출되는 경우에 응답하여, 상기 제2 입력의 이동 궤적(movement trajectory)을 따라 단절된 부위들을 연결하는 단계
를 포함하는 혈관 영상 처리 방법. - 제3항에 있어서,
상기 복수의 지점들에 기초하여 오류 부위를 수정하는 단계는,
상기 제2 입력에 대응하는 지점이 상기 대상 혈관으로 추출된 영역 내의 분지 지점으로부터 상기 대상 혈관을 벗어난 영역으로 이동하는 경우에 응답하여, 상기 분지 지점과 연결된 혈관 분지들 중 상기 제2 입력의 이동 궤적에 대응하는 영역의 바깥에 위치되는 혈관 분지를 오인 부위로 결정하는 단계; 및
상기 대상 혈관을 벗어난 상기 제2 입력에 의해 지시되는 혈관 분지로 교체하고, 상기 교체된 혈관 분지에 기초하여 나머지 추출 결과를 수정하는 단계
를 포함하는 혈관 영상 처리 방법. - 삭제
- 제1항에 있어서,
상기 제1 오류 부위를 수정하는 단계는,
상기 제1 오류 부위가 오인 부위인 경우에 응답하여, 하나 이상의 후보 분지를 사용자에게 제공하는 단계; 및
상기 사용자로부터 상기 하나 이상의 후보 분지 중 한 분지에 대한 포인팅 입력을 수신하는 경우에 응답하여, 상기 제1 오류 부위에 대응하는 분지를 선택된 분지로 교체하는 단계
를 더 포함하는 혈관 영상 처리 방법. - 제1항에 있어서,
상기 제1 오류 부위를 수정하는 단계는,
상기 수정 결과에 대하여 복수의 지점들에서 사용자 입력이 검출되는 경우에 응답하여, 상기 사용자 입력의 시작 지점에 대응하는 혈관 분지에 대응하는 영역 및 상기 사용자 입력의 종료 지점에 대응하는 혈관 분지에 대응하는 영역을 연결하는 단계
를 포함하는 혈관 영상 처리 방법. - 제1항에 있어서,
상기 제1 오류 부위를 수정하는 단계는,
상기 관심 영역이 결정되는 경우에 응답하여, 상기 대상 혈관과 관련된 혈관 구조 데이터, 상기 대상 혈관의 곡률 정보, 상기 대상 혈관의 직경 정보, 및 상기 대상 혈관의 밝기 정보 중 적어도 하나에 기초하여 상기 제1 오류 부위를 식별하는 단계
를 포함하는 혈관 영상 처리 방법. - 제1항에 있어서,
상기 제1 오류 부위를 수정하는 단계는,
상기 제1 오류 부위가 식별되는 경우에 응답하여, 상기 대상 혈관과 관련된 혈관 구조 데이터, 상기 대상 혈관의 곡률 정보, 상기 대상 혈관의 직경 정보, 및 상기 대상 혈관의 밝기 정보 중 적어도 하나에 기초하여 상기 제1 오류 부위를 수정한 수정 결과를 사용자에게 제공하는 단계
를 포함하는 혈관 영상 처리 방법. - 제1항에 있어서,
상기 제1 오류 부위를 수정하는 단계는,
상기 제1 오류 부위가 식별된 경우에 응답하여, 상기 대상 혈관에 대한 복수의 새로운 추출 결과들을 생성하는 단계; 및
사용자의 선택 입력에 응답하여, 상기 복수의 새로운 추출 결과들 중 상기 선택 입력에 의해 지시되는 하나의 추출 결과를 선택하는 단계
를 포함하는 혈관 영상 처리 방법. - 혈관 영상 처리 장치에 있어서,
혈관 영상을 수신하는 영상 수신부; 및
상기 혈관 영상으로부터 대상 혈관을 추출하고, 사용자로부터 수신되는 제1 입력에 기초하여 상기 대상 혈관의 추출 결과에 대한 관심 영역(Region of Interest, ROI)를 결정하며, 상기 관심 영역의 결정에 응답하여, 상기 대상 혈관의 추출 결과로부터 제1 오류 부위를 식별하고 상기 제1 오류 부위의 수정 결과를 사용자에게 제공하며, 상기 제1 오류 부위가 수정된 관심 영역 내에서 상기 사용자로부터 수신되는 제2 입력에 기초하여 상기 추출 결과의 제2 오류 부위(error portion)를 식별(identify)하고 상기 식별된 제2 오류 부위를 수정하는 프로세서
를 포함하는 혈관 영상 처리 장치.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200066266A KR102399510B1 (ko) | 2020-06-02 | 2020-06-02 | 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치 |
US17/924,679 US11741574B2 (en) | 2020-06-02 | 2021-04-28 | Method and device for processing blood vessel image on basis of user input |
PCT/KR2021/005374 WO2021246648A1 (ko) | 2020-06-02 | 2021-04-28 | 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치 |
EP21817423.3A EP4159130A4 (en) | 2020-06-02 | 2021-04-28 | METHOD AND DEVICE FOR PROCESSING BLOOD VESSEL IMAGE BASED ON USER INPUT |
JP2022562149A JP7427294B2 (ja) | 2020-06-02 | 2021-04-28 | ユーザ入力に基づいて血管映像を処理する方法及び装置 |
US18/220,809 US20230351550A1 (en) | 2020-06-02 | 2023-07-11 | Method and device for processing blood vessel image on basis of user input |
JP2024005155A JP2024059614A (ja) | 2020-06-02 | 2024-01-17 | ユーザ入力に基づいて血管映像を処理する方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200066266A KR102399510B1 (ko) | 2020-06-02 | 2020-06-02 | 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210149349A KR20210149349A (ko) | 2021-12-09 |
KR102399510B1 true KR102399510B1 (ko) | 2022-05-19 |
Family
ID=78831503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200066266A KR102399510B1 (ko) | 2020-06-02 | 2020-06-02 | 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11741574B2 (ko) |
EP (1) | EP4159130A4 (ko) |
JP (2) | JP7427294B2 (ko) |
KR (1) | KR102399510B1 (ko) |
WO (1) | WO2021246648A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11741574B2 (en) | 2020-06-02 | 2023-08-29 | Medipixel, Inc. | Method and device for processing blood vessel image on basis of user input |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12039685B2 (en) | 2019-09-23 | 2024-07-16 | Cathworks Ltd. | Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101094838B1 (ko) * | 2010-09-17 | 2011-12-16 | 주식회사 인피니트헬스케어 | 혈관 계통도 상의 관심영역 표시단말기 및 표시방법 |
US20160328855A1 (en) * | 2015-05-04 | 2016-11-10 | Siemens Aktiengesellschaft | Method and System for Whole Body Bone Removal and Vascular Visualization in Medical Image Data |
CN108205807A (zh) * | 2017-12-29 | 2018-06-26 | 四川和生视界医药技术开发有限公司 | 视网膜血管图像编辑方法及视网膜血管图像编辑装置 |
US20200037973A1 (en) * | 2016-05-16 | 2020-02-06 | Cathworks Ltd. | Vascular selection from images |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4421203B2 (ja) | 2003-03-20 | 2010-02-24 | 株式会社東芝 | 管腔状構造体の解析処理装置 |
EP1877980A2 (en) | 2004-12-22 | 2008-01-16 | Bio-Tree Systems, Inc. | Medical imaging methods and apparatus for diagnosis and monitoring of diseases and uses therefor |
CN101551862B (zh) | 2009-05-13 | 2011-06-01 | 西安电子科技大学 | 基于边界距离场的血管中心路径提取方法 |
JP5539778B2 (ja) | 2010-03-31 | 2014-07-02 | 富士フイルム株式会社 | 血管表示制御装置、その作動方法およびプログラム |
US8625021B2 (en) | 2010-08-30 | 2014-01-07 | Canon Kabushiki Kaisha | Image capture with region-based adjustment of imaging properties |
CA2850476A1 (en) | 2011-08-26 | 2013-03-07 | EBM Corporation | Bloodstream simulation system for simulating blood vessel treatment effect, method therefor, and computer software program |
JP5748636B2 (ja) | 2011-10-26 | 2015-07-15 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
US9814433B2 (en) | 2012-10-24 | 2017-11-14 | Cathworks Ltd. | Creating a vascular tree model |
JP6238539B2 (ja) | 2013-03-21 | 2017-11-29 | キヤノン株式会社 | 処理装置、被検体情報取得装置、および、処理方法 |
US9471989B2 (en) | 2013-06-03 | 2016-10-18 | University Of Florida Research Foundation, Inc. | Vascular anatomy modeling derived from 3-dimensional medical image processing |
US9043190B2 (en) | 2013-08-16 | 2015-05-26 | Heartflow, Inc. | Systems and methods for identifying personalized vascular implants from patient-specific anatomic data |
JP6271458B2 (ja) | 2015-02-25 | 2018-01-31 | 富士フイルム株式会社 | 画像処理装置、方法、及びプログラム |
KR20160143178A (ko) | 2015-06-04 | 2016-12-14 | 삼성전자주식회사 | 의료 영상 처리 장치 및 의료 영상 처리 방법 |
US11278256B2 (en) | 2016-03-04 | 2022-03-22 | 4DMedical Limited | Method and system for imaging |
US10115039B2 (en) | 2016-03-10 | 2018-10-30 | Siemens Healthcare Gmbh | Method and system for machine learning based classification of vascular branches |
KR101937018B1 (ko) | 2016-03-24 | 2019-01-09 | 울산대학교 산학협력단 | 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 |
DE102017200489A1 (de) | 2017-01-13 | 2018-07-19 | Siemens Healthcare Gmbh | Verfahren zur Reduzierung von aufgrund von Gefäßüberlagerungen auftretenden Artefakten in einem vierdimensionalen Angiographiedatensatz, Bildverarbeitungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger |
JP7160659B2 (ja) | 2018-01-11 | 2022-10-25 | キヤノンメディカルシステムズ株式会社 | 医用情報処理装置、医用情報処理システム及び医用情報処理方法 |
KR102242114B1 (ko) | 2018-06-15 | 2021-04-20 | 계명대학교 산학협력단 | Oct 의료 영상 기반 인공지능 컴퓨터 보조 진단 시스템 및 그 방법 |
KR102399510B1 (ko) | 2020-06-02 | 2022-05-19 | 주식회사 메디픽셀 | 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치 |
-
2020
- 2020-06-02 KR KR1020200066266A patent/KR102399510B1/ko active IP Right Grant
-
2021
- 2021-04-28 EP EP21817423.3A patent/EP4159130A4/en active Pending
- 2021-04-28 WO PCT/KR2021/005374 patent/WO2021246648A1/ko unknown
- 2021-04-28 US US17/924,679 patent/US11741574B2/en active Active
- 2021-04-28 JP JP2022562149A patent/JP7427294B2/ja active Active
-
2023
- 2023-07-11 US US18/220,809 patent/US20230351550A1/en active Pending
-
2024
- 2024-01-17 JP JP2024005155A patent/JP2024059614A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101094838B1 (ko) * | 2010-09-17 | 2011-12-16 | 주식회사 인피니트헬스케어 | 혈관 계통도 상의 관심영역 표시단말기 및 표시방법 |
US20160328855A1 (en) * | 2015-05-04 | 2016-11-10 | Siemens Aktiengesellschaft | Method and System for Whole Body Bone Removal and Vascular Visualization in Medical Image Data |
US20200037973A1 (en) * | 2016-05-16 | 2020-02-06 | Cathworks Ltd. | Vascular selection from images |
CN108205807A (zh) * | 2017-12-29 | 2018-06-26 | 四川和生视界医药技术开发有限公司 | 视网膜血管图像编辑方法及视网膜血管图像编辑装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11741574B2 (en) | 2020-06-02 | 2023-08-29 | Medipixel, Inc. | Method and device for processing blood vessel image on basis of user input |
Also Published As
Publication number | Publication date |
---|---|
US11741574B2 (en) | 2023-08-29 |
WO2021246648A1 (ko) | 2021-12-09 |
EP4159130A1 (en) | 2023-04-05 |
US20230351550A1 (en) | 2023-11-02 |
JP7427294B2 (ja) | 2024-02-05 |
JP2024059614A (ja) | 2024-05-01 |
JP2023521188A (ja) | 2023-05-23 |
KR20210149349A (ko) | 2021-12-09 |
US20230186433A1 (en) | 2023-06-15 |
EP4159130A4 (en) | 2024-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102562317B1 (ko) | 자동으로 혈관 영상을 처리하는 방법 및 장치 | |
US8842894B2 (en) | Tree structure extraction apparatus, method and program | |
US10115039B2 (en) | Method and system for machine learning based classification of vascular branches | |
US9471989B2 (en) | Vascular anatomy modeling derived from 3-dimensional medical image processing | |
US8036440B2 (en) | System and method for computer aided detection of pulmonary embolism in tobogganing in CT angiography | |
US8761473B2 (en) | Tree structure creation apparatus, method and program | |
US20230351550A1 (en) | Method and device for processing blood vessel image on basis of user input | |
Lau et al. | Simultaneously identifying all true vessels from segmented retinal images | |
JP5263995B2 (ja) | ネットワーク構築装置および方法ならびにプログラム | |
CN111696089A (zh) | 一种动静脉确定方法、装置、设备和存储介质 | |
KR102521660B1 (ko) | 복수의 예측 결과를 활용한 혈관 영상 추출 방법 및 장치 | |
KR102119057B1 (ko) | 골절 진단모델의 학습 방법 및 장치 | |
WO2018029237A1 (en) | Method for automatically detecting systemic arteries in arbitrary field-of-view computed tomography angiography (cta). | |
CN111178420B (zh) | 一种二维造影图像上冠脉段标注方法及*** | |
CN111507981B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
KR102425857B1 (ko) | 혈관 분할에 기초하여 혈관 영상을 처리하는 방법 및 장치 | |
KR102542972B1 (ko) | 3차원 혈관 구조를 생성하는 방법 및 장치 | |
Park et al. | Accurate extraction of coronary vascular structures in 2D X-ray angiogram using vascular topology information in 3D computed tomography angiography | |
Qureshi et al. | A probabilistic model for the optimal configuration of retinal junctions using theoretically proven features | |
Shim et al. | Object-oriented approach to the automatic segmentation of bones from pediatric hand radiographs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |