KR102257295B1 - Diagnostic system for diagnosing vulnerable atheromatous plaque through ultrasound image-based machine learning and the diagnostic method thereof - Google Patents

Diagnostic system for diagnosing vulnerable atheromatous plaque through ultrasound image-based machine learning and the diagnostic method thereof Download PDF

Info

Publication number
KR102257295B1
KR102257295B1 KR1020190095170A KR20190095170A KR102257295B1 KR 102257295 B1 KR102257295 B1 KR 102257295B1 KR 1020190095170 A KR1020190095170 A KR 1020190095170A KR 20190095170 A KR20190095170 A KR 20190095170A KR 102257295 B1 KR102257295 B1 KR 102257295B1
Authority
KR
South Korea
Prior art keywords
region
image
interest
ivus
risk
Prior art date
Application number
KR1020190095170A
Other languages
Korean (ko)
Other versions
KR20210016863A (en
Inventor
강수진
이준구
배영오
Original Assignee
재단법인 아산사회복지재단
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단, 울산대학교 산학협력단 filed Critical 재단법인 아산사회복지재단
Priority to KR1020190095170A priority Critical patent/KR102257295B1/en
Publication of KR20210016863A publication Critical patent/KR20210016863A/en
Application granted granted Critical
Publication of KR102257295B1 publication Critical patent/KR102257295B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 관상동맥에 대한 초음파 영상을 기초로 기계 학습 알고리즘을 통해 취약성 죽상반을 예측하고, 고위험 병변 여부를 진단하는 진단 시스템 및 이의 진단 방법에 관한 것이다. 관상동맥의 고위험 병변을 진단하는 딥러닝 기반 진단 방법은, 환자의 관상동맥 병변에 대한 IVUS 영상을 획득하는 영상획득 단계, IVUS 영상에 포함된 혈관 내강 분리를 수행하고 IVUS 영상에 포함된 관심영역을 설정하는 관심영역 설정 단계, 관심영역에 대하여 두께를 기준으로 적어도 하나의 세부 영역으로 구분하는 단계, 적어도 하나의 세부 영역을 기초로 IVUS 영상에 대한 계산적 특징을 추출하는 특징추출 단계 및 계산적 특징을 인공지능 모델에 입력하여 IVUS 영상이 취약성 죽상반을 포함하는 영상인지를 판단하고, 취약성 죽상반을 포함하는 것으로 판단되면 고위험 병변을 포함하는 것으로 판단하는 고위험 병변 판단 단계를 포함한다.The present invention relates to a diagnostic system for predicting vulnerable atherosclerosis through a machine learning algorithm based on an ultrasound image of a coronary artery, and diagnosing a high-risk lesion, and a method for diagnosing the same. The deep learning-based diagnosis method for diagnosing high-risk lesions of the coronary artery includes an image acquisition step of acquiring an IVUS image of a patient's coronary artery lesion, separation of the vascular lumen included in the IVUS image, and the region of interest included in the IVUS image. The step of setting the region of interest to be set, the step of dividing the region of interest into at least one detailed region based on the thickness, the feature extraction step of extracting a computational feature for the IVUS image based on the at least one detail region, and the computational feature A high-risk lesion determination step of determining whether the IVUS image is an image including a vulnerable atherosclerosis by inputting it into the intelligent model, and determining that it includes a high-risk lesion if it is determined to include a vulnerable atherosclerosis.

Description

초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법{Diagnostic system for diagnosing vulnerable atheromatous plaque through ultrasound image-based machine learning and the diagnostic method thereof}Diagnostic system for diagnosing vulnerable atheromatous plaque through ultrasound image-based machine learning and the diagnostic method thereof

본 발명은 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.The present invention relates to an artificial intelligence (AI) system that simulates functions such as cognition and judgment of a human brain using a machine learning algorithm, and its application.

구체적으로, 본 발명은 관상동맥에 대한 초음파 영상을 기초로 기계 학습 알고리즘을 통해 취약성 죽상반을 예측하고, 고위험 병변 여부를 진단하는 진단 시스템 및 이의 진단 방법에 관한 것이다.Specifically, the present invention relates to a diagnostic system for predicting fragile atherosclerosis through a machine learning algorithm based on an ultrasound image of a coronary artery, and diagnosing a high-risk lesion, and a method for diagnosing the same.

근래에는 인간 수준의 지능을 구현하는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다. 인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.In recent years, artificial intelligence systems that implement human-level intelligence are being used in various fields. Unlike existing rule-based smart systems, artificial intelligence systems are systems where machines learn, judge, and become smarter. As the artificial intelligence system is used, the recognition rate improves and the user's taste can be understood more accurately, and the existing rule-based smart system is gradually being replaced by a deep learning-based artificial intelligence system. Artificial intelligence technology consists of machine learning (for example, deep learning) and component technologies using machine learning.

한편, 관내 초음파(intravascular ultrasound, IVUS)는 관상동맥 병변의 형태학적 특성을 파악하고 동맥경화를 관찰하며 시술 스텐트 적정화를 달성하기 위한 임상검사법이다. 다만, 종래의 IVUS는 죽상반의 조직 성분 및 파열되기 쉬운 취약성 죽상반을 진단하기 어렵다는 한계가 있어왔다. On the other hand, intravascular ultrasound (IVUS) is a clinical examination method for grasping the morphological characteristics of coronary artery lesions, observing atherosclerosis, and achieving stent optimization. However, conventional IVUS has a limitation in that it is difficult to diagnose the tissue components of the atherosclerosis and the vulnerable atherosclerosis that is liable to rupture.

종래에는 취약성 죽상반을 검사하기 위해 OCT(Optical Coherence Tomography)를 추가로 시행하는 등 시간 및 비용의 중복 소요가 있어 왔다는 점에서 이에 대한 해결책의 필요성이 대두된다.In the past, there has been a need for a solution to this in that there has been an overlap of time and cost, such as additionally performing OCT (Optical Coherence Tomography) to examine the vulnerable atherosclerosis.

본 발명은 상술한 필요성에 따른 것으로, 혈관 내 초음파 영상(IVUS)을 기초로 기계학습 모델을 통해 취약성 죽상반을 예측하고, 고위험 병변을 진단하는 시스템 및 방법을 제공하는 것을 목적으로 한다.The present invention is in accordance with the above-described necessity, and an object of the present invention is to provide a system and method for predicting vulnerable atherosclerosis and diagnosing high-risk lesions through a machine learning model based on intravascular ultrasound images (IVUS).

그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.However, these problems are exemplary, and the scope of the present invention is not limited thereby.

본 발명의 일 실시예에 따른 관상동맥의 고위험 병변을 진단하는 딥러닝 기반 진단 방법은 환자의 관상동맥 병변에 대한 IVUS 영상을 획득하는 영상획득 단계; 상기 IVUS 영상에 포함된 혈관 내강 분리를 수행하고 상기 IVUS 영상에 포함된 관심영역을 설정하는 관심영역 설정 단계; 상기 관심영역에 대하여 두께를 기준으로 적어도 하나의 세부 영역으로 구분하는 세부영역 구분 단계; 상기 적어도 하나의 세부 영역을 기초로 상기 IVUS 영상에 대한 계산적 특징을 추출하는 특징추출 단계; 및 상기 계산적 특징을 인공지능 모델에 입력하여 상기 IVUS 영상이 취약성 죽상반을 포함하는 영상인지를 판단하고, 상기 취약성 죽상반을 포함하는 것으로 판단되면 고위험 병변을 포함하는 것으로 판단하는 고위험 병변 판단 단계;를 포함한다. A deep learning-based diagnosis method for diagnosing a high-risk lesion of a coronary artery according to an embodiment of the present invention includes an image acquisition step of obtaining an IVUS image of a patient's coronary artery lesion; A region-of-interest setting step of separating a blood vessel lumen included in the IVUS image and setting a region-of-interest included in the IVUS image; A sub-region division step of dividing the region of interest into at least one sub-region based on a thickness; A feature extraction step of extracting a computational feature for the IVUS image based on the at least one detailed region; And determining whether the IVUS image is an image including a fragile atherosclerosis by inputting the computational feature into an artificial intelligence model, and determining a high-risk lesion as including a high-risk lesion when it is determined that the fragile atherosclerosis is included. Includes.

또한, 상기 관심영역은 상기 혈관 내강 경계와 외부 탄성막(EEM) 사이에 대응하는 플라크(plaque)를 포함하는 영역이고, 상기 적어도 하나의 세부 영역은 상기 관심영역 내에서 상기 혈관 내강 경계와 상기 외부 탄성막 사이의 두께를 기설정된 두께만큼 각각 구분되는 것일 수 있다. In addition, the region of interest is a region including a plaque corresponding between the vascular lumen boundary and the outer elastic membrane (EEM), and the at least one subregion is within the vascular lumen boundary and the outer elastic membrane (EEM). The thickness between the elastic layers may be divided by a predetermined thickness.

또한, 상기 특징추출 단계는 상기 적어도 하나의 세부 영역 각각의 비율을 기초로 상기 계산적 특징을 추출하는 것일 수 있다.In addition, the feature extraction step may be to extract the computational feature based on a ratio of each of the at least one sub-region.

또한, 상기 인공지능 모델은 복수의 IVUS 영상 및 상기 복수의 IVUS 영상 각각에 대응하는 OCT 영상을 정합한 데이터를 학습 데이터로 훈련된 것을 특징으로 하는 것일 수 있다.In addition, the artificial intelligence model may be characterized in that data obtained by matching a plurality of IVUS images and OCT images corresponding to each of the plurality of IVUS images are trained as training data.

한편, 본 발명의 일 실시예에 따른 기록매체는 고위험 병변 진단 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체일 수 있다.Meanwhile, the recording medium according to an embodiment of the present invention may be a computer-readable recording medium in which a program for executing a method for diagnosing a high-risk lesion is recorded.

한편, 관상동맥의 고위험 병변을 진단하는 딥러닝 기반 진단 장치는 환자의 관상동맥 병변에 대한 IVUS 영상을 획득하는 영상획득부; 상기 IVUS 영상에 포함된 혈관 내강 분리를 수행하고 상기 IVUS 영상에 포함된 관심영역을 설정하는 관심영역 설정부; 상기 관심영역에 대하여 두께를 기준으로 적어도 하나의 세부 영역으로 구분하는 세부영역 구분부; 상기 적어도 하나의 세부 영역을 기초로 상기 IVUS 영상에 대한 계산적 특징을 추출하는 특징추출부; 및 상기 계산적 특징을 인공지능 모델에 입력하여 상기 IVUS 영상이 취약성 죽상반을 포함하는 영상인지를 판단하고, 상기 취약성 죽상반을 포함하는 것으로 판단되면 고위험 병변을 포함하는 것으로 판단하는 고위험 병변 판단부;를 포함하는 딥러닝 기반 진단 장치일 수 있다. On the other hand, a deep learning-based diagnostic apparatus for diagnosing a high-risk lesion of a coronary artery includes an image acquisition unit that acquires an IVUS image of a patient's coronary lesion; A region-of-interest setting unit for separating a blood vessel lumen included in the IVUS image and setting a region of interest included in the IVUS image; A subregion dividing unit for dividing the region of interest into at least one subregion based on a thickness; A feature extractor for extracting a computational feature for the IVUS image based on the at least one detailed region; And a high-risk lesion determination unit that inputs the computational feature into an artificial intelligence model to determine whether the IVUS image is an image including a vulnerable atherosclerosis, and determines that it includes a high-risk lesion when it is determined to include the vulnerable atherosclerosis. It may be a deep learning-based diagnostic device including.

한편, 본 발명의 일 실시예에 따른 기록매체는 허혈 병변 진단 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체일 수 있다.Meanwhile, the recording medium according to an embodiment of the present invention may be a computer-readable recording medium in which a program for executing a method for diagnosing ischemic lesions is recorded.

전술한 것 외의 다른 측면, 특징, 이점은 이하의 발명을 실시하기 위한 구체적인 내용, 청구범위 및 도면으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the detailed contents, claims, and drawings for carrying out the following invention.

상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 본 발명의 시스템은 81%에 달하는 높은 정확도로 취약성 죽상반의 존재를 예측할 수 있다. According to an embodiment of the present invention made as described above, the system of the present invention can predict the presence of fragile atherosclerosis with a high accuracy of up to 81%.

또한, 본 발명에 따르면 인공지능을 이용하여 신속하고 정확히 취약성 죽상반을 예측할 수 있고, 고위험 병변 여부를 판단할 수 있다.In addition, according to the present invention, it is possible to quickly and accurately predict vulnerable atherosclerosis by using artificial intelligence, and to determine whether or not a high-risk lesion.

이에 따라 고가의 검사 수행을 방지한다는 점에서 진료의 질을 높이고, 시간 및 비용적 낭비를 절감할 수 있다. Accordingly, it is possible to improve the quality of treatment and save time and cost in terms of preventing expensive examinations from being performed.

물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.Of course, the scope of the present invention is not limited by these effects.

도 1은 본 발명의 일 실시예예 따른 고위험 병변 진단 시스템을 도시한 시스템도이다.
도 2는 본 발명의 일 실시예에 따른 고위험 병변 진단 장치(100)의 구성요소를 설명하기 위한 간단한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 프로세서의 구성요소를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 고위험 병변 진단 방법을 설명하기 위한 간단한 흐름도이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 고위험 병변 진단 장치가 관심영역을 설정하고, 세부영역으로 구분하는 것을 설명하기 위한 도면이다.
도 6은 본 발명의 다양한 실시예에 따른 학습부 및 인식부를 나타내는 블록도이다.1 is a system diagram showing a system for diagnosing a high-risk lesion according to an embodiment of the present invention.
2 is a simple block diagram for explaining the components of the high-risk lesion diagnosis apparatus 100 according to an embodiment of the present invention.
3 is a block diagram illustrating components of a processor according to an embodiment of the present invention.
4 is a simple flowchart illustrating a method for diagnosing a high-risk lesion according to an embodiment of the present invention.
5A to 5C are diagrams for explaining how an apparatus for diagnosing a high-risk lesion according to an embodiment of the present invention sets a region of interest and divides it into detailed regions.
6 is a block diagram illustrating a learning unit and a recognition unit according to various embodiments of the present disclosure.

이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 개시의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나 이는 본 개시의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.Hereinafter, various embodiments of the present disclosure will be described in connection with the accompanying drawings. Various embodiments of the present disclosure may be subjected to various changes and may have various embodiments, and specific embodiments are illustrated in the drawings and related detailed descriptions are described. However, this is not intended to limit the various embodiments of the present disclosure to specific embodiments, and it should be understood that all changes and/or equivalents or substitutes included in the spirit and scope of the various embodiments of the present disclosure are included. In connection with the description of the drawings, similar reference numerals have been used for similar elements.

본 개시의 다양한 실시예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Expressions such as "include" or "may include" that may be used in various embodiments of the present disclosure indicate the existence of a corresponding function, operation, or component that is disclosed, and an additional one or more functions, operations, or It does not limit the components, etc. In addition, in various embodiments of the present disclosure, terms such as "include" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, It is to be understood that it does not preclude the possibility of the presence or addition of one or more other features or numbers, steps, actions, components, parts, or combinations thereof.

본 개시의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.In various embodiments of the present disclosure, expressions such as "or" include any and all combinations of words listed together. For example, "A or B" may include A, may include B, or may include both A and B.

본 개시의 다양한 실시예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다..Expressions such as "first", "second", "first", or "second" used in various embodiments of the present disclosure may modify various elements of various embodiments, but do not limit the corresponding elements. Does not. For example, the expressions do not limit the order and/or importance of corresponding elements. The above expressions can be used to distinguish one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, the component is directly connected to or may be connected to the other component, but the component and It should be understood that new other components may exist between the other components. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it will be understood that no new other component exists between the component and the other component. Should be able to.

본 개시의 실시예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.In the embodiments of the present disclosure, terms such as "module", "unit", "part" are terms used to refer to components that perform at least one function or operation, and these components are hardware or software. It may be implemented or may be implemented as a combination of hardware and software. In addition, a plurality of "modules", "units", "parts", etc., are integrated into at least one module or chip, and at least one processor, except when each needs to be implemented as individual specific hardware. Can be implemented as

본 개시의 다양한 실시예에서 사용한 용어는 단지 특정일 실시예를 설명하기 위해 사용된 것으로, 본 개시의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The terms used in various embodiments of the present disclosure are only used to describe a specific embodiment, and are not intended to limit the various embodiments of the present disclosure. Singular expressions include plural expressions unless the context clearly indicates otherwise.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless otherwise defined, all terms including technical or scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which various embodiments of the present disclosure belong.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 개시의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and ideal or excessively formal unless explicitly defined in various embodiments of the present disclosure. It is not interpreted in meaning.

이하에서, 첨부된 도면을 이용하여 본 발명의 다양한 실시예들에 대하여 구체적으로 설명한다. Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예예 따른 고위험 병변 진단 시스템을 도시한 시스템도이다. 1 is a system diagram showing a system for diagnosing a high-risk lesion according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 허혈 병변 진단 시스템(10)은 고위험 병변 진단 장치(100) 및 서버(200)를 포함할 수 있다.Referring to FIG. 1, an ischemic lesion diagnosis system 10 of the present invention may include a high risk lesion diagnosis apparatus 100 and a server 200.

고위험 병변 진단 장치(100)는 환자의 관상동맥에 발생한 허혈 병변을 예측 및 진단하기 위한 장치이다. The apparatus 100 for diagnosing high-risk lesions is a device for predicting and diagnosing an ischemic lesion occurring in a patient's coronary artery.

취약성 죽상반(예를 들어, TCFA; Thin-Cap Fibroatheroma)과 같은 고위험 병변은 FFR(Fractional Flow Reserve)과 같은 기능성 여부와 관련 없이 발생할 수 있다. 즉, 외관상 및 기능상 협착이 있다고 하더라도 취약성 죽상반으로 판단되지 않을 수 있다. High-risk lesions such as fragile atherosclerosis (eg, Thin-Cap Fibroatheroma (TCFA)) can occur regardless of whether they are functional or functional, such as a Fractional Flow Reserve (FFR). That is, even if there is a stricture in appearance and function, it may not be judged as a vulnerable plaque.

취약성 죽상반인 TCFA(Thin-cap fibroatheroma)는 큰 괴사 핵(necrotic core), 얇은 섬유질 덮개 및 희귀한 평활근 세포의 침윤(infiltration of rare smooth muscle cells) 및 수많은 대식세포를 특징으로 한다. Thin-cap fibroatheroma (TCFA), a fragile atherosclerotic plaque, is characterized by a large necrotic core, a thin fibrous sheath and infiltration of rare smooth muscle cells and numerous macrophages.

본 발명의 일 실시예에 따른 고위험 병변 진단 장치(100)는 관상동맥에 포함된 취약성 죽상반의 존재를 예측함으로써, 고위험 병변인지 여부를 진단할 수 있다. 구체적으로, 고위험 병변 진단 장치(100)는 인공지능 모델을 통해, 입력된 IVUS 영상에 취약성 죽상반이 존재하는지 여부를 판단할 수 있다. The apparatus 100 for diagnosing a high-risk lesion according to an embodiment of the present invention may diagnose whether the lesion is a high-risk lesion by predicting the presence of a fragile atherosclerotic plaque included in the coronary artery. Specifically, the apparatus 100 for diagnosing a high-risk lesion may determine whether or not a fragile atheromatous plaque exists in the input IVUS image through an artificial intelligence model.

서버(200)는 인공지능 모델을 학습 및 갱신하고, 인공지능 모델을 통한 예측을 수행하기 위한 적어도 하나의 외부 서버이다. The server 200 is at least one external server for learning and updating an artificial intelligence model and performing prediction through the artificial intelligence model.

본 발명의 일 실시예에 따른 서버(200)는 혈관에 포함된 취약성 죽상반 존재 여부를 예측하기 위한 인공지능 모델을 포함할 수 있다. The server 200 according to an embodiment of the present invention may include an artificial intelligence model for predicting the presence or absence of a vulnerable atherosclerotic plaque included in a blood vessel.

이때, 인공지능 모델은 복수의 환자에 대한 IVUS(Intravascular Ultrasound Optical) 영상 및 각각의 IVUS 영상에 대응하는 OCT(Optical Coherence Tomography) 영상을 정합한 영상 데이터 세트를 이용하여 학습된 것일 수 있다. 구체적으로, 취약성 죽상반이 존재하는 복수의 OCT 영상에 대응하는 IVUS 영상을 식별하고, 해당 IVUS 영상에 포함된 형태학적 특징을 추출할 수 있다. 마찬가지로, 취약성 죽상반이 존재하지 않는 복수의 OCT 영상에 대응하는 IVUS 영상을 식별하고, 해당 IVUS 영상에 포함된 형태학적 특징 및 계산적 특징을 추출할 수 있다. In this case, the artificial intelligence model may be learned using an image data set in which intravascular ultrasound optical (IVUS) images of a plurality of patients and optical coherence tomography (OCT) images corresponding to each IVUS image are matched. Specifically, it is possible to identify an IVUS image corresponding to a plurality of OCT images in which the vulnerable atheromatous plaque exists, and extract morphological features included in the corresponding IVUS image. Similarly, IVUS images corresponding to a plurality of OCT images in which fragile atheromatous plaques do not exist can be identified, and morphological features and computational features included in the corresponding IVUS images can be extracted.

구체적으로, 0.4mm 간격의 모든 OCT 영상 프레임은 혈관 모양, 측 가지(side branch), 칼슘, 혈관 주위 구조 및 혈관 입구(ostium)부터의 거리와 같은 해부학적 랜드마크를 사용하여, 대략 24번째 IVUS 영상 프레임마다 정합되었다. Specifically, all OCT image frames at 0.4mm intervals are approximately 24th IVUS using anatomical landmarks such as blood vessel shape, side branch, calcium, perivascular structure, and distance from blood vessel entrance (ostium). It was matched for every video frame.

한편, TCFA가 존재하는 OCT 영상은 섬유질 캡의 두께가 200 um 이고, 괴사성 코어의 각도가 90도 이상인 경우로 정의할 수 있으나, 이에 한정하지 않는다.Meanwhile, the OCT image in which TCFA is present may be defined as the case where the thickness of the fibrous cap is 200 um and the angle of the necrotic core is 90 degrees or more, but is not limited thereto.

본 발명의 일 실시예에 따른 인공지능 모델은 취약성 죽상반이 존재하는 환자에 대한 IVUS 영상에 포함된 형태학적 특징과 취약성 죽상반이 존재하지 않는 환자에 대한 IVUS 영상에 포함된 형태학적 특징을 학습 데이터로 훈련된 것일 수 있다. The artificial intelligence model according to an embodiment of the present invention learns the morphological features included in the IVUS image for patients with fragile atherosclerosis and the morphological features included in the IVUS image for patients without fragile atherosclerosis. It may have been trained with data.

이에 따라, 본 발명의 인공지능 모델에 IVUS 영상 및 환자에 대한 다양한 특징 정보가 입력되면, 관상동맥 병변에 취약성 죽상반이 포함되는지 여부를 판단할 수 있다. 이때, 특징 정보는 IVUS 영상에 포함된 혈관의 형태학적 특징, 계산적 특징 및 임상적 특징을 포함할 수 있으나, 이에 한정하지 않는다. 이에 대해 자세한 내용은 추후에 설명하기로 한다. Accordingly, when an IVUS image and various characteristic information about a patient are input to the artificial intelligence model of the present invention, it may be determined whether or not a fragile atheromatous plaque is included in a coronary artery lesion. In this case, the feature information may include morphological features, computational features, and clinical features of blood vessels included in the IVUS image, but is not limited thereto. Details of this will be described later.

도 1에서는 허혈 병변 진단 장치(100)와 서버(200)가 별도의 구성으로 구현된 것을 도시하였으나, 본 발명의 일 실시예에 따르면 하나의 구성으로 구현된 것일 수 있다. 즉, 일 실시예에 따르면, 고위험 병변 진단 장치(100)가 인공지능 모델을 직접 학습, 갱신하는 온 디바이스(on-device) AI 장치일 수 있다. In FIG. 1, the apparatus 100 for diagnosing ischemic lesions and the server 200 are implemented as separate configurations, but according to an embodiment of the present invention, they may be implemented as one configuration. That is, according to an embodiment, the apparatus 100 for diagnosing a high-risk lesion may be an on-device AI device that directly learns and updates an artificial intelligence model.

도 2는 본 발명의 일 실시예에 따른 고위험 병변 진단 장치(100)의 구성요소를 설명하기 위한 간단한 블록도이다. 2 is a simple block diagram for explaining the components of the high-risk lesion diagnosis apparatus 100 according to an embodiment of the present invention.

도 2를 참조하면, 고위험 병변 진단 장치(100)는 영상 획득부(110), 영상 처리부(120), 메모리(130), 통신부(140) 및 상술한 구성요소와 전기적으로 연결되어 제어하는 프로세서(150)를 포함할 수 있다. Referring to FIG. 2, the apparatus 100 for diagnosing a high-risk lesion includes an image acquisition unit 110, an image processing unit 120, a memory 130, a communication unit 140, and a processor that is electrically connected to and controls the above-described components ( 150) may be included.

영상 획득부(110)는 다양한 소스를 통해 IVUS 영상 데이터를 획득할 수 있다. 예로, 영상 획득부(110)는 상용 스캐너로 구현되어 관상동맥 내를 스캐닝하여 IVUS 영상을 획득할 수 있다. 영상 획득부(110)를 통해 획득된 영상 데이터는 영상 처리부(120)에서 처리될 수 있다.The image acquisition unit 110 may acquire IVUS image data through various sources. For example, the image acquisition unit 110 may be implemented as a commercial scanner to scan the coronary artery to obtain an IVUS image. Image data acquired through the image acquisition unit 110 may be processed by the image processing unit 120.

영상 처리부(120)는 영상 획득부(110)를 통해 획득한 영상 데이터에 대한 처리를 수행할 수 있다. 영상 처리부(120)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환 또는 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.The image processing unit 120 may process image data acquired through the image acquisition unit 110. The image processing unit 120 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, or resolution conversion on image data.

메모리(130)는 프로세서(150)의 처리 또는 제어를 위한 프로그램 등 허혈 병변 진단 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(130)는 고위험 병변 진단 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 고위험 병변 진단 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. The memory 130 may store various data for the overall operation of the ischemic lesion diagnosis apparatus 100 such as a program for processing or controlling the processor 150. The memory 130 may store a plurality of application programs or applications driven by the high-risk lesion diagnosis apparatus 100, data for the operation of the high-risk lesion diagnosis apparatus 100, and instructions. At least some of these application programs may be downloaded from an external server through wireless communication.

또한, 이러한 응용 프로그램 중 적어도 일부는, 고위험 병변 진단 장치(100)의 기본적인 기능을 위하여 출고 당시부터 고위험 병변 진단 장치(100) 상에 존재할 수 있다. 응용 프로그램은, 메모리(130)에 저장되고, 프로세서(150)에 의하여 허혈 병변 진단 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다. 특히, 메모리(130)는 일 예로, 프로세서(150)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(150)와 별도의 메모리로 구현될 수도 있다.In addition, at least some of these application programs may exist on the high-risk lesion diagnosis apparatus 100 from the time of shipment for basic functions of the high-risk lesion diagnosis apparatus 100. The application program may be stored in the memory 130 and driven by the processor 150 to perform an operation (or function) of the ischemic lesion diagnosis apparatus 100. In particular, the memory 130 may be implemented as an internal memory such as ROM or RAM included in the processor 150, or may be implemented as a separate memory from the processor 150.

통신부(140)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성일 수 있다. 통신부(140)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 중 적어도 하나를 포함할 수 있다. 프로세서(150)는 통신부(140)를 이용하여 서버(200) 또는 각종 외부 장치와 통신을 수행할 수 있다.The communication unit 140 may be a component that communicates with various types of external devices according to various types of communication methods. The communication unit 140 may include at least one of a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, and an NFC chip. The processor 150 may communicate with the server 200 or various external devices using the communication unit 140.

특히, 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선통신 칩은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.In particular, in the case of using a Wi-Fi chip or a Bluetooth chip, various types of connection information such as an SSID and a session key may be first transmitted and received, and then various types of information may be transmitted and received after a communication connection using this. The wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), and Long Term Evolution (LTE). The NFC chip refers to a chip that operates in a Near Field Communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 to 960 MHz, and 2.45 GHz.

프로세서(150)는 고위험 병변 진단 장치(100)를 전반적으로 제어하기 위한 구성이다. 구체적으로, 프로세서(150)는 고위험 병변 진단 장치(100)의 메모리(130)에 저장된 각종 프로그램을 이용하여 고위험 병변 진단 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(150)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 여기서, 롬은 시스템 부팅을 위한 명령어 세트가 저장되는 구성이고, CPU는 롬에 저장된 명령어에 따라 고위험 병변 진단 장치(100)의 메모리에 저장된 운영체제를 램에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU는 메모리(130)에 저장된 각종 애플리케이션을 램에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 이상에서는 프로세서(150)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 구현 시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.The processor 150 is a component for overall control of the apparatus 100 for diagnosing high-risk lesions. Specifically, the processor 150 controls the overall operation of the high-risk lesion diagnosis apparatus 100 by using various programs stored in the memory 130 of the high-risk lesion diagnosis apparatus 100. For example, the processor 150 may include a CPU, RAM, ROM, and a system bus. Here, the ROM is a configuration in which an instruction set for booting the system is stored, and the CPU copies the operating system stored in the memory of the high-risk lesion diagnosis apparatus 100 to RAM according to the instruction stored in the ROM, and executes O/S to run the system. Boot it up. When booting is completed, the CPU may perform various operations by copying and executing various applications stored in the memory 130 to RAM. In the above, it has been described that the processor 150 includes only one CPU, but when implemented, it may be implemented with a plurality of CPUs (or DSPs, SoCs, etc.).

본 발명의 일 실시예에 따라, 프로세서(150)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(150)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.According to an embodiment of the present invention, the processor 150 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital signals. It is not limited to a central processing unit (CPU), a micro controller unit (MCU), a micro processing unit (MPU), a controller, an application processor (AP), or a communication processor ( Communication processor (CP)), one or more of an ARM processor, or may be defined in a corresponding term In addition, the processor 150 includes a system on chip (SoC) with a built-in processing algorithm, and a large scale integration (LSI). ), or in the form of a field programmable gate array (FPGA).

도 3은 본 발명의 일 실시예에 따른 프로세서의 구성요소를 설명하기 위한 블록도이다.3 is a block diagram illustrating components of a processor according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 프로세서(150)는 관심영역 설정부(151), 세부 영역 구분부(152), 특징 추출부(153) 및 고위험 병변 판단부(154)를 포함할 수 있다. Referring to FIG. 3, the processor 150 of the present invention may include a region of interest setting unit 151, a detailed region classification unit 152, a feature extraction unit 153, and a high-risk lesion determination unit 154.

본 발명의 일 실시예에 따르면 관심영역 설정부(151), 세부 영역 구분부(152), 특징 추출부(153) 및 고위험 병변 판단부(154)는 고위험 병변 진단 장치(100)에 포함된 메모리(130)에 저장되어 프로세서(150)에 의해 구동되는 별도의 소프트웨어 모듈을 통해 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다. 또한, 각각의 구성은 별도의 모듈로 구현될 수도 있고, 하나의 모듈로 구현된 것일 수도 있다. According to an embodiment of the present invention, the region of interest setting unit 151, the detailed region classification unit 152, the feature extraction unit 153, and the high risk lesion determination unit 154 are memory included in the high risk lesion diagnosis apparatus 100. It may be stored in 130 and implemented through a separate software module driven by the processor 150. Each of the software modules may perform one or more functions and operations described herein. In addition, each configuration may be implemented as a separate module, or may be implemented as a single module.

한편, 본 발명의 또 다른 실시예에 따르면, 상술한 고위험 병변 판단부(154)는 서버(200)의 프로세서(미도시)에 포함된 구성일 수 있다. 이 경우, 서버(200)는 고위험 병변 진단 장치(100)로부터 IVUS 영상에 포함된 혈관의 형태학적 특징 및 환자의 임상적 특징을 수신할 수 있고, 수신한 특징을 기초로 TCFA와 같은 취약성 죽상반 등의 고위험 병변을 포함하는지 판단할 수 있다. Meanwhile, according to another embodiment of the present invention, the above-described high-risk lesion determination unit 154 may be included in a processor (not shown) of the server 200. In this case, the server 200 may receive the morphological features of the blood vessels included in the IVUS image and the clinical features of the patient from the high-risk lesion diagnosis apparatus 100, and based on the received features, the vulnerable atherosclerosis such as TCFA It can be determined if it contains a high-risk lesion of the back.

이하에서는 도 2 내지 도 4를 통해 본 발명의 고위험 병변 진단 방법을 설명한다. Hereinafter, a method for diagnosing a high-risk lesion according to the present invention will be described with reference to FIGS. 2 to 4.

도 4는 본 발명의 일 실시예에 따른 고위험 병변 진단 방법을 설명하기 위한 간단한 흐름도이다. 4 is a simple flowchart illustrating a method for diagnosing a high-risk lesion according to an embodiment of the present invention.

본 발명의 영상 획득부(110)는 IVUS 영상을 획득할 수 있다(S410). 이때, IVUS 영상은 관상 동맥 질환이 있는 환자로부터 허혈 병변의 길이에 따른 복수의 프레임(예를 들어, 2,000-4,000 개의 프레임)을 포함하는 영상일 수 있다. The image acquisition unit 110 of the present invention may acquire an IVUS image (S410). In this case, the IVUS image may be an image including a plurality of frames (eg, 2,000-4,000 frames) according to the length of the ischemic lesion from a patient with coronary artery disease.

IVUS 영상은 니트로 글리세린 0.2 mg을 관상동맥 내에 투여 후, 전동식 변환기 풀백 (0.5 mm /s) 및 3.2 F 이미징 외장 내에서 회전하는 40 MHz 변환기로 구성된 상용 스캐너를 사용하여 그레이 스케일 IVUS 이미징을 수행하여 획득할 수 있다. IVUS images were obtained by administering 0.2 mg of nitroglycerin into the coronary artery, followed by gray scale IVUS imaging using a commercial scanner consisting of a motorized transducer pullback (0.5 mm/s) and a 40 MHz transducer rotating within a 3.2 F imaging enclosure. can do.

이후, 관심영역 설정부(151)는 IVUS 영상에 포함된 혈관의 이미지에서 혈관 내강 경계가 분리된 마스크 영상을 획득할 수 있다. 이때, 마스크 영상은 FCN-at-one-VGG16 알고리즘을 통해 자동으로 IVUS 영상에서 추출된 것일 수 있다. 다만, 이는 일 예에 불과하고, 혈관의 내강을 포함하는 단면 영상을 영역에 따라 구분하는 마스크 영상은 다양한 방법으로 획득될 수 있다. Thereafter, the ROI setting unit 151 may obtain a mask image in which a blood vessel lumen boundary is separated from an image of a blood vessel included in the IVUS image. In this case, the mask image may be automatically extracted from the IVUS image through the FCN-at-one-VGG16 algorithm. However, this is only an example, and a mask image for dividing a cross-sectional image including a lumen of a blood vessel according to an area may be obtained in various ways.

예를 들어, 관심영역 설정부(151)는 1) IVUS 영상에서 외부 탄성막(EEM, external elastic membrane)에 대응하는 픽셀의 바깥 영역(0으로 코딩됨), 2) 혈관 내강 경계를 포함하는 혈관 내강 영역(1로 코딩됨), 3) 혈관 내강 경계와 EEM 사이에 대응하는 플라크(plaque)를 포함하는 영역(2로 코딩됨)으로 구분된 마스크 영상을 획득할 수 있다. For example, the ROI setting unit 151 includes: 1) a region outside of a pixel corresponding to an external elastic membrane (EEM) in an IVUS image (coded as 0), and 2) a blood vessel including a blood vessel lumen boundary. A mask image divided into a lumen region (coded as 1) and 3) a region (coded as 2) including a plaque corresponding between the lumen boundary of the blood vessel and the EEM may be obtained.

관심영역 설정부(151)는 마스크 영상에서 혈관 내강 경계와 EEM 사이에 대응하는 플라크(plaque)를 포함하는 영역(플라크 영역)을 관심영역으로 설정할 수 있다(S420). 이후, 세부영역 구분부(152)는 관심영역을 세부영역으로 구분할 수 있다(S430). The region of interest setting unit 151 may set a region (plaque region) including a plaque corresponding between the lumen boundary of the blood vessel and the EEM in the mask image as the region of interest (S420). Thereafter, the detailed region classifying unit 152 may divide the ROI into the detailed regions (S430).

구체적으로, 세부영역 구분부(152)는 관심영역(또는 플라크 영역)으로 설정된 환형의 영역을 픽셀 두께를 기준으로 적어도 하나의 세부영역으로 구분할 수 있다. Specifically, the subregion dividing unit 152 may divide an annular region set as an ROI (or plaque region) into at least one subregion based on a pixel thickness.

예를 들어, 세부영역 구분부(152)는 플라크 영역을 5 개의 영역(S1 내지 S5)으로 세분화할 수 있다. 제1 세부영역(S1)은 내강 경계에 인접한 2 픽셀(32.2 μm)에 대응하는 두께의 영역으로 정의될 수 있고, 제2 세부영역(S2)은 제1 세부영역(S1)의 가장자리로부터 4 픽셀(64.4 ㎛)에 대응하는 두께의 영역으로 정의될 수 있고, 제3 세부영역(S3)은 제2 세부영역(S2)의 가장자리로부터 7 픽셀(109.2 ㎛)에 대응하는 두께의 영역으로 정의될 수 있고, 제4 세부영역(S4)은 제3 세부영역(S3)의 가장자리로부터 13 픽셀(202.8 μm)에 대응하는 두께의 영역으로 정의될 수 있고. 제5 세부영역(S5)은 플라크 영역 중 EEM에 인접한 나머지 영역으로 정의될 수 있다.For example, the subregion dividing unit 152 may subdivide the plaque region into five regions S1 to S5. The first sub-region S1 may be defined as a region having a thickness corresponding to 2 pixels (32.2 μm) adjacent to the lumen boundary, and the second sub-region S2 is 4 pixels from the edge of the first sub-region S1. It may be defined as an area having a thickness corresponding to (64.4 µm), and the third sub-region S3 may be defined as an area having a thickness corresponding to 7 pixels (109.2 µm) from the edge of the second sub-region S2. In addition, the fourth sub-region S4 may be defined as a region having a thickness corresponding to 13 pixels (202.8 μm) from the edge of the third sub-region S3. The fifth sub-region S5 may be defined as the remaining region adjacent to the EEM among the plaque regions.

특징 추출부(153)는 상술한 세부영역에 대한 정보를 기초로 혈관의 계산적(computed) 특징을 추출할 수 있다(S440). The feature extraction unit 153 may extract a computed feature of a blood vessel based on the information on the detailed region (S440).

이때, IVUS 영상에 대한 계산적 특징(computed feature)은 크게 3가지 카테고리를 포함할 수 있다. 즉, 계산적 특징은, 1) 플라크 버든(plaque burden), 최소 내강 직경, 내강 영역 및 내강 편심(lumen eccentricity)을 포함하는 2차원 형상 기반 특징(two-dimensional geometry-based feature), 2) 감마, 베타, Nakagami-μ, Nakagami-ω 및 Rayleigh-b를 포함하는 확률분포 파라미터, 3) 분산(variance), 모멘트(moment), 평활도(smoothness), 첨도(kurtosis), 엔트로피(entropy) 및 균질성(homogeneity)을 포함하는 텍스처 기반 특징(texture-based feature)을 포함할 수 있다. In this case, the computed feature for the IVUS image may largely include three categories. That is, the computational features include: 1) a two-dimensional geometry-based feature including plaque burden, minimum lumen diameter, lumen area and lumen eccentricity, 2) gamma, Probability distribution parameters including beta, Nakagami-μ, Nakagami-ω and Rayleigh-b, 3) variance, moment, smoothness, kurtosis, entropy and homogeneity ) May include a texture-based feature.

또한, 특징 추출부(153)는 각각의 세부 영역에 대하여 2개의 세부영역 간의 비율(S1:S2, S1:S3, S1:S4, S1:S5, S2:S3, S2:S4, S2:S5, S3:S4, S3:S5 및 S4:S5)을 계산하여 1449개의 특징을 추출할 수 있다. In addition, the feature extracting unit 153 includes a ratio (S1:S2, S1:S3, S1:S4, S1:S5, S2:S3, S2:S4, S2:S5, S1:S2, S1:S3, S1:S4, S1:S5, S2:S3, S2:S4, S2:S5, S3:S4, S3:S5 and S4:S5) can be calculated to extract 1449 features.

고위험 병변 판단부(154)는 상술한 계산적 특징 및 환자의 임상적 특징을 포함하는 다양한 특징 정보를 기초로 취약성 죽상반 존재 여부를 판단할 수 있고(S450), 나아가 고위험 병변 여부를 판단할 수 있다. The high-risk lesion determination unit 154 may determine whether there is a vulnerable atherosclerosis based on various characteristic information including the above-described computational characteristics and clinical characteristics of the patient (S450), and further determine whether a high-risk lesion. .

구체적으로, 고위험 병변 판단부(154)는 상술한 특징 정보를 입력받으면 취약성 죽상반 존재에 대한정보를 출력하는 인공지능 모델을 통해 고위험 병변 여부를 판단할 수 있다.Specifically, when receiving the above-described characteristic information, the high-risk lesion determination unit 154 may determine whether a high-risk lesion is present through an artificial intelligence model that outputs information on the presence of vulnerable atherosclerosis.

이때, 본 발명의 인공지능 모델은 취약성 죽상반을 포함하는 복수의 OCT 영상 및 각각의 OCT 영상에 대응하는 IVUS 영상의 계산적 특징 및 환자의 임상적 특징을 포함하는 데이터를 학습데이터로, IVUS 영상의 계산적 특징 및 임상적 특징을 입력받으면 취약성 죽상반을 포함하는지 여부를 출력하도록 훈련된 것일 수 있다. At this time, the artificial intelligence model of the present invention uses data including computational features of the IVUS image corresponding to each OCT image and a plurality of OCT images including the vulnerable atherosclerosis as learning data, and the IVUS image. When computational features and clinical features are inputted, they may be trained to output whether or not they include vulnerable atherosclerosis.

이때, 임상적(clinical) 특징은 나이(age), 성별(gender), 체면적(body surface area), 병변 분절(involved segment), 근위 LAD의 침범 여부(involvement of proximal left anterior descending artery (LAD)) 및 혈관 타입(vessel type)을 포함할 수 있다.At this time, the clinical characteristics are age, gender, body surface area, involved segment, and involvement of proximal left anterior descending artery (LAD). ) And a vessel type.

특히, 본 발명의 인공지능 모델은 517명의 협심증 환자에 대한 특징 정보에 대해서 414명과 103명으로 4:1로 무작위 분리되어, 각각의 환자군에 대한 특징 정보가 훈련 세트 및 검증 세트로 학습된 것일 수 있다. In particular, the artificial intelligence model of the present invention is randomly divided into 414 and 103 patients in 4:1 with respect to the feature information of 517 patients with angina, and the feature information for each patient group may be learned as a training set and a verification set. have.

또한, 본 발명의 인공지능 모델은 1449개의 2차원 형상 기반 특징(two-dimensional geometry-based feature) 중 17개의 특징이 최종적으로 선택되어 ANN(artificial neural network), SVM(support vector machine) 및 na

Figure 112019080204503-pat00001
ve bayes를 이용한 머신러닝을 통해 학습된 것일 수 있다. In addition, in the artificial intelligence model of the present invention, 17 features out of 1449 two-dimensional geometry-based features are finally selected, and thus ANN (artificial neural network), SVM (support vector machine), and na
Figure 112019080204503-pat00001
It may be learned through machine learning using ve bayes.

구체적으로, 1449개의 특징 중 t-test를 통해 728개의 특징이 선택되고, ROC를 이용하여 AUC가 0.6 이상인 62개의 특징을 선택하였다. 이후, relief, decision tree, regularized discriminative feature selection 및 Fisher's exact test를 통해 플라크 버든(plaque burden), 내강 영역, 최소 내강 직경, 내강 편심, 감마 - 베타 S3/S4, Nakagami-μ S3/S4, Nakagami-ω S1/S3, Rayleigh-b S2/S3, 분산 S2/S3, 분산 S2/S4, 엔트로피 S2/S3, 첨도 S2/S4, 균질성 1 S3/S4, 균질성 2 S2/S4, 평활도 S1/S3, 평활도 S2/S3 및 모멘트 S1/S3가 최종적으로 선택되어 머신러닝 학습에 사용되었다.Specifically, out of 1449 features, 728 features were selected through t-test, and 62 features with an AUC of 0.6 or more were selected using ROC. Afterwards, through relief, decision tree, regularized discriminative feature selection and Fisher's exact test, plaque burden, lumen area, minimum lumen diameter, lumen eccentricity, gamma-beta S3/S4, Nakagami-μ S3/S4, Nakagami- ω S1/S3, Rayleigh-b S2/S3, dispersion S2/S3, dispersion S2/S4, entropy S2/S3, kurtosis S2/S4, homogeneity 1 S3/S4, homogeneity 2 S2/S4, smoothness S1/S3, smoothness S2/S3 and moment S1/S3 were finally selected and used for machine learning learning.

TCFA가 존재하는 OCT에 대응하는 IVUS 영상은 큰 플라크 버든(plaque burden)과 작은 내강 편심(lumen eccentricity)을 보였다. 또한, TCFA를 포함하는 IVUS 영상은 분산, 엔트로피 및 첨도의 증가를 보였고, 깊은 플라크와 표면(superficial) 간 균질성(homogeneity) 및 섬유질 캡 내의 평활도(smoothness)의 감소를 보였다.IVUS images corresponding to OCT in the presence of TCFA showed a large plaque burden and a small lumen eccentricity. In addition, IVUS images including TCFA showed increased dispersion, entropy, and kurtosis, and decreased homogeneity between deep plaques and superficials, and smoothness within the fibrous cap.

TCFA를 포함하는 OCT 영상은 깊은 플라크와 표면(superficial) 간 낮은 비율의 감마, 베타, Nakagami-μ, Nakagami-ω를 보이고, 높은 비율의 Rayleigh-b을 나타냈다. OCT images containing TCFA showed a low ratio of gamma, beta, Nakagami-μ, and Nakagami-ω between deep plaque and superficial, and a high ratio of Rayleigh-b.

특히, 플라크 버든이 70% 이상, 최소 내강 면적이 4mm2보다 작은 경우, TCFA를 포함하는 IVUS 영상으로 판단할 수 있다. 또한, IVUS 감쇠(attenuation)와 반점성 칼슘(spotty calcium)은 큰 괴사핵을 가진 조직학적 섬유종을 가진 것으로 판단할 수 있다. 구체적으로, 민감도 89% 및 특이도 64%에서 IVUS 감쇠 최대호가 29.4도 이상인 경우 TCFA가 있는 것으로 예측할 수 있다. In particular, when the plaque bud is 70% or more and the minimum lumen area is less than 4 mm 2 , it can be determined as an IVUS image including TCFA. In addition, IVUS attenuation and spotty calcium can be determined as having histological fibroids with large necrotic nuclei. Specifically, it can be predicted that TCFA is present when the maximum IVUS attenuation is 29.4 degrees or more at a sensitivity of 89% and a specificity of 64%.

또한, TCFA를 포함하는 경우, 엔트로피 및 분산에 대한 S2 대비 S3-S4의 비율이 증가하고, 균질성 S2-S3 대비 S4의 균질성이 감소하였고, S2 대비 S4의 첨도 증가를 보였다. 또한, S1 대비 S3의 평활도의 감소는 거품성 대식세포가 침투한 것으로 판단할 수 있다. In addition, when TCFA was included, the ratio of S3 to S2 to entropy and dispersion increased, the homogeneity of S4 to S2 to S3 decreased, and the kurtosis of S4 to S2 was increased. In addition, the decrease in the smoothness of S3 compared to S1 can be determined as the penetration of foamy macrophages.

도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 고위험 병변 진단 장치가 관심영역을 설정하고, 세부영역으로 구분하는 것을 설명하기 위한 도면이다. 5A to 5C are diagrams for explaining how an apparatus for diagnosing a high-risk lesion according to an embodiment of the present invention sets a region of interest and divides it into detailed regions.

도 5a는 취약성 죽상반이 있는지 검사를 수행할 환자의 관상동맥 IVUS 영상을 도시한다. 고위험 병변 진단 장치(100)는 혈관 내강(lumen)을 분리하기 위한 프로그램을 통해 자동으로 내강을 분리할 수 있다. 5A shows a coronary IVUS image of a patient to be tested for fragile atherosclerosis. The apparatus 100 for diagnosing a high-risk lesion may automatically separate the lumen through a program for separating the vascular lumen.

도 5b는 고위험 병변 진단 장치(100)가 혈관의 내강을 분리한 마스크 영상을 도시한다. 도 5b를 참조하면, 고위험 병변 진단 장치(100)는 IVUS 영상에서 외부 탄성막(EEM, external elastic membrane)에 대응하는 픽셀의 바깥 영역(510), 혈관 내강 경계와 EEM 사이에 대응하는 플라크(plaque)를 포함하는 플라크 영역(520) 및 혈관 내강 경계를 포함하는 혈관 내강 영역(530)으로 구분된 마스크 영상을 획득할 수 있다.5B shows a mask image obtained by separating the lumen of a blood vessel by the apparatus 100 for diagnosing a high-risk lesion. 5B, the apparatus 100 for diagnosing high-risk lesions includes a plaque corresponding to an outer region 510 of a pixel corresponding to an external elastic membrane (EEM) in an IVUS image, a blood vessel lumen boundary, and an EEM. A mask image divided into a plaque area 520 including) and a vascular lumen area 530 including a blood vessel lumen boundary may be obtained.

이때, 고위험 병변 진단 장치(100)는 마스크 영상에서 혈관 내강 경계와 EEM 사이에 대응하는 플라크(plaque)를 포함하는 플라크 영역(520)을 관심영역으로 설정할 수 있다.In this case, the apparatus 100 for diagnosing a high-risk lesion may set a plaque region 520 including a plaque corresponding between the lumen boundary and the EEM in the mask image as the region of interest.

도 5c는 고위험 병변 진단 장치(100)가 관심영역(520)을 5개의 세부영역(S1 내지 S5)으로 구분한 것을 도시한다. 5C shows that the apparatus 100 for diagnosing a high-risk lesion divides the region of interest 520 into five sub-regions S1 to S5.

도 5c를 참조하면, 고위험 병변 진단 장치(100)는 제1 세부영역(S1)은 내강 경계에 인접한 2 픽셀(32.2 μm)에 대응하는 두께의 영역으로 구분할 수 있다. 또한, 고위험 병변 진단 장치(100)는 제2 세부영역(S2)을 제1 세부영역(S1)의 가장자리로부터 4 픽셀(64.4 ㎛)에 대응하는 두께의 영역으로 구분할 수 있고, 제3 세부영역(S3)을 제2 세부영역(S2)의 가장자리로부터 7 픽셀(109.2 ㎛)에 대응하는 두께의 영역으로 구분할 수 있다. 고위험 병변 진단 장치(100)는 제4 세부영역(S4)을 제3 세부영역(S3)의 가장자리로부터 13 픽셀(202.8 μm)에 대응하는 두께의 영역으로 구분할 수 있고. 제5 세부영역(S5)을 플라크 영역 중 EEM에 인접한 나머지 영역으로 구분할 수 있다.Referring to FIG. 5C, the apparatus 100 for diagnosing a high-risk lesion may divide the first subregion S1 into a region having a thickness corresponding to 2 pixels (32.2 μm) adjacent to the lumen boundary. In addition, the apparatus 100 for diagnosing a high-risk lesion may divide the second sub-region S2 into a region having a thickness corresponding to 4 pixels (64.4 µm) from the edge of the first sub-region S1, and the third sub-region ( S3) may be divided into a region having a thickness corresponding to 7 pixels (109.2 μm) from the edge of the second sub region S2. The apparatus 100 for diagnosing a high-risk lesion may divide the fourth sub-region S4 into a region having a thickness corresponding to 13 pixels (202.8 μm) from the edge of the third sub-region S3. The fifth detailed region S5 may be divided into the remaining regions adjacent to the EEM among the plaque regions.

다만, 상술한 제1 세부영역 내지 제5 세부영역에 대한 구분은 일 예에 불과하고, 고위험 병변 진단 장치(100)는 다양한 실시예에 따라 다양한 숫자의 세부영역 및 다양한 기준으로 세부영역을 구분할 수 있다. However, the classification of the first to fifth sub-regions described above is only an example, and the apparatus 100 for diagnosing a high-risk lesion may classify sub-regions with various numbers of sub-areas and various criteria according to various embodiments. have.

도 6은 본 발명의 다양한 실시예에 따른 학습부 및 인식부를 나타내는 블록도이다.6 is a block diagram illustrating a learning unit and a recognition unit according to various embodiments of the present disclosure.

도 6을 참조하면, 프로세서(600)는 학습부(610) 및 인식부(620) 중 적어도 하나를 포함할 수 있다. 도 6의 프로세서(600)는 도 2의 고위험 병변 진단 장치(100)의 프로세서(150) 또는 서버(200)의 프로세서(미도시)에 대응될 수 있다.Referring to FIG. 6, the processor 600 may include at least one of a learning unit 610 and a recognition unit 620. The processor 600 of FIG. 6 may correspond to the processor 150 of the apparatus 100 for diagnosing a high-risk lesion of FIG. 2 or a processor (not shown) of the server 200.

학습부(610)는 소정의 상황 판단을 위한 기준을 갖는 인식 모델을 생성 또는 학습시킬 수 있다. 학습부(610)는 수집된 학습 데이터를 이용하여 판단 기준을 갖는 인식 모델을 생성할 수 있다.The learning unit 610 may generate or train a recognition model having a criterion for determining a predetermined situation. The learning unit 610 may generate a recognition model having a determination criterion by using the collected training data.

일 예로, 학습부(610)는 다양한 IVUS 영상을 학습 데이터로서 이용하여 IVUS 영상에 포함된 혈관의 내강이 어떤 것인지 판단하는 기준을 갖는 객체 인식 모델을 생성, 학습 또는 갱신시킬 수 있다.As an example, the learning unit 610 may generate, learn, or update an object recognition model having a criterion for determining which lumen of a blood vessel included in the IVUS image is by using various IVUS images as training data.

또 다른 예로, 학습부(610)는 복수의 IVUS 영상, 상기 IVUS 영상 각각에 대응하는 OCT 영상, 상기 OCT 영상이 취약성 죽상반을 포함하는지 여부에 따른 구분 정보, 상기 IVUS 및 OCT 영상에 대응하는 환자의 임상적 특징 정보를 학습 데이터로서 이용하여 입력된 특징 정보에 대응하는 IVUS 영상에 취약성 죽상반이 포함되는지 여부를 판단하는 기준을 갖는 모델을 생성, 학습 또는 갱신시킬 수 있다.As another example, the learning unit 610 includes a plurality of IVUS images, an OCT image corresponding to each of the IVUS images, classification information according to whether the OCT image includes a vulnerable atherosclerotic plaque, and a patient corresponding to the IVUS and OCT images. Using the clinical feature information of as training data, a model having a criterion for determining whether or not a vulnerable atherosclerosis is included in an IVUS image corresponding to the input feature information may be generated, learned, or updated.

인식부(620)는 소정의 데이터를 학습된 인식 모델의 입력 데이터로 사용하여, 목표하는 데이터를 추정할 수 있다.The recognition unit 620 may estimate target data by using predetermined data as input data of the learned recognition model.

일 예로, 인식부(620)는 IVUS 영상에 포함된 계산적 특징(computed feature), 임상적 특징을 학습된 인식 모델에 적용하여 취약성 죽상반이 포함 여부를 추정(또는, 결정, 추론)할 수 있다. For example, the recognition unit 620 may estimate (or determine, infer) whether a vulnerable atherosclerosis is included by applying a computed feature and a clinical feature included in the IVUS image to the learned recognition model. .

학습부(610)의 적어도 일부 및 인식부(620)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 고위험 병변 진단 장치(100)에 탑재될 수 있다. 예를 들어, 학습부(610) 및 인식부(620) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치 또는 객체 인식 장치에 탑재될 수도 있다. 이때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다.At least a portion of the learning unit 610 and at least a portion of the recognition unit 620 may be implemented as a software module or manufactured in the form of at least one hardware chip to be mounted on the high-risk lesion diagnosis apparatus 100. For example, at least one of the learning unit 610 and the recognition unit 620 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general-purpose processor (eg, CPU or application). processor) or a graphics dedicated processor (for example, a GPU), and mounted on various electronic devices or object recognition devices described above. At this time, the dedicated hardware chip for artificial intelligence is a dedicated processor specialized in probability calculation, and has higher parallel processing performance than conventional general-purpose processors, so it can quickly process computation tasks in the field of artificial intelligence such as machine learning.

학습부(610) 및 인식부(620)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.When the learning unit 610 and the recognition unit 620 are implemented as a software module (or a program module including an instruction), the software module is a computer-readable non-transitory readable recording medium (non-transitory). transitory computer readable media). In this case, the software module may be provided by an operating system (OS) or may be provided by a predetermined application. Alternatively, some of the software modules may be provided by an operating system (OS), and some of the software modules may be provided by a predetermined application.

이 경우, 학습부(610) 및 인식부(620)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 학습부(610) 및 인식부(620) 중 하나는 고위험 병변 진단 장치(100)에 포함되고, 나머지 하나는 서버(200)에 포함될 수 있다. 또한, 학습부(610) 및 인식부(620)는 유선 또는 무선으로 통하여, 학습부(610)가 구축한 모델 정보를 인식부(620)로 제공할 수도 있고, 인식부(620)로 입력된 데이터가 추가 학습 데이터로서 학습부(610)로 제공될 수도 있다.In this case, the learning unit 610 and the recognition unit 620 may be mounted on one electronic device, or may be mounted on separate electronic devices, respectively. For example, one of the learning unit 610 and the recognition unit 620 may be included in the apparatus 100 for diagnosing a high-risk lesion, and the other may be included in the server 200. In addition, the learning unit 610 and the recognition unit 620 may provide model information built by the learning unit 610 to the recognition unit 620 through wired or wireless, or input to the recognition unit 620. Data may be provided to the learning unit 610 as additional learning data.

한편, 상술한 본 발명의 다양한 실시예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. Meanwhile, the above-described methods according to various embodiments of the present invention may be implemented in the form of an application that can be installed in an existing electronic device.

한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록매체(computer readable recording medium)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다. Meanwhile, according to an embodiment of the present invention, various embodiments described above are a recording medium that can be read by a computer or a similar device using software, hardware, or a combination thereof. computer readable recording medium). In some cases, the embodiments described herein may be implemented by the processor itself. According to software implementation, embodiments such as procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.

기기로 읽을 수 있는 기록매체는, 비일시적 기록매체(non-transitory computer readable recording medium)의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 이때 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.The recording medium that can be read by the device may be provided in the form of a non-transitory computer readable recording medium. Here,'non-transient' means that the storage medium does not contain a signal and is tangible, but does not distinguish between semi-permanent or temporary storage of data in the storage medium. In this case, the non-transitory computer-readable medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short moment, such as registers, caches, and memory. Specific examples of non-transitory computer-readable media may include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

이와 같이 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의하여 정해져야 할 것이다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, but these are only exemplary, and those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. . Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

10: 고위험 병변 진단 시스템
100: 고위험 병변 진단 장치
110: 영상 획득부
120: 영상 처리부
130: 메모리
140: 통신부
150: 프로세서
200: 서버10: high risk lesion diagnosis system
100: high risk lesion diagnosis device
110: image acquisition unit
120: image processing unit
130: memory
140: communication department
150: processor
200: server

Claims (6)

관상동맥의 고위험 병변을 진단하는 딥러닝 기반 진단 방법에 있어서,
환자의 관상동맥 병변에 대한 IVUS 영상을 획득하는 영상획득 단계;
상기 IVUS 영상에 포함된 혈관 내강 분리를 수행하고 상기 IVUS 영상에 포함된 관심영역을 설정하는 관심영역 설정 단계;
상기 관심영역에 대하여 두께를 기준으로 적어도 하나의 세부 영역으로 구분하는 세부영역 구분 단계;
상기 적어도 하나의 세부 영역을 기초로 상기 IVUS 영상에 대한 계산적 특징을 추출하는 특징추출 단계; 및
상기 계산적 특징을 인공지능 모델에 입력하여 상기 IVUS 영상이 취약성 죽상반을 포함하는 영상인지를 판단하고, 상기 취약성 죽상반을 포함하는 것으로 판단되면 고위험 병변을 포함하는 것으로 판단하는 고위험 병변 판단 단계;를 포함하고,
상기 관심영역은 상기 혈관 내강 경계와 외부 탄성막(EEM) 사이에 대응하는 플라크(plaque)를 포함하는 영역이고,
상기 적어도 하나의 세부 영역은 상기 관심영역 내에서 상기 혈관 내강 경계와 상기 외부 탄성막 사이의 두께를 기설정된 두께만큼 각각 구분되는 딥러닝 기반 진단 방법.In the deep learning-based diagnosis method for diagnosing high-risk lesions of the coronary artery,
An image acquisition step of obtaining an IVUS image of the patient's coronary artery lesion;
A region-of-interest setting step of separating a blood vessel lumen included in the IVUS image and setting a region-of-interest included in the IVUS image;
A sub-region division step of dividing the region of interest into at least one sub-region based on a thickness;
A feature extraction step of extracting a computational feature for the IVUS image based on the at least one detailed region; And
A high-risk lesion determining step of inputting the computational feature into an artificial intelligence model to determine whether the IVUS image is an image including a vulnerable atherosclerosis, and determining that it includes a high-risk lesion when it is determined that the fragile atherosclerosis is included; Including,
The region of interest is a region including a plaque corresponding between the lumen boundary of the blood vessel and the outer elastic membrane (EEM),
The deep learning-based diagnosis method in which the at least one detailed region is divided into a thickness between the blood vessel lumen boundary and the outer elastic membrane by a predetermined thickness within the region of interest. 삭제delete 제1항에 있어서,
상기 특징추출 단계는 상기 적어도 하나의 세부 영역 각각의 비율을 기초로 상기 계산적 특징을 추출하는 딥러닝 기반 진단 방법.The method of claim 1,
The feature extraction step is a deep learning-based diagnostic method of extracting the computational feature based on a ratio of each of the at least one sub-area. 제1항에 있어서,
상기 인공지능 모델은 복수의 IVUS 영상 및 상기 복수의 IVUS 영상 각각에 대응하는 OCT 영상을 정합한 데이터를 학습 데이터로 훈련된 것을 특징으로 하는 딥러닝 기반 진단 방법.The method of claim 1,
The artificial intelligence model is a deep learning-based diagnosis method, characterized in that the data obtained by matching a plurality of IVUS images and OCT images corresponding to each of the plurality of IVUS images are trained as training data. 제1항, 제3항 및 제4항 중 어느 한 항에 있어서,
고위험 병변 진단 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.The method according to any one of claims 1, 3 and 4,
A computer-readable recording medium that records a program for executing the diagnostic method for high-risk lesions. 관상동맥의 고위험 병변을 진단하는 딥러닝 기반 진단 장치에 있어서,
환자의 관상동맥 병변에 대한 IVUS 영상을 획득하는 영상획득부;
상기 IVUS 영상에 포함된 혈관 내강 분리를 수행하고 상기 IVUS 영상에 포함된 관심영역을 설정하는 관심영역 설정부;
상기 관심영역에 대하여 두께를 기준으로 적어도 하나의 세부 영역으로 구분하는 세부영역 구분부;
상기 적어도 하나의 세부 영역을 기초로 상기 IVUS 영상에 대한 계산적 특징을 추출하는 특징추출부; 및
상기 계산적 특징을 인공지능 모델에 입력하여 상기 IVUS 영상이 취약성 죽상반을 포함하는 영상인지를 판단하고, 상기 취약성 죽상반을 포함하는 것으로 판단되면 고위험 병변을 포함하는 것으로 판단하는 고위험 병변 판단부;를 포함하고,
상기 관심영역은 상기 혈관 내강 경계와 외부 탄성막(EEM) 사이에 대응하는 플라크(plaque)를 포함하는 영역이고,
상기 적어도 하나의 세부 영역은 상기 관심영역 내에서 상기 혈관 내강 경계와 상기 외부 탄성막 사이의 두께를 기설정된 두께만큼 각각 구분되는 딥러닝 기반 진단 장치.In a deep learning-based diagnostic device for diagnosing high-risk lesions of coronary arteries,
An image acquisition unit that acquires an IVUS image of the patient's coronary artery lesion;
A region-of-interest setting unit for separating the vascular lumen included in the IVUS image and setting a region of interest included in the IVUS image;
A sub-region dividing unit for dividing the region of interest into at least one sub-region based on a thickness;
A feature extractor for extracting a computational feature for the IVUS image based on the at least one detailed region; And
A high-risk lesion determination unit that inputs the computational feature into an artificial intelligence model to determine whether the IVUS image is an image including a vulnerable atherosclerosis, and determines that it includes a high-risk lesion if it is determined to include the vulnerable atherosclerosis; Including,
The region of interest is a region including a plaque corresponding between the blood vessel lumen boundary and the outer elastic membrane (EEM),
The deep learning-based diagnostic apparatus in which the at least one detailed region is divided into a thickness between the blood vessel lumen boundary and the outer elastic membrane by a preset thickness within the region of interest.
KR1020190095170A 2019-08-05 2019-08-05 Diagnostic system for diagnosing vulnerable atheromatous plaque through ultrasound image-based machine learning and the diagnostic method thereof KR102257295B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190095170A KR102257295B1 (en) 2019-08-05 2019-08-05 Diagnostic system for diagnosing vulnerable atheromatous plaque through ultrasound image-based machine learning and the diagnostic method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190095170A KR102257295B1 (en) 2019-08-05 2019-08-05 Diagnostic system for diagnosing vulnerable atheromatous plaque through ultrasound image-based machine learning and the diagnostic method thereof

Publications (2)

Publication Number Publication Date
KR20210016863A KR20210016863A (en) 2021-02-17
KR102257295B1 true KR102257295B1 (en) 2021-05-31

Family

ID=74732026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190095170A KR102257295B1 (en) 2019-08-05 2019-08-05 Diagnostic system for diagnosing vulnerable atheromatous plaque through ultrasound image-based machine learning and the diagnostic method thereof

Country Status (1)

Country Link
KR (1) KR102257295B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744223A (en) * 2021-08-26 2021-12-03 联影智能医疗科技(北京)有限公司 Blood vessel risk assessment method, computer device, and storage medium
CN114387464A (en) * 2021-12-01 2022-04-22 杭州脉流科技有限公司 Vulnerable plaque identification method based on IVUS image, computer device, readable storage medium and program product

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165916A1 (en) 2003-11-13 2007-07-19 Guy Cloutier Automatic multi-dimensional intravascular ultrasound image segmentation method
US20070260141A1 (en) 2006-03-22 2007-11-08 Volcano Corporation Automated lesion analysis based upon automatic plaque characterization according to a classification criterion
WO2011038305A2 (en) 2009-09-25 2011-03-31 Volcano Corporation Device and method for determining the likelihood of a patient having a clinical event or a clinically silent event based on ascertained physiological parameters
US20170249439A1 (en) 2016-02-26 2017-08-31 Heartflow, Inc. Systems and methods for identifying and modeling unresolved vessels in image-based patient-specific hemodynamic models
US20170265754A1 (en) * 2013-10-17 2017-09-21 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120028154A (en) * 2010-09-14 2012-03-22 울산대학교 산학협력단 Diagnose method and apparatus for atherosclerotic lesions
KR102212499B1 (en) * 2018-01-03 2021-02-04 주식회사 메디웨일 Ivus image analysis method
EP3618002A1 (en) * 2018-08-30 2020-03-04 Koninklijke Philips N.V. Interactive self-improving annotation system for high-risk plaque burden assessment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165916A1 (en) 2003-11-13 2007-07-19 Guy Cloutier Automatic multi-dimensional intravascular ultrasound image segmentation method
US20070260141A1 (en) 2006-03-22 2007-11-08 Volcano Corporation Automated lesion analysis based upon automatic plaque characterization according to a classification criterion
WO2011038305A2 (en) 2009-09-25 2011-03-31 Volcano Corporation Device and method for determining the likelihood of a patient having a clinical event or a clinically silent event based on ascertained physiological parameters
US20170265754A1 (en) * 2013-10-17 2017-09-21 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US20170249439A1 (en) 2016-02-26 2017-08-31 Heartflow, Inc. Systems and methods for identifying and modeling unresolved vessels in image-based patient-specific hemodynamic models

Also Published As

Publication number Publication date
KR20210016863A (en) 2021-02-17

Similar Documents

Publication Publication Date Title
US20220296205A1 (en) Ultrasound image-based diagnosis system for coronary artery lesion using machine learning and diagnosis method of same
Bizopoulos et al. Deep learning in cardiology
KR102283443B1 (en) High-risk diagnosis system based on Optical Coherence Tomography and the diagnostic method thereof
Abdulsahib et al. Comprehensive review of retinal blood vessel segmentation and classification techniques: intelligent solutions for green computing in medical images, current challenges, open issues, and knowledge gaps in fundus medical images
JP2020518915A (en) System and method for automated fundus image analysis
Karthik et al. A multi-scale approach for detection of ischemic stroke from brain MR images using discrete curvelet transformation
KR102272413B1 (en) Device, method and recording medium for providing information on ischemic lesions through coronary angiography-based machine learning
WO2020019757A1 (en) Intelligent intracranial plaque and carotid plaque segmentation method for magnetic resonance image
CN111275755B (en) Mitral valve orifice area detection method, system and equipment based on artificial intelligence
KR102257295B1 (en) Diagnostic system for diagnosing vulnerable atheromatous plaque through ultrasound image-based machine learning and the diagnostic method thereof
EP4026498B1 (en) Method and apparatus for predicting region-specific cerebral cortical contraction rate on basis of ct image
Vaish et al. Smartphone based automatic abnormality detection of kidney in ultrasound images
US20200085344A1 (en) Image processing and emphysema threshold determination
Lucassen et al. Deep learning for detection and localization of B-lines in lung ultrasound
KR20200113336A (en) Learning method for generating multiphase collateral image and multiphase collateral imaging method using machine learning
CN110660064A (en) Method and device for processing cardiac CT image and non-transitory computer readable storage medium
US20240104725A1 (en) Method, apparatus, and recording medium for analyzing coronary plaque tissue through ultrasound image-based deep learning
CN110827255A (en) Plaque stability prediction method and system based on coronary artery CT image
KR20230050253A (en) Method for detecting pleurl effusion and the apparatus for therof
US20220044047A1 (en) Medical information processing apparatus and medical information generating apparatus
Gadriye et al. Neural Network based method for the diagnosis of diabetic retinopathy
WO2022096867A1 (en) Image processing of intravascular ultrasound images
Li et al. A hybrid approach to detection of brain hemorrhage candidates from clinical head ct scans
Janakiraman et al. Reliable IoT-based Health-care System for Diabetic Retinopathy Diagnosis to defend the Vision of Patients
CN113269711A (en) Method and device for processing brain image, electronic equipment and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right