KR20210020618A - Abnominal organ automatic segmentation based on deep learning in a medical image - Google Patents

Abnominal organ automatic segmentation based on deep learning in a medical image Download PDF

Info

Publication number
KR20210020618A
KR20210020618A KR1020190100356A KR20190100356A KR20210020618A KR 20210020618 A KR20210020618 A KR 20210020618A KR 1020190100356 A KR1020190100356 A KR 1020190100356A KR 20190100356 A KR20190100356 A KR 20190100356A KR 20210020618 A KR20210020618 A KR 20210020618A
Authority
KR
South Korea
Prior art keywords
medical image
neural network
abdominal organs
deep neural
deep learning
Prior art date
Application number
KR1020190100356A
Other languages
Korean (ko)
Other versions
KR102378746B1 (en
Inventor
홍헬렌
정주립
김진성
Original Assignee
서울여자대학교 산학협력단
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단, 연세대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR1020190100356A priority Critical patent/KR102378746B1/en
Publication of KR20210020618A publication Critical patent/KR20210020618A/en
Priority to KR1020220032494A priority patent/KR102410955B1/en
Application granted granted Critical
Publication of KR102378746B1 publication Critical patent/KR102378746B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics
    • Y10S128/922—Computer assisted medical diagnostics including image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

The present invention provides a deep learning-based automatic segmentation method of an abdominal organ in a medical image which can accurately perform automatic segmentation of an abdominal organ. The deep learning-based automatic segmentation method of an abdominal organ in a medical image comprises: a step of inputting a plurality of sagittal images, a plurality of coronal images, and a plurality of axial images of a two-dimensional medical video including an abdominal organ into a two-dimensional deep neural network to generate a plurality of prediction maps and a plurality of label data of a region of interest through the two-dimensional deep neural network; a step of performing weighted fusion on the generated plurality of prediction maps to generate a preliminary shape model of the region of interest; and a step of inputting the preliminary shape model and a three-dimensional medical video including the abdominal organ into a three-dimensional deep neural network to acquire a segmentation result of the region of interest through the three-dimensional deep neural network.

Description

의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법{ABNOMINAL ORGAN AUTOMATIC SEGMENTATION BASED ON DEEP LEARNING IN A MEDICAL IMAGE}Abdominal organ segmentation method based on deep learning in medical imaging {ABNOMINAL ORGAN AUTOMATIC SEGMENTATION BASED ON DEEP LEARNING IN A MEDICAL IMAGE}

본 발명은 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법에 관한 것으로, 보다 자세하게는 2차원 딥 뉴럴 네트워크와 3차원 딥 뉴럴 네트워크를 이용한 복부 장기 자동분할 방법에 관한 것이다. The present invention relates to a method for automatically segmenting abdominal organs based on deep learning in medical images, and more particularly, to a method for automatic segmentation of abdominal organs using a 2D deep neural network and a 3D deep neural network.

방사선 치료는 종양의 주변 정상 조직에 방사선 투입량을 최소화하면서 종양에 정확하게 방사선을 투입하는 것이 중요하다. 이를 위해 치료 직전 환자의 영상을 다시 얻어 치료계획 당시의 환자 자세 및 종양 위치와 비교하여 환자의 위치를 보정하거나 치료계획을 수정하여 치료의 정확성을 높이는 영상유도 방사선 치료가 많이 사용되고 있다.In radiation therapy, it is important to accurately inject radiation into the tumor while minimizing the amount of radiation injected into the surrounding normal tissues. To this end, image-guided radiation therapy is widely used in which an image of a patient immediately before treatment is re-acquired and compared with the patient's posture and tumor position at the time of treatment plan to correct the patient's position or correct the treatment plan to increase the accuracy of treatment.

암의 예후 및 치료 반응 평가를 위해서는 종양 크기를 측정하는 것이 필수적이다. 종양 크기는 현재 일차원 RECIST 또는 2차원 WHO를 사용하여 정량화되지만, 종양의 3D 측정과 비교하여 선-길이 측정이 오도될 수 있음을 암시하는 입증되지 않은 증거가 계속 나오고 있다. 또한, 이미지 특징을 분석하고 치료 계획을 위해 종양 볼륨(volume)을 파악하기 위해서는 용적 분할(volumetric segmentation)이 필요하다.It is essential to measure the tumor size in order to evaluate the prognosis and treatment response of cancer. Tumor size is currently quantified using one-dimensional RECIST or two-dimensional WHO, but unproven evidence continues to emerge suggesting that line-length measurements may be misleading compared to 3D measurements of tumors. In addition, volumetric segmentation is required to analyze image features and determine tumor volume for treatment planning.

이러한 종양을 치료하기 위해 의료 영상(예: 전산화단층촬영영상(CT: Computed Tomography)에서 복부 장기 분할은 우선적으로 수행되어야 할 과정이다. 또한 복부 장기에서 발생하는 암 주변 장기의 방사선 조사를 최소화하기 위한 방사선 치료 계획을 세우는데도 복부 장기 분할이 선행되어야 한다. 이때, 임상 전문의가 수동으로 장기를 분할하거나 반자동 분할 프로그램을 이용하여 복부 장기를 분할하는 경우, 시간이 오래 걸리고, 임상 전문의 간 분할 결과에 차이가 발생하는 한계가 있어 복부 장기를 자동으로 분할하는 연구가 진행되고 있다. 그러나 도 1과 같이 복부 CT 영상에서 복부 장기들(간(liver), 심장(heart), 비장(spleen) 등)의 위치가 서로 인접해 있고, 밝기값이 유사하여 자동 분할 시 주변에 유사한 밝기값을 가진 장기로의 누출(leakage)이 발생하고, 사람에 따라 간의 형태와 크기가 다양하게 나타나기 때문에 정확한 장기 분할에 한계가 있다.In order to treat these tumors, segmentation of abdominal organs in medical imaging (eg, computed tomography (CT)) is a priority process, and in order to minimize irradiation to the surrounding organs of cancer that occurs in the abdominal organs. The abdominal organ segmentation must precede the radiation treatment plan. In this case, if the clinical specialist manually divides the organ or uses a semi-automatic segmentation program to divide the abdominal organ, it takes a long time, and the results of the liver segmentation by the clinician There is a limitation in that differences occur, so studies of automatically segmenting abdominal organs are being conducted, but as shown in Fig. 1, abdominal organs (liver, heart, spleen, etc.) Since the locations are adjacent to each other and the brightness values are similar, leakage occurs to organs with similar brightness values in the vicinity during automatic division, and the shape and size of the liver vary from person to person, so accurate organ division is limited. There is.

한편, 최근에는 기계 학습 알고리즘들 중 딥 러닝(deep learning)이라는 기술이 다양한 분야에서 각광받고 있다. 특히, 객체 인식(object recognition) 분야에서는 딥 러닝의 일종인 CNN(convolutional neural network)이라는 기술이 각광받고 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다. CNN은 일반적으로 컨볼루션(convolution) 연산을 통해 영상의 특징을 추출하기 위한 다양한 필터와 비선형적인 특성을 더하기 위한 풀링(pooling) 또는 비선형 활성화(non-linear activation) 함수(예: sigmod, ReLU(rectified linear unit) 등) 등을 사용할 수 있다.Meanwhile, a technology called deep learning among machine learning algorithms has recently been in the spotlight in various fields. In particular, in the field of object recognition, a technology called CNN (convolutional neural network), a kind of deep learning, is in the spotlight. CNN is a model that simulates the brain function of a person based on the assumption that when a person recognizes an object, it extracts basic features of an object, then performs complex calculations in the brain and recognizes the object based on the result. CNNs are generally used with various filters for extracting features of an image through a convolution operation and a pooling or non-linear activation function for adding non-linear features (e.g. sigmod, ReLU (rectified)). linear unit), etc.) can be used.

이러한, 딥 러닝에 대한 관심의 증가와 함께, 다양한 의료 기기(예: 초음파, CT(computed tomography), MRI(magnetic resonance imaging) 등) 분야에서도 딥 러닝에 대한 관심이 증가하고 있다.With the increasing interest in deep learning, interest in deep learning is also increasing in various medical devices (eg, ultrasound, computed tomography (CT), magnetic resonance imaging (MRI), etc.).

Peng et al, "Large Kernel Matters: Improve Semantic Segmentation by Global Convolutional Network", arXiv, March 2017.

Figure pat00001
iηek et al., "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation", MICCAI 2016. Peng et al, "Large Kernel Matters: Improve Semantic Segmentation by Global Convolutional Network", arXiv, March 2017.
Figure pat00001
iηek et al., "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation", MICCAI 2016.

본 발명이 해결하고자 하는 과제는 2차원 딥 뉴럴 네트워크를 통해 생성된 사전형상모델과 복부의 바운딩 볼륨(bounding volume)을 3차원 딥 뉴럴 네트워크에 입력함으로써 복부 장기 중 어느 하나의 장기와 밝기값이 유사하게 나타나는 주변기관의 경계부위에서 정확하게 분할하는 복부 장기 자동분할 방법을 제공하는 것이다.The problem to be solved by the present invention is that the brightness value of any one of the abdominal organs is similar to the one of the abdominal organs by inputting the pre-shape model generated through the 2D deep neural network and the bounding volume of the abdomen into the 3D deep neural network. It is to provide a method of automatic division of abdominal organs that accurately divides at the boundary of the surrounding organs that appear to be displayed.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems that are not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법은 복부 장기가 포함된 2차원 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하여. 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터 및 복수의 예측맵(Prediction map)을 생성하는 단계; 상기 생성된 복수의 예측맵을 각각 가중 융합(weighted fusion)함으로써 상기 관심 영역의 사전형상모델을 생성하는 단계; 및 상기 복부 장기가 포함된 3차원 의료 영상과 상기 사전형상모델을 3차원 딥 뉴럴 네트워크에 입력하여. 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함한다.In the medical image according to an aspect of the present invention for solving the above-described problem, a method for automatically dividing abdominal organs based on deep learning includes a plurality of axial images and a plurality of coronal images of a two-dimensional medical image including abdominal organs. ) By inputting an image and a plurality of sagittal images into a two-dimensional deep neural network. Generating a plurality of label data and a plurality of prediction maps of a region of interest through the 2D deep neural network; Generating a pre-shape model of the region of interest by weighted fusion of each of the generated prediction maps; And inputting the 3D medical image including the abdominal organs and the pre-shape model into a 3D deep neural network. And obtaining a result of segmentation of the region of interest through the 3D deep neural network.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the present invention are included in the detailed description and drawings.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.According to the present invention as described above, it has various effects as follows.

본 발명은 복부 장기의 자동 분할을 정확하게 수행할 수 있다.The present invention can accurately perform automatic division of abdominal organs.

또한, 본 발명은 사전형상모델을 이용하여 3차원 딥 뉴럴 네트워크에서의 과분할(over-segmentation)을 방지할 수 있다.In addition, the present invention can prevent over-segmentation in a 3D deep neural network by using a pre-shape model.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1 은 조영증강 복부 CT 영상에서 간 분할의 한계점을 나타낸 도면으로서, (a)는 축상 단면도에서의 간과 심장을 나타내며, (b)는 간과 주변기관의 관상 단면도를 나타내고, (c)는 간과 비장의 시상 단면도를 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 2D FCN을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 3D U-Net을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 테이블이다.
도 7은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 예시도이다.1 is a diagram showing the limiting points of liver segmentation in a contrast-enhanced abdominal CT image, (a) shows the liver and heart in an axial cross-sectional view, (b) shows a coronal cross-sectional view of the liver and surrounding organs, and (c) shows the liver and spleen. It is a view showing a sagittal cross-sectional view.
2 is a flowchart illustrating a method of automatically dividing abdominal organs according to an embodiment of the present invention.
3 is a block diagram illustrating a method of automatically dividing abdominal organs according to an embodiment of the present invention.
4 is an exemplary diagram for describing a 2D FCN according to an embodiment of the present invention.
5 is an exemplary diagram for explaining a 3D U-Net according to an embodiment of the present invention.
6 is a table for explaining the effect of the method of automatically dividing abdominal organs according to an embodiment of the present invention.
7 is an exemplary view for explaining the effect of the method of automatically dividing abdominal organs according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, only the present embodiments are intended to complete the disclosure of the present invention, It is provided to fully inform the technician of the scope of the present invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, “comprises” and/or “comprising” do not exclude the presence or addition of one or more other elements other than the mentioned elements. Throughout the specification, the same reference numerals refer to the same elements, and “and/or” includes each and all combinations of one or more of the mentioned elements. Although "first", "second", and the like are used to describe various elements, it goes without saying that these elements are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical idea of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms "below", "beneath", "lower", "above", "upper", etc., as shown in the figure It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms including different directions of components during use or operation in addition to the directions shown in the drawings. For example, if a component shown in a drawing is turned over, a component described as "below" or "beneath" of another component will be placed "above" the other component. I can. Accordingly, the exemplary term “below” may include both directions below and above. Components may be oriented in other directions, and thus spatially relative terms may be interpreted according to orientation.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

의미적 영상 분할(sementic segmentation)은 일반적인 영상 분할과 같이 단순히 어떤 특징이나 계산된 속성의 관점에서 유사한 영역으로 나누는데 그치는 것이 아니라, 의미적으로 같은 부분까지 나누고 그 부분이 어떠한 범주에 속하는지 판별하는 기술을 말한다.Semantic segmentation, like general image segmentation, is not limited to simply dividing into similar areas in terms of certain features or calculated attributes, but a technology that divides semantically the same part and determines which category the part belongs to. Say.

즉, 영상의 모든 픽셀에 대해서 미리 정의된 범주안에서 어떤 범주에 속하는지 분류하는 기술에 상응할 수 있고, 픽셀단위 분류(pixelwise classification)에 상응할 수도 있다.That is, it may correspond to a technology for classifying which category of all pixels of an image belongs within a predefined category, and may correspond to pixelwise classification.

의미적 영상 분할하는 방법은 크게 2가지 분류로 나뉜다. 첫째는 입력된 영상에서 수제 특징(Hand-craft features)을 뽑아서 수퍼 픽셀(Super-pixel) 단위로 분할한 뒤, 의미기반으로 영상을 분할하는 기법이다. 보다 상세하게는, 주어진 영상 데이터를 분석하여 단서가 될 수 있는 특징(Feature)들을 사용자가 직접 설계하여 추출할 수 있다. 이후 추출된 특징들의 패턴을 근거로 수퍼 픽셀 단위로 세그맨테이션을 수행할 수 있다. 이 과정은 정확도와 속도의 향상을 이끌어 낼 수 있다. 이후, 각각의 수퍼 픽셀 단위로 서포트 벡터 머신 (Support Vector Machine)을 이용하여 의미적 영상 분할을 진행하여 해당하는 픽셀 혹은 수퍼 픽셀이 어떤 분류에 속하는지 판단할 수 있다. 이러한 방법은 시스템에 입력되는 영상의 종류가 달라지면 그에 맞는 수제 특징을 매번 다시 설계해야 하기 때문에 시스템 활용 범위에 제한이 있다는 단점이 있으며, 수제 특징 추출은 처리 속도가 느리다는 단점도 있다.The semantic image segmentation method is largely divided into two categories. The first is a technique of extracting hand-craft features from the input image, dividing it into super-pixel units, and then dividing the image based on meaning. In more detail, a user may directly design and extract features that may serve as clues by analyzing given image data. Thereafter, segmentation may be performed in units of super pixels based on patterns of the extracted features. This process can lead to improved accuracy and speed. Thereafter, semantic image segmentation may be performed in units of each super pixel using a support vector machine, so that a corresponding pixel or super pixel may be determined in which classification it belongs. This method has a disadvantage in that the range of use of the system is limited because, when the type of image input to the system is changed, a corresponding handmade feature must be redesigned each time, and the manual feature extraction has a disadvantage in that the processing speed is slow.

둘째는 딥 러닝(Deep Learning)을 이용하여 특징(Features)을 추출한 뒤, 이것을 기반으로 픽셀(pixel) 단위로 분류(Classification)하는 기법이다. 딥 러닝(Deep Learning) 기반 분류의 성능이 우수함이 입증됨에 따라 의미 기반 영상 분할에서도 콘볼루션 인공신경망(Convolutional Neutral Network, CNN) 구조를 이용한 접근법이 제시되고 있다. 이러한 CNN 구조를 변경한 FCN(Fully Convolutional Networks)는 영상 분할(Image Segmentation)에도 뛰어난 성능을 보인다. 수퍼픽셀 단위의 분할을 진행한 후, 학습 데이터셋을 이용하여 CNN 필터를 학습하고 영상을 분할한 후 CRF (Conditional Random Field)와 같은 후 처리를 거칠 수 있다.The second is a technique of extracting features using deep learning and then classifying them in pixel units. As the performance of deep learning-based classification has been proven to be excellent, an approach using a convolutional neural network (CNN) structure has been proposed for semantic-based image segmentation. FCN (Fully Convolutional Networks), which has changed the CNN structure, shows excellent performance in image segmentation. After the superpixel division is performed, the CNN filter is trained using the training dataset, the image is segmented, and post-processing such as CRF (Conditional Random Field) can be performed.

이하에서, 본 발명에서 설명하는 분할은 의미적 영상 분할을 의미할 수 있고, 딥 러닝에 기반한 의미적 영상 분할 방법이 적용될 수 있다.Hereinafter, the segmentation described in the present invention may mean semantic image segmentation, and a semantic image segmentation method based on deep learning may be applied.

도 2는 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법을 설명하기 위한 블록도이다. 도 4는 본 발명의 일 실시 예에 따른 2D FCN을 설명하기 위한 예시도이다. 도 5는 본 발명의 일 실시 예에 따른 3D U-Net을 설명하기 위한 예시도이다. 도 6은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 테이블이다. 도 7은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 예시도이다.2 is a flowchart illustrating a method of automatically dividing abdominal organs according to an embodiment of the present invention. 3 is a block diagram illustrating a method of automatically dividing abdominal organs according to an embodiment of the present invention. 4 is an exemplary diagram for describing a 2D FCN according to an embodiment of the present invention. 5 is an exemplary diagram for explaining a 3D U-Net according to an embodiment of the present invention. 6 is a table for explaining the effect of the method of automatically dividing abdominal organs according to an embodiment of the present invention. 7 is an exemplary view for explaining the effect of the method of automatically dividing abdominal organs according to an embodiment of the present invention.

본 발명은 복부 장기 자동분할 시스템으로 구현될 수 있고, 영상 입력부, 2차원 딥러닝부, 사전형상모델 생성부, 영역 크롭부 및 3차원 딥러닝부를 포함할 수 있다.The present invention may be implemented as an automatic abdominal organ segmentation system, and may include an image input unit, a two-dimensional deep learning unit, a pre-shape model generation unit, a region cropping unit, and a 3D deep learning unit.

도 2 내지 도 4를 참조하면, 일 실시 예에서, 동작 21에서, 영상 입력부가 복부 장기가 포함된 의료 영상(100)의 복수의 축상(Axial) 이미지(110), 복수의 관상(Coronal) 이미지(120) 및 복수의 시상(Sagittal) 이미지(130)를 2차원 딥 뉴럴 네트워크(200)에 입력할 수 있다. 예를 들어, 2차원 딥 뉴럴 네트워크(200)는 2D FCN(fully convolutional network) 및 2D U-net 중 적어도 하나를 포함할 수 있다. 예를 들어, 의료 영상은 2차원 의료 영상(예: x-ray 이미지) 및/또는 3차원 의료 영상(예: CT 이미지, MRI, PET 이미지)을 포함하며, 의료 영상이라면 특별한 제한은 없다. "영상"은 전산화 단층 촬영(CT; computed tomography), 자기 공명 영상(MRI; magnetic resonance imaging), 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템에 의하여 수집된 피검체(subject)의 의료 영상일 수 있다. 의료 영상(100)은 복셀 데이터로서, 복수의 슬라이스 즉, 복수 개의 단위 이미지들로 이루어진다.2 to 4, in an embodiment, in operation 21, a plurality of axial images 110 and a plurality of coronal images of a medical image 100 including an abdominal organ in the image input unit 120 and a plurality of sagittal images 130 may be input to the 2D deep neural network 200. For example, the 2D deep neural network 200 may include at least one of a 2D fully convolutional network (FCN) and a 2D U-net. For example, the medical image includes a 2D medical image (eg, x-ray image) and/or a 3D medical image (eg, CT image, MRI, PET image), and there is no particular limitation if it is a medical image. “Image” refers to a subject collected by computed tomography (CT), magnetic resonance imaging (MRI), ultrasound, or any other medical imaging system known in the art. It may be a medical image of. The medical image 100 is voxel data and is composed of a plurality of slices, that is, a plurality of unit images.

일 실시 예에서, 동작 22에서, 2차원 딥러닝부는 2차원 딥 뉴럴 네트워크(200)를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터(310, 320, 330) 및 복수의 예측맵(410, 420, 430, Prediction map)을 생성할 수 있다. 예를 들어, 관심 영역은 복부 장기 중 어느 하나의 장기(예: 간)가 배치된 영역일 수 있다.In an embodiment, in operation 22, the 2D deep learning unit performs a plurality of label data 310, 320, 330 and a plurality of predictions of a region of interest through the 2D deep neural network 200. Maps 410, 420, 430, and Prediction maps may be generated. For example, the region of interest may be a region in which any one of the abdominal organs (eg, liver) is disposed.

일 실시 예에서, 도 4에 도시된 2D FCN(fully convolutional network)은 "Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network", arXiv, Mar 2017에서 제안하는 콘볼루션 네트워크 구조에 상응할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 의료 영상(20)은 컨볼루션 레이어에 입력되어 컨볼루셔널 필터와 매칭되는 성분을 추출한 이후, 4 번의 리사이징을 거친 각각의 성분들이 GCN(global convolutional network), BR(boundary refinement)에 입출력될 수 있고, 가장 사이즈가 낮은 성분들부터 디컨볼루션 필터에 매칭되는 성분들이 추출되어 가장 인접한 상위 사이즈의 성분들과 합쳐질 수 있고, BR에 입출력됨에 따라 레이블 데이터(30)와 예측맵이 생성될 수 있다. 도 4에 개시된 x, y, 채널의 숫자는 예시적이고 다양하게 변형될 수 있다. In one embodiment, the 2D fully convolutional network (FCN) shown in FIG. 4 may correspond to the convolutional network structure proposed by “Large Kernel Matters - Improve Semantic Segmentation by Global Convolutional Network”, arXiv, Mar 2017. For example, as shown in FIG. 4, after the medical image 20 is input to the convolution layer to extract a component matching the convolutional filter, each component that has undergone resizing four times is a global convolutional network (GCN). , Boundary refinement (BR) can be input/output, and components matching the deconvolution filter from the lowest component are extracted and merged with the components of the nearest higher size, and label data ( 30) and prediction maps can be generated. The number of x, y, and channels disclosed in FIG. 4 is exemplary and can be variously modified.

일 실시 예에서, 복수의 예측맵(410, 420, 430, Prediction map)은 입력된 의료 영상보다 해상도는 낮지만 다수의 채널을 가질 수 있다. 생성된 복수의 예측맵(410, 420, 430, Prediction map)을 통해 영역 구분 단계와 물체 검출 단계에서 서로 공유하여 영역을 구분하고 관심 영역(복부 장기 중 어느 하나의 장기)를 검출할 수 있다. 즉, 복수의 예측맵(410, 420, 430, Prediction map)으로부터 픽셀 레이블링을 수행하여 영상의 영역을 구분할 수 있다. 이때, 픽셀 레이블링은 입력 영상의 유사한 특징(feature)을 가지는 인접 픽셀에 모두 같은 번호(lable)를 붙이는 방법으로 수행할 수 있다. 또한, 복수의 레이블(Label) 데이터(310, 320, 330)에 포함된 픽셀 레이블링 결과는 영상의 분류할 클래스에 대한 각 픽셀별 확률 분포 정보를 포함할 수 있다.In an embodiment, the plurality of prediction maps 410, 420, 430, and prediction maps have a lower resolution than the input medical image, but may have a plurality of channels. Through the generated prediction maps 410, 420, and 430, the prediction maps 410, 420, and 430 are shared with each other in the step of classifying an area and the step of detecting an object to classify a region and detect a region of interest (any one of the abdominal organs). That is, pixel labeling may be performed from a plurality of prediction maps 410, 420, 430, and prediction maps to distinguish an image region. In this case, pixel labeling may be performed by attaching the same number to all adjacent pixels having similar features of the input image. In addition, the pixel labeling result included in the plurality of label data 310, 320, and 330 may include probability distribution information for each pixel of a class to be classified of an image.

일 실시 예에서, 복수의 레이블(Label) 데이터(310, 320, 330) 및 복수의 예측맵(410, 420, 430, Prediction map)의 생성은 컨볼루션 신경망(Convolution Neural Network, CNN)을 사용할 수 있으나, 이에 한정되지 않으며 심층 신경망(Deep Neural Network, DNN), 순환 신경망(Recurrent Neural Network, RNN)등 영상처리장치의 사용 목적에 따라 달라질 수 있다. 여기에서 일 예로서 2D FCN(fully convolutional network)에 따라 복수의 레이블(Label) 데이터(310, 320, 330) 및 복수의 예측맵(410, 420, 430, Prediction map)이 생성될 수 있다.In one embodiment, the generation of a plurality of label data (310, 320, 330) and a plurality of prediction maps (410, 420, 430, Prediction map) may use a convolution neural network (CNN). However, the present invention is not limited thereto, and may vary depending on the purpose of use of the image processing apparatus, such as a deep neural network (DNN) or a recurrent neural network (RNN). Here, as an example, a plurality of label data 310, 320, 330 and a plurality of prediction maps 410, 420, 430, and prediction maps may be generated according to a 2D fully convolutional network (FCN).

일 실시 예에서, 동작 23에서, 사전형상모델 생성부는 복수의 축상(Axial) 이미지(110), 복수의 관상(Coronal) 이미지(120) 및 복수의 시상(Sagittal) 이미지 각각에서 분할한 결과로 생성된 복수의 예측맵(410, 420, 430)을 각각 가중 융합(500, weighted fusion)함으로써 레이블 3차원 데이터(600)와 관심 영역의 사전형상모델(700)을 생성할 수 있다. 예를 들어, 사전형상모델(700)은 관심 영역의 3차원 공간적 형상 정보를 확률맵(probability map) 형태로 포함할 수 있다. 예컨대, 사전형상모델(700)은 의료 영상(100)에서 영역을 구분하고 물체를 검출하는데 의미 있는 정보를 포함할 수 있으며 예컨대, 의료 영상(100)의 광도, 색채, 윤곽 등을 포함할 수 있다.In an embodiment, in operation 23, the pre-shape model generation unit is generated as a result of dividing each of a plurality of axial images 110, a plurality of coronal images 120, and a plurality of sagittal images. The three-dimensional label data 600 and the pre-shape model 700 of the region of interest may be generated by weighted fusion 500, respectively, of the plurality of prediction maps 410, 420, and 430. For example, the pre-shape model 700 may include 3D spatial shape information of the region of interest in the form of a probability map. For example, the pre-shape model 700 may include information that is meaningful for classifying an area in the medical image 100 and detecting an object, and may include, for example, luminous intensity, color, outline, etc. of the medical image 100. .

일 실시 예에서, 사전형상모델(700)은 복수의 축상(Axial) 이미지(310)에 대응하는 복수의 예측맵(410), 복수의 관상(Coronal) 이미지(120)에 대응하는 복수의 예측맵(420) 및 복수의 시상(Sagittal) 이미지(130)에 대응하는 복수의 예측맵(430)의 가중 평균에 의하여 연산될 수 있다. 구체적으로, 사전형상모델(700)은 하기 수학식 1에 의하여 연산될 수 있다.In one embodiment, the pre-shape model 700 is a plurality of prediction maps 410 corresponding to a plurality of axial images 310, a plurality of prediction maps corresponding to a plurality of coronal images 120 It may be calculated by a weighted average of 420 and a plurality of prediction maps 430 corresponding to the plurality of sagittal images 130. Specifically, the dictionary shape model 700 may be calculated by Equation 1 below.

[수학식 1][Equation 1]

Figure pat00002
Figure pat00002

y는 사전형상모델(700)이고, n은 복수의 축상(Axial) 이미지(310), 복수의 관상(Coronal) 이미지(320) 및 복수의 시상(Sagittal) 이미지(330) 각각의 개수이고, yi는 복수의 예측맵(410, 420, 430)의 복부 장기가 관심 영역일 확률이고, wi는 하기 수학식 2에 의해 결정되는 가중치일 수 있다.y is the pre-shape model 700, n is the number of each of a plurality of axial images 310, a plurality of coronal images 320, and a plurality of sagittal images 330, yi Is the probability that the abdominal organs of the plurality of prediction maps 410, 420, and 430 are the region of interest, and wi may be a weight determined by Equation 2 below.

[수학식 2][Equation 2]

Figure pat00003
Figure pat00003

따라서, 사전형상모델(700)은 관심 영역이 존재할 확률이 0.5 이상인 복수의 예측맵(410, 420, 430)만을 통합하여 생성될 수 있다.Accordingly, the pre-shape model 700 may be generated by integrating only a plurality of prediction maps 410, 420, and 430 having a probability of having an ROI of 0.5 or more.

일 실시 예에서, 동작 24에서, 영역 크롭부는 사전형상모델(700)에서 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)할 수 있다. 예를 들어, 3차원 딥 뉴럴 네트워크의 연산 과정을 줄이기 위해 사전형상모델(700)에서 경계 영역의 일부를 크롭할 수 있다.In an embodiment, in operation 24, the region cropping unit may crop at least a part of the remaining regions of the pre-shape model 700 except for the ROI. For example, in order to reduce the computation process of the 3D deep neural network, a part of the boundary area may be cropped in the preshape model 700.

일 실시 예에서, 동작 25에서, 영역 크롭부는 3차원 의료 영상(800)에서 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)할 수 있다. 예를 들어, 3차원 딥 뉴럴 네트워크의 연산 과정을 줄이기 위해 3차원 의료 영상(800)에서 경계 영역의 일부를 크롭할 수 있다. 구체적으로, 예를 들어, 밝기값 정보를 이용하여 간과 주변 기관들이 갖는 밝기값 정보와 전혀 다른 경계 부분을 크롭할 수 있다.In an embodiment, in operation 25, the region cropping unit may crop at least a portion of the remaining regions of the 3D medical image 800 except for the ROI. For example, in order to reduce the operation process of the 3D deep neural network, a part of the boundary area in the 3D medical image 800 may be cropped. Specifically, for example, by using the brightness value information, a boundary portion completely different from the brightness value information of the liver and surrounding organs may be cropped.

일 실시 예에서, 동작 26에서, 영상 입력부는 복부 장기가 포함된 3차원 의료 영상(800)과 사전형상모델(700)을 3차원 딥 뉴럴 네트워크(900)에 입력할 수 있다. 예를 들어, 3차원 딥 뉴럴 네트워크(900)는 3D U-net을 포함할 수 있다. 또한 이와 달리 크롭한 사전형상모델과 크롭한 3차원 의료 영상(810)을 3차원 딥 뉴럴 네트워크(900)에 입력할 수 있다.In an embodiment, in operation 26, the image input unit may input a 3D medical image 800 including abdominal organs and a pre-shape model 700 to the 3D deep neural network 900. For example, the 3D deep neural network 900 may include a 3D U-net. Also, unlike this, the cropped pre-shape model and the cropped 3D medical image 810 may be input to the 3D deep neural network 900.

일 실시 예에서, 도 5에 도시된 3D U-net은 “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation", MICCAI 2016. 에서 제안하는 콘볼루션 네트워크 구조에 상응할 수 있다. 예를 들어, 3D U-Net은 왼쪽에 도시된 수축 경로(40, contracting path) 및 오른쪽에 도시된 팽창 경로(50, expansive path)를 포함할 수 있다. 수축 경로는 합성곱 신경망의 전형적인 구조를 따르고 있는바, 이는 2번의 3x3 합성곱(unpadded convolutions; 패딩되지 않은 합성곱)의 반복적 적용을 포함하는데, 그 각각의 합성곱에는 보정 선형 유닛(rectified linear unit; ReLU) 및 다운샘플링(downsampling)을 위한 스트라이드(stride) 2의 2x2 최대 풀링 연산이 뒤따른다. 각각의 다운샘플링 단계에 있어서 특징 채널(feature channel)들의 개수는 2배가 취해진다. 팽창 경로에 있어서의 모든 단계는 특징 맵(feature map)의 업샘플링(upsampling) 및 이에 뒤따르는 특징 채널들의 개수를 절반으로 줄이는 2x2 합성곱(“up-convolution”), 이에 대응되도록 절단된(cropped) 수축 경로로부터의 특징 맵과의 결합(concatenation), 및 2번의 3x3 합성곱으로 구성되는데, 2번의 3x3 합성곱 각각에는 ReLU가 뒤따른다. 전술한 절단은 모든 합성곱에 있어서의 경계선 픽셀들(border pixels)의 손실 때문에 필수적이다. 최종 층(final layer)에서 1x1 합성곱이 각각의 64 차원(64-component) 특징 벡터를 원하는 개수의 클래스(class)에 맵핑하는 데에 이용된다. 이 예시적 신경망에서는 모두 22개의 합성곱 층들이 포함되었는데, 이개수는 임의적인 것이다. 출력으로 나오는 분할 맵(segmentation map)이 깔끔하게 이어지도록, 모든 2x2 최대 풀링 연산(max-pooling operation)이 짝수의 x 크기 및 y 크기를 가지는 층에 적용되도록 입력 타일의 크기(input tile size)를 선택하는 것이 중요하다는 것을 통상의 기술자는 이해할 수 있을 것이다.In one embodiment, the 3D U-net shown in FIG. 5 may correspond to the convolutional network structure proposed in “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation”, MICCAI 2016. For example, The 3D U-Net may include a contracting path 40 shown on the left and an expansive path 50 shown on the right, and the contraction path follows a typical structure of a convolutional neural network. This involves iterative application of two 3x3 convolutions (unpadded convolutions), each of which has a rectified linear unit (ReLU) and a stride for downsampling. ) Is followed by a 2x2 maximum pooling operation of 2. In each downsampling step, the number of feature channels is doubled, and every step in the expansion path is upsampling the feature map ( upsampling) and a 2x2 convolution (“up-convolution”) that reduces the number of feature channels that follow it in half, concatenation with the feature map from the constriction path cropped correspondingly, and two 3x3 It consists of a convolution, followed by ReLU for each of the 2 3x3 convolutions. The above truncation is necessary because of the loss of border pixels in all convolutions. 1x1 synthesis in the final layer. The product is used to map each 64-component feature vector to a desired number of classes In this example neural network, all 22 convolutional layers are included, which is arbitrary. All 2x2, so that the segmentation map that comes out is neatly connected. It will be appreciated by those skilled in the art that it is important to select an input tile size such that a max-pooling operation is applied to a layer having an even number of x and y sizes.

일 실시 예에서, 동작 27에서, 3차원 딥러닝부는 3차원 딥 뉴럴 네트워크(900)를 통해 관심 영역의 분할 결과(10)를 획득할 수 있다. 여기서 분할 결과(10)는 관심 영역에 해당하는 특정 장기가 분할된 영상일 수 있다.In an embodiment, in operation 27, the 3D deep learning unit may obtain the segmentation result 10 of the ROI through the 3D deep neural network 900. Here, the segmentation result 10 may be an image in which a specific organ corresponding to the region of interest is segmented.

즉, 본 발명은 2차원 딥 뉴럴 네트워크와 사전형상모델을 통해 관심영역이 배치된 복부 장기 영역의 전체 맥락 정보를 고려하고, 사전형상모델을 이용하여 3차원 의료 영상을 통해 관심 영역이 위치한 지역 맥락 정보를 파악하는 연산을 줄임으로써 복부 장기 분할의 속도와 정확도를 높일 수 있다.That is, the present invention considers the entire context information of the abdominal organ area in which the region of interest is arranged through a two-dimensional deep neural network and a pre-shape model, and the regional context in which the region of interest is located through a three-dimensional medical image using the pre-shape model. The speed and accuracy of abdominal organ segmentation can be increased by reducing the number of operations to grasp information.

한편, 본 발명의 효과를 확인하기 위해 사용된 데이터 세트는 간암 환자에서 방사선 치료를 위해 얻은 155 개의 동맥 위상 CT 영상을 포함하고, 이 중에서 75개는 학습용, 33개는 유효성 검증용, 47명은 테스트용으로 나뉘었다. 이미지의 픽셀 간격과 슬라이스 두께는 0.65 내지 0.79 mm 또는 3.0 내지 7.0 mm일 수 있다.On the other hand, the data set used to confirm the effect of the present invention includes 155 arterial phase CT images obtained for radiotherapy in liver cancer patients, of which 75 are for learning, 33 for validation, and 47 for testing. Divided into dragons. The pixel spacing and slice thickness of the image may be 0.65 to 0.79 mm or 3.0 to 7.0 mm.

상기 분할 결과(10)의 정확성 평가를 위해 다이스 유사계수(Dice similarity coefficient, DSC), 볼륨 중복 오차(VOE: Volumetric Overlap Error), 민감도(Sensitivity, Sens), 특이도(Specificity, Spec), 정확도(Accuracy)를 수학식 3을 통해 계산하여 비교하였다.To evaluate the accuracy of the segmentation result (10), Dice similarity coefficient (DSC), volumetric overlap error (VOE), sensitivity (Sensitivity, Sens), specificity (Specificity, Spec), and accuracy ( Accuracy) was calculated and compared through Equation 3.

[수학식 3][Equation 3]

Figure pat00004
Figure pat00004

Figure pat00005
Figure pat00005

Figure pat00006
Figure pat00006

Figure pat00007
Figure pat00007

Figure pat00008
Figure pat00008

이때, A는 수동 분할 결과, B는 비교 방법 또는 제안 방법 결과, TP(True Positive)는 수동 분할한 장기 영역에서 자동 분할된 영역의 화소 개수, TN(True Negative)은 수동 분할한 장기 영역이 아닌 영역에서 자동 분할되지 않은 영역의 화소 개수, FP(False Positive)는 수동 분할한 장기 영역이 아닌 곳에서 자동 분할된 영역의 화소 개수, FN(False Negative)은 수동 분할한 장기 영역에서 자동 분할되지 않은 영역의 화소 개수를 의미한다.Here, A is the manual segmentation result, B is the comparison method or the proposed method result, TP (True Positive) is the number of pixels in the automatically segmented region in the manual segmented organ region, and TN (True Negative) is not the manually segmented organ region. The number of pixels in the region that is not automatically divided in the region, FP (False Positive) is the number of pixels in the region that is automatically divided in a non-manually divided long-term region, and FN (False Negative) is the number of pixels in the region that is not automatically divided. It means the number of pixels in the region.

도 6에 도시된 바와 같이. 본 발명의 2.5D+3D with shape-enhanced prior(사전형상모델)의 DSC는 94.3 %였으며 이전에 제안된 분할방법(2.5D+3D without shape-enhanced prior) 보다 5.4 % 더 높았고, 2.5D 분할 방법보다 3.4 % 더 높았다. 한편, 여기서 2.5D는 2차원 딥 뉴럴 네트워크를 통해 레이블 데이터 및 예측맵을 형성하는 것을 의미할 수 있다. 특이도의 경우, 본 발명의 분할 방법은 2.5D 분할 방법보다 2.5 % 및 1.4 % 더 높은 특이성을 나타낸다. 이는 본 발명의 분할 방법이 3D 딥 뉴럴 네트워크를 사용하여 미세한 디테일을 보정 할뿐만 아니라 사전형상모델 및 형상이 개선(예: 크롭)된 3차원 의료 영상을 사용하여 관심 영역과 인접한 장기에 영향 받은 것을 최대한 피함으로써 과다 세그먼테이션을 감소시키기 때문이다. 민감도의 경우, 2.5D+3D without shape-enhanced prior는 2.5D 분할 방법보다 8.6 % 낮은 민감도를 나타낸다. 이는 2.5D+3D without shape-enhanced prior가 복부 장기의 모양 변화가 클 때 과소분할(under-segmentation) 경향을 보여주기 때문이다. 그러나 본 발명에서 제안하는 분할 방법은 2.5D+3D without shape-enhanced prior 보다 4.4 % 더 높은 민감도를 보여준다. 이는 본 발명의 분할 방법이 복부 장기의 큰 변형을 파악하는 데 보다 적합하기 때문이다.As shown in Figure 6. The DSC of the 2.5D+3D with shape-enhanced prior (pre-shape model) of the present invention was 94.3%, 5.4% higher than the previously proposed segmentation method (2.5D+3D without shape-enhanced prior), and the 2.5D segmentation method Was 3.4% higher than that. Meanwhile, here, 2.5D may mean forming label data and a prediction map through a 2D deep neural network. In the case of specificity, the partitioning method of the present invention exhibits 2.5% and 1.4% higher specificity than the 2.5D partitioning method. This is because the segmentation method of the present invention not only corrects fine details using a 3D deep neural network, but also uses a pre-shape model and a 3D medical image with improved shape (e.g., cropped) to be affected by the organs adjacent to the region of interest. This is because excessive segmentation is reduced by avoiding it as much as possible. In the case of sensitivity, 2.5D+3D without shape-enhanced prior shows 8.6% lower sensitivity than the 2.5D segmentation method. This is because 2.5D+3D without shape-enhanced prior shows a tendency of under-segmentation when the shape change of abdominal organs is large. However, the segmentation method proposed in the present invention shows 4.4% higher sensitivity than 2.5D+3D without shape-enhanced prior. This is because the dividing method of the present invention is more suitable for grasping large deformation of abdominal organs.

도 7에 도시된 바와 같이, 각각의 case 1, case 2, case 3, case 4, case 5 모두 본 발명에서 제안하는 분할 방법(2.5D+3D with shape-enhanced prior)이 간을 복부 장기에서 가장 정확하게 분할함을 알 수 있다. 여기서 파란색은 트루 양성(True Positive), 녹색은 거짓 양성 (False Negative), 빨간색은 거짓 양성 (False Positive)이다. 2.5D 분할 방법은 인접한 기관으로의 누출로 인해 과도한 세분화 경향을 보여주고, 사전형상모델 없이 분할을 수행한 2.5D+3D without shape-enhanced prior는 3D 딥 뉴럴 네트워크를 학습하여 과소분할의 개선을 보여 주지만 인접한 기관으로의 누출이 여전히 발생한다. 그러나 사전형상모델을 이용한 본 발명의 분할 방법은 분할 대상 장기의 디테일한 부분을 수정하고 인접한 기관으로의 누출을 줄일 수 있다.As shown in FIG. 7, each of case 1, case 2, case 3, case 4, and case 5 all uses the segmentation method (2.5D+3D with shape-enhanced prior) proposed by the present invention to reduce the liver to the abdominal organs. You can see that it divides correctly. Here, blue is true positive, green is false negative, and red is false positive. The 2.5D segmentation method shows excessive segmentation tendency due to leakage to adjacent organs, and the 2.5D+3D without shape-enhanced prior segmentation without prior shape model shows improvement of under segmentation by learning 3D deep neural networks. However, leakage to adjacent organs still occurs. However, the dividing method of the present invention using a pre-shape model can correct detailed parts of an organ to be divided and reduce leakage to adjacent organs.

본 발명의 일 실시예에 따른 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법은, 복부 장기가 포함된 2차원 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하여. 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터 및 복수의 예측맵(Prediction map)을 생성하는 단계; 상기 생성된 복수의 예측맵을 각각 가중 융합(weighted fusion)함으로써 상기 관심 영역의 사전형상모델을 생성하는 단계; 및 상기 복부 장기가 포함된 3차원 의료 영상과 상기 사전형상모델을 3차원 딥 뉴럴 네트워크에 입력하여. 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함할 수 있다.The method for automatically segmenting abdominal organs based on deep learning in a medical image according to an embodiment of the present invention includes a plurality of axial images, a plurality of coronal images, and a plurality of two-dimensional medical images including abdominal organs. By inputting sagittal images into a two-dimensional deep neural network. Generating a plurality of label data and a plurality of prediction maps of a region of interest through the 2D deep neural network; Generating a pre-shape model of the region of interest by weighted fusion of each of the generated prediction maps; And inputting the 3D medical image including the abdominal organs and the pre-shape model into a 3D deep neural network. And obtaining a result of dividing the region of interest through the 3D deep neural network.

다양한 실시 예에 따르면, 상기 관심 영역은 상기 복부 장기 중 어느 하나의 장기가 배치된 영역일 수 있다.According to various embodiments, the region of interest may be a region in which any one of the abdominal organs is disposed.

다양한 실시 예에 따르면, 상기 사전형상모델에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계; 및 상기 크롭한 사전형상모델을 상기 3차원 딥 뉴럴 네트워크에 입력하는 단계;를 더 포함할 수 있다.According to various embodiments of the present disclosure, the step of cropping at least a part of a remaining area other than the ROI in the pre-shape model; And inputting the cropped pre-shape model to the 3D deep neural network.

다양한 실시 예에 따르면, 상기 3차원 의료 영상에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계; 및 상기 크롭한 3차원 의료 영상을 상기 3차원 딥 뉴럴 네트워크에 입력하는 단계;를 더 포함할 수 있다.According to various embodiments of the present disclosure, the step of cropping at least a portion of a region other than the region of interest in the 3D medical image; And inputting the cropped 3D medical image to the 3D deep neural network.

다양한 실시 예에 따르면, 상기 크롭한 사전형상모델과 상기 크롭한 3차원 의료 영상을 상기 3차원 딥 뉴럴 네트워크에 입력하여. 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함할 수 있다.According to various embodiments of the present disclosure, by inputting the cropped pre-shape model and the cropped 3D medical image into the 3D deep neural network. And obtaining a result of dividing the region of interest through the 3D deep neural network.

다양한 실시 예에 따르면, 상기 사전형상모델은 상기 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵의 가중 평균에 의하여 연산될 수 있다.According to various embodiments, the pre-shape model includes a plurality of prediction maps corresponding to the plurality of axial images, a plurality of prediction maps corresponding to the plurality of coronal images, and the plurality of sagittals. It may be calculated by a weighted average of a plurality of prediction maps corresponding to the image.

다양한 실시 예에 따르면, 상기 사전형상모델은 하기 수학식 1에 의하여 연산되고, [수학식 1]

Figure pat00009
y는 사전형상모델이고, n은 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지 각각의 개수이고, yi는 복수의 예측맵의 복부 장기가 관심 영역일 확률이고, wi는 하기 수학식 2
Figure pat00010
에 의해 결정되는 가중치일 수 있다.According to various embodiments, the dictionary shape model is calculated by Equation 1 below, and [Equation 1]
Figure pat00009
y is the pre-shape model, n is the number of each of a plurality of axial images, a plurality of coronal images, and a plurality of sagittal images, and yi is a region of interest in the abdominal organs of the plurality of prediction maps. Probability, wi is the following equation (2)
Figure pat00010
It may be a weight determined by.

다양한 실시 예에 따르면, 상기 사전형상모델은 상기 관심 영역의 3차원 공간적 형상 정보를 확률맵(probability map) 형태로 포함할 수 있다.According to various embodiments, the pre-shape model may include 3D spatial shape information of the ROI in the form of a probability map.

다양한 실시 예에 따르면, 상기 2차원 딥 뉴럴 네트워크는 2D FCN(fully convolutional network) 및 2D U-net 중 적어도 하나를 포함할 수 있다.According to various embodiments, the 2D deep neural network may include at least one of a 2D fully convolutional network (FCN) and a 2D U-net.

다양한 실시 예에 따르면, 상기 3차원 딥 뉴럴 네트워크는 3D U-net을 포함할 수 있다.According to various embodiments, the 3D deep neural network may include a 3D U-net.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. Software modules include Random Access Memory (RAM), Read Only Memory (ROM), Erasable Programmable ROM (EPROM), Electrically Erasable Programmable ROM (EEPROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. In the above, embodiments of the present invention have been described with reference to the accompanying drawings, but those of ordinary skill in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features. You can understand. Therefore, the embodiments described above are illustrative in all respects, and should be understood as non-limiting.

100 : 의료영상
200 : 2차원 딥 뉴럴 네트워크
310,320,330: 레이블 데이터
410,420,430: 예측맵
700: 사전형상모델
800: 3차원 의료영상
900: 3차원 딥 뉴럴 네트워크100: medical image
200: 2D deep neural network
310,320,330: label data
410,420,430: prediction map
700: pre-shape model
800: 3D medical image
900: 3D deep neural network

Claims (11)

의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법에 있어서,
복부 장기가 포함된 2차원 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하여, 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터 및 복수의 예측맵(Prediction map)을 생성하는 단계;
상기 생성된 복수의 예측맵을 각각 가중 융합(weighted fusion)함으로써 상기 관심 영역의 사전형상모델을 생성하는 단계; 및
상기 복부 장기가 포함된 3차원 의료 영상과 상기 사전형상모델을 3차원 딥 뉴럴 네트워크에 입력하여, 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.In the method of automatic segmentation of abdominal organs based on deep learning in medical images,
By inputting a plurality of axial images, a plurality of coronal images, and a plurality of sagittal images of a 2D medical image including abdominal organs into a 2D deep neural network, the 2D deep neural network is Generating a plurality of label data and a plurality of prediction maps of a region of interest through the method;
Generating a pre-shape model of the region of interest by weighted fusion of each of the generated prediction maps; And
And inputting the 3D medical image including the abdominal organs and the pre-shape model into a 3D deep neural network, and obtaining a result of segmentation of the ROI through the 3D deep neural network. A method for automatic segmentation of abdominal organs in medical images based on deep learning. 제1 항에 있어서,
상기 관심 영역은 상기 복부 장기 중 어느 하나의 장기가 배치된 영역인 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.The method of claim 1,
The region of interest is an area in which any one of the abdominal organs is disposed. The method of automatically segmenting abdominal organs in a medical image based on deep learning. 제1 항에 있어서,
상기 사전형상모델에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계; 및
상기 크롭한 사전형상모델을 상기 3차원 딥 뉴럴 네트워크에 입력하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.The method of claim 1,
Cropping at least a portion of the remaining areas other than the ROI in the pre-shape model; And
The method of automatically segmenting abdominal organs in a medical image based on deep learning, further comprising: inputting the cropped pre-shape model to the 3D deep neural network. 제3 항에 있어서,
상기 3차원 의료 영상에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계; 및
상기 크롭한 3차원 의료 영상을 상기 3차원 딥 뉴럴 네트워크에 입력하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.The method of claim 3,
Cropping at least a portion of the remaining area other than the ROI in the 3D medical image; And
Inputting the cropped 3D medical image to the 3D deep neural network; the method of automatically segmenting abdominal organs in a medical image based on deep learning, further comprising. 제4 항에 있어서,
상기 크롭한 사전형상모델과 상기 크롭한 3차원 의료 영상을 상기 3차원 딥 뉴럴 네트워크에 입력하여, 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.The method of claim 4,
And inputting the cropped pre-shape model and the cropped 3D medical image to the 3D deep neural network, and obtaining a segmentation result of the ROI through the 3D deep neural network. A method for automatic segmentation of abdominal organs in medical images based on deep learning. 제1 항에 있어서,
상기 사전형상모델은 상기 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵의 가중 평균에 의하여 연산되는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.The method of claim 1,
The pre-shape model includes a plurality of prediction maps corresponding to the plurality of axial images, a plurality of prediction maps corresponding to the plurality of coronal images, and a plurality of prediction maps corresponding to the plurality of sagittal images. A method for automatically segmenting abdominal organs in a medical image based on deep learning, characterized in that it is calculated by a weighted average of a prediction map. 제6 항에 있어서,
상기 사전형상모델은 하기 수학식 1에 의하여 연산되고,
[수학식 1]
Figure pat00011

y는 사전형상모델이고, n은 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지 각각의 개수이고, yi는 복수의 예측맵의 복부 장기가 관심 영역일 확률이고, wi는 하기 수학식 2에 의해 결정되는 가중치인 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.
[수학식 2]
Figure pat00012
The method of claim 6,
The prior shape model is calculated by Equation 1 below,
[Equation 1]
Figure pat00011

y is the pre-shape model, n is the number of each of a plurality of axial images, a plurality of coronal images, and a plurality of sagittal images, and yi is a region of interest in the abdominal organs of the plurality of prediction maps. Probability, and wi is a weight determined by Equation 2 below. A method of automatically segmenting abdominal organs in a medical image based on deep learning.
[Equation 2]
Figure pat00012
 제1 항에 있어서,
상기 사전형상모델은 상기 관심 영역의 3차원 공간적 형상 정보를 확률맵(probability map) 형태로 포함하는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.The method of claim 1,
The pre-shape model includes 3D spatial shape information of the region of interest in the form of a probability map. A method for automatically segmenting abdominal organs in a medical image based on deep learning, characterized in that. 제1 항에 있어서,
상기 2차원 딥 뉴럴 네트워크는 2D FCN(fully convolutional network) 및 2D U-net 중 적어도 하나를 포함하는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.The method of claim 1,
The 2D deep neural network includes at least one of a 2D fully convolutional network (FCN) and a 2D U-net. A method of automatically segmenting abdominal organs in a medical image based on deep learning. 제1 항에 있어서,
상기 3차원 딥 뉴럴 네트워크는 3D U-net을 포함하는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.The method of claim 1,
The 3D deep neural network is a method of automatically segmenting abdominal organs in a medical image based on deep learning, characterized in that the 3D deep neural network includes a 3D U-net. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제10항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 프로그램.
A program for automatic division of abdominal organs in a medical image based on deep learning, which is combined with a computer that is hardware and stored in a medium to execute the method of any one of claims 1 to 10.
KR1020190100356A 2019-08-16 2019-08-16 Abnominal organ automatic segmentation based on deep learning in a medical image KR102378746B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190100356A KR102378746B1 (en) 2019-08-16 2019-08-16 Abnominal organ automatic segmentation based on deep learning in a medical image
KR1020220032494A KR102410955B1 (en) 2019-08-16 2022-03-16 Method and computer program for automatic segmentation of abnominal organs based on deep learning in medical images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190100356A KR102378746B1 (en) 2019-08-16 2019-08-16 Abnominal organ automatic segmentation based on deep learning in a medical image

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220032494A Division KR102410955B1 (en) 2019-08-16 2022-03-16 Method and computer program for automatic segmentation of abnominal organs based on deep learning in medical images

Publications (2)

Publication Number Publication Date
KR20210020618A true KR20210020618A (en) 2021-02-24
KR102378746B1 KR102378746B1 (en) 2022-03-25

Family

ID=74688950

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190100356A KR102378746B1 (en) 2019-08-16 2019-08-16 Abnominal organ automatic segmentation based on deep learning in a medical image
KR1020220032494A KR102410955B1 (en) 2019-08-16 2022-03-16 Method and computer program for automatic segmentation of abnominal organs based on deep learning in medical images

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220032494A KR102410955B1 (en) 2019-08-16 2022-03-16 Method and computer program for automatic segmentation of abnominal organs based on deep learning in medical images

Country Status (1)

Country Link
KR (2) KR102378746B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487591A (en) * 2021-07-22 2021-10-08 上海嘉奥信息科技发展有限公司 CT-based whole spine segmentation method and system
CN113689369A (en) * 2021-07-06 2021-11-23 清华大学 Medical segmentation multi-stage fusion method and device based on deep learning
KR102385689B1 (en) 2021-08-30 2022-04-14 인그래디언트 주식회사 Apparatus and method for 3d cropping of medical image
KR20230009538A (en) * 2021-07-09 2023-01-17 한국과학기술원 Adaptive Instance Normalization-Based Chest X-Ray Image Segmentation Mehtod and Apparatus Therefor
WO2023287041A1 (en) * 2021-07-16 2023-01-19 오스템임플란트 주식회사 Device and method for providing sinus image and learning method thereof
CN115801980A (en) * 2022-11-08 2023-03-14 北京沃东天骏信息技术有限公司 Video generation method and device
KR102527376B1 (en) 2022-07-29 2023-06-14 인그래디언트 주식회사 Apparatus and method for auto labeling using thresholding of medical image
KR102613718B1 (en) * 2022-09-06 2023-12-14 주식회사 에어스메디컬 Method, program, and apparatus for object tracking based on medical imaging
WO2024049208A1 (en) * 2022-09-02 2024-03-07 아주대학교 산학협력단 Device and method for measuring air distribution in abdomen

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240003880A (en) 2022-07-04 2024-01-11 인하대학교 산학협력단 Unsupervised Domain Adaptive Generation Network Technique for Segmentation of Medical Images
KR20240045980A (en) 2022-09-30 2024-04-08 연세대학교 산학협력단 Method and System for Reconstructing a Three-dimensional Vascular Shapes from a Single Two-dimensional Angiographic Image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154468A (en) * 2018-01-12 2018-06-12 平安科技（深圳）有限公司 Lung neoplasm detection method, application server and computer readable storage medium
KR20180064863A (en) * 2016-12-06 2018-06-15 부산대학교 산학협력단 SMI automatic analysis method of hand-wrist radiation images using deep learning
KR20190092299A (en) * 2018-01-30 2019-08-07 연세대학교 원주산학협력단 Method and system to obtain material separation image using deep learning technology

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180064863A (en) * 2016-12-06 2018-06-15 부산대학교 산학협력단 SMI automatic analysis method of hand-wrist radiation images using deep learning
CN108154468A (en) * 2018-01-12 2018-06-12 平安科技（深圳）有限公司 Lung neoplasm detection method, application server and computer readable storage medium
KR20190092299A (en) * 2018-01-30 2019-08-07 연세대학교 원주산학협력단 Method and system to obtain material separation image using deep learning technology

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
iηek et al., "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation", MICCAI 2016.
Olaf Ronneberger et al, U-Net: Convolutional Networks.., pages 1-8(2015.5.18.)* *
Peng et al, "Large Kernel Matters: Improve Semantic Segmentation by Global Convolutional Network", arXiv, March 2017.

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689369A (en) * 2021-07-06 2021-11-23 清华大学 Medical segmentation multi-stage fusion method and device based on deep learning
CN113689369B (en) * 2021-07-06 2022-12-02 清华大学 Medical segmentation multi-stage fusion method and device based on deep learning
KR20230009538A (en) * 2021-07-09 2023-01-17 한국과학기술원 Adaptive Instance Normalization-Based Chest X-Ray Image Segmentation Mehtod and Apparatus Therefor
WO2023287041A1 (en) * 2021-07-16 2023-01-19 오스템임플란트 주식회사 Device and method for providing sinus image and learning method thereof
KR20230012825A (en) * 2021-07-16 2023-01-26 오스템임플란트 주식회사 Apparatus and method for providing sinus image, and learning method therefor
CN113487591A (en) * 2021-07-22 2021-10-08 上海嘉奥信息科技发展有限公司 CT-based whole spine segmentation method and system
KR102385689B1 (en) 2021-08-30 2022-04-14 인그래디언트 주식회사 Apparatus and method for 3d cropping of medical image
KR102527376B1 (en) 2022-07-29 2023-06-14 인그래디언트 주식회사 Apparatus and method for auto labeling using thresholding of medical image
WO2024049208A1 (en) * 2022-09-02 2024-03-07 아주대학교 산학협력단 Device and method for measuring air distribution in abdomen
KR102613718B1 (en) * 2022-09-06 2023-12-14 주식회사 에어스메디컬 Method, program, and apparatus for object tracking based on medical imaging
CN115801980A (en) * 2022-11-08 2023-03-14 北京沃东天骏信息技术有限公司 Video generation method and device

Also Published As

Publication number Publication date
KR102410955B1 (en) 2022-06-22
KR20220042072A (en) 2022-04-04
KR102378746B1 (en) 2022-03-25

Similar Documents

Publication Publication Date Title
KR102410955B1 (en) Method and computer program for automatic segmentation of abnominal organs based on deep learning in medical images
CN108460809B (en) Deep convolutional encoder-decoder for prostate cancer detection and classification
EP3035287B1 (en) Image processing apparatus, and image processing method
Messay et al. Segmentation of pulmonary nodules in computed tomography using a regression neural network approach and its application to the lung image database consortium and image database resource initiative dataset
CN113711271A (en) Deep convolutional neural network for tumor segmentation by positron emission tomography
KR102349515B1 (en) Tumor automatic segmentation based on deep learning in a medical image
US20110158491A1 (en) Method and system for lesion segmentation
EP1719080B1 (en) A system and method for toboggan based object segmentation using divergent gradient field response in images
US9098912B2 (en) Method, system and computer readable medium for automatic segmentation of a medical image
US9129391B2 (en) Semi-automated preoperative resection planning
KR102332032B1 (en) Abdominal organ status diagnosis based on abnominal organ volume change analysis using abnominal organ automatic segmentation
Hu et al. Automatic pancreas segmentation in CT images with distance-based saliency-aware DenseASPP network
MX2014007380A (en) Processing and displaying a breast image.
CN111583246A (en) Method for classifying liver tumors by utilizing CT (computed tomography) slice images
CN110706241B (en) Three-dimensional focus region extraction method and device
US8306354B2 (en) Image processing apparatus, method, and program
WO2020056196A1 (en) Fully automated personalized body composition profile
CN116664590B (en) Automatic segmentation method and device based on dynamic contrast enhancement magnetic resonance image
Cabrera et al. Segmentation of axillary and supraclavicular tumoral lymph nodes in PET/CT: A hybrid CNN/component-tree approach
US20240169544A1 (en) Methods and systems for biomedical image segmentation based on a combination of arterial and portal image information
KR102332472B1 (en) Tumor automatic segmentation using deep learning based on dual window setting in a medical image
WO2021197176A1 (en) Systems and methods for tumor characterization
Wang et al. A 3D cross-hemisphere neighborhood difference Convnet for chronic stroke lesion segmentation
Yao et al. Computer aided detection of lytic bone metastases in the spine using routine CT images
Al-Battal et al. Multi-target and multi-stage liver lesion segmentation and detection in multi-phase computed tomography scans

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant