KR20220095342A - The diagnostic method and system of lymph node metastasis in thyroid cancer using ct image - Google Patents

The diagnostic method and system of lymph node metastasis in thyroid cancer using ct image Download PDF

Info

Publication number
KR20220095342A
KR20220095342A KR1020200186126A KR20200186126A KR20220095342A KR 20220095342 A KR20220095342 A KR 20220095342A KR 1020200186126 A KR1020200186126 A KR 1020200186126A KR 20200186126 A KR20200186126 A KR 20200186126A KR 20220095342 A KR20220095342 A KR 20220095342A
Authority
KR
South Korea
Prior art keywords
lymph node
image
thyroid cancer
node metastasis
learning
Prior art date
Application number
KR1020200186126A
Other languages
Korean (ko)
Inventor
하은주
이정훈
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020200186126A priority Critical patent/KR20220095342A/en
Publication of KR20220095342A publication Critical patent/KR20220095342A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

Provided is a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning. The method includes: a step of acquiring a CT image that photographed the thyroid of a subject; a step of generating a crop image by extracting a lesion from the CT image; a step of augmenting the crop image; a step of generating learning information by using a convolutional neural network (CNN) and learning the augmented image; and a step of diagnosing whether thyroid cancer is metastasized to the lymph node based on the learning information.

Description

CT 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템{THE DIAGNOSTIC METHOD AND SYSTEM OF LYMPH NODE METASTASIS IN THYROID CANCER USING CT IMAGE}Method and system for diagnosing lymph node metastasis of thyroid cancer using CT image

본원은 CT 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템에 관한 것이다.The present application relates to a method and system for diagnosing lymph node metastasis of thyroid cancer using a CT image.

갑상선 암 발병률은 최근 수십 년 동안 빠르게 증가하고 있다. 갑상선 절제술의 수술 계획 수립 및 수술 성공 여부에서 림프절 전이의 진단이 가장 중요하다고 알려져 있다. 림프절 전이(Lymph node Metastases)는 갑상선 암의 주요 예후 인자(prognostic factors) 중 하나로써, 60% 내지 70% 의 환자에서 보고되고 있으며 국소 재발의 중요한 위험 인자이다.The incidence of thyroid cancer has increased rapidly in recent decades. It is known that the diagnosis of lymph node metastasis is the most important in the establishment of a surgical plan for thyroidectomy and the success of the operation. Lymph node metastases are one of the major prognostic factors of thyroid cancer, reported in 60% to 70% of patients, and are an important risk factor for local recurrence.

따라서, 현재 갑상선 절제술 전 초음파 외에 컴퓨터 단층 촬영(Computed Tomography, CT)이 권장되고 있다. 그러나, CT 영상으로 갑상선 암 환자의 경부 림프절 전이를 진단하는 것은 낮은 민감도와 특이도를 보이는 문제점이 있는 실정이다.Therefore, in addition to ultrasound before thyroidectomy, computed tomography (CT) is currently recommended. However, diagnosing cervical lymph node metastasis in thyroid cancer patients by CT imaging has a problem of low sensitivity and specificity.

갑상선 절제술에서 진단 부족으로 인하여 절개 범위를 축소하는 경우 재발률이 높아질 수 있으며, 과다하게 절개하는 경우 수술 합병증을 증가시키고 수술 후 삶의 질을 저하시키는 문제점이 있다. 따라서, 수술 전에 림프절 절개 정도를 정확하게 결정하는 것은 매우 중요하며, 관련 연구의 필요성이 대두되고 있다.In thyroidectomy, if the incision is reduced due to a lack of diagnosis, the recurrence rate may increase, and if the incision is excessively incision, there is a problem that increases the surgical complications and reduces the quality of life after surgery. Therefore, it is very important to accurately determine the degree of lymph node dissection before surgery, and the need for related research is emerging.

이와 관련하여 최근 의료 영상의 정확하고 일관된 위해서 컴퓨터 보조 진단(computer aided diagnosis, CAD) 시스템, 딥러닝(deeplearning) 알고리즘 등을 활용하여 복잡한 이미징 및 해부학적 영상을 분석하여 진단에 활용하고자 하는 시도들이 계속되고 있다. 그러나, CT 영상에서 림프절 전이 및 잔존 조직 영역은 일반적으로 노이즈 인공물질(noise artifacts)의 영향을 받고 다른 영역과 중첩될 수 있는 문제가 있으며, 인접한 조직으로부터 식별이 불가능한 전이 케이스가 있어 CT 영상을 곧바로 딥러닝 알고리즘에 활용하는 것에는 한계점이 있는 실정이다.In this regard, recent attempts to analyze complex imaging and anatomical images using computer aided diagnosis (CAD) systems and deep learning algorithms for accurate and consistent medical images have been continuously attempted to be used for diagnosis. is becoming However, in the CT image, lymph node metastasis and the remaining tissue area are generally affected by noise artifacts, and there is a problem that may overlap with other areas. There are limitations to its use in deep learning algorithms.

본원의 배경이 되는 기술인 대한민국 공개특허 제 10-2020-0087427 호는 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 방법에 관한 것으로서, 구체적으로 방사성요오드 평면 영상으로부터 다차원 마스크 이미지가 생성되는 전처리 단계, 전처리된 방사성요오드 평면 영상에서 각 픽셀 별 잔여 조직(Remnant tissue) 또는 림프절 전이(Lymph Node metastasis)의 가능도(likelihood)가 계산되는 단계, 전처리된 방사성요오드 평면 영상 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용되어 학습이 수행되는 단계 및 신경망 학습의 결과에 기초하여 갑상선 암의 림프절 전이 여부가 진단되는 단계가 포함되는 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 방법에 관한 것이다. 그러나, 상기 특허는 CT 영상을 활용하여 갑상선 암의 림프절 전이를 진단하는 방법에 대해서는 언급하지 않고 있다.Republic of Korea Patent Publication No. 10-2020-0087427, which is the background technology of the present application, relates to a method for diagnosing lymph node metastasis of thyroid cancer using deep learning, and specifically, a pre-processing step in which a multi-dimensional mask image is generated from a radioiodine plane image, In the radioiodine plane image, the likelihood of residual tissue or lymph node metastasis for each pixel is calculated. ) relates to a method for diagnosing lymph node metastasis of thyroid cancer using deep learning, which includes a step in which a learning model is applied and learning is performed, and a step in which lymph node metastasis of thyroid cancer is diagnosed based on the result of neural network learning. However, the above patent does not mention a method for diagnosing lymph node metastasis of thyroid cancer using a CT image.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공하는 것을 목적으로 한다.The present application is to solve the problems of the prior art, and an object of the present application is to provide a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning.

또한, 본원은 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템을 제공하는 것을 목적으로 한다.Another object of the present application is to provide a system for diagnosing lymph node metastasis of thyroid cancer based on deep learning.

또한, 본원은 상기 진단 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.Another object of the present application is to provide a computer-readable recording medium in which a program for implementing the diagnostic method is recorded.

또한, 본원은 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 제공하는 것을 목적으로 한다.Another object of the present application is to provide a platform system for diagnosing lymph node metastasis of thyroid cancer based on deep learning.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems to be achieved by the embodiments of the present application are not limited to the technical problems described above, and other technical problems may exist.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제 1 측면은, 대상체의 갑상선을 촬영한 CT 영상을 획득하는 단계, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 단계, 상기 크롭 이미지를 증강(augmentation)시키는 단계, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 단계 및 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 단계를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공한다.As a technical means for achieving the above technical problem, a first aspect of the present application includes the steps of acquiring a CT image of the thyroid gland of a subject, extracting a lesion from the CT image to generate a crop image; Augmenting the cropped image, generating learning information by learning the augmented image using a convolutional neural network (CNN), and whether lymph node metastasis of thyroid cancer based on the learning information It provides a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning, including the step of diagnosing.

본원의 일 구현예에 따르면, 상기 CT 영상은 갑상선 절제술이 수행되기 전 환자에게서 획득되는 것일 수 있으나, 이에 제한되는 것은 아니다.According to the exemplary embodiment of the present application, the CT image may be obtained from a patient before thyroidectomy is performed, but is not limited thereto.

본원의 일 구현예에 따르면, 상기 크롭 이미지를 생성하는 단계는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추천하는 단계 및 상기 추천된 병변 영역의 위치 정보를 고려하여 마스킹을 수행하고, 마스킹이 완료된 이미지에 대하여 크롭을 수행하는 단계를 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, the generating of the crop image includes the step of recommending a lesion area of the cervical lymph node from the CT image using a segmentation algorithm or an object detection algorithm, and the recommended location information of the lesion area. It may include performing masking and cropping the masked image, but is not limited thereto.

본원의 일 구현예에 따르면, 상기 이미지를 증강시키는 단계는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, the step of augmenting the image includes cropping, rotating, flipping, rescale, zooming, zero filling, rolling. (rolling), color jittering, noise addition, contrast adjustment, brightness adjustment (gamma conversion), smoothing (averaging filter), scaling, invert (left/right/up/down), shift (horizontal/vertical), Partial mask (Cut out and Random Erasing), trimming (Random Crop), transformation, discoloration, background replacement, Gaussian transformation, shear, affine, and combinations thereof selected from the group consisting of may be performed, but is not limited thereto.

본원의 일 구현예에 따르면, 상기 방법은 히트맵을 생성하는 단계 및 상기 히트맵을 이용하여 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리 단계를 추가 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, the method will further include a post-processing step of generating a heat map and removing a region erroneously determined in the step of diagnosing whether thyroid cancer has metastasized to a lymph node by using the heat map However, the present invention is not limited thereto.

본원의 제 2 측면은, 대상체의 갑상선을 촬영한 CT 영상을 획득하는 획득부, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 전처리부, 상기 크롭 이미지를 증강(augmentation)시키는 증강부, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 학습부 및 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 진단 예측부를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템을 제공한다.A second aspect of the present application provides an acquisition unit for acquiring a CT image of the thyroid gland of a subject, a preprocessing unit for extracting a lesion from the CT image to generate a crop image, and augmentation for augmenting the crop image A unit, a learning unit that generates learning information by learning the augmented image using a convolutional neural network (CNN), and a diagnostic prediction unit that diagnoses whether lymph node metastasis of thyroid cancer is based on the learning information We provide a system for diagnosing lymph node metastasis of thyroid cancer based on deep learning.

본원의 일 구현예에 따르면, 상기 획득부는 갑상선 절제술이 수행되기 전 환자에게서 상기 CT 영상을 획득하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, the acquisition unit may acquire the CT image from the patient before thyroidectomy is performed, but is not limited thereto.

본원의 일 구현예에 따르면, 상기 전처리부는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추출하고, 상기 추출된 병변 영역에 대하여 이미지 크롭을 수행하여 상기 크롭 이미지를 생성하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, the preprocessor extracts a lesion area of a cervical lymph node from the CT image using a segmentation algorithm or an object detection algorithm, and performs image cropping on the extracted lesion area to generate the cropped image may be, but is not limited thereto.

본원의 일 구현예에 따르면, 상기 증강부는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하여 상기 이미지를 증강시키는 것일 수 있으나, 이에 제한되는 것은 아니다.According to an embodiment of the present application, the augmentation unit is cropped, rotated, flipped, rescaled, zoomed, zero filling, rolling, Color jittering, Noise Addition, Contrast Adjustment, Brightness Adjustment (Gamma Conversion), Smoothing (Averaging Filter), Scaling, Invert (Left/Left/Up/Down), Shift (Horizontal/Vertical), Partial Mask (Cut) out and Random Erasing), trimming (Random Crop), transformation, discoloration, background replacement, Gaussian transformation, shear, affine, and combinations thereof by performing an operation selected from the group consisting of It may be to enhance the image, but is not limited thereto.

본원의 일 구현예에 따르면, 히트맵을 생성하는 생성부 및 상기 히트맵을 수신하여 상기 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리부를 추가 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, it may further include a generator for generating a heat map and a post-processing unit for receiving the heat map and removing the region erroneously determined in the stage of diagnosing whether the thyroid cancer has metastasized to the lymph node. , but is not limited thereto.

본원의 제 3 측면은, 본원의 제 1 측면에 따른 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공한다.A third aspect of the present application provides a computer-readable recording medium in which a program for implementing the method according to the first aspect of the present application is recorded.

본원의 제 4 측면은, 학습할 대상체의 갑상선을 촬영한 CT 영상 데이터 세트를 획득하여, 상기 CT 영상 데이터 세트로부터 병변을 추출하여 크롭(crop) 이미지 데이터 세트를 생성하고, 상기 크롭 이미지 데이터 세트를 증강(augmentation)시켜 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지 데이터 세트를 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 정보 데이터 세트를 수신하여 저장 처리하기 위한 딥러닝 기반의 자동 학습부, 사용자로부터 갑상선 암의 림프절 전이 여부를 진단하기 위한 CT 영상을 수신하여 상기 수신된 CT 영상으로부터 병변을 추출하여 크롭 이미지를 생성하고, 상기 크롭 이미지를 컨볼루션 신경망을 이용하여 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 결과값을 해당 사용자 단말기로 전송하기 위한 딥러닝 기반의 갑상선 암의 림프절 전이 진단용 API 엔진 및 상기 API 엔진으로부터 상기 진단 결과값을 획득하여 실시간으로 갑상선 암의 림프절 전이 진단 결과를 화면에 출력시키는 사용자 단말기를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 제공한다.A fourth aspect of the present application is to obtain a CT image data set obtained by photographing the thyroid gland of a subject to learn, extract lesions from the CT image data set to generate a crop image data set, and use the crop image data set to generate a crop image data set. By augmenting (augmentation), using a convolutional neural network (CNN) to learn the augmented image data set to generate learning information, based on the learning information to diagnose whether the lymph node metastasis of thyroid cancer, the A deep learning-based automatic learning unit for receiving and storing and processing a diagnostic information data set, receives a CT image for diagnosing whether thyroid cancer has metastasized to a lymph node from a user, and extracts lesions from the received CT image to generate a cropped image Deep learning for generating learning information by learning the crop image using a convolutional neural network, diagnosing whether lymph node metastasis of thyroid cancer is based on the learning information, and transmitting the diagnosis result to the user terminal Lymph node metastasis of thyroid cancer based on deep learning comprising an API engine for diagnosing lymph node metastasis of thyroid cancer based on an API and a user terminal that obtains the diagnosis result value from the API engine and outputs the diagnosis result of lymph node metastasis of thyroid cancer on the screen in real time Provides a diagnostic platform system.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary, and should not be construed as limiting the present application. In addition to the exemplary embodiments described above, additional embodiments may exist in the drawings and detailed description.

전술한 본원의 과제 해결 수단에 의하면, 종래 CT 영상의 경우 림프절 전이 및 잔존 조직 영역은 일반적으로 노이즈 인공물질(noise artifacts)의 영향을 받고 다른 영역과 중첩될 수 있는 문제점 및 인접한 조직으로부터 식별이 불가능한 전이 케이스가 있는 문제점이 있어 CT 영상을 곧바로 딥러닝 알고리즘에 활용하기 어려운 한계점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 CT 영상으로부터 경부 림프절의 병변 영역을 추출하여, 상기 추출된 병변 영역에 대한 크롭 이미지를 학습시킴으로써 높은 민감도, 특이도 및 정확도를 가지는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공할 수 있다.According to the above-described problem solving means of the present application, in the case of a conventional CT image, lymph node metastasis and residual tissue regions are generally affected by noise artifacts and overlap with other regions, and it is impossible to identify them from adjacent tissues. There was a problem in that there was a metastasis case, so there was a limitation in that it was difficult to use the CT image directly in the deep learning algorithm. By learning the cropped image of the extracted lesion region, it is possible to provide a deep learning-based method for diagnosing lymph node metastasis of thyroid cancer with high sensitivity, specificity and accuracy.

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 림프절 전이 여부를 신뢰성 있게 예측할 수 있으므로, 갑상선 절제술의 수술 범위 등 치료 전략을 수립하는데 매우 유용하게 활용될 수 있다.In addition, the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to the present application can reliably predict whether or not lymph node metastasis occurs, and thus can be very usefully used to establish a treatment strategy, such as the surgical range of thyroidectomy.

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 림프절 절제술의 적절한 수술 범위에 대한 근거자료를 제공함으로써, 진단 부족으로 인하여 발생하는 재발률 및 과다 절개로 인하여 발생하는 수술 후 이환률을 감소시켜 치료 효율을 높일 수 있는 장점이 있다.In addition, the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to the present application provides evidence for an appropriate surgical range for lymph node dissection, thereby reducing the recurrence rate and postoperative morbidity caused by excessive incision. This has the advantage of increasing the treatment efficiency.

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 진단의 신뢰수준(confidence levels)을 높일 수 있으므로 의사에게 진단에 대한 확신을 갖도록 돕는 훈련 도구로서 임상적 유용성을 제공할 수 있다.In addition, the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to the present application can increase the confidence levels of diagnosis, so it can provide clinical usefulness as a training tool to help doctors have confidence in the diagnosis.

또한, 종래의 갑상선 암의 림프절 전이를 진단하기 위한 방법들은 의사의 숙련도, 경험 유무 등에 좌우되어 객관적이고 일관적인 진단 결과를 제공할 수 없는 한계점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 딥러닝을 활용함으로써, 신속하고 간편하게 갑상선 암의 림프절 전이를 객관적이고 일관적으로 예측할 수 있는 장점이 있다.In addition, conventional methods for diagnosing lymph node metastasis of thyroid cancer have a limitation in that they cannot provide objective and consistent diagnostic results depending on the skill, experience, etc. of a doctor, but the deep learning-based lymph node of thyroid cancer according to the present application The metastasis diagnosis method has the advantage of being able to predict the lymph node metastasis of thyroid cancer objectively and consistently quickly and conveniently by using deep learning.

또한, 종래의 딥러닝을 이용한 진단 방법의 경우, 입력한 입력값과 딥러닝에서 예측한 결과값 간의 내부 관계를 설명하기는 어려워 딥러닝의 진단 정확도를 평가하기 어려운 문제점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 히트맵을 생성하여 제공하여 딥러닝 모델이 CT 영상의 어느 부분에 초점을 맞추고 있는지 추론할 수 있으므로, 잘못 판단된 영역을 제거함으로써, 특이도 및 민감성을 높인 진단 방법을 제공할 수 있다.In addition, in the case of the conventional diagnostic method using deep learning, it is difficult to explain the internal relationship between the input value and the result predicted by deep learning, so it is difficult to evaluate the diagnostic accuracy of deep learning. The learning-based method for diagnosing lymph node metastasis of thyroid cancer generates and provides a heat map to infer which part of the CT image the deep learning model is focusing on. An improved diagnostic method can be provided.

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템은 히트맵을 통하여 잘못 판단된 영역을 제거하는 후처리 단계를 수행함으로써 잘못된 결과에 대한 보고서를 통합하여 CAD 시스템의 성능을 업그레이드할 수 있는 확장성을 가지는 진단 시스템을 제공할 수 있다.In addition, the deep-learning-based thyroid cancer lymph node metastasis diagnosis system according to the present application performs a post-processing step of removing erroneously judged areas through a heat map, integrating reports on erroneous results to upgrade the CAD system's performance. It is possible to provide a diagnostic system having a high scalability.

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 API 엔진을 활용하여 갑상선 암의 림프절 전이 여부를 실시간으로 사용자 단말기로 제공함으로써, 전문 지식 없이도 사용자가 간편하게 진단 여부 확인할 수 있는 플랫폼시스템을 제공할 수 있다.In addition, the deep learning-based thyroid cancer lymph node metastasis diagnosis platform system according to the present application provides real-time whether or not lymph node metastasis of thyroid cancer is present to the user terminal using the API engine, so that the user can easily check whether the diagnosis is made without specialized knowledge. system can be provided.

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 사용자에게서 입력 받은 CT 영상을 기반으로 자동으로 크롭 이미지를 생성함으로써, 전문 지식이 부족한 사용자가 병변 부위를 정확히 알지 못하더라도 림프절 전이 여부를 알 수 있어, 사용자의 편의성을 증대시킨 플랫폼시스템을 제공할 수 있다.In addition, the deep learning-based thyroid cancer lymph node metastasis diagnosis platform system according to the present application automatically generates a crop image based on the CT image received from the user, so that even if a user lacking specialized knowledge does not know exactly the lesion site, lymph node metastasis It is possible to know whether or not to provide a platform system with increased user convenience.

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 API 엔진을 활용함으로써 다양한 사용자에게서 제공받은 새로운 이미지들을 지속적으로 학습할 수 있으므로, 진단 정확성 및 진단 속도를 지속적으로 향상시킬 수 있다.In addition, the deep learning-based thyroid cancer lymph node metastasis diagnosis platform system according to the present application can continuously learn new images provided by various users by utilizing the API engine, so that the diagnosis accuracy and diagnosis speed can be continuously improved. .

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 다양한 사용자에게 공급되어 갑상선 암의 림프절 전이 진단 관련 서비스를 제공할 수 있도록 함으로써, 다양한 응용 서비스를 개발할 수 있는 플랫폼으로서 유용하게 활용될 수 있다.In addition, the deep learning-based thyroid cancer lymph node metastasis diagnosis platform system according to the present application is supplied to a variety of users to provide services related to thyroid cancer lymph node metastasis diagnosis, so it is useful as a platform for developing various application services. can be

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.However, the effects obtainable herein are not limited to the above-described effects, and other effects may exist.

도 1 은 본원의 일 구현예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 나타낸 순서도이다.
도 2 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 흐름도이다.
도 3 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 나타낸 이미지이다.
도 4 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템의 흐름도이다.
도 5 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 히트맵을 나타낸 그래프이다.
도 6 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 CAD 모델의 진단 성능을 평가한 결과를 나타낸 표이다.
도 7 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 CAD 모델의 수신기 작동 특성 곡선을 나타낸 그래프이다.
도 8 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 사용 전후 신뢰수준(confidence levels) 변화에 대한 Sankey 플롯을 나타낸 그래프이다.1 is a flowchart illustrating a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application.
2 is a flowchart of a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application.
3 is an image showing a system for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application.
4 is a flowchart of a system for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application.
5 is a graph showing a heat map of a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application.
6 is a table showing the results of evaluating the diagnostic performance of the CAD model of the method for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application.
7 is a graph illustrating a receiver operating characteristic curve of a CAD model of a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application.
8 is a graph showing a Sankey plot of a change in confidence levels before and after the use of the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to an embodiment of the present application.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present application will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present application pertains can easily carry out. However, the present application may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present application in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a part is "connected" with another part, this includes not only the case where it is "directly connected" but also the case where it is "electrically connected" with another element interposed therebetween. do.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout this specification, when a member is positioned “on”, “on”, “on”, “on”, “under”, “under”, or “under” another member, this means that a member is positioned on the other member. It includes not only the case where they are in contact, but also the case where another member exists between two members.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout this specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

본 명세서에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 또한, 본원 명세서 전체에서, "~ 하는 단계" 또는 "~의 단계"는 "~를 위한 단계"를 의미하지 않는다.As used herein, the terms "about," "substantially," and the like are used in a sense at or close to the numerical value when the manufacturing and material tolerances inherent in the stated meaning are presented, and to aid in the understanding of the present application. It is used to prevent an unconscionable infringer from using the mentioned disclosure in an unreasonable way. Also, throughout this specification, "step to" or "step to" does not mean "step for".

본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 "이들의 조합"의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.Throughout this specification, the term "combination of these" included in the expression of the Markush form means one or more mixtures or combinations selected from the group consisting of the components described in the expression of the Markush form, and the components It is meant to include one or more selected from the group consisting of.

본원 명세서 전체에서, "A 및/또는 B" 의 기재는, "A, B, 또는, A 및 B" 를 의미한다.Throughout this specification, reference to “A and/or B” means “A, B, or A and B”.

이하, 본원의 CT 영상을 이용한 갑상선 암의 림프절 전이 진단 방법 및 진단 시스템에 대하여 구현예 및 실시예와 도면을 참조하여 구체적으로 설명하도록 한다. 그러나, 본원이 이러한 구현예 및 실시예와 도면에 제한되는 것은 아니다.Hereinafter, a method and system for diagnosing lymph node metastasis of thyroid cancer using a CT image of the present application will be described in detail with reference to embodiments, examples, and drawings. However, the present application is not limited to these embodiments and examples and drawings.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제 1 측면은, 대상체의 갑상선을 촬영한 CT 영상을 획득하는 단계, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 단계, 상기 크롭 이미지를 증강(augmentation)시키는 단계, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 단계 및 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 단계를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공한다.As a technical means for achieving the above technical problem, a first aspect of the present application includes the steps of acquiring a CT image of the thyroid gland of a subject, extracting a lesion from the CT image to generate a crop image; Augmenting the cropped image, generating learning information by learning the augmented image using a convolutional neural network (CNN), and whether lymph node metastasis of thyroid cancer based on the learning information It provides a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning, including the step of diagnosing.

도 1 은 본원의 일 구현예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 나타낸 순서도이고, 도 2 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 흐름도이다.1 is a flowchart illustrating a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application, and FIG. 2 is a flowchart illustrating a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application .

딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 수행하기 위해, 먼저 대상체의 갑상선을 촬영한 CT 영상을 획득하는 단계를 수행한다(S100).In order to perform the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer, a step of acquiring a CT image of the thyroid gland of the subject is first performed (S100).

본원의 일 구현예에 따르면, 상기 CT 영상은 갑상선 절제술이 수행되기 전 환자에게서 획득되는 것일 수 있으나, 이에 제한되는 것은 아니다.According to the exemplary embodiment of the present application, the CT image may be obtained from a patient before thyroidectomy is performed, but is not limited thereto.

갑상선 절제술에서 진단 부족으로 인하여 절개 범위를 축소하는 경우 재발률이 높아질 수 있으며, 과다하게 절개하는 경우 수술 합병증을 증가시키고 수술 후 삶의 질을 저하시키는 문제점이 있다. 따라서, 수술 전에 림프절 절개 정도를 정확하게 결정하는 것은 매우 중요하다.In thyroidectomy, if the incision is reduced due to a lack of diagnosis, the recurrence rate may increase, and if the incision is excessively incision, there is a problem that increases the surgical complications and reduces the quality of life after surgery. Therefore, it is very important to accurately determine the degree of lymph node dissection before surgery.

본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 림프절 전이 여부를 신뢰성 있게 예측할 수 있으므로, 갑상선 절제술의 수술 범위 등 치료 전략을 수립하는데 매우 유용하게 활용될 수 있다.The deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to the present application can reliably predict whether or not lymph node metastasis occurs, and thus can be very usefully used to establish a treatment strategy such as the surgical range of thyroidectomy.

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 림프절 절제술의 적절한 수술 범위에 대한 근거자료를 제공함으로써, 진단 부족으로 인하여 발생하는 재발률 및 과다 절개로 인하여 발생하는 수술 후 이환률을 감소시켜 치료 효율을 높일 수 있는 장점이 있다.In addition, the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to the present application provides evidence for an appropriate surgical range for lymph node dissection, thereby reducing the recurrence rate and postoperative morbidity caused by excessive incision. This has the advantage of increasing the treatment efficiency.

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 진단의 신뢰수준(confidence levels)을 높일 수 있으므로 의사에게 진단에 대한 확신을 갖도록 돕는 훈련 도구로서 임상적 유용성을 제공할 수 있다.In addition, the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to the present application can increase the confidence levels of diagnosis, so it can provide clinical usefulness as a training tool to help doctors have confidence in the diagnosis.

또한, 종래의 갑상선 암의 림프절 전이를 진단하기 위한 방법들은 의사의 숙련도, 경험 유무 등에 좌우되어 객관적이고 일관적인 진단 결과를 제공할 수 없는 한계점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 딥러닝을 활용함으로써, 신속하고 간편하게 갑상선 암의 림프절 전이를 객관적이고 일관적으로 예측할 수 있는 장점이 있다.In addition, conventional methods for diagnosing lymph node metastasis of thyroid cancer have a limitation in that they cannot provide objective and consistent diagnostic results depending on the skill, experience, etc. of a doctor, but the deep learning-based lymph node of thyroid cancer according to the present application The metastasis diagnosis method has the advantage of being able to predict the lymph node metastasis of thyroid cancer objectively and consistently quickly and conveniently by using deep learning.

이어서, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 단계를 수행한다(S200).Then, a step of generating a crop image by extracting the lesion from the CT image is performed (S200).

종래 CT 영상의 경우 림프절 전이 및 잔존 조직 영역은 일반적으로 노이즈 인공물질(noise artifacts)의 영향을 받고 다른 영역과 중첩될 수 있는 문제점 및 인접한 조직으로부터 식별이 불가능한 전이 케이스가 있는 문제점이 있어 CT 영상을 곧바로 딥러닝 알고리즘에 활용하기 어려운 한계점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 CT 영상으로부터 경부 림프절의 병변 영역을 추출하여, 상기 추출된 병변 영역에 대한 크롭 이미지를 학습시킴으로써 높은 민감도, 특이도 및 정확도를 가지는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공할 수 있다.In the case of conventional CT images, lymph node metastasis and remaining tissue regions are generally affected by noise artifacts and overlap with other regions. Although there was a limitation in that it was difficult to directly use the deep learning algorithm, the deep learning-based thyroid cancer lymph node metastasis diagnosis method according to the present application extracts the lesion area of the cervical lymph node from the CT image and learns the crop image of the extracted lesion area. By doing so, it is possible to provide a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning with high sensitivity, specificity and accuracy.

본원의 일 구현예에 따르면, 상기 크롭 이미지를 생성하는 단계는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추천하는 단계 및 상기 추천된 병변 영역의 위치 정보를 고려하여 마스킹을 수행하고, 마스킹이 완료된 이미지에 대하여 크롭을 수행하는 단계를 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, the generating of the crop image includes the step of recommending a lesion area of the cervical lymph node from the CT image using a segmentation algorithm or an object detection algorithm, and the recommended location information of the lesion area. It may include performing masking and cropping the masked image, but is not limited thereto.

예를 들어, 상기 Segmentation 알고리즘 또는 Object Detection 알고리즘뿐만 아니라, 다양한 영상 처리 예를 들어, 가우시안 필터, 아핀변환(Affine transformation), Contrast 조절 등을 수행하여 예상 경부 림프절의 병변 영역의 위치를 추천할 수 있다.For example, the location of the lesion region of the expected cervical lymph node may be recommended by performing various image processing, such as Gaussian filter, affine transformation, contrast adjustment, etc., in addition to the segmentation algorithm or the object detection algorithm. .

상기 인공지능 알고리즘을 적용하여 예상 경부 림프절의 병변 영역의 위치를 추천할 수 있다. 예상 경부 림프절의 병변 영역은 병변의 경계를 사각형 형상으로 2차원 정의한 것일 수 있다. 즉, 경부 림프절의 병변으로 예측되는 위치에 예상 경부 림프절의 병변 영역을 사각형 형태로 표시하여 병변의 위치를 추천할 수 있다. 예상 병변이 복수개 존재하는 경우, 그에 대응하는 예상 병변 영역을 복수개 추천할 수 있다.The location of the lesion region of the predicted cervical lymph node may be recommended by applying the artificial intelligence algorithm. The lesion area of the predicted cervical lymph node may be a two-dimensional definition of the boundary of the lesion in a rectangular shape. That is, the location of the lesion can be recommended by displaying the lesion area of the predicted cervical lymph node in a rectangular shape at the location predicted as the lesion of the cervical lymph node. When a plurality of predicted lesions exist, a plurality of predicted lesion regions corresponding thereto may be recommended.

이어서, 상기 추천된 병변 영역의 위치 정보(예들 들어, x, y 좌표 위치, 가로길이, 세로길이) 및 상기 CT 영상을 고려하여 마스킹을 수행하고, 마스킹이 완료된 이미지에 대하여 크롭을 수행하는 단계를 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.Next, performing masking in consideration of the recommended location information of the lesion area (eg, x, y coordinate location, horizontal length, vertical length) and the CT image, and performing cropping on the masked image It may include, but is not limited to.

이어서, 상기 크롭 이미지를 증강(augmentation)시키는 단계를 수행한다(S300).Next, a step of augmenting the cropped image is performed (S300).

훈련 데이터는 전이성 림프절 이미지보다 양성 림프절 수가 많기 때문에 두 라벨의 비율이 비슷하도록 데이터를 증강(augmentation)시켜, 모델의 과적합을 방지하고 모델 성능을 향상시킬 수 있다. 즉, 상기 크롭 이미지를 증강시킴으로써, 제한된 학습 데이터 세트를 기반으로 학습 이미지의 양을 효과적으로 증가시키는 것이다.Since the training data has a higher number of benign lymph nodes than the metastatic lymph node image, the data can be augmented so that the ratio of the two labels is similar, preventing overfitting of the model and improving the model performance. That is, by augmenting the cropped image, the amount of training images is effectively increased based on a limited training data set.

본원의 일 구현예에 따르면, 상기 이미지를 증강시키는 단계는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, the step of augmenting the image includes cropping, rotating, flipping, rescale, zooming, zero filling, rolling. (rolling), color jittering, noise addition, contrast adjustment, brightness adjustment (gamma conversion), smoothing (averaging filter), scaling, invert (left/right/up/down), shift (horizontal/vertical), Partial mask (Cut out and Random Erasing), trimming (Random Crop), transformation, discoloration, background replacement, Gaussian transformation, shear, affine, and combinations thereof selected from the group consisting of may be performed, but is not limited thereto.

예를 들어, 상기 이미지를 증강시키는 단계는 영상 각도를 약 ±20º 이내로 무작위로 설정하고, 림프절 주변 부위의 크기를 약 20% 까지 무작위로 변경하며, 영상을 림프절 자체를 포함하면서 수평 및 수직으로 무작위로 뒤집는 것을 수행하는 것일 수 있으나, 이에 제한되는 것은 아니다.For example, the step of augmenting the image includes randomly setting the image angle within about ±20º, randomly changing the size of the area around the lymph node by about 20%, and randomly changing the image horizontally and vertically including the lymph node itself. It may be to perform inversion, but is not limited thereto.

이어서, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 단계를 수행한다(S400).Next, a step of generating learning information by learning the augmented image using a convolutional neural network (CNN) is performed (S400).

예를 들어, 상기 컨볼루션 신경망은 VGG16, VGG19, Xception, InceptionV3, InceptionResNetV2, DenseNet121, DenseNet169, ResNet, EfficientNet, MobileNet 및 이들의 조합들로 이루어진 군으로부터 선택되는 모델인 것일 수 있으나, 이에 제한되는 것은 아니다.For example, the convolutional neural network may be a model selected from the group consisting of VGG16, VGG19, Xception, InceptionV3, InceptionResNetV2, DenseNet121, DenseNet169, ResNet, EfficientNet, MobileNet, and combinations thereof, but is not limited thereto. .

이어서, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 단계를 수행한다(S500).Next, a step of diagnosing whether thyroid cancer has metastasized to a lymph node based on the learning information is performed (S500).

본원의 일 구현예에 따르면, 상기 방법은 히트맵을 생성하는 단계 및 상기 히트맵을 이용하여 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리 단계를 추가 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, the method will further include a post-processing step of generating a heat map and removing a region erroneously determined in the step of diagnosing whether thyroid cancer has metastasized to a lymph node by using the heat map However, the present invention is not limited thereto.

종래의 딥러닝을 이용한 진단 방법의 경우, 입력한 입력값과 딥러닝에서 예측한 결과값 간의 내부 관계를 설명하기는 어려워 딥러닝의 진단 정확도를 평가하기 어려운 문제점이 있었으나, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 히트맵을 생성하여 제공하여 딥러닝 모델이 CT 영상의 어느 부분에 초점을 맞추고 있는지 추론할 수 있으므로, 잘못 판단된 영역을 제거함으로써, 특이도 및 민감성을 높인 진단 방법을 제공할 수 있다.In the case of the conventional diagnosis method using deep learning, it was difficult to explain the internal relationship between the input value and the result predicted by deep learning, so it was difficult to evaluate the diagnostic accuracy of deep learning. of thyroid cancer lymph node metastasis diagnosis method generates and provides a heat map to infer which part of the CT image the deep learning model is focusing on. method can be provided.

구체적으로, 상기 히트맵은 양성과 전이성 림프절을 구별하기 위해 CNN 모델이 초점을 맞춘 위치를 보여줄 수 있다. 이는 악성 종양의 비정상적인 특성이 CNN 에 의해 학습되어 갑상선 암의 림프절 전이 진단의 기초로 사용되었음을 시사하는 것이다.Specifically, the heat map may show the location where the CNN model is focused to differentiate between benign and metastatic lymph nodes. This suggests that the abnormal characteristics of malignant tumors were learned by CNN and used as the basis for the diagnosis of lymph node metastasis of thyroid cancer.

상기 생성된 히트맵은 원본 CT 영상 이미지에 중첩되어 실제 림프절의 위치와 상기 CNN 모델이 전이 진단에 사용한 영역을 비교할 수 있기 때문에, 사용자는 이를 비교하여 딥러닝 모델이 잘못 판단한 영역을 제거할 수 있으므로 특이도 및 민감성을 더욱 높일 수 있는 장점이 있다. Since the generated heat map is superimposed on the original CT image image, the location of the actual lymph node and the area used by the CNN model for metastasis diagnosis can be compared, the user can compare and remove the area judged incorrectly by the deep learning model. There is an advantage of further increasing specificity and sensitivity.

본원의 제 2 측면은, 대상체의 갑상선을 촬영한 CT 영상을 획득하는 획득부, 상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 전처리부, 상기 크롭 이미지를 증강(augmentation)시키는 증강부, 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 학습부 및 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 진단 예측부를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템을 제공한다.A second aspect of the present application provides an acquisition unit for acquiring a CT image of the thyroid gland of a subject, a preprocessing unit for extracting a lesion from the CT image to generate a crop image, and augmentation for augmenting the crop image A unit, a learning unit that generates learning information by learning the augmented image using a convolutional neural network (CNN), and a diagnostic prediction unit that diagnoses whether lymph node metastasis of thyroid cancer is based on the learning information We provide a system for diagnosing lymph node metastasis of thyroid cancer based on deep learning.

본원의 제 2 측면의 상기 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템에 대하여, 본원의 제 1 측면과 중복되는 부분들에 대해서는 상세한 설명을 생략하였으나, 그 설명이 생략되었더라도 본원의 제 1 측면에 기재된 내용은 본원의 제 2 측면에 동일하게 적용될 수 있다.With respect to the deep learning-based thyroid cancer lymph node metastasis diagnosis system of the second aspect of the present application, detailed descriptions of parts overlapping with the first aspect of the present application are omitted, but even if the description is omitted, the first aspect of the present application The described content is equally applicable to the second aspect of the present application.

본원의 일 구현예에 따르면, 상기 획득부는 갑상선 절제술이 수행되기 전 환자에게서 상기 CT 영상을 획득하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, the acquisition unit may acquire the CT image from the patient before thyroidectomy is performed, but is not limited thereto.

본원의 일 구현예에 따르면, 상기 전처리부는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추출하고, 상기 추출된 병변 영역에 대하여 이미지 크롭을 수행하여 상기 크롭 이미지를 생성하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, the preprocessor extracts a lesion area of a cervical lymph node from the CT image using a segmentation algorithm or an object detection algorithm, and performs image cropping on the extracted lesion area to generate the cropped image may be, but is not limited thereto.

본원의 일 구현예에 따르면, 상기 증강부는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하여 상기 이미지를 증강시키는 것일 수 있으나, 이에 제한되는 것은 아니다.According to an embodiment of the present application, the augmentation unit is cropped, rotated, flipped, rescaled, zoomed, zero filling, rolling, Color jittering, Noise Addition, Contrast Adjustment, Brightness Adjustment (Gamma Conversion), Smoothing (Averaging Filter), Scaling, Invert (Left/Left/Up/Down), Shift (Horizontal/Vertical), Partial Mask (Cut) out and Random Erasing), trimming (Random Crop), transformation, discoloration, background replacement, Gaussian transformation, shear, affine, and combinations thereof by performing an operation selected from the group consisting of It may be to enhance the image, but is not limited thereto.

본원의 일 구현예에 따르면, 히트맵을 생성하는 생성부 및 상기 히트맵을 수신하여 상기 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리부를 추가 포함하는 것일 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present application, it may further include a generator for generating a heat map and a post-processing unit for receiving the heat map and removing the region erroneously determined in the stage of diagnosing whether the thyroid cancer has metastasized to the lymph node. , but is not limited thereto.

본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템은 히트맵을 통하여 잘못 판단된 영역을 제거하는 후처리 단계를 수행함으로써 잘못된 결과에 대한 보고서를 통합하여 CAD 시스템의 성능을 업그레이드할 수 있는 확장성을 가지는 진단 시스템을 제공할 수 있다.The deep learning-based thyroid cancer lymph node metastasis diagnosis system according to the present application performs a post-processing step to remove the wrongly judged area through the heat map, thereby integrating the report on the wrong result and expanding the CAD system's performance to be upgraded. It is possible to provide a diagnostic system having characteristics.

본원의 제 3 측면은, 본원의 제 1 측면에 따른 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공한다.A third aspect of the present application provides a computer-readable recording medium in which a program for implementing the method according to the first aspect of the present application is recorded.

본원의 제 3 측면의 상기 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 대하여, 본원의 제 1 측면 및 제 2 측면과 중복되는 부분들에 대해서는 상세한 설명을 생략하였으나, 그 설명이 생략되었더라도 본원의 제 1 측면 및 제 2 측면에 기재된 내용은 본원의 제 3 측면에 동일하게 적용될 수 있다.With respect to the computer-readable recording medium in which the program of the third aspect of the present application is recorded, detailed descriptions of parts overlapping with the first and second aspects of the present application are omitted, but even if the description is omitted, the first aspect of the present application The contents described in the first aspect and the second aspect may be equally applied to the third aspect of the present application.

본원의 제 4 측면은, 학습할 대상체의 갑상선을 촬영한 CT 영상 데이터 세트를 획득하여, 상기 CT 영상 데이터 세트로부터 병변을 추출하여 크롭(crop) 이미지 데이터 세트를 생성하고, 상기 크롭 이미지 데이터 세트를 증강(augmentation)시켜 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지 데이터 세트를 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 정보 데이터 세트를 수신하여 저장 처리하기 위한 딥러닝 기반의 자동 학습부, 사용자로부터 갑상선 암의 림프절 전이 여부를 진단하기 위한 CT 영상을 수신하여 상기 수신된 CT 영상으로부터 병변을 추출하여 크롭 이미지를 생성하고, 상기 크롭 이미지를 컨볼루션 신경망을 이용하여 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 결과값을 해당 사용자 단말기로 전송하기 위한 딥러닝 기반의 갑상선 암의 림프절 전이 진단용 API 엔진 및 상기 API 엔진으로부터 상기 진단 결과값을 획득하여 실시간으로 갑상선 암의 림프절 전이 진단 결과를 화면에 출력시키는 사용자 단말기를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 제공한다.A fourth aspect of the present application is to obtain a CT image data set obtained by photographing the thyroid gland of a subject to learn, extract lesions from the CT image data set to generate a crop image data set, and use the crop image data set to generate a crop image data set. By augmenting (augmentation), using a convolutional neural network (CNN) to learn the augmented image data set to generate learning information, based on the learning information to diagnose whether the lymph node metastasis of thyroid cancer, the A deep learning-based automatic learning unit for receiving and storing and processing a diagnostic information data set, receives a CT image for diagnosing whether thyroid cancer has metastasized to a lymph node from a user, and extracts lesions from the received CT image to generate a cropped image Deep learning for generating learning information by learning the crop image using a convolutional neural network, diagnosing whether lymph node metastasis of thyroid cancer is based on the learning information, and transmitting the diagnosis result to the user terminal Lymph node metastasis of thyroid cancer based on deep learning comprising an API engine for diagnosing lymph node metastasis of thyroid cancer based on an API and a user terminal that obtains the diagnosis result value from the API engine and outputs the diagnosis result of lymph node metastasis of thyroid cancer on the screen in real time Provides a diagnostic platform system.

본원의 제 4 측면의 상기 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템에 대하여, 본원의 제 1 측면 내지 제 3 측면과 중복되는 부분들에 대해서는 상세한 설명을 생략하였으나, 그 설명이 생략되었더라도 본원의 제 1 측면 내지 제 3 측면에 기재된 내용은 본원의 제 4 측면에 동일하게 적용될 수 있다.With respect to the deep learning-based thyroid cancer lymph node metastasis diagnosis platform system of the fourth aspect of the present application, detailed descriptions of parts overlapping with the first to third aspects of the present application are omitted, but even if the description is omitted, the present application The contents described in the first aspect to the third aspect can be equally applied to the fourth aspect of the present application.

도 3 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템을 나타낸 이미지이고, 도 4 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템의 흐름도이다.3 is an image showing a deep learning-based thyroid cancer lymph node metastasis diagnosis platform system according to an embodiment of the present application, and FIG. 4 is a deep learning-based thyroid cancer lymph node metastasis diagnosis platform system according to an embodiment of the present application. It is a flow chart.

본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 사용자에게서 입력 받은 CT 영상을 기반으로 자동으로 크롭 이미지를 생성함으로써, 전문 지식이 부족한 사용자가 병변 부위를 정확히 알지 못하더라도 림프절 전이 여부를 알 수 있어, 사용자의 편의성을 증대시킨 플랫폼시스템을 제공할 수 있다.The deep learning-based thyroid cancer lymph node metastasis diagnosis platform system according to the present application automatically generates a crop image based on the CT image received from the user, so that even if a user lacking specialized knowledge does not know exactly the lesion site, it can detect whether lymph node metastasis or not. Therefore, it is possible to provide a platform system with increased user convenience.

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 API 엔진을 활용함으로써 다양한 사용자에게서 제공받은 새로운 이미지들을 지속적으로 학습할 수 있으므로, 진단 정확성 및 진단 속도를 지속적으로 향상시킬 수 있다.In addition, the deep learning-based thyroid cancer lymph node metastasis diagnosis platform system according to the present application can continuously learn new images provided by various users by utilizing the API engine, so that the diagnosis accuracy and diagnosis speed can be continuously improved. .

또한, 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템은 다양한 사용자에게 공급되어 갑상선 암의 림프절 전이 진단 관련 서비스를 제공할 수 있도록 함으로써, 다양한 응용 서비스를 개발할 수 있는 플랫폼으로서 유용하게 활용될 수 있다.In addition, the deep learning-based thyroid cancer lymph node metastasis diagnosis platform system according to the present application is supplied to a variety of users to provide services related to thyroid cancer lymph node metastasis diagnosis, so it is useful as a platform for developing various application services. can be

이하 실시예를 통하여 본 발명을 더욱 상세하게 설명하고자 하나, 하기의 실시예는 단지 설명의 목적을 위한 것이며 본원의 범위를 한정하고자 하는 것은 아니다.The present invention will be described in more detail through the following examples, but the following examples are for illustrative purposes only and are not intended to limit the scope of the present application.

[실시예 1] CT 영상의 획득 [Example 1] Acquisition of CT image

프로토콜은 대한민국 수원 소재 아주 대학교 의료원 기관 심의위원회 윤리위원회의 승인을 받았으며, 2018 년 1 월과 8 월 사이에 수술 계획을 위해 CT를 시행 한 갑상선암 환자 698 명으로부터 양성(n = 3606) 및 악성(n = 232) 림프절 (> 8 mm 내지 10 mm)의 총 3838 개의 축 방향 CT 영상을 수집하였다.The protocol was approved by the Ethics Committee of the Institutional Review Board, Ajou University Medical Center, Suwon, Korea, from 698 thyroid cancer patients who underwent CT for surgical planning between January and August 2018, benign (n = 3606) and malignant (n = 232) a total of 3838 axial CT images of lymph nodes (>8 mm to 10 mm) were collected.

모든 CT 이미지는 64 채널 내지 128 채널 다중 검출기 CT 스캐너(SOMATOM Definition Flash, Siemens Healthineers, Brilliance, Philips Healthcare, Aquilion One GENESIS, Canon Medical Systems)를 사용하여 획득하였다. CT 이미지는 0.5 mm 내지 0.6 mm 로 얻어졌으며 각 공급 업체의 CT 스캐너와 관련된 반복적 재구성 알고리즘을 사용하여 512 × 512 매트릭스에서 2.0 mm마다 축 이미지로 재구성되었다.All CT images were acquired using a 64-channel to 128-channel multi-detector CT scanner (SOMATOM Definition Flash, Siemens Healthineers, Brilliance, Philips Healthcare, Aquilion One GENESIS, Canon Medical Systems). CT images were obtained from 0.5 mm to 0.6 mm and were reconstructed as axial images every 2.0 mm in a 512 × 512 matrix using an iterative reconstruction algorithm associated with each vendor's CT scanner.

[실시예 2] 크롭(crop) 이미지 생성[Example 2] Crop image generation

Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 크롭 이미지를 생성하였다.Crop images were generated using segmentation algorithm or object detection algorithm.

[실시예 3] 갑상선 암의 림프절 전이 진단[Example 3] Lymph node metastasis diagnosis of thyroid cancer

훈련 데이터는 전이성 림프절 이미지보다 양성 림프절 수가 많기 때문에 두 라벨의 비율이 비슷하도록 상기 실시예 2 에서 얻은 크롭 이미지를 증강(augmentation) 시켰다.Since the training data had a higher number of positive lymph nodes than the metastatic lymph node image, the crop image obtained in Example 2 was augmented so that the ratio of the two labels was similar.

구체적으로, 모델의 과적합을 방지하고 모델 성능을 향상시키기 위하여 CT 영상을 보강하기 위해 영상 각도를 ±20º 이내로 무작위로 설정하고, 림프절 주변 부위의 크기를 최대 20% 까지 무작위로 변경하였으며, 영상을 림프절 자체를 포함하면서 수평 및 수직으로 무작위로 뒤집었다.Specifically, in order to prevent overfitting of the model and improve model performance, the image angle was randomly set within ±20º to enhance the CT image, and the size of the area around the lymph node was randomly changed up to 20%, and the image was Randomly inverted horizontally and vertically, including the lymph node itself.

이어서, 표준 편차를 나누어 증강 영상을 읽는 동안 특징별 표준 편차 정규화를 적용하였다. 그 후, 모든 증강 훈련 데이터 세트는 거리 척도를 표준화하기 위해 224 x 224 픽셀로 크기가 조정되었으며 이미지를 VGG16, VGG19, Xception, InceptionV3, InceptionResNetV2, DenseNet121, DenseNet169, ResNet, EfficientNet, MobileNet 의 8 개의 CNN 모델에 입력시킨 후, 학습시켰다.Then, standard deviation normalization for each feature was applied while reading the augmented image by dividing the standard deviation. After that, all augmented training datasets were resized to 224 x 224 pixels to standardize the distance scale, and images were converted to 8 CNN models: VGG16, VGG19, Xception, InceptionV3, InceptionResNetV2, DenseNet121, DenseNet169, ResNet, EfficientNet, MobileNet. After input into , it was trained.

구체적으로, 모든 교육 세션은 텐서 흐름 머신 러닝 백엔드와 함께 딥러닝 패키지 Keras (http://keras.io/)를 사용하여 수행되었다. 배치 크기는 30 으로 설정되고 학습률은 0.005 로 설정되었다. 범주형 교차 엔트로피를 최적화하기 위해 모멘텀을 0.9 로 설정하고 가중치 감소를 0.00005 로 설정한 ADAM 옵티 마이저를 사용하였다. CNN 네트워크에는 많은 수의 매개 변수가 있기 때문에 검증 세트의 정확도가 감소할 때까지 훈련 데이터 학습이 계속되었다.Specifically, all training sessions were performed using the deep learning package Keras (http://keras.io/) with a tensor flow machine learning backend. The batch size was set to 30 and the learning rate was set to 0.005. To optimize the categorical cross entropy, an ADAM optimizer with momentum set to 0.9 and weight reduction set to 0.00005 was used. Since the CNN network has a large number of parameters, training on the training data continued until the accuracy of the validation set decreased.

8 개의 딥러닝 알고리즘이 동일한 훈련 샘플에서 훈련되었고, 모델 가중치 값은 각 세대(전체 데이터 세트를 통한 반복)에 대해 생성되었다. 정확도와 교차 엔트로피가 더 이상 개선되지 않았기 때문에 훈련은 100 epoch 후에 중단되었다.Eight deep learning algorithms were trained on the same training sample, and model weight values were generated for each generation (iteration through the entire data set). Training was stopped after 100 epochs because the accuracy and cross entropy did not improve any further.

[실시예 4] 히트맵 생성[Example 4] Heat map generation

도 5 는 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 히트맵을 나타낸 그래프이다.5 is a graph showing a heat map of a method for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application.

구체적으로, 연결된 계층을 GAP (global average pooling) 계층으로 대체하는 CAM (class activation mapping) 방법을 사용하였다. 이는, 위치 정보 없이도 이미지 레벨 주석을 사용하여 라벨을 예측하기 위해 대부분의 대표적인 지역에서 캡처하는데 효율적인 방법이다.Specifically, a CAM (class activation mapping) method was used to replace the connected layer with a global average pooling (GAP) layer. This is an efficient way to capture in most representative regions to predict labels using image-level annotations without location information.

구체적으로, CAM 방법을 통하여 위치 정보를 사용하지 않고 단일 모델에서 데이터를 동시에 분류하고 지역화하는 모델을 생성하여 예측된 레이블이 히트맵에 표시된 초점 영역과 연결되도록 하였다. 따라서 GAP 계층은 활성화에 모델 세부 기능이 포함되어 있으므로 백본 모델의 마지막 컨볼루션 계층에 적용되었다. Specifically, a model was created that classifies and localizes data in a single model at the same time without using location information through the CAM method, so that the predicted label is connected with the focal region indicated on the heat map. Therefore, the GAP layer was applied to the last convolutional layer of the backbone model because the activation includes the model detail function.

추가 임상 검토를 위해 관심 영역을 평가하기 위해 테스트 데이터 세트에서 CAM 에 의해 생성된 활성화 맵(activation map)을 적용하였다. 레이어 드롭 아웃은 각 훈련 반복에서 과적합을 방지하기 위해 완전히 연결된 레이어에서 뉴런을 제거하는 방법이다. Activation maps generated by the CAM in the test data set were applied to evaluate regions of interest for further clinical review. Layer dropout is a method of removing neurons from fully connected layers to prevent overfitting at each training iteration.

구체적으로, 최종 소프트 맥스 활성화 레이어가 있는 두 개의 완전히 연결된 레이어 사이에 기본 모델 이후에 두 개의 드롭 아웃 레이어를 설정하였다.Specifically, we set up two dropout layers after the base model between two fully connected layers with the final soft max activation layer.

이어서, CNN 모델이 어떻게 예측 결과에 도달하는지 이해하기 위해 VGG 모델이 GAP 방법과 함께 사용되었다. 기존의 완전 연결 레이어를 채택하고 마지막 컨볼루션 레이어를 평탄화하는 대신 GAP 방법을 사용하여 마지막 컨볼루션 레이어에서 각 레이블의 특성 맵의 공간 평균을 직접 입력하였다. 따라서 림프절의 악성 종양과 관련된 히트맵을 그릴 수 있었다. 이는 기능맵의 공간 평균에 대한 가중 합계이다.Subsequently, the VGG model was used together with the GAP method to understand how the CNN model arrives at the prediction result. Instead of adopting the existing fully connected layer and flattening the last convolutional layer, the GAP method was used to directly input the spatial average of the feature map of each label in the last convolutional layer. Therefore, it was possible to draw a heat map related to lymph node malignancy. This is the weighted sum of the spatial mean of the functional map.

이를 통하여, 붉은색 영역으로 전이성 림프절을 구별하기 위해 CNN 모델이 초점을 맞춘 위치를 확인할 수 있었다. 악성 종양의 비정상적인 특성이 CNN 에 의해 학습되어 갑상선 암의 림프절 전이 진단의 기초로 사용되었음을 확인할 수 있었다.Through this, it was possible to confirm the location where the CNN model focused to distinguish the metastatic lymph node by the red region. It was confirmed that the abnormal characteristics of malignant tumors were learned by CNN and used as the basis for the diagnosis of lymph node metastasis of thyroid cancer.

이는 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 히트맵을 생성하여 제공하여 딥러닝 모델이 CT 영상의 어느 부분에 초점을 맞추고 있는지 추론할 수 있으므로, 잘못 판단된 영역을 제거함으로써, 특이도 및 민감성을 높인 진단 방법을 제공할 수 있음을 시사하는 것이다.This is because the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to the present application generates and provides a heat map to infer which part of the CT image the deep learning model focuses on. This suggests that a diagnostic method with increased specificity and sensitivity can be provided.

[실시예 5] 갑상선 암의 림프절 전이 진단 플랫폼시스템 구축[Example 5] Establishment of a thyroid cancer lymph node metastasis diagnosis platform system

본원에 따른 갑상선 암의 림프절 전이 진단 플랫폼시스템은 Vue 를 사용하여 구축되었다. Node.js 프레임 워크 및 서버 통신은 RESTful 응용 프로그램 인터페이스를 사용하여 개발되었다. 백엔드는 내장 개발 서버가 포함 된 FLASK 마이크로 프레임 워크를 사용하여 Python 으로 빌드되었다.A platform system for diagnosing lymph node metastasis of thyroid cancer according to the present application was constructed using Vue. Node.js framework and server communication was developed using RESTful application program interface. The backend was built in Python using the FLASK micro-framework with an embedded development server.

[실험예 1] [Experimental Example 1]

도 6 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 CAD 모델의 진단 성능을 평가한 결과를 나타낸 표이며, 도 7 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 CAD 모델의 수신기 작동 특성 곡선을 나타낸 그래프이다.6 is a table showing the results of evaluating the diagnostic performance of the CAD model of the method for diagnosing lymph node metastasis of thyroid cancer based on deep learning according to an embodiment of the present application, and FIG. This is a graph showing the receiver operating characteristic curve of the CAD model of the method for diagnosing lymph node metastasis of thyroid cancer.

구체적으로, 각 알고리즘에 대한 검증 세트에서 수술 전 CT 이미지를 기반으로 양성과 전이성 림프절을 구별하는데 가장 정확한 모델을 평가하였다. 8 개 알고리즘의 성능은 검증 데이터 세트의 수신기 작동 특성 곡선 하 영역(AUROC)과 민감도, 특이성, 양의 예측 값(PPV), 음의 예측 값(NPV) 및 정확도로 측정되었다. 매개 변수는 McNemar 의 테스트를 사용하여 비교되었다. 수신기 작동 특성 곡선 그림 및 결과 분석은 Rstatistical 소프트웨어의 pROC 패키지(https://cran.r-project.org/web/packages/pROC)를 사용하여 수행되었다. AUROC 는 95% 신뢰 구간으로 계산되었다.Specifically, in the validation set for each algorithm, the most accurate model for distinguishing between benign and metastatic lymph nodes based on preoperative CT images was evaluated. The performance of the eight algorithms was measured as the area under the receiver operating characteristic curve (AUROC) and sensitivity, specificity, positive predictive value (PPV), negative predictive value (NPV) and accuracy of the validation data set. The parameters were compared using McNemar's test. Receiver operating characteristic curve plots and analysis of results were performed using the pROC package of Rstatistical software (https://cran.r-project.org/web/packages/pROC). AUROC was calculated with a 95% confidence interval.

이를 통하여, 8 가지 딥러닝 알고리즘의 수신기 작동 특성 곡선 하 면적(AUROC)은 0.846(범위 0.784 내지 0.884) 임을 확인할 수 있었다. 가장 성능이 좋은 모델은 AUROC 가 0.884 인 Xception 임을 확인할 수 있었으며, Xception 의 진단 정확도, 민감도, 특이도, 양성 예측값, 음성 예측값은 각각 82.8%, 80.2%, 83.0%, 83.0%, 80.2% 임을 확인할 수 있었다.Through this, it was confirmed that the area under the receiver operating characteristic curve (AUROC) of the eight deep learning algorithms was 0.846 (range 0.784 to 0.884). It was confirmed that the best performing model was Xception with an AUROC of 0.884, and the diagnostic accuracy, sensitivity, specificity, positive predictive value, and negative predictive value of Xception were 82.8%, 80.2%, 83.0%, 83.0%, and 80.2%, respectively. there was.

이는 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 CT 영상으로부터 경부 림프절의 병변 영역을 추출하여, 상기 추출된 병변 영역에 대한 크롭 이미지를 학습시킴으로써 높은 민감도, 특이도 및 정확도를 가지는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법을 제공할 수 있음을 시사하는 것이다.This is the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to the present application by extracting the lesion area of the cervical lymph node from the CT image and learning the crop image for the extracted lesion area. This suggests that a learning-based method for diagnosing lymph node metastasis of thyroid cancer can be provided.

[실험예 2][Experimental Example 2]

도 8 은 본원의 일 실시예에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법의 사용 전후 신뢰수준(confidence levels) 변화에 대한 Sankey 플롯을 나타낸 그래프이다.8 is a graph showing a Sankey plot of a change in confidence levels before and after the use of the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to an embodiment of the present application.

구체적으로, CAD 시스템 정보 제공 전후 6 명의 교육생에 의한 진단 변화를 평가하기 위해 Pearson 상관 관계 분석을 사용하였다. CAD 정보 공개 전후의 신뢰 수준은 쌍을 이룬 Student t 테스트를 사용하여 비교되었다.Specifically, Pearson correlation analysis was used to evaluate the change in diagnosis by 6 trainees before and after providing CAD system information. Confidence levels before and after CAD information disclosure were compared using paired Student t tests.

이를 통하여, CAD 시스템 지원으로 모든 교육생의 갑상선 암의 림프절 전이 진단 신뢰 수준이 검토자 1 의 경우 4.51 에서 4.63(p = 0.002), 검토자 2 의 경우 4.22 에서 4.52(p <0.001), 검토자 3 의 경우 3.62 에서 4.14(p <0.001), 검토자 4 의 경우 4.26 에서 4.62(p <0.001), 검토자 5 의 경우 3.00 에서 3.76 (p <0.001), 검토자 6 의 경우 3.77 에서 4.14 (p <0.001) 로 증가하였음을 확인할 수 있었다. 전체 진단 신뢰 수준은 양성 및 악성 림프절 분석 모두에 대한 CAD 지원으로 3.90에서 4.30으로 크게 증가하였음을 확인할 수 있었다(p <0.001).Through this, the confidence level for thyroid cancer lymph node metastasis diagnosis of all trainees with CAD system support was 4.51 to 4.63 (p = 0.002) for Reviewer 1, 4.22 to 4.52 (p <0.001) for Reviewer 2, and Reviewer 3 3.62 to 4.14 for Reviewer 4 (p < 0.001), 4.26 to 4.62 for Reviewer 4 (p < 0.001), 3.00 to 3.76 for Reviewer 5 (p <0.001), and 3.77 to 4.14 for Reviewer 6 (p < 0.001). 0.001) was confirmed to increase. It was confirmed that the overall diagnostic confidence level increased significantly from 3.90 to 4.30 with CAD support for both benign and malignant lymph node analysis (p <0.001).

이는 본원에 따른 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법은 진단의 신뢰수준(confidence levels)을 높일 수 있으므로 의사에게 진단에 대한 확신을 갖도록 돕는 훈련 도구로서 임상적 유용성을 제공할 수 있음을 시사하는 것이다.This suggests that the deep learning-based method for diagnosing lymph node metastasis of thyroid cancer according to the present application can increase the confidence levels of diagnosis, so it can provide clinical usefulness as a training tool to help doctors have confidence in the diagnosis. will do

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present application is for illustration, and those of ordinary skill in the art to which the present application pertains will understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present application. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present application is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present application.

Claims (12)

대상체의 갑상선을 촬영한 CT 영상을 획득하는 단계;
상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 단계;
상기 크롭 이미지를 증강(augmentation)시키는 단계;
컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 단계; 및
상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 단계;
를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법.
acquiring a CT image of the thyroid gland of the subject;
generating a crop image by extracting the lesion from the CT image;
augmenting the cropped image;
generating learning information by learning the augmented image using a convolutional neural network (CNN); and
diagnosing whether thyroid cancer has metastasized to a lymph node based on the learning information;
A method for diagnosing lymph node metastasis of thyroid cancer based on deep learning, including
 제 1 항에 있어서,
상기 CT 영상은 갑상선 절제술이 수행되기 전 환자에게서 획득되는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법.
The method of claim 1,
The method for diagnosing lymph node metastasis of thyroid cancer based on deep learning, wherein the CT image is obtained from a patient before thyroidectomy is performed.
 제 1 항에 있어서,
상기 크롭 이미지를 생성하는 단계는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추천하는 단계; 및
상기 추천된 병변 영역의 위치 정보를 고려하여 마스킹을 수행하고, 마스킹이 완료된 이미지에 대하여 크롭을 수행하는 단계;
를 포함하는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법.
The method of claim 1,
The generating of the crop image may include: recommending a lesion region of a cervical lymph node from the CT image using a segmentation algorithm or an object detection algorithm; and
performing masking in consideration of the recommended location information of the lesion region, and performing cropping on the masked image;
A method for diagnosing lymph node metastasis of thyroid cancer based on deep learning, comprising a.
 제 1 항에 있어서,
상기 이미지를 증강시키는 단계는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 방법.
The method of claim 1,
The step of augmenting the image includes cropping, rotating, flipping, rescale, zooming, zero filling, rolling, color jittering), Noise Addition, Contrast Adjustment, Brightness Adjustment (Gamma Transformation), Smoothing (Averaging Filter), Scaling, Invert (Left/Left/Up/Down), Shift (Horizontal/Vertical), Partial Masking (Cut out and Random Erasing) ), trimming (Random Crop), transformation, discoloration, background replacement, Gaussian transformation, shear, affine, and combinations thereof, deep learning to perform A method for diagnosing lymph node metastasis in thyroid cancer based on
 제 1 항에 있어서,
상기 방법은 히트맵을 생성하는 단계; 및
상기 히트맵을 이용하여 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리 단계;
를 추가 포함하는 것인, 딥러닝 기반의갑상선 암의 림프절 전이 진단 방법.
The method of claim 1,
The method includes generating a heat map; and
a post-processing step of removing an area erroneously determined in the step of diagnosing whether thyroid cancer has metastasized to a lymph node using the heat map;
A method for diagnosing lymph node metastasis of thyroid cancer based on deep learning further comprising a.
 대상체의 갑상선을 촬영한 CT 영상을 획득하는 획득부;
상기 CT 영상으로부터 병변을 추출하여 크롭(crop) 이미지를 생성하는 전처리부;
상기 크롭 이미지를 증강(augmentation)시키는 증강부;
컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지를 학습하여 학습정보를 생성하는 학습부; 및
상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하는 진단 예측부;
를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템.
an acquisition unit configured to acquire a CT image of the thyroid gland of the subject;
a preprocessor for extracting a lesion from the CT image and generating a crop image;
an augmentation unit for augmenting the cropped image;
a learning unit for generating learning information by learning the augmented image using a convolutional neural network (CNN); and
a diagnosis prediction unit for diagnosing whether thyroid cancer has metastasized to a lymph node based on the learning information;
A deep learning-based lymph node metastasis diagnosis system for thyroid cancer.
 제 6 항에 있어서,
상기 획득부는 갑상선 절제술이 수행되기 전 환자에게서 상기 CT 영상을 획득하는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템.
7. The method of claim 6,
The deep learning-based lymph node metastasis diagnosis system for thyroid cancer, wherein the acquisition unit acquires the CT image from the patient before thyroidectomy is performed.
 제 6 항에 있어서,
상기 전처리부는 Segmentation 알고리즘 또는 Object Detection 알고리즘을 이용하여 상기 CT 영상으로부터 경부 림프절의 병변 영역을 추출하고, 상기 추출된 병변 영역에 대하여 이미지 크롭을 수행하여 상기 크롭 이미지를 생성하는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템.
7. The method of claim 6,
The preprocessor extracts the lesion region of the cervical lymph node from the CT image using a segmentation algorithm or an object detection algorithm, and performs image cropping on the extracted lesion region to generate the cropped image. Lymph node metastasis diagnostic system of thyroid cancer.
 제 6 항에 있어서,
상기 증강부는 잘라내기(crop), 회전(rotate), 뒤집기(flip), 크기 수정(rescale), 확대(zooming), 제로 필링(zero filling), 롤링(rolling), 색 이탈(color jittering), 노이즈 추가(Noise Addition), 콘트라스트 조정, 밝기 조정(감마 변환), smoothing(평균화 필터), 스케일링, 반전(좌우 / 상하), 이동(수평 / 수직), 부분 마스크(Cut out 및 Random Erasing), 트리밍 (Random Crop), 변형, 변색, 배경 교체, 가우스 변환(Gaussian transformation), 전단(shear), 아핀(affine) 및 이들의 조합들로 이루어진 군으로부터 선택되는 것을 수행하여 상기 이미지를 증강시키는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템.
7. The method of claim 6,
The augmentation unit crops, rotates, flips, rescales, zooms, zero filling, rolling, color jittering, noise Addition (Noise Addition), contrast adjustment, brightness adjustment (gamma conversion), smoothing (averaging filter), scaling, invert (left/right/up/down), shift (horizontal/vertical), partial mask (Cut out and Random Erasing), trimming ( Random Crop), transformation, discoloration, background replacement, Gaussian transformation, shear, affine, and combinations thereof to enhance the image by performing a deep A learning-based thyroid cancer lymph node metastasis diagnosis system.
 제 6 항에 있어서,
히트맵을 생성하는 생성부; 및
상기 히트맵을 수신하여 상기 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하는 후처리부;
를 추가 포함하는 것인, 딥러닝 기반의 갑상선 암의 림프절 전이 진단 시스템.
7. The method of claim 6,
a generator for generating a heat map; and
a post-processing unit that receives the heat map and removes a region erroneously determined in the step of diagnosing whether the thyroid cancer has metastasized to a lymph node;
Further comprising a, deep learning-based lymph node metastasis diagnosis system of thyroid cancer.
 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
A computer-readable recording medium in which a program for implementing the method according to any one of claims 1 to 5 is recorded.
 학습할 대상체의 갑상선을 촬영한 CT 영상 데이터 세트를 획득하여, 상기 CT 영상 데이터 세트로부터 병변을 추출하여 크롭(crop) 이미지 데이터 세트를 생성하고, 상기 크롭 이미지 데이터 세트를 증강(augmentation)시켜 컨볼루션 신경망(convolutional neural network, CNN)을 이용하여 상기 증강된 이미지 데이터 세트를 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 정보 데이터 세트를 수신하여 저장 처리하기 위한 딥러닝 기반의 자동 학습부;
사용자로부터 갑상선 암의 림프절 전이 여부를 진단하기 위한 CT 영상을 수신하여 상기 수신된 CT 영상으로부터 병변을 추출하여 크롭 이미지를 생성하고, 상기 크롭 이미지를 컨볼루션 신경망을 이용하여 학습하여 학습정보를 생성하고, 상기 학습정보에 기초하여 갑상선 암의 림프절 전이 여부를 진단하며, 상기 진단 결과값을 해당 사용자 단말기로 전송하기 위한 딥러닝 기반의 갑상선 암의 림프절 전이 진단용 API 엔진; 및
상기 API 엔진으로부터 상기 진단 결과값을 획득하여 실시간으로 갑상선 암의 림프절 전이 진단 결과를 화면에 출력시키는 사용자 단말기;
를 포함하는 딥러닝 기반의 갑상선 암의 림프절 전이 진단 플랫폼시스템.
A CT image data set obtained by photographing the thyroid gland of an object to be studied is acquired, a lesion is extracted from the CT image data set, a crop image data set is generated, and the crop image data set is augmented to convolution A neural network (convolutional neural network, CNN) is used to learn the augmented image data set to generate learning information, to diagnose whether lymph node metastasis of thyroid cancer is based on the learning information, and to receive the diagnostic information data set. Deep learning-based automatic learning unit for storage processing;
Receive a CT image for diagnosing whether thyroid cancer has metastasized to a lymph node from a user, extract a lesion from the received CT image to generate a cropped image, and learn the cropped image using a convolutional neural network to generate learning information, an API engine for diagnosing lymph node metastasis of thyroid cancer based on deep learning for diagnosing whether thyroid cancer has metastasized to a lymph node based on the learning information and transmitting the diagnosis result to a corresponding user terminal; and
a user terminal for obtaining the diagnosis result value from the API engine and outputting the diagnosis result of lymph node metastasis of thyroid cancer on the screen in real time;
A deep learning-based thyroid cancer lymph node metastasis diagnosis platform system that includes
KR1020200186126A 2020-12-29 2020-12-29 The diagnostic method and system of lymph node metastasis in thyroid cancer using ct image KR20220095342A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200186126A KR20220095342A (en) 2020-12-29 2020-12-29 The diagnostic method and system of lymph node metastasis in thyroid cancer using ct image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200186126A KR20220095342A (en) 2020-12-29 2020-12-29 The diagnostic method and system of lymph node metastasis in thyroid cancer using ct image

Publications (1)

Publication Number Publication Date
KR20220095342A true KR20220095342A (en) 2022-07-07

Family

ID=82397703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200186126A KR20220095342A (en) 2020-12-29 2020-12-29 The diagnostic method and system of lymph node metastasis in thyroid cancer using ct image

Country Status (1)

Country Link
KR (1) KR20220095342A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393356A (en) * 2022-10-27 2022-11-25 武汉楚精灵医疗科技有限公司 Target part abnormal form recognition method and device and computer readable storage medium
CN117114627A (en) * 2023-10-18 2023-11-24 日照市自然资源和规划局 land resource management system
CN117454940A (en) * 2023-12-21 2024-01-26 天津市肿瘤医院（天津医科大学肿瘤医院） Training method and image processing method for predicting thyroid nodule metastasis
KR20240018341A (en) 2022-08-02 2024-02-13 서울대학교병원 Apparatus and method for enabling quantitative thyroid spect without ct using neural network
KR20240083819A (en) 2022-12-05 2024-06-12 가톨릭대학교 산학협력단 Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model and learning method thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240018341A (en) 2022-08-02 2024-02-13 서울대학교병원 Apparatus and method for enabling quantitative thyroid spect without ct using neural network
CN115393356A (en) * 2022-10-27 2022-11-25 武汉楚精灵医疗科技有限公司 Target part abnormal form recognition method and device and computer readable storage medium
CN115393356B (en) * 2022-10-27 2023-02-03 武汉楚精灵医疗科技有限公司 Target part abnormal form recognition method and device and computer readable storage medium
KR20240083819A (en) 2022-12-05 2024-06-12 가톨릭대학교 산학협력단 Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model and learning method thereof
CN117114627A (en) * 2023-10-18 2023-11-24 日照市自然资源和规划局 land resource management system
CN117454940A (en) * 2023-12-21 2024-01-26 天津市肿瘤医院（天津医科大学肿瘤医院） Training method and image processing method for predicting thyroid nodule metastasis
CN117454940B (en) * 2023-12-21 2024-04-09 天津市肿瘤医院（天津医科大学肿瘤医院） Training method and image processing method for predicting thyroid nodule metastasis

Similar Documents

Publication Publication Date Title
US11610308B2 (en) Localization and classification of abnormalities in medical images
KR20220095342A (en) The diagnostic method and system of lymph node metastasis in thyroid cancer using ct image
CN110621231B (en) System and method for hierarchical multi-level feature image synthesis and representation
KR101740464B1 (en) Method and system for diagnosis and prognosis of stroke and systme therefor
CN111243042A (en) Ultrasonic thyroid nodule benign and malignant characteristic visualization method based on deep learning
CN111539930A (en) Dynamic ultrasonic breast nodule real-time segmentation and identification method based on deep learning
Hu et al. Label-free liver tumor segmentation
EP3973539A1 (en) System and method for interpretation of multiple medical images using deep learning
JP2023540910A (en) Connected Machine Learning Model with Collaborative Training for Lesion Detection
Davletshina et al. Unsupervised anomaly detection for X-ray images
Lustermans et al. Optimized automated cardiac MR scar quantification with GAN‐based data augmentation
Lu et al. PKRT-Net: prior knowledge-based relation transformer network for optic cup and disc segmentation
Midya et al. Computerized diagnosis of liver tumors from CT scans using a deep neural network approach
AU2021100684A4 (en) DEPCADDX - A MATLAB App for Caries Detection and Diagnosis from Dental X-rays
US20230162353A1 (en) Multistream fusion encoder for prostate lesion segmentation and classification
Zaev et al. Segmentation of prostate cancer on TRUS images using ML
Zhu et al. A multi-task two-path deep learning system for predicting the invasiveness of craniopharyngioma
JP2006334140A (en) Display method of abnormal shadow candidate and medical image processing system
Keshavamurthy et al. Weakly supervised pneumonia localization in chest X‐rays using generative adversarial networks
Diez et al. Deep reinforcement learning and convolutional autoencoders for anomaly detection of congenital inner ear malformations in clinical CT images
Van Do et al. Segmentation of hard exudate lesions in color fundus image using two-stage CNN-based methods
Ravi et al. MDNN: Predictive Modeling of Breast Cancer Subtypes Using Modified Deep Neural Networks
KR102595106B1 (en) Mtehod and system for generating deep learning network model for sacroiliac osteoarthritis diagnosis
US20240108299A1 (en) Artifact-driven data synthesis in computed tomography
US20240095907A1 (en) Deep learning based systems and methods for detecting breast diseases

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application