KR102595106B1 - Mtehod and system for generating deep learning network model for sacroiliac osteoarthritis diagnosis - Google Patents

Mtehod and system for generating deep learning network model for sacroiliac osteoarthritis diagnosis Download PDF

Info

Publication number
KR102595106B1
KR102595106B1 KR1020210119769A KR20210119769A KR102595106B1 KR 102595106 B1 KR102595106 B1 KR 102595106B1 KR 1020210119769 A KR1020210119769 A KR 1020210119769A KR 20210119769 A KR20210119769 A KR 20210119769A KR 102595106 B1 KR102595106 B1 KR 102595106B1
Authority
KR
South Korea
Prior art keywords
group
sacroiliac
training
deep learning
network model
Prior art date
Application number
KR1020210119769A
Other languages
Korean (ko)
Other versions
KR20230037094A (en
Inventor
조윤상
홍석우
Original Assignee
조윤상
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조윤상 filed Critical 조윤상
Priority to KR1020210119769A priority Critical patent/KR102595106B1/en
Publication of KR20230037094A publication Critical patent/KR20230037094A/en
Application granted granted Critical
Publication of KR102595106B1 publication Critical patent/KR102595106B1/en

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/412—Detecting or monitoring sepsis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4571—Evaluating the hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Rheumatology (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Image Analysis (AREA)

Abstract

컴퓨터에 의해 수행되는 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법이 제공된다. 상기 방법은 단순골반전후촬영을 시행한 환자군 및 대조군을 임의 배정하여 훈련군, 검증군 및 시험군으로 구성하는 단계; 상기 훈련군, 검증군 및 시험군의 상기 단순골반전후촬영 영상으로부터 양측 천장골관절 부분을 분획한 훈련 이미지 데이터를 생성하는 단계; 상기 훈련군 및 검증군의 훈련 이미지 데이터를 대상으로 천장골관절 부위를 바운딩 박스 처리하는 단계; 상기 훈련군 및 검증군의 훈련 이미지 데이터 및 상기 시험군의 단순골반전후촬영 영상을 대상으로 천장골관절염 여부를 라벨링하는 단계; 및 상기 훈련군의 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습시키는 단계를 포함한다.A method for generating a deep learning network model for diagnosing sacroiliac arthritis performed by a computer is provided. The method includes randomly assigning a patient group and a control group that underwent simple anteroposterior pelvic imaging to form a training group, verification group, and test group; Generating training image data by segmenting the sacroiliac joints on both sides from the simple anteroposterior pelvic imaging images of the training group, verification group, and test group; Processing the sacroiliac joint region as a bounding box for the training image data of the training group and the verification group; Labeling the training image data of the training group and the verification group and the simple anteroposterior pelvic imaging images of the test group as to whether they have sacroiliac arthritis; and learning a deep learning network model for diagnosing sacroiliac arthritis based on training image data of the training group.

Description

천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법 및 시스템{MTEHOD AND SYSTEM FOR GENERATING DEEP LEARNING NETWORK MODEL FOR SACROILIAC OSTEOARTHRITIS DIAGNOSIS}Deep learning network model generation method and system for diagnosing sacroiliac arthritis {MTEHOD AND SYSTEM FOR GENERATING DEEP LEARNING NETWORK MODEL FOR SACROILIAC OSTEOARTHRITIS DIAGNOSIS}

본 발명은 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for generating a deep learning network model for diagnosing sacroiliac arthritis.

척추관절병증(axial spondyloarthritis)은 천장관절(sacroiliac joint)을 침범하는 만성 염증성 종류이다. 이러한 척추관절병증을 진단하기 위해서는 단순촬영(Plain radiography)을 주로 이용한다. 하지만, 천장관절의 복잡한 해부학적 구조로 인해 단순촬영을 이용한 진단은 용이하지 않은 경우가 많으며 또한 임상에서 오진하는 경우가 적지 않다.Axial spondyloarthritis is a chronic inflammatory type that affects the sacroiliac joint. To diagnose this type of spondyloarthropathy, plain radiography is mainly used. However, due to the complex anatomical structure of the sacroiliac joint, diagnosis using plain imaging is often difficult, and there are many cases of misdiagnosis in clinical practice.

최근 딥러닝(deep learning) 모델을 이용한 컴퓨터 보조 진단 기술은 다양한 분야에서 영상의학과 전문의와 비슷하거나 더 우수한 진단능을 보인다는 결과가 보고되고 있으나, 단순촬영을 이용한 척추관절 병증 환자의 천장골관절염 진단에 대한 인공지능 연구는 아직 보고되고 있지 않다.Recently, results have been reported showing that computer-assisted diagnosis technology using deep learning models has similar or better diagnostic ability than that of radiologists in various fields. Artificial intelligence research has not yet been reported.

공개특허공보 제10-2020-0137178호 (2020.12.09)Public Patent Publication No. 10-2020-0137178 (2020.12.09)

본 발명이 해결하고자 하는 과제는 축성 척추관절병증 환자의 단순골반전후촬영 영상을 딥러닝 네트워크에 입력하여 천장골관절염 여부를 용이하게 진단할 수 있는, 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법 및 시스템을 제공하는 것이다.The problem that the present invention aims to solve is a method and system for generating a deep learning network model for diagnosing sacroiliac arthritis, which can easily diagnose sacroiliac arthritis by inputting simple anteroposterior pelvic imaging images of patients with axial spondyloarthropathy into a deep learning network. is to provide.

다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.However, the problem to be solved by the present invention is not limited to the problems described above, and other problems may exist.

상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 컴퓨터에 의해 수행되는 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법은 단순골반전후촬영을 시행한 환자군 및 대조군을 임의 배정하여 훈련군, 검증군 및 시험군으로 구성하는 단계; 상기 훈련군, 검증군 및 시험군의 상기 단순골반전후촬영 영상으로부터 양측 천장골관절 부분을 분획한 훈련 이미지 데이터를 생성하는 단계; 상기 훈련군 및 검증군의 훈련 이미지 데이터를 대상으로 천장골관절 부위를 바운딩 박스 처리하는 단계; 상기 훈련군 및 검증군의 훈련 이미지 데이터 및 상기 시험군의 단순골반전후촬영 영상을 대상으로 천장골관절염 여부를 라벨링하는 단계; 및 상기 훈련군의 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습시키는 단계를 포함한다.The method of generating a deep learning network model for diagnosing sacroiliac arthritis performed by a computer according to the first aspect of the present invention to solve the above-described problem is to randomly assign a patient group and a control group that underwent simple pelvic anteroposterior imaging to be a training group and validation. Organizing groups and test groups; Generating training image data by segmenting the sacroiliac joints on both sides from the simple anteroposterior pelvic imaging images of the training group, verification group, and test group; Processing the sacroiliac joint area as a bounding box for the training image data of the training group and the verification group; Labeling the training image data of the training group and the verification group and the simple anteroposterior pelvic imaging images of the test group as to whether they have sacroiliac arthritis; and learning a deep learning network model for diagnosing sacroiliac arthritis based on training image data of the training group.

본 발명의 일부 실시예에서, 상기 시험군은 상기 단순골반전후촬영을 시행한 환자 중에서 CT 또는 MRI의 촬영 정보가 존재하는 환자로 구성될 수 있다.In some embodiments of the present invention, the test group may be composed of patients who have CT or MRI imaging information among patients who underwent simple pelvic anteroposterior imaging.

본 발명의 일부 실시예에서, 상기 시험군의 단순골반전후촬영 영상을 대상으로 천장골관절염 여부를 라벨링하는 단계는, 상기 CT 촬영 정보 및 MRI 촬영 정보를 대상으로 천장골관절염 여부를 라벨링하는 하는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of labeling the simple pelvic anteroposterior imaging images of the test group as to whether they have sacroiliac arthritis includes labeling the CT imaging information and MRI imaging information as to whether they have sacroiliac arthritis. can do.

본 발명의 일부 실시예는, 상기 검증군을 이용하여 상기 학습된 딥러닝 네트워크 모델의 정확도를 평가하는 단계를 더 포함할 수 있다.Some embodiments of the present invention may further include evaluating the accuracy of the learned deep learning network model using the verification group.

본 발명의 일부 실시예는, 상기 시험군을 이용하여 상기 학습된 딥러닝 네트워크 모델의 진단능을 평가하는 단계를 더 포함할 수 있다.Some embodiments of the present invention may further include evaluating the diagnostic ability of the learned deep learning network model using the test group.

본 발명의 일부 실시예에서, 상기 훈련군의 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습시키는 단계는, 상기 훈련 이미지 데이터 및 상기 환자군과 대조군의 성별과 연령 정보를 훈련 데이터로 구성하여 상기 딥러닝 네트워크 모델을 학습할 수 있다.In some embodiments of the present invention, the step of learning a deep learning network model for diagnosing sacroiliac arthritis based on the training image data of the training group includes using the training image data and gender and age information of the patient group and the control group as training data. The deep learning network model can be learned by configuring.

본 발명의 일부 실시예는, 임의의 환자에 대한 단순골반전후촬영 영상을 획득하는 단계; 상기 획득한 단순골반전후촬영 영상을 상기 학습된 딥러닝 네트워크 모델에 입력하여 천장골관절염 진단 결과를 획득하는 단계; 및 상기 천장골관절염 진단 결과에 기초하여 이상 징후, 증상 및 조치 정보를 포함하는 포트폴리오 결과를 제공하는 단계를 더 포함할 수 있다.Some embodiments of the present invention include obtaining simple anteroposterior pelvic imaging images for any patient; Obtaining a sacroiliac arthritis diagnosis result by inputting the obtained simple pelvic anterior and posterior imaging images into the learned deep learning network model; And it may further include providing a portfolio result including abnormal signs, symptoms, and action information based on the sacroiliac arthritis diagnosis results.

또한, 본 발명의 제2 측면에 따른 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 시스템은 단순골반전후촬영 영상을 수신하는 통신모듈, 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 단순골반전후촬영을 시행한 환자군 및 대조군을 임의 배정하여 훈련군, 검증군 및 시험군으로 구성하고, 상기 훈련군, 검증군 및 시험군의 상기 단순골반전후촬영 영상으로부터 양측 천장골관절 부분을 분획한 훈련 이미지 데이터를 생성하고, 상기 훈련군 및 검증군의 훈련 이미지 데이터를 대상으로 천장골관절 부위를 바운딩 박스 처리하고, 상기 훈련군 및 검증군의 훈련 이미지 데이터 및 상기 시험군의 단순골반전후촬영 영상을 대상으로 천장골관절염 여부를 라벨링한 후, 상기 훈련군의 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습시킨다.In addition, the deep learning network model generation system for diagnosing sacroiliac arthritis according to the second aspect of the present invention learns a deep learning network model for diagnosing sacroiliac arthritis based on a communication module that receives simple pelvic anterior and posterior imaging images and training image data. It includes a memory storing a program for doing so and a processor executing the program stored in the memory. At this time, as the processor executes the program stored in the memory, the patient group and control group that underwent simple pelvic anterior and posterior imaging are randomly assigned to form a training group, verification group, and test group, and the training group, verification group, and Training image data was generated by dividing the sacroiliac joints on both sides from the simple anteroposterior pelvic imaging images of the test group, and the sacroiliac joint region was processed as a bounding box for the training image data of the training and verification groups. After labeling the training image data of the verification group and the simple anteroposterior pelvic imaging images of the test group as to whether or not they have sacroiliac arthritis, a deep learning network model for diagnosing sacroiliac arthritis is learned based on the training image data of the training group.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.A computer program according to another aspect of the present invention for solving the above-described problem is combined with a computer as hardware to execute the deep learning network model generation method for diagnosing sacroiliac arthritis, and is stored in a computer-readable recording medium.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

상술한 본 발명에 의하면, 천장골관절염 진단을 위한 딥러닝 모델 네트워크를 학습하고, 이를 이용하여 천장골관절염 진단을 용이하게 할 수 있다.According to the present invention described above, a deep learning model network for diagnosing sacroiliac arthritis can be learned and used to facilitate diagnosing sacroiliac arthritis.

이를 이용하여, 요통 환자의 일차 진료시 상급병원 회송을 위한 임상전문의의 의사 결정 지원 도구로 활용할 수 있으며, 영상의학과 의사의 단순촬영 판독시 이차 판독(secondary reader) 역할로 사용하여, 단순촬영을 이용한 천장골관절염의 진단 정확도를 향상시킬 수 있으며, 오진으로 인해 척추관절염 환자의 치료가 지연되는 것을 방지할 수 있다.Using this, it can be used as a decision-making support tool for clinicians to refer patients to a higher level hospital during primary care for patients with back pain, and it can be used as a secondary reader when a radiologist interprets simple imaging, using simple imaging It can improve the diagnostic accuracy of sacroiliac arthritis and prevent delays in treatment of patients with spondyloarthritis due to misdiagnosis.

또한, 본 발명의 일 실시예를 통해 후속 연구로서 보다 정확한 임상 검증을 위한 전향적 연구를 시행할 수 있으며, 전이학습 등을 통해 타 질환 진단을 위한 딥러닝 네트워크 모델로 활용 가능하다는 장점이 있다.In addition, through one embodiment of the present invention, it is possible to conduct a prospective study for more accurate clinical verification as a follow-up study, and there is an advantage that it can be used as a deep learning network model for diagnosing other diseases through transfer learning, etc.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 일 실시예에 따른 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법의 순서도이다.
도 2는 CT 영상에서의 바운딩박스를 표시한 일 예시를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 시스템의 블록도이다.Figure 1 is a flow chart of a deep learning network model generation method for diagnosing sacroiliac arthritis according to an embodiment of the present invention.
Figure 2 is a diagram showing an example of displaying a bounding box in a CT image.
Figure 3 is a block diagram of a deep learning network model generation system for diagnosing sacroiliac arthritis according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide a general understanding of the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be a second component within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.

본 발명은 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법 및 시스템(100)에 관한 것이다.The present invention relates to a method and system (100) for generating a deep learning network model for diagnosing sacroiliac arthritis.

척추관절병증(axial spondyloarthritis)은 천장골관절(sacroiliac joint)을 침범하고 HLA-B27 항원의 발현율이 높으며, 혈액에서 류마티스 인자는 발견되지 않는 공통점을 갖는 만성 염증성 관절염의 한 종류이다. 천장골관절염은 척추관절병증의 중요한 특징으로, 전통적으로 Modified New York Criteria에서는 임상양상과 함께 천장골관절의 침범을 단순촬영으로 평가한다. Axial spondyloarthritis is a type of chronic inflammatory arthritis that affects the sacroiliac joint, has a high expression rate of HLA-B27 antigen, and has the common feature of not having rheumatoid factor found in the blood. Sacroiliac arthritis is an important feature of spondyloarthropathy, and traditionally, the Modified New York Criteria evaluates sacroiliac joint involvement along with clinical features using plain imaging.

하지만, 천장골관절의 복잡한 해부학적 구조로 인해 단순촬영을 이용한 진단은 용이하지 않으며, 이로 인해 척추관절병증에 익숙하지 않은 일차진료의나 경험이 적은 영상의학과 의사는 천장골관절염 환자를 잘 진단하지 못하거나 퇴행성 변화를 천장골관절염으로 오진하는 경우가 적지 않다.However, due to the complex anatomical structure of the sacroiliac joint, diagnosis using plain imaging is not easy, and as a result, primary care physicians who are unfamiliar with spondyloarthropathy or radiologists with little experience have difficulty diagnosing patients with sacroiliac arthritis. There are many cases where degenerative changes are misdiagnosed as sacroiliac arthritis.

기존 연구에 의하면, 천장골관절염에 대한 단순촬영 진단의 관찰자간 및 관찰자내 일치도(inter- and intraobserver agreement)는 상당히 넓은 범위를 가져 카페 통계량( -statistics)은 0.27에서 0.46 정도로 낮거나 중증도 정도의 일치도를 보인다(Christiansen et al, 2017). According to existing studies, the inter- and intraobserver agreement for plain radiography diagnosis of sacroiliac osteoarthritis has a fairly wide range, and the Café statistic ( -statistics) shows low to moderate agreement, ranging from 0.27 to 0.46 (Christiansen et al, 2017).

한편, 전산화 단층촬영(Computed tomography)은 단순촬영에 비해 민감도가 높으며, 특히 구조적 변화의 평가에 있어서는 가장 우수한 진단능을 보이지만, 전산화 단층촬영은 환자의 방사선 피폭의 증가라는 문제가 있으며, 단순촬영이 비해 상대적으로 높은 의료비용으로 인해 초기 평가로는 널리 사용되지 않는다.On the other hand, computed tomography has a higher sensitivity than plain imaging and shows the best diagnostic ability, especially in the evaluation of structural changes. However, computed tomography has the problem of increasing the patient's radiation exposure, and simple imaging Due to the relatively high medical costs, it is not widely used for initial evaluation.

디지털 토모신테시스(Digital tomosynthesis)는 전산화 단층촬영에 비해 방사선 피폭량이 상대적으로 적으며, 단층촬영과 같이 구조물의 중첩을 일부 해결할 수 있기 때문에, 단순촬영보다 구조적 변화의 진단적 민감도가 높은 장점이 있다. 하지만, 장비의 보급이 제한적이고 임상적으로 충분한 검증이 되지 않는다는 문제가 있다(Lacout et al, 2014). Digital tomosynthesis has the advantage of having a higher diagnostic sensitivity for structural changes than simple imaging because the amount of radiation exposure is relatively small compared to computed tomography and, like tomography, it can resolve some of the overlap of structures. there is. However, there is a problem that the distribution of the equipment is limited and sufficient clinical verification is not possible (Lacout et al, 2014).

자기공명영상은 구조적 변화가 상당히 진행하기 이전의 초기 염증성 변화를 민감하게 발견할 수 있다는 장점이 있어, 최근 척추관절병증 환자의 영상의학적 평가에서 역할이 증가하고 있지만, 접근이 제한적이며 가장 높은 의료 비용으로 인해 초기 평가로는 사용되지 않는 경우가 대부분이어서 척추관절병증의 초기 진단에서 단순촬영은 여전히 매우 중요한 역할을 담당한다.Magnetic resonance imaging has the advantage of being able to sensitively detect early inflammatory changes before structural changes have progressed significantly, and has recently been playing an increasing role in the radiological evaluation of patients with spondyloarthropathy. However, access is limited and the highest medical costs are high. Because of this, in most cases it is not used for initial evaluation, plain imaging still plays a very important role in the initial diagnosis of spondyloarthropathy.

한편, 기존의 컴퓨터 보조 진단(computer-aided diagnosis, CAD)은 영상의학 분야에서 유방영상에서의 종괴와 미세 석회화의 검출, 흉부 단순촬영에서의 결절 검출, 흉부 전산화 단층촬영에서의 폐 결절 검출, CT 대장 조영술(colonography)을 이용한 폴립의 검출 등 많은 연구가 진행되어 왔다. 하지만, 초기의 낙관적인 기대에 비해 수십년 간의 연구 이후에도 아직 임상적으로 성능의 한계를 보여 많은 연구가 실용화 단계에 이르지 못하고 있다.Meanwhile, existing computer-aided diagnosis (CAD) is used in the field of radiology to detect masses and microcalcifications in breast images, nodule detection in chest radiography, lung nodule detection in chest computed tomography, and CT. Many studies have been conducted, including the detection of polyps using colonography. However, compared to initially optimistic expectations, even after decades of research, many studies have not yet reached the practical application stage due to limitations in clinical performance.

이와 관련하여, 기계학습(machine learning)은 과거 데이터로부터 패턴을 인식하여 새로운 지식을 발견해내는 알고리즘을 연구하는 인공지능의 한 분야로, 최근 컴퓨팅 성능과 대용량 스토리지 기술의 발전 덕분에 급격한 발전을 하고 있다. 특히, 딥러닝(deep learning)은 기존 기계학습 알고리즘으로는 성능에 제한이 있던 음성인식(speech recognition)이나 컴퓨터 비전(computer vision) 분야에서 기존의 한계를 넘어서는 우수한 성능을 보이며 각종 대회에서 기존 기록을 경신하며 학계 및 업계에서 큰 각광을 받고 있다(LeCun et al, 2015).In this regard, machine learning is a field of artificial intelligence that studies algorithms that discover new knowledge by recognizing patterns from past data. It has recently made rapid progress thanks to advances in computing performance and large-capacity storage technology. . In particular, deep learning has shown excellent performance exceeding existing limitations in speech recognition and computer vision, where existing machine learning algorithms had limited performance, breaking existing records in various competitions. It is a breakthrough and is receiving great attention in academia and industry (LeCun et al, 2015).

이 중, 합성곱 신경망(convolutional neural network)은 딥러닝의 한 유형으로, 특히 이미지 인식과 같은 컴퓨터 비전 분야에서 독보적인 성능을 보이고 있다. 이를 이용한 의료 영상 분석은 최근 활발한 연구가 진행중이며, 안저 영상을 이용한 당뇨병성 망막증(diabetic retinopathy)의 진단에서 민감도 90.3%, 특이도 98.1%, AUC 0.991의 우수한 진단능을 보인다(Gulshan et al, 2016). Among these, convolutional neural network is a type of deep learning and is showing unrivaled performance, especially in computer vision fields such as image recognition. Medical image analysis using this is currently under active research, and it shows excellent diagnostic ability with a sensitivity of 90.3%, specificity of 98.1%, and AUC of 0.991 in the diagnosis of diabetic retinopathy using fundus images (Gulshan et al, 2016 ).

최근 영상의학 분야에서도 질병의 분류(classification), 병변의 검출(detection) 및 분획(segmentation)과 같은 다양한 분야에 인공 지능을 이용한 연구가 매우 활발히 진행 중이며, 흉부 단순촬영에서의 폐 결절 검출을 비롯한 다양한 분야에서 영상의학과 전문의와 비슷하거나 더 우수한 진단능을 보일 수 있다는 연구 결과가 보고되고 있다(Nam et al, 2018). Recently, in the field of radiology, research using artificial intelligence is very active in various fields such as classification of diseases, detection and segmentation of lesions, and detection of lung nodules in simple chest radiography. Research results have been reported showing that diagnostic ability can be similar to or better than that of radiologists in the field (Nam et al, 2018).

기존 단순촬영을 이용한 천장골관절염 진단의 한계를 극복하기 위해서는 딥러닝을 이용한 단순촬영 진단 모델을 개발하여 모델의 진단능을 조사하고, 이를 기존의 영상의학과 의사의 진단능과 비교함과 더불어 딥러닝 모델을 이용하였을 때 진단능의 향상이 있는지를 조사하기 위한 연구가 반드시 필요하다.In order to overcome the limitations of diagnosing sacroiliac arthritis using existing simple imaging, we developed a simple imaging diagnostic model using deep learning, investigated the diagnostic ability of the model, compared it with the diagnostic ability of existing radiologists, and developed a deep learning model. Research is absolutely necessary to investigate whether there is an improvement in diagnostic ability when using .

이를 위해 본 발명은 단순골반전후촬영(Pelvis AP)을 시행한 환자를 후향적으로 수집하여 딥러닝 네트워크 모델 학습을 위한 훈련군(training set) 및 검증군(tuning set)을 구성하였으며, 단순골반전후촬영을 시행한 환자 중 골반 부위의 전산화 단층촬영(CT) 또는 자기공명영상(MRI)이 존재하는 환자를 별도의 시험군(validation set)으로 구성하여, CT 및 MRI를 진단기준(reference standard)으로 사용하였다.For this purpose, the present invention retrospectively collected patients who underwent simple pelvic anterior and posterior imaging (Pelvis AP) and formed a training set and a validation group (tuning set) for learning a deep learning network model. Among patients who underwent imaging, patients who had computed tomography (CT) or magnetic resonance imaging (MRI) of the pelvic area were formed into a separate validation set, with CT and MRI used as the reference standard. used.

이러한 각 영상에 대해 영상의학과 전문의 또는 소정의 딥러닝 네트워크 모델을 통해 천장골관절 부위에 경계 박스(bounding box)를 위치시키고, 천장골관절염 여부를 표시(labeling)하였다. 그리고 라벨링된 학습 데이터를 이용하여 지도학습(supervised learning) 방법으로 딥러닝 네트워크 모델을 학습시킨 후 천장골관절염 진단능을 평가하였다.For each of these images, a bounding box was placed on the sacroiliac joint area using a radiologist or a certain deep learning network model, and the presence or absence of sacroiliac arthritis was labeled. Then, a deep learning network model was trained using the supervised learning method using labeled learning data, and the diagnostic ability for sacroiliac arthritis was evaluated.

또한, 본 발명의 일 실시예는 영상 데이터만을 이용하였을 때의 진단능과, 부가적으로 환자의 성별, 연령 정보를 포함하는 임상 정보를 추가적으로 반영하여 딥러닝 네트워크 모델을 학습하였을 때의 진단능을 비교하였다. In addition, an embodiment of the present invention provides diagnostic performance when using only image data, and additionally, diagnostic performance when learning a deep learning network model by additionally reflecting clinical information including patient's gender and age information. compared.

이를 통해, 본 발명의 일 실시예는 영상의학과 의사의 진단능과 비교하고 최종적으로 딥러닝 네트워크 모델을 영상의학과 의사에게 제시하여 진단능의 향상이 있는지를 확인하였다.Through this, an embodiment of the present invention compared the diagnostic ability of a radiologist and finally presented the deep learning network model to the radiologist to confirm whether there was an improvement in diagnostic ability.

이하에서는 도 1 내지 도 2를 참조하여 본 발명의 일 실시예에 따른 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법에 대해 설명하도록 한다.Hereinafter, a method for generating a deep learning network model for diagnosing sacroiliac arthritis according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2.

도 1은 본 발명의 일 실시예에 따른 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법의 순서도이다. 도 2는 CT 영상에서의 바운딩박스를 표시한 일 예시를 도시한 도면이다.Figure 1 is a flow chart of a deep learning network model generation method for diagnosing sacroiliac arthritis according to an embodiment of the present invention. Figure 2 is a diagram showing an example of displaying a bounding box in a CT image.

한편, 도 1에 도시된 각 단계들은 후술하는 도 3의 딥러닝 네트워크 모델 생성 시스템에 의해 수행되는 것으로 이해될 수 있으나, 반드시 이에 한정되는 것은 아니다.Meanwhile, each step shown in FIG. 1 may be understood as being performed by the deep learning network model generation system of FIG. 3, which will be described later, but is not necessarily limited thereto.

본 발명의 일 실시예에 따른 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법은 먼저, 단순골반전후촬영을 시행한 환자군 및 대조군을 임의 배정하여 훈련군, 검증군 및 시험군으로 구성한다(S110).The method for generating a deep learning network model for diagnosing sacroiliac arthritis according to an embodiment of the present invention first randomly assigns a patient group and a control group that underwent simple pelvic anterior and posterior imaging to form a training group, validation group, and test group (S110) .

일 실시예로, 본 발명은 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 생성하기 위해 단순촬영, 즉 단순골반전후촬영을 이용하는 것을 특징으로 한다. In one embodiment, the present invention is characterized by using simple imaging, that is, simple pelvic anterior and posterior imaging, to create a deep learning network model for diagnosing sacroiliac arthritis.

근골격계 영상의학 분야에서도 류마티스 관절염과 같은 다양한 질환에서 딥러닝 네트워크 모델을 이용하는 연구가 보고되고 있지만(Kemal et al, 2019), 단순촬영을 이용한 척추관절병증 환자의 천장골관절염 진단을 위하여 딥러닝 네트워크 모델을 이용하는 경우는 아직 보고되고 있지 않다.In the field of musculoskeletal radiology, studies using deep learning network models have been reported for various diseases such as rheumatoid arthritis (Kemal et al, 2019), but deep learning network models have been used to diagnose sacroiliac arthritis in patients with spondyloarthropathy using simple imaging. No cases of use have been reported yet.

딥러닝 네트워크 모델을 구성하는 합성곱 신경망은 영상인식 분야에서 우수한 성능이 입증되었으나 모델의 학습과정에서 발생되는 과적합(overfitting)을 방지하기 위해서는 수천 내지 수만 건의 데이터를 필요로 한다. 따라서, 다량의 검증된 데이터를 구하기 용이하며 임상적으로 선별검사(screening test)로 적용할 가능성이 높은 흉부단순촬영 및 유방단순촬영에서 주로 연구가 활발히 진행되고 있으며, 대량의 영상 학습 데이터를 구하기 어려운 질환에서는 아직 제한적으로만 연구가 시행되고 있다.The convolutional neural network that makes up the deep learning network model has proven excellent performance in the image recognition field, but requires thousands to tens of thousands of pieces of data to prevent overfitting that occurs during the model learning process. Therefore, research is being actively conducted mainly in chest and breast radiography, which are easy to obtain large amounts of verified data and are likely to be clinically applied as screening tests, and where it is difficult to obtain large amounts of image learning data. There is still only limited research being conducted on the disease.

이러한 종래 기술과는 달리, 본 발명에서는 천장골관절염 진단을 위해 딥러닝 네트워크 모델을 학습 및 생성하는 것을 특징으로 한다.Unlike this prior art, the present invention is characterized by learning and generating a deep learning network model for diagnosing sacroiliac arthritis.

일 실시예로, 본 발명에서는 천장골관절염 진단을 위한 딥러닝 네트워크 모델 학습을 위해 구성되는 환자군은, 임상적으로 축성 척추관절병증으로 진단받고 단순촬영에서 Grade 1 이상의 천장골관절염 소견이 있는 환자로 구성된다. 이때, 환자군을 구성함에 있어 천장골관절을 포함한 골반골 수술의 기왕력이 있는 환자, 천장골관절 부위에 금속물을 가진 환자, 단순골반전후촬영 영상에서 골절 및 골전이, 골종양 등 동반 병리 소견이 있는 환자, 감염성 천장골관절염(infectious sacroiliitis) 환자는 제외한다.In one embodiment, in the present invention, the patient group configured to learn a deep learning network model for diagnosing sacroiliac arthritis consists of patients who are clinically diagnosed with axial spondyloarthropathy and have findings of grade 1 or higher sacroiliac arthritis on simple imaging. . At this time, in composing the patient group, patients with a history of pelvic surgery including the sacroiliac joint, patients with metal objects in the sacroiliac joint area, patients with accompanying pathological findings such as fractures, bone metastases, and bone tumors on plain pelvic anteroposterior imaging, Patients with infectious sacroiliitis are excluded.

또한, 대조군은 단순촬영에서 천장골관절염 소견이 없는 환자로 구성된다.Additionally, the control group consists of patients with no findings of sacroiliac arthritis on plain imaging.

시험군은 단순골반전후촬영을 시행한 환자 중에서 CT 또는 MRI의 촬영 정보가 존재하는 환자로 구성될 수 있다. The test group may consist of patients who have undergone simple anteroposterior pelvic imaging and for whom CT or MRI imaging information exists.

일 실시예로, 훈련군, 검증군 및 시험군은 각각 약 11:1:2의 비율로 구성될 수 있으나, 반드시 이에 한정되는 것은 아니다.In one embodiment, the training group, validation group, and test group may each be composed of a ratio of approximately 11:1:2, but the ratio is not necessarily limited to this.

다음으로, 훈련군, 검증군 및 시험군의 단순골반전후촬영 영상으로부터 양측 천장골관절 부분을 분획한 훈련 이미지 데이터를 생성한 후 이를 저장한다(S120).Next, training image data segmented from the sacroiliac joints on both sides is generated from simple anteroposterior pelvic imaging images of the training group, validation group, and test group, and then stored (S120).

다음으로, 도 2와 같이 훈련군 및 검증군의 훈련 이미지 데이터를 대상으로 천장골관절 부위를 바운딩 박스 처리하고(S130), 훈련군 및 검증군의 훈련 이미지 데이터 및 시험군의 단순골반전후촬영 영상을 대상으로 천장골관절염 여부를 라벨링한다(S140). 이때, 라벨링은 소정의 작업자에 의해 수행될 수 있으며, 검수자에 의한 검수가 수행되어 진행될 수 있다. Next, as shown in Figure 2, the sacroiliac joint region was processed as a bounding box for the training image data of the training and verification groups (S130), and the training image data of the training and verification groups and simple pelvic anterior and posterior imaging images of the test group were processed. Label whether the target has sacroiliac arthritis (S140). At this time, labeling may be performed by a designated worker, and inspection by an inspector may be performed.

즉, 질병의 영상 진단을 위해 대부분의 기존 연구가 사용하고 있는 지도학습(supervised learning)을 위해서는 대량의 학습 데이터에 대한 라벨링이 필요하다. 하지만, 단순히 판독 결과지만을 이용할 경우 라벨링의 정확도가 떨어지기 때문에 학습 데이터를 재분석하여 라벨링하는 과정이 필수적이다. In other words, supervised learning, which is used in most existing studies for imaging diagnosis of diseases, requires labeling of large amounts of learning data. However, if only the reading results are used, the accuracy of labeling decreases, so the process of re-analyzing the learning data and labeling is essential.

이를 위해, 본 발명의 일 실시예는 1인 이상의 근골격 영상의학 전문의에 의해 라벨링된 6천 케이스 이상의 단순골반전후촬영 영상을 이용하여 딥러닝 네트워크 모델의 성능을 향상시킬 수 있다. 일 예로, 작업자 및 검수자는 근골격계 영상의학과 전문의로 구성될 수 있다. 이때, 시험군은 CT 및 MRI 촬영 정보를 추가적으로 사용하여 천장골관절염 여부를 라벨링한다.To this end, an embodiment of the present invention can improve the performance of a deep learning network model by using more than 6,000 cases of simple pelvic anterior and posterior imaging images labeled by one or more musculoskeletal radiologists. For example, workers and inspectors may consist of musculoskeletal radiologists. At this time, the test group is labeled as having sacroiliac arthritis using additional CT and MRI information.

다음으로, 훈련군의 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습시킨다(S150). 또한, 훈련군과 별도로 구성된 검증군을 통하여 학습된 딥러닝 네트워크 모델의 정확도를 평가하고 과적합이 발생되는 것을 방지한다. 최종적으로는 시험군을 이용하여 학습된 딥러닝 네트워크 모델의 진단능을 평가한다.Next, a deep learning network model for diagnosing sacroiliac arthritis is learned based on the training image data of the training group (S150). In addition, the accuracy of the learned deep learning network model is evaluated through a validation group that is separate from the training group and overfitting is prevented. Finally, the diagnostic ability of the learned deep learning network model is evaluated using the test group.

한편, 본 발명에 적용되는 딥러닝 네트워크 모델은 open source library인 Tensorflow 및 Pytorch 등을 이용하여, 기존에 영상 진단에서 우수한 성능을 보이는 것으로 알려진 Inception-v3 기반의 딥러닝 네트워크 모델일 수 있다. Meanwhile, the deep learning network model applied to the present invention may be a deep learning network model based on Inception-v3, which is known to have excellent performance in image diagnosis using open source libraries such as Tensorflow and Pytorch.

한편, 본 발명의 일 실시예에서 딥러닝 네트워크 모델과 임상 검증은 다음과 같이 개선이 가능하다. Meanwhile, in one embodiment of the present invention, the deep learning network model and clinical verification can be improved as follows.

일 실시예로, 본 발명은 훈련 이미지 데이터 및 환자군과 대조군의 성별과 연령 정보를 추가적으로 포함하는 임상 정보를 훈련 데이터로 구성하여 딥러닝 네트워크 모델을 학습시킴으로써 진단능을 개선시킬 수 있다.In one embodiment, the present invention can improve diagnostic performance by learning a deep learning network model by configuring training image data and clinical information additionally including gender and age information of the patient group and control group as training data.

그밖에, 본 발명의 일 실시예는 연골하 골미란(erosion) 및 골경화(sclerosis)를 더 잘 반영할 수 있도록 하기 위하여 대비 제한 적응 히스토그램 평활화 (contrast-limited adaptive histogram equalization; CLAHE) 등 영상의 대비를 향상시키는 전처리 기법을 적용할 수 있다.In addition, one embodiment of the present invention uses image contrast, such as contrast-limited adaptive histogram equalization (CLAHE), to better reflect subchondral bone erosion and sclerosis. Improved preprocessing techniques can be applied.

또한, 앙상블 모델(ensemble model)을 적용시키거나, 하이퍼파라미터 튜닝(hyperparameter tuning) 등을 통한 신경망 구조의 개선이 가능하다.In addition, it is possible to improve the neural network structure by applying an ensemble model or hyperparameter tuning.

이와 더불어, 본 발명의 일 실시예에서 구성되는 검증군을 보다 정교화하여 훈련군과 다른 기간의 표본으로 구성(temporal validation)하거나, 타 병원의 표본으로 구성(geographic validation)하여 딥러닝 모델의 실제 임상 환경에서의 진단능을 보다 정확하게 평가할 수 있다.In addition, the validation group formed in one embodiment of the present invention is further refined to consist of samples from a different period from the training group (temporal validation), or samples from other hospitals (geographic validation) to enable actual clinical trials of the deep learning model. Diagnostic ability in the environment can be evaluated more accurately.

이때, 본 발명의 일 실시예에서 진단능에는 sensitivity, specificity, accuracy, positive predictive value (PPV), negative predictive value (NPV), receiver operating characteristics (ROC) analysis, pairwise comparison of ROC curves 등이 포함될 수 있다.At this time, in one embodiment of the present invention, the diagnostic ability may include sensitivity, specificity, accuracy, positive predictive value (PPV), negative predictive value (NPV), receiver operating characteristics (ROC) analysis, pairwise comparison of ROC curves, etc. .

한편, 본 발명의 일 실시예는 임의의 환자에 대한 단순골반전후촬영 영상을 획득하고, 획득한 단순골반전후촬영 영상을 학습된 딥러닝 네트워크 모델에 입력하여 천장골관절염 진단 결과를 획득할 수 있다. 그리고 천장골관절염 진단 결과에 기초하여 이상 징후, 증상 및 조치 정보를 포함하는 포트폴리오 결과를 제공할 수 있다.Meanwhile, in one embodiment of the present invention, a simple pelvic anterior-posterior imaging image can be acquired for an arbitrary patient, and the obtained simple pelvic anterior-posterior imaging image can be input into a learned deep learning network model to obtain a sacroiliac arthritis diagnosis result. And based on the sacroiliac arthritis diagnosis results, portfolio results including abnormal signs, symptoms, and action information can be provided.

즉, 상기 포트폴리오를 통해 정형외과 계열 질병의 이상징후, 증상, 조치에 대한 상세정보를 제공할 수 있으며, 과거 의료영상 데이터를 제공하여 변화된 포인트를 제공할 수 있다.In other words, the portfolio can provide detailed information on abnormal signs, symptoms, and measures for orthopedic diseases, and changed points can be provided by providing past medical image data.

한편, 상술한 설명에서, 단계 S110 내지 S115은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 2의 내용은 도 3의 내용에도 적용될 수 있다.Meanwhile, in the above description, steps S110 to S115 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present invention. Additionally, some steps may be omitted or the order between steps may be changed as needed. In addition, even if other omitted content, the content of FIGS. 1 and 2 can also be applied to the content of FIG. 3.

도 3은 본 발명의 일 실시예에 따른 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 시스템(100)의 블록도이다.Figure 3 is a block diagram of a deep learning network model generation system 100 for diagnosing sacroiliac arthritis according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 시스템(100)은 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함하여 구성된다.The deep learning network model generation system 100 for diagnosing sacroiliac arthritis according to an embodiment of the present invention includes a communication module 110, a memory 120, and a processor 130.

통신모듈(110)은 단순골반전후촬영 영상을 수신한다. 이와 같은 통신 모듈(110)은 무선 통신 모듈로 구현됨이 바람직하나 반드시 유선 통신 모듈을 배제하는 것은 아니다. 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.The communication module 110 receives simple pelvic anterior and posterior imaging images. This communication module 110 is preferably implemented as a wireless communication module, but a wired communication module is not necessarily excluded. The wired communication module can be implemented as a power line communication device, telephone line communication device, home cable (MoCA), Ethernet, IEEE1294, integrated wired home network, and RS-485 control device. Additionally, the wireless communication module can be implemented with WLAN (wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, wireless USB technology, and wireless HDMI technology.

메모리(120)에는 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습하기 위한 프로그램이 저장되며, 프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.The memory 120 stores a program for learning a deep learning network model for diagnosing sacroiliac arthritis based on training image data, and the processor 130 executes the program stored in the memory 120. Here, the memory 120 is a general term for non-volatile storage devices and volatile storage devices that continue to retain stored information even when power is not supplied.

예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.For example, memory 120 may include compact flash (CF) cards, secure digital (SD) cards, memory sticks, solid-state drives (SSD), and micro SD. This includes NAND flash memory such as cards, magnetic computer storage devices such as hard disk drives (HDD), and optical disc drives such as CD-ROM, DVD-ROM, etc. You can.

또한, 메모리(120)에 저장된 프로그램은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다. Additionally, the program stored in the memory 120 may be implemented in the form of software or hardware such as a Field Programmable Gate Array (FPGA) or Application Specific Integrated Circuit (ASIC), and may perform certain roles.

프로세서(130)는 프로그램을 실행시킴에 따라, 단순골반전후촬영을 시행한 환자군 및 대조군을 임의 배정하여 훈련군, 검증군 및 시험군으로 구성하고, 훈련군, 검증군 및 시험군의 단순골반전후촬영 영상으로부터 양측 천장골관절 부분을 분획한 훈련 이미지 데이터를 생성한다. 그 다음, 프로세서는 훈련군 및 검증군의 훈련 이미지 데이터를 대상으로 천장골관절 부위를 바운딩 박스 처리하고, 훈련군 및 검증군의 훈련 이미지 데이터 및 시험군의 단순골반전후촬영 영상을 대상으로 천장골관절염 여부를 라벨링한 후, 훈련군의 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습시켜 생성한다.As the processor 130 executes the program, the patient group and the control group that underwent simple pelvic anterior and posterior imaging are randomly assigned to form a training group, a verification group, and a test group, and the simple pelvic anterior and posterior imaging of the training group, verification group, and test group is formed. Training image data is generated by segmenting the sacroiliac joints on both sides from the captured images. Next, the processor processes the sacroiliac joint area as a bounding box for the training image data of the training and verification groups, and determines whether or not sacroiliac arthritis is present on the training image data of the training and verification groups and simple pelvic anteroposterior imaging images of the test group. After labeling, a deep learning network model for diagnosing sacroiliac arthritis is learned and created based on the training image data of the training group.

이상에서 전술한 본 발명의 일 실시예에 따른 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The method for generating a deep learning network model for diagnosing sacroiliac arthritis according to an embodiment of the present invention described above may be implemented as a program (or application) and stored in a medium to be executed in conjunction with a computer, which is hardware.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-mentioned program is C, C++, JAVA, Ruby, and It may include code encoded in a computer language such as machine language. These codes may include functional codes related to functions that define the necessary functions for executing the methods, and include control codes related to execution procedures necessary for the computer's processor to execute the functions according to predetermined procedures. can do. In addition, these codes may further include memory reference-related codes that indicate at which location (address address) in the computer's internal or external memory additional information or media required for the computer's processor to execute the above functions should be referenced. there is. In addition, if the computer's processor needs to communicate with any other remote computer or server in order to execute the above functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes regarding whether communication should be performed and what information or media should be transmitted and received during communication.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers that the computer can access or on various recording media on the user's computer. Additionally, the medium may be distributed to computer systems connected to a network, and computer-readable code may be stored in a distributed manner.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. will be. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. For example, each component described as unitary may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.

100: 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 시스템
110: 통신모듈
120: 메모리
130: 프로세서100: Deep learning network model generation system for diagnosing sacroiliac arthritis
110: Communication module
120: memory
130: processor

Claims (8)

컴퓨터에 의해 수행되는 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법에 있어서,
단순골반전후촬영을 시행한 환자군 및 대조군을 임의 배정하여 훈련군, 검증군 및 시험군으로 구성하는 단계;
상기 훈련군, 검증군 및 시험군의 상기 단순골반전후촬영 영상으로부터 양측 천장골관절 부분을 분획한 훈련 이미지 데이터를 생성하는 단계;
상기 단순골반전후촬영 영상을 대상으로 연골하 골미란 및 골경화 반영을 위한 대비 제한 적응 히스토그램 평활화 기반의 전처리 과정을 수행하는 단계;
상기 훈련군 및 검증군의 훈련 이미지 데이터를 대상으로 천장골관절 부위를 바운딩 박스 처리하는 단계;
상기 훈련군 및 검증군의 훈련 이미지 데이터 및 상기 시험군의 단순골반전후촬영 영상을 대상으로 천장골관절염 여부를 라벨링하는 단계; 및
상기 훈련군의 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습시키는 단계를 포함하되,
단순골반전후촬영을 시행한 환자군 및 대조군을 임의 배정하여 훈련군, 검증군 및 시험군으로 구성하는 단계는,
임상적으로 축성 척추관절병증으로 진단받고 상기 단순골반전후촬영에서 Grade 1 이상의 천장골관절염 소견을 받은 환자를 상기 환자군으로 구성하되, 천장골관절을 포함한 골반골 수술 기왕력이 존재하는 환자, 천장골관절 부위에 금속물을 포함하는 환자, 상기 단순골반전후촬영 영상에서 골절, 골전이 및 골종양 중 적어도 하나를 포함하는 병리 소견을 갖는 환자 및 감염성 천장골관절염 환자를 상기 환자군에서 제외하도록 구성하고,
상기 검증군은 상기 훈련군과 다른 기간의 표본 및 타 병원의 표본 중 적어도 하나로 구성하며, 상기 시험군은 상기 단순골반전후촬영을 시행한 환자 중에서 CT 또는 MRI의 촬영 정보가 존재하는 환자로 구성되는,
천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법.
In a method of generating a deep learning network model for diagnosing sacroiliac arthritis performed by a computer,
Randomly assigning the patient group and control group that underwent simple anteroposterior pelvic imaging to form a training group, verification group, and test group;
Generating training image data by segmenting the sacroiliac joints on both sides from the simple anteroposterior pelvic imaging images of the training group, verification group, and test group;
Performing a preprocessing process based on contrast-limited adaptive histogram equalization to reflect subchondral bone erosion and osteosclerosis on the simple pelvic anterior-posterior imaging image;
Processing the sacroiliac joint area as a bounding box for the training image data of the training group and the verification group;
Labeling the training image data of the training group and the verification group and the simple anteroposterior pelvic imaging images of the test group as to whether they have sacroiliac arthritis; and
Including the step of learning a deep learning network model for diagnosing sacroiliac arthritis based on the training image data of the training group,
The step of randomly assigning the patient group and control group that underwent simple pelvic anterior and posterior imaging to form a training group, verification group, and test group is:
The above patient group consists of patients who are clinically diagnosed with axial spondyloarthropathy and who are found to have sacroiliac arthritis of grade 1 or higher on the simple anteroposterior pelvic radiograph, including patients with a history of pelvic surgery including the sacroiliac joint, and metal in the sacroiliac joint area. Configuring to exclude from the patient group patients with water, patients with pathological findings including at least one of fractures, bone metastases, and bone tumors in the plain pelvic anteroposterior imaging images, and patients with infectious sacroiliac arthritis,
The verification group consists of at least one of samples from a different period than the training group and samples from other hospitals, and the test group consists of patients who have CT or MRI imaging information among patients who underwent simple pelvic anterior and posterior imaging. ,
Method for creating a deep learning network model for diagnosing sacroiliac arthritis.
 삭제delete 제1항에 있어서,
상기 시험군의 단순골반전후촬영 영상을 대상으로 천장골관절염 여부를 라벨링하는 단계는,
상기 CT 촬영 정보 또는 MRI 촬영 정보를 대상으로 천장골관절염 여부를 라벨링하는 단계를 포함하는,
천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법.
According to paragraph 1,
The step of labeling the simple anteroposterior pelvic imaging images of the test group as to whether they have sacroiliac arthritis is,
Comprising the step of labeling the CT scan information or MRI scan information as to whether or not the sacroiliac arthritis is present,
Method for creating a deep learning network model for diagnosing sacroiliac arthritis.
 제1항에 있어서,
상기 검증군을 이용하여 상기 학습된 딥러닝 네트워크 모델의 정확도를 평가하는 단계를 더 포함하는,
천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법.
According to paragraph 1,
Further comprising evaluating the accuracy of the learned deep learning network model using the verification group,
Method for creating a deep learning network model for diagnosing sacroiliac arthritis.
 제1항에 있어서,
상기 시험군을 이용하여 상기 학습된 딥러닝 네트워크 모델의 진단능을 평가하는 단계를 더 포함하는,
천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법.
According to paragraph 1,
Further comprising evaluating the diagnostic ability of the learned deep learning network model using the test group,
Method for creating a deep learning network model for diagnosing sacroiliac arthritis.
 제1항에 있어서,
상기 훈련군의 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습시키는 단계는,
상기 훈련 이미지 데이터 및 상기 환자군과 대조군의 성별과 연령 정보를 훈련 데이터로 구성하여 상기 딥러닝 네트워크 모델을 학습하는 것인,
천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법.
According to paragraph 1,
The step of learning a deep learning network model for diagnosing sacroiliac arthritis based on the training image data of the training group is,
Learning the deep learning network model by constructing the training image data and the gender and age information of the patient group and the control group as training data,
Method for creating a deep learning network model for diagnosing sacroiliac arthritis.
 제1항에 있어서,
임의의 환자에 대한 단순골반전후촬영 영상을 획득하는 단계;
상기 획득한 단순골반전후촬영 영상을 상기 학습된 딥러닝 네트워크 모델에 입력하여 천장골관절염 진단 결과를 획득하는 단계; 및
상기 천장골관절염 진단 결과에 기초하여 이상 징후, 증상 및 조치 정보를 포함하는 포트폴리오 결과를 제공하는 단계를 더 포함하는,
천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법.
According to paragraph 1,
Obtaining simple anteroposterior pelvic imaging images for a random patient;
Obtaining a sacroiliac arthritis diagnosis result by inputting the obtained simple pelvic anterior and posterior imaging images into the learned deep learning network model; and
Further comprising providing a portfolio result including abnormal signs, symptoms, and action information based on the sacroiliac arthritis diagnosis results,
Method for creating a deep learning network model for diagnosing sacroiliac arthritis.
 단순골반전후촬영 영상을 수신하는 통신모듈,
훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하고,
상기 프로세서는 상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 단순골반전후촬영을 시행한 환자군 및 대조군을 임의 배정하여 훈련군, 검증군 및 시험군으로 구성하고, 상기 훈련군, 검증군 및 시험군의 상기 단순골반전후촬영 영상으로부터 양측 천장골관절 부분을 분획한 훈련 이미지 데이터를 생성하고, 상기 훈련군 및 검증군의 훈련 이미지 데이터를 대상으로 천장골관절 부위를 바운딩 박스 처리하고, 상기 훈련군 및 검증군의 훈련 이미지 데이터 및 상기 시험군의 단순골반전후촬영 영상을 대상으로 천장골관절염 여부를 라벨링한 후, 상기 훈련군의 훈련 이미지 데이터를 기반으로 천장골관절염 진단을 위한 딥러닝 네트워크 모델을 학습시키고,
상기 프로세서는 임상적으로 축성 척추관절병증으로 진단받고 상기 단순골반전후촬영에서 Grade 1 이상의 천장골관절염 소견을 받은 환자를 상기 환자군으로 구성하되, 천장골관절을 포함한 골반골 수술 기왕력이 존재하는 환자, 천장골관절 부위에 금속물을 포함하는 환자, 상기 단순골반전후촬영 영상에서 골절, 골전이 및 골종양 중 적어도 하나를 포함하는 병리 소견을 갖는 환자 및 감염성 천장골관절염 환자를 상기 환자군에서 제외하도록 구성하고,
상기 검증군을 상기 훈련군과 다른 기간의 표본 및 타 병원의 표본 중 적어도 하나로 구성되도록 하며, 상기 시험군은 상기 단순골반전후촬영을 시행한 환자 중에서 CT 또는 MRI의 촬영 정보가 존재하는 환자로 구성하는 것인,
천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 시스템.Communication module that receives simple pelvic anterior and posterior imaging images,
A memory storing a program for learning a deep learning network model for diagnosing sacroiliac arthritis based on training image data, and
Includes a processor that executes the program stored in the memory,
As the processor executes the program stored in the memory, the patient group and the control group that underwent simple pelvic anteroposterior imaging are randomly assigned to form a training group, verification group, and test group, and the training group, verification group, and test group are formed. Generate training image data by dividing the sacroiliac joints on both sides from the simple pelvic anteroposterior imaging images, process the sacroiliac joint area as a bounding box for the training image data of the training group and validation group, and process the training and validation groups as bounding boxes. After labeling the training image data and simple pelvic anterior and posterior imaging images of the test group as to whether or not they have sacroiliac arthritis, a deep learning network model for diagnosing sacroiliac arthritis is trained based on the training image data of the training group,
The processor consists of patients who are clinically diagnosed with axial spondyloarthropathy and diagnosed with sacroiliac arthritis of Grade 1 or higher on the simple anteroposterior pelvic radiograph, including patients with a history of pelvic surgery including the sacroiliac joint, and patients who have a history of sacroiliac joint surgery. Configuring to exclude from the patient group patients with metal objects in the area, patients with pathological findings including at least one of fractures, bone metastases, and bone tumors on the plain pelvic anteroposterior imaging, and patients with infectious sacroiliac arthritis,
The verification group is composed of at least one of samples from a different period than the training group and samples from other hospitals, and the test group is composed of patients who have CT or MRI information available among patients who underwent simple pelvic anteroposterior imaging. To do,
Deep learning network model generation system for diagnosing sacroiliac arthritis.
KR1020210119769A 2021-09-08 2021-09-08 Mtehod and system for generating deep learning network model for sacroiliac osteoarthritis diagnosis KR102595106B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210119769A KR102595106B1 (en) 2021-09-08 2021-09-08 Mtehod and system for generating deep learning network model for sacroiliac osteoarthritis diagnosis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210119769A KR102595106B1 (en) 2021-09-08 2021-09-08 Mtehod and system for generating deep learning network model for sacroiliac osteoarthritis diagnosis

Publications (2)

Publication Number Publication Date
KR20230037094A KR20230037094A (en) 2023-03-16
KR102595106B1 true KR102595106B1 (en) 2023-10-31

Family

ID=85985526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210119769A KR102595106B1 (en) 2021-09-08 2021-09-08 Mtehod and system for generating deep learning network model for sacroiliac osteoarthritis diagnosis

Country Status (1)

Country Link
KR (1) KR102595106B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880678B1 (en) * 2016-10-12 2018-07-20 (주)헬스허브 System for interpreting medical images through machine learnings
KR102254844B1 (en) 2019-05-29 2021-05-21 전북대학교산학협력단 Method and device for medical image processing using machine learning
US20220330887A1 (en) * 2019-07-17 2022-10-20 Crescom Co., Ltd. Apparatus and method for precise analysis of severity of arthritis

Also Published As

Publication number Publication date
KR20230037094A (en) 2023-03-16

Similar Documents

Publication Publication Date Title
Chan et al. CAD and AI for breast cancer—recent development and challenges
Azizi et al. Robust and efficient medical imaging with self-supervision
Xu et al. DeepLN: a framework for automatic lung nodule detection using multi-resolution CT screening images
Moses Deep learning applied to automatic disease detection using chest x‐rays
KR20200095504A (en) 3D medical image analysis method and system for identifying vertebral fractures
Dodia et al. Recent advancements in deep learning based lung cancer detection: A systematic review
US10957038B2 (en) Machine learning to determine clinical change from prior images
Rodríguez et al. Computer aided detection and diagnosis in medical imaging: a review of clinical and educational applications
CN112561869A (en) Pancreatic neuroendocrine tumor postoperative recurrence risk prediction method
Zhou et al. Interpreting medical images
Nidhin Raju et al. Identification of interstitial lung diseases using deep learning
Midya et al. Computerized diagnosis of liver tumors from CT scans using a deep neural network approach
Liu et al. The application of artificial intelligence to chest medical image analysis
Tiwari et al. Optimized Ensemble of Hybrid RNN-GAN Models for Accurate and Automated Lung Tumour Detection from CT Images
Hussain et al. Automated Deep Learning of COVID-19 and Pneumonia Detection Using Google AutoML.
Sha et al. The improved faster-RCNN for spinal fracture lesions detection
KR102595106B1 (en) Mtehod and system for generating deep learning network model for sacroiliac osteoarthritis diagnosis
Waseem Sabir et al. FibroVit—Vision transformer-based framework for detection and classification of pulmonary fibrosis from chest CT images
Al-Utaibi et al. Neural networks to understand the physics of oncological medical imaging
CN113450306A (en) Method of providing a fracture detection tool
Haq An overview of deep learning in medical imaging
Ansar et al. Breast cancer segmentation in mammogram using artificial intelligence and image processing: a systematic review
Hsu et al. Using deep neural network approach for multiple-class assessment of digital mammography
Velusamy et al. Faster Region‐based Convolutional Neural Networks with You Only Look Once multi‐stage caries lesion from oral panoramic X‐ray images
Jian et al. A Cross Spatio-Temporal Pathology-based Lung Nodule Dataset

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant