WO2021010777A1 - 관절염 심각도 정밀 분석 장치 및 방법 - Google Patents

관절염 심각도 정밀 분석 장치 및 방법 Download PDF

Info

Publication number
WO2021010777A1
WO2021010777A1 PCT/KR2020/009402 KR2020009402W WO2021010777A1 WO 2021010777 A1 WO2021010777 A1 WO 2021010777A1 KR 2020009402 W KR2020009402 W KR 2020009402W WO 2021010777 A1 WO2021010777 A1 WO 2021010777A1
Authority
WO
WIPO (PCT)
Prior art keywords
severity
arthritis
analysis
region
model
Prior art date
Application number
PCT/KR2020/009402
Other languages
English (en)
French (fr)
Inventor
이재준
Original Assignee
주식회사 크레스콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크레스콤 filed Critical 주식회사 크레스콤
Priority to US17/616,747 priority Critical patent/US20220330887A1/en
Publication of WO2021010777A1 publication Critical patent/WO2021010777A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4504—Bones
    • A61B5/4509—Bone density determination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Definitions

  • Degenerative arthritis is a disease in which inflammation and pain are caused by damage to the bones and ligaments that make up the joint due to damage or degenerative changes in the cartilage that protects the joint.
  • degenerative arthritis is caused by degenerative changes in joint cartilage, it is very important to relieve pain, maintain joint function, and prevent deformation through an accurate diagnosis at an early stage. If the deformity has already occurred, surgical correction and rehabilitation treatment must be performed, so the economic cost and mental adverse effects on the patient are great. Also, according to the progression of degenerative arthritis, treatment such as appropriate drug therapy or artificial joint replacement surgery is performed, so accurate diagnosis is important.
  • the problem to be solved by the present invention is to provide an apparatus and method for securing the basis for determining the severity of arthritis by analyzing the characteristics of each area based on artificial intelligence, and accurately quantifying the severity of arthritis.
  • An apparatus for analyzing arthritis severity includes an image collection unit that collects medical images photographing a user's joint, and one or more interests for analyzing arthritis in a medical image through a learned region automatic detection model.
  • An area detection unit that detects an area, an individual analysis unit that extracts quantified feature values from the detected region of interest, and derives one or more individual analysis data from among arthritis severity, bone proliferation severity, and subchondral sclerosis severity based on the feature values, and It includes an integrated analysis unit that classifies the severity of degenerative arthritis in detail through an integrated analysis model learned based on individual analysis data.
  • the individual analysis model is an arthritis severity analysis model that extracts quantitative feature values for estimating joint cavity reduction based on the region of interest from which the joint cavity region is detected, the presence or absence of bone proliferation based on the region of interest from which the bone proliferation possible region is detected, or A bone proliferation severity analysis model that extracts quantitative feature values for the progression of proliferated bone proliferation, and a cartilage that extracts quantitative feature values for the degree of hardening of the subchondral bone based on the region of interest that detects the subchondral bone region. It may include a model for analyzing the severity of hardening of the lower bone.
  • the individual analysis unit estimates the medial level of the joint cavity and the outer level of the joint cavity in the region of interest through the arthritis severity analysis model, and extracts a quantitative value of the joint severity by the average of the medial and lateral values. You can calculate the unbalanced ratio between the outer values.
  • the individual analysis unit detects bone spurs or bone processes representing bone proliferation in the region of interest through the bone proliferation severity analysis model, extracts a corresponding bone proliferation grade from among preset bone proliferation grades, and performs a hardening severity analysis model of the subchondral bone. Through this, it is possible to detect the degree of hardening of the subchondral bone in the region of interest, and extract a corresponding hardening severity grade from among preset hardening severity grades of the subchondral bone.
  • the learning unit converts individual analysis data acquired from individual analysis models based on the training data into one vector, trains an integrated analysis model that analyzes the correlation between vectors using the converted vectors, and Is a degenerative arthritis severity analysis model that finely classifies the severity of the progression of degenerative arthritis based on individual analysis data, and a degenerative arthritis progression prediction that predicts the progression of degenerative arthritis based on the individual analysis data and the severity of the degenerative arthritis.
  • the integrated analysis unit may analyze the severity of degenerative arthritis in a medical image by integrating individual analysis data through the degenerative arthritis severity analysis model, and predict the progression of degenerative arthritis later through the degenerative arthritis progression prediction model.
  • the controller may further include a control unit that outputs at least one feature value from among feature values corresponding to one or more individual analysis data derived from the individual analysis unit and feature values for the severity of degenerative arthritis derived from the integrated analysis unit.
  • a program stored in a computer-readable storage medium for analyzing arthritis in a medical image through an area automatic detection model learned based on the collected medical image. Detecting one or more regions of interest, extracting quantified feature values from the detected regions of interest, and deriving one or more individual analysis data from among arthritis severity, osteoproliferative severity, and subchondral sclerosis severity based on the feature values, individual And instructions for executing the step of finely classifying the severity of the degenerative arthritis analyzed based on the analysis data, and outputting the individual analysis data to the linked terminal together with the severity of the classified degenerative arthritis.
  • arthritis severity may be precisely classified and evaluated based on each feature value of individual analysis data.
  • 1 is an exemplary view showing a joint structure and arthritis progression.
  • FIG. 2 is a structural diagram showing an apparatus for analyzing the severity of arthritis according to an embodiment of the present invention.
  • FIG. 3 is a schematic conceptual diagram showing an artificial intelligence algorithm according to an embodiment of the present invention.
  • FIG. 4 is a flow chart showing a method for analyzing the severity of arthritis according to an embodiment of the present invention.
  • FIG. 5 is an exemplary view showing an analysis image based on a medical image according to an embodiment of the present invention.
  • FIG. 6 is a hardware configuration diagram of a computing device according to an embodiment of the present invention.
  • 1 is an exemplary view showing a joint structure and arthritis progression.
  • the joint is a connection part of two bones facing each other and is joined in a structure in which the bone can move.
  • Each bone has articular cartilage so that the two bones can move, and a joint capsule is located in the area surrounding the articular cartilage.
  • a joint cavity inside the joint capsule, and subchondral bone is between the joint capsule and the bone.
  • the joint cavity is the gap between the two bones that make up a joint, which means the space (lumen) surrounded by articular fabrics (joint pockets), and the subchondral bone refers to the part of the bone just below the cartilage.
  • Figure 1 (b) is shown in steps 1 to 4 depending on the severity of arthritis.
  • the cartilage was partially reduced and the joint gap was narrowed, and joint disease started.
  • the narrow joint gap and cartilage were damaged, and the subchondral hardening began.
  • the joint gap was narrower than in the second step, the gap was expanded due to damage to the cartilage, and the subchondral hardening progressed.
  • the cartilage decreased to less than half, the hardening of the subchondral bone was deepened. Indicates a state of severe damage.
  • FIG. 2 is a structural diagram showing an apparatus for analyzing the severity of arthritis according to an embodiment of the present invention
  • FIG. 3 is a schematic conceptual diagram showing an artificial intelligence algorithm according to an embodiment of the present invention.
  • the arthritis severity precision analysis apparatus 100 collects medical images and provides an analysis result obtained by performing individual analysis or integrated analysis on the medical images.
  • the arthritis severity precision analysis apparatus 100 includes a collection unit 110, a learning unit 120, a detection unit 130, an individual analysis unit 140, an integrated analysis unit 150, and a control unit 160.
  • the collection unit 110, the learning unit 120, the detection unit 130, the individual analysis unit 140, the integrated analysis unit 150, and the control unit 160 are called. It is a computing device operated by.
  • the collection unit 110, the learning unit 120, the detection unit 130, the individual analysis unit 140, the integrated analysis unit 150, and the control unit 160 are implemented in one computing device or a separate computing device. It can be implemented in a distributed manner. In the case of distributed implementation on a separate computing device, the collection unit 110, the learning unit 120, the detection unit 130, the individual analysis unit 140, the integrated analysis unit 150, and the control unit 160 are Can communicate with each other. It suffices that the computing device is a device capable of executing a software program written to carry out the present invention.
  • the collection unit 110 collects medical images captured in real time from an interlocked medical image photographing device or collects medical images captured at a previous point in time from an interlocked database.
  • the medical image refers to an x-ray (X-ray imaging technology, radiography) of the joint area, but is not limited thereto, and CT (Computed Tomography), PET (positron emission tomography technology) , Positron Emission Tomography), Ultrasound (ultrasound imaging technology), MRI (magnetic resonance imaging technology, Magnetic Resonance Imaging), etc. may represent one medical image.
  • the collection unit 110 may collect medical images read by a plurality of image reading specialists and a reading result of the medical image as learning data.
  • the learning data may label the reading result for each medical image.
  • the collection unit 110 may pre-process the medical image based on the input format of the artificial intelligence model so that the collected medical image can be input into the artificial intelligence model.
  • Pre-processing of medical images is a step to increase the effectiveness of artificial intelligence learning and analysis, and includes processes such as image quality improvement and uniformity.
  • image quality improvement method CLAHE (Contrast Limited Adaptive Histogram Equalization), histogram equalization, etc. may be applied to improve the accuracy of image analysis.
  • the learning unit 120 trains an artificial intelligence model to detect a region of interest or derive analyzed data in response to an input image using the collected training data.
  • the artificial intelligence model a convolutional neural network is mainly used, but is not limited thereto, and may include machine learning, deep learning, supervised learning, and unsupervised learning. .
  • the learning unit 120 learns a detection model, one or more individual analysis models, and an integrated analysis model.
  • the model used in the learning unit is a deep neural network composed of one or more layers, and is interposed between a plurality of convolution layers and a plurality of convolution layers that create a feature map for features of the region of interest. It may be a convolutional neural network (CNN) including a pooling layer performing sub-sampling.
  • CNN convolutional neural network
  • the convolutional neural network can extract an analysis result value from the input image by alternately performing convolution and subsampling on the input image.
  • training data marked with areas to be automatically detected in the image are constructed, and training for an artificial intelligence detection model developed by optimizing these training data for specific area detection is performed.
  • training for an artificial intelligence detection model developed by optimizing these training data for specific area detection is performed.
  • training data to which classification criteria are applied is constructed for the image to be analyzed and areas within the image, and with these learning data, a model for artificial intelligence analysis developed to automate classification for a specific purpose is trained, Create an analysis model that has been trained.
  • a detection model, one or more individual analysis models, and an integrated analysis model may be used as artificial intelligence models, each may be an independent artificial intelligence model, or may be implemented as a single artificial intelligence model linked to each other. Accordingly, one or a plurality of artificial intelligence models corresponding to the above-described configurations may be implemented by one or a plurality of computing devices.
  • the artificial intelligence model individually analyzes one or more regions of interest detected from the region automatic detection model (A) and the region automatic detection model (A) in response to the collected medical images. And an integrated analysis model (C) for detecting the analyzed arthritis severity by integrating the analyzed results from the individual analysis model (B) and the individual analysis model (B).
  • the result value obtained from the area automatic detection model (A) is used as the input value of the individual analysis model (B), and the result value obtained from the individual analysis model (B) is used as the input value of the integrated analysis model (C). Can be used.
  • the automatic region detection model A is a model that detects regions of interest that are the basis for determining the severity of arthritis in the collected medical images, and represents an automatic region detection model.
  • the automatic region detection model (A) is a joint region that is the basis for determining the reduction of the joint space from a single medical image, the presence or absence of bone growth (bone spine, bone process), or the basis for determining the progression of bone growth. Individual areas may be detected for a region where bone proliferation can occur, and a region with a high frequency of subchondral sclerosis, which is the basis for determining the sclerosis information of the subchondral bone.
  • the automatic region detection model (A) may be implemented as an independent artificial intelligence model that detects each region of interest, or as a single artificial intelligence model and implemented as a plurality of artificial intelligence models that detect regions of interest for one medical image. have.
  • the automatic region detection model A may be linked so that the region of interest is detected in correspondence with the region to be analyzed in the individual analysis model B. Accordingly, when an individual analysis model is added or changed, a function of automatically detecting an image of an ROI, which is an input image of the detection model, or an artificial intelligence model for detecting a corresponding ROI may be added.
  • *Individual analysis model (B) includes arthritis severity analysis model (B-1), bone proliferation severity analysis model (B-2), and subchondral sclerosis severity analysis model (B-n).
  • the arthritis severity analysis model (B-1) can automatically detect arthritis-related features by analyzing a joint area. For example, an absolute value or a relative value for joint space reduction is used to detect features related to joint space reduction.
  • the bone proliferation severity analysis model (B-2) performs an analysis on which grade the features extracted from the corresponding bone proliferation possible region correspond to based on a preset classification of the bone proliferation. The level of bone proliferation corresponding to this can be detected.
  • the subchondral hardening severity analysis model (B-n) may detect the degree of hardening of the subchondral part in the subchondral hardening frequency region, and detect a corresponding grade based on a preset hardening severity class classification of the subchondral bone.
  • the integrated analysis model (C) includes a degenerative arthritis severity analysis model (C-1) and a degenerative arthritis progression prediction model (C-2).
  • the degenerative arthritis severity analysis model (C-1) is collected by synthesizing the result data analyzed in the arthritis severity analysis model (B-1), the bone growth severity analysis model (B-2), and the subchondral sclerosis severity analysis model (Bn). Data that subtly classify the severity of degenerative arthritis can be calculated from the obtained medical images.
  • the degenerative arthritis progression prediction model (C-2) groups and stratifies the feature values detected in the individual analysis model (B) through training data, and learns step by step, so as to derive not only the severity of arthritis but also the prediction of future arthritis progression.
  • the learning unit 120 repeatedly learns each artificial intelligence model based on the training data, and periodically retrains each artificial intelligence model based on a certain period or a specific criterion.
  • the detection unit 130 detects one or more regions of interest through the learned region automatic detection model A.
  • the region of interest refers to an image in which only the region of interest specified in the collected medical image is detected.
  • the detection unit 130 may pre-process the extracted regions of interest based on the input format of each corresponding individual analysis model B. In other words, the size and resolution of the image corresponding to the ROI may be changed according to the input format of the individual analysis model B.
  • the individual analysis unit 140 analyzes each region of interest and extracts features related to the severity of arthritis, the severity of bone growth, and the severity of hardening of the subchondral bone. In this case, the individual analysis unit 140 may acquire quantitative analysis data by using the learned individual analysis model B.
  • the individual analysis unit 140 automatically extracts features from the region of interest through the learned arthritis severity analysis model.
  • the extracted features include a reduction in joint space and an imbalance of the inner and outer sides of the reduction in the joint space, and in addition to the features in diagnosing arthritis.
  • the individual analysis unit 140 extracts quantitative features of the joint cavity from the joint region through the learned arthritis severity analysis model.
  • the individual analysis unit 140 may derive the length of the joint cavity in the joint region as an absolute value (mm, etc.) or a relative value.
  • the individual analysis unit 140 extracts the joint space medial minimum value (JS min M ), the joint space medial average value (JS avg M ), and the like, and The inner joint cavity minimum value (JS min L ), the joint cavity medial average value (JS avg L ) for the outer side can be extracted.
  • the individual analysis unit 140 may derive the joint space gap as a relative value based on the width of the horizontal axis of the front reference in the joint area.
  • the reduction of the joint space can be calculated as an objectively quantified value.
  • the individual analysis unit 140 may calculate the severity of arthritis by using the minimum value (Min ⁇ RJS avg L , RJS avg M ⁇ ) among the values of the outer and inner joint cavity.
  • the severity of arthritis can be calculated based on the point at which the distance between the joint space is the minimum in the joint area, but it is not necessarily limited to this, and the standard can be set by the average value of the values of the outer and inner joint spaces by the user. These standards can be changed and designed later.
  • the individual analysis unit 140 may extract a degree of imbalance based on a difference in a decrease in the inner or outer side of the joint cavity based on the characteristics of the degenerative joint.
  • the degree of imbalance between the inside and outside of the joint cavity is calculated.
  • the individual analysis unit 140 derives an image characteristic according to the severity of arthritis in the knee joint region, a quantitative characteristic for joint cavity reduction, and a characteristic of the degree of imbalance between the medial and lateral joint cavity reduction.
  • the individual analysis unit 140 automatically extracts features of bone growth in the region where bone growth can occur through the learned bone growth severity analysis model.
  • the individual analysis unit 140 determines the presence or absence of bone growth, and estimates the degree of bone growth. In addition, the individual analysis unit 140 may derive which grade the estimated degree of bone proliferation corresponds to based on the pre-built grade classification of bone proliferation.
  • the classification of the bone proliferation may be modified later by changes in the type of the grade and the severity of the bone proliferation by grade, and the bone proliferation severity analysis model may be retrained using the corrected grade classification of the bone proliferation.
  • the individual analysis unit 140 automatically extracts the subchondral hardening features from the subchondral hardening frequency region through the learned subchondral hardening severity analysis model.
  • the individual analysis unit 140 determines the presence or absence of subchondral hardening and estimates the degree of subchondral hardening. In addition, the individual analysis unit 140 may derive which grade the estimated subchondral hardening progression corresponds to based on the pre-built hardening severity grade of the subchondral bone.
  • subchondral hardening severity grade can be modified later by changes in the type of grade and subchondral hardening severity by grade, and the subchondral hardening severity analysis model can be retrained using the modified subchondral hardening severity grade. I can.
  • the individual analysis unit 140 quantitatively extracts features that are various conditions for estimating the severity of arthritis for each region of interest.
  • the individual analysis unit 140 extracts the severity of arthritis, the severity of bone proliferation, and the severity of subchondral hardening, it is not limited thereto, and the features for diagnosing arthritis are extracted through the learned artificial intelligence model. I can.
  • the integrated analysis unit 150 analyzes the severity of arthritis in the medical image by integrating the results analyzed by the individual analysis unit 140.
  • the integrated analysis unit 150 may finely classify the severity of the degenerative arthritis derived from the features through the learned degenerative arthritis severity analysis model by collecting the features extracted for individual regions.
  • the integrated analysis unit 150 converts the features extracted from the individual analysis unit 140 into respective vectors, and inputs the converted vectors into the learned degenerative arthritis severity analysis model to derive the severity of degenerative arthritis. have.
  • the integrated analysis unit 150 may predict a future arthritis progression process using the learned degenerative arthritis progression prediction model. At this time, when the integrated analysis unit 150 further receives information such as the severity of degenerative arthritis derived from the medical image at the previous time, the patient's age, sex, and specific information, it is possible to accurately predict the progression of arthritis for each patient. .
  • controller 160 may output feature values extracted by the individual analysis unit 140 or the integrated analysis unit 150, an estimated severity level, and a quantified numerical value, for the medical image.
  • control unit 160 may convert the extracted feature values, the estimated severity level, and the quantified numerical value into a table or a graph, and output them.
  • the apparatus 100 for analyzing the severity of arthritis precisely analyzes the medical image and provides the quantified determination basis data for each area with respect to the severity of arthritis that is derived.
  • FIG. 4 is a flow chart showing a method for precisely analyzing the severity of arthritis according to an embodiment of the present invention
  • FIG. 5 is an exemplary view showing an analysis image based on a medical image according to an embodiment of the present invention.
  • the apparatus 100 for analyzing the severity of arthritis collects learning data in which data as a result of reading a plurality of medical images and corresponding medical images are matched (S110).
  • the arthritis severity precision analysis apparatus 100 collects learning data through a database in which medical images captured at a previous time and data read by experts are stored, or collects medical images generated according to a certain standard through a random simulation program. It can be built from learning data.
  • feature values are set based on various standard values, such as the KL rating criteria according to the arthritis severity rating, the bone growth rating criteria, and the subchondral sclerosis severity rating criteria, and the corresponding feature values.
  • Learning data can be constructed by generating a medical image by
  • the arthritis severity precision analysis apparatus 100 trains a plurality of artificial intelligence models based on the collected learning data (S120).
  • the arthritis severity precision analysis apparatus 100 detects a region automatic detection model for detecting regions of interest in a medical image, joint cavity reduction, joint cavity imbalance, arthritis severity, osteoproliferation severity, and subchondral hardening severity based on one or more regions of interest. Individual analysis models, and integrated analysis models that predict the severity of degenerative arthritis and progression of degenerative arthritis can be trained.
  • the individual analysis model and the integrated analysis model may be implemented as a plurality of corresponding artificial intelligence models based on the detected feature values.
  • a plurality of regions of interest acquired from the region automatic detection model are used as input values of an individual analysis model, and feature values of each region obtained from the individual analysis model are used as input values of the integrated analysis model.
  • one region of interest may be used as an input value or a plurality of regions of interest may be set as input values.
  • the arthritis severity precision analysis apparatus 100 is provided with each artificial intelligence until the feature values for each area, the severity of degenerative arthritis, and the progression prediction of degenerative arthritis, which are finally obtained from the input learning data, match the read data of the input learning data. Iteratively trains the model.
  • the arthritis severity precision analysis apparatus 100 establishes an artificial intelligence model by setting weight values of the artificial intelligence model that has been trained.
  • steps S110 and S120 are performed only in the process of constructing an initial artificial intelligence model, and may be performed in a separate device.
  • the arthritis severity precision analysis apparatus 100 collects a medical image (S130).
  • the apparatus 100 for analyzing the severity of arthritis may collect medical images captured by interlocking with a medical image capturing device in real time or collect medical images from an interlocked database.
  • the arthritis severity precision analysis apparatus 100 detects a plurality of regions of interest in the medical image using the learned region automatic detection model (S140).
  • the arthritis severity precision analysis apparatus 100 may detect a plurality of regions of interest based on the learned individual analysis models, and when each region of interest is detected, input to a corresponding individual analysis model according to the order of the detected regions of interest, or At the same time, they can be entered into individual analysis models.
  • steps S150 to S170 may be performed sequentially or simultaneously in a certain order.
  • the arthritis severity precision analysis apparatus 100 acquires arthritis analysis data from the joint region through the learned artificial intelligence model (S150).
  • the arthritis severity precision analysis apparatus 100 acquires arthritis analysis data representing arthritis severity, a quantitative feature value for joint cavity reduction, and an imbalance degree of joint cavity reduction in a joint area. At this time, the obtained arthritis analysis data each includes a quantified value.
  • the arthritis severity precision analysis apparatus 100 acquires bone growth analysis data in a region where bone growth can occur through the learned artificial intelligence model (S160).
  • the arthritis severity precision analysis apparatus 100 acquires bone growth analysis data indicating the presence or absence of bone growth, a feature value indicating the degree of bone growth, and a grade of bone growth.
  • the arthritis severity precision analysis apparatus 100 acquires subchondral sclerosis analysis data in the subchondral sclerosis multi-frequency region through the learned artificial intelligence model (S170).
  • the arthritis severity precision analysis apparatus 100 acquires subchondral hardening analysis data indicating a characteristic value indicating a degree of subchondral hardening and a subchondral hardening severity grade.
  • the arthritis severity precision analysis apparatus 100 may store the analysis data obtained in steps S150 to S170 in a separate database, and may output the analysis data to a display unit or a connected terminal.
  • the arthritis severity precision analysis apparatus 100 derives the severity of degenerative arthritis based on the arthritis analysis data, the bone growth analysis data, and the subchondral sclerosis analysis data (S180).
  • the arthritis severity precision analysis apparatus 100 may convert each analysis data into respective vectors and apply it as an input value of an artificial intelligence model (degenerative arthritis severity detection model, degenerative arthritis progression prediction model).
  • the arthritis severity precision analysis apparatus 100 may vectorize by combining a value of each analysis data and a code for an item indicated by the corresponding value.
  • arthritis severity precision analysis apparatus 100 may classify the severity of the degenerative arthritis in detail by analyzing the relationship between each characteristic of the analysis data and the analysis data through the learned degenerative arthritis severity analysis model.
  • the arthritis severity precision analysis apparatus 100 may predict future arthritis progression based on the characteristics of each analysis data, the relationship between the analysis data, and the severity of degenerative arthritis classified in detail through the learned degenerative arthritis progression prediction model. .
  • the arthritis severity precision analysis apparatus 100 may store the severity of degenerative arthritis and future arthritis progress prediction data in a separate database by analyzing acquired as described above, and convert it into a table or graph and output it to a display unit or a connected terminal. have.
  • FIG. 6 is a hardware configuration diagram of a computing device according to an embodiment of the present invention.
  • the hardware of the computing device 200 may include at least one processor 210, a memory 220, a storage 230, and a communication interface 240, and may be connected through a bus. have.
  • hardware such as an input device and an output device may be included.
  • the computing device 200 may be equipped with various software including an operating system capable of driving a program.
  • the processor 210 is a device that controls the operation of the computing device 200 and may be various types of processors 210 that process instructions included in a program. For example, a CPU (Central Processing Unit) or an MPU ( Micro Processor Unit), MCU (Micro Controller Unit), GPU (Graphic Processing Unit), and the like.
  • the memory 520 loads a corresponding program such that instructions described to perform the operation of the present invention are processed by the processor 210.
  • the memory 220 may be, for example, read only memory (ROM), random access memory (RAM), or the like.
  • the storage 230 stores various types of data, programs, etc. required to execute the operation of the present invention.
  • the communication interface 240 may be a wired/wireless communication module.
  • arthritis severity can be more precisely classified by calculating the arthritis severity based on individual analysis data analyzed for each ROI through the main ROI in the medical image.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

본 발명은 관절염 심각도 정밀 분석 장치는 사용자의 관절을 촬영한 의료 영상을 수집하는 영상 수집부, 학습된 영역 자동 검출 모델을 통해 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 영역 검출부, 검출된 관심 영역으로부터 정량화된 특징 값들을 추출하고, 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 개별 분석부, 그리고 개별 분석 데이터를 기초로 분석된 퇴행성 관절염의 심각도를 세밀하게 분류하는 통합 분석부를 포함한다.

Description

관절염 심각도 정밀 분석 장치 및 방법
관절염 심각도 정밀 분석 장치 및 방법이 제공된다.
퇴행성 관절염이란 관절을 보호하고 있는 연골의 손상이나 퇴행성 변화로 인해 관절을 이루는 뼈와 인대 등에 손상이 생겨 염증과 통증이 발생하는 질환이다.
이러한 퇴행성 관절염은 관절 연골의 퇴행성 변화에 의해 발생되므로 초기에 정확한 진단을 통해 통증을 경감시켜 주고 관절의 기능을 유지시키며 변형을 방지하는 게 매우 중요하다. 변형이 이미 발생한 경우에는 수술적인 교정과 재활 치료를 수행해야 하기 때문에 환자에 경제적 비용 및 정신적인 악영향이 크다. 또한 퇴행성 관절염의 진행 정도에 따라 적절한 약물 요법 또는 인공 관절 치환술 등의 진료가 이뤄지므로 정확한 진단이 중요하다.
하지만, 일반적인 퇴행성 관절염에 대한 진단의 경우, 의료진의 경험 또는 숙련도에 의해 정확도가 좌우되는 경우가 많다.
퇴행성 관절염의 초기 진단 도구인 단순 방사선 영상의 판독을 각 의료진이 수행하기 때문에, 의료진마다 판독의 차이로 진단 및 이상 분류가 상이하게 적용되어 적시에 진료가 이뤄지지 않고, 부적합한 진료 및 건강 보험 손실이 발생할 수 있다.
이러한 주관적인 의료 영상의 판독을 개선하고자 최근에는 인공지능을 이용하여 방사선 영상을 판독하는 과정을 학습하여 추론하는 방법이 연구되고 있다.
하지만, 아직까지는 인공지능을 이용하여 진단하는 경우, 관절염의 이상 분류에 대한 명확한 근거를 제시하기 어렵고, 등급의 경계선에 있는 의료영상에 대해서는 학습하는 모델별 편차가 존재할 수 있다.
따라서, 관절염 심각도를 정량화하고 정밀하게 관절염의 이상 분류를 수행하여 자동으로 분류 평가하는 기술이 요구된다.
본 발명이 해결하고자 하는 과제는 인공지능 기반으로 영역별 특징을 분석하여 관절염 심각도를 판단한 근거를 확보하고, 정밀하게 관절염 심각도를 정량화하는 장치 및 방법을 제공하고자 한다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 하나의 실시예에 따른 관절염 심각도 정밀 분석 장치는, 사용자의 관절을 촬영한 의료 영상을 수집하는 영상 수집부, 학습된 영역 자동 검출 모델을 통해 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 영역 검출부, 검출된 관심 영역으로부터 정량화된 특징 값들을 추출하고, 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 개별 분석부, 그리고 개별 분석 데이터를 기초로 학습된 통합 분석 모델을 통해 퇴행성 관절염의 심각도를 세밀하게 분류하는 통합 분석부를 포함한다.
관절이 촬영된 학습 의료 영상들과 학습 의료 영상을 판독한 결과 데이터가 매칭된 학습 데이터를 기초로 학습 의료 영상으로부터 관심 영역들을 검출하고 검출된 관심 영역들에서 추출된 특징 값들과 결과 데이터와의 상관관계를 분석하는 개별 분석 모델을 학습시키는 학습부를 더 포함할 수 있다.
개별 분석 모델은, 관절강 영역을 검출한 관심 영역에 기초하여 관절강 감소를 추정하기 위한 정량적인 특징 값들을 추출하는 관절염 심각도 분석 모델, 골증식 가능 영역을 검출한 관심 영역에 기초하여 골증식의 유무 또는 증식된 골증식의 진행 정도에 대한 정량적인 특징 값들을 추출하는 골증식 심각도 분석 모델, 그리고 연골하골 영역을 검출한 관심 영역에 기초하여 연골하골의 경화 진행 정도에 대한 정량적인 특징 값들을 추출하는 연골하골의 경화 심각도 분석 모델을 포함할 수 있다.
개별 분석부는, 관절염 심각도 분석 모델을 통해 관심영역에서 관절강의 내측 수치 및 관절강의 외측 수치를 추정하여 내측 수치와 외측 수치의 평균에 의한 관절의 심각도의 정량적인 수치를 추출하며, 관절강의 내측 수치와 외측 수치간의 불균형 비율을 산출할 수 있다.
개별 분석부는, 골증식 심각도 분석 모델을 통해 관심영역에서 골증식을 나타내는 골극 또는 뼈돌기를 검출하고, 미리 설정된 골증식의 등급 중에서 해당되는 골증식 등급을 추출하고, 연골하골의 경화 심각도 분석 모델을 통해 관심 영역에서 연골하골의 경화 정도를 검출하고 미리 설정된 연고하골의 경화 심각도 등급 중에서 해당되는 경화 심각도 등급을 추출할 수 있다.
학습부는, 학습 데이터를 기초로 개별 분석 모델로부터 획득한 개별 분석 데이터들을 각각 하나의 벡터로 변환하고, 변환된 벡터들을 이용하여 벡터들간의 상관관계를 분석하는 통합 분석 모델을 학습시키고, 통합 분석 모델은 개별 분석 테이터에 기초하여 퇴행성 관절염의 진행 정도에 대한 심각도를 세밀하게 분류하는 퇴행성 관절염 심각도 분석 모델과 개별 분석 데이터와 상기 퇴행성 관절염의 심각도에 기초하여 퇴행성 관절염의 진행 과정을 예측하는 퇴행성 관절염 진행 예측 모델을 포함할 수 있다.
통합 분석부는, 퇴행성 관절염 심각도 분석 모델을 통해 개별 분석 데이터들을 통합하여 의료 영상에서 퇴행성 관절염의 심각도를 세밀하게 분석하고, 퇴행성 관절염 진행 예측 모델을 통해 이후의 퇴행성 관절염의 진행 과정을 예측할 수 있다.
개별 분석부에서 도출된 하나 이상의 개별 분석 데이터에 해당하는 특징값들과 통합 분석부에서 도출된 퇴행성 관절염의 심각도에 대한 특징값들 중에서 적어도 하나 이상의 특징 값들을 출력하는 제어부를 더 포함할 수 있다.
본 발명의 하나의 실시예에 따른 컴퓨터로 판독가능한 저장매체에 저장되고, 프로세서에 의해 실행되는 프로그램으로서, 수집된 의료 영상에 기초하여 학습된 영역 자동 검출 모델을 통해 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 단계, 검출된 관심 영역으로부터 정량화된 특징 값들을 추출하고, 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 단계, 개별 분석 데이터를 기초로 분석된 퇴행성 관절염의 심각도를 세밀하게 분류하는 단계 그리고 분류된 퇴행성 관절염의 심각도와 함께, 개별 분석 데이터들을 연동되는 단말에 출력하는 단계를 실행하는 명령어들을 포함한다.
본 발명의 하나의 실시예에 따르면 의료 영상으로부터 검출된 관심 영역에서 인공지능 모델을 통해 개별 분석 데이터를 획득함으로써, 세부 의료 전문 영역 단계로 정량화된 주요 특징 값들을 확보할 수 있다.
본 발명의 하나의 실시예에 따르면, 개별 분석 데이터들의 각 특징값들을 기초로 관절염 심각도를 정밀하게 분류 평가할 수 있다.
또한 본 발명의 하나의 실시예에 따르면 관절염 심각도의 분류함에 있어 의학적 근거가 되는 개별 분석 데이터를 제공함으로써, 분류된 관절염 심각도의 결과 데이터의 신뢰성을 확보할 수 있다.
도 1은 관절의 구조 및 관절염 진행 상태를 나타낸 예시도이다.
도 2는 본 발명의 실시예에 따른 관절염 심각도 정밀 분석 장치를 나타낸 구조도이다.
도 3은 본 발명의 실시예에 따른 인공지능 알고리즘을 나타낸 개략적인 개념도이다.
도 4는 본 발명의 실시예에 따른 관절염 심각도 정밀 분석 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 의료 영상에 기초하여 분석 영상을 나타낸 예시도이다.
도 6는 본 발명의 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 관절의 구조 및 관절염 진행 상태를 나타낸 예시도이다.
도 1의 (a)에서와 같이, 관절은 두 개의 서로 마주보는 뼈의 연결 부분으로 뼈가 움직일 수 있는 구조로 결합되어 있다.
두 개의 뼈가 움직일 수 있도록 각 뼈에는 관절연골이 있으며, 관절 연골을 감싸는 영역에는 관절낭이 있다. 관절낭 내측에는 관절강이 있으며, 관절낭과 뼈 사이에는 연골하골이 있다. 관절강은 관절을 이루는 두 뼈 사이의 틈새로서 관절포(관절 주머니)로 둘러싸인 공간(내강)을 의미하며, 연골하골은 연골 바로 밑에 있는 뼈 부분을 의미한다.
도 1의 (b)는 관절염의 심각도에 따라 1 단계 내지 4 단계로 도시하였다.
1단계에서는 연골이 일부 감소되어 관절 간격이 좁아졌으며, 관절 질환이 시작되는 상태를 나타내고, 2단계에서는 좁은 관절 간격과 연골의 손상되었으며, 연골하골의 경화가 시작되는 상태를 나타낸다. 다음 3단계에서는 2단계보다 관절 간격이 좁아지고 연골의 손상으로 틈이 확장되었으며, 연골하골의 경화가 진행되는 상태를 나타내고, 4단계에서는 연골이 절반 이하로 감소하고 연골하골의 경화가 심화되었으며 연골 손상이 심화된 상태를 나타낸다.
도 1의 (b)에서와 같이, 관절을 이루고 있는 다수의 영역에서 동시에 관절염이 진행되기 때문에 각 영역의 진행 정도와 전체적인 관절의 상태 등을 종합적으로 분석하여 관절염 심각도를 획득하고 그에 따른 치료 방법을 선택해야 한다.
도 2는 본 발명의 실시예에 따른 관절염 심각도 정밀 분석 장치를 나타낸 구조도이고, 도 3은 본 발명의 실시예에 따른 인공지능 알고리즘을 나타낸 개략적인 개념도이다.
도 2에 도시한 바와 같이, 관절염 심각도 정밀 분석 장치(100)는 의료 영상을 수집하여 의료 영상에서 개별 분석 또는 통합 분석을 수행하여 획득한 분석 결과를 제공한다.
관절염 심각도 정밀 분석 장치(100)는 수집부(110), 학습부(120), 검출부(130), 개별 분석부(140), 통합 분석부(150) 그리고 제어부(160)를 포함한다.
설명을 위해, 수집부(110), 학습부(120), 검출부(130), 개별 분석부(140), 통합 분석부(150) 그리고 제어부(160)로 명명하여 부르나, 이들은 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치이다. 여기서, 수집부(110), 학습부(120), 검출부(130), 개별 분석부(140), 통합 분석부(150) 그리고 제어부(160)는 하나의 컴퓨팅 장치에 구현되거나, 별도의 컴퓨팅 장치에 분산 구현될 수 있다. 별도의 컴퓨팅 장치에 분산 구현된 경우, 수집부(110), 학습부(120), 검출부(130), 개별 분석부(140), 통합 분석부(150) 그리고 제어부(160)는 통신 인터페이스를 통해 서로 통신할 수 있다. 컴퓨팅 장치는 본 발명을 수행하도록 작성된 소프트웨어 프로그램을 실행할 수 있는 장치이면 충분하다.
수집부(110)는 연동된 의료 영상 촬영 장비로부터 실시간으로 촬영된 의료 영상을 수집하거나 연동된 데이터베이스로부터 이전 시점에 촬영한 의료 영상을 수집한다. 이때, 의료 영상은 관절 영역을 촬영한 x-ray (X선영상 기술, radiography)을 의미하지만, 반드시 이에 한정하는 것은 아니며, CT(전산화 단층 촬영 기술, Computed Tomography), PET(양전자 방출 단층 촬영기술, Positron Emission Tomography), Ultrasound(초음파영상 진단 기술), MRI(자기공명영상 진단 기술, Magnetic Resonance Imaging)등 중에서 하나의 의료 영상을 나타낼 수 있다.
또한, 수집부(110)는 다수의 영상 판독 전문의에 의해 판독된 의료 영상과, 해당 의료 영상에 대한 판독 결과를 학습데이터로 수집할 수 있다. 여기서, 학습 데이터는 각 의료 영상마다 판독 결과를 라벨링될 수 있다.
그리고 수집부(110)는 수집한 의료 영상에 대해 인공지능 모델에 입력할 수 있도록 인공지능 모델의 입력 형식에 기초하여 의료영상을 전처리할 수 있다. 의료영상의 전처리는 인공지능 학습과 분석 효과를 증대시키기 위한 단계이며, 영상 화질 개선 및 균일화 등의 프로세스를 포함한다. 예를 들어, 화질 개선 방법으로는 CLAHE (Contrast Limited Adaptive Histogram Equalization), 히스토그램 균일화 등을 적용하여 영상 분석의 정확성을 향상할 수 있다.
학습부(120)는 수집된 학습 데이터를 이용하여 입력 영상에 대응하여 관심 영역을 검출하거나 분석한 데이터를 도출하도록 인공지능 모델을 학습시킨다. 여기서, 인공지능 모델은 컨볼루션 신경망(convolutional neural network)이 주로 사용되지만, 이에 한정하는 것은 아니고 머신러닝(machine learning), 딥러닝(Deep learning), 지도학습, 비지도 학습 등을 포함할 수 있다.
학습부(120)는 검출 모델, 하나 이상의 개별 분석 모델, 그리고 통합 분석 모델 등을 학습시킨다.
학습부에서 사용하는 모델은, 하나 이상의 계층으로 구성된 심층 신경망으로, 관심 영역의 특징들에 대한 특징 지도(feature map)을 만들어내는 다수의 컨볼루션 계층(convolution layer)과 다수의 컨볼루션 계층 사이에 서브 샘플링을 수행하는 통합 계층(pooling layer)을 포함하는 컨볼루션 신경망(convolutional Neural Network, CNN)일 수 있다. 컨볼루션 신경망은 입력 영상에 대하여 합성곱과 서브샘플링을 번갈아 수행함으로써 입력 영상으로부터 분석결과값을 추출할 수 있다.
상세하게는 검출 학습의 경우, 영상 내에 자동 검출하고자 하는 영역들에 대한 표시가 되어 있는 학습데이터를 구축하고, 이들 학습데이터를, 특정한 영역 검출에 최적화하여 개발한 인공지능 검출용 모델에 대해 훈련을 수행하여 학습이 완료된 검출 모델을 생성한다.
그리고 분석 학습은, 분석 대상 영상 및 영상 내 영역들에 대해, 분류 기준을 적용한 학습 데이터를 구축하고, 이들 학습데이터로, 특정 목적의 분류를 자동화하기 위해 개발한 인공지능 분석용 모델을 훈련시켜, 학습이 완료된 분석 모델을 생성한다.
검출 모델, 하나 이상의 개별 분석 모델, 그리고 통합 분석 모델을 인공지능 모델로, 각각의 독립적인 인공지능 모델일 수 있고, 또는 서로 연계되는 하나의 인공지능 모델로 구현될 수 있다. 이에 따라, 상술한 구성들에 대응하는 하나 또는 복수의 인공지능 모델은 하나 또는 복수의 컴퓨팅 장치에 의해 구현될 수 있다.
도 3에 도시한 바와 같이, 인공지능 모델은 수집한 의료 영상에 대응하여 관심 영역을 검출하는 영역 자동 검출 모델(A)과 영역 자동 검출 모델(A)로부터 검출된 하나 이상의 관심 영역을 개별적으로 분석하는 개별 분석 모델(B) 그리고 개별 분석 모델(B)로부터 분석된 결과를 통합하여 분석된 관절염 심각도를 검출하는 통합 분석 모델(C)을 포함한다.
이처럼, 영역 자동 검출 모델(A)로부터 획득한 결과 값을 개별 분석 모델(B)의 입력 값으로 이용되고, 개별 분석 모델(B)로부터 획득한 결과 값을 통합 분석 모델(C)의 입력값으로 이용될 수 있다.
상세하게는, 영역 자동 검출 모델(A)은 수집된 의료 영상에서 관절염 심각도에 대한 판단 근거가 되는 관심 영역들을 검출하는 모델로, 영역 자동 검출 모델을 나타낸다. 예를 들어, 영역 자동 검출 모델(A)은 하나의 의료 영상으로부터 관절강 간격의 감소의 판단 근거가 되는 관절 영역, 골증식(골극, 뼈돌기)의 유무 또는 골증식의 진행 정도의 판단 근거가 되는 골증식 발생 가능 영역, 그리고 연골하골의 경화 정보의 판단 근거가 되는 연골하골 경화 다빈도 영역 등에 대해 개별 영역들을 검출할 수 있다.
영역 자동 검출 모델(A)은 각 관심 영역마다 검출하는 독립적인 인공지능 모델로 구현되거나 하나의 인공지능 모델로 구현되어 하나의 의료 영상에 대해 관심영역을 검출하는 복수개의 인공 지능 모델로 구현될 수 있다.
이때, 영역 자동 검출 모델(A)은 개별 분석 모델(B)에서 분석하고자 하는 영역에 대응하여 관심 영역이 검출되도록 연동될 수 있다. 이에 개별 분석 모델이 추가 및 변경되는 경우에 자동으로 검출 모델의 입력 영상이 되는 관심 영역의 영상을 검출하는 기능을 포함하거나 해당 관심 영역을 검출하는 인공지능 모델이 추가될 수 있다.
*개별 분석 모델(B)은 관절염 심각도 분석 모델(B-1), 골증식 심각도 분석 모델(B-2) 그리고 연골하골 경화 심각도 분석 모델(B-n)등을 포함한다.
관절염 심각도 분석 모델(B-1)은 관절 영역을 분석하여 관절염과 관련된 특징들을 자동으로 검출할 수 있다. 예를 들어, 관절강 감소에 대한 절대적 수치 또는 상대적 수치를 이용하여 관절강의 감소와 관련된 특징들을 검출한다.
골증식 심각도 분석 모델(B-2)은 미리 설정된 골증식의 등급 분류에 기초하여 해당 골증식 발생 가능 영역에서 추출된 특징들이 어느 등급에 해당하는 지에 대한 분석을 수행한다. 이에 해당되는 골증식의 등급을 검출할 수 있다.
연골하골 경화 심각도 분석 모델(B-n)은 연골하골 경화 다빈도 영역에서 연골하골 부위가 경화되는 정도를 검출하여 미리 설정된 연골하골의 경화 심각도 등급 분류에 기초하여 해당되는 등급을 검출할 수 있다.
그리고 통합 분석 모델(C)은 퇴행성 관절염 심각도 분석 모델(C-1)과 퇴행성 관절염 진행 예측 모델(C-2)등을 포함한다.
퇴행성 관절염 심각도 분석 모델(C-1)은 관절염 심각도 분석 모델(B-1), 골증식 심각도 분석 모델(B-2) 그리고 연골하골 경화 심각도 분석 모델(B-n)등에서 분석된 결과 데이터들을 종합하여 수집된 의료 영상으로부터 퇴행성 관절염의 심각도를 세밀하게 분류한 데이터를 산출할 수 있다.
퇴행성 관절염 진행 예측 모델(C-2)은 학습데이터를 통해 개별 분석 모델(B)에서 검출된 특징 값들을 그룹화하고 계층화하여 단계별로 학습하여, 관절염 심각도뿐 아니라 향후 관절염 진행 예측을 도출할 수 있다.
이처럼, 학습부(120)는 각각의 인공 지능 모델에 학습 데이터를 기초하여 반복적으로 학습하며, 일정 기간 또는 특정 기준에 기초하여 각 인공 지능 모델들에 대해 주기적으로 재학습시킬 수 있다.
검출부(130)는 학습된 영역 자동 검출 모델(A)을 통해 하나 이상의 관심 영역을 검출한다. 여기서, 관심 영역은 수집된 의료 영상에서 특정된 관심 영역만 검출된 영상을 의미한다.
검출부(130)는 각각 대응되는 개별 분석 모델(B)의 입력 형식에 기초하여 추출된 관심 영역을 전처리 작업을 수행할 수 있다. 다시 말해, 개별 분석 모델(B)의 입력 형식에 따라 관심 영역에 해당하는 영상의 크기, 해상도 등을 변경할 수 있다.
그리고 개별 분석부(140)는 각 관심 영역을 분석하여 관절염 심각도, 골증식 심각도 그리고 연골하골의 경화 심각도와 관련이 있는 특징들을 추출한다. 이때, 개별 분석부(140)는 학습된 개별 분석 모델(B)을 이용하여 정량적인 분석 데이터들을 획득할 수 있다.
상세하게는 개별 분석부(140)는 학습된 관절염 심각도 분석 모델을 통해 관심 영역에서 특징을 자동으로 추출한다.
이때, 추출되는 특징으로는 관절강 감소, 관절강 감소의 내측과 외측의 불균형 정도를 포함하며, 이외에도 관절염을 진단함에 있어 특징들을 포함한다.
일반적으로 관절염의 진행 정도가 심화됨에 따라 연골의 손상이 오고 관절강의 감소가 발생한다. 그리고 퇴행서 관절염의 경우에는 내측 또는 외측을 중심으로 관절강의 감소가 불균형하게 일어나는 특징이 있다.
이에 따라 개별 분석부(140)는 학습된 관절염 심각도 분석 모델을 통해 관절 영역에서 관절강에 대한 정량적인 특징들을 추출한다.
예를 들어, 개별 분석부(140)는 관절 영역에서 관절강의 길이를 절대적인 수치(mm 등)로 도출하거나 상대적인 수치로 도출할 수 있다.
개별 분석부(140)는 관절강의 수치(JS)를 도출함에 있어, 관절의 내측(medial)에 대한 관절강 내측 최소값 (JSmin M), 관절강 내측 평균값 (JSavg M) 등을 추출하고, 관절의 외측(Laeral)에 대한 관절강 내측 최소값 (JSmin L), 관절강 내측 평균값 (JSavg L) 등을 추출할 수 있다.
또는 개별 분석부(140)는 관절 영역에서 정면 기준 수평축의 폭을 기준으로 관절강 간격을 상대적인 수치로 도출할 수 있다.
예를 들어 개별 분석부(140)는 RJS(관절강의 간격) = JS(관절강 수치)/ W(무릎 관절의 폭)을 통해 관절강의 간격을 산출함으로써, 관심 영역의 크기, 영상의 크기 등과 상관없이 관절강의 감소를 객관적으로 정량화된 수치로 산출할 수 있다.
그리고 개별 분석부(140)는 외측과 내측의 관절강의 수치 중에서 최소값(Min{ RJSavg L , RJSavg M})을 이용하여 관절염의 심각도를 산출할 수 있다.
이처럼 관절의 영역에서 관절강의 간격이 최소가 되는 지점을 기준으로 관절염의 심각도를 산출할 수 있으나, 반드시 이에 한정하는 것은 아니고, 사용자에 의해 외측과 내측의 관절강의 수치의 평균값으로 기준을 설정할 수 있으며 이러한 기준은 추후에 변경 및 설계 가능하다.
그리고 개별 분석부(140)는 퇴행성 관절의 특징에 기초하여 관절강의 내측 또는 외측의 감소의 차이에 기초하여 불균형 정도를 추출할 수 있다.
다음 수학식과 같이, 관절강의 내측과 외측의 불균형 정도를 산출한다.
[수학식 1]
RatioRJS =
Figure PCTKR2020009402-appb-I000001
이와 같이, 개별 분석부(140)는 무릎관절영역의 관절염 심각도에 따른 영상적 특징, 관절강 감소에 대한 정량적 특징, 관절강 감소의 내측(medial)과 외측(lateral) 간의 불균형 정도 특징 등을 도출한다.
한편, 개별 분석부(140)는 학습된 골증식 심각도 분석 모델을 통해 골증식 발생 가능 영역에서 골증식의 특징을 자동으로 추출한다.
개별 분석부(140)는 골증식의 유무를 판별하고, 골증식의 정도를 추정한다. 그리고 개별 분석부(140)는 추정된 골증식의 정도가 미리 구축된 골증식의 등급분류에 기초하여 어느 등급에 해당되는 지 도출할 수 있다.
여기서 골증식의 등급 분류는 추후에 등급의 종류, 등급별 골증식의 심각도 등의 변경에 의해 수정될 수 있으며, 수정된 골증식의 등급 분류를 이용하여 골증식 심각도 분석 모델은 재학습될 수 있다.
또한, 개별 분석부(140)는 학습된 연골하골 경화 심각도 분석 모델을 통해 연골하골 경화 다빈도 영역에서 연골하골 경화 특징을 자동으로 추출한다.
개별 분석부(140)는 연골하골 경화의 유무를 판별하고, 연골하골 경화 진행 정도를 추정한다. 그리고 개별 분석부(140)는 추정된 연골하골 경화 진행 정도가 미리 구축된 연골하골의 경화 심각도 등급에 기초하여 어느 등급에 해당되는 지 도출할 수 있다.
여기서 연골하골의 경화 심각도 등급은 추후에 등급의 종류, 등급별 연골하골 경화 심각도 등의 변경에 의해 수정될 수 있으며, 수정된 연골하골의 경화 심각도 등급을 이용하여 연골하골 경화 심각도 분석 모델은 재학습될 수 있다.
이처럼 개별 분석부(140)는 각 관심 영역마다 관절염의 심각도를 추정할 수 있는 다양한 조건들이 되는 특징들을 정량적으로 추출한다.
개별 분석부(140)에서 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도에 대해서 추출하는 것으로 설명하고 있지만, 이에 한정하는 것은 아니며, 관절염을 진단하는 특징들에 대해서 학습된 인공지능 모델을 통해 추출할 수 있다.
통합 분석부(150)는 개별 분석부(140)에서 분석한 결과들을 통합하여 의료 영상에서의 관절염 심각도를 분석한다.
통합 분석부(150)는 개별 영역에 대해 추출된 특징들을 취합하여 학습된 퇴행성 관절염 심각도 분석 모델을 통해 각 특징들로부터 도출되는 퇴행성 관절염의 심각도를 세밀하게 분류할 수 있다.
상세하게는 통합 분석부(150)에서는 개별 분석부(140)에서 추출된 특징들을 각각의 벡터로 변환하고, 변환된 벡터들을 학습된 퇴행성 관절염 심각도 분석 모델에 입력하여 퇴행성 관절염의 심각도를 도출할 수 있다.
또한, 통합 분석부(150)는 학습된 퇴행성 관절염 진행 예측 모델을 이용하여 향후 관절염 진행 과정을 예측할 수 있다. 이때, 통합 분석부(150)는 이전 시점에서의 의료 영상으로부터 도출된 퇴행성 관절염의 심각도, 환자의 나이, 성별, 특이 사항 등과 같은 정보를 더 입력받으면, 환자마다의 관절염 진행 예측을 정확하게 할 수 있다.
그리고 제어부(160)는 의료 영상에 대해 개별 분석부(140) 또는 통합 분석부(150)에서 추출된 특징 값들, 추정된 심각도 등급, 정량화된 수치 값등을 출력할 수 있다.
이때, 제어부(160)는 추출된 특징 값들, 추정된 심각도 등급, 정량화된 수치 값등을 표 또는 그래프로 변환하여 출력할 수 있다.
이처럼 관절염 심각도 정밀 분석 장치(100)는 의료 영상을 정밀 분석하여 도출된 관절염의 심각도에 대해서 각 영역별 정량화된 판단 근거 자료를 함께 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 관절염 심각도 정밀 분석 방법을 나타낸 순서도이고, 도 5는 본 발명의 실시예에 따른 의료 영상에 기초하여 분석 영상을 나타낸 예시도이다.
도 4와 도 5에 도시한 바와 같이, 관절염 심각도 정밀 분석 장치(100)는 복수개의 의료 영상과 해당 의료 영상을 판독한 결과 데이터가 매칭된 학습 데이터 수집한다(S110).
관절염 심각도 정밀 분석 장치(100)는 이전 시점에 촬영된 의료 영상들과 전문가에 의해 판독된 데이터들이 저장된 데이터베이스를 통해 학습 데이터를 수집하거나, 임의의 시뮬레이션 프로그램을 통해서 일정한 기준에 따라 생성된 의료 영상을 학습 데이터로 구축할 수 있다.
예를 들어, 시뮬레이션 프로그램을 이용하는 경우 관절염 심각도 등급에 따른 KL 등급 분류 기준, 골증식의 등급 분류 기준, 연골하골의 경화 심각도 등급 분류 기준 등 다양한 기준 값들에 기초하여 특징 값들을 설정하고, 해당 특징 값들에 의한 의료 영상을 생성하여 학습 데이터를 구축할 수 있다.
다음으로 관절염 심각도 정밀 분석 장치(100)는 수집된 학습 데이터에 기초하여 복수 개의 인공지능 모델을 학습시킨다(S120).
관절염 심각도 정밀 분석 장치(100)는 의료 영상에서 관심 영역들을 검출하는 영역 자동 검출 모델, 하나 이상의 관심 영역에 기초하여 관절강 감소, 관절강 불균형 정도, 관절염 심각도, 골증식 심각도, 그리고 연골하골 경화 심각도를 검출하는 개별 분석 모델, 그리고 퇴행성 관절염의 심각도, 퇴행성 관절염의 진행을 예측하는 통합 분석 모델들을 학습시킬 수 있다.
여기서, 개별 분석 모델과 통합 분석 모델은 검출되는 특징 값에 기초하여 각 대응되는 다수개의 인공지능 모델로 구현될 수 있다.
그리고 영역 자동 검출 모델로부터 획득한 복수 개의 관심 영역들은 개별 분석 모델의 입력값으로 이용되며, 개별 분석 모델로부터 획득한 각 영역별 특징값들은 통합 분석 모델의 입력값으로 이용된다.
이때, 개별 분석 모델에서 각 영역별 특징값을 도출함에 있어서, 하나의 관심 영역을 입력값으로 하거나 복수 개의 관심영역을 입력값으로 설정할 수 있다.
관절염 심각도 정밀 분석 장치(100)는 입력된 학습 데이터에서 최종 획득된 영역별 특징값들, 퇴행성 관절염 심각도, 퇴행성 관절염 진행 예측 등이 입력된 학습데이터의 판독된 데이터와 일치할 때까지 각각의 인공지능 모델을 반복적으로 학습시킨다.
그리고 관절염 심각도 정밀 분석 장치(100)는 학습이 완료된 인공지능 모델의 가중치 값들을 설정하여 인공지능 모델을 구축한다.
한편, S110 단계와 S120 단계는 초기 인공지능 모델을 구축하는 과정에서만 수행하며, 별도의 장치에서 수행할 수 있다.
다음으로 관절염 심각도 정밀 분석 장치(100)는 의료 영상을 수집한다(S130).
관절염 심각도 정밀 분석 장치(100)는 실시간으로 의료 영상 촬영 기기에 연동되어 촬영된 의료 영상을 수집하거나 연동되는 데이터베이스에서 의료 영상을 수집할 수 있다.
그리고 관절염 심각도 정밀 분석 장치(100)는 학습된 영역 자동 검출 모델을 이용하여 의료 영상에서 복수개의 관심영역을 검출한다(S140).
관절염 심각도 정밀 분석 장치(100)는 학습된 개별 분석 모델에 기초하여 복수개의 관심 영역을 검출할 수 있으며, 각 관심 영역들이 검출되면, 검출된 관심 영역의 순서에 따라 대응되는 개별 분석 모델에 입력하거나 동시에 개별 분석 모델에 입력할 수 있다.
다시 말해 S150 단계 내지 S170단계는 일정한 순서에 따라 순차적으로 수행하거나 동시에 수행 가능하다.
관절염 심각도 정밀 분석 장치(100)는 학습된 인공지능 모델을 통해 관절 영역에서 관절염 분석 데이터 획득한다(S150).
관절염 심각도 정밀 분석 장치(100)는 관절 영역에서 관절염 심각도, 관절강 감소에 대한 정량적 특징 값, 관절강 감소의 불균형 정도 등을 나타내는 관절염 분석 데이터를 획득한다. 이때, 획득되는 관절염 분석 데이터들은 각각 정량화된 수치를 포함한다.
그리고 관절염 심각도 정밀 분석 장치(100)는 학습된 인공지능 모델을 통해 골증식 발생 가능 영역에서 골증식 분석 데이터 획득한다(S160).
관절염 심각도 정밀 분석 장치(100)는 골증식 유무와 골증식 정도를 나타내는 특징값, 골증식의 등급 등을 나타내는 골증식 분석 데이터를 획득한다.
관절염 심각도 정밀 분석 장치(100)는 학습된 인공지능 모델을 통해 연골하골 경화 다빈도 영역에서 연골하골 경화 분석 데이터 획득한다(S170).
관절염 심각도 정밀 분석 장치(100)는 연골하골 경화 정도를 나타내는 특징값, 연골하골 경화 심각도 등급 등을 나타내는 연골하골 경화 분석 데이터를 획득한다.
관절염 심각도 정밀 분석 장치(100)는 S150 단계 내지 S170단계에서 획득한 분석 데이터들을 별도의 데이터베이스에 저장할 수 있으며, 이러한 분석 데이터들을 디스플레이부 또는 연동되는 단말로 출력할 수 있다.
다음으로 관절염 심각도 정밀 분석 장치(100)는 관절염 분석 데이터, 골증식 분석 데이터 그리고 연골하골 경화 분석 데이터를 기초로 퇴행성 관절염 심각도를 도출한다(S180).
관절염 심각도 정밀 분석 장치(100)는 각 분석 데이터들을 각각의 벡터로 변환하여 인공지능 모델(퇴행성 관절염 심각도 검출 모델, 퇴행성 관절염 진행 예측 모델)의 입력값으로 적용할 수 있다. 이때, 관절염 심각도 정밀 분석 장치(100)는 각 분석 데이터들의 수치와 해당 수치가 의미하는 항목에 대한 코드를 결합하여 벡터화할 수 있다.
그리고 관절염 심각도 정밀 분석 장치(100)는 학습된 퇴행성 관절염 심각도 분석 모델을 통해 분석 데이터들의 각각의 특징과 분석 데이터들의 관계성을 분석하여 퇴행성 관절염의 심각도를 세밀하게 분류할 수 있다.
또한, 관절염 심각도 정밀 분석 장치(100)는 학습된 퇴행성 관절염 진행 예측 모델을 통해 분석 데이터들의 각각의 특징과 분석 데이터들의 관계성 그리고 세밀하게 분류된 퇴행성 관절염의 심각도에 기초하여 향후 관절염 진행 예측할 수 있다.
관절염 심각도 정밀 분석 장치(100)는 이와 같이 획득한 분석하여 퇴행성 관절염의 심각도와 향후 관절염 진행 예측 데이터를 별도의 데이터베이스에 저장할 수 있으며, 표 또는 그래프로 변환하여 디스플레이부 또는 연동되는 단말로 출력할 수 있다.
도 6은 본 발명의 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.
도 6에 도시한 바와 같이, 컴퓨팅 장치(200)의 하드웨어는 적어도 하나의 프로세서(210), 메모리(220), 스토리지(230), 통신 인터페이스(240)를 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 컴퓨팅 장치(200)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.
프로세서(210)는 컴퓨팅 장치(200)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(210)일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다. 메모리(520)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(210)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(220)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 스토리지(230)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(240)는 유/무선 통신 모듈일 수 있다.
이와 같이, 의료 영상에서 주요 관심영역을 통해 각 관심 영역마다 분석되는 개별 분석 데이터를 기초로 관절염 심각도를 산출함으로써, 보다 정밀하게 관절염 심각도를 분류할 수 있다.
그리고 관절염 심각도의 분류함에 있어 의학적 근거가 되는 개별 분석 데이터를 제공함으로써, 분류된 관절염 심각도의 결과 데이터의 신뢰성을 확보할 수 있다.
그리고 인공지능 모델을 통해 추출된 특징 값들에 기초하여 관절염의 심각도뿐 아니라 향후 관절염 진행 예측 데이터를 제공할 수 있다.
이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

  1. 사용자의 관절을 촬영한 의료 영상을 수집하는 영상 수집부,
    학습된 영역 자동 검출 모델을 통해 상기 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 영역 검출부,
    검출된 상기 관심 영역으로부터 정량화된 특징 값들을 추출하고, 상기 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 개별 분석부, 그리고
    상기 개별 분석 데이터를 기초로 학습된 통합 분석 모델을 통해 퇴행성 관절염의 심각도를 세밀하게 분류하는 통합 분석부
    를 포함하는 관절염 심각도 정밀 분석 장치.
  2. 제1항에서,
    관절이 촬영된 학습 의료 영상들과 상기 학습 의료 영상을 판독한 결과 데이터가 매칭된 학습 데이터를 기초로 상기 학습 의료 영상으로부터 관심 영역들을 검출하고 검출된 관심 영역들에서 추출된 특징 값들과 상기 결과 데이터와의 상관관계를 분석하는 개별 분석 모델을 학습시키는 학습부를
    더 포함하는 관절염 심각도 정밀 분석 장치.
  3. 제2항에서,
    상기 개별 분석 모델은,
    관절강 영역을 검출한 관심 영역에 기초하여 상기 관절강 감소를 추정하기 위한 정량적인 특징 값들을 추출하는 관절염 심각도 분석 모델,
    골증식 가능 영역을 검출한 관심 영역에 기초하여 골증식의 유무 또는 증식된 골증식의 진행 정도에 대한 정량적인 특징 값들을 추출하는 골증식 심각도 분석 모델, 그리고
    연골하골 영역을 검출한 관심 영역에 기초하여 상기 연골하골의 경화 진행 정도에 대한 정량적인 특징 값들을 추출하는 연골하골의 경화 심각도 분석 모델을 포함하는 관절염 심각도 정밀 분석 장치.
  4. 제3항에서,
    상기 개별 분석부는,
    상기 관절염 심각도 분석 모델을 통해 관심영역에서 관절강의 내측 수치 및 관절강의 외측 수치를 추정하여 내측 수치와 외측 수치의 평균에 의한 관절의 심각도의 정량적인 수치를 추출하며,
    상기 관절강의 내측 수치와 외측 수치간의 불균형 비율을 산출하는 관절염 심각도 정밀 분석 장치.
  5. 제3항에서,
    상기 개별 분석부는,
    상기 골증식 심각도 분석 모델을 통해 관심영역에서 골증식을 나타내는 골극 또는 뼈돌기를 검출하고, 미리 설정된 골증식의 등급 중에서 해당되는 골증식 등급을 추출하고,
    상기 연골하골의 경화 심각도 분석 모델을 통해 관심 영역에서 연골하골의 경화 정도를 검출하고 미리 설정된 연고하골의 경화 심각도 등급 중에서 해당되는 경화 심각도 등급을 추출하는 관절염 심각도 정밀 분석 장치.
  6. 제3항에서,
    상기 학습부는,
    상기 학습 데이터를 기초로 상기 개별 분석 모델로부터 획득한 개별 분석 데이터들을 각각 하나의 벡터로 변환하고, 변환된 벡터들을 이용하여 상기 벡터들간의 상관관계를 분석하는 통합 분석 모델을 학습시키고,
    상기 통합 분석 모델은
    상기 개별 분석 테이터에 기초하여 퇴행성 관절염의 진행 정도에 대한 심각도를 세밀하게 분류하는 퇴행성 관절염 심각도 분석 모델과
    상기 개별 분석 데이터와 상기 퇴행성 관절염의 심각도에 기초하여 퇴행성 관절염의 진행 과정을 예측하는 퇴행성 관절염 진행 예측 모델을 포함하는 관절염 심각도 정밀 분석 장치.
  7. 제6항에서,
    상기 통합 분석부는,
    상기 퇴행성 관절염 심각도 분석 모델을 통해 상기 개별 분석 데이터들을 통합하여 상기 의료 영상에서 퇴행성 관절염의 심각도를 세밀하게 분석하고,
    상기 퇴행성 관절염 진행 예측 모델을 통해 이후의 퇴행성 관절염의 진행 과정을 예측하는 관절염 심각도 정밀 분석 장치.
  8. 제7항에서,
    상기 개별 분석부에서 도출된 하나 이상의 개별 분석 데이터에 해당하는 특징값들과 상기 통합 분석부에서 도출된 퇴행성 관절염의 심각도에 대한 특징값들 중에서 적어도 하나 이상의 특징 값들을 출력하는 제어부를 더 포함하는 관절염 심각도 정밀 분석 장치.
  9. 컴퓨터로 판독가능한 저장매체에 저장되고, 프로세서에 의해 실행되는 프로그램으로서,
    수집된 의료 영상에 기초하여 학습된 영역 자동 검출 모델을 통해 상기 의료 영상에서 관절염을 분석하기 위한 하나 이상의 관심 영역을 검출하는 단계,
    검출된 상기 관심 영역으로부터 정량화된 특징 값들을 추출하고, 상기 특징 값들에 기초하여 관절염 심각도, 골증식 심각도 그리고 연골하골 경화 심각도 중에서 하나 이상의 개별 분석 데이터를 도출하는 단계,
    상기 개별 분석 데이터를 기초로 분석된 퇴행성 관절염의 심각도를 세밀하게 분류하는 단계 그리고
    분류된 상기 퇴행성 관절염의 심각도와 함께, 상기 개별 분석 데이터들을 연동되는 단말에 출력하는 단계
    를 실행하는 명령어들을 포함하는 프로그램.
  10. 제9항에서,
    복수의 학습 의료 영상과 상기 학습 의료 영상을 판독한 결과 데이터가 매칭된 학습 데이터를 기초로 학습 의료 영상에서 결과 데이터를 추정할 수 있는 관심 영역을 검출하는 영역 자동 검출 모델을 학습시키는 단계,
    검출된 관심 영역에 대해 특징 값들을 추출하고, 추출된 특징 값의 개별 분석 데이터와 상기 결과 데이터와의 상관관계를 분석하는 개별 분석 모델을 학습시키는 단계 그리고
    개별 분석 모델로부터 획득한 특징 값들을 통합적으로 분석한 데이터와 상기 결과 데이터와의 상관관계를 분석하는 통합 분석 모델을 학습시키는 단계,
    를 실행하는 명령어들을 더 포함하는 프로그램.
  11. 제10항에서,
    상기 관심 영역은,
    관절강 영역, 골증식 가능 영역, 연골하골 영역 중에서 하나 이상을 포함하고,
    상기 개별 분석 데이터를 도출하는 단계는,
    관절염 심각도 분석 모델을 통해 관절강 영역을 검출한 관심 영역에서 관절강의 내측 수치 및 관절강의 외측 수치를 추정하여 내측 수치와 외측 수치의 평균에 의한 관절의 심각도의 정량적인 수치 및 상기 관절강의 내측 수치와 외측 수치간의 불균형 비율을 산출하는 명령어들을 포함하는 프로그램.
  12. 제11항에서,
    상기 퇴행성 관절염의 심각도를 세밀하게 분류하는 단계는,
    상기 통합 분석 모델을 통해 상기 개별 분석 데이터들을 통합하여 상기 의료 영상에서 퇴행성 관절염의 심각도를 세밀하게 분석하고,
    개별 분석 데이터와 상기 퇴행성 관절염의 심각도에 기초하여 퇴행성 관절염의 진행 과정을 예측하는 명령어들을 포함하는 프로그램.
PCT/KR2020/009402 2019-07-17 2020-07-16 관절염 심각도 정밀 분석 장치 및 방법 WO2021010777A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/616,747 US20220330887A1 (en) 2019-07-17 2020-07-16 Apparatus and method for precise analysis of severity of arthritis

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190086641 2019-07-17
KR10-2019-0086641 2019-07-17

Publications (1)

Publication Number Publication Date
WO2021010777A1 true WO2021010777A1 (ko) 2021-01-21

Family

ID=74211100

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009402 WO2021010777A1 (ko) 2019-07-17 2020-07-16 관절염 심각도 정밀 분석 장치 및 방법

Country Status (3)

Country Link
US (1) US20220330887A1 (ko)
KR (1) KR102444274B1 (ko)
WO (1) WO2021010777A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780378A (zh) * 2021-08-26 2021-12-10 北京科技大学 一种疾病高危人群预测装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102495365B1 (ko) * 2020-11-11 2023-02-06 순천향대학교 산학협력단 인공지능을 이용한 관절 분석 시스템 및 그 방법
KR102595106B1 (ko) * 2021-09-08 2023-10-31 조윤상 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004057804A (ja) * 2002-06-05 2004-02-26 Fuji Photo Film Co Ltd 骨関節評価方法、装置およびそのためのプログラム
US20160213278A1 (en) * 2011-11-30 2016-07-28 Kenneth L. Urish Method for Detecting Arthritis and Cartilage Damage Using Magnetic Resonance Sequences
KR20190023003A (ko) * 2017-08-25 2019-03-07 남정림 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법
KR20190030151A (ko) * 2017-09-13 2019-03-21 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8639639B2 (en) * 2009-08-31 2014-01-28 Bhagwan Mahavir Medical Research Centre Predicting possible outcomes in multi-factored diseases
WO2012082789A2 (en) * 2010-12-13 2012-06-21 The Trustees Of Columbia University In The City Of New York Medical imaging devices, methods, and systems
US20170202520A1 (en) * 2011-11-30 2017-07-20 Kenneth L. Urish Method for predicting the development of arthritis in individuals prior to radiographic or symptomatic presentation
US20130137962A1 (en) * 2011-11-30 2013-05-30 Kenneth L. Urish Method for Detecting Arthritis and Cartilage Damage Using Magnetic Resonance Sequences
US10311973B2 (en) * 2014-10-21 2019-06-04 uBiome, Inc. Method and system for microbiome-derived diagnostics and therapeutics for autoimmune system conditions
EP3847658A1 (en) * 2018-09-07 2021-07-14 Lucine Systems and methods of pain treatment
US11298017B2 (en) * 2019-06-27 2022-04-12 Bao Tran Medical analysis system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004057804A (ja) * 2002-06-05 2004-02-26 Fuji Photo Film Co Ltd 骨関節評価方法、装置およびそのためのプログラム
US20160213278A1 (en) * 2011-11-30 2016-07-28 Kenneth L. Urish Method for Detecting Arthritis and Cartilage Damage Using Magnetic Resonance Sequences
KR20190023003A (ko) * 2017-08-25 2019-03-07 남정림 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법
KR20190030151A (ko) * 2017-09-13 2019-03-21 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HO-CHUL KANG, KWANG GI KIM, JANG PYO BAE, CHANG BU JEONG, SUNGJUN KIM: "A Study of Joint Space Narrowing and Erosion in Rheumatoid Arthritis", JOURNAL OF KOREAN SOCIETY OF MEDICAL INFORMATICS 2009, vol. 15, no. 4, 1 January 2009 (2009-01-01), pages 483 - 492, XP055774575, ISSN: 1225-8903, DOI: 10.4258/jksmi.2009.15.4.483 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780378A (zh) * 2021-08-26 2021-12-10 北京科技大学 一种疾病高危人群预测装置
CN113780378B (zh) * 2021-08-26 2023-11-28 北京科技大学 一种疾病高危人群预测装置

Also Published As

Publication number Publication date
KR20210010387A (ko) 2021-01-27
KR102444274B1 (ko) 2022-09-16
US20220330887A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
WO2021010777A1 (ko) 관절염 심각도 정밀 분석 장치 및 방법
US11151721B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
WO2018074739A1 (ko) 뇌졸중 진단 및 예후 예측 방법 및 시스템
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2020242019A1 (ko) 기계학습을 이용한 의료 영상 처리 방법 및 장치
Lakany Extracting a diagnostic gait signature
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2019054576A1 (ko) 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치
EP1450287A2 (en) Method of extracting region of interest from tongue image and health monitoring method and apparatus using the tongue image
WO2019054638A1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
WO2023063646A1 (ko) 기계학습 기반 고관절 골절 진단을 위한 골밀도 도출 방법 및 이를 이용한 골밀도 도출 프로그램
WO2017051944A1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
WO2022139246A1 (ko) 골절 검출 방법 및 이를 이용한 디바이스
WO2020180135A1 (ko) 뇌 질환 예측 장치 및 방법, 뇌 질환을 예측하기 위한 학습 장치
WO2015147595A1 (ko) 의료 영상에서 아티팩트와 병변을 구분하는 방법
CN113610744A (zh) X光图像质量控制***
WO2022139068A1 (ko) 딥러닝 기반의 폐질환 진단 보조 시스템 및 딥러닝 기반의 폐질환 진단 보조 방법
WO2024111914A1 (ko) 범용성이 향상된 인공지능에 의한 의료영상 변환방법 및 그 장치
KR101801376B1 (ko) 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2019098399A1 (ko) 골밀도 추정 방법 및 이를 이용한 장치
WO2022034955A1 (ko) 영상 처리를 기반으로 하는 각막궤양 검출 장치 및 그 방법
CN108596877A (zh) 肋骨ct数据分析***
WO2020027481A1 (ko) 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템 및 이에 의한 골밀도 예측 방법
Katiyar et al. Clinical gait data analysis based on spatio-temporal features

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20840550

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20840550

Country of ref document: EP

Kind code of ref document: A1