WO2024128862A1 - Apparatus and method for predicting deep learning-based hip joint lesion - Google Patents

Apparatus and method for predicting deep learning-based hip joint lesion Download PDF

Info

Publication number
WO2024128862A1
WO2024128862A1 PCT/KR2023/020771 KR2023020771W WO2024128862A1 WO 2024128862 A1 WO2024128862 A1 WO 2024128862A1 KR 2023020771 W KR2023020771 W KR 2023020771W WO 2024128862 A1 WO2024128862 A1 WO 2024128862A1
Authority
WO
WIPO (PCT)
Prior art keywords
deep learning
hip joint
image
learning model
lesion prediction
Prior art date
Application number
PCT/KR2023/020771
Other languages
French (fr)
Korean (ko)
Inventor
박정위
이영균
유정준
김홍석
류승민
Original Assignee
서울대학교병원
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원, 울산대학교 산학협력단 filed Critical 서울대학교병원
Publication of WO2024128862A1 publication Critical patent/WO2024128862A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment

Definitions

  • the disclosed embodiments relate to an apparatus and method for predicting hip joint lesions, and more specifically, to technology for predicting hip joint lesions using deep learning.
  • Hip joint lesions are primarily diagnosed by plain hip radiography.
  • General radiological imaging tests for example, X-rays, are widely distributed and used, unlike high-level tests such as CT (Computed Tomography) and MRI (Magnetic Resonance Imaging).
  • hip joint disease For primary hospital medical staff who encounter general radiology images on the medical frontline, it is not an easy task to determine whether there is a hip joint disease. In addition to hip joint pain, general radiological imaging tests focusing on the hip joint are also performed on patients suffering from various diseases such as kidney disease, spine disease, urinary system disease, and obstetrics and gynecology disease.
  • hip joint disease If a hip joint disease is not detected even after taking a plain radiography image, the hip joint may be destroyed due to deformation of the femoral head or loss of articular cartilage that reduces the joint space of the hip joint.
  • total hip replacement surgery in which artificial joints are inserted into the acetabulum and femur respectively, is available as a surgical option, but as this is a final measure, it is most desirable to detect hip joint disease in advance through early detection.
  • hip joint diseases screening knowledge is needed even for medical staff in fields that do not primarily deal with radiological imaging, and hip joint lesions must be diagnosed through automated models without the interpretation of orthopedic surgeons and radiologists who mainly deal with radiological imaging. am.
  • the disclosed embodiments are intended to provide an apparatus and method for predicting hip joint lesions.
  • a hip joint lesion prediction method includes one or more processors; A method performed by a deep learning-based hip joint lesion prediction device having a memory storing one or more programs executed by the one or more processors, the method comprising: acquiring a target radiographic image of the hip joint; and outputting whether there is an abnormality in the hip joint for the target radiological image using a deep learning model.
  • the number of layers, the number of filters, and the size of the input image of the deep learning model may be determined as related values that are dependent on each other.
  • the number of layers, the number of filters, and the size of the image of the deep learning model may be determined as values related to each other by having a common exponent.
  • the output of the previous layer can be connected to the input of all subsequent layers.
  • the feature map of the previous layer may be connected to the feature map of the next layer.
  • the deep learning model may include one or more non-local blocks for global learning of the input image.
  • the deep learning model is learned based on hip joint radiology images classified according to EMR (Electronic Medical Records) medical information extracted using CDW (Clinical Data Warehouse), and the hip joint radiology images At least one of normal status and diagnosis may be labeled.
  • EMR Electronic Medical Records
  • CDW Code Warehouse
  • the hip joint radiology image may be preprocessed to remove at least one of characters, symbols, marks, and pixels included in the medical information and a preset brightness level or higher.
  • An apparatus for predicting hip joint lesions includes one or more processors; and a hip joint lesion prediction device having a memory that stores a program executed by the one or more processors, wherein the one or more processors: acquire a target radiological image of the hip joint, apply the radiological image to a deep learning model, and It outputs whether there is an abnormality in the hip joint for the target radiological image.
  • the number of layers, the number of filters, and the size of the input image of the deep learning model may be determined as related values that are dependent on each other.
  • the number of layers, the number of filters, and the size of the image of the deep learning model may be determined as values related to each other by having a common exponent.
  • the output of the previous layer can be connected to the input of all subsequent layers.
  • the feature map of the previous layer may be connected to the feature map of the next layer.
  • the deep learning model may include one or more non-local blocks for global learning of the input image.
  • the deep learning model is learned based on hip joint radiology images classified according to EMR (Electronic Medical Records) medical information extracted using CDW (Clinical Data Warehouse), and the hip joint radiology images At least one of normal status and diagnosis may be labeled.
  • EMR Electronic Medical Records
  • CDW Code Warehouse
  • the hip joint radiology image may be preprocessed to remove at least one of characters, symbols, marks, and pixels included in the medical information and a preset brightness level or higher.
  • Figure 1 is a block diagram for explaining a hip joint lesion prediction device according to an embodiment.
  • Figure 2 is an exemplary diagram for explaining a target radiation image of an example.
  • Figure 3 is an exemplary diagram for explaining a target radiation image of an example.
  • Figure 4 is an example diagram for explaining the structure of an example deep learning model.
  • Figure 6 is a flowchart illustrating a method for predicting hip joint lesions according to an embodiment.
  • unit refers to hardware, a combination of hardware and software, or software, etc.
  • a unit, module, device, server, or system may refer to hardware constituting part or all of a platform and/or software such as an application for running the hardware.
  • Figure 1 is a block diagram for explaining a hip joint lesion prediction device 100 according to an embodiment.
  • the hip joint lesion prediction device 100 includes an acquisition unit 110 and an output unit 120.
  • the acquisition unit 110 and the output unit may be implemented using one or more physically separate devices, or may be implemented by one or more processors or a combination of one or more processors and software, and, unlike the example shown, are clearly distinguished in specific operations. It may not work.
  • the acquisition unit 110 acquires a target radiographic image of the hip joint.
  • the target radiology image is a general radiology image and may refer to an image taken by a medical device that is universally accessible in primary hospitals.
  • the target radiation image may be, for example, an X-ray image.
  • the output unit 120 outputs whether there is an abnormality in the hip joint for the target radiological image using a deep learning model.
  • the output unit 120 may output a hip joint abnormality classification result for the target radiological image using a deep learning model. Specifically, the output unit 120 may display categorical variables (normal, abnormal) as vectors based on one-hot encoding and output them.
  • the output unit 120 may output a classification result of a hip joint lesion for a target radiological image using a deep learning model.
  • the output unit 120 uses a deep learning model to determine if the hip joint is among the following: amyloidosis, arthritis, Osteonecrosis of Femoral Head (ONFH), and hip joint tumor.
  • a classification result can be output regarding whether or not the patient has at least one disease.
  • the number of layers, number of filters, and size of the input image of the deep learning model are dependent on each other and can be determined as related values.
  • a deep learning model can scale three parameters, including the number of layers, the number of filters, and the size of the input image, at the same time to determine the correlation so that the value of the loss function becomes smaller.
  • the three parameters may be related values that are dependent on each other.
  • a deep learning model can be determined by uniformly scaling three parameters, including the number of layers, the number of filters, and the size of the input image, so that the value of the loss function becomes smaller.
  • the three parameters may be related values that are dependent on each other.
  • a deep learning model can be scaled so that three parameters, including the number of layers, number of filters, and size of the input image, have a positive correlation with each other.
  • a deep learning model can be scaled so that all three parameters, including the number of layers, number of filters, and size of the input image, are proportional.
  • a deep learning model may scale at least one pair of parameters among the number of layers, the number of filters, and the size of the input image so that they are proportional to each other.
  • a deep learning model may scale so that at least one pair of parameters among the number of layers, the number of filters, and the size of the input image are inversely proportional to each other.
  • a deep learning model may be scaled so that at least one pair of parameters among the number of layers, the number of filters, and the size of the input image are proportional to each other, and at least another pair of parameters are inversely proportional.
  • the number of layers, number of filters, and image size of a deep learning model can be set to related values with fixed values.
  • the number of layers, number of filters, and size of the image of a deep learning model have exponents common to each other and can be scaled to related values.
  • the number of layers, the number of filters, and the size of the image may be constants determined based on grid search.
  • the base number for the number of layers, number of filters, and number of images can be determined based on the constant that shows the highest performance after sequentially inputting random numbers specified in a dictionary.
  • the highest performance may mean when the loss function value of the deep learning model becomes the smallest.
  • the loss function may include, for example, at least one of a cross-entropy loss function and a binary cross-entropy loss function.
  • the deep learning model can scale the number of layers, number of filters, and size of the input image based on Equation 1 below.
  • L n is the number of layers
  • F n is the number of filters
  • R is the size of the image.
  • a, b, and c are any real numbers exceeding 0, x is any real number, and A is a preset number.
  • deep learning models can improve performance through more balanced scaling compared to existing methods that perform random scaling on arbitrary parameters.
  • a deep learning model can be configured so that all layers are directly connected.
  • a deep learning model can be configured so that the output of the previous layer is connected to the input of the next layer.
  • a deep learning model can be configured so that the output value of each layer is connected to the input value of all layers following that layer.
  • a deep learning model can be configured to include one or more blocks so that all layers for each block can be directly connected.
  • a deep learning model may be configured so that the feature map of the previous layer is concatenated with the feature map of the next layer.
  • the resolution of the feature map of the previous layer and the feature map of the next layer may be the same or different.
  • the feature map of the previous layer is a feature map for the layer included in a specific block, and the deep learning model is configured so that the feature maps of all layers for each block, including one or more blocks, can be concatenated with the feature map of the subsequent layer. It can be.
  • blocks can be grouped and set for each layer with the same resolution of the feature map.
  • the deep learning model can prevent the loss of previously extracted features or input values by reusing the feature maps of previous layers.
  • the deep learning model can reduce the degree of freedom of the weights by preventing the loss of feature maps of previous layers.
  • a deep learning model can achieve an effect similar to the regularization effect in which overfitting is offset by reducing the freedom of the weights.
  • the number of layers, number of filters, and size of the image of the deep learning model can be scaled within a preset range by multiplying the number of layers of the deep learning model, the number of filters, and the size of the image.
  • the preset limited range may include the memory of the deep learning model.
  • the deep learning model may further include a first downsampling layer that adjusts the number of channels of the extracted feature map.
  • the deep learning model may further include a second downsampling layer that lowers the resolution of the extracted feature map.
  • the deep learning model can perform calculations with small parameters through the first and second downsampling layers.
  • the deep learning model can allow the use of feature maps of various resolutions through the second downsampling layer.
  • a deep learning model may include at least one non-local block for global learning on the input image.
  • the non-local block may include a convolution filter with a size of 1*1 for learning about all pixels of the image.
  • the deep learning model can capture long-distance dependencies by weighting the values of features present at all locations in the image using non-local blocks.
  • the deep learning model can be learned based on hip radiology images included in EMR (Electronic Medical Records) medical information extracted using CDW (Clinical Data Warehouse).
  • the hip joint radiological image may be labeled with at least one of whether the hip joint disease is normal and a hip joint diagnosis name.
  • the hip joint radiological image may be an
  • the hip joint radiology image may be the raw data of the X-ray image itself in FIG. 2, which will be described later, or the preprocessed X-ray image in FIG. 3.
  • 500 images may be disease images taken of diseased hip joints.
  • the disease image may be a hip joint radiology image of a patient diagnosed with a hip joint disease by a radiologist or a hip joint specialist.
  • the disease image may be a hip X-ray image of a patient with a hip joint disease last taken before receiving total hip replacement surgery.
  • the remaining 500 images may be normal images taken of hip joints without disease.
  • the normal image may be a hip joint X-ray image of a patient whose hip joint was diagnosed as normal by a radiologist and a hip joint specialist.
  • the deep learning model can be learned by dividing the ratio of training data: validation data: test data by 64:16:20 for a total of 1,000 datasets.
  • a deep learning model can be trained in at least 30 epochs by dividing 640 training data into 10 mini-batches.
  • a deep learning model is a model based on a backbone network, for example, it may be a model based on ResNet, VGGNet, or DarkNet.
  • the backbone network may refer to a network that includes an encoding process of compressing an input image into images of multiple channels and a process of extracting features using a convolution operation during the encoding process.
  • the hip joint radiology image may be information that has been preprocessed to remove at least one of characters, symbols, marks, and pixels with a preset brightness level or more included in the hip joint radiology image.
  • the hip joint radiology image is preprocessed so that one or more first pixels with a brightness value greater than a preset first value or one or more second pixels with a brightness value less than a preset second value have a brightness between the first value and the second value. It may be information that has been provided.
  • factors that interfere with the learning of hip joint lesion prediction of the deep learning model based on data cleaning, image registration, image cropping, image clipping, etc. include, for example, characters included in the hip joint radiology image, Symbols, marks, artifacts, etc. can be removed.
  • the information to be pre-processed and removed from the hip joint radiology image is described as text, symbols, mark artifacts, etc., but this is an example, and any detected object other than the hip joint is intended to be removed without being limited thereto.
  • Figure 2 is an exemplary diagram for explaining a target radiation image of an example.
  • the target radiation image may include a first target radiation image 201 or a second target radiation image 202.
  • the target radiology image may include a first target radiology image 201 that captures an anterior view of the hip joint.
  • the target radiology image may include a second target radiology image 202 obtained by taking a posterior view of the hip joint.
  • the target radiological image may include a radiological image (not shown) obtained by taking a left lateral view or a right lateral view of the hip joint.
  • the target radiological image may include radiological images taken of the hip joint from various angles without limitation to the angle.
  • the target radiological image may be raw data of the radiological image itself taken of the hip joint.
  • the raw data may include at least one of the shooting date, shooting time, medical device logo, medical device identifier, and image identifier that is stamped when the radiological image is captured, which is preferably deleted.
  • the target radiation image has been described as a radiation image taken from the front, back, or side, but this is an example and the angle at which the target radiation image is taken is not limited to this.
  • Figure 3 is an exemplary diagram for explaining a target radiation image of an example.
  • the target radiation image may include a third target radiation image 301 or a fourth target radiation image 302.
  • the third target radiation image 301 and the fourth target radiation image 302 may be images obtained by preprocessing the first target radiation image 201 and the second target radiation image 202 of FIG. 2, respectively.
  • the third target radiation image 301 and the fourth target radiation image 302 each have characters, symbols, marks, and artifacts included in the first target radiation image 201 and the second target radiation image 202. This may be a removed video.
  • the third target radiology image 301 and the fourth target radiology image 302 are the shooting date, shooting time, and medical device logo stamped on the first target radiation image 201 and the second target radiation image 202.
  • at least one of the medical device identifier and the image identifier may be a cropped radiology image.
  • the third target radiation image 301 and the fourth target radiation image 302 may be radiation images cropped to exclude body parts located far from the hip joint.
  • the third target radiology image 301 and the fourth target radiology image 302 may be radiology images captured to include the entire hip joint, but only some of the remaining body organs.
  • the third target radiation image 301 and the fourth target radiation image 302 may be radiation images cropped to exclude a portion separated by a preset distance from the center of the target radiation image.
  • the third target radiation image 301 and the fourth target radiation image 302 may be radiation images that have been cropped to shorten the height of the image. At this time, it is preferable that the target area to be cropped starts from the edge of the target radiation image. For example, when the third target radiology image 301 and the fourth target radiology image 302 are cropped to shorten the height from the overall image size of 1024*1024 to 1024*800, the height is at the center of the target radiology image. You can have 400 at the top and 400 at the bottom.
  • the third target radiation image 301 and the fourth target radiation image 302 may be zero-padded after cropping to maintain the original pixel size.
  • a target radiology image whose pixel size has been transformed to 1024*800 after cropping can be zero-padded until the original pixel size becomes 1024*1024 to maintain the original pixel size.
  • the target radiological image has been described as described above in FIGS. 2 and 3, but this is not limited to the target radiological image, and is intended to be a description that can also be applied to learning data of the hip joint lesion prediction device 100.
  • Figure 4 is an example diagram for explaining the structure of an example deep learning model 400.
  • the deep learning model 400 includes one or more convolutional blocks 410, non-local blocks 420, and fully-connected layers 430.
  • each of the one or more convolution blocks 410 may be designed to include at least one of a convolution layer, an activation function, a batch normalization layer, and a pooling layer.
  • the convolution layer corresponding to each of one or more convolution blocks 410 may include a first convolution layer, which is a general convolution layer.
  • the convolution layer corresponding to each of one or more convolution blocks 410 may include a second convolution layer that divides the input image or feature map for each channel and applies a convolution operation. Thereby, the second convolutional layer can capture the features of the input value with a small amount of parameters.
  • the filter size of the second convolutional layer is fixed to 1, so multiple channels can be compressed into one new channel. Accordingly, the second convolution layer can control the amount of computation by adjusting the number of channels.
  • the convolution layer corresponding to each of one or more convolution blocks 410 may include a third convolution layer in which an expansion factor for the number of channels is applied differently to the second convolution layer.
  • the resolution of the image or feature map input to the convolution layer corresponding to each of one or more convolution blocks 410 is set to be smaller or equal to the resolution of the image or feature map input to the convolution layer of the previous stage as the stage becomes deeper. can be designed.
  • the number of convolution layers included in each of one or more convolution blocks 410 may be designed to be greater than or equal to the number of convolution layers included in the previous convolution block 410 as the stage becomes deeper.
  • one or more convolution blocks 410 may be designed as shown in Table 1 below.
  • stage Convolutional layer kernel size resolution Number of convolutional layers One First convolutional layer, 3x3 300X300 One 2 Second convolutional layer, 3X3 150X150 2 3 Third convolutional layer, 3X3 150X150 3 4 Third convolutional layer, 5x5 75X75 3 5 Third convolutional layer, 3x3 38X38 5 6 Third convolutional layer, 5x5 19X19 5 7 Third convolutional layer, 5x5 10X10 6 8 Third convolutional layer, 3x3 10X10 2
  • the convolution block 410 may include at least one of a first convolution layer, a second convolution layer, and a third convolution layer.
  • the convolution block 410 of the first stage represents the first convolution layer
  • the convolution block 410 of the second stage represents the second convolution layer
  • the convolution blocks of the third to eighth stages 410 may be designed to include a third convolution layer.
  • the kernel size may be different or the same for each convolution block 410.
  • the resolution of the image or feature map input to the convolution block 410 is 300x300, 150x150, 150x150, 75x75, 38x38, 19x19, 10x10, and 10x10, respectively, and the deeper the stage, the higher the resolution.
  • the resolution can be designed to be the same or smaller. Accordingly, the deep learning model 400 can perform an encoding process to compress the input image and extract features.
  • the non-local block 420 may be connected to the convolution block 410 of the last stage.
  • the fully-connected layer 430 is connected to the last of the blocks included in the deep learning model 400 and can binary classify the target radiology image 40 according to the extracted features.
  • the deep learning model can classify the target radiology image 40 as normal (41) or abnormal (42) through the fully-connected layer 430.
  • the structure of the deep learning model 400 in FIG. 4 is illustrative and is not necessarily limited thereto.
  • the second convolution layer may be a convolution layer based on MBConv1
  • the third convolution layer may be a convolution layer based on MBConv6.
  • Figure 5 is a graph showing the performance of the hip joint lesion prediction device 100 according to one embodiment.
  • ROC curves Receiveiver Operating Characteristic Curves
  • both the input image and the learning image are raw data of radiological images taken of the hip joint, and may be a hip joint lesion prediction device 100 that is learned and inferred based on the raw data.
  • the hip joint lesion prediction device 100 infers the hip joint lesion based on the first deep learning model.
  • the first deep learning model may include a model in which the output of the previous layer is connected to the input of the next layer.
  • the first deep learning model may include a model in which the output of the previous layer is connected to the input of all subsequent layers.
  • the first deep learning model may include a deep learning model designed based on dense-net.
  • the second embodiment may be a hip joint lesion prediction device 100 that infers a hip joint lesion from an input image from which disturbing elements have been cropped, but is learned based on raw data, which is a radiological image of the hip joint itself.
  • the hip joint lesion prediction device 100 infers the hip joint lesion based on the first deep learning model.
  • the third embodiment may be a hip joint lesion prediction device 100 that infers a hip lesion for an input image from which disturbance elements have been cropped and is learned based on a learning image from which disturbance elements have been cropped. At this time, it is assumed that the hip joint lesion prediction device 100 infers the hip joint lesion based on the first deep learning model.
  • the fourth embodiment may be a hip joint lesion prediction device 100 that infers a hip lesion for an input image from which disturbance elements have been cropped and is learned based on a learning image from which disturbance elements have been cropped. At this time, it is assumed that the hip joint lesion prediction device 100 infers the hip joint lesion based on the second deep learning model.
  • the second deep learning model may include a model designed such that the number of layers, the number of filters, and the size of the input image are dependent on each other and are determined as related values.
  • the second deep learning model may include a deep learning model designed based on efficient-net.
  • the second deep learning model may include deep learning designed based on at least one of efficient-net V1-B1 to B7.
  • the second deep learning model may include deep learning designed based on efficient-net V1-B3.
  • the second deep learning model may include at least one non-local block for global learning.
  • the fourth embodiment has higher classification performance compared to other embodiments with respect to whether there is a hip joint abnormality.
  • the classification performance of the first to third embodiments is lower than that of the fourth embodiment due to the following problems.
  • the first embodiment was found to have problems learning distracting elements, for example, characters to be stamped.
  • problems learning distracting elements for example, characters to be stamped.
  • a problem was found in learning by focusing on the full length of the femur, a body part other than the hip joint.
  • a problem was found in learning by focusing on the greater sciatic notch.
  • Embodiment 1 Second embodiment Third embodiment Embodiment 4 Accuracy 0.98 0.93 0.95 0.99 Sensitivity 0.99 0.88 0.98 0.99 Specificity 0.96 0.99 0.91 0.99 Positive Predictive Value (PPV) 0.96 0.99 0.92 0.99 Negative Predictive Value (NPV) 0.99 0.90 0.98 0.99
  • Figure 6 is a flowchart illustrating a method for predicting hip joint lesions according to an embodiment.
  • the hip joint lesion prediction method according to the embodiment of FIG. 6 may be performed by the hip joint lesion prediction device 100 of FIG. 1 .
  • the hip joint lesion prediction device 100 acquires a target radiographic image of the hip joint (610).
  • the presence or absence of an abnormality in the hip joint for the target radiological image is output using a deep learning model (620).
  • embodiments of the present invention may include a program for performing the methods described in this specification on a computer, and a computer-readable recording medium containing the program.
  • the computer-readable recording medium may include program instructions, local data files, local data structures, etc., singly or in combination.
  • the media may be specially designed and constructed for the present invention, or may be commonly used in the computer software field.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs, DVDs, and media specifically configured to store and perform program instructions such as ROM, RAM, flash memory, etc. Includes hardware devices.
  • Examples of the program may include not only machine language code such as that generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the deep learning-based hip joint lesion prediction device and method according to one embodiment can be used in the digital medical industry because it can determine the patient's prognosis without human intervention by applying radiological images taken of the hip joint to a deep learning model. .

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)

Abstract

A hip joint lesion prediction apparatus according to an embodiment comprises: one or more processors; and a memory that stores a program executed by the one or more processors, wherein the one or more processors: acquire a target radiographic image by capturing a hip joint; and output whether or not the hip joint is abnormal in the target radiographic image by applying the radiographic image to a deep learning model.

Description

딥러닝 기반의 고관절 병변 예측 장치 및 방법Deep learning-based hip lesion prediction device and method
개시되는 실시예들은 고관절 병변을 예측하는 장치 및 방법에 관한 것으로, 보다 상세하게는 딥러닝을 이용하여 고관절 병변을 예측하기 위한 기술과 관련된다.The disclosed embodiments relate to an apparatus and method for predicting hip joint lesions, and more specifically, to technology for predicting hip joint lesions using deep learning.
[관련 출원의 상호 참조][Cross-reference to related applications]
본 출원은 2022년 12월 15일 출원된 대한민국 특허출원 제10-2022-0176188호에 대한 우선권을 주장하며, 그 출원 내용 전체가 본 출원에 통합된다.This application claims priority to Republic of Korea Patent Application No. 10-2022-0176188, filed on December 15, 2022, and the entire contents of the application are incorporated into this application.
고관절 병변은 일차적으로 일반 방사선 영상 검사(Plain Hip Radiograph)에 의해 진단된다. 일반 방사선 영상 검사, 예를 들어, X-ray는 CT(Computed Tomography; 컴퓨터단층촬영), MRI(Magnetic Resonance Imaging; 자기공명영상) 등 고등급의 검사와 달리 널리 보급되어 사용된다. Hip joint lesions are primarily diagnosed by plain hip radiography. General radiological imaging tests, for example, X-rays, are widely distributed and used, unlike high-level tests such as CT (Computed Tomography) and MRI (Magnetic Resonance Imaging).
그러나, 의료 일선에서 일반 방사선 영상을 접하는 일차병원의 의료진들에게 고관절의 질환 여부를 감별하기란 쉽지 않은 태스크이다. 비단 고관절 통증 외에 신장질환, 척추 질환, 비뇨기계 질환, 산부인과 질환 등 다양한 질환을 앓는 환자에게 고관절을 중심으로 한 일반 방사선 영상 검사가 실시되기도 한다. However, for primary hospital medical staff who encounter general radiology images on the medical frontline, it is not an easy task to determine whether there is a hip joint disease. In addition to hip joint pain, general radiological imaging tests focusing on the hip joint are also performed on patients suffering from various diseases such as kidney disease, spine disease, urinary system disease, and obstetrics and gynecology disease.
만일 일반 방사선 영상을 촬영하고도, 고관절 질환이 발견되지 못하는 경우, 대퇴골두의 변형 또는 고관절의 관절 간격이 줄어드는 관절연골의 소실로 고관절은 파괴될 수 있다. 관련하여, 인공관절을 비구와 대퇴골에 각각 삽입하는 인공 고관절 전치환술이 수술 방안으로 마련되어 있으나, 이는 최종적 조치로서 초기 발견으로 고관절 질환을 미리 발견하는 것이 가장 바람직하다.If a hip joint disease is not detected even after taking a plain radiography image, the hip joint may be destroyed due to deformation of the femoral head or loss of articular cartilage that reduces the joint space of the hip joint. In relation to this, total hip replacement surgery, in which artificial joints are inserted into the acetabulum and femur respectively, is available as a surgical option, but as this is a final measure, it is most desirable to detect hip joint disease in advance through early detection.
따라서, 고관절 질환에 대해서는 방사선 영상을 주로 다루지 않는 분야의 의료진에게도 선별 지식이 필요한 실정으로, 방사선 영상을 주로 다루는 정형외과 의사, 영상의학과 의사의 판독 없이도 자동화된 모델을 통해 고관절 병변이 진단되어야 하는 실정이다.Therefore, for hip joint diseases, screening knowledge is needed even for medical staff in fields that do not primarily deal with radiological imaging, and hip joint lesions must be diagnosed through automated models without the interpretation of orthopedic surgeons and radiologists who mainly deal with radiological imaging. am.
개시되는 실시예들은 고관절 병변을 예측하는 장치 및 방법을 제공하기 위한 것이다.The disclosed embodiments are intended to provide an apparatus and method for predicting hip joint lesions.
일 실시예에 따른 고관절 병변 예측 방법은 하나 이상의 프로세서들; 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램을 저장한 메모리를 구비한 딥러닝 기반의 고관절 병변 예측 장치로부터 수행되는 방법으로서, 고관절을 촬영한 대상 방사선 영상을 획득하는 단계; 및 딥러닝 모델을 이용하여 상기 대상 방사선 영상에 대한 고관절의 이상 여부를 출력하는 단계를 포함한다.A hip joint lesion prediction method according to an embodiment includes one or more processors; A method performed by a deep learning-based hip joint lesion prediction device having a memory storing one or more programs executed by the one or more processors, the method comprising: acquiring a target radiographic image of the hip joint; and outputting whether there is an abnormality in the hip joint for the target radiological image using a deep learning model.
상기 딥러닝 모델의 레이어의 개수, 필터의 개수 및 입력 이미지의 크기는 서로 종속되어 연관된 값으로 결정될 수 있다. The number of layers, the number of filters, and the size of the input image of the deep learning model may be determined as related values that are dependent on each other.
상기 딥러닝 모델의 레이어의 개수, 필터의 개수 및 이미지의 크기는 지수(exponent)가 서로 공통되어 연관된 값으로 결정될 수 있다.The number of layers, the number of filters, and the size of the image of the deep learning model may be determined as values related to each other by having a common exponent.
상기 딥러닝 모델은, 이전 레이어의 출력이 후속하는 모든 레이어의 입력으로 연결될 수 있다.In the deep learning model, the output of the previous layer can be connected to the input of all subsequent layers.
상기 딥러닝 모델은, 이전 레이어의 특징 맵이 다음 레이어의 특징 맵에 연결될 수 있다. In the deep learning model, the feature map of the previous layer may be connected to the feature map of the next layer.
상기 딥러닝 모델은 입력 이미지에 대한 전역적 학습을 위한 논-로컬 블록을 하나 이상 포함할 수 있다. The deep learning model may include one or more non-local blocks for global learning of the input image.
상기 딥러닝 모델은, CDW(Clinical Data Warehouse; 임상 데이터 창고)를 이용하여 추출된 EMR(Electronic Medical Records; 전자 의무 기록) 의료 정보에 따라 분류된 고관절 방사선 영상에 기초하여 학습되고, 상기 고관절 방사선 영상은, 정상 여부 및 진단명 중 적어도 하나가 라벨링될 수 있다.The deep learning model is learned based on hip joint radiology images classified according to EMR (Electronic Medical Records) medical information extracted using CDW (Clinical Data Warehouse), and the hip joint radiology images At least one of normal status and diagnosis may be labeled.
상기 고관절 방사선 영상은, 상기 의료 정보에 포함된 문자, 심볼, 마크 및 기 설정된 밝기 수치 이상의 픽셀 중 적어도 하나가 제거되도록 전처리될 수 있다. The hip joint radiology image may be preprocessed to remove at least one of characters, symbols, marks, and pixels included in the medical information and a preset brightness level or higher.
일 실시예에 따른 고관절 병변 예측 장치는 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 구비한 고관절 병변 예측 장치로서, 상기 하나 이상의 프로세서는: 고관절을 촬영한 대상 방사선 영상을 획득하고, 상기 방사선 영상을 딥러닝 모델에 적용하여 상기 대상 방사선 영상에 대한 고관절의 이상 여부를 출력한다.An apparatus for predicting hip joint lesions according to an embodiment includes one or more processors; and a hip joint lesion prediction device having a memory that stores a program executed by the one or more processors, wherein the one or more processors: acquire a target radiological image of the hip joint, apply the radiological image to a deep learning model, and It outputs whether there is an abnormality in the hip joint for the target radiological image.
상기 딥러닝 모델의 레이어의 개수, 필터의 개수 및 입력 이미지의 크기는 서로 종속되어 연관된 값으로 결정될 수 있다. The number of layers, the number of filters, and the size of the input image of the deep learning model may be determined as related values that are dependent on each other.
상기 딥러닝 모델의 레이어의 개수, 필터의 개수 및 이미지의 크기는 지수(exponent)가 서로 공통되어 연관된 값으로 결정될 수 있다.The number of layers, the number of filters, and the size of the image of the deep learning model may be determined as values related to each other by having a common exponent.
상기 딥러닝 모델은, 이전 레이어의 출력이 후속하는 모든 레이어의 입력으로 연결될 수 있다.In the deep learning model, the output of the previous layer can be connected to the input of all subsequent layers.
상기 딥러닝 모델은, 이전 레이어의 특징 맵이 다음 레이어의 특징 맵에 연결될 수 있다. In the deep learning model, the feature map of the previous layer may be connected to the feature map of the next layer.
상기 딥러닝 모델은 입력 이미지에 대한 전역적 학습을 위한 논-로컬 블록을 하나 이상 포함할 수 있다. The deep learning model may include one or more non-local blocks for global learning of the input image.
상기 딥러닝 모델은, CDW(Clinical Data Warehouse; 임상 데이터 창고)를 이용하여 추출된 EMR(Electronic Medical Records; 전자 의무 기록) 의료 정보에 따라 분류된 고관절 방사선 영상에 기초하여 학습되고, 상기 고관절 방사선 영상은, 정상 여부 및 진단명 중 적어도 하나가 라벨링될 수 있다.The deep learning model is learned based on hip joint radiology images classified according to EMR (Electronic Medical Records) medical information extracted using CDW (Clinical Data Warehouse), and the hip joint radiology images At least one of normal status and diagnosis may be labeled.
상기 고관절 방사선 영상은, 상기 의료 정보에 포함된 문자, 심볼, 마크 및 기 설정된 밝기 수치 이상의 픽셀 중 적어도 하나가 제거되도록 전처리될 수 있다. The hip joint radiology image may be preprocessed to remove at least one of characters, symbols, marks, and pixels included in the medical information and a preset brightness level or higher.
개시되는 실시예들은, 딥러닝 기반의 고관절 예측 모델을 통해 고관절을 촬영한 방사선 영상에 대해 높은 민감도 및 특이도로 고관절 질환을 예측 또는 진단 보조할 수 있다. The disclosed embodiments can assist in predicting or diagnosing hip joint disease with high sensitivity and specificity for radiographic images of the hip joint through a deep learning-based hip joint prediction model.
도 1은 일 실시예에 따른 고관절 병변 예측 장치를 설명하기 위한 블록도이다.Figure 1 is a block diagram for explaining a hip joint lesion prediction device according to an embodiment.
도 2는 일 예시의 대상 방사선 영상을 설명하기 위한 예시도이다.Figure 2 is an exemplary diagram for explaining a target radiation image of an example.
도 3은 일 예시의 대상 방사선 영상을 설명하기 위한 예시도이다.Figure 3 is an exemplary diagram for explaining a target radiation image of an example.
도 4는 일 예시의 딥러닝 모델의 구조를 설명하기 위한 예시도이다.Figure 4 is an example diagram for explaining the structure of an example deep learning model.
도 5는 일 실시예 별 고관절 병변 예측 장치의 성능을 나타내는 그래프이다.Figure 5 is a graph showing the performance of a hip joint lesion prediction device according to one embodiment.
도 6은 일 실시예에 따른 고관절 병변 예측 방법을 설명하기 위한 흐름도이다.Figure 6 is a flowchart illustrating a method for predicting hip joint lesions according to an embodiment.
이하, 도면을 참조하여 일 실시예의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of one embodiment will be described with reference to the drawings. The detailed description below is provided to provide a comprehensive understanding of the methods, devices and/or systems described herein. However, this is only an example and the present invention is not limited thereto.
일 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 일 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 일 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 성분들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 성분, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing one embodiment, if it is determined that a detailed description of the known technology related to the present invention may unnecessarily obscure the gist of an embodiment, the detailed description will be omitted. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the contents throughout this specification. The terminology used in the detailed description is intended to describe only one embodiment and should in no way be limiting. Unless explicitly stated otherwise, singular forms include plural meanings. In this description, expressions such as “comprising” or “comprising” are intended to indicate any elements, numbers, steps, operations, elements, parts or combinations thereof, and one or more than those described. It should not be construed to exclude the existence or possibility of other elements, numbers, steps, operations, elements, or parts or combinations thereof.
또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치(device)", "서버 (server)" 또는 "시스템(system)" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예컨대, 부, 모듈, 장치, 서버 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.Additionally, the embodiments described herein may have aspects that are entirely hardware, partly hardware and partly software, or entirely software. In this specification, “unit,” “module,” “device,” “server,” or “system” refers to hardware, a combination of hardware and software, or software, etc. Refers to a computer-related entity. For example, a unit, module, device, server, or system may refer to hardware constituting part or all of a platform and/or software such as an application for running the hardware.
도 1은 일 실시예에 따른 고관절 병변 예측 장치(100)를 설명하기 위한 블록도이다.Figure 1 is a block diagram for explaining a hip joint lesion prediction device 100 according to an embodiment.
도 1을 참조하면, 일 실시예에 따른 고관절 병변 예측 장치(100)는 획득부(110) 및 출력부(120)를 포함한다. Referring to FIG. 1, the hip joint lesion prediction device 100 according to one embodiment includes an acquisition unit 110 and an output unit 120.
획득부(110) 및 출력부는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의　프로세서　또는 하나 이상의　프로세서　및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.The acquisition unit 110 and the output unit may be implemented using one or more physically separate devices, or may be implemented by one or more processors or a combination of one or more processors and software, and, unlike the example shown, are clearly distinguished in specific operations. It may not work.
획득부(110)는 고관절을 촬영한 대상 방사선 영상을 획득한다.The acquisition unit 110 acquires a target radiographic image of the hip joint.
대상 방사선 영상은 일반 방사선 영상으로서 일차병원에서 보편적으로 접근할 수 있는 의료기기에 의해 촬영된 영상을 의미할 수 있다. 대상 방사선 영상은 예를 들어, X-ray 영상일 수 있다. The target radiology image is a general radiology image and may refer to an image taken by a medical device that is universally accessible in primary hospitals. The target radiation image may be, for example, an X-ray image.
출력부(120)는 딥러닝 모델을 이용하여 대상 방사선 영상에 대한 고관절의 이상 여부를 출력한다.The output unit 120 outputs whether there is an abnormality in the hip joint for the target radiological image using a deep learning model.
출력부(120)는 딥러닝 모델을 이용하여 대상 방사선 영상에 대한 고관절의 이상 분류 결과를 출력할 수 있다. 구체적으로, 출력부(120)는 원-핫 인코딩(One-Hot Encoding)에 기반하여 범주형 변수(정상, 비정상)를 벡터로 표시하여 출력할 수 있다.The output unit 120 may output a hip joint abnormality classification result for the target radiological image using a deep learning model. Specifically, the output unit 120 may display categorical variables (normal, abnormal) as vectors based on one-hot encoding and output them.
출력부(120)는 딥러닝 모델을 이용하여 대상 방사선 영상에 대한 고관절 병변의 분류 결과를 출력할 수 있다. The output unit 120 may output a classification result of a hip joint lesion for a target radiological image using a deep learning model.
예를 들어, 출력부(120)는 딥러닝 모델을 이용하여 대상 방사선 영상에 대하여 고관절이 아밀로이드(amyloidosis), 관절염(Arthritis), 대퇴 골두(Osteonecrosis of Femoral Head; ONFH) 및 고관절 종양(Tumor) 중 적어도 하나의 질환을 갖는지 여부에 대한 분류 결과를 출력할 수 있다. For example, the output unit 120 uses a deep learning model to determine if the hip joint is among the following: amyloidosis, arthritis, Osteonecrosis of Femoral Head (ONFH), and hip joint tumor. A classification result can be output regarding whether or not the patient has at least one disease.
딥러닝 모델의 레이어의 개수, 필터의 개수 및 입력 이미지의 크기는 서로 종속되어 연관된 값으로 결정될 수 있다. The number of layers, number of filters, and size of the input image of the deep learning model are dependent on each other and can be determined as related values.
딥러닝 모델은 레이어의 개수, 필터의 개수 및 입력 이미지의 크기를 포함하는 세 가지 파라미터를 동시에 스케일링하여 손실 함수의 값이 작아지도록 연관 지어 결정할 수 있다. 이때, 세 가지 파라미터는 서로 종속되어 연관된 값일 수 있다. A deep learning model can scale three parameters, including the number of layers, the number of filters, and the size of the input image, at the same time to determine the correlation so that the value of the loss function becomes smaller. At this time, the three parameters may be related values that are dependent on each other.
딥러닝 모델은 레이어의 개수, 필터의 개수 및 입력 이미지의 크기를 포함하는 세 가지 파라미터를 균일하게 스케일링하여 손실 함수의 값이 작아지도록 연관 지어 결정할 수 있다. 이때, 세 가지 파라미터는 서로 종속되어 연관된 값일 수 있다.A deep learning model can be determined by uniformly scaling three parameters, including the number of layers, the number of filters, and the size of the input image, so that the value of the loss function becomes smaller. At this time, the three parameters may be related values that are dependent on each other.
예를 들어, 딥러닝 모델은 레이어의 개수, 필터의 개수 및 입력 이미지의 크기를 포함하는 세 가지 파라미터가 서로 양의 상관관계를 갖도록 스케일링할 수 있다. For example, a deep learning model can be scaled so that three parameters, including the number of layers, number of filters, and size of the input image, have a positive correlation with each other.
예를 들어, 딥러닝 모델은 레이어의 개수, 필터의 개수 및 입력 이미지의 크기를 포함하는 세 가지 파라미터가 모두 비례하도록 스케일링할 수 있다.For example, a deep learning model can be scaled so that all three parameters, including the number of layers, number of filters, and size of the input image, are proportional.
예를 들어, 딥러닝 모델은 레이어의 개수, 필터의 개수 및 입력 이미지의 크기 중 적어도 한 쌍의 파라미터가 서로 비례하도록 스케일링할 수 있다.For example, a deep learning model may scale at least one pair of parameters among the number of layers, the number of filters, and the size of the input image so that they are proportional to each other.
예를 들어, 딥러닝 모델은 레이어의 개수, 필터의 개수 및 입력 이미지의 크기 중 적어도 한 쌍의 파라미터가 서로 반비례하도록 스케일링할 수 있다.For example, a deep learning model may scale so that at least one pair of parameters among the number of layers, the number of filters, and the size of the input image are inversely proportional to each other.
예를 들어, 딥러닝 모델은 레이어의 개수, 필터의 개수 및 입력 이미지의 크기 중 적어도 한 쌍의 파라미터는 서로 비례하고, 적어도 다른 한 쌍의 파라미터는 반비례하도록 스케일링할 수 있다.For example, a deep learning model may be scaled so that at least one pair of parameters among the number of layers, the number of filters, and the size of the input image are proportional to each other, and at least another pair of parameters are inversely proportional.
딥러닝 모델의 레이어의 개수, 필터의 개수 및 이미지의 크기는 진수(value)가 서로 고정되어 연관된 값으로 설정될 수 있다.The number of layers, number of filters, and image size of a deep learning model can be set to related values with fixed values.
딥러닝 모델의 레이어의 개수, 필터의 개수 및 이미지의 크기는 지수(exponent)가 서로 공통되어 연관된 값으로 스케일링될 수 있다. 이때, 레이어의 개수, 필터의 개수 및 이미지의 크기의 진수는 격자 탐색에 기초하여 결정된 상수일 수 있다. 다시 말해, 레이어의 개수, 필터의 개수 및 이미지의 개수에 대한 진수는 딕셔너리(dictionary)에 지정된 임의의 숫자를 순차적으로 입력한 뒤 가장 높은 성능을 보이는 상수에 기초하여 결정될 수 있다. The number of layers, number of filters, and size of the image of a deep learning model have exponents common to each other and can be scaled to related values. At this time, the number of layers, the number of filters, and the size of the image may be constants determined based on grid search. In other words, the base number for the number of layers, number of filters, and number of images can be determined based on the constant that shows the highest performance after sequentially inputting random numbers specified in a dictionary.
여기서, 가장 높은 성능이란, 딥러닝 모델의 손실 함수 값이 가장 작아지는 때를 의미할 수 있다. Here, the highest performance may mean when the loss function value of the deep learning model becomes the smallest.
손실 함수는 예컨대, 크로스-엔트로피 손실함수(Cross-Entropy loss), 바이너리 크로스-엔트로피 손실함수(Binary Cross-entropy loss) 중 적어도 하나를 포함할 수 있다.The loss function may include, for example, at least one of a cross-entropy loss function and a binary cross-entropy loss function.
딥러닝 모델은 하기 수학식 1에 기초하여 레이어의 개수, 필터의 개수 및 입력 이미지의 크기를 스케일링할 수 있다.The deep learning model can scale the number of layers, number of filters, and size of the input image based on Equation 1 below.
[수학식 1][Equation 1]
Figure PCTKR2023020771-appb-img-000001
Figure PCTKR2023020771-appb-img-000001
여기서, Ln은 레이어의 개수, Fn는 필터의 개수, R은 이미지의 크기이다. 단, a, b, c는 0을 초과하는 임의의 실수, x는 임의의 실수이고, A는 기 설정된 수치이다.Here, L n is the number of layers, F n is the number of filters, and R is the size of the image. However, a, b, and c are any real numbers exceeding 0, x is any real number, and A is a preset number.
이로써, 딥러닝 모델은 임의의 파라미터에 무작위적 스케일링을 수행하는 기존의 방식 대비 보다 균형 잡힌 스케일링을 통해 성능을 향상시킬 수 있다.As a result, deep learning models can improve performance through more balanced scaling compared to existing methods that perform random scaling on arbitrary parameters.
딥러닝 모델은 모든 레이어가 직접적으로 연결(connection) 되도록 구성될 수 있다. A deep learning model can be configured so that all layers are directly connected.
구체적으로, 딥러닝 모델은 이전 레이어의 출력이 다음 레이어의 입력으로 연결 되도록 구성될 수 있다.Specifically, a deep learning model can be configured so that the output of the previous layer is connected to the input of the next layer.
구체적으로, 딥러닝 모델은 각 레이어 출력 값이 해당 레이어에 후속하는 모든 레이어의 입력 값으로 연결 되도록 구성될 수 있다. Specifically, a deep learning model can be configured so that the output value of each layer is connected to the input value of all layers following that layer.
이때, 모든 레이어는 특정 블록에 포함된 레이어들로서, 딥러닝 모델은 하나 이상의 블록을 포함하여 블록 별 모든 레이어가 직접적으로 연결될 수 있도록 구성될 수 있다.At this time, all layers are layers included in a specific block, and a deep learning model can be configured to include one or more blocks so that all layers for each block can be directly connected.
딥러닝 모델은 이전 레이어의 특징 맵이 다음 레이어의 특징 맵에 연결(concatenation)되도록 구성될 수 있다. A deep learning model may be configured so that the feature map of the previous layer is concatenated with the feature map of the next layer.
이때, 이전 레이어의 특징 맵과 다음 레이어의 특징 맵의 해상도(resolution)는 서로 동일하거나 상이할 수 있다.At this time, the resolution of the feature map of the previous layer and the feature map of the next layer may be the same or different.
이전 레이어의 특징 맵은 특정 블록에 포함된 레이어에 대한 특징 맵으로서, 딥러닝 모델은 하나 이상의 블록을 포함하여 블록 별 모든 레이어의 특징 맵이 후속 레이어의 특징 맵과 연결(concatenation)될 수 있도록 구성될 수 있다. 여기서, 블록은 특징 맵의 해상도가 동일한 레이어 별로 묶어 설정될 수 있다.The feature map of the previous layer is a feature map for the layer included in a specific block, and the deep learning model is configured so that the feature maps of all layers for each block, including one or more blocks, can be concatenated with the feature map of the subsequent layer. It can be. Here, blocks can be grouped and set for each layer with the same resolution of the feature map.
이로써, 딥러닝 모델은 이전 레이어들의 특징 맵을 재사용함으로써, 이전에 추출된 특징 또는 입력 값 소실을 방지할 수 있다. As a result, the deep learning model can prevent the loss of previously extracted features or input values by reusing the feature maps of previous layers.
이로써, 딥러닝 모델은 이전 레이어들의 특징 맵의 소실을 방지함으로써, 가중치의 자유도가 줄어들 수 있다. As a result, the deep learning model can reduce the degree of freedom of the weights by preventing the loss of feature maps of previous layers.
즉, 딥러닝 모델은 가중치의 자유를 감소시킴으로써, 오버피팅(overfitting)이 상쇄되는 레귤라이제이션 효과(regularization effect)와 유사한 효과를 발휘할 수 있다.In other words, a deep learning model can achieve an effect similar to the regularization effect in which overfitting is offset by reducing the freedom of the weights.
딥러닝 모델의 레이어의 개수, 필터의 개수 및 이미지의 크기는 딥러닝 모델의 레이어의 개수, 필터의 개수 및 이미지의 크기의 값을 모두 곱한 값이 기 설정된 범위 내에서 제한적으로 스케일링 될 수 있다. 이때, 기 설정된 제한된 범위는 딥러닝 모델의 메모리를 포함할 수 있다. The number of layers, number of filters, and size of the image of the deep learning model can be scaled within a preset range by multiplying the number of layers of the deep learning model, the number of filters, and the size of the image. At this time, the preset limited range may include the memory of the deep learning model.
딥러닝 모델은 추출된 특징 맵의 채널 수를 조절하는 제1 다운샘플링 레이어를 더 포함할 수 있다. The deep learning model may further include a first downsampling layer that adjusts the number of channels of the extracted feature map.
딥러닝 모델은 추출된 특징 맵의 해상도를 낮추는 제2 다운샘플링 레이어를 더 포함할 수 있다. The deep learning model may further include a second downsampling layer that lowers the resolution of the extracted feature map.
이로써, 딥러닝 모델은 제1 및 제2 다운샘플링 레이어를 통해 작은 파라미터로 연산을 수행할 수 있다.Accordingly, the deep learning model can perform calculations with small parameters through the first and second downsampling layers.
이로써, 딥러닝 모델은 제2 다운샘플링 레이어를 통해 다양한 해상도의 특징 맵의 사용을 허용할 수 있다.As a result, the deep learning model can allow the use of feature maps of various resolutions through the second downsampling layer.
딥러닝 모델은 입력 이미지에 대한 전역적 학습을 위한 적어도 하나의 논-로컬 블록을 포함할 수 있다. 여기서, 논-로컬 블록은 이미지의 모든 픽셀에 대한 학습을 위해 1*1 크기의 컨볼루션 필터(convolution filter)를 포함할 수 있다.A deep learning model may include at least one non-local block for global learning on the input image. Here, the non-local block may include a convolution filter with a size of 1*1 for learning about all pixels of the image.
이로써, 딥러닝 모델은 논-로컬 블록을 이용하여 이미지의 모든 위치에 존재하는 특징들의 값을 가중합 하여 장거리 종속성을 캡처할 수 있다. As a result, the deep learning model can capture long-distance dependencies by weighting the values of features present at all locations in the image using non-local blocks.
딥러닝 모델은, CDW(Clinical Data Warehouse; 임상 데이터 창고)를 이용하여 추출된 EMR(Electronic Medical Records; 전자 의무 기록) 의료정보에 포함된 고관절 방사선 영상에 기초하여 학습될 수 있다.The deep learning model can be learned based on hip radiology images included in EMR (Electronic Medical Records) medical information extracted using CDW (Clinical Data Warehouse).
고관절 방사선 영상은, 고관절 질환에 대한 정상 여부 및 고관절 진단명 중 적어도 하나가 라벨링될 수 있다.The hip joint radiological image may be labeled with at least one of whether the hip joint disease is normal and a hip joint diagnosis name.
구체적으로, 고관절 방사선 영상은, 일차적으로 영상 의학과, 2차적으로 고관절 전문의가 진단한 정상 여부 및 진단명 중 적어도 하나가 라벨링 된 고관절을 촬영한 X-ray 영상일 수 있다. 고관절 방사선 영상은, 후술하는 도 2에서 X-ray 영상 자체의 원시 데이터 또는 도 3에서 전처리 된 X-ray 영상일 수 있다.Specifically, the hip joint radiological image may be an The hip joint radiology image may be the raw data of the X-ray image itself in FIG. 2, which will be described later, or the preprocessed X-ray image in FIG. 3.
비제한적인 실시예에서, 딥러닝 모델은 예컨대 총 1,000장의 고관절 X-ray 영상에 기초하여 학습되는 경우, 500장은 질환 있는 고관절을 대상으로 촬영한 질환 영상일 수 있다. 구체적으로, 질환 영상은 영상 의학과 및 고관절 전문의에 의해 고관절 질환을 진단받은 환자의 고관절 방사선 영상일 수 있다. 구체적으로, 질환 영상은 인공 고관절 전치환술을 치료 받기 이전에 마지막으로 촬영한 고관절 질환 환자의 고관절 X-ray 영상일 수 있다.In a non-limiting example, for example, when the deep learning model is learned based on a total of 1,000 hip joint X-ray images, 500 images may be disease images taken of diseased hip joints. Specifically, the disease image may be a hip joint radiology image of a patient diagnosed with a hip joint disease by a radiologist or a hip joint specialist. Specifically, the disease image may be a hip X-ray image of a patient with a hip joint disease last taken before receiving total hip replacement surgery.
나머지 500장은 질환 없는 고관절을 대상으로 촬영한 정상 영상일 수 있다. 구체적으로, 정상 영상은 고관절에 대하여 영상 의학과 및 고관절 전문의에 의해 정상으로 진단된 환자의 고관절 X-ray 영상일 수 있다.The remaining 500 images may be normal images taken of hip joints without disease. Specifically, the normal image may be a hip joint X-ray image of a patient whose hip joint was diagnosed as normal by a radiologist and a hip joint specialist.
이때, 딥러닝 모델은 총 1,000장의 데이터셋에 대하여 훈련 데이터: 검증 데이터: 테스트 데이터의 비율을 64:16:20으로 나누어 학습될 수 있다. 예를 들어, 딥러닝 모델은 훈련 데이터 640개를 10개의 미니 배치로 나누어 적어도 30 에폭으로 학습될 수 있다. At this time, the deep learning model can be learned by dividing the ratio of training data: validation data: test data by 64:16:20 for a total of 1,000 datasets. For example, a deep learning model can be trained in at least 30 epochs by dividing 640 training data into 10 mini-batches.
딥러닝 모델은 백본 네트워크(backbone network) 기반의 모델로서, 예를 들어, ResNet, VGGNet 또는 DarkNet 기반 구조의 모델일 수 있다. 여기서, 백본망이란, 입력 이미지를 여러 채널의 이미지로 압축하는 인코딩 과정과 인코딩 과정 중 컨볼루션 연산을 이용하여 특징을 추출하는 과정을 포함하는 네트워크를 의미할 수 있다. A deep learning model is a model based on a backbone network, for example, it may be a model based on ResNet, VGGNet, or DarkNet. Here, the backbone network may refer to a network that includes an encoding process of compressing an input image into images of multiple channels and a process of extracting features using a convolution operation during the encoding process.
고관절 방사선 영상은, 고관절 방사선 영상에 포함된 문자, 심볼, 마크 및 기 설정된 밝기 수치 이상의 픽셀 중 적어도 하나가 제거되도록 전처리 된 정보일 수 있다. The hip joint radiology image may be information that has been preprocessed to remove at least one of characters, symbols, marks, and pixels with a preset brightness level or more included in the hip joint radiology image.
고관절 방사선 영상은 기 설정된 제1 수치 이상의 밝깃값을 가지는 하나 이상의 제1 픽셀 또는 기 설정된 제2 수치 이하의 밝깃값을 가지는 하나 이상의 제2 픽셀이 제1 수치와 제2 수치 사이의 밝기를 갖도록 전처리 된 정보일 수 있다. The hip joint radiology image is preprocessed so that one or more first pixels with a brightness value greater than a preset first value or one or more second pixels with a brightness value less than a preset second value have a brightness between the first value and the second value. It may be information that has been provided.
구체적으로, 고관절 방사선 영상은 데이터 클리닝, 영상 정합, 영상 크롭핑, 영상 클리핑 등에 기초하여 상기 딥러닝 모델의 고관절 병변 예측 학습에 방해가 되는 요인들로서, 예를 들어, 고관절 방사선 영상에 포함된 문자, 심볼, 마크, 아티팩트 등이 제거될 수 있다. Specifically, in the hip joint radiology image, factors that interfere with the learning of hip joint lesion prediction of the deep learning model based on data cleaning, image registration, image cropping, image clipping, etc. include, for example, characters included in the hip joint radiology image, Symbols, marks, artifacts, etc. can be removed.
한편, 고관절 방사선 영상 중 전처리 되어 제거되는 정보는 문자, 심볼, 마크 아티팩트 등으로 설명하였으나, 이는 예시적인 것으로서, 고관절 이외의 검출되는 객체라면 이에 한정됨 없이 제거되는 것으로 의도된다.Meanwhile, the information to be pre-processed and removed from the hip joint radiology image is described as text, symbols, mark artifacts, etc., but this is an example, and any detected object other than the hip joint is intended to be removed without being limited thereto.
도 2는 일 예시의 대상 방사선 영상을 설명하기 위한 예시도이다.Figure 2 is an exemplary diagram for explaining a target radiation image of an example.
도 2를 참조하면, 대상 방사선 영상은 제1 대상 방사선 영상(201) 또는 제2 대상 방사선 영상(202) 포함할 수 있다.Referring to FIG. 2 , the target radiation image may include a first target radiation image 201 or a second target radiation image 202.
도 2와 같이, 대상 방사선 영상은 고관절의 전면 뷰(Anterior view)를 촬영한 제1 대상 방사선 영상(201)을 포함할 수 있다. 또는 대상 방사선 영상은 고관절의 후면 뷰(Posterior view)를 촬영한 제2 대상 방사선 영상(202)을 포함할 수 있다. 또는 대상 방사선 영상은 고관절의 좌측 측면 뷰(lateral view) 또는 우측 측면 뷰를 촬영한 방사선 영상(미도시)을 포함할 수 있다. 다시 말해, 대상 방사선 영상은 각도에 한정 없이 다양한 각도에서 고관절을 촬영한 방사선 영상을 포함할 수 있다.As shown in FIG. 2 , the target radiology image may include a first target radiology image 201 that captures an anterior view of the hip joint. Alternatively, the target radiology image may include a second target radiology image 202 obtained by taking a posterior view of the hip joint. Alternatively, the target radiological image may include a radiological image (not shown) obtained by taking a left lateral view or a right lateral view of the hip joint. In other words, the target radiological image may include radiological images taken of the hip joint from various angles without limitation to the angle.
대상 방사선 영상은 고관절을 촬영한 방사선 영상 자체의 원시 데이터일 수 있다. 이때, 원시 데이터는 삭제되어야 함이 바람직한, 방사선 영상이 촬영됨으로써 날인되는 촬영 날짜, 촬영 시각, 의료기기 로고, 의료기기 식별자, 영상 식별자 중 적어도 하나를 포함할 수 있다.The target radiological image may be raw data of the radiological image itself taken of the hip joint. At this time, the raw data may include at least one of the shooting date, shooting time, medical device logo, medical device identifier, and image identifier that is stamped when the radiological image is captured, which is preferably deleted.
한편, 대상 방사선 영상은 전면, 후면 또는 측면에서 촬영된 방사선 영상인 것으로 설명되었으나 이는 예시적인 것으로서, 대상 방사선 영상이 촬영된 각도는 이에 한정되는 것은 아니다.Meanwhile, the target radiation image has been described as a radiation image taken from the front, back, or side, but this is an example and the angle at which the target radiation image is taken is not limited to this.
도 3은 일 예시의 대상 방사선 영상을 설명하기 위한 예시도이다.Figure 3 is an exemplary diagram for explaining a target radiation image of an example.
도 3을 참조하면, 대상 방사선 영상은 제3 대상 방사선 영상(301) 또는 제4 대상 방사선 영상(302)을 포함할 수 있다.Referring to FIG. 3 , the target radiation image may include a third target radiation image 301 or a fourth target radiation image 302.
이때, 제3 대상 방사선 영상(301)과 제4 대상 방사선 영상(302)은 각각 도 2의 제1 대상 방사선 영상(201) 및 제2 대상 방사선 영상(202)이 전처리 된 영상일 수 있다. At this time, the third target radiation image 301 and the fourth target radiation image 302 may be images obtained by preprocessing the first target radiation image 201 and the second target radiation image 202 of FIG. 2, respectively.
구체적으로, 제3 대상 방사선 영상(301)과 제4 대상 방사선 영상(302) 각각은 제1 대상 방사선 영상(201)과 제2 대상 방사선 영상(202)에 포함된 문자, 심볼, 마크 및 아티팩트가 제거된 영상일 수 있다. 구체적 예로, 제3 대상 방사선 영상(301)과 제4 대상 방사선 영상(302)은 제1 대상 방사선 영상(201) 및 제2 대상 방사선 영상(202)에 날인된 촬영 날짜, 촬영 시각, 의료기기 로고, 의료기기 식별자, 영상 식별자 중 적어도 하나가 크롭핑(cropping)된 방사선 영상일 수 있다.Specifically, the third target radiation image 301 and the fourth target radiation image 302 each have characters, symbols, marks, and artifacts included in the first target radiation image 201 and the second target radiation image 202. This may be a removed video. As a specific example, the third target radiology image 301 and the fourth target radiology image 302 are the shooting date, shooting time, and medical device logo stamped on the first target radiation image 201 and the second target radiation image 202. , at least one of the medical device identifier and the image identifier may be a cropped radiology image.
제3 대상 방사선 영상(301)과 제4 대상 방사선 영상(302)은 고관절을 중심으로 멀리 위치한 신체 부위를 불포함하도록 크롭핑 된 방사선 영상일 수 있다. 구체적으로, 제3 대상 방사선 영상(301)과 제4 대상 방사선 영상(302)은 고관절 전체를 모두 포함하되, 나머지 신체 기관은 일부만을 포함하도록 촬영된 방사선 영상일 수 있다. The third target radiation image 301 and the fourth target radiation image 302 may be radiation images cropped to exclude body parts located far from the hip joint. Specifically, the third target radiology image 301 and the fourth target radiology image 302 may be radiology images captured to include the entire hip joint, but only some of the remaining body organs.
제3 대상 방사선 영상(301)과 제4 대상 방사선 영상(302)은 대상 방사선 영상의 중앙을 중심으로 기 설정된 거리만큼 떨어진 부분을 불포함하도록 크롭핑 된 방사선 영상일 수 있다. The third target radiation image 301 and the fourth target radiation image 302 may be radiation images cropped to exclude a portion separated by a preset distance from the center of the target radiation image.
제3 대상 방사선 영상(301)과 제4 대상 방사선 영상(302)은 영상의 높이(height) 길이가 짧아지도록 크롭핑된 방사선 영상일 수 있다. 이때, 크롭핑 되는 대상 영역은 대상 방사선 영상의 가장자리부터 우선함이 바람직하다. 예를 들어, 제3 대상 방사선 영상(301)과 제4 대상 방사선 영상(302)은 전체 영상의 크기 1024*1024를 1024*800으로 높이 길이가 짧아지도록 크롭핑 하는 경우, 높이는 대상 방사선 영상의 중앙에서 상단으로 400, 하단으로 400을 가질 수 있다.The third target radiation image 301 and the fourth target radiation image 302 may be radiation images that have been cropped to shorten the height of the image. At this time, it is preferable that the target area to be cropped starts from the edge of the target radiation image. For example, when the third target radiology image 301 and the fourth target radiology image 302 are cropped to shorten the height from the overall image size of 1024*1024 to 1024*800, the height is at the center of the target radiology image. You can have 400 at the top and 400 at the bottom.
제3 대상 방사선 영상(301)과 제4 대상 방사선 영상(302)은 본래의 픽셀 사이즈를 유지할 수 있도록 크롭핑 이후 제로 패딩될 수 있다. 예를 들어, 크롭핑 이후 픽셀 사이즈가 1024*800으로 변형된 대상 방사선 영상은 본래 픽셀 사이즈 1024*1024가 될 때까지 제로 패딩 되어 본래의 픽셀 사이즈를 유지할 수 있다.The third target radiation image 301 and the fourth target radiation image 302 may be zero-padded after cropping to maintain the original pixel size. For example, a target radiology image whose pixel size has been transformed to 1024*800 after cropping can be zero-padded until the original pixel size becomes 1024*1024 to maintain the original pixel size.
한편, 대상 방사선 영상은 도 2 및 도 3에서 전술한 바와 같이 설명되었으나, 이는 대상 방사선 영상에 한정되는 것은 아니고, 고관절 병변 예측 장치(100)의 학습 데이터 또한 적용될 수 있는 설명인 것으로 의도된다.Meanwhile, the target radiological image has been described as described above in FIGS. 2 and 3, but this is not limited to the target radiological image, and is intended to be a description that can also be applied to learning data of the hip joint lesion prediction device 100.
도 4는 일 예시의 딥러닝 모델(400)의 구조를 설명하기 위한 예시도이다.Figure 4 is an example diagram for explaining the structure of an example deep learning model 400.
도 4를 참조하면, 딥러닝 모델(400)은 하나 이상의 컨볼루션 블록(410), 논-로컬 블록(420) 및 완전-연결 레이어(430)를 포함한다.Referring to FIG. 4, the deep learning model 400 includes one or more convolutional blocks 410, non-local blocks 420, and fully-connected layers 430.
여기서, 하나 이상의 컨볼루션 블록(410) 각각은 컨볼루션 레이어, 활성화 함수, 배치 노멀 라이즈 레이어 및 풀링 레이어 중 적어도 하나를 포함하도록 설계될 수 있다.Here, each of the one or more convolution blocks 410 may be designed to include at least one of a convolution layer, an activation function, a batch normalization layer, and a pooling layer.
하나 이상의 컨볼루션 블록(410) 각각에 대응하는 컨볼루션 레이어는 일반적인 컨볼루션 레이어인 제1 컨볼루션 레이어를 포함할 수 있다. The convolution layer corresponding to each of one or more convolution blocks 410 may include a first convolution layer, which is a general convolution layer.
하나 이상의 컨볼루션 블록(410) 각각에 대응하는 컨볼루션 레이어는 입력된 이미지 또는 특징 맵을 각 채널 별로 나누어 컨볼루션 연산을 적용하는 제2 컨볼루션 레이어를 포함할 수 있다. 이로써, 제2 컨볼루션 레이어는 작은 양의 파라미터로 입력 값의 특징을 캡처할 수 있다.The convolution layer corresponding to each of one or more convolution blocks 410 may include a second convolution layer that divides the input image or feature map for each channel and applies a convolution operation. Thereby, the second convolutional layer can capture the features of the input value with a small amount of parameters.
또한, 제2 컨볼루션 레이어는 필터의 크기가 1로 고정되어 여러 개의 채널을 하나의 새로운 채널로 압축할 수 있다. 이로써, 제2 컨볼루션 레이어는 채널 수를 조절하여 연산량을 조절할 수 있다.Additionally, the filter size of the second convolutional layer is fixed to 1, so multiple channels can be compressed into one new channel. Accordingly, the second convolution layer can control the amount of computation by adjusting the number of channels.
하나 이상의 컨볼루션 블록(410) 각각에 대응하는 컨볼루션 레이어는 제2 컨볼루션 레이어에 채널 수에 대한 익스팬션 팩터(expansion factor)를 달리 적용한 제3 컨볼루션 레이어를 포함할 수 있다.The convolution layer corresponding to each of one or more convolution blocks 410 may include a third convolution layer in which an expansion factor for the number of channels is applied differently to the second convolution layer.
하나 이상의 컨볼루션 블록(410) 각각에 대응하는 컨볼루션 레이어에 입력되는 이미지 또는 특징 맵의 해상도는 스테이지가 깊어질수록 이전 스테이지의 컨볼루션 레이어에 입력되는 이미지 또는 특징 맵의 해상도보다 작거나 같도록 설계될 수 있다.The resolution of the image or feature map input to the convolution layer corresponding to each of one or more convolution blocks 410 is set to be smaller or equal to the resolution of the image or feature map input to the convolution layer of the previous stage as the stage becomes deeper. can be designed.
이때, 하나 이상의 컨볼루션 블록(410) 각각에 포함되는 컨볼루션 레이어의 개수는 스테이지가 깊어질수록 이전 컨볼루션 블록(410)에 포함되는 컨볼루션 레이어의 개수보다 크거나 같도록 설계될 수 있다. At this time, the number of convolution layers included in each of one or more convolution blocks 410 may be designed to be greater than or equal to the number of convolution layers included in the previous convolution block 410 as the stage becomes deeper.
예를 들어, 하나 이상의 컨볼루션 블록(410)은 하기 표 1과 같이 설계될 수 있다.For example, one or more convolution blocks 410 may be designed as shown in Table 1 below.
스테이지stage 컨볼루션 레이어, 커널 사이즈Convolutional layer, kernel size 해상도resolution 컨볼루션 레이어의 개수Number of convolutional layers
1One 제1 컨볼루션 레이어, 3x3First convolutional layer, 3x3 300X300300X300 1One
22 제2 컨볼루션 레이어, 3X3Second convolutional layer, 3X3 150X150150X150 22
33 제3 컨볼루션 레이어, 3X3Third convolutional layer, 3X3 150X150150X150 33
44 제3 컨볼루션 레이어, 5x5Third convolutional layer, 5x5 75X7575X75 33
55 제3 컨볼루션 레이어, 3x3Third convolutional layer, 3x3 38X3838X38 55
66 제3 컨볼루션 레이어, 5x5Third convolutional layer, 5x5 19X1919X19 55
77 제3 컨볼루션 레이어, 5x5Third convolutional layer, 5x5 10X1010X10 66
88 제3 컨볼루션 레이어, 3x3Third convolutional layer, 3x3 10X1010X10 22
구체적으로, 상기 표 1의 첫 번째 열을 참조하면, 컨볼루션 블록(410)은 8개가 순차적으로 연결되도록 설계될 수 있다. 상기 표 1의 두 번째 열을 참조하면, 컨볼루션 블록(410)은 제1 컨볼루션 레이어, 제2 컨볼루션 레이어 및 제3 컨볼루션 레이어 중 적어도 하나를 포함할 수 있다. 예를 들어, 제1 스테이지의 컨볼루션 블록(410)은 제1 컨볼루션 레이어를, 제2 스테이지의 컨볼루션 블록(410)은 제2 컨볼루션 레이어를, 제3 내지 제8 스테이지의 컨볼루션 블록(410)은 제3 컨볼루션 레이어를 포함하도록 설계될 수 있다.이때, 커널 사이즈는 각 컨볼루션 블록(410)마다 상이하거나 동일할 수 있다.Specifically, referring to the first column of Table 1, eight convolution blocks 410 may be designed to be sequentially connected. Referring to the second column of Table 1, the convolution block 410 may include at least one of a first convolution layer, a second convolution layer, and a third convolution layer. For example, the convolution block 410 of the first stage represents the first convolution layer, the convolution block 410 of the second stage represents the second convolution layer, and the convolution blocks of the third to eighth stages 410 may be designed to include a third convolution layer. At this time, the kernel size may be different or the same for each convolution block 410.
상기 표 1의 세 번째 열을 참조하면, 컨볼루션 블록(410)에 입력되는 이미지 또는 특징맵의 해상도는 각각 300x300, 150x150, 150x150, 75x75, 38x38, 19x19, 10x10, 10x10으로 스테이지가 깊어질수록 상기 해상도가 같거나 작아지도록 설계될 수 있다. 이로써, 딥러닝 모델(400)은 입력 이미지를 압축하며 특징을 추출하는 인코딩 과정을 수행할 수 있다.Referring to the third column of Table 1, the resolution of the image or feature map input to the convolution block 410 is 300x300, 150x150, 150x150, 75x75, 38x38, 19x19, 10x10, and 10x10, respectively, and the deeper the stage, the higher the resolution. The resolution can be designed to be the same or smaller. Accordingly, the deep learning model 400 can perform an encoding process to compress the input image and extract features.
상기 표 1의 네 번째 열을 참조하면, 컨볼루션 블록(410)에 포함되는 컨볼루션 레이어의 개수는 각각 1, 2, 3, 3, 5, 5, 6, 2개로 스테이지가 깊어질수록 이전 컨볼루션 블록(410)에 포함되는 컨볼루션 레이어의 개수보다 크거나 같도록 설계될 수 있다.Referring to the fourth column of Table 1, the number of convolution layers included in the convolution block 410 is 1, 2, 3, 3, 5, 5, 6, and 2, respectively. As the stage becomes deeper, the previous convolution layer increases. It may be designed to be greater than or equal to the number of convolutional layers included in the solution block 410.
논-로컬 블록(420)은 마지막 스테이지의 컨볼루션 블록(410)과 연결될 수 있다.The non-local block 420 may be connected to the convolution block 410 of the last stage.
완전-연결 레이어(430)는 딥러닝 모델(400)에 포함된 블록들 중 마지막에 연결되어 추출한 특징에 따라 대상 방사선 영상(40)을 이진 분류 할 수 있다. 예를 들어, 딥러닝 모델은 완전-연결 레이어(430)를 통해 대상 방사선 영상(40)을 정상(41) 또는 비정상(42)으로 분류할 수 있다.The fully-connected layer 430 is connected to the last of the blocks included in the deep learning model 400 and can binary classify the target radiology image 40 according to the extracted features. For example, the deep learning model can classify the target radiology image 40 as normal (41) or abnormal (42) through the fully-connected layer 430.
한편, 도 4의 딥러닝 모델(400)의 구조는 예시적인 것으로 반드시 이에 한정되는 것은 아니다.Meanwhile, the structure of the deep learning model 400 in FIG. 4 is illustrative and is not necessarily limited thereto.
한편, 제2 컨볼루션 레이어는 MBConv1, 제3 컨볼루션 레이어는 MBConv6에 기초하는 컨볼루션 레이어일 수 있다.Meanwhile, the second convolution layer may be a convolution layer based on MBConv1, and the third convolution layer may be a convolution layer based on MBConv6.
도 5는 일 실시예 별 고관절 병변 예측 장치(100)의 성능을 나타내는 그래프이다.Figure 5 is a graph showing the performance of the hip joint lesion prediction device 100 according to one embodiment.
도 5를 참조하면, 고관절 병변 예측 장치(100)에 대한 제1 실시예 내지 제4 실시예 각각의 ROC 곡선(Receiver Operating Characteristic Curve)이 도시된다.Referring to FIG. 5 , ROC curves (Receiver Operating Characteristic Curves) for each of the first to fourth embodiments of the hip joint lesion prediction device 100 are shown.
여기서, 제1 실시예는 입력 이미지와 학습 이미지 모두 고관절을 촬영한 방사선 영상의 원시 데이터로서, 원시 데이터를 기반으로 학습되고 추론되는 고관절 병변 예측 장치(100)일 수 있다. 이때, 고관절 병변 예측 장치(100)는 제1 딥러닝 모델에 기초하여 고관절 병변을 추론하는 것으로 전제한다. Here, in the first embodiment, both the input image and the learning image are raw data of radiological images taken of the hip joint, and may be a hip joint lesion prediction device 100 that is learned and inferred based on the raw data. At this time, it is assumed that the hip joint lesion prediction device 100 infers the hip joint lesion based on the first deep learning model.
여기서, 제1 딥러닝 모델은 이전 레이어의 출력이 다음 레이어의 입력으로 연결된 모델을 포함할 수 있다. Here, the first deep learning model may include a model in which the output of the previous layer is connected to the input of the next layer.
여기서, 제1 딥러닝 모델은 이전 레이어의 출력이 후속하는 모든 레이어의 입력으로 연결된 모델을 포함할 수 있다. Here, the first deep learning model may include a model in which the output of the previous layer is connected to the input of all subsequent layers.
여기서, 제1 딥러닝 모델은 dense-net에 기초하여 설계된 딥러닝 모델을 포함할 수 있다. Here, the first deep learning model may include a deep learning model designed based on dense-net.
제2 실시예는 방해 요소가 크롭핑 된 입력 이미지에 대해 고관절 병변을 추론하되, 고관절을 촬영한 방사선 영상 자체인 원시 데이터에 기초하여 학습된 고관절 병변 예측 장치(100)일 수 있다. 여기서, 고관절 병변 예측 장치(100)는 제1 딥러닝 모델에 기초하여 고관절 병변을 추론하는 것으로 전제한다.The second embodiment may be a hip joint lesion prediction device 100 that infers a hip joint lesion from an input image from which disturbing elements have been cropped, but is learned based on raw data, which is a radiological image of the hip joint itself. Here, it is assumed that the hip joint lesion prediction device 100 infers the hip joint lesion based on the first deep learning model.
제3 실시예는 방해 요소가 크롭핑 된 입력 이미지에 대해 고관절 병변을 추론하고, 방해 요소가 크롭핑 된 학습 이미지에 기초하여 학습된 고관절 병변 예측 장치(100)일 수 있다. 이때, 고관절 병변 예측 장치(100)는 제1 딥러닝 모델에 기초하여 고관절 병변을 추론하는 것으로 전제한다.The third embodiment may be a hip joint lesion prediction device 100 that infers a hip lesion for an input image from which disturbance elements have been cropped and is learned based on a learning image from which disturbance elements have been cropped. At this time, it is assumed that the hip joint lesion prediction device 100 infers the hip joint lesion based on the first deep learning model.
제4 실시예는 방해 요소가 크롭핑 된 입력 이미지에 대해 고관절 병변을 추론하고, 방해 요소가 크롭핑 된 학습 이미지에 기초하여 학습된 고관절 병변 예측 장치(100)일 수 있다. 이때, 고관절 병변 예측 장치(100)는 제2 딥러닝 모델에 기초하여 고관절 병변을 추론하는 것으로 전제한다. The fourth embodiment may be a hip joint lesion prediction device 100 that infers a hip lesion for an input image from which disturbance elements have been cropped and is learned based on a learning image from which disturbance elements have been cropped. At this time, it is assumed that the hip joint lesion prediction device 100 infers the hip joint lesion based on the second deep learning model.
여기서, 제2 딥러닝 모델은 레이어의 개수, 필터의 개수 및 입력 이미지의 크기는 서로 종속되어 연관된 값으로 결정되도록 설계된 모델을 포함할 수 있다.Here, the second deep learning model may include a model designed such that the number of layers, the number of filters, and the size of the input image are dependent on each other and are determined as related values.
여기서, 제2 딥러닝 모델은 efficient-net에 기초하여 설계된 딥러닝 모델을 포함할 수 있다. 예를 들어, 제2 딥러닝 모델은 efficient-net V1-B1 내지 B7 중 적어도 하나에 기초하여 설계된 딥러닝을 포함할 수 있다. 바람직하게, 제2 딥러닝 모델은 efficient-net V1-B3에 기초하여 설계된 딥러닝을 포함할 수 있다.Here, the second deep learning model may include a deep learning model designed based on efficient-net. For example, the second deep learning model may include deep learning designed based on at least one of efficient-net V1-B1 to B7. Preferably, the second deep learning model may include deep learning designed based on efficient-net V1-B3.
여기서, 제2 딥러닝 모델은 전역적 학습을 위한 적어도 하나의 논-로컬 블록을 포함할 수 있다.Here, the second deep learning model may include at least one non-local block for global learning.
이때, 도 5를 참조하면, 제4 실시예는 고관절 이상 여부에 대해 타 실시예 대비 높은 분류 성능을 갖는다. 다만, 제1 실시예 내지 제3 실시예는 하기와 같은 문제로 제4 실시예 대비 분류 성능이 저조하다. At this time, referring to FIG. 5, the fourth embodiment has higher classification performance compared to other embodiments with respect to whether there is a hip joint abnormality. However, the classification performance of the first to third embodiments is lower than that of the fourth embodiment due to the following problems.
구체적으로, 제1 실시예는 방해 요소, 예를 들어, 날인되는 문자를 학습하는 문제가 발견되었다. 제2 실시예는 고관절이 아닌 다른 신체 부위인 대퇴골(femur) 전장에 집중하여 학습하는 문제가 발견되었다. 제3 실시예는 대좌골절흔(greater sciatic notch)에 집중하여 학습하는 문제가 발견되었다. Specifically, the first embodiment was found to have problems learning distracting elements, for example, characters to be stamped. In the second example, a problem was found in learning by focusing on the full length of the femur, a body part other than the hip joint. In the third example, a problem was found in learning by focusing on the greater sciatic notch.
또한, 각 실시예에 따른 고관절 병변 예측 장치(100)의 다른 성능 지표는 하기 표 2와 같이 나타날 수 있다.Additionally, other performance indicators of the hip joint lesion prediction device 100 according to each embodiment may be shown in Table 2 below.
제1 실시예 Embodiment 1 제2 실시예Second embodiment 제3 실시예Third embodiment 제4 실시예Embodiment 4
정확도(Accuracy)Accuracy 0.980.98 0.930.93 0.950.95 0.990.99
민감도(Sensitivity)Sensitivity 0.990.99 0.880.88 0.980.98 0.990.99
특이도(Specificity)Specificity 0.960.96 0.990.99 0.910.91 0.990.99
양성예측치(Positive Predictive Value; PPV)Positive Predictive Value (PPV) 0.960.96 0.990.99 0.920.92 0.990.99
음성예측치(Negative Predictive Value; NPV)Negative Predictive Value (NPV) 0.990.99 0.900.90 0.980.98 0.990.99
상기 표 2에서 확인할 수 있듯이, 제4 실시예는 정확도, 민감도, 특이도, 양성 예측치 및 음성예측치 측면에서 타 실시예 대비 가장 우수한 것으로 평가된다. 도 6은 일 실시예에 따른 고관절 병변 예측 방법을 설명하기 위한 흐름도이다. As can be seen in Table 2 above, the fourth example is evaluated to be the best compared to the other examples in terms of accuracy, sensitivity, specificity, positive predictive value, and negative predictive value. Figure 6 is a flowchart illustrating a method for predicting hip joint lesions according to an embodiment.
도 6의 일 실시예에 따른 고관절 병변 예측 방법은 도 1의 고관절 병변 예측 장치(100)에 의해 수행될 수 있다. 우선, 고관절 병변 예측 장치(100)는 고관절을 촬영한 대상 방사선 영상을 획득(610)한다.The hip joint lesion prediction method according to the embodiment of FIG. 6 may be performed by the hip joint lesion prediction device 100 of FIG. 1 . First, the hip joint lesion prediction device 100 acquires a target radiographic image of the hip joint (610).
이후, 딥러닝 모델을 이용하여 대상 방사선 영상에 대한 고관절의 이상 여부를 출력(620)한다.Afterwards, the presence or absence of an abnormality in the hip joint for the target radiological image is output using a deep learning model (620).
상기 도시된 도 6은 도면에 제시된 순서를 참조로 하여 설명되었다. 설명을 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 6 shown above has been explained with reference to the order presented in the drawing. For purposes of illustration, the method is shown and described as a series of blocks; however, the invention is not limited to the order of the blocks, and some blocks may occur simultaneously or in a different order than shown and described herein with other blocks. and various other branches, flow paths, and sequences of blocks may be implemented that achieve the same or similar results. Additionally, not all blocks shown may be required for implementation of the methods described herein.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Meanwhile, embodiments of the present invention may include a program for performing the methods described in this specification on a computer, and a computer-readable recording medium containing the program. The computer-readable recording medium may include program instructions, local data files, local data structures, etc., singly or in combination. The media may be specially designed and constructed for the present invention, or may be commonly used in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs, DVDs, and media specifically configured to store and perform program instructions such as ROM, RAM, flash memory, etc. Includes hardware devices. Examples of the program may include not only machine language code such as that generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.Although representative embodiments of the present invention have been described in detail above, those skilled in the art will understand that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the claims described below as well as equivalents to these claims.
일 실시예에 따른 딥러닝 기반의 고관절 병변 예측 장치 및 방법은 고관절을 촬영한 방사선 영상을 딥러닝 모델에 적용하여, 인간의 개입 없이 환자의 예후를 판단할 수 있으므로, 디지털 의료 산업에 이용 가능하다.The deep learning-based hip joint lesion prediction device and method according to one embodiment can be used in the digital medical industry because it can determine the patient's prognosis without human intervention by applying radiological images taken of the hip joint to a deep learning model. .

Claims (16)

  1. 하나 이상의 프로세서들; 및one or more processors; and
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램을 저장한 메모리를 구비한 딥러닝 기반의 고관절 병변 예측 장치로부터 수행되는 방법으로서, A method performed by a deep learning-based hip lesion prediction device having a memory storing one or more programs executed by the one or more processors,
    고관절을 촬영한 대상 방사선 영상을 획득하는 단계; 및 Obtaining a target radiological image of the hip joint; and
    딥러닝 모델을 이용하여 상기 대상 방사선 영상에 대한 고관절의 이상 여부를 출력하는 단계를 포함하는, 딥러닝 기반의 고관절 병변 예측 방법.A deep learning-based hip lesion prediction method, comprising outputting whether there is an abnormality in the hip joint for the target radiological image using a deep learning model.
  2. 제1항에 있어서,According to paragraph 1,
    상기 딥러닝 모델의 레이어의 개수, 필터의 개수 및 입력 이미지의 크기는 서로 종속되어 연관된 값으로 결정되는, 딥러닝 기반의 고관절 병변 예측 방법.A deep learning-based hip joint lesion prediction method in which the number of layers, the number of filters, and the size of the input image of the deep learning model are dependent on each other and are determined as related values.
  3. 제2항에 있어서,According to paragraph 2,
    상기 딥러닝 모델의 레이어의 개수, 필터의 개수 및 이미지의 크기는 지수(exponent)가 서로 공통되어 연관된 값으로 결정되는, 딥러닝 기반의 고관절 병변 예측 방법.A deep learning-based hip joint lesion prediction method in which the number of layers, the number of filters, and the size of the image of the deep learning model are determined by values related to common exponents.
  4. 제1항에 있어서,According to paragraph 1,
    상기 딥러닝 모델은, 이전 레이어의 출력이 후속하는 모든 레이어의 입력으로 연결되는, 딥러닝 기반의 고관절 병변 예측 방법.The deep learning model is a deep learning-based hip lesion prediction method in which the output of the previous layer is connected to the input of all subsequent layers.
  5. 제1항에 있어서,According to paragraph 1,
    상기 딥러닝 모델은, 이전 레이어의 특징 맵이 다음 레이어의 특징 맵에 연결되는, 딥러닝 기반의 고관절 병변 예측 방법.The deep learning model is a deep learning-based hip lesion prediction method in which the feature map of the previous layer is connected to the feature map of the next layer.
  6. 제1항에 있어서,According to paragraph 1,
    상기 딥러닝 모델은 입력 이미지에 대한 전역적 학습을 위한 논-로컬 블록을 하나 이상 포함하는, 딥러닝 기반의 고관절 병변 예측 방법.A deep learning-based hip lesion prediction method wherein the deep learning model includes one or more non-local blocks for global learning of the input image.
  7. 제1항에 있어서,According to paragraph 1,
    상기 딥러닝 모델은, CDW(Clinical Data Warehouse; 임상 데이터 창고)를 이용하여 추출된 EMR(Electronic Medical Records; 전자 의무 기록) 의료 정보에 따라 분류된 고관절 방사선 영상에 기초하여 학습되고, The deep learning model is learned based on hip joint radiology images classified according to EMR (Electronic Medical Records) medical information extracted using CDW (Clinical Data Warehouse),
    상기 고관절 방사선 영상은, 정상 여부 및 진단명 중 적어도 하나가 라벨링된 것인, 딥러닝 기반의 고관절 병변 예측 방법.A deep learning-based hip joint lesion prediction method, wherein the hip joint radiographic image is labeled with at least one of normal status and diagnosis.
  8. 제7항에 있어서,In clause 7,
    상기 고관절 방사선 영상은, 상기 고관절 방사선 영상에 포함된 문자, 심볼, 마크 및 기 설정된 밝기 수치 이상의 픽셀 중 적어도 하나가 제거되도록 전처리되는, 딥러닝 기반의 고관절 병변 예측 방법.The hip joint radiology image is preprocessed to remove at least one of characters, symbols, marks, and pixels greater than a preset brightness level included in the hip joint radiology image.
  9. 하나 이상의 프로세서; 및 One or more processors; and
    상기 하나 이상의 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 구비한 딥러닝 기반의 고관절 병변 예측 장치로서, A deep learning-based hip joint lesion prediction device having a memory for storing a program executed by the one or more processors,
    상기 하나 이상의 프로세서는: The one or more processors:
    고관절을 촬영한 대상 방사선 영상을 획득하고, Obtain radiological images of the hip joint,
    상기 방사선 영상을 딥러닝 모델에 적용하여 상기 대상 방사선 영상에 대한 고관절의 이상 여부를 출력하는, 딥러닝 기반의 고관절 병변 예측 장치.A deep learning-based hip lesion prediction device that applies the radiological image to a deep learning model and outputs whether there is an abnormality in the hip joint for the target radiological image.
  10. 제9항에 있어서,According to clause 9,
    상기 딥러닝 모델의 레이어의 개수, 필터의 개수 및 입력 이미지의 크기는 서로 종속되어 연관된 값으로 결정되는, 딥러닝 기반의 고관절 병변 예측 장치.A deep learning-based hip joint lesion prediction device in which the number of layers, the number of filters, and the size of the input image of the deep learning model are dependent on each other and are determined as related values.
  11. 제10항에 있어서,According to clause 10,
    상기 딥러닝 모델의 레이어의 개수, 필터의 개수 및 이미지의 크기는 지수(exponent)가 서로 공통되어 연관된 값으로 결정되는, 딥러닝 기반의 고관절 병변 예측 장치.A deep learning-based hip lesion prediction device in which the number of layers, the number of filters, and the size of the image of the deep learning model are determined by values related to common exponents.
  12. 제9항에 있어서,According to clause 9,
    상기 딥러닝 모델은 이전 레이어의 출력이 후속하는 모든 레이어의 입력으로 연결되는, 딥러닝 기반의 고관절 병변 예측 장치.The deep learning model is a deep learning-based hip lesion prediction device in which the output of the previous layer is connected to the input of all subsequent layers.
  13. 제9항에 있어서,According to clause 9,
    상기 딥러닝 모델은, 이전 레이어의 특징 맵이 다음 레이어의 특징 맵에 연결되는, 딥러닝 기반의 고관절 병변 예측 장치.The deep learning model is a deep learning-based hip lesion prediction device in which the feature map of the previous layer is connected to the feature map of the next layer.
  14. 제9항에 있어서,According to clause 9,
    상기 딥러닝 모델은 입력 이미지에 대한 전역적 학습을 위한 논-로컬 블록을 하나 이상 포함하는, 딥러닝 기반의 고관절 병변 예측 장치.The deep learning model includes one or more non-local blocks for global learning of the input image. A deep learning-based hip lesion prediction device.
  15. 제9항에 있어서,According to clause 9,
    상기 딥러닝 모델은, CDW(Clinical Data Warehouse; 임상 데이터 창고)를 이용하여 추출된 EMR(Electronic Medical Records; 전자 의무 기록) 의료 정보에 따라 분류된 고관절 방사선 영상에 기초하여 학습되고, The deep learning model is learned based on hip joint radiology images classified according to EMR (Electronic Medical Records) medical information extracted using CDW (Clinical Data Warehouse),
    상기 고관절 방사선 영상은, 정상 여부 및 진단명 중 적어도 하나가 라벨링된 것인, 딥러닝 기반의 고관절 병변 예측 장치.A deep learning-based hip joint lesion prediction device, wherein the hip joint radiology image is labeled with at least one of normal status and diagnosis.
  16. 제15항에 있어서,According to clause 15,
    상기 고관절 방사선 영상은, 상기 고관절 방사선 영상에 포함된 문자, 심볼, 마크 및 기 설정된 밝기 수치 이상의 픽셀 중 적어도 하나가 제거되도록 전처리되는, 딥러닝 기반의 고관절 병변 예측 장치.The hip joint radiology image is preprocessed to remove at least one of characters, symbols, marks, and pixels greater than a preset brightness value included in the hip joint radiology image. A deep learning-based hip joint lesion prediction device.
PCT/KR2023/020771 2022-12-15 2023-12-15 Apparatus and method for predicting deep learning-based hip joint lesion WO2024128862A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0176188 2022-12-15
KR1020220176188A KR20240093185A (en) 2022-12-15 2022-12-15 Apparatus and method for predicting hip joint pathology based on deep learning

Publications (1)

Publication Number Publication Date
WO2024128862A1 true WO2024128862A1 (en) 2024-06-20

Family

ID=91486081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/020771 WO2024128862A1 (en) 2022-12-15 2023-12-15 Apparatus and method for predicting deep learning-based hip joint lesion

Country Status (2)

Country Link
KR (1) KR20240093185A (en)
WO (1) WO2024128862A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017164412A (en) * 2016-03-18 2017-09-21 メディア株式会社 Osteoporosis diagnosis support apparatus
KR20200128241A (en) * 2019-04-24 2020-11-12 홍재택 Method for providing osteoporosis diagnosis and treatment service based on bigdata and artificial intelligence
KR20210046121A (en) * 2019-10-17 2021-04-28 단국대학교 산학협력단 Apparatus and method for identify patients with parkinson's disease and patients with podarthritis by performing neural network analysis by various detection information
KR20220075126A (en) * 2020-11-27 2022-06-07 두에이아이(주) Method for medical image segmentation and analysis using artificial intelligence
KR102414601B1 (en) * 2021-10-12 2022-07-04 에이아이다이콤 (주) Method of Measuring Bone Mineral Density For Osteoporosis Diagnosis Based On Machine Learning And Bone Density Measurement Program Using The Same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880678B1 (en) 2016-10-12 2018-07-20 (주)헬스허브 System for interpreting medical images through machine learnings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017164412A (en) * 2016-03-18 2017-09-21 メディア株式会社 Osteoporosis diagnosis support apparatus
KR20200128241A (en) * 2019-04-24 2020-11-12 홍재택 Method for providing osteoporosis diagnosis and treatment service based on bigdata and artificial intelligence
KR20210046121A (en) * 2019-10-17 2021-04-28 단국대학교 산학협력단 Apparatus and method for identify patients with parkinson's disease and patients with podarthritis by performing neural network analysis by various detection information
KR20220075126A (en) * 2020-11-27 2022-06-07 두에이아이(주) Method for medical image segmentation and analysis using artificial intelligence
KR102414601B1 (en) * 2021-10-12 2022-07-04 에이아이다이콤 (주) Method of Measuring Bone Mineral Density For Osteoporosis Diagnosis Based On Machine Learning And Bone Density Measurement Program Using The Same

Also Published As

Publication number Publication date
KR20240093185A (en) 2024-06-24

Similar Documents

Publication Publication Date Title
EP0645727A2 (en) An X-ray image diagnosis system and method
WO2019054576A1 (en) Method and apparatus for fully automated segmentation of image of joint, based on patient-specific optimal thresholding method and watershed algorithm
EP1426903A3 (en) Computer aided diagnosis of an image set
WO2017051944A1 (en) Method for increasing reading efficiency by using gaze information of user in medical image reading process and apparatus therefor
US20100067769A1 (en) Method and apparatus for registration and comparison of medical images
US8527244B2 (en) Generating model data representing a biological body section
JP6830082B2 (en) Dental analysis system and dental analysis X-ray system
WO2001073682A1 (en) Method, system and computer readable medium for identifying chest radiographs using image mapping and template matching techniques
JP2009136376A (en) Image processing device and program thereof
WO2021010777A1 (en) Apparatus and method for precise analysis of severity of arthritis
WO2021015507A2 (en) Method and device for converting contrast enhanced image and non-enhanced image by using artificial intelligence
EP2631873B1 (en) Image alignment of breast images
US20230169666A1 (en) Methods and systems for image registration
JPH08103439A (en) Alignment processor for image and inter-image processor
WO2019221586A1 (en) Medical image management system, method, and computer-readable recording medium
Zhang et al. Automatic background recognition and removal (ABRR) in computed radiography images
WO2015147595A1 (en) Method for distinguishing artifact and diseased area in medical images
EP0490532A2 (en) Radiographic image processing apparatus and method
WO2024128862A1 (en) Apparatus and method for predicting deep learning-based hip joint lesion
WO2024111914A1 (en) Method for converting medical images by means of artificial intelligence with improved versatility and device therefor
JP2019208832A (en) Dental analysis system and dental analysis X-ray system
JP4307877B2 (en) Image processing apparatus and image processing method
JP2005198798A (en) Radiation image processing apparatus and method
JP2001285858A (en) Method and instrument for photographing image
WO2022060099A1 (en) Method and apparatus for calculating risk of vascular disease in ct image using low voltage