KR20230148972A - Apparatus and method for automatically analyzing the lower extremity alignment status in lower extremity x-ray images using convolutional neural network - Google Patents

Abstract

본 발명은 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치 및 방법에 관한 것이다. 본 발명에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치는 프로세서; 및 상기 프로세서에 의해 수행되도록 구현된 하나 이상의 명령어(instructions)를 포함하는 메모리를 포함하고, 상기 프로세서는, 하지 이미지를 전처리하여 전처리 이미지를 생성하고; CNN(convolutional neural network) 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 해부학적 구조물(anatomical landmarks)을 각각 인식하며; 복수의 상기 해부학적 구조물에 대한 인식 결과를 반영하여 복수의 상기 해부학적 구조물의 위치를 각각 표시하고; 복수의 상기 해부학적 구조물의 상기 위치를 이용하여 복수의 하지 각도를 판단하며; 및 상기 해부학적 구조물의 상기 위치와 상기 하지 각도의 판단 결과를 디스플레이 장치에 디스플레이한다.The present invention relates to an apparatus and method for automatically analyzing the alignment status of lower extremity X-ray images using a convolutional neural network. An apparatus for automatically analyzing the alignment status of lower extremity X-ray images using a convolutional neural network according to the present invention includes a processor; and a memory including one or more instructions implemented to be performed by the processor, wherein the processor: preprocesses the underlying image to generate a preprocessed image; Recognize a plurality of anatomical landmarks in the pre-processed image based on a convolutional neural network (CNN)-based learning model; Displaying the positions of a plurality of anatomical structures, respectively, by reflecting recognition results for the plurality of anatomical structures; determining a plurality of lower extremity angles using the positions of the plurality of anatomical structures; and displaying the determination result of the position of the anatomical structure and the angle of the lower extremity on a display device.

Description

합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치 및 방법{APPARATUS AND METHOD FOR AUTOMATICALLY ANALYZING THE LOWER EXTREMITY ALIGNMENT STATUS IN LOWER EXTREMITY X-RAY IMAGES USING CONVOLUTIONAL NEURAL NETWORK}Apparatus and method for automatic analysis of lower extremity alignment status of lower extremity X-ray images using convolutional neural network {APPARATUS AND METHOD FOR AUTOMATICALLY ANALYZING THE LOWER EXTREMITY ALIGNMENT STATUS IN LOWER EXTREMITY

본 발명은 합성곱 신경망을 이용하여 하지 X선 이미지의 하지 정렬 상태를 자동으로 분석하는 방법과 그 방법을 사용하는 장치에 관한 것이다.The present invention relates to a method for automatically analyzing the alignment state of lower extremity X-ray images using a convolutional neural network, and a device using the method.

무릎 관절은 손과 고관절 다음으로 골관절염이 가장 많이 발생하는 부위 중 하나로, 최근 평균 수명이 증가함에 따라 무릎 골관절염 환자 수가 갈수록 증가하고 있다.The knee joint is one of the areas where osteoarthritis occurs most frequently after the hand and hip joint, and as average life expectancy increases, the number of patients with knee osteoarthritis is increasing.

하지의 정렬 상태를 분석하는 것은 무릎 골관절염의 진행 상태를 파악하고 향후 치료 방침을 결정하는 데 매우 중요하다. 이를 위해 임상에서는 하지 골격을 전반적으로 확인할 수 있는 원격 방사선 촬영(teleradiography)이 주로 이루어지고 있다.Analyzing the alignment of the lower extremities is very important in determining the progress of knee osteoarthritis and determining future treatment plans. For this purpose, teleradiography, which allows the overall examination of the lower extremity skeleton, is mainly used in clinical practice.

즉, 원격 방사선 촬영을 통해 HKA(hip-knee-ankle angle), mechanical axis, MPTA(mechanical proximal tibial angle, 내측 근위 경골 각도) 등의 방사선학적 파라미터를 측정하여 하지의 정렬 상태를 확인할 수 있으며, 이는 무릎 골관절염 환자의 수술 여부의 결정과 수술 계획 시 중요한 기준이 된다.In other words, the alignment of the lower extremities can be confirmed by measuring radiological parameters such as HKA (hip-knee-ankle angle), mechanical axis, and MPTA (mechanical proximal tibial angle) through remote radiography. It is an important criterion when deciding whether to undergo surgery for patients with knee osteoarthritis and when planning surgery.

한편, 하지 정렬 상태를 분석하기 위해서는 최소 8개 이상의 해부학적 구조물(anatomical landmark)들을 찾아내고, 이를 분석하여 하지 정렬 상태를 추정하기 위한 하지의 각도(mLDFA, MPTA, LPFA 등)들을 도출해 내는 과정이 필수적이다. 예를 들면, 고경골 절골술(high tibial osteotomy, HTO)과 같은 재정렬 수술 시 무릎 관절의 하중 분산은 기계적 축의 이동을 통해 이루어지기 때문에, 원격 방사선 촬영에서 환자 하지의 기계적 축을 측정하는 것은 해당 수술에 있어서 중요한 기준이 된다. 특히 HTO 중 MPTA의 과도한 변화는 관절 연골에 전단 응력을 유발할 수 있으므로, 수술 전 MPTA의 재정렬 여부는 수술 결정 여부 및 수술 계획 시 중요한 지표이다.Meanwhile, in order to analyze the alignment of the lower extremities, the process is to find at least eight anatomical landmarks and analyze them to derive angles of the lower extremities (mLDFA, MPTA, LPFA, etc.) to estimate the alignment of the lower extremities. It is essential. For example, during realignment surgery such as high tibial osteotomy (HTO), the load distribution of the knee joint is achieved through movement of the mechanical axis, so measuring the mechanical axis of the patient's lower extremity through teleradiography is essential for the relevant surgery. It becomes an important standard. In particular, excessive changes in the MPTA during HTO can cause shear stress in the articular cartilage, so realignment of the MPTA before surgery is an important indicator when deciding on surgery and planning surgery.

그러나 이러한 과정은 많은 시간을 필요로 하여 임상 진료의 비효율을 초래하며, 전문의의 주관과 경험에 따라 해부학적 구조물과 하지의 각도의 측정 편차가 발생한다. 이 때문에 정확하고 객관적이면서도 빠른 시간 안에 자동으로 하지 정렬 상태를 자동으로 분석하는 방법에 대한 기술이 필요한 상황이다.However, this process requires a lot of time, resulting in inefficiency in clinical care, and deviations in measurement of anatomical structures and lower extremity angles occur depending on the subjectivity and experience of the specialist. For this reason, there is a need for technology to automatically analyze the alignment status of the lower extremities accurately, objectively, and within a short period of time.

한편, 딥러닝은 영상에서 특정 영역이나 구조들을 인식하거나 다양한 지표들을 분석하는 데 뛰어난 것으로 알려져 있다. 특히 GPGUP(general-purpose computing on graphics processing units)의 발전으로 합성곱 신경망(convolutional neural network, CNN)의 학습 속도가 비약적으로 빨라지면서, 딥러닝은 흉부 X선 영상의 분석, 2D CT 영상의 분할, 뇌 MRI 영상의 허혈성 병변 검출 등 의료 분야에서 널리 적용되고 있는 추세이다. Meanwhile, deep learning is known to be excellent at recognizing specific areas or structures in images or analyzing various indicators. In particular, with the development of GPGUP (general-purpose computing on graphics processing units), the learning speed of convolutional neural networks (CNN) has dramatically accelerated, and deep learning has become widely used in the analysis of chest X-ray images, segmentation of 2D CT images, It is being widely applied in the medical field, including detection of ischemic lesions in brain MRI images.

이러한 딥러닝을 이용하여 하지 X선 영상을 분석하려는 시도는 여러번 있어 왔다. 예를 들면, DCNN을 이용하여 무릎 및 고관절 방사선 사진의 K-L 등급을 자동으로 측정하는 연구가 있었으며, 머신러닝 기반 알고리즘을 이용하여 무릎 골관절염의 진행을 예측한 연구도 있었다. 다른 연구에서는 CNN을 이용하여 하지 방사선 사진의 여러 각도를 분석하거나, 딥러닝을 이용하여 무릎 AP 방사선 사진에서 체중 지지선을 얻으려는 시도도 있었다.There have been several attempts to analyze lower extremity X-ray images using deep learning. For example, there was a study that used DCNN to automatically measure the K-L grade of knee and hip radiographs, and there was also a study that predicted the progression of knee osteoarthritis using a machine learning-based algorithm. In other studies, there were attempts to analyze various angles of lower extremity radiographs using CNN or to obtain weight bearing lines from knee AP radiographs using deep learning.

그러나 이러한 연구들은 학습 데이터가 적거나, 인식되는 해부학적 구조물들의 수가 적거나, 분석되는 하지의 각도의 수가 제한되는 등의 한계점이 있었으며, 원격 방사선 촬영으로 분석을 했다고 하더라도 그 정확성이 다소 낮아 임상에서 활용하기는 어려웠다. 특히, 원격 방사선 촬영이 아닌 무릎 AP 방사선 사진의 분석만으로는 체중 지지선을 정확히 유추하는 데 한계가 있었다. However, these studies had limitations such as a small amount of learning data, a small number of recognized anatomical structures, and a limited number of lower extremity angles analyzed. Even if the analysis was performed using remote radiography, the accuracy was somewhat low, making it difficult to use in clinical practice. It was difficult to use. In particular, there were limitations in accurately inferring the weight bearing line solely through analysis of knee AP radiographs rather than teleradiography.

이에 따라 다수의 학습 데이터를 바탕으로 다양한 해부학적 구조물에 대해 학습함으로써 하지 정렬 상태를 종합적으로 분석할 수 있는 딥러닝 모델에 대한 기술의 필요성이 대두되고 있다.Accordingly, the need for technology for a deep learning model that can comprehensively analyze the alignment of the lower extremities by learning about various anatomical structures based on a large number of learning data is emerging.

대한민국특허청 등록특허공보 제10-2127151호Korea Intellectual Property Office Registered Patent Publication No. 10-2127151

상술한 문제점을 해결하기 위한 본 발명의 목적은 하지 X선 이미지의 하지 정렬 상태를 분석함에 있어 합성곱 신경망에 기반한 학습모델을 도입하여 분석 및 판단의 전 과정을 자동화하고 짧은 시간 안에 객관적이고 정확한 결과를 도출할 수 있는 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치 및 방법을 제공하는 것이다.The purpose of the present invention to solve the above-mentioned problems is to automate the entire analysis and judgment process by introducing a learning model based on a convolutional neural network in analyzing the alignment state of the lower extremity X-ray image, and to achieve objective and accurate results in a short time. To provide an automatic analysis device and method for the alignment state of the lower extremity X-ray image that can derive the.

본 발명의 다른 목적은 하지 X선 이미지의 하지 정렬 상태에 대한 분석 및 판단의 근거를 설명할 수 있는 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치 및 방법을 제공하는 것이다.Another object of the present invention is to provide an automatic analysis device and method for the alignment state of the lower extremity X-ray image, which can explain the basis for analysis and judgment of the alignment state of the lower extremity X-ray image.

본 출원의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않는 또 다른 과제는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problem of the present application is not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

상술한 문제점을 해결하기 위해서, 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치는 프로세서; 및 상기 프로세서에 의해 수행되도록 구현된 하나 이상의 명령어(instructions)를 포함하는 메모리를 포함하고, 상기 프로세서는, 하지 이미지를 전처리하여 전처리 이미지를 생성하고; CNN(convolutional neural network) 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 해부학적 구조물(anatomical landmarks)을 각각 인식하며; 복수의 상기 해부학적 구조물에 대한 인식 결과를 반영하여 복수의 상기 해부학적 구조물의 위치를 각각 표시하고; 복수의 상기 해부학적 구조물의 상기 위치를 이용하여 복수의 하지 각도를 판단하며; 및 상기 해부학적 구조물의 상기 위치와 상기 하지 각도의 판단 결과를 디스플레이 장치에 디스플레이할 수 있다.In order to solve the above-described problem, an apparatus for automatically analyzing the alignment state of a lower extremity X-ray image using a convolutional neural network according to an embodiment of the present invention includes a processor; and a memory including one or more instructions implemented to be performed by the processor, wherein the processor: preprocesses the underlying image to generate a preprocessed image; Recognize a plurality of anatomical landmarks in the pre-processed image based on a convolutional neural network (CNN)-based learning model; Displaying the positions of a plurality of anatomical structures, respectively, by reflecting recognition results for the plurality of anatomical structures; determining a plurality of lower extremity angles using the positions of the plurality of anatomical structures; And the determination result of the position of the anatomical structure and the angle of the lower extremity may be displayed on a display device.

바람직하게는, 상기 프로세서는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식 시, 상기 전처리 이미지에서 고관절, 슬관절 및 족관절을 인식하고, 상기 고관절, 상기 슬관절 및 상기 족관절 각각에 대한 고해상도 이미지를 생성하며, 각각의 고해상도 이미지에서 상기 해부학적 구조물을 인식할 수 있다.Preferably, the processor recognizes a hip joint, a knee joint, and an ankle joint in the pre-processed image when each of the plurality of anatomical structures is recognized in the pre-processed image based on the CNN-based learning model, and the hip joint and the knee joint and generate high-resolution images for each of the ankle joints, and recognize the anatomical structures in each high-resolution image.

바람직하게는, 상기 프로세서는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식 시, 상기 고관절에 대한 고해상도 이미지에서 대퇴골두의 중심(center of femoral head) 및 대퇴골의 대전자의 끝단(tip of greater trochanter of femur)을 포함하는 상기 해부학적 구조물을 인식하고, 상기 슬관절에 대한 고해상도 이미지에서 대퇴골의 외측 원위점(lateral distal point of femur), 대퇴골의 내측 원위점(medial distal point of femur), 대퇴골의 과간와(intercondylar fossa of femur), 외측 경골 관절 가장자리(lateral tibial articular edge), 내측 경골 관절 가장자리(medial tibial articular edge), 외측 경골극(lateral spine of tibia), 내측 경골극(medial spine of tibia), 경골 고평선의 외측 중앙점(midpoint of lateral tibial plateau), 경골 고평선의 내측 중앙점(midpoint of medial tibial plateau) 및 비골두의 끝단(tip of fibula head)을 포함하는 상기 해부학적 구조물을 인식하고, 상기 족관절에 대한 고해상도 이미지에서 내측 거골 돔의 가장자리(lateral edge of tibial dome), 외측 거골 돔의 가장자리(medial edge of tibial dome) 및 거골 돔의 중심(center of tibial dome)을 포함하는 상기 해부학적 구조물을 인식할 수 있다.Preferably, when the processor recognizes each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model, the center of the femoral head and Recognize the anatomical structures including the tip of the greater trochanter of the femur, and identify the lateral distal point of the femur and the medial distal point of the femur in a high-resolution image of the knee joint. medial distal point of femur, intercondylar fossa of femur, lateral tibial articular edge, medial tibial articular edge, lateral spine of tibia, Includes the medial spine of tibia, midpoint of lateral tibial plateau, midpoint of medial tibial plateau, and tip of fibula head. Recognize the anatomical structures and identify the lateral edge of the tibial dome, the medial edge of the tibial dome, and the center of the tibial dome in a high-resolution image of the ankle joint. The anatomical structure including the dome can be recognized.

바람직하게는, 상기 프로세서는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식 시, 상기 내측 경골 관절 가장자리와 상기 외측 경골 관절 가장자리 사이의 거리를 경골 너비(tibial width)로 인식하고, 상기 내측 경골 관절 가장자리와 상기 외측 경골 관절 가장자리 사이의 x축 거리를 수평 경골 너비(horizontal tibial width)로 인식할 수 있다.Preferably, when recognizing each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model, the processor determines the distance between the medial tibial joint edge and the lateral tibial joint edge as the tibial width ( tibial width), and the x-axis distance between the medial tibial joint edge and the lateral tibial joint edge can be recognized as the horizontal tibial width.

바람직하게는, 상기 프로세서는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식 시, 상기 고관절, 상기 슬관절 및 상기 족관절 각각에 대한 고해상도 이미지를 생성하는 경우 상기 수평 경골 너비를 기준으로 하여 정규화된 고해상도 이미지를 생성할 수 있다.Preferably, the processor generates high-resolution images for each of the hip joint, the knee joint, and the ankle joint when each of the plurality of anatomical structures is recognized in the pre-processed image based on the CNN-based learning model. High-resolution images normalized based on horizontal tibial width can be generated.

바람직하게는, 상기 프로세서는, 복수의 상기 해부학적 구조물의 상기 위치를 이용하여 복수의 상기 하지 각도를 판단 시, mLDFA(mechanical lateral distal femoral angle), MPTA(medial proximal tibial angle), LPFA(lateral proximal femoral angle), LDTA(lateral distal tibial angle), JLCA(joint line convergence angle) 및 HKA(hip-knee-ankle angle)를 포함하는 상기 하지 각도를 각각 판단할 수 있다.Preferably, when determining the plurality of lower limb angles using the positions of the plurality of anatomical structures, the processor determines mechanical lateral distal femoral angle (mLDFA), medial proximal tibial angle (MPTA), and lateral proximal angle (LPFA). The lower extremity angles including femoral angle, LDTA (lateral distal tibial angle), JLCA (joint line convergence angle), and HKA (hip-knee-ankle angle) can be determined, respectively.

본 발명의 다른 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 방법은 프로세서에 의해 하지 X선 이미지의 하지 정렬 상태를 자동 분석하는 방법에 있어서, 하지 이미지를 전처리하여 전처리 이미지를 생성하는 단계; CNN(convolutional neural network) 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 해부학적 구조물(anatomical landmarks)을 각각 인식하는 단계; 복수의 상기 해부학적 구조물에 대한 인식 결과를 반영하여 복수의 상기 해부학적 구조물의 위치를 각각 표시하는 단계; 복수의 상기 해부학적 구조물의 상기 위치를 이용하여 복수의 하지 각도를 판단하는 단계; 및 상기 해부학적 구조물의 상기 위치와 상기 하지 각도의 판단 결과를 디스플레이 장치에 디스플레이하는 단계를 포함할 수 있다.A method of automatically analyzing the alignment state of a lower extremity X-ray image using a convolutional neural network according to another embodiment of the present invention includes preprocessing the lower extremity image and Generating a preprocessed image; Recognizing each of a plurality of anatomical landmarks in the pre-processed image based on a convolutional neural network (CNN)-based learning model; reflecting the recognition results for the plurality of anatomical structures and displaying the positions of each of the plurality of anatomical structures; determining a plurality of lower extremity angles using the positions of the plurality of anatomical structures; and displaying the determination result of the position of the anatomical structure and the angle of the lower extremity on a display device.

바람직하게는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식하는 단계에서, 상기 전처리 이미지에서 고관절, 슬관절 및 족관절을 인식하고, 상기 고관절, 상기 슬관절 및 상기 족관절 각각에 대한 고해상도 이미지를 생성하며, 각각의 고해상도 이미지에서 상기 해부학적 구조물을 인식할 수 있다.Preferably, in the step of recognizing each of the plurality of anatomical structures in the pre-processing image based on the CNN-based learning model, the hip joint, knee joint, and ankle joint are recognized in the pre-processing image, and the hip joint, the knee joint, and the A high-resolution image is generated for each ankle joint, and the anatomical structures can be recognized in each high-resolution image.

바람직하게는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식하는 단계에서, 상기 고관절에 대한 고해상도 이미지에서 대퇴골두의 중심(center of femoral head) 및 대퇴골의 대전자의 끝단(tip of greater trochanter of femur)을 포함하는 상기 해부학적 구조물을 인식하고, 상기 슬관절에 대한 고해상도 이미지에서 대퇴골의 외측 원위점(lateral distal point of femur), 대퇴골의 내측 원위점(medial distal point of femur), 대퇴골의 과간와(intercondylar fossa of femur), 외측 경골 관절 가장자리(lateral tibial articular edge), 내측 경골 관절 가장자리(medial tibial articular edge), 외측 경골극(lateral spine of tibia), 내측 경골극(medial spine of tibia), 경골 고평선의 외측 중앙점(midpoint of lateral tibial plateau), 경골 고평선의 내측 중앙점(midpoint of medial tibial plateau) 및 비골두의 끝단(tip of fibula head)을 포함하는 상기 해부학적 구조물을 인식하고, 상기 족관절에 대한 고해상도 이미지에서 내측 거골 돔의 가장자리(lateral edge of tibial dome), 외측 거골 돔의 가장자리(medial edge of tibial dome) 및 거골 돔의 중심(center of tibial dome)을 포함하는 상기 해부학적 구조물을 인식할 수 있다.Preferably, in the step of recognizing each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model, the center of the femoral head and the femur in the high-resolution image of the hip joint Recognize the anatomical structures, including the tip of the greater trochanter of femur, and identify the lateral distal point of femur and medial distal point of the femur in high-resolution images of the knee joint. point of femur, intercondylar fossa of femur, lateral tibial articular edge, medial tibial articular edge, lateral spine of tibia, medial tibia The above including the medial spine of tibia, the lateral midpoint of the tibial plateau, the medial midpoint of the tibial plateau, and the tip of the fibula head. Recognize anatomical structures and identify the lateral edge of tibial dome, medial edge of tibial dome, and center of tibial dome in high-resolution images of the ankle joint. The anatomical structures including can be recognized.

바람직하게는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식하는 단계에서, 상기 내측 경골 관절 가장자리와 상기 외측 경골 관절 가장자리 사이의 거리를 경골 너비(tibial width)로 인식하고, 상기 내측 경골 관절 가장자리와 상기 외측 경골 관절 가장자리 사이의 x축 거리를 수평 경골 너비(horizontal tibial width)로 인식할 수 있다.Preferably, in the step of recognizing each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model, the distance between the medial tibial joint edge and the lateral tibial joint edge is measured as tibial width. ), and the x-axis distance between the medial tibial joint edge and the lateral tibial joint edge can be recognized as the horizontal tibial width.

바람직하게는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식하는 단계에서, 상기 고관절, 상기 슬관절 및 상기 족관절 각각에 대한 고해상도 이미지를 생성하는 경우 상기 수평 경골 너비를 기준으로 하여 정규화된 고해상도 이미지를 생성할 수 있다.Preferably, in the step of recognizing each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model, when generating high-resolution images for each of the hip joint, the knee joint, and the ankle joint, the horizontal tibia You can create high-resolution images normalized based on width.

바람직하게는, 복수의 상기 해부학적 구조물의 상기 위치를 이용하여 복수의 상기 하지 각도를 판단하는 단계에서, mLDFA(mechanical lateral distal femoral angle), MPTA(medial proximal tibial angle), LPFA(lateral proximal femoral angle), LDTA(lateral distal tibial angle), JLCA(joint line convergence angle) 및 HKA(hip-knee-ankle angle)를 포함하는 상기 하지 각도를 각각 판단할 수 있다.Preferably, in the step of determining the plurality of lower limb angles using the positions of the plurality of anatomical structures, mechanical lateral distal femoral angle (mLDFA), medial proximal tibial angle (MPTA), and lateral proximal femoral angle (LPFA) ), lateral distal tibial angle (LDTA), joint line convergence angle (JLCA), and hip-knee-ankle angle (HKA) can be determined.

본 발명은 하지 X선 이미지의 하지 정렬 상태를 분석함에 있어 합성곱 신경망에 기반한 학습모델을 도입하여 분석 및 판단의 전 과정을 자동화하고 짧은 시간 안에 객관적이고 정확한 결과를 도출할 수 있는 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치 및 방법을 제공할 수 있다.The present invention automates the entire analysis and judgment process by introducing a learning model based on a convolutional neural network in analyzing the alignment status of lower limb X-ray images, and can produce objective and accurate results in a short time. A device and method for automatic analysis of the not-aligned state can be provided.

본 발명은 하지 X선 이미지의 하지 정렬 상태에 대한 분석 및 판단의 근거를 설명할 수 있는 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치 및 방법을 제공할 수 있다.The present invention can provide an apparatus and method for automatically analyzing the alignment state of the lower extremity X-ray image, which can explain the basis for analysis and judgment of the alignment state of the lower extremity X-ray image.

본 발명은 하지 X선 이미지의 하지 정렬 상태를 객관적으로 평가할 수 있게 됨으로써 진료하는 의사에 따른 진단의 차이를 줄일 수 있는 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치 및 방법을 제공할 수 있다.The present invention can provide an apparatus and method for automatically analyzing the alignment state of the lower extremity X-ray image, which can reduce differences in diagnosis depending on the treating doctor by being able to objectively evaluate the alignment state of the lower extremity X-ray image.

본 출원의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않는 또 다른 효과는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present application are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 시스템의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 전처리 이미지를 생성하는 과정을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치의 분석 대상이 되는 인체 하지의 해부학적 구조물을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 CNN 기반의 학습모델에 기초하여 전처리 이미지에서 복수의 해부학적 구조물을 각각 인식하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 고관절 이미지로부터 인식하는 해부학적 구조물의 특정 부위를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 슬관절 이미지로부터 인식하는 해부학적 구조물의 특정 부위를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 족관절 이미지로부터 인식하는 해부학적 구조물의 특정 부위를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 인식하는 경골 너비와 경골 수평 너비를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 판단하는 복수의 하지 각도를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치를 통해 도출된 각각의 하지 각도에 대한 95% 신뢰 구간의 Bland-Altman 플롯이다.
도 12는 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 방법의 과정을 나타낸 순서도이다.Figure 1 is a diagram showing the configuration of an automatic analysis device for the alignment status of lower extremity X-ray images using a convolutional neural network according to an embodiment of the present invention.
Figure 2 is a diagram showing the configuration of a system for automatically analyzing the alignment status of lower extremity X-ray images using a convolutional neural network according to an embodiment of the present invention.
Figure 3 is a diagram illustrating a process for generating a preprocessed image by an automatic analysis device for the alignment state of a lower extremity X-ray image using a convolutional neural network according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating the anatomical structures of the human lower extremities that are subject to analysis by an automatic analysis device for lower extremity alignment status of lower extremity X-ray images using a convolutional neural network according to an embodiment of the present invention.
Figure 5 shows a process in which an automatic analysis device for the alignment state of a lower extremity X-ray image using a convolutional neural network according to an embodiment of the present invention recognizes a plurality of anatomical structures in the preprocessed image based on a CNN-based learning model. This is the drawing shown.
FIG. 6 is a diagram showing a specific part of an anatomical structure recognized from a hip joint image by an automatic analysis device for the alignment state of a lower extremity X-ray image using a convolutional neural network according to an embodiment of the present invention.
FIG. 7 is a diagram showing a specific part of an anatomical structure recognized from a knee joint image by an automatic analysis device for the alignment state of a lower extremity X-ray image using a convolutional neural network according to an embodiment of the present invention.
FIG. 8 is a diagram showing a specific part of an anatomical structure recognized from an ankle joint image by an automatic analysis device for the alignment state of a lower extremity X-ray image using a convolutional neural network according to an embodiment of the present invention.
Figure 9 is a diagram showing the tibia width and tibia horizontal width recognized by an automatic analysis device for lower extremity alignment status of lower extremity X-ray images using a convolutional neural network according to an embodiment of the present invention.
Figure 10 is a diagram showing a plurality of lower extremity angles determined by an automatic analysis device for lower extremity alignment status of lower extremity X-ray images using a convolutional neural network according to an embodiment of the present invention.
Figure 11 is a Bland-Altman plot of the 95% confidence interval for each lower extremity angle derived through an automatic analysis device for lower extremity alignment status of lower extremity X-ray images using a convolutional neural network according to an embodiment of the present invention.
Figure 12 is a flowchart showing the process of a method for automatically analyzing the alignment state of the lower extremity X-ray image using a convolutional neural network according to an embodiment of the present invention.

이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings. However, the attached drawings are merely explained to more easily disclose the content of the present invention, and the scope of the present invention is not limited to the scope of the attached drawings. Those skilled in the art will easily understand this. You will find out.

또한, 본 발명의 상세한 설명 및 청구항들에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Additionally, the terms used in the detailed description and claims of the present invention are only used to describe specific embodiments and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.

본 발명의 상세한 설명 및 청구항들에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the detailed description and claims of the present invention, terms such as “comprise” or “have” are intended to indicate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification. It should be understood that this does not exclude in advance the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

본 발명의 상세한 설명 및 청구항들에서, “학습”, 혹은 “러닝” 등의 용어는 절차에 따른 컴퓨팅(computing)을 통하여 기계학습(machine learning)을 수행함을 일컫는 용어인바, 인간의 교육활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아닌 것으로 이해되어야 한다.In the detailed description and claims of the present invention, terms such as “learning” or “learning” refer to performing machine learning through procedural computing, similar to human educational activities. It should be understood that it is not intended to refer to mental operations.

본 발명의 상세한 설명 및 청구항들에서 사용한 “이미지”의 용어는 사람 또는 사물의 형태 또는 그의 구체적인 특성을 디지털 형태로 복제 또는 모방한 것으로 정의될 수 있고, 이미지는 JPEG 이미지, PNG 이미지, GIF 이미지, TIFF 이미지 또는 당 업계에 알려진 임의의 다른 디지털 이미지 형식일 수 있지만 이에 제한되지는 않는다. 또한, "이미지"는 "사진" 또는 “영상”과 같은 의미로 사용될 수 있다.The term “image” used in the detailed description and claims of the present invention may be defined as a reproduction or imitation of the shape of a person or object or its specific characteristics in digital form, and the image may include a JPEG image, PNG image, GIF image, It may be, but is not limited to, a TIFF image or any other digital image format known in the art. Additionally, “image” can be used in the same sense as “photo” or “video.”

본 발명에 개시된 장치, 방법, 시스템 및 디바이스 등은 하지 X선 이미지 또는 질병상태의 진단을 지원할 수 있는 임의의 다른 생물학적 조직 이미지에 적용하여 사용될 수 있지만, 이에 한정되지 않고, 컴퓨터 단층 촬영(CT), 자기 공명 영상(MRI), 컴퓨터 방사선 촬영, 자기 공명, 혈관 내시경, 광 간섭 단층 촬영, 컬러 플로우 도플러, 방광경 검사, 디아파노그래피(diaphanography), 심장 초음파 검사, 플루오레소신 혈관 조영술(fluoresosin angiography), 복강경 검사, 자기 공명 혈관 조영술, 양전자 방출 단층 촬영(positron emission tomography), 단일 광자 방출 컴퓨터 단층 촬영, X선 혈관 조영술, 핵의학, 생체 자기 영상, culposcopy, 이중 도플러, 디지털 현미경, 내시경, 레이저, 표면 스캔, 자기 공명 분광법, 방사선 그래픽 이미징, 열 화상 촬영 및 방사선 형광 검사에 사용될 수 있다.The apparatus, method, system, and devices disclosed in the present invention can be used by applying to lower extremity X-ray images or any other biological tissue images that can support the diagnosis of disease states, but are not limited thereto, and are not limited to computed tomography (CT) , magnetic resonance imaging (MRI), computed radiography, magnetic resonance, vascular endoscopy, optical coherence tomography, color flow Doppler, cystoscopy, diaphanography, echocardiography, fluoresosin angiography. , laparoscopy, magnetic resonance angiography, positron emission tomography, single photon emission computed tomography, X-ray angiography, nuclear medicine, biomagnetic imaging, culposcopy, duplex Doppler, digital microscopy, endoscopy, laser, It can be used for surface scanning, magnetic resonance spectroscopy, radiographic imaging, thermography and radiofluorescence.

더욱이, 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.Moreover, the present invention encompasses all possible combinations of the embodiments shown herein. It should be understood that the various embodiments of the present invention are different from one another but are not necessarily mutually exclusive. For example, specific shapes, structures and characteristics described herein with respect to one embodiment may be implemented in other embodiments without departing from the spirit and scope of the invention. Additionally, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the detailed description that follows is not intended to be taken in a limiting sense, and the scope of the invention is limited only by the appended claims, together with all equivalents to what those claims assert, if properly described. Similar reference numbers in the drawings refer to identical or similar functions across various aspects.

도 1은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치(이하, "본 하지 정렬 상태 자동 분석 장치"라 함)의 구성을 나타낸 도면이다.Figure 1 is a diagram showing the configuration of an automatic lower limb alignment state analysis device (hereinafter referred to as “automatic lower extremity alignment state analysis device”) of lower extremity X-ray images using a convolutional neural network according to an embodiment of the present invention.

도 1을 참조하면, 본 하지 정렬 상태 자동 분석 장치(100)는 컴퓨팅 디바이스(Computing Device, 110), 디스플레이 디바이스(Display Device, 130) 및/또는 카메라(Camera, 150)를 포함할 수 있다.Referring to FIG. 1 , the apparatus 100 for automatically analyzing the alignment of the lower extremities may include a computing device 110, a display device 130, and/or a camera 150.

컴퓨팅 디바이스(110)는 프로세서(Processor, 111), 메모리부(Memory Unit, 113), 스토리지 디바이스(Storage Device, 115), 입/출력 인터페이스(117), 네트웍 어뎁터(Network Adapter, 118), 디스플레이 어뎁터(Display Adapter, 119), 및/또는 프로세서(111)를 포함한 다양한 시스템 구성요소를 메모리부(113)에 연결하는 시스템 버스(System bus, 112)를 포함할 수 있지만 이에 한정되지 않는다. 또한, 본 하지 정렬 상태 자동 분석 장치(100)는 정보를 전달하기 위한 시스템 버스(112)뿐만 아니라 다른 통신 메커니즘을 포함할 수 있다.The computing device 110 includes a processor (111), a memory unit (113), a storage device (115), an input/output interface (117), a network adapter (118), and a display adapter. (Display Adapter, 119), and/or a system bus (System bus, 112) connecting various system components including the processor 111 to the memory unit 113, but is not limited thereto. Additionally, the automatic lower extremity alignment condition analysis device 100 may include a system bus 112 as well as other communication mechanisms for conveying information.

시스템 버스(112) 또는 다른 통신 메커니즘은, 프로세서, 컴퓨터 판독가능한 기록매체인 메모리, 근거리 통신 모듈(예를 들어, 블루투스나 NFC), 네트워크 인터페이스나 이동통신 모듈을 포함하는 네트워크 어뎁터, 디스플레이 디바이스(예를 들면, CRT 또는 LCD 등), 입력장치(예를 들면, 키보드, 키패드, 가상 키보드, 마우스, 트랙볼, 스타일러스, 터치 감지 수단 등), 및/또는 하위 시스템들을 상호 접속한다.The system bus 112 or other communication mechanism may include a processor, a memory that is a computer-readable recording medium, a short-range communication module (e.g., Bluetooth or NFC), a network adapter including a network interface or mobile communication module, and a display device (e.g., (e.g., CRT or LCD, etc.), input devices (e.g., keyboard, keypad, virtual keyboard, mouse, trackball, stylus, touch sensing means, etc.), and/or subsystems.

프로세서(111)는 학습모델(13)을 활용하여 자동으로 프로세싱하는 프로세싱 모듈일 수 있고, CPU, AP(Application Processor), 마이크로 컨트롤러 등일 수 있으나 이에 한정되는 것은 아니다.The processor 111 may be a processing module that automatically processes using the learning model 13, and may be a CPU, an application processor (AP), a microcontroller, etc., but is not limited thereto.

프로세서(111)는 디스플레이 디바이스용 하드웨어 제어기 예를들어, 디스플레이 어뎁터(119)와 통신하여 디스플레이 디바이스(130) 상에 본 하지 정렬 상태 자동 분석 장치(100)의 동작 및 유저 인터페이스를 표시할 수 있다.The processor 111 may communicate with a hardware controller for a display device, such as a display adapter 119, to display the operation and user interface of the automatic lower extremity alignment state analysis device 100 on the display device 130.

프로세서(111)는 메모리부(113)에 접속하여 메모리부에 저장된 명령들이나 로직의 하나 이상의 시퀀스들을 실행하는 것에 의해 이후 설명될 본 하지 정렬 상태 자동 분석 장치(100)의 동작을 제어한다.The processor 111 controls the operation of the automatic lower limb alignment state analysis device 100, which will be described later, by accessing the memory unit 113 and executing one or more sequences of instructions or logic stored in the memory unit.

이러한 명령들은, 정적 저장부(Static storage) 또는 디스크 드라이브와 같은 다른 컴퓨터 판독가능 기록매체로부터 메모리 안에서 판독될 수도 있다. 다른 실시형태들에서, 본 개시를 구현하기 위한 소프트웨어 명령들을 대신하거나 소프트웨어 명령들과 조합된 하드웨어에 내장된 회로부(hard-wired circuitry)가 사용될 수도 있다. 로직은, 프로세서로 명령들을 제공하는데 참여하는 임의의 매체를 지칭할 수도 있으며, 메모리부(113)에 로딩될 수도 있다.These instructions may be read in memory from static storage or another computer-readable recording medium, such as a disk drive. In other embodiments, hard-wired circuitry may be used instead of or in combination with software instructions to implement the present disclosure. Logic may refer to any medium that participates in providing instructions to the processor and may be loaded into the memory unit 113.

시스템 버스(System bus, 112)는 다양한 버스 구조(architectures) 중 임의의 것을 사용하는 메모리 버스 또는 메모리 컨트롤러, 주변장치버스, 가속 그래픽 포트 및 프로세서 혹은 로컬 버스를 포함하는 여러 가능한 유형의 버스 구조 중 하나 이상을 나타낸다. 예를 들어, 이런 구조들(architectures)은 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA)버스, VESA(Video Electronics Standard Association) 로컬 버스, AGP(Accelerated Graphics Port) 버스 및 PCI(Peripheral Component Interconnects), PCI-Express 버스, PCMCIA(Personal Computer Memory Card Industry Association), USB(Universal Serial Bus)과 같은 것을 포함할 수 있다.System bus 112 is one of several possible types of bus architectures, including a memory bus or memory controller, peripheral bus, accelerated graphics port, and processor or local bus using any of a variety of bus architectures. It indicates abnormality. For example, these architectures include the Industry Standard Architecture (ISA) bus, Micro Channel Architecture (MCA) bus, Enhanced ISA (EISA) bus, Video Electronics Standard Association (VESA) local bus, and Accelerated Graphics Port (AGP). Buses and may include things like Peripheral Component Interconnects (PCI), PCI-Express bus, Personal Computer Memory Card Industry Association (PCMCIA), and Universal Serial Bus (USB).

시스템 버스(System bus, 112)는 유, 무선 네트워크 연결로서 실행될 수 있다. 프로세서(Processor, 111), 대용량 스토리지 장치(Mass Storage Device), 오퍼레이팅 시스템(Operating System, 113c, 115a), 이미징 소프트웨어(Imaging Software, 113b, 115b), 이미징 데이터(Imaging Data, 113a, 115c), 네트워크 어뎁터(Network Adapter, 118), 시스템 메모리(System Memory), 입/출력 인터페이스(Input/Output Interface, 117), 디스플레이 어뎁터(Display Adapter, 119) 및/또는 디스플레이 디바이스(Display Device, 130)를 포함하는 서브 시스템 각각은 물리적으로 분리된 위치에 후술할 하나 이상의 원격 컴퓨팅 디바이스(Remote Computing Device, 200, 300, 400) 안에 포함될 수 있고, 분산된 시스템을 효율적으로 실행하는데 있어 이와 같은 형태의 버스들을 통해 연결될 수 있다.The system bus (System bus, 112) can be implemented as a wired or wireless network connection. Processor 111, Mass Storage Device, Operating System 113c, 115a, Imaging Software 113b, 115b, Imaging Data 113a, 115c, Network Adapter (Network Adapter, 118), System Memory, Input/Output Interface (117), Display Adapter (119) and/or Display Device (130) Each subsystem may be included in one or more remote computing devices (200, 300, 400), which will be described later, in a physically separate location, and can be connected through these types of buses to efficiently run the distributed system. You can.

버스의 배선들(wires)을 포함하는 송신 매체들은 동축 케이블, 동선(copper wire), 및 광섬유들을 포함할 수 있다. 일 예에서, 송신 매체들은, 라디오 파 통신이나 적외선 데이터 통신 동안 생성된 음파 또는 광파의 형태를 취할 수도 있다.Transmission media, including the wires of the bus, may include coaxial cable, copper wire, and optical fibers. In one example, transmission media may take the form of acoustic or light waves generated during radio wave communications or infrared data communications.

본 하지 정렬 상태 자동 분석 장치(100)는, 네트워크 링크 및 네트워크 어뎁터(Network Adapter, 118)를 통해 메시지들, 데이터, 정보 및 하나 이상의 프로그램들(즉, 애플리케이션 코드)을 포함하는 명령들을 송신하고 수신할 수도 있다. The automatic lower limb alignment status analysis device 100 transmits and receives commands including messages, data, information, and one or more programs (i.e., application code) through a network link and a network adapter (Network Adapter, 118). You may.

네트워크 어뎁터(Network Adapter, 118)는, 네트워크 링크를 통한 송수신을 가능하게 하기 위한, 별개의 또는 통합된 안테나를 포함할 수도 있다. 네트워크 어뎁터(118)는 네트워크에 접속하여 원격 컴퓨팅 장치(Remote Computing Device, 200, 300, 400)와 통신할 수 있다. 네트워크는 LAN, WLAN, PSTN, 및 셀룰러 폰 네트워크 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.A network adapter (Network Adapter, 118) may include a separate or integrated antenna to enable transmission and reception over a network link. The network adapter 118 can connect to a network and communicate with remote computing devices (Remote Computing Devices, 200, 300, and 400). The network may include, but is not limited to, at least one of a LAN, WLAN, PSTN, and cellular phone network.

네트워크 어뎁터(118)는 상기 네트워크에 접속하기 위한 네트워크 인터페이스 및 이동통신 모듈 중 적어도 하나를 포함할 수 있다. 이동통신 모듈은 세대별 이동통신망(예를 들어, 2G 내지 5G 이동통신망)에 접속가능하다. The network adapter 118 may include at least one of a network interface and a mobile communication module for accessing the network. The mobile communication module can be connected to a generation-specific mobile communication network (for example, 2G to 5G mobile communication network).

프로그램 코드는 수신될 때 프로세서(111)에 의해 실행될 수도 있고/있거나 실행을 위해 메모리부(113)의 디스크 드라이브 또는 디스크 드라이브와는 다른 종류의 비휘발성 메모리에 저장될 수도 있다.The program code may be executed by processor 111 when received and/or may be stored for execution in a disk drive of memory portion 113 or a type of non-volatile memory other than a disk drive.

컴퓨팅 디바이스(Computing device, 110)는 다양한 컴퓨터 판독가능한 기록매체일 수 있다. 판독가능한 매체는 컴퓨팅 디바이스에 의해 접근 가능한 임의의 다양한 매체가 될 수 있고, 예를들어, 휘발성(volatile) 또는 비휘발성 매체(non-volatile media), 유동 매체(removable media), 비유동 매체(non-removablemedia)를 포함할 수 있지만 이에 한정되지 않는다. Computing device 110 may be a variety of computer-readable recording media. Readable media can be any of a variety of media accessible by a computing device, for example, volatile or non-volatile media, removable media, non-volatile media, etc. may include, but is not limited to, removable media).

메모리부(113)는 본 하지 정렬 상태 자동 분석 장치(100)의 동작에 필요한 운영체제, 드라이버, 애플리케이션 프로그램, 데이터 및 데이터 베이스 등을 저장할 수 있으나 이에 한정되는 것은 아니다. 또한, 메모리부(113)는 RAM(Random Acces Memory)과 같은 휘발성 메모리, ROM(Read Only Memory) 및 플래시 메모리와 같은 비휘발성 메모리 형태로 컴퓨터 판독 가능한 매체를 포함할 수 있고, 또한, 디스크 드라이브 예를들면, 하드 디스크 드라이브(Hard Disk Drive), 솔리드 스테이트 드라이브(Solid State Drive), 광 디스크 드라이브 등을 포함할 수 있지만 이에 한정되지 않는다. 또한, 메모리부(113)와 스토리지 디바이스(115)는 각각 전형적으로 하지 X선 이미지와 같은 이미징 데이터(Imaging Data, 113a, 115a)와 같은 데이터, 프로세서(111)에 의해 동작되도록 즉시 접속될 수 있는 이미징 소프트웨어(113b, 115b)와 오퍼레이팅 시스템(113c, 115c)과 같은 프로그램 모듈을 포함할 수 있다.The memory unit 113 may store, but is not limited to, operating systems, drivers, application programs, data, and databases necessary for the operation of the automatic lower extremity alignment status analysis device 100. In addition, the memory unit 113 may include a computer-readable medium in the form of volatile memory such as RAM (Random Access Memory), non-volatile memory such as ROM (Read Only Memory) and flash memory, and may also include a disk drive, such as Examples may include, but are not limited to, hard disk drives, solid state drives, optical disk drives, etc. In addition, the memory unit 113 and the storage device 115 each typically have imaging data (Imaging Data, 113a, 115a) such as a lower extremity X-ray image, which can be immediately accessed to be operated by the processor 111. It may include program modules such as imaging software (113b, 115b) and operating systems (113c, 115c).

학습모델(13)은 프로세서(111), 메모리부(113) 혹은 스토리지 디바이스(115)에 삽입될 수 있다. 이때의 학습모델은 기계학습 알고리즘의 하나인 합성곱 신경망(Convolutional Neural Network, CNN), 심층 합성곱 신경망(Deep Convolutional Neural Network, DCNN) 등을 포함할 수 있고, 이에 한정되지 않는다.The learning model 13 may be inserted into the processor 111, the memory unit 113, or the storage device 115. The learning model at this time may include, but is not limited to, a convolutional neural network (CNN), a deep convolutional neural network (DCNN), which are one of the machine learning algorithms.

합성곱 신경망은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망은 하나 또는 여러개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, 합성곱 신경망은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. 합성곱 신경망은 또한 표준 역전달을 통해 훈련될 수 있다. 합성곱 신경망은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.Convolutional neural networks are a type of multilayer perceptrons designed to use minimal preprocessing. A convolutional neural network consists of one or several convolutional layers and general artificial neural network layers on top of them, and additionally utilizes weights and pooling layers. Thanks to this structure, the convolutional neural network can fully utilize input data with a two-dimensional structure. Compared to other deep learning structures, convolutional neural networks show good performance in both video and audio fields. Convolutional neural networks can also be trained via standard back propagation. Convolutional neural networks have the advantage of being easier to train and using fewer parameters than other feedforward artificial neural network techniques.

심층 합성곱 신경망은 합성곱 신경망을 기반으로 하되, 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이루어진 인공신경망(Artificial Neural Network, ANN)이다. 심층 합성곱 신경망은 심층 신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 예를 들어, 물체 식별 모델을 위한 심층 신경망 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있다. 이때, 추가 계층들은 점진적으로 모인 하위 계층들의 특징들을 규합시킬 수 있다. 심층 합성곱 신경망의 이러한 특징은, 비슷하게 수행된 합성곱 신경망에 비해 더 적은 수의 유닛(unit, node)들만으로도 복잡한 데이터를 모델링할 수 있게 해준다.A deep convolutional neural network is an artificial neural network (ANN) that is based on a convolutional neural network and consists of several hidden layers between the input layer and the output layer. Like deep neural networks, deep convolutional neural networks can model complex non-linear relationships. For example, in a deep neural network structure for an object identification model, each object can be expressed as a hierarchical composition of basic elements of the image. At this time, additional layers can gradually integrate the characteristics of the gathered lower layers. This feature of deep convolutional neural networks allows complex data to be modeled with fewer units (nodes) than a similarly performed convolutional neural network.

카메라부(150)는 오브젝트의 이미지를 촬상하고 그 이미지를 광전자적으로 이미지 신호로 변환하는 이미지 센서(미도시)를 포함하고, 대상체의 하지 X선 이미지를 촬영한다. 촬영된 대상체의 하지 X선 이미지는 입/출력 인터페이스(117)를 통하여 프로세서(111)에 제공되어 학습모델(13)에 기초하여 처리되거나 메모리부(113) 혹은 스토리지 디바이스(115)에 저장될 수 있다. 또한, 촬영된 대상체의 하지 X선 이미지는 인터넷 네트웍을 통하여 후술할 원격 컴퓨팅 디바이스(200, 300, 400)에 제공될 수 있다.The camera unit 150 includes an image sensor (not shown) that captures an image of an object and photoelectrically converts the image into an image signal, and captures an X-ray image of the lower limb of the object. The captured X-ray image of the lower extremities of the object may be provided to the processor 111 through the input/output interface 117 and processed based on the learning model 13 or stored in the memory unit 113 or storage device 115. there is. Additionally, the captured X-ray image of the lower limb of the object may be provided to remote computing devices 200, 300, and 400, which will be described later, through an Internet network.

도 2는 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 시스템(이하, "본 하지 정렬 상태 자동 분석 시스템"이라 함)의 구성을 나타낸 도면이다.FIG. 2 is a diagram showing the configuration of a system for automatically analyzing the alignment status of lower extremity X-ray images using a convolutional neural network (hereinafter referred to as “automatic analysis system for alignment status of the lower extremity”) according to an embodiment of the present invention.

도 2를 참조하면, 본 하지 정렬 상태 자동 분석 시스템(500)은 컴퓨팅 디바이스(Computing Device, 310), 디스플레이 디바이스(Display Device, 330), 카메라(Camera, 350) 및/또는 하나 이상의 원격 컴퓨팅 디바이스(Remote Compting Device, 200, 300, 400)를 포함할 수 있다. 컴퓨팅 디바이스(310)과 원격 컴퓨팅 디바이스들(200, 300, 400) 간은 인터넷 네트웍으로 서로 연결될 수 있다. 컴퓨팅 디바이스(Computing Device, 310)에 포함된 구성요소들은 전술한 도 1에서 대응되는 구성요소와 유사하여 그에 대한 동작 및 기능에 대한 설명은 생략하기로 한다. 또한, 원격 컴퓨팅 디바이스(200, 300, 400) 각각에 포함된 구성요소들은 컴퓨팅 디바이스(310)의 구성요소와 유사하다.Referring to Figure 2, the lower limb alignment state automatic analysis system 500 includes a computing device (Computing Device, 310), a display device (Display Device, 330), a camera (Camera, 350), and/or one or more remote computing devices ( Remote Compting Device, 200, 300, 400) may be included. The computing device 310 and the remote computing devices 200, 300, and 400 may be connected to each other through an Internet network. Components included in the computing device (Computing Device) 310 are similar to the corresponding components in FIG. 1 described above, so descriptions of their operations and functions will be omitted. Additionally, components included in each of the remote computing devices 200, 300, and 400 are similar to components of the computing device 310.

컴퓨팅 디바이스(310) 및 원격 컴퓨팅 디바이스(200, 300, 400)는 본 발명의 실시예에서 제시된 방법, 기능 및/또는 동작 중 하나 이상을 수행할 수 있도록 구성될 수 있다. 이러한 컴퓨팅 디바이스(310, 200, 300, 400)는 적어도 하나의 컴퓨팅 디바이스에서 동작하는 어플리케이션을 포함할 수 있다. 또한, 컴퓨팅 디바이스(310, 200, 300, 400)는 하나 이상의 컴퓨터와 하나 이상의 데이터 베이스를 포함할 수 있고, 단일 장치, 분산장치, 클라우드 기반 컴퓨터 또는 이들의 조합일 수 있다.Computing device 310 and remote computing devices 200, 300, and 400 may be configured to perform one or more of the methods, functions, and/or operations presented in embodiments of the invention. These computing devices 310, 200, 300, and 400 may include applications running on at least one computing device. Additionally, the computing devices 310, 200, 300, and 400 may include one or more computers and one or more databases, and may be single devices, distributed devices, cloud-based computers, or a combination thereof.

본 하지 정렬 상태 자동 분석 시스템(500)은 랩탑 컴퓨터, 데스크탑 컴퓨터 및 서버에 제한되지 않고, 데이터를 처리할 수 있는 임의의 명령을 실행할 수 있는 컴퓨팅 장치 또는 시스템에서 구현될 수 있고, 인터넷 네트웍을 통한 다른 컴퓨팅 장치 및 시스템으로 구현될 수 있다. 또한, 본 하지 정렬 상태 자동 분석 시스템은 펌웨어를 포함하는 소프트웨어, 하드웨어 또는 이들의 조합을 포함하는 다양한 방식으로 구현될 수 있다. 예를 들어, 다양한 방식으로 실행하기 위한 기능은 개별로직 구성요소, 하나 이상의 ASIC(Application Specific Integrated Circuits) 및/또는 프로그램 제어 프로세서를 포함하는 다양한 방식으로 구현되는 구성요소에 의해 수행될 수 있다.The present automatic lower limb alignment status analysis system 500 is not limited to laptop computers, desktop computers, and servers, and can be implemented in any computing device or system capable of executing arbitrary instructions capable of processing data, and can be implemented through an Internet network. It may be implemented in other computing devices and systems. Additionally, the present automatic lower extremity alignment status analysis system may be implemented in various ways, including software including firmware, hardware, or a combination thereof. For example, functions for execution in various ways may be performed by components implemented in various ways, including individual logic components, one or more application specific integrated circuits (ASICs), and/or program control processors.

도 3은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 전처리 이미지를 생성하는 과정을 나타낸 도면이다.Figure 3 is a diagram illustrating a process for generating a preprocessed image by an automatic analysis device for the alignment state of a lower extremity X-ray image using a convolutional neural network according to an embodiment of the present invention.

본 하지 정렬 상태 자동 분석 장치(100)의 프로세서(111)는 하지 이미지를 전처리하여 전처리 이미지를 생성하고, CNN 기반의 학습모델에 기초하여 전처리 이미지에서 복수의 해부학적 구조물(anatomical landmarks)을 각각 인식하며, 복수의 해부학적 구조물에 대한 인식 결과를 반영하여 복수의 해부학적 구조물의 위치를 각각 결정하고, 복수의 해부학적 구조물의 위치를 이용하여 복수의 하지 각도를 판단하며, 해부학적 구조물의 위치와 하지 각도의 판단 결과를 디스플레이 장치에 디스플레이함으로써, 하지 X선 이미지의 하지 정렬 상태를 자동으로 분석하고 판단하며 이에 따른 결과를 환자 또는 임상 의사에게 제공한다.The processor 111 of the automatic lower limb alignment state analysis device 100 generates a preprocessed image by preprocessing the lower limb image, and recognizes a plurality of anatomical landmarks in the preprocessed image based on a CNN-based learning model. The positions of the plurality of anatomical structures are determined by reflecting the recognition results of the plurality of anatomical structures, the angles of the plurality of lower extremities are determined using the positions of the plurality of anatomical structures, and the positions of the anatomical structures are determined. By displaying the determination result of the lower extremity angle on the display device, the lower extremity alignment status of the lower extremity X-ray image is automatically analyzed and determined, and the results are provided to the patient or clinician.

도 3을 참조하면, 본 하지 정렬 상태 자동 분석 장치(100)의 프로세서(111)는 카메라(350)에 의해 촬영되어 입/출력 인터페이스(317)를 통해 입력된 하지 이미지(하지 X선 이미지, 31)를 전처리(pre-processing)하여 전처리 이미지(32)를 생성한다.Referring to FIG. 3, the processor 111 of the automatic lower extremity alignment status analysis device 100 processes the lower extremity image (extremity X-ray image, 31) captured by the camera 350 and input through the input/output interface 317. ) is pre-processed to generate a pre-processed image 32.

구체적으로, 프로세서(111)는 하지 이미지(31)를 왼다리 이미지 또는 오른다리 이미지로 분할(cropping)하고, 분할된 왼다리 이미지 또는 오른다리 이미지의 크기를 조절(resizing)하여 전처리 이미지(32)를 생성한다. 이때 프로세서(111)는 왼다리 이미지 또는 오른다리 이미지의 휘도(brightness), 명암(contrast) 및 채도(saturation) 중 적어도 어느 하나를 조정하고 노이즈를 제거하여 전처리 이미지(32)를 생성할 수 있다.Specifically, the processor 111 crops the lower limb image 31 into a left leg image or a right leg image and resizes the split left leg image or right leg image to produce a preprocessed image 32. creates . At this time, the processor 111 may adjust at least one of brightness, contrast, and saturation of the left leg image or the right leg image and remove noise to generate the preprocessed image 32.

도 4는 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치의 분석 대상이 되는 인체 하지의 해부학적 구조물을 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 CNN 기반의 학습모델에 기초하여 전처리 이미지에서 복수의 해부학적 구조물을 각각 인식하는 과정을 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 고관절 이미지로부터 인식하는 해부학적 구조물의 특정 부위를 나타낸 도면이고, 도 7은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 슬관절 이미지로부터 인식하는 해부학적 구조물의 특정 부위를 나타낸 도면이고, 도 8은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 족관절 이미지로부터 인식하는 해부학적 구조물의 특정 부위를 나타낸 도면이고, 도 9는 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 인식하는 경골 너비와 경골 수평 너비를 나타낸 도면이다.FIG. 4 is a diagram showing the anatomical structures of the human lower extremities that are subject to analysis by an automatic analysis device for the alignment status of lower extremity X-ray images using a convolutional neural network according to an embodiment of the present invention, and FIG. 5 is an example of the present invention. A diagram illustrating a process in which an automatic analysis device for the alignment status of lower extremity X-ray images using a convolutional neural network according to an embodiment recognizes a plurality of anatomical structures in pre-processed images based on a CNN-based learning model, and FIG. 6 is A diagram showing a specific part of an anatomical structure recognized from a hip joint image by an automatic analysis device for the alignment state of the lower extremity X-ray image using a convolutional neural network according to an embodiment of the present invention, and FIG. 7 is an embodiment of the present invention. It is a diagram showing a specific part of an anatomical structure recognized from a knee joint image by an automatic analysis device for the alignment state of the lower extremity X-ray image using a convolutional neural network according to , and FIG. It is a diagram showing a specific part of an anatomical structure recognized from an ankle joint image by an automatic analysis device for the alignment of the lower extremity of the lower extremity This diagram shows the tibia width and tibia horizontal width recognized by the automatic lower limb alignment status analysis device.

도 4를 참조하면, 인체의 하지는 대퇴골, 슬개골, 경골, 비골, 거골, 고관절, 슬관절 및/또는 족관절을 포함한다.Referring to Figure 4, the lower extremities of the human body include the femur, patella, tibia, fibula, talus, hip joint, knee joint, and/or ankle joint.

도 5를 참조하면, 본 하지 정렬 상태 자동 분석 장치(100)의 프로세서(111)는 CNN 기반의 학습모델(13)을 이용하여 전처리 이미지(32)에서 복수의 해부학적 구조물(anatomical landmarks)을 각각 인식한다.Referring to FIG. 5, the processor 111 of the automatic lower limb alignment state analysis device 100 uses the CNN-based learning model 13 to identify a plurality of anatomical landmarks from the pre-processed image 32. recognize

구체적으로, 프로세서(111)는 CNN 기반의 학습모델(제1CNN 모델)을 이용하여 전처리 이미지(32)에서 3개의 ROI(region of interest), 즉 고관절, 슬관절 및 족관절의 관절 부위를 인식하고, 인식한 고관절, 슬관절 및 족관절 각각에 대한 고해상도 이미지를 생성하며, 고관절, 슬관절 및 족관절에 대한 고해상도 이미지에서 CNN 기반의 학습모델(제2CNN, 제3CNN 및 제4CNN 모델)을 이용하여 복수의 해부학적 구조물을 각각 인식한다.Specifically, the processor 111 uses a CNN-based learning model (first CNN model) to recognize three ROIs (regions of interest), that is, joint areas of the hip joint, knee joint, and ankle joint, in the pre-processed image 32, and recognizes It generates high-resolution images for each hip joint, knee joint, and ankle joint, and multiple anatomical structures are identified using CNN-based learning models (2nd CNN, 3rd CNN, and 4th CNN models) from high-resolution images of the hip joint, knee joint, and ankle joint. Recognize each.

보다 구체적으로, 도 6 내지 도 9를 참조하면, 프로세서(111)는 고관절에 대한 고해상도 이미지에서 대퇴골두의 중심(center of femoral head) 및 대퇴골의 대전자의 끝단(tip of greater trochanter of femur)을 인식하고 이를 반영하여 각각의 해부학적 구조물의 위치를 표시한 후 해당 위치가 표시된 고관절에 대한 고해상도 이미지를 생성한다. 그리고, 프로세서(111)는 슬관절에 대한 고해상도 이미지에서 대퇴골의 외측 원위점(lateral distal point of femur), 대퇴골의 내측 원위점(medial distal point of femur), 대퇴골의 과간와(intercondylar fossa of femur), 외측 경골 관절 가장자리(lateral tibial articular edge), 내측 경골 관절 가장자리(medial tibial articular edge), 외측 경골극(lateral spine of tibia), 내측 경골극(medial spine of tibia), 경골 고평선의 외측 중앙점(midpoint of lateral tibial plateau), 경골 고평선의 내측 중앙점(midpoint of medial tibial plateau) 및 비골두의 끝단(tip of fibula head)을 인식하고 이를 반영하여 각각의 해부학적 구조물의 위치를 표시한 후 해당 위치가 표시된 슬관절에 대한 고해상도 이미지를 생성한다. 또한, 프로세서(111)는 족관절에 대한 고해상도 이미지에서 내측 거골 돔의 가장자리(lateral edge of talar dome), 외측 거골 돔의 가장자리(medial edge of talar dome) 및 거골 돔의 중심(center of talar dome)을 인식하고 이를 반영하여 각각의 해부학적 구조물의 위치를 표시한 후 해당 위치가 표시된 족관절에 대한 고해상도 이미지를 생성한다. 본 발명에서 해부학적 구조물이란 프로세서(111)가 상기와 같이 인식한 지점을 말한다.More specifically, referring to FIGS. 6 to 9, the processor 111 recognizes the center of the femoral head and the tip of the greater trochanter of the femur in high-resolution images of the hip joint. After reflecting this and marking the location of each anatomical structure, a high-resolution image of the hip joint with the corresponding location is created. In addition, the processor 111 displays the lateral distal point of the femur, the medial distal point of the femur, the intercondylar fossa of the femur, and the lateral distal point of the femur in the high-resolution image of the knee joint. Lateral tibial articular edge, medial tibial articular edge, lateral spine of tibia, medial spine of tibia, lateral midpoint of tibial plateau of lateral tibial plateau, the medial midpoint of the tibial plateau, and the tip of the fibula head are recognized and reflected to indicate the location of each anatomical structure. Generates high-resolution images of the marked knee joint. Additionally, the processor 111 identifies the lateral edge of the talar dome, the medial edge of the lateral talar dome, and the center of the talar dome in the high-resolution image of the ankle joint. After recognizing and reflecting this to mark the position of each anatomical structure, a high-resolution image of the ankle joint with the corresponding position is created. In the present invention, an anatomical structure refers to a point recognized by the processor 111 as described above.

또한, 프로세서(111)는 CNN 기반의 학습모델에 기초하여 고관절에 대한 고해상도 이미지에서 대퇴골두의 중심을 인식 시, 대퇴골두를 감싸는 원의 경계를 따라 존재할 것으로 예상되는 점 5개 중, 임의의 3개의 점을 선택하여 얻을 수 있는 복수의 원의 중심의 평균 지점을 대퇴골두의 중심으로 인식한다.In addition, when the processor 111 recognizes the center of the femoral head in a high-resolution image of the hip joint based on a CNN-based learning model, among the five points expected to exist along the boundary of the circle surrounding the femoral head, 3 are selected at random. The average point of the centers of multiple circles, which can be obtained by selecting points, is recognized as the center of the femoral head.

또한, 프로세서(111)는 CNN 기반의 학습모델에 기초하여 슬관절에 대한 고해상도 이미지에서 대퇴골두의 중심을 인식 시, 내측 경골 관절 가장자리와 외측 경골 관절 가장자리 사이의 거리를 경골 너비(tibial width)로 인식하고, 내측 경골 관절 가장자리와 외측 경골 관절 가장자리 사이의 x축 거리를 수평 경골 너비(horizontal tibial width)로 인식하고, 수평 경골 너비의 중점을 극간돌기(interspinous process)로 인식한다.Additionally, when recognizing the center of the femoral head in a high-resolution image of the knee joint based on a CNN-based learning model, the processor 111 recognizes the distance between the medial tibial joint edge and the lateral tibial joint edge as the tibial width. The x-axis distance between the medial tibial joint edge and the lateral tibial joint edge is recognized as the horizontal tibial width, and the midpoint of the horizontal tibial width is recognized as the interspinous process.

한편, 본 발명에서 대퇴골두의 중심(center of femoral head), 경골 고평선의 중심(center of tibial plateau) 및 거골 돔의 중심(center of talar dome)은 각 관절(고관절, 슬관절 및 족관절)을 부근으로 하여 ROI를 분할(cropping)하는 경우 분할의 중심을 설정하기 위해 사용된다. 이때, 각 ROI와 관련된 고해상도 이미지는 포함되는 해부학적 구조물의 수에 비례하여 그 크기가 조절(resizing)된다. 예를 들면, 가장 많은 해부학적 구조물을 포함하는 슬관절의 고해상도 이미지는 512*512로 그 크기가 조절되며, 가장 적은 해부학적 구조물을 포함하는 고관절의 고해상도 이미지는 128*128로 그 크기가 조절된다.Meanwhile, in the present invention, the center of the femoral head, the center of the tibial plateau, and the center of the talar dome are located near each joint (hip joint, knee joint, and ankle joint). When cropping the ROI, it is used to set the center of the division. At this time, the high-resolution image associated with each ROI is resized in proportion to the number of anatomical structures included. For example, a high-resolution image of the knee joint containing the most anatomical structures is resized to 512*512, and a high-resolution image of the hip joint containing the fewest anatomical structures is resized to 128*128.

또한, 사람마다 관절의 크기는 조금씩 상이하고 X선 촬영 환경에 따라 조금씩 그 크기가 축소 또는 확대되게 된다. 이에 촬영된 X선 이미지에서 표준화 과정 없이 일괄적으로 같은 크기로 ROI를 추출하게 되면 추출되는 ROI의 정보들이 제각각이게 되어 학습에 지장을 주며 결과적으로 모델의 성능이 떨어지게 되는 문제점이 있다. 또한, 어떤 이미지는 너무 크게 분할되어 쓸데 없는 정보가 많이 포함되는가 하면 어떤 이미지는 너무 작게 분할되어 유의미한 정보가 포함되지 않는 문제점도 있다. Additionally, the size of each person's joints is slightly different, and the size is gradually reduced or enlarged depending on the X-ray imaging environment. Accordingly, if ROIs of the same size are extracted from the captured Additionally, there is a problem that some images are divided too large and contain a lot of useless information, while other images are divided too small and do not contain meaningful information.

따라서 정규화를 위한 기준이 필요한데, 본 발명에서는 고관절, 슬관절 및 상기 족관절 각각에 대한 고해상도 이미지를 생성하는 경우 수평 경골 너비를 기준으로 하여 정규화된 고해상도 이미지를 생성한다. 즉, 수평 경골 너비를 기준으로 하여 해당 값에 각 모델의 사이즈에 따른 경험적인 배율을 곱한다. 예를 들면, 고관절의 고해상도 이미지는 수평 경골 너비의 2배 길이의 정사각형 영역이 분할되어 생성되고, 슬관절의 고해상도 이미지는 수평 경골 너비의 3배 너비의 정사각형 영역이 분할되어 생성되고, 족관절의 고해상도 이미지는 수평 경골 너비의 1.5배 너비의 정사각형 영역이 분할되어 생성된다.Therefore, a standard for normalization is needed. In the present invention, when generating high-resolution images for each of the hip joint, knee joint, and ankle joint, a normalized high-resolution image is generated based on the horizontal tibia width. In other words, based on the horizontal tibia width, the value is multiplied by an empirical scale according to the size of each model. For example, a high-resolution image of the hip joint is created by dividing a square region twice the width of the horizontal tibia, a high-resolution image of the knee joint is created by dividing a square region three times the width of the horizontal tibia, and a high-resolution image of the ankle joint is created by dividing a square region twice the width of the horizontal tibia. is created by dividing a square area 1.5 times the width of the horizontal tibia.

이에 따라, 프로세서(111)는 고관절에 대한 고해상도 이미지 생성 시 대퇴골두의 중심(center of femoral head)를 중심으로 수평 경골 너비의 2배 길이의 정사각형 영역을 분할(cropping)한 후, 128*128의 크기로 조절(resizing)한다. 그리고, 프로세서(111)는 슬관절에 대한 고해상도 이미지 생성 시 극간 돌기(interspinous process)를 중심으로 수평 경골 너비의 3배 너비의 정사각형 영역을 분할한 후, 512*512의 크기로 조절한다. 또한, 프로세서(111)는 족관절에 대한 고해상도 이미지 생성 시 거골돔 중심(center of talar dome)을 중심으로 수평 경골 너비의 1.5배 너비의 정사각형 영역을 분할한 후, 256*256의 크기로 조절한다. 이후 프로세서(111)는 분할되고 조절된 각각의 ROI에 대한 고해상도 이미지들을 이용하여 복수의 해부학적 구조물을 각각 인식한다.Accordingly, when generating a high-resolution image of the hip joint, the processor 111 crops a square area twice the width of the horizontal tibia centered on the center of the femoral head and then crops it into a square area of 128*128. Resize to size. Additionally, when generating a high-resolution image of the knee joint, the processor 111 divides a square area three times the width of the horizontal tibia around the interspinous process and then adjusts the size to 512*512. Additionally, when generating a high-resolution image of the ankle joint, the processor 111 divides a square area 1.5 times the width of the horizontal tibia around the center of the talar dome and then adjusts the size to 256*256. Thereafter, the processor 111 recognizes each of a plurality of anatomical structures using high-resolution images for each segmented and adjusted ROI.

도 10은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치가 판단하는 복수의 하지 각도를 나타낸 도면이다.Figure 10 is a diagram showing a plurality of lower extremity angles determined by an automatic analysis device for lower extremity alignment status of lower extremity X-ray images using a convolutional neural network according to an embodiment of the present invention.

도 10을 참조하면, 본 하지 정렬 상태 자동 분석 장치(100)의 프로세서(111)는 해부학적 구조물의 위치를 이용하여 복수의 하지 각도를 판단한다.Referring to FIG. 10, the processor 111 of the automatic lower limb alignment state analysis device 100 determines a plurality of lower limb angles using the positions of anatomical structures.

구체적으로, 프로세서(111)는 인식된 복수의 해부학적 구조물의 위치를 기반으로 mLDFA(mechanical lateral distal femoral angle), MPTA(medial proximal tibial angle), LPFA(lateral proximal femoral angle), LDTA(lateral distal tibial angle), JLCA(joint line convergence angle), FMA(femoral mechanical angle), TMA(tibial mechanical angle) 및 HKA(hip-knee-ankle angle)를 포함하는 하지 각도들을 각각 판단한다. 이때, 프로세서(111)는 각각의 하지 각도들을 표시한 후 고해상도 이미지를 생성할 수 있다.Specifically, the processor 111 calculates mechanical lateral distal femoral angle (mLDFA), medial proximal tibial angle (MPTA), lateral proximal femoral angle (LPFA), and lateral distal tibial angle (LDTA) based on the locations of the recognized plurality of anatomical structures. The lower extremity angles, including angle), joint line convergence angle (JLCA), femoral mechanical angle (FMA), tibial mechanical angle (TMA), and hip-knee-ankle angle (HKA), are determined respectively. At this time, the processor 111 may display each lower extremity angle and then generate a high-resolution image.

한편, 본 하지 정렬 상태 자동 분석 장치(100)가 추가적으로 인식하는 해부학적 구조물에 대한 사항 및 추가적으로 판단하는 하지 각도가 입/출력 인터페이스(117)를 통해 입력될 수 있고, 프로세서(111)는 입력된 변경 사항을 반영하여 학습모델(13)을 추가로 학습시키거나 학습모델(13)을 변경하거나 업데이트 할 수 있다.Meanwhile, details about anatomical structures additionally recognized by the automatic lower limb alignment state analysis device 100 and lower limb angles additionally determined may be input through the input/output interface 117, and the processor 111 may input the input. The learning model 13 can be additionally trained or the learning model 13 can be changed or updated by reflecting the changes.

도 11은 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치를 통해 도출된 각각의 하지 각도에 대한 95% 신뢰 구간의 Bland-Altman 플롯이다.Figure 11 is a Bland-Altman plot of the 95% confidence interval for each lower extremity angle derived through an automatic analysis device for lower extremity alignment status of lower extremity X-ray images using a convolutional neural network according to an embodiment of the present invention.

본 하지 정렬 상태 자동 분석 장치(100)의 성능을 실험하기 위해 2009년 1월부터 2019년 12월까지 서울대학교병원에서 무릎 골관절염을 진단 받은 환자 13,154명의 하지 원격 방사선 이미지 13,192장을 이용하여 후향적으로 분석하였다. 이 중 해부학적 구조물이 포함되지 않은 2,199장의 이미지는 제외되어 총 10,993장의 이미지를 성능 실험에 활용하였다. 정형외과 전문의 2인이 이 중 10,907장의 이미지에 해부학적 구조물을 마킹하였다. 마킹된 이미지 중 랜덤하게 선택된 10,407장은 훈련 세트로, 500장은 검증 세트로 활용되었다. 나머지 86장은 모델의 성능을 검증하기 위한 테스트 세트로 활용되었다.To test the performance of this automatic lower extremity alignment analysis device (100), 13,192 lower extremity teleradiography images of 13,154 patients diagnosed with knee osteoarthritis at Seoul National University Hospital from January 2009 to December 2019 were used retrospectively. analyzed. Among these, 2,199 images that did not contain anatomical structures were excluded, and a total of 10,993 images were used for performance experiments. Two orthopedic surgeons marked anatomical structures on 10,907 images. Among the marked images, 10,407 randomly selected images were used as a training set, and 500 images were used as a validation set. The remaining 86 sheets were used as a test set to verify the performance of the model.

총 15개의 해부학적 구조물이 표시되고 학습되었다. 구체적으로 대퇴골두의 중심(center of femoral head), 대퇴골의 대전자의 끝단(tip of greater trochanter of femur), 대퇴골의 외측 원위점(lateral distal point of femur), 대퇴골의 내측 원위점(medial distal point of femur), 대퇴골의 과간와(intercondylar fossa of femur), 외측 경골 관절 가장자리(lateral tibial articular edge), 내측 경골 관절 가장자리(medial tibial articular edge), 외측 경골극(lateral spine of tibia), 내측 경골극(medial spine of tibia), 경골 고평선의 외측 중앙점(midpoint of lateral tibial plateau), 경골 고평선의 내측 중앙점(midpoint of medial tibial plateau), 비골두의 끝단(tip of fibula head), 내측 거골 돔의 가장자리(lateral edge of talar dome), 외측 거골 돔의 가장자리(medial edge of talar dome) 및 거골 돔의 중심(center of talar dome)이 해부학적 구조물 학습에 포함되었다. 또한, 내측 경골 관절 가장자리와 외측 경골 관절 가장자리 사이의 거리를 경골 너비(tibial width)로 정의하고, 내측 경골 관절 가장자리와 외측 경골 관절 가장자리 사이의 x축 거리를 수평 경골 너비(horizontal tibial width)로 정의하고, 수평 경골 너비의 중점을 극간돌기(interspinous process)로 정의하여 학습에 포함시켰다.A total of 15 anatomical structures were displayed and learned. Specifically, the center of the femoral head, the tip of the greater trochanter of the femur, the lateral distal point of the femur, and the medial distal point of the femur. femur, intercondylar fossa of femur, lateral tibial articular edge, medial tibial articular edge, lateral spine of tibia, medial tibial spine ( medial spine of tibia, midpoint of lateral tibial plateau, midpoint of medial tibial plateau, tip of fibula head, edge of medial talar dome (lateral edge of talar dome), medial edge of talar dome, and center of talar dome were included in learning anatomical structures. Additionally, the distance between the medial tibial joint edge and the lateral tibial joint edge is defined as the tibial width, and the x-axis distance between the medial tibial joint edge and the lateral tibial joint edge is defined as the horizontal tibial width. And, the midpoint of the horizontal tibial width was defined as the interspinous process and included in the study.

이러한 해부학적 구조물을 기반으로 총 8개의 하지 각도가 학습되었다. 즉 mLDFA(mechanical lateral distal femoral angle), MPTA(medial proximal tibial angle), LPFA(lateral proximal femoral angle), LDTA(lateral distal tibial angle), JLCA(joint line convergence angle), FMA(femoral mechanical angle), TMA(tibial mechanical angle) 및 HKA(hip-knee-ankle angle)가 학습되었다.A total of eight lower extremity angles were learned based on these anatomical structures. That is, mLDFA (mechanical lateral distal femoral angle), MPTA (medial proximal tibial angle), LPFA (lateral proximal femoral angle), LDTA (lateral distal tibial angle), JLCA (joint line convergence angle), FMA (femoral mechanical angle), TMA. (tibial mechanical angle) and HKA (hip-knee-ankle angle) were learned.

모델은 크게 두 부분으로 구성되었다. 즉 전처리 이미지(32)에서 3개의 ROI(region of interest), 즉 고관절, 슬관절 및 족관절의 관절 부위를 인식하는 제1CNN 모델과, 고관절, 슬관절 및 족관절에 대한 고해상도 이미지에서 복수의 해부학적 구조물을 각각 인식하는 제2CNN, 제3CNN 및 제4CNN 모델로 구성되었다. 각 모델의 구현은 CNN(convolutional neural network)를 이용하여 구성되었으며, 코드는 python 3.8 기반으로 작성되었다. 텐서 연산을 위해 CUDA 11.2와 pyTorch 1.8.1이 활용되었다.The model largely consisted of two parts. That is, the first CNN model recognizes three ROIs (regions of interest) in the preprocessed image 32, namely the joint regions of the hip, knee, and ankle joints, and a plurality of anatomical structures in high-resolution images of the hip, knee, and ankle joints, respectively. It consists of the 2nd CNN, 3rd CNN, and 4th CNN models that recognize. The implementation of each model was constructed using CNN (convolutional neural network), and the code was written based on Python 3.8. CUDA 11.2 and pyTorch 1.8.1 were used for tensor operations.

3개의 ROI를 인식하는 제1CNN 모델의 세부 파라미터는 하기의 표 1과 같다.Detailed parameters of the first CNN model that recognizes three ROIs are shown in Table 1 below.

고관절에 대한 이미지에서 해부학적 구조물을 인식하는 제2CNN 모델의 세부 파라미터는 하기의 표 2와 같다.Detailed parameters of the second CNN model, which recognizes anatomical structures in images of the hip joint, are shown in Table 2 below.

슬관절에 대한 이미지에서 해부학적 구조물을 인식하는 제3CNN 모델의 세부 파라미터는 하기의 표 3과 같다.The detailed parameters of the third CNN model, which recognizes anatomical structures in images of knee joints, are shown in Table 3 below.

족관절에 대한 이미지에서 해부학적 구조물을 인식하는 제4CNN 모델의 세부 파라미터는 하기의 표 4와 같다.The detailed parameters of the 4th CNN model, which recognizes anatomical structures in images of the ankle joint, are shown in Table 4 below.

3개의 ROI를 인식하기 위한 전처리로서, 각각의 하지 이미지(31)를 오른다리 이미지로 분할(cropping)하고, 분할된 왼다리 이미지 또는 오른다리 이미지의 크기를 조절(resizing)하여 전처리 이미지(32)를 생성하였다. 이후 CNN 기반의 학습모델(제1CNN 모델)을 이용하여 전처리 이미지(32)에서 3개의 ROI(region of interest), 즉 고관절, 슬관절 및 족관절의 관절 부위를 인식하고, 인식한 고관절, 슬관절 및 족관절 각각에 대한 고해상도 이미지를 생성하였다. 이때, 고관절에 대한 고해상도 이미지 생성 시 대퇴골두의 중심(center of femoral head)를 중심으로 수평 경골 너비의 2배 길이의 정사각형 영역을 분할(cropping)한 후, 128*128의 크기로 조절(resizing)되었다. 그리고, 슬관절에 대한 고해상도 이미지 생성 시 극간 돌기(interspinous process)를 중심으로 수평 경골 너비의 3배 너비의 정사각형 영역을 분할한 후, 512*512의 크기로 조절되었다. 또한, 족관절에 대한 고해상도 이미지 생성 시 거골돔 중심(center of talar dome)을 중심으로 수평 경골 너비의 1.5배 너비의 정사각형 영역을 분할한 후, 256*256의 크기로 조절되었다. 이후, 고관절, 슬관절 및 족관절에 대한 고해상도 이미지에서 CNN 기반의 학습모델(제2CNN, 제3CNN 및 제4CNN 모델)을 이용하여 복수의 해부학적 구조물을 각각 인식하여 표시하도록 학습되었다. 각 모델에서 얻어진 점들은 이후 실제 좌표로 변환되었다.As preprocessing to recognize three ROIs, each lower limb image (31) is divided into right leg images (cropping), and the split left leg image or right leg image is resized to produce a preprocessed image (32). was created. Afterwards, three ROIs (regions of interest), namely the hip joint, knee joint, and ankle joint, were recognized in the preprocessed image (32) using a CNN-based learning model (first CNN model), and the recognized hip joint, knee joint, and ankle joint were each recognized. A high-resolution image was created. At this time, when creating a high-resolution image of the hip joint, a square area twice the width of the horizontal tibia is cropped around the center of the femoral head, and then resized to 128*128. It has been done. Also, when creating a high-resolution image of the knee joint, a square area three times the width of the horizontal tibia was divided centered on the interspinous process and then adjusted to a size of 512*512. Additionally, when creating a high-resolution image of the ankle joint, a square area with a width of 1.5 times the horizontal tibia width was divided around the center of the talar dome and then adjusted to a size of 256*256. Afterwards, it was learned to recognize and display multiple anatomical structures using CNN-based learning models (2nd CNN, 3rd CNN, and 4th CNN models) in high-resolution images of the hip joint, knee joint, and ankle joint. The points obtained from each model were then converted to actual coordinates.

학습모델이 해부학적 구조물을 인식할 수 있도록 하기 위해, 이미지 크기에 비례하여 커지는 원을 참값으로 마스킹하여 학습시키는 semantic segmentation을 이용하였다. 이후 학습된 모델이 예측한 결과를 thresholding한 뒤 얻은 영역의 무게중심을 모델이 인식한 해부학적 구조물의 좌표로 정의하였다. 각 모델은 120 epoch까지 학습하는 도중 검증 세트에서 가장 높은 성능을 보인 epoch의 결과를 택하였다.In order to enable the learning model to recognize anatomical structures, semantic segmentation was used to learn by masking circles that grow in proportion to the image size with the true value. After thresholding the results predicted by the learned model, the center of gravity of the obtained area was defined as the coordinates of the anatomical structure recognized by the model. While each model was trained up to 120 epochs, the result of the epoch that showed the highest performance in the validation set was selected.

분석 속도를 빠르게 하기 위해 학습된 각 모델들은 ONNX runtime으로 변환되었고 결과 분석시에는 ONNX session이 활용되었다. 테스트 세트에 대해, 학습모델이 분석한 결과와 12년 경력의 정형외과 전문의가 마킹한 결과를 비교하였다. 15개의 해부학적 구조물이 정확하게 표시되었는지 확인하기 위해, 거리 차이의 평균 및 표준편차를 px 단위로 구한 뒤 각 이미지의 경골 너비(tibial width) 대비 %로 표준화 하였다. 8개의 하지 각도에 대한 테스트-재테스트 신뢰도(test-retest reliability)를 검증하기 위해 클래스 내 상관계수(intraclass correlation coefficient, ICC)를 확인하였다. 또한, Bland-Altman 플롯을 95% 신뢰구간(confidence interval, CI)으로 분석하여 정확한 일치 한계(precise limit of agreement)를 확인하였다.To speed up the analysis, each learned model was converted to ONNX runtime, and ONNX sessions were used when analyzing the results. For the test set, the results analyzed by the learning model were compared with the results marked by an orthopedic surgeon with 12 years of experience. To confirm that the 15 anatomical structures were accurately displayed, the mean and standard deviation of the distance differences were calculated in px units and then normalized as a percentage of the tibial width of each image. The intraclass correlation coefficient (ICC) was confirmed to verify test-retest reliability for the eight lower extremity angles. In addition, the Bland-Altman plot was analyzed with a 95% confidence interval (CI) to confirm the exact limit of agreement.

15개 해부학적 구조물의 오차거리의 평균, 표준편차 및 95% 신뢰구간은 하기의 표 5와 같았다. 각 값은 각 이미지의 경골 너비 대비 퍼센트로 표준화 되었다.The mean, standard deviation, and 95% confidence interval of the error distances of 15 anatomical structures are shown in Table 5 below. Each value was normalized as a percentage of the tibia width of each image.

8개 하지 각도에 대한 오차의 절대값의 평균과 표준편차는 하기의 표 6과 같았다. LPFA를 제외한 7개의 각도는 오차 절대값의 평균이 0.580도 미만으로 정밀하게 측정되었다.The average and standard deviation of the absolute values of the errors for the eight lower extremity angles were shown in Table 6 below. Except for LPFA, 7 angles were measured precisely, with the average absolute error value being less than 0.580 degrees.

8개 하지 각도에 대한 ICC는 하기의 표 7과 같았다. 모든 각도에 대한 ICC가 0.952 이상으로 만족스럽게 도출되었으며, p-value 또한 0.001보다 작아 유의미한 차이는 없는 것으로 나타났다.The ICC for the eight lower extremity angles was shown in Table 7 below. The ICC for all angles was satisfactorily derived at over 0.952, and the p-value was also smaller than 0.001, indicating no significant difference.

각 8개 하지 각도에 대한 Bland-Altman 플롯과 95% 신뢰구간은 도 11과 같았다. 도 11에서 (a)는 mLDFA를, (b)는 MPTA를, (c)는 LPFA를, (d)는 LDTA를, (e)는 JLCA를, (f)는 FMA를, (g)는 TMA를, (h)는 HKA를 각각 의미한다. The Bland-Altman plot and 95% confidence interval for each of the eight lower extremity angles were shown in Figure 11. In Figure 11, (a) is mLDFA, (b) is MPTA, (c) is LPFA, (d) is LDTA, (e) is JLCA, (f) is FMA, and (g) is TMA. and (h) refer to HKA, respectively.

측정된 모든 각도는 전문가가 측정한 각도와 큰 차이를 보이지 않는 것으로 나타났다. 또한, 전문의가 15개의 해부학적 구조물을 직접 표시하는 데에는 최소 30초가 소요되었으며, 양쪽 다리에 대해서 하려면 1분이 넘는 시간이 필요하였으나, 본 하지 정렬 상태 자동 분석 장치(100)가 각 결과를 도출하는데 걸리는 시간은 약 1초로 매우 짧았다. 따라서 본 하지 정렬 상태 자동 분석 장치(100)가 임상에 적용되는 경우 슬관절 전치환술 등의 수술의 결과를 개선하는데 도움을 줄 것으로 기대되며, 환자의 상태를 객관적으로 평가할 수 있게 됨으로써 진료하는 의사에 따른 진단의 차이를 줄일 수 있을 것으로 기대된다.It was found that all measured angles did not show much difference from the angles measured by experts. In addition, it took the specialist at least 30 seconds to directly mark 15 anatomical structures, and more than 1 minute for both legs, but the automatic lower limb alignment status analysis device 100 took to derive each result. The time was very short, about 1 second. Therefore, when this automatic lower extremity alignment status analysis device 100 is applied clinically, it is expected to help improve the results of surgeries such as total knee replacement surgery, and by making it possible to objectively evaluate the patient's condition, it is expected to be used according to the treating doctor. It is expected that differences in diagnosis will be reduced.

도 12는 본 발명의 일 실시예에 따른 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 방법(이하, "본 하지 정렬 상태 자동 분석 방법"이라 함)의 과정을 나타낸 순서도이다.Figure 12 is a flowchart showing the process of a method for automatically analyzing the alignment state of the lower extremity X-ray image using a convolutional neural network (hereinafter referred to as "method for automatically analyzing the alignment state of the lower extremity") according to an embodiment of the present invention.

도 12를 참조하면, 본 하지 정렬 상태 자동 분석 방법은 외부 기기장치 예를 들어, 카메라(Camera) 혹은 컴퓨팅장치(110)와 연동되는 타장치(미도시)로부터 하지 X선 이미지를 획득하면, 프로세서(111)는 하지 이미지를 전처리하여 전처리 이미지를 생성한다(S100). 이후, 프로세서(111)는 CNN(convolutional neural network) 기반의 학습모델에 기초하여 전처리 이미지에서 복수의 해부학적 구조물(anatomical landmarks)을 각각 인식한다(S200). 이후, 프로세서(111)는 복수의 해부학적 구조물에 대한 인식 결과를 반영하여 복수의 해부학적 구조물의 위치를 각각 표시한다(S300). 이후, 프로세서(111)는 복수의 해부학적 구조물의 위치를 이용하여 복수의 하지 각도를 판단한다(S400). 이후, 프로세서(111)는 해부학적 구조물의 위치와 하지 각도의 판단 결과를 디스플레이 장치에 디스플레이한다(S500).Referring to FIG. 12, this method of automatically analyzing the lower extremity alignment status obtains a lower extremity X-ray image from an external device, for example, a camera or another device (not shown) linked to the computing device 110, and (111) preprocesses the lower body image to generate a preprocessed image (S100). Thereafter, the processor 111 recognizes a plurality of anatomical landmarks in the preprocessed image based on a convolutional neural network (CNN)-based learning model (S200). Thereafter, the processor 111 reflects the recognition results for the plurality of anatomical structures and displays the positions of the plurality of anatomical structures (S300). Thereafter, the processor 111 determines a plurality of lower extremity angles using the positions of a plurality of anatomical structures (S400). Thereafter, the processor 111 displays the determination results of the position of the anatomical structure and the angle of the lower extremity on the display device (S500).

상술한 본 하지 정렬 상태 자동 분석 방법에서 프로세서(111)의 동작에 대해서는 도 1 내지 도 11에서 전술한 내용과 동일하므로 이에 대한 구체적인 설명은 생략한다.Since the operation of the processor 111 in the above-described method of automatically analyzing the lower extremity alignment state is the same as that described above with reference to FIGS. 1 to 11, detailed description thereof will be omitted.

위 실시예에서와 같이, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. As in the above embodiments, it can be clearly understood that the present invention can be achieved through a combination of software and hardware, or can be achieved with hardware alone. The subject matter of the technical solution of the present invention or the parts contributing to the prior art may be implemented in the form of program instructions that can be executed through various computer components and recorded on a machine-readable recording medium. The machine-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the machine-readable recording medium may be specially designed and configured for the present invention or may be known and usable by those skilled in the computer software field.

기계 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다.Examples of machine-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and perform program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는, 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.The hardware device may be configured to operate as one or more software modules to perform processing according to the invention and vice versa. The hardware device may include a processor such as a CPU or GPU combined with a memory such as ROM/RAM for storing program instructions and configured to execute instructions stored in the memory, and may exchange signals with an external device. It may include a communication department. In addition, the hardware device may include a keyboard, mouse, and other external input devices to receive commands written by developers.

이상과 같이 본 발명에 따른 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.As described above, the embodiments according to the present invention have been examined, and the fact that the present invention can be embodied in other specific forms in addition to the embodiments described above without departing from the spirit or scope thereof will be recognized by those skilled in the art. It is self-evident. Therefore, the above-described embodiments are to be regarded as illustrative and not restrictive, and thus the present invention is not limited to the above description but may be modified within the scope of the appended claims and their equivalents.

110 : 컴퓨팅 장치
111 : 프로세서
113 : 메모리부
115 : 스토리지 디바이스
117 : 입출력 인터페이스
118 : 네트웍 어뎁터
119 : 디스플레이 어뎁터
130 : 디스플레이 디바이스
150 : 카메라110: computing device
111: processor
113: memory unit
115: storage device
117: input/output interface
118: network adapter
119: display adapter
130: display device
150: Camera

Claims (12)

프로세서; 및
상기 프로세서에 의해 수행되도록 구현된 하나 이상의 명령어(instructions)를 포함하는 메모리를 포함하고, 상기 프로세서는,
하지 이미지를 전처리하여 전처리 이미지를 생성하고;
CNN(convolutional neural network) 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 해부학적 구조물(anatomical landmarks)을 각각 인식하며;
복수의 상기 해부학적 구조물에 대한 인식 결과를 반영하여 복수의 상기 해부학적 구조물의 위치를 각각 표시하고;
복수의 상기 해부학적 구조물의 상기 위치를 이용하여 복수의 하지 각도를 판단하며; 및
상기 해부학적 구조물의 상기 위치와 상기 하지 각도의 판단 결과를 디스플레이 장치에 디스플레이하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치.processor; and
a memory including one or more instructions implemented to be performed by the processor, the processor comprising:
Preprocess the lower extremity image to generate a preprocessed image;
Recognize a plurality of anatomical landmarks in the pre-processed image based on a convolutional neural network (CNN)-based learning model;
Displaying the positions of a plurality of anatomical structures, respectively, by reflecting recognition results for the plurality of anatomical structures;
determining a plurality of lower extremity angles using the positions of the plurality of anatomical structures; and
An automatic analysis device for lower limb alignment status of lower limb X-ray images using a convolutional neural network that displays the determination results of the position of the anatomical structure and the lower limb angle on a display device. 청구항 1에 있어서,
상기 프로세서는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식 시,
상기 전처리 이미지에서 고관절, 슬관절 및 족관절을 인식하고, 상기 고관절, 상기 슬관절 및 상기 족관절 각각에 대한 고해상도 이미지를 생성하며, 각각의 고해상도 이미지에서 상기 해부학적 구조물을 인식하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치.In claim 1,
When the processor recognizes each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model,
Lower extremity X-ray using a convolutional neural network that recognizes the hip joint, knee joint, and ankle joint in the preprocessed image, generates high-resolution images for each of the hip joint, knee joint, and ankle joint, and recognizes the anatomical structure in each high-resolution image. Device for automatic analysis of not aligned state of images. 청구항 2에 있어서,
상기 프로세서는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식 시,
상기 고관절에 대한 고해상도 이미지에서 대퇴골두의 중심(center of femoral head) 및 대퇴골의 대전자의 끝단(tip of greater trochanter of femur)을 포함하는 상기 해부학적 구조물을 인식하고,
상기 슬관절에 대한 고해상도 이미지에서 대퇴골의 외측 원위점(lateral distal point of femur), 대퇴골의 내측 원위점(medial distal point of femur), 대퇴골의 과간와(intercondylar fossa of femur), 외측 경골 관절 가장자리(lateral tibial articular edge), 내측 경골 관절 가장자리(medial tibial articular edge), 외측 경골극(lateral spine of tibia), 내측 경골극(medial spine of tibia), 경골 고평선의 외측 중앙점(midpoint of lateral tibial plateau), 경골 고평선의 내측 중앙점(midpoint of medial tibial plateau) 및 비골두의 끝단(tip of fibula head)을 포함하는 상기 해부학적 구조물을 인식하고,
상기 족관절에 대한 고해상도 이미지에서 내측 거골 돔의 가장자리(lateral edge of talar dome), 외측 거골 돔의 가장자리(medial edge of talar dome) 및 거골 돔의 중심(center of talar dome)을 포함하는 상기 해부학적 구조물을 인식하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치.In claim 2,
When the processor recognizes each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model,
Recognize the anatomical structures including the center of the femoral head and the tip of the greater trochanter of the femur in the high-resolution image of the hip joint,
In the high-resolution image of the knee joint, the lateral distal point of femur, medial distal point of femur, intercondylar fossa of femur, and lateral tibial joint edge (lateral) are visible. tibial articular edge, medial tibial articular edge, lateral spine of tibia, medial spine of tibia, midpoint of lateral tibial plateau, Recognize the anatomical structures including the midpoint of the medial tibial plateau and the tip of the fibula head,
The anatomical structures including the lateral edge of the talar dome, the medial edge of the lateral talar dome, and the center of the talar dome in the high-resolution image of the ankle joint. An automatic analysis device for the alignment status of lower extremity X-ray images using a convolutional neural network that recognizes. 청구항 3에 있어서,
상기 프로세서는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식 시,
상기 내측 경골 관절 가장자리와 상기 외측 경골 관절 가장자리 사이의 거리를 경골 너비(tibial width)로 인식하고, 상기 내측 경골 관절 가장자리와 상기 외측 경골 관절 가장자리 사이의 x축 거리를 수평 경골 너비(horizontal tibial width)로 인식하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치.In claim 3,
When the processor recognizes each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model,
The distance between the medial tibial joint edge and the lateral tibial joint edge is recognized as tibial width, and the x-axis distance between the medial tibial joint edge and the lateral tibial joint edge is recognized as horizontal tibial width. An automatic analysis device for the alignment status of lower extremity X-ray images using a convolutional neural network that recognizes. 청구항 4에 있어서,
상기 프로세서는, 상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식 시,
상기 고관절, 상기 슬관절 및 상기 족관절 각각에 대한 고해상도 이미지를 생성하는 경우 상기 수평 경골 너비를 기준으로 하여 정규화된 고해상도 이미지를 생성하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 방법.In claim 4,
When the processor recognizes each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model,
When generating high-resolution images for each of the hip joint, the knee joint, and the ankle joint, a method for automatically analyzing the alignment status of the lower extremity X-ray image using a convolutional neural network that generates a high-resolution image normalized based on the horizontal tibial width. 청구항 1에 있어서,
상기 프로세서는, 복수의 상기 해부학적 구조물의 상기 위치를 이용하여 복수의 상기 하지 각도를 판단 시,
mLDFA(mechanical lateral distal femoral angle), MPTA(medial proximal tibial angle), LPFA(lateral proximal femoral angle), LDTA(lateral distal tibial angle), JLCA(joint line convergence angle) 및 HKA(hip-knee-ankle angle)를 포함하는 상기 하지 각도를 각각 판단하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 장치.In claim 1,
When the processor determines the plurality of lower extremity angles using the positions of the plurality of anatomical structures,
mechanical lateral distal femoral angle (mLDFA), medial proximal tibial angle (MPTA), lateral proximal femoral angle (LPFA), lateral distal tibial angle (LDTA), joint line convergence angle (JLCA), and hip-knee-ankle angle (HKA). An automatic analysis device for the alignment status of lower limb X-ray images using a convolutional neural network that determines each of the lower limb angles. 프로세서에 의해 하지 X선 이미지의 하지 정렬 상태를 자동 분석하는 방법에 있어서,
하지 이미지를 전처리하여 전처리 이미지를 생성하는 단계;
CNN(convolutional neural network) 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 해부학적 구조물(anatomical landmarks)을 각각 인식하는 단계;
복수의 상기 해부학적 구조물에 대한 인식 결과를 반영하여 복수의 상기 해부학적 구조물의 위치를 각각 표시하는 단계;
복수의 상기 해부학적 구조물의 상기 위치를 이용하여 복수의 하지 각도를 판단하는 단계; 및
상기 해부학적 구조물의 상기 위치와 상기 하지 각도의 판단 결과를 디스플레이 장치에 디스플레이하는 단계를 포함하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 방법.In a method of automatically analyzing the alignment state of a lower extremity X-ray image by a processor,
Preprocessing the lower limb image to generate a preprocessed image;
Recognizing each of a plurality of anatomical landmarks in the pre-processed image based on a convolutional neural network (CNN)-based learning model;
reflecting the recognition results for the plurality of anatomical structures and displaying the positions of each of the plurality of anatomical structures;
determining a plurality of lower extremity angles using the positions of the plurality of anatomical structures; and
A method for automatically analyzing the alignment state of a lower extremity X-ray image using a convolutional neural network, comprising the step of displaying a determination result of the position of the anatomical structure and the angle of the lower extremity on a display device. 청구항 7에 있어서,
상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식하는 단계에서,
상기 전처리 이미지에서 고관절, 슬관절 및 족관절을 인식하고, 상기 고관절, 상기 슬관절 및 상기 족관절 각각에 대한 고해상도 이미지를 생성하며, 각각의 고해상도 이미지에서 상기 해부학적 구조물을 인식하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 방법.In claim 7,
In the step of recognizing each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model,
Lower extremity X-ray using a convolutional neural network that recognizes the hip joint, knee joint, and ankle joint in the preprocessed image, generates high-resolution images for each of the hip joint, knee joint, and ankle joint, and recognizes the anatomical structure in each high-resolution image. A method for automatically analyzing the alignment status of images. 청구항 8에 있어서,
상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식하는 단계에서,
상기 고관절에 대한 고해상도 이미지에서 대퇴골두의 중심(center of femoral head) 및 대퇴골의 대전자의 끝단(tip of greater trochanter of femur)을 포함하는 상기 해부학적 구조물을 인식하고,
상기 슬관절에 대한 고해상도 이미지에서 대퇴골의 외측 원위점(lateral distal point of femur), 대퇴골의 내측 원위점(medial distal point of femur), 대퇴골의 과간와(intercondylar fossa of femur), 외측 경골 관절 가장자리(lateral tibial articular edge), 내측 경골 관절 가장자리(medial tibial articular edge), 외측 경골극(lateral spine of tibia), 내측 경골극(medial spine of tibia), 경골 고평선의 외측 중앙점(midpoint of lateral tibial plateau), 경골 고평선의 내측 중앙점(midpoint of medial tibial plateau) 및 비골두의 끝단(tip of fibula head)을 포함하는 상기 해부학적 구조물을 인식하고,
상기 족관절에 대한 고해상도 이미지에서 내측 거골 돔의 가장자리(lateral edge of talar dome), 외측 거골 돔의 가장자리(medial edge of talar dome) 및 거골 돔의 중심(center of talar dome)을 포함하는 상기 해부학적 구조물을 인식하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 방법.In claim 8,
In the step of recognizing each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model,
Recognize the anatomical structures including the center of the femoral head and the tip of the greater trochanter of the femur in the high-resolution image of the hip joint,
In the high-resolution image of the knee joint, the lateral distal point of femur, medial distal point of femur, intercondylar fossa of femur, and lateral tibial joint edge (lateral) are visible. tibial articular edge, medial tibial articular edge, lateral spine of tibia, medial spine of tibia, midpoint of lateral tibial plateau, Recognize the anatomical structures including the midpoint of the medial tibial plateau and the tip of the fibula head,
The anatomical structures including the lateral edge of the talar dome, the medial edge of the lateral talar dome, and the center of the talar dome in the high-resolution image of the ankle joint. An automatic analysis method for lower extremity alignment status of lower extremity X-ray images using a convolutional neural network that recognizes. 청구항 9에 있어서,
상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식하는 단계에서,
상기 내측 경골 관절 가장자리와 상기 외측 경골 관절 가장자리 사이의 거리를 경골 너비(tibial width)로 인식하고, 상기 내측 경골 관절 가장자리와 상기 외측 경골 관절 가장자리 사이의 x축 거리를 수평 경골 너비(horizontal tibial width)로 인식하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 방법.In claim 9,
In the step of recognizing each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model,
The distance between the medial tibial joint edge and the lateral tibial joint edge is recognized as tibial width, and the x-axis distance between the medial tibial joint edge and the lateral tibial joint edge is recognized as horizontal tibial width. A method of automatically analyzing the alignment status of lower extremity X-ray images using a convolutional neural network that recognizes. 청구항 10에 있어서,
상기 CNN 기반의 학습모델에 기초하여 상기 전처리 이미지에서 복수의 상기 해부학적 구조물을 각각 인식하는 단계에서,
상기 고관절, 상기 슬관절 및 상기 족관절 각각에 대한 고해상도 이미지를 생성하는 경우 상기 수평 경골 너비를 기준으로 하여 정규화된 고해상도 이미지를 생성하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 방법.In claim 10,
In the step of recognizing each of the plurality of anatomical structures in the pre-processed image based on the CNN-based learning model,
When generating high-resolution images for each of the hip joint, the knee joint, and the ankle joint, a method for automatically analyzing the alignment status of the lower extremity X-ray image using a convolutional neural network that generates a high-resolution image normalized based on the horizontal tibial width. 청구항 7에 있어서,
복수의 상기 해부학적 구조물의 상기 위치를 이용하여 복수의 상기 하지 각도를 판단하는 단계에서,
mLDFA(mechanical lateral distal femoral angle), MPTA(medial proximal tibial angle), LPFA(lateral proximal femoral angle), LDTA(lateral distal tibial angle), JLCA(joint line convergence angle) 및 HKA(hip-knee-ankle angle)를 포함하는 상기 하지 각도를 각각 판단하는 합성곱 신경망을 이용한 하지 X선 이미지의 하지 정렬 상태 자동 분석 방법.In claim 7,
In determining the plurality of lower extremity angles using the positions of the plurality of anatomical structures,
mechanical lateral distal femoral angle (mLDFA), medial proximal tibial angle (MPTA), lateral proximal femoral angle (LPFA), lateral distal tibial angle (LDTA), joint line convergence angle (JLCA), and hip-knee-ankle angle (HKA). A method for automatically analyzing the alignment status of lower extremity X-ray images using a convolutional neural network that determines each of the lower extremity angles.