KR102389067B1 - Method for evaluating scoliosis and device evaluating scoliosis using the same - Google Patents
Method for evaluating scoliosis and device evaluating scoliosis using the same Download PDFInfo
- Publication number
- KR102389067B1 KR102389067B1 KR1020200037295A KR20200037295A KR102389067B1 KR 102389067 B1 KR102389067 B1 KR 102389067B1 KR 1020200037295 A KR1020200037295 A KR 1020200037295A KR 20200037295 A KR20200037295 A KR 20200037295A KR 102389067 B1 KR102389067 B1 KR 102389067B1
- Authority
- KR
- South Korea
- Prior art keywords
- vertebrae
- scoliosis
- medical image
- prediction model
- spine
- Prior art date
Links
- 206010039722 scoliosis Diseases 0.000 title claims abstract description 161
- 238000000034 method Methods 0.000 title claims description 60
- 239000013598 vector Substances 0.000 claims abstract description 137
- 238000011156 evaluation Methods 0.000 claims abstract description 122
- 239000011436 cob Substances 0.000 claims description 60
- 210000000115 thoracic cavity Anatomy 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000002059 diagnostic imaging Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 9
- 210000000988 bone and bone Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 206010061818 Disease progression Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은, 프로세서에 의해 구현되는 척추 측만증 평가 방법으로서, 개체의 복수의 척추뼈 (vertebrae) 를 포함하는 척추 의료 영상을 수신하는 단계, 척추뼈에 대한 벡터 필드 (vector field) 를 결정하도록 구성된 기울기 예측 모델을 이용하여, 복수 개의 척추뼈에 대한 벡터 필드를 결정하는 단계, 벡터 필드에 기초하여 복수의 척추뼈 각각에 대한 기울기를 결정하는 단계, 및 기울기에 기초하여 척추 측만증 발병 여부를 평가하는 단계를 포함하는, 척추 측만증 평가 방법 및 이를 이용한 척추 측만증 평가용 디바이스를 제공한다.The present invention provides a scoliosis evaluation method implemented by a processor, comprising: receiving a spinal medical image comprising a plurality of vertebrae of an object; a gradient configured to determine a vector field for the vertebrae Determining a vector field for a plurality of vertebrae using a predictive model, determining a slope for each of the plurality of vertebrae based on the vector field, and evaluating whether scoliosis develops based on the slope It provides a scoliosis evaluation method and a device for scoliosis evaluation using the same, including the.
Description
본 발명은, 척추 측만증 평가 방법 및 이를 이용한 디바이스에 관한 것으로, 보다 구체적으로는 의료 영상에 기초하여 척추 측만증을 예측하도록 구성된 방법 및 디바이스에 관한 것이다.The present invention relates to a scoliosis evaluation method and a device using the same, and more particularly, to a method and device configured to predict scoliosis based on a medical image.
의료 영상 장치는 대상 개체의 내부 구조를 영상으로 획득하기 위한 장비이다. 이러한 의료 영상 장치는 인체에 고통을 주지 않고 실시되는 비침습 검사 장치로서, 신체 내의 구조적 세부사항, 내부 조직 및 유체의 흐름 등을 촬영 및 처리하여 의료인에게 보여준다. 의료인들은 의료 영상 장치에서 출력되는 의료 영상을 이용하여 환자의 건강 상태 및 질병을 진단할 수 있다.A medical imaging apparatus is a device for acquiring an internal structure of a target object as an image. The medical imaging apparatus is a non-invasive examination apparatus that is performed without causing pain to the human body, and shows the medical personnel by photographing and processing structural details, internal tissues, and fluid flow in the body. Medical personnel may diagnose a patient's health condition and disease by using a medical image output from a medical imaging apparatus.
의료 영상 장치로는 자기 공명 영상을 제공하기 위한 자기 공명 영상 (MRI, magnetic resonance imaging) 장치, 컴퓨터 단층 촬영 (CT, Computed Tomography) 장치, 엑스레이 (X-ray) 장치, 및 초음파 (ultrasound) 진단 장치 등이 있다. 이러한 의료 영상 장치로부터 획득한 의료 영상들은, 질환의 진단에 이용될 수 있다. Examples of the medical imaging apparatus include a magnetic resonance imaging (MRI) apparatus, a computed tomography (CT) apparatus, an X-ray apparatus, and an ultrasound diagnostic apparatus for providing a magnetic resonance image. etc. Medical images acquired from such a medical imaging apparatus may be used to diagnose a disease.
한편, 의료 영상에 기초한 진단에 있어서, 계측 과정은 다양한 병소의 진단, 나아가 질환의 진행 단계의 결정에 있어서 매우 중요할 수 있다. 이때, 정확하고 재현성 높은 계측을 위해, 특히 2D의 평면 의료 영상에 기초한 계측에 있어서 해부학적 랜드마크와 같은 기준점이 중요할 수 있다. 그러나, 해부학적 랜드마크들은 진단 개체마다 다른 위치에 존재할 수 있고, 개체의 자세, 의료인의 숙련도와 같은 외부적 요인에 따라 다르게 결정될 수 있다. 이러한 이유로, 의료 영상에 기초한 계측, 특히 2D의 평면 의료 영상에 기초한 계측 분석은, 정확도 및 재현성이 떨어질 수 있다. 이때, 계측치의 부정확함은 질환의 진단, 질환의 진행의 평가 결과의 신뢰도를 떨어뜨릴 수 있다.Meanwhile, in diagnosis based on a medical image, the measurement process may be very important in diagnosing various lesions and further determining the stage of disease progression. In this case, a reference point such as an anatomical landmark may be important for accurate and highly reproducible measurement, particularly in measurement based on a 2D planar medical image. However, the anatomical landmarks may exist at different locations for each diagnosis object, and may be determined differently depending on external factors such as the subject's posture and the skill level of a medical practitioner. For this reason, measurement based on a medical image, in particular, measurement analysis based on a 2D planar medical image may have poor accuracy and reproducibility. In this case, the inaccuracy of the measured value may reduce the reliability of the diagnosis result of the disease and the evaluation result of the disease progression.
특히, 척추 측만증의 경우, 컴퓨터 단층 촬영, 자기 공명 영상 촬영 및 엑스레이 영상 촬영을 통해 측만 각인 콥 각 (Cobb angle) 을 계측하여 진단이 가능하나, 진단을 하는 의료인의 주관이 개입될 가능성이 커서 측정의 관측자 간, 관측자 내 재현성이 낮다. 재현성이 낮으므로 척추 측만증은 콥 각이 5° 이상 증가할 때 측만증이 악화된 것으로 판정하게 되는데, 재현성이 담보된다면 이보다 작은 오차도 질환의 진행으로 해석될 수 있는 여지가 있어 설명 가능한 자동화에 의한 재현성의 확보가 매우 중요하다. In particular, in the case of scoliosis, it is possible to diagnose by measuring the Cobb angle of the scoliosis through computed tomography, magnetic resonance imaging, and X-ray imaging. inter- and intra-observer reproducibility of Since the reproducibility is low, scoliosis is judged to have worsened when the Cobb angle is increased by 5° or more. It is very important to secure
의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 의료 영상에 기초한 척추 측만증을 높은 정확도로 평가할 수 있는 새로운 평가 방법의 개발이 요구된다. As the accuracy of diagnosis is further required for the improvement of medical services, there is a need to develop a new evaluation method capable of evaluating scoliosis based on a medical image with high accuracy.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.The description underlying the invention has been prepared to facilitate understanding of the invention. It should not be construed as an admission that the matters described in the background technology of the invention exist as prior art.
한편, 연구자들은 인공지능 알고리즘 기반의 시스템을 도입함으로써 종래의 의료 영상에 기초한 척추 측만증 평가 시스템이 갖는 한계 및 문제점들을 보완하고자 하였다. On the other hand, researchers tried to supplement the limitations and problems of the conventional scoliosis evaluation system based on medical images by introducing an artificial intelligence algorithm-based system.
그 결과, 영상 분할 기반의 방법 (image segmentation-based method) 에 의한 척추 측만증 평가 시스템이 제안되었다. 척추 측만증 평가 시스템은 영상에서 각 척추뼈를 분할한 후, 이로부터 각 경계면을 추출하고, 이에 대하여 평행한 선을 그어 척추뼈의 기울기를 추정한 후 콥 각을 산출하는 것에 기초할 수 있다. 한편, 이러한 영상 분할 기반의 척추 측만증 평가 시스템은 신뢰도 높은 결과의 제공을 위해 척추뼈 각각에 대한 정확도 높은 영역 분할이 요구될 수 있다. 나아가, 2D 방사선 영상의 경우, 각각의 척추뼈에 대한 정확도 높은 영역 분할이 어려울 수 있다.As a result, a scoliosis evaluation system using an image segmentation-based method has been proposed. The scoliosis evaluation system may be based on dividing each vertebra in the image, extracting each boundary surface from it, estimating the slope of the vertebrae by drawing a line parallel thereto, and calculating the Cobb angle. Meanwhile, the image segmentation-based scoliosis evaluation system may require high-accuracy region segmentation for each vertebra in order to provide reliable results. Furthermore, in the case of a 2D radiographic image, it may be difficult to segment a region with high accuracy for each vertebra.
더욱이, 각 척추뼈로부터 4 개의 모서리의 점을 찾은 후, 이로부터 척추뼈에 평행한 선을 긋는 방식의 랜드마크 기반의 척추 측만증 평가 시스템이 제안되었으나, 이러한 방식은 랜드마크의 정확도에 의존적일 수 있다는 한계가 있을 수 있다.Furthermore, a landmark-based scoliosis evaluation system has been proposed that finds the points of the four corners from each vertebra and draws a line parallel to the vertebrae from them, but this method may depend on the accuracy of the landmarks. There may be limitations.
또한 연구자들은 이러한 단점을 극복하기 위하여, 딥러닝 기반의 직접 추정 (direct estimation)방식을 개발하였다. 이를 통해 이전보다 정교해진 결과를 얻을 수 있었으나 이 방식은 최종결과로 콥 각도만을 제공하여, 시각적 해석능력이 떨어지는 한계를 지니고 있다.In addition, researchers have developed a direct estimation method based on deep learning to overcome these shortcomings. Through this, it was possible to obtain a more sophisticated result than before, but this method provides only the Cobb angle as the final result, and has a limitation in which the visual interpretation ability is lowered.
한편, 본 발명의 발명자들은, 전술한 척추 측만증 평가 시스템이 갖는 한계를 극복하고자 하였고, 정교한 콥 각도뿐만 아니라 개별 척추의 중심점 및 기울기와 같은 시각적인 정보까지 제공할 수 있는 방식에 주목하였다. On the other hand, the inventors of the present invention tried to overcome the limitations of the aforementioned scoliosis evaluation system, and paid attention to a method that can provide not only a sophisticated Cobb angle but also visual information such as the center point and inclination of individual vertebrae.
보다 구체적으로, 본 발명의 발명자들은, 척추 측만증 평가 시스템에 대하여 의료 영상에 대한 영역 분할, 예를 들어 척추뼈 영역에 대한 분할 절차 없이 영상 내에서 척추뼈를 이루는 픽셀 각각에 대한 벡터, 즉 벡터 필드를 결정하여 최종적으로 척추체 기울기를 결정하도록 설계할 수 있었다. More specifically, the inventors of the present invention provide a vector for each pixel constituting a vertebra in an image without a region segmentation for a medical image, for example, a segmentation procedure for a vertebra region, that is, a vector field for the scoliosis evaluation system. can be designed to finally determine the inclination of the vertebral body.
결과적으로, 본 발명의 발명자들은 척추뼈의 경계선에 대한 명확한 분할 절차 없이 척추뼈 각각에 대한 기울기를 결정하여 최종적으로 콥 각을 산출하여 제공하도록 구성된 새로운 척추 측만증 평가 시스템을 개발하기에 이르렀다. As a result, the inventors of the present invention have developed a new scoliosis evaluation system configured to determine the inclination for each vertebra without a clear division procedure for the boundary line of the vertebrae and finally calculate and provide the Cobb angle.
이때, 본 발명의 발명자들은 척추뼈에 대한 기울기로 정의되는 척추-기울기 필드 (vertebral-tilt field) 를 의료 영상 내에서 예측하도록 구성된 기울기 예측 모델을 척추 측만증 평가 시스템에 적용하고자 하였다.At this time, the inventors of the present invention tried to apply a tilt prediction model configured to predict a vertebral-tilt field defined as a tilt with respect to a vertebra in a medical image to a scoliosis evaluation system.
더욱이, 본 발명의 발명자들은 의료 영상 내에서 17 개의 척추뼈 각각을 국소화 (localization) 하도록 구성된 척추뼈 예측 모델을 척추 측만증 평가 시스템에 적용할 수 있었다.Furthermore, the inventors of the present invention were able to apply a vertebra prediction model configured to localize each of the 17 vertebrae within the medical image to the scoliosis evaluation system.
그 결과, 종래의 척추 측만증 평가 시스템보다 높은 정확도로로 의료 영상 내에서 척추뼈를 인식하고, PT (proximal-thoracic), MT (main thoracic) 및 TL (thoracic-lumbar) 의 콥 각을 결정할 수 있음이 확인되었다.As a result, it is possible to recognize vertebrae within a medical image with higher accuracy than the conventional scoliosis evaluation system, and to determine the Cobb angles of PT (proximal-thoracic), MT (main thoracic) and TL (thoracic-lumbar). This was confirmed.
특히, 본 발명의 발명자들은 결정된 콥 각뿐만 아니라, 척추뼈 각각에 대한 기울기 벡터, 척추뼈의 중심점 등을 함께 제공하여 콥 각의 산출을 위한 중간 과정을 시각적으로 제공하고자 하였다.In particular, the inventors of the present invention tried to visually provide an intermediate process for calculating the Cobb angle by providing not only the determined Cobb angle, but also the gradient vector for each vertebra, the center point of the vertebra, and the like.
이에, 본 발명의 발명자들은, 정확도 높고 시각적으로 설명 가능한 콥 각을 제공하는 척추 측만증 평가 시스템을 제공함으로써, 부정확한 측정으로 인한 의료진의 척추 측만증의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있음을 기대할 수 있었다.Accordingly, the inventors of the present invention provide a scoliosis evaluation system that provides a highly accurate and visually explainable Cobb angle, thereby preventing erroneous interpretation of the progress of scoliosis by medical staff due to inaccurate measurement, and applying it to actual clinical practice. Therefore, it could be expected that the workflow of medical staff could be improved.
이에, 본 발명이 해결하고자 하는 과제는, 기울기 예측 모델을 이용하여 수신된 척추 의료 영상에 대하여 벡터 필드를 결정하고, 이를 기초로 기울기를 결정하여 척추 측만증 발병 여부를 평가하도록 구성된, 척추 측만증 평가 방법 및 이를 이용한 디바이스를 제공하는 것이다.Accordingly, the problem to be solved by the present invention is a scoliosis evaluation method, configured to determine a vector field for a received spinal medical image using a gradient prediction model, determine a gradient based on this, and evaluate whether or not scoliosis occurs and to provide a device using the same.
본 발명이 해결하고자 하는 다른 과제는, 척추뼈 예측 모델을 이용하여 척추 의료 영상 내에서 각각의 척추뼈를 국소화하고, 기울기 예측 모델을 이용하여 척추뼈에 대한 벡터 필드를 결정하고, 이를 기초로 콥 각을 산출하여 척추 측만증 발병 여부를 평가하도록 구성된, 척추 측만증 평가 방법 및 이를 이용한 디바이스를 제공하는 것이다.Another problem to be solved by the present invention is to localize each vertebra in a vertebral medical image using a vertebra prediction model, determine a vector field for a vertebra using a gradient prediction model, and, based on this, An object of the present invention is to provide a scoliosis evaluation method and a device using the same, configured to evaluate whether or not scoliosis occurs by calculating an angle.
본 발명이 해결하고자 하는 또 다른 과제는, 척추뼈 예측 모델 및/또는 기울기 예측 모델을 이용하여 콥 각을 산출하는 중간 과정에서 결정된 정보들을 시각적으로 제공하도록 구성된, 척추 측만증 평가 방법 및 이를 이용한 디바이스를 제공하는 것이다.Another problem to be solved by the present invention is a scoliosis evaluation method and a device using the same, configured to visually provide information determined in an intermediate process of calculating a Cobb angle using a vertebrae prediction model and/or a tilt prediction model. will provide
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 척추 측만증 평가 방법이 제공된다. 본 방법은, 프로세서에 의해 구현되는 척추 측만증 평가 방법으로서, 프로세서에 의해 구현되는 척추 측만증 평가 방법으로서, 개체의 복수의 척추뼈 (vertebrae) 를 포함하는 척추 의료 영상을 수신하는 단계, 척추뼈에 대한 벡터 필드 (vector field) 를 결정하도록 구성된 기울기 예측 모델을 이용하여, 복수 개의 척추뼈에 대한 벡터 필드를 결정하는 단계, 벡터 필드에 기초하여 복수의 척추뼈 각각에 대한 기울기를 결정하는 단계, 및 기울기에 기초하여 척추 측만증 발병 여부를 평가하는 단계를 포함한다.In order to solve the problems as described above, there is provided a scoliosis evaluation method according to an embodiment of the present invention. The method is a scoliosis evaluation method implemented by a processor, the scoliosis evaluation method implemented by a processor, the method comprising: receiving a spinal medical image including a plurality of vertebrae of an individual; determining a vector field for a plurality of vertebrae using a gradient prediction model configured to determine a vector field, determining a gradient for each of the plurality of vertebrae based on the vector field, and a gradient and evaluating whether or not scoliosis develops based on the.
본 발명의 특징에 따르면, 각각에 대한 기울기를 결정하는 단계는, 벡터 필드의 가중 평균값에 기초하여, 복수의 척추뼈 각각에 대한 척추-기울기 벡터 (vertebral-tilt vector) 를 결정하는 단계, 및 척추-기울기 벡터에 기초하여 복수의 척추뼈 각각에 대한 기울기를 결정하는 단계를 포함할 수 있다.According to a feature of the present invention, the determining of the slope for each of the steps includes: determining a vertebral-tilt vector for each of the plurality of vertebrae, based on a weighted average value of the vector field, and the vertebrae - determining a gradient for each of the plurality of vertebrae based on the gradient vector.
본 발명의 다른 특징에 따르면, 상기 방법은 척추 의료 영상을 수신하는 단계 이후에 수행되는, 의료 영상 내에서 척추뼈를 결정하도록 구성된 척추뼈 예측 모델을 이용하여, 척추 의료 영상 내에서 상기 복수의 척추뼈를 결정하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, the method includes using a vertebra prediction model configured to determine a vertebra in a medical image, performed after receiving the spinal medical image, in the medical image of the plurality of vertebrae in the spine. It may further include the step of determining the bone.
본 발명의 또 다른 특징에 따르면, 척추뼈 예측 모델은, 척추뼈에 대한 중심점을 결정하도록 더 구성될 수 있다. 이때, 복수의 척추뼈를 결정하는 단계는, 척추뼈 예측 모델을 이용하여, 복수의 척추뼈 각각에 대한 중심점을 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the vertebra prediction model may be further configured to determine a center point for the vertebra. In this case, the determining of the plurality of vertebrae may include determining a center point for each of the plurality of vertebrae using a vertebra prediction model.
본 발명의 또 다른 특징에 따르면, 각각에 대한 기울기를 결정하는 단계는, 중심점 및 상기 각각에 대한 기울기를 기초로, 복수의 척추뼈 각각에 대한 척추-기울기 벡터 (vertebral-tilt vector) 를 결정하는 단계, 및 척추-기울기 벡터에 기초하여 복수의 척추뼈 각각에 대한 기울기를 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of determining the inclination for each is based on the central point and the inclination for each of the plurality of vertebrae for each of the vertebrae - determining a vertebral-tilt vector and determining a slope for each of the plurality of vertebrae based on the spine-tilt vector.
본 발명의 또 다른 특징에 따르면, 상기 방법은 척추 의료 영상에 대하여 중심점 또는 상기 척추-기울기 벡터를 표시하여 제공하는 단계를 더 포함할 수 있다. According to another feature of the present invention, the method may further include displaying and providing a center point or the spine-tilt vector with respect to a spinal medical image.
본 발명의 또 다른 특징에 따르면, 척추뼈 예측 모델은, 의료 영상 내에서 척추뼈로 예측되는 신뢰성 맵 (confidence map) 을 생성하도록 더 구성될 수 있다. 이때, 각각에 대한 중심점을 결정하는 단계는, 척추뼈 예측 모델을 이용하여 신뢰성 맵을 생성하는 단계, 및 신뢰성 맵 내에서 중심점을 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the vertebra prediction model may be further configured to generate a confidence map predicted as a vertebra in a medical image. In this case, the determining of the center point for each may include generating a reliability map using a vertebra prediction model, and determining the center point in the reliability map.
본 발명의 또 다른 특징에 따르면, 기울기 예측 모델은 인풋 레이어 (input layer) 및 아웃풋 레이어 (output layer) 를 포함할 수 있다. 이때, 인풋 레이어는, 입력된 척추 의료 영상을 복수의 스케일로 다운 샘플링 (down sampling) 하도록 구성되고, 아웃풋 레이어는, 복수의 스케일로 다운 샘플링된 척추 의료 영상 각각에 대하여 상기 벡터 필더를 결정하도록 구성될 수 있다.According to another feature of the present invention, the gradient prediction model may include an input layer and an output layer. In this case, the input layer is configured to down-sample the input spinal medical image to a plurality of scales, and the output layer is configured to determine the vector filter for each of the spinal medical images down-sampled to the plurality of scales. can be
본 발명의 또 다른 특징에 따르면, 척추 측만증 발병 여부를 평가하는 단계는, 각각에 대한 기울기에 기초하여 PT (proximal-thoracic), MT (main thoracic) 및 TL (thoracic-lumbar) 중 적어도 하나의 콥 각을 결정하는 단계, 및 콥 각에 기초하여 척추 측만증 발병 여부를 평가하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of evaluating whether or not scoliosis develops, based on the slope for each, at least one of PT (proximal-thoracic), MT (main thoracic) and TL (thoracic-lumbar) It may include determining the angle, and evaluating whether or not scoliosis develops based on the Cobb angle.
본 발명의 또 다른 특징에 따르면, 콥 각을 제공하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the method may further comprise providing a Cobb angle.
본 발명의 또 다른 특징에 따르면, 척추 의료 영상은, 척추 정면 방사선 영상일 수 있다.According to another feature of the present invention, the spine medical image may be a frontal spine radiographic image.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 척추 측만증 평가용 디바이스가 제공된다. 상기 디바이스는, 개체의 복수의 척추뼈 (vertebrae) 를 포함하는 척추 의료 영상을 수신하도록 구성된 수신부, 및 프로세서를 포함한다. 이때, 프로세서는, 척추뼈에 대한 벡터 필드 (vector field) 를 결정하도록 구성된 기울기 예측 모델을 이용하여, 복수 개의 척추뼈에 대한 벡터 필드를 결정하고, 벡터 필드에 기초하여 복수의 척추뼈 각각에 대한 기울기를 결정하고, 기울기에 기초하여 척추 측만증 발병 여부를 평가하도록 구성될 수 있다.In order to solve the above problems, a device for evaluating scoliosis according to another embodiment of the present invention is provided. The device includes a receiving unit configured to receive a spinal medical image including a plurality of vertebrae of an object, and a processor. In this case, the processor determines a vector field for a plurality of vertebrae using a gradient prediction model configured to determine a vector field for the vertebrae, and determines a vector field for each of the plurality of vertebrae based on the vector field. It may be configured to determine a slope and evaluate whether or not scoliosis develops based on the slope.
본 발명의 특징에 따르면, 프로세서는, 벡터 필드의 평균값에 기초하여, 복수의 척추뼈 각각에 대한 척추-기울기 벡터 (vertebral-tilt vector) 를 결정하고, 척추-기울기 벡터에 기초하여 상기 복수의 척추뼈 각각에 대한 기울기를 결정하도록 더 구성될 수 있다.According to a feature of the present invention, the processor determines a vertebral-tilt vector for each of a plurality of vertebrae based on an average value of the vector field, and based on the spine-tilt vector, the plurality of vertebrae It may be further configured to determine a slope for each of the bones.
본 발명의 다른 특징에 따르면, 프로세서는, 의료 영상 내에서 척추뼈를 결정하도록 구성된 척추뼈 예측 모델을 이용하여, 척추 의료 영상 내에서 복수의 척추뼈를 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor may be further configured to determine a plurality of vertebrae in the vertebrae medical image by using a vertebra prediction model configured to determine the vertebrae in the medical image.
본 발명의 또 다른 특징에 따르면, 척추뼈 예측 모델은, 척추뼈에 대한 중심점을 결정하도록 더 구성될 수 있다. 이때, 프로세서는, 척추뼈 예측 모델을 이용하여, 상기 복수의 척추뼈 각각에 대한 중심점을 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the vertebra prediction model may be further configured to determine a center point for the vertebra. In this case, the processor may be further configured to determine a center point for each of the plurality of vertebrae using the vertebra prediction model.
본 발명의 또 다른 특징에 따르면, 프로세서는, 중심점 및 상기 각각에 대한 기울기를 기초로, 복수의 척추뼈 각각에 대한 척추-기울기 벡터 (vertebral-tilt vector) 를 결정하고, 척추-기울기 벡터에 기초하여 상기 복수의 척추뼈 각각에 대한 기울기를 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor determines a vertebral-tilt vector for each of a plurality of vertebrae, based on a central point and a tilt for each of said vertebrae, based on the vertebral-tilt vector It may be further configured to determine the slope for each of the plurality of vertebrae.
본 발명의 또 다른 특징에 따르면, 상기 디바이스는, 척추 의료 영상에 대하여 상기 중심점 또는 척추-기울기 벡터를 표시하여 제공하도록 구성된 표시부를 더 포함할 수 있다.According to another feature of the present invention, the device may further include a display unit configured to display and provide the center point or the spine-tilt vector with respect to the spine medical image.
본 발명의 또 다른 특징에 따르면, 척추뼈 예측 모델은, 의료 영상 내에서 척추뼈로 예측되는 신뢰성 맵 (confidence map) 을 생성하도록 더 구성될 수 있다. 이때, 프로세서는, 척추뼈 예측 모델을 이용하여 신뢰성 맵을 생성하고, 신뢰성 맵 내에서 중심점을 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the vertebra prediction model may be further configured to generate a confidence map predicted as a vertebra in a medical image. In this case, the processor may be further configured to generate a reliability map by using the vertebra prediction model, and to determine a center point in the reliability map.
본 발명의 또 다른 특징에 따르면, 기울기 예측 모델은 인풋 레이어 (input layer) 및 아웃풋 레이어 (output layer) 를 포함할 수 있다. 이때, 인풋 레이어는, 입력된 척추 의료 영상을 복수의 스케일로 다운 샘플링 (down sampling) 하도록 구성되고, 아웃풋 레이어는, 복수의 스케일로 다운 샘플링된 척추 의료 영상 각각에 대하여 상기 벡터 필더를 결정하도록 구성될 수 있다.According to another feature of the present invention, the gradient prediction model may include an input layer and an output layer. In this case, the input layer is configured to down-sample the input spinal medical image to a plurality of scales, and the output layer is configured to determine the vector filter for each of the spinal medical images down-sampled to the plurality of scales. can be
본 발명의 또 다른 특징에 따르면, 프로세서는, 각각에 대한 기울기에 기초하여 PT (proximal-thoracic), MT (main thoracic) 및 TL (thoracic-lumbar) 중 적어도 하나의 콥 각을 결정하고, 콥 각에 기초하여 상기 척추 측만증 발병 여부를 평가하도록 구성될 수 있다.According to another feature of the present invention, the processor determines a Cobb angle of at least one of proximal-thoracic (PT), main thoracic (MT), and thoracic-lumbar (TL) based on the slopes for each, It may be configured to evaluate whether or not the scoliosis develops based on the.
본 발명의 또 다른 특징에 따르면, 상기 디바이스는, 콥 각을 제공하도록 구성된, 표시부를 더 포함할 수 있다.According to another feature of the present invention, the device may further include a display, configured to provide a Cobb angle.
본 발명의 또 다른 특징에 따르면, 척추 의료 영상은, 척추 정면 방사선 영상일 수 있다.According to another feature of the present invention, the spine medical image may be a frontal spine radiographic image.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Details of other embodiments are included in the detailed description and drawings.
본 발명은, 예측 모델에 기초하여 척추뼈의 경계선에 대한 명확한 분할 절차 없이 척추뼈 각각에 대한 기울기를 결정하여 최종적으로 콥 각을 산출하여 제공하도록 구성된 새로운 척추 측만증 평가 시스템을 제공함으로써, 정확도 높은 콕 각의 계측 결과 및 이에 따른 정확한 척추 측만증에 대한 평가 결과를 제공할 수 있다.The present invention provides a new scoliosis evaluation system configured to determine the inclination for each vertebra without a clear division procedure for the boundary line of the vertebrae based on the predictive model and finally calculate and provide the Cobb angle, thereby providing a high-accuracy cock It is possible to provide an angle measurement result and an accurate scoliosis evaluation result accordingly.
보다 구체적으로, 본 발명은, 의료 영상 내에서 17 개의 척추뼈 각각을 국소화 (localization) 하도록 구성된 척추뼈 예측 모델, 및/또는 척추-기울기 필드 (vertebral-tilt field) 를 의료 영상 내에서 예측하도록 구성된 기울기 예측 모델의 출력값에 기초하여 결정된 콥 각을 제공함에 따라, 개체의 척추 측만증과 연관된 정보를 제공할 수 있다. More specifically, the present invention provides a vertebra prediction model configured to localize each of 17 vertebrae within a medical image, and/or a vertebral-tilt field configured to predict a vertebral-tilt field within a medical image. By providing the Cobb angle determined based on the output value of the gradient prediction model, information related to the individual's scoliosis may be provided.
이에, 본 발명은, 콥 각이 척추체의 해부학적 구조, 및 의료인의 숙련도에 따라 다르게 측정될 수 있음에 따른 한계점 및 문제점을 갖는 종래의 척추 측만증 평가 시스템보다 진단 성능이 우수할 수 있다.Accordingly, the present invention may have better diagnostic performance than the conventional scoliosis evaluation system, which has limitations and problems in that the Cobb angle may be measured differently depending on the anatomical structure of the vertebral body and the skill level of a medical practitioner.
특히, 본 발명은 척추뼈 영역에 대한 분할 과정 없이 벡터 필드를 결정하여 척추체 기울기를 제공하도록 구성됨에 따라, 평가의 신뢰도가 척추뼈의 경계선 및 랜드마크에 의존적이던 종래의 척추 측만증 평가 시스템보다 우수한 성능을 가질 수 있다. In particular, as the present invention is configured to provide a vertebral body tilt by determining a vector field without a segmentation process for vertebrae regions, the reliability of evaluation is superior to the conventional scoliosis evaluation system, which is dependent on the boundaries and landmarks of the vertebrae. can have
더욱이, 본 발명은, 정확도 높고 시각적으로 설명 가능한 콥 각을 제공하는 척추 측만증 평가 시스템을 제공함으로써, 부정확한 측정으로 인한 의료진의 척추 측만증의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다. Moreover, the present invention provides a scoliosis evaluation system that provides a highly accurate and visually explainable Cobb angle, thereby preventing the medical staff from erroneous interpretation of the scoliosis progression due to inaccurate measurement, and in actual clinical practice, the medical staff can improve your workflow.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effect according to the present invention is not limited by the contents exemplified above, and more various effects are included in the present specification.
도 1a는 본 발명의 일 실시예에 따른 척추 측만증 평가용 디바이스에 기초한 척추 측만증 평가 시스템을 예시적으로 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 척추 측만증 평가용 디바이스의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 척추 측만증 평가용 디바이스로부터 척추 측만증에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법의 절차를 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에 따라 콥 각 측정 및 척추 측만증 여부를 결정하는 절차를 예시적으로 도시한 것이다.
도 3b는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에서, 척추뼈에 대한 기울기를 결정하는 단계를 예시적으로 도시한 것이다.
도 3c는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에서, 척추뼈에 대한 척추-기울기 벡터를 결정하는 단계를 예시적으로 도시한 것이다.
도 3d는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에서, 콥 각을 결정하는 단계를 예시적으로 도시한 것이다.
도 4는 본 발명의 다양한 실시예에 이용되는 기울기 예측 모델의 구성을 예시적으로 도시한 것이다.
도 5는 본 발명의 다양한 실시예에 이용되는 척추뼈 예측 모델의 구성을 예시적으로 도시한 것이다.
도 6a는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에 따라 척추 의료 영상에 대하여 결정된 신뢰성 맵 및 척추뼈에 대한 중심점을 도시한 것이다.
도 6b는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에 따라, 척추 의료 영상에 대하여 결정된 척추뼈에 대한 벡터 필드 및 중심점에 기초하여 결정된 척추-기울기 벡터를 도시한 것이다.
도 6c는 본 발명의 다양한 실시예에 이용되는 척추뼈 예측 모델의 중심점 결정에 대한 평가 결과를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에 따른, 6 명의 개체에 대한 평가 결과를 도시한 것이다.
도 8a 및 8b는 손실 함수 (loss function) 적용 여부에 따른 척추 의료 영상 내 척추 뼈에 대한 신뢰성 맵 결정 여부를 평가한 결과를 도시한 것이다.
도 8c 및 8d는 종래의 영역 분할 모델에 기초한 척추 의료 영상 내 척추뼈 분할 결과 및 본 발명의 다양한 실시예에 적용되는 예측 모델들에 의해 예측된 척추뼈의 기울기를 비교하여 도시한 것이다.
도 9a 및 9b는 본 발명의 다양한 실시예에 이용되는 기울기 예측 모델에 대한 콥 각 결정에 대한 평가 결과를 다른 영역 분할 모델과 비교하여 도시한 것이다.1A exemplarily shows a scoliosis evaluation system based on a device for scoliosis evaluation according to an embodiment of the present invention.
1B exemplarily shows the configuration of a device for evaluation of scoliosis according to an embodiment of the present invention.
1C exemplarily shows the configuration of a medical staff device that receives and outputs information about scoliosis from a device for evaluating scoliosis according to an embodiment of the present invention.
2 illustrates a procedure of a scoliosis evaluation method according to an embodiment of the present invention.
3A exemplarily illustrates a procedure for measuring a Cobb angle and determining whether or not scoliosis is present according to a scoliosis evaluation method according to an embodiment of the present invention.
3B exemplarily illustrates a step of determining a slope with respect to a vertebra in a scoliosis evaluation method according to an embodiment of the present invention.
3C exemplarily illustrates a step of determining a spine-tilt vector for a vertebra in a scoliosis evaluation method according to an embodiment of the present invention.
3D exemplarily illustrates a step of determining a Cobb angle in a scoliosis evaluation method according to an embodiment of the present invention.
4 exemplarily shows the configuration of a gradient prediction model used in various embodiments of the present invention.
5 exemplarily shows the configuration of a vertebrae prediction model used in various embodiments of the present invention.
6A is a diagram illustrating a reliability map determined for a spinal medical image and a center point for a vertebra according to a scoliosis evaluation method according to an embodiment of the present invention.
6B illustrates a spine-tilt vector determined based on a vector field and a center point for a vertebra determined for a spine medical image according to a scoliosis evaluation method according to an embodiment of the present invention.
6C illustrates an evaluation result for determining a center point of a vertebra prediction model used in various embodiments of the present invention.
7 is a view showing evaluation results for 6 individuals according to the scoliosis evaluation method according to an embodiment of the present invention.
8A and 8B show results of evaluating whether a reliability map for vertebrae in a spinal medical image is determined according to whether or not a loss function is applied.
8C and 8D are diagrams illustrating a comparison between a vertebra segmentation result in a spinal medical image based on a conventional region segmentation model and a slope of a vertebra predicted by prediction models applied to various embodiments of the present invention.
9A and 9B are diagrams illustrating evaluation results for determining a Cobb angle for a gradient prediction model used in various embodiments of the present invention compared with other region partitioning models.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be embodied in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. In connection with the description of the drawings, like reference numerals may be used for like components.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this document, expressions such as "have," "may have," "includes," or "may include" refer to the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, "A or B," "at least one of A and B," or "at least one of A or B" means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.As used herein, expressions such as "first," "second," "first," or "second," may modify various elements, regardless of order and/or importance, and refer to one element. It is used only to distinguish it from other components, and does not limit the components. For example, the first user equipment and the second user equipment may represent different user equipment regardless of order or importance. For example, without departing from the scope of rights described in this document, the first component may be named as the second component, and similarly, the second component may also be renamed as the first component.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.A component (eg, a first component) is "coupled with/to (operatively or communicatively)" to another component (eg, a second component); When referring to "connected to", it will be understood that the certain element may be directly connected to the other element or may be connected through another element (eg, a third element). On the other hand, when it is said that a component (eg, a first component) is "directly connected" or "directly connected" to another component (eg, a second component), the component and the It may be understood that other components (eg, a third component) do not exist between other components.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.The expression "configured to (or configured to)" as used in this document, depending on the context, for example, "suitable for," "having the capacity to ," "designed to," "adapted to," "made to," or "capable of." The term “configured (or configured to)” may not necessarily mean only “specifically designed to” in hardware. Instead, in some circumstances, the expression “a device configured to” may mean that the device is “capable of” with other devices or parts. For example, the phrase "a processor configured (or configured to perform) A, B, and C" refers to a dedicated processor (eg, an embedded processor) for performing the corresponding operations, or by executing one or more software programs stored in a memory device. , may mean a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.Terms used in this document are only used to describe specific embodiments, and may not be intended to limit the scope of other embodiments. The singular expression may include the plural expression unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meanings as commonly understood by one of ordinary skill in the art described in this document. Among terms used in this document, terms defined in a general dictionary may be interpreted with the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in this document, ideal or excessively formal meanings is not interpreted as In some cases, even terms defined in this document cannot be construed to exclude embodiments of this document.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다. Each feature of the various embodiments of the present invention may be partially or wholly combined or combined with each other, and as those skilled in the art will fully understand, technically various interlocking and driving are possible, and each embodiment may be implemented independently of each other, It may be possible to implement together in a related relationship.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다. For clarity of interpretation of the present specification, terms used herein will be defined below.
본 명세서에서 사용되는 용어, "개체"는 척추 측만증을 예측하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 척추 측만증 의심 개체일 수도 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다. As used herein, the term “subject” may refer to any subject for which scoliosis is predicted. For example, the subject may be a subject suspected of scoliosis. In this case, the subject disclosed herein may be any mammal except humans, but is not limited thereto.
본 명세서에서 사용되는 용어, "척추 의료 영상"은, 영상 진단 장치로부터 촬영된 의료 영상을 의미할 수 있다. As used herein, the term “spine medical image” may refer to a medical image captured by an imaging apparatus.
예를 들어, 척추 의료 영상은, 개체에 대하여 촬영된 척추 정면 영상, 바람직하게 척추 정면 방사선 영상 (Frontal Radiographs) 일 수 있으나, 이에 제한되는 것은 아니다. 이때, 척추 의료 영상은, T1 내지 T12의 12 개의 흉추 (thoracic vertebrae), L1 내지 L5의 요추 (lumbar vertebrae) 의 복수 개의 척추뼈를 포함할 수 있다. For example, the spine medical image may be a frontal spine image taken with respect to an object, preferably, frontal radiographs, but is not limited thereto. In this case, the spine medical image may include a plurality of vertebrae of 12 thoracic vertebrae of T1 to T12 and lumbar vertebrae of L1 to L5.
보다 바람직하게, 척추 의료 영상은, PT (proximal-thoracic) 각의 결정을 위한 T1 및 T3 영역, MT (main thoracic) 각의 결정을 위한 T3 및 T12 영역 및 TL (thoracic-lumbar) 각의 결정을 위한 T12 및 L4 영역을 포함할 수 있으나, 이에 제한되는 것은 아니다. More preferably, the spine medical image includes T1 and T3 regions for determining a proximal-thoracic (PT) angle, T3 and T12 regions for determining a main thoracic (MT) angle, and a thoracic-lumbar (TL) angle. It may include, but is not limited to, T12 and L4 regions for
한편, 의료 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수 개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 의료 영상이 복수 개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에 따라 복수 개의 의료 영상 각각에 대하여 척추-기울기 벡터가 결정되고, 콥 각이 산출될 수도 있다. 그 결과, 본 발명은 방사선 촬영 장치와 같은 영상 진단 장치로부터의 의료 영상의 수신과 동시에 콥 각의 예측을 수행할 수 있어, 실시간으로 척추 측만증의 진단 정보를 제공할 수 있다. Meanwhile, the medical image may be a two-dimensional image, a three-dimensional image, a still image of one cut, or a moving image composed of a plurality of cuts. For example, when the medical image is a moving picture composed of a plurality of cuts, a spine-tilt vector is determined for each of a plurality of medical images according to the scoliosis evaluation method according to an embodiment of the present invention, and a Cobb angle is calculated. may be As a result, according to the present invention, the Cobb angle can be predicted at the same time as the medical image is received from an imaging device such as a radiographic imaging device, and thus diagnostic information of scoliosis can be provided in real time.
본 명세서에서 사용되는 용어, "콥 각"은 척추뼈의 휜 각도를 의미하며, 척추 측만증에 대한 지표로서 적용될 수 있다. 이때, 콥 각은 PT (proximal-thoracic), MT (main thoracic) 및 TL (thoracic-lumbar) 중 적어도 하나일 수 있고, 콥 각이 10 °이상인 경우, '척추 측만증'으로 분류될 수 있다. As used herein, the term "Cobb angle" refers to the bending angle of the vertebrae, and may be applied as an index for scoliosis. In this case, the Cobb angle may be at least one of proximal-thoracic (PT), main thoracic (MT), and thoracic-lumbar (TL).
본 명세서에서 사용되는 용어, "벡터 필드 (vector field)"는 벡터 함수로 표현된 공간인 벡터 장을 의미하며, 의료 영상 내에서 척추뼈의 방향성을 제시하는 복수의 벡터일 수 있다. As used herein, the term “vector field” refers to a vector field that is a space expressed by a vector function, and may be a plurality of vectors indicating the direction of the vertebrae in a medical image.
보다 구체적으로, 본원 명세서 내에서 벡터 필드는 척추 의료 영상 내에서 척추뼈를 이루는 복수의 픽셀 각각에 대한 벡터들을 의미할 수 있다. 이에, 벡터 필드가 결정됨으로써 의료 영상 내에서 척추뼈의 경계선에 대한 분할 절차 없이도 척추체의 기울기가 추정될 수 있다.More specifically, in the present specification, a vector field may mean vectors for each of a plurality of pixels constituting a vertebra in a spinal medical image. Accordingly, since the vector field is determined, the inclination of the vertebral body may be estimated in the medical image without a division procedure for the boundary line of the vertebrae.
한편, 본원 발명의 명세서 내에서 벡터 필드는 척추-기울기 필드 (vertebral-tilt field) 와 동일한 의미로 해석될 수 있다. Meanwhile, in the specification of the present invention, a vector field may be interpreted as having the same meaning as a vertebral-tilt field.
본 명세서에서 사용되는 용어, "척추-기울기 벡터 (vertebral-tilt vector)"는 의료 영상 내에서 척추뼈의 방향성을 나타내는 하나의 대표 벡터를 의미할 수 있다.As used herein, the term “vertebral-tilt vector” may refer to one representative vector indicating the directionality of a vertebra in a medical image.
이때, 척추-기울기 벡터는 척추 의료 영상 내에서, 복수 개의 척추뼈 각각에 대하여 결정될 수 있다. In this case, the spine-tilt vector may be determined for each of the plurality of vertebrae in the spine medical image.
예를 들어, 척추-기울기 벡터는 복수 개의 척추뼈 각각을 이루는 벡터 필드의 가중 평균에 기초하여 결정될 수 있다. 그러나 이에 제한되는 것은 아니며, 척추-기울기 벡터는 복수 개의 척추뼈의 중심, 즉 중심점에 대한 벡터 필드의 가중 평균에 기초하여 결정될 수 있다.For example, the spine-tilt vector may be determined based on a weighted average of vector fields constituting each of the plurality of vertebrae. However, the present invention is not limited thereto, and the spine-tilt vector may be determined based on a weighted average of vector fields for centers of a plurality of vertebrae, that is, a center point.
본 명세서에서 사용되는 용어, "기울기 예측 모델"은 척추 의료 영상에 대하여 척추뼈에 대한 벡터 필드를 출력하도록 구성된 모델일 수 있다. As used herein, the term “slope prediction model” may be a model configured to output a vector field for a vertebra with respect to a spinal medical image.
예를 들어, 본 발명의 기울기 예측 모델은, 입력된 척추 정면 의료 영상에 대하여 척추뼈에 대한 벡터 필드를 결정하여 출력하도록 학습된 모델일 수 있다. For example, the gradient prediction model of the present invention may be a model trained to determine and output a vector field for a vertebra with respect to an input frontal spine medical image.
이때, 기울기 예측 모델은, 입력된 척추 의료 영상을 복수의 스케일로 다운 샘플링 (down sampling) 하도록 구성된 인풋 레이어 (input layer) 및 복수의 스케일로 다운 샘플링된 척추 의료 영상 각각에 대하여 벡터 필드를 결정하도록 아웃풋 레이어 (output layer) 로 이루어질 수 있다. 보다 구체적으로, 아웃풋 레이어는, 다운 샘플링된 복수의 척추 의료 영상 각각에 대하여 벡터 필더를 출력하도록 구성된 사이드 아웃풋 레이어 (side-output layer) 및 이들에 대한 평균값에 기초하여 최종적으로 척추 의료 영상에 대한 벡터 필드를 결정하도록 구성된 파이널 아웃풋 레이어 (final-output layer) 로 이루어질 수 있다. In this case, the gradient prediction model determines a vector field for each of an input layer configured to down-sample an input spinal medical image to a plurality of scales and a spine medical image down-sampled to a plurality of scales. It may be formed of an output layer. More specifically, the output layer includes a side-output layer configured to output a vector filter for each of a plurality of down-sampled spinal medical images, and finally a vector for a spinal medical image based on an average value thereof It may consist of a final-output layer configured to determine the field.
이에, 본 발명의 다양한 실시예에 적용되는 기울기 예측 모델은, 척추뼈 영역에 대한 분할 없이 높은 정확도로 척추뼈에 대응하는 영역에 대한 벡터 필드를 결정할 수 있다. Accordingly, the gradient prediction model applied to various embodiments of the present invention may determine the vector field for the region corresponding to the vertebra with high accuracy without dividing the vertebrae region.
한편, 본 발명의 기울기 예측 모델은, M-net (multi-scale U-shape network) 에 기초한 모델일 수 있다. 그러나 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 기울기 예측 모델은, CNN(Convolutional Neural Network) 기반의 VGG net, ResNet, DenseNet 및, encoder-decoder structure를 갖는 FCN(Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 deep neural network을 기반으로 하는 예측 모델일 수도 있다. Meanwhile, the gradient prediction model of the present invention may be a model based on a multi-scale U-shape network (M-net). However, the present invention is not limited thereto. For example, the gradient prediction model of the present invention is a Convolutional Neural Network (CNN)-based VGG net, ResNet, DenseNet, and FCN (Fully Convolutional Network) having an encoder-decoder structure, SegNet, DeconvNet, DeepLAB V3+, U- It can also be a predictive model based on a deep neural network such as a net.
본 명세서에서 사용되는 용어, "척추뼈 예측 모델"은 입력된 척추 정면 영상에 대하여 척추뼈를 국소화하거나 식별하도록 학습된 모델일 수 있다. As used herein, the term “vertebral bone prediction model” may be a model trained to localize or identify a vertebra with respect to an input frontal vertebral image.
보다 구체적으로, 척추뼈 예측 모델은, 척주 정면 영상을 입력으로 하여 척추뼈에 대응하는 신뢰성 맵 (confidence map) 을 출력하도록 학습된 모델일 수 있다. 여기서, 신뢰성 맵은 척추뼈의 중심인 중심점을 제공할 수 있다. More specifically, the vertebra prediction model may be a model trained to output a confidence map corresponding to the vertebra by inputting a frontal image of the vertebra as an input. Here, the reliability map may provide a central point that is the center of the vertebra.
한편, 척추뼈 예측 모델은, 유사한 모양의 척추뼈 예를 들어, T1 및 경추 (cervical vertebra) 의 C7을 구별하기 (identify) 위해 가중된 손실 함수 (weighted loss function) 가 적용될 수 있다.Meanwhile, in the vertebra prediction model, a weighted loss function may be applied to identify similarly shaped vertebrae, for example, T1 and C7 of the cervical vertebra.
본 발명의 특징에 따르면, 척추뼈 예측 모델은 17 개의 척추 사이의 의존도를 고려하기 위해, 큰 수용장 크기 (receptive field size) 를 갖는 아웃풋 레이어를 포함할 수 있다. According to a feature of the present invention, the vertebra prediction model may include an output layer with a large receptive field size in order to consider the dependence between the 17 vertebrae.
본 발명의 다른 특징에 따르면, 척추뼈 예측 모델은, 특징 추출 네트워크 (feature extraction network), 초기 예측 네트워크 (initial prediction network) 및 개량 네트워크 (Refinement Network) 의 세 개의 네트워크로 구성될 수도 있다.According to another feature of the present invention, the vertebra prediction model may consist of three networks: a feature extraction network, an initial prediction network, and a refinement network.
예를 들어, 특징 추출 네트워크는 척추 의료 영상에 대하여 특징을 추출하고, 초기 예측 네트워크는 추출된 특징을 입력으로 하여 초기의 정제되지 않은 신뢰성 맵 (coarse initial confidence map) 을 출력할 수 있다. 개량 네트워크는 추출된 특징 및 정제되지 않은 신뢰성 맵이 연결된 초기의 신뢰성 맵을 입력으로 하여 개량한 후 최종 신뢰성 맵을 출력할 수 있다.For example, the feature extraction network may extract features from a spinal medical image, and the initial prediction network may output a coarse initial confidence map based on the extracted features as input. The improvement network may receive an initial reliability map to which the extracted features and the unrefined reliability map are connected as input, and then output the final reliability map after refinement.
이에, 본 발명의 다양한 실시예에 적용되는 척추뼈 예측 모델은, 척추 의료 영상 내에서 복수의 척추뼈를 높은 정확도로 구별할 수 있다. Accordingly, the vertebra prediction model applied to various embodiments of the present invention may distinguish a plurality of vertebrae in a spinal medical image with high accuracy.
한편, 본 발명의 척추뼈 예측 모델은, Centroid-net에 기초한 모델일 수 있다. 그러나 이에 제한되는 것은 아니다. Meanwhile, the vertebra prediction model of the present invention may be a model based on Centroid-net. However, the present invention is not limited thereto.
이하에서는 도 1a 내지 1c를 참조하여, 본 발명의 일 실시예에 따른 척추 측만증 평가용 디바이스에 기초한 척추 측만증 평가 시스템을 설명한다. Hereinafter, a scoliosis evaluation system based on a device for scoliosis evaluation according to an embodiment of the present invention will be described with reference to FIGS. 1A to 1C .
도 1a는 본 발명의 일 실시예에 따른 척추 측만증 평가용 디바이스에 기초한 척추 측만증 평가 시스템을 예시적으로 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 척추 측만증 평가용 디바이스의 구성을 예시적으로 도시한 것이다. 도 1c는 본 발명의 일 실시예에 따른 척추 측만증 평가용 디바이스로부터 척추 측만증에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.1A exemplarily illustrates a scoliosis evaluation system based on a device for scoliosis evaluation according to an embodiment of the present invention. 1B exemplarily shows the configuration of a device for scoliosis evaluation according to an embodiment of the present invention. 1C exemplarily shows the configuration of a medical staff device that receives and outputs information about scoliosis from a device for evaluating scoliosis according to an embodiment of the present invention.
먼저, 도 1a을 참조하면, 척추 측만증 평가 시스템 (1000) 은, 개체에 대한 척추 의료 영상을 기초로 척추 측만증과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 척추 측만증 평가 시스템 (1000) 은, 척추 의료 영상에 기초하여, 콥 각을 산출하고, 개체에 대한 척추 측만증 발병 여부를 결정하도록 구성된 척추 측만증 평가용 디바이스 (100), 척추 측만증 진단에 대한 정보를 수신하는 의료진 디바이스 (200) 및 척추 의료 영상을 제공하는 의료 영상 촬영용 디바이스 (300) 로 구성될 수 있다. First, referring to FIG. 1A , a
먼저, 척추 측만증 평가용 디바이스 (100) 는 의료 영상 촬영용 디바이스 (300) 로부터 제공된 사용자의 척추 의료 영상을 기초로 척추 측만증의 발병 여부를 평가하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 의료진 디바이스 (200) 는 척추 측만증에 대한 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다. First, the device for
구체적으로, 척추 측만증 평가용 디바이스 (100) 는 의료 영상 촬영용 디바이스 (300) 로부터 척추 의료 영상을 수신하고, 수신된 척추 의료 영상으로부터 콥 각을 결정하여 척추 측만증의 발병 여부와 연관된 정보를 제공할 수 있다.Specifically, the
척추 측만증 평가용 디바이스 (100) 는 개체에 대한 척추 측만증의 발병과 연관된 데이터를 의료진 디바이스 (200) 로 제공할 수 있다. The
이와 같이 척추 측만증 평가용 디바이스 (100) 로부터 제공되는 데이터는 의료진 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.As such, the data provided from the
다음으로, 의료진 디바이스 (200) 는 개체에 대한 척추 측만증 발병에 대한 정보 제공을 요청하고 평가 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 장치로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.Next, the
의료진 디바이스 (200) 는 척추 측만증 평가용 디바이스 (100) 로부터 개체에 대한 척추 측만증 발병에 관한 평가 결과를 수신하고, 수신된 결과를 표시부를 통해 표시할 수 있다. 여기서, 평가 결과는, 예측 모델들에 의해 결정된 계측된 콥 각, 나아가 콥 각을 결정하는 과정에서 예측된 척추뼈에 대한 척추-기울기 벡터, 중심점, 그리고 척추 측만증의 중증도 등을 포함할 수 있다. The
다음으로, 도 1b를 참조하여, 본 발명의 척추 측만증 평가용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다. Next, with reference to FIG. 1B, the components of the
도 1b는 본 발명의 일 실시예에 따른 척추 측만증 평가용 디바이스를 설명하기 위한 개략도이다. 1B is a schematic diagram illustrating a device for scoliosis evaluation according to an embodiment of the present invention.
도 1b를 참조하면, 척추 측만증 평가용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다. Referring to FIG. 1B , the
먼저, 저장부 (110) 는 개체에 대한 척추 측만증 발병 여부를 평가를 위한 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.First, the
통신부 (120) 는 척추 측만증 평가용 디바이스 (100) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200), 의료진 디바이스 (300) 나아가 의료 영상 촬영용 디바이스 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 의료 영상 촬영용 디바이스 (300) 로부터 개체의 척추 의료 영상을 수신할 수 있다. 또한, 통신부 (120) 는 의료진 디바이스 (200) 로 평가 결과를 전달할 수 있다.The
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 척추 의료 영상 및/또는 뇌 활성 데이터를 분석하기 위한 다양한 명령들을 수행할 수 있다. The
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 수신된 척추 의료 영상을 기반하여 척추뼈에 대한 기울기를 결정하고, 이를 기초로 콥 각을 결정하여 척추 측만증의 발병 여부를 평가하도록 구성될 수 있다. Specifically, the
이때, 프로세서 (130) 는 척추 의료 영상에 기초하여 척추뼈에 대한 중심점을 결정하고, 척추뼈에 대한 벡터 필드를 예측하도록 구성된 예측 모델들에 기초할 수 있다. In this case, the
특히, 프로세서 (130) 는 예측 모델에 의한 출력 결과를 기초로 콥 각을 결정하여 제공할 뿐만 아니라, 콥 각의 예측 과정에서 결정되는 척추뼈의 중심점, 척추-기울기 벡터 등의 시각적 정보를 제공할 수 있다. 이에, 척추 측만증 평가용 디바이스 (100) 는 부정확한 측정으로 인한 의료진의 척추 측만증의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.In particular, the
한편, 척추 측만증 평가용 디바이스 (100) 는 하드웨어 적으로 설계된 것이 제한되는 것은 아니다. 예를 들어, 척추 측만증 평가용 디바이스 (100) 의 프로세서 (130) 는 소프트웨어로 구현될 수 있다. 이에, 척추 측만증에 대한 평가 결과는 상기 소프트웨어가 연결된 의료 영상 촬영용 디바이스 (300) 의 표시부 (미도시) 를 통해 표시될 수도 있다.Meanwhile, the
한편, 도 1c를 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다. Meanwhile, referring to FIG. 1C , the
통신부 (210) 는 의료진 디바이스 (200) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (210) 는 유/무선 통신을 이용하여 척추 측만증 평가용 디바이스 (100) 와 연결되어 척추 측만증의 진단과 연관된 다양한 데이터를 송신할 수 있다. 구체적으로, 통신부 (210) 는 척추 측만증 평가용 디바이스 (100) 로부터 개체의 척추 측만증의 진단과 연관된 평가 결과, 예를 들어 콥 각, 콥 각의 예측 과정에서 결정되는 척추뼈의 중심점, 척추-기울기 벡터 등의 시각적 정보를 수신할 수 있다. 상기 정보들은 척추 의료 영상에 대하여 표시되어 제공될 수 있으나, 이에 제한되는 것은 아니다. The
표시부 (220) 는 개체의 척추 측만증의 진단과 연관된 평가 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. The
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다. In various embodiments, the
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다. The
이하에서는, 도 2, 도 3a 내지 도 3d를 참조하여, 본 발명의 일 실시예에 따른 척추 측만증 평가 방법을 구체적으로 설명한다. 도 2는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법의 절차를 도시한 것이다. 도 3a는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에 따라 콥 각 측정 및 척추 측만증 여부를 결정하는 절차를 예시적으로 도시한 것이다. 도 3b는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에서, 척추뼈에 대한 기울기를 결정하는 단계를 예시적으로 도시한 것이다. 도 3c는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에서, 척추뼈에 대한 척추-기울기 벡터를 결정하는 단계를 예시적으로 도시한 것이다. 도 3d는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에서, 콥 각을 결정하는 단계를 예시적으로 도시한 것이다.Hereinafter, a scoliosis evaluation method according to an embodiment of the present invention will be described in detail with reference to FIGS. 2 and 3A to 3D . 2 illustrates a procedure of a scoliosis evaluation method according to an embodiment of the present invention. 3A exemplarily illustrates a procedure for measuring a Cobb angle and determining whether or not scoliosis is present according to a scoliosis evaluation method according to an embodiment of the present invention. 3B exemplarily illustrates a step of determining a slope with respect to a vertebra in a scoliosis evaluation method according to an embodiment of the present invention. 3C exemplarily illustrates a step of determining a spine-tilt vector for a vertebra in a scoliosis evaluation method according to an embodiment of the present invention. 3D exemplarily illustrates a step of determining a Cobb angle in a scoliosis evaluation method according to an embodiment of the present invention.
먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 척추 측만증 평가의 절차는 다음과 같다. 먼저, 개체에 대한 척추 의료 영상이 수신된다 (S210). 그 다음, 기울기 예측 모델에 의해 척추 의료 영상 내에서 복수 개의 척추뼈에 대한 벡터 필드가 결정된다 (S220). 다음으로, 벡터 필드에 기초하여 복수의 척추뼈 각각에 대한 기울기가 결정되고 (S230), 결정된 기울기에 기초하여 척추 측만증 발병 여부가 평가된다 (S240). 마지막으로, 평가 결과가 제공된다 (S250).First, referring to FIG. 2 , a procedure for evaluating scoliosis according to an embodiment of the present invention is as follows. First, a spinal medical image of the object is received (S210). Next, vector fields for a plurality of vertebrae in the spine medical image are determined by the gradient prediction model ( S220 ). Next, a slope for each of the plurality of vertebrae is determined based on the vector field (S230), and based on the determined slope, it is evaluated whether or not scoliosis occurs (S240). Finally, an evaluation result is provided (S250).
보다 구체적으로, 척추 의료 영상이 수신되는 단계 (S210) 에서 복수의 척추뼈 (vertebrae) 를 포함하는 척추 의료 영상이 수신될 수 있다. 이때, 의료 영상은 척추 정면 방사선 의료 영상일 수 있으나, 이에 제한되는 것은 아니다.More specifically, in operation S210 of receiving the spinal medical image, a spinal medical image including a plurality of vertebrae may be received. In this case, the medical image may be a frontal spine radiographic medical image, but is not limited thereto.
본 발명의 일 실시예에 따르면, 척추 의료 영상이 수신되는 단계 (S210) 에서 복수 개의 의료 영상이 수신될 수 있다. 예를 들어, 의료 영상 촬영 디바이스가 구동되어 실시간으로 촬영된 의료 영상이 획득될 수 있음에 따라, 척추 의료 영상이 수신되는 단계 (S210) 에서 복수 개의 척추 의료 영상이 획득될 수 있다. According to an embodiment of the present invention, a plurality of medical images may be received in operation S210 of receiving the spinal medical image. For example, as a medical image photographed in real time may be obtained by driving the medical image capturing device, a plurality of spinal medical images may be obtained in operation S210 of receiving the spinal medical image.
다음으로, 복수 개의 척추뼈에 대한 벡터 필드가 결정되는 단계 (S220) 에서, 척추뼈에 대한 벡터 필드 (vector field) 를 결정하도록 구성된 기울기 예측 모델이 이용될 수 있다. Next, in the step S220 in which the vector fields for the plurality of vertebrae are determined, a gradient prediction model configured to determine the vector fields for the vertebrae may be used.
예를 들어, 도 3a를 참조하면, 척추 의료 영상이 수신되는 단계 (S210) 에서 수신된 척추 의료 영상 (312) 이 기울기 예측 모델 (320) 에 입력된다. 그 결과, 척추 의료 영상 (310) 내에서 척추뼈 각각에 대하여 벡터 필드 (322) 가 결정되고, 벡터 필드가 결정된 척추 의료 영상이 획득될 수 있다.For example, referring to FIG. 3A , the spinal
이때, 도 3b의 (a), (b) 및 하기의 수학식 1을 함께 참조하면 기울기 예측 모델 (320) 은 척추뼈에 대한 좌측 중앙점 (mj,l)및 우측 (mj,r) 중앙점에 기초하여 척추-기울기 필드를 생성할 수 있다.At this time, referring to (a) and (b) of FIG. 3B and
[수학식 1][Equation 1]
여기서, V는 벡터 필드이고, x는 픽셀 위치값이고, j는 17개의 척추 뼈 중 선택된 j번 째 척추뼈이고, mj,l는 j번 째 척추뼈의 좌측 중앙점이고, mj,r는 j번 째 척추뼈의 우측 중앙점이다.Here, V is a vector field, x is a pixel position value, j is the j-th vertebra selected among 17 vertebrae, m j,l is the left center point of the j-th vertebra, and m j,r is It is the right midpoint of the jth vertebra.
즉, 복수 개의 척추뼈에 대한 벡터 필드가 결정되는 단계 (S220) 에서, 수학식 1에 의해 17 개의 척추뼈 각각에 대한 벡터 필드가 결정될 수 있다.That is, in the step of determining the vector fields for the plurality of vertebrae ( S220 ), the vector fields for each of the 17 vertebrae may be determined by
이때, V는 척추뼈 이외의 영역, 예를 들어 배경 영역에서는 영벡터를 가질 수 있다. In this case, V may have a zero vector in a region other than the vertebrae, for example, in a background region.
본 발명의 다른 특징에 따르면, 복수 개의 척추뼈에 대한 벡터 필드가 결정되는 단계 (S220) 에서, 척추뼈를 이루는 픽셀 단위로 벡터 필드가 결정될 수 있다. According to another feature of the present invention, in the step of determining the vector fields for the plurality of vertebrae ( S220 ), the vector fields may be determined in units of pixels constituting the vertebrae.
다음으로, 도 2를 참조하면, 복수의 척추뼈 각각에 대한 기울기가 결정되는 단계 (S230) 에서, 척추뼈에 대하여 결정된 벡터 필드에 기초하여 기울기가 결정될 수 있다.Next, referring to FIG. 2 , in step S230 in which the slope for each of the plurality of vertebrae is determined, the slope may be determined based on the vector field determined for the vertebrae.
본 발명의 특징에 따르면, 복수의 척추뼈 각각에 대한 기울기가 결정되는 단계 (S230) 에서, 복수의 척추뼈 각각에 대하여 결정된 중심점, 및 척추뼈에 대하여 결정된 벡터 필드가 결정되고, 이에 기초하여 복수의 척추뼈 각각에 대한 기울기가 결정될 수 있다. According to a feature of the present invention, in the step S230 in which the slope for each of the plurality of vertebrae is determined, a center point determined for each of the plurality of vertebrae and a vector field determined for the vertebrae are determined, and based on this, a plurality of vertebrae are determined. A slope for each of the vertebrae of may be determined.
예를 들어, 도 3a를 함께 참조하면, 척추뼈 각각에 대한 벡터 필드 (322) 에 중심점을 포함하는 디스크 (332) 가 적용되어, 각각의 척추뼈에 대한 척추-기울기 벡터 (334) 가 결정될 수 있다.For example, referring together with FIG. 3A , a
보다 구체적으로, 도 3c를 더욱 참조하면, 척추뼈에 대한 중심점을 중심으로 하는 디스크 (도 3c의 (a)), 및 벡터 필드에 기초하여 척추-기울기 벡터 (도 3c의 (b)) 가 결정될 수 있다.More specifically, with further reference to FIG. 3C , based on the disk centered on the center point for the vertebra ( FIG. 3C (a)), and the vector field, the spine-tilt vector ( FIG. 3C (b)) is to be determined. can
이때, 척추-기울기 벡터는 하기 수학식 2에 의해 산출될 수 있다.In this case, the spine-tilt vector may be calculated by
[수학식 2] [Equation 2]
여기서, vj는 j번째 척추뼈에 대한 척추-기울기 벡터이고, Dj는 j번째 척추뼈에 대한 중심점을 중심으로 하여 반지름 5를 갖는 디스크이다. 이때, 이 반지름 5는 영상의 가로 및 세로의 비율을 유지하면서 영상의 세로 길이를 512 픽셀로 리사이징 했을 때, 그 영상 내에서의 반지름의 크기를 의미할 수 있다. Here, v j is a spine-tilt vector for the j-th vertebra, and D j is a disk with a radius of 5 centered on the center point for the j-th vertebra. In this case, the
즉, 척추-기울기 벡터는, 척추뼈에 대한 기울기 벡터 (V(x)) 및 중심점 값에 따른 가중 평균에 의해 결정될 수 있다. That is, the spine-tilt vector may be determined by a weighted average according to the midpoint value and the gradient vector (V(x)) for the vertebrae.
한편, 본 발명의 특징에 따르면, 척추뼈 각각에 대한 중심점은 척추뼈 예측 모델의 출력값에 기초하여 생성될 수 있다. Meanwhile, according to a feature of the present invention, a center point for each vertebra may be generated based on an output value of a vertebra prediction model.
예를 들어, 도 3a를 다시 참조하면, 척추 의료 영상 (312) 이 척추뼈 예측 모델 (420) 에 입력되면, 척추 의료 영상 (312) 에 대한 ROI (region of interest) 가 표시된 신뢰성 맵 (422) 이 출력된다. 그 다음, 척추뼈 각각에 대한 중심점 (424) 가 결정될 수 있다.For example, referring back to FIG. 3A , when the spinal
보다 구체적으로, 신뢰성 맵 (422) 은 하기의 수학식 3 및 수학식 4에 의해 결정될 수 있다. More specifically, the
[수학식 3][Equation 3]
여기서Ψ j 는 j번째 척추뼈에 대한 신뢰성 맵이고, x는 픽셀 위치값이고, 
수학식 3에 의해 결정된 17 개의 척추뼈 각각에 대한 신뢰성 맵은 하기의 수학식 4에 의해 하나의 신뢰성 맵 (
[수학식 4][Equation 4]
그 다음, 수학식 4에 의해 결정된 신뢰성 맵에 대하여 오츠의 임계처리(Otsu's thresholding) 가 적용되어 배경 노이즈가 제거되고, 극대점 (local maximum) 의 산출에 의해 중심점들이 각각의 척추뼈에 대하여 결정될 수 있다. 이때, 극대점에서의 신뢰성 맵 값의 평균의 1/2 미만인 후보군 (예를 들어, 척추뼈가 아닌 영역) 은 제외될 수 있고, 최종적으로 17 개의 척추뼈에 대한 중심점이 결정될 수 있다.Then, Otsu's thresholding is applied to the reliability map determined by
다음으로, 기울기는 하기의 수학식 5에 기초하여, 17 개의 척추뼈 각각에 대하여 결정된 척추-기울기 벡터에 따라 결정될 수 있다.Next, the slope may be determined according to the spine-tilt vector determined for each of the 17 vertebrae based on
[수학식 5][Equation 5]
여기서, 
즉, 복수의 척추뼈 각각에 대한 기울기가 결정되는 단계 (S230) 의 결과로, 척추뼈에 대한 중심점 및/또는 벡터 필드에 기초하여 17 개의 척추뼈 각각에 대한 기울기가 획득될 수 있다. That is, as a result of the step S230 in which the slope for each of the plurality of vertebrae is determined, the slope for each of the 17 vertebrae may be obtained based on the center point and/or the vector field for the vertebrae.
다음으로, 도 2를 참조하면, 척추 측만증 발병 여부가 평가되는 단계 (S240) 에서, 척추뼈에 대한 기울기에 기초하여 측만각이 결정되고, 측만증 발병 여부가 결정될 수 있다.Next, referring to FIG. 2 , in the step S240 in which it is evaluated whether or not scoliosis occurs, a scoliosis angle may be determined based on the inclination of the vertebrae, and whether or not scoliosis occurs may be determined.
예를 들어, 도 3a를 다시 참조하면, 척추 측만증 발병 여부가 평가되는 단계 (S240) 에서, 17 개의 척추뼈 각각의 기울기에 기초하여 PT (proximal-thoracic), MT (main thoracic) 및 TL (thoracic-lumbar) 의 콥 각 (344) 이 결정되고, 콥 각의 수준에 기초하여 척추 측만증 발병 여부가 결정될 수 있다. For example, referring back to FIG. 3A , in the step S240 in which the onset of scoliosis is evaluated, PT (proximal-thoracic), MT (main thoracic) and TL (thoracic) based on the slope of each of the 17 vertebrae -lumbar) of the
보다 구체적으로, 도 3d의 (a) 및 (b)를 함께 참조하면, 17 개의 척추뼈를 대표하는 척추-기울기 벡터로부터 결정된 T1 및 T3의 기울기에 기초하여 PT가 결정되고, T3 및 T12의 기울기에 기초하여 MT가 결정되고, T12 및 L4의 기울기에 기초하여 TL이 결정될 수 있다.More specifically, referring to (a) and (b) of FIG. 3D together, PT is determined based on the slopes of T1 and T3 determined from spine-tilt vectors representing 17 vertebrae, and slopes of T3 and T12 MT may be determined based on , and TL may be determined based on slopes of T12 and L4.
척추 측만증 발병 여부가 평가되는 단계 (S240) 에서, PT, MT, TL의 각도가 미리 결정된 수준 이상일 경우, 예를 들어 10 °이상일 경우, 개체는 척추 측만증 발병 위험이 높은 것으로 평가될 수 있다.In the step (S240) in which scoliosis onset is evaluated, if the angles of PT, MT, and TL are above a predetermined level, for example, 10 ° or more, the subject may be evaluated as having a high risk of developing scoliosis.
마지막으로, 평가 결과가 제공되는 단계 (S250) 에서, 개체에 대한 척추 측만증 발병 여부에 대한 정보뿐만 아니라, 콥 각, 콥 각을 결정하는 과정에서의 중간 산출 결과들이 시각적으로 제공될 수 있다.Finally, in the step S250 in which the evaluation result is provided, information on whether or not the individual has scoliosis, as well as the Cobb angle and intermediate calculation results in the process of determining the Cobb angle may be visually provided.
예를 들어, 도 3a를 다시 참조하면, 평가 결과가 제공되는 단계 (S250) 에서, 최종 평가 결과 (352) 뿐만 아니라, 척추-기울기 벡터가 표시된 의료 영상 (342) 이 제공되거나, 콥 각이 표시된 의료 영상 (346) 이 제공될 수 있다. For example, referring back to FIG. 3A , in the step S250 in which the evaluation result is provided, not only the
이상의 다양한 실시예에 따른 발명의 본 발명의 따른 척추 측만증 평가 방법에 따라, 시각적으로 설명 가능한 콥 각을 제공하는 척추 측만증 평가 시스템이 제공될 수 있다. 이에, 본 발명은, 상기 척추 측만증 평가 시스템을 제공함에 따라 부정확한 측정으로 인한 의료진의 척추 측만증의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.According to the scoliosis evaluation method according to the present invention according to the above various embodiments, a scoliosis evaluation system that provides a visually explainable Cobb angle may be provided. Accordingly, the present invention can prevent erroneous interpretation of the progress of scoliosis by medical staff due to inaccurate measurement by providing the scoliosis evaluation system, and improve the workflow of medical personnel in actual clinical practice.
이하에서는, 도 4를 참조하여 본 발명의 다양한 실시예에 따른 기울기 예측 모델의 구조 및 학습 방법에 대하여 구체적으로 설명한다.Hereinafter, a structure and a learning method of a gradient prediction model according to various embodiments of the present invention will be described in detail with reference to FIG. 4 .
도 4를 참조하면, 기울기 예측 모델은, 입력된 척추 의료 영상을 복수의 스케일로 다운 샘플링 (down sampling) 하도록 구성된 인풋 레이어 (input layer) 및 복수의 스케일로 다운 샘플링된 척추 의료 영상 각각에 대하여 벡터 필더를 결정하도록 아웃풋 레이어 (output layer) 로 이루어질 수 있다. 보다 구체적으로, 아웃풋 레이어는, 다운 샘플링된 복수의 척추 의료 영상 각각에 대하여 벡터 필더를 출력하도록 구성된 사이드 아웃풋 레이어 (side-output layer) 및 이들에 대한 평균값에 기초하여 최종적으로 척추 의료 영상에 대한 벡터 필드를 결정하도록 구성된 파이널 아웃풋 레이어 (final-output layer) 로 이루어질 수 있다. Referring to FIG. 4 , the gradient prediction model includes a vector for each of an input layer configured to down-sample an input spinal medical image to a plurality of scales and a spinal medical image down-sampled to a plurality of scales. It may consist of an output layer to determine the filter. More specifically, the output layer includes a side-output layer configured to output a vector filter for each of a plurality of down-sampled spinal medical images, and finally a vector for a spinal medical image based on an average value thereof It may consist of a final-output layer configured to determine the field.
인풋 레이어에 입력된 척추 의료 영상 (I) 은, Avg 풀링 2x2 (average pooling 2x2) 에 의해 다운 샘플링될 수 있다. 그 다음, 다운 샘플링된 복수의 척추 의료 영상 각각에 대하여 컨볼류션 3x3 (Convolution 3x3), 결합 (Concatenation) 이 반복 수행된 후, 업 샘플링되어 최종적으로 사이드 아웃풋 레이어를 통해 이미지 각각에 대한 벡터 필드 (fvec,1(I), fvec,2(I), fvec,3(I), fvec,4(I)) 가 출력될 수 있다. 그 다음, 파이널 아웃풋 레이어에서, 이들의 평균값에 기초하여 최종적으로 척추 의료 영상에 대한 벡터 필드 (fvec(I)) 가 결정될 수 있다. The spinal medical image I input to the input layer may be down-sampled by Avg pooling 2x2 (average pooling 2x2). Then, after convolution 3x3 and concatenation are repeatedly performed on each of the plurality of down-sampled spinal medical images, up-sampled and finally a vector field for each image through a side output layer ( f vec,1 (I), f vec,2 (I), f vec,3 (I), f vec,4 (I)) may be output. Then, in the final output layer, a vector field f vec (I) for the spinal medical image may be finally determined based on their average values.
이상의 절차에 따라, 기울기 예측 모델은 척추 의료 영상상 내에서 척추-기울기 필드를 출력하도록 학습될 수 있다. According to the above procedure, the tilt prediction model may be trained to output the spine-tilt field in the spine medical image.
본 발명의 다양한 실시예에 적용되는 기울기 예측 모델은, 척추뼈 영역에 대한 분할 없이 높은 정확도로 척추뼈에 대응하는 영역에 대한 벡터 필드를 결정할 수 있다. The gradient prediction model applied to various embodiments of the present invention may determine a vector field for a region corresponding to a vertebra with high accuracy without dividing the vertebrae region.
한편, 본 발명의 기울기 예측 모델은, M-net (multi-scale U-shape network) 에 기초한 모델일 수 있다. 그러나 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 기울기 예측 모델은 CNN(Convolutional Neural Network) 기반의 VGG net, ResNet, DenseNet 및, encoder-decoder structure를 갖는 FCN(Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 deep neural network을 기반으로 하는 예측 모델일 수도 있다.Meanwhile, the gradient prediction model of the present invention may be a model based on a multi-scale U-shape network (M-net). However, the present invention is not limited thereto. For example, the gradient prediction model of the present invention is a Convolutional Neural Network (CNN)-based VGG net, ResNet, DenseNet, and a Fully Convolutional Network (FCN) having an encoder-decoder structure, SegNet, DeconvNet, DeepLAB V3+, U-net It may be a predictive model based on a deep neural network such as
이하에서는, 도 5를 참조하여, 본 발명의 다양한 실시예에 따른 척추뼈 예측 모델의 구조 및 학습 방법에 대하여 구체적으로 설명한다.Hereinafter, a structure and a learning method of a vertebra prediction model according to various embodiments of the present invention will be described in detail with reference to FIG. 5 .
도 4의 (a), (b) 및 (c)를 참조하면, 척추뼈 예측 모델은 특징 추출 네트워크 (feature extraction network), 초기 예측 네트워크 (initial prediction network) 및 개량 네트워크 (Refinement Network) 의 세 개의 네트워크로 구성될 수도 있다.Referring to (a), (b) and (c) of FIG. 4 , the vertebral bone prediction model includes three types of a feature extraction network, an initial prediction network, and a refinement network. It may also consist of a network.
보다 구체적으로, 특징 추출 네트워크(fext)는 척추 의료 영상 (I) 에 대하여 특징을 추출 하여, 특징이 추출된 척추 의료 영상 (I*) 을 출력한다. 초기 예측 네트워크(finit)는 특징이 추출된 척추 의료 영상 (I*) 을 입력으로 하여 초기의 정제되지 않은 신뢰성 맵 (coarse initial confidence map) (
이상의 절차에 따라, 척추뼈 예측 모델은 척추 의료 영상상 내에서 신뢰성 맵을 높은 정확도로 출력하도록 학습될 수 있다. According to the above procedure, the vertebra prediction model may be trained to output the reliability map with high accuracy in the spine medical image.
즉, 척추뼈 예측 모델은, 척추 의료 영상 내에서 복수의 척추뼈를 높은 정확도로 구별할 수 있다. That is, the vertebra prediction model may discriminate the plurality of vertebrae in the spine medical image with high accuracy.
한편, 본 발명의 척추뼈 예측 모델은, Centroid-net에 기초한 모델일 수 있다. 그러나 이에 제한되는 것은 아니다.Meanwhile, the vertebra prediction model of the present invention may be a model based on Centroid-net. However, the present invention is not limited thereto.
평가 1: 본 발명의 척추뼈 예측 모델 및 기울기 예측 모델의 평가_중심점 결정 및 기울기 벡터 결정Evaluation 1: Evaluation of the vertebrae prediction model and the slope prediction model of the present invention_determining the center point and determining the slope vector
도 6a는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에 따라 척추 의료 영상에 대하여 결정된 신뢰성 맵 및 척추뼈에 대한 중심점을 도시한 것이다. 도 6b는 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에 따라, 척추 의료 영상에 대하여 결정된 척추뼈에 대한 벡터 필드 및 중심점에 기초하여 결정된 척추-기울기 벡터를 도시한 것이다. 도 6c는 본 발명의 다양한 실시예에 이용되는 척추뼈 예측 모델의 중심점 결정에 대한 평가 결과를 도시한 것이다.6A is a diagram illustrating a reliability map determined for a spinal medical image and a center point for a vertebra according to a scoliosis evaluation method according to an embodiment of the present invention. 6B illustrates a spine-tilt vector determined based on a vector field and a center point for a vertebra determined for a spine medical image according to a scoliosis evaluation method according to an embodiment of the present invention. 6C illustrates an evaluation result for determining a center point of a vertebra prediction model used in various embodiments of the present invention.
도 6a를 참조하면, 척추뼈 예측 모델에 의해 척추 의료 영상 (도 6a의 (a)) 에 대하여 결정된 신뢰성 맵 (도 6a의 (b)), 빨간 점으로 표시된 극대점 (Local maxima (도 6a의 (c)) 및 최종 결정된 척추뼈에 대한 중심점 (도 6a의 (d)) 가 도시된다. Referring to FIG. 6A , the reliability map ((B) of FIG. 6A) determined for the spinal medical image ((A) of FIG. 6A) by the vertebra prediction model, the local maxima ((FIG. 6A) of FIG. 6A) indicated by red dots. c)) and the finally determined centroid for the vertebra (Fig. 6a(d)) are shown.
이때, 도 6a의 (c)를 참조하면 중심점 결정 과정에서, 18 개의 후보 중심점이 결정된 것으로 나타난다. 그러나 도 6a의 (d)를 참조하면 극대점의 평균의 1/2 미만인 후보군이 제외됨에 따라, 최종적으로 17 개의 척추뼈에 대한 중심점이 결정된 것으로 나타난다. At this time, referring to (c) of FIG. 6A , it appears that 18 candidate center points have been determined in the center point determination process. However, referring to (d) of FIG. 6A , as a candidate group having less than 1/2 of the average of the maximum points is excluded, it appears that the center points for the 17 vertebrae are finally determined.
즉, 이러한 노이즈 제거 절차에 따라, 척추뼈에 대한 정확한 국소화 및 구별이 가능할 수 있다.That is, according to this noise removal procedure, accurate localization and discrimination of the vertebrae may be possible.
도 6b를 참조하면, 척추뼈에 대한 벡터 필드 및 중심점을 포함하는 디스크 (6b의 (a) 및 (c)) 가 도시되고, 척추뼈의 영역 분할 철차 없이 벡터 필드 및 중심점에 기초하여 결정된 척추-기울기 벡터 (도 6b의 (b) 및 (d)) 가 도시된다.Referring to FIG. 6b , a disk (a) and (c) of 6b containing a vector field and a centroid for a vertebra is shown, the vertebrae- The gradient vectors ((b) and (d) in FIG. 6B) are shown.
이때, 척추뼈에 대한 경계선은 척추뼈 예측 모델 또는 기울기 예측 모델에 의해 결정된 값이 아닌, 예측 과정 이후 방사선 전문의에 의해 추가로 선별된 것이다.In this case, the boundary line for the vertebrae is not a value determined by the vertebra prediction model or the slope prediction model, but is additionally selected by the radiologist after the prediction process.
보다 구체적으로, 도 6b의 (b)를 참조하면 벡터 필드가 실제 척추뼈를 이루는 경계선 내에 형성된 것으로 나타나고, 척추-기울기 벡터 또한 척추뼈 영역 내에서 형성된 것으로 나타난다. More specifically, referring to (b) of FIG. 6B , it appears that the vector field is formed within the boundary line forming the actual vertebra, and the spine-tilt vector is also formed within the vertebra region.
한편, 도 6b의 (d)를 참조하면, 벡터 필드가 실제 척추뼈를 이루는 영역의 일부에 형성되었음에도 불구하고, 척추-기울기 벡터를 결정한 것으로 나타난다.Meanwhile, referring to (d) of FIG. 6B , it appears that the spine-tilt vector is determined even though the vector field is actually formed in a part of the region constituting the vertebrae.
더욱이, 도 6c의 (a)를 참조하면, 척추뼈 예측 모델에 대한 17 개의 척추뼈 의 중심 위치 (center position) 예측 오차의 중앙값이 1.11의 매우 낮은 수준으로 나타난다. 또한, 도 6c의 (b)를 참조하면 예측된 중심점과 실제 척추뼈에 대한 중심점의 거리에 대한 오차는 약 2정도로 매주 낮은 수준으로 나타난다. 이는, 척추뼈 수준 (vertebral level) 에 관계 없이, 척추뼈 예측 모델이 실제 중심점의 위치와 유사한 수준으로, 중심점을 예측한 것을 의미할 수 있다.Moreover, referring to (a) of FIG. 6C , the median value of the center position prediction error of 17 vertebrae for the vertebrae prediction model is shown at a very low level of 1.11. Also, referring to (b) of FIG. 6C , the error between the predicted center point and the actual center point to the vertebrae is approximately 2, which appears at a low level every week. This may mean that the vertebra prediction model predicts the central point at a level similar to the actual position of the central point, regardless of the vertebral level.
즉, 이러한 결과는 본 발명의 다양한 실시예에 따른 척추 측만증 평가 시스템이 척추뼈 영역에 대한 분할 결과에 관계 없이 척추-기울기 벡터를 높은 정확도로 결정할 수 있다는 것을 의미할 수 있다. That is, these results may mean that the scoliosis evaluation system according to various embodiments of the present invention can determine the spine-tilt vector with high accuracy regardless of the segmentation result for the vertebrae region.
평가 2: 본 발명의 척추뼈 예측 모델 및 기울기 예측 모델의 평가_복수의 개체에 대한 콥 각 결정Evaluation 2: Evaluation of the vertebral bone prediction model and the slope prediction model of the present invention_Cop angle determination for a plurality of individuals
도 7은 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에 따른, 여섯 명의 개체에 대한 평가 결과를 도시한 것이다. 7 illustrates evaluation results for six individuals according to the scoliosis evaluation method according to an embodiment of the present invention.
도 7의 (a), (b) 및 (c)를 참조하면, 본 발명의 다양한 실시예에 적용되는 척추뼈 예측 모델 및 기울기 예측 모델에 의해 6 명의 개체에 대한 척추 정면 방사선 영상 (도 7의 (a)) 각각에 대하여 결정된 중심점을 포함하는 신뢰성 맵 (도 7의 (b)), 복수의 척추뼈 각각에 대하여 결정된 척추-기울기 벡터 (도 7의 (c)) 가 도시된다. 이때, 도 7의 (d)를 더욱 참조하면, 본 발명의 일 실시예에 따른 척추 측만증 평가 방법에 따라 결정된 기울기를 의미하는 빨간 선은, 실제 콥 각을 이루는 척추뼈에 대한 기울기를 나타내는 노란 선과 유사한 기울기를 갖는 것으로 나타난다. Referring to (a), (b) and (c) of FIG. 7 , the frontal spine radiographic images (in FIG. 7 ) of 6 individuals by the vertebra prediction model and the slope prediction model applied to various embodiments of the present invention (a)) A reliability map including a center point determined for each (Fig. 7(b)), and a spine-tilt vector determined for each of a plurality of vertebrae (Fig. 7(c)) are shown. At this time, referring further to (d) of FIG. 7 , the red line indicating the slope determined according to the scoliosis evaluation method according to the embodiment of the present invention is a yellow line indicating the slope with respect to the vertebrae forming the actual Cobb angle, and appear to have a similar slope.
이러한 결과는, 의료 영상 내에서 17 개의 척추뼈 각각을 국소화 (localization) 하도록 구성된 척추뼈 예측 모델, 및/또는 척추-기울기 필드 (vertebral-tilt field) 를 의료 영상 내에서 예측하도록 구성된 기울기 예측 모델이 실제 의료진과 유사한 수준의 진단 능력을 갖는 것을 의미할 수 있다.These results show that a vertebra prediction model configured to localize each of the 17 vertebrae within a medical image, and/or a tilt prediction model configured to predict a vertebral-tilt field within a medical image. It may mean having a level of diagnostic ability similar to that of an actual medical staff.
이에, 두 개의 예측 모델에 기초한 본 발명의 다양한 실시예에 따른 척추 측만증 평가 시스템은, 예측 모델들의 출력값에 기초하여 결정된 콥 각을 제공함에 따라, 개체의 척추 측만증과 연관된 신뢰도 높은 정보를 제공할 수 있다. Accordingly, the scoliosis evaluation system according to various embodiments of the present invention based on two predictive models provides the Cobb angle determined based on the output values of the predictive models, thereby providing highly reliable information related to the scoliosis of the individual. there is.
평가3: 본 발명의 척추뼈 예측 모델 및 기울기 예측 모델의 평가_손실 함수 적용 어부에 따른 신뢰성 맵 결정Evaluation 3: Evaluation of vertebrae prediction model and slope prediction model of the present invention_reliability map determination according to loss function applied fisherman
도 8a 및 8b는 손실 함수 (loss function) 적용 여부에 따른 척추 의료 영상 내 척추 뼈에 대한 신뢰성 맵 결정 여부를 평가한 결과를 도시한 것이다.8A and 8B show results of evaluating whether or not to determine a reliability map for a vertebral bone in a spinal medical image according to whether a loss function is applied.
도 8a의 (a), (b) 및 (c)를 참조하면, T1 및 C7을 포함하는 척추 정면 방사선 영상 (도 8a의 (a)) 에 대하여 가중 적용된 손실 함수 (weighted loss function) 를 적용하지 않고 결정한 신뢰성 맵 (도 8a의 (b)) 은, 가중 적용된 손실 함수를 적용하여 결정한 신뢰성 맵 (도 8a의 (c)) 보다 정확도가 낮은 것으로 나타난다. 특히, 손실 함수가 적용되지 않을 경우, T1에 대한 국소화 및 선별이 일어나지 않는 것으로 나타난다. 추가적으로 손실함수를 사용할경우 C7(도 8a의 (c))까지 추가적으로 검출이 가능하다. 더욱이, 도 8b의 (a), (b) 및 (c)를 참조하면, T1을 포함하는 척추 정면 방사선 영상 (도 8b의 (a)) 에 대하여 가중 적용된 손실 함수를 적용하지 않고 결정한 신뢰성 맵 (도 8b의 (b)) 은, 가중 적용된 손실 함수를 적용하여 결정한 신뢰성 맵 (도 8b의 (c)) 보다 선별 능력이 낮은 것으로 나타난다.Referring to (a), (b) and (c) of FIG. 8A , a weighted loss function is not applied to the frontal spine radiographic image ((a) of FIG. 8A) including T1 and C7. It appears that the reliability map ((b) of FIG. 8A) determined without it has lower accuracy than the reliability map ((c) of FIG. 8A) determined by applying a weighted loss function. In particular, it appears that localization and selection for T1 do not occur when no loss function is applied. Additionally, when a loss function is used, it is possible to additionally detect up to C7 ((c) of FIG. 8A). Furthermore, referring to (a), (b) and (c) of FIG. 8B , a reliability map determined without applying a weighted loss function to a frontal spinal radiographic image including T1 ((a) of FIG. 8B ) ( (b) of FIG. 8b shows that the selection ability is lower than that of the reliability map ((c) of FIG. 8b) determined by applying a weighted loss function.
이러한 결과는, 손실 함수 적용에 따라 C7과 유사한 형태를 갖는 T1에 대한 선별의 정확도가 높음을 의미할 수 있다. 이에, 본 발명의 다양한 실시예에 적용되는 척추뼈 예측 모델의 네트워크에, 가중된 손실 함수가 적용될 수 있다. This result may mean that the selection accuracy for T1, which has a shape similar to C7, is high according to the application of the loss function. Accordingly, a weighted loss function may be applied to the network of the vertebrae prediction model applied to various embodiments of the present invention.
평가4: 본 발명의 척추뼈 예측 모델 및 기울기 예측 모델의 평가_영역 분할 기반의 시스템과의 비교Evaluation 4: Comparison with the evaluation_region division-based system of the vertebra prediction model and the slope prediction model of the present invention
도 8c 및 8d는 종래의 영역 분할 모델에 기초한 척추 의료 영상 내 척추뼈 분할 결과 및 본 발명의 다양한 실시예에 적용되는 예측 모델들에 의해 예측된 척추뼈의 기울기를 비교하여 도시한 것이다.8C and 8D are diagrams illustrating a comparison between a vertebra segmentation result in a spinal medical image based on a conventional region segmentation model and a slope of a vertebra predicted by prediction models applied to various embodiments of the present invention.
도 8c의 (a)를 참조하면, 영역 분할 기반의 시스템에서 척추 의료 영상 내의 복수의 척추뼈에 대한 영역 분할 결과는, 정확도가 매우 낮은 것으로 나타난다. 이러한 결과는 콥 각의 부정확한 진단으로 이어질 수 있다.Referring to (a) of FIG. 8C , in a system based on region division, a region division result for a plurality of vertebrae in a spinal medical image has very low accuracy. These results can lead to inaccurate diagnosis of Cobb angle.
그러나, 8c의 (b)를 참조하면, 예측 모델 기반의 척추 측만증 평가 시스템은 복수 개의 척추뼈에 대한 벡터 필드를 고려함에 따라 영역 분할 절차 없이도 복수의 척추뼈 각각에 대한 기울기 벡터를 결정하는 것으로 나타난다. 즉, 예측 모델 기반의 척추 측만증 평가 시스템은 높은 정확도로 콥 각을 결정하여 제공할 수 있다.However, referring to (b) of 8c, it appears that the predictive model-based scoliosis evaluation system determines the gradient vector for each of a plurality of vertebrae without a region segmentation procedure by considering vector fields for a plurality of vertebrae. . That is, the predictive model-based scoliosis evaluation system can determine and provide the Cobb angle with high accuracy.
더욱이, 도 8d의 (a)를 참조하면, 영역 분할 기반의 시스템에서 척추 의료 영상 내의 복수의 척추뼈에 대한 영역 분할 결과는, 정확도가 매우 낮은 것으로 나타난다. 이러한 결과는 콥 각의 부정확한 진단으로 이어질 수 있다.Furthermore, referring to (a) of FIG. 8D , in a system based on region division, a region division result for a plurality of vertebrae in a spinal medical image has very low accuracy. These results can lead to inaccurate diagnosis of Cobb angle.
그러나, 8d의 (b)를 참조하면, 예측 모델 기반의 척추 측만증 평가 시스템은 복수 개의 척추뼈에 대한 벡터 필드를 고려함에 따라 영역 분할 절차 없이도 복수의 척추뼈 각각에 대한 기울기 벡터를 결정하는 것으로 나타난다. 즉, 예측 모델 기반의 척추 측만증 평가 시스템은 높은 정확도로 콥 각을 결정하여 제공할 수 있다.However, referring to (b) of 8d, it appears that the predictive model-based scoliosis evaluation system determines the gradient vector for each of a plurality of vertebrae without a region segmentation procedure by considering vector fields for a plurality of vertebrae. . That is, the predictive model-based scoliosis evaluation system can determine and provide the Cobb angle with high accuracy.
즉, 이러한 결과는 척추 측만증 평가 시스템이 척추뼈 영역에 대한 분할 과정 없이 벡터 필드를 결정하여 척추체 기울기를 제공하도록 구성됨에 따라, 평가의 신뢰도가 척추뼈의 경계선 및 랜드마크에 의존적이던 종래의 척추 측만증 평가 시스템보다 우수한 성능을 가진다는 것을 의미할 수 있다. That is, these results show that as the scoliosis evaluation system is configured to provide a vertebral body inclination by determining a vector field without a segmentation process for the vertebrae region, the reliability of the evaluation depends on the boundaries and landmarks of the vertebrae of the conventional scoliosis. It may mean that it has better performance than the evaluation system.
평가5: 본 발명의 척추뼈 예측 모델 및 기울기 예측 모델의 평가_타 예측 모델과의 콥 각 예측 결과 비교Evaluation 5: Evaluation of the vertebrae prediction model and the slope prediction model of the present invention_Comparison of the prediction results of the Cobb angle with other prediction models
도 9a 및 9b는 본 발명의 다양한 실시예에 이용되는 기울기 예측 모델에 대한 콥 각 결정에 대한 평가 결과를 다른 영역 분할 모델과 비교하여 도시한 것이다.9A and 9B are diagrams illustrating evaluation results for determining a Cobb angle for a gradient prediction model used in various embodiments of the present invention in comparison with other region partitioning models.
도 9a 및 9b를 참조하면, 본 발명의 다양한 실시예에 적용되는 M-net 및 U-net 기반의 기울기 예측 모델은, Angle net, Boost net, 및 Landmark net 기반의 예측 모델보다 CMAE (circular mean error) 및 SMAPE (symmetric mean absolute percentage error) 가 낮은 것으로 나타난다. 특히, 입력된 척추 의료 영상을 다운 샘플링하도록 구성된 인풋 레이어와 이들 각각에 대하여 벡터 필드를 결정하도록 구성된 아웃풋 레이어로 이루어진 M-net 기반의 예측 모델은, 결정된 콥 각에 대한 CMAE가 3.51±3.89°로, SMAPE가 7.84 %로 가장 낮은 것으로 나타난다. 9A and 9B , the M-net and U-net-based gradient prediction models applied to various embodiments of the present invention have a circular mean error (CMAE) than the Angle net, Boost net, and Landmark net-based prediction models. ) and SMAPE (symmetric mean absolute percentage error) are shown to be low. In particular, the M-net-based predictive model consisting of an input layer configured to down-sample the input spinal medical image and an output layer configured to determine a vector field for each of them shows that the CMAE for the determined Cobb angle is 3.51±3.89°. , SMAPE is the lowest at 7.84%.
이러한 결과는, 본 발명의 다양한 실시예에 적용되는 기울기 예측 모델, 특히 M-net 및 U-net 기반의 기울기 예측 모델이 다른 네트워크 기반의 예측 모델들보다 척추 측만증 평가에 있어서 우수한 진단 성능을 갖는 다는 것을 의미할 수 있다.These results show that the gradient prediction model applied to various embodiments of the present invention, particularly the M-net and U-net-based gradient prediction model, has superior diagnostic performance in scoliosis evaluation than other network-based predictive models. can mean that
이에, 기울기 예측 모델은, M-net 및 U-net에 기초할 수 있으나, 이에 제한되는 것은 아니다. Accordingly, the gradient prediction model may be based on M-net and U-net, but is not limited thereto.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications may be made within the scope without departing from the spirit of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
100: 척추 측만증 평가용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 디바이스
220: 표시부
300: 의료 영상 촬영용 디바이스
312: 척추 의료 영상
320: 기울기 예측 모델
322: 벡터 필드
332: 디스크
334: 척추-기울기 벡터
342: 척추- 기울기 벡터가 표시된 의료 영상
344: 콥 각
346: 콥 각이 표시된 의료 영상
352: 최종 평가 결과
420: 척추뼈 예측 모델
422: 신뢰성 맵
424: 중심점100: device for evaluation of scoliosis
110, 230: storage unit
120, 210: communication unit
130, 240: processor
200: medical staff device
220: display unit
300: device for medical imaging
312: spine medical imaging
320: gradient prediction model
322: vector field
332: disk
334: spine-tilt vector
342: medical image with spine-tilt vector
344: Cobb angle
346: medical image showing Cobb angle
352: final evaluation result
420: vertebrae prediction model
422: Reliability Map
424: center point
Claims (22)
개체의 복수의 척추뼈 (vertebrae) 를 포함하는 척추 의료 영상을 수신하는 단계;
척추뼈에 대한 벡터 필드 (vector field) 를 결정하도록 구성된 기울기 예측 모델을 이용하여, 상기 복수의 척추뼈에 대한 벡터 필드를 결정하는 단계;
상기 벡터 필드의 평균값에 기초하여, 상기 복수의 척추뼈 각각에 대한 척추-기울기 벡터 (vertebral-tilt vector) 를 결정하는 단계;
상기 척추-기울기 벡터에 기초하여 상기 복수의 척추뼈 각각에 대한 기울기를 결정하는 단계, 및
상기 기울기에 기초하여 척추 측만증 발병 여부를 평가하는 단계를 포함하는, 척추 측만증 평가 방법.A method for evaluating scoliosis implemented by a processor, comprising:
Receiving a spine medical image including a plurality of vertebrae (vertebrae) of the subject;
determining a vector field for the plurality of vertebrae using a gradient prediction model configured to determine a vector field for the vertebra;
determining a vertebral-tilt vector for each of the plurality of vertebrae based on the average value of the vector field;
determining a slope for each of the plurality of vertebrae based on the spine-tilt vector; and
Based on the slope, comprising the step of evaluating whether or not scoliosis has occurred, scoliosis evaluation method.
상기 척추 의료 영상을 수신하는 단계 이후에 수행되는,
의료 영상 내에서 척추뼈를 결정하도록 구성된 척추뼈 예측 모델을 이용하여, 상기 척추 의료 영상 내에서 상기 복수의 척추뼈를 결정하는 단계를 더 포함하는, 척추 측만증 평가 방법.According to claim 1,
performed after receiving the spinal medical image,
The method of claim 1, further comprising: determining the plurality of vertebrae in the vertebral medical image by using a vertebra prediction model configured to determine the vertebrae in the medical image.
상기 척추뼈 예측 모델은,
척추뼈에 대한 중심점을 결정하도록 더 구성되고,
상기 복수의 척추뼈를 결정하는 단계는,
상기 척추뼈 예측 모델을 이용하여, 상기 복수의 척추뼈 각각에 대한 중심점을 결정하는 단계를 포함하는, 척추 측만증 평가 방법.4. The method of claim 3,
The vertebrae prediction model is,
further configured to determine a central point for the vertebrae,
The step of determining the plurality of vertebrae,
Using the vertebra prediction model, comprising the step of determining a center point for each of the plurality of vertebrae, scoliosis evaluation method.
상기 각각에 대한 기울기를 결정하는 단계는,
상기 중심점 및 상기 각각에 대한 기울기를 기초로, 상기 척추-기울기 벡터를 결정하는 단계, 및
상기 척추-기울기 벡터에 기초하여 상기 복수의 척추뼈 각각에 대한 기울기를 결정하는 단계를 더 포함하는, 척추 측만증 평가 방법.5. The method of claim 4,
The step of determining the slope for each of the
determining the spine-tilt vector based on the centroid and the slope for each, and
The method further comprising the step of determining a slope for each of the plurality of vertebrae based on the spine-tilt vector.
상기 척추 의료 영상에 대하여 상기 중심점 또는 상기 척추-기울기 벡터를 표시하여 제공하는 단계를 더 포함하는, 척추 측만증 평가 방법.6. The method of claim 5,
The method further comprising the step of displaying and providing the center point or the spine-tilt vector with respect to the spinal medical image.
상기 척추뼈 예측 모델은,
의료 영상 내에서 척추뼈로 예측되는 신뢰성 맵 (confidence map) 을 생성하도록 더 구성되고,
상기 각각에 대한 중심점을 결정하는 단계는,
상기 척추뼈 예측 모델을 이용하여 상기 신뢰성 맵을 생성하는 단계, 및
상기 신뢰성 맵 내에서 중심점을 결정하는 단계를 포함하는, 척추 측만증 평가 방법.5. The method of claim 4,
The vertebrae prediction model is,
further configured to generate a confidence map predicted with vertebrae in the medical image,
Determining the center point for each of the above steps,
generating the reliability map using the vertebrae prediction model; and
and determining a centroid within the confidence map.
개체의 복수의 척추뼈 (vertebrae) 를 포함하는 척추 의료 영상을 수신하는 단계;
척추뼈에 대한 벡터 필드 (vector field) 를 결정하도록 구성된 기울기 예측 모델을 이용하여, 상기 복수의 척추뼈에 대한 벡터 필드를 결정하는 단계;
상기 벡터 필드에 기초하여 상기 복수의 척추뼈 각각에 대한 기울기를 결정하는 단계, 및
상기 기울기에 기초하여 상기 척추 측만증 발병 여부를 평가하는 단계를 포함하고,
상기 기울기 예측 모델은 인풋 레이어 (input layer) 및 아웃풋 레이어 (output layer) 를 포함하고,
상기 인풋 레이어는,
입력된 상기 척추 의료 영상을 복수의 스케일로 다운 샘플링 (down sampling) 하도록 구성되고,
상기 아웃풋 레이어는,
복수의 스케일로 다운 샘플링된 상기 척추 의료 영상 각각에 대하여 상기 벡터 필드를 결정하도록 구성된, 척추 측만증 평가 방법.A method for evaluating scoliosis implemented by a processor, comprising:
Receiving a spine medical image including a plurality of vertebrae (vertebrae) of the subject;
determining a vector field for the plurality of vertebrae using a gradient prediction model configured to determine a vector field for the vertebra;
determining a slope for each of the plurality of vertebrae based on the vector field; and
Comprising the step of evaluating whether the onset of the scoliosis based on the slope,
The gradient prediction model includes an input layer and an output layer,
The input layer is
It is configured to down-sample the input spinal medical image to a plurality of scales,
The output layer is
and determine the vector field for each of the spine medical images down-sampled to a plurality of scales.
상기 척추 측만증 발병 여부를 평가하는 단계는,
상기 각각에 대한 기울기에 기초하여 PT (proximal-thoracic), MT (main thoracic) 및 TL (thoracic-lumbar) 중 적어도 하나의 콥 각을 결정하는 단계, 및
상기 콥 각에 기초하여 상기 척추 측만증 발병 여부를 평가하는 단계를 포함하는, 척추 측만증 평가 방법.According to claim 1,
The step of assessing whether the scoliosis develops,
determining the Cobb angle of at least one of PT (proximal-thoracic), MT (main thoracic), and TL (thoracic-lumbar) based on the slope for each, and
Comprising the step of evaluating whether or not the scoliosis is developed based on the Cobb angle, scoliosis evaluation method.
상기 콥 각을 제공하는 단계를 더 포함하는, 척추 측만증 평가 방법.10. The method of claim 9,
The method further comprising the step of providing the Cobb angle.
상기 척추 의료 영상은,
척추 정면 방사선 영상인, 척추 측만증 평가 방법. According to claim 1,
The spine medical image is,
A frontal radiographic image of the spine, a method for evaluating scoliosis.
프로세서를 포함하고,
상기 프로세서는,
척추뼈에 대한 벡터 필드 (vector field) 를 결정하도록 구성된 기울기 예측 모델을 이용하여, 상기 복수의 척추뼈에 대한 벡터 필드를 결정하고, 상기 벡터 필드의 평균값에 기초하여, 상기 복수의 척추뼈 각각에 대한 척추-기울기 벡터 (vertebral-tilt vector) 를 결정하고, 상기 척추-기울기 벡터에 기초하여 상기 복수의 척추뼈 각각에 대한 기울기를 결정하고, 상기 기울기에 기초하여 척추 측만증 발병 여부를 평가하도록 구성된, 척추 측만증 평가용 디바이스.a receiver configured to receive a spinal medical image comprising a plurality of vertebrae of the subject; and
including a processor;
The processor is
Using a gradient prediction model configured to determine a vector field for a vertebra, determine a vector field for the plurality of vertebrae, and based on an average value of the vector field, for determining a vertebral-tilt vector, determining a tilt for each of the plurality of vertebrae based on the vertebral-tilt vector, and evaluating whether or not scoliosis develops based on the tilt, Device for evaluation of scoliosis.
상기 프로세서는,
의료 영상 내에서 척추뼈를 결정하도록 구성된 척추뼈 예측 모델을 이용하여, 상기 척추 의료 영상 내에서 상기 복수의 척추뼈를 결정하도록 더 구성된, 척추 측만증 평가용 디바이스.13. The method of claim 12,
The processor is
The device for scoliosis evaluation, further configured to determine the plurality of vertebrae in the spine medical image by using a vertebra prediction model configured to determine the vertebrae in the medical image.
상기 척추뼈 예측 모델은,
척추뼈에 대한 중심점을 결정하도록 더 구성되고,
상기 프로세서는,
상기 척추뼈 예측 모델을 이용하여, 상기 복수의 척추뼈 각각에 대한 중심점을 결정하도록 더 구성된, 척추 측만증 평가용 디바이스.15. The method of claim 14,
The vertebrae prediction model is,
further configured to determine a central point for the vertebrae,
The processor is
The device for scoliosis evaluation, further configured to determine a center point for each of the plurality of vertebrae by using the vertebra prediction model.
상기 프로세서는,
상기 중심점 및 상기 각각에 대한 기울기를 기초로, 상기 척추-기울기 벡터를 결정하고, 상기 척추-기울기 벡터에 기초하여 상기 복수의 척추뼈 각각에 대한 기울기를 결정하도록 더 구성된, 척추 측만증 평가용 디바이스.16. The method of claim 15,
The processor is
The device for scoliosis evaluation, further configured to determine the spine-tilt vector based on the central point and the slope for each, and determine the slope for each of the plurality of vertebrae based on the spine-tilt vector.
상기 척추 의료 영상에 대하여 상기 중심점 또는 상기 척추-기울기 벡터를 표시하여 제공하도록 구성된 표시부를 더 포함하는, 척추 측만증 평가용 디바이스.17. The method of claim 16,
The device for scoliosis evaluation, further comprising a display unit configured to display and provide the center point or the spine-tilt vector with respect to the spinal medical image.
상기 척추뼈 예측 모델은,
의료 영상 내에서 척추뼈로 예측되는 신뢰성 맵 (confidence map) 을 생성하도록 더 구성되고,
상기 프로세서는,
상기 척추뼈 예측 모델을 이용하여 상기 신뢰성 맵을 생성하고, 상기 신뢰성 맵 내에서 중심점을 결정하도록 더 구성된, 척추 측만증 평가용 디바이스.16. The method of claim 15,
The vertebrae prediction model is,
further configured to generate a confidence map predicted with vertebrae in the medical image,
The processor is
and generate the confidence map using the vertebra prediction model, and determine a center point within the confidence map.
프로세서를 포함하고,
상기 프로세서는,
척추뼈에 대한 벡터 필드 (vector field) 를 결정하도록 구성된 기울기 예측 모델을 이용하여, 상기 복수의 척추뼈에 대한 벡터 필드를 결정하고, 상기 벡터 필드에 기초하여 상기 복수의 척추뼈 각각에 대한 기울기를 결정하고, 상기 기울기에 기초하여 척추 측만증 발병 여부를 평가하도록 구성되고,
상기 기울기 예측 모델은 인풋 레이어 (input layer) 및 아웃풋 레이어 (output layer) 를 포함하고,
상기 인풋 레이어는,
입력된 상기 척추 의료 영상을 복수의 스케일로 다운 샘플링 (down sampling) 하도록 구성되고,
상기 아웃풋 레이어는,
복수의 스케일로 다운 샘플링된 상기 척추 의료 영상 각각에 대하여 상기 벡터 필드를 결정하도록 구성된, 척추 측만증 평가용 디바이스.a receiver configured to receive a spinal medical image comprising a plurality of vertebrae of the subject; and
including a processor;
The processor is
Using a gradient prediction model configured to determine a vector field for a vertebra, determine a vector field for the plurality of vertebrae, and calculate a gradient for each of the plurality of vertebrae based on the vector field. is configured to determine and evaluate whether or not scoliosis develops based on the slope,
The gradient prediction model includes an input layer and an output layer,
The input layer is
It is configured to down-sample the input spinal medical image to a plurality of scales,
The output layer is
and determine the vector field for each of the spine medical images down-sampled to a plurality of scales.
상기 프로세서는,
상기 각각에 대한 기울기에 기초하여 PT (proximal-thoracic), MT (main thoracic) 및 TL (thoracic-lumbar) 중 적어도 하나의 콥 각을 결정하고, 상기 콥 각에 기초하여 상기 척추 측만증 발병 여부를 평가하도록 구성된, 척추 측만증 평가용 디바이스.13. The method of claim 12,
The processor is
Determine the Cobb angle of at least one of PT (proximal-thoracic), MT (main thoracic), and TL (thoracic-lumbar) based on the slope for each, and evaluate whether or not the scoliosis develops based on the Cobb angle A device for evaluating scoliosis, configured to do so.
상기 콥 각을 제공하도록 구성된, 표시부를 더 포함하는, 척추 측만증 평가용 디바이스.21. The method of claim 20,
The device for evaluating scoliosis, further comprising an indicator, configured to provide the Cobb angle.
상기 척추 의료 영상은, 척추 정면 방사선 영상인, 척추 측만증 평가용 디바이스.13. The method of claim 12,
The spine medical image is a frontal spine radiographic image, a device for scoliosis evaluation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200037295A KR102389067B1 (en) | 2020-03-27 | 2020-03-27 | Method for evaluating scoliosis and device evaluating scoliosis using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200037295A KR102389067B1 (en) | 2020-03-27 | 2020-03-27 | Method for evaluating scoliosis and device evaluating scoliosis using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210120504A KR20210120504A (en) | 2021-10-07 |
| KR102389067B1 true KR102389067B1 (en) | 2022-04-20 |
Family
ID=78114591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200037295A KR102389067B1 (en) | 2020-03-27 | 2020-03-27 | Method for evaluating scoliosis and device evaluating scoliosis using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102389067B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240040921A (en) | 2022-09-22 | 2024-03-29 | 고려대학교 산학협력단 | Apparatus and method for evaluating thoracic kyphosis and lumbar lordosis based on deep neural network |
| KR20240042866A (en) | 2022-09-26 | 2024-04-02 | 부산대학교 산학협력단 | Method for providing information on scoliosis based on artificial intelligence |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003290217A (en) * | 2002-04-03 | 2003-10-14 | Toshiba Corp | X-ray diagnostic device and medical image analytic device |
| JP2009180539A (en) | 2008-01-29 | 2009-08-13 | Nec Corp | Pathological diagnosis support apparatus, pathological diagnosis support method, and program |
| KR101968144B1 (en) * | 2018-10-11 | 2019-08-13 | 가톨릭대학교 산학협력단 | Apparatus and method for diagnosising slant angle of vertebra and cervical vertebra |
| KR102062539B1 (en) * | 2019-03-06 | 2020-01-06 | 주식회사 딥노이드 | Assistance diagnosis method for lumbar disease based on deep learning |
-
2020
- 2020-03-27 KR KR1020200037295A patent/KR102389067B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003290217A (en) * | 2002-04-03 | 2003-10-14 | Toshiba Corp | X-ray diagnostic device and medical image analytic device |
| JP2009180539A (en) | 2008-01-29 | 2009-08-13 | Nec Corp | Pathological diagnosis support apparatus, pathological diagnosis support method, and program |
| KR101968144B1 (en) * | 2018-10-11 | 2019-08-13 | 가톨릭대학교 산학협력단 | Apparatus and method for diagnosising slant angle of vertebra and cervical vertebra |
| KR102062539B1 (en) * | 2019-03-06 | 2020-01-06 | 주식회사 딥노이드 | Assistance diagnosis method for lumbar disease based on deep learning |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240040921A (en) | 2022-09-22 | 2024-03-29 | 고려대학교 산학협력단 | Apparatus and method for evaluating thoracic kyphosis and lumbar lordosis based on deep neural network |
| KR20240042866A (en) | 2022-09-26 | 2024-04-02 | 부산대학교 산학협력단 | Method for providing information on scoliosis based on artificial intelligence |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210120504A (en) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11937962B2 (en) | Systems and methods for automated and interactive analysis of bone scan images for detection of metastases | |
| US8355553B2 (en) | Systems, apparatus and processes for automated medical image segmentation using a statistical model | |
| US8116542B2 (en) | Determining hazard of an aneurysm by change determination | |
| US10997466B2 (en) | Method and system for image segmentation and identification | |
| US9427173B2 (en) | Determining mechanical force on aneurysms from a fluid dynamic model driven by vessel blood flow information | |
| US20090022375A1 (en) | Systems, apparatus and processes for automated medical image segmentation | |
| US20140348404A1 (en) | Semantic navigation and lesion mapping from digital breast tomosynthesis | |
| EP2116973B1 (en) | Method for interactively determining a bounding surface for segmenting a lesion in a medical image | |
| EP2116974B1 (en) | Statistics collection for lesion segmentation | |
| EP3722996A2 (en) | Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof | |
| KR102389067B1 (en) | Method for evaluating scoliosis and device evaluating scoliosis using the same | |
| US8306354B2 (en) | Image processing apparatus, method, and program | |
| CN110738633B (en) | Three-dimensional image processing method and related equipment for organism tissues | |
| CN115861656A (en) | Method, apparatus and system for automatically processing medical images to output an alert | |
| KR101162599B1 (en) | An automatic detection method of Cardiac Cardiomegaly through chest radiograph analyses and the recording medium thereof | |
| CN113348485A (en) | Abnormality detection method, abnormality detection program, abnormality detection device, server device, and information processing method | |
| US8165375B2 (en) | Method and system for registering CT data sets | |
| KR102258070B1 (en) | Method for evaluating foot type and device evaluating foot type using the same | |
| JP2019500114A (en) | Determination of alignment accuracy | |
| CN111862014A (en) | ALVI automatic measurement method and device based on left and right ventricle segmentation | |
| US11657909B2 (en) | Medical image processing apparatus and medical image processing method | |
| KR102647251B1 (en) | Method for evaluating low limb alignment and device for evaluating low limb alignment using the same | |
| KR102672531B1 (en) | Method and apparatus for automatically estimating spine position in medical images using deep learning-based pose estimation | |
| KR20230129078A (en) | Appartus and method for quantifying lesion in biometric image | |
| EP3839964A1 (en) | Making measurements in images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |