KR20230039084A - 하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스 - Google Patents

하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스 Download PDF

Info

Publication number
KR20230039084A
KR20230039084A KR1020210121975A KR20210121975A KR20230039084A KR 20230039084 A KR20230039084 A KR 20230039084A KR 1020210121975 A KR1020210121975 A KR 1020210121975A KR 20210121975 A KR20210121975 A KR 20210121975A KR 20230039084 A KR20230039084 A KR 20230039084A
Authority
KR
South Korea
Prior art keywords
region
lower extremity
femoral
tibia
medical image
Prior art date
Application number
KR1020210121975A
Other languages
English (en)
Other versions
KR102647251B1 (ko
Inventor
김성준
김성환
황상철
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210121975A priority Critical patent/KR102647251B1/ko
Publication of KR20230039084A publication Critical patent/KR20230039084A/ko
Application granted granted Critical
Publication of KR102647251B1 publication Critical patent/KR102647251B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4504—Bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Rheumatology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은, 프로세서 및 통신부에 의해 구현되는 하지 정렬 평가 방법으로서, 통신부를 통해, 개체의 하지 의료 영상을 수신하는 단계, 프로세서를 통해, 하지 의료 영상을 입력으로 하여, 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 학습된 복수의 모델을 이용하여, 하지 의료 영상을 기초로 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하는 단계, 및 대퇴 영역, 경골 영역 및 거골 영역을 기초로 하지 측정치를 결정하는 단계를 포함하는, 하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스를 제공한다.

Description

하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스{METHOD FOR EVALUATING LOW LIMB ALIGNMENT AND DEVICE FOR EVALUATING LOW LIMB ALIGNMENT USING THE SAME}
본 발명은 하지 정렬 평가 방법 및 이를 이용한 디바이스에 관한 것이다.
의료 영상 디바이스는 대상 개체의 내부 구조를 영상으로 획득하기 위한 장비이다. 이러한 의료 영상 디바이스는 인체에 고통을 주지 않고 실시되는 비침습 검사 디바이스로서, 신체 내의 구조적 세부사항, 내부 조직 및 유체의 흐름 등을 촬영 및 처리하여 의료인에게 보여준다. 의료인들은 의료 영상 디바이스에서 출력되는 의료 영상을 이용하여 환자의 건강 상태 및 질병을 진단할 수 있다.
의료 영상 디바이스로는 자기 공명 영상을 제공하기 위한 자기 공명 영상 (MRI, magnetic resonance imaging) 디바이스, 컴퓨터 단층 촬영 (CT, Computed Tomography) 디바이스, 엑스레이 (X-ray) 디바이스, 및 초음파 (ultrasound) 진단 디바이스 등이 있다. 이러한 의료 영상 디바이스로부터 획득한 의료 영상들은, 질환의 진단에 이용될 수 있다.
한편, 의료 영상에 기초한 진단에 있어서, 계측 과정은 다양한 병소의 진단, 나아가 질환의 진행 단계의 결정에 있어서 매우 중요할 수 있다. 이때, 정확하고 재현성 높은 계측을 위해, 특히 2D의 평면 의료 영상에 기초한 계측에 있어서 해부학적 랜드마크와 같은 기준점이 중요할 수 있다. 그러나, 해부학적 랜드마크들은 진단 개체마다 다른 위치에 존재할 수 있고, 개체의 자세, 의료인의 숙련도와 같은 외부적 요인에 따라 다르게 결정될 수 있다. 이러한 이유로, 의료 영상에 기초한 계측, 특히 2D의 평면 의료 영상에 기초한 계측 분석은, 정확도 및 재현성이 떨어질 수 있다. 이때, 계측치의 부정확함은 질환의 진단, 질환의 진행의 평가 결과의 신뢰도를 떨어뜨릴 수 있다.
특히, 하지 정렬 (lower limb alignment) 검사의 경우, 하지 측정치의 계측을 통해 개체의 하지 구조의 변형 정도를 결정할 수 있어, 올바른 하지 정렬을 이해하는 것, 하지 측정치를 결정하는 것은 매우 중요할 수 있다.
이에, 의료 영상을 기반으로 하지 정렬을 결정하기 위한 표준화되고 재현 가능한, 하지 정렬 평가 방법의 개발이 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
한편, 본 발명의 발명자들은, 하지 정렬 평가와 관련하여, 역학적 경골퇴골 각 (mechanical tibiofemoral angle; mTFA), 역학적 축 대퇴골 원위 관절 각 (mechanical lateral distal femoral articular angle; mLDFA), 내측 근위 경골 각 (medial proximal tibial angle; MPTA) 또는 관절선 합체 각 (joint line convergence angle; JLCA) 과 같은 하지 측정치에 주목하였다.
특히, 본 발명의 발명자들은, 체중 부하 환경에서 전신 영상에 기초한 하지 측정치가, 퇴행성 상태, 선천성 상태, 외상 후 상태 등 다양한 임상 상황에서 측정될 수 있으며, 의료인의 숙련도에 따라 다르게 측정될 수 있음에 주목하였다.
이때, 본 발명의 발명자들은 인공지능 알고리즘 기반의 시스템을 도입함으로써 종래의 의료 영상에 기초한 하지 정렬 평가 시스템이 갖는 한계 및 문제점들을 보완하고자 하였다.
본 발명의 발명자들은, 하지 의료 영상에 기초한 진단과 관련하여 하지 의료 영상의 데이터에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다.
특히, 본 발명의 발명자들은, 복수의 예측 모델에 기초하여 하지 의료 영상에 대하여 대퇴 영역, 경골 영역 및 거골 영역을 각각 결정하고, 이의 해부학적 구조에 따라 미리 결정된 특징점을 예측함으로써, 어떠한 환경에서도 표준화되고 재현성 있는 하지 정렬 평가가 가능함을 인지할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은, 하지 의료 영상을 입력으로 하여 대퇴 골두 영역 및 대퇴 원위부 영역의 대퇴 영역, 근위 경골 영역 및 경골 원위부 영역의 경골 영역과 거골 영역 각각을 분할하도록, 복수의 예측 모델을 구축하고자 하였다.
나아가, 본 발명의 발명자들은 예측된 각각의 영역 내에서 미리 결정된 해부학적 특징점을 결정하고, 이로부터 하지 측정치를 결정하고, 이에 기초하여 하지 정렬 평가 결과를 제공하고자 하였다.
본 발명의 발명자들은, 인공지능을 이용한 계측 정보를 제시함으로써 의료진이 하지 정렬에 대한 신뢰도 높은 분석 결과를 제공할 수 있음을 인지할 수 있었다.
그 결과, 본 발명의 발명자들은, 예측 모델에 의해 예측된 대퇴 영역, 경골 영역 및 거골 영역에 기초하여 하지 측정치를 결정하도록 구성된, 하지 의료 영상에 기초한 하지 정렬 평가 시스템을 개발하기에 이르렀다.
특히, 본 발명의 발명자들은, 새로운 하지 정렬 평가 시스템을 제공함으로써, 하지 영상 촬영 시 개체의 상태, 및 의료인의 숙련도에 따른 진단의 오류의 발생과 같은 종래의 의료 영상에 기초한 하지 정렬 평가 시스템이 갖는 한계들을 극복할 것을 기대할 수 있었다.
더욱이, 본 발명의 발명자들은 체중 부하 환경에서 전신 영상에 기초한 하지 측정치를 결정할 경우, 의료진의 숙련도에 따라 계측의 오차가 발생할 수 있었던 종래의 의료 영상에 기초한 하지 정렬 평가 시스템이 갖는 한계들을 극복할 것을 기대할 수 있었다.
한편, 본 발명의 발명자들은, 예측 모델의 영역 예측의 학습 과정에서 입력된 영상의 해상도가 높거나 분할하고자 하는 형상과 주변 영역의 밝기 값이 명확히 분류되지 않을 때, 정확한 분할이 어려울 수 있음에 주목하였다.
특히, 본 발명의 발명자들은, 학습 데이터 수가 적을 때, 핵심 영역을 고려하지 않고 학습될 수 있음에 따라 분류의 정확도가 떨어질 수 있다는 점에 대하여 주목하였다.
이에, 본 발명의 발명자들은 예측 과정에 있어서 학습용 하지 의료 영상에 대하여 대퇴 영역, 경골 영역, 거골 영역과 같은 ROI (region of interest) 를 설정하고, 주요 핵심 영역만을 포함하도록 크로핑 (cropping) 하여 예측 모델을 학습시킴으로써, 예측 모델에 대한 영역 분할의 정확도 향상을 기대할 수 있었다.
즉, 본 발명의 발명자들은, 실제 대퇴, 경골, 또는 거골이 존재하는, 정답 영역 내에서의 예측이 활성화 되도록 하는 핵심 영역 중심의 학습이 가능한 예측 모델을 개발할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는 수신된 하지 의료 영상을 기초로 예측 모델을 이용하여 하지 의료 영상에 대한 대퇴 영역, 경골 영역, 및 거골 영역을 예측하고, 이를 기초로 하지 측정치를 결정하도록 구성된, 하지 정렬 평가 방법 및 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 하지 정렬 평가 방법이 제공된다. 본 방법은, 프로세서에 의해 구현되는 하지 정렬 평가 방법으로서, 통신부를 통해, 개체의 하지 의료 영상을 수신하는 단계, 프로세서를 통해, 하지 의료 영상을 입력으로 하여, 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 학습된 복수의 모델을 이용하여, 하지 의료 영상을 기초로 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하는 단계, 및 대퇴 영역, 경골 영역 및 거골 영역을 기초로 하지 측정치를 결정하는 단계를 포함한다.
본 발명의 특징에 따르면, 대퇴 영역은, 대퇴 골두 (Femoral head) 영역 및 대퇴 원위부 (Distal femur) 영역을 포함하고, 경골 영역은, 근위 경골 (Proximal tibia) 영역 및 경골 원위부 (Distal tibia) 영역을 포함하고, 복수의 모델은, 하지 의료 영상을 입력으로 하여 대퇴 골두 영역을 출력하도록 구성된 제1 예측 모델, 하지 의료 영상을 입력으로 하여 대퇴 원위부 영역을 출력하도록 구성된 제2 예측 모델, 하지 의료 영상을 입력으로 하여 근위 경골 영역을 출력하도록 구성된 제3 예측 모델, 하지 의료 영상을 입력으로 하여 경골 원위부 영역을 출력하도록 구성된 제4 예측 모델, 및 하지 의료 영상을 입력으로 하여 거골 영역을 출력하도록 구성된 제5 예측 모델을 포함할 수 있다.
본 발명의 특징에 따르면, 복수의 모델은, 하지 의료 영상을 입력으로 하여 좌측의 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 구성된 모델, 및 하지 의료 영상을 입력으로 하여 우측의 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 구성된 모델을 포함할 수 있다.
본 발명의 다른 특징에 따르면, 각각을 예측하는 단계는, 복수의 모델을 이용하여 하지 의료 영상 내에서 복수의 ROI (region of interest) 각각 결정하는 단계, 및 각각의 ROI 를 기초로 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 하지 측정치를 결정하는 단계는, 대퇴 영역, 경골 영역 및 거골 영역 각각에 대하여 미리 결정된 해부학적 특징점 (feature points) 을 각각 결정하는 단계, 및 영역 각각에 대한 특징점에 기초하여 하지 측정치를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 특징점에 기초하여 하지 측정치를 결정하는 단계는, 영역 각각에 대한 특징점에 기초하여 복수의 역학적 축 (mechanical axes) 을 결정하는 단계, 및 복수의 역학적 축에 기초하여, 하지 측정치를 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 방법은 특징점을 결정하는 단계 이후에, 사용자로부터 보정된 특징점을 입력 받는 단계를 더 포함하고, 특징점에 기초하여 하지 측정치를 결정하는 단계는, 보정된 특징점에 기초하여, 하지 측정치를 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 특징점은, 대퇴 골두 중심 (Femoral head center), 대퇴 과간 절흔의 중심 (Center of femoral intercondylar notch), 경골극의 중심 (Center of the tibial spines), 2 개의 내측 및 외측 대퇴골과 (medial and lateral femoral condyles) 의 최원위 지점들, 2 개의 내측 및 외측 경골 고평부 (medial and lateral tibial plateaus) 의 최근위 지점들, 및 중간-복사뼈 지점 (mid-malleolar point) 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 하지 측정치를 결정하는 단계는, 기하 모델 (geometric model) 을 이용하여, 대퇴 영역, 경골 영역 및 거골 영역 각각에 기초하여 하지 측정치를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 하지 측정치는, 역학적 경골퇴골 각 (mechanical tibiofemoral angle; mTFA), 역학적 축 대퇴골 원위 관절 각 (mechanical lateral distal femoral articular angle; mLDFA), 내측 근위 경골 각 (medial proximal tibial angle; MPTA) 및 관절선 합체 각 (joint line convergence angle; JLCA) 중 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 방법은 하지 측정치를 결정하는 단계 이후에, 하지 측정치에 기초하여 개체에 대한 치료 계획을 결정하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 하지 정렬 평가용 디바이스가 제공된다. 본 디바이스는, 개체의 하지 의료 영상을 수신하도록 구성된, 통신부 및 통신부와 통신하도록 구성된 프로세서를 포함한다. 이때, 프로세서는, 하지 의료 영상을 입력으로 하여, 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 학습된 복수의 모델을 이용하여, 하지 의료 영상을 기초로 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하고, 대퇴 영역, 경골 영역 및 거골 영역을 기초로 하지 측정치를 결정하도록 구성된다.
본 발명의 특징에 따르면, 대퇴 영역은, 대퇴 골두 (Femoral head) 영역 및 대퇴 원위부 (Distal femur) 영역을 포함하고, 경골 영역은, 근위 경골 (Proximal tibia) 영역 및 경골 원위부 (Distal tibia) 영역을 포함할 수 있다. 또한, 복수의 모델은, 하지 의료 영상을 입력으로 하여 대퇴 골두 영역을 출력하도록 구성된 제1 예측 모델, 하지 의료 영상을 입력으로 하여 대퇴 원위부 영역을 출력하도록 구성된 제2 예측 모델, 하지 의료 영상을 입력으로 하여 근위 경골 영역을 출력하도록 구성된 제3 예측 모델, 하지 의료 영상을 입력으로 하여 경골 원위부 영역을 출력하도록 구성된 제4 예측 모델, 및 하지 의료 영상을 입력으로 하여 거골 영역을 출력하도록 구성된 제5 예측 모델을 포함할 수 있다.
본 발명의 다른 특징에 따르면, 복수의 모델은, 하지 의료 영상을 입력으로 하여 좌측의 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 구성된 모델, 및 하지 의료 영상을 입력으로 하여 우측의 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 구성된 모델을 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 복수의 모델을 이용하여 하지 의료 영상 내에서 복수의 ROI (region of interest) 각각 결정하고, 각각의 ROI 를 기초로 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 대퇴 영역, 경골 영역 및 거골 영역 각각에 대하여 미리 결정된 해부학적 특징점 (feature points) 을 각각 결정하고, 영역 각각에 대한 특징점에 기초하여 하지 측정치를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 영역 각각에 대한 특징점에 기초하여 복수의 역학적 축 (mechanical axes) 을 결정하고, 복수의 역학적 축에 기초하여, 하지 측정치를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 사용자로부터 보정된 특징점을 입력받고, 보정된 특징점에 기초하여, 하지 측정치를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 특징점은, 대퇴 골두 중심 (Femoral head center), 대퇴 과간 절흔의 중심 (Center of femoral intercondylar notch), 경골극의 중심 (Center of the tibial spines), 2 개의 내측 및 외측 대퇴골과 (medial and lateral femoral condyles) 의 최원위 지점들, 2 개의 내측 및 외측 경골 고평부 (medial and lateral tibial plateaus) 의 최근위 지점들, 및 중간-복싸뼈 지점 (mid-malleolar point) 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 기하 모델 (geometric model) 을 이용하여, 대퇴 영역, 경골 영역 및 거골 영역 각각에 기초하여 하지 측정치를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 하지 측정치는, 역학적 경골퇴골 각 (mechanical tibiofemoral angle; mTFA), 역학적 축 대퇴골 원위 관절 각 (mechanical lateral distal femoral articular angle; mLDFA), 내측 근위 경골 각 (medial proximal tibial angle; MPTA) 및 관절선 합체 각 (joint line convergence angle; JLCA) 중 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 하지 측정치에 기초하여 개체에 대한 치료 계획을 결정하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 예측 모델에 기초하여 하지 의료 영상에 대하여 핵심 영역을 결정하고, 미리 결정된 특징점을 기초로 하지 측정치를 결정하도록 구성된 하지 정렬 평가 방법 및 이를 이용한 디바이스를 제공함으로써, 재현성 높게 하지 측정치의 계측 결과 및 이에 따른 하지 정렬 평가 결과를 제공할 수 있는 효과가 있다.
보다 구체적으로, 본 발명은, 복수의 예측 모델을 이용하여 하지 의료 영상에 대한 대퇴 영역, 경골 영역 및 거골 영역을 각각 분할하고, 영역 내에서 결정된 특징점에 기초하여 하지 측정치를 결정하여 제공할 수 있다.
이에, 본 발명은, 개체별로 상이한 하지의 해부학적 구조, 및 의료인의 숙련도에 따라 하지 측정치가 다르게 결정될 수 있는 종래의 의료 영상에 기초한 하지 정렬 평가 시스템이 갖는 한계 및 문제점들을 극복할 수 있는 효과가 있다.
특히, 본 발명은, 체중 부하 환경에서 전신 영상에 기초한 하지 측정치를 결정할 경우, 계측의 오차가 발생할 수 있었던 종래의 의료 영상에 기초한 하지 정렬 평가 시스템이 갖는 한계를 극복할 수 있는 효과가 있다.
또한, 본 발명은, 예측 모델에 대하여 학습용 하지 의료 영상에 대하여 ROI를 설정하고, 주요 핵심 영역만을 포함하도록 크로핑 (cropping) 하여 예측 모델을 학습시킴으로써 영역 분할의 정확도 향상에 기여할 수 있다.
이에, 본 발명은, 예측 모델, 특히 예측 모델에 입력된 하지 의료 영상의 퀄리티에 상관 없이 하지 정렬을 높은 정확도로 평가하여 제공할 수 있다.
보다 구체적으로, 본 발명은 하지 의료 영상의 해상도가 높거나 분할하고자 하는 형상과 주변 영역의 밝기 값이 명확히 분류되지 않을 경우에도, 대퇴 영역, 경골 영역 및 거골 영역을 정확하게 분할하는 예측 모델이 적용된 평가 시스템을 제공할 수 있다.
이에, 본 발명은 보다 신뢰도 높은 하지 정렬 평가 결과를 제공할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 하지 정렬 평가용 디바이스에 기초한 하지 정렬 평가 시스템을 설명하기 위한 개략도이다.
도 1b는 본 발명의 실시예에 따른 하지 정렬 평가용 디바이스를 설명하기 위한 개략도이다.
도 1c는 본 발명의 실시예에 따른 하지 정렬 평가용 디바이스로부터 정보를 제공받는 사용자 모바일 디바이스를 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 하지 정렬 평가용 디바이스에서 개체의 하지 영상에 기반하여 하지 측정치를 결정하는 방법을 설명하기 위한 개략적인 순서도이다.
도 3a 내지 3d는 본 발명의 실시예에 따른 하지 정렬 평가 방법의 절차를 예시적으로 도시한 것이다.
도 4는 본 발명의 실시예에 따른 하지 정렬 평가 방법에 적용되는 예측 모델의 학습 절차를 예시적으로 도시한 것이다.
도 5a 내지 5g는 본 발명의 다양한 실시예에 따라 결정된 하지 측정치에 대한 평가 결과를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 하지 정렬을 예측하고자 하는 모든 대상을 의미할 수 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "하지 의료 영상"은, 영상 진단 디바이스로부터 촬영된 하지 의료 영상을 의미할 수 있다. 예를 들어, 하지 의료 영상은, 개체에 대하여 체중 부하 환경에서 촬영된 영상일 수 있다. 이때, 하지 의료 영상은 대퇴 영역, 경골 영역 및 거골 영역을 포함할 수 있다. 바람직하게, 하지 의료 영상은 전신 하지 체중 부하 방사선촬영 영상 (full-length leg weight-bearing radiographs) 일 수 있으나, 이에 제한되는 것은 아니다.
한편, 하지 의료 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 하지 의료 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 하지 정렬 평가 방법에 따라 복수개의 하지 의료 영상 각각에 대한 대퇴 영역, 경골 영역 및 거골 영역이 예측되고, 이를 기초하여 하지 측정치가 결정될 수 있다. 그 결과, 본 발명은 방사선촬영 디바이스와 같은 영상 진단 디바이스로부터의 하지 의료 영상의 수신과 동시에 대퇴 영역, 경골 영역 및 거골 영역의 예측, 하지 측정치의 예측을 수행함으로써, 실시간으로 하지 정렬에 대한 진단 정보를 제공할 수도 있다.
본 명세서에서 사용되는 용어, "대퇴 영역"은, 하지 의료 영상 내에서 대퇴가 존재하는 영역을 의미할 수 있다. 이때, 대퇴 영역은, 대퇴 골두 (Femoral head) 영역 및 대퇴 원위부 (Distal femur) 영역을 포함할 수 있다.
나아가, 대퇴 영역은 우측 대퇴 영역 좌측 대퇴 영역을 포함할 수 있다.
본 명세서에서 사용되는 용어, "경골 영역"은, 하지 의료 영상 내에서 경골이 존재하는 영역을 의미할 수 있다. 이때, 경골 영역은, 근위 경골 (Proximal tibia) 영역 및 경골 원위부 (Distal tibia) 영역을 포함할 수 있다.
나아가, 경골 영역은 우측 경골 영역 좌측 경골 영역을 포함할 수 있다.
본 명세서에서 사용되는 용어, "거골 영역"은, 하지 의료 영상 내에서 거골이 존재하는 영역을 의미할 수 있다.
나아가, 거골 영역은 우측 거골 영역 좌측 거골 영역을 포함할 수 있다.
본 명세서에서 사용되는 용어, "하지 측정치"는, 하지 정렬을 결정하기 위한 측정 값, 또는 정렬 파라미터 (alignment parameter) 를 의미할 수 있다.
본 발명의 특징에 따르면, 하지 측정치는, 역학적 경골퇴골 각 (mechanical tibiofemoral angle; mTFA), 역학적 축 대퇴골 원위 관절 각 (mechanical lateral distal femoral articular angle; mLDFA), 내측 근위 경골 각 (medial proximal tibial angle; MPTA) 및 관절선 합체 각 (joint line convergence angle; JLCA) 중 적어도 하나일 수 있다. 그러나, 이에 제한되는 것은 아니며 하지 측정치는 하지 정렬을 측정하기 위한 보다 다양한 파라미터를 포괄할 수 있다.
한편, 하지 측정치는 특징점 (feature point) 및/또는 역학적 축 (mechanical axes) 에 기초하여 결정될 수 있다.
이때, 본 명세서에서 사용되는 용어, "특징점"은, 하지 측정치 결정을 위해, 대퇴골, 경골 나아가 거골에 대하여 미리 결정된 해부학적 기준점을 의미할 수 있다.
이때, 특징점은, 대퇴 골두 중심 (Femoral head center), 대퇴 과간 절흔의 중심 (Center of femoral intercondylar notch), 경골극의 중심 (Center of the tibial spines), 2 개의 내측 및 외측 대퇴골과 (medial and lateral femoral condyles) 의 최원위 지점들, 2 개의 내측 및 외측 경골 고평부 (medial and lateral tibial plateaus) 의 최근위 지점들, 및 중간-복사뼈 지점 (mid-malleolar point) 의 6 개의 특징점 중 적어도 하나일 수 있다.
특히, 대퇴 골두 중심, 대퇴 과간 절흔의 중심, 2 개의 내측 및 외측 대퇴 과두의 최원위 지점들의 3 개의 특징점은, 대퇴 영역에 대하여 미리 결정된 특징점일 수 있다. 나아가 경골극의 중심, 2 개의 내측 및 외측 경골 고평부의 최근위 지점들의 2 개의 특징점은 경골 영역에 대하여 미리 결정된 특징점일 수 있다. 나아가, 중간-복사뼈 지점 (mid-malleolar point) 의 특징점은 거골 영역에 대하여 미리 결정된 특징점일 수 있다.
본 명세서에서 사용되는 용어, "역학적 축"은, 하지 측정치 결정을 위해, 대퇴골, 경골 나아가 거골에 대하여 미리 결정된 해부학적 기준선을 의미할 수 있다.
한편, 역학적 축은, 대퇴골 역학적 축 (femoral mechanical axis), 경골 역학적 축 (tibial mechanical axis), 원위 대퇴골 관절 축 (distal femoral articular axis), 및 근위 경골 관절 축 (proximal tibial articular axis) 의 4 개의 역학적 축 중 적어도 하나일 수 있다.
이때, 역학적 축은 특징점에 기초하여 결정될 수도 있다.
예를 들어, 대퇴골 역학적 축은, 대퇴 골두 중심에서 대퇴 과간 절흔의 중심의 특징점에 의해 결정될 수 있다. 나아가, 경골 역학적 축은, 경골극의 중심 및 발목의 중심 (중간-복사뼈 지점) 에 의해 결정될 수 있다. 또한, 원위 대퇴골 관절 축은, 내측 및 외측 대퇴골과 (medial and lateral femoral condyles) 의 최원위 지점들에 의해 결정될 수 있고, 근위 경골 관절 축은 내측 및 외측 경골 고평부 (medial and lateral tibial plateaus) 의 최근위 지점들에 의해 결정될 수 있다.
본 발명의 특징에 따르면, 하지 측정치는, 두 개의 역학적 축이 이루는 각도에 의해 결정될 수 있다.
예를 들어, 대퇴골 역학적 축 및 경골 역학적 축에 의해 경골퇴골 각이 결정될 수 있고, 원위 대퇴골 관절 축 및 대퇴골 역학적 축에 의해 역학적 축 대퇴골 원위 관절 각이 결정될 수 있다. 나아가, 근위 경골 관절 축 및 경골 역학 축에 의해 내측 근위 경골 각이 결정될 수 있고, 근위 경골 관절 축 및 원위 대퇴골 관절 축에 의해 관절선 합체 각이 결정될 수 있다.
그러나, 하지 측정치는 전술한 것에 제한되지 않고 보다 다양한 방법에 의해 결정될 수 있다.
본 명세서에서 사용되는 용어, "예측 모델"은 하지 의료 영상에 대하여 대퇴 영역, 경골 영역 또는 거골 영역을 예측하도록 구성된 모델일 수 있다.
보다 구체적으로, 예측 모델은, 하지 의료 영상을 입력으로 하여 대퇴 골두 영역을 출력하도록 구성된 제1 예측 모델, 하지 의료 영상을 입력으로 하여 대퇴 원위부 영역을 출력하도록 구성된 제2 예측 모델, 하지 의료 영상을 입력으로 하여 근위 경골 영역을 출력하도록 구성된 제3 예측 모델, 하지 의료 영상을 입력으로 하여 경골 원위부 영역을 출력하도록 구성된 제4 예측 모델, 및 하지 의료 영상을 입력으로 하여 거골 영역을 출력하도록 구성된 제5 예측 모델로 이루어질 수 있다.
본 발명의 다른 특징에 따르면, 5 개의 예측 모델은 좌측 영역 및 우측 영역 각각을 예측하는 독립된 모델로 존재할 수 있다. 이에, 복수의 모델은, 10 개의 모델을 포함할 수 있다.
그러나, 이에 제한되지 않고 예측 모델은 단일의 모델로서, 대퇴 영역, 경골 영역 및 거골 영역의 3 영역, 또는 대퇴 골두 영역, 대퇴 원위부 영역, 근위 경골 영역, 경골 원위부 영역 및 거골 영역의 5 개 영역을 예측 및 분할하도록 학습된 모델일 수도 있다.
예를 들어, 본 발명의 예측 모델은, 입력된 하지 의료 영상에 대하여 대퇴 영역, 경골 영역 및 거골 영역을 분할하도록 학습된 모델일 수 있다.
한편, 본 발명의 예측 모델은, 대퇴 영역, 경골 영역 또는 거골 영역의 예측의 정확도 향상을 위해 2 번의 학습 단계를 통해 학습된 모델일 수 있다.
예를 들어, 본 발명의 예측 모델은, 학습용 하지 의료 영상을 입력으로 하여 대퇴 부위 또는 경골 부위 또는 거골 부위가 존재하는 ROI (region of interest) 를 결정하도록 1차 학습될 수 있다. 그 다음, 예측 모델은 ROI를 포함하는 ROI 영상을 입력으로 하여, 실제 대퇴 영역 또는 경골 영역 또는 거골 영역의 경계를 분할하도록 2차 학습될 수 있다.
이에, 본 발명의 예측 모델은, 실제 대퇴 또는 경골 또는 거골이 존재하는 정답 영역 내에서의 예측이 활성화 되도록 하는, 핵심 영역 중심의 학습이 진행되었음에 따라, 대퇴 영역, 경골 영역 및 거골 영역을 높은 정확도로 분할할 수 있다.
한편, 본 발명의 예측 모델은, SegNet 네트워크에 기초한 모델일 수 있다. 그러나 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 예측 모델은, VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 모델 또는 U-net을 기반으로 하는 예측 모델일 수도 있다.
본 명세서에서 사용되는 용어, "기하 모델 (geometric model)"은 결정된 역학적 축에 기초하여 하지 측정치를 결정하는 수학적 알고리즘 기반 모델을 의미할 수 있다.
이때 기하 모델은, 역학적 경골퇴골 각, 역학적 축 대퇴골 원위 관절 각, 내측 근위 경골 각 또는 관절선 합체 각의 측정치를 산출하여 제공할 수 있다.
이하에서는 도 1a 내지 1c를 참조하여, 본 발명의 일 실시예에 따른 하지 정렬 평가용 디바이스를 설명한다.
도 1a는 본 발명의 일 실시예에 따른 하지 정렬 평가용 디바이스에 기초한 하지 정렬 평가 시스템을 설명하기 위한 개략도이다. 도 1b는 본 발명의 실시예에 따른 하지 정렬 평가용 디바이스를 설명하기 위한 개략도이다. 도 1c는 본 발명의 실시예에 따른 하지 정렬 평가용 디바이스로부터 정보를 제공받는 사용자 모바일 디바이스를 설명하기 위한 개략도이다.
먼저, 도 1a을 참조하면, 하지 정렬 평가 시스템 (1000) 은, 개체에 대한 하지 의료 영상을 기초로 하지 정렬과 연관된 계측 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 하지 정렬 평가 시스템 (1000) 은, 수신된 하지 의료 영상에 기초하여, 대퇴 영역, 경골 영역 및 거골 영역을 예측하고 이로부터 하지 측정치를 결정하도록 구성된 디바이스 (100), 하지 정렬과 관련된 계측 정보를 수신하는 의료진 디바이스 (200) 및 하지 의료 영상을 제공하는, 의료 영상 제공용 디바이스 (300) 로 구성될 수 있다.
먼저, 하지 정렬 평가용 디바이스 (100) 는 방사선촬영용 디바이스와 같은 의료 영상 제공용 디바이스 (300) 로부터 제공된 하지 의료 영상을 기초로 하지 측정치를 결정하기 위한 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 의료진 디바이스 (200) 는 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 하지 정렬 평가용 디바이스 (100) 는 의료 영상 제공용 디바이스 (300) 로부터 하지 의료 영상을 수신하고, 수신된 하지 의료 영상으로부터 대퇴, 경골 나아가 거골 영역을 분할하고, 이로부터 특징점을 예측하여 경골퇴골 각, 대퇴골 원위 관절 각, 근위 경골각 및 관절선 합체 각과 같은 하지 측정치를 결정하여 제공할 수 있다. 이때, 하지 정렬 평가용 디바이스 (100), 예측 모델을 이용하여 하지 의료 영상 내에서 하지 정렬 파라미터의 예측을 특정 영역을 예측 및 결정할 수 있다.
하지 정렬 평가용 디바이스 (100) 는 하지 정렬과 관련된 측정치를 의료진 디바이스 (200) 로 제공할 수 있다.
이와 같이 하지 정렬 평가용 디바이스 (100) 로부터 제공되는 게측 정보는 의료진 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 의료진 디바이스 (200) 는 하지 측정치와 함께, 하지 측정치의 결정 과정에서 예측된 특징점을 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (200) 는 하지 정렬 평가용 디바이스 (100) 로부터 개체에 대한 하지 측정치의 계측 결과를 수신하고, 수신된 결과를 후술할 표시부를 통해 표시할 수 있다.
다음으로, 도 1b를 참조하여, 본 발명의 하지 정렬 평가용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 1b를 참조하면, 하지 정렬 평가용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 하지 의료 영상 내에서 영역을 분할하고, 하지 측정치를 결정하는 과정에서 생성된 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부 (110) 는, 후술할 통신부 (120) 를 통해 의료 영상 제공용 디바이스 (300) 로부터 수신된 하지 의료 영상, 나아가 복수의 예측 모델의 분류 과정에서의 다양한 산물들을 저장하도록 구성될 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부 (120) 는 하지 정렬 평가용 디바이스 (100) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200), 나아가 의료 영상 제공용 디바이스 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 의료 영상 제공용 디바이스 (300) 로부터 개체의 하지 의료 영상을 수신할 수 있다. 예를 들어, 통신부 (120) 는 의료 영상 제공용 디바이스 (300) 로부터, 체중 부하 환경에서의 전신 방사선촬영 영상을 수신할 수 있다. 나아가, 통신부 (120) 는 의료진 디바이스 (200) 로 계측 결과 나아가, 영상 분할 결과, 특징점 등이 표시된 영상을 송신할 수도 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 하지 의료 영상을 분석하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 수신된 하지 의료 영상에서 대퇴 영역, 경골 영역 및 거골 영역을 분류하고, 특징점을 예측하고, 특징점으로부터 역학적 축을 결정하고, 최종적으로 하지 측정치를 결정하도록 구성될 수 있다.
이때, 프로세서 (130) 는 의료 영상에 기초하여, 복수의 영역을 분할하도록 각각 학습된 복수의 예측 모델, 나아가 특징점 또는 하지 측정치를 결정하는 기하 모델에 기초할 수 있다.
특히, 프로세서 (130) 는 SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 모델 또는 U-net 기반의 예측 모델에 기초할 수 있으나, 이에 제한되는 것은 아니다.
한편, 하지 정렬 평가용 디바이스 (100) 는 하드웨어 적으로 설계된 것으로 제한되는 것은 아니다. 예를 들어, 하지 정렬 평가용 디바이스 (100) 의 프로세서 (130) 는 소프트웨어로 구현될 수 있다. 이에, 소프트웨어가 적용된 의료 영상 제공용 디바이스 (300) 와 연결된 표시부 (미도시) 를 개체에 대한 하지 정렬 평가 결과의 제공이 가능할 수도 있다.
한편, 도 1c를 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 의료진 디바이스 (200) 가 외부 디바이스와 통신이 가능하도록 구성될 수 있다. 통신부 (210) 는 유/무선 통신을 이용하여 하지 정렬 평가용 디바이스 (100) 와 연결되어 하지 정렬과 연관된 하지 측정치를 송신할 수 있다. 구체적으로, 통신부 (210) 는 하지 정렬 평가용 디바이스 (100) 로부터, 복수의 예측 모델/기하 모델에 의해 출력된 결과를 수신할 수 있다.
표시부 (220) 는 하지 정렬과 연관된 하지 측정치를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다.
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 하지 정렬과 연관된 하지 측정치를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다.
이하에서는, 도 2, 도 3a 내지 3d를 참조하여, 본 발명의 일 실시예에 따른 하지 정렬 평가 방법을 구체적으로 설명한다 도 2는 본 발명의 실시예에 따른 하지 정렬 평가용 디바이스에서 개체의 하지 영상에 기반하여 하지 측정치를 결정하는 방법을 설명하기 위한 개략적인 순서도이다. 도 3a 내지 3d는 본 발명의 실시예에 따른 하지 정렬 평가 방법의 절차를 예시적으로 도시한 것이다.
먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 하지 정렬 평가의 절차는 다음과 같다. 먼저, 개체에 대한 하지 의료 영상이 수신된다 (S210). 그 다음, 하지 의료 영상에 대하여, 대퇴 영역, 경골 영역 및 거골 영역을 예측하도록 구성된 복수의 예측 모델에 의해, 대퇴 영역, 경골 영역 및 거골 영역 각각이 예측된다 (S220). 다음으로, 대퇴 영역, 경골 영역 및 거골 영역 각각에 대하여 하지 측정치가 결정되고 (S230), 하지 정렬 평가 결과가 제공된다 (S240).
보다 구체적으로, 하지 의료 영상이 수신되는 단계 (S210) 에서 개체에 대한 하지 의료 영상이 수신될 수 있다. 이때, 하지 의료 영상은 하지 정면에 대한 방사선 의료 영상, 특히 전신 하지 체중 부하 방사선 의료 영상일 수 있으나, 이에 제한되는 것은 아니다.
다음으로, 대퇴 영역, 경골 영역 및 거골 영역이 예측되는 단계 (S220) 에서, 예측 모델에 의해 대퇴 영역, 경골 영역 및 거골 영역이 예측될 수 있다.
본 발명의 특징에 따르면, 대퇴 영역, 경골 영역 및 거골 영역이 예측되는 단계 (S220) 에서, 대퇴 골두 (Femoral head) 영역 및 대퇴 원위부 (Distal femur) 영역의 대퇴 영역, 근위 경골 (Proximal tibia) 영역 및 경골 원위부 (Distal tibia) 영역의 경골 영역과 거골 영역 각각이 예측될 수 있다.
이때, 복수의 모델은, 하지 의료 영상을 입력으로 하여 대퇴 골두 영역을 출력하도록 구성된 제1 예측 모델, 하지 의료 영상을 입력으로 하여 대퇴 원위부 영역을 출력하도록 구성된 제2 예측 모델, 하지 의료 영상을 입력으로 하여 근위 경골 영역을 출력하도록 구성된 제3 예측 모델, 하지 의료 영상을 입력으로 하여 경골 원위부 영역을 출력하도록 구성된 제4 예측 모델, 및 하지 의료 영상을 입력으로 하여 거골 영역을 출력하도록 구성된 제5 예측 모델로 이루어질 수 있다.
예를 들어, 도 3a를 함께 참조하면 대퇴 영역, 경골 영역 및 거골 영역이 예측되는 단계 (S220) 에서, 하지 의료 영상 (412) 이, 제1 예측 모델 (420a), 제2 예측 모델 (420b), 제3 예측 모델 (420c), 제4 예측 모델 (420d), 및 제5 예측 모델 (420e) 의 대퇴 골두 영역, 대퇴 원위부 영역, 근위 경골 영역, 경골 원위부 영역 및 거골 영역 각각을 출력하도록 구성된 복수의 모델 (420) 에 입력된다. 그 결과, 제1 예측 모델 (420a) 에 의해 대퇴 골두 영역 (432a) 이 예측 (분할) 되고, 제2 예측 모델 (420b) 에 의해 대퇴 원위부 영역 (432b) 이 예측 (분할) 된다. 나아가, 제3 예측 모델 (420c) 에 의해 근위 경골 영역 (432c) 이 예측 (분할) 되고, 제4 예측 모델 (420d) 에 의해 경골 원위부 영역 (432d) 이 예측 (분할) 되고, 제5 예측 모델 (420e) 에 의해 거골 영역 (432e) 이 예측 (분할) 된다. 즉, 대퇴 영역, 경골 영역 및 거골 영역이 예측되는 단계 (S220) 의 결과로 하지 의료 영상 내에서 5 개의 영역 (또는, 좌측-우측의 10 개 영역) 이 분할 및 출력될 수 있다.
다시, 도 2로 돌아와 본 발명의 다른 특징에 따르면, 대퇴 영역, 경골 영역 및 거골 영역이 예측되는 단계 (S220) 에서, 하지 의료 영상을 입력으로 하여 좌측의 대퇴 영역, 경골 영역 및 거골 영역과, 우측의 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 구성된 6 개의 예측 모델에 기초할 수도 있다.
그 다음, 하지 측정치가 결정되는 단계 (S230) 가 수행된다.
본 발명의 특징에 따르면, 하지 측정치가 결정되는 단계 (S230) 에서, 대퇴 영역, 경골 영역 및 거골 영역 각각에 대하여 미리 결정된 해부학적 특징점 (feature points) 각각이 결정되고, 영역 각각에 대한 특징점에 기초하여 하지 측정치가 결정된다.
이때, 특징점은, 대퇴 골두 중심 (Femoral head center), 대퇴 과간 절흔의 중심 (Center of femoral intercondylar notch), 2 개의 내측 및 외측 대퇴 과두 (medial and lateral femoral condyles) 의 최원위 지점들의 대퇴 영역에 대하여 미리 결정된 특징점을 포함할 수 있다. 나아가 특징점은, 경골극의 중심 (Center of the tibial spines), 2 개의 내측 및 외측 경골 고평부 (medial and lateral tibial plateaus) 의 최근위 지점들의 경골 영역에 대하여 미리 결정된 특징점을 포함할 수 있다. 나아가, 특징점은 중간-복사뼈 지점 (mid-malleolar point) 의 거골 영역에 대하여 미리 결정된 특징점을 포함할 수 있다.
한편, 본 발명의 또 다른 특징에 따르면, 하지 측정치가 결정되는 단계 (S230) 는, 특징점이 결정된 이후에, 사용자로부터 새로운 특징점 (또는, 위치가 보정된 특징점) 이 입력되고, 보정된 특징점에 기초하여 하지 측정치가 결정될 수 있다.
그 다음, 본 발명의 다른 특징에 따르면, 하지 측정치가 결정되는 단계 (S230) 에서 영역 각각에 대한 특징점에 기초하여 복수의 역학적 축 (mechanical axes) 이 결정되고, 복수의 역학적 축에 기초하여, 하지 측정치가 결정될 수 있다.
예를 들어, 도 3b를 참조하면, 하지 측정치가 결정되는 단계 (S230) 에서, 대퇴 골두 영역 (432a), 대퇴 원위부 영역 (432b), 근위 경골 영역 (432c), 경골 원위부 영역 (432d) 및 거골 영역 (432e) 각각에 대하여 미리 결정된 특징점이 결정될 수 있다.
보다 구체적으로, 하지 측정치가 결정되는 단계 (S230) 에서, 대퇴 골두 영역 (432a) 에 대하여 대퇴 골두 중심의 특징점 (Femoral head feature point) 이, 대퇴 원위부 영역 (432b) 에 대하여 대퇴 과간 절흔의 중심, 나아가 2 개의 내측 및 외측 대퇴 과두의 최원위 지점들 (distal femur feature points) 의 특징점이 결정될 수 있다. 나아가, 하지 측정치가 결정되는 단계 (S230) 에서, 근위 경골 영역 (432c) 에 대하여 경골극의 중심, 2 개의 내측 및 외측 경골 고평부의 최근위 지점들 (proximal tibia feature points) 의 특징점이 결정될 수 있다. 거골 영역 (432e) 에 대하여 중간-복사뼈 지점 (talus feature points) 의 거골 영역에 대한 특징점이 결정될 수 있다.
그 다음, 도 3c를 참조하면, 대퇴 골두 중심의 특징점 (Femoral head feature point) 및 대퇴 과간 절흔의 중심에 의해 대퇴골 역학적 축 (femoral mechanical axis) (442a) 이 결정될 수 있다. 나아가, 2 개의 내측 및 외측 대퇴 과두의 최원위 지점들 (distal femur feature points) 에 의해 원위 대퇴골 관절 축 (distal femoral articular axis) (442b) 이 결정될 수 있다. 나아가, 2 개의 내측 및 외측 경골 고평부의 최근위 지점들 (proximal tibia feature points) 에 의해 근위 경골 관절 축 (proximal tibial articular axis) (442c) 이 결정될 수 있다. 마지막으로, 경골극의 중심과 중간-복사뼈 지점 (talus feature points) 에 의해 경골 역학적 축 (tibial mechanical axis) (442d)이 결정될 수 있다.
그 다음, 대퇴골 역학적 축 (442a) 및 경골 역학적 축 (442d) 에 의해 역학적 경골퇴골 각 (mTFA) 의 하지 측정치가 결정될 수 있고, 원위 대퇴골 관절 축 (442b) 및 대퇴골 역학적 축 (442a) 에 의해 역학적 축 대퇴골 원위 관절 각 (mLDFA) 이 결정될 수 있다. 나아가, 근위 경골 관절 축 (442c) 및 경골 역학 축 (442d) 에 의해 내측 근위 경골 각 (MPTA) 이 결정될 수 있고, 근위 경골 관절 축 (442c) 및 원위 대퇴골 관절 축 (442b) 에 의해 관절선 합체 각 (JLCA) 이 결정될 수 있다.
다시 도 2를 참조하면, 하지 측정치가 결정되는 단계 (S230) 는 하지 측정치를 계측하도록 미리 구축된, 기하 모델에 의해 하지 측정치가 결정될 수도 있다.
마지막으로, 하지 정렬 평가 결과가 제공되는 단계 (S240) 에서, 역학적 경골퇴골 각 (mTFA), 역학적 축 대퇴골 원위 관절 각 (mLDFA), 내측 근위 경골 각 (MPTA) 및 관절선 합체 각 (JLCA) 의 하지 측정치가 제공될 수 있다.
예를 들어, 도 3d를 참조하면, 역학적 경골퇴골 각 (mTFA), 역학적 축 대퇴골 원위 관절 각 (mLDFA), 내측 근위 경골 각 (MPTA) 및 관절선 합체 각 (JLCA) 의 하지 측정치와 함께, 하지 측정치가 결정되는 과정에서의 특징점, 나아가 역학적 축이 하지 의료 영상에 대하여 표시되어 제공될 수 있다.
이상의 다양한 실시예에 따른 발명의 본 발명의 따른 하지 정렬 평가 방법에 의해, 개체로부터 획득된 하지 의료 영상에 기초하여 재현성 높게 하지 측정치의 계측 결과 및 이에 따른 정확한 하지 정렬의 평가 결과를 제공할 수 있다. 즉, 의료진은 숙련도에 관계 없이 하지 측정치에 기초하여 하지 정렬에 대한 평가를 수행하고, 개체에 대하여 적절한 치료 계획을 설정할 수 있다.
이하에서는, 도 4를 참조하여, 본 발명의 다양한 실시예에서 이용되는 예측 모델의 학습 방법을 설명한다.
이때, 예측 모델은, 다운 샘플링 (인코딩) 경로와 업 샘플링 (디코딩) 경로, 그리고 그 뒤에 이어지는 최종 픽셀 별 분류 레이어로 구성될 수 있다. 보다 구체적으로, 인코더 경로에는 VGG16 네트워크의 처음 13 개 컨볼루션 레이어와 일치하는 13 개의 컨볼루션 레이어가 존재하며, 각 인코더 레이어는 대응하는 디코더 레이어를 갖는다. 이에, 디코더 네트워크 또한 13 개의 컨볼루션 레이어가 존재한다. 최종 디코더 레이어의 출력은 각 픽셀에 대한 클래스 확률을 독립적으로 생성하기 위해 다중 클래스 소프트 맥스 분류기 (multi-class soft-max classifier) 가 적용될 수 있다.
이러한 구조적 특징을 갖는 예측 모델은, VGG-16 웨이트 (weights) 가 적용된 SegNet 모델일 수 있으나, 이에 제한되는 것은 아니다.
도 4는 본 발명의 실시예에 따른 하지 정렬 평가 방법에 적용되는 예측 모델의 학습 절차를 예시적으로 도시한 것이다.
도 4를 참조하면, SegNet 기반의 본 발명의 다양한 실시예에 적용되는 예측 모델은, 학습용 하지 의료 영상 (Raw image) 을 입력으로 하여 대퇴 부위 또는 경골 부위 또는 거골 부위가 존재하는 ROI (region of interest) 를 결정하도록 1차 학습될 수 있다. 이때, SegNet 기반의 예측 모델은 배치 크기 4, 최대 반복 횟수 에코 120, 학습률 1xe-2로 학습될 수 있으며. 학습용 영상의 크기는 [0,1]로 스케일된 강도를 갖는 311 X 932 픽셀로 설정될 수 있다.
그 다음, 예측 모델은 ROI를 포함하는 ROI 영상 (ROI image) 을 입력으로 하여, 실제 대퇴 영역 또는 경골 영역 또는 거골 영역의 경계를 분할하도록 2차 학습될 수 있다. 즉, 예측 모델은 영역이 분할된 영상 (segmented image) 를 출력하도록 학습될 수 있다. 이때, SegNet 기반의 예측 모델은 배치 크기 4, 최대 반복 횟수 에코 120, 학습률 1xe-2로 학습될 수 있으며, 학습용 영상은 뼈의 크기에 따라, [0,1]로 스케일된 강도를 갖는 다른 픽셀로 크기가 조정될 수 있다.
즉, 2 단계의 학습 과정에 의해 영역을 분할하도록 학습된 본 발명의 예측 모델은, 입력된 새로운 하지 의료 영상에 대하여 높은 정확도로 영역을 분할할 수 있다.
이에, 본 발명의 예측 모델은, 예측 과정에 있어서 하지 의료 영상에 대하여 ROI를 설정하고, 핵심 영역만을 포함하도록 크로핑하는 것과 하지 의료 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략될 수 있다. 그럼에도, 본 발명의 예측 모델은, 대퇴 영역, 경골 영역 또는 거골 영역과 같은 특정 영역의 예측 능력이 다른 예측 모델들 보다 우수할 수 있다.
한편, 예측 모델은, 각 부위 별 단일 영역을 분할하도록 학습된 복수의 모델로 존재할 수 있으나, 이에 제한되는 것은 아니며 복수의 영역을 분할하도록 학습된 단일 모델일 수도 있다.
나아가, 본 발명의 예측 모델의 구조 및 파라미터, 학습 방법은 이에 제한되는 것이 아니다.
평가 1: 본 발명의 예측 모델의 평가_영역 분할
이하에서는 도 5a를 참조하여 본 발명의 다양한 실시예에 이용되는 예측 모델의 영역 분할에 대한 평가 결과를 설명한다. 이때, 예측 모델로서 2 단계의 학습 단계에 의해 학습된 SegNet 기반의 예측 모델이 이용되었다. 나아가, 본 평가에서는, 예측 모델에 의해 예측된 대퇴 골두 영역, 대퇴 원위부 영역, 근위 경골 영역, 경골 원위부 영역 및 거골 영역 정답 영역으로 마스킹된 영역의 유사도가 평가되었다. 이때, 이용되는 의료 영상은, 전신 하지 체중 부하 방사선촬영 영상 (full-length leg weight-bearing radiographs) 일 수 있으나, 이에 제한되는 것은 아니다.
도 5a를 참조하면, 본 발명의 다양한 실시예에 이용되는 복수의 예측 모델 중, 대퇴 골두 영역을 예측하도록 학습된 제1 예측 모델은 평균 유사 계수 (Similarity coefficient) 가 0.93으로 나타나난다 (①). 즉, 제1 예측 모델은 정답 대퇴 골두 영역과 약 93 %의 유사한 수준으로 대퇴 골두 영역을 예측한 것으로 나타난다. 다음으로, 대퇴 원위부 영역을 예측하도록 학습된 제2 예측 모델은 평균 유사 계수가 0.9472로 나타나난다 (②). 즉, 제2 예측 모델은 정답 영역과 약 95 %의 유사한 수준으로 대퇴 원위부 영역을 예측한 것으로 나타난다. 다음으로, 근위 경골 영역을 예측하도록 학습된 제3 예측 모델은 평균 유사 계수가 0.9510으로 나타나난다 (③). 즉, 제3 예측 모델은 정답 영역과 약 95 %의 유사한 수준으로 근위 경골 영역을 예측한 것으로 나타난다. 다음으로, 경골 원위부 영역을 예측하도록 학습된 제4 예측 모델은 평균 유사 계수가 0.8896으로 나타나난다 (④). 즉, 제4 예측 모델은 정답 영역과 약 89 %의 유사한 수준으로 경골 원위부 영역을 예측한 것으로 나타난다. 다음으로, 거골 영역을 예측하도록 학습된 제5 예측 모델은 평균 유사 계수가 0.9247으로 나타나난다 (⑤). 즉, 제5 예측 모델은 정답 영역과 약 92 %의 유사한 수준으로 거골 영역을 예측한 것으로 나타난다.
이는, 복수의 예측 모델 각각이 하지 의료 영상 내에서 매우 높은 정확도로 각 영역을 분할한 것을 의미할 수 있다.
즉, 평가 1의 결과에 따르면, 전체 하지 의료 영상으로 1 차 학습되고, 특정 영역만을 포함하는 ROI 영상으로 2 차 학습된 본 발명의 예측 모델은, 높은 정확도로 대퇴 영역, 경골 영역 및 거골 영역을 분할하여 예측하는 것으로 나타난다. 이에, 본 발명의 예측 모델은, 전신 의료 영상만으로 학습된 예측 모델 보다 핵심 영역의 예측의 성능이 우수할 수 있다.
평가 2: 본 발명의 기하 모델의 평가_하지 측정치 예측
이하에서는 도 5b 내지 5g를 참조하여 본 발명의 다양한 실시예에 이용되는 기하 모델의 하지 측정치 분석 결과에 대한 평가 결과를 설명한다.
먼저, 도 5b를 참조하면, 본 평가에서는 30 장의 체중 부하 환경에서의 하지 의료 영상에 대하여 방사선전문의에 의한 하지 측정치 계측 결과 (도 5b의 (a)) 와 본 발명의 다양한 실시예에 이용되는 기하 모델 기반의 하지 측정치 계측 결과 (도 5b의 (b)) 가 비교되었다.
이때, 계측된 하지 측정치는 계측된 역학적 경골퇴골 각 (mTFA), 대퇴골 원위 관절 각 (LDFA), 내측 근위 경골 각 (MPTA) 및 관절선 합체 각 (JLCA) 이다.
보다 구체적으로, 도 5c 내지 5e를 참조하면, 2 명의 방사선전문의 사이의 하지 측정치의 계측 각도 차이 (도 5c), 방사선전문의 1과 기하 모델 (Algorithm) 사이의 하지 측정치의 계측 각도 차이 (도 5d) 및 방사선전문의 2와 기하 모델 (Algorithm) 사이의 하지 측정치의 계측 각도 차이 (도 5e) 가 도시된다.
특히, 도 5d 및 도 5e를 참조하면, 역학적 경골퇴골 각 (mTFA), 대퇴골 원위 관절 각 (LDFA), 내측 근위 경골 각 (MPTA) 및 관절선 합체 각 (JLCA) 의 모든 하지 측정치에 대하여, 방사선전문의와 기하 모델 사이의 현저한 계측 차이가 없는 것으로 나타난다.
도 5f를 참조하면, 역학적 경골퇴골 각 (mTFA), 대퇴골 원위 관절 각 (LDFA), 내측 근위 경골 각 (MPTA) 및 관절선 합체 각 (JLCA) 의 하지 측정치 측정의 재현성을 평가하기 위해, 방사선전문의 및 기하 모델에 의해 측정된 각에 대하여 ICC (Intraclass correlation coefficient) 가 결정되었다.
이때, ICC는 0.81-1일 경우 '매우 좋음', 0.61-0.8일 경우 '좋음', 0.41-0.6일 경우 '보통'으로 간주될 수 있다.
보다 구체적으로, 방사선전문의 및 기하 모델에 의해 측정된 각도의 ICC를 비교했을 때, 역학적 경골퇴골 각 (mTFA) 의 경우 0.985 내지 0.987로, 대퇴골 원위 관절 각 (LDFA) 의 경우 0.944 내지 0.974로, 내측 근위 경골 각 (MPTA) 의 경우 0.927 내지 0.960 로, 관절선 합체 각 (JLCA) 의 경우 0.721 내지 0.939로 나타난다. 이러한 결과는 방사선전문의와 기하 모델의 계측 수준이 거의 완벽하게 일치한다는 것을 의미할 수 있다.
나아가, 도 5g를 참조하면, 방사선전문의와 기하 모델에 의한 4 개의 하지 정렬의 측정 값을 비교한 결과, 통계적으로 유의한 차이가 없는 것으로 나타난다.
이상의 평가 2의 결과는, 예측 모델 나아가 기하 모델 기반의 하지 정렬 평가용 디바이스가 방사선전문의와 유사한 수준으로 개체에 대한 하지 정렬 평가 결과를 제공한다는 것을 의미할 수 있다.
이에, 본 발명은 개체별로 상이한 하지의 해부학적 구조, 및 의료인의 숙련도에 따라, 특히 체중 부하 환경에서 하지 측정치가 다르게 결정될 수 있는 종래의 의료 영상에 기초한 하지 정렬 평가 시스템이 갖는 한계 및 문제점들을 극복할 수 있는 효과가 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 하지 정렬 평가용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 디바이스
220: 표시부
300: 의료 영상 제공용 디바이스
412: 하지 의료 동영상
420: 복수의 모델
420a: 제1 예측 모델
420b: 제2 예측 모델
420c: 제3 예측 모델
420d: 제4 예측 모델
420e: 제5 예측 모델
432a: 대퇴 골두 영역
432b: 대퇴 원위부 영역
432c: 근위 경골 영역
432d: 경골 원위부 영역
432e: 거골 영역
442a: 대퇴골 역학적 축
442b: 원위 대퇴골 관절 축
442c: 근위 경골 관절 축
442d: 경골 역학적 축

Claims (22)

  1. 프로세서 및 통신부에 의해 구현되는 하지 정렬 평가 방법으로서,
    상기 통신부를 통해, 개체의 하지 의료 영상을 수신하는 단계;
    상기 프로세서를 통해, 하지 의료 영상을 입력으로 하여, 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 학습된 복수의 모델을 이용하여, 상기 하지 의료 영상을 기초로 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하는 단계, 및
    상기 대퇴 영역, 상기 경골 영역 및 상기 거골 영역을 기초로 하지 측정치를 결정하는 단계를 포함하는, 하지 정렬 평가 방법.
  2. 상기 대퇴 영역은, 대퇴 골두 (Femoral head) 영역 및 대퇴 원위부 (Distal femur) 영역을 포함하고,
    상기 경골 영역은, 근위 경골 (Proximal tibia) 영역 및 경골 원위부 (Distal tibia) 영역을 포함하고,
    상기 복수의 모델은,
    상기 하지 의료 영상을 입력으로 하여 대퇴 골두 영역을 출력하도록 구성된 제1 예측 모델,
    상기 하지 의료 영상을 입력으로 하여 대퇴 원위부 영역을 출력하도록 구성된 제2 예측 모델,
    상기 하지 의료 영상을 입력으로 하여 근위 경골 영역을 출력하도록 구성된 제3 예측 모델,
    상기 하지 의료 영상을 입력으로 하여 경골 원위부 영역을 출력하도록 구성된 제4 예측 모델, 및
    상기 하지 의료 영상을 입력으로 하여 거골 영역을 출력하도록 구성된 제5 예측 모델을 포함하는, 하지 정렬 평가 방법.
  3. 제1항에 있어서,
    상기 복수의 모델은,
    상기 하지 의료 영상을 입력으로 하여 좌측의 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 구성된 모델, 및
    상기 하지 의료 영상을 입력으로 하여 우측의 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 구성된 모델을 포함하는, 하지 정렬 평가 방법.
  4. 제1항에 있어서,
    상기 각각을 예측하는 단계는,
    상기 복수의 모델을 이용하여 상기 하지 의료 영상 내에서 복수의 ROI (region of interest) 각각 결정하는 단계, 및
    각각의 ROI 를 기초로 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하는 단계를 포함하는, 하지 정렬 평가 방법.
  5. 제1항에 있어서,
    상기 하지 측정치를 결정하는 단계는,
    상기 대퇴 영역, 상기 경골 영역 및 상기 거골 영역 각각에 대하여 미리 결정된 해부학적 특징점 (feature points) 을 각각 결정하는 단계, 및
    영역 각각에 대한 상기 특징점에 기초하여 상기 하지 측정치를 결정하는 단계를 포함하는, 하지 정렬 평가 방법.
  6. 제5항에 있어서,
    상기 특징점에 기초하여 하지 측정치를 결정하는 단계는,
    영역 각각에 대한 상기 특징점에 기초하여 복수의 역학적 축 (mechanical axes) 을 결정하는 단계, 및
    상기 복수의 역학적 축에 기초하여, 상기 하지 측정치를 결정하는 단계를 더 포함하는, 하지 정렬 평가 방법.
  7. 제5항에 있어서,
    상기 특징점을 결정하는 단계 이후에,
    사용자로부터 보정된 특징점을 입력 받는 단계를 더 포함하고,
    상기 특징점에 기초하여 하지 측정치를 결정하는 단계는,
    상기 보정된 특징점에 기초하여, 상기 하지 측정치를 결정하는 단계를 더 포함하는, 하지 정렬 평가 방법.
  8. 제5항에 있어서,
    상기 특징점은,
    대퇴 골두 중심 (Femoral head center), 대퇴 과간 절흔의 중심 (Center of femoral intercondylar notch), 경골극의 중심 (Center of the tibial spines), 2 개의 내측 및 외측 대퇴골과 (medial and lateral femoral condyles) 의 최원위 지점들, 2 개의 내측 및 외측 경골 고평부 (medial and lateral tibial plateaus) 의 최근위 지점들, 및 중간-복사뼈 지점 (mid-malleolar point) 중 적어도 하나인, 하지 정렬 평가 방법.
  9. 제1항에 있어서,
    상기 하지 측정치를 결정하는 단계는,
    기하 모델 (geometric model) 을 이용하여, 상기 대퇴 영역, 상기 경골 영역 및 상기 거골 영역 각각에 기초하여 상기 하지 측정치를 결정하는 단계를 포함하는, 하지 정렬 평가 방법.
  10. 제1항에 있어서,
    상기 하지 측정치는,
    역학적 경골퇴골 각 (mechanical tibiofemoral angle; mTFA), 역학적 축 대퇴골 원위 관절 각 (mechanical lateral distal femoral articular angle; mLDFA), 내측 근위 경골 각 (medial proximal tibial angle; MPTA) 및 관절선 합체 각 (joint line convergence angle; JLCA) 중 적어도 하나를 포함하는, 하지 정렬 평가 방법.
  11. 제1항에 있어서,
    상기 하지 측정치를 결정하는 단계 이후에,
    상기 하지 측정치에 기초하여 상기 개체에 대한 치료 계획을 결정하는 단계를 더 포함하는, 하지 정렬 평가 방법.
  12. 개체의 하지 의료 영상을 수신하도록 구성된, 통신부 및
    상기 통신부와 통신하도록 구성된 프로세서를 포함하고,
    상기 프로세서는, 하지 의료 영상을 입력으로 하여, 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 학습된 복수의 모델을 이용하여, 상기 하지 의료 영상을 기초로 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하고,
    상기 대퇴 영역, 상기 경골 영역 및 상기 거골 영역을 기초로 하지 측정치를 결정하도록 구성된, 하지 정렬 평가 방법.
  13. 제12항에 있어서,
    상기 대퇴 영역은, 대퇴 골두 (Femoral head) 영역 및 대퇴 원위부 (Distal femur) 영역을 포함하고,
    상기 경골 영역은, 근위 경골 (Proximal tibia) 영역 및 경골 원위부 (Distal tibia) 영역을 포함하고,
    상기 복수의 모델은,
    상기 하지 의료 영상을 입력으로 하여 대퇴 골두 영역을 출력하도록 구성된 제1 예측 모델,
    상기 하지 의료 영상을 입력으로 하여 대퇴 원위부 영역을 출력하도록 구성된 제2 예측 모델,
    상기 하지 의료 영상을 입력으로 하여 근위 경골 영역을 출력하도록 구성된 제3 예측 모델,
    상기 하지 의료 영상을 입력으로 하여 경골 원위부 영역을 출력하도록 구성된 제4 예측 모델, 및
    상기 하지 의료 영상을 입력으로 하여 거골 영역을 출력하도록 구성된 제5 예측 모델을 포함하는, 하지 정렬 평가 방법.
  14. 제12항에 있어서,
    상기 복수의 모델은,
    상기 하지 의료 영상을 입력으로 하여 좌측의 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 구성된 모델, 및
    상기 하지 의료 영상을 입력으로 하여 우측의 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 구성된 모델을 포함하는, 하지 정렬 평가 방법.

  15. 제12항에 있어서,
    상기 프로세서는,
    상기 복수의 모델을 이용하여 상기 하지 의료 영상 내에서 복수의 ROI (region of interest) 각각 결정하고,
    각각의 ROI 를 기초로 대퇴 영역, 경골 영역 및 거골 영역 각각을 예측하도록 더 구성된, 하지 정렬 평가용 디바이스.
  16. 제12항에 있어서,
    상기 프로세서는,
    상기 대퇴 영역, 상기 경골 영역 및 상기 거골 영역 각각에 대하여 미리 결정된 해부학적 특징점 (feature points) 을 각각 결정하고,
    영역 각각에 대한 상기 특징점에 기초하여 상기 하지 측정치를 결정하도록 더 구성된, 하지 정렬 평가용 디바이스.
  17. 제16항에 있어서,
    상기 프로세서는,
    영역 각각에 대한 상기 특징점에 기초하여 복수의 역학적 축 (mechanical axes) 을 결정하고,
    상기 복수의 역학적 축에 기초하여, 상기 하지 측정치를 결정하도록 더 구성된, 하지 정렬 평가용 디바이스.
  18. 제16항에 있어서,
    상기 프로세서는,
    사용자로부터 보정된 특징점을 입력 받고,
    상기 보정된 특징점에 기초하여, 상기 하지 측정치를 결정하도록 더 구성된, 하지 정렬 평가용 디바이스.
  19. 제16항에 있어서,
    상기 특징점은,
    대퇴 골두 중심 (Femoral head center), 대퇴 과간 절흔의 중심 (Center of femoral intercondylar notch), 경골극의 중심 (Center of the tibial spines), 2 개의 내측 및 외측 대퇴골과 (medial and lateral femoral condyles) 의 최원위 지점들, 2 개의 내측 및 외측 경골 고평부 (medial and lateral tibial plateaus) 의 최근위 지점들, 및 중간-복싸뼈 지점 (mid-malleolar point) 중 적어도 하나인, 하지 정렬 평가용 디바이스.
  20. 제12항에 있어서,
    상기 프로세서는,
    기하 모델 (geometric model) 을 이용하여, 상기 대퇴 영역, 상기 경골 영역 및 상기 거골 영역 각각에 기초하여 상기 하지 측정치를 결정하도록 더 구성된, 하지 정렬 평가용 디바이스.
  21. 제12항에 있어서,
    상기 하지 측정치는,
    역학적 경골퇴골 각 (mechanical tibiofemoral angle; mTFA), 역학적 축 대퇴골 원위 관절 각 (mechanical lateral distal femoral articular angle; mLDFA), 내측 근위 경골 각 (medial proximal tibial angle; MPTA) 및 관절선 합체 각 (joint line convergence angle; JLCA) 중 적어도 하나를 포함하는, 하지 정렬 평가용 디바이스.
  22. 제12항에 있어서,
    상기 프로세서는,
    상기 하지 측정치에 기초하여 상기 개체에 대한 치료 계획을 결정하도록 더 구성된, 하지 정렬 평가용 디바이스.
KR1020210121975A 2021-09-13 2021-09-13 하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스 KR102647251B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210121975A KR102647251B1 (ko) 2021-09-13 2021-09-13 하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210121975A KR102647251B1 (ko) 2021-09-13 2021-09-13 하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스

Publications (2)

Publication Number Publication Date
KR20230039084A true KR20230039084A (ko) 2023-03-21
KR102647251B1 KR102647251B1 (ko) 2024-03-13

Family

ID=85801021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210121975A KR102647251B1 (ko) 2021-09-13 2021-09-13 하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스

Country Status (1)

Country Link
KR (1) KR102647251B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200083224A (ko) * 2018-12-31 2020-07-08 연세대학교 산학협력단 유방 부피 측정 방법 및 이를 이용한 유방 부피 측정 디바이스
US20210012492A1 (en) * 2018-03-21 2021-01-14 Vikas KARADE Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones
KR20210073860A (ko) * 2019-12-11 2021-06-21 오스템임플란트 주식회사 측모두부 영상에 기초한 자동 진단 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012492A1 (en) * 2018-03-21 2021-01-14 Vikas KARADE Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones
KR20200083224A (ko) * 2018-12-31 2020-07-08 연세대학교 산학협력단 유방 부피 측정 방법 및 이를 이용한 유방 부피 측정 디바이스
KR20210073860A (ko) * 2019-12-11 2021-06-21 오스템임플란트 주식회사 측모두부 영상에 기초한 자동 진단 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Thong Phi Nguyen 외. Intelligent analysis of coronal alignment in lower limbs based on radiographic image with convolutional neural network. Computers in Biology and Medicine. Vol 120.(2020.03.29. 공개)* *

Also Published As

Publication number Publication date
KR102647251B1 (ko) 2024-03-13

Similar Documents

Publication Publication Date Title
JP4469594B2 (ja) 疾患関連組織変化を測定するシステム
Duryea et al. Digital tomosynthesis of hand joints for arthritis assessment
JP4310099B2 (ja) 肺疾患検出のための方法及びシステム
US8885905B2 (en) Method and system for plaque characterization
JP5081390B2 (ja) 腫瘍量を監視する方法及びシステム
US8175348B2 (en) Segmenting colon wall via level set techniques
US20100054563A1 (en) Tissue classification in medical images
Vos et al. Computational modeling for assessment of IBD: to be or not to be?
JP2013542046A (ja) 超音波画像処理のシステムおよび方法
CN111666966B (zh) 医学成像中基于人工智能的材料分解
CN113222951B (zh) 一种识别髋关节x线的骨质疏松人工智能诊断装置
US20060104495A1 (en) Method and system for local visualization for tubular structures
US11996182B2 (en) Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network
Tang et al. Fully automatic knee joint segmentation and quantitative analysis for osteoarthritis from magnetic resonance (MR) images using a deep learning model
Wei et al. Computerized detection of noncalcified plaques in coronary CT angiography: evaluation of topological soft gradient prescreening method and luminal analysis
US11704796B2 (en) Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning
US20160180520A1 (en) Quantitative method for 3-d joint characterization
Du Toit et al. Automatic femoral articular cartilage segmentation using deep learning in three-dimensional ultrasound images of the knee
Bhat et al. Identification of intracranial hemorrhage using ResNeXt model
Kang et al. Prediction of bone mineral density in CT using deep learning with explainability
KR102647251B1 (ko) 하지 정렬 평가 방법 및 이를 이용한 하지 정렬 평가용 디바이스
Malinda et al. Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks
CN115482223A (zh) 图像处理方法、装置、存储介质及电子设备
KR102258070B1 (ko) 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스
CN111862014A (zh) 一种基于左右侧脑室分割的alvi自动测量方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right