KR102258070B1 - 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스 - Google Patents

발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스 Download PDF

Info

Publication number
KR102258070B1
KR102258070B1 KR1020190044242A KR20190044242A KR102258070B1 KR 102258070 B1 KR102258070 B1 KR 102258070B1 KR 1020190044242 A KR1020190044242 A KR 1020190044242A KR 20190044242 A KR20190044242 A KR 20190044242A KR 102258070 B1 KR102258070 B1 KR 102258070B1
Authority
KR
South Korea
Prior art keywords
region
talus
metatarsal
foot
standard
Prior art date
Application number
KR1020190044242A
Other languages
English (en)
Other versions
KR20200121550A (ko
Inventor
김성준
한승환
황상철
김성원
이영한
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190044242A priority Critical patent/KR102258070B1/ko
Priority to PCT/IB2020/053980 priority patent/WO2020212962A2/ko
Publication of KR20200121550A publication Critical patent/KR20200121550A/ko
Application granted granted Critical
Publication of KR102258070B1 publication Critical patent/KR102258070B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1074Foot measuring devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은, 개체의 족부 의료 영상을 수신하는 단계, 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 족부 의료 영상 내에서 거골 영역 및 제1 중족골 영역을 예측하는 단계, 예측된 거골 영역 및 제1 중족골 영역 각각에 대한 중심선을 기초로 거골-제1 중족골 간 각 (talus-first metatarsal angle) 을 결정하는 단계, 거골-제1 중족골 간 각을 기초로 개체의 발의 유형을 평가하는 단계를 포함하는, 발의 유형 예측 방법 및 이를 이용한 발의 유형 평가용 디바이스를 제공한다.

Description

발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스{METHOD FOR EVALUATING FOOT TYPE AND DEVICE EVALUATING FOOT TYPE USING THE SAME}
본 발명은, 발의 유형 평가 방법 및 이를 이용한 디바이스에 관한 것으로, 보다 구체적으로는 의료 영상에 기초하여 발의 유형을 예측하도록 구성된 방법 및 디바이스에 관한 것이다.
의료 영상 장치는 대상 개체의 내부 구조를 영상으로 획득하기 위한 장비이다. 이러한 의료 영상 장치는 인체에 고통을 주지 않고 실시되는 비침습 검사 장치로서, 신체 내의 구조적 세부사항, 내부 조직 및 유체의 흐름 등을 촬영 및 처리하여 의료인에게 보여준다. 의료인들은 의료 영상 장치에서 출력되는 의료 영상을 이용하여 환자의 건강 상태 및 질병을 진단할 수 있다.
의료 영상 장치로는 자기 공명 영상을 제공하기 위한 자기 공명 영상 (MRI, magnetic resonance imaging) 장치, 컴퓨터 단층 촬영 (CT, Computed Tomography) 장치, 엑스레이 (X-ray) 장치, 및 초음파 (ultrasound) 진단 장치 등이 있다. 이러한 의료 영상 장치로부터 획득한 의료 영상들은, 질환의 진단에 이용될 수 있다.
한편, 의료 영상에 기초한 진단에 있어서, 계측 과정은 다양한 병소의 진단, 나아가 질환의 진행 단계의 결정에 있어서 매우 중요할 수 있다. 이때, 정확하고 재현성 높은 계측을 위해, 특히 2D의 평면 의료 영상에 기초한 계측에 있어서 해부학적 랜드마크와 같은 기준점이 중요할 수 있다. 그러나, 해부학적 랜드마크들은 진단 개체마다 다른 위치에 존재할 수 있고, 개체의 자세, 의료인의 숙련도와 같은 외부적 요인에 따라 다르게 결정될 수 있다. 이러한 이유로, 의료 영상에 기초한 계측, 특히 2D의 평면 의료 영상에 기초한 계측 분석은, 정확도 및 재현성이 떨어질 수 있다. 이때, 계측치의 부정확함은 질환의 진단, 질환의 진행의 평가 결과의 신뢰도를 떨어뜨릴 수 있다.
특히, 평발 검사의 경우 촬영 시, 발 또는 다리의 자세, 및 이의 위치에 따라 해부학적 지표의 위치가 달라지 있는데, 이는 부정확한 계측으로 이어져 결과적으로 낮은 신뢰도의 평발 진단 결과를 제공할 수 있다. 이때 발의 유형 중 평발은 대한민국 병역 판정과도 연관이 있어, 정확한 발의 유형의 진단은 사회적으로 관심도가 큰 이슈일 수 있다.
의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 의료 영상에 기초한 진단, 특히 평발과 같은 발의 유형을 높은 정확도로 평가할 수 있는 새로운 평가 방법의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
공개특허공보 제10-2019-0023003호(2019.03.07.)
한편, 본 발명의 발명자들은, 평발, 오목발과 같은 발의 유형 평가와 관련하여, 거골 및 제1 중족골이 이루는 거골-제1 중족골간 각에 주목하였다.
보다 구체적으로, 본 발명의 발명자들은, 개체의 족부 의료 영상에 대하여 측정된 거골-제1 중족골간 각이, 개체별로 상이한 족부의 해부학적 구조, 및 의료인의 숙련도에 따라 다르게 측정될 수 있음에 주목하였다.
이때, 본 발명의 발명자들은 인공지능 알고리즘 기반의 시스템을 도입함으로써 종래의 의료 영상에 기초한 평발과 같은 발의 유형 평가 시스템이 갖는 한계 및 문제점들을 보완하고자 하였다.
본 발명의 발명자들은, 족부 의료 영상에 기초한 진단과 관련하여 족부 의료 영상의 데이터에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다.
특히, 본 발명의 발명자들은 족부 의료 영상에 대하여 거골 및 제1 중족골의 영역을 결정하고, 거골 및 제1 중족골의 해부학적 구조에 따라 미리 결정된 특징점을 예측함으로써, 재현성 있게 발의 유형을 평가하여 제공할 수 있음에 주목하였다.
보다 구체적으로, 본 발명의 발명자들은, 거골 및 제1 중족골의 영역을 예측하도록 예측 모델을 구축하였다. 이에, 예측된 각각의 영역 내에서 거골 및 족부의 해부학적 구조에 따라 미리 결정된 특징점을 기초로 거골 중심선 및 제1 중족골 중심선을 추출하고, 중심선들 간의 각도인 거골-제1 중족골간 각을 산출될 수 있음을 확인할 수 있었다. 즉, 본 발명의 발명자들은, 의료진에 의한 족부 의료 영상의 판독에 더해 인공지능을 이용한 계측 정보를 더하여 발의 유형을 높은 정확도로 평가하여 제공할 수 있음을 인지할 수 있었다.
그 결과, 본 발명의 발명자들은, 예측 모델을 이용하여 예측된 거골 및 제1 중족골의 영역에 대하여, 특징점 및 중심선을 예측하고 이를 기초로 거골-제1 중족골간 각도를 제공할 수 있는 새로운 족부 의료 영상에 기초한 발의 유형 평가 시스템을 개발하기에 이르렀다.
특히, 본 발명의 발명자들은, 새로운 발의 유형 평가 시스템을 제공함으로써, 족부의 해부학적 구조, 및 의료인의 숙련도에 따른 진단의 오류의 발생과 같은 종래의 의료 영상에 기초한 발의 유형 평가 시스템이 갖는 한계들을 극복할 것을 기대할 수 있었다.
한편, 본 발명의 발명자들은, 예측 모델의 영역 예측의 학습 과정에서 입력된 영상의 해상도가 높거나 분할하고자 하는 형상과 주변 영역의 밝기 값이 명확히 분류되지 않을 때, 정확한 분할이 어려울 수 있음에 주목하였다.
특히, 본 발명의 발명자들은, 학습 데이터 수가 적을 때, 핵심 영역을 고려하지 않고 학습될 수 있음에 따라 분류의 정확도가 떨어질 수 있다는 점에 대하여 주목하였다.
이에, 본 발명의 발명자들은 예측 과정에 있어서 학습용 족부 의료 영상에 대하여 거골 영역 또는 제1 중족골 영역과 같은 ROI (region of interest) 를 설정하고, 주요 핵심 영역만을 포함하도록 크로핑 (cropping) 하여 예측 모델을 학습시킴으로써, 영역 예측 모델에 대한 영역 분할의 정확도 향상을 기대할 수 있었다.
즉, 본 발명의 발명자들은, 실제 거골 또는 제1 중족골이 존재하는, 정답 영역 내에서의 예측이 활성화 되도록 하는 핵심 영역 중심의 학습이 가능한 예측 모델을 개발할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는 수신된 족부 의료 영상을 기초로 거골 영역 및 제1 중족골 영역을 예측하도록 구성된 영역 예측 모델을 이용하여 족부 의료 영상에 대한 거골 영역 및 제1 중족골 영역을 예측하고, 거골-제1 중족골간 각 (talus-first metatarsal angle) 을 결정하여 제공하도록 구성된, 발의 유형 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 수신된 족부 의료 영상을 기초로 거골 영역 및 제1 중족골 영역에 따라 미리 결정된 특징점을 예측하고, 특징점을 기초로 거골의 중심선 및 제1 중족골의 중심선이 이루는 각을 결정하여 제공하도록 구성된, 발의 유형 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 다양한 예측 모델에 의해 출력된 결과값을 기초로 거골-제1 중족골간 각을 예측하고, 이를 기초로 발의 유형을 평가하도록 구성된, 발의 유형 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 개체의 족부 의료 영상을 수신하도록 구성된 수신부, 및 족부 의료 영상에 대한 거골 영역 및 제1 중족골 영역을 예측하고 이를 기초로 거골-제1 중족골간 각을 제공하도록 구성된 프로세서를 포함하는, 발의 유형 평가용 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 발의 유형 예측 방법이 제공된다. 본 방법은, 프로세서에 의해 구현되는 발의 유형 평가 방법으로서, 개체의 족부 의료 영상을 수신하는 단계, 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 족부 의료 영상 내에서 거골 영역 및 제1 중족골 영역을 예측하는 단계, 예측된 거골 영역 및 제1 중족골 영역 각각에 대한 중심선을 기초로 거골-제1 중족골 간 각 (talus-first metatarsal angle) 을 결정하고, 거골-제1 중족골 간 각을 기초로 개체의 발의 유형을 평가하는 단계를 포함한다.
본 발명의 특징에 따르면, 본 발명의 평가 방법은, 거골 영역 및 제1 중족골 영역 각각에 대하여 거골의 중심선 및 제1 중족골의 중심선을 예측하도록 구성된 중심선 예측 모델을 이용하여, 거골의 중심선 및 제1 중족골의 중심선을 각각 예측하는 단계를 더 포함할 수 있다.
본 발명의 다른 특징에 따르면, 본 발명의 평가 방법은, 거골 영역 및 제1 중족골 영역 각각에 대하여 미리 결정된 특징점을 예측하도록 구성된 특징점 예측 모델을 이용하여, 거골 영역 및 제1 중족골 영역 각각에 대하여 특징점을 예측하는 단계, 및 특징점에 기초하여 거골의 중심선 및 제1 중족골의 중심선을 각각 예측하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 미리 결정된 특징점은 두 쌍으로 존재할 수 있다. 나아가, 특징점 예측 모델을 이용하여, 거골 영역 및 제1 중족골 영역 각각에 대하여 특징점을 예측하는 단계는, 특징점 예측 모델을 이용하여 거골 영역의 경계선 및 제1 중족골 영역의 경계선 상에 미리 결정된 두 쌍의 특징점을 각각 예측하는 단계, 예측된 두 쌍의 특징점 각각의 중심점을 거골 영역 및 제1 중족골 영역 각각에 대하여 결정하는 단계를 포함할 수 있다. 나아가, 특징점에 기초하여 거골의 중심선 및 제1 중족골의 중심선을 각각 예측하는 단계는, 중심점을 기초로 거골의 중심선 및 제1 중족골의 중심선을 각각 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 평가 방법은, 거골 영역의 경계선 상에 미리 결정된 두 쌍의 표준 특징점을 포함하는 표준 거골 영상 및 표준 제1 중족골 영상을 수신하는 단계를 더 포함할 수 있다. 이때, 두 쌍의 특징점을 각각 예측하는 단계는, 거골 영역의 경계선 및 표준 거골 영상 내의 두 쌍의 표준 특징점 각각의 거리, 및 제1 중족골 영역의 경계선 및 표준 제1 중족골 영상 내의 두 쌍의 표준 특징점 각각의 거리를 산출하는 단계, 및 각각의 거리에 기초하여 거골 영역의 경계선 및 제1 중족골 영역의 경계선 상에서 두 쌍의 특징점을 각각 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 표준 거골 영상 및 표준 제1 중족골 영상은 복수개일 수 있다. 나아가, 각각의 거리를 산출하는 단계는, 거골 영역의 경계선 및 복수개의 표준 거골 영상 내의 두 쌍의 표준 특징점 각각의 거리, 및 제1 중족골 영역의 경계선 및 복수개의 표준 제1 중족골 영상 내의 두 쌍의 표준 특징점 각각의 거리를, 복수개의 표준 거골 영상 및 복수개의 표준 제1 중족골 영상에 대하여 산출하는 단계를 포함할 수 있다. 나아가, 두 쌍의 특징점을 각각 예측하는 단계는, 복수개의 표준 거골 영상 및 복수개의 표준 제1 중족골 영상 각각에 대하여 산출된 각각의 거리에 기초하여, 거골 영역의 경계선 및 제1 중족골 영역의 경계선 상에서 두 쌍의 특징점을 각각 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 두 쌍의 특징점 각각의 중심점을 거골 영역 및 제1 중족골 영역 각각에 대하여 결정하는 단계는, 복수개의 표준 거골 영상 및 복수개의 표준 제1 중족골 영상에 따라, 거골 영역의 경계선 및 제1 중족골 영역의 경계선 상에 예측된 두 쌍의 특징점 각각에 대한 중심점을, 거골 영역 및 제1 중족골 영역 각각에 대하여 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 특징점에 기초하여 거골의 중심선 및 제1 중족골의 중심선을 각각 예측하는 단계는, 복수개의 표준 거골 영상 및 복수개의 표준 제1 중족골 영상에 따라 거골 영역 및 제1 중족골 영역 각각에 대하여 결정된 중심점들의 센트로이드 (centroid) 를 거골 영역 및 제1 중족골 영역 각각에 대하여 결정하는 단계, 및 거골 영역 및 제1 중족골 영역 각각에 대하여 결정된 센트로이드를 기초로, 거골의 중심선 및 제1 중족골의 중심선을 각각 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 평가 방법은, 예측된 두 쌍의 특징점을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 평가 방법은, 거골-제1 중족골 간 각을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 개체의 발의 유형을 평가하는 단계는, 거골-제1 중족골 간 각이 -4도 초과일 경우, 오목발인 것으로 평가하고, 또는 거골-제1 중족골 간 각이 4도 초과일 경우, 평발인 것으로 평가하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 개체의 발의 유형을 평가하는 단계는, 개체의 평발 중증도를 평가하는 단계를 더 포함할 수 있다. 이때, 개체의 평발 중증도를 평가하는 단계는, 거골-제1 중족골 간 각이 4도 내지 15일 경우, 경증 (mild) 평발인 것으로 평가하고, 또는 거골-제1 중족골 간 각이 15도 내지 30일 경우, 중도 (moderate) 평발인 것으로 평가하고, 또는 거골-제1 중족골 간 각이 30도 초과일 경우, 중증 (severe) 평발인 것으로 평가하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 영역 예측 모델은, 표준 개체의 족부에 대하여 미리 결정된 정답 거골 영역 및 정답 제1 중족골 영역을 포함하는 학습용 족부 의료 영상을 수신하는 단계, 및 학습용 족부 의료 영상 내에서 거골 영역 및 제1 중족골 영역을 예측하는 단계를 통해 거골 영역 및 제1 중족골 영역을 예측하도록 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 학습용 족부 의료 영상 내에서 거골 영역 및 제1 중족골 영역을 예측하는 단계 이후에, 영역 예측 모델에 의해 예측된 거골 영역 및 제1 중족골 영역 각각에 대한, 정답 거골 영역 및 정답 제1 중족골 영역 각각이 중첩되는 중첩 영역의 비율을 산출하는 단계, 및 중첩 영역의 비율을 기초로 영역 예측 모델을 평가하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 학습용 족부 의료 영상은 학습용 족부 의료 영상 내에서 정답 거골 영역만을 포함하는 의료 영상, 및 정답 제1 중족골 영역만을 포함하는 의료 영상을 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 발의 유형 예측용 디바이스가 제공된다. 본 디바이스는, 개체의 족부 의료 영상을 수신하도록 구성된 수신부, 및 수신부와 통신하도록 연결된 프로세서를 포함한다. 이때, 프로세서는, 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 족부 의료 영상 내에서 거골 영역 및 제1 중족골 영역을 예측하고, 예측된 거골 영역 및 제1 중족골 영역 각각에 대한 중심선을 기초로 거골-제1 중족골 간 각 (talus-first metatarsal angle) 을 결정하고, 거골-제1 중족골 간 각을 기초로 개체의 발의 유형을 평가하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 거골 영역 및 제1 중족골 영역 각각에 대하여 거골의 중심선 및 제1 중족골의 중심선을 예측하도록 구성된 중심선 예측 모델을 이용하여, 거골의 중심선 및 제1 중족골의 중심선을 각각 예측하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는, 거골 영역 및 제1 중족골 영역 각각에 대하여 미리 결정된 특징점을 예측하도록 구성된 특징점 예측 모델을 이용하여, 거골 영역 및 제1 중족골 영역 각각에 대하여 특징점을 예측하고, 특징점에 기초하여 거골의 중심선 및 제1 중족골의 중심선을 각각 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 미리 결정된 특징점은 두 쌍으로 존재하고, 프로세서는, 특징점 예측 모델을 이용하여, 거골 영역의 경계선 및 제1 중족골 영역의 경계선 상에 미리 결정된 두 쌍의 특징점을 각각 예측하고, 예측된 두 쌍의 특징점 각각의 중심점을 거골 영역 및 제1 중족골 영역 각각에 대하여 결정하고, 중심점을 기초로 거골의 중심선 및 제1 중족골의 중심선을 각각 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 수신부는, 거골 영역의 경계선 상에 미리 결정된 두 쌍의 표준 특징점을 포함하는 표준 거골 영상 및 표준 제1 중족골 영상을 수신하도록 더 구성될 수 있다. 이때, 프로세서는, 거골 영역의 경계선 및 표준 거골 영상 내의 두 쌍의 표준 특징점 각각의 거리, 및 제1 중족골 영역의 경계선 및 표준 제1 중족골 영상 내의 두 쌍의 표준 특징점 각각의 거리를 산출하고, 각각의 거리에 기초하여 거골 영역의 경계선 및 제1 중족골 영역의 경계선 상에서 두 쌍의 특징점을 각각 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 표준 거골 영상 및 표준 제1 중족골 영상은 복수개이고, 프로세서는, 거골 영역의 경계선 및 복수개의 표준 거골 영상 내의 두 쌍의 표준 특징점 각각의 거리, 및 제1 중족골 영역의 경계선 및 복수개의 표준 제1 중족골 영상 내의 두 쌍의 표준 특징점 각각의 거리를, 복수개의 표준 거골 영상 및 복수개의 표준 제1 중족골 영상에 대하여 산출하고, 복수개의 표준 거골 영상 및 복수개의 표준 제1 중족골 영상 각각에 대하여 산출된 각각의 거리에 기초하여, 거골 영역의 경계선 및 제1 중족골 영역의 경계선 상에서 두 쌍의 특징점을 각각 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면 프로세서는, 복수개의 표준 거골 영상 및 복수개의 표준 제1 중족골 영상에 따라, 거골 영역의 경계선 및 제1 중족골 영역의 경계선 상에 예측된 두 쌍의 특징점 각각에 대한 중심점을, 거골 영역 및 제1 중족골 영역 각각에 대하여 결정하고, 복수개의 표준 거골 영상 및 복수개의 표준 제1 중족골 영상에 따라 거골 영역 및 제1 중족골 영역 각각에 대하여 결정된 중심점들의 센트로이드 (centroid) 를 거골 영역 및 제1 중족골 영역 각각에 대하여 결정하고, 거골 영역 및 제1 중족골 영역 각각에 대하여 결정된 센트로이드를 기초로, 거골의 중심선 및 제1 중족골의 중심선을 각각 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 평가용 디바이스는 예측된 두 쌍의 특징점을 제공하도록 구성된 출력부를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 평가용 디바이스는 거골-제1 중족골 간 각을 제공하도록 구성된 출력부를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 거골-제1 중족골 간 각이 -4도 초과일 경우, 오목발인 것으로 평가하고, 또는 거골-제1 중족골 간 각이 4도 초과일 경우, 평발인 것으로 평가하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 거골-제1 중족골 간 각이 4도 내지 15일 경우, 경증 (mild) 평발인 것으로 평가하고, 또는 거골-제1 중족골 간 각이 15도 내지 30일 경우, 중도 (moderate) 평발인 것으로 평가하고, 또는 거골-제1 중족골 간 각이 30도 초과일 경우, 중증 (severe) 평발인 것으로 평가하도록 더 구성될 수 있다.
본 발명은, 예측 모델에 기초하여 족부 의료 영상에 대하여 핵심 영역을 결정하고, 미리 결정된 특징점을 기초로 거골-제1 중족골간 각을 예측하도록 구성된 발의 유형 예측 방법 및 이를 이용한 디바이스를 제공함으로써, 재현성 높게 거골-제1 중족골간 각의 계측 결과 및 이에 따른 정확한 평가 결과를 제공할 수 있는 효과가 있다.
보다 구체적으로, 본 발명은, 영역 예측 모델을 이용하여 족부 의료 영상에 대한 거골 영역 및 제1 중족골 영역을 분할하고, 중심선 예측 모델 및/또는 특징점 예측 모델의 출력값에 기초하여 거골-제1 중족골간 각의 계측 정보를 제공함에 따라, 개체의 평발, 오목발의 진단에 대한 정보를 제공할 수 있는 효과가 있다.
이에, 본 발명은, 거골-제1 중족골간 각이, 개체별로 상이한 족부의 해부학적 구조, 및 의료인의 숙련도에 따라 다르게 측정될 수 있는 종래의 의료 영상에 기초한 발의 유형 평가 시스템이 갖는 한계 및 문제점들을 극복할 수 있는 효과가 있다.
또한, 본 발명은, 예측 모델에 대하여 학습용 족부 의료 영상에 대하여 거골 영역 또는 제1 중족골 영역과 같은 ROI를 설정하고, 주요 핵심 영역만을 포함하도록 크로핑 (cropping) 하여 예측 모델을 학습시킴으로써 영역 분할의 정확도 향상을 기대할 수 있는 효과가 있다.
이에, 본 발명은, 예측 모델, 특히 영역 예측 모델에 입력된 족부 의료 영상의 퀄리티에 상관 없이 발의 유형을 높은 정확도로 평가하여 제공할 수 있다. 보다 구체적으로, 본 발명은 족부 의료 영상의 해상도가 높거나 분할하고자 하는 형상과 주변 영역의 밝기 값이 명확히 분류되지 않을 경우에도, 거골 영역 또는 제1 중족골 영역을 정확하게 분할하여 이들 영역을 예측할 수 있는 영역 예측 모델을 이용함으로써 발 유형을 보다 정확하게 평가할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 발의 유형 평가용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 발의 유형 예측 방법의 절차를 도시한 것이다.
도 2b는 본 발명의 다양한 실시예에 이용되는 영역 예측 모델을 이용한 거골 영역 및 제1 중족골 영역의 예측 절차를 예시적으로 도시한 것이다.
도 3은 본 발명의 다양한 실시예에 이용되는 중심선 예측 모델을 이용한 거골-제1 중족골간 각 예측의 절차를 예시적으로 도시한 것이다.
도 4 및 도 5는 본 발명의 다양한 실시예에 이용되는 특징점 예측 모델을 이용한 거골-제1 중족골간 각 예측의 절차를 예시적으로 도시한 것이다.
도 6a 및 6b는 본 발명의 다양한 실시예에 이용되는 영역 예측 모델의 학습용 족부 의료 영상 데이터를 도시한 것이다.
도 6c는 본 발명의 다양한 실시예에 이용되는 영역 예측 모델의 구성을 예시적으로 도시한 것이다.
도 7a 내지 7f는 본 발명의 다양한 실시예에 이용되는 영역 예측 모델에 의해 분할된 거골 영역 및 제1 중족골 영역에 대한 평가 결과를 도시한 것이다.
도 8a 내지 8d는 본 발명의 다양한 실시예에 따라 예측된 거골 중심선 및 제1 중족골 중심선, 및 이들 중심선이 이루는 거골 각 및 제1 중족골 각에 대한 평가 결과를 도시한 것이다.
도 9a 및 9b는 본 발명의 다양한 실시예에 따라 산출된 거골-제1 중족골간 각에 대한 평가 결과를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 평발의 여부, 발의 유형을 예측하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 평발 의심 개체일 수도 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "족부 의료 영상"은, 영상 진단 장치로부터 촬영된 족부 의료 영상을 의미할 수 있다. 예를 들어, 족부 의료 영상은, 개체에 대하여 촬영된 측면의 족부 의료 영상일 수 있다. 이때, 족부 의료 영상은 측면의 거골 및 제1 중족골을 포함할 수 있다. 즉, 족부 의료 영상은, 거골이 존재하는 거골 영역 및 제1 중족골이 존재하는 제1 중족골 영역을 포함할 수 있다. 바람직하게, 족부 의료 영상은 족부 측면의 방사선 촬영 영상일 수 있으나, 이에 제한되는 것은 아니다.
한편, 족부 의료 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 족부 의료 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 발의 유형 예측 방법에 따라 복수개의 족부 의료 영상 각각에 대한 거골 영역 및 제1 중족골 영역이 예측되고, 이를 기초하여 거골-제1 중족골간 각이 산출될 수 있다. 그 결과, 본 발명은 방사선 촬영 장치와 같은 영상 진단 장치로부터의 족부 의료 영상의 수신과 동시에 거골 영역 및 제1 중족골 영역의 예측, 거골-제1 중족골간 각의 예측을 수행함으로써, 실시간으로 발 유형에 대한 진단 정보를 제공할 수 있다.
본 명세서에서 사용되는 용어, "거골 영역"은, 족부 의료 영상 내에서 거골이 존재하는 영역을 의미할 수 있다. 이때, "거골 영역의 경계선"은 거골 영역의 외측에 존재하는 거골 영역의 경계선을 의미할 수 있다.
본 명세서에서 사용되는 용어, "제1 중족골 영역"은, 족부 의료 영상 내에서 제1 중족골이 존재하는 영역을 의미할 수 있다. 이때, "제1 중족골 영역의 경계선"은 제1 중족골 영역의 외측에 존재하는 제1 중족골 영역의 경계선을 의미할 수 있다.
이때, 본 명세서에서 사용되는 용어, "거골-제1 중족골간 각"은, 제1 중족골의 중심선과 거골의 중심선이 만드는 각도를 의미할 수 있고, 본원 명세서 내에서 미어리각 (Meary's angle) 과 동일한 의미로 이용될 수 있다. 이때, 거골-제1 중족골간 각에 기초하여 발의 유형이, 평발, 오목발 및 정상으로 결정될 수 있다. 보다 구체적으로, 거골-제1 중족골간 각이 -4도 초과인 개체는, 오목발을 갖는 개체일 수 있다. 즉, 오목발을 갖는 개체는 거골의 중심선이 제1 중족골의 중심선보다 4도 이상 위에 존재할 수 있다. 나아가, 거골-제1 중족골간 각이 4도 초과인 개체는, 평발을 갖는 개체일 수 있다. 즉, 평발을 갖는 개체는 거골의 중심선이 제1 중족골의 중심선보다 4도 이상 아래에 존재할 수 있다. 이에, 정상의 개체는 4도 내지 -4도의 거골-제1 중족골간 각을 가질 수 있다.
이때, 거골-제1 중족골간 각은 예측 모델에 의해 산출될 수도 있다.
한편, 거골-제1 중족골간 각을 이루는 "거골의 중심선"은, 족부 측면에 대하여 거골 몸체의 상부 관절 면의 후방 끝과 거골두의 관절 면의 중장을 잇는 거골의 장축 (long axis) 을 의미할 수 있다. 나아가, "제1 중족골의 중심선은 족부 측면에 대하여 제1 중족골의 장축을 의미할 수 있다.
한편, 본 명세서에서 사용되는 용어, "특징점"은 거골 영역을 이루는 거골 영역의 경계선과 제1 중족골 영역을 이루는 제1 중족골 영역의 경계선에 존재하는 점으로서, 거골의 중심선 및 제1 중족골의 중심선의 예측을 위해 해부학적으로 미리 결정된 점일 수 있다.
본 발명의 특징에 따르면, 특징점은, 거골 영역 및 제1 중족골 영역 각각에 대하여 복수의 쌍으로 존재할 수 있다.
예를 들어, 거골의 중심선의 결정을 위해 미리 결정된 특징점은, 거골과 경골의 경계선 상의 최고점, 거골과 종골의 경계선 상의 최고점으로 구성된 한 쌍의 특징점일 수 있다. 나아가, 특징점은, 거골과 주상골의 경계선 상의 최고점, 거골과 주상골의 경계선 상의 최저점으로 구성된 한 쌍의 특징점일 수 있다. 즉, 거골의 경계선 상에 두 쌍의 특징점이 존재할 수 있고, 각 쌍에 존재하는 특징점들은 거골 영역에 대하여 서로 반대 방향으로 존재할 수 있다. 결과적으로, 두 쌍의 특징점 각각에 대하여 중심점들이 결정되고, 이들 중심점이 이어짐으로써 거골의 중심선이 결정될 수 있다.
나아가, 제1 중족골의 결정을 위해 미리 결정된 특징점은, 제1 중족골의 머리 (metatarsal head) 를 제외한 영역에 대하여, 발등과 맞닿는 위치의 제1 중족골 영역의 경계선 상의 적어도 두 개의 점, 발바닥 방향의 제1 중족골 영역의 경계선 상의 적어도 두 개의 점으로 구성된 복수의 쌍의 특징점일 수 있다. 즉, 제1 중족골의 경계선 상에 두 쌍의 특징점이 존재할 수 있고, 각 쌍에 존재하는 특징점들은 제1 중족골 영역에 대하여 서로 반대 방향으로 존재할 수 있다. 결과적으로, 두 쌍의 특징점들의 각각에 대한 중심점들이 결정되고, 이들 중심점이 이어짐으로써 제1 중족골의 중심선이 결정될 수 있다.
한편, 중족골의 중심선 및 제1 중족골의 중심선을 결정하기 위한 특징점들은, 이에 제한되는 것이 아니며, 중족골의 장축 및 제1 중족골의 장축이 결정되는 한 보다 다양하게 설정될 수 있다.
본 명세서에서 사용되는 용어, "영역 예측 모델"은 족부 의료 영상에 대하여 거골 영역 및 제1 중족골 영역을 예측하도록 구성된 모델일 수 있다.
예를 들어, 본 발명의 영역 예측 모델은, 입력된 족부 측면 의료 영상에 대하여 거골 영역 및 제1 중족골 영역을 분할하도록 학습된 모델일 수 있다.
한편, 본 발명의 영역 예측 모델은, 거골 영역 및 제1 중족골 영역의 예측의 정확도 향상을 위해 2 번의 학습 단계를 통해 학습된 모델일 수 있다.
예를 들어, 본 발명의 영역 예측 모델은, 원본의 학습용 족부 의료 영상 및 정답 거골 영역 및 정답 제1 중족골 영역이 마스킹된 마스크 영상의 크기를 축소한 영상들을 입력 받고, 이들에 대하여 거골 영역 및 제1 중족골 영역 각각을 분할하도록 1차 학습될 수 있다. 1차 학습 후, 본 발명의 영역 예측 모델은, 정답 거골 영역 및 정답 제1 중족골 영역을 중심을 크로핑된 ROI (region of interest) 영상들을 입력 받고, 이들에 대하여 골 영역 및 제1 중족골 영역 각각을 분할하도록 2차 학습될 수 있다.
이에, 본 발명의 영역 예측 모델은, 실제 거골 또는 제1 중족골이 존재하는 정답 영역 내에서의 예측이 활성화 되도록 하는, 핵심 영역 중심의 학습이 진행되었음에 따라, 거골 영역 및 제1 중족골 영역을 높은 정확도로 분할할 수 있다.
한편, 본 발명의 영역 예측 모델은, Segnet 네트워크에 기초한 모델일 수 있다. 그러나 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 영역 예측 모델은, VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 모델 또는 U-net을 기반으로 하는 예측 모델일 수도 있다.
본 명세서에서 사용되는 용어, "중심선 예측 모델"은 입력된 거골 영역 및 제1 중족골 영역 내에서 거골의 중심선 및 제1 중족골의 중심선을 예측하도록 학습된 모델일 수 있다. 이에, 중심선 예측 모델에 의해 예측된 중심선들이 이루는 각을 산출함으로써 거골-제1 중족골간 각이 결정될 수 있다.
한편, 거골의 중심선 및 제1 중족골의 중심선은, 중심선 예측 모델에 의해 결정되는 것으로 한정되지 않고 보다 다양한 방법으로 거골 영역 및 제1 중족골 영역 내에서 결정될 수 있다.
본 명세서에서 사용되는 용어, "특징점 예측 모델"은 거골 영역 및 제1 중족골 영역을 이루는 경계선 상에서 두 쌍으로 존재하는 특징점을 예측하도록 학습된 모델일 수 있다.
본 발명의 특징에 따르면, 특징점 예측 모델은, 두 쌍의 특징점을 예측하고, 두 쌍의 특징점 각각에 대한 중심점을 결정할 수 있다. 그 결과, 중심점에 의해 거골의 중심선 및 제1 중족골의 중심선이 결정될 수 있고, 최종적으로 이들 중심선들이 이루는 각인 거골-제1 중족골간 각이 결정될 수 있다.
한편, 거골 영역 및 제1 중족골 영역 각각에 대하여 미리 결정된 특징점은, 특징점 예측 모델에 의해 결정되는 것에 한정된 것이 아니다. 즉, 거골 영역 및 제1 중족골 영역 각각에 대하여 두 쌍으로 존재하는 특징점은 보다 다양한 방법에 의해 거골 영역의 경계선 및 제1 중족골 영역의 경계선 상에서 결정될 수 있다.
나아가, 본 발명의 다양한 실시예에 이용되는 영역 예측 모델, 특징점 예측 모델 및 중심선 예측 모델 각각은, 하나의 예측 모델에 대한 기능적 구성 요소로서 해석될 수도 있다. 예를 들어, 본 발명의 일 실시예에 따른 단일의 예측 모델은 족부 의료 영상에 대하여 거골 영역 및 제1 중족골 영역을 결정하는 영역 예측 모듈, 거골 영역 및 제1 중족골 영역 내에서 중심선을 예측하는 중심선 예측 모듈, 및 거골 영역 및 제1 중족골 영역 내에서 특징점을 예측하는 특징점 예측 모듈로 구성될 수 있다.
이하에서는 도 1을 참조하여, 본 발명의 일 실시예에 따른 발의 유형 평가용 디바이스를 설명한다.
먼저, 도 1을 참조하여, 본 발명의 일 실시예에 따른 발의 유형 평가용 디바이스를 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 발의 유형 평가용 디바이스의 구성을 도시한 것이다. 이때, 족부 의료 영상으로 족부 의료 영상을 예로 들어 설명하나, 이에 제한되는 것은 아니다.
도 1을 참조하면, 발의 유형 평가용 디바이스 (100) 는 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함한다.
구체적으로 수신부 (110) 는 개체의 족부 의료 영상, 예를 들어 족부 측면 의료 영상을 수신하도록 구성될 있다. 바람직하게, 수신부 (110) 에 획득된 족부 의료 영상은, 족부 측면의 방사선 영상일 수 있으나, 이에 제한되는 것은 아니다.
한편, 수신부 (110) 를 통해 획득된 족부 의료 영상은, 거골 영역 및 제1 중족골 영역을 포함할 수 있다. 나아가, 족부 의료 영상은, 거골 영역의 경계 상에 미리 결정된 특징점 및 제1 중족골 영역의 경계선 상에 미리 결정된 특징점을 더 포함할 수 있다.
입력부 (120) 는 발의 유형 평가용 디바이스 (100) 를 설정하고, 전술한 수신부 (110) 를 통해 수신된 족부 의료 영상의 특정 영역에 대한 선택을 입력 받도록 구성될 수 있다. 한편, 입력부 (120) 는 키보드, 마우스, 터치 스크린 패널일 수 있으나, 이에 제한되는 것이 아니다.
한편, 출력부 (130) 는 수신부 (110) 로부터 획득된 족부 의료 영상을 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 족부 의료 영상 내에서 결정된 거골 영역 및 제1 중족골 영역, 특징점, 거골의 중심선 및 제1 중족골의 중심선, 나아가 거골-제1 중족골간 각을 시각적으로 표시하도록 구성될 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 결정된 거골-제1 중족골간 각에 기초하여 예측된 발의 유형을 더욱 출력하도록 구성될 수 있다.
저장부 (140) 는 수신부 (110) 를 통해 획득한 개체에 대한 족부 의료 영상을 저장하고, 입력부 (120) 를 통해 설정된 발의 유형 평가용 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술할 프로세서 (150) 에 의해 분류 또는, 예측된 결과들을 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부 (140) 는, 거골-제1 중족골간 각, 나아가 발의 유형을 예측하기 위해 프로세서 (150) 에 의해 결정된 다양한 정보들을 저장할 수 있다.
한편, 프로세서 (150) 는 발의 유형 평가용 디바이스 (100) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 프로세서 (150) 는, 족부 의료 영상에 대하여 거골 영역 및 제1 중족골 영역을 예측하고 거골의 중심선 및 제1 중족골의 중심선을 추출하도록 구성된 예측모델에 기초하여 이들 중심선이 이루는 각도인 거골-제1 중족골간 각을 결정하도록 구성될 수 있다.
본 발명의 특징에 따르면, 프로세서 (150) 는, 중심선 예측 모델에 의해 거골 영역 및 제1 중족골 영역 내에서 거골의 중심선 및 제1 중족골의 중심선을 예측하고, 예측된 거골의 중심선 및 제1 중족골의 중심선에 의해 거골-제1 중족골간 각을 산출하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서 (150) 는, 특징점 예측 모델에 의해 거골 영역 및 제1 중족골 영역을 이루는 경계선 상에서 복수의 쌍으로 존재하는 특징점을 예측하고, 두 쌍의 특징점 각각에 대한 중심점을 결정하고, 중심점을 기초로 거골의 중심선 및 제1 중족골의 중심선을 예측하고, 거골-제1 중족골간 각을 산출하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서 (150) 는 두 번의 학습 단계를 통해 향상된 거골 영역 및 제1 중족골 영역 예측의 정확도를 갖는 영역 예측 모델에 기초할 수 있다.
예를 들어, 프로세서 (150) 는 원본의 학습용 족부 의료 영상 및 정답 거골 영역 및 정답 제1 중족골 영역이 마스킹된 마스크 영상의 크기를 축소한 영상들을 입력 받고, 이들에 대하여 거골 영역 및 제1 중족골 영역 각각을 분할하도록 1차 학습된 후 거골 영역 및 정답 제1 중족골 영역을 중심을 크로핑된 ROI 영상들을 입력 받고, 이들에 대하여 골 영역 및 제1 중족골 영역 각각을 분할하도록 2차 학습된 예측 모델에 기초할 수 있다.
한편 프로세서 (150) 는, 영상을 기초로 특정한 영역을 분할하도록 구성된 영역 예측 모델에 기초할 수 있다. 예를 들어, 프로세서 (150) 는 Segnet 네트워크에 기초할 수 있다. 그러나 이에 제한되는 것은 아니며, 프로세서 (150) 는 VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 모델 또는 U-net을 기반으로 하는 예측 모델에 기초할 수 있다.
이하에서는, 도 2a 및 2d, 도 3 내지 도 5를 참조하여, 본 발명의 일 실시예에 따른 발의 유형 예측 방법을 구체적으로 설명한다 도 2a는 본 발명의 일 실시예에 따른 발의 유형 예측 방법의 절차를 도시한 것이다. 도 2b는 본 발명의 다양한 실시예에 이용되는 영역 예측 모델을 이용한 거골 영역 및 제1 중족골 영역의 예측 절차를 예시적으로 도시한 것이다. 도 3은 본 발명의 다양한 실시예에 이용되는 중심선 예측 모델을 이용한 거골-제1 중족골간 각 예측의 절차를 예시적으로 도시한 것이다. 도 4 및 도 5는 본 발명의 다양한 실시예에 이용되는 특징점 예측 모델을 이용한 거골-제1 중족골간 각 예측의 절차를 예시적으로 도시한 것이다.
먼저, 도 2a를 참조하면, 본 발명의 일 실시예에 따른 발의 유형 평가의 절차는 다음과 같다. 먼저, 개체에 대한 족부 의료 영상을 수신한다 (S210). 그 다음, 족부 의료 영상에 대하여, 거골 영역 및 제1 중족골 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 거골 영역 및 제1 중족골 영역을 예측한다 (S220). 다음으로, 거골 영역 및 제1 중족골 영역 각각에 대한 중심선을 기초로 거골-제1 중족골간 각을 결정하고 (S230), 예측된 거골-제1 중족골간 각에 기초하여 결정된 발의 유형이 평가된다 (S240).
보다 구체적으로, 족부 의료 영상을 수신하는 단계 (S210) 에서 평발 또는 오목발 의심 개체에 대한 족부 의료 영상이 수신될 수 있다. 이때, 족부 의료 영상은 족부 측면에 대한 방사선 의료 영상일 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따르면, 족부 의료 영상을 수신하는 단계 (S210) 에서 복수개의 족부 의료 영상이 수신될 수 있다. 예를 들어, 족부 의료 영상 촬영부와 같은 영상 진단 장치의 구동에 따른 실시간으로 촬영된 족부 의료 영상이 획득될 수 있음에 따라, 족부 의료 영상을 수신하는 단계 (S210) 에서 복수개의 족부 의료 영상이 획득될 수 있다.
다음으로, 거골 영역 및 제1 중족골 영역을 예측하는 단계 (S220) 에서, 영역 예측 모델에 의해 거골 영역 및 제1 중족골 영역이 예측될 수 있다.
예를 들어, 도 2b를 함께 참조하면 영역 및 제1 중족골 영역을 예측하는 단계 (S220) 에서, 족부 측면 의료 영상 (212) 이 영역 예측 모델 (222) 에 입력되면, 거골 영역 (224) 및 제1 중족골 영역 (226) 이 결정될 수 있다. 이에, 거골 영역 및 제1 중족골 영역을 예측하는 단계 (S220) 의 결과로 거골 영역 (224) 및 제1 중족골 영역 (226) 이 출력될 수 있다.
다음으로, 거골-제1 중족골간 각을 결정하는 단계 (S230) 에서, 거골 영역 및 제1 중족골 영역 내에 존재하는 거골의 중심선 및 제1 중족골의 중심선에 기초하여 거골-제1 중족골간 각을 결정할 수 있다.
본 발명의 일 실시예에 따르면, 거골-제1 중족골간 각을 결정하는 단계 (S23) 이전에, 중심선 예측 모델에 의해 거골 영역 및 제1 중족골 영역 내에서 거골의 중심선 및 제1 중족골의 중심선이 결정될 수 있다.
예를 들어, 도 3을 함께 참조하면, 족부 측면 의료 영상 (212) 에 대하여 예측된 거골 영역 (224) 및 제1 중족골 영역 (226) 이 중심선 예측 모델 (312) 에 입력되면, 거골의 중심선 (322) 및 제1 중족골의 중심선 (324) 이 출력될 수 있다. 그 결과, 거골-제1 중족골간 각을 결정하는 단계 (S230) 에서, 중심선 예측 모델 (312) 에 의해 예측된 거골의 중심선 (322) 및 제1 중족골의 중심선 (324) 각각이 이루는 거골-제1 중족골간 각 (332) 이 '6 °'로 결정될 수 있다. 결과적으로, 후술할 발의 유형 평가 단계 (S240) 에서, 거골-제1 중족골간 각 (332) 에 기초하여 발의 유형이 '평발'로 결정될 수 있다. 나아가, 거골-제1 중족골간 각 (332) 및 결정된 발의 유형을 포함하는, 발의 유형에 대한 정보 (342) 가 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 거골-제1 중족골간 각을 결정하는 단계 (S230) 이전에, 특징점 예측 모델에 의해 거골 영역 및 제1 중족골 영역 내에서 미리 결정된 특징점들이 각각 결정되고, 이들에 기초하여 거골의 중심선 및 제1 중족골의 중심선이 결정될 수 있다.
예를 들어, 도 4를 더욱 참조하면, 족부 측면 의료 영상 (212) 에 대하여 예측된 거골 영역 (224) 및 제1 중족골 영역 (226) 이 특징점 예측 모델 (432) 에 입력된다. 이때, 표준 거골 영역 및 표준 제1 중족골 영역 (422) 의 경계선 상에 미리 결정된 표준 특징점 (424) 를 포함하는 표준 족부 측면 의료 영상 (412) 이 특징점 예측 모델 (432) 에 함께 입력된다. 이때, 표준 특징점 (424) 은 두 쌍으로 존재할 수 있다. 그 다음, 거골 영역 (224) 의 경계선 과 제1 중족골 영역 (226) 의 경계선이 추출되고, 이들 각각의 경계선과 표준 족부 측면 의료 영상 (412) 의 표준 거골 영역 및 표준 제1 중족골 영역 (422) 의 경계선이 정합되고, 두 쌍의 표준 특징점 (424) 각각과 거골 영역 (224) 의 경계선 과 제1 중족골 영역 (226) 의 경계선의 거리에 기초하여, 두 쌍의 특징점 (434) 이 새롭게 결정된다. 이때, 두 쌍의 특징점 (434) 각각은, 거골 영역 (224) 의 경계선 과 제1 중족골 영역 (226) 의 경계선 상에서 두 쌍의 표준 특징점 (424) 각각과 가장 짧은 거리에 있는 지점일 수 있다. 다음으로, 특징점 예측 모델 (432) 에 의해 출력된 두 쌍의 특징점 (434) 의 중심점 (442) 이 각각의 쌍에 대하여 결정되고, 두 쌍의 특징점 (434) 각각에 대하여 결정된 두 개의 중심점 (442) 에 의해 거골의 중심선 (322) 및 제1 중족골의 중심선 (324) 이 결정된다. 그 결과, 거골-제1 중족골간 각을 결정하는 단계 (S230) 에서, 예측된 거골의 중심선 (322) 및 제1 중족골의 중심선 (324) 각각이 이루는 거골-제1 중족골간 각 (332) 이 '6 °'로 결정될 수 있다. 결과적으로, 후술할 발의 유형 평가 단계 (S240) 에서, 거골-제1 중족골간 각 (332) 에 기초하여 발의 유형이 '평발'로 결정될 수 있다.
본 발명의 또 다른 실시예에 따르면, 거골-제1 중족골간 각을 결정하는 단계 (S230) 이전에, 특징점 예측 모델에 의해 거골 영역 및 제1 중족골 영역 내에서 미리 결정된 특징점들이 각각 결정되고, 이들에 기초하여 거골의 중심선 및 제1 중족골의 중심선이 결정될 수 있다.
예를 들어, 도 5를 함께 참조하면, 족부 측면 의료 영상 (212) 에 대하여 예측된 거골 영역 (224) 및 제1 중족골 영역 (226) 이 특징점 예측 모델 (432) 에 입력된다. 이때, 표준 거골 영역 및 표준 제1 중족골 영역 (422) 의 경계선 상에 미리 결정된 표준 특징점 (424) 을 포함하는 복수개의 표준 족부 측면 의료 영상 (412) 이, 특징점 예측 모델 (432) 에 함께 입력된다. 이때, 복수개의 표준 족부 측면 의료 영상 (412) 은, ICP (Iterative closest point) 방법에 기초하여 영역 예측 모델에 의해 미리 결정된 거골 영역 및 제1 중족골 영역 각각과 표준 거골 영역 및 표준 제1 중족골 영역 (422) 의 정합이 수행된 후 유사도가 높은 것으로 결정된 족부 의료 영상일 수 있다. 한편, 표준 특징점 (424) 은 복수개의 표준 족부 측면 의료 영상 (412) 각각에 대하여 두 쌍으로 존재할 수 있다. 그 다음, 복수개의 표준 족부 측면 의료 영상 (412) 각각에 대한 두 쌍의 표준 특징점 (424) 각각과 거골 영역 (224) 의 경계선 과 제1 중족골 영역 (226) 의 경계선의 거리에 기초하여, 복수의 쌍의 특징점 (512) 이 새롭게 결정된다. 이때, 복수의 쌍의 특징점 (512) 각각은, 거골 영역 (224) 의 경계선 과 제1 중족골 영역 (226) 의 경계선 상에 결정될 수 있다. 다음으로, 특징점 예측 모델 (432) 에 의해 예측된 복수의 쌍의 특징점 (512) 각각에 대하여 복수의 중심점 (522) 이 결정된다. 즉, 복수의 중심점 (522) 은, 복수의 쌍의 특징점 (512) 을 이루는 특징점 쌍의 개수와 동일한 수로 거골 영역 (224) 과 제1 중족골 영역 (226) 내에서 결정될 수 있다. 다음으로, 복수의 중심점 (522) 의 센트로이드 (532) 가 결정된다. 결과적으로, 거골 영역 (224) 과 제1 중족골 영역 (226) 각각에 대하여 두 개의 중심점인 두 개의 센트로이드 (532) 가 결정되고, 두 개의 센트로이드 (532) 에 의해 거골의 중심선 (322) 및 제1 중족골의 중심선 (324) 이 각각 결정될 수 있다.
다시 도 2a를 참조하면 마지막으로, 발의 유형을 평가하는 단계 (S240) 에서, 거골-제1 중족골간 각에 기초하여 개체의 발의 유형이 결정될 수 있다.
본 발명의 일 실시예에 다른 특징에 따르면, 개체의 발의 유형을 평가하는 단계 (S240) 에서, 거골-제1 중족골 간 각이 -4도 초과일 경우, 오목발인 것으로 평가되고, 또는 거골-제1 중족골 간 각이 4도 초과일 경우, 평발인 것으로 평가될 수 있다.
본 발명의 다른 실시예에 따르면, 개체의 발의 유형을 평가하는 단계 (S240) 에서, 개체의 평발 중증도에 대한 평가가 더욱 수행될 수 있다. 보다 구체적으로, 개체의 발의 유형을 평가하는 단계 (S240) 에서, 거골-제1 중족골 간 각이 4도 내지 15일 경우, 경증 (mild) 평발인 것으로 평가되고, 또는 거골-제1 중족골 간 각이 15도 내지 30일 경우, 중도 (moderate) 평발인 것으로 평가되고, 또는 거골-제1 중족골 간 각이 30도 초과일 경우, 중증 (severe) 평발인 것으로 평가될 수 있다.
이상의 다양한 실시예에 따른 발명의 본 발명의 따른 발의 유형 예측 방법에 의해, 개체로부터 획득된 족부 의료 영상에 기초하여 재현성 높게 거골-제1 중족골간 각의 계측 결과 및 이에 따른 정확한 발 유형의 평가 결과를 제공할 수 있다.
한편, 발명의 본 발명의 따른 발의 유형 예측 방법은 전술한 것에 제한되는 것이 아니다. 예를 들어, 본 발명의 따른 발의 유형 예측 방법에서, 영역 예측 모델, 중심선 예측 모델, 및 특징점 예측 모델 각각이 독립적으로 발의 유형을 예측하도록 구성될 수 있고, 보다 다양한 조합으로 발의 유형을 예측하도록 구성될 수도 있다.
나아가, 본 발명의 따른 발의 유형 예측 방법에서, 영역 예측 모델, 특징점 예측 모델 및 중심선 예측 모델 각각은, 하나의 예측 모델에 대한 기능적 구성 요소로서 적용될 수도 있다. 예를 들어, 본 발명의 일 실시예에 따른 발의 유형 예측 방법에서, 족부 의료 영상에 대하여 거골 영역 및 제1 중족골 영역을 결정하는 영역 예측 모듈, 거골 영역 및 제1 중족골 영역 내에서 중심선을 예측하는 중심선 예측 모듈, 및 거골 영역 및 제1 중족골 영역 내에서 특징점을 예측하는 특징점 예측 모듈로 구성된 단일 모델이 적용될 수도 있다.
이하에서는, 도 6a 내지 도 6c를 참조하여, 본 발명의 다양한 실시예에서 이용되는 영역 예측 모델의 학습 방법을 설명한다. 도 6a 및 6b는 본 발명의 다양한 실시예에 이용되는 영역 예측 모델의 학습용 족부 의료 영상 데이터를 도시한 것이다. 도 6c는 본 발명의 다양한 실시예에 이용되는 영역 예측 모델의 구성을 예시적으로 도시한 것이다.
이때, 영역 예측 모델의 학습을 위해 이용된 학습용 족부 의료 영상은, 개체의 족부 측면에 대하여 촬영된 족부 측면 방사선 영상일 수 있다. 나아가, 영역 예측 모델은 두 번의 학습 단계를 거쳐 거골 영역 및 제1 중족골 영역을 분할하도록 학습될 수 있다. 한편, 영역 예측 모델의 학습 방법은 이에 제한되는 것이 아니며, 본 발명의 영역 예측 모델의 학습은 보다 다양한 족부 의료 영상에 기초하여 다양한 방법으로 수행될 수 있다.
도 6a의 (a)를 참조하면, 본 발명의 영역 예측 모델의 거골 영역 분할을 위한 1차 학습 단계에서, 2981 x 2106 크기의 원본의 학습용 족부 측면 의료 영상 (Raw image) 의 1/6 사이즈인 497 x 351 크기의 족부 측면 의료 영상, 및 거골 영역이 마스킹된 마스크 영상 (Mask image) 이 학습용 영상으로 이용될 수 있다.
한편, 1차 학습된 영역 예측 모델은, 분할하고자 하는 영역인 거골 영역이 주변 영역과 발기가 명확히 분류되지 않거나 학습용 족부 의료 영상의 해상도가 높을 경우, 분류의 정확도가 다소 떨어질 수 있다. 이에, 본 발명의 발명자들은 거골 영역을 높은 비율로 포함하는 ROI 영상 (ROI image) 을 2차 학습에 더욱 적용하고자 하였다.
도 6a의 (b)를 참조하면, 본 발명의 영역 예측 모델의 거골 영역 분할을 위한 2차 학습 단계에서, 족부 측면 의료 영상 중 600 x 600 크기의 거골 영역을 포함하는 ROI 영상 및 거골 영역이 마스킹된 ROI 마스크 영상 (ROI mask image) 이 학습용 영상으로 이용될 수 있다.
2 단계의 학습 과정에 의해 거골 영역을 분할하도록 학습된 본 발명의 영역 예측 모델은, 입력된 새로운 족부 의료 영상에 대하여 높은 정확도로 거골 영역을 분할할 수 있다.
도 6b의 (a)를 참조하면, 본 발명의 영역 예측 모델의 제1 중족골 영역 분할을 위한 1차 학습 단계에서, 2981 x 2106 크기의 원본의 학습용 족부 측면 의료 영상 (Raw image) 의 1/6 사이즈인 497 x 351 크기의 족부 측면 의료 영상, 및 제1 중족골 영역이 마스킹된 마스크 영상 (Mask image) 이 학습용 영상으로 이용될 수 있다.
한편, 1차 학습된 영역 예측 모델은, 분할하고자 하는 영역인 제1 중족골 영역이 주변 영역과 발기가 명확히 분류되지 않거나 학습용 족부 의료 영상의 해상도가 높을 경우, 분류의 정확도가 다소 떨어질 수 있다. 이에, 본 발명의 발명자들은 제1 중족골 영역을 높은 비율로 포함하는 ROI 영상 (ROI image) 을 2차 학습에 더욱 적용하고자 하였다.
도 6b의 (b)를 참조하면, 본 발명의 영역 예측 모델의 제1 중족골 영역 분할을 위한 2차 학습 단계에서, 족부 측면 의료 영상 중 600 x 460 크기의 제1 중족골 영역을 포함하는 ROI 영상, 및 제1 중족골 영역이 마스킹된 ROI 마스크 영상 (ROI mask image) 이 학습용 영상으로 이용될 수 있다.
2 단계의 학습 과정에 의해 제1 중족골 영역을 분할하도록 학습된 본 발명의 영역 예측 모델은, 입력된 새로운 족부 의료 영상에 대하여 높은 정확도로 제1 중족골 영역을 분할할 수 있다.
즉, 본 발명의 영역 예측 모델은, 예측 과정에 있어서 족부 의료 영상에 대하여 ROI를 설정하고, 핵심 영역만을 포함하도록 크로핑하는 것과 족부 의료 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략될 수 있다. 그럼에도, 본 발명의 영역 예측 모델은, 거골 영역 및 제1 중족골 영역의 예측 능력이 다른 예측 모델들 보다 우수할 수 있다.
도 6c를 참조하면, Segnet 네트워크에 기초한 영역 예측 모델의 구조가 예시적으로 개시된다. 이때, 본 발명의 영역 예측 모델은, VGG-16 웨이트 (weights) 를 이용하여 초기화된 Segnet 모델일 수 있다. 보다 구체적으로, 본 발명의 영역 예측 모델은, 학습용 족부 측면 의료 영상을 입력 받고, 다양한 레이어들을 통해 학습용 족부 측면 의료 영상의 핵심 영역인 거골 영역 및 제1 중족골 영역을 분할하여 최종적으로 거골 영역 및 제1 중족골 영역을 분류하도록 구성된 복수의 레이어로 구성될 수 있다. 특히, 본 발명의 예측 모델의 마지막 레이어들은, 하나의 Unpool (un pooling) 레이어, 2 개의 컨볼루션 (convolution) 레이어, 2 개의 BN (batch normalization) 레이어, 2 개의 ReLU (Rectifier Linear Unit) 및 최종적으로 족부 의료 영상에 대한 거골 영역 및 제1 중족골 영역을 분류하는 소프트맥스 (softmax) 레이어의 복수의 층으로 구성될 수 있다. 이때, 거골 영역 및 제1 중족골 영역이 픽셀단위로 예측될 수도 있다.
한편, 영역 예측 모델은, 필터 사이즈가 5이고, 필터들의 수가 [32, 32, 64]이고, 풀링 (pooling) 사이즈가 2이고, 최대 에포치 (max epoch) 의 수가 120이고, 모멘텀 (momentum) 이 0.9이고, 초기 학습 비율 (initial learning rate) 이 0.01인 파라미터를 가질 수 있다. 한편, 본 발명의 영역 예측 모델은 497 x 351 사이즈의 족부 측면 의료 영상, 및 600 x 600 사이즈의 거골의 ROI 영상과 600 x 460 사이즈의 제1 중족골 ROI 영상에 의해 학습될 수 있다.
본 발명의 영역 예측 모델의 구조 및 파라미터, 학습 방법은 이에 제한되는 것이 아니다.
실시예 1: 본 발명의 영역 예측 모델의 평가_영역 분할 평가
이하의 실시예 1에서는, 도 7a 내지 도 7f를 참조하여 본 발명의 다양한 실시예에 이용되는 영역 예측 모델의 영역 분할에 대한 평가 결과를 설명한다. 이때, 예측 모델로서 2 단계의 학습 단계에 의해 학습된 Segnet 기반의 예측 모델이 이용되었으며, 좌측 족부 60 장 및 우측 족부 60 장의 총 120 장의 족부 측면 방사선 영상이 본 평가에 이용되었다. 한편, 본 평가에서는, 영역 예측 모델에 의해 예측된 거골 영역 또는 제1 중족골 영역과 정답 영역으로 마스킹된 정답 거골 영역 또는 정답 제1 중족골 영역의 유사도를 평가하였다. 이때, 유사도는, 예측 영역 및 정답 영역의 중첩률에 기초하여 산출되었다.
도 7a 내지 7f는 본 발명의 다양한 실시예에 이용되는 영역 예측 모델에 의해 분할된 거골 영역 및 제1 중족골 영역에 대한 평가 결과를 도시한 것이다.
먼저, 도 7a를 참조하면, 120 장의 족부 의료 영상에 대하여 본 발명의 영역 예측 모델에 의해 예측된 거골 영역이 도시된다. 도 7b 및 7c를 더욱 참조하면, 본 발명의 영역 예측 모델에 의해 예측된 거골 영역 및 정답 거골 영역에 대한 평균 유사 계수 (Similarity coefficient) 는 0.9653으로 나타난다. 특히, 최대 유사도는 0.9804로, 본 발명의 영역 예측 모델은 정답 거골 영역과 약 98 %의 유사한 수준으로 거골 영역을 예측한 것으로 나타난다. 이는, 본 발명의 영역 예측 모델이 족부 의료 영상 내에서 매우 높은 정확도 거골 영역을 분할한 것을 의미할 수 있다.
도 7d를 참조하면, 총 120 장의 족부 의료 영상에 대하여 본 발명의 영역 예측 모델에 의해 예측된 제1 중족골 영역이 도시된다. 도 7e 및 7f를 더욱 참조하면, 본 발명의 영역 예측 모델에 의해 예측된 제1 중족골 영역 및 정답 제1 중족골 영역에 대한 평균 유사 계수 (Similarity coefficient) 는 0.9524로 나타난다. 특히, 최대 유사도는 0.9765로, 본 발명의 영역 예측 모델은 정답 거골 영역과 약 97.7 %의 유사한 수준으로 제1 중족골 영역을 예측한 것으로 나타난다. 이는, 본 발명의 영역 예측 모델이 족부 의료 영상 내에서 매우 높은 정확도 제1 중족골 영역을 분할한 것을 의미할 수 있다.
즉, 이상의 실시예 1의 결과에 따르면, 족부 측면의 전체에 대한 의료 영상으로 1 차 학습되고, 거골 영역 또는 제1 중족골 영역만을 포함하는 ROI 영상으로 2 차 학습된 본 발명의 영역 예측 모델은, 높은 정확도로 거골 영역과 제1 중족골 영역을 분할하여 예측하는 것으로 나타난다. 이에, 본 발명의 영역 예측 모델은, 족부 측면 전체의 의료 영상만으로 학습된 예측 모델 보다 핵심 영역의 예측의 성능이 우수할 수 있다.
실시예 2: 중심선 예측에 대한 평가
이하의 실시예 2에서는, 도 8a 내지 도 8d를 참조하여 거골의 중심선 및 제1 중족골의 중심선 예측에 대한 평가 결과를 설명한다.
이때, 2 단계의 학습 단계에 의해 학습된 Segnet 기반의 예측 모델에 의해 예측된 거골 영역 및 제1 중족골 영역 내에서 거골의 중심선 및 제1 중족골의 중심선이 예측되었다. 보다 구체적으로, 본 평가에서는, 거골 영역을 이루는 거골 영역의 경계선, 제1 중족골 영역을 이루는 제1 중족골 영역의 경계선 상에서 두 쌍으로 존재하는 특징점을 예측하는 특징점 예측 모델, 거골의 중심선 및 제1 중족골의 중심선을 예측하도록 구성된 중심선 예측 모델에 대한 평가가 수행될 수 있다.
본 평가는, 좌측 족부 영상 60 장 및 우측 족부 영상 60 장 각각에 대하여 예측된 거골 중심선 및 제1 중족골 중심선과 정답 거골 중심선 및 정답 제1 중족골 중심선의 각도 차이를 산출하면서 수행되었다.
도 8a 내지 8d는 본 발명의 다양한 실시예에 따라 예측된 거골 중심선 및 제1 중족골 중심선, 및 이들 중심선이 이루는 거골 각 및 제1 중족골 각에 대한 평가 결과를 도시한 것이다.
먼저, 8a를 참조하면, 거골 영역에 대하여 예측된 복수의 쌍의 특징점 각각의 중심점 (predicted mid points), 및 거골 영역의 경계선 상에 미리 결정된 복수의 쌍의 정답 특징점 각각의 중심점 (ground truth) 이 함께 도시된다. 이때, 거골의 중심선의 결정을 위해 미리 결정된 복수의 쌍의 특징점은, 거골과 경골의 경계선 상의 최고점, 거골과 종골의 경계선 상의 최고점으로 구성된 한 쌍의 특징점, 거골과 주상골의 경계선 상의 최고점, 거골과 주상골의 경계선 상의 최저점으로 구성된 한 쌍의 특징점으로 구성될 수 있다. 본 발명의 예측 모델은, 한 장의 족부 측면 의료 영상에 대하여 예측된 복수의 특징점 쌍의 중심점에 대한 센트로이드 (centroid) 를 최종 중심점으로 결정할 수 있다. 결과적으로, 센트로이드가 결정되고, 이들 센트로이드가 이어지면서 족부 측면 의료 영상 내에서 거골의 중심선이 결정될 수 있다.
보다 구체적으로, 도 8b의 (a)를 참조하면, 60 장의 우측 족부 측면 영상 각각에 대하여 결정된 거골의 중심선은, 복수의 쌍의 정답 특징점 각각의 중심점을 연결한 정답 거골의 중심선과 평균 1.714 도의 차이가 있는 것으로 나타난다. 나아가, 도 8b의 (b)를 참조하면, 60 장의 좌측 족부 측면 영상에 대하여 결정된 거골의 중심선은, 정답 거골의 중심선과 평균 1.652 도의 차이가 있는 것으로 나타난다.
이러한 결과는, 본 발명의 예측 모델, 특히 중심선 예측 모델이 거골-제1 중족골간 각을 이루는 거골의 중심선을 우수한 수준으로 예측하는 것을 의미할 수 있다.
다음으로, 8c를 참조하면, 제1 중족골 영역에 대하여 예측된 복수의 쌍의 특징점 각각의 중심점 (predicted mid points), 및 제1 중족골 영역의 경계선 상에 미리 결정된 복수의 쌍의 정답 특징점 각각의 중심점 (ground truth) 이 함께 도시된다. 이때, 제1 중족골 의 중심선의 결정을 위해 미리 결정된 복수의 쌍의 특징점은, 제1 중족골의 머리 (metatarsal head) 를 제외한 영역에 대하여, 발등과 맞닿는 위치의 제1 중족골 영역의 경계선 상의 적어도 두 개의 점, 발바닥 방향의 제1 중족골 영역의 경계선 상의 적어도 두 개의 점으로 구성된 복수의 쌍의 특징점일 수 있다. 본 발명의 예측 모델은, 한 장의 족부 측면 의료 영상에 대하여 예측된 복수개의 특징점 쌍의 중심점에 대한 센트로이드 (centroid) 를 최종 중심점으로 결정할 수 있다. 결과적으로, 센트로이드가 결정되고, 이들 센트로이드가 이어지면서 족부 측면 의료 영상 내에서 제1 중족골의 중심선이 결정될 수 있다.
보다 구체적으로, 도 8d의 (a)를 참조하면, 60 장의 우측 족부 측면 영상 각각에 대하여 결정된 제1 중족골의 중심선은, 복수의 쌍의 정답 특징점 각각의 중심점을 연결한 정답 제1 중족골의 중심선과 평균 1.257 도의 차이가 있는 것으로 나타난다. 나아가, 도 8d의 (b)를 참조하면, 60 장의 좌측 족부 측면 영상에 대하여 결정된 제1 중족골의 중심선은, 정답 제1 중족골의 중심선과 평균 1.485 도의 차이가 있는 것으로 나타난다.
이러한 결과는, 본 발명의 예측 모델, 특히 중심선 예측 모델이 거골-제1 중족골간 각을 이루는 제1 중족골의 중심선을 우수한 수준으로 예측하는 것을 의미할 수 있다.
실시예 3: 제1 중족골간 각의 평가
이하의 실시예 3에서는, 도 9a 및 9b를 참조하여 거골-제1 중족골간 각의 예측에 대한 평가 결과를 설명한다.
본 평가에서는, 최종 산출된 거골-제1 중족골간 각과 정답 거골의 중심선 및 정답 제1 중족골의 중심선이 이루는 정답 거골-제1 중족골간 각의 차이를 더욱 산출하였다.
도 9a 및 9b는 본 발명의 다양한 실시예에 따라 산출된 거골-제1 중족골간 각에 대한 평가 결과를 도시한 것이다.
도 9a의 (a)를 참조하면, 60 장의 우측 족부 측면 영상 각각에 대하여 결정된 거골-제1 중족골간 각은, 정답 거골-제1 중족골간 각과 평균 1.998 도 차이가 있는 것으로 나타난다. 특히, 도 9a의 (b)를 더욱 참조하면, 정답 거골-제1 중족골간 각과 단지 0.046 도의 차이를 갖는 수준으로 거골-제1 중족골간 각이 예측된 것으로 나타난다.
도 9b의 (a)를 참조하면, 60 장의 좌측 족부 측면 영상 각각에 대하여 결정된 거골-제1 중족골간 각은, 정답 거골-제1 중족골간 각과 평균 2.283 도 차이가 있는 것으로 나타난다. 특히, 도 9b의 (b)를 더욱 참조하면, 정답 거골-제1 중족골간 각과 단지 0.019 도의 차이를 갖는 수준으로 거골-제1 중족골간 각이 예측된 것으로 나타난다.
즉, 이상의 실시예 3의 결과에 따르면, 본 발명의 예측 모델, 특히 중심선 예측 모델이 거골-제1 중족골간 각을 이루는 제1 중족골의 중심선을 우수한 수준으로 예측하고, 이에 매우 높은 정확도로 거골-제1 중족골간 각이 산출될 수 있는 것으로 나타난다.
이상의 실시예 1 내지 3의 결과에 따르면, 다양한 예측 모델에 기초한 다양한 실시예에 따른 발의 유형 예측 디바이스는, 높은 정확도로 거골-제1 중족골간 각을 예측하고, 예측된 거골-제1 중족골간 각에 기초하여 발의 유형을 제공할 수 있다. 예를 들어, 본 발명의 발의 유형 예측 디바이스는, 예측 모델에 의해 거골-제1 중족골간 각이 -4도 초과한 것으로 결정될 경우 즉, 거골의 중심선이 제1 중족골의 중심선보다 4도 이상 위에 존재할 경우, 개체의 발 유형을 오목발로 결정할 수 있다. 나아가, 예측 모델에 의해 거골-제1 중족골간 각이 4도 초과한 것으로 결정될 경우 즉, 거골의 중심선이 제1 중족골의 중심선보다 4도 이상 아래에 존재할 경우, 개체의 발 유형을 평발로 결정할 수 있다.
따라서, 본 발명은, 재현성 높게 거골-제1 중족골간 각의 계측 결과 및 이에 따른 정확한 발 유형의 평가 결과를 제공할 수 있는 효과가 있다.
이에, 본 발명은, 거골-제1 중족골간 각이 개체별로 상이한 족부의 해부학적 구조, 및 의료인의 숙련도에 따라 다르게 측정될 수 있는 종래의 의료 영상에 기초한 발의 유형 평가 시스템이 갖는 한계 및 문제점들을 극복할 수 있는 효과가 있다.
특히, 본 발명은, 족부 의료 영상의 해상도가 높거나 분할하고자 하는 형상과 주변 영역의 밝기 값이 명확히 분류되지 않을 경우에도, 거골 영역 또는 제1 중족골 영역을 정확하게 분할하여 이들 영역을 예측할 수 있는 영역 예측 모델을 이용함으로써 발 유형을 보다 정확하게 평가할 수 있는 효과가 있다
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 발의 유형 평가용 디바이스
110: 수신부
120: 입력부
130: 출력부
140: 프로세서
150: 저장부
212: 족부 측면 의료 영상
222: 영역 예측 모델
224: 거골 영역
226: 제1 중족골 영역
312: 중심선 예측 모델
322: 거골의 중심선
324: 제1 중족골의 중심선
332: 거골-제1 중족골간 각
342: 발의 유형에 대한 정보
412: 표준 족부 측면 의료 영상
422: 표준 제1 중족골 영역
424: 표준 특징점
432: 특징점 예측 모델
434: 두 쌍의 특징점
442: 중심점
512: 복수의 쌍의 특징점
522: 복수의 중심점
532: 센트로이드

Claims (25)

  1. 프로세서에 의해 구현되는 발의 유형 평가 방법으로서,
    개체의 족부 의료 영상을 수신하는 단계;
    상기 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 상기 족부 의료 영상 내에서 상기 거골 영역 및 상기 제1 중족골 영역을 예측하는 단계;
    상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 거골의 중심선 및 제1 중족골의 중심선을 예측하도록 구성된 중심선 예측 모델을 이용하여, 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 각각 예측하는 단계;
    예측된 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 기초로 거골-제1 중족골 간각 (talus-first metatarsal angle) 을 결정하는 단계, 및
    상기 거골-제1 중족골 간 각을 기초로 상기 개체의 발의 유형을 평가하는 단계를 포함하는, 발의 유형 평가 방법.
  2. 삭제
  3. 프로세서에 의해 구현되는 발의 유형 평가 방법으로서,
    개체의 족부 의료 영상을 수신하는 단계;
    상기 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 상기 족부 의료 영상 내에서 상기 거골 영역 및 상기 제1 중족골 영역을 예측하는 단계;
    상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 미리 결정된 특징점을 예측하도록 구성된 특징점 예측 모델을 이용하여, 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 특징점을 예측하는 단계;
    상기 특징점에 기초하여 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 각각 예측하는 단계;
    예측된 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 기초로 거골-제1 중족골 간각 (talus-first metatarsal angle) 을 결정하는 단계, 및
    상기 거골-제1 중족골 간 각을 기초로 상기 개체의 발의 유형을 평가하는 단계를 포함하는, 발의 유형 평가 방법.
  4. 제3항에 있어서,
    상기 미리 결정된 특징점은 두 쌍으로 존재하고,
    상기 특징점 예측 모델을 이용하여, 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 특징점을 예측하는 단계는,
    상기 특징점 예측 모델을 이용하여, 상기 거골 영역의 경계선 및 상기 제1 중족골 영역의 경계선 상에 미리 결정된 두 쌍의 특징점을 각각 예측하는 단계, 및
    예측된 두 쌍의 특징점 각각의 중심점을 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정하는 단계를 포함하고,
    상기 특징점에 기초하여 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 각각 예측하는 단계는,
    상기 중심점을 기초로 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 각각 예측하는 단계를 포함하는, 발의 유형 평가 방법.
  5. 제4항에 있어서,
    상기 거골 영역의 경계선 상에 미리 결정된 두 쌍의 표준 특징점을 포함하는 표준 거골 영상 및 표준 제1 중족골 영상을 수신하는 단계를 더 포함하고,
    상기 두 쌍의 특징점을 각각 예측하는 단계는,
    상기 거골 영역의 경계선 및 상기 표준 거골 영상 내의 두 쌍의 표준 특징점 각각의 거리, 및 상기 제1 중족골 영역의 경계선 및 상기 표준 제1 중족골 영상 내의 두 쌍의 표준 특징점 각각의 거리를 산출하는 단계, 및
    상기 각각의 거리에 기초하여 상기 거골 영역의 경계선 및 상기 제1 중족골 영역의 경계선 상에서 상기 두 쌍의 특징점을 각각 예측하는 단계를 포함하는, 발의 유형 평가 방법.
  6. 제5항에 있어서,
    상기 표준 거골 영상 및 상기 표준 제1 중족골 영상은,
    복수개이고,
    상기 각각의 거리를 산출하는 단계는,
    상기 거골 영역의 경계선 및 복수개의 상기 표준 거골 영상 내의 상기 두 쌍의 표준 특징점 각각의 거리, 및 상기 제1 중족골 영역의 경계선 및 복수개의 상기 표준 제1 중족골 영상 내의 두 쌍의 표준 특징점 각각의 거리를, 복수개의 상기 표준 거골 영상 및 복수개의 상기 표준 제1 중족골 영상에 대하여 산출하는 단계를 포함하고,
    상기 두 쌍의 특징점을 각각 예측하는 단계는,
    복수개의 상기 표준 거골 영상 및 복수개의 상기 표준 제1 중족골 영상 각각에 대하여 산출된 상기 각각의 거리에 기초하여, 상기 거골 영역의 경계선 및 상기 제1 중족골 영역의 경계선 상에서 두 쌍의 특징점을 각각 예측하는 단계를 포함하는, 발의 유형 평가 방법.
  7. 제6항에 있어서,
    상기 두 쌍의 특징점 각각의 중심점을 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정하는 단계는,
    복수개의 상기 표준 거골 영상 및 복수개의 상기 표준 제1 중족골 영상에 따라, 상기 거골 영역의 경계선 및 상기 제1 중족골 영역의 경계선 상에 예측된 두 쌍의 특징점 각각에 대한 중심점을, 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정하는 단계를 포함하고,
    상기 특징점에 기초하여 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 각각 예측하는 단계는,
    복수개의 상기 표준 거골 영상 및 복수개의 상기 표준 제1 중족골 영상에 따라 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정된 중심점들의 센트로이드 (centroid) 를 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정하는 단계, 및
    상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정된 상기 센트로이드를 기초로, 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 각각 예측하는 단계를 포함하는 발의 유형 평가 방법.
  8. 제4항에 있어서,
    예측된 상기 두 쌍의 특징점을 제공하는 단계를 더 포함하는 발의 유형 평가 방법.
  9. 프로세서에 의해 구현되는 발의 유형 평가 방법으로서,
    개체의 족부 의료 영상을 수신하는 단계;
    상기 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 상기 족부 의료 영상 내에서 상기 거골 영역 및 상기 제1 중족골 영역을 예측하는 단계;
    예측된 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대한 중심선을 기초로 거골-제1 중족골 간각 (talus-first metatarsal angle) 을 결정하는 단계;
    상기 거골-제1 중족골 간 각을 기초로 상기 개체의 발의 유형을 평가하는 단계, 및
    상기 거골-제1 중족골 간 각을 제공하는 단계를 포함하는, 발의 유형 평가 방법.
  10. 프로세서에 의해 구현되는 발의 유형 평가 방법으로서,
    개체의 족부 의료 영상을 수신하는 단계;
    상기 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 상기 족부 의료 영상 내에서 상기 거골 영역 및 상기 제1 중족골 영역을 예측하는 단계;
    예측된 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대한 중심선을 기초로 거골-제1 중족골 간각 (talus-first metatarsal angle) 을 결정하는 단계, 및
    상기 거골-제1 중족골 간 각을 기초로 상기 개체의 발의 유형을 평가하는 단계를 포함하고,
    상기 개체의 발의 유형을 평가하는 단계는,
    상기 거골-제1 중족골 간 각이 -4도 미만일 경우, 오목발인 것으로 평가하고, 또는
    상기 거골-제1 중족골 간 각이 4도 초과일 경우, 평발인 것으로 평가하는 단계를 포함하는, 발의 유형 평가 방법.
  11. 제1항에 있어서,
    상기 개체의 발의 유형을 평가하는 단계는,
    상기 개체의 평발 중증도를 평가하는 단계를 더 포함하고,
    상기 개체의 평발 중증도를 평가하는 단계는,
    상기 거골-제1 중족골 간 각이 4도 내지 15도일 경우, 경증 (mild) 평발인 것으로 평가하고, 또는
    상기 거골-제1 중족골 간 각이 15도 내지 30도일 경우, 중도 (moderate) 평발인 것으로 평가하고, 또는
    상기 거골-제1 중족골 간 각이 30도 초과일 경우, 중증 (severe) 평발인 것으로 평가하는 단계를 포함하는, 발의 유형 평가 방법.
  12. 프로세서에 의해 구현되는 발의 유형 평가 방법으로서,
    개체의 족부 의료 영상을 수신하는 단계;
    상기 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 상기 족부 의료 영상 내에서 상기 거골 영역 및 상기 제1 중족골 영역을 예측하는 단계;
    예측된 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대한 중심선을 기초로 거골-제1 중족골 간각 (talus-first metatarsal angle) 을 결정하는 단계, 및
    상기 거골-제1 중족골 간 각을 기초로 상기 개체의 발의 유형을 평가하는 단계를 포함하고,
    상기 영역 예측 모델은,
    표준 개체의 족부에 대하여 미리 결정된 정답 거골 영역 및 정답 제1 중족골 영역을 포함하는 학습용 족부 의료 영상을 수신하는 단계, 및
    상기 학습용 족부 의료 영상 내에서 거골 영역 및 제1 중족골 영역을 예측하는 단계를 통해 상기 거골 영역 및 상기 제1 중족골 영역을 예측하도록 학습된 모델인, 발의 유형 평가 방법.
  13. 제12항에 있어서,
    상기 학습용 족부 의료 영상 내에서 거골 영역 및 제1 중족골 영역을 예측하는 단계 이후에,
    상기 영역 예측 모델에 의해 예측된 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대한, 상기 정답 거골 영역 및 상기 정답 제1 중족골 영역 각각이 중첩되는 중첩 영역의 비율을 산출하는 단계, 및
    상기 중첩 영역의 비율을 기초로 상기 영역 예측 모델을 평가하는 단계를 더 포함하는, 발의 유형 평가 방법.
  14. 제12항에 있어서,
    상기 학습용 족부 의료 영상은,
    상기 학습용 족부 의료 영상 내에서 상기 정답 거골 영역만을 포함하는 의료 영상, 및 상기 정답 제1 중족골 영역만을 포함하는 의료 영상을 포함하는, 발의 유형 평가 방법.
  15. 개체의 족부 의료 영상을 수신하도록 구성된 수신부, 및
    상기 수신부와 통신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 상기 족부 의료 영상 내에서 상기 거골 영역 및 상기 제1 중족골 영역을 예측하고,
    상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 거골의 중심선 및 제1 중족골의 중심선을 예측하도록 구성된 중심선 예측 모델을 이용하여, 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 각각 예측하고,
    예측된 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 기초로 거골-제1 중족골 간 각 (talus-first metatarsal angle) 을 결정하고,
    상기 거골-제1 중족골 간 각을 기초로 상기 개체의 발의 유형을 평가하도록 구성된, 발의 유형 평가용 디바이스.
  16. 삭제
  17. 개체의 족부 의료 영상을 수신하도록 구성된 수신부, 및
    상기 수신부와 통신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 상기 족부 의료 영상 내에서 상기 거골 영역 및 상기 제1 중족골 영역을 예측하고,
    상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 미리 결정된 특징점을 예측하도록 구성된 특징점 예측 모델을 이용하여, 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 특징점을 예측하고,
    상기 특징점에 기초하여 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 각각 예측하고,
    예측된 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 기초로 거골-제1 중족골 간 각 (talus-first metatarsal angle) 을 결정하고,
    상기 거골-제1 중족골 간 각을 기초로 상기 개체의 발의 유형을 평가하도록 구성된, 발의 유형 평가용 디바이스.
  18. 제17항에 있어서,
    상기 미리 결정된 특징점은 두 쌍으로 존재하고,
    상기 프로세서는,
    상기 특징점 예측 모델을 이용하여, 상기 거골 영역의 경계선 및 상기 제1 중족골 영역의 경계선 상에 미리 결정된 두 쌍의 특징점을 각각 예측하고, 예측된 두 쌍의 특징점 각각의 중심점을 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정하고,
    상기 중심점을 기초로 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 각각 예측하도록 더 구성된, 발의 유형 평가용 디바이스
  19. 제18항에 있어서,
    상기 수신부는, 상기 거골 영역의 경계선 상에 미리 결정된 두 쌍의 표준 특징점을 포함하는 표준 거골 영상 및 표준 제1 중족골 영상을 수신하도록 더 구성되고,
    상기 프로세서는,
    상기 거골 영역의 경계선 및 상기 표준 거골 영상 내의 두 쌍의 표준 특징점 각각의 거리, 및 상기 제1 중족골 영역의 경계선 및 상기 표준 제1 중족골 영상 내의 두 쌍의 표준 특징점 각각의 거리를 산출하고, 상기 각각의 거리에 기초하여 상기 거골 영역의 경계선 및 상기 제1 중족골 영역의 경계선 상에서 상기 두 쌍의 특징점을 각각 예측하도록 더 구성된, 발의 유형 평가용 디바이스.
  20. 제19항에 있어서,
    상기 표준 거골 영상 및 상기 표준 제1 중족골 영상은 복수개이고,
    상기 프로세서는,
    상기 거골 영역의 경계선 및 복수개의 상기 표준 거골 영상 내의 상기 두 쌍의 표준 특징점 각각의 거리, 및 상기 제1 중족골 영역의 경계선 및 복수개의 상기 표준 제1 중족골 영상 내의 두 쌍의 표준 특징점 각각의 거리를, 복수개의 상기 표준 거골 영상 및 복수개의 상기 표준 제1 중족골 영상에 대하여 산출하고, 복수개의 상기 표준 거골 영상 및 복수개의 상기 표준 제1 중족골 영상 각각에 대하여 산출된 상기 각각의 거리에 기초하여, 상기 거골 영역의 경계선 및 상기 제1 중족골 영역의 경계선 상에서 두 쌍의 특징점을 각각 예측하도록 더 구성된, 발의 유형 평가용 디바이스.
  21. 제20항에 있어서,
    상기 프로세서는,
    복수개의 상기 표준 거골 영상 및 복수개의 상기 표준 제1 중족골 영상에 따라, 상기 거골 영역의 경계선 및 상기 제1 중족골 영역의 경계선 상에 예측된 두 쌍의 특징점 각각에 대한 중심점을, 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정하고,
    복수개의 상기 표준 거골 영상 및 복수개의 상기 표준 제1 중족골 영상에 따라 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정된 중심점들의 센트로이드 (centroid) 를 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정하고,
    상기 거골 영역 및 상기 제1 중족골 영역 각각에 대하여 결정된 상기 센트로이드를 기초로, 상기 거골의 중심선 및 상기 제1 중족골의 중심선을 각각 예측하도록 더 구성된, 발의 유형 평가용 디바이스.
  22. 제18항에 있어서,
    예측된 상기 두 쌍의 특징점을 제공하도록 구성된 출력부를 더 포함하는, 발의 유형 평가용 디바이스.
  23. 개체의 족부 의료 영상을 수신하도록 구성된 수신부,
    출력부, 및
    상기 수신부 및 상기 출력부와 통신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는, 상기 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 상기 족부 의료 영상 내에서 상기 거골 영역 및 상기 제1 중족골 영역을 예측하고,
    예측된 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대한 중심선을 기초로 거골-제1 중족골 간 각 (talus-first metatarsal angle) 을 결정하고,
    상기 거골-제1 중족골 간 각을 기초로 상기 개체의 발의 유형을 평가하고,
    상기 거골-제1 중족골 간 각을 출력부를 통해 제공하도록 구성된, 발의 유형 평가용 디바이스.
  24. 개체의 족부 의료 영상을 수신하도록 구성된 수신부, 및
    상기 수신부와 통신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 족부 의료 영상을 기초로 거골 (talus) 영역 및 제1 중족골 (first metatarsal) 영역을 예측하도록 구성된 영역 예측 모델을 이용하여, 상기 족부 의료 영상 내에서 상기 거골 영역 및 상기 제1 중족골 영역을 예측하고,
    예측된 상기 거골 영역 및 상기 제1 중족골 영역 각각에 대한 중심선을 기초로 거골-제1 중족골 간 각 (talus-first metatarsal angle) 을 결정하고,
    상기 거골-제1 중족골 간 각을 기초로 상기 개체의 발의 유형을 평가하도록 구성되고,
    상기 프로세서는,
    상기 거골-제1 중족골 간 각이 -4도 미만일 경우, 오목발인 것으로 평가하고, 또는
    상기 거골-제1 중족골 간 각이 4도 초과일 경우, 평발인 것으로 평가하도록 더 구성된, 발의 유형 평가용 디바이스.
  25. 제15항에 있어서,
    상기 프로세서는,
    상기 거골-제1 중족골 간 각이 4도 내지 15도일 경우, 경증 (mild) 평발인 것으로 평가하고, 또는
    상기 거골-제1 중족골 간 각이 15도 내지 30도일 경우, 중도 (moderate) 평발인 것으로 평가하고, 또는 상기 거골-제1 중족골 간 각이 30도 초과일 경우, 중증 (severe) 평발인 것으로 평가하도록 더 구성된, 발의 유형 평가용 디바이스.
KR1020190044242A 2019-04-16 2019-04-16 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스 KR102258070B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190044242A KR102258070B1 (ko) 2019-04-16 2019-04-16 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스
PCT/IB2020/053980 WO2020212962A2 (ko) 2019-04-16 2020-04-28 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190044242A KR102258070B1 (ko) 2019-04-16 2019-04-16 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스

Publications (2)

Publication Number Publication Date
KR20200121550A KR20200121550A (ko) 2020-10-26
KR102258070B1 true KR102258070B1 (ko) 2021-05-27

Family

ID=72837081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190044242A KR102258070B1 (ko) 2019-04-16 2019-04-16 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스

Country Status (2)

Country Link
KR (1) KR102258070B1 (ko)
WO (1) WO2020212962A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024048207A1 (ja) * 2022-08-29 2024-03-07 株式会社アシックス 評価装置、評価方法、および評価プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4545807B2 (ja) * 2008-03-31 2010-09-15 富士フイルム株式会社 骨番号認識装置およびそのプログラム
KR101961215B1 (ko) * 2017-08-25 2019-03-27 남정림 영상 처리 및 기계 학습에 기초한 뼈 나이 판독 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Kao EF, et al, "Fully automated determination of arch angle on weight-bearing foot radiograph", Comput Methods and Programs in Biomed 154:79 - 88. 2018
Yang CH, et al., "Automatic detection of calcaneal-fifth metatarsal angle using radiograph: A computeraided diagnosis of flat foot for military new recruits in taiwan", PLOS ONE 10:1-10. June 30, 2015
인터넷 문서, https://blog.naver.com/lhminju_/220417405852 (2015.07.12.)*

Also Published As

Publication number Publication date
KR20200121550A (ko) 2020-10-26
WO2020212962A2 (ko) 2020-10-22
WO2020212962A3 (ko) 2021-01-07

Similar Documents

Publication Publication Date Title
US11967072B2 (en) Three-dimensional object segmentation of medical images localized with object detection
US8139836B2 (en) Automatic segmentation of the heart and aorta in medical 3-D scans without contrast media injections
CN111539930A (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN103249358B (zh) 医用图像处理装置
CN109791692A (zh) 使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度
KR20200080626A (ko) 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스
WO2008050332A2 (en) Computer diagnosis of malignancies and false positives
CN113222951B (zh) 一种识别髋关节x线的骨质疏松人工智能诊断装置
CN113850753B (zh) 医学图像信息计算方法、装置、边缘计算设备和存储介质
JP7256765B2 (ja) 医用撮像装置、医用画像処理装置、及び、画像処理プログラム
US7873196B2 (en) Medical imaging visibility index system and method for cancer lesions
Hussain et al. Femur segmentation in DXA imaging using a machine learning decision tree
KR20210014267A (ko) 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법
CN111311626A (zh) 基于ct图像的颅骨骨折自动检测方法及电子介质
Silva et al. Automatic assessment of pectus excavatum severity from CT images using deep learning
US9436889B2 (en) Image processing device, method, and program
KR102258070B1 (ko) 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스
WO2020235461A1 (ja) 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法
EP4076207A1 (en) A method and system for improved ultrasound plane acquisition
Sha et al. The improved faster-RCNN for spinal fracture lesions detection
Wang et al. False positive reduction in pulmonary nodule classification using 3D texture and edge feature in CT images
Sha et al. A robust segmentation method based on improved U-Net
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
KR102332472B1 (ko) 의료 영상에서 듀얼 윈도우 설정에 기반한 딥러닝을 이용한 종양 자동 분할 방법
Al et al. Reinforcement learning-based automatic diagnosis of acute appendicitis in abdominal ct

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant