KR20210112509A - 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법 - Google Patents
불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20210112509A KR20210112509A KR1020200027570A KR20200027570A KR20210112509A KR 20210112509 A KR20210112509 A KR 20210112509A KR 1020200027570 A KR1020200027570 A KR 1020200027570A KR 20200027570 A KR20200027570 A KR 20200027570A KR 20210112509 A KR20210112509 A KR 20210112509A
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- feature point
- incomplete
- body part
- individual
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000002159 abnormal effect Effects 0.000 claims abstract description 107
- 230000009466 transformation Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 238000002604 ultrasonography Methods 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 5
- 238000011084 recovery Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004053 dental implant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Dentistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법에 관한 것으로, 사용자로부터 신체부위의 일부가 손상되거나 가려진 불완전한 의료영상이 입력되면, 상기 불완전한 의료영상과 매칭되는 적어도 하나 이상의 의료영상을 추정하여, 상기 추정한 의료영상을 토대로 상기 불완전한 의료영상을 복구하고, 상기 복구한 의료영상을 토대로 상기 불완전한 의료영상에 대한 신체부위의 사이즈를 측정하여 제공함으로써, 상기 제공한 신체 사이즈를 다양한 용도로 이용하도록 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법에 관한 것이다.
Description
본 발명은 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 사용자로부터 신체부위의 일부가 손상되거나 가려진 불완전한 의료영상이 입력되면, 상기 불완전한 의료영상에서 정상부분(Normal Part)과 매칭되는 적어도 하나 이상의 의료영상으로부터 비정상부분(Abnormal Part)에 대한 의료영상을 추정하여, 상기 추정한 의료영상을 토대로 상기 불완전한 의료영상을 복구하고, 상기 복구한 의료영상을 토대로 상기 신체부위의 사이즈를 측정하여 제공하는 장치 및 그 방법에 관한 것이다.
최근 의료기술과 의료장비의 급격한 발전으로 인해 환자에 대한 고정밀의 의료영상을 획득하는 것이 가능해지면서, 환자의 신체를 개방하지 않고서도 상기 의료영상에 대한 판독을 통해 환자의 병변을 확인하는 것이 가능하게 되었다.
상기 의료영상은 CT(Computer Tomography) 영상, MRI(Magnetic Resonance Imaging) 영상 , X-ray 영상, 초음파(Ultrasound) 영상 등을 포함한다.
이러한 의료영상은, 상기 판독의 용도로 이용된 후에는 그 이용가치를 잃어버려 개인이 소유한 저장소나 데이터베이스에 저장되어 방치되고 있는 실정이다.
따라서 상기 의료영상을 판독의 용도로만 이용할 것이 아니라, 상기 의료영상을 토대로 신체부위에 대한 신체 사이즈를 측정하고, 상기 측정한 신체 사이즈를 해당 의료영상에 대한 사용자에게 제공할 수 있다면, 의료(예: 임플란트 제작), 옷, 의자, 자전거 등과 같이 사용자의 신체에 맞는 제품을 제작하는 맞춤형 제품 제작 등과 같이 다양한 목적으로 이용할 수 있을 것이다.
한편, 상기 의료영상은, 신체의 일부분이 특정 다른 부위에 가려져 보이지 않는 경우가 있을 수 있으며, 상기 저장소나 데이터베이스에 저장된 의료영상에서 상기 신체의 일부분이 손상되거나 훼손되는 경우가 발생할 수 있다.
따라서 본 발명에서는 신체부위의 일부분이 손상되거나 가려진 비정상부분을 포함하는 불완전한 의료영상이 입력되는 경우, 상기 불완전한 의료영상에 매칭되는 의료영상을 추정하고, 상기 비정상부분에 대응하는 상기 추정한 의료영상의 신체부분을 토대로 상기 불완전한 의료영상을 복구하여, 상기 불완전한 의료영상의 신체부위에 대한 신체 사이즈를 측정함으로써, 상기 측정한 신체 사이즈를 다양한 목적으로 이용할 수 있도록 하는 방안을 제안하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국공개특허 제2020-0001736호(2020.01.07.)는 초음파 영상의 디스플레이 장치와 시스템 및 이를 이용한 생체조직의 사이즈 검출방법에 관한 것으로, 생체조직에 대한 초음파 영상을 터치스크린에 표시하고, 상기 터치스크린에서 상기 사용자가 접촉한 접촉 지점을 인식하여, 상기 인식한 접촉 지점과 인접하는 하나 이상의 엣지 부분을 검출하고, 상기 검출한 엣지 부분에 대한 엣지 곡선이 개곡선인지 또는 폐곡선인지에 따라 상기 생체조직에 대한 사이즈 정보를 검출하는 초음파 영상의 디스플레이 장치와 시스템 및 이를 이용한 생체조직의 사이즈 검출방법에 관한 것이다.
즉, 상기 선행기술은, 초음파 영상에서 사용자가 특정 지점을 터치하면, 상기 특정 지점에 인접한 에지 곡선의 종류에 따라 상기 생체조직의 사이즈를 측정하는 생체조직의 사이즈 검출방법을 기재하고 있다.
반면에 본 발명은 신체부위의 일부분이 손상되거나 가려진 불완전한 의료영상을 복구하여, 상기 복구한 의료영상으로부터 신체부위를 측정하는 것으로, 상기 선행기술과 본 발명은 현저한 차이점이 있는 것이 분명하다.
또한 한국등록특허 제0954989호(2010.04.20.)는 대상체의 크기를 측정하기 위한 초음파 진단 장치 및 방법에 관한 것으로, 초음파 영상내 대상체의 윤곽선을 추출하고, 상기 추출한 윤곽선상에서 곡률이 급격하게 변화하는 다수의 코너점을 검출하여 소정 크기의 블록을 설정하고, 초음파 영상을 출력하는 디스플레이상에서 이동되는 포인터가 상기 블록 또는 상기 윤곽선을 교차하는 복수의 측정점에 대한 좌표를 인식하여 저장하며, 상기 측정점 중 적어도 두개 이상으로 사용자가 선택하는 경우, 상기 선택된 측정점의 좌표를 기준으로 상기 대상체의 크기를 측정하는 대상체의 크기를 측정하기 위한 초음파 진단 장치 및 방법에 관한 것이다.
즉, 상기 선행기술은 사용자가 디스플레이상의 포인터를 통해 초음파 영상에서의 윤곽선이나 코너점을 선택하면, 상기 선택한 윤곽선이나 코너점에 대한 좌표를 이용하여 상기 대상체의 크기를 측정하여 제공하는 것이다. 그러나 본 발명은, 비정상부분을 포함하는 불완전한 의료영상이 입력되는 경우, 상기 불완전한 의료영상과 매칭되는 의료영상을 추정하여 상기 추정한 의료영상을 토대로 상기 불완전한 의료영상의 비정상부분을 복구하는 것이며, 상기 비정상부분을 복구한 의료영상으로부터 신체부위에 대한 사이즈를 측정하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사 혹은 암시도 없음이 분명하다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 신체부위 중 일부분이 손상되거나 가려진 비정상부분이 포함된 불완전한 의료영상이 사용자로부터 입력되는 경우, 상기 불완전한 의료영상과 매칭되는 의료영상을 추정하고, 상기 추정한 의료영상을 토대로 상기 비정상부분을 복구하여, 상기 비정상부분을 복구한 의료영상으로부터 신체부위에 대한 신체 사이즈를 측정하여, 상기 사용자에게 제공하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은, 상기 불완전한 의료영상의 신체부위와 대칭되는 신체부위에 대한 상기 사용자의 의료영상을 추출하거나, 상기 불완전한 의료영상과 가장 근접하게 매칭되는 익명화된 개인별 의료영상을 추출하거나, 또는 상기 불완전한 의료영상의 신체부위와 대칭하는 신체부위에 매칭되는 익명화된 개인별 의료영상을 추출함으로써, 상기 불완전한 의료영상에 매칭되는 의료영상을 추정하여, 상기 추정한 의료영상을 토대로 상기 불완전한 의료영상의 비정상부분을 간단하게 복구할 수 있도록 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은, 상기 추정한 의료영상에서 상기 불완전 의료영상의 비정상부분에 대응하는 신체부분에 대한 특징점을 확인하고, 상기 확인한 특징점의 좌표를 상기 비정상부분에 투영함으로써, 상기 비정상부분을 간단하게 복구할 수 있도록 하며, 상기 비정상부분을 복구한 의료영상에서 특징점들을 연결하여 상기 불완전한 의료영상에서 신체 사이즈를 정확하게 측정하여 제공할 수 있도록 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치는, 신체부위 중 일부가 손상되거나 가려진 비정상부분과 상기 비정상부분 이외의 정상부분을 포함하는 불완전한 의료영상에 매칭되는 의료영상을 추정하는 의료영상 추정부, 상기 불완전한 의료영상의 비정상부분에 대응하는 상기 추정한 의료영상의 신체부분에 대해 확인한 적어도 하나 이상의 특징점의 좌표를 상기 비정상부분에 투영하여 상기 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점과 상기 비정상부분에 대해 투영한 특징점을 통합하여 복구하는 의료영상 복구부 및 상기 비정상부분을 복구한 의료영상에서 상기 통합한 특징점을 서로 연결하여, 신체 사이즈를 측정하는 신체 사이즈 측정부를 포함하는 것을 특징으로 한다.
또한 상기 의료영상 추정부는, 상기 불완전한 의료영상의 신체부위와 대칭되는 신체부위에 대한 상기 사용자의 의료영상을 추출하여 상기 불완전한 의료영상에 매칭되는 의료영상을 추정하는 것을 포함하는 것을 특징으로 한다.
또한 상기 의료영상 추정부는, 상기 불완전한 의료영상의 정상부분으로 복수의 익명화된 개인별 의료영상의 해당 부분과 가장 근접하게 매칭되는 의료영상을 추출하여 비정상부분의 의료영상을 추정하는 것을 포함하는 것을 특징으로 한다.
또한 상기 의료영상 추정부는, 상기 불완전한 의료영상의 신체부위와 대칭하는 신체부위에 매칭되는 복수의 익명화된 개인별 의료영상을 추출하여 상기 불완전한 의료영상을 추정하는 것을 포함하는 것을 특징으로 한다.
또한 상기 신체 사이즈 측정 장치는, 복수의 익명화된 개인별 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하는 학습모델을 생성하는 특징점 학습부를 더 포함하며, 상기 의료영상 추정부는, 상기 불완전한 의료영상의 신체부위에 따른 적어도 하나 이상의 학습모델을 선택하고, 상기 불완전한 의료영상을 상기 선택한 적어도 하나 이상의 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식부, 상기 불완전한 의료영상의 신체부위와 대칭하는 사용자의 의료영상을 추출하는 의료영상 추출부, 상기 추출한 사용자의 의료영상을 대칭되는 신체부위에 대한 좌표로 변환하는 좌표 변환부 및 상기 대칭되는 신체부위에 대한 좌표로 변환한 상기 사용자의 의료영상에서 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인부를 더 포함하는 것을 특징으로 한다.
또한 상기 의료영상 추정부는, 상기 인식한 적어도 하나 이상의 특징점과 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출하는 의료영상 추출부, 상기 추출한 개인별 의료영상으로부터 상기 정상부분과 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 추출하여, 상기 정상부분에 대해 인식한 특징점과 상기 추출한 특징점에 대한 유사도를 계산하는 유사도 계산부 및 상기 유사도를 계산한 결과, 상기 유사도가 가장 높은 특정 개인의 의료영상을 선택하여 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인부를 더 포함하는 것을 특징으로 한다.
또한 상기 의료영상 추정부는, 상기 불완전한 의료영상을 대칭되는 신체부위에 대한 좌표로 변환하는 좌표 변환부, 상기 대칭되는 신체부위에 따라 적어도 하나 이상의 학습모델을 선택하고, 상기 대칭되는 신체부위에 대한 좌표로 변환한 불완전한 의료영상을 상기 선택한 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식부, 상기 인식한 적어도 하나 이상의 특징점과 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출하는 의료영상 추출부, 상기 추출한 개인별 의료영상으로부터 상기 정상부분에 대응하는 대한 적어도 하나 이상의 특징점을 추출하여, 상기 정상부분에 대해 인식한 특징점과 상기 추출한 특징점에 대한 유사도를 계산하는 유사도 계산부 및 상기 유사도를 계산한 결과, 상기 유사도가 가장 높은 특정 개인의 의료영상을 선택하여 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인부를 더 포함하는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 신체 사이즈 측정 방법은, 신체부위 중 일부가 손상되거나 가려진 비정상부분과 상기 비정상부분 이외의 정상부분을 포함하는 불완전한 의료영상에 매칭되는 의료영상을 추정하는 의료영상 추정 단계, 상기 불완전한 의료영상의 비정상부분에 대응하는 상기 추정한 의료영상의 신체부분에 대해 확인한 적어도 하나 이상의 특징점의 좌표를 상기 비정상부분에 투영하여 상기 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점과 상기 비정상부분에 대해 투영한 특징점을 통합하여 복구하는 의료영상 복구 단계 및 상기 비정상부분을 복구한 의료영상에서 상기 통합한 특징점을 서로 연결하여, 신체 사이즈를 측정하는 신체 사이즈 측정 단계를 포함하는 것을 특징으로 한다.
또한 상기 의료영상 추정 단계는, 상기 불완전한 의료영상의 신체부위와 대칭되는 신체부위에 대한 상기 사용자의 의료영상을 추출하여 상기 불완전한 의료영상에 매칭되는 의료영상을 추정하는 것을 포함하는 것을 특징으로 한다.
또한 상기 의료영상 추정 단계는, 상기 불완전한 의료영상의 정상부분으로 복수의 익명화된 개인별 의료영상의 해당 부분과 가장 근접하게 매칭되는 의료영상을 추출하여 비정상부분의 의료영상을 추정하는 것을 포함하는 것을 특징으로 한다.
또한 상기 의료영상 추정 단계는, 상기 불완전한 의료영상의 신체부위와 대칭하는 신체부위에 매칭되는 복수의 익명화된 개인별 의료영상을 추출하여 상기 불완전한 의료영상을 추정하는 것을 포함하는 것을 특징으로 한다.
또한 상기 신체 사이즈 측정 방법은, 복수의 익명화된 개인별 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하는 학습모델을 생성하는 특징점 학습 단계를 더 포함하며, 상기 의료영상 추정 단계는, 상기 불완전한 의료영상의 신체부위에 따른 적어도 하나 이상의 학습모델을 선택하고, 상기 불완전한 의료영상을 상기 선택한 적어도 하나 이상의 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식 단계, 상기 불완전한 의료영상의 신체부위와 대칭하는 사용자의 의료영상을 추출하는 의료영상 추출 단계, 상기 추출한 사용자의 의료영상을 대칭되는 신체부위에 대한 좌표로 변환하는 좌표 변환 단계 및 상기 대칭되는 신체부위에 대한 좌표로 변환한 상기 사용자의 의료영상에서 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 의료영상 추정 단계는, 상기 불완전한 의료영상의 신체부위에 따른 적어도 하나 이상의 학습모델을 선택하고, 상기 불완전한 의료영상을 상기 선택한 적어도 하나 이상의 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식 단계, 상기 인식한 적어도 하나 이상의 특징점과 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출하는 의료영상 추출 단계, 상기 추출한 개인별 의료영상으로부터 상기 정상부분과 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 추출하여, 상기 정상부분에 대해 인식한 특징점과 상기 추출한 특징점에 대한 유사도를 계산하는 유사도 계산 단계 및 상기 유사도를 계산한 결과, 상기 유사도가 가장 높은 특정 개인의 의료영상을 선택하여 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 의료영상 추정 단계는, 상기 불완전한 의료영상을 대칭되는 신체부위에 대한 좌표로 변환하는 좌표 변환 단계, 상기 대칭되는 신체부위에 따라 적어도 하나 이상의 학습모델을 선택하고, 상기 대칭되는 신체부위에 대한 좌표로 변환한 불완전한 의료영상을 상기 선택한 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식 단계, 상기 인식한 적어도 하나 이상의 특징점과 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출하는 의료영상 추출 단계, 상기 추출한 개인별 의료영상으로부터 상기 정상부분에 대응하는 대한 적어도 하나 이상의 특징점을 추출하여, 상기 정상부분에 대해 인식한 특징점과 상기 추출한 특징점에 대한 유사도를 계산하는 유사도 계산 단계 및 상기 유사도를 계산한 결과, 상기 유사도가 가장 높은 특정 개인의 의료영상을 선택하여 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인 단계를 더 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법에 따르면, 사용자로부터 입력되는 의료영상의 신체부위 중 손상되거나 가려진 비정상부분이 포함하는 불완전한 의료영상인 경우라도 상기 불완전한 의료영상의 신체부위와 대칭되는 사용자의 의료영상 또는 상기 불완전한 의료영상에 가장 근접하게 매칭되는 개인별 의료영상 또는, 상기 불완전한 의료영상을 대칭변환하여, 상기 대칭변환한 불완전한 의료영상에 가장 근접하게 매칭되는 개인별 의료영상을 이용하여, 상기 비정상부분을 효율적으로 복구할 수 있는 효과가 있다.
또한 본 발명은, 상기 비정상부분을 복구한 의료영상에서 특정 신체부위에 대한 신체 사이즈를 측정하여 사용자에게 제공함으로써, 상기 사용자가 상기 신체 사이즈를 의료, 맞춤형 제품 제작 등과 같이 다양한 목적으로 이용할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 이용하여 불완전한 의료영상을 복구하는 과정을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 익명화된 개인별 의료영상을 이용하여 불완전한 의료영상을 복구하는 과정을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 또 다른 일 실시예에 따른 익명화된 개인별 의료영상을 이용하여 불완전한 의료영상을 복구하는 과정을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 학습모델을 통해 불완전한 의료영상으로부터 정상부분에 대한 특징점을 인식하는 과정을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치의 구성을 나타낸 블록도이다.
도 7은 본 발명의 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 토대로 불완전한 의료영상의 신체부위에 대한 신체 사이즈를 측정하는 절차를 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위와 동일한 익명화된 개인별 의료영상을 토대로 불완전한 의료영상의 신체부위에 대한 신체 사이즈를 측정하는 절차를 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 익명화된 개인별 의료영상을 토대로 신체 사이즈를 측정하는 절차를 나타낸 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치의 하드웨어 구조를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 이용하여 불완전한 의료영상을 복구하는 과정을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 익명화된 개인별 의료영상을 이용하여 불완전한 의료영상을 복구하는 과정을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 또 다른 일 실시예에 따른 익명화된 개인별 의료영상을 이용하여 불완전한 의료영상을 복구하는 과정을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 학습모델을 통해 불완전한 의료영상으로부터 정상부분에 대한 특징점을 인식하는 과정을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치의 구성을 나타낸 블록도이다.
도 7은 본 발명의 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 토대로 불완전한 의료영상의 신체부위에 대한 신체 사이즈를 측정하는 절차를 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위와 동일한 익명화된 개인별 의료영상을 토대로 불완전한 의료영상의 신체부위에 대한 신체 사이즈를 측정하는 절차를 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 익명화된 개인별 의료영상을 토대로 신체 사이즈를 측정하는 절차를 나타낸 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치의 하드웨어 구조를 나타낸 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
도 1은 본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법을 설명하기 위한 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체부위 추정을 통한 신체 사이즈 측정 장치(100)(이하, 신체 사이즈 측정 장치라 칭함)는, 사용자 단말(200)로부터 신체부위 중 일부분이 정상부분과 비정상부분을 포함하는 불완전한 의료영상이 입력되면, 상기 불완전한 의료영상과 매칭되는 의료영상을 추정하고, 상기 추정한 의료영상을 토대로 상기 비정상부분을 복구하여, 상기 비정상부분을 복구한 의료영상에서 해당 신체부위에 대한 신체 사이즈를 측정하여 사용자에게 제공한다. 상기 비정상부분은 신체부위의 일부분이 손상되거나 가려진 신체부분을 지칭하며, 상기 정상부분은 상기 비정상부분 이외의 신체부분을 지칭한다.
상기 불완전한 의료영상은, CT 영상, MRI 영상, 초음파 영상 등과 같은 다양한 의료영상을 포함하며, 상기 사용자가 특정 부분을 지정한 적어도 하나 이상의 임의의 특징점과 상기 사용자가 결정한 비정상부분과 정상부분을 포함한다.
또한 상기 신체 사이즈 측정 장치(100)는, 상기 불완전한 의료영상의 신체부위에 대칭하는 신체부위에 대한 사용자의 의료영상, 상기 불완전한 의료영상과 가장 근접하게 매칭되는 익명화된 개인의 의료영상, 또는 상기 불완전한 의료영상의 신체부위와 대칭하는 신체부위에 매칭되는 익명화된 개인의 의료영상을 추출하여, 상기 불완전한 의료영상과 매칭되는 의료영상을 추정하고, 상기 추정한 의료영상을 토대로 상기 불완전한 의료영상을 복구한다.
이때, 상기 신체 사이즈 측정 장치(100)는, 상기 불완전한 의료영상의 신체부위와 대칭하는 신체부위에 대칭하는 사용자의 의료영상을 이용하여 상기 추정을 우선 수행하고, 그 다음으로 상기 대칭하는 사용자의 의료영상이 존재하지 않는 경우, 상기 불완전한 의료영상과 가장 근접하게 매칭되는 익명화된 개인의 의료영상(즉, 상기 불완전한 의료영상의 신체부위와 동일한 신체부위에 대한 익명화된 개인의 의료영상)을 추출하여 상기 추정을 수행하며, 다음으로 상기 불완전한 의료영상의 신체부위와 대칭하는 신체부위에 매칭되는 익명화된 개인의 의료영상만 존재하는 경우, 상기 대칭하는 익명화된 개인의 의료영상을 이용하여 상기 추정을 수행하는 것이 바람직 하지만 이에 한정하지 않으며, 상기에서 나열한 추정 과정 중 어느 하나를 통해 상기 불완전한 의료영상에 매칭되는 의료영상을 추정할 수 있다.
한편, 상기 불완전한 의료영상에 매칭되는 의료영상을 추정하여 상기 불완전한 의료영상의 비정상부분을 복구하는 것은, 본 발명의 핵심적인 기술적 특징으로, 도 2 내지 도 4를 참조하여 상세히 설명하도록 한다.
또한 상기 신체 사이즈 측정 장치(100)는, 상기 측정한 신체 사이즈를 상기 사용자 단말(200)로 제공하여, 상기 신체 사이즈를 자전거, 의자, 옷, 침대, 액세서리 등과 같이 자신이 필요로 하는 제품을 맞춤형으로 제작하는데 이용하거나, 임플란트(치아 또는 척추) 시술 등과 같은 의료 목적으로 이용하는 것과 같이 다양한 용도로 이용할 수 있도록 한다.
또한 상기 불완전한 의료영상의 정상부분에 대해 적어도 하나 이상의 특징점을 인식하는 것은, 복수의 익명화된 개인별 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하여 생성한 학습모델에 상기 불완전한 의료영상을 적용함으로써, 수행된다. 상기 학습모델을 통해 특징점을 인식하는 것은 도 5를 참조하여 설명하도록 한다.
상기 복수의 익명화된 개인별 의료영상은 의사 또는 개인이 보유한 유무선 통신 단말, 병원이나 한의원 등과 같은 의료기관이 운영하는 서버 등과 같은 적어도 하나 이상의 의료영상 프로바이더(300)로부터 사전에 설정한 주기에 따라 수집하거나, 실시간으로 수집되어, 개인별 의료영상 데이터베이스(420)에 저장된다.
도 2는 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 이용하여 불완전한 의료영상을 복구하는 과정을 설명하기 위해 나타낸 도면이다.
도 2에 도시한 바와 같이 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 이용하여 불완전한 의료영상을 복구하는 경우, 신체 사이즈 측정 장치(100)는, 사용자 단말(200)로부터 입력되는 상기 불완전한 의료영상의 신체부위를 확인한 결과에 따라 적어도 하나 이상의 학습모델을 선택하여, 학습모델 데이터베이스(410)로부터 로딩하고, 상기 선택한 적어도 하나 이상의 학습모델에 상기 불완전한 의료영상을 적용하여 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식한다(①). 이때, 상기 신체 사이즈 측정 장치(100)는, 사용자 인터페이스를 제공하여 상기 불완전한 의료영상의 신체부위, 상기 비정상부분 및 정상부분을 선택하도록 함으로써, 상기 불완전한 의료영상의 신체부위, 비정상부분 및 정상부분을 확인한다.
또한 상기 신체 사이즈 측정 장치(100)는, 데이터베이스(400)를 검색하여, 상기 불완전한 의료영상에 대칭하는 사용자의 의료영상을 추출(②)하여, 상기 불완전한 의료영상에 매칭되는 의료영상을 추정한다.
예를 들어, 상기 불완전한 의료영상의 신체부위가 좌측 다리의 무릎 관절을 촬영한 의료 영상인 경우, 상기 신체 사이즈 측정 장치(100)는, 사용자의 우측 다리의 무릎 관절을 촬영한 사용자의 의료영상을 추출한다. 이때, 상기 추출한 사용자의 의료영상은 사전에 상기 학습모델을 통해 적어도 하나 이상의 특징점이 인식되어 있다. 다만 상기 추출한 사용자의 의료영상에 대해 특징점이 인식되어 있지 않은 경우 상기 학습모델을 이용하여 상기 특징점을 인식한다.
또한 상기 신체 사이즈 측정 장치(100)는, 상기 추출한 사용자의 의료영상의 신체부위에 대칭하는 신체부위에 대한 좌표로 변환한다(③). 상기 예에서, 상기 추출한 사용자의 의료영상은 우측 다리에 대한 의료영상이고, 상기 불완전한 의료영상은 좌측 다리에 대한 의료영상이므로, 상기 추출한 사용자의 의료영상을 좌측 다리에 대한 의료영상으로 대칭변환하는 것이다.
또한 대칭하는 신체부위에 대한 좌표로 변환하는 것은, 상기 대칭하는 신체부위에 따라 좌우 대칭변환 또는 상하 대칭변환을 수행하는 것을 의미한다.
한편 상기 좌우 대칭변환은, 변환대상의 의료영상에 대한 x좌표를, 상기 변환대상의 의료영상에 대한 가로 크기값에 1을 차감한 후, 상기 차감한 결과에 상기 x좌표의 좌표값을 한 번 더 차감하여, 이의 결과를 상기 x좌표의 좌표값으로 변환함으로써, 수행된다. 이때, 상기 대칭변환된 의료영상의 y좌표는 상기 변환대상의 의료영상에 대한 y좌표로 설정된다.
또한 상기 상하 대칭변환은, 변환대상의 의료영상에 대한 y좌표를, 상기 변환대상의 의료영상에 대한 세로 크기값에 1을 차감한 후, 상기 차감한 결과에 상기 y좌표의 좌표값을 한 번 더 차감하여, 이의 결과를 상기 y좌표의 좌표값으로 변환함으로써, 수행된다. 이때, 상기 대칭변환된 의료영상의 x좌표는 상기 변환대상의 의료영상에 대한 x좌표로 설정된다.
또한 상기 신체 사이즈 측정 장치(100)는, 상기 대칭변환한 상기 사용자의 의료영상으로부터 상기 불완전한 의료영상의 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인한다(④).
또한 상기 신체 사이즈 측정 장치(100)는, 상기 확인한 적어도 하나 이상의 특징점에 대한 좌표를 상기 불완전한 의료영상의 비정상부분에 투영함으로써, 상기 확인한 적어도 하나 이상의 특징점을 상기 불완전한 의료영상의 비정상부분에 투영하고, 상기 비정상부분에 투영한 특징점과 상기 불완전한 의료영상의 정상부분에 대해 인식한 특징점을 서로 통합함으로써, 상기 불완전한 의료영상의 비정상부분을 복구한다(⑤).
도 3은 본 발명의 일 실시예에 따른 익명화된 개인별 의료영상을 이용하여 불완전한 의료영상을 복구하는 과정을 설명하기 위해 나타낸 도면이다.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 익명화된 개인별 의료영상을 이용하여 불완전한 의료영상(예: 뇌를 촬영한 의료영상)을 복구하는 과정은, 상기 불완전한 의료영상의 신체부위와 동일한 익명화된 개인별 의료영상이 저장되어 있을 때, 수행된다.
이때, 상기 신체 사이즈 측정 장치(100)는, 상기 불완전한 의료영상의 신체부위(예: 뇌)에 따른 적어도 하나 이상의 학습모델을 통해 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식한다(①).
또한 상기 신체 사이즈 측정 장치(100)는, 상기 익명화된 개인별 의료영상 데이터베이스(420)를 검색하여, 상기 인식한 특징점과 각각 매칭되는 적어도 하나 이상의 개인별 의료영상을 추출한다(②).
이때, 상기 학습모델은, 신체부위별로 특징점을 결정한 익명화된 개인별 의료영상을 각각 학습하여 생성된 것이므로, 상기 신체 사이즈 측정 장치(100)는, 상기 학습모델을 통해 불완전한 의료영상의 정상부분에 대해 인식한 적어도 하나 이상의 특징점이 어떠한 개인별 의료영상과 매칭되는지를 알 수 있다.
또한 상기 신체 사이즈 측정 장치(100)는, 상기 추출한 개인별 의료영상에서 상기 불완전한 의료영상의 비정상부분을 제외한 정상부분과 대응하는 신체부분에 대한 특징점을 추출하여, 상기 불완전한 의료영상의 정상부분에 대해 인식한 적어도 하나 이상의 특징점과 상기 개인별 의료영상에서 각각 추출한 상기 특징점간의 유사도를 계산한다(③).
여기서, 상기 유사도 계산은, 유클리드 거리(Euclidean Distance), 맨해튼 거리(Manhattan Distance) 또는 민코프스키 거리(Minkowski Distance)와 같은 유사도 계산 방법을 통해 수행된다.
또한 상기 신체 사이즈 측정 장치(100)는, 상기 유사도를 계산한 결과, 상기 추출한 익명화된 개인별 의료영상 중에서 유사도가 제일 높은 익명화된 특정 개인의 의료영상을 선택하여 추출함으로써, 상기 불완전한 의료영상에 매칭하는 의료영상을 추정하며, 상기 추정한 익명화된 특정 개인의 의료영상에서, 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인한다(④).
또한 상기 신체 사이즈 측정 장치(100)는, 상기 확인한 적어도 하나 이상의 특징점에 대한 좌표를 상기 불완전한 의료영상의 비정상부분에 투영하고, 상기 비정상부분에 투영한 특징점과 상기 불완전한 의료영상의 정상부분에 대해 인식한 특징점을 서로 통합하여 상기 불완전한 의료영상의 비정상부분을 복구(⑤)한다.
도 4는 본 발명의 또 다른 일 실시예에 따른 익명화된 개인별 의료영상을 이용하여 불완전한 의료영상을 복구하는 과정을 설명하기 위해 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 발명의 또 다른 일 실시예에 따른 익명화된 개인별 의료영상을 이용하여 불완전한 의료영상을 복구하는 과정은, 상기 불완전한 의료영상에 대칭하는 신체부위의 익명화된 개인별 의료영상이 저장되어 있는 경우에 수행된다.
우선 상기 신체 사이즈 측정 장치(100)는, 상기 불완전한 의료영상(예: 우측 팔꿈치 관절을 촬영한 우측 팔)에 대한 대칭변환을 우선 수행하고, 상기 대칭변환한 불완전한 의료영상의 신체부위(즉, 좌측 팔)에 따라 적어도 하나 이상의 학습모델을 선택하여, 상기 대칭변환한 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점을 인식한다(①).
한편, 상기 신체 사이즈 측정 장치(100)는, 상기 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점을 인식 한 후, 상기 불완전한 의료영상에 대한 대칭변환을 수행할 수도 있다.
또한 상기 신체 사이즈 측정 장치(100)는, 상기 특징점을 인식한 결과에 따라, 상기 인식한 특징점과 각각 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 상기 익명화된 개인별 의료영상 데이터베이스(420)로부터 추출한다(②). 이때, 상기 추출되는 개인별 의료영상은, 상기 불완전한 의료영상과 동일한 의료영상(즉, 우측 팔)이 추출되는 것이 아니라, 상기 대칭변환한 불완전한 의료영상과 동일한 신체부위(좌측 팔)의 의료영상이 추출된다.
또한 상기 신체 사이즈 측정 장치(100)는, 상기 추출한 개인별 의료영상에서 상기 대칭변환한 불완전한 의료영상의 비정상부분을 제외한 정상부분과 대응하는 신체부분에 대한 특징점을 추출하여, 상기 대칭변환한 불완전한 의료영상의 정상부분에 대해 인식한 적어도 하나 이상의 특징점과 상기 개인별 의료영상에서 각각 추출한 상기 특징점 간의 유사도를 계산한다(③).
또한 상기 신체 사이즈 측정 장치(100)는, 상기 유사도를 계산한 결과, 유사도가 제일 높은 익명화된 개인의 의료영상을 추출함으로써, 상기 대칭변환한 불완전한 의료영상에 매칭되는 개인의 의료영상을 추정한다.
이후, 상기 신체 사이즈 측정 장치(100)는, 상기 추정한 개인의 의료영상에서, 상기 대칭변환한 불완전한 의료영상의 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하고(④), 상기 확인한 특징점을 상기 대칭변환한 불완전한 의료영상의 비정상부분에 투영(⑤)하여, 상기 대칭변환한 불완전한 의료영상의 비정상부분을 복구한다. 이때, 상기 비정상부분을 복구한 대칭변환한 불완전한 의료영상은, 원래의 신체부위로 대칭변환된다.
도 5는 본 발명의 일 실시예에 따른 학습모델을 통해 불완전한 의료영상으로부터 정상부분에 대한 특징점을 인식하는 과정을 설명하기 위해 나타낸 도면이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 학습모델은, 신체부위별로 복수의 익명화된 개인별 의료영상에서 결정된 복수의 특징점과 레이블을 학습하여 생성된다.
또한 상기 신체 사이즈 측정 장치(100)는, 상기 불완전한 의료영상(또는 대칭변환된 의료영상)의 신체부위를 확인한 결과에 따라 선택한 적어도 하나 이상의 학습모델에 상기 불완전한 의료영상을 적용하여, 상기 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점을 인식한다.
이때, 상기 불완전한 의료영상은, 상기 사용자에 의해 지정된 불완전한 의료영상의 정상부분 및 비정상부분과, 상기 사용자에 의해 상기 불완전한 의료영상의 정상부분에 선택된 임의의 개별 특징점(예: A 내지 N)을 포함하며, 상기 정상부분에 대한 특징점은, 상기 각 학습모델에서 출력되는 확률 중, 제일 높은 값을 선택함으로써, 상기 불완전한 의료영상에 대한 적어도 하나 이상의 특징점을 추출하고, 상기 추출한 특징점에 대한 좌표와 레이블을 확인함으로써, 인식된다.
도 6은 본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치의 구성을 나타낸 블록도이다.
도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체 사이즈 측정 장치(100)는, 복수의 익명화된 개인별 의료영상을 수집하는 의료영상 수집부(110), 상기 수집한 복수의 익명화된 개인별 의료영상을 각각 학습하여, 학습모델을 생성하는 특징점 학습부(120), 사용자 단말(200)로부터 의료영상(예: 불완전한 의료영상)을 입력받는 의료영상 입력부(130), 상기 불완전한 의료영상을 복구하는 의료영상 복구부(140), 상기 복구한 의료영상에서 해당 신체부위에 대한 신체 사이즈를 측정하는 신체 사이즈 측정부(150) 및 상기 불완전한 의료영상을 복구하기 위해 상기 불완전한 의료영상과 매칭되는 의료영상을 추정하는 의료영상 추정부(160)를 포함하여 구성된다.
상기 의료영상 수집부(110)는, 적어도 하나 이상의 의료영상 프로바이더(300)로부터 익명화된 개인별 의료영상을 신체부위별로 수집하여 익명화된 개인별 의료영상 데이터베이스(420)에 저장된다.
상기 특징점 학습부(120)는, 상기 수집한 익명화된 개인별 의료영상에 대한 하나 이상의 특징점을 결정하고, 상기 결정한 특징점에 대한 레이블을 부여하여 레이블링한다. 또한 상기 특징점 학습부(120)는, 상기 레이블링한 익명화된 개인별 의료영상을 학습하여, 입력된 의료영상으로부터 특징점을 인식하기 위한 학습모델을 생성한다.
상기 특징점은, 의사나 영상판독 전문가 등과 같은 의료영상 전문가를 통해 결정되고 레이블링되며, 해부학적 위치 및 레이블이 결정되어 있는 부분으로 결정되는 것이 바람직하다.
상기 의료영상 입력부(130)는, 상기 사용자 단말(200)로부터 비정상부분과 정상부분을 포함하는 불완전한 의료영상을 입력받는 기능을 수행한다.
상기 의료영상 추정부(160)는, 상기 불완전한 의료영상에 매칭되는 의료영상을 추정하기 위한 것으로, 특징점 인식부(161), 의료영상 추출부(162), 유사도 계산부(163), 특징점 확인부(164) 및 좌표 변환부(165)를 포함하여 구성된다.
또한 상기 의료영상 추정부(160)는, 상기 불완전한 의료영상에 매칭되는 의료영상을 추정할 때, 상기 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 이용하는 경우, 상기 불완전한 의료영상과 동일한 신체부위에 대한 익명화된 개인별 의료영상을 이용하는 경우, 상기 불완전한 의료영상의 신체부위에 대칭하는 익명화된 개인별 의료영상을 이용하는 경우에 따라 상이하게 동작한다.
우선, 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 이용하는 경우, 상기 의료영상 추정부(160)의 각 구성부분에 대한 동작을 설명하도록 한다. 이때, 상기 특징점 인식부(161)는, 상기 불완전한 의료영상의 신체부위를 확인하고 상기 확인한 신체부위에 따라 적어도 하나 이상의 학습모델을 선택하여 상기 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점은 인식한다.
또한 상기 의료영상 추출부(162)는, 상기 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 추출하여, 상기 불완전한 의료영상에 매칭하는 의료영상을 추정한다.
상기 좌표 변환부(165)는, 상기 추출한 사용자의 의료영상을 대칭하는 신체부위에 대한 좌표로 변환하여, 상기 추출한 사용자의 의료영상을 대칭변환한다.
또한 상기 특징점 확인부(164)는, 상기 추출하여 대칭변환한 사용자의 의료영상에서, 상기 불완전한 의료영상의 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인한다.
이후, 상기 의료영상 복구부(140)는, 상기 확인한 적어도 하나 이상의 특징점의 좌표를 상기 불완전 의료영상의 비정상부분에 투영하여, 상기 확인한 적어도 하나 이상의 특징점을 상기 불완전 의료영상의 비정상부분에 투영하고, 상기 불완전 의료영상의 정상부분에 대해 인식한 적어도 하나 이상의 특징점과 상기 투영한 적어도 하나 이상의 특징점을 서로 통합하여, 상기 불완전 의료영상의 비정상부분을 복구한다.
이하에서는, 상기 불완전한 의료영상의 신체부위와 동일한 익명화된 개인별 의료영상이 존재하는 경우에 상기 의료영상 추정부(160)의 각 구성부분에 대한 동작을 설명하도록 한다. 이때 상기 특징점 인식부(161)는, 상기 불완전한 의료영상의 신체부위에 따른 적어도 하나 이상의 학습모델을 통해 상기 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점을 인식한다.
또한 상기 의료영상 추출부(162)는, 상기 인식한 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점과 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 익명화된 개인별 의료영상 데이터베이스(420)로부터 추출한다.
상기 유사도 계산부(163)는, 상기 추출한 적어도 하나 이상의 익명화된 개인별 의료영상에서 상기 불완전한 의료영상의 비정상부분과 대응하는 신체부분을 제외한 나머지 신체부분(즉, 정상부분과 대응하는 신체부분)에 대한 적어도 하나 이상의 특징점을 추출한다. 또한 상기 유사도 계산부(163)는, 상기 추출한 적어도 하나 이상의 특징점과 상기 불완전한 의료영상의 정상부분에 대해 인식한 적어도 하나 이상의 특징점에 대한 유사도를 상기 추출한 익명화된 개인별 의료영상별로 계산한다.
상기 특징점 확인부(164)는, 상기 유사도를 계산한 결과, 상기 유사도가 가장 높은 익명화된 특정 개인의 의료영상을 선택하여 추출한다. 이때, 상기 의료영상 추정부(160)는 선택하여 추출한 특정 개인의 의료영상이 상기 불완전한 의료영상과 가장 근접하게 매칭되는 의료영상으로 추정한다. 이후, 상기 특징점 확인부(164)는, 상기 추정한 특정 개인의 의료영상에서, 상기 불완전한 의료영상의 비정상부분과 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인한다.
상기 의료영상 복구부(140)는, 상기 확인한 적어도 하나 이상의 특징점의 좌표를 상기 불완전 의료영상의 비정상부분에 투영하여, 상기 불완전 의료영상의 정상부분에 대해 인식한 적어도 하나 이상의 특징점과 상기 투영한 적어도 하나 이상의 특징점을 서로 통합함으로써, 상기 불완전 의료영상의 비정상부분을 복구한다.
이하에서는, 상기 불완전한 의료영상의 신체부위에 대칭하는 익명화된 개인별 의료영상만이 존재하는 경우에 상기 의료영상 추정부(160)의 각 구성부분에 대한 동작을 설명하도록 한다. 이때, 상기 좌표 변환부(165)는, 상기 불완전한 의료영상을 대칭하는 신체부위에 대한 좌표로 변환함으로써, 상기 불완전한 의료영상을 대칭변환한다.
상기 특징점 인식부(161)는, 상기 대칭되는 신체부위에 따라 적어도 하나 이상의 학습모델을 선택하여, 상기 대칭되는 신체부위에 대한 좌표로 변환한 불완전한 의료영상(즉, 대칭변환한 불완전한 의료영상)의 정상부분에 대한 적어도 하나 이상의 특징점을 인식한다.
또한 상기 의료영상 추출부(162)는, 상기 대칭변환한 불완전한 의료영상의 정상부분에 대해 인식한 적어도 하나 이상의 특징점과 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출한다. 이때, 상기 추출되는 익명화된 개인별 의료영상은, 상기 대칭변환한 불완전한 의료영상의 신체부위와 동일한 것이다.
또한 상기 유사도 계산부(163)는, 상기 추출한 적어도 하나 이상의 익명화된 개인별 의료영상에서, 상기 대칭변환한 불완전 의료영상의 정상부분과 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 추출하고, 상기 추출한 적어도 하나 이상의 특징점과 상기 대칭변환한 불완전한 의료영상의 정상부분에 대해 인식한 적어도 하나 이상의 특징점에 대한 유사도를 상기 추출한 익명화된 개인별 의료영상별로 계산한다.
또한 상기 특징점 확인부(164)는, 상기 유사도를 계산한 결과, 상기 유사도가 가장 높은 익명화된 특정 개인의 의료영상을 선택하여 추출한다. 이때, 상기 의료영상 추정부(160)는, 상기 추출한 특정 개인의 의료영상이 상기 불완전한 의료영상과 가장 근접하게 매칭되는 의료영상으로 추정한다. 이후, 상기 특징점 확인부(164)는, 상기 추정한 특정 개인의 의료영상에서, 상기 대칭변환한 불완전한 의료영상의 비정상 부분과 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하고, 상기 확인한 적어도 하나 이상의 특징점의 좌표를 상기 대칭변환한 불완전 의료영상의 비정상부분에 투영하여, 상기 불완전 의료영상의 정상부분에 대해 인식한 적어도 하나 이상의 특징점과 상기 투영한 적어도 하나 이상의 특징점을 서로 통합함으로써, 상기 대칭변환한 불완전 의료영상의 비정상부분을 복구한다. 이때, 상기 비정상부분을 복구한 대칭변환한 불완전 의료영상은, 원래의 신체부위로 대칭변환된다.
도 7은 본 발명의 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 토대로 불완전한 의료영상의 신체부위에 대한 신체 사이즈를 측정하는 절차를 나타낸 흐름도이다.
도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 토대로 불완전한 의료영상의 신체부위에 대한 신체 사이즈를 측정하는 절차는, 우선, 상기 신체 사이즈 측정 장치(100)는, 사용자로부터 비정상부분과 정상부분을 포함하는 불완전한 의료영상을 입력받는 의료영상 입력 단계를 수행한다(S110).
다음으로 상기 신체 사이즈 측정 장치(100)는, 상기 불완전한 의료영상의 정상부분에 대한 특징점을 인식하는 특징점 인식 단계를 수행한다(S120).
상기 특징점 인식 단계는, 상기 불완전한 의료영상의 신체부분에 따라 적어도 하나 이상의 학습모델을 선택하고, 상기 선택한 학습모델에 상기 불완전한 의료영상을 적용하여 상기 특징점을 인식한다. 한편, 신체 사이즈 측정 장치(100)는, 복수의 익명화된 개인별 의료영상에서, 신체부위별로 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하여 상기 학습모델을 생성하는 특징점 학습 단계를 사전에 수행하며, 상기 생성한 학습모델을 학습모델 데이터베이스(410)에 저장하여 관리한다.
다음으로 상기 신체 사이즈 측정 장치(100)는, 상기 불완전한 의료영상의 신체부위에 대칭하는 사용자의 의료영상을 추출하는 의료영상 추출 단계와, 상기 추출한 사용자의 의료영상을 대칭되는 신체부위에 대한 좌표로 변환하여 대칭변환하는 좌표 변환 단계를 수행(S130)하고, 상기 대칭변환한 사용자의 의료영상에서, 상기 불완전한 의료영상의 정상부분에 대응하는 신체부분의 특징점을 확인하는 특징점 확인 단계를 수행한다(S140).
여기서, 상기 대칭변환은, 특정 의료영상의 신체부위와 대칭하는 신체부위에 대한 좌표로 변환하는 것으로, 도 1을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.
다음으로 상기 신체 사이즈 측정 장치(100)는, 상기 확인한 특징점의 좌표를 상기 비정상부분에 투영하여, 상기 비정상부분을 복구하는 의료영상 복구 단계를 수행한다(S150). 상기 복구 단계는, 상기 확인한 특징점의 좌표를 불완전 의료영상의 비정상부분에 투영하고, 상기 투영한 특징점과 상기 불완전 의료영상의 정상부분에 대해 인식한 특징점을 통합함으로써, 수행된다.
다음으로 상기 신체 사이즈 측정 장치(100)는, 상기 비정상부분을 복구한 불완전 의료영상의 신체부위에 대한 신체 사이즈를 측정하여 사용자 단말(200)로 제공하는 신체 사이즈 측정 단계를 수행한다(S160). 상기 신체 사이즈는, 상기 복구한 불완전 의료영상의 특징점을 상호 연결함으로써, 수행됨은 상술한 바와 같다.
도 8은 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위와 동일한 익명화된 개인별 의료영상을 토대로 불완전한 의료영상의 신체부위에 대한 신체 사이즈를 측정하는 절차를 나타낸 흐름도이다.
도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위와 동일한 익명화된 개인별 의료영상을 토대로 신체 사이즈를 측정하는 절차는, 우선 상기 신체 사이즈 측정 장치(100)는, 사용자로부터 불완전한 의료영상을 입력받는 의료영상 입력 단계(S210), 상기 입력받은 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식 단계를 수행한다(S220).
다음으로 상기 인식한 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점과 각각 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출하는 의료영상 추출 단계를 수행한다(S230).
다음으로 상기 신체 사이즈 측정 장치(100)는, 상기 추출한 익명화된 개인별 의료영상에서, 상기 불완전한 의료영상의 비정상부분과 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 추출하고, 상기 추출한 특징점과 상기 불완전 의료영상에서 인식한 특징점 간의 유사도를 상기 추출한 개인별 의료영상별로 계산하는 유사도 계산 단계를 수행한다(S240).
다음으로 상기 신체 사이즈 측정 장치(100)는, 상기 유사도를 계산한 결과 유사도가 제일 높은 익명화된 개인의 의료영상에서, 상기 불완전한 의료영상의 비정상부분과 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인 단계(S250)를 수행하고, 상기 확인한 특징점의 좌표를 상기 불완전한 의료영상의 비정상부분에 투영함으로써, 상기 비정상부분을 복구하는 의료영상 복구 단계를 수행한다(S260).
이후, 상기 신체 사이즈 측정 장치(100)는, 상기 비정상부분을 복구한 불완전 의료영상의 신체부위에 대한 신체 사이즈를 측정하여 사용자 단말(200)로 제공하는 신체 사이즈 측정 단계를 수행한다(S270).
도 9는 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 익명화된 개인별 의료영상을 토대로 신체 사이즈를 측정하는 절차를 나타낸 흐름도이다.
도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 불완전한 의료영상의 신체부위에 대칭하는 익명화된 개인별 의료영상을 토대로 신체 사이즈를 측정하는 절차는 우선, 상기 신체 사이즈 측정 장치(100)는, 사용자 단말(200)로부터 불완전한 의료영상을 입력되는 경우(S310), 상기 불완전한 의료영상의 신체부위에 대칭하는 신체부위의 좌표로 변환함으로써, 상기 불완전한 의료영상을 대칭변환하는 좌표 변환 단계 및 상기 대칭변환한 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식 단계를 수행한다(S320). 한편 상기 대칭변환하는 것과 특징점을 인식하는 것은 상술하였으므로 더 이상의 상세한 설명은 생략하도록 한다.
다음으로 상기 신체 사이즈 측정 장치(100)는, 상기 인식한 특징점과 각각 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출하는 의료영상 추출 단계를 수행한다(S330). 이때, 추출되는 익명화된 개인별 의료영상은, 상기 입력받은 불완전한 의료영상과 대칭되는 신체부위의 의료영상이며, 상기 대칭변환한 불완전한 의료영상과 동일한 신체부위의 의료영상이다.
다음으로 상기 신체 사이즈 측정 장치(100)는, 상기 추출한 익명화된 개인별 의료영상으로부터 상기 대칭변환한 불완전 의료영상의 정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 추출하여, 상기 추출한 특징점과 상기 대칭변환한 불완전 의료영상에서 인식한 특징점에 대한 유사도를 계산하는 유사도 계산 단계를 수행한다(S340).
다음으로 상기 신체 사이즈 측정 장치(100)는, 유사도가 제일 높은 익명화된 개인의 의료영상에서 상기 대칭변환한 불완전한 의료영상의 비정상부분에 대응하는 신체부분의 특징점을 확인하는 특징점 확인 단계를 수행(S350)하고, 상기 확인한 특징점의 좌표를 상기 대칭변환한 불완전 의료영상의 비정상부분에 투영하여 상기 대칭변환한 불완전 의료영상의 비정상부분을 복구하는 의료영상 복구 단계를 수행한다(S360).
이후, 상기 신체 사이즈 측정 장치(100)는, 상기 비정상부분을 복구한 대칭변환한 불완전 의료영상을 원래의 신체부위로 다시 대칭변환하며, 상기 다시 대칭변환한 불완전 의료영상의 신체부위에 대한 신체 사이즈를 측정하는 신체 사이즈 측정 단계를 수행한다(S370).
도 10은 본 발명의 일 실시예에 따른 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치의 하드웨어 구조를 나타낸 도면이다.
도 10에 도시한 바와 같이, 본 발명의 일 실시예에 따른 신체 사이즈 측정 장치(100)의 하드웨어 구조는, 중앙처리장치(1000), 메모리(2000), 사용자 인터페이스(3000), 데이터베이스 인터페이스(4000), 네트워크 인터페이스(5000), 웹서버(6000) 등을 포함하여 구성된다.
상기 사용자 인터페이스(3000)는 그래픽 사용자 인터페이스(GUI, graphical user interface)를 사용함으로써, 사용자에게 입력과 출력 인터페이스를 제공한다.
상기 데이터베이스 인터페이스(4000)는 데이터베이스(400)와 하드웨어 구조 사이의 저장 인터페이스를 제공하며, 상기 네트워크 인터페이스(5000)는 사용자가 보유한 장치 간의 네트워크 연결을 제공한다.
상기 웹 서버(6000)는 사용자가 네트워크를 통해 상기 신체 사이즈 측정 장치(100)로 액세스하기 위한 수단을 제공한다. 대부분의 사용자들은 원격에서 웹 서버로 접속하여 상기 신체 사이즈 측정 장치(100)를 이용할 수 있다.
상술한 구성 또는 방법의 각 단계는, 컴퓨터 판독 가능한 기록매체 상의 컴퓨터 판독 가능 코드로 구현되거나 전송 매체를 통해 전송될 수 있다. 컴퓨터 판독 가능한 기록매체는, 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터를 저장할 수 있는 데이터 저장 디바이스이다. 컴퓨터 판독 가능한 기록매체의 예로는 데이터베이스, ROM, RAM, CD-ROM, DVD, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 디바이스가 있으나 이에 한정되는 것은 아니다. 전송매체는 인터넷 또는 다양한 유형의 통신 채널을 통해 전송되는 반송파를 포함할 수 있다.
또한 컴퓨터 판독 가능한 기록매체는, 컴퓨터 판독 가능 코드가 분산 방식으로 저장되고, 실행되도록 네트워크 결합 컴퓨터 시스템을 통해 분배될 수 있다.
또한 본 발명에 적용된 적어도 하나 이상의 구성요소는, 각각의 기능을 수행하는 중앙처리장치(CPU)(1000), 마이크로프로세서 등과 같은 프로세서를 포함하거나 이에 의해 구현될 수 있으며, 상기 구성요소 중 둘 이상은 하나의 단일 구성요소로 결합되어 결합된 둘 이상의 구성요소에 대한 모든 동작 또는 기능을 수행할 수 있다. 또한 본 발명에 적용된 적어도 하나 이상의 구성요소의 일부는, 이들 구성요소 중 다른 구성요소에 의해 수행될 수 있다. 또한 상기 구성요소들 간의 통신은 버스(미도시)를 통해 수행될 수 있다.
이처럼, 본 발명은 불완전한 의료영상이 입력되더라도, 상기 불완전한 의료영상과 매칭되는 적어도 하나 이상의 의료영상을 추정하고, 상기 추정한 의료영상을 토대로 상기 불완전한 의료영상을 복구하여, 상기 불완전한 의료영상의 신체부위에 대한 신체 사이즈를 정확하게 측정할 수 있도록 하는 효과가 있다.
이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.
100: 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 110: 의료영상 수집부
120: 특징점 학습부 130: 의료영상 입력부
140: 의료영상 복구부 150: 신체 사이즈 측정부
160: 의료영상 추정부 161: 특징점 인식부
162: 의료영상 추출부 163: 유사도 계산부
164: 특징점 확인부 165: 좌표 변환부
200: 사용자 단말 300: 의료영상 프로바이더
400: 데이터베이스
120: 특징점 학습부 130: 의료영상 입력부
140: 의료영상 복구부 150: 신체 사이즈 측정부
160: 의료영상 추정부 161: 특징점 인식부
162: 의료영상 추출부 163: 유사도 계산부
164: 특징점 확인부 165: 좌표 변환부
200: 사용자 단말 300: 의료영상 프로바이더
400: 데이터베이스
Claims (14)
- 신체부위 중 일부가 손상되거나 가려진 비정상부분과 상기 비정상부분 이외의 정상부분을 포함하는 불완전한 의료영상에 매칭되는 의료영상을 추정하는 의료영상 추정부;
상기 불완전한 의료영상의 비정상부분에 대응하는 상기 추정한 의료영상의 신체부분에 대해 확인한 적어도 하나 이상의 특징점의 좌표를 상기 비정상부분에 투영하여 상기 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점과 상기 비정상부분에 대해 투영한 특징점을 통합하여 복구하는 의료영상 복구부; 및
상기 비정상부분을 복구한 의료영상에서 상기 통합한 특징점을 서로 연결하여, 신체 사이즈를 측정하는 신체 사이즈 측정부;를 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치. - 청구항 1에 있어서,
상기 의료영상 추정부는,
상기 불완전한 의료영상의 신체부위와 대칭되는 신체부위에 대한 사용자의 의료영상을 추출하여 상기 불완전한 의료영상에 매칭되는 의료영상을 추정하는 것을 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치. - 청구항 1에 있어서,
상기 의료영상 추정부는,
상기 불완전한 의료영상의 정상부분으로 복수의 익명화된 개인별 의료영상의 해당 부분과 가장 근접하게 매칭되는 의료영상을 추출하여 비정상부분의 의료영상을 추정하는 것을 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치. - 청구항 1에 있어서,
상기 의료영상 추정부는,
상기 불완전한 의료영상의 신체부위와 대칭하는 신체부위에 매칭되는 복수의 익명화된 개인별 의료영상을 추출하여 상기 불완전한 의료영상을 추정하는 것을 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치. - 청구항 2에 있어서,
상기 신체 사이즈 측정 장치는,
복수의 익명화된 개인별 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하는 학습모델을 생성하는 특징점 학습부;를 더 포함하며,
상기 의료영상 추정부는,
상기 불완전한 의료영상의 신체부위에 따른 적어도 하나 이상의 학습모델을 선택하고, 상기 불완전한 의료영상을 상기 선택한 적어도 하나 이상의 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식부;
상기 불완전한 의료영상의 신체부위와 대칭하는 사용자의 의료영상을 추출하는 의료영상 추출부;
상기 추출한 사용자의 의료영상을 대칭되는 신체부위에 대한 좌표로 변환하는 좌표 변환부; 및
상기 대칭되는 신체부위에 대한 좌표로 변환한 상기 사용자의 의료영상에서 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인부;를 더 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치. - 청구항 3에 있어서,
상기 신체 사이즈 측정 장치는,
복수의 익명화된 개인별 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하는 학습모델을 생성하는 특징점 학습부;를 더 포함하며,
상기 의료영상 추정부는,
상기 불완전한 의료영상의 신체부위에 따른 적어도 하나 이상의 학습모델을 선택하고, 상기 불완전한 의료영상을 상기 선택한 적어도 하나 이상의 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식부;
상기 인식한 적어도 하나 이상의 특징점과 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출하는 의료영상 추출부;
상기 추출한 개인별 의료영상으로부터 상기 정상부분과 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 추출하여, 상기 정상부분에 대해 인식한 특징점과 상기 추출한 특징점에 대한 유사도를 계산하는 유사도 계산부; 및
상기 유사도를 계산한 결과, 상기 유사도가 가장 높은 특정 개인의 의료영상을 선택하여 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인부;를 더 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치. - 청구항 4에 있어서,
상기 신체 사이즈 측정 장치는,
복수의 익명화된 개인별 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하는 학습모델을 생성하는 특징점 학습부;를 더 포함하며,
상기 의료영상 추정부는,
상기 불완전한 의료영상을 대칭되는 신체부위에 대한 좌표로 변환하는 좌표 변환부;
상기 대칭되는 신체부위에 따라 적어도 하나 이상의 학습모델을 선택하고, 상기 대칭되는 신체부위에 대한 좌표로 변환한 불완전한 의료영상을 상기 선택한 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식부;
상기 인식한 적어도 하나 이상의 특징점과 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출하는 의료영상 추출부;
상기 추출한 개인별 의료영상으로부터 상기 정상부분에 대응하는 대한 적어도 하나 이상의 특징점을 추출하여, 상기 정상부분에 대해 인식한 특징점과 상기 추출한 특징점에 대한 유사도를 계산하는 유사도 계산부; 및
상기 유사도를 계산한 결과, 상기 유사도가 가장 높은 특정 개인의 의료영상을 선택하여 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인부;를 더 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치. - 신체부위 중 일부가 손상되거나 가려진 비정상부분과 상기 비정상부분 이외의 정상부분을 포함하는 불완전한 의료영상에 매칭되는 의료영상을 추정하는 의료영상 추정 단계;
상기 불완전한 의료영상의 비정상부분에 대응하는 상기 추정한 의료영상의 신체부분에 대해 확인한 적어도 하나 이상의 특징점의 좌표를 상기 비정상부분에 투영하여 상기 불완전한 의료영상의 정상부분에 대한 적어도 하나 이상의 특징점과 상기 비정상부분에 대해 투영한 특징점을 통합하여 복구하는 의료영상 복구 단계; 및
상기 비정상부분을 복구한 의료영상에서 상기 통합한 특징점을 서로 연결하여, 신체 사이즈를 측정하는 신체 사이즈 측정 단계;를 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 방법. - 청구항 8에 있어서,
상기 의료영상 추정 단계는,
상기 불완전한 의료영상의 신체부위와 대칭되는 신체부위에 대한 사용자의 의료영상을 추출하여 상기 불완전한 의료영상에 매칭되는 의료영상을 추정하는 것을 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 방법. - 청구항 8에 있어서,
상기 의료영상 추정 단계는,
상기 불완전한 의료영상의 정상부분으로 복수의 익명화된 개인별 의료영상의 해당 부분과 가장 근접하게 매칭되는 의료영상을 추출하여 비정상부분의 의료영상을 추정하는 것을 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 방법. - 청구항 8에 있어서,
상기 의료영상 추정 단계는,
상기 불완전한 의료영상의 신체부위와 대칭하는 신체부위에 매칭되는 복수의 익명화된 개인별 의료영상을 추출하여 상기 불완전한 의료영상을 추정하는 것을 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 방법. - 청구항 9에 있어서,
상기 신체 사이즈 측정 방법은,
복수의 익명화된 개인별 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하는 학습모델을 생성하는 특징점 학습 단계;를 더 포함하며,
상기 의료영상 추정 단계는,
상기 불완전한 의료영상의 신체부위에 따른 적어도 하나 이상의 학습모델을 선택하고, 상기 불완전한 의료영상을 상기 선택한 적어도 하나 이상의 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식 단계;
상기 불완전한 의료영상의 신체부위와 대칭하는 사용자의 의료영상을 추출하는 의료영상 추출 단계;
상기 추출한 사용자의 의료영상을 대칭되는 신체부위에 대한 좌표로 변환하는 좌표 변환 단계; 및
상기 대칭되는 신체부위에 대한 좌표로 변환한 상기 사용자의 의료영상에서 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인 단계;를 더 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 방법. - 청구항 10에 있어서,
상기 신체 사이즈 측정 방법은,
복수의 익명화된 개인별 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하는 학습모델을 생성하는 특징점 학습 단계;를 더 포함하며,
상기 의료영상 추정 단계는,
상기 불완전한 의료영상의 신체부위에 따른 적어도 하나 이상의 학습모델을 선택하고, 상기 불완전한 의료영상을 상기 선택한 적어도 하나 이상의 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식 단계;
상기 인식한 적어도 하나 이상의 특징점과 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출하는 의료영상 추출 단계;
상기 추출한 개인별 의료영상으로부터 상기 정상부분과 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 추출하여, 상기 정상부분에 대해 인식한 특징점과 상기 추출한 특징점에 대한 유사도를 계산하는 유사도 계산 단계; 및
상기 유사도를 계산한 결과, 상기 유사도가 가장 높은 특정 개인의 의료영상을 선택하여 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인 단계;를 더 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 방법. - 청구항 11에 있어서,
상기 신체 사이즈 측정 방법은,
복수의 익명화된 개인별 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 좌표와 레이블을 학습하는 학습모델을 생성하는 특징점 학습 단계;를 더 포함하며,
상기 의료영상 추정 단계는,
상기 불완전한 의료영상을 대칭되는 신체부위에 대한 좌표로 변환하는 좌표 변환 단계;
상기 대칭되는 신체부위에 따라 적어도 하나 이상의 학습모델을 선택하고, 상기 대칭되는 신체부위에 대한 좌표로 변환한 불완전한 의료영상을 상기 선택한 학습모델에 적용하여, 상기 정상부분에 대한 적어도 하나 이상의 특징점을 인식하는 특징점 인식 단계;
상기 인식한 적어도 하나 이상의 특징점과 매칭되는 적어도 하나 이상의 익명화된 개인별 의료영상을 추출하는 의료영상 추출 단계;
상기 추출한 개인별 의료영상으로부터 상기 정상부분에 대응하는 대한 적어도 하나 이상의 특징점을 추출하여, 상기 정상부분에 대해 인식한 특징점과 상기 추출한 특징점에 대한 유사도를 계산하는 유사도 계산 단계; 및
상기 유사도를 계산한 결과, 상기 유사도가 가장 높은 특정 개인의 의료영상을 선택하여 상기 비정상부분에 대응하는 신체부분에 대한 적어도 하나 이상의 특징점을 확인하는 특징점 확인 단계;를 더 포함하는 것을 특징으로 하는 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200027570A KR102363721B1 (ko) | 2020-03-05 | 2020-03-05 | 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200027570A KR102363721B1 (ko) | 2020-03-05 | 2020-03-05 | 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210112509A true KR20210112509A (ko) | 2021-09-15 |
| KR102363721B1 KR102363721B1 (ko) | 2022-02-16 |
Family
ID=77793158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200027570A KR102363721B1 (ko) | 2020-03-05 | 2020-03-05 | 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102363721B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060097074A (ko) * | 2005-03-02 | 2006-09-13 | 삼성전자주식회사 | 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법 |
| KR20130090740A (ko) * | 2012-02-06 | 2013-08-14 | 삼성메디슨 주식회사 | 영상 처리 장치 및 방법 |
| KR20200019198A (ko) * | 2017-06-16 | 2020-02-21 | 퍼킨엘머 셀룰러 테크놀로지스 저머니 게엠베하 | 뼈를 따르는 인공 랜드마크를 이용한 3차원 영상들의 자동화된 왜곡 정정 및/또는 상호-정합을 위한 시스템 및 방법 |
-
2020
- 2020-03-05 KR KR1020200027570A patent/KR102363721B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060097074A (ko) * | 2005-03-02 | 2006-09-13 | 삼성전자주식회사 | 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법 |
| KR20130090740A (ko) * | 2012-02-06 | 2013-08-14 | 삼성메디슨 주식회사 | 영상 처리 장치 및 방법 |
| KR20200019198A (ko) * | 2017-06-16 | 2020-02-21 | 퍼킨엘머 셀룰러 테크놀로지스 저머니 게엠베하 | 뼈를 따르는 인공 랜드마크를 이용한 3차원 영상들의 자동화된 왜곡 정정 및/또는 상호-정합을 위한 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102363721B1 (ko) | 2022-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11763603B2 (en) | Physical activity quantification and monitoring | |
| US8768018B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| CA2602218C (en) | Method and system for characterization of knee joint morphology | |
| EP2365471B1 (en) | Diagnosis assisting apparatus, coronary artery analyzing method and recording medium having a coronary artery analzying program stored therein | |
| US20200151871A1 (en) | Application of deep learning for medical imaging evaluation | |
| WO2008087556A2 (en) | Image processing systems and methods | |
| CN103324853A (zh) | 基于医学图像特征的相似度计算***及方法 | |
| CN110853111A (zh) | 医学影像处理***、模型训练方法及训练装置 | |
| WO2022206025A1 (zh) | 生物力学建模方法、装置、电子设备及存储介质 | |
| Boisvert et al. | Articulated spine models for 3-D reconstruction from partial radiographic data | |
| CN113610145A (zh) | 模型训练方法、图像预测方法、训练***及存储介质 | |
| Reyes et al. | Automatic digital biometry analysis based on depth maps | |
| Li et al. | Multi-modal cardiac function signals classification algorithm based on improved DS evidence theory | |
| Liang et al. | The reliability and validity of gait analysis system using 3D markerless pose estimation algorithms | |
| Zhu et al. | Dual-channel cascade pose estimation network trained on infrared thermal image and groundtruth annotation for real-time gait measurement | |
| KR102363721B1 (ko) | 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법 | |
| JP2019046057A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN115578789A (zh) | 脊柱侧弯检测装置、***及计算机可读存储介质 | |
| US11786202B2 (en) | Method, system, and medium for analyzing image sequence of periodic physiological activity | |
| TW202206031A (zh) | 利用深度學習分析髖關節狀態的方法及電子系統 | |
| JP7178910B2 (ja) | 情報処理装置、医用画像処理装置、およびプログラム | |
| Chen et al. | Annotation-guided encoder-decoder network for bone extraction in ultrasound-assisted orthopedic surgery | |
| KR102382678B1 (ko) | 서로 다른 모달리티의 의료영상을 통합하여 정밀하게 신체 사이즈를 측정하는 방법 및 그 장치 | |
| KR102374275B1 (ko) | 서로 다른 모달리티의 의료영상을 정합하여 신체 사이즈를 측정하는 방법 및 그 장치 | |
| KR102672531B1 (ko) | 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |