KR102666052B1 - 연하장애 환자용 비디오형광투시 분석 장치 및 방법 - Google Patents
연하장애 환자용 비디오형광투시 분석 장치 및 방법 Download PDFInfo
- Publication number
- KR102666052B1 KR102666052B1 KR1020210135149A KR20210135149A KR102666052B1 KR 102666052 B1 KR102666052 B1 KR 102666052B1 KR 1020210135149 A KR1020210135149 A KR 1020210135149A KR 20210135149 A KR20210135149 A KR 20210135149A KR 102666052 B1 KR102666052 B1 KR 102666052B1
- Authority
- KR
- South Korea
- Prior art keywords
- hyoid bone
- cervical vertebrae
- frame
- food
- image
- Prior art date
Links
- 208000019505 Deglutition disease Diseases 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims description 25
- 210000003823 hyoid bone Anatomy 0.000 claims abstract description 147
- 238000002594 fluoroscopy Methods 0.000 claims abstract description 58
- 238000004458 analytical method Methods 0.000 claims abstract description 49
- 238000005259 measurement Methods 0.000 claims abstract description 33
- 230000009747 swallowing Effects 0.000 claims abstract description 25
- 230000002123 temporal effect Effects 0.000 claims abstract description 20
- 241000167880 Hirundinidae Species 0.000 claims abstract description 12
- 210000000988 bone and bone Anatomy 0.000 claims description 14
- 210000003238 esophagus Anatomy 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 210000000867 larynx Anatomy 0.000 claims description 4
- 238000004513 sizing Methods 0.000 claims description 3
- 210000002409 epiglottis Anatomy 0.000 claims description 2
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 210000004373 mandible Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000030814 Eating disease Diseases 0.000 description 1
- 208000019454 Feeding and Eating disease Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000014632 disordered eating Nutrition 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000010794 food waste Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000001184 pharyngeal muscle Anatomy 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4205—Evaluating swallowing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
- A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endocrinology (AREA)
- Gastroenterology & Hepatology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
연하장애 환자용 비디오형광투시 분석 장치에 있어서, 상기 장치는 피검사자가 음식물을 삼키는 동안의 비디오투시영상을 획득하는 영상획득부; 상기 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할하는 프레임생성부; 제1 프레임의 설골 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산하는 위치추적부; 상기 제2 프레임부터 제n 프레임까지 음식물을 추적하여 기도 관심영역(ROI)에 음식물이 있는지 여부를 판단하는, 흡인측정부; 및 상기 제n 프레임에서, 잔여물 측정 관심영역에 음식물이 있는지 여부를 판단하는, 잔여물측정부; 를 포함한다.
Description
본 발명은 연하장애 환자용 비디오형광투시 분석 장치 및 방법에 관한 것이다.
연하(삼킴, swallowing)는 짧은 시간 내에 구강에서부터 식도까지의 움직임이 정교하게 조절되어 음식물이 안전하고 효과적으로 위장까지 전달되도록 하는 복합적인 과정이며, 이를 위해 구강 및 인두근육들의 순차적이고 잘 조화된 수축, 이완을 필요로 한다. 이와 관련하여 연하장애(곤란)는 근신경 계통의 이상 또는 구강에서 상부식도에 이르는 구간의 구조적 이상으로 인해 발생하는 삼킴의 어려움을 말한다. 일반적으로, 삼킴장애 여부를 판독하기 위하여 비디오투시 연하검사(VFS, videofluoroscopic swallowing study)가 이루어진다. 기존의 연하장애 분석 툴은 각 프레임별로 각 요소들을 의료진이 수작업으로 마킹하였다. 특히 연하동안 설골(hyoid bone)의 움직임을 분석하기 위해서 설골과 목척추뼈를 매 프래임별로 마킹하여, 설골의 궤적을 계산하는 비효율을 초래하였다. 또한 기존 설골 추적 알고리즘은 턱에 대한 계산은 하지 않기 때문에 설골 위로 올라갈 경우 위치 추적의 에러가 얼마나 나는지 알 수 없는 문제점이 있었다.
본 발명은 상술한 문제점들을 해결하기 위한 것으로서, 비디오투시 영상으로부터 설골 및 목척추뼈의 이동 궤적 및 위치를 계산하고, 기도에 음식물이 넘어가는지 판단하는 흡인측정 및 삼킴 후 음식 잔여물을 측정하는 연하장애 환자용 비디오형광투시 분석 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에서는, 연하장애 환자용 비디오형광투시 분석 장치로서, 상기 장치는 피검사자가 음식물을 삼키는 동안의 비디오투시영상을 획득하는 영상획득부; 상기 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할하는 프레임생성부; 시작시점의 제1 프레임에는 설골(hyoid bone) 및 목척추뼈가 마킹된 것이고, 상기 제1 프레임의 설골 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산하는 위치추적부; 상기 제2 프레임부터 제n 프레임까지 음식물을 추적하여 기도 관심영역(ROI)에 음식물이 있는지 여부를 판단하는, 흡인측정부; 및 상기 제n 프레임에서, 잔여물 측정 관심영역에 음식물이 있는지 여부를 판단하는, 잔여물측정부; 를 포함할 수 있다.
일 실시예에서, 상기 위치추적부가 설골 및 목척추뼈를 추적하는 방법은, 상기 복수의 프레임을 LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘을 통해 설골 및 목척추뼈를 추적하는 제1 단계; 및 상기 복수의 프레임을 가우시안 필터링(Gaussian filtering)을 통해, SSD(sum square difference) 매칭 알고리즘을 사용하여 설골 및 목척추뼈를 추적하는 제2 단계; 중에서 에러가 적은 값을 최종적인 설골 및 목척추뼈의 위치로 계산할 수 있다.
일 실시예에서, 상기 상기 위치추적부가 설골 및 목척추뼈를 추적하는 제1 단계는, 상기 복수의 프레임을 LBP 및 MLBP 알고리즘을 통해 변환하고, 설골 및 목척추뼈에 대한 템플릿 모델을 생성하고, 변환된 프레임에서 설골 및 목척추 뼈 템플릿과 가장 유사한 부위를 교차상관(cross-correlation)의 파워값을 사용한 [수학식 1]로 계산하여 설골을 추적하고,
상기 [수학식 1]은,
이고, 상기 corrLBP 및 corrMLBP는 제1 프레임의 수동으로 추출된 설골의 이동 궤적과 자동으로 추출된 이동 궤적 사이의 상관계수이고, LBP(iH1, jH1) 및 MLBP(iH1, jH1)는 제1 프레임 내의 28x28 서브 영역 내의 픽셀(i, j)에 대한 LBP 및 MLBP 코드를 나타낼 수 있다.
일 실시예에서, 상기 위치추적부가 설골 및 목척추뼈를 추적하는 방법은 각각의 프레임의 설골 및 목척추뼈의 좌표를 매칭시키는 단계; 각각의 프레임별 설골 및 목척추뼈의 이동궤적을 그래프화하는 단계; 및 이동궤적 그래프로부터 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하는 단계; 를 더 포함할 수 있다.
일 실시예에서, 상기 위치추적부는 후두개를 더 추적하여 위치를 계산할 수 있다.
일 실시예에서, 상기 기도 관심영역은 베이스 관심영역에서 복수의 목척추뼈의 좌표와 거리가 멀고, 설골의 좌표와 가까운 위치를 포함하는 영역으로서, 상기 베이스 관심영역은 상기 위치추적부가 추적한 설골의 좌표, 제2 목척추뼈의 좌표, 제3 목척추뼈의 좌표 및 제4 목척추뼈의 좌표를 기초로 지정된 사각형의 영역일 수 있다.
일 실시예에서, 상기 잔여물 측정 관심영역은 상기 위치추적부가 추적한 설골의 좌표 및 목척추뼈의 좌표 사이의 영역으로서, 인후두 및 식도 입구일 수 있다.
일 실시예에서, 상기 흡인측정부 및 잔여물측정부가 음식물이 있는지 여부를 판단하는 것은 음식물의 부피를 기초로 판단하고, 상기 음식물의 부피는 음식물의 픽셀수로 계산되고, 상기 음식물의 픽셀수가 미리 지정된 픽셀수보다 큰 경우 음식물이 존재한다고 판단할 수 있다.
일 실시예에서, 음식물의 픽셀은 명도의 차이를 기초로 주변 픽셀에 비하여 어두운 픽셀을 의미하는 것일 수 있다.
일 실시예에서, 상기 잔여물측정부가 음식물의 픽셀수를 측정하는 것은 식도 크기 대비 잔여물의 양을 의미할 수 있다.
본 발명의 다른 실시예에서는, 연하장애 환자용 비디오형광투시 분석 장치로서, 상기 장치는 피검사자가 음식물을 삼키는 동안의 비디오투시영상을 획득하는 영상획득부; 상기 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할하는 프레임생성부; 상기 프레임생성부가 상기 영상을 복수의 프레임으로 분할하기 전에, 상기 피검사자의 목척추뼈의 길이를 측정하고, 상기 뼈의 크기를 기초로 상기 영상을 리사이즈(re-size)하는 전처리부; 를 포함할 수 있다.
일 실시예에서, 상기 목척추뼈는 3번일 수 있다.
일 실시예에서, 상기 영상에서 종료시점은, 시작시점으로부터 2초 내지 5초 사이의 시간이 흐른 후에 자동으로 지정되거나 사용자에 의하여 수동으로 지정될 수 있다.
본 발명의 다른 일 실시예에서, 연하장애 환자용 비디오형광투시 분석 방법로서, 상기 방법은 피검사자가 음식물을 삼키는 동안의 비디오투시 영상을 획득하는 영상획득단계; 상기 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할하는 프레임생성단계; 설골(hyoid bone) 및 목척추뼈가 마킹된 시작시점의 제1 프레임에서 설골(hyoid bone) 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산하는 위치추적단계; 상기 제2 프레임부터 제n 프레임까지 음식물을 추적하여 기도 관심영역(ROI)에 음식물이 있는지 여부를 판단하는 흡인측정단계; 및 상기 제n 프레임에서, 잔여물 측정 관심영역에 음식물이 있는지 여부를 판단하는 잔여물측정단계; 를 포함할 수 있다.
일 실시예에서, 상기 위치추적단계는, 상기 복수의 프레임을 LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘을 통해 설골 및 목척추뼈를 추적하는 제1 단계; 및 상기 복수의 프레임을 가우시안 필터링(Gaussian filtering)을 통해, SSD(sum square difference) 매칭 알고리즘을 사용하여 설골 및 목척추뼈를 추적하는 제2 단계; 중에서 에러가 적은 값을 최종적인 설골 및 목척추뼈의 위치로 계산할 수 있다.
일 실시예에서, 상기 위치추적단계는, 각각의 프레임의 설골 및 목척추뼈의 좌표를 매칭시키는 단계; 각각의 프레임별 설골 및 목척추뼈의 이동궤적을 그래프화하는 단계; 및 이동궤적 그래프로부터 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하는 단계; 를 더 포함할 수 있다.
일 실시예에서, 연하장애 환자용 비디오형광투시 분석 방법로서, 상기 방법은 피검사자가 음식물을 삼키는 동안의 비디오투시 영상을 획득하는 영상획득단계; 상기 피검사자의 목척추뼈의 길이를 측정하고, 상기 뼈의 크기를 기초로 상기 영상을 리사이즈(re-size)하는 전처리단계; 및 상기 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할하는 프레임생성단계; 를 포함할 수 있다.
일 실시예에서, 연하장애 환자용 비디오형광투시 분석 장치로서, 상기 장치는 피검사자가 음식물을 삼키는 동안의 비디오투시 영상을 획득하는 영상획득부; 및 사용자의 삼킴의 시작시점에 관한 입력을 수신하는 입력부; 및 상기 입력부로부터 시작시점에 관한 입력을 수신하면 미리 정해진 시간을 종료시점으로 자동으로 설정하는 종료시점 설정부; 를 포함할 수 있다.
이와 같은 연하장애 환자용 비디오형광투시 분석 장치 및 방법에 따르면, 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산함으로써, 의료진이 환자의 연하장애여부를 진단하는데 도움을 주고, 영상 판독으로 인한 비용과 시간을 절감할 수 있게 한다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 연하장애 환자용 비디오형광투시 분석 장치의 개략도이다.
도 2는, 본 발명의 일 실시예에 따른, 연하장애 환자용 비디오형광투시 분석 방법의 흐름도이다.
도 3은, 본 발명의 일 실시예에 따른, 위치추척단계의 세부 흐름도이다.
도 4a 및 도 4b는, 본 발명의 일 실시예에 따른, 획득한 영상을 리사이즈하고, 그레이스케일 및 엣지 이미지로 변환한 이미지이다.
도 5a 및 도 5b는, 본 발명의 일 실시예에 따른, 복수의 프레임을 LBP 및 MLBP알고리즘을 통해 설골 및 목척추뼈를 추적하는 과정을 도시하는 이미지이다.
도 6은, 본 발명의 일 실시예에 따른, 제2 프레임부터 제n 프레임까지 위치추적부가 자동으로 설골의 위치를 추적하는 과정을 도시하는 이미지이다.
도 7은, 본 발명의 일 실시예에 따른, 각 프레임별 설골의 좌표를 연결하여 설골의 이동궤적을 나타낸 그래프이다.
도 1은, 본 발명의 일 실시예에 따른, 연하장애 환자용 비디오형광투시 분석 장치의 개략도이다.
도 2는, 본 발명의 일 실시예에 따른, 연하장애 환자용 비디오형광투시 분석 방법의 흐름도이다.
도 3은, 본 발명의 일 실시예에 따른, 위치추척단계의 세부 흐름도이다.
도 4a 및 도 4b는, 본 발명의 일 실시예에 따른, 획득한 영상을 리사이즈하고, 그레이스케일 및 엣지 이미지로 변환한 이미지이다.
도 5a 및 도 5b는, 본 발명의 일 실시예에 따른, 복수의 프레임을 LBP 및 MLBP알고리즘을 통해 설골 및 목척추뼈를 추적하는 과정을 도시하는 이미지이다.
도 6은, 본 발명의 일 실시예에 따른, 제2 프레임부터 제n 프레임까지 위치추적부가 자동으로 설골의 위치를 추적하는 과정을 도시하는 이미지이다.
도 7은, 본 발명의 일 실시예에 따른, 각 프레임별 설골의 좌표를 연결하여 설골의 이동궤적을 나타낸 그래프이다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 항목 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 항목 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 본 발명의 일 실시예에 따른, 연하장애 환자용 비디오형광투시 분석 장치의 개략도이다.
도 1을 참조하면, 연하장애 환자용 비디오형광투시 분석 장치(이하, "비디오형광투시 분석장치")(1)는, 영상획득부(11), 프레임생성부(13), 위치추적부(15), 흡인측정부(17) 및 잔여물측정부(19)를 포함할 수 있다.
본 발명의 일 실시예에서, 영상획득부(11)는 피검사자가 음식물을 삼키는 동안의 비디오투시영상을 획득한다. 비디오투시 영상은 피검사자의 신체 조직의 움직임을 확인할 수 있는 영상으로서, 이때 신체 조직은 구강, 인두, 식도, 후두 또는 기관 중 적어도 하나일 수 있다. 또한 비디오투시 영상은 X선을 이용하는 X-ray 영상뿐만 아니라 자기공명영상(MRI) 등을 포함할 수 있다.
비디오투시 영상 촬영 시 피검사자는 조영제를 포함하는 음식물을 섭취할 수 있다. 이것은 비디오투시 영상 내에서 음식물의 위치를 보다 명확하게 표시하기 위함이다.
프레임생성부(13)는 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할한다.
프레임생성부(13)는 상기 영상을 삼킴의 시작시점인 제1 프레임으로부터 삼킴의 종료시점인 제n 프레임까지 복수의 프레임으로 분할한다.
본 발명의 일 실시예에서, 비디오형광투시 분석장치(1)는 전처리부를 더 포함할 수 있다. 상기 전처리부는 상기 프레임생성부(13)가 상기 영상을 복수의 프레임으로 분할하기 전에, 상기 피검사자의 목척추뼈 3번의 길이를 측정하고, 상기 뼈의 크기를 기초로 상기 영상을 리사이즈(re-size)할 수 있다. 기존의 x-ray 영상에서 연하 장애 여부를 판단할 때, 정량적인 수치 값을 나타내기 위해 동전의 크기를 계산해야 했다. 즉, 동전을 피검사자의 턱에 부착하고, 영상 내에서 동전의 픽셀수를 센티미터로 변환하여 계산하고, 상기 동전의 크기를 기초로 복수의 피검사자의 영상을 동일한 크기로 리사이즈하여 각각의 설골의 위치를 추적하였다. 일 실시예에서, 동전을 부착하지 않는 경우, 피검사자의 목척추뼈 3번의 길이를 측정하고, 상기 뼈의 크기를 기초로 상기 영상을 리사이즈(re-size)할 수 있다. 목척추뼈 3번은 비디오형광투시 영상에서 다른 뼈에 비하여 비교적 선명하므로, 목척추뼈 3번의 크기를 기초로 영상을 리사이즈한 후에, 정량적인 지표들을 추출할 수 있다. 비디오형광투시 분석장치(1)의 전처리부는 피검사자의 턱에 부착된 동전의 크기를 기초로 영상을 리사이즈하거나, 목척추뼈 3번의 길이를 측정하고 상기 뼈의 크기를 기초로 영상을 리사이즈할 수 있다.
일 실시예에서, 상기 영상에서 종료시점은, 시작시점으로부터 2초 내지 5초 사이의 시간이 흐른 후에 자동으로 지정되거나, 사용자에 의하여 수동으로 지정될 수 있다.
위치추적부(15)는 각 프레임별로 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산한다. 시작시점의 제1 프레임에는 사용자에 의하여, 설골(hyoid bone) 및 목척추뼈가 마킹될 수 있다. 위치추적부(15)는 제1 프레임의 설골 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산한다.
흡인측정부(17)는 매프레임마다 음식물을 추적하여 기도 관심영역(ROI)에 음식물이 있는지 여부를 판단하고, 음식물의 부피를 측정한다. 상기 흡인은 기도로 음식물이 흘러 들어가는 경우를 의미한다. 매프레임마다 상기 기도 관심영역은 베이스 관심영역에서 복수의 목척추뼈의 좌표와 거리가 멀고, 설골의 좌표와 가까운 위치를 포함하는 영역으로서, 상기 베이스 관심영역은 상기 위치추적부가 추적한 설골의 좌표, 제2 목척추뼈의 좌표, 제3 목척추뼈의 좌표 및 제4 목척추뼈의 좌표를 기초로 지정된 사각형의 영역이다.
흡인측정부(17)는 음식물이 기도 관심영역을 지나갈 때 매프레임마다 음식물이 있는지 여부를 판단하고, 음식물이 있는지 여부를 판단하는 것은 음식물의 부피를 기초로 판단할 수 있다.
일 실시예에서, 상기 음식물의 부피는 픽셀수로 계산될 수 있고, 상기 음식물의 픽셀수가 미리 지정된 픽셀수보다 큰 경우 음식물이 존재한다고 판단할 수 있다.
잔여물측정부(19)는 상기 제n 프레임에서, 잔여물 측정 관심영역에 음식물이 있는지 여부를 판단한다. 상기 잔여물 측정 관심영역은 위치추적부(15)가 추적한 설골의 좌표 및 목척추뼈의 좌표 사이의 영역으로서, 인후두 및 식도 입구이다.
잔여물측정부(19)가 음식물이 있는지 여부를 판단하는 것은 흡인측정부(17)와 마찬가지로 음식물의 부피를 기초로 판단할 수 있다.
일 실시예에서, 상기 음식물의 부피는 픽셀수로 계산될 수 있고, 상기 음식물의 픽셀수가 미리 지정된 픽셀수보다 큰 경우 음식물이 존재한다고 판단할 수 있다.
흡인측정부(17) 및 잔여물측정부(19)가 음식물이 있는지 여부를 판단할 경우, 음식물의 픽셀은 명도의 차이를 기초로 주변 픽셀에 비하여 어두운 픽셀을 의미할 수 있다.
일 실시예에서, 상기 잔여물측정부(19)가 음식물의 픽셀수를 측정하는 것은 식도 크기 대비 잔여물의 양을 의미할 수 있다.
일 실시예에서, 상기 비디오형광투시 분석 장치(1)는 사용자의 삼킴의 시작시점에 관한 입력을 수신하는 입력부 및 상기 입력부로부터 시작시점에 관한 입력을 수신하면 미리 정해진 시간을 종료시점으로 자동으로 설정하는 종료시점 설정부를 더 포함할 수 있다.
프레임생성부(13)에 의하여 분할된 상기 복수의 프레임은 그레이스케일(gray-scale) 이미지로 변환하고, 엣지(edge) 검출 알고리즘을 적용함으로써 각 프레임의 엣지가 추출되는 사전처리 과정을 거칠 수 있다.
시작시점의 제1 프레임에는 설골(hyoid bone) 및 목척추뼈가 마킹된 것이고, 위치추적부(15)는 상기 제1 프레임의 설골 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산한다.
도 2는, 본 발명의 일 실시예에 따른, 연하장애 환자용 비디오형광투시 분석 방법의 흐름도이다.
본 발명의 다른 일 측면에 따른 연하장애 환자용 비디오형광투시 분석 방법("이하, 비디오형광투시 분석 방법")은 프로세서를 포함한 컴퓨팅 장치에 의해 수행된다. 상기 프로세서를 포함한 컴퓨팅 장치는, 예를 들어 상기 비디오형광투시 분석 장치(1) 또는 일부 구성요소(예컨대, 영상획득부(11), 프레임생성부(13), 위치추적부(15), 흡인측정부(17), 잔여물측정부(19) 및 전처리부)에 의해 수행되거나, 또는 다른 컴퓨팅 장치에 의해 수행될 수도 있다.
비디오형광투시 분석 방법은, 피검사자가 음식물을 삼키는 동안의 비디오투시 영상을 획득하는 영상획득단계(S21), 상기 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할하는 프레임생성단계(S23), 설골(hyoid bone) 및 목척추뼈가 마킹된 시작시점의 제1 프레임에서 설골(hyoid bone) 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산하는 위치추적단계(S25), 제2 프레임부터 제n 프레임까지 음식물을 추적하여 기도 관심영역(ROI)에 음식물이 있는지 여부를 판단하는 흡인측정단계(S27) 및 제n 프레임에서, 잔여물 측정 관심영역에 음식물이 있는지 여부를 판단하는 잔여물측정단계(S29)를 포함할 수 있다. 추가적으로, 비디오형광투시 분석 방법은 상기 프레임생성단계(S23) 이전에 상기 피검사자의 목척추뼈의 길이를 측정하고, 상기 뼈의 크기를 기초로 상기 영상을 리사이즈(re-size)하는 전처리단계를 더 포함할 수 있다.
이하, 설명의 명료성을 위해서, 상기 비디오형광투시 분석 방법이 상기 비디오형광투시 분석 장치(1)에 의해 수행되는 실시예들로 본 발명을 보다 상세하게 서술한다.
도 3은, 본 발명의 일 실시예에 따른, 위치추적부가 설골 및 목척추뼈를 추적하는 위치추척방법의 세부 흐름도이다.
도 3을 참조하면, 상기 위치추적부(15)가 설골 및 목척추뼈를 추적하는 방법은, 프레임생성부(13)에 의하여 분할된 복수의 프레임을 LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘을 통해 설골 및 목척추뼈를 추적하는 제1 단계(S351); 및 상기 복수의 프레임을 가우시안 필터링(Gaussian filtering)을 통해, SSD(sum square difference) 매칭 알고리즘을 사용하여 설골 및 목척추뼈를 추적하는 제2 단계(S352)를 수행할 수 있다. 상기 목척추뼈는 제3 목척추뼈 및 제4 목척추뼈를 포함할 수 있다.
위치추적부의 추적 기능이 활성화되면, 검사자가 시작시점으로 선택한 제1 프레임의 화면이 디스플레이상에 팝업되고, 검사자는 설골 최좌측 지점(HB(1)), 제3 목척추뼈(V3(1)) 및 제4목척추뼈(V4(1))의 좌측 하부 코너 지점의 기준 위치를 수동으로 마킹하도록 요청받는다. 제2 프레임 이후부터, 제n 프레임(n = 2, 3...)에서의 V3(n) 및 V4(n)의 위치들은 V3(n-1) 및 V4(n-1)의 위치에 기초하여 반복적으로 계산된다.
설골은 피검사자가 음식물을 삼키는 동안 빠르게 움직이기 때문에, 일부 프레임에서 흐릿해질수 있다. 또한, 설골의 경계는 주변 뼈에 의해(특히, 일부 식장애 환자에서는, 설골이 연하동안 비디오형광투시 영상에서 하악골과 부분적으로 또는 전체적으로 중첩될 수 있다.) 왜곡될 수 있다. 따라서, 설골의 최좌측 포인트(HB(n))를 추적을 위한 타겟으로 설정하였다. 제2 프레임 이후부터, 제 n 프레임에서의 V3(n) 및 V4(n) 및 HB(n) 값은 LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘 둘다에 기초하여 구현될 수 있다. LBP 및 MLBP 알고리즘과 관련해서는, 후술할 도 5a 및 도 5b를 참조하여 상세히 설명한다.
일 실시예에서, 설골 추적 알고리즘으로서 SSD(sum square difference) 매칭 알고리즘을 기초하여 구현될 수 있다. SSD 알고리즘을 이용할 경우, 생성된 복수의 프레임을 그레이스케일(gray-scale) 이미지로 변환하거나 각 프레임의 엣지가 추출되는 사전처리 과정을 수행하지 않고 가우시안 필터링을 통해 설골 및 목척추뼈를 추적할 수 있다. SSD 알고리즘은 이전 프레임과 현재 프레임의 차영상 사이의 합 제곱 차이의 매칭을 통해, 설골 및 목척추뼈를 추적한다.
일 실시예에서, 위치추적부(15)는 상기 LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘을 통해 설골 및 목척추뼈를 찾는 제1 단계 및 SSD(sum square difference) 매칭 알고리즘을 통해 설골 및 목척추뼈를 찾는 제2 단계 중에서 에러가 적은 값을 최종적인 설골 및 목척추뼈의 위치로 계산할 수 있다.
도 4a 및 도 4b는, 본 발명의 일 실시예에 따른, 획득한 영상을 리사이즈하고, 그레이스케일 및 엣지 이미지로 변환한 이미지이다.
LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘을 통해 설골 및 목척추뼈를 추적하기 전, 프레임생성부(13)에 의하여 분할된 프레임을 그레이스케일 및 엣지 처리를 통해, 각 부위의 경계선을 뚜렷하게 하여 설골 및 목척추뼈를 추적하기 쉽게 할 수 있다. 또한, 상기 프레임생성부(13)가 상기 영상을 복수의 프레임으로 분할하기 전에, 전처리부는 상기 피검사자의 목척추뼈 3번의 길이를 측정하고, 상기 뼈의 크기를 기초로 상기 영상을 리사이즈(re-size)할 수 있다.
도 5a 및 도 5b는, 본 발명의 일 실시예에 따른, 복수의 프레임을 LBP 및 MLBP알고리즘을 통해 설골 및 목척추뼈를 추적하는 과정을 도시하는 이미지이다.
도 5a 및 도 5b를 참조하면, 제1 프레임으로부터 좌측 상단 코너가 (iH1 - 7, jH1 - 14)고, 우측 하단 코너가 (iH1 + 20, jH1 - 14)인 직사각형 윈도우(window)[28 x 28 픽셀, HB(1)를 포함함]을 추출하고, 이 기준 윈도우의 LBP 및 MLBP의 모델 및 LBP 및 MLBP의 모델의 히스토그램을 계산한다. 설골 및 목척추뼈에 대한 템플릿 모델을 생성하고, 변환된 프레임에서 설골 및 목척추 뼈 템플릿과 가장 유사한 부위를 교차상관(cross-correlation)의 파워값을 사용한 [수학식 1]로 계산하여 설골을 추적하고, 상기 [수학식 1]은,
[수학식 1]
이고, 상기 corrLBP 및 corrMLBP는 제1 프레임의 수동으로 추출된 설골의 이동 궤적과 자동으로 추출된 이동 궤적 사이의 상관계수이고, LBP(iH1, jH1) 및 MLBP(iH1, jH1)는 제1 프레임 내의 28 x 28 서브 영역 내의 픽셀(i, j)에 대한 LBP 및 MLBP 코드를 나타낸다. 제2 프레임 이후로부터, HB(n)를 계산하기 전에, 설골 및 하악골 중첩 여부를 체크한다. 제n 번째 프레임으로부터, 80 x 80개의 검색 윈도우가 추출되고, 검색 윈도우로부터 2809개의 28 x 28 하위 행렬들이 검색 윈도우의 좌측 위로부터 우측 아래까지 순차적으로 선택된다. 그 후, LBP/MLBP 모델 및 LBP/MLBP 모델의 히스토그램이 각각의 하위 행렬에서 계산된다.
n번째 프레임의 모든 서브영역들에 대해 전체 모델들 및 히스토그램들이 계산된 후, 2809 개의 서브 면적들 각각과 기준 윈도우(제1 프레임으로부터) 사이의 픽색 대 픽셀 유클리드 거리들이 합산이 가정되었고, 위치 HB(n)는, 거리 합산이 최소였던 서브영역에 HB(n)가 포함될 것이라는 가정에 기초하여 이들 합산의 값들을 비교함으로써 결정되었다. 예를 들어, 거리 합계가 K번째 서브영역에서 최소였고, K번째 서브영역의 좌측 상부 위치가 (iHn, jHn)이었으면, HB(n)은 (iHn + 7, jHn + 14)인 것으로 결정되었다.
도 6은, 본 발명의 일 실시예에 따른, 제2 프레임부터 제n 프레임까지 위치추적부가 자동으로 설골의 위치를 추적하는 과정을 도시하는 이미지이다.
a에서, 검사자에 의하여 시작시점의 제1 프레임에 설골(hyoid bone), 제3 목척추뼈 및 제4 목척추뼈가 마킹된 것이고, 상기 제1 프레임의 설골 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지인 b~h에서 위치추적부는 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산한다.
도 7은, 본 발명의 일 실시예에 따른, 각 프레임별 설골의 좌표를 연결하여 이동궤적으로 나타낸 그래프이다.
다시 도 3을 참조하면, 상기 위치추적부(15)가 설골 및 목척추뼈를 추적하는 방법은 각각의 프레임의 설골, 목척추뼈의 좌표를 매칭시키는 단계(S353), 각각의 프레임별 설골 및 목척추뼈의 이동궤적을 그래프화하는 단계(S354) 및 이동궤적 그래프로부터 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하는 단계(S355)를 더 포함할 수 있다.
도 7을 참조하면, 상기 좌표를 매칭시키는 단계(S353) 및 각 프레임별 설골 및 목척추뼈의 이동궤적을 그래프화하는 단계(S354)는 제1 프레임으로부터 V3(1)-V4(1) 벡터(제1 벡터)를 추출하고, 제n 프레임으로부터 V3(n)-V4(n) 벡터(제n 번째 벡터)를 추출하고(n= 2, 3 ...), 제n 벡터의 방향이 제1 벡터와 매칭되도록 제n 벡터를 회전시키고, 회전된 제n 벡터는 V4(1) 및 V4(n)의 위치가 매칭되도록 이동시킨다. 이어서, 설골의 2D 이동 궤적을 조정된 HB(n) 값을 사용하여 그린다. 도 7에 도시된 A 지점은 시작시점, B 지점은 최상점, C 지점은 최좌점, D 지점은 종료시점을 나타낸다.
위치추적부(15)는 설골의 2D 이동 궤적 그래프를 기초로, 시간적 및 운동학적 파라미터들을 자동으로 추출할 수 있다. 상기 파라미터는 A 지점과 B 지점 사이의 Y축차(VA), A 지점과 D 지점 사시의 Y축차(VB), A 지점과 C 지점 사이의 Y축차(VC), B 지점과 D 지점 사시의 Y축차(VD), A 지점과 B 지점 사이의 X축차(HA), A 지점과 D 지점 사이의 X축차(HB), A 지점과 C 지점 사이의 X축차(HC), A 지점과 B 지점 사이의 지속 시간(TA), A 지점과 C 지점 사이의 지속 시간(TB), A 지점과 D 지점 사이의 지속 시간(TC), 설골이 C 지점 부근에 머무르는 동안의 시간 간격(TD) 이다. 상기 TD는 임상 평가에 기초하여, C 지점으로부터 X축으로 2mm 내에 설골이 머무르는 기간으로서 정의될 수 있다.
이와 같은 연하장애 환자용 비디오형광투시 분석 장치 및 방법에 따르면, 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산함으로써, 의료진이 환자의 연하장애여부를 진단하는데 도움을 주고, 영상 판독으로 인한 비용과 시간을 절감할 수 있게 한다.
이상에서 설명한 실시예들에 따른 연하장애 환자용 비디오형광투시 분석 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
본 발명의 다른 일 측면에 따른 연하장애 환자용 비디오형광투시 분석 방법은 프로세서를 포함한 컴퓨팅 장치에 의해 수행될 수 있다. 상기 컴퓨팅 장치는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영 체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
Claims (18)
- 연하장애 환자용 비디오형광투시 분석 장치로서,
피검사자가 음식물을 삼키는 동안의 비디오투시영상을 획득하는 영상획득부;
상기 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할하는 프레임생성부;
시작시점의 제1 프레임에는 설골(hyoid bone) 및 목척추뼈가 마킹된 것이고, 상기 제1 프레임의 설골 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산하는 위치추적부;
상기 제2 프레임부터 제n 프레임까지 음식물을 추적하여 기도 관심영역(ROI)에 음식물이 있는지 여부를 판단하는, 흡인측정부; 및
상기 제n 프레임에서, 잔여물 측정 관심영역에 음식물이 있는지 여부를 판단하는, 잔여물측정부; 를 포함하고,
상기 위치추적부가 설골 및 목척추뼈를 추적하는 방법은,
상기 복수의 프레임을 LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘을 통해 설골 및 목척추뼈를 추적하는 제1 단계; 및
상기 복수의 프레임을 가우시안 필터링(Gaussian filtering)을 통해, SSD(sum square difference) 매칭 알고리즘을 사용하여 설골 및 목척추뼈를 추적하는 제2 단계; 중에서 에러가 적은 값을 최종적인 설골 및 목척추뼈의 위치로 계산하는, 연하장애 환자용 비디오형광투시 분석 장치.
- 삭제
- 제1항에 있어서,
상기 상기 위치추적부가 설골 및 목척추뼈를 추적하는 제1 단계는,
상기 복수의 프레임을 LBP 및 MLBP 알고리즘을 통해 변환하고,
설골 및 목척추뼈에 대한 템플릿 모델을 생성하고, 변환된 프레임에서 설골 및 목척추 뼈 템플릿과 가장 유사한 부위를 교차상관(cross-correlation)의 파워값을 사용한 [수학식 1]로 계산하여 설골을 추적하고,
상기 [수학식 1]은,
이고,
상기 corrLBP 및 corrMLBP는 제1 프레임의 수동으로 추출된 설골의 이동 궤적과 자동으로 추출된 이동 궤적 사이의 상관계수이고, LBP(iH1, jH1) 및 MLBP(iH1, jH1)는 제1 프레임 내의 28x28 서브 영역 내의 픽셀(i, j)에 대한 LBP 및 MLBP 코드를 나타내는, 연하장애 환자용 비디오형광투시 분석 장치.
- 제1항에 있어서,
상기 위치추적부가 설골 및 목척추뼈를 추적하는 방법은
각각의 프레임의 설골 및 목척추뼈의 좌표를 매칭시키는 단계;
각각의 프레임별 설골 및 목척추뼈의 이동궤적을 그래프화하는 단계; 및
이동궤적 그래프로부터 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하는 단계; 를 더 포함하는, 연하장애 환자용 비디오형광투시 분석 장치.
- 제1항에 있어서,
상기 위치추적부는 후두개를 더 추적하여 위치를 계산하는, 연하장애 환자용 비디오형광투시 분석 장치.
- 제1항에 있어서,
상기 기도 관심영역은 베이스 관심영역에서 복수의 목척추뼈의 좌표와 거리가 멀고, 설골의 좌표와 가까운 위치를 포함하는 영역으로서, 상기 베이스 관심영역은 상기 위치추적부가 추적한 설골의 좌표, 제2 목척추뼈의 좌표, 제3 목척추뼈의 좌표 및 제4 목척추뼈의 좌표를 기초로 지정된 사각형의 영역인, 연하장애 환자용 비디오형광투시 분석 장치.
- 제1항에 있어서,
상기 잔여물 측정 관심영역은 상기 위치추적부가 추적한 설골의 좌표 및 목척추뼈의 좌표 사이의 영역으로서, 인후두 및 식도 입구인, 연하장애 환자용 비디오형광투시 분석 장치.
- 제1항에 있어서,
상기 흡인측정부 및 잔여물측정부가 음식물이 있는지 여부를 판단하는 것은 음식물의 부피를 기초로 판단하고,
상기 음식물의 부피는 음식물의 픽셀수로 계산되고,
상기 음식물의 픽셀수가 미리 지정된 픽셀수보다 큰 경우 음식물이 존재한다고 판단하는, 연하장애 환자용 비디오형광투시 분석 장치.
- 제8항에 있어서,
음식물의 픽셀은 명도의 차이를 기초로 주변 픽셀에 비하여 어두운 픽셀을 의미하는 것인, 연하장애 환자용 비디오형광투시 분석 장치.
- 제8항에 있어서,
상기 잔여물측정부가 음식물의 픽셀수를 측정하는 것은 식도 크기 대비 잔여물의 양을 의미하는 것인, 연하 장애 환자용 비디오형광투시 분석 장치.
- 연하장애 환자용 비디오형광투시 분석 장치로서,
피검사자가 음식물을 삼키는 동안의 비디오투시영상을 획득하는 영상획득부;
상기 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할하는 프레임생성부;
상기 프레임생성부가 상기 영상을 복수의 프레임으로 분할하기 전에, 상기 피검사자의 목척추뼈의 길이를 측정하고, 상기 뼈의 크기를 기초로 상기 영상을 리사이즈(re-size)하는 전처리부; 및
시작시점의 제1 프레임에는 설골(hyoid bone) 및 목척추뼈가 마킹된 것이고, 상기 제1 프레임의 설골 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산하는 위치추적부; 를 포함하고,
상기 위치추적부가 설골 및 목척추뼈를 추적하는 방법은,
상기 복수의 프레임을 LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘을 통해 설골 및 목척추뼈를 추적하는 제1 단계; 및
상기 복수의 프레임을 가우시안 필터링(Gaussian filtering)을 통해, SSD(sum square difference) 매칭 알고리즘을 사용하여 설골 및 목척추뼈를 추적하는 제2 단계; 중에서 에러가 적은 값을 최종적인 설골 및 목척추뼈의 위치로 계산하는, 연하장애 환자용 비디오형광투시 분석 장치.
- 제11항에 있어서,
상기 목척추뼈는 3번인, 연하장애 환자용 비디오형광투시 분석 장치.
- 제1항에 있어서,
상기 영상에서 종료시점은, 시작시점으로부터 2초 내지 5초 사이의 시간이 흐른 후에 자동으로 지정되거나 사용자에 의하여 수동으로 지정되는, 연하장애 환자용 비디오형광투시 분석 장치.
- 연하장애 환자용 비디오형광투시 분석 방법로서,
피검사자가 음식물을 삼키는 동안의 비디오투시 영상을 획득하는 영상획득단계;
상기 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할하는 프레임생성단계;
설골(hyoid bone) 및 목척추뼈가 마킹된 시작시점의 제1 프레임에서 설골(hyoid bone) 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산하는 위치추적단계;
상기 제2 프레임부터 제n 프레임까지 음식물을 추적하여 기도 관심영역(ROI)에 음식물이 있는지 여부를 판단하는 흡인측정단계; 및
상기 제n 프레임에서, 잔여물 측정 관심영역에 음식물이 있는지 여부를 판단하는 잔여물측정단계; 를 포함하고,
상기 위치추적단계는,
상기 복수의 프레임을 LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘을 통해 설골 및 목척추뼈를 추적하는 제1 단계; 및
상기 복수의 프레임을 가우시안 필터링(Gaussian filtering)을 통해, SSD(sum square difference) 매칭 알고리즘을 사용하여 설골 및 목척추뼈를 추적하는 제2 단계; 중에서 에러가 적은 값을 최종적인 설골 및 목척추뼈의 위치로 계산하는, 연하장애 환자용 비디오형광투시 분석 방법.
- 삭제
- 제14항에 있어서,
상기 위치추적단계는,
각각의 프레임의 설골 및 목척추뼈의 좌표를 매칭시키는 단계;
각각의 프레임별 설골 및 목척추뼈의 이동궤적을 그래프화하는 단계; 및
이동궤적 그래프로부터 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하는 단계; 를 더 포함하는, 연하장애 환자용 비디오형광투시 분석 방법.
- 연하장애 환자용 비디오형광투시 분석 방법로서,
피검사자가 음식물을 삼키는 동안의 비디오투시 영상을 획득하는 영상획득단계;
상기 피검사자의 목척추뼈의 길이를 측정하고, 상기 뼈의 크기를 기초로 상기 영상을 리사이즈(re-size)하는 전처리단계;
상기 영상에서 삼킴의 시작시점 및 종료시점을 기준으로 상기 영상을 복수의 프레임으로 시간적으로 분할하는 프레임생성단계; 및
시작시점의 제1 프레임에는 설골(hyoid bone) 및 목척추뼈가 마킹된 것이고, 상기 제1 프레임의 설골 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산하는 위치추적단계; 를 포함하고,
상기 위치추적단계가 설골 및 목척추뼈를 추적하는 방법은,
상기 복수의 프레임을 LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘을 통해 설골 및 목척추뼈를 추적하는 제1 단계; 및
상기 복수의 프레임을 가우시안 필터링(Gaussian filtering)을 통해, SSD(sum square difference) 매칭 알고리즘을 사용하여 설골 및 목척추뼈를 추적하는 제2 단계; 중에서 에러가 적은 값을 최종적인 설골 및 목척추뼈의 위치로 계산하는, 연하장애 환자용 비디오형광투시 분석 방법.
- 연하장애 환자용 비디오형광투시 분석 장치로서,
피검사자가 음식물을 삼키는 동안의 비디오투시 영상을 획득하는 영상획득부;
사용자의 삼킴의 시작시점에 관한 입력을 수신하는 입력부;
상기 입력부로부터 시작시점에 관한 입력을 수신하면 미리 정해진 시간을 종료시점으로 자동으로 설정하는 종료시점 설정부; 및
시작시점의 제1 프레임에는 설골(hyoid bone) 및 목척추뼈가 마킹된 것이고, 상기 제1 프레임의 설골 및 목척추뼈를 기준으로 하여 제2 프레임부터 제n 프레임까지 설골 및 목척추뼈의 궤적의 시간적 또는 운동학적 파라미터를 추출하여, 설골 및 목척추뼈의 위치를 자동으로 추적 및 계산하는 위치추적부; 를 포함하고,
상기 위치추적부가 설골 및 목척추뼈를 추적하는 방법은,
복수의 프레임을 LBP(Local binary pattern) 및 MLBP(multi-scale local binary pattern) 알고리즘을 통해 설골 및 목척추뼈를 추적하는 제1 단계; 및
상기 복수의 프레임을 가우시안 필터링(Gaussian filtering)을 통해, SSD(sum square difference) 매칭 알고리즘을 사용하여 설골 및 목척추뼈를 추적하는 제2 단계; 중에서 에러가 적은 값을 최종적인 설골 및 목척추뼈의 위치로 계산하는, 연하장애 환자용 비디오형광투시 분석 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210135149A KR102666052B1 (ko) | 2021-10-12 | 2021-10-12 | 연하장애 환자용 비디오형광투시 분석 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210135149A KR102666052B1 (ko) | 2021-10-12 | 2021-10-12 | 연하장애 환자용 비디오형광투시 분석 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230052045A KR20230052045A (ko) | 2023-04-19 |
| KR102666052B1 true KR102666052B1 (ko) | 2024-05-14 |
Family
ID=86142233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210135149A KR102666052B1 (ko) | 2021-10-12 | 2021-10-12 | 연하장애 환자용 비디오형광투시 분석 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102666052B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001285695A (ja) | 2000-03-30 | 2001-10-12 | Nec Corp | 移動体追尾方法及びその装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102199094B1 (ko) * | 2014-05-26 | 2021-01-07 | 에스케이텔레콤 주식회사 | 관심객체 검출을 위한 관심영역 학습장치 및 방법 |
| KR20200058657A (ko) * | 2018-11-19 | 2020-05-28 | 수상에스티(주) | Vfss 기반 연하곤란 자동 검출 시스템 및 그 검출방법 |
-
2021
- 2021-10-12 KR KR1020210135149A patent/KR102666052B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001285695A (ja) | 2000-03-30 | 2001-10-12 | Nec Corp | 移動体追尾方法及びその装置 |
Non-Patent Citations (1)
| Title |
|---|
| Lee, J.C., 외. A Supporting Platform for Semi-Automatic Hyoid Bone Tracking and Parameter Extraction from Videofluoroscopic Images for the Diagnosis of Dysphagia Patients. Dysphagia 32, 315-326 (2017).* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230052045A (ko) | 2023-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3590577B1 (en) | Object tracking device | |
| US9408584B2 (en) | Method, apparatus and system for automated spine labeling | |
| EP2617012B1 (en) | Method and system for analyzing images | |
| US10610181B2 (en) | Robust calcification tracking in fluoroscopic imaging | |
| US8103079B2 (en) | Chest image rotation apparatus, method and recording-medium stored therein program | |
| US8542794B2 (en) | Image processing apparatus for a moving image of an object irradiated with radiation, method thereof, and storage medium | |
| JP2014161734A (ja) | 医療画像を整合する方法及びその装置 | |
| CN111918697B (zh) | 医用图像处理装置、治疗***以及存储介质 | |
| KR20130026041A (ko) | 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치 | |
| CN114025658A (zh) | 用于使用血管路线图的运动调整设备引导的***和方法 | |
| JP2003180678A (ja) | 制御パラメータを用いた肺結節のリアルタイム対話式セグメント分割システム | |
| CN113168690A (zh) | 用于识别脑部图像中的区域的装置 | |
| WO2013135812A1 (en) | Method, apparatus and system for localizing a spine | |
| Bennett et al. | Comparison of motion-based analysis to thermal-based analysis of thermal video in the extraction of respiration patterns | |
| CN104546000B (zh) | 一种基于形状特征的超声图像膀胱容积测量方法及装置 | |
| JP2006102353A (ja) | 関節動作解析装置、関節動作解析方法及び関節動作解析プログラム | |
| JP7120965B2 (ja) | 頭部イメージ分析装置及びイメージ分析方法 | |
| Fischer et al. | Real-time respiratory signal extraction from x-ray sequences using incremental manifold learning | |
| US8553957B2 (en) | Method of processing image and image processing apparatus using the method | |
| US11967079B1 (en) | System and method for automatically detecting large vessel occlusion on a computational tomography angiogram | |
| KR102666052B1 (ko) | 연하장애 환자용 비디오형광투시 분석 장치 및 방법 | |
| US10307124B2 (en) | Image display device, method, and program for determining common regions in images | |
| Alkhimova | Automated detection of regions of interest for brain perfusion MR images | |
| CN115474951B (zh) | 用于控制对象的医学成像检查的方法、医学成像***和计算机可读数据存储介质 | |
| CN109993754B (zh) | 从图像上进行颅骨分割的方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |