KR20190060243A - 열화상 카메라를 이용한 호흡 측정 시스템 - Google Patents

Abstract

본 발명은 열화상 카메라(적외선 카메라)를 이용하여 얼굴 전면을 촬영하며, 촬영된 영상에서 KLT 특징 추적기(KLT point tracker, Kanade-Lucas-Tomasi Feature Tracker)를 이용하여, 관심영역내에서 온도변화를 가지는 화소인 프레임별 특징들을 검출하고, 검출된 프레임별 특징에 대한 온도변이를 구하고, 프레임내의 각 특징들의 온도변이의 합을 프레임별 온도변화량의 합으로 구하고, 모든 프레임의 온도변화량의 합을 시간에 따라 적분하여 호흡관련 데이터로서 구하고, 호흡관련 데이터에 연속 웨이블렛 변환을 적용하여 호흡신호를 검출하고, 호흡신호에서 피크(Peak)와 밸리(Valley)를 검출하여 호흡량 및 호흡수를 계산하는, 열화상 카메라를 이용한 호흡 측정 시스템에 관한 것이다.
본 발명은 폐기능 검사를 시행할 수 없는 환자들에게 폐기능 검사를 대체할 수 있는 검사로 사용 가능하고. 또한, 진정하 시술을 받는 환자들에게 호흡 모니터링을 위한 목적으로 사용 가능하며, 또한, 호흡근의 능력이 감소되어 호흡재활치료가 필요한 경우, 정량적으로 호흡을 측정할 수 있으며, 호흡기 질환의 진단의 스크리닝 도구로서 활용 가능하며, 또한, 운전자의 호흡 패턴을 분석하고 모니터링 목적으로서더 활용가능하다.

Description

열화상 카메라를 이용한 호흡 측정 시스템{Respiratory measurement system using thermovision camera}

본 발명은 열화상 카메라(적외선 카메라)를 이용하여 얼굴 전면을 촬영하며, 촬영된 영상에서 KLT 특징 추적기(KLT point tracker, Kanade-Lucas-Tomasi Feature Tracker)를 이용하여, 관심영역내에서 온도변화를 가지는 화소인 프레임별 특징들을 검출하고, 검출된 프레임별 특징에 대한 온도변이를 구하고, 프레임내의 각 특징들의 온도변이의 합을 프레임별 온도변화량의 합으로 구하고, 모든 프레임의 온도변화량의 합을 시간에 따라 적분하여 호흡관련 데이터로서 구하고, 호흡관련 데이터에 연속 웨이블렛 변환을 적용하여 호흡신호를 검출하고, 호흡신호에서 피크(Peak)와 밸리(Valley)를 검출하여 호흡량 및 호흡수를 계산하는, 열화상 카메라를 이용한 호흡 측정 시스템에 관한 것이다.

폐는 산소를 섭취하고 체내에서 생긴 탄산가스를 배출하는 역할을 한다. 호흡기 질환의 진단을 위해서는 여러 영상검사(CT, MRI, PET, perfusion scan)와, 혈액 검사(동맥혈 가스 검사, 종양지표검사, 일반 혈액검사)등을 시행할 수 있다. 그러나 폐의 기능적인 평가를 위해서는 폐기능 검사만이 현재 유일하게 폐의 기능적인 측면을 객관화한 지표로 평가하는 도구로써 재현성이 검증되어 있다.

그 중 폐활량검사는 환자가 최대한 숨을 들이마신 후 내쉴 수 있는 공기량을 측정하는 검사법으로서, 폐기능검사가 어떤 한 질병을 특정하여 진단해주는 것은 아니지만 질환에 따른 고유한 특징적인 양상을 보이므로 질환을 조기에 진단하거나, 임상적 진행을 단계별로 평가하는데 도움을 준다. 또한 측정치의 변화로 질환의 경중의 변화를 반영하여 여러 폐질환에서 임상적 상황들에 대한 해법을 제시 해 주고 치료 전후의 효과 판정이나 치료의 가역성 여부를 판단하는데 도움을 줄 수 있다. 대표적인 예로, 폐기능 검사는 천식이나 만성폐쇄성폐질환(chronic obstructive pulmonary disease, COPD) 같은 호흡기질병의 진단에 도움을 주며, 이외에도 호흡기계의 건강상태를 점검하여 이상 유무를 판정하는 방법으로도 활용된다. 여기서 측정하는 주요 지표로는 노력호기 중에 배출되는 유량을 측정하는 노력폐활량(forced vital capacity, FVC)과 FVC 측정 과정 중 처음 1초간에 배출되는 유량을 측정한 1초 노력호기량(forced expiratory volume in one second, FEV1)이 있다. 또한 기관지 확장제 흡입 후 측정치의 변동을 관찰하는 기관지 확장제 검사가 있다.

일반적으로, 폐활량 측정기는 기계에 연결된 관의 끝에 있는 마우스피스를 입에 대고 숨을 들이쉬거나 내쉬도록 이루어져 있다.

건강인들도 최근에 폐활량 측정기에 대한 관심이 급증하고 있으며, 이미 시판되어 있는 제품들은 기존의 폐기능 검사기를 휴대 가능하게 만든 것으로 기본 작동 원리는 동일하다. 마우스 피스를 물고 노력폐활량을 측정하고, 반복훈련을 통해 호흡능력을 향상시키려는 목적으로 사용한다.

그러나, 이러한 폐활량 측정기는 사용상의 제한점이 있다. 예를 들면, 환자의 호흡기매개 전염력을 지닌 병을 진단받은 경우, 마우스피스를 입에 물 수 없는 경우, 협조가 불가능하거나 의식저하인 경우는 폐기능 검사를 진행할 수 없다. 또한 일반적으로 앉아있는 상태에서 검사가 진행되므로, 앉을 수 없는 환자의 경우는 검사가 어려울 수 있다.

따라서, 비침습적, 무구속적으로, 호흡량을 측정할 수 있는, 호흡량 측정 시스템이 요망된다.

일반적으로, 흡기 시 외부의 차가운 공기는 비강(nasal cavity, nostril, 콧구멍, 코안)의 온도를 대류, 전도, 방사의 형식으로 전달 받아, 비강의 온도를 떨어트린다.

선행기술로, 국내 등록특허 제10-1242755호는 비접촉식으로 인큐베이터에 있는 신생아의 생체신호를 측정하여 모니터링하는 시스템에 관한 것으로서, 특히 열화상 카메라에 의해 신생아의 얼굴에서 ROI (Region Of Interest)를 설정하여 신생아의 호흡을 측정하고, 열바디 추출을 통해 신생아의 체온을 측정함으로써, 신생아의 건강상태에 대한 원격 모니터링이 가능하도록 구현된 열화상 카메라를 이용한 신생아 모니터링 시스템에 관한 것이다. 국내 등록특허 10-1242755호는, 열화상에서, 얼굴 영역을 관심영역으로 하여, 코구멍을 추출하여, 코밑의 열화상에서, 코밑 온도의 변화를 통해 신생아의 호흡수를 검출한다. 그러나 코밑 온도 변화로 단순히 호흡수를 추정하는 것으로는 정확한 호흡수를 구할 수 없다. 코밑이라고 하더라도 위치에 따라 열화상에 따른 온도는 다를 것이며, 피검자가 움직일 경우 얼굴이 화면을 벗어나거나, 가려짐이 있을 수 있어, 정확히 코밑의 위치를 찾는 것이 쉽지 않으며, 또한 잉큐베이터 내기 아닌 일반 병실에서는, 다른 요인에 의한 잡음 등이 있을 수 있어, 단순히 체온을 호흡신호로써 사용하여서는 정확한 호흡 값을 구할 수 없다.

다른 선행기술로, 국내 공개특허 제10-2014-0057867호의 열화상을 이용한 스트레스 지수 측정 시스템이 있으며, 열 영상의 얼굴 영역에서 코밑을 관심 영역으로 설정하고, 코밑 온도 변화를 통해 호흡량을 검출하며, 일정시간(예를 들어, 5초 또는 10초) 동안 온도 변화량이 0인 부분의 횟수를 카운트하여 이 값을 시간으로 나누어 초당 호흡수를 계산하고, 상기 계산 값에 60을 곱하여 분당 호흡수로 변환한다. 국내 공개특허 제10-2014-0057867호의 경우도, 코밑 온도 변화를 호흡량의 변화로서 검출하고 이를 통해 단순히 호흡수를 추정하는 것으로는 정확한 호흡수를 구할 수 없다. 코밑이라고 하더라도 위치에 따라 열화상에 따른 온도는 다를 것이며, 또한, 피검자가 움직일 경우 피검자가 움직일 경우 얼굴이 화면을 벗어나거나, 가려짐이 있을 수 있어, 정확히 코밑의 위치를 찾는 것이 쉽지 않으며, 또한, 다른 요인에 의한 잡음 등이 있을 수 있어, 단순히 체온을 호흡신호로써 사용하여서는 정확한 호흡 값을 구할 수 없다.

일반적으로, 열화상 카메라를 이용할 경우, 피검자의 코밑의 열영상을 정확하게 측정하는 것이 중요한데, 피검자는 움직이기 때문에 얼굴이 화면을 벗어나거나, 가려짐이 발생할 수 있어, 열영상을 측정할 수 없는 경우가 있으며, 또한 외부 환경에 의한 노이즈가 들어갈 가능성이 있다.

따라서 본 발명은, 비침습적, 무구속적이며, 얼굴이 화면을 벗어나거나, 가려짐이 발생하더라도 호흡량 및 호흡수를 측정할 수 있으며, 노이즈를 제거하여, 보다 높은 정확도로, 호흡량을 측정할 수 있는, 호흡량 측정 시스템을 제안한다.

본 발명이 해결하고자 하는 기술적 과제는, 열화상 카메라(적외선 카메라)를 이용하여 얼굴 전면을 촬영하며, 촬영된 영상에서 KLT 특징 추적기를 이용하여, 관심영역내에서 온도변화를 가지는 화소인 프레임별 특징들을 검출하고, 검출된 프레임별 특징에 대한 온도변이를 구하고, 프레임내의 각 특징들의 온도변이의 합을 프레임별 온도변화량의 합으로 구하고, 모든 프레임의 온도변화량의 합을 시간에 따라 적분하여 호흡관련 데이터로서 구하고, 호흡관련 데이터에 연속 웨이블렛 변환을 적용하여 호흡신호를 검출하고, 호흡신호에서 피크(Peak)와 밸리(Valley)를 검출하여 호흡량 및 호흡수를 계산하는, 열화상 카메라를 이용한 호흡 측정 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는,열화상 카메라를 이용하여 코구멍 부분을 중심으로 얼굴 전면을 촬영하며, 촬영된 영상에서 KLT 특징 추적기를 이용하여, 호흡관련 영역을 추적하되, 두 눈과 코의 3 트랙킹 포인트(tracking point)를 이용하여 서로의 위치를 유추하도록 이루어져, 피검자의 움직임에 따라, 얼굴이 화면을 벗어나거나, 가려짐에도 지속적으로 트랙킹하여, 호흡량 및 호흡수를 검출할 수 있는, 열화상 카메라를 이용한 호흡 측정 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, KLT 특징 추적기를 이용하여 검출된 프레임별 특징들을 검출한 후, 각 프레임을, 3D-DBSCAN을 이용하여 노이즈를 제거하고, 노이즈가 제거된 각 프레임의 관심영역의 특징들의 온도변이를 검출하기 위해서, 각 프레임의 영상의 관심영역의 특징에서, 연이은 전 프레임의 영상의 관심영역의 해당 특징을 차감하여, 각 프레임의 관심영역의 특징의 온도변이로서 검출하고, 검출된 특징별 온도변이의 절대치가, 기설정된 온도변이 기준치보다 큰 경우의 각 특징별 온도 변이를 프레임별로 합산하여, 프레임별 온도 변화량으로써 구하는 열화상 카메라를 이용한 호흡 측정 시스템을 제공하는 것이다.

상기 과제를 해결하기 위해, 본 발명의 열화상 카메라를 이용한 호흡 측정 방법은, 열화상카메라로부터 수신하여 각 화소가 온도를 나타내는, 얼굴의 열영상의 프레임에서, 연산처리부는, 코와 2개의 눈을 트랙킹포인트로 하여, KLT 특징 추적기를 이용하여, 코 부분의 관심영역을 검출하는, 호흡관련 영역 추적단계; 호흡관련 영역 추적단계 후, 연산처리부는, 열화상카메라로부터 수신한 얼굴의 열영상에서, 각 프레임의 관심영역의 영상을, 연이은 전 프레임의 관심영역의 영상을 차감한 차영상을 구하되, 상기 차영상의 각 화소의 값을, 온도변이의 값으로하며, 프레임별로 온도변이 값을 합산하여 프레임별 온도변화량의 합으로서 메모리부에 순차적으로 저장하고, 기 설정된 시간동안에 저장된 모든 프레임의 프레임별 온도변화량의 합을 메모리부로부터 읽어들여 시간에 따라 적분하여 호흡관련 데이터로 하고, 호흡관련 데이터에 연속 웨이블렛 변환을 적용하여 호흡신호를 검출하는, 호흡신호 추출단계;를 포함하는 것을 특징으로 한다.

상기 호흡신호 추출단계 후, 연산처리부는, 상기 호흡신호에서 피크와 밸리를 검출하고 검출된 피크와 밸리를 이용하여 호흡수 및 호흡량을 검출하는, 호흡수 및 호흡량 검출단계;를 더 포함한다.

호흡관련 영역 추적단계는, 연산처리부가, 열화상카메라로부터 수신된 피검자 얼굴 열영상의 각 프레임 내에서, 최소온도값과 최대온도값을 구하고, 각 프레임의 각 화소의 온도가, 최소온도 값과 최대온도 값 사이를 256 등분한 값을 갖도록 정규화를 행하는, 정규화 단계; 정규화 단계에서 정규화된 각 프레임의 코를, 기 설정된 초기 코 각도와 같도록 연산처리부가 보정을 행하는, 각도 보정단계; 연산처리부는 각도 보정단계에서 각도가 보정된, 각 프레임에서 코와 2개의 눈의 트랙킹 포인트를 이용하여, 관심영역의 후보를 설정하고, 상기 관심영역의 후보에서의 특징점을 추출하고, 추출된 특징점과, 연이은 전 프레임에서 상기 특징점과 대응된 특징점과의 이동 거리를 행렬(Transform Matrix)로 나타내고, 추출된 행렬에 따라, 현재 프레임의 영상을 보정하고, 보정된 현재 프레임에서 관심영역을 구하는, 1차 특징 추출 단계;를 포함한다.

또한, 호흡관련 영역 추적단계는, 연산처리부가, 1차 특징 추출 단계에서 구한 각 프레임의 관심영역 내의 온도를 평균하여 '프레임별의 관심영역 평균온도'로서 연산처리부가 구하고, 각 프레임의 관심영역 내의 온도들의 표준편차를 '프레임별의 관심영역 온도 편차'로서 구하는, 1차 평균온도 및 편차 연산단계; 연산처리부는, 평균온도 및 편차 연산단계에서 구한 관심영역 편차를, 기설정된 편차 기준치와 비교하여, 상기 관심영역 편차가 편차 기준치보다 큰지를 판단하며, 만약 관심영역 편차가 편차 기준치보다 크다면, 특해당 관심영역 내의 특징들을 제거하고, 트랙킹 포인트 재검출 단계로 가는, 1차 편차 기준치 초과여부 판단단계; 연산처리부는, 1차 편차 기준치 초과여부 판단단계 후, 관심영역 내에서 구하여진 특징점의 수를 기 설정된 특징수 기준치와 비교하여, 특징점의 수가 특징수 기준치보다 작다면, 해당 관심영역 내의 특징들을 제거하고, 트랙킹 포인트 재검출 단계로 가는, 특징수 기준치 미만여부 판단단계; 연산처리부는, 1차 편차 기준치 초과여부 판단단계에서 관심영역 편차가 편차 기준치보다 크다면, 또는 특징수 기준치 미만여부 판단단계에서 특징점의 수가 특징수 기준치보다 작다면, 코의 트랙킹 포인트들을 잘못 구한 것으로, 현재의 프레임에 연이은 전의 프레임의 2개의 눈 트랙킹포인트의 각각의 위치로부터, 현재의 프레임의 2개의 눈 트랙킹포인트의 각각의 위치까지 움직인 거리인, 트랙킹 포인트 이동거리를 구하고, 2개의 트랙킹 포인트 이동거리의 평균인, 트랙킹 포인트 이동거리 평균을 구하고, 전의 프레임의 코의 트랙킹 포인트와, 트랙킹 포인트 이동거리 평균을 이용하여 수정된 코의 트랙킹 포인트를 구하는, 트랙킹 포인트 재검출 단계;를 더 포함한다.

또한, 호흡관련 영역 추적단계는, 연산처리부가, 트랙킹 포인트 재검출 단계에서 구하여진 수정된 코의 트랙킹 포인트와, 2개의 눈의 트랙킹 포인트를 이용하여, 관심영역을 구하고, 특징을 추출하는, 2차 특징 추출 단계; 연산처리부가, 2차 특징 추출 단계에서 구한 각 프레임의 관심영역 내의 온도를 평균하여 '프레임별의 관심영역 평균온도'로서 연산처리부가 구하고, 각 프레임의 관심영역 내의 온도들의 표준편차를 '프레임별의 관심영역 온도 편차'로서 구하는, 2차 평균온도 및 편차 연산단계; 연산처리부가, 2차 평균온도 및 편차 연산단계에서 구한 관심영역 온도 편차를 편차 기준치와 비교하여, 상기 관심영역 온도 편차가 편차 기준치보다 큰지를 판단하며, 만약 상기 관심영역 온도 편차가 편차 기준치보다 크다면, 추적(트랙킹)을 종료하는, 2차 편차 기준치 초과여부 판단단계; 연산처리부가, 종료 스위치가 눌러짐에 따라 종료 플레그가 세트되거나, 또는, 현재 프레임이, 초기에 설정된 소정 시간간격의 마지막 프레임에 해당한다면, 추적을 종료하며, 그렇지 않다면, 다음 프레임의 얼굴 열영상의 프레임을 수신하고, 정규화 단계로 가는, 추적 종료여부 판단단계;를 더 포함한다.

호흡신호 추출단계는, 연산처리부가, 열화상카메라로부터 수신한 얼굴의 열영상에서, 각 프레임의 관심영역의 영상을, 연이은 전 프레임의 관심영역의 영상을 차감한 차영상을 구하되, 상기 차영상의 각 화소의 값을, 온도변이의 값으로 하는, 프레임별 온도변이 검출단계; 연산처리부가, 프레임별 온도변이 검출단계를 거친 차영상의 각 프레임의 관심영역에서, 3D-DBSCAN을 이용하여, 노이즈 포인트를 제거하는, 노이즈 제거단계; 연산처리부가, 노이즈 제거단계를 거친 차영상의 각 프레임에서 온도변이의 값의 절대치가, 기설정된 온도변이 기준치와 비교하여 작거나 같은 경우의, 온도변이의 값은 제거하는, 온도변이 기준치 비교단계; 연산처리부가, 온도변이 기준치 비교단계 후, 차 영상의 각 프레임 내의 각 온도 변이를 합산하여, 프레임별 온도 변화량으로써 구하여, 프레임 순서에 따라 저장하는, 온도 변화량 연산단계;를 포함한다.

또한, 호흡신호 추출단계는, 연산처리부가 온도 변화량 연산단계에서 구한 프레임별 온도 변화량 합들을 메모리부로부터 순차적으로 읽어들이고, 프레임별 온도 변화량들을 시간에 따라(t 축으로) 적분하여, 적분 결과를 호흡 데이터(raw data)로 하는, 호흡 데이터 검출단계; 연산처리부가, 호흡 데이터 검출단계에서 검출된 호흡 데이터(raw data)를, 평활화(smoothing) 및 디트랜드(detrend)를 행하는, 평활화 및 디트랜드 단계; 연산처리부가, 평활화와 디트랜드가 행하여진 호흡 데이터들을 연속 웨이블렛 변환(CWT)을 행하여, 주파수별로 주파수 스케일들로 나타내는, 연속 웨이블렛 변환단계; 연산처리부가, 연속 웨이블렛 변환을 행한 결과에서, 주파수별로 주파수 스케일의 합을 구하고, 구하여진 주파수별 주파수 스케일의 합 중에서, 주파수별 주파수 스케일의 합이 가장 큰 주파수를, 호흡 주파수로 하며, 호흡 주파수의 각 주파수 스케일을 호흡 신호로서 메모리부에 저장하는, 호흡 주파수 검출단계;를 더 포함한다.

호흡수 및 호흡량 검출단계는, 연산처리부가, 호흡신호 추출단계에서 구하여진 호흡신호를 1차 미분하여 변곡점을 구하고, 변곡점을 이용하여 피크(peak)와 밸리(valley)를 검출하는, 피크 및 밸리 검출단계;연산처리부가, 피크 및 밸리 검출단계에서 검출된 피크(peak)와 밸리(valley)들에서, 소정 시간간격 동안에, 피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍의 개수를, 호흡수로서 검출하는, 호흡수 검출단계;를 포함한다,

호흡수 및 호흡량 검출단계는, 연산처리부가, 피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍의 진폭을, 피크와 밸리의 쌍이 포함되는 호흡주기의 호흡량으로 검출하거나, 또는, 피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍으로 호흡주기를 검출하고, 각 호흡주기의 호흡신호를, 연이은 전 호흡주기의 호흡신호에서 차감하여 각 호흡주기별 변화량을 구하고, 각 호흡주기별 변화량을 시간에 따라 합산하여 호흡량으로서 구하는, 호흡량 검출단계;를 더 포함할 수 있다.

각 호흡주기별 변화량을 시간에 따라 합산시, 각 호흡주기의 시작점을 기준으로 합산한다.

또한, 본 발명은, 본 발명의 열화상 카메라를 이용한 호흡 측정 방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체를 특징으로 한다.

또한, 본 발명은, 열화상 카메라, 상기 열화상 카메라로부터 수신된 얼굴 전면의 열영상을 분석하여 호흡신호를 검출하는 연산처리부를 포함하는 영상분석부를 포함하는 열화상 카메라를 이용한 호흡 측정 시스템에 있어서, 연산처리부는, 열화상카메라로부터 수신하여 각 화소가 온도를 나타내는, 얼굴의 열영상의 프레임에서, 연산처리부는, 코와 2개의 눈을 트랙킹포인트로 하여, KLT 특징 추적기를 이용하여, 코 부분의 관심영역을 검출하고, 열화상카메라로부터 수신한 얼굴의 열영상에서, 각 프레임의 관심영역의 영상을, 연이은 전 프레임의 관심영역의 영상을 차감한 차영상을 구하되, 상기 차영상의 각 화소의 값을, 온도변이의 값으로 하며, 프레임별로 온도변이 값을 합산하여 프레임별 온도변화량의 합으로서 메모리부에 순차적으로 저장하고, 기 설정된 시간동안에 저장된 모든 프레임의 프레임별 온도변화량의 합을 메모리부로부터 읽어들여 시간에 따라 적분하여 호흡 데이터로 하고, 상기 호흡 데이터에 연속 웨이블렛 변환을 적용하여 호흡신호를 검출하는 것을 특징으로 한다.

연산처리부는, 검출된 호흡신호에서 피크와 밸리를 검출하고 검출된 피크와 밸리를 이용하여 호흡수 및 호흡량을 검출한다.

연산처리부는, KLT 특징 추적기를 이용하여 관심영역을 구하기 위하여, 열화상 카메라로부터 수신된 피검자 얼굴 열영상의 각 프레임의 각 화소의 온도들이, 8 bit값을 갖도록 정규화를 행하고, 정규화된 온도의 값을 가진 각 프레임의 영상의 코의 각도가, 기 설정된 코 각도와 같도록, 각 프레임의 영상을 보정하고, 보정된 프레임의 영상에서 KLT 특징 추적 알고리즘을 적용하여 관심영역을 구하고, 상기 관심영역내의 특징점을 검출하며, 보정된 프레임의 관심영역에 대응되는 원 영상인, 열화상 카메라로부터 수신된 얼굴 열영상의 프레임에서도 관심영역이 구하여진다.

연산처리부는, 호흡 데이터를, 평활화(smoothing) 및 디트랜드(detrend)를 행하고, 평활화와 디트랜드가 행하여진 호흡 데이터들을 연속 웨이블렛 변환(CWT)을 행하고, 연속 웨이블렛 변환을 행한 결과에서, 주파수별로 주파수 스케일의 합을 구하고, 구하여진 주파수별 주파수 스케일의 합 중에서, 주파수별 주파수 스케일의 합이 가장 큰 주파수를, 호흡 주파수로 하며, 호흡 주파수의 각 주파수 스케일을 호흡 신호로서 메모리부에 저장한다.

연산처리부는, 호흡신호를 1차 미분하여 변곡점을 구하고, 변곡점을 이용하여 피크(peak)와 밸리(valley)를 검출하고, 검출된 피크(peak)와 밸리(valley)들에서, 소정 시간간격 동안에, 피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍의 개수를, 호흡수로서 검출한다.

연산처리부는, 피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍으로 호흡주기를 검출하고, 각 호흡주기의 호흡신호를, 연이은 전 호흡주기의 호흡신호에서 차감하여 각 호흡주기별 변화량을 구하거나, 또는 피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍의 진폭을, 피크와 밸리의 쌍이 포함되는 호흡주기의 호흡량으로 검출한다.

본 발명의 열화상 카메라를 이용한 호흡 측정 시스템은 열화상 카메라(적외선 카메라)를 이용하여 얼굴 전면을 촬영하며, 촬영된 영상에서 KLT 특징 추적기를 이용하여, 관심영역내에서 온도변화를 가지는 화소인 프레임별 특징들을 검출하고, 검출된 프레임별 특징에 대한 온도변이를 구하고, 프레임내의 각 특징들의 온도변이의 합을 프레임별 온도변화량으로 구하고, 모든 프레임의 온도변화량을 시간에 따라 적분하여 호흡관련 데이터로서 구하고, 호흡관련 데이터에 연속 웨이블렛 변환을 적용하여 호흡신호를 검출하고, 호흡신호에서 피크(Peak)와 밸리(Valley)를 검출하여 호흡량 및 호흡수를 계산하여, 보다 간단하면서 보다 정확한 호흡량 및 호흡수를 검출할 수 있다.

또한, 본 발명은, 열화상 카메라를 이용하여 코구멍(nostril) 부분을 중심으로 얼굴 전면을 촬영하며, 촬영된 영상에서 KLT 특징 추적기를 이용하여, 호흡관련 영역을 추적하되, 두 눈과 코의 3 트랙킹 포인트(tracking point)를 이용하여 서로의 위치를 유추하도록 이루어져, 얼굴이 화면을 벗어나거나, 가려짐에도 지속적으로 트랙킹하여, 호흡량 및 호흡수를 검출할 수 있다.

또한, 본 발명은, 트랙킹을 통해 추출된 부분에서 3D-DBSCAN을 이용하여, 노이즈를 제거하고, 노이즈가 제거된 부분에서 데이터(raw data)를 추출하고, 추출된 데이터에서, CWT를 이용하여 주파수 도메인에서 호흡과 관련된 부분만을 추출하여 호흡영역으로 하여, 보다 정확하게 호흡량 및 호흡수를 검출할 수 있다.

본 발명의 열화상 카메라를 이용한 호흡 측정 시스템은 비침습적인 방법으로 환자의 호흡패턴, 일회 호흡용적, 노력 폐활량, 약물 전후 치료의 효과 비교, 호흡재활치료를 가능하게 할 수 있다.

사용 가능성 있는 영역으로 첫째, 폐기능 검사를 시행 할 수 없는 환자들에게 폐기능 검사를 대체할 수 있는 검사로 사용 가능하다. 마우스피스를 물 수 없는 기관지 절개 환자, 앉아 있을 수 없는 환자, 메르스 등의 호흡기 매개 전염병으로 치료중인 환자 등 기존에 방법으로는 폐기능 검사가 불가능 했던 환자들에게 비접촉 비침습적, 상대적으로 저렴한 비용으로 폐기능 검사를 대신 할 수 있다.

둘째, 진정하 시술을 받는 환자들에게 호흡 모니터링을 위한 목적으로 사용 가능하다. 위장관 내시경 시술, 30분 이상 영상을 얻어야 하는 MRI 등의 이미지 검사 등 최근 의료분야에서는 환자의 편안함과 시술의 용이함을 목적으로 모니터링 하 진정제를 투약하는 빈도가 증가하고 있다. 과진정으로 인한 호흡저하를 모니터링하기 위해 말초 동맥 산소 포화도를 측정하고 있으나, 정확도와 신속도가 떨어져서 모니터링의 한계가 있다. 본 발명으로 비침습적으로 실시간 호흡을 모니터링할 수 있어 환자 안전 측면에서 도움이 될 수 있다.

셋째, 의료분야에서 호흡근의 능력이 감소되어 호흡재활치료가 필요한 경우, 정량적으로 호흡을 측정하는 것이 도움이 될 수 있다. 특히 본 발명을 재활 운동 장비, 모바일 기기에 접목하여, 호흡재활 치료 시 biofeedback을 통해 운동의 효과를 증진시키는데 사용할 수 있으며, 장소의 제약이 없어, 재택 치료 모니터링 시스템에도 활용 가능성이 있다.

넷째, 호흡기 질환의 진단의 스크리닝 도구로서 활용 가능성이 있다. 현재 국민 건강 보험 건강검진 항목에는 진찰, 상담, 흉부방사선촬영 외에는 호흡기 질환을 스크리닝 할 수 있는 검사가 없다. 본 기술의 알고리듬을 분석하여 질병 진단 전 단계에서 환자를 스크리닝 하는데 사용할 수 있다.

또한, 본 발명의 열화상 카메라를 이용한 호흡 측정 시스템은 의료 환경 외에도 일반인을 대상으로 하는 헬쓰 디바이스 개발에도 활용 가능하다. 최근 대형 인명 사고로 이어진 광역버스 졸음 운전 사고 이후, 졸음운전 방지 장치가 다시 세간의 주목을 받고 있다. 본 발명을 이용하면, 운전자의 호흡 패턴을 분석하고 모니터링 목적으로서 활용 또한 가능하다.

또한 매일 일기예보에서 미세먼지지수를 발표하는 환경에 살면서 현대인들은 호흡기 질환 이환과 악화를 염려할 뿐 아니라, 호흡 능력을 향상시키기 위해서 여러 관심을 기울이고 있다. 미밴드등 피트니스 밴드가 헬스시장에서 저변을 확대하고 있어 본 발명의 열화상 카메라를 이용한 호흡 측정 시스템을 연동하면 운동 전 중 후 폐활량을 측정하는데 이용할 수 있다.

도 1은 본 발명의 열화상 카메라를 이용한 호흡 측정 시스템의 개념도이다.
도 2는 발명의 열화상 카메라를 이용한 호흡 측정 시스템의 구성을 개략적으로 나타낸 블럭도이다.
도 3은 도 2의 영상분석부(200)에서 열화상 카메라로부터 수신된 열화상 데이터를 이용하여 호흡량을 검출하는 방법을 개략적으로 설명하는 흐름도이다.
도 4a는 본 발명의 일실시예의 KLT 특징 추적 알고리즘을 개략적으로 설명하기 위한 흐름도이다.
도 4b는 도 4a의 1차 특징 추출 단계(S150)를 설명하는 흐름도이다.
도 4c는 도 4b에서 특징추출로부터 관심영역을 추출하는 과정을 설명하는 설명도이다.
도 5는 도 3의 호흡신호 추출단계를 개략적으로 설명하기 위한 흐름도이다.
도 6은 도 3의 호흡량 계산단계를 개략적으로 설명하기 위한 흐름도이다.
도 7은 도 5에서 호흡신호 추출단계에서 특징별 온도변이 검출단계와 온도변이 기준치 비교단계를 실행한 결과의 일예이다.
도 8은 호흡신호 추출단계(S200)의 노이즈 제거단계에서 3D-DBSCAN을 이용하여 노이즈를 제거한 결과의 일예이다.
도 9는 온도 변화량 연산단계의 결과의 일예이다.
도 10은 호흡 데이터 검출단계의 결과의 일예이다.
도 11은 연속 웨이블렛 변환단계의 결과의 일예이다.
도 12는 호흡 주파수 검출단계를 설명하기 위한 도면이다.
도 13은 피크 및 밸리 검출단계의 결과의 일예이다.
도 14는 열영상 로드 및 각도 보정단계에서 각도를 보정하는 것을 나타낸다.
도 15는 1차 특징 추출 단계에서 특징을 추출한 일예를 나타낸다.
도 16은 본 발명에서 프레임별의 관심영역의 평균온도와 편차를 설명하기 위한 설명도이다.

이하, 본 발명의 열화상 카메라를 이용한 호흡 측정 시스템을 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 열화상 카메라를 이용한 호흡 측정 시스템의 개념도이고, 도 2는 발명의 열화상 카메라를 이용한 호흡 측정 시스템의 구성을 개략적으로 나타낸 블럭도이다.

열화상 카메라(적외선 카메라)(100)로 피검자(50)의 얼굴을 촬영하여, 디지탈 신호로 변환하여, 영상 분석부(200)로 전송한다. 이때 열화상 카메라(100)가 촬영된 영상을 디지탈신호로 변환하여 영상 분석부(200)로 전송하거나, 또는 열화상 카메라(100)가 촬영된 영상을 A/D 변환장치(미도시)를 통해 디지탈신호로 변환하여 영상 분석부(200)로 전송할 수 있다.

열화상 카메라(100)는 적외선 카메라를 사용할 수 있다. 열화상 카메라(100)는 대상자의 얼굴 전면이 나타나도록 촬영하되, 부득이한 경우 피검자(50)의 두 눈과 코 부분을 촬영한다. 촬영은 초당 10번 (10Hz) 로 데이터를 취득할 수 있으며, 절대 온도로 나타내진 열화상 데이터를 얻게 된다.

일반적으로 인체의 호흡에 따라 체온이 변하며, 이는 흡기 시 인체를 기준으로 차가운 공기가 이동하면서, 온도(즉, 호흡과 관련된 인체 부분의 온도)를 낮추고, 호기 시 인체 내부에서 데워진 공기가 온도를 상승하게 한다. 따라서 본 발명은 대상의 얼굴 전면을 촬영하되, 실질적으로 공기가 통과하는 비강(nastril) 부분을 중심으로 촬영한다.

또한, 일반적으로, 온도를 가진 물체의 경우에는 항상 적외선을 방출하며, 방출된 적외선은 온도가 높아질수록 파장이 짧아지고, 주파수는 증가하여 더 높은 에너지를 갖는데, 적외선 카메라(IR Camera)는 이러한 적외선을 측정하여 온도로 환산한다.

적외선 카메라로서 FLIR사의 T420을 사용할 수 있으며, NETD(noise equivalent Temperature difference)이상의 온도 변화량을 가진 부분만을 추출하며, 이는 320x240 의 레졸루션(해상도)과, 0.05의 NETD를 가지며, 최소 focal length 는 50 cm 이므로, 대략 50~60 cm의 거리에서 대상자를 측정할 수 있다. 그러나 이로써 본 발명을 한정하기 위한 것이 아니며, 피검자(50)의 얼굴에서 열화상을 검출하는 것이라면 어떤 열화상 카메라이라도 상관없다. 일반적으로, NETD는 카메라 스펙마다 다르며, 여기서는 0.05 로 설정하고 있으나 이로써 본 발명을 한정하기 위한 것은 아니다.

영상 분석부(200)는 열화상 카메라(100)로부터 수신된 영상을 분석하여 호흡신호를 검출하기 위한 수단으로, 일반 컴퓨터 또는 노트북 또는 마이크로프로세서 등으로 이루어질 수 있다. 영상 분석부(200)는 연산처리부(210), 메모리부(220), 출력부(230), 키입력부(250)를 포함한다.

연산처리부(210)는 열화상 카메라(100)로부터 수신된 영상에서 KLT 특징 추적기(KLT point tracker, Kanade-Lucas-Tomasi Feature Tracker)를 이용하여, 호흡관련 영역을 추적(tracking)하여, 호흡에 영향이 있는 부분만인 관심영역을 추출하고, 추출된 부분, 즉, 관심영역에서 주파수 도메인에서 호흡과 관련된 부분만을 호흡 영역으로 추출하며, 추출된 호흡 영역을 호흡량 계산식에 적용하여 호흡량 파형(Volume Waveform) 계산하고, 파형에서 피크(Peak)와 밸리(Valley)를 찾아 호흡량 및 호흡수를 계산한다.

다시말해, 연산처리부(210)는 열화상 카메라(100)로부터 수신된 피검자 얼굴 열영상의 각 프레임의 각 화소, 즉, 절대온도값(이하 설명의 편의상 온도값이라 함)들이, KLT 특징 추적 알고리즘을 적용할 수 있는 8 bit값을 갖도록 정규화를 행하고, 정규화된 온도 값을 가진 각 프레임의 영상의 코의 각도가, 기 설정된 코 각도와 같도록, 각 프레임의 영상을 보정하고, 보정된 영상에서 KLT 특징 추적 알고리즘을 적용하여 관심영역을 구한다. 이에 따라, 보정된 영상에서 관심영역이 구하여지면, 이에 대응되는 원 화상, 즉, 열화상 카메라(100)로부터 수신된 피검자 얼굴 열영상의 프레임에 관심영역이 구하여진다. 즉, KLT 특징 추적 알고리즘을 통해 정규화되고 보정된 영상의 각 프레임별로 관심영역이 하나씩 얻어지게 되며, 이에 대응하여, 정규화되지 않은, 열화상 카메라(100)로부터 수신된 원래의 피검자 얼굴 열영상의 각 프레임에서도 관심영역이 구하여진다.

연산처리부(210)는 열화상 카메라(100)로부터 수신된 피검자 얼굴 열영상의 각 프레임의 관심영역 들을 메모리부(220)에 저장하고, 메모리부(220)에 저장된 피검자 얼굴 열영상의 각 프레임의 관심영역을, 연이은 전 프레임의 관심영역을 차감하여 각 프레임의 관심영역의 차영상을 구하고, 구하여진 각 프레임의 관심영역의 차영상에서 3D-DBSCAN을 적용하여 노이즈를 제거한다. 노이즈가 제거된 각 프레임의 관심영역의 차영상의 픽셀값, 즉 온도변이값이, 기설정된 온도변이 기준치와 비교하여 작거나 같은 경우에는 제거하고, 온도변이 기준치보다 큰 경우만을 각 프레임의 관심영역의 온도변이 값(즉, 온도변이 데이터)으로 저장하고, 각 프레임의 관심영역별로, 온도 변이 값(온도변이 데이터)를 합산하여, 이를 프레임별 온도 변화량으로써 구하고, 프레임별 온도 변화량을 메모리부(220)에 순차적으로 저장한다.

연산처리부(210)는 저장된 프레임별 온도 변화량들을 메모리부(220)로부터 시간순서에 따라 읽어들이고 프레임별 온도 변화량들을 시간에 따라(즉, t 축으로) 적분하여, 호흡 데이터(raw data)를 구한다.

연산처리부(210)는 검출된 호흡 데이터(raw data)를 평활화(smoothing)를 행한 후, 디트랜드(detrend)를 행하고, 평활화 및 디트랜드가 행하여진 호흡 데이터들을 연속 웨이블렛 변환(Continuous Wavelet Transform, CWT)을 행하여, 주파수별 스케일(강도, 크기)들로 나타내고, 연속 웨이블렛 변환을 행한 결과에서, 주파수별 스케일의 합(주파수별 강도 합)을 구한다. 구하여진 주파수별 스케일 합이 가장 큰 주파수(즉, 최대인 주파수)를, 호흡 주파수(보다 상세히는, 호흡에 가장 관련있는 주파수)로 하며, 호흡 주파수의 각 스케일들을 호흡 신호로서 메모리부(220)에 저장한다. 여기서, 호흡 주파수의 각 스케일들을 호흡 신호를 시간에 따라 그래프를 나타내면 이는 호흡파형이 된다. 따라서, 이 호흡파형은 시간 도메인의 파형(데이터)가 된다.

연산처리부(210)는 호흡신호를 1차 미분하여 변곡점을 구하고, 이로부터 피크(peak)와 밸리(valley)를 검출하고, 검출된 피크(peak)와 밸리(valley)들에서, 소정 시간간격 동안(1초당, 또는 1분당 또는 30초당)에, 연이은 피크와 밸리의 쌍의 개수, 즉, 피크에서 밸리로 바뀌는 회수를, 호흡수(respiration rate, RR)로서 검출한다.

호흡량은 2가지 방법으로 구할 수 있다.

첫번째 방법은, 호흡신호에서, 연이은 피크와 밸리의 쌍의 진폭, 즉, 피크에서 밸리로 바뀌는 신호의 진폭 크기를, 그 주기의 호흡량으로 검출한다.

두번째 방법에서는, 호흡파형에서 한 피크에서 연이은 다음 피크까지를 한 호흡 주기로 하며, 각 호흡주기의 호흡신호를, 연이은 전 호흡주기의 호흡신호에서 차감하여 각 호흡주기별 변화량을 구하고, 각 호흡주기별 변화량을 합산하여 호흡량을 구한다. 경우에 따라서 호흡주기는 하나의 피크와 밸리의 쌍에서, 연이은 전의 피크와 밸리의 쌍까지의 시간 간격일수 있다.

즉, 호흡주기별 변화량은, 현재의 호흡주기의 호흡신호(각 샘플)를, 연이은 전 호흡주기에서 대응되는 각 호흡신호(각 샘플)에서 차감하여 호흡 변화량을 구한다. 예를들어 현 호흡주기의 첫번째 호흡신호(샘플)에서, 연이은 전 호흡주기의 첫번째 호흡신호(샘플)을 차감하여 현 호흡주기의 첫번째 호흡 변화량을 구하며, 이렇게 각 호흡주기의 시작 샘플로부터 마지막 샘플까지 적용하여 각 주기의 호흡 변화량을 구한다. 이렇게 구하여진 각 주기의 호흡 변화량을 시간대별로 합산하여 호흡량을 구한다. 여기서, 각 주기의 호흡 변화량을 시간대별로 합산한다는 것은, 각 주기의 첫번째 호흡 변화량 신호를 합산하여 첫번째 호흡량 신호로 하고, 각 주기의 두번째 호흡 변화량 신호를 합산하여 두번째 호흡량 신호로 하며, 이렇게 하여 각 주기의 호흡 변화량 신호를 합산하여 호흡량을 구한다.

메모리부(220))는 연산처리부(210)로부터 수신된 호흡량 및 호흡수를 저장한다.

출력부(230)는 연산처리부(210)로부터 수신된 호흡량 및 호흡수를 출력한다.

키입력부(250)는 그래픽 유저 인터페이스를 포함할 수 있으며, 이를 통해 초기 트랙킹 포인트 설정을 행할 수 있으며, 시작/정지 스위치 등을 포함하고 있다.

도 3은 도 2의 영상분석부(200)에서 열화상 카메라로부터 수신된 열화상 데이터를 이용하여 호흡량을 검출하는 방법을 개략적으로 설명하는 흐름도이다.

열영상 수신단계(S10)로, 영상분석부(200)의 연산처리부(210)는 열영상 카메라(100)로 부터 피검자의 얼굴 열영상(열화상)(Thermal Face Image)을 수신하여 메모리부(220)에 임시저장한다. 열영상 수신단계(S10)에서는 각 프레임당 열영상을 수신하되, 한번에 한프레임씩의 열영상을 수신하거나, 아니면 기설정된 시간동안의 프레임들의 열영상을 수신할 수 있다. 예를들어, 얼굴 전면의 320x240 Absolute Temperature matrix를 초당 10 frames 씩 얻을 수 있다. 이렇게 열영상 카메라(100)로 부터 얻은 데이터를, 온도 데이터 또는 온도 도메인 데이터라 할 수 있다. 이렇게 표시 함으로써, KLT 특징 추적기 알고리즘을 적용하기 위해 정규화된 데이터와 구별할 수 있다.

호흡관련 영역 추적단계(S100)로, 열영상 수신단계(S10)에서 수신된 피검자 얼굴 열영상(즉, 열화상 카메라(100)로부터 수신된 피검자 얼굴 열영상)의 각 프레임의 각 화소, 즉, 온도값(절대온도값)들이 8 bit값을 갖도록 정규화를 행하고, 정규화된 온도 값을 가진 각 프레임의 영상의 코의 각도가, 기 설정된 코 각도와 같도록, 각 프레임의 영상을 보정하고, 보정된 각 프레임의 영상에서 KLT 특징 추적기, 즉, KLT 특징 추적 알고리즘(KLT point tracking 알고리즘)을 이용하되, 얼굴 열영상의 각 프레임에서 2개의 눈과 코를 3개의 트랙킹 포인트(tracking point)하여. 호흡관련 영역, 즉, 코(nose) 부분 또는 코 밑 부분 만을 관심영역(Region Of Interest, ROI)으로 추출하며, 이때, 추적(tracking)을 위해 특징을 추출한다. 여기서 특징은 특정 연산방법(예로 최소 고유치 방법 등)에 의해 검출된 특징으로서, KLT 특징 추적 알고리즘에서 KLT 특징이라고도 불리는 것으로, 이는 널리 공지되어 있으므로 자세한 설명은 생략한다. 검출된 KLT 특징은 주로 얼굴에서의 경계선 부분, 모서리(코너) 부분 등(예를들어 얼굴영상에서 코주변의 경계선 또는 모서리 등)을 검출한다. 3개의 트랙킹 포인트인 피검자(50)의 2개의 눈과 코의 위치를 트랙킹(추적)하여 찾아내되, 3개의 트랙킹 포인트를 이용하여 서로의 위치를 추정하며, 3개의 트랙킹 포인트로부터 또는 코로부터 소정 위치에 위치된 관심영역(ROI)을 검출하고, 상기 관심영역 내 특징들을 추출하여 추적한다.

KLT 특징 추적 알고리즘을 적용하기에 앞서, 호흡관련 영역 추적단계(S100)의 초기에, 열영상 수신단계(S10)로부터 들어오는 연속된 얼굴 열영상의 프레임 중 첫 번째 얼굴 열영상 프레임에서 코의 위치가 기설정된 소정 위치에 맞추어 지도록 열영상을 위치시킨다. 또한, 첫 번째 얼굴 열영상 프레임에서 코와 두 눈의 위치를 지정하고, 또한, 관심영역(Region Of Interest, ROI)으로 사용할 크기와, 상기 얼굴 열영상의 기울어진 얼굴의 각도(또는 코의 각도)를 설정하며, 기타 KLT 특징 추적 알고리즘의 파라미터들을 얼굴 열영상에 맞게 설정한다. 이에 따라, 메모리부(220)에, 코와 두 눈의 좌표, 코의 각도(얼굴의 각도), 관심영역 크기 등이 저장된다. 상기 파라미터들은 요구하는 정밀도와 환자의 움직임 정도에 따라 변경될 수 있다.

그 후, 열영상 수신단계(S10)에서 수신된 각 프레임의 영상을 8 bit값을 갖도록 정규화를 행하고, 정규화된 온도 값을 가진 각 프레임의 영상의 코의 각도가, 기 설정된 코 각도와 같도록, 각 프레임의 영상을 보정하고, 보정된 각 프레임의 영상에 KLT 특징 추적 알고리즘을 적용하여 관심영역(ROI)을 얻는다. 즉, 코 부분의 온도 변화 중 실질적으로, 호흡에 영향이 있는 부분을 관심영역으로 하여 추출하게 된다.

피검자(50)는 호흡 및 기타의 이유로 움직임을 갖게 될 수 있으며, 만약 피검자(50)의 움직임에 따라 얼굴이 카메라의 화면을 벗어나거나, 또는 가려짐에 의해, 얼굴 열영상에서 3개의 트랙킹 포인트 중 일부만 남아 있을 경우, 상기 얼굴 열영상에 남아 있는 트랙킹 포인트를 이용하여, 상기 얼굴 열영상에 없는 트랙킹 포인트의 위치를 추정한다. 즉, 이는, KLT 특징 추적 알고리즘을 이용하여, 각 눈의 중심을 포인트로 하며, 코 끝의 중심을 포인트로 하여, 3개의 포인트를 각기 추적하며, 3개의 위치좌표의 특성을 이용하여, 어느 하나가 추적 불가능할 때, 추적 불가능한 포인트의 위치, 즉, 좌표를 유추하여 지속적으로 추적할 수 있다.

호흡관련 영역 추적단계(S100)는 관심영역을 검출하기 위한 단계로서, 이렇게 하여, KLT 특징 추적 알고리즘을 통해 정규화되고 보정된 프레임의 영상에서 관심영역이 구하여지게 되며, 이에 따라, 원 영상인, 열영상 수신단계(S10)에서 수신된 피검자 얼굴 열영상의 프레임에 대해서도 관심영역이 구하여진다.

본 발명에서는, 설명의 편의상, 호흡관련 영역 추적단계(S100)에서 정규화된 영상(이미지)을, 이미지 도메인의 영상(데이터)라 하고, 열영상 수신단계(S10)에서 수신된, 즉, 열영상 카메라(100)로 부터 수신된 영상(이미지)을, 온도 도메인의 영상(데이터)라 한다.

호흡신호 추출단계(S200)로, 호흡관련 영역 추적단계(S100)에서 검출된 얼굴 열영상의 각 프레임의 관심영역(ROI)에서 프레임별 온도변화량을 구하고, 프레임별 온도변화량을 이용하여 호흡신호를 호흡신호를 추출하는 단계이다. 이는 열화상 카메라(100)로부터 수신된 피검자 얼굴 열영상의 각 프레임의 관심영역을, 연이은 전 프레임의 관심영역으로 차감하여 각 프레임의 관심영역의 차영상을 구하고, 구하여진 각 프레임의 관심영역의 차영상에서 3D-DBSCAN을 적용하여 노이즈를 제거하고, 노이즈가 제거된 각 프레임의 관심영역의 차영상의 픽셀값, 즉 온도변이값이, 기설정된 온도변이 기준치와 비교하여 작거나 같은 경우에는 제거하고, 온도변이 기준치보다 큰 경우만을 각 프레임의 관심영역의 온도변이 값(즉, 온도변이 데이터)으로 저장하고, 각 프레임의 관심영역별로, 온도 변이 값(온도변이 데이터)를 합산하여, 이를 프레임별 온도 변화량으로써 구하고, 구하여진 프레임별 온도 변화량들을 시간에 따라(즉, t 축으로) 적분하여, 호흡 데이터(raw data)를 구한다. 검출된 호흡 데이터(raw data)를 평활화(smoothing)를 행한 후, 디트랜드(detrend)를 행하고, 평활화 및 디트랜드가 행하여진 호흡 데이터들을 연속 웨이블렛 변환(Continuous Wavelet Transform, CWT)을 행하여, 주파수별 스케일(강도, 크기)들로 나타내고, 연속 웨이블렛 변환을 행한 결과에서, 주파수별 스케일의 합(주파수별 강도 합)을 구한다. 구하여진 주파수별 스케일 합이 가장 큰 주파수(즉, 최대인 주파수)를, 호흡 주파수(보다 상세히는, 호흡에 가장 관련있는 주파수)로 하며, 호흡 주파수의 각 스케일들을 호흡 신호로서 메모리부(220)에 저장한다.

호흡량 계산단계(S300)로, 호흡량 파형(Volume Waveform)에서 피크(Peak)와 밸리(Valley)를 검출하고, 검출된 피크(peak)와 밸리(valley)들에서, 소정 시간간격 동안(1초당, 또는 1분당 또는 30초당)에, 연이은 피크와 밸리의 쌍의 개수, 즉, 피크에서 밸리로 바뀌는 회수를, 호흡수(respiration rate, RR)로서 검출하고, 또한 호흡량을 구한다. 호흡량은 상술한 바와 같이, 2가지 방법으로 구할 수 있으나, 여기서는 두번째 방법에 의해 구하는 것으로 한다. 즉, 호흡파형에서 한 피크에서 연이은 다음 피크까지를 한 호흡 주기로 하며, 각 호흡주기의 호흡신호를, 연이은 전 호흡주기의 호흡신호에서 차감하여 각 호흡주기별 변화량을 구하고, 각 호흡주기별 변화량을 합산하여 호흡량을 구한다.

도 4a는 본 발명의 일실시예의 KLT 특징 추적 알고리즘을 개략적으로 설명하기 위한 흐름도이고, 도 4b는 도 4a의 1차 특징 추출 단계(S150)를 설명하는 흐름도이고, 도 4c는 도 4b에서 특징추출로부터 관심영역을 추출하는 과정을 설명하는 설명도이다.

KLT 특징 추적 알고리즘은 연산처리부(210)에서 실행되며, 호흡관련 영역 추적단계(S100)에 포함된다.

초기화단계(S105), 연산처리부(210)는 메모리부(220)로부터 편차 기준치, 특징수 기준치 등을 읽어들인다.

초기 트랙킹 포인트 설정단계(S110)로, 열영상 수신단계(S10)에서 수신된 피검자 얼굴 열영상의 첫 프레임에서 코의 위치와 2개의 눈의 위치를 키입력부(250)를 통해 사용자가 지정하며, 연산처리부(210)는 키입력부(250)로부터 코의 위치와 2개의 눈의 위치, 즉, 코의 좌표와 2개의 눈의 좌표를 수신하여, 초기 트랙킹 포인트로서 메모리부(220)에 저장한다. 여기서 피검자의 2개의 눈을 제1눈과 제2눈이라 할 수 있다. 이때 관심영역 크기, 위치 등도 설정될 수 있다.

초기 코 각도 설정단계(S115)로, 열영상 수신단계(S10)에서 수신된 피검자 얼굴 열영상의 첫 프레임에서 코의 각도를 사용자가 지정하며, 연산처리부(210)는 키입력부(250)로부터 코의 각도를 수신하여, 초기 코의 각도로서 메모리부(220)에 저장한다.

열영상 로드 단계(S120)로, 열영상 수신단계(S10)에서 수신되어 메모리부(220)에 임시저장된 피검자 얼굴 열영상을 프레임단위로 읽어들인다.

정규화 단계(S130)로, 열영상 로드 단계(S120)에서 수신된 피검자 얼굴 열영상의 각 프레임의 각 화소, 즉, 절대온도 데이터에서, 최소온도(min) 값과 최대온도(max) 값 사이를 256 등분한 값(8 bit)으로 이미지화시키는 정규화를 행한다.

여기서, 정규화 방법은 얼굴 열영상의 각 프레임마다 중간온도(median), 최대온도(max)의 값을 구한다. 그리고, 얼굴 열영상의 각 프레임의 최대온도와 중간온도의 차(difference), 즉, 최대온도(max)에서 중간온도(median)를 뺀 값을 구한다. 다시말해 difference = max - median 을 구한다. 그 다음, 얼굴 열영상의 각 프레임의 최소온도(min)의 값을 구하되, 최소온도(min)는, 중간온도(median)에서, 최대온도와 중간온도의 차(difference)를 뺀 값으로 한다. 즉, min = median - difference 를 구한다. 이때 최소온도(min) 값과 최대온도(max) 값 사이를 온도범위(range) 라고 한다. 온도범위(range), 즉, 최소온도(min) 값과 최대온도(max) 값 사이를 256 등분한 값으로, 얼굴 열영상의 각 프레임의 각 화소들을 환산하여, 저장한다. 예를들어, 중간온도(median) 값이 36.1 도이고, 최대온도(max) 값이 38.1 도 일 때, 그 차(difference) 값은 2도이고, 최소온도(min) 값은 34.1 도이다. 34.1 ~ 38.1 도를 256 등분한 값으로 환산하여 8bit 이미지 영상을 만든다.

각도 보정단계(S135)로, 정규화 단계(S130)에서 정규화된 피검자 얼굴 열영상의 각 프레임의 코를, 초기 코 각도 설정단계(S115)에서 설정된 초기 코 각도와 같도록 보정을 행하되, 즉, 초기 코 각도와 첫 프레임후 수신된 피검자 얼굴 열영상의 각 프레임의 코를 비교하여, 코가 비뚤어 졌는 지를 판단하고, 비뚤어졌다고 판단되면, 얼굴 열영상 프레임의 코가, 초기 코 각도와 같은 각도를 같도록, 얼굴 열영상 프레임을 보정한다.

즉, 각도 보정단계(S135)는, 열영상 수신단계(S10)로부터 읽어들여지고 정규화 단계(S130)에서 정규화가 행하여진, 연속된 얼굴 열영상의 프레임들을, 초기 코 각도에 의해, 첫 번째 얼굴 열영상 프레임에서 코의 위치가 기설정된 소정 위치에 맞추어 지도록 열영상을 위치시킨다.

1차 특징 추출 단계(S150)로, 정규화 단계(S130)에서 정규화되고 각도 보정단계(S135)에서 각도가 보정된, 피검자 얼굴 열영상의 각 프레임에서 추적(Tracking)에 사용될 제1눈과 제2눈과 코의 트랙킹 포인트를 추출하고, 이 3개의 트랙킹 포인트를 이용하여(또는 코의 트랙킹 포인트를 이용하여), 관심영역(코 부분 또는 비강이 있는 부분, 또는 코 밑 부분)의 후보(도 4c의 파랑색 사각형 부분)를 설정하고, 상기 관심영역의 후보에서의 특징점(feature)(도 4c의 초록색의 "+" 부분)을 추출하고(S153), 연이은 전 프레임에서 상기 특징점과 대응되는 특징점(의 좌표)을 찾고(S154), 추출된 특징점(의 좌표)과, 연이은 전 프레임에서 상기 특징점과 대응된 특징점(의 좌표)과의 이동 거리(이동정도)를 행렬(Transform Matrix)로 나타내고(S155), 추출된 행렬에 따라, 현재 프레임의 영상(즉, 각도 보정단계(S135)에서 출력된 피검자 얼굴 열영상)을 휘도록(warp하도록) 보정하고(S156), 관심영역(ROI)(도 4c의 빨강색 사각형 부분)을 구한다.

본 발명에서, 추적(tracking)은 기본적으로 얼굴 열영상 중에 코 부위를 추적하며, 경우에 따라서 환자의 움직임에 의해서 코를 추적하기 어려운 상황이 있는 데, 이때 코의 위치를 추정(estimation) 하기 위하여 양 두 눈의 위치도 같이 추적한다. 즉, 코의 위치를 파악할 수 없을 때 두 눈의 정보를 이용하여 코의 위치를 추정(estimation) 하게 된다.

코를 추적하기 어려운 상황이란, KLT 가 스스로 관심영역을 지정하지 못하거나, 원하는 부분을 지정하지 못하였을 때를 말하며, 이러한 경우는, 첫번째로, 코가 화면밖으로 나갔을 때 ( Tracking 지점 범위 밖으로 나감), 두번째로, 얼굴 위에 손 및 다른 물체가 지나갔을 때 ( 코의 Feature를 찾을 수 없음, 및 코의 평균 온도 및 편차 같은 온도 대역의 변화), 세번째로, 전면의 각도가 바뀌어 위치를 확인할 수 없을 때 ( 코의 Feature를 찾을 수 없음) 등이다. 이러한 경우에 예측방법으로써, 두 눈의 위치는 변화하는 것이 아니므로, 두눈의 이동 궤적의 평균으로 코의 위치를 추측한다.

본 발명에서 트랙킹 포인트인, 피검자의 2개의 눈(즉, 제1눈과 제2눈)과 코의 각각에 대해 개별 추적(Tracking)을 진행하고 이에 따라 관심영역이 설정되게 된다.

KLT는 이미지 도메인에서 관심영역을 설정하고, 관심영역 내부에서 이미지의 특징점을 추출한다. 특징점의 정보를 가지고 다음 프레임에서 특징점들이 어떻게 변화하였는지를 계산하여 Transform matrix를 구하게 된다. 이를 이용하여, 같은 관심영역을 포함하는 여러장의 slice 들을 얻을 수 있다. 여기서, 특징 추출은 기본적으로 최소 고유치(mininum eigen feature, minimum eigenvalue) 알고리즘(방법)을 사용하거나, 다른 여러 가지 특징 추출(feature extraction) 방법이 사용될 수 있다.

1차 평균온도 및 편차 연산단계(S155)로, 1차 특징 추출 단계(S150)에서 구한 각 프레임의 관심영역 내의 온도를 평균하여 '프레임별의 관심영역 평균온도'로서 구하고, 현재 프레임까지의 관심영역 평균 온도를 평균하여 '총 프레임의 관심영역 평균온도'를 구하고, 각 프레임의 관심영역 내의 온도들의 표준편차(즉, 프레임별의 관심영역내의 온도들이 프레임별의 관심영역 평균온도로부터 얼마나 떨어져 있는지를 구함)를 '프레임별의 관심영역 온도 편차'로서 구하고, 또한, 현재 프레임의 관심영역 내의 각 특징별의 온도를, 전 프레임들의 해당 특징의 온도들과 평균하여, 각 특징별 평균온도로서 구하고, 프레임별의 각 특징별의 현재의 온도와 각 특징별의 평균온도의 차의 절대치인 프레임별의 특징별 온도 편차를 구한다.

즉, 평균온도 및 편차 연산단계(S155)에서는 프레임별의 관심영역 평균온도, 프레임별의 관심영역 온도 편차, 총 프레임의 관심영역 평균온도, 각 특징별 평균온도, 특징별 편차를 구하며, 경우에 따라서는 이들 중 일부(예로, 각 특징별 평균온도, 특징별 편차, 총 프레임의 관심영역 평균온도)는 생략할 수 있다.

1차 편차 기준치 초과여부 판단단계(S160)로, 평균온도 및 편차 연산단계(S130)에서 구한 관심영역 편차를 편차 기준치와 비교하여, 상기 관심영역 편차가 편차 기준치보다 큰지를 판단하며, 만약 관심영역 편차가 편차 기준치보다 크다면, 특징들을 잘못 검출한 것으로, 해당 관심영역 내의 특징들을 제거하고(S166), 트랙킹 포인트 재검출 단계(S167)로 간다.

여기서 편차 기준치는, 초기 설정단계에서 사용자에 의해 설정되어 저장된 값이거나, 공장출하시 저장된 값일 수 있으며, 인간의 체온변화 한계값 또는 그 보다 큰 값일 수 있다.

도 16에서, 가로축(x 축)은 시간에 따른 각 프레임을 나타내며, 붉은색의 선이 프레임별의 관심영역 평균온도이고, 파란색의 선은 프레임별의 관심영역 평균온도와 프레임별의 관심영역 온도 편차를 합한 것을 나타내며, 초록색의 선은 프레임별의 관심영역 평균온도에서 프레임별의 관심영역 온도 편차를 뺀 것을 나타내는 그래프이다. 즉, 같은 얼굴부위를 정상적으로 트랙킹(추적) 하고 있다면 ( 호흡으로 인한 온도의 변화는 매우작고 평균을 취하게 되면 영향이 작아지므로) 평균과 편차가 유지되거나, 변하더라도 급격하게 변화하지 않는다. 그러나 오염된 부분이 들어오게되면 온도의 평균과 편차는 급격하게 변화한다. 그러므로, 도 16의 프레임 6~7에서 변화의 경우, 관심영역이 잘못되었다고 판별된다. 즉, 관심영역이 코가 아닌 부분이라고 판별된다.

특징수 기준치 미만여부 판단단계(S165)로, 1차 편차 기준치 초과여부 판단단계(S160) 후, 관심영역 내에서 구하여진 특징점의 수를 기 설정된 특징수 기준치와 비교하여, 특징점의 수가 특징수 기준치보다 작다면, 특징점들을 잘못 검출한 것으로, 해당 관심영역 내의 특징들을 제거하고(S166), 트랙킹 포인트 재검출 단계(S167)로 간다.

해당 관심영역 내의 특징들을 제거할때(S166)에는 현재 프레임에 대해 구하여진, 관심영역 온도, 관심영역 평균온도, 각 특징별 평균온도, 특징별 편차들도 제거한다.

1차 편차 기준치 초과여부 판단단계(S160)에서 관심영역 편차가 편차 기준치보다 크다면, 또는 특징수 기준치 미만여부 판단단계(S165)에서 특징의 수가 특징수 기준치보다 작다면, 이는 코 관련 트랙킹 포인트들을 잘못 구한 것으로, 이로 인해 관심영역이 잘못 구하여진 것으로 판단한다.

트랙킹 포인트 재검출 단계(S167)로, 1차 편차 기준치 초과여부 판단단계(S160)에서 관심영역 편차가 편차 기준치보다 크다면, 또는 특징수 기준치 미만여부 판단단계(S165)에서 특징점의 수가 특징수 기준치보다 작다면, 코의 트랙킹 포인트들을 잘못 구한 것으로, 나머지 2개의 트랙킹 포인트(즉, 2개의 눈 트랙킹포인트)에 대해서, 현재의 프레임에 연이은 전의 프레임의 나머지 2개의 트랙킹 포인트(즉, 2개의 눈 트랙킹포인트) 각각의 위치로부터, 현재의 프레임의 트랙킹 포인트(즉, 2개의 눈 트랙킹포인트) 각각의 위치까지 움직인 거리인, 트랙킹 포인트 이동거리를 구하고, 2개의 트랙킹 포인트 이동거리의 평균인, 트랙킹 포인트 이동거리 평균을 구하고, 전의 프레임의 코의 트랙킹 포인트와, 트랙킹 포인트 이동거리 평균을 이용하여 수정된 코의 트랙킹 포인트를 다시 구한다. 즉, 수정된 코의 트랙킹 포인트는 전의 프레임의 코의 트랙킹 포인트가, 트랙킹 포인트 이동거리 평균만큼 이동한 것으로 하여 코의 트랙킹 포인트를 구한다.

여기서, 트랙킹 포인트 이동거리는, 현재의 프레임과 연이은 전의 프레임의 트랙킹 포인트의 위치로부터. 현재의 프레임의 해당 트랙킹 포인트의 위치까지의 거리를 말한다.

2차 특징 추출 단계(S170)로, 트랙킹 포인트 재검출 단계(S167)에서 구하여진 수정된 코의 트랙킹 포인트와, 2개의 눈의 트랙킹 포인트를 이용하여(또는 수정된 코의 트랙킹 포인트를 이용하여), 관심영역을 구하고, 상기 관심영역내의 특징을 추출한다.

2차 평균온도 및 편차 연산단계(S175)로 2차 특징 추출 단계(S170)에서 구한 현재 프레임의 관심영역 내의 온도를 평균하여 '프레임별의 관심영역 평균온도'로서 구하고, 현재 프레임까지의 관심영역 온도를 평균하여 '총 프레임의 관심영역 평균온도'를 구하고, 현재 프레임의 관심영역 내의 온도들의 표준편차(즉, 프레임별의 관심영역내의 온도들이 프레임별의 관심영역 평균온도로부터 얼마나 떨어져 있는지를 구함)를 '프레임별의 관심영역 온도 편차'로서 구하고, 또한, 현재 프레임의 관심영역 내의 각 특징별의 온도를, 전 프레임들의 해당 특징의 온도들과 평균하여, 각 특징별 평균온도로서 구하고, 프레임별의 각 특징별의 현재의 온도와 각 특징별의 평균온도의 차의 절대치인 프레임별의 특징별 온도 편차를 구한다.

2차 편차 기준치 초과여부 판단단계(S180)로, 2차 평균온도 및 편차 연산단계(S175)에서 구한 관심영역 온도 편차를 편차 기준치와 비교하여, 상기 관심영역 편차가 편차 기준치보다 큰지를 판단하며, 만약 상기 관심영역 온도 편차가 편차 기준치보다 크다면, 특징들을 잘못 검출한 것으로, 더 이상의 추적(트랙킹)이 불가능하므로 이로써 트랙킹을 종료한다.

여기서 상기 관심영역 온도 편차가 편차 기준치보다 작거나 같다면, 현재 프레임에서 검출된 관심영역 온도가, 관심영역 평균온도와 편차 기준치 사이에 존재하게 되면, 제대로 특징들이 검출된 것으로, 추적(트랙킹)이 불가능한 요소가 사라졌다고 할 수 있다.

추적 종료여부 판단단계(S185)로, 종료 스위치가 눌러짐에 따라 종료 플레그가 세트되거나, 또는, 현재 얼굴 열영상 프레임이, 초기에 설정된 소정 시간간격의 마지막 얼굴 열영상 프레임에 해당한다면, 추적을 종료하며, 그렇지 않다면, 열영상 로드 단계(S120)로 가서 다음 프레임의 얼굴 열영상을 수신한다.

1차 특징 추출 단계(S150), 트랙킹 포인트 재검출 단계(S167), 2차 특징 추출 단계(S170)에 있어서, 추적(Tracking) 에 필요한 트랙킹 포인트와 특징(Feature)을 선정(추출)할 때에, 재현성, 개수, 위치 및 스케일 불변성이 높은 트랙킹 포인트, 특징(feature)을 선정(추출)하는 것이 바람직하다. 이는 KLT 트랙킹(tracking)을 하려는 위치에서 mineigen, Harris, SURF, BRISK, MSER, FAST 등 여러 가지 방법으로 트랙킹 포인트, 특징(feature)을 선정(추출)할 수 있다. 추출된 트랙킹 포인트, 특징(feature) 들을 그 다음 프레임에서 추출된 트랙킹 포인트, 특징(feature)과 비교하여, 프레임사이에 변경된 부분과 그 정도를 계산한다. 이때, 대상자의 상태에 따라, 변할 수 있는 최대값을 지정할 수 있으며, 허용 오차를 설정할 수 있다. 더 큰 변화검출을 위해 이미지 피라미드(Image Pyramid)를 사용하며, 양방향 에러(Bidirectional Error)를 검증하여 특징(feature)이 사라졌을 때 나타날 오차율을 낮춘다. 이렇게 계산된 결과를 이용하여, Transform matrix를 추출하고, 추출된 matrix를 사용하여 얼굴열영상(Image)를 warp 시킨 후, 해당 관심영역(ROI)을 추출한다.

본 발명에서, KLT 특징 추적 알고리즘을 통해 열화상 카메라(100)로부터 수신된 피검자 얼굴 열영상을 정규화하고 보정하고, 정규화되고 보정된 영상의 각 프레임별로 관심영역이 하나씩 얻어지게 되며, 이에 대응하여, 정규화되지 않은, 열화상 카메라(100)로부터 수신된 원래의 피검자 얼굴 열영상의 각 프레임에서도 관심영역이 구하여지게 되며, 메모리부(220)에 저장되게 된다.

다음은 연산처리부(210)에서 행하여지는 호흡신호 추출단계(S200)에 대해서 설명한다.

호흡신호 추출단계(S200)는 열화상 카메라(100)로부터 수신된 원래의 피검자 얼굴 열영상의 각 프레임별로 구해진 관심영역을 이용하여 행하여진다.

도 5는 도 3의 호흡신호 추출단계를 개략적으로 설명하기 위한 흐름도이다.

프레임별 온도변이 검출단계(S225)로, 호흡관련 영역 추적단계(S100)에서 구하여진 프레임별 관심영역에 이미지로 대응되는, 열영상 수신단계(S10)에서 수신된 원래의 피검자 얼굴 열영상의 프레임별 관심영역을 메모리부(220)로부터 읽어들이고, 메모리부(220)로부터 읽어들인 피검자 얼굴 열영상의 각 프레임의 관심영역에서, 연이은 전 프레임의 관심영역을 차감하여, 각 프레임의 관심영역의 차영상을 구한다. 즉, 현재의 프레임의 영상의 관심영역의 온도(화소)들에서, 연이은 전 프레임의 영상의 관심영역의 해당 온도(화소)을 차감하여, 현재의 프레임의 관심영역의 온도변이로서 검출한다.

노이즈 제거단계(S220)로, 프레임별 온도변이 검출단계(S225)를 거친 각 프레임의 관심영역을 3D-DBSCAN을 이용하여 노이즈 포인트를 제거한다. 다시말해, 노이즈 제거단계(S220)는 온도변이 검출단계(S225)에서 출력된 현재의 프레임의 관심영역의 온도변이, 즉, 차영상에서, 온도 변이 부분의 밀도가 적은 부분을 노이즈로 간주하고 3D-DBSCAN을 이용하여 제거한다. DBSCAN에 대해서는 위키백과 등등에 널리 공지된 기술로 이에 대한 상세한 설명은 생략한다.

특히, 기존 DBSCAN 은 2d Image 화면상에서 밀도를 계산하여, 클러스터링을 하나, 본 발명에서는 3D-DBSCAN으로 개선시켜, 밀도를 계산할 때 2D Image 와 시간축에서도 정보를 얻어 밀도를 계산한다. 노이즈를 제거하기 위하여 DBSCAN 이란 알고리즘을 사용하였지만, 이로써 본 발명을 한정하기 위한 것은 아니며, 시간 및 공간적으로 노이즈를 제거하는 방법이라면 어느 방법이라도 사용가능하다.

온도변이 기준치 비교단계(S230)로, 노이즈 제거단계(S220) 후, 각 프레임의 온도변이의 절대치가, 기설정된 온도변이 기준치와 비교하여 작거나 같은 경우에는 이를 제거하고, 온도변이 기준치보다 큰 경우만을 각 프레임의 온도변이로 저장한다. 이때, 온도변이 기준치는 카메라에 따라 주어지는 최소 온도 변화량(온도민감도, NETD)일 수 있다. 즉, 최소 온도 변화량은 카메라에 따라서 설정되는 값으로, 공장출하시 설정되거나, 사용 초기에 사용자에 의해 설정될 수 있으며, 이는 메모리부(220)에 저장되어 있다.

온도 변화량 연산단계(S235)로, 온도변이 기준치 비교단계(S230) 후, 저장된 각 프레임별로 온도 변이를 합산하여, 이를 프레임별 온도 변화량의 합으로써 구하고, 프레임별 온도 변화량의 합을 메모리부(220)에 순차적으로 저장한다. 만약 한 프레임이 320x240 의 레졸루션(해상도)을 갖는다면, 온도변화량의 합은

에 의해 구하여진다. 이렇게 구하여진 온도변화량의 합들을 프레임에 따라, 다시말해 시간에 따라 순차적으로 그래프상에 나타낼 수 있으며, 본 발명에서는 이를 온도 변화량 그래프라 설명의 편의상 정의한다.

호흡 데이터 검출단계(S250)로, 연산처리부(210)은 온도 변화량 연산단계(S235)에서 구한 프레임별 온도 변화량 합들을 메모리부(220)로부터 프레임 순서, 즉, 시간순서에 따라 읽어들이고 프레임별 온도 변화량들을 시간에 따라(즉, t 축으로) 적분하여, 호흡 데이터(raw data)를 구한다.

여기서, 읽어들이는 데이터의 갯수는, 기설정된 데이터의 갯수, 또는 기 설정된 시간간격에 의해 정해지며, 이는 고장출하시 정하여 지거나, 본 시스템의 사용초기에 사용자가 정할 수 있다.

즉, 온도변화량(보다 정확하게는 프레임별 온도변화량의 합)이 호흡과 비례하기 때문에, 온도 변화량을 시간에 따라(즉, t 축으로) 적분하게 되면, 호흡 파형을 얻을 수 있으며, 본 발명에서는 이를 호흡 데이터(raw data)로 한다.

평활화 및 디트랜드 단계(S255)로, 호흡 데이터 검출단계(S260)에서 검출된 호흡 데이터(raw data)를 평활화(smoothing)를 행한 후, 디트랜드(detrend)를 행한다,

여기서 평활화는 이동평균필터 또는 가우시안 필터를 이용하여 행할 수 있다. 이는 명암의 분포를 재분배하여, 명암이 일정하게 되므르, 희고 검은 부분이 명확하게 드러나게 된다.

일반적으로, 디트랜드는 데이터로부터 평균치 또는 선형트랜드를 제거하여 변동을 명확하게 들어나게 하는 방법으로, DFA（Detrended Fluctuation Analysis)등의 방법이 있으며, 컴퓨터 언어(예를들어 c언어) 등에는 "detrend"에 대한 명령어를 구비하고 있다.

평활화 및 디트랜드 단계(S255)에서 평활화와 디트랜드를 행한 호흡 데이터들을 연속 웨이블렛 변환(Continuous Wavelet Transform, CWT)을 행하여, 주파수별 강도들을 나타내어, 즉, 주파수 도메인 상의 값들로 변환한다.

연속 웨이블렛 변환단계(S260)로, 평활화 및 디트랜드 단계(S270)에서 평활화와 디트랜드를 행한 호흡 데이터들을 연속 웨이블렛 변환(CWT)을 행하여,주파수별 스케일(강도, 크기)들을 나타내어, 즉, 주파수 도메인 상의 값들로 변환한다.

호흡 주파수 검출단계(S265)로, 연속 웨이블렛 변환단계(S260)에서 연속 웨이블렛 변환을 행한 결과에서, 주파수별 스케일(강도, 크기)의 합을 구하고, 주파수별 스케일(강도, 크기)의 합이 가장 큰 주파수(즉, 최대인 주파수)를, 호흡 주파수(보다 상세히는, 호흡에 가장 관련있는 주파수)로 하며, 호흡 주파수의 각 스케일들을 호흡 신호로서 메모리부(220)에 저장한다.

호흡 파형 출력단계(S270)로, 호흡 주파수 검출단계(S265)에서 구하여진 호흡신호를 그래프로 출력한다.

다음은 연산처리부(210)에서 행하여지는 호흡량 계산단계(S300)에 대해서 설명한다. 즉, 호흡신호 추출단계(S200)의 호흡 주파수 검출단계(S265)에서 구하여진 호흡 신호를 이용하여 호흡량을 계산하는 과정을 설명한다.

도 6은 도 3의 호흡량 계산단계를 개략적으로 설명하기 위한 흐름도이다.

피크 및 밸리 검출단계(S310)로, 호흡 주파수 검출단계(S265)에서 구하여진 호흡신호를 1차 미분하여 변곡점을 구하고, 이로부터 피크(peak)와 밸리(valley)를 검출한다.

호흡수 검출단계(S320)로, 피크 및 밸리 검출단계(S310)에서 검출된 피크(peak)와 밸리(valley)들에서, 소정 시간간격 동안(1초당, 또는 1분당 또는 30초당)에, 피크와 밸리가 순차적으로 연이은 쌍의 개수, 즉, 피크에서 밸리로 바뀌는 회수를, 호흡수로서 검출한다.

호흡량 검출단계(S330)로, 호흡 주파수 검출단계(S265)에서 구하여진 호흡신호에서, 호흡 주기를 검출하고, 각 호흡주기의 호흡신호를, 연이은 전 호흡주기의 호흡신호에서 차감하여 각 호흡주기별 변화량을 구하고, 각 호흡주기별 변화량을 시간에 따라 합산하여 호흡량을 구한다.

여기서 호흡량 검출단계(S330)는 상술한 호흡량 검출방법 중 두번째 방법이며, 이는 상술한 호흡량 검출방법 중 첫번째 방법으로도 행하여 질 수 있다.

도 7은 도 5에서 호흡신호 추출단계(S200)에서 특징별 온도변이 검출단계(S225)와 온도변이 기준치 비교단계(S230)를 실행한 결과의 일예이다. 즉, 도 7은 도 5의 호흡신호 추출단계(S200) 온도 변화량 연산단계(S235)의 전단계의 출력의 일예이다.

도 7의 (a)는 현재 프레임(t1)과 연이은 전 프레임(t0)의 열 영상이고, 도 7의 (b)는 현재 프레임(t1)의 열 영상이고, 도 7의 (c)는 현재 프레임(t1)과 연이은 전 프레임(t0)의 열 영상에 대한 차영상 이다.

도 7의 (d)는, 현재 프레임(t1)과 연이은 전 프레임(t0)의 열 영상에 대한 차영상의 절대치를, 온도변이 기준치와 비교하여, 작거나 같은 경우에는 제거한 경우이다. 이때 온도변이 기준치를 0,05로 할 수 있다.

도 7의 (e)는 도 7의 (d)의 열영상에서 위치정보를 나타낸 것이다.

도 8은 호흡신호 추출단계(S200)의 노이즈 제거단계(S220)에서 3D-DBSCAN을 이용하여 노이즈를 제거한 결과의 일예이다.

본 발명에서 노이즈를 제거하기 위하여 DBSCAN 이란 알고리즘을 사용하였지만, 이로써 본 발명을 한정하기 위한 것이 아니며, 시간-공간적으로 노이즈를 제거하는 어떠한 알고리즘이라도 사용 가능하다. 또한, 여러 가지 클러스터링 방법 중 DBSCAN 은 arbitrary shape를 표현 할 수 있으므로 K-means, K-medoids 클러스터링 보다 다양한 형태의 클러스터링을 잘할 수 있다. 도 8에서 검정색이 노이즈로 판단된 포인트이고, 붉은색이 클러스터링 된 포인트이다.

일반적으로 DBSCAN 이란, 점들이 찍힌 밀도에 의해서 클러스터링을 하게 되고, 즉 온도의 변화량이 없는 곳에서는 클러스터링이 적고, 온도의 변화량이 있는 곳에서는 클러스터링이 잘 되어진다. 이러한 클러스터링 과정 중에서, 클러스터링 조건이 3차원적으로 동일 시간 내 밀도와, 시간축으로의 밀도를 함께 고려 하여 노이즈를 제거한다.

도 9는 온도 변화량 연산단계(S235)의 결과의 일예이다.

도 9의 (a)는 특징별 온도변이 검출단계(S225)의 결과로 하나의 프레임의 온도변이를 나타낸다.

도 9의 (b)는 온도 변화량 연산단계(S235)의 결과로, 각 프레임들에 따른 온도 변화량을 그래프로 나타낸 것이다. 도 9의 (b)에서, x축은 시간에 따른 프레임들을 나타내는 것으로, 결과적으로 시간을 나타낸다고 할 수 있으며, y축은 온도 변화량의 크기를 나타낸다.

도 10은 호흡 데이터 검출단계(S250)의 결과의 일예이다.

도 10의 (a)는 온도 변화량 연산단계(S235)의 결과의 일예로, 프레임별 온도 변화량을 그래프로 나타낸 것이고, 도 10의 (b)는 호흡 데이터 검출단계(S250)의 결과의 일예로, 도 10의 (a)의 프레임별 온도 변화량들을 시간에 따라(즉, t 축으로) 적분하여, 호흡 데이터(raw data)를 구한 일예이다.

도 10의 (a)에서, x축은 시간에 따른 프레임들을 나타내는 것으로, 결과적으로 시간을 나타낸다고 할 수 있으며, y축은 온도 변화량의 크기를 나타낸다. 또한, 도 10의 (b)에서, x축은 시간에 따른 프레임, 즉 시간을 나타내며, y축은 온도 변화량의 적분값을 나타낸다.

도 11은 연속 웨이블렛 변환단계(S260)의 결과의 일예이다.

도 11의 (b)는 호흡 데이터 검출단계(S250)의 결과의 일예로, 프레임별 온도 변화량들을 시간에 따라(즉, t 축으로) 적분하여 구하여진 호흡 데이터(raw data)의 일예이다.

도 11의 (a)는, 도 11의 (b)의 호흡 데이터를 연속 웨이블렛 변환(CWT)을 행하여, 주파수별 강도들을 나타낸 것이다.

도 12는 호흡 주파수 검출단계(S265)를 설명하기 위한 도면이다.

도 12는 연속 웨이블렛 변환단계(S260)에서 연속 웨이블렛 변환을 행한 결과를 나타내며, 그 중 주파수별 강도 합이 가장 큰 주파수 대역(도 12에서는 화살표를 가진 실선으로 나타냄)을, 호흡 주파수 대역으로 검출한다. 즉, 호흡 주파수 검출단계(S265)에서는 모든 프레임을 이용하여 강도의 합이 최대가 되는 스케일 대역을 추출하며 이는 호흡에 관련있는(dominant한) 주파수 추출한 것이 된다.

도 13은 피크 및 밸리 검출단계(S310)의 결과의 일예이다.

도 13의 (a)는 호흡 주파수 검출단계(S265)의 결과의 일예이다.

도 13의 (b)는, 도 13의 (a)의 호흡신호로부터 피크(peak)와 밸리(valley)를 검출한 결과의 일 예이다. 도 13의 (b)에서 피크가 있는 부분은 붉은 색으로 표시하고, 밸리(valley)가 있는 부분은 파랑색으로 표시하였다.

도 14는 열영상 로드 및 각도 보정단계(S120)에서 각도를 보정하는 것을 나타낸다.

도 14의 (a)는 초기 코 각도 설정단계(S115)에서 사용자가 지정한 코의 각도를 나타낸다,

도 14의 (b)는 각도 보정단계(S135)에서 도 14의 (a)의 초기 코 각도와 같도록 정규화 단계(S130)의 출력을 보정을 행하는 것을 나타낸다.

도 14의 (c)는 도 14의 (b)와 같이 코 각도를 보정하여 관심영역을 검출하고, 검출된 관심영역에 대응한, 열 영상 수신단계에서 입력된 원래의 열 영상의 프레임에서의 관심영역을 출력한 것을 나타낸다.

도 15는 1차 특징 추출 단계(S150)에서 특징을 추출한 일예를 나타낸다. 즉, 관심영역, 즉, 코 부분(또는 비강이 있는 부분, 또는 코 밑 부분)에서의 추적에 사용될 다수의 특징(feature)을 추출한다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

50 : 피검자 100 : 열화상 카메라
200 : 영상 분석부 210 : 연산 처리부
220 : 메모리부 230 : 출력부
250 : 키입력부

Claims (19)

1. 열화상카메라로부터 수신하여 각 화소가 온도를 나타내는, 얼굴의 열영상의 프레임에서, 연산처리부는, 코와 2개의 눈을 트랙킹포인트로 하여, KLT 특징 추적기를 이용하여, 코 부분의 관심영역을 검출하는, 호흡관련 영역 추적단계;
   호흡관련 영역 추적단계 후, 연산처리부는, 열화상카메라로부터 수신한 얼굴의 열영상에서, 각 프레임의 관심영역의 영상을, 연이은 전 프레임의 관심영역의 영상을 차감한 차영상을 구하되, 상기 차영상의 각 화소의 값을, 온도변이의 값으로하며, 프레임별로 온도변이 값을 합산하여 프레임별 온도변화량의 합으로서 메모리부에 순차적으로 저장하고, 기 설정된 시간동안에 저장된 모든 프레임의 프레임별 온도변화량의 합을 메모리부로부터 읽어들여 시간에 따라 적분하여 호흡관련 데이터로 하고, 호흡관련 데이터에 연속 웨이블렛 변환을 적용하여 호흡신호를 검출하는, 호흡신호 추출단계;
   를 포함하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
2. 제1항에 있어서,
   호흡신호 추출단계 후, 연산처리부는, 상기 호흡신호에서 피크와 밸리를 검출하고 검출된 피크와 밸리를 이용하여 호흡수 및 호흡량을 검출하는, 호흡수 및 호흡량 검출단계;
   를 더 포함하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
3. 제2항에 있어서, 호흡관련 영역 추적단계는,
   연산처리부가, 열화상카메라로부터 수신된 피검자 얼굴 열영상의 각 프레임 내에서, 최소온도값과 최대온도값을 구하고, 각 프레임의 각 화소의 온도가, 최소온도 값과 최대온도 값 사이를 256 등분한 값을 갖도록 정규화를 행하는, 정규화 단계;
   정규화 단계에서 정규화된 각 프레임의 코를, 기 설정된 초기 코 각도와 같도록 연산처리부가 보정을 행하는, 각도 보정단계;
   연산처리부는 각도 보정단계에서 각도가 보정된, 각 프레임에서 코와 2개의 눈의 트랙킹 포인트를 이용하여, 관심영역의 후보를 설정하고, 상기 관심영역의 후보에서의 특징점을 추출하고, 추출된 특징점과, 연이은 전 프레임에서 상기 특징점과 대응된 특징점과의 이동 거리를 행렬(Transform Matrix)로 나타내고, 추출된 행렬에 따라, 현재 프레임의 영상을 보정하고, 보정된 현재 프레임에서 관심영역을 구하는, 1차 특징 추출 단계;
   를 포함하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
4. 제3항에 있어서, 호흡관련 영역 추적단계는,
   연산처리부가, 1차 특징 추출 단계에서 구한 각 프레임의 관심영역 내의 온도를 평균하여 '프레임별의 관심영역 평균온도'로서 연산처리부가 구하고, 각 프레임의 관심영역 내의 온도들의 표준편차를 '프레임별의 관심영역 온도 편차'로서 구하는, 1차 평균온도 및 편차 연산단계;
   연산처리부는, 평균온도 및 편차 연산단계에서 구한 관심영역 편차를, 기설정된 편차 기준치와 비교하여, 상기 관심영역 편차가 편차 기준치보다 큰지를 판단하며, 만약 관심영역 편차가 편차 기준치보다 크다면, 특해당 관심영역 내의 특징들을 제거하고, 트랙킹 포인트 재검출 단계로 가는, 1차 편차 기준치 초과여부 판단단계;
   연산처리부는, 1차 편차 기준치 초과여부 판단단계 후, 관심영역 내에서 구하여진 특징점의 수를 기 설정된 특징수 기준치와 비교하여, 특징점의 수가 특징수 기준치보다 작다면, 해당 관심영역 내의 특징들을 제거하고, 트랙킹 포인트 재검출 단계로 가는, 특징수 기준치 미만여부 판단단계;
   연산처리부는, 1차 편차 기준치 초과여부 판단단계에서 관심영역 편차가 편차 기준치보다 크다면, 또는 특징수 기준치 미만여부 판단단계에서 특징점의 수가 특징수 기준치보다 작다면, 코의 트랙킹 포인트들을 잘못 구한 것으로, 현재의 프레임에 연이은 전의 프레임의 2개의 눈 트랙킹포인트의 각각의 위치로부터, 현재의 프레임의 2개의 눈 트랙킹포인트의 각각의 위치까지 움직인 거리인, 트랙킹 포인트 이동거리를 구하고, 2개의 트랙킹 포인트 이동거리의 평균인, 트랙킹 포인트 이동거리 평균을 구하고, 전의 프레임의 코의 트랙킹 포인트와, 트랙킹 포인트 이동거리 평균을 이용하여 수정된 코의 트랙킹 포인트를 구하는, 트랙킹 포인트 재검출 단계;
   를 포함하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
5. 제4항에 있어서, 호흡관련 영역 추적단계는,
   연산처리부가, 트랙킹 포인트 재검출 단계에서 구하여진 수정된 코의 트랙킹 포인트와, 2개의 눈의 트랙킹 포인트를 이용하여, 관심영역을 구하고, 특징을 추출하는, 2차 특징 추출 단계;
   연산처리부가, 2차 특징 추출 단계에서 구한 각 프레임의 관심영역 내의 온도를 평균하여 '프레임별의 관심영역 평균온도'로서 연산처리부가 구하고, 각 프레임의 관심영역 내의 온도들의 표준편차를 '프레임별의 관심영역 온도 편차'로서 구하는, 2차 평균온도 및 편차 연산단계;
   연산처리부가, 2차 평균온도 및 편차 연산단계에서 구한 관심영역 온도 편차를 편차 기준치와 비교하여, 상기 관심영역 온도 편차가 편차 기준치보다 큰지를 판단하며, 만약 상기 관심영역 온도 편차가 편차 기준치보다 크다면, 추적(트랙킹)을 종료하는, 2차 편차 기준치 초과여부 판단단계;
   연산처리부가, 종료 스위치가 눌러짐에 따라 종료 플레그가 세트되거나, 또는, 현재 프레임이, 초기에 설정된 소정 시간간격의 마지막 프레임에 해당한다면, 추적을 종료하며, 그렇지 않다면, 다음 프레임의 얼굴 열영상의 프레임을 수신하고, 정규화 단계로 가는, 추적 종료여부 판단단계;
   를 포함하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
6. 제2항에 있어서, 호흡신호 추출단계는,
   연산처리부가, 열화상카메라로부터 수신한 얼굴의 열영상에서, 각 프레임의 관심영역의 영상을, 연이은 전 프레임의 관심영역의 영상을 차감한 차영상을 구하되, 상기 차영상의 각 화소의 값을, 온도변이의 값으로 하는, 프레임별 온도변이 검출단계;,
   연산처리부가, 프레임별 온도변이 검출단계를 거친 차영상의 각 프레임의 관심영역에서, 3D-DBSCAN을 이용하여, 노이즈 포인트를 제거하는, 노이즈 제거단계;
   연산처리부가, 노이즈 제거단계를 거친 차영상의 각 프레임에서 온도변이의 값의 절대치가, 기설정된 온도변이 기준치와 비교하여 작거나 같은 경우의, 온도변이의 값은 제거하는, 온도변이 기준치 비교단계;
   연산처리부가, 온도변이 기준치 비교단계 후, 차 영상의 각 프레임 내의 각 온도 변이를 합산하여, 프레임별 온도 변화량으로써 구하여, 프레임 순서에 따라 저장하는, 온도 변화량 연산단계;
   를 포함하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
7. 제6항에 있어서, 호흡신호 추출단계는,
   연산처리부가 온도 변화량 연산단계에서 구한 프레임별 온도 변화량 합들을 메모리부로부터 순차적으로 읽어들이고, 프레임별 온도 변화량들을 시간에 따라(t 축으로) 적분하여, 적분 결과를 호흡 데이터(raw data)로 하는, 호흡 데이터 검출단계;
   연산처리부가, 호흡 데이터 검출단계에서 검출된 호흡 데이터(raw data)를, 평활화(smoothing) 및 디트랜드(detrend)를 행하는, 평활화 및 디트랜드 단계;
   연산처리부가, 평활화와 디트랜드가 행하여진 호흡 데이터들을 연속 웨이블렛 변환(CWT)을 행하여, 주파수별로 주파수 스케일들로 나타내는, 연속 웨이블렛 변환단계;
   연산처리부가, 연속 웨이블렛 변환을 행한 결과에서, 주파수별로 주파수 스케일의 합을 구하고, 구하여진 주파수별 주파수 스케일의 합 중에서, 주파수별 주파수 스케일의 합이 가장 큰 주파수를, 호흡 주파수로 하며, 호흡 주파수의 각 주파수 스케일을 호흡 신호로서 메모리부에 저장하는, 호흡 주파수 검출단계;
   를 포함하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
8. 제2항에 있어서, 호흡수 및 호흡량 검출단계는
   연산처리부가, 호흡신호 추출단계에서 구하여진 호흡신호를 1차 미분하여 변곡점을 구하고, 변곡점을 이용하여 피크(peak)와 밸리(valley)를 검출하는, 피크 및 밸리 검출단계;
   연산처리부가, 피크 및 밸리 검출단계에서 검출된 피크(peak)와 밸리(valley)들에서, 소정 시간간격 동안에, 피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍의 개수를, 호흡수로서 검출하는, 호흡수 검출단계;
   를 포함하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
9. 제8항에 있어서, 호흡수 및 호흡량 검출단계는,
   연산처리부가, 피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍의 진폭을, 피크와 밸리의 쌍이 포함되는 호흡주기의 호흡량으로 검출하는, 호흡량 검출단계;
   를 포함하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
10. 제8항에 있어서, 호흡수 및 호흡량 검출단계는,
    피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍으로 호흡주기를 검출하고, 각 호흡주기의 호흡신호를, 연이은 전 호흡주기의 호흡신호에서 차감하여 각 호흡주기별 변화량을 구하고, 각 호흡주기별 변화량을 시간에 따라 합산하여 호흡량으로서 구하는, 호흡량 검출단계;
    를 포함하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
11. 제10항에 있어서,
    각 호흡주기별 변화량을 시간에 따라 합산시, 연산처리부는 각 호흡주기의 시작점을 기준으로 합산하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 방법.
12. 제1항 내지 제11항 중 어느 한 항에 있어서 본 발명의 열화상 카메라를 이용한 호흡 측정 방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체.
13. 열화상 카메라, 상기 열화상 카메라로부터 수신된 얼굴 전면의 열영상을 분석하여 호흡신호를 검출하는 연산처리부를 포함하는 영상분석부를 포함하는 열화상 카메라를 이용한 호흡 측정 시스템에 있어서,
    연산처리부는,
    열화상카메라로부터 수신하여 각 화소가 온도를 나타내는, 얼굴의 열영상의 프레임에서, 연산처리부는, 코와 2개의 눈을 트랙킹포인트로 하여, KLT 특징 추적기를 이용하여, 코 부분의 관심영역을 검출하고,
    열화상카메라로부터 수신한 얼굴의 열영상에서, 각 프레임의 관심영역의 영상을, 연이은 전 프레임의 관심영역의 영상을 차감한 차영상을 구하되, 상기 차영상의 각 화소의 값을, 온도변이의 값으로 하며, 프레임별로 온도변이 값을 합산하여 프레임별 온도변화량의 합으로서 메모리부에 순차적으로 저장하고, 기 설정된 시간동안에 저장된 모든 프레임의 프레임별 온도변화량의 합을 메모리부로부터 읽어들여 시간에 따라 적분하여 호흡 데이터로 하고, 상기 호흡 데이터에 연속 웨이블렛 변환을 적용하여 호흡신호를 검출하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 시스템.
14. 제13항에 있어서,
    연산처리부는, 검출된 호흡신호에서 피크와 밸리를 검출하고 검출된 피크와 밸리를 이용하여 호흡수 및 호흡량을 검출하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 시스템.
15. 제14항에 있어서, 연산처리부는,
    KLT 특징 추적기를 이용하여 관심영역을 구하기 위하여, 열화상 카메라로부터 수신된 피검자 얼굴 열영상의 각 프레임의 각 화소의 온도들이, 8 bit값을 갖도록 정규화를 행하고, 정규화된 온도의 값을 가진 각 프레임의 영상의 코의 각도가, 기 설정된 코 각도와 같도록, 각 프레임의 영상을 보정하고, 보정된 프레임의 영상에서 KLT 특징 추적 알고리즘을 적용하여 관심영역을 구하고, 상기 관심영역내의 특징점을 검출하며, 보정된 프레임의 관심영역에 대응되는 원 영상인, 열화상 카메라로부터 수신된 얼굴 열영상의 프레임에서도 관심영역이 구하여지는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 시스템.
16. 제15항에 있어서, 연산처리부는,
    호흡 데이터를, 평활화(smoothing) 및 디트랜드(detrend)를 행하고, 평활화와 디트랜드가 행하여진 호흡 데이터들을 연속 웨이블렛 변환(CWT)을 행하고, 연속 웨이블렛 변환을 행한 결과에서, 주파수별로 주파수 스케일의 합을 구하고, 구하여진 주파수별 주파수 스케일의 합 중에서, 주파수별 주파수 스케일의 합이 가장 큰 주파수를, 호흡 주파수로 하며, 호흡 주파수의 각 주파수 스케일을 호흡 신호로서 메모리부에 저장하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 시스템.
17. 제16항에 있어서, 연산처리부는,
    호흡신호를 1차 미분하여 변곡점을 구하고, 변곡점을 이용하여 피크(peak)와 밸리(valley)를 검출하고, 검출된 피크(peak)와 밸리(valley)들에서, 소정 시간간격 동안에, 피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍의 개수를, 호흡수로서 검출하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 시스템.
18. 제17항에 있어서, 연산처리부는,
    피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍으로 호흡주기를 검출하고, 각 호흡주기의 호흡신호를, 연이은 전 호흡주기의 호흡신호에서 차감하여 각 호흡주기별 변화량을 구하고, 각 호흡주기별 변화량을 시간에 따라 합산하여 호흡량으로서 구하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 시스템.
19. 제17항에 있어서, 연산처리부는,
    피크와 밸리가 순차적으로 연이어서 나타나는 피크와 밸리의 쌍의 진폭을, 피크와 밸리의 쌍이 포함되는 호흡주기의 호흡량으로 검출하는 것을 특징으로 하는, 열화상 카메라를 이용한 호흡 측정 시스템.
    

Images