KR101787828B1 - 스킨컬러 필터를 이용한 심박수 측정시스템 - Google Patents

Abstract

본 발명에 따르면, 신생아를 촬영한 영상데이터를 획득하는 영상획득부(110); 일반적인 스킨컬러밴드를 기준으로 필터링된 영상데이터의 전체 이미지를 소정의 크기를 갖는 블럭 단위로 분할하고 주파수 변환하여 고주파 성분이 상대적으로 낮은 복수의 블럭을 선별하며, 선별된 블럭들이 갖는 주파수의 상한값과 하한값을 밴드범위로 하는 스킨컬러밴드를 생성하는 스킨컬러밴드 생성부(120); 생성된 스킨컬러밴드를 기준으로 획득된 영상데이터를 필터링하여 심박수 추출을 위한 얼굴스킨영역을 추출하는 영상필터부(130); 추출된 얼굴스킨영역의 화소값을 이용하여 단위시간당 변화하는 BVP데이터(Blood Volume Pulse Data)를 추출하는 BVP데이터 추출부(140); 및 추출된 BVP데이터를 이용하여 심박수를 산출하는 심박수 산출부(150);를 포함하는 심박수 측정시스템을 개시한다.

Description

스킨컬러 필터를 이용한 심박수 측정시스템{HEARTRATE MEASURING SYSTEM USING SKIN COLOR FILTER}

본 발명은 스킨컬러 필터를 이용한 심박수 측정시스템에 관한 것으로, 보다 상세하게는 신생아를 촬영한 영상데이터의 영상분석을 통해 얼굴영역의 화소값 변화를 감지하여 심박수를 측정하기 위한 심박수 측정시스템에 관한 것이다.

종래에는 심박수를 측정하기 위해 감지센서를 맥박부위에 배치한 후 감지되는 맥박을 통해 심박수를 산출할 수 있었으나, 이러한 감지센서를 이용한 심박수 측정방식을 체구가 작은 신생아에게 적용하기가 제한되었다.

이에 신생아를 촬영한 영상데이터를 영상분석하여 심장박동시 신생아의 머리 또는 몸부분이 미세하게 요동하는 움직임을 감지함으로써 간접적으로 심박수를 측정하기 위한 시도가 있었으나 측정데이터에 오차가 심해 정상적인 심박수 측정이 제한되는 문제점이 있었다.

또한, 최근에는 이러한 문제점을 해결하기 위해 심장박동시 신생아의 얼굴색이 미세하게 변화하는 특징을 이용하여, 신생아를 촬영한 영상데이터를 분석하여 얼굴영역의 화소값의 변화를 감지함으로써 간접적으로 심박수를 측정하는 방식이 이용되고 있다.

이러한 영상분석을 통한 심박수 측정에는 얼굴의 스킨 픽셀들의 평균적인 변화를 통해 측정하나, 이때 변동폭은 매우 작아 미세한 노이즈에도 많은 영향을 받게 된다.

또한, 일반적으로 캠이나 CCTV 등의 촬영수단으로부터 획득되는 영상은 압축된 상태로 전송되기 때문에 압축에 의한 영상손실이 발생할 수 밖에 없으나 이런 영상손실은 변화가 심한 영역에서 더욱 크게 발생하게 된다.

신생아의 얼굴영역에서 변화가 심한 영역으로는 눈, 코, 입, 귀 및 턱 등을 둘 수 있으며, 이러한 영역이 화소값의 변화를 감지하기 위한 감지대상 영역에 포함되는 경우 압축에 의한 정보손실이 크게 나타날 뿐만 아니라 표정변화와 같은 작은 움직임에도 측정값이 크게 변동되어 심박수 측정에 노이즈로 작용하는 문제점이 있었다.

공개특허공보 제10-2015-0093036호(2015.08.17), 생체 정보 측정장치 및 측정방법

본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 신생아 영상데이터의 얼굴영역 내에서 눈, 코, 입, 귀 및 턱 부분과 같이 표정 및 움직임 변화가 빈번한 영역을 제외시키기 위한 스킨컬러필터를 적용함으로써 심박수의 측정오차를 최소화하여 보다 정밀한 심박수 측정이 이루어질 수 있도록 한 심박수 측정시스템을 제공하는 것에 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 심박수 측정시스템은, 신생아를 촬영한 영상데이터를 획득하는 영상획득부(110); 일반적인 스킨컬러밴드를 기준으로 필터링된 영상데이터의 전체 이미지를 소정의 크기를 갖는 블럭 단위로 분할하고 주파수 변환하여 고주파 성분이 상대적으로 낮은 복수의 블럭을 선별하며, 선별된 블럭들이 갖는 주파수의 상한값과 하한값을 밴드범위로 하는 스킨컬러밴드를 생성하는 스킨컬러밴드 생성부(120); 생성된 스킨컬러밴드를 기준으로 획득된 영상데이터를 필터링하여 심박수 추출을 위한 얼굴스킨영역을 추출하는 영상필터부(130); 추출된 얼굴스킨영역의 화소값을 이용하여 단위시간당 변화하는 BVP데이터(Blood Volume Pulse Data)를 추출하는 BVP데이터 추출부(140); 및 추출된 BVP데이터를 이용하여 심박수를 산출하는 심박수 산출부(150);를 포함한다.

여기서, 상기 스킨컬러밴드 생성부(120)는, 필터링된 영상데이터의 전체 이미지를 비디오 압축 포멧의 압축블럭과 동일한 크기를 갖는 블럭 단위로 분할하는 이미지 분할부(121)와, 전체 블럭 중 신생아의 얼굴영역에 해당하는 블럭을 추출하는 블럭추출부(122)와, 추출된 블럭의 이미지를 주파수 변환하는 주파수 변환부(123) 및, 각 추출 블럭이 갖는 주파수의 크기를 비교하여 상한값과 하한값을 추출하며 추출된 상한값과 하한값을 기준으로 스킨컬러밴드의 밴드범위로 설정하는 밴드설정부(124)를 포함할 수 있다.

또한, 상기 블럭추출부(122)는, 신생아의 얼굴상의 특징점을 기초로 하여 전체 블럭 내에서의 얼굴위치를 검출하고 검출된 얼굴위치를 기준으로 얼굴배경 영역을 설정하여 상기 얼굴영역을 추적하며 추적된 얼굴영역에 해당하는 블럭을 선별할 수 있다.

또한, 상기 심박수 산출부(150)는, 추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하는 피크값후보 추출부(151)와, 시간축선상으로 소정의 폭을 갖는 서브윈도우를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정하는 피크값 선정부(152)와, 각 피크값의 시간간격값을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격값들의 중간값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하는 가중평균값 연산부(153) 및, 연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출하는 심박수 환산부(154)를 포함할 수 있다.

또한, 상기 피크값후보 추출부(151)는, 상기 BVP데이터의 변화곡선 상에서 기울기값이 '0'인 위치를 피크값후보로 추출할 수 있다.

또한, 상기 피크값후보 추출부(151)는, 상기 BVP데이터의 변화곡선 상에서 기울기값이 '0'이되, 기울기가 + 에서 -로 변하지 않는 기울기값은 상기 피크값후보에서 제외할 수 있다.

또한, 상기 피크값 선정부(152)는, 일반적인 신생아의 평균 심박주기를 고려하여 상기 서브윈도우가 갖는 소정의 폭을 설정할 수 있다.

또한, 상기 피크값 선정부(152)는, 상기 최소 크기를 갖는 서브윈도우의 중심을 각 피크값의 위치에 배치하여 상기 서브윈도우 내에서 단일의 피크값후보가 존재하거나 다른 피크값후보보다 더 큰값을 갖는 해당 피크값후보를 피크값으로 선정하고, 상기 서브윈도우가 갖는 시간축선상의 폭을 점차적으로 증가시키면서 상기 피크값 선정과정을 소정 횟수 반복하여 상기 서브윈도우가 갖는 최적으로 시간축선상의 폭을 결정하며, 시간간격값의 편차가 가장 적은 서브윈도우를 적용대상으로 지정하여 피크값 선정에 반영할 수 있다.

또한, 상기 피크값 선정부(152)는, 평균심박주기 범주의 최소값을 반영하여 상기 최소 크기를 갖는 서브윈도우가 갖는 시간축선상의 폭을 설정하며, 상기 평균심박주기 범주의 최대값을 반영하여 설정한 서브윈도우의 폭까지 점차적으로 증가시키면서 피크값을 선정할 수 있다.

또한, 상기 가중평균값 연산부(153)는, 각 피크값을 크기순으로 정렬한 상태에서 가우시안 정규분포 곡선을 이용하여 값이 상대적으로 크거나 낮은 데이터값을 갖는 시간간격값의 반영 비율은 낮추고, 중간 데이터값의 반영비율은 높여 상기 가중평균값을 연산할 수 있다.

본 발명에 따른 심박수 측정시스템에 의하면,

첫째, 획득된 신생아 영상데이터의 얼굴영역 내에서 눈, 코, 입, 귀 및 턱 부분과 같이 표정 및 움직임 변화가 빈번한 영역을 화소값 변화 감지영역에서 제외시키기 위한 스킨컬러필터를 적용함으로써 측정오차 발생가능성이 상대적으로 낮은 영역만을 대상으로 화소값의 변화를 감지함으로써 보다 정밀한 심박수 측정이 이루어질 수 있다.

둘째, 스킨컬러밴드를 생성하기 위해 전체 이미지를 블럭 단위로 분할함에 있어서, 일반적으로 비디오 압축 단위가 되는 매크로 블럭은 블럭별로 정규화되기 때문에 블럭 간의 편차가 발생하며 블럭 경계에 시간에 따른 픽셀값의 변화가 크게 되나, 비디오 압축포멧과 동일한 크기의 압축블럭 단위로 분할함으로써 블럭 경계를 균일하게 포함시켜 변화가 심한(눈,코,입,귀,턱 등) 블럭 여부를 판단함에 있어 오차를 최소화할 수 있다.

셋째, 신생아를 촬영한 영상데이터의 영상분석을 통해 측정된 안면피부의 화소값을 이용하여 심박수를 산출하되, 서브윈도우를 적용하여 심박수를 결정하는 피크값의 후보를 선별하며 각 피크값의 시간간격값에 가중치를 반영하여 측정된 심박수의 오차를 최소화할 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 심박수 측정시스템의 기능적 구성을 나타낸 블럭도,
도 2는 본 발명의 바람직한 실시예에 따른 영상획득부가 신생아침대에 설치된 구성을 나타낸 개략도,
도 3 내지 도 5는 본 발명의 바람직한 실시예에 따른 심박수 측정시스템의 동작원리를 설명하기 위한 화면예시도,
도 6는 본 발명의 바람직한 실시예에 따른 영상획득부에서 신생아의 모습을 촬영한 사진,
도 7 및 도 8은 본 발명의 바람직한 실시예에 따른 심박수 산출부의 동작원리를 설명하기 위한 그래프이다.

이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명의 바람직한 실시예에 따른 심박수 측정시스템(100)은, 신생아 영상데이터의 얼굴영역 내에서 눈, 코, 입, 귀 및 턱 부분과 같이 표정 및 움직임 변화가 빈번한 영역을 제외시키기 위한 스킨컬러필터를 적용함으로써 심박수의 측정오차를 최소화하여 보다 정밀한 심박수 측정이 이루어질 수 있도록 측정시스템으로서, 도 1에 도시된 바와 같이 영상획득부(110), 스킨컬러밴드 생성부(120), 영상필터부(130), BVP데이터 추출부(140) 및 심박수 산출부(150)를 포함하여 구비된다.

먼저, 상기 영상획득부(110)는, 신생아를 촬영한 영상데이터를 획득하기 위한 촬영수단으로서, 아날로그 카메라, CCTV 및 IP 카메라와 같이 통상적인 영상촬영장치가 이용될 수 있으며 촬영된 영상데이터는 심박수를 검출하기 위한 기초데이터로 이용된다.

여기서, 도 1에 도시된 바와 같이 신생아를 수용하는 신생아침대(10)의 일측에 장착되되, 신생아의 모습을 안정적으로 촬영할 수 있도록 거치대를 통해 신생아침대(10)의 측부에 설치되어 침대 안쪽에 뉘어진 신생아를 촬영하거나, 브라켓을 통해 신생아침대(10)의 측벽 등에 설치되거나 신생아침대(10)에 일체형으로 장착될 수 있다.

또한, 산부안과나 산후조리원 등과 같이 다수의 신생아가 밀집되어 배치된 신생아실에서 시스템이 운용되는 경우 각 신생아침대(10)마다 1:1로 매칭되게 각 영상획득부(110)가 설치되어 신생아별로 독립된 영상이 확보될 수 있도록 한다.

상기 스킨컬러밴드 생성부(120)는 신생아의 얼굴영역 내에서 안정적인 피부영역만을 선별할 수 있도록 특정 밴드범위를 갖는 스킨컬러밴드를 생성하는 수단으로서, 도 2에 도시된 바와 같이 상기 영상필터부(130)에 의해 일반적인 스킨컬러밴드를 기준으로 필터링된 영상데이터의 전체 이미지를 소정의 크기를 갖는 블럭 단위로 분할하고 주파수 변환하여 고주파 성분이 상대적으로 낮은 복수의 블럭을 선별하며, 선별된 블럭들이 갖는 주파수의 상한값과 하한값을 밴드범위로 하는 스킨컬러밴드를 생성한다.

여기서, 이미지를 블럭단위로 FFT(Fast Fourier Transform) 또는 DCT(Discrete Cosine Transform) 등을 통해 주파수 변환하여 나온 값들의 고주파 성분이 많을 경우 공간도메인에서 짧은 주기를 갖는 변화가 많다는 의미한다. 이는 변화가 복잡하며 클 경우를 나타내며 이런 영역은 작은 움직임이나 떨림에도 픽셀값의 변화가 크게 발생한다. 시간도메인에서 0.9Hz 내지 2Hz 정보의 주기로 평균 ±0.2 픽셀 값의 변화를 측정해야 하는 영상기반의 심박측정에는 큰 오차 요인이 될 수 있는 것이다.

보다 구체적으로 설명하면, 상기 스킨컬러밴드 생성부(120)는 필터링된 영상데이터의 전체 이미지를 비디오 압축 포멧의 압축블럭과 동일한 크기를 갖는 블럭 단위로 분할하는 이미지 분할부(121)와, 전체 블럭 중 신생아의 얼굴영역에 해당하는 블럭(도 4에 적색선으로 표시된 부분)을 추출하는 블럭추출부(122)와, 추출된 블럭의 이미지를 주파수 변환하는 주파수 변환부(123) 및, 각 추출 블럭이 갖는 주파수의 크기를 비교하여 상한값과 하한값을 추출하며 추출된 상한값과 하한값을 기준으로 스킨컬러밴드의 밴드범위로 설정하는 밴드설정부(124)를 포함하여 구비된다.

여기서, 스킨컬러밴드를 생성하기 위해 전체 이미지를 블럭 단위로 분할함에 있어서, 일반적으로 비디오 압축 단위가 되는 매크로 블럭은 블럭별로 정규화되기 때문에 블럭 간의 편차가 발생하며 블럭 경계에 시간에 따른 픽셀값의 변화가 크게 되나, 비디오 압축포멧과 동일한 크기의 압축블럭 단위로 분할함으로써 블럭 경계를 균일하게 포함시켜 변화가 심한(눈,코,입,귀,턱 등) 블럭 여부를 판단함에 있어 오차를 최소화할 수 있다.

또한, 도 4 및 도 6에 도시된 바와 같이 상기 블럭추출부(122)는 신생아의 얼굴상의 특징점을 기초로 하여 전체 블럭 내에서의 얼굴위치를 검출하고 검출된 얼굴위치를 기준으로 얼굴배경 영역을 설정하여 상기 얼굴영역을 추적하며 추적된 얼굴영역에 해당하는 블럭만을 선별할 수 있다.

상기 영상필터부(130)는, 안정적인 피부영역의 블럭을 선별하기 위한 스킨컬러밴드를 획득할 수 있도록 일반적인 스킨컬러밴드를 기준으로 영상획득부(110)에서 획득된 영상데이터를 1차적으로 필터링하며, 상기 스킨컬러밴드 생성부(120)를 통해 최종적으로 생성된 스킨컬러밴드를 기준으로 상기 획득된 영상데이터를 재차 필터링함으로써 심박수 추출을 위한 얼굴스킨영역을 추출한다.

도 3에는 상기 영상필터부(130)에 의해 일반적인 스킨컬러밴드를 적용하여 영상데이터가 1차적으로 필터링된 영상이 도시되어 있다. 도 3을 참고하면 상대적으로 컬러대역이 넓은 일반적인 스킨컬러밴드로 획득된 영상데이터를 필터링하게 되면 피부색과 유사해 보이는 모든영역이 감지된다.

여기서, 일반적인 컬러필터는 채널별(R,G,B)로 값의 범위를 정의하고 있으며 흔히 사용되는 스킨컬러필터는 여러 사람 및 여러 부위의 피부색을 모두 포괄할 수 있게 채널별로 넓은 밴드를 갖는다.

도 5에는 상기 영상필터부(130)에 의해 생성된 스킨컬러밴드를 적용하여 영상데이터가 최종적으로 필터링된 영상이 도시되어 있다. 도 5에 도시된 바와 같이 획득된 신생아 영상데이터의 얼굴영역 내에서 눈, 코, 입, 귀 및 턱 부분과 같이 표정 및 움직임 변화가 빈번한 영역을 화소값 변화 감지영역에서 제외시키기 위한 스킨컬러필터를 적용함으로써 측정오차 발생가능성이 상대적으로 낮은 영역만을 대상으로 화소값의 변화를 감지함으로써 보다 정밀한 심박수 측정이 이루어질 수 있다. 즉, 변화가 많고 복잡한 영역은 자동적으로 제외시키고 안정적인 영역의 얼굴 픽셀정보만을 추출할 수 있다.

즉, 신생아의 전체 얼굴영역에서 눈,코,입,귀 및 턱 등 불안정한 영역을 제외한 볼 및 이마 등의 안정적인 얼굴영역의 픽셀값을 기반으로 채널별 최대 및 최소값을 구하여 컬러필터밴드를 정의하면 대상얼굴의 볼과 이마 등에 특화된 스킨컬러필터를 생성할 수 있다. 이렇게 생성된 스킨컬러필터를 신생아의 얼굴영역에만 적용시켜 볼, 이마 등의 안정된 영역의 픽셀만을 구해 시간에 따른 심박에 의한 피부픽셀값의 변화만을 뚜렷하게 볼 수 있게 된다.

상기 BVP데이터 추출부(140)는 도 6 및 도 7에 도시된 바와 같이 추출된 얼굴스킨영역의 화소값을 이용하여 단위시간당 변화하는 BVP데이터(Blood Volume Pulse Data, 도 7에서 상부 곡선그래프)를 추출하며, 상기 심박수 산출부(150)는 추출된 BVP데이터를 이용하여 심박수를 산출한다.

여기서, 상기 BVP데이터 추출부(140)는 밴드패스 필터를 이용하여 데이터값에 포함된 고주파 성분을 제거함으로써 노이즈 데이터에 따른 오차가 발생하지 않도록 하는 것이 바람직하다.

보다 구체적으로 설명하면, 도 2에 도시된 바와 같이 상기 심박수 산출부(150)는, 피크값후보 추출부(151), 피크값 선정부(152), 가중평균값 연산부(153) 및 심박수 환산부(154)를 포함하여 구비된다.

상기 피크값후보 추출부(151)는 추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하며, 상기 피크값 선정부(152)는 시간축선상으로 소정의 폭을 갖는 서브윈도우를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정한다.

여기서, 상기 BVP데이터의 변화곡선상에서 기울기값이 '0'인 위치를 피크값후보로 추출한다. 이때, 상기 BVP데이터의 변화곡선상에서 기울기값이 '0'이되, 기울기가 +에서 -로 변하지 않는 기울기값은 상기 피크값후보에서 제외한다.

또한, 상기 피크값 선정부(152)는 일반적인 신생아의 평균 심박주기를 고려하여 상기 서브윈도우가 갖는 소정의 폭을 설정하는 것이 바람직하다.

더불어, 최소 크기를 갖는 서브윈도우의 중심을 각 피크값의 위치에 배치하여 상기 서브윈도우 내에서 단일의 피크값후보가 존재하거나 다른 피크값후보보다 더 큰 값을 갖는 해당 피크값후보를 피크값으로 선정하며, 이후 상기 서브윈도우가 갖는 시간축선상의 폭을 점차적으로 증가시키면서 상기 피크값 선정과정을 소정 횟수 반복한다.

즉, 상기 서브윈도우의 폭을 점차적으로 넓히면서 각 시간간값의 편차를 비교하며, 이러한 절차를 통해 피크값 검출을 반복하여 최적의 서브윈도우의 폭을 결정할 수 있게 되며 시간간격값의 편차가 가장 적은 서브윈도우를 적용대상으로 지정하여 피크값 선정에 반영한다.

그리고, 상기 피크값 선정부(152)는 평균심박주기 범주의 최소값을 반영하여 상기 최소 크기를 갖는 서브윈도우가 갖는 시간축선상의 폭을 설정하며, 상기 평균심박주기 범주의 최대값을 반영하여 설정한 서브윈도우의 폭까지 점차적으로 증가시키면서 피크값을 선정한다.

예를 들어, 신생아의 평균심박주기 범주가 100/s 내지 150/s라 할 경우, 상기 서브윈도우가 갖는 최소 크기의 시간축선상의 폭은 100/s로 설정하고, 서브윈도우가 갖는 최대 크기의 시간축선상의 폭은 150/s로 설정할 수 있는 것이다.

상기 가중평균값 연산부(153)는 각 피크값의 시간간격값을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격값들의 중간값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하며, 상기 심박수 환산부(154)는 연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출한다.

여기서, 각 피크값을 크기순으로 정렬한 상태에서 가우시안 정규분포 곡선을 이용하여 값이 상대적으로 크거나 낮은 데이터값을 갖는 시간간격값의 반영 비율은 낮추고 중간 데이터값이나 평균값의 반영비율은 높여 상기 가중평균값을 연산하도록 한다.

보다 구체적으로 설명하면, 추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하며 시간축선상으로 소정의 폭을 갖는 서브윈도우(도 7에서 □ 형상 표시부분)를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정한다.

이후 도 8에 도시된 바와 같이, 각 피크값의 시간간격값(tick)을 측정하고 측정된 시간간격값을 크기순으로 정렬하고 각 시간간격값들의 중간값이나 평균값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하며, 연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출한다.

여기서, 가중균값이 심박주기이며 단위가 시간(초)이므로 이것을 1분당으로 환산함으로써 심박수를 산출할 수 있다.

또한, 상기 피크값을 선정함에 있어서, 상기 서브윈도우가 갖는 시간축선상의 폭을 점차적으로 증가시키면서 상기 피크값 선정과정을 소정 횟수 반복한다. 즉, 상기 서브윈도우의 폭을 점차적으로 넓히면서 각 시간간격값의 편차를 비교하며, 이러한 절차를 통해 피크값 검출을 반복하여 최적의 서브윈도우의 폭을 결정할 수 있게 되며, 시간간격값의 편차가 가장 적은 서브윈도우를 적용대상으로 지정하여 피크값 선정에 반영한다.

이와 같이, 신생아를 촬영한 영상데이터의 영상분석을 통해 측정된 안면피부의 화소값을 이용하여 심박수를 산출하되, 서브윈도우를 적용하여 심박수를 결정하는 피크값의 후보를 선별하며 각 피크값의 시간간격값에 가중치를 반영하여 측정된 심박수의 오차를 최소화할 수 있다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

100...심박수 측정시스템 110...영상획득부
120...스킨컬러밴드 생성부 130...영상필터부
140...BVP데이터 추출부 150...심박수 산출부

Claims (10)

1. 신생아를 촬영한 영상데이터를 획득하는 영상획득부(110);
   스킨컬러밴드를 기준으로 필터링된 영상데이터의 전체 이미지를 소정의 크기를 갖는 블럭 단위로 분할하고 주파수 변환하여 고주파 성분이 상대적으로 낮은 복수의 블럭을 선별하며, 선별된 블럭들이 갖는 주파수의 상한값과 하한값을 밴드범위로 하는 스킨컬러밴드를 생성하는 스킨컬러밴드 생성부(120);
   생성된 스킨컬러밴드를 기준으로 획득된 영상데이터를 필터링하여 심박수 추출을 위한 얼굴스킨영역을 추출하는 영상필터부(130);
   추출된 얼굴스킨영역의 화소값을 이용하여 단위시간당 변화하는 BVP데이터(Blood Volume Pulse Data)를 추출하는 BVP데이터 추출부(140); 및
   추출된 BVP데이터를 이용하여 심박수를 산출하는 심박수 산출부(150);를 포함하고,
   상기 스킨컬러밴드 생성부(120)는,
   필터링된 영상데이터의 전체 이미지를 비디오 압축 포멧의 압축블럭과 동일한 크기를 갖는 블럭 단위로 분할하는 이미지 분할부(121)와,
   전체 블럭 중 신생아의 얼굴영역에 해당하는 블럭을 추출하는 블럭추출부(122)와,
   추출된 블럭의 이미지를 주파수 변환하는 주파수 변환부(123) 및,
   각 추출 블럭이 갖는 주파수의 크기를 비교하여 상한값과 하한값을 추출하며 추출된 상한값과 하한값을 기준으로 스킨컬러밴드의 밴드범위로 설정하는 밴드설정부(124)를 포함하는 심박수 측정시스템.
   
2. 삭제
3. 제 1항에 있어서,
   상기 블럭추출부(122)는,
   신생아의 얼굴상의 특징점을 기초로 하여 전체 블럭 내에서의 얼굴위치를 검출하고 검출된 얼굴위치를 기준으로 얼굴배경 영역을 설정하여 상기 얼굴영역을 추적하며 추적된 얼굴영역에 해당하는 블럭을 선별하는 심박수 측정시스템.
   
4. 제 1항에 있어서,
   상기 심박수 산출부(150)는,
   추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하는 피크값후보 추출부(151)와,
   시간축선상으로 소정의 폭을 갖는 서브윈도우를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정하는 피크값 선정부(152)와,
   각 피크값의 시간간격값을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격값들의 중간값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하는 가중평균값 연산부(153) 및,
   연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출하는 심박수 환산부(154)를 포함하는 심박수 측정시스템.
   
5. 제 4항에 있어서,
   상기 피크값후보 추출부(151)는,
   상기 BVP데이터의 변화곡선 상에서 기울기값이 '0'인 위치를 피크값후보로 추출하는 심박수 측정시스템.
   
6. 제 5항에 있어서,
   상기 피크값후보 추출부(151)는,
   상기 BVP데이터의 변화곡선 상에서 기울기값이 '0'이되, 기울기가 + 에서 -로 변하지 않는 기울기값은 상기 피크값후보에서 제외하는 심박수 측정시스템.
   
7. 제 4항에 있어서,
   상기 피크값 선정부(152)는,
   일반적인 신생아의 평균 심박주기를 고려하여 상기 서브윈도우가 갖는 소정의 폭을 설정하는 심박수 측정시스템.
   
8. 제 7항에 있어서,
   상기 피크값 선정부(152)는,
   최소 크기를 갖는 서브윈도우의 중심을 각 피크값의 위치에 배치하여 상기 서브윈도우 내에서 단일의 피크값후보가 존재하거나 다른 피크값후보보다 더 큰값을 갖는 해당 피크값후보를 피크값으로 선정하고, 상기 서브윈도우가 갖는 시간축선상의 폭을 점차적으로 증가시키면서 상기 피크값 선정과정을 소정 횟수 반복하여 상기 서브윈도우가 갖는 최적으로 시간축선상의 폭을 결정하며, 시간간격값의 편차가 가장 적은 서브윈도우를 적용대상으로 지정하여 피크값 선정에 반영하는 심박수 측정시스템.
   
9. 제 8항에 있어서,
   상기 피크값 선정부(152)는,
   평균심박주기 범주의 최소값을 반영하여 상기 최소 크기를 갖는 서브윈도우가 갖는 시간축선상의 폭을 설정하며,
   상기 평균심박주기 범주의 최대값을 반영하여 설정한 서브윈도우의 폭까지 점차적으로 증가시키면서 피크값을 선정하는 심박수 측정시스템.
   
10. 제 4항에 있어서,
    상기 가중평균값 연산부(153)는,
    각 피크값을 크기순으로 정렬한 상태에서 가우시안 정규분포 곡선을 이용하여 값이 상대적으로 크거나 낮은 데이터값을 갖는 시간간격값의 반영 비율은 낮추고, 중간 데이터값의 반영비율은 높여 상기 가중평균값을 연산하는 심박수 측정시스템.

Images