KR20210054860A - 호흡 측정 장치 및 방법 - Google Patents

Abstract

본 발명은 호흡 측정 기술에 관한 것으로, 보다 상세하게는 동영상 기반의 호흡 측정 기술에 관한 것이다. 본 발명의 일 실시 예에 따르면, 카메라로 촬영된 영상을 통해 사용자의 호흡을 측정할 수 있고, 사용자의 신체에 별도의 센서를 부착하지 않고 사용자의 호흡을 측정할 수 있다.

Description

호흡 측정 장치 및 방법{APPARATUS AND METHOD FOR DETECTING BREATHING}

본 발명은 호흡 측정 기술에 관한 것으로, 보다 상세하게는 동영상 기반의 호흡 측정 기술에 관한 것이다.

호흡수와 같은 생체신호는 인체의 건강상태를 가장 간편하게 진단할 수 있는 요소 중 하나이다. 주로 환자에게 호흡기를 부착하여 지속적으로 환자의 호흡을 측정하는 방식이 널리 사용되고 있다.

하지만, 산소 마스크와 호흡 상태 모니터링 장치를 연결하는 많은 수의 연결 선으로 인해 의사 등의 사람의 동선에 제약을 주는 등의 불편한 점이 있어 호흡 측정을 위한 환경이 제약되는 점이 있다.

본 발명의 배경기술은 대한민국 공개특허 제10-2016-0024887호에 개시되어 있다.

본 발명은 사용자의 신체에 별도의 센서를 부착하지 않고 사용자의 호흡을 측정하는 호흡 측정 장치 및 방법을 제공한다.

본 발명의 일 측면에 따르면, 호흡 측정 장치가 제공된다.

본 발명의 일 실시 예에 따른 호흡 측정 장치는 영상을 입력 받는 입력부, 상기 영상에서 특징점을 추출하는 특징점 추출부, 상기 특징점에 대한 모션 벡터 그룹을 산출하는 모션 벡터 산출부, 상기 모션 벡터 그룹에 대한 들숨 클러스터 및 날숨 클러스터를 설정하는 클러스터 설정부 및 상기 들숨 클러스터의 모션 벡터와 날숨 클러스터의 모션 벡터의 비율에 따라 호흡 측정 정보를 생성하는 호흡 측정부를 포함할 수 있다.

상기 호흡 측정 장치는 상기 모션 벡터 그룹에서 이상점 데이터를 제거하는 이상점 데이터 제거부를 더 포함할 수 있다.

상기 이상점 데이터 제거부는 상기 모션 벡터 그룹의 전체 모션 벡터 중 크기가 작은 순서대로 미리 지정된 비율 이하의 크기를 가지는 모션 벡터를 상기 모션 벡터 그룹으로부터 제거할 수 있다.

상기 들숨 클러스터는 방향이 상측 방향인 모션 벡터를 포함하는 클러스터이고, 상기 날숨 클러스터는 방향이 하측 방향인 모션 벡터를 포함하는 클러스터일 수 있다.

본 발명의 다른 측면에 따르면, 호흡 측정 방법이 제공된다.

본 발명의 일 실시 예에 따른 호흡 측정 방법은 영상을 입력 받는 단계, 상기 영상에서 특징점을 추출하는 단계, 상기 특징점에 대한 모션 벡터 그룹을 산출하는 단계, 상기 모션 벡터 그룹에 대한 들숨 클러스터 및 날숨 클러스터를 설정하는 단계 및 상기 들숨 클러스터의 모션 벡터와 날숨 클러스터의 모션 벡터의 비율에 따라 호흡 측정 정보를 생성하는 단계를 포함할 수 있다.

상기 호흡 측정 방법은 상기 모션 벡터 그룹에서 이상점 데이터를 제거하는 단계를 더 포함할 수 있다.

상기 모션 벡터 그룹에서 이상점 데이터를 제거하는 단계는 상기 모션 벡터 그룹의 전체 모션 벡터 중 크기가 작은 순서대로 미리 지정된 비율 이하의 크기를 가지는 모션 벡터를 상기 모션 벡터 그룹으로부터 제거하는 단계일 수 있다.

상기 들숨 클러스터는 방향이 상측 방향인 모션 벡터를 포함하는 클러스터이고, 상기 날숨 클러스터는 방향이 하측 방향인 모션 벡터를 포함하는 클러스터일 수 있다.

본 발명의 또 다른 측면에 따르면, 호흡 측정 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램이 제공된다.

본 발명의 일 실시 예에 따르면, 카메라로 촬영된 영상을 통해 사용자의 호흡을 측정할 수 있다.

또한, 본 발명의 일 실시 예에 따르면, 사용자의 신체에 별도의 센서를 부착하지 않고 사용자의 호흡을 측정할 수 있다.

또한, 본 발명의 일 실시 예에 따르면, 영유아 등의 지속적인 센서의 부착이 어려운 사용자에 대해서도 호흡을 측정할 수 있다.

또한, 본 발명의 일 실시 예에 따르면, 원거리에 설치된 카메라를 통해 사용자의 호흡을 측정하여 호흡 측정 장치의 설치에 대한 공간적인 제약을 줄일 수 있다.

도 1은 본 발명의 일 실시 예에 따른 호흡 측정 장치를 예시한 도면.
도 2는 본 발명의 일 실시 예에 따른 호흡 측정 장치가 수신한 영상을 나타낸 도면.
도 3은 본 발명의 일 실시 예에 따른 호흡 측정 장치가 라플라시안 가우시안 필터를 적용한 이미지를 예시한 도면.
도 4는 본 발명의 일 실시 예에 따른 호흡 측정 장치가 추출한 특징점 및 그 특징점이 어떻게 이동했는지에 대한 모션 정보를 직선으로 표현한 도면.
도 5는 본 발명의 일 실시 예에 따른 호흡 측정 장치가 추출한 특징점의 모션을 방향 및 크기에 따라 나타낸 산포도.
도 6은 본 발명의 일 실시 예에 따른 호흡 측정 장치가 이용하는 클러스터링 방법을 예시한 도면.
도 7은 본 발명의 일 실시 예에 따른 호흡 측정 장치가 클러스터링한 결과를 예시한 산포도.
도 8은 본 발명의 일 실시 예에 따른 호흡 측정 장치가 산출한 들숨 클러스터와 날숨 클러스터의 비율을 예시한 그래프.
도 9는 본 발명의 일 실시 예에 따른 호흡 측정 장치가 호흡을 측정하는 방법을 예시한 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1내지 도 8은 본 발명의 일 실시 예에 따른 호흡 측정 장치를 설명하기 위한 도면들이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 호흡 측정 장치는 입력부(110), 특징점 추출부(120), 모션 벡터 산출부(130), 이상점 데이터 제거부(140), 클러스터 설정부(150) 및 호흡 측정부(160)를 포함한다.

입력부(110)는 네트워크 또는 단자를 통해 사용자를 촬영한 영상을 입력 받는다. 이 때, 입력부(110)가 수신한 영상은 가시광선 카메라로 촬영된 영상일 수 있다. 예를 들어, 영상은 도 2의 210과 같이 날숨 때의 영상(210)과 들숨 때의 영상(220)을 포함할 수 있다. 입력부(110)는 영상을 특징점 추출부(120)로 전송한다.

특징점 추출부(120)는 영상으로부터 특징점을 추출한다. 예를 들어, 특징점 추출부(120)는 영상의 이미지를 순차적으로 다운 샘플링(down sampling)한 이미지 피라미드(image pyramid)에 라플라시안 가우시안 필터(Laplacian of Gaussian filter, LoG filter)를 하기의 수학식 1과 같이 적용하여 특징점을 산출할 수 있다.

[수학식 1]

이 때, x, y는 이미지의 픽셀 위치,

는 표준 편차를 의미한다.

즉, 특징점 추출부(120)는 도 3과 같이 라플라시안 가우시안 필터를 적용한 이미지에서 도 4와 같이 경계 영역에 해당하는 특징점을 산출할 수 있다. 특징점 추출부(120)는 특징점을 나타내는 특징점 정보를 모션 벡터 산출부(130)로 전송한다.

모션 벡터 산출부(130)는 특징점에 대한 모션 벡터 집합을 생성한다. 예를 들어, 모션 벡터 산출부(130)는 하기의 수학식 2에 따라 각 모션 벡터를 생성할 수 있다.

[수학식 2]

이 때, 이미지 I와 이미지 내의 임의의 특징점에 대해

는 x축에 대한 이미지 I의 변화량이고,

는 y축에 대한 이미지 I의 변화량이고,

는 y축에 대한 이미지 I의 변화량이고, q는 특징점으로부터 일정 영역 내의 주변 픽셀들이다.

모션 벡터 산출부(130)에서 생성한 모션 벡터 집합은 도 4의 경계 영역에 해당하는 특징점에 대한 모션 벡터로서, 들숨 및 날숨에 의한 상체의 움직임이 각각 일정한 방향을 나타내어 모션 벡터의 분석을 통해 들숨 및 날숨 여부를 판단할 수 있다. 모션 벡터 산출부(130)는 모션 벡터를 이상점 데이터 제거부(140)로 전송한다.

이상점 데이터 제거부(140)는 모션 벡터 산출부(130)가 생성한 전체 모션 벡터 집합 중 호흡 측정에 불필요한 이상점 데이터를 제거한다. 도 4와 같이 특징점 중 일부는 움직임이 거의 없는 배경 영역에 위치한다. 움직임이 거의 없는 특징점은 호흡 측정에 불필요한 요소이기 때문에 해당 특징점에 대응하는 모션 벡터는 제거될 필요가 있다. 이상점 데이터 제거부(140)는 모션 벡터의 크기가 모션 벡터 그룹에 포함된 전체 모션 벡터 중 크기가 작은 순서대로 미리 지정된 비율(예를 들어, 75%) 이하의 크기를 가지는 모션 벡터를 이상점 데이터로 판단하고, 이상점 데이터를 모션 벡터 집합에서 제거한다. 이상점 데이터 제거부(140)가 이상점 데이터를 제거한 모션 벡터 집합의 각 모션 벡터를 방향 및 크기에 따라 나타내면 도 5와 같이 나타낼 수 있다. 이상점 데이터 제거부(140)는 이상점 데이터가 제거된 모션 벡터 집합을 클러스터 설정부(150)로 전송한다.

클러스터 설정부(150)는 모션 벡터 집합에서 들숨 클러스터 및 날숨 클러스터를 설정한다. 예를 들어, 클러스터 설정부(150)는 Density-based spatial clustering of applications with noise(DBSCAN)과 같이 임의의 모션 벡터와 해당 모션 벡터로부터 일정 간격 내에 존재하는 다른 데이터를 하나의 클러스터로 정의하는 밀도 기반 클러스터링 방법을 통해 모션 벡터의 크기 및 방향을 기준으로 도 6과 같이 모션 벡터 집합에 대한 들숨 클러스터 및 날숨 클러스터를 설정할 수 있다. 이 때, 들숨 클러스터는 방향이 상측 방향인 모션 벡터를 포함하는 클러스터이고, 날숨 클러스터는 방향이 하측 방향인 모션 벡터를 포함하는 클러스터일 수 있다. 즉, 클러스터 설정부(150)는 도 5와 같은 모션 벡터 집합에 관해 클러스터링을 수행하여 도 7의 빨간 점과 파란 점으로 나타낸 들숨 클러스터 및 날숨 클러스터를 설정할 수 있다. 클러스터 설정부(150)는 설정된 들숨 클러스터 및 날숨 클러스터를 나타내는 클러스터 정보를 생성하여 호흡 측정부(160)로 전송한다.

호흡 측정부(160)는 들숨 클러스터 및 날숨 클러스터에 포함된 모션 벡터의 비율에 따라 사용자의 현재 호흡 상태를 들숨 또는 날숨으로 판단하여 호흡 측정 정보를 생성한다. 예를 들어, 호흡 측정부(160)는 도 8과 같이 일반적인 정현파의 호흡 가이드라인과 유사한 형상을 보이는 들숨 클러스터 및 날숨 클러스터의 비율의 변화에 따른 호흡 측정 정보를 생성할 수 있다.

도 9는 본 발명의 일 실시 예에 따른 호흡 측정 장치가 호흡을 측정하는 방법을 예시한 순서도이다.

이하 설명하는 각 단계는 호흡 측정 장치를 구성하는 각 기능부에 의해 수행되는 과정이나, 발명의 명확하고 간결한 설명을 위해 각 단계의 주체를 호흡 측정 장치로 통칭하도록 한다.

단계 S910에서 호흡 측정 장치는 영상을 입력 받는다. 이 때, 호흡 측정 장치가 수신한 영상은 가시광선 카메라로 촬영된 영상일 수 있다.

단계 S920에서 호흡 측정 장치는 영상에서 특징점을 추출한다. 예를 들어, 호흡 측정 장치는 영상의 이미지를 순차적으로 다운 샘플링한 이미지 피라미드에 라플라시안 가우시안 필터를 적용하여 특징점을 산출할 수 있다.

단계 S930에서 호흡 측정 장치는 특징점에 대한 모션 벡터 집합을 생성한다.

단계 S940에서 호흡 측정 장치는 전체 모션 벡터 집합 중 호흡 측정에 불필요한 이상점 데이터를 제거한다. 예를 들어, 호흡 측정 장치는 모션 벡터의 크기가 전체 모션 벡터 중 크기가 작은 순서대로 미리 지정된 비율인 임계 값(예를 들어, 75%) 이하인 모션 벡터를 이상점 데이터로 판단하고, 이상점 데이터를 모션 벡터 집합에서 제거한다.

단계 S950에서 호흡 측정 장치는 모션 벡터 집합에서 들숨 클러스터 및 날숨 클러스터를 설정한다.

단계 S960에서 호흡 측정 장치는 들숨 클러스터 및 날숨 클러스터에 포함된 모션 벡터의 비율에 따라 사용자의 현재 호흡 상태를 들숨 또는 날숨으로 판단하여 호흡 측정 정보를 생성한다. 예를 들어, 호흡 측정 장치는 일반적인 정현파의 호흡 가이드라인과 유사한 형상을 보이는 들숨 클러스터 및 날숨 클러스터의 비율의 변화에 따른 호흡 측정 정보를 생성할 수 있다.

따라서, 본 발명의 일 실시 예에 따른 호흡 측정 장치는 사용자의 호흡을 가시광선 카메라로 생성한 영상의 특징점의 움직임을 분석하고, 해당 움직임에 따라 사용자의 호흡의 상태를 정확하게 파악할 수 있다.

상술한 호흡 측정 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (9)

1. 영상을 입력 받는 입력부;
   상기 영상에서 특징점을 추출하는 특징점 추출부;
   상기 특징점에 대한 모션 벡터 그룹을 산출하는 모션 벡터 산출부;
   상기 모션 벡터 그룹에 대한 들숨 클러스터 및 날숨 클러스터를 설정하는 클러스터 설정부; 및
   상기 들숨 클러스터의 모션 벡터와 날숨 클러스터의 모션 벡터의 비율에 따라 호흡 측정 정보를 생성하는 호흡 측정부;
   를 포함하는 호흡 측정 장치.
   
2. 제1 항에 있어서,
   상기 모션 벡터 그룹에서 이상점 데이터를 제거하는 이상점 데이터 제거부를 더 포함하는 호흡 측정 장치.
   
3. 제2 항에 있어서,
   상기 이상점 데이터 제거부는 상기 모션 벡터 그룹의 전체 모션 벡터 중 크기가 작은 순서대로 미리 지정된 비율 이하의 크기를 가지는 모션 벡터를 상기 모션 벡터 그룹으로부터 제거하는 것을 특징으로 하는 호흡 측정 장치.
   
4. 제1 항에 있어서,
   상기 들숨 클러스터는 방향이 상측 방향인 모션 벡터를 포함하는 클러스터이고, 상기 날숨 클러스터는 방향이 하측 방향인 모션 벡터를 포함하는 클러스터인 것을 특징으로 하는 호흡 측정 장치.
   
5. 호흡 측정 장치가 호흡을 측정하는 방법에 있어서,
   영상을 입력 받는 단계;
   상기 영상에서 특징점을 추출하는 단계;
   상기 특징점에 대한 모션 벡터 그룹을 산출하는 단계;
   상기 모션 벡터 그룹에 대한 들숨 클러스터 및 날숨 클러스터를 설정하는 단계; 및
   상기 들숨 클러스터의 모션 벡터와 날숨 클러스터의 모션 벡터의 비율에 따라 호흡 측정 정보를 생성하는 단계;
   를 포함하는 호흡 측정 방법.
   
6. 제5 항에 있어서,
   상기 모션 벡터 그룹에서 이상점 데이터를 제거하는 단계를 더 포함하는 호흡 측정 방법.
   
7. 제6 항에 있어서,
   상기 모션 벡터 그룹에서 이상점 데이터를 제거하는 단계는 상기 모션 벡터 그룹의 전체 모션 벡터 중 크기가 작은 순서대로 미리 지정된 비율 이하의 크기를 가지는 모션 벡터를 상기 모션 벡터 그룹으로부터 제거하는 단계인 것을 특징으로 하는 호흡 측정 방법.
   
8. 제5 항에 있어서,
   상기 들숨 클러스터는 방향이 상측 방향인 모션 벡터를 포함하는 클러스터이고, 상기 날숨 클러스터는 방향이 하측 방향인 모션 벡터를 포함하는 클러스터인 것을 특징으로 하는 호흡 측정 방법.
   
9. 제5항 내지 8항 중 어느 하나의 호흡 측정 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
   

Images