KR20230033432A - 열화상 기반의 위급 상황 관리장치 및 방법 - Google Patents

Abstract

본 개시는 열화상 기반의 위급 상황 관리장치 및 방법을 제공한다. 본 개시의 일 측면에 의하면, 사용자의 열화상 정보를 기초로 사용자의 동작 정보를 산출하고, 동작 정보를 기초로 사용자가 위급 상황에 있는지 여부를 판단하기 위한 열화상 기반의 위급 상황 관리장치 및 방법 제공한다.

Description

열화상 기반의 위급 상황 관리장치 및 방법 {Method And Apparatus for Managing Emergency Situation Based on Thermography}

본 개시는 열화상 기반의 위급 상황 관리장치 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

열화상으로부터 촬영 대상의 체온 이상 여부를 실시간으로 감지하는 이상 감지 기술의 개발이 활발해지고 있다. 열화상의 경우 일반 화상과 달리, 촬영 대상을 시각적으로 구별하기 곤란하여 촬영 대상의 프라이버시는 보호하면서도 촬영 대상의 신체적 이상을 감지하는 데 유용하다. 그러나 체온의 이상을 감지하는 것만으로는 촬영 대상이 처한 위급 상황을 정확하게 판단하기 어려운 문제가 있다.

그에 따라, 다양한 센서 데이터를 이용하여 신체 상태를 분석하고 위급 상황을 판단하는 웨어러블 디바이스(wearable device)가 개발되고 있다. 그러나 웨어러블 디바이스는 다양한 센서 데이터를 기반으로 하는 복잡한 알고리즘을 필요로 하고, 사용자의 프라이버시가 보호되기 어려운 문제가 있다.

한편, 열화상 카메라나 웨어러블 디바이스 등은 위급 상황에 처한 사용자와의 인터랙션에 제약이 있고, 위급 상황의 대처에 한계가 있다. 웨어러블 디바이스의 경우 인공지능 스피커 등과 연계하여 이러한 문제점을 보완하고는 있으나, 웨어러블 디바이스와 인공지능 스피커 모두 위급 상황을 케어하기 위한 허브(hub)가 아닌 말단(terminal)이라는 점에서 한계가 있다.

본 개시의 일 측면에 의하면, 열화상을 기반으로 사용자의 동작 정보를 산출하고, 동작 정보를 기반으로 사용자가 위급 상황에 있는지를 판단할 수 있다.

본 개시의 일 측면에 의하면, 스마트 미러 기반의 위급 상황 관리 방식을 제공할 수 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 측면에 의하면, 위급 상황 관리장치가 열화상을 기반으로 위급 상황을 관리하는 방법에 있어서, 사용자의 열화상 정보를 획득하는 과정; 상기 열화상 정보를 기초로 상기 사용자의 동작 정보를 산출하는 과정; 및 상기 동작 정보를 이용하여 상기 사용자가 위급 상황에 있는지 여부를 판단하는 과정을 포함하는 것을 특징으로 하는, 위급 상황 관리방법을 제공한다.

본 개시의 일 측면에 의하면, 열화상을 기반으로 사용자가 처한 위급 상황을 관리하기 위한 명령어들로 구성된 위급 상황 관리 모듈이 저장된 스토리지; 및 상기 스토리지로부터 상기 위급 상황 관리 모듈을 로드하여 실행하기 위한, 하나 이상의 프로세서를 포함하되, 상기 위급 상황 관리 모듈은, 열화상을 획득하여 상기 사용자의 열화상 정보를 획득하는 전처리 모듈, 상기 열화상 정보를 기반으로 상기 사용자의 동작을 추론하여 동작 정보를 출력하는 추론 모듈, 및 상기 동작 정보를 기반으로 상기 사용자가 위급 상황에 있는지 여부를 판단하여 판단 결과를 출력하는 판단 모듈을 포함하는 것을 특징으로 하는, 위급 상황 관리장치를 제공한다.

본 개시의 일 측면에 의하면, 전술한 위급 상황 관리장치는, 스마트 미러를 기반으로 구현되는 것을 특징으로 하는, 위급 상황 관리장치를 제공한다.

본 개시의 일 측면에 의하면, 열화상을 기반으로 사용자의 동작 정보를 산출하고, 동작 정보를 기반으로 사용자가 위급 상황에 있는지를 판단함으로써, 사용자의 프라이버시를 보호하면서도 사용자가 위급 상황에 있는지를 정확히 파악하는 효과가 있다.

본 개시의 일 측면에 의하면, 위급 상황 관리장치를 스마트 미러를 기반으로 구현함으로써, 스마트 미러의 다양한 인터페이스를 활용하여 사용자가 처한 위급 상황에 대해 대처할 수 있고, 위급 상황 관리장치가 위급 상황 관리방법의 수행으로 획득 또는 생성되는 다양한 데이터를 관리하는 허브가 되는 효과가 있다.

본 개시의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른 위급 상황 관리장치를 나타내는 블록구성도이다.
도 2는 본 개시의 일 실시예에 따른 위급 상황 관리 모듈을 나타내는 블록구성도이다.
도 3은 본 개시의 일 실시예에 따라 생성된 스켈레톤 정보의 예시도이다.
도 4는 본 개시의 일 실시예에 따른 위급 상황 관리방법의 제1 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 위급 상황 관리방법의 제2 흐름도이다.

이하, 본 개시의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 열람부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제2, 제1 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시형태를 설명하고자 하는 것이며, 본 개시가 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

본 개시의 위급 상황 관리방법은, 위급 상황 관리장치에 의해 실행되고, 위급 상황 관리장치는 컴퓨팅 디바이스 상에서 실행된다. 위급 상황 관리장치는, 컴퓨팅 디바이스가 가용할 수 있는 하나 이상의 프로세서에 의해 각 기능을 수행하고, 이러한 프로세서와 연결되어 내부에 저장된 명령어들을 가지는 컴퓨터 판독가능 스토리지를 포함한다.

본 개시의 위급 상황 관리장치는, 스마트 미러(smart mirror)를 기반으로 구현될 수 있다. 스마트 미러란, 빛의 반사를 이용하여 물체의 모양을 비추는 거울 고유의 기능을 수행하면서, 네트워크 또는 다양한 IoT 기기들과 연결되어 획득하거나 자체 탑재한 센서들로부터 획득한 멀티 모달 데이터를 기반으로 다양한 정보를 출력할 수 있는 디바이스이다. 그에 따라, 스마트 미러는 다양한 멀티 모달 인터페이스를 내재하거나 IoT 센서들을 연동하는, IoT 허브의 기능을 수행할 수 있다.

스마트 미러는 크게 세 가지의 유형으로 구현 가능하다. 첫 번째 방식은 스마트 미러의 전체 화면 영역을 거울 영역과 디스플레이 영역으로 분할하여 구현하는 방식이다. 두 번째 방식은 스마트 미러를 디스플레이로서 구현하되, 사용자가 스마트 미러에 접근하면 디스플레이가 거울로서 동작하도록 구현하는 방식이다. 세 번째 방식은 스마트 미러를 블랙 화면의 디스플레이로서 구현하여 반사와 화상 출력이 동시에 가능하도록 구현하는 방식이다.

도 1은 본 개시의 일 실시예에 따른 위급 상황 관리장치를 나타내는 블록구성도이다.

본 개시의 일 실시예에 따른 위급 상황 관리장치는 열화상 카메라 모듈(thermal imaging camera module), 스토리지(storage), 프로세서(processor), 사용자 인터페이스(user interface) 및 통신 모듈(communications module)을 전부 또는 일부 포함한다. 도 1에 도시된 위급 상황 관리장치는 본 개시의 일 실시예에 따른 것으로서, 도 1에 도시된 모든 구성이 필수 구성요소는 아니며, 다른 실시예에서 일부 구성이 추가, 변경 또는 삭제될 수 있다. 예컨대, 다른 실시예에서 위급 상황 관리장치는 사용자 열화상 정보 추출 모델(user thermal imaging information extraction model), 스켈레톤 생성 모델(skeleton generation model), 동작 정보 생성 모델(motion information generation model) 등의 학습을 수행하고 열화상을 수집하는 서버(server)를 더 포함할 수 있다. 또 다른 실시예에서 위급 상황 관리장치는 스토리지와 프로세서를 구비하지 않고 위급 상황 관리 모듈을 클라우드(cloud) 환경 또는 엣지 컴퓨팅(edge computing) 환경에서 수행하여 수행 결과를 반환받음으로써 구현될 수도 있다.

도 1은 위급 상황 관리장치의 각 구성을 장치로서 도시하였으나, 이는 설명의 편의를 위한 것으로, 다른 실시예에서 위급 상황 관리장치는 각 구성의 기능을 수행하는 소프트웨어 모듈 또는 프로세서로 구현될 수 있다.

열화상 카메라 모듈은 열화상 카메라가 촬영한 열화상을 획득한다. 열화상 카메라 모듈은 위급 상황 관리장치에 탑재된 열화상 카메라로부터 열화상을 전달받거나, 통신 모듈을 통해 위급 상황 관리장치 외부에 위치한 열화상 카메라로부터 열화상을 전송받을 수 있다.

스토리지는 사용자가 처한 위급 상황을 관리하기 위한 명령어들로 구성된 위급 상황 관리 모듈을 저장한다. 스토리지는 열화상 카메라 모듈이 획득한 열화상이나 프로세서가 위급 상황 관리 모듈을 실행하며 생성한 데이터들을 더 저장할 수 있다. 위급 상황 관리 모듈에 대하여는 도 2에서 구체적으로 후술한다.

프로세서는 스토리지로부터 위급 상황 관리 모듈을 로드(load)하여 실행한다. 프로세서는 열화상 카메라 모듈이 획득한 열화상을 이용하여 위급 상황 관리 모듈을 실행할 수 있다. 프로세서는 로드된 위급 상황 관리 모듈을 저장하고, 위급 상황 관리 모듈을 실행하기 위한 메모리를 더 구비할 수 있다.

사용자 인터페이스는 사용자와 위급 상황 관리장치 간 상호작용을 수행한다. 구체적으로, 사용자 인터페이스는 사용자가 조작할 수 있는 적어도 하나의 입력 수단 및 사용자의 이용 결과를 표시하는 적어도 하나의 출력 수단을 포함한다(도 1의 입출력부). 사용자 인터페이스는 디스플레이 화면, 키보드, 스피커, 마이크, 마우스, 텍스트, 아이콘, 도움말 등 사용자와 상호작용하도록 설계된 적어도 하나의 오브젝트(object)를 포함할 수 있다.

사용자 인터페이스는 프로세서에 의해 제어될 수 있다. 예컨대, 사용자 인터페이스는 프로세서의 요청에 따라 입출력부를 이용하여 사용자와의 인터랙션을 수행할 수 있다. 예컨대, 프로세서가 사용자가 위급 상황에 있다고 판단하는 경우에 사용자 인터페이스는 입출력부를 이용하여, 사용자에게 상태를 문의하고 그에 대한 사용자의 반응을 확인할 수 있다. 한편, 프로세서는 사용자 인터페이스를 통해 입력된 사용자의 반응에 따라, 외부 서버 또는 외부 단말에게 특정 정보를 송신하도록 통신 모듈을 제어할 수 있다.

통신 모듈은 위급 상황 관리장치의 외부에 위치하는 센서(예: 열화상 카메라 등), 서버 또는 장치 등과 통신을 수행한다. 통신 모듈은 외부에 위치하는 센서, 서버 또는 장치 등과 통신하기 위한 유/무선 통신 환경을 구비할 수 있다. 예컨대, 통신 모듈은 request 메시지에 대한 ack 메시지/response 메시지를 송신하거나, 수신한 데이터 패킷을 디코딩하거나 복호화할 수 있으나, 이러한 기능에 한하지 않는다.

통신 모듈은 프로세서에 의해 제어될 수 있다. 예컨대, 통신 모듈은 프로세서의 요청에 따라 기 설정된 서버 또는 장치에게 특정 정보를 송신할 수 있다. 예컨대, 프로세서가 사용자가 위급 상황에 있다고 판단하는 경우에 통신 모듈은 기 설정된 보호자 단말/의료 기관 서버/응급 상황 대응 시스템(예: 119 대응 시스템 등) 등에 사용자가 처한 위급 상황에 관한 정보를 송신하여 사용자의 상황을 통지할 수 있다. 사용자가 처한 위급 상황에 관한 정보에는, 사용자의 동작 정보, 열화상 정보 등과 같이 프로세서에 의해 생성되는 중간/최종 데이터 등이 포함될 수 있다.

열화상 카메라가 위급 상황 관리장치 외부에 위치하는 경우에 통신 모듈은 열화상 카메라로부터 열화상을 수신할 수 있다.

위급 상황 관리 모듈이 사용자 열화상 정보 추출 모델, 스켈레톤 생성 모델, 동작 정보 생성 모델 및/또는 동작 정보 생성 모델을 포함하는 경우에 통신 모듈은 각 모델의 학습을 수행하는 서버로부터 학습이 수행된 사용자 열화상 정보 추출 모델, 스켈레톤 생성 모델 및/또는 동작 정보 생성 모델을 수신할 수 있다. 이 경우에 통신 모듈은 획득한 열화상 또는 열화상 정보를 각 학습을 수행하는 서버에 송신하여 각 모델의 학습에 이용되도록 할 수 있다.

도 2는 본 개시의 일 실시예에 따른 위급 상황 관리 모듈을 나타내는 블록구성도이다.

본 개시의 일 실시예에 따른 위급 상황 관리 모듈(200)은 전처리 모듈(preprocess module, 202), 추론 모듈(inference module, 204), 판단 모듈(determination module, 206), 인터랙션 모듈(interaction module, 208) 및 통지 모듈(notification module, 210)을 전부 또는 일부 포함한다. 도 2에 도시된 위급 상황 관리 모듈(200)은 본 개시의 일 실시예에 따른 것으로서, 도 2에 도시된 모든 구성이 필수 구성요소는 아니며, 다른 실시예에서 일부 구성이 추가, 변경 또는 삭제될 수 있다. 예컨대, 다른 실시예에서 위급 상황 관리 모듈은 사용자 열화상 정보를 기초로 사용자의 체온을 모니터링하는 모니터링 모듈(monitoring module, 미도시)을 더 포함할 수 있다.

도 2은 위급 상황 관리 모듈을 장치로서 도시하였으나, 이는 설명의 편의를 위한 것으로, 다른 실시예에서 위급 상황 관리 모듈은 각 구성의 기능을 수행하는 소프트웨어 모듈 또는 프로세서로 구현될 수 있다.

전처리 모듈(202)은 열화상을 카메라 모듈로부터 열화상을 획득하거나, 스토리지로부터 열화상을 로드하고, 열화상을 전처리하여 사용자의 열화상 정보를 획득한다. 전처리 모듈(202)은 열화상으로부터 사용자를 식별하고, 열화상으로부터 사용자의 신체가 포함된 열화상을 열화상 정보로서 추출할 수 있다. 예컨대, 전처리 모듈은 기 학습된 사용자 열화상 정보 추출 모델을 이용하여 열화상으로부터 사용자를 식별하고, 식별된 사용자의 열화상 정보를 추출할 수 있다. 사용자 열화상 정보 추출 모델은 전처리 모듈(202)의 수행에 선행하여 사용자의 얼굴 및/또는 자세의 데이터셋을 학습할 수 있다. 기 학습된 사용자 열화상 정보 추출 모델은 열화상으로부터 특징점을 추출하여 특징점에 의해 인식되는 객체의 얼굴 및/또는 자세를 학습된 사용자의 얼굴 및/또는 자세와 비교하여, 열화상으로부터 사용자를 식별하고 열화상 정보를 추출할 수 있다.

열화상 정보에는 사용자의 신체의 열화상이 포함되므로, 사용자의 체온에 관한 정보가 포함됨은 자명하다. 전처리 모듈(202)은 추출된 사용자의 신체 열화상으로부터 사용자의 체온 정보를 별도로 추출할 수도 있다.

추론 모듈(204)은 열화상 정보를 기반으로 사용자의 동작을 추론하고, 사용자의 동작 정보를 출력한다. 동작 정보란, 사용자의 시간에 따른 움직임을 인식하여 추론한 동작에 관한 정보를 의미한다. 추론 모듈(204)은 열화상 정보를 기초로 사용자의 신체를 모델링한 정보인 스켈레톤 정보(skeleton information)를 생성하고, 스켈레톤 정보를 이용하여 동작 정보를 산출할 수 있다. 스켈레톤 정보는 신체의 특징점을 기초로 객체의 신체를 모델링한 것이다. 추론 모듈(204)은 열화상 정보를 기초로 사용자의 신체 부위와 관련된 특징점을 추출하고, 특징점을 기초로 스켈레톤 정보를 생성할 수 있다. 추론 모듈(204)은 예컨대, 열화상 정보로부터 사용자 동작을 인식하여 동작에 따른 관절 포인트를 탐지하고, 탐지된 관절 포인트에 관한 특징점을 추출할 수 있다. 추출되는 특징점은 기 설정된 정보로서, 코, 왼쪽 눈, 오른쪽 눈, 왼쪽 귀, 오른쪽 귀, 왼쪽 어깨, 오른쪽 어깨, 왼쪽 팔꿈치, 오른쪽 팔꿈치, 왼쪽 손목, 오른쪽 손목, 왼쪽 엉덩이, 오른쪽 엉덩이, 왼쪽 무릎, 오른쪽 무릎, 왼쪽 발목, 오른쪽 발목 등일 수 있다.

추론 모듈(204)은 기 학습된 스켈레톤 생성 모델을 이용하여 스켈레톤 정보를 생성할 수 있다. 스켈레톤 생성 모델은 열화상 정보로부터 객체를 인식하고, 인식된 객체의 특징점을 추론하여 스켈레톤 정보를 생성하는 모델일 수 있다.

한편, 스켈레톤 정보는 각 특징점에 관한 정보를 수치적으로 포함하는 스켈레톤 벡터로서 나타낼 수 있다. 추론 모듈(204)은 스켈레톤 정보를 스켈레톤 벡터로서 이용하여 동작 정보를 산출할 수 있다.

추론 모듈(204)은 스켈레톤 정보를 기초로 동작 정보를 산출한다. 추론 모듈(204)은 스켈레톤 정보의 시간에 따른 변화를 기초로 사용자의 동작을 추론하여 동작 정보를 산출할 수 있다. 예컨대, 추론 모듈(204)은 스켈레톤 정보로부터 관절 포인트의 시간에 따른 변화를 동작 정보로서 산출할 수 있다. 이러한 동작 정보는 사용자의 관절 포인트의 변화량일 수 있다. 사용자의 관절 포인트의 변화량은 시간에 따른 스켈레톤 벡터값의 변화를 연산함으로써 산출될 수 있으나, 이러한 방식에 한하지 않는다. 예컨대, 추론 모듈(204)은 스켈레톤 정보를 기초로 사용자의 관절 포인트의 위치 변화량을 산출하고, 위치 변화량을 기초로 동작 정보를 산출할 수도 있다.

추론 모듈(204)은 기 학습된 동작 정보 생성 모델을 이용하여 동작 정보를 생성할 수 있다. 동작 정보 생성 모델은 사용자의 동작을 나타내는 화상 또는 사용자의 동작을 나타내는 열화상 정보 등을 기 학습하여 동작 추론을 수행하는 모델일 수 있다. 이러한 동작을 나타내는 화상 또는 열화상은 시계열적인 정보로서, 기 학습된 동작 정보 생성 모델은 MobileNet 기반의 동작 추론을 수행하여 동작 정보를 생성할 수도 있다. 동작 정보 생성 모델은 스켈레톤 정보로부터 객체의 자세와 객체의 동작 상황을 추론하여 동작 정보를 생성할 수도 있다.

판단 모듈(206)은 동작 정보를 기반으로 사용자가 위급 상황에 있는지 여부를 판단하여, 판단 결과를 출력한다. 판단 모듈(206)은 동작 정보를 기반으로 사용자에게 움직임이 있는지 여부를 판단하고, 움직임이 없다고 판단하는 경우에 열화상 정보 또는 전처리 모듈(202)이 산출한 체온 정보를 더 고려하여 사용자가 위급 상황에 있는지 여부를 판단할 수도 있다. 예컨대, 판단 모듈(206)은 동작 정보로서 사용자의 관절 포인트의 변화량이 기 설정된 임계치(예: 10 %) 이하인 경우 또는 기 설정된 임계치 이하가 기 설정된 시간 동안 유지되는 경우에 사용자에게 움직임이 없다고 판단할 수 있다.

사용자에게 움직임이 없다고 판단하는 경우에 판단 모듈(206)은 열화상 정보 또는 체온 정보를 기초로 사용자의 체온에 이상이 있는지 여부를 판단하여 사용자가 위급 상황에 있는지 여부를 판단하고, 더 나아가 사용자가 처한 위급 상황의 유형을 더 판단할 수 있다. 예컨대, 판단 모듈(206)은 사용자의 체온이 31 도 이하인 경우에는 사용자가 위급 상황에 있다고 판단할 수 있고, 더 나아가 사용자가 '죽음' 상황에 처했다고 판단할 수 있다.

판단 모듈(206)은 사용자가 위급 상황에 있다고 판단하는 경우에 적절한 대응 동작을 결정하기 위하여, 사용자가 처한 위급 상황 정도를 더 산출할 수 있다. 예컨대, 판단 모듈(206)은 동작 정보 및/또는 열화상 정보(또는 체온 정보)를 기초로 위급 상황 정도를 산출하고, 기 설정된 대응 매뉴얼로부터 위급 상황 정도에 대응하는 작동 방식을 상기 대응 동작으로서 산출할 수도 있다. 이러한 대응 동작은 인터랙션 모듈(208) 또는 통지 모듈(210) 등에 의해 수행될 수 있다.

한편, 본 개시는 사용자의 생체 활동과 관련한 위급 상황 관리장치 및 방법에 대하여 서술하나, 이는 예시적인 것으로 전처리 모듈(202)은 열화상으로부터 사용자의 주변 환경을 더 인식하여 주변환경 정보(예: 화재 유무, 이상 기온 여부 등)를 더 생성하고, 판단 모듈(206)은 이를 더 고려하여 사용자가 위급 상황에 있는지를 더욱 상세히 판단할 수도 있다.

인터랙션 모듈(208)은 판단 모듈(206)에 의해 사용자가 위급 상황에 있다고 판단된 경우에, 사용자 인터페이스(또는 입출력부)를 이용하여 사용자와의 인터랙션을 수행한다. 예컨대, 인터랙션 모듈(208)은 입출력부를 이용하여 사용자에게 상태를 물어보는 질의를 출력하거나, 사용자의 상태를 확인할 수 있는 특정 지시(예: 특정 동작의 수행 요청 등)를 출력하여 요청할 수 있다. 인터랙션 모듈(208)은 사용자와의 인터랙션에 따라 사용자의 상태를 확인하여, 추가적 대응 동작이 필요한지 여부를 더 판단할 수 있다. 예컨대, 인터랙션의 시도에도 불구하고 사용자로부터 응답이 일정 시간 이상 없거나, 도움을 요청하는 응답을 입력받는 등의 경우에 인터랙션 모듈(208)은 통지 모듈(210)에게 특정 정보의 통지를 요청할 수 있다.

인터랙션 모듈(208)은 사용자 인터페이스(또는 입출력부)를 이용하여, 사용자와 제3자 간의 통화 기능을 제공할 수 있다. 예컨대, 사용자가 위급 상황에 있다고 판단된 경우에 인터랙션 모듈(208)은 통신 모듈을 이용하여 기 설정된 단말에 음성이나 영상 통화를 요청하고, 입출력부를 이용하여 음성이나 영상 통화가 진행되도록 할 수 있다. 영상 통화를 하는 경우에 사용자는 입출력부로서 디스플레이 화면을 통해 보호자 등 제3자를 확인할 수 있고, 마이크와 스피커를 통해 제3자와 통화를 할 수 있다. 제3자는 일반 카메라를 통해 사용자의 영상을 실시간으로 확인할 수 있다. 한편, 사용자의 프라이버시 보호를 위하여 위급 상황 관리장치에 마이크나 일반 카메라가 탑재되어 있는 경우에도 그 동작은 전술한 등의 경우로 한정되는 것이 바람직하다.

통지 모듈(210)은 판단 모듈(206)에 의해 사용자가 위급 상황에 있다고 판단하는 경우에 통신 모듈에게 통지를 위한 대응 동작을 요청한다. 예컨대, 통지 모듈(210)은 사용자가 처한 위급 상황에 관한 정보를 생성하여 기 설정된 단말 또는 기 설정된 서버에 전송하도록 요청할 수 있다. 사용자가 처한 위급 상황에 관한 정보는 동작 정보 및/또는 열화상 정보(또는 체온 정보)를 기초로 생성되는 정보일 수 있다. 또 다른 예로 통지 모듈(210)은 기 설정된 단말 또는 기 설정된 서버에 알람 요청 메시지를 전송하도록 통신 모듈에 요청할 수 있다.

통지 모듈(210)은 통지를 위한 메시지를 생성할 수 있다. 이러한 메시지는 위급 상황 정도에 따라 기 설정된 방식으로 생성되는 메시지일 수 있다.

도 3은 본 개시의 일 실시예에 따라 생성된 스켈레톤 정보의 예시도이다.

도 3의 일 실시예에 따른 스켈레톤 정보는, 특징점과 신체 구조를 반영하여 생성되는 특징점 간의 간선(edge)으로 구성된다. 특징점은 신체의 특정 부위에 대응되는 것으로, 도 3의 스켈레톤 정보는 머리, 목, 왼쪽 어깨, 오른쪽 어깨, 왼쪽 팔꿈치, 오른쪽 팔꿈치, 왼쪽 손, 오른쪽 손, 왼쪽 엉덩이, 오른쪽 엉덩이, 왼쪽 무릎, 오른쪽 무릎, 왼쪽 발, 오른쪽 발을 특징점으로 포함하고 있다. 그에 따라, 스켈레톤 정보는 머리, 목, 왼쪽 어깨, 오른쪽 어깨, 왼쪽 팔꿈치, 오른쪽 팔꿈치, 왼쪽 손, 오른쪽 손, 왼쪽 엉덩이, 오른쪽 엉덩이, 왼쪽 무릎, 오른쪽 무릎, 왼쪽 발, 오른쪽 발에 관한 벡터 값(예: 위치, 온도 등)인 스켈레톤 벡터로써 나타낼 수 있다.

도 4는 본 개시의 일 실시예에 따른 위급 상황 관리방법의 제1 흐름도이다.

위급 상황 관리장치는 사용자의 열화상 정보를 획득한다(S400). 예컨대, 위급 상황 관리장치는 열화상 카메라로부터 열화상을 획득하고, 사용자의 신체가 포함된 열화상을 열화상 정보로서 추출할 수 있다. 위급 상황 관리장치는 기 학습된 사용자 열화상 정보 추출 모델을 이용하여 열화상 정보를 추출하여 획득할 수도 있다.

위급 상황 관리장치는 열화상 정보를 기초로 사용자의 동작 정보를 산출한다(S402). 예컨대, 위급 상황 관리장치는 열화상 정보를 기초로 사용자의 신체를 모델링한 정보인 스켈레톤 정보를 생성하고, 스켈레톤 벡터의 변화량을 기초로 산출할 수 있다.

위급 상황 관리장치는 동작 정보를 이용하여 사용자가 위급 상황에 있는지 여부를 판단한다(S404). 예컨대, 위급 상황 관리장치는 동작 정보를 기초로 사용자에게 움직임이 있는지 여부를 판단하고, 판단의 결과를 기초로 사용자가 위급 상황에 있는지 여부를 결정할 수 있다.

위급 상황 관리장치는 판단의 결과에 따라 대응 동작을 수행한다(S406). 예컨대, 위급 상황 관리장치는 보호자 또는 응급 구조사의 단말에게 전화를 걸어 사용자와의 인터랙션을 지원할 수 있다.

도 5는 본 개시의 일 실시예에 따른 위급 상황 관리방법의 제2 흐름도이다.

위급 상황 관리장치는 열화상 획득한다(S500). 예컨대, 위급 상황 관리장치는 자신에게 탑재된 열화상 카메라 또는 통신 기능이 있고 장치 외부에 위치하는 열화상 카메라로부터 실시간으로 촬영 중인 열화상을 전달받아 획득할 수 있다.

위급 상황 관리장치는 열화상으로부터 사용자를 식별하고, 열화상으로부터 사용자의 신체가 포함된 열화상 정보를 추출한다(S502).

위급 상황 관리장치는 열화상 정보로부터 동작에 따른 관절 포인트를 탐지하여 특징점을 추출한다(S504).

위급 상황 관리장치는 특징점을 기초로 사용자의 신체를 모델링한 정보인 스켈레톤 정보를 생성한다(S506).

위급 상황 관리장치는 스켈레톤 정보를 기초로, 각 관절 포인트의 시간에 따른 변화를 동작 정보로서 산출한다(S508).

위급 상황 관리장치는 동작 정보를 기초로 사용자에게 움직임이 있는지 여부를 판단한다(S509).

S510 단계에서 사용자에게 움직임이 있다고 판단하는 경우, 위급 상황 관리장치는 절차를 종료한다.

S510 단계에서 사용자에게 움직임이 없다고 판단하는 경우, 위급 상황 관리장치는 열화상 정보를 기초로 사용자의 체온을 더 고려하여 사용자가 위급 상황에 있는지 여부를 결정한다(S512).

S520 단계에서 사용자가 위급 상황에 있다고 판단하는 경우, 위급 상황 관리장치는 위급 상황 정도를 산출하고, 위급 상황 정도에 대응하는 대응 동작을 수행하여 절차를 종료한다(S522).

S520 단계에서 사용자가 위급 상황에 있지 않다고 판단하는 경우, 위급 상황 관리장치는 절차를 종료한다.

도 4 및 도 5에서는 과정 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4 및 도 5에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4 및 도 5의 시계열적인 순서로 한정되는 것은 아니다.

본 명세서에 설명되는 장치, 부(unit), 과정, 단계 등의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍 가능 시스템상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍 가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령을 수신하고 이들에게 데이터 및 명령을 전송하도록 결합된 적어도 하나의 프로그래밍 가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍 가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는　기록매체"에 저장된다.

컴퓨터가 읽을 수 있는　기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는　기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비 일시적인(non-transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는　기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋톱박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩톱, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.

본 명세서에서 설명되는 시스템들 및 기법들은 사용자 인터페이스를 통해 사용자와 상호작용을 수행할 수 있다. 여기서, 사용자 인터페이스는 예컨대, 웹 사용자 인터페이스(Web User Interface, WUI), 그래픽 사용자 인터페이스(Graphic User Interface, GUI), 명령 줄 인터페이스(Command Line Interface, CLI), 터치 사용자 인터페이스(touch user interface), 대화형 인터페이스 에이전트(communication interface agent), 교차 기반 인터페이스(crossing-based interface), 제스쳐 인터페이스(gesture interface), 객체 지향 사용자 인터페이스(object-oriented user interface), 움직임 추적 인터페이스(movement tracking interface), 멀티 스크린 인터페이스(multi-screen interface), 음성 사용자 인터페이스(voice user interface), 최종 사용자 인터페이스 등일 수 있으나, 이에 한하지 않는다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

200: 위급 상황 관리 모듈
202: 전처리 모듈
204: 추론 모듈
206: 판단 모듈
208: 인터랙션 모듈
210: 통지 모듈

Claims (21)

1. 위급 상황 관리장치가 열화상을 기반으로 위급 상황을 관리하는 방법에 있어서,
   사용자의 열화상 정보를 획득하는 과정;
   상기 열화상 정보를 기초로 상기 사용자의 동작 정보를 산출하는 과정; 및
   상기 동작 정보를 이용하여 상기 사용자가 위급 상황에 있는지 여부를 판단하는 과정
   을 포함하는 것을 특징으로 하는, 위급 상황 관리방법.
2. 제1항에 있어서,
   상기 열화상 정보를 획득하는 과정은,
   열화상 카메라로부터 열화상을 획득하는 과정; 및
   상기 열화상으로부터 상기 열화상 정보를 추출하는 과정
   을 포함하는 것을 특징으로 하는, 위급 상황 관리방법.
3. 제2항에 있어서,
   상기 열화상 정보를 추출하는 과정은,
   상기 열화상으로부터 상기 사용자를 식별하고, 상기 열화상으로부터 상기 사용자의 신체가 포함된 열화상을 상기 열화상 정보로서 추출하는 것을 특징으로 하는, 위급 상황 관리방법.
4. 제1항에 있어서,
   상기 동작 정보를 산출하는 과정은,
   상기 열화상 정보를 기초로 상기 사용자의 신체를 모델링한 정보인 스켈레톤 정보를 생성하는 과정;
   상기 스켈레톤 정보를 기초로 상기 동작 정보를 산출하는 과정
   을 포함하는 것을 특징으로 하는, 위급 상황 관리방법.
5. 제4항에 있어서,
   상기 스켈레톤 정보를 생성하는 과정은,
   상기 열화상 정보를 기초로 상기 사용자의 신체 부위와 관련된 특징점을 추출하고, 상기 특징점을 기초로 상기 스켈레톤 정보를 생성하는 것을 특징으로 하는, 위급 상황 관리방법.
6. 제5항에 있어서,
   상기 스켈레톤 정보를 생성하는 과정은,
   상기 열화상 정보로부터 관절 포인트를 탐지하여 상기 특징점을 추출하는 것을 특징으로 하는, 위급 상황 관리방법.
7. 제6항에 있어서,
   상기 동작 정보를 산출하는 과정은,
   상기 스켈레톤 정보를 이용하여, 상기 관절 포인트의 시간에 따른 변화를 상기 동작 정보로서 산출하는 것을 특징으로 하는, 위급 상황 관리방법.
8. 제1항에 있어서,
   상기 사용자가 위급 상황에 있는지 여부를 판단하는 과정은,
   상기 동작 정보를 기초로 상기 사용자에게 움직임이 있는지 여부를 판단하고, 판단 결과를 기초로 상기 사용자가 위급 상황에 있는지 여부를 결정하는 것을 특징으로 하는, 위급 상황 관리방법.
9. 제8항에 있어서,
   상기 사용자가 위급 상황에 있는지 여부를 판단하는 과정은,
   상기 동작 정보로서 기초로 상기 사용자의 관절 포인트의 변화량을, 기 설정된 임계치와 비교하여, 상기 임계치 이하인 경우에 상기 사용자에게 움직임이 없다고 판단하는 것을 특징으로 하는, 위급 상황 관리방법.
10. 제8항에 있어서,
    상기 사용자가 위급 상황에 있는지 여부를 판단하는 과정은,
    상기 사용자에게 움직임이 없다고 판단하는 경우에 상기 열화상 정보를 더 고려하여 상기 사용자가 위급 상황에 있는지 여부를 결정하는 것을 특징으로 하는, 위급 상황 관리방법.
11. 제1항에 있어서,
    상기 판단의 결과에 따라 대응 동작을 수행하는 과정
    을 더 포함하는 것을 특징으로 하는, 위급 상황 관리방법.
12. 제11항에 있어서,
    상기 대응 동작을 수행하는 과정은,
    상기 사용자가 위급 상황에 있다고 판단하는 경우에 상기 동작 정보 및/또는 상기 열화상 정보를 기초로 위급 상황 정도를 산출하고, 기 설정된 대응 매뉴얼로부터 상기 위급 상황 정도에 대응하는 작동 방식을 상기 대응 동작으로서 산출하여 수행하는 것을 특징으로 하는, 위급 상황 관리방법.
13. 제11항에 있어서,
    상기 대응 동작을 수행하는 과정은,
    상기 사용자가 위급 상황에 있다고 판단하는 경우에 사용자 인터페이스를 이용하여 사용자의 반응을 확인하는 것을 특징으로 하는, 위급 상황 관리방법.
14. 제11항에 있어서,
    상기 대응 동작을 수행하는 과정은,
    상기 동작 정보 및/또는 상기 열화상 정보를 기초로 상기 사용자가 처한 위급 상황에 관한 정보를 생성하고, 상기 위급 상황에 관한 정보를 기 설정된 단말 또는 기 설정된 서버에 전송하는 것을 특징으로 하는, 위급 상황 관리방법.
15. 열화상을 기반으로 사용자가 처한 위급 상황을 관리하기 위한 명령어들로 구성된 위급 상황 관리 모듈이 저장된 스토리지; 및
    상기 스토리지로부터 상기 위급 상황 관리 모듈을 로드하여 실행하기 위한, 하나 이상의 프로세서를 포함하되,
    상기 위급 상황 관리 모듈은,
    열화상을 획득하여 상기 사용자의 열화상 정보를 획득하는 전처리 모듈,
    상기 열화상 정보를 기반으로 상기 사용자의 동작을 추론하여 동작 정보를 출력하는 추론 모듈, 및
    상기 동작 정보를 기반으로 상기 사용자가 위급 상황에 있는지 여부를 판단하여 판단 결과를 출력하는 판단 모듈
    을 포함하는 것을 특징으로 하는, 위급 상황 관리장치.
16. 제15항에 있어서,
    상기 추론 모듈은,
    상기 열화상 정보를 기초로 상기 사용자의 신체를 모델링한 정보인 스켈레톤 정보를 생성하고, 상기 스켈레톤 정보의 시간에 따른 변화를 기초로 상기 사용자의 동작을 추론하는 것을 특징으로 하는, 위급 상황 관리장치.
17. 제16항에 있어서,
    상기 추론 모듈은,
    기 학습된 스켈레톤 생성 모델을 이용하여 상기 스켈레톤 정보를 생성하되,
    상기 스켈레톤 생성 모델은, 열화상으로부터 객체의 관절 포인트를 탐지하고, 탐지된 관절 포인트에 대응하는 특징점의 전부 또는 일부를 포함시켜 상기 객체의 신체를 모델링하는 것을 특징으로 하는, 위급 상황 관리장치.
18. 제15항에 있어서,
    상기 판단 모듈은,
    상기 동작 정보로서 상기 사용자의 관절 포인트의 변화량을, 기 설정된 임계치와 비교하여, 상기 임계치 이하인 경우에 상기 사용자에게 움직임이 없다고 판단하는 것을 특징으로 하는, 위급 상황 관리장치.
19. 제15항에 있어서,
    입출력부; 및
    상기 사용자가 위급 상황에 있다고 판단하는 경우에, 상기 입출력부를 이용하여 상기 사용자와 인터랙션을 수행하거나 상기 사용자와 제3자 간 인터랙션을 지원하는 인터랙션 모듈
    을 더 포함하는 것을 특징으로 하는, 위급 상황 관리장치.
20. 제15항에 있어서,
    통신 모듈; 및
    상기 사용자가 위급 상황에 있다고 판단하는 경우에, 상기 동작 정보 및/또는 상기 열화상 정보를 기초로 상기 사용자가 처한 위급 상황에 관한 정보를 생성하고, 상기 위급 상황에 관한 정보를 기 설정된 단말 또는 기 설정된 서버에 전송하도록 상기 통신 모듈에 요청하는 통지 모듈
    을 더 포함하는 것을 특징으로 하는, 위급 상황 관리장치.
21. 제15항에 있어서,
    상기 위급 상황 관리장치는, 스마트 미러를 기반으로 구현되는 것을 특징으로 하는, 위급 상황 관리장치.
    

Images