KR20230052085A

KR20230052085A - 전자 장치 및 이의 제어 방법

Info

Publication number: KR20230052085A
Application number: KR1020210135226A
Authority: KR
Inventors: 전건욱; 박경춘; 안진형; 정구원
Original assignee: 삼성전자주식회사
Priority date: 2021-10-12
Filing date: 2021-10-12
Publication date: 2023-04-19
Also published as: WO2023063556A1; US20240184308A1

Abstract

본 발명은 긴급상황에 대한 정보를 사용자에게 제공하는 전자 장치에 관한 것으로, 전자 장치는, 마이크, 구동부, 출력부 및 전자 장치가 위치하는 주변의 소리를 획득하여, 긴급상황이 발생하였는지 여부를 식별하고, 긴급상황이 발생된 것으로 식별되면, 획득된 소리에 대한 정보를 제1 신경망 모델에 입력하여 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하고, 위치에 대한 정보에 기초하여, 긴급상황과 관련된 소리가 발생하는 위치에 대응되는 제1 영역으로 이동하도록 구동부를 제어하고, 제1 영역에서, 긴급상황에 대한 정보를 획득하고, 컨텍스트 정보 및 사용자 히스토리 정보에 기초하여, 사용자의 위치에 대응되는 제2 영역으로 이동하도록 구동부를 제어하고, 제2 영역에서 긴급상황에 대한 정보를 사용자에게 제공하는 프로세서를 포함한다.

Description

전자 장치 및 이의 제어 방법 {ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF}

본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는, 긴급상황에 관련된 소리를 감지하여 긴급상황에 대한 정보를 사용자에게 전달하는 전자 장치 및 이의 제어 방법에 관한 것이다.

사용자의 생활을 보조하기 위해 전자 장치는 다양한 동작을 수행할 수 있다. 전자 장치는 주변의 소리를 인식하여 정보를 획득할 수 있고, 획득한 정보를 저장 매체에 저장하거나 다른 외부 장치에 전송할 수 있으며, 외부로 출력하여 사용자에게 제공할 수 있다. 여기서 전자 장치는 필요한 경우, 다양한 위치로 이동하기 위해 구동부를 포함할 수 있다.

사용자가 다른 일에 몰두해 있거나, 사용자의 거동이 불편한 경우, 실외 또는 실내에서 발생하는 긴급상황에 대해 제대로 인지하지 못해 긴급상황에 대한 대처가 신속하게 이루어지지 않는 문제점이 발생할 수 있다.

따라서, 사용자의 생활을 보조하는 전자 장치는 미처 사용자가 인지하지 못하는 긴급상황에 대한 정보를 획득한 후, 신속하게 긴급상황에 대한 정보를 사용자에게 전달하여 사용자가 적절하게 대처하도록 할 필요성이 있다.

여기서, 긴급상황에 대한 정보를 정확하게 획득하기 위해 긴급상황과 관련된 소리가 발생하는 위치로 이동하고, 획득한 긴급상황에 대한 정보를 사용자에게 전달하기 위해 사용자가 위치할 영역을 예측하여 사용자의 위치로 이동하는 동작의 구현 방식의 모색이 요청된다.

본 개시는 상술한 문제를 해결하기 위해 고안된 것으로, 본 개시의 목적은 집안 내부에서 다른 일에 몰두하거나 거동이 불편한 사용자에게 집안 외부 또는 내부의 긴급상황에 대한 정보를 제공하여 사용자가 긴급상황에 대한 적절한 대처를 할 수 있도록 하는 전자 장치 및 이의 제어 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치는, 마이크, 구동부, 출력부 및 프로세서를 포함하고, 상기 프로세서는, 상기 전자 장치가 위치하는 주변의 소리를 획득하여, 긴급상황이 발생하였는지 여부를 식별하고, 상기 긴급상황이 발생된 것으로 식별되면, 상기 획득된 소리에 대한 정보에 기초하여 상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하고, 상기 위치에 대한 정보에 기초하여, 상기 긴급상황과 관련된 소리가 발생하는 위치에 대응되는 제1 영역을 판단하고, 상기 판단된 제1 영역으로 이동하도록 상기 구동부를 제어하고, 상기 제1 영역에서, 상기 긴급상황에 대한 정보를 획득하고, 컨텍스트(Context) 정보 및 사용자 히스토리(History) 정보에 기초하여, 상기 사용자의 위치에 대응되는 제2 영역을 판단하고, 상기 판단된 제2 영역으로 이동하도록 상기 구동부를 제어하고, 상기 제2 영역에서 상기 긴급상황에 대한 정보를 사용자에게 제공할 수 있다.

한편, 상기 프로세서는, 상기 획득된 소리에 대한 정보를 제1 신경망 모델에 입력하여 상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하고,상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보는, 상기 긴급상황과 관련된 소리가 실내에서 발생하는지 실외에서 발생하는지 여부에 대한 정보를 포함할 수 있다.한편, 상기 프로세서는, 상기 긴급상황과 관련된 소리가 실내에서 발생하는 것으로 식별되면, 기 저장된 맵에 포함된 복수의 영역 중 긴급상황과 관련된 소리가 발생한 제1 영역으로 이동하며, 상기 제1 영역의 공간 특성 및 주변 소리에 기초하여 상기 제1 영역 중 상기 긴급상황에 대한 정보를 획득하기 위한 위치로 이동하도록 상기 구동부를 제어할 수 있다.

한편, 상기 프로세서는, 상기 긴급상황과 관련된 소리가 실외에서 발생하는 것으로 식별되면, 저장된 맵 중 상기 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 위치하는 제1 영역으로 이동하도록 상기 구동부를 제어하고, 상기 제1 영역의 공간 특성 및 주변 소리에 기초하여 상기 제1 영역 중 상기 긴급상황에 대한 정보를 획득하기 위한 위치로 이동하도록 상기 구동부를 제어할 수 있다.

한편, 상기 프로세서는, 상기 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 대응하여 마이크의 방향을 제어할 수 있다.

한편, 상기 프로세서는, 상기 컨텍스트 정보를 학습된 제2 신경망 모델에 입력하여 사용자가 위치하는 영역에 대한 정보를 획득하고, 상기 획득된 사용자가 위치하는 영역으로 이동하도록 상기 구동부를 제어할 수 있다.

한편, 상기 프로세서는, 컨텍스트에 따른 가중치, 음성 인식 히스토리에 따른 가중치, 맵에 저장된 공간 정보에 따른 가중치 및 다른 제품으로부터 수신된 정보에 따른 가중치 중 적어도 하나를 이용하여 사용자가 위치하는 영역에 대한 정보를 획득하고, 상기 획득된 사용자가 위치하는 영역으로 이동하도록 상기 구동부를 제어할 수 있다.

한편, 상기 사용자가 위치하는 영역에 대한 정보는, 복수의 영역 별로 상기 사용자가 위치할 확률에 대한 정보를 포함하고, 상기 프로세서는, 상기 획득된 사용자가 위치할 확률이 높은 영역부터 낮은 영역으로 순차적으로 이동하는 이동경로를 생성하고, 상기 이동경로에 기초하여 제2 영역으로 이동하도록 상기 구동부를 제어할 수 있다.

한편, 상기 프로세서는, 상기 획득된 소리에 기 설정된 소음이 포함되었는지 여부에 기초하여 긴급상황이 발생하였는지 여부를 식별하고, 상기 기 설정된 소음은, 비명 소리, 사이렌 소리, 실내 방송 시작 소리 및 도움 요청 소리 중 적어도 하나를 포함할 수 있다.

한편, 상기 전자 장치는, 통신 인터페이스를 포함하고, 상기 프로세서는, 긴급상황이 발생한 것으로 식별되면, 외부 장치로 동작의 중단을 요청하는 신호를 전송할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 상기 전자 장치가 위치하는 주변의 소리를 획득하여, 긴급상황이 발생하였는지 여부를 식별하는 단계, 상기 긴급상황이 발생된 것으로 식별되면, 상기 획득된 소리에 대한 정보에 기초하여 상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하는 단계, 상기 위치에 대한 정보에 기초하여, 상기 긴급상황과 관련된 소리가 발생하는 위치에 대응되는 제1 영역을 판단하는 단계, 상기 판단된 제1 영역으로 이동하도록 구동부를 제어하는 단계, 상기 제1 영역에서, 상기 긴급상황에 대한 정보를 획득하는 단계, 컨텍스트(Context) 정보 및 사용자 히스토리(History) 정보에 기초하여, 상기 사용자의 위치에 대응되는 제2 영역을 판단하는 단계, 상기 판단된 제2 영역으로 이동하도록 상기 구동부를 제어하는 단계 및 상기 제2 영역에서 상기 긴급상황에 대한 정보를 사용자에게 제공하는 단계를 포함한다.

한편, 상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하는 단계는, 상기 획득된 소리에 대한 정보를 제1 신경망 모델에 입력하여 상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하는 단계를 포함하고, 상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보는, 상기 긴급상황과 관련된 소리가 실내에서 발생하는지 실외에서 발생하는지 여부에 대한 정보를 포함할 수 있다.한편, 상기 제1 영역으로 이동하는 단계는, 상기 긴급상황과 관련된 소리가 실내에서 발생하는 것으로 식별되면, 기 저장된 맵에 포함된 복수의 영역 중 긴급상황과 관련된 소리가 발생한 제1 영역으로 이동하며, 상기 제1 영역의 공간 특성 및 주변 소리에 기초하여 상기 제1 영역 중 상기 긴급상황에 대한 정보를 획득하기 위한 위치로 이동하는 단계를 포함할 수 있다.

한편, 상기 제1 영역으로 이동하는 단계는, 상기 긴급상황과 관련된 소리가 실외에서 발생하는 것으로 식별되면, 저장된 맵 중 상기 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 위치하는 제1 영역으로 이동하고, 상기 제1 영역의 공간 특성 및 주변 소리에 기초하여 상기 제1 영역 중 상기 긴급상황에 대한 정보를 획득하기 위한 위치로 이동하는 단계를 포함할 수 있다.

한편, 상기 긴급상황에 대한 정보를 획득하는 단계는, 상기 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 대응하여 마이크의 방향을 제어하는 단계를 포함할 수 있다.

한편, 상기 제2 영역으로 이동하는 단계는, 상기 컨텍스트 정보를 학습된 제2 신경망 모델에 입력하여 사용자가 위치하는 영역에 대한 정보를 획득하는 단계 및 상기 획득된 사용자가 위치하는 영역으로 이동하는 단계를 포함할 수 있다.

한편, 상기 제2 영역으로 이동하는 단계는, 컨텍스트에 따른 가중치, 음성 인식 히스토리에 따른 가중치, 맵에 저장된 공간 정보에 따른 가중치 및 다른 제품으로부터 수신된 정보에 따른 가중치 중 적어도 하나를 이용하여 사용자가 위치하는 영역에 대한 정보를 획득하는 단계 및 상기 획득된 사용자가 위치하는 영역으로 이동하는 단계를 포함할 수 있다.

한편, 상기 사용자가 위치하는 영역에 대한 정보는, 복수의 영역 별로 상기 사용자가 위치할 확률에 대한 정보를 포함하고, 상기 제2 영역으로 이동하는 단계는, 상기 획득된 사용자가 위치할 확률이 높은 영역부터 낮은 영역으로 순차적으로 이동하는 이동경로를 생성하는 단계 및 상기 이동경로에 기초하여 제2 영역으로 이동하는 단계를 포함할 수 있다.

한편, 상기 긴급상황이 발생하였는지 여부를 식별하는 단계는, 상기 획득된 소리에 기 설정된 소음이 포함되었는지 여부에 기초하여 긴급상황이 발생하였는지 여부를 식별하고, 상기 기 설정된 소음은, 비명 소리, 사이렌 소리, 실내 방송 시작 소리 및 도움 요청 소리 중 적어도 하나를 포함할 수 있다.

한편, 상기 전자 장치는, 통신 인터페이스를 포함하고, 긴급상황이 발생한 것으로 식별되면, 외부 장치로 동작의 중단을 요청하는 신호를 전송하는 단계를 더 포함할 수 있다.

집안 내부에서 다른 일에 몰두하거나 거동이 불편한 사용자에게 집안 외부 또는 내부의 긴급상황에 대한 정보를 제공하여 사용자는 긴급상황 발생 사실을 조기에 인지하고 적절한 대처를 취함으로써, 인명 피해 또는 재산 피해를 방지할 수 있다.

도 1은 본 개시의 일 실시 예에 따른, 전자 장치의 구성을 도시한 블록도이다.
도 2A는 본 개시의 일 실시 예에 따른, 전자 장치가 주변 소리를 획득하여 긴급상황이 발생하였는지 여부를 식별하는 동작을 설명하기 위한 도면이다.
도 2B는 본 개시의 또 다른 실시 예에 따른, 전자 장치가 주변 소리를 획득하여 긴급상황이 발생하였는지 여부를 식별하는 동작을 설명하기 위한 도면이다.
도 3은 본 개시의 다양한 실시 예에 따른, 제1 신경망 모델의 입력 값과 출력 값을 설명하기 위한 흐름도이다.
도 4는 본 개시의 다양한 실시 예에 따른, 제1 신경망 모델의 출력 값에 따른 전자 장치의 제1 영역으로의 이동을 설명하기 위한 흐름도이다.
도 5는 본 개시의 일 실시 예에 따른, 긴급상황과 관련된 소리가 실내에서 발생한 경우, 전자 장치가 제1 영역으로 이동하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른, 전자 장치가 제1 영역에서 긴급상황에 대한 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 또 다른 실시 예에 따른, 긴급상황과 관련된 소리가 실외에서 발생한 경우, 전자 장치가 제1 영역으로 이동하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 또 다른 실시 예에 따른, 전자 장치가 제1 영역에서 긴급상황에 대한 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 다양한 실시 예에 따른, 제2 신경망 모델의 입력 값과 출력 값을 설명하기 위한 흐름도이다.
도 10은 본 개시의 일 실시 예에 따른, 전자 장치가 컨텍스트 정보와 사용자 히스토리 정보에 기초하여 획득한 영역 별 사용자가 위치할 확률 값을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른, 전자 장치가 사용자가 위치할 확률이 높은 영역부터 낮은 영역으로 순차적으로 이동하는 이동경로를 설명하기 위한 도면이다.
도 12는 본 개시의 다양한 실시 예에 따른, 전자 장치가 사용자에게 긴급상황에 대한 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 다양한 실시 예에 따른, 전자 장치가 외부 장치와 상호 작용하는 동작을 설명하기 위한 도면이다.
도 14는 본 개시의 다양한 실시 예에 따른, 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 15는 본 개시의 다양한 실시 예에 따른, 전자 장치의 구성을 도시한 블록도이다.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.

덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.

대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.

한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.

이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 개시의 일 실시 예에 따른, 전자 장치의 구성을 도시한 블록도이다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 마이크(110), 메모리(120), 구동부(130), 통신 인터페이스(140), 출력부(150), 프로세서(160)를 포함할 수 있다.

전자 장치(100)는 특정 공간에 배치되며, 사용자에게 다양한 서비스를 제공할 수 있다. 구체적으로, 전자 장치(100)는 음성인식 로봇, 경로 안내 로봇, 서빙 로봇, 청소 로봇, 의료 로봇, 정보 제공 로봇일 수 있으나, 이에 한정되는 것은 아니고, 사용자의 생활을 보조하는 다양한 기능을 수행하는 전자 장치일 수 있다.

마이크(110)는 소리를 획득하여 전기 신호로 변환하는 모듈을 의미할 수 있으며, 콘덴서 마이크, 리본 마이크, 무빙코일 마이크, 압전소자 마이크, 카본 마이크, MEMS(Micro Electro Mechanical System) 마이크일 수 있다. 또한, 무지향성, 양지향성, 단일지향성, 서브 카디오이드(Sub Cardioid), 슈퍼 카디오이드(Super Cardioid), 하이퍼 카디오이드(Hyper Cardioid)의 방식으로 구현될 수 있다.

마이크(110)는 복수 개의 마이크(110-1. 110-2)로 이루어질 수 있으며, 마이크는 전자 장치(100)의 표면에 배치되거나, 돌출되어 배치될 수 있으며, 전자 장치(100)의 상부 또는 측면에 배치될 수 있다. 또한, 복수 개의 마이크(110-1, 110-2)는 서로 다른 복수의 방향을 향하도록 배치될 수 있다.

프로세서(160)는 마이크(110)를 통해 실시간으로 소리를 감지할 수 있으며, 획득된 소리에 대응되는 정보를 획득할 수 있다.

구체적으로, 프로세서(160)는, 마이크(110)를 통해 전자 장치(100)가 위치한 주변의 소리 및 긴급상황에 대한 소리를 감지하여 소리 정보를 획득할 수 있다. 마이크(110)를 통해 획득된 소리 정보에는 긴급상황에 대한 정보를 포함될 수 있다.

메모리(120)는, 각종 프로그램이나 데이터를 일시적 또는 비일시적으로 저장하고, 프로세서(160)의 호출에 따라서 저장된 정보를 프로세서(160)에 전달한다. 또한, 메모리(120)는, 프로세서(160)의 연산, 처리 또는 제어 동작 등에 필요한 각종 정보를 전자적 포맷으로 저장할 수 있다.

메모리(120)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있다. 롬은, 예를 들어, 통상적인 롬, 이피롬(EPROM), 이이피롬(EEPROM) 및/또는 마스크롬(MASK-ROM) 등을 포함할 수 있다. 램은 예를 들어, 디램(DRAM) 및/또는 에스램(SRAM) 등을 포함할 수 있다. 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 자기 드럼, 컴팩트 디스크(CD), 디브이디(DVD) 또는 레이저 디스크 등과 같은 광 기록 매체(optical media), 자기테이프, 광자기 디스크 및/또는 플로피 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.

본 개시의 다양한 실시 예에 따른 메모리(120)는 제1 신경망 모델(예: 긴급상황 발생 위치 판단 모델), 제2 신경망 모델(예: 사용자 위치 판단 모델), 컨텍스트 정보, 사용자 히스토리 정보, 공간에 대한 맵, 공간의 이름, 공간 내부에서의 이동 경로, 주변 소리에 대한 정보, 긴급상황과 관련된 소리에 대한 정보, 긴급상황에 대한 정보 등을 저장할 수 있고, 프로세서(160)의 호출에 따라서 저장된 정보를 프로세서(160)에 전달할 수 있다.

구동부(130)는 전자 장치(100)가 다양한 위치로 이동할 수 있도록 하는 모듈을 의미할 수 있다. 구동부(130)는 전자 장치(100)가 이동하기 위한 동력을 발생시키는 동력발생원(예: 화석연료, 전기)에 따라 가솔린 엔진(engine), 디젤 엔진, LPG(liquefied petroleum gas) 엔진, 전기 모터 등으로 이루어질 수 있다. 구동부(130)는 이동 방향을 조절하기 위한 조향 장치(예: 기계식 스티어링(manual steering), 유압식 스티어링(hydraulics steering), 전자식 스티어링(electronic control power steering; EPS) 등)을 포함할 수 있다.

구동부(130)는 전자 장치(100)을 이동시키는 유닛(예: 바퀴, 프로펠러 등)을 포함할 수 있다. 여기서, 구동부(130)는 전자 장치(100)의 주행 타입(예: 휠 타입, 보행 타입, 비행 타입 등)에 따라 변형되어 실시될 수 있다.

통신 인터페이스(140)는, 무선 통신 인터페이스, 유선 통신 인터페이스 또는 입력 인터페이스를 포함할 수 있다. 무선 통신 인터페이스는, 무선 통신 기술이나 이동 통신 기술을 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 이러한 무선 통신 기술로는, 예를 들어, 블루투스(Bluetooth), 저전력 블루투스(Bluetooth Low Energy), 캔(CAN) 통신, 와이 파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 초광대역 통신(UWB, ultrawide band), 지그비(zigbee), 적외선 통신(IrDA, infrared Data Association) 또는 엔에프씨(NFC, Near Field Communication) 등이 포함될 수 있으며, 이동 통신 기술 로는, 3GPP, 와이맥스(Wi-Max), LTE(Long Term Evolution), 5G 등이 포함될 수 있다. 무선 통신 인터페이스는 전자기파를 외부로 송신하거나 또는 외부에서 전달된 전자기파를 수신할 수 있는 안테나, 통신 칩 및 기판 등을 이용하여 구현될 수 있다.

유선 통신 인터페이스는 유선 통신 네트워크를 기반으로 각종 외부 장치와 통신을 수행할 수 있다. 여기서, 유선 통신 네트워크는, 예를 들어, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 이더넷(Ethernet) 케이블 등 물리적인 케이블을 이용하여 구현될 수 있다.

무선 통신 인터페이스 및 유선 통신 인터페이스는 실시 예에 따라 어느 하나가 생략될 수도 있다. 따라서, 전자 장치(100)는 무선 통신 인터페이스 만을 포함하거나 유선 통신 인터페이스 만을 포함할 수 있다. 뿐만 아니라, 전자 장치(100)는 무선 통신 인터페이스에 의한 무선 접속과 유선 통신 인터페이스에 의한 유선 접속을 모두 지원하는 통합된 통신 인터페이스를 구비할 수도 있다.

전자 장치(100)는 한 가지 방식의 통신 연결을 수행하는 한 개의 통신 인터페이스(140)를 포함하는 경우에 국한되지 않고, 복수의 통신 인터페이스(140)를 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 프로세서(160)는 통신 인터페이스(140)를 통해 실외 또는 실내에 있는 다양한 외부 전자 장치 또는 서버와 통신을 수행할 수 있다.

구체적으로, 프로세서(160)는 통신 인터페이스(140)를 통해 TV, 에어컨, 세탁기, 냉장고, 건조기, 전자레인지, 가스레인지, 인덕터, 보일러, 커피 포트, 드라이기, 전등, 프로젝터, 스피커, 컴퓨터, 노트북, 태플릿, 스마트 폰, 유선 전화기 등과 통신 연결을 수행하여 긴급상황에 대한 정보, 전자 장치(100)의 이동경로에 대한 정보 또는 외부 전자 장치를 제어하는 신호를 전송하거나, 외부 장치로부터 뉴스 정보, 긴급상황에 대한 정보, 외부 장치의 동작과 관련된 다양한 신호 등을 수신할 수 있다.

또한, 프로세서(160)는 통신 인터페이스(140)를 통해 서버와 통신 연결을 수행하여 긴급상황에 대한 정보, 전자 장치(100)의 이동경로에 대한 정보 또는 영역 별 사용자가 위치할 확률에 대한 정보를 전송하고, 긴급상황과 관련된 음성 정보 또는 긴급상황에 대한 사용자 매뉴얼을 수신할 수 있다.

출력부(150)는, 스피커(150-1), 디스플레이(150-2), 진동발생부(150-3) 등을 포함할 수 있으며, 이에 국한되는 것은 아니고, 사용자의 오감에 의해 감지될 수 있는 형태로 정보를 전달하는 다양한 실시 예로 이루어질 수 있다.

스피커(150-1)는, 고음역대 소리 재생을 위한 트위터, 중음역대 소리 재생을 위한 미드레인지, 저음역대 소리 재생을 위한 우퍼, 극저음역대 소리 재생을 위한 서브우퍼, 공진을 제어하기 위한 인클로저, 스피커에 입력되는 전기 신호 주파수를 대역 별로 나누는 크로스오버 네트워크 등으로 이루어질 수 있다.

스피커(150-1)는, 음향 신호를 전자 장치(100)의 외부로 출력할 수 있다. 스피커(150-1)는 멀티미디어 재생, 녹음 재생, 각종 알림음, 음성 메시지 등을 출력할 수 있다. 전자 장치(100)는 스피커(150-1)와 같은 오디오 출력 장치를 포함할 수 있으나, 오디오 출력 단자와 같은 출력 장치를 포함할 수 있다. 특히, 스피커(150-1)는 획득한 정보, 획득한 정보에 기초하여 가공·생산한 정보, 사용자 음성에 대한 응답 결과 또는 동작 결과 등을 음성 형태로 제공할 수 있다.

구체적으로, 본 개시의 다양한 실시 예에 따르면, 프로세서(160) 스피커(150-1)를 통해 긴급상황에 대한 정보, 긴급상황에 따른 사용자 행동 매뉴얼에 관한 정보, 대피 경로에 대한 정보를 음성 형태로 제공하거나 프로세서(160)가 식별한 긴급상황의 종류 및 위험 정도에 따라 음역대를 달리하는 알림음, 경보음 등을 출력할 수 있다.

디스플레이(150-2)는, LCD(Liquid Crystal Display) 패널, OLED(Organic Light Emitting Diodes) 패널, AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon), QLED(Quantum dot Light-Emitting Diode) 및 DLP(Digital Light Processing), PDP(Plasma Display Panel) 패널, 무기 LED 패널, 마이크로 LED 패널 등 다양한 종류의 디스플레이 패널을 포함할 수 있으나, 이에 한정되는 것은 아니다.

한편, 디스플레이(150-2)는 터치 패널과 함께 터치스크린을 구성할 수도 있으며, 플렉서블(flexible) 패널로 이루어질 수도 있다.

본 개시의 다양한 실시 예에 따르면, 프로세서(160)는 디스플레이(150-2)를 통해 긴급상황에 대한 정보, 긴급상황에 따른 사용자 행동 매뉴얼에 관한 정보, 대피 경로에 대한 정보를 시각적 정보 형태로 출력할 수 있다. 또한, 프로세서(160)가 식별한 긴급상황의 종류, 위험 정도에 따라 빨강, 주황, 노랑, 초록, 파랑 등의 색으로 구성된 시각적 정보를 출력할 수 있다.

진동발생부(150-3)는, 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 진동발생부(150-3)는, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.

본 개시의 다양한 실시 예에 따르면, 프로세서(160)는 긴급상황의 위험 정도에 따라 진동발생부(150-3)를 통해 진동 세기를 달리하여 진동을 출력할 수 있다. 구체적으로, 더 높은 위험도의 긴급상황으로 식별되면 강한 진동을 출력하고, 비교적 낮은 위험도의 긴급상황으로 식별되면 약한 진동을 출력할 수 있다.

프로세서(160)는, 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(160)는 상술한 바와 메모리(120)를 포함하는 전자 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(120)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 특히, 프로세서(160)는 하나의 프로세서(160)로 구현될 수 있을 뿐만 아니라 복수의 프로세서(160)로 구현될 수 있다.

프로세서(160)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(160)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다.

한편, 본 개시에서 프로세서(160)는 디지털 신호를 처리하는 중앙처리장치 (central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(160)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형 태로 구현될 수도 있다. 프로세서(160)는 메모리(120)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다. 뿐만 아니라, 프로세서(160)는 인공지능 기능을 수행하기 위하여, 별도의 AI 전용 프로세서인 GPU(graphics-processing unit), NPU(Neural Processing Unit), VPU(Visual Processing UniT) 중 적어도 하나를 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 프로세서(160)는, 전자 장치(100)가 위치하는 주변의 소리를 획득하여, 긴급상황이 발생하였는지 여부를 식별할 수 있다. 긴급상황이 발생된 것으로 식별되면, 프로세서(160)는 획득된 소리에 대한 정보를 제1 신경망 모델(예: 긴급상황 발생 위치 판단 모델)에 입력하여 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하고, 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보에 기초하여, 긴급상황과 관련된 소리가 발생하는 위치에 대응되는 제1 영역으로 이동하도록 구동부(130)를 제어할 수 있다. 제1 영역에서, 프로세서(160)는 긴급상황에 대한 정보를 획득하고, 컨텍스트(Context) 정보 및 사용자 히스토리(History) 정보에 기초하여, 사용자의 위치에 대응되는 제2 영역으로 이동하도록 구동부(130)를 제어하고, 제2 영역에서 긴급상황에 대한 정보를 사용자에게 제공하도록 전자 장치(100)를 제어할 수 있다.

구체적인 프로세서(160)의 전자 장치(100)의 제어 방법은 도 2 내지 13과 함께 구체적으로 설명한다.

도 2A 및 2B는 본 개시의 다양한 예에 따른, 전자 장치가 주변 소리를 획득하여 긴급상황이 발생하였는지 여부를 식별하는 동작을 설명하기 위한 도면이다.

도 2A 및 2B를 참조하면, 전자 장치(100)의 프로세서(160)는 마이크(110)를 통해 전자 장치가 위치하는 주변의 소리를 감지하여 주변 소리에 포함된 정보를 획득할 수 있다. 주변 소리는 TV소리, 세탁기 소리, 건조기 소리, 냉장고 소리, 사람의 대화 소리, 음악 소리 등이 있으며, 긴급상황과 관련된 소리일 수 있다.

프로세서(160)는 전자 장치 주변의 소리를 신경망 모델(예: 긴급상황 판단 모델)에 입력하여 학습시킬 수 있고, 긴급상황이 발생하였는지 여부를 판단할 수 있다.

긴급상황과 관련된 소리는 구체적으로, 사람 비명 소리(예: 불이야!, 도둑이야!, 전쟁이야!, 지진이다! 큰일났다! 등), 사이렌 소리(예: 삐용삐용 등), 실내 방송 시작음(예: 안내 말씀 드립니다, 딩동댕동 등), 도움 요청 소리(예: 살려주세요!, 도와주세요!, 누구 없어요! 등), 현관문 또는 창문이 부셔지는 소리, 폭발 소리 중 적어도 하나를 포함할 수 있다.

프로세서(160)가 마이크(110)를 통해 주변의 소리를 감지하여 소리에 대한 정보를 획득할 수 있다. 프로세서(160)는 메모리(120) 또는 외부 서버(미도시)에 저장된 긴급상황과 관련된 소리 정보에 대한 데이터 베이스에 기초하여 주변 소리가 긴급상황과 관련된 소리에 대한 정보와 일치하는지 식별할 수 있다. 프로세서(160)는 획득된 주변 소리와 긴급상황과 관련된 소리에 대한 정보가 일치한다면, 긴급상황이 발생한 것으로 식별할 수 있다.

프로세서(160)는 획득한 소리 정보에 기초하여 긴급상황이 발생한 것으로 식별되면, 노말 모드에서 긴급상황 모드로 전환할 수 있다. 프로세서(160)는 긴급상황 모드에서 긴급상황과 관련된 소리를 제1 신경망 모델에 입력하여 긴급상황과 관련된 소리가 발생한 위치에 대한 확률을 획득할 수 있다.

도 3은 본 개시의 다양한 실시 예에 따른, 제1 신경망 모델의 입력 값과 출력 값을 설명하기 위한 흐름도이다.

신경망 모델은 학습 알고리즘을 포함할 수 있다. 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다.

프로세서(160)는 주변 소리(410)를 감지하여 획득한 소리 정보를 제1 신경망 모델(420)에 입력할 수 있다.

제1 신경망 모델(420)에 주변 소리(410)를 입력하면, 제1 신경망 모델(420)은 출력 값으로 긴급상황과 관련된 소리가 발생한 위치에 대한 정보를 출력할 수 있다.

예를 들어, 프로세서(160)는 제1 신경망 모델의 출력 값으로부터 긴급상황과 관련된 소리가 발생한 위치가 실외일 확률(430)과 실내일 확률(440)을 획득할 수 있고, 복수의 확률 중 가장 큰 값을 바탕으로, 긴급상황과 관련된 소리가 발생한 위치에 대한 정보를 획득할 수 있다.

다만, 이에 국한되지 않고 프로세서(160)는 제1 신경망 모델의 출력 값에 기초하여 복수의 영역 별 긴급상황과 관련된 소리가 발생한 확률을 획득할 수 있다.

인공지능 모델은 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 또한, 인공 지능 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 인공 지능 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있다. 인공 지능 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 인공 지능 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 인공 지능 모델로서 사용될 수 있으나, 이에 한정되지 않는다.

구체적으로, 신경망 모델은 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.

긴급상황과 관련된 소리가 발생한 위치에 대한 출력 값은 이에 국한되지 않고, 건물의 벽 공간 내부에서 소리가 발생한 것을 의미하는 정보를 출력할 수 있다.

도 4는 본 개시의 다양한 실시 예에 따른, 제1 신경망 모델의 출력 값에 따른 전자 장치의 제1 영역으로의 이동을 설명하기 위한 흐름도이다.

주변 소리(410)를 제1 신경망 모델(420)에 입력하면(S310), 제1 신경망 모델(420)의 출력 결과물에 따라 긴급상황과 관련된 소리가 실내에서 발생한 것인지 여부를 식별할 수 있다(S320).

긴급상황과 관련된 소리가 실내에서 발생한 것이라면(S320-Y), 프로세서(160)는 메모리(120) 또는 외부 서버(미도시)에 기 저장된 맵에 포함된 복수의 영역 중 긴급 상황과 관련된 소리가 발생한 제1 영역으로 이동할 수 있다(S330). 제1 영역은 거실, 부엌, 방, 화장실, 현관, 베란다 등을 포함할 수 있다. 구체적으로, 긴급상황과 관련된 소리가 실내 방송 시작음으로 식별된 경우, 프로세서(160)는 전자 장치(100)가 방송 스피커가 위치한 영역으로 이동하도록 구동부(130)를 제어할 수 있다.

긴급상황과 관련된 소리가 실내에서 발생한 것이 아니라면(S320-N), 프로세서(160)는 긴급상황과 관련된 소리가 가장 크게 감지되는 방향에 위치하는 제1 영역으로 이동할 수 있다(S340). 이 때, 주변 잡음 대비 긴급상황과 관련된 소리가 가장 선명하게 감지되는 방향에 위치하는 제1 영역으로 이동할 수 있다. 예를 들어, 바꾸자 긴급상황과 관련된 소리가 거실 베란다 바깥 방향에서 발생하는 것으로 식별되면, 프로세서(160)는 전자 장치(100)가 거실 베란다로 이동하도록 구동부(130)를 제어할 수 있다.

프로세서(160)는 제1 영역의 공간 특성 및 주변 소리에 기초하여 긴급상황에 대한 정보를 획득하기 위한 위치로 이동할 수 있다(S350). 구체적으로, 프로세서(160)는 전자 장치(100)가 제1 영역 중 장애물이 없고 개방되어 소리가 잘 감지될 수 있는 방향으로 이동하도록 구동부(130)를 제어할 수 있다. 제1 영역이 베란다인 경우, 프로세서(160)는 전자 장치(100)가 베란다에서 창문이 열려 있는 쪽에 근접한 위치로 이동하도록 구동부(130)를 제어할 수 있다. 또한 프로세서(160)는 전자 장치(100)가 긴급상황과 관련된 소리와 무관한 소음을 발생시키는 소음원에서 멀어지는 방향에 대응되는 위치로 이동하도록 구동부(130)를 제어할 수 있다.

도 5는 본 개시의 일 실시 예에 따른, 긴급상황과 관련된 소리가 실내에서 발생한 경우, 전자 장치가 제1 영역으로 이동하는 동작을 설명하기 위한 도면이다.

도 5를 참조하면, 긴급상황과 관련된 소리가 실내에서 발생한 실내 방송 시작음으로 식별되면, 프로세서(160)는 메모리(120) 또는 외부 서버(미도시)에 저장된 맵(500)에 포함된 복수의 영역 중 실내 방송 시작음이 발생한 제1 영역인 방송 스피커가 위치한 영역(560)으로 이동하도록 구동부(130)를 제어할 수 있다.

메모리(120) 또는 외부 서버(미도시)에 저장된 맵(500)은 현관(510), 거실(520), 부엌(530), 방(540-1, 540-2, 540-3), 베란다(550-1, 550-2, 550-3) 등을 포함하는 복수의 영역으로 구성될 수 있다. 하지만 상술한 예에 국한 되는 것은 아니며, 다용도실, 다락, 화장실, 세탁실 등을 더 포함할 수 있다. 또한, 각 영역의 배치 및 형상은 도 5에 도시된 맵(500)의 형태에 국한되지 않고 다양한 영역 배치 및 형상으로 이루어질 수 있다.

도 6은 본 개시의 일 실시 예에 따른, 전자 장치가 제1 영역에서 긴급상황에 대한 정보를 획득하는 동작을 설명하기 위한 도면이다.

전자 장치(100)는 제1 영역인 방송 스피커가 위치한 영역(560)으로 이동한 뒤, 긴급상황과 관련된 실내 방송 소리의 크기가 가장 크게 감지되는 방향으로 이동할 수 있고, 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 대응하여 마이크(110)의 방향을 제어할 수 있다. 이 때, 주변 잡음 대비 긴급상황과 관련된 소리가 가장 선명하게 감지되는 방향으로 이동할 수 있고, 주변 잡음 대비 긴급상황과 관련된 소리가 가장 선명하게 감지되는 방향에 대응하여 마이크(110)의 방향을 제어할 수 있다. 예를 들어, 실내 방송 소리가 위쪽에서 감지되면 마이크(110)의 방향을 위쪽으로 향하도록 마이크(110)를 제어할 수 있다.

이 때, 프로세서(160)는 마이크(110)의 방향을 제어하기 위해 전자 장치(100)를 회전시키거나 기울일 수 있다. 프로세서(160)는 마이크(110)가 긴급상황과 관련된 소리를 더 잘 감지할 수 있도록 마이크(110)를 전자 장치(100)의 몸체에서 돌출시킬 수 있다.

도 6을 참조하면, 프로세서(160)는 마이크(110)를 통해 실내 방송 소리를 획득하고, 음성인식 모듈을 통해 텍스트 형태로 변환된 비명 소리 내용에 대한 정보를 획득할 수 있다. 구체적으로 프로세서(160)는 마이크(110)를 통해 "안내 말씀드립니다. 지진이 발생하여 건물이 흔들리고 있습니다. 대피하시기 바랍니다."라는 실내 방송 소리를 획득하고, STT(Speech to Text) 모듈을 통해"지진 발생", "건물 흔들림", "긴급 대피"의 내용으로 이루어진 긴급상황에 대한 정보를 획득할 수 있다.

프로세서(160)는 메모리(120) 또는 외부 서버(미도시)에 저장된 데이터 베이스에 기초하여 실내 방송 내용에 대응되는 긴급상황의 내용을 식별하고 긴급상황에 대한 정보를 획득할 수 있다. 또한, 프로세서(160)는 메모리(120)에 저장되어 있거나 외부 서버(미도시)에 저장된 긴급상황에 대응되는 사용자 매뉴얼에 대한 정보를 통신 인터페이스(140)를 통해 수신할 수 있다.

도 7은 본 개시의 또 다른 실시 예에 따른, 긴급상황과 관련된 소리가 실외에서 발생한 경우, 전자 장치가 제1 영역으로 이동하는 동작을 설명하기 위한 도면이다.

긴급상황과 관련된 소리가 실외에서 발생한 비명 소리인 것으로 식별되면, 프로세서(160)는 메모리(120) 또는 외부 서버(미도시)에 저장된 맵(500)에 포함된 복수의 영역 중 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향 또는 주변 잡음 대비 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 위치하는 제1 영역으로 이동하도록 구동부(130)를 제어할 수 있으며, 제1 영역의 공간 특성 및 주변 소리에 기초하여 제1 영역 중 긴급상황에 대한 정보를 획득하기 위한 위치하도록 구동부(130)를 제어할 수 있다.

도 7을 참조하면, 프로세서(160)는 현관(510), 거실(520), 부엌(530), 방(540-1, 540-2, 540-3), 베란다(550-1, 550-2, 550-3) 등을 포함하는 복수의 영역 중 "불이야!"라는 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 위치하는 베란다(550-1)로 이동하도록 구동부(130)를 제어할 수 있으며, 베란다에서 "불이야!"라는 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 열려 있는 창문 방향으로 이동하도록 구동부(130)를 제어할 수 있다.

도 8은 본 개시의 또 다른 실시 예에 따른, 전자 장치가 제1 영역에서 긴급상황에 대한 정보를 획득하는 동작을 설명하기 위한 도면이다.

전자 장치(100)는 제1 영역인 베란다(550-1)로 이동한 뒤, 긴급상황과 관련된 비명 소리의 크기가 가장 크게 감지되는 방향으로 이동할 수 있고, 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 대응하여 마이크(110)의 방향을 제어할 수 있다. 이 때, 주변 잡음 대비 긴급상황과 관련된 소리가 가장 선명하게 감지되는 방향으로 이동할 수 있고, 주변 잡음 대비 긴급상황과 관련된 소리가 가장 선명하게 감지되는 방향에 대응하여 마이크(110)의 방향을 제어할 수 있다. 예를 들어, 비명 소리가 감지되는 창문이 열려 있는 방향으로 마이크(110)가 향하도록 마이크(110)를 제어할 수 있다.

도 8을 참조하면, 프로세서(160)는 마이크(110)를 통해 비명 소리를 획득하고, 음성인식 모듈을 통해 텍스트 형태로 변환된 비명 소리 내용에 대한 정보를 획득할 수 있다. 구체적으로 프로세서(160)는 마이크(110)를 통해 "삐용삐용! 불이야! 건물 1층에 불이났어요!"라는 비명 소리를 획득하고, STT(Speech to Text) 모듈을 통해"건물 1층에 화재 발생", "소방차 출동"의 내용으로 이루어진 긴급상황에 대한 정보를 획득할 수 있다.

도 9는 본 개시의 다양한 실시 예에 따른, 제2 신경망 모델의 입력 값과 출력 값을 설명하기 위한 흐름도이다.

프로세서(160)는 긴급상황과 관련된 소리를 감지하여 긴급상황에 대한 정보를 획득한 뒤, 획득한 긴급상황에 대한 정보를 사용자에게 제공하기 위해 사용자의 위치를 파악하여 이동경로를 생성하여 사용자가 위치한 제2 영역으로 이동하도록 구동부(130)를 제어할 수 있다.

여기서, 사용자의 위치를 파악하기 위해 프로세서(160)는 컨텍스트 정보 및 사용자 히스토리 정보(910)를 제2 신경망 모델(예: 사용자 위치 판단 모델)(920)에 입력하여 사용자가 위치할 수 있는 복수의 영역에 대한 정보(930), 사용자가 각 영역에 위치할 확률에 대한 정보를 획득할 수 있다.

컨텍스트 정보는 현재 날짜, 현재 시간, 현재 계절, 공간의 이름, 외부 전자 장치의 작동 여부 등에 대한 정보를 포함할 수 있다.

사용자 히스토리 정보는 사용자가 전자 장치(100)의 음성인식 기능을 사용한 히스토리에 기초하거나, 전자 장치(100)가 작업을 수행한 히스토리에 대한 정보일 수 있다.

제2 신경망 모델(920)은 전자 장치(100)의 메모리(120)의 저장된 것이거나 외부 서버(미도시)에 저장된 것일 수 있다.

프로세서(160)는 제2 신경망 모델(920)의 출력 값에 기초하여, 사용자가 현재 위치할 확률이 가장 높은 제2 영역으로 이동할 수 있다.

도 10은 본 개시의 일 실시 예에 따른, 전자 장치가 컨텍스트 정보와 사용자 히스토리 정보에 기초하여 획득한 영역 별 사용자가 위치할 확률 값을 설명하기 위한 도면이다.

프로세서(160)는 컨텍스트 정보 또는 사용자 히스토리 정보에 기초하여 메모리(120) 또는 외부 서버(미도시)에 저장된 맵에 포함된 복수의 영역 별로 사용자가 위치할 확률에 대한 정보를 획득할 수 있다.

도 10을 참조하면, 사용자는 평소 방 1에서 전자 장치(100)의 음성 인식 기능을 많이 활용한다는 사용자 히스토리 정보 및 일요일 오후 11시라는 컨텍스트 정보에 기초하여 프로세서(160)는 사용자가 방 1(540-1)에 있을 확률을 75%로 가장 높게 획득될 수 있고, 거실(520)과 방 2(540-2)에 사용자가 위치할 확률을 10%로 상대적으로 낮게 획득할 수 있다.

프로세서(160)는 이와 같은 복수의 영역 별 사용자가 위치할 확률은 컨텍스트 정보 및 사용자 히스토리 정보(910)를 제2 신경망 모델(920)에 입력하여 출력 값으로 획득할 수 있다.

하지만, 이에 국한되지 않고, 컨텍스트에 따른 가중치, 음성 인식 히스토리에 따른 가중치, 맵에 저장된 공간 정보에 따른 가중치, 외부 장치로부터 수신된 정보에 따른 가중치 중 적어도 하나를 이용하여 획득할 수 있다.

구체적으로, 현재 시간이 오전 1시에서 오전 6시 사이라면, 거실(520)이나 부엌(520)보다 방(540-1, 540-2, 540-3)에 높은 가중치가 부여될 수 있고, 현재 시간이 오후 6시에서 오후 7시 사이라면 부엌(520)에 높은 가중치가 부여될 수 있다.

또한, 사용자가 전자 장치(100)의 음성 인식 기능을 활용한 히스토리가 많은 영역일수록 높은 가중치가 부여될 수 있다.

또한, 장애물이나 외부 장치의 개체 수가 많은 영역일수록 더 높은 가중치가 부여될 수 있다.

프로세서(160)는 각 영역의 가중치를 모두 합산한 값을 각 영역의 점수로 저장하여, 영역 별 점수 크기에 대한 정보를 획득할 수 있다. 프로세서(160)는 영역 별 점수의 크기가 큰 공간일수록 사용자가 위치할 확률이 높은 것으로 식별할 수 있다.

도 11은 본 개시의 일 실시 예에 따른, 전자 장치가 사용자가 위치할 확률이 높은 영역부터 낮은 영역으로 순차적으로 이동하는 이동경로를 설명하기 위한 도면이다.

본 개시의 일 실시 예에 따르면, 프로세서(160)는 메모리(120) 또는 외부 서버(미도시)에 저장된 맵에 포함된 복수의 영역 별로 사용자가 위치할 확률에 대한 정보 또는 가중치에 따른 점수 크기에 대한 정보를 획득할 수 있고, 획득된 확률 또는 점수가 높은 영역부터 낮은 영역으로 순차적으로 이동하는 이동 경로를 생성할 수 있고, 생성된 이동경로에 기초하여 사용자가 위치한 제2 영역으로 이동하도록 구동부(130)를 제어할 수 있다.

도 11을 참조하면, 프로세서(160)는 제1 영역인 베란다(550-1)에서 긴급상황에 대한 정보를 획득한 뒤, 컨텍스트 정보 및 사용자 히스토리 정보에 기초하여 각 영역 별 사용자가 위치할 확률 또는 가중치에 기반한 점수에 대한 정보를 획득할 수 있다. 프로세서(160)는 획득된 확률 또는 점수가 가장 높은 방 1(540-1)로 먼저 이동하고, 획득된 확률 또는 점수가 두번째로 높은 거실(520)로 이동하고, 획득된 확률 또는 점수가 세번째로 높은 방 2(540-2)로 순차적으로 이동하는 이동경로를 생성할 수 있다.

이 때, 프로세서(160)는 각 영역 별로 획득된 사용자가 위치할 확률 또는 점수의 크기 차이가 크지 않은 경우, 전자 장치(100)의 현재 위치에서 더 가까운 영역으로 먼저 이동하도록 구동부(130)를 제어할 수 있다.

예를 들어, 도 11을 참조하면, 프로세서(160)는 사용자가 위치할 확률 또는 점수가 가장 높게 획득된 방 1(540-1)과 사용자가 위치할 확률 또는 점수가 두번째로 높게 획득된 거실(520)의 확률 또는 점수의 크기 차이가 크지 않은 경우, 베란다(550-1)에 위치한 전자 장치(100)와 보다 가까운 거리에 있는 거실(520)로 먼저 이동하도록 구동부(130)를 제어할 수 있다.

도 12는 본 개시의 다양한 실시 예에 따른, 전자 장치가 사용자에게 긴급상황에 대한 정보를 제공하는 동작을 설명하기 위한 도면이다.

프로세서(160)는 제2 영역으로 이동한 뒤, 사용자에게 긴급상황에 대한 정보를 제공할 수 있다.

이 때, 프로세서(160)는 출력부(150)를 통해 긴급상황에 대한 정보를 청각적 형태, 시각적 형태, 후각적 형태, 촉각적 형태 등으로 출력할 수 있다.

구체적으로, 프로세서(160)는 스피커(150-1)를 통해 "건물 1층에 불이 났어요! 대피하세요!"라는 음성을 출력하거나 사이렌 소리, 알람 소리 등을 출력하여 사용자에게 경고 메시지를 제공할 수 있다.

또한, 프로세서(160)는 디스플레이(150-2)를 통해 긴급상황에 대한 정보를 시각적 형태로 출력할 수 있다. 예를 들면, 프로세서(160)는 디스플레이(150-2)를 통해 경고 메시지를 표시할 수 있다. 프로세서(160)는 디스플레이(150-20를 통해 긴급상황의 위험도를 식별하여 위험한 정도에 따라 빨강, 주황, 노랑, 초록, 파랑 등의 색으로 경고의 메시지를 표시하거나, 긴급상황에 대한 사용자 매뉴얼을 표시하거나, 대피 경로를 표시할 수 있다.

프로세서(160)는 진동발생부(150-2)를 통해 진동을 발생시켜 사용자에게 긴급상황이 발생에 대한 알림을 제공할 수 있다.

도 13은 본 개시의 다양한 실시 예에 따른, 전자 장치가 외부 장치와 상호 작용하는 동작을 설명하기 위한 도면이다.

전자 장치(100)의 프로세서(160)는 외부 전자 장치(1310, 1320, 1330, 1340)와 통신 연결을 수행하여, 외부 장치(1310, 1320, 1330, 1340)의 동작 여부를 식별할 수 있고, 긴급상황이 발생한 것으로 식별되면 외부 장치(1310, 1320, 1330, 1340)로 동작의 중단을 요청하는 신호를 전송할 수 있다.

도 14는 본 개시의 다양한 실시 예에 따른, 전자 장치의 동작을 설명하기 위한 흐름도이다.

전자 장치(100)는 전자 장치(100)가 위치하는 주변의 소리를 획득하여, 긴급상황이 발생하였는지 여부를 식별할 수 있다(S1410). 사람 비명 소리, 실내 방송 시작음, 사이렌 소리, 도움 요청 소리, 폭발음을 감지하여 긴급상황이 발생한 것인지 여부를 식별할 수 있다.

전자 장치(100)는 긴급상황이 발생된 것으로 식별되면, 획득된 소리에 대한 정보에 기초하여 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득할 수 있다(S1420). 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보는 실내와 실외로 구분되어 출력될 수 있다. 이 때, 획득된 소리를 제1 신경망 모델에 입력하여 긴급상황과 관련된 소리가 실내에서 발생할 확률에 대한 정보와 실외에서 발생할 확률에 대한 정보를 획득할 수 있고, 긴급상황과 관련된 소리가 실내에서 발생하는지 실외에서 발생하는지 여부를 판단할 수 있다.

전자 장치(100)는 위치에 대한 정보에 기초하여, 긴급상황과 관련된 소리가 발생하는 위치에 대응되는 제1 영역을 판단할 수 있다(S1430). 전자 장치(100)는 판단된 제1 영역으로 이동하도록 구동부를 제어할 수 있다(S1440). 구체적으로, 긴급상황과 관련된 소리가 실내에서 발생한 것으로 식별되면, 기 저장된 맵에 포함된 복수의 영역 중 긴급상황과 관련된 소리가 발생한 제1 영역으로 이동할 수 있다. 긴급상황과 관련된 소리가 실외에서 발생한 것으로 식별되면, 저장된 맵 중 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 위치하는 제1 영역으로 이동할 수 있다. 이 때, 주변 잡음 대비 긴급상황과 관련된 소리가 가장 선명하게 감지되는 방향에 위치하는 제1 영역으로 이동할 수 있다. 전자 장치(100)는 제1 영역의 공간 특성 및 주변 소리에 기초하여 제1 영역 중 긴급상황에 대한 정보를 획득하기 위한 위치로 이동할 수 있다.

전자 장치(100)는 제1 영역에서 긴급상황에 대한 정보를 획득할 수 있다(S1450). 긴급 상황에 대한 정보에는 화재 발생 여부, 지진 발생 여부, 도둑 침임 여부에 대한 정보가 포함될 수 있다.

전자 장치(100)는 컨텍스트 정보 및 사용자 히스토리 정보에 기초하여, 사용자 위치에 대응되는 제2 영역을 판단할 수 있다(S1460). 전자 장치(100)는 판단된 제2 영역으로 이동하도록 구동부를 제어할 수 있다(S1470). 컨텍스트 정보는 현재 날짜, 현재 시간, 현재 계절에 대한 정보를 포함할 수 있고, 사용자 히스토리 정보는 사용자의 음성인식 히스토리, 기 저장된 맵 상에서 각 영역에 대한 정보 등이 포함될 수 있으며, 이에 국한되지 않고 다른 외부 장치의 작동 정보 등이 포함될 수 있다.

전자 장치(100)는 제2 영역에서 긴급상황에 대한 정보를 사용자에게 제공할 수 있다(S1480). 사용자에게 제공되는 정보는 시각 정보, 청각 정보, 후각 정보, 촉각 정보를 포함할 수 있다.

도 15는 본 개시의 또 다른 실시 예에 따른, 전자 장치의 구성을 도시한 블록도이다.

전자 장치(100)의 마이크(110), 메모리(120), 구동부(130), 통신 인터페이스(140), 출력부(150), 프로세서(160)의 구성은 도 1과 함께 전술하였으므로, 추가적인 설명은 생략한다.

도 15를 참조하면, 본 발명의 또 다른 실시 예에 따른 전자 장치(100)는 소리, 진동, 빛, 온도 등을 감지하기 위한 센서(1510), 이미지를 획득하기 위한 카메라(1520), 사용자의 명령을 입력 받거나 사용자에게 정보를 제공하기 위한 사용자 인터페이스(1530)를 더 포함할 수 있다.

센서(1510)는, 전자 장치(100)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서(1510)는, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.

센서(1510)는 전자 장치(100)와 관련된 다양한 정보를 획득할 수 있다. 특히, 센서(1510)는 전자 장치(100)의 위치 정보를 획득할 수 있는 GPS를 포함할 수 있으며, 전자 장치(100)를 사용하는 사용자의 생체 정보를 획득하기 위한 생체 센서(예로, 심박수 센서, PPG 센서 등), 전자 장치(100)의 움직임을 감지하기 위한 움직임 센서 등과 같은 다양한 센서를 포함할 수 있다.

프로세서(160)는 온도센서를 통해 온도 정보를 획득하여 실내에서 화재가 발생한 것으로 식별할 수 있고, 진동센서를 통해 진동을 감지하여 지진이 발생한 것을 식별할 수 있고, 조도센서를 통해 정전이 발생한 것을 식별할 수 있다.

또한, 프로세서(160)는 IR 센서, 근접 센서를 통해 주변 장애물과의 거리, 주변 장애물의 방향을 식별할 수 있다. 프로세서(160)는 센서를 통해 주변 장애물을 식별하고 전자 장치(100)가 장애물이 없는 위치로 이동하도록 구동부(130)를 제어할 수 있다.

카메라(1520)는, 하나 이상의 렌즈, 플래시, 이미지 센서, 이미지 시그널 프로세서를 포함할 수 있다.

프로세서(160)는 카메라(1520)를 통해 주변 공간, 주변 영역, 지형 지물, 장애물 등에 대한 이미지를 획득할 수 있고, 획득된 이미지를 바탕으로 이동하고자 하는 위치로 이동하도록 구동부(130)를 제어하거나, 장애물을 회피하여 이동하도록 구동부(130)를 제어할 수 있다.

또한, 프로세서(160)는 카메라(1520)를 통해 획득한 이미지를 바탕으로 화재, 폭발 등 실내에서 발생한 긴급상황에 대한 정보를 획득할 수 있다.

사용자 인터페이스(1530)는, 버튼(button), 레버(lever), 스위치(switch), 터치(Touch)형 인터페이스 등을 포함할 수 있고, 터치형 인터페이스는 디스플레이(150-2) 상에서 사용자의 터치로 입력을 받는 방식으로 구현될 수 있다. 하지만 이에 국한되지 않고 사용자 명령을 입력 받을 수 있는 다양한 방식의 구성을 포함할 수 있다.

프로세서(160)는 사용자 인터페이스(1530)를 통해 사용자 명령을 입력 받을 수 있다. 구체적으로, 프로세서(160)는 사용자 인터페이스를 통해 다른 외부 장치에 대한 신호 전송을 위한 명령을 입력 받을 수 있고, 긴급상황에 대한 신고 전화에 대한 명령을 입력 받을 수 있고, 맵 정보 표시에 대한 명령을 입력 받을 수 있고, 긴급상황에서의 사용자 매뉴얼 표시에 대한 명령을 입력 받을 수 있다.

한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 기기를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 전자 장치
110: 마이크
120: 메모리
130: 구동부
140: 통신 인터페이스
150: 출력부
160: 프로세서

Claims

전자 장치에 있어서,
마이크;
구동부;
출력부; 및
프로세서;를 포함하고,
상기 프로세서는,
상기 전자 장치가 위치하는 주변의 소리를 획득하여, 긴급상황이 발생하였는지 여부를 식별하고,
상기 긴급상황이 발생된 것으로 식별되면, 상기 획득된 소리에 대한 정보에 기초하여 상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하고,
상기 위치에 대한 정보에 기초하여, 상기 긴급상황과 관련된 소리가 발생하는 위치에 대응되는 제1 영역을 판단하고,
상기 판단된 제1 영역으로 이동하도록 상기 구동부를 제어하고,
상기 제1 영역에서, 상기 긴급상황에 대한 정보를 획득하고,
컨텍스트(Context) 정보 및 사용자 히스토리(History) 정보에 기초하여, 상기 사용자의 위치에 대응되는 제2 영역을 판단하고,
상기 판단된 제2 영역으로 이동하도록 상기 구동부를 제어하고,
상기 제2 영역에서 상기 긴급상황에 대한 정보를 사용자에게 제공하는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 획득된 소리에 대한 정보를 제1 신경망 모델에 입력하여 상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하고,
상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보는,
상기 긴급상황과 관련된 소리가 실내에서 발생하는지 실외에서 발생하는지 여부에 대한 정보를 포함하는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 긴급상황과 관련된 소리가 실내에서 발생하는 것으로 식별되면, 기 저장된 맵에 포함된 복수의 영역 중 긴급상황과 관련된 소리가 발생한 제1 영역으로 이동하며,
상기 제1 영역의 공간 특성 및 주변 소리에 기초하여 상기 제1 영역 중 상기 긴급상황에 대한 정보를 획득하기 위한 위치로 이동하도록 상기 구동부를 제어하는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 긴급상황과 관련된 소리가 실외에서 발생하는 것으로 식별되면, 저장된 맵 중 상기 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 위치하는 제1 영역으로 이동하며,
상기 제1 영역의 공간 특성 및 주변 소리에 기초하여 상기 제1 영역 중 상기 긴급상황에 대한 정보를 획득하기 위한 위치로 이동하도록 상기 구동부를 제어하는, 전자 장치.
제4항에 있어서,
상기 프로세서는,
상기 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 대응하여 마이크의 방향을 제어하는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 컨텍스트 정보를 학습된 제2 신경망 모델에 입력하여 사용자가 위치하는 영역에 대한 정보를 획득하고,
상기 획득된 사용자가 위치하는 영역으로 이동하도록 상기 구동부를 제어하는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
컨텍스트에 따른 가중치, 음성 인식 히스토리에 따른 가중치, 맵에 저장된 공간 정보에 따른 가중치 및 외부 장치로부터 수신된 정보에 따른 가중치 중 적어도 하나를 이용하여 사용자가 위치하는 영역에 대한 정보를 획득하고,
상기 획득된 사용자가 위치하는 영역으로 이동하도록 상기 구동부를 제어하는, 전자 장치.
제6항 또는 제7항에 있어서,
상기 사용자가 위치하는 영역에 대한 정보는,
복수의 영역 별로 상기 사용자가 위치할 확률에 대한 정보를 포함하고,
상기 프로세서는,
상기 획득된 사용자가 위치할 확률이 높은 영역부터 낮은 영역으로 순차적으로 이동하는 이동경로를 생성하고,
상기 이동경로에 기초하여 제2 영역으로 이동하도록 상기 구동부를 제어하는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 획득된 소리에 기 설정된 소음이 포함되었는지 여부에 기초하여 긴급상황이 발생하였는지 여부를 식별하고,
상기 기 설정된 소음은,
비명 소리, 사이렌 소리, 실내 방송 시작 소리 및 도움 요청 소리 중 적어도 하나를 포함하는, 전자 장치.
제1항에 있어서,
상기 전자 장치는,
통신 인터페이스를 포함하고,
상기 프로세서는,
긴급상황이 발생한 것으로 식별되면, 외부 장치로 동작의 중단을 요청하는 신호를 전송하는, 전자 장치.
전자 장치의 제어 방법에 있어서,
상기 전자 장치가 위치하는 주변의 소리를 획득하여, 긴급상황이 발생하였는지 여부를 식별하는 단계;
상기 긴급상황이 발생된 것으로 식별되면, 상기 획득된 소리에 대한 정보에 기초하여 상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하는 단계;
상기 위치에 대한 정보에 기초하여, 상기 긴급상황과 관련된 소리가 발생하는 위치에 대응되는 제1 영역을 판단하는 단계;
상기 판단된 제1 영역으로 이동하도록 구동부를 제어하는 단계;
상기 제1 영역에서, 상기 긴급상황에 대한 정보를 획득하는 단계;
컨텍스트(Context) 정보 및 사용자 히스토리(History) 정보에 기초하여, 상기 사용자의 위치에 대응되는 제2 영역을 판단하는 단계;
상기 판단된 제2 영역으로 이동하도록 상기 구동부를 제어하는 단계; 및
상기 제2 영역에서 상기 긴급상황에 대한 정보를 사용자에게 제공하는 단계;를 포함하는, 제어 방법.
제11항에 있어서,상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하는 단계는,
상기 획득된 소리에 대한 정보를 제1 신경망 모델에 입력하여 상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보를 획득하는 단계;를 포함하고,
상기 긴급상황과 관련된 소리가 발생하는 위치에 대한 정보는,
상기 긴급상황과 관련된 소리가 실내에서 발생하는지 실외에서 발생하는지 여부에 대한 정보를 포함하는, 제어 방법.
제11항에 있어서,
상기 제1 영역으로 이동하는 단계는,
상기 긴급상황과 관련된 소리가 실내에서 발생하는 것으로 식별되면, 기 저장된 맵에 포함된 복수의 영역 중 긴급상황과 관련된 소리가 발생한 제1 영역으로 이동하며,
상기 제1 영역의 공간 특성 및 주변 소리에 기초하여 상기 제1 영역 중 상기 긴급상황에 대한 정보를 획득하기 위한 위치로 이동하는 단계;를 포함하는, 제어 방법.
제11항에 있어서,
상기 제1 영역으로 이동하는 단계는,
상기 긴급상황과 관련된 소리가 실외에서 발생하는 것으로 식별되면, 저장된 맵 중 상기 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 위치하는 제1 영역으로 이동하고,
상기 제1 영역의 공간 특성 및 주변 소리에 기초하여 상기 제1 영역 중 상기 긴급상황에 대한 정보를 획득하기 위한 위치로 이동하는 단계;를 포함하는, 제어 방법.
제14항에 있어서,
상기 긴급상황에 대한 정보를 획득하는 단계는,
상기 긴급상황과 관련된 소리의 크기가 가장 크게 감지되는 방향에 대응하여 마이크의 방향을 제어하는 단계;를 포함하는, 제어 방법.
제11항에 있어서,
상기 제2 영역으로 이동하는 단계는,
상기 컨텍스트 정보를 학습된 제2 신경망 모델에 입력하여 사용자가 위치하는 영역에 대한 정보를 획득하는 단계; 및
상기 획득된 사용자가 위치하는 영역으로 이동하는 단계;를 포함하는, 제어 방법.
제11항에 있어서,
상기 제2 영역으로 이동하는 단계는,
컨텍스트에 따른 가중치, 음성 인식 히스토리에 따른 가중치, 맵에 저장된 공간 정보에 따른 가중치 및 외부 장치로부터 수신된 정보에 따른 가중치 중 적어도 하나를 이용하여 사용자가 위치하는 영역에 대한 정보를 획득하는 단계; 및
상기 획득된 사용자가 위치하는 영역으로 이동하는 단계;를 포함하는, 제어 방법.
제16항 또는 제17항에 있어서,
상기 사용자가 위치하는 영역에 대한 정보는,
복수의 영역 별로 상기 사용자가 위치할 확률에 대한 정보를 포함하고,
상기 제2 영역으로 이동하는 단계는,
상기 획득된 사용자가 위치할 확률이 높은 영역부터 낮은 영역으로 순차적으로 이동하는 이동경로를 생성하는 단계; 및
상기 이동경로에 기초하여 제2 영역으로 이동하는 단계;를 포함하는 제어 방법
제11항에 있어서,
상기 긴급상황이 발생하였는지 여부를 식별하는 단계는,
상기 획득된 소리에 기 설정된 소음이 포함되었는지 여부에 기초하여 긴급상황이 발생하였는지 여부를 식별하고,
상기 기 설정된 소음은,
비명 소리, 사이렌 소리, 실내 방송 시작 소리 및 도움 요청 소리 중 적어도 하나를 포함하는 제어 방법.
제11항에 있어서,
상기 전자 장치는,
통신 인터페이스를 포함하고,
긴급상황이 발생한 것으로 식별되면, 외부 장치로 동작의 중단을 요청하는 신호를 전송하는 단계;를 더 포함하는 제어 방법.