KR20200094843A

KR20200094843A - 외부 전자 장치를 제어하는 방법 및 이를 지원하는 전자 장치

Info

Publication number: KR20200094843A
Application number: KR1020190008781A
Authority: KR
Inventors: 박태준; 김민규; 김승균; 유대영
Original assignee: 삼성전자주식회사
Priority date: 2019-01-23
Filing date: 2019-01-23
Publication date: 2020-08-10
Also published as: US11128713B2; EP3888082A1; US20200236176A1; WO2020153818A1; CN113366566A; EP3888082A4

Abstract

전자 장치에 있어서, 외부 전자 장치와의 통신을 위한 통신 회로, 상기 통신 회로와 작동적으로 연결된 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 제1 공간 내에 배치된 복수의 사물들의 종류에 관한 제1 정보 및 상기 제1 공간에 대한 제1 방향에서의 상기 복수의 사물들의 위치에 관한 제2 정보를 획득하고, 상기 복수의 사물들 중 명칭 부여의 대상이 되는 대상 사물을 선정하고, 상기 제1 정보 중 상기 대상 사물의 종류에 관한 정보에 기반하여 상기 대상 사물의 적어도 하나의 제1 명칭을 생성하고, 상기 제1 정보 중 상기 대상 사물의 주변에 배치된 적어도 하나의 상대 사물의 종류에 관한 정보에 기반하여 상기 상대 사물의 적어도 하나의 제2 명칭을 생성하고, 상기 제2 정보에 기반하여 상기 대상 사물과 상기 적어도 하나의 상대 사물의 상대적 위치 관계를 판단하고, 상기 적어도 하나의 제1 명칭, 상기 적어도 하나의 제2 명칭, 및 상기 대상 사물과 상기 적어도 하나의 상대 사물의 상대적 위치 관계에 기반하여 상기 대상 사물의 적어도 하나의 제3 명칭을 생성하도록 하는 인스트럭션들을 저장하는 전자 장치가 개시된다. 이 외에도 본 문서를 통해 파악되는 다양한 실시예들이 가능하다.

Description

외부 전자 장치를 제어하는 방법 및 이를 지원하는 전자 장치{Method for controlling external electronic device and electronic device supporting the same}

본 발명의 다양한 실시예들은, 외부 전자 장치를 제어하는 방법 및 이를 지원하는 전자 장치에 관한 것이다.

음성 인식 솔루션(voice recognition solution)이 탑재된 전자 장치는, 사용자의 음성 입력에 대응하여 기능을 수행할 수 있다. 예컨대, 전자 장치는 마이크를 통해 수신된 음성 입력에 대한 음성 인식을 수행하고, 음성 인식의 수행 결과에 지정된 명령어가 포함된 경우, 해당 명령어에 대응되는 기능을 수행할 수 있다.

사용자의 음성 입력에 대응하여 기능을 수행하는 전자 장치는, 다른 전자 장치와 구별될 수 있는 식별자로서 사용자가 해당 전자 장치를 지칭할 수 있는 명칭을 사용할 수 있다. 예를 들어, 사용자가 기능을 제어하고자 하는 전자 장치의 명칭을 발화하면, 해당 명칭을 사용하는 전자 장치는 기능 수행을 위해 활성화될 수 있다.

또한, 복수의 IoT(internet of things) 장치들이 유무선 네트워크로 연결된 시스템에서는, IoT 장치들을 서로 구별하기 위해 IoT 장치들 각각은 해당 IoT 장치를 지칭할 수 있는 명칭을 사용할 수 있다. 이에 따라, 사용자가 기능을 제어하고자 하는 IoT 장치의 명칭을 발화하면, 마이크를 포함하면서 IoT 장치들의 연결 및 제어를 담당하는 IoT 허브 장치(hub device)가 사용자의 음성 입력에 대한 음성 인식을 수행하여 해당 명칭을 사용하는 IoT 장치의 기능이 수행되도록 제어하거나, 마이크를 포함하면서 해당 명칭을 사용하는 IoT 장치가 직접 사용자의 음성 입력에 대한 음성 인식을 수행하여 지정된 기능을 수행할 수 있다.

일반적으로 전자 장치의 제조사는 전자 장치를 출시할 때, 전자 장치의 종류 또는 기능을 고려하여 전자 장치의 명칭을 설정할 수 있다. 또한, 이러한 전자 장치를 구입한 사용자는 사용자의 편의에 따라서 사용자가 원하는 명칭으로 전자 장치의 기 설정된 명칭을 변경할 수 있다.

동일한 종류이거나 동일한 기능을 수행하는 복수의 전자 장치들이 특정 공간 내에 존재하거나 연계되어 동작하는 환경에서, 전자 장치들의 명칭을 제조사가 설정한 명칭 그대로 사용하는 경우, 제조사는 전자 장치들의 명칭을 종류나 기능을 고려하여 설정하기 때문에, 전자 장치들의 명칭이 서로 동일할 수 있다. 이에 따라, 사용자가 어떠한 전자 장치의 명칭을 발화하더라도 해당 명칭을 사용하는 전자 장치가 복수개인 경우 기능 수행이 어려울 수 있다. 또한, 사용자가 임의대로 전자 장치들의 명칭을 변경하더라도, 사용자가 모든 전자 장치들의 명칭을 기억해야 하는 번거로움이 생길 수 있다.

또한, 기존에는 전자 장치가 방향이나 위치와 관련된 기능을 가지고 있다 하더라도, 해당 기능은 전자 장치의 위치를 기준으로 하는 절대적 방향(예: 상하좌우)이나 지역(또는 공간)의 고정적인 정보를 나타내는 절대적 위치를 지정하는 것에 국한되어 있었다. 즉, 전자 장치의 기능이 주변 사물을 기준으로 하는 상대적 방향이나 주변 사물과의 상대적 위치와 관련하여 수행되도록 하는 데 어려움이 있을 수 있다.

본 발명의 다양한 실시예들은, 주변 사물과의 위치 관계에 기반하여 설정된 명칭을 통해 제어 대상이 되는 외부 전자 장치를 식별하고 식별된 외부 전자 장치를 제어하는 방법 및 이를 지원하는 전자 장치를 제공할 수 있다.

또한, 본 발명의 다양한 실시예들은, 주변 사물과의 위치 관계에 기반하여 설정된 방향 또는 위치 중 적어도 하나와 관련된 기능을 수행하도록 외부 전자 장치를 제어하는 방법 및 이를 지원하는 전자 장치를 제공할 수 있다.

본 발명의 다양한 실시예에 따른 전자 장치는, 외부 전자 장치와의 통신을 위한 통신 회로, 상기 통신 회로와 작동적으로 연결된 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 제1 공간 내에 배치된 복수의 사물들의 종류에 관한 제1 정보 및 상기 제1 공간에 대한 제1 방향에서의 상기 복수의 사물들의 위치에 관한 제2 정보를 획득하고, 상기 복수의 사물들 중 명칭 부여의 대상이 되는 대상 사물을 선정하고, 상기 제1 정보 중 상기 대상 사물의 종류에 관한 정보에 기반하여 상기 대상 사물의 적어도 하나의 제1 명칭을 생성하고, 상기 제1 정보 중 상기 대상 사물의 주변에 배치된 적어도 하나의 상대 사물의 종류에 관한 정보에 기반하여 상기 상대 사물의 적어도 하나의 제2 명칭을 생성하고, 상기 제2 정보에 기반하여 상기 대상 사물과 상기 적어도 하나의 상대 사물의 상대적 위치 관계를 판단하고, 상기 적어도 하나의 제1 명칭, 상기 적어도 하나의 제2 명칭, 및 상기 대상 사물과 상기 적어도 하나의 상대 사물의 상대적 위치 관계에 기반하여 상기 대상 사물의 적어도 하나의 제3 명칭을 생성하도록 하는 인스트럭션들을 저장할 수 있다.

또한, 본 발명의 다양한 실시예에 따른 전자 장치는, 카메라, 통신 회로, 상기 카메라 및 상기 통신 회로와 작동적으로 연결된 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시, 상기 프로세서가, 상기 카메라 또는 상기 통신 회로를 통해 적어도 하나의 외부 전자 장치가 배치된 제1 공간에 관련된 제1 이미지를 획득하고, 상기 제1 이미지를 분석하여, 상기 제1 공간에 배치된 상기 적어도 하나의 외부 전자 장치의 종류에 관한 제1 정보 및 상기 제1 공간에 대한 제1 방향에서의 상기 적어도 하나의 외부 전자 장치의 위치에 관한 제2 정보를 획득하고, 상기 제1 정보에 기반하여 상기 적어도 하나의 외부 전자 장치의 명칭을 생성하고, 상기 제2 정보에 기반하여 상기 전자 장치와 상기 적어도 하나의 외부 전자 장치의 위치 관계를 판단하고, 상기 제1 정보 및 상기 제2 정보에 적어도 일부 기반하여 상기 적어도 하나의 외부 전자 장치의 명칭을 생성하도록 하는 인스트럭션들을 저장할 수 있다.

또한, 본 발명의 다양한 실시예에 따른 전자 장치의 외부 전자 장치를 제어하는 방법은, 마이크를 통해 사용자의 음성 명령을 획득하는 동작, 상기 음성 명령에 대한 음성 인식을 수행하는 동작, 상기 음성 인식의 수행 결과에 포함된 명칭과 관련된 표현에 기반하여 제어할 외부 전자 장치를 식별하는 동작, 상기 음성 인식의 수행 결과에 포함된 기능과 관련된 표현에 기반하여 상기 외부 전자 장치의 기능이 수행되어야 할 방향이나 위치를 판단하는 동작, 및 통신 회로를 통해, 상기 외부 전자 장치로 상기 외부 전자 장치의 기능 및 상기 외부 전자 장치의 기능이 수행되어야 할 방향이나 위치와 관련된 신호를 전송하는 동작을 포함할 수 있다.

본 발명의 다양한 실시예들에 따르면, 사용자가 제어 대상인 전자 장치와 주변 사물과의 위치 관계를 이용하여 전자 장치를 직관적으로 지칭함으로써, 음성 인식 솔루션의 사용에 대한 편의성이 증대될 수 있다.

또한, 본 발명의 다양한 실시예들에 따르면, 사용자가 주변 사물과의 위치 관계를 이용하여 방향 또는 위치 중 적어도 하나와 관련된 제어 기능을 직관적으로 명령함으로써, 음성 인식 솔루션의 사용에 대한 편의성이 증대될 수 있다.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 제어 모듈을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 복수의 전자 장치들이 특정 공간 내에 존재하거나 연계되어 동작하는 환경을 설명하기 위한 도면이다.
도 4a는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치와 기능 제어 및 명칭 생성을 위한 전자 장치가 분리된 제1 환경을 설명하기 위한 도면이다.
도 4b는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치와 기능 제어 및 명칭 생성을 위한 전자 장치가 분리된 제2 환경을 설명하기 위한 도면이다.
도 4c는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치가 직접 명칭을 생성하고 기능을 실행하는 제3 환경을 설명하기 위한 도면이다.
도 4d는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치가 직접 명칭을 생성하고 기능을 실행하는 제4 환경을 설명하기 위한 도면이다.
도 4e는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치, 명칭 생성을 위한 전자 장치, 및 기능 제어를 위한 전자 장치가 분리된 제5 환경을 설명하기 위한 도면이다.
도 4f는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치, 명칭 생성을 위한 전자 장치, 및 기능 제어를 위한 전자 장치가 분리된 제6 환경을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 사물 인식 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 사물의 종류, 위치, 및 공간에 대한 정보를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 사물들 간의 위치 관계에 대한 정보를 나타낸 도면이다.
도 8a는 본 발명의 일 실시예에 따른 사물들의 인식 방향과 사용자의 시선 방향이 동일한 방향일 때의 사물들 간의 위치 관계를 설명하기 위한 도면이다.
도 8b는 본 발명의 일 실시예에 따른 사물들의 인식 방향과 사용자의 시선 방향이 서로 반대 방향일 때의 사물들 간의 위치 관계를 설명하기 위한 도면이다.
도 8c는 본 발명의 일 실시예에 따른 사물들의 인식 방향과 사용자의 시선 방향이 서로 수직한 방향일 때의 사물들 간의 위치 관계를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치와 명칭 생성을 위한 전자 장치가 분리된 환경에서의 네이밍 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치가 직접 명칭을 생성하는 환경에서의 네이밍 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 사용자의 음성 입력에 대한 음성 인식 기능을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 전자 장치의 명칭을 통해 전자 장치를 식별하는 기능을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 사물 인식 방법을 설명하기 위한 화면 예시도이다.
도 14는 본 발명의 일 실시예에 따른 명칭 부여 또는 제어의 대상을 선택하는 방법을 설명하기 위한 화면 예시도이다.
도 15는 본 발명의 일 실시예에 따른 사물의 공간 정보를 설정하는 방법을 설명하기 위한 화면 예시도이다.
도 16은 본 발명의 일 실시예에 따른 외부 전자 장치를 제어하는 방법을 설명하기 위한 도면이다.
도 17a는 본 발명의 일 실시예에 따른 사물들 간의 위치 관계를 이용하여 장치 제어를 위한 음성 명령을 발화하는 방법을 설명하기 위한 도면이다.
도 17b는 본 발명의 일 실시예에 따른 음성 명령을 처리하는 과정을 설명하기 위한 도면이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들이 설명된다. 설명의 편의를 위하여 도면에 도시된 구성요소들은 그 크기가 과장 또는 축소될 수 있으며, 본 발명이 반드시 도시된 바에 의해 한정되는 것은 아니다.

도 1은 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.

도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.

프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.

보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.

메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.

프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.

입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.

음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.

표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.

오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.

센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.

인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.

연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.

햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.

카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.

전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.

배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.

통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.

안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.

상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.

일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.

도 2는 본 발명의 일 실시예에 따른 전자 장치의 제어 모듈을 나타낸 도면이다. 도 2의 제어 모듈(200)은 도 1에서 설명한 전자 장치(101)의 하드웨어 또는 소프트웨어 구성요소로 구현될 수 있다. 일 예로, 제어 모듈(200)은 전자 장치(101)의 메모리(130)에 저장된 프로그램(140)의 형태로 구현될 수 있다. 예컨대, 제어 모듈(200)은 메모리(130)에 저장된 명령어로 구현되고, 상기 명령어는 프로세서(120)에 의해 실행될 때, 프로세서(120)가 상기 명령어에 해당하는 기능을 수행할 수 있다.

도 2를 참조하면, 제어 모듈(200)은 사물 인식부(210), 공간 정보 획득부(230), 위치 관계 판단부(250), 명칭 생성부(270), 및 명령 처리부(290)를 포함할 수 있다. 상기 사물 인식부(210)는 특정 공간에 있는 사물들을 인식할 수 있다. 예컨대, 상기 사물 인식부(210)는 상기 특정 공간에 있는 사물들의 종류 및 상기 특정 공간에서의 상기 사물들의 위치를 판단할 수 있다. 상기 사물 인식부(210)는 영상 인식, 전파/음파 인식, 또는 IoT 시스템을 통한 인식 등의 방법으로 사물들을 인식할 수 있다. 여기서, 사물은 전자 장치 또는 가구를 포함할 수 있으며, 이미지 분석 등을 통해서 사물의 형태 또는 기능이 파악될 수 있다.

상기 영상 인식 방법은 딥 러닝(deep learning) 기반의 알고리즘을 활용하여 영상 내의 사물들을 인식하는 방법을 포함할 수 있다. 상기 영상 인식 방법을 통해 사물들을 인식하는 경우, 상기 사물 인식부(210)는 전자 장치(101) 내의 카메라 모듈(180)로부터 상기 특정 공간을 촬영한 영상을 획득하거나, 통신 모듈(190)을 통해 전자 장치(101)와 연결된 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))로부터 상기 특정 공간을 촬영한 영상을 획득할 수 있다. 또한, 상기 사물 인식부(210)는 영상을 획득하면, 멀티 오브젝트 디텍션(multi object detection) 기술인 R-CNN(region-convolution neural network) 알고리즘, Faster R-CNN 알고리즘, 또는 YOLO(you only look once) 알고리즘 등을 통해 영상에 포함된 사물들을 인식할 수 있다. 또한, 상기 사물 인식부(210)는 블루투스나 WiFi direct와 같은 기술을 이용해 인식된 사물들의 장치 정보를 획득하고, 획득된 장치 정보를 사물들의 종류 및 위치에 관한 정보와 매핑하여 메모리(130)에 저장할 수 있다.

상기 전파/음파 인식 방법은 상기 특정 공간으로 전파나 음파를 방사하고 상기 특정 공간 내의 사물들에 의해 반사되는 신호를 수신 및 분석하여 사물들을 인식하는 방법을 포함할 수 있다. 예를 들어, 상기 사물 인식부(210)는 방사된 전파나 음파의 방향과 세기 및 수신된 신호의 방향과 세기를 비교하여 상기 특정 공간 내의 사물들의 형상 및 위치를 판단할 수 있다. 또한, 상기 사물 인식부(210)는 사물들의 형상을 메모리(130)에 기저장된 다양한 사물의 형상에 대한 정보와 비교하여 사물들의 종류를 판단할 수 있다.

상기 IoT 시스템을 통한 인식 방법은 IoT 허브 장치와 연결된 특정 공간 내에 배치된 IoT 장치들(사물들)의 종류 및 위치에 관한 정보를 상기 IoT 허브 장치로부터 수신하는 방법을 포함할 수 있다. IoT 시스템에서 상기 IoT 허브 장치는 상기 IoT 장치들의 연결 및 제어를 담당하는데, 상기 IoT 장치들이 상기 IoT 허브 장치와 최초로 연결될 시(IoT 장치를 IoT 허브 장치에 등록할 시), 상기 IoT 허브 장치는 상기 IoT 장치들의 종류 및 위치에 관한 정보를 저장할 수 있다. 이에 따라, 특정 공간 내에 사물들이 IoT 장치들인 경우, 상기 사물 인식부(210)는 IoT 허브 장치(또는 서버)로부터 상기 IoT 장치들의 종류 및 위치에 관한 정보를 획득할 수 있다.

일 실시예에 따르면, 상기 IoT 시스템이 스마트 홈 시스템인 경우, 상기 사물 인식부(210)는 스마트 홈 시스템에 포함된 센서들을 통해 특정 공간(예: 집 안)의 천장, 바닥, 및 벽면들의 변화를 감지하여 상기 특정 공간 내에 있는 사물들의 종류 및 위치를 판단할 수 있다.

상기 공간 정보 획득부(230)는 상기 사물 인식부(210)를 통해 인식된 사물들이 배치된 상기 특정 공간에 대한 공간 정보를 획득할 수 있다. 상기 공간 정보는 상기 특정 공간을 구성하는 구조물(예: 천장, 바닥, 및 벽면들)의 형태와 위치에 기반하여 결정되는 구조 정보, 상기 특정 공간 내에 배치된 사물들의 종류와 위치를 포함하는 배치 정보, 및 상기 특정 공간을 지칭하는 공간 명칭(예: 거실, 욕실, 주방, 또는 침실)을 포함할 수 있다.

상기 공간 정보 중 구조 정보 및 배치 정보는, 상기 사물 인식부(210)의 사물 인식 과정에서 획득될 수 있다. 예를 들어, 상기 사물 인식부(210)가 상기 특정 공간에 대한 영상을 획득하여 분석하는 과정에서, 상기 특정 공간에 대한 구조 정보 및 배치 정보가 획득될 수 있다.

상기 공간 정보 중 상기 특정 공간을 지칭하는 공간 명칭은, 기저장된 다수의 공간들에 대한 공간 정보와의 비교를 통해 획득하거나 사용자의 입력을 통해 획득할 수 있다. 일 예로, 상기 공간 정보 획득부(230)는 상기 특정 공간에 대한 구조 정보 및 배치 정보를 메모리(130)에 기저장된 공간 정보들의 구조 정보 및 배치 정보와 비교하여 유사도를 산출할 수 있다. 이 때, 상기 유사도가 임계치 이상인 공간 정보(구조 정보 및 배치 정보)가 있는 경우, 해당 공간 정보의 명칭과 동일하게 상기 특정 공간의 명칭을 설정할 수 있다. 다른 예로, 상기 공간 정보 획득부(230)는 전자 장치(101)에 포함된 입력 장치(150) 또는 전자 장치(101)와 연결된 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))의 입력 수단을 통해 수신된 사용자 입력을 기반으로 상기 특정 공간의 명칭을 획득할 수 있다. 예를 들어, 상기 특정 공간의 명칭은 사용자가 선택한 명칭으로 설정될 수 있다.

상기 위치 관계 판단부(250)는 상기 특정 공간 내의 사물들 간의 위치 관계를 판단할 수 있다. 상기 위치 관계 판단부(250)는 상기 사물 인식부(210)의 사물 인식 과정에서 획득한 상기 사물들의 위치에 관한 정보를 이용해 상기 사물들 간의 위치 관계를 판단할 수 있다. 일 예로, 상기 위치 관계 판단부(250)는 상기 특정 공간을 촬영한 영상에서 사물들 간의 관계를 추출하는 딥 러닝 기술인 관계형 추론 네트워크(relational reasoning networks) 알고리즘을 활용하여 상기 사물들 간의 위치 관계를 판단할 수 있다. 이 때, 상기 사물들의 위치에 관한 정보(예: 좌표값)는 상기 사물들 간의 위치 관계를 판단하는 학습 데이터로 이용될 수 있다. 또한, 상기 위치 관계 판단부(250)는 상기 사물들 간의 위치 관계에 대한 정보를 메모리(130)에 저장할 수 있다.

일 실시예에 따르면, 사물들의 위치를 보다 정확하게 파악하기 위해, 상기 위치 관계 판단부(250)는 상기 특정 공간 내에서의 상기 사물들의 깊이 정보를 이용할 수 있다. 이 때, 상기 사물들의 깊이 정보는 뎁스 카메라(depth camera) 등을 통해 추가로 획득될 수 있다.

상기 명칭 생성부(270)는 상기 사물 인식부(210)의 사물 인식 과정에서 획득한 사물들의 종류에 관한 정보를 이용해 상기 사물들의 명칭을 생성할 수 있다. 상기 사물의 종류에 기반하여 생성되는 명칭은 상기 사물을 일반적으로 지칭하는 기본 명칭에 대응될 수 있다. 일 예로, 상기 명칭 생성부(270)는 상기 사물의 종류가 전등인 경우, 상기 사물의 명칭을 "전등", "램프", "라이트", 또는 "조명" 등으로 생성할 수 있다. 어떤 실시예에서, 상기 명칭 생성부(270)는 상기 사물의 종류에 기반하여 생성 가능한 모든 명칭을 매핑하여 메모리(130)에 저장할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 사물의 종류가 전등인 경우, 상기 사물의 명칭으로 생성 가능한 "전등", "램프", "라이트", 및 "조명" 등을 서로 매핑하여 메모리(130)에 저장할 수 있다. 이에 따라, 사용자가 "전등", "램프", "라이트", 또는 "조명" 중 어느 하나를 발화하더라도, 전자 장치(101)는 종류가 전등인 사물을 대상 사물로 선택할 수 있다.

상기 명칭 생성부(270)는 상기 위치 관계 판단부(250)를 통해 판단된 사물들의 위치 관계에 대한 정보를 기반으로 상기 사물들의 명칭을 생성할 수 있다. 상기 명칭 생성부(270)는 명칭 부여의 대상이 되는 대상 사물이 선택되면, 상기 대상 사물과 상기 대상 사물의 주변에 배치된 상대 사물의 위치 관계를 이용하여, 상기 대상 사물의 위치 관계 기반 서술형 명칭을 생성할 수 있다. 일 예로, 상기 명칭 생성부(270)는 상기 대상 사물의 종류에 기반하여 생성된 상기 대상 사물의 기본 명칭(제1 명칭), 상기 상대 사물의 종류에 기반하여 생성된 상기 상대 사물의 기본 명칭(제2 명칭), 및 상기 대상 사물과 상기 상대 사물의 위치 관계에 기반하여 상기 대상 사물의 상기 상대 사물과의 위치 관계 기반 서술형 명칭(제3 명칭)을 생성할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 제2 명칭, 상기 위치 관계를 나타내는 표현, 및 상기 제1 명칭 순으로 조합하여 상기 제3 명칭을 생성할 수 있다. 이 때, 상기 명칭 생성부(270)는 상기 제3 명칭을 생성하면서, 상태를 나타내는 표현을 추가할 수 있다. 예를 들어, 상기 제3 명칭은 존재하는 상태를 나타내는 표현인 "있는", "배치된", 또는 "위치한"과 같은 표현을 포함하거나, 존재하지 않는 상태를 나타내는 표현인 "없는", "배치되지 않은", 또는 "위치하지 않은"과 같은 표현을 포함할 수 있다.

상기 대상 사물과 상기 상대 사물의 위치 관계를 나타내는 표현은 상대적인 위치를 나타내는 "위"(또는 "상측"), "아래"(또는 "하측"), "오른쪽"(또는 "우측"), "왼쪽"(또는 "좌측"), "뒤"(또는 "후방"), 또는 "앞"(또는 "전방")과 같은 표현을 포함할 수 있다. 여기서, 상기 위치 관계를 나타내는 표현은 상술한 표현들로 한정되지 않으며, 일반적으로 사물들 간의 상대적 위치를 나타내는 다양한 표현들을 포함할 수 있다. 일 예로, 상기 위치 관계를 나타내는 표현은 방위 또는 방향을 나타내는 표현들을 포함할 수 있다.

일 실시예에 따르면, 상기 명칭 생성부(270)는 상기 공간 정보 획득부(230)를 통해 획득된 상기 대상 사물이 배치된 특정 공간의 공간 정보를 이용하여 상기 대상 사물의 명칭을 생성할 수 있다. 일 예로, 상기 명칭 생성부(270)는 상기 공간 정보 중 상기 특정 공간을 지칭하는 공간 명칭(예: 거실, 욕실, 주방, 또는 침실)을 이용하여 상기 대상 사물의 명칭을 생성할 수 있다. 상기 명칭 생성부(270)는 상기 대상 사물의 종류에 기반하여 생성된 상기 대상 사물의 기본 명칭(제1 명칭) 및 상기 대상 사물이 배치된 특정 공간을 지칭하는 공간 명칭(제4 명칭)에 기반하여 상기 대상 사물의 공간 기반 서술형 명칭(제5 명칭)을 생성할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 제4 명칭 및 상기 제1 명칭 순으로 조합하여 상기 제5 명칭을 생성할 수 있다. 이 때, 상기 명칭 생성부(270)는 상기 제5 명칭을 생성하면서, 상태를 나타내는 표현을 추가할 수 있다. 예를 들어, 상기 제5 명칭은 존재하는 상태를 나타내는 표현인 "있는", "배치된", 또는 "위치한"과 같은 표현을 포함하거나, 존재하지 않는 상태를 나타내는 표현인 "없는", "배치되지 않은", 또는 "위치하지 않은"과 같은 표현 을 포함할 수 있다.

다른 예로, 상기 명칭 생성부(270)는 상기 공간 정보의 구조 정보 및 배치 정보를 이용하여 상기 대상 사물의 명칭을 생성할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 대상 사물과 상기 특정 공간을 구성하는 구조물(예: 천장, 바닥, 또는 벽면)의 위치 관계에 대한 정보를 이용하여 상기 대상 사물의 명칭을 생성할 수 있다. 상기 명칭 생성부(270)는 상기 대상 사물이 상기 구조물 상에 또는 인접하여 배치된 경우, 상기 대상 사물의 종류에 기반하여 생성된 상기 대상 사물의 기본 명칭(제1 명칭), 상기 구조물을 지칭하는 명칭(제6 명칭)(예: "천장", "바닥", 또는 "벽면"), 및 상기 대상 사물과 상기 구조물의 위치 관계에 기반하여 상기 대상 사물의 구조물과의 위치 관계 기반 서술형 명칭(제7 명칭)을 생성할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 제6 명칭, 상기 위치 관계를 나타내는 표현, 및 상기 제1 명칭 순으로 조합하여 상기 제7 명칭을 생성할 수 있다. 이 때, 상기 명칭 생성부(270)는 상기 제7 명칭을 생성하면서, 상태를 나타내는 표현을 추가할 수 있다. 예를 들어, 상기 제7 명칭은 존재하는 상태를 나타내는 표현인 "있는", "배치된", 또는 "위치한"과 같은 표현을 포함하거나, 존재하지 않는 상태를 나타내는 표현인 "없는", "배치되지 않은", 또는 "위치하지 않은"과 같은 표현을 포함할 수 있다.

이와 관련하여, 상기 대상 사물과 상기 특정 공간을 구성하는 구조물의 위치 관계에 대한 정보는 위치 관계 판단부(250)를 통해 생성되어 상기 명칭 생성부(270)로 전달될 수 있다. 상기 위치 관계 판단부(250)는 상기 구조 정보에 포함된 상기 구조물의 형태와 위치에 관한 정보 및 상기 배치 정보에 포함된 상기 대상 사물의 위치에 관한 정보를 이용하여, 상기 대상 사물과 상기 구조물의 위치 관계에 대한 정보를 생성할 수 있다.

상기 명령 처리부(290)는 마이크를 통해 수신된 사용자의 음성 입력을 처리할 수 있다. 예를 들어, 상기 명령 처리부(290)는 상기 음성 입력에 대한 음성 인식을 수행하여 상기 음성 입력을 텍스트 데이터로 변환하고, 텍스트 데이터에서 명칭과 관련된 표현 및 기능과 관련된 표현을 추출할 수 있다.

일 실시예에 따르면, 상기 명령 처리부(290)는 명칭과 관련된 표현에 기반하여 대상 사물을 식별할 수 있다. 여기서, 상기 대상 사물은 전자 장치(101) 또는 전자 장치(101)와 통신 가능한 외부 전자 장치(예: 전자 장치(102) 또는 전자 장치(104))가 될 수 있다. 또한, 상기 명칭과 관련된 표현은 예를 들어, 상기 대상 사물의 종류에 기반하여 생성된 명칭(기본 명칭), 주변 사물과의 위치 관계에 기반하여 생성된 명칭(제1 위치 관계 기반 서술형 명칭), 상기 대상 사물이 배치된 공간의 공간 명칭에 기반하여 생성된 명칭(공간 기반 서술형 명칭), 또는 상기 대상 사물이 배치된 공간을 구성하는 구조물과의 위치 관계에 기반하여 생성된 명칭(제2 위치 관계 기반 서술형 명칭)을 포함할 수 있다.

일 실시예에 따르면, 상기 명령 처리부(290)는 기능과 관련된 표현에 기반하여 명령어를 판단할 수 있다. 상기 명령어는 예를 들어, 상기 대상 사물이 수행할 수 있는 기능들 중 수행하고자 하는 적어도 하나의 기능에 대한 트리거 입력을 포함할 수 있다. 수행하고자 하는 기능이 방향이나 위치와 관련된 기능(예: 이동 기능 또는 동작 방향이 있는 기능)인 경우, 상기 기능과 관련된 표현은 상기 대상 사물의 위치를 기준으로 하는 절대적 방향이나 지역(또는 공간)의 고정적인 정보를 나타내는 절대적 위치(예: 공간 명칭)를 나타내는 표현, 또는 주변 사물과의 위치 관계에 기반한 상대적 방향이나 상대적 위치를 나타내는 표현을 포함할 수 있다.

일 실시예에 따르면, 상기 명령 처리부(290)는 식별된 상기 대상 사물이 전자 장치(101)인 경우, 상기 명령어와 관련된 신호를 전자 장치(101) 내의 관련된 모듈로 전달할 수 있다. 또한, 상기 명령 처리부(290)는 식별된 상기 대상 사물이 외부 전자 장치(예: 전자 장치(102) 또는 전자 장치(104))인 경우, 상기 명령어와 관련된 신호를 상기 외부 전자 장치(예: 전자 장치(102) 또는 전자 장치(104))로 전송할 수 있다.

도 3은 본 발명의 일 실시예에 따른 복수의 전자 장치들이 특정 공간 내에 존재하거나 연계되어 동작하는 환경을 설명하기 위한 도면이다.

도 3을 참조하면, 특정 공간(300) 내에 배치된 복수의 전자 장치들(예: 331 내지 356)은, 전자 장치(310)가 IoT 허브 장치로서 기능하는 IoT 시스템에 속한 IoT 장치들일 수도 있고, 전자 장치(310)와 통신 가능하지만 다른 전자 장치들과는 별개로 동작하는 전자 장치일 수도 있다. 또한, 상기 복수의 전자 장치들(예: 331 내지 356)은, 마이크를 통해 수신된 사용자의 음성 입력에 대한 음성 인식을 수행하고 음성 인식 결과에 따른 기능을 수행하는 전자 장치일 수도 있고, 전자 장치(310)(예: IoT 허브 장치)로부터 음성 인식 결과에 따른 기능 수행과 관련된 신호를 수신하여 기능 수행을 하는 전자 장치일 수도 있다.

도 2에서 설명한 제어 모듈(200)은 상기 특정 공간(300) 내에 배치된 적어도 하나의 전자 장치(331 내지 356)와 연결된 전자 장치(310)에 포함될 수도 있고, 상기 특정 공간(300) 내에 배치된 전자 장치들(331 내지 356)에 포함될 수도 있다. 도 3에서는, 설명의 편의를 위해, 상기 제어 모듈(200)이 상기 전자 장치(310)에 포함된 경우에 대해서 설명하도록 한다. 여기서, 상기 전자 장치(310)는 상기 특정 공간(300) 내에 배치될 수도 있고, 상기 특정 공간(300)과 다른 공간에 배치될 수도 있다.

제어 모듈(200)을 포함하는 전자 장치(310)(예: 전자 장치(101))는 특정 공간(300) 내에 배치된 복수의 전자 장치들(331 내지 356)의 명칭을 생성할 수 있다. 이 때, 상기 전자 장치(310)는 상기 특정 공간(300) 또는 상기 특정 공간(300) 내에 배치된 복수의 전자 장치들을 촬영할 수 있는 카메라를 포함하는 전자 장치(331, 333)로부터 촬영 영상을 획득할 수 있다. 카메라를 포함하는 전자 장치(331, 333)는 예를 들어, 상기 특정 공간(300) 내에 고정되어 설치된 카메라 장치(331)(예: CCTV 카메라), 또는 상기 특정 공간(300)을 이동하면서 촬영 가능한 로봇형 장치(333)(예: 로봇 청소기) 등을 포함할 수 있다. 어떤 실시예에서, 상기 전자 장치(310)는 카메라를 포함할 수 있고, 상기 전자 장치(310)에 포함된 카메라를 통해 상기 특정 공간(300) 또는 상기 특정 공간(300) 내에 배치된 복수의 전자 장치들(331 내지 356)을 촬영하여 촬영 영상을 획득할 수도 있다.

촬영 영상을 획득한 전자 장치(310)는, 상기 제어 모듈(200)의 사물 인식부(210)를 통해, 상기 특정 공간(300)에 있는 사물들을 인식할 수 있다. 예를 들어, 도 3에 도시된 환경에서, 상기 사물 인식부(210)는 천장(371)에 배치된 전등(351), 좌측 벽면(375) 근처에 배치된 냉장고(352), 바닥(373) 우측에 배치된 서랍장(353), 상기 서랍장(353) 위에 놓인 TV(354), 상기 TV(354) 왼쪽에 배치된 제1 스탠드(355), 및 상기 TV(354) 오른쪽에 배치된 제2 스탠드(356)를 인식할 수 있다.

상기 사물들이 인식되면, 상기 전자 장치(310)는 상기 제어 모듈(200)의 명칭 생성부(270)를 통해, 상기 사물들의 기본 명칭을 생성할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 사물들의 종류에 관한 정보를 이용해 상기 사물들의 기본 명칭을 생성할 수 있다.

이후, 상기 전자 장치(310)는 상기 제어 모듈(200)의 공간 정보 획득부(230)를 통해, 상기 특정 공간(300)에 대한 공간 정보를 획득할 수 있다. 예를 들어, 도 3에 도시된 환경에서, 상기 공간 정보 획득부(230)는 천장(371), 바닥(373), 및 벽면(375, 377)의 형태와 위치로 결정되는 구조 정보, 상기 사물들의 종류와 위치를 포함하는 배치 정보, 및 상기 특정 공간(300)을 지칭하는 명칭을 획득할 수 있다. 상기 구조 정보 및 배치 정보는, 상기 사물 인식부(210)의 사물 인식 과정에서 획득되며, 상기 특정 공간(300)을 지칭하는 명칭은 메모리(130)에 기저장된 다수의 공간들에 대한 공간 정보와의 비교를 통해 획득하거나 사용자의 입력을 통해 획득할 수 있다. 일 예로, 상기 공간 정보 획득부(230)는 상기 전자 장치(101)와 연결된 외부 전자 장치(390)(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))의 입력 수단을 통해 수신된 사용자 입력을 기반으로 상기 특정 공간(300)의 명칭을 획득할 수 있다. 상기 외부 전자 장치(390)의 입력 수단은 예를 들어, 상기 외부 전자 장치(390)의 터치 스크린(391)을 포함할 수 있다.

상기 전자 장치(310)는, 상기 제어 모듈(200)의 위치 관계 판단부(250)를 통해, 상기 특정 공간(300) 내의 사물들 간의 위치 관계를 판단할 수 있다. 예를 들어, 상기 위치 관계 판단부(250)는 상기 사물들 중 대상 사물을 선정하고, 상기 대상 사물과 상기 대상 사물의 주변에 배치된 상대 사물의 위치 관계를 판단할 수 있다. 여기서, 상기 대상 사물은 상기 사물들 중 제어 가능한 전자 장치(예: 331 내지 352 또는 354 내지 356)가 될 수 있으며, 상기 상대 사물은 상기 특정 공간(300) 내에 배치된 모든 사물들이 될 수 있다. 일 예로, 상기 대상 사물로 TV(354)가 선정되면, 상기 위치 관계 판단부(250)는 상기 TV(354)와 상기 TV(354)의 주변에 배치된 서랍장(353), 제1 스탠드(355), 또는 제2 스탠드(356)와의 위치 관계를 판단할 수 있다. 예를 들어, 도 3에 도시된 환경에서, 상기 위치 관계 판단부(250)는 상기 TV(354)가 상기 서랍장(353)의 위에 배치되고, 상기 제1 스탠드(355)의 오른쪽에 배치되며, 상기 제2 스탠드(356)의 왼쪽에 배치된다고 판단할 수 있다. 이와 같이, 대상 사물과 상대 사물의 위치 관계에 대한 정보는 상기 대상 사물의 주변에 배치된 상대 사물의 개수에 따라서 설정될 수 있다. 예를 들어, 상기 대상 사물(예: TV(354))의 주변에 배치된 상대 사물(예: 서랍장(353), 제1 스탠드(355), 및 제2 스탠드(356))이 3개인 경우, 상기 대상 사물과 관련된 위치 관계 정보는 3개의 항목(예: 서랍장(353)과의 위치 관계를 나타내는 제1 항목, 제1 스탠드(355)와의 위치 관계를 나타내는 제2 항목, 및 제2 스탠드(356)와의 위치 관계를 나타내는 제3 항목)을 가지도록 설정될 수 있다.

상기 사물들 간의 위치 관계가 판단되면, 상기 전자 장치(310)는 상기 명칭 생성부(270)를 통해, 상기 사물들의 서술형 명칭을 생성할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 사물들의 위치 관계에 대한 정보를 기반으로 상기 사물들의 서술형 명칭을 생성할 수 있다. 일 예로, 상기 명칭 생성부(270)는 상기 대상 사물의 종류에 기반하여 생성된 상기 대상 사물의 기본 명칭, 상기 상대 사물의 종류에 기반하여 생성된 상기 상대 사물의 기본 명칭, 및 상기 대상 사물과 상기 상대 사물의 위치 관계에 기반하여 상기 대상 사물의 상기 상대 사물과의 위치 관계 기반 서술형 명칭을 생성할 수 있다. 예를 들어, 도 3에 도시된 환경에서, 상기 대상 사물이 TV(354)이고, 상기 상대 사물이 서랍장(353)이면, 상기 명칭 생성부(270)는 상기 서랍장(353)의 기본 명칭(예: "서랍장"), 상기 TV(354)와 상기 서랍장(353)의 위치 관계를 나타내는 표현(예: "위에"), 및 상기 TV(354)의 기본 명칭(예: "TV") 순으로 조합하여 상기 TV(354)의 서술형 명칭을 생성할 수 있다. 이 때, 상기 명칭 생성부(270)는 상기 TV(354)의 서술형 명칭을 생성하면서, 상태를 나타내는 표현(예: "있는")을 사용할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 TV(354)와 상기 서랍장(353)의 위치 관계를 나타내는 표현(예: "위에") 다음에 상태를 나타내는 표현(예: "있는")을 추가할 수 있다. 이에 따라, 상기 TV(354)의 서술형 명칭은 예를 들어, "서랍장 위에 있는 TV"로 생성될 수 있다.

일 실시예에 따르면, 상기 명칭 생성부(270)는 상기 공간 정보 획득부(230)를 통해 획득된 상기 대상 사물이 배치된 특정 공간(300)의 공간 정보를 이용하여 상기 대상 사물의 서술형 명칭을 생성할 수 있다. 일 예로, 상기 명칭 생성부(270)는 상기 공간 정보 중 상기 특정 공간(300)을 지칭하는 공간 명칭(예: 거실, 욕실, 주방, 또는 침실)을 이용하여 상기 대상 사물의 서술형 명칭을 생성할 수 있다. 상기 명칭 생성부(270)는 상기 대상 사물의 기본 명칭 및 상기 대상 사물이 배치된 특정 공간(300)의 공간 명칭에 기반하여 상기 대상 사물의 공간 기반 서술형 명칭을 생성할 수 있다. 예를 들어, 도 3에 도시된 환경에서, 상기 대상 사물이 냉장고(352)이면, 상기 명칭 생성부(270)는 상기 특정 공간(300)의 공간 명칭(예: "거실") 및 상기 냉장고(352)의 기본 명칭(예: "냉장고") 순으로 조합하여 상기 냉장고(352)의 서술형 명칭을 생성할 수 있다. 이 때, 상기 명칭 생성부(270)는 상기 냉장고(352)의 서술형 명칭을 생성하면서, 조사(예 "에") 및 상태를 나타내는 표현(예: "있는")을 사용할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 특정 공간(300)의 공간 명칭(예: "거실")과 상기 냉장고(352)의 기본 명칭(예: "냉장고") 사이에 조사(예: "에") 및 상태를 나타내는 표현(예: "있는")을 추가할 수 있다. 이에 따라, 상기 냉장고(352)의 서술형 명칭은 예를 들어, "거실에 있는 냉장고"로 생성될 수 있다.

다른 예로, 상기 명칭 생성부(270)는 상기 공간 정보의 구조 정보 및 배치 정보를 이용하여 상기 대상 사물의 서술형 명칭을 생성할 수 있다. 상기 명칭 생성부(270)는 상기 대상 사물과 상기 특정 공간(300)을 구성하는 구조물(예: 천장(371), 바닥(373), 또는 벽면(375, 377) 등)의 위치 관계에 대한 정보를 이용하여 상기 대상 사물의 서술형 명칭을 생성할 수 있다. 예를 들어, 도 3에 도시된 환경에서, 상기 대상 사물이 전등(351)이고, 상기 구조물이 천장(371)이면, 상기 명칭 생성부(270)는 상기 천장(371)을 지칭하는 명칭(예: "천장"), 상기 전등(351)과 상기 천장(371)의 위치 관계를 나타내는 표현(예: "에")(대상 사물이 구조물에 붙어 배치된 경우 상하좌우의 관계가 아니기 때문에 위치 관계를 나타내는 표현으로 조사 "에"가 사용), 및 상기 전등(351)의 기본 명칭(예: "전등") 순으로 조합하여 상기 전등(351)의 서술형 명칭을 생성할 수 있다. 이 때, 상기 명칭 생성부(270)는 상기 전등(351)의 서술형 명칭을 생성하면서, 상태를 나타내는 표현(예: "있는")을 사용할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 전등(351)과 상기 천장(371)의 위치 관계를 나타내는 표현(예: "에") 다음에 상태를 나타내는 표현(예: "있는")을 추가할 수 있다. 이에 따라, 상기 전등(351)의 서술형 명칭은 예를 들어, "천장에 있는 전등"으로 생성될 수 있다.

도 4a는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치와 기능 제어 및 명칭 생성을 위한 전자 장치가 분리된 제1 환경을 설명하기 위한 도면이다. 도 4b는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치와 기능 제어 및 명칭 생성을 위한 전자 장치가 분리된 제2 환경을 설명하기 위한 도면이다. 도 4c는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치가 직접 명칭을 생성하고 기능을 실행하는 제3 환경을 설명하기 위한 도면이다. 도 4d는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치가 직접 명칭을 생성하고 기능을 실행하는 제4 환경을 설명하기 위한 도면이다. 도 4e는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치, 명칭 생성을 위한 전자 장치, 및 기능 제어를 위한 전자 장치가 분리된 제5 환경을 설명하기 위한 도면이다. 도 4f는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치, 명칭 생성을 위한 전자 장치, 및 기능 제어를 위한 전자 장치가 분리된 제6 환경을 설명하기 위한 도면이다.

도 4a 내지 도 4f에서는, 명칭 부여의 대상과 명칭을 생성하기 위한 제어 모듈(200)의 관계를 설명하도록 한다. 명칭 부여의 대상이 되는 제2 전자 장치(450)(대상 사물)는 도 4a, 도 4b, 도 4e, 및 도 4f에서와 같이, 제어 모듈(200)을 포함하는 제1 전자 장치(410)와 통신이 가능한 장치이거나, 도 4c 및 도 4d에서와 같이, 자체로 제어 모듈(200)을 포함하여 직접 명칭을 생성하고 기능을 실행할 수 있는 장치일 수 있다.

도 4a 및 도 4b를 참조하면, 제어 모듈(200)을 포함하는 상기 제1 전자 장치(410)는 특정 공간 내에 배치된 제2 전자 장치(450)의 명칭을 생성할 수 있다. 예를 들어, 상기 제1 전자 장치(410)는 상기 제2 전자 장치(450)가 배치된 특정 공간을 촬영한 영상을 통해 상기 제2 전자 장치(450)(대상 사물)와 상기 특정 공간 내에 배치된 적어도 하나의 다른 사물(상대 사물)의 위치 관계에 대한 정보를 이용하여 상기 제2 전자 장치(450)의 서술형 명칭을 생성할 수 있다. 이 때, 상기 특정 공간을 촬영한 영상은 도 4a에서와 같이, 상기 특정 공간을 촬영할 수 있는 카메라를 포함하는 제3 전자 장치(431, 433)로부터 획득하거나, 또는 도 4b에서와 같이, 상기 제1 전자 장치(410)에 포함된 카메라(413)를 통해 획득할 수 있다. 여기서, 상기 제3 전자 장치(431, 433)는 예를 들어, 상기 특정 공간 내에 고정되어 설치된 카메라 장치(431)(예: CCTV 카메라), 또는 상기 특정 공간을 이동하면서 촬영 가능한 로봇형 장치(433)(예: 로봇 청소기) 등을 포함할 수 있다.

일 실시예에 따르면, 상기 제1 전자 장치(410)는 상기 제2 전자 장치(450)의 기능을 제어할 수 있다. 상기 제1 전자 장치(410)는 마이크(411)를 포함하고 사용자의 음성 입력에 대한 음성 인식을 수행할 수 있다. 예를 들어, 상기 제1 전자 장치(410)는 음성 인식 솔루션에 기반하여 음성 인식을 수행하거나 또는 서버(예: 서버(108))를 통해 음성 인식을 수행할 수 있다. 상기 제1 전자 장치(410)는 음성 인식의 결과에 상기 제2 전자 장치(450)를 지시하는 상기 제2 전자 장치(450)의 명칭이 포함된 경우, 상기 제2 전자 장치(450)로 활성화(예: 웨이크 업(wake up)) 신호를 전송하고, 상기 음성 인식의 결과에 특정 기능을 수행하기 위한 명령어가 포함된 경우, 상기 제2 전자 장치(450)로 상기 명령어에 대응되는 신호를 전송할 수 있다. 일 예로, 도 4a 및 도 4b에 도시된 상기 제1 전자 장치(410)는 마이크를 포함하면서 IoT 장치들의 연결 및 제어를 담당하는 IoT 허브 장치일 수 있고, 상기 제2 전자 장치(450)는 상기 IoT 허브 장치에 연결된 IoT 장치일 수 있다.

도 4c 및 도 4d를 참조하면, 상기 제2 전자 장치(450)는 제어 모듈(200)을 포함하여 스스로 상기 제2 전자 장치(450)의 명칭을 생성할 수 있다. 예를 들어, 상기 제2 전자 장치(450)는 상기 제2 전자 장치(450)가 배치된 특정 공간을 촬영한 영상을 통해 상기 제2 전자 장치(450)(대상 사물)와 상기 특정 공간 내에 배치된 적어도 하나의 다른 사물(상대 사물)의 위치 관계에 대한 정보를 이용하여 상기 제2 전자 장치(450)의 서술형 명칭을 생성할 수 있다. 이 때, 상기 특정 공간을 촬영한 영상은 도 4c에서와 같이, 상기 특정 공간을 촬영할 수 있는 카메라를 포함하는 제3 전자 장치(431, 433)로부터 획득하거나, 또는 도 4d에서와 같이, 상기 제2 전자 장치(450)에 포함된 카메라(453)를 통해 획득할 수 있다.

일 실시예에 따르면, 상기 제2 전자 장치(450)는 마이크(451)를 포함하고 사용자의 음성 입력에 대한 음성 인식을 수행할 수 있다. 또한, 상기 제2 전자 장치(410)는 음성 인식의 결과에 상기 제2 전자 장치(450)를 지시하는 상기 제2 전자 장치(450)의 명칭이 포함된 경우, 활성화될 수 있으며, 상기 음성 인식의 결과에 특정 기능을 수행하기 위한 명령어가 포함된 경우, 상기 명령어에 대응되는 상기 특정 기능을 수행할 수 있다.

도 4e 및 도 4f를 참조하면, 제어 모듈(200)의 적어도 일부 구성은 제4 전자 장치(470)에 포함될 수 있다. 예를 들어, 제4 전자 장치(470)는 제어 모듈(200)의 사물 인식부(210), 공간 정보 획득부(230), 위치 관계 판단부(250), 및 명칭 생성부(270) 중 적어도 일부를 포함할 수 있다. 이 경우, 상기 제4 전자 장치(470)는 특정 공간 내에 배치된 제2 전자 장치(450)의 명칭을 생성할 수 있다. 예를 들어, 상기 제4 전자 장치(470)는 상기 제2 전자 장치(450)가 배치된 특정 공간을 촬영한 영상을 통해 상기 제2 전자 장치(450)(대상 사물)와 상기 특정 공간 내에 배치된 적어도 하나의 다른 사물(상대 사물)의 위치 관계에 대한 정보를 이용하여 상기 제2 전자 장치(450)의 서술형 명칭을 생성할 수 있다. 이 때, 상기 특정 공간을 촬영한 영상은 도 4e에서와 같이, 상기 특정 공간을 촬영할 수 있는 카메라를 포함하는 제3 전자 장치(431, 433)로부터 획득하거나, 또는 도 4f에서와 같이, 상기 제4 전자 장치(470)에 포함된 카메라(473)를 통해 획득할 수 있다. 여기서, 상기 제3 전자 장치(431, 433)는 예를 들어, 상기 특정 공간 내에 고정되어 설치된 카메라 장치(431)(예: CCTV 카메라), 또는 상기 특정 공간을 이동하면서 촬영 가능한 로봇형 장치(433)(예: 로봇 청소기)를 포함할 수 있다.

일 실시예에 따르면, 상기 제4 전자 장치(470)는 주변 장치(IoT 장치)들을 등록할 수 있도록 지원하는 UI를 제공하고, 상기 주변 장치들을 등록하는 과정에서 상기 주변 장치들의 명칭을 생성할 수 있다. 상기 제4 전자 장치(470)는 생성된 상기 주변 장치들의 명칭을 데이터베이스에 저장할 수 있다. 일 예로, 상기 주변 장치들의 명칭은 상기 주변 장치들의 정보(예: 상기 주변 장치들의 종류, 위치, 주변 사물과의 위치 관계, 또는 배치된 공간에 대한 정보)에 매핑되어 상기 데이터베이스에 저장될 수 있다. 상기 데이터베이스는 상기 제4 전자 장치(470)의 메모리에 저장되거나, 상기 제4 전자 장치(470)와 통신 가능한 제1 전자 장치(410)의 메모리에 저장될 수 있다. 일 예로, 상기 제4 전자 장치(470)는 통신 모듈(471)을 통해 상기 제1 전자 장치(410)로 생성된 상기 주변 장치들의 명칭을 전송할 수 있다.

제어 모듈(200)의 적어도 일부 구성은 제1 전자 장치(410)에 포함될 수 있다. 예를 들어, 제어 모듈(200)의 명령 처리부(290)가 제1 전자 장치(410)에 포함될 수 있다. 이 경우, 상기 제1 전자 장치(410)는 상기 제2 전자 장치(450)의 기능을 제어할 수 있다. 상기 제1 전자 장치(410)는 마이크(411)를 포함하고 음성 인식 솔루션이 탑재되어, 사용자의 음성 입력에 대한 음성 인식을 수행할 수 있다. 또한, 상기 제1 전자 장치(410)는 음성 인식의 결과에 상기 제2 전자 장치(450)를 지시하는 상기 제2 전자 장치(450)의 명칭이 포함된 경우, 상기 제2 전자 장치(450)로 활성화(예: 웨이크 업(wake up)) 신호를 전송할 수 있다. 이 때, 상기 제1 전자 장치(410)는 상기 데이터베이스에 저장된 정보를 기반으로 상기 제2 전자 장치(450)를 식별할 수 있다. 예를 들어, 상기 제1 전자 장치(410)는 상기 데이터베이스에서 상기 제2 전자 장치(450)의 명칭을 검색하고, 상기 제2 전자 장치(450)의 명칭에 매핑된 상기 제2 전자 장치(450)의 종류, 위치, 주변 사물과의 위치 관계, 또는 배치된 공간에 대한 정보를 확인할 수 있다. 또한, 상기 제1 전자 장치(410)는 상기 음성 인식의 결과에 특정 기능을 수행하기 위한 명령어가 포함된 경우, 상기 제2 전자 장치(450)로 상기 명령어에 대응되는 신호를 전송할 수 있다. 어떤 실시예에서, 상기 음성 인식 솔루션은 서버(예: 서버(108))에 탑재될 수 있다. 이 경우, 상기 제1 전자 장치(410)는 마이크(411)를 통해 수신한 사용자의 음성 입력을 상기 서버로 전송하고, 상기 서버가 상기 사용자의 음성 입력에 대한 음성 인식을 수행하여 그 결과를 상기 제1 전자 장치(410)로 전송할 수도 있다.

도 5는 본 발명의 일 실시예에 따른 사물 인식 방법을 설명하기 위한 도면이다. 도 6은 본 발명의 일 실시예에 따른 사물의 종류, 위치, 및 공간에 대한 정보를 나타낸 도면이다. 도 7은 본 발명의 일 실시예에 따른 사물들 간의 위치 관계에 대한 정보를 나타낸 도면이다.

도 5 내지 도 7을 참조하면, 도 2의 제어 모듈(200)은 특정 공간(예: 공간 A) 내에 배치된 복수의 사물들을 인식할 수 있다. 예컨대, 상기 제어 모듈(200)의 사물 인식부(210)는 상기 특정 공간에 있는 사물들의 종류 및 상기 특정 공간에서의 상기 사물들의 위치를 판단할 수 있다. 도 5에 도시된 환경에서, 상기 사물 인식부(210)는 제1 사물(B)(510), 제2 사물(C)(520), 제3 사물(D)(530), 제4 사물(E)(540), 제5 사물(F)(550), 제6 사물(G)(560), 및 제7 사물(H)(570)의 종류 및 위치를 판단할 수 있다.

상기 사물 인식부(210)는 도 6에 도시된 바와 같이, 상기 사물들의 종류에 관한 정보(610) 및 상기 사물들의 위치에 관한 정보(630)를 사물 별로 매핑하여 테이블(600) 형태로 메모리(130)에 저장할 수 있다. 상기 사물들의 위치에 관한 정보(630)는 상기 특정 공간을 3차원 좌표로 표현(상기 특정 공간의 일지점을 X축 좌표값, Y축 좌표값, 및 Z축 좌표값으로 표현)하였을 때, 상기 사물들 각각의 3차원 좌표값이 될 수 있다. 일 예로, 상기 사물 인식부(210)는 상기 특정 공간의 중심을 상기 3차원 좌표축의 중심점으로 설정할 수 있다. 예를 들어, 상기 특정 공간이 방인 경우, 상기 방의 정중앙이 상기 3차원 좌표축의 중심점이 될 수 있다. 다른 예로, 명칭 생성부(270)를 포함하는 전자 장치가 직접 상기 특정 공간을 촬영하는 경우(상기 전자 장치에 포함된 카메라를 통해 상기 특정 공간에 대한 촬영 영상을 획득하는 경우), 상기 사물 인식부(210)는 상기 전자 장치의 위치를 상기 3차원 좌표축의 중심점으로 설정할 수도 있다. 일 실시예에 따르면, 특정 사물의 3차원 좌표값은 상기 특정 사물의 중심점에 대한 3차원 좌표값을 포함할 수 있다. 다른 실시예에 따르면, 상기 특정 사물의 3차원 좌표값은 상기 특정 사물의 코너점(corner point)들 또는 경계점들에 대한 복수의 3차원 좌표값들을 포함할 수 있다.

상기 제어 모듈(200)의 공간 정보 획득부(230)는 상기 특정 공간에 대한 공간 정보(650)를 획득할 수 있다. 상기 공간 정보(650)는 상기 특정 공간을 구성하는 구조물의 형태와 위치 등으로 결정되는 구조 정보, 상기 특정 공간 내에 배치된 사물들의 종류와 위치 등을 포함하는 배치 정보, 및 상기 특정 공간을 지칭하는 공간 명칭 등을 포함할 수 있다. 또한, 상기 공간 정보 획득부(230)는 도 6에 도시된 바와 같이, 획득한 상기 특정 공간에 대한 공간 정보(650), 상기 특정 공간 내에 배치된 상기 사물들의 종류에 관한 정보(610), 및 상기 사물들의 위치에 관한 정보(630)를 상기 사물 별로 매핑하여 상기 테이블(600) 형태로 메모리(130)에 저장할 수 있다. 도 6에서는, 상기 테이블(600)에 상기 공간 정보(650)로 상기 특정 공간을 지칭하는 공간 명칭(예: "A")이 저장된 상태를 나타내지만, 이에 한정되는 것은 아니다. 상기 테이블(600)에는 상기 공간 명칭 외에 상기 구조 정보 및 상기 배치 정보가 더 저장될 수 있다.

상기 제어 모듈(200)의 위치 관계 판단부(250)는 상기 특정 공간 내의 사물들 간의 위치 관계를 판단할 수 있다. 상기 위치 관계 판단부(250)는 상기 사물들의 위치에 관한 정보(630)를 이용해 상기 사물들 간의 위치 관계를 판단할 수 있다. 예를 들어, 상기 위치 관계 판단부(250)는 상기 사물들 중 대상 사물을 선정하고, 상기 대상 사물과 상기 대상 사물의 주변에 배치된 상대 사물의 위치 관계를 판단할 수 있다. 또한, 상기 위치 관계 판단부(250)는 상기 대상 사물과 상기 상대 사물의 위치 관계가 판단되면, 도 7에 도시된 바와 같이, 상기 대상 사물의 정보(710), 상기 상대 사물의 정보(730), 및 상기 대상 사물과 상기 상대 사물의 위치 관계에 대한 정보(750)를 상기 대상 사물 및 상기 상대 사물 별로 매핑하여 테이블(700) 형태로 메모리(130)에 저장할 수 있다. 도 7에서는, 상기 테이블(700)에 상기 대상 사물이 제1 사물(510)인 경우에 대해서 상기 상대 사물 별로 위치 관계에 대한 정보(750)가 저장된 형태를 나타내지만, 이에 한정되는 것은 아니다. 상기 테이블(700)에는 상기 대상 사물이 제2 사물(520), 제3 사물(530), 제4 사물(540), 제5 사물(550), 제6 사물(560), 또는 제7 사물(570)인 경우에 대해서도 상기 상대 사물(730) 별로 위치 관계 대한 정보(750)가 저장될 수 있다.

일 실시예에 따르면, 도 6에 도시된 테이블(600) 및 도 7에 도시된 테이블(700)은 도 4e 및 도 4f에서 언급한 데이터베이스에 포함될 수 있다. 예를 들어, 상기 테이블(600) 및 상기 테이블(700)은 대상 객체를 기준으로 서로 매핑되어 상기 데이터베이스에 저장될 수 있으며, 상기 대상 객체의 명칭도 함께 매핑되어 상기 데이터베이스에 저장될 수 있다.

도 8a는 본 발명의 일 실시예에 따른 사물들의 인식 방향과 사용자의 시선 방향이 동일한 방향일 때의 사물들 간의 위치 관계를 설명하기 위한 도면이다. 도 8b는 본 발명의 일 실시예에 따른 사물들의 인식 방향과 사용자의 시선 방향이 서로 반대 방향일 때의 사물들 간의 위치 관계를 설명하기 위한 도면이다. 도 8c는 본 발명의 일 실시예에 따른 사물들의 인식 방향과 사용자의 시선 방향이 서로 수직한 방향일 때의 사물들 간의 위치 관계를 설명하기 위한 도면이다.

도 8a 내지 도 8c를 참조하면, 도 2의 제어 모듈(200)은 특정 공간(800)(예: 공간 A) 내에 배치된 복수의 사물들의 위치에 관한 정보를 이용해 상기 사물들 간의 위치 관계를 판단할 수 있다. 예를 들어, 상기 제어 모듈(200)는 상기 특정 공간(800)을 촬영할 수 있는 카메라 장치(810)로부터 촬영 영상을 획득하여, 상기 영상 내의 사물들을 인식하고, 상기 사물들 간의 위치 관계를 판단할 수 있다.

도 8a에서와 같이, 상기 사물들의 인식 방향(제1 방향)(801)(예: 상기 카메라 장치(810)의 촬영 방향)이 사용자(830)가 상기 특정 공간(800)을 바라보는 시선 방향(제2 방향)(803)과 실질적으로 동일한 경우, 상기 제어 모듈(200)이 판단한 상기 특정 공간(800) 내에 배치된 상기 사물들 간의 위치 관계는 사용자(830)가 바라보는(인지한) 상기 사물들 간의 위치 관계와 동일할 수 있다. 예를 들어, 상기 제어 모듈(200)이 인식한 상기 특정 공간(800)의 제1 배치 구조(850)를 보면, 제1 사물(B)(851), 제2 사물(C)(852), 제3 사물(D)(853), 제4 사물(E)(854), 제5 사물(F)(855), 제6 사물(G)(856), 및 제7 사물(H)(857)의 위치 관계는 사용자(830)가 바라보는 상기 특정 공간(800)의 제2 배치 구조(870)에서의 제1 사물(B)(871), 제2 사물(C)(872), 제3 사물(D)(873), 제4 사물(E)(874), 제5 사물(F)(875), 제6 사물(G)(876), 및 제7 사물(H)(877)의 위치 관계와 동일할 수 있다.

이와 관련하여, 상기 제1 방향(801)과 상기 제2 방향(803)이 실질적으로 동일한 경우에 대해서 설명하도록 한다. 일단, 상기 카메라 장치(810)가 상기 특정 공간(800)의 일정 지점을 일정 높이에서 촬영하는 방향을 상기 제1 방향(801)이라 하고, 사용자(830)가 상기 특정 공간(800)의 동일한 지점을 동일한 높이에서 바라보는 방향을 상기 제2 방향(803)이라고 가정할 수 있다. 이러한 조건에서, 상기 제1 방향(801)을 가지는 단위 벡터인 제1 벡터와 상기 제2 방향(803)을 가지는 단위 벡터인 제2 벡터의 시작점을 일치시키고, 상기 제1 벡터와 상기 제2 벡터가 이루는 각도가 상기 제1 벡터를 기준으로 지정된 제1 각도 범위 내에 있는 경우, 상기 제1 방향(801)과 상기 제2 방향(803)이 실질적으로 동일하다고 판단할 수 있다. 여기서, 상기 제1 각도 범위는 예를 들어, 0도를 기준으로 오차 범위 45도인 -45도 내지 +45도일 수 있다.

도 8b 및 도 8c에서와 같이, 상기 제1 방향(801)이 상기 제2 방향(803)과 실질적으로 다른 경우, 상기 제어 모듈(200)이 판단한 상기 특정 공간(800) 내에 배치된 상기 사물들 간의 위치 관계는 사용자(830)가 바라보는(인지한) 상기 사물들 간의 위치 관계와 다를 수 있다.

일 예로, 도 8b에서와 같이, 상기 제1 방향(801)이 상기 제2 방향(803)과 실질적으로 반대 방향인 경우, 상기 제어 모듈(200)이 인식한 상기 특정 공간(800)의 제1 배치 구조(850)에서의 상기 사물들 간의 위치 관계는 사용자(830)가 바라보는(인지한) 상기 특정 공간(800)의 제2 배치 구조(870)에서의 상기 사물들 간의 위치 관계와 상하 방향(Y축 방향)을 기준으로 좌우 방향(X축 방향) 및 전후방 방향(Z축 방향)이 각각 서로 정반대일 수 있다. 이 경우, 상기 제어 모듈(200)이 판단한 상기 사물들 간의 위치 관계는, 상기 사물들의 X축 좌표값 및 Z축 좌표값의 부호를 변경하여 재판단함으로써, 사용자(830)가 바라보는 상기 사물들 간의 위치 관계와 동일하게 보정될 수 있다. 예를 들어, 도 8b에 도시된 바와 같이, 상기 제1 배치 구조(850)에서의 사물의 좌표값이 (X, Y, Z)일 때, 상기 제2 배치 구조(870)에서의 동일한 사물의 좌표값은 (-X, Y, -Z)일 수 있다. 이에 따라, 상기 제어 모듈(200)은 상기 제1 배치 구조(850)의 사물들의 좌표값에서 X축 좌표값 및 Z축 좌표값의 부호를 변경한 후, 상기 사물들의 위치 관계를 판단하게 되면, 상기 제2 배치 구조(870)에서의 사물들의 위치 관계와 동일한 결과를 얻을 수 있다.

예를 들어, 상기 제1 배치 구조(850)에서의 상기 제1 사물(B)(851)의 좌표값이 (X1, Y1, Z1)이고 상기 제4 사물(E)(854)의 좌표값이 (X4, Y4, Z4)이며, 상기 제1 사물(851)의 X축 좌표값(X1)이 상기 제4 사물(854)의 X축 좌표값(X4)보다 큰 경우, 제어 모듈(200)은 상기 제1 사물(851)가 상기 제4 사물(854)의 우측에 위치한다고 판단할 수 있다. 그러나, 상기 제2 배치 구조(870)에서와 같이, 사용자(830)는 상기 제1 사물(871)가 상기 제4 사물(874)의 좌측에 위치한다고 판단하기 때문에, 상기 제어 모듈(200)은 위치 관계에 대한 보정 기능을 수행할 수 있다. 예를 들어, 상기 제어 모듈(200)은 상기 제1 사물(851)의 좌표값을 (-X1, Y1, -Z1)으로 변경하고, 상기 제4 사물(854)의 좌표값을 (-X4, Y4, -Z4)로 변경한 후, 상기 제1 사물(851)와 상기 제4 사물(854)의 위치 관계를 재판단할 수 있다. 이 때, 변경된 상기 제1 사물(851)의 X축 좌표값(-X1)이 변경된 상기 제4 사물(854)의 X축 좌표값(-X4)보다 작기 때문에, 상기 제어 모듈(200)은 상기 제1 사물(851)가 상기 제4 사물(854)의 우측에 위치한다고 판단할 수 있다.

이와 관련하여, 상기 제1 방향(801)과 상기 제2 방향(803)이 실질적으로 반대 방향인 경우에 대해서 설명하도록 한다. 일단, 상기 카메라 장치(810)가 상기 특정 공간(800)의 일정 지점을 일정 높이에서 촬영하는 방향을 상기 제1 방향(801)이라 하고, 사용자(830)가 상기 특정 공간(800)의 동일한 지점을 동일한 높이에서 바라보는 방향을 상기 제2 방향(803)이라고 가정할 수 있다. 이러한 조건에서, 상기 제1 방향(801)을 가지는 단위 벡터인 제1 벡터와 상기 제2 방향(803)을 가지는 단위 벡터인 제2 벡터의 시작점을 일치시키고, 상기 제1 벡터와 상기 제2 벡터가 이루는 각도가 상기 제1 벡터를 기준으로 지정된 제2 각도 범위 내에 있는 경우, 상기 제1 방향(801)과 상기 제2 방향(803)이 실질적으로 반대 방향이라고 판단할 수 있다. 여기서, 상기 제2 각도 범위는 예를 들어, 180도를 기준으로 오차 범위 45도인 135도 내지 225도일 수 있다.

다른 예로, 상기 제1 방향(801)이 상기 제2 방향(803)과 실질적으로 수직한 경우는, 상기 제2 방향(803)이 상기 제1 방향(801)을 기준으로 시계 방향으로 약 90도 회전한 방향의 경우와 상기 제2 방향(803)이 상기 제1 방향(801)을 기준으로 반시계 방향으로 약 90도 회전한 방향의 경우로 나뉠 수 있다.

상기 제2 방향(803)이 상기 제1 방향(801)을 기준으로 시계 방향으로 약 90도 회전한 방향인 경우, 상기 제2 배치 구조(870)에서의 좌우 방향은 상기 제1 배치 구조(850)에서의 전후방 방향(Z축 방향)에 대응되고, 상기 제2 배치 구조(870)에서의 전후방 방향은 상기 제1 배치 구조(850)에서의 좌우 방향(X축 방향)의 반대 방향에 대응될 수 있다. 이 경우, 상기 제어 모듈(200)이 판단한 상기 사물들 간의 위치 관계는, 상기 사물들의 X축 좌표값을 Z축 좌표값으로 변경하면서 부호를 함께 변경하고, Z축 좌표값을 X축 좌표값으로 변경하여 재판단함으로써, 사용자(830)가 바라보는 상기 사물들 간의 위치 관계와 동일하게 보정될 수 있다. 예를 들어, 상기 제1 배치 구조(850)에서의 사물의 좌표값이 (X, Y, Z)일 때, 상기 제2 배치 구조(870)에서의 동일한 사물의 좌표값은 (Z, Y, -X)일 수 있다. 이에 따라, 상기 제어 모듈(200)은 상기 제1 배치 구조(850)의 사물들의 좌표값에서 X축 좌표값을 Z축 좌표값으로 변경하면서 부호를 함께 변경하고, Z축 좌표값을 X축 좌표값으로 변경한 후, 상기 사물들의 위치 관계를 판단하게 되면, 상기 제2 배치 구조(870)에서의 사물들의 위치 관계와 동일한 결과를 얻을 수 있다.

예를 들어, 상기 제1 배치 구조(850)에서의 상기 제1 사물(B)(851)의 좌표값이 (X1, Y1, Z1)이고 상기 제5 사물(F)(855)의 좌표값이 (X5, Y5, Z5)이며, 상기 제1 사물(851)의 X축 좌표값(X1)이 상기 제5 사물(855)의 X축 좌표값(X5)보다 작고, 상기 제1 사물(851)의 Z축 좌표값(Z1)이 상기 제5 사물(854)의 Z축 좌표값(Z5)보다 큰 경우, 제어 모듈(200)은 상기 제1 사물(851)가 상기 제5 사물(855)의 좌측 전방에 위치한다고 판단할 수 있다. 그러나, 상기 제2 배치 구조(870)에서와 같이, 사용자(830)는 상기 제1 사물(871)가 상기 제5 사물(875)의 우측 전방에 위치한다고 판단하기 때문에, 상기 제어 모듈(200)은 위치 관계에 대한 보정 기능을 수행할 수 있다. 예를 들어, 상기 제어 모듈(200)은 상기 제1 사물(851)의 좌표값을 (Z1, Y1, -X1)으로 변경하고, 상기 제5 사물(855)의 좌표값을 (Z5, Y5, -X5)로 변경한 후, 상기 제1 사물(851)와 상기 제5 사물(855)의 위치 관계를 재판단할 수 있다. 이 때, 변경된 상기 제1 사물(851)의 X축 좌표값(Z1)이 변경된 상기 제5 사물(855)의 X축 좌표값(Z5)보다 크고, 변경된 상기 제1 사물(851)의 Z축 좌표값(-X1)이 변경된 상기 제5 사물(855)의 Z축 좌표값(-X5)보다 크기 때문에, 상기 제어 모듈(200)은 상기 제1 사물(851)가 상기 제5 사물(855)의 우측 후방에 위치한다고 판단할 수 있다.

도 8c에서와 같이, 상기 제2 방향(803)이 상기 제1 방향(801)을 기준으로 반시계 방향으로 약 90도 회전한 방향인 경우, 상기 제2 배치 구조(870)에서의 좌우 방향은 상기 제1 배치 구조(850)에서의 전후방 방향(Z축 방향)의 반대 방향에 대응되고, 상기 제2 배치 구조(870)에서의 전후방 방향은 상기 제1 배치 구조(850)에서의 좌우 방향(X축 방향)에 대응될 수 있다. 이 경우, 상기 제어 모듈(200)이 판단한 상기 사물들 간의 위치 관계는, 상기 사물들의 X축 좌표값을 Z축 좌표값으로 변경하고, Z축 좌표값을 X축 좌표값으로 변경하면서 부호를 함께 변경하여 재판단함으로써, 사용자(830)가 바라보는 상기 사물들 간의 위치 관계와 동일하게 보정될 수 있다. 예를 들어, 상기 제1 배치 구조(850)에서의 사물의 좌표값이 (X, Y, Z)일 때, 상기 제2 배치 구조(870)에서의 동일한 사물의 좌표값은 (-Z, Y, X)일 수 있다. 이에 따라, 상기 제어 모듈(200)은 상기 제1 배치 구조(850)의 사물들의 좌표값에서 X축 좌표값을 Z축 좌표값으로 변경하고, Z축 좌표값을 X축 좌표값으로 변경하면서 부호를 함께 변경한 후, 상기 사물들의 위치 관계를 판단하게 되면, 상기 제2 배치 구조(870)에서의 사물들의 위치 관계와 동일한 결과를 얻을 수 있다.

예를 들어, 상기 제1 배치 구조(850)에서의 상기 제1 사물(B)(851)의 좌표값이 (X1, Y1, Z1)이고 상기 제5 사물(F)(855)의 좌표값이 (X5, Y5, Z5)이며, 상기 제1 사물(851)의 X축 좌표값(X1)이 상기 제5 사물(855)의 X축 좌표값(X5)보다 작고, 상기 제1 사물(851)의 Z축 좌표값(Z1)이 상기 제5 사물(854)의 Z축 좌표값(Z5)보다 큰 경우, 제어 모듈(200)은 상기 제1 사물(851)가 상기 제5 사물(855)의 좌측 전방에 위치한다고 판단할 수 있다. 그러나, 상기 제2 배치 구조(870)에서와 같이, 사용자(830)는 상기 제1 사물(871)가 상기 제5 사물(875)의 좌측 후방에 위치한다고 판단하기 때문에, 상기 제어 모듈(200)은 위치 관계에 대한 보정 기능을 수행할 수 있다. 예를 들어, 상기 제어 모듈(200)은 상기 제1 사물(851)의 좌표값을 (-Z1, Y1, X1)으로 변경하고, 상기 제5 사물(855)의 좌표값을 (-Z5, Y5, X5)로 변경한 후, 상기 제1 사물(851)와 상기 제5 사물(855)의 위치 관계를 재판단할 수 있다. 이 때, 변경된 상기 제1 사물(851)의 X축 좌표값(-Z1)이 변경된 상기 제5 사물(855)의 X축 좌표값(-Z5)보다 작고, 변경된 상기 제1 사물(851)의 Z축 좌표값(X1)이 변경된 상기 제5 사물(855)의 Z축 좌표값(X5)보다 작기 때문에, 상기 제어 모듈(200)은 상기 제1 사물(851)가 상기 제5 사물(855)의 좌측 후방에 위치한다고 판단할 수 있다.

이와 관련하여, 상기 제1 방향(801)과 상기 제2 방향(803)이 실질적으로 수직한 경우에 대해서 설명하도록 한다. 일단, 상기 카메라 장치(810)가 상기 특정 공간(800)의 일정 지점을 일정 높이에서 촬영하는 방향을 상기 제1 방향(801)이라 하고, 사용자(830)가 상기 특정 공간(800)의 동일한 지점을 동일한 높이에서 바라보는 방향을 상기 제2 방향(803)이라고 가정할 수 있다. 이러한 조건에서, 상기 제1 방향(801)을 가지는 단위 벡터인 제1 벡터와 상기 제2 방향(803)을 가지는 단위 벡터인 제2 벡터의 시작점을 일치시키고, 상기 제1 벡터와 상기 제2 벡터가 이루는 각도가 상기 제1 벡터를 기준으로 지정된 제3 각도 범위 내에 있는 경우, 상기 제1 방향(801)과 상기 제2 방향(803)이 실질적으로 수직하다고 판단할 수 있다. 여기서, 상기 제3 각도 범위는 예를 들어, 90도를 기준으로 오차 범위 45도인 45도 내지 135도(상기 제2 방향(803)이 상기 제1 방향(801)을 기준으로 반시계 방향으로 약 90도 회전한 방향인 경우), 및 270도를 기준으로 오차 범위 45도인 225도 내지 315도(상기 제2 방향(803)이 상기 제1 방향(801)을 기준으로 시계 방향으로 약 90도 회전한 방향인 경우)일 수 있다. 일 실시예에 따르면, 상기 제3 각도 범위는 상기 제1 각도 범위 및 상기 제2 각도 범위와 중첩된 각도를 고려하여, 46도 내지 134도, 및 226도 내지 314도로 설정될 수도 있다.

상술한 바와 같이, 다양한 실시예에 따르면, 전자 장치(예: 전자 장치(101))는, 외부 전자 장치와의 통신을 위한 통신 회로(예: 통신 모듈(190)), 상기 통신 회로와 작동적으로 연결된 프로세서(예: 프로세서(120)), 및 상기 프로세서와 작동적으로 연결된 메모리(예: 메모리(130))를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 제1 공간 내에 배치된 복수의 사물들의 종류에 관한 제1 정보 및 상기 제1 공간에 대한 제1 방향에서의 상기 복수의 사물들의 위치에 관한 제2 정보를 획득하고, 상기 복수의 사물들 중 명칭 부여의 대상이 되는 대상 사물을 선정하고, 상기 제1 정보 중 상기 대상 사물의 종류에 관한 정보에 기반하여 상기 대상 사물의 적어도 하나의 제1 명칭을 생성하고, 상기 제1 정보 중 상기 대상 사물의 주변에 배치된 적어도 하나의 상대 사물의 종류에 관한 정보에 기반하여 상기 상대 사물의 적어도 하나의 제2 명칭을 생성하고, 상기 제2 정보에 기반하여 상기 대상 사물과 상기 적어도 하나의 상대 사물의 상대적 위치 관계를 판단하고, 상기 적어도 하나의 제1 명칭, 상기 적어도 하나의 제2 명칭, 및 상기 대상 사물과 상기 적어도 하나의 상대 사물의 상대적 위치 관계에 기반하여 상기 대상 사물의 적어도 하나의 제3 명칭을 생성하도록 하는 인스트럭션들을 저장할 수 있다.

다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 통신 회로를 통해, 상기 제1 공간을 촬영할 수 있는 카메라를 포함하는 상기 외부 전자 장치로부터 상기 제1 공간을 상기 제1 방향에서 촬영한 영상을 획득하고, 상기 영상을 분석하여 상기 제1 정보 및 상기 제2 정보를 획득하도록 할 수 있다.

다양한 실시예에 따르면, 상기 전자 장치는, 카메라(예: 카메라 모듈(180))를 더 포함하고, 상기 인스트럭션들은, 상기 프로세서가, 상기 카메라를 통해 상기 제1 공간을 상기 제1 방향에서 촬영한 영상을 획득하고, 상기 영상을 분석하여 상기 제1 정보 및 상기 제2 정보를 획득하도록 할 수 있다.

다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 사용자가 상기 제1 공간을 바라보는 제2 방향을 판단하고, 상기 판단 결과에 기반하여, 상기 제1 방향 및 상기 제2 방향이 실질적으로 다른 방향인 경우, 상기 제2 정보에 포함된 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값을 보정하고, 상기 보정된 대상 사물의 좌표값 및 상기 보정된 적어도 하나의 상대 사물의 좌표값에 기반하여 상기 대상 사물과 상기 적어도 하나의 상대 사물의 상대적 위치 관계를 재판단하도록 할 수 있다.

다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 제1 방향 및 상기 제2 방향이 실질적으로 반대 방향이라고 판단한 경우, 상기 제2 정보에 포함된 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값에서, X축 좌표값 및 Z축 좌표값의 부호를 변경하여 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값을 보정하도록 할 수 있다.

다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 제2 방향이 상기 제1 방향을 기준으로 시계 방향으로 약 90도 회전한 방향에 대응된다고 판단한 경우, 상기 제2 정보에 포함된 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하면서 부호를 함께 변경하고, Z축 좌표값을 X축 좌표값으로 변경하여 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값을 보정하도록 할 수 있다.

다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 제2 방향이 상기 제1 방향을 기준으로 반시계 방향으로 약 90도 회전한 방향에 대응된다고 판단한 경우, 상기 제2 정보에 포함된 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하고, Z축 좌표값을 X축 좌표값으로 변경하면서 부호를 함께 변경하여 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값을 보정하도록 할 수 있다.

다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 통신 회로를 통해 상기 외부 전자 장치로 상기 적어도 하나의 제3 명칭을 전송하도록 할 수 있다.

다양한 실시예에 따르면, 상기 전자 장치는, 마이크를 더 포함하고, 상기 인스트럭션들은, 상기 프로세서가, 상기 마이크를 통해, 사용자의 음성 명령을 획득하고, 상기 음성 명령에 대한 음성 인식을 수행하고, 상기 음성 인식의 수행 결과에 포함된 명칭과 관련된 표현에 기반하여 상기 대상 사물을 식별하고, 상기 음성 인식의 수행 결과에 포함된 기능과 관련된 표현에 기반하여 상기 대상 사물의 기능이 수행되어야 할 방향이나 위치를 판단하고, 상기 통신 회로를 통해 상기 대상 사물로 상기 대상 사물의 기능 및 상기 대상 사물의 기능이 수행되어야 할 방향이나 위치와 관련된 신호를 전송하도록 설정될 수 있다.

상술한 바와 같이, 다양한 실시예에 따르면, 전자 장치(예: 전자 장치(101))는, 카메라(예: 카메라 모듈(180)), 통신 회로(예: 통신 모듈(190)), 상기 카메라 및 상기 통신 회로와 작동적으로 연결된 프로세서(예: 프로세서(120)), 및 상기 프로세서와 작동적으로 연결된 메모리(예: 메모리(130))를 포함하고, 상기 메모리는, 실행 시, 상기 프로세서가, 상기 카메라 또는 상기 통신 회로를 통해 적어도 하나의 외부 전자 장치가 배치된 제1 공간에 관련된 제1 이미지를 획득하고, 상기 제1 이미지를 분석하여, 상기 제1 공간에 배치된 상기 적어도 하나의 외부 전자 장치의 종류에 관한 제1 정보 및 상기 제1 공간에 대한 제1 방향에서의 상기 적어도 하나의 외부 전자 장치의 위치에 관한 제2 정보를 획득하고, 상기 제1 정보에 기반하여 상기 적어도 하나의 외부 전자 장치의 명칭을 생성하고, 상기 제2 정보에 기반하여 상기 전자 장치와 상기 적어도 하나의 외부 전자 장치의 위치 관계를 판단하고, 상기 제1 정보 및 상기 제2 정보에 적어도 일부 기반하여 상기 적어도 하나의 외부 전자 장치의 명칭을 생성하도록 하는 인스트럭션들을 저장할 수 있다.

다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 카메라 또는 상기 통신 회로를 통해 사용자가 포함된 제2 이미지를 획득하고, 상기 제2 이미지를 분석하여, 상기 사용자가 상기 제1 공간을 바라보는 제2 방향을 판단하고, 상기 판단 결과에 기반하여, 상기 제1 방향 및 상기 제2 방향이 실질적으로 다른 방향인 경우, 상기 제2 정보에 포함된 상기 적어도 하나의 외부 전자 장치의 위치 관계를 보정하도록 할 수 있다.

다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 판단 결과에 기반하여, 상기 제1 방향 및 상기 제2 방향이 실질적으로 반대 방향인 경우, 상기 제2 정보에 포함된 상기 적어도 하나의 외부 전자 장치의 좌표값에서, X축 좌표값 및 Z축 좌표값의 부호를 변경하여 상기 적어도 하나의 외부 전자 장치의 상기 위치 관계를 보정하도록 할 수 있다.

다양한 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 판단 결과에 기반하여, 상기 제2 방향이 상기 제1 방향을 기준으로 시계 방향으로 약 90도 회전한 방향인 경우, 상기 제2 정보에 포함된 상기 적어도 하나의 외부 전자 장치의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하면서 부호를 함께 변경하고, Z축 좌표값을 X축 좌표값으로 변경하여 상기 적어도 하나의 외부 전자 장치의 상기 위치 관계를 보정하도록 할 수 있다.

다양한 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 판단 결과에 기반하여, 상기 제2 방향이 상기 제1 방향을 기준으로 반시계 방향으로 약 90도 회전한 방향인 경우, 상기 제2 정보에 포함된 상기 적어도 하나의 외부 전자 장치의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하고, Z축 좌표값을 X축 좌표값으로 변경하면서 부호를 함께 변경하여 상기 적어도 하나의 외부 전자 장치의 상기 위치 관계를 보정하도록 할 수 있다.

도 9는 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치와 명칭 생성을 위한 전자 장치가 분리된 환경에서의 네이밍 방법을 설명하기 위한 도면이다.

도 9를 참조하면, 제어 모듈(200)의 적어도 일부(예: 사물 인식부(210), 공간 정보 획득부(230), 위치 관계 판단부(250), 및 명칭 생성부(270))를 포함하는 전자 장치(101)(예: 도 4a 및 도 4b의 제1 전자 장치(410), 또는 도 4e 및 도 4f의 제4 전자 장치(470))는 동작 910에서, 상기 제어 모듈(200)의 사물 인식부(210)를 통해, 특정 공간 내에 배치된 사물들의 종류에 관한 제1 정보 및 위치에 관한 제2 정보를 획득할 수 있다. 예를 들어, 상기 사물 인식부(210)는 영상 인식, 전파/음파 인식, 또는 IoT 시스템을 통한 인식과 같은 방법으로 상기 특정 공간 내에 배치된 사물들의 종류 및 위치를 판단할 수 있고, 상기 사물들의 종류에 관한 제1 정보 및 상기 사물들의 위치에 관한 제2 정보를 획득할 수 있다.

상기 제어 모듈(200)의 명칭 생성부(270)는 상기 사물들 중 명칭 부여의 대상이 되는 전자 장치(예: 도 4a, 도 4b, 도 4e, 및 도 4f의 제2 전자 장치(450))를 대상 사물로 선정하고, 상기 대상 사물의 주변에 존재하는 사물을 상대 사물로 선정할 수 있다. 이 후, 동작 920에서, 상기 명칭 생성부(270)는 상기 대상 사물의 제1 명칭 및 상기 상대 사물의 제2 명칭을 생성할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 제1 정보 중 상기 대상 사물의 종류에 관한 정보를 기반으로 상기 대상 사물의 제1 명칭을 생성하고, 상기 제1 정보 중 상기 상대 사물의 종류에 관한 정보를 기반으로 상기 상대 사물의 제2 명칭을 생성할 수 있다. 여기서, 사물의 종류에 기반하여 생성되는 명칭은 사물을 일반적으로 지칭하는 기본 명칭에 대응될 수 있다. 예를 들어, 영상 인식의 경우, 영상 분석을 통한 사물 인식에 기반하여 대상 사물 및 상대 사물의 기본 명칭을 생성할 수 있다.

동작 930에서, 상기 제어 모듈(200)의 위치 관계 판단부(250)는 상기 대상 사물과 상기 상대 사물의 위치 관계를 판단할 수 있다. 상기 위치 관계 판단부(250)는 상기 사물들의 위치에 관한 제2 정보를 기반으로 상기 대상 사물과 상기 상대 사물의 위치 관계를 판단할 수 있다. 일 예로, 상기 위치 관계 판단부(250)는 상기 특정 공간을 촬영한 영상에서 사물들 간의 관계를 추출하는 딥 러닝 기술인 관계형 추론 네트워크 알고리즘을 활용하여 상기 사물들 간의 위치 관계를 판단할 수 있다. 이 때, 상기 사물들의 위치에 관한 제2 정보는 상기 사물들 간의 위치 관계를 판단하는 학습 데이터로 이용될 수 있다.

동작 940에서, 상기 명칭 생성부(270)는 상기 대상 사물의 제1 명칭, 상기 상대 사물의 제2 명칭, 및 상기 대상 사물과 상기 상대 사물의 위치 관계에 기반하여 상기 대상 사물의 제3 명칭을 생성할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 제2 명칭, 상기 위치 관계를 나타내는 표현, 및 상기 제1 명칭 순으로 조합하여 상기 제3 명칭을 생성할 수 있다. 이 때, 상기 명칭 생성부(270)는 상기 제3 명칭을 생성하면서, 상태를 나타내는 표현을 추가할 수 있다. 예를 들어, 상기 제3 명칭은 존재하는 상태를 나타내는 표현인 "있는", "배치된", 또는 "위치한"을 포함하거나, 존재하지 않는 상태를 나타내는 표현인 "없는", "배치되지 않은", 또는 "위치하지 않은"을 포함할 수 있다. 일 예로, 상기 대상 사물이 스탠드이고, 상기 스탠드의 왼쪽에 있는 TV가 상기 상대 사물인 경우, 상기 명칭 생성부(270)는 상기 대상 사물의 제1 명칭을 "스탠드"로 생성하고, 상기 상대 사물의 제2 명칭을 "TV"로 생성할 수 있으며, 상기 대상 사물과 상기 상대 사물의 위치 관계에 기반한 상기 대상 사물의 제3 명칭을 "TV 오른쪽에 있는 스탠드"로 생성할 수 있다.

동작 950에서, 상기 제어 모듈(200)은 상기 대상 사물이 음성 인식이 가능한 장치인지를 판단할 수 있다. 예를 들어, 상기 제어 모듈(200)은 상기 대상 사물이 마이크를 포함하고 음성 인식 솔루션이 탑재되어 있는지를 판단할 수 있다.

상기 대상 사물이 음성 인식이 가능한 장치인 경우(예: 상기 대상 사물이 제어 모듈(200)의 명령 처리부(290)를 포함하는 경우), 동작 960에서, 상기 제어 모듈(200)은 생성한 상기 대상 사물의 제3 명칭을 상기 대상 사물로 전송할 수 있다. 이에 따라, 사용자가 상기 제3 명칭을 발화했을 때, 상기 대상 사물은 사용자의 음성 입력에 대한 음성 인식을 수행하고, 음성 인식의 결과에 상기 제3 명칭이 포함된 경우, 활성화되어 상기 음성 인식의 결과에 포함된 특정 명령어에 대응되는 기능을 수행할 수 있다. 어떤 실시예에서, 상기 제어 모듈(200)은 상기 제3 명칭과 함께 상기 대상 사물의 제1 명칭을 상기 대상 사물로 전송할 수도 있다.

상기 대상 사물이 음성 인식이 가능한 장치가 아닌 경우(예: 상기 대상 사물이 제어 모듈(200)의 명령 처리부(290)를 포함하지 않는 경우), 동작 970에서, 상기 제어 모듈(200)은 생성한 상기 대상 사물의 제3 명칭을 상기 대상 사물을 지시하는 지시어에 매핑하여 메모리(130)에 저장할 수 있다. 이에 따라, 사용자가 상기 제3 명칭을 발화했을 때, 전자 장치(101)의 마이크를 통해 수신된 사용자의 음성 입력에 대한 음성 인식을 수행하고, 음성 인식의 결과에 상기 제3 명칭이 포함된 경우, 상기 메모리(130)에서 상기 제3 명칭에 매핑된 지시어를 검색하고, 검색된 지시어의 대상 사물로 활성화 신호를 전송하고, 상기 음성 인식의 결과에 특정 기능을 수행하기 위한 명령어가 포함된 경우, 상기 대상 사물로 상기 명령어에 대응되는 신호를 전송할 수 있다. 어떤 실시예에서, 상기 제어 모듈(200)은 상기 제3 명칭과 함께 상기 대상 사물의 제1 명칭을 상기 대상 사물을 지시하는 지시어에 매핑하여 메모리(130)에 저장할 수 있다.

일 실시예에 따르면, 상기 전자 장치(101)는 동작 950의 수행을 생략할 수 있다. 일 예로, 상기 전자 장치(101)가 상기 대상 사물을 제어하는 장치(예: IoT 장치들을 제어하는 IoT 허브 장치)인 경우, 상기 전자 장치(101)는 동작 950의 수행을 생략하고 동작 970을 수행할 수 있다. 다른 예로, 상기 전자 장치(101)가 상기 대상 사물을 제어하는 장치(예: IoT 허브 장치)와 연결된 장치(예: 스마트 폰)인 경우, 상기 전자 장치(101)는 동작 950의 수행을 생략하고 동작 970에서, 상기 대상 사물의 제3 명칭(및 제1 명칭)을 상기 대상 사물을 제어하는 장치(예: IoT 허브 장치)로 전송할 수 있다. 이 때, 상기 전자 장치(101)는 상기 대상 사물의 명칭과 함께 상기 대상 사물의 정보(예: 상기 대상 사물의 종류, 위치, 주변 사물과의 위치 관계, 또는 배치된 공간에 대한 정보)를 상기 대상 사물을 제어하는 장치로 전송할 수 있다.

도 10은 본 발명의 일 실시예에 따른 명칭 부여의 대상이 되는 전자 장치가 직접 명칭을 생성하는 환경에서의 네이밍 방법을 설명하기 위한 도면이다.

도 10을 참조하면, 제어 모듈(200)을 포함하는 전자 장치(101)(예: 도 4c 및 도 4d의 제2 전자 장치(450))는 동작 1010에서, 상기 제어 모듈(200)의 사물 인식부(210)를 통해, 특정 공간 내에 배치된 상대 사물의 종류에 관한 제1 정보 및 위치에 관한 제2 정보를 획득할 수 있다. 예를 들어, 상기 사물 인식부(210)는 영상 인식, 전파/음파 인식, 또는 IoT 시스템을 통한 인식과 같은 방법으로 상기 특정 공간 내에 배치된 상기 상대 사물의 종류 및 위치를 판단할 수 있고, 상기 상대 사물의 종류에 관한 제1 정보 및 상기 상대 사물의 위치에 관한 제2 정보를 획득할 수 있다. 일 실시예에 따르면, 상기 전자 장치(101)가 상기 제1 정보 및 상기 제2 정보를 상기 전자 장치(101)에 포함된 구성(예: 카메라)을 통해 직접 획득하지 않은 경우, 상기 제1 정보에는 상기 전자 장치(101)의 종류에 관한 정보가 포함되고, 상기 제2 정보에는 상기 전자 장치(101)의 위치에 관한 정보가 포함될 수 있다.

동작 1020에서, 상기 제어 모듈(200)의 명칭 생성부(270)는 상기 상대 사물의 명칭을 생성할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 상대 사물의 종류에 관한 제1 정보를 기반으로 상기 상대 사물의 명칭을 생성할 수 있다. 여기서, 사물의 종류에 기반하여 생성되는 명칭은 사물을 일반적으로 지칭하는 기본 명칭에 대응될 수 있다. 일 실시예에 따르면, 상기 제어 모듈(200)은 상기 전자 장치(101)의 기본 명칭을 메모리(130)로부터 획득하거나, 상기 제1 정보에 상기 전자 장치(101)의 종류에 관한 정보가 포함된 경우, 상기 제1 정보를 기반으로 상기 전자 장치(101)의 기본 명칭을 생성할 수도 있다.

동작 1030에서, 상기 제어 모듈(200)의 위치 관계 판단부(250)는 상기 상대 사물과의 위치 관계를 판단할 수 있다. 상기 위치 관계 판단부(250)는 상기 상대 사물의 위치에 관한 제2 정보를 기반으로 상기 전자 장치(101)와 상기 상대 사물의 위치 관계를 판단할 수 있다. 이 때, 상기 제2 정보에는 상기 전자 장치(101)의 위치에 관한 정보가 포함될 수 있다. 또는, 상기 제2 정보에 상기 전자 장치(101)의 위치에 관한 정보가 포함되지 않은 경우 예를 들어, 상기 전자 장치(101)가 상기 제2 정보를 상기 전자 장치(101)에 포함된 구성(예: 카메라)을 통해 직접 획득한 경우, 상기 제2 정보는 상기 전자 장치(101)의 위치를 기준으로 획득된 것이기 때문에, 상기 위치 관계 판단부(250)는 상기 전자 장치(101)의 위치를 기준으로 획득된 상기 제2 정보에 기반하여 상기 전자 장치(101)와 상기 상대 사물의 위치 관계를 판단할 수 있다.

동작 1040에서, 상기 명칭 생성부(270)는 상기 상대 사물의 명칭 및 상기 상대 사물과의 위치 관계에 기반하여 상기 전자 장치(101)의 명칭을 생성할 수 있다. 예를 들어, 상기 명칭 생성부(270)는 상기 상대 사물의 명칭, 상기 위치 관계를 나타내는 표현, 및 상기 전자 장치(101)의 기본 명칭 순으로 조합하여 상기 전자 장치(101)의 명칭을 생성할 수 있다. 이 때, 상기 명칭 생성부(270)는 상기 전자 장치(101)의 명칭을 생성하면서, 상태를 나타내는 표현을 추가할 수 있다. 예를 들어, 상기 전자 장치(101)의 명칭은 존재하는 상태를 나타내는 표현인 "있는", "배치된", 또는 "위치한"과 같은 표현을 포함하거나, 존재하지 않는 상태를 나타내는 표현인 "없는", "배치되지 않은", 또는 "위치하지 않은"과 같은 표현을 포함할 수 있다.

동작 1050에서, 상기 제어 모듈(200)은 생성된 상기 전자 장치(101)의 명칭을 메모리(130)에 저장할 수 있다. 이에 따라, 상기 전자 장치(101)는 사용자가 상기 전자 장치(101)의 명칭을 발화했을 때, 상기 전자 장치(101)의 마이크를 통해 수신된 사용자의 음성 입력에 대한 음성 인식을 수행하고, 음성 인식의 결과에 상기 전자 장치(101)의 명칭이 포함된 경우, 활성화되어 상기 음성 인식의 결과에 포함된 특정 명령어에 대응되는 기능을 수행할 수 있다. 어떤 실시예에서, 상기 제어 모듈(200)은 생성된 상기 전자 장치(101)의 명칭을 기저장된 상기 전자 장치(101)의 기본 명칭에 매핑하여 상기 메모리(130)에 저장할 수 있다.

일 실시예에 따르면, 상술한 도 9 및 도 10의 동작들을 통해, 상대 사물과의 위치 관계에 기반하여 대상 사물의 명칭이 생성된 후, 상기 대상 사물의 위치 또는 상기 상대 사물의 위치 중 적어도 하나가 변경되면, 상기 제어 모듈(200)은 변경된 위치에 기반하여 상기 대상 사물과 상기 상대 사물의 위치 관계를 재판단하고, 재판단된 위치 관계에 기반하여 상기 대상 사물의 명칭을 재생성(업데이트)할 수 있다.

일 실시예에 따르면, 상기 제어 모듈(200)은 상기 대상 사물의 위치 또는 상기 상대 사물의 위치가 변경되는지를 주기적으로 확인할 수 있다. 어떤 실시예에서, 상기 제어 모듈(200)은 서버나 외부 전자 장치로부터 상기 대상 사물의 위치 또는 상기 상대 사물의 위치가 변경되었음을 알리는 이벤트를 수신함으로써, 상기 대상 사물의 위치 또는 상기 상대 사물의 위치가 변경되었음을 인식할 수 있다.

일 실시예에 따르면, 상기 제어 모듈(200)은 새로운 사물이 발견(인식)되면, 상기 새로운 사물을 상대 사물로 설정하고, 상기 대상 사물과의 위치 관계를 판단할 수 있다. 일 예로, 상기 제어 모듈(200)은 통신 회로(예: 통신 모듈(190))를 통해, 상기 새로운 사물(전자 장치)이 연결되면, 상기 새로운 사물을 인식할 수 있다.

도 11은 본 발명의 일 실시예에 따른 사용자의 음성 입력에 대한 음성 인식 기능을 설명하기 위한 도면이다. 도 12는 본 발명의 일 실시예에 따른 전자 장치의 명칭을 통해 전자 장치를 식별하는 기능을 설명하기 위한 도면이다.

도 11 및 도 12를 참조하면, 마이크를 포함하고 음성 인식 솔루션이 탑재(예: 제어 모듈(200)의 명령 처리부(290)가 포함)된 전자 장치(101)는 사용자(1101)의 음성 입력(1100)에 대한 음성 인식을 수행할 수 있다. 일 실시예에 따르면, 상기 전자 장치(101)는 상기 음성 입력(1100)(예: 음성 데이터)을 텍스트 데이터로 변환할 수 있다. 예를 들어, 상기 전자 장치(101)는 음향(acoustic) 모델 및 언어(language) 모델을 이용하여 음성 입력을 텍스트 데이터로 변환할 수 있다. 여기서, 상기 음향 모델은 발성에 관련된 정보를 포함할 수 있고, 상기 언어 모델은 단위 음소 정보 및 단위 음소 정보의 조합에 대한 정보를 포함할 수 있다. 상기 음향 모델 및 언어 모델에 대한 정보는, 데이터베이스화되어 메모리(130)에 저장될 수 있다.

일 실시예에 따르면, 상기 전자 장치(101)는 상기 텍스트 데이터에서 키워드(keyword)들을 태깅(tagging)하고, 태깅 정보를 기준으로 발화의 의미를 세부적으로 분류할 수 있다. 예를 들어, 상기 전자 장치(101)는 상기 텍스트 데이터에서 명칭 관련 표현을 추출하고, 상기 명칭 관련 표현에서 유의미한 태깅 정보를 추출할 수 있다.

사용자(1101)가 "TV 오른쪽에 있는 스탠드 켜줘"라고 발화한 경우, 상기 명령 처리부(290)는 사용자의 음성 입력을 텍스트 데이터("TV 오른쪽에 있는 스탠드 켜줘")로 변환시킬 수 있다. 또한, 상기 명령 처리부(290)는 상기 텍스트 데이터에서 명칭 관련 표현(1110)을 추출할 수 있다. 예를 들어, 상기 명령 처리부(290)는 상기 텍스트 데이터에서 기능과 관련된 표현(1130)(예: "켜줘")과 명칭 관련 표현(1110)(예: "TV 오른쪽에 있는 스탠드")을 구분하여 추출할 수 있다. 또한, 상기 명령 처리부(290)는 상기 명칭 관련 표현(1110)에서 유의미한 태깅 정보를 추출할 수 있다. 예를 들어, 상기 명령 처리부(290)는 상기 명칭 관련 표현(1110)에서 상기 기능을 수행할 대상 사물의 명칭(1113)(예: "스탠드") 및 상기 대상 사물을 부가적으로 설명하는 표현(1111)(예: "TV 오른쪽에 있는")을 추출할 수 있다. 상기 대상 사물의 명칭(1113)은 상기 대상 사물의 종류에 기반하여 설정된 기본 명칭일 수 있다. 또한, 상기 대상 사물을 부가적으로 설명하는 표현(1111)은 상기 대상 사물의 공간적 위치 또는 주변 사물과의 상대적 위치를 서술하는 표현을 포함할 수 있다. 상기 명령 처리부(290)는 상기 대상 사물을 부가적으로 설명하는 표현(1111)에서 상대 사물의 명칭(1111a)(예: "TV"), 상기 대상 사물과 상기 상대 사물의 위치 관계를 나타내는 표현(1111b)(예: "오른쪽에"), 및 상태를 나타내는 표현(1111c)(예: "있는")을 추출할 수 있다.

일 실시예에 따르면, 상기 명령 처리부(290)는 상기 기능과 관련된 표현(1130)에서 유의미한 태깅 정보를 추출할 수 있다. 예를 들어, 상기 명령 처리부(290)는 상기 기능과 관련된 표현(1130)에서 상기 기능을 수행하기 위한 명령어 및 상기 기능이 수행되어야 할 방향이나 위치를 설명하는 표현을 추출할 수 있다. 상기 기능이 수행되어야 할 방향이나 위치를 설명하는 표현은 예를 들어, 상기 대상 사물의 위치를 기준으로 하는 절대적 방향이나 지역(또는 공간)의 고정적인 정보를 나타내는 절대적 위치(예: 공간 명칭)를 나타내는 표현, 또는 주변 사물과의 위치 관계에 기반한 상대적 방향이나 상대적 위치를 나타내는 표현을 포함할 수 있다. 도 11에서는 상기 기능과 관련된 표현(1130)이 특정 명령어만을 포함한 상태를 나타낸다.

일 실시예에 따르면, 상기 명령 처리부(290)는 분류된 태깅 정보를 기준으로 사용자(1101)의 의도를 파악할 수 있다. 예를 들어, 상기 명령 처리부(290)는 도 7에서와 같이, 상기 대상 사물의 정보(710), 상기 상대 사물의 정보(730), 및 상기 대상 사물과 상기 상대 사물의 위치 관계에 대한 정보(750)가 상기 대상 사물 및 상기 상대 사물 별로 매핑되어 저장된 테이블(700)에서, 사용자(1101)의 의도에 적합한 대상 사물 및 상대 사물을 검색하고, 검색된 상기 대상 사물 및 상기 상대 사물과 매핑된 위치 관계에 대한 정보를 이용하여 사용자(1101)의 의도를 정확하게 파악할 수 있다.

사용자(1101)의 의도를 파악하는 기능에서 도 12에 도시된 바와 같이, 디시전 트리 알고리즘(decision tree algorithm)이 이용될 수 있다. 예를 들어, 상기 명령 처리부(290)는 상기 테이블(700)의 상대 사물에 대응되는 제1 항목들(1231, 1232, 1233, 또는 1234) 중에서, 사용자(1101)의 음성 입력에 대응되는 텍스트 데이터(1210)에 포함된 상대 사물의 명칭(1111a)(예: "TV")에 대응되는 제1 항목(1233)을 검색하고, 상기 제1 항목(1233)에 매핑된 제2 항목들(1251, 1252, 1253, 1254, 1255, 또는 1256) 중 위치 관계를 나타내는 표현(1111b)(예: "오른쪽")에 대응되는 제2 항목(1253)을 검색하고, 검색된 상기 제2 항목(1253)이 대상 사물의 명칭(1113)(예: "스탠드")에 대응되는지를 확인하고, 대응되는 경우, 사용자(1101)의 의도에 맞는 대상 사물을 파악할 수 있다. 어떤 실시예에서, 상기 명령 처리부(290)는 학습 과정에서 발생하는 노이즈(noise)를 감소시키기 위해, 랜덤 포레스트 알고리즘(random forest algorithm)을 이용해 정확도를 높일 수도 있다.

도 13은 본 발명의 일 실시예에 따른 사물 인식 방법을 설명하기 위한 화면 예시도이다.

도 13을 참조하면, 제어 모듈(200)을 포함하는 전자 장치(1300)(예: 전자 장치(101))는 상기 제어 모듈(200)의 사물 인식부(210)를 통해 특정 공간에 있는 사물들을 인식할 수 있다. 예컨대, 상기 사물 인식부(210)는 상기 특정 공간에 있는 사물들의 종류 및 상기 특정 공간에서의 상기 사물들의 위치를 판단할 수 있다.

일 실시예에 따르면, 상기 전자 장치(1300)가 상기 특정 공간을 촬영한 영상을 디스플레이(1301)에 출력한 상태에서, 상기 사물 인식부(210)는 인식된 사물들 중 명칭 부여의 대상이 되는 대상 사물을 주변 사물들과 구분할 수 있도록 상기 영상에 그래픽 효과를 적용할 수 있다. 예를 들어, 상기 디스플레이(1301)에 상기 대상 사물(1310) 및 주변 사물(1330)이 포함된 영상이 출력된 상태에서, 상기 사물 인식부(210)는 상기 대상 사물(1310)과 인접하게 상기 대상 사물(1310)의 정보(예: 장치 종류)를 나타내는 텍스트 객체(1313)를 표시하고 상기 대상 사물(1310)의 주변에 상기 대상 사물(1310)의 테두리 또는 구분 영역을 나타내는 박스 객체(1311)를 표시할 수 있다.

일 실시예에 따르면, 상기 전자 장치(1300)는 상기 특정 공간을 촬영한 영상을 상기 디스플레이(1301)의 제1 영역(1301a)(예: 좌측 영역)에 출력하면서, 상기 디스플레이(1301)의 제2 영역(1301b)(예: 우측 영역)에는 상기 영상의 촬영 방향 및 상기 특정 공간에 대한 정보를 출력할 수 있다. 예를 들어, 상기 전자 장치(1300)는 상기 제2 영역(1301b)에 상기 영상의 촬영 방향을 나타내는 나침반 객체(1370), 및 상기 특정 공간의 공간 명칭을 설정할 수 있도록 공간 명칭들을 포함하는 리스트 객체(1390)를 출력할 수 있다.

도 14는 본 발명의 일 실시예에 따른 명칭 부여 또는 제어의 대상을 선택하는 방법을 설명하기 위한 화면 예시도이다.

도 14를 참조하면, 제어 모듈(200)을 포함하는 전자 장치(1400)(예: 전자 장치(101))는 상기 제어 모듈(200)의 사물 인식부(210)를 통해 특정 공간에 있는 사물들을 인식할 수 있다. 예컨대, 상기 사물 인식부(210)는 상기 특정 공간에 있는 사물들의 종류 및 상기 특정 공간에서의 상기 사물들의 위치를 판단할 수 있다.

일 실시예에 따르면, 상기 전자 장치(1400)가 상기 특정 공간을 촬영한 영상을 디스플레이(1401)에 출력한 상태에서, 상기 사물 인식부(210)는 인식된 사물들 중 명칭 부여 또는 제어의 대상이 되는 대상 사물을 주변 사물들과 구분할 수 있도록 상기 영상에 그래픽 효과를 적용할 수 있다. 예를 들어, 상기 사물 인식부(210)는 디스플레이(1401)에, 제1 사물(1410), 제2 사물(1430), 및 제3 사물(1450)을 표시하면서, 상기 제1 사물(1410)과 인접하여 상기 제1 사물(1410)의 정보를 나타내는 텍스트 객체(1413)를 표시하고, 상기 제1 사물(1410)의 주변에 상기 제1 사물(1410)의 테두리 또는 구분 영역을 나타내는 박스 객체(1411)를 표시하며, 상기 제3 사물(1450)과 인접하여 상기 제3 사물(1450)의 정보를 나타내는 텍스트 객체(1453)를 표시하고, 상기 제3 사물(1450)의 주변에 상기 제3 사물(1450)의 테두리 또는 구분 영역을 나타내는 박스 객체(1451)를 표시할 수 있다.

일 실시예에 따르면, 상기 특정 공간에 동일한 종류이거나 동일한 기능을 수행하는 복수의 전자 장치들이 존재하는 경우, 상기 전자 장치(101)는 상기 전자 장치들 중 어느 하나를 명칭을 부여하거나 제어를 위한 상기 대상 사물로 선정하는 기능을 수행할 수 있다. 일 예로, 상기 전자 장치(1400)는 사용자 입력(1403)을 통해 상기 대상 사물을 선정할 수 있다. 예를 들어, 상기 전자 장치(101)는 상기 제3 사물(1450)을 선택하는 사용자 입력(1403)을 수신하면, 선택된 상기 제3 사물(1450)을 상기 대상 사물로 선정할 수 있다. 이 경우, 상기 전자 장치(101)는 대상 사물의 선정에서 제외된 상기 제1 사물(1410)에 적용된 그래픽 효과를 해제할 수 있다. 예를 들어, 상기 전자 장치(101)는 상기 제1 사물(1410)의 정보를 나타내는 텍스트 객체(1413), 및 상기 제1 사물(1410)의 테두리 또는 구분 영역을 나타내는 박스 객체(1411)를 디스플레이(1401)에서 삭제할 수 있다. 이에 따라, 사용자가 동일한 종류이거나 동일한 기능을 수행하는 복수의 전자 장치들 중에서 명칭을 부여하고자 하는 전자 장치나 제어하고자 하는 전자 장치를 명확하게 선택할 수 있도록 유도할 수 있다.

일 실시예에 따르면, 상기 전자 장치(1400)는 상기 특정 공간을 촬영한 영상을 상기 디스플레이(1401)의 제1 영역(1401a)(예: 좌측 영역)에 출력하면서, 상기 디스플레이(1401)의 제2 영역(1401b)(예: 우측 영역)에는 상기 영상의 촬영 방향 및 상기 특정 공간에 대한 정보를 출력할 수 있다. 예를 들어, 상기 전자 장치(1400)는 상기 제2 영역(1401b)에 상기 영상의 촬영 방향을 나타내는 나침반 객체(1470), 및 상기 특정 공간의 공간 명칭을 설정할 수 있도록 공간 명칭들을 포함하는 리스트 객체(1490)를 출력할 수 있다.

도 15는 본 발명의 일 실시예에 따른 사물의 공간 정보를 설정하는 방법을 설명하기 위한 화면 예시도이다.

도 15를 참조하면, 제어 모듈(200)을 포함하는 전자 장치(1500)(예: 전자 장치(101))는 상기 제어 모듈(200)의 사물 인식부(210)를 통해 특정 공간에 있는 사물들을 인식할 수 있다. 예컨대, 상기 사물 인식부(210)는 상기 특정 공간에 있는 사물들의 종류 및 상기 특정 공간에서의 상기 사물들의 위치를 판단할 수 있다.

일 실시예에 따르면, 상기 전자 장치(1400)가 상기 특정 공간을 촬영한 영상을 디스플레이(1501)에 출력한 상태에서, 상기 사물 인식부(210)는 인식된 사물들 중 명칭 부여의 대상이 되는 대상 사물을 주변 사물들과 구분할 수 있도록 상기 영상에 그래픽 효과를 적용할 수 있다. 예를 들어, 상기 사물 인식부(210)는 디스플레이(1501)에, 제1 사물(1510) 및 제2 사물(1530)을 표시하면서, 상기 제1 사물(1510)과 인접하여 상기 제1 사물(1510)의 정보를 나타내는 텍스트 객체(1513)를 표시하고, 상기 제1 사물(1510)의 주변에 상기 제1 사물(1510)의 테두리 또는 구분 영역을 나타내는 박스 객체(1511)를 표시할 수 있다. 또한, 상기 전자 장치(1500)는 상기 특정 공간을 촬영한 영상을 상기 디스플레이(1501)의 제1 영역(1501a)(예: 좌측 영역)에 출력하면서, 상기 디스플레이(1501)의 제2 영역(1501b)(예: 우측 영역)에는 상기 영상의 촬영 방향 및 상기 특정 공간에 대한 정보를 출력할 수 있다. 예를 들어, 상기 전자 장치(1500)는 상기 제2 영역(1501b)에 상기 영상의 촬영 방향을 나타내는 나침반 객체(1570), 및 상기 특정 공간의 공간 명칭을 설정할 수 있도록 공간 명칭들을 포함하는 리스트 객체(1590)를 출력할 수 있다.

일 실시예에 따르면, 상기 제어 모듈(200)의 공간 정보 획득부(230)는 상기 사물 인식부(210)를 통해 인식된 사물들이 배치된 상기 특정 공간에 대한 공간 정보를 획득할 수 있다. 일 예로, 상기 공간 정보 획득부(230)는 상기 공간 정보 중 상기 특정 공간의 공간 명칭을 사용자의 입력(1503)을 통해 획득할 수 있다. 예를 들어, 사용자가 디스플레이(1501)에 표시된 및 상기 특정 공간의 공간 명칭을 설정할 수 있도록 공간 명칭들을 포함하는 리스트 객체(1590) 중 어느 하나의 항목을 선택하는 경우, 선택된 항목에 대응되는 공간 명칭을 상기 특정 공간의 공간 명칭으로 설정할 수 있다.

일 실시예에 따르면, 상기 제어 모듈(200)은 사용자가 직접 공간 명칭을 입력할 수 있도록 UI를 제공할 수 있다. 예를 들어, 상기 제어 모듈(200)은 상기 제2 영역(1501b)에 공간 명칭을 입력할 수 있는 텍스트 필드 객체(미도시)를 출력할 수 있다.

일 실시예에 따르면, 상기 리스트 객체(1590)에 포함되는 공간 명칭들은 상기 공간을 구성하는 구조물의 형태와 위치에 기반하여 결정되는 구조 정보 및 상기 공간 내에 배치된 사물들의 종류와 위치를 포함하는 배치 정보 중 적어도 하나에 기반하여 결정될 수 있다. 예를 들어, 상기 구조 정보 및 상기 배치 정보 중 적어도 하나에 기반하여 상기 공간이 집에 포함된 공간이라고 판단되면, 상기 제어 모듈(200)은 상기 집에 포함되는 일반적인 공간(예: 거실, 욕실, 주방, 또는 침실)에 대한 명칭들로 상기 리스트 객체(1590)에 포함되는 공간 명칭들을 설정할 수 있다. 다른 실시예에 따르면, 상기 리스트 객체(1590)에 포함되는 공간 명칭들은 사용자가 이전에 입력했던 공간 명칭으로 설정될 수 있다. 예를 들어, 상기 제어 모듈(200)은 상기 텍스트 필드 객체를 통해 사용자가 입력한 공간 명칭으로 상기 리스트 객체(1590)에 포함되는 공간 명칭들을 설정할 수 있다.

도 16은 본 발명의 일 실시예에 따른 외부 전자 장치를 제어하는 방법을 설명하기 위한 도면이다.

도 16을 참조하면, 전자 장치(101)(예: 도 4a, 도 4b, 도 4e, 및 도 4f의 제1 전자 장치(410))는 제어 모듈(200)의 적어도 일부(예: 명령 처리부(290))를 포함할 수 있다. 동작 1610에서, 상기 제어 모듈(200)의 명령 처리부(290)는 상기 전자 장치(101)의 마이크를 통해 수신된 음성 명령을 획득할 수 있다.

동작 1620에서, 상기 명령 처리부(290)는 상기 음성 명령을 분석할 수 있다. 일 실시예에 따르면, 상기 명령 처리부(290)는 상기 음성 명령에 대한 음성 인식을 수행하여 상기 음성 명령을 텍스트 데이터로 변환하고, 텍스트 데이터에서 명칭과 관련된 표현 및 기능과 관련된 표현을 추출할 수 있다.

동작 1630에서, 상기 명령 처리부(290)는 제어하고자 하는 대상 사물(외부 전자 장치)을 확인(식별)할 수 있다. 일 실시예에 따르면, 상기 명령 처리부(290)는 상기 텍스트 데이터에서 추출된 명칭과 관련된 표현에 기반하여 상기 대상 사물을 식별할 수 있다. 여기서, 상기 명칭과 관련된 표현은 예를 들어, 상기 대상 사물의 종류에 기반하여 생성된 명칭(기본 명칭), 주변 사물과의 위치 관계에 기반하여 생성된 명칭(제1 위치 관계 기반 서술형 명칭), 상기 대상 사물이 배치된 공간의 공간 명칭에 기반하여 생성된 명칭(공간 기반 서술형 명칭), 또는 상기 대상 사물이 배치된 공간을 구성하는 구조물과의 위치 관계에 기반하여 생성된 명칭(제2 위치 관계 기반 서술형 명칭)을 포함할 수 있다.

일 실시예에 따르면, 상기 명령 처리부(290)는 사물들의 정보(예: 사물들의 명칭, 종류, 위치, 주변 사물과의 위치 관계, 또는 사물이 배치된 공간에 대한 정보)가 저장된 데이터베이스에 기반하여, 상기 대상 사물을 식별할 수 있다. 상기 데이터베이스는 상기 전자 장치(101)의 메모리(130)에 저장되거나, 상기 전자 장치(101)와 통신 가능한 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))의 메모리에 저장될 수 있다.

상기 대상 사물이 확인되면, 동작 1640에서, 상기 명령 처리부(290)는 제어 기능을 확인할 수 있다. 일 실시예에 따르면, 상기 명령 처리부(290)는 상기 텍스트 데이터에서 추출된 기능과 관련된 표현에 기반하여 제어 기능을 확인할 수 있다. 여기서, 상기 기능과 관련된 표현은 제어 기능을 수행하기 위한 명령어 및 상기 제어 기능이 수행되어야 할 방향이나 위치를 설명하는 표현을 포함할 수 있다. 상기 제어 기능이 수행되어야 할 방향이나 위치를 설명하는 표현은 예를 들어, 상기 대상 사물의 위치를 기준으로 하는 절대적 방향이나 지역(또는 공간)의 고정적인 정보를 나타내는 절대적 위치(예: 공간 명칭)를 나타내는 표현, 또는 주변 사물과의 위치 관계에 기반한 상대적 방향이나 상대적 위치를 나타내는 표현을 포함할 수 있다.

상기 제어 기능이 확인되면, 동작 1650에서, 상기 명령 처리부(290)는 상기 대상 사물로 상기 제어 기능과 관련된 명령어를 전송할 수 있다. 예를 들어, 상기 명령 처리부(290)는 상기 기능과 관련된 표현에 상기 제어 기능을 수행하기 위한 명령어가 포함된 경우, 상기 명령어에 대응되는 신호를 상기 대상 사물로 전송할 수 있다. 일 실시예에 따르면, 상기 기능과 관련된 표현에 상기 제어 기능이 수행되어야 할 방향이나 위치를 설명하는 표현이 포함된 경우, 상기 제어 기능을 수행하기 위한 명령어 및 상기 제어 기능의 수행 방향이나 위치에 대응하는 신호를 상기 대상 사물로 전송할 수 있다.

도 17a는 본 발명의 일 실시예에 따른 사물들 간의 위치 관계를 이용하여 장치 제어를 위한 음성 명령을 발화하는 방법을 설명하기 위한 도면이고, 도 17b는 본 발명의 일 실시예에 따른 음성 명령을 처리하는 과정을 설명하기 위한 도면이다.

도 17a 및 도 17b를 참조하면, 사용자(1701)가 음성 명령(1700)을 발화하면, 제어 모듈(200)을 포함하는 전자 장치(1709)(예: 전자 장치(101))는 마이크를 통해 사용자(1701)의 음성 명령(1700)을 수신하고, 수신된 음성 명령(1700)을 분석할 수 있다. 일 실시예에 따르면, 상기 제어 모듈(200)의 명령 처리부(290)는 상기 음성 명령(1700)에 대한 음성 인식을 수행하여 상기 음성 명령을 텍스트 데이터로 변환하고, 텍스트 데이터에서 명칭과 관련된 표현 및 기능과 관련된 표현을 추출할 수 있다.

일 실시예에서 따르면, 상기 음성 명령(1700)은 복수 개의 명령들을 포함할 수 있다. 이 경우, 상기 명령 처리부(290)는 상기 음성 명령(1700)을 변환한 텍스트 데이터에서 상기 명령들을 구분할 수 있다. 예를 들어, 도 17b에서와 같이, 상기 음성 명령(1700)을 변환한 텍스트 데이터에서 제1 명령에 해당하는 제1 텍스트 데이터(1710) 및 제2 명령에 해당하는 제2 텍스트 데이터(1730)를 구분할 수 있다.

상기 명령 처리부(290)는 각각의 명령에 해당하는 텍스트 데이터에서 명칭과 관련된 표현 및 기능과 관련된 표현을 추출할 수 있다. 예를 들어, 상기 명령 처리부(290)는 제1 텍스트 데이터(1710)에서 제1 명칭과 관련된 표현(1711) 및 제1 기능과 관련된 표현(1713)을 추출하고, 제2 텍스트 데이터(1730)에서 제2 명칭과 관련된 표현(1731) 및 제2 기능과 관련된 표현(1733)을 추출할 수 있다.

상기 명령 처리부(290)는 각각의 명칭과 관련된 표현(1711, 1731)에서 유의미한 태깅 정보를 추출할 수 있다. 예를 들어, 상기 명령 처리부(290)는 상기 제1 명칭과 관련된 표현(1711)에서 제1 기능을 수행할 제1 대상 사물(1702)의 명칭(1711d)(예: "에어컨")(및 상기 제1 대상 사물을 부가적으로 설명하는 표현(예: "TV 왼쪽에 있는"))을 추출하고, 제2 명칭과 관련된 표현(1731)에서 제2 기능을 수행할 제2 대상 사물(1703)의 명칭(1731)(예: "청소로봇")(및 상기 제2 대상 사물을 부가적으로 설명하는 표현)을 추출할 수 있다. 도 17b에서는 상기 제2 대상 사물(1703)을 부가적으로 설명하는 표현이 존재하지 않는 상태를 나타낸다.

상기 대상 사물을 부가적으로 설명하는 표현이 존재하는 경우, 상기 명령 처리부(290)는 상기 대상 사물을 부가적으로 설명하는 표현에서 상대 사물의 명칭(1711a)(예: "TV"), 상기 대상 사물과 상기 상대 사물의 위치 관계를 나타내는 표현(1711b)(예: "왼쪽에"), 및 상태를 나타내는 표현(1711c)(예: "있는")을 추출할 수 있다. 이에 따라, 상기 명령 처리부(290)는 상기 대상 사물과 상기 상대 사물과의 위치 관계에 기반하여 상기 대상 사물을 식별할 수 있다.

상기 명령 처리부(290)는 각각의 기능과 관련된 표현(1713, 1733)에서 유의미한 태깅 정보를 추출할 수 있다. 예를 들어, 상기 명령 처리부(290)는 상기 제1 기능과 관련된 표현(1713)에서 상기 제1 기능을 수행하기 위한 명령어(1713a, 1713d)(예: "바람" 및 "하고") 및 상기 제1 기능이 수행되어야 할 방향이나 위치를 설명하는 표현(1713b, 1713c)(예: "소파" 및 "쪽으로")을 추출하고, 상기 제2 기능과 관련된 표현(1733)에서 상기 제2 기능을 수행하기 위한 명령어(1733c)(예: "청소해") 및 상기 제2 기능이 수행되어야 할 방향이나 위치를 설명하는 표현(1733a, 1733b)(예: "TV와 에어컨" 및 "사이")을 추출할 수 있다.

상기 기능이 수행되어야 할 방향이나 위치를 설명하는 표현은 예를 들어, 대상 사물의 위치를 기준으로 하는 절대적 방향이나 지역(또는 공간)의 고정적인 정보를 나타내는 절대적 위치(예: 공간 명칭)를 나타내는 표현, 또는 주변 사물과의 위치 관계에 기반한 상대적 방향이나 상대적 위치를 나타내는 표현을 포함할 수 있다. 상기 제1 기능이 수행되어야 할 방향이나 위치를 설명하는 표현(1713b, 1713c)에서는 제1 상대 사물(1704)(예: 소파)과의 위치 관계에 기반한 상대적 방향을 나타내는 표현을 포함한 상태를 나타내고, 상기 제2 기능이 수행되어야 할 방향이나 위치를 설명하는 표현(1733a, 1733b)에서는 제2 상대 사물(1705)(예: TV) 및 제3 상대 사물(1702)(예: 에어컨)과의 위치 관계에 기반한 상대적 위치를 나타내는 표현을 포함한 상태를 나타낸다. 이와 같이, 상기 명령 처리부(290)는 상기 대상 사물과 상기 상대 사물과의 위치 관계에 기반하여 상기 대상 사물의 기능이 수행되어야 할 방향이나 위치를 판단할 수 있다.

상술한 바와 같이, 다양한 실시예에 따르면, 전자 장치(예: 전자 장치(101))의 외부 전자 장치를 제어하는 방법은, 마이크를 통해 사용자의 음성 명령을 획득하는 동작, 상기 음성 명령에 대한 음성 인식을 수행하는 동작, 상기 음성 인식의 수행 결과에 포함된 명칭과 관련된 표현에 기반하여 제어할 외부 전자 장치를 식별하는 동작, 상기 음성 인식의 수행 결과에 포함된 기능과 관련된 표현에 기반하여 상기 외부 전자 장치의 기능이 수행되어야 할 방향이나 위치를 판단하는 동작, 및 통신 회로를 통해, 상기 외부 전자 장치로 상기 외부 전자 장치의 기능 및 상기 외부 전자 장치의 기능이 수행되어야 할 방향이나 위치와 관련된 신호를 전송하는 동작을 포함할 수 있다.

다양한 실시예에 따르면, 상기 외부 전자 장치를 제어하는 방법은, 특정 공간 내에 배치된 복수의 외부 전자 장치들의 종류에 관한 제1 정보 및 상기 특정 공간에 대한 제1 방향에서의 상기 복수의 외부 전자 장치들의 위치에 관한 제2 정보를 획득하는 동작, 상기 명칭과 관련된 표현에서 상기 제1 정보에 기반하여 상기 복수의 외부 전자 장치들의 명칭을 추출하는 동작, 상기 명칭과 관련된 표현에서 상기 제2 정보에 기반하여 상기 복수의 외부 전자 장치들의 상대적 위치 관계를 나타내는 표현을 추출하는 동작을 더 포함할 수 있다.

다양한 실시예에 따르면, 상기 외부 전자 장치를 제어하는 방법은, 사용자가 상기 특정 공간을 바라보는 제2 방향을 판단하는 동작, 상기 제1 방향 및 상기 제2 방향이 실질적으로 다른 방향이라는 판단 하에, 상기 제2 정보에 포함된 상기 복수의 외부 전자 장치들의 좌표값을 보정하는 동작, 및 상기 보정된 복수의 외부 전자 장치들의 좌표값에 기반하여 상기 복수의 외부 전자 장치들의 위치 관계를 재판단하는 동작을 더 포함할 수 있다.

다양한 실시예에 따르면, 상기 복수의 외부 전자 장치들의 좌표값을 보정하는 동작은, 상기 제1 방향 및 상기 제2 방향이 실질적으로 반대 방향이라는 판단 하에, 상기 제2 정보에 포함된 상기 복수의 외부 전자 장치들의 좌표값에서, X축 좌표값 및 Z축 좌표값의 부호를 변경하는 동작을 포함할 수 있다.

다양한 실시예에 따르면, 상기 복수의 외부 전자 장치들의 좌표값을 보정하는 동작은, 상기 제2 방향이 상기 제1 방향을 기준으로 시계 방향으로 약 90도 회전한 방향에 대응된다는 판단 하에, 상기 제2 정보에 포함된 상기 복수의 외부 전자 장치들의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하면서 부호를 함께 변경하고, Z축 좌표값을 X축 좌표값으로 변경하는 동작을 포함할 수 있다.

다양한 실시예에 따르면, 상기 복수의 외부 전자 장치들의 좌표값을 보정하는 동작은, 상기 제2 방향이 상기 제1 방향을 기준으로 반시계 방향으로 약 90도 회전한 방향에 대응된다는 판단 하에, 상기 제2 정보에 포함된 상기 복수의 외부 전자 장치들의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하고, Z축 좌표값을 X축 좌표값으로 변경하면서 부호를 함께 변경하는 동작을 포함할 수 있다.

본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째", "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.

본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims

전자 장치에 있어서,
외부 전자 장치와의 통신을 위한 통신 회로;
상기 통신 회로와 작동적으로 연결된 프로세서; 및
상기 프로세서와 작동적으로 연결된 메모리를 포함하고,
상기 메모리는, 실행 시에, 상기 프로세서가,
제1 공간 내에 배치된 복수의 사물들의 종류에 관한 제1 정보 및 상기 제1 공간에 대한 제1 방향에서의 상기 복수의 사물들의 위치에 관한 제2 정보를 획득하고,
상기 복수의 사물들 중 명칭 부여의 대상이 되는 대상 사물을 선정하고,
상기 제1 정보 중 상기 대상 사물의 종류에 관한 정보에 기반하여 상기 대상 사물의 적어도 하나의 제1 명칭을 생성하고,
상기 제1 정보 중 상기 대상 사물의 주변에 배치된 적어도 하나의 상대 사물의 종류에 관한 정보에 기반하여 상기 상대 사물의 적어도 하나의 제2 명칭을 생성하고,
상기 제2 정보에 기반하여 상기 대상 사물과 상기 적어도 하나의 상대 사물의 상대적 위치 관계를 판단하고,
상기 적어도 하나의 제1 명칭, 상기 적어도 하나의 제2 명칭, 및 상기 대상 사물과 상기 적어도 하나의 상대 사물의 상대적 위치 관계에 기반하여 상기 대상 사물의 적어도 하나의 제3 명칭을 생성하도록 하는 인스트럭션들을 저장하는 전자 장치.
청구항 1에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 통신 회로를 통해, 상기 제1 공간을 촬영할 수 있는 카메라를 포함하는 상기 외부 전자 장치로부터 상기 제1 공간을 상기 제1 방향에서 촬영한 영상을 획득하고,
상기 영상을 분석하여 상기 제1 정보 및 상기 제2 정보를 획득하도록 하는 전자 장치.
청구항 1에 있어서,
카메라를 더 포함하고,
상기 인스트럭션들은, 상기 프로세서가,
상기 카메라를 통해 상기 제1 공간을 상기 제1 방향에서 촬영한 영상을 획득하고,
상기 영상을 분석하여 상기 제1 정보 및 상기 제2 정보를 획득하도록 하는 전자 장치.
청구항 1에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
사용자가 상기 제1 공간을 바라보는 제2 방향을 판단하고,
상기 판단 결과에 기반하여, 상기 제1 방향 및 상기 제2 방향이 실질적으로 다른 방향인 경우, 상기 제2 정보에 포함된 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값을 보정하고, 상기 보정된 대상 사물의 좌표값 및 상기 보정된 적어도 하나의 상대 사물의 좌표값에 기반하여 상기 대상 사물과 상기 적어도 하나의 상대 사물의 상대적 위치 관계를 재판단하도록 하는 전자 장치.
청구항 4에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 제1 방향 및 상기 제2 방향이 실질적으로 반대 방향이라고 판단한 경우, 상기 제2 정보에 포함된 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값에서, X축 좌표값 및 Z축 좌표값의 부호를 변경하여 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값을 보정하도록 하는 전자 장치.
청구항 4에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 제2 방향이 상기 제1 방향을 기준으로 시계 방향으로 약 90도 회전한 방향에 대응된다고 판단한 경우, 상기 제2 정보에 포함된 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하면서 부호를 함께 변경하고, Z축 좌표값을 X축 좌표값으로 변경하여 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값을 보정하도록 하는 전자 장치.
청구항 4에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 제2 방향이 상기 제1 방향을 기준으로 반시계 방향으로 약 90도 회전한 방향에 대응된다고 판단한 경우, 상기 제2 정보에 포함된 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하고, Z축 좌표값을 X축 좌표값으로 변경하면서 부호를 함께 변경하여 상기 대상 사물의 좌표값 및 상기 적어도 하나의 상대 사물의 좌표값을 보정하도록 하는 전자 장치.
청구항 1에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 통신 회로를 통해 상기 외부 전자 장치로 상기 적어도 하나의 제3 명칭을 전송하도록 하는 전자 장치.
청구항 1에 있어서,
마이크를 더 포함하고,
상기 인스트럭션들은, 상기 프로세서가,
상기 마이크를 통해, 사용자의 음성 명령을 획득하고,
상기 음성 명령에 대한 음성 인식을 수행하고,
상기 음성 인식의 수행 결과에 포함된 명칭과 관련된 표현에 기반하여 상기 대상 사물을 식별하고,
상기 음성 인식의 수행 결과에 포함된 기능과 관련된 표현에 기반하여 상기 대상 사물의 기능이 수행되어야 할 방향이나 위치를 판단하고,
상기 통신 회로를 통해 상기 대상 사물로 상기 대상 사물의 기능 및 상기 대상 사물의 기능이 수행되어야 할 방향이나 위치와 관련된 신호를 전송하도록 설정된 전자 장치.
전자 장치에 있어서,
카메라;
통신 회로;
상기 카메라 및 상기 통신 회로와 작동적으로 연결된 프로세서; 및
상기 프로세서와 작동적으로 연결된 메모리를 포함하고,
상기 메모리는, 실행 시, 상기 프로세서가,
상기 카메라 또는 상기 통신 회로를 통해 적어도 하나의 외부 전자 장치가 배치된 제1 공간에 관련된 제1 이미지를 획득하고,
상기 제1 이미지를 분석하여, 상기 제1 공간에 배치된 상기 적어도 하나의 외부 전자 장치의 종류에 관한 제1 정보 및 상기 제1 공간에 대한 제1 방향에서의 상기 적어도 하나의 외부 전자 장치의 위치에 관한 제2 정보를 획득하고,
상기 제1 정보에 기반하여 상기 적어도 하나의 외부 전자 장치의 명칭을 생성하고,
상기 제2 정보에 기반하여 상기 전자 장치와 상기 적어도 하나의 외부 전자 장치의 위치 관계를 판단하고,
상기 제1 정보 및 상기 제2 정보에 적어도 일부 기반하여 상기 적어도 하나의 외부 전자 장치의 명칭을 생성하도록 하는 인스트럭션들을 저장하는 전자 장치.
청구항 10에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 카메라 또는 상기 통신 회로를 통해 사용자가 포함된 제2 이미지를 획득하고,
상기 제2 이미지를 분석하여, 상기 사용자가 상기 제1 공간을 바라보는 제2 방향을 판단하고,
상기 판단 결과에 기반하여, 상기 제1 방향 및 상기 제2 방향이 실질적으로 다른 방향인 경우, 상기 제2 정보에 포함된 상기 적어도 하나의 외부 전자 장치의 위치 관계를 보정하도록 하는 전자 장치.
청구항 11에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 판단 결과에 기반하여, 상기 제1 방향 및 상기 제2 방향이 실질적으로 반대 방향인 경우, 상기 제2 정보에 포함된 상기 적어도 하나의 외부 전자 장치의 좌표값에서, X축 좌표값 및 Z축 좌표값의 부호를 변경하여 상기 적어도 하나의 외부 전자 장치의 상기 위치 관계를 보정하도록 하는 전자 장치.
청구항 11에 있어서,
상기 인스트럭션들은 상기 프로세서가,
상기 판단 결과에 기반하여, 상기 제2 방향이 상기 제1 방향을 기준으로 시계 방향으로 약 90도 회전한 방향인 경우, 상기 제2 정보에 포함된 상기 적어도 하나의 외부 전자 장치의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하면서 부호를 함께 변경하고, Z축 좌표값을 X축 좌표값으로 변경하여 상기 적어도 하나의 외부 전자 장치의 상기 위치 관계를 보정하도록 하는 전자 장치.
청구항 11에 있어서,
상기 인스트럭션들은 상기 프로세서가,
상기 판단 결과에 기반하여, 상기 제2 방향이 상기 제1 방향을 기준으로 반시계 방향으로 약 90도 회전한 방향인 경우, 상기 제2 정보에 포함된 상기 적어도 하나의 외부 전자 장치의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하고, Z축 좌표값을 X축 좌표값으로 변경하면서 부호를 함께 변경하여 상기 적어도 하나의 외부 전자 장치의 상기 위치 관계를 보정하도록 하는 전자 장치.
전자 장치의 외부 전자 장치를 제어하는 방법에 있어서,
마이크를 통해 사용자의 음성 명령을 획득하는 동작;
상기 음성 명령에 대한 음성 인식을 수행하는 동작;
상기 음성 인식의 수행 결과에 포함된 명칭과 관련된 표현에 기반하여 제어할 외부 전자 장치를 식별하는 동작;
상기 음성 인식의 수행 결과에 포함된 기능과 관련된 표현에 기반하여 상기 외부 전자 장치의 기능이 수행되어야 할 방향이나 위치를 판단하는 동작; 및
통신 회로를 통해, 상기 외부 전자 장치로 상기 외부 전자 장치의 기능 및 상기 외부 전자 장치의 기능이 수행되어야 할 방향이나 위치와 관련된 신호를 전송하는 동작을 포함하는 외부 전자 장치를 제어하는 방법.
청구항 15에 있어서,
특정 공간 내에 배치된 복수의 외부 전자 장치들의 종류에 관한 제1 정보 및 상기 특정 공간에 대한 제1 방향에서의 상기 복수의 외부 전자 장치들의 위치에 관한 제2 정보를 획득하는 동작;
상기 명칭과 관련된 표현에서 상기 제1 정보에 기반하여 상기 복수의 외부 전자 장치들의 명칭을 추출하는 동작;
상기 명칭과 관련된 표현에서 상기 제2 정보에 기반하여 상기 복수의 외부 전자 장치들의 상대적 위치 관계를 나타내는 표현을 추출하는 동작을 더 포함하는 외부 전자 장치를 제어하는 방법.
청구항 16에 있어서,
사용자가 상기 특정 공간을 바라보는 제2 방향을 판단하는 동작;
상기 제1 방향 및 상기 제2 방향이 실질적으로 다른 방향이라는 판단 하에, 상기 제2 정보에 포함된 상기 복수의 외부 전자 장치들의 좌표값을 보정하는 동작; 및
상기 보정된 복수의 외부 전자 장치들의 좌표값에 기반하여 상기 복수의 외부 전자 장치들의 위치 관계를 재판단하는 동작을 더 포함하는 외부 전자 장치를 제어하는 방법.
청구항 17에 있어서,
상기 복수의 외부 전자 장치들의 좌표값을 보정하는 동작은,
상기 제1 방향 및 상기 제2 방향이 실질적으로 반대 방향이라는 판단 하에, 상기 제2 정보에 포함된 상기 복수의 외부 전자 장치들의 좌표값에서, X축 좌표값 및 Z축 좌표값의 부호를 변경하는 동작을 포함하는 외부 전자 장치를 제어하는 방법.
청구항 17에 있어서,
상기 복수의 외부 전자 장치들의 좌표값을 보정하는 동작은,
상기 제2 방향이 상기 제1 방향을 기준으로 시계 방향으로 약 90도 회전한 방향에 대응된다는 판단 하에, 상기 제2 정보에 포함된 상기 복수의 외부 전자 장치들의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하면서 부호를 함께 변경하고, Z축 좌표값을 X축 좌표값으로 변경하는 동작을 포함하는 외부 전자 장치를 제어하는 방법.
청구항 17에 있어서,
상기 복수의 외부 전자 장치들의 좌표값을 보정하는 동작은,
상기 제2 방향이 상기 제1 방향을 기준으로 반시계 방향으로 약 90도 회전한 방향에 대응된다는 판단 하에, 상기 제2 정보에 포함된 상기 복수의 외부 전자 장치들의 좌표값에서, X축 좌표값을 Z축 좌표값으로 변경하고, Z축 좌표값을 X축 좌표값으로 변경하면서 부호를 함께 변경하는 동작을 포함하는 외부 전자 장치를 제어하는 방법.