KR20160051411A

KR20160051411A - 외부의 물체를 제어하는 전자 장치 및 그 방법

Info

Publication number: KR20160051411A
Application number: KR1020140151354A
Authority: KR
Inventors: 황성희
Original assignee: 삼성전자주식회사
Priority date: 2014-11-03
Filing date: 2014-11-03
Publication date: 2016-05-11
Also published as: CN105573489A; US20160124506A1; EP3015957A1; US10055015B2

Abstract

본 발명의 일 실시예에 따른 전자 장치가 외부의 물체를 제어하는 방법은, 전자 장치와 기능적으로 연결된 이미지 센서를 통해 상기 전자 장치의 외부에 위치한 물체(object)에 대한 사용자의 시선을 결정하는 동작과, 상기 사용자의 시선에 기초하여 상기 물체에 대한 물체 정보를 결정하는 동작과, 사용자로부터 상기 물체에 대한 사용자 입력을 수신하는 동작과, 상기 사용자 입력 및 상기 물체 정보에 기초하여 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어하는 동작을 포함할 수 있다. 또한 다른 실시예도 가능하다.

Description

외부의 물체를 제어하는 전자 장치 및 그 방법{AN ELECTORONIC DEVICE FOR CONTROLLING AN EXTERNAL OBJECT AND A METHOD THEREOF}

본 발명의 다양한 실시예들은 외부의 물체를 제어하기 위한 전자 장치 및 그 방법에 관한 것이다.

최근 디지털 기기들이 다양화되면서 각 디지털 기기들을 제어하거나 또는 각 기기들의 정보를 공유하기 위한 근거리 통신 방식이 다양해지고 있다. 그 중에서도 무선 통신이 서로 가능한 기기들 중 어느 하나(슬레이브 기기)를 다른 하나(마스터 기기)로 제어할 수 있는 방법 또한 개발되었다.

한편 사용자는 마스터 기기를 이용하여 슬레이브 기기를 제어하기 위해서는 마스터 기기에 슬레이브 기기를 일일이 등록해야 한다. 또한 슬레이브 기기들이 마스터 기기에 이미 등록되어 있는 경우라고 하여도, 사용자는 마스터 기기 내에 등록된 슬레이브 기기들을 검색하고, 그 중에 사용하고자 하는 슬레이브 기기를 선택해야 하는 번거로움이 있다. 그에 따라 상기와 같은 번거로움을 제거할 수 있는 장치 및 방법이 요구된다.

본 발명의 다양한 실시예에 따르면, 예를 들어 전자 장치가 상기 전자 장치와 기능적으로 연결된 이미지 센서를 통해 상기 전자 장치의 외부에 위치한 물체(object)에 대한 사용자의 시선을 결정하고, 상기 시선에 기초하여 상기 물체에 대한 물체 정보를 결정하고, 사용자로부터 상기 물체에 대한 입력을 수신하고, 상기 입력 및 상기 물체 정보에 기초하여 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어함으로써, 사용자가 수동으로 슬레이브 기기를 선택해야 하는 번거로움을 줄이거나 없앨 수 있다.

본 발명의 다양한 실시예에 따른 전자 장치가 외부의 물체를 제어하는 방법은, 전자 장치와 기능적으로 연결된 이미지 센서를 통해 상기 전자 장치의 외부에 위치한 물체(object)에 대한 사용자의 시선을 결정하는 동작과, 상기 사용자의 시선에 기초하여 상기 물체에 대한 물체 정보를 결정하는 동작과, 사용자로부터 상기 물체에 대한 사용자 입력을 수신하는 동작과, 상기 사용자 입력 및 상기 물체 정보에 기초하여 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어하는 동작을 포함할 수 있다.

본 발명의 다양한 실시예에 따른 외부의 물체를 제어하는 전자 장치는, 전자 장치와 기능적으로 연결된 이미지 센서를 통해 상기 전자 장치의 외부에 위치한 물체(object)에 대한 사용자의 시선을 결정하고, 상기 사용자의 시선에 기초하여 상기 물체에 대한 물체 정보를 결정하고, 사용자로부터 상기 물체에 대한 사용자 입력이 입력되면, 상기 사용자 입력 및 상기 물체 정보에 기초하여 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어하기 위한 제어 신호를 생성하는 제어부와, 상기 제어부를 상기 물체 또는 상기 물체와 관련된 상기 다른 전자 장치로 전송하는 통신 인터페이스를 포함할 수 있다.

본 발명의 다양한 실시예에 따른 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체는, 전자 장치와 기능적으로 연결된 이미지 센서를 통해 상기 전자 장치의 외부에 위치한 물체(object)에 대한 사용자의 시선을 결정하는 동작, 상기 사용자의 시선에 기초하여 상기 물체에 대한 물체 정보를 결정하는 동작과, 사용자로부터 상기 물체에 대한 사용자 입력을 수신하는 동작과, 상기 사용자 입력 및 상기 물체 정보에 기초하여 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체일 수 있다.

본 발명의 다양한 실시예에 따르면, 사용자는 예를 들어 전자 장치를 이용하여 상기 전자 장치와 기능적으로 연결된 이미지 센서를 통해 상기 전자 장치의 외부에 위치한 물체(object)에 대한 사용자의 시선을 결정하고, 상기 시선에 기초하여 상기 물체에 대한 물체 정보를 결정하고, 사용자로부터 상기 물체에 대한 입력을 수신하고, 상기 입력 및 상기 물체 정보에 기초하여 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어함으로써, 상기 전자 장치를 이용하여 상기 전자 장치 외의 물체 또는 다른 전자 장치를 편리하게 원격으로 제어할 수 있다.

도 1은 본 발명의 다양한 실시예에 따라 외부의 다른 물체를 제어할 수 있는 전자 장치를 포함하는 제어 시스템을 나타낸 도면이다.
도 2는 본 발명의 다양한 실시예에 따라 외부의 물체를 제어하는 제1 전자 장치의 구성을 도시한 블록도이다.
도 3은 본 발명에의 다양한 실시예에 따라 제1 전자 장치가 대상 물체를 제어하는 방법을 나타낸 순서도이다.
도 4는 본 발명의 다양한 실시예에 따라 제1 전자 장치가 대상 물체를 결정하는 방법을 나타낸 순서도,
도 5는 본 발명의 다양한 실시예에 따른 제1 전자 장치가 대상 물체와의 연결을 설정하는 방법을 나타낸 순서도이다.
도 6a는 본 발명의 다양한 실시예에 따라 제1 전자 장치가 대상 물체를 제어하는 방법을 나타낸 순서도이다.
도 6b는 본 발명의 다양한 실시예에 따라 제1 전자 장치가 관련 장치를 제어함으로써 대상 물체의 상태를 변화시키는 방법을 나타낸 순서도이다.
도 7a은 본 발명의 다양한 실시예에 따라 대상 물체와 페어링된 제1 전자 장치가 대상 물체를 제어하는 방법을 도시한 순서도이다.
도 7b는 본 발명의 다양한 실시예에 따라 대상 물체와 페어링된 제1 전자 장치가 대상 물체와 연관된 관련 장치를 제어하는 방법을 도시한 순서도이다.
도 8은 본 발명의 다양한 실시예에 따른 제1 전자 장치를 포함하는 네트워크 환경을 나타낸 도면이다.
도 9는 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 10은 본 발명의 다양한 실시예에 따른 프로그램 모듈의 블록도이다.

이하, 본 개시의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시예의 다양한 변경(modification), 균등물(equivalent) 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조부호가 사용될 수 있다.

본 문서에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다” 등의 표현은 해당 특징(예: 수치, 기능, 동작 또는 부품 등의 구성 요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 문서에서, “A 또는 B”, “A 또는/및 B 중 적어도 하나” 또는 “A 또는/및 B 중 하나 또는 그 이상” 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, “A 또는 B”, “A 및 B 중 적어도 하나” 또는 “A 또는 B 중 적어도 하나”는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

다양한 실시예에서 사용된 “제1”, “제2”, “첫째” 또는 “둘째” 등의 표현들은 다양한 구성 요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성 요소들을 한정하지 않는다. 상기 표현들은 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 바꾸어 명명될 수 있다.

어떤 구성 요소(예: 제1 구성 요소)가 다른 구성 요소(예: 제2 구성 요소)에 “(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)” 있다거나 “접속되어(connected to)” 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제3 구성 요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소(예: 제1 구성 요소)가 다른 구성 요소(예: 제2 구성 요소)에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 상기 어떤 구성 요소와 상기 다른 구성 요소 사이에 다른 구성 요소(예: 제3 구성 요소)가 존재하지 않는 것으로 이해될 수 있다.

본 문서에서 사용된 표현 “~하도록 구성된(또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한(suitable for)”, “~하는 능력을 가지는(having the capacity to)”, “~하도록 설계된(designed to)”, “~하도록 변경된(adapted to)”, “~하도록 만들어진(made to)”또는 “~를 할 수 있는(capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성(또는 설정)된”은 하드웨어적으로 “특별히 설계된(specifically designed to)”것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 장치”라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께“~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B 및 C를 수행하도록 구성(또는 설정)된 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서) 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.

본 개시의 다양한 실시예들에 따른 전자 장치는,예를 들면,전자 장치는 스마트 폰(smart phone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera) 또는 웨어러블 장치(wearable device)(예: 스마트안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복,전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.

어떤 실시예들에서, 전자 장치는 스마트 가전제품(smart home appliance)일 수 있다. 스마트 가전제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성HomeSync™, 애플TV™ 또는 구글 TV™), 게임콘솔(예: Xbox™, PlayStation™), 전자사전, 전자키, 캠코더(camcorder) 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기,또는 초음파기 등), 내비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자장비(예: 선박용 항법장치, 자이로 콤파스 등), 항공전자기기(avionics), 보안기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융기관의 ATM(automatic teller’s machine), 상점의 POS(point of sales) 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링쿨러 장치, 화재 경보기, 온도 조절기(thermostat), 가로등, 토스터(toaster), 운동 기구, 온수 탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.

어떤 실시예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector) 또는 각종 계측기기(예: 수도, 전기, 가스 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 전자 장치는 플렉서블(flexible) 전자 장치일 수 있다. 또한, 본 개시의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.

이하, 첨부도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.

도 1은 본 발명의 다양한 실시예에 따라 외부의 다른 물체를 제어할 수 있는 전자 장치를 포함하는 제어 시스템을 나타낸 도면이다.

도 1을 참조하면, 제어 시스템(1)은 제1 전자 장치(100) 및 상기 제1 전자 장치(100)에 의하여 제어될 수 있는 적어도 하나의 대상 물체, 예를 들어 제2 전자 장치(200: 200-1, 200-2, …, 200-N)를 포함할 수 있다. 도 1은 제1 전자 장치(100)를 안경의 형태로 구현된 경우를 도시한 것이며, 다른 실시예에 따라 제1 전자 장치(100)는 모바일 단말기, PC, TV, 세탁기 등의 다른 전자 장치와 통신이 가능한 전자 장치일 수 있으며, 제2 전자 장치(200) 또한 모바일 단말기, PC, TV, 세탁기 등의 다른 전자 장치와 통신이 가능한 전자 장치로 구현될 수 있다.

제1 전자 장치(100)는, 외부에 위치한 물체들(예를 들어, 제2 전자 장치들(200)) 중 상기 제1 전자 장치(100)를 사용하는 사용자(10)에 의하여 선택된 대상 물체, 예를 들어 제2 전자 장치(200-1)를 제어할 수 있다. 상기 ‘대상 물체’는 사용자가 선택하고자 하는 물체를 가리키는 것이다. 사용자는, 예를 들어 안경의 형태로 구현된 제1 전자 장치(100)를 착용한 상태에서 하나 이상의 물체들을 응시함으로써 대상 물체를 선택할 수 있다.

도 1에 도시된 바와 같이 안경의 형태로 구현된 제1 전자 장치(100)는, 상기 제1 전자 장치(100)를 착용한 사용자(10)의 시선을 감지하고, 그 감지 결과를 분석함으로써 대상 물체를 결정할 수 있다. 도 1을 참조하면 제1 전자 장치(100)는 사용자(10)의 시선을 분석한 결과로서 제2 전자 장치(200-1)를 대상 물체로서 결정하고 있다.

사용자(10)에 의하여 대상 물체, 예를 들어 제2 전자 장치(200-1)가 결정되면, 제1 전자 장치(100)는 제2 전자 장치(200-1)와 페어링되도록 제1 전자 장치(100)와 제2 전자 장치(200-1) 간의 연결을 설정할 수 있다. 다양한 실시예에 따라 제1 전자 장치(100)는, 제1 전자 장치(100)가 마스터(Master)로서 동작하도록 설정하고, 제2 전자 장치(200)가 슬레이브(Slave)로 동작하도록 제1 전자 장치(100)와 제2 전자 장치(200-1)의 연결을 설정할 수 있다.

제1 전자 장치(100)는 상기 제2 전자 장치(200-1)를 제어하기 위한 기기 제어 신호를 생성할 수 있다. 제1 전자 장치(100)는 상기 제2 전자 장치(200-1)에 대응하는 제어 정보를 기초로 상기 기기 제어 신호를 생성할 수 있다. 다양한 실시예에 따라 제1 전자 장치(100)는 사용자(10)로부터의 사용자 입력에 따라 상기 제2 전자 장치(200-1)를 제어하기 위한 기기 제어 신호를 생성할 수 있다. 기기 제어 신호가 생성되면, 제1 전자 장치(100)는 상기 기기 제어 신호를, 예를 들어 무선 통신 방식으로 제2 전자 장치(200-1)로 전송할 수 있다. 제2 전자 장치(200-1)는 제1 전자 장치(100)로부터 수신한 기기 제어 신호에 따른 동작을 실행함으로써 제1 전자 장치(100)의 제어에 따라 동작할 수 있다.

도 2는 본 발명의 다양한 실시예에 따라 외부의 물체를 제어하는 제1 전자 장치의 구성을 도시한 블록도이다.

도 2를 참조하면, 제1 전자 장치(100)는 제어부(110), 통신 인터페이스(120), 카메라 모듈(150), 저장부(175) 중 적어도 하나를 포함할 수 있으며, 입출력 모듈(160)을 더 포함할 수 있다.

제어부(110)는 제1 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 상기 제어부(110)는 사용자(10)의 시선을 분석하여 사용자(10)가 현재 응시하고 있는 대상 물체(target object)를 결정할 수 있다. 상기 제어부(110)는 사용자(10)가 현재 응시하고 있는 대상 물체와 관련된 다른 전자 장치를 결정할 수도 있다. 예를 들어, 제어부(110)는 제2 전자 장치(200)를, 사용자(10)에 의해 선택된 대상 물체로 결정하거나 또는 대상 물체와 관련된 전자 장치로서 결정할 수도 있다.

상기 제어부(110)에 의하여 대상 물체로서 제2 전자 장치(200)가 결정되면, 상기 제어부(110)는 저장부(175)에 포함된 기기 DB(22)를 참조하여 상기 제2 전자 장치(200)에 대응하는 각종 정보(이하, ‘물체 정보’라 한다)를 상기 기기 DB(22)로부터 검색할 수 있다. 상기 물체 정보는 상기 물체와 관련된 브랜드명, 상기 물체의 형태, 상기 물체에 포함된 특정 버튼의 배치 형태, 상기 물체의 색상, 상기 물체에 부착된 악세서리, 상기 물체의 상표 또는 상기 물체와 관련된 텍스트 정보 중 적어도 하나를 포함할 수 있다. 상기 제어부(110)는 상기 물체 정보를 기초로 상기 대상 물체 또는 상기 대상 물체와 관련된 전자 장치의 동작을 제어할 수 있다.

상기 제어부(110)는 상기 제2 전자 장치(200)에 대응하는 물체 정보를 기초로 상기 제1 전자 장치(100)와 제2 전자 장치(200)가 서로 연결되도록 제1 전자 장치(100)를 제어할 수 있다. 상기 제어부(110)는 제1 전자 장치(100)와 제2 전자 장치(200)가 페어링(pairing)되도록 제1 전자 장치(100)를 제어함으로써, 이후 제1 전자 장치(100)가 제2 전자 장치(200)를 제어할 수 있도록 할 수 있다. 상기와 같이 제1 전자 장치(100)와 제2 전자 장치(200)가 페어링되면, 상기 제어부(110)는 카메라 모듈(150) 또는 입출력 모듈(160)을 통해 사용자 입력을 수신할 수 있다. 이때 사용자 입력은, 대상 물체 또는 대상 물체와 관련된 전자 장치, 예를 들어 제2 전자 장치(200)를 제어하기 위한 사용자 입력일 수 있다. 상기 제2 전자 장치(200)를 제어하기 위한 사용자 입력을 수신하면, 제어부(110)는 상기 사용자 입력에 대응하는 기기 제어 신호를 생성할 수 있다. 기기 제어 신호가 생성되면, 제어부(110)는 통신 인터페이스(120)를 통해 상기 기기 제어 신호를 제2 전자 장치(200)로 전송할 수 있다.

다양한 실시예에 따라 제2 전자 장치(200)는 제1 전자 장치(100)로부터 기기 제어 신호를 수신하고, 상기 기기 제어 신호에 대응하는 동작을 실행할 수 있다. 상기와 같이 제2 전자 장치(200)가 기기 제어 신호에 대응하는 동작을 실행함으로써, 제1 전자 장치(100)는 제2 전자 장치(200)를 제어할 수 있다.

상기와 같은 동작을 실행하기 위하여 다양한 실시예에 따른 제어부(110)는 시선 결정 모듈(12), 정보 결정 모듈(14) 또는 신호 생성 모듈(16) 중 적어도 하나를 포함할 수 있다. 설명의 편이를 위하여 사용자에 의하여 선택된 대상 물체가 제1 전자 장치(100) 외의 전자 장치, 예를 들어 제2 전자 장치(200)인 경우를 먼저 설명하기로 한다.

상기 시선 결정 모듈(12)은 카메라 모듈(150)에 의하여 생성된 이미지, 예를 들어 눈 이미지를 분석할 수 있다. 다양한 실시예에 따라 상기 입출력 모듈(160)을 통해 제1 전자 장치(100)의 외부에 위치한 대상 물체를 제어하기 위한 사용자 입력이 입력되면, 시선 결정 모듈(12)은 눈 이미지 또는 뷰 이미지를 생성하도록 카메라 모듈(150)을 제어할 수 있다.

상기 눈 이미지가 생성되면, 시선 결정 모듈(12)은 상기 눈 이미지를 분석하여 사용자(10)가 응시하고 있는 응시 지점 또는 시선 방향을 결정할 수 있다. 다양한 실시예에 따라 시선 결정 모듈(12)은, 저장부(175)에 미리 저장되어 있는 각종 데이터, 예를 들어 사용자(10)의 홍채, 수정체의 두께, 동공의 크기, 눈꺼풀이 닫힌 정도, 눈과 카메라 모듈(150) 간의 각도 또는 거리, 사용자(10)의 안면 이미지 등을 이용하여 상기 눈 이미지를 분석할 수 있다. 상기 시선 결정 모듈(12)은 사용자(10)의 홍채 모양, 수정체의 두께, 동공의 크기, 눈꺼풀이 닫힌 정도, 눈과 카메라 모듈(150) 간의 각도 또는 거리, 사용자(10)의 안면 이미지 등의 데이터를 상기 눈 이미지를 분석한 분석 결과로서 획득할 수 있다. 상기 시선 결정 모듈(12)은, 상기 눈 이미지를 분석한 분석 결과를 기초로 사용자(10)의 시선 방향 또는 응시 지점을 결정할 수 있다.

상기 시선 결정 모듈(12)은 상기 눈 이미지를 분석한 분석 결과 중 하나인 수정체의 두께를 이용하여 상기 대상 물체가 제1 전자 장치(100) 또는 사용자(10)로부터 가까운 곳에 위치하는지 또는 먼 곳에 위치하는지 여부를 알아낼 수 있다. 예를 들어, 상기 눈 이미지에 포함된 사용자(10)의 수정체가 얇으면 상기 대상 물체가 사용자(10)로부터 먼 곳에 위치하고, 상기 사용자(10)의 수정체가 두꺼우면 상기 대상 물체가 사용자(10)로부터 가까운 곳에 위치하는 것일 수 있다.

다양한 실시예에 따라 시선 결정 모듈(12)은, 카메라 모듈(150)이 미리 설정된 시간(예를 들어, 1초) 동안 사용자(10)의 눈을 연속적으로 촬영하도록 제어할 수 있다. 카메라 모듈(150)로 하여금 미리 설정된 시간 동안 사용자(10)의 눈을 연속 촬영하여 복수 개의 눈 이미지들을 생성하도록 함으로써, 상기 시선 결정 모듈(12)은 사용자(10)의 수정체의 두께 변화를 측정할 수 있다. 상기 시선 결정 모듈(12)은 수정체의 두께 변화를 기초로 상기 대상 물체가 사용자(10)로부터 가까운 곳에 위치하는지 또는 먼 곳에 위치하는지 여부를 알아낼 수 있다. 상기 시선 결정 모듈(12)은 상기 수정체의 두께 변화를 기초로 사용자(10)로부터 대상 물체까지의 거리(예를 들어, 10m)를 결정할 수도 있다.

상기 시선 결정 모듈(12)은, 상기 눈 이미지의 분석 결과 중 하나인 동공의 크기를 기초로 제1 전자 장치(100)의 주변 환경에 대한 환경 데이터를 획득할 수 있다. 일반적으로 동공은 어두운 곳이냐, 밝은 곳이냐에 따라 크기가 조절될 수 있다. 시선 결정 모듈(12)은 뷰 이미지에 포함된 동공의 크기를 체크함으로써, 제1 전자 장치(100)의 주변 환경(예를 들어, 제1 전자 장치(100)로부터 반경 5m 이내)이 어두운지 또는 밝은지 여부를 알아낼 수 있다. 예를 들어, 제어부(110)는 사용자(10)의 동공의 지름에 따라 주변 환경의 밝기 레벨을 결정할 수 있다. 예를 들어, 사용자(10)의 동공의 지름이 1cm이면 밝기 레벨은 1일 수 있고, 동공의 지름이 5mm이면 밝기 레벨은 5일 수 있다. 상기 동공의 지름별 주변 환경의 밝기 레벨은 저장부(175)에 미리 저장된 값일 수 있다.

상기 시선 결정 모듈(12)에 의하여 제1 전자 장치(100)의 주변이 어두운 것으로 결정되면, 시선 결정 모듈(12)은 뷰 이미지 또는 저장부(175)에 미리 저장된 GPS 정보, 맵 좌표 또는 AP(access point) 위치 등을 참조하여 제1 전자 장치(100)의 주변에 조명 장치가 존재하는지 여부를 파악할 수도 있다.

상기 GPS 정보는 상기 대상 물체 또는 제2 전자 장치(200)의 GPS 좌표를 가리키는 것이다. 상기 맵 좌표는 상기 대상 물체 또는 상기 제2 전자 장치(200)가 상기 제1 전자 장치(100)에 저장된 지도 상에서의 위치를 가리킨다. 예를 들어, 사용자(10)가 집 안의 물체들을 제1 전자 장치(100)를 이용하여 제어하고자 한다고 가정한다. 제1 전자 장치(100)는 집 안의 물체들이 어디에 위치해 있는지를 나타난 지도를 생성하여 저장하고 있을 수 있다. 또한 상기 제1 전자 장치(100)는 저장부(175)에 미리 저장된 맵에 포함된 대상 물체 또는 제2 전자 장치(200)의 좌표들, 즉 맵좌표들을 결정할 수 있다. 상기 제1 전자 장치(100)는 상기 대상 물체 또는 제2 전자 장치(200)에 대응하여 상기 맵좌표들을 저장부(175)에 저장할 수 있다. 또한 상기 제1 전자 장치(100)는 상기 맵좌표들을 이용하여 뷰 이미지에 포함된 대상 물체 또는 제2 전자 장치(200)를 파악할 수 있다. 상기 AP 위치는 상기 제2 전자 장치(200)의 AP 위치를 가리킨다.

상기 시선 결정 모듈(12)은, 상기 시선 결정 모듈(12)은 GPS 정보, 맵 좌표 또는 AP(access point) 위치 등을 기초로 상기 조명 장치가 대상 물체인지 여부를 판단하여 결정할 수도 있다. 상기와 같이, 시선 결정 모듈(12)은 눈 이미지를 통해 획득한 각종 데이터를 이용하여 사용자(10)의 시선을 결정하거나 또는 상기 시선에 따른 대상 물체를 결정할 수 있다.

사용자(10)의 시선 또는 대상 물체가 결정되면, 시선 결정 모듈(12)은 뷰 이미지를 생성하도록 카메라 모듈(150)을 제어할 수 있다. 카메라 모듈(150)은 사용자(10)의 시선에 따라 적어도 하나의 물체를 촬영하여 뷰 이미지를 생성할 수 있다. 뷰 이미지가 생성되면, 시선 결정 모듈(12)은 뷰 이미지에 포함되어 있는 물체들 중 대상 물체를 결정할 수 있다. 예를 들어, 시선 결정 모듈(12)은 뷰 이미지에 포함된 물체들 중 사용자(10)의 시선 방향에 가장 부합하는 물체의 윤곽선을 추출하고, 상기 윤곽선을 가지는 물체를 대상 물체로서 결정할 수 있다.

상기 시선 결정 모듈(12)은 뷰 이미지에 포함된 물체들 각각의 윤곽선을 추출할 수 있다. 예를 들어, 뷰 이미지에 TV 및 모니터가 포함되어 있다고 가정하면 시선 결정 모듈(12)은 TV 및 모니터의 윤곽선을 추출할 수 있다. 상기 시선 결정 모듈(12)은 뷰 이미지로부터 추출된 윤곽선들 각각을 구분함으로써 뷰 이미지에 포함된 물체들을 구분하고, 상기 물체들 중 적어도 하나를 대상 물체로서 결정할 수 있다. 예를 들어, 뷰 이미지에 포함된 물체가 TV 및 DVD 플레이어라고 가정하면, 상기 시선 결정 모듈(12)은 눈 이미지를 분석한 분석 결과를 기초로 TV와 DVD 플레이어 중 TV를 대상 물체들로서 결정할 수 있다.

상기와 같이 뷰 이미지에 포함된 물체들 중 대상 물체가 결정되면, 정보 결정 모듈(14)은 상기 대상 물체, 예를 들어 제2 전자 장치(200)에 대응하는 인식 데이터를 추출할 수 있다. 예를 들어, 인식 데이터는, 대상 물체의 기기 코드, 대상 물체의 윤곽선 또는 적어도 하나의 특징 이미지, 상기 대상 물체와 연관된 텍스트 데이터, 대상 물체와 연관된 외부 장치, 대상 물체와 연관된 앱세서리(appcessory), 대상 물체의 MAC address, AP(Access Point) 주소, LBS(Location Based Service) 주소, 식별 ID 등을 포함할 수 있다. 기기 코드는, 예를 들어 식별 ID, MAC address, AP 주소, 바(bar) 코드, QR(Quick Resoponse) 코드 등을 포함할 수 있다. 정보 결정 모듈(14)은 기기 코드를 통하여 대상 물체에 대한 구체적인 정보로서, 예를 들어 대상 물체의 기기명, 대상 물체의 브랜드명 등을 포함하는 물체 정보를 알아낼 수 있다.

다양한 실시예에 따라 정보 결정 모듈(14)은 뷰 이미지 중 윤곽선 내부에 포함되어 있거나 또는 윤곽선과 인접한 영역에 특징 이미지를 검출할 수 있다. 예를 들어, 대상 물체가 TV라고 가정하면 정보 결정 모듈(14)은 TV의 윤곽선 내부에 포함된 상기 TV의 온/오프 버튼을 특징 이미지로서 검출할 수 있다. 다양한 실시예에 따라 정보 결정 모듈(14)은 상기 특징 이미지, 예를 들어 온/오프 버튼의 형태로부터 대상 물체에 대한 물체 정보를 알아낼 수 있다. 상기 정보 결정 모듈(14)은 상기 특징 이미지를 통해 상기 윤곽선 내부에 포함된 영역에 존재하는 물체와 관련된 브랜드명, 상기 물체의 형태, 상기 물체에 포함된 특정 버튼의 배치 형태, 상기 물체의 색상, 상기 물체에 부착된 악세서리, 상기 물체의 상표 또는 상기 물체와 관련된 텍스트 정보 중 적어도 하나, 즉 물체 정보를 알아낼 수도 있다.

다양한 실시예에 따라 특징 이미지는, 윤곽선 내부에 포함된 텍스트를 더 포함할 수 있다. 예를 들어, 대상 물체의 브랜드명이 ‘LKH’이고, 대상 물체의 하단 중앙에 LKH라는 브랜드명이 새겨져 있는 것으로 가정한다. 정보 결정 모듈(14)은 ‘LKH’ 전체를 하나의 특징 이미지로서 추출할 수 있고, 실시예에 따라 LKH라는 텍스트를 텍스트 데이터로서 추출할 수도 있다. 상기와 같이 정보 결정 모듈(14)은 뷰 이미지를 분석하여 대상 물체에 대한 물체 정보를 알아낼 수 있다. 다양한 실시예에 따라 정보 결정 모듈(14)은 뷰 이미지 중 대상 물체의 윤곽선 내부 또는 윤곽선과 인접한 영역을 하나의 이미지 영역으로서 결정할 수 있고, 그 이미지 영역 내에 포함된 특징 이미지 또는 텍스트 데이터를 이용하여 대상 물체에 대한 물체 정보를 알아낼 수도 있다.

대상 물체와 연관된 외부 장치는, 상기 대상 물체와 유선 또는 무선으로 연결될 수 있는 장치이며, 예를 들어 대상 물체가 PC(Personal Computer)라고 가정하면 마우스, 키보드 등은 상기 대상 물체와 연관된 외부 장치일 수 있다.

대상 물체와 연관된 앱세서리는, 상기 대상 물체에 미리 저장된 어플리케이션과 연동되어 상기 대상 물체에 의하여 제어될 수 있는 또 다른 외부 장치일 수 있다. 앱세서리는, 예를 들어 스마트 폰에 의하여 온/오프, 빛의 밝기 또는 색상 등이 조절될 수 있는 전구, 스마트 폰에 의하여 실내의 온도가 조절될 수 있는 온도 조절 장치 등이 될 수 있다. 또한 상기 대상 물체 또는 상기 대상 물체와 연관된 앱세서리로서, 예를 들어 미러링 장치, 크롬캐스트, 올쉐어 캐스트 동글 등의 영상 장치들이 있을 수 있다.

다양한 실시예에 따라 정보 결정 모듈(14)은 뷰 이미지로부터 대상 물체와 연결된 물체를 파악함으로써, 대상 물체와 연관된 외부 장치 또는 대상 물체와 연관된 앱세서리를 알아낼 수 있다. 대상 물체와 연결된 물체 또는 앱세서리를 알아냄으로써, 정보 결정 모듈(14)은 대상 물체의 물체 정보를 유추할 수도 있다.

상기와 같이 대상 물체에 대한 물체 정보가 결정되면, 정보 결정 모듈(14)은 제1 전자 장치(100)가 상기 대상 물체를 제어할 수 있는지 여부를 판단할 수 있다. 다양한 실시예에 따라 상기 정보 결정 모듈(14)은 저장부(175)에 미리 저장된 장치 리스트를 기초로 제1 전자 장치(100)가 대상 물체, 예를 들어 제2 전자 장치(200)를 제어할 수 있는지 여부를 결정할 수 있다. 장치 리스트는, 제1 전자 장치(100)에 의하여 제어 가능한 물체들에 대한 리스트일 수 있다.

다양한 실시예에 따라 정보 결정 모듈(14)은 장치 리스트 또는 제어 이력을 기초로 대상 물체, 예를 들어 제2 전자 장치가 제1 전자 장치(100)에 의하여 이전에도 제어된 적이 있는지 여부를 결정할 수 있다. 제어 이력은, 물체들 각각이 제1 전자 장치(100)에 의하여 제어된 이력들을 포함할 수 있다. 다양한 실시예에 따라 장치 리스트 또는 제어 이력은 기기 데이터베이스(DataBase: DB)(22)에 저장되어 있을 수 있다.

대상 물체가 장치 리스트에 이미 등록되어 있는 경우, 정보 결정 모듈(14)은 그 대상 물체를 제1 전자 장치(100)에 의하여 제어 가능한 대상 물체인 것으로 결정할 수 있다. 대상 물체가 장치 리스트에 등록되어 있지 않은 경우, 정보 결정 모듈(14)은 제2 전자 장치(200)를 제어하기 위한 제어 정보를 외부에 요청하도록 통신 인터페이스(120)를 제어할 수 있다.

상기 제어 정보는, 제2 전자 장치(200)를 제어하기 위한 기기 제어 신호를 생성하는데 필요한 데이터, 예를 들어 변환 함수 등이 될 수 있다. 다양한 실시예에 따라 제어 정보는 저장부(175)에 미리 저장된 것일 수 있다. 상기 저장부(175)에는 대상 물체에 대응하는 제어 이력 또는 제어 정보가 함께 저장될 수 있을 수 있으며, 다른 실시예에 따라 제어 이력 또는 제어 정보 중 어느 하나가 상기 대상 물체에 대응하여 저장부(175)에 저장되어 있을 수도 있다. 장치 리스트에 대상 물체가 등록되어 있는 경우에는, 정보 결정 모듈(14)은 저장부(175) 내에 대상 물체를 제어하기 위한 제어 정보가 저장되어 있는지 여부를 판단하고, 저장되어 있지 않은 경우 외부 서버에 제어 정보를 요청하도록 통신 인터페이스를 제어할 수 있다. 다양한 실시예에 따라 장치 리스트는 대상 물체들 각각에 따른 제어 정보를 다운로드(download) 받을 수 있는 다운로드 경로를 포함할 수 있다. 정보 결정 모듈(14)은 해당 다운로드 주소에 접속하여 제어 정보를 수신하도록 통신 인터페이스(120)를 제어할 수 있다.

다양한 실시예에 따라 제어 정보는 외부 서버로부터 통신 인터페이스(120)를 통해 수신한 것일 수 있다. 상기 정보 결정 모듈(14)은, 대상 물체에 대한 제어 이력이 저장부(175)에 저장되어 있지 않을 뿐만 아니라 상기 대상 물체가 장치 리스트에도 등록되어 있지 않았으면 뷰 이미지에 포함된 대상 물체의 이미지 또는 대상 물체의 상품명을 외부 서버(예를 들어, 포털 서버 등)로 전달함으로써 대상 물체에 대한 제어 정보를 검색하여 줄 것을 외부 서버에 요청할 수도 있다. 다양한 실시예에 따라 외부 서버는 대상 물체를 제어하기 위한 제어 정보를 검색하여 제1 전자 장치(100)에 전송하거나 또는 상기 제어 정보를 다운로드받을 수 있는 다운로드 경로를 제1 전자 장치(100)에 알릴 수 있다.

신호 생성 모듈(16)은, 상기 제어 정보를 기초로 대상 물체, 예를 들어 제2 전자 장치(200)를 제어하기 위한 기기 제어 신호를 생성할 수 있다. 예를 들어, 신호 생성 모듈(16)은 제어 정보를 이용하여 제1 전자 장치(100)로 입력되는 사용자 입력을, 상기 제2 전자 장치(200)에 적합한 포맷의 명령어로 변환할 수 있다. 상기와 같이 제2 전자 장치(200)에 적합한 포맷의 명령어로 변환되었으므로, 제2 전자 장치(200)는 상기 명령어에 따른 동작을 수행할 수 있다.

다양한 실시예에 따라 신호 생성 모듈(16)은 제1 전자 장치(100)가 대상 물체, 예를 들어 제2 전자 장치(200)와 페어링(paring) 되도록 통신 인터페이스(120)를 제어할 수 있다. 신호 생성 모듈(16)은 제2 전자 장치(200)로, 제1 전자 장치(100)와의 페어링을 요청하는 요청 메시지를 생성하고, 상기 요청 메시지를 통신 인터페이스를 통해 전송할 수 있다. 다양한 실시예에 따라 신호 생성 모듈(16)은 제1 전자 장치(100)를 마스터로 설정하고, 대상 물체, 예를 들어 제2 전자 장치를 슬레이브로 설정하기 위한 기기 제어 신호를 생성할 수 있다. 신호 생성 모듈(16)은 상기 기기 제어 신호를 제2 전자 장치(200)로 전송하도록 통신 인터페이스(120)를 제어할 수 있다.

이하에서는, 사용자에 의하여 선택된 대상 물체가 전자 장치가 아닌 경우의 시선 결정 모듈(12), 정보 결정 모듈(14) 및 신호 생성 모듈(16)의 동작을 설명하기로 한다.

카메라 모듈(150)에 의하여 눈 이미지가 생성되면, 시선 결정 모듈(12)은 상기 눈 이미지를 분석하여 사용자(10)가 응시하고 있는 응시 지점 또는 시선 방향을 계산할 수 있다. 상기 시선 결정 모듈(12)은 눈 이미지로부터 사용자(10)의 홍채, 수정체의 두께, 동공의 크기, 눈꺼풀이 닫힌 정도, 눈과 카메라 모듈(150) 간의 각도 또는 거리, 사용자(10)의 안면 이미지 등의 데이터를 눈 이미지를 분석한 분석 결과로서 획득할 수 있다. 상기 시선 결정 모듈(12)은, 눈 이미지를 분석한 분석 결과를 기초로 사용자(10)의 시선 방향 또는 응시 지점을 결정할 수 있다.

다양한 실시예에 따라 시선 결정 모듈(12)은 뷰 이미지에 포함된 물체들 각각의 윤곽선을 추출할 수 있다. 예를 들어, 뷰 이미지에 로봇 청소기 및 휴지 조각이 포함되어 있다고 가정하면 시선 결정 모듈(12)은 로봇 청소기 및 휴지 조각의 윤곽선을 추출할 수 있다. 상기 시선 결정 모듈(12)은 뷰 이미지로부터 추출된 윤곽선들 각각을 구분함으로써 뷰 이미지에 포함된 물체들을 구분하고, 상기 물체들 중 적어도 하나를 대상 물체로서 결정할 수 있다. 이하에서는 설명의 편이를 위하여 로봇 청소기 및 휴지 조각 중 휴지 조각이 대상 물체인 것으로 가정한다. 시선 결정 모듈(12)은 눈 이미지 또는 뷰 이미지를 분석하여 휴지 조각을 대상 물체로 결정할 수 있다.

상기와 같이 뷰 이미지에 포함된 물체들 중 대상 물체가 결정되면, 정보 결정 모듈(14)은 상기 대상 물체, 예를 들어 휴지 조각에 대응하는 인식 데이터를 추출할 수 있다. 예를 들어, 인식 데이터는 대상 물체의 윤곽선 또는 적어도 하나의 특징 이미지 등을 포함할 수 있다. 정보 결정 모듈(14)은 대상 물체의 윤곽선 또는 적어도 하나의 특징 이미지를 기초로 대상 물체의 명칭, 모양, 종류 또는 특성을 파악할 수 있다. 예를 들어, 정보 결정 모듈(14)은 뷰 이미지에 포함된 휴지 조각의 윤곽선 또는 적어도 하나의 특징 이미지를 이용하여 대상 물체가 휴지 조각임을 알아낼 수 있다. 상기 뷰 이미지로부터 추출한 인식 데이터와 대응되는 데이터가 저장부(175)에 저장되어 있지 않은 경우, 정보 결정 모듈(14)은 상기 대상 물체의 윤곽선 또는 특징 이미지를 외부 서버로 전송하여 검색을 요청하도록 통신 인터페이스(120)를 제어할 수 있다.

뷰 이미지에 포함된 대상 물체가 결정되면, 정보 결정 모듈(14)은 상기 대상 물체가 제1 전자 장치(100)에 의하여 제어가 가능한지 여부를 판단할 수 있다. 예를 들어, 정보 결정 모듈(14)은 휴지 조각이 제1 전자 장치(100)에 의하여 제어가 가능한지 여부를 판단할 수 있다.

통상적으로 대상 물체가 전자 장치가 아닌 경우에는 제1 전자 장치(100)가 대상 물체를 직접 제어할 수 없다. 대상 물체가 전자 장치인 경우라도, 상기 대상 물체가 유선 또는 무선 통신을 할 수 없는 경우에는 제1 전자 장치(100)가 대상 물체를 직접 제어할 수 없다. 상기와 같이 대상 물체가 제1 전자 장치(100)에 의하여 제어될 수 없는 경우, 정보 결정 모듈(14)은 대상 물체와 관련된 다른 전자 장치(이하, ‘관련 장치’라 하기로 한다)를, 제어 대상으로서 결정할 수 있다. 즉 대상 물체가 전자 장치가 아니므로, 제1 전자 장치(100)는 관련 장치를 제어하여 특정 동작을 수행하게 함으로써 대상 물체의 상태를 변화시킬 수 있다. 예를 들어 대상 물체가 휴지 조각이라고 가정하면, 제1 전자 장치(100)는 휴지 조각의 관련 장치인 청소기를 하여금 청소 동작을 실행하도록 제어함으로써 휴지 조각을 제거할 수 있다.

다양한 실시예에 따라 관련 장치는 대상 물체와 인접한 위치의 전자 장치들 중 제1 전자 장치(100)와 통신이 가능한 전자 장치일 수 있다. 상기 정보 결정 모듈(14)은 대상 물체와 연관성이 있는 전자 장치를 관련 장치로서 결정할 수도 있다. 예를 들어, 대상 물체가 휴지 조각이라면 정보 결정 모듈(14)은 청소 로봇을 관련 장치로서 결정할 수 있다. 예를 들어, 대상 물체가 빨래라면 정보 결정 모듈(14)은 세탁기를 관련 장치로서 결정할 수 있다. 다양한 실시예에 따라 저장부(175)에는 대상 물체에 대한 관련 장치가 저장되어 있을 수 있다. 예를 들어, 저장부(175)에 저장된 장치 리스트에는 대상 물체인 빨래에 대응하는 관련 장치로서, 세탁기 또는 빨래 건조기 등이 지정되어 있을 수 있다.

상기 정보 결정 모듈(14)은 대상 물체가 결정되면 상기 대상 물체와 연관성이 있는 전자 장치들을 안내하도록 제1 전자 장치(100)를 제어할 수 있다. 예를 들어, 정보 결정 모듈(14)은 대상 물체인 빨래에 대응하는 관련 장치로서 세탁기, 빨래 건조기 등을 사용자(10)에게 안내하도록 제1 전자 장치(100)를 제어할 수 있다. 또한 사용자(10)는 안내된 관련 장치들 중 적어도 하나를 선택하기 위한 사용자 입력을 제1 전자 장치(100)에 입력함으로써 관련 장치를 직접 선택할 수 있다.

관련 장치가 결정되면, 정보 결정 모듈(14)은 상기 관련 장치, 예를 들어 제2 전자 장치(200)에 대응하는 인식 데이터를 추출할 수 있다. 예를 들어, 인식 데이터는, 관련 장치의 기기 코드, 관련 장치의 윤곽선 또는 적어도 하나의 특징 이미지, 상기 관련 장치와 연관된 텍스트 데이터, 관련 장치와 연관된 외부 장치, 관련 장치와 연관된 앱세서리(appcessory) 등을 포함할 수 있다. 기기 코드는, 예를 들어 바(bar) 코드, QR(Quick Response) 코드 등을 포함할 수 있다. 정보 결정 모듈(14)은 기기 코드를 통하여 관련 장치에 대한 구체적인 정보로서, 예를 들어 관련 장치의 기기명, 관련 장치의 제품명, 관련 장치의 브랜드명 등을 포함하는 물체 정보를 알아낼 수 있다.

다양한 실시예에 따라 정보 결정 모듈(14)은 뷰 이미지 중 관련 장치의 윤곽선 내부에 포함되어 있거나 또는 윤곽선과 인접한 영역에 특징 이미지를 검출할 수 있다. 예를 들어, 관련 장치가 세탁기라고 가정하면 정보 결정 모듈(14)은 세탁기의 윤곽선 내부에 포함된 상기 세탁기의 온/오프 버튼을 특징 이미지로서 검출할 수 있다. 상기 정보 결정 모듈(14)은 상기 특징 이미지, 예를 들어 온/오프 버튼의 형태로부터 관련 장치에 대한 물체 정보를 알아낼 수 있다.

상기 특징 이미지는, 윤곽선 내부에 포함된 텍스트를 더 포함할 수 있다. 예를 들어, 대상 물체의 브랜드명이 ‘ENTI’이고, 대상 물체의 하단 중앙에 ENTI라는 브랜드명이 새겨져 있는 것으로 가정한다. 정보 결정 모듈(14)은 ‘ENTI’ 전체를 하나의 특징 이미지로서 추출할 수 있고, 실시예에 따라 ENTI라는 텍스트를 텍스트 데이터로서 추출할 수도 있다. 상기와 같이 정보 결정 모듈(14)은 뷰 이미지를 분석하여 관련 장치에 대한 물체 정보를 알아낼 수 있다. 상기 정보 결정 모듈(14)은 뷰 이미지 중 관련 장치의 윤곽선 내부 또는 윤곽선과 인접한 영역을 하나의 이미지 영역으로서 결정할 수 있고, 그 이미지 영역 내에 포함된 특징 이미지 또는 텍스트 데이터를 이용하여 관련 장치에 대한 물체 정보를 알아낼 수도 있다.

관련 장치와 연관된 외부 장치는, 상기 관련 장치와 유선 또는 무선으로 연결될 수 있는 장치이며, 예를 들어 관련 장치가 PC(Personal Computer)라고 가정하면 마우스, 키보드 등은 상기 관련 장치와 연관된 외부 장치일 수 있다. 관련 장치와 연관된 앱세서리는, 상기 관련 장치에 미리 저장된 어플리케이션과 연동되어 상기 관련 장치에 의하여 제어될 수 있는 또 다른 외부 장치일 수 있다.

상기 정보 결정 모듈(14)은 뷰 이미지로부터 관련 장치와 연결된 물체를 파악함으로써, 관련 장치와 연관된 외부 장치 또는 관련 장치와 연관된 앱세서리를 알아낼 수 있다. 관련 장치와 연결된 물체 또는 앱세서리를 알아냄으로써, 정보 결정 모듈(14)은 관련 장치의 물체 정보를 유추할 수도 있다.

상기와 같이 관련 장치에 대한 물체 정보가 결정되면, 정보 결정 모듈(14)은 제1 전자 장치(100)가 상기 관련 장치를 제어할 수 있는지 여부를 판단할 수 있다. 상기 정보 결정 모듈(14)은 저장부(175)에 미리 저장된 장치 리스트를 기초로 제1 전자 장치(100)가 관련 장치, 예를 들어 제2 전자 장치(200)를 제어할 수 있는지 여부를 결정할 수 있다. 장치 리스트는, 제1 전자 장치(100)에 의하여 제어 가능한 물체들에 대한 리스트일 수 있다.

상기 정보 결정 모듈(14)은 장치 리스트 또는 제어 이력을 기초로 관련 장치, 예를 들어 제2 전자 장치가 제1 전자 장치(100)에 의하여 이전에도 제어된 적이 있는지 여부를 판단할 수 있다. 제어 이력은, 물체들 각각이 제1 전자 장치(100)에 의하여 제어된 이력들을 포함할 수 있다. 다양한 실시예에 따라 장치 리스트 또는 제어 이력은 기기 DB(22)에 저장되어 있을 수 있다.

관련 장치가 장치 리스트에 이미 등록되어 있는 경우, 정보 결정 모듈(14)은 그 관련 장치를 제1 전자 장치(100)에 의하여 제어 가능한 것으로 결정할 수 있다. 관련 장치가 장치 리스트에 등록되어 있지 않은 경우, 정보 결정 모듈(14)은 제2 전자 장치(200)를 제어하기 위한 제어 정보를 외부에 요청하도록 통신 인터페이스(120)를 제어할 수 있다.

상기 제어 정보는, 관련 장치 예를 들어 제2 전자 장치(200)를 제어하기 위한 기기 제어 신호를 생성하는데 필요한 데이터, 예를 들어 변환 함수 등이 될 수 있다. 상기 제어 정보는 저장부(175)에 미리 저장된 것이 수 있다. 상기 저장부(175)에 제어 이력이 이미 저장되어 있는 대상 물체의 경우 저장부(175)에는 관련 장치를 제어하기 위한 제어 정보 또한 저장된 것일 수 있다. 장치 리스트에 관련 장치가 등록되어 있는 경우에는, 정보 결정 모듈(14)은 저장부(175) 내에 관련 장치를 제어하기 위한 제어 정보가 저장되어 있는지 여부를 판단하고, 저장되어 있지 않은 경우 외부 서버에 제어 정보를 요청하도록 통신 인터페이스를 제어할 수 있다. 다양한 실시예에 따라 장치 리스트는 관련 장치에 따른 제어 정보를 다운로드(download) 받을 수 있는 다운로드 경로를 포함할 수 있다. 정보 결정 모듈(14)은 해당 다운로드 주소에 접속하여 제어 정보를 수신하도록 통신 인터페이스(120)를 제어할 수 있다.

다양한 실시예에 따라 제어 정보는 외부 서버로부터 통신 인터페이스(120)를 통해 수신한 것일 수 있다. 상기 정보 결정 모듈(14)은, 관련 장치에 대한 제어 이력이 저장부(175)에 저장되어 있지 않을 뿐만 아니라 상기 관련 장치가 장치 리스트에도 등록되어 있지 않았으면 뷰 이미지에 포함된 관련 장치의 이미지 또는 관련 장치의 상품명을 외부 서버(예를 들어, 포털 서버 등)로 전달함으로써 관련 장치에 대한 제어 정보를 검색하여 줄 것을 외부 서버에 요청할 수도 있다. 상기 외부 서버는 관련 장치를 제어하기 위한 제어 정보를 검색하여 제1 전자 장치(100)에 전송하거나 또는 상기 제어 정보를 다운로드받을 수 있는 다운로드 경로를 제1 전자 장치(100)에 알릴 수 있다.

신호 생성 모듈(16)은, 상기 제어 정보를 기초로 관련 장치, 예를 들어 제2 전자 장치(200)를 제어하기 위한 기기 제어 신호를 생성할 수 있다. 예를 들어, 신호 생성 모듈(16)은 제어 정보를 이용하여 제1 전자 장치(100)로 입력되는 사용자 입력을, 상기 제2 전자 장치(200)에 적합한 포맷의 명령어로 변환할 수 있다. 상기와 같이 제2 전자 장치(200)에 적합한 포맷의 명령어로 변환되었으므로, 제2 전자 장치(200)는 상기 명령어에 따른 동작을 수행할 수 있다.

상기 신호 생성 모듈(16)은 제1 전자 장치(100)가 관련 장치, 예를 들어 제2 전자 장치(200)와 페어링(paring) 되도록 통신 인터페이스(120)를 제어할 수 있다. 신호 생성 모듈(16)은 제2 전자 장치(200)로, 제1 전자 장치(100)와의 페어링을 요청하는 요청 메시지를 생성하고, 상기 요청 메시지를 통신 인터페이스(120)를 통해 전송할 수 있다. 상기 신호 생성 모듈(16)은 제1 전자 장치(100)를 마스터로 설정하고, 관련 장치, 예를 들어 제2 전자 장치를 슬레이브로 설정하기 위한 기기 제어 신호를 생성할 수 있다. 신호 생성 모듈(16)은 상기 기기 제어 신호를 제2 전자 장치(200)로 전송하도록 통신 인터페이스(120)를 제어할 수 있다.

다양한 실시예에 따라 제1 전자 장치(100)는 복수 개의 대상 물체를 동시에 제어할 수도 있다. 제어부(110)의 신호 생성 모듈(16)은 대상 물체들 각각에 대응하는 제어 정보를 기초로 대상 물체들 각각에 전송할 기기 제어 신호들을 생성할 수 있다. 예를 들어, 대상 물체들이 모두 제1 전자 장치(100)와 통신이 가능한 전자 장치들로서, TV, 제1 모니터, 제2 모니터, 태블릿 PC라고 가정한다. 제1 전자 장치(100)는 상기 TV, 제1 모니터, 제2 모니터, 태블릿 PC 각각의 동작을 제어할 수 있으며 그에 따라 TV, 제1 모니터, 제2 모니터, 태블릿 PC 각각의 데이터 표시를 제어할 수 있다.

다양한 실시예에 따라 제1 전자 장치(100)의 제어부(110)는 대상 물체들이 서로 페어링되도록 제1 전자 장치(100)를 제어할 수 있다. 예를 들어, 카메라 모듈(150) 또는 입출력 모듈(160)을 통해 TV와 태블릿 PC의 데이터를 공유시키기 위한 사용자 입력이 입력되었다면, 제어부(110)는 통신 인터페이스(120)를 제어하여 TV와 태블릿 PC가 페어링되도록 상기 PC와 태블릿 PC의 연결 설정을 제어할 수 있다. 상기와 같이 제1 전자 장치(100)에 의하여 TV와 태블릿 PC가 서로 페어링되면, 상기 TV와 태블릿 PC는 제1 전자 장치(100)의 제어 하에 동일한 데이터를 각각의 화면에 표시하거나 또는 데이터를 공유할 수 있다. 또한 제어부(110)는 상기 사용자 입력에 따라 TV에 저장된 데이터를 태블릿 PC로 전송하고, 상기 태블릿 PC가 상기 TV로부터 수신한 데이터를 표시하도록 상기 TV 및 태블릿 PC를 제어할 수도 있다. 예를 들어, 사용자(10)가 TV에 표시되고 있는 데이터를 다른 장치에서 표시하기 위한 사용자 입력을 제1 전자 장치(100)에 입력한 후, 이어서 상기 다른 장치로서 제2 모니터를 설정하기 위한 사용자 입력을 제1 전자 장치(100)에 입력하였다고 가정한다. 제1 전자 장치(100)는 상기와 같은 사용자 입력들에 실시간으로 대응하여 TV에서 표시되고 있는 데이터가 상기 제2 모니터에 전송되어 표시되도록 상기 TV 및 제2 모니터를 동시에 제어할 수 있다. 이때 사용자(10)는, 예를 들어 TV에 표시되고 있는 데이터를 다른 장치에서 표시하기 위한 사용자 입력으로서, 상기 TV를 향해 오른팔을 뻗은 후 오른손으로 주먹을 쥐는 제스처 입력을 제1 전자 장치(100)의 카메라 모듈(150)에 입력할 수 있다 또한 상기 다른 장치를 설정하기 위한 사용자 입력으로서, 사용자(10)는 상기 오른팔을 움직여 제2 모니터를 향하도록 한 후 주먹 쥔 오른손을 펴는 제스처 입력을 카메라 모듈(150)에 입력할 수 있다.

통신 인터페이스(120)는 제1 전자 장치(100)의 유선 또는 무선 통신을 수행할 수 있다. 다양한 실시예에 따른 통신 인터페이스(120)는 제어부(110)에 의하여 생성된 기기 제어 신호를 대상 물체 또는 상기 대상 물체와 연관된 장치(관련 장치)로 전송할 수 있다. 또한 통신 인터페이스(120)는 제어부(110)의 제어 하에 대상 물체 또는 관련 장치에 대응하는 제어 정보를 전송하여 줄 것을 외부 서버(미도시)에 요청할 수 있다. 통신 인터페이스(120)는, 제어부(110)의 제어 하에 외부 서버로부터 상기 제어 정보를 수신하여 저장부(175)에 저장할 수 있다.

다양한 실시예에 따라 통신 인터페이스(120)는 제어부(110)에 의하여 생성된 기기 제어 신호를 대상 물체 또는 관련 장치로 전송할 수 있다. 통신 인터페이스(120)는 제어부(110)의 제어 하에 외부 서버로 대상 물체 또는 관련 장치에 대한 제어 정보를 전송하여 줄 것을 요청할 수 있다. 다양한 실시예에 따라 통신 인터페이스(120)는 시선 결정 모듈(12)에 의하여 획득된 눈 이미지 또는 뷰 이미지를 분석한 분석 결과 중 적어도 하나를 외부 서버로 전송함으로써, 상기 외부 서버에 대상 물체 또는 관련 장치에 대한 제어 정보를 요청할 수 있다.

다양한 실시예에 따라 외부 서버는 제1 전자 장치(100)로부터 제어 정보의 전송을 요청받으면, 상기 대상 물체 또는 관련 장치에 대응하는 제어 정보가 상기 외부 서버 내에 저장되어 있는지 여부를 판단할 수 있다. 상기 외부 서버 내에 저장되어 있으면, 외부 서버는 해당 제어 정보를 제1 전자 장치(100)의 통신 인터페이스(120)로 전송할 수 있다. 다양한 실시예에 따라 상기 제어 정보가 외부 서버 내에 저장되어 있지 않으면, 외부 서버는 유선 통신 또는 무선 통신을 통해 상기 제어 정보가 저장되어 있는 다른 전자 장치를 검색할 수도 있다. 외부 서버는 검색 결과에 따라 가장 최신의 제어 정보를 다운로드 받아 제1 전자 장치(100)로 전송할 수 있다. 다양한 실시예에 따라 외부 서버는 제1 전자 장치(100)로부터 수신한 분석 결과를 이용하여 대상 물체 또는 관련 장치에 대응하는 제어 정보를, 예를 들어 포털 사이트로부터 검색할 수 있다.

카메라 모듈(150)은 정지 이미지 또는 동영상을 촬영할 수 있다. 다양한 실시예에 따라 카메라 모듈(150)은 제어부(110)의 제어 하에 사용자(10)의 눈(eye)을 촬영함으로써 눈 이미지를 생성할 수 있다. 또한 카메라 모듈(150)은 사용자(10)의 시선 방향에 따라 사용자(10)가 현재 보고 있는 영상을 촬영하여 뷰 이미지를 생성할 수 있다. 다양한 실시예에 따라 카메라 모듈(150)은 사용자(10)로부터 제스처 입력을 수신할 수 있다. 다양한 실시예에 따라 사용자(10)는 제1 전자 장치(101), 대상 물체 또는 관련 장치를 제어하기 위한 사용자 입력으로서 특정 제스처를 상기 제스처 입력으로서 상기 카메라 모듈(150)에 입력할 수 있다. 제어부(110)는 상기 카메라 모듈(150)를 통해 입력되는 제스처 입력에 따라 제1 전자 장치(101), 대상 물체 또는 관련 장치 중 적어도 하나를 제어할 수 있다.

또한 다양한 실시예에 따라 전자 장치(100)는 마이크(미도시)를 구비하여 사용자로부터 음성 입력을 수신할 수 있다. 다양한 실시예에 따라 사용자(10)는 제1 전자 장치(101), 대상 물체 또는 관련 장치를 제어하기 위한 사용자 입력으로서 특정 음성을 상기 음성 입력으로서 상기 마이크에 입력할 수 있다. 제어부(110)는 상기 카메라 모듈(150)를 통해 입력되는 음성 입력에 따라 제1 전자 장치(101), 대상 물체 또는 관련 장치 중 적어도 하나를 제어할 수 있다.

다양한 실시예에 따라 카메라 모듈(150)은 두 개 이상의 카메라들을 포함하는 형태로 구현될 수 있다. 다양한 실시예에 따라 두 개 이상의 카메라들 각각의 렌즈들은 서로 다른 방향을 향할 수 있으며, 그에 따라 두 개 이상의 카메라들 각각이 서로 다른 방향에 위치한 피사체들을 촬영할 수 있다. 예를 들어, 제1 카메라의 렌즈는 사용자(10)와 마주보는 형태로 위치할 수 있고, 제2 카메라의 렌즈는 사용자(10)의 정면에 위치한 물체들을 촬영하기 위하여 사용자(10)가 바라보는 방향을 향하여 위치할 수 있다.

다양한 실시예에 따라 카메라 모듈(150)은 적어도 하나의 이미지 센서로서 구현될 수 있으며, 다른 실시예에 따라 적어도 하나의 이미지 센서를 포함하는 형태로 구현될 수도 있다. 적어도 하나의 이미지 센서 또한 카메라 모듈(150)과 동일한 동작을 수행할 수 있다. 다양한 실시예에 따라 카메라 모듈(150) 또는 이미지 센서는 제1 전자 장치(100)와 기능적으로 연결될 수 있으며, 그에 따라 제1 전자 장치(100)의 내부에 포함되거나 또는 외부에 위치하여 제1 전자 장치(100)의 제어부(110)로 이미지를 전달할 수 있다.

입출력 모듈(160)은 사용자(10)로부터 입력되는 사용자 입력을 수신할 수 있다. 다양한 실시예에 따라 입출력 모듈(160)은 제1 전자 장치(100)를 구동시키기 위한 사용자 입력, 제1 전자 장치(100)를 통해 상기 제1 전자 장치(100)의 외부에 위치한 대상 물체 또는 관련 장치를 제어하기 위한 사용자 입력, 카메라 모듈(150)를 구동시키기 위한 사용자 입력 등을 수신할 수 있다.

저장부(175)에는 제1 전자 장치(100)를 제어하기 위한 각종 데이터가 저장될 수 있다. 다양한 실시예에 따라 저장부(175)에는 카메라 모듈(150)에 의해 생성된 눈 이미지를 분석하기 위한 각종 데이터, 예를 들어 사용자(10)의 눈동자 크기, 눈꺼풀이 닫힌 정도, 눈과 카메라 모듈(150) 간의 각도 및 거리, 사용자(10)의 안면 이미지 등이 저장될 수 있다. 다양한 실시예에 따라 시선 결정 모듈(12)은, 저장부(175)에 저장된 데이터를 이용하여 눈 이미지를 분석함으로써, 사용자(10)의 시선 방향 또는 사용자(10)가 현재 보고 있는 대상 물체를 알아낼 수 있다.

다양한 실시예에 따라 저장부(175)에는 대상 물체 또는 관련 장치에 대한 장치 리스트가 저장될 수 있다. 아래 표 1은 장치 리스트의 일 예를 나타낸 것이다.

장치	제품명	펌웨어	위치(GPS)	제어 이력 유무	...
Device #1	DKDK930D	vjadnpdj 1.03	23.12.01	있음	...
Device #2	WKSL10-192	thdrkgh 2.1	23.12.02	없음	...
...	...	...	...	...	...

표 1을 참조하면, Device #1의 제품명은 DKDK930D이고, Device #1에 저장된 펌웨어는 vjadnpdj이고, 상기 펌웨어의 버전은 1.03이며, GPS 좌표로 나타낸 Device #1의 위치는 21.12.01이다. 또한 Device #2의 제품명은 WKSL10-192이고, Device #2에 저장된 펌웨어는 thdrkgh이고, 상기 펌웨어의 버전은 2.1이며, GPS 좌표로 나타낸 Device #2의 위치는 21.12.02이다. 또한 Device #1은 제1 전자 장치(100)에 의하여 제어된 적이 있고, Device #2는 제1 전자 장치(100)에 의하여 제어된 적이 없다.

정보 결정 모듈(14)은, 상기와 같은 장치 리스트를 통해 대상 물체 또는 관련 장치가 제1 전자 장치(100)에 이미 등록되어 있는지 장치인지 여부를 판단할 수 있다. 또한 정보 결정 모듈(14)은 장치 리스트를 통해 대상 물체 또는 관련 장치를 이전에도 제어한 적이 있는지 여부를 알 수 있다.

다양한 실시예에 따라 저장부(175)는 기기 DB(22)를 포함하는 형태로 구현될 수 있다. 기기 DB(22)에는, 예를 들어 대상 물체 또는 관련 장치 명칭 또는 기기 코드, 대상 물체 또는 관련 장치 각각에 대응하는 제어 정보간 저장될 수 있다. 다른 실시예에 따라 제어부(110)는, 상기 기기 DB(22)를 참조하여 제2 전자 장치(200)에 대응하는 제어 정보가 저장되어 있는지 여부를 결정할 수 있다.

도 3은 본 발명의 다양한 실시예에 따라 제1 전자 장치가 대상 물체를 제어하는 방법을 나타낸 순서도이다. 도 3에서는 대상 물체 또는 대상 물체와 연관된 전자 장치(관련 장치)가 제2 전자 장치(200)인 것으로 가정한다.

도 3을 참조하면, 동작 S302에서 제1 전자 장치(100)는 눈 이미지를 기초로 사용자(10)의 시선을 결정할 수 있다(S302). 실시예에 따라 동작 S302 이전에 제어부(110)는 사용자(10)의 눈을 촬영하여 눈 이미지를 생성하도록 카메라 모듈(150)을 제어할 수 있다. 제어부(110)는 상기 눈 이미지를 분석하여 사용자(10)의 시선 방향을 결정할 수 있다. 실시예에 따라 동작 S302 이후 제어부(110)는 뷰 이미지를 생성하도록 카메라 모듈(150)을 제어할 수 있다. 다양한 실시예에 따라 카메라 모듈(150)은 예를 들어, 눈 이미지를 생성하는 제1 카메라와 뷰 이미지를 생성하는 제2 카메라에 의하여 촬영되는 영상의 좌표를 동기화할 수 있다. 다양한 실시예에 따라 상기와 같은 제1 카메라와 제2 카메라의 좌표 동기화는, 동작 S304 이전에 눈 이미지 및 뷰 이미지가 생성된 이후에 이루어질 수 있다. 다양한 실시예에 따라 제1 전자 장치(100)의 제어부(110)는 동작 S302 이후에 사용자(10)의 시선에 따라 제1 카메라 및 제2 카메라에 의하여 촬영되는 영상의 좌표를 동기화할 수 있다. 예를 들어, 제2 카메라에 의하여 촬영되는 영상의 원점은 동작 S302에서 결정된 사용자(10)의 시선이 향하는 지점일 수 있다.

상기와 같이 사용자의 시선이 결정되면, 제어부(110)는 눈 이미지 또는 뷰 이미지를 기초로 대상 물체를 결정할 수 있다(S304). 대상 물체가 결정되면, 제어부(110)는 상기 대상 물체가 직접 제어 가능한 물체인지 여부를 판단한다(S306). 다양한 실시예에 따라 대상 물체는 제1 전자 장치(100)와 유선 또는 무선으로 통신이 가능한 전자 장치일 수도 있지만, 전자 장치가 아닐 수도 있으며 제1 전자 장치(100)와 통신이 불가능한 전자 장치일 수도 있다. 대상 물체가 전자 장치인 경우와, 전자 장치가 아닌 경우(또는 제1 전자 장치(100)와의 통신이 불가능한 전자 장치인 경우) 각각에 따라 대상 물체를 제어하기 위한 제1 전자 장치(100)의 동작이 달라질 수 있다. 따라서 제1 전자 장치(100)는 대상 물체를 제어하기 위한 기기 제어 신호를 생성하기 전에 먼저 상기 대상 물체가 제1 전자 장치(100)에 의하여 직접 제어될 수 있는지 여부를 판단할 수 있다. 다양한 실시예에 따라 대상 물체가 제1 전자 장치(100)와 통신이 가능한 전자 장치이면, 제어부(110)는 상기 대상 물체를 제1 전자 장치(100)가 직접 제어할 수 있는 물체로서 결정할 수 있다. 다양한 실시예에 따라 대상 물체가 전자 장치가 아니거나 또는 전자 장치라 할 지라도 제1 전자 장치(100)와 통신이 불가능한 장치이면, 제어부(110)는 상기 대상 물체를 제1 전자 장치(100)가 제어할 수 없는 물체로서 결정할 수 있다.

동작 S306의 판단 결과 대상 물체가 직접 제어 가능한 물체인 경우(S306: 예), 제어부(110)는 사용자 입력에 따라 기기 제어를 생성하여 전송할 수 있다(S310). 다양한 실시예에 따라 동작 S310 이전에 제어부(110)는 대상 물체와 제1 전자 장치(100)를 페어링하기 위한 기기 제어 신호를 먼저 생성하여 대상 물체로 전송할 수도 있다. 다양한 실시예에 따라 페어링을 위한 기기 제어 신호에 따라 제1 전자 장치(100)는 마스터 장치로 설정되고, 대상 물체는 슬레이브 장치로 설정될 수 있다.

동작 S306의 판단 결과 대상 물체가 제어 불가능한 물체인 경우(S306: 아니오), 제어부(110)는 대상 물체와 연관된 관련 장치를 결정할 수 있다(S308). 대상 물체가 제1 전자 장치(100)에 의하여 제어 가능한 물체가 아니므로, 제어부(110)는 뷰 이미지로부터 상기 대상 물체의 상태를 변화시킬 수 있는 전자 장치를 관련 장치로서 검출할 수 있다. 관련 장치가 검출되면, 제어부(110)는 관련 장치와 제1 전자 장치(100)를 페어링하기 위한 기기 제어 신호를 생성하여 관련 장치로 전송할 수도 있다. 페어링을 위한 기기 제어 신호에 따라 제1 전자 장치(100)는 마스터 장치로 설정되고, 관련 장치는 슬레이브 장치로 설정될 수 있다.

이후 제어부(110)는 제1 전자 장치(100)로 입력되는 사용자 입력에 따라 기기 제어 신호를 생성하고, 생성된 기기 제어 신호를 관련 장치로 전송할 수 있다(S310).

상기와 같이 대상 물체 또는 상기 대상 물체와 연관된 관련 장치에 기기 제어 신호를 전송함으로써, 제1 전자 장치(100)는 상기 대상 물체 또는 관련 장치를 제어할 수 있다.

도 4는 본 발명의 다양한 실시예에 따라 제1 전자 장치가 대상 물체를 결정하는 방법을 나타낸 순서도이다. 도 4에서 카메라 모듈(150)은 제1 카메라 및 제2 카메라를 포함할 수 있으며, 상기 제1 카메라의 렌즈와 제2 카메라의 렌즈는 서로 다른 방향을 향해 설치된 것일 수 있다.

도 4를 참조하면, 제1 전자 장치(100)의 제어부(110)는 카메라 모듈(150)를 통하여 눈 이미지를 생성할 수 있다(S402). 다양한 실시예에 따라 카메라 모듈(150)은 두 개 이상의 카메라들을 포함하는 형태로 구현될 수 있다. 또한 카메라 모듈(150)은 제1 카메라 또는 제2 카메라 중 적어도 하나를 이용하여 사용자(10)의 눈을 촬영함으로써 눈 이미지를 생성할 수 있다.

눈 이미지가 생성되면, 제어부(110)는 상기 눈 이미지를 기초로 사용자(10)의 시선 방향을 결정할 수 있다(S404). 동작 S404에서 상기 시선 결정 모듈(12)은 상기 눈 이미지로부터, 예를 들어 사용자(10)의 눈동자 크기, 눈꺼풀이 닫힌 정도, 눈과 카메라 모듈(150) 간의 각도 및 거리, 사용자(10)의 안면 이미지 등의 상기 눈 이미지를 분석한 데이터를 획득할 수 있다. 동작 S404에서 시선 결정 모듈(12)은 눈 이미지를 분석한 결과를 기초로 사용자(10)의 시선을 결정할 수 있다. 이때 동작 S404에서 결정되는 사용자(10)의 시선은, 시선 방향 또는 각도, 사용자(10)가 바라보고 있는 지점 등을 포함할 수 있다.

사용자(10)의 시선 방향이 결정되면, 제어부(110)는 카메라 모듈(150)를 통해 뷰 이미지를 생성할 수 있다(S406). 동작 S406에서 카메라 모듈(150)은 제1 카메라 및 제2 카메라 중 적어도 하나를 이용하여 사용자(10)가 현재 바라보고 있는 적어도 하나의 물체, 즉 사용자(10)의 전면(前面)을 촬영함으로써 뷰 이미지를 생성할 수 있다.

뷰 이미지가 생성되면, 제어부(110)의 시선 결정 모듈(12)은 눈 이미지 또는 뷰 이미지를 통해 대상 물체를 결정할 수 있다(S408). 실시예에 따라 동작 S408에서 제어부(110)의 정보 결정 모듈(14)은 뷰 이미지로부터 인식 데이터를 획득할 수 있다. 또한 정보 결정 모듈(14)은 인식 데이터를 이용하여 대상 물체의 기기명, 대상 물체의 제품명, 대상 물체의 브랜드명 등을 포함하는 물체 정보를 알아낼 수도 있다. 이후의 동작(ⓐ)은 도 5를 통하여 서술하기로 한다.

도 5는 본 발명의 일 실시예에 따른 제1 전자 장치가 대상 물체와의 연결을 설정하는 방법을 나타낸 순서도이다.

도 5를 참조하면, 제어부(110)의 정보 결정 모듈(14)은 대상 물체가 제어 가능한 물체인지 여부를 판단할 수 있다(S412).

동작 S412의 판단 결과 대상 물체가 제어 가능한 물체인 경우(412: 예) 정보 결정 모듈(14)은 대상 물체에 대응하는 제어 정보가 저장부(175)에 저장되어 있는지 여부를 판단할 수 있다(S414). 실시예에 따라 제어 정보는, 제1 전자 장치(100)가 대상 물체로 하여금 특정 동작을 실행하도록 하는 명령(command)을 상기 대상 물체에 적합한 포맷으로 변환시키기 위한 변환 함수를 포함할 수 있다.

대상 물체에 대응하는 제어 정보가 저장부(175)에 저장되어 있는 경우(S414: 예), 제어부(110)는 상기 제어 정보를 기초로 대상 물체와의 페어링을 설정할 수 있다(S418). 실시예에 따라 제어부(110)는 제1 전자 장치(100)를 마스터로 설정하고, 대상 물체를 슬레이브로 설정하기 위한 기기 제어 신호를 대상 물체에 전송함으로써, 제1 전자 장치(100)와 대상 물체 간의 페어링 설정 동작을 실행할 수 있다.

동작 S414의 판단 결과 대상 물체에 대응하는 제어 정보가 저장부(175)에 저장되어 있지 않은 경우(S414: 아니오), 제어부(110)는 통신 인터페이스(120)를 제어하여 상기 대상 물체에 대응하는 제어 정보를 외부 서버에 요청하여 수신할 수 있다(S416). 실시예에 따라 제어부(110)는 동작 S416에서 수신한 제어 정보를 저장부(175)에 저장할 수도 있다. 또한 제어부(100)는 상기 제어 정보를 장치 리스트에 추가함으로써 장치 리스트를 업데이트할 수도 있다. 상기와 같이 제어 정보를 수신하면, 제어부(110)는 상기 제어 정보를 기초로 제1 전자 장치(100)와 대상 물체 간의 페어링을 설정할 수 있다(S418).

동작 S412의 판단 결과 대상 물체가 제어 불가능한 물체인 경우(412: 아니오) 정보 결정 모듈(14)은 대상 물체와 연관된 관련 장치를 결정할 수 있다(S422). 실시예에 따라 정보 결정 모듈(14)은 뷰 이미지로부터 획득한 인식 데이터 또는 장치 리스트를 이용하여 대상 물체와 연관된 관련 장치를 결정할 수 있다.

관련 장치가 결정되면, 제어부(110)의 정보 결정 모듈(14)은 관련 장치에 대응하는 제어 정보가 저장부(175)에 저장되어 있는지 여부를 판단할 수 있다(S424). 실시예에 따라 제어 정보는, 제1 전자 장치(100)가 관련 장치로 하여금 특정 동작을 실행하도록 하는 명령(command)을 상기 관련 장치에 적합한 포맷으로 변환시키기 위한 변환 함수를 포함할 수 있다.

관련 장치에 대응하는 제어 정보가 저장부(175)에 저장되어 있는 경우(S424: 예), 제어부(110)는 상기 제어 정보를 기초로 관련 장치와의 페어링을 설정할 수 있다(S428). 실시예에 따라 제어부(110)는 제1 전자 장치(100)를 마스터로 설정하고, 대상 물체를 슬레이브로 설정하기 위한 기기 제어 신호를 관련 장치에 전송함으로써, 제1 전자 장치(100)와 관련 장치 간의 페어링 설정 동작을 실행할 수 있다.

동작 S424의 판단 결과 관련 장치에 대응하는 제어 정보가 저장부(175)에 저장되어 있지 않은 경우(S424: 아니오), 제어부(110)는 통신 인터페이스(120)를 제어하여 상기 관련 장치에 대응하는 제어 정보를 외부 서버에 요청하여 수신할 수 있다(S426). 실시예에 따라 제어부(110)는 통신 인터페이스(120)를 제어하여 상기 제어 정보를 상기 관련 장치에 요청할 수도 있다. 실시예에 따라 제어부(110)는 동작 S426에서 수신한 제어 정보를 저장부(175)에 저장할 수도 있다. 또한 제어부(110)는 상기 제어 정보를 장치 리스트에 추가함으로써 장치 리스트를 업데이트할 수도 있다. 상기와 같이 제어 정보를 수신하면, 제어부(110)는 상기 제어 정보를 기초로 제1 전자 장치(100)와 관련 장치 간의 페어링을 설정할 수 있다(S428).

이후의 동작(ⓑ)의 아래 도 6a 및 도 6b에서 설명하기로 한다. 도 6a는 본 발명의 일 실시예에 따라 제1 전자 장치가 대상 물체를 제어하는 방법을 나타낸 순서도이고, 도 6b는 본 발명의 일 실시예에 따라 제1 전자 장치가 관련 장치를 제어함으로써 대상 물체의 상태를 변화시키는 방법을 나타낸 순서도이다.

도 6a을 참조하면, 제1 전자 장치(100)는 카메라 모듈(150) 또는 입출력 모듈(160)을 통해 사용자(10)로부터 사용자 입력을 수신할 수 있다(S432). 실시예에 따라 카메라 모듈(150)은 제1 카메라(미도시) 및 제2 카메라(미도시) 중 적어도 하나를 통해 사용자 입력으로서 제스처 입력을 사용자(10)로부터 수신할 수 있다. 실시예에 따라 입출력 모듈(160)은 마이크를 포함하는 형태로 구현되 수 있으며, 상기 마이크를 통해 사용자 입력으로서 음성 입력을 사용자(10)로부터 수신할 수 있다.

사용자 입력을 수신하면, 제어부(110)의 신호 생성 모듈(16)은 상기 사용자 입력에 대응하는 대상 물체의 동작을 결정할 수 있다(S434). 신호 생성 모듈(16)은 제어 정보를 이용하여 대상 물체의 동작을 위한 기기 제어 신호를 생성할 수 있다(S436). 기기 제어 신호가 생성되면, 신호 생성 모듈(16)은 통신 인터페이스(120)를 통해 상기 기기 제어 신호를 대상 물체에 전송할 수 있다(S438).

예를 들어 대상 물체가 TV이고 사용자가 사용자 입력을 통해 채널 변경을 제1 전자 장치(100)에 요구한 것으로 가정한다. 제1 전자 장치(100)의 제어부(110)는 사용자 입력에 따른 대상 물체의 동작으로서, TV가 채널이 변경시키는 동작을 결정할 수 있다. 또한 신호 생성 모듈(16)은 사용자 입력에 따라 대상 물체인 TV의 채널을 변경할 것을 요구하는 명령을 포함하여 기기 제어 신호를 생성할 수 있다. 실시예에 따라 대상 물체인 TV는 상기 기기 제어 신호를 제1 전자 장치(100)로부터 수신하고, 상기 기기 제어 신호에 따라 채널을 변경할 수 있다.

도 6b를 참조하면, 제1 전자 장치(100)는 카메라 모듈(150) 또는 입출력 모듈(160)을 통해 사용자(10)로부터 사용자 입력을 수신할 수 있다(S442). 실시예에 따라 카메라 모듈(150)은 제1 카메라 및 제2 카메라 중 적어도 하나를 통해 사용자 입력으로서 제스처 입력을 사용자(10)로부터 수신할 수 있다. 실시예에 따라 입출력 모듈(160)은 마이크를 포함하는 형태로 구현될 수 있으며, 상기 마이크를 통해 사용자 입력으로서 음성 입력을 사용자(10)로부터 수신할 수 있다.

사용자 입력을 수신하면, 제어부(110)의 신호 생성 모듈(16)은 상기 사용자 입력에 대응하는 관련 장치의 동작을 결정할 수 있다(S444). 신호 생성 모듈(16)은 제어 정보를 이용하여 관련 장치의 동작을 위한 기기 제어 신호를 생성할 수 있다(S446). 기기 제어 신호가 생성되면, 신호 생성 모듈(16)은 통신 인터페이스(120)를 통해 상기 기기 제어 신호를 관련 장치에 전송할 수 있다(S448).

예를 들어 대상 물체가 쓰레기이고, 상기 대상 물체와 연관된 관련 장치가 로봇 청소기인 것으로 가정한다. 또한 사용자가 사용자 입력을 통해 쓰레기를 치울 것을 제1 전자 장치(100)에 요구한 것으로 가정한다. 제1 전자 장치(100)의 제어부(110)는 사용자 입력에 따른 연관 장치의 동작으로서, 로봇 청소기가 청소 동작을 실행하여 쓰레기를 치우는 것으로 결정할 수 있다. 또한 신호 생성 모듈(16)은 관련 장치인 로봇 청소기가 쓰레기를 치울 수 있도록 관련 장치인 로봇 청소기로 하여금 청소 동작을 실행할 것을 요구하는 명령을 포함하여 기기 제어 신호를 생성할 수 있다. 실시예에 따라 관련 장치인 로봇 청소기는 상기 기기 제어 신호를 제1 전자 장치(100)로부터 수신하고, 상기 기기 제어 신호에 따라 청소 동작을 실행함으로써 대상 물체인 쓰레기를 치울 수 있다. 즉 관련 장치인 로봇 청소기가 대상 물체인 쓰레기의 현재 상태를 변경시킬 수 있다.

도 7a은 본 발명의 일 실시예에 따라 대상 물체와 페어링된 제1 전자 장치가 대상 물체를 제어하는 방법을 도시한 순서도이다. 도 7a에서는 제2 전자 장치(200)가 대상 물체인 것으로 가정한다.

도 7a을 참조하면, 제1 전자 장치(100)와 대상 물체인 제2 전자 장치(200)가 서로 페어링될 수 있다(S702). 실시예에 따라 제1 전자 장치(100)는 동작 S702에서 제1 전자 장치(100)를 마스터로 설정하고, 제2 전자 장치(200)를 슬레이브로 설정하기 위한 연결 설정을 실행할 수 있다.

페어링이 완료되면, 제1 전자 장치(100)는 사용자(10)로부터 제2 전자 장치(200)의 동작을 제어하기 위한 사용자 입력을 수신할 수 있다(S704). 제1 전자 장치(100)는 사용자 입력에 대응하는 대상 물체의 동작을 결정할 수 있다(S706). 제1 전자 장치(100)는 해당 동작에 따른 기기 제어 신호를 생성할 수 있다(S708).

동작 S708에서 제2 전자 장치(200)를 제어하기 위한 기기 제어 신호가 생성되면, 제1 전자 장치(100)는 상기 기기 제어 신호를 제2 전자 장치(200)로 전송할 수 있다(S710). 동작 S708에서 제1 전자 장치(100)로부터 기기 제어 신호를 수신한 제2 전자 장치(200)는 상기 기기 제어 신호에 대응하는 동작을 실행할 수 있다(S712). 상기와 같이 제1 전자 장치(100)는 사용자 입력에 따라 제2 전자 장치(200)의 동작을 제어할 수 있다.

도 7b는 본 발명의 일 실시예에 따라 대상 물체와 페어링된 제1 전자 장치가 대상 물체와 연관된 관련 장치를 제어하는 방법을 도시한 순서도이다. 도 7b에서는 제2 전자 장치(200)가 관련 장치인 것으로 가정한다.

도 7b을 참조하면, 제1 전자 장치(100)와 관련 장치인 제2 전자 장치(200)가 서로 페어링될 수 있다(S722). 실시예에 따라 제1 전자 장치(100)는 동작 S722에서 제1 전자 장치(100)를 마스터로 설정하고, 제2 전자 장치(200)를 슬레이브로 설정하기 위한 연결 설정을 실행할 수 있다.

페어링이 완료되면, 제1 전자 장치(100)는 사용자(10)로부터 대상 물체의 상태를 변경하기 위한 사용자 입력을 수신할 수 있다(S724). 제1 전자 장치(100)는 사용자 입력에 대응하는 관련 장치의 동작을 결정할 수 있다(S726). 제1 전자 장치(100)는 해당 동작에 따른 기기 제어 신호를 생성할 수 있다(S728).

동작 S728에서 제2 전자 장치(200)를 제어하기 위한 기기 제어 신호가 생성되면, 제1 전자 장치(100)는 상기 기기 제어 신호를 제2 전자 장치(200)로 전송할 수 있다(S730). 동작 S728에서 제1 전자 장치(100)로부터 기기 제어 신호를 수신한 제2 전자 장치(200)는 상기 기기 제어 신호에 대응하는 동작을 실행할 수 있다(S732). 제2 전자 장치(200)가 기기 제어 신호에 따른 동작을 실행함으로써, 제2 전자 장치(200)는 사용자 입력에 대응하여 대상 물체의 상태를 변경시킬 수 있다.

도 8은 본 발명의 다양한 실시예에 따른 제1 전자 장치(801)를 포함하는 네트워크 환경(800)을 나타낸 도면이다.

도 8을 참조하면, 상기 제1 전자 장치(801)는 버스(810), 프로세서(820), 메모리(830), 입출력 인터페이스(850), 디스플레이(860) 및 통신 인터페이스(870)를 포함할 수 있다. 어떤 실시예에서는, 제1 전자 장치(801)는, 상기 구성 요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 구비할 수 있다.

상기 버스(810)는, 예를 들면, 상기 구성 요소들(820-870)을 서로 연결하고, 상기 구성 요소들(820-870) 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.

상기 프로세서(820)는, 중앙처리장치(CPU: central processing unit), 어플리케이션 프로세서(AP: application processor) 또는 커뮤니케이션 프로세서(CP: communication processor) 중 하나 또는 그 이상을 포함할 수 있다. 상기 프로세서(820)는, 예를 들면, 상기 전자 장치(801)의 적어도 하나의 다른 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 일 실시예에 따라 상기 프로세서(820)는 도 2에 도시된 제어부(110)의 모든 동작을 수행할 수 있다.

상기 프로세서(820)는 사용자(10)의 시선을 분석하여 사용자(10)가 현재 응시하고 있는 대상 물체, 예를 들어 제2 전자 장치(예를 들어, 전자 장치(802) 또는 전자 장치(804))를 결정할 수 있다. 대상 물체가 결정되면, 프로세서(820)는 상기 대상 물체에 대응하는 제어 정보를 기초로 상기 제1 전자 장치(801)와 대상 물체가 페어링되도록 제1 전자 장치(801)를 제어할 수 있다. 제1 전자 장치(801)와 제2전자 장치가 연결되면, 프로세서(820)는 카메라 모듈(미도시) 또는 입출력 인터페이스(850)을 통해 입력되는 사용자 입력에 대응하는 기기 제어 신호를 생성할 수 있다. 기기 제어 신호가 생성되면, 프로세서(820)는 상기 기기 제어 신호를 제2전자 장치로 전송하도록 통신 인터페이스(870)를 제어할 수 있다. 실시예에 따라 제2전자 장치는 제1 전자 장치(801)로부터 기기 제어 신호를 수신하고, 상기 기기 제어 신호에 대응하는 동작을 실행할 수 있다.

상기 메모리(830)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 상기 메모리(830)는, 예를 들면, 상기 전자 장치(801)의 적어도 하나의 다른 구성 요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 상기 메모리(830)는 소프트웨어 및/또는 프로그램(840)을 저장할 수 있다. 상기 프로그램(840)은, 예를 들면, 커널(1041), 미들웨어(843), 어플리케이션 프로그래밍 인터페이스(API: application programming interface)(845) 및/또는 어플리케이션 프로그램(또는 “어플리케이션”)(847) 등을 포함할 수 있다. 상기 커널(1041), 미들웨어(843) 또는 API(845)의 적어도 일부는, 운영 시스템 (OS: operating system라 불릴 수 있다.

상기 커널(841)은, 예를 들면, 다른 프로그램들(예: 미들웨어(843), API(845) 또는 어플리케이션 프로그램(847))에 구현된 동작 또는 기능을 실행하는데 사용되는 시스템 리소스들(예: 버스(810), 프로세서(820) 또는 메모리(830) 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널(841)은 상기 미들웨어(843), 상기 API(845) 또는 상기 어플리케이션 프로그램(847)에서 상기 전자 장치(801)의 개별 구성 요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.

상기 미들웨어(843)는, 예를 들면, 상기 API(845) 또는 상기 어플리케이션 프로그램(847)이 상기 커널(841)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(843)는 상기 어플리케이션 프로그램(847)로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 어플리케이션 프로그램(847) 중 적어도 하나의 어플리케이션에 상기 전자 장치(801)의 시스템 리소스(예: 버스(810), 프로세서(820) 또는 메모리(830) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케줄링 또는 로드 밸런싱)을 수행할 수 있다.

상기 API(845)는, 예를 들면, 상기 어플리케이션(847)이 상기 커널(841) 또는 상기 미들웨어(843)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.

상기 입출력 인터페이스(850)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 상기 전자 장치(801)의 다른 구성 요소(들)(810-840, 860-870)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한 상기 입출력 인터페이스(850)은 상기 전자 장치(801)의 다른 구성 요소(들)(810-840, 860-870)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.

상기 디스플레이(860)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이 또는 마이크로 전자기계 시스템(MEMS: micro-electromechanical systems) 디스플레이 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 상기 디스플레이(860)는, 예를 들면, 사용자에게 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘 또는 심볼 등)을 표시할 수 있다. 상기 디스플레이(860)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근접 또는 호버링(hovering) 입력을 수신할 수 있다.

일 실시예에 따라 상기 디스플레이(860)는 전자 장치(801)에 의해 제공되는 각종 컨텐츠를 스테레오스코픽 이미지로 표시함으로써 사용자에게 가상 현실 서비스를 제공할 수도 있다.

상기 통신 인터페이스(870)는, 예를 들면, 상기 전자 장치(801)와 외부 장치(예: 제1 외부 전자 장치(802), 제2 외부 전자 장치(804) 또는 서버(806)) 간의 통신을 설정할 수 있다. 예를 들면, 상기 통신 인터페이스(870)는 무선 통신 또는 유선 통신을 통해서 네트워크(862)에 연결되어 상기 외부 장치(예: 제2 외부 전자 장치(804) 또는 서버(806))와 통신할 수 있다.

상기 무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등 중 적어도 하나를 사용할 수 있다. 상기 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 상기 네트워크(862)는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다.

상기 제1 및 제2 외부 전자 장치(802, 804) 각각은 상기 전자 장치(801)와 동일한 또는 다른 종류의 장치일 수 있다. 한 실시예에 따르면, 상기 서버(806)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다.

다양한 실시예에 따르면, 상기 전자 장치(801)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(802, 804) 또는 서버(806))에서 실행될 수 있다. 한 실시예에 따르면, 상기 전자 장치(801)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 상기 전자 장치(801)는 상기 기능 또는 상기 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(802, 804) 또는 서버(806))에게 요청할 수 있다. 상기 다른 전자 장치(예: 전자 장치(802, 804) 또는 서버(806))는 상기 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 상기 전자 장치(801)로 전달할 수 있다. 상기 전자 장치(801)는 상기 수신된 결과를 그대로 또는 추가적으로 처리하여 상기 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.

도 8에는 도시되지 않았지만, 제1 전자 장치(801)는 카메라 모듈(미도시)을 더 포함할 수 있다. 상기 카메라 모듈은 프로세서(820)의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 제1 카메라 또는 제2 카메라를 포함할 수 있다. 제1 카메라 또는 제2 카메라는 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시(미도시))을 포함할 수 있다. 제1 카메라는 제1 전자 장치(801) 전면에 배치되고, 제2 카메라는 제1 전자 장치(802)의 후면에 배치될 수 있다. 다른 실시예에 따라 제1 카메라와 제2 카메라는 인접(예를 들어, 제1 카메라와 제2 카메라의 간격이 1cm보다 크고, 8cm보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수도 있다.

상기 카메라 모듈은 프로세서(820)의 제어 하에 사용자(10)의 눈을 촬영하여 눈 이미지를 생성할 수 있다. 또한 카메라 모듈은 사용자(10)의 시선 방향에 따라 사용자(10)가 현재 보고 있는 영상을 촬영함으로써 뷰 이미지를 생성할 수 있다.

도 9는 본 발명의 다양한 실시예에 따른 전자 장치(901)의 블록도(900)이다.

상기 전자 장치(901)는, 예를 들면, 도 8에 도시된 전자 장치(801)의 전체 또는 일부를 포함할 수 있다. 상기 전자 장치(901)는 하나 이상의 어플리케이션 프로세서(AP: application processor)(910), 통신 모듈(920), SIM(subscriber identification module) 카드(924), 메모리(930), 센서 모듈(940), 입력 장치(950), 디스플레이(960), 인터페이스(970), 오디오 모듈(980), 카메라 모듈(991), 전력관리 모듈(995), 배터리(996), 인디케이터(997) 및 모터(998)를 포함할 수 있다.

상기 AP(910)는, 예를 들면, 운영체제 또는 응용 프로그램을 구동하여 상기 AP(910)에 연결된 다수의 하드웨어 또는 소프트웨어 구성 요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(910)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시예에 따르면, 상기 AP(910)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 상기 AP(910)는 도 9에 도시된 구성 요소들 중 적어도 일부(예: 셀룰러 모듈(921))를 포함할 수도 있다. 상기 AP(910)는 다른 구성 요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.

상기 통신 모듈(920)은, 도 8의 상기 통신 인터페이스(870)와 동일 또는 유사한 구성을 가질 수 있다. 상기 통신 모듈(920)은, 예를 들면, 셀룰러 모듈(921), WIFI 모듈(923), BT 모듈(925), GPS 모듈(927), NFC 모듈(928) 및 RF(radio frequency) 모듈(929)을 포함할 수 있다.

상기 셀룰러 모듈(921)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(921)은 가입자 식별 모듈(예: SIM 카드(924))을 이용하여 통신 네트워크 내에서 전자 장치(901)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(921)은 상기 AP(910)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(921)은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.

상기 WIFI 모듈(923), 상기 BT 모듈(925), 상기 GPS 모듈(927) 또는 상기 NFC 모듈(928) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(921), WIFI 모듈(923), BT 모듈(925), GPS 모듈(927) 또는 NFC 모듈(928) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.

상기 RF 모듈(929)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. 상기 RF 모듈(929)은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier) 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(921), WIFI 모듈(923), BT 모듈(925), GPS 모듈(927) 또는 NFC 모듈(928) 중 적어도 하나는 별개의 RF 모듈(929)을 통하여 RF 신호를 송수신할 수 있다.

상기 SIM 카드(924)는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.

상기 메모리(930)(예: 메모리(830))는, 예를 들면, 내장 메모리(932) 또는 외장 메모리(934)를 포함할 수 있다. 상기 내장 메모리(932)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM) 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브 또는 솔리드 스테이트 드라이브(solid state drive (SSD)) 중 적어도 하나를 포함할 수 있다.

상기 외장 메모리(934)는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 메모리 스틱 (memory stick) 등을 더 포함할 수 있다. 상기 외장 메모리(934)는 다양한 인터페이스를 통하여 상기 전자 장치(901)과 기능적으로 및/또는 물리적으로 연결될 수 있다.

상기 센서 모듈(940)은, 예를 들면, 물리량을 계측하거나 전자 장치(901)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈(940)은, 예를 들면, 제스처 센서(940A), 자이로 센서(940B), 기압 센서(940C), 마그네틱 센서(940D), 가속도 센서(940E), 그립 센서(940F), 근접 센서(940G), color 센서(940H)(예: RGB(red, green, blue) 센서), 생체 센서(940I), 온/습도 센서(940J), 조도 센서(940K) 또는 UV(ultra violet) 센서(940M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈(940)은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 상기 센서 모듈(940)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(901)는 AP(910)의 일부로서 또는 별도로, 센서 모듈(940)을 제어하도록 구성된 프로세서를 더 포함하여, 상기 AP(910)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(940)을 제어할 수 있다.

상기 입력 장치(950)는, 예를 들면, 터치 패널(touch panel)(952), (디지털) 펜 센서(pen sensor)(954), 키(key)(956) 또는 초음파(ultrasonic) 입력 장치(958)를 포함할 수 있다. 상기 터치 패널(952)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한 상기 터치 패널(952)은 제어 회로를 더 포함할 수도 있다. 상기 터치 패널(952)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.

상기 (디지털) 펜 센서(954)는, 예를 들면, 터치 패널(952)의 일부이거나, 별도의 인식용 시트(sheet)를 포함할 수 있다. 상기 키(956)는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 상기 초음파 입력 장치(958)는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치(901)에서 마이크(예: 마이크(988))로 음파를 감지하여 데이터를 확인할 수 있다.

상기 디스플레이(960)(예: 디스플레이(860))는 패널(962), 홀로그램 장치(964) 또는 프로젝터(966)를 포함할 수 있다. 상기 패널(962)은, 도 8의 디스플레이(860)과 동일 또는 유사한 구성을 포함할 수 있다. 상기 패널(962)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널(962)은 상기 터치 패널(952)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치(964)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터(966)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치(901)의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 상기 디스플레이(960)는 상기 패널(962), 상기 홀로그램 장치(964) 또는 프로젝터(966)를 제어하기 위한 제어 회로를 더 포함할 수 있다.

상기 인터페이스(970)는, 예를 들면, HDMI(high-definition multimedia interface)(972), USB(universal serial bus)(974), 광 인터페이스(optical interface)(976) 또는 D-sub(D-subminiature)(978)를 포함할 수 있다. 상기 인터페이스(970)는, 예를 들면, 도 1에 도시된 통신 인터페이스(160)에 포함될 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스(970)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.

상기 오디오 모듈(980)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈(980)의 적어도 일부 구성 요소는, 예를 들면, 도 8에 도시된 입출력 인터페이스(850)에 포함될 수 있다. 상기 오디오 모듈(980)은, 예를 들면, 스피커(982), 리시버(984), 이어폰(986) 또는 마이크(988) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.

상기 카메라 모듈(991)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor) 또는 플래시(flash)(예: LED 또는 xenon lamp)를 포함할 수 있다.

상기 전력 관리 모듈(995)은, 예를 들면, 상기 전자 장치(901)의 전력을 관리할 수 있다. 한 실시예에 따르면, 상기 전력 관리 모듈(995)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. 상기 PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등을 더 포함할 수 있다. 상기 배터리 게이지는, 예를 들면, 상기 배터리(996)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리(996)는, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.

상기 인디케이터(997)는 상기 전자 장치(901) 혹은 그 일부(예: AP(910))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터(998)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동 (vibration) 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 상기 전자 장치(901)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어 플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.

상기 전자 장치(901)의 전술한 구성 요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치(901)의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(901)는 전술한 구성 요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성 요소가 생략되거나 또는 추가적인 다른 구성 요소를 더 포함할 수 있다. 또한 다양한 실시예에 따른 전자 장치(901)의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.

도 10은 본 발명의 다양한 실시예에 따른 프로그램 모듈(1010)의 블록도(1000)이다.

한 실시예에 따르면, 상기 프로그램 모듈(1010)(예: 프로그램(840))은 전자 장치(예: 전자 장치(801))에 관련된 자원을 제어하는 운영 체제(operation system (OS)) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(847))을 포함할 수 있다. 상기 운영 체제는, 예를 들면, 안드로이드(android), iOS, 윈도우즈(windows), 심비안(symbian), 타이젠(tizen) 또는 바다(bada) 등이 될 수 있다.

프로그램 모듈(1010)은 커널(1020), 미들웨어(1030), API(application programming interface)(1060) 및/또는 어플리케이션(1070)을 포함할 수 있다. 상기 프로그램 모듈(1010)의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 서버(예: 서버(806))로부터 다운로드(download) 가능하다.

상기 커널(1020)(예: 도 8의 커널(841))은, 예를 들면, 시스템 리소스 매니저(1021) 또는 디바이스 드라이버(1023)를 포함할 수 있다. 상기 시스템 리소스 매니저(1021)는 시스템 리소스의 제어, 할당 또는 회수 등을 수행할 수 있다. 한 실시예에 따르면, 상기 시스템 리소스 매니저(1021)는 프로세스 관리부, 메모리 관리부 또는 파일 시스템 관리부 등을 포함할 수 있다. 상기 디바이스 드라이버(1023)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WIFI 드라이버, 오디오 드라이버 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.

상기 미들웨어(1030)는, 예를 들면, 상기 어플리케이션(1070)이 공통적으로 필요로 하는 기능을 제공하거나, 상기 어플리케이션(1070)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 상기 AP(1060)를 통해 다양한 기능들을 상기 어플리케이션(1070)으로 제공할 수 있다. 한 실시예에 따르면, 상기 미들웨어(1030)(예: 미들웨어(843))는 런타임 라이브러리(1035), 어플리케이션 매니저(application manager)(1041), 윈도우 매니저(window manager)(1042), 멀티미디어 매니저(multimedia manager)(1043), 리소스 매니저(resource manager)(1044), 파워 매니저(power manager)(1045), 데이터베이스 매니저(database manager)(1046), 패키지 매니저 (package manager)(1047), 연결 매니저(connectivity manager)(1048), 통지 매니저(notification manager)(1049), 위치 매니저(location manager)(1050), 그래픽 매니저(graphic manager)(1051) 또는 보안 매니저(security manager)(1052) 중 적어도 하나를 포함할 수 있다.

상기 런타임 라이브러리(1035)는, 예를 들면, 상기 어플리케이션(1070)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 상기 런타임 라이브러리(1035)는 입출력 관리, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다.

상기 어플리케이션 매니저(1041)는, 예를 들면, 상기 어플리케이션(1070) 중 적어도 하나의 어플리케이션의 생명주기(life cycle)를 관리할 수 있다. 상기 윈도우 매니저(1042)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 상기 멀티미디어 매니저(1043)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 상기 리소스 매니저(1044)는 상기 어플리케이션(1070) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.

상기 파워 매니저(1045)는, 예를 들면, 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 상기 데이터베이스 매니저(1046)는 상기 어플리케이션(1070) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있다. 상기 패키지 매니저(1047)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.

상기 연결 매니저(1048)는, 예를 들면, WIFI 또는 블루투스 등의 무선 연결을 관리할 수 있다. 상기 통지 매니저(1049)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 상기 위치 매니저(1050)는 전자 장치의 위치 정보를 관리할 수 있다. 상기 그래픽 매니저(1051)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 상기 보안 매니저(1052)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시예에 따르면, 전자 장치(예: 전자 장치(801))가 전화 기능을 포함한 경우, 상기 미들웨어(1030)는 상기 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager)를 더 포함할 수 있다.

상기 미들웨어(1030)는 전술한 구성 요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 상기 미들웨어(1030)는 차별화된 기능을 제공하기 위해 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한 상기 미들웨어(1030)는 동적으로 기존의 구성 요소를 일부 삭제하거나 새로운 구성 요소들을 추가할 수 있다.

상기 API(1060)(예: API(845))는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.

상기 어플리케이션(1070)(예: 어플리케이션 프로그램(847))은, 예를 들면, 홈(1071), 다이얼러(1072), SMS/MMS(1073), IM(instant message)(1074), 브라우저(1075), 카메라(1076), 알람(1077), 컨택트(1078), 음성 다이얼(1079), 이메일(1080), 달력(1081), 미디어 플레이어(1082), 앨범(1083) 또는 시계(1084), 건강 관리(health care)(예: 운동량 또는 혈당 등을 측정) 또는 환경 정보 제공(예: 기압, 습도 또는 온도 정보 등을 제공) 등의 기능을 제공할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다.

한 실시예에 따르면, 상기 어플리케이션(1070)은 상기 전자 장치(예: 전자 장치(801))와 외부 전자 장치(예: 전자 장치(802, 804)) 사이의 정보 교환을 지원하는 어플리케이션(이하, 설명의 편의 상, “정보 교환 어플리케이션”)을 포함할 수 있다. 상기 정보 교환 어플리케이션은, 예를 들면, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션 또는 상기 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.

예를 들면, 상기 알림 전달 어플리케이션은 상기 전자 장치의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치(예: 전자 장치(802, 804))로 전달하는 기능을 포함할 수 있다. 또한 상기 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 상기 장치 관리 어플리케이션은, 예를 들면, 상기 전자 장치와 통신하는 외부 전자 장치(예: 전자 장치(804))의 적어도 하나의 기능(예: 외부 전자 장치 자체(또는 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는 해상도) 조절), 상기 외부 전자 장치에서 동작하는 어플리케이션 또는 상기 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스)를 관리(예: 설치, 삭제 또는 업데이트)할 수 있다.

한 실시예에 따르면, 상기 어플리케이션(1070)은 상기 외부 전자 장치(예: 전자 장치(802, 804))의 속성(예: 전자 장치의 속성으로서, 전자 장치의 종류가 모바일 의료 기기)에 따라 지정된 어플리케이션(예: 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 상기 어플리케이션(1070)은 외부 전자 장치(예: 서버(806) 또는 전자 장치(802, 804))로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 상기 어플리케이션(1070)은 프리로드 어플리케이션(preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션(third party application)을 포함할 수 있다. 도시된 실시예에 따른 프로그램 모듈(1010)의 구성 요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.

다양한 실시예에 따르면, 상기 프로그램 모듈(1010)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 상기 프로그램 모듈(1010)의 적어도 일부는, 예를 들면, 프로세서(예: AP(910)에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그램 모듈(1010)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.

본 문서에서 사용된 용어 “모듈”은, 예를 들면, 하드웨어, 소프트웨어 또는펌웨어(firmware)중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 프로세서(예: 프로세서(120))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리(130)가 될 수 있다.

상기 컴퓨터로 판독 가능한 기록매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magneticmedia)(예: 자기테이프), 광기록매체(opticalmedia)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광매체(magneto-opticalmedia)(예: 플롭티컬디스크(flopticaldisk)), 하드웨어 장치 (예: ROM(read only memory), RAM(random access memory) 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.

다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성 요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나 또는 추가적인 다른 구성 요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나 또는 다른 동작이 추가될 수 있다.

그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 개시의 범위를 한정하는 것은 아니다. 따라서 본 개시의 범위는, 본 개시의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.

100: 제1전자 장치 12: 시선 결정 모듈
14: 정보 결정 모듈 16: 신호 생성 모듈
22: 기기 DB 110: 제어부
120: 통신 인터페이스 150: 카메라 모듈
160: 입출력 모듈 175: 저장부
200: 제2전자 장치

Claims

전자 장치가 외부의 물체를 제어하는 방법에 있어서,
전자 장치와 기능적으로 연결된 이미지 센서를 통해 상기 전자 장치의 외부에 위치한 물체(object)에 대한 사용자의 시선을 결정하는 동작과,
상기 사용자의 시선에 기초하여 상기 물체에 대한 물체 정보를 결정하는 동작과,
사용자로부터 상기 물체에 대한 사용자 입력을 수신하는 동작과,
상기 사용자 입력 및 상기 물체 정보에 기초하여 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어하는 동작을 포함하는 제어 방법.
제1항에 있어서,
상기 사용자의 시선을 결정하는 동작은,
상기 사용자의 눈 이미지를 기초로 상기 사용자의 시선 방향, 동공의 크기 또는 시선 좌표 중 하나 이상을 결정하는 과정을 포함하는 제어 방법.
제1항에 있어서,
상기 물체에 대한 정보를 결정하는 동작은,
상기 물체와 관련된 이미지 중 적어도 일부의 윤곽선을 기초로 상기 물체에 대한 이미지 영역을 결정하는 동작과,
상기 이미지 영역을 기초로 상기 물체 정보를 결정하는 동작을 포함하는 제어 방법.
제3항에 있어서,
상기 물체와 관련된 이미지 중 적어도 일부의 윤곽선을 기초로 상기 물체에 대한 이미지 영역을 결정하는 동작은,
상기 전자 장치를 통해 입력된 사용자의 제스처 입력 또는 음성 입력에 따라 상기 이미지 영역을 결정하는 동작을 포함하는 제어 방법.
제1항에 있어서, 상기 물체에 대한 물체 정보를 결정하는 동작은,
상기 물체와 관련된 브랜드명, 상기 물체의 형태, 상기 물체에 포함된 특정 버튼의 배치 형태, 상기 물체의 색상, 상기 물체에 부착된 악세서리, 상기 물체의 상표 또는 상기 물체와 관련된 텍스트 정보 중 적어도 하나를 상기 물체 정보로 결정하는 동작을 포함하는 제어 방법.
제1항에 있어서, 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어하는 동작은,
상기 물체 정보를 미리 저장된 장치 리스트 또는 미리 저장된 제어 이력과 비교하는 동작과,
상기 물체 정보를 상기 장치 리스트 또는 상기 제어 이력과 비교한 결과에 기초하여 상기 물체 또는 상기 다른 전자 장치를 제어하기 위한 제어 신호를 생성하는 동작을 포함하는 제어 방법.
제1항에 있어서, 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어하는 동작은,
상기 물체 또는 상기 다른 전자 장치를 제어하기 위한 정보의 적어도 일부를 네트워크를 통하여 외부 서버로부터 수신하는 동작과,
상기 물체 또는 상기 다른 전자 장치를 제어하기 위한 정보를 기초로 상기 물체 또는 상기 다른 전자 장치를 제어하기 위한 제어 신호를 생성하는 동작을 포함하는 제어 방법.
제1항에 있어서, 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어하는 동작은,
상기 물체 또는 상기 다른 전자 장치를 제어하기 위한 정보를 상기 전자 장치에 기능적으로 연결된 디스플레이 장치의 적어도 일부 영역에 표시하는 동작을 포함하는 제어 방법.
외부의 물체를 제어하는 전자 장치에 있어서,
전자 장치와 기능적으로 연결된 이미지 센서를 통해 상기 전자 장치의 외부에 위치한 물체(object)에 대한 사용자의 시선을 결정하고, 상기 사용자의 시선에 기초하여 상기 물체에 대한 물체 정보를 결정하고, 사용자로부터 상기 물체에 대한 사용자 입력이 입력되면, 상기 사용자 입력 및 상기 물체 정보에 기초하여 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어하기 위한 제어 신호를 생성하는 제어부와,
상기 제어부를 상기 물체 또는 상기 물체와 관련된 상기 다른 전자 장치로 전송하는 통신 인터페이스를 포함하는 전자 장치.
제9항에 있어서, 상기 제어부는,
상기 사용자의 눈이 촬영된 눈 이미지를 기초로 상기 사용자의 시선 방향, 동공의 크기 또는 시선 좌표 중 하나 이상을 결정함으로써, 상기 사용자의 시선을 결정함을 특징으로 하는 전자 장치.
제9항에 있어서, 상기 제어부는,
상기 물체와 관련된 이미지 중 적어도 일부의 윤곽선을 기초로 상기 물체에 대한 이미지 영역을 결정하고, 상기 이미지 영역을 기초로 상기 물체 정보를 결정함을 특징으로 하는 전자 장치.
제9항에 있어서, 상기 제어부는,
상기 사용자로부터의 제스처 입력 또는 음성 입력에 따라 상기 이미지 영역을 결정하는 전자 장치.
제9항에 있어서, 상기 제어부는,
상기 물체와 관련된 브랜드명, 상기 물체의 형태, 상기 물체에 포함된 특정 버튼의 배치 형태, 상기 물체의 색상, 상기 물체에 부착된 악세서리, 상기 물체의 상표 또는 상기 물체와 관련된 텍스트 정보 중 적어도 하나를 상기 물체 정보로 결정하는 전자 장치.
제9항에 있어서, 상기 제어부는,
상기 물체 정보를 미리 저장된 장치 리스트 또는 미리 저장된 제어 이력과 비교하고, 상기 물체 정보를 상기 장치 리스트 또는 상기 제어 입력과 비교한 결과에 기초하여 상기 물체 또는 상기 다른 전자 장치를 제어하기 위한 상기 제어 신호를 생성하는 전자 장치.
제9항에 있어서, 상기 제어부는,
상기 물체 또는 상기 다른 전자 장치를 제어하기 위한 정보의 적어도 일부를 네트워크를 통하여 외부 서버로부터 수신하도록 상기 통신 인터페이스를 제어하고, 상기 물체 또는 상기 다른 전자 장치를 제어하기 위한 정보를 기초로 상기 물체 또는 상기 다른 전자 장치를 제어하기 위한 제어 신호를 생성하는 전자 장치.
제9항에 있어서, 상기 제어부는,
상기 물체 또는 상기 다른 전자 장치를 제어하기 위한 정보를 상기 전자 장치에 기능적으로 연결된 디스플레이 장치의 적어도 일부 영역에 표시하도록 상기 다른 전자 장치를 제어하는 전자 장치.
전자 장치와 기능적으로 연결된 이미지 센서를 통해 상기 전자 장치의 외부에 위치한 물체(object)에 대한 사용자의 시선을 결정하는 동작,
상기 사용자의 시선에 기초하여 상기 물체에 대한 물체 정보를 결정하는 동작과,
사용자로부터 상기 물체에 대한 사용자 입력을 수신하는 동작과,
상기 사용자 입력 및 상기 물체 정보에 기초하여 상기 물체 또는 상기 물체와 관련된 다른 전자 장치를 제어하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.