KR20160135242A - 시선 검출을 통한 원격 디바이스 제어 - Google Patents

Abstract

시선 기반의 원격 디바이스 제어에 관한 실시형태가 개시된다. 예를 들어, 개시하는 일 실시형태는, 컴퓨팅 디바이스에 대해, 사용자의 시선 방향을 검출하는 단계, 사용자로부터 상기 시선 방향에 위치하는 원격 제어 가능한 디바이스를 제어하기 위한 지시를 검출하는 단계와, 원격 제어 가능한 디바이스의 사용자 제어를 가능하게 하도록 컨트롤러 디바이스의 사용자 인터페이스를 적응시키는 단계를 포함하는 방법을 제공한다.

Description

시선 검출을 통한 원격 디바이스 제어{REMOTE DEVICE CONTROL VIA GAZE DETECTION}

기술이 발전함에 따라, 사람들은 점점 더 많은 수의 전자 디바이스를 매일 사용한다. 예를 들어, 개인이 스마트폰, 비디오 게임 콘솔, 홈엔터테인먼트 시스템, 및 기타 다수의 전자 디바이스와 빈번하게 인터랙션할 수 있다. 이들 디바이스로부터 최대의 효과를 도출하려면 사용자는 이들 디바이스를 적극적으로 제어해야 한다. 그러나, 다수의 디바이스의 제어는, 사용자가 디바이스마다 옮겨 가서, 각 디바이스 상의 상이한 사용자 인터페이스를 조종(navigation)하거나, 손으로 여러 원격 제어 송신기를 잡고 있어야 한다.

시선 기반의 원격 디바이스 제어에 관한 실시형태가 개시된다. 예를 들어, 개시하는 일 실시형태는, 컴퓨팅 디바이스에 대해, 사용자의 시선 방향을 검출하는 단계, 사용자로부터 상기 시선 방향에 위치하는 원격 제어 가능한 디바이스를 제어하기 위한 지시(indication)를 검출하는 단계와, 원격 제어 가능한 디바이스의 사용자 제어를 가능하게 하도록 컨트롤러 디바이스의 사용자 인터페이스를 적응시키는 단계를 포함하는 방법을 제공한다.

본 개요는 이하의 상세한 설명에서 더 설명하는 다양한 개념들을 간략화한 형태로 소개하기 위해 제공된다. 본 개요는 청구범위의 발명의 대상이 되는 주요 특징 또는 본질적 특징을 확인하기 위한 것이 아니며, 청구범위의 발명의 대상의 범위를 한정하기 위해 이용되어서도 안 된다. 또한, 청구범위의 청구 대상은 본 명세서의 어떤 부분에서 언급한 단점들 중 일부 또는 전부를 해결하는 구현예에 한정되지 않는다.

도 1은 본 개시내용의 일 실시형태에 따라, 사용자가 전자 디바이스를 원격 제어할 수 있는 예시적인 환경의 양태들을 도시하는 도면이다.
도 2는 본 개시내용의 일 실시형태에 따른 컴퓨터 시스템 및 상호접속 시스템의 양태들을 도시하는 도면이다.
도 3은 본 개시내용의 일 실시형태에 따른 웨어러블 디스플레이 시스템의 양태들을 도시하는 도면이다.
도 4는 본 개시내용의 일 실시형태에 따른, 도 3의 웨어러블 디스플레이 시스템의 우측 또는 좌측 광학 시스템의 양태들을 도시하는 도면이다.
도 5는 본 개시내용의 일 실시형태에 따라, 사용자가 전자 디바이스를 원격 제어하게 할 수 있는 예시적인 방법을 나타내는 도면이다.
도 6은 본 개시내용의 실시형태들에 따라 시선 또는 손 제스처를 통해, 원격 제어 가능한 디바이스에 대한 사용자 인터페이스를 조종하는 것을 나타내는 도면이다.

여기에 개시하는 실시형태들은 사용자가 직관적인 방식으로 다수의 전자 디바이스를 원격 제어할 수 있게 한다. 일 접근법에 있어서, 사용자는 디바이스를 선택하고 그 디바이스를 응시함으로써 간단히 제어한다. 시스템이 사용자의 의도가 어떤 디바이스를 제어하는 것이라고 결정하면, 시스템은 그 디바이스 고유의 사용자 인터페이스를 표시하거나, 그렇지 않으면 그 디바이스의 제어를 가능하게 하도록 기존의 사용자 인터페이스를 적응시킨다. 이 때 사용자의 입력이 사용자 인터페이스를 통해 수신되고, 적절한 제어 신호가 제어를 실행하도록 송신된다.

도 1은 개인 주택의 거실이나 패밀리룸의 형태로 이루어진 예시적인 환경(10)의 양태들을 도시하고 있다. 그러나, 본 명세서에서 설명하는 시스템과 방법은 소매점 환경 등의 다른 환경에도 적용 가능하다. 도 1의 환경은 사용자(14)의 오락을 위한 홈엔터테인먼트 시스템(12)의 특징을 갖고 있다. 도 1에서, 사용자(14)는 서 있는 상태로 보여지지만, 다른 시나리오에서는 사용자가 앉아 있거나 누워 있을 수도 있다.

홈엔터테인먼트 시스템(12)은 컴퓨터 시스템(20)에 동작 가능하게 연결되어 있는 대형 스크린(16)과 스피커(18)를 포함한다. 또한, 홈엔터테인먼트 시스템은 AV(audio-video) 수신기(22)와 케이블 박스(24)를 포함한다. 도시하는 홈엔터테이넌트 시스템은 예로 제시되는 것일 뿐, 개시하는 실시형태들은 기타 적절한 구성의 디바이스와 함께 이용될 수 있음이 이해될 것이다. 일부 구성에 있어서, 예컨대 디스플레이(16)는 사용자의 머리나 눈에 착용되게 장착되는 근안용 디스플레이(near-eye display)로 대체될 수도 있다.

계속해서 도 1을 참조하면, 환경(10)은 사용자(14)가 제어할 수 있는, 홈엔터테인먼트 시스템(12) 이외의 각종 전자 디바이스들을 포함한다. 이들 디바이스는 예컨대 실내등 시스템(26)과 서모스탯(thermostat)(28)을 포함한다. 도시하는 환경은 스마트폰, 태블릿 컴퓨터 등과 같은 모바일 컴퓨팅 디바이스(30)도 포함한다.

환경(10)은 그 환경 내의 다른 전자 디바이스를 제어하도록 구성된 하나 이상의 전자 디바이스도 포함할 수 있다. 도 1에 있어서, 예를 들어, 사용자(14)는 범용의 원격 제어 송신기(리모컨)(32)를 잡고 있는 것으로 보여진다. 이 범용의 원격 제어 송신기는 환경 내의 원격 제어 가능한 디바이스, 예컨대 무엇보다도 디스플레이(16), AV 수신기(22), 케이블 박스(24), 실내등 시스템(26), 서머스탯(28), 스마트폰(30), 및/또는 컴퓨팅 디바이스(20)에 적절한 제어 신호(적외선, 무선, 블루투스 등)를 송신하도록 구성될 수 있다. 일부 실시형태에 있어서, 모바일 컴퓨팅 디바이스(30) 등의 다른 디바이스도 컨트롤러 디바이스로서 이용될 수 있다.

전술한 바와 같이, 본 명세서에 개시하는 실시형태는 사용자(14)로 하여금 전자 디바이스를 선택하여 그것을 응시함으로써 간단히 제어되게 할 수 있다. 이를 위해, 컴퓨터 시스템(20)은 환경(10) 내에서 원격 제어 가능한 전자 디바이스의 위치를 규정하는 데이터를 포함한다. 일부 실시형태에 있어서, 이 데이터의 적어도 일부는 환경 촬상 시스템을 통해 취득될 수 있다. 다른 실시형태에서는 이 데이터가 후술하는 바와 같이 사용자 입력에 의해 취득될 수도 있다. 또한, 컴퓨터 시스템(20)은 사용자가 컨트롤러 디바이스를 통해 원격 제어 가능한 디바이스를 편리하게 제어하게 하도록 컨트롤러 디바이스의 사용자 인터페이스를 적응시키는 데이터를 포함할 수 있다. 도시하는 실시형태에 있어서, 케이블 박스에 대한 사용자의 시선 검출에 응답하여 케이블 박스(24)용 사용자 인터페이스가 표시된다. 다른 예에서는, 컴퓨팅 디바이스가 리모컨(32), 스마트 폰(30), 또는 상이한 원격 제어 가능한 디바이스를 제어하는데 사용 가능한 기타 적절한 컨트롤러 디바이스의 사용자 인터페이스를 적응시킬 수 있다.

일부 실시형태에 있어서, 환경 촬상 시스템이 깊이 카메라 또는 컬러 카메라를 포함할 수도 있다. 이 시스템은 시각 시스템(38)의 이미지 캡처 구성요소를 공유할 수도 있고/또는 환경 내의 다른 이미지 캡처 디바이스(도시 생략)을 포함할 수도 있다. 일부 실시형태에 있어서, 환경 촬상 시스템은 사용자의 손 안에 잡혀서, 원격 제어 가능한 디바이스를 촬상하도록 환경 도처로 이동할 수 있다. 또 다른 실시형태에 있어서, 환경 촬상 시스템은 사용자에 의해 눈이나 머리에 착용되게 장착될 수 있다. 위치 추적 구성요소는 환경 활상 시스템에 의해 캡처된 이미지 데이터가 실세계 좌표에 매핑되게 할 수 있다. 이미지 데이터의 하향 분석을 통해, 다양한 원격 제어 가능한 디바이스의 위치가 확립되고, 컴퓨터 시스템(20)에 유지된 맵 상에 저장될 수 있다. 이 맵은 시선 추적 구성요소에 의해 액세스되어, 사용자가 어떤 원격 제어 가능 디바이스를 응시하고 있는지를 결정할 수 있다. 환경 촬상에 의해 제공되는 효과에도 불구하고, 이 특징은 일부 실시형태에서는 생략될 수 있으며, 환경 내의 원격 제어 가능한 디바이스의 위치를 확립하기 위해 대안적 방법이 이용될 수도 있다.

계속해서, 컴퓨터 시스템(20)의 특성은 본 개시내용의 다양한 실시형태들에서 달라질 수 있다. 일부 실시형태에 있어서, 컴퓨터 시스템은 비디오 게임 시스템일 수도/또는 음악 및/또는 비디오를 재생하도록 구성된 멀티미디어 시스템일 수도 있다. 다른 실시형태에 있어서, 컴퓨터 시스템은 인터넷 브라우징 및 생산성 애플리케이션에 사용되는 범용 컴퓨터 시스템일 수도 있다. 컴퓨터 시스템(20)은 본 개시내용의 범주에서 벗어나는 일 없이, 전술한 용도 및/또는 기타 적합한 용도 중 일부 또는 전부에 대해 구성될 수 있다.

컴퓨터 시스템(20)은 1인 이상의 사용자로부터 다양한 형태의 사용자 입력을 수신하도록 구성된다. 이 경우에, (도면에 도시하지 않는) 키보드, 마우스, 터치스크린, 게임 패드 또는 조이스틱 컨트롤러 등의 사용자 입력 디바이스들이 컴퓨터 시스템에 동작 가능하게 연결되어 직접 데이터 입력에 이용될 수도 있다. 또한 컴퓨터 시스템(20)은 1인 이상의 사용자로부터 NUI(natural user input)라고 불리는 입력을 수신하도록 구성된다. NUI를 가능하게 하기 위해, NUI 시스템(36)이 컴퓨터 시스템에 포함된다. NUI 시스템은 NUI의 다양향 양태를 캡처하고 대응하는 실시 가능한 입력(actionable input)을 컴퓨터 시스템에 제공하도록 구성된다. 이를 위해, NUI 시스템은 무엇보다도(예컨대, 환경을 촬상하도록 구성된 다른 카메라보다도), 시각 시스템(38)과 청각 시스템(38)을 포함할 수 있는 주변 감지 구성요소로부터 하위 레벨 입력을 수신한다.

청각 시스템(40)은 사용자(14)로부터 그리고 환경(10) 내의 다른 소스로부터 입력되는 발성(vocalization) 및 기타 가청 입력, 예컨대 전화벨, 스트리밍 오디오를 픽업하는 하나 이상의 마이크를 포함할 수 있다. 일부 예에서는, 청각 시스템(40)이 지향성 마이크 어레이를 포함할 수도 있다. 시각 시스템(38)은 그 시각 시스템이 취득한 이미지 데이터를 통해 사용자 제스처, 시선 위치, 및 기타 신체 제스처 및/또는 자세 정보 등의 입력을 검출하도록 구성된다. 도시하는 실시형태에서는, 시각 시스템과 청각 시스템이 공통 인클로저를 공유하지만, 다른 실시형태에서는 이들 시스템이 별개 구성요소일 수도 있다. 또 다른 실시형태에서는, 시각, 청각 및 NUI 시스템이 컴퓨터 시스템 내에 통합될 수도 있다. 컴퓨터 시스템과 그것의 주변 감지 구성요소는 도면에 도시하는 바와 같이, 유선 통신 링크를 통해 또는 기타 적절한 방식으로 연결될 수 있다.

도 2는 예시적인 실시형태에 따른 컴퓨터 시스템(20) 및 주변 시스템의 양태를 도시하는 상위 개략도이다. 도시하는 컴퓨터 시스템은 소프트웨어 및/또는 펌웨어로 실현될 수 있는 운영 체제(OS)(42)를 포함한다. 컴퓨터 시스템은 또한 예컨대 비디오 게임 애플리케이션, 디지털 미디어 플레이어, 인터넷 브라우저, 사진 편집기, 워드 프로세서, 및/또는 스프레드시트 애플리케이션 등의 하나 이상의 애플리케이션(44)을 포함한다. 컴퓨터 시스템(20), 시각 시스템(38), 청각 시스템(40), 및 환경 촬상 시스템(34)(예컨대, 상기한 관점에서 환경을 촬상하는 시각 시스템(38) 외부의 카메라) 중 일부 또는 전부는 그 각각의 기능을 지원하는데 필요하다면, 적절한 데이터 스토리지, 명령어 스토리지, 및 로직 하드웨어를 포함할 수 있다.

도 2의 실시형태에서는, 시각 시스템(38)이 하나 이상의 깊이 카메라(46)와 하나 이상의 컬럼 카메라(48)를 포함한다. 각각의 깊이 카메라는 사용자(14) 및 환경(10)의 시분해(time-resolved) 시퀀스의 깊이 맵을 취득하도록 구성될 수 있다. 본 명세서에서 사용되는 용어 '깊이 맵(depth map)'은 촬상된 장면의 대응하는 영역 (X_i, Y_i)에 등록되는 픽셀의 어레이를 가리키며, 깊이 값 Z_i은 각 픽셀마다, 대응하는 영역의 깊이를 나타낸다. '깊이'는 깊이 카메라의 광축에 평행한 좌표로서 정의될 수 있는 것으로서, 깊이 카메라와의 거리가 증가함에 따라 커진다. 선택적으로, 깊이 카메라는 다운스트림 프로세싱을 통해 깊이 맵이 얻어지는 2차원 이미지 데이터를 취득하도록 구성될 수 있다.

대체로, 깊이 카메라(36)의 특성은 본 개시내용의 다양한 실시형태들에서 달라질 수 있다. 일 실시형태에 있어서, 깊이 카메라 내의 2개의 입체적으로 지향된 촬상 어레이로부터의 휘도 또는 컬러 데이터가 함께 등록되어 깊이 맵을 구축하는데 이용될 수 있다. 다른 실시형태에 있어서, 깊이 카메라는 다수의 분리된 피처(feature), 예컨대 선이나 점을 포함하는 구조화된 적외선(IR) 조명 패턴을 대상물(subject)에 투사하도록 구성될 수 있다. 깊이 카메라 내의 촬상 어레이는 대상물로부터 다시 반사된 구조화된 조명을 촬상하도록 구성될 수 있다. 촬상된 대상물의 다양한 구역 내의 인접한 피처들 사이의 간격에 기초하여, 그 대상물의 깊이 맵이 구축될 수 있다. 또 다른 실시형태에 있어서, 깊이 카메라는 대상물을 향해 펄스형 적외선 조명을 투사할 수 있다. 깊이 카메라 내의 한 쌍의 촬상 어레이는 대상물로부터 다시 반사된 펄스형 조명을 검출하도록 구성될 수 있다. 양쪽 어레이는 펄스형 조명에 동기화된 전자 셔터를 포함할 수 있지만, 이들 어레이의 노출 시간은 상이할 수 있는데, 광원으로부터 대상물로 그리고 어레이까지의 펄스형 조명의 픽셀 분해 경과 시간(pixel-resolved time-of-flight)이, 2개의 어레이의 대응하는 요소에서 수광된 상대 광량에 기초해서 식별될 수 있기 때문이다.

각각의 컬러 카메라(48)는 복수의 채널(예컨대, 레드, 그린, 블루 등)에서 관찰된 장면으로부터의 가시광을 촬상하여, 그 촬상된 광을 픽셀 어레이에 매핑시킬 수 있다. 한편, 광을 그레이스케일로 촬상하는 단색 카메라(monochromatic camera)가 포함될 수도 있다. 카메라에서 노출되는 픽셀 전체에 대한 컬러 또는 휘도 값이 집합적으로 디지털 컬러 이미지를 구성한다. 일부 실시형태에 있어서, 컬러 카메라의 픽셀이 깊이 카메라의 픽셀에 등록될 수 있다. 이런 식으로, 컬러 및 깊이 양쪽 정보가 관찰된 장면의 각 부분마다 평가될 수 있다.

NUI 시스템(36)은 시각 시스템(38), 청각 시스템(40) 및 환경 촬상 시스템(34)으로부터 하위 레벨 입력(즉, 신호)를 처리하여, 실시 가능한 상위 레벨 입력을 컴퓨터 시스템(20)에 제공한다. 예를 들어, NUI 시스템은 청각 시스템(40)으로부터의 오디오 신호에 대해 사운드 또는 음성 인식을 수행할 수 있다. 음성 인식은 컴퓨터 시스템이 수신하게 될 대응하는 텍스트 기반 또는 상위 레벨 커맨드를 생성할 수 있다. 도 2에 도시하는 실시형태에서는, NUI 시스템이 음성 인식 엔진(50), 제스처 인식 엔진(52), 안면 인식 엔진(54), 시선 검출 엔진(56), 및 환경 매핑 엔진(58)을 포함한다.

음성 인식 엔진(50)은 청각 시스템(40)으로부터의 오디오 데이터를 처리하여, 사용자의 발화(speech)에서 어떤 단어 또는 어구를 인식하고 대응하는 실시 가능한 입력을 컴퓨터 시스템(20)의 OS(42) 또는 애플리케이션(44)에 대해 생성하도록 구성된다. 제스처 인식 엔진(52)은 시각 시스템(38)으로부터 적어도 깊이 데이터를 처리하여, 그 깊이 데이터에서 1인 이상의 대상자를 식별하고, 식별된 대상자의 다양한 골격 특징을 산출하며, 그 골격 특징으로부터 다양한 자세 또는 제스터 정보를 수집하도록 구성되는데, 이 정보는 OS 또는 애플리케이션에 제공된다. 안면 인식 엔진(54)은 시각 시스템으로부터 이미지 데이터를 처리하여, 현재 사용자의 안면 특징을 분석하도록 구성된다. 안면 특징의 분석은 현재 사용자가 식별될 수 있게, 예컨대 컴퓨터 시스템에 저장되어 있는 사용자 프로파일에 매칭될 수 있게 한다. 또한 안면 인식 엔진(54)은 아이덴티티에 기초하여 사용자에게 상이한 레벨의 제어가 부여될 수 있는, 허가(permission)가 구현되게 할 수 있다. 보다 상세한 예로서, 사용자는 사용자의 어린아이가 서모스탯이나 기타 홈 시스템 컨트롤을 제어하지 못하도록 선택할 수도 있고, 안면 인식 및/또는 기타 식별 방법이 이 정책을 강화하는데 이용될 수 있다. 이러한 허가는 기타 적절한 방식으로 구현될 수 있다고 이해될 것이다.

환경 매핑 엔진(58)은 그 환경 내의 다양한 원격 제어 가능한 전자 디바이스의 위치를 포함하는, 환경(10)의 맵을 어셈블링하도록 구성된다. 환경 매핑 엔진은 직접 사용자 입력을 비롯한 임의의 적절한 형태의 입력을 수신하여 그 위치를 규정하도록 구성될 수 있다. 일례에 있어서, 사용자는 간단히 제어 대상 디바이스의 방향을 응시한 다음, 거기에 위치하는 디바이스를 식별할 수 있다. 사용자는, 예컨대 검출된 디바이스의 식별정보(identification)를 호출하여(예컨대, 검출되는 디바이스의 리스트 및 그것의 연관된 식별정보가 사용자에게 표시될 수 있음), 키보드, 키패드, 게임 컨트롤러, 또는 다른 입력 디바이스를 통해, 또는 기타 적절한 방식으로 그 식별정보를 입력함으로써 디바이스를 식별할 수 있다. 이런 식으로, 각각의 원격 제어 가능 디바이스는 그것의 위치와 연관된다. 또한, 이 프로세스 중에, 원격 제어 가능한 디바이스와 컴퓨팅 디바이스와의 페어링(pairing)이, 예컨대 원격 제어 대상 디바이스에 대한 패스워드를 입력하거나 기타 적절한 페어링 프로세스를 수행하여 달성될 수 있다. 위치 및 페어링 정보는 컴퓨터 시스템의 비휘발성 메모리에 저장되고, 추후에 사용자가 제어하려고 의도하는 원격 제어 가능한 디바이스를 결정하고 또 제어 대상 디바이스에 통신 가능하게 연결하는 데에 이용될 수 있다. 다른 실시형태에 있어서, 환경 매핑 엔진은 환경 촬상 시스템(34)으로부터 입력을 수신할 수 있다. 따라서, 환경 매핑 엔진은 그 이미지 특성(예컨대, 사이즈, 형성, 컬러)에 기초하여, 바코드나 로고 등의 적절한 식별 마커에 기초하여, 또는 기타 적절한 방식으로 다양한 전자 디바이스를 인식하도록 구성될 수 있다.

다른 실시형태에 있어서, 환경 맵핑 엔진은 복수의 신호(예컨대, 무선 또는 기타 적절한 파장) 수신기에 동작 가능하게 연결될 수도 있다. 신호 수신기는 환경(10) 내의 원격 제어 가능한 제어 디바이스에 부착된 송신측 비컨으로부터 식별 신호를 수신하도록 구성될 수 있다. 수신기가 환경 내에 공간적으로 분포되어 있어, 환경 매핑 엔진은 각각의 원격 제어 가능한 제어 디바이스의 위치를 삼각측량하고 그에 따라 맵을 작성하도록 구성될 수 있다.

계속해서 도 2를 참조하면, 시선 검출 엔진(56)은 시각 시스템(38)으로부터의 데이터를 처리하여 사용자의 머리 방향(head orientation)을 식별하고/하거나 사용자의 하나 이상의 안구 특징(ocular feature)을 찾아내도록 구성될 수 있다. 이러한 안구 특징은 동공 중심, 동공 외형, 홍채 중심, 홍채 외형, 및/또는 사용자의 눈의 각막으로부터 반사되는 알려진 광원("섬광 소스(glint source)"로부터의 "섬광"이라고도 불려짐)으로부터의 하나 이상의 정반사(specular reflection)를 포함할 수 있다. 머리 방향 또는 안구 특징의 위치에 기초하여, 시선 검출 엔진은 사용자의 시선 벡터를 추정하고 사용자의 시선 방향을 검출할 수 있다. 또한, 시선 검출 엔진은 환경 매핑 엔진(58)에 의해 유지되는 원격 제어 가능한 전자 디바이스의 맵에 액세스하도록 구성될 수도 있다. 이러한 식으로, 사용자의 시선 벡터는, 만약에 있다면, 사용자가 응시하고 있는, 원격 제어 가능한 디바이스를 언제라도 결정하도록 맵 상에 플로팅될 수 있다.

도 2에 있어서, 컴퓨터 시스템(20)은 하드웨어 인터페이스(60)에 동작 가능하게 연결되어, 환경 내의 다양한 원격 제어 가능한 디바이스의 제어를 제공한다. 이를 위에, 하드웨어 인터페이스는 수신되는 사용자 입력에 따라 컴퓨터 시스템으로부터 송신된 제어 커맨드를 변환하고, 대응하는 제어 신호를 원격 제어 가능한 디바이스에 출력한다. 일부 실시형태에 있어서, 하드웨어 인터페이스는 원격 제어 가능한 디바이스가 수신하도록 구성되어 있는 제어 신호의 유형에 대응하는 하나 이상의 신호 송신기 - 예컨대, 적외선, 무선 등 - 를 포함할 수 있다. 다른 실시형태에 있어서, 하드웨어 인터페이스는 유선을 통해 원격 제어 가능한 디바이스 중 적어도 일부를 제어할 수 있다. 또 다른 실시형태에 있어서, 하드웨어 인터페이스는 범용 원격 제어 송신기(32) 등의 주변 컨트롤러 디바이스와 통신하여 이 디바이스를 제어하도록 구성될 수 있다. 이 경우, 하드웨어 인터페이스는 송신기와 현재 페어링되는 원격 제어 가능한 디바이스를 전환하는 컴퓨터로부터의 제어 출력을 변환할 수 있다.

다수의 다른 실시형태들도 안출되기 때문에 전술한 내용 및 도면은 제한적인 의미로 해석되어서는 안 된다. 일부 실시형태에 있어서, 전술한 디스플레이 또는 감지 구성요소는 사용자의 눈이나 머리에 착용되게 장착될 수 있다. 따라서, 도 3은 웨어러블 스테레오스코픽 디스플레이 시스템(62)의 양태를 도시하고 있다. 도시하는 디스플레이 시스템은 보통의 안경과 비슷하다. 이 시스템은 착용자의 얼굴에 위치하게 되는 코다리(66)와 귀걸이테(64)를 포함한다. 디스플레이 시스템은 우측 디스플레이 윈도우(68R)와 좌측 디스플레이 윈도우(68L)도 포함한다. 일부 실시형태에 있어서, 우측 및 좌측 디스플레이 윈도우(68)는 착용자에게 그 주변의 선명한 뷰를 제공하기 위해 착용자의 시각(perspective)으로부터 전체 또는 일부가 투명하다.

일부 실시형태에서는, 디스플레이 이미지(display imagery)가 실시간으로 컴퓨터 시스템(20)으로부터 디스플레이 시스템(62)에 송신된다. 디스플레이 시스템(62)의 마이크로컨트롤러(62)가 우측 및 좌측 광학 시스템(72R, 72L)에 동작 가능하게 연결되어 있다. 도시하는 실시형태에 있어서, 마이크로컨트롤러는 좌측 및 우측 광학 시스템과 함께, 디스플레이 시스템 프레임 내부에 숨어 있다. 마이크로컨트롤러는 적합한 입출력(I/O) 구성요소를 포함하여 이 요소로 하여금 컴퓨터 시스템(20)으로부터 디스플레이 이미지를 수신하게 할 수 있다. 디스플레이 시스템(62)이 동작중일 때에, 마이크로컨트롤러(70)는 우측 광학 시스템으로 하여금 우측 디스플레이 윈도우(68R)에 우측 디스플레이 이미지를 형성하게 하도록 적절한 제어 신호를 우측 광학 시스템(72R)에 송신한다. 마찬가지로, 마이크로컨트롤러는 좌측 광학 시스템으로 하여금 좌측 디스플레이 윈도우(68L)에 좌측 디스플레이 이미지를 형성하게 하도록 적절한 제어 신호를 좌측 광학 시스템(72L)에 송신한다.

도 4는 비제한적인 실시형태에 있어서, 하나의 우측 또는 좌측 광학 시스템(72) 및 연관된 디스플레이 윈도우(68)의 양태를 도시하고 있다. 광학 시스템은 백라이트(backlight)(74)와 액정 디스플레이(LCD) 매트릭스(76)를 포함한다. 백라이트는 발광 다이오드(LED)의 한 세트(ensemble) - 예컨대, 백색 LED, 또는 적색, 녹색 및 청색 LED를 포함할 수 있다. 백라이트는 그것의 발광이, 마이크로컨트롤러(70)로부터의 제어 신호에 기초하여 디스플레이 이미지를 형성하는 LCD 매트릭스를 통과하도록 배치될 수 있다. LCD 매트릭스는 직사각형 그리드로 또는 기타 기하학적으로 배열된 개별로 주소 지정 가능한 다수의 픽셀을 포함할 수 있다. 일부 실시형태에 있어서, 적색광 투과 픽셀이 매트릭스 내에서 녹색 및 청색광 투과 픽셀에 병치되어 있어, LCD 매트릭스는 컬러 이미지를 형성한다. LCD 매트릭스는 일 실시형태에서 LCOS(liquid-crystal-on-silicon)일 수도 있다. 다른 실시형태에서는, 디지털 마이크로미러 어레이가 LCD 매트릭스를 대신하여 사용될 수도 있고, 또는 능동 LED 매트릭스가 대신에 사용될 수도 있다. 또 다른 실시형태에서는 좌측 및 우측 디스플레이 이미지를 형성하는데 주사빔 기술(scanned-beam technology)이 이용될 수도 있다.

계속해서 도 4를 참조하면, 광학 시스템(72)은 디스플레이 시스템(62)의 착용자의 우측 또는 좌측 눈(78)의 동공 위치 및/또는 홍채 위치를 감지하도록 구성되는 시선 추적 구성요소도 포함한다. 도 4의 실시형태에 있어서, 시선 추적 구성요소는 착용자의 눈에서 반사되는 아이 램프(eye lamp)(80)로부터의 광을 촬상하는 촬상 시스템의 형태를 취한다. 아이 램프는 눈에 조명을 비추도록 구성된 적외선 또는 근적외선 LED를 포함할 수 있다. 일 실시형태에 있어서, 아이 램프는 눈 홍채(84) 상에 정반사 섬광(specular glint)(82)을 생성하도록 비교적 협각 조명을 제공할 수 있다. 촬상 시스템은 아이 램프의 방출 파장 범위에서 광을 촬상하도록 구성된 적어도 하나의 카메라(86)를 포함한다. 이 카메라는 눈으로부터 반사되는, 아이 램프로부터의 광을 캡처하도록 배열되고 다른 식으로 구성될 수 있다. 카메라로부터의 이미지 데이터는 마이크로컨트롤러(70) 내의 또는 컴퓨터 시스템(20) 내의 연관 로직에 전달된다. 거기에서, 이미지 데이터는 동공 중심(88), 동공 외형(90), 및/또는 각막으로부터의 정반사 섬광과 같은 특징(feature)을 분석하도록 처리될 수 있다. 부가적으로 또는 대안적으로, 홍채 중심이나 홍채 외형도 분석될 수 있다. 이미지 데이터 내의 이러한 특징의 위치는 그 특징의 위치를 눈의 시선 벡터(92)에 관련시키는 모델 - 예컨대, 다항식 모델 - 에서 입력 파라미터로서 이용될 수 있다.

일부 경우에 있어서, LCD 매트릭스(76)로부터의 디스플레이 이미지는 디스플레이 시스템(62)의 착용자가 직접 보기에 적합하지 않을 수도 있다. 구체적으로, 디스플레이 이미지는 착용자의 눈으로부터 오프셋될 수도, 바람직하지 않은 이접 운동(vergence) 및/또는 매우 작은 출사 동공을 가질 수도 있다. 이러한 문제들을 감안하여, LCD 매트릭스로부터의 디스플레이 이미지는 착용자의 눈으로 가는 도중에 더욱 제약될 수 있다. 도 4의 실시형태에 있어서, LCD 매트릭스(76)로부터의 디스플레이 이미지는 렌즈(96)를 통해 수직 동공 확장기(pupil expander)(94)에 수광된다. 이 수직 동공 확장기는 디스플레이 이미지를 착용자의 시야로 줄이고, 그렇게 함에 있어서, 디스플레이 이미지의 출사 동공을 '수직' 방향으로 확장시킨다. 수직 동공 확장기(94)로부터, 디스플레이 이미지는 디스플레이 윈도우(68)로서 결합 또는 구현될 수 있는 수평 동공 확장기에 수광된다. 다른 실시형태에서는 수평 공동 확장기가 디스플레이 윈도우와 별개일 수 있다. 어떤 식이든지 수평 동공 확장기는 디스플레이 이미지의 출사 동공을 '수평' 방향으로 확장시킨다. 수평 및 수직 동공 확장기를 통과함으로써, 디스플레이 이미지는 실질적으로 눈을 덮는 영역 위에 표시된다.

전술한 구성은 시선 기반의 원격 디바이스 제어를 위한 다양한 방법을 가능하게 한다. 이제 몇몇 그러한 방법에 대해, 전술한 구성을 계속 참조하면서 예시적으로 설명한다. 그러나, 여기에서 설명하는 방법 및 본 개시내용의 범주 내에 있는 기타의 것들이 상이한 구성에 의해서도 가능함은 물론이다.

도 5는 하나 이상의 원격 제어 가능한 디바이스의 시선 기반 제어를 위한 예시적인 방법(98)을 나타내고 있다. 방법(98)의 100에서, 하나 이상의 원격 제어 가능한 디바이스의 위치가 컴퓨터 시스템(20)의 데이터 저장 매체에 매핑된다. 일 실시형태에서는 원격 제어 가능한 디바이스의 위치가 직접 사용자 입력을 통해 매핑될 수도 있다. 다시 말해, 사용자는 하나 이상의 디바이스의 좌표를 입력하거나, 사용자가 응시하고 있는 디바이스를 식별하는 동안에, 한번에 하나씩 디바이스를 응시하여 각각의 디바이스를 그것의 위치에 연관시킬 수 있다. 디바이스와의 통신적 페어링(communicative pairing)이 일부 실시형태에서는 이 프로세스의 일부로서 수행될 수도 있다. 다른 실시형태에서는, 원격 제어 가능한 디바이스의 위치가, 전술한 바와 같이, 환경 촬상 시스템을 통해 취득된 이미지 데이터 및 원격 제어 가능한 디바이스의 식별정보에 기초해서 매핑될 수도 있다. 또 다른 실시형태에 있어서, 원격 제어 가능한 디바이스의 위치는 컴퓨터 시스템에 동작 가능하게 연결되는 감지 구성요소에서 수신된 기초에 기초해서도 매핑된다. 이 신호는 원격 제어 가능한 전자 디바이스 상에 배치된 송신기로부터 발생할 수 있다.

102에서, 컴퓨터 시스템의 사용자의 시선 방향이 검출된다. 시선 검출은 사용자를 향해 지향된 시각 시스템의 하나 이상의 카메라로부터 사용자의 머리, 얼굴, 및/또는 눈 이미지를 취득함으로써 검출될 수 있다. 일 실시형태에 있어서, 이 이미지는 사용자의 얼굴의 일반적인 방향을 규정할 수 있다. 다른 실시형태에 있어서, 이 이미지는 동공 중심, 동공 외형, 또는 사용자의 각막으로부터의 정반사 섬광 등의 사용자의 어떤 안구 특징도 규정할 수 있다. 그런 다음 머리, 얼굴 및/또는 눈 이미지는 사용자의 시선 벡터를 산출하기 위해 시선 검출 엔진(56)에서 분석된다. 디스플레이(16)를 포함하는 실시형태에 있어서, 원격 제어 가능한 대상을 선택하는 시선은 그 디스플레이의 보이는 경계 외부의 위치(locus)에 지향될 수도 있다.

104에서는 현재 시선의 방향이, 매핑된 위치를 가진 원격 제어 가능한 디바이스 중 하나의 위치와 일치하다고 결정된다. 이러한 결정은, 예컨대 원격 제어 가능한 디바이스의 위치가 매핑되는 동일한 좌표계 상에서 사용자의 시선 벡터를 플로팅함으로써 이루어질 수 있다.

106에서는, 선택사항으로서, 사용자의 얼굴이 안면 인식 엔진(54)에 의해 인식될 수 있다. 일부 실시형태 및 사용 시나리오에 있어서, 원격 디바이스 제어는, 보다 상세하게는 후술하겠지만, 시스템에 액세스하는 특정 사용자에 따라 상이하게 진행될 수 있다. 따라서, 사용자를 식별하고 그에 따라 후속의 프로세싱을 알려주기 위해 안면 인식이 이용될 수 있다.

108에서는, 사용자로부터 시선 방향에 배치되어 있는 원격 제어 가능한 디바이스를 제어하기 위한 지시가 검출된다. 일 실시형태에 있어서, 원격 제어 가능한 디바이스를 제어하려는 의도는 사용자 시선의 드웰(dwell)에 의해 간단히 지시될 수 있다. 다시 말해, 사용자는 임계 시간 동안, 예컨대 2초, 5초 등의 시간 동안 디바이스를 응시하여 그 디바이스를 제어하려는 의도를 지시할 수 있다.

또 다른 실시형태에 있어서, 원격 제어 가능한 디바이스를 제어하려는 의도는 사이드밴드 지시(sideband indication)에 의해 시그널링된다. 이 목적에 적합한 한가지 사이드밴드 지시는, 청각 시스템(40)을 통해 수신되고 음성 인식 엔진(50)에서 인식될 수 있는 사용자의 발화이다. 예를 들어, 사용자는 자신이 응시하고 있는 디바이스의 턴온하기 위해 "턴온"이라고 말할 수 있다. 다른 적합한 사이드밴드 지시는 시각 시스템(38)에서 수신되고 제스처 인식 엔진(52)에 의해 해석되는 것인, 사용자로부터의 손이나 신체 제스처를 포함할 수 있다. 일례로, 사용자는 원격 제어 가능한 디바이스를 응시하면서 한쪽 팔을 올려서 그 디바이스가 턴온되기를 원한다고 지시할 수 있다.

110에서, 사용자의 시선 방향에 위치한 원격 제어 가능한 디바이스를 사용자가 제어할 수 있도록 컨트롤러 디바이스의 사용자 인터페이스가 적응된다. 본 개시내용의 상이한 실시형태에서는 사용자 인터페이스의 적응 특성이 상이한 형태를 취할 수도 있다. 전술한 바와 같이, 다양한 컨트롤러 디바이스들이 이 방법에 대응할 수 있다. 일부 실시형태에 있어서, 컨트롤러 디바이스는 디스플레이(예컨대, 텔레비전, 컴퓨터 모니터, 전용 디스플레이 등)에 동작 가능하게 연결된 오락 또는 게임 시스템일 수도 있다. 그 경우에, 적응된 사용자 인터페이스는 디스플레이 상에 표시되는 선택된 원격 제어 가능한 디바이스의 사용자 인터페이스를 포함할 수 있다. 적응된 사용자 인터페이스가 디스플레이 상에 표시되는 실시형태에서는, 그 디스플레이의 조종(navigation)도 가능할 수 있다. 적절한 조종 모드는 발화(speech)에 의한 조종, 손 제스처에 의한 조종, 및 시선 방향에 따른 조종을 포함하지만 이들에 한정되지는 않는다. 사용자 인터페이스가 사용자의 시선 방향에 기초하여 조종되는 실시형태에서는, 사용자의 시선이 디스플레이 상의 위치(locus)에 지향될 수 있다.

도 6은 시선 방향이나 손 제스처에 기초하여, 디스플레이(16) 상에 표시된 UI를 사용자(14)가 조종하고 있는 사용 시나리오를 나타내고 있다. 시각 시스템(38)(또는, 예컨대 머리 장착형 디스플레이 상에서의 다른 적절한 시선 검출 시스템)으로부터의 이미지 데이터에 기초하여, 시선 검출 엔진(56)은 사용자가 응시하고 있는 점에 대응하는 디스플레이 스크린 좌표 (X, Y)를 산출하도록 구성될 수 있다. 마찬가지로, 제스처 검출 엔진(52)은 사용자의 신체에 고정된 좌표계(112)에 대한 사용자의 손의 위치에 기초하여 유사한 좌표를 산출하도록 구성될 수도 있다. 이런 식으로, 사용자는 원격 제어 가능한 디바이스의 제어에 제공되는 다양한 UI 엘리먼트 사이에서 조종하는 것이 가능하다.

다른 실시형태에서는, 컨트롤러 디바이스가 범용 리모컨(remote control) 등의 핸드헬드 디바이스일 수도 있다. 여기서, 컨트롤러 디바이스의 사용자 인터페이스를 적응시키는 단계는, 디바이스의 푸시버튼이나 다른 컨트롤의 효과를 변경하는 것을 포함할 수 있는데, 일부 실시형태에서는 푸시버튼이나 다른 컨트롤의 외관(appearance)을 변경하는 것이다. 다른 실시형태에 있어서, 원격 제어 가능한 디바이스를 제어하기 위한 사용자 인터페이스의 적응화는 시각적 적응화 이외의 적응화를 포함할 수도 있다. 또 다른 실시형태에 있어서, 사용자 인터페이스는 비시각적일 수도 있다. 이러한 사용자 인터페이스는 본 명세서에서 설명한 시각 및/또는 청각 시스템을 통해 수신되는 것인, 음성 또는 제스처 등의 내추럴 사용자 입력(natural user input)에 전체 또는 일부가 의존할 수 있다.

이제 도 5에 되돌아가서, 일부 사용 시나리오에 있어서, 디바이스는 시스템에 액세스하고 있는 특정 사용자에 따라 상이하게 제어될 수 있다. 예컨대 어린아이가 게임 시스템이나 케이블 박스를 제어하는 것은 허용 가능하지만 어린아이가 서모스탯을 조정하는 것은 허용될 수 없다. 또한, 일부 사용자는 특정 디바스에 대해 더 간단한 사용자 인터페이스와 인터랙션하기를 선호할 수 있지만, 다른 사용자는 그 디바이스의 보다 완전한 제어를 희망할 수도 있다. 따라서, 컨트롤러 디바이스의 사용자 인터페이스를 적응시키는 상세한 방식은, 110에서, 106에서의 안면 인식에 의해 그리고/또는 다른 적절한 생체 식별 방법(예컨대, 음성 인식)으로 드러나는 사용자의 아이덴티티에 종속될 수 있다. 사용자의 얼굴이 어린아이의 얼굴로서 인식되면, 예컨대 시스템은 어떤 디바이스에 대한 UI의 표시를 억제하거나 간략화된 UI를 표시할 수 있다.

114에서, 사용자로부터의 입력이 컨트롤러 디바이스에서 수신된다. 컨트롤러 디바이스가 범용 리모컨 등의 적응 가능한 핸드헬드 디바이스인 실시형태에서는, 사용자 입력이 그 사용자가 작동하는 푸시버튼이나 다른 컨트롤을 통해 수신될 수 있다. 전술한 바와 같이, 이러한 컨트롤의 효과 및 가능하다면 외관은 110에서, 제어 대상으로 간주되는 특정 디바이스에 따라 적응될 수 있다. 예를 들어, 각각의 리모컨 버튼 상에 마련된 개별로 제어 가능한 스크린은 그 버튼의 현재 기능을 표시하도록 제어될 수 있다. 다른 비제한적인 실시형태에서는 사용자 입력이 손이나 신체 제스처의 형태로, 또는 시선의 형태로 수신될 수도 있다. 예를 들어, 사용자 인터페이스는 110에서, 디스플레이 상의 UI 엘리먼트의 집합을 표시하도록 적응될 수도 있다. 여기서, 디스플레이의 범위(confine) 내에서의 사용자 시선 방향은 적절한 UI 엘리먼트를 작동하여 원하는 액션을 호출하는데 이용될 수 있다. 116에서, 원격 제어 가능한 디바이스의 제어의 효과로, 수신된 입력에 기초하여 선택된 원격 제어 가능한 디바이스에 신호가 송신된다.

일부 시나리오에 있어서, 2개 이상의 원격 제어 가능한 디바이스가 동일한 트리거에 응답하여 동시에 제어될 수도 있다. 일례의 시나리오는 사용자가 영화를 스트리밍하고 있고 전화가 울림으로써 방해받고 있는 경우이며, 이 때 전화기는 사용자의 환경 내부의 위치에 있지만 사용자 근처에는 없다. 이 이벤트는 사용자가 울리는 전화기의 방향을 응시하여 전화기를 제1 제어 대상 디바이스로서 선택할 것을 촉구할 수 있다. 사용자가 자기 손을 들어 올리거나 "answer"라는 단어를 말한다면, 시스템은 다양한 방식으로 전화기의 원격 제어를 가능하게 할 수 있는데, 예컨대 전화기를 실내 오디오에 연결하고, 디스플레이 상에 UI를 표시하여 뮤트, 끊기(hang-up) 등이 가능하게 할 수 있다. 또한, 118에서, 시스템은 영화의 스트리밍을 자동으로 일시정지할 수도, 제2 원격 제어 가능한 디바이스, 예컨대 DVR이나 케이블 박스의 제어를 실행할 수도 있다. 이 예에서, 영화의 일시정지 작동은 디스플레이 상에 제2 사용자 인터페이스의 동시 표시를 수반할 수도 있다. 제2 사용자 인터페이스는 예컨대 비디오의 스트리밍을 정지 또는 재시작할 수 있는 옵션을 제공할 수 있다.

전술한 설명으로부터 명백한 바와 같이, 본 명세서에서 설명하는 방법과 프로세스는 하나 이상의 컴퓨팅 머신의 컴퓨팅 시스템에 결합될 수 있다. 이러한 방법과 프로세스는 컴퓨터 애플리케이션 프로그램이나 서비스, 애플리케이션 프로그래밍 인터페이스(API), 라이브러리, 및/또는 기타 컴퓨터 프로그램 제품으로서 구현될 수 있다.

도 2에서 간략한 형태로 도시하는 것은 본 명세서에서 설명하는 방법과 프로세스를 지원하는데 사용되는 컴퓨터 시스템(20)의 비제한적인 예이다. 컴퓨터 시스템은 로직 머신(120)과 명령어 저장 머신(122)을 포함한다. 컴퓨터 시스템은 디스플레이(16), 통신 시스템(124), 및 도 2에 도시하지 않은 다양한 구성요소도 포함한다.

각각의 로직 머신(120)은 명령어를 실행하도록 구성된 하나 이상의 물리적 디바이스를 포함한다. 예를 들어, 로직 머신은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조, 또는 기타 논리적 구성 중 부분인 명령어를 실행하도록 구성될 수 있다. 그러한 명령어는 태스크를 수행, 데이터 타입을 구현, 하나 이상의 컴포넌트의 상태를 변환, 또는 다른 방식으로 원하는 결과에 도달하도록 구현될 수 있다.

각각의 로직 머신(120)은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수 있다. 부가적으로 또는 대안적으로, 로직 머신은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 머신의 프로세서는 단일코어 또는 멀티코어일 수 있고, 거기에서 실행되는 명령어는 순차적, 병렬적, 및/또는 분산적 프로세싱에 맞게 구성될 수 있다. 로직 머신의 개별 구성요소들은 선택적으로, 2개 이상의 분리된 디바이스 사이에서 분산될 수 있으며, 이들 디바이스는 원격으로 배치되고/되거나 조정된 프로세싱에 맞게 구성될 수도 있다. 로직 머신의 양태들은 클라우드 컴퓨팅 구성으로 구성된 원격으로 액세스 가능한 네트워킹된 컴퓨팅 디바이스들에 의해 가상화 및 실행될 수 있다.

각각의 명령어 저장 머신(122)은 본 명세서에서 설명하는 방법과 프로세스를 구현하기 위해 연관된 로직 머신(120)에 의해 실행 가능한 데이터 및/또는 명령어를 유지하도록 구성된 하나 이상의 물리적 디바이스를 포함할 수 있다. 이러한 방법과 프로세스가 구현될 경우, 명령어 저장 머신의 상태는 예컨대, 상이한 데이터를 유지하도록 변형될 수 있다. 명령어 저장 머신은 분리형 및/또는 내장형 디바이스를 포함할 수 있으며, 그 머신은 무엇보다도, 광학 메모리(예, CD, DVD, HD-DVD, Blu-Ray 디스크 등), 반도체 메모리(예, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 명령어 저장 머신은 휘발성, 비휘발성, 다이내믹, 스태틱, 리드(read)/라이트(write), 리드 온리, 랜덤 액세스, 순차적 액세스, 로케이션 어드레서블(location-addressable), 파일 어드레서블, 및/또는 컨텐츠 어드레서블 디바이스를 포함할 수 있다.

각각의 명령어 저장 머신(122)이 하나 이상의 물리적 디바이스를 포함하는 것은 물론이다. 그러나, 한편 본 명세서에서 설명하는 명령어의 양태는 대안적으로, 유한의 기간 동안 물리적 디바이스에 의해 유지되지 않는 통신 매체(예, 전자기 신호, 광신호 등)에 의해 전파될 수도 있다.

로직 머신 및 명령저 저장 머신의 양태는 하나 이상의 하드웨어 로직 컴포넌트 내에 함께 통합될 수도 있다. 이러한 하드웨어 로직 컴포넌트는 예컨대 FPGA(field-programmable gate array), PASIC/ASIC(program- and application-specific integrated circuit), PSSP/ASSP(program- and application-specific standard product), SOC(system-on-chip), 및 CPLD(complex programmable logic device)를 포함할 수 있다.

용어 '모듈', '프로그램', 및 '엔진'은 특정 기능을 수행하도록 구현된 컴퓨터 시스템의 양태를 기술하기 위해 사용될 수 있다. 일부 경우에 있어서, 모듈, 프로그램 또는 엔진은 명령어 저장 머신에 의해 유지된 명령어를 실행하는 로직 머신을 통해 예시될 수 있다. 상이한 모듈, 프로그램 및/또는 엔진은 같은 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 예시될 수 있음은 물론이다. 마찬가지로, 같은 모듈, 프로그램 및/또는 엔진은 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 예시될 수도 있다. 용어 '모듈', '프로그램', 및 '엔진'은 실행 가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등의 개개 또는 그룹을 망라할 수 있다.

통신 시스템(124)은 컴퓨터 시스템을 하나 이상의 다른 머신과 통신 가능하게 연결하도록 구성될 수 있다. 통신 시스템은 하나 이상의 상이한 통신 프로토콜과 호환 가능한 유선 및/또는 무선 통신 디바이스를 포함할 수 있다. 비제한적인 예로서, 통신 시스템은 무선 전화 네트워크, 또는 유선이나 무선의 근거리 또는 원거리 네트워크를 통한 통신에 맞게 구성될 수 있다. 일부 실시형태에 있어서, 통신 시스템은 컴퓨팅 머신으로 하여금, 인터넷 등의 네트워크를 통해 다른 디바이스에 대해 메시지를 송수신하도록 할 수도 있다.

본 명세서에서 설명한 구성 및/또는 접근법은 사실상 예시적인 것이며, 이들 특정 실시형태 또는 예는 다수의 변형이 가능하기 때문에 제한적인 의미로 간주되지 않는 것으로 이해될 것이다. 본 명세서에서 설명한 특정 루틴 또는 방법은 임의 개의 프로세싱 전략 중 하나 이상을 나타낼 수 있다. 이 경우, 예시 및/또는 설명하는 다양한 단계들은 예시 및/또는 설명하는 순서로, 다른 순서로, 동시에 또는 생략되어 수행될 수 있다. 마찬가지로, 전술한 프로세스의 순서는 변경될 수 있다.

본 개시내용의 청구 대상은 여기에서 설명한 다양한 프로세스, 시스템과 구성, 및 기타 특징, 기능, 동작 및/또는 특성의 모든 신규하고 비명백한 조합 및 부분 조합을, 임의의 그리고 모든 그 균등물과 함께 포함한다.

Claims (13)

1. 시선 방향 검출기를 포함하는 컴퓨팅 시스템 상에서의 시선에 기반한 원격 디바이스 제어 방법에 있어서,
   상기 시선 방향 검출기로부터의 데이터를 통해 사용자의 시선 방향을 검출하는 단계와,
   사용자로부터 상기 시선 방향에 위치한 원격 제어 가능한 디바이스를 제어하기 위한 지시(indication)를 검출하는 단계와,
   상기 원격 제어 가능한 디바이스의 사용자 제어를 가능하게 하도록 컨트롤러 디바이스의 사용자 인터페이스를 적응시키는 단계와,
   시선 방향을 통해 상기 컨트롤러 디바이스의 사용자 인터페이스와 인터랙션하는 사용자로부터 입력을 수신하는 단계와,
   상기 원격 제어 가능한 디바이스를 제어하기 위해, 수신된 입력에 기초하여 상기 원격 제어 가능한 디바이스에 신호를 송신하는 단계
   를 포함하는 원격 제어 방법.
2. 제1항에 있어서, 상기 컨트롤러 디바이스는 사용자가 볼 수 있는 디스플레이를 포함하고, 상기 적응된 사용자 인터페이스는 상기 디스플레이 상에 표시되는 것인 원격 제어 방법.
3. 제1항에 있어서, 상기 원격 제어 가능한 디바이스를 제어하기 위한 지시는 상기 시선 방향에서의 드웰(dwell)을 포함하는 것인 원격 제어 방법.
4. 제1항에 있어서, 상기 원격 제어 가능한 디바이스를 제어하기 위한 지시는 발화(speech)를 포함하는 것인 원격 제어 방법.
5. 제1항에 있어서, 상기 원격 제어 가능한 디바이스를 제어하기 위한 지시는 제스처를 포함하는 것인 원격 제어 방법.
6. 제1항에 있어서, 사용자의 안면을 인식하는 단계를 더 포함하고, 상기 컨트롤러 디바이스의 상기 사용자 인터페이스는 인식된 안면에 기초하여 상이하게 적응되는 것인 원격 제어 방법.
7. 제1항에 있어서, 상기 컨트롤러 디바이스는 오락 시스템(entertainment system)을 포함하는 것인 원격 제어 방법.
8. 제1항에 있어서, 상기 컨트롤러 디바이스는 핸드헬드 디바이스를 포함하는 것인 원격 제어 방법.
9. 제1항에 있어서, 상기 원격 제어 가능한 디바이스는 제1 원격 제어 가능하 디바이스이고, 상기 방법은 하나 이상의 다른 원격 제어 가능한 디바이스를 동시에 제어하는 단계를 더 포함하는 것인 원격 제어 방법.
10. 시선에 기반한 원격 디바이스 제어 시스템에 있어서,
    명령어 저장 머신에 동작 가능하게 연결되는 로직 머신을 포함하고,
    상기 명령어 저장 머신은, 상기 로직 머신으로 하여금,
    시선 방향 검출기로부터의 데이터를 통해, 사용자로부터 결정된 시선 방향에 배치된 원격 제어 가능한 디바이스를 제어하기 위한 지시를 검출하게 하고,
    상기 원격 제어 가능한 디바이스와는 분리된 디스플레이 디바이스를 통해, 상기 원격 제어 가능한 디바이스의 사용자 제어를 가능하게 하도록 사용자 인터페이스를 표시하게 하며,
    사용자로부터 입력을 수신하게 하고,
    상기 원격 제어 가능한 디바이스를 제어하기 위해, 수신된 입력에 기초하여 상기 원격 제어 가능한 디바이스에 신호를 송신하게 하는
    명령어들을 유지하는 것인 원격 제어 시스템.
11. 제10항에 있어서, 상기 명령어들은 상기 디스플레이 외부의 위치(locus)를 향하는 시선을 검출함으로써 사용자로부터의 지시를 검출하도록 실행 가능한 것인 원격 제어 시스템.
12. 제10항에 있어서, 상기 명령어들은 상기 디스플레이 상의 위치를 향하는 시선을 검출함으로써 사용자로부터의 지시를 검출하도록 실행 가능한 것인 원격 제어 시스템.
13. 제10항에 있어서, 상기 디스플레이와 시선 방향 검출기는 상기 저장 머신 및 로직 머신과 함께 웨어러블 디바이스(wearable device) 내에 통합되는 것인 원격 제어 시스템.

Images