KR102104136B1

KR102104136B1 - Augmented reality overlay for control devices

Info

Publication number: KR102104136B1
Application number: KR1020130158799A
Authority: KR
Inventors: 아론 크라우스; 스티븐 라타; 마이크 스카브제; 다니엘 맥컬로치; 브라이언 마운트; 케빈 게이스너
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2013-12-18
Filing date: 2013-12-18
Publication date: 2020-05-29
Also published as: KR20150071594A

Abstract

제어 장치에 대한 교육용 정보를 제공하기 위한 실시예가 개시되어 있다. 일 실시예에서, 투과형 디스플레이 및 외향 이미지 센서를 포함하는 투과형 디스플레이 장치에 대한 방법은 투과형 디스플레이를 통해 보이는 장면의 이미지를 획득하는 단계 및 그 장면 내의 제어 장치를 감지하는 단계를 포함한다. 그 방법은 제어 장치의 쌍방향 요소의 기능에 관한 정보를 검색하는 단계 및 투과형 디스플레이상에 제어 장치의 쌍방향 요소의 외관을 쌍방향 요소의 기능과 관련된 이미지 데이터로 증강시키는 이미지를 표시하는 단계를 또한 포함한다.An embodiment for providing educational information about a control device is disclosed. In one embodiment, a method for a transmissive display device comprising a transmissive display and an outward image sensor includes acquiring an image of a scene visible through the transmissive display and sensing a control device within the scene. The method also includes retrieving information about the function of the interactive element of the control device and displaying on the transmissive display an image that enhances the appearance of the interactive element of the control device with image data related to the function of the interactive element. .

Description

제어 장치를 위한 증강 현실 오버레이{AUGMENTED REALITY OVERLAY FOR CONTROL DEVICES}Augmented Reality Overlay for Control Devices {AUGMENTED REALITY OVERLAY FOR CONTROL DEVICES}

제어 장치 사용 시, 사용자가 버튼과 같이 상호 작용을 하는 제어 장치의 요소들의 기능을 잘 모를 수 있다. 이러한 입력 기능에 대한 정보는 시행착오를 통하여, 웹 검색을 통하여, 스크린상의 매뉴얼을 통하여 또는 출력된 매뉴얼을 통하여 얻을 수 있다. 그러나, 이러한 방법들이 여의치 않는 경우가 있다. 예컨대, 어떤 제어 장치에 있어서는 온라인의 정보 또는 사용자 매뉴얼을 찾을 수 없거나, 이용할 수 없다. 나아가, 시행착오를 거치는 경우 제어 장치에서 제어 대상 장치로 원치 않는 명령이 전달될 수도 있다.
When using a control device, the functions of elements of the control device that the user interacts with, such as a button, may not be well understood. Information about this input function can be obtained through trial and error, through web search, through a manual on the screen, or through an output manual. However, there are cases where these methods are inconvenient. For example, in some control devices, online information or user manuals cannot be found or used. Furthermore, in the case of trial and error, an unwanted command may be transmitted from the control device to the control target device.

본원에 개시된 실시예는 투과형(see-through) 디스플레이 장치상의 제어 장치를 위한 교육용 정보 제공과 관련된 것이다. 예컨대, 일 실시예는 투과형 디스플레이를 통하여 보이는 장면의 이미지를 획득하는 단계, 상기 장면에서 제어 장치를 감지하는 단계, 상기 제어 장치의 쌍방향 요소의 기능과 관련된 정보를 검색하는 단계 및 상기 제어 장치의 쌍방향 요소의 외관(appearance)을 증강한 투과형 디스플레이 상에 상기 쌍방향 요소의 기능과 관련된 이미지 데이터와 함께 이미지를 디스플레이한다.Embodiments disclosed herein relate to providing educational information for a control device on a see-through display device. For example, one embodiment may include obtaining an image of a scene viewed through a transmissive display, detecting a control device in the scene, retrieving information related to the function of the interactive element of the control device, and interactive control of the control device. An image is displayed along with image data related to the function of the interactive element on a transmissive display that enhances the appearance of the element.

이 요약은 아래 기재된 발명의 상세한 설명을 단순화한 형식으로 본원의 개념 선택을 소개하는 것이다. 이 요약은 청구 대상의 주요 특징 또는 핵심 특징을 나타내고자 하는 것이 아니며, 청구 대상 발명의 범위를 한정하고자 하는 것도 아니다. 나아가, 청구 대상 발명은 이 명세서에 언급된 일부 또는 모든 난점을 해결하는 구현으로 한정되지 않는다.
This summary is an introduction to the concept selection herein in a simplified form that simplifies the detailed description of the invention described below. This summary is not intended to represent key features or key features of the claimed subject matter, nor is it intended to limit the scope of the claimed subject matter. Furthermore, the claimed invention is not limited to implementations that address some or all of the difficulties mentioned in this specification.

도 1은 제어 장치의 일 실시예를 포함하는 예시적인 물리적 공간을 개략적으로 나타낸다.
도 2는 본 발명의 일 실시예에 따른 투과형 디스플레이 장치의 예시적인 실시예를 나타낸다.
도 3은 도 2의 실시예의 블록 다이어그램을 나타낸다.
도 4a는 제어 장치의 다른 실시예를 나타낸다.
도 4b는 본 발명의 일 실시예에 따른 도 4a의 제어 장치의 예시적인 증강을 나타낸다.
도 5는 도 4a의 제어 장치의 다른 예시적인 증강을 나타낸다.
도 6a 내지 6c는 도 4a의 제어 장치의 예시적인 다단계 증강을 나타낸다.
도 7a는 제어 장치의 다른 실시예를 나타낸다.
도 7b는 도 7a의 제어 장치의 예시적인 증강을 나타낸다.
도 8a는 제어 장치의 다른 실시예를 나타낸다.
도 8b는 도 8a의 제어 장치의 예시적인 증강을 나타낸다.
도 9는 차량 계기판의 일 실시예의 예시적인 증강을 나타낸다.
도 10은 제어 장치의 일 실시예를 포함하는 다른 예시적인 물리적 공간을 개략적으로 나타낸다.
도 11은 투과형 디스플레이 장치를 통한 제어 장치의 교육용 정보의 제공 방법의 일 실시예를 나타내는 플로 차트다.
도 12는 투과형 디스플레이 장치로 제어 장치의 동작에 관한 교육용 정보를 제공하는 방법의 일 실시예를 나타내는 플로 차트다.
도 13은 컴퓨팅 시스템의 예시적인 실시예의 블록 다이어그램이다.1 schematically depicts an exemplary physical space including one embodiment of a control device.
2 shows an exemplary embodiment of a transmissive display device according to an embodiment of the present invention.
FIG. 3 shows a block diagram of the embodiment of FIG. 2.
4A shows another embodiment of a control device.
4B shows an exemplary enhancement of the control device of FIG. 4A according to one embodiment of the invention.
5 shows another exemplary augmentation of the control device of FIG. 4A.
6A-6C show exemplary multi-step enhancements of the control device of FIG. 4A.
7A shows another embodiment of a control device.
7B shows an exemplary enhancement of the control device of FIG. 7A.
8A shows another embodiment of a control device.
8B shows an exemplary enhancement of the control device of FIG. 8A.
9 shows an exemplary augmentation of an embodiment of a vehicle dashboard.
10 schematically shows another exemplary physical space including one embodiment of a control device.
11 is a flowchart illustrating an embodiment of a method for providing educational information of a control device through a transmissive display device.
12 is a flowchart illustrating an embodiment of a method for providing educational information about the operation of a control device with a transmissive display device.
13 is a block diagram of an exemplary embodiment of a computing system.

상기 기재된 바와 같이, 제어 장치의 사용자는 제어 장치 상의 상호 작용 요소의 기능에 대한 정보를 얻고자 한다. 따라서, 본원에 기재된 실시예는 투과형 디스플레이 장치를 통하여 이러한 정보를 제공하는 것에 관련된다. 예컨대, 아래 구체적으로 기재되어 있듯이, 투과형 디스플레이 장치는 제어 장치의 쌍방향 요소의 기능에 대한 정보를 제어 장치의 사용자의 시야 상에 디스플레이되는 증강 현실 이미지로 제공하도록 구성된다.As described above, the user of the control device wants to obtain information about the function of the interaction elements on the control device. Accordingly, the embodiments described herein relate to providing such information through a transmissive display device. For example, as specifically described below, the transmissive display device is configured to provide information about the function of the interactive element of the control device as an augmented reality image displayed on the user's field of view of the control device.

도 1은 제어 장치(102)를 포함하는 물리적 공간(100)의 예시적인 실시예를 나타내며, 사용자(104)가 제어 장치(102)와 상호 작용하여 연관된 컴퓨팅 장치(106)를 제어하는 것을 보여준다. 이러한 예시는 제한적인 것이 아니며, 제어 장치(102)는 비디오 게임 제어기일 수 있으며, 컴퓨팅 장치(106)는 비디오 게임 콘솔일 수 있다. 제어 장치와 이와 연관된 컴퓨팅 장치의 다른 예시로는 키보드 및 PC의 다른 입력 장치들, 오디오/비디오 장치를 위한 원격 제어들, 차량을 위한 계기판 제어, TV를 위한 원격 제어, 키오스크(kiosk)를 위한 다른 전자 아이템 키패드 등이 있으나, 이들로 한정되는 것은 아니다. 1 shows an exemplary embodiment of a physical space 100 that includes a control device 102 and shows that the user 104 interacts with the control device 102 to control the associated computing device 106. This example is not limiting, the control device 102 can be a video game controller, and the computing device 106 can be a video game console. Other examples of control devices and associated computing devices include keyboards and other input devices on PCs, remote controls for audio / video devices, dashboard controls for vehicles, remote controls for TVs, and other for kiosks. Electronic item keypads, and the like, but are not limited to these.

사용자(104)는 제어 장치(102)를 투과형 디스플레이 장치를 통하여 볼 수 있으며, 이러한 실시 예는(108)로 도시되어 있다. 묘사된 투과형 디스플레이 장치(108)는 사용자(104)의 두 손이 자유롭게 다른 객체 (예컨대, 제어 장치(102))와 상호 작용 가능하도록 하는 헤드 마운트 디스플레이(HMD)의 형식을 취한 것이다. 투과형 디스플레이 장치(108)은 사용자(104)에게 물리적 공간(100)의 외관의 시각적인 정보 증강이 가능하도록 구성된 투과형 디스플레이 시스템을 포함한다. 다시 말하면, 투과형 디스플레이는 물리적 공간(100)으로부터 나온 빛이 투과형 디스플레이를 통과하도록 하여, 사용자(104)가 실제 물리적 공간(100)을 직접적으로 보면서, 동시에 실제 물리적 공간(100)으로 오버레이된 하나 이상의 가상 객체를 볼 수 있도록 한다. The user 104 can view the control device 102 through a transmissive display device, and this embodiment is shown at 108. The transmissive display device 108 depicted is in the form of a head mounted display (HMD) that allows two hands of the user 104 to freely interact with other objects (eg, the control device 102). The transmissive display device 108 includes a transmissive display system configured to allow the user 104 to visually enhance the visual appearance of the physical space 100. In other words, the transmissive display allows light from the physical space 100 to pass through the transmissive display, allowing the user 104 to directly look at the real physical space 100 and at the same time overlay one or more overlaid with the real physical space 100. Make the virtual object visible.

제한적이지 않은 일 실시예에서, 사용자(104)의 시선(110)이 제어 장치(102)를 곧바로 향할 때, 투과형 디스플레이 장치(108)는 제어 장치의 하나 이상의 기능에 대한 정보의 형식으로 하나 이상의 가상 객체를 디스플레이한다. 디스플레이된 정보는 적절한 방식으로 취득된다. 예컨대, 디스플레이된 정보는 컴퓨팅 장치(106)로부터, 네트워크(110)를 통하여 원격 컴퓨팅 장치(107)로부터(원격 제어 장치는 제어 장치 기능에 대한 정보를 저장한 데이터베이스(107a)와 통신함), 또는 제어 장치(102) 등으로부터 수신된다. In one non-limiting embodiment, when the user's 104 gaze 110 is directed directly at the control device 102, the transmissive display device 108 may be configured with one or more virtual in the form of information about one or more functions of the control device. Display the object. The displayed information is acquired in an appropriate manner. For example, the displayed information is from the computing device 106, from the remote computing device 107 via the network 110 (the remote control device communicates with the database 107a storing information about the control device function), or It is received from the control device 102 or the like.

본원 발명에 따른 투과형 디스플레이 장치는 도 1의 헤드 마운트 투과형 디스플레이 장치(108)와 같은 HMD (head mounted device)로 구현가능하나 그 구현 방식을 한정하는 것은 아니며, 다른 어떤 적절한 형식으로도 구현 가능하다. 도 2는 투과형 디스플레이 시스템(200)을 포함하는 투과형 디스플레이 장치(108)의 예시적인 실시예를 나타내며, 도 3은 투과형 디스플레이 시스템(200)의 블록 다이어그램을 나타낸다. The transmissive display device according to the present invention may be implemented as a head mounted device (HMD) such as the head mounted transmissive display device 108 of FIG. 1, but the implementation is not limited, and may be implemented in any other suitable format. 2 shows an exemplary embodiment of a transmissive display device 108 that includes a transmissive display system 200, and FIG. 3 shows a block diagram of the transmissive display system 200.

투과형 디스플레이 시스템(200)은 투과형 디스플레이 서브시스템(204)의 일 부분을 구성하는 하나 이상의 렌즈(202)를 포함하며, 이미지들은 렌즈(202) 상에 투영되거나 렌즈에 병합된 투과형 이미지 생성 요소 (예컨대, 투명 OLED 디스플레이)에 의하여 생성된다. 투과형 디스플레이 시스템(200)은 사용자가 보는 배경 장면 및/또는 물리적 공간의 이미지를 취득하도록 구성된 하나 이상의 외향 이미지 센서(outward-facing image sensor)(206)를 더 포함하며, 사용자의 음성 명령과 같은 소리를 감지하는 하나 이상의 마이크(208)도 포함할 수 있다. 외향 이미지 센서(206)는 하나 이상의 깊이 센서 및/또는 하나 이상의 2차원 이미지 센서를 포함할 수 있다. The transmissive display system 200 includes one or more lenses 202 that form part of the transmissive display subsystem 204, wherein the images are projected onto the lens 202 or incorporated into the transmissive image generating element (eg , Transparent OLED display). The transmissive display system 200 further includes one or more outward-facing image sensors 206 configured to acquire an image of the background scene and / or physical space viewed by the user, and sounds such as voice commands of the user One or more microphones 208 for sensing may also be included. The outward image sensor 206 may include one or more depth sensors and / or one or more two-dimensional image sensors.

투과형 디스플레이 시스템(200)은 기재된 바와 같이 사용자의 눈 각각의 시선 방향을 감지하도록 구성된 시선 감지 서브시스템(210)을 더 포함할 수 있다. 시선 감지 서브시스템(210)은 적절한 방법으로 사용자의 눈 각각의 시선 방향을 결정하도록 구성된다. 예컨대, 묘사된 실시예에서 시선 감지 서브시스템(210)은 적외선 광 소스와 같은 하나 이상의 글린트 소스(glint source)와 내향 센서(inward-facing sensor)와 같은 하나 이상의 이미지 센서(214)를 포함하며, 상기 글린트 소스는 사용자의 안구 각각으로부터 반사된 빛의 글린트를 일으키도록 구성되고, 상기 이미지 센서는 사용자의 안구 각각의 이미지를 수집한다. 이미지 센서(214)를 통하여 모여진 이미지 데이터로부터 판정된 사용자의 안구로부터의 글린트 내의 변경을 사용하여 시선 방향을 결정할 수 있다. 나아가, 사용자로부터 투영된 시선이 외부 디스플레이와 교차하는 위치를 이용하여 사용자가 바라보는 객체 (예컨대, 외부 디스플레이 상에 디스플레이된 가상 객체)를 결정할 수 있다. 시선 감지 서브시스템(210)은 적절한 수의 광 소스와 이미지 센서를 적절히 배열하여 구현된다. The transmissive display system 200 may further include a gaze sensing subsystem 210 configured to sense the gaze direction of each of the user's eyes as described. The gaze detection subsystem 210 is configured to determine the gaze direction of each of the user's eyes in an appropriate manner. For example, in the depicted embodiment, the gaze sensing subsystem 210 includes one or more glint sources, such as an infrared light source, and one or more image sensors 214, such as an inward-facing sensor. , The glint source is configured to cause a glint of light reflected from each of the user's eyes, and the image sensor collects an image of each of the user's eyes. The gaze direction may be determined using a change in the glint from the user's eye determined from the image data collected through the image sensor 214. Furthermore, an object viewed by the user (eg, a virtual object displayed on the external display) may be determined using a position where the gaze projected from the user intersects the external display. The gaze detection subsystem 210 is implemented by properly arranging an appropriate number of light sources and image sensors.

투과형 디스플레이 시스템(200)은 추가적인 센서를 더 포함할 수 있다. 예컨대, 투과형 디스플레이 시스템(200)은 투과형 디스플레이 시스템(200)의 위치를 결정하기 위하여 위성 위치확인 서브시스템 (GPS 서브시스템)(216)을 포함할 수 있다. 예컨대, 투과형 디스플레이 시스템(200)의 위치는 사용자의 시선 필드 내의 제어 장치를 식별하기 위하여 사용될 수 있다. The transmissive display system 200 may further include an additional sensor. For example, the transmissive display system 200 can include a satellite positioning subsystem (GPS subsystem) 216 to determine the location of the transmissive display system 200. For example, the location of the transmissive display system 200 can be used to identify a control device within a user's gaze field.

투과형 디스플레이 시스템(200)은 사용자가 투과형 디스플레이 시스템(200)을 착용 중인 때 사용자의 머리의 움직임을 검지하는 하나 이상의 모션 센서(218)를 포함할 수 있다. 모션 데이터는 시선 감지를 위하여 시선 감지 글린트 데이터 및 외향 이미지 데이터와 함께 잠재적으로 사용 가능하며, 나아가 외향 이미지 센서(206)로부터의 이미지 내의 흐릿한 부분을 수정하는 이미지 안정화 (image stabilization)를 위하여도 사용 가능하다. 모션 데이터의 사용은 외향 이미지 센서(206)로부터의 이미지 데이터가 분석 불가능한 경우에도 검지될 시선 위치의 변경을 허용한다. 마찬가지로, 모션 센서(218), 마이크(208) 및 시선 감지 서브시스템(210)은 사용자 입력 장치로도 사용가능하며, 사용자는 음성 명령은 물론이고 눈, 목 및/또는 머리를 사용한 제스쳐를 통하여 투과형 디스플레이 시스템(200)과 쌍방향할 수 있다. 이는 예시적인 목적으로 도시된 도 2 및 도 3에 묘사된 센서로부터 이해가능하며, 다른 어떠한 적절한 센서 및/또는 센서의 조합 역시 사용가능하다. The transmissive display system 200 may include one or more motion sensors 218 that detect the movement of the user's head when the user is wearing the transmissive display system 200. Motion data can potentially be used with gaze detection glint data and outward image data for gaze detection, and also used for image stabilization that corrects blurry areas in the image from the outward image sensor 206. It is possible. The use of motion data allows for a change in the gaze position to be detected even when the image data from the outward image sensor 206 is not analyzeable. Similarly, the motion sensor 218, the microphone 208 and the gaze detection subsystem 210 can also be used as a user input device, and the user can transmit through voice commands as well as gestures using the eyes, neck and / or head. It can be interactive with the display system 200. This is understood from the sensors depicted in FIGS. 2 and 3 shown for illustrative purposes, and any other suitable sensor and / or combination of sensors may also be used.

투과형 디스플레이 시스템(200)은 센서와 통신하는 로직 서브시스템(222)과 데이터 홀딩 서브시스템(224)을 포함하는 제어부(220), 시선 감지 서브시스템(210) 및 투과형 디스플레이 서브시스템(204)을 포함한다. 데이터 홀딩 서브시스템은 로직 서브시스템(222)에 의하여 실행가능한 명령어들을 저장하며, 상기 명령어들은 예컨대, 센서로부터 입력을 수신하고 이를 해석하며, (예컨대, 통신 서브시스템(226)을 통하여 제어 장치, 제어 장치에 의하여 제어되는 컴퓨팅 장치 또는 다른 컴퓨팅 장치와 통신하여) 사용자가 응시하는 위치의 제어 장치 및/또는 컴퓨팅 장치의 존재를 인식하고 이를 식별하고, 제어 장치 및/또는 컴퓨팅 장치에 대한 정보를 수신하고 이를 투과형 디스플레이 서브시스템(204), 하나 이상의 스피커(228) 및/또는 다른 출력 장치를 통하여 나타낸다. The transmissive display system 200 includes a control unit 220 including a logic subsystem 222 and a data holding subsystem 224 in communication with a sensor, a gaze detection subsystem 210 and a transmissive display subsystem 204. do. The data holding subsystem stores instructions executable by the logic subsystem 222, which, for example, receives input from the sensor and interprets it, eg, a control device, control via the communication subsystem 226 Recognizes and identifies the presence of a control device and / or computing device at a location where a user gazes, in communication with a computing device or other computing device controlled by the device, receives information about the control device and / or computing device, and This is shown through the transmissive display subsystem 204, one or more speakers 228 and / or other output devices.

묘사된 투과형 디스플레이 장치(108)는 예시의 목적으로 도시된 것이며 이를 한정하는 것은 아니다. 따라서, 투과형 디스플레이 장치는 본 발명의 범위를 크게 벗어나지 않는 한 추가적인 및/또는 대체적인 센서, 카메라, 마이크, 입력 장치, 출력 장치 등을 포함가능하다는 것을 알 수 있을 것이다. 나아가, 투과형 디스플레이 장치의 물리적인 구성 및 이의 다양한 센서 및 서브 구성요소는 본 발명의 범위를 크게 벗어나지 않는 한 다양한 다른 형식을 취할 수 있다. The depicted transmissive display device 108 is shown for illustrative purposes and is not limiting. Accordingly, it will be appreciated that the transmissive display device can include additional and / or alternative sensors, cameras, microphones, input devices, output devices, etc., without departing significantly from the scope of the present invention. Furthermore, the physical configuration of the transmissive display device and its various sensors and sub-components can take on a variety of different formats without departing greatly from the scope of the present invention.

도 4a를 보면, 예시적인 제어 장치가 비디오 게임 제어기로 도시되어 있다. 비디오 게임 제어기(400)는 하나 이상의 쌍방향 요소(402) (이 중 두 개가 402a, 402b임)를 포함할 수 있다. 쌍방향 요소(402)는 눌리면 비디오 게임 콘솔 (도 4a에 도시되지 않음) 상에서 실행중인 비디오 게임 애플리케이션으로 명령을 전달하는 사용자 작동가능 하드웨어 버튼 (user-actuatable hardware button)일 수 있으나, 예시를 제한하는 것은 아니다. 쌍방향 요소(402)는 조이 스틱(joystick), 방향제어 패드(directional pad), 소프트웨어 버튼, 터치 감응식 입력 장치, 다이얼, 트리거, 스위치(knob), 모션 센서 등을 포함할 수도 있다. 쌍방향 요소(402)의 묘사된 배열은 예시의 목적으로 도시된 것으로, 비디오 게임 제어기(400)는 다른 어떠한 적절한 수, 배열, 형식의 쌍방향 요소를 포함할 수 있다. 4A, an exemplary control device is shown as a video game controller. The video game controller 400 can include one or more interactive elements 402 (two of which are 402a, 402b). The interactive element 402 can be a user-actuatable hardware button that, when pressed, passes commands to the video game application running on the video game console (not shown in FIG. 4A), but limiting the example no. The interactive element 402 may also include a joystick, directional pad, software button, touch-sensitive input device, dial, trigger, switch, motion sensor, and the like. The depicted arrangement of interactive elements 402 is shown for purposes of illustration, and video game controller 400 may include any other suitable number, arrangement, type of interactive elements.

도 4b는 투과형 디스플레이 장치를 통하여 비디오 게임 제어기(400)를 보는 사용자의 시각으로부터의 비디오 게임 제어기(400)를 도시한 것이다. 파선(404)은 투과형 디스플레이 장치의 시야의 예시적인 필드를 나타낸다. 투과형 디스플레이 장치를 통하여 볼 때의 쌍방향 요소의 외관은 쌍방향 요소의 하나 이상의 기능과 연관된 정보를 제공하기 위하여 증강된다. 도 4b에서, 이러한 증강은 제어 장치의 쌍방향 요소를 오버레이하는 이미지(406)로 도시되었다. 이미지(406) 각각은 ---를 제공한다. FIG. 4B shows the video game controller 400 from the user's perspective viewing the video game controller 400 through a transmissive display device. Dashed line 404 represents an exemplary field of view of the transmissive display device. The appearance of the interactive element as viewed through the transmissive display device is enhanced to provide information associated with one or more functions of the interactive element. In FIG. 4B, this augmentation is shown as an image 406 overlaying the interactive element of the control device. Each of the images 406 provides ---.

임의의 적절한 정보가 쌍방향 요소(interactive elements)를 오버레이하는 이미지들에 표시될 수 있다. 도시된 실시예에서, 이미지들(406)의 일부는 이미지 아래에 위치한 쌍방향 버튼과 연관된 공격 유형 또는 무기의 그래픽 표현을 포함한다. 예컨대, 406a에 표시된 바와 같이, 검에 대한 그래픽 표현은, 관련 버튼을 누르는 것이 사용자로 하여금 게임 애플리케이션 상에서 검 공격을 수행할 수 있도록 한다는 점을 알려줄 수 있다. 이미지들(406)은 추가적으로 또는 대안적으로 텍스트를 포함할 수도 있다. 예컨대, 406b에 표시된 바와 같이, 단어 "이동"은, 조이스틱(402b)과 연관된 상호작용이 사용자로 하여금 비디오 게임 애플리케이션의 캐릭터를 다양한 방향으로 이동시킬 수 있도록 한다는 점을 알려줄 수 있다. Any suitable information can be displayed in images overlaying interactive elements. In the illustrated embodiment, some of the images 406 include a graphical representation of the type of attack or weapon associated with the interactive button located below the image. For example, as shown at 406a, a graphical representation of the sword may indicate that pressing the relevant button allows the user to perform a sword attack on the game application. Images 406 may additionally or alternatively include text. For example, as indicated at 406b, the word “move” may indicate that the interaction associated with joystick 402b allows the user to move the character of the video game application in various directions.

도 4b에 표시되고 앞서 설명된 이미지들은 예시적인 목적으로 제시되었으며, 임의의 적합한 그래픽 표현이 표시되어 비디오 게임 컨트롤러(400)의 쌍방향 요소(402)에 관한 정보를 제공할 수 있다는 점이 이해될 것이다. 예를 들어, 이미지들에는 아이콘, 그림, 비디오 등이 포함될 수 있으며, 이들은 비디오 게임 컨트롤러의 쌍방향 요소에 관한 정보를 제공한다. 또한, 이미지들은 쌍방향 요소(402)에 관련된 오디오 또는 비디오 클립의 존재를 나타낼 수도 있다. 이러한 실시예에서, 사용자는 플레이 백을 시작하기 위해 오디오 또는 비디오 클립을 선택할 수 있으며, 또는 오디오 또는 비디오 클립이 자동으로 시작할 수도 있다.It will be appreciated that the images shown in FIG. 4B and described above have been presented for illustrative purposes, and that any suitable graphical representation may be displayed to provide information about the interactive element 402 of the video game controller 400. For example, images may include icons, pictures, videos, etc., which provide information about the interactive elements of the video game controller. In addition, images may indicate the presence of an audio or video clip related to interactive element 402. In this embodiment, the user can select an audio or video clip to start playback, or the audio or video clip may start automatically.

도 5는 도 4a의 제어 장치의 또 다른 예시적인 증강(augmentation)을 보여준다. 도시된 실시예에서, 이미지들(506)은 텍스트-기반 플라이-아웃(fly-outs) 또는 도구들(tooltips)의 형식을 취한다. 이러한 플라이-아웃 또는 도구들은 관련 쌍방향 요소 및/또는 임의의 기타 적절한 정보를 설명하는 텍스트 정보를 가지는 텍스트 상자들을 포함할 수 있다. 다른 예로서, 아이콘, 그림, 애니메이션, 비디오가 포함될 수 있으나, 이에 제한되는 것은 아니다. 5 shows another exemplary augmentation of the control device of FIG. 4A. In the illustrated embodiment, images 506 take the form of text-based fly-outs or tooltips. Such fly-outs or tools may include text boxes with text information describing the relevant interactive element and / or any other suitable information. As another example, icons, pictures, animations, and videos may be included, but are not limited thereto.

일부 실시예에서, 비디오 게임 컨트롤러(400)가 제어하고 있는 애플리케이션은 게임 중에 상태를 변경할 수 있다. 이러한 상태 변경은 비디오 게임 컨트롤러(400)의 쌍방향 요소들의 기능에 영향을 줄 수 있다. 예컨대, 쌍방향 요소들은 서로 다른 게임 장면에서 서로 다른 기능을 가질 수도 있다. 유사하게, 단일 장면에서조차, 단일로 작동하는 경우와 다른 제어와 함께 조합되어 작동하는 경우에 따라 하나의 쌍방향 요소가 서로 다른 기능을 가질 수도 있다. 한 게임에서 다른 게임으로의 변경은, 비디오 게임 컨트롤러(400)의 쌍방향 요소들의 기능에 영향을 주는 상태 변경의 또 다른 예시이다. In some embodiments, applications controlled by the video game controller 400 may change state during the game. This state change can affect the function of the interactive elements of the video game controller 400. For example, interactive elements may have different functions in different game scenes. Similarly, even in a single scene, one interactive element may have different functions depending on when it is operated singly and in combination with other controls. The change from one game to another is another example of a state change affecting the functionality of the interactive elements of the video game controller 400.

이에 따라, 투과형 디스플레이 장치는 이러한 상태 변경에 응답하여 증강 이미지(augmenting imagery)를 변경함으로써, 쌍방향 요소의 현재 기능들이 올바르게 표시되도록 할 수 있다. 일부 실시예에서, 이러한 갱신은 에니메이션화 될 수 있고, 다른 구현예에서 임의의 다른 적절한 변환이 이용될 수도 있다. Accordingly, the transmissive display device may change the augmenting imagery in response to such a change in state, so that the current functions of the interactive element are correctly displayed. In some embodiments, such updates may be animated, and in other implementations any other suitable transformation may be used.

이미지 증강은 멀티-단계 입력을 어떻게 수행할지에 대해 설명하고, 이를 명령하기 위해 이용될 수 있다. 도 6a 내지 6c는 이러한 증강에 대한 디스플레이의 예시적인 실시예를 보여준다. 도 6a에 도시된 바와 같이, 플라이-아웃(608)이 표시되고, 이는 (예컨대, 특정 순서의 사용자 입력들, 게임 애플리케이션에서의 특정 가상 위치로의 입장, 게임 애플리케이션에서의 새로운 가상 아이템을 획득으로 인한) 특수한 공격이 이용가능함을 나타낸다.Image enhancement describes how to perform multi-step input and can be used to command it. 6A-6C show exemplary embodiments of displays for this enhancement. As shown in FIG. 6A, a fly-out 608 is displayed, such as (e.g., user input in a particular order, entry to a specific virtual location in the game application, acquisition of a new virtual item in the game application) Indicates that a special attack is available.

플라이-아웃(608)을 표시한 이후, 도 6b에 도시된 바와 같이, 투과형 디스플레이 장치는 멀티-단계 입력에서의 다음 단계를 보여줄 수 있다. 일부 실시예에서, 다음 단계에 대한 설명은 첫 번째 프레임(예컨대, 도 6a에 도시된 프레임)이 표시되고 소정의 시간이 지난 후에 자동으로 표시된다. 다른 실시예에서는, 다음 단계에 대한 설명이 사용자 동작이 있은 후에 표시될 수 있으며, 가령, 쌍방향 요소를 작동시킴(예컨대, 버튼을 누름), 해당 요소로의 응시를 지시(directing a gaze to the element), 음성 명령을 제공함, 제스처를 수행함 등이 있다. After displaying the fly-out 608, as shown in FIG. 6B, the transmissive display device can show the next step in multi-step input. In some embodiments, the description of the next step is displayed automatically after the first frame (eg, the frame shown in FIG. 6A) is displayed and after a predetermined time. In other embodiments, a description of the next step may be displayed after a user action, such as activating an interactive element (eg, pressing a button), directing a gaze to the element ), Providing voice commands, and performing gestures.

도 6b는 멀티-단계 입력 중 두 번째 단계에 대한 디스플레이를 나타낸다. 이 단계에서, 화살표(610)가 표시되고, 이는 사용자로 하여금 좌측 조이스틱을 시계 반대 방향으로 원형 이동시키라고 지시한다. 일부 실시예에서, 화살표(610) 및/또는 좌측 조이스틱 상에 표시되는 임의의 증강은 애니메이션화되어 동작이 입력 조합의 일 단계에 포함되어 있다는 추가 지시를 제공할 수 있다. 계속해서, 도 6c는, 특정 쌍방향 요소(402)를 누르는 것을 지시하는 흐려진 오버레이 이미지(612)로서, 멀티-단계의 입력 중 최종 단계에 대한 디스플레이를 도시한다. 6B shows the display for the second step of the multi-step input. At this stage, an arrow 610 is displayed, which instructs the user to circularly move the left joystick counterclockwise. In some embodiments, any augmentation displayed on the arrow 610 and / or the left joystick may be animated to provide additional indication that the action is included in one step of the input combination. Continuing, FIG. 6C shows the display for the final step of the multi-step input as a blurred overlay image 612 that instructs a particular interactive element 402 to be pressed.

각 단계 및/또는 멀티-단계 입력에 대한 추가적인 정보가 기타 이미지 증강을 통해 표시될 수 있다. 예를 들어, 도 6c에서, 플라이-아웃(614)은 애니메이션 및/또는 입력 조합에 대한 추가적인 정보를 표시하는 비활성화 가능한 (retractable) 텍스트 상자 확장(616)을 포함한다. 도시된 실시예에서, 텍스트 상자 확장(616)은 특수한 공격의 예시적인 실행을 보여주는 비디오로의 하이퍼링크를 포함할 수 있다. 다른 실시예에서, 텍스트 상자 확장(616)은 특수한 공격을 수행하기 위한 하나 이상의 추가적인 명령, 추가적인 공격에 관련된 임베디드된 비디오 또는 오디오 클립을 포함할 수도 있다. 일부 실시예에서, 이러한 텍스트 상자 확장(616)은 플라이-아웃(614)과 연관된 대응 제어의 선택에 기초하여 확장되거나 비활성화될 수 있다. Additional information for each step and / or multi-step input may be displayed through other image enhancements. For example, in FIG. 6C, fly-out 614 includes a retractable text box extension 616 that displays additional information about the animation and / or input combination. In the illustrated embodiment, text box extension 616 may include a hyperlink to a video showing an exemplary execution of a special attack. In other embodiments, text box extension 616 may include one or more additional commands to perform a special attack, embedded video or audio clips related to the additional attack. In some embodiments, this text box expansion 616 may be expanded or deactivated based on the selection of the corresponding control associated with fly-out 614.

도 7a는 복수의 키들(702)을 가지는 키보드(700)의 형태로 제어 장치의 또 다른 예시적인 실시예를 보여준다. 키들(702)은 물리적 버튼 또는 터치-민감성 입력 장치상의 소프트웨어-기반 "소프트 키"일 수 있다. 하나 이상의 키들(702)은 제어되고 있는 특정 애플리케이션 및 컴퓨팅 장치 등에 따라 서로 다른 기능을 가질 수 있다. 예를 들어, 일부 사용에서, 키(702a)는 키보드(700)의 제어키가 될 수 있고, 키들(702b)은 키보드(700)의 문자키들이 될 수 있으며, 키들(702c)은 키보드(700)의 방향키들이 될 수 있다.7A shows another exemplary embodiment of a control device in the form of a keyboard 700 having a plurality of keys 702. The keys 702 can be physical buttons or software-based "soft keys" on a touch-sensitive input device. The one or more keys 702 may have different functions depending on the specific application and computing device being controlled. For example, in some uses, the key 702a can be the control key of the keyboard 700, the keys 702b can be the character keys of the keyboard 700, and the keys 702c are the keyboard 700 ).

다른 사용에서, 이러한 키들은 다른 기능을 가질 수 있다. 예컨대, 문자키들(702b)이 비디오 게임에서 방향키로 이용될 수 있다. 따라서, 도 7b는 키보드(700)의 예시적인 증강을 이러한 다른 기능에 대한 정보를 제공하는 증강 이미지와 함께 보여준다. 예를 들어, 제어키(702a)상의 "CTRL" 표시는 "RUN"과 같은 오버레이 텍스트를 표시하기 위해 보이지 않을 수 있다. 유사하게, "W", "A", "S", 및 "D" 키들(702b)은 방향키들(702c)과 동일한 색 오버레이를 가질 수 있고, 이는 이러한 키들이 방향키들과 같은 관련 기능(예컨대, 상, 좌, 하, 우)을 가진다는 것을 알려준다. 이미지 증강은 아래에 있는 키보드 표시를 완전히 보이지 않게 할 수도 있고, 아니면 부분적으로 투명하게 하여 아래에 있는 키보드 표시가 보일 수 있도록 남겨둘 수도 있다. 이미지 증강의 이러한 구체적인 실시예들은 예를 위해 제시되는 것이며, 어떠한 방식으로도 제한을 위해 의도된 것이 아니고, 기타 임의의 적절한 이미지 증강이 이용될 수 있다는 점이 이해될 것이다. In other uses, these keys may have different functions. For example, character keys 702b may be used as a direction key in a video game. Thus, FIG. 7B shows an exemplary augmentation of the keyboard 700 along with an augmented image that provides information about these other functions. For example, the indication "CTRL" on the control key 702a may not be visible to indicate overlay text such as "RUN". Similarly, the "W", "A", "S", and "D" keys 702b can have the same color overlay as the direction keys 702c, which means that these keys have the same function as the direction keys (eg , Top, left, bottom, right). Image augmentation can make the keyboard display below completely invisible, or can be partially transparent to leave the keyboard display below visible. It will be understood that these specific embodiments of image enhancement are presented for purposes of example, and are not intended to be limiting in any way, and any other suitable image enhancement may be used.

이미지 증강은 또한 하나 이상의 사용자 선호에 의해 제어가능할 수 있다. 예를 들어, 사용자는 이미지가 증강될 때 사용을 위해 설정되는 언어 및/또는 캐릭터를 선택할 수 있다. 이러한 설정은 또한 선호되는 언어로 되어 있지 않은 투과형 디스플레이 장치에 의해 감지된 임의의 텍스트를 자동으로 번역하기 위해 이용될 수 있다. 사용자 선호는 또한 색 오버레이를 위해 이용되는 색 스킴(color schemes) 및/또는 선호 색 또는 다른 증강 이미지를 선택하기 위해 이용될 수 있다. 예를 들어, 색맹(color blind) 모드는 색을 보는데 결함이 있는 사용자에 의해 감지가능한 색의 변화를 표시하기 위해 선택될 수 있다. 이러한 실시예들은 예시를 위해 제시되는 것이고 사용자 선호는 이미지 증강의 임의의 적절한 형태를 제어하기 위해 이용될 수 있다는 점이 이해될 것이다. Image enhancement may also be controllable by one or more user preferences. For example, the user can select a language and / or character set for use when the image is augmented. This setting can also be used to automatically translate any text detected by a transmissive display device that is not in the preferred language. User preferences can also be used to select color schemes and / or preferred colors or other augmented images used for color overlay. For example, a color blind mode can be selected to indicate a change in color that is detectable by a user who is defective in viewing the color. It will be understood that these embodiments are presented for illustrative purposes and user preferences can be used to control any suitable form of image enhancement.

도 8a는 텔레비전, 오디오 수신기, 멀티미디어 장치 등에 사용자 입력을 제공하기 위해 이용가능한 리모트 컨트롤(800)의 형태로 제어 장치의 또 다른 실시예를 도시한다. 이러한 리모트 컬트롤 장치(800)는 버튼(802)과 같이, 복수의 사용자-작동가능한 쌍방향 요소들을 포함할 수 있고, 이들은 제어중인 컴퓨팅 장치, 제어중인 애플리케이션, 제어중인 애플리케이션의 상태 등에 따라 서로 다른 기능을 가질 수 있다. 8A shows another embodiment of a control device in the form of a remote control 800 available for providing user input to a television, audio receiver, multimedia device, and the like. Such a remote cult control device 800 may include a plurality of user-operable interactive elements, such as button 802, which have different functions depending on the computing device being controlled, the application being controlled, the state of the application being controlled, and the like. Can have

도 8b는 투과형 디스플레이 장치를 통해 리모트 컨트롤 장치(800)상에 표시되는 이미지 증강의 예시를 보여준다. 도 8b에 도시된 바와 같이, 버튼들(802)은 리모트 컨트롤 장치(800)의 버튼들의 기능과 관련된 정보를 표시하는 증강 이미지들(804, 806, 808)과 함께 증강된다. 예컨대, 리모트 컨트롤 장치(800)는 제어되는 서로 다른 장치에 대응하는 복수의 모드를 가질 수 있다. 따라서, 도시된 바와 같이, 각각의 모드는 804에서 "TV"로 표시되는 것과 같이, 그래픽 오버레이에 의해 지정될 수 있다. 또한, DVD 플레이어 제어 표시(806)에 의해 표시된 바와 같이, 각각의 모드 내에서 쌍방향 요소들의 기능을 나타내는 표시들이 표시될 수 있다. 음량 및 채널 변경 기능을 나타내는 플라이-아웃들(808)이 또한 표시된다. 또한, 증강 이미지들(804, 806, 808)은 모드의 변경에 반응하여 동적으로 갱신될 수 있다. 8B shows an example of image enhancement displayed on the remote control device 800 through a transmissive display device. As shown in FIG. 8B, buttons 802 are augmented with augmented images 804, 806, and 808 that display information related to the function of the buttons of remote control device 800. For example, the remote control device 800 may have a plurality of modes corresponding to different controlled devices. Thus, as shown, each mode can be designated by a graphic overlay, as indicated by "TV" at 804. Further, as indicated by the DVD player control indication 806, indications indicating the function of the interactive elements within each mode can be displayed. Fly-outs 808 indicating the volume and channel change function are also displayed. Also, the augmented images 804, 806, 808 can be dynamically updated in response to a change in mode.

도 9는 투과형 디스플레이 장치를 통해 볼 수 있는 사용자-작동가능한 제어들(902) 및 디스플레이들(904)을 포함하여, 차량용 계기판(vehicle dashboard)(900)의 제어 형태로 제어 장치의 또 다른 실시예를 표시한다. 때때로, 사용자는 제어 또는 디스플레이의 기능에 관한 정보를 희망할 수 있다. 따라서, 사용자는 예컨대 음성 명령, 제스처(즉, 요소를 터치 또는 포인팅), 응시(라인 906에 따라 응시), 또는 기타 적합한 방식을 통해, 어떠한 정보(예컨대, 특정 지시등)가 더 필요한지에 대하여 계기판 요소에 알려줄 수 있다. 이에 응답하여, 908에 표시된 바와 같이, 투과형 디스플레이 장치는 특정된 요소의 기능을 도시할 수 있다. 일부 실시예에서, 증강 이미지(908)는 자동차 및/또는 운전자의 상태(예컨대, 자동차가 이동하기로 결정된 경우 또는 임계 속도 이상으로 이동하는 경우)에 따라 표시되지 않을 수 있다. 임의의 적합한 자동차 및/또는 기타 기계적 장치를 위한 제어의 외관이 유사하게 증강될 수 있다는 점이 이해될 것이다.9 is another embodiment of a control device in the form of a control of a vehicle dashboard 900, including user-operable controls 902 and displays 904 as seen through a transmissive display device. Is displayed. Occasionally, the user may desire information regarding the functionality of the control or display. Thus, the user can use the instrument panel element as to what information (e.g., specific instructions, etc.) is more necessary, such as through voice commands, gestures (i.e., touch or pointing an element), gaze (gaze along line 906), or other suitable manner. Can let you know. In response, as indicated at 908, the transmissive display device can illustrate the function of the specified element. In some embodiments, the augmented image 908 may not be displayed depending on the condition of the vehicle and / or driver (eg, if the vehicle is determined to move or if it moves above a threshold speed). It will be understood that the appearance of control for any suitable automobile and / or other mechanical device can likewise be enhanced.

도 10은 키오스크(kiosk)(1002) 형태의 제어 장치를 포함하고 있는 환경의 형태로 또 다른 물리적인 공간(1000)을 도시한다. 키오스크(1002)는 사용자(1006)에 의해 작동가능한 버튼들(1004)과 같은 쌍방향 요소들을 포함할 수 있고, 이러한 버튼들은 키오스크(1002)의 상태에 따라 서로 다른 기능들을 가질 수 있다. 예를 들어, 키오스크(1002)는 ATM일 수 있으며, 버튼(1004)은 메뉴 시스템의 현재 위치에 따라 서로 다른 기능을 제공할 수 있다. 10 shows another physical space 1000 in the form of an environment that includes a kiosk 1002 type control device. The kiosk 1002 may include interactive elements, such as buttons 1004, operable by the user 1006, and these buttons may have different functions depending on the state of the kiosk 1002. For example, the kiosk 1002 may be an ATM, and the button 1004 may provide different functions according to the current location of the menu system.

투과형 디스플레이 장치(1008)는 사용자(1006) 및/또는 투과형 디스플레이 장치(1008)의 시야에서 키오스크(1002)의 존재를 감지할 수 있고, 이에 응답하여 키오스크(1002)를 식별하기 위한 정보를 요청하거나 수집할 수 있다. 추가적으로 또는 대안적으로, 투과형 디스플레이 장치(1008)는 키오스크(1002)에 의해 방출되는 비콘(beacon) 신호를 식별, 키오스크(1002) 또는 그 근처에 위치한 바코드 또는 Q 코드를 스캐닝 및 식별, 투과형 디스플레이 장치의 이미징 센서 또는 뎁스(depth)에 의해 획득되는 키오스크(1002)의 이미지를 인식, 키오스크(1002)에 관련된 정보를 포함하는 사용자 입력을 수신, 및/또는 기타 임의의 적절한 방법을 통해 키오스크(1002)를 감지할 수 있다. The transmissive display device 1008 may detect the presence of the kiosk 1002 in the field of view of the user 1006 and / or the transmissive display device 1008, and in response, request information to identify the kiosk 1002 or Can be collected. Additionally or alternatively, the transmissive display device 1008 identifies beacon signals emitted by the kiosk 1002, scans and identifies barcodes or Q codes located at or near the kiosk 1002, transmissive display device Recognize the image of the kiosk 1002 obtained by the imaging sensor or depth of the kiosk 1002 by receiving user input including information related to the kiosk 1002, and / or through any other suitable method. Can detect.

투과형 디스플레이 장치(1008)는 피어-투-피어 연결을 통해, 네트워크 액세스 포인트를 통해, 또는 기타 적합한 방법으로 키오스크(1002)에 직접 접속될 수 있다. 일단 접속되면, 키오스크(1002)는 투과형 디스플레이 장치(1008)로 버튼들(1004)의 기능을 식별할 수 있는 정보를 전송할 수 있다. 키오스크(1002)에 의해 전송된 정보는 키오스크(1002)의 상태 변화에 응답하여 동적으로 갱신될 수 있다. 이러한 방식으로, 투과형 디스플레이 장치(1008)는 현재 버튼 기능들이 올바르게 표시되는 것을 보장하기 위해 증강 이미지를 갱신할 수 있다. The transmissive display device 1008 can be directly connected to the kiosk 1002 through a peer-to-peer connection, through a network access point, or other suitable method. Once connected, the kiosk 1002 may transmit information to identify the function of the buttons 1004 to the transmissive display device 1008. Information transmitted by the kiosk 1002 may be dynamically updated in response to a change in the state of the kiosk 1002. In this way, the transmissive display device 1008 can update the augmented image to ensure that the current button functions are displayed correctly.

도 11은 투과형 디스플레이 장치를 통해 제어 장치에 대한 교육용 정보를 표시하기 위한 방법(1100)의 일 실시예를 도시하는 흐름도이다. 1102에서는, 예컨대, 앞서 도 1 내지 3과 관련하여 보다 상세하게 논의된 이미지 센서들을 사용하여, 투과형 디스플레이 장치는 투과형 디스플레이 장치를 통해 볼 수 있는 장면의 이미지를 획득한다. 1104에서는, 예컨대, 장면의 획득된 이미지 데이터의 분석을 통해, 투과형 디스플레이 장치는 장면에서 제어 장치를 감지한다. 예컨대, 분류 기능을 통해, 투과형 디스플레이 장치는 또한 1106에서 제어 장치를 식별할 수 있다. 일부 실시예에서, 이러한 식별 및/또는 본 명세서에서 개시된 기타 프로세스들은 원격 서비스를 통해 수행될 수 있다는 점이 이해될 것이다. 11 is a flow chart illustrating an embodiment of a method 1100 for displaying educational information about a control device through a transmissive display device. At 1102, for example, using image sensors discussed in more detail with respect to FIGS. 1 to 3 above, the transmissive display device acquires an image of a scene viewable through the transmissive display device. At 1104, through the analysis of the acquired image data of the scene, the transmissive display device detects the control device in the scene. For example, through the classification function, the transmissive display device can also identify the control device at 1106. It will be appreciated that in some embodiments, such identification and / or other processes disclosed herein may be performed through a remote service.

제어 장치를 감지 및 식별한 후, 투과형 디스플레이 장치는 단계 1108에서 제어 장치의 쌍방향 요소의 기능과 관련된 정보를 수집한다. 이러한 정보는 임의의 적절한 방식으로 수집될 수 있다. 예를 들어, 일부 예에서는, 가령 제어 장치가 알려진 제어 장치(예컨대, 사용자 리모트 컨트롤 장치)이거나 및/또는 제어되는 애플리케이션이 알려진 애플리케이션 경우, 이러한 정보가 로컬로 저장될 수 있다. 이러한 경우, 투과형 디스플레이 장치는 로컬 저장소로부터 정보를 수집할 수 있다. 다른 경우에서는, 투과형 디스플레이 장치가 제어 장치, 네트워크-기반 서비스, 및/또는 임의의 기타 적절한 위치로부터 정보를 수집할 수도 있다. After sensing and identifying the control device, the transmissive display device collects information related to the function of the interactive element of the control device in step 1108. This information can be collected in any suitable way. For example, in some examples, this information may be stored locally, for example, if the control device is a known control device (eg, a user remote control device) and / or if the controlled application is a known application. In this case, the transmissive display device can collect information from the local storage. In other cases, the transmissive display device may collect information from the control device, network-based service, and / or any other suitable location.

일부 실시예에서, 제어 장치의 쌍방향 요소들의 서브셋에 대한 정보가 획득될 수 있다. 예컨대, 일부 실시예에서, 투과형 디스플레이 장치는 1110에서 선택된 쌍방향 요소로의 사용자 시선을 감지하고 이러한 요소에 대한 정보를 획득할 수 있다. 응시 감지는 다른 요소들에 대한 정보가 획득된 경우에도, 다른 요소들을 제외하고 선택된 요소에 대한 정보를 디스플레이하기 위해 이용될 수 있다(예컨대, 자동차 계기판의 경우).In some embodiments, information about a subset of the interactive elements of the control device can be obtained. For example, in some embodiments, the transmissive display device may detect a user's gaze to the interactive element selected at 1110 and obtain information about the element. Gaze detection can be used to display information about a selected element excluding other elements, even when information about other elements is obtained (eg, in the case of a vehicle dashboard).

단계(112)에서, 투과형 디스플레이 장치는 쌍방향 요소의 기능과 관련된 이미지 데이터로 쌍방향 요소를 증강시키는 이미지를 표시한다. 그러한 이미지 데이터는 그래픽 요소, 텍스트, 애니메이션 등을 포함하지만 이에 제한되지 않는 임의의 적절한 정보를 포함할 수 있다. 또한, 전술한 바와 같이, 어떤 실시예에서, 투과형 디스플레이 장치는 현재 관심이 없는 정보를 표시하는 것에 의해 야기될 수 있는 부주의를 감소시키기 위하여, 단계(1114)에서 표시된 바와 같이, 다른 쌍방향 요소는 제외하고 선택된 쌍방향 요소를 증강하도록 구성될 수 있다. In step 112, the transmissive display device displays an image that enhances the interactive element with image data related to the function of the interactive element. Such image data may include any suitable information including, but not limited to, graphic elements, text, animation, and the like. Also, as described above, in some embodiments, the transmissive display device excludes other interactive elements, as indicated in step 1114, to reduce inattention that may be caused by displaying information that is not currently of interest. And augment the selected interactive element.

전술한 바와 같이, 어떤 실시예에서, 제어 장치의 쌍방향 요소의 기능은 변화될 수 있다. 따라서, 단계(1116)에서, 방법(1110)은 쌍방향 요소의 기능 변화를 감지하는 것을 포함한다. 이러한 변화는 제어되고 있는 애플리케이션에서의 변화, 제어되고 있는 애플리케이션의 상태에서의 변화, 및/또는 임의의 다른 적절한 변화로부터 발생할 수 있다. 이에 응답하여, 단계(1118)에서, 투과형 디스플레이 장치는 새로운 기능에 관련된 수정된 정보를 제공하는 수정된 이미지를 표시할 수 있다. 예를 들어, 투과형 디스플레이 장치는 수정된 정보를 전송 및/또는 검색하거나 수정된 정보를 하나 이상의 추가된 또는 대체된 증강 이미지로서 표시할 수 있다. 이것은 현재 정보가 표시되고 있는 것을 확인할 수 있도록 도움을 준다.As described above, in some embodiments, the functionality of the interactive elements of the control device can be varied. Thus, in step 1116, the method 1110 includes detecting a functional change in the interactive element. Such changes may arise from changes in the application being controlled, changes in the state of the application being controlled, and / or any other suitable change. In response, in step 1118, the transmissive display device may display a modified image that provides modified information related to the new function. For example, a transmissive display device may transmit and / or retrieve modified information or display the modified information as one or more added or replaced augmented images. This helps you to see what information is currently being displayed.

전술한 바와 같이, 어떤 실시예에서는, 투과형 디스플레이 장치는 제어 장치의 쌍방향 요소의 현재 기능에 관한 정보를 수신할 수 있다. 도12는 그러한 정보를 제어 장치로부터 투과형 디스플레이 장치와 같은 다른 컴퓨팅 장치로 제공하기 위한 방법(1200)의 실시예를 도시하는 플로우 차트를 도시한다. 단계(1202)에서, 방법(1200)은 투과형 표시 장치와 통신을 수립하는 단계를 포함한다. 임의의 적절한 타입의 연결이 수립될 수 있다. 이러한 예는, 제한되지는 않지만, 직접 유선 및/또는 무선 연결 (예를 들어, WiFi direct, 블루투스 등) 및 네트워크 액세스 포인트를 통한 연결을 포함할 수 있다.As described above, in some embodiments, the transmissive display device may receive information regarding the current function of the interactive element of the control device. 12 shows a flow chart illustrating an embodiment of a method 1200 for providing such information from a control device to another computing device, such as a transmissive display device. In step 1202, the method 1200 includes establishing communication with the transmissive display device. Any suitable type of connection can be established. Such examples can include, but are not limited to, direct wired and / or wireless connections (eg, WiFi direct, Bluetooth, etc.) and connections via network access points.

단계(1204)에서, 방법(1200)은 제 2 컴퓨팅 장치로부터 제어 장치의 하나 이상의 사용자 작동가능 컴포넌트의 현재 기능에 관한 정보에 대한 요청을 수신하는 것을 포함한다. 단계(1206)에서, 본 방법은 요청과 함께 제어 장치 ID 정보를 수신하는 것을 포함한다. 단계(1207)에서, 본 방법은 알려지지 않은 제어 장치를 캡쳐한 이미지 데이터 또는 다른 데이터 및 그 데이터로부터 제어 장치를 식별하라는 요청을 수신하는 것을 포함한다.In step 1204, the method 1200 includes receiving a request for information about the current functionality of one or more user-operable components of the control device from the second computing device. In step 1206, the method includes receiving control device ID information along with the request. In step 1207, the method includes receiving image data or other data that captured an unknown control device and a request to identify the control device from the data.

단계(1208)에서, 그 요청에 응답하여 제 1 컴퓨팅 장치는 그 정보를 제 2 컴퓨팅 장치로 송신한다. 또한, 단계(1209)에서, 요청된 제어 장치 기능 정보를 전송하는 것을 보조하기 위하여, (예를 들어, 하나 이상의 분류 기능을 통한 이미지 데이터의 분류를 통해) 제어 장치를 식별하는 것을 포함한다. 또한, 어떤 실시예에서, 단계(1210)에서, 제어 장치의 사용자 작동가능 컴포넌트를 위한 복수의 매핑을 전송할 수도 있고, 복수의 매핑의 각각은 단계(1206)에서 수신된 애플리케이션 정보와 연관된 애플리케이션의 상이한 상태에 대응한다. 이러한 접속을 수립하고 투과형 디스플레이 장치와 통신하는 컴퓨팅 장치는 제한되지는 않지만 원력 서비스를 수행하는 서버, 키오스크 등을 포함하는 임의의 적절한 컴퓨팅 장치일 수 있다는 것을 이해할 것이다.In step 1208, in response to the request, the first computing device sends the information to the second computing device. Further, in step 1209, identifying the control device (eg, through classification of image data through one or more classification functions) to assist in transmitting the requested control device function information. Further, in some embodiments, in step 1210, a plurality of mappings for user-operable components of the control device may be transmitted, each of the plurality of mappings being different from the application associated with the application information received in step 1206. Corresponds to the state. It will be understood that the computing device that establishes such a connection and communicates with the transmissive display device may be any suitable computing device, including, but not limited to, a server, kiosk, etc. performing a power service.

어떤 실시예에서, 전술된 방법 및 프로세스는 들은 하나 이상의 컴퓨터를 포함하는 컴퓨팅 시스템에 연관될 수 있다. 보다 구체적으로, 본 명세서에 기술된 방법 및 프로세스는 컴퓨터 애플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수도 있다.In some embodiments, the methods and processes described above can be associated with a computing system that includes one or more computers. More specifically, the methods and processes described herein may be implemented as computer applications, computer services, computer APIs, computer libraries, and / or other computer program products.

도13은 전술된 하나 이상의 방법 및 프로세스를 수행할 수 있는 비제한적인 컴퓨팅 시스템(1300)을 개략적으로 도시한다. 컴퓨팅 시스템(1300)은 단순화된 형태로 도시되었다. 사실상 임의의 컴퓨터 아키텍처가 본 발명의 범위로부터 벗어나지 않고 사용될 수 있음을 이해할 것이다. 다른 실시예에서, 컴퓨팅 시스템(1300)은 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치, 게임 장치, 헤드-탑재형 디스플레이 장치, 투과형 디스플레이 장치 등의 형태를 가질 수 있다.13 schematically illustrates a non-limiting computing system 1300 capable of performing one or more of the methods and processes described above. Computing system 1300 is shown in a simplified form. It will be understood that virtually any computer architecture can be used without departing from the scope of the invention. In other embodiments, the computing system 1300 is a mainframe computer, server computer, desktop computer, laptop computer, tablet computer, home entertainment computer, network computing device, mobile computing device, mobile communication device, gaming device, head-mounted It may take the form of a display device, a transmissive display device, and the like.

컴퓨팅 시스템(1300)은 로직 서브시스템(1302) 및 데이터 홀딩 서브시스템(1304)을 포함한다. 컴퓨팅 시스템(1300)은 디스플레이 서브시스템(1306), 센서 서브시스템(1308), 통신 서브시스템(1310) 및/또는 도 13 에 도시되지 않은 다른 구성요소를 선택적으로 포함될 수 있다. 또한, 컴퓨팅 시스템(1300)은 또한 예를 들어 키보드, 마우스, 게임 컨트롤러, 카메라, 마이크, 및/또는 터치 스크린과 같은 사용자 입력 장치도 선택적으로 포함할 수 있다.Computing system 1300 includes logic subsystem 1302 and data holding subsystem 1304. Computing system 1300 may optionally include display subsystem 1306, sensor subsystem 1308, communication subsystem 1310 and / or other components not shown in FIG. 13. In addition, the computing system 1300 may also optionally include user input devices such as, for example, a keyboard, mouse, game controller, camera, microphone, and / or touch screen.

로직 서브시스템(1302)은 하나 이상의 명령어를 실행하도록 구성된 하나 이상의 물리적 장치를 포함할 수 있다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 다른 논리 구조의 일부인 하나 이상의 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는 동작을 수행하고, 데이터 타입을 구현하고, 하나 이상의 장치 상태를 변환하거나, 또는 그외 다른 결론에 도달하도록 구현될 수 있다. Logic subsystem 1302 may include one or more physical devices configured to execute one or more instructions. For example, a logic subsystem can be configured to execute one or more instructions that are part of one or more applications, services, programs, routines, libraries, objects, components, data structures, or other logic structures. These instructions can be implemented to perform operations, implement data types, transform one or more device states, or reach other conclusions.

로직 서브시스템은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가로 또는 이와 달리, 로직 서브시스템은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 단일 코어 또는 멀티코어일 수 있으며, 실행되는 프로그램은 병렬 또는 분산 프로세싱을 위해 구성될 수 있다. 로직 서브시스템은 계획된 프로세싱을 위해 원거리에 위치하거나 및/또는 구성될 수 있는 둘 이상의 장치를 통해 분산된 개별적인 구성요소를 선택적으로 포함할 수 있다. 로직 서브시스템의 하나 이상의 측면은 클라우드 컴퓨팅 구성에서 구성된 원격 접근가능한 네트워킹 컴퓨팅 장치에 의해 가상화되고 실행될 수 있다.The logic subsystem can include one or more processors configured to execute software instructions. Additionally or alternatively, the logic subsystem may include one or more hardware or firmware logic machines configured to execute hardware or firmware instructions. The processor of the logic subsystem can be single-core or multi-core, and the program being executed can be configured for parallel or distributed processing. The logic subsystem can optionally include discrete components distributed through two or more devices that can be remotely located and / or configured for planned processing. One or more aspects of the logic subsystem may be virtualized and executed by remotely accessible networking computing devices configured in a cloud computing configuration.

데이터 홀딩 서브시스템(1304)은 본 명세서에 기술된 방법 및 프로세스를 구현하도록 로직 서브시스템에 의해 실행가능한 데이터 및/또는 명령어를 홀딩하도록 구성된 하나 이상의 물리적이고 비일시적인(non-transitory) 장치를 포함할 수 있다. 이러한 방법 및 프로세스가 구현될 때, 데이터 홀딩 서브시스템(504)의 상태는 (예컨대, 다른 데이터를 홀딩하기 위해서) 변형될 수 있다.Data holding subsystem 1304 may include one or more physical and non-transitory devices configured to hold data and / or instructions executable by a logic subsystem to implement the methods and processes described herein. Can be. When these methods and processes are implemented, the state of the data holding subsystem 504 can be modified (eg, to hold other data).

데이터 홀딩 서브시스템(1304)은 제거가능한 미디어 및/또는 내장 장치를 포함할 수 있다. 데이터 홀딩 서브시스템(1304)은 특히 광학적 메모리 장치 (예를 들어, CD, DVD, HD-DVD, Blu-Ray Disc 등), 반도체 메모리 장치(예를 들어, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 장치(예를 들어, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 데이터 홀딩 서브시스템(1304)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독전용, 랜덤 액세스, 순차적 액세스, 위치 어드레스 가능, 파일 어드레스 가능 및 콘텐츠 어드레스 가능과 같은 특징들 중 하나 이상을 갖는 장치를 포함할 수 있다. 일부 실시예에서, 로직 서브시스템(1302) 및 데이터 홀딩 서브시스템(1304)은 애플리케이션 특정 집적 회로 또는 SOC(system on a chip)과 같은 하나 이상의 공통의 장치에 집적될 수도 있다.The data holding subsystem 1304 can include removable media and / or embedded devices. The data holding subsystem 1304 is specifically an optical memory device (eg, CD, DVD, HD-DVD, Blu-Ray Disc, etc.), a semiconductor memory device (eg, RAM, EPROM, EEPROM, etc.) and / or Magnetic memory devices (eg, hard disk drives, floppy disk drives, tape drives, MRAMs, etc.). Data holding subsystem 1304 has one or more of the following characteristics: volatile, non-volatile, dynamic, static, read / write, read-only, random access, sequential access, location addressable, file addressable and content addressable It may include a device. In some embodiments, logic subsystem 1302 and data holding subsystem 1304 may be integrated in one or more common devices, such as application specific integrated circuits or system on a chip (SOC).

또한 도13은 제거가능한 컴퓨터 판독가능 저장 매체(1312)의 형태 측면에서 데이터 홀딩 서브시스템을 도시하며, 이 컴퓨터 판독가능 저장 매체는 본 명세서에 기술된 방법 및 프로세스를 구현하도록 실행가능한 데이터 및/또는 명령어를 저장 및/또는 전송하기 위해 사용될 수 있다. 제거가능한 컴퓨터 판독가능 저장 매체(1312)는 특히 CD, DVD, HD-DVD, Blu-Ray Disc, EEPROM, 및/또는 플로피 디스크의 형태를 가질 수 있다.13 also shows a data holding subsystem in terms of the form of a removable computer readable storage medium 1312, the computer readable storage medium being executable data and / or to implement the methods and processes described herein. It can be used to store and / or send instructions. The removable computer-readable storage medium 1312 may particularly take the form of a CD, DVD, HD-DVD, Blu-Ray Disc, EEPROM, and / or floppy disk.

데이터 홀딩 서브시스템(1304)은 하나 이상의 물리적인 비일시적 장치를 포함한다는 것을 이해해야 한다. 반면에, 어떤 실시예에서, 본 명세서에 기술된 명령어는 적어도 한정된 기간 동안 물리적 장치에 의해 홀딩되지 않는 순수한 신호(예를 들어, 전자기 신호, 광학 신호 등)에 의해 일시적인 방식으로 전파될 수 있다. 또한, 본 발명과 관련된 데이터 및/또는 정보의 다른 형태가 순수한 신호에 의해 전파될 수도 있다.It should be understood that the data holding subsystem 1304 includes one or more physical non-transitory devices. On the other hand, in some embodiments, the instructions described herein may be propagated in a transient manner by pure signals (eg, electromagnetic signals, optical signals, etc.) that are not held by the physical device for at least a limited period of time. In addition, other forms of data and / or information related to the present invention may be propagated by pure signals.

"프로그램"이라는 용어는 하나 이상의 특정 기능을 수행하기 위해 구현되는 컴퓨팅 시스템(1300)의 측면을 기술하는데 사용될 수 있다. 어떤 경우에, 프로그램은 데이터 홀딩 서브시스템(1304)에 의해 홀딩되는 명령어를 실행하는 로직 서브시스템(1302)을 통해 인스턴스화(instantiated) 될 수 있다. 상이한 프로그램이 동일한 애플리케이션, 서비스, 코드 블록, 객체, 라이브러리, 루틴, API, 함수 등으로부터 인스턴스화 될 수 있음을 이해할 것이다. 마찬가지로, 동일한 프로그램이 상이한 애플리케이션, 서비스, 코드 블록, 객체, 라이브러리, 루틴, API, 함수 등에 의해 인스턴스화 될 수 있다. "프로그램"이라는 용어는 개인 또는 그룹의 실행가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등을 포함하는 것을 의미할 수 있다.The term “program” may be used to describe aspects of the computing system 1300 implemented to perform one or more specific functions. In some cases, a program may be instantiated through logic subsystem 1302 executing instructions held by data holding subsystem 1304. It will be understood that different programs can be instantiated from the same application, service, code block, object, library, routine, API, function, etc. Likewise, the same program can be instantiated by different applications, services, code blocks, objects, libraries, routines, APIs, functions, etc. The term "program" may mean to include executable files of individuals or groups, data files, libraries, drivers, scripts, database records, and the like.

본 명세서에서 사용된 "서비스"는 다수의 사용자 세션에 대해 실행가능하고 하나 이상의 시스템 컴포넌트, 프로그램, 및/또는 다른 서비스에 사용가능한 애플리케이션 프로그램일 수도 있다. 어떤 실시예에서, 서비스는 클라이언트로부터의 요청에 반응하여 서버에서 실행될 수 있다.As used herein, "service" may be an application program executable for multiple user sessions and available to one or more system components, programs, and / or other services. In some embodiments, services may be executed on the server in response to requests from clients.

디스플레이 서브시스템(1306)이 포함되는 경우, 디스플레이 서브시스템(1306)은 데이터 홀딩 서브시스템(1304)에 의해 홀딩되는 데이터의 시각적 표현을 나타내는데에 사용될 수 있다. 예를 들어, 디스플레이 서브시스템(1306)은 상술한 바와 같이 투과형 디스플레이가 될 수 있다. 본 명세서에 기술된 방법 및 프로세스가 데이터 홀딩 서브시스템에 의해 홀딩되는 데이터를 변경하고, 그에 따라 데이터 홀딩 서브시스템의 상태를 변형하기 때문에, 디스플레이 서브시스템(1306)의 상태는 하부(underlying) 데이터에서의 변화를 시각적으로 표현하도록 유사하게 변형될 수 있다. 디스플레이 서브시스템(1306)은 임의의 형태의 기술을 가상적으로 이용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 공유된 범위에서 로직 서브시스템(1302) 및/또는 데이터 홀딩 서브시스템(1304)과 결합될 수 있거나, 또는 이러한 디스플레이 장치는 주변 디스플레이 장치일 수 있다.When the display subsystem 1306 is included, the display subsystem 1306 can be used to represent a visual representation of the data held by the data holding subsystem 1304. For example, the display subsystem 1306 can be a transmissive display, as described above. Because the methods and processes described herein alter the data held by the data holding subsystem, and thus modify the state of the data holding subsystem, the state of the display subsystem 1306 is in the underlying data. It can be similarly transformed to visually express the change of. The display subsystem 1306 can include one or more display devices that virtually utilize any form of technology. Such a display device may be combined with the logic subsystem 1302 and / or data holding subsystem 1304 in a shared range, or such display device may be a peripheral display device.

통신 서브시스템(1310)이 포함되는 경우, 통신 서브시스템은 하나 이상의 다른 컴퓨팅 장치와 컴퓨팅 시스템(1300)을 통신적으로 연결하도록 구성될 수 있다. 예를 들어, 투과형 디스플레이의 경우, 통신 서브시스템(1310)은 통신 시스템(1300)을 하나 이상의 다른 투과형 디스플레이, 게임 콘솔, 키오스크, 제어 장치 및/또는 다른 컴퓨팅 장치와 통신적으로 연결하도록 구성될 수 있다. 통신 서브시스템(1310)은 하나 이상의 상이한 통신 프로토콜과 상호호환가능한 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예시로서, 통신 서브시스템은 무선 전화 네트워크, 무선 로컬 영역 네트워크, 유선 로컬 영역 네트워크, 무선 광역 네트워크, 유선 광역 네트워크 등을 통해 통신하도록 구성될 수 있다. 일부 실시예에서, 통신 서브시스템은 컴퓨팅 시스템(1300)이 인터넷과 같은 네트워크를 통해서 다른 장치로 및/또는 다른 장치로부터 메시지를 송신 및/또는 수신하는 것을 가능케 할 수 있다.When the communication subsystem 1310 is included, the communication subsystem can be configured to communicatively connect the computing system 1300 with one or more other computing devices. For example, in the case of a transmissive display, the communication subsystem 1310 can be configured to communicatively connect the communication system 1300 with one or more other transmissive displays, game consoles, kiosks, control devices and / or other computing devices. have. The communication subsystem 1310 can include wired and / or wireless communication devices that are compatible with one or more different communication protocols. As a non-limiting example, the communication subsystem can be configured to communicate through a wireless telephone network, a wireless local area network, a wired local area network, a wireless wide area network, a wired wide area network, and the like. In some embodiments, the communication subsystem may enable computing system 1300 to send and / or receive messages to and / or from other devices over a network such as the Internet.

센서 서브시스템(1308)은 전술한 상이한 물리적 현상(예를 들어, 가시광, 적외선, 가속, 배향, 위치 등)을 센싱하도록 구성된 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 서브시스템(1308)은 하나 이상의 이미지 센서, 가속도와 같은 모션 센서, 터치 패드, 터치 스크린 및/또는 다른 적절한 센서를 포함할 수 있다. 따라서, 센서 서브시스템(1308)은, 예를 들어, 로직 서브시스템(1302)으로 관찰 정보를 제공하도록 구성될 수 있다. 전술한 바와 같이, 이미지 데이터, 모션 센서 데이터 및/또는 다른 적절한 센서 데이터와 같은 관찰 정보는 사용자에 의해 수행되는 특정 제스쳐를 결정하는 것, 사용자의 시선을 감지하는 것, 물체 인식을 수행하는 것 등과 같은 동작을 수행하기 위해 사용될 수 있다.The sensor subsystem 1308 may include one or more sensors configured to sense the different physical phenomena described above (eg, visible light, infrared light, acceleration, orientation, position, etc.). For example, sensor subsystem 1308 may include one or more image sensors, motion sensors such as acceleration, touch pads, touch screens, and / or other suitable sensors. Thus, sensor subsystem 1308 may be configured to provide observation information, for example, to logic subsystem 1302. As described above, observation information such as image data, motion sensor data and / or other suitable sensor data may include determining a specific gesture performed by a user, detecting a user's gaze, performing object recognition, and the like. It can be used to perform the same operation.

일부 실시예에서, 센서 서브시스템(1308)은 구조 광 카메라, 경과 시간(time-of flight) 카메라, 스테레오 카메라 시스템 또는 임의의 다른 적절한 깊이-해상 카메라를 포함하되 이에 한정되지 않는 깊이 카메라(예를 들어, 도 2의 외부를 향하는 센서 206)를 포함할 수 있다.In some embodiments, sensor subsystem 1308 includes, but is not limited to, a structured optical camera, a time-of-flight camera, a stereo camera system, or any other suitable depth-resolution camera. For example, the sensor 206 facing outward of FIG. 2 may be included.

어떤 실시예에서, 센서 서브시스템(1308)은 가시광선 카메라를 포함할 수 있다. 사실상 임의의 타입의 디지털 카메라 기술이 본 발명의 범위를 벗어나지 않으면서 사용될 수 있다. 비제한적인 예시로서, 가시광선 카메라는 전하 결합 디바이스 이미지 센서를 포함할 수 있다. In some embodiments, sensor subsystem 1308 may include a visible light camera. Virtually any type of digital camera technology can be used without departing from the scope of the present invention. As a non-limiting example, a visible light camera may include a charge coupled device image sensor.

다양한 변형이 가능하기 때문에, 본 명세서에 기술된 구성 및/또는 접근법은 예시적인 것이며, 이러한 특정 실시예 또는 예시들은 제한적인 의미로 간주되어서는 안 된다는 것을 이해할 것이다. 본 명세서에 기술된 특정 루틴 또는 방법은 하나 이상의 임의의 수의 프로세싱 전략을 나타낼 수도 있다. 이와 같이, 앞서 설명된 다양한 동작들은 설명된 것과 같이 순차적으로, 또는 다른 순서로, 동시에, 또는 일부는 생략되어 수행될 수도 있다. 유사하게, 전술된 프로세스의 순서가 변경될 수도 있다.It will be understood that, as various modifications are possible, the configurations and / or approaches described herein are exemplary, and such specific embodiments or examples should not be regarded as limiting. Certain routines or methods described herein may represent any number of one or more processing strategies. As such, the various operations described above may be performed sequentially, in a different order, simultaneously, or partially omitted, as described. Similarly, the order of the processes described above may be changed.

본 발명의 청구물은 본 명세서에 개시된 다양한 프로세스, 시스템 및 구성과, 그 외의 특징, 기능, 동작, 및/또는 특성의 신규하고 진보한 모든 조합 및 그 서브조합은 물론 이들의 임의의 모든 균등물을 포함한다.The claims of the present invention are all new and advanced combinations of the various processes, systems and configurations disclosed herein, and other features, functions, operations, and / or properties and subcombinations thereof, as well as any and all equivalents thereof. It includes.

Claims

투과형 디스플레이(see-through display) 및 외향 이미지 센서(outward-facing image sensor)를 포함하는 투과형 디스플레이 장치 상에 제어 장치를 위한 교육용 정보(instructional information)를 제공하는 방법에 있어서,
상기 투과형 디스플레이를 통해 보이는 물리적 장면(phyical scene)의 이미지를 획득하는 단계;
상기 물리적 장면내의 제어 장치를 감지하는 단계 - 상기 제어 장치는, 상기 투과형 디스플레이 장치로부터 분리된 연관된 컴퓨팅 장치를 제어하도록 구성된 물리적 사용자-작동가능 입력 장치를 포함함 -;
상기 제어 장치의 상기 물리적 사용자-작동가능 입력 장치의 기능에 관한 정보를 검색(retrieve)하는 단계 - 상기 물리적 사용자-작동가능 입력 장치의 기능은 상기 연관된 컴퓨팅 장치를 위한 제어 명령어를 포함함 -;
상기 투과형 디스플레이 상에, 상기 물리적 사용자-작동가능 입력 장치의 기능과 관련된 이미지 데이터로 상기 제어 장치의 상기 물리적 사용자-작동가능 입력 장치의 외관을 증강(augment)시키는 이미지를 표시하는 단계;
상기 물리적 사용자-작동가능 입력 장치의 기능의 변화를 감지하는 단계; 및
상기 물리적 사용자-작동가능 입력 장치의 외관을 증강시키는 수정된(updated) 이미지를 표시하는 단계
를 포함하고,
상기 수정된 이미지는, 상기 물리적 사용자-작동가능 입력 장치의 기능의 변화와 관련된 수정된 정보를 제공하는 것인, 투과형 디스플레이 장치 상에 제어 장치를 위한 교육용 정보를 제공하는 방법.A method of providing instructional information for a control device on a transmissive display device comprising a see-through display and an outward-facing image sensor, the method comprising:
Acquiring an image of a physical scene seen through the transmissive display;
Sensing a control device in the physical scene, the control device comprising a physical user-operable input device configured to control an associated computing device separate from the transmissive display device;
Retrieving information about the function of the physical user-operable input device of the control device, wherein the function of the physical user-operable input device includes control instructions for the associated computing device;
Displaying, on the transmissive display, an image that augments the appearance of the physical user-operable input device of the control device with image data related to the function of the physical user-operable input device;
Sensing a change in functionality of the physical user-operable input device; And
Displaying an updated image that enhances the appearance of the physical user-operable input device.
Including,
The modified image provides corrected information related to a change in function of the physical user-operable input device, a method of providing educational information for a control device on a transmissive display device.

제1항에 있어서,
상기 이미지는 상기 물리적 사용자-작동가능 입력 장치의 기능에 관련된 그래픽 요소를 포함하고, 상기 그래픽 요소는 상기 투과형 디스플레이 상에서 상기 물리적 사용자-작동가능 입력 장치 위에 표시되는 것인, 투과형 디스플레이 장치 상에 제어 장치를 위한 교육용 정보를 제공하는 방법.According to claim 1,
The image includes a graphic element related to the function of the physical user-operable input device, the graphic element being displayed on the physical user-operable input device on the transmissive display, the control device on the transmissive display device How to provide educational information for.

제1항에 있어서,
상기 이미지는 상기 물리적 사용자 작동가능 입력 장치를 기술(describe)하는 텍스트 정보를 갖는 텍스트 상자를 포함하는 것인, 투과형 디스플레이 장치 상에 제어 장치를 위한 교육용 정보를 제공하는 방법. According to claim 1,
The image includes a text box with text information describing the physical user-operable input device. Method for providing educational information for a control device on a transmissive display device.

제3항에 있어서,
상기 텍스트 상자의 선택을 수신하고 그에 응답하여 상기 투과형 디스플레이 장치 상에 부가 정보를 표시하는 단계를 더 포함하는, 투과형 디스플레이 장치 상에 제어 장치를 위한 교육용 정보를 제공하는 방법. According to claim 3,
And receiving the selection of the text box and displaying additional information on the transmissive display device in response to the method of providing educational information for a control device on the transmissive display device.

제1항에 있어서,
상기 이미지는 애니메이션을 포함하는 것인, 투과형 디스플레이 장치 상에 제어 장치를 위한 교육용 정보를 제공하는 방법.According to claim 1,
The image comprises an animation, a method for providing educational information for a control device on a transmissive display device.

제1항에 있어서,
상기 제어 장치의 선택된 물리적 사용자-작동가능 입력 장치로의 상기 투과형 디스플레이 장치의 사용자의 시선을 감지하는 단계를 더 포함하고, 상기 이미지는, 또 다른 입력 장치가 아닌 상기 선택된 사용자-작동가능 입력 장치의 외관을 증강시키는 것인, 투과형 디스플레이 장치 상에 제어 장치를 위한 교육용 정보를 제공하는 방법. According to claim 1,
And detecting a user's gaze of the transmissive display device to the selected physical user-operable input device of the control device, wherein the image comprises the selected user-operable input device instead of another input device. A method of providing educational information for a control device on a transmissive display device that enhances appearance.

제1항에 있어서,
상기 정보를 검색하는 단계는 상기 제어 장치로부터 상기 정보를 검색하는 단계를 포함하는 것인, 투과형 디스플레이 장치 상에 제어 장치를 위한 교육용 정보를 제공하는 방법. According to claim 1,
The step of retrieving the information includes the step of retrieving the information from the control device. A method of providing educational information for a control device on a transmissive display device.

제1항에 있어서,
상기 정보를 검색하는 단계는 네트워크 기반 서비스로부터 상기 정보를 검색하는 단계를 포함하는 것인, 투과형 디스플레이 장치 상에 제어 장치를 위한 교육용 정보를 제공하는 방법. According to claim 1,
The step of retrieving the information includes retrieving the information from a network-based service. A method of providing educational information for a control device on a transmissive display device.

휴대용 투과형 디스플레이 장치에 있어서,
이미지 센서;
투과형 디스플레이;
로직 서브시스템(logic subsystem); 및
상기 로직 서브시스템에 의해 실행가능한 명령어들을 포함하는 데이터 홀딩 서브시스템(data-holding subsystem)
을 포함하고,
상기 명령어들은,
상기 투과형 디스플레이를 통해 보이는 물리적 장면의 이미지를 획득하고;
상기 물리적 장면 내의 제어 장치를 감지하고 - 상기 제어 장치는, 상기 휴대용 투과형 디스플레이 장치로부터 분리된 연관된 컴퓨팅 장치를 제어하도록 구성된 물리적 사용자-작동가능 입력 장치를 포함함 -;
상기 제어 장치의 상기 물리적 사용자-작동가능 입력 장치의 기능에 관한 정보를 검색하고 - 상기 물리적 사용자-작동가능 입력 장치의 기능은 상기 연관된 컴퓨팅 장치를 위한 제어 명령어를 포함함 -;
상기 투과형 디스플레이상에, 상기 제어 장치의 상기 물리적 사용자-작동가능 입력 장치의 외관을 증강시키는 이미지를 표시하고 - 상기 이미지는 상기 물리적 사용자-작동가능 입력 장치의 기능과 관련됨 -;
상기 물리적 사용자-작동가능 입력 장치의 기능의 변화를 감지하며;
상기 물리적 사용자-작동가능 입력 장치의 외관을 증강시키는 수정된 이미지를 표시하도록
실행가능하고,
상기 수정된 이미지는 상기 물리적 사용자-작동가능 입력 장치의 기능의 변화와 관련된 수정된 정보를 제공하는 것인, 휴대용 투과형 디스플레이 장치.In the portable transmissive display device,
Image sensor;
Transmissive display;
A logic subsystem; And
A data-holding subsystem comprising instructions executable by the logic subsystem
Including,
The above commands,
Acquire an image of a physical scene seen through the transmissive display;
Sensing a control device within the physical scene, the control device comprising a physical user-operable input device configured to control an associated computing device separate from the portable transmissive display device;
Retrieve information about the functionality of the physical user-operable input device of the control device, wherein the functionality of the physical user-operable input device includes control instructions for the associated computing device;
Displaying, on the transmissive display, an image that enhances the appearance of the physical user-operable input device of the control device, the image being associated with a function of the physical user-operable input device;
Sensing a change in functionality of the physical user-operable input device;
To display a modified image that enhances the appearance of the physical user-operable input device
Feasible,
And wherein the modified image provides modified information related to a change in functionality of the physical user-operable input device.

제9항에 있어서,
상기 명령어들은, 상기 제어 장치에 의해 제어되고 있는 애플리케이션의 현재 상태의 변화를 감지함으로써 상기 물리적 사용자-작동가능 입력 장치의 기능의 변화를 감지하도록 실행가능한 것인, 휴대용 투과형 디스플레이 장치. The method of claim 9,
And the instructions are executable to sense a change in functionality of the physical user-operable input device by sensing a change in the current state of the application being controlled by the control device.

제9항에 있어서,
상기 명령어들은, 상기 물리적 장면 내에서 키보드를 감지하고, 상기 투과형 디스플레이 상에, 상기 키보드에 의해 제어되고 있는 애플리케이션에 따라 상기 키보드의 키들(keys)의 외관을 증강시키는 이미지를 표시하도록 실행가능한 것인, 휴대용 투과형 디스플레이 장치. The method of claim 9,
The commands are executable to detect a keyboard within the physical scene and display on the transmissive display an image that enhances the appearance of the keys of the keyboard according to the application being controlled by the keyboard. , Portable transmissive display device.

제9항에 있어서,
상기 명령어들은, 상기 투과형 디스플레이 상에서 상기 물리적 사용자-작동가능 입력 장치 위에 표시되는, 상기 물리적 사용자-작동가능 입력 장치의 기능과 관련된 그래픽 요소의 형태로 상기 이미지를 표시하도록 실행가능한 것인, 휴대용 투과형 디스플레이 장치. The method of claim 9,
Wherein the instructions are executable to display the image in the form of a graphic element associated with the function of the physical user-operable input device, displayed on the physical user-operable input device on the transmissive display. Device.

제9항에 있어서,
상기 명령어들은, 상기 물리적 사용자-작동가능 입력 장치를 기술하는 텍스트 정보를 갖는 텍스트 상자의 형태로 상기 이미지를 표시하도록 실행가능한 것인, 휴대용 투과형 디스플레이 장치. The method of claim 9,
And the instructions are executable to display the image in the form of a text box with text information describing the physical user-operable input device.

제13항에 있어서,
상기 명령어들은 또한, 상기 텍스트 상자의 선택을 수신하고, 이 선택의 수신에 응답하여 상기 휴대용 투과형 디스플레이 장치 상에 부가 정보를 표시하도록 실행가능한 것인, 휴대용 투과형 디스플레이 장치. The method of claim 13,
The instructions are also executable to receive a selection of the text box and display additional information on the portable transmissive display device in response to receiving the selection.

제9항에 있어서,
상기 명령어들은, 애니메이션의 형태로 상기 이미지를 표시하도록 실행가능한 것인, 휴대용 투과형 디스플레이 장치. The method of claim 9,
The instructions are executable to display the image in the form of an animation, a portable transmissive display device.

제9항에 있어서,
상기 제어 장치의 선택된 물리적 사용자-작동가능 입력 장치로의 상기 휴대용 투과형 디스플레이 장치의 사용자의 시선을 감지하도록 구성된 내향 센서를 더 포함하고, 상기 명령어들은 또한, 또 다른 입력 장치가 아닌 상기 선택된 물리적 사용자-작동가능 입력 장치의 외관을 증강시키는 이미지를 표시하도록 실행가능한 것인, 휴대용 투과형 디스플레이 장치.The method of claim 9,
Further comprising an inward sensor configured to sense the user's gaze of the portable transmissive display device to the selected physical user-operable input device of the control device, the instructions further comprising: the selected physical user- not another input device A portable transmissive display device that is executable to display an image that enhances the appearance of an operable input device.

제1 컴퓨팅 장치 상에서 제어 장치의 동작에 관한 정보를 제공하는 방법에 있어서,
제2 컴퓨팅 장치로부터, 상기 제어 장치의 하나 이상의 물리적 사용자-작동가능 입력 장치의 하나 이상의 기능에 관한 정보에 대한 요청을 수신하는 단계 - 상기 하나 이상의 기능은, 상기 제어 장치에 의해 제어되고 있고 상기 제2 컴퓨팅 장치로부터 분리되어 있는 연관된 컴퓨팅 장치에 제공되는 명령을 포함함 -;
상기 요청에 응답하여, 상기 정보를 상기 제2 컴퓨팅 장치로 송신하는 단계;
상기 제어 장치의 하나 이상의 물리적 사용자-작동가능 입력 장치의 하나 이상의 기능의 변화에 관한 정보를 수신하는 단계; 및
상기 물리적 사용자-작동가능 입력 장치의 기능의 변화와 관련된 수정된 정보를 상기 제2 컴퓨팅 장치로 송신하는 단계
를 포함하는, 제어 장치의 동작에 관한 정보를 제공하는 방법.A method for providing information regarding an operation of a control device on a first computing device, the method comprising:
Receiving, from a second computing device, a request for information regarding one or more functions of one or more physical user-operable input devices of the control device, the one or more functions being controlled by the control device and 2 includes instructions provided to an associated computing device that is separate from the computing device;
In response to the request, transmitting the information to the second computing device;
Receiving information regarding a change in one or more functions of one or more physical user-operable input devices of the control device; And
Transmitting modified information related to a change in function of the physical user-operable input device to the second computing device.
Method comprising providing information regarding the operation of the control device, including.

제17항에 있어서,
상기 제1 컴퓨팅 장치는 상기 제어 장치로부터 입력를 수신하도록 구성되고, 상기 방법은, 상기 제2 컴퓨팅 장치와의 직접 연결(direct connection)을 수립하는 단계와, 상기 직접 연결을 통해 상기 요청을 수신하는 단계를 더 포함하는 것인, 제어 장치의 동작에 관한 정보를 제공하는 방법. The method of claim 17,
The first computing device is configured to receive an input from the control device, the method comprising: establishing a direct connection with the second computing device, and receiving the request through the direct connection It further comprises a method of providing information about the operation of the control device.

제17항에 있어서,
네트워크를 통해 상기 제2 컴퓨팅 장치와의 연결을 수립하는 단계와, 상기 네트워크를 통해 상기 요청을 수신하는 단계를 더 포함하는, 제어 장치의 동작에 관한 정보를 제공하는 방법. The method of claim 17,
And establishing a connection with the second computing device over a network, and receiving the request over the network.

제17항에 있어서,
상기 요청과 함께 애플리케이션 정보를 수신하는 단계와, 상기 제어 장치의 상기 하나 이상의 물리적 사용자-작동가능 입력 장치를 위한 복수의 매핑들(mappings)을 송신하는 단계를 더 포함하고, 상기 복수의 매핑들 각각은, 상기 제어 장치에 의해 제어되고 있고 상기 애플리케이션 정보와 연관된 상기 연관된 컴퓨팅 장치 상에서 실행되는 애플리케이션의 상이한 상태에 대응하는 것인, 제어 장치의 동작에 관한 정보를 제공하는 방법.The method of claim 17,
Receiving application information along with the request, and transmitting a plurality of mappings for the one or more physical user-operable input devices of the control device, each of the plurality of mappings Is corresponding to a different state of an application being run on the associated computing device which is controlled by the control device and is associated with the application information.