KR20140091552A

KR20140091552A - 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이

Info

Publication number: KR20140091552A
Application number: KR1020147012981A
Authority: KR
Inventors: 애드리안 웡; 자이아오유 미아오
Original assignee: 구글 인코포레이티드
Priority date: 2011-11-14
Filing date: 2012-10-16
Publication date: 2014-07-21
Also published as: CN103946733A; US8183997B1; US8493204B2; KR101668165B1; EP2780757A4; US9838814B2; US20130124204A1; JP2015510283A; EP2780757A1; CN103946733B; US20130279705A1; JP5881263B2; WO2013074234A1

Abstract

(i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하는 예시적인 방법들 및 시스템들이 개시된다. 방법은 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하는 단계를 포함한다. 또한, 상기 방법은 (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 단계를 더 포함할 수 있다. 추가로, 상기 방법은 상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 단계를 포함할 수 있다.

Description

웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이{DISPLAYING SOUND INDICATIONS ON A WEARABLE COMPUTING SYSTEM}

본 출원은 그 전체 내용이 본 명세서에 참조로서 포함되고 2011년 11월 14일에 출원된, "웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이{Displaying Sound Indication on a Wearable Computing System}"의 명칭을 갖는 미국 가출원 번호 13/295,953의 우선권을 청구한다.

본 명세서에서 달리 표시되지 않는 한, 본 섹션에 서술된 내용들은 본 출원의 청구범위들에 대한 선행 기술이 아니고, 본 섹션에서 포함됨으로써 선행 기술로 인정되는 것은 아니다.

개인용 컴퓨터들, 랩톱 컴퓨터들, 태블릿 컴퓨터들과 같은 컴퓨팅 디바이스들, 셀룰러 폰들, 및 무수한 형태들의 인터넷-가능한 디바이스들은 현대 생활의 많은 양상들에 점점 더 보편화된다.

컴퓨터들이 더욱 발전될수록, 컴퓨터로 생성된 정보와 물리적 세계의 사용자의 지각을 조합하는(blend) 증강-현실 디바이스들(augmented-reality devices)은 더욱 보편화될 것으로 기대된다.

일 양상에서, 예시적인 방법은: (i) 웨어러블 컴퓨팅 시스템(wearable computing system)에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하는 단계와; (ii) (a) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 단계와; 그리고 (iii) 상기 웨어러블 컴퓨팅 시스템으로 하여금, (a) 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 단계를 포함하고, 상기 웨어러블 컴퓨팅 시스템은, 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하도록 조절한다.

다른 양상에서, 프로세서에 의한 실행에 응답하여, 상기 명령어들은 상기 프로세서로 하여금 동작들을 수행하도록 하는, 명령어들을 저장하는 비-일시적인(non-transitory computer readable medium) 컴퓨터 판독가능한 매체가 개시된다. 예시적인 실시예에 따라서, 상기 명령어들은: (i) 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하기 위한 명령어들과; (ii) (a) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하기 위한 명령어들과; (iii) 상기 웨어러블 컴퓨팅 시스템으로 하여금, (a) 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 명령어들과; 그리고 (iv) 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하도록 조절하는 명령어들을 포함한다.

또 다른 양상에서, 웨어러블 컴퓨팅 시스템이 개시된다. 예시적인 웨어러블 컴퓨팅 시스템은 (i) 헤드-마운티드 디스플레이(head-mounted display) - 상기 헤드-마운티드 디스플레이는 컴퓨터로 생성되는 정보를 디스플레이하고, 그리고 실제-세계 환경의 시각적 지각을 허용하도록 구성되고 - 와; (ii) 제어기 - 상기 제어기는 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하도록 그리고 (a) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하도록 구성되고 - 와; 그리고 디스플레이 시스템을 포함하고, 상기 디스플레이 시스템은 (a) 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 구성되고, 상기 제어기는, 또한, 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하는 것을 조절하도록 구성된다.

이뿐만 아니라 다른 양상들, 이점들 및 대안들은 첨부된 도면들을 적절하게 참조하여 하기의 상세한 설명을 읽음으로써 당업자에게 명확해질 것이다.

도 1은 예시적인 실시예에 따른 방법을 나타내는 흐름도이다.
도 2는 예시적인 실시예에 따른 예시적인 마이크로폰 어레이를 나타내는 도면이다.
도 3a은 예시적인 실시예에 따른 예시적인 디스플레이를 나타내는 도면이다.
도 3b는 예시적인 실시예에 따른 도 3a의 디스플레이에 포함될 수 있는 예시적인 화살표 크기들을 나타내는 도면이다.
도 4a는 예시적인 실시예에 따른 다른 예시적인 디스플레이를 나타내는 도면이다.
도 4b는 예시적인 실시예에 따른 예시적인 컬러-코딩된 스케일을 나타내는 도면이다.
도 4c는 예시적인 실시예에 따른 또 다른 예시적인 디스플레이를 나타내는 도면이다.
도 5는 예시적인 실시예에 따른 예시적인 세기 레벨 미터를 나타내는 도면이다.
도 6은 데이터를 수신, 전송, 및 디스플레이하는 예시적인 시스템을 나타낸다.
도 7은 도 6에 도시된 상기 시스템의 대안도를 나타낸다.
도 8a는 데이터를 수신, 전송, 및 디스플레이하는 예시적인 시스템을 나타낸다.
도 8b는 데이터를 수신, 전송, 및 디스플레이하는 예시적인 시스템을 나타낸다.
도 9는 예시적인 컴퓨터 네트워크 인프라스트럭쳐의 개략도를 나타낸다.
도 10a는 예시적인 실시예에 따른 예시적인 사운드-이벤트 표시자를 나타내는 도면이다.
도 10b는 예시적인 실시예에 따른 다른 예시적인 사운드-이벤트 표시자를 나타내는 도면이다.

다음의 상세한 설명은 첨부된 도면들을 참조하여 개시된 시스템들 및 방법들의 여러 특징들 및 기능들을 서술한다. 상기 도면들에서, 문맥이 다르게 표시되지 않으면, 유사한 기호들은 통상적으로 유사한 컴포넌트들을 식별한다. 본 명세서에서 서술되는 예시적인 시스템 및 방법 실시예들은 제한되도록 의도되지 않는다. 개시된 시스템들의 특정 양상들 및 방법들이, 본 명세서에서 고려되는 모든 매우 다양한 서로 다른 구성들에서 배열되고 결합될 수 있음이 용이하게 이해될 것이다.

I. 개관

웨어러블 컴퓨팅 시스템(wearable computing system)은 실제-세계 환경의 시각적인 지각(perception)을 허용하고 상기 실제-세계 환경의 지각에 관련되는 컴퓨터로 생성되는 정보를 디스플레이하도록 구성될 수 있다. 유리하게, 상기 컴퓨터로 생성되는 정보는 상기 실제-세계 환경의 사용자의 지각과 통합될 수 있다. 예를 들어, 상기 컴퓨터로 생성되는 정보는, 상기 물리적 세계에 대한 사용자의 지각을 컴퓨터로 생성되는 유용한 정보 또는 상기 사용자가 특정 순간에 인식하거나 경험하는 것과 관련되는 시야들로 보충할 수 있다.

일부 경우들에서, 웨어러블 컴퓨팅 시스템의 사용자는 듣는데 어려움을 가진 사람일 수 있다. 예를 들어, 상기 사용자는 난청 또는 심지어 귀머거리와 같은 청각 장애를 가질 수 있다. 그와 같이, 사용자가 상기 주변 환경의 사운드를 듣는데 어려움을 겪을 수 있다. 따라서, 상기 주변 환경의 사운드의 표시를 상기 사용자에게 제공하는 것은 유익할 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템으로부터의 사운드의 소스의 방향 그리고/또는 상기 사운드의 세기의 표시를 제공하는 것은 유익할 수 있다. 일 예로서, 사용자는 도로를 건너기 위해 횡단 보도에 있을 수 있고, 다가오는 차량은, 상기 차량이 횡단 보도를 거쳐 운전하고 있음을 상기 사용자에게 경고하기 위해 상기 사용자에게 경적을 울릴 수 있다. 그와 같은 경우에서, 상기 경적이 울리는 방향(예를 들어, 왼쪽 또는 오른쪽으로부터), 그리고 (다가오는 차량이 상기 사용자에게 얼마나 가까운지를 나타내기 위해) 상기 경적의 세기를 나타내는 것이 유용할 수 있다.

본 명세서에서 서술된 방법들 및 시스템들은 상기 실제-세계 환경에 존재하는 사운드의 표시를 제공하는데 용이할 수 있다.

예시적인 방법은: (a) 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하는 단계와; (b) (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 단계와; 그리고 (c) 상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 단계를 포함할 수 있다. 이러한 하나 이상의 표시들을 디스플레이함으로써, 사용자는 상기 주변 환경의 사운드들의 표시들을 유익하게 볼 수 있다.

예시적인 실시예에 따라, 상기 웨어러블 컴퓨팅 시스템은 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하는 것을 조절할 수 있다. 또한, 많은 타입들의 사운드가 가능하다. 일 예로서, 상기 표시는 (i) 상기 판독가능한 컴퓨팅 시스템으로부터 상기 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다 나타내는 단일 그래픽 표시(예를 들어, 화살표)일 수 있다. 다른 예로서, 상기 웨어러블 컴퓨팅 시스템은 (i) 상기 사운드의 소스의 방향을 나타내는 제1 표시(화살표) 및 (ii) 상기 사운드의 세기 레벨을 나타내는 제2 표시(예를 들어, 세기 미터)를 디스플레이할 수 있다.

Ⅱ. 예시적인 방법들

예시적인 방법들은 주변 환경의 사운드(sound)에 대한 하나 이상의 사운드 표시들을 디스플레이하는 웨어러블 컴퓨팅 시스템을 포함할 수 있다. 도 1은 예시적인 실시예에 따른 방법을 나타내는 흐름도이다. 더 구체적으로, 예시적인 방법(100)은 블록 102에 의해 도시되는 것처럼, 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하는 것을 포함한다. 상기 방법은, 이후, 블록 104에 의해 도시되는 것처럼, (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨(intensity level) 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 것을 포함할 수 있다. 또한, 상기 방법은, 이후, 블록 106에 의해 도시되는 것처럼, 상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 것을 포함할 수 있다.

상기 예시적인 방법(100)이 웨어러블 컴퓨팅 시스템(600, 800, 또는 820)과 같은 웨어러블 컴퓨팅 시스템에 의해 수행되고 있는 예로서 서술되지만, 예시적인 방법은 상기 웨어러블 컴퓨팅 시스템과 통신하는 원격 서버와 같이, 하나 이상의 다른 엔티티들과 통신하는 웨어러블 컴퓨팅 디바이스에 의해 실행될 수 있음이 이해되어야 한다.

A. 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하기

상기에서 언급된 것처럼, 블록 102에서, 상기 웨어러블 컴퓨팅 시스템은 오디오 데이터를 수신할 수 있다. 일 예에서, 상기 웨어러블 컴퓨팅 시스템은 상기 주변 환경의 사운드를 검출하기 위해 구성되는 복수의 마이크로폰들을 포함할 수 있다. 본 명세서에 전반에 사용되는 것처럼, "사운드(sound)"는 주변 환경에서 나타나는 하나의 사운드 이벤트(예를 들어, 한번의 벼락, 하나의 음표) 또는 주변 환경에서 나타나는 복수의 사운드들(예를 들어, 다수의 벼락들, 노래)을 포함할 수 있다. 또한, 상기 주변 환경의 사운드는 하나의 사운드 소스 또는 다수의 사운드 소스들로부터 나올 수 있다.

상기 주변 환경의 사운드를 검출하기 위해 구성되는 복수의 마이크로폰들은 복수의 방향들로부터 나오는 사운드를 검출하는 방식으로 배열될 수 있다. 예를 들어, 상기 마이크로폰들은 마이크로폰 어레이로 배열될 수 있다. 도 2는 마이크로폰 어레이(202)를 갖는 예시적인 웨어러블 컴퓨팅 시스템(200)을 나타낸다. 특히, 컴퓨팅 시스템(200)은 지향성 마이크로폰들(204a 내지 204e)의 어레이(202)를 포함한다. 지향성 마이크로폰들(204a 내지 204e) 각각은 대응하는 영역(206a 내지 206e) 각각 내의 오디오를 캡쳐하기 위해 배열된다. 지향성 마이크로폰 각각이 상기 대응하는 영역으로부터 나오는 사운드를 주로 검출하기 위해 위치되지만, 상기 마이크로폰들은 또한 다른 영역들로부터 나오는 사운드를 검출할 수 있다.

일 예에서, 마이크로폰들의 어레이(202)는, 도 6에서 도시되는 프레임들(604, 606 및 608)과 같은 상기 웨어러블 컴퓨팅 시스템의 프레임 또는 프레임들의 여러 지점들에 따라 배열될 수 있다. 또한, 상기 배열(202)이 대략 150도에 걸치는 영역들로부터 사운드들을 검출하기 위해 배열되지만, 다른 예시적인 실시예에 따른 배열은 더 넓은 각도(예를 들어, 최대 360도) 또는 더 좁은 각도에 걸치는 영역들로부터 나오는 사운드들을 검출할 수 있다.

일 예에서, 도 2를 참조하여, 웨어러블 컴퓨팅 시스템(200)의 주변 환경(207)은 다수의 사운드 소스들을 포함할 수 있다. 예를 들어, 사운드(210)의 제1 소스(208)는 영역(206a)에 위치될 수 있고, 사운드(214)의 제2 소스(212)는 영역(206d)에 위치될 수 있다. 상기 웨어러블 컴퓨팅 시스템(200)은 상기 주변 환경의 사운드에 대응하는 오디오 데이터를 수신할 수 있다. 특히, 상기 마이크로폰 어레이(202)는 사운드(210) 및 사운드(214)를 검출할 수 있다. 일 예에서, 각 마이크로폰은 상기 사운드(210 및 214)를 검출할 수 있다. 상기 어레이(202)에서 상기 마이크로폰들의 배열로 인해, 지향성 마이크로폰(204a 내지 204e) 각각은 다른 시간들에서 그리고/또는 다른 세기 레벨들에서 상기 사운드(210 및 214)를 검출할 수 있다.

B. 오디오 데이터 분석

상기 주변 환경의 사운드를 검출한 후, 상기 웨어러블 컴퓨팅 시스템은 분석을 위해 도 9에서 도시된 프로세서(914)와 같은, 프로세서에 오디오 데이터를 전송할 수 있다. 특히, 상기 웨어러블 컴퓨팅 시스템은, 블록 104에서, (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 것을 포함할 수 있다.

상기 사운드의 소스의 웨어러블 컴퓨팅 시스템으로부터의 방향을 결정하기 위해, 상기 웨어러블 컴퓨팅 시스템은 상기 마이크로폰들(204a-204e)에 의해 수집된 상기 오디오 데이터를 분석할 수 있다. 상기에서 언급된 것처럼, 일 예에서, 마이크로폰 각각은 사운드(202) 및 사운드(214)를 검출할 수 있다. 하지만, 지향성 마이크로폰(204a-204e) 각각은 다른 시간에서 그리고/또는 다른 세기 레벨에서 상기 사운드(210 또는 214)를 검출할 수 있다. 예를 들어, 사운드(210)는, 사운드(210)가 마이크로폰들(204b-e)에 의해 검출되기 전에 마이크로폰(204a)에 의해 검출될 가능성이 있다. 마찬가지로, 사운드(214)는, 사운드(214)가 마이크로폰(204a-c 및 204e)에 의해 검출되기 전에 마이크로폰(204d)에 의해 검출될 가능성이 있다. 여러 마이크로폰들에서 사운드의 검출 사이에서 시간 차에 기초하여, 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 소스의 방향을 결정할 수 있다. 그와 같은 오디오 데이터의 방향 분석은 당업계에 잘 알려져 있다. 어레이(202)에 의해 검출되는 상기 오디오 데이터에 기초하여, 상기 시스템은, 사운드(210)의 소스(208)가 영역(206a)에 위치됨과 사운드(214)의 소스(212) 영역(206d)에 위치됨을 결정할 수 있다.

또한, 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 세기 레벨(예를 들어, 볼륨)을 결정하기 위해 상기 오디오 데이터를 분석할 수 있다. 사운드의 세기 레벨을 결정하는 것은 당업계에 잘 알려져 있다. 예로서, 상기 세기 레벨은, 상기 사운드가 위치되는 영역의 마이크로폰에 의해 검출되는 상기 사운드의 세기 레벨일 수 있다. 다른 예에서, 상기 세기 레벨은 상기 어레이 내의 마이크로폰 각각에 의해 수신되는 상기 사운드의 평균 세기 레벨일 수 있다.

상기 주변 환경의 사운드의 세기 레벨은 시간에 따라 변할 수 있음을 주목해야 한다. 예를 들어, 소스(208)는 사람의 말일 수 있고, 사용자의 음성의 볼륨은 시간에 걸쳐 변할 수 있다. 다른 예로서, 상기 소스는 시간에 걸쳐 세기에서 변하는 사운드를 출력하는 악기일 수 있다. 다른 예들도 가능할 수 있다.

또한, 세기 측정들은 상기 사운드의 소스의 방향을 결정하는데 도움을 줄 수 있는데, 이는 상기 마이크로폰들이 상기 소스에 더 가깝게 근접할수록 약간 높은 세기 레벨로 상기 사운드를 기록할 수 있는 것과 같다.

C. 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 표시하는 하나 이상의 표시들을 디스플레이하도록 하는 것

상기 오디오 데이터를 분석하는 것에 응답하여, 상기 웨어러블 컴퓨팅 시스템은, 블록 106에서, 상기 사운드의 소스의 방향 및 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이한다. 상기 하나 이상의 표시들은 상기 주변 환경의 사운드에 관련된 가치있는 정보를 사용자에게 유익하게 제공할 수 있다. 이러한 디스플레이된 방향들은 상기 주변 환경에 존재하는 상기 사운드에 난청인 사용자에게 경고하는 것을 도울 수 있다. 다른 예에서, 이러한 디스플레이된 표시들은, 난청인 사용자가 사운드가 들리는 주변 환경을 시각화하는 것을 도울 수 있다.

i. 단일 그래픽 표시

하나 이상의 표시들은 (i) 상기 웨어러블 컴퓨팅 시스템으로부터 상기 소스의 방향 및 (ii) 상기 세기 레벨 둘다를 표시하는 단일 그래픽 표시를 포함할 수 있다. 예를 들어, 상기 단일 그래픽 표시는 화살표일 수 있다.

도 3a는 웨어러블 컴퓨팅 시스템의 예시적인 디스플레이(300)를 나타낸다. 이 예에서, 소스(208)는 디스플레이(300)의 시간에서 음성의 유일한 소스이다(즉, 소스(212)는 이 시간에서 어떤 음성도 만들어 내지 않는다). 디스플레이(300)는 음성(210)에 대한 단일 그래픽 표시를 포함한다. 특히, 도 3a에서, 사운드(210)의 소스는 사람의 대화이다. 화살표(302)의 단일 그래픽 표시는 (i) 상기 웨어러블 컴퓨팅 시스템으로부터 소스의 방향 및 상기 세기 레벨 둘다를 표시한다. 이 예에서, 화살표(302)는 상기 사운드의 소스 근처에 위치된다. 특히, 상기 화살표(302)는 상기 사운드의 소스의 약간 위에 위치된다. 상기 화살표는, 상기 사운드가 나오는 방향의 사용자를 명확하게 표시할 수 있다. 다른 예들에서, 상기 화살표는 상기 소스의 약간 왼쪽 또는 오른쪽에 위치될 수 있거나, 상기 소스(208) 위에 오버레이된다.

상기에서 언급한 것처럼, 상기 사운드의 세기 레벨은 시간에 따라 변할 수 있다. 따라서, 예에서, 화살표의 크기는 변화하는 세기 레벨에 기초하여 변할 수 있다. 예를 들어, 사람의 목소리는, 상기 사람이 얼마나 크게 이야기하는지에 따라 0 데시벨에서 60 데시벨(dB)의 범위에 이를 수 있다. 예를 들어, 상기 디스플레이에서의 화살표의 크기는 사운드(210)의 세기 레벨에 기초하여 변할 수 있다. 도 3b는 디스플레이(300)에 포함될 수 있는 예시적인 화살표 크기들을 나타낸다. 이 예에서, 화살표(310)는 60dB과 관련되고, 화살표(312)는 50dB과 관련되고, 화살표(314)는 40dB과 관련되고, 화살표(316)는 30dB과 관련되고, 화살표(318)는 20dB과 관련되고, 그리고 화살표(320)는 10dB과 관련된다. 물론, 상기에서 언급된 데시벨들 사이의 다른 데시벨 레벨들에 대한 화살표들도 포함될 수 있다. 더 큰 세기 레벨들에 대한 더 큰 화살표를 디스플레이함으로써, 상기 웨어러블 컴퓨팅 시스템의 사용자는, 큰 사운드가 주변 환경에 존재할 때를 알 것이다. 일 예에서, 주변 환경의 사운드가 더 클수록, 사용자가 사운드에 주의를 기울이거나 사운드를 인식할 가능성은 더 커진다. 따라서, 사용자가 디스플레이되는 큰 화살표를 볼 때, 이러한 디스플레이는 사용자에게 주변 환경에 주의를 기울이도록 지시할 것이다.

상기에서 언급한 것처럼, 상기 주변 환경에 2개 이상의 사운드의 소스들이 존재할 수 있다. 따라서, 상기 웨어러블 컴퓨팅 시스템은 상기 복수의 사운드들 각각에 대응하는 오디오 데이터를 수신할 수 있고, 그리고 (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스 각각의 방향 및 (ii) 사운드 각각의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석할 수 있다. 이후, 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 방향 및 상기 사운드의 세기 레벨을 표시하기 위해 사운드 각각에 대한 하나 이상의 표시들을 디스플레이할 수 있다. 예를 들어, 도 4a,에서 도시된 것처럼, 사람(228) 및 사람(212)은 동시에 말을 할 수 있다. 도 4a는 사운드(210)에 대한 제1 표시(402) 및 사운드(214)에 대한 제2 표시(404)를 포함하는 예시적인 디스플레이(400)를 나타낸다. 이러한 예에서, 상기 표시들은 각각의 대화자들 위의 헤일로(halo)들이다.

이러한 헤일로들은 상기 사운드의 소스의 방향 둘다 나타내고, 또한 상기 세기를 또한 나타낼 수 있다. 이러한 예에서, 상기 헤일로의 크기는 다른 세기들에 대해 변할 수 있다. 하지만, 다른 예에서, 서로 다른 컬러들은 상기 음성의 서로 다른 세기 레벨들에 대해 디스플레이될 수 있다. 예를 들어, 상기 헤일로들은 변하는 세기 레벨들을 나타내기 위해 컬러-코딩될 수 있다. 예를 들어, 도 4b는 서로 다른 컬러 코드들의 스케일(408)을 나타낸다. 이 예에서, 컬러(410)는 60dB과 관련되고, 화살표(412)는 50dB과 관련되고, 화살표(414)는 40dB과 관련되고, 화살표(416)는 30dB과 관련되고, 화살표(418)는 20dB과 관련되고, 그리고 화살표(420)는 10dB과 관련된다. 일 예에서, 밝은 컬러들은 높은 세기 레벨들과 관련될 수 있다.

다른 예에서, 세기에 대한 표시는 컬러-코딩된 사운드 맵을 포함할 수 있다. 예를 들어, 도 4c는 컬러-코딩된 사운드 맵을 갖는 예시적인 디스플레이(450)를 나타낸다. 특히, 상기 사운드의 소스에 대응하는 상기 디스플레이의 영역들은 상기 사운드의 세기 레벨을 나타내기 위해 착색될 수 있다. 또한, 상기 사운드의 소스들에 대응하지 않는 상기 디스플레이의 영역들은 착색될 수 없다(즉, 상기 영역들은 사용자에 의해 수신되는 자신 본래의 컬러를 유지할 수 있다). 이 예에서, 소스(212)는 컬러(412)인 반면에, 소스(208)는 컬러(416)이다. 따라서, 상기 사용자는, 소스(212)로부터의 사운드가 소스(208)로부터의 사운드보다 더 큰 것(즉, 사람(212)이 사람(208)보다 더 크게 이야기한 것)을 알 수 있을 것이다.

또 다른 예로서, 예시적인 단일 그래픽 표시는 사운드의 소스 상에 또는 소스 근처에 배치되는 발광 신호(flashing light)일 수 있다. 상기 발광 신호의 위치는 상기 웨어러블 컴퓨터로부터의 소스의 방향을 나타내고, 상기 발광 신호의 주파수는 여러 세기 레벨들을 나타내기 위해 조정될 수 있다.

다른 예로서, 세기의 표시는 원형 표시자(circular indicator)를 포함할 수 있다. 예를 들어, 그래픽 표시자는 상기 음향의 도달 각도에 대응하는 상기 원형 표시자 상의 위치에 놓여질 수 있다. 추가로, 상기 원의 중심으로부터의 거리는 상기 사운드 세기 레벨에 대응할 수 있다. 원형 표시자는, 예를 들어, 360도 전체에 걸친 도달 각도를 캡쳐할 수 있는 시스템의 경우에서 유용할 수 있다. 일 예에서, 상기 원형 표시자는 웨어러블 컴퓨팅 시스템의 디스플레이 스크린의 하나의 주변부, 예를 들어, 상기 디스플레이 스크린의 코너들 중 하나에서 디스플레이될 수 있다.

도 10a 및 도 10b는 예시적인 원형 표시자들을 나타낸다. 특히, 도 10a는 예시적인 원형 표시자(1000)를 나타낸다. 원형 표시자(1000)는 원(1002) 및 세기 바(intensity bar)(1004)를 포함한다. 이 예에서, 상기 세기 바(1004)의 위치는, 상기 사운드의 소스가 상기 사용자의 바로 뒤에 있음을 나타내는 역할을 할 수 있다. 또한, 상기 원(1002)의 중앙(1006)으로부터의 세기 바(1004)의 길이는 상기 사운드의 세기 레벨을 나타내는 역할을 할 수 있다. 예를 들어, 상기 세기 바는 덜 강한 사운드에 대해 더 짧을 수 있고(즉, 상기 중앙으로부터 더 멀고), 그리고 상기 세기 바는 더 강한 사운드에 대해 더 길 수 있다(즉, 상기 중앙으로부터 더 가까울 수 있다). 도 10b는 다른 예의 원형 표시자(1010)를 나타낸다. 이 예에서, 상기 원형 표시자는 원(1012) 및 세기 바(1014)를 포함한다. 상기 세기 바(1014)는, 상기 사운드의 소스가 상기 사용자의 왼쪽에 있음을 나타내는 역할을 할 수 있다. 또한, 상기 세기 바(1014)의 길이는 상기 사운드의 세기 레벨을 나타낸다. 도 10a에서 디스플레이되는 상기 사운드 세기와 비교하여, 도 10b에서 디스플레이되는 상기 사운드의 세기는 더 낮다.

일 예에서, 세기 바를 포함하는 것과 달리, 상기 원형 표시자는 상기 사운드의 세기를 나타내기 위한 크기가 될 수 있는 화살표를 포함할 수 있다. 또 다른 예에서, 상기 원형 표시자는 상기 원 상에 위치되는 그래픽(예를 들어, 점)을 포함할 수 있고, 그리고 상기 점은 상기 사운드의 세기에 기초한 컬러를 변경할 수 있다. 상기 원형 표시자가 상기 사운드의 세기 레벨을 나타내기 위해 사용될 수 있는 다른 그래픽들을 포함할 수 있는 것이 이해되어야 한다.

ii . 방향 및 세기에 대한 개별 표시들

다른 예에서, 상기 하나 이상의 표시들은 상기 사운드의 소스의 방향을 나타내는 제1 표시 및 상기 사운드의 세기 레벨을 나타내는 제2 표시를 포함할 수 있다. 예를 들어, 상기 제1 표시는 상기 사운드의 소스의 방향을 나타내는 화살표 또는 헤일로일 수 있고, 그리고 상기 제2 표시는 세기 미터(intensity meter) 또는 컬러 코딩된 사운드 맵일 수 있다. 예시적인 세기 미터(500)가 도 5에서 도시된다. 상기 예에서, 상기 세기 미터는 0dB에서 150dB 사이의 범위를 가질 수 있고, 바(502)는 상기 사운드의 세기 레벨(이 예에서는 100dB)을 나타낸다. 상기 사운드의 세기 레벨은 시간에 따라 변할 수 있고, 바(502)의 크기는 상기 세기 레벨과 동조하여 변할 수 있다.

세기 미터(502)와 같은 세기 미터는 상기 디스플레이의 여러 위치들에서 디스플레이될 수 있다. 예를 들어, 상기 세기 미터는 상기 디스플레이의 주변에서 디스플레이될 수 있다. 다른 예에서, 상기 세기 미터는 상기 사운드의 소스 근처에서 디스플레이될 수 있다. 또한, 다수의 사운드 소스들이 존재하는 경우에, 상기 웨어러블 컴퓨팅 시스템은 사운드의 각각의 소스에 대한 세기 미터를 디스플레이할 수 있다.

iii . 사용자의 시야 바깥의 사운드의 소스들

일 예에서, 상기 사운드의 소스는 상기 사용자의 시야 바깥에 존재할 수 있다. 상기 웨어러블 컴퓨팅 시스템은 대략 180도로 걸친 상기 웨어러블 컴퓨팅 시스템의 실제 환경의 시야를 제공할 수 있다. 상기 웨어러블 컴퓨팅 시스템은, 상기 주변 환경의 시야 바깥에 있는 소스로부터 들어오는 사운드를 검출할 수 있다. 예를 들어, 상기 사운드의 소스는 상기 사용자의 뒤에 존재할 수 있거나, 사용자의 주변 시야를 벗어나 사용자의 왼쪽 또는 오른쪽에 존재할 수 있다. 상기 웨어러블 컴퓨팅 시스템은, 상기 사운드의 소스가 상기 시야 바깥에 존재하는지 또는 상기 시야의 내부에 존재하는지를 결정할 수 있다. 일 예에서, 상기 웨어러블 컴퓨팅 시스템은 상기 웨어러블 컴퓨팅 시스템 주변에 존재하는 복수의 마이크로폰들을 포함할 수 있어, 상기 마이크로폰들은 임의의 방향(즉, 360도에 걸친)으로부터 사운드들을 검출할 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템은 상기 사용자의 머리 주변의 120도의 간격을 두는 3개의 마이크로폰들의 삼각형 배치를 포함할 수 있다. 다른 마이크로폰 배치들도 가능할 수 있다.

예시적인 표시는 상기 시야의 주변에 있는 발광 시야일 수 있다. 예를 들어, 상기 디스플레이는 상기 디스플레이의 주변의 일정 지점, 예를 들어, 디스플레이(450)의 주변(472)의 지점(470)에서의 발광 표시를 포함할 수 있다. 이러한 발광 표시는, 사운드가 상기 사용자의 시야의 외부에서 검출된 것을 사용자에게 나타낼 수 있다.

iv . 임계치 세기 레벨을 넘는 사운드들을 디스플레이하기

일 예에서, 방법은 상기 웨어러블 컴퓨팅 시스템으로 하여금 특정 임계 레벨보다 큰 세기 레벨에 대해서 하나 이상의 표시들을 디스플레이하도록 조절하는 단계를 포함할 수 있다. 따라서, 상기 주변 환경의 사운드의 세기 레벨을 결정한 후, 상기 웨어러블 컴퓨팅 시스템은 상기 세기 레벨이 특정 임계 레벨을 초과하는지 여부를 결정할 수 있다. 상기 세기 레벨이 상기 특정 임계 레벨을 초과하면, 상기 웨어러블 컴퓨팅 시스템은 하나 이상의 표시들을 디스플레이할 수 있다. 하지만, 상기 세기 레벨이 상기 특정 임계 레벨을 초과하지 않으면, 상기 웨어러블 컴퓨팅 시스템은 상기 하나 이상의 표시들을 디스플레이할 수 없다.

이러한 조절 단계는, 상기 사용자가 표시를 보는데 관심없을 수 있는 경우, 예를 들어, 배경 잡음을 필터링하는 경우에 유용할 수 있다. 일 예에서, 상기 웨어러블 컴퓨팅 시스템은, 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 5dB이 넘을 때 하나 이상의 표시들을 디스플레이하도록 조절한다. 다른 예시적인 임계치들도 가능하고, 그리고 상기 사용자는 상기 웨어러블 컴퓨팅 시스템이 요구된 레벨, 예를 들어, 1dB과 20dB 사이의 임계 레벨을 갖도록 구성할 수 있다.

다른 예에서, 사용자는 상기 웨어러블 컴퓨팅 시스템을 착용할 수 있고, 상기 웨어러블 컴퓨팅 시스템의 디스플레이는 처음에는 전원이 꺼질 수 있다. 예를 들어, 상기 디스플레이는 하나 또는 다른 이유로 꺼질 수 있다. 하지만, 상기 디스플레이의 전원이 꺼질지라도, 상기 웨어러블 컴퓨팅 시스템은 사운드를 검출할 수 있다. 상기 시스템은 상기 세기 레벨이 특정 임계 레벨을 넘는지를 결정할 수 있다. 상기 세기 레벨이 상기 특정 임계 레벨을 넘는다고 결정하는 것에 응답하여, 상기 시스템은 상기 하나 이상의 표시들을 디스플레이하기 위해 상기 디스플레이를 활성화할 수 있다.

V. 이동 평균 윈도우에 대한 세기 레벨을 디스플레이하기

일 예에서, 사운드의 절대 세기를 나타내기보다는, 사운드 이벤트의 세기 레벨의 디스플레이는 상기 사운드 이벤트의 절대 세기 레벨과 상기 주변 환경의 사운드의 이동 평균 윈도우(moving average window)의 세기 레벨과의 차이로 나타낼 수 있다. 상기 이동 평균 윈도우는 미리결정된 시간 기간의 이동 평균 윈도우일 수 있다. 예를 들어, 상기 이동 평균 윈도우는 30초일 수 있다. 물론, 상기 이동 평균 윈도우는 더 길거나 더 짧은 기간일 수 있다.

사운드 이벤트의 세기 레벨을 상기 사운드 이벤트의 절대 세기 레벨과 상기 주변 환경의 사운드의 이동 평균 윈도우의 세기 레벨과의 차이로 나타냄으로써, 상기 디스플레이되는 사운드 세기는 사용자가 위치되는 상기 특정 환경에 맞춰질 수 있다. 이것은 사용자의 특정 사운드 환경에서 사용자와 관련된 사운드들을 나타내는 역할을 하는데 도움이 될 수 있다. 예를 들어, 웨어러블 컴퓨팅 시스템의 사용자가 매우 조용한 환경(예를 들어, 텅빈 방)에 있으면, 마지막 30초 동안의 평균 사운드 전력은 낮을 수 있을 것이다. 문에 가벼운 노크를 하는 것과 같은 조용한 일이 돌발적으로 일어날 수 있다. 상기 가벼운 노크의 사운드 세기는 마지막 30초 동안의 평균 사운드 전력인 낮을 것으로 예상되는 사운드 전력에 대해 디스플레이될 수 있다.

반면에, 웨어러블 컴퓨팅 시스템의 사용자가 매우 시끄러운 환경(예를 들어, 시끄러운 공장)에 있으면, 마지막 30초 동안의 평균 사운드 전력은 높을 것이다. 사운드 세기 레벨들은 상기 매우 시끄러운 환경의 평균 사운드 전력에 대해 디스플레이될 것이다. 또한, 상기에서 언급된 것처럼, 일부 예들에서, 상기 웨어러블 컴퓨팅 시스템은 특정 임계치보다 높은 사운드 세기를 디스플레이하는 것을 조절할 수 있다. 상기 특정 임계치는 평균 잡음 플로어에 기초할 수 있다. 예를 들어, 사운드 세기를 디스플레이하는 것을 조절하기 위한 특정 임계치는 조용한 환경보다 시끄러운 환경에 대해 더 클 수 있다. 상기에서 논의된 예들을 사용하여, 조용한 환경에서, 상기 평균 잡음 플로어는 상기 조용한 방의 평균 잡음 레벨 근처의 레벨로 설정될 수 있다. 반면에, 상기 시끄러운 환경에서, 상기 평균 잡음 플로어는 상기 시끄러운 공장의 평균 잡음 근처의 레벨로 설정될 수 있다. 유익하게, 평균 잡음 플로어에 기초한 임계 레벨을 조정함으로써, 상기 웨어러블 컴퓨팅 시스템은, 사용자가 위치되는 특정 사운드 환경에 관련한 사운드를 상기 웨어러블 컴퓨팅 시스템이 디스플레이하는 것을 보장할 수 있다.

일 예에서, 상기 웨어러블 컴퓨팅 시스템은 이러한 이동-평균 분석을 연속적으로 실행하도록 구성될 수 있다. 상기 이동-평균 분석을 연속적으로 실행함으로써, 사용자가 서로 다른 환경에서(예를 들어, 조용한 환경에서 시끄러운 환경으로) 이동할 때 사용자는 상기 임계 레벨을 수동적으로 변경시킬 필요가 없다.

vi . 사운드의 부가적인 표시들

상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 상기 사운드의 세기 레벨의 표시들을 디스플레이하는 것에 부가하여, 다른 표시들이 또한 가능하다. 상기에서 언급한 것처럼, 상기 주변 환경의 사운드는 말(speech)일 수 있다. 일 예에서, 상기 방법은 상기 말의 텍스트를 결정하는 말-대-텍스트 특징을 더 포함할 수 있다. 상기 말의 텍스트를 결정한 후, 상기 방법은 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 말의 텍스트를 디스플레이하도록 하는 것을 포함할 수 있다. 일 예에서, 상기 웨어러블 컴퓨팅 시스템은 상기 사람의 대화 위에 말 풍선(speech bubble)을 디스플레이할 수 있고, 여기서 상기 말 풍선은 말하는 사람의 말을 포함한다.

다른 가능한 사운드 표시는, 상기 사운드의 표시가 무엇인지를 나타내는 표시이다. 일 예에서, 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 소스를 결정할 수 있고, 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 소스에 관련한 정보를 제공할 수 있다. 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 소스를 결정하기 위해 상기 오디오 데이터를 분석할 수 있고, 이후, 상기 사운드의 소스를 표시하는 다른 표시를 디스플레이할 수 있다. 예를 들어, 상기 다른 표시는 상기 사운드의 소스(개, 고양이, 사람, 악기, 자동차 등)를 표시하는 다른 표시를 디스플레이할 수 있다.

예를 들어, 상기 웨어러블 컴퓨팅 시스템은 텍스트 표시와 상기 사운드의 소스를 매칭하기 위해 상기 사운드를 분석할 수 있다. 일 예에서, 원격 서버는 사운드 스니펫(sound snippet)들의 데이터베이스를 포함할 수 있고, 스니펫 각각은 소스와 관련되고 있다. 상기 서버는 매칭을 식별하기 위해 상기 검출된 사운드와 사운드 스니펫들의 데이터베이스 내의 여러 사운드들을 비교할 수 있다. 일단 상기 사운드의 소스를 식별하면, 상기 웨어러블 컴퓨팅 시스템은 상기 소스에 관한 정보를 디스플레이할 수 있다. 예를 들면, 상기 웨어러블 컴퓨팅 시스템은 상기 소스를 식별하는 정보를 디스플레이할 수 있다. 예를 들어, 상기 사운드는 주어진 차량의 엔진으로부터의 사운드일 수 있다. 상기 웨어러블 컴퓨팅 시스템은 차량의 타입을 디스플레이할 수 있다. 다른 정보가 제공될 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템은 상기 차량의 시장 가격 그리고/또는 상기 차량이 구입될 수 있는 장소들에 관련된 정보를 디스플레이할 수 있다.

다른 예에서, 상기 웨어러블 컴퓨팅은 상기 사운드의 소스에 대응하는 비디오를 디스플레이할 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템은 해변으로부터의 사운드들(예를 들어, 부서지는 파도들) 검출할 수 있다. 상기 웨어러블 컴퓨팅 시스템은 해변 및 부서지는 파도들의 비디오를 디스플레이할 수 있다. 이 비디오는, 사용자가 들리는 소리로 세계를 시각화하는 것을 도울 수 있다.

또 다른 예에서, 다른 가능한 사운드 표시는 상기 사운드의 오디오 주파수를 나타내는 표시이다. 오디오 주파수는, 예를 들어, 음높이(pitch)를 결정하는 소리의 특성이고, 상기 오디오 주파수는 헤르쯔(Hz)로 측정될 수 있다. 일반적으로, 사람들은 통상적으로 20 Hz 내지 20,000 Hz의 범위 내의 주파수들을 들을 수 있다. 하지만, 주파수들 각각의 범위는 환경 팩터들에 의해 영향을 받을 수 있다.

상기 웨어러블 컴퓨팅 시스템은 다양한 방식들로 상기 사운드를 분석하고 상기 사운드의 오디오 주파수를 결정할 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템은 주파수 도메인 또는 시간 도메인 중 하나에서 알고리즘들에 의해 상기 사운드의 오디오 주파수를 분석할 수 있다. 전자는 입력 신호의 주파수 변환에서 정현파 피크들(sinusoidal peaks)의 위치를 찾기 위한 시도를 할 수 있다. 후자는 파장과 파장의 시간 지연된 버전 사이의 유사성들을 검출하기 위해 자기상관함수들을 사용할 수 있다. 상기 사운드의 오디오 주파수를 결정한 후, 상기 웨어러블 컴퓨팅 시스템은 상기 결정된 오디오 주파수의 표시를 디스플레이할 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템은 상기 결정된 오디오 주파수 값을 디스플레이할 수 있다. 다른 예로서, 상기 웨어러블 컴퓨팅 시스템은 오디오 주파수 스케일을 디스플레이할 수 있다.

사운드의 오디오 주파수를 결정하는 것과 상기 오디오 주파수의 표시를 디스플레이하는 것은 다양한 이유들로 유익할 수 있다. 오디오 주파수를 시각화할 수 있는 예시적인 이점은, 사용자가 고주파 잡음들에 노출되는 상태를 경험할 수 있다는 것이다. 그와 같은 상태에서, 높은 오디오 주파수의 표시의 디스플레이는 높은 오디오 주파수를 갖는 사운드를 듣는 사용자에게 경고하는 것을 도울 수 있다. 이러한 경고는, 예를 들어, 높은 오디오 주파수 사운드로 인한 청각 장애를 방지하기 위해 사용자가 행동을 취하도록 영향을 미치는 역할을 할 수 있다.

여전히 또 다른 예에서, 다른 가능한 사운드 표시는 위너 엔트로피(Wiener entropy)를 나타내는 표시이다. 위너 엔트로피는 사운드 스펙트럼의 기하 평균 대 산술 평균의 비로서 분석될 수 있다. 특히, 위너 엔트로피는 0과 1 사이의 스케일 상의 사운드의 임의의 측정이고, 이는 상기 사운드가 백색 소음(white noise)인지 하모닉 사운드(harmonic sound) 인지를 구별하기 위해 사용될 수 있다. 따라서, 상기 웨어러블 컴퓨팅 시스템의 사용자(예를 들어, 듣는데 장애가 있는 사용자)는, 사운드가 백색 소음인지 하모닉 사운드인지를 유익하게 결정할 수 있다.

상기에서 서술된 예시적인 사운드 표시들에 부가하여, 상기 사운드의 다른 표시들도 가능할 것이다.

Ⅲ. 예시적인 시스템들 및 디바이스들

도 6은 데이터를 수신하고, 전송하고 디스플레이하는 예시적인 시스템(600)을 나타낸다. 시스템(600)은 웨어러블 컴퓨팅 디바이스의 형태로 도시된다. 시스템(600)은 방법(100)을 실행하기 위해 구성될 수 있다. 도 6은 웨어러블 컴퓨팅 디바이스의 예로서 헤드-마운티드 디바이스(head-mounted device)(602)를 도시하지만, 다른 타입들의 웨어러블 컴퓨팅 디바이스들은 부가적으로 대안으로 사용될 수 있다. 도 6에서 도시되고 있는 것처럼, 헤드-마운티드 디바이스(602)는 렌즈 프레임들(604, 606) 및 중앙 프레임 지지대(608)를 포함하는 프레임 요소들, 렌즈 요소들(610, 612), 및 확장된 사이드-암들(614, 616)을 포함한다. 중앙 프레임 지지대(608) 및 확장된 사이드-암들(614, 616)은 사용자들의 코 및 귀들 각각을 통해 사용자의 얼굴에 헤드-마운티드 디바이스(602)를 고정시키기 위해 구성된다.

프레임 요소들(604, 606 및 608) 각각 및 확장된 사이드-암들(614 및 616)은 플라스틱 그리고/또는 금속의 고형 구조(solid structure)로 형성될 수 있거나, 또는 배선 및 컴포넌트 상호접속들이 헤드-마운티드 디바이스(602)를 통해 내부로 연결되는 것을 허용하도록 유사한 재료의 속이 텅빈 구조(hollow structure)로 형성될 수 있다. 다른 재료들도 가능할 수 있다.

하나 이상의 렌즈 요소들(610, 612) 각각은 투사된 이미지 또는 그래픽을 적합하게 디스플레이할 수 있는 임의의 재료로 형성될 수 있다. 렌즈 요소들 각각(610, 612)은, 또한, 사용자가 상기 렌즈 요소들을 통해 보는 것을 허용하도록 충분히 투명할 수 있다. 상기 렌즈 요소들의 이러한 2가지 특징들을 결합하는 것은, 투사된 이미지 또는 그래픽이 렌즈 요소들을 통해 사용자에 의해 감지되는 실제 세계의 시야 위에 중첩되는, 증강 현실(augmented reality) 또는 헤드-업 디스플레이를 용이하게 할 수 있다.

확장된 사이드-암들(614, 616)은 상기 렌즈들(604, 606) 각각으로부터 헤드-마운티드 디바이스(602)를 상기 사용자에게 고정시키도록 사용자의 귀 뒤에 위치될 수 있다. 확장된 사이드-암들(614, 616)은 사용자의 머리의 뒷부분 주변으로 확장됨으로써 상기 사용자에게 헤드-마운티드 디바이스(602)를 더 고정시킬 수 있다. 부가적으로 또는 대안으로, 예를 들어, 상기 시스템(600)은 헤드-마운티드 헬멧 구조에 접속되거나 헤드-마운티드 헬멧 구조 내에 부착될 수 있다. 다른 가능성들도 존재한다.

상기 시스템(600)은 또한 온-보드 컴퓨팅 시스템(618), 비디오 카메라(620), 센서(622), 및 손가락으로 동작가능한 터치 패드(624)를 포함할 수 있다. 상기 온-보드 컴퓨팅 시스템(618)은 상기 헤드-마운티드 디바이스(602)의 확장된 사이드-암(614)에 위치되는 것으로 도시된다; 하지만, 상기 온-보드 컴퓨팅 시스템(618)은 상기 헤드-마운티드 디바이스(602)의 다른 부분들에 제공될 수 있거나, 또는 상기 헤드-마운티드 디바이스(602)로부터 멀리 위치될 수 있다(예를 들어, 상기 온-보드 컴퓨팅 시스템(618)은 상기 헤드-마운티드 디바이스(602)에 무선 또는 유선-접속될 수 있다). 상기 온-보드 컴퓨팅 시스템(618)은, 예를 들어, 프로세서 및 메모리를 포함할 수 있다. 상기 온-보드 컴퓨팅 시스템(618)은 비디오 카메라(620) 및 손가락으로 동작가능한 터치 패드(624)로부터 (그리고 가능하면 다른 감지 디바이스들, 사용자 인터페이스들 또는 둘다로부터) 데이터를 수신 및 분석하고 렌즈 요소들(610 및 612)에 의해 출력되는 이미지들을 생성하도록 구성될 수 있다.

상기 비디오 카메라(620)는 헤드-마운티드 디바이스(602)의 확장된 사이드-암(614)에 위치되는 것으로 도시된다; 하지만, 상기 비디오 카메라(620)는 상기 헤드-마운티드 디바이스(602)의 다른 부분들에 제공될 수 있다. 상기 비디오 카메라(620)는 다양한 해상도들로 또는 서로 다른 프레임 레이트들로 이미지를 캡쳐하도록 구성될 수 있다. 셀-폰들 또는 웹캠들에서 사용되는 것 같은 작은 폼 팩터(form-factor)를 갖는 많은 비디오 카메라들은 시스템(600)의 일 예에 포함될 수 있다.

또한, 도 6이 하나의 비디오 카메라(620)를 도시하지만, 많은 비디오 카메라들이 사용될 수 있고, 각각의 비디오 카메라는 동일한 시야를 캡쳐하기 위해 또는 서로 다른 시야들을 캡쳐하기 위해 구성될 수 있다. 예를 들어, 비디오 카메라(620)는 사용자에 의해 감지되는 상기 실제 세계의 시야의 적어도 일부분을 캡쳐하기 위해 앞으로 향할 수 있다. 이후, 상기 비디오 카메라(620)에 의해 캡쳐되는 이러한 앞으로 향하는 이미지는, 컴퓨터로 생성되는 이미지들이 상기 사용자에 의해 감지되는 실제 세계의 시야와 대화하도록 나타나는, 증강 현실을 생성하기 위해 사용될 수 있다.

상기 센서(622)는 상기 헤드-마운티드 디바이스(602)의 확장 사이드-암(616)상에 도시된다; 하지만, 상기 센서(622)는 상기 헤드-마운티드 디바이스(602)의 다른 부분들에 위치될 수 있다. 상기 센서(622)는, 예를 들어, 하나 이상의 자이로스코프 또는 가속도계를 포함할 수 있다. 다른 감지 디바이스들은 상기 센서(622) 내에 또는 상기 센서(622)에 부착되어 포함될 수 있거나, 또는 다른 감지 기능들은 상기 센서(622)에 의해 수행될 수 있다.

상기 손가락으로 동작가능한 터치 패드(624)는 상기 헤드-마운티드 디바이스(602)의 확장된 사이드-암(614) 상에 도시된다. 하지만, 상기 손가락으로 동작가능한 터치 패드(624)는 상기 헤드-마운티드 디바이스(602)의 다른 부분들에 위치될 수 있다. 또한, 하나보다 많은 손가락으로 동작가능한 터치 패드가 상기 헤드-마운티드 디바이스(602)에 존재할 수 있다. 상기 손가락으로 동작가능한 터치 패드(624)는 명령어들을 입력하기 위해 사용자들에 의해 사용될 수 있다. 상기 손가락으로 동작가능한 터치 패드(624)는 여러 가능성들 중에서, 정전용량 감지, 저항 감지, 또는 표면 탄성파 프로세스를 통해 손가락의 위치 및 움직임 중 적어도 하나를 감지할 수 있다. 상기 손가락으로 동작가능한 터치 패드(624)는 상기 패드 표면에 평행한 방향이거나 상기 패드 표면에 평면 방향, 상기 패드 표면의 법선 방향 또는 둘 모두의 방향으로 손가락 움직임을 감지할 수 있고, 그리고 또한 상기 터치 패드에 인가된 압력의 레벨을 감지할 수 있다. 상기 손가락으로 동작가능한 터치 패드(624)는 하나 이상의 반투명하거나 또는 투명한 절연층들 및 하나 이상의 반투명하거나 투명한 도전층들로 구성될 수 있다. 상기 손가락으로 동작가능한 터치 패드(624)의 에지들은, 사용자의 손가락이 상기 손가락으로 동작가능한 터치 패드(624)의 에지 또는 다른 영역에 도달할 때 사용자에게 촉각적인 피드백을 제공하기 위해, 융기되거나, 둘쑥날쑥하거나, 또는 거친 표면을 갖도록 형성될 수 있다. 하나 보다 많은 손가락으로 동작가능한 터치 패드가 존재할 때, 손가락으로 동작가능한 터치 패드 각각은 독립적으로 동작가능할 수 있고, 그리고 서로 다른 기능을 제공할 수 있다.

도 7은 도 6에 도시된 상기 시스템(600)의 대안적인 모습을 나타낸다. 도 7에서 도시된 것처럼, 렌즈 요소들(610, 612)은 디스플레이 요소들로서 작동할 수 있다. 상기 헤드-마운티드 디바이스(602)는 상기 연장하는 사이드-암(616)의 내부 표면에 연결되고 상기 렌즈 요소(612)의 내부 표면 내부에 디스플레이(630)를 투사하도록 구성되는 제1 프로젝터(628)를 포함할 수 있다. 부가적으로 또는 대안으로, 제2 프로젝터(632)는 상기 확장된 사이드-암(614)의 내부 표면에 연결되고 상기 렌즈 요소(610)의 내부 표면에 디스플레이(634)를 투사하도록 구성될 수 있다.

상기 렌즈 요소들(610, 612)은 광 투사 시스템에서 결합기로서 작동할 수 있고, 상기 프로젝터들(628, 632)로부터 상기 렌즈 요소들(610, 612)에 투사된 광을 반사하는 코팅을 포함할 수 있다. 일부 실시예들에서, 반사 코팅은 (예를 들어, 상기 프로젝터들(628, 632)이 스캐닝 레이저 디바이스들일 때) 사용되지 않을 수 있다.

대안적인 실시예에서, 다른 타입들의 디스플레이 요소들이 또한 사용될 수 있다. 예를 들어, 렌즈 요소들(610, 612) 자체들은: 전자발광 디스플레이 또는 액정 디스플레이와 같은 투명 또는 반투명 매트릭스 디스플레이, 이미지를 사용자의 눈에 전달하는 하나 이상의 도파관들, 눈 가까운 곳에서 초점이 맞는 이미지(in focus near-to-eye image)를 사용자의 눈에 전달할 수 있는 다른 광학 요소들을 포함할 수 있다. 대응하는 디스플레이 드라이버는 그와 같은 매트릭스 디스플레이를 구동하는 프레임 요소들(604, 606) 내에 배치될 수 있다. 대안으로 또는 부가하여, 레이저 또는 LED 소스 및 스캐닝 시스템은 하나 이상의 사용자의 눈들의 망막에 직접 래스터 디스플레이(raster display)를 나타내기 위해 사용될 수 있다. 다른 가능성들도 존재한다.

도 8a는 데이터를 수신하고, 전송하고, 그리고 디스플레이하는 예시적인 시스템(800)을 나타낸다. 시스템(800)은 방법(100)을 실행하기 위해 구성될 수 있다. 상기 시스템(800)은 웨어러블 컴퓨팅 디바이스(802)의 형태로 도시된다. 상기 웨어러블 컴퓨팅 디바이스(802)는 도 6 및 도 7에 관하여 서술되는 것처럼, 프레임 요소들 및 사이드-암들을 포함할 수 있다. 상기 웨어러블 컴퓨팅 디바이스(802)는 추가적으로 도 6 및 도 7에 관하여 서술되는 것처럼, 온-보드 컴퓨팅 시스템(804) 및 비디오 카메라(806)를 포함할 수 있다. 상기 비디오 카메라(806)는 상기 웨어러블 컴퓨팅 디바이스(802)의 프레임 상에 장착되는 것으로 도시된다; 하지만, 상기 비디오 카메라(806)는 다른 위치들에서도 장착될 수 있다.

도 8a에 도시된 것처럼, 상기 웨어러블 컴퓨팅 디바이스(802)는 상기 디바이스에 연결될 수 있는 단일 디스플레이(808)를 포함할 수 있다. 상기 디스플레이(808)는 도 6 및 도 7에 관하여 서술되는 렌즈 요소와 같은, 상기 웨어러블 컴퓨팅 디바이스(802)의 렌즈 요소들 중 하나에 형성될 수 있고, 상기 물리적 세계의 사용자의 시야에 컴퓨터로 생성된 그래픽들을 오버레이하기 위해 구성될 수 있다. 상기 디스플레이(808)는 상기 웨어러블 컴퓨팅 디바이스(802)의 렌즈의 중심에 제공되도록 도시되지만, 상기 디스플레이(808)는 다른 위치들에 제공될 수 있다. 상기 디스플레이(808)는, 광 도파관(810)을 통해 디스플레이(808)에 결합되는 상기 컴퓨팅 시스템(804)을 통해 제어될 수 있다.

도 8b는 데이터를 수신하고, 전송하고, 그리고 디스플레이하는 예시적인 시스템(800)을 나타낸다. 시스템(820)은 방법(100)을 실행하기 위해 구성될 수 있다. 상기 시스템(820)은 웨어러블 컴퓨팅 디바이스(802)의 형태로 도시된다. 상기 웨어러블 컴퓨팅 디바이스(822)는 사이드-암들(823), 중앙 프레임 지지대(824), 및 코받이(825)를 갖는 브리지 부분을 포함할 수 있다. 도 8b에서 도시되는 예에서, 상기 중앙 프레임 지지대(824)는 상기 사이드-암들(823)에 연결된다. 상기 웨어러블 컴퓨팅 디바이스(822)는 렌즈 요소들을 포함하는 렌즈-프레임들을 포함하지 않는다. 상기 웨어러블 컴퓨팅 디바이스(822)는 추가적으로 도 6 및 도 7에 관하여 서술되는 것처럼, 온-보드 컴퓨팅 시스템(826) 및 비디오 카메라(828)를 포함할 수 있다.

상기 웨어러블 컴퓨팅 시스템(822)은 상기 사이드-암들(823) 또는 상기 중앙 프레임 지지대(824) 중 하나와 결합될 수 있는 단일 렌즈 요소(830)를 포함할 수 있다. 상기 렌즈 요소(830)는 도 6 및 도 7을 참조하여 서술되는 상기 디스플레이와 같은 디스플레이를 포함할 수 있고, 물리적 세계의 사용자의 시야에 컴퓨터로 생성된 그래픽들을 오버레이하기 위해 구성될 수 있다. 일 예에서, 단일 렌즈 요소(830)는 확장된 사이드-암(823)의 내측(즉, 상기 사용자에 의해 착용될 때 사람의 머리 부분에 노출되는 측면)에 연결될 수 있다. 상기 단일 렌즈 요소(830)는, 상기 웨어러블 컴퓨팅 디바이스(822)가 사용자에 의해 착용될 때, 사용자의 눈 앞에 또는 사용자의 눈에 근접하여 위치될 수 있다. 예를 들어, 상기 단일 렌즈 요소(830)는, 도 8b에서 도시된 것처럼, 상기 중앙 프레임 지지대(824) 아래에 위치될 수 있다.

도 9는 예시적인 컴퓨터 네트워크 구조의 개략적인 도면을 나타낸다. 시스템(900)에서, 디바이스(910)는 통신 링크(920)(예를 들어, 유선 또는 무선 접속)를 사용하여 원격 디바이스(930)와 통신한다. 상기 디바이스(910)는 데이터를 수신할 수 있고 상기 데이터에 대응하거나 상기 데이터와 관련되는 정보를 디스플레이할 수 있는 임의의 타입 디바이스일 수 있다. 예를 들어, 상기 디바이스(910)는 도 6-8b을 참조하여 서술되는 헤드-마운티드 디바이스(602, 800 또는 820)와 같은 헤드-업 디스플레이 시스템일 수 있다.

따라서, 상기 디바이스(910)는 프로세서(914) 및 디스플레이(916)를 포함하는 디스플레이 시스템(912)을 포함할 수 있다. 상기 디스플레이(910)는, 예를 들어, 광 시-스루(optical see-through) 디스플레이, 광 시-어라운드(optical see-around) 디스플레이, 또는 비디오 시-스루 디스플레이일 수 있다. 상기 프로세서(914)는 상기 원격 디바이스(930)으로부터 데이터를 수신할 수 있고, 상기 디스플레이(916) 상에 디스플레이하기 위해 상기 데이터를 구성할 수 있다. 상기 프로세서(914)는, 예를 들어, 마이크로-프로세서 또는 디지털 신호 프로세서와 같은 임의의 타입의 프로세서가 될 수 있다.

상기 디바이스(910)는, 또한, 상기 프로세서(914)에 결합된 메모리(918)와 같은 온-보드 데이터 저장장치를 더 포함할 수 있다. 상기 메모리(918)는, 예를 들어, 상기 프로세서(914)에 의해 액세스되고 실행될 수 있는 소프트웨어를 저장할 수 있다.

데이터를 상기 디바이스(910)에 전송하도록 구성되는 상기 원격 디바이스(930)는 랩톱 컴퓨터, 모바일 전화, 또는 태블릿 컴퓨팅 디바이스 등을 포함하는 임의의 타입의 컴퓨팅 디바이스 또는 전송기가 될 수 있다. 상기 원격 디바이스(930) 및 상기 디바이스(910)는, 상기 통신 링크(920)를 인에이블(enable)하도록, 프로세서들, 송신기들, 수신기들, 안테나들 등과 같은 하드웨어를 포함할 수 있다.

도 9에서, 상기 통신 링크(920)는 무선 접속으로 도시되지만, 유선 접속들도 사용될 수 있다. 예를 들어, 상기 통신 링크(920)는 USB(universal serial bus)와 같은 유선 직렬 버스 또는 병렬 버스일 수 있다. 유선 접속은 독점적 연결이 될 수도 있다. 또한, 상기 통신 링크(920)는, 여러 가능성들 중에서, 예를 들어, Bluetooth® 무선 기술, IEEE 802.11(IEEE 802.11 개정 포함)에서 서술되는 통신 프로토콜들, 셀룰러 기술(GSM, CDMA, UMTS, EV-DO, WiMAX, 또는 LTE 등), 또는 Zigbee® 기술을 사용하여 무선 접속이 될 수 있다. 상기 원격 디바이스(930)은 인터넷을 통해 액세스될 수 있고, 특정 웹 페이지(예를 들어, 소셜-네트워킹, 포토-세어링, 어드레스 북 등)와 관련된 컴퓨팅 클러스터를 포함할 수 있다.

도 9를 참조하여, 디바이스(910)는 방법(100)의 단계들을 수행할 수 있다. 특히, 방법(100)은 비-일시적인 컴퓨터 판독가능 매체에 저장되는 명령어들을 실행할 때 프로세서(900)에 의해 수행되는 동작들에 대응할 수 있다. 일 예에서, 상기 비-일시적인 컴퓨터 판독가능한 매체는 메모리(918)의 일부가 될 수 있다. 상기 비-일시적인 컴퓨터 판독가능한 매체는, 상기 프로세서(914)가 여러 동작들을 수행하도록 상기 프로세서(914)의 실행에 응답하여, 명령어들을 저장할 수 있다. 상기 명령어들은: (a) 웨어러블 컴퓨팅 시스템에 의해 검출된 사운드에 대응하는 오디오 데이터를 수신하는 명령어들; (b) (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 명령어들; 및 (c) 상기 웨어러블 컴퓨팅 시스템이 (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 명령어들을 포함할 수 있다. 또한, 일 예에서, 상기 명령어들은 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하도록 조절하는 명령어들을 더 포함할 수 있다

Ⅳ. 결론

본 명세서에서 기술된 구성들은 단지 예시의 목적임을 또한 이해해야한다. 그와 같이, 당업자는 다른 배열들 및 다른 요소들(예를 들어, 기계들, 인터페이스들, 기능들, 순서들, 및 기능들의 그룹화 등)이 대신 사용될 수 있고, 일부 요소들은 원하는 결과들에 따라 함께 생략될 수 있다. 또한, 본 명세서에서 기술되는 많은 요소들은 어떤 적합한 조합 및 위치에서, 분산 또는 분포된 구성요소들로서 또는 다른 구성 요소들과 결합하여 구현될 수 있는 기능적인 엔티티들이다.

본 명세서에서 논의된 상기 시스템들 및 방법들은 사용자들에 관한 임의의 개인적인 정보 또는 사용자들의 개인적인 정보와 관련될 수 있는 정보를 수집하고 그리고/또는 사용하는 상황들에 대해, 상기 사용자들은 그와 같은 개인 정보(예를 들어, 사용자의 선호들에 관한 정보)을 포함하는 프로그램들 또는 특징들에 참여하기 위한/참여하지 않기 위한 기회가 제공될 수 있다. 또한, 특정 데이터가 저장되거나 사용되기 전에 하나 이상의 방식들로 익명화될 수 있어, 개인적으로 식별가능한 정보는 제거된다. 예를 들어, 사용자의 식별이 익명화될 수 있어 개인적으로 식별가능한 어떤 정보도 사용자에 대해 결정될 수 없고, 임의의 식별된 사용자 선호들 또는 사용자 상호작용들은 특정 사용자에 관련되기 보단 일반화(예를 들어, 사용자 데모그래픽들에 기초하여 일반화)된다.

여러 측면들 및 실시예들이 본 명세서에서 기술되었지만, 다른 측면들 및 실시예들이 당업자들에게 명확할 것이다. 본 명세서에서 기술된 여러 양상들 및 실시예들은 제한적으로 의도된 것이 아니며, 발명의 진정한 범위 및 정신은, 그 등가물들의 전체 범위와 함께 다음의 특허청구범위에 의해 정의된다. 또한, 본 명세서들에서 사용된 용어들은 특별한 실시예들을 기술할 목적에서 사용된 것이며 제한적인 것으로 의도되지 않는 것임이 또한 이해될 것이다.

Claims

컴퓨터로 구현되는 방법에 있어서,
웨어러블 컴퓨팅 시스템(wearable computing system)에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하는 단계와;
(i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 단계와; 그리고
상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 단계를 포함하고,
상기 웨어러블 컴퓨팅 시스템은, 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하도록 조절하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 웨어러블 컴퓨팅 시스템의 디스플레이는 처음에는 전원이 꺼지고,
상기 방법은:
상기 세기 레벨을 결정한 후, 상기 세기 레벨이 특정 임계 레벨을 넘는다고 결정하는 단계와; 그리고
상기 세기 레벨이 상기 특정 임계 레벨을 넘는다고 결정하는 것에 응답하여, 상기 하나 이상의 표시들을 디스플레이하기 위해 상기 디스플레이를 활성화하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 하나 이상의 표시들은 (i) 상기 판독가능한 컴퓨팅 시스템으로부터 상기 소스의 방향 및 (ii) 상기 세기 레벨 둘다를 나타내는 단일 그래픽 표시들을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 3 항에 있어서,
상기 단일 그래픽 표시는 화살표(arrow)인 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 4 항에 있어서,
상기 사운드의 세기 레벨은 시간에 따라 변하고, 상기 화살표의 크기는 상기 변하는 세기 레벨에 기초하여 변하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 하나 이상의 표시들은 (i) 상기 사운드의 소스의 방향을 나타내는 제1 표시 및 (ii) 상기 사운드의 세기 레벨을 나타내는 제2 표시를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 6 항에 있어서,
상기 제1 표시는 화살표이고, 상기 제2 표시는 세기 미터(intensity meter)인 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 사운드의 세기 레벨은 시간에 따라 변하고, 상기 하나 이상의 표시들은 상기 세기 레벨과 동조하여(in phase) 변하는 상기 세기 레벨과 관련된 표시를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 하나 이상의 표시들을 디스플레이하는 단계는 상기 사운드의 서로 다른 세기 레벨들에 대해 서로 다른 컬러들을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 하나 이상의 표시들은 세기 미터(intensity meter)를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 웨어러블 컴퓨팅 시스템은 상기 웨어러블 컴퓨팅 시스템의 실제 세계 환경(real-world environment)의 시야(view)를 제공하고,
상기 방법은:
상기 사운드의 소스가 상기 시야의 바깥에 위치하는지 또는 상기 시야의 주변 안에 위치하는지를 결정하는 단계를 더 포함하고,
상기 하나 이상의 표시들은 상기 시야의 주변에 발광 신호(flashing light)를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 사운드는 말(speech)을 포함하고, 상기 방법은:
상기 말의 텍스트를 결정하는 말-대-텍스트 특징과; 그리고
상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 스피치의 텍스트를 디스플레이하도록 하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 1 항에 있어서,
웨어러블 컴퓨팅 시스템에 의해 검출되는 제2 사운드에 대응하는 오디오 데이터를 수신하는 단계와;
(i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 제2 사운드의 소스의 방향 - 상기 제2 사운드의 방향은 상기 사운드의 방향과는 서로 다르고 - 및 (ii) 상기 제2 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 단계와; 그리고
상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 제2 사운드의 소스의 방향 및 (ii) 상기 제2 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 사운드의 소스를 결정하기 위해 상기 오디오 데이터를 분석하는 단계와; 그리고
상기 판독가능한 컴퓨팅 시스템으로 하여금 다른 표시를 디스플레이하도록 하는 단계를 더 포함하고,
상기 다른 표시는 상기 사운드의 소스를 나타내는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 14 항에 있어서,
상기 다른 표시는 상기 사운드의 소스를 서술하는 텍스트 표시인 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제 14 항에 있어서,
상기 다른 표시는 상기 사운드의 소스에 대응하는 비디오인 것을 특징으로 하는 컴퓨터로 구현되는 방법.
명령어들을 저장하는 비-일시적인(non-transitory computer readable medium) 컴퓨터 판독가능한 매체에 있어서,
프로세서에 의한 실행에 응답하여, 상기 명령어들은 상기 프로세서로 하여금 동작들을 수행하도록 하고, 상기 명령어들은:
웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하기 위한 명령어들과;
(i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하기 위한 명령어들과;
상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 명령어들과; 그리고
상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하도록 조절하는 명령어들을 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
제 17 항에 있어서,
상기 하나 이상의 표시들은 (i) 상기 판독가능한 컴퓨팅 시스템으로부터 상기 소스의 방향 및 (ii) 상기 세기 레벨 둘다를 나타내는 단일 그래픽 표시들을 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
웨어러블 컴퓨팅 시스템에 있어서,
헤드-마운티드 디스플레이(head-mounted display) - 상기 헤드-마운티드 디스플레이는 컴퓨터로 생성되는 정보를 디스플레이하고, 그리고 실제-세계 환경(real-world environment)의 시각적 지각을 허용하도록 구성되고 - 와;
제어기 - 상기 제어기는 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하도록 그리고 (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하도록 구성되고 - 와; 그리고
디스플레이 시스템을 포함하고,
상기 디스플레이 시스템은 (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 구성되고,
상기 제어기는, 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하게끔 조절하도록 된 것을 특징으로 하는 웨어러블 컴퓨팅 시스템.
제 19 항에 있어서,
상기 디스플레이 시스템의 디스플레이는 처음에는 전원이 꺼지고,
상기 제어기는, 상기 세기 레벨을 결정한 후, 상기 세기 레벨이 특정 임계 레벨을 넘는다고 결정하도록 더 구성되고; 그리고
상기 디스플레이 시스템은, 상기 세기 레벨이 상기 특정 임계 레벨을 넘는다고 결정하는 것에 응답하여, 상기 하나 이상의 표시들을 디스플레이하기 위해 상기 디스플레이를 활성화하도록 더 구성되는 것을 특징으로 하는 웨어러블 컴퓨팅 시스템.