KR102490518B1 - 가시적 피드백을 제공하는 제스처-작동식 오디오 장치 - Google Patents

가시적 피드백을 제공하는 제스처-작동식 오디오 장치 Download PDF

Info

Publication number
KR102490518B1
KR102490518B1 KR1020187033003A KR20187033003A KR102490518B1 KR 102490518 B1 KR102490518 B1 KR 102490518B1 KR 1020187033003 A KR1020187033003 A KR 1020187033003A KR 20187033003 A KR20187033003 A KR 20187033003A KR 102490518 B1 KR102490518 B1 KR 102490518B1
Authority
KR
South Korea
Prior art keywords
user
light emitting
gesture
audio device
processor
Prior art date
Application number
KR1020187033003A
Other languages
English (en)
Other versions
KR20190009745A (ko
Inventor
조셉 베르베케
센소 다비드 디
다니엘 파이
스테판 마르티
카스텐 슈베지히
하킴 라자
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드, 구글 엘엘씨 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20190009745A publication Critical patent/KR20190009745A/ko
Application granted granted Critical
Publication of KR102490518B1 publication Critical patent/KR102490518B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00—Automatic controllers
    • G05B11/01—Automatic controllers electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10—Controlling the intensity of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20—Controlling the colour of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/19—Controlling the light source by remote control via wireless transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

오디오 장치는 프로세서에 통신 가능하게 결합되고, 상호 작용 영역 내의 물체를 검출함에 응답하여 존재 신호를 생성하도록 구성된 센서와, 상기 프로세서에 통신 가능하게 연결된 라우드스피커와, 상기 프로세서에 통신 가능하게 연결된 적어도 하나의 발광 디바이스와, 상기 프로세서를 포함한다. 상기 프로세서는 상기 존재 신호에 기초하여 상기 적어도 하나의 발광 디바이스의 광 출력을 가변시키도록 구성된다.

Description

가시적 피드백을 제공하는 제스처-작동식 오디오 장치
관련 출원에 대한 상호 참조
본원은 2016년 5월 19일자로 출원된 미국 특허 가출원 제62/339,044호의 우선권을 주장하며, 이는 본 명세서에 참고로 포함된다.
청구된 실시예의 분야
본 발명의 실시예는 일반적으로 오디오 장치에 관한 것으로, 보다 구체적으로는 가시적 피드백을 갖는 제스처-작동식 오디오 장치에 관한 것이다.
많은 이동 컴퓨팅 장치는 이제 마이크로폰 및 강력한 프로세서를 갖추고 있다. 그 결과 음성 작동식 소비자 장치가 널리 보급되고 있다. 예를 들어, 지능형 개인 비서(IPA)로 프로그래밍된 음성 제어 홈 오토메이션 시스템, 스마트 폰, 스마트 스피커 및 전자 태블릿은 현재 대중적인 소비자 제품들이다. 이러한 음성-작동식 소비자 장치는 음성 요청에 기초하여 사용자에 대해 수행되는 특정 작업을 허용하여 사용자가 버튼, 제어 노브, 터치 스크린, 키보드, 마우스 또는 다른 입력 장치를 통해 수동 입력을 할 필요가 없도록 한다. 예를 들어, 음성 명령을 사용하여, 사용자는 스마트 스피커의 출력 볼륨을 수정하고, 스마트 스피커에 의해 재생될 노래를 선택하며, 자동화된 블라인드를 열고, 음성-작동식 가정용 기기를 제어할 수 있다. 따라서, 음성-작동식 장치는 사용자가 주방이나 차고에 있을 때와 같이 더럽거나 손이 젖은 상황에서, 그리고, 장치를 만지는 것이 비위생적이거나 장치를 세척 및 소독해야 하는 경우, 예를 들어 사용자가 살균 또는 반 멸균 환경에 있을 때, 사용자를 돕는데 매우 적합하다.
그러나, 전자 장치의 음성 제어에도 단점이 있다. 특히, 다수의 음성 작동식 장치가 서로 인접하여(예를 들어, 동일하거나 근접한 룸 내에) 위치할 때, 하나의 음성 작동식 장치를 위한 사용자 음성 명령을 상이한 음성 작동식 장치가 수신하고, 해석하고, 동작할 수 있다. 또한 음성 작동식 장치는 본질적으로 언어별로 고유하므로 음성 지원 장치가 프로그래밍할 수 있는 언어를 사용할 수 없는 사람이라면 사용이 제한될 수 있다.
이러한 문제를 해결하기 위해, 사용자가 손, 손가락 및/또는 얼굴 제스처를 통해 그러한 장치에 명령을 내릴 수 있게 하는 제스처-작동식 장치가 개발되었다. 그러나 현재 제스처 기반 명령 시스템은 사용자가 수행하는 제스처를 자주 인식하지 못하기 때문에 그리고 사용자가 제스처가 장치에 의해 인식되었는지 여부를 판단하기가 어렵기 때문에 신뢰할 수 없다.
따라서, 전자 장치와의 비-수동 상호 작용을 위한 개선된 기술이 유용할 것이다.
다양한 실시예들은 오디오 장치를 제시하며, 상기 오디오 장치는 프로세서에 통신 가능하게 결합되고, 상호 작용 영역 내의 물체를 검출함에 응답하여 존재 신호를 생성하도록 구성된 센서와, 상기 프로세서에 통신 가능하게 연결된 라우드스피커와, 상기 프로세서에 통신 가능하게 연결된 적어도 하나의 발광 디바이스와, 상기 프로세서를 포함하되, 상기 프로세서는 상기 존재 신호에 기초하여 상기 적어도 하나의 발광 디바이스의 광 출력을 가변시킨다.
개시된 실시예들의 적어도 하나의 장점은, 제스처-작동식 오디오 장치에 대한 사용자의 현재 위치가 제스처-작동식 장치에 대한 제스처-기반 입력을 허용하는지 여부를 사용자가 한눈에 판단할 수 있기 때문에, 사용자는 제스처를 통해 장치와 보다 효과적으로 상호 작용할 수 있다는 것이다. 또 다른 장점은 제스처-작동식 오디오 장치와의 제스처 기반 상호 작용이 장치에서 제공하는 시각적 피드백으로 인해 더 신뢰할 수 있다는 것이다. 예를 들어, 시각적 피드백은 입력으로서 제스처의 인식을 확인해줄 수 있고, 및/또는 어떤 명령이 장치에 의해 수신되었는지를 나타낼 수 있다.
다양한 실시예들의 상기 언급된 특징들이 상세하게 이해될 수 있는 방식으로, 상기에서 간략하게 요약된 다양한 실시예들의 보다 구체적인 설명은 실시예를 참조함으로써 이루어질 수 있으며, 그 일부가타내 도면예 예시된다. 그러나, 첨부된 도면은 단지 전형적인 실시예를 도시한 것이므로, 다양한 실시예들이 다른 동등하게 효과적인 실시예들을 인정할 수 있기 때문에, 그 범위를 제한하는 것으로 간주되어서는 안된다.
도 1은 본 개시의 하나 이상의 실시예에 따른, 제스처-작동식 오디오 시스템의 개념적 블록도이다.
도 2는 본 개시의 하나 이상의 실시예에 따른, 제스처-작동식 오디오 시스템의 개략도이다.
도 3은 본 발명의 다양한 실시예에 따른, 상호 작용 영역 내에 배치된 제스처-작동식 오디오 시스템의 평면도이다.
도 4는 본 개시의 다양한 실시예에 따라, 상호 작용 영역 및 추적 영역 내에 배치된 제스처-작동식 오디오 시스템의 평면도이다.
도 5는 본 개시의 다양한 실시예에 따른, 제스처-작동식 오디오 장치로부터 시각적 피드백을 생성하는 방법 단계의 흐름도를 도시한다.
명료함을 위해, 도면 부호들 사이에서 공통되는 동일한 요소를 나타내기 위해, 적용 가능한 경우 동일한 참조 번호가 사용되었다. 일 실시예의 특징들은 추가 설명없이 다른 실시예들에 통합될 수 있음이 고려된다.
도 1은 본 개시의 하나 이상의 실시예에 따른, 제스처-작동식 오디오 시스템(100)의 개념 블록도이다. 제스처-작동식 오디오 시스템(100)은 사용자의 물리적 존재를 검출하도록 구성되거나 및/또는 사용자 제스처를 검출하도록 구성된 오디오 시스템이다. 제스처-작동식 오디오 시스템(100)은 또한 사용자 및/또는 사용자 제스처에 응답하여, 하나 이상의 발광 디바이스를 통해 사용자에게 광 출력을 생성하도록 구성된다. 일부 실시예에서, 발광 디바이스(들)의 광 출력은 사용자의 검출된 근접성의 함수로서 변화한다. 선택적으로 또는 부가적으로, 일부 실시예에서, 발광 디바이스(들)의 광 출력은 검출된 사용자 제스처에 기초하여 특정 광 출력을 제공하도록 변경된다. 또한, 일부 실시예에서, 제스처-작동식 오디오 시스템(100)은 특정 사용자 제스처가 제스처-작동식 오디오 시스템(100)에 의해 검출되고 인식되었음을 나타내는 가청 신호와 같은, 특정 오디오 출력을 검출된 사용자 제스처에 기초하여 생성하도록 구성된다.
도시된 바와 같이, 제스처-작동식 오디오 시스템(100)은 제어기(120), 적어도 하나의 발광 디바이스(130), 접속부(141)를 통해 제어기(120)에 통신 가능하게 연결된 하나 이상의 라우드스피커(140), 및 접속부(151)를 통해 제어기(120)에 통신 가능하게 연결된 존재 센서(150)를 포함한다. 일부 실시예에서, 제스처-작동식 오디오 시스템(100)의 상기 구성 요소 전부는, 제스처-작동식 오디오 시스템(100)이 스마트 스피커 또는 다른 자체 포함 제스처(self-contained gesture)-작동식 디바이스로 구성되는 경우와 같이, 단일 하우징 내에 포함된다. 다른 실시예에서, 제스처-작동식 오디오 시스템(100)의 하나 이상의 구성 요소는 제스처-작동식 오디오 시스템(100)의 공통 하우징 외부에 배치될 수 있다. 예를 들어, 제한없이, 일부 실시예에서, 라우드스피커(140)는 하나 이상의 블루투스-작동식 스피커를 포함할 수 있고, 이 경우 연결(141)은 블루투스 연결, 블루투스 저 에너지(BLE) 연결, WiFi 연결 등과 같은 무선 연결을 포함한다. 선택적으로 또는 부가적으로, 일부 실시예에서, 존재 센서(150)는 스마트 워치 또는 스마트 링과 같은 웨어러블가 도치이거나, 또는 제어기(120)에 위치 정보 및/또는 제스처 정보를 제공할 수 있는 어떤 다른 센서일 수 있다. 연결(151)은 블루투스 연결, BLE 연결, WiFi 연결 등과 같은 무선 연결을 포함할 수 있다.
제어기(120)는 프로세서(121), 입력/출력(I/O) 장치(122) 및 메모리(123)를 포함하는 컴퓨팅 장치이다. 일반적으로, 제어기(120)는 제스처-작동식 오디오 시스템(100)의 전체 동작을 조정하도록 구성된다. 일부 실시예에서, 제어기(120)는 제스처-작동식 오디오 시스템(100)의 다른 구성요소에 통신 가능하게 연결될 수 있으나 분리될 수 있다. 이러한 실시예에서, 제스처-작동식 오디오 시스템(100)은, 주변 환경으로부터 획득된 데이터를 수신하고 데이터를 제어기로 송신하는 개별 프로세서를 포함할 수 있다. 이러한 실시예에서, 제어기(120)는 개인용 컴퓨터, 웨어러블 장치, 스마트폰, 휴대용 미디어 플레이어 등과 같은 별도의 장치에 포함될 수 있다. 그러나, 본 명세서에 개시된 실시예는 제스처-작동식 오디오 시스템(100)의 기능을 구현하도록 구성된 임의의 기술적으로 가능한 시스템을 고려한다.
프로세서(121)는 데이터를 처리하고 프로그램 코드를 실행하도록 구성된 임의의 기술적으로 실현 가능한 형태의 처리 장치 일 수 있다. 프로세서(121)는 예를 들어, 제한없이, 시스템 온 칩(SoC), 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 필드 프로그래머블 게이트 어레이(FPGA) 등 중 하나 이상을 포함할 수 있다. 일반적으로, 프로세서(121)는 제어 애플리케이션(124)을 포함한, 소프트웨어 프로그램을 실행할 수 있고 및/또는 데이터를 처리할 수 있는 임의의 기술적으로 가능한 하드웨어 유닛일 수 있다. 또한, 본 개시의 범주에서, 제어기(120)는 물리적 컴퓨팅 시스템(가령, 데이터 센터 내의 일 시스템)이거나, 컴퓨팅 클라우드 내에서 실행되는 가상 컴퓨팅 인스턴스일 수 있다. 이러한 실시예에서, 제어 애플리케이션(124)은 컴퓨팅 클라우드 또는 서버 내에서 실행되는 가상 컴퓨팅 인스턴스를 통해 구현될 수 있다.
메모리(123)는 데이터베이스(125)와 상호 작용하도록 구성된 제어 애플리케이션(124)을 포함한다. 메모리(123)는 메모리 모듈 또는 메모리 모듈들의 집합을 포함할 수 있다. 메모리(123) 내의 제어 애플리케이션(124)은 프로세서(121)에 의해 실행되어, 제어기(120)의 전체 기능을 구현하고 전체적으로 제스처-작동식 오디오 시스템(100)의 동작을 조정한다. 예를 들어, 제한없이, 존재 센서(150)를 통해 검출된 제스처는 라우드스피커(124)를 통해 출력되는 오디오 신호 및/또는 발광 디바이스(130)에 의해 생성된 조명을 수정하기 위해 제어 애플리케이션(124)에 의해 처리될 수 있다. 제어 애플리케이션(124)에 의해 수행되는 처리는, 예를 들어, 그리고 제한없이, 필터링, 증폭, 감쇠, 잡음 소거, 오디오 신호 처리, 광 처리, 화상 처리, 제스처 인식, 근접 계산 및/또는 다른 유형의 시각 및/또는 음향 처리 및 향상을 포함할 수 있다.
I/O 장치(122)는 입력 장치, 출력 장치 및 입력 수신 및 출력 제공이 모두 가능한 장치를 포함할 수 있다. 예를 들어, 제한없이, I/O 장치(122)는 제스처-작동식 오디오 시스템(100)에 포함된 발광 디바이스(130), 라우드스피커(140) 및/또는 존재 센서(150)에 데이터를 전송하는, 및/또는 이로부터 데이터를 수신하는, 유선 및/또는 무선 통신 장치를 포함할 수 있다. 일부 실시예에서, I/O 장치(122)는 주변 환경으로부터 음향 데이터를 획득하도록 구성된 하나 이상의 마이크로폰을 포함할 수 있다.
라우드스피커(140)는 제어기(120)에 의해 생성된 신호 및/또는 라우드스피커(124)에 전송되는 다른 신호에 기초하여 사운드(예를 들어, 음악, 통지, 음성 등)를 생성하도록 구성된다. 단지 하나의 라우드스피커(140)가 도 1에 도시되지만, 제스처-작동식 오디오 시스템(100)은 임의의 수의 라우드스피커(140)로 구성될 수 있으며, 그러한 라우드스피커는 임의의 수의 오디오 채널과 연관될 수 있다. 전술한 바와 같이, 라우드스피커(140)들 중 하나 이상은 제어기(120)에 무선으로 결합되거나 제스처-작동식 오디오 시스템(100)의 공통 하우징 내에 배치될 수 있다.
존재 센서(150)는 존재 센서(150)에 인접한 특정 영역 내의 물리적 존재를 검출하도록 구성된다. 일부 실시예에서, 존재 센서는 사용자의 존재를 검출할 수 있고, 사용자의 근접성을 결정할 수 있으며 및/또는 하나 이상의 사용자에 의해 수행되는 제스처를 결정할 수 있는, 하나 이상의 장치를 포함한다. 이러한 실시예에서, 존재 센서(150)는 사용자와 제스처-작동식 오디오 시스템(100)간의 거리를 결정하도록 구성되는 하나 이상의 근접 센서를 포함한다. 대안으로 또는 추가적으로, 일부 실시예에서, 존재 센서(150)는 존재 센서(150)에 인접한 특정 영역에서 하나 이상의 사용자에 의해 수행되는 제스처를 결정하도록 구성된 하나 이상의 제스처 센서를 포함한다.
존재 센서(150)에서 사용하기에 적합한 근접 센서는 가시광 센서, 열 화상 센서, 레이저 기반 장치, 초음파 센서, 적외선 센서, 레이더 센서 및/또는 깊이 센서 또는 깊이 카메라 시스템, 가령, 비행시간(time-of-flight) 센서, 구조화된 광 센서, 전자기장 기반 감지 시스템, 광 탐지 및 거리 측정(LIDAR) 시스템, 픽셀 기반 레이저 스캐닝 시스템 등을 제한없이 포함한다. 적절한 깊이 센서 또는 깊이 카메라 시스템에는 입체 깊이 카메라 시스템 및 비행 시간 기반 깊이 카메라 시스템이 포함된다.
존재 센서(150)에서 사용하기에 적합한 제스처-검출 센서는 적절한 제스처 검출 알고리즘과 관련하여 사용되는 전술한 근접 센서 중 하나 이상을 포함하지만 이에 제한되지 않는다. 일부 실시예에서, 이러한 제스처 검출 알고리즘은 존재 센서(150)와 관련된 프로세서에서 구현되는 반면, 다른 실시예에서는 제스처 검출 알고리즘이 제어기(120)에서 구현된다. 또한, 임의의 다른 기술적으로 실현 가능한 제스처-센서 시스템이 존재 센서 존재 센서(150)에 포함될 수 있다. 존재 센서(150)가 하나 이상의 제스처 센서를 포함하는 실시예에서, 사용자에 의해 수행되는 제스처는 사용자(들)의 팔, 손, 손가락, 관절, 머리, 얼굴 특징 등의 위치 및/또는 방향을 추적함으로써 결정될 수 있다.
일부 실시예에서, 존재 센서(150)는 제어기(120)에 무선으로 연결된다. 이러한 실시예에서, 존재 센서(150)는 웨어러블 컴퓨팅 장치, 가령, 스마트 링, 스마트 시계, 스마트 헤드폰 시스템, 또는 사용자 모션 데이터를 수집하여 제어기(120)에 전송할 수 있고, 및/또는 사용자 모션 데이터를 수집하여 이에 기반하여 사용자 제스처를 결정할 수 있는 임의의 다른 웨어러블 컴퓨팅 장치일 수 있다. 따라서, 이러한 실시예에서, 존재 센서(150)는 제스처 결정 계산을 수행하기 위해 국부적으로 제스처 결정 계산을 수행하도록 또는 모션 데이터를 제어기(120)에 전송하도록 구성될 수 있다.
발광 디바이스(130)는 제한없이, 발광 다이오드(LED), 백열 램프, 레이저, 아크 램프, 가스 방전 램프 등을 포함하는, 광을 생성할 수 있는 기술적으로 실현 가능한 임의의 장치를 포함할 수 있다. 또한, 발광 디바이스(130)는 다양한 기준에 응답하여 가변 광 출력을 방출할 수 있는 하나 이상의 광 생성 디바이스를 포함한다. 이러한 기준은 제스처-작동식 오디오 시스템(100)에 근접한 사용자에 의해 수행되는 특정 제스처의 검출, 사용자에 의해 수행되는 제스처가 제스처-작동식 오디오 시스템(100)에 의해 인식 및 해석될 수 있는 상호 작용 영역 내의 사용자의 검출, 및 상호 작용 영역보다 제스처-작동식 오디오 시스템(100)으로부터 멀리 위치된 추적 영역 내에서의 사용자의 검출을, 제한없이, 포함할 수 있다.
예를 들어 제한없이, 일부 실시예들에서, 가변 광 출력은 선택 가능한 밝기 레벨을 포함할 수 있다. 따라서, 발광 디바이스(130)에 의해 방출된 광의 밝기는 다양한 기준에 따라 증가 또는 감소될 수 있다. 이러한 실시예에서, 발광 디바이스(130)는 제어 가능한 출력 백열 램프, LED, 등과 같이 가변 밝기를 방출할 수 있는 하나 이상의 광 생성 디바이스를 포함할 수 있다. 대안으로 또는 추가적으로, 이러한 실시예에서, 발광 디바이스(130)는 다수의 고정 밝기 디바이스들을 포함할 수 있고, 가변적인 광 출력이 더 많거나 더 적은 수의 다수의 고정 밝기 디바이스들을 활성화시킴으로써 생성된다. 즉, 이러한 실시예에서, 발광 디바이스(130)는 고정 밝기 디바이스 어레이를 포함하고, 활성화되는 발광 디바이스의 구성은 하나 이상의 기준에 응답하여 변화한다.
일부 실시예에서, 발광 디바이스(130)의 가변 광 출력은 단순히 밝기의 변화 이외에 또는 그에 부가하여 발광 디바이스(130)에 의해 방출된 광의 외관에 다른 가시적인 변화를 포함할 수 있다. 이러한 실시예에서, 발광 디바이스(130)는 방출된 광의 하나 이상의 컬러 외양 파라미터를 선택적으로 변화시킬 수 있는 하나 이상의 광 생성 디바이스를 포함할 수 있다. 예를 들어 비 제한적으로, 이러한 실시예에서, 발광 디바이스(130)는 상이한 색조, 다채로운 칼라 레벨, 포화 레벨 및/또는 명도 레벨을 선택적으로 방출할 수 있는 하나 이상의 광 생성 디바이스를 포함할 수 있다.
예를 들어 제한없이, 이러한 실시예에서, 발광 디바이스(130)는 하나 이상의 프로그램 가능 및/또는 독립적으로 제어 가능한 적색-녹색-청색 발광 다이오드(RGB-LED)를 포함할 수 있다. 따라서, 특정 기준에 응답하여 및/또는 제어기(120)로부터의 제어 신호에 응답하여, 하나 이상의 RGB-LED는 상이한 색, 포화 레벨 및/또는 명도 레벨로 점진적 또는 직접적으로 스위칭될 수 있다. 즉, 발광 디바이스(130)의 광 출력은 밝기 외에 또는 밝기에 추가하여 하나 이상의 방식으로 변화될 수 있다. 발광 디바이스(130)가 하나 이상의 RGB-LED를 포함하는 실시예에서, 그 제어와 관련된 제어 신호는 제어기(120)와 분리된 전용 제어기에 의해 생성될 수 있다. 대안으로, 그러한 제어 기능이 대신에 제어기(120)에 포함될 수 있다.
일부 실시예에서, 발광 디바이스(130)는 RGB-LED와 같은 다수의 독립적으로 제어되는 발광 디바이스의 어레이를 포함한다. 그러한 어레이는 특정한 기준에 응답하여 특정 기하학적 패턴을 생성함으로써 발광 디바이스(130)의 광 출력을 변화시킬 수 있으므로, 사용자는 특정 이벤트가 발생했는지 및/또는 특정 이벤트가 임박했는지를 신속하게 확인할 수 있다. 제스처-작동식 오디오 시스템(100)의 그러한 일 실시예가 도 2에 도시되어있다.
도 2는 본 개시의 하나 이상의 실시예에 따른 제스처-작동식 오디오 시스템(200)의 개략도이다. 제스처-작동식 오디오 시스템(200)은 조직화 및 동작이 제스처-작동식 오디오 시스템(100)과 실질적으로 유사하며, RGB LED 등과 같은 독립적으로 제어 가능한 발광 디바이스(231)의 어레이(230)를 포함한다. 도시된 바와 같이, 어레이(230)는 제스처-작동식 오디오 시스템(200)의 원통형 표면(201)의 일부 또는 전부를 커버하고, 다수의 발광 디바이스(231)(예를 들어, 수십 또는 수백 개의 발광 디바이스(231))를 포함한다. 결과적으로, 어레이(230)는 특정 기준에 응답하여 특정 기하학적 패턴을 통해 사용자에게 시각적 피드백을 제공하기 위해 사용될 수 있다. 예를 들어, 일부 실시예에서, 어레이(230)는 활성화된 발광 디바이스(231)로 부분적으로 채워지거나 완성된, 라인, 원, 직사각형, 개방 링, 등과 같은 특정 기하학적 형상 또는 그러한 형상의 일부분을 디스플레이하며, 여기서, 기하학적인 형상이 활성화된 발광 디바이스(231)로 채워지거나 완성되는 정도는 현재 측정된 값의 함수이다. 예를 들어, 그리고 제한없이, 어레이(230)가 제스처-작동식 오디오 시스템(200)에 대한 사용자의 검출된 근접성을 표시하도록 구성된 실시예에서, 기하학적 도형은, 제스처-작동식 오디오 시스템(200)이 사용자의 물리적 제스처를 명령으로서 정확하게 검출하고 이에 응답할 수 있는 거리와 같이, 사용자가 제스처-작동식 오디오 시스템(200)으로부터의 특정 임계 거리에 더 가깝다고 결정됨에 따라, 더 많은 활성화된 발광 디바이스(231)로 디스플레이될 수 있다. 따라서, 사용자가 제스처-작동식 오디오 시스템(200)으로부터의 임계 거리와 같거나 더 가깝다고 제어기(120)에 의해 결정되면, 기하학적 도형은 완성된 형태로(예를 들어 열린 링이 닫혀 있음) 또는 완전히 채워진 형상(예: 원 또는 정사각형)으로 디스플레이된다. 어레이(230)가 실질적으로 모든 원통형 표면(201)을 커버하도록 구성된 실시예에서, 기하학적 형상 또는 도형의 다수의 인스턴스가 원통형 표면(201)의 상이한 부분 상에 디스플레이될 수 있다. 따라서, 이러한 실시예에서, 사용자의 근접도에 관련된 어레이(230)에 의해 제공되는 시각적 피드백은 제스처-작동식 오디오 시스템(200)의 모든 측면으로부터 가시적으로 만들어질 수 있다.
대안으로, 일부 실시예에서, 어레이(230)의 모든 발광 디바이스(231)는 사용자가 제스처-작동식 오디오 시스템(200)으로부터의 임계 거리와 동일하거나 더 가깝다고 제어기(120)가 결정할 때 활성화될 수 있다. 사용자가 임계 거리보다 큰 거리에 있을 때, 어레이(230)의 상부와 같은 어레이(230)의 부분들이. 밝기가 감소하거나 꺼진다. 사용자가 임계 거리로부터 더 멀리 이동함에 따라, 어레이(230)의 하부도 턴 오프된다. 이러한 실시예에서, 어레이(230)가 실질적으로 모든 원통형 표면(201)을 덮도록 구성되는 경우, 사용자의 근접성과 관련된 어레이(230)에 의해 제공된 시각적 피드백은 제스처-작동식 오디오 시스템(200)의 모든 측면으로부터 가시적이다.
존재 센서(150)가 적어도 하나의 근접 센서를 포함하는 실시예에서, 제스처-작동식 오디오 시스템은 사용자에게 제스처-작동식 오디오에 대한 근접성을 나타내기 위해 피드백을 제공하는 광 출력을 생성하도록 구성될 수 있다 체계. 이러한 실시예에서, 발광 디바이스(130)에 의해 방출된 광 출력은 사용자가 제스처-작동식 오디오 시스템에 근접한 상호 작용 영역 내에 있는지 또는 상호 작용 영역 외부의 이에 인접한 추적 영역 내에 있는지에 따라 달라질 수 있다 . 그러한 일 실시예가 도 3에 도시되어있다.
도 3은 상호 작용 영역(310) 내에 배치되고 본 개시의 다양한 실시예에 따라 구성된 제스처-작동식 오디오 시스템(300)의 평면도이다. 도시된 바와 같이, 제스처-작동식 오디오 시스템(300)은 제스처-작동식 오디오 시스템(300)의 주변 둘레로 연장되는, RGB LED 등과 같은, 독립적으로 제어 가능한 발광 디바이스(331)의 어레이(330)를 포함한다. 예를 들어, 그리고 제한없이, 일부 실시예에서, 어레이(330)는 도 2의 어레이(230)와 구성이 유사할 수 있다. 또한, 제스처-작동식 오디오 시스템(300)은 도 1의 존재 센서(150)와 관련하여 앞서 기술한 바의 하나 이상의 근접 센서 및 제스처 센서로 구성되는 존재 센서(350)를 포함한다. 따라서, 제스처-작동식 오디오 시스템(300)은 사용자(302)의 근접성을 결정하고, 상호 작용 영역(310)에서 사용자(302)에 의해 수행되는 제스처를 검출하며, 어레이(330)를 통해 사용자(302)에게 적절한 시각적 피드백을 제공하도록 구성된다.
동작시, 사용자(302)가 비 상호 작용 영역(340)으로부터 추적 영역(320)에 진입할 때, 존재 검출기(350)는 사용자(302)의 물리적 존재를 검출한다. 제어기(120)는 그 후 예를 들어 그리고 제한없이, 상호 작용 영역(310)에 대한 사용자(302)의 근접성을 표시하는 피드백을 사용자(302)에게 제공하는 광 출력을 어레이(330)로 하여금 생성하게 한다. 광 출력은 독립적으로 제어 가능한 발광 디바이스(331)의 일부의 활성화와 같이, 전술한 사항들 중 임의의 것일 수 있으며, 여기서 활성화되는 부분은 제스처-작동식 오디오 시스템(300)으로부터 임계 거리(311)까지 사용자(302)의 근접도에 비례하거나 관련된다. 따라서, 사용자(302)가 임계 거리(311)에 더 가깝게 이동함에 따라, 어레이(330)로부터의 광 출력이 변화한다. 예를 들어, 더 많은 독립적으로 제어 가능한 발광 디바이스(331)가 활성화될 수 있고, 어레이(330)에 의해 방출된 컬러가 수정될 수 있으며, 기하학적 도형이 증분하여 채워지거나 완성될 수 있고, 등등이다. 그러한 실시예에서, 사용자(302)가 임계 거리(311)를 지날 때, 제스처-작동식 오디오 시스템(300)으로부터의 시각적 출력의 이산 변화가 발생하여, 사용자(302)가 제스처 기반 오디오 시스템(300)에 제스처 기반 명령을 발행할 수 있음을 나타낸다. 예를 들어, 그리고 제한없이, 링과 같은 기하학적 도형이 완성될 수 있고, 제스처-작동식 오디오 시스템(300)으로부터 방출된 광의 컬러 외양 파라미터가 갑자기 변할 수 있으며(예를 들어, 상기 방출된 광의 색조가 상당히 다른 색조로 변함), 독립적으로 제어 가능한 발광 디바이스(331)들 중 하나 이상이 점멸 또는 점등하기 시작할 수 있고, 등등이다. 그러나, 다양한 실시예에서, 여기에 개시된 임의의 시각적 변화는 사용자(302)가 임계 거리(311)를 지날 때 구현될 수 있다.
일단 사용자(302)가 상호 작용 영역(310) 내에 있으면, 손 제스처, 팔 제스처, 손가락 제스처, 얼굴 제스처, 머리 제스처, 및 가령, 스마트 링, 스마트 시계, 스마트 헤드폰 시스템, 등과 같은 웨어러블 컴퓨팅 장치의 움직임을 포함한, 사용자(302)에 의해 수행되는 물리적 제스처가, 존재 검출기(350)를 통해, 제어기(320)에 의해 인식 및 해석될 수 있다. 이러한 제스처가 제스처-작동식 오디오 시스템(300)에 의해 검출됨에 응답하여, 제어기(120)는 사용자(302)의 눈에 보이는 적절한 시각적 출력을 어레이(330)로 하여금 방출하게하여, 수행된 제스처가 검출 및 인식되었다는 즉각적 피드백을 제공할 수 있다. 일부 실시예에서, 제어기(120)가 인식할 수 있는 각 제스처에 대해 어레이(330)에 의해 특정한 시각적 출력이 방출될 수 있다. 대안으로서 또는 추가적으로, 제스처에 응답하여 특정 명령이 수행되고 있음을 나타내는 특정 시각적 출력이 어레이(330)에 의해 방출될 수 있다.
일부 실시예에서, 존재 센서(350)는 제스처-작동식 오디오 시스템(300)의 360 °주위로 사용자를 검출하도록 구성되고, 어레이(330)는 도시된 바와 같이 제스처-작동식 오디오 시스템(300)의 360 ° 주위로 빛을 방출하도록 구성된다. 그러한 실시예에서, 상호 작용 영역(310) 및 추적 영역(320)은 일반적으로 원형이다. 이러한 실시예에서, 어레이(330)는 가령, 사용자와 면하는 발광 디바이스(332)(솔리드)와 같이, 사용자(302)와 면하는 어레이(330)의 독립적으로 제어가능한 발광 디바이스(331)를 활성화시킴으로써 사용자(302)에게 적절한 시각적 출력을 제공할 수 있다.
일부 실시예에서, 제스처-작동식 오디오 장치에 존재 센서를 배치함에 있어서 오디오 장치 주위로 360 ° 상호 작용 영역을 허용하지 않을 수 있다. 그러한 일 실시예가 도 4에 도시되어 있다.
도 4는 상호 작용 영역(410) 및 추적 영역(420)에 근접하여 배치되고 본 개시의 다양한 실시예에 따라 구성되는 제스처-작동식 오디오 시스템(400)의 평면도이다. 제스처-작동식 오디오 시스템(400)은 라우드스피커(440), 독립적으로 제어 가능한 발광 디바이스의 어레이(430), 및 도 1의 존재 센서(150)와 관련하여 전술한 하나 이상의 근접 센서 및 제스처 센서로 구성된 존재 센서(450)를 포함한다. 도 4에 도시된 실시예에서, 존재 센서(450)는 라우드스피커(440)가 오디오 출력을 지향시키는 동일한 영역을 향한다. 따라서, 상호 작용 영역(410) 및 추적 영역(420)은 도시된 바와 같이 제스처-작동식 오디오 시스템(400)의 일 측에 위치한다. 그렇지 않으면, 제스처-작동식 오디오 시스템(400)의 동작은 사용자가 비-상호 작용 영역(450)으로부터 추적 영역(420)에 진입할 때 및 사용자가 추적 영역(420)으로부터 상호 작용 영역(410)에 진입할 때 제스처-작동식 오디오 시스템(300)의 동작과 실질적으로 유사하다.
도 5는 본 개시의 다양한 실시예에 따른, 제스처-작동식 오디오 장치로부터 시각적 피드백을 생성하는 방법 단계의 흐름도를 도시한다. 방법 단계가 도 1 내지도 4의 시스템과 관련하여 기술되었지만, 당업자는 임의의 순서로 방법 단계를 수행하도록 구성된 임의의 시스템이 다양한 실시예의 범위 내에 있다는 것을 이해할 것이다.
도시된 바와 같이, 방법(500)은 존재 센서(350)가 상호 작용 영역(310) 또는 추적 영역(320)과 같은 제스처-작동식 오디오 시스템(300)에 인접한 영역에서 사용자(302)와 같은 물체의 존재를 검출하는 단계(510)에서 시작된다. 사용자(302)가 추적 영역(320)에 있을 때, 물체 검출은 제스처-작동식 오디오 시스템(300)에 대한 사용자(302) 근접성 결정을 포함할 수 있다. 사용자(302)가 상호 작용 영역(310)에 있을 때, 물체 검출은 사용자(302)에 의해 수행되는 제스처의 검출을 포함할 수 있다.
단계(502)에서, 존재 센서(350)는 물체와 관련된 하나 이상의 값을 포함하는 존재 신호를 무선 또는 유선 접속을 통해 제어기(120)에 전송한다. 사용자(302)가 제스처-작동식 오디오 시스템(300)의 추적 영역(320)에 있을 때, 존재 신호는 제스처-작동식 오디오 시스템(300)으로부터의 사용자(302) 거리와 같이, 제스처-작동식 오디오 시스템(300)에 대한 물체 근접성과 관련된 값을 포함할 수 있다. 사용자(302)가 제스처-작동식 오디오 시스템(300)의 상호 작용 영역(310)에 있을 때, 존재 신호는 사용자(302)에 의해 수행된 특정 제스처와 관련된 모션 정보를 나타내는 하나 이상의 값 및/또는 물체 근접도와 관련된 값을 포함할 수 있다. 존재 센서(350)가 사용자(302)에 의해 착용된 웨어러블 컴퓨팅 장치일 때와 같이 존재 센서(350)가 무선 접속을 통해 제어기(120)에 통신 가능하게 결합되는 경우, 존재 센서(350)는 존재 신호를 무선 접속을 통해 제어기(120)에 전송한다. 존재 센서(350)가 유선 접속을 통해 제어기(120)에 통신 가능하게 결합되는 실시예에서, 존재 센서(350)는 존재 신호를 유선 접속을 통해 제어기(120)에 전송한다.
선택적 단계(503)에서, 사용자(302)가 추적 영역(320)에 있을 때, 제어기(120)는 존재 신호에 포함된 정보에 기초하여 제스처-작동식 오디오 시스템(300)에 대한 사용자(302)의 근접성을 결정한다. 사용자(302)가 상호 작용 영역(310)에 있을 때, 제어기(120)는 존재 신호에 포함된 정보에 기초하여 어떤 물리적 제스처가 사용자(302)에 의해 수행되는지를 결정한다. 대안으로, 존재 센서(350)는 제스처-작동식 오디오 시스템(300)에 대한 사용자(302)의 근접성을 결정하도록 및/또는 사용자(302)에 의해 수행된 제스처를 결정하도록 구성된 로직 및/또는 프로그래밍을 포함한다. 그러한 실시예에서, 단계(503)는 수행되지 않는다.
단계(504)에서, 존재 신호의 수신에 응답하여, 제어기(120)는 물리적 존재에 대응하는 특정 광 출력을 어레이(330)로 하여금 방출하게 한다. 예를 들어, 사용자(302)가 추적 영역(320)에 있을 때, 광 출력은 제스처-작동식 오디오 시스템(300)에 대한 사용자(302)의 근접도의 함수로서 변화하는 가변 광 출력을 포함할 수 있다. 사용자(302)가 상호 작용 영역(310) 내에 있을 때, 특정 광 출력은 존재 신호를 제어기(120)가 수신하였음을 확인하는 광 출력, 또는, 제어기(120)가 존재 신호에 응답하여 특정 조치를 수행하고 있음을 표시하는 광 출력 중 적어도 하나를 포함한다.
예를 들어, 그리고 제한없이, 소정의 물리적 제스처에 응답하여, 신호 제어기(120)는 오디오 장치 동작을 제어함으로써 음악 또는 다른 오디오 콘텐트의 재생의 수정과 같은 조치를 수행할 수 있다. 구체적으로, 이러한 동작들은 제한없이, 오디오 출력 볼륨, 오디오 콘텐츠의 재생/일시 정지, 음악 트랙(다음/이전 노래, 다음/이전 재생 목록/라디오 방송국 등)의 선택, 셔플 모드로의 변경 또는 셔플 모드로부터 빠져나오기, 현재 재생 오디오 콘텐트와 관련된 메타데이터 수정, 가령, 현재 재생중인 오디오 콘텐트를 선호 선택으로 마킹, 선호/불호 또는 기타 등급을 현재 재생중인 오디오 콘텐트와 연관을 포함할 수 있다. 일부 실시예에서, 단계(504)에서, 제어기(120)는 또한 제어기가 존재 신호를 수신하였음을 나타내는 가청 신호(톤, 삑 소리, 사용자 선택 음향 효과, 또는 다른 가청 통지)를 라우드스피커(140)로 하여금 방출하게 할 수 있다.
요컨대, 다양한 실시예는 제스처-작동식 오디오 장치로부터 시각적 피드백을 생성하기 위한 시스템 및 기술을 설명한다. 제스처-작동식 오디오 장치는 사용자 및/또는 사용자 제스처의 물리적 존재를 검출하고 이에 응답하여 사용자에게 적절한 광 출력을 생성하도록 구성된다. 근접 센서를 통해 사용자의 근접성을 검출함으로써, 제스처-작동식 오디오 장치는 사용자 근접도의 함수로서 변화하는 가변 광 출력을 생성할 수 있어서, 물리적 제스처가 오디오 장치에 의해 인식될 수 있는지 여부를 시각적으로 사용자에게 알려준다. 제스처 센서를 통해 사용자에 의해 수행된 물리적 제스처를 검출함으로써, 제스처-작동식 오디오 장치는 제스처의 검출을 확인하는, 및/또는 제어기가 물리적 제스처에 응답하여 특정 동작을 수행하고 있음을 나타내는, 광 출력을 생성할 수 있다.
개시된 실시예의 적어도 하나의 이점은 제스처-작동식 오디오 장치에 대한 사용자의 현재 위치가 제스쳐-작동식 장치에 대한 제스처 기반 입력을 허용하는지 여부를 사용자가 한눈에 결정할 수 있다는 것이다. 또 다른 장점은 제스처 기반 오디오 장치와의 제스처 기반 상호 작용이 장치에서 제공하는 시각적 피드백으로 인해 더 신뢰할 수 있다는 것이다. 예를 들어, 시각적 피드백은 입력으로서 제스처의 인식을 확인해줄 수 있고, 및/또는 어떤 명령이 장치에 의해 수신되었는지를 나타낼 수 있다.
다양한 실시예에 대한 설명은 설명의 목적으로 제시되었지만, 개시된 실시예에 한정적이거나 제한하려는 것은 아니다. 기술된 실시예의 범위 및 사상을 벗어나지 않고 당업자에게 많은 변형 및 변화가 명백할 것이다.
본 실시예의 양태들은 시스템, 방법 또는 컴퓨터 프로그램 제품으로서 구체화될 수 있다. 따라서, 본 개시의 양상들은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함함) 또는 모두 대체로 여기서 "모듈" 또는 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태들을 결합하는 실시예의 형태를 취할 수 있다. 또한, 본 개시의 양태들은 컴퓨터 판독 가능 프로그램 코드가 구현된 하나 이상의 컴퓨터 판독 가능 매체(들)로 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독 가능 매체(들)의 임의의 조합이 이용될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스, 또는 전술한 것의 임의의 적합한 조합 일 수 있지만, 이에 한정되는 것은 아니다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예들(비 한정적인 리야 한)은 하나 이상의 와이어들을 갖는 전기적 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치, 또는 전술한 것들의 임의의 적절한 조합을 포함할 것이다. 이 문서의 범주에서, 컴퓨터 판독가능 저장 매체는 명령어 실행 시스템, 장치 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형의 매체일 수 있다.
본 개시의 양태들은 본 개시의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 상기에 설명되었다. 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도 내의 블록들의 조합은 컴퓨터 프로그램 명령어에 의해 구현될 수 있음을 이해할 것이다. 이들 컴퓨터 프로그램 명령어들은 범용 컴퓨터, 특수 목적 컴퓨터 또는 기계 생산을 위한 다른 프로그램가능 데이터 처리 장치의 프로세서를 통해 실행되는 명령어들이, 흐름도 및/또는 블록도에 명시된 기능/작용을 구현할 수 있게 한다. 이러한 프로세서는 범용 프로세서, 특수 목적 프로세서, 애플리케이션-전용 프로세서, 또는 필드 프로그래머블 프로세서 또는 게이트 어레이 일 수 있으나, 이에 한정되는 것은 아니다.
도면의 흐름도 및 블록도는 본 개시의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 구조, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도 내의 각 블록은 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능 명령을 포함하는 모듈, 세그먼트 또는 코드 부분을 나타낼 수 있다. 또한, 일부 대체 구현예에서, 블록에서 언급된 기능들은 도면들에서 언급된 순서를 벗어나 발생할 수 있음에 유의해야 한야 한예를 들어, 연속적으로 도시된 2 개의 블록은 사실상 실질적으로 동시에 실행될 수 있거나, 관련된 기능에 따라 때때로 블록이 역순으로 실행될 수 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도의 블록들의 조합은 특정 기능 또는 동작을 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현될 수 있으며, 또는 특수 목적 하드웨어 및 컴퓨터 명령의 조합을 포함할 수 있다.
전술한 내용은 본 개시의 실시예에 관한 것이지만, 본 발명의 다른 실시예 및 추가 실시예는 본 발명의 기본 범위를 벗어나지 않고 고안될 수 있으며, 그 범위는 다음의 청구 범위에 의해 결정된다.

Claims (20)

  1. 프로세서에 통신 가능하게 결합되고, 추적 영역 또는 상호 작용 영역 내의 사용자를 검출함에 응답하여 존재 신호를 생성하도록 구성된 센서;
    상기 프로세서에 통신 가능하게 연결된 라우드스피커;
    상기 프로세서에 통신 가능하게 연결된 적어도 하나의 발광 디바이스; 및
    상기 프로세서를 포함하되, 상기 프로세서는
    상기 사용자가 추적 영역에 있을 때, 상기 존재 신호에 기초하여 상기 적어도 하나의 발광 디바이스의 광 출력을 가변시키는 제1 시각적 출력을 발생시키고,
    상기 사용자가 상호 작용 영역에 있을 때, 오디오 장치가 제스처 기반 명령을 수신할 준비가 되었음을 나타내는 제2 시각적 출력을 발생시키도록 하는 것을 특징으로 하는, 오디오 장치.
  2. 제 1 항에 있어서, 상기 상호 작용 영역 내에서 상기 사용자의 검출은 상기 오디오 장치에 대한 상기 사용자의 근접성 결정을 포함하고, 상기 광 출력은 상기 근접성의 함수로서 변화하는, 오디오 장치.
  3. 제 1 항에 있어서, 상기 상호 작용 영역 내에서 상기 사용자의 검출은 상기 상호 작용 영역에서 상기 사용자에 의해 수행되는 제스처의 검출을 포함하고, 상기 광 출력은 상기 제스처가 검출되었다는 것을 확인하는 광 출력과, 상기 존재 신호에 응답하여 상기 프로세서가 제 1 동작을 수행하고 있음을 나타내는 광 출력 중 적어도 하나를 포함하는, 오디오 장치.
  4. 제 3 항에 있어서, 상기 제 1 동작은 상기 라우드스피커를 통해 출력되고 있는 오디오 콘텐츠의 적어도 하나의 양태를 변경하는 오디오 장치.
  5. 제 3 항에 있어서, 상기 프로세서는 상기 제스처에 응답하여, 상기 라우드스피커로 하여금 상기 프로세서가 상기 존재 신호를 수신했음을 나타내는 가청 신호를 방출하게 하도록 더 구성되는, 오디오 장치.
  6. 제 1 항에 있어서, 상기 센서는 무선 접속을 통해 상기 프로세서에 통신 가능하게 결합되는 오디오 장치.
  7. 제 6 항에 있어서, 상기 센서는 웨어러블 컴퓨팅 장치를 착용한 상기 사용자에 의해 수행되는 제스처에 응답하여 상기 존재 신호를 상기 프로세서에 송신하도록 구성된 상기 웨어러블 컴퓨팅 장치를 포함하는 오디오 장치.
  8. 제 1 항에 있어서, 상기 프로세서는 상기 적어도 하나의 발광 디바이스로 하여금 상기 존재 신호에 기초한 특정 색조, 상기 존재 신호에 기초한 특정 칼라 레벨, 상기 존재 신호에 기초한 특정 포화 레벨, 상기 존재 신호에 기초한 특정 밝기 레벨, 및 상기 존재 신호에 기초한 특정 명도 레벨 중 하나 이상을 가진 광 출력을 방출하게 하는 오디오 장치.
  9. 제 1 항에 있어서, 상기 적어도 하나의 발광 디바이스는 다수의 독립적으로 제어되는 발광 디바이스들의 어레이를 포함하는, 오디오 장치.
  10. 제 9 항에 있어서, 상기 프로세서는 상기 다수의 독립적으로 제어되는 발광 디바이스들의 어레이로 하여금, 상기 존재 신호에 기초하는 광 출력을 특정 구성의 활성화된 발광 디바이스들을 이용하여 방출하게 하는, 오디오 장치.
  11. 제 10 항에 있어서, 상기 다수의 독립적으로 제어되는 발광 디바이스 각각은 프로그램 가능 적색-녹색-청색 발광 다이오드(RGB-LED)를 포함하는, 오디오 장치.
  12. 제 10 항에 있어서, 상기 프로세서는 상기 어레이 내의 상기 활성화된 발광 디바이스가 상기 존재 신호의 값에 기초하여 기하학적 형상을 채우게함으로써 상기 적어도 하나의 발광 디바이스가 상기 광 출력을 방출하게 하는, 오디오 장치.
  13. 제 10 항에 있어서, 상기 프로세서는 상기 어레이 내의 상기 활성화된 발광 디바이스가 존재 신호의 값에 기초하여 기하학적 형상의 크기를 증가시키도록함으로써 상기 적어도 하나의 발광 디바이스로 하여금 상기 존재 신호에 기초하여 상기 광 출력을 방출하게 하는 오디오 장치.
  14. 제 9 항에 있어서, 상기 프로세서는,
    상기 다수의 독립적으로 제어되는 발광 디바이스들의 어레이에 대한 상기 사용자의 방향을 결정하도록 구성되고,
    상기 다수의 독립적으로 제어되는 발광 디바이스들의 어레이로 하여금, 상기 사용자의 방향을 향해 배향되는 어레이 내의 활성화된 발광 디바이스의 구성을 통해 광 출력을 방출시키도록 구성되는
    오디오 장치.
  15. 오디오 장치로부터 시각적 피드백을 생성하는 방법으로서,
    상기 오디오 장치의 상호 작용 영역 또는 추적 영역 내의 사용자의 존재를 검출하는 단계;
    상기 사용자의 존재와 관련된 값을 결정하는 단계;
    상기 사용자가 추적 영역에 있을 때, 상기 값에 의해 표시된 상기 사용자의 근접도에 기초하여 적어도 하나의 발광 디바이스가 제1 시각적 출력을 발생시키도록 하는 단계; 및
    상기 사용자가 상호 작용 영역에 있을 때, 상기 적어도 하나의 발광 디바이스로 하여금 상기 오디오 장치가 제스처 기반 명령을 수신할 준비가 되었음을 나타내는 제2 시각적 출력을 발생시키도록 하는 단계를 포함하는
    시각적 피드백 생성 방법.
  16. 제 15 항에 있어서, 상기 사용자의 존재와 관련된 상기 값을 결정하는 단계는 상기 오디오 장치에 대한 상기 사용자의 근접성을 결정하는 단계를 포함하는 시각적 피드백 생성 방법.
  17. 제 15 항에 있어서, 상기 사용자의 존재와 관련된 값을 결정하는 단계는 상기 사용자에 의해 수행된 특정 제스처를 결정하는 단계를 포함하는 시각적 피드백 생성 방법.
  18. 제 15 항에 있어서, 상기 적어도 하나의 발광 디바이스가 상기 오디오 장치에 포함되는 시각적 피드백 생성 방법.
  19. 하나 이상의 프로세서에 의해 실행될 때, 단계들을 수행함으로서 오디오 장치로부터 시각적 피드백을 생성하도록 상기 하나 이상의 프로세서를 구성하는 명령어들을 포함하는 비-일시적 컴퓨터 판독 가능 저장 매체에 있어서, 상기 단계들은
    상기 오디오 장치의 상호 작용 영역 또는 추적 영역 내의 사용자의 존재를 검출하는 단계;
    상기 사용자의 존재와 관련된 값을 결정하는 단계;
    상기 사용자가 추적 영역에 있을 때, 상기 값에 의해 표시된 상기 사용자의 근접도에 기초하여 적어도 하나의 발광 디바이스가 제1 시각적 출력을 발생시키도록 하는 단계; 및
    상기 사용자가 상호 작용 영역에 있을 때, 상기 적어도 하나의 발광 디바이스로 하여금 상기 오디오 장치가 제스처 기반 명령을 수신할 준비가 되었음을 나타내는 제2 시각적 출력을 발생시키도록 하는 단계를 포함하는 컴퓨터 판독 가능 저장 매체.
  20. 제 19 항에 있어서, 상기 단계들은 상기 적어도 하나의 발광 디바이스로 하여금 상기 값에 기초한 특정 색조, 상기 값에 기초한 특정 칼라 레벨, 상기 값에 기초한 특정 포화 레벨, 상기 값에 기초한 특정 밝기 레벨, 및 상기 값에 기초한 특정 명도 레벨 중 하나 이상을 가진 광 출력을 방출하게 하는 단계를 더 포함하는 컴퓨터 판독 가능 저장 매체.
KR1020187033003A 2016-05-19 2017-05-19 가시적 피드백을 제공하는 제스처-작동식 오디오 장치 KR102490518B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662339044P 2016-05-19 2016-05-19
US62/339,044 2016-05-19
PCT/US2017/033671 WO2017201492A1 (en) 2016-05-19 2017-05-19 Gesture-enabled audio device with visible feedback

Publications (2)

Publication Number Publication Date
KR20190009745A KR20190009745A (ko) 2019-01-29
KR102490518B1 true KR102490518B1 (ko) 2023-01-20

Family

ID=60325627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187033003A KR102490518B1 (ko) 2016-05-19 2017-05-19 가시적 피드백을 제공하는 제스처-작동식 오디오 장치

Country Status (5)

Country Link
US (1) US10685550B2 (ko)
EP (1) EP3458872B1 (ko)
KR (1) KR102490518B1 (ko)
CN (1) CN109154656B (ko)
WO (1) WO2017201492A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874134A (zh) 2018-08-31 2020-03-10 哈曼国际工业有限公司 可佩戴电子装置及姿势控制的***和方法
US11711638B2 (en) 2020-06-29 2023-07-25 The Nielsen Company (Us), Llc Audience monitoring systems and related methods
US11860704B2 (en) * 2021-08-16 2024-01-02 The Nielsen Company (Us), Llc Methods and apparatus to determine user presence
CN114245542B (zh) * 2021-12-17 2024-03-22 深圳市恒佳盛电子有限公司 一种雷达感应灯及其控制方法
US11758223B2 (en) 2021-12-23 2023-09-12 The Nielsen Company (Us), Llc Apparatus, systems, and methods for user presence detection for audience monitoring
US11579705B1 (en) * 2022-01-12 2023-02-14 Hewlett-Packard Development Company, L.P. Photodetector activations

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140045547A1 (en) * 2012-08-10 2014-02-13 Silverplus, Inc. Wearable Communication Device and User Interface
US20140266757A1 (en) * 2013-03-14 2014-09-18 Aliphcom Proximity-based control of media devices

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882331B2 (en) * 2002-05-07 2005-04-19 Jiahn-Chang Wu Projector with array LED matrix light source
US7264377B2 (en) * 2004-02-10 2007-09-04 Halo Sun, Llc Sensor-activated audible story lamp
US8381135B2 (en) * 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US8355003B2 (en) * 2008-06-13 2013-01-15 Microsoft Corporation Controller lighting activation by proximity and motion
KR101498623B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
KR20100136649A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
US8923995B2 (en) 2009-12-22 2014-12-30 Apple Inc. Directional audio interface for portable media device
JP5143192B2 (ja) * 2010-07-07 2013-02-13 シャープ株式会社 カラー画像形成装置
WO2012051209A2 (en) * 2010-10-11 2012-04-19 Third Wave Power Pte Ltd Gesture controlled user interface
US8459833B2 (en) 2011-05-13 2013-06-11 Lumenpulse Lighting, Inc. Configurable light emitting diode lighting unit
US9389716B2 (en) * 2011-09-23 2016-07-12 Sony Corporation Mobile terminal apparatus
KR101848875B1 (ko) * 2011-11-10 2018-05-28 엘지전자 주식회사 전자 기기
US20130135188A1 (en) * 2011-11-30 2013-05-30 Qualcomm Mems Technologies, Inc. Gesture-responsive user interface for an electronic device
US9563278B2 (en) * 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
US9225307B2 (en) * 2012-06-28 2015-12-29 Sonos, Inc. Modification of audio responsive to proximity detection
US9195432B2 (en) 2013-02-26 2015-11-24 Sonos, Inc. Pre-caching of audio content
US9304736B1 (en) * 2013-04-18 2016-04-05 Amazon Technologies, Inc. Voice controlled assistant with non-verbal code entry
US20140368423A1 (en) * 2013-06-17 2014-12-18 Nvidia Corporation Method and system for low power gesture recognition for waking up mobile devices
US9213102B2 (en) * 2013-09-11 2015-12-15 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
US9122451B2 (en) 2013-09-30 2015-09-01 Sonos, Inc. Capacitive proximity sensor configuration including a speaker grille
US9645786B2 (en) * 2014-01-06 2017-05-09 Avnera Corporation Gesture-controlled tabletop speaker system
US9594427B2 (en) * 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
US9196432B1 (en) * 2014-09-24 2015-11-24 James Thomas O'Keeffe Smart electrical switch with audio capability
WO2016052061A1 (ja) * 2014-09-30 2016-04-07 コニカミノルタ株式会社 ヘッドマウントディスプレイ
US20160282934A1 (en) * 2015-03-25 2016-09-29 Motorola Mobility Llc Presence detection for gesture recognition and iris authentication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140045547A1 (en) * 2012-08-10 2014-02-13 Silverplus, Inc. Wearable Communication Device and User Interface
US20140266757A1 (en) * 2013-03-14 2014-09-18 Aliphcom Proximity-based control of media devices

Also Published As

Publication number Publication date
EP3458872A4 (en) 2019-11-20
KR20190009745A (ko) 2019-01-29
WO2017201492A1 (en) 2017-11-23
CN109154656A (zh) 2019-01-04
CN109154656B (zh) 2023-08-25
EP3458872A1 (en) 2019-03-27
EP3458872B1 (en) 2021-04-07
US20190287380A1 (en) 2019-09-19
US10685550B2 (en) 2020-06-16

Similar Documents

Publication Publication Date Title
KR102490518B1 (ko) 가시적 피드백을 제공하는 제스처-작동식 오디오 장치
US11277519B2 (en) Methods and apparatus to assist listeners in distinguishing between electronically generated binaural sound and physical environment sound
JP6553052B2 (ja) ジェスチャ相互作用式の装着可能な空間オーディオシステム
US10409394B2 (en) Gesture based control system based upon device orientation system and method
KR102331048B1 (ko) 오디오 탐색 지원
JP6504809B2 (ja) 触覚的に動作可能とされる映写されたユーザインターフェースのためのシステム及び方法
JP2017513093A (ja) 注視の検出を介した遠隔デバイスの制御
KR20180093113A (ko) 광학 센서를 사용해 검출된 모션 제스처 입력
US20160225244A1 (en) Infrared sensing of eye and eyelid movements to detect drowsiness
WO2018180050A1 (ja) プログラミング装置及び記録媒体、プログラミング方法
WO2018180051A1 (ja) プログラミング装置及び記録媒体、プログラミング方法
CN110087156A (zh) 具有可配置隐私模式的可穿戴音响***
US9459696B2 (en) Gesture-sensitive display
KR102115222B1 (ko) 사운드를 제어하는 전자 장치 및 그 동작 방법
KR20230022898A (ko) 제스처를 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR101518820B1 (ko) 휴대단말기 모션 제어 크래들 및 그 제어방법
KR101943583B1 (ko) 조명 스피커
KR101424519B1 (ko) 이동 통신 단말기
US20210243872A1 (en) A method of selecting a controllable lighting device from a plurality of lighting devices
TW201546652A (zh) 以動作感應來操控電話及音樂功能之裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant