KR20150103308A - 분산된 멀티-센서 환경에서 오디오 성능을 커스터마이징하기 위한 자동화된 사용자/센서 로케이션 인식 - Google Patents

분산된 멀티-센서 환경에서 오디오 성능을 커스터마이징하기 위한 자동화된 사용자/센서 로케이션 인식 Download PDF

Info

Publication number
KR20150103308A
KR20150103308A KR1020157022514A KR20157022514A KR20150103308A KR 20150103308 A KR20150103308 A KR 20150103308A KR 1020157022514 A KR1020157022514 A KR 1020157022514A KR 20157022514 A KR20157022514 A KR 20157022514A KR 20150103308 A KR20150103308 A KR 20150103308A
Authority
KR
South Korea
Prior art keywords
wireless device
external
microphone
target user
loudspeakers
Prior art date
Application number
KR1020157022514A
Other languages
English (en)
Other versions
KR101928137B1 (ko
Inventor
래훈 김
페이 샹
에릭 비세르
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150103308A publication Critical patent/KR20150103308A/ko
Application granted granted Critical
Publication of KR101928137B1 publication Critical patent/KR101928137B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002—Loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Telephone Function (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

타겟 사용자에 대한 서라운드 사운드 효과를 생성하기 위해 다른 인접 오디오 트랜스듀서 디바이스들을 사용하는 무선 디바이스가 제공된다. 이를 실행하기 위해, 무선 디바이스는 먼저, 임의의 인접 외부 마이크로폰들 및/또는 라우드스피커 디바이스들이 존재하는지 여부를 확인한다. 무선 디바이스용 내부 마이크로폰 및 임의의 다른 인접 외부 마이크로폰들은 원하는/타겟화된 사용자뿐만 아니라 인접 라우드스피커 디바이스들의 로케이션을 확인하기 위해 사용될 수도 있다. 그 후, 상기 정보는 무선 디바이스가 오디오 신호들을 그 내부 라우드스피커들 및/또는 인접하는 외부 라우드스피커 디바이스들로 스티어링함으로써, 원하는/타겟화된 사용자에 대한 서라운드 사운드 효과를 생성하는데 사용된다.

Description

분산된 멀티-센서 환경에서 오디오 성능을 커스터마이징하기 위한 자동화된 사용자/센서 로케이션 인식{AUTOMATED USER/SENSOR LOCATION RECOGNITION TO CUSTOMIZE AUDIO PERFORMANCE IN A DISTRIBUTED MULTI-SENSOR ENVIRONMENT}
35 U.S.C.§119 하의 우선권 주장
본 특허 출원은 본원의 양수인에게 양도되고 이에 의해 본원에서 참조로서 명확히 통합된, 2011 년 12 월 19 일에 출원된 "Automated User Location Recognition To Enhanced Audio Performance In A Multi-Speaker Environment" 라는 명칭의 미국 가출원 제 61/577,483 호에 대한 우선권을 주장한다.
기술분야
일 특징은 일반적으로 무선 디바이스들, 멀티-마이크로폰, 및 멀티-스피커 오디오 시스템들에 관한 것이다. 일 예에서, 무선 디바이스는 사용자에 대하여 커스터마이징된 3 차원 실감 사운드 경험을 제공하기 위해, 마이크로폰, 라우드스피커, 및/또는 사용자 검출 및 로케이션을 자동으로 수행하도록 구성된다.
무선 디바이스들 (예컨대, 모바일 디바이스들, 모바일 폰들, 모바일 통신 디바이스들, 스마트 폰들, 개인용/모바일 컴퓨팅 디바이스들, 등) 은 종종 원하는/타겟화된 사용자로부터 오디오 신호들을 캡처하기 위해 하나 이상의 마이크로폰들을 포함한다. 추가로, 그러한 무선 디바이스들은 종종, 오디오 신호들이 타겟화된 사용자에게 방출되는 하나 이상의 라우드스피커들을 또한 포함한다. 그러나 통상적인 소형 사이즈의 일부 무선 디바이스들 (예컨대, 모바일 디바이스들) 은 서라운드 사운드 효과를 생성함으로써 사용자의 경험을 개선하는 것이 어렵다. 서라운드 사운드 효과는, 오디오 신호들이 2 이상의 상이한 외부 및/또는 내부 라우드스피커 디바이스들로부터 방출되어 타겟화된 사용자를 위한 서라운드 사운드 감각을 생성하도록, 오디오 신호들을 형상화함으로써 생성될 수도 있다.
그러한 형상화된 오디오 신호들을 외부 라우드스피커들을 사용하여 생성하는데 있어 하나의 도전과제는, 원하는/타겟화된 사용자들에 관하여 외부 라우드스피커들의 로케이션, 포지션, 및/또는 거리를 식별하는데 있다. 즉, 통합형 라우드스피커들과 달리, 타겟화된 사용자 (및/또는 무선 디바이스) 와 외부 스피커들 간의 포지션, 로케이션, 및/또는 거리는 무선 디바이스에 의해 알려져 있지 않다.
그러므로, 타겟화된 사용자의 사운드 경험을 개선하기 위해, 무선 디바이스가 인접 마이크로폰들 및/또는 라우드스피커 디바이스들을 레버리징하는 것을 허용하는 방식이 요구된다.
제 1 양태에 따르면, 무선 디바이스에서 동작하는 방법은, 타겟 사용자/청취자 로케이션을 자동으로 검출하고 오디오 성능을 커스터마이징하기 위해 제공된다. 타겟 사용자의 상대적인 로케이션은 무선 디바이스 및 하나 이상의 외부 라우드스피커들에 대하여 확인되고, 여기서 무선 디바이스에 관한 타겟 사용자의 로케이션은 임의적이다. 스피커-특정 오디오 신호들은 무선 디바이스로부터 하나 이상의 외부 라우드스피커들로 무선으로 전송되고, 각각의 스피커-특정 오디오 신호는 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하기 위해 대응하는 외부 라우드스피커에서 재생되도록 적응된다. 하나 이상의 외부 디바이스들에 대한 로케이션은 무선 디바이스에 관하여 확인되며, 외부 디바이스들은 하나 이상의 외부 마이크로폰들 및/또는 하나 이상의 라우드스피커들을 포함한다. 그 후에, 하나 이상의 외부 마이크로폰들은 하나 이상의 외부 디바이스들로부터 선택된다. 오디오 신호들은 무선 디바이스에 대한 타겟 사용자의 상대적인 로케이션을 확인하기 위해 하나 이상의 선택된 외부 마이크로폰들 및/또는 하나 이상의 내부 마이크로폰들에서 타겟 사용자로부터 캡처된다. 하나 이상의 외부 마이크로폰들의 각각으로부터 캡처된 오디오는 타겟 사용자 로케이션을 확인하기 위한 거리 및 상대적인 방위를 확인하기 위해 서로 비교될 수도 있다. 하나 이상의 선택된 외부 마이크로폰들은 타겟 사용자로부터의 오디오 신호들을 캡처하여 캡처된 오디오 신호에 대한 도달 방향을 확인하도록 명령될 수도 있다. 무선 디바이스에 관한 하나 이상의 외부 디바이스들의 로케이션을 확인하는 것은, 하나 이상의 외부 라우드스피커들로부터의 오디오 신호들을 캡처하여 캡처된 오디오 신호들에 대한 하나 이상의 대응하는 도달 방향들을 확인하는 것을 하나 이상의 외부 마이크로폰들에 명령하는 것을 포함할 수도 있다. 무선 디바이스에 대한 타겟 사용자의 상대적인 로케이션을 확인하는 것은, (a) 외부 디바이스에 관한 외부 디바이스의 로케이션을 확인하는 것, 및/또는 (b) 외부 디바이스에 관한 타겟 사용자의 로케이션을 확인하는 것을 포함할 수도 있다. 무선 디바이스로부터 하나 이상의 외부 라우드스피커들로의 스피커-특정 오디오 신호들은 무선 통신 인터페이스를 통해 불가청 형태로 전송될 수도 있다. 일 양태에 따르면, 무선 디바이스는 모바일 전화 디바이스일 수도 있다.
제 2 양태에 따르면, 무선 디바이스에서 동작하는 방법은 오디오 성능을 자동으로 커스터마이징하기 위해 제공된다. 무선 디바이스는 하나 이상의 외부 라우드스피커들의 존재를 자동으로 확인하고 및/또는 하나 이상의 외부 라우드스피커들에 대한 타겟 사용자의 상대적인 로케이션을 자동으로 확인할 수도 있다. 그 후에, 무선 디바이스는 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하기 위해 제 1 오디오 신호들을 하나 이상의 외부 라우드스피커들로 스티어링할 수도 있다. 무선 디바이스는 또한 (a) 하나 이상의 외부 마이크로폰들의 존재를 자동으로 확인하고; (b) 하나 이상의 외부 마이크로폰들에게, 하나 이상의 외부 라우드스피커들로부터 제 2 오디오 신호들을 캡처하여 캡처된 제 2 오디오 신호들에 대한 하나 이상의 대응하는 도달 방향들을 확인할 것을 명령하며; 및/또는 (c) 하나 이상의 외부 마이크로폰들에게, 타겟 사용자로부터 제 3 오디오 신호를 캡처하여 캡처된 제 3 오디오 신호에 대한 도달 방향을 확인할 것을 명령할 수도 있고, 여기서 하나 이상의 외부 라우드스피커들에 대한 타겟 사용자의 상대적인 로케이션은 도달 방향들에 기초하여 확인된다. 무선 디바이스는 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하기 위해 제 1 오디오 신호들을 하나 이상의 내부 라우드스피커들로 스티어링할 수도 있다. 제 1 오디오 신호들은 무선 디바이스로부터 하나 이상의 외부 라우드스피커들로 무선 통신 인터페이스를 통해 불가청 형태로 전송될 수도 있다.
*제 3 양태에 따르면, 외부 디바이스에서 동작하는 방법이 제공된다. 외부 디바이스는 (a) 무선 디바이스로부터, 무선 디바이스에 관하여 외부 디바이스를 로케이팅하기 위해 마이크로폰을 작동시키고 마이크로폰에 의해 캡처된 제 1 오디오 신호를 무선 디바이스에 제공하기 위한 제 1 명령을 수신하고, (b) 무선 디바이스로부터, 무선 디바이스에 관하여 외부 디바이스를 로케이팅하는 것을 보조하기 위해 외부 라우드스피커를 통해 제 2 오디오 신호를 재생하기 위한 제 2 명령을 수신하고, 및/또는 (c) 무선 디바이스로부터, 무선 디바이스에 관한 타겟 사용자의 로케이션을 확인하기 위해 마이크로폰을 작동시키고 마이크로폰에 의해 캡처된 제 3 오디오 신호를 무선 디바이스에 전송하기 위한 제 3 명령을 수신할 수도 있다. 외부 디바이스는 추가로, (a) 하나 이상의 대응하는 외부 라우드스피커들에 할당된 무선 디바이스로부터 스피커-특정 오디오 신호들을 수신하고; 및/또는 (b) 스피커-특정 오디오 신호들을 하나 이상의 대응하는 외부 라우드스피커들에 전송하도록 구성될 수도 있으며, 여기서 각각의 스피커-특정 오디오 신호는 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하도록 적응된다. 무선 디바이스로부터 하나 이상의 외부 라우드스피커들로의 스피커-특정 오디오 신호들은 무선 통신 인터페이스를 통해 불가청 형태로 수신될 수도 있다.
도 1 은, 무선 디바이스가 원하는 사용자 (또는 의도된 청취자/발화자) 로의 오디오 전달을 개선하기 위해 하나 이상의 인접 외부 디바이스들을 사용할 수도 있는, 예시적인 환경을 도시한다.
도 2 내지 도 6 은, 복수의 마이크로폰들이 원하는 타겟 사용자에 대한 포커스 오디오 픽업 지역을 생성하는데 사용될 수도 있는, 오디오/사운드 캡처의 다양한 시나리오들을 도시한다.
도 7 은 무선 디바이스가 원하는 사용자/스피커로부터의 오디오/사운드 캡처를 강화하기 위해 하나 이상의 외부 마이크로폰들을 검출할 수도 있고 사용할 수도 있는 방식을 도시하는 흐름도이다.
도 8 은 외부 라우드스피커들 및 타겟 사용자/청취자로부터의 도달 방향들이 라우드스피커들 및 타겟 사용자에 대한 상대적인 로케이션을 발견하고 라우드스피커 빔들을 타겟 사용자로 스티어링하기 위해 확인되는 방식의 일 예를 도시한다.
도 9 는 분산된 오디오 트랜스듀서들 및 타겟 사용자 로케이션에 대한 맵이 확인될 수도 있는 방식을 도시한다.
도 10 은 무선 디바이스에 관한 외부 디바이스의 상대적인 포지션/로케이션을 식별하는 이러한 문제점을 도시한다.
도 11 내지 도 14 는 무선 디바이스에 관한 도달 방향을 확인하기 위한 다양한 솔루션들을 도시한다.
도 15 는 무선 디바이스에 관하여 분산된 트랜스듀서들 및/또는 타겟 사용자의 로케이션들이 획득될 수도 있는 방식을 도시한다.
도 16 은 타겟 사용자에 대하여 포커싱된 오디오 분배 및/또는 캡처를 제공하기 위해, 하나 이상의 외부 디바이스들 및/또는 타겟 사용자의 상대적인 로케이션을 확인하도록 구성된 무선 디바이스를 도시하는 블록 다이어그램이다.
도 17 은 하나 이상의 인접 외부 디바이스들 및/또는 타겟 사용자를 로케이팅하고, 이 정보를 사용하여 타겟 사용자에게 강화된 오디오/사운드 캡처 및/또는 전달을 제공하기 위한 무선 디바이스에서 동작하는 방법을 도시한다.
도 18 은 하나 이상의 인접 외부 디바이스들 및/또는 타겟 사용자를 로케이팅하고, 이 정보를 사용하여 타겟 사용자에게 강화된 오디오/사운드 캡처 및/또는 전달을 제공하기 위한 무선 디바이스에서 동작하는 다른 방법을 도시한다.
도 19 는 타겟 사용자에 대하여 포커싱된 오디오 분배 및/또는 캡처를 제공하기 위해, 무선 디바이스가 타겟 사용자의 상대적인 로케이션을 확인하는 것을 보조하도록 구성된 외부 디바이스를 도시하는 블록 다이어그램이다.
도 20 은 무선 디바이스가 하나 이상의 인접 외부 디바이스들 및/또는 타겟 사용자를 로케이팅하는 것을 보조하고, 이 정보를 사용하여 타겟 사용자에게 강화된 오디오/사운드 캡처 및/또는 전달을 제공하기 위한, 외부 디바이스에서 동작하는 방법을 도시한다.
다음의 설명에 있어서는, 본 개시가 실시될 수도 있는 특정 실시형태들이 예시에 의해 도시된 첨부 도면들을 참조한다. 그 실시형태들은, 당업자들로 하여금 본 발명을 실시할 수 있게 하도록 본 개시의 양태들을 충분히 상세히 설명하도록 의도된다. 다른 실시형태들이 활용될 수도 있으며, 본 개시의 범위로부터 일탈함 없이 개시된 실시형태들에 대한 변경들이 행해질 수도 있다. 다음의 상세한 설명은 한정적인 의미로 취해지지 않으며, 본 발명의 범위는 첨부된 청구항들에 의해서만 한정된다.
용어 "무선 디바이스" 는 다른 디바이스들 중에서, "모바일 디바이스들", "모바일 폰", "모바일 통신 디바이스들", "모바일 컴퓨팅 디바이스들", "디지털 태블릿들", "스마트폰들" 을 지칭하기 위해 본원에서 사용될 수도 있다. 용어들 "라우드스피커" 및/또는 "스피커" 는 전기 신호를 오디오 사운드로 컨버팅하는 오디오 트랜스듀서들을 지칭하기 위해 본원에서 상호교환 가능하게 사용될 수도 있다. 용어 "마이크로폰" 은 오디오를 전기 신호로 컨버팅하는 오디오 트랜스듀서들을 지칭하기 위해 본원에서 사용될 수도 있다.
개관
본 개시물은 타겟화된 사용자에게 커스터마이징된 3 차원 실감 사운드 경험을 제공하는 것을 허용하기 위해, 무선 디바이스에 관한 외부 라우드스피커들의 로케이션, 포지션, 및/또는 거리를 검출하기 위한, 장치들, 방법들 및 명령들을 포함하는 컴퓨터 판독가능 매체들을 지칭한다. 일반적으로, 디바이스는 최적의 이음매없는 방식으로 모든 사용가능한 음향 디바이스들을 사용하는 타겟 사용자에 대한 커스터마이징된 공간 사운드 재생을 위해 사용될 (예컨대, 디바이스의) 협력 시스템에서 라우드스피커들, 마이크로폰들 및 타겟 사용자의 로케이션들을 자동으로 추정하도록 구성될 수도 있다.
일 특징은 타겟화된 사용자에 대한 서라운드 사운드 효과를 생성하기 위해 다른 인접 오디오 트랜스듀서 디바이스들을 사용하는 무선 디바이스를 위해 제공한다. 이를 실행하기 위해, 무선 디바이스는 먼저, 임의의 인접 외부 마이크로폰들 및/또는 라우드스피커 디바이스들이 존재하는지 여부를 확인한다. 무선 디바이스용 내부 마이크로폰 및 임의의 다른 인접 외부 마이크로폰들은 원하는/타겟화된 사용자뿐만 아니라 인접 라우드스피커 디바이스들의 로케이션을 확인하기 위해 사용될 수도 있다. 그 후, 상기 정보는 무선 디바이스가 오디오 신호들을 그 내부 라우드스피커들 및/또는 인접하는 외부 라우드스피커 디바이스들로 스티어링함으로써, 원하는/타겟화된 사용자에 대한 서라운드 사운드 효과를 생성하는데 사용된다.
예시적인 동작 환경
도 1 은, 무선 디바이스 (102) 가 원하는 사용자 (또는 의도된 청취자/발화자) 로의 오디오 전달을 개선하기 위해 하나 이상의 인접 외부 디바이스들을 사용할 수도 있는, 예시적인 환경 (100) 을 도시한다. 이 예에서, 예시적인 환경 (100) 은 무선 디바이스 (102) 및 하나 이상의 외부 디바이스(들)(106) 을 포함할 수도 있다. 무선 디바이스 (102) 는 하나 이상의 라우드스피커들 (112 및 114), 통신 인터페이스 (122) 및 하나 이상의 마이크로폰들 (116) 을 포함할 수도 있다. 외부 디바이스 (106) 는 하나 이상의 마이크로폰들 (118 및 120), 및 외부 디바이스 (106) 와 구분되고, 커플링되고, 및/또는 통합되는 하나 이상의 라우드스피커들 (108 및 110) (예컨대, 스피커들, 오디오 트랜스듀서들, 등) 을 포함할 수도 있다. 무선 디바이스 (102) 및 외부 디바이스 (106) 는 각각 무선 통신 인터페이스 (122 및 124) 를 개별적으로 포함할 수도 있다. 무선 통신 인터페이스들 (122 및 124) 은 무선 디바이스 (102) 가 커맨드들 및/또는 명령들을 외부 디바이스 (106) 에 전송하게 하고, 무선 링크 (126) (예컨대, 적외선 링크, 블루투스 링크, 피어-투-피어 링크, 등) 를 통해 외부 디바이스 (106) 로부터 신호들 및/또는 데이터를 수신하게 할 수도 있다. 예를 들어, 무선 디바이스 (102) 는 외부 디바이스 (106) 에 특정 시간에 및/또는 특정 시간 인터벌 동안 오디오를 캡처하기 위해 그 마이크로폰(들)(118 및 120) 을 작동시킬 것을 지시할 수도 있다. 무선 통신 인터페이스 (122) 는 또한, 무선 디바이스 (102) 가 하나 이상의 내부 라우드스피커들 (112 및 114) 및/또는 외부 라우드스피커들 (108 및 110) 중 하나 이상에 오디오 신호들을 방출할 것을 선택적으로 요청하게 할 수도 있다. 다양한 예들에 따르면, 무선 통신 인터페이스 (122) 는 무선 링크 (126) 를 통해 무선 디바이스 (102) 를 하나 이상의 외부 디바이스들 (106) 에 통신가능하게 커플링하도록 기능할 수도 있고, 무선 링크 (126) 는 무선 통신 네트워크 (예컨대, 와이파이, 셀룰러 네트워크, 등등) 및/또는 피어-투-피어 링크 (블루투스, 근거리장 통신들, 등등) 중 적어도 하나일 수도 있다. 무선 통신 인터페이스 (122) 는 또한, 무선 디바이스 (102) 가 불가청 형태로 (예컨대, 디지털화된, 패킷화된, 페이로드로서, 등등) 오디오 신호들을 송신 및/또는 수신하도록 허용할 수도 있다. 다양한 예들에서, 무선 디바이스 (102) 는 직접 포인트-투-포인트 통신 링크를 통해 직접적으로, 또는 외부 디바이스 (106) 를 통해 간접적으로 하나 이상의 외부 라우드스피커들 (108 및 110) 과 통신할 수도 있다.
*일 예시적인 구현에서, 무선 디바이스 (102) 는 타겟 사용자 (104) 로부터의 오디오/사운드 캡처를 강화시키기 위해 외부 디바이스 (106), 및/또는 (내장형 마이크로폰(들)(116) 과 함께) 외부 마이크로폰들 (118 및 120) 중 하나 이상을 사용하도록 구성될 수도 있다. 예시적인 동작 환경 (100) 내에서, 타겟 사용자 (104) 로부터의 오디오/사운드의 캡처는, 타겟 사용자에 대한 사운드의 검출된 도달 방향에 기초하는 선택된 마이크로폰들의 사용에 의해 강화될 수도 있다.
일 양태에 따르면, 복수의 마이크로폰들은 무선 디바이스 (102) 및/또는 외부 디바이스 (106) 에 관하여 사용자 (104) 의 포지션 또는 로케이션을 추정하고, 확인하고, 및/또는 획득하기 위해 사용될 수도 있다. 내장형 마이크로폰(들)(116) 과 외부 마이크로폰들 (118 및 120) 에 의해 캡처된 모든 오디오 신호들은 유선 링크 또는 무선 통신 링크를 통해 무선 디바이스 (102) 에 (예컨대, 디지털 패킷들, 아날로그 인코딩된 신호, 등과 같은 불가청 형태로) 라우팅될 수 있다. 예를 들어, 외부 마이크로폰들 (118 및 120) 에서 오디오 신호를 캡처할 시, 오디오 신호는 무선 통신 링크 (126) 를 통해 무선 디바이스에 (불가청 형태로) 송신되는 전기 형태 (예컨대, 아날로그, 디지털, 등) 으로 컨버팅될 수도 있다. 외부 마이크로폰들을 사용함으로써, 무선 디바이스 (102) 는 무선 디바이스 (102) 에 관하여 외부 라우드스피커들 (108 및 110) 및/또는 타겟 사용자 (104) 를 검출 및/또는 로케이팅할 수도 있다. 사용자 로케이션 검출은 인접 오디오 디바이스들 (예컨대, 외부 마이크로폰들 (118 및/또는 120) 및/또는 라우드스피커들 (108 및/또는 110)) 및/또는 무선 디바이스 (102) 의 내장형 오디오 디바이스들 (예컨대, 하나 이상의 마이크로폰들 (116) 및/또는 라우드스피커들 (112 및 114)) 을 사용하는 동작 환경 (100) (예컨대, 자동차 또는 홈 환경) 내에서의 공간적인 사운드 판별을 수반할 수도 있다.
일 예시적인 구현에서, 무선 디바이스 (102) 는 타겟 사용자 (104) 에게 오디오를 방출하기 위해 외부 디바이스 (106), 및/또는 (내장형 라우드스피커들 (112 및 114) 과 함께) 외부 라우드스피커들 (108 및 110) 중 하나 이상을 사용하도록 구성될 수도 있다. 그러한 예시적인 동작 환경 (100) 내에서, 사용자 (104) 는 라우드스피커들 (108, 110, 112, 및/또는 114) 로부터 방출된 오디오/사운드의 의도된 타겟일 수도 있다. 사용자 (104) 에게로의 오디오/사운드 전달을 강화시키기 위해, 오디오/사운드를 사용자 (104) 에게 지향시키고 및/또는 서라운드 사운드 경험을 제공하는 것이 바람직할 수도 있다.
다른 양태에 따르면, 자동 음장 커스터마이제이션은 인접 외부 라우드스피커들 (108 및 110) 을 이용함으로써 무선 디바이스 (102) 에 의해 수행될 수도 있다. 즉, 무선 디바이스 (102) 및/또는 외부 라우드스피커들 (108 및 110) 에 대하여 타겟 사용자 (104) 를 로케이팅하였을 때, 무선 디바이스 (102) 는 타겟 사용자 (104) 로의 서라운드 사운드 오디오를 달성하기 위해 사용될 수도 있는, 다양한 라우드스피커들 (108, 110, 112, 및/또는 114) 로의 오디오 신호 스티어링을 (직접적으로 또는 간접적으로) 수행할 수도 있다. 이 프로세스는 또한, (특히 저주파수 범위에서 더 양호한 재생을 위해) 자동 라우드스피커간 레벨/지연 등화 및 룸/환경 등화를 수반할 수도 있다.
캡처된 사운드 품질을 강화시키기 위한 분산된 마이크로폰들의 결합
제 1 양태에 따르면, 무선 디바이스는 인접 외부 디바이스들에서 주변 마이크로폰들을 자동으로 또는 자체적으로 식별하는 것을 시도할 수도 있고, 그러한 마이크로폰들을 이용하여 오디오/사운드 캡처 품질을 강화시킨다. 이 프로세스는 그러한 마이크로폰들이 인접 외부 디바이스들에서 사용가능한지 여부를 결정하는 것 및 그 후, 무선 디바이스 마이크로폰과 관련된 그들의 로케이션이 유용한지 여부를 확인하는 것을 수반할 수도 있다.
도 2 내지 도 5 는, 복수의 마이크로폰들이 원하는 타겟 사용자에 대한 포커스 오디오 픽업 지역을 생성하는데 사용될 수도 있는, 오디오/사운드 캡처의 다양한 시나리오들을 도시한다. 무선 디바이스 (102) 는 하나 이상의 마이크로폰들 (116) 을 포함할 수도 있지만, 공간 다이버시티를 증가시키기 위해 외부 디바이스의 다른 외부 마이크로폰들 (118 및 120) 을 이용하고, 따라서 원하는 타겟 사용자/스피커의 삼각측량을 허용할 수 있다. 이러한 시나리오들에서, 도달 방향 (DOA) 들은 외부 디바이스 (106) 에서의 마이크로폰들과 관련된다. 타겟 사용자 (104) 로부터의 제 1 오디오/사운드 신호 (202) 는 외부 디바이스 (106) 에서 하나 이상의 마이크로폰들에 의해 캡처된다. 유사하게, 무선 디바이스 (102) 로부터 방출된 제 2 오디오/사운드 신호 (204) 는 외부 디바이스 (106) 에서의 하나 이상의 마이크로폰들에 의해 캡처된다. 제 1 및 제 2 오디오/사운드 신호들 (202 및 204) 간의 각도는 α 로 표시된다. 각도 α 가 45 도 미만인 시나리오들은, 인접 외부 디바이스 (106) 와 무선 디바이스 (102) 내의 캡처중인 마이크로폰들이 타겟 사용자 (104) 로케이션에 관한 유의미한 정보를 획득하기 위해 충분히 떨어져 있기 때문에, 타겟 사용자 (104) 로케이션을 확인하는데 있어 더 적은 모호성을 수반한다. 즉, 마이크로폰들이 추가로 떨어져 있을수록, 타겟 사용자 (104) 로케이션을 확인하는 것은 더 용이하다. 무선 디바이스 (102) 와 외부 디바이스 (106) 에 대한 (예컨대, 마이크로폰과 원하는 사용자 (104) 간의) 마이크로폰-입 축들이 동일하지 않기 때문에, 오디오/사운드를 후면, 측면 및/또는 전면 방향들로부터 픽업하지 않고 (타겟 사용자 (104) 의) 입 영역으로 삼각측량하는데 사용될 수 있다. 무선 디바이스 (102) 마이크로폰으로부터의 그러한 포커싱된 사운드 픽업 지역은 제 1 빔 (208) 에 의해 도시되지만, 외부 디바이스 (106) 로부터의 포커싱된 사운드 픽업 지역은 제 2 빔 (206) 에 의해 도시된다.
한편, 각도 α 가 45 도보다 큰 시나리오들은, 도달 방향 (DOA) 들이 더 정렬될수록, 원하는 사용자 로케이션에 대한 그들의 정보를 결합하는 것이 덜 장려되기 때문에, 원하는 사용자 (104) 로케이션을 확인하는데 있어 더 큰 모호성을 수반한다. 즉, DOA들이 더 정렬될수록, 다수의 마이크로폰들은 원하는 사용자 로케이션을 수행하는데 있어 더 적은 혜택을 제공한다. 이러한 시나리오에서, 원하는 사용자 (104) 에 최인접한 마이크로폰이 사용될 수도 있다.
도 2 는, 사운드 신호들의 도달 방향들이 외부 디바이스 (106) 에서 확인되는, 제 1 시나리오를 도시한다. 예를 들어, 타겟 사용자 (104) 로부터의 제 1 사운드/오디오 신호 (202) 는 외부 디바이스 (106) 의 마이크로폰에서 수신된다. 제 2 사운드/오디오 신호 (204) 는 외부 디바이스 (106) 의 마이크로폰에서 수신될 수도 있다. 제 1 및 제 2 사운드/오디오 신호들 (202 및 204) 의 도달 방향들은 각도 α 를 형성하고, 이 예에서 α < 45 도이다. 본 시나리오에서, α < 45 도이기 때문에, 타겟 사용자 (104) 는 더 적은 모호성으로 무선 디바이스 (102) 에 의해 로케이팅될 수 있다.
도 3 은, 제 1 및 제 2 사운드/오디오 신호들 (202 및 204) 의 도달 방향들이 외부 디바이스 (106) 에서 각도 α 를 형성하는, 제 2 시나리오를 도시하며, 여기서 α
Figure pat00001
45 도이다. 이 시나리오에서, 각도 α
Figure pat00002
45 이기 때문에, 타겟 사용자 (105) 에 대한 로케이션을 확인하는데 있어 일부 모호성이 존재할 수도 있다. 즉, 무선 디바이스 (102) 와 외부 디바이스 (106) 가 서로 더 인접할수록, 삼각측량을 수행하고 타겟 사용자 로케이션을 획득하기 위해 충분히 별개인 신호 측정치들을 획득하는 것은 더 어렵다.
도 4 는, 제 1 및 제 2 사운드/오디오 신호들 (202 및 204) 의 도달 방향들이 외부 디바이스 (106) 에서 각도 α 를 형성하는, 제 3 시나리오를 도시하며, 여기서 α > 45 도이다. 이 시나리오에서, α > 45 도이기 때문에, 원하는 사용자 (104) 에 대한 로케이션을 확인하는데 있어 상당한 모호성이 존재할 수도 있거나, 그러한 로케이션을 확인하는 것이 가능하지 않을 수도 있다. 즉, 무선 디바이스 (102) 와 외부 디바이스 (106) 가 서로 더 인접하기 때문에, 삼각측량을 수행하고 타겟 사용자 로케이션을 획득하기 위해 충분히 별개인 신호 측정치들을 획득하는 것은 더 어렵다.
도 5 는, 제 1 및 제 2 사운드/오디오 신호들의 도달 방향들이 각도 α 를 형성하는, 제 4 시나리오를 도시하며, 여기서 α
Figure pat00003
180 도이다. 무선 디바이스 (102) 가 외부 디바이스 (106) 와 원하는 사용자 (104) 사이에 있는 (예컨대, α
Figure pat00004
180도) 이러한 시나리오에서, 마이크로폰들의 다이버시티는 원하는 사용자 (104) 에 대한 로케이션을 확인하는데 사용될 수 없다. 따라서, 도달 방향들을 결합하는 것 또는 무선 디바이스 (102) 가 외부 디바이스 (106) 에서 마이크로폰들을 사용하는 것이 덜 장려된다. 무선 디바이스 (102) 가 타겟 사용자 (104) 에 최인접하기 때문에, 그 마이크로폰(들) 은 외부 디바이스 (106) 마이크로폰(들) 에 의해 캡처된 임의의 오디오/사운드를 가능하면 무시하거나 디스에이블하면서 타겟 사용자 (104) 로부터 오디오/사운드를 캡처하는데 사용될 수도 있다.
도 6 은, 제 1 및 제 2 사운드/오디오 신호들의 도달 방향들이 각도 α 를 형성하는, 제 5 시나리오를 도시하며, 여기서 α
Figure pat00005
180 도이다. 외부 디바이스 (104) 가 무선 디바이스 (102) 와 원하는 사용자 (104) 사이에 있는 (예컨대, α
Figure pat00006
180도) 이러한 시나리오에서, 마이크로폰들의 다이버시티는 원하는 사용자 (104) 에 대한 로케이션을 확인하는데 사용될 수 없다. 따라서, 도달 방향들을 결합하는 것 또는 무선 디바이스 (102) 가 외부 디바이스 (106) 에서 마이크로폰들을 사용하는 것이 덜 장려된다. 외부 디바이스 (106) 가 타겟 사용자 (104) 에 최인접하기 때문에, 그 마이크로폰(들) 은 외부 디바이스 (106) 마이크로폰(들) 에 의해 캡처된 임의의 오디오/사운드를 가능하면 무시하거나 디스에이블하면서 타겟 사용자 (104) 로부터 오디오/사운드를 캡처하는데 사용될 수도 있다.
따라서, 내장형 및/또는 외부 마이크로폰들을 결합하는 것은 오디오/사운드 캡처 품질을 강화시키는데 사용될 수도 있다. 다수의 마이크로폰들의 사용은 또한, 타겟 사용자에 대한 로케이션을 트래킹 (예컨대, 상대적인 포지션/로케이션을 확인) 하는 기능을 할 수도 있다. 다수의 마이크로폰들을 사용하는 그러한 사용자 로케이션/트래킹은 포커싱된 영역 (즉, 원하는 사용자) 으로부터 오디오/사운드의 캡처를 포커싱하기 위해, 증가된 자유도 (DOF) 로 빔 형성, 널 형성, 및/또는 마스킹을 허용할 수도 있다.
그러나, 다수의 마이크로폰들을 결합하기 전에, 무선 디바이스 (102) 는 먼저, 그러한 결합이 실질적으로 DOF 를 증가시키는지 여부를 확인할 수도 있다. 추가로, 다수의 마이크로폰들이 존재할 경우, 이 마이크로폰들은 동기화될 수도 있다. 예를 들어, 자동 음성/스피커 인식 (ASR) 엔진은 이러한 목적을 위해 무선 디바이스 (102) 에 의해 구현될 수도 있다. ASR 엔진에 의해 제공된 타임스탬프 정보는 타겟 음성에 대한 모든 마이크로폰 신호들을 동기화하는데 사용될 수도 있다.
추가로, ASR 은 또한 특정 활성화 언어 코드 (예컨대, 이러한 특정한 목적을 제외하고는 일반적으로 발성되지 않은 문장 또는 단어) 를 바로 허용함으로써 동기화 프로세스를 개시하기 위해 사용될 수도 있다. ASR 은 또한 타겟 사용자가 프로세스를 개시할 경우에 오직 특정 기능들만을 가능하게 하는 타겟 사용자 의존형 시스템을 구현하도록 기능할 수도 있다.
일 예에서, ASR 은 참조 오디오/사운드를 캡처하기 위해 내장형 마이크로폰(들) 을 사용할 수도 있는 무선 디바이스 (102) 에 구현될 수도 있다. 그 후에, ASR 은 동기화를 달성하기 위해, 이 참조 오디오/사운드를, 외부 마이크로폰들 (예컨대, 외부 디바이스들에 대한 마이크로폰들) 로부터 수신된 오디오/사운드 스트림들의 세그먼트들 또는 부분들에 상관시킬 수도 있다.
도 7 은, 무선 디바이스가 원하는 사용자/스피커로부터의 오디오/사운드 캡처를 강화하기 위해 하나 이상의 외부 마이크로폰들을 검출할 수도 있고 사용할 수도 있는 방식을 도시하는 흐름도이다. 무선 디바이스는 무선 디바이스가 무선 통신들을 사용하여 하나 이상의 외부 디바이스들을 식별하도록 턴 온 (즉, 파워 온) 될 수도 있다 (702). 예를 들어, 디바이스들이 그들의 식별자, 채널, 구성 정보 등을 브로드캐스팅하여 다른 디바이스들이 그들을 발견하게 할 수도 있는, 무선 통신 방식이 구현될 수도 있다. 무선 디바이스가 하나 이상의 외부 디바이스들을 로케이팅하면, 그 디바이스는 하나 이상의 외부 디바이스들에게 선택적으로 질의하여 그들의 능력들 (예컨대, 하나 이상의 마이크로폰들, 스피커들, 등을 가지는지 여부) 을 확인할 수도 있다. 그 후에, 무선 디바이스는 무선 디바이스 상의 하나 이상의 마이크로폰들 및/또는 식별된 외부 디바이스들 상의 하나 이상의 마이크로폰들을 사용하여 레코딩을 시작할 수도 있다 (704). 외부 디바이스(들) 상의 하나 이상의 마이크로폰들에 의한 (캡처된) 오디오/사운드 레코딩들은 무선 디바이스로 스트리밍될 수도 있다 (706). 일 예에서, 무선 디바이스는 외부 디바이스들로부터의 모든 마이크로폰 스트림들에서 타겟 사용자 음성 및/또는 타임스탬프 음성 활동을 검출하기 위해 음성 인식을 사용할 수도 있다 (708).
무선 디바이스는 (a) 무선 디바이스에 로케이팅된 하나 이상의 마이크로폰들 및/또는 (b) 외부 디바이스들에 로케이팅된 하나 이상의 마이크로폰들을 사용하여 레코딩된 원하는 사용자 오디오의 도달 시간 지연 (TDOA) 을 추정할 수도 있다 (710). 그 후에, 사운드/오디오는 (외부 디바이스(들) 에 의해 캡처되기 위해) 무선 디바이스 라우드스피커로부터 재생되고, 무선 디바이스는 외부 디바이스(들)로부터 대응하는 도달 방향 (DOA) 을 취출한다 (712). 그 후에, 무선 디바이스 DOA 와 타겟 사용자 DOA 는 외부 디바이스 마이크로폰(들)을 사용하여 무선 디바이스에 의해 비교된다 (714).
그 후에, 무선 디바이스는 도달 방향 (DOA) 각도들의 차이가 임계치 (예컨대, 최대 각도 α) 미만인지 여부를 확인한다 (716). 만약 그렇다면, 무선 디바이스 및 외부 디바이스 도달 방향 정보는 타겟 사용자를 레인징하기 위해 결합된다 (718). 그렇지 않으면, 무선 디바이스 도달 방향 정보는 원하는 사용자를 트래킹하는데 사용된다 (720). 그 후에, 무선 디바이스는 레인징이 가능한지 및/또는 트래킹이 가능한지 여부에 따라 잡음 감소 (NR) 및 다른 모듈들을 튜닝 또는 조정할 수도 있다 (722).
재생된 사운드 품질을 강화시키기 위해 분산된 라우드스피커들을 결합
재생된 사운드 품질을 강화시키기 위해 (예컨대, 서라운드 사운드 효과를 타겟 사용자에게 제공하기 위해) 다수의 라우드스피커들로부터의 오디오 출력을 결합하기 전에, 무선 디바이스는 타겟 사용자/청취자에 대하여 라우드스피커들의 하나 이상의 로케이션들을 확인할 수도 있다. 그 후에, 라우드스피커(들)에 대한 라우드스피커간 이득 및/또는 지연은 타겟 사용자/청취자에 대하여 강화된 재생된 사운드 품질을 달성하도록 조정될 수도 있고 및/또는 크로스토크 상쇄기는 바이노럴 3D 오디오 재생을 위해 구현될 수도 있다.
마이크로폰들을 결합하는 것은 모든 사용가능한 음향 리소스들의 로케이션을 명시하는 것을 필요로하지 않지만, 라우드스피커들을 결합할 시, 무선 디바이스는 외부 라우드스피커들 및 원하는 사용자/청취자로부터 오디오/사운드의 도달 방향들 (DOAs) 을 추정함으로써 무선 디바이스와 외부 라우드스피커들 및 원하는 사용자/청취자 간의 각도를 추정할 수도 있다. 그러나, 한가지 문제점은, 오직 내장형마이크로폰들만을 사용하는 무선 디바이스들이 외부 라우드스피커들 및 원하는 사용자/청취자 간의 거리가 아닌, 오직 이들에 대한 각도들만을 결정할 수 있다는 것이다. 따라서, 무선 디바이스는 마이크로폰을 가지고 사운드 소스들 (즉, 라우드스피커들 및/또는 원하는 사용자/청취자) 을 삼각측량하기에 매우 충분한 다른 디바이스 (즉, 하나 이상의 외부 디바이스들) 을 사용할 수도 있다.
라우드스피커들의 상대적인 로케이션/포지션을 확인하기 위해 사용되는 방법은 분산된 마이크로폰들에 관한 어떤 기하학 정보도 이전에 공지되어 있지 않다는 것을 가정할 수도 있다. 무선 디바이스가 모바일 폰일 수도 있는 일 예에서, 타겟 사용자/청취자 및 무선 디바이스가 동일한 로케이션에 있는 것이 가정될 수도 있다. 마이크로폰들 (예컨대, 음향 트랜스듀서들) 및 사운드 소스들 (예컨대, 라우드스피커들, 원하는 또는 타겟 사용자/발화자/청취자) 의 맵을 생성하기 위한 몇몇 방법들이 개시된다.
도 8 은, 외부 라우드스피커들 및 타겟 사용자/청취자로부터의 도달 방향들이 라우드스피커들 및 타겟 사용자에 대한 상대적인 로케이션을 발견하고 라우드스피커 빔들을 타겟 사용자로 스티어링하기 위해 확인되는 방식의 일 예를 도시한다. 일반적으로, 마이크로폰들 (118 및 120) 이 외부 라우드스피커들 (108 및 110) 과 정렬되는지 여부에 관한 결정이 실행된다. 예를 들어, 제 1 라우드스피커 (108) 로부터 외부 디바이스 (106) 로의 제 1 도달 방향 (DOA1)(802) 이 확인될 수도 있다. 유사하게, 제 2 라우드스피커 (110) 로부터 외부 디바이스 (106) 로의 제 2 도달 방향 (DOA2)(804) 이 확인될 수도 있다. 제 1 및 제 2 도달 방향들이 서로에 대해 대략 180 도이라면, 타겟 사용자/청취자 (104) 로부터 외부 디바이스 (106) 로의 제 3 도달 방향 (DOA3)(806) 은 라우드스피커 빔들 (808 및 810) 을 원하는/타겟 사용자/청취자 (104) 로 스티어링하는데 사용될 수도 있다. 그러나, 하나의 도전 과제는 무선 디바이스 (102) 에 관하여 외부 디바이스들 (예컨대, 외부 마이크로폰들 (118 및 120) 및/또는 라우드스피커들 (108 및 110)) 을 맵핑하는 방식이다.
도 9 는, 분산된 오디오 트랜스듀서들 및 타겟 사용자 로케이션에 대한 맵이 확인될 수도 있는 방식을 도시한다. 무선 디바이스 (102) 는, 무선 디바이스 (102) 의 주어진 협력 시스템에 관한 마이크로폰들 (118 및 120), 라우드스피커들 (108 및 110), 및 타겟 사용자 (104) 의 로케이션을 발견하려고 한다. 무선 디바이스 라우드스피커 (112) 는 외부 디바이스 (106) 의 마이크로폰들 (118 및 120) 에 의해 캡처된 오디오/사운드 신호를 방출할 수도 있다. 여기서, 제 1 마이크로폰 (118) 으로의 거리는 D' 로 표시될 수도 있고, 제 2 마이크로폰 (120) 으로의 거리는 D" 로 표시될 수도 있다. 무선 디바이스 (102) 및 외부 디바이스 (106) 는, 스피커 (112) 로부터 마이크로폰 (118 또는 120) 으로의 전파의 시간이 사운드 신호에 대하여 확인될 수도 있도록, 시간 동기화될 수도 있다. 사운드의 전파 시간 및 속도를 알 때, 스피커 (112) 로부터 각각의 마이크로폰 (118 및 120) 으로의 거리들 D1' 및 D1" 이 확인될 수도 있다. 외부 디바이스 (106) 에서 마이크로폰들 (118 및 120) 간의 거리 d 는 외부 디바이스 (106) 에 알려질 수도 있거나, 외부 디바이스 (106) 가 알 수 있다. 예를 들어, 마이크로폰들 (118 및 120) 이 외부 디바이스 (106) 에 고정될 수도 있기 때문에, 외부 디바이스 (106) 는 거리 d 를 알 수도 있고, 거리 d 를 무선 디바이스 (102) 에 제공할 수 있다. 대안적으로, 거리 d 는, 거리 d 와 주파수에 의존하는 잡음 코히어런스에 의해 추정되거나 확인될 수도 있다.
Figure pat00007
는 마이크로폰들 i 및 j 을 사용하여 측정된 신호들 간의 상호 스펙트럼 밀도인,
Figure pat00008
로 정의된 확산 잡음 필드에 대하여, 코히어런스는 다음과 같이 추정될 수도 있다
Figure pat00009
여기서 f 는 주파수이고, d 는 마이크로폰들 간의 거리이고, c 는 사운드의 속도이다. 그러므로, 주변 잡음 및 앞서 잡음 코히어런스 함수를 사용하여, 거리 d 가 추정될 수 있다. 무선 디바이스 (102) 는 거리 d 를 확인하기 위해 마이크로폰들 (118 및 120) 의 동작들을 제어할 수도 있는 것을 유의한다.
마이크로폰들 (118 및 120) 간의 거리 d 를 알고 있을 때, 무선 디바이스 (102) 와 외부 디바이스 (106) 간의 거리 D 와 함께, 외부 디바이스 (106) 에 관한 도달 방향 (각도 θ1 로 표시됨) 은 수신된 캡처된 오디오/사운드 신호들의 타임스탬프들로부터 확인가능하다. 즉, 일 예에서, 무선 디바이스 (102) 와 외부 디바이스 (106) 는 예컨대, 무선 통신 인터페이스들을 통해 시간 동기화될 수도 있다. 외부 디바이스 (106) 에서의 각각의 외부 마이크로폰 (118 및 120) 은 무선 디바이스 (102) 에서, 라우드스피커 (112) 에 의해 방출된 오디오 신호를 캡처할 수도 있다. 각각의 캡처된 오디오 신호가 (예컨대, 외부 디바이스 (106) 및/또는 무선 디바이스 (102) 에 의해) 타임스탬핑될 수도 있고, 공중을 통한 사운드 전파의 속도가 알려져 있기 때문에, 거리 D 는 캡처된 오디오 신호들 중 하나 또는 양자의 타임스탬프들 (예컨대, 전파 시간) 및 사운드 전파의 속도로부터 확인될 수도 있다 (즉, D = 사운드 속도 x 전파 시간). 예를 들어, 오디오 신호가 라우드스피커 (112) 에 의해 방출되는 시간과 마이크로폰들 (118 및/또는 120) 에 의해 캡처되는 시간 간의 이동 시간 (즉, 전파 시간) 은 다수의 방식들로 확인될 수도 있다. 제 1 예에서, 무선 디바이스 (102) 와 외부 디바이스 (106) 는 동기화된 클록들을 가질 수도 있다. 제 2 예에서, 외부 디바이스 (106) 는 알려진 고정된 응답 시간을 가져서, 오디오 신호가 마이크로폰들 (118 및 120) 중 하나에 의해 캡처될 경우, 외부 디바이스 (106) 가 그 도달을 (통신 인터페이스 (124) 를 통해) 무선 디바이스 (102) 에 보고하게 하며, 이에 의해 무선 디바이스가 이동 시간 (즉, 전파 시간) 을 확인하게 할 수도 있다. 제 1 및/또는 제 2 예들 중 하나에서, 방출된 오디오/사운드 신호에 대한 이동 시간은 무선 디바이스 (102) 에 의해 획득될 수 있다. 그 후에, 무선 디바이스 (102) 와 외부 디바이스 (106) 간의 거리 D 는 다음과 같이 확인될 수도 있다: 거리 D
Figure pat00010
사운드의 속도 x 이동 시간. 추가로, 외부 마이크로폰들 (118 및 120) 간의 고정된 거리 d 를 알고 그 마이크로폰들 (118 및 120) 에 의해 캡처된 대응하는 오디오/사운드 신호들에 대한 타임스탬프들을 가질 때, 마이크로폰들 (및 축 (902)) 의 상대적인 배향 및 외부 디바이스 (106) 에 관한 각도 θ1 가 확인될 수도 있다. 외부 디바이스에 대한 축은 무선 디바이스 (102) 에 대한 축에 대하여 다양한 각도들로 존재할 수도 있음을 유의한다. 예를 들면, 외부 디바이스 (106) 에 대한 제 1 축 (902) 은 무선 디바이스 (102) 에 대한 제 2 축 (904) 에 대하여 일 각도로 존재할 수도 있다.
그러나, 무선 디바이스 (102) 에서 라우드스피커(들)(112) 의 사용은, 무선 디바이스 (102) 에 관한 외부 디바이스 (106) 의 포지션/로케이션을 확인하기에 불충분하다. 도 10 은, 무선 디바이스 (102) 에 관한 외부 디바이스의 상대적인 포지션/로케이션을 식별하는 이러한 문제점을 도시한다. 즉, (외부 디바이스 (106) 에 관하여) 거리 D 및 각도 θ1 가 (예컨대, 무선 디바이스 (102) 와 외부 디바이스 (106) 를 시간 동기화하고 전파 시간을 확인하기 위해 타임스탬프들을 사용함으로써, 도 9 를 참조하여 전술된 것과 같이) 확인될 수도 있지만, 무선 디바이스 (102) 에 관한 도달 방향 (각도 θ2 로 표시됨) 은 알려져 있지 않다. 따라서, 여기서 도시된 것과 같이, 외부 디바이스 (106) 는 무선 디바이스 (106) 에 관하여 (거리 D 에서) 다양한 로케이션들에 존재할 수도 있다.
이러한 문제를 다루기 위해, 추가의 라우드스피커들 또는 다른 지향성 디바이스들이 도 11 내지 도 14 의 다양한 예들에서 도시된 것과 같이 활용될 수도 있다.
도 11 은 무선 디바이스 (102) 에 관한 도달 방향 (각도 θ2 로 표시됨) 을 확인하기 위한 솔루션을 도시한다. 이러한 예에서, 외부 디바이스 (106) 에 부착된 (또는 내장된) 라우드스피커 (1102) 는 무선 디바이스 (102) 에 대한 도달 방향 (각도 θ2 로 표시됨) 을 획득하기 위해 사용될 수도 있다. 무선 디바이스 라우드스피커 (112) 는 외부 디바이스 (106) 에 관하여 (각도 θ1 로 표시된) 제 1 도달 방향 (1104) 을 획득하기 위해 외부 디바이스 마이크로폰들 (118 및 120) 에 의해 캡처된 사운드/오디오 신호를 생성하거나 방출할 수도 있다. 유사하게, 외부 디바이스 라우드스피커 (1102) 는 무선 디바이스 (102) 에 관하여 (각도 θ2 로 표시되는) 제 2 도달 방향 (1106) 을 획득하기 위해 무선 디바이스 마이크로폰(들)(116a, 116b, 및/또는 116c) 에 의해 캡처된 사운드/오디오 신호를 생성한다. 따라서, 다수의 마이크로폰들 및 라우드스피커를 갖는 2 개의 디바이스들이 동일한 룸에서 검출된다면, 이들은 마이크로폰들과 라우드스피커들 및 심지어 타겟 사용자들의 모든 로케이션들/포지션들을 로케이팅하는데 사용될 수 있다. 즉, 도 9 와 관련하여 논의된 것과 유사한 방식으로, 외부 디바이스 (106) 로부터 무선 디바이스 (102) 로의 오디오/사운드 신호는 거리 D 와 각도 θ2 를 획득하는 기능을 한다.
도 12 는 무선 디바이스 (102) 에 관한 도달 방향 (각도 θ2 로 표시됨) 을 확인하기 위한 다른 솔루션을 도시한다. 이 솔루션은 (각도 θ2 로 표시되는) 제 2 도달 방향을 획득하기 위해, 외부 디바이스 (106) 에 (지연 없이 또는 공지된/추정가능한 지연으로) 배선된 외부 라우드스피커 (108) 를 사용한다. 이러한 솔루션에서, 제 1 사운드/오디오 신호는 내부 라우드스피커 (112) 로부터 방출되고, 외부 마이크로폰들 (118 및 120) 에 의해 캡처된다. 즉, 무선 디바이스 (102) 와 외부 디바이스 (106) 는, 오디오 송신들이 타임스탬핑되고 전파 또는 이동 시간이 확인될 수 있도록 시간 동기화될 수도 있다. 라우드스피커 (112) 와 외부 디바이스 (106) 간의 거리 D1 는 마이크로폰들 (118 및 120) 에 의해 캡처된 오디오에 대한 시간스탬프에 기초하여 확인가능할 수도 있다. 사운드의 속도가 알려져있기 때문에, 거리 D1 는 확인될 수 있다 (즉, D1 = 사운드 속도 x 전파 시간). 여기서, 제 1 마이크로폰으로의 거리는 D1' 로 표시될 수도 있고, 제 2 마이크로폰으로의 거리는 D1" 로 표시될 수도 있다. 유사하게, (각도 θ1 로 표시되는) 제 1 도달 방향 (1204) 은 외부 디바이스 (106) 에 관하여 확인될 수도 있다. 거리 d 를 알고 각각의 마이크로폰 (118 및 120) 으로의 거리들 (D1' 및 D1") 을 확인하는 것은 제 1 도달 방향 (즉, 각도 θ1) 을 확인하는 것을 허용하며, 예컨대
Figure pat00011
이다. 거리 D1 는 거리들 D1' 및 D1" 간의 평균으로서 획득될 수도 있다 (즉, D1 = ((D1'+D1")/2). 무선 디바이스 (102) 는 (예컨대, 외부 디바이스 (106) 및 그 후에 외부 라우드스피커 (108) 로의 통신 인터페이스 (122) 를 통해) 메세지, 커맨드, 및/또는 제 2 사운드/오디오 신호를 제 2 라우드스피커 (108) 로 전송함으로써, 제 2 라우드스피커 (108) 가 제 2 사운드/오디오 신호를 방출하도록 할 수도 있다. 외부 라우드스피커 (108) 가 (와이어 (1208) 를 통해) 외부 디바이스 (106) 에 물리적으로 커플링되기 때문에, 외부 디바이스 (106) 가 와이어 (1208) 를 통해 제 2 사운드/오디오 신호를 전송하는 시간과 제 2 사운드/오디오 신호가 라우드스피커 (108) 에 의해 방출되는 시간으로부터 어떤 시간 지연도 존재하지 않는 것으로 (또는 그러한 지연은 상대적으로 불충분한 것으로) 가정될 수도 있다. 따라서, 라우드스피커 (108) 와 외부 디바이스 (106) 간의 거리 D2 는, (거리 D1 가 확인되는 방식과 유사하게) 제 2 사운드/오디오 신호가 방출되는 시간으로부터 그 신호가 마이크로폰들 (118 및 120) 에 의해 캡처되는 시간까지의 지연을 측정함으로써 확인가능할 수도 있다. (외부 디바이스 (106) 에 관하여 제 2 도달 방향의 각도를 표시하는) 각도 θ3 는 마이크로폰들 (118 및 120) 을 사용하여 외부 라우드스피커 (108) 로부터 외부 디바이스 (106) 로의 제 2 도달 방향을 획득하고 마이크로폰들 간의 거리 d 를 아는 것에 의해 (각도 θ1 가 확인되는 방식과 유사하게) 확인될 수도 있다. 유사하게, 각도 θ4 는 (예컨대, 외부 라우드스피커 (108) 에 의해 방출되고 무선 디바이스 마이크로폰(들)(116a, 116b, 및/또는 116c) 에 의해 캡처된 제 2 오디오/사운드 신호의) 외부 라우드스피커 (108) 로부터 무선 디바이스 (102) 로의 제 3 도달 방향 (1208) 을 획득함으로써 확인가능할 수도 있다. 거리들 (D1 및 D2) 및 각도 (θ3 - θ1 및 θ4) 를 알 때, (라우드 스피커 (112) 와 라우드스피커 (108) 간의) 거리 D3 및 각도 θ2 가 획득될 수도 있고, 이는 무선 디바이스 (102) 에 관하여 외부 디바이스 (106) 의 로케이션을 제공한다. 특히, 거리 D3 는 다음과 같이 확인될 수도 있다:
Figure pat00012
그 후에, 각도 θ2 는 다음과 같이 확인될 수도 있다:
Figure pat00013
도 13 은 무선 디바이스 (102) 에 관한 도달 방향 (각도 θ2 로 표시됨) 을 확인하기 위한 또 다른 솔루션을 도시한다. 여기서, 무선 디바이스 (102) 는 그 다수의 라우드스피커들 (112 및 114) 을 사용하여 외부 디바이스 (106) 의 마이크로폰들 (118 및 120) 에 의해 캡처될 수도 있는 빔송신된 (포커싱된) 오디오 신호들을 생성/방출할 수도 있다. 무선 디바이스 (102) 는 (다수의 라우드스피커들 (112 및 114) 을 사용하여) 포커싱된/빔송신된 오디오/사운드 신호를 다양한 각도들에서 방출한다 (예컨대, 상이한 각도들을 통해 스윕한다). 외부 마이크로폰들 (118 및 120) 에서 (캡처된 빔송신된/포커싱된 오디오/사운드 신호들로부터 확인된 것과 같은) 최대 에너지를 전달하는 각도가 선택된다. 최대 에너지를 갖는 선택된 빔송신된/포커싱된 오디오 신호에 대한 각도는 각도 θ2 로 표시된다. 이러한 예에서, 거리 D1 및 각도 θ1 는 도 12 와 관련하여 논의된 것과 같이 확인될 수도 있다. 무선 디바이스 (102) 가 자신의 축에 대하여 생성하는 각각의 빔송신된 (포커싱된) 오디오 신호의 각도를 알고 있기 때문에, 외부 디바이스 (106) 에 의해 보고된 수신 신호 에너지로부터의 각도 θ2 를 알고 있다.
대안적인 구현에서, 무선 디바이스 (102) 상의 스테레오 카메라들은 (예컨대, 물체 인식을 통해) 외부 디바이스의 로케이션을 확인하고 그에 의해 각도 θ2 를 획득하기 위해 사용될 수도 있다.
도 14 는 무선 디바이스 (102) 에 관한 도달 방향 (각도 θ2 로 표시됨) 을 확인하기 위한 또 다른 솔루션을 도시한다. 이 예에서, 무선 디바이스 및/또는 외부 디바이스 (106) 에는, 무선 디바이스 (102) 에 관한 외부 디바이스 (106) 의 로케이션/포지션을 확인하기 위해 라우드스피커(들) 및 마이크로폰(들) 대신에 사용되는 지향성 송신기/수신기 쌍 (1402 및 1404) 이 제공될 수도 있다. 예를 들어, 지향성 송신기 (104) 는 다양한 각도들로 방출된 (예컨대, 다양한 각도들에 걸쳐 스윕된) 지향성 신호 (예컨대, 적외선, 초음파, 전자기, 등등) 를 생성할 수도 있다. 수신기 (1404) 는 어떤 각도에서 최대 에너지가 지향성 신호들에 대하여 감지되는지를 검출하고, 이 각도 θ2 가 선택된다.
무선 디바이스 (102) 에 관한 외부 디바이스 (106) 의 로케이션을 확인하면, 분산된 트랜스듀서들 (예컨대, 라우드스피커들 및/또는 마이크로폰들) 및 타겟 사용자에 대한 로케이션들은 무선 디바이스 (102) 와 외부 디바이스 (106) 양자를 함께 사용함으로써 획득될 수도 있다.
도 15 는 무선 디바이스에 관한 분산된 트랜스듀서들 및/또는 타겟 사용자의 로케이션들이 획득될 수도 있는 방식을 도시한다. 예를 들어, 외부 라우드스피커들 (108 및 110) 의 로케이션(들) 은 각각의 라우드스피커가 무선 디바이스 (102) 및/또는 외부 디바이스 (106) 상의 하나 이상의 마이크로폰들에 의해 캡처되는 사운드/오디오 신호를 방출하게 하고 로케이션을 추정하거나 획득하기 위해 삼각측량함으로써 확인될 수도 있다. 예를 들면, 제 1 외부 라우드스피커 (108) 는 (무선 디바이스 (102) 로의) 제 1 도달 방향 (1502) 및 (외부 디바이스 (106) 로의) 제 2 도달 방향을 발생할 수도 있다. 유사하게, 제 2 외부 라우드스피커 (110) 는 (무선 디바이스 (102) 로의) 제 3 도달 방향 (1506) 및 (외부 디바이스 (106) 로의) 제 4 도달 방향을 발생할 수도 있다. 무선 디바이스 (102) 에 관하여 외부 디바이스 (106) 의 로케이션이 결정되었기 때문에, 무선 디바이스 (102) 에 관한 라우드스피커들 (108 및/또는 110) 의 로케이션이 확인가능하다. 유사하게, 타겟 사용자 (104) 의 로케이션은 타겟 사용자 (104) 로부터의 오디오/사운드 신호를 무선 디바이스 (102) 에서 (제 5 도달 방향 (1510) 을) 및 외부 디바이스 (106) 에서 (제 6 도달 방향 (1512) 을) 캡처함으로써 확인가능하다.
예시적인 무선 디바이스
도 16 은 타겟 사용자에 대하여 포커싱된 오디오 분배 및/또는 캡처를 제공하기 위해, 하나 이상의 외부 디바이스들 및/또는 타겟 사용자의 상대적인 로케이션을 확인하도록 구성된 무선 디바이스를 도시하는 블록 다이어그램이다. 일 예에서, 무선 디바이스 (1602) 는 통신 인터페이스 (1606) 및 하나 이상의 오디오 트랜스듀서들에 커플링된 프로세싱 회로 (1604) 를 포함할 수도 있다. 통신 인터페이스 (1606) 는 디지털/아날로그 메세지들, 커맨드들, 인코딩된 오디오 등과 같은 비-가청 신호들을, 하나 이상의 외부 디바이스들로 (예컨대, 외부 마이크로폰들로부터, 외부 라우드스피커들로, 등등) 전송 및/또는 수신하는 것을 허용하는 송신기 회로 (1616) 및/또는 수신기 회로 (1618) 를 포함할 수도 있다. 오디오 트랜스듀서들은 예컨대, 하나 이상의 내장형/외부 마이크로폰들 (1608 및 1610) 및/또는 라우드스피커들 (1612 및 1614) 을 포함할 수도 있다.
프로세싱 회로 (1604) 는 타겟 사용자로의 오디오 캡처 및/또는 전달의 강화를 수행하도록 구성된, 하나 이상의 프로세스들, 애플리케이션용 프로세서들, 하드웨어 및/또는 소프트웨어 모듈들 등등을 포함하거나 구현할 수도 있다. 예를 들어, 시간 동기화 모듈 (1620) 은 무선 디바이스 (1602) 로부터의 클록으로 하나 이상으 외부 디바이스들 (예컨대, 마이크로폰들, 라우드스피커들) 에 대한 클록들을 동기화하도록 구성될 수도 있다. 이는 외부 디바이스가 (예컨대, 하나 이상의 라우드스피커들 (1612 및 1614) 에 의해 방출된) 무선 디바이스 (1602) 에 의해 전송된 (예컨대, 외부 마이크로폰에 의해 캡처된) 캡처된 오디오 신호를 타임스탬핑하게 하고, 그에 의해 무선 디바이스 (1602) 가 오디오 신호에 대한 전파 시간, 및 따라서 무선 디바이스 (1602) 와 외부 디바이스 간의 거리를 확인하게 할 수도 있다. 외부 디바이스 식별 모듈 (1624) 은 무선 디바이스 (1602) 가 예컨대, 통신 인터페이스 (1606) 를 통해 외부 디바이스들 (예컨대, 라우드스피커들 및/또는 마이크로폰들) 을 탐색 및/또는 질의하여 주변에서 그러한 외부 디바이스들의 존재를 확인하게 할 수도 있다. 로케이션 모듈 (1622) 은 무선 디바이스 (1602) 에 관하여 하나 이상의 외부 디바이스들 및/또는 하나 이상의 타겟 사용자들을 로케이팅 및/또는 맵핑하도록 구성될 수도 있다. 예를 들어, 하나 이상의 외부 디바이스들 (예컨대, 마이크로폰들 및/또는 라우드스피커들) 이 (예컨대, 외부 디바이스 식별 모듈 (1624) 에 의해) 식별되면, 로케이션 모듈 (1622) 은 (도 2 내지 도 15 에 도시된 것과 같은) 하나 이상의 알고리즘들을 수행하여 무선 디바이스 (1602) 에 관하여 외부 디바이스들 및/또는 타겟 사용자(들) 을 로케이팅할 수도 있다. 강화된 사운드 캡처 및/또는 분배 모듈 (1626) 은 로케이션 모듈 (1622) 에 의해 획득된 외부 디바이스 및/또는 타겟 사용자 로케이션 정보를 사용하여 그 후 강화된 오디오/사운드 캡처 및/또는 오디오/사운드 분배를 하나 이상의 타겟 사용자들에게 제공하도록 구성될 수도 있다. 예를 들어, 타겟 사용자 및 하나 이상의 외부 마이크로폰들을 로케이팅하면, 강화된 사운드 캡처/분배 모듈 (1626) 은 타겟 사용자의 음성을 최적으로 캡처하는 하나 이상의 마이크로폰들을 선택할 수도 있다. 예를 들어, 타겟 사용자의 앞에 로케이팅된 마이크로폰들이 선택될 수도 있다. 유사하게, 타겟 사용자로의 오디오 전달을 강화시키기 위해, 타겟 사용자에 최인접하여 및/또는 주변에 로케이팅된 라우드스피커들은 오디오/사운드를 타겟 사용자에게 재생하기 위해 선택될 수도 있다. 무선 디바이스 (1602) 는 (예컨대, 강화된 사운드 캡처/분배 모듈 (1626) 을 통해) 하나 이상의 내부 및/또는 외부 마이크로폰들로부터 캡처된 오디오를 선택적으로 수신하도록 구성된다. 예를 들어, 외부 마이크로폰들에 의해 캡처된 오디오/사운드는 무선 디바이스 (1602) 에 의해 통신 인터페이스 (1606) 를 통해 수신될 수도 있다. 그러한 캡처된 오디오/사운드는 (그것을 전송하는 외부 디바이스에 의해 또는 무선 디바이스에 의해) 타임스탬핑되고 및/또는 캡처링 마이크로폰과 연관될 수도 있다. 유사하게, 오디오/사운드 신호들은 무선 디바이스 (1602) 에 의해 통신 인터페이스 (1606) 를 통해 하나 이상의 외부 라우드스피커들로 송신되어 오디오/사운드가 타겟 사용자에게 포커싱되거나 빔 송신되게 할 수도 있다. 타겟 사용자의 상대적인 로케이션을 알 때, 강화된 사운드 캡처/분배 모듈 (1626) 은 포커싱된/빔전송된 오디오를 타겟 사용자에게 방출하기 위해 하나 이상의 내부 및/또는 외부 라우드스피커들을 선택할 수도 있다.
옵션의 구현에서, 무선 디바이스 (1602) 는 또한 예컨대, 도 14 에 도시된 것과 같이 외부 디바이스들을 로케이팅하는 기능을 할 수도 있는 무선 지향성 트랜시버 (1628) 를 포함할 수도 있다.
도 17 은 하나 이상의 인접 외부 디바이스들 및/또는 타겟 사용자를 로케이팅하고, 이 정보를 사용하여 타겟 사용자에게 강화된 오디오/사운드 캡처 및/또는 전달을 제공하기 위한 무선 디바이스에서 동작하는 방법을 도시한다. 일 예에서, 무선 디바이스는 외부 디바이스 로케이션 및/또는 강화된 오디오/사운드 캡처 및/또는 전달을, 그러한 동작들을 사용자가 개시하지 않고, 사용자 상호작용 없이, 및/또는 외부 디바이스 및/또는 타겟 사용자 로케이션(들) 의 사전 지식 없이, 동적으로, 자동으로, 및/또는 자체적으로 수행할 수도 있다.
무선 디바이스는 무선 디바이스에 관한 하나 이상의 외부 디바이스들의 로케이션을 확인할 수도 있고, 여기서 하나 이상의 외부 디바이스들은 하나 이상의 마이크로폰들 및/또는 하나 이상의 라우드스피커들을 포함한다 (1702). 그 후에, 무선 디바이스는 무선 디바이스와 하나 이상의 외부 라우드스피커들에 대한 타겟 사용자의 상대적인 로케이션을 확인할 수도 있고, 여기서 무선 디바이스에 대한 타겟 사용자의 로케이션은 임의적이다 (또는 이전에 공지되어있지 않다) (1704). 예를 들어, 무선 디바이스는 하나 이상의 외부 디바이스들로부터 하나 이상의 외부 마이크로폰들을 선택하고 이들을 (아마도 하나 이상의 내부 마이크로폰들과 함께) 활용하여 무선 디바이스에 대한 타겟 사용자의 상대적인 로케이션을 확인하기 위해 타겟 사용자로부터의 오디오를 캡처할 수도 있다. 타겟 사용자 로케이션을 확인하면, 무선 디바이스는 하나 이상의 외부 라우드스피커들로 스피커-특정 오디오 신호들을 무선으로 전송할 수도 있고, 각각의 스피커-특정 오디오 신호는 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하기 위해 대응하는 외부 라우드스피커에서 재생되도록 적응된다 (1706).
도 18 은 하나 이상의 인접 외부 디바이스들 및/또는 타겟 사용자를 로케이팅하고, 이 정보를 사용하여 타겟 사용자에게 강화된 오디오/사운드 캡처 및/또는 전달을 제공하기 위한 무선 디바이스에서 동작하는 다른 방법을 도시한다.
무선 디바이스는 하나 이상의 외부 라우드스피커들의 존재를 자동으로 확인하도록 구성될 수도 있다 (1802). 그 후에, 무선 디바이스는 하나 이상의 외부 라우드스피커들 및 무선 디바이스에 대한 타겟 사용자의 상대적인 로케이션을 자동으로 확인할 수도 있다 (1804). 이러한 사용가능한 상대적인 정보로, 무선 디바이스는 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하기 위해 제 1 오디오 신호들을 하나 이상의 외부 라우드스피커들로 스티어링할 수도 있다 (1806).
무선 디바이스는 또한, 하나 이상의 외부 마이크로폰들의 존재를 자동으로 확인할 수도 있다. 그 후에, 무선 디바이스는 (a) 하나 이상의 외부 마이크로폰들에, 하나 이상의 외부 라우드스피커들로부터 제 2 오디오 신호들을 캡처하여 캡처된 제 2 오디오 신호들에 대한 하나 이상의 대응하는 도달 방향들을 확인할 것을 명령하고; 및/또는 (b) 하나 이상의 외부 마이크로폰들에, 타겟 사용자로부터 제 3 오디오 신호를 캡처하여 캡처된 제 3 오디오 신호에 대한 도달 방향을 확인할 것을 명령할 수도 있다. 하나 이상의 외부 라우드스피커들에 대한 타겟 사용자의 상대적인 로케이션이 도달 방향들에 기초하여 확인될 수도 있다.
예시적인 외부 디바이스
도 19 는 무선 디바이스가 타겟 사용자의 상대적인 로케이션을 확인하는 것을 보조하고 타겟 사용자에 대하여 포커싱된 오디오 분배 및/또는 캡처를 제공하도록 구성된 외부 디바이스를 도시하는 블록 다이어그램이다. 일 예에서, 외부 디바이스 (1902) 는 통신 인터페이스 (1906) 및 하나 이상의 오디오 트랜스듀서들에 커플링된 프로세싱 회로 (1904) 를 포함할 수도 있다. 통신 인터페이스 (1906) 는 디지털/아날로그 메세지들, 커맨드들, 인코딩된 오디오 등과 같은 비-가청 신호들을 (예컨대, 외부 마이크로폰들로부터, 외부 라우드스피커들로, 등등) 전송 및/또는 수신하는 것을 허용하는 송신기 회로 (1916) 및/또는 수신기 회로 (1918) 를 포함할 수도 있다. 오디오 트랜스듀서들은 예컨대, 하나 이상의 내장형/외부 마이크로폰들 (1908 및 1910) 및/또는 라우드스피커들 (1912 및 1914) 을 포함할 수도 있다.
프로세싱 회로 (1904) 는 무선 디바이스가 타겟 사용자로의 오디오 캡처 및/또는 전달을 강화시키는 것을 보조하도록 구성된, 하나 이상의 프로세서들, 애플리케이션용 프로세서들, 하드웨어 및/또는 소프트웨어 모듈들 등등을 포함하거나 구현할 수도 있다. 예를 들어, 시간 동기화 모듈 (1920) 은 외부 디바이스 (1902) 에 대한 클록을 무선 디바이스로부터의 클록으로 동기화하도록 구성될 수도 있다. 이는 외부 디바이스가 무선 디바이스에 의해 전송된 (예컨대, 마이크로폰(들)(1908 및/또는 1910) 에 의해 캡처된) 캡처된 오디오 신호를 타임스탬핑하게 하고, 그에 의해 무선 디바이스가 오디오 신호에 대한 전파의 시간 및 결과적으로 무선 디바이스와 외부 디바이스 (1902) 간의 거리를 확인하게 한다. 외부 디바이스 식별 모듈 (1924) 은 무선 디바이스가 예컨대, 통신 인터페이스 (1906) 를 통해 외부 디바이스들 (1902) (예컨대, 라우드스피커들 및/또는 마이크로폰들) 을 탐색 및/또는 질의하여 주변에서 그러한 외부 디바이스 (1902) 의 존재를 확인하게 할 수도 있다. 오디오 신호 포워딩 모듈 (1922) 은 마이크로폰(들)(1908 및/또는 1910) 로부터 캡처된 오디오 신호들을 무선 디바이스로 포워딩하도록 구성될 수도 있다. 추가로, 오디오 신호 포워딩 모듈 (1922) 은 또한, 무선 디바이스로부터 오디오 신호들을 내부/외부 라우드스피커들 (1912 및 1914) 로 포워딩하도록 구성될 수도 있다.
하나의 옵션의 구현에서, 외부 디바이스 (1902) 는 또한, 예컨대 도 14 에 도시된 것과 같이 무선 디바이스에 관하여 외부 디바이스를 로케이팅하는 기능을 할 수도 있는 무선 지향성 트랜시버 (1928) 를 포함할 수도 있다.
도 20 은 무선 디바이스가 하나 이상의 인접 외부 디바이스들 및/또는 타겟 사용자를 로케이팅하는 것을 보조하고, 이 정보를 사용하여 타겟 사용자에게 강화된 오디오/사운드 캡처 및/또는 전달을 제공하기 위한, 외부 디바이스에서 동작하는 방법을 도시한다. 외부 디바이스는 무선 디바이스에 관하여 외부 디바이스를 로케이팅하기 위해, 무선 디바이스로부터 마이크로폰을 작동하기 위한 제 1 명령을 수신하고, 마이크로폰에 의해 캡처된 제 1 오디오 신호를 무선 디바이스에 제공할 수도 있다 (2002). 또한, 무선 디바이스에 관하여 외부 디바이스를 로케이팅하는 것을 보조하기 위해, 외부 라우드스피커를 통해 제 2 오디오 신호를 재생하기 위한 제 2 명령을 무선 디바이스로부터 수신할 수도 있다 (2004). 추가로, 외부 디바이스는 무선 디바이스에 관한 타겟 사용자의 로케이션을 확인하기 위해, 마이크로폰을 작동시키고 마이크로폰에 의해 캡처된 제 3 오디오 신호를 전송하기 위한 제 3 명령을 무선 디바이스로부터 수신할 수도 있다 (2006).
그 후에, 외부 디바이스는 하나 이상의 대응하는 외부 라우드스피커들에 할당된 무선 디바이스로부터 스피커-특정 오디오 신호들을 수신할 수도 있다 (2008). 결과적으로, 외부 디바이스는 스피커-특정 오디오 신호들을 하나 이상의 대응하는 외부 라우드스피커들에 전송할 수도 있고, 각각의 스피커-특정 오디오 신호는 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하도록 적응된다 (2010).
도시되고 설명된 특정 구현들은 오직 예들일 뿐이며, 본원에서 달리 특정되지 않는다면 본 개시물을 구현하기 위한 유일한 방식으로 간주되지 않아야 한다. 본 개시물의 다양한 예들은 다수의 다른 분할 솔루션들에 의해 실행될 수도 있는 것이 당업자에게 용이하게 인식된다.
본원에 설명되고 도면들에 도시된 컴포넌트들, 동작들, 특징들 및/또는 기능들 중 하나 이상은 단일 컴포넌트, 동작, 특징 또는 기능으로 재배열 및/또는 결합되거나, 또는 몇몇 컴포넌트들, 동작들, 특징들 또는 기능들로 구현될 수도 있다. 추가적인 요소들, 컴포넌트들, 단계들, 및/또는 기능들이 또한 본 발명으로부터 벗어남이 없이 추가될 수도 있다. 또한, 본원에서 설명된 알고리즘들은 소프트웨어에서 효율적으로 구현되고/되거나 하드웨어에 임베디드될 수도 있다.
설명에서, 엘리먼트들, 회로들, 및 기능들은 불필요한 상세로 본 개시물을 모호하게 하지 않기 위해 블록 다이어그램 형태로 도시될 수도 있다. 반대로, 도시되고 설명된 특정 구현들은 오직 예시적일 뿐이며, 본원에서 달리 특정되지 않는다면 본 개시물을 구현하기 위한 유일한 방식으로 간주되지 않아야 한다. 추가로, 다양한 블록들 간에 로직의 블록 정의들 및 파티셔닝은 특정 구현의 예시이다. 본 개시물은 다수의 다른 분할 솔루션들에 의해 실행될 수도 있는 것이 당업자에게 용이하게 인식된다. 대부분은, 타이밍 고려조건들 및 그 유사물과 관련된 세부사항들이 생략되었으며, 여기서 그러한 세부사항들은 본 개시물의 완전한 이해를 획득하는데 불필요하고 관련 분야의 당업자들의 능력 내에 있다.
또한, 실시형태들은 흐름도, 순서도, 구조도, 또는 블록도로서 묘사된 프로세스로서 설명되었음을 알 수 있다. 흐름도가 순차적인 프로세스로서 동작들을 설명할 수도 있지만, 많은 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 프로세스의 동작들이 완료되는 경우 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 일 기능에 대응하면, 그 종료는 그 기능의 호출 기능 또는 메인 기능으로의 리턴에 대응한다.
당업자라면, 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 사용하여 표현될 수도 있음을 이해할 것이다. 예를 들면, 상기 설명을 통해 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 자기 입자들, 광학 필드들 또는 입자들, 이들의 임의의 조합에 의해 표현될 수도 있다. 일부 도면들은 표현 및 설명의 명확성을 위해 단일 신호로서 신호들을 예시할 수도 있다. 신호는 신호들의 버스를 나타낼 수도 있으며, 여기서 버스는 다양한 비트 폭들을 가질 수도 있고, 본 개시물은 단일 데이터 신호를 포함하는 임의의 수의 데이터 신호들에서 구현될 수도 있는 것이 당업자에 의해 이해될 것이다.
"제 1", "제 2", 등과 같은 지시어를 사용하는 본원의 엘리먼트에 대한 임의의 참조는 그 엘리먼트들의 양 또는 순서를 제한하지 않는 것이, 그러한 제한이 명확히 언급되지 않는다면 이해되어야 한다. 오히려, 이들 지시어들은 2 이상의 엘리먼트들 또는 엘리먼트의 인스턴스들 간을 구분하는 종래의 방법으로서 본원에서 사용될 수도 있다. 따라서, 제 1 및 제 2 엘리먼트들에 대한 참조는 오직 2 개의 엘리먼트들이 채용될 수도 있는 것 또는 제 1 엘리먼트가 임의의 방식으로 제 2 엘리먼트를 선행해야만 하는 것을 의미하는 것이 아니다. 추가로, 다르게 언급되지 않는다면, 엘리먼트들의 세트는 하나 이상의 엘리먼트들을 포함할 수도 있다.
추가로, 저장 매체는 판독 전용 메모리 (ROM), 랜덤 액세스 메모리 (RAM), 자기 디스크 저장 매체들, 광학 저장 매체들, 플래시 메모리 디바이스들 및/또는 다른 머신 판독가능한 매체들 및 정보를 저장하기 위한 프로세서 판독가능 매체들 및/또는 컴퓨터 판독가능 매체들을 포함하여, 데이터를 저장하기 위한 하나 이상의 디바이스들을 나타낼 수도 있다. 용어들 "머신 판독가능한 매체", "컴퓨터 판독가능한 매체", 및/또는 "프로세서 판독가능한 매체" 는 휴대용 또는 고정식 저장 디바이스들, 광학 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장, 포함 또는 전달할 수 있는 다양한 다른 비일시적 매체들을 포함할 수도 있지만, 이들로 한정되지는 않는다. 따라서, 본 명세서에서 설명되는 다양한 방법들은 "머신 판독가능한 매체", "컴퓨터 판독가능한 매체", 및/또는 "프로세서 판독가능한 매체" 에 저장될 수도 있고 하나 이상의 프로세서들, 머신들, 및/또는 디바이스들에 의해 실행될 수도 있는 명령들 및/또는 데이터에 의해 부분적으로 또는 전체적으로 구현될 수도 있다.
추가로, 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 또는 이들의 임의의 조합일 수도 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드에서 구현되면, 필요한 작업들을 수행하는 프로그램 코드 또는 코드 세그먼트들은 저장 매체 또는 다른 스토리지(들)와 같은 머신 판독가능 매체에 저장될 수도 있다. 프로세서는 필요한 작업들을 수행할 수도 있다. 코드 세그먼트는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 상태문들의 임의의 조합을 나타낼 수도 있다. 코드 세그먼트는, 정보, 데이터, 인수들(arguments), 파라미터들, 또는 메모리 컨텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수도 있다. 정보, 인수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적절한 수단을 통해 전달되거나, 포워딩되거나, 또는 전송될 수도 있다.
본원에서 개시된 예들과 연계하여 설명된 여러가지 예증적인 논리 블록들, 모듈들, 및 회로들은 본원에서 개시된 기능들을 수행하도록 디자인된 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 다른 프로그래머블 로직 컴포넌트, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 이들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안에서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 컴포넌트들의 조합, 예를 들면, DSP와 마이크로프로세서의 조합, 다수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다. 본원에 설명된 실시형태들을 실행하기 위해 구성된 범용 프로세서는 그러한 실시형태들을 실행하기 위한 특수 용도 프로세서로 고려된다. 유사하게, 범용 컴퓨터는 본원에 설명된 실시형태들을 실행하기 위해 고려될 때 특수 용도 컴퓨터로 고려된다.
본원에서 개시된 예들과 연계하여 설명된 방법들 또는 알고리즘들은, 하드웨어에서 직접적으로, 프로세서에 의해 실행가능한 소프트웨어 모듈에서, 또는 이들 양자의 조합에서, 프로세싱 유닛, 프로그래밍 명령들, 또는 다른 지령들의 형태로 구현될 수도 있으며, 단일의 디바이스 또는 복수의 디바이스들에 걸쳐 분산되어 포함될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 저장 매체는, 프로세서가 저장 매체로부터 정보를 판독하고, 저장 매체로 정보를 저장할 수 있도록 프로세서에 커플링될 수도 있다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다.
당업자라면, 본원에서 개시된 실시형태들과 연계하여 설명된 여러 예증적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어 또는 이들 양자의 조합으로서 구현될 수도 있음을 또한 알 수 있을 것이다. 하드웨어 및 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들을 그들의 기능적 관점에서 일반적으로 위에서 설명되었다. 이러한 기능이 하드웨어, 소프트웨어 또는 이들의 조합으로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 선택들에 의존한다.
본 명세서에서 설명되는 발명의 다양한 특징들은 본 발명으로부터 벗어나는 일 없이 상이한 시스템들에서 구현될 수 있다. 앞서의 실시형태들은 단지 예들일 뿐이고 본 발명을 제한하는 것으로 해석되지 않음에 유의해야 한다. 실시형태들의 설명은 예증적인 것으로 의도된 것이며, 특허청구범위의 범위를 제한하는 것으로 의도된 것은 아니다. 이와 같이, 본 교시는 다른 타입들의 장치들에 쉽게 적용될 수 있으며, 많은 대안예들, 수정예들, 변경예들이 당업자에게는 명확할 것이다.

Claims (11)

  1. 외부 디바이스에서 동작하는 방법으로서,
    무선 디바이스로부터, 상기 무선 디바이스에 관하여 상기 외부 디바이스를 로케이팅하기 위해 마이크로폰을 작동시키고 상기 마이크로폰에 의해 캡처된 제 1 오디오 신호를 상기 무선 디바이스에 제공하기 위한 제 1 명령을 수신하는 단계;
    상기 무선 디바이스로부터, 상기 무선 디바이스에 관하여 상기 외부 디바이스를 로케이팅하는 것을 보조하기 위해 외부 라우드스피커를 통해 제 2 오디오 신호를 재생하기 위한 제 2 명령을 수신하는 단계; 및
    상기 무선 디바이스로부터, 상기 무선 디바이스에 관한 타겟 사용자의 로케이션을 확인하기 위해 상기 마이크로폰을 작동시키고 상기 마이크로폰에 의해 캡처된 제 3 오디오 신호를 상기 무선 디바이스에 전송하기 위한 제 3 명령을 수신하는 단계를 포함하는, 외부 디바이스에서 동작하는 방법.
  2. 제 1 항에 있어서,
    하나 이상의 대응하는 외부 라우드스피커들에 할당된 상기 무선 디바이스로부터 스피커-특정 오디오 신호들을 수신하는 단계; 및
    상기 스피커-특정 오디오 신호들을 상기 하나 이상의 대응하는 외부 라우드스피커들에 전송하는 단계를 더 포함하며,
    각각의 상기 스피커-특정 오디오 신호는 상기 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하도록 적응되는, 외부 디바이스에서 동작하는 방법.
  3. 제 1 항에 있어서,
    상기 무선 디바이스로부터 상기 하나 이상의 외부 라우드스피커들로의 상기 스피커-특정 오디오 신호들은 무선 통신 인터페이스를 통해 불가청 형태로 수신되는, 외부 디바이스에서 동작하는 방법.
  4. 외부 디바이스로서,
    무선 디바이스와 무선으로 통신하는 통신 인터페이스; 및
    상기 통신 인터페이스에 커플링된 프로세싱 회로를 포함하며,
    상기 프로세싱 회로는,
    상기 무선 디바이스로부터, 상기 무선 디바이스에 관하여 외부 디바이스를 로케이팅하기 위해 마이크로폰을 작동시키고 상기 마이크로폰에 의해 캡처된 제 1 오디오 신호를 상기 무선 디바이스에 제공하기 위한 제 1 명령을 수신하고,
    상기 무선 디바이스로부터, 상기 무선 디바이스에 관하여 상기 외부 디바이스를 로케이팅하는 것을 보조하기 위해 외부 라우드스피커를 통해 제 2 오디오 신호를 재생하기 위한 제 2 명령을 수신하고, 그리고
    상기 무선 디바이스로부터, 상기 무선 디바이스에 관한 타겟 사용자의 로케이션을 확인하기 위해 상기 마이크로폰을 작동시키고 상기 마이크로폰에 의해 캡처된 제 3 오디오 신호를 상기 무선 디바이스에 전송하기 위한 제 3 명령을 수신하도록
    구성되는, 외부 디바이스.
  5. 제 4 항에 있어서,
    상기 프로세싱 회로는 추가로,
    하나 이상의 대응하는 외부 라우드스피커들에 할당된 상기 무선 디바이스로부터 스피커-특정 오디오 신호들을 수신하고, 그리고
    상기 스피커-특정 오디오 신호들을 상기 하나 이상의 대응하는 외부 라우드스피커들에 전송하도록
    구성되며,
    각각의 상기 스피커-특정 오디오 신호는 상기 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하도록 적응되는, 외부 디바이스.
  6. 제 4 항에 있어서,
    상기 무선 디바이스로부터 상기 하나 이상의 외부 라우드스피커들로의 상기 스피커-특정 오디오 신호들은 무선 통신 인터페이스를 통해 불가청 형태로 수신되는, 외부 디바이스.
  7. 외부 디바이스로서,
    무선 디바이스로부터, 상기 무선 디바이스에 관하여 외부 디바이스를 로케이팅하기 위해 마이크로폰을 작동시키고 상기 마이크로폰에 의해 캡처된 제 1 오디오 신호를 상기 무선 디바이스에 제공하기 위한 제 1 명령을 수신하는 수단;
    상기 무선 디바이스로부터, 상기 무선 디바이스에 관하여 상기 외부 디바이스를 로케이팅하는 것을 보조하기 위해 외부 라우드스피커를 통해 제 2 오디오 신호를 재생하기 위한 제 2 명령을 수신하는 수단; 및
    상기 무선 디바이스로부터, 상기 무선 디바이스에 관한 타겟 사용자의 로케이션을 확인하기 위해 상기 마이크로폰을 작동시키고 상기 마이크로폰에 의해 캡처된 제 3 오디오 신호를 상기 무선 디바이스에 전송하기 위한 제 3 명령을 수신하는 수단을 포함하는, 외부 디바이스.
  8. 제 7 항에 있어서,
    하나 이상의 대응하는 외부 라우드스피커들에 할당된 상기 무선 디바이스로부터 스피커-특정 오디오 신호들을 수신하는 수단; 및
    상기 스피커-특정 오디오 신호들을 상기 하나 이상의 대응하는 외부 라우드스피커들에 전송하는 수단을 더 포함하며,
    각각의 상기 스피커-특정 오디오 신호는 상기 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하도록 적응되는, 외부 디바이스.
  9. 제 7 항에 있어서,
    상기 무선 디바이스로부터 상기 하나 이상의 외부 라우드스피커들로의 상기 스피커-특정 오디오 신호들은 무선 통신 인터페이스를 통해 불가청 형태로 수신되는, 외부 디바이스.
  10. 명령들이 저장된 프로세서 판독가능 매체로서,
    상기 명령들은, 하나 이상의 프로세서들에 의해 실행될 경우, 상기 하나 이상의 프로세서들로 하여금,
    무선 디바이스로부터, 상기 무선 디바이스에 관하여 외부 디바이스를 로케이팅하기 위해 마이크로폰을 작동시키고 상기 마이크로폰에 의해 캡처된 제 1 오디오 신호를 상기 무선 디바이스에 제공하기 위한 제 1 명령을 수신하게 하고;
    상기 무선 디바이스로부터, 상기 무선 디바이스에 관하여 상기 외부 디바이스를 로케이팅하는 것을 보조하기 위해 외부 라우드스피커를 통해 제 2 오디오 신호를 재생하기 위한 제 2 명령을 수신하게 하고; 그리고
    상기 무선 디바이스로부터, 상기 무선 디바이스에 관한 타겟 사용자의 로케이션을 확인하기 위해 상기 마이크로폰을 작동시키고 상기 마이크로폰에 의해 캡처된 제 3 오디오 신호를 상기 무선 디바이스에 전송하기 위한 제 3 명령을 수신하게 하는, 프로세서 판독가능 매체.
  11. 제 10 항에 있어서,
    하나 이상의 프로세서들에 의해 실행될 경우, 상기 하나 이상의 프로세서들로 하여금,
    하나 이상의 대응하는 외부 라우드스피커들에 할당된 상기 무선 디바이스로부터 스피커-특정 오디오 신호들을 수신하게 하고; 그리고
    상기 스피커-특정 오디오 신호들을 상기 하나 이상의 대응하는 외부 라우드스피커들에 전송하게 하는
    명령들이 추가로 저장되고,
    각각의 상기 스피커-특정 오디오 신호는 상기 타겟 사용자를 대상으로 하는 서라운드 사운드 경험을 달성하도록 적응되는, 프로세서 판독가능 매체.
KR1020157022514A 2011-12-19 2012-12-05 분산된 멀티-센서 환경에서 오디오 성능을 커스터마이징하기 위한 자동화된 사용자/센서 로케이션 인식 KR101928137B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161577483P 2011-12-19 2011-12-19
US61/577,483 2011-12-19
US13/476,815 2012-05-21
US13/476,815 US9408011B2 (en) 2011-12-19 2012-05-21 Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment
PCT/US2012/067874 WO2013095920A1 (en) 2011-12-19 2012-12-05 Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147020080A Division KR101714134B1 (ko) 2011-12-19 2012-12-05 분산된 멀티-센서 환경에서 오디오 성능을 커스터마이징하기 위한 자동화된 사용자/센서 로케이션 인식

Publications (2)

Publication Number Publication Date
KR20150103308A true KR20150103308A (ko) 2015-09-09
KR101928137B1 KR101928137B1 (ko) 2018-12-11

Family

ID=48610150

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147020080A KR101714134B1 (ko) 2011-12-19 2012-12-05 분산된 멀티-센서 환경에서 오디오 성능을 커스터마이징하기 위한 자동화된 사용자/센서 로케이션 인식
KR1020157022514A KR101928137B1 (ko) 2011-12-19 2012-12-05 분산된 멀티-센서 환경에서 오디오 성능을 커스터마이징하기 위한 자동화된 사용자/센서 로케이션 인식

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020147020080A KR101714134B1 (ko) 2011-12-19 2012-12-05 분산된 멀티-센서 환경에서 오디오 성능을 커스터마이징하기 위한 자동화된 사용자/센서 로케이션 인식

Country Status (7)

Country Link
US (2) US9408011B2 (ko)
EP (2) EP3470870B1 (ko)
JP (1) JP6158216B2 (ko)
KR (2) KR101714134B1 (ko)
CN (2) CN107018475B (ko)
IN (1) IN2014MN00985A (ko)
WO (1) WO2013095920A1 (ko)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US9408011B2 (en) 2011-12-19 2016-08-02 Qualcomm Incorporated Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8712328B1 (en) * 2012-09-27 2014-04-29 Google Inc. Surround sound effects provided by cell phones
US9699586B2 (en) * 2012-10-02 2017-07-04 Nokia Technologies Oy Configuring a sound system
EP4138075A1 (en) 2013-02-07 2023-02-22 Apple Inc. Voice trigger for a digital assistant
WO2014137341A1 (en) * 2013-03-07 2014-09-12 Nuance Communications, Inc. Method for training an automatic speech recognition system
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9431014B2 (en) * 2013-07-25 2016-08-30 Haier Us Appliance Solutions, Inc. Intelligent placement of appliance response to voice command
US10791216B2 (en) 2013-08-06 2020-09-29 Apple Inc. Auto-activating smart responses based on activities from remote devices
KR101815211B1 (ko) * 2013-11-22 2018-01-05 애플 인크. 핸즈프리 빔 패턴 구성
KR102121748B1 (ko) * 2014-02-25 2020-06-11 삼성전자주식회사 입체 사운드를 재생하는 방법 및 장치
CN103928025B (zh) * 2014-04-08 2017-06-27 华为技术有限公司 一种语音识别的方法及移动终端
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10542365B2 (en) * 2014-08-18 2020-01-21 Apple Inc. Optimizing the performance of an audio playback system with a linked audio/video feed
US10171911B2 (en) * 2014-12-01 2019-01-01 Samsung Electronics Co., Ltd. Method and device for outputting audio signal on basis of location information of speaker
TWI590666B (zh) * 2015-02-12 2017-07-01 絡達科技股份有限公司 分散式系統之音效增益方法
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10031722B1 (en) 2015-03-17 2018-07-24 Amazon Technologies, Inc. Grouping devices for voice control
JP6592940B2 (ja) * 2015-04-07 2019-10-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US10327067B2 (en) * 2015-05-08 2019-06-18 Samsung Electronics Co., Ltd. Three-dimensional sound reproduction method and device
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10655951B1 (en) * 2015-06-25 2020-05-19 Amazon Technologies, Inc. Determining relative positions of user devices
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10365620B1 (en) 2015-06-30 2019-07-30 Amazon Technologies, Inc. Interoperability of secondary-device hubs
CN106507241A (zh) 2015-09-04 2017-03-15 音乐集团公司 用于确定加电音频总线上的节点的连接顺序的方法
EP3148224A3 (en) * 2015-09-04 2017-06-21 Music Group IP Ltd. Method for determining or verifying spatial relations in a loudspeaker system
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9870762B2 (en) * 2015-09-11 2018-01-16 Plantronics, Inc. Steerable loudspeaker system for individualized sound masking
US9706300B2 (en) 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
US10013996B2 (en) * 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
US9949054B2 (en) * 2015-09-30 2018-04-17 Sonos, Inc. Spatial mapping of audio playback devices in a listening environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
CN105554640B (zh) * 2015-12-22 2018-09-14 广东欧珀移动通信有限公司 音响设备及环绕声音响***
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10048929B2 (en) * 2016-03-24 2018-08-14 Lenovo (Singapore) Pte. Ltd. Adjusting volume settings based on proximity and activity data
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
CN106898348B (zh) * 2016-12-29 2020-02-07 北京小鸟听听科技有限公司 一种出声设备的去混响控制方法和装置
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US9980076B1 (en) 2017-02-21 2018-05-22 At&T Intellectual Property I, L.P. Audio adjustment and profile system
JP6904031B2 (ja) * 2017-04-13 2021-07-14 ヤマハ株式会社 スピーカ位置検出システム、スピーカ位置検出装置、及びスピーカ位置検出方法
EP3879297A1 (en) * 2017-04-14 2021-09-15 Signify Holding B.V. A positioning system for determining a location of an object
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180338214A1 (en) * 2017-05-18 2018-11-22 Raytheon BBN Technologies, Corp. Personal Speaker System
GB2563670A (en) * 2017-06-23 2018-12-26 Nokia Technologies Oy Sound source distance estimation
KR102443651B1 (ko) * 2017-11-16 2022-09-15 삼성전자주식회사 전자 장치, 외부 전자 장치 및 이를 포함하는 음향 시스템
JP7176194B2 (ja) * 2018-02-09 2022-11-22 ヤマハ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US20190387088A1 (en) * 2018-06-14 2019-12-19 Qualcomm Incorporated Smart ringtone control
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN108898980A (zh) * 2018-07-31 2018-11-27 杭州浙启品牌管理有限公司 一种楼宇广告的方法
US20200068310A1 (en) * 2018-08-22 2020-02-27 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Brought-in devices ad hoc microphone network
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11451931B1 (en) 2018-09-28 2022-09-20 Apple Inc. Multi device clock synchronization for sensor data fusion
US10852276B2 (en) 2018-10-22 2020-12-01 Hitachi, Ltd. Holistic sensing method and system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
JP7251200B2 (ja) * 2019-02-19 2023-04-04 株式会社リコー スピーカ装置、ビデオ会議装置及び電子黒板
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
EP3942845A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
WO2020191354A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
TW202101422A (zh) 2019-05-23 2021-01-01 美商舒爾獲得控股公司 可操縱揚聲器陣列、系統及其方法
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
TW202105369A (zh) 2019-05-31 2021-02-01 美商舒爾獲得控股公司 整合語音及雜訊活動偵測之低延時自動混波器
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
KR102650488B1 (ko) 2019-11-29 2024-03-25 삼성전자주식회사 전자장치와 그의 제어방법
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11758360B2 (en) * 2020-02-28 2023-09-12 Comcast Cable Communications, Llc Methods, systems, and apparatuses for presence detection
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
WO2021243368A2 (en) * 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11582554B1 (en) * 2020-09-22 2023-02-14 Apple Inc. Home sound loacalization and identification
US11657814B2 (en) * 2020-10-08 2023-05-23 Harman International Industries, Incorporated Techniques for dynamic auditory phrase completion
CN114513715A (zh) * 2020-11-17 2022-05-17 Oppo广东移动通信有限公司 电子设备中执行语音处理的方法、装置、电子设备及芯片
JP2024505068A (ja) 2021-01-28 2024-02-02 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム
EP4231663A4 (en) 2021-03-12 2024-05-08 Samsung Electronics Co., Ltd. ELECTRONIC AUDIO INPUT DEVICE AND OPERATING METHOD THEREFOR
EP4329337A1 (en) 2022-08-22 2024-02-28 Bang & Olufsen A/S Method and system for surround sound setup using microphone and speaker localization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005513935A (ja) * 2001-12-20 2005-05-12 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ピアベース位置決定
JP2005198249A (ja) * 2003-12-10 2005-07-21 Sony Corp 音響システムにおけるスピーカ装置の配置関係検出方法、音響システム、サーバ装置およびスピーカ装置
JP2008522534A (ja) * 2004-12-02 2008-06-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ スピーカをマイクロホンとして使用する位置検出
KR20080092404A (ko) * 2006-01-05 2008-10-15 오디언스 인코포레이티드 음성 향상을 위해 마이크로폰 사이의 레벨 차이를 활용하는시스템 및 방법
US7617099B2 (en) * 2001-02-12 2009-11-10 FortMedia Inc. Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5386478A (en) 1993-09-07 1995-01-31 Harman International Industries, Inc. Sound system remote control with acoustic sensor
US6154549A (en) * 1996-06-18 2000-11-28 Extreme Audio Reality, Inc. Method and apparatus for providing sound in a spatial environment
DE19943872A1 (de) * 1999-09-14 2001-03-15 Thomson Brandt Gmbh Vorrichtung zur Anpassung der Richtcharakteristik von Mikrofonen für die Sprachsteuerung
JP2003533110A (ja) 2000-04-28 2003-11-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオシステム
JP4766440B2 (ja) 2001-07-27 2011-09-07 日本電気株式会社 携帯端末装置及び携帯端末装置の音響再生システム
US6937980B2 (en) * 2001-10-02 2005-08-30 Telefonaktiebolaget Lm Ericsson (Publ) Speech recognition using microphone antenna array
EP1540988B1 (en) 2002-09-09 2012-04-18 Koninklijke Philips Electronics N.V. Smart speakers
US7719428B2 (en) * 2003-01-24 2010-05-18 Shotspotter, Inc. Systems and methods of communications for weapon detection systems
JP2004304778A (ja) * 2003-03-20 2004-10-28 Victor Co Of Japan Ltd 音場設定方法、音場設定プログラム、及びオーディオ信号再生装置
CN1774871A (zh) 2003-04-15 2006-05-17 专利创投公司 定向扬声器
JP2005057545A (ja) * 2003-08-05 2005-03-03 Matsushita Electric Ind Co Ltd 音場制御装置及び音響システム
DE602004017575D1 (de) * 2004-05-13 2008-12-18 Mitsubishi Electric Corp Bestimmung von Laufzeitdifferenz und Einfallswinkel
US7630501B2 (en) 2004-05-14 2009-12-08 Microsoft Corporation System and method for calibration of an acoustic system
KR20060022053A (ko) 2004-09-06 2006-03-09 삼성전자주식회사 Ａｖ 시스템 및 그 튜닝 방법
US20060088174A1 (en) * 2004-10-26 2006-04-27 Deleeuw William C System and method for optimizing media center audio through microphones embedded in a remote control
JP2006258442A (ja) 2005-03-15 2006-09-28 Yamaha Corp 位置検出システム、スピーカシステムおよびユーザ端末装置
JP4669340B2 (ja) * 2005-07-28 2011-04-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2007124380A (ja) * 2005-10-28 2007-05-17 Nec Corp 立体音響出力システム、立体音響出力方法及び立体音響出力用プログラム
US9697844B2 (en) 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
US20080077261A1 (en) 2006-08-29 2008-03-27 Motorola, Inc. Method and system for sharing an audio experience
JP2009135750A (ja) * 2007-11-30 2009-06-18 Kyocera Corp 再生システム、再生制御装置、再生制御方法および再生制御プログラム
JP5332243B2 (ja) * 2008-03-11 2013-11-06 ヤマハ株式会社 放音システム
US8170222B2 (en) 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
US20090304205A1 (en) 2008-06-10 2009-12-10 Sony Corporation Of Japan Techniques for personalizing audio levels
US8681997B2 (en) 2009-06-30 2014-03-25 Broadcom Corporation Adaptive beamforming for audio and data applications
EP2449798B2 (en) * 2009-08-11 2020-12-09 Sivantos Pte. Ltd. A system and method for estimating the direction of arrival of a sound
US20110091055A1 (en) 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques
US9408011B2 (en) 2011-12-19 2016-08-02 Qualcomm Incorporated Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7617099B2 (en) * 2001-02-12 2009-11-10 FortMedia Inc. Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile
JP2005513935A (ja) * 2001-12-20 2005-05-12 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ピアベース位置決定
JP2005198249A (ja) * 2003-12-10 2005-07-21 Sony Corp 音響システムにおけるスピーカ装置の配置関係検出方法、音響システム、サーバ装置およびスピーカ装置
JP2008522534A (ja) * 2004-12-02 2008-06-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ スピーカをマイクロホンとして使用する位置検出
KR20080092404A (ko) * 2006-01-05 2008-10-15 오디언스 인코포레이티드 음성 향상을 위해 마이크로폰 사이의 레벨 차이를 활용하는시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
일본 공표특허공보 특표2005-513935호(2005.05.12.) 1부. *
일본 공표특허공보 특표2008-522534호(2008.06.26.) 1부. *

Also Published As

Publication number Publication date
US10492015B2 (en) 2019-11-26
CN103999488B (zh) 2016-10-05
CN103999488A (zh) 2014-08-20
WO2013095920A1 (en) 2013-06-27
US9408011B2 (en) 2016-08-02
EP2795930A1 (en) 2014-10-29
CN107018475A (zh) 2017-08-04
JP6158216B2 (ja) 2017-07-05
KR20140107512A (ko) 2014-09-04
US20130156198A1 (en) 2013-06-20
EP3470870B1 (en) 2023-03-29
JP2015507864A (ja) 2015-03-12
IN2014MN00985A (ko) 2015-04-24
US20160309279A1 (en) 2016-10-20
EP2795930B1 (en) 2020-01-15
EP3470870A1 (en) 2019-04-17
KR101928137B1 (ko) 2018-12-11
CN107018475B (zh) 2019-11-22
KR101714134B1 (ko) 2017-03-08

Similar Documents

Publication Publication Date Title
KR101714134B1 (ko) 분산된 멀티-센서 환경에서 오디오 성능을 커스터마이징하기 위한 자동화된 사용자/센서 로케이션 인식
CN106375902B (zh) 通过麦克风的机会性使用的音频增强
US10827292B2 (en) Spatial audio aggregation for multiple sources of spatial audio
US7492913B2 (en) Location aware directed audio
KR101868010B1 (ko) 오디오 처리 장치
US20150036848A1 (en) Motion detection of audio sources to facilitate reproduction of spatial audio spaces
US20130003983A1 (en) Headphone
US9479872B2 (en) Audio reproducing method and apparatus
EP2986028B1 (en) Switching between binaural and monaural modes
EP3209034A1 (en) Controlling audio rendering
WO2021227571A1 (zh) 一种智能设备、控制智能音箱的方法和***
CN113453141B (zh) 房间内的音频***的信号处理方法和音频***
WO2020072953A1 (en) Dynamic focus for audio augmented reality (ar)
WO2021227570A1 (zh) 一种智能音箱、控制智能音箱的方法和***
WO2019045622A1 (en) HEADSET AND METHOD OF OPERATING THE HEADSET
CN117376804A (zh) 扬声器单元的运动检测

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant