KR102573843B1 - 음성 제어를 갖는 낮은 복잡도의 다중 채널 스마트 라우드스피커 - Google Patents

음성 제어를 갖는 낮은 복잡도의 다중 채널 스마트 라우드스피커 Download PDF

Info

Publication number
KR102573843B1
KR102573843B1 KR1020190060082A KR20190060082A KR102573843B1 KR 102573843 B1 KR102573843 B1 KR 102573843B1 KR 1020190060082 A KR1020190060082 A KR 1020190060082A KR 20190060082 A KR20190060082 A KR 20190060082A KR 102573843 B1 KR102573843 B1 KR 102573843B1
Authority
KR
South Korea
Prior art keywords
array
microphone
channel
elements
loudspeaker
Prior art date
Application number
KR1020190060082A
Other languages
English (en)
Other versions
KR20190136940A (ko
Inventor
울리히 호바흐
마티아스 크론라흐너
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20190136940A publication Critical patent/KR20190136940A/ko
Application granted granted Critical
Publication of KR102573843B1 publication Critical patent/KR102573843B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

디지털 신호 프로세서는, 스테레오 입력으로부터 중심 채널을 추출하고, 제1 세트의 유한 임펄스 응답 필터 및 제1 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 중심 채널을 인가하여 상기 축을 중심으로 목표 각도에서 오디오 컨텐츠의 제1 빔을 생성하고, 제2 세트의 유한 임펄스 응답 필터 및 제2 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 스테레오 입력의 좌측 채널을 인가하여 상기 축을 중심으로 상기 목표 각도로부터 제1 오프셋 각도에서 오디오 컨텐츠의 제2 빔을 생성하고, 제3 세트의 유한 임펄스 응답 필터 및 제3 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 스테레오 입력의 우측 채널을 인가하여 상기 축을 중심으로 상기 목표 각도로부터 제2 오프셋 각도에서 오디오 컨텐츠의 제3 빔을 생성하도록 구성된다.

Description

음성 제어를 갖는 낮은 복잡도의 다중 채널 스마트 라우드스피커{LOW COMPLEXITY MULTI-CHANNEL SMART LOUDSPEAKER WITH VOICE CONTROL}
본 발명의 양태는 일반적으로 음성 제어(voice control)를 갖는 낮은 복잡도의 다중 채널 스마트 라우드스피커(loudspeaker)에 관한 것이다.
음성 제어 및 인터넷 연결을 갖는 스마트 라우드스피커가 점점 대중화되고 있다. 최종 사용자는, 음악이 재생 중인 동안에도 방(room)의 먼 지점으로부터 사용자의 음성을 이해하고, 사용자 요청에 신속하게 응답하고 상호 작용하며, 하나의 음성 명령에 집중하고 다른 음성 명령을 억압하고, 스테레오 음악을 고품질로 재생하며, 소형 홈 시어터 시스템으로 방을 음악으로 채우고, 방에서 청취하는 사용자의 위치로 자동 조향을 수행하는 것을 포함하여 다양한 기능을 수행하는 제품을 기대한다.
하나 이상의 예시적인 실시예에서, 스마트 라우드스피커는 축을 중심으로 원형 형태로 배치되고 다중 채널 오디오 재생을 위해 구성된 N개의 스피커 요소(speaker element)의 어레이 및 디지털 신호 프로세서를 포함한다. 상기 디지털 신호 프로세서는, 스테레오 입력으로부터 중심 채널을 추출하고, 제1 세트의 유한 입력 응답 필터(finite input response filter) 및 제1 회전 행렬(rotation matrix)을 사용하여 상기 스피커 요소의 어레이에 상기 중심 채널을 인가하여, 상기 축을 중심으로 목표 각도(target angle)로 오디오 컨텐츠의 제1 빔(beam)을 생성하고, 제2 세트의 유한 입력 응답 필터 및 제2 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 스테레오 입력의 좌측 채널을 인가하여 상기 축을 중심으로 상기 목표 각도로부터 제1 오프셋 각도에서 오디오 컨텐츠의 제2 빔을 생성하고, 제3 세트의 유한 입력 응답 필터 및 제3 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 스테레오 입력의 우측 채널을 인가하여 상기 축을 중심으로 상기 목표 각도로부터 제2 오프셋 각도에서 오디오 컨텐츠의 제3 빔을 생성하도록 구성된다.
하나 이상의 예시적인 실시예에서, 스마트 라우드스피커용 방법은 스테레오 입력으로부터 중심 채널을 추출하는 단계; 축을 중심으로 원형 형태로 배치되고 제1 세트의 유한 입력 응답 필터 및 제1 회전 행렬을 사용하여 다중 채널 오디오 재생을 위해 구성된 스피커 요소의 어레이에 상기 중심 채널을 인가하여, 상기 축을 중심으로 목표 각도에서 오디오 컨텐츠의 제1 빔을 생성하는 단계; 제2 세트의 유한 입력 응답 필터 및 제2 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 스테레오 입력의 좌측 채널을 인가하여 상기 축을 중심으로 상기 목표 각도로부터 제1 오프셋 각도에서 오디오 컨텐츠의 제2 빔을 생성하는 단계; 및 제3 세트의 유한 입력 응답 필터 및 제3 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 스테레오 입력의 우측 채널을 인가하여 상기 축을 중심으로 상기 목표 각도로부터 제2 오프셋 각도에서 오디오 컨텐츠의 제3 빔을 생성하는 단계를 포함한다.
도 1은 스마트 라우드스피커의 단순화된 블록도;
도 2는 스마트 라우드스피커를 사용하는 예시적인 3 빔 적용을 도시하는 도면;
도 3a는 예시적인 스마트 라우드스피커를 도시하는 도면;
도 3b는 예시적인 스마트 라우드스피커의 절개도;
도 4는 스마트 라우드스피커용 예시적인 7-채널 마이크로폰 어레이를 도시하는 도면;
도 5는 기준 마이크로폰에 비해 어레이 마이크로폰에서 단일 AEC 필터의 성능의 예시적인 그래프를 도시하는 도면;
도 6은 도 1에 도시된 스마트 라우드스피커의 상향 믹서(upmixer)의 중심 추출 기능의 예시적인 블록도;
도 7은 저주파 드라이버(low-frequency driver)와 함께 6-스피커 어레이의 일례를 도시하는 도면;
도 8은 저주파 드라이버용 신호 경로뿐만 아니라 중간 내지 고주파 드라이버(mid-high frequency driver)용 빔 형성 필터 및 회전 행렬의 예시적인 시스템 블록도;
도 9는 스마트 라우드스피커를 사용하는 사운드 장(sound field)의 예시적인 회전을 도시하는 도면;
도 10은 스마트 라우드스피커에 대한 예시적인 크로스오버(crossover) 필터 주파수 응답을 도시하는 도면;
도 11은 저주파 드라이버 목표 응답의 예시적인 근사치를 도시하는 도면;
도 12는 스마트 라우드스피커 주위의 다양한 각도에 대한 예시적인 고주파 응답을 도시하는 도면;
도 13은 스마트 라우드스피커에 대한 트랜스듀서(transducer) 필터, 임펄스 응답, 크기 응답 및 위상의 조합을 도시하는 도면;
도 14는 좁은 빔 형태에서 스마트 라우드스피커를 사용하여 순방향 빔(forward beam)의 예시적인 등고선도(contour plot)를 도시하는 도면;
도 15는 중간 빔 형태에서 스마트 라우드스피커를 사용하여 순방향 빔의 예시적인 등고선도를 도시하는 도면;
도 16은 무-지향성 빔(omni-directional) 형태에서 스마트 라우드스피커를 사용하여 순방향 빔의 예시적인 등고선도를 도시하는 도면;
도 17은 3개의 중간 빔 형태를 이용하는 무-지향성 빔 형태에서 스마트 라우드스피커를 사용하여 순방향 빔의 예시적인 등고선도를 도시하는 도면;
도 18은 교정(calibration) 전 마이크로폰 어레이의 마이크로폰의 주파수 응답의 일례를 도시하는 도면;
도 19는 교정 후 마이크로폰 어레이의 마이크로폰의 주파수 응답의 일례를 도시하는 도면;
도 20은 마이크로폰 어레이에 대한 초기 필터 및 각도 감쇠(angular attenuation)의 일례를 도시하는 도면;
도 21은 마이크로폰 어레이에 대한 초기 빔 형성 필터의 위상 응답을 도시하는 도면;
도 22는 마이크로폰 어레이 빔 형성기(beamformer)의 예시적인 등고선도를 도시하는 도면;
도 23은 마이크로폰 어레이 빔 형성기의 예시적인 지향성 지수(directivity index)를 도시하는 도면;
도 24는 6개의 마이크로폰 및 3개의 빔 형성 필터를 갖는 예시적인 마이크로폰 어레이의 레이아웃을 도시하는 도면;
도 25는 최적화 후 마이크로폰 어레이 빔 형성 및 EQ 필터의 예시적인 주파수 응답을 도시하는 도면;
도 26은 최적의 빔 형성 필터에 대한 마이크로폰 어레이의 예시적인 위상 응답을 도시하는 도면;
도 27은 백색 잡음 이득의 일례를 도시하는 도면;
도 28은 최적화 후 축외 응답(off-axis response)의 일례를 도시하는 도면;
도 29는 최적화 후 빔 형성 결과의 예시적인 등고선도를 도시하는 도면;
도 30은 2개의 상이한 필터 길이에서 최적화 후 빔 형성 결과의 예시적인 지향성 지수를 도시하는 도면;
도 31은 라우드스피커의 동작을 위한 예시적인 방법을 도시하는 도면; 및
도 32는 다양한 실시예의 하나 이상의 양태를 구현하도록 구성된 컴퓨팅 시스템의 개념적인 블록도.
요구되는 바에 따라, 본 발명의 상세한 실시예가 본 명세서에 개시되지만; 개시된 실시예는 다양하고 대안적인 형태로 구현될 수 있는 본 발명의 단지 예시적인 실시예인 것으로 이해된다. 도면은 반드시 일정한 축척에 맞게 그려진 것은 아니며; 일부 부분은 특정 구성 요소의 상세를 보여주기 위해 과장되거나 최소화되었을 수 있다. 따라서, 본 명세서에 개시된 특정 구조 및 기능적 상세는 본 발명을 제한하는 것으로 해석되어서는 안 되며, 이 기술 분야에 통상의 지식을 가진 자가 본 발명을 다양하게 사용할 수 있는 대표적인 기초를 제공하는 것으로만 해석되어야 한다.
스마트 라우드스피커 특징을 실현하기 위해, 강력한 호스트 프로세서와 WIFI 연결, 수신 및 송신 사운드를 위해 조향 가능한 빔 형성을 포함하는 실시간 신호 프로세서, 및 다중 채널 에코 소거 필터 뱅크(echo cancelling filter bank)의 조합이 요구된다. 이러한 구성 요소는 처리 능력에 대한 엄청난 요구를 필요로 한다. 한편 배터리 전력 옵션을 갖는 무선 휴대성이 종종 바람직하다. 본 발명은 처리 비용을 최소화하면서 오디오 품질 및 스마트 라우드스피커 특징에 대한 요구를 충족시키는 솔루션을 제시한다.
도 1은 스마트 라우드스피커(100)의 단순화된 블록도를 도시한다. 도시된 바와 같이, 다이어그램에서 회로는 좌측(L) 채널과 우측(R) 채널을 갖는 오디오 입력(102)을 수신한다. 오디오 입력(102)은 상향 믹서(104)에 제공된다. 상향 믹서(104)는 도시된 바와 같이 2-채널 스테레오 소스(즉, 오디오 입력(102)의 (L) 및 (R)) 중 중심 채널(C)을 생성하여, 상향 믹싱된 신호(106)에 좌측 마이너스 중심(L-C), 중심(C), 및 우측 마이너스 중심(R-C)을 생성하도록 구성된다. 상향 믹서(104)의 동작에 대한 보다 상세한 설명은 도 6의 상황에서 중심 채널 추출과 관련하여 아래에서 논의된다.
라우드스피커(100)는 라우드스피커 빔 형성기(108)를 더 포함할 수 있다. 라우드스피커 빔 형성기(108)는 상향 믹서(104)로부터 상향 믹싱된 신호(106)((L-C), (R-C) 및 (C))를 수신하도록 구성된 3개의 입력을 가질 수 있다. 라우드스피커 빔 형성기(108)는 L개의 라우드스피커(110)(일반적으로 L = 6 ... 8)의 어레이에 더 연결될 수 있다. 각각의 입력 채널((L-C), (R-C) 및 (C))은 한정된 빔 폭의 음향 빔(acoustic beam)에 대응한다.
도 2는 스마트 라우드스피커(100)를 사용하는 3빔 적용의 일례(200)를 도시한다. αL, αR 및 αC의 3개의 제어 각도는 빔의 포인팅 방향을 한정한다. 일반적으로 대화 및 리드 실행자(dialogue and lead performer)를 포함하는 중심(C)은 청취자를 향하는 반면, 스테레오 채널은 방의 벽 쪽으로 보내져서, 반사된 음이 청취자에 전달되어 음의 몰입감(sense of immersion) 및 원하는 스테레오 이미지의 폭과 깊이를 생성한다. 스테레오 각도(αL, αR)는 스테레오 효과를 최대화하기 위해 개별적으로 조절될 수 있는 반면, 전체 사운드 스테이지는 모든 각도를 동시에 각도(α전부)를 통해 청취자 쪽으로 회전될 수 있다.
다시 도 1을 참조하면, 라우드스피커(100)는 원으로 배열된 M개의 마이크로폰(112)(일반적으로 M = 4 ... 8개의 마이크로폰)의 어레이를 추가로 포함할 수 있다. 마이크로폰(112)으로부터 마이크로폰 신호(114)는 현장(in-situ) 마이크로폰 자동 교정 스테이지(116)에 의해 수신될 수 있다. 자동 교정 스테이지(116)로부터 교정 신호(118)는 마이크로폰 각도(aM)(124)에 기초하여 음성 인식 엔진(미도시)에 적절한 음성 출력 신호(122)를 전달하도록 구성된 마이크로폰 빔 형성기(120)에 제공될 수 있다.
라우드스피커(100)는 2개의 입력/하나의 출력 적응형 음향 에코 소거(adaptive acoustic echo canceller: AEC) 필터(126)를 더 포함한다. AEC 출력 신호(128)는, 입력 채널(102(L) 및 (R))로부터 유래되고 라우드스피커(110)로부터 직접 및 간접 (방에서 반사) 경로를 통해 마이크로폰(112)에 도달하여, 마이크로폰(112)이 수신하는 음악 신호를 근사화한다. 마이크로폰 신호(114)로부터 이 신호(128)를 감산함으로써, 음악은 억압될 것이고, 의도된 음성 신호만이 청취될 수 있다.
도 3a는 예시적인 스마트 라우드스피커(100)의 예시도(300A)를 도시한다. 도 3b는 예시적인 스마트 라우드스피커(100)의 절개도(300B)를 도시한다. 도 3a 및 도 3b 각각에서, 예시적인 스마트 어레이 라우드스피커(100)는 60°의 각도 증분만큼 규칙적으로 이격된 원통형 인클로저에 형성된 6개의 트위터(tweeter)와 하향 발사 우퍼(downwards firing woofer)를 포함한다. 다른 예에서는 다른 개수의 디바이스를 갖는 트위터 어레이가 사용될 수 있다는 것을 주목해야 한다.
도 4는 스마트 라우드스피커(100)에 대한 예시적인 7-채널 마이크로폰 어레이(112)의 일례(400)를 도시한다. 마이크로폰 어레이(112)는 도시된 바와 같이 라우드스피커(100)의 상부 커버의 중심에 형성될 수 있다. 도시된 어레이(112)는 원으로 배열된 6개의 근접하게 이격된 마이크로폰 및 선택 사항인 중심 마이크로폰을 포함한다. 중심 마이크로폰이 없거나 또는 마이크로폰 어레이(112)에 더 많거나 더 적은 마이크로폰이 있는 예가 사용될 수 있다.
마이크로폰의 직경은 작을 수 있으며, 예를 들어, 직경이 일반적으로 10 밀리미터일 수 있다. 이것은 시스템용 AEC(126)가 크게 단순화될 수 있게 한다. 다른 시스템에서, 마이크로폰은 일반적으로 4 내지 10 센티미터(cm)의 원형 배열로 배치될 수 있다. 이 접근법은 거리가 증가함에 따라 음향 응답이 상당히 변하기 때문에, 어레이(112)의 각각의 마이크로폰에 대해 별도의 AEC 필터 쌍을 요구할 수 있다. 마이크로폰 어레이(112)의 직경을 감소시킴으로써, M개의 쌍 대신에 단지 하나의 AEC 필터 쌍만을 적용함으로써 AEC을 수행하는 처리 전력이 M(즉, 마이크로폰의 개수)만큼 감소될 수 있다. AEC에 대한 기준은 중심 마이크로폰 신호, 또는 원을 따라 M개의 어레이 마이크로폰(112)에 걸쳐 평균냄으로써 얻어진 신호일 수 있다.
도 5는 기준 마이크로폰에 비해 다양한 어레이 마이크로폰(112)에서 단일 AEC 필터의 성능의 예시적인 그래프(500)를 나타낸다. 그래프(500)는, 마이크로폰 어레이(112)의 각각의 마이크로폰에 대해, X 축 상에 도시된 주파수 범위에 걸쳐 Y 축 상에 dB 단위의 감쇠를 도시한다. 기준 위치(7)에 비해 마이크로폰 위치(1 ... 6)에서 AES 성능의 10dB 미만의 광대역 저하가 관찰된다. 따라서, 예시적인 그래프(500)는 이 방법의 유효성을 보여준다.
도 6은 도 1에 도시된 스마트 라우드스피커(100)의 상향 믹서(104)의 중심 추출 기능의 예시적인 블록도(600)를 도시한다. 따라서, 도 6은 중심 채널 추출을 수행하기 위해 상향 믹서(104)의 동작의 추가 상세를 도시한다. 일반적으로, 상향 믹서(104)는 오디오 입력(102)의 좌측(L) 및 우측(R) 채널을 수신하고, 입력을 처리하여 중심 채널(C)(106)을 생성한다. 도 2에 도시된 바와 같이, 이 중심 채널(C)(106)은 청취자를 향하여 지향될 수 있는 반면, 스테레오 채널((L) 및 (R))(102)은 방의 벽을 향하여 보내진다.
보다 구체적으로 도 6을 참조하면, 좌(L) 채널 및 우(R) 채널을 갖는 오디오 입력(102)은 2개의 경로, 즉 고주파 경로(high-frequency path)와 저주파 경로(low-frequency path)로 분할된다. 고주파 경로는 (L) 및 (R) 채널 각각에 대해 낮은 차수 재귀적 무한 임펄스 응답(low-order recursive Infinite Impulse Response: IIR) 고역 통과 필터(602)로 시작된다. 일례에서, IIR 고역 통과 필터(602)는 700 ... 1000Hz의 (-3dB) 롤오프(roll off) 주파수를 갖는 2차 버터워스 필터(Butterworth filter)로서 구현될 수 있다. 저역 통과 필터 경로는 한 쌍의 유한 임펄스 응답(Finite Impulse Response: FIR) 데시메이션(decimation) 필터(604)로 시작될 수 있다. 하나의 비-제한적인 예에서, 데시메이션 필터(604)는 16으로 데시메이션될 수 있다.
고역 통과 필터(602) 및 저역 통과 데시메이션 필터(604)의 각각의 출력은 양방향 시간/주파수 분석 방식을 사용하여 단기 푸리에 변환(Short-Term Fourier Transform: STFT) 블록(606)에 제공된다. 상향 믹서(104)는 홉(hop) 크기가 48이고 일반적으로 128의 매우 짧은 푸리에 변환 길이를 사용하는 양방향 시간/주파수 분석 방식을 수행하여, 더 긴 길이를 사용하는 방법보다 훨씬 더 높은 시간 해상도를 달성한다. 길이가 1024인 단일 고속 푸리에 변환(Fast Fourier Transform: FFT)을 적용하는 방법은 겹침 길이(overlap length)에 따라 10 ... 20 밀리초(msec)의 시간 해상도를 초래할 수 있다. 짧은 전송 길이를 사용함으로써, 시간 해상도는 10배 단축되고, 이는 이제 인간의 인식(예를 들어, 1 ... 2 msec)과 더 긴밀하게 관련된다. 주파수 해상도는 더 낮은 주파수 대역으로 서브-샘플링(sub-sampling)하는 것으로 인해 저하되지 않고 또한 개선된다. 또한 비선형 처리로 다위상 필터 뱅크에서 발생할 수 있는 에일리어싱 왜곡(aliasing distortion)이 방지된다. 따라서 양방향 시간/주파수 분석 방식은 뛰어난 충실도 및 음질을 이끌어내고 결함은 가청 범위 미만으로 억압된다. 상기 방식의 동작의 또 다른 양태는 본 명세서에 전체 내용이 병합된 발명의 명칭이 "Audio Surround Processing System"인 미국 특허 공보 번호 2013/0208895에 설명되어 있다.
고주파 경로의 STFT 블록(606)의 (L) 및 (R) 출력은 중심 추출 블록(608)에 제공된다. 유사하게, 저주파 경로의 STFT 블록(606)의 (L) 및 (R) 출력은 다른 중심 추출 블록(608)에 제공된다.
특히, 저주파 경로에서 STFT 블록(606) 및 중심 추출 블록(608)은 일반적으로 fS = 48 kHz, rS = 16인 fS/rS의 감소된 샘플링율에서 실행된다. 이는 저주파 해상도에서 rS배의 증가를 초래하여, 128의 동일한 짧은 STFT 길이가 사용될 수 있다.
고주파 경로 및 저주파 경로에서 각각의 중심 추출 처리 후의 재조합은 저주파 경로의 FIR 필터링으로 인해 더 높은 레이턴시(latency)를 맞추기 위해 역 STFT, 감소된 샘플링율(fS/16)로부터 원래의 샘플링율(fS)로의 보간, 및 고주파수에서의 지연 보상에 의해 달성된다. 보다 구체적으로, 각각의 중심 추출 블록(608)은 독립적인 역 STFT 블록(610)으로 공급된다. 저주파 경로에서 역 STFT 블록(610)의 출력은 블록(604)에서 수행된 데시메이션을 설명하기 위해 보간될 수 있는 FIR 보간 필터(612)에 공급된다. 고주파 경로에서 역 STFT 블록(610)의 출력은 지연 보상 블록(614)에 공급될 수 있다. FIR 보간 필터(612) 및 지연 보상 블록(614)의 출력은 가산기(adder)(616)를 사용하여 결합될 수 있고, 여기서 가산기(616)의 출력은 중심 출력(C) 채널(106)이다.
보다 구체적으로 중심 추출 블록(608) 자체에 의해 구현된 알고리즘을 참조하면, 다음 값이 다음과 같이 계산될 수 있다:
(1)
여기서, P는 평균 신호 에너지이고, VL은 (L) 입력 채널(102) 신호의 단기 신호 스펙트럼의 복소 벡터이고, VR은 (R) 입력 채널(102) 신호의 단기 신호 스펙트럼의 복소 벡터이다;
(2)
여기서, VX는 교차 스펙트럼 밀도의 절대 값을 나타내고;
(3)
여기서 pc는 교차 스펙트럼 밀도(VX)의 절대 값과 평균 신호 에너지(P)의 비율로 계산된 지수이다. 이 지수는 "시간/주파수 마스크(Time/Frequency Mask)"라고 칭할 수 있다.
이들 값을 사용하여, pc의 시간 평균()은 업데이트 계수(α)(일반적으로 α = 0.2/rS)를 갖는 재귀 추정치로서 재귀적으로 계산된다. 시간 지수(i)는 실제 블록 번호(예를 들어, i = i + 1, 여기서 모든 홉 크기 = 48개의 샘플)를 나타낸다. 연산은 다음과 같이 표현될 수 있다:
(4)
중심 신호는 비선형 맵핑 함수(nonlinear mapping function)(F)를 사용하여 추출된다. 원하는 출력 신호는 (모노 신호로서) 입력들의 합을 마스크()의 비선형 함수(F)와 곱함으로써 얻어진다. 이 함수는 채널 분리와 낮은 왜곡 간의 최상의 절충을 위해 최적화될 수 있다. 연산은 다음과 같이 표현될 수 있다:
(5)
도 7은 라우드스피커(100)용 빔 형성 설계의 일례(700)를 도시한다. 도시된 바와 같이, 6개의 트위터(T1 ... T6)는 저주파 확장을 제공하지만 크로스오버 주파수(crossover frequency)(fC)(일반적으로 200 ... 400 Hz, 이 예에서 fC = 340 Hz) 아래에서 빔을 형성하지 않는 우퍼(W)에 의해 보완된 원 주위에 균일하게 배열된다.
도 8은 도 7에 도시된 예시적인 라우드스피커(100)의 빔 형성기(108)의 시스템 블록도(800)를 도시한다. 블록도(800)는 저주파 드라이버용 신호 경로뿐만 아니라 중간 내지 고주파 드라이버용 빔 형성 필터(h1, h26, h35 및 h4) 및 회전 행렬을 포함한다. 도시된 바와 같이, 트위터(T1)는 빔 형성 FIR(Finite Impulse Response) 필터(h1)에 연결되고, 트위터(T2 및 T6)는 필터(h26)에 연결되고, 트위터(T3 및 T5)는 필터(h35)에 연결되고, 트위터(T4)는 필터(h4)에 연결된다. 특히 트위터 쌍들은 주축에 대해 빔 대칭이기 때문에 동일한 필터를 공유할 수 있다.
빔은 트위터를 재 할당함으로써 임의의 원하는 각도(φ)로 회전될 수 있다. 예를 들어, φ = 60°의 회전은 필터(h1)를 트위터(T2)에 연결하고, 필터(h26)를 트위터 쌍(T1 및 T3)에 연결하는 등에 의해 달성될 수 있다. 추가적으로, 중간에 있는 임의의 각도는 각각의 트위터 신호를 선형 보간하는 것에 의해 실현될 수 있다. 이 예에서 4개의 빔 형성 필터와 6개의 트위터가 있기 때문에 회전은 4 x 6 이득 행렬로 실현된다. 그러나 다른 개수의 필터와 트위터가 회전 행렬의 크기에 영향을 줄 수 있다. 선형 보간 외에도, 코사인(cosine) 또는 코사인 제곱과 같은 다른 보간법을 추가적으로 또는 대안적으로 사용할 수 있다.
도 9는 스마트 라우드스피커(100)를 사용하는 사운드 장의 회전의 일례(900)를 도시한다. 도 9에 도시된 바와 같이 예를 들어 채널((L-C), (C), (R-C))을 사용하는 다중 채널 응용에서, 각 채널은 고유 세트의 빔 형성 필터 및 회전 행렬에 연결된다. 도 2에 비해, 도 9에서 전체 사운드 장은 각도(φ전부)만큼 회전되는 반면, (L) 채널은 φL - φ전부만큼 회전되고, (R) 채널은 φR - φ전부만큼 회전된다. 회전을 수행하기 위해, 제1 빔 형성 필터 및 회전 행렬은 (L-C) 채널에 사용될 수 있고, 제2 빔 형성 필터 및 회전 행렬은 (C) 채널에 사용될 수 있으며, 제3 빔 형성 필터 및 회전 행렬은 (R-C) 채널에 사용될 수 있다.
다시 도 8을 참조하면, 우퍼 처리 경로는 크로스오버 필터(hW), 우퍼의 동작 범위 미만의 주파수를 차단하는 선택 사항인 재귀적 (IIR) 고역 통과 필터, 및 선택 사항인 제한기(limiter)를 포함한다. 크로스오버 필터는 음향 선형 위상 시스템을 실현하기 위해 FIR 필터로 설계될 수 있다. 크로스오버 필터의 또 다른 양태는 전체 내용이 본 명세서에 병합된 발명의 명칭이 "Loudspeaker Crossover Filter"인 미국 특허 번호 7,991,170에 개시되어 있다.
도 10은 스마트 라우드스피커(100)에 대한 크로스오버 필터 주파수 응답의 일례(1000)를 도시한다. 일례(1000)의 그래프에서, Y 축은 데시벨을 나타내는 반면, 주파수 범위는 X 축에 도시된다. 도시된 바와 같이, 저주파 드라이버는 약 340 Hz에서 고주파수 드라이버로 교차한다(cross over). 일반적으로, 크로스오버 필터는 크로스오버 목표에 대해 측정된 스피커 응답을 등화(equalize)시키도록 설계된다.
도 11은 저주파 드라이버 목표 응답의 근사치의 일례(1100)를 도시한다. 일례(1100)의 그래프에서 Y 축은 데시벨을 나타내는 반면, 주파수 범위는 X 축에 표시된다. 특히, 트위터 크로스오버 고역 통과 필터는 빔 형성 필터로 분해될 수 있다.
빔 형성 필터의 설계는 음향 데이터에 기초할 수 있다. 일례에서, 임펄스 응답은 무반향 챔버(anechoic chamber)에서 캡처될 수 있다. 각 어레이 드라이버는 턴테이블을 통해 회전하는 것에 의해 스피커 주변의 이산 각도에서 측정될 수 있다. 빔 형성 필터의 설계에 대한 다른 양태는 전체 내용이 본 명세서에 병합된 발명의 명칭이 "Variable Acoustics Loudspeaker"인 국제 출원 번호 PCT/US17/49543에서 더 상세히 논의된다.
음향 데이터는 푸리에 변환을 사용하여 복소 스펙트럼을 계산함으로써 사전 조정(preconditioned)될 수 있다. 이후 크기 및 위상을 계산하고 크기 및 위상 응답을 개별적으로 평활화(smoothing)한 다음 데이터를 복소 스펙트럼 값으로 다시 변환하여 복소 평활화를 수행할 수 있다. 추가적으로, 각도 응답은 각 스펙트럼에 역수를 곱하여 0°에서 정면 트랜스듀서(frontal transducer)의 스펙트럼으로 정규화될 수 있다. 이 역 응답은 나중에 전체 등화에 이용될 수 있다.
도 12는 스마트 라우드스피커(100) 주위의 다양한 각도에 대한 고주파 응답의 일례(1200)를 도시한다. 보다 구체적으로, 일례(1200)는 15° 단차로 각도 15° 내지 180°로 보여지는 정면 트랜스듀서의 크기 응답을 나타낸다. 일례(1200)의 그래프에서 Y 축은 데시벨을 나타내는 반면, 주파수 범위는 X 축에 표시된다.
측정되고 평활화된 복소 주파수 응답은 다음과 같이 행렬 형식으로 작성될 수 있다:
Hsm(i, j), i=1 ... N, j = 1 ... M (6)
여기서 주파수 지수는 i이고, N은 FFT 길이(도시된 예에서는 N = 2048)이고, M은 구간[0 ... 180]°에서 각도 측정의 수이다(도시된 예에서는 15° 단차에 대해 M = 13).
R개의 드라이버의 어레이(여기서는 R = 6)는 0°에서 하나의 정면 드라이버(frontal driver), 180°에서 하나의 후면 드라이버(rear driver), 및 각도 에 위치된 P = (R - 2)/2개의 드라이버 쌍을 포함한다.
P개의 빔 형성 필터(Cr)는 추가 필터(CP+1)가 후면 드라이버에 제공된 드라이버 쌍들에 연결되도록 설계된다. 먼저, 전술한 바와 같이, 측정된 주파수 응답은 드라이버 주파수 응답을 제거하기 위해 정면 응답(frontal response)에 대해 0보다 큰 각도에서 정규화된다. 이 정규화(normalization)는 드라이버 등화의 형태로 최종 필터를 설계할 때 다음과 같이 나중에 다시 분해될 수 있다:
H0 (i) = Hsm(i, 1); (7)
H정규화 (norm)(i, j) = Hsm(i, j)/H0(i), i = 1, N, j = 1 ... M
필터 설계 반복은 각 주파수 점(frequency point)에 대해 개별적으로 작용된다. 주파수 지수는 편의상 다음과 같이 제거될 수 있다:
이산 각도(αk)에서 측정되고 정규화된 주파수 응답으로서
H(αk):= H정규화(i, k) (8).
반경방향으로 대칭인 원통형 엔클로저 및 동일한 드라이버를 가정하면, 어레이의 주파수 응답(U(k))은 다음과 같이 모든 드라이버에 동일한 오프셋 각도를 적용하여 각도(αk)에서 계산될 수 있다:
(9)
스펙트럼 필터 값(Cr)은 2차 에러 함수를 최소화함으로써 반복적으로 얻어질 수 있다:
(10)
여기서, t(k)는 나중에 한정된 바와 같이 선택된 빔 폭에 특정된 공간 목표 함수이다.
파라미터(α)는 어레이 이득을 정의한다:
α이득 = 20·log(α)
어레이 이득은 하나의 단일 트랜스듀서에 비해 어레이가 재생되는 크기를 지정한다. 이 값은 1보다 커야 하지만 총 트랜스듀서의 수(R)보다 더 클 수 없다. 초지향성 빔(super-directive beam) 형성에 필요한 일부 사운드 소거를 허용하려면 어레이 이득은 R보다 더 작지만 1보다 훨씬 더 커야 한다. 일반적으로 어레이 이득은 주파수에 의존하고, 좋은 근사치 결과를 얻으려면 신중하게 선택되어야 한다.
추가적으로, Q는 각도 목표 점(target point)의 수(예를 들어, Q = 9)이다. 또한, w(k)는 특정 근사점 대 다른 근사점(통상 0.1 < w < 1)에서 더 높은 정밀도가 요구되는 경우 사용될 수 있는 가중 함수이다.
최적화될 변수는 주파수 지수(i), Cr(i), r=1 ... (P+1)마다 P+1개의 복소 필터값이다. 최적화는 관심 있는 대역 (예를 들어 )에서 제1 주파수 점에서 시작될 수 있고, 을 출발 솔루션으로 설정한 다음, 마지막 점 에 도달할 때까지 매번 지수를 증분시켜 필터 값을 계산할 수 있다.
실수부 및 허수부 대신에, 크기() 및 언랩핑된 위상( )의 사용이 변수로서 비선형 최적화 루틴을 위해 사용될 수 있다.
이 한정된 비선형 최적화 문제는 수리실험 최적화 도구(Matlab optimization toolbox) 상자의 일부인 표준 소프트웨어, 예를 들어, 함수 "fmincon"을 사용하여 해결될 수 있다. 다음 범위가 적용될 수 있다:
(11)
입력 파라미터(δ)에 의해 지정된 하나의 계산된 주파수 점으로부터 다음 계산될 점까지의 크기 값에 대한 최대 허용 필터 이득 및 하한 및 상한은 다음과 같다:
생성된 주파수 응답의 평활도를 제어하기 위해
(12)
340 Hz에서 교차된 6개의 중간/트위터를 갖는 150 밀리미터의 어레이 직경을 사용하는 설계 예가 다음과 같이 논의된다.
좁은 빔의 예에서, 도 13 내지 도 14는 도 1의 라우드스피커(100)를 이용한 결과를 도시한다. 좁은 빔 예의 파라미터는 다음과 같다:
αk = [15 30 45 60 90 120 150 180]°에서
목표 함수 tk = [-1.5 -3.5 -8 -12 -15 -18 -20 -20],
드라이버의 수 R = 6
드라이버 쌍의 수 P = 2
계산된 빔 형성 필터 C1, C2, C3
어레이 이득 12 dB, f < 1 kHz;
4 dB, f > 3.0 kHz;
-3 dB, f > 7.5 kHz.
중간에 있는 2개의 대역은 어레이 이득이
이전 값으로부터 새로운 값으로
선형적으로 감소하는 전이 대역이다.
최대 필터 이득 Gmax = 5dB
평활도 한계 δ = 1.0
도 13은 좁은 빔 예에 대한 최적화 결과(1300)를 도시한다. 이들 결과는 스마트 라우드스피커(100)에 대한 트랜스듀서 필터, 임펄스 응답, 크기 응답 및 위상의 조합을 포함한다. 필터는 빔 형성, 크로스오버 및 드라이버 EQ를 포함한다. 도시된 바와 같이, 필터는 평활하고, 많은 시간 분산(프리링잉(preringing))을 나타내지 않으며, 충분한 동적 범위를 달성하는 데 중요한 매우 제한된 저주파 이득을 필요로 한다.
도 14는 좁은 빔 형태의 전방 빔의 등고선도(1400)를 도시한다. 전체 주파수 대역 100Hz 내지 20kHz에 걸쳐 일정한 지향성은 거의 들리지 않는 약 4 내지 5kHz에서 약간의 작은 결함을 제외하고는 높은 정도로 달성된다.
도 15는 중간 폭 빔 형태에서 도 1의 라우드스피커(100)를 이용한 등고선도(1500)를 도시한다. 중간 폭 빔 예의 파라미터는 다음과 같다:
αk = [15 30 45 60 90 120 150 180]°에서
목표 함수 tk = [0 -1.5 -3 -5 -10 -15 -20 -25],
드라이버의 수 R = 6
드라이버 쌍의 수 P = 2
계산된 빔 형성 필터 C1, C2, C3
어레이 이득 12 dB, f < 1 kHz;
0 dB, f > 3.0 kHz;
-2 dB, f > 7.5 kHz.
중간에 있는 2개의 대역은 어레이 이득이
이전의 값으로부터 새로운 값으로
선형적으로 감소하는 전이 대역이다.
최대 필터 이득 Gmax = 5dB
평활도 한계 δ = 0.5
중간 폭 빔의 등고선도는 도 15에 도시된다.
라우드스피커(100)는 무-지향성 모드에서 더 이용될 수 있다. 음성과 같은 모노럴 소스(monaural source)의 경우, 가능한 한 균일하고 각도 독립적인 분산 패턴이 있는 무-지향성 모드가 종종 필요하다. 첫째, 동일한 방법으로 넓은 빔 설계에 접근한다:
αk = [15 30 45 60 90 120 150 180]°에서
목표 함수 tk = [0 0 0 -2 -4 -5 -6 -6],
드라이버의 수 R = 6
드라이버 쌍의 수 P = 2
계산된 빔 형성 필터 C1, C2, C3
어레이 이득 8 dB, f < 1 kHz;
3 dB, f > 3.0 kHz;
2 dB, f > 10 kHz.
중간에 있는 2개의 대역은 어레이 이득이
이전 값으로부터 새로운 값으로
선형적으로 감소하는 전이 대역이다.
최대 필터 이득 Gmax = 0dB
평활도 한계 δ = 0.2
도 16은 무-지향성 빔 형태에서 스마트 라우드스피커(100)를 사용하여 순방향 빔의 등고선도의 일례(1600)를 도시한다. 도시된 바와 같이, 도 16은 공간 에일리어싱으로 인해 4 kHz를 초과하는 결함이 있는 눈에 띄는 주 빔 방향이 여전히 존재하기 때문에 무-지향성 목표가 부분적으로만 달성되었다는 것을 보여주는 결과를 나타낸다.
도 17은 3개의 중간 빔 형태를 이용하는 무-지향성 빔 형태에서 스마트 라우드스피커(100)를 사용하여 순방향 빔의 등고선도의 일례(1700)를 도시한다. 도 17에 도시된 바와 같이, 각각 0° 및 +/- 120°를 가리키는 이전에 도시된 것 중 3개의 "중간 폭" 빔을 사용하여 더 좋은 결과를 얻을 수 있다.
조향 가능한 마이크로폰 어레이(112)를 참조하면, 마이크로폰 빔 형성기(120)는 3 단계, 즉 초기 및 현장 교정 단계, 폐쇄형 출발 솔루션 단계, 및 표적에의 최적화 단계로 설계될 수 있다.
마이크로폰 자동 교정과 관련하여, 저비용 일렉트릿 콘덴서 마이크로폰(Electret Condenser Microphone: ECM) 및 마이크로전자기계시스템(Microelectromechanical system: MEMS) 마이크로폰은 통상 평균 응답으로부터 일반적으로 +/- 3dB의 편차를 나타낸다. 이것은 (예를 들어, 도 4에 도시된 구성에서) 직경이 10 밀리미터인 원에 배열된 6개의 ECM 마이크로폰의 측정된 원거리 응답을 도시하는 도 18의 예에 의해 확인된다. 저주파 빔 형성은 직경에 비해 파장이 큰 경우 작은 마이크로폰 차이 신호에 의존하기 때문에 매우 높은 정밀도가 요구된다.
도 18은 교정 전에 마이크로폰 어레이의 마이크로폰의 주파수 응답의 일례(1800)를 도시한다. 초기 교정은 하나의 마이크로폰을 목표로 하는 최소 위상 보정 필터로 각 마이크로폰의 신호를 컨볼루션(convolution)하는 것에 의해 수행된다. 기준의 선택은 임의적이고, (선택 사항인) 중심 마이크로폰 또는 정면 마이크로폰일 수 있다. 필터 설계 방법은 주파수 로그 영역에서 수행되고, 최소 위상 임펄스 응답은 DSP 설계자에 알려진 방법인 힐버트 변환에 의해 유도된다. 주로 주파수 독립 이득 에러로 인해 마이크로폰 사이의 편차는 약 1kHz 미만이기 때문에 32의 FIR 필터 길이이면 충분하다.
도 19는 교정 후에 마이크로폰 어레이의 마이크로폰의 주파수 응답의 일례(1900)를 도시한다.
마이크로폰의 노화 또는 온도 및 습도와 같은 환경 조건을 수용하기 위해, 현장 교정이 수시로 요구된다. 이것은 음악이 재생되는 동안 시간에 따른 기준 마이크로폰의 응답 또는 전용 테스트 신호를 추정한 다음 다른 마이크로폰을 그 목표에 등화시키는 것에 의해 달성될 수 있다.
초기 빔 형성 솔루션과 관련하여, 자유 대기에서 원형 마이크로폰 어레이(112)에 대한 폐쇄된 솔루션이 존재한다. 후속 비선형 최적화를 위한 출발 솔루션을 얻으려면 잘 알려진 설계를 사용할 수 있다. 문헌(Jacob Benesty, "Design of Circular Differential Microphone Arrays", Springer 2015)은 전체 내용이 본 명세서에 병합되고, 마이크로폰 빔 형성 필터 벡터 H = [H1 ... Hm]은 다음과 같이 계산될 수 있다는 것을 나타낸다:
(13)
여기서 는 확산 잡음에 대한 "의사 간섭 행렬(pseudo coherence matrix)"을 나타낸다;
I는 단위 행렬이다;
ω는 주파수이다;
c는 소리의 속도이다;
마이크로폰(i와 j) 사이의 거리는 다음과 같다:
여기서 d는 어레이 직경이다;
D=[D1 ... Dm]은 조향 벡터를 나타내고, 여기서
ε은 정형화 계수(regularization factor)이다. 이 예에서 ε = 1e-5이다.
각도(θ)에서 포인트 센서(point sensor)의 이상적인 원형 어레이의 지연 벡터 V = [V1 ... VM]은 다음과 같이 정의될 수 있다:
(14)
상기 지연 벡터(Vm), 빔 필터(Hm) 및 공액 복소 조향 벡터 요소(Dm)를 캐스케이드(cascading)함으로써 각도(θ)에서 마이크로폰(m)의 복소 응답(Bm)이 다음과 같이 얻어진다:
(15)
마지막으로 개별 응답에 걸쳐 복소 합계에 의해 빔 응답(U(θ))은 다음과 같다:
(16)
도 20은 마이크로폰 어레이에 대한 초기 필터 및 각도 감쇠의 일례(2000)를 도시한다. 도시된 바와 같이, 일례(200)는, 모든 마이크로폰에 적용될, EQ 필터로서 도시된, 전방 필터에 대한 정규화 후에, 전방 마이크로폰(1), 후방 마이크로폰(4) 및 측방 쌍(2/6 및 3/5) 각각에 대해 필터 주파수 응답(|Hm|)을 포함한다.
도 21은 마이크로폰 어레이에 대한 초기 빔 형성 필터의 위상 응답의 일례(2100)를 도시한다. 개별 필터 크기는 기본적으로 평탄하지만 EQ 필터는 마이크로폰 사이의 필터 위상이 반대인 것으로 인한 손실을 보완하기 위해 넓은 주파수 구간에서 약 20dB의 이득을 요구한다. 이 이득은 마이크로폰 자체 잡음이 그 양만큼 증폭되기 때문에 바람직하지 않다. 비선형 최적화를 참조하면, 1차 설계 목표는 이 잡음 이득을 줄이는 것이다.
도 22는 마이크로폰 어레이 빔 형성기의 등고선도의 일례(2200)를 도시한다. 도 23은 마이크로폰 어레이 빔 형성기의 지향성 지수의 일례(2300)를 도시한다. 도 22에 도시된 등고선도 및 도 23에 도시된 지향성 지수는 빔 형성기의 품질을 문서화한다.
비선형 사후 최적화와 관련하여, 도 24는 결정될 빔 형성 필터(C1, C2 및 C3)를 갖는 6개의 마이크로폰 레이아웃을 도시한다. 이 방법은 이전에 설명된 라우드스피커 빔 형성 디자인과 유사한다.
먼저, 주파수 도메인에서 복소 평활화 및 정면 트랜스듀서에 대한 정규화에 의해 데이터가 미리 조정된다. 그리하여, 제1 트랜스듀서(마이크1)의 주파수 응답은 최적화 동안 일정한 것으로 설정된다. 마이크1에 빔 형성 필터를 적용하는 대신, 모든 마이크로폰에 적용된 전체 EQ 필터를 사용할 수 있다.
설계를 위한 목표 함수는 초기 솔루션(uk (f) = |U(f, θk)| 상기 참조)으로부터 취할 수 있는 각도(θk = [0: 15 : 180]°)에서 감쇠 값(uk)이다. 이 응답은 주파수에 의존하기 때문에 다수의 일정한 목표 함수가 다른 주파수 구간에 사용된다. 예를 들어, 전이 주파수 ftr = 1000Hz 미만에서 100 Hz ... 1000 Hz 구간에서 근사치를 계산할 때 제1 목표 함수 uk (f = 2000 Hz)를 사용할 수 있고, 제2 목표 함수(uk (f = 4000 Hz))는 나머지 구간 1000 Hz ... 20 KHz에 사용된다. 이 방법은 이후 더 높은 주파수에서 더 좁은 빔을 생성한다.
C1 ... C3에 대한 초기 솔루션은 도 20 및 도 21에 도시된 바와 같이 이전에 획득된 빔 형성 필터(Hm)로 설정될 수 있다.
하나의 주파수 반복 점(i)으로부터 다음 점(i+1)까지 허용된 진폭 차이(δ)에 더하여:
(17)
위상 경계 조건(δp)이 적용된다:
(18)
요약하면, 다음의 경계 조건이 적용된다:
진폭 한계 δ = 0.75
위상 한계 δ = π/60
최대 빔 필터 이득 12 dB
최대 EQ 필터 이득 20 dB
도 25는 최적화 후 마이크로폰 어레이(112)의 주파수 응답의 일례(2500)를 나타낸다. 도 26은 최적 빔 형성 필터를 위한 마이크로폰 어레이(112)의 위상 응답의 일례(2600)를 도시한다. 따라서, 도 25 및 도 26은 비선형 사후 최적화 후 빔 형성 필터에서 생성된 크기 및 위상 응답을 나타낸다.
전체 백색 잡음 이득은 다음과 같이 계산될 수 있다:
(19)
도 27은 백색 잡음 이득의 일례(2700)를 도시한다. 그 결과는, 도 27에 도시된 바와 같이, 초기 20dB(도 20 참조)로부터 10dB 미만으로 백색 잡음 이득(white noise gain: WNG)을 감소시키기 위해 목표에 도달하여 성능이 개선된 것을 도시한다.
도 28은 최적화 후 축외 응답의 일례(2800)를 도시한다. 도 29는 최적화 후 빔 형성 결과의 등고선도의 일례(2900)를 도시한다. 도 30은 2개의 상이한 필터 길이에서 최적화 후 빔 형성 결과의 지향성 지수의 일례(3000)를 도시한다. 도 28 내지 도 30을 도 22 내지 도 23과 비교함으로써 알 수 있는 바와 같이, 성능이 향상되었다.
도 31은 라우드스피커(100)의 동작을 위한 예시적인 방법(3100)을 도시한다. 일례에서, 방법은 앞서 상세히 논의된 개념을 사용하여 라우드스피커(100)에 의해 수행될 수 있다. 동작(3102)에서, 가변 음향 라우드스피커(100)는 입력 신호(102)를 수신한다. 일례에서, 입력은 가변 음향 라우드스피커(100)에 제공되어 디지털 신호 프로세서에 의해 처리되는 스테레오 신호일 수 있다.
동작(3104)에서, 라우드스피커(100)는 입력 신호로부터 중심 채널을 추출한다. 일례에서, 상향 믹서(104)는 2-채널 스테레오 소스(즉, 오디오 입력(102)의 (L) 및 (R)) 중 중심 채널(C)을 생성하여 상향 믹싱된 신호(106)에서 좌측 마이너스 중심(L-C), 중심(C) 및 우측 마이너스 중심(R-C)을 생성하도록 구성된다. 상향 믹서(104)의 동작의 다른 양태는 도 6과 관련하여 상세히 설명된다.
동작(3106)에서, 라우드스피커(100)는 라우드스피커(100)에 의한 출력을 위해 중심 채널 빔을 생성한다. 일례에서 적어도 도 8을 참조하여 논의된 바와 같이, 유한 입력 응답 필터의 세트는 디지털 신호 프로세서에 의해 사용되어 추출된 중심 채널의 빔 형성을 위해 사용될 복수의 출력 채널을 생성할 수 있다. 라우드스피커(100)는 제1 회전 행렬을 사용하여 목표 각도에서 오디오 컨텐츠의 제1 빔을 더 생성할 수 있다. 일례에서, 적어도 도 2 및 도 9와 관련하여 논의된 바와 같이, 필터의 출력은 목표 각도에서 스피커 채널로 라우팅될 수 있다. 라우드스피커(100)는, 예를 들어, 도 9에 도시된 바와 같이, 스피커 요소의 어레이에 오디오 컨텐츠의 빔을 적용할 수 있다. 일례에서, 스피커 요소의 어레이는 도 7에 도시된 바와 같이 트위터 어레이의 6개의 드라이버이다.
동작(3108)에서, 라우드스피커(100)는 라우드스피커(100)에 의한 출력을 위해 스테레오 채널 빔을 생성한다. 일례에서, 적어도 도 8을 참조하여 논의된 바와 같이, 유한 입력 응답 필터의 세트는 디지털 신호 프로세서에 의해 사용되어, (L) 채널의 빔 형성을 위해 사용될 복수의 출력 채널을 생성할 수 있고, 유한 입력 응답 필터의 제2 세트는 디지털 신호 프로세서에 의해 사용되어, (R) 채널의 빔 형성을 위해 사용될 제2 복수의 출력 채널을 생성할 수 있다. 라우드스피커(100)는 회전 행렬을 사용하여 목표 각도로부터 오프셋된 각도에서 오디오 컨텐츠의 좌측 빔을 더 생성하고, 다른 회전 행렬을 사용하여 반대 방향으로 목표 각도로부터 오프셋된 각도에서 오디오 컨텐츠의 우측 빔을 생성할 수 있다. 일례에서, 적어도 도 2 및 도 9와 관련하여 논의된 바와 같이, 필터의 출력은 목표 각도에서 스피커 채널로 라우팅될 수 있다. 라우드스피커(100)는 또한 예를 들어 도 9에 도시된 바와 같이, 스피커 요소의 어레이에 이러한 오디오 컨텐츠의 빔을 적용할 수 있다. 일례에서, 스피커 요소의 어레이는 도 7에 도시된 바와 같이 트위터 어레이의 6개의 드라이버이다.
동작(3110)에서, 라우드스피커(100)는 마이크로폰 어레이(112)를 교정한다. 일례에서, 라우드스피커(100)는 어레이(112)의 마이크로폰 요소 중 하나인 목표 마이크로폰 및 최소 위상 보정 필터를 사용하는 마이크로폰 각각으로부터 전기 신호를 컨볼루션(convolution)하는 것에 의해 마이크로폰의 어레이(112)를 교정한다. 다른 예에서, 라우드스피커(100)는 기준 신호로서 스피커의 어레이(110)의 오디오 재생을 사용하여 마이크로폰 어레이(112)의 기준 마이크로폰의 주파수 응답을 추정하고, 측정된 주파수 응답에 따라 어레이(112)의 마이크로폰을 등화시키는 것을 포함하는 현장 교정을 수행한다.
동작(3112)에서, 라우드스피커(100)는 마이크로폰 어레이(112)로부터 마이크로폰 신호(114)를 수신한다. 일례에서, 라우드스피커(100)의 프로세서는 마이크로폰 어레이(112)로부터 원시(raw) 마이크로폰 신호(114)를 수신하도록 구성될 수 있다.
동작(3114)에서, 라우드스피커(100)는 수신된 마이크로폰 신호(114)에 에코 소거를 수행한다. 일례에서, 라우드스피커(100)는 마이크로폰 요소의 어레이에 대해 스테레오 입력에 키잉된(keyed) 단일 적응형 음향 에코 소거기(AEC)(126) 필터 쌍을 이용한다. 어레이(112)의 마이크로폰 요소 사이의 거리가 짧은 것으로 인한 것뿐만 아니라 마이크로폰 어레이(112)를 교정한 것으로 인해 M개의 AEC와는 달리 단일 AEC를 사용하는 것이 가능할 수 있다. AEC의 동작의 다른 양태는 도 1과 관련하여 전술한 바와 같다. 마이크로폰 신호(114)로부터 AEC 신호(128)를 감산함으로써, 라우드스피커(100)에 의해 재생된 오디오 컨텐츠(예를 들어, L, R 및 C 빔)는 억제될 것이며, 의도된 음성 신호만이 청취될 수 있다.
동작(3116)에서, 라우드스피커(100)는 에코 소거된 마이크로폰 신호(114)에 음성 인식을 수행한다. 따라서, 라우드스피커(100)는 음성 명령에 응답할 수 있다. 동작(3116) 후에, 방법(3100)은 종료한다.
도 32는 다양한 실시예의 하나 이상의 양태를 구현하도록 구성된 오디오 시스템(3200)의 개념적인 블록도이다. 이들 실시예는 일례로서 방법(3100)을 포함할 수 있다. 도시된 바와 같이 오디오 시스템(3200)은 컴퓨팅 디바이스(3201), 하나 이상의 스피커(3220), 및 하나 이상의 마이크로폰(3230)을 포함한다. 컴퓨팅 디바이스(3201)는 프로세서(3202), 입력/출력(I/O) 디바이스(3204), 및 메모리(3210)를 포함한다. 메모리(3210)는 데이터베이스(3214)와 상호 작용하도록 구성된 오디오 처리 애플리케이션(3212)을 포함한다.
프로세서(3202)는 데이터를 처리하고 및/또는 프로그램 코드를 실행하도록 구성된 처리 디바이스로부터 임의의 기술적으로 실현 가능한 형태일 수 있다. 프로세서(3202)는 예를 들어, 시스템-온-칩(SoC), 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 전계 프로그래밍 가능한 게이트 어레이(FPGA) 등을 포함할 수 있으나 이들로 제한되지 않는다. 프로세서(3202)는 하나 이상의 프로세싱 코어를 포함한다. 동작 시, 프로세서(3202)는 다른 시스템 구성 요소의 동작을 제어하고 조정하는 컴퓨팅 디바이스(3201)의 마스터 프로세서이다.
I/O 디바이스(3204)는 입력 디바이스, 출력 디바이스, 및 입력을 수신하고 출력을 제공할 수 있는 디바이스를 포함할 수 있다. 예를 들어, 제한 없이, I/O 디바이스(3204)는 스피커(들)(3220), 마이크로폰(들)(3230), 원격 데이터베이스, 다른 오디오 디바이스, 다른 컴퓨팅 디바이스 등으로부터 데이터를 송신하거나 및/또는 데이터를 수신하는 유선 및/또는 무선 통신 디바이스를 포함할 수 있다.
메모리(3210)는 메모리 모듈 또는 메모리 모듈의 집합을 포함할 수 있다. 메모리(3210) 내의 오디오 처리 애플리케이션(3212)은 컴퓨팅 디바이스(3201)의 전체 기능을 구현하고 전체적으로 오디오 시스템(3200)의 동작을 조정하기 위해 프로세서(3202)에 의해 실행된다. 예를 들어, 비-제한적으로 하나 이상의 마이크로폰(3230)을 통해 획득된 데이터는 하나 이상의 스피커(3220)에 전송되는 사운드 파라미터 및/또는 오디오 신호를 생성하기 위해 오디오 처리 애플리케이션(3212)에 의해 처리될 수 있다. 오디오 처리 애플리케이션(3212)에 의해 수행되는 처리는 예를 들어, 필터링, 통계 분석, 발견적 처리, 음향 처리, 및/또는 다른 유형의 데이터 처리 및 분석을 포함할 수 있으나 이들로 제한되지는 않는다.
스피커(들)(3220)는 컴퓨팅 시스템(3200) 및/또는 이 컴퓨팅 시스템(3200)과 관련된 오디오 디바이스(예를 들어, 전력 증폭기)로부터 수신된 하나 이상의 오디오 신호에 기초하여 사운드를 생성하도록 구성된다. 마이크로폰(3230)은 주변 환경으로부터 음향 데이터를 획득하고 음향 데이터와 관련된 신호를 컴퓨팅 디바이스(3201)로 전송하도록 구성된다. 마이크로폰(3230)에 의해 획득된 음향 데이터는 스피커(들)(3220)에 의해 재생되는 오디오 신호를 결정하거나 및/또는 필터링하기 위해 컴퓨팅 디바이스(3201)에 의해 처리될 수 있다. 다양한 실시예에서, 마이크로폰(들)(3230)은, 예를 들어, 차동 마이크로폰, 압전 마이크로폰, 광학 마이크로폰 등을 포함하지만 이들로 제한되지 않는 음향 데이터를 획득할 수 있는 임의의 유형의 트랜스듀서를 포함할 수 있다.
일반적으로 컴퓨팅 디바이스(3201)는 오디오 시스템(3200)의 전체 동작을 조정하도록 구성된다. 다른 실시예에서, 컴퓨팅 디바이스(3201)는 오디오 시스템(3200)의 다른 구성 요소에 연결될 수 있지만 분리될 수 있다. 이러한 실시예에서, 오디오 시스템(3200)은 주변 환경으로부터 획득된 데이터를 수신하고, 퍼스널 컴퓨터, 오디오-비디오 수신기, 전력 증폭기, 스마트폰, 휴대용 미디어 플레이어, 착용 가능 디바이스 등과 같은 개별 디바이스에 포함될 수 있는 컴퓨팅 디바이스(3201)에 데이터를 전송하는 별도의 프로세서를 포함할 수 있다. 그러나, 본 명세서에 개시된 실시예는 오디오 시스템(3200)의 기능을 구현하도록 구성된 임의의 기술적으로 실현 가능한 시스템을 고려한다.
다양한 실시예의 설명은 설명의 목적으로 제시되었지만, 모든 실시예를 전부 제시한다거나 본 발명을 개시된 실시예로 제한하려고 의도된 것이 아니다. 설명된 실시예의 범위 및 사상을 벗어나지 않고 이 기술 분야에 통상의 지식을 가진 자라면 많은 변형 및 수정이 명백할 것이다.
본 실시예의 양태는 시스템, 방법 또는 컴퓨터 프로그램 제품으로서 구체화될 수 있다. 따라서, 본 발명의 양태는 전적으로 하드웨어인 실시예, 전적으로 소프트웨어인 실시예(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함함) 또는 모두 일반적으로 "모듈" 또는 "시스템"이라고 지칭될 수 있는 소프트웨어 및 하드웨어 양태들을 결합하는 실시예의 형태를 취할 수 있다. 또한, 본 발명의 양태는 컴퓨터 판독 가능 프로그램 코드가 구현된 하나 이상의 컴퓨터 판독 가능 매체(들)로 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독 가능 매체(들)의 임의의 조합이 이용될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스, 또는 전술한 것의 임의의 적절한 조합일 수 있지만, 이에 한정되는 것은 아니다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(비-한정적인 리스트)는 하나 이상의 와이어를 갖는 전기적 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그래밍 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 디바이스, 자기 저장 디바이스, 또는 이들의 임의의 적절한 조합을 포함한다. 이 명세서의 문맥에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형적인 매체일 수 있다.
본 발명의 양태는 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 앞서 설명되었다. 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도의 블록의 조합은 컴퓨터 프로그램 명령에 의해 구현될 수 있는 것으로 이해된다. 이 컴퓨터 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그래밍 가능 데이터 처리 장치의 프로세서에 제공되어, 컴퓨터 또는 다른 프로그래밍 가능한 데이터 처리 장치의 프로세서를 통해 실행되는 명령을 통해 흐름도 및/또는 블록도의 블록 또는 블록들에서 지정된 기능/행위를 구현할 수 있는 기계를 생성할 수 있다. 이러한 프로세서는 범용 프로세서, 특수 목적 프로세서, 응용 특정 프로세서 또는 전계 프로그래밍 가능한 프로세서일 수 있지만 이에 한정되는 것은 아니다.
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현예의 구조, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능 명령을 포함하는 모듈, 세그먼트 또는 코드 부분을 나타낼 수 있다. 또한, 일부 대체 구현예에서, 블록에서 언급된 기능이 도면에서 언급된 순서를 벗어나 일어날 수 있다는 것이 주목된다. 예를 들어, 연속적으로 도시된 2개의 블록은 사실상 실질적으로 동시에 실행될 수 있고, 또는 이 블록들은 관련된 기능에 따라 때때로 역순으로 실행될 수 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도의 블록의 조합은 지정된 기능 또는 동작을 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현될 수 있으며, 또는 특수 목적 하드웨어와 컴퓨터 명령의 조합에 의해 구현될 수 있다.
예시적인 실시예가 앞서 설명되었지만, 이들 실시예는 본 발명의 모든 가능한 형태를 설명하는 것은 아니라는 것이 주목된다. 오히려, 본 명세서에서 사용된 단어는 본 발명을 제한하는 것이 아니라 설명하기 위한 단어이며, 본 발명의 사상 및 범위를 벗어나지 않으면서 다양한 변경이 가능한 것으로 이해된다. 추가적으로, 다양한 구현 실시예의 특징들은 결합되어 본 발명의 다른 실시예를 형성할 수 있다.

Claims (17)

  1. 스마트 라우드스피커(smart loudspeaker)로서,
    축을 중심으로 원형 형태로 배치되고 다중 채널 오디오 재생을 위해 구성된 N개의 스피커 요소의 어레이;
    상기 축을 중심으로 원형 형태로 배치되고 오디오 신호를 수신하고 입력 전기 신호를 제공하도록 구성된 M개의 마이크로폰 요소의 어레이; 및
    디지털 신호 프로세서로서,
    스테레오 입력으로부터 중심 채널을 추출하고,
    제1 세트의 유한 임펄스 응답 필터 및 제1 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 중심 채널을 인가하여 상기 축을 중심으로 목표 각도에서 오디오 컨텐츠의 제1 빔을 생성하고,
    제2 세트의 유한 임펄스 응답 필터 및 제2 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 스테레오 입력의 좌측 채널을 인가하여 상기 축을 중심으로 상기 목표 각도로부터 제1 오프셋 각도에서 오디오 컨텐츠의 제2 빔을 생성하고,
    제3 세트의 유한 임펄스 응답 필터 및 제3 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 스테레오 입력의 우측 채널을 인가하여 상기 축을 중심으로 상기 목표 각도로부터 제2 오프셋 각도에서 오디오 컨텐츠의 제3 빔을 생성하며,
    음성 입력을 수신하기 위해 마이크로폰 빔 형성기를 이용하여 상기 목표 각도에서 상기 입력 전기 신호의 조향 가능한 마이크로폰 어레이 빔 형성을 수행하고,
    상기 마이크로폰 요소의 어레이용 상기 스테레오 입력에 키잉된(keyed) 단일 적응형 음향 에코 소거기(adaptive acoustic echo canceller: AEC) 필터 쌍을 이용하도록 구성된, 상기 디지털 신호 프로세서를 포함하고,
    상기 AEC 필터는 기준 신호로서 상기 마이크로폰 요소의 어레이로부터 수신된 상기 입력 전기 신호의 평균을 이용하는, 스마트 라우드스피커.
  2. 제1항에 있어서, 상기 디지털 신호 프로세서를 사용하여 상기 중심 채널을 추출하기 위해, 제1 샘플링율로 고주파수에서 중심 추출을 수행하는 고주파 경로, 상기 제1 샘플링율보다 더 낮은 제2 샘플링율에서 저주파수에서 중심 추출을 수행하는 저주파 경로, 및 상기 고주파 경로의 출력과 상기 저주파 경로의 출력을 합성하여 상기 중심 채널을 생성하는 가산기를 포함하는, 스마트 라우드스피커.
  3. 삭제
  4. 제1항에 있어서, 상기 디지털 신호 프로세서는, 상기 어레이의 상기 마이크로폰 요소 중 하나인 목표 마이크로폰 및 최소 위상 보정 필터를 사용하여 상기 마이크로폰 각각으로부터 상기 전기 신호를 컨볼루션(convolution)하는 것에 의해 상기 M개의 마이크로폰 요소의 어레이를 교정하도록 더 프로그래밍된, 스마트 라우드스피커.
  5. 제4항에 있어서, 상기 마이크로폰 요소의 어레이는 상기 원형 형태의 중심에 마이크로폰 요소를 더 포함하고, 상기 목표 마이크로폰은 상기 원형 형태의 중심에 있는 마이크로폰 요소인, 스마트 라우드스피커.
  6. 제1항에 있어서, 상기 디지털 신호 프로세서는,
    상기 스피커 요소의 어레이의 오디오 재생을 기준 신호로서 사용하여 상기 마이크로폰 어레이의 기준 마이크로폰의 주파수 응답을 추정하는 것과;
    상기 주파수 응답에 따라 상기 어레이의 마이크로폰을 등화시키는 것
    을 포함하는 현장 교정(in-situ calibration)을 사용하여 상기 마이크로폰의 어레이를 교정하도록 더 프로그래밍된, 스마트 라우드스피커.
  7. 삭제
  8. 제1항에 있어서, 상기 마이크로폰의 어레이의 직경은 10 밀리미터인, 스마트 라우드스피커.
  9. 제4항에 있어서, M은 6 내지 8인, 스마트 라우드스피커.
  10. 스마트 라우드스피커용 방법으로서,
    스테레오 입력으로부터 중심 채널을 추출하는 단계;
    축을 중심으로 원형 형태로 배치되고, 제1 세트의 유한 임펄스 응답 필터 및 제1 회전 행렬을 사용하여, 다중 채널 오디오 재생을 위해 구성된 스피커 요소의 어레이에 상기 중심 채널을 인가하여 상기 축을 중심으로 목표 각도에서 오디오 컨텐츠의 제1 빔을 생성하는 단계;
    제2 세트의 유한 임펄스 응답 필터 및 제2 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 스테레오 입력의 좌측 채널을 인가하여 상기 축을 중심으로 상기 목표 각도로부터 제1 오프셋 각도에서 오디오 컨텐츠의 제2 빔을 생성하는 단계;
    제3 세트의 유한 임펄스 응답 필터 및 제3 회전 행렬을 사용하여 상기 스피커 요소의 어레이에 상기 스테레오 입력의 우측 채널을 인가하여 상기 축을 중심으로 상기 목표 각도로부터 제2 오프셋 각도에서 오디오 컨텐츠의 제3 빔을 생성하는 단계;
    상기 축을 중심으로 원형 형태로 배치되고 오디오 신호를 수신하고 전기 신호를 제공하도록 구성된 M개의 마이크로폰 요소의 어레이로부터 음성 입력을 수신하기 위해 마이크로폰 빔 형성기를 이용하여 상기 목표 각도에서 조향 가능한 마이크로폰 어레이 빔 형성을 수행하는 단계; 및
    상기 마이크로폰 요소의 어레이용 상기 스테레오 입력에 키잉된 단일 적응형 음향 에코 소거기(AEC) 필터 쌍을 이용하는 단계를 포함하고,
    상기 AEC 필터는 기준 신호로서 마이크로폰 요소의 어레이로부터 수신된 입력 전기 신호의 평균을 이용하는 스마트 라우드스피커용 방법.
  11. 제10항에 있어서, 제1 샘플링율로 고주파수에서 중심 추출을 수행하는 고주파 경로, 상기 제1 샘플링율보다 더 낮은 제2 샘플링율로 저주파수에서 중심 추출을 수행하는 저주파 경로, 및 상기 고주파 경로의 출력과 상기 저주파 경로의 출력을 결합하여 상기 중심 채널을 생성하는 가산기를 이용하는 단계를 더 포함하는, 스마트 라우드스피커용 방법.
  12. 삭제
  13. 제10항에 있어서, 상기 어레이의 마이크로폰 요소 중 하나인 목표 마이크로폰 및 최소 위상 보정 필터를 사용하여 상기 마이크로폰 각각으로부터의 상기 전기 신호를 컨볼루션하는 것에 의해 상기 마이크로폰 요소의 어레이를 교정하는 단계를 더 포함하는, 스마트 라우드스피커용 방법.
  14. 제13항에 있어서, 상기 M개의 마이크로폰 요소의 어레이는 상기 원형 형태의 중심에 마이크로폰 요소를 더 포함하고, 상기 목표 마이크로폰은 상기 원형 형태의 중심에 있는 마이크로폰 요소인, 스마트 라우드스피커용 방법.
  15. 제10항에 있어서,
    상기 스피커 요소의 어레이의 오디오 재생을 기준 신호로서 사용하여 상기 마이크로폰 어레이의 기준 마이크로폰의 주파수 응답을 추정하는 것; 및
    상기 추정된 주파수 응답에 따라 상기 어레이의 마이크로폰을 등화시키는 것
    을 포함하는 현장 교정을 사용하여 상기 마이크로폰의 어레이를 교정하는 단계를 더 포함하는, 스마트 라우드스피커용 방법.
  16. 삭제
  17. 제10항에 있어서, 상기 마이크로폰의 어레이의 직경은 10 밀리미터인, 스마트 라우드스피커용 방법.
KR1020190060082A 2018-05-31 2019-05-22 음성 제어를 갖는 낮은 복잡도의 다중 채널 스마트 라우드스피커 KR102573843B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/994,389 US10667071B2 (en) 2018-05-31 2018-05-31 Low complexity multi-channel smart loudspeaker with voice control
US15/994,389 2018-05-31

Publications (2)

Publication Number Publication Date
KR20190136940A KR20190136940A (ko) 2019-12-10
KR102573843B1 true KR102573843B1 (ko) 2023-09-01

Family

ID=66448447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060082A KR102573843B1 (ko) 2018-05-31 2019-05-22 음성 제어를 갖는 낮은 복잡도의 다중 채널 스마트 라우드스피커

Country Status (4)

Country Link
US (1) US10667071B2 (ko)
EP (1) EP3576426B1 (ko)
KR (1) KR102573843B1 (ko)
CN (1) CN110557710B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3771226A1 (en) * 2019-07-23 2021-01-27 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Acoustic echo cancellation unit
US10764676B1 (en) * 2019-09-17 2020-09-01 Amazon Technologies, Inc. Loudspeaker beamforming for improved spatial coverage
CN115605952A (zh) * 2020-05-08 2023-01-13 纽奥斯通讯有限公司（Us） 用于多麦克风信号处理的数据增强的***和方法
CN111615045B (zh) * 2020-06-23 2021-06-11 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置、设备及存储介质
US11386911B1 (en) * 2020-06-29 2022-07-12 Amazon Technologies, Inc. Dereverberation and noise reduction
US20220013118A1 (en) * 2020-07-08 2022-01-13 The Curators Of The University Of Missouri Inaudible voice command injection
US11259117B1 (en) * 2020-09-29 2022-02-22 Amazon Technologies, Inc. Dereverberation and noise reduction
US11696083B2 (en) * 2020-10-21 2023-07-04 Mh Acoustics, Llc In-situ calibration of microphone arrays
US20240056713A1 (en) * 2022-08-12 2024-02-15 Afco, Inc. Speaker apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7991170B2 (en) 2005-05-05 2011-08-02 Harman International Industries, Incorporated Loudspeaker crossover filter
US8699721B2 (en) * 2008-06-13 2014-04-15 Aliphcom Calibrating a dual omnidirectional microphone array (DOMA)
US8219394B2 (en) * 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
US9986356B2 (en) 2012-02-15 2018-05-29 Harman International Industries, Incorporated Audio surround processing system
CN105409241B (zh) 2013-07-26 2019-08-20 美国亚德诺半导体公司 麦克风校准
US9294860B1 (en) 2014-03-10 2016-03-22 Amazon Technologies, Inc. Identifying directions of acoustically reflective surfaces
US9813830B2 (en) * 2014-06-03 2017-11-07 Intel Corporation Automated equalization of microphones
US9749747B1 (en) * 2015-01-20 2017-08-29 Apple Inc. Efficient system and method for generating an audio beacon
US20170236547A1 (en) * 2015-03-04 2017-08-17 Sowhat Studio Di Michele Baggio Portable recorder
US20170365271A1 (en) 2016-06-15 2017-12-21 Adam Kupryjanow Automatic speech recognition de-reverberation
US10728666B2 (en) 2016-08-31 2020-07-28 Harman International Industries, Incorporated Variable acoustics loudspeaker
US10405125B2 (en) * 2016-09-30 2019-09-03 Apple Inc. Spatial audio rendering for beamforming loudspeaker array
US10229667B2 (en) * 2017-02-08 2019-03-12 Logitech Europe S.A. Multi-directional beamforming device for acquiring and processing audible input
GB2545359B (en) 2017-03-03 2018-02-14 Asdsp Ltd Device for capturing and outputting audio
US10109292B1 (en) * 2017-06-03 2018-10-23 Apple Inc. Audio systems with active feedback acoustic echo cancellation
CN207266255U (zh) * 2017-09-28 2018-04-20 东莞市爱回响实业有限公司 360°环绕智能音箱

Also Published As

Publication number Publication date
EP3576426B1 (en) 2023-10-11
CN110557710A (zh) 2019-12-10
US10667071B2 (en) 2020-05-26
US20190373390A1 (en) 2019-12-05
KR20190136940A (ko) 2019-12-10
CN110557710B (zh) 2022-11-11
EP3576426A1 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
KR102573843B1 (ko) 음성 제어를 갖는 낮은 복잡도의 다중 채널 스마트 라우드스피커
CN106664480B (zh) 用于声波场生成的***和方法
KR102160645B1 (ko) 개별 사운드 구역을 제공하기 위한 장치 및 방법
CN111128210B (zh) 具有声学回声消除的音频信号处理的方法和***
US9749743B2 (en) Adaptive filtering
CN104980859B (zh) 产生声波场的***和方法
US20150350805A1 (en) Sound wave field generation
JP7071961B2 (ja) 可変音響ラウドスピーカ
JP2006191562A (ja) リスニング領域内での、バスサウンドの音質を改善するためのイコライゼーションシステム
JP2006508404A (ja) 仮想サウンド合成のためのラウドスピーカシステム
CN104980856B (zh) 自适应滤波***及方法
US10460716B2 (en) Sound wave field generation based on loudspeaker-room-microphone constraints
EP3671740B1 (en) Method of compensating a processed audio signal
Jeon et al. Personal audio system for neckband headset with low computational complexity
JP2021040311A (ja) 能動指向性制御を備えたラウドスピーカシステム
Guldenschuh et al. Transaural stereo in a beamforming approach
Brännmark et al. Controlling the impulse responses and the spatial variability in digital loudspeaker-room correction.
Rettberg et al. Practical aspects of the calibration of spherical microphone arrays
EP4278617A1 (en) Low frequency automatically calibrating sound system
Gan et al. Assisted Listening for Headphones and Hearing Aids

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant