KR101910679B1 - 마이크로폰 어레이를 위한 잡음 적응형 빔 형성 기법 - Google Patents
마이크로폰 어레이를 위한 잡음 적응형 빔 형성 기법 Download PDFInfo
- Publication number
- KR101910679B1 KR101910679B1 KR1020137023310A KR20137023310A KR101910679B1 KR 101910679 B1 KR101910679 B1 KR 101910679B1 KR 1020137023310 A KR1020137023310 A KR 1020137023310A KR 20137023310 A KR20137023310 A KR 20137023310A KR 101910679 B1 KR101910679 B1 KR 101910679B1
- Authority
- KR
- South Korea
- Prior art keywords
- noise
- channel
- signal
- data
- channels
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title abstract description 13
- 238000003491 array Methods 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 45
- 230000008859 change Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 101000893549 Homo sapiens Growth/differentiation factor 15 Proteins 0.000 description 3
- 101000692878 Homo sapiens Regulator of MON1-CCZ1 complex Proteins 0.000 description 3
- 102100026436 Regulator of MON1-CCZ1 complex Human genes 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02168—Noise filtering characterised by the method used for estimating noise the estimation exclusively taking place during speech pauses
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
본 개시내용은, 실제 신호가 존재하지 않는 경우(예를 들면, 무음성 상태)에서 측정되는 잡음 에너지 플로어 레벨에 기초하여, 마이크로폰 어레이 채널을 동적으로 선택하는 잡음 적응형 빔 형성기에 관한 것이다. 음성(또는 유사한 바람직한 신호)이 검출되는 경우에, 빔 형성기는 신호 처리에 사용하기 위해, 예를 들면, 최소 잡음 채널의 마이크로폰 신호를 선택한다. 복수의 채널이 선택될 수도 있으며, 그 경우 이들의 신호는 합성된다. 빔 형성기는 실제 신호가 더 이상 검출되지 않으면 잡음 측정 단계로 돌아가서 각 마이크로폰 기반으로 마이크로폰 하드웨어 차이, 변화하는 잡음원 및 개별적인 마이크로폰 저하를 고려하는 것을 포함하여, 빔 형성기가 잡음 레벨의 변화에 따라 동적으로 적응되도록 한다.
Description
마이크로폰 어레이는 다수의 센서로부터 신호를 캡쳐하고 이 신호를 신호-대-잡음 비를 개선하도록 처리한다. 종래의 빔 형성(beamforming)에서, 일반적인 접근법은 모든 센서(채널)로부터의 신호를 합성하는 것이다. 빔 형성의 전형적인 용법 중 하나는 음성 인식에 사용하기 위해 음성 인식기에 합성된 신호를 제공하는 것이다.
그러나 실제로, 이러한 접근법에 의할 경우 전체 성능이 실질적으로 저하될 수 있고, 때로는 단일 마이크로폰보다 못한 성능이 나타날 수 있다. 부분적으로 이는 마이크로폰 간의 개별적인 하드웨어 차이 때문이며, 이로 인해 상이한 마이크로폰이 상이한 종류 및 상이한 양의 잡음을 수집하는 결과를 초래할 수 있다. 다른 요인은 잡음원이 동적으로 변할 수 있다는 것이다. 게다가, 상이한 마이크로폰들이 상이하게 열화되어, 다시금 성능 저하로 이어지게 된다.
본 요약은 아래의 상세한 설명에서 상술하는 대표적인 개념을 선별하여 간략한 형태로 소개하기 위해 제공된다. 본 요약은 청구된 발명의 대상의 요부를 특정하려는 것이 아니며, 어떠한 방식으로든 청구된 발명의 대상의 범위를 제한하는 데 이용하고자 하는 것도 아니다.
개략적으로, 본 명세서에 기술되는 발명의 대상의 다양한 측면은, 적응형 빔 형성기(beamformer)/선택기가 각각의 채널에 대해 결정된 잡음 플로어 데이터(noise floor data)에 기초하여 마이크로폰 어레이의 어느 채널/마이크로폰을 사용할지를 선택하는 데 이용하는 기술에 관한 것이다. 일 실시예에서, 실제 신호가 없는(예, 무음) 시간 동안 에너지 레벨이 획득되고, 실제 신호가 존재하면 채널 선택기가 잡음 플로어 데이터에 기초하여 어느 채널(들)이 신호 처리에서 사용될지를 선택한다. 잡음 플로어 데이터는 반복적으로 측정되고, 이로써 적응형 빔 형성기가 시간에 대한 잡음 플로어 데이터의 변화에 동적으로 적응한다.
일 실시예에서, 채널 선택기는 신호 처리(예, 음성 인식)에서의 사용을 위해 소정 시간에 하나의 신호 채널을 선택하고, 다른 채널의 신호를 폐기한다. 다른 구현에서, 채널 선택기는 하나 이상의 채널을 선택하고, 둘 이상이 선택되는 경우에 각각의 선택된 채널로부터의 신호는 신호 처리에 사용하기 위해 합성된다.
한편, 분류기(classifier)는 잡음 플로어 데이터가 잡음 측정 단계(noise measurment phase)에서 획득되는 시점 및 선택 단계에서 선택이 이루어지는 시점을 결정한다. 분류기는 에너지 레벨의 검출된 변화에 기초할 수 있다.
다른 효과는 도면과 함께 이하의 상세한 설명에 의해 명확해질 것이다.
본 발명은 동일한 예시에 의해 설명되며, 첨부된 도면(도면에서 동일한 참조 번호가 유사한 요소를 나타냄)에 한정되지 않는다.
도 1은 마이크로폰 어레이에 대한 잡음 적응형 빔 형성기/선택기에 대한 예시적인 컴포넌트를 나타내는 블록도이다.
도 2는 예시적인 8채널 마이크로폰 어레이의 마이크로폰들에 대한 잡음 대 음성 신호를 나타낸다.
도 3은 마이크로폰 어레이의 입력 채널에 의해 잡음 에너지 플로어를 추정하는 메커니즘을 나타내는 블록도이다.
도 4는 신호를 음성 인식기에 적응적으로 제공하기 위해 잡음 적응형 빔 형성기/선택기에 의해 잡음-기반 채널 선택이 사용되는 방식을 나타내는 블록도이다.
도 5는 잡음 측정 단계 및 채널 선택 단계의 예시적인 단계들을 나타내는 흐름도이다.
도 6은 예시적인 비-제한적 컴퓨팅 시스템 또는 본 명세서에 기술된 다양한 실시예의 하나 이상의 측면이 구현될 수 있는 운영 환경을 나타내는 블록도이다.
도 1은 마이크로폰 어레이에 대한 잡음 적응형 빔 형성기/선택기에 대한 예시적인 컴포넌트를 나타내는 블록도이다.
도 2는 예시적인 8채널 마이크로폰 어레이의 마이크로폰들에 대한 잡음 대 음성 신호를 나타낸다.
도 3은 마이크로폰 어레이의 입력 채널에 의해 잡음 에너지 플로어를 추정하는 메커니즘을 나타내는 블록도이다.
도 4는 신호를 음성 인식기에 적응적으로 제공하기 위해 잡음 적응형 빔 형성기/선택기에 의해 잡음-기반 채널 선택이 사용되는 방식을 나타내는 블록도이다.
도 5는 잡음 측정 단계 및 채널 선택 단계의 예시적인 단계들을 나타내는 흐름도이다.
도 6은 예시적인 비-제한적 컴퓨팅 시스템 또는 본 명세서에 기술된 다양한 실시예의 하나 이상의 측면이 구현될 수 있는 운영 환경을 나타내는 블록도이다.
본 명세서에 설명된 기술의 다양한 측면은, 일반적으로 잡음 신호를 사용하지 않는 것에 의해, 성능을 감소시키는 마이크로폰 신호를 폐기하는 것에 관한 것이다. 본 명세서에 기술된 잡음 적응형 빔 형성 기술은 잡음원인 마이크로폰 열화 및/또는 가능한 기타 요인을 동적으로 변경함으로써 마이크로폰 하드웨어의 차이로 인해 발생하는 역효과의 최소화를 시도하여, 예를 들면 초기 및 하드웨어가 열화되는 일정 기간 동안 음성 인식에 유리한 신호를 생성한다.
본 명세서의 임의의 예시는 비-한정적이라는 것을 이해하여야 한다. 일 예로, 음성 인식은 본 명세서에 설명된 기술에 대한 하나의 유용한 응용예이나, 임의의 음향 처리 응용예(예를 들면, 방향성 증폭 및/또는 잡음 억제)가 마찬가지로 효과적일 수 있다. 이와 같이, 본 발명은 임의의 특정한 실시예, 측면, 개념, 구조, 기능성 또는 본 명세서에 설명된 예시에 한정되지 않는다. 오히려, 실시예, 측면, 개념, 구조, 기능성 또는 본 명세서에 설명된 예시는 비-한정적이며, 본 발명은 일반적으로 음향 처리 및/또는 음성 인식에서 효과 및 이점을 제공하는 다양한 방식으로 사용될 수 있다.
도 1은 하나의 예시적인 잡음 적응형 빔 형성 실시예의 컴포넌트를 도시한다. 마이크로폰 어레이 채널(1021-102N)에 대응하는 복수의 마이크로폰은 각각 선택 및/또는 빔 형성을 위한 신호를 제공하고, 적어도 두 개(현실적으로 가능한 개수까지)의 이러한 마이크로폰이 주어진 어레이 실시예에 존재할 수 있다는 것으로 이해된다.
또한, 어레이의 마이크로폰은 대칭적으로 배열될 필요는 없고, 실제로 일 실시예에서, 마이크로폰은 다양한 이유로 비대칭적으로 배열된다. 본 명세서에 설명된 기술의 일 응용예는 모바일 로봇에서의 사용을 위한 것이며, 모바일 로봇은 자체적으로 이리저리 이동할 수 있으며 이에 따라 사람으로부터의 음성을 대기하는 동안 상이한 잡음원에 동적으로 노출될 수 있다.
도 1에 에너지 검출기(1041-104N)에 의해 표현된 것과 같이, 본 명세서에 설명된 잡음 적응형 빔 형성 기술은, 실제 신호가 없는 경우(즉, 잡음만 있는 경우)를 포함하여, 각각의 마이크로폰의 잡음 에너지 레벨을 모니터한다. 도 2는 예시적인 8채널 마이크로폰 어레이의 이러한 에너지 레벨의 표현이며, 여기서 박스(221)는 어레이의 "MIC1"에 대한 "실제 신호 없음(no actual signal)" 상태를 나타낸다. 초기에는 진정한 입력 신호가 존재하지 않고, 이로써 마이크로폰의 출력은 감지된 잡음뿐이다. 도 2의 박스(221)(다른 박스와 마찬가지로)는 정확한 샘플링 프레임 또는 프레임 세트를 나타내기 위한 것이 아니라는 것에 주의한다(전형적인 샘플링 레이트는 예를 들면 16K 프레임/초임).
신호가 존재하는 경우에, 박스(222)에 의해 도 2에 나타낸 것과 같이, 에너지가 증가하고, 에너지 검출기(1041-104N)는 채널당 증가를 나타내는 추정치(estimate)를 제공한다. 잡음/음성 분류기(1061-106N)는 신호가 잡음인지 음성인지 여부를 (예를 들면, 트레이닝된 델타 에너지 레벨 또는 임계 에너지 레벨에 기초하여) 결정하는데 사용될 수 있고, 이러한 정보를 채널 선택기(108)에 공급한다. 각각의 분류기는 자신의 정규화(normalization), 필터링, 평활화(smoothing) 및/또는 결정을 하기 위한 여타 다른 기법(예컨대, 에너지가 일정한 수의 프레임에 대해 증가 상태를 유지할 필요가 있을 수 있는지 그렇지 않으면 음성으로 간주될 음성 패턴과 일치하는지를 판단하여, 발생할 수 있는 짧은 잡음 에너지 스파이크 등이 음성으로 간주되지 않도록 이를 제거함)을 포함할 수 있다는 것에 주의한다. 또한, 모든 채널에 대해 단일한 잡음-또는-음성 분류기를 가질 수 있다는 것에 주의한다(예를 들면, (선택을 위해 이들을 별개로 유지하면서) 분류를 위한 채널 중 하나만을 사용하거나, 분류 목적으로 오디오 채널의 일부 또는 전부를 혼합하는 등).
잡음 레벨에 기초하여, 음성이 검출되는 경우에, 채널 선택기(108)는 마이크로폰이 신호 중 어느 신호(들)가 추가 처리(예를 들면, 음성 처리)를 위해 사용될 것인지 및 어느 신호가 버려질 것인지를 동적으로 결정한다. 도 1의 예에서, 마이크로폰(MIC1)은 신호가 없는 경우에 상대적으로 많은 양의 잡음을 가지나, 마이크로폰(MIC7)은 신호가 없는 경우에 최소량의 잡음을 가진다(박스 227). 따라서, 음성이 발생할 경우에(각각의 채널에 대한 박스(222)에 대응하는 근사 시간(approximate time)), 마이크로폰(MIC7)으로부터의 신호는 사용될 가능성이 높고 마이크로폰(MIC1)으로부터의 신호는 버려질 가능성이 클 것이다.
잡음 적응형 빔 형성의 일 실시예에서, 최소 잡음 신호에 대응하는 채널만 선택되는데(예를 들면, 도 2의 마이크로폰(MIC7)만으로부터의 채널), 왜냐하면 이의 잡음 플로어(noise floor)는 신호가 없는 경우에 다른 마이크로폰의 잡음 플로어보다 낮기 때문이다. 선택적인 실시예에서, 채널 선택기(108)는 다중 채널로부터의 신호를 선택할 수 있으며, 이후에 이 신호는 출력을 위한 합성 신호로 합성된다. 예를 들어, 두 개의 최소 잡음 채널이 선택되고 합성될 수 있다. 임계 에너지 레벨 또는 상대적인 에너지 레벨 데이터는, 그 다음 최소값이 너무 잡음이 많거나 상대적으로 잡음이 심한 경우 등에 최소 잡음 채널 이상의 채널을 선택하지 않도록 고려될 수 있다. 다른 선택예로서, 각각의 채널에는 그 채널의 잡음 및 가중된 합성치를 사용하여 합성되는 잡음과 반비례하는(임의의 적합한 수학적 방식으로 도출된) 가중치가 주어질 수 있다.
이러한 방식으로, 잡음 마이크로폰이 보다 높은 잡음 레벨을 가지기 때문에 이들의 신호가 사용되지 않으므로, 잡음 플로어 추적의 사용은 잡음 마이크로폰의 악영향을 자동으로 제거(또는 실질적으로 감소)한다. 또한, 이러한 접근법은 예를 들면 텔레비전 스피커에 인접하는 등의 주어진 상황에서 잡음원에 더 가까운 마이크로폰의 영향을 제거한다. 유사하게, 마이크로폰 하드웨어가 낡거나 또는 손상될 경우(일부 마이크로폰은 기능이 열화되고 규칙적으로 높은 레벨의 잡음을 생성함), 잡음 적응형 빔 형성기는 자동으로 이러한 마이크로폰의 영향을 제거한다.
도 3은 예를 들면 채널 중 하나에 대한 에너지 검출기에서의 사용을 위한 예시적인 잡음 에너지 플로어 추정기 메커니즘(330)을 나타내는 블록도이다. 주어진 마이크로폰 X에 대해 입력되는 오디오 샘플(332)은 신호에서 임의의 DC 성분을 제거하기 위해 필터링되고(블록 334), 이어서 알려져 있는 해밍 윈도우 함수(336, hamming window function)(또는 기타 유사한 함수)에 의해 처리(예컨대, 평활화)된 후에 그 결과가 FFT(fast Fourier transform, 고속 푸리에 변환)에 입력된다. FFT 출력에 기초하여, 잡음 에너지 플로어 추정기(340)는 일반적으로 알려진 방식으로 잡음 에너지 데이터(342)(예컨대, 대표 값)를 계산한다.
도 4에 나타낸 바와 같이, 각각의 채널에 대한 잡음 에너지 데이터(442)가 채널 선택기(108)로 공급된다. 각각의 마이크로폰으로부터의 잡음 에너지 레벨 추정을 나타내는 데이터(442)에 따라, 오디오 샘플(4441-444N)에 대응하는 음성이 검출되는 경우에, 분류 데이터(446)에 의해 표현된 대로, 채널 선택기(108)가 각각의 마이크로폰으로부터의 신호를 사용할지 말지 여부를 결정한다. 채널 선택기(108)는 선택된 신호를 음성 인식기(450)로 공급하기 위해 선택된 오디오 채널 데이터(448)로서 출력한다. 블록(452)에 의해 표현된 대로, 채널 선택기(108)가 하나 이상의 채널을 선택하도록 구성되고 그러한 선택을 하는 경우에, 다중 채널로부터의 신호가 다양한 방법 중 임의의 방법을 사용하여 합성될 수 있다.
도 5는 채널 선택 및 사용과 관련된 다양한 예시적인 동작을 요약하며, 이러한 동작은 현재 입력이 잡음인지 음성인지 여부에 대해 분류가 이루어지는 단계(502)에서 시작한다. 잡음인 경우에, 단계(504)는 채널을 선택하고, 단계(506)는 전술한 바와 같이, 그 채널에 대한 잡음 에너지 플로어를 결정한다. 단계(508)는 이러한 채널에 대한 잡음 데이터를 계산하는 것(예를 들면, 채널 선택기에 의해 예측되는 잡음 데이터를 제공하기 위해 소정 개수의 프레임에 대해 평균 에너지 레벨을 계산하는 것, 라운딩을 수행하는 것, 정규화하는 것 등)을 나타낸다. 단계(510)는 잡음 데이터를 그 채널(예를 들면 그 채널의 식별자)과 연관시킨다.
단계(512)는 서로의 채널에 대해 단계(504-510)의 잡음 측정 단계 처리를 반복한다. 각각의 채널에 대한 잡음 데이터가 채널 식별자(channel identity)와 연관되는 경우에, 프로세스는 전술한 바와 같이 단계(502)로 돌아간다.
소정의 후속 시간에 음성이 검출되고, 이로써 단계(502)는 단계(514)로 분기하여 추가 처리 시의 사용을 위해 최소 잡음 레벨 플로어를 나타내는 연관 데이터를 가진 채널(또는 복수의 채널)을 선택하는 선택 단계로 전환한다. 하나 이상의 채널이 단계(514)에서 선택되는 경우에, 단계(516)는 각각의 채널로부터의 신호를 합성한다. 단계(518)는 단계(502)로 돌아가기 전에, 추가 처리(예, 음성 인식) 시에 사용하기 위해 선택된 채널 또는 결합된 채널의 신호를 출력한다.
도 5에는 단계(520)에 선택적 지연이 도시되어 있는데, 이는 음성이 검출된 후에 잡음을 측정하는 단계로 다시 스위칭하기 전의 지연을 갖는 것에 사용될 수 있다. 음성 인식기가 음성 및 잡음 모두를 포함하는 입력을 지속적으로 수신하는 동안, 짧은 휴지 중에 마이크로폰을 스위칭하는 것은 인식 정확도를 감소시키는 결과로 이어질 수 있다. 예를 들어, 짧은 휴지 중에 화자(speaker)의 들숨 또는 기타 자연 잡음이 최상의 잡음 결과를 내는 마이크로폰에 의해 잡음으로 검출될 수 있는데, 이러한 마이크로폰으로부터 다른 쪽으로 스위칭하게 되면 더 잡음이 심한 다른 마이크로폰으로부터 음성 입력이 되는 결과를 야기할 수 있다. 따라서, 지연을 갖는 것에 의해, 짧은 휴지 중에 잡음 측정으로 다시 스위칭하는 대신 화자에게 발언을 재개할 기회를 부여한다. 지연을 갖는 것에 대한 대안(또는 부가사항)으로서, 채널 선택 작업은 이러한 임의의 급속한 마이크로폰 변경 등을 방지하기 위해 평활화, 평균화(averaging) 등의 기능을 포함할 수 있다. 예를 들어, 어떤 마이크로폰이 다른 마이크로폰에 비해 저 잡음을 가짐으로써 한동안 해당 마이크로폰의 신호가 선택되는 경우에, 잡음 플로어 에너지가 갑작스럽게 변하더라도 순간의 경미한 오류(glitch) 등으로 인해 다른 마이크로폰으로 스위칭하지 않도록 무시된다.
이상, 어느 마이크로폰을 빔 형성에 사용할 것인지를 결정하기 위해 잡음 플로어 레벨을 사용하는 잡음 적응형 빔 형성 기술을 설명하였다. 잡음 적응형 빔 형성 기술은 이러한 정보를 동적으로 업데이트하여, (전통적인 빔 형성기법과 대조적으로) 변화하는 환경에 동적으로 적응되도록 한다.
예시적인 컴퓨팅 장치
전술한 바와 같이, 본 명세서에 설명된 기술은 효과적으로 임의의 장치에 적용될 수 있다. 따라서, 핸드헬드, 휴대용 및 기타 컴퓨팅 장치 및 로봇을 포함하는 모든 종류의 컴퓨팅 개체가 다양한 실시예와 관련된 용도로서 고려된다. 따라서, 이하에서 도 6 아래에 설명된 범용 원격 컴퓨터는 컴퓨팅 장치의 일 예일 뿐이다.
장치 또는 개체를 위한 서비스의 개발자에 의해, 및/또는 본 명세서에 설명된 다양한 실시예의 하나 이상의 기능적 측면을 수행하도록 동작하는 애플리케이션 소프트웨어 내에 포함되어, 운영 체제를 통한 실시예가 부분적으로 구현될 수 있다. 소프트웨어는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어라는 일반적인 맥락에서 기술되며, 클라이언트 워크스테이션, 서버 또는 기타 장치와 같은 하나 이상의 컴퓨터에 의해 실행된다. 본 발명이 속하는 분야의 기술자는 컴퓨터 시스템이 다양한 구성 및 데이터를 통신하는 데 사용될 수 있는 프로토콜을 가질 수 있기 때문에 특정한 구성 또는 프로토콜에 한정되는 것이 아니라는 것을 이해할 것이다.
따라서, 도 6은 본 명세서에 설명된 실시예 중 하나 또는 복수의 측면들이 구현될 수 있는 적합한 컴퓨팅 시스템 환경(600)의 예를 도시하나, 위에서 명확히 언급한 바와 같이, 컴퓨팅 시스템 환경(600)은 적합한 컴퓨팅 환경의 일 예일 뿐이며, 용도 또는 기능성의 범위에 어떠한 제한을 두려는 것이 아니다. 또한, 컴퓨팅 시스템 환경(600)은 예시적인 컴퓨팅 시스템 환경(600)에 설명된 컴포넌트 중 임의의 하나 또는 이들의 조합과 관련된 종속성을 가지는 것으로 해석되는 것을 의도하지 않는다.
도 6을 참조하면, 하나 이상의 실시예를 구현하는 예시적인 원격 장치는 컴퓨터(610)의 형태인 범용 컴퓨팅 장치를 포함한다. 컴퓨터(610)의 컴포넌트는 프로세싱 유닛(620), 시스템 메모리(630) 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 프로세싱 유닛(620)에 연결하는 시스템 버스(622)를 포함하나 이에 한정되는 것은 아니다.
컴퓨터(610)는 전형적으로 다양한 컴퓨터 판독가능 매체를 포함하며 전형적으로 컴퓨터(610)에 의해 액세스될 수 있는 임의의 가용 매체일 수 있다. 시스템 메모리(630)는 휘발성 및/또는 비휘발성 메모리(가령, 리드 온리 메모리(ROM) 및/또는 랜덤 액세스 메모리(RAM)) 형태의 컴퓨터 저장 매체를 포함할 수 있다. 예로써(한정은 아님), 시스템 메모리(630)는 또한 운영 체제, 애플리케이션 프로그램, 기타 프로그램 모듈 및 프로그램 데이터를 포함할 수 있다.
사용자는 입력 장치(640)를 통해 컴퓨터(610)로 명령 및 정보를 입력할 수 있다. 또한, 모니터 또는 다른 유형의 디스플레이 장치가 인터페이스(예, 출력 인터페이스(650))를 통해 시스템 버스(622)에 연결된다. 모니터와 더불어, 컴퓨터는 또한 스피커 및 프린터와 같은 다른 병렬 출력 장치를 포함할 수 있으며, 이는 출력 인터페이스(650)를 통해 연결될 수 있다.
컴퓨터(610)는 원격 컴퓨터(670)와 같은 하나 이상의 다른 원격 컴퓨터에 대한 로직 연결을 통해 네트워킹되거나 분산된 환경에서 작동할 수 있다. 원격 컴퓨터(670)는 개인 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타 공통 네트워크 노드, 또는 임의의 다른 원격 매체 소비 또는 전송 장치일 수 있으며, 컴퓨터(610)에 관하여 전술한 요소 중 임의의 또는 모든 요소를 포함할 수 있다. 도 6에 나타낸 로직 연결은 네트워크(672)(예, 로컬 영역 네트워크(LAN) 또는 광역 네트워크(WAN))를 포함하고, 또한 다른 네트워크/버스를 포함할 수 있다. 이러한 네트워킹 환경은 가정, 사무실, 회사-범위의 컴퓨터 네트워크, 인트라넷 및 인터넷에서 흔히 볼 수 있다.
전술한 바와 같이, 예시적인 실시예가 다양한 컴퓨팅 장치 및 네트워크 아키텍쳐와 함께 설명되었으나, 이하의 개념은 임의의 네트워크 시스템 및 자원 사용의 효율 개선이 요구되는 임의의 컴퓨팅 장치 또는 시스템에 적용될 수 있다.
또한, 본 명세서에 제공된 기술을 이용하기 위한 애플리케이션 및 서비스를 가능하게 하는 동일하거나 유사한 기능(예, 적합한 API, 툴 킷, 드라이버 코드, 운영 체제, 컨트롤, 단독 또는 다운로드가능한 소프트웨어 객체 등)을 구현하는 여러 방식이 존재한다. 따라서, 본 명세서의 실시예는 API(또는 기타 소프트웨어 객체)의 관점뿐 아니라, 본 명세서에 설명된 하나 이상의 실시예를 구현하는 소프트웨어 또는 하드웨어 객체의 관점에서 고려될 수 있다. 따라서, 본 명세서에 설명된 다양한 실시예는 소프트웨어뿐 아니라, 전적으로 하드웨어적인 측면, 부분적으로 하드웨어와 소프트웨어적인 측면을 모두 포함한다.
본 명세서에서 "예시적"이라는 단어는 예, 사례, 실례를 의미한다. 혼선을 피하기 위해, 본 명세서에 개시된 발명의 대상은 이러한 예에 의해 한정되지 않는다. 또한, 본 명세서에 "예시적"이라고 기술된 임의의 측면 또는 디자인은 다른 측면 또는 디자인에 비해 바람직하거나 효과적으로 구성될 필요는 없으며, 또한 본 발명에 속하는 분야의 기술자에게 알려진 등가의 예시적인 구조 및 기술을 배제하고자 하는 것이 아니다. 나아가, "포함하다", "구비하다", "함유하다" 및 기타 유사한 단어와 같은 용어가 사용된다는 점에서, 혼선을 피하기 위해, 이러한 용어는 청구항에서 사용되는 경우에 임의의 추가적인 또는 다른 구성 요소를 배제하지 않는 개방형 연결어(open transition word)로서 "포함하다"라는 용어와 유사하게 포괄적인 의미로 쓰였다.
전술한 바와 같이, 본 명세서에 설명된 다양한 기술이 하드웨어 또는 소프트웨어(적합한 경우에는 하드웨어와 소프트웨어의 조합)에 관하여 구현될 수 있다. 본 명세서에 사용된 것과 같이, "컴포넌트", "모듈", "시스템" 등의 용어는 마찬가지로 컴퓨터-관련 엔티티(하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행 중의 소프트웨어 중 어느 하나)를 지칭한다. 예를 들어, 컴포넌트는 프로세서에서 실행 중인 프로세스, 프로세서, 객체, 실행가능한 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있으나, 이에 한정되는 것은 아니다. 예시로서, 컴퓨터에서 동작하는 애플리케이션 및 컴퓨터 모두가 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 실행의 프로세스 및/또는 스레드 내에 있을 수 있고, 컴포넌트는 하나의 컴퓨터에 국한될 수 있으며 및/또는 둘 이상의 컴퓨터 사이에 분산될 수 있다.
전술한 시스템은 수 개의 컴포넌트 사이의 상호작용에 관하여 설명되었다. 이러한 시스템 및 컴포넌트는 그러한 컴포넌트 또는 특정 서브-컴포넌트, 특정 컴포넌트나 서브-컴포넌트의 일부 및/또는 추가 컴포넌트 및 이들의 다양한 변경 및 이들의 조합을 포함할 수 있다는 것을 이해할 수 있다. 또한, 서브-컴포넌트는 상위 컴포넌트(계층적) 내에 포함되기보다는 다른 컴포넌트에 통신가능하게 연결되는 컴포넌트로서 구현될 수 있다. 추가로, 하나 이상의 컴포넌트가 집합 기능을 제공하는 단일 컴포넌트로 결합될 수 있거나 수 개의 분리된 서브-컴포넌트로 분할될 수 있고, 임의의 하나 이상의 중간 층(예를 들면, 관리 층)이 통합된 기능을 제공하기 위해 이러한 서브-컴포넌트에 통신가능하게 연결되도록 제공될 수 있다. 본 명세서에 설명된 임의의 컴포넌트는 또한 본 명세서에 구체적으로 기술되지 않았으나 본 발명이 속하는 분야의 기술자에게 일반적으로 알려진 하나 이상의 다른 컴포넌트와 상호작용할 수 있다.
본 명세서에 설명된 예시적인 시스템을 고려할 때, 설명된 발명의 대상에 따라 구현될 수 있는 방법론은 또한 다양한 도면의 흐름도를 참조하여 이해될 수 있다. 설명을 간단히 할 목적으로, 방법론이 일련의 블록으로 도시되고 설명되었으나, 다양한 실시예는 일부 블록이 블록의 순서에 의해 제한되지 않는다는 것을 이해할 수 있는데 이는 본 명세서에 설명되고 표현된 것과 상이한 순서로 및/또는 다른 블록과 동시에 실행될 수 있기 때문이다. 흐름도를 통해 플로우(flow)가 비-순차적으로 또는 분기되어 설명되는 경우에, 동일하거나 유사한 결과를 얻는 다양한 다른 분기점(branches), 플로우 경로, 및 블록의 순서가 구현될 수 있다. 나아가, 일부 설명된 블록은 이하에 설명되는 방법론을 구현하는 데에 있어 선택적이다.
결론
본 발명은 다양한 변경 및 선택적인 구성을 허용하나, 소정의 실시예가 도면에 도시되고 상세히 전술되었다. 그러나 본 발명은 개시된 특정한 형식으로 한정되는 것이 아니며 반대로, 모든 변형예, 선택적 구성 및 본 발명의 사상 및 범주 내의 등가물을 포괄한다.
본 명세서에 설명된 다양한 실시예에 더하여, 다른 유사한 실시예가 사용될 수 있고, 또는 대응하는 실시예(들)의 동일하거나 등가인 기능을 수행하기 위해 이들의 범위를 이탈하지 않는 한 설명된 실시예(들)에 대한 변경 및 부가가 이루질 수 있다는 것을 이해할 것이다. 더 나아가, 다수의 프로세싱 칩 또는 다수의 장치가 본 명세서에 설명되는 하나 이상의 기능의 성능을 공유할 수 있으며, 유사하게 저장요소가 복수의 장치에 대해 유효할 수 있다. 따라서, 본 발명은 임의의 단일한 실시예에 한정되는 것이 아니며, 오히려 첨부된 청구항에 따른 범위, 사상 및 범주 내에서 해석될 것이다.
Claims (20)
- 컴퓨팅 환경의 시스템으로서,
채널에 대응하는 복수의 마이크로폰을 포함하는 마이크로폰 어레이 - 상기 채널은 각각 신호를 출력함 - 와,
상기 마이크로폰 어레이에 연결되며, 각 채널에 대한 잡음 플로어 데이터(noise floor data)를 결정하도록 구성되는 메커니즘 - 상기 잡음 플로어 데이터는 잡음 측정 단계 동안 결정되고, 상기 잡음 측정 단계는 상기 채널에 대한 실제 신호가 없는 시간 동안 적어도 부분적으로 발생함 - 과,
상기 각 채널에 대한 상기 잡음 플로어 데이터에 기초하여 신호 처리에 사용할 채널을 선택하도록 구성되는 채널 선택기 - 상기 채널 선택기는 상기 잡음 플로어 데이터의 변화에 동적으로 적응됨 - 와,
상기 잡음 플로어 데이터 획득 시점을 결정하도록 구성되는 분류기
를 포함하는 시스템.
- 제1항에 있어서,
상기 채널 선택기는 상기 신호 처리에 사용하기 위해 소정 시간에 단일 채널을 선택하고, 상기 소정 시간 동안에는 다른 채널로부터의 신호를 폐기하는
시스템.
- 제1항에 있어서,
상기 채널 선택기는 상기 신호 처리에 사용하기 위해 소정 시간에 하나 이상의 채널을 선택하고,
상기 시스템은 둘 이상의 채널이 선택되는 경우에 선택된 각 채널로부터의 신호를 합성하도록 구성되는 메커니즘을 더 포함하는
시스템.
- 제1항에 있어서,
상기 분류기는 상기 채널의 하나 이상의 입력 신호에 기초하여, 상기 입력 신호가 잡음에 대응하는지 또는 신호 처리를 위한 신호에 대응하는지를 분류하도록 더 구성되는
시스템.
- 제1항에 있어서,
상기 신호 처리는 음성 인식인
시스템.
- 제1항에 있어서,
각 채널에 대한 잡음 플로어 데이터를 결정하는 상기 메커니즘은 에너지 검출기를 포함하는
시스템.
- 제6항에 있어서,
상기 에너지 검출기는 DC 필터를 포함하는
시스템.
- 제6항에 있어서,
상기 에너지 검출기는 평활화 기능을 포함하는
시스템.
- 제6항에 있어서,
상기 에너지 검출기는 상기 잡음 플로어 데이터를 추정하는 데 사용하기 위한 고속 푸리에 변환을 포함하는
시스템.
- 제1항에 있어서,
상기 마이크로폰 어레이는 로봇에 연결되는
시스템.
- 컴퓨팅 환경에서, 적어도 하나의 프로세서에서 적어도 부분적으로 수행되는 방법으로서,
(a) 잡음 측정단계(noise measurement phase) 동안 잡음 데이터를 결정하는 단계 - 상기 잡음 데이터는 마이크로폰 어레이의 마이크로폰에 대응하는 복수의 채널 각각에 대한 잡음 데이터를 포함하고, 상기 잡음 측정 단계는 상기 복수의 채널에 대한 실제 신호가 없는 시간 동안 적어도 부분적으로 발생함 - 와,
(b) 상기 잡음 데이터를 사용하여 잡음 측정 단계에 후속하는 신호 처리를 위해 사용할 채널을 선택하는 단계와,
(c) (a) 단계로 돌아가 잡음 데이터의 시간에 따른 변화에 따라 채널 선택을 동적으로 적응시키는 단계
를 포함하는 방법.
- 제11항에 있어서,
상기 잡음 데이터를 결정하는 단계는 각 채널에 대한 에너지 레벨에 대응하는 데이터를 계산하는 단계를 포함하는
방법.
- 제11항에 있어서,
(a) 단계에서 (b) 단계로의 진행 시점의 결정 및 (b) 단계에서 (c) 단계로의 진행 시점의 결정에 사용하기 위해, 상기 채널의 하나 이상의 입력 신호에 기초하여, 상기 입력 신호가 잡음에 대응하는지 또는 신호 처리를 위한 신호에 대응하는지 여부를 분류하는 단계를 더 포함하는
방법.
- 제11항에 있어서,
상기 신호 처리는 음성 인식이고,
상기 방법은 음성 인식에 의한 사용을 위해 선택된 채널에 대응하는 신호를 출력하는 단계를 더 포함하는
방법.
- 제11항에 있어서,
상기 잡음 데이터를 사용하여 채널을 선택하는 단계는 상기 채널에 대한 상기 잡음 데이터에 기초하여 단일 채널만을 선택하는 단계를 포함하는
방법.
- 제11항에 있어서,
상기 잡음 데이터를 사용하여 채널을 선택하는 단계는 상기 채널의 상기 잡음 데이터에 기초하여 복수의 채널을 선택하는 단계를 포함하고,
상기 방법은 상기 선택된 복수의 채널에 대응하는 복수의 신호를 상기 신호 처리를 위해 사용되는 합성 신호로 합성하는 단계를 더 포함하는
방법.
- 제11항에 있어서,
(a) 단계로 돌아가기 전에 지연시키도록 하는 단계를 더 포함하는
방법.
- 실행 시에 방법을 수행하는 컴퓨터-실행가능 명령어를 저장한 하나 이상의 컴퓨터 저장 장치로서,
상기 방법은
(a) 잡음 측정 단계 동안 잡음 데이터를 결정하는 단계 - 상기 결정하는 단계는 마이크로폰 어레이의 마이크로폰에 대응하는 복수의 채널 각각에 대한 잡음 플로어 에너지 레벨(noise floor energy level)을 얻는 단계를 포함하고, 상기 잡음 측정 단계는 적어도 부분적으로, 상기 복수의 채널에 대한 실제 신호가 없는 시간 동안 발생함 - 와,
(b) 음성을 검출하고, 상기 잡음 데이터를 사용하여 음성 인식을 위해 사용할 채널을 선택하는 선택 단계(selection phase)로 진행하는 단계와,
(c) 음성 인식에 사용하기 위해 상기 선택된 채널에 대응하는 신호를 출력하는 단계와,
(d) (a) 단계로 돌아가 잡음 데이터의 시간에 따른 변화에 따라 채널 선택을 동적으로 적응시키는 단계를 포함하는
컴퓨터 저장 장치.
- 제18항에 있어서,
상기 음성을 검출하는 것은 상기 잡음 플로어 에너지 레벨로부터 변화를 검출하는 것을 포함하는
컴퓨터 저장 장치.
- 제18항에 있어서,
(b) 단계에서 선택된 채널은 복수 개이고,
상기 방법은 (c) 단계에서의 출력을 위해 상기 선택된 채널로부터의 신호를 합성 신호로 합성하는 단계를 더 포함하는
컴퓨터 저장 장치.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/039,576 | 2011-03-03 | ||
US13/039,576 US8929564B2 (en) | 2011-03-03 | 2011-03-03 | Noise adaptive beamforming for microphone arrays |
PCT/US2012/027540 WO2012119100A2 (en) | 2011-03-03 | 2012-03-02 | Noise adaptive beamforming for microphone arrays |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140046405A KR20140046405A (ko) | 2014-04-18 |
KR101910679B1 true KR101910679B1 (ko) | 2018-10-22 |
Family
ID=46753312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020137023310A KR101910679B1 (ko) | 2011-03-03 | 2012-03-02 | 마이크로폰 어레이를 위한 잡음 적응형 빔 형성 기법 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8929564B2 (ko) |
EP (1) | EP2681735A4 (ko) |
JP (1) | JP6203643B2 (ko) |
KR (1) | KR101910679B1 (ko) |
CN (1) | CN102708874A (ko) |
WO (1) | WO2012119100A2 (ko) |
Families Citing this family (119)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2494204B (en) * | 2011-09-05 | 2017-05-24 | Roke Manor Research | Method and apparatus for signal detection |
US20130329908A1 (en) * | 2012-06-08 | 2013-12-12 | Apple Inc. | Adjusting audio beamforming settings based on system state |
US9076450B1 (en) * | 2012-09-21 | 2015-07-07 | Amazon Technologies, Inc. | Directed audio for speech recognition |
CN103019437A (zh) * | 2012-10-29 | 2013-04-03 | 苏州大学 | 一种触摸式电子白板 |
US9813262B2 (en) | 2012-12-03 | 2017-11-07 | Google Technology Holdings LLC | Method and apparatus for selectively transmitting data using spatial diversity |
US9591508B2 (en) | 2012-12-20 | 2017-03-07 | Google Technology Holdings LLC | Methods and apparatus for transmitting data between different peer-to-peer communication groups |
US9979531B2 (en) | 2013-01-03 | 2018-05-22 | Google Technology Holdings LLC | Method and apparatus for tuning a communication device for multi band operation |
US10229697B2 (en) * | 2013-03-12 | 2019-03-12 | Google Technology Holdings LLC | Apparatus and method for beamforming to obtain voice and noise signals |
CN104424953B (zh) * | 2013-09-11 | 2019-11-01 | 华为技术有限公司 | 语音信号处理方法与装置 |
US9742573B2 (en) * | 2013-10-29 | 2017-08-22 | Cisco Technology, Inc. | Method and apparatus for calibrating multiple microphones |
US9549290B2 (en) | 2013-12-19 | 2017-01-17 | Google Technology Holdings LLC | Method and apparatus for determining direction information for a wireless device |
CN103905958A (zh) * | 2014-04-21 | 2014-07-02 | 杭州百控科技有限公司 | 音频处理装置及方法 |
US9491007B2 (en) | 2014-04-28 | 2016-11-08 | Google Technology Holdings LLC | Apparatus and method for antenna matching |
US9478847B2 (en) | 2014-06-02 | 2016-10-25 | Google Technology Holdings LLC | Antenna system and method of assembly for a wearable electronic device |
US10609475B2 (en) | 2014-12-05 | 2020-03-31 | Stages Llc | Active noise control and customized audio system |
US20160221581A1 (en) * | 2015-01-29 | 2016-08-04 | GM Global Technology Operations LLC | System and method for classifying a road surface |
US9554207B2 (en) | 2015-04-30 | 2017-01-24 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
US9565493B2 (en) | 2015-04-30 | 2017-02-07 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
CN104936091B (zh) * | 2015-05-14 | 2018-06-15 | 讯飞智元信息科技有限公司 | 基于圆形麦克风阵列的智能交互方法及*** |
US9734845B1 (en) * | 2015-06-26 | 2017-08-15 | Amazon Technologies, Inc. | Mitigating effects of electronic audio sources in expression detection |
JP6533134B2 (ja) * | 2015-09-15 | 2019-06-19 | シャープ株式会社 | マイクシステム、音声認識装置、音声処理方法、および音声処理プログラム |
US9701239B2 (en) | 2015-11-04 | 2017-07-11 | Zoox, Inc. | System of configuring active lighting to indicate directionality of an autonomous vehicle |
US9804599B2 (en) | 2015-11-04 | 2017-10-31 | Zoox, Inc. | Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment |
US9878664B2 (en) * | 2015-11-04 | 2018-01-30 | Zoox, Inc. | Method for robotic vehicle communication with an external environment via acoustic beam forming |
CN105427860B (zh) * | 2015-11-11 | 2019-09-03 | 百度在线网络技术(北京)有限公司 | 远场语音识别方法和装置 |
US9811314B2 (en) | 2016-02-22 | 2017-11-07 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US9772817B2 (en) | 2016-02-22 | 2017-09-26 | Sonos, Inc. | Room-corrected voice detection |
CN109076294B (zh) | 2016-03-17 | 2021-10-29 | 索诺瓦公司 | 多讲话者声学网络中的助听*** |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US9818425B1 (en) * | 2016-06-17 | 2017-11-14 | Amazon Technologies, Inc. | Parallel output paths for acoustic echo cancellation |
US10152969B2 (en) | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US9743204B1 (en) | 2016-09-30 | 2017-08-22 | Sonos, Inc. | Multi-orientation playback device microphones |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US10945080B2 (en) * | 2016-11-18 | 2021-03-09 | Stages Llc | Audio analysis and processing system |
US9980075B1 (en) | 2016-11-18 | 2018-05-22 | Stages Llc | Audio source spatialization relative to orientation sensor and output |
EP3542548A1 (en) | 2016-11-21 | 2019-09-25 | Harman Becker Automotive Systems GmbH | Beamsteering |
US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
KR102377356B1 (ko) | 2017-01-27 | 2022-03-21 | 슈어 애쿼지션 홀딩스, 인코포레이티드 | 어레이 마이크로폰 모듈 및 시스템 |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10706868B2 (en) * | 2017-09-06 | 2020-07-07 | Realwear, Inc. | Multi-mode noise cancellation for voice detection |
JP6345327B1 (ja) * | 2017-09-07 | 2018-06-20 | ヤフー株式会社 | 音声抽出装置、音声抽出方法および音声抽出プログラム |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
KR101993991B1 (ko) * | 2017-10-30 | 2019-06-27 | 주식회사 시그널비젼 | 잡음 제거 방법 및 그 장치 |
US10349169B2 (en) * | 2017-10-31 | 2019-07-09 | Bose Corporation | Asymmetric microphone array for speaker system |
US10880650B2 (en) | 2017-12-10 | 2020-12-29 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US10818290B2 (en) | 2017-12-11 | 2020-10-27 | Sonos, Inc. | Home graph |
US10192566B1 (en) * | 2018-01-17 | 2019-01-29 | Sorenson Ip Holdings, Llc | Noise reduction in an audio system |
WO2019152722A1 (en) | 2018-01-31 | 2019-08-08 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10847178B2 (en) | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US10924873B2 (en) * | 2018-05-30 | 2021-02-16 | Signify Holding B.V. | Lighting device with auxiliary microphones |
EP3804356A1 (en) | 2018-06-01 | 2021-04-14 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
WO2020061353A1 (en) | 2018-09-20 | 2020-03-26 | Shure Acquisition Holdings, Inc. | Adjustable lobe shape for array microphones |
US11109133B2 (en) | 2018-09-21 | 2021-08-31 | Shure Acquisition Holdings, Inc. | Array microphone module and system |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US10811015B2 (en) | 2018-09-25 | 2020-10-20 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US10692518B2 (en) * | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
KR102607863B1 (ko) | 2018-12-03 | 2023-12-01 | 삼성전자주식회사 | 음원 분리 장치 및 음원 분리 방법 |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
CN113841419A (zh) | 2019-03-21 | 2021-12-24 | 舒尔获得控股公司 | 天花板阵列麦克风的外壳及相关联设计特征 |
US11438691B2 (en) | 2019-03-21 | 2022-09-06 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
EP3973716A1 (en) | 2019-05-23 | 2022-03-30 | Shure Acquisition Holdings, Inc. | Steerable speaker array, system, and method for the same |
US11302347B2 (en) | 2019-05-31 | 2022-04-12 | Shure Acquisition Holdings, Inc. | Low latency automixer integrated with voice and noise activity detection |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
KR102672618B1 (ko) * | 2019-06-28 | 2024-06-07 | 스냅 인코포레이티드 | 헤드-웨어러블 장치를 사용하여 캡처된 신호들의 신호 대 잡음비를 개선하기 위한 동적 빔포밍 |
EP4000063A4 (en) * | 2019-07-21 | 2023-08-02 | Nuance Hearing Ltd. | LISTENING DEVICE WITH VOICE TRACKING |
US11138969B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
EP4018680A1 (en) | 2019-08-23 | 2022-06-29 | Shure Acquisition Holdings, Inc. | Two-dimensional microphone array with improved directivity |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
US12028678B2 (en) | 2019-11-01 | 2024-07-02 | Shure Acquisition Holdings, Inc. | Proximity microphone |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
CN111091846B (zh) * | 2019-12-26 | 2022-07-26 | 江亨湖 | 一种降噪方法及应用该方法的回声消除*** |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11556307B2 (en) | 2020-01-31 | 2023-01-17 | Sonos, Inc. | Local voice data processing |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
US11200908B2 (en) * | 2020-03-27 | 2021-12-14 | Fortemedia, Inc. | Method and device for improving voice quality |
US11727919B2 (en) | 2020-05-20 | 2023-08-15 | Sonos, Inc. | Memory allocation for keyword spotting engines |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11706562B2 (en) | 2020-05-29 | 2023-07-18 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
CN112242148B (zh) * | 2020-11-12 | 2023-06-16 | 北京声加科技有限公司 | 一种基于头戴式耳机的风噪抑制方法及装置 |
US11290814B1 (en) | 2020-12-15 | 2022-03-29 | Valeo North America, Inc. | Method, apparatus, and computer-readable storage medium for modulating an audio output of a microphone array |
US11551700B2 (en) | 2021-01-25 | 2023-01-10 | Sonos, Inc. | Systems and methods for power-efficient keyword detection |
JP2024505068A (ja) | 2021-01-28 | 2024-02-02 | シュアー アクイジッション ホールディングス インコーポレイテッド | ハイブリッドオーディオビーム形成システム |
CN114220458B (zh) * | 2021-11-16 | 2024-04-05 | 武汉普惠海洋光电技术有限公司 | 基于阵列水听器的声音识别方法和装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4658425A (en) * | 1985-04-19 | 1987-04-14 | Shure Brothers, Inc. | Microphone actuation control system suitable for teleconference systems |
US5625697A (en) * | 1995-05-08 | 1997-04-29 | Lucent Technologies Inc. | Microphone selection process for use in a multiple microphone voice actuated switching system |
US6154552A (en) | 1997-05-15 | 2000-11-28 | Planning Systems Inc. | Hybrid adaptive beamformer |
ATE551826T1 (de) * | 2002-01-18 | 2012-04-15 | Polycom Inc | Digitale verknüpfung von mehrmikrofonsystemen |
JP2003271191A (ja) | 2002-03-15 | 2003-09-25 | Toshiba Corp | 音声認識用雑音抑圧装置及び方法、音声認識装置及び方法並びにプログラム |
KR100446626B1 (ko) | 2002-03-28 | 2004-09-04 | 삼성전자주식회사 | 음성신호에서 잡음을 제거하는 방법 및 장치 |
US7895036B2 (en) * | 2003-02-21 | 2011-02-22 | Qnx Software Systems Co. | System for suppressing wind noise |
US7643641B2 (en) | 2003-05-09 | 2010-01-05 | Nuance Communications, Inc. | System for communication enhancement in a noisy environment |
JP2004343262A (ja) * | 2003-05-13 | 2004-12-02 | Sony Corp | マイクロフォン・スピーカ一体構成型・双方向通話装置 |
KR101149571B1 (ko) | 2004-04-28 | 2012-05-29 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 적응성 빔 형성기, 사이드로브 소거기, 핸즈프리 음성 통신 디바이스 |
JP4671303B2 (ja) | 2005-09-02 | 2011-04-13 | 国立大学法人北陸先端科学技術大学院大学 | マイクロホンアレイ用ポストフィルタ |
US8068619B2 (en) | 2006-05-09 | 2011-11-29 | Fortemedia, Inc. | Method and apparatus for noise suppression in a small array microphone system |
JP2008048281A (ja) * | 2006-08-18 | 2008-02-28 | Sony Corp | ノイズ低減装置、ノイズ低減方法及びノイズ低減プログラム |
US8175291B2 (en) * | 2007-12-19 | 2012-05-08 | Qualcomm Incorporated | Systems, methods, and apparatus for multi-microphone based speech enhancement |
US8411880B2 (en) * | 2008-01-29 | 2013-04-02 | Qualcomm Incorporated | Sound quality by intelligently selecting between signals from a plurality of microphones |
US8374362B2 (en) * | 2008-01-31 | 2013-02-12 | Qualcomm Incorporated | Signaling microphone covering to the user |
US8503694B2 (en) | 2008-06-24 | 2013-08-06 | Microsoft Corporation | Sound capture system for devices with two microphones |
JP2011003944A (ja) * | 2009-06-16 | 2011-01-06 | Seiko Epson Corp | プロジェクターおよび音声出力方法 |
-
2011
- 2011-03-03 US US13/039,576 patent/US8929564B2/en active Active
-
2012
- 2012-03-02 CN CN2012100528780A patent/CN102708874A/zh active Pending
- 2012-03-02 KR KR1020137023310A patent/KR101910679B1/ko active IP Right Grant
- 2012-03-02 EP EP12752698.6A patent/EP2681735A4/en not_active Ceased
- 2012-03-02 JP JP2013556910A patent/JP6203643B2/ja active Active
- 2012-03-02 WO PCT/US2012/027540 patent/WO2012119100A2/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US8929564B2 (en) | 2015-01-06 |
WO2012119100A3 (en) | 2012-11-29 |
EP2681735A4 (en) | 2015-03-11 |
WO2012119100A2 (en) | 2012-09-07 |
KR20140046405A (ko) | 2014-04-18 |
US20120224715A1 (en) | 2012-09-06 |
CN102708874A (zh) | 2012-10-03 |
JP2014510481A (ja) | 2014-04-24 |
EP2681735A2 (en) | 2014-01-08 |
JP6203643B2 (ja) | 2017-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101910679B1 (ko) | 마이크로폰 어레이를 위한 잡음 적응형 빔 형성 기법 | |
US10602267B2 (en) | Sound signal processing apparatus and method for enhancing a sound signal | |
EP3511937B1 (en) | Device and method for sound source separation, and program | |
JP5305743B2 (ja) | 音響処理装置及びその方法 | |
JP5197458B2 (ja) | 受音信号処理装置、方法およびプログラム | |
JP5207479B2 (ja) | 雑音抑圧装置およびプログラム | |
JP6129316B2 (ja) | 情報に基づく多チャネル音声存在確率推定を提供するための装置および方法 | |
JP2021533423A (ja) | オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム | |
US20120163622A1 (en) | Noise detection and reduction in audio devices | |
US9082411B2 (en) | Method to reduce artifacts in algorithms with fast-varying gain | |
EP2297727A2 (en) | Multi-microphone voice activity detector | |
JP4816711B2 (ja) | 通話音声処理装置および通話音声処理方法 | |
JP2010112996A (ja) | 音声処理装置、音声処理方法およびプログラム | |
JP5772151B2 (ja) | 音源分離装置、プログラム及び方法 | |
JPWO2012105386A1 (ja) | 有音区間検出装置、有音区間検出方法、及び有音区間検出プログラム | |
JP5387442B2 (ja) | 信号処理装置 | |
JP2018194599A (ja) | 雑音抑圧装置、雑音抑圧方法及びプログラム | |
US11984132B2 (en) | Noise suppression device, noise suppression method, and storage medium storing noise suppression program | |
Grais et al. | Referenceless performance evaluation of audio source separation using deep neural networks | |
JP6314475B2 (ja) | 音声信号処理装置及びプログラム | |
JP6711205B2 (ja) | 音響信号処理装置、プログラム及び方法 | |
US20210174820A1 (en) | Signal processing apparatus, voice speech communication terminal, signal processing method, and signal processing program | |
JP6763319B2 (ja) | 非目的音判定装置、プログラム及び方法 | |
JP6613728B2 (ja) | 雑音抑圧装置、プログラム及び方法 | |
JP7139822B2 (ja) | 雑音推定装置、雑音推定プログラム、雑音推定方法、及び収音装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |