JP2023546639A - ポータブルカラオケの低複雑度ハウリング抑制 - Google Patents
ポータブルカラオケの低複雑度ハウリング抑制 Download PDFInfo
- Publication number
- JP2023546639A JP2023546639A JP2023500318A JP2023500318A JP2023546639A JP 2023546639 A JP2023546639 A JP 2023546639A JP 2023500318 A JP2023500318 A JP 2023500318A JP 2023500318 A JP2023500318 A JP 2023500318A JP 2023546639 A JP2023546639 A JP 2023546639A
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- input signal
- loudspeaker
- signal
- output signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001629 suppression Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000004044 response Effects 0.000 claims abstract description 8
- 230000000644 propagated effect Effects 0.000 claims abstract description 7
- 230000003321 amplification Effects 0.000 claims abstract description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 4
- 230000007613 environmental effect Effects 0.000 claims description 11
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 description 10
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H3/00—Instruments in which the tones are generated by electromechanical means
- G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
- G10H3/24—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument incorporating feedback means, e.g. acoustic
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
- G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
- G10K11/17819—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the reference signals, e.g. to prevent howling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
- G10H2250/111—Impulse response, i.e. filters defined or specified by their temporal impulse response features, e.g. for echo or reverberation applications
- G10H2250/121—IIR impulse
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/50—Miscellaneous
- G10K2210/506—Feedback, e.g. howling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/401—2D or 3D arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
- H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
ポータブルカラオケシステムのための低複雑度のハウリング抑制システム及び方法が提供される。ハウリング抑制システムは、ソース信号と、環境を通じて伝播される音響フィードバックとを含む入力信号を捕捉するための少なくとも1つのマイクロフォン、入力信号を圧縮及び等化し、増幅後に出力信号に供給するための電気音響経路、出力信号を再生するラウドスピーカを備える。ハウリング抑制では、少なくとも1つの無限インパルス応答(IIR)フィルタが導入され、実環境からマイクロフォンが拾う音響フィードバックを推定し、それによってマイクロフォン入力信号から音響フィードバックを相殺する。【選択図】図2B
Description
本発明は、概して、音響フィードバックキャンセル技術に関する。より具体的には、本発明は、ポータブルカラオケシステムのための低複雑度のハウリング抑制方法及びシステムに関する。
カラオケは、東アジアでインタラクティブな娯楽活動としてますます人気が高まっている。誰でもカラオケクラブで友達と一緒にカラオケ機を使って歌うことができる。最近、人々はクラブで歌うだけでは飽き足らず、ポータブルオールインワンカラオケ機などであらゆる場所で歌っている。このため、多くのポータブルカラオケ製品が市場に参入している。しかしながら、これらの製品のほとんどは音質が期待されるほど良くない。それらの製品の多くには、「音響ハウリング」があるか、このハウリングの問題のために十分な音量がない。
実際、ハウリングはカラオケまたは拡声システムでよくある問題である。カラオケシステムは、通常、少なくとも1つのマイクロフォンとラウドスピーカで構成される。音声信号がマイクロフォンによって拾われ、続いて増幅されてラウドスピーカに供給されると、ラウドスピーカの音は通常、直接音響経路またはいくつかの反射経路を介してマイクロフォンによって取り戻される。ラウドスピーカとマイクロフォンの間の音響結合は閉じた信号ループとなり、不要なハウリングの形で音響フィードバックが発生する可能性がある。この場合、ハウリングの問題を引き起こしたり、ラウドスピーカを損傷したり、カラオケシステムが安定している必要がある場合に適用できる増幅の量が制限されるため、拡声のパフォーマンスが制限されたりする。
したがって、この問題を防ぐために様々な対策が講じられている。ハウリング抑制方法には、大きく4つのカテゴリーがある。1つ目は周波数シフト法で、ループごとに数Hzの周波数シフトでマイクロフォン入力信号を変化させることができる。例えば20Hzのようにシフト周波数が大きい場合はより効果的であるが、音質への副作用が深刻すぎて許容できるとは言えない。そのため、通常はあまり変更を加えることはできず、抑制のパフォーマンスについて妥協する必要がある。2つ目はノッチフィルタベースのフィードバック抑制(NFS)で、ノッチフィルタを使用して、ハウリングが検出された問題のある周波数を抑制する。ノッチフィルタは、非常に狭い阻止帯域を持つ阻止帯域フィルタであり、特定の周波数帯域の利得を大幅に低下させ、したがってマイクロフォン入力信号からの、それらの周波数を抑制することができる。しかしながら、NFS法には通常、ハウリング音を最初に検出する必要があるという意味で、検出フェーズと抑制フェーズが含まれており、したがって、ハウリング音が抑制される前に聞こえることがよくある。3つ目はビームフォーミング法で、マイクロフォンアレイまたはラウドスピーカアレイを使用して指向性を変更し、マイクロフォンとラウドスピーカ間の直接的な音の伝搬を低減する。しかし、この方法では追加のハードウェアとより多くの計算が必要になるため、マイクロフォンとラウドスピーカの数が制限されることが多い。4つ目は音響エコーキャンセル(AEC)法で、適応フィルタを使用してマイクロフォンとラウドスピーカ間の伝達関数を近似し、ラウドスピーカからの出力信号をフィルタ処理して、マイクロフォンが拾った近似フィードバック信号をキャンセルする。適応フィルタによって伝達関数が完全に近似されていれば、ハウリングは発生しない。通常、AEC法は適応メカニズムのおかげでうまく実行できるが、高度な計算と電力消費、及び長いシステム処理時間が必要であり、一定の再生時間と遅延時間が必要なポータブルカラオケシステムには適していない。
しかしながら、これらの対策のほとんどは、通常の大型カラオケシステムに焦点を当てたものであり、ラウドスピーカとマイクロフォンの間の距離は、通常、ポータブルのオールインワンカラオケシステムよりもはるかに離れている。一方で、ユーザは、このような小さなカラオケ機でも、できるだけ大きな声で歌いたいと考えているであろう。したがって、カラオケ製品でユーザの期待を超えたい場合は、ハウリングを抑制するためのより良い技術を開発する必要がある。
本発明は、ポータブルカラオケシステムのための低複雑度のハウリング抑制システムを提供することにより、上記の欠点のいくつかを克服する。ハウリング抑制システムは、ソース信号と、環境を通じて伝播される音響フィードバックとを含む入力信号を捕捉するための少なくとも1つのマイクロフォン、入力信号を圧縮及び等化し、増幅後に出力信号に供給するための電気音響経路、出力信号を再生するラウドスピーカを備える。ハウリング抑制システムは、音響フィードバックを推定するための少なくとも1つの無限インパルス応答(IIR)フィルタをさらに備え、それによって入力信号から音響フィードバックを相殺する。
本発明はさらに、ポータブルカラオケシステムのための低複雑度のハウリング抑制方法を提供する。ハウリング抑制方法は、ソース信号と音響フィードバックを含む入力信号を少なくとも1つのマイクロフォンを介して捕捉するステップ、電気音響経路で入力信号を圧縮及び等化するステップ、及び次に出力信号を増幅した後ラウドスピーカに供給するステップを含み、出力信号をラウドスピーカで再生すると、出力信号は環境を通じて伝播する。ハウリング抑制方法は、少なくとも1つの無限インパルス応答(IIR)フィルタを介して音響フィードバックを推定し、それによって入力信号から音響フィードバックを相殺するステップをさらに含む。
本発明は、添付の図面を参照することにより、非限定的な実施形態の以下の説明を読むことからより良く理解され得る。図において、同様の参照番号は対応する部分を示す。
本発明の1つまたは複数の実施形態の詳細な説明が以下に開示されるが、開示される実施形態は、様々な形式及び代替の形式で具現化され得る本発明の単なる例示にすぎないことが理解されよう。図は必ずしも縮尺通りではなく、一部の特徴は、特定の構成要素の詳細を示すために誇張または最小化される場合がある。したがって、本明細書に開示される具体的な構造的及び機能的詳細は、限定的と解釈されるべきではなく、単に、本発明を様々に用いるように当業者を教示するための代表的な基礎として解釈されるべきである。
図1は、1つのマイクロフォンと1つのラウドスピーカを備えたカラオケシステムでのハウリングシナリオの例を示している。図1に見られるように、システム100は、マイクロフォン110及びラウドスピーカ140を備え、マイクロフォン110は、電気音響経路120に接続され、次いで、130で増幅された後、ラウドスピーカに接続される。カラオケシステムがセットアップされると、ユーザの歌声からのソース信号S(z)がマイクロフォン110によって捕捉され、入力信号X(z)は、圧縮及び等化を含んで電気音響経路G(z)において処理され、利得係数Kで増幅される。出力信号Y(z)はラウドスピーカ140に供給され、環境150を通じて伝搬される。
音響信号がマイクロフォン110によって拾われ、続いて増幅されてラウドスピーカ140に供給されると、ラウドスピーカ140による音声再生は、直接経路または反射経路を通じてマイクロフォン110によって取り戻され得る。ラウドスピーカ140とマイクロフォン110との間の音響結合は、環境伝達関数F(z)を通じて伝搬された出力信号Y(z)をもたらして音響フィードバックを形成し、次いでマイクロフォン110にも拾われ、したがって図1に示す信号X(z)は、ソース信号S(z)と音響フィードバックY(z)・F(z)の両方を含む。
したがって、すべての信号と伝達関数を周波数領域で表すと、図1のプロセスは次の式で表すことができる。
Y(z)=X(z)・G(z)・K (1)
X(z)=Y(z)・F(z)+S(z) (2)
Y(z)=X(z)・G(z)・K (1)
X(z)=Y(z)・F(z)+S(z) (2)
上記の式(2)に関して、カラオケシステムへの入力信号X(z)は、ここでは省略されているが、例えば、Bluetooth(登録商標)またはAUXインタフェースを介して入力される歌の伴奏音楽などのオーディオストリームをさらに含み得ることが考えられる。
そして次に、ソース信号S(z)から出力信号Y(z)への全伝達関数H(z)を計算できる:
ここで、F(z)・G(z)・Kという用語はシステムのループ応答を指し、その振幅応答と位相応答はそれぞれループ利得とループ位相を表す。したがって、システムが不安定になるとハウリングが発生する。これは、ナイキスト安定性基準にまとめられている。
過去数十年間、ハウリング抑制に関する多くの方法が議論されてきた。確かに、考慮すべき最初の予防策は、ラウドスピーカとマイクロフォンの指向性、それらの間の距離、システムの全体的な利得、及び潜在的に問題のある周波数の振幅など、カラオケシステム全体を最適化することである。しかしながら、特にポータブルオールインワンカラオケシステムでは、そのフォームファクタとサウンドパフォーマンスには、できる限りサイズが小さくサウンドレベルが高い、という一定の要件があるため、通常、最適化は制限される。これらの限られたシナリオでは、ハウリングフィードバックを回避するために、プロセスを自動化するか、他の手段を講じる必要がある。したがって、本発明は、低複雑度のハウリング抑制方法を備えたポータブルオールインワンカラオケシステムを提供する。
ポータブルオールインワンカラオケ機のハウリング音をより適切に抑制し、処理計算、電力消費、及びシステム遅延時間を削減するために、本発明は、ポータブルカラオケシステムのための低複雑度のハウリング抑制方法を提供し、フィルタが、マイクロフォン信号からの不要な成分をキャンセルするために使用される。
図2Aは、本発明によるカラオケシステムのハウリング抑制のための例示的なシステム図を示す。フィルタ260がこのシステム200に導入され、Fest(z)は、環境250における実際の環境伝達関数F(z)に類似するように設計及び適合されたフィルタ260によって確立される推定伝達関数である。この方法を実現するために、最小平均二乗アルゴリズムや正規化最小平均二乗アルゴリズムなど、多くのアルゴリズムが提案されている。図2Aの例では、Fest(z)が完全に収束し、したがってFest(z)=F(z),Xest(z)=X(z)である場合、ラウドスピーカ240からのすべてのフィードバック信号がキャンセルされるため、入力信号は、ユーザの歌声などからのソース信号S(z)のみからなるが、ハウリングは発生しない。これは、以下の式のように表現することができる:
X(z)-Xest(z)=S(z)+F(z)Y(z)-Fest(z)Y(z)≒S(z) (5)
X(z)-Xest(z)=S(z)+F(z)Y(z)-Fest(z)Y(z)≒S(z) (5)
適応フィルタを使用して環境伝達関数を推定すると、ハウリングを抑制する良好な効果が得られる。しかしながら、実際には、環境伝達関数を推定する適応フィルタによるハウリング抑制には、まだいくつかの問題が存在する。まず、遅延時間がこの小さなカラオケ機の要件を満たしていない可能性がある。ラウドスピーカがマイクロフォンに非常に近い間は、適応アルゴリズムは長い処理時間を必要とする可能性があるため、音の伝播時間はおそらく処理時間よりも短くなり、したがってアルゴリズムは効果的でなくなる。第2に、適応アルゴリズムは大量の電力を消費する可能性もあり、バッテリーが急速に消耗することになり、これは、ポータブルデバイスの明らかな欠点である。第3に、適応アルゴリズムがスムーズに収束しないことがあり、その結果、適応フィルタに大きな違いが生じ、ユーザの歌の音色に常に影響を与える。さらに、カラオケシステムのラウドスピーカとマイクロフォンの間には高い相関関係があるため、このシナリオではこの構造のパフォーマンスが低下する。
したがって、システム例では、図2Bに示すように、いくつかの二次無限インパルス応答(IIR)フィルタ260’を使用して伝達関数F(z)をモデル化する。ポータブルオールインワンカラオケシステムのフォームファクタによってラウドスピーカ240とマイクロフォン210の間の固定距離が決まるため、伝達関数Fiir(z)をオフラインで測定及び推定し、それをマルチバンドIIRフィルタによって近似することができる。さらに、一体型カラオケ機などの特定の状況では、ラウドスピーカとマイクロフォンの相対位置は比較的固定されているため、適応プロセスが必要ない場合でも、ハウリング抑制効果の80~90%を達成でき、IIRフィルタは固定的な抑制効果を持つことができる。このシステムでIIRフィルタを使用すると、電力消費が節約されるだけでなく、チップのコンピューティングリソースも節約される。
さらに、非相関化215をシステム例200にさらに導入して、ラウドスピーカ信号とマイクロフォン信号との間の相関を低減することができる。図2Bに示すモデルでは、ラウドスピーカ信号は、圧縮及び等化の前に入力信号を周波数シフトすることによってマイクロフォン信号から非相関化される。これは、非相関化215において、全入力信号X(z)-Xiir(z)が周波数シフトされ、Y(z)とX(z)-Xiir(z)における結果は非相関化されることを意味する。したがって、出力信号は入力信号から非相関になる。例えば、周波数シフトされた出力信号xshift(t)は、時間領域で次のように取得できる。
ここで、Δfは、シフトされた周波数、
は、元の信号x(t)のヒルベルト変換である。
周波数シフトの完全な利点を本方法に取り入れることができる。環境伝達関数をモデル化するいくつかのIIRフィルタを使用したこの提案モデルでは、遅延時間の問題と高電力消費による適応処理は必要ない。さらに、ラウドスピーカの出力信号が空気中の音響結合の一部を介して入力マイクロフォンに戻るので、音響フィードバックの問題が発生するため、周波数シフトを使用して基準信号と誤差信号を非相関化し、これはバイアスされたフィルタ推定を軽減するために使用できる。
図3は、本発明によるハウリング抑制方法を示す例示的なフローチャートを示す。
ステップ310では、ユーザの歌声などのソース信号及び音響フィードバックを含む入力信号がポータブルカラオケシステムに提供される。入力信号のこの部分は少なくとも1つのマイクロフォンによって捕捉される。さらに、入力信号は、歌に付随する音楽などのオーディオストリームをさらに含み、入力信号のこの部分は、Bluetooth(登録商標)またはAUXインタフェースなどの有線または無線の方法でカラオケシステムにアップロードすることができる。
ステップ315において、提供されたシステムに非相関化が導入され、入力信号を非相関化する。このステップでは、ラウドスピーカのラウドスピーカ信号は、入力信号を周波数シフトすることによって、入力信号から非相関化される。
ステップ320において、周波数シフトされた入力信号は、圧縮及び等化を含む電気音響経路で処理され、次に利得係数Kによって増幅され、出力信号が得られる。
ステップ340において、出力信号は、再生のためにラウドスピーカに供給され、環境を通じて伝搬される。
このステップでは、ラウドスピーカから再生された出力信号は、環境内を伝播した後、音響フィードバックとして直接またはいくつかの反射経路を介してマイクロフォンによって取り戻され、音響フィードバックは、ステップ310で上述したように、少なくとも1つのマイクロフォンによって受信した入力信号の他の部分としてマイクロフォンに入る。
次に、ステップ360において、マイクロフォン信号から望ましくない成分を相殺するために、いくつかのIIRフィルタを使用して環境伝達関数をモデル化する。このステップは、環境伝達関数をオフラインで測定及び推定することを含み、マルチバンドIIRフィルタなどによって関数を近似する。得られた推定信号は、ステップ350でマイクロフォンに入る入力信号の音響フィードバック部分にほぼ等しい。したがって、マイクロフォンによって捕捉された入力信号から推定された音響フィードバックを差し引くことによって、システムでハウリングを生成する可能性がある音響フィードバックを相殺することができる。
図4は、本発明によるポータブルオールインワンカラオケシステムのための例示的なハードウェアシステムを示しており、本明細書で提供される低複雑度のハウリング抑制方法が実装されている。図4に示すように、ハウリング抑制方法には、マイクロフォンアレイまたはラウドスピーカアレイを使用して指向性を変更するビームフォーミング技術が追加で使用される。
一例として、マイクロフォンアレイ410として指向性の異なる2つのマイクロフォンを使用して、図4に示すようにカーディオイド指向性パターンを形成する。これは、より多くのハウリング成分を抑制するための特別なビームフォーミング配置と見なすこともできる。マイクロフォンアレイを配置するために、より多くのマイクロフォンを使用できることが理解できる。
ビームフォーミング出力Xbeam(z)は次のように記述される:
Xbeam(z)=ΣkWk(z)・Xk(z) (7)
ここでWk(z)とXk(z)は、それぞれk番目のビームフォーミングフィルタとk番目のマイクロフォン入力信号である。
Xbeam(z)=ΣkWk(z)・Xk(z) (7)
ここでWk(z)とXk(z)は、それぞれk番目のビームフォーミングフィルタとk番目のマイクロフォン入力信号である。
さらに、実際のポータブルカラオケ製品では、マイクロフォン410を吸音綿480で包んで、ラウドスピーカ440からの音響エネルギーをさらに低減することができる。図4に概略的に示すように、この例のマシンではパッシブラジエータ470が代わりに使用されていることがわかる。
図5A~5Eは、いくつかのシミュレートされた比較結果を示している。図5Aはラウドスピーカ信号のスペクトログラムを示し、図5Bは2kHzと9.3kHz付近のハウリング音を示している。ハウリング音は劇的に増加し、最後まで続く。図5Cの周波数シフト法では、ハウリング周波数がループごとにシフトダウンされ、それらの電力はより低いレベルで抑制されるが、ハウリングはまだ目立つ。図5Dは、NFS法がハウリングをうまく抑制できることを示しているが、ハウリングが聞こえて検出された後にのみ機能し始める。図5Eに示される、本発明で提供される低複雑度のハウリング抑制方法で得られるスペクトログラムは、問題のある周波数で音響エネルギーの明白な増加を示さず、提供される方法がハウリングフィードバックを成功裏に大幅に抑制し、これらの方法のうちで最良のパフォーマンスを発揮できることを意味する。
ポータブルカラオケ機の場合、常に長時間楽しみたいと考えているが、それでも大音量でハウリングの問題が少ないなどの良好な音質が期待される。本発明において、提供される低複雑度のハウリング抑制方法は、IIRフィルタ構造を採用して、電力消費及びシステム遅延時間を低減する。ハウリングをさらに抑えるために、周波数シフトなどの非線形アルゴリズムもマイクロフォンビームフォーミング法と組み合わせられる。
本発明で提供される低複雑度のハウリング抑制方法及びシステムは、システムがラウドスピーカとマイクロフォンの両方を、それらの相対位置が固定されているという条件で備え、ラウドスピーカがマイクロフォンの入力信号をリアルタイムで再生する用途に適している。用途の例には、ポータブルカラオケ機、内蔵スピーカ、会議システムなどがあるが、これらに限定されない。
本出願で使用する場合、単数形で記載した、「a」または「an」という語が先行する要素またはステップは、排除の記載がない限り、複数の当該要素またはステップを排除しないものとして理解されたい。さらに、本開示の「一実施形態」または「一例」に対する言及は、列挙される機構も組み込む追加の実施形態の存在を除外すると解釈されることを意図していない。「第1の」、「第2の」、及び「第3の」などの用語は、単にラベルとして使用しており、数的要件または特定の位置的順序をそれらの対象に課すことを意図していない。
例示的な実施形態が上述されているが、これらの実施形態が本発明のすべての可能な形式を説明することは意図されていない。むしろ、明細書で使用する言葉は限定ではなく説明のための言葉であり、本発明の趣旨及び範囲から逸脱することなく多様な変更が成され得ることが理解される。加えて、種々の実現実施形態の特徴は、本発明の別の実施形態を形成するために組み合わされ得る。
Claims (20)
- ポータブルカラオケシステムのための低複雑度のハウリング抑制方法であって、
少なくとも1つのマイクロフォンによって、ソース信号と音響フィードバックとを含む入力信号を捕捉するステップと、
電気音響経路において、前記入力信号を圧縮及び等化し、次いで増幅した後に出力信号に供給するステップと、
ラウドスピーカによって、環境を通じて伝搬される前記出力信号を再生するステップと、
を含み、
前記方法は、少なくとも1つの無限インパルス応答(IIR)フィルタによって前記音響フィードバックを推定し、それによって前記入力信号から前記音響フィードバックを相殺するステップをさらに含む、
前記低複雑度のハウリング抑制方法。 - 前記音響フィードバックが、前記ラウドスピーカと前記少なくとも1つのマイクロフォンとの間の音響結合によって引き起こされる閉じた信号ループにおいて生成されるハウリングを含む、請求項1に記載の方法。
- 前記少なくとも1つのIIRフィルタによって、環境伝達関数をモデル化するステップをさらに含む、請求項1に記載の方法。
- 前記少なくとも1つのマイクロフォンと前記ラウドスピーカとの相対位置が固定されている、請求項3に記載の方法。
- 前記環境伝達関数をモデル化することが、それをオフラインで測定及び推定することと、それを近似することとを含む、請求項3に記載の方法。
- 前記環境伝達関数を近似することが、マルチバンドIIRフィルタによって実行できる、請求項5に記載の方法。
- 前記入力信号から前記出力信号を非相関化することをさらに含む、請求項3に記載の方法。
- 前記入力信号から前記出力信号を非相関化することが、前記入力信号を周波数シフトすることによって実施できる、請求項7に記載の方法。
- ビームフォーミング用のマイクロフォンアレイとして、前記少なくとも1つのマイクロフォンを異なる指向性で配置することをさらに含む、請求項1に記載の方法。
- 前記マイクロフォンアレイがカーディオイド指向性パターンを形成する、請求項9に記載の方法。
- 低複雑度のハウリング抑制を備えたポータブルカラオケシステムであって、
ソース信号と、環境を通じて伝搬される音響フィードバックとを含む入力信号を捕捉するための少なくとも1つのマイクロフォンと、
前記入力信号を圧縮及び等化し、次いで増幅した後に出力信号に供給するための電気音響経路と、
前記出力信号を再生するためのラウドスピーカと、
を備え、
前記システムは、前記音響フィードバックを推定し、それによって前記入力信号から前記音響フィードバックを相殺するための少なくとも1つの無限インパルス応答(IIR)フィルタをさらに備える、
前記ポータブルカラオケシステム。 - 前記音響フィードバックが、前記ラウドスピーカと前記少なくとも1つのマイクロフォンとの間の音響結合によって引き起こされる閉じた信号ループにおいて生成されるハウリングを含む、請求項11に記載のシステム。
- 前記少なくとも1つのIIRフィルタが、環境伝達関数をさらにモデル化する、請求項11に記載のシステム。
- 前記少なくとも1つのマイクロフォンと前記ラウドスピーカとの相対位置が固定されている、請求項13に記載のシステム。
- 前記少なくとも1つのIIRフィルタが、前記環境伝達関数をオフラインでさらに測定及び推定し、それを近似する、請求項13に記載のシステム。
- 前記環境伝達関数が、マルチバンドIIRフィルタによって近似できる、請求項15に記載のシステム。
- 前記入力信号から前記出力信号を非相関化することをさらに含む、請求項13に記載のシステム。
- 前記入力信号から前記出力信号を非相関化することが、前記入力信号を周波数シフトすることによって実施できる、請求項17に記載のシステム。
- 前記少なくとも1つのマイクロフォンが、ビームフォーミング用のマイクロフォンアレイとして異なる指向性でさらに配置される、請求項11に記載のシステム。
- 前記マイクロフォンアレイがカーディオイド指向性パターンを形成する、請求項19に記載のシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/111657 WO2022041030A1 (en) | 2020-08-27 | 2020-08-27 | Low complexity howling suppression for portable karaoke |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023546639A true JP2023546639A (ja) | 2023-11-07 |
Family
ID=80352283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023500318A Pending JP2023546639A (ja) | 2020-08-27 | 2020-08-27 | ポータブルカラオケの低複雑度ハウリング抑制 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230328434A1 (ja) |
EP (1) | EP4205309A4 (ja) |
JP (1) | JP2023546639A (ja) |
KR (1) | KR20230057333A (ja) |
CN (1) | CN116325560A (ja) |
WO (1) | WO2022041030A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5668794A (en) * | 1995-09-29 | 1997-09-16 | Crystal Semiconductor | Variable gain echo suppressor |
US6282176B1 (en) * | 1998-03-20 | 2001-08-28 | Cirrus Logic, Inc. | Full-duplex speakerphone circuit including a supplementary echo suppressor |
US6480610B1 (en) * | 1999-09-21 | 2002-11-12 | Sonic Innovations, Inc. | Subband acoustic feedback cancellation in hearing aids |
EP2621198A3 (en) * | 2009-04-02 | 2015-03-25 | Oticon A/s | Adaptive feedback cancellation based on inserted and/or intrinsic signal characteristics and matched retrieval |
US9053697B2 (en) * | 2010-06-01 | 2015-06-09 | Qualcomm Incorporated | Systems, methods, devices, apparatus, and computer program products for audio equalization |
CN105308985B (zh) * | 2013-06-19 | 2019-09-10 | 创新科技有限公司 | 一种声反馈消除模块、用于抑制不期望的啸叫声音的方法及音频*** |
CN109275053B (zh) * | 2018-09-20 | 2024-06-28 | 贵州奥斯科尔科技实业有限公司 | 一种手持式麦克风音箱 |
-
2020
- 2020-08-27 EP EP20950702.9A patent/EP4205309A4/en active Pending
- 2020-08-27 CN CN202080103294.4A patent/CN116325560A/zh active Pending
- 2020-08-27 US US18/043,133 patent/US20230328434A1/en active Pending
- 2020-08-27 WO PCT/CN2020/111657 patent/WO2022041030A1/en unknown
- 2020-08-27 JP JP2023500318A patent/JP2023546639A/ja active Pending
- 2020-08-27 KR KR1020237000072A patent/KR20230057333A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
EP4205309A1 (en) | 2023-07-05 |
EP4205309A4 (en) | 2024-05-01 |
CN116325560A (zh) | 2023-06-23 |
KR20230057333A (ko) | 2023-04-28 |
US20230328434A1 (en) | 2023-10-12 |
WO2022041030A1 (en) | 2022-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4286637B2 (ja) | マイクロホン装置および再生装置 | |
US9210504B2 (en) | Processing audio signals | |
US10331396B2 (en) | Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrival estimates | |
WO2018188282A1 (zh) | 回声消除方法、装置、会议平板及计算机存储介质 | |
US8611552B1 (en) | Direction-aware active noise cancellation system | |
JP5007442B2 (ja) | 発話改善のためにマイク間レベル差を用いるシステム及び方法 | |
CN103428385B (zh) | 用于处理音频信号的方法及用于处理音频信号的电路布置 | |
JP5323995B2 (ja) | マルチチャネル信号の残響除去のためのシステム、方法、装置、およびコンピュータ可読媒体 | |
JP6703525B2 (ja) | 音源を強調するための方法及び機器 | |
KR101566649B1 (ko) | 근거리 널 및 빔 형성 | |
CN100525101C (zh) | 使用波束形成算法来记录信号的方法和设备 | |
US9305540B2 (en) | Frequency domain signal processor for close talking differential microphone array | |
JP2013518477A (ja) | レベルキューによる適応ノイズ抑制 | |
WO2008089012A1 (en) | Proximity filter | |
US8280062B2 (en) | Sound corrector, sound measurement device, sound reproducer, sound correction method, and sound measurement method | |
Koldovský et al. | Noise reduction in dual-microphone mobile phones using a bank of pre-measured target-cancellation filters | |
WO2021129197A1 (zh) | 一种语音信号处理方法及装置 | |
JP2023546639A (ja) | ポータブルカラオケの低複雑度ハウリング抑制 | |
CN102970638B (zh) | 处理信号 | |
US20220225024A1 (en) | Method and system for using single adaptive filter for echo and point noise cancellation | |
CN111243615A (zh) | 麦克风阵列信号处理方法及手持式装置 | |
WO2023065317A1 (zh) | 会议终端及回声消除方法 | |
JP7493158B2 (ja) | 音声処理装置および音声処理方法 | |
JP2002261659A (ja) | 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体 | |
Baumhauer Jr et al. | Audio technology used in AT&T's terminal equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230817 |