JP7083724B2 - Reverberation suppressor and hearing aid - Google Patents
Reverberation suppressor and hearing aid Download PDFInfo
- Publication number
- JP7083724B2 JP7083724B2 JP2018151839A JP2018151839A JP7083724B2 JP 7083724 B2 JP7083724 B2 JP 7083724B2 JP 2018151839 A JP2018151839 A JP 2018151839A JP 2018151839 A JP2018151839 A JP 2018151839A JP 7083724 B2 JP7083724 B2 JP 7083724B2
- Authority
- JP
- Japan
- Prior art keywords
- reverberation
- gain
- lower limit
- envelope signal
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、音声信号に含まれる残響成分を抑制する残響抑制装置及びそれを具備する補聴器に関する。 The present invention relates to a reverberation suppressing device for suppressing a reverberation component contained in an audio signal and a hearing aid provided with the reverberation suppressing device.
従来から、補聴器等の機器の使用時に発生する残響音を抑制して聞き取りやすくするため、信号処理により音声信号に含まれる残響成分を抑制する種々の技術が提案されている。例えば、音響空間に固有の残響時間を判別できれば、それを信号処理に反映させて残響成分を抑制することが可能である。例えば特許文献1には、特定周波数帯域の音響成分から初期反射成分の強度と後期残響成分の強度とを算出し、それに応じて残響時間を推定する技術が提案されている。しかし、補聴器等の機器において、環境音に基づきリアルタイムに残響時間を推定することは、演算量が多い煩雑な処理が必要となり現実的ではない。一方、例えば特許文献2には、入力信号の瞬時値と、その瞬時値に基づく残響成分とを求め、瞬時値が残響成分より小さい期間にはゲインの値を所定のゲイン下限値に設定することで、残響成分を抑制する技術が開示されている。補聴器等の機器において、特許文献2の技術を導入すれば、比較的少ない演算量で残響成分を抑制することができる。 Conventionally, various techniques for suppressing the reverberation component contained in the audio signal by signal processing have been proposed in order to suppress the reverberation sound generated when using a device such as a hearing aid to make it easier to hear. For example, if the reverberation time peculiar to the acoustic space can be determined, it can be reflected in the signal processing to suppress the reverberation component. For example, Patent Document 1 proposes a technique of calculating the intensity of an early reflection component and the intensity of a late reverberation component from an acoustic component in a specific frequency band, and estimating the reverberation time accordingly. However, in a device such as a hearing aid, estimating the reverberation time in real time based on the environmental sound is not realistic because it requires complicated processing with a large amount of calculation. On the other hand, for example, in Patent Document 2, the instantaneous value of the input signal and the reverberation component based on the instantaneous value are obtained, and the gain value is set to a predetermined lower limit value during the period when the instantaneous value is smaller than the reverberation component. So, a technique for suppressing a reverberation component is disclosed. If the technique of Patent Document 2 is introduced in a device such as a hearing aid, the reverberation component can be suppressed with a relatively small amount of calculation.
上記特許文献2の技術を適用する場合、十分に残響成分を抑制するにはゲイン下限値を低い値に設定する必要がある。しかし、実際の音響空間において、残響時間が長い場合にはゲインを十分に低くして後期残響音を抑制することが望ましいが、残響時間が短い場合でも同様の残響抑制が働くためにゲインが低くなり過ぎ、使用者が違和感を受けることも想定される。このように、上記特許文献2の技術では、音響空間の残響時間が十分に短い場合であっても、不必要な残響抑制に伴うゲインの低下に起因して違和感を生じさせるという問題があった。 When the technique of Patent Document 2 is applied, it is necessary to set the lower limit value of the gain to a low value in order to sufficiently suppress the reverberation component. However, in an actual acoustic space, when the reverberation time is long, it is desirable to sufficiently lower the gain to suppress the late reverberation sound, but even when the reverberation time is short, the gain is low because the same reverberation suppression works. It is expected that the user will feel uncomfortable because it becomes too much. As described above, the technique of Patent Document 2 has a problem that even when the reverberation time of the acoustic space is sufficiently short, a sense of discomfort is caused due to a decrease in gain due to unnecessary suppression of reverberation. ..
本発明はこれらの問題を解決するためになされたものであり、複雑な処理を行うことなく、音響空間における残響時間の長短に応じた適度なゲインを用いて残響成分を抑制し、使用者が違和感を受けない残響抑制装置及び補聴器を提供するものである。 The present invention has been made to solve these problems, and suppresses the reverberation component by using an appropriate gain according to the length of the reverberation time in the acoustic space without performing complicated processing, and the user can use it. It is intended to provide a reverberation suppressing device and a hearing aid that do not cause a sense of discomfort.
上記課題を解決するために、本発明の残響抑制装置は、入力信号(X(k)のエンベロープを推定してエンベロープ信号(E(k))を生成するエンベロープ信号生成部(20)と、前記エンベロープ信号と当該エンベロープ信号に応じて推定される第1残響成分(R1(k))と所定のゲイン下限値(GL)に基づき前記入力信号に対する基本的なゲイン(G(k))を算出し、前記エンベロープ信号と前記第1残響成分の大小関係に応じた第1の区間の前記ゲインを前記ゲイン下限値に設定する残響抑制部(21、22)と、前記エンベロープ信号を平滑化するとともに対数値に変換して第2残響成分(R2(k))を生成し、前記第2残響成分の時間的変化率に応じて推定される残響時間の長短を判定する残響時間判定部(24)と、前記入力信号に対し、前記残響抑制部により出力された前記ゲインを乗じるゲイン処理部(11)とを備えて構成され、前記ゲイン下限値が前記残響時間判定部の判定結果に応じて制御されることを特徴としている。 In order to solve the above problems, the reverberation suppression device of the present invention includes an envelope signal generation unit (20) that estimates the envelope of the input signal (X (k) and generates an envelope signal (E (k)), and the envelope signal generation unit (20). The basic gain (G (k)) for the input signal is calculated based on the envelope signal, the first reverberation component (R1 (k)) estimated according to the envelope signal, and the predetermined gain lower limit value (GL). The reverberation suppression unit (21, 22) that sets the gain in the first section according to the magnitude relationship between the envelope signal and the first reverberation component to the lower limit value of the gain, and the envelope signal are smoothed and paired. With the reverberation time determination unit (24), which converts it into a numerical value to generate a second reverberation component (R2 (k)) and determines the length of the reverberation time estimated according to the temporal change rate of the second reverberation component. The input signal is provided with a gain processing unit (11) for multiplying the gain output by the reverberation suppression unit, and the lower limit value of the gain is controlled according to the determination result of the reverberation time determination unit. It is characterized by that.
本発明の残響抑制装置によれば、エンベロープ信号と第1残響成分とにより算出される基本的なゲインを残響抑制時にゲイン下限値にする構成を備えるが、それに加えて残響時間判定部を設けて残響時間の長短の判定結果に応じてゲイン下限値を制御することにより、残響時間が短い場合における不必要な残響抑制を行うことを回避することができる。これにより、残響時間が長い環境では後期残響音の存在する区間に小さいゲイン下限値を設定して残響音を抑制する一方、残響時間が短い環境ではゲイン下限値が下がりすぎないように設定することで、使用者の受ける違和感を軽減することができる。 The reverberation suppression device of the present invention includes a configuration in which the basic gain calculated by the envelope signal and the first reverberation component is set to the lower limit value of the gain at the time of reverberation suppression, but in addition, a reverberation time determination unit is provided. By controlling the lower limit of the gain according to the determination result of the length of the reverberation time, it is possible to avoid unnecessary reverberation suppression when the reverberation time is short. As a result, in an environment with a long reverberation time, a small gain lower limit value is set in the section where the late reverberation sound exists to suppress the reverberation sound, while in an environment with a short reverberation time, the gain lower limit value should not be set too low. Therefore, it is possible to reduce the discomfort felt by the user.
本発明の残響時間判定部においては、第2残響成分が時間的に減少している状況で、時間的変化率の絶対値が予め設定された所定値より大きい場合はゲイン下限値を第1のゲイン下限値に設定し、時間的変化率の絶対値が所定値に満たない場合はゲイン下限値を第1のゲイン下限値より小さい第2のゲイン下限値に設定することができる。これにより、所定値に対応する所定の残響時間を境界として、それより残響時間が短い場合はゲイン下限値を上げて違和感を軽減し、それより残響時間が長くなる場合はゲイン下限値を下げて残響抑制の効果を十分に高めることができる。所定値との比較対象は、時間的変化率の絶対値を用いなくてもよい。絶対値を用いない場合は、第2残響成分が時間的に減少している状況で、時間的変化率(負)が予め設定された負の所定値より小さい場合はゲイン下限値を第1のゲイン下限値に設定し、時間的変化率が負の所定値を超える場合はゲイン下限値を第1のゲイン下限値より小さい第2のゲイン下限値に設定することができる。 In the reverberation time determination unit of the present invention, when the second reverberation component is decreasing in time and the absolute value of the temporal change rate is larger than a preset predetermined value, the lower limit value of the gain is set to the first. It can be set to a lower limit of gain, and if the absolute value of the rate of change over time is less than a predetermined value, the lower limit of gain can be set to a second lower limit of gain that is smaller than the first lower limit of gain. As a result, with the predetermined reverberation time corresponding to the predetermined value as the boundary, if the reverberation time is shorter than that, the lower limit of the gain is raised to reduce the discomfort, and if the reverberation time is longer than that, the lower limit of the gain is lowered. The effect of suppressing reverberation can be sufficiently enhanced. It is not necessary to use the absolute value of the rate of change over time as the comparison target with the predetermined value. When the absolute value is not used, the lower limit of the gain is set to the first lower limit value when the time change rate (negative) is smaller than the preset negative predetermined value in the situation where the second reverberation component is decreasing with time. It can be set to a lower limit of gain, and if the rate of change over time exceeds a negative predetermined value, the lower limit of gain can be set to a second lower limit of gain that is smaller than the first lower limit of gain.
本発明の残響抑制部は、多様な構成を適用することができる。例えば、残響抑制部を、エンベロープ信号の移動平均を第1残響成分として算出する残響成分推定部(21)と、エンベロープ信号と第1残響成分との大小関係に応じて入力信号に対する基本的なゲインを算出するとともに、そのゲインがゲイン下限値に満たない場合はゲインをゲイン下限値に設定するゲイン算出部(22)とを含めて構成することができる。更には、ゲイン算出部により算出されたゲインに対してスムージング処理を施して平滑化するスムージング処理部(23)を含めてもよい。 Various configurations can be applied to the reverberation suppressing unit of the present invention. For example, the reverberation suppression unit has a reverberation component estimation unit (21) that calculates the moving average of the envelope signal as the first reverberation component, and a basic gain with respect to the input signal according to the magnitude relationship between the envelope signal and the first reverberation component. Is calculated, and if the gain is less than the lower limit of the gain, the gain calculation unit (22) for setting the gain to the lower limit of the gain can be included. Further, a smoothing processing unit (23) that smoothes the gain calculated by the gain calculation unit may be included.
本発明のエンベロープ信号生成部は、入力信号の絶対値又は2乗に相関がある値の前記エンベロープに基づいて前記エンベロープ信号を生成することができる。この場合、入力信号の絶対値を用いる場合は振幅のエンベロープに対応し、入力信号の2乗を用いる場合はパワーのエンベロープに対応する。 The envelope signal generation unit of the present invention can generate the envelope signal based on the envelope having a value correlated with the absolute value or the square of the input signal. In this case, when the absolute value of the input signal is used, it corresponds to the envelope of amplitude, and when the square of the input signal is used, it corresponds to the envelope of power.
本発明において、外部入力信号を複数の周波数帯域の成分である複数の入力信号に分割する分析フィルタバンク(10)と、ゲイン処理部から出力される複数の周波数帯域の成分を合成して出力信号を生成する合成フィルタバンク(12)とを更に設けるとともに、複数の周波数帯域に対応する複数のエンベロープ信号生成部、複数の残響時間判定部、複数の残響抑制部をそれぞれ設けてもよい。この場合、前述のゲイン下限値は、複数の周波数帯域の各々に対して個別に設定することが望ましい。これにより、複数の周波数帯域の各々異なる特性を反映しつつ残響抑制の効き方を制御でき、自由度が高く適切な残響抑制が可能となる。 In the present invention, an analysis filter bank (10) that divides an external input signal into a plurality of input signals that are components of a plurality of frequency bands and a plurality of frequency band components output from the gain processing unit are combined to form an output signal. In addition to further providing a synthetic filter bank (12) for generating the above, a plurality of envelope signal generation units, a plurality of reverberation time determination units, and a plurality of reverberation suppression units corresponding to a plurality of frequency bands may be provided. In this case, it is desirable that the above-mentioned lower limit of gain is set individually for each of the plurality of frequency bands. As a result, it is possible to control how the reverberation suppression is effective while reflecting the different characteristics of each of the plurality of frequency bands, and it is possible to suppress the reverberation appropriately with a high degree of freedom.
また、上記課題を解決するために、本発明の補聴器は、音を電気信号に変換するマイクロホン(30)と、電気信号を音に変換するレシーバ(32)と、前記マイクロホンの出力信号から抽出される入力信号のエンベロープを推定してエンベロープ信号を生成するエンベロープ信号生成部と、前記エンベロープ信号と当該エンベロープ信号に応じて推定される第1残響成分とに基づき前記入力信号に対するゲインを算出し、前記エンベロープ信号と前記第1残響成分の大小関係に応じた第1の区間には前記ゲインを所定のゲイン下限値に設定する残響抑制部と、前記エンベロープ信号を平滑化するとともに対数値に変換して第2残響成分を生成し、前記第2残響成分の時間的変化率に応じて推定される残響時間の長短を判定する残響時間判定部と、前記入力信号に対し、前記残響抑制部により出力された前記ゲインを乗じるゲイン処理部を含む補聴処理部(31)とを備えて構成され、前記ゲイン下限値は、前記残響時間判定部の判定結果に応じて制御されることを特徴としている。 Further, in order to solve the above problems, the hearing aid of the present invention is extracted from a microphone (30) that converts sound into an electric signal, a receiver (32) that converts an electric signal into sound, and an output signal of the microphone. The gain for the input signal is calculated based on the envelope signal generation unit that estimates the envelope of the input signal and generates the envelope signal, and the envelope signal and the first reverberation component estimated according to the envelope signal. In the first section corresponding to the magnitude relationship between the envelope signal and the first reverberation component, a reverberation suppression unit that sets the gain to a predetermined lower limit of gain, and the envelope signal are smoothed and converted into logarithmic values. The reverberation time determination unit that generates the second reverberation component and determines the length of the reverberation time estimated according to the temporal change rate of the second reverberation component, and the reverberation suppression unit outputs the input signal. It is configured to include a hearing aid processing unit (31) including a gain processing unit for multiplying the gain, and the gain lower limit value is controlled according to a determination result of the reverberation time determination unit.
以上説明したように、本発明によれば、複雑な処理を行うことなく、音響空間における残響時間の長短に応じた適度なゲインで残響成分を効果的に抑制でき、残響時間が短い環境で不要な残響抑制を行うことなく使用者にとって違和感を受けない快適な残響抑制装置とそれを含む補聴器を実現することができる。 As described above, according to the present invention, the reverberation component can be effectively suppressed with an appropriate gain according to the length of the reverberation time in the acoustic space without performing complicated processing, and it is unnecessary in an environment where the reverberation time is short. It is possible to realize a comfortable reverberation suppression device that does not cause discomfort to the user and a hearing aid that includes the reverberation suppression device without performing any reverberation suppression.
以下、本発明を適用した実施形態について添付図面を参照しながら説明する。本実施形態では、残響抑制装置及びそれを備えた補聴器に対して本発明を適用する例について説明する。 Hereinafter, embodiments to which the present invention is applied will be described with reference to the accompanying drawings. In this embodiment, an example of applying the present invention to a reverberation suppressing device and a hearing aid provided with the reverberation suppressing device will be described.
本発明の一実施形態に係る残響抑制装置の構成について、図1を参照して説明する。図1は、本実施形態の残響抑制装置の全体的な構成を示すブロック図である。図1に示す残響抑制装置には、分析フィルタバンク10と、ゲイン処理部11と、合成フィルタバンク12と、エンベロープ信号生成部20と、残響成分推定部21と、ゲイン算出部22と、スムージング処理部23と、残響時間判定部24と、設定部25とが含まれる。なお、図1の残響成分推定部21、ゲイン算出部22、スムージング処理部23は、本発明の残響抑制部として機能する。図1の構成に含まれる各要素は、例えば、ディジタル信号処理を実行可能なDSP(Digital Signal Processor)による信号処理によって実現することができる。
The configuration of the reverberation suppression device according to the embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing an overall configuration of the reverberation suppression device of the present embodiment. The reverberation suppression device shown in FIG. 1 includes an
本実施形態の残響抑制装置において、音声信号等を含む外部入力信号Sinが分析フィルタバンク10に入力される。分析フィルタバンク10は、処理対象である外部入力信号Sinを所定の時間間隔であるフレーム毎にディジタル化し、それを複数の周波数帯域の成分である複数の入力信号に分割する。例えば、分析フィルタバンク10は、M個(Mは2以上の整数)の周波数帯域にそれぞれ対応する窓関数及びFFT(Fast Fourier Transform)を用いて構成することができる。
In the reverberation suppression device of the present embodiment, the external input signal Sin including the voice signal and the like is input to the
時間軸上のj番目のフレーム及びk番目(k:1~Mの整数)の周波数帯域に関し、分析フィルタバンク10から出力されるM個の入力信号をX(j、k)と表記することができる。ただし、表現の簡略化のため、以下では、時間軸上のj番目のフレームの表記は省略するものとし、単にk番目の周波数帯域の入力信号X(k)のように表記する。他の信号についても原則として同様に表記するものとする。
The M input signals output from the
ゲイン処理部11は、分析フィルタバンク10により分割されたM個の入力信号X(k)に対し、それぞれに対応する後述のゲインを乗じた信号を生成する。この場合、ゲイン処理部11において必要なゲインは、エンベロープ信号生成部20、残響時間判定部24、残響成分推定部21、ゲイン算出部22、スムージング処理部23を含む構成部分による後述の処理により算出することができる。この構成部分については、図1では1系統のみを示しているが、実際にはM個の入力信号X(k)に対応するM個の同一の構成部分が並列に配置される。
The
合成フィルタバンク12は、フレーム毎にゲイン処理部11から出力されるM個の周波数帯域の成分を合成し、残響抑制装置の出力信号Soutを生成する。例えば、合成フィルタバンク12は、M個の周波数帯域にそれぞれ対応するIFFT(Inverse Fast Fourier Transform)及び窓関数を用いて構成することができる。
The
エンベロープ信号生成部20は、入力信号X(k)のパワーのエンベロープ(時間包絡)の値を推定することによりエンベロープ信号E(k)を算出する。本実施形態におけるエンベロープ信号E(k)として、入力信号X(k)の2乗に相関がある入力パワーの推定値を想定する。ただし、エンベロープ信号E(k)として、パワーのエンベロープに代え、振幅のエンベロープの値を推定し、入力信号X(k)の絶対値に相関がある入力振幅の推定値を用いてもよい。
The envelope
ここで、前述の入力信号X(k)のパワーと、そのパワーのエンベロープに対応するエンベロープ信号E(k)に関連して、音響空間において残響時間の長短に応じた波形の違いについて、図2を参照して説明する。入力信号のパワー及びエンベロープの波形の例として、図2(A)は残響時間が長い場合の例を示しており、図2(B)は残響時間が短い場合の例を示している。具体的には、図(A)では入力信号のパワーのピークが緩やかに減少し、それぞれのピークを結ぶエンベロープも同様に緩やかに減少するのに対し、図2(B)では入力信号のパワーのピークは急速に減少し、それぞれのピークを結ぶエンベロープも同様に急速に減少していく。一般に、特定の音場で生じる残響成分は、時間経過により音響パワーの対数値(dBに対応)が直線的に減少していく特性を有することが知られている。よって、後述するようにリニア値であるエンベロープ信号E(k)に基づく残響成分の対数値を取り、その傾き(時間的変化率)を判別すれば残響時間を推定することができるが、詳しくは後述する。 Here, with respect to the power of the above-mentioned input signal X (k) and the envelope signal E (k) corresponding to the envelope of the power, the difference in waveform according to the length of the reverberation time in the acoustic space is shown in FIG. Will be described with reference to. As an example of the input signal power and envelope waveform, FIG. 2A shows an example when the reverberation time is long, and FIG. 2B shows an example when the reverberation time is short. Specifically, in FIG. 2A, the peak of the power of the input signal gradually decreases, and the envelope connecting the peaks also gradually decreases, whereas in FIG. 2B, the power of the input signal decreases gradually. The peaks decrease rapidly, and the envelope connecting each peak also decreases rapidly. In general, it is known that the reverberation component generated in a specific sound field has a characteristic that the logarithmic value (corresponding to dB) of the acoustic power linearly decreases with the passage of time. Therefore, as will be described later, the reverberation time can be estimated by taking the logarithmic value of the reverberation component based on the envelope signal E (k), which is a linear value, and determining the slope (rate of change over time). It will be described later.
残響成分推定部21は、エンベロープ信号E(k)の指数移動平均の値を算出することにより平滑化し、その値を第1残響成分R1(k)として推定して出力する。なお、残響成分推定部21では、指数移動平均には限らず、他の加重移動平均を用いた処理を採用してもよい。
The reverberation
ゲイン算出部22は、前述のエンベロープ信号E(k)及び第1残響成分R1(k)を用いて、入力信号X(k)に付与すべきゲインG(k)を算出する。ゲインG(k)を算出する際には多様な算出式を適用可能である。一例として、次の(1)式に基づいて、基本的なゲインG(k)を算出することができる。
(1)式で算出されるゲインG(k)は、第1残響成分R1(k)が小さい環境下ではG(k)はほぼ1となりあまり変化しないが、第1残響成分R1(k)が大きい環境下では小さい値に収束することがわかる。なお、ゲインG(k)の他の算出方法としては、スペクトルサブトラクション法、ウィーナーフィルタリング法、MMSE-STSA(minimum mean-square-error short-time spectral amplitude)法などを挙げることができる。 The gain G (k) calculated by the equation (1) does not change much because G (k) is almost 1 in an environment where the first reverberation component R1 (k) is small, but the first reverberation component R1 (k) is. It can be seen that it converges to a small value in a large environment. Examples of other methods for calculating the gain G (k) include a spectral subtraction method, a Wiener filtering method, and an MMSE-STSA (minimum mean-square-error short-time spectral amplitude) method.
また、ゲイン算出部22は、エンベロープ信号E(k)と第1残響成分R1(k)とを比較し、E(k)<R1(k)となる区間(本発明の第1の区間)において、(1)式で算出したゲインG(k)をゲイン下限値にする役割を有する。具体的には、E(k)<R1(k)となる区間の音を後期残響音とみなし、この際にゲインG(k)をゲイン下限値に設定する。これにより、後期残響音が十分に抑制される。ただし、本実施形態では、残響時間判定部24により、ゲイン下限値として、大きいゲイン下限値GL1と小さいゲイン下限値GL2(GL2<GL1)の2つを切り替える制御を行うが、この点については後述する。
Further, the
スムージング処理部23では、その時点のゲインG(k)に対して時間軸に沿ってスムージング処理を施し、時間的な変動が平滑化されたゲインGs(k)を出力する。スムージング処理部23で適用されるスムージング処理としては、例えば、ゲインG(k)の指数移動平均を順次算出し、それをゲインGs(k)とする処理を挙げることができる。ただし、ゲインG(k)が時間的に十分滑らかに変化するときは、スムージング処理部23によるスムージング処理を省略してもよい。スムージング処理部23から出力されたゲインGs(k)は、前述のゲイン処理部11を介して、対応する周波数帯域の入力信号X(k)に乗じられる。
The smoothing
残響時間判定部24は、前述の残響特性で音響パワーの対数値が時間経過とともに直線的に減少する性質を利用して推定される残響時間の長短を判定する役割を有する。すなわち、残響時間判定部24は、入力されたエンベロープ信号E(k)を平滑化するともにリニア値から対数値(dB)の信号に変換(対数変換)し、その値を第2残響成分R2(k)として出力し、この第2残響成分R2(k)の傾き(時間的変化率)に基づいて前述のゲイン算出部22で用いるゲイン下限値を制御するための判定を行うものである。なお、エンベロープ信号E(k)の平滑化は、例えば指数移動平均の値を算出して行う。また、残響時間判定部24におけるエンベロープ信号E(k)の平滑化では、前述の残響成分推定部21と同様のパラメータを用いてもよいし、互いに異なるパラメータを用いてもよい。残響時間判定部24により実行される処理について、詳しくは後述する。
The reverberation
設定部25は、ゲイン算出部22における算出処理に用いる各種パラメータが保持されており、必要に応じてゲイン算出部22に対して所定のパラメータを設定する。例えば、設定部25には、前述の(1)式に含まれる値a、bや、前述のゲイン下限値GL1、GL2等を含む複数のゲイン下限値の値などが設定されている。なお、設定部25には、周波数帯域毎に異なるパラメータを設定してもよいが、それぞれの周波数帯域で共通に設定されるパラメータを含んでいてもよい。
The setting
以下、図1とともに、図3に示すフローチャートを用いて、主に残響時間判定部24において実行される具体的な処理の流れについて説明する。図3に示すように、残響時間判定部24では、前述した通りエンベロープ信号E(k)に基づいて第2残響成分R2(k)を生成し(ステップS1)、第2残響成分R2(k)の時間的変化率である傾きを算出する(ステップS2)。この場合、第2残響成分R2(k)が時間的に減少している状況で、短期の間隔で抽出した2値の差分値を求めることにより傾きを求めることができる。本実施形態では、便宜上、第2残響成分R2(k)の傾き(負)について、その絶対値Sを用いて説明する。なお、ゲイン下限値は、音響空間の残響時間が変化したときに変更されればよいので、第2残響成分R2(k)の傾きとして、数秒から十数秒における、第2残響成分R2(k)が時間的に減少している区間の傾きの平均値を用いてもよい。
Hereinafter, a specific flow of processing mainly executed by the reverberation
続いて、ステップS2で算出した傾きの絶対値Sと予め設定される所定値Tとの大小関係を判定する(ステップS3)。その結果、S>Tを満たすと判定されたときは(ステップS3:YES)、残響時間が短い場合に用いるゲイン下限値GL1(本発明の第1の下限値)に設定する(ステップS4)。一方、S>Tを満たさないと判定されたときは(ステップS3:NO)、残響時間が長い場合に用いるゲイン下限値GL2((本発明の第2の下限値:GL2<GL1)に設定する(ステップS5)。これ以降、設定されたゲイン下限値GL1又はGL2がゲイン算出部22で用いられる。
Subsequently, the magnitude relationship between the absolute value S of the slope calculated in step S2 and the predetermined value T set in advance is determined (step S3). As a result, when it is determined that S> T is satisfied (step S3: YES), the gain lower limit value GL1 (first lower limit value of the present invention) used when the reverberation time is short is set (step S4). On the other hand, when it is determined that S> T is not satisfied (step S3: NO), the gain lower limit value GL2 ((second lower limit value of the present invention: GL2 <GL1)) used when the reverberation time is long is set. (Step S5) From this point onward, the set lower limit gain value GL1 or GL2 is used by the
ここで、図4は、残響時間判定部24によるステップS3の判定結果に関連し、第2残響成分R2(k)の2通りの波形及びその傾きの絶対値Sの例を示している。それぞれ、第2残響成分R2(k)が減少に転じてから所定の時間が経過した状況において、図4(A)は残響時間が長い場合の例であり、図4(B)は残響時間が短い場合の例である。いずれも、第2残響成分R2(k)のパワー(対数値:dB)が直線的に減少することがわかる。そして、残響時間が長い図4(A)では、第2残響成分R2(k)が緩やかな傾きで減少するのに対し、残響時間が短い図4(B)では、第2残響成分R2(k)が急峻な傾きで減少していく。
Here, FIG. 4 shows an example of two waveforms of the second reverberation component R2 (k) and the absolute value S of the slope thereof, in relation to the determination result of step S3 by the reverberation
図4に示す所定のタイミングt1において、それぞれの第2残響成分R2に関し、図4(A)の傾きの絶対値Sa及び図4(B)の傾きの絶対値Sbがそれぞれ得られ、Sa<Sbの関係となる。この場合、所定値Tが、Sa<T<Sbの関係に設定されていれば、図4(A)ではステップS3でSa<TとなってステップS5に進むが、図4(B)ではステップS3でSb>TとなってステップS4に進むことになる。つまり、残響時間が長い図4(A)では小さいゲイン下限値GL2が設定され、残響時間が短い図4(B)では大きいゲイン下限値GL1が設定される。なお、2通りのゲイン下限値GL1、GL2の具体例としては、例えば、GL1=0dB、GL2=-30dBのように設定することができる。 At a predetermined timing t1 shown in FIG. 4, the absolute value Sa of the slope of FIG. 4A and the absolute value Sb of the slope of FIG. 4B are obtained for each second reverberation component R2, and Sa <Sb. It becomes a relationship of. In this case, if the predetermined value T is set in the relationship of Sa <T <Sb, in FIG. 4 (A), Sa <T in step S3 and the process proceeds to step S5, but in FIG. 4 (B), the step In S3, Sb> T, and the process proceeds to step S4. That is, in FIG. 4A having a long reverberation time, a small gain lower limit value GL2 is set, and in FIG. 4B having a short reverberation time, a large gain lower limit value GL1 is set. As specific examples of the two gain lower limit values GL1 and GL2, for example, GL1 = 0 dB and GL2 = -30 dB can be set.
以上説明したように、本発明に係る残響抑制装置においては、残響時間判定部24により図3の処理を行うことにより、残響時間の長短に応じてゲイン算出部22で適用されるゲイン下限値の値を適切に設定することが可能となる。すなわち、他の部屋へ移動するなど、音響空間の残響時間に変化が生じた場合、残響時間が長い音響空間では、ステップS1~S3を経てS>Tを満たさないと判断されるので、相対的に小さいゲイン下限値GL2が設定され、十分な残響抑制を行うことができる。これに対し、残響時間が短い音響空間では、ステップS1~S3を経てS>Tを満たすと判断されるので、相対的に大きいゲイン下限値GL1が設定され、不要な残響抑制に伴う使用者の違和感を防止することができる。また、本発明に係る残響抑制装置では、図3に示す簡素な処理を採用しているので、残響時間自体を算出するための複雑な演算処理が不要となる。
As described above, in the reverberation suppression device according to the present invention, by performing the processing of FIG. 3 by the reverberation
なお、本実施形態では、残響時間判定部24の判定結果に応じて、2通りのゲイン下限値GL1、GL2を切り替える制御について説明したが、より多くのゲイン下限値を切り替える制御に対しても本発明の適用が可能である。すなわち、残響時間判定部24において、第2残響成分R2(k)の傾きの絶対値Sを複数の所定値と順次対比することで多数の判定結果を導き、判定結果に連動して多数のゲイン下限値の中から最適なものを選択することで、きめ細かいゲイン制御及び残響抑制を実現することができる。また、第2残響成分R2(k)の傾きの関数として、連続的にゲイン下限値を変化させてもよい。この場合、傾きである時間的変化率(負)が小さい場合は、大きい場合に比べて、ゲイン下限値が大きくなるように変化させる必要がある。
In the present embodiment, the control for switching between the two gain lower limit values GL1 and GL2 according to the determination result of the reverberation
本発明に係る残響抑制装置には多様な用途や機器に適用することができる。図5は、本発明に係る残響抑制装置を補聴器に適用した場合の構成例を示している。図5に示す補聴器において、分析フィルタバンク10、合成フィルタバンク12、エンベロープ信号生成部20、残響成分推定部21、ゲイン算出部22、スムージング処理部23、残響時間判定部24、設定部25については、図1と同様であるが、入力側のマイクロホン30と、ゲイン処理部11を含む補聴処理部31と、出力側のレシーバ32とが設けられる。
The reverberation suppression device according to the present invention can be applied to various uses and devices. FIG. 5 shows a configuration example when the reverberation suppressing device according to the present invention is applied to a hearing aid. In the hearing aid shown in FIG. 5, the
マイクロホン30は、外部から入力される音を電気信号に変換し、分析フィルタバンク10への入力信号として出力する。補聴処理部31は、分析フィルバンク10から出力された複数の周波数帯域毎の入力信号X(k)に対し、各々の使用者の聴力に応じたゲイン調整や使用環境に応じたノイズキャンセルなどの補聴処理を施す機能を有し、図1のゲイン処理部11と同様の機能を実現する構成要素を含んでいる。レシーバ32は、例えば、使用者の外耳道内に設置され、補聴処理部31からの出力信号を音に変換して外耳道内の空間に出力する。図5に示す補聴器においても、本実施形態で説明した残響抑制装置と同様の作用効果を得ることができ、使用者の違和感を低減して快適な補聴器を実現することが可能となる。
The
また、本発明に係る残響抑制装置は、補聴器以外の多様な機器に適用することができる。すなわち、図1や図5の各構成を具備し、本発明の機能を実現可能であれば、単独で、あるいは他の機器に組み込んで本発明を適用することができる。このような用途において、各構成要素は多様な形態の処理を採用して実現可能であり、その構成や各種設定などについても多様な選択が可能である。 Further, the reverberation suppressing device according to the present invention can be applied to various devices other than hearing aids. That is, the present invention can be applied by itself or by incorporating the present invention into other devices as long as it has the configurations shown in FIGS. 1 and 5 and the functions of the present invention can be realized. In such applications, each component can be realized by adopting various forms of processing, and various selections can be made regarding the configuration and various settings.
10…分析フィルタバンク
11…ゲイン処理部
12…合成フィルタバンク
20…エンベロープ信号生成部
21…残響成分推定部
22…ゲイン算出部
23…スムージング処理部
24…残響時間判定部
25…設定部
30…マイクロホン
31…補聴処理部
32…レシーバ
10 ...
Claims (6)
前記エンベロープ信号と当該エンベロープ信号に応じて推定される第1残響成分と所定のゲイン下限値に基づき前記入力信号に対する基本的なゲインを算出し、前記エンベロープ信号と前記第1残響成分の大小関係に応じた第1の区間の前記ゲインを前記ゲイン下限値に設定する残響抑制部と、
前記エンベロープ信号を平滑化するとともに対数値に変換して第2残響成分を生成し、前記第2残響成分の時間的変化率に応じて推定される残響時間の長短を判定する残響時間判定部と、
前記入力信号に対し、前記残響抑制部により出力された前記ゲインを乗じるゲイン処理部と、
を備え、
前記ゲイン下限値が前記残響時間判定部の判定結果に応じて制御されることを特徴とする残響抑制装置。 An envelope signal generator that estimates the envelope of the input signal and generates an envelope signal,
The basic gain for the input signal is calculated based on the envelope signal, the first reverberation component estimated according to the envelope signal, and a predetermined gain lower limit value, and the magnitude relationship between the envelope signal and the first reverberation component is determined. A reverberation suppression unit that sets the gain in the corresponding first section to the lower limit value of the gain,
A reverberation time determination unit that smoothes the envelope signal and converts it into a logarithmic value to generate a second reverberation component, and determines the length of the reverberation time estimated according to the temporal change rate of the second reverberation component. ,
A gain processing unit that multiplies the input signal by the gain output by the reverberation suppression unit.
Equipped with
A reverberation suppressing device, characterized in that the lower limit value of the gain is controlled according to a determination result of the reverberation time determination unit.
前記エンベロープ信号の移動平均を前記第1残響成分として算出する残響成分推定部と、
前記エンベロープ信号と前記第1残響成分との大小関係に応じて、前記入力信号に対する基本的なゲインを算出するとともに、前記ゲインが前記ゲイン下限値に満たない場合は前記ゲインを前記ゲイン下限値に設定するゲイン算出部と、
を含んで構成されることを特徴とする請求項1又は2に記載の残響抑制装置。 The reverberation suppression unit is
A reverberation component estimation unit that calculates the moving average of the envelope signal as the first reverberation component, and
The basic gain for the input signal is calculated according to the magnitude relationship between the envelope signal and the first reverberation component, and when the gain is less than the lower limit of the gain, the gain is set to the lower limit of the gain. Gain calculation unit to set and
The reverberation suppressing device according to claim 1 or 2, wherein the reverberation suppressing device is configured to include.
前記ゲイン処理部から出力される前記複数の周波数帯域の成分を合成して出力信号を生成する合成フィルタバンクと、
を更に備え、
前記複数の周波数帯域に対応する複数の前記エンベロープ信号生成部、複数の前記残響時間判定部、複数の前記残響抑制部がそれぞれ設けられることを特徴とする請求項1に記載の残響抑制装置。 An analysis filter bank that divides an external input signal into a plurality of the input signals that are components of a plurality of frequency bands, and an analysis filter bank.
A synthetic filter bank that generates an output signal by synthesizing the components of the plurality of frequency bands output from the gain processing unit, and
Further prepare
The reverberation suppression device according to claim 1, wherein the plurality of envelope signal generation units, the plurality of reverberation time determination units, and the plurality of reverberation suppression units corresponding to the plurality of frequency bands are provided.
電気信号を音に変換するレシーバと、
前記マイクロホンの出力信号から抽出される入力信号のエンベロープを推定してエンベロープ信号を生成するエンベロープ信号生成部と、
前記エンベロープ信号と当該エンベロープ信号に応じて推定される第1残響成分とに基づき前記入力信号に対するゲインを算出し、前記エンベロープ信号と前記第1残響成分の大小関係に応じた第1の区間には前記ゲインを所定のゲイン下限値に設定する残響抑制部と、
前記エンベロープ信号を平滑化するとともに対数値に変換して第2残響成分を生成し、前記第2残響成分の時間的変化率に応じて推定される残響時間の長短を判定する残響時間判定部と、
前記入力信号に対し、前記残響抑制部により出力された前記ゲインを乗じるゲイン処理部を含む補聴処理部と、
を備え、
前記ゲイン下限値は、前記残響時間判定部の判定結果に応じて制御されることを特徴とする補聴器。 A microphone that converts sound into an electrical signal,
A receiver that converts electrical signals into sound,
An envelope signal generator that estimates the envelope of the input signal extracted from the output signal of the microphone and generates an envelope signal,
The gain for the input signal is calculated based on the envelope signal and the first reverberation component estimated according to the envelope signal, and the first section corresponding to the magnitude relationship between the envelope signal and the first reverberation component is set. A reverberation suppression unit that sets the gain to a predetermined lower limit value,
A reverberation time determination unit that smoothes the envelope signal and converts it into a logarithmic value to generate a second reverberation component, and determines the length of the reverberation time estimated according to the temporal change rate of the second reverberation component. ,
A hearing aid processing unit including a gain processing unit that multiplies the input signal by the gain output by the reverberation suppression unit.
Equipped with
The hearing aid is characterized in that the lower limit value of the gain is controlled according to the determination result of the reverberation time determination unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018151839A JP7083724B2 (en) | 2018-08-10 | 2018-08-10 | Reverberation suppressor and hearing aid |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018151839A JP7083724B2 (en) | 2018-08-10 | 2018-08-10 | Reverberation suppressor and hearing aid |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020028016A JP2020028016A (en) | 2020-02-20 |
JP7083724B2 true JP7083724B2 (en) | 2022-06-13 |
Family
ID=69622229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018151839A Active JP7083724B2 (en) | 2018-08-10 | 2018-08-10 | Reverberation suppressor and hearing aid |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7083724B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200475975Y1 (en) | 2013-11-29 | 2015-01-21 | (주)아모레퍼시픽 | Opening device for cover of foundation container stored contents |
KR200477194Y1 (en) | 2013-11-29 | 2015-05-18 | (주)아모레퍼시픽 | Device for feeding a lipstick container and discharging a molded lipatick container |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137806A1 (en) * | 2020-12-25 | 2022-06-30 | パナソニックIpマネジメント株式会社 | Ear-mounted type device and reproduction method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011065128A (en) | 2009-08-20 | 2011-03-31 | Mitsubishi Electric Corp | Reverberation removing device |
JP2015161814A (en) | 2014-02-27 | 2015-09-07 | ヤマハ株式会社 | Acoustic processor |
JP2016054421A (en) | 2014-09-03 | 2016-04-14 | リオン株式会社 | Reverberation suppression device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5361380A (en) * | 1976-11-13 | 1978-06-01 | Takayoshi Hirata | Device for measuring time of reverberation |
-
2018
- 2018-08-10 JP JP2018151839A patent/JP7083724B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011065128A (en) | 2009-08-20 | 2011-03-31 | Mitsubishi Electric Corp | Reverberation removing device |
JP2015161814A (en) | 2014-02-27 | 2015-09-07 | ヤマハ株式会社 | Acoustic processor |
JP2016054421A (en) | 2014-09-03 | 2016-04-14 | リオン株式会社 | Reverberation suppression device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200475975Y1 (en) | 2013-11-29 | 2015-01-21 | (주)아모레퍼시픽 | Opening device for cover of foundation container stored contents |
KR200477194Y1 (en) | 2013-11-29 | 2015-05-18 | (주)아모레퍼시픽 | Device for feeding a lipstick container and discharging a molded lipatick container |
Also Published As
Publication number | Publication date |
---|---|
JP2020028016A (en) | 2020-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3110169B1 (en) | Acoustic processing device, acoustic processing method, and acoustic processing program | |
TWI463817B (en) | System and method for adaptive intelligent noise suppression | |
JP5347902B2 (en) | Sound processor | |
KR101500254B1 (en) | Apparatus, method and computer readable medium for determining a measure for a perceived level of reverberation, and audio processor, method of processing an audio signal and computer readable medium for generating a mix signal from a direct signal component | |
JP5439200B2 (en) | Background noise estimation | |
KR101231866B1 (en) | Hearing aid for cancelling a feedback noise and controlling method therefor | |
JP7083724B2 (en) | Reverberation suppressor and hearing aid | |
JP6351538B2 (en) | Multiband signal processor for digital acoustic signals. | |
JP6312826B2 (en) | Hearing aid system operating method and hearing aid system | |
EP2015604A1 (en) | Generation of probe noise in a feedback cancellation system | |
JP6371167B2 (en) | Reverberation suppression device | |
US11265651B2 (en) | Vibration output apparatus and computer-readable, non-transitory storage medium storing vibration output program | |
US9997171B2 (en) | Multi-band signal processor for digital audio signals | |
CN106911993A (en) | With the hearing devices that acoustic impluse suppresses | |
JP2016515342A (en) | Noise reduction method and system | |
CN113299316A (en) | Estimating a direct to reverberant ratio of a sound signal | |
JP6857344B2 (en) | Equipment and methods for processing audio signals | |
CN112437957A (en) | Imposed gap insertion for full listening | |
JP7264594B2 (en) | Reverberation suppression device and hearing aid | |
JP5316127B2 (en) | Sound processing apparatus and program | |
JP6531418B2 (en) | Signal processor | |
JP6482117B2 (en) | Signal processing apparatus and method, and method for adjusting hearing aid characteristics | |
Vashkevich et al. | Speech enhancement in a smartphone-based hearing aid | |
JP2014219470A (en) | Speech processing device and program | |
JP2021157134A (en) | Signal processing method, signal processing device and hearing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7083724 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |