JP2007281699A - Reverberation adding device and reverberation adding program - Google Patents
Reverberation adding device and reverberation adding program Download PDFInfo
- Publication number
- JP2007281699A JP2007281699A JP2006103393A JP2006103393A JP2007281699A JP 2007281699 A JP2007281699 A JP 2007281699A JP 2006103393 A JP2006103393 A JP 2006103393A JP 2006103393 A JP2006103393 A JP 2006103393A JP 2007281699 A JP2007281699 A JP 2007281699A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- delayed
- ear signal
- left ear
- right ear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
この発明は、音像の定位感や自然な残響感を再現する残響付加装置及び残響付加プログラムに関するものである。 The present invention relates to a reverberation adding apparatus and a reverberation adding program for reproducing a sense of localization of a sound image and a natural reverberation.
従来より、ヘッドホンや2つ以上のスピーカを用いて、仮想的に空間の特定の位置に音源が存在するかのように、音像定位感や残響感を再現する残響付加装置が知られている。
例えば、以下の非特許文献1には、次のような残響付加装置が開示されている。
2. Description of the Related Art Conventionally, a reverberation adding device that reproduces a sense of sound image localization and reverberation using a headphone or two or more speakers as if a sound source virtually exists at a specific position in space is known.
For example, the following
即ち、残響付加装置は、予め、任意の部屋における特定の位置から、特定の位置に存在する人間の両耳までの伝達特性(Head Related Transfer Function:以下、HRTFと称する)を測定又は推定しておき、その伝達特性を入力音源に畳み込むことにより、両耳に到達すると思われる信号を生成する。
そして、残響付加装置は、ヘッドホンなどの再生機器を用いて、上記の生成信号を両耳に提示することにより、任意の空間の特定の位置に音源があるかのように、音像の定位感や残響感を再現するようにしている。
That is, the reverberation adding device previously measures or estimates a transfer characteristic (Head Related Transfer Function: hereinafter referred to as HRTF) from a specific position in an arbitrary room to human ears existing at the specific position. Then, by convolving that transfer characteristic into the input sound source, a signal that seems to reach both ears is generated.
The reverberation adding device presents the generated signal to both ears using a playback device such as headphones, so that the sound image has a sense of localization as if there is a sound source at a specific position in an arbitrary space. The reverberation is reproduced.
ただし、残響の有る部屋のHRTFは、一般的に数百ミリ秒〜数秒という長い間にまで及んで残響時間が継続するが、伝達特性であるHRTFを単純に測定してインパルス応答として畳み込み演算を行うには、極めて多くの演算量がかかることが知られている。
例えば、残響の継続時間が1秒である場合において、入力音源のサンプリング周波数が48kHzであるとすると、4600MIPS以上の莫大な演算量がかかることになる。
したがって、上記の残響付加装置が音像定位感や残響感を実現するには、H/W規模の増大につながり経済的ではない。
However, HRTFs in rooms with reverberations generally last for a long period of several hundred milliseconds to several seconds, but the reverberation time continues. However, the HRTF, which is a transfer characteristic, is simply measured and the convolution operation is performed as an impulse response. It is known that an extremely large amount of calculation is required to perform.
For example, if the reverberation duration is 1 second and the sampling frequency of the input sound source is 48 kHz, an enormous amount of computation of 4600 MIPS or more is required.
Therefore, in order for the above reverberation adding device to achieve a sense of sound image localization and reverberation, the H / W scale increases, which is not economical.
ところで、残響がない自由空間や無響空間における特定の位置から両耳までのHRTFの継続時間は、有響空間における継続時間と比較して極めて短い継続時間長である。例えば、継続時間長は5ミリ秒程度である。
継続時間長が5ミリ秒であるとき、入力音源のサンプリング周波数が上記と同様に48kHzであるとすると、演算量が23MIPS程度で済むため、無響空間と有響空間での音像定位処理は、その処理量に極めて大きな差があることが分かる。ただし、残響のない音像定位処理では、方向感は得られるが、距離感や自然な音場感が得られないという欠点がある。
By the way, the duration of the HRTF from a specific position to both ears in a free space or an anechoic space where there is no reverberation is an extremely short duration compared to the duration in the anechoic space. For example, the duration is about 5 milliseconds.
When the duration time is 5 milliseconds and the sampling frequency of the input sound source is 48 kHz as described above, the calculation amount is only about 23 MIPS, so the sound image localization processing in the anechoic space and the anechoic space is It can be seen that there is a very large difference in the processing amount. However, sound image localization processing without reverberation provides a sense of direction, but has a drawback that a sense of distance and a natural sound field cannot be obtained.
ここで、人間が聞いている残響や反射音というのは、音源から出力された音波が、壁や障害物などに当たり、この音波がはね返ってきたものが両耳に到達したものである。言い換えれば、様々な方向から時間差を伴って音波が次々と到来してくると言える。
このような残響の性質を利用している残響付加装置が以下の特許文献1に開示されている。
Here, the reverberation and reflection sound that human beings hear is a sound wave output from a sound source hits a wall or an obstacle, and the sound wave rebounds to reach both ears. In other words, it can be said that sound waves arrive one after another from various directions with a time difference.
A reverberation adding device using such reverberation properties is disclosed in
即ち、以下の特許文献1に開示されている残響付加装置では、直接音の音像定位処理を実施し、直接音の次に到達する1次反射音を直接音と1次反射音が到達する時間差分だけ、1次反射音の音像定位処理結果を示す信号を遅延させる。
次に、1次反射音が到達する方向の音像定位処理を実施し、その音像定位処理結果を示す信号を直接音の音像定位処理結果を示す信号に加算する。
この操作を2次反射音、3次反射音・・・N次反射音と、次々と反射波が到達すると想定される度に行うことで、任意の空間の残響特性を付与するようにしている。
That is, in the reverberation adding device disclosed in
Next, sound image localization processing in the direction in which the primary reflected sound arrives is performed, and a signal indicating the sound image localization processing result is added to a signal indicating the direct sound image localization processing result.
By performing this operation every time it is assumed that the reflected wave reaches the secondary reflection sound, the tertiary reflection sound... The Nth reflection sound, and the reverberation characteristic of an arbitrary space is given. .
従来の残響付加装置は以上のように構成されているので、任意の空間の残響を付加するには、反射音の方向と、その反射音と直接音の時間差を算出する必要があるが、一般に、反射音の方向や時間差を算出するのは困難であり、多大な演算を要する課題があった。
また、反射音は、ランダムに近い方向から次々と無数に両耳まで到達するため、無数の反射音を再現するには、極めて多くの反射音を生成する必要がある。したがって、自然な残響感を得ようとすると、H/W規模が増大するため経済的でないという課題もあった。
例えば、100個の反射波(一般的には非常に少ない数である)で、任意の部屋の残響感を得ようとすると、遅延処理に対する演算量を無視したとしても、2300MIPS以上の多くの演算量がかかる。
なお、一般的に、壁などによって反射した音波は周波数特性が変形する。通常、高域の音波ほど、よく壁に吸収されるため、反射音は壁に反射する度に高域成分が減衰するが、従来の残響付加装置では、反射音の周波数特の変形を付与できず、自然な残響感を再現することができない課題もあった。
Since the conventional reverberation adding device is configured as described above, in order to add reverberation in an arbitrary space, it is necessary to calculate the direction of the reflected sound and the time difference between the reflected sound and the direct sound. In addition, it is difficult to calculate the direction and time difference of the reflected sound, and there is a problem that requires a lot of calculation.
In addition, since the reflected sounds reach the both ears innumerably from directions close to random, it is necessary to generate an extremely large number of reflected sounds in order to reproduce the countless reflected sounds. Therefore, when trying to obtain a natural feeling of reverberation, there is a problem that the H / W scale increases, which is not economical.
For example, with 100 reflected waves (generally a very small number), if an attempt is made to obtain the reverberation of an arbitrary room, even if the amount of computation for delay processing is ignored, many computations of 2300 MIPS or more It takes a lot.
In general, a sound wave reflected by a wall or the like is deformed in frequency characteristics. Normally, the higher the sound wave, the better the sound is absorbed by the wall, so the reflected sound attenuates the high-frequency component each time it is reflected by the wall. There was also a problem that a natural reverberation could not be reproduced.
この発明は上記のような課題を解決するためになされたもので、極めて少ない演算量で自然な残響感を再現することができる残響付加装置及び残響付加プログラムを得ることを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to obtain a reverberation adding apparatus and a reverberation adding program capable of reproducing a natural reverberation feeling with an extremely small amount of calculation.
この発明に係る残響付加装置は、入力信号に対する音像定位処理を実施して左耳信号と右耳信号を生成する音像定位手段と、音像定位手段により生成された左耳信号に遅延後の右耳信号を加算するとともに、音像定位手段により生成された右耳信号に遅延後の左耳信号を加算する信号加算手段とを設け、信号帰還手段が信号加算手段により遅延後の右耳信号が加算された左耳信号を一定時間遅延して、遅延後の左耳信号を信号加算手段に帰還させるとともに、信号加算手段により遅延後の左耳信号が加算された右耳信号を一定時間遅延して、遅延後の右耳信号を信号加算手段に帰還させるようにしたものである。 The reverberation adding apparatus according to the present invention includes a sound image localization unit that performs sound image localization processing on an input signal to generate a left ear signal and a right ear signal, and a right ear that is delayed by the left ear signal generated by the sound image localization unit. And a signal adding means for adding the delayed left ear signal to the right ear signal generated by the sound image localization means, and the signal feedback means adds the delayed right ear signal by the signal adding means. The left ear signal is delayed for a certain time, the delayed left ear signal is fed back to the signal adding means, and the right ear signal to which the delayed left ear signal is added by the signal adding means is delayed for a certain time, The delayed right ear signal is fed back to the signal adding means.
この発明によれば、入力信号に対する音像定位処理を実施して左耳信号と右耳信号を生成する音像定位手段と、音像定位手段により生成された左耳信号に遅延後の右耳信号を加算するとともに、音像定位手段により生成された右耳信号に遅延後の左耳信号を加算する信号加算手段とを設け、信号帰還手段が信号加算手段により遅延後の右耳信号が加算された左耳信号を一定時間遅延して、遅延後の左耳信号を信号加算手段に帰還させるとともに、信号加算手段により遅延後の左耳信号が加算された右耳信号を一定時間遅延して、遅延後の右耳信号を信号加算手段に帰還させるように構成したので、極めて少ない演算量で自然な残響感を再現することができる効果がある。 According to the present invention, sound image localization means for generating a left ear signal and a right ear signal by performing sound image localization processing on the input signal, and adding the delayed right ear signal to the left ear signal generated by the sound image localization means And a signal adding means for adding the delayed left ear signal to the right ear signal generated by the sound image localization means, and the signal feedback means adds the delayed right ear signal by the signal adding means. The signal is delayed for a certain time, the delayed left ear signal is fed back to the signal adding means, and the right ear signal to which the delayed left ear signal is added by the signal adding means is delayed for a certain time, Since the configuration is such that the right ear signal is fed back to the signal adding means, there is an effect that natural reverberation can be reproduced with a very small amount of calculation.
実施の形態1.
図1はこの発明の実施の形態1による残響付加装置を示す構成図であり、図において、音像定位処理部1は例えばMPUなどが実装されている半導体集積回路等から構成されており、入力信号Inに対する音像定位処理を実施して、左耳に提示する左耳信号Lと右耳に提示する右耳信号Rを生成する処理を実施する。なお、音像定位処理部1は音像定位手段を構成している。
加算器2は音像定位処理部1により生成された左耳信号Lに遅延処理部7により遅延された右耳信号Rdを加算する。
加算器3は音像定位処理部1により生成された左耳信号Lと遅延処理部7により遅延された右耳信号Rdを任意の割合で加算して、その左耳信号Lと右耳信号Rdの加算結果を左耳信号Loutとして出力する。
FIG. 1 is a block diagram showing a reverberation adding apparatus according to
The
The
加算器4は音像定位処理部1により生成された右耳信号Rに遅延処理部6により遅延された左耳信号Ldを加算する。
加算器5は音像定位処理部1により生成された右耳信号Rと遅延処理部6により遅延された左耳信号Ldを任意の割合で加算して、その右耳信号Rと左耳信号Ldの加算結果を右耳信号Routとして出力する。
なお、加算器2〜5は信号加算手段を構成している。
The
The
The
遅延処理部6は加算器2により遅延後の右耳信号Rdが加算された左耳信号Lを一定時間遅延して、遅延後の左耳信号Ldを加算器4,5に帰還させる遅延器である。
遅延処理部7は加算器4により遅延後の左耳信号Ldが加算された右耳信号Rを一定時間遅延して、遅延後の右耳信号Rdを加算器2,3に帰還させる遅延器である。
なお、遅延処理部6,7は信号帰還手段を構成している。
The
The
The
図1の残響付加装置の構成要素である音像定位処理部1、加算器2〜5及び遅延処理部6,7が各々専用のハードウェアで構成されているものを想定しているが、図1の残響付加装置をコンピュータで構成する場合、予め、音像定位処理部1、加算器2〜5及び遅延処理部6,7の処理内容を記述したプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該プログラムを実行するようにしてもよい。
It is assumed that the sound image
次に動作について説明する。
音像定位処理部1は、音源(例えば、CDプレイヤ、DVDプレイヤ)から出力された音の信号を入力すると、その入力信号Inに対する音像定位処理を実施して、左耳に提示する左耳信号Lと右耳に提示する右耳信号Rを生成する。
ただし、音像定位処理は、例えば、上記の非特許文献1に開示されている公知の技術を使用すればよいため、詳細な説明を省略する。
Next, the operation will be described.
When the sound image
However, for the sound image localization processing, for example, a known technique disclosed in Non-Patent
加算器2は、音像定位処理部1が左耳信号Lを生成すると、その左耳信号Lに遅延処理部7により遅延された右耳信号Rdを加算する。
また、加算器4は、音像定位処理部1が右耳信号Rを生成すると、その右耳信号Rに遅延処理部6により遅延された左耳信号Ldを加算する。
When the sound image
Further, when the sound image
遅延処理部6は、加算器4,5に対する帰還ループを構成しており、加算器2により遅延後の右耳信号Rdが加算された左耳信号Lを一定時間遅延して、遅延後の左耳信号Ldを加算器4,5に帰還させる。
また、遅延処理部7は、加算器2,3に対する帰還ループを構成しており、加算器4により遅延後の左耳信号Ldが加算された右耳信号Rを一定時間遅延して、遅延後の右耳信号Rdを加算器2,3に帰還させる。
The
The
加算器3は、音像定位処理部1が左耳信号Lを生成し、遅延処理部7から遅延後の右耳信号Rdを受けると、その左耳信号Lと遅延後の右耳信号Rdを任意の割合で加算して、その左耳信号Lと右耳信号Rdの加算結果を左耳信号Loutとして出力する。
また、加算器5は、音像定位処理部1が右耳信号Rを生成し、遅延処理部6から遅延後の左耳信号Ldを受けると、その右耳信号Rと遅延後の左耳信号Ldを任意の割合で加算して、その右耳信号Rと左耳信号Ldの加算結果を右耳信号Routとして出力する。
When the sound image
Further, when the sound image
この実施の形態1では、上記の通り、音像定位処理部1から出力される左耳信号Lと右耳信号Rを一定時間遅延して、遅延後の左耳信号Ldと右耳信号Rdを左右逆側にフィードバックさせる帰還ループを設けている。
ここで、人間の顔は、ほぼ左右対称であり、例えば、左右30度方向の両耳に対する伝達関数HRTF(Head Related Transfer Function)を左右入れ替えることにより、左30度方向の伝達関数HRTFを右30度方向のHRTFとして代用することができる。このため、音像定位処理部1から出力される左耳信号Lと右耳信号Rを左右逆側にフィードバックさせると、左右反転した方向から一定時間おきに交互に繰り返し反射音が到来するような特性を得ることができる。
In the first embodiment, as described above, the left ear signal L and the right ear signal R output from the sound image
Here, the human face is substantially bilaterally symmetric. For example, the transfer function HRTF for the left 30 degrees direction is changed to the right 30 by switching the transfer function HRTF (Head Related Transfer Function) for both ears 30 degrees to the left and right. It can be used as a HRTF in the direction of degrees. For this reason, when the left ear signal L and the right ear signal R output from the sound image
図2は上記のような反射音特性の空間を表現しているイメージ図である。
図2では、リスナーの左30度方向に音源がある場合の例を示しているが、この実施の形態1によって得ることができる空間は30度方向に限定されるものではなく、音像定位処理部1によって30度方向以外のあらゆる方向に定位させても同様な効果を得ることができる。
FIG. 2 is an image diagram expressing the space of the reflected sound characteristic as described above.
FIG. 2 shows an example where the sound source is in the direction of 30 degrees to the left of the listener, but the space that can be obtained by the first embodiment is not limited to the direction of 30 degrees, and the sound image localization processing unit The same effect can be obtained even if it is localized in any direction other than the 30 degree direction by 1.
まず、音源位置である左30度方向から直接音Aがリスナーに到来する。直接音Aは、リスナーの右30度方向にある反射板(1)に向かっても進行する。
これにより、リスナーの右30度方向にある反射板(1)によって直接音Aが反射し、この反射音が右30度方向からリスナーに1次反射音Bとして到来する。1次反射音Bは、リスナーの左30度方向にある反射板(2)に向かっても進行する。
これにより、リスナーの左30度方向にある反射板(2)によって1次反射音Bが更に反射し、この反射音が左30度方向からリスナーに2次反射音Cとして到来する。
2次反射音Cは、リスナーの右30度方向にある反射板(1)に向かっても進行するので、一定時間の遅延を伴って、反射音が左右30度方向から交互に次々とリスナーに到来する。
First, the direct sound A arrives at the listener from the 30 ° left direction which is the sound source position. The direct sound A also travels toward the reflector (1) that is 30 degrees to the right of the listener.
Thereby, the sound A is directly reflected by the reflector (1) in the direction of 30 degrees to the right of the listener, and this reflected sound arrives at the listener as the primary reflected sound B from the direction of 30 degrees to the right. The primary reflected sound B also travels toward the reflector (2) in the direction of 30 degrees to the left of the listener.
Accordingly, the primary reflected sound B is further reflected by the reflector (2) in the direction of 30 degrees to the left of the listener, and this reflected sound arrives as a secondary reflected sound C from the direction of 30 degrees to the left.
Since the secondary reflected sound C also travels toward the reflector (1) in the direction of 30 degrees to the right of the listener, the reflected sound alternately turns from the left and right directions to the listener one after another with a certain time delay. To come.
図3は残響付加装置の加算器3,5から出力される左耳信号Lout及び右耳信号Routの時間応答を示すイメージ図である。
以下、図3を参照して、残響付加装置の動作を補足する。
まず、音像定位処理部1によって定位させた方向から直接音Aが到来する。
次に、音像定位処理部1によって定位させた音源方向を、正面0度方向を軸として左右反転させた方向から、遅延処理部6,7によって遅延された時間だけ遅れて1次反射音Bが到来する。
1次反射音Bの次には、正面0度方向を軸として、1次反射音Bの到来方向を左右反転させた方向(直接音Aの到来方向)から、1次反射音Bの到来時間から更に遅延処理部6,7によって遅延された時間だけ遅れて、2次反射音Cが到来する。
これにより、図3に示すように、一定の減衰率によって指数的に減衰しながら左右交互に一定時間の遅延を伴って反射音が到来するような残響特性となる。
FIG. 3 is an image diagram showing time responses of the left ear signal Lout and the right ear signal Rout output from the
Hereinafter, the operation of the reverberation adding apparatus will be supplemented with reference to FIG.
First, the sound A comes directly from the direction localized by the sound image
Next, the primary reflected sound B is delayed by the time delayed by the
Next to the primary reflected sound B, the arrival time of the primary reflected sound B from the direction in which the direction of arrival of the primary reflected sound B is reversed left and right (the direction of arrival of the direct sound A) with the 0-degree front as the axis. Then, the secondary reflected sound C arrives with a delay by the time delayed by the
As a result, as shown in FIG. 3, the reverberation characteristic is such that reflected sound arrives alternately with a delay of a certain time while being attenuated exponentially by a certain attenuation rate.
残響の継続時間は、加算器2,4で設定する帰還ループのゲインを調整することにより変更することができる。帰還ループのゲインは、遅延処理部6,7から出力される遅延後の左耳信号Ld,右耳信号Rdに対して乗算する係数のことである。
帰還ループのゲインを大きくすれば、残響の継続時間が増加し、反対に、帰還ループのゲインを小さくすれば、残響の継続時間が減少する。
The duration of reverberation can be changed by adjusting the gain of the feedback loop set by the
Increasing the gain of the feedback loop increases the duration of reverberation; conversely, decreasing the gain of the feedback loop decreases the duration of reverberation.
また、1次反射音Bの強度は、加算器3,5が遅延処理部6,7から出力される遅延後の左耳信号Ld,右耳信号Rdに乗算する係数を調整することにより変更することができる。
なお、残響の継続時間は、遅延処理部6,7による遅延量によっても調整することができる。即ち、遅延処理部6,7による遅延時間が増加する程、残響の継続時間が増加し、遅延時間が減少する程、残響の継続時間が減少する。
Further, the intensity of the primary reflected sound B is changed by adjusting the coefficients by which the
The duration of reverberation can also be adjusted by the delay amount by the
以上で明らかなように、この実施の形態1によれば、入力信号Inに対する音像定位処理を実施して左耳信号Lと右耳信号Rを生成する音像定位処理部1と、音像定位処理部1により生成された左耳信号Lに遅延後の右耳信号Rdを加算するとともに、音像定位処理部1により生成された右耳信号Rに遅延後の左耳信号Ldを加算する加算器2,4とを設け、遅延処理部6,7が加算器2により遅延後の右耳信号Rdが加算された左耳信号Lを一定時間遅延して、遅延後の左耳信号Ldを加算器4に帰還させるとともに、加算器4により遅延後の左耳信号Ldが加算された右耳信号Rを一定時間遅延して、遅延後の右耳信号Rdを加算器2に帰還させるように構成したので、極めて少ない演算量で自然な残響感を再現することができる効果を奏する。
即ち、この実施の形態1によれば、図2に示す空間や図3に示す時間応答の残響特性を、1回の音像定位処理のみで実現することができるため、極めて少ない演算量で残響を付加することができる効果を奏する。
As is apparent from the above, according to the first embodiment, the sound image
That is, according to the first embodiment, the reverberation characteristics of the space shown in FIG. 2 and the time response shown in FIG. 3 can be realized by only one sound image localization process. There is an effect that can be added.
また、この実施の形態1によれば、1次反射音の強度や残響成分の継続時間長を、帰還ループのゲインや遅延処理部6,7の遅延時間を変更するだけで調整することができる効果も奏する。
Further, according to the first embodiment, the intensity of the primary reflected sound and the duration of the reverberation component can be adjusted simply by changing the gain of the feedback loop and the delay time of the
なお、この実施の形態1では、加算器3,5が左耳信号Lout及び右耳信号Routを外部出力するものについて示したが、加算器3,5を省略するようにしてもよい。
この場合、遅延処理部6による遅延後の左耳信号Ldを左耳信号Loutとして外部出力し、遅延処理部7による遅延後の右耳信号Rdを右耳信号Routとして外部出力すればよい。
あるいは、加算器2により遅延後の右耳信号Rdが加算された左耳信号Lを左耳信号Loutとして外部出力し、加算器4により遅延後の左耳信号Ldが加算された右耳信号Rを右耳信号Routとして外部出力すればよい。
In the first embodiment, the
In this case, the left ear signal Ld delayed by the
Alternatively, the left ear signal L added with the delayed right ear signal Rd by the
実施の形態2.
図4はこの発明の実施の形態2による残響付加装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
遅延処理部11は音像定位処理部1により生成された左耳信号Lを一定時間遅延させる遅延器である。
遅延処理部12は音像定位処理部1により生成された右耳信号Rを一定時間遅延させる遅延器である。
なお、遅延処理部11,12は遅延手段を構成している。
4 is a block diagram showing a reverberation adding apparatus according to
The
The
Note that the
加算器13は遅延処理部12により遅延された右耳信号Rd2に遅延処理部18により遅延された左耳信号Ld1を加算する。
加算器14は音像定位処理部1により生成された左耳信号Lと遅延処理部12により遅延された右耳信号Rd2と遅延処理部18により遅延された左耳信号Ld1を任意の割合で加算して、その加算結果を左耳信号Loutとして出力する。
The
The
加算器15は遅延処理部11により遅延された左耳信号Ld2に遅延処理部17により遅延された右耳信号Rd1を加算する。
加算器16は音像定位処理部1により生成された右耳信号Rと遅延処理部11により遅延された左耳信号Ld2と遅延処理部17により遅延された右耳信号Rd1を任意の割合で加算して、その加算結果を右耳信号Routとして出力する。
なお、加算器13〜16は信号加算手段を構成している。
The
The
The
遅延処理部17は加算器13により遅延後の左耳信号Ld1が加算された右耳信号Rd2を一定時間遅延して、遅延後の右耳信号Rd1を加算器15,16に帰還させる遅延器である。
遅延処理部18は加算器15により遅延後の右耳信号Rd1が加算された左耳信号Ld2を一定時間遅延して、遅延後の左耳信号Ld1を加算器13,14に帰還させる遅延器である。
なお、遅延処理部17,18は信号帰還手段を構成している。
The
The
The
図4の残響付加装置の構成要素である音像定位処理部1、遅延処理部11,12、加算器13〜16及び遅延処理部17,18が各々専用のハードウェアで構成されているものを想定しているが、図4の残響付加装置をコンピュータで構成する場合、予め、音像定位処理部1、遅延処理部11,12、加算器13〜16及び遅延処理部17,18の処理内容を記述したプログラムを当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該プログラムを実行するようにしてもよい。
It is assumed that the sound image
次に動作について説明する。
音像定位処理部1は、音源から出力された音の信号を入力すると、上記実施の形態1と同様に、その入力信号Inに対する音像定位処理を実施して、左耳に提示する左耳信号Lと右耳に提示する右耳信号Rを生成する。
遅延処理部11は、音像定位処理部1が左耳信号Lを生成すると、その左耳信号Lを一定時間遅延して、遅延後の左耳信号Ld2を加算器15,16に出力する。
また、遅延処理部12は、音像定位処理部1が右耳信号Rを生成すると、その右耳信号Rを一定時間遅延して、遅延後の右耳信号Rd2を加算器13,14に出力する。
Next, the operation will be described.
When a sound signal output from a sound source is input, the sound image
When the sound image
Further, when the sound image
加算器13は、遅延処理部12から遅延後の右耳信号Rd2を受けると、遅延後の右耳信号Rd2に遅延処理部18による遅延後の左耳信号Ld1を加算する。
また、加算器15は、遅延処理部11から遅延後の左耳信号Ld2を受けると、遅延後の左耳信号Ld2に遅延処理部17による遅延後の右耳信号Rd1を加算する。
When the
Further, when the
遅延処理部17は、加算器15,16に対する帰還ループを構成しており、加算器13により遅延後の左耳信号Ld1が加算された遅延後の右耳信号Rd2を一定時間遅延して、遅延後の右耳信号Rd1を加算器15,16に帰還させる。
また、遅延処理部18は、加算器13,14に対する帰還ループを構成しており、加算器15により遅延後の右耳信号Rd1が加算された遅延後の左耳信号Ld2を一定時間遅延して、遅延後の左耳信号Ld1を加算器13,14に帰還させる。
The
The
加算器14は、音像定位処理部1から左耳信号Lを受けると、その左耳信号Lと遅延処理部12により遅延された右耳信号Rd2と遅延処理部18により遅延された左耳信号Ld1を任意の割合で加算して、その加算結果を左耳信号Loutとして出力する。
また、加算器16は、音像定位処理部1から右耳信号Rを受けると、その右耳信号Rと遅延処理部11により遅延された左耳信号Ld2と遅延処理部17により遅延された右耳信号Rd1を任意の割合で加算して、その加算結果を右耳信号Routとして出力する。
When the
When the
図5は残響付加装置の加算器14,16から出力される左耳信号Lout及び右耳信号Routの時間応答を示すイメージ図である。
以下、図5を参照して、残響付加装置の動作を補足する。
まず、音像定位処理部1によって定位させた方向から直接音Aが到来する。
次に、音像定位処理部1によって定位させた音源方向を、正面0度方向を軸として左右反転させた方向から、遅延処理部11,12によって遅延された時間だけ遅れて1次反射音Bが到来する。
1次反射音Bの次には、正面0度方向を軸として、1次反射音Bの到来方向を左右反転させた方向(直接音Aの到来方向)から、1次反射音Bの到来時間から更に遅延処理部17,18によって遅延された時間だけ遅れて、2次反射音Cが到来する。
これにより、図5に示すように、一定の減衰率によって指数的に減衰しながら左右交互に一定時間の遅延を伴って反射音が到来するような残響特性となる。
FIG. 5 is an image diagram showing time responses of the left ear signal Lout and the right ear signal Rout output from the
Hereinafter, the operation of the reverberation adding apparatus will be supplemented with reference to FIG.
First, the sound A comes directly from the direction localized by the sound image
Next, the primary reflected sound B is delayed by the time delayed by the
Next to the primary reflected sound B, the arrival time of the primary reflected sound B from the direction in which the direction of arrival of the primary reflected sound B is reversed left and right (the direction of arrival of the direct sound A) with the 0-degree front as the axis. Then, the secondary reflected sound C arrives with a delay by the time delayed by the
As a result, as shown in FIG. 5, the reverberation characteristic is such that the reflected sound arrives alternately with a certain time delay while being exponentially attenuated by a certain attenuation rate.
ただし、直接音Aの到来する時間と1次反射音Bの到来する時間との差は、遅延処理部11,12による遅延時間と等価であり、それ以降の2次反射音C、3次反射音、4次反射音、5次反射音・・・と繰り返し到来する反射音との到来時間の時間間隔は、遅延処理部17,18による遅延時間と等価である。
However, the difference between the arrival time of the direct sound A and the arrival time of the primary reflected sound B is equivalent to the delay time by the
上記実施の形態1では、リスナーと音源の距離と、リスナーと反射板(2)の距離が等しい空間の残響特性しか得ることができないが、この実施の形態2によれば、直接音Aと1次反射音Bの到来時間差と、それ以降の反射音の到来時間差を異なる値に設定することができるので、リスナーと音源の距離と、リスナーと反射板(2)の距離が異なる空間の残響特性を得ることができる効果を奏する。
例えば、遅延処理部11,12による遅延時間を長くして、遅延処理部17,18による遅延時間を短くすれば、音源位置がリスナーから遠い位置にあり、反射板(2)がリスナーから近い位置にあるような空間の残響特性を得ることができる。
逆に、遅延処理部11,12による遅延時間を短くして、遅延処理部17,18による遅延時間を長くすれば、音源位置がリスナーから近い位置にあり、反射板(2)がリスナーから遠い位置にあるような空間の残響特性を得ることができる。
In the first embodiment, only the reverberation characteristics in a space where the distance between the listener and the sound source and the distance between the listener and the reflector (2) are equal can be obtained. However, according to the second embodiment, the direct sounds A and 1 Since the arrival time difference of the next reflected sound B and the arrival time difference of the subsequent reflected sounds can be set to different values, the reverberation characteristics of the space where the distance between the listener and the sound source and the distance between the listener and the reflector (2) are different. There is an effect that can be obtained.
For example, if the delay time by the
Conversely, if the delay time by the
なお、この実施の形態2では、遅延処理部11,12を音像定位処理部1の後段に実装するものについて示したが、図6に示すように、入力信号Inを一定時間遅延させる遅延処理部19を音像定位処理部1の前段に実装するようにしても、図4の残響付加装置と同等の残響付加装置を得ることができる。なお、遅延処理部19は遅延手段を構成している。
図6の場合、遅延手段を1つの遅延処理部19で構成することができるため、図4の残響付加装置よりもメモリ資源を節約して、H/W規模を削減することができる効果を奏する。
In the second embodiment, the
In the case of FIG. 6, since the delay means can be configured by one
実施の形態3.
図7はこの発明の実施の形態3による残響付加装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
信号変形部21は加算器2により遅延後の右耳信号Rdが加算された左耳信号Lの周波数特性及び位相特性を変化させる処理を実施する。
信号変形部22は加算器4により遅延後の左耳信号Ldが加算された右耳信号Rの周波数特性及び位相特性を変化させる処理を実施する。なお、信号変形部21,22は信号変形手段を構成している。
図7では、遅延処理部6、7の前段に信号変形部21、22を設けた構成としたがこれに限らず、遅延処理部6、7の後段に信号変形部21、22を設けても良い。遅延処理は線形処理なので、信号変形部と処理順序を入れ替えても同様の効果を得ることができる。
図7では、図1の残響付加装置に信号変形部21、22を実装するものについて示したが、図4の残響付加装置に信号変形部21、22を実装するようにしてもよい。この場合、信号変形部21、22は遅延処理部17、18の前段または後段に実装するようにする。
FIG. 7 is a block diagram showing a reverberation adding apparatus according to
The
The
In FIG. 7, the
Although FIG. 7 shows that the
図8は信号変形部21,22の内部を示す構成図であり、図において、オールパスフィルタ31は加算器2,4から出力された左耳信号L(または右耳信号R)の位相特性のみを変化させる特性を有するフィルタである。
補正フィルタ32はオールパスフィルタ31から出力された左耳信号L(または右耳信号R)の周波数特性や位相特性を変形させる特性を有するフィルタである。
FIG. 8 is a block diagram showing the inside of the
The
残響付加装置が信号変形部21,22を実装している点以外は、上記実施の形態1,2と同様である。
信号変形部21のオールパスフィルタ31が、加算器2から出力された左耳信号Lの位相特性を変化させて、補正フィルタ32がオールパスフィルタ31から出力された左耳信号Lの周波数特性や位相特性を変化させることにより、特性変更後の左耳信号Lを遅延処理部6に出力する。
一方、信号変形部22のオールパスフィルタ31が、加算器4から出力された右耳信号Rの位相特性を変化させて、補正フィルタ32がオールパスフィルタ31から出力された右耳信号Rの周波数特性や位相特性を変化させることにより、特性変更後の右耳信号Rを遅延処理部7に出力する。
The reverberation adding apparatus is the same as the first and second embodiments, except that the
The all-
On the other hand, the all-
実際の部屋では、同じ特性を有する反射音が繰り返し到来するような空間は考え難いが、この実施の形態3では、信号変形部21,22のオールパスフィルタ31や補正フィルタ32が周波数特性や位相特性を変形させることにより、繰り返し到来する反射音が全て異なる性質を有する反射音にして、同じ性質の反射音が到来することを無くすることができる。
したがって、この実施の形態3では、より自然な反射音の特性を得ることができる効果を奏する。
In an actual room, it is difficult to consider a space in which reflected sound having the same characteristics repeatedly arrives. However, in the third embodiment, the all-
Therefore, the third embodiment has an effect that a more natural reflected sound characteristic can be obtained.
ここで、図9は補正フィルタ32で実現するのに好適な周波数特性の一例を示す説明図である。
図9の例では、高域の周波数成分程、より強度が低下するような特性を示している。これにより、壁の反射において、高域成分が減衰する模様を模擬することができる。
信号変形部21,22は、帰還ループによって帰還された信号が繰り返し入力されるため、例えば、1次反射音Bでは、補正フィルタ32により1回処理され、2次反射音Cでは、補正フィルタ32により2回処理されることになる。
即ち、壁で反射して高域が減衰した信号が、更に壁に反射されて、より高域成分が減衰する現象を再現することができる。
Here, FIG. 9 is an explanatory diagram showing an example of a frequency characteristic suitable for being realized by the
In the example of FIG. 9, a characteristic is shown in which the intensity decreases as the frequency component of the high frequency band decreases. Thereby, in the reflection of the wall, it is possible to simulate a pattern in which the high frequency component is attenuated.
Since the signals fed back by the feedback loop are repeatedly input to the
That is, it is possible to reproduce a phenomenon in which a signal in which a high frequency band is attenuated by reflection on a wall is further reflected on the wall and a high frequency component is attenuated.
なお、信号変形部21,22の構成は、図8の構成に限るものではなく、例えば、複数のオールパスフィルタ31を直列に接続して用いるようにしてもよい。また、オールパスフィルタ31又は補正フィルタ32のどちらか一方を省略するようにしてもよい。
また、信号変形部21,22に遅延処理やフィードフォワードパス、フィードバックパスを設けてもよい。フィードフォワードパスやフィードバックパスを設けるものは、FIRフィルタやIIRフィルタとして実現することができる。
In addition, the structure of the signal deformation |
In addition, the
1 音像定位処理部(音像定位手段)、2〜5 加算器(信号加算手段)、6,7 遅延処理部(信号帰還手段)、11,12 遅延処理部(遅延手段)、13〜16 加算器(信号加算手段)、17,18 遅延処理部(信号帰還手段)、19 遅延処理部(遅延手段)、21,22 信号変形部(信号変形手段)、31 オールパスフィルタ、32 補正フィルタ。
DESCRIPTION OF
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006103393A JP4916754B2 (en) | 2006-04-04 | 2006-04-04 | Reverberation adding device and reverberation adding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006103393A JP4916754B2 (en) | 2006-04-04 | 2006-04-04 | Reverberation adding device and reverberation adding program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007281699A true JP2007281699A (en) | 2007-10-25 |
JP4916754B2 JP4916754B2 (en) | 2012-04-18 |
Family
ID=38682725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006103393A Active JP4916754B2 (en) | 2006-04-04 | 2006-04-04 | Reverberation adding device and reverberation adding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4916754B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57145500A (en) * | 1981-06-08 | 1982-09-08 | Pioneer Electronic Corp | Reverberation sound adder |
JPS59202499A (en) * | 1983-05-02 | 1984-11-16 | 松下電器産業株式会社 | Reverberator |
JPS63254495A (en) * | 1987-04-13 | 1988-10-21 | ダイナベクタ−株式会社 | Reverberation generator |
JPH0430700A (en) * | 1990-05-24 | 1992-02-03 | Roland Corp | Sound image localization device and sound field reproducing device |
JPH0643890A (en) * | 1992-03-03 | 1994-02-18 | Fr Telecom | Method and system of giving sound field effect of audio digital signal |
JP2000138998A (en) * | 1998-10-30 | 2000-05-16 | Sony Corp | Audio processing unit and audio reproduction method |
JP2002095096A (en) * | 2000-09-14 | 2002-03-29 | Sony Corp | On-vehicle acoustic reproduction apparatus |
-
2006
- 2006-04-04 JP JP2006103393A patent/JP4916754B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57145500A (en) * | 1981-06-08 | 1982-09-08 | Pioneer Electronic Corp | Reverberation sound adder |
JPS59202499A (en) * | 1983-05-02 | 1984-11-16 | 松下電器産業株式会社 | Reverberator |
JPS63254495A (en) * | 1987-04-13 | 1988-10-21 | ダイナベクタ−株式会社 | Reverberation generator |
JPH0430700A (en) * | 1990-05-24 | 1992-02-03 | Roland Corp | Sound image localization device and sound field reproducing device |
JPH0643890A (en) * | 1992-03-03 | 1994-02-18 | Fr Telecom | Method and system of giving sound field effect of audio digital signal |
JP2000138998A (en) * | 1998-10-30 | 2000-05-16 | Sony Corp | Audio processing unit and audio reproduction method |
JP2002095096A (en) * | 2000-09-14 | 2002-03-29 | Sony Corp | On-vehicle acoustic reproduction apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP4916754B2 (en) | 2012-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022202513B2 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network | |
US10771914B2 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network | |
US5371799A (en) | Stereo headphone sound source localization system | |
KR100608025B1 (en) | Method and apparatus for simulating virtual sound for two-channel headphones | |
US9747889B2 (en) | Reverberant sound adding apparatus, reverberant sound adding method, and reverberant sound adding program | |
JP2008522483A (en) | Apparatus and method for reproducing multi-channel audio input signal with 2-channel output, and recording medium on which a program for doing so is recorded | |
US10524080B1 (en) | System to move a virtual sound away from a listener using a crosstalk canceler | |
EP3090573B1 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network | |
JP2012130009A (en) | Speaker array for virtual surround rendering | |
KR100636251B1 (en) | Method and apparatus for spatial stereo sound | |
JP2006148936A (en) | Apparatus and method to generate virtual 3d sound using asymmetry and recording medium storing program to perform the method | |
US9794717B2 (en) | Audio signal processing apparatus and audio signal processing method | |
JP2007202021A (en) | Audio signal processing apparatus, audio signal processing system, and program | |
JP4916754B2 (en) | Reverberation adding device and reverberation adding program | |
JP4357218B2 (en) | Headphone playback method and apparatus | |
US11039266B1 (en) | Binaural reproduction of surround sound using a virtualized line array | |
JP2007202020A (en) | Audio signal processing device, audio signal processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070921 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080630 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110913 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4916754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |