JP5024418B2 - Head-related transfer function convolution method and head-related transfer function convolution device - Google Patents
Head-related transfer function convolution method and head-related transfer function convolution device Download PDFInfo
- Publication number
- JP5024418B2 JP5024418B2 JP2010101167A JP2010101167A JP5024418B2 JP 5024418 B2 JP5024418 B2 JP 5024418B2 JP 2010101167 A JP2010101167 A JP 2010101167A JP 2010101167 A JP2010101167 A JP 2010101167A JP 5024418 B2 JP5024418 B2 JP 5024418B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- transfer function
- related transfer
- sound
- normalized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
Description
この発明は、リスナの耳の近傍に配置される、例えばヘッドホンの音響再生用ドライバーなどの電気音響変換手段により音響再生したときに、リスナの前方位置など、予め想定された位置に音源が仮想的に存在するように聴取できるようにするための頭部伝達関数の、音声信号への畳み込み方法および畳み込み装置に関する。 According to the present invention, when sound is reproduced by an electroacoustic conversion means such as a headphone sound reproduction driver, which is arranged in the vicinity of the listener's ear, the sound source is virtually located at a predetermined position such as the front position of the listener. The present invention relates to a convolution method and a convolution device of a head-related transfer function for enabling listening to be present in a voice signal.
例えば、リスナがヘッドホンを頭部に装着して、両耳で音響再生信号を聴取する場合において、ヘッドホンで再生する音声信号が、リスナの前方左右に設置されるスピーカに供給される通常の音声信号である場合には、再生される音像がリスナの頭の中にこもる、いわゆる頭内定位の現象が生じる。 For example, when a listener wears headphones on his / her head and listens to sound reproduction signals with both ears, normal audio signals supplied to the speakers installed on the front left and right of the listener are the audio signals reproduced with headphones. In this case, a so-called in-head localization phenomenon occurs in which the reproduced sound image is trapped in the listener's head.
この頭内定位の現象の問題を解決したものとして、例えば特許文献１（ＷＯ９５／１３６９０号公報）や特許文献２（特開平０３−２１４８９７号公報）には、仮想音像定位と呼ばれる技術が開示されている。 As a solution to this problem of localization in the head, for example, Patent Document 1 (WO95 / 13690) and Patent Document 2 (Japanese Patent Laid-Open No. 03-214897) disclose a technique called virtual sound image localization. ing.
この仮想音像定位は、ヘッドホンなどで再生したときに、あたかもリスナの前方の左右位置など、予め想定された位置に音源、例えばスピーカが存在するように再生される（仮想的に当該位置に音像を定位させる）ようにするもので、次のようにして実現される。 This virtual sound image localization is reproduced as if a sound source, for example, a speaker, is present at a pre-estimated position, such as a left-right position in front of the listener, when reproduced with headphones or the like (virtual sound image localization is virtually performed at that position). It is realized as follows.
図３０は、左右２チャンネルステレオ信号を、例えば２チャンネルステレオ用ヘッドホンで再生する場合における仮想音像定位の手法を説明するための図である。 FIG. 30 is a diagram for explaining a method of virtual sound image localization in the case where left and right two-channel stereo signals are reproduced using, for example, two-channel stereo headphones.
図３０に示すように、例えば２チャンネルステレオ用ヘッドホンなどの２個の音響再生用ドライバー（電気音響変換手段の例）が設置されると想定されるリスナの両耳の近傍の位置（測定点位置）に、マイクロホン（音響電気変換手段の例）ＭＬおよびＭＲを設置すると共に、仮想音像定位させたい位置にスピーカＳＰＬおよびＳＰＲを配置する。 As shown in FIG. 30, for example, a position (measurement point position) in the vicinity of the listener's ears where two sound reproduction drivers (examples of electroacoustic conversion means) such as 2-channel stereo headphones are assumed to be installed. ), Microphones (examples of acoustoelectric conversion means) ML and MR are installed, and speakers SPL and SPR are arranged at positions where virtual sound image localization is desired.
そして、ダミーヘッド１（または人間つまりリスナ自体でもよい）が存在する状態で、先ず、一方のチャンネル、例えば左チャンネルのスピーカＳＰＬで、例えばインパルスを音響再生し、その再生により発せられたインパルスを前記マイクロホンＭＬおよびＭＲのそれぞれでピックアップして、左チャンネル用の頭部伝達関数を測定する。この例の場合、頭部伝達関数は、インパルスレスポンスとして測定する。 Then, in a state where the dummy head 1 (or a human, that is, the listener itself) is present, first, for example, an impulse is acoustically reproduced by the speaker SPL of one channel, for example, the left channel, and the impulse generated by the reproduction is reproduced. Pick up with each of the microphones ML and MR and measure the head-related transfer function for the left channel. In this example, the head-related transfer function is measured as an impulse response.
この場合、この左チャンネル用の頭部伝達関数としてのインパルスレスポンスには、図３０に示すように、マイクロホンＭＬでピックアップした左チャンネル用のスピーカＳＰＬからの音波のインパルスレスポンス（以下、左主成分のインパルスレスポンスという）ＨＬｄと、マイクロホンＭＲでピックアップした左チャンネル用のスピーカＳＰＬからの音波のインパルスレスポンス（以下、左クロストーク成分のインパルスレスポンスという）ＨＬｃとを含む。 In this case, the impulse response as the head-related transfer function for the left channel includes, as shown in FIG. 30, an impulse response of a sound wave from the left channel speaker SPL picked up by the microphone ML (hereinafter, the left main component). HLd) and HLc of the sound wave from the left channel speaker SPL picked up by the microphone MR (hereinafter referred to as the impulse response of the left crosstalk component) HLc.
次に、右チャネルのスピーカＳＰＲで同様にインパルスを音響再生し、その再生により発せられたインパルスを前記マイクロホンＭＬおよびＭＲのそれぞれでピックアップして、右チャンネル用の頭部伝達関数、つまり、右チャンネル用のインパルスレスポンスを測定する。 Next, an impulse is similarly acoustically reproduced by the right channel speaker SPR, and the impulse generated by the reproduction is picked up by each of the microphones ML and MR, and the head related transfer function for the right channel, that is, the right channel is picked up. Measure the impulse response for
この場合、右チャンネル用の頭部伝達関数としてのインパルスレスポンスには、マイクロホンＭＲでピックアップした右チャンネル用のスピーカＳＰＲからの音波のインパルスレスポンス（以下、右主成分のインパルスレスポンスという）ＨＲｄと、マイクロホンＭＬでピックアップした右チャンネル用のスピーカＳＰＲからの音波のインパルスレスポンス（以下、左クロストーク成分のインパルスレスポンスという）ＨＲｃとを含む。 In this case, the impulse response as the head-related transfer function for the right channel includes an impulse response of a sound wave from the right channel speaker SPR picked up by the microphone MR (hereinafter referred to as an impulse response of the right main component) HRd, and a microphone. HRc of the sound wave from the right channel speaker SPR picked up by the ML (hereinafter referred to as the impulse response of the left crosstalk component) HRc.
そして、測定して得た、左チャンネル用の頭部伝達関数および右チャネル用の頭部伝達関数のインパルスレスポンスを、ヘッドホンの左右チャンネル用の音響再生用ドライバーのそれぞれに供給する音声信号に、そのまま畳み込むようにする。すなわち、左チャンネルの音声信号に対して、測定して得た左チャンネル用の頭部伝達関数としての左主成分のインパルスレスポンスおよび左クロストーク成分のインパルスレスポンスを、そのまま畳み込み、また、右チャンネルの音声信号に対して、測定して得た右チャンネル用の頭部伝達関数としての右主成分のインパルスレスポンスおよび右クロストーク成分のインパルスレスポンスを、そのまま畳み込むようにする。 The impulse responses of the head-related transfer function for the left channel and the head-related transfer function for the right channel obtained by the measurement are directly applied to the audio signals supplied to the sound reproduction drivers for the left and right channels of the headphones. Try to fold it. That is, for the left channel audio signal, the impulse response of the left main component and the left crosstalk component as the head-related transfer function for the left channel obtained by measurement are convolved as they are, and the right channel impulse response is also convolved. The impulse response of the right main component and the impulse response of the right crosstalk component as the head-related transfer function for the right channel obtained by measurement are directly convolved with the audio signal.
このようにすると、ヘッドホンの２個の音響再生用ドライバーなどで、リスナの耳の近傍で音響再生されているにもかかわらず、例えば左右２チャンネルステレオ音声の場合であれば、あたかもリスナの前方に設置された左右のスピーカで音響再生されているように音像定位（仮想音像定位）させることができる。 In this case, for example, in the case of two-channel left and right stereo sound even though sound reproduction is performed in the vicinity of the listener's ears with two sound reproduction drivers for headphones, it is as if in front of the listener. Sound image localization (virtual sound image localization) can be performed so that sound is reproduced by the left and right speakers installed.
以上は、２チャンネルの場合であるが、３チャンネル以上の多チャンネルの場合には、同様にして、それぞれのチャンネルの仮想音像定位位置にスピーカを配置して、例えばインパルスを再生し、それぞれのチャンネル用の頭部伝達関数を測定し、測定して得た頭部伝達関数のインパルスレスポンスを、ヘッドホンの左右２チャンネルの音響再生用のドライバに供給する音声信号に畳み込むようにすればよい。 The above is the case of 2 channels, but in the case of multiple channels of 3 channels or more, similarly, a speaker is arranged at the virtual sound image localization position of each channel to reproduce, for example, an impulse and each channel. For example, the head-related transfer function may be measured, and the impulse response of the head-related transfer function obtained by the measurement may be convoluted with the audio signal supplied to the sound reproduction driver for the left and right channels of the headphones.
ところで、頭部伝達関数の測定を行う場所が反射のない無響室ではないときには、測定された頭部伝達関数には、想定された音源位置（仮想音像定位位置に対応）からの直接波のみではなく、図３０において点線で示したような反射波の成分も含まれる（分離できずに含まれてしまう）ことになる。このため、従来の測定した頭部伝達関数は、反射波による成分のため、測定を行った部屋や場所などの形状や、音波を反射する壁や天井、床などの材質に応じた当該測定場所の特性が含まれたものとなっている。 By the way, when the head-related transfer function is measured in a non-reflective anechoic room, the measured head-related transfer function includes only the direct wave from the assumed sound source position (corresponding to the virtual sound image localization position). Instead, a reflected wave component as shown by a dotted line in FIG. 30 is also included (it is included without being separated). For this reason, the conventional measured head-related transfer function is a component due to the reflected wave, so the measurement location according to the shape of the room or place where the measurement was performed, or the material such as the wall, ceiling, or floor that reflects the sound wave These characteristics are included.
部屋や場所の特性を除去するためには、床、天井、壁面などからの音波の反射のない無響室で、頭部伝達関数を測定することが考えられる。 In order to remove the characteristics of the room or place, it is conceivable to measure the head-related transfer function in an anechoic room without reflection of sound waves from the floor, ceiling, wall surface or the like.
しかし、無響室で測定した頭部伝達関数をそのまま音声信号に畳み込んで、仮想音像定位させようとした場合、反射波が存在しないため、仮想音像定位位置や方向性がぼけるという問題がある。 However, when the head-related transfer function measured in the anechoic room is convolved with the audio signal as it is and virtual sound localization is attempted, there is no reflected wave, so there is a problem that the virtual sound image localization position and direction are blurred. .
そのため、従来は、音声信号にそのまま畳み込む頭部伝達関数の測定は、無響室では行わず、ある程度の響きが存在するが、特性が良いとされている部屋や場所で行うようにしているのである。そして、例えば、スタジオ、ホール、ラージルームなど、頭部伝達関数を測定した部屋や場所のメニューを、ユーザに提示して、仮想音像定位を伴う音響再生を楽しみたいユーザに、好みの部屋や場所の頭部伝達関数を、前記メニューの中から選択してもらうなどの方策が採られたりしていた。 Therefore, conventionally, the measurement of the head-related transfer function that is directly folded into the audio signal is not performed in an anechoic room, but there is a certain amount of reverberation, but it is performed in a room or place that is considered to have good characteristics. is there. Then, for example, a room or a place where a head-related transfer function is measured, such as a studio, a hall, or a large room, is presented to the user, and a user who wants to enjoy sound reproduction with virtual sound image localization can select the desired room or place. A measure such as having the head-related transfer function selected from the menu is taken.
しかしながら、上述したように、従来は、想定された音源位置の音源からの直接波のみではなく、必ず、反射波を伴うものとして、直接波と反射波のインパルスレスポンスを分離できずに両者を含む頭部伝達関数を測定して得るようにしているので、測定された場所や部屋に応じた頭部伝達関数のみしか得られず、望む周囲環境や部屋環境に応じた頭部伝達関数を得て、それを音声信号に畳み込むということが困難であった。 However, as described above, conventionally, not only the direct wave from the sound source at the assumed sound source position but also the reflected wave is necessarily accompanied by the impulse response of the direct wave and the reflected wave without being separated. Since the head-related transfer function is measured and obtained, only the head-related transfer function corresponding to the measured place and room can be obtained, and the head-related transfer function corresponding to the desired ambient environment and room environment can be obtained. It was difficult to fold it into the audio signal.
例えば、周囲に壁や障害物がない大平原において、前方にスピーカが配置されたように想定された視聴環境に応じた頭部伝達関数を音声信号に畳み込むことは困難であった。 For example, in a large plain where there are no walls or obstacles in the surroundings, it has been difficult to convolve a head-related transfer function according to a viewing environment assumed to have a speaker placed in front with an audio signal.
また、想定された所定の形状や容積、また、所定の吸音率（音波の減衰率に対応）の壁を備える部屋における頭部伝達関数を得ようとする場合には、従来は、そのような部屋を探したり、また、作製したりして、その部屋で頭部伝達関数を測定して得るようにするほかに、手立てがなかった。しかし、実際的には、そのような所望の視聴環境や部屋を探し出したり、作製したりすることは困難であり、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数を、音声信号に畳み込むことはできないというのが現状である。 In addition, when trying to obtain a head related transfer function in a room having a predetermined shape and volume, and a wall having a predetermined sound absorption rate (corresponding to the attenuation rate of sound waves), conventionally, Other than searching for and creating a room and measuring the head-related transfer function in that room, there was no way. However, in practice, it is difficult to find or create such a desired viewing environment or room, and the head-related transfer function corresponding to the desired arbitrary viewing environment or room environment is expressed as an audio signal. The current situation is that it cannot be folded.
この発明は、以上の点にかんがみ、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数の畳み込みができ、所望の仮想音像定位感が得られるようにした頭部伝達関数畳み込み方法および装置を提供することを目的とする。 In view of the above points, the present invention can convolve a head-related transfer function according to a desired arbitrary viewing environment or room environment, and can provide a desired virtual sound image localization method and a head-related transfer function convolution method. An object is to provide an apparatus.
上記の課題を解決するために、請求項１の発明は、
電気音響変換手段により音声信号が音響再生されたときに、想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記音声信号に畳み込むようにする頭部伝達関数畳み込み方法において、
前記仮想音像定位位置に音源を設置し、リスナの両耳の近傍の位置に音響電気変換手段を設置したときに、前記音源から前記音響電気変換手段への直接波の方向についての直接波方向頭部伝達関数と、前記音源から前記音響電気変換手段への、選択された１または複数の反射波の方向についての反射波方向頭部伝達関数とを、予め別々に測定して求めておく頭部伝達関数測定工程と、
前記求められた、前記直接波方向頭部伝達関数と、前記選択された１または複数の反射波の方向についての反射波方向頭部伝達関数とを、前記音声信号に畳み込む工程と、
を有し、
前記頭部伝達関数測定工程は、
前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた測定用音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた測定用音波のみから頭部伝達関数を測定する第１の工程と、
前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた測定用音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた測定用音波のみから素の状態の伝達特性を測定する第２の工程と、
前記第１の工程で測定された前記頭部伝達関数を、前記第２の工程で測定された前記素の状態の伝達特性により正規化して、前記電気音響変換手段および前記音響電気変換手段の特性を排除した正規化頭部伝達関数を得る第３の工程と、
を有し、
前記直接波方向頭部伝達関数および前記反射波方向頭部伝達関数は、前記正規化頭部伝達関数である
頭部伝達関数畳み込み方法を提供する。
In order to solve the above problems, the invention of claim 1
When a sound signal is acoustically reproduced by the electroacoustic conversion means, a head-related transfer function for causing the sound image to be listened to be localized at an assumed virtual sound image localization position is convolved with the sound signal. In the head related transfer function convolution method,
When the sound source is installed at the virtual sound image localization position and the acoustoelectric conversion means is installed at a position near both ears of the listener, the direct wave direction head of the direct wave direction from the sound source to the acoustoelectric conversion means A head obtained by separately measuring a head-related transfer function and a reflected wave direction head-related transfer function with respect to the direction of one or more selected reflected waves from the sound source to the acoustoelectric converter A transfer function measurement process;
Convolving the determined direct wave direction head-related transfer function and the reflected wave direction head-related transfer function for the selected one or more reflected wave directions into the audio signal;
Have
The head related transfer function measurement step includes:
In the state where a dummy head or a human is present at the position of the listener, the measurement sound wave emitted at the assumed sound source position is picked up by the acoustoelectric conversion means, and the measurement sound wave directly reaches the acoustoelectric conversion means A first step of measuring the head-related transfer function only from,
The sound wave for measurement emitted at the assumed sound source position by the acoustoelectric conversion means in a state in which the dummy head or the human is not present is picked up by the acoustoelectric conversion means, and directly reaches the acoustoelectric conversion means. A second step of measuring the transmission characteristic of the elementary state from only,
The head-related transfer function measured in the first step is normalized by the transfer characteristic of the elementary state measured in the second step, and the characteristics of the electroacoustic conversion means and the acoustoelectric conversion means A third step of obtaining a normalized head related transfer function excluding
Have
The direct wave direction head-related transfer function and the reflected wave direction head-related transfer function are the normalized head-related transfer functions, and provide a head-related transfer function convolution method.
従来は、前述したように、直接波方向頭部伝達関数と反射波方向頭部伝達関数との両者が含まれる総合的な頭部伝達関数が測定され、そのまま音声信号に畳み込まれるのに対して、請求項１の発明においては、頭部伝達関数測定工程において、直接波方向頭部伝達関数と、反射波方向頭部伝達関数とは、予め別々に測定されて求められる。そして、求められた直接波方向頭部伝達関数と、反射波方向頭部伝達関数とが、音声信号に畳み込まれる。 Conventionally, as described above, the total head-related transfer function including both the direct-wave direction head-related transfer function and the reflected-wave direction head-related transfer function is measured and is directly folded into the audio signal. In the first aspect of the invention, in the head related transfer function measurement step, the direct wave direction head related transfer function and the reflected wave direction head related transfer function are separately measured and obtained in advance. Then, the obtained direct wave direction head-related transfer function and reflected wave direction head-related transfer function are convolved with the audio signal.
ここで、直接波方向頭部伝達関数は、想定される仮想音像定位位置に設置された音源から音響電気変換手段に直接に入射する測定用音波のみから求められた頭部伝達関数であり、反射波の成分は含まれていない。 Here, the direct wave direction head-related transfer function is a head-related transfer function obtained only from the sound wave for measurement directly incident on the acoustoelectric conversion means from the sound source installed at the assumed virtual sound image localization position, and is reflected Wave components are not included.
また、反射波方向頭部伝達関数は、想定される反射波の方向から音響電気変換手段に直接に入射する測定用音波のみから求められた頭部伝達関数であり、当該反射波の方向の音源から、いずれかに反射して音響電気変換手段に入射するような成分は含まれていない。 The reflected wave direction head-related transfer function is a head-related transfer function obtained only from a measurement sound wave that directly enters the acoustoelectric conversion means from the assumed reflected wave direction, and a sound source in the direction of the reflected wave. Therefore, a component that is reflected by any of the incident light and enters the acoustoelectric conversion means is not included.
そして、請求項１の頭部伝達関数測定工程では、上記のように、仮想音像定位位置を音源としたときの直接波の頭部伝達関数と、反射波の頭部伝達関数とが分離して求めるものであるが、このとき、反射波方向頭部伝達関数を求める反射波の方向は、想定される視聴環境や部屋環境に応じて、１または複数の反射波方向が選択される。 In the head-related transfer function measurement step of claim 1, as described above, the direct-wave head-related transfer function and the reflected-wave head-related transfer function when the virtual sound image localization position is used as a sound source are separated. At this time, one or a plurality of reflected wave directions are selected as the direction of the reflected wave for obtaining the reflected wave direction head-related transfer function according to the assumed viewing environment or room environment.
例えば、視聴環境が大平原を想定した場合には、周囲の壁や天井はなく、仮想音像定位位置に想定された音源からの直接波と、前記音源から地面あるいは床で反射される音波のみが存在するので、直接波方向頭部伝達関数と、地面または床からの反射波の方向の反射波方向頭部伝達関数とが求められ、それらの頭部伝達関数が音声信号に畳み込まれる。 For example, if the viewing environment is assumed to be a large plain, there are no surrounding walls or ceilings, only direct waves from the sound source assumed at the virtual sound image localization position and sound waves reflected from the sound source on the ground or floor. Therefore, the direct wave direction head-related transfer function and the reflected wave direction head-related transfer function in the direction of the reflected wave from the ground or the floor are obtained, and these head-related transfer functions are convolved with the audio signal.
また、視聴環境が直方体形状の通常の部屋が想定された場合には、反射波としては、リスナの周囲の壁、天井および床で反射される音波が存在するので、それぞれの反射波の方向の反射波方向頭部伝達関数が求められ、当該反射波方向頭部伝達関数と、直接波方向頭部伝達関数とが音声信号に畳み込まれる。 In addition, when a normal room with a rectangular parallelepiped shape is assumed as the viewing environment, the reflected waves include sound waves that are reflected from the wall, ceiling, and floor around the listener. A reflected wave direction head-related transfer function is obtained, and the reflected wave direction head-related transfer function and the direct wave direction head-related transfer function are convolved with the audio signal.
請求項２の発明においては、請求項１に記載の頭部伝達関数畳み込み方法において、
前記畳み込み工程では、
前記音声信号の時系列信号に対して、前記直接波および前記反射波の前記仮想音像定位位置から前記電気音響変換手段の位置までの音波の行路長に応じて定められた、前記直接波方向頭部伝達関数の畳み込み処理を開始する開始時点、および前記１または複数の反射波方向頭部伝達関数のそれぞれの畳み込み処理を開始する開始時点のそれぞれから、対応する前記直接波方向頭部伝達関数および前記反射波方向頭部伝達関数の畳み込みを実行する
ことを特徴とする。
In the invention of
In the convolution process,
The direct wave direction head determined according to the path length of the sound wave from the virtual sound image localization position of the direct wave and the reflected wave to the position of the electroacoustic conversion means with respect to the time series signal of the audio signal From the start time of starting the convolution processing of the partial transfer function and the start time of starting the convolution processing of each of the one or more reflected wave direction head related transfer functions, the corresponding direct wave direction head related transfer function and Convolution of the reflected wave direction head-related transfer function is performed.
請求項２の発明においては、直接波方向頭部伝達関数の畳み込み処理を開始する開始時点、および１または複数の反射波方向頭部伝達関数のそれぞれの畳み込み処理を開始する開始時点が、直接波および反射波の仮想音像定位位置から電気音響変換手段までの音波の行路長に応じて定められる。この場合、反射波についての行路長は、想定される視聴環境や部屋環境に応じて定められる。
In the invention of
換言すれば、想定される視聴環境や部屋環境に応じて、前記直接波や反射波についての行路長に応じたそれぞれの頭部伝達関数の畳み込み開始時点を設定することにより、想定される視聴環境や部屋環境に応じた適切な頭部伝達関数を音声信号に畳み込むことができる。 In other words, depending on the assumed viewing environment or room environment, by setting the convolution start time of each head-related transfer function according to the path length for the direct wave or reflected wave, the assumed viewing environment And an appropriate head-related transfer function according to the room environment can be convoluted with the audio signal.
また、請求項３の発明は、請求項１に記載の頭部伝達関数畳み込み方法において、
前記反射波方向頭部伝達関数は、想定される反射部における音波の減衰率に応じてゲイン調整されて前記畳み込みが実行される
ことを特徴とする。
The invention of
The reflected wave direction head-related transfer function is gain-adjusted according to a sound wave attenuation rate in the assumed reflection part, and the convolution is executed.
この請求項３においては、想定される視聴環境や部屋環境において、音波を反射する反射部の方向からの反射波方向頭部伝達関数は、当該反射部の材質などにより定まる減衰率に応じたゲイン分だけ調整されて、音声信号に畳み込まれる。これにより、請求項３の発明によれば、想定される視聴環境や部屋環境における音波の反射部での吸音などによる減衰率を考慮した頭部伝達関数を音声信号に埋め込むことができる。
In this
この発明によれば、想定した視聴環境や部屋環境に応じた適切な頭部伝達関数を音声信号に畳み込むことができる。 According to the present invention, an appropriate head-related transfer function corresponding to an assumed viewing environment or room environment can be convoluted with an audio signal.
［この発明の実施形態の概要］
上述したように、従来の頭部伝達関数の畳み込み方法においては、仮想音像定位させたいとして想定された音源位置にスピーカを設置して、当該想定された音源位置からの直接波によるインパルスレスポンスのみではなく、必ず、反射波によるインパルスレスポンスを伴うものとして（直接波と反射波とのインパルスレスポンスを分離できずに両者を含むものとして）頭部伝達関数を測定し、当該測定して得た頭部伝達関数をそのまま音声信号に畳み込むようにしていた。
[Outline of Embodiment of the Invention]
As described above, in the conventional convolution method of the head-related transfer function, a speaker is installed at a sound source position assumed to be virtual sound localization, and only an impulse response by a direct wave from the assumed sound source position is used. The head obtained by measuring the head-related transfer function as if it was accompanied by an impulse response due to the reflected wave (including that the impulse response of the direct wave and the reflected wave could not be separated) The transfer function was convolved with the audio signal as it was.
すなわち、従来は、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定してはおらず、両者が含まれる総合的な頭部伝達関数として測定していた。 That is, in the past, the direct wave head transfer function and the reflected wave head transfer function from the sound source position assumed to be virtual sound localization were not measured separately, but they are comprehensive. Measured as a simple head-related transfer function.
これに対して、この発明の実施形態においては、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定しておくようにする。 On the other hand, in the embodiment of the present invention, the direct wave head-related transfer function and the reflected wave head-related transfer function from the sound source position assumed to be virtual sound localization are measured separately. Like that.
このため、この実施形態では、測定点位置から見て、特定の方向に想定される想定音源位置からの直接波（つまり、反射波を含まない直接に測定点位置に到達する音波）についての頭部伝達関数を得るようにする。反射波の頭部伝達関数は、壁などで反射した後の音波の方向を音源方向として、その音源方向からの直接波として測定するようにする。すなわち、所定の壁に反射して測定点位置に入射する反射波を考えた場合、壁で反射した後の壁からの反射音波は、当該壁での反射位置方向に想定した音源からの音波の直接波として考えることができるからである。 For this reason, in this embodiment, as viewed from the measurement point position, the head of a direct wave from an assumed sound source position assumed in a specific direction (that is, a sound wave that directly reaches the measurement point position not including a reflected wave). A part transfer function is obtained. The head-related transfer function of the reflected wave is measured as a direct wave from the sound source direction with the direction of the sound wave reflected by the wall or the like as the sound source direction. In other words, when a reflected wave reflected on a predetermined wall and incident on the measurement point position is considered, the reflected sound wave from the wall after being reflected by the wall is the sound wave from the sound source assumed in the direction of the reflection position on the wall. This is because it can be considered as a direct wave.
したがって、この実施形態では、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数を測定するときには、当該仮想音像定位させたいとして想定された音源位置に測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置するが、仮想音像定位させたいとして想定された音源位置からの反射波の頭部伝達関数を測定するときには、測定しようとする反射波の測定点位置への入射方向に、測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置するようにする。 Therefore, in this embodiment, when measuring the head-related transfer function of the direct wave from the sound source position assumed to be virtual sound localization, the generation of the measurement sound wave at the sound source position assumed to be virtual sound localization When an electroacoustic transducer as a means, for example, a speaker, is arranged, and the head-related transfer function of the reflected wave from the sound source position assumed to be virtual sound localization is measured, the measurement point position of the reflected wave to be measured An electroacoustic transducer, for example, a speaker, as a sound wave generating means for measurement is arranged in the incident direction of the sound wave.
したがって、種々の方向からの反射波についての頭部伝達関数は、それぞれの反射波の測定点位置への入射に、測定用音波の発生手段としての電気音響変換器を設置して測定するようにする。 Therefore, the head-related transfer functions for the reflected waves from various directions are measured by installing an electroacoustic transducer as a measuring sound wave generating means at the incident of the reflected waves to the measurement point position. To do.
そして、この実施形態では、以上のようにして測定した直接波および反射波についての頭部伝達関数を音声信号に畳み込むことにより、目的とする再生音響空間における仮想音像定位を得るようにするのであるが、反射波の頭部伝達関数は、目的とする再生音響空間に応じて選択した方向の反射波についてのみ、音声信号に畳み込むようにする。 And in this embodiment, the virtual sound image localization in the target reproduction | regeneration acoustic space is obtained by convolving the head-related transfer function about the direct wave and reflected wave measured as mentioned above with an audio | voice signal. However, the head-related transfer function of the reflected wave is convolved with the audio signal only for the reflected wave in the direction selected according to the target reproduction acoustic space.
また、この実施形態では、直接波および反射波についての頭部伝達関数は、測定用音源位置から測定点位置までの音波の経路長に応じた伝播遅延分は、除去して測定するようにし、音声信号に、それぞれの頭部伝達関数を畳み込み処理する際に、測定用音源位置（仮想音像定位位置）から測定点位置（再生用音響再生手段位置）までの音波の経路長に応じた伝播遅延分を考慮するようにする。 In this embodiment, the head related transfer function for the direct wave and the reflected wave is measured by removing the propagation delay corresponding to the path length of the sound wave from the measurement sound source position to the measurement point position, Propagation delay according to the path length of the sound wave from the measurement sound source position (virtual sound image localization position) to the measurement point position (reproduction sound reproduction means position) when convolution processing of each head-related transfer function to the audio signal Consider the minutes.
これにより、部屋の大きさなどに応じて任意に設定した仮想音像定位位置についての頭部伝達関数を、音声信号に畳み込むことが可能となる。 As a result, the head-related transfer function for the virtual sound image localization position arbitrarily set according to the size of the room can be convoluted with the audio signal.
そして、反射音波の減衰率に関連する壁の材質などによる反射率あるいは吸音率などの特性は、当該壁からの直接波の利得として想定するようにする。すなわち、この実施形態では、例えば想定音源位置からの測定点位置への直接波による頭部伝達関数を、減衰無しで、音声信号に畳み込むと共に、壁からの反射音波成分については、その壁の反射位置方向に想定された音源からの直接波による頭部伝達関数を、壁の特性に応じた反射率あるいは吸音率に応じた減衰率で畳み込むようにする。 The characteristics such as the reflectance or the sound absorption coefficient due to the wall material related to the attenuation rate of the reflected sound wave are assumed as the gain of the direct wave from the wall. That is, in this embodiment, for example, a head-related transfer function by a direct wave from an assumed sound source position to a measurement point position is convolved with an audio signal without attenuation, and the reflected sound wave component from the wall is reflected from the wall. The head-related transfer function based on the direct wave from the sound source assumed in the position direction is convolved with the reflectance according to the wall characteristics or the attenuation rate according to the sound absorption coefficient.
このように頭部伝達関数を畳み込んだ音声信号の再生音を聴取するようにすれば、壁の特性に応じた反射率あるいは吸音率により、どのような仮想音像定位の状態になるかを検証することができる。 In this way, if the playback sound of the audio signal with the head-related transfer function convoluted is listened to, the virtual sound localization state will be verified by the reflectivity or sound absorption coefficient according to the wall characteristics. can do.
また、直接波の頭部伝達関数と、選択した反射波についての頭部伝達関数とを、減衰率を考慮しつつ、音声信号に畳み込んで音響再生することで、様々な部屋環境、場所環境における仮想音像定位をシミュレーションすることもできる。これは、想定音源位置からの直接波と、反射波とを分離して、頭部伝達関数として測定することにより実現が可能となったものである。 In addition, the head-related transfer function for the direct wave and the head-related transfer function for the selected reflected wave are convoluted into an audio signal while taking the attenuation rate into account, thereby reproducing the sound. Virtual sound image localization in can also be simulated. This can be realized by separating the direct wave from the assumed sound source position and the reflected wave and measuring it as a head-related transfer function.
［頭部伝達関数測定方法の実施形態］
前述したように、特定の音源からの、反射波成分を除く直接波のみについての頭部伝達関数は、例えば無響室で測定することで得ることができる。そこで、無響室において、希望する仮想音像定位位置からの直接波と、想定される複数の反射波について、頭部伝達関数を測定して、畳み込みに用いるようにする。
[Embodiment of Head Transfer Function Measurement Method]
As described above, the head-related transfer function for only the direct wave excluding the reflected wave component from a specific sound source can be obtained by measuring in an anechoic room, for example. Therefore, in the anechoic chamber, the head-related transfer function is measured for the direct wave from the desired virtual sound image localization position and a plurality of assumed reflected waves and used for convolution.
すなわち、無響室において、リスナの両耳近傍の測定点位置に、測定用音波を収音する音響電気変換手段としてのマイクロホンを設置すると共に、前記直接波および前記複数の反射波の方向の位置に測定用音波を発生する音源を設置して、頭部伝達関数の測定をするようにする。 That is, in an anechoic chamber, a microphone is installed as an acoustoelectric conversion means for picking up a measurement sound wave at a measurement point position in the vicinity of both ears of a listener, and positions in the direction of the direct wave and the plurality of reflected waves A sound source that generates a sound wave for measurement is installed in the head to measure the head-related transfer function.
ところで、無響室で頭部伝達関数を得たとしても、頭部伝達関数を測定する測定系のスピーカとマイクロホンの特性は排除することはできず、そのため、測定して得た頭部伝達関数は、測定に用いたスピーカやマイクロホンの特性の影響を受けてしまうという問題がある。 By the way, even if the head-related transfer function is obtained in an anechoic room, the characteristics of the speaker and microphone of the measurement system that measures the head-related transfer function cannot be excluded. Has the problem of being affected by the characteristics of the speaker and microphone used for the measurement.
マイクロホンやスピーカの特性の影響を除去するためには、頭部伝達関数の測定に用いるマイクロホンおよびスピーカとして、周波数特性が平坦な、特性の良い高価なマイクロホンおよびスピーカを用いることが考えられる。しかしながら、高価なマイクロホンやスピーカであっても、理想的な平坦な周波数特性は得られず、これらマイクロホンやスピーカの特性の影響を完全に除去することができず、再生音声の音質の劣化を招いてしまうことがあった。 In order to remove the influence of the characteristics of the microphone and the speaker, it is conceivable to use an expensive microphone and speaker having a flat frequency characteristic and good characteristics as the microphone and the speaker used for measuring the head-related transfer function. However, even with an expensive microphone or speaker, an ideal flat frequency characteristic cannot be obtained, and the influence of the characteristics of the microphone or speaker cannot be completely removed, resulting in deterioration of the sound quality of reproduced sound. There was sometimes.
また、測定系のマイクロホンやスピーカの逆特性を用いて、頭部伝達関数を畳み込んだ後の音声信号に対して補正をすることで、マイクロホンやスピーカの特性の影響を除去するようにすることも考えられるが、その場合には、音声信号再生回路に、当該補正回路を設けなければならず、構成が複雑になると共に、測定系の影響を完全に除去する補正は困難であるという問題がある。 In addition, the influence of the characteristics of the microphone or speaker is removed by correcting the sound signal after convolution of the head-related transfer function using the inverse characteristics of the microphone or speaker of the measurement system. However, in this case, the audio signal reproduction circuit must be provided with the correction circuit, and the configuration becomes complicated, and it is difficult to perform correction that completely eliminates the influence of the measurement system. is there.
以上の問題点を考慮して、測定する部屋や場所の影響を取り除くために、この実施形態では、無響室において頭部伝達関数を測定すると共に、測定に用いるマイクロホンやスピーカの特性の影響を除去するために、以下に説明するような正規化処理を、測定して得た頭部伝達関数に施すようにする。最初に、この実施形態における頭部伝達関数測定方法の実施形態を、図を参照しながら説明する。 In order to remove the influence of the room and place to be measured in consideration of the above problems, in this embodiment, the head related transfer function is measured in an anechoic room, and the influence of the characteristics of the microphone and speaker used for the measurement is measured. In order to eliminate this, a normalization process as described below is applied to the head-related transfer function obtained by measurement. First, an embodiment of the head-related transfer function measurement method in this embodiment will be described with reference to the drawings.
図１は、この発明の実施形態における頭部伝達関数測定方法に用いる正規化頭部伝達関数のデータを取得するための処理手順を実行するシステムの構成例を示すブロック図である。 FIG. 1 is a block diagram showing a configuration example of a system that executes a processing procedure for acquiring normalized head-related transfer function data used in the head-related transfer function measurement method according to the embodiment of the present invention.
頭部伝達関数測定手段１０では、直接波のみの頭部伝達特性を測定するために、この例では、無響室において頭部伝達関数の測定を行う。そして、頭部伝達関数測定手段１０においては、無響室において、前述した図３０のように、リスナ位置にダミーヘッドまたはリスナとしての人間そのものを配置すると共に、当該ダミーヘッドまたは人間の両耳の近傍であって、頭部伝達関数を畳み込んだ音声信号を音響再生する電気音響変換手段が配置される位置（測定点位置）に、測定用音波を収音する音響電気変換手段としてのマイクロホンを設置する。 In this example, the head-related transfer function measuring means 10 measures the head-related transfer function in an anechoic chamber in order to measure the head-related transfer characteristics of only direct waves. In the head-related transfer function measuring means 10, in the anechoic chamber, as shown in FIG. 30 described above, a dummy head or a person itself as a listener is arranged at the listener position, and the dummy head or both ears of the human being are placed. A microphone as an acoustoelectric conversion unit that picks up a measurement sound wave at a position (measurement point position) in the vicinity where an electroacoustic conversion unit that reproduces an audio signal obtained by convolving a head-related transfer function is reproduced. Install.
頭部伝達関数を畳み込んだ音声信号を音響再生する電気音響変換手段が、例えば左右２チャンネルのヘッドホンである場合には、左チャンネルのヘッドホンドライバーの位置に左チャンネル用のマイクロホンが、右チャンネルのヘッドホンドライバーの位置に右チャンネル用のマイクロホンが、それぞれ設置される。 In the case where the electroacoustic conversion means for acoustically reproducing the audio signal in which the head-related transfer function is convoluted is, for example, left and right two-channel headphones, a left-channel microphone is placed at the position of the left-channel headphone driver, A right channel microphone is installed at each headphone driver.
そして、リスナあるいは測定点位置であるマイクロホン位置を基点として、頭部伝達関数を測定しようとする方向に、測定用音波を発生する音源の例としてのスピーカを設置する。この状態で、このスピーカにより頭部伝達関数の測定用音波、この例ではインパルスを再生して、２個のマイクロホンで、そのインパルスレスポンスをピックアップする。なお、測定用音源としてのスピーカが設置される、頭部伝達関数を測定したい方向の位置を、以下の説明においては、想定音源位置と称することにする。 Then, a speaker as an example of a sound source that generates a sound wave for measurement is installed in the direction in which the head-related transfer function is to be measured with the listener or the microphone position that is the measurement point position as a base point. In this state, a sound wave for measuring the head related transfer function, in this example, an impulse is reproduced by this speaker, and the impulse response is picked up by two microphones. Note that the position in the direction in which the head-related transfer function is to be measured where the speaker as the measurement sound source is installed will be referred to as an assumed sound source position in the following description.
この頭部伝達関数測定手段１０において、２個のマイクロホンから得られるインパルスレスポンスは、頭部伝達関数を表わすものとなっている。 In the head-related transfer function measuring means 10, the impulse response obtained from the two microphones represents the head-related transfer function.
素の状態の伝達特性測定手段２０においては、頭部伝達関数測定手段１０と同一環境において、リスナ位置に前記ダミーヘッドまたは前記人間が存在しない、つまり、測定用音源位置と測定点位置との間に障害物が存在しない素の状態の伝達特性の測定を行う。 In the original transfer characteristic measuring means 20, the dummy head or the human does not exist at the listener position in the same environment as the head related transfer function measuring means 10, that is, between the measurement sound source position and the measurement point position. Measure the transfer characteristics of the element without any obstacles.
すなわち、素の状態の伝達特性測定手段２０においては、無響室において、頭部伝達関数測定手段１０では設置されていたダミーヘッドまたは人間を除去して、想定音源位置のスピーカとマイクロホンとの間に障害物がない素の状態にし、そして、想定音源位置のスピーカやマイクロホンの配置は、頭部伝達関数測定手段１０における状態と全く同じ状態として、その状態で、想定音源位置のスピーカにより測定用音波、この例ではインパルスを再生して、２個のマイクロホンで、そのインパルスレスポンスをピックアップする。 That is, in the transfer characteristic measuring means 20 in the raw state, the dummy head or the person installed in the head related transfer function measuring means 10 is removed in the anechoic chamber, and the space between the speaker at the assumed sound source position and the microphone is removed. The speaker and microphone at the assumed sound source position are in the same state as in the head-related transfer function measuring means 10, and in that state, the speaker is placed at the assumed sound source position. A sound wave, in this example, an impulse is reproduced, and the impulse response is picked up by two microphones.
この素の状態の伝達特性測定手段２０で２個のマイクロホンから得られるインパルスレスポンスは、ダミーヘッドや人間などの障害物が存在しない素の状態における伝達特性を表わすものとなっている。 The impulse response obtained from the two microphones by the transmission characteristic measuring means 20 in the elementary state represents the transmission characteristic in the elementary state in which no obstacle such as a dummy head or a human is present.
なお、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０においては、直接波について、２個のマイクロホンのそれぞれから前述した左、右主成分の頭部伝達関数および素の状態の伝達特性と、左右のクロストーク成分の頭部伝達関数および素の状態の伝達特性とが得られる。そして、主成分と、左右のクロストーク成分のそれぞれについて、後述する正規化処理が同様になされるものである。以下の説明では、簡単のため、例えば主成分についてのみの正規化処理についての説明し、クロストーク成分についての正規化処理についての説明は省略する。なお、クロストーク成分についても、同様にして正規化処理が行われるのは言うまでもない。 In the head-related transfer function measuring means 10 and the elemental state transfer characteristic measuring means 20, the left and right principal component head-related transfer functions and the elemental state of the left and right principal components described above from each of the two microphones for direct waves. The transfer characteristics, the head-related transfer functions of the left and right crosstalk components, and the transfer characteristics of the original state are obtained. The normalization process described later is performed in the same manner for the main component and the left and right crosstalk components. In the following description, for the sake of simplicity, for example, the normalization process for only the main component will be described, and the description for the normalization process for the crosstalk component will be omitted. It goes without saying that the normalization process is similarly performed for the crosstalk component.
頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０で取得したインパルスレスポンスは、この例では、サンプリング周波数が９６ｋＨｚで、８１９２サンプルのデジタルデータとして、出力される。 In this example, the impulse response acquired by the head-related transfer function measuring means 10 and the raw state transfer characteristic measuring means 20 is output as digital data of 8192 samples at a sampling frequency of 96 kHz.
ここで、頭部伝達関数測定手段１０から得られる頭部伝達関数のデータは、Ｘ（ｍ）、ただし、ｍ＝０，１，２・・・，Ｍ−１（Ｍ=８１９２）と表わし、また、素の状態の伝達特性測定手段２０から得られる素の状態の伝達特性のデータは、Ｘｒｅｆ（ｍ）、ただし、ｍ＝０，１，２・・・，Ｍ−１（Ｍ=８１９２）と表わすこととする。 Here, the head-related transfer function data obtained from the head-related transfer function measuring means 10 is expressed as X (m), where m = 0, 1, 2,..., M−1 (M = 8192), The raw state transfer characteristic data obtained from the raw state transfer characteristic measuring means 20 is Xref (m), where m = 0, 1, 2,..., M−1 (M = 8192). It shall be expressed as
頭部伝達関数測定手段１０からの頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性測定手段２０からの素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、それぞれ遅延除去頭詰め部３１および３２で、想定音源位置のスピーカからの音波の、インパルスレスポンス取得用のマイクロホンへの到達時間に相当する遅延時間分だけ、前記スピーカでインパルスが再生開始された時点からの頭の部分のデータが除去され、また、遅延除去頭詰め部３１および３２では、次段（次工程）での時間軸データから周波数軸データへの直交変換の処理が可能なように、データ数が、２のべき乗のデータ数に削減される。
The head-related transfer function data X (m) from the head-related transfer function measuring means 10 and the raw-state transfer characteristic data Xref (m) from the raw-state transfer characteristic measuring means 20 are respectively delayed-removed head-filled. In the
次に、遅延頭詰め部３１および３２でデータ数が削減された頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、それぞれＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）部３３および３４に供給されて、時間軸データから周波数軸データに変換される。なお、この実施形態では、ＦＦＴ部３３および３４においては、位相を考慮した複素高速フーリエ変換（複素ＦＦＴ）処理を行うものである。
Next, the head transfer function data X (m) and the raw state transfer characteristic data Xref (m) whose number of data is reduced by the delay
ＦＦＴ部３３での複素ＦＦＴ処理により、頭部伝達関数のデータＸ（ｍ）は、実部Ｒ（ｍ）および虚部ｊＩ（ｍ）からなるＦＦＴデータ、すなわち、Ｒ（ｍ）＋ｊＩ（ｍ）に変換される。
By the complex FFT processing in the
また、ＦＦＴ部３４での複素ＦＦＴ処理により、素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、実部Ｒｒｅｆ（ｍ）および虚部ｊＩｒｅｆ（ｍ）からなるＦＦＴデータ、すなわち、Ｒｒｅｆ（ｍ）＋ｊＩｒｅｆ（ｍ）に変換される。
Further, by the complex FFT processing in the
ＦＦＴ部３３および３４で得られるＦＦＴデータは、Ｘ−Ｙ座標データであるが、この実施形態では、このＦＦＴデータは、さらに、極座標変換部３５および３６において、極座標のデータに変換される。すなわち、頭部伝達関数のＦＦＴデータＲ（ｍ）＋ｊＩ（ｍ）は、極座標変換部３５により、大きさ成分である動径γ（ｍ）と、角度成分である偏角θ（ｍ）とに変換される。そして、この極座標データである動径γ（ｍ）と、偏角θ（ｍ）とが、正規化およびＸ−Ｙ座標変換部３７に送られる。
The FFT data obtained by the
また、素の状態の伝達特性のＦＦＴデータＲｒｅｆ（ｍ）＋ｊＩｒｅｆ（ｍ）は、極座標変換部３５により、動径γｒｅｆ（ｍ）と、偏角θｒｅｆ（ｍ）とに変換される。そして、この極座標データである動径γｒｅｆ（ｍ）と、偏角θｒｅｆ（ｍ）とが、正規化およびＸ−Ｙ座標変換部３７に送られる。
Further, the FFT data Rref (m) + jIref (m) of the transmission characteristic in the raw state is converted into the radius vector γref (m) and the deflection angle θref (m) by the polar coordinate
正規化およびＸ−Ｙ座標変換部３７では、先ず、ダミーヘッドまたは人間を含んで測定された頭部伝達関数を、ダミーヘッドなどの障害物がない素の状態の伝達特性を用いて正規化する。ここで、正規化処理の具体的な演算は、次の通りである。
In the normalization and XY coordinate
すなわち、正規化処理後の動径をγｎ（ｍ）、正規化処理後の偏角をθｎ（ｍ）とすると、
γｎ（ｍ）＝γ（ｍ）／γｒｅｆ（ｍ）
θｎ（ｍ）＝θ（ｍ）−θｒｅｆ（ｍ）
・・・（式１）
となる。
That is, if the radius after normalization is γn (m) and the declination after normalization is θn (m),
γn (m) = γ (m) / γref (m)
θn (m) = θ (m) −θref (m)
... (Formula 1)
It becomes.
そして、正規化およびＸ−Ｙ座標変換部３７では、正規化処理後の極座標系のデータ、すなわち、動径γｎ（ｍ）および偏角θｎ（ｍ）を、Ｘ−Ｙ座標系の実部Ｒｎ（ｍ）および虚部ｊＩｎ（ｍ）（ｍ＝０，１・・・Ｍ／４−１）からなる周波数軸データの正規化頭部伝達関数データに変換する。
Then, in the normalization and XY coordinate
このＸ−Ｙ座標系の周波数軸データの正規化頭部伝達関数データは、逆ＦＦＴ部３８で、時間軸の正規化頭部伝達関数データであるインパルスレスポンスＸｎ（ｍ）に変換する。この逆ＦＦＴ部３８では、複素逆高速フーリエ変換（複素逆ＦＦＴ）処理を行う。
The normalized head related transfer function data of the frequency axis data in the XY coordinate system is converted by the
すなわち、
Ｘｎ（ｍ）＝ＩＦＦＴ（Ｒｎ（ｍ）＋ｊＩｎ（ｍ））
ただし、ｍ＝０，１，２・・・，Ｍ／２−１
なる演算が逆ＦＦＴ（ＩＦＦＴ（Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））部３８で行われ、時間軸の正規化頭部伝達関数データであるインパルスレスポンスＸｎ（ｍ）が得られる。
That is,
Xn (m) = IFFT (Rn (m) + jIn (m))
However, m = 0, 1, 2,..., M / 2-1
An inverse FFT (IFFT (Inverse Fast Fourier Transform))
この逆ＦＦＴ部３８からの正規化頭部伝達関数のデータＸｎ（ｍ）は、ＩＲ（インパルスレスポンス）簡略化部３９において、処理可能（後述する畳み込み可能）なインパルス特性のタップ長に簡略化する。この実施形態では、６００タップ（逆ＦＦＴ部３８からのデータの頭から６００個のデータ）に簡略化する。
The normalized head related transfer function data Xn (m) from the
このＩＲ簡略化部３９で簡略化された正規化頭部伝達関数のデータＸｎ（ｍ）（ｍ＝０，１・・・５９９）は、後述する畳み込み処理のために、正規化頭部伝達関数メモリ４０に書き込まれる。なお、この正規化頭部伝達関数メモリ４０に書き込まれる正規化頭部伝達関数は、各想定音源位置（仮想音像定位位置）毎のそれぞれにおいて、主成分の正規化頭部伝達関数と、クロストーク成分の正規化頭部伝達関数とを含むことは前述した通りである。
The normalized head related transfer function data Xn (m) (m = 0, 1,... 599) simplified by the
以上の説明は、リスナ位置に対して特定の１方向において、測定点位置であるマイクロホン位置から所定距離だけ離れた１箇所の想定音源位置に、測定用音波の例としてのインパルスを再生するスピーカを設置した場合において、当該スピーカ位置に対する正規化頭部伝達関数を取得する処理の説明である。 In the above description, a speaker that reproduces an impulse as an example of a sound wave for measurement at one assumed sound source position that is a predetermined distance away from the microphone position that is the measurement point position in one specific direction with respect to the listener position. It is description of the process which acquires the normalized head-related transfer function with respect to the said speaker position in the case of installing.
この実施形態では、測定用音波の例としてのインパルスを再生するスピーカの設置位置である想定音源位置を、測定点位置に対して異なる方向に種々変更して、以上と同様にして、各想定音源位置に対する正規化頭部伝達関数を取得するようにする。 In this embodiment, the assumed sound source position, which is the installation position of the speaker that reproduces the impulse as an example of the measurement sound wave, is variously changed in different directions with respect to the measurement point position, and each assumed sound source is obtained in the same manner as described above. Obtain a normalized head related transfer function for the position.
すなわち、この実施形態では、仮想音像定位位置からの直接波のみではなく、反射波についての頭部伝達関数を取得するようにするため、反射波の測定点位置への入射方向を考慮して、複数個の位置に想定音源位置を設定して、その正規化頭部伝達関数を求めるようにする。 That is, in this embodiment, in order to acquire not only the direct wave from the virtual sound image localization position but also the head related transfer function for the reflected wave, in consideration of the incident direction to the measurement point position of the reflected wave, The assumed sound source positions are set at a plurality of positions, and the normalized head related transfer functions are obtained.
ここで、スピーカ設置位置である想定音源位置は、リスナの左右の壁からの反射波についての正規化頭部伝達関数を求めるために、水平面内において、測定点位置であるマイクロホン位置あるいはリスナを中心にした３６０度または１８０度の角範囲を、得ようとする反射波の方向についての必要な分解能を考慮して、例えば１０度角間隔毎に変化させて設定するようにする。 Here, the assumed sound source position, which is the speaker installation position, is centered on the microphone position or listener that is the measurement point position in the horizontal plane in order to obtain the normalized head related transfer function for the reflected waves from the left and right walls of the listener. The angular range of 360 degrees or 180 degrees is set by changing, for example, every 10 degree angular interval in consideration of the necessary resolution in the direction of the reflected wave to be obtained.
同様に、スピーカ設置位置である想定音源位置は、天井または床からの反射波についての正規化頭部伝達関数を求めるために、垂直面内において、測定点位置であるマイクロホン位置あるいはリスナを中心にした３６０度または１８０度の角範囲を、得ようとする反射波の方向についての必要な分解能を考慮して、例えば１０度角間隔毎に変化させて設定するようにする。 Similarly, the assumed sound source position, which is the speaker installation position, is centered on the microphone position or listener that is the measurement point position in the vertical plane in order to obtain the normalized head-related transfer function for the reflected wave from the ceiling or floor. The angular range of 360 degrees or 180 degrees is set by changing, for example, every 10 degrees angular interval in consideration of the necessary resolution in the direction of the reflected wave to be obtained.
３６０度の角範囲を考慮する場合は、直接波としての仮想音像定位位置がリスナの後方にも存在する、例えば５，１チャンネル，６．１チャンネル，７．１チャンネルなどのマルチチャンネルサラウンド音声を再生する場合を想定した場合、また、リスナの後方の壁からの反射波を考慮する場合である。１８０度の角範囲を考慮する場合は、直接波としての仮想音像定位位置がリスナの前方にのみ存在し、また、リスナの後方の壁からの反射波を考慮しなくて良い状態を想定した場合である。 When considering an angular range of 360 degrees, a virtual sound image localization position as a direct wave also exists behind the listener, for example, multi-channel surround sound such as 5, 1 channel, 6.1 channel, 7.1 channel, etc. This is a case where a case of reproduction is assumed and a case where a reflected wave from a wall behind the listener is taken into consideration. When considering the angular range of 180 degrees, assuming that the virtual sound image localization position as a direct wave exists only in front of the listener and that it is not necessary to consider the reflected wave from the wall behind the listener It is.
また、この実施形態では、リスナに実際に再生音を供給するヘッドホンのドライバーなどの音響再生ドライバーの位置に応じて、頭部伝達関数および素の状態の伝達特性の測定手段１０および２０におけるマイクロホンの設置位置を変えるようにする。 Further, in this embodiment, the microphones in the head-related transfer function and the raw state transfer characteristic measuring means 10 and 20 according to the position of the sound reproduction driver such as the headphone driver that actually supplies the reproduction sound to the listener. Change the installation position.
図２は、リスナに実際に再生音を供給する電気音響変換手段としての音響再生手段がインナーヘッドホンの場合における頭部伝達関数および素の状態の伝達特性の測定位置（想定音源位置）および測定点位置としてのマイクロホン設置位置を説明するための図である。 FIG. 2 shows measurement positions (assumed sound source positions) and measurement points of the head-related transfer function and the raw state transfer characteristics when the sound reproduction means as the electroacoustic conversion means that actually supplies the reproduced sound to the listener is an inner headphone. It is a figure for demonstrating the microphone installation position as a position.
すなわち、図２（Ａ）は、リスナに再生音を供給する音響再生手段がインナーヘッドホンである場合における頭部伝達関数測定手段１０での測定状態を示すもので、リスナ位置にはダミーヘッドまたは人間ＯＢを配置する。そして、想定音源位置においてインパルスを再生するスピーカは、丸印Ｐ１、Ｐ２、Ｐ３、・・・で示すように、この例では、リスナ位置またはインナーヘッドホンの２個のドライバー位置の中心位置を中心にして、１０度角間隔毎の、頭部伝達関数を測定したい方向の所定位置に配置する。 That is, FIG. 2A shows a measurement state in the head-related transfer function measuring means 10 when the sound reproducing means for supplying the reproduced sound to the listener is an inner headphone. OB is placed. In this example, the speaker that reproduces the impulse at the assumed sound source position is centered on the center position of the listener position or the two driver positions of the inner headphones, as indicated by circles P1, P2, P3,. Thus, the head-related transfer functions are arranged at predetermined positions in the direction in which the head-related transfer function is to be measured every 10 degree angular intervals.
また、このインナーヘッドホンの場合の例においては、２個のマイクロホンＭＬ，ＭＲは、図２（Ａ）に示すように、ダミーヘッドまたは人間の耳の耳殻内位置に設置するようにする。 In the example of the inner headphone, the two microphones ML and MR are installed at positions inside the ear shell of the dummy head or the human ear as shown in FIG.
図２（Ｂ）は、リスナに再生音を供給する音響再生手段がインナーヘッドホンである場合における素の状態の伝達特性測定手段２０での測定状態を示すもので、図２（Ａ）におけるダミーヘッドまたは人間ＯＢを除去した測定環境の状態を示している。 FIG. 2 (B) shows a measurement state in the transmission characteristic measuring means 20 in a raw state when the sound reproducing means for supplying the reproduced sound to the listener is an inner headphone. The dummy head in FIG. 2 (A) is shown. Or the state of the measurement environment from which human OB is removed is shown.
上述の正規化処理は、図２（Ａ）において、丸印Ｐ１、Ｐ２、Ｐ３、・・・で示す想定音源位置のそれぞれにおいて測定した頭部伝達関数を、図２（Ｂ）において、同じ想定音源位置Ｐ１、Ｐ２、Ｐ３、・・・のそれぞれにおいて測定した素の状態の伝達特性で、それぞれ正規化することによりなされる。つまり、例えば、想定音源位置Ｐ１で測定した頭部伝達関数は、同じ想定音源位置Ｐ１で測定した素の状態の伝達特性で正規化するようにする。 In the normalization process described above, the head-related transfer function measured at each of the assumed sound source positions indicated by circles P1, P2, P3,... In FIG. This is done by normalizing the transmission characteristics of the raw state measured at each of the sound source positions P1, P2, P3,. That is, for example, the head-related transfer function measured at the assumed sound source position P1 is normalized with the transfer characteristic of the raw state measured at the same assumed sound source position P1.
次に、図３は、リスナに実際に再生音を供給する音響再生手段がオーバーヘッドホンの場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源位置およびマイクロホン設置位置を説明するためのものである。この図３の例のオーバーヘッドホンでは、左右の耳用としてそれぞれヘッドホンドライバーが１個ずつとされている。 Next, FIG. 3 illustrates the assumed sound source position and microphone installation position when measuring the head-related transfer function and the transmission characteristics of the elementary state when the sound reproducing means that actually supplies the reproduced sound to the listener is an overhead phone. Is to do. In the overhead phone in the example of FIG. 3, one headphone driver is provided for each of the left and right ears.
すなわち、図３は、リスナに再生音を供給する音響再生手段がオーバーヘッドホンである場合における頭部伝達関数測定手段１０での測定状態を示すもので、リスナ位置にはダミーヘッドまたは人間ＯＢを配置する。そして、インパルスを再生するスピーカは、丸印Ｐ１、Ｐ２、Ｐ３、・・・で示すように、リスナ位置またはオーバーヘッドホンの２個のドライバー位置の中心位置を中心にして、例えば１０度角間隔毎の、頭部伝達関数を測定したい方向の想定音源位置に配置する。また、２個のマイクロホンＭＬ，ＭＲは、図３に示すように、ダミーヘッドまたは人間の耳の耳殻に対向した耳の近傍位置に設置するようにする。 That is, FIG. 3 shows the measurement state in the head-related transfer function measuring means 10 when the sound reproducing means for supplying the reproduced sound to the listener is an overhead phone. A dummy head or a human OB is arranged at the listener position. To do. The speaker that reproduces the impulse is, for example, every 10 degree angular intervals centered on the listener position or the center position of the two driver positions of the overhead phone, as indicated by circles P1, P2, P3,. The head-related transfer function is placed at the assumed sound source position in the direction in which it is desired to be measured. Further, as shown in FIG. 3, the two microphones ML and MR are installed near the ears facing the dummy head or the ear shell of the human ear.
この音響再生手段がオーバーヘッドホンの場合における素の状態の伝達特性の測定手段２０での測定状態は、図３におけるダミーヘッドまたは人間ＯＢを除去した測定環境となる。この場合にも、頭部伝達関数および素の状態での伝達特性の測定および前記正規化処理は、図２の場合と同様にしてなされるのは言うまでもない。 When the sound reproducing means is an overhead phone, the measurement state of the raw state transfer characteristic measuring means 20 is a measurement environment in which the dummy head or the human OB in FIG. 3 is removed. Also in this case, it goes without saying that the measurement of the head-related transfer function and the transfer characteristic in the raw state and the normalization process are performed in the same manner as in FIG.
次に、図４は、例えばリスナが座る椅子のヘッドレスト部分に、リスナに再生音を供給する音響再生手段としての電気音響変換手段、例えばスピーカを配置する場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源位置およびマイクロホン設置位置を説明する図である。 Next, FIG. 4 shows, for example, an electroacoustic conversion means as an acoustic reproduction means for supplying reproduced sound to a listener, for example, a headrest portion of a chair on which the listener sits, It is a figure explaining the assumed sound source position and microphone installation position when measuring a transfer characteristic.
図４の例では、リスナの頭部後方の左右に２個のスピーカを配置して音響再生する場合における頭部伝達関数および素の状態の伝達特性を測定するようにする。 In the example of FIG. 4, the head-related transfer function and the transfer characteristic of the original state are measured when two speakers are arranged on the left and right of the listener's head and the sound is reproduced.
すなわち、図４は、リスナに再生音を供給する音響再生手段が、椅子のヘッドレスト部分の左右に設置された２個のスピーカである場合における頭部伝達関数測定手段１０での測定状態を示すものである。リスナ位置にはダミーヘッドまたは人間ＯＢを配置する。そして、インパルスを再生するスピーカは、丸印Ｐ１、Ｐ２、Ｐ３、・・・で示すように、リスナ位置または椅子のヘッドレスト部分に設置された２個スピーカ位置の中心位置を中心にして、例えば１０度角間隔毎の、頭部伝達関数を測定したい方向の想定音源位置に配置する。 That is, FIG. 4 shows the measurement state in the head-related transfer function measuring means 10 when the sound reproducing means for supplying the reproduced sound to the listener is two speakers installed on the left and right of the headrest portion of the chair. It is. A dummy head or a human OB is disposed at the listener position. And, as shown by circles P1, P2, P3,..., The speaker that reproduces the impulse is, for example, 10 centered on the listener position or the center position of the two speaker positions installed at the headrest portion of the chair. The head-related transfer function is placed at the assumed sound source position in the direction in which the head-related transfer function is to be measured at every degree angle interval.
また、２個のマイクロホンＭＬ，ＭＲは、図４に示すように、椅子のヘッドレストに取り付けられる２個のスピーカの設置位置に相当する、ダミーヘッドまたは人間の頭部後方にであってリスナの耳の近傍位置に設置するようにする。 Further, as shown in FIG. 4, the two microphones ML and MR are a dummy head or the back of the human head corresponding to the installation position of the two speakers attached to the headrest of the chair, and the listener's ear. Install in the vicinity of
この音響再生手段が、椅子のヘッドレストに取り付けられる電気音響変換ドライバーの場合における素の状態の伝達特性の測定手段２０での測定状態は、図４におけるダミーヘッドまたは人間ＯＢを除去した測定環境となる。この場合にも、頭部伝達関数および素の状態での伝達特性の測定および前記正規化処理は、図２の場合と同様にしてなされるのは言うまでもない。 When the sound reproducing means is an electroacoustic conversion driver attached to a headrest of a chair, the measurement state of the raw state transfer characteristic measuring means 20 is a measurement environment in which the dummy head or the human OB in FIG. 4 is removed. . Also in this case, it goes without saying that the measurement of the head-related transfer function and the transfer characteristic in the raw state and the normalization process are performed in the same manner as in FIG.
次に、図５は、リスナに再生音を供給する音響再生手段がオーバーヘッドホンであって、７．１チャンネルマルチサラウンド用として、左右の耳のそれぞれに対して、７個ずつのヘッドホンドライバーユニットが配置されるオーバーヘッドホンである場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源位置およびマイクロホン設置位置を説明する図である。 Next, FIG. 5 shows that the sound reproducing means for supplying the reproduced sound to the listener is an overhead phone, and there are seven headphone driver units for the left and right ears for 7.1 channel multi-surround. It is a figure explaining the assumed sound source position and microphone installation position at the time of measuring the head-related transfer function and the transfer characteristic of the elemental state in the case of the arranged overhead phone.
図５の例では、左右の耳用の７個ずつのヘッドホンドライバーに対応する位置に、７個ずつのマイクロホンＭＬ１，ＭＬ２，ＭＬ３，ＭＬ４，ＭＬ５，ＭＬ６，ＭＬ７およびＭＲ１，ＭＲ２，ＭＲ３，ＭＲ４，ＭＲ５，ＭＲ６，ＭＲ７が、それぞれ、リスナの左、右の耳に対向して配置される。 In the example of FIG. 5, seven microphones ML1, ML2, ML3, ML4, ML5, ML6, ML7 and MR1, MR2, MR3, MR4 and 7 microphones at positions corresponding to 7 headphone drivers for the left and right ears. MR5, MR6, and MR7 are disposed to face the left and right ears of the listener, respectively.
そして、インパルスを再生するスピーカは、上述の場合と同様に、丸印Ｐ１、Ｐ２、Ｐ３、・・・で示すように、リスナ位置または７個のマイクロホン位置の中心位置を中心にして、例えば１０度角間隔毎の、頭部伝達関数を測定したい方向の想定音源位置に配置する。 As in the case described above, the speaker that reproduces the impulse has a listener position or a center position of the seven microphone positions as shown by circles P1, P2, P3,. The head-related transfer function is placed at the assumed sound source position in the direction in which the head-related transfer function is to be measured at every degree angle interval.
そして、各想定音源位置においてスピーカで再生された測定用音波としてのインパルスが、マイクロホンＭＬ１〜ＭＬ７およびＭＲ１〜ＭＲ７のそれぞれで収音される。そして、リスナ位置にダミーヘッドや人間が存在する状態では、マイクロホンＭＬ１〜ＭＬ７およびＭＲ１〜ＭＲ７のそれぞれの出力音声信号から、頭部伝達関数が得られる。また、リスナ位置にダミーヘッドや人間が存在しない素の状態では、マイクロホンＭＬ１〜ＭＬ７およびＭＲ１〜ＭＲ７のそれぞれの出力音声信号から、素の状態の伝達特性が得られる。そして、上述したようにして、頭部伝達関数と素の状態の伝達特性とから、正規化頭部伝達関数がそれぞれ求められ、正規化頭部伝達関数メモリ４０に記憶される。
And the impulse as a measurement sound wave reproduced by the speaker at each assumed sound source position is picked up by each of the microphones ML1 to ML7 and MR1 to MR7. In a state where a dummy head or a human is present at the listener position, the head-related transfer function is obtained from the output sound signals of the microphones ML1 to ML7 and MR1 to MR7. Further, in the original state where there is no dummy head or human at the listener position, the transmission characteristics of the original state can be obtained from the output audio signals of the microphones ML1 to ML7 and MR1 to MR7. Then, as described above, the normalized head related transfer functions are obtained from the head related transfer functions and the raw state transfer characteristics, and are stored in the normalized head related
この図５の例の場合、マイクロホンＭＬ１〜ＭＬ７およびＭＲ１〜ＭＲ７のそれぞれの出力音声信号からは、各想定音源方向位置に仮想音像定位させるようにする際に、それぞれのマイクロホンが対応するヘッドホンドライバーユニットに供給する音声信号に畳み込むべき正規化頭部伝達関数が得られることになる。 In the case of the example of FIG. 5, the headphone driver unit to which each microphone corresponds when the virtual sound image is localized at each assumed sound source direction position from the output sound signals of the microphones ML1 to ML7 and MR1 to MR7. Thus, a normalized head related transfer function to be convoluted with the audio signal supplied to is obtained.
以上により、正規化頭部伝達関数メモリ４０に書き込まれた正規化頭部伝達関数としては、無響室において、図２〜図５に示したような、リスナ頭部の中心位置や、再生時にリスナに音声を供給する電気音響変換手段の中心位置を中心として、例えば１０度角間隔ずつ離れた仮想音源位置からのインパルスレスポンスを測定したので、それぞれの仮想音源位置からの反射波を除く直接波のみについての頭部伝達関数を得ることができる。
As described above, the normalized head-related transfer function written in the normalized head-related
そして、取得された正規化頭部伝達関数は、インパルスを発生したスピーカの特性や、インパルスをピックアップしたマイクロホンの特性が、正規化処理により、排除されたものとなる。 The acquired normalized head-related transfer function is obtained by eliminating the characteristics of the speaker that generated the impulse and the characteristics of the microphone that picked up the impulse by the normalization process.
さらに、取得された正規化頭部伝達関数は、この例では、遅延除去頭詰め部３１，３２において、インパルスを発生するスピーカ位置（想定音源位置）と、インパルスをピックアップするマイクロホン位置（想定ドライバー位置）との距離に対応する遅延が除去されたものであるので、インパルスを発生するスピーカ位置（想定音源位置）と、インパルスをピックアップするマイクロホン位置（想定ドライバー位置）との距離に無関係となる。つまり、取得された正規化頭部伝達関数は、インパルスをピックアップするマイクロホン位置（想定ドライバー位置）から見て、インパルスを発生するスピーカ位置（想定音源位置）の方向のみに応じた頭部伝達関数となる。
Further, in this example, the acquired normalized head-related transfer function includes the speaker position (assumed sound source position) that generates an impulse and the microphone position (assumed driver position) that picks up the impulse in the delay removal head-filling
したがって、直接波について、正規化頭部伝達関数を、音声信号に畳み込むときには、音声信号に対して、仮想音像定位位置と想定ドライバー位置との距離に応じた遅延を付与することにより、想定ドライバー位置に対する想定音源位置の方向の、前記遅延に応じた距離位置を、仮想音像定位位置として音響再生させることができる。また、想定音源位置方向からの反射波については、仮想音像定位させたい位置から壁などの反射部で反射され、前記想定音源位置方向から想定ドライバー位置に入射するまでの音波の経路長に応じた遅延を音声信号に施して、正規化頭部伝達関数を畳み込むようにすればよい。 Therefore, when the normalized head related transfer function is convolved with the audio signal for the direct wave, the assumed driver position is obtained by adding a delay corresponding to the distance between the virtual sound image localization position and the assumed driver position to the audio signal. The distance position corresponding to the delay in the direction of the assumed sound source position with respect to the sound can be reproduced as a virtual sound image localization position. In addition, the reflected wave from the assumed sound source position direction is reflected by a reflection part such as a wall from the position where the virtual sound image is to be localized, and corresponds to the path length of the sound wave from the assumed sound source position direction to the assumed driver position. A delay may be applied to the audio signal so that the normalized head-related transfer function is convoluted.
つまり、直接波および反射波について、正規化頭部伝達関数を音声信号に畳み込むときには、音声信号に対して、仮想音像定位させたい位置から、想定ドライバー位置に入射するまでの音波の経路長に応じた遅延を音声信号に施すようにするものである。 In other words, for the direct wave and the reflected wave, when the normalized head-related transfer function is convoluted with the audio signal, the sound signal depends on the path length of the sound wave from the position where the virtual sound image is localized to the assumed driver position. The delay is applied to the audio signal.
なお、頭部伝達関数測定方法の実施形態を説明するための図１のブロック図における信号処理は、全てＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で行うことができる。その場合において、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０における頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性のデータＸｒｅｆ（ｍ）の取得部と、遅延除去頭詰め部３１，３２、ＦＦＴ部３３，３４、極座標変換部３５，３６、正規化およびＸ−Ｙ座標変換部３７、逆ＦＦＴ部３８およびＩＲ簡略部３９は、それぞれをＤＳＰで構成しても良いし、全体の信号処理を、まとめて１個あるいは複数個のＤＳＰで構成するようにしてもよい。
Note that the signal processing in the block diagram of FIG. 1 for describing the embodiment of the head related transfer function measurement method can be performed entirely by a DSP (Digital Signal Processor). In that case, an acquisition unit for the head-related transfer function data X (m) and the raw-state transfer characteristic data Xref (m) in the head-related transfer function measuring means 10 and the raw-state transfer characteristic measuring means 20; The delay removal head-packing
なお、上述の図１の例では、頭部伝達関数の後述する畳み込みの処理量を削減するため、正規化頭部伝達関数や素の状態での伝達特性のデータについては、遅延除去頭詰め部３１，３２で、想定音源位置とマイクロホン位置との間の距離に対応する遅延時間分の先頭データを除去して、頭詰めするようにしており、このデータの除去処理を、例えばＤＳＰの内部メモリを用いて行うようにする。しかし、この遅延除去頭詰め処理は行わなくても良い場合は、ＤＳＰでは、元のデータを、そのまま、８１９２サンプルのデータで処理を行うようにする。
In the example of FIG. 1 described above, in order to reduce the amount of convolution processing of the head-related transfer function, which will be described later, the normalized head-related transfer function and the transfer characteristic data in the raw state are subjected to a delay-removal head-filling
また、ＩＲ簡略部３９は、頭部伝達関数を後述する畳み込みの処理する際における畳み込み処理量を削減するためのもので、これは、省略することもできる。
The
さらに、上述の実施形態において、ＦＦＴ部３３，３４からのＸ−Ｙ座標系の周波数軸データを、極座標系の周波数データに変換したのは、Ｘ−Ｙ座標系の周波数データのままでは、正規化処理ができなかった場合があることを考慮したものであり、理想的な構成であれば、Ｘ−Ｙ座標系の周波数データのままでも正規化処理は可能である。
Furthermore, in the above-described embodiment, the frequency axis data in the XY coordinate system from the
なお、上述の例では、種々の仮想音像定位位置およびその反射波の想定ドライバー位置への入射方向を想定して、多数の想定音源位置についての正規化頭部伝達関数を求めるようにした。このように多数の想定音源位置についての正規化頭部伝達関数を求めたのは、後で、必要な想定音源位置の方向の頭部伝達関数を、その中から選択することができるようにするためである。しかし、予め、仮想音像定位位置が固定されており、かつ、反射波の入射方向も定まっている場合には、その固定された仮想音像定位位置や反射波の入射方向の想定音源位置のみに対する正規化頭部伝達関数を求めるようにしても勿論良い。 In the above-described example, the normalized head related transfer functions for a number of assumed sound source positions are obtained assuming various virtual sound image localization positions and the incident directions of the reflected waves to the assumed driver positions. The reason for obtaining the normalized head related transfer functions for a number of assumed sound source positions in this way is to allow the head related transfer functions in the direction of the required assumed sound source positions to be selected later. Because. However, if the virtual sound image localization position is fixed in advance and the incident direction of the reflected wave is also fixed, the normal sound position only for the assumed virtual sound image localization position and the assumed sound source position in the incident direction of the reflected wave is determined. Of course, it is also possible to obtain the converted head-related transfer function.
なお、複数の想定音源位置からの直接波のみについての頭部伝達関数および素の状態の伝達特性を測定するために、上述の実施形態では、無響室において測定を行うようにしたが、無響室ではなく、反射波が含まれる部屋や場所であっても、当該反射波が直接波に対して大きく遅延している場合には、直接波成分のみを時間ウインドーを掛けて、抽出するようにすることもできる。 In order to measure the head-related transfer function and the transfer characteristic of the elementary state for only direct waves from a plurality of assumed sound source positions, in the above-described embodiment, measurement is performed in an anechoic chamber. If the reflected wave is greatly delayed with respect to the direct wave even in a room or place that contains the reflected wave, not the sound room, only the direct wave component is extracted by applying a time window. It can also be.
また、想定音源位置でスピーカで発生する頭部伝達関数の測定用音波を、インパルスではなく、ＴＳＰ（Ｔｉｍｅ Ｓｔｒｅｔｃｈｅｄ Ｐｕｌｓｅ）信号とすることで、無響室ではなくても、反射波を除去して、直接波のみについての頭部伝達関数および素の状態の伝達特性を測定することができる。 In addition, by using the TSP (Time Stretched Pulse) signal instead of the impulse as the measurement sound wave of the head related transfer function generated by the speaker at the assumed sound source position, the reflected wave can be removed even in an anechoic room. In addition, it is possible to measure the head-related transfer function and the transfer characteristic of the elementary state for only the direct wave.
［正規化頭部伝達関数を用いることによる効果の検証］
実際に頭部伝達関数の測定に用いたスピーカおよびマイクロホンを含む測定系の特性を、図６に示す。すなわち、図６（Ａ）は、ダミーヘッドや人間などの障害物を入れない状態で、スピーカにより、０から２０ｋＨｚまでの周波数信号の音を、同じ一定レベルで再生し、マイクロホンでピックアップしたときの、当該マイクロホンからの出力信号の周波数特性である。
[Verification of effects by using normalized head-related transfer functions]
FIG. 6 shows characteristics of a measurement system including a speaker and a microphone that are actually used for measuring the head-related transfer function. That is, FIG. 6 (A) shows a state in which the sound of the frequency signal from 0 to 20 kHz is reproduced at the same constant level by the speaker and picked up by the microphone without an obstacle such as a dummy head or a human being inserted. The frequency characteristics of the output signal from the microphone.
ここで使用したスピーカは、業務用のかなり特性の良いとされるスピーカであるが、それでも、図６（Ａ）に示すような特性を有し、平坦な周波数特性とならない。また、実際にも、この図６（Ａ）の特性は一般的なスピーカの中ではかなりフラットな部類に属される優秀な特性とされている。 The loudspeaker used here is a loudspeaker that is considered to have considerably good characteristics for business use, but still has the characteristics shown in FIG. 6A and does not have a flat frequency characteristic. Actually, the characteristic shown in FIG. 6A is considered to be an excellent characteristic belonging to a fairly flat category among general speakers.
従来は、このスピーカおよびマイクロホンの系の特性が、頭部伝達関数に付加された状態であり、それが除去されないので、頭部伝達関数を畳み込んで得られる音の特性や音質が、そのスピーカおよびマイクロホンの系の特性に左右されてしまうことになる。 Conventionally, the characteristics of the speaker and microphone system have been added to the head-related transfer function and are not removed. Therefore, the characteristics and sound quality of the sound obtained by convolving the head-related transfer function are the same. In addition, it depends on the characteristics of the microphone system.
図６（Ｂ）は、同じ条件で、ダミーヘッドや人間などの障害物を入れた状態におけるマイクロホンからの出力信号の周波数特性である。１２００Ｈｚ付近や１０ｋＨｚ付近で大きなディップが生じ、かなり変動する周波数特性となることが分かる。 FIG. 6B shows frequency characteristics of an output signal from the microphone in a state where an obstacle such as a dummy head or a human is inserted under the same conditions. It can be seen that a large dip occurs in the vicinity of 1200 Hz and 10 kHz, and the frequency characteristics vary considerably.
図７（Ａ）は、図６（Ａ）の周波数特性と、図６（Ｂ）の周波数特性とを重ねて示した周波数特性図である。 FIG. 7A is a frequency characteristic diagram in which the frequency characteristic of FIG. 6A and the frequency characteristic of FIG. 6B are overlapped.
これに対して図７（Ｂ）は、上述したような実施形態により、正規化した頭部伝達関数の特性を示すものである。この図７（Ｂ）から、正規化した頭部伝達関数の特性においては、低域においても、ゲインは下がらない特性となっていることが分かる。 On the other hand, FIG. 7B shows the characteristics of the head-related transfer function normalized by the above-described embodiment. From FIG. 7B, it can be seen that the characteristic of the normalized head-related transfer function is such that the gain does not decrease even in a low frequency range.
上述したこの発明の実施形態においては、複素ＦＦＴ処理を行い、位相成分を考慮した正規化頭部伝達関数を用いるようにしているので、位相を考慮せずに、振幅成分のみを用いて正規化した頭部伝達関数を用いた場合に比べて、正規化頭部伝達関数の忠実度が高いという特徴がある。 In the above-described embodiment of the present invention, the complex FFT processing is performed and the normalized head related transfer function considering the phase component is used. Therefore, normalization is performed using only the amplitude component without considering the phase. Compared to the case where the head related transfer function is used, there is a feature that the fidelity of the normalized head related transfer function is high.
すなわち、位相を考慮せずに振幅のみを正規化する処理を行い、最終的に用いるインパルス特性を再度ＦＦＴして特性を取ったものを、図８に示す。この図８と、この実施形態の正規化頭部伝達関数の特性である図７（Ｂ）とを比較参照すると分かるように、頭部伝達関数Ｘ（ｍ）と、素の状態の伝達特性Ｘｒｅｆ（ｍ）との特性の差分が、この実施形態の複素ＦＦＴでは、図７（Ｂ）に示すように正しく得られるが、位相を考慮しない場合は、図８に示すように、本来のものからずれてしまう。 That is, FIG. 8 shows a characteristic obtained by performing a process of normalizing only the amplitude without considering the phase and performing FFT again on the impulse characteristic to be finally used. As can be seen by comparing FIG. 8 with FIG. 7B, which is the characteristic of the normalized head-related transfer function of this embodiment, the head-related transfer function X (m) and the raw-state transfer characteristic Xref. In the complex FFT of this embodiment, the characteristic difference from (m) is obtained correctly as shown in FIG. 7B. However, when the phase is not taken into consideration, the characteristic difference from the original is obtained as shown in FIG. It will shift.
また、上述の図１の処理手順においては、ＩＲ簡略化部３９により、正規化頭部伝達関数の簡略化を最後に行っているので、最初からデータ数を少なくして処理する場合に比べて、特性のずれが少ないという特徴がある。
In the processing procedure of FIG. 1 described above, since the normalized head-related transfer function is finally simplified by the
すなわち、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０で得られたデータについて、最初に、データ数を少なくする簡略化を行った場合（最終的に必要なインパルス数以降を０として正規化を行う場合）には、正規化頭部伝達関数の特性は、図９に示すようなものとなり、特に、低域の特性にずれが出てきてしまう。これに対して、上述した実施形態の構成で得た正規化頭部伝達関数の特性は、図７（Ｂ）のようになり、低域においても特性のずれが少ない。 That is, with respect to the data obtained by the head-related transfer function measuring means 10 and the raw state transfer characteristic measuring means 20, when the simplification is initially performed to reduce the number of data (the number of impulses after the final number is necessary). In the case of normalization as 0), the characteristics of the normalized head-related transfer function are as shown in FIG. 9, and in particular, there is a shift in the low frequency characteristics. On the other hand, the characteristic of the normalized head related transfer function obtained by the configuration of the above-described embodiment is as shown in FIG. 7B, and the characteristic deviation is small even in the low frequency range.
［正規化頭部伝達関数畳み込み方法の実施形態］
図１０は、従来の測定方法により求められた頭部伝達関数の例としてのインパルスレスポンスを示すもので、直接波のみではなく、全ての反射波の成分を含んだ総合的なものとなっている。従来は、図１０に示すように、この直接波および反射波の全てを含む総合的なインパルスレスポンスの全体を、１つの畳み込みプロセス区間で、音声信号に畳み込むようにする。
[Embodiment of Normalized Head-related Transfer Function Convolution Method]
FIG. 10 shows an impulse response as an example of a head-related transfer function obtained by a conventional measurement method, and is a comprehensive one including not only a direct wave but also all reflected wave components. . Conventionally, as shown in FIG. 10, the entire comprehensive impulse response including all of the direct wave and the reflected wave is convoluted with the audio signal in one convolution process section.
反射波として高次のものをも含み、また、仮想音像定位位置から測定点位置までの経路長が長い反射波を含むため、従来の畳み込みプロセス区間は、図１０に示すように、比較的長い区間となる。なお、畳み込みプロセス区間の先頭の区間ＤＬ０は、仮想音像定位位置からの直接波が測定点位置まで到達する時間に相当する遅延分を示している。 Since the reflected wave includes a higher-order wave and also includes a reflected wave having a long path length from the virtual sound image localization position to the measurement point position, the conventional convolution process section is relatively long as shown in FIG. It becomes a section. The leading section DL0 of the convolution process section shows a delay corresponding to the time required for the direct wave from the virtual sound image localization position to reach the measurement point position.
図１０のような従来の頭部伝達関数畳み込み方法に対して、この実施形態では、上述のようにして求めた直接波の正規化頭部伝達関数と、選択された反射波の正規化頭部伝達関数とを、音声信号に畳み込むようにする。 In contrast to the conventional head related transfer function convolution method as shown in FIG. 10, in this embodiment, the normalized head transfer function of the direct wave obtained as described above and the normalized head of the selected reflected wave are used. The transfer function is convolved with the audio signal.
ここで、この実施形態では、仮想音像定位位置を定めたとき、測定点位置（音響再生ドライバー設置位置）との間における直接波の正規化頭部伝達関数は、必ず、音声信号に畳み込む。しかし、反射波の正規化頭部伝達関数については、想定した聴取環境や部屋構造などに応じて選択したもののみを音声信号に畳み込むようにする。 Here, in this embodiment, when the virtual sound image localization position is determined, the normalized head-related transfer function of the direct wave between the measurement point position (sound reproduction driver installation position) is always convolved with the audio signal. However, with regard to the normalized head-related transfer function of the reflected wave, only the one selected according to the assumed listening environment or room structure is convolved with the audio signal.
例えば、前述した大平原のような聴取環境を想定した場合には、反射波としては、仮想音像定位位置から地面（床）での反射波のみを選択し、当該反射波が測定点位置に入射する方向について求められた正規化頭部伝達関数を音声信号に畳み込むようにする。また、例えば、通常の直方体形状の部屋の場合には、天井、床、リスナの左右の壁、リスナの前方および後方の壁の全てからの反射波を選択して、それらの反射波が測定点位置に入射する方向について求められた正規化頭部伝達関数を畳み込むようにする。 For example, assuming a listening environment such as the Great Plain described above, only the reflected wave on the ground (floor) from the virtual sound image localization position is selected as the reflected wave, and the reflected wave enters the measurement point position. The normalized head-related transfer function obtained with respect to the direction to be performed is convoluted with the audio signal. Also, for example, in the case of a normal rectangular parallelepiped room, select reflected waves from all of the ceiling, floor, left and right walls of the listener, the front and rear walls of the listener, and those reflected waves are measured points. The normalized head-related transfer function obtained for the direction of incidence on the position is convolved.
また、後者の部屋のような場合、反射波としては、一次反射のみではなく、二次反射、三次反射などが生じるが、例えば一次反射のみを選択する。実験によれば、一次反射波のみについての正規化頭部伝達関数を畳み込んだ音声信号であっても、その音声信号を音響再生することにより、良好な仮想音像定位感が得られている。なお、２次以降の反射波についての正規化頭部伝達関数をさらに音声信号に畳み込むようにすれば、その音声信号を音響再生したときには、さらに良好な仮想音像定位感が得られる場合もある。 Further, in the case of the latter room, as the reflected wave, not only the primary reflection but also the secondary reflection, the tertiary reflection, and the like occur. For example, only the primary reflection is selected. According to the experiment, even if the audio signal is a convolution of the normalized head related transfer function for only the primary reflected wave, a good virtual sound localization is obtained by acoustic reproduction of the audio signal. If the normalized head-related transfer function for the reflected waves after the second order is further convoluted with the audio signal, a better virtual sound image localization may be obtained when the audio signal is acoustically reproduced.
直接波についての正規化頭部伝達関数は、基本的には、そのままの利得（ゲイン）で音声信号に畳み込むようにするが、反射波については、一次反射であるか、二次反射であるか、さらに高次の反射であるかに応じた利得で、正規化頭部伝達関数を音声信号に畳み込むようにする。これは、この実施形態で得られる正規化頭部伝達関数は、それぞれ所定の方向に設定した想定音源位置からの直接波について測定したものであり、当該所定の方向からの反射波についての正規化頭部伝達関数は、直接波に対して減衰したものとなるからである。なお、反射波についての正規化頭部伝達関数の直接波に対する減衰量は、高次になるほど大きくなる。 The normalized head-related transfer function for direct waves is basically convolved with the audio signal with the same gain (gain), but for reflected waves, is it primary reflection or secondary reflection? Then, the normalized head related transfer function is convolved with the audio signal with a gain depending on whether the reflection is higher order. This is because the normalized head-related transfer functions obtained in this embodiment are measured for direct waves from the assumed sound source position set in a predetermined direction, respectively, and normalized for reflected waves from the predetermined direction. This is because the head-related transfer function is attenuated with respect to the direct wave. Note that the attenuation amount of the normalized head-related transfer function for the reflected wave with respect to the direct wave increases as the order increases.
また、前述もしたように、反射波の頭部伝達関数については、この実施形態では、さらに、想定する反射部位の表面形状、表面構造、材質などに応じた吸音率（音波の減衰率）を考慮した利得を設定することができるようにしている。 In addition, as described above, with respect to the head-related transfer function of the reflected wave, in this embodiment, the sound absorption coefficient (sound wave attenuation coefficient) corresponding to the surface shape, surface structure, material, etc. A gain that takes into account can be set.
以上のように、この実施形態では、頭部伝達関数を畳み込む反射波を選択し、また、それぞれの反射波の頭部伝達関数の利得を調整するようにするので、任意の想定した部屋環境や聴取環境に応じた頭部伝達関数の音声信号に対する畳み込みが可能となる。つまり、従来のように、良好な音場空間を提供する部屋やスペースにおいて、頭部伝達関数の測定を行うことなく、良好な音場空間を提供すると想定される部屋やスペースにおける頭部伝達関数を音声信号に畳み込むことが可能となる。 As described above, in this embodiment, since the reflected wave that convolves the head-related transfer function is selected and the gain of the head-related transfer function of each reflected wave is adjusted, any assumed room environment or It is possible to convolve the sound signal of the head-related transfer function according to the listening environment. In other words, the head-related transfer function in a room or space that is supposed to provide a good sound field space without measuring the head-related transfer function in a room or space that provides a good sound field space as in the past. Can be convoluted with the audio signal.
［畳み込み方法の第１の例（複数処理）；図１１、図１２］
この実施形態では、直接波の正規化頭部伝達関数（直接波方向頭部伝達関数）と、それぞれの反射波の正規化頭部伝達関数（反射波方向頭部伝達関数）とは、上述したように、それぞれ独立に求められるので、第１の例では、直接波および選択したそれぞれの反射波の正規化頭部伝達関数は、音声信号に対して、独立に畳み込み処理するようにする。
[First Example of Convolution Method (Multiple Processing); FIGS. 11 and 12]
In this embodiment, the normalized head related transfer function of the direct wave (direct wave direction head related transfer function) and the normalized head related transfer function of each reflected wave (reflected wave direction head related transfer function) are described above. Thus, in the first example, the normalized head-related transfer functions of the direct wave and each selected reflected wave are convolved independently with respect to the audio signal.
例えば、直接波（直接波の方向）のほかに、３個の反射波（反射波の方向）が選択されて、それぞれに対応する正規化頭部伝達関数（直接波方向頭部伝達関数および反射波方向頭部伝達関数）が畳み込まれる場合について説明する。 For example, in addition to the direct wave (direct wave direction), three reflected waves (reflected wave direction) are selected, and the corresponding normalized head related transfer functions (direct wave direction head related transfer function and reflection) are selected. A case where the wave direction head-related transfer function) is convoluted will be described.
直接波および反射波のそれぞれに対しては、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間が予め求められる。この遅延時間は、測定点位置（音響再生ドライバー位置）と仮想音像定位位置が定まり、反射部位が定まれば、計算により求められる。そして、反射波については、正規化頭部伝達関数に対する減衰量（ゲイン）も予め定められる。 For each of the direct wave and the reflected wave, a delay time corresponding to the path length from the virtual sound image localization position to the measurement point position is obtained in advance. This delay time can be obtained by calculation if the measurement point position (sound reproduction driver position) and the virtual sound image localization position are determined and the reflection site is determined. And about a reflected wave, the attenuation amount (gain) with respect to the normalized head-related transfer function is also predetermined.
図１１に、直接波および３個の反射波についての遅延時間およびゲイン、さらに、畳み込み処理区間の例を示す。 FIG. 11 shows an example of the delay time and gain for the direct wave and the three reflected waves, and the convolution processing section.
図１１の例においては、直接波の正規化頭部伝達関数（直接波方向頭部伝達関数）については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する時間に相当する遅延ＤＬ０が考慮される。すなわち、直接波の正規化頭部伝達関数の畳み込み開始時点は、図１１の最下欄に示すように、前記遅延ＤＬ０だけ音声信号を遅延した時点ｔ０となる。 In the example of FIG. 11, the direct wave normalized head related transfer function (direct wave direction head related transfer function) is a delay corresponding to the time from the virtual sound image localization position to the measurement point position with respect to the audio signal. DL0 is considered. That is, the convolution start point of the direct wave normalized head related transfer function is the time point t0 when the audio signal is delayed by the delay DL0 as shown in the bottom column of FIG.
そして、前述したようにして求められている当該直接波の方向についての正規化頭部伝達関数が、前記時点ｔ０から開始する、当該正規化頭部伝達関数のデータ長分（上述の例では、６００個のデータ分）の畳み込みプロセス区間ＣＰ０で、音声信号に対して畳み込み処理がなされる。 Then, the normalized head related transfer function with respect to the direction of the direct wave determined as described above starts from the time point t0 (for the above example, the normalized head related transfer function data length) In the convolution process section CP0 for 600 data), the audio signal is convolved.
次に、３個の反射波のうち、第１の反射波１の正規化頭部伝達関数（反射波方向頭部伝達関数）については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する経路長に対応する遅延ＤＬ１が考慮される。すなわち、第１の反射波１の正規化頭部伝達関数の畳み込み開始時点は、図１１の最下欄に示す、前記遅延ＤＬ１だけ音声信号を遅延した時点ｔ１となる。 Next, among the three reflected waves, the normalized head related transfer function (reflected wave direction head related transfer function) of the first reflected wave 1 is measured from the virtual sound image localization position to the measurement point position with respect to the audio signal. The delay DL1 corresponding to the path length to reach is considered. That is, the convolution start time point of the normalized head related transfer function of the first reflected wave 1 is the time point t1 when the audio signal is delayed by the delay DL1 shown in the bottom column of FIG.
そして、前述したようにして求められている第１の反射波１の方向についての正規化頭部伝達関数（反射波方向頭部伝達関数）が、前記時点ｔ１から開始する、当該正規化頭部伝達関数のデータ長（上述の例では、６００個のデータ分）の畳み込みプロセス区間ＣＰ１で、音声信号に対して畳み込み処理がなされる。この畳み込み処理に際して、前記正規化頭部伝達関数は、第１の反射波１が第何次の反射波であるかと、反射部位における吸音率（または反射率）とが考慮されたゲインＧ１（Ｇ１＜１）倍される。 Then, the normalized head related to the direction of the first reflected wave 1 obtained as described above (the reflected wave direction head related transfer function) starts from the time point t1. The convolution process is performed on the audio signal in the convolution process section CP1 of the data length of the transfer function (600 data in the above example). In the convolution process, the normalized head related transfer function uses a gain G1 (G1) in which the first reflected wave 1 is the first-order reflected wave and the sound absorption coefficient (or reflectance) at the reflection part is taken into consideration. <1) It is multiplied.
また、同様にして、第２の反射波２および第３の反射波３の正規化頭部伝達関数（反射波方向頭部伝達関数）については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する経路長に対応する遅延ＤＬ２およびＤＬ３がそれぞれ考慮される。すなわち、図１１の最下欄に示すように、第２の反射波２の正規化頭部伝達関数の畳み込み開始時点は、前記遅延ＤＬ２だけ音声信号を遅延した時点ｔ２となり、第３の反射波３の正規化頭部伝達関数の畳み込み開始時点は、前記遅延ＤＬ３だけ音声信号を遅延した時点ｔ３となる。
Similarly, the normalized head related transfer function (reflected wave direction head related transfer function) of the second
そして、前述したようにして求められている第２の反射波２の方向についての正規化頭部伝達関数（反射波方向頭部伝達関数）が、前記時点ｔ２から開始する、当該正規化頭部伝達関数のデータ長（上述の例では、６００個のデータ分）の畳み込みプロセス区間ＣＰ２で、また、第３の反射波３の方向についての正規化頭部伝達関数（反射波方向頭部伝達関数）が、前記時点ｔ３から開始する、当該正規化頭部伝達関数のデータ長（上述の例では、６００個のデータ分）の畳み込みプロセス区間ＣＰ３で、それぞれ音声信号に対して畳み込み処理がなされる。
Then, the normalized head related to the direction of the second
この畳み込み処理に際して、前記正規化頭部伝達関数は、第２の反射波２および第３の反射波３のそれぞれが第何次の反射波であるかと、反射部位における吸音率（または反射率）とが考慮されたゲインＧ２およびＧ３（Ｇ２＜１およびＧ３＜１）倍される。
In this convolution process, the normalized head related transfer function is calculated based on the order of each of the second
以上説明した図１１の例の畳み込み処理を実行する正規化頭部伝達関数畳み込み部のハードウエア構成例を、図１２に示す。 FIG. 12 shows a hardware configuration example of the normalized head related transfer function convolution unit that executes the convolution process of the example of FIG. 11 described above.
この図１２の例は、直接波用の畳み込み処理部５１と、第１〜第３の反射波１，２，３用の畳み込み処理部５２，５３，５４と、加算部５５とからなる。これらの畳み込み処理部５１〜５４のそれぞれは、全く同一の構成を備え、この例においては、遅延部５１１，５２１，５３１，５４１と、頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２と、正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３と、ゲイン調整部５１４，５２４，５３４，５４４と、ゲインメモリ５１５，５２５，５３５，５４５とを備えて構成されている。
The example of FIG. 12 includes a
この例においては、遅延部５１１，５２１，５３１，５４１のそれぞれには、頭部伝達関数を畳み込むべき入力音声信号Ｓｉが供給される。遅延部５１１，５２１，５３１，５４１のそれぞれは、直接波および第１〜第３の反射波の正規化頭部伝達関数の畳み込みの開始時点ｔ０，ｔ１，ｔ２，ｔ３まで、頭部伝達関数を畳み込むべき入力音声信号Ｓｉを遅延させるものである。したがって、この例では、図示のように、遅延部５１１，５２１，５３１，５４１のそれぞれの遅延量は、ＤＬ０，ＤＬ１，ＤＬ２，ＤＬ３とされる。
In this example, each of the
頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれは、正規化頭部伝達関数を音声信号に畳み込む処理を実行する部分で、この例では、６００タップのＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｎｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタあるいはＦＩＲ（Ｆｉｎｉｔｅ Ｉｎｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタで構成される。
Each of the head-related transfer
正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３は、頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれで畳み込む正規化頭部伝達関数を記憶保持するものである。正規化頭部伝達関数メモリ５１３には、直接波の方向の正規化頭部伝達関数が、正規化頭部伝達関数メモリ５２３には、第１の反射波の方向の正規化頭部伝達関数が、正規化頭部伝達関数メモリ５３３には、第２の反射波の方向の正規化頭部伝達関数が、正規化頭部伝達関数メモリ５４３には、第３の反射波の方向の正規化頭部伝達関数が、それぞれ、記憶保持される。
The normalized head related
ここで、記憶保持される直接波の方向の正規化頭部伝達関数、第１の反射波の方向の正規化頭部伝達関数、第２の反射波の方向の正規化頭部伝達関数、および第３の反射波の方向の正規化頭部伝達関数は、例えば、前述の正規化頭部伝達関数メモリ４１から選択されて読み出されて、対応する正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３のそれぞれに書き込まれる。
Here, the normalized head-related transfer function in the direction of the direct wave stored, the normalized head-related transfer function in the direction of the first reflected wave, the normalized head-related transfer function in the direction of the second reflected wave, and The normalized head related transfer function in the direction of the third reflected wave is selected and read out from the normalized head related transfer function memory 41, for example, and the corresponding normalized head related
ゲイン調整部５１４，５２４，５３４，５４４は、畳み込む正規化頭部伝達関数のゲインを調整するためのものである。このゲイン調整部５１４，５２４，５３４，５４４は、ゲインメモリ５１５，５２５，５３５，５４５に記憶されているゲイン値（＜１）を、正規化伝達関数メモリ５１３，５２３，５３３，５３４からの正規化頭部伝達関数に乗算し、その乗算結果を頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２に供給する。
The
この例では、ゲインメモリ５１５には、直接波についてのゲイン値Ｇ０（≦１）が記憶され、ゲインメモリ５２５には、第１の反射波についてのゲイン値Ｇ１（＜１）が記憶され、ゲインメモリ５３５には、第２の反射波についてのゲイン値Ｇ２（＜１）が記憶され、ゲインメモリ５４５には、第３の反射波についてのゲイン値Ｇ３（＜１）が記憶される。
In this example, the
加算部５５は、直接波用の畳み込み処理部５１と、第１〜第３の反射波１，２，３用の畳み込み処理部５２，５３，５４からの、それぞれ正規化頭部伝達関数が畳み込まれた音声信号を加算して合成し、出力音声信号Ｓｏを出力する。
The
以上のような構成において、頭部伝達関数を畳み込むべき入力音声信号Ｓｉが、遅延部５１１，５２１，５３１，５４１のそれぞれに供給されて、それぞれ、直接波および第１〜第３の反射波の正規化頭部伝達関数の畳み込みの開始時点ｔ０，ｔ１，ｔ２，ｔ３まで、遅延させられる。遅延部５１１，５２１，５３１，５４１のそれぞれで、正規化頭部伝達関数の畳み込みの開始時点ｔ０，ｔ１，ｔ２，ｔ３まで、遅延させられた入力音声信号Ｓｉは、頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２に供給される。
In the configuration as described above, the input audio signal Si to be convoluted with the head-related transfer function is supplied to each of the
一方、正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３のそれぞれからは、それぞれ畳み込みの開始時点ｔ０，ｔ１，ｔ２，ｔ３から、順次に、記憶保持されている正規化頭部伝達関数データが読み出される。正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３のそれぞれからの正規化頭部伝達関数データの読み出しタイミング制御に関しては、ここでは省略する。
On the other hand, from each of the normalized head related
読み出された正規化頭部伝達関数データは、ゲイン調整部５１４，５２４，５３４，５４４のそれぞれにおいて、ゲインメモリ５１５，５２５，５３５，５４５からのゲインＧ０，Ｇ１，Ｇ２，Ｇ３倍されて、ゲイン調整された後、頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれに供給される。
The read normalized head related transfer function data is multiplied by gains G0, G1, G2, and G3 from the
頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれでは、図１１に示した畳み込みプロセス区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３のそれぞれにおいて、ゲイン調整された正規化頭部伝達関数データを畳み込み処理する。
In each of the head related transfer
そして、これら頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれでの正規化頭部伝達関数データの畳み込み処理結果が加算部５５で加算され、その加算結果が、出力音声信号Ｓｏとして出力される。
Then, the convolution processing results of the normalized head-related transfer function data in each of these head-related transfer
この第１の例の場合においては、直接波および複数の反射波についての正規化頭部伝達関数のそれぞれを、音声信号に独立に畳み込み処理することができるので、遅延部５１１，５２１，５３１，５４１における遅延量およびゲインメモリ５１５，５２５，５３５，５４５に記憶するゲインを調整することにより、さらに、正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３に記憶して畳み込む正規化伝達関数を変えることにより、屋内や屋外などの聴取環境スペースの種類の違いや、部屋の形状、大きさ、反射部位の材質（吸音率や反射率）の違いなど、聴取環境の違いに応じた頭部伝達関数の畳み込みが容易にできる。
In the case of the first example, each of the normalized head related transfer functions for the direct wave and the plurality of reflected waves can be convolved with the audio signal independently, so that the
遅延部５１１，５２１，５３１，５４１を、外部からのオペレータなどの操作入力に応じて遅延量を可変できる可変遅延手段で構成し、正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３に対して、オペレータが正規化頭部伝達関数メモリ４０から選択した任意の正規化頭部伝達関数を書き込むようにする手段と、さらに、ゲインメモリ５１５，５２５，５３５，５４５に対して、オペレータが任意のゲインを入力して記憶することができる手段を設けた場合には、オペレータが任意に設定した聴取環境スペースや部屋環境などの聴取環境に応じた頭部伝達関数の畳み込みができる。
The
例えば、部屋形状が全く同じ聴取環境において、壁の材質（吸音率や反射率）に応じてゲインを変更することが容易にでき、壁の材質を種々変更して状況における仮想音像定位状態をシミュレートすることができる。 For example, in a listening environment where the room shape is exactly the same, it is easy to change the gain according to the wall material (sound absorption rate or reflectivity), and various sound effects can be simulated by changing the wall material. You can
なお、図１１の例の構成において、直接波用の畳み込み処理部５１および第１〜第３の反射波１，２，３用の畳み込み処理部５２，５３，５４のそれぞれに正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３を設ける代わりに、それらの畳み込み処理部５１〜５４に共通に正規化頭部伝達関数メモリ４０を設けると共に、畳み込み処理部５１〜５４のそれぞれに、正規化頭部伝達関数メモリ４０から、畳み込み処理部５１〜５４のそれぞれで必要とする正規化頭部伝達関数を選択的に読み出す手段を設けるように構成しても良い。
In the configuration of the example of FIG. 11, normalized head transmission is performed to each of the
なお、上述の第１の例は、直接波の他に、３個の反射波を選択して、それらの正規化頭部伝達関数を音声信号に畳み込むようにした場合についての説明であるが、選択される反射波の正規化頭部伝達関数が３個以上の場合には、図１２の構成において、反射波用の畳み込み処理部５２，５３，５４と同様の畳み込み処理部を、必要な数だけ設けることにより、全く同様にして、それらの正規化頭部伝達関数の畳み込みを行うことができる。
Note that the first example described above is an explanation of a case where three reflected waves are selected in addition to the direct wave, and their normalized head related transfer functions are convoluted with the audio signal. When there are three or more normalized head-related transfer functions of reflected waves to be selected, a necessary number of convolution processing units similar to the
なお、図１１の例では、遅延部５１１，５２１，５３１，５４１は、それぞれ入力音声信号Ｓｉを、畳み込み開始時点まで遅延するように構成したので、それぞれの遅延量は、ＤＬ０，ＤＬ１，ＤＬ２，ＤＬ３とされている。しかし、遅延部５１１の出力端を遅延部５２１の入力端に接続し、遅延部５２１の出力端を遅延部５３１の入力端に接続し、遅延部５３１の出力端を遅延部５４１の入力端に接続するように構成すれば、遅延部５２１，５３２，５４２での遅延量は、それぞれＤＬ１−ＤＬ０、ＤＬ２−ＤＬ１、ＤＬ３−ＤＬ２とすることできて、小さくすることができる。
In the example of FIG. 11, each of the
また、畳み込みプロセス区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３が互いに重ならない場合には、畳み込みプロセス区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３の時間長を考慮しながら、直列的に、遅延回路と畳み込み回路とを接続構成することもできる。その場合には、畳み込みプロセス区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３の時間長をＴＰ０，ＴＰ１，ＴＰ２，ＴＰ３とすれば、遅延部５２１，５３２，５４２での遅延量は、それぞれＤＬ１−ＤＬ０−ＴＰ０、ＤＬ２−ＤＬ１−ＴＰ１、ＤＬ３−ＤＬ２−ＴＰ２とすることできて、さらに小さくすることができる。
Further, when the convolution process sections CP0, CP1, CP2, and CP3 do not overlap each other, the delay circuit and the convolution circuit are connected in series in consideration of the time length of the convolution process sections CP0, CP1, CP2, and CP3. It can also be configured. In this case, if the time lengths of the convolution process sections CP0, CP1, CP2, CP3 are TP0, TP1, TP2, TP3, the delay amounts in the
［畳み込み方法の第２の例（係数合成処理）；図１３、図１４］
この第２の例は、予め定まった聴取環境についての頭部伝達関数を畳み込み処理する場合に用いられる。すなわち、聴取環境スペースの種類や、部屋の形状、大きさ、反射部位の材質（吸音率や反射率）など、聴取環境が予め定まっている場合には、直接波および選択される反射波の正規化頭部伝達関数の畳み込みの開始時点は定まったものとなり、且つ、それぞれの正規化頭部伝達関数を畳み込む際の減衰量（ゲイン）も定まったものとなる。
[Second Example of Convolution Method (Coefficient Synthesis Processing); FIGS. 13 and 14]
This second example is used when the head-related transfer function for a predetermined listening environment is convolved. In other words, if the listening environment is predetermined, such as the type of listening environment space, the shape and size of the room, and the material of the reflection part (sound absorption rate and reflectivity), the direct wave and the selected reflected wave are normalized. The start point of the convolution of the normalized head related transfer function is determined, and the attenuation amount (gain) when the respective normalized head related transfer functions are convolved is also determined.
例えば前述した直接波および３個の反射波の頭部伝達関数を例に取ると、図１３に示すように、直接波および第１〜第３の反射波の正規化頭部伝達関数の畳み込みの開始時点は、それぞれ前述した開始時点ｔ０，ｔ１，ｔ２，ｔ３となり、音声信号に対する遅延量は、ＤＬ０，ＤＬ１，ＤＬ２，ＤＬ３となる。そして、直接波および第１〜第３の反射波の正規化頭部伝達関数の畳み込み時のゲインは、それぞれＧ０，Ｇ１，Ｇ２，Ｇ３と定めることができる。 For example, taking the head transfer function of the direct wave and the three reflected waves as described above as an example, as shown in FIG. 13, the convolution of the normalized head transfer function of the direct wave and the first to third reflected waves is shown. The start time points are the above-described start time points t0, t1, t2, and t3, respectively, and the delay amounts for the audio signals are DL0, DL1, DL2, and DL3. And the gain at the time of convolution of the normalization head-related transfer function of a direct wave and the 1st-3rd reflected wave can be defined as G0, G1, G2, G3, respectively.
そこで、第２の例においては、図１３に示すように、これらの正規化頭部伝達関数を時系列的に合成して合成正規化頭部伝達関数とし、畳み込みプロセス区間を、音声信号に対して、これらの複数個の正規化頭部伝達関数の畳み込みを完了するまでの期間とする。 Therefore, in the second example, as shown in FIG. 13, these normalized head related transfer functions are synthesized in time series to form a synthesized normalized head related transfer function, and the convolution process interval is set to the speech signal. The period until the convolution of the plurality of normalized head related transfer functions is completed.
ここで、図１３に示すように、それぞれの正規化頭部伝達関数の実質的な畳み込み区間は、ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３であって、これらの畳み込み区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３以外の区間では、頭部伝達関数のデータは存在しないので、その区間では、データ０（ゼロ）を頭部伝達関数として用いるようにする。 Here, as shown in FIG. 13, the substantial convolution sections of the respective normalized head related transfer functions are CP0, CP1, CP2, and CP3, and other than these convolution sections CP0, CP1, CP2, and CP3. Since there is no head-related transfer function data in the section, data 0 (zero) is used as the head-related transfer function in that section.
この第２の例の場合には、正規化頭部伝達関数畳み込み部のハードウエア構成例は、図１４に示すようなものとなる。 In the case of this second example, the hardware configuration example of the normalized head related transfer function convolution unit is as shown in FIG.
すなわち、この第２の例においては、頭部伝達関数を畳み込むべき入力音声信号Ｓｉは、直接波の頭部伝達関数についての遅延部６１にて、直接波についての所定の遅延量ＤＬ０だけ遅延された後、頭部伝達関数畳み込み回路６２に供給される。
That is, in this second example, the input speech signal Si to be convolved with the head-related transfer function is delayed by a predetermined delay amount DL0 for the direct wave at the
この頭部伝達関数畳み込み回路６２には、合成正規化頭部伝達関数メモリ６３からの合成正規化頭部伝達関数が供給されて、音声信号に畳み込まれる。合成正規化頭部伝達関数メモリ６３に記憶される合成正規化頭部伝達関数は、前述の図１３を用いて説明した合成正規化頭部伝達関数である。
The head-related transfer
この第２の例は、遅延量を変更したり、ゲインを変更したりする場合にも、合成正規化頭部伝達関数の全てを書き換える必要があるが、図１４に示すように、正規化頭部伝達関数を畳み込む回路のハードウエア構成を簡単にすることができるというメリットがある。 In the second example, even when the delay amount is changed or the gain is changed, it is necessary to rewrite all of the synthesized normalized head related transfer functions. However, as shown in FIG. There is an advantage that the hardware configuration of the circuit that convolves the partial transfer function can be simplified.
［畳み込み方法の他の例］
上述した第１および第２の例では、いずれも、直接波および選択した反射波については、畳み込みプロセス区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３のそれぞれにおいて、予め測定しておいた対応する方向についての正規化頭部伝達関数を音声信号に畳み込むようにした。
[Other examples of convolution methods]
In the first and second examples described above, both the direct wave and the selected reflected wave are normalized in the corresponding directions measured in advance in each of the convolution process sections CP0, CP1, CP2, and CP3. The head-related transfer function was convoluted with the audio signal.
しかし、重要なのは、選択した反射波についての頭部伝達関数の畳み込み開始時点および畳み込みプロセス区間ＣＰ１，ＣＰ２，ＣＰ３であり、実際に畳み込む信号は、対応する頭部伝達関数ではなくても良い。 However, what is important is the convolution start time and the convolution process sections CP1, CP2, and CP3 of the head related transfer function for the selected reflected wave, and the actual convolved signal may not be the corresponding head related transfer function.
すなわち、例えば、上述した第１および第２の例において、直接波の畳み込みプロセス区間ＣＰ０においては、直接波についての正規化頭部伝達関数（直接波方向頭部伝達関数）を畳み込むようにするが、反射波の畳み込みプロセス区間ＣＰ１，ＣＰ２，ＣＰ３においては、簡易的に、畳み込みプロセス区間ＣＰ０と同じ直接波方向頭部伝達関数を、必要なゲインＧ１，Ｇ２，Ｇ３倍することで減衰させたものを、それぞれ畳み込むようにしても良い。 That is, for example, in the first and second examples described above, in the direct wave convolution process section CP0, the normalized head related transfer function (direct wave direction head related transfer function) for the direct wave is convolved. In the convolution process sections CP1, CP2 and CP3 of the reflected wave, the same direct wave direction head-related transfer function as the convolution process section CP0 is simply attenuated by multiplying the necessary gains G1, G2 and G3. Each may be folded.
すなわち、第１の例の場合であれば、正規化頭部伝達関数メモリ５２３，５３３，５４３には、正規化頭部伝達関数メモリ５１３と同じ直接波についての正規化頭部伝達関数を記憶しておくようにする。あるいは、正規化頭部伝達関数メモリ５２３，５３３，５４３は省略して、正規化頭部伝達関数メモリ５１３のみを設け、当該正規化頭部伝達関数メモリ５１３からゲイン調整部５１４のみではなく、ゲイン調整部５２４，５３４，５４４にも、それぞれの畳み込みプロセス区間ＣＰ１，ＣＰ２，ＣＰ３で、直接波の正規化頭部伝達関数を読み出して供給するようにしても良い。
That is, in the case of the first example, the normalized head related
さらには、同様に、上述した第１および第２の例において、直接波の畳み込みプロセス区間ＣＰ０においては、直接波についての正規化頭部伝達関数（直接波方向頭部伝達関数）を畳み込むようにするが、反射波の畳み込みプロセス区間ＣＰ１，ＣＰ２，ＣＰ３においては、簡易的に、畳み込み対象である音声信号を、それぞれ対応する遅延量ＤＬ１，ＤＬ２，ＤＬ３だけ遅延したものを、それぞれ畳み込むようにしても良い。すなわち、畳み込み対象の音声信号を前記遅延量ＤＬ１，ＤＬ２，ＤＬ３だけ保持する保持手段を設け、それら保持手段で保持した音声信号を反射波の畳み込みプロセス区間ＣＰ１，ＣＰ２，ＣＰ３で畳み込むようにする。 Further, similarly, in the first and second examples described above, in the direct wave convolution process section CP0, the normalized head related transfer function (direct wave direction head related transfer function) for the direct wave is convolved. However, in the convolution process sections CP1, CP2 and CP3 of the reflected wave, the audio signals to be convoluted are simply convolved with the delays corresponding to the delay amounts DL1, DL2 and DL3, respectively. Also good. That is, holding means for holding the audio signals to be convolved by the delay amounts DL1, DL2, DL3 is provided, and the audio signals held by these holding means are convoluted in the convolution process sections CP1, CP2, CP3 of the reflected waves.
［実施形態の頭部伝達関数畳み込み方法を用いた音響再生システムの例；図１６〜図１８］
次に、この発明による頭部伝達関数畳み込み方法の実施形態を、ヘッドホンを用いてマルチサラウンド音声信号を再生する場合に適用することにより、仮想音像定位を用いた再生を行うことができるようにした再生装置に適用した場合を例に説明する。
[Example of sound reproduction system using head related transfer function convolution method of embodiment; FIGS. 16 to 18]
Next, the embodiment of the head related transfer function convolution method according to the present invention is applied to the case of reproducing a multi-surround audio signal using headphones, so that reproduction using virtual sound image localization can be performed. A case where the present invention is applied to a playback apparatus will be described as an example.
以下に説明する例は、ＩＴＵ（国際電気通信連合）−Ｒによる７．１チャンネルマルチサラウンドの場合のスピーカ配置を想定して、オーバーヘッドホンにより、この７．１チャンネルマルチサラウンドのスピーカ配置位置に、各チャンネルの音声成分が仮想音像定位するように、頭部伝達関数を畳み込むようにする場合である。 The example described below assumes speaker placement in the case of 7.1-channel multi-surround by ITU (International Telecommunication Union) -R, and uses an overhead phone to place this 7.1-channel multi-surround speaker. This is a case where the head-related transfer function is convolved so that the sound component of each channel is localized in the virtual sound image.
図１５に、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例を示すもので、リスナ位置Ｐｎを中心とした円周上に、各チャンネルのスピーカが位置するように定められる。 FIG. 15 shows an ITU-R 7.1-channel multi-surround speaker arrangement example, and it is determined that the speakers of each channel are located on the circumference centered on the listener position Pn.
図１５において、リスナの正面位置であるＣは、センターチャンネルのスピーカ位置である。センターチャンネルのスピーカ位置Ｃを中心として、その両側において、互いに６０度の角範囲だけ離れた位置であるＬＦおよびＲＦは、それぞれ左前方チャンネルおよび右前方チャンネルのスピーカ位置を示している。 In FIG. 15, C which is the front position of the listener is the speaker position of the center channel. LF and RF, which are positions separated from each other by an angular range of 60 degrees with respect to the speaker position C of the center channel, indicate the speaker positions of the left front channel and the right front channel, respectively.
そして、リスナの正面位置Ｃの左右６０度から１５０度の範囲において、左側および右側に２個ずつのスピーカ位置ＬＳ，ＬＢおよびＲＳ，ＲＢが設定される。これらスピーカ位置ＬＳ，ＬＢとＲＳ，ＲＢとは、リスナに対して左右対称の位置に設定されるものである。スピーカ位置ＬＳおよびＲＳは、左側方チャンネルおよび右側方チャンネルのスピーカ位置であり、スピーカ位置ＬＢおよびＲＢは、左後方チャンネルおよび右後方チャンネルのスピーカ位置である。 Then, two speaker positions LS, LB and RS, RB are set on the left side and the right side in the range of 60 degrees to 150 degrees on the left and right of the front position C of the listener. These speaker positions LS, LB and RS, RB are set at positions symmetrical to the listener. The speaker positions LS and RS are the speaker positions of the left side channel and the right side channel, and the speaker positions LB and RB are the speaker positions of the left rear channel and the right rear channel.
この音響再生システムの例においては、オーバーヘッドホンとして、前述の図５で説明した、左右の耳用のそれぞれに対して、７個ずつのヘッドホンドライバーが配置されるものを使用する。 In this example of the sound reproduction system, an overhead phone in which seven headphone drivers are arranged for each of the left and right ears described with reference to FIG. 5 is used.
したがって、この例においては、前述の図５に示したようにして、リスナに対して水平方向および垂直方向のそれぞれにおいて、例えば１０度角間隔毎などの所定の分解能で定めた多数の想定音源位置を定め、その多数の想定音源位置のそれぞれについて、７個ずつのヘッドホンドライバートのそれぞれについての正規化頭部伝達関数を求めるようにする。 Therefore, in this example, as shown in FIG. 5 described above, a number of assumed sound source positions determined with a predetermined resolution such as every 10 degree angular intervals in each of the horizontal direction and the vertical direction with respect to the listener. And a normalized head-related transfer function for each of the seven headphone drivers is obtained for each of the many assumed sound source positions.
そして、７．１チャンネルのマルチサラウンド音声信号を、この例のオーバーヘッドホンで音響再生したとき、図１５の各スピーカ位置Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢの方向を仮想音像定位方向として音響再生されるようにするように、後述するようにして、７．１チャンネルのマルチサラウンド音声信号の各チャンネルの音声信号に、選択された正規化頭部伝達関数を畳み込むようにする。 When the 7.1-channel multi-surround audio signal is acoustically reproduced by the overhead phone of this example, the directions of the respective speaker positions C, LF, RF, LS, RS, LB, and RB in FIG. As described later, the selected normalized head-related transfer function is convoluted with the audio signal of each channel of the 7.1-channel multi-surround audio signal.
図１６および図１７は、音響再生システムのハードウエア構成例を示すものである。図１６と図１７とに分けたのは、紙面の大きさの都合上、この例の音響再生システムを一つの紙面内に収めて示すことが困難であったためであり、図１６の続きが図１７となっている。 16 and 17 show an example of the hardware configuration of the sound reproduction system. FIG. 16 and FIG. 17 are divided because it is difficult to show the sound reproduction system of this example in one sheet due to the size of the sheet, and the continuation of FIG. 17
なお、この図１６および図１７においては、図１５のスピーカ位置Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢに供給すべき各チャンネルの音声信号は、同じ記号Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢを用いて示している。ここで、図１６および図１７において、ＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ）チャンネルは、低域効果チャンネルであり、これは、通常、音像定位方向が定まらない音声であるので、この例では、頭部伝達関数の畳み込み対象とはしない音声チャンネルとしている。 16 and 17, the audio signals of the respective channels to be supplied to the speaker positions C, LF, RF, LS, RS, LB, RB in FIG. 15 are the same symbols C, LF, RF, LS, It shows using RS, LB, RB. Here, in FIG. 16 and FIG. 17, the LFE (Low Frequency Effect) channel is a low-frequency effect channel, which is usually a sound whose sound image localization direction is not determined. The audio channel is not subject to convolution.
図１６に示すように、７．１チャンネルの信号、すなわち、ＬＦ，ＬＳ，ＲＦ，ＲＳ，ＬＢ，ＲＢ，ＣおよびＬＦＥの８チャンネルの音声信号は、それぞれ、レベル調整部７１ＬＦ，７１ＬＳ，７１ＲＦ，７１ＲＳ，７１ＬＢ，７１ＲＢ，７１Ｃおよび７１ＬＦＥ、また、アンプ７２ＬＦ，７２ＬＳ，７２ＲＦ，７２ＲＳ，７２ＬＢ，７２ＲＢ，７２Ｃおよび７２ＬＦＥを通じて、Ａ／Ｄコンバータ７３ＬＦ，７３ＬＳ，７３ＲＦ，７３ＲＳ，７３ＬＢ，７３ＲＢ，７３Ｃおよび７３ＬＦＥに供給されて、デジタル音声信号に変換される。 As shown in FIG. 16, 7.1 channel signals, that is, 8 channel audio signals of LF, LS, RF, RS, LB, RB, C, and LFE, are respectively provided in level adjusters 71LF, 71LS, 71RF, 71RS, 71LB, 71RB, 71C and 71LFE, and through amplifiers 72LF, 72LS, 72RF, 72RS, 72LB, 72RB, 72C and 72LFE, to A / D converters 73LF, 73LS, 73RF, 73RS, 73LB, 73RB, 73C and 73LFE Supplied and converted into a digital audio signal.
図１７に示すように、この例においては、左耳用の７個のヘッドホンドライバー９０Ｌ１，９０Ｌ２，９０Ｌ３，９０Ｌ４，９０Ｌ５，９０Ｌ６，９０Ｌ７のそれぞれは、右前方チャンネルのクロストークチャンネルｘＲＦ用、左側方チャンネルＬＳ用、左前方チャンネルＬＦ用、左後方チャンネルＬＢ用、センターチャンネルＣ用、低域効果チャンネルＬＦＥ用、右側方チャンネルのクロストークチャンネルｘＲＳ用、のそれぞれとされる。 As shown in FIG. 17, in this example, each of the seven headphone drivers 90L1, 90L2, 90L3, 90L4, 90L5, 90L6, and 90L7 for the left ear is for the crosstalk channel xRF of the right front channel, and on the left side. Channel LS, left front channel LF, left rear channel LB, center channel C, low-frequency effect channel LFE, and right-side channel crosstalk channel xRS are respectively used.
また、右耳用の７個のヘッドホンドライバー９０Ｒ１，９０Ｒ２，９０Ｒ３，９０Ｒ４，９０Ｒ５，９０Ｒ６，９０Ｒ７のそれぞれは、左前方チャンネルのクロストークチャンネルｘＬＦ用、右側方チャンネルＲＳ用、右前方チャンネルＲＦ用、右後方チャンネルＲＢ用、センターチャンネルＣ用、低域効果チャンネルＬＦＥ用、左側方チャンネルのクロストークチャンネルｘＬＳ用、のそれぞれとされる。 Also, each of the seven headphone drivers 90R1, 90R2, 90R3, 90R4, 90R5, 90R6, and 90R7 for the right ear is for the crosstalk channel xLF of the left front channel, for the right side channel RS, and for the right front channel RF, For the right rear channel RB, for the center channel C, for the low-frequency effect channel LFE, and for the crosstalk channel xLS of the left side channel, respectively.
ここで、この例では、センターチャンネルＣ用の音声信号と、低域効果チャンネルＬＦＥ用の音声信号とは、左右のヘッドホンドライバー９０Ｌ５，９０Ｒ５と、ヘッドホンドライバー９０Ｌ６，９０Ｒ６とに、それぞれ共通に生成されて供給される構成とされている。以上のことから、図１６および図１７に示す音響再生システムにおいては、オーバーヘッドホンの左右の耳用の各ヘッドホンドライバーへ供給する音声信号として、１２チャンネル分が生成される。 Here, in this example, the audio signal for the center channel C and the audio signal for the low-frequency effect channel LFE are generated in common by the left and right headphone drivers 90L5 and 90R5 and the headphone drivers 90L6 and 90R6, respectively. It is configured to be supplied. From the above, in the sound reproduction system shown in FIGS. 16 and 17, 12 channels are generated as audio signals to be supplied to the headphone drivers for the left and right ears of the overhead phone.
図１６に示すように、この例では、１２チャンネル分の頭部伝達関数畳み込み処理部７４ｘＲＦ、７４ＬＳ，７４ＬＦ，７４ＬＢ，７４ｘＲＳ，７４ＬＦＥ，７４Ｃ，７４ｘＬＳ，７４ＲＢ，７４ＲＦ，７４ＲＳ，７４ｘＬＦが設けられる。 As shown in FIG. 16, in this example, head-related transfer function convolution processing units 74xRF, 74LS, 74LF, 74LB, 74xRS, 74LFE, 74C, 74xLS, 74RB, 74RF, 74RS, and 74xLF for 12 channels are provided.
頭部伝達関数畳み込み処理部７４ｘＲＦは、右前方チャンネルのクロストークチャンネルｘＲＦ用、頭部伝達関数畳み込み処理部７４ＬＳは、左側方チャンネルＬＳ用、頭部伝達関数畳み込み処理部７４ＬＦは、左前方チャンネルＬＦ用、頭部伝達関数畳み込み処理部７４ＬＢは、左後方チャンネルＬＢ用、頭部伝達関数畳み込み処理部７４ｘＲＳは、右側方チャンネルのクロストークチャンネルｘＲＳ用、頭部伝達関数畳み込み処理部７４ＬＦＥは、低域効果チャンネルＬＦＥ用、頭部伝達関数畳み込み処理部７４Ｃは、センターチャンネルＣ用、頭部伝達関数畳み込み処理部７４ｘＬＳは、左側方チャンネルのクロストークチャンネルｘＬＳ用、頭部伝達関数畳み込み処理部７４ＲＢは、右後方チャンネルＲＢ用、頭部伝達関数畳み込み処理部７４ＲＦは、右前方チャンネルＲＦ用、頭部伝達関数畳み込み処理部７４ＲＳは、右側方チャンネルＲＳ用、頭部伝達関数畳み込み処理部７４ｘＬＦは、左側方チャンネルのクロストークチャンネルｘＬＦ用、である。
The head related transfer function convolution processing unit 74xRF is for the crosstalk channel xRF of the right front channel, the head related transfer function convolution processing unit 74LS is for the left side channel LS, and the head related transfer function convolution processing unit 74LF is the left front channel LF. The head-related transfer function convolution processing unit 74LB is for the left rear channel LB, the head-related transfer function convolution processing unit 74xRS is for the right-side channel crosstalk channel xRS, and the head-related transfer function convolution processing unit 74LFE is a low frequency band. For the effect channel LFE, the head related transfer function
この例においては、頭部伝達関数畳み込み処理部７４ｘＲＦ，７４ＬＳ，７４ＬＦ，７４ＬＢ，７４ｘＲＳ，７４ＬＦＥ，７４Ｃ，７４ｘＬＳ，７４ＲＢ，７４ＲＦ，７４ＲＳ，７４ｘＬＦのそれぞれは、同じハードウエア構成を有するもので、図１８に示すようなものとなる。 In this example, each of the head related transfer function convolution processing units 74xRF, 74LS, 74LF, 74LB, 74xRS, 74LFE, 74C, 74xLS, 74RB, 74RF, 74RS, and 74xLF has the same hardware configuration. It will be as shown in
この例の場合、図５に示したように、１つの想定音源位置方向からの測定用音波について、７個のヘッドホンドライバーに対応する７個のマイクロホンでそれぞれ頭部伝達関数を測定し、それぞれを前述したように正規化して７個の正規化頭部伝達関数を得ている。そして、取得した７個の正規化頭部伝達関数は、測定用マイクロホンのそれぞれに対応するヘッドホンドライバーに供給する７個の音声信号にそれぞれ畳み込むようにするものである。 In the case of this example, as shown in FIG. 5, the head related transfer functions are measured with seven microphones corresponding to seven headphone drivers for the sound waves for measurement from one assumed sound source position direction. As described above, normalization is performed to obtain seven normalized head related transfer functions. Then, the obtained seven normalized head related transfer functions are convolved with the seven audio signals supplied to the headphone drivers corresponding to the respective measurement microphones.
そのため、頭部伝達関数畳み込み処理部７４ｘＲＦ，７４ＬＳ，７４ＬＦ，７４ＬＢ，７４ｘＲＳ，７４ＬＦＥ，７４Ｃ，７４ｘＬＳ，７４ＲＢ，７４ＲＦ，７４ＲＳ，７４ｘＬＦのそれぞれは、図１８に示すように、ＬＦＥチャンネルを除く７チャンネルの音声信号についての７個の正規化頭部伝達関数畳み込み部１０１，１０２，１０３，１０４，１０５，１０６，１０７と、それらの７個の正規化頭部伝達関数畳み込み部１０１〜１０７の出力を加算する加算部１０８とで構成される。
Therefore, each of the head related transfer function convolution processing units 74xRF, 74LS, 74LF, 74LB, 74xRS, 74LFE, 74C, 74xLS, 74RB, 74RF, 74RS, and 74xLF has 7 channels excluding the LFE channel as shown in FIG. The seven normalized head related transfer
７個の正規化頭部伝達関数畳み込み部１０１〜１０７のそれぞれは、その入力音声信号に対する必要な正規化頭部伝達関数の畳み込み処理を実行する。この７個の正規化頭部伝達関数畳み込み部１０１〜１０７のそれぞれのハードウエア構成としては、前述した図１２の第１の例のハードウエア構成を採用することもできるし、図１４の第２の例のハードウエア構成を採用するようにすることできる。
Each of the seven normalized head related transfer
頭部伝達関数畳み込み処理部７４ｘＲＦ，７４ＬＳ，７４ＬＦ，７４ＬＢ，７４ｘＲＳ，７４ＬＦＥ，７４Ｃ，７４ｘＬＳ，７４ＲＢ，７４ＲＦ，７４ＲＳ，７４ｘＬＦのそれぞれにおいては、７．１チャンネルのマルチサラウンドの再生音場として仮想音像定位させるようにするために畳み込むべき正規化頭部伝達関数として選択されたもの（直接波および反射波についての正規化頭部伝達関数）がそれぞれ畳み込み処理される。 In each of the head related transfer function convolution processing units 74xRF, 74LS, 74LF, 74LB, 74xRS, 74LFE, 74C, 74xLS, 74RB, 74RF, 74RS, and 74xLF, a virtual sound image localization is performed as a 7.1-channel multi-surround reproduction sound field. Each of the normalized head related transfer functions (normalized head related transfer functions for the direct wave and the reflected wave) to be convolved to be convolved is subjected to a convolution process.
なお、この例において、頭部伝達関数畳み込み処理部７４ＬＦＥでは、頭部伝達関数の畳み込み処理は行わず、低域効果チャンネルＬＦＥの音声信号が入力され、そのまま出力されるようにされている。 In this example, the head-related transfer function convolution processing unit 74LFE does not perform the head-related transfer function convolution process, and the audio signal of the low-frequency effect channel LFE is input and output as it is.
これら頭部伝達関数畳み込み処理部７４ｘＲＦ，７４ＬＳ，７４ＬＦ，７４ＬＢ，７４ｘＲＳ，７４ＬＦＥ，７４Ｃ，７４ｘＬＳ，７４ＲＢ，７４ＲＦ，７４ＲＳ，７４ｘＬＦのそれぞれの出力音声信号は、レベル調整部７５ｘＲＦ，７５ＬＳ，７５ＬＦ，７５ＬＢ，７５ｘＲＳ，７５ＬＦＥ，７５Ｃ，７５ｘＬＳ，７５ＲＢ，７５ＲＦ，７５ＲＳ，７５ｘＬＦのそれぞれを通じて、図１７に示すように、Ｄ／Ａコンバータ７６ｘＲＦ，７６ＬＳ，７６ＬＦ，７６ＬＢ，７６ｘＲＳ，７６ＬＦＥ，７６Ｃ，７６ｘＬＳ，７６ＲＢ，７６ＲＦ，７６ＲＳ，７６ｘＬＦのそれぞれに供給されて、アナログ音声信号に変換される。 These head-related transfer function convolution processing units 74xRF, 74LS, 74LF, 74LB, 74xRS, 74LFE, 74C, 74xLS, 74RB, 74RF, 74RS, 74xLF are respectively output to the level adjusting units 75xRF, 75LS, 75LF, 75LB, As shown in FIG. 17, the D / A converters 76xRF, 76LS, 76LF, 76LB, 76xRS, 76LFE, 76C, 76xLS, 76RB, and 76RF are respectively transmitted through the 75xRS, 75LFE, 75C, 75xLS, 75RB, 75RF, 75RS, and 75xLF. The signals are supplied to 76RS and 76xLF, and converted into analog audio signals.
Ｄ／Ａコンバータ７６ｘＲＦ，７６ＬＳ，７６ＬＦ，７６ＬＢ，７６ｘＲＳ，７６ＬＦＥ，７６Ｃ，７６ｘＬＳ，７６ＲＢ，７６ＲＦ，７６ＲＳ，７６ｘＬＦのそれぞれからのアナログ音声信号は、電流電圧変換部７７ｘＲＦ，７７ＬＳ，７７ＬＦ，７７ＬＢ，７７ｘＲＳ，７７ＬＦＥ，７７Ｃ，７７ｘＬＳ，７７ＲＢ，７７ＲＦ，７７ＲＳ，７７ｘＬＦのそれぞれに供給されて、電流信号から電圧信号に変換される。 The analog audio signals from the D / A converters 76xRF, 76LS, 76LF, 76LB, 76xRS, 76LFE, 76C, 76xLS, 76RB, 76RF, 76RS, 76xLF are converted into current / voltage converters 77xRF, 77LS, 77LF, 77LB, 77xRS, The signals are supplied to 77LFE, 77C, 77xLS, 77RB, 77RF, 77RS, and 77xLF, respectively, and converted from a current signal to a voltage signal.
そして、電流電圧変換部７７ｘＲＦ，７７ＬＳ，７７ＬＦ，７７ＬＢ，７７ｘＲＳ，７７ＬＦＥ，７７Ｃ，７７ｘＬＳ，７７ＲＢ，７７ＲＦ，７７ＲＳ，７７ｘＬＦのそれぞれからの電圧信号とされた音声信号は、レベル調整部７８ｘＲＦ，７８ＬＳ，７８ＬＦ，７８ＬＢ，７８ｘＲＳ，７８ＬＦＥ，７８Ｃ，７８ｘＬＳ，７８ＲＢ，７８ＲＦ，７８ＲＳ，７８ｘＬＦのそれぞれで、レベル調整された後、利得調整部７９ｘＲＦ，７９ＬＳ，７９ＬＦ，７９ＬＢ，７９ｘＲＳ，７９ＬＦＥ，７９Ｃ，７９ｘＬＳ，７９ＲＢ，７９ＲＦ，７９ＲＳ，７９ｘＬＦのそれぞれに供給されて利得調整される。 The audio signals converted into voltage signals from the current-voltage converters 77xRF, 77LS, 77LF, 77LB, 77xRS, 77LFE, 77C, 77xLS, 77RB, 77RF, 77RS, 77xLF are level adjusters 78xRF, 78LS, 78LF. , 78LB, 78xRS, 78LFE, 78C, 78xLS, 78RB, 78RF, 78RS, 78xLF, and after level adjustment, the gain adjustment unit 79xRF, 79LS, 79LF, 79LB, 79xRS, 79LFE, 79C, 79xLS, 79RB, 79RF , 79RS, 79xLF, and gain adjustment is performed.
そして、利得調整部７９ｘＲＦ，７９ＬＳ，７９ＬＦ，７９ＬＢ，７９ｘＲＳの出力音声信号は、アンプ８０Ｌ１，８０Ｌ２，８０Ｌ３，８０Ｌ４，８０Ｌ７をそれぞれ通じて左耳用のヘッドホンドライバー９０Ｌ１，９０Ｌ２，９０Ｌ３，９０Ｌ４，９０Ｌ７に供給される。 The output audio signals of the gain adjusters 79xRF, 79LS, 79LF, 79LB, and 79xRS are passed through the amplifiers 80L1, 80L2, 80L3, 80L4, and 80L7 to the left-ear headphone drivers 90L1, 90L2, 90L3, 90L4, and 90L7, respectively. Supplied.
また、利得調整部７９ｘＬＳ，７９ＲＢ，７９ＲＦ，７９ＲＳ，７９ｘＬＦの出力音声信号は、アンプ８０Ｒ７，８０Ｒ４，８０Ｒ３，８０Ｒ２，８０Ｒ１をそれぞれ通じて右耳用のヘッドホンドライバー９０Ｒ７，９０Ｒ４，９０Ｒ３，９０Ｒ２，９０Ｒ１に供給される。 Further, the output audio signals of the gain adjusting units 79xLS, 79RB, 79RF, 79RS, 79xLF are respectively passed through the amplifiers 80R7, 80R4, 80R3, 80R2, 80R1 to the right-ear headphone drivers 90R7, 90R4, 90R3, 90R2, 90R1. Supplied.
また、利得調整部７９Ｃの出力音声信号は、アンプ８０Ｌ５を通じてヘッドホンドライバー９０Ｌ５に供給されると共に、アンプ８０Ｒ５を通じてヘッドホンドライバー９０Ｒ５に供給される。さらに、利得調整部７９ＬＦＥの出力音声信号は、アンプ８０Ｌ６を通じてヘッドホンドライバー９０Ｌ６に供給されると共に、アンプ８０Ｒ６を通じてヘッドホンドライバー９０Ｒ６に供給される。 Further, the output audio signal of the gain adjusting unit 79C is supplied to the headphone driver 90L5 through the amplifier 80L5 and is also supplied to the headphone driver 90R5 through the amplifier 80R5. Further, the output audio signal of the gain adjusting unit 79LFE is supplied to the headphone driver 90L6 through the amplifier 80L6 and is also supplied to the headphone driver 90R6 through the amplifier 80R6.
［実施形態の音響再生システムにおける正規化頭部伝達関数の畳み込み開始タイミングの例（図１９〜図２７）］
次に、図１６の頭部伝達関数畳み込み処理部７４ｘＲＦ，７４ＬＳ，７４ＬＦ，７４ＬＢ，７４ｘＲＳ，７４ＬＦＥ，７４Ｃ，７４ｘＬＳ，７４ＲＢ，７４ＲＦ，７４ＲＳ，７４ｘＬＦで畳み込まれる正規化頭部伝達関数およびその畳み込み開始タイミングについて説明する。
[Example of convolution start timing of normalized head related transfer function in sound reproduction system of embodiment (FIGS. 19 to 27)]
Next, a normalized head related transfer function that is convolved with the head related transfer function convolution processing unit 74xRF, 74LS, 74LF, 74LB, 74xRS, 74LFE, 74C, 74xLS, 74RB, 74RF, 74RS, 74xLF in FIG. Timing will be described.
例えば、縦×横＝４５５０ｍｍ×３６２０ｍｍの直方体形状の１０畳の部屋を想定し、且つ、左前方スピーカ位置ＬＦと、右前方スピーカ位置ＲＦとの距離を１６００ｍｍとして、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドの再生音響空間を想定したときの頭部伝達関数の畳み込みについて説明する。なお、ここでは、説明の簡単のため、反射波については、天井反射と床反射は省略して、壁反射のみについて説明するものとする。
For example, assuming a
この実施形態では、直接波についての正規化頭部伝達関数、そのクロストーク成分についての正規化頭部伝達関数、１次反射波についての正規化頭部伝達関数、およびそのクロストーク成分についての正規化頭部伝達関数を畳み込むようにする。 In this embodiment, the normalized head related transfer function for the direct wave, the normalized head related transfer function for the crosstalk component, the normalized head related transfer function for the first order reflected wave, and the normalized for the crosstalk component The convolution head function is convolved.
先ず、右前方スピーカ位置ＲＦを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図１９に示すようなものとすることができる。 First, in order to set the right front speaker position RF as the virtual sound image localization position, the sound wave direction of the normalized head related transfer function to be convolved can be as shown in FIG.
すなわち、図１９において、ＲＦｄは、位置ＲＦからの直接波を示しており、また、ｘＲＦｄはその左チャンネルへのクロストークを示している。なお、記号ｘは、クロストークであることを示している。以下同様である。 That is, in FIG. 19, RFd indicates a direct wave from the position RF, and xRFd indicates crosstalk to the left channel. Note that the symbol x indicates crosstalk. The same applies hereinafter.
また、ＲＦｓＲは、位置ＲＦから右側壁に一次反射した反射波を示しており、ｘＲＦｓＲは、その左チャンネルへのクロストークを示している。また、ＲＦｆＲは、位置ＲＦから前方壁に一次反射した反射波を示しており、ｘＲＦｆＲは、その左チャンネルへのクロストークを示している。また、ＲＦｓＬは、位置ＲＦから左側壁に一次反射した反射波を示しており、ｘＲＦｓＬは、その左チャンネルへのクロストークを示している。さらに、ＲＦｂＲは、位置ＲＦから後方壁に一次反射した反射波を示しており、ｘＲＦｂＲは、その左チャンネルへのクロストークを示している。 RFsR indicates a reflected wave that is primarily reflected from the position RF to the right side wall, and xRFsR indicates crosstalk to the left channel. RFfR indicates a reflected wave that is primarily reflected from the position RF to the front wall, and xRFfR indicates crosstalk to the left channel. RFsL indicates a reflected wave that is primarily reflected from the position RF to the left side wall, and xRFsL indicates crosstalk to the left channel. Further, RFbR indicates a reflected wave that is primarily reflected from the position RF to the rear wall, and xRFbR indicates crosstalk to the left channel.
直接波およびそのクロストーク、また、反射波およびそのクロストークのそれぞれについて、畳み込むべき正規化頭部伝達関数は、それらの音波がリスナ位置Ｐｎに最後に入射する方向について測定した正規化頭部伝達関数とされる。すなわち、１つの方向の音波に対して、７個のヘッドホンドライバーのそれぞれに対応して測定される７個の正規化頭部伝達関数である。そして、それら７個の正規化頭部伝達関数は、それぞれ対応するヘッドホンドライバーに供給されるべきチャンネルの音声信号に畳み込まれるものである。 For each of the direct wave and its crosstalk and also the reflected wave and its crosstalk, the normalized head related transfer functions to be convolved are normalized head related transmissions measured in the direction in which those sound waves are last incident on the listener position Pn. It is a function. That is, seven normalized head related transfer functions measured corresponding to each of the seven headphone drivers for a sound wave in one direction. These seven normalized head related transfer functions are convolved with the audio signal of the channel to be supplied to the corresponding headphone driver.
そして、直接波ＲＦｄおよびそのクロストークｘＲＦｄ、反射波ＲＦｓＲ、ＲＦｆＲ、ＲＦｓＬ、ＲＦｂＲおよびそれらのクロストークｘＲＦｓＲ、ｘＲＦｆＲ、ｘＲＦｓＬ、ｘＲＦｂＲの正規化頭部伝達関数を、右前方チャンネルＲＦの音声信号に畳み込み開始すべき時点は、それら音波の経路長から計算されて、図２０に示すようなものとなる。 Then, the normalized head-related transfer function of the direct wave RFd and its crosstalk xRFd, reflected waves RFsR, RFfR, RFsL, and RFbR and their crosstalk xRFsR, xRFfR, xRFsL, and xRFbR are convolved with the audio signal of the right front channel RF. The starting time is calculated from the path lengths of the sound waves, and is as shown in FIG.
そして、畳み込む正規化頭部伝達関数のゲインは、直接波については、減衰量０とされる。また、反射波については、想定される吸音率に応じた減衰量とされる。 Then, the gain of the normalized head related transfer function to be convoluted is 0 for the direct wave. Moreover, about a reflected wave, it is set as the attenuation amount according to the assumed sound absorption coefficient.
なお、図２０は、直接波ＲＦｄおよびそのクロストークｘＲＦｄ、反射波ＲＦｓＲ、ＲＦｆＲ、ＲＦｓＬ、ＲＦｂＲおよびそれらのクロストークｘＲＦｓＲ、ｘＲＦｆＲ、ｘＲＦｓＬ、ｘＲＦｂＲの正規化頭部伝達関数を、音声信号に畳み込み開始すべき時点を示しているだけで、１つのチャンネル用のヘッドホンドライバーに供給する音声信号に畳み込む正規化頭部伝達関数の畳み込み開始点を示しているわけではない。 Note that FIG. 20 starts convolution of the normalized head-related transfer functions of the direct wave RFd and its crosstalk xRFd, reflected waves RFsR, RFfR, RFsL, and RFbR and their crosstalk xRFsR, xRFfR, xRFsL, and xRFbR into the audio signal. It does not indicate the convolution start point of the normalized head related transfer function that is convoluted with the audio signal supplied to the headphone driver for one channel.
すなわち、直接波ＲＦｄおよびそのクロストークｘＲＦｄ、反射波ＲＦｓＲ、ＲＦｆＲ、ＲＦｓＬ、ＲＦｂＲおよびそれらのクロストークｘＲＦｓＲ、ｘＲＦｆＲ、ｘＲＦｓＬ、ｘＲＦｂＲの正規化頭部伝達関数のそれぞれは、前記頭部伝達関数畳み込み処理部７４ｘＲＦ，７４ＬＳ，７４ＬＦ，７４ＬＢ，７４ｘＲＳ，７４ＬＦＥ，７４Ｃ，７４ｘＬＳ，７４ＲＢ，７４ＲＦ，７４ＲＳ，７４ｘＬＦのうちから予め選定されたチャンネル用の頭部伝達関数畳み込み処理部において畳み込まれる。 That is, each of the normalized head-related transfer functions of the direct wave RFd and its crosstalk xRFd, reflected waves RFsR, RFfR, RFsL, and RFbR and their crosstalk xRFsR, xRFfR, xRFsL, and xRFbR is subjected to the head related transfer function convolution process. It is convolved in a head related transfer function convolution processing unit for a channel selected in advance from among the units 74xRF, 74LS, 74LF, 74LB, 74xRS, 74LFE, 74C, 74xLS, 74RB, 74RF, 74RS, and 74xLF.
このことは、右前方スピーカ位置ＲＦを仮想音像定位位置とするために畳み込むべき正規化頭部伝達関数のみではなく、他のチャンネルのスピーカ位置を仮想音像定位位置とするために畳み込むべき正規化頭部伝達関数と、畳み込み対象の音声信号との関係においても同様である。 This is not only the normalized head-related transfer function that should be convolved to set the right front speaker position RF to the virtual sound localization position, but also the normalized head that should be convolved to make the speaker positions of other channels the virtual sound localization position. The same applies to the relationship between the partial transfer function and the audio signal to be convolved.
次に、左前方スピーカ位置ＬＦを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図１９に示したものを、左右対称に、左側に移したようなものとすることができ、図示は省略するが、直接波ＬＦｄ、そのクロストークｘＬＦｄ、また、左側壁からの反射波ＬＦｓＬ、そのクロストークｘＬＦｓＬ、前方壁からの反射波ＬＦｆＬ、そのクロストークｘＬＦｆＬ、右側壁からの反射波ＬＦｓＲ、そのクロストークｘＬＦｓＲ、後方壁からの反射波ＬＦｂＬ、そのクロストークｘＬＦｂＬとなる。そして、それらのリスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２０に示したものと同様となる。 Next, in order to set the left front speaker position LF as a virtual sound image localization position, the direction of the sound wave in the normalized head related transfer function to be convoluted is as shown in FIG. Although not shown, the direct wave LFd, its crosstalk xLFd, the reflected wave LFsL from the left side wall, its crosstalk xLFsL, the reflected wave LFfL from the front wall, its crosstalk xLFfL, The reflected wave LFsR from the right wall, its crosstalk xLFsR, the reflected wave LFbL from the rear wall, and its crosstalk xLFbL. Then, the normalized head related transfer function to be convoluted is determined by the incident direction to the listener position Pn, and the convolution start timing is the same as that shown in FIG.
また、同様にして、センタースピーカ位置Ｃを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図２１に示すようなものとすることができる。 Similarly, in order to set the center speaker position C as the virtual sound image localization position, the direction of the sound wave for the normalized head related transfer function to be convolved can be as shown in FIG.
すなわち、直接波Ｃｄ、右側壁からの反射波ＣｓＲ、そのクロストークｘＣｓＲ、後方壁からの反射波ＣｂＲとなる。図２１には、右側の反射波のみについて示したが、左側についても同様に設定することができ、左側壁からの反射波ＣｓＬ、そのクロストークｘＣｓＬ、後方壁からの反射波ＣｂＬとなる。 That is, a direct wave Cd, a reflected wave CsR from the right side wall, its crosstalk xCsR, and a reflected wave CbR from the rear wall are obtained. FIG. 21 shows only the reflected wave on the right side, but the left side can be set similarly, and the reflected wave CsL from the left wall, its crosstalk xCsL, and the reflected wave CbL from the rear wall are obtained.
そして、それらの直接波および反射波、そのクロストークの、リスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２２に示すようなものとなる。 Then, the normalized head related transfer function to be convoluted is determined by the incident direction of the direct wave and the reflected wave and the crosstalk to the listener position Pn, and the convolution start timing is as shown in FIG. Become.
次に、右側方スピーカ位置ＲＳを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図２３に示すようなものとすることができる。 Next, in order to set the right side speaker position RS as the virtual sound image localization position, the direction of the sound wave in the normalized head related transfer function to be convoluted can be as shown in FIG.
すなわち、直接波ＲＳｄ、そのクロストークｘＲＳｄ、また、右側壁からの反射波ＲＳｓＲ、そのクロストークｘＲＳｓＲ、前方壁からの反射波ＲＳｆＲ、そのクロストークｘＲＳｆＲ、左側壁からの反射波ＲＳｓＬ、そのクロストークｘＲＳｓＬ、後方壁からの反射波ＲＳｂＲ、そのクロストークｘＲＳｂＲとなる。そして、それらのリスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２４に示すようなものとなる。 That is, the direct wave RSd, its crosstalk xRSd, the reflected wave RSsR from the right side wall, its crosstalk xRSsR, the reflected wave RSfR from the front wall, its crosstalk xRSfR, the reflected wave RSsL from the left side wall, its crosstalk xRSsL, reflected wave RSbR from the rear wall, and its crosstalk xRSbR. Then, the normalized head-related transfer function to be convoluted is determined by the incident direction to the listener position Pn, and the convolution start timing is as shown in FIG.
左側方スピーカ位置ＬＳを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図２３に示したものを、左右対称に、左側に移したようなものとすることができ、図示は省略するが、直接波ＬＳｄ、そのクロストークｘＬＳｄ、また、左側壁からの反射波ＬＳｓＬ、そのクロストークｘＬＳｓＬ、前方壁からの反射波ＬＳｆＬ、そのクロストークｘＬＳｆＬ、右側壁からの反射波ＬＳｓＲ、そのクロストークｘＬＳｓＲ、後方壁からの反射波ＬＳｂＬ、そのクロストークｘＬＳｂＬとなる。そして、それらのリスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２４に示したものと同様となる。 In order to set the left-side speaker position LS as the virtual sound image localization position, the sound wave direction of the normalized head related transfer function to be convoluted is as shown in FIG. Although not shown, the direct wave LSd, its crosstalk xLSd, the reflected wave LSsL from the left side wall, its crosstalk xLSsL, the reflected wave LSfL from the front wall, its crosstalk xLSfL, from the right side wall Reflected wave LSsR, its crosstalk xLSsR, reflected wave LSbL from the rear wall, and its crosstalk xLSbL. Then, the normalized head related transfer function to be convoluted is determined by the incident direction to the listener position Pn, and the convolution start timing is the same as that shown in FIG.
また、右後方スピーカ位置ＲＢを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図２５に示すようなものとすることができる。 Further, in order to set the right rear speaker position RB as the virtual sound image localization position, the direction of the sound wave in the normalized head related transfer function to be convoluted can be as shown in FIG.
すなわち、直接波ＲＢｄ、そのクロストークｘＲＢｄ、また、右側壁からの反射波ＲＢｓＲ、そのクロストークｘＲＢｓＲ、前方壁からの反射波ＲＢｆＲ、そのクロストークｘＲＢｆＲ、左側壁からの反射波ＲＢｓＬ、そのクロストークｘＲＢｓＬ、後方壁からの反射波ＲＢｂＲ、そのクロストークｘＲＢｂＲとなる。そして、それらのリスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２６に示すようなものとなる。 That is, the direct wave RBd, its crosstalk xRBd, the reflected wave RBsR from the right side wall, its crosstalk xRBsR, the reflected wave RBfR from the front wall, its crosstalk xRBfR, the reflected wave RBsL from the left side wall, its crosstalk xRBsL, reflected wave RBbR from the rear wall, and its crosstalk xRBbR. Then, the normalized head related transfer function to be convoluted is determined by the incident direction to the listener position Pn, and the convolution start timing is as shown in FIG.
左後方スピーカ位置ＬＢを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図２５に示したものを、左右対称に、左側に移したようなものとすることができ、図示は省略するが、直接波ＬＢｄ、そのクロストークｘＬＢｄ、また、左側壁からの反射波ＬＢｓＬ、そのクロストークｘＬＢｓＬ、前方壁からの反射波ＬＢｆＬ、そのクロストークｘＬＢｆＬ、右側壁からの反射波ＬＢｓＲ、そのクロストークｘＬＢｓＲ、後方壁からの反射波ＬＢｂＬ、そのクロストークｘＬＢｂＬとなる。そして、それらのリスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２６に示したものと同様となる。 In order to set the left rear speaker position LB as the virtual sound image localization position, the direction of the sound wave in the normalized head related transfer function to be convoluted is as shown in FIG. Although not shown, the direct wave LBd, its crosstalk xLBd, the reflected wave LBsL from the left side wall, its crosstalk xLBsL, the reflected wave LBfL from the front wall, its crosstalk xLBfL, from the right side wall Reflected wave LBsR, its crosstalk xLBsR, reflected wave LBbL from the rear wall, and its crosstalk xLBbL. Then, the normalized head-related transfer function to be convoluted is determined by the incident direction to the listener position Pn, and the convolution start timing is the same as that shown in FIG.
以上は、正規化頭部伝達関数を畳み込むべき直接波および反射波の方向およびその畳み込み開始タイミングを説明したものであるが、これらの正規化頭部伝達関数の畳み込み処理を、頭部伝達関数畳み込み処理部７４ｘＲＦ，７４ＬＳ，７４ＬＦ，７４ＬＢ，７４ｘＲＳ，７４ＬＦＥ，７４Ｃ，７４ｘＬＳ，７４ＲＢ，７４ＲＦ，７４ＲＳ，７４ｘＬＦのいずれのチャンネルにおいて実行するかの一例を、図２７に示す。 The above describes the directions of the direct wave and the reflected wave that should be convolved with the normalized head-related transfer function, and the convolution start timing, but the convolution processing of these normalized head-related transfer functions is the convolution of the head-related transfer function. FIG. 27 shows an example of the processing unit 74xRF, 74LS, 74LF, 74LB, 74xRS, 74LFE, 74C, 74xLS, 74RB, 74RF, 74RS, and 74xLF.
図２７（Ａ）は、この例において、右前方チャンネルのクロストークチャンネルｘＲＦ用である頭部伝達関数畳み込み処理部７４ｘＲＦにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数の畳み込み開始タイミングを示している。 FIG. 27A shows a direct wave and a reflected wave that are convoluted in the head related transfer function convolution processing unit 74xRF for the crosstalk channel xRF of the right front channel in this example, and normalization of those crosstalks. The convolution start timing of the head-related transfer function is shown.
左前方チャンネルのクロストークチャンネルｘＬＦ用である頭部伝達関数畳み込み処理部７４ｘＬＦにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数については、図示は省略するが、図２７（Ａ）に示した直接波および反射波、また、それらのクロストークとは、左右を逆にしたものについての正規化頭部伝達関数が、図２７（Ａ）に示した畳み込み開始タイミングと同様の開始タイミングから畳み込まれるものである。 The direct and reflected waves convolved in the head related transfer function convolution processing unit 74xLF for the crosstalk channel xLF of the left front channel, and the normalized head related transfer functions for those crosstalks are not shown. However, the normalized head-related transfer function for the direct wave and the reflected wave shown in FIG. 27 (A) and their crosstalk is reversed, and the convolution shown in FIG. 27 (A) is used. It is convolved from the start timing similar to the start timing.
図２７（Ｂ）は、センターチャンネルＣ用である頭部伝達関数畳み込み処理部７４Ｃにおいて畳み込まれる直接波Ｃｄについての正規化頭部伝達関数の畳み込み開始タイミングを示している。つまり、この例では、頭部伝達関数畳み込み処理部７４Ｃにおいては、センターチャンネルの直接波についての正規化頭部伝達関数のみが畳み込まれる。
FIG. 27B shows the convolution start timing of the normalized head related transfer function for the direct wave Cd convolved in the head related transfer function
図２７（Ｃ）は、左前方チャンネルＬＦ用である頭部伝達関数畳み込み処理部７４ＬＦにおいて畳み込まれる直接波ＬＦｄについての正規化頭部伝達関数の畳み込み開始タイミングを示している。つまり、この例では、頭部伝達関数畳み込み処理部７４ＬＦにおいては、左前方チャンネルについての直接波Ｃｄについての正規化頭部伝達関数のみが畳み込まれる。 FIG. 27C shows the convolution start timing of the normalized head related transfer function for the direct wave LFd convolved in the head related transfer function convolution processing unit 74LF for the left front channel LF. That is, in this example, the head related transfer function convolution processing unit 74LF convolves only the normalized head related transfer function for the direct wave Cd for the left front channel.
図示は省略するが、右前方チャンネルＲＦ用である頭部伝達関数畳み込み処理部７４ＲＦにおいても、右前方チャンネルについての直接波ＲＦｄについての正規化頭部伝達関数のみが畳み込まれる。 Although illustration is omitted, also in the head related transfer function convolution processing unit 74RF for the right front channel RF, only the normalized head related transfer function for the direct wave RFd for the right front channel is convolved.
図２７（Ｄ）は、左後方チャンネルＬＢ用である頭部伝達関数畳み込み処理部７４ＬＢにおいて畳み込まれる直接波および反射波についての正規化頭部伝達関数の畳み込み開始タイミングを示している。 FIG. 27D shows the convolution start timing of the normalized head-related transfer function for the direct wave and the reflected wave that are convoluted by the head-related transfer function convolution processing unit 74LB for the left rear channel LB.
図示は省略するが、右後方チャンネルＲＢ用である頭部伝達関数畳み込み処理部７４ＲＢにおいては、図２７（Ｄ）に示した直接波および反射波とは、左右を逆にした直接波および反射波についての正規化頭部伝達関数が、図２７（Ｄ）に示した畳み込み開始タイミングと同様の開始タイミングから畳み込まれるものである。 Although illustration is omitted, in the head related transfer function convolution processing unit 74RB for the right rear channel RB, the direct wave and the reflected wave shown in FIG. The normalized head related transfer function is convolved from the start timing similar to the convolution start timing shown in FIG.
図２７（Ｅ）は、左側方チャンネルＬＳ用である頭部伝達関数畳み込み処理部７４ＬＳにおいて畳み込まれる直接波ＬＳｄについての正規化頭部伝達関数の畳み込み開始タイミングを示している。つまり、この例では、頭部伝達関数畳み込み処理部７４ＬＳにおいては、左側方チャンネルについての直接波ＬＳｄについての正規化頭部伝達関数のみが畳み込まれる。 FIG. 27E shows the convolution start timing of the normalized head related transfer function for the direct wave LSd convolved in the head related transfer function convolution processing unit 74LS for the left channel LS. That is, in this example, the head related transfer function convolution processing unit 74LS convolves only the normalized head related transfer function for the direct wave LSd for the left channel.
図示は省略するが、右側方チャンネルＲＳ用である頭部伝達関数畳み込み処理部７４ＲＳにおいても、右側方チャンネルについての直接波ＲＳｄについての正規化頭部伝達関数のみが畳み込まれる。 Although illustration is omitted, also in the head related transfer function convolution processing unit 74RS for the right side channel RS, only the normalized head related transfer function for the direct wave RSd for the right side channel is convolved.
図２７（Ｆ）は、右側方チャンネルのクロストークチャンネルｘＲＳ用である頭部伝達関数畳み込み処理部７４ｘＲＳにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数の畳み込み開始タイミングを示している。 FIG. 27F illustrates a direct wave and a reflected wave that are convoluted in the head related transfer function convolution processing unit 74xRS for the crosstalk channel xRS of the right side channel, and normalized head related transfer functions for those crosstalks. The convolution start timing is shown.
左側方チャンネルのクロストークチャンネルｘＬＳ用である頭部伝達関数畳み込み処理部７４ｘＬＳにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数については、図示は省略するが、図２７（Ｆ）に示した直接波および反射波、また、それらのクロストークとは、左右を逆にしたものについての正規化頭部伝達関数が、図２７（Ａ）に示した畳み込み開始タイミングと同様の開始タイミングから畳み込まれるものである。 The direct and reflected waves convolved in the head related transfer function convolution processing unit 74xLS for the crosstalk channel xLS on the left side channel, and the normalized head related transfer functions for those crosstalks are not shown. However, the normalized head-related transfer function for the direct wave and the reflected wave shown in FIG. 27 (F) and their crosstalk is reversed, and the convolution shown in FIG. 27 (A) is used. It is convolved from the start timing similar to the start timing.
なお、前述したように、以上の説明においては、直接波および反射波の正規化頭部伝達関数の畳み込みについての説明は、壁反射のみについて行ったが、天井反射および床反射についても全く同様にして、考慮することができる。 As described above, in the above description, the description of the convolution of the normalized head-related transfer function of the direct wave and the reflected wave is made only for the wall reflection, but the same applies to the ceiling reflection and the floor reflection. Can be considered.
すなわち、図２８は、例えば右前方スピーカＲＦを仮想音像定位位置とするために頭部伝達関数を畳み込むときに、考慮する天井反射および床反射を示すものである。すなわち、天井に反射して右耳位置に入射する反射波ＲＦｃＲと、同じく天井に反射して左耳位置に入射する反射波ＲＦｃＬと、床に反射して右耳位置に入射する反射波ＲＦｇＲと、同じく床に反射して左耳位置に入射する反射波ＲＦｇＬとを、考えることができる。また、これらの反射波については、図示は省略したが、クロストークを考慮することもできる。 That is, FIG. 28 shows the ceiling reflection and floor reflection that are considered when the head-related transfer function is convolved, for example, in order to set the right front speaker RF to the virtual sound image localization position. That is, the reflected wave RFcR reflected on the ceiling and incident on the right ear position, the reflected wave RFcL reflected on the ceiling and incident on the left ear position, and the reflected wave RFgR reflected on the floor and incident on the right ear position Similarly, the reflected wave RFgL reflected on the floor and incident on the left ear position can be considered. Moreover, although illustration of these reflected waves is omitted, crosstalk can be taken into consideration.
これらの反射波およびクロストークについても、畳み込むべき正規化頭部伝達関数は、それらの音波がリスナ位置Ｐｎに最後に入射する方向について測定した正規化頭部伝達関数とされる。そして、それぞれの反射波についての経路長を計算して、それぞれの正規化頭部伝達関数の畳み込み開始タイミングを定める。 For these reflected waves and crosstalk, the normalized head-related transfer function to be convolved is the normalized head-related transfer function measured in the direction in which those sound waves are finally incident on the listener position Pn. Then, the path length for each reflected wave is calculated to determine the convolution start timing of each normalized head related transfer function.
そして、畳み込む正規化頭部伝達関数のゲインは、天井および床の材質や表面形状などから想定される吸音率に応じた減衰量とされる。 Then, the gain of the normalized head related transfer function to be convoluted is an attenuation amount according to the sound absorption coefficient assumed from the material and surface shape of the ceiling and floor.
［音響再生システムの第２の例の構成例；図２９］
図１６および図１７に示した音響再生システムにおいては、ヘッドホンドライバーを７個ずつ左右の耳用として備えるオーバーヘッドホンにより、７．１チャンネルマルチサラウンド音声信号を音響再生するようにした場合である。
[Configuration example of second example of sound reproduction system; FIG. 29]
In the sound reproduction system shown in FIGS. 16 and 17, a 7.1-channel multi-surround sound signal is sound-reproduced by an overhead phone provided with seven headphone drivers for left and right ears.
これに対して、以下に説明する他の例は、ヘッドホンドライバーが左右の耳用として１個ずつである一般的なオーバーヘッドホンにより、７．１チャンネルマルチサラウンド音声信号を音響再生するようにした場合である。 On the other hand, in another example described below, when a headphone driver reproduces a 7.1-channel multi-surround sound signal by a general overhead phone, one for each of the left and right ears. It is.
以下に説明する例では、正規化頭部伝達関数は、図５に示したように、７．１チャンネルマルチサラウンド用として、左右の耳の近傍にそれぞれ７個ずつのマイクロホンを設置して測定したものを使用するものとする。そのため、正規化頭部伝達関数を畳み込み処理するまでの処理は、上述した音響再生システムと全く同様にすることができる。すなわち、図１６に示したハードウエア構成は、この例の音響再生システムにおいても同様とする。 In the example described below, the normalized head-related transfer function was measured by installing 7 microphones in the vicinity of the left and right ears for 7.1 channel multi-surround as shown in FIG. Things shall be used. Therefore, the process up to the convolution process of the normalized head related transfer function can be made exactly the same as the above-described sound reproduction system. That is, the hardware configuration shown in FIG. 16 is the same in the sound reproduction system of this example.
この例の音響再生システムにおいては、図２９に示すように、レベル調整部７５ｘＲＦ，７５ＬＳ，７５ＬＦ，７５ＬＢ，７５ｘＲＳ，７５ＬＦＥ，７５Ｃからの音声信号は、左チャンネル用の加算部１１０Ｌに供給されて加算される。
In the sound reproduction system of this example, as shown in FIG. 29, the audio signals from the level adjusters 75xRF, 75LS, 75LF, 75LB, 75xRS, 75LFE, and 75C are supplied to the
また、レベル調整部７５ＬＦＥ，７５Ｃ，７５ｘＬＳ，７５ＲＢ，７５ＲＦ，７５ＲＳ，７５ｘＬＦからの音声信号は、右チャンネル用の加算部１１０Ｒに供給されて加算される。
Also, the audio signals from the level adjustment units 75LFE, 75C, 75xLS, 75RB, 75RF, 75RS, and 75xLF are supplied to and added to the right
そして、加算部１１０Ｌおよび１１０Ｒの出力信号が、それぞれＤ／Ａコンバータ１１１Ｌおよび１１１Ｒに供給されてアナログ音声信号に変換される。このＤ／Ａコンバータ１１１Ｌおよび１１１Ｒからのアナログ音声信号は、電流電圧変換部１１２Ｌおよび１１２Ｒのそれぞれに供給されて、電流信号から電圧信号に変換される。
Then, the output signals of
そして、電流電圧変換部１１２Ｌおよび１１２Ｒのそれぞれからの電圧信号とされた音声信号は、レベル調整部１１３Ｌおよび１１３Ｒのそれぞれで、レベル調整された後、利得調整部１１４Ｌおよび１１４Ｒのそれぞれに供給されて利得調整される。
The audio signals converted into voltage signals from the current-
そして、利得調整部１１４Ｌおよび１１４Ｒの出力音声信号は、アンプ１１５Ｌおよび１１５Ｒをそれぞれ通じて左耳用のヘッドホンドライバー１２０Ｌおよび右耳用のヘッドホンドライバー１２Ｒに、それぞれ供給されて、音響再生される。
The output audio signals of the
この音響再生システムの第２の例によれば、ヘッドホンドライバーが左右の耳用として１つずつのヘッドホンにより、７．１チャンネルのマルチサラウンドの音場を仮想音像定位により良好に再生することができる。 According to the second example of the sound reproduction system, the headphone driver can reproduce the 7.1-channel multi-surround sound field by virtual sound localization with one headphone for each of the left and right ears. .
［実施形態の効果］
従来は、頭部伝達特性を用いて信号処理を行う場合は、その測定系の特性が除去できないため、特性が良く、音の良い高価なスピーカおよびマイクロホンを用いて測定をしないと、最終的な畳み込み処理後の音質が劣化してしまった。これに対して、この実施形態における正規化頭部伝達関数は、測定系の特性を除去できるため、特性がフラットでない安価なスピーカやマイクロホンを使用した測定系を用いても、音質を劣化させない頭部伝達関数の畳み込み処理が可能になる。
[Effect of the embodiment]
Conventionally, when signal processing is performed using the head-related transfer characteristics, the characteristics of the measurement system cannot be removed. Therefore, if measurement is not performed using an expensive speaker and microphone with good characteristics and good sound, the final measurement must be performed. The sound quality after the convolution process has deteriorated. On the other hand, the normalized head-related transfer function in this embodiment can remove the characteristics of the measurement system, so that even if a measurement system using an inexpensive speaker or microphone whose characteristics are not flat is used, the head quality is not deteriorated. The convolution processing of the partial transfer function becomes possible.
さらに、いくら高価な特性の良いスピーカやマイクロホンを用いても理想的な特性（すべてにおいてフラット）な特性は得られないが、この実施形態によれば、従来のどのような特性より理想的な頭部伝達特性を抽出することができる。 Furthermore, even if an expensive speaker or microphone with good characteristics is used, ideal characteristics (flat in all) cannot be obtained. However, according to this embodiment, the ideal head is better than any conventional characteristics. A part transfer characteristic can be extracted.
そして、反射波を除去した直接波のみについての頭部伝達関数を、たとえばリスナに対して種々の方向を仮想音源位置として求めているので、それぞれの方向からの音波についての頭部伝達関数を音声信号に容易に畳み込むことができ、それぞれの方向の音波についての頭部伝達関数を畳み込んだときの再生音場を容易に検証することが可能である。 Since the head-related transfer function for only the direct wave from which the reflected wave is removed, for example, various directions with respect to the listener are obtained as the virtual sound source position, the head-related transfer function for the sound wave from each direction is voiced. It is possible to easily convolve the signal, and it is possible to easily verify the reproduced sound field when the head-related transfer function for the sound wave in each direction is convolved.
すなわち、上述したように、仮想音像定位位置を、ある特定の位置に定めたい場合において、当該仮想音像定位位置からの直接波についての頭部伝達関数のみでなく、当該仮想音像定位位置からの反射波と想定できる方向の音波についての頭部伝達関数を畳み込んで、その再生音場を検証することができ、いずれの方向の反射波が仮想音像定位に有効か、などを検証することができる。 That is, as described above, when it is desired to set the virtual sound image localization position to a specific position, not only the head-related transfer function for the direct wave from the virtual sound image localization position but also the reflection from the virtual sound image localization position. It is possible to verify the reproduced sound field by convolving the head-related transfer function for sound waves in directions that can be assumed to be waves, and to verify which reflected waves are effective for virtual sound localization. .
［その他の変形例］
上述の説明は、主としてヘッドホンを再生音声信号を音響再生する電気音響変換手段とした場合について説明したが、測定方法、処理内容を考慮するとフロントサラウンド等のスピーカを出力系としたアプリケーションへも応用が可能である。
[Other variations]
In the above description, the case where the headphones are mainly used as the electroacoustic conversion means for reproducing the reproduced audio signal is described. However, in consideration of the measurement method and the processing contents, the present invention can be applied to an application using a front surround speaker as an output system. Is possible.
音響再生システムは、マルチサラウンド方式の場合について説明したが、通常の２チャンネルステレオにも適用できることは言うまでもない。 Although the sound reproduction system has been described for the multi-surround system, it is needless to say that the sound reproduction system can also be applied to ordinary two-channel stereo.
また、７．１チャンネルに限らず、５．１チャンネルや、９．１チャンネルなど、その他のマルチサラウンドの場合にも、同様に適用できることは勿論である。 Of course, the present invention can be similarly applied to other multi-surrounds such as 5.1 channels and 9.1 channels as well as 7.1 channels.
また、７．１チャンネルのマルチサラウンドのスピーカ配置は、ＩＴＵ−Ｒスピーカ配置の場合を例に説明したが、ＴＨＸ社の推奨するスピーカ配置の場合にも適用できることは容易に理解できよう。 The 7.1-channel multi-surround speaker arrangement has been described by taking the case of the ITU-R speaker arrangement as an example, but it can be easily understood that it can be applied to the speaker arrangement recommended by THX.
１０…頭部伝達関数測定手段、２０…素の状態の伝達特性測定手段、３３，３４…ＦＦＴ部、３５，３６…極座標変換部、３７…正規化およびＸ−Ｙ座標変換部、３８…逆ＦＦＴ部、４０…正規化頭部伝達関数メモリ、５４，５７，６４，６７…頭部伝達関数畳み込み回路
DESCRIPTION OF
Claims (2)
前記仮想音像定位位置に音源を設置し、リスナの両耳の近傍の位置に音響電気変換手段を設置したときに、前記音源から前記音響電気変換手段への直接波の方向についての直接波方向頭部伝達関数と、前記音源から前記音響電気変換手段への、選択された１または複数の反射波の方向についての反射波方向頭部伝達関数とを、予め別々に測定して求めておく頭部伝達関数測定工程と、
前記求められた、前記直接波方向頭部伝達関数と、前記選択された１または複数の反射波の方向についての反射波方向頭部伝達関数とを、前記音声信号に畳み込む工程と、
を有し、
前記頭部伝達関数測定工程は、
前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた測定用音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた測定用音波のみから頭部伝達関数を測定する第１の工程と、
前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた測定用音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた測定用音波のみから素の状態の伝達特性を測定する第２の工程と、
前記第１の工程で測定された前記頭部伝達関数を、前記第２の工程で測定された前記素の状態の伝達特性により正規化して、前記電気音響変換手段および前記音響電気変換手段の特性を排除した正規化頭部伝達関数を得る第３の工程と、
を有し、
前記直接波方向頭部伝達関数および前記反射波方向頭部伝達関数は、前記正規化頭部伝達関数であり、
前記頭部伝達関数測定工程の前記第３の工程では、
前記第１および第２の工程において前記音響電気変換手段に直接に届いた音波の時間軸データのそれぞれを直交変換して、Ｘ−Ｙ座標系の周波数軸データに変換する工程と、
前記Ｘ−Ｙ座標系の周波数軸データのそれぞれを、極座標系のデータに変換する工程と、
前記極座標系のデータの状態で、前記正規化処理を行って、前記正規化頭部伝達関数のデータを得、この正規化頭部伝達関数の極座標系のデータを前記Ｘ−Ｙ座標系のデータに戻す工程と、
前記Ｘ−Ｙ座標系に戻された前記正規化頭部伝達関数のデータを逆直交変換して、時間軸データに変換する工程と、
を有する頭部伝達関数畳み込み方法。 When a sound signal is acoustically reproduced by the electroacoustic conversion means, a head-related transfer function for causing the sound image to be listened to be localized at an assumed virtual sound image localization position is convolved with the sound signal. In the head related transfer function convolution method,
When the sound source is installed at the virtual sound image localization position and the acoustoelectric conversion means is installed at a position near both ears of the listener, the direct wave direction head of the direct wave direction from the sound source to the acoustoelectric conversion means A head obtained by separately measuring a head-related transfer function and a reflected wave direction head-related transfer function with respect to the direction of one or more selected reflected waves from the sound source to the acoustoelectric converter A transfer function measurement process;
Convolving the determined direct wave direction head-related transfer function and the reflected wave direction head-related transfer function for the selected one or more reflected wave directions into the audio signal;
Have
The head related transfer function measurement step includes:
In the state where a dummy head or a human is present at the position of the listener, the measurement sound wave emitted at the assumed sound source position is picked up by the acoustoelectric conversion means, and the measurement sound wave directly reaches the acoustoelectric conversion means A first step of measuring the head-related transfer function only from,
The sound wave for measurement emitted at the assumed sound source position by the acoustoelectric conversion means in a state in which the dummy head or the human is not present is picked up by the acoustoelectric conversion means, and directly reaches the acoustoelectric conversion means. A second step of measuring the transmission characteristic of the elementary state from only,
The head-related transfer function measured in the first step is normalized by the transfer characteristic of the elementary state measured in the second step, and the characteristics of the electroacoustic conversion means and the acoustoelectric conversion means A third step of obtaining a normalized head related transfer function excluding
Have
Said direct wave direction head related transfer functions and the reflected wave direction head-related transfer function, Ri the normalized HRTF der,
In the third step of the previous SL HRTF measurement step,
A step of orthogonally transforming each of the time axis data of the sound wave that has directly reached the acoustoelectric conversion means in the first and second steps to convert it into frequency axis data of an XY coordinate system;
Converting each of the frequency axis data of the XY coordinate system into data of a polar coordinate system;
In the state of the data of the polar coordinate system, the normalization process is performed to obtain the data of the normalized head related transfer function, and the data of the polar coordinate system of the normalized head related transfer function is the data of the XY coordinate system. The process of returning to
Performing inverse orthogonal transform on the normalized head related transfer function data returned to the XY coordinate system to convert it into time axis data;
A head-related transfer function convolution method having
前記逆直交変換されて得られた時間軸データのデータ長を削減する簡略化工程を備える頭部伝達関数畳み込み方法。 The head related transfer function convolution method according to claim 1 ,
A head related transfer function convolution method comprising a simplification step of reducing a data length of time axis data obtained by the inverse orthogonal transform.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010101167A JP5024418B2 (en) | 2010-04-26 | 2010-04-26 | Head-related transfer function convolution method and head-related transfer function convolution device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010101167A JP5024418B2 (en) | 2010-04-26 | 2010-04-26 | Head-related transfer function convolution method and head-related transfer function convolution device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008045597A Division JP2009206691A (en) | 2008-02-27 | 2008-02-27 | Head-related transfer function convolution method and head-related transfer function convolution device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010187401A JP2010187401A (en) | 2010-08-26 |
| JP5024418B2 true JP5024418B2 (en) | 2012-09-12 |
Family
ID=42767726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010101167A Expired - Fee Related JP5024418B2 (en) | 2010-04-26 | 2010-04-26 | Head-related transfer function convolution method and head-related transfer function convolution device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5024418B2 (en) |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2870333B2 (en) * | 1992-11-26 | 1999-03-17 | ヤマハ株式会社 | Sound image localization control device |
| JP3258816B2 (en) * | 1994-05-19 | 2002-02-18 | シャープ株式会社 | 3D sound field space reproduction device |
| JPH0847078A (en) * | 1994-07-28 | 1996-02-16 | Fujitsu Ten Ltd | Automatically correcting method for frequency characteristic inside vehicle |
| JPH09135499A (en) * | 1995-11-08 | 1997-05-20 | Victor Co Of Japan Ltd | Sound image localization control method |
| JPH09187100A (en) * | 1995-12-28 | 1997-07-15 | Sanyo Electric Co Ltd | Sound image controller |
| FR2744871B1 (en) * | 1996-02-13 | 1998-03-06 | Sextant Avionique | SOUND SPATIALIZATION SYSTEM, AND PERSONALIZATION METHOD FOR IMPLEMENTING SAME |
| JPH09284899A (en) * | 1996-04-08 | 1997-10-31 | Matsushita Electric Ind Co Ltd | Signal processor |
| JP2000036998A (en) * | 1998-07-17 | 2000-02-02 | Nissan Motor Co Ltd | Stereoscopic sound image presentation device and stereoscopic sound image presentation method |
| JP2001285998A (en) * | 2000-03-29 | 2001-10-12 | Oki Electric Ind Co Ltd | Out-of-head sound image localization device |
| JP3435141B2 (en) * | 2001-01-09 | 2003-08-11 | 松下電器産業株式会社 | SOUND IMAGE LOCALIZATION DEVICE, CONFERENCE DEVICE USING SOUND IMAGE LOCALIZATION DEVICE, MOBILE PHONE, AUDIO REPRODUCTION DEVICE, AUDIO RECORDING DEVICE, INFORMATION TERMINAL DEVICE, GAME MACHINE, COMMUNICATION AND BROADCASTING SYSTEM |
| JP2003061200A (en) * | 2001-08-17 | 2003-02-28 | Sony Corp | Sound processing apparatus and sound processing method, and control program |
| JP2003061196A (en) * | 2001-08-21 | 2003-02-28 | Sony Corp | Headphone reproducing device |
| JP4109513B2 (en) * | 2002-08-22 | 2008-07-02 | 日本無線株式会社 | Delay profile measuring method and apparatus |
| JP2005157278A (en) * | 2003-08-26 | 2005-06-16 | Victor Co Of Japan Ltd | Apparatus, method, and program for creating all-around acoustic field |
| JP2007240605A (en) * | 2006-03-06 | 2007-09-20 | Institute Of National Colleges Of Technology Japan | Sound source separating method and sound source separation system using complex wavelet transformation |
| JP2007329631A (en) * | 2006-06-07 | 2007-12-20 | Clarion Co Ltd | Acoustic correction device |
-
2010
- 2010-04-26 JP JP2010101167A patent/JP5024418B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010187401A (en) | 2010-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5540581B2 (en) | Audio signal processing apparatus and audio signal processing method | |
| JP2009206691A (en) | Head-related transfer function convolution method and head-related transfer function convolution device | |
| JP4780119B2 (en) | Head-related transfer function measurement method, head-related transfer function convolution method, and head-related transfer function convolution device | |
| JP5533248B2 (en) | Audio signal processing apparatus and audio signal processing method | |
| JP5448451B2 (en) | Sound image localization apparatus, sound image localization system, sound image localization method, program, and integrated circuit | |
| KR100739798B1 (en) | Method and apparatus for reproducing a virtual sound of two channels based on the position of listener | |
| KR100416757B1 (en) | Multi-channel audio reproduction apparatus and method for loud-speaker reproduction | |
| CN109155896B (en) | System and method for improved audio virtualization | |
| KR20050119605A (en) | Apparatus and method for reproducing 7.1 channel audio | |
| US20130089209A1 (en) | Audio-signal processing device, audio-signal processing method, program, and recording medium | |
| EP3304929B1 (en) | Method and device for generating an elevated sound impression | |
| JP2009077379A (en) | Stereoscopic sound reproduction equipment, stereophonic sound reproduction method, and computer program | |
| JP4951985B2 (en) | Audio signal processing apparatus, audio signal processing system, program | |
| JPH09233599A (en) | Device and method for localizing sound image | |
| JP2007336080A (en) | Sound compensation device | |
| JP5024418B2 (en) | Head-related transfer function convolution method and head-related transfer function convolution device | |
| JP5163685B2 (en) | Head-related transfer function measurement method, head-related transfer function convolution method, and head-related transfer function convolution device | |
| JP2011259299A (en) | Head-related transfer function generation device, head-related transfer function generation method, and audio signal processing device | |
| JP7319687B2 (en) | 3D sound processing device, 3D sound processing method and 3D sound processing program | |
| JP4357218B2 (en) | Headphone playback method and apparatus | |
| JPH06175674A (en) | Acoustic device | |
| JP2003319499A (en) | Sound reproducing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120522 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120604 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5024418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |