JP2005278125A - Multi-channel audio signal processing device - Google Patents
Multi-channel audio signal processing device Download PDFInfo
- Publication number
- JP2005278125A JP2005278125A JP2004092680A JP2004092680A JP2005278125A JP 2005278125 A JP2005278125 A JP 2005278125A JP 2004092680 A JP2004092680 A JP 2004092680A JP 2004092680 A JP2004092680 A JP 2004092680A JP 2005278125 A JP2005278125 A JP 2005278125A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- audio signal
- speaker
- channel
- channel audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
本発明は、例えば、ＤＶＤ（Digital Versatile Disc）ビデオの音声フォーマットであるＡＣ−３（Audio Code Number 3）や、ｄｔｓ（digital theater system）、ＤＶＤ−Ａｕｄｉｏなどのマルチチャンネルサラウンドのオーディオ信号を再生・記録するためのマルチチャンネルオーディオ信号処理装置に関する。 The present invention reproduces and reproduces multi-channel surround audio signals such as AC-3 (Audio Code Number 3) which is an audio format of DVD (Digital Versatile Disc) video, dts (digital theater system), DVD-Audio, etc. The present invention relates to a multi-channel audio signal processing apparatus for recording.
従来より、マルチチャンネルオーディオとして、ＡＣ−３やｄｔｓ、ＤＶＤ−Ａｕｄｉｏなどの５．１チャンネル、７．１チャンネルがよく知られている。例えば、５．１チャンネルのマルチチャンネルサラウンドシステムは、フロント左右の２チャンネル、フロントセンタの１チャンネル、リア左右の２チャンネルの合計５チャンネルと、サブウーハーとが、スピーカ配置として規定されている。通常、このスピーカ配置で再生すれば、いわゆるサラウンド音場が再現され、図１４に示すように、スピーカの高さにおける水平面において音に取り囲まれた印象を持つことができる。 Conventionally, 5.1 channel and 7.1 channel such as AC-3, dts, DVD-Audio, etc. are well known as multi-channel audio. For example, in the 5.1 channel multi-channel surround system, a total of 5 channels including 2 channels on the front left and right, 1 channel on the front center, 2 channels on the left and right on the rear, and subwoofers are defined as speaker arrangements. Normally, when the sound is reproduced with this speaker arrangement, a so-called surround sound field is reproduced, and as shown in FIG. 14, it is possible to have an impression surrounded by sound on a horizontal plane at the height of the speaker.
しかしながら、マルチチャンネルの音楽コンテンツにおいては、コンサートホールで音楽を聴けばあらゆる方向から反射音が聞こえてくるのが自然であるのに、従来の方式ではスピーカの高さにおける水平面での音場再生でしかなかった。このため、図１５に示すように、スピーカが配置された高さ以外、つまり、聴取者に向かってあらゆる方向からの音を再現する球の音場再生も強く望まれていた。 However, in multi-channel music content, it is natural that the reflected sound can be heard from all directions when listening to music in the concert hall. However, the conventional method can reproduce the sound field on the horizontal plane at the height of the speaker. There was only. For this reason, as shown in FIG. 15, it has been strongly desired to reproduce the sound field of a sphere that reproduces sound from any direction other than the height at which the speaker is arranged, that is, toward the listener.
また、映画などの再生の場合に飛行機が頭上を飛ぶといった場面では音は頭上に聞こえず、スピーカの高さで音が鳴り、悪くすれば鳴っているスピーカが切り替わっているだけという聞こえ方であった。このため、図１６に示すように、スピーカが配置された高さ以外の音場再生も強く望まれていた。 In addition, when playing a movie or the like, the sound of the airplane flying over the head is not heard overhead, the sound is heard at the height of the speaker, and if it is worse, the sounding speaker is switched. It was. For this reason, as shown in FIG. 16, sound field reproduction other than the height at which the speakers are arranged has been strongly desired.
一方、スピーカの無いところから音が鳴っているように聞こえさせる方法として、いわゆる音像定位技術が確立している。例えば、リアスピーカが無い場合に、左右一対のリアサラウンド信号の各チャンネルごとに頭部伝達関数に基づいたフィルタ係数が設定されたコンボルバを有する音像定位手段を備え、この音像定位手段を介した左右一対のリアサラウンド信号を左右一対の前面ステレオ信号に加算し、聴取者に対して略左右対称な後方位置にそれぞれ音像定位させるサラウンド信号処理装置及び映像音声再生装置が開示されている（例えば、下記の特許文献１参照）。 On the other hand, a so-called sound image localization technique has been established as a method of making a sound be heard from a place without a speaker. For example, when there is no rear speaker, a sound image localization unit having a convolver in which a filter coefficient based on a head-related transfer function is set for each channel of a pair of left and right rear surround signals is provided, and left and right through the sound image localization unit A surround signal processing device and a video / audio reproduction device are disclosed in which a pair of rear surround signals are added to a pair of left and right front stereo signals, and sound images are localized at rear positions that are substantially symmetrical with respect to the listener (for example, the following) Patent Document 1).
また、マルチチャンネルサラウンドのチャンネル数を増加しても、ハードウエアを変更せずに対応することができるオーディオ再生装置が開示されている。このオーディオ再生装置は、対応するスピーカが配置されていないと判定される入力チャンネルのデコード部の出力は、対応するスピーカが配置されている他の入力チャンネルのデコード出力に混合し、かつ、対応するスピーカが配置されている入力チャンネルのデコード部の出力は、前記スピーカの配置の設定情報に応じた出力チャンネルとなるように信号処理部を制御することを特徴としている（例えば、下記の特許文献２参照）。
しかしながら、これらの特徴は、５．１チャンネルあるいは７．１チャンネルに対応すべきスピーカが配置されていないときに、いかにも配置されているかのような音響再生ができるという点にあるのであって、５．１あるいは７．１チャンネルに対応するスピーカ以外の場所からの音響再生については何ら記述されていない。 However, these features lie in that sound reproduction as if they are arranged can be performed when a speaker corresponding to 5.1 channel or 7.1 channel is not arranged. No description is given of sound reproduction from places other than the speakers corresponding to .1 or 7.1 channels.
出願人は、あらゆる方向からの音の到来を実現する方法として、特願２００３−３００９３５号で「音響シミュレーション装置、音響シミュレーション方法、及び音響シミュレーションプログラム」を提示している。この方法は、全周囲方向の頭部伝達関数データベースを持ち、コンサートホールなどの全反射音を左右２チャンネルの頭部伝達関数に置き換え、スピーカ２個でコンサートホールそのままの音場を再現しようとするものである。しかしながら、スピーカを５．１チャンネル方式に合わせて多数持っているユーザからマルチチャンネルで再生したいとの要望があった。すなわち、現在の５．１チャンネルのサラウンド方式と互換性を持たせておく必要があった。なお、特願２００３−３００９３５号は未公開であり、従来技術を構成するものではない。 The applicant presents “acoustic simulation apparatus, acoustic simulation method, and acoustic simulation program” in Japanese Patent Application No. 2003-300935 as a method for realizing the arrival of sound from all directions. This method has a head-related transfer function database in all directions, replaces the totally reflected sound of a concert hall with head-related transfer functions of two channels on the left and right, and tries to reproduce the sound field of the concert hall as it is with two speakers. Is. However, there has been a request from a user who has a large number of speakers in conformity with the 5.1 channel system to play back in multiple channels. That is, it is necessary to have compatibility with the current 5.1 channel surround system. Note that Japanese Patent Application No. 2003-300935 has not been disclosed, and does not constitute the prior art.
また、来たる将来、マルチチャンネルサラウンド方式が５．１チャンネル、７．１チャンネルにとどまらず、１０チャンネル、１２チャンネルなどさらにチャンネル数が増えることが予測される。その場合に、コンテンツ提供側は現在の５．１チャンネルのサラウンド方式と互換性を持たせておくことは大変有効である。 In the future, it is predicted that the multi-channel surround system will increase not only to 5.1 channels and 7.1 channels but also to increase the number of channels such as 10 channels and 12 channels. In that case, it is very effective for the content provider to be compatible with the current 5.1 channel surround system.
本発明は上述した点に鑑みてなされたもので、従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にすることができるマルチチャンネルオーディオ信号処理装置を提供することを目的とする。 The present invention has been made in view of the above points, and in addition to the conventional surround reproduction, in addition to the conventional surround reproduction, the sound from other directions than the height of the speaker is also provided. An object of the present invention is to provide a multi-channel audio signal processing apparatus that can perform field reproduction.
上記の目的を達成するために、本発明に係るマルチチャンネルオーディオ信号処理装置は、３以上のチャンネル数を持つマルチチャンネルオーディオ信号を再生するマルチチャンネルオーディオ信号処理装置であって、前記マルチチャンネルオーディオ信号の任意の１チャンネルの信号に基づいてホール室内の響きや大きさを表す全反射音を、スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号から選択した２チャンネルから再生されるよう音像定位処理する音像定位処理手段と、音像定位処理された前記オーディオ信号と前記スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号とを合成する加算手段とを備え、合成されたオーディオ信号を再生するものである。 In order to achieve the above object, a multi-channel audio signal processing apparatus according to the present invention is a multi-channel audio signal processing apparatus for reproducing a multi-channel audio signal having three or more channels, wherein the multi-channel audio signal is reproduced. Based on the signal of any one channel, the total reflection sound that represents the sound and size of the hall room is reproduced from two channels selected from the multi-channel audio signal for sound field reproduction on the horizontal plane at the height of the speaker Sound image localization processing means for performing sound image localization processing, and addition means for synthesizing the audio signal subjected to sound image localization processing and the multi-channel audio signal for sound field reproduction on a horizontal plane at the height of the speaker. To play back synthesized audio signals
この構成により、スピーカの高さにおける水平面上の音場再生のためのマルチチャンネルオーディオ信号と、ホール室内の響きや大きさを表す全反射音をマルチチャンネルから選択した２チャンネルから再生されるよう音像定位処理したオーディオ信号とを合成し、再生することにより、従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にし、全周囲から音に包まれ、空間を感じさせることができる。 With this configuration, a multi-channel audio signal for sound field reproduction on a horizontal plane at the height of the speaker and a total reflection sound representing the sound and size of the hall room are reproduced from two channels selected from the multi-channel. By synthesizing and playing back the localization-processed audio signal, compatibility with the conventional multi-channel surround playback system is provided, and in addition to the conventional surround playback, it can also be viewed from directions other than the speaker height. Sound field reproduction is possible, and it is wrapped in sound from all around, and you can feel the space.
また、本発明に係るマルチチャンネルオーディオ信号処理装置は、前記マルチチャンネルオーディオ信号に対し、ホール室内の響きや大きさを表す全反射音の到来方向別に反射音の到達遅れ時間分だけ遅延し、周波数特性を加味して元の信号にそれぞれ加算する遅延加算手段をさらに備えたものである。 Further, the multi-channel audio signal processing device according to the present invention delays the multi-channel audio signal by the arrival delay time of the reflected sound for each direction of arrival of the totally reflected sound representing the reverberation and magnitude in the hall room, and the frequency It further includes delay adding means for adding the characteristics to the original signal in consideration of the characteristics.
この構成により、スピーカの高さにおける水平面上の音場再生のためのマルチチャンネルオーディオ信号と、ホール室内の響きや大きさを表す全反射音の到来方向データからスピーカの高さ方向又はスピーカの高さに近い方向から到来する反射音は前記チャンネルのオーディオ信号に遅延加算され、それ以外の方向から到来する反射音は前記チャンネルから選択した２チャンネルから再生されるよう音像定位処理したオーディオ信号とを合成し、再生することにより、従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にし、全周囲から音に包まれ、空間を感じさせることができる。 With this configuration, the height direction of the speaker or the height of the speaker is determined from the multi-channel audio signal for reproducing the sound field on the horizontal plane at the height of the speaker and the arrival direction data of the total reflection sound that represents the sound and size of the hall room. The reflected sound arriving from a direction close to the depth is delayed and added to the audio signal of the channel, and the reflected sound arriving from the other direction is subjected to sound image localization processing so as to be reproduced from the two channels selected from the channel. By combining and playing, with compatibility with the conventional multi-channel surround playback system, in addition to the conventional surround playback, it enables sound field playback from directions other than the height of the speaker, Surrounded by sound from all around, you can feel the space.
また、本発明に係るマルチチャンネルオーディオ信号処理装置の他の態様は、３以上のチャンネル数を持つマルチチャンネルオーディオ信号を記録媒体に記録するマルチチャンネルオーディオ信号処理装置であって、スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号と、前記スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生されるよう音像定位処理されたオーディオ信号とを合成する加算手段を備え、合成された前記オーディオ信号を記録媒体に記録するものである。 Another aspect of the multi-channel audio signal processing apparatus according to the present invention is a multi-channel audio signal processing apparatus for recording a multi-channel audio signal having a number of channels of 3 or more on a recording medium, at the height of the speaker. The multi-channel audio signal for sound field reproduction on a horizontal plane and the audio signal subjected to sound image localization processing to be reproduced as a virtual sound source for sound field reproduction in a vertical direction other than the height of the speaker are synthesized. An adding means is provided to record the synthesized audio signal on a recording medium.
この構成により、スピーカの高さにおける水平面上の音場再生のためのマルチチャンネルオーディオ信号とスピーカの高さ以外の上下方向の音場再生のための仮想音源として再生されるよう音像定位処理されたオーディオ信号とを合成し、合成されたオーディオ信号を記録媒体に記録することにより、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からの音場再生を可能にし、全周囲から音に包まれ、空間を感じさせることができる。 With this configuration, sound image localization processing was performed so that a multi-channel audio signal for sound field reproduction on a horizontal plane at the height of the speaker and a virtual sound source for sound field reproduction in a vertical direction other than the height of the speaker were reproduced. By synthesizing the audio signal and recording the synthesized audio signal on the recording medium, in addition to the conventional surround reproduction, it is possible to reproduce the sound field from directions other than the height of the speaker and Wrapped up, you can feel the space.
さらに、本発明に係るマルチチャンネルオーディオ信号処理装置は、３以上のチャンネル数を持つマルチチャンネルオーディオ信号を記録媒体に記録するマルチチャンネルオーディオ信号処理装置であって、スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号と、前記スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及び音像定位処理すべき信号とを、記録媒体に記録する記録手段を備えたものである。 Furthermore, the multi-channel audio signal processing apparatus according to the present invention is a multi-channel audio signal processing apparatus for recording a multi-channel audio signal having a number of channels of 3 or more on a recording medium, wherein the sound on the horizontal plane at the height of the speaker. The multi-channel audio signal for field reproduction, the data necessary for signal processing for reproduction as a virtual sound source for vertical sound field reproduction other than the height of the speaker, and a signal to be subjected to sound localization processing And a recording means for recording on a recording medium.
この構成により、スピーカの高さにおける水平面上の音場再生のためのマルチチャンネルオーディオ信号と、スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及び音像定位処理すべき信号とを記録媒体に記録することにより、すべての定位情報を記録側に含めることで水平面のサラウンド再生に加えて、スピーカの高さ以外の方向からの自然で臨場感のある音場が再現でき、全周囲から音に包まれ、空間を感じさせることができる。 This configuration requires multi-channel audio signals for horizontal sound field reproduction at the height of the speaker and signal processing for reproduction as a virtual sound source for vertical sound field reproduction other than the speaker height. By recording all data and sound image localization processing signals on the recording medium, all the localization information is included on the recording side, so that in addition to the surround reproduction of the horizontal plane, it is natural and realistic from the direction other than the height of the speaker. A sound field with a feeling can be reproduced, and it can be surrounded by sound from all around to make you feel the space.
本発明は、従来のスピーカの高さにおけるサラウンド音場に加えて、スピーカの高さ以外の方向の音場再生を可能とするので、聴取者が全周囲から音に包まれ、空間を感じられるという大きな効果がある。また、従来のマルチチャンネルオーディオ装置で再生しても何ら支障なく従来のサラウンド再生ができ、従来のサラウンド再生に加えて、スピーカの高さ以外の方向の音場再生をも可能とする。したがって、従来の方法と互換性があるという点でユーザが持っているシステムを余すことなく有効利用できるという効果がある。 In addition to the surround sound field at the height of the conventional speaker, the present invention enables sound field reproduction in directions other than the height of the speaker, so that the listener can feel the space surrounded by sound from all around. There is a big effect. Further, even if playback is performed by a conventional multi-channel audio device, conventional surround playback can be performed without any trouble, and in addition to the conventional surround playback, sound field playback in directions other than the height of the speaker is also possible. Therefore, there is an effect that the system possessed by the user can be effectively used without leaving a point that it is compatible with the conventional method.
以下、添付図面を参照して本発明の実施の形態を説明する。
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。図１に示すマルチチャンネルオーディオ信号処理装置は、３以上のチャンネル数を持つマルチチャンネルオーディオ信号を再生するもので、ＤＶＤオーディオのディスクリート５．１チャンネルをデコード出力するデコード手段１と、ホール室内の響きや大きさを表す全反射音を音像定位処理する音像定位処理手段４と、音像定位処理手段４の出力をクロストークキャンセル処理するクロストークキャンセル処理手段３と、クロストークキャンセル処理された音像定位処理信号をスピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号であるディスクリート５．１チャンネルから選択した２チャンネルから再生されるように合成する加算手段５ａ、５ｂと、加算手段５ａ、５ｂを介したディスクリート５．１チャンネルの信号を振幅増幅してスピーカから再生するための振幅増幅手段２とを備えている。
Embodiments of the present invention will be described below with reference to the accompanying drawings.
<First Embodiment>
FIG. 1 is a block diagram conceptually showing the multi-channel audio signal processing apparatus according to the first embodiment of the present invention. The multi-channel audio signal processing apparatus shown in FIG. 1 reproduces a multi-channel audio signal having three or more channels. The decoding means 1 decodes and outputs 5.1 channels of discrete DVD audio, and the sound in the hall room. Sound image localization processing means 4 that performs sound image localization processing on the totally reflected sound that represents the size of the sound, crosstalk cancellation processing means 3 that performs crosstalk cancellation processing on the output of the sound image localization processing means 4, and sound image localization processing that has undergone crosstalk cancellation processing And adding
図１において、信号ＦＬ、Ｃ、ＦＲ、ＳＬ、ＳＲ、ＳＷの各チャンネル（ｃｈ）はＤＶＤオーディオのディスクリート５．１チャンネルであり、従来の５．１チャンネルサラウンド方式の各オーディオ信号である。音像定位処理手段４は、５．１チャンネルの、例えばセンタチャンネルＣｃｈの信号に基づいて後述するような方法でホールや映画館などの全反射音を音像定位処理したＶＬ、ＶＲ信号（ｃｈ）を出力する。音像定位処理信号ＶＬ、ＶＲは、聴取者の左耳、右耳に再生されるべき信号であり、クロストークキャンセル処理手段３でクロストークキャンセル処理された後、加算手段５ａ、５ｂによりそれぞれＦＬ、ＦＲ信号に加算される。このクロストークキャンセル処理は、スピーカ再生において、しかるべき信号を左右の耳元に正確に再生する場合に必要であり、既に周知の技術となっている。そして、振幅増幅手段２で信号が増幅され、各スピーカで再生される。 In FIG. 1, each channel (ch) of signals FL, C, FR, SL, SR, and SW is a discrete 5.1 channel of DVD audio, and is a conventional 5.1 channel surround type audio signal. The sound image localization processing means 4 outputs VL and VR signals (ch) obtained by performing the sound image localization processing on the total reflection sound of a hall or a movie theater by a method described later based on the signal of 5.1 channel, for example, center channel Cch. Output. The sound image localization processing signals VL and VR are signals to be reproduced in the listener's left ear and right ear, and after being subjected to crosstalk cancellation processing by the crosstalk cancellation processing means 3, FL, by the addition means 5a and 5b, It is added to the FR signal. This crosstalk canceling process is necessary when reproducing an appropriate signal accurately at the left and right ears during speaker reproduction, and is already a well-known technique. Then, the signal is amplified by the amplitude amplifying means 2 and reproduced by each speaker.
次に、音像定位処理手段４による音像定位処理について図２〜図５を参照して説明する。図２は、本発明の基本的考え方を示したものである。今、図２（ａ）に示す点ｐに水平角α、仰角β（仰角方向についての図示は省略した）から音が到来してきたとする。図２（ｂ）に示すように、点ｐに頭の中心を置いて受音点とし、頭部伝達関数ＨＲＴＦを測定すれば、頭部伝達関数ＨＲＴＦは水平角α、仰角βに定位するための伝達関数として得られる。このように、受音点に入ってくる反射音の１つ１つを、図２（ｂ）で説明したように、頭部伝達関数ＨＲＴＦに置き換えていく。その際、反射音の到達遅れ時間と周波数特性を加味する。すなわち、頭部伝達関数ＨＲＴＦをイコライジングし、到達遅れ時間だけ遅らせながら全反射音のＨＲＴＦを加算すれば、その位置でのコンサートホールにおける両耳のインパルス応答となるはずである。このインパルス応答こそがコンサートホールの響きや大きさを表すものである。 Next, sound image localization processing by the sound image localization processing means 4 will be described with reference to FIGS. FIG. 2 shows the basic concept of the present invention. Assume that sound has arrived at a point p shown in FIG. 2A from a horizontal angle α and an elevation angle β (illustration of the elevation angle direction is omitted). As shown in FIG. 2B, when the head transfer function HRTF is measured by placing the center of the head at the point p and measuring the head transfer function HRTF, the head transfer function HRTF is localized at the horizontal angle α and the elevation angle β. As a transfer function of In this way, each reflected sound that enters the sound receiving point is replaced with the head-related transfer function HRTF as described with reference to FIG. At that time, the arrival delay time of reflected sound and frequency characteristics are taken into consideration. That is, if the head related transfer function HRTF is equalized and the HRTF of the totally reflected sound is added while being delayed by the arrival delay time, the impulse response of both ears in the concert hall at that position should be obtained. This impulse response represents the sound and size of the concert hall.
図３は、音像定位処理手段４の内部構成を示すブロック図である。音像定位処理手段４は、図３に示すように、コンサートホールの室形、音源、受音点の情報を入力する入出力手段４１と、コンサートホールの全反射音を算出する反射音算出手段４２と、反射音の水平角、仰角のデータに対応する左右ペアの頭部伝達関数をあらかじめ記憶した全方向頭部伝達関数記憶部４３と、インパルス応答を作成するインパルス応答作成手段４４と、これら構成要素を制御する制御手段４５とを有している。
FIG. 3 is a block diagram showing the internal configuration of the sound image localization processing means 4. As shown in FIG. 3, the sound image localization processing means 4 includes an input / output means 41 for inputting information on the room shape, sound source, and sound receiving point of the concert hall, and a reflected sound calculation means 42 for calculating the total reflected sound of the concert hall. And an omnidirectional head related transfer
この音像定位処理手段４の処理内容を図４に示すフローチャートを参照して説明する。まず、コンサートホールの室形、音源、受音点の情報を入出力手段４１により入力する（Ｓ１）。次に、反射音算出手段４２において、コンサートホールの全反射音を算出する。一般的に、幾何音響シミュレーションで求める。 The processing contents of the sound image localization processing means 4 will be described with reference to the flowchart shown in FIG. First, information on the room shape, sound source, and sound receiving point of the concert hall is input by the input / output means 41 (S1). Next, the reflected sound calculation means 42 calculates the total reflected sound of the concert hall. Generally, it is obtained by geometric acoustic simulation.
このとき、次の３種類のデータ（音場解析データ）を算出しておく（Ｓ２）。
・受音点に到来する直接音及び反射音の到来方向、すなわち水平角と仰角のデータ。
・受音点に到来する直接音及び反射音の、壁面材料の吸音率や空気吸収を反映した周波数特性データ。
・受音点に到来する直接音及び反射音の、音源から受音点に到達するまでの到達遅れ時間データ。
At this time, the following three types of data (sound field analysis data) are calculated (S2).
-Direction of arrival of direct sound and reflected sound arriving at sound receiving point, that is, horizontal angle and elevation angle data.
・ Frequency characteristics data that reflects the sound absorption rate and air absorption of the wall material of the direct sound and reflected sound that arrive at the sound receiving point.
-Arrival delay time data from the sound source to the sound receiving point of the direct sound and reflected sound arriving at the sound receiving point.
反射音算出手段４２により全反射音の３種類のデータが算出されると、インパルス応答作成手段４４によるインパルス応答作成に移る。インパルス応答作成手段４４は、初めに、処理の回数ｉ＝０とし（Ｓ３）、一番目の反射音（一般的には直接音）の水平角、仰角のデータから対応する左右ペアの頭部伝達関数を全方向頭部伝達関数記憶部４３より取得する（Ｓ４、Ｓ５）。 When the reflected sound calculation means 42 calculates three types of data of the total reflection sound, the impulse response creation means 44 moves to impulse response creation. The impulse response creating means 44 first sets the number of processes i = 0 (S3), and transmits the corresponding left and right pair of head transmissions from the horizontal angle and elevation angle data of the first reflected sound (generally direct sound). A function is acquired from the omnidirectional head related transfer function storage unit 43 (S4, S5).
そして、取得した左右ペアの頭部伝達関数を、周波数特性データを用いて各々の帯域ごとにイコライジングする（Ｓ６）。イコライジングはどんな方法でもよく、例えば７０ｄＢを基準として、ＦＩＲフィルタ処理をしてもよい。そして、イコライジングされた左右ペアの頭部伝達関数に、到達遅れ時間データに基づき、遅れ時間分遅延をかける（Ｓ７）。そして、左右ペアの頭部伝達関数を保持しておく（Ｓ８）。 The acquired left and right pair of head related transfer functions are equalized for each band using the frequency characteristic data (S6). Any method may be used for equalizing, for example, FIR filter processing may be performed based on 70 dB. Then, the equalized left and right pair of head related transfer functions are delayed by the delay time based on the arrival delay time data (S7). Then, the left and right pair of head-related transfer functions are held (S8).
次に、処理の回数ｉを１増加し（Ｓ９）、２番目の反射音（一般的には最初の反射音）の処理に移る（Ｓ１０→Ｙ）。先と同様に、対応する頭部伝達関数を選択し（Ｓ４、Ｓ５）、イコライジングする（Ｓ６）。このとき、先ほど７０ｄＢを基準としたので、同じ基準を用いる。遅延をかけた後（Ｓ７）、前回生成した左右ペアの頭部伝達関数左右各々に、２番目の反射音の頭部伝達関数を加算する（Ｓ８）。 Next, the number of times i of the process is increased by 1 (S9), and the process proceeds to the process of the second reflected sound (generally the first reflected sound) (S10 → Y). Similarly to the above, the corresponding head related transfer function is selected (S4, S5), and equalized (S6). At this time, since 70 dB was used as a reference earlier, the same reference is used. After delaying (S7), the head-related transfer function of the second reflected sound is added to the left and right head-related transfer functions of the left and right pair generated previously (S8).
このようにして、全反射音分（全音線本数分）の頭部伝達関数を累積加算していき、左右ペアのインパルス応答を作成する。全反射音分の処理が終わると（Ｓ１０→Ｎ）、この段階で作成された左右ペアのインパルス応答は、受音点に人の頭を置いた場合の両耳におけるインパルス応答である。 In this way, the head-related transfer functions for the total reflected sound (for the total number of sound rays) are cumulatively added to create an impulse response for the left and right pairs. When the processing of the total reflected sound is completed (S10 → N), the left and right pair impulse responses created at this stage are impulse responses in both ears when a person's head is placed at the sound receiving point.
そして、５．１チャンネルの、例えば、センタチャンネルの信号と、先に計算された左右のインパルス応答とを各々畳み込む（Ｓ１１）ことによって、音像定位処理信号ＶＬ、ＶＲが完成される。又は直接音に近い信号が他のチャンネルにあれば、それと畳み込んでもよい。 Then, the image localization processing signals VL and VR are completed by convolving the 5.1 channel, for example, the center channel signal and the left and right impulse responses calculated previously (S11). Or if there is a signal close to the direct sound in another channel, it may be convoluted with it.
この音像定位処理信号ＶＬ、ＶＲをフロントＬ、Ｒチャンネルで再生する場合は、クロストークキャンセル処理手段３により、図５に示すｈｌｒ、ｈｒｌのいわゆるクロストークをキャンセルする処理を行い、フロントＬ、Ｒチャンネルに各々加算し、振幅増幅手段２を介してスピーカから再生すれば、従来どおりのサラウンド音場に加えてコンサートホールの反射音があらゆる方向から再生され、ホール室内の響きや大きさまでもが表現できる。 When the sound image localization processing signals VL and VR are reproduced on the front L and R channels, the crosstalk cancellation processing means 3 performs a process of canceling so-called crosstalk of hlr and hrl shown in FIG. If each channel is added and reproduced from the speaker via the amplitude amplification means 2, the reflected sound of the concert hall is reproduced from all directions in addition to the conventional surround sound field, and the sound and size of the hall room can be expressed. it can.
したがって、第１の実施の形態によれば、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、ホール室内の響きや大きさを表す全反射音をマルチチャンネルから選択した２チャンネルから再生されるよう音像定位処理したオーディオ信号とを合成し、再生するようにしたので、従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にすることができ、全周囲から音に包まれ、空間を感じさせるという大きな効果がある。 Therefore, according to the first embodiment, the normal multichannel audio signal for sound field reproduction on the horizontal plane at the height of the speaker and the total reflection sound representing the reverberation and magnitude of the hall room are obtained from the multichannel. Since the audio signal that has been subjected to sound image localization processing to be played back from the selected two channels is synthesized and played back, it is compatible with the conventional multi-channel surround playback system and can be used for conventional surround playback. In addition, it is possible to reproduce the sound field from directions other than the height of the speaker, and there is a great effect that the sound is surrounded by the sound from the entire periphery.
＜第２の実施の形態＞
図６は、本発明の第２の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。図６に示す第２の実施の形態に係るマルチチャンネルオーディオ信号処理装置は、図１に示す第１の実施の形態に係るマルチチャンネルオーディオ信号処理装置の構成に、マルチチャンネルオーディオ信号に対し、ホール室内の響きや大きさを表す全反射音の到来方向別に反射音の到達遅れ時間分だけ遅延し周波数特性を加味して元の信号にそれぞれ加算する、遅延手段６とイコライザ７及び加算手段８とで構成される遅延加算手段をさらに備えている。
<Second Embodiment>
FIG. 6 is a block diagram conceptually showing the multi-channel audio signal processing apparatus according to the second embodiment of the present invention. The multi-channel audio signal processing apparatus according to the second embodiment shown in FIG. 6 is different from the multi-channel audio signal processing apparatus according to the first embodiment shown in FIG. A delay means 6, an
図６において、信号ＦＬ、Ｃ、ＦＲ、ＳＬ、ＳＲ、ＳＷの各チャンネルはＤＶＤオーディオのディスクリート５．１チャンネルであり、従来の５．１チャンネルサラウンド方式の各オーディオ信号である。音像定位処理手段４は、５．１チャンネルの、例えばセンタチャンネルの信号に基づいて後述するような方法でホールや映画館などの全反射音を音像定位処理したＶＬ、ＶＲ信号を出力する。音像定位処理信号ＶＬ、ＶＲは、聴取者の左耳、右耳に再生されるべき信号であり、クロストークキャンセル処理手段３でクロストークキャンセル処理された後、加算手段５ａ、５ｂによりそれぞれＦＬ、ＦＲ信号に加算される。このクロストークキャンセル処理は、スピーカ再生において、しかるべき信号を左右の耳元に正確に再生する場合に必要であり、既に周知の技術となっている。そして、振幅増幅手段２で信号が増幅され、各スピーカで再生される。 In FIG. 6, each channel of signals FL, C, FR, SL, SR, and SW is a discrete 5.1 channel of DVD audio, and is a conventional 5.1 channel surround type audio signal. The sound image localization processing means 4 outputs VL and VR signals obtained by performing the sound image localization processing on the total reflected sound of a hall, a movie theater or the like by a method described later based on the 5.1 channel signal, for example, the center channel signal. The sound image localization processing signals VL and VR are signals to be reproduced in the listener's left ear and right ear, and after being subjected to crosstalk cancellation processing by the crosstalk cancellation processing means 3, FL, by the addition means 5a and 5b, It is added to the FR signal. This crosstalk canceling process is necessary when reproducing an appropriate signal accurately at the left and right ears during speaker reproduction, and is already a well-known technique. Then, the signal is amplified by the amplitude amplifying means 2 and reproduced by each speaker.
この第２の実施の形態においては、コンサートホールの反射音を第１の実施の形態と同じような手法で算出するが、全反射音の到来方向のうち、スピーカの高さ又はスピーカの高さに近い方向から到来する反射音については従来のマルチチャンネルスピーカで再生し、他の方向から到来する反射音は音像定位処理をして再生するところが第１の実施の形態と相違する点である。 In this second embodiment, the reflected sound of the concert hall is calculated by the same method as in the first embodiment, but the height of the speaker or the height of the speaker among the directions of arrival of the total reflected sound. The difference from the first embodiment is that the reflected sound coming from a direction close to is reproduced by a conventional multi-channel speaker, and the reflected sound coming from another direction is reproduced by sound image localization processing.
いわゆるドルビー・プロロジック方式、ドルビー・ＡＣ３方式、ＭＰＥＧマルチチャンネル方式などの場合には、フロントスピーカの開き角は６０度、リアスピーカの開き角は、１１０度を推奨値としている。そこで、図７（ａ）、（ｂ）に示すように、各スピーカの水平角の担当角度範囲を、センタスピーカは聴取者を中心に３０度、フロントＬ、Ｒスピーカはセンタスピーカの外側から７５度、リアスピーカは聴取者の後ろを９０度ずつ、また仰角の担当角度範囲をスピーカのツイータの高さを中心に±１０度と設定しておく。そして、全反射音を到来方向別に、センタスピーカ、フロントＬ、Ｒスピーカ、リアＬ、Ｒスピーカ、その他の６種類に振り分ける。各スピーカの担当範囲内に収まる反射音は各スピーカから、その他に属する反射音はフロントＬ、Ｒスピーカから仮想音源で再生するものである。 In the case of the so-called Dolby Pro Logic system, Dolby AC3 system, MPEG multi-channel system, etc., the recommended opening angle of the front speaker is 60 degrees and the opening angle of the rear speaker is 110 degrees. Therefore, as shown in FIGS. 7 (a) and 7 (b), the assigned angle range of the horizontal angle of each speaker is 30 degrees centered on the listener for the center speaker, and 75 L from the outside of the center speaker for the front L and R speakers. The rear speaker is set to be 90 degrees behind the listener and the assigned angle range of the elevation angle is set to ± 10 degrees centering on the height of the speaker tweeter. Then, the totally reflected sound is distributed to the center speaker, front L, R speaker, rear L, R speaker, and other six types according to the arrival direction. Reflected sounds that fall within the assigned range of each speaker are reproduced from each speaker, and reflected sounds belonging to others are reproduced from the front L and R speakers as virtual sound sources.
各スピーカの担当範囲内に収まる反射音の作成方法を、ＦＬチャンネルを例に説明する。ＦＬチャンネルの信号に遅延手段６により反射音の到達遅れ時間分だけ遅延をかけ、イコライザ７により周波数特性を加味して加算手段８により元の信号に加算する。これを反射音数分繰り返す。他のチャンネルも同様に行う。この遅延処理により水平方向における反射音の処理を行う。それ以外の反射音については、第１の実施の形態と同様に、両耳のインパルス応答に置き換え、例えば、デコードされたセンタチャンネルの信号と畳み込むことによって音像定位処理信号ＶＬ、ＶＲを作成する。この音像定位処理信号ＶＬ、ＶＲをフロントＬ、Ｒチャンネルで再生する場合は、図５に示すｈｌｒ、ｈｒｌのいわゆるクロストークをキャンセルする処理を行い、フロントＬ、Ｒチャンネルに各々加算し、再生する。これにより、従来どおりのサラウンド音場に加えてコンサートホールの反射音があらゆる方向から再生され、ホール室内の響きや大きさまでもが表現できる。
A method for creating a reflected sound that falls within the assigned range of each speaker will be described using the FL channel as an example. The delay means 6 delays the FL channel signal by the arrival delay time of the reflected sound, the
したがって、第２の実施の形態によれば、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、ホール室内の響きや大きさを表す全反射音の到来方向データからスピーカの高さ方向又はスピーカの高さに近い方向から到来する反射音は、前記チャンネルのオーディオ信号に遅延加算され、それ以外の方向から到来する反射音は前記チャンネルから選択した２チャンネルから再生されるよう音像定位処理したオーディオ信号とを合成し、再生するようにしたので、従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にすることができ、全周囲から音に包まれ、空間を感じさせるという大きな効果がある。 Therefore, according to the second embodiment, the normal multi-channel audio signal for reproducing the sound field on the horizontal plane at the height of the speaker and the arrival direction data of the total reflection sound representing the reverberation and magnitude of the hall room The reflected sound coming from the speaker height direction or near the speaker height is delayed and added to the audio signal of the channel, and the reflected sound coming from other directions is reproduced from the two channels selected from the channel. As a result, the audio signal that has been subjected to sound image localization processing is synthesized and played back, so that compatibility with the conventional multi-channel surround playback system is achieved, and in addition to the conventional surround playback, It is possible to reproduce the sound field from other directions, and it is surrounded by sound from all sides, making it feel like a space There is a result.
＜第３の実施の形態＞
図８は、本発明の第３の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。図８に示すマルチチャンネルオーディオ信号処理装置は、３以上のチャンネル数を持つマルチチャンネルオーディオ信号を記録媒体に記録するもので、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生されるよう音像定位処理されたオーディオ信号とをクロストークキャンセル処理手段９を介して合成する加算手段１０ａ、１０ｂと、合成されたオーディオ信号を記録媒体（例えば光ディスク）（不図示）に記録する記録手段１１とを備えている。
<Third Embodiment>
FIG. 8 is a block diagram conceptually showing the multi-channel audio signal processing apparatus according to the third embodiment of the present invention. The multi-channel audio signal processing apparatus shown in FIG. 8 records a multi-channel audio signal having three or more channels on a recording medium, and a normal multi-channel for reproducing a sound field on a horizontal plane at the height of the speaker. Adding means 10a for synthesizing the audio signal and the audio signal subjected to sound image localization processing to be reproduced as a virtual sound source for reproducing the sound field in the vertical direction other than the height of the speaker via the crosstalk cancellation processing means 9; 10b and recording means 11 for recording the synthesized audio signal on a recording medium (for example, an optical disc) (not shown).
図８において、信号ＦＬ、Ｃ、ＦＲ、ＳＬ、ＳＲ、ＳＷの各チャンネルはＤＶＤオーディオのディスクリート５．１チャンネルであり、従来の５．１チャンネルサラウンド方式の各オーディオ信号である。ＶＬ、ＶＲ信号は後述する音像定位処理した信号である。ＶＬ、ＶＲ信号は聴取者の左耳、右耳に再生されるべき信号であり、クロストークキャンセル処理手段９でクロストークキャンセル処理された後、それぞれ加算手段１０ａ、１０ｂによりＦＬ、ＦＲ信号に加算される。このクロストークキャンセル処理は、スピーカ再生において、しかるべき信号を左右の耳元に正確に再生する場合に必要であり、既に周知の技術となっている。そして、記録手段１１で光ディスクに６チャンネルが記録される。 In FIG. 8, signals FL, C, FR, SL, SR, and SW are discrete 5.1 channels of DVD audio, which are conventional 5.1 channel surround audio signals. The VL and VR signals are signals subjected to sound image localization processing described later. The VL and VR signals are signals to be reproduced in the listener's left and right ears, and after being subjected to crosstalk cancellation processing by the crosstalk cancellation processing means 9, are added to the FL and FR signals by the addition means 10a and 10b, respectively. Is done. This crosstalk canceling process is necessary when reproducing an appropriate signal accurately at the left and right ears during speaker reproduction, and is already a well-known technique. Then, 6 channels are recorded on the optical disc by the recording means 11.
ここで、ＶＬ、ＶＲ信号と音像定位処理について図９と図１０を用いて説明する。今、映画のシーンで、飛行機が前から後ろに頭上を飛んでいくシーンを考える。図９は、頭上にスピーカなどの音源があった場合の左右の耳に届く伝達関数を示している。スピーカＳＰ１に入来するオーディオ信号ｓ（ｔ）と伝達関数ｈ１ｌ（ｔ）とを畳み込んだ音ＶＬ（ｔ）を左耳に、スピーカＳＰ１に入来するオーディオ信号ｓ（ｔ）と伝達関数ｈ１ｒ（ｔ）とを畳み込んだ音ＶＲ（ｔ）を右耳に、それぞれ再生することでスピーカＳＰ１から音が鳴っているように聞こえる。音ＶＬ（ｔ）とＶＲ（ｔ）は、下式（１）で示される。
ＶＬ（ｔ）＝ｓ（ｔ）×ｈ１ｌ（ｔ）
ＶＲ（ｔ）＝ｓ（ｔ）×ｈ１ｒ（ｔ） ・・・（１）
Here, the VL and VR signals and the sound image localization process will be described with reference to FIGS. Now, consider a scene in a movie scene where an airplane flies overhead from front to back. FIG. 9 shows a transfer function that reaches the left and right ears when a sound source such as a speaker is above the head. The audio signal s (t) convoluted with the audio signal s (t) coming into the speaker SP1 and the transfer function h1l (t) is used as the left ear, and the audio signal s (t) coming into the speaker SP1 and the transfer function h1r. The sound VR (t) convoluted with (t) is reproduced in the right ear, and it sounds as if the sound is being emitted from the speaker SP1. The sounds VL (t) and VR (t) are expressed by the following expression (1).
VL (t) = s (t) × h1l (t)
VR (t) = s (t) × h1r (t) (1)
次に、スピーカＳＰ１からＳＰ２への音源移動を再現するためには、下式（２）に示すように重み係数αを用いてクロスフェードさせる。
ＶＬ（ｔ）＝α（ｔ）（ｓ（ｔ）×ｈ１ｌ（ｔ））
＋（１−α（ｔ））（ｓ（ｔ）×ｈ２ｌ（ｔ））
ＶＲ（ｔ）＝α（ｔ）（ｓ（ｔ）×ｈｌｒ（ｔ））
＋（１−α（ｔ））（ｓ（ｔ）×ｈ２ｒ（ｔ）） ・・・（２）
ただし、０＜＝α（ｔ）＜＝１．０
すなわち、時間の経過に伴い、スピーカＳＰ１からスピーカＳＰ２の伝達関数に切り替えていく。
Next, in order to reproduce the sound source movement from the speaker SP1 to the SP2, a crossfade is performed using the weighting coefficient α as shown in the following equation (2).
VL (t) = α (t) (s (t) × h1l (t))
+ (1-α (t)) (s (t) × h2l (t))
VR (t) = α (t) (s (t) × hlr (t))
+ (1-α (t)) (s (t) × h2r (t)) (2)
However, 0 <= α (t) <= 1.0
That is, with the passage of time, the function is switched from the speaker SP1 to the transfer function of the speaker SP2.
このようにして、ＳＰ１→ＳＰ２→ＳＰ３→ＳＰ４へとスピーカを切り替えていくことで、音源が頭上を前後に動いているように聞こえさせることができる。このとき、入来信号ｓ（ｔ）を飛行機の効果音とすれば、ＶＬ（ｔ）、ＶＲ（ｔ）は、飛行機があたかも頭上を飛んでいるかのように聞こえる音像定位処理された信号となる。 In this way, by switching the speakers in the order of SP1, SP2, SP3, and SP4, it is possible to make the sound source sound like moving forward and backward. At this time, if the incoming signal s (t) is an airplane sound effect, VL (t) and VR (t) are signals subjected to sound image localization processing that sounds as if the airplane is flying overhead. .
これをフロントスピーカＬＲ再生で実現するためには、周知のクロストークキャンセル処理が必要となる。したがって、再生環境におけるフロントスピーカからの伝達関数を図１０のように表現し、ＳＰ１→ＳＰ２→ＳＰ３→ＳＰ４へと切り替えた信号を、ＶＬ（ｔ）、ＶＲ（ｔ）とすれば、式（３）を得る。
ＶＬ（ｔ）＝α（ｔ）（ｓ（ｔ）×ｈ１ｌ（ｔ））
＋β（ｔ）（ｓ（ｔ）×ｈ２ｌ（ｔ））
＋γ（ｔ）（ｓ（ｔ）×ｈ３ｌ（ｔ））
＋△（ｔ）（ｓ（ｔ）×ｈ４ｌ（ｔ））
ＶＲ（ｔ）＝α（ｔ）（ｓ（ｔ）×ｈｌｒ（ｔ））
＋β（ｔ）（ｓ（ｔ）×ｈ２ｒ（ｔ））
＋γ（ｔ）（ｓ（ｔ）×ｈ３ｒ（ｔ））
＋△（ｔ）（ｓ（ｔ）×ｈ４ｒ（ｔ）） ・・・（３）
ただし、０＜＝α（ｔ）＜＝１．０、０＜＝β（ｔ）＜＝１．０、
０＜＝γ（ｔ）＜＝１．０、０＜＝△（ｔ）＜＝１．０であり、
α（ｔ）＋β（ｔ）＋γ（ｔ）＋△（ｔ）＝１．０
α（ｔ）＋β（ｔ）＝１．０のとき、γ（ｔ）＝△（ｔ）＝０
β（ｔ）＋γ（ｔ）＝１．０のとき、α（ｔ）＝△（ｔ）＝０
γ（ｔ）＋△（ｔ）＝１．０のとき、α（ｔ）＝β（ｔ）＝０
In order to realize this by front speaker LR reproduction, a well-known crosstalk cancellation process is required. Therefore, if the transfer function from the front speaker in the reproduction environment is expressed as shown in FIG. )
VL (t) = α (t) (s (t) × h1l (t))
+ Β (t) (s (t) × h2l (t))
+ Γ (t) (s (t) × h3l (t))
+ Δ (t) (s (t) × h4l (t))
VR (t) = α (t) (s (t) × hlr (t))
+ Β (t) (s (t) × h2r (t))
+ Γ (t) (s (t) × h3r (t))
+ Δ (t) (s (t) × h4r (t)) (3)
However, 0 <= α (t) <= 1.0, 0 <= β (t) <= 1.0,
0 <= γ (t) <= 1.0, 0 <= Δ (t) <= 1.0,
α (t) + β (t) + γ (t) + Δ (t) = 1.0
When α (t) + β (t) = 1.0, γ (t) = Δ (t) = 0
When β (t) + γ (t) = 1.0, α (t) = Δ (t) = 0
When γ (t) + Δ (t) = 1.0, α (t) = β (t) = 0
そして、フロントＬ、Ｒに入力すべき信号は、式（４）に示すものとなる。
ＦＶＬ（ｔ）＝ｄ（ｔ）×（ｈｒｒ（ｔ）×ＶＬ（ｔ）−ｈｌｒ（ｔ）×ＶＲ（ｔ））
ＦＶＲ（ｔ）＝ｄ（ｔ）×（ｈｌｌ（ｔ）×ＶＲ（ｔ）−ｈｒｌ（ｔ）×ＶＬ（ｔ））
ただし、ｄ（ｔ）＝１/（ｈｌｌ（ｔ）×ｈｒｒ（ｔ）
−ｈｒｌ（ｔ）×ｈｌｒ（ｔ）） ・・・（４）
And the signal which should be inputted into front L and R becomes what is shown to a formula (4).
FVL (t) = d (t) × (hrr (t) × VL (t) −hlr (t) × VR (t))
FVR (t) = d (t) × (hll (t) × VR (t) −hrl (t) × VL (t))
Where d (t) = 1 / (hll (t) × hrr (t)
−hrl (t) × hlr (t)) (4)
このため、図８に示すように、この信号を従来の５．１チャンネル方式のＦＬ、ＦＲチャンネルの信号に加算手段１０ａ、１０ｂによりそれぞれ加算して、記録手段１１により記録することにより、再生側では特別な処理なしに従来どおりのサラウンド再生に加えて、飛行機が頭上を飛んでいく音場を再生できる。 For this reason, as shown in FIG. 8, this signal is added to the conventional 5.1 channel FL and FR channel signals by the adding means 10a and 10b, respectively, and recorded by the recording means 11, whereby the reproduction side. Then, in addition to the conventional surround playback without special processing, you can play the sound field where the airplane is flying overhead.
したがって、第３の実施の形態によれば、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号とスピーカの高さ以外の上下方向の音場再生のための仮想音源として再生されるよう音像定位処理されたオーディオ信号とを合成し、合成されたオーディオ信号を記録媒体に記録するようにしたので、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からの音場再生を可能にすることができ、全周囲から音に包まれ、空間を感じさせるという大きな効果がある。 Therefore, according to the third embodiment, a normal multichannel audio signal for sound field reproduction on a horizontal plane at the height of the speaker and a virtual sound source for sound field reproduction in the vertical direction other than the height of the speaker The audio signal that has been subjected to sound image localization processing is synthesized so as to be reproduced as a sound signal, and the synthesized audio signal is recorded on a recording medium. Therefore, in addition to the conventional surround reproduction, the audio signal from a direction other than the height of the speaker is recorded. The sound field can be reproduced, and it has a great effect of being surrounded by sound from all sides and feeling the space.
＜第４の実施の形態＞
図１１は、本発明の第４の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。図１１に示す第４の実施の形態に係るマルチチャンネルオーディオ信号処理装置は、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及び音像定位処理すべき信号とを記録媒体（光ディスク）に記録する記録手段１１を備えたものである。
<Fourth embodiment>
FIG. 11 is a block diagram conceptually showing the multi-channel audio signal processing apparatus according to the fourth embodiment of the present invention. The multi-channel audio signal processing apparatus according to the fourth embodiment shown in FIG. 11 is a normal multi-channel audio signal for sound field reproduction on a horizontal plane at the height of the speaker, and the vertical direction other than the height of the speaker. Recording means 11 for recording data necessary for signal processing to be reproduced as a virtual sound source for sound field reproduction and a signal to be subjected to sound image localization processing on a recording medium (optical disk).
図１１において、信号ＦＬ、Ｃ、ＦＲ、ＳＬ、ＳＲ、ＳＷの各チャンネルはＤＶＤオーディオのディスクリート５．１チャンネルであり、従来の５．１チャンネルサラウンド方式の各オーディオ信号である。Ｖ信号は音像定位処理すべき信号である。また、方向データは信号Ｖが本来定位すべき方向の頭部伝達関数データ群及び重み係数である。さらに、クロストークキャンセル用データは、詳しくは図１０に示すｈｌｌ、ｈｌｒ、ｈｒｌ、ｈｒｒ及び、式（４）のｄ（ｔ）である。 In FIG. 11, each of the signals FL, C, FR, SL, SR, and SW is a discrete 5.1 channel of DVD audio, and is a conventional 5.1 channel surround type audio signal. The V signal is a signal to be subjected to sound image localization processing. The direction data is a head related transfer function data group and a weighting coefficient in the direction in which the signal V should be localized. Further, the crosstalk cancellation data is hll, hlr, hrl, hrr shown in FIG. 10 and d (t) in the equation (4) in detail.
本マルチチャンネルオーディオ信号処理装置は、再生される際、従来の信号の再生に加えて、Ｖ信号と方向データを用いて音像定位処理され、本来定位すべき方向にスピーカが配置されていなくとも仮想音源によって再生できることをねらいとしたものである。Ｖ信号及び方向データはいくつあってもよく、必ずペアで記録するか、または方向データが重複する場合は識別記号をつけておき、Ｖ信号と識別記号のペアで記録しておけばデータ容量を減らすことができる。Ｖ信号が２つの場合の記録例を図１２に示す。 When this multi-channel audio signal processing apparatus is reproduced, in addition to the conventional signal reproduction, the multi-channel audio signal processing apparatus performs sound image localization processing using the V signal and the direction data, and virtually does not require a speaker in the direction to be localized. It aims to be reproducible by the sound source. There can be any number of V signals and direction data, and must be recorded in pairs, or if direction data is duplicated, an identification symbol is attached, and if data is recorded in pairs of V signal and identification symbol, the data capacity can be increased. Can be reduced. An example of recording when there are two V signals is shown in FIG.
このように、本来定位すべき方向の頭部伝達関数データを一緒に記録することでコンテンツ制作者の意図どおりの音場表現ができる。特許文献２（特開２００１−３５２５９９号公報）に開示された技術は、従来の５．１チャンネル、７．１チャンネルというスピーカセッティングが決められたマルチチャンネル再生であるからこそ少ないスピーカでマルチチャンネル再生ができるのであって、すべての音はスピーカから出るもの、という視点に立って考えられている。特許文献１（特開平８−２６５８９９号公報）に開示された技術も特許文献２のものと同じ考え方である。すなわち、決められたスピーカ配置の定位情報を再生装置側に用意している。これに対し、本発明は、音はあらゆる方向から聞こえるものであり、それを忠実に再現しようというものである。このため、幾つかの決められた定位情報だけでは全周囲方向からの音を表現することができない。すべての定位情報を記録媒体に記録されたデータ側に含めることで、自然で臨場感のある音場が再現できるようになる。
In this way, by recording the head-related transfer function data in the direction to be localized together, the sound field can be expressed as intended by the content creator. The technique disclosed in Patent Document 2 (Japanese Patent Application Laid-Open No. 2001-352599) is a multi-channel reproduction in which the conventional 5.1-channel and 7.1-channel speaker settings are determined. It is thought from the viewpoint that all sound comes from the speaker. The technique disclosed in Patent Document 1 (Japanese Patent Laid-Open No. 8-265899) has the same concept as that of
したがって、第４の実施の形態によれば、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及び音像定位処理すべき信号とを記録媒体に記録することにより、すべての定位情報を記録媒体に記録されたデータ側に含めることで、水平面のサラウンド再生に加えてスピーカの高さ以外の方向からの自然で臨場感のある音場が再現でき、聴取者が全周囲から音に包まれ、空間を感じられるという大きな効果がある。 Therefore, according to the fourth embodiment, a normal multi-channel audio signal for reproducing a sound field on a horizontal plane at the height of the speaker and a virtual for reproducing a sound field in the vertical direction other than the height of the speaker. By recording data necessary for signal processing for reproduction as a sound source and a signal to be subjected to sound image localization processing on a recording medium, all localization information is included on the data side recorded on the recording medium, so that a horizontal plane surround In addition to the reproduction, a natural and realistic sound field from a direction other than the height of the speaker can be reproduced, and the listener is surrounded by sound from all around and has a great effect.
＜第５の実施の形態＞
次に、第４の実施の形態で説明したマルチチャンネルオーディオ信号処理装置によって記録されたメディアを再生する場合について説明する。図１３は、本発明の第５の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。図１３において、ＦＬ、Ｃ、ＦＲ、ＳＬ、ＳＲ、ＳＷ、Ｖチャンネルの信号は従来の方法によりデコード手段１にてデコードされる。デコードされたＶチャンネルの信号はメディアから読み込まれた方向データを用いて音像定位処理手段４にて音像定位処理される。
<Fifth embodiment>
Next, a case where a medium recorded by the multi-channel audio signal processing apparatus described in the fourth embodiment is reproduced will be described. FIG. 13 is a block diagram conceptually showing the multi-channel audio signal processing apparatus according to the fifth embodiment of the present invention. In FIG. 13, FL, C, FR, SL, SR, SW, and V channel signals are decoded by the decoding means 1 by a conventional method. The decoded V channel signal is subjected to sound image localization processing by the sound image localization processing means 4 using direction data read from the medium.
方向データは、具体的には図９に示すｈ１ｌ、ｈ１ｒ、ｈ２ｌ、ｈ２ｒ、ｈ３ｌ、ｈ３ｒ、ｈ４ｌ、ｈ４ｒと式（３）で示した重み係数α、β、γ、△である。音像定位処理は式（３）によって示されている。すなわち、出力信号はＶＬ、ＶＲの２系統である。この信号と、メディアから読み込まれたクロストークキャンセル用データとを用いてクロストークキャンセル処理手段３でクロストークキャンセルの処理を行う。クロストークキャンセル用データは、具体的には図１０に示すｈｌｌ、ｈｌｒ、ｈｒｌ、ｈｒｒ及び、式（４）のｄ（ｔ）である。クロストークキャンセル処理は式（４）によって示されている。処理後の信号ＦＶＬ、ＦＶＲを、デコードされたＦＬ、ＦＲチャンネルの信号にそれぞれ加算する。そして、全チャンネルの信号を振幅増幅手段２で増幅し、各スピーカで再生すれば、従来どおりの水平面のサラウンド再生に加えて、スピーカの高さ以外の方向からの音を再生できる。 Specifically, the direction data are h1l, h1r, h2l, h2r, h3l, h3r, h4l, and h4r shown in FIG. 9 and the weighting coefficients α, β, γ, and Δ shown in Expression (3). The sound image localization process is shown by the equation (3). That is, the output signals are two systems, VL and VR. Using this signal and the crosstalk cancellation data read from the medium, the crosstalk cancellation processing means 3 performs a crosstalk cancellation process. Specifically, the crosstalk cancellation data is hll, hlr, hrl, hrr shown in FIG. 10 and d (t) in Expression (4). The crosstalk cancellation process is shown by the equation (4). The processed signals FVL and FVR are added to the decoded FL and FR channel signals, respectively. Then, if the signals of all channels are amplified by the amplitude amplifying means 2 and reproduced by each speaker, sound from a direction other than the height of the speaker can be reproduced in addition to the conventional surround reproduction of the horizontal plane.
したがって、第５の実施の形態によれば、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及びオーディオ信号とをメディアから読み出すことにより、従来の水平面のサラウンド再生に加えて、スピーカの高さ以外の方向からの音場を再現でき、全周囲から音に包まれ、空間を感じさせるという大きな効果がある。 Therefore, according to the fifth embodiment, a normal multi-channel audio signal for reproducing a sound field on a horizontal plane at the height of the speaker and a virtual for reproducing a sound field in the vertical direction other than the height of the speaker. By reading out data and audio signals necessary for signal processing for playback as a sound source from the media, in addition to the conventional horizontal reproduction of the sound plane, it is possible to reproduce the sound field from directions other than the height of the speaker, It has a great effect of being surrounded by sound and making you feel the space.
以上のように、本発明に係るマルチチャンネルオーディオ信号処理装置は、従来のスピーカの高さにおけるサラウンド音場に加えて、スピーカの高さ以外の方向の音場再生が可能となるので、全周囲から音に包まれ、空間を感じさせるという大きな効果を有し、また従来のサラウンド方式と互換性があるという点でユーザが持っているシステムを余すことなく有効利用でき有用である。 As described above, the multi-channel audio signal processing device according to the present invention can reproduce the sound field in the direction other than the speaker height in addition to the surround sound field at the height of the conventional speaker. Therefore, it has the great effect of being surrounded by sound and giving a feeling of space, and is compatible with the conventional surround system, so that it can be effectively used and useful without leaving the system that the user has.
１ デコード手段
２ 振幅増幅手段
３、９ クロストークキャンセル処理手段
４ 音像定位処理手段
５ａ、５ｂ、８、１０ａ、１０ｂ 加算手段
６ 遅延手段
７ イコライザ
１１ 記録手段
４１ 入出力手段
４２ 反射音算出手段
４３ 全方向頭部伝達関数記憶部
４４ インパルス応答作成手段
４５ 制御手段
ＳＰ１〜ＳＰ４ スピーカ
DESCRIPTION OF
Claims (4)
前記マルチチャンネルオーディオ信号の任意の１チャンネルの信号に基づいてホール室内の響きや大きさを表す全反射音を、スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号から選択した２チャンネルから再生されるよう音像定位処理する音像定位処理手段と、
音像定位処理された前記オーディオ信号と前記スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号とを合成する加算手段とを備え、合成されたオーディオ信号を再生するよう構成されたマルチチャンネルオーディオ信号処理装置。 A multichannel audio signal processing apparatus for reproducing a multichannel audio signal having three or more channels,
Based on the signal of one arbitrary channel of the multi-channel audio signal, a total reflection sound representing the sound and size of the hall room is selected from the multi-channel audio signal for sound field reproduction on a horizontal plane at the height of the speaker. Sound image localization processing means for performing sound image localization processing so as to be reproduced from the two channels,
Addition means for synthesizing the audio signal subjected to sound image localization processing and the multi-channel audio signal for reproducing a sound field on a horizontal plane at the height of the speaker, and configured to reproduce the synthesized audio signal. Multi-channel audio signal processing device.
スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号と、前記スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生されるよう音像定位処理されたオーディオ信号とを合成する加算手段を備え、合成された前記オーディオ信号を記録媒体に記録するよう構成されたマルチチャンネルオーディオ信号処理装置。 A multi-channel audio signal processing apparatus for recording a multi-channel audio signal having three or more channels on a recording medium,
The multi-channel audio signal for reproducing the sound field on the horizontal plane at the height of the speaker and the audio subjected to sound image localization processing to be reproduced as a virtual sound source for reproducing the sound field in the vertical direction other than the height of the speaker A multi-channel audio signal processing apparatus comprising an adding means for combining with a signal and configured to record the combined audio signal on a recording medium.
スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号と、前記スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及び音像定位処理すべき信号とを、記録媒体に記録する記録手段を備えたマルチチャンネルオーディオ信号処理装置。
A multi-channel audio signal processing apparatus for recording a multi-channel audio signal having three or more channels on a recording medium,
Data necessary for signal processing for reproducing the multi-channel audio signal for sound field reproduction on a horizontal plane at the height of the speaker and a virtual sound source for sound field reproduction in the vertical direction other than the height of the speaker And a multi-channel audio signal processing apparatus comprising recording means for recording a signal to be subjected to sound image localization processing on a recording medium.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004092680A JP2005278125A (en) | 2004-03-26 | 2004-03-26 | Multi-channel audio signal processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004092680A JP2005278125A (en) | 2004-03-26 | 2004-03-26 | Multi-channel audio signal processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005278125A true JP2005278125A (en) | 2005-10-06 |
Family
ID=35177264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004092680A Pending JP2005278125A (en) | 2004-03-26 | 2004-03-26 | Multi-channel audio signal processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005278125A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010283507A (en) * | 2009-06-03 | 2010-12-16 | Mitsubishi Electric Corp | Sound image localization device |
| JP2011139263A (en) * | 2009-12-28 | 2011-07-14 | Univ Of Aizu | Stereophonic sound generation system, method for controlling the same and control program |
| CN104378728A (en) * | 2014-10-27 | 2015-02-25 | 常州听觉工坊智能科技有限公司 | Stereophonic audio processing method and device |
| JP2016129424A (en) * | 2010-07-07 | 2016-07-14 | サムスン エレクトロニクス カンパニー リミテッド | Three-dimensional sound reproducing method and apparatus of the same |
| CN112291673A (en) * | 2020-10-30 | 2021-01-29 | 歌尔科技有限公司 | Sound phase positioning circuit and equipment |
-
2004
- 2004-03-26 JP JP2004092680A patent/JP2005278125A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010283507A (en) * | 2009-06-03 | 2010-12-16 | Mitsubishi Electric Corp | Sound image localization device |
| JP2011139263A (en) * | 2009-12-28 | 2011-07-14 | Univ Of Aizu | Stereophonic sound generation system, method for controlling the same and control program |
| JP2016129424A (en) * | 2010-07-07 | 2016-07-14 | サムスン エレクトロニクス カンパニー リミテッド | Three-dimensional sound reproducing method and apparatus of the same |
| RU2694778C2 (en) * | 2010-07-07 | 2019-07-16 | Самсунг Электроникс Ко., Лтд. | Method and device for reproducing three-dimensional sound |
| US10531215B2 (en) | 2010-07-07 | 2020-01-07 | Samsung Electronics Co., Ltd. | 3D sound reproducing method and apparatus |
| CN104378728A (en) * | 2014-10-27 | 2015-02-25 | 常州听觉工坊智能科技有限公司 | Stereophonic audio processing method and device |
| CN112291673A (en) * | 2020-10-30 | 2021-01-29 | 歌尔科技有限公司 | Sound phase positioning circuit and equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102668237B1 (en) | Method and apparatus for 3D sound reproducing | |
| KR100644617B1 (en) | Apparatus and method for reproducing 7.1 channel audio | |
| US9154896B2 (en) | Audio spatialization and environment simulation | |
| KR101368859B1 (en) | Method and apparatus for reproducing a virtual sound of two channels based on individual auditory characteristic | |
| US6611603B1 (en) | Steering of monaural sources of sound using head related transfer functions | |
| KR100739776B1 (en) | Method and apparatus for reproducing a virtual sound of two channel | |
| KR100677629B1 (en) | Method and apparatus for simulating 2-channel virtualized sound for multi-channel sounds | |
| JP5496235B2 (en) | Improved reproduction of multiple audio channels | |
| US20090046864A1 (en) | Audio spatialization and environment simulation | |
| JPH04150200A (en) | Sound field controller | |
| JP4478220B2 (en) | Sound field correction circuit | |
| WO2018173413A1 (en) | Audio signal processing device and audio signal processing system | |
| JP2005157278A (en) | Apparatus, method, and program for creating all-around acoustic field | |
| JP2993489B2 (en) | Pseudo multi-channel stereo playback device | |
| JP4951985B2 (en) | Audio signal processing apparatus, audio signal processing system, program | |
| JP2005223714A (en) | Acoustic reproducing apparatus, acoustic reproducing method and recording medium | |
| JP3402567B2 (en) | Multi-channel signal processing method | |
| JP2005278125A (en) | Multi-channel audio signal processing device | |
| JP2002176700A (en) | Signal processing unit and recording medium | |
| KR100275779B1 (en) | A headphone reproduction apparaturs and method of 5 channel audio data | |
| JP3611158B2 (en) | Surround signal processing apparatus and signal processing method therefor | |
| JP3611163B2 (en) | Surround signal processing apparatus, signal processing method thereof, and computer-readable recording medium | |
| JP2007202020A (en) | Audio signal processing device, audio signal processing method, and program | |
| Sumner | The Digital Ears: A Binaural Spatialization Plugin | |
| JP2010157954A (en) | Audio playback apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081128 |