JP2011048279A - 3-dimensional sound encoding device, 3-dimensional sound decoding device, encoding program and decoding program - Google Patents
3-dimensional sound encoding device, 3-dimensional sound decoding device, encoding program and decoding program Download PDFInfo
- Publication number
- JP2011048279A JP2011048279A JP2009198621A JP2009198621A JP2011048279A JP 2011048279 A JP2011048279 A JP 2011048279A JP 2009198621 A JP2009198621 A JP 2009198621A JP 2009198621 A JP2009198621 A JP 2009198621A JP 2011048279 A JP2011048279 A JP 2011048279A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- basic
- auxiliary
- conversion coefficient
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
本発明は、多数のチャネルによって構成される3次元音響システムの信号を符号化する符号化装置及び符号化プログラム、並びに3次元音響システムの音響信号を復号する復号装置及び復号プログラムに関する。 The present invention relates to an encoding device and an encoding program for encoding a signal of a three-dimensional acoustic system constituted by a large number of channels, and a decoding device and a decoding program for decoding an acoustic signal of a three-dimensional acoustic system.
従来、音響信号の符号化方式として、低ビットレートの符号化では、MP3に基づく方式が知られている。これらは、元の信号を2チャネルにダウンミックスした信号と、ダウンミックス信号から元の信号を復元するためのパラメータを備えたパラメトリックな符号化方式である。 Conventionally, as a method for encoding an acoustic signal, a method based on MP3 is known for low bit rate encoding. These are parametric encoding methods including a signal obtained by downmixing an original signal into two channels and a parameter for restoring the original signal from the downmix signal.
また、CD(コンパクトディスク)の品質を保ったまま符号化する方式として、AAC(Adovanced Audio Coding)方式が知られている。2011年からの高度BS放送では、22.2チャネル音響を符号化・伝送するために、既存のAAC符号化を用いる方式が標準化される予定である。さらに、AAC方式を改良し、絶対可聴閾値の設定を可変とする技法が知られている(例えば、特許文献1参照)。 An AAC (advanced audio coding) method is known as a method of encoding while maintaining the quality of a CD (compact disc). In advanced BS broadcasting from 2011, an existing method using AAC coding will be standardized in order to encode and transmit 22.2 channel sound. Furthermore, a technique for improving the AAC system and making the setting of the absolute audible threshold variable is known (see, for example, Patent Document 1).
しかし、MP3に基づく方式は、3次元音響を2チャネルにダウンミックスした時点で、音の空間印象が劣化するだけでなく、パラメトリック方式の特徴として、伝送レートは圧縮できるが音質も劣化するという問題があった。 However, the method based on MP3 not only deteriorates the spatial impression of sound when 3D sound is downmixed to two channels, but also has the problem that the transmission rate can be compressed but the sound quality also deteriorates as a feature of the parametric method. was there.
また、AAC方式に基づく方式は、従来の2次元オーディオ符号化に基づくものであるため、22.2チャネル音響のような3次元音響を符号化する場合には、高い圧縮率を実現することができないという問題があった。 In addition, since the method based on the AAC method is based on the conventional two-dimensional audio encoding, when encoding three-dimensional sound such as 22.2 channel sound, a high compression rate can be realized. There was a problem that I could not.
本発明の目的は、上記問題を解決するため、元の音質だけでなく、元の音の空間的印象も保ちながら、かつ所用ビットレートも抑制することのできる、新たな3次元音響符号化装置、3次元音響復号装置、符号化プログラム及び復号プログラムを提供することにある。 In order to solve the above problem, an object of the present invention is to provide a new three-dimensional audio encoding device capable of suppressing not only the original sound quality but also the spatial impression of the original sound and suppressing the required bit rate. The object is to provide a three-dimensional acoustic decoding device, an encoding program, and a decoding program.
上記課題を解決するため、本発明に係る3次元音響符号化装置は、多数のチャネルによって構成される3次元音響システムの各チャネル信号を、3次元音響システムのチャネル数よりも少ないチャネル数の仮想音響システムに変換して符号化する3次元音響符号化装置であって、符号化する際に、前記仮想音響システムの各チャネルに対応する該仮想音響システムのチャネル数と同数の信号を基本信号、前記基本信号から3次元音響システムの各チャネル信号への復元を補助する信号を補助信号と規定しており、前記3次元音響システムの各チャネル信号を入力する音響信号入力手段と、前記基本信号の各々を算出するための係数である基本信号変換係数を算出する基本信号変換係数算出手段と、前記仮想音響システムの各チャネルに近傍する前記3次元音響システムの各チャネルから選定された複数のチャネル信号を前記基本信号変換係数に従ってダウンミックスして、前記基本信号の各々を算出する基本信号算出手段と、前記補助信号の各々を算出するための係数である補助信号変換係数を算出する補助信号変換係数算出手段と、復号側で解くべき、前記3次元音響システムのチャネル数と同数の独立した方程式を構成するように、前記基本信号とは別に前記3次元音響システムのチャネル数と前記基本信号の数との差に相当する数の前記補助信号の各々を前記補助信号変換係数に従って算出する補助信号算出手段と、前記基本信号及び前記補助信号を符号化する符号化手段とを備え、前記補助信号は、3次元音響システムのチャネル信号と該チャネル信号の予測信号との差で表される予測残差信号であり、復号側で前記基本信号変換係数、前記基本信号、前記補助信号変換係数及び前記補助信号から前記3次元音響システムを復元できるようにしたことを特徴とする。 In order to solve the above-described problem, a three-dimensional audio encoding device according to the present invention uses each channel signal of a three-dimensional audio system composed of a large number of channels as a virtual number of channels smaller than the number of channels of the three-dimensional audio system. A three-dimensional acoustic encoding device that converts and encodes into an acoustic system, and when encoding, the same number of signals as the number of channels of the virtual acoustic system corresponding to each channel of the virtual acoustic system as basic signals, A signal for assisting restoration from the basic signal to each channel signal of the three-dimensional acoustic system is defined as an auxiliary signal, acoustic signal input means for inputting each channel signal of the three-dimensional acoustic system, Basic signal conversion coefficient calculation means for calculating a basic signal conversion coefficient, which is a coefficient for calculating each of them, and a channel close to each channel of the virtual acoustic system. A plurality of channel signals selected from each channel of the three-dimensional acoustic system are downmixed according to the basic signal conversion coefficient, and basic signal calculation means for calculating each of the basic signals and each of the auxiliary signals are calculated. An auxiliary signal conversion coefficient calculating means for calculating an auxiliary signal conversion coefficient that is a coefficient for the basic signal and the basic signal so as to constitute the same number of independent equations as the number of channels of the three-dimensional acoustic system to be solved on the decoding side. Separately, auxiliary signal calculating means for calculating each of the auxiliary signals corresponding to the difference between the number of channels of the three-dimensional acoustic system and the number of basic signals according to the auxiliary signal conversion coefficient, the basic signal and the auxiliary signal Coding means for coding a signal, and the auxiliary signal is a difference between a channel signal of the three-dimensional acoustic system and a prediction signal of the channel signal. It is the a prediction residual signal, the fundamental signal conversion coefficient on the decoding side, the basic signal, characterized in that from the auxiliary signal transform coefficients and the auxiliary signal to be able to restore the three-dimensional sound system.
また、本発明に係る3次元音響符号化装置において、前記基本信号変換係数算出手段は、前記受音点における前記3次元音響システムの音響インテンシティ及び音圧、並びに前記受音点における前記仮想システムの音響インテンシティ及び音圧が一致するように前記基本信号変換係数を決定し、前記3次元音響システムのチャネル信号の予測信号は、前記3次元音響システムの該チャネル信号以外のチャネル信号と前記補助信号変換係数との線形演算によって算出されることを特徴とする。 Further, in the three-dimensional acoustic encoding device according to the present invention, the basic signal conversion coefficient calculation means includes acoustic intensity and sound pressure of the three-dimensional acoustic system at the sound receiving point, and the virtual system at the sound receiving point. The basic signal conversion coefficient is determined so that the sound intensity and the sound pressure of the three-dimensional sound system coincide with each other, and the prediction signal of the channel signal of the three-dimensional sound system is equal to the channel signal other than the channel signal of the three-dimensional sound system It is calculated by a linear operation with a signal conversion coefficient.
また、本発明に係る3次元音響符号化装置において、前記補助信号変換係数算出手段は、前記予測残差信号のエネルギーを最小とするように前記補助信号変換係数を算出することを特徴とする。 In the three-dimensional acoustic encoding apparatus according to the present invention, the auxiliary signal transform coefficient calculating means calculates the auxiliary signal transform coefficient so as to minimize the energy of the prediction residual signal.
また、本発明に係る3次元音響符号化装置において、前記補助信号算出手段は、前記予測残差信号を前記3次元音響システムのチャネル数と同じ数だけ算出し、その中から前記予測残差信号のエネルギーが小さい順に、前記3次元音響システムのチャネル数と前記基本信号の数との差に相当する数の予測残差信号を選択し、該予測残差信号を補助信号とすることを特徴とする。 Further, in the three-dimensional acoustic encoding apparatus according to the present invention, the auxiliary signal calculating means calculates the prediction residual signal by the same number as the number of channels of the three-dimensional acoustic system, and the prediction residual signal is calculated from the calculated number. The number of prediction residual signals corresponding to the difference between the number of channels of the three-dimensional acoustic system and the number of basic signals is selected in the order of increasing energy, and the prediction residual signal is used as an auxiliary signal. To do.
また、本発明に係る3次元音響符号化装置において、前記補助信号変換係数及び前記補助信号は一定時間ごとに更新されることを特徴とする。 In the three-dimensional audio encoding device according to the present invention, the auxiliary signal transform coefficient and the auxiliary signal are updated at regular intervals.
また、本発明に係る3次元音響符号化装置において、前記符号化手段は、前記基本信号及び前記補助信号の各符号化ビット割り当てについて、前記基本信号に割り当てる割当て量を高くして符号化することを特徴とする。 Further, in the three-dimensional acoustic encoding apparatus according to the present invention, the encoding means encodes each encoded bit allocation of the basic signal and the auxiliary signal by increasing an allocation amount allocated to the basic signal. It is characterized by.
さらに、上記課題を解決するため、本発明に係る3次元音響復号装置は、多数のチャネルによって構成される3次元音響システムの各チャネル信号を復号する3次元音響復号装置であって、本発明の符号化装置によって符号化された前記基本信号及び前記補助信号を復号する復号手段と、前記復号手段によって復号した前記基本信号及び前記補助信号、並びに前記基本信号変換係数及び補助信号変換係数から前記3次元音響システムの各チャネル信号を、前記方程式を解いて復元する信号復元手段と、を備えることを特徴とする。 Furthermore, in order to solve the above problems, a three-dimensional acoustic decoding apparatus according to the present invention is a three-dimensional acoustic decoding apparatus that decodes each channel signal of a three-dimensional acoustic system composed of a large number of channels. Decoding means for decoding the basic signal and the auxiliary signal encoded by the encoding device, the basic signal and the auxiliary signal decoded by the decoding means, and the basic signal conversion coefficient and auxiliary signal conversion coefficient to the 3 Signal restoration means for restoring each channel signal of the two-dimensional acoustic system by solving the equation.
さらに、上述の課題を解決するために、本発明は本発明の3次元音響符号化装置として構成するコンピュータに、(a)前記基本信号の各々を算出するための係数である基本信号変換係数を算出するステップと、(b)前記3次元音響システムの各チャネル信号を入力するステップと、(c)前記仮想音響システムの各チャネルに近傍する前記3次元音響システムの各チャネルから選定された複数のチャネル信号を前記基本信号変換係数に従ってダウンミックスして、前記基本信号の各々を算出するステップと、(d)前記補助信号の各々を算出するための係数である補助信号変換係数を算出するステップと、(e)復号側で解くべき、前記3次元音響システムのチャネル数と同数の独立した方程式を構成するように、前記基本信号とは別に前記3次元音響システムのチャネル数と前記基本信号の数との差に相当する数の前記補助信号を前記補助信号変換係数に従って算出するステップと、(f)前記基本信号及び前記補助信号を符号化するステップと、を実行させるためのプログラムであって、前記補助信号は、3次元音響システムのチャネル信号と該チャネル信号の予測信号との差で表される予測残差信号である、プログラムとしても特徴付けられる。 Furthermore, in order to solve the above-described problems, the present invention provides a computer configured as the three-dimensional acoustic encoding device of the present invention with (a) a basic signal conversion coefficient that is a coefficient for calculating each of the basic signals. Calculating, (b) inputting each channel signal of the three-dimensional acoustic system, and (c) a plurality of channels selected from each channel of the three-dimensional acoustic system adjacent to each channel of the virtual acoustic system. Downmixing a channel signal in accordance with the basic signal conversion coefficient to calculate each of the basic signals; and (d) calculating an auxiliary signal conversion coefficient that is a coefficient for calculating each of the auxiliary signals; (E) separate from the basic signal so as to form an independent equation equal to the number of channels of the three-dimensional acoustic system to be solved on the decoding side. Calculating the number of auxiliary signals corresponding to the difference between the number of channels of the three-dimensional sound system and the number of basic signals according to the auxiliary signal conversion coefficient; and (f) encoding the basic signals and the auxiliary signals. The auxiliary signal is a prediction residual signal represented by a difference between the channel signal of the three-dimensional acoustic system and the prediction signal of the channel signal. Characterized.
さらに、上述の課題を解決するために、本発明は、本発明の3次元音響復号装置として構成するコンピュータに、(a)請求項1に記載された符号化装置によって符号化された前記基本信号及び前記補助信号を復号するステップと、(b)前記復号手段によって復号した前記基本信号及び前記補助信号、並びに前記基本信号変換係数及び補助信号変換係数から前記3次元音響システムの各チャネル信号を、前記方程式を解いて復元するステップと、を実行させるためのプログラムとしても特徴付けられる。
Furthermore, in order to solve the above-described problem, the present invention provides (a) the basic signal encoded by the encoding device according to
本発明によれば、3次元音響システムの音響信号を、基本信号と補助信号とに分離し、基本信号のみでも受音点での音響物理量を再現できるため、補助信号に対するビットレートを削減することにより、元の音質だけでなく、元の音の空間的印象も保ちながら、かつ所用ビットレートも抑制して伝送することができるようになる。 According to the present invention, since the acoustic signal of the three-dimensional acoustic system is separated into the basic signal and the auxiliary signal, and the acoustic physical quantity at the sound receiving point can be reproduced only with the basic signal, the bit rate for the auxiliary signal is reduced. As a result, not only the original sound quality but also the spatial impression of the original sound can be maintained, and the required bit rate can be suppressed for transmission.
ある方向から到来する音は、音圧や粒子速度などの音響物理量で表される。これらの物理量のうち、音響インテンシティは、単位面積を通過する音響エネルギーと、その方向性を表すベクトル量として知られており、音源方向の推定などの分野で、その有効性が示されている。 Sound coming from a certain direction is represented by acoustic physical quantities such as sound pressure and particle velocity. Among these physical quantities, acoustic intensity is known as acoustic energy passing through a unit area and a vector quantity representing its directionality, and its effectiveness has been shown in fields such as sound source direction estimation. .
3次元音響システムで音を再生した場合に対して、受聴点(受音点)で観測した音響インテンシティや音圧を等しく保ちつつ、チャネル数を減らすことができれば、チャネル数を減らしたことによる音の空間的印象の劣化を抑えることができる。しかし、このようにしてチャネル数を減らしても、チャネル数を減らす段階で設定した受聴点と外れた位置で、再生音を聴いた場合には、その音の空間的な印象が劣化してしまう。そこで、3次元音響システムの音響信号を高品質に伝送する場合には、特定の受聴点で音響インテンシティなどの音響物理量を一定に保ちながら少ないチャネル数に変換した信号(以下、「基本信号」という)の他に、再生時に空間的印象を再現するための信号(以下、「補助信号」という)が必要となる。 If the number of channels can be reduced while maintaining the same sound intensity and sound pressure at the listening point (sound receiving point) compared to the case where sound is reproduced with a three-dimensional sound system, the number of channels is reduced. Deterioration of spatial impression of sound can be suppressed. However, even if the number of channels is reduced in this way, the spatial impression of the sound will be degraded if the playback sound is heard at a position that is different from the listening point set at the stage of reducing the number of channels. . Therefore, when transmitting sound signals of a three-dimensional sound system with high quality, a signal (hereinafter referred to as “basic signal”) converted to a small number of channels while keeping the sound physical quantity such as sound intensity constant at a specific listening point. In addition, a signal for reproducing a spatial impression during reproduction (hereinafter referred to as “auxiliary signal”) is required.
本発明は、このように、3次元音響システムの音響信号を、基本信号と補助信号とに分けて伝送することを特徴とする方式である。また、3次元音響システムの音響信号を上記のような基本信号と補助信号とに分けることができれば、符号化(量子化)する際に、基本信号に重点的にビットを割り当て、補助信号への割り当てを少なくすることにより、元の音の空間的印象を保ったままビットレートを圧縮することが可能となる。 As described above, the present invention is a system characterized in that the sound signal of the three-dimensional sound system is transmitted by being divided into a basic signal and an auxiliary signal. Also, if the sound signal of the three-dimensional sound system can be divided into the basic signal and the auxiliary signal as described above, when encoding (quantization), bits are assigned to the basic signal with emphasis, and By reducing the allocation, it is possible to compress the bit rate while maintaining the spatial impression of the original sound.
以下、本発明について、図面を参照して詳細に説明する。まず、本実施例の3次元音響符号化装置及び3次元音響復号装置について説明する。 Hereinafter, the present invention will be described in detail with reference to the drawings. First, the three-dimensional acoustic encoding device and the three-dimensional acoustic decoding device of the present embodiment will be described.
[3次元音響符号化装置及び3次元音響復号装置の構成]
図7は、本実施例の3次元音響符号化装置及び3次元音響復号装置を用いたシステムの概略図である。本システムは3次元音響符号化装置10と、送信装置11と、受信装置12と、3次元音響復号装置13とを備える。3次元音響符号化装置10は、3次元音響システムの音響信号の符号化処理を行い、送信装置11に出力する。送信装置11は、3次元音響符号化装置10から入力される信号を変調し、受信装置12に送信する。受信装置12は、送信装置11から送信される信号を受信して復調し、3次元音響復号装置13に出力する。3次元音響復号装置13は、受信装置12から入力される信号の復号処理を行う。
[Configuration of 3D Acoustic Encoding Device and 3D Acoustic Decoding Device]
FIG. 7 is a schematic diagram of a system using the three-dimensional acoustic encoding device and the three-dimensional acoustic decoding device of the present embodiment. This system includes a three-dimensional
図1は、本発明の3次元音響符号化装置10の構成図である。3次元音響符号化装置10は、音響信号入力部101と、スピーカ位置情報記憶部102と、基本信号変換係数算出部103と、基本信号算出部104と、補助信号変換係数算出部105と、補助信号算出部106と、符号化部107と、多重化部108とを備える。
FIG. 1 is a configuration diagram of a three-dimensional
音響信号入力部101は、入力される元の3次元音響システムの各スピーカからの音響信号をA/D変換し、デジタル形式の音響信号を、基本信号算出部104、補助信号変換係数算出部105及び補助信号算出部106に出力する。
The acoustic
スピーカ位置情報記憶部102は、3次元音響システムの各スピーカの極座標における位置情報ξ=(σ,θ,φ)が予め記憶される。また、3次元音響システムのチャネル数をより少ないチャネル数にダウンミックスした時の3次元音響システム(以下、「仮想音響システム」という)の各スピーカの極座標における位置情報
も予め記憶される。
The speaker position
Are also stored in advance.
基本信号変換係数算出部103は、スピーカ位置情報記憶部102に記憶されたスピーカ位置情報に基づいて、基本信号に用いられる基本信号変換係数を算出し、基本信号算出部104及び符号化部107に出力する。基本信号変換係数は、後述するように、3次元音響システムと仮想音響システムの音響インテンシティ及び音圧が等しくなるように定められる。基本信号変換係数は、基本信号の伝送前に算出される定数である。
The basic signal conversion coefficient calculation unit 103 calculates a basic signal conversion coefficient used for the basic signal based on the speaker position information stored in the speaker position
基本信号算出部104は、音響信号入力部101から入力される音響信号、及び基本信号変換係数算出部103から入力される基本信号変換係数から、基本信号の演算式に基づいて基本信号を算出し、符号化部107に出力する。基本信号の演算式については後述する。
The basic
補助信号変換係数算出部105は、補助信号に用いられる補助信号変換係数を算出し、補助信号算出部106及び符号化部107に出力する。補助信号変換係数は、後述するように、予測残差を最小にするように定められる。予測残差は信号の変化に応じて変化するため、補助信号変換係数は、一定時間間隔で更新される変数である。
The auxiliary signal conversion
補助信号算出部106は、音響信号入力部101から入力される音響信号、及び補助信号変換係数算出部105から入力される補助信号変換係数から、補助信号の演算式に基づいて補助信号を算出し、符号化部107に出力する。補助信号の演算式については後述する。
The auxiliary
符号化部107は、基本信号変換係数算出部103で算出した基本信号変換係数、基本信号算出部104で算出した基本信号、補助信号変換係数算出部105で算出した補助信号変換係数、及び補助信号算出部106で算出した補助信号を量子化し、符号化する。符号化(量子化)する際には、基本信号にはビット数を多く、補助信号にはビット数を少なく割り当てる。なお、基本信号変換係数は、補助信号変換係数とは異なり、最初に決定すると更新されないものであり、情報量は多くないので、量子化しなくてもよい。
The
多重化部108は、符号化部107で符号化した基本信号変換係数、基本信号、補助信号変換係数、及び補助信号を多重化し、送信装置11に出力する。なお、基本信号変換係数を多重化せずに予め伝送することや、基本信号変換係数、基本信号、補助信号変換係数、及び補助信号の多重化処理を行わずに伝送できること勿論である。
The
図2は、本発明の3次元音響復号装置13の構成図である。3次元音響復号装置13は、逆多重化部131と復号部132と信号復元部133とを備える。
FIG. 2 is a configuration diagram of the three-dimensional
逆多重化部131は、受信装置12から入力される多重化信号を逆多重化し、基本信号変換係数、基本信号、補助信号変換係数、及び補助信号を復号部132に出力する。なお、受信装置12から入力される信号が多重化されていない場合には、逆多重化処理は不要であること勿論である。
The
復号部132は、逆多重化部131から入力される基本信号変換係数、基本信号、補助信号変換係数及び補助信号についてそれぞれ復号処理をし、信号復元部133に出力する。
The decoding unit 132 performs decoding processing on the basic signal transform coefficient, the basic signal, the auxiliary signal transform coefficient, and the auxiliary signal input from the
信号復元部133は、復号部132から入力される基本信号変換係数、基本信号、補助信号変換係数、及び補助信号を用いて連立方程式を解くことにより、3次元音響システムの音響信号s(t)を復元する。
The
[基本信号変換係数及び基本信号の算出]
次に、基本信号変換係数算出部103による基本信号変換係数の算出、及び基本信号算出部104による基本信号の算出について説明する。響きを無視できる空間では、位置ξ=(ξx ξy ξz)T上にある音源による、受音点r=(xyz)T上の音圧のフーリエ変換p(r,ω)は、音源信号(音響信号)をs(t)とすると、式(1)で与えられる。ここに、Tはベクトル又は行列の転置を表す。
[Calculation of basic signal conversion coefficient and basic signal]
Next, calculation of the basic signal conversion coefficient by the basic signal conversion coefficient calculation unit 103 and calculation of the basic signal by the basic
今、受音点rを原点とする極座標を利用し、音源位置ξの座標を(σ,θ,φ)とする。但し、σは原点からの距離、θは方位角、φは仰角である。このとき、式(3)は、式(4)表される。 Now, polar coordinates with the sound receiving point r as the origin are used, and the coordinates of the sound source position ξ are (σ, θ, φ). Where σ is the distance from the origin, θ is the azimuth angle, and φ is the elevation angle. At this time, Expression (3) is expressed by Expression (4).
次に、3次元音響システムの信号を、受音点での音響インテンシティを保ちながら、より少ないチャネル数の仮想音響システムに変換する方法について述べる。仮想音響システムのスピーカの数をm個、スピーカの設置位置の極座標を
スピーカの入力信号をqj(t)、j=1,…,mとする。このとき、仮想音響システムのスピーカから3個のスピーカを選び、これらのスピーカの再生音によって、3次元音響システムのあるチャネルの音を再現する場合を考える。この場合の受音点における音響インテンシティは、式(5)で表される。
Next, a method for converting a signal of a three-dimensional sound system into a virtual sound system having a smaller number of channels while maintaining sound intensity at a sound receiving point will be described. The number of speakers of the virtual acoustic system is m, and the polar coordinates of the speaker installation positions are
Assume that the speaker input signal is q j (t), j = 1,. At this time, a case is considered in which three speakers are selected from the speakers of the virtual acoustic system, and the sound of a certain channel of the three-dimensional acoustic system is reproduced by the reproduced sound of these speakers. The sound intensity at the sound receiving point in this case is expressed by Expression (5).
ここで、仮想音響システムのスピーカ入力信号q(t)が、3次元音響システムのあるチャネルの音源信号(音響信号)s(t)と基本信号変換係数wとによって、式(6)で表されるとする。 Here, the speaker input signal q (t) of the virtual acoustic system is expressed by Expression (6) by the sound source signal (acoustic signal) s (t) and the basic signal conversion coefficient w of a channel of the three-dimensional acoustic system. Let's say.
従って、もし、式(4)と式(7)の音響インテンシティが等しい場合には、3個のスピーカによって、3次元音響システムのスピーカ位置ξに、そのスピーカに対応するチャネル信号s(t)の音像を定位させることが可能となる。このような原理に基づいて、基本信号変換係数wを求めることにより、少ないチャネル数への変換を行うことができる。今、式(4)と式(7)の右辺を等しいとおくと、式(8)を得る。 Therefore, if the sound intensity of the equations (4) and (7) is equal, the channel signal s (t) corresponding to the speaker is placed at the speaker position ξ of the three-dimensional sound system by three speakers. It is possible to localize the sound image. Conversion to a small number of channels can be performed by obtaining the basic signal conversion coefficient w based on such a principle. Now, assuming that the right sides of Equation (4) and Equation (7) are equal, Equation (8) is obtained.
次に、3次元音響システムの1つのチャネル信号を、仮想音響システムの4個のスピーカによって形成する方法について説明する。4個のスピーカを用いる場合、受音点における音響インテンシティは、式(7)と同様に、式(14)で与えられる。 Next, a method for forming one channel signal of the three-dimensional sound system by four speakers of the virtual sound system will be described. When four speakers are used, the sound intensity at the sound receiving point is given by Expression (14) as in Expression (7).
そこで、4番目のスピーカの利得を調整するための制御パラメータ(パンニング重み)gを導入する。この結果、次の連立方程式(17)を得る。 Therefore, a control parameter (panning weight) g for adjusting the gain of the fourth speaker is introduced. As a result, the following simultaneous equations (17) are obtained.
このようにして、元の3次元音響システムのチャネル信号を、変換後の仮想音響システム信号に割り当てることができる。3次元音響システムのチャネル数をN、3次元音響システムの信号をs1(t)〜sN(t)、仮想音響システムのチャネル数、すなわち基本信号のチャネル数をMとし、3次元音響システムのi番目のチャネルを仮想音響システムのj番目のチャネルに割り当てる際の基本信号変換係数をwj,i、j=1,・・・,M、i=1,・・・,Nとすると、基本信号b1(t)〜bM(t)は、式(19)として表すことができる。 In this way, the channel signal of the original three-dimensional sound system can be assigned to the converted virtual sound system signal. The number of channels of the three-dimensional sound system is N, the signal of the three-dimensional sound system is s 1 (t) to s N (t), the number of channels of the virtual sound system, that is, the number of basic signal channels is M, and the three-dimensional sound system If the basic signal conversion coefficients when assigning the i-th channel to the j-th channel of the virtual acoustic system are w j, i , j = 1,..., M, i = 1,. The basic signals b 1 (t) to b M (t) can be expressed as Expression (19).
[補助信号変換係数及び補助信号の算出]
次に、補助信号変換係数算出部105による補助信号変換係数の算出、及び補助信号算出部106による補助信号の算出について説明する。基本信号と補助信号とから元の信号を復元するためには、補助信号も元の信号の重み付け和で表される必要がある。また、補助信号は、少ないビットレートが割り当てられても、音質に影響しないという性質を持つことが望まれる。そこで、本発明では、これらの条件を満たすために、補助信号として予測残差信号を用いることとする。
[Calculation of auxiliary signal conversion coefficient and auxiliary signal]
Next, calculation of the auxiliary signal conversion coefficient by the auxiliary signal conversion
補助信号e(n)の時刻t1から時刻t2における二乗誤差和Jを式(22)で定義したとき、この二乗誤差和Jを最小化するように式(21)の補助信号変換係数ak,k=1,・・・,N−1を決めれば、少ないビットレートが割り当てられても、音質への影響は少なくなる。 When the square error sum J of the auxiliary signal e (n) from the time t 1 to the time t 2 is defined by the equation (22), the auxiliary signal conversion coefficient a of the equation (21) is minimized so as to minimize the square error sum J. If k 1, k = 1,..., N−1 are determined, the influence on the sound quality is reduced even if a small bit rate is assigned.
式(22)は、補助信号変換係数に関する2次の関数になっているため、式(22)を各変換係数で偏微分して0とおいた式(23)により、式(22)を最小化する係数を求めることができる。 Since Equation (22) is a quadratic function related to the auxiliary signal conversion coefficient, Equation (22) is minimized by Equation (23) in which Equation (22) is partially differentiated with respect to each conversion coefficient and set to 0. The coefficient to be obtained can be obtained.
一方、二乗誤差和Jに関する式(22)を変形すると、式(27)が得られる。 On the other hand, when Expression (22) regarding the square error sum J is modified, Expression (27) is obtained.
元の3次元音響システムのチャネル数をN、基本信号のチャネル数をMとすると、3次元音響システムの音響信号を復元するためには、補助信号のチャネル数は(N−M)必要となる。一方、式(21)で表される予測残差信号e(n)は、3次元音響システムのチャネル数Nと同じ数だけ算出することができる。いま、元の信号のiチャネルの信号に対する予測残差信号をei(n),i=1,・・・,N、それに対応する二乗誤差和の最小値をJmin (i),i=1,・・・,Nとする。このとき、Jmin (i)の中から小さい順に(N−M)チャネル分を選択し、この選択した信号を補助信号とする。ただし、Jmin (i)の値が極めて小さな値であると復号時の精度に影響する場合には、そのような予測残差信号ei(n)を補助信号として選択せず、復号に適した範囲内で補助信号を選択することもできる。補助信号のチャネル番号を、k1,・・・,kN-Mとすると、補助信号は、
で与えられる。
If the number of channels of the original three-dimensional sound system is N and the number of channels of the basic signal is M, the number of channels of the auxiliary signal is (N−M) in order to restore the sound signal of the three-dimensional sound system. . On the other hand, the prediction residual signal e (n) represented by the equation (21) can be calculated as many as the number N of channels of the three-dimensional acoustic system. Now, e i (n), i = 1,..., N are prediction residual signals for the i-channel signal of the original signal, and J min (i) , i = 1, ..., N. At this time, (N−M) channels are selected from J min (i) in ascending order, and the selected signal is used as an auxiliary signal. However, if the value of J min (i) is extremely small and affects the accuracy at the time of decoding, such a prediction residual signal e i (n) is not selected as an auxiliary signal and is suitable for decoding. The auxiliary signal can be selected within the specified range. If the channel number of the auxiliary signal is k 1 ,..., K NM , the auxiliary signal is
Given in.
補助信号eki(n)を算出するに際し、式(22)の時刻t1から時刻t2の範囲をどの程度に設定するかは、次の点を考慮して決定される。この範囲を広くすると、リアルタイム性が損なわれるとともに、二乗誤差和Jが一般に増大する。そのため、この範囲を狭くすることで音質を向上させることが可能となるが、補助信号変換係数を頻繁に伝送する必要が生じる。 In calculating the auxiliary signal e ki (n), the extent to which the range from the time t 1 to the time t 2 in the equation (22) is set is determined in consideration of the following points. If this range is widened, the real-time property is impaired, and the square error sum J generally increases. Therefore, it is possible to improve sound quality by narrowing this range, but it is necessary to frequently transmit auxiliary signal conversion coefficients.
補助信号及び補助信号変換係数は一定時間p秒(例えば0.5秒)ごとに更新され、q番目の補助信号(すなわち、(q−1)×p秒からq×p秒における補助信号)をej (q)(t)、j=1,・・・,N−Mとし、ej (i)(t)を算出した際の補助信号変換係数をaj,i (q)、j=1,・・・,N−M、i=1,・・・,N−1とする。このとき、補助信号変換係数は、(q−1)×p秒からq×p秒における元の3次元音響システムの信号から、式(26)を解くことによって算出される。補助信号は、式(21)によって算出され、式(29)として表すことができる。 The auxiliary signal and the auxiliary signal conversion coefficient are updated every fixed time p seconds (for example, 0.5 seconds), and the q-th auxiliary signal (that is, the auxiliary signal from (q-1) × p seconds to q × p seconds) is changed. e j (q) (t), j = 1,..., N−M, and the auxiliary signal conversion coefficients when e j (i) (t) are calculated are a j, i (q) , j = 1,..., NM, i = 1,. At this time, the auxiliary signal conversion coefficient is calculated by solving Expression (26) from the signal of the original three-dimensional sound system from (q−1) × p seconds to q × p seconds. The auxiliary signal is calculated by Expression (21) and can be expressed as Expression (29).
[音響信号の復元]
次に、信号復元部133による音響信号の復元について説明する。3次元音響システムの音響信号は、基本信号変換係数、基本信号、補助信号変換係数、及び補助信号から復元できる。式(19)で表される基本信号は式(30)と表すことができ、式(29)で表される基本信号は式(31)と表すことができる。
[Reconstruction of acoustic signal]
Next, restoration of acoustic signals by the
複合行列W(q)を式(32)で定義すると、3次元音響システムの音響信号s(t)は、p秒ごとに、式(33)に基づいて復元することができる。 When the composite matrix W (q) is defined by Equation (32), the acoustic signal s (t) of the three-dimensional acoustic system can be restored based on Equation (33) every p seconds.
[22チャネル信号を伝送する場合の実施例]
以下、3次元音響信号であるスーパーハイビジョン用22.2チャネル音響信号のLFEチャネルを除く22チャネルの信号を、基本信号と補助信号に分けて伝送する場合についての実施例を示す。図3は、22チャネルのスピーカ配置例を示す図である。図中の22個の白丸は22チャネルのスピーカ位置を示し、中央の網掛けされた丸は受音点を示す。
[Example when transmitting 22-channel signal]
Hereinafter, an embodiment will be described in which a 22-channel signal excluding the LFE channel of the 22.2 channel audio signal for Super Hi-Vision, which is a three-dimensional audio signal, is divided into a basic signal and an auxiliary signal. FIG. 3 is a diagram illustrating an example of arrangement of 22-channel speakers. Twenty-two white circles in the figure indicate 22 channel speaker positions, and the shaded circle in the center indicates a sound receiving point.
図4は、22チャネル音響信号のスピーカ位置と、これを8つのスピーカで再現する場合のスピーカ位置を示す図である。横軸は水平角、縦軸は仰角である。水平角は、受音位置から見て右側を原点とし、反時計方向に角度を示している。図中の白丸は元の3次元音響システムの22チャネルのスピーカ位置、黒丸は変換後の仮想音響システムの8チャネルのスピーカ位置、二重丸は変換前後のスピーカ位置が重なっている位置を示す。上述した基本信号変換係数を用いて、3次元音響システムの22チャネル(ch1〜ch22)の各信号を、仮想音響システムの8チャネル(nch1〜nch8)の複数の信号に近似的に割り当てることができる。 FIG. 4 is a diagram showing the speaker position of the 22-channel acoustic signal and the speaker position when this is reproduced by eight speakers. The horizontal axis is the horizontal angle, and the vertical axis is the elevation angle. The horizontal angle indicates the angle in the counterclockwise direction with the right side as viewed from the sound receiving position as the origin. The white circles in the figure indicate the 22-channel speaker positions of the original three-dimensional sound system, the black circles indicate the 8-channel speaker positions of the virtual sound system after conversion, and the double circles indicate the positions where the speaker positions before and after conversion overlap. Using the basic signal conversion coefficient described above, each signal of 22 channels (ch1 to ch22) of the three-dimensional sound system can be approximately assigned to a plurality of signals of 8 channels (nch1 to nch8) of the virtual sound system. .
図5は、3次元音響符号化装置10の動作を示すフローチャートである。ステップS501にて、スピーカ位置情報記憶部102は、3次元音響システムの各スピーカの極座標における位置情報と、仮想音響システムの各スピーカの極座標における位置情報とが予め記憶される。
FIG. 5 is a flowchart showing the operation of the three-dimensional
ステップS502にて、基本信号変換係数算出部103は、スピーカ位置情報記憶部102に記憶されたスピーカ位置情報に基づいて、基本信号変換係数を算出する。基本信号変換係数は音響信号の入力前に決定される。また、基本信号を算出するための演算式も、音響信号の入力前に決定される。
In step S <b> 502, basic signal conversion coefficient calculation section 103 calculates basic signal conversion coefficients based on the speaker position information stored in speaker position
3次元音響システムのch_i(i=1,・・・,22)の信号を仮想音響システムのch_j(j=1,・・・,8)の信号に割り当てるときの例を、表1に示す。表1の左の列に、3次元音響システムの各チャネルを示す。表1の中央の列は、左の列に示された3次元音響システムのチャネルに近傍する仮想音響システムのチャネルであり、3次元音響システムのチャネル信号が基本信号変換係数に従って割り当てられる。表1の右の列は、3次元音響システムの各チャネルを仮想音響システムの各チャネルに割り当てる際に用いられる基本信号変換係数の値である。wj,iはch_iをch_jに割り当てる際の基本信号変換係数を表す。 Table 1 shows an example of assigning the ch_i (i = 1,..., 22) signal of the three-dimensional acoustic system to the ch_j (j = 1,..., 8) signal of the virtual acoustic system. The left column of Table 1 shows each channel of the three-dimensional sound system. The center column of Table 1 is a channel of the virtual acoustic system adjacent to the channel of the three-dimensional acoustic system shown in the left column, and the channel signal of the three-dimensional acoustic system is assigned according to the basic signal conversion coefficient. The right column of Table 1 is a value of a basic signal conversion coefficient used when assigning each channel of the three-dimensional sound system to each channel of the virtual sound system. w j, i represents a basic signal conversion coefficient when assigning ch_i to ch_j.
ステップS503にて、音響信号入力部101は、入力される3次元音響システムの各スピーカからの音響信号をA/D変換し、デジタル形式の音響信号を、基本信号算出部104、補助信号変換係数算出部105及び補助信号算出部106に出力する。
In step S503, the acoustic
ステップS504にて、基本信号算出部104は、ステップS503で得たデジタル形式の音響信号、及びステップS501で算出される基本信号変換係数wj,iから、基本信号の演算式に基づいて基本信号を算出する。元の3次元音響システムの22チャネル信号をs1(t)〜s22(t)、基本信号をb1(t)〜b8(t)とおくと、式(34)が成り立つ。
In step S504, the basic
ステップS505にて、補助信号変換係数算出部105は、式(26)に基づいて補助信号変換係数aj,i (q)、j=1,・・・,14、i=1,・・・,21を算出する。
In step S505, the auxiliary signal conversion
ステップS506にて、補助信号算出部106は、式(29)に基づいて補助信号ej (q)(t)、j=1,・・・,14を算出する。このとき、補助信号は、式(31)の形式で表すことができる。ここに、
である。
In step S506, the auxiliary
It is.
ステップS507にて、符号化部107は、ステップS502で算出した基本信号変換係数wj,i、ステップS504で算出した基本信号b(t)、ステップS505で算出した補助信号変換係数aj,i (q)、ステップS506で算出した補助信号e(q)(t)を符号化する。符号化する際には、8チャネルの基本信号b(t)には多くのビットを割当て、14チャネルの補助信号e(q)(t)には少ないビットを割当てて圧縮率を高くする。
In step S507, the
ステップS508にて、多重化部108は、ステップS507で符号化した基本信号変換係数wj,i、基本信号b(t)、補助信号変換係数aj,i (q)、及び補助信号e(q)(t)を多重化し、送信装置11に出力する。
In step S508, the
図6は、3次元音響復号装置13の動作を示すフローチャートである。ステップS501にて、逆多重化部131は、受信装置12から入力される多重化信号を逆多重化し、基本信号b(t)及び補助信号e(q)(t)を抽出する。
FIG. 6 is a flowchart showing the operation of the three-dimensional
ステップS602にて、復号部132は、ステップS601で逆多重化した基本信号b(t)及び補助信号e(q)(t)について復号処理をする。 In step S602, the decoding unit 132 performs a decoding process on the basic signal b (t) and the auxiliary signal e (q) (t) demultiplexed in step S601.
ステップS603にて、信号復元部133は、ステップS602で復号処理した基本信号変換係数wj,i、基本信号b(t)、補助信号変換係数をaj,i (q)、補助信号e(q)(t)から3次元音響システムの音響信号s(t)を算出して復元する。ここで、複合行列W(i)を式(32)で定義すると、3次元音響システムの音響信号s(t)を、一定時間p秒(例えば0.5秒)ごとに、式(33)に基づいて復元する。
In step S603, the
ここで、3次元音響符号化装置10として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、音響信号入力部101と、スピーカ位置情報記憶部102と、基本信号変換係数算出部103と、基本信号算出部104と、補助信号変換係数算出部105と、補助信号算出部106と、符号化部107と、多重化部108とを機能させるための制御部を中央演算処理装置(CPU)と、少なくとも1つのメモリで構成される記憶部で実現できる。
Here, in order to function as the three-dimensional
また、そのようなコンピュータに、CPUによって所定のプログラムを実行させることにより、音響信号入力部101と、スピーカ位置情報記憶部102と、基本信号変換係数算出部103と、基本信号算出部104と、補助信号変換係数算出部105と、補助信号算出部106と、符号化部107と、多重化部108の有する機能を実現させることができる。更に、音響信号入力部101と、スピーカ位置情報記憶部102と、基本信号変換係数算出部103と、基本信号算出部104と、補助信号変換係数算出部105と、補助信号算出部106と、符号化部107と、多重化部108の有する機能を実現させるためのプログラムを、前述の記憶部(メモリ)の所定の領域に格納することができる。そのような記憶部は、コンピュータ内部のRAMなどで構成させることができ、或いは又、外部記憶装置(例えば、ハードディスク)で構成させることもできる。また、そのようなプログラムは、3次元音響符号化装置10としてのコンピュータで利用されるOS上のソフトウェア(ROM又は外部記憶装置に格納される)の一部で構成させることができる。
Further, by causing such a computer to execute a predetermined program by the CPU, an acoustic
さらに、3次元音響符号化装置10として機能させるコンピュータを、本発明の各構成要素としての手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。
Furthermore, a program for causing a computer that functions as the three-dimensional
同様に、3次元音響復号装置13として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、逆多重化部131と復号部132と信号復元部133とを機能させるための制御部を中央演算処理装置(CPU)と、少なくとも1つのメモリで構成される記憶部で実現できる。
Similarly, in order to function as the three-dimensional
また、そのようなコンピュータに、CPUによって所定のプログラムを実行させることにより、逆多重化部131と復号部132と信号復元部133の有する機能を実現させるためのプログラムを、前述の記憶部(メモリ)の所定の領域に格納することができる。そのような記憶部は、コンピュータ内部のRAMなどで構成させることができ、或いは又、外部記憶装置(例えば、ハードディスク)で構成させることもできる。また、そのようなプログラムは、3次元音響復号装置13としてのコンピュータで利用されるOS上のソフトウェア(ROM又は外部記憶装置に格納される)の一部で構成させることができる。
In addition, by causing such a computer to execute a predetermined program by the CPU, a program for realizing the functions of the
さらに、3次元音響復号装置13として機能させるコンピュータを、本発明の各構成要素としての手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。
Furthermore, a program for causing a computer that functions as the three-dimensional
上述の実施例は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、図3に示すダウンミックスを行って基本信号を算出する例を示したが、本発明において、ダウンミックス時のチャネル数、チャネル位置(スピーカ位置)を任意に設定することができる。また、本実施例では予測残差信号を算出する際にすべてのチャネル信号を用いているが、対象チャネル及び対象チャネルの近傍のチャネルの信号のみを用いて算出することもできる。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Accordingly, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, although the example in which the basic signal is calculated by performing the downmix shown in FIG. 3 has been shown, in the present invention, the number of channels and the channel position (speaker position) at the time of the downmix can be arbitrarily set. Further, in this embodiment, all channel signals are used when calculating the prediction residual signal, but it is also possible to calculate using only the signals of the target channel and the channels near the target channel.
このように、本発明によれば、多数のチャネルによって構成される3次元音響システムの信号をより少ない信号にダウンミックスすることができるので、音響信号を符号化及び復号する任意の用途に有用である。 Thus, according to the present invention, the signal of the three-dimensional acoustic system constituted by a large number of channels can be downmixed to a smaller number of signals, which is useful for any application for encoding and decoding an acoustic signal. is there.
101 音響信号入力部
102 スピーカ位置情報記憶部
103 基本信号変換係数算出部
104 基本信号算出部
105 補助信号変換係数算出部
106 補助信号算出部
107 符号化部
108 多重化部
131 逆多重化部
132 復号部
133 信号復元部
DESCRIPTION OF
Claims (9)
符号化する際に、前記仮想音響システムの各チャネルに対応する該仮想音響システムのチャネル数と同数の信号を基本信号、前記基本信号から3次元音響システムの各チャネル信号への復元を補助する信号を補助信号と規定しており、
前記3次元音響システムの各チャネル信号を入力する音響信号入力手段と、
前記基本信号の各々を算出するための係数である基本信号変換係数を算出する基本信号変換係数算出手段と、
前記仮想音響システムの各チャネルに近傍する前記3次元音響システムの各チャネルから選定された複数のチャネル信号を前記基本信号変換係数に従ってダウンミックスして、前記基本信号の各々を算出する基本信号算出手段と、
前記補助信号の各々を算出するための係数である補助信号変換係数を算出する補助信号変換係数算出手段と、
復号側で解くべき、前記3次元音響システムのチャネル数と同数の独立した方程式を構成するように、前記基本信号とは別に前記3次元音響システムのチャネル数と前記基本信号の数との差に相当する数の前記補助信号の各々を前記補助信号変換係数に従って算出する補助信号算出手段と、
前記基本信号及び前記補助信号を符号化する符号化手段とを備え、
前記補助信号は、3次元音響システムのチャネル信号と該チャネル信号の予測信号との差で表される予測残差信号であり、
復号側で前記基本信号変換係数、前記基本信号、前記補助信号変換係数及び前記補助信号から前記3次元音響システムを復元できるようにしたことを特徴とする3次元音響符号化装置。 A three-dimensional acoustic encoding device that converts and encodes each channel signal of a three-dimensional acoustic system constituted by a large number of channels into a virtual acoustic system having a smaller number of channels than the number of channels of the three-dimensional acoustic system,
When encoding, a signal having the same number as the number of channels of the virtual acoustic system corresponding to each channel of the virtual acoustic system is a basic signal, and a signal for assisting restoration from the basic signal to each channel signal of the three-dimensional acoustic system Is defined as an auxiliary signal,
Acoustic signal input means for inputting each channel signal of the three-dimensional acoustic system;
Basic signal conversion coefficient calculating means for calculating a basic signal conversion coefficient that is a coefficient for calculating each of the basic signals;
Basic signal calculation means for down-mixing a plurality of channel signals selected from each channel of the three-dimensional acoustic system adjacent to each channel of the virtual acoustic system according to the basic signal conversion coefficient and calculating each of the basic signals When,
Auxiliary signal conversion coefficient calculating means for calculating an auxiliary signal conversion coefficient that is a coefficient for calculating each of the auxiliary signals;
Separately from the basic signal, the difference between the number of channels of the three-dimensional acoustic system and the number of basic signals is formed so as to constitute the same number of independent equations as the number of channels of the three-dimensional acoustic system to be solved on the decoding side. Auxiliary signal calculating means for calculating each of a corresponding number of auxiliary signals according to the auxiliary signal conversion coefficient;
Encoding means for encoding the basic signal and the auxiliary signal;
The auxiliary signal is a prediction residual signal represented by a difference between a channel signal of the three-dimensional acoustic system and a prediction signal of the channel signal;
3. A three-dimensional acoustic encoding apparatus, wherein the three-dimensional acoustic system can be restored from the basic signal conversion coefficient, the basic signal, the auxiliary signal conversion coefficient, and the auxiliary signal on a decoding side.
前記3次元音響システムのチャネル信号の予測信号は、前記3次元音響システムの該チャネル信号以外のチャネル信号と前記補助信号変換係数との線形演算によって算出されることを特徴とする、請求項1に記載の3次元音響符号化装置。 The basic signal conversion coefficient calculation means is configured to cause the sound intensity and sound pressure of the three-dimensional sound system at the sound receiving point to match the sound intensity and sound pressure of the virtual system at the sound receiving point. Determine the signal conversion factor,
The prediction signal of the channel signal of the three-dimensional acoustic system is calculated by linear calculation of a channel signal other than the channel signal of the three-dimensional acoustic system and the auxiliary signal conversion coefficient, according to claim 1. The three-dimensional acoustic encoding device described.
請求項1に記載された符号化装置によって符号化された前記基本信号及び前記補助信号を復号する復号手段と、
前記復号手段によって復号した前記基本信号及び前記補助信号、並びに前記基本信号変換係数及び補助信号変換係数から前記3次元音響システムの各チャネル信号を、前記方程式を解いて復元する信号復元手段と、
を備えることを特徴とする3次元音響復号装置。 A three-dimensional sound decoding apparatus for decoding each channel signal of a three-dimensional sound system composed of a number of channels,
Decoding means for decoding the basic signal and the auxiliary signal encoded by the encoding device according to claim 1;
Signal restoring means for restoring each channel signal of the three-dimensional acoustic system from the basic signal and the auxiliary signal decoded by the decoding means, and the basic signal conversion coefficient and the auxiliary signal conversion coefficient by solving the equation;
A three-dimensional acoustic decoding apparatus comprising:
(a)前記基本信号の各々を算出するための係数である基本信号変換係数を算出するステップと、
(b)前記3次元音響システムの各チャネル信号を入力するステップと、
(c)前記仮想音響システムの各チャネルに近傍する前記3次元音響システムの各チャネルから選定された複数のチャネル信号を前記基本信号変換係数に従ってダウンミックスして、前記基本信号の各々を算出するステップと、
(d)前記補助信号の各々を算出するための係数である補助信号変換係数を算出するステップと、
(e)復号側で解くべき、前記3次元音響システムのチャネル数と同数の独立した方程式を構成するように、前記基本信号とは別に前記3次元音響システムのチャネル数と前記基本信号の数との差に相当する数の前記補助信号を前記補助信号変換係数に従って算出するステップと、
(f)前記基本信号及び前記補助信号を符号化するステップと、
を実行させるためのプログラムであって、
前記補助信号は、3次元音響システムのチャネル信号と該チャネル信号の予測信号との差で表される予測残差信号である、プログラム。 A computer configured as the three-dimensional audio encoding device according to claim 1,
(A) calculating a basic signal conversion coefficient that is a coefficient for calculating each of the basic signals;
(B) inputting each channel signal of the three-dimensional acoustic system;
(C) calculating each of the basic signals by downmixing a plurality of channel signals selected from each channel of the three-dimensional acoustic system adjacent to each channel of the virtual acoustic system according to the basic signal conversion coefficient When,
(D) calculating an auxiliary signal conversion coefficient that is a coefficient for calculating each of the auxiliary signals;
(E) In addition to the basic signal, the number of channels of the three-dimensional acoustic system and the number of basic signals are set so as to form the same number of independent equations as the number of channels of the three-dimensional acoustic system to be solved on the decoding side. Calculating a number of the auxiliary signals corresponding to the difference between them according to the auxiliary signal conversion coefficient;
(F) encoding the basic signal and the auxiliary signal;
A program for executing
The auxiliary signal is a prediction residual signal represented by a difference between a channel signal of a three-dimensional acoustic system and a prediction signal of the channel signal.
(a)請求項1に記載された符号化装置によって符号化された前記基本信号及び前記補助信号を復号するステップと、
(b)前記復号手段によって復号した前記基本信号及び前記補助信号、並びに前記基本信号変換係数及び補助信号変換係数から前記3次元音響システムの各チャネル信号を、前記方程式を解いて復元するステップと、
を実行させるためのプログラム。 A computer configured as the three-dimensional audio decoding device according to claim 7,
(A) decoding the basic signal and the auxiliary signal encoded by the encoding device according to claim 1;
(B) restoring each channel signal of the three-dimensional acoustic system from the basic signal and the auxiliary signal decoded by the decoding means, and the basic signal conversion coefficient and the auxiliary signal conversion coefficient by solving the equation;
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009198621A JP5345024B2 (en) | 2009-08-28 | 2009-08-28 | Three-dimensional acoustic encoding device, three-dimensional acoustic decoding device, encoding program, and decoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009198621A JP5345024B2 (en) | 2009-08-28 | 2009-08-28 | Three-dimensional acoustic encoding device, three-dimensional acoustic decoding device, encoding program, and decoding program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011048279A true JP2011048279A (en) | 2011-03-10 |
JP2011048279A5 JP2011048279A5 (en) | 2012-12-13 |
JP5345024B2 JP5345024B2 (en) | 2013-11-20 |
Family
ID=43834639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009198621A Expired - Fee Related JP5345024B2 (en) | 2009-08-28 | 2009-08-28 | Three-dimensional acoustic encoding device, three-dimensional acoustic decoding device, encoding program, and decoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5345024B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015520872A (en) * | 2012-05-15 | 2015-07-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Efficient encoding and decoding of multi-channel audio signals with multiple substreams |
WO2021000724A1 (en) * | 2019-06-29 | 2021-01-07 | 华为技术有限公司 | Stereo coding method and device, and stereo decoding method and device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5680391B2 (en) * | 2010-12-07 | 2015-03-04 | 日本放送協会 | Acoustic encoding apparatus and program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005352396A (en) * | 2004-06-14 | 2005-12-22 | Matsushita Electric Ind Co Ltd | Sound signal encoding device and sound signal decoding device |
JP2007053624A (en) * | 2005-08-18 | 2007-03-01 | Nippon Hoso Kyokai <Nhk> | Down mix unit and program |
JP2007519349A (en) * | 2004-01-20 | 2007-07-12 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus and method for constructing a multi-channel output signal or apparatus and method for generating a downmix signal |
JP2008505368A (en) * | 2004-07-09 | 2008-02-21 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus and method for generating a multi-channel output signal |
WO2008046531A1 (en) * | 2006-10-16 | 2008-04-24 | Dolby Sweden Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
JP2008529056A (en) * | 2005-02-23 | 2008-07-31 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | Adaptive bit allocation in multichannel speech coding. |
JP2008530616A (en) * | 2005-02-22 | 2008-08-07 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. | Near-transparent or transparent multi-channel encoder / decoder configuration |
-
2009
- 2009-08-28 JP JP2009198621A patent/JP5345024B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007519349A (en) * | 2004-01-20 | 2007-07-12 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus and method for constructing a multi-channel output signal or apparatus and method for generating a downmix signal |
JP2005352396A (en) * | 2004-06-14 | 2005-12-22 | Matsushita Electric Ind Co Ltd | Sound signal encoding device and sound signal decoding device |
JP2008505368A (en) * | 2004-07-09 | 2008-02-21 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus and method for generating a multi-channel output signal |
JP2008530616A (en) * | 2005-02-22 | 2008-08-07 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. | Near-transparent or transparent multi-channel encoder / decoder configuration |
JP2008529056A (en) * | 2005-02-23 | 2008-07-31 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | Adaptive bit allocation in multichannel speech coding. |
JP2007053624A (en) * | 2005-08-18 | 2007-03-01 | Nippon Hoso Kyokai <Nhk> | Down mix unit and program |
WO2008046531A1 (en) * | 2006-10-16 | 2008-04-24 | Dolby Sweden Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
JP2010507115A (en) * | 2006-10-16 | 2010-03-04 | ドルビー スウェーデン アクチボラゲット | Enhanced coding and parameter representation in multi-channel downmixed object coding |
Non-Patent Citations (3)
Title |
---|
CSNJ201010091492; 鎌本優他: '"MPEG-4 ALSに対応したステレオ線形予測分析の高速化"' 日本音響学会2008年春季研究発表会講演論文集CD-ROM , 200803, pp.737-740 * |
JPN5012003096; Giovanni Del Galdo, et al.: '"Efficient Methods for High Quality Merging of Spatial Audio Streams in Directiona' Convention Paper Presented at the 126th Convention No.7733, 200905, pp.981-993, udio Engineering Society * |
JPN6012065118; 鎌本優他: '"MPEG-4 ALSに対応したステレオ線形予測分析の高速化"' 日本音響学会2008年春季研究発表会講演論文集CD-ROM , 200803, pp.737-740 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015520872A (en) * | 2012-05-15 | 2015-07-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Efficient encoding and decoding of multi-channel audio signals with multiple substreams |
US9779738B2 (en) | 2012-05-15 | 2017-10-03 | Dolby Laboratories Licensing Corporation | Efficient encoding and decoding of multi-channel audio signal with multiple substreams |
WO2021000724A1 (en) * | 2019-06-29 | 2021-01-07 | 华为技术有限公司 | Stereo coding method and device, and stereo decoding method and device |
US11887607B2 (en) | 2019-06-29 | 2024-01-30 | Huawei Technologies Co., Ltd. | Stereo encoding method and apparatus, and stereo decoding method and apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5345024B2 (en) | 2013-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7342091B2 (en) | Method and apparatus for encoding and decoding a series of frames of an ambisonics representation of a two-dimensional or three-dimensional sound field | |
JP7174810B6 (en) | Method for compressing Higher Order Ambisonics (HOA) signals, method for decompressing compressed HOA signals, apparatus for compressing HOA signals and apparatus for decompressing compressed HOA signals | |
JP7378440B2 (en) | Method and apparatus for decoding compressed HOA signals | |
JP7374969B2 (en) | A method of compressing a high-order ambisonics (HOA) signal, a method of decompressing a compressed HOA signal, an apparatus for compressing a HOA signal, and an apparatus for decompressing a compressed HOA signal | |
JP5345024B2 (en) | Three-dimensional acoustic encoding device, three-dimensional acoustic decoding device, encoding program, and decoding program | |
JP2011002574A (en) | 3-dimensional sound encoding device, 3-dimensional sound decoding device, encoding program and decoding program | |
JP5680391B2 (en) | Acoustic encoding apparatus and program | |
Li et al. | The perceptual lossless quantization of spatial parameter for 3D audio signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130716 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130813 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |