JP2007221216A - Mix-down method and apparatus - Google Patents
Mix-down method and apparatus Download PDFInfo
- Publication number
- JP2007221216A JP2007221216A JP2006036443A JP2006036443A JP2007221216A JP 2007221216 A JP2007221216 A JP 2007221216A JP 2006036443 A JP2006036443 A JP 2006036443A JP 2006036443 A JP2006036443 A JP 2006036443A JP 2007221216 A JP2007221216 A JP 2007221216A
- Authority
- JP
- Japan
- Prior art keywords
- mixdown
- unit
- acoustic signal
- signals
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000003068 static effect Effects 0.000 claims abstract description 12
- 238000013139 quantization Methods 0.000 description 18
- 230000005236 sound signal Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 6
- 101000648497 Homo sapiens Transportin-3 Proteins 0.000 description 5
- 102100037224 Noncompact myelin-associated protein Human genes 0.000 description 5
- 101710184695 Noncompact myelin-associated protein Proteins 0.000 description 5
- 102100028746 Transportin-3 Human genes 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- HXCDVODIZZIXRM-DFHNBTAXSA-N I11 Chemical compound C1=NC(C(NC=N2)=O)=C2N1[C@@H]1O[C@H](CO)[C@@H](OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=C(C(NC=N3)=O)N=C2)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=C(C(NC=N3)=O)N=C2)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=C(C(NC=N3)=O)N=C2)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=C(C(NC=N3)=O)N=C2)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=C(C(NC=N3)=O)N=C2)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=C(C(NC=N3)=O)N=C2)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=C(C(NC=N3)=O)N=C2)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=C(C(NC=N3)=O)N=C2)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=C(C(NC=N3)=O)N=C2)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=C(C(NC=N3)=O)N=C2)OP(O)(O)=O)[C@H]1O HXCDVODIZZIXRM-DFHNBTAXSA-N 0.000 description 3
- 102100036399 Importin-11 Human genes 0.000 description 3
- 101710086667 Importin-11 Proteins 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
本発明は、ディジタルオーディオに用いるミックスダウンのための各チャンネルのゲインを動的に決定するミックスダウン方法およびミックスダウン装置に関する。 The present invention relates to a mixdown method and a mixdown apparatus that dynamically determine the gain of each channel for mixdown used in digital audio.
近年、AV(オーディオ・ビジュアル)分野の音響再生においては、従来のL/Rチャンネルのステレオ信号にセンタチャンネルやサラウンドチャンネルを加えたマルチチャンネル再生方式が実現されている。このマルチチャンネル再生方式において原音場を再生する場合、視聴者の後方または側方に少なくとも1つのスピーカを配置する必要があった。 In recent years, in the audio reproduction in the AV (audio / visual) field, a multi-channel reproduction method in which a center channel and a surround channel are added to a conventional L / R channel stereo signal has been realized. When reproducing the original sound field in this multi-channel reproduction system, it is necessary to arrange at least one speaker behind or on the side of the viewer.
しかしながら、マルチチャンネル再生方式の音響信号をL/Rチャンネルの2つのスピーカで再生したいという視聴者の要望に対応するために、マルチチャンネルで伝送された音響信号を2チャンネルに変換する必要が生じる。 However, in order to respond to the viewer's desire to reproduce a multi-channel playback system sound signal with two L / R channel speakers, it is necessary to convert the multi-channel sound signal into two channels.
そこで、マルチチャンネルの入力音源に対して、入力側のチャンネル数よりも少ないチャンネル数に音響信号を変換して出力するというミックスダウンが必要になる。 Therefore, it is necessary to mix down the multi-channel input sound source by converting the acoustic signal into a smaller number of channels than the number of channels on the input side and outputting it.
このミックスダウンの手法の一例として、特許文献1にマルチチャンネルステレオ用ダウンミキシング装置が報告されている。
As an example of this mixdown technique,
この特許文献1によれば、ミックスダウンされるマルチチャンネルの音響信号が音楽であるか音声であるかを、入力されたL/Rch信号を加算してこの加算されたL/Rch信号に基づいて判別している。そして、その判別結果に基づいて、音量調整部のゲイン係数を変更することで、音楽再生の場合には臨場感を実現できる値に、また音声の場合には明瞭感が確保できる値にそれぞれ修正されており、2チャンネルのスピーカ再生においても、それぞれのプログラムソースに最適な音響再生を実現することが可能となるという利点を有している。
このように、特許文献1によれば、入力されたL/Rch信号に基づいて音楽であるか音声であるかを判別して音量調整のためのゲイン係数を変更することで、音楽再生と音声再生とで適切な音場再生を実現している。
As described above, according to
しかしながら、特許文献1にあっては、ミックスダウンのためのゲイン係数を予め2つ用意しておき、音楽再生の場合と音声再生の場合とで切り換えるようにしていたので、様々な音響信号に最適に適応できないといった問題があった。この結果、音場再生の切り替わり時期が明確になり過ぎチャンネル間での音量バランスが悪く違和感や疲労感の要因になっていた。
However, in
本発明は、上記に鑑みてなされたもので、その目的としては、音量バランスの良いミックスダウンを行うことができるミックスダウン方法およびミックスダウン装置を提供することにある。 The present invention has been made in view of the above, and an object thereof is to provide a mixdown method and a mixdown apparatus capable of performing a mixdown with a good volume balance.
請求項1記載の発明は、上記課題を解決するため、入力される複数の音響信号を混合してこの音響信号の数よりも少ない数の出力信号に変換するミックスダウン装置において、前記各音響信号のスケールファクタに基づいてこの音響信号の動的ゲイン値を決定するゲイン決定手段と、前記音響信号とこの音響信号に対して決定された動的ゲイン値とを乗算し、複数の音響信号に対応する乗算結果値の総和値を出力信号として出力するミックスダウン手段とを備えたことを特徴とする。
In order to solve the above-mentioned problem, the invention according to
請求項3記載の発明は、上記課題を解決するため、入力される複数の音響信号を混合してこの音響信号の数よりも少ない数の出力信号に変換するミックスダウン方法において、前記各音響信号のスケールファクタに基づいてこの音響信号の動的ゲイン値を決定するゲイン決定ステップと、前記音響信号とこの音響信号に対して決定された動的ゲイン値とを乗算し、複数の音響信号に対応する乗算結果値の総和値を出力信号として出力するミックスダウンステップとを有することを特徴とする。 According to a third aspect of the present invention, there is provided a mixdown method for mixing a plurality of input sound signals and converting them into a number of output signals smaller than the number of the sound signals in order to solve the above-mentioned problem. The gain determination step for determining the dynamic gain value of the acoustic signal based on the scale factor of the acoustic signal, and the acoustic signal multiplied by the dynamic gain value determined for the acoustic signal, to support a plurality of acoustic signals And a mixdown step of outputting the sum of the multiplication result values to be output as an output signal.
本発明のミックスダウン方法およびミックスダウン装置によれば、入力される音響信号のスケールファクタに基づいて動的ゲイン値を決定するので、音量バランスの良いミックスダウンを行うことができる。 According to the mixdown method and the mixdown apparatus of the present invention, the dynamic gain value is determined based on the scale factor of the input acoustic signal, so that the mixdown with a good volume balance can be performed.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1実施形態)
MPEG−2/4 AACは、MPEG−1オーディオとの互換性を排除することで、高音質・高圧縮率を達成したマルチチャンネル対応のオーディオ符号化方式である。入力のサンプリング周波数は8kHzから96kHzと、非常に広い範囲に対応している。また最大で、48チャンネルのオーディオ信号、15個のLFE(Low Frequency Enhancement)チャンネル、カップリングチャンネル、汎用データストリームを伝送できる。
(First embodiment)
MPEG-2 / 4 AAC is a multi-channel audio encoding method that achieves high sound quality and high compression rate by eliminating compatibility with MPEG-1 audio. The sampling frequency of the input corresponds to a very wide range from 8kHz to 96kHz. In addition, it can transmit up to 48 channels of audio signals, 15 LFE (Low Frequency Enhancement) channels, coupling channels, and general-purpose data streams.
音声復号装置は、音声符号化装置に対向するものであり、音声符号化装置から出力される符号化されたビットストリームbsや、例えばDVDに記憶されているビットストリームbsや、インターネットを介して入力されるビットストリームbsを復号してオーディオ信号に再生するものである。 The audio decoding device is opposed to the audio encoding device, and is input via an encoded bit stream bs output from the audio encoding device, a bit stream bs stored in a DVD, for example, or the Internet. The decoded bit stream bs is decoded and reproduced as an audio signal.
図1は、本発明に係る第1実施形態のミックスダウン装置に適応可能な音声復号装置について説明するための構成を示すブロック図である。図2は、ゲイン決定部19、時間周波数逆変換部21及びミックスダウン部23の相互の接続関係を示す図である。なお、ここでいうミックスダウン装置とは、入力される複数の音響信号を混合してこの音響信号の数よりも少ない数の出力信号に変換する装置のことである。
FIG. 1 is a block diagram showing a configuration for explaining a speech decoding apparatus applicable to the mixdown apparatus according to the first embodiment of the present invention. FIG. 2 is a diagram illustrating a mutual connection relationship between the
音声復号装置11は、シンタックス解読部13、ハフマン符号デコーダ部15、逆量子化部17、ゲイン決定部19、時間周波数逆変換部21、ミックスダウン部23から構成され、さらに、各部はDSP(Digital Signal Processor)やソフトウエア処理により構成されている。
シンタックス解読部13は、入力された符号化データ列bs(ビットストリーム)から高能率符号化音響ストリームと帯域信号や正規化情報及び量子化精度情報などを規定の文法に従って分離する。
The
The
なお、帯域信号は、音声符号化装置において、元データを複数の周波数帯域に分割し、帯域ごとに人間の聴覚に応じた重みつけをした後に符号化されている。また、正規化情報は、後述する逆量子化処理において用いる係数位置を揃えるための情報である。量子化精度情報は、後述する逆量子化処理において用いる階層化されたDCT係数の量子化精度(レベル)の情報である。
ハフマン符号デコーダ部15は、入力された高能率符号化音響ストリームhを副情報で得られた符号化フォーマットに従ってハフマン復号し、量子化スペクトルq1〜q6とスケールファクタを出力する。
Note that the band signal is encoded after the original data is divided into a plurality of frequency bands and weighted according to human hearing for each band in the speech encoding apparatus. Further, the normalization information is information for aligning coefficient positions used in an inverse quantization process described later. The quantization accuracy information is information on the quantization accuracy (level) of the hierarchized DCT coefficient used in the inverse quantization process described later.
The Huffman
逆量子化部17は、復号された量子化スペクトルq1〜q6、スケールファクタに基づいて、元の周波数信号f1〜f6を再生する。
The
なお、スケールファクタは量子化における量子化幅を示す。例えばMPEG−2/4 AACでは、ある周波数信号fに対し、量子化スペクトルqを、
q = INT((f^3/4) / 2^(sf/4) + 0.4054) (数1)
と計算し、この時の整数sfをスケールファクタと呼ぶ。スケールファクタは連続した複数の周波数信号に対し共通的に用いられ、低域側から順にsf1(1)、sf1(2)...sf1(N)と書き表すものとする。本実施形態においては、最も低域のスケールファクタsfi(1)を用いて説明する。
The scale factor indicates the quantization width in the quantization. For example, in MPEG-2 / 4 AAC, a quantization spectrum q is given to a certain frequency signal f.
q = INT ((f ^ 3/4) / 2 ^ (sf / 4) + 0.4054) (Equation 1)
The integer sf at this time is called a scale factor. The scale factor is commonly used for a plurality of continuous frequency signals. Sf1 (1), sf1 (2). . . It shall be written as sf1 (N). In the present embodiment, description will be made using the lowest scale factor sfi (1).
スケールファクタsf1(1)〜sf6(1)は、チャンネル毎に独立した値を持つ。また、ビットレート一定の符号化の場合は一般的に、小さい音量に対してスケールファクタは小さな値を、大きな音量に対してスケールファクタは大きな値を示す。なお、例えばsf1(1)は1チャンネル、sf6(1)は6チャンネルのスケールファクタを示す。ここで、チャンネルの番号は音像の位置を表しており、例えば1はセンタチャンネル、2は左前チャンネル、3は右前チャンネル、4は左後ろチャンネル、5は右後ろチャンネル、6は低音チャンネルである。 The scale factors sf1 (1) to sf6 (1) have independent values for each channel. In the case of encoding with a constant bit rate, the scale factor generally indicates a small value for a small volume, and the scale factor indicates a large value for a large volume. For example, sf1 (1) indicates a scale factor of 1 channel and sf6 (1) indicates a scale factor of 6 channels. Here, the channel number represents the position of the sound image. For example, 1 is the center channel, 2 is the left front channel, 3 is the right front channel, 4 is the left rear channel, 5 is the right rear channel, and 6 is the bass channel.
ゲイン決定部19は、スケールファクタsf1(1)〜sf6(1)に基づいて動的ゲインg11〜g61,g12〜g62を決定する。
The
時間周波数逆変換部21は、逆変形離散コサイン変換(IMDCT)などの時間−周波数逆変換を行う。すなわち、各帯域の周波数信号f1〜f6を逆変換することによって帯域を合成し時系列の音響信号i1〜i6を得る。
The time-frequency
ミックスダウン部23は、音響信号i1〜i6と動的ゲインg11〜g61,g12〜g62に基づいて出力信号o1,o2を算出する。
The
図3はゲイン決定部19の構成を示す図である。図3において、ゲイン決定部19は、重み付け器31と正規化器33,35から構成されている。
FIG. 3 is a diagram illustrating a configuration of the
ハフマン符号デコーダ部15から出力されたスケールファクタsf1(1)〜sf6(1)は、乗算器MP11〜MP61、乗算器MP12〜MP62にそれぞれ入力される。静的ゲインs11〜s61,s12〜s62は、予めメモリに記憶され固定的に与えられており、乗算器MP11〜MP61,MP12〜MP62にそれぞれ入力される。乗算器MP11〜MP61,MP12〜MP62では、入力されるスケールファクタsf1(1)〜sf6(1)と静的ゲインs11〜s61,s12〜s62とをそれぞれ乗算して得られた乗算値g’11〜61,g’12〜62をそれぞれ正規化器33,35に出力する。
The scale factors sf1 (1) to sf6 (1) output from the Huffman
正規化器33,35は、乗算器MP11〜MP61,MP12〜MP62から出力された乗算値g’11〜61,g’12〜62を入力し、正規化して動的ゲインg11〜61,g12〜62を算出し、ミックスダウン部23に出力する。
The
図4はミックスダウン部23の構成を示す図である。
FIG. 4 is a diagram illustrating a configuration of the
ゲイン決定部19から出力された動的ゲインg11〜61は、乗算器IMP11〜61にそれぞれ入力され、かつこれらの乗算器に音響信号i1〜i6が入力されており、動的ゲインg11〜61と音響信号i1〜i6とが乗算されたそれぞれの乗算結果値が並列に加算器ADD11〜15にそれぞれ入力され、直列接続された加算器ADD11〜15が順次に加算し出力信号o1を算出する。
The dynamic gains g11 to 61 output from the
同様に、ゲイン決定部19から出力された動的ゲインg12〜62は、乗算器IMP12〜62にそれぞれ入力され、かつこれらの乗算器に音響信号i1〜i6が入力されており、動的ゲインg12〜62と音響信号i1〜i6とが乗算されたそれぞれの乗算結果値が並列に加算器ADD12〜52にそれぞれ入力され、直列接続された加算器ADD12〜52が順次に加算し出力信号o2を算出する。
Similarly, the dynamic gains g12 to 62 output from the
次に、図1〜図5を参照して、第1実施形態の音声復号装置11の動作について説明する。なお、図5は正規化器33,35の動作を説明するためのフローチャートである。
Next, the operation of the
シンタックス解読部13では、入力された符号化データ列bsから高能率符号化音響ストリームhと量子化精度情報及び正規化情報を規定の文法に従って分離する。
The
次いで、ハフマン符号デコーダ部15では、シンタックス解読13からの高能率符号化音響ストリームhを副情報で得られた符号化フォーマットに従ってハフマン復号し、複数の量子化スペクトルq1〜q6とこの量子化スペクトル毎の量子化幅を示すスケールファクタsf1(1)〜sf6(1)を出力する。
Next, the Huffman
次いで、逆量子化17では、ハフマン符号デコーダ15からの複数の量子化スペクトルq1〜q6と複数のスケールファクタsf1(1)〜sf6(1)に基づいて、帯域毎の元の周波数信号f1〜f6をそれぞれ再生する。
Next, in
次いで、ゲイン決定部では、ハフマン符号デコーダ部15からの複数のスケールファクタsf1(1)〜sf6(1)に基づいて出力系統毎の複数の動的ゲイン値g11〜61,g12〜62を決定する。
Next, the gain determination unit determines a plurality of dynamic gain values g11 to 61 and g12 to 62 for each output system based on the plurality of scale factors sf1 (1) to sf6 (1) from the Huffman
ここで、ゲイン決定部19では、図3に示すように、ハフマン符号デコーダ部15からの複数のスケールファクタsf1(1)〜sf6(1)に予め設定された複数の静的ゲイン値s11〜s61,s12〜s62を乗算器MP11〜MP61,MP12〜MP62でそれぞれ乗算してスケールファクタ毎に重み付けしたゲインを表す複数の乗算値g’11〜61,g’12〜62を出力する。
Here, in the
次いで、ゲイン決定部19では、複数の乗算値g’11〜61,g’12〜62を正規化して出力系統毎の複数の動的ゲイン値g11〜61,g12〜62を算出し、正規化器33,35に出力する。
Next, the
詳しくは図5に示すように、ステップS10では、重み付け器31は、最低域のスケールファクタsf1(1)〜sf6(1)を用いて、静的ゲインs11〜s61,s12〜s62にスケールファクタsf1(1)〜sf6(1)乗算して重み付けする。ステップS10に示す数2のように、静的ゲインsijにsfi(1)を乗算することで重み付けされたゲインg'ijを記述することができる。
Specifically, as shown in FIG. 5, in step S10, the
ここで、静的ゲインsijの設定値の一例について説明する。なお、p,qは個々のチャンネルの静的ゲインであり、o1,o2はそれぞれL/Rチャンネルのステレオの出力信号である。 Here, an example of the set value of the static gain sij will be described. P and q are static gains of individual channels, and o1 and o2 are stereo output signals of L / R channels, respectively.
p = (8 - 2 * sqrt(2)) / 14 = 0.3694 (数3)
q = (4 * sqrt(2) - 2) / 14 = 0.2612 (数4)
として、
o1 = p * i1 + p * i2 + q * i4 (数5)
o2 = p * i1 + p * i3 + q * i5 (数6)
となる。sqrt (x) 関数は x の平方根のうち負でない方の値を意味している。
静的ゲインsijを行列式で記述すると、
q = (4 * sqrt (2)-2) / 14 = 0.2612 (Equation 4)
As
o1 = p * i1 + p * i2 + q * i4 (Equation 5)
o2 = p * i1 + p * i3 + q * i5 (Equation 6)
It becomes. The sqrt (x) function means the non-negative value of the square root of x.
When the static gain sij is described by a determinant,
となる。 It becomes.
次いで、ステップS20では、正規化器33,35は、重み付けされたゲインg'を正規化し、動的ゲインg11〜61,g12〜62を求める。ステップS20に示すように、まず、ゲインg'1j〜g’6jの合計値から分母の値を求め、ゲインg’ijをこの合計値で除算することで、動的ゲインgijを求めるので、正規化は出力のチャンネルi毎に行われることになる。この正規化に関する数式は数8に示すように記述することができる。なお、ステップS20で求めた動的ゲインg11〜g61の合計値は「1」になることは言うまでもない。
Next, in step S20, the
次いで、時間周波数逆変換部21では、逆量子化部17からの帯域毎の周波数信号f1〜f6を逆変換して帯域合成し元の時系列の複数の音響信号i1〜i6を求める。
Next, the time-frequency
次いで、この時間周波数逆変換部21からの複数の音響信号i1〜i6とこのゲイン決定部19からの出力系統毎の複数の動的ゲインg11〜61,g12〜62に基づいて、出力系統毎の出力信号o1,o2を算出する。
Next, based on the plurality of acoustic signals i1 to i6 from the time frequency
ここで、ミックスダウン部23では、時間周波数逆変換部21からの複数の音響信号i1〜i6に正規化器33からの1出力系統の複数の動的ゲインg11〜61をそれぞれ乗算器IMP11〜IMP61で乗算して重み付けし、乗算器IMP11〜IMP61からの複数の乗算値をADD11〜ADD51で加算して当該出力系統の出力信号o1を算出する。
Here, in the
同様に、時間周波数逆変換部21からの複数の音響信号i1〜i6に正規化器35からの1出力系統の複数の動的ゲインg12〜62をそれぞれ乗算器IMP12〜IMP62で乗算して重み付けし、乗算器IMP12〜IMP62からの複数の乗算値をADD12〜ADD52で加算して当該出力系統の出力信号o2を算出する。
Similarly, a plurality of dynamic gains g12 to 62 of one output system from the
この結果、ミックスダウン部23は音響信号i1〜i6に動的ゲインg11〜g62を乗算した後、この乗算結果を2系統にまとめて加算することで、L/Rチャンネルの出力信号o1,o2を得ることができ、入力される音響信号i1〜i6を線形結合することができる。
As a result, the
ここで、音響信号i1〜i6とゲインg11〜g62から出力信号o1,o2を求める方法を行列式で表すと数式8のようになる。
本実施形態によれば、ミックスダウンを行うためのゲインをゲイン決定部において動的に決定しておくため、各チャンネル(1〜6)のスケールファクタがほぼ等しい場合には、動的ゲインは静的ゲインに収束する。一方、各チャンネルのスケールファクタに偏りがある場合には、音量の大きなチャンネルに大きなゲインが割当てられる。この結果として、音量バランスの良いミックスダウンを行うことができる。 According to the present embodiment, since the gain for performing the mixdown is dynamically determined by the gain determination unit, the dynamic gain is static when the scale factors of the respective channels (1 to 6) are substantially equal. Converges to dynamic gain. On the other hand, when the scale factor of each channel is biased, a large gain is assigned to a channel with a large volume. As a result, a mixdown with a good volume balance can be performed.
また、動的ゲインを決定する過程では、ディジタルオーディオ信号の復号に用いたパラメータを流用するため、例えばDSPでの処理負荷を極めて小さくすることができる。 Further, in the process of determining the dynamic gain, the parameters used for decoding the digital audio signal are diverted, so that the processing load on the DSP, for example, can be extremely reduced.
(第2実施形態)
図6は、本発明に係る第2実施形態のミックスダウン装置に適応可能な音声復号装置について説明するための構成を示すブロック図である。図7は、ゲイン決定部19、ミックスダウン部53及び時間周波数逆変換部55の相互の接続関係を示す図である。
(Second Embodiment)
FIG. 6 is a block diagram showing a configuration for explaining a speech decoding apparatus applicable to the mixdown apparatus according to the second embodiment of the present invention. FIG. 7 is a diagram illustrating a mutual connection relationship of the
音声復号装置51は、シンタックス解読部13、ハフマン符号デコーダ部15、逆量子化部17、ゲイン決定部19、ミックスダウン部53、時間周波数逆変換部55から構成されている。なお、第2実施形態の音声復号装置51において、第1実施形態の音声復号装置11において用いられている構成要件と同様のブロックについては同一の符号を付加し、その説明を省略する。
The speech decoding device 51 includes a
第2の実施形態の音声復号装置51の特徴は、ミックスダウン部53と時間周波数逆変換部55を有することにある。これは、時間周波数逆変換の処理は線形性を有するため、周波数信号をミックスダウンしてから逆変換を行っても、第1の実施の形態と同じ結果が得られるからである。
The feature of the speech decoding apparatus 51 of the second embodiment is that it includes a
ミックスダウン部53は、逆量子化部17からの帯域毎の周波数信号f1〜f6とゲイン決定19からの出力系統毎の複数の動的ゲインg11〜g62に基づいて、出力系統毎の周波数信号F1,F2を算出する。
Based on the frequency signals f1 to f6 for each band from the
時間周波数逆変換部55は、このミックスダウン部53からの周波数信号F1,F2を逆変換して帯域合成し時系列の音響信号o1,o2を求める。
The time-frequency
図8はミックスダウン部53の構成を示す図である。
FIG. 8 is a diagram illustrating a configuration of the
ミックスダウン部53において、ゲイン決定部19から出力された動的ゲインg11〜61は、乗算器IMP11〜61にそれぞれ入力され、このそれぞれの乗算器に周波数信号f1〜f6が入力されており、動的ゲインg11〜61と周波数信号f1〜f6とが乗算器IMP11〜61で乗算されそれぞれ重み付けされた乗算結果値が並列に加算器ADD11〜15にそれぞれ入力され、直列接続された加算器ADD11〜51が順次に加算し周波数信号F1を算出する。
In the
同様に、ゲイン決定部19から出力された動的ゲインg12〜62は、乗算器IMP12〜62にそれぞれ入力され、このそれぞれの乗算器に周波数信号f1〜f6が入力されており、動的ゲインg12〜62と周波数信号f1〜f6と乗算器IMP12〜62で乗算されそれぞれ重み付けされた乗算結果値が並列に加算器ADD12〜52にそれぞれ入力され、直列接続された加算器ADD12〜52が順次に加算し周波数信号F2を算出する。
Similarly, the dynamic gains g12 to 62 output from the
次に、図6〜図8を参照して、第2実施形態の音声復号装置51の動作について説明する。なお、シンタックス解読部13、ハフマン符号デコーダ部15、逆量子化17、ゲイン決定部でのそれぞれの処理内容は第1実施形態の音声復号装置11と同様であるので、その説明を省略する。
Next, the operation of the speech decoding apparatus 51 according to the second embodiment will be described with reference to FIGS. Note that the processing contents of the
ミックスダウン部53では、逆量子化部17からの帯域毎の周波数信号f1〜f6とゲイン決定19からの出力系統毎の複数の動的ゲインg11〜g62に基づいて、出力系統毎の周波数信号F1,F2を算出する。
In the
時間周波数逆変換部55は、このミックスダウン部53からの周波数信号F1,F2を逆変換して帯域合成し時系列の音響信号o1,o2を求める。
The time-frequency
この結果、ミックスダウン部23は周波数信号f1〜f6に動的ゲインg11〜g62を乗算した後、この乗算結果を2系統にまとめて加算することで、L/Rチャンネルの周波数信号F1,F2を得ることができ、入力される周波数信号f1〜f6を線形結合することができる。
As a result, the
ここで、周波数信号f1〜f6とゲインg11〜g62から周波数信号F1,F2を求める方法を行列式で表すと数式9のようになる。
本実施形態によれば、ミックスダウンを行うためのゲインをゲイン決定部において動的に決定しておくため、各チャンネル(1〜6)のスケールファクタがほぼ等しい場合には、動的ゲインは静的ゲインに収束する。一方、各チャンネルのスケールファクタに偏りがある場合には、音量の大きなチャンネルに大きなゲインが割当てられる。この結果として、音量バランスの良いミックスダウンを行うことができる。 According to the present embodiment, since the gain for performing the mixdown is dynamically determined by the gain determination unit, the dynamic gain is static when the scale factors of the respective channels (1 to 6) are substantially equal. Converges to dynamic gain. On the other hand, when the scale factor of each channel is biased, a large gain is assigned to a channel with a large volume. As a result, a mixdown with a good volume balance can be performed.
また、動的ゲインを決定する過程では、ディジタルオーディオ信号の復号に用いたパラメータを流用するため、例えばDSP(Digital Signal Processor)での処理負荷を極めて小さくすることができる。 Further, in the process of determining the dynamic gain, the parameters used for decoding the digital audio signal are used, so that the processing load on, for example, a DSP (Digital Signal Processor) can be extremely reduced.
なお、本発明の実施形態においては、5.1ch信号をステレオ信号に変換した例を用いたが、複数のチャンネル数n(n≧2)に対してミックスダウンを行っても、同様に適用可能になる。また、本発明の実施形態では、動的ゲインを決定するのに最も低域のスケールファクタを用いたが、別の帯域のスケールファクタを用いても良く、また、複数のスケールファクタを用いても良い。 In the embodiment of the present invention, an example in which a 5.1ch signal is converted into a stereo signal is used. However, the present invention can be similarly applied even when a mixdown is performed on a plurality of channels n (n ≧ 2). become. In the embodiment of the present invention, the lowest scale factor is used to determine the dynamic gain. However, a scale factor of another band may be used, or a plurality of scale factors may be used. good.
また、本実施形態においては、MPEG−2/4 AACに用いる音声復号装置に適応させてミックスダウン装置に関する説明をしたが、本発明のミックスダウン装置はこのようなMPEG−2/4 AACに限定するものではなく、他のマルチチャンネル再生方式に対しても適応可能である。 In the present embodiment, the mixdown apparatus has been described in conformity with the audio decoding apparatus used for MPEG-2 / 4 AAC. However, the mixdown apparatus of the present invention is limited to such MPEG-2 / 4 AAC. However, the present invention can be applied to other multi-channel playback systems.
11,51…音声復号装置、13…シンタックス解読部、15…ハフマン符号デコーダ部、17…逆量子化部、19…ゲイン決定部、21…時間周波数逆変換部、23…ミックスダウン部23、31…重み付け器、33,35…正規化器、IMP11〜62…乗算器、ADD11〜ADD52…加算器、53…ミックスダウン部、55…時間周波数逆変換部
DESCRIPTION OF
Claims (3)
前記各音響信号のスケールファクタに基づいてこの音響信号の動的ゲイン値を決定するゲイン決定手段と、
前記音響信号とこの音響信号に対して決定された動的ゲイン値とを乗算し、複数の音響信号に対応する乗算結果値の総和値を出力信号として出力するミックスダウン手段と
を備えたことを特徴とするミックスダウン装置。 In a mixdown device that mixes a plurality of input acoustic signals and converts them into a smaller number of output signals than the number of acoustic signals,
Gain determining means for determining a dynamic gain value of the acoustic signal based on the scale factor of each acoustic signal;
Mixing means for multiplying the acoustic signal by a dynamic gain value determined for the acoustic signal, and outputting a sum of multiplication result values corresponding to the plurality of acoustic signals as an output signal. Features a mixdown device.
前記スケールファクタ毎にそれぞれ対応する予め設定された静的ゲイン値を乗算して前記音響信号毎の乗算結果値を出力する重み付け手段と、
この重み付け手段からの複数の乗算結果値を正規化して音響信号毎に対応する動的ゲイン値を算出する正規化手段と
を備えたことを特徴とする請求項1記載のミックスダウン装置。 The gain determining means includes
Weighting means for multiplying a preset static gain value corresponding to each scale factor and outputting a multiplication result value for each acoustic signal;
The mixdown device according to claim 1, further comprising: a normalizing unit that normalizes a plurality of multiplication result values from the weighting unit and calculates a dynamic gain value corresponding to each acoustic signal.
前記各音響信号のスケールファクタに基づいてこの音響信号の動的ゲイン値を決定するゲイン決定ステップと、
前記音響信号とこの音響信号に対して決定された動的ゲイン値とを乗算し、複数の音響信号に対応する乗算結果値の総和値を出力信号として出力するミックスダウンステップと
を有することを特徴とするミックスダウン方法。 In a mixdown method of mixing a plurality of input acoustic signals and converting them to a number of output signals smaller than the number of acoustic signals,
A gain determining step of determining a dynamic gain value of the acoustic signal based on a scale factor of each acoustic signal;
A mixdown step of multiplying the acoustic signal by a dynamic gain value determined for the acoustic signal and outputting a sum of multiplication result values corresponding to the plurality of acoustic signals as an output signal. How to mix down.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006036443A JP4997781B2 (en) | 2006-02-14 | 2006-02-14 | Mixdown method and mixdown apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006036443A JP4997781B2 (en) | 2006-02-14 | 2006-02-14 | Mixdown method and mixdown apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007221216A true JP2007221216A (en) | 2007-08-30 |
JP4997781B2 JP4997781B2 (en) | 2012-08-08 |
Family
ID=38498055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006036443A Expired - Fee Related JP4997781B2 (en) | 2006-02-14 | 2006-02-14 | Mixdown method and mixdown apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4997781B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012034295A (en) * | 2010-08-02 | 2012-02-16 | Nippon Hoso Kyokai <Nhk> | Sound signal conversion device and sound signal conversion program |
JP2013033189A (en) * | 2011-07-01 | 2013-02-14 | Sony Corp | Audio encoder, audio encoding method and program |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04324900A (en) * | 1991-04-25 | 1992-11-13 | Kokusai Electric Co Ltd | Voice codec with comparison attenuator |
JPH06165079A (en) * | 1992-11-25 | 1994-06-10 | Matsushita Electric Ind Co Ltd | Down mixing device for multichannel stereo use |
JP2002175098A (en) * | 2000-09-21 | 2002-06-21 | Matsushita Electric Ind Co Ltd | Device and method for encoding, and program, and program recording medium |
JP2004526355A (en) * | 2001-02-07 | 2004-08-26 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | Audio channel conversion method |
JP2005301002A (en) * | 2004-04-13 | 2005-10-27 | Nippon Hoso Kyokai <Nhk> | Apparatus and program for speech encoded information processing |
JP2005341538A (en) * | 2004-04-28 | 2005-12-08 | Yamaha Corp | Mixer module, mixer device, and program |
WO2006004048A1 (en) * | 2004-07-06 | 2006-01-12 | Matsushita Electric Industrial Co., Ltd. | Audio signal encoding device, audio signal decoding device, method thereof and program |
WO2006005390A1 (en) * | 2004-07-09 | 2006-01-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a multi-channel output signal |
-
2006
- 2006-02-14 JP JP2006036443A patent/JP4997781B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04324900A (en) * | 1991-04-25 | 1992-11-13 | Kokusai Electric Co Ltd | Voice codec with comparison attenuator |
JPH06165079A (en) * | 1992-11-25 | 1994-06-10 | Matsushita Electric Ind Co Ltd | Down mixing device for multichannel stereo use |
JP2002175098A (en) * | 2000-09-21 | 2002-06-21 | Matsushita Electric Ind Co Ltd | Device and method for encoding, and program, and program recording medium |
JP2004526355A (en) * | 2001-02-07 | 2004-08-26 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | Audio channel conversion method |
JP2005301002A (en) * | 2004-04-13 | 2005-10-27 | Nippon Hoso Kyokai <Nhk> | Apparatus and program for speech encoded information processing |
JP2005341538A (en) * | 2004-04-28 | 2005-12-08 | Yamaha Corp | Mixer module, mixer device, and program |
WO2006004048A1 (en) * | 2004-07-06 | 2006-01-12 | Matsushita Electric Industrial Co., Ltd. | Audio signal encoding device, audio signal decoding device, method thereof and program |
WO2006005390A1 (en) * | 2004-07-09 | 2006-01-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a multi-channel output signal |
JP2008505368A (en) * | 2004-07-09 | 2008-02-21 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus and method for generating a multi-channel output signal |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012034295A (en) * | 2010-08-02 | 2012-02-16 | Nippon Hoso Kyokai <Nhk> | Sound signal conversion device and sound signal conversion program |
JP2013033189A (en) * | 2011-07-01 | 2013-02-14 | Sony Corp | Audio encoder, audio encoding method and program |
Also Published As
Publication number | Publication date |
---|---|
JP4997781B2 (en) | 2012-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5081838B2 (en) | Audio encoding and decoding | |
TWI431610B (en) | Methods and apparatuses for encoding and decoding object-based audio signals | |
JP5455647B2 (en) | Audio decoder | |
US8433583B2 (en) | Audio decoding | |
JP5291096B2 (en) | Audio signal processing method and apparatus | |
CN107851440A (en) | The dynamic range control based on metadata of coded audio extension | |
JPWO2006022190A1 (en) | Audio encoder | |
WO2007029412A1 (en) | Multi-channel acoustic signal processing device | |
CN112567765B (en) | Spatial audio capture, transmission and reproduction | |
KR102590816B1 (en) | Apparatus, methods, and computer programs for encoding, decoding, scene processing, and other procedures related to DirAC-based spatial audio coding using directional component compensation. | |
JP6520937B2 (en) | Audio signal processing apparatus and method, encoding apparatus and method, and program | |
JP2015528925A (en) | Audio signal processing apparatus and method | |
US20200015028A1 (en) | Energy-ratio signalling and synthesis | |
WO2019175472A1 (en) | Temporal spatial audio parameter smoothing | |
TWI760084B (en) | Method and device for applying dynamic range compression to a higher order ambisonics signal | |
JP4997781B2 (en) | Mixdown method and mixdown apparatus | |
KR20230084232A (en) | Quantization of audio parameters | |
JP5483813B2 (en) | Multi-channel speech / acoustic signal encoding apparatus and method, and multi-channel speech / acoustic signal decoding apparatus and method | |
RU2772423C1 (en) | Device, method and computer program for encoding, decoding, scene processing and other procedures related to spatial audio coding based on dirac using low-order, medium-order and high-order component generators | |
RU2779415C1 (en) | Apparatus, method, and computer program for encoding, decoding, processing a scene, and for other procedures associated with dirac-based spatial audio coding using diffuse compensation | |
RU2782511C1 (en) | Apparatus, method, and computer program for encoding, decoding, processing a scene, and for other procedures associated with dirac-based spatial audio coding using direct component compensation | |
MX2008008424A (en) | Decoding of binaural audio signals | |
MX2008008829A (en) | Decoding of binaural audio signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120417 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4997781 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |