JP2007240823A - Digital data decoding device - Google Patents
Digital data decoding device Download PDFInfo
- Publication number
- JP2007240823A JP2007240823A JP2006062339A JP2006062339A JP2007240823A JP 2007240823 A JP2007240823 A JP 2007240823A JP 2006062339 A JP2006062339 A JP 2006062339A JP 2006062339 A JP2006062339 A JP 2006062339A JP 2007240823 A JP2007240823 A JP 2007240823A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- quantization
- frequency band
- data
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本発明は、ミニディスク(MD)やフラッシュメモリ等の記録媒体に記録された圧縮されたデジタルオーディオデータやデジタルビデオデータ等のデジタルデータを復号化するデジタルデータ復号化装置に関する。 The present invention relates to a digital data decoding apparatus for decoding digital data such as compressed digital audio data and digital video data recorded on a recording medium such as a mini disk (MD) or a flash memory.
近年では、楽音や音声等からなるアナログオーディオ信号を音質の劣化を最小限度に抑えつつ小さなデータサイズのデジタルオーディオデータに符号化する圧縮符号化技術が開発されている。この種の圧縮符号化技術を用いれば、圧縮されたデジタルオーディオデータは、圧縮されていないデジタルオーディオデータの1/10程度にデータが圧縮されているため、多数の楽曲のデジタルオーディオデータをそれほど記録容量が多くないハードディスク(HD)やフラッシュメモリあるいはミニディスク(MD)に記録することができる。 In recent years, compression coding techniques have been developed for coding analog audio signals composed of musical sounds, voices, and the like into digital audio data having a small data size while minimizing deterioration in sound quality. If this kind of compression encoding technology is used, the compressed digital audio data is compressed to about 1/10 of the uncompressed digital audio data. Recording can be performed on a hard disk (HD), a flash memory, or a mini disk (MD) that does not have a large capacity.
しかし、上記圧縮されたデジタルオーディオデータは、圧縮符号化技術により符号化する際に一部の情報が削除されているため、楽音や音声等を忠実に再生できる本格的なオーディオ再生装置に供給した場合には、人は物足りなさや違和感を受けることがしばしばある。これは、以下に示す理由による。すなわち、圧縮符号化技術では、符号化する際に、聴覚心理特性上人の耳には聴こえにくい又は聴き分けにくいと考えられるスペクトルの情報を削除している。ところが、上記した本格的なオーディオ再生装置では、そのようなスペクトルの情報であっても忠実に再生することができるため、上記圧縮されたデジタルオーディオデータを再生した場合には、本来あるべき情報が再生されないからである。 However, since the compressed digital audio data is partly deleted when it is encoded by the compression encoding technology, it is supplied to a full-fledged audio playback device that can faithfully reproduce musical sounds and voices. In some cases, people often feel unsatisfactory or uncomfortable. This is due to the following reason. In other words, in the compression coding technique, spectrum information that is difficult to hear or hear from the human ear due to psychoacoustic characteristics is deleted when coding. However, since the above-described full-fledged audio reproduction device can faithfully reproduce even such spectrum information, when the compressed digital audio data is reproduced, there should be information that should be originally present. It is because it is not reproduced.
そこで、最近では、上記問題を解決するために、上記圧縮されたデジタルオーディオデータを伸長復号化する際に、圧縮符号化時に削除した情報を擬似的に補間する技術が提案されている。例えば、従来のデジタルオーディオデータ復号化装置には、核復号化手段と、拡張復号化手段とを備えているものがある。核復号化手段は、入力された符号化列を復号化して、第1周波数スペクトル情報を生成する。拡張復号化手段は、上記第1周波数スペクトル情報に基づいて、符号化列によって表されていない周波数帯域に、第1周波数スペクトル情報が示す調波構造を周波数軸上で延長したものに等しい調波構造を示す第2周波数スペクトル情報を生成する(例えば、特許文献1参照。)。
上記した従来のデジタルオーディオデータ復号化装置では、符号化列に表された帯域内でオーディオ信号に比較的一般的な性質である調波構造を抽出して、高域に拡張スペクトル情報を追加的に復元したり(上記特許文献1の段落[0017]参照)、周波数スペクトル情報のエネルギー分布が調波周期Tにおいて余弦関数で表現できると仮定して、1つの調波周期Tの間の低域周波数スペクトル情報をそのまま高域に繰り返しコピーしたり増幅したりしている(上記特許文献1の段落[0019]参照)。
In the above-described conventional digital audio data decoding apparatus, the harmonic structure, which is a relatively general property of the audio signal, is extracted within the band represented by the encoded sequence, and the extended spectrum information is additionally added to the high band. (See paragraph [0017] of
ところが、ある符号化列の復号化された低域周波数スペクトル情報に含まれる調波構造と、符号化の際に削除された実際の高域の調波構造とが同一であるとは限らない。また、周波数スペクトル情報のエネルギー分布が調波周期Tにおいて余弦関数で表現できるという仮定が常に当てはまるとは限らない。一方、この仮定が妥当だとしても、低域周波数スペクトル情報をそのまま高域に繰り返しコピーや増幅しただけでは、符号化の際に削除された実際の高域が復元できたとはいいがたい。従って、補間は不完全であり、上記した物足りなさや違和感が解消されない場合がある。また、上記した従来のデジタルオーディオデータ復号化装置では、圧縮符号化時に完全に削除された高域に、原音に近い成分をたとえ付加することができたとしても、量子化ビット数が非零の帯域の量子化ノイズを除去することができないという課題があった。
以上説明した不都合は、アナログビデオ信号を、視覚心理特性等に基づいて、デジタルビデオデータに圧縮符号化した後、記録媒体に記録し、記録媒体から読み出された圧縮符号化されたデジタルビデオデータを伸長復号化する場合にも同様に当てはまる。
However, the harmonic structure included in the decoded low-frequency spectrum information of a certain coded sequence is not necessarily the same as the actual high-frequency harmonic structure deleted at the time of encoding. Further, the assumption that the energy distribution of the frequency spectrum information can be expressed by a cosine function in the harmonic period T is not always true. On the other hand, even if this assumption is valid, it is hard to say that the actual high frequency deleted at the time of encoding can be restored by simply copying and amplifying the low frequency spectrum information directly to the high frequency. Therefore, the interpolation is incomplete, and the above-mentioned lack of satisfaction and discomfort may not be resolved. Further, in the conventional digital audio data decoding device described above, even if a component close to the original sound can be added to the high frequency band completely deleted at the time of compression encoding, the number of quantization bits is non-zero. There was a problem that the quantization noise of the band could not be removed.
The inconveniences described above are that the analog video signal is compression-encoded into digital video data based on visual psychological characteristics, etc., then recorded on the recording medium, and read out from the recording medium. The same applies to the case of decompression decoding.
本発明は、上述した事情に鑑みてなされたものであり、上述のような課題を解決することができるデジタルデータ復号化装置を提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and an object thereof is to provide a digital data decoding apparatus that can solve the above-described problems.
上記課題を解決するために、請求項1記載の発明は、複数の周波数帯域に分割され、周波数帯域毎に設定される指標に基づいて周波数帯域毎に量子化、符号化されているスペクトルデータを復号化するデジタルデータ復号化装置に係り、量子化ビット割り当てが小さい前記周波数帯域に存在する前記スペクトルデータを、当該周波数帯域に存在する前記スペクトルデータ又は、前記量子化ビット割り当てが大きい前記周波数帯域に存在する前記スペクトルデータを用いて補正する補正処理部を具備することを特徴としている。
In order to solve the above-mentioned problem, the invention according to
また、請求項2記載の発明は、請求項1に記載のデジタルデータ復号化装置に係り、前記補正処理部は、前記補正で得られたスペクトルデータが前記指標及び量子化ビット数で定まる範囲外に存在する場合には、前記補正で得られたスペクトルデータの値を、前記指標及び量子化ビット数に基づいて前記範囲内の値に再補正することを特徴としている。
The invention according to
また、請求項3記載の発明は、請求項1又は2のいずれかに記載のデジタルデータ復号化装置に係り、前記補正処理部は、量子化ビット割り当てが小さい前記周波数帯域において、0に丸められているスペクトルデータを、前記補正で得られたスペクトルデータと、前記量子化ビット割り当てが大きい前記周波数帯域に存在する前記スペクトルデータとを用いて補間することを特徴としている。
The invention according to
また、請求項4記載の発明は、請求項1又は3のいずれかに記載のデジタルデータ復号化装置に係り、前記補正処理部は、前記補正を、量子化ビット割り当てが大きい前記周波数帯域に存在する複数の前記スペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータを用いて行うことを特徴としている。
The invention according to
本発明によれば、圧縮されたデジタルデータを復号化する際に、量子化分解能が2値、4値等の低いスペクトルの分解能を高めることができ、符号化時に削除されたスペクトルを、物足りなさや違和感を受けることなく、補間することができる。この結果、再生された楽音や音声等からなるアナログ信号は高品質である。 According to the present invention, when decoding compressed digital data, the resolution of a spectrum having a low quantization resolution such as binary or quaternary can be increased, and a spectrum deleted at the time of encoding can be reduced. Interpolation is possible without receiving a sense of incongruity. As a result, the analog signal made up of reproduced musical sounds, voices, etc. is of high quality.
実施の形態1.
図1は、本発明の実施の形態1に係るデジタルデータ復号化装置を構成する補間処理部の構成を示すブロック図、図2は、図1に示す補間処理部を適用したデジタルオーディオ記録再生システムの構成を示すブロック図である。この例のデジタルオーディオ記録再生システムは、ミニディスク(MD)等で採用されている音声圧縮符号化技術の1つであるATRAC(Adaptive TRanceform Acoustic Coding)方式が適用されており、図2に示すように、デジタルオーディオデータ符号化装置1と、デジタルオーディオデータ復号化装置2とから構成されている。量子化ビット数は、例えば、0〜16ビットであり、量子化データは符号を持つため、量子化ビット数の1は存在せず、0以外の最低量子化ビット数は2となっている。
FIG. 1 is a block diagram showing a configuration of an interpolation processing unit constituting the digital data decoding apparatus according to
デジタルオーディオデータ符号化装置1は、デジタルオーディオデータDADをデジタルオーディオ符号化データCDADに圧縮符号化した後、ミニディスク等の記録媒体3に記録する。ここで、デジタルオーディオデータDADは、楽音や音声等からなるアナログオーディオ信号がリニアPCM(Pulse Code Modulation)と呼ばれる符号化方式により、圧縮することなく符号化されたものである。記録媒体3がデジタルオーディオデータ復号化装置2にセットされると、デジタルオーディオデータ復号化装置2は、記録媒体3からデジタルオーディオ符号化データCDADを読み出した後、デジタルオーディオデータDAD'に復号化する。
The digital audio
デジタルオーディオデータ符号化装置1は、周波数帯域分割部11と、時間周波数変換部12と、帯域毎のパワー算出部13と、マスキング算出部14と、最小可聴限合成部15と、量子化ビット数算出部16と、スケールファクタ算出部17と、量子化部18と、パッキング部19とを有している。デジタルオーディオデータ符号化装置1の入力端には、例えば、44.1kHzのサンプリング周波数でサンプリングされた圧縮されていないデジタルオーディオデータDAD(マルチビットデータ)が所定時間毎、例えば約11.6msのフレーム単位で入力される。
The digital audio
周波数帯域分割部11は、帯域分割フィルタの1種である直交鏡像フィルタ(QMF;Quadrature Mirror Filter)を有し、入力されたデジタルオーディオデータDADを複数の周波数帯域(サブバンドフレーム)に分割する。サブバンドフレームとしては、例えば、約0〜5.5kHzの低帯域サブバンドフレームSB11、約5.5〜11kHzの中帯域サブバンドフレームSB12及び約11〜22kHzの高帯域サブバンドフレームSB13の3帯域からなるものや、約0〜5.5kHzの低帯域サブバンドフレームSB21、約5.5〜11kHzの中帯域サブバンドフレームSB22、約11〜16.5kHzの中高帯域サブバンドフレームSB23及び約16.5〜22kHzの高帯域サブバンドフレームSB24の4帯域からなるものがある。 The frequency band dividing unit 11 has a quadrature mirror filter (QMF; Quadrature Mirror Filter) which is one type of band dividing filter, and divides the input digital audio data DAD into a plurality of frequency bands (subband frames). The subband frames include, for example, three bands of a low-band subband frame SB11 of about 0 to 5.5 kHz, a medium-band subband frame SB12 of about 5.5 to 11 kHz, and a high-band subband frame SB13 of about 11 to 22 kHz. Or a low-band subband frame SB21 of about 0 to 5.5 kHz, a medium-band subband frame SB22 of about 5.5 to 11 kHz, a medium-high band subband frame SB23 of about 11 to 16.5 kHz, and about 16. There is one composed of four bands of a high-band subband frame SB24 of 5 to 22 kHz.
時間周波数変換部12は、複数のサブバンドフレーム単位に分割されたデジタルオーディオデータについて、修正離散余弦変換(MDCT;Modified Discrete Cosine Transform)処理を施すことにより、対応する周波数帯域の周波数成分のMDCT係数(スペクトルデータ)に直交変換する。帯域毎のパワー算出部13は、上記周波数帯域毎に設けられており、対応する周波数帯域の周波数成分のMDCT係数を2乗和等して、i個の各周波数帯域のスペクトルパワーSi(i=1,2,…,I、例えば、I=25)を算出する。ただし、このスペクトルパワーSiの算出方法については特に限定しない。ここで、上記周波数帯域には、臨界帯域(単位:Bark)等が用いられる。臨界帯域とは、周波数選択性、マスキングしきい値等の特定の音響心理学的規則性が有効な広帯域オーディオスペクトルの特性的部分をいう。また、パワーとは、単位時間当たりのエネルギーをいう。なお、マスキングしきい値については後述する。
The time
マスキング算出部14は、上記周波数帯域毎に、各々のスペクトルパワーSiが他の周波数帯に与える同時マスキング効果によるマスキングしきい値を算出し、その最大値を当該スペクトルパワーSiに対するマスキングしきい値とする。ここで、同時マスキング効果とは、複数の周波数成分の音が同時に発生している場合、ある大きな音圧レベルの音によって、その近傍の周波数に存在する音圧レベルの低い別の音がマスキングされ、人には聴こえない又は聴こえにくいという聴感効果をいう。
For each frequency band, the masking
最小可聴限合成部15は、式(1)等で表される最小可聴限特性lt(f)(dB)等と上記マスキングしきい値とを合成して、図3に示す最終のマスキングしきい値Mi(i=1,2,…,I、例えば、I=25)を各周波数帯域について決定する。この合成処理において、最小可聴限特性lt(f)(dB)と上記マスキングしきい値とのうち、大きい値の方を採用する。最小可聴限特性lt(f)は、テーブルROMに予め記憶しておいても良い。図3において、破線が合成されたマスキングカーブを示している。
lt(f)=−0.6×3.64×(f/1000)−0.8+6.5×exp{−0.6×(f/1000−3.3)2}−10−3×(f/1000)4 …(1)
なお、上記のfは周波数(Hz)である。
The minimum audible limit synthesizing unit 15 synthesizes the minimum audible limit characteristic lt (f) (dB) represented by the equation (1) and the like and the above masking threshold value to obtain the final masking threshold shown in FIG. A value Mi (i = 1, 2,..., I, for example, I = 25) is determined for each frequency band. In this synthesis process, the larger one of the minimum audible limit characteristic lt (f) (dB) and the masking threshold is adopted. The minimum audible limit characteristic lt (f) may be stored in advance in a table ROM. FIG. 3 shows a masking curve in which broken lines are synthesized.
lt (f) = − 0.6 × 3.64 × (f / 1000) −0.8 + 6.5 × exp {−0.6 × (f / 1000−3.3) 2 } −10 −3 × (F / 1000) 4 (1)
In addition, said f is a frequency (Hz).
量子化ビット数算出部16は、まず、i(周波数帯域のインデックス)毎に、帯域毎のパワー算出部13において算出されたスペクトルパワーSiと、最小可聴限合成部15において算出された各周波数帯域のマスキングしきい値Miとの比SMRi(式(2)参照)をすべての周波数帯域について算出する。
SMRi=Si/Mi …(2)
The quantization bit number calculation unit 16 firstly, for each i (frequency band index), the spectrum power Si calculated by the
SMRi = Si / Mi (2)
次に、量子化ビット数算出部16は、各周波数帯域の上記スペクトルパワーSiをnビット(n=0〜16)で量子化した場合の、当該スペクトルパワーSiと量子化雑音パワーNi(n)との比SNRi(n)(式(3)参照)を算出する。
SNRi(n)=Si/Ni(n) …(3)
上記比SNRi(n)は、統計的には、信号の特性に応じた定数(20×log102n)となるので、統計処理によって予め算出しておいても良い。
さらに、量子化ビット数算出部16は、上記比SNRi(n)と上記比SMRiとの比から、マスキングしきい値Miと量子化雑音パワーNi(n)との比MNRi(n)(式(4)参照)を算出する。
MNRi(n)=SNRi(n)/SMRi …(4)
Next, the quantization bit number calculation unit 16 quantizes the spectrum power Si and the quantization noise power Ni (n) when the spectrum power Si of each frequency band is quantized with n bits (n = 0 to 16). The ratio SNRi (n) (see equation (3)) is calculated.
SNRi (n) = Si / Ni (n) (3)
Since the ratio SNRi (n) is statistically a constant (20 × log 10 2 n ) corresponding to the signal characteristics, it may be calculated in advance by statistical processing.
Further, the quantization bit number calculation unit 16 calculates the ratio MNRi (n) (formula (N)) of the masking threshold value Mi and the quantization noise power Ni (n) from the ratio of the ratio SNRi (n) and the ratio SMRi. 4) is calculated.
MNRi (n) = SNRi (n) / SMRi (4)
これ以降、量子化ビット数算出部16は、上記ビット数nを0から順に大きくしてゆき、その都度、各周波数帯域のマスキングしきい値Miと量子化雑音パワーNi(n)との比MNRi(n)を算出し、当該比MNRi(n)が最小となる周波数帯域から順にビットを割り当ててゆき、上記ビット数nを更新する毎に、同様に比MNRi(n)が最小となる周波数帯域にビット割り当てを行い、所望のビットレートに応じた所定の割当可能ビット数となるまでビット割り当てを行う。すなわち、上記スペクトルパワーSiのうち、マスキングしきい値Miを超えた部分の長さが最も長い周波数帯域から順次ビット割り当てが行われることになる。このように算出された量子化ビット数WL(i)は、同一周波数帯域内のスペクトルに対し、同一に配分される。ただし、スペクトルパワーSiを基に、聴覚心理特性を利用するビット配分の方法は、これに限ったものではない。 Thereafter, the quantization bit number calculation unit 16 sequentially increases the bit number n from 0, and each time the ratio MNRi of the masking threshold value Mi and the quantization noise power Ni (n) in each frequency band. (N) is calculated, bits are allocated in order from the frequency band in which the ratio MNRi (n) is the smallest, and each time the number of bits n is updated, the frequency band in which the ratio MNRi (n) is similarly minimized. Bit allocation is performed until a predetermined number of allocatable bits corresponding to a desired bit rate is reached. That is, bit allocation is sequentially performed from the frequency band having the longest length of the spectrum power Si that exceeds the masking threshold Mi. The quantization bit number WL (i) calculated in this way is equally distributed to the spectrum in the same frequency band. However, the bit allocation method using the psychoacoustic characteristics based on the spectrum power Si is not limited to this.
一方、スケールファクタ算出部17は、時間周波数変換部12において直交変換された各周波数帯域の周波数成分のMDCT係数の絶対最大値(例えば、16ビット、フル振幅を0dBとする。)から約2dB毎にスケールファクタ(指標)(例えば、0dBの場合、60)を算出する。このスケールファクタは、スペクトル(MDCT係数)のスケール(大きさ)の因子を表しており、一般的には、量子化される周波数単位の中で、最大スペクトルの絶対値をコード化することにより算出される。すなわち、各周波数帯域のMDCT係数の絶対最大値をKmax(i)、その時のスケールファクタをSF(i)とすれば、式(5)を満たすスケールファクタSF(i)が算出される。
SF(i)×2−1/3≦Kmax(i)<SF(i) …(5)
On the other hand, the scale factor calculation unit 17 is approximately every 2 dB from the absolute maximum value (for example, 16 bits, full amplitude is 0 dB) of the MDCT coefficient of the frequency component of each frequency band orthogonally transformed by the time-
SF (i) × 2 −1/3 ≦ Kmax (i) <SF (i) (5)
量子化部18は、量子化ビット数算出部16において算出された各周波数帯域の量子化ビット数WL(i)と、スケールファクタ算出部17において算出されたスケールファクタSF(i)と、時間周波数変換部12において直交変換された各周波数帯域の周波数成分のMDCT係数K(m)とに基づいて、式(6)に示す量子化した量子化係数MK(m)を算出する。
MK(m)=Round{K(m)×(2WL(i)−1−1)/SF(i)} …(6)
式(6)において、mはMDCT係数のインデックス、iは量子化周波数帯域のインデックスを表しており、Roundは小数点以下を四捨五入する関数である。
The quantization unit 18 includes a quantization bit number WL (i) of each frequency band calculated by the quantization bit number calculation unit 16, a scale factor SF (i) calculated by the scale factor calculation unit 17, and a time frequency. Based on the MDCT coefficient K (m) of the frequency component of each frequency band orthogonally transformed in the
MK (m) = Round {K (m) × (2 WL (i) −1 −1) / SF (i)} (6)
In Expression (6), m represents an index of the MDCT coefficient, i represents an index of the quantization frequency band, and Round is a function that rounds off the decimal part.
パッキング部19は、量子化部18において量子化された量子化係数MK(m)、量子化ビット数算出部16において算出された各周波数帯域の量子化ビット数WL(i)、スケールファクタ算出部17において算出されたスケールファクタSF(i)をフレーム情報とともにパッキングした後、デジタルオーディオ符号化データCDADに符号化し、記録媒体3に記録する。
The
デジタルオーディオデータ復号化装置2は、アンパッキング部21と、逆量子化部22と、純音性判定部23と、切換部24と、補間処理部25と、周波数時間変換部26と、周波数帯域合成部27とを有している。アンパッキング部21は、記録媒体3から読み出されたデジタルオーディオ符号化データCDADを構成するフレーム情報に基づいて、量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)をアンパッキングする。
The digital audio
逆量子化部22は、量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を逆量子化するとともに、これらに基づいて、式(7)に示す逆量子化した、各周波数帯域の周波数成分の逆修正離散余弦変換(IMDCT;Inverse Modified Discrete Cosine Transform)係数I(m)(スペクトルデータ)を算出する。
I(m)=SF(i)×MK(m)/(2WL(i)−1−1) …(7)
式(7)において、mはIMDCT係数のインデックス、iは逆量子化周波数帯域のインデックスを表している。
The inverse quantization unit 22 inversely quantizes the quantization coefficient MK (m), the number of quantization bits WL (i), and the scale factor SF (i). Based on these, the inverse quantization shown in Expression (7) is performed. The inverse modified discrete cosine transform (IMDCT) coefficient I (m) (spectral data) of the frequency component of each frequency band is calculated.
I (m) = SF (i) × MK (m) / (2 WL (i) −1 −1) (7)
In Equation (7), m represents an IMDCT coefficient index, and i represents an inverse quantization frequency band index.
純音性判定部23は、逆量子化部22で逆量子化されたスケールファクタSF(i)の最大値SFmaxと平均値SFav(=ΣSFj/J)との差分値(SFmax−SFav)を求めるとともに、当該差分値(SFmax−SFav)の大小に基づいてデジタルオーディオ符号化データCDADの純音性の高低を判定し、その判定結果に基づいて切換部24の切換制御を行う。すなわち、純音性判定部23は、差分値(SFmax−SFav)が非常に大きい場合(例えば、70dBより大)に純音性が高いと判定し、切換部24に対して、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を周波数時間変換部26に供給するように制御する。一方、純音性判定部23は、差分値(SFmax−SFav)が例えば70dB以下の場合に、純音性が低いと判定し、切換部24に対して、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を補間処理部25に供給するように制御する。
Difference value of
ここで、純音性判定部23を設け、純音性の高いデジタルオーディオ符号化データCDADに後述する補間処理を施さない理由について説明する。正弦波のように純音性の高いデジタルオーディオ符号化データCDADの場合、極めて狭い帯域にデータビットが集中しているため、後述する補間処理を施すと、上記した物足りなさや違和感が解消されないばかりか却って音質が劣化してしまうのである。
なお、純音性判定部23の詳細については、例えば、特開2005−195983号公報を参照されたい。
Here, the reason why the pure
For details of the pure
切換部24は、純音性判定部23の制御の下、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を補間処理部25又は周波数時間変換部26のいずれかに供給する。補間処理部25は、量子化ビット数WL(i)が「0」ビット、「2」ビット又は「3」ビットであるIMDCT係数I(m)(スペクトルデータ)について補間する。周波数時間変換部26は、サブバンドフレーム毎に、補間処理部25又は逆量子化部22から供給されるIMDCT係数I(m)(スペクトルデータ)について、IMDCT処理を施すことにより、対応する時間軸のデータに直交変換する。周波数帯域合成部27は、帯域合成フィルタの1種である逆直交鏡像フィルタ(Inverse QMF;Quadrature Mirror Filter)を有し、入力された複数の周波数帯域(サブバンドフレーム)を帯域合成してデジタルオーディオデータDAD'に復号化する。
The switching
次に、補間処理部25の機能及び構成について説明する。この実施の形態1では、補間処理部25は、以下に示す処理を行う。
(1)量子化ビット数WL(i)が「2」ビット又は「3」ビットである帯域に関する補間処理
(a)量子化ビット数が「2」ビット又は「3」ビットに丸められている複数のスペクトルデータについて、量子化ビット数WL(i)が「4」ビット以上の他の帯域に存在する複数のスペクトルデータと自身の帯域に存在するスペクトルデータを用いて補正する。
(b)上記帯域は量子化ビット数WL(i)が「2」ビット又は「3」ビットにビット割り当てされているために、本来値を有すべきであるが、0に丸められているスペクトルデータについて、(a)で補正された複数のスペクトルデータと、量子化ビット数WL(i)が「4」ビット以上の他の帯域に存在する複数のスペクトルデータとを用いて補正する。
Next, the function and configuration of the
(1) Interpolation processing for a band in which the number of quantization bits WL (i) is “2” or “3” bits (a) A plurality of quantization bits that are rounded to “2” bits or “3” bits Is corrected using a plurality of spectrum data existing in other bands in which the number of quantization bits WL (i) is “4” bits or more and spectrum data existing in its own band.
(B) Since the quantization bit number WL (i) is bit-assigned to “2” bits or “3” bits, the band should originally have a value, but is a spectrum rounded to zero. The data is corrected using a plurality of spectrum data corrected in (a) and a plurality of spectrum data existing in other bands in which the quantization bit number WL (i) is “4” bits or more.
(2)圧縮符号化される段階において、比SMRiが、採用されるビットレートで定まるオフセット(しきい)値に対して小さいために、量子化ビット数WL(i)が「0」ビットとされた帯域に本来存在すべき複数のスペクトルデータに関する補正処理
(a)すべてのスペクトルデータについて、量子化ビット数WL(i)が「0」ビット以上の他の帯域に存在する複数のスペクトルデータを用いて補間する。
(b)量子化ビット数WL(i)が「2」ビット以上の他の帯域に存在する複数のスペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性lt(f)(dB)等とを合成して作製した合成マスキングカーブに基づいて、(a)における補間で得られたすべてのスペクトルデータの係数を補正する。
(3)(1)及び(2)の処理において、前のフレーム又は後のフレームのいずれか一方又は両方の同一帯域に複数のスペクトルデータが存在する場合には、これら複数のスペクトルデータを用いて補間する。
(2) Since the ratio SMRi is smaller than the offset (threshold) value determined by the employed bit rate at the stage of compression encoding, the number of quantization bits WL (i) is set to “0” bits. (A) For all the spectral data, a plurality of spectral data existing in other bands in which the quantization bit number WL (i) is “0” bits or more are used. To interpolate.
(B) Masking threshold value calculated using a plurality of spectral data existing in other bands in which the number of quantization bits WL (i) is “2” bits or more, the minimum audible limit characteristic lt (f) (dB), etc. Are corrected for all the spectral data coefficients obtained by the interpolation in (a).
(3) In the processes of (1) and (2), when there are a plurality of spectrum data in the same band of either one or both of the previous frame and the subsequent frame, the plurality of spectrum data are used. Interpolate.
次に、補間処理部25の構成について、図1を参照して説明する。補間処理部25は、量子化ビット数判定部31と、IMDCT係数1次補正部32と、1次ゲイン制御部33と、帯域毎のパワー算出部34と、マスキング算出部35と、最小可聴限合成部36と、MNR算出部37と、係数保存部38と、IMDCT係数2次補間部39と、2次ゲイン制御部40とから構成されている。
Next, the configuration of the
量子化ビット数判定部31は、入力されたIMDCT係数I(m)の量子化ビット数WL(i)が何ビットであるかを判定し、判定結果をIMDCT係数1次補正部32に供給する。IMDCT係数1次補正部32は、量子化ビット数WL(i)と、スケールファクタSF(i)と、逆量子化部22で逆量子化されたIMDCT係数I(m)(スペクトルデータ)とに基づいて、周波数領域において、量子化ビット数WL(i)が「2」ビット又は「3」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。ラグランジュ補間は、ある区間の全部の点を通る単一の補間多項式を算出する補間であり、既知のデータの間隔が等しくない場合でも目的の値を算出することができるという特徴がある。スプライン補間は、ある区間毎に分けてその区間毎に式を算出することにより与えられた全部の点を通る式を構成する区分的多項式を算出する補間の代表である。 The quantization bit number determination unit 31 determines how many bits the quantization bit number WL (i) of the input IMDCT coefficient I (m) is, and supplies the determination result to the IMDCT coefficient primary correction unit 32. . The IMDCT coefficient primary correction unit 32 converts the quantization bit number WL (i), the scale factor SF (i), and the IMDCT coefficient I (m) (spectrum data) dequantized by the inverse quantization unit 22. On the basis of the frequency domain, Lagrangian interpolation or spline interpolation is performed on the spectrum data whose quantization bit number WL (i) is “2” bits or “3” bits, and the existing quantized spectrum data is converted to the Lagrange interpolation or Replace with the spectrum data on the interpolation curve obtained by spline interpolation. Lagrangian interpolation is an interpolation that calculates a single interpolation polynomial that passes through all points in a certain section, and has a feature that a target value can be calculated even when known data intervals are not equal. Spline interpolation is a representative example of interpolation that calculates piecewise polynomials that form an expression that passes through all given points by dividing an expression into sections and calculating an expression for each section.
また、IMDCT係数1次補正部32は、量子化ビット数WL(i)と、スケールファクタSF(i)と、係数保存部38に保存された、前のフレームの補間処理後のIMDCT係数I(m)(スペクトルデータ)と、逆量子化部22で逆量子化されたIMDCT係数I(m)(スペクトルデータ)とに基づいて、前後のフレームの同一周波数について、量子化ビット数WL(i)が「2」ビット又は「3」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。この場合、IMDCT係数1次補正部32は、補正対象のスペクトルデータに隣接するスペクトルデータが前後のフレームの同一周波数及び同一フレームの隣接する周波数にともに存在する場合は、補正対象のスペクトルデータに隣接するスペクトルデータのうち、大きな振幅値を有するスペクトルデータに基づいて補正されたスペクトルデータを使用する。ここで、上記した「前後のフレームの同一周波数」とは、図3において、t1、t2、t3を各々のフレームの番号とし、被補間フレームをt2とすれば、被補間帯域がiの場合に、t1、t3の同一周波数の複数のIMDCT係数(スペクトル)であるIi(t1)、Ii(t3)を用いてIi(t2)の補間を行うことを示している。また、前記「同一フレームの隣接する周波数」とは、被補間フレームをt2とすれば、被補間帯域がiの場合に、Ii−1(t2)、Ii+1(t2)を用いてIi(t2)の補間を行うことを示している。図3において、実線はIiのスペクトルパワーを表している。 Further, the IMDCT coefficient primary correction unit 32 stores the IMDCT coefficient I (after the interpolation processing of the previous frame, which is stored in the quantization bit number WL (i), the scale factor SF (i), and the coefficient storage unit 38. m) (spectrum data) and the number of quantization bits WL (i) for the same frequency of the preceding and following frames based on the IMDCT coefficient I (m) (spectrum data) dequantized by the inverse quantization unit 22 Performs Lagrangian interpolation or spline interpolation on the spectrum data of “2” bits or “3” bits, and replaces the existing quantized spectrum data with the spectrum data on the interpolation curve obtained by the Lagrange interpolation or the spline interpolation. In this case, the IMDCT coefficient primary correction unit 32 adjoins the spectrum data to be corrected when the spectrum data adjacent to the spectrum data to be corrected exists at both the same frequency of the previous and subsequent frames and the adjacent frequency of the same frame. Among the spectral data to be processed, spectral data corrected based on spectral data having a large amplitude value is used. Here, the above-mentioned “same frequency of the preceding and following frames” refers to the case where the interpolated band is i, where t1, t2, and t3 are the numbers of the respective frames and the interpolated frame is t2. , T1 and t3 are interpolated with I i (t2) using I i (t1) and I i (t3) which are a plurality of IMDCT coefficients (spectrums) of the same frequency. The “adjacent frequency of the same frame” means that if the interpolated frame is t2, and the interpolated band is i, I i−1 (t2), I i + 1 (t2) is used to make I i It shows that the interpolation of (t2) is performed. In FIG. 3, the solid line represents the spectral power of I i .
1次ゲイン制御部33は、量子化係数MK(m)に関する上記した式(6)に基づいて、量子化係数MK(m)が、量子化ビット数WL(i)とスケールファクタSF(i)と量子化係数MK(m)から定まるMDCT係数K(m)の理論範囲に収まるように、IMDCT係数1次補正部32によって補正されたスペクトルデータの大きさを調整する。例えば、図4で示すように、量子化ビット数WL(i)が「2」ビットであり、スケールファクタSF(i)が25、量子化周波数帯域iのスペクトルデータの本数が6本である場合、補正処理前のスペクトルデータが0に丸められており、かつ、補正処理後のスペクトルデータが0.5×25を超える場合は、補正する範囲が0〜0.5×25に収まるように、ゲイン係数を決定し、補正された量子化周波数帯域iのすべてのスペクトルデータに乗算する。補正された範囲全体がMDCT係数K(m)の理論範囲に収まらない場合は、0.5×25又は0でクリップされる。図4において、×は量子化丸め前のスペクトルデータの値、○は量子化丸め後のスペクトルデータの値を表している。
The primary
帯域毎のパワー算出部34は、上記周波数帯域毎に設けられており、量子化ビット数判定部31から供給された判定結果が、入力されたIMDCT係数I(m)の量子化ビット数WL(i)が非零ビットであることを示す場合には、入力された対応する周波数帯域の周波数成分のIMDCT係数I(m)を2乗和等して、i個の各周波数帯域のスペクトルパワーSi(i=1,2,…,I、例えば、I=25)を算出する。ただし、このスペクトルパワーSiの算出方法については特に限定しない。ここで、上記周波数帯域には、臨界帯域(単位:Bark)等が用いられる。
The
マスキング算出部35は、帯域毎のパワー算出部34において算出された各々のスペクトルパワーSiが他の周波数帯に与える同時マスキング効果によるマスキングしきい値を算出し、その最大値を当該スペクトルパワーSiに対するマスキングしきい値とする。このマスキングしきい値は、後述するIMDCT係数2次補間部39での補間において、データの値が振動することがあるが、それを抑止する効果がある。最小可聴限合成部36は、式(1)等で表される最小可聴限特性lt(f)(dB)等と上記マスキング算出部35において算出された上記マスキングしきい値とを合成して、図3に示す最終のマスキングしきい値Mi(i=1,2,…,I、例えば、I=25)を各周波数帯域について決定する。最小可聴限特性lt(f)は、テーブルROMに予め記憶しておいても良い。
The masking calculation unit 35 calculates a masking threshold value due to the simultaneous masking effect that each spectrum power Si calculated in the
MNR算出部37は、入力された量子化ビット数WL(i)が上記した式(4)に基づいて線形変換されたものであると仮定し、すなわち、圧縮符号化時に採用されたビットレートで定まるマスキングしきい値に基づいて機械的にビット割り当てが行われていると仮定し、この量子化ビット数WL(i)に基づいて周波数帯域毎のMNRi(n)の範囲を算出する。式(4)において、比SNRi(n)は、上記したように、統計的には、信号の特性に応じた定数(20×log102n)となるので、統計処理によって予め算出しておいても良い。これにより、例えば、量子化ビット数WL(i)が「3」ビットである場合には、MNRi(n)は、6dBより大きく、12dB以下となる。
The
MNR算出部37は、まず、i(周波数帯域のインデックス)毎に、帯域毎のパワー算出部34において算出されたスペクトルパワーSiと、最小可聴限合成部36において算出された各周波数帯域のマスキングしきい値Miとの比SMRi(上記式(2)参照)をすべての周波数帯域について算出する。次に、MNR算出部37は、各周波数帯域の上記スペクトルパワーSiをnビット(n=0〜16)で量子化した場合の、当該スペクトルパワーSiと量子化雑音パワーNi(n)との比SNRi(n)(上記式(3)参照)を算出する。
上記比SNRi(n)は、上記したように、統計的には、信号の特性に応じた定数(20×log102n)となるので、統計処理によって予め算出しておいても良い。
さらに、MNR算出部37は、上記比SNRi(n)と上記比SMRiとの比から、マスキングしきい値Miと量子化雑音パワーNi(n)との比MNRi(n)(上記式(4)参照)を算出し、算出された周波数帯域毎のMNRi(n)の範囲のうち、量子化ビット数WL(i)が、すべての周波数帯域についてのMNRi(n)の範囲に含まれるように、全体のMNRi(n)のオフセットを調整する。このオフセット値は、上記線形変換の際の切片を表している。
The
As described above, the ratio SNRi (n) is statistically a constant (20 × log 10 2 n ) corresponding to the characteristics of the signal, and may be calculated in advance by statistical processing.
Further, the
係数保存部38は、例えば、RAMやフラッシュメモリ等の半導体メモリ、FD(フレキシブルディスク)が装着されるFDドライブ、HDが装着されるHDドライブ、MO(光磁気)ディスクが装着されるMOディスクドライブ、CD−R(Recordable)、CD−RW(ReWritable)やDVD−R、DVD−RW等が装着されるCD/DVDドライブ等からなる。係数保存部38には、前又は後のフレームのいずれか一方又は両方の補間処理後のIMDCT係数I(m)(スペクトルデータ)が保存される。 The coefficient storage unit 38 includes, for example, a semiconductor memory such as a RAM and a flash memory, an FD drive to which an FD (flexible disk) is mounted, an HD drive to which an HD is mounted, and an MO disk drive to which an MO (magneto-optical) disk is mounted. CD-R (Recordable), CD-RW (ReWritable), DVD-R, DVD-RW, etc., a CD / DVD drive or the like. The coefficient storage unit 38 stores the IMDCT coefficient I (m) (spectral data) after the interpolation processing of either one or both of the previous and subsequent frames.
IMDCT係数2次補間部39は、量子化ビット数WL(i)が「0」ビット、すなわち無音の帯域について、逆量子化部22で逆量子化されたIMDCT係数I(m)の有音スペクトルデータと、IMDCT係数1次補正及び1次ゲイン制御がそれぞれ施された有音スペクトルデータ、及び「0」ビットの帯域のいずれかの無音スペクトルデータを用いて、ラグランジュ補間又はスプライン補間を行い、有音化する。 The IMDCT coefficient secondary interpolation unit 39 has a quantized bit number WL (i) of “0” bits, that is, a sound spectrum of the IMDCT coefficient I (m) dequantized by the inverse quantization unit 22 for a silent band. The Lagrange interpolation or spline interpolation is performed using the data, the sound spectrum data subjected to the IMDCT coefficient primary correction and the primary gain control, and the silence spectrum data in any band of “0” bit. Sound.
ゲイン制御部40は、IMDCT係数2次補間部39によって補間された「0」ビットの帯域のスペクトルデータが、MNR算出部37において算出されたMNRi(n)以下の値に収まるように、補間されたスペクトルデータに乗算する係数を決定し、補正された量子化周波数帯域iのすべてのスペクトルデータに乗算する。
The
次に、上記構成を有するデジタルオーディオ記録再生システムの動作のうち、まず、デジタルオーディオデータ復号化装置2の動作の概略について説明する。図示せぬスピンドルモータにより回転駆動される図示せぬターンテーブルに記録媒体3がセットされると、スピンドルモータは、記録媒体3を回転駆動する。これにより、アンパッキング部21は、記録媒体3から読み出されたデジタルオーディオ符号化データCDADを構成するフレーム情報に基づいて、量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)をアンパッキングする。
Next, out of the operations of the digital audio recording / reproducing system having the above configuration, the outline of the operation of the digital audio
次に、逆量子化部22は、量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を逆量子化するとともに、これらに基づいて、上記した式(7)に示す逆量子化した各周波数帯域の周波数成分のIMDCT係数I(m)を算出する。また、純音性判定部23は、逆量子化部22で逆量子化されたスケールファクタSF(i)の最大値SFmaxと平均値SFavとの差分値(SFmax−SFav)を求めるとともに、差分値(SFmax−SFav)が非常に大きい場合(例えば、70dBより大)に純音性が高いと判定し、切換部24に対して、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を補間処理部25に供給するように制御する。一方、純音性判定部23は、差分値(SFmax−SFav)が例えば70dB以下の場合に、純音性が低いと判定し、切換部24に対して、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を周波数時間変換部26に供給するように制御する。
Next, the inverse quantization unit 22 inversely quantizes the quantization coefficient MK (m), the number of quantization bits WL (i), and the scale factor SF (i), and based on these, the above formula (7 ) To calculate the IMDCT coefficient I (m) of the frequency component of each frequency band obtained by inverse quantization. The pure
これにより、純音性判定部23において純音性が低いと判定された場合には、切換部24は、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を補間処理部25に供給する。従って、補間処理部25は、純音性判定部23において純音性が低いと判定された場合には、量子化ビット数WL(i)が「0」ビット、「2」ビット又は「3」ビットであるIMDCT係数I(m)(スペクトルデータ)について補間する。
Thereby, when the pure
そして、周波数時間変換部26は、純音性判定部23において純音性が低いと判定された場合には、サブバンドフレーム毎に、補間処理部25から供給されるIMDCT係数I(m)(スペクトルデータ)について、IMDCT処理を施すことにより、対応する時間軸のデータに直交変換する。一方、純音性判定部23において純音性が高いと判定された場合には、周波数時間変換部26は、サブバンドフレーム毎に、逆量子化部22から切換部24を経て供給される供給されるIMDCT係数I(m)(スペクトルデータ)について、IMDCT処理を施すことにより、対応する時間軸のデータに直交変換する。次に、周波数帯域合成部27は、入力された複数の周波数帯域(サブバンドフレーム)を帯域合成してデジタルオーディオデータDAD'に復号化する。
When the pure
以下、補間処理部25の動作についてより具体的に説明する。
まず、量子化ビット数判定部31は、逆量子化されたIMDCT係数I(m)の量子化ビット数WL(i)が何ビットであるかを判定し、判定結果をIMDCT係数1次補正部32に供給する。IMDCT係数1次補正部32は、量子化ビット数WL(i)と、スケールファクタSF(i)と、逆量子化部22で逆量子化されたIMDCT係数I(m)(スペクトルデータ)とに基づいて、周波数領域において、量子化ビット数WL(i)が「2」ビット又は「3」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。
Hereinafter, the operation of the
First, the quantization bit number determination unit 31 determines the number of quantization bits WL (i) of the dequantized IMDCT coefficient I (m), and the determination result is used as the IMDCT coefficient primary correction unit. 32. The IMDCT coefficient primary correction unit 32 converts the quantization bit number WL (i), the scale factor SF (i), and the IMDCT coefficient I (m) (spectrum data) dequantized by the inverse quantization unit 22. On the basis of the frequency domain, Lagrangian interpolation or spline interpolation is performed on the spectrum data whose quantization bit number WL (i) is “2” bits or “3” bits, and the existing quantized spectrum data is converted to the Lagrange interpolation or Replace with the spectrum data on the interpolation curve obtained by spline interpolation.
また、IMDCT係数1次補正部32は、量子化ビット数WL(i)と、スケールファクタSF(i)と、係数保存部38に保存された、前のフレームの補間処理後のIMDCT係数I(m)(スペクトルデータ)と、逆量子化部22で逆量子化されたIMDCT係数I(m)(スペクトルデータ)とに基づいて、前後のフレームの同一周波数について、量子化ビット数WL(i)が「2」ビット又は「3」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。この場合、IMDCT係数1次補正部32は、補正対象のスペクトルデータに隣接するスペクトルデータが前後のフレームの同一周波数及び同一フレームの隣接する周波数にともに存在する場合は、補正対象のスペクトルデータに隣接するスペクトルデータのうち、大きな振幅値を有するスペクトルデータに基づいて補正されたスペクトルデータを使用する。 Further, the IMDCT coefficient primary correction unit 32 stores the IMDCT coefficient I (after the interpolation processing of the previous frame, which is stored in the quantization bit number WL (i), the scale factor SF (i), and the coefficient storage unit 38. m) (spectrum data) and the number of quantization bits WL (i) for the same frequency of the preceding and following frames based on the IMDCT coefficient I (m) (spectrum data) dequantized by the inverse quantization unit 22 Performs Lagrangian interpolation or spline interpolation on the spectrum data of “2” bits or “3” bits, and replaces the existing quantized spectrum data with the spectrum data on the interpolation curve obtained by the Lagrange interpolation or the spline interpolation. In this case, the IMDCT coefficient primary correction unit 32 adjoins the spectrum data to be corrected when the spectrum data adjacent to the spectrum data to be corrected exists at both the same frequency of the previous and subsequent frames and the adjacent frequency of the same frame. Among the spectral data to be processed, spectral data corrected based on spectral data having a large amplitude value is used.
1次ゲイン制御部33は、量子化係数MK(m)に関する上記した式(6)に基づいて、量子化係数MK(m)が、量子化ビット数WL(i)とスケールファクタSF(i)と量子化係数MK(m)から定まるMDCT係数K(m)の理論範囲に収まるように、IMDCT係数1次補正部32によって補正されたスペクトルデータの大きさを調整する。例えば、図4で示すように、量子化ビット数WL(i)が「2」ビットであり、スケールファクタSF(i)が25、量子化周波数帯域iのスペクトルデータの本数が6本である場合、補正処理前のスペクトルデータが0に丸められており、かつ、補正処理後のスペクトルデータが0.5×25を超える場合は、補正する範囲が0〜0.5×25に収まるように、ゲイン係数を決定し、補正された量子化周波数帯域iのすべてのスペクトルデータに乗算する。補正された範囲全体がMDCT係数K(m)の理論範囲に収まらない場合は、0.5×25又は0でクリップされる。
The primary
上記周波数帯域毎に設けられた帯域毎のパワー算出部34は、量子化ビット数判定部31から供給された判定結果が、入力されたIMDCT係数I(m)の量子化ビット数WL(i)が非零ビットであることを示す場合には、入力された対応する周波数帯域の周波数成分のIMDCT係数I(m)を2乗和等して、i個の各周波数帯域のスペクトルパワーSiをそれぞれ算出する。
The
マスキング算出部35は、帯域毎のパワー算出部34において算出された各々のスペクトルパワーSiに基づいて、マスキングしきい値を算出する。最小可聴限合成部36は、上記した式(1)等で表される最小可聴限特性lt(f)等と上記マスキング算出部35において算出された上記マスキングしきい値とを合成して、図3に示す最終のマスキングしきい値Miを各周波数帯域について決定する。
The masking calculation unit 35 calculates a masking threshold value based on each spectrum power Si calculated by the
MNR算出部37は、入力された量子化ビット数WL(i)が上記した式(4)に基づいて線形変換されたものであると仮定し、量子化ビット数WL(i)に基づいて周波数帯域毎のMNRi(n)の範囲を算出する。例えば、量子化ビット数WL(i)が「3」ビットである場合には、MNRi(n)は、6dBより大きく、12dB以下であるとする。
The
MNR算出部37は、まず、i毎に、帯域毎のパワー算出部34において算出されたスペクトルパワーSiと、最小可聴限合成部36において算出された各周波数帯域のマスキングしきい値Miとの比SMRi(上記式(2)参照)をすべての周波数帯域について算出する。次に、MNR算出部37は、各周波数帯域の上記スペクトルパワーSiをnビット(n=0〜16)で量子化した場合の、当該スペクトルパワーSiと量子化雑音パワーNi(n)との比SNRi(n)(上記式(3)参照)を算出する。
さらに、MNR算出部37は、上記比SNRi(n)と上記比SMRiとの比から、マスキングしきい値Miと量子化雑音パワーNi(n)との比MNRi(n)(上記式(4)参照)を算出し、算出された周波数帯域毎のMNRi(n)の範囲のうち、量子化ビット数WL(i)が、すべての周波数帯域についてのMNRi(n)の範囲に含まれるように、全体のMNRi(n)のオフセットを調整する。このオフセット値は、上記線形変換の際の切片を表している。
First, for each i, the
Further, the
係数保存部38には、前又は後のフレームのいずれか一方又は両方の補間処理後のIMDCT係数I(m)(スペクトルデータ)が保存される。 The coefficient storage unit 38 stores the IMDCT coefficient I (m) (spectral data) after the interpolation processing of either one or both of the previous and subsequent frames.
IMDCT係数2次補間部39は、量子化ビット数WL(i)が「0」ビット、すなわち無音の帯域について、逆量子化部22で逆量子化されたIMDCT係数I(m)の有音スペクトルデータと、IMDCT係数1次補正及び1次ゲイン制御がそれぞれ施された有音スペクトルデータ、及び「0」ビットの帯域のいずれかの無音スペクトルデータを用いて、ラグランジュ補間又はスプライン補間を行い、有音化する。 The IMDCT coefficient secondary interpolation unit 39 has a quantized bit number WL (i) of “0” bits, that is, a sound spectrum of the IMDCT coefficient I (m) dequantized by the inverse quantization unit 22 for a silent band. The Lagrange interpolation or spline interpolation is performed using the data, the sound spectrum data subjected to the IMDCT coefficient primary correction and the primary gain control, and the silence spectrum data in any band of “0” bit. Sound.
ゲイン制御部40は、IMDCT係数2次補間部39によって補間された「0」ビットの帯域のスペクトルデータが、MNR算出部37において算出されたMNRi(n)以下の値に収まるように、補間されたスペクトルデータに乗算する係数を決定し、補正された量子化周波数帯域iのすべてのスペクトルデータに乗算する。
The
以上説明したように、補間処理部25では、以下に示す処理が行われている。
(1)量子化ビット数WL(i)が「2」ビット又は「3」ビットである帯域に関する補間処理
(a)量子化ビット数WL(i)が「4」ビット以上の他の帯域に存在する複数のスペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータと自身の帯域に存在するスペクトルデータとに基づいて、量子化ビット数が「2」ビット又は「3」ビットに丸められている複数のスペクトルデータを補正する。さらに、上記補正されたスペクトルデータがスケールファクタSF(i)及び量子化ビット数WL(i)で定まる範囲内に存在する場合には、上記補間及び係数乗算により得られたスペクトルデータをそのまま採用し、上記範囲外に存在する場合には、上記範囲内の値に補正する。
(b)上記帯域が量子化ビット数WL(i)が「2」ビット又は「3」ビットにビット割り当てされているために、本来値を有すべきであるが、0に丸められているスペクトルデータについて、(a)で補間及び補正された複数のスペクトルデータと、量子化ビット数WL(i)が「4」ビット以上の他の帯域に存在する複数のスペクトルデータとを用いて、(a)と同様に、補正する。
As described above, the
(1) Interpolation processing for a band in which the number of quantization bits WL (i) is “2” or “3” bits (a) The number of quantization bits WL (i) exists in another band of “4” bits or more The number of quantization bits is rounded to “2” bits or “3” bits based on the plurality of spectrum data having the maximum value and the next value among the plurality of spectrum data to be processed and the spectrum data existing in its own band. The plurality of spectral data being corrected is corrected. Furthermore, when the corrected spectral data is within a range determined by the scale factor SF (i) and the quantization bit number WL (i), the spectral data obtained by the interpolation and coefficient multiplication are used as they are. If it is outside the above range, it is corrected to a value within the above range.
(B) Since the quantization band number WL (i) is assigned to “2” bits or “3” bits in the above band, the spectrum should originally have a value but is rounded to zero With respect to the data, a plurality of spectrum data interpolated and corrected in (a) and a plurality of spectrum data existing in other bands in which the quantization bit number WL (i) is “4” bits or more are used (a Correct as in ().
(2)圧縮符号化される段階において、比SMRiが、採用されるビットレートで定まるオフセット(しきい)値に対して小さいために、量子化ビット数WL(i)が「0」ビットとされた帯域に本来存在すべき複数のスペクトルデータに関する補正処理
(a)すべてのスペクトルデータについて、量子化ビット数WL(i)が「2」ビット以上の他の帯域に存在する複数のスペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータに基づいて、無音の周波数帯域iを補間する。
(b)量子化ビット数WL(i)が「2」ビット以上の他の帯域に存在するスペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性lt(f)(dB)を合成して合成マスキングカーブを作製する。上記(a)で補間した帯域iのスペクトルデータのパワー値を上記合成マスキングカーブで除算して得た比SMRiが、圧縮符号化時にWL(i)を「0」にしたと想定されるオフセット(しきい)値より小さい場合には、上記(a)で補間した帯域iに存在するスペクトルデータをそのまま採用し、上記オフセット(しきい)値より大きい場合には、上記(a)で求めた帯域iに存在するスペクトルデータの係数を補正する。
(3)(1)及び(2)の処理において、前のフレーム又は後のフレームのいずれか一方又は両方の同一帯域に複数のスペクトルデータが存在する場合には、これら複数のスペクトルデータを用いて補間する。
(2) Since the ratio SMRi is smaller than the offset (threshold) value determined by the employed bit rate at the stage of compression encoding, the number of quantization bits WL (i) is set to “0” bits. (A) For all spectrum data, among the plurality of spectrum data existing in other bands where the number of quantization bits WL (i) is “2” bits or more. The silent frequency band i is interpolated based on a plurality of spectrum data having the maximum value and the next value.
(B) A masking threshold value calculated using spectral data existing in another band having a quantization bit number WL (i) of “2” bits or more and a minimum audible limit characteristic lt (f) (dB) are synthesized. To create a composite masking curve. The ratio SMRi obtained by dividing the power value of the spectrum data of the band i interpolated in (a) above by the composite masking curve is assumed to have offset ((0)) that WL (i) is set to “0” at the time of compression encoding ( When the value is smaller than the threshold value, the spectrum data existing in the band i interpolated in the above (a) is used as it is, and when it is larger than the above offset (threshold) value, the band obtained in the above (a). The coefficient of the spectrum data existing in i is corrected.
(3) In the processes of (1) and (2), when there are a plurality of spectrum data in the same band of either one or both of the previous frame and the subsequent frame, the plurality of spectrum data are used. Interpolate.
このように、本発明の実施の形態1によれば、量子化分解能が2値、4値等の低いスペクトルの分解能を高めることができ、マスキング効果が高いスペクトルデータの量子化ビット数を小さくするという圧縮符号化の手法(アルゴリズム)を可能な限り流用することにより、圧縮されたデジタルデータを復号化する際に、符号化時に削除されたスペクトルの情報を、物足りなさや違和感を受けることなく、補間することができる。この結果、再生された楽音や音声等からなるアナログ信号は高品質である。 As described above, according to the first embodiment of the present invention, the resolution of a spectrum having a low quantization resolution such as binary or quaternary can be increased, and the number of quantization bits of spectrum data having a high masking effect can be reduced. By using the compression encoding method (algorithm) as much as possible, when decoding compressed digital data, the spectrum information deleted during encoding is interpolated without being unsatisfactory or uncomfortable. can do. As a result, the analog signal made up of reproduced musical sounds, voices, etc. is of high quality.
また、本発明の実施の形態1によれば、比MNRi(n)を算出し、この比MNRi(n)に基づいて、補間された複数のスペクトルデータに乗算すべき係数を決定しているので、如何なるビットレートの圧縮符号化であっても、無音のスペクトルデータの大きさを適切に補間することができる。 Further, according to the first embodiment of the present invention, the ratio MNRi (n) is calculated, and the coefficient to be multiplied with the plurality of interpolated spectrum data is determined based on the ratio MNRi (n). Any compression rate encoding of the bit rate can appropriately interpolate the size of silent spectrum data.
実施の形態2.
上述の実施の形態1においては、デジタルオーディオデータ復号化装置2をハードウェアで構成した例を示したが、これに限定されない。すなわち、上記デジタルオーディオデータ復号化装置2のうち、補間処理部25を、CPU(中央処理装置)と、ROMやRAM等の内部記憶装置と、FDドライブ、HDドライブ、MOディスクドライブ、CD/DVDドライブ等の外部記憶装置と、出力手段と、入力手段とを有するコンピュータによって構成しても良い。そして、CPUの機能が補間処理プログラムとして、ROM等の半導体メモリや、FD、HDやCD−ROM等の記憶媒体に記憶されていると構成しても良い。この場合、上記内部記憶装置、あるいは外部記憶装置が係数保存部38となり、補間処理プログラムは、記憶媒体からCPUに各々読み込まれ、CPUの動作を制御する。補間処理プログラムが起動されると、CPUは上記補間処理部25を構成する量子化ビット数判定部31と、IMDCT係数1次補正部32と、1次ゲイン制御部33と、帯域毎のパワー算出部34と、マスキング算出部35と、最小可聴限合成部36と、MNR算出部37と、IMDCT係数2次補間部39と、2次ゲイン制御部40として機能し、補間処理プログラムの制御により、上記した処理を実行するのである。
In the above-described first embodiment, the example in which the digital audio
以上、本発明の実施の形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
例えば、上述の各実施の形態では、本発明は、ATRAC方式が適用されたデジタルオーディオ記録再生システムに適用する例を示したが、これに限定されない。本発明は、IMDCT係数I(m)(スペクトルデータ)、量子化ビット数WL(i)及びスケールファクタSF(i)があれば良いので、例えば、MP3(MPEG Audio Layer-3)方式、AAC(Advanced Audio Coding)方式、あるいはWMA(Windows Media Audio)(Windowsは登録商標)方式等の音声圧縮符号化技術が適用されたデジタルオーディオ記録再生システムにも適用することができる。
As described above, the embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to these embodiments, and the design can be changed without departing from the scope of the present invention. Is included in the present invention.
For example, in each of the above-described embodiments, the present invention is applied to a digital audio recording / reproducing system to which the ATRAC system is applied. However, the present invention is not limited to this. In the present invention, the IMDCT coefficient I (m) (spectral data), the number of quantization bits WL (i), and the scale factor SF (i) may be used. For example, the MP3 (MPEG Audio Layer-3) system, AAC ( The present invention can also be applied to a digital audio recording / reproducing system to which an audio compression encoding technique such as an Advanced Audio Coding (WMA) method or a WMA (Windows Media Audio) (Windows is a registered trademark) method is applied.
また、上述の各実施の形態では、量子化ビット数は、0〜16ビットである例を示したが、これに限定されず、量子化ビット数は、何ビットでも良い。また、量子化係数がハフマン符号により符号化された方式にも適応することができる。これと関連して、上述の各実施の形態では、量子化ビット数WL(i)が「0」ビット、「2」ビット又は「3」ビットである帯域に関する補間処理を行う例を示したが、これに限定されず、量子化ビット数WL(i)が「4」ビット以上である帯域に関する補間処理を行うようにしても良い。 Further, in each of the above-described embodiments, the example in which the number of quantization bits is 0 to 16 bits is shown, but the present invention is not limited to this, and the number of quantization bits may be any number. Further, the present invention can also be applied to a method in which the quantization coefficient is encoded by a Huffman code. In relation to this, in each of the above-described embodiments, an example is shown in which interpolation processing is performed for a band in which the number of quantization bits WL (i) is “0” bits, “2” bits, or “3” bits. However, the present invention is not limited to this, and interpolation processing relating to a band in which the number of quantization bits WL (i) is “4” bits or more may be performed.
また、上述の各実施の形態では、本発明をミニディスク(MD)等の記録媒体に記録された圧縮されたデジタルオーディオデータから圧縮されていないデジタルオーディオデータを復号化する場合に適用する例を示したが、これに限定されない。本発明は、例えば、通常の生活者レベル程度の速度で変化するアナログビデオ信号を、視覚心理特性等に基づいて、デジタルビデオデータに圧縮符号化した後、記録媒体に記録し、記録媒体から読み出された圧縮符号化されたデジタルビデオデータを圧縮されていないデジタルビデオデータに復号化する場合にも適用することができる。 In each of the above-described embodiments, the present invention is applied to a case where uncompressed digital audio data is decoded from compressed digital audio data recorded on a recording medium such as a mini disk (MD). Although shown, it is not limited to this. The present invention, for example, compresses and encodes an analog video signal that changes at a speed similar to that of a normal consumer level into digital video data based on visual psychological characteristics, etc., and then records and reads the recorded video from the recording medium. The present invention can also be applied to the case where the output compression-coded digital video data is decoded into uncompressed digital video data.
また、上述の各実施の形態では、記録媒体としてミニディスク(MD)を用いる例を示したが、これに限定されず、記録媒体は、例えば、コンパクトディスク(CD)、DVD(Digital Versatile Disk)、ハードディスク(HD)、あるいはフラッシュメモリなどの半導体メモリでも良い。
また、上述の各実施の形態では、符号化デジタルデータを生成するための変換方法としては、MDCTを挙げたが、DCTといった直交変換する変換方法であれば本発明が適用可能である。
また、上述の各実施の形態では、マスキングとして同時マスキングを用いる例を示したが、これに限定されず、経時マスキングを用いたり、同時マスキング及び経時マスキングの両方を用いたりしても良い。
In each of the embodiments described above, an example in which a mini disk (MD) is used as a recording medium has been described. However, the present invention is not limited to this, and the recording medium may be, for example, a compact disk (CD) or a DVD (Digital Versatile Disk). A semiconductor memory such as a hard disk (HD) or a flash memory may be used.
In each of the above-described embodiments, MDCT is used as a conversion method for generating encoded digital data. However, the present invention can be applied to any conversion method that performs orthogonal transform such as DCT.
Further, in each of the above-described embodiments, an example in which simultaneous masking is used as masking has been described. However, the present invention is not limited to this, and temporal masking may be used, or both simultaneous masking and temporal masking may be used.
1 デジタルオーディオデータ符号化装置
2 デジタルオーディオデータ復号化装置
3 記録媒体
11 周波数帯域分割部
12 時間周波数変換部
13,34 帯域毎のパワー算出部
14,35 マスキング算出部
15,36 最小可聴限合成部
16 量子化ビット数算出部
17 スケールファクタ算出部
18 量子化部
19 パッキング部
21 アンパッキング部
22 逆量子化部
23 純音性判定部
24 切換部
25 補間処理部(補正処理部)
26 周波数時間変換部
27 周波数帯域合成部
31 量子化ビット数判定部
32 IMDCT係数1次補正部
33 1次ゲイン制御部
37 MNR算出部
38 係数保存部
39 IMDCT係数2次補間部
40 2次ゲイン制御部
DESCRIPTION OF
26 Frequency time conversion unit 27 Frequency band synthesis unit 31 Quantization bit number determination unit 32 IMDCT coefficient
Claims (4)
量子化ビット割り当てが小さい前記周波数帯域に存在する前記スペクトルデータを、当該周波数帯域に存在する前記スペクトルデータ又は、前記量子化ビット割り当てが大きい前記周波数帯域に存在する前記スペクトルデータを用いて補正する補正処理部を具備することを特徴とするデジタルデータ復号化装置。 A digital data decoding apparatus that decodes spectrum data that is divided into a plurality of frequency bands and is quantized and encoded for each frequency band based on an index set for each frequency band,
Correction for correcting the spectrum data existing in the frequency band having a small quantization bit allocation using the spectrum data existing in the frequency band or the spectrum data existing in the frequency band having a large quantization bit allocation A digital data decoding apparatus comprising a processing unit.
前記補正で得られたスペクトルデータが前記指標及び量子化ビット数で定まる範囲外に存在する場合には、前記補正で得られたスペクトルデータの値を、前記指標及び量子化ビット数に基づいて前記範囲内の値に再補正することを特徴とする請求項1に記載のデジタルデータ復号化装置。 The correction processing unit
When the spectrum data obtained by the correction exists outside the range determined by the index and the number of quantization bits, the value of the spectrum data obtained by the correction is calculated based on the index and the number of quantization bits. The digital data decoding apparatus according to claim 1, wherein the digital data decoding apparatus recorrects the value within a range.
量子化ビット割り当てが小さい前記周波数帯域において、0に丸められているスペクトルデータを、前記補正で得られたスペクトルデータと、前記量子化ビット割り当てが大きい前記周波数帯域に存在する前記スペクトルデータとを用いて補間することを特徴とする請求項1又は2のいずれかに記載のデジタルデータ復号化装置。 The correction processing unit
Spectral data rounded to zero in the frequency band with a small quantization bit allocation is used as the spectral data obtained by the correction and the spectral data present in the frequency band with a large quantization bit allocation. The digital data decoding apparatus according to claim 1, wherein the digital data decoding apparatus performs interpolation.
前記補正を、量子化ビット割り当てが大きい前記周波数帯域に存在する複数の前記スペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータを用いて行うことを特徴とする請求項1又は3のいずれかに記載のデジタルデータ復号化装置。 The correction processing unit
4. The correction is performed using a plurality of spectrum data having a maximum value and a value next to the maximum value among the plurality of spectrum data existing in the frequency band having a large quantization bit allocation. The digital data decoding device according to any one of the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006062339A JP4641272B2 (en) | 2006-03-08 | 2006-03-08 | Digital data decoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006062339A JP4641272B2 (en) | 2006-03-08 | 2006-03-08 | Digital data decoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007240823A true JP2007240823A (en) | 2007-09-20 |
JP4641272B2 JP4641272B2 (en) | 2011-03-02 |
Family
ID=38586435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006062339A Expired - Fee Related JP4641272B2 (en) | 2006-03-08 | 2006-03-08 | Digital data decoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4641272B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013007944A (en) * | 2011-06-27 | 2013-01-10 | Sony Corp | Signal processing apparatus, signal processing method, and program |
WO2013180164A1 (en) * | 2012-05-30 | 2013-12-05 | 日本電信電話株式会社 | Coding method, coding device, program, and recording medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001102930A (en) * | 1999-09-27 | 2001-04-13 | Pioneer Electronic Corp | Method and device for correcting quantization error, and method and device for decoding audio information |
JP2004134900A (en) * | 2002-10-09 | 2004-04-30 | Matsushita Electric Ind Co Ltd | Decoding apparatus and method for coded signal |
-
2006
- 2006-03-08 JP JP2006062339A patent/JP4641272B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001102930A (en) * | 1999-09-27 | 2001-04-13 | Pioneer Electronic Corp | Method and device for correcting quantization error, and method and device for decoding audio information |
JP2004134900A (en) * | 2002-10-09 | 2004-04-30 | Matsushita Electric Ind Co Ltd | Decoding apparatus and method for coded signal |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013007944A (en) * | 2011-06-27 | 2013-01-10 | Sony Corp | Signal processing apparatus, signal processing method, and program |
US9324334B2 (en) | 2011-06-27 | 2016-04-26 | Sony Corporation | Signal processing apparatus, signal processing method, and program |
WO2013180164A1 (en) * | 2012-05-30 | 2013-12-05 | 日本電信電話株式会社 | Coding method, coding device, program, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP4641272B2 (en) | 2011-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5048697B2 (en) | Encoding device, decoding device, encoding method, decoding method, program, and recording medium | |
JP3926726B2 (en) | Encoding device and decoding device | |
JP2004264814A (en) | Technical innovation in pure lossless audio speech compression | |
JP2006011456A (en) | Method and device for coding/decoding low-bit rate and computer-readable medium | |
JP2010079275A (en) | Device and method for expanding frequency band, device and method for encoding, device and method for decoding, and program | |
JP2005202248A (en) | Audio encoding device and frame region allocating circuit of audio encoding device | |
JPH08237132A (en) | Signal coding method and device, signal decoding method and device, and information recording medium and information transmission method | |
JPH08190764A (en) | Method and device for processing digital signal and recording medium | |
WO2003096325A1 (en) | Coding method, coding device, decoding method, and decoding device | |
JP4760278B2 (en) | Interpolation device, audio playback device, interpolation method, and interpolation program | |
JP3964860B2 (en) | Stereo audio encoding method, stereo audio encoding device, stereo audio decoding method, stereo audio decoding device, and computer-readable recording medium | |
JP2004198485A (en) | Device and program for decoding sound encoded signal | |
JP2008033269A (en) | Digital signal processing device, digital signal processing method, and reproduction device of digital signal | |
WO2004044891A1 (en) | Music information encoding device and method, and music information decoding device and method | |
JP4649351B2 (en) | Digital data decoding device | |
JP4627737B2 (en) | Digital data decoding device | |
JP2006293400A (en) | Encoding device and decoding device | |
JP4641272B2 (en) | Digital data decoding device | |
JP3776004B2 (en) | Encoding method of digital data | |
JP3984468B2 (en) | Encoding device, decoding device, and encoding method | |
JP3942882B2 (en) | Digital signal encoding apparatus and digital signal recording apparatus having the same | |
JPH1083623A (en) | Signal recording method, signal recorder, recording medium and signal processing method | |
JPH0863901A (en) | Method and device for recording signal, signal reproducing device and recording medium | |
JP4024185B2 (en) | Digital data encoding device | |
JP4271588B2 (en) | Encoding method and encoding apparatus for digital data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101126 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |