JP2001188578A - 音声符号化方法及び音声復号方法 - Google Patents

音声符号化方法及び音声復号方法

Info

Publication number
JP2001188578A
JP2001188578A JP2000325684A JP2000325684A JP2001188578A JP 2001188578 A JP2001188578 A JP 2001188578A JP 2000325684 A JP2000325684 A JP 2000325684A JP 2000325684 A JP2000325684 A JP 2000325684A JP 2001188578 A JP2001188578 A JP 2001188578A
Authority
JP
Japan
Prior art keywords
data
subpacket
prediction
channel
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000325684A
Other languages
English (en)
Other versions
JP3346556B2 (ja
Inventor
Yoshiaki Tanaka
美昭 田中
Shoji Ueno
昭治 植野
Norihiko Fuchigami
徳彦 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2000325684A priority Critical patent/JP3346556B2/ja
Publication of JP2001188578A publication Critical patent/JP2001188578A/ja
Application granted granted Critical
Publication of JP3346556B2 publication Critical patent/JP3346556B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】 オーディオ信号の圧縮効率の改善を図ると共
に、圧縮信号の正確な復元を図る。 【解決手段】 オーディオパケットにおけるオーディオ
データエリアは、複数のPPCMアクセスユニットによ
り構成され、PPCMアクセスユニットはPPCMシン
ク情報とサブパケットにより構成されている。そのサブ
パッケト内にはサブストリームが設けられ、このサブス
トリームはリスタートヘッダを含み、このリスタートヘ
ッダが数個毎のPPCMアクセスユニットに設けられ
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、マルチチャネルの
音声信号を圧縮するための音声符号化方法及び音声復号
方法に関する。
【0002】
【従来の技術】音声信号を圧縮する方法として、本発明
者は先の出願(特願平9−289159号)において1
チャネルの原デジタル音声信号に対して、特性が異なる
複数の予測器により時間領域における過去の信号から現
在の信号の複数の線形予測値を算出し、原デジタル音声
信号と、この複数の線形予測値から予測器毎の予測残差
を算出し、予測残差の最小値を選択する予測符号化方法
を提案している。
【0003】なお、上記方法では原デジタル音声信号が
サンプリング周波数=96kHz、量子化ビット数=2
0ビット程度の場合にある程度の圧縮効果を得ることが
できるが、近年のDVDオーディオディスクではこの2
倍のサンプリング周波数(=192kHz)が使用さ
れ、また、量子化ビット数も24ビットが使用される傾
向がある。
【0004】
【発明が解決しようとする課題】上記したように、DV
Dオーディオの場合、サンプリング周波数も高く、しか
も、マルチチャンネル信号を扱うためデータ量も多くな
り、より圧縮効率の改善が望まれていると共に、再生時
のことを考慮すると、圧縮されたデータをより正確に復
号することが望まれている。そこで、本願各発明では、
そのような点を考慮して圧縮効率を改善すると共に、よ
り正確なデータの復号ができる音声符号化方法及び音声
復号方法を提供することを目的とする。
【0005】
【課題を解決するための手段】本発明は上記目的を達成
するために、以下の1)及び2)に記載の手段からなる
ものである。すなわち、
【0006】1)マルチチャネルの音声信号を、そのま
まのチャネル又は互いに相関をとったチャネル毎に入力
される音声信号に応答して先頭サンプル値を所定時間の
フレーム単位で得ると共に、時間領域の過去の信号から
予測される現在の信号の複数の予測値の中でその予測残
差が最小値となる線形予測方法を前記フレームを更に分
割したサブフレーム単位に選択して予測符号化するステ
ップと、前記ステップにより選択されたチャネル毎の予
測符号化データを含むサブパケットと、そのサブパケッ
トに対応した同期情報部とで形成した一つのアクセスユ
ニットと、そのサブパケット内に前記サブパケットに対
応したサブストリームを少なくとも含み、このサブスト
リーム内に前記アクセスユニットの数個毎にリスタート
情報部を設けたデータ構造にフォーマット化するステッ
プと、からなる音声符号化方法。 2)マルチチャネルの音声信号を、そのままのチャネル
又は互いに相関をとったチャネル毎に入力される音声信
号に応答して先頭サンプル値を得ると共に、時間領域の
過去の信号から予測される現在の信号の複数の予測値の
中でその予測残差が最小値となる線形予測方法を選択し
て予測符号化するステップと、前記ステップにより選択
されたチャネル毎の予測符号化データを含むサブパケッ
トと、そのサブパケットに対応した同期情報部とで形成
した一つのアクセスユニットと、そのサブパケット内に
前記サブパケットに対応したサブストリームを少なくと
も含み、このサブストリーム内に前記アクセスユニット
の数個毎にリスタート情報部を設けたデータ構造にフォ
ーマット化するステップと、からなる音声符号化方法に
より符号化されたデータから元の音声信号を復号する音
声復号方法であって、前記データ構造をサブパケットと
同期情報部に分離するステップと、前記サブパケット内
の予測符号化データを前記リスタート情報部内の情報に
基づいてチャネル毎に伸長するステップと、前記伸長さ
れた音声データから前記マルチチャネルの音声信号に変
換するステップと、からなる音声復号方法。
【0007】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1は本発明が適用される音声符
号化装置及び音声復号装置の第1の実施形態を示すブロ
ック図、図2は図1の符号化部を詳しく示すブロック
図、図3は図1、図2の符号化部により符号化されたビ
ットストリームを示す説明図、図4はDVDのパックの
フォーマットを示す説明図、図5はDVDのオーディオ
パックのフォーマットを示す説明図、図6は図5のオー
ディオデータエリアのフォーマットを詳しく示す説明
図、図7は図1の復号化部を詳しく示すブロック図、図
8は図7の入力バッファの書き込み/読み出しタイミン
グを示すタイミングチャート、図9はアクセスユニット
毎の圧縮データ量を示す説明図、図10はアクセスユニ
ットとプレゼンテーションユニットを示す説明図であ
る。
【0008】ここで、マルチチャネル方式としては、例
えば次の4つの方式が知られている。 (1)4チャネル方式 ドルビーサラウンド方式の
ように、前方L、C、Rの3チャネル+後方Sの1チャ
ネルの合計4チャネル (2)5チャネル方式 ドルビーAC−3方式のS
Wチャネルなしのように、前方L、C、Rの3チャネル
+後方SL、SRの2チャネルの合計5チャネル (3)6チャネル方式 DTS(Digital Theater
System)方式や、ドルビーAC−3方式のように6チャ
ネル(L、C、R、SW(Lfe)、SL、SR) (4)8チャネル方式 SDDS(Sony Dynamic D
igital Sound)方式のように、前方L、LC、C、R
C、R、SWの6チャネル+後方SL、SRの2チャネ
ルの合計8チャネル
【0009】図1に示す符号化側の6チャネル(ch)ミ
クス&マトリクス回路1’は、マルチチャネル信号の一
例としてフロントレフト(Lf)、センタ(C)、フロ
ントライト(Rf)、サラウンドレフト(Ls)、サラ
ウンドライト(Rs)及びLfe(Low Frequency Effe
ct)の6chのPCMデータを次式(1)により前方グル
ープに関する2ch「1」、「2」と他のグループに関す
る4ch「3」〜「6」に分類して変換し、2ch「1」、
「2」を第1符号化部2’−1に、また、4ch「3」〜
「6」を第2符号化部2’−2に出力する。
【0010】 「1」=Lf+Rf 「2」=Lf−Rf 「3」=C−(Ls+Rs)/2 「4」=Ls+Rs 「5」=Ls−Rs 「6」=Lfe−a×C ただし、0≦a≦1 …(1)
【0011】符号化部2’を構成する第1及び第2符号
化部2’−1、2’−2はそれぞれ、図2に詳しく示す
ように2ch「1」、「2」と4ch「3」〜「6」のPC
Mデータをチャネル毎に予測符号化し、予測符号化デー
タを図3に示すようなビットストリームで記録媒体5や
衛星回線や電話回線等の通信媒体6を介して復号側に伝
送する。復号側では復号化部3’を構成する第1及び第
2復号化部3’−1、3’−2により、図7に詳しく示
すようにそれぞれ前方グループに関する2ch「1」、
「2」と他のグループに関する4ch「3」〜「6」の予
測符号化データをチャネル毎にPCMデータに復号す
る。
【0012】次いでミクス&マトリクス回路4’により
式(1)に基づいて元の6ch(Lf、C、Rf、Ls、
Rs、Lfe)を復元するとともに、この元の6chと係
数mij(i=1,2,j=1,2〜6)により次式
(2)のようにステレオ2chデータ(L、R)を生成す
る。 L=m11・Lf+m12・Rf+m13・C +m14・Ls+m15・Rs+m16・Lfe R=m21・Lf+m22・Rf+m23・C +m24・Ls+m25・Rs+m26・Lfe …(2)
【0013】図2を参照して符号化部2’−1、2’−
2について詳しく説明する。各ch「1」〜「6」のPC
Mデータは1フレーム毎に1フレームバッファ10に格
納される。そして、1フレームの各ch「1」〜「6」の
サンプルデータがそれぞれ予測回路13D1、13D
2、15D1〜15D4に印加されるとともに、各ch
「1」〜「6」の各フレームの先頭サンプルデータ(後
述のリスタートヘッダ内に格納される)がアンパッキン
グ回路8及びフォーマット化回路19に印加される。ま
た、PCMデータがA/D変換されたときのサンプリン
グ周波数(fs)と量子化ビット数(Qb)がパッキン
グ回路18及びフォーマット化回路19に印加される。
予測回路13D1、13D2、15D1〜15D4はそ
れぞれ、各ch「1」〜「6」のPCMデータに対して、
特性が異なる複数の予測器(不図示)により時間領域に
おける過去の信号から現在の信号の複数の線形予測値を
算出し、次いで原PCMデータと、この複数の線形予測
値から予測器毎の予測残差を算出する。続くバッファ・
選択器14D1、14D2、16D1〜16D4はそれ
ぞれ、予測回路13D1、13D2、15D1〜15D
4により算出された各予測残差を一時記憶して、選択信
号/DTS(デコーディング・タイム・スタンプ)生成
器17により指定されたサブフレーム毎に予測残差の最
小値を選択する。
【0014】選択信号/DTS生成器17は予測残差の
ビット数フラグをパッキング回路18とフォーマット化
回路19に対して印加し、また、予測残差が最小の予測
器を示す予測器選択フラグと、式(1)における相関係
数aと、復号化側が入力バッファ22a(図7)からス
トリームデータを取り出す時間を示すDTSをフォーマ
ット化回路19に対して印加する。パッキング回路18
はバッファ・選択器14D1、14D2、16D1〜1
6D4により選択された6ch分の予測残差を、選択信号
/DTS生成器17により指定されたビット数フラグに
基づいて指定ビット数でパッキングし、サンプリング周
波数fsに応じたサンプル数でパッキングする。すなわ
ち、サンプリング周波数48kHzの場合にはサンプル
数40を選び、サンプリング周波数96kHzの場合に
はサンプル数80を選び、、192kHzの場合にはサ
ンプル数80を選ぶようになっている。またPTS生成
器17cは、復号化側が出力バッファ110(図7)か
らPCMデータを取り出す時間を示すPTS(プレゼン
テーション・タイム・スタンプ)を生成してフォーマッ
ト化回路19に出力する。
【0015】続くフォーマット化回路19は図3〜図6
に示すようなユーザデータにフォーマット化する。図3
に示すユーザデータ(サブパケット)は、前方グループ
に関する2ch「1」、「2」の予測符号化データを含む
可変レートビットストリーム(サブストリーム)BS0
と、他のグループに関する4ch「3」〜「6」の予測符
号化データを含む可変レートビットストリーム(サブス
トリーム)BS1と、サブストリームBS0、BS1の
前に設けられたビットストリームヘッダ(リスタートヘ
ッダ)により構成されている。また、サブストリームB
S0、BS1の1フレーム分は ・フレームヘッダと、 ・各ch「1」〜「6」の1フレームの先頭サンプルデー
タと、 ・各ch「1」〜「6」のサブフレーム毎の予測器選択フ
ラグと、 ・各ch「1」〜「6」のサブフレーム毎のビット数フラ
グと、 ・各ch「1」〜「6」の予測残差データ列(可変ビット
数)と、 ・ch「6」の係数aとが、多重化されている。このよう
な予測符号化によれば、原信号が例えばサンプリング周
波数(fs)=96kHz、量子化ビット数(Qb)=
24ビット、6チャネルの場合、71%の圧縮率を実現
することができる。
【0016】図2に示す符号化部2’−1、2’−2に
より予測符号化された可変レートビットストリームデー
タを、記録媒体の一例としてDVDオーディオディスク
に記録する場合には、図4に示すオーディオ(A)パッ
クにパッキングされる。このパックは2034バイトの
ユーザデータ(Aパケット、Vパケット)に対して4バ
イトのパックスタート情報と、6バイトのSCR(Syst
em Clock Reference:システム時刻基準参照値)情報
と、3バイトのMux レート(rate)情報と1バイトのス
タッフィングの合計14バイトのパックヘッダが付加さ
れて構成されている(1パック=合計2048バイ
ト)。この場合、タイムスタンプであるSCR情報を、
先頭パックでは「1」として同一タイトル内で連続とす
ることにより同一タイトル内のAパックの時間を管理す
ることができる。
【0017】圧縮PCMのAパケットは図5に詳しく示
すように、9〜22バイトのパケットヘッダと、圧縮P
CMのプライベートヘッダと、図3に示すフォーマット
の1ないし2015バイトのオーディオデータ(圧縮P
CM)により構成されている。そして、DTSとPTS
は図5のパケットヘッダ内に(具体的にはパケットヘッ
ダの10〜14バイト目にPTSが、15〜19バイト
目にDTSが)セットされる。圧縮PCMのプライベー
トヘッダは、 ・1バイトのサブストリームIDと、 ・2バイトのUPC/EAN−ISRC(Universal Pr
oduct Code/European Article Number-International S
tandard Recording Code)番号、及びUPC/EAN−
ISRCデータと、 ・1バイトのプライベートヘッダ長と、 ・2バイトの第1アクセスユニットポインタと、 ・4バイトのオーディオデータ情報(ADI)と、 ・0〜7バイトのスタッフィングバイトとに、より構成
されている。
【0018】そして、ADI内に1秒後のアクセスユニ
ットをサーチするための前方アクセスユニット・サーチ
ポインタと、1秒前のアクセスユニットをサーチするた
めの後方アクセスユニット・サーチポインタがともに1
バイトでセットされる。具体的には、ADIの1バイト
目に前方アクセスユニット・サーチポインタが、8バイ
ト目に後方アクセスユニット・サーチポインタがセット
される。このようにADIは、圧縮PCMでは4バイト
に減少させるためオーディオデータを2015バイトま
で収納できる。
【0019】図5に示す圧縮PCM(PPCM)のオー
ディオパケットにおけるオーディオデータエリアは、図
6に示すように複数のPPCMアクセスユニットにより
構成され、PPCMアクセスユニットはPPCMシンク
情報とサブパケットにより構成されている。最初のPP
CMアクセスユニット内のサブパケットは、ディレクト
リと、サブストリーム「BS0」と、CRC(1バイト
又は2バイト)と、サブストリーム「BS1」と、CR
Cとエクストラ情報により構成され、サブストリーム
「BS0」、「BS1」はPPCMブロックのみにより
構成されている。2番目以降のPPCMアクセスユニッ
ト内のサブパケットも、ディレクトリと、サブストリー
ム「BS0」と、CRCと、サブストリーム「BS1」
と、CRCとエクストラ情報により構成され、サブスト
リーム「BS0」、「BS1」はリスタートヘッダとP
PCMブロックにより構成されている。このリスタート
ヘッダには前述のフレーム先頭サンプル値が格納され、
このリスタートヘッダは一アクセスユニット毎に設けら
れるのではなく、数個毎のアクセスユニットに一つ設け
られるようになっている。そして、エクストラ情報は、
少なくとも、サイズ調整機能を有している。すなわち、
入来データが固定レート(CBR)の場合には、上述し
たようにサンプリング周波数fsによって1パケット当
たりのサンプリング数が40,80,160のいずれか
に定められており、そのため、決定されたサンプリング
数によっては1パケット当たりのデータ長とサブパケッ
トのサイズとが合わない場合があり、それをサブパケッ
トのサイズに合わせるために、例えば、0,0…等を付
加してサイズ調整を行う。また、このサイズ調整用のデ
ータはテキストデータ等を利用することも可能である。
【0020】PPCMシンク情報(以下、同期情報とも
いう)は次の情報を含む。 ・1パケット当たりのサンプル数:サンプリング周波数
fsに応じて40、80又は160が選択される。 ・データレートがVBRの場合には「0」(サブパケッ
ト内のデータがVBRの圧縮データであることを示す識
別子)、CBRの場合には「1」(サブパケット内のデ
ータが固定レートであることを示す識別子) ・サンプリング周波数fs及び量子化ビット数Qb ・チャネル割り当て情報
【0021】次に図7を参照して復号化部3’−1、
3’−2について説明する。上記フォーマットのパック
ヘッダと可変レートビットストリームデータBS0、B
S1は、デフォーマット化回路21により分離される。
そして、各ch「1」〜「6」の1フレームの先頭サン
プルデータ含むリスタートヘッダ、予測器選択フラグ、
各ch「1」〜「6」のビット数フラグ、SCR、DT
S、チャンネル割り当て情報及び予測残差データ列が入
力バッファ22aに印加され、PTSは出力バッファ1
10に印加される。そして、これらの情報はアンパッキ
ング回路22に印加され、チャンネル割り当て情報に応
じて使用される各予測回路24D1,24D2,23D
1〜23D4が決定されるようになっている。例えば、
6チャンネルの割り当て情報であれば、全部の予測回路
が使用され、6チャンネルのデータが繰り返し供給さ
れ、5チャンネルの割り当て情報であれば、5チャンネ
ルのデータが繰り返し供給されるよになっている。ま
た、割り当て情報はマルチチャンネルの情報だけに限ら
ず、ステレオ2チャンネルの情報の場合もあり得、その
場合には予測回路24D1,24D2が使用される。ま
た、データレートがVBRかCBRかを示す識別子は各
予測器24D1、24D2、23D1、23D2、23
D3、23D4に印加され、これらにおいて識別子に応
じた入出力データの処理プログラムが決定されてデータ
の取り込み速度の制御がなされることになる。VBRで
ある場合には処理プログラムを切り換えると共に入力デ
ータを毎回ロードする必要があり処理に時間を要するこ
とになるが、CBRの場合には固定レートであることか
ら処理プログラムを切り換える必要がなく処理が速くな
る。そして、選択された各予測器ではリスタートヘッダ
内のフレーム先頭サンプル値に基づいて予測算差が計算
されることになる。また、サンプリング周波数fs及び
量子化ビット数QbはD/A変換器102に印加され
る。ここで、予測回路24D1、24D2、23D1〜
23D4内の複数の予測器(不図示)はそれぞれ、符号
化側の予測回路13D1、13D2、15D1〜15D
4内の複数の予測器と同一の特性であり、予測器選択フ
ラグにより同一特性のものが選択される。
【0022】デフォーマット化回路21により、最初オ
ーディオパックからオーディオパケットが分離され、次
にオーディオパケットからストリームデータ(予測残差
データ列)が分離されてビットストリームBS0とBS
1が取り出される。またSCRが取り出され、図8に示
すようにSCRによるタイミングにしたがってアクセス
ユニット毎に入力バッファ22aに取り込まれて蓄積さ
れる。ここで、1つのアクセスユニットのデータ量は、
例えばfs=96kHzの場合には(1/96kHz)
秒分であるが、図9、図10(a)に詳しく示すように
可変長である。そして、入力バッファ22aに蓄積され
たストリームデータはDTSに基づいてFIFOで読み
出されてアンパッキング回路22に印加される。
【0023】アンパッキング回路22は各ch「1」〜
「6」の予測残差データ列をビット数フラグ毎に基づい
て分離してそれぞれ予測回路24D1、24D2、23
D1〜23D4に出力する。予測回路24D1、24D
2、23D1〜23D4ではそれぞれ、アンパッキング
回路22からの各ch「1」〜「6」の今回の予測残差
データと、内部の複数の予測器の内、予測器選択フラグ
により選択された各1つにより予測された前回の予測値
が加算されて今回の予測値が算出され、次いで1フレー
ムの先頭サンプルデータを基準として各サンプルのPC
Mデータが算出されて出力バッファ110に蓄積され
る。出力バッファ110に蓄積されたPCMデータはP
TSに基づいて読み出されて出力され、したがって、図
10(a)に示す可変長のアクセスユニットが伸長され
て、図10(b)に示す一定長のプレゼンテーションユ
ニットが出力される。
【0024】また、PPCMシンク情報内のサンプリン
グ周波数fs及び量子化ビット数Qbに基づいて、PC
MデータがD/A変換器102によりアナログ信号に変
換される。また、同時にPPCMシンク情報においてC
BRの識別子が検出され、ディレクトリ内のエクストラ
データの位置が検出されて、更に例えば0,0…のデー
タや、テキストデータ等のサイズ調整用のエクストラデ
ータが検出されると、それがテキストデータである場合
にはエクストラデータをこのアンパッキング回路22か
ら図示しないテキストデータデコード回路に供給し、そ
こで、デコード処理をしてテキストデータとして取り出
し、出力バッファ110を通じて出力されることにな
る。また一方、エクストラデータが0,0…データであ
った場合には、何の処理も施されないようになってい
る。また、テキストデータデコーダ回路が用意されてい
ない場合には、この処理はパスされる。また、ここで、
操作部101を介してサーチ再生が指示された場合に
は、制御部100により図5に示す前方アクセスユニッ
ト・サーチポインタ(1秒先)と後方アクセスユニット
・サーチポインタ(1秒前)に基づいてアクセスユニッ
トを再生する。このサーチポインタとしては、1秒先、
1秒前の代わりに2秒先、2秒前のものでよい。
【0025】図2に示す符号化部2’−1、2’−2に
より予測符号化された可変レートビットストリームデー
タをネットワークを介して伝送する場合には、符号化側
では図11に示すように伝送用にパケット化し(ステッ
プS41)、次いでパケットヘッダを付与し(ステップ
S42)、次いでこのパケットをネットワーク上に送り
出す(ステップS43)。
【0026】復号側では図12(A)に示すようにヘッ
ダを除去し(ステップS51)、次いでデータを復元し
(ステップS52)、次いでこのデータをメモリに格納
して復号を待つ(ステップS53)。そして、復号を行
う場合には図12(B)に示すように、デフォーマット
化を行い(ステップS61)、次いで入力バッファ22
aの入出力制御を行い(ステップS62)、次いでアン
パッキングを行う(ステップS63)。なお、このと
き、サーチ再生指示がある場合にはサーチポインタをデ
コードする。次いで予測器をフラグに基づいて選択して
デコードを行い(ステップS64)、次いで出力バッフ
ァ110の入出力制御を行い(ステップS65)、次い
で元のマルチチャネルを復元し(ステップS66)、次
いでこれを出力し(ステップS67)、以下、これを繰
り返す。
【0027】なお、上記実施形態では、前方グループに
関する2ch「1」、「2」を 「1」=Lf+Rf 「2」=Lf−Rf により変換して予測符号化したが、代わりに式(2)に
よりマルチチャネルをダウンミクスしてステレオ2chデ
ータ(L、R)を生成し、次いで次式(1)’ 「1」=L+R 「2」=L−R 「3」〜「5」は同じ 「6」=Lfe−C …(1)’ により変換して予測符号化するようにしてもよい(第2
の実施形態)。この場合には、復号化側のミクス&マト
リクス回路4’はチャネル「1」、「2」を加算するこ
とによりチャネルLを、減算することによりチャネルR
を生成することができる。
【0028】また、第3の実施形態として図13に示す
ように、2ch「1」、「2」の代わりに式(2)により
マルチチャネルをダウンミクスしてステレオ2chデータ
(L、R)を生成して、このステレオ2ch(L、R)と
4ch「3」〜「6」を予測符号化するようにしてもよ
い。なお、第2、第3の実施形態では、フロントレフト
(Lf)とフロントライト(Rf)が復号化側に伝送さ
れないので、復号化側ではこれを式(1)、(2)によ
り生成する。
【0029】次に図14、図15、図16を参照して第
4の実施形態について説明する。上記の実施形態では、
1グループの相関性の信号「1」〜「6」を予測符号化
するように構成されているが、この第4の実施形態では
複数グループの相関性のある信号を生成して予測符号化
し、圧縮率が最も高いグループの予測符号化データを選
択するように構成されている。また、この実施例ではそ
の1グループ内における符号化は、前述の各実施例の場
合のように前方グループに関する2chと他のグループ
に関する4chに分類して変換するようなことはせず
に、一つにまとめた符号化処理が行われる構成で、図1
4は前述の図1に対応した図として示してある。また、
図15は符号化部の詳細ブロックを示すものであるが、
本実施例の場合にはn個の相関回路1−1〜1−nまで
が、ミクス&マトリクス回路1’側に設けられている。
これらn個の相関回路1−1〜1−nは例えば6ch(L
f、C、Rf、Ls、Rs、Lfe)のPCMデータ
を、相関性が異なるn種類の6ch信号「1」〜「6」に
変換する。
【0030】例えば第1の相関回路1−1は以下のよう
に変換し、 「1」=Lf 「2」=C−(Ls+Rs)/2 「3」=Rf−Lf 「4」=Ls−a×Lfe 「5」=Rs−b×Rf 「6」=Lfe また、第nの相関回路1−nは以下のように変換する。 「1」=Lf+Rf 「2」=C−Lf 「3」=Rf−Lf 「4」=Ls−Lf 「5」=Rs−Lf 「6」=Lfe−C
【0031】また、相関回路1−1〜1−n毎に予測回
路15とバッファ・選択器16が設けられ、グループ毎
の予測残差の最小値のデータ量に基づいて圧縮率が最も
高いグループが相関選択信号生成器17bにより選択さ
れる。このとき、フォーマット化回路19はその選択フ
ラグ(相関回路選択フラグ、その相関回路の相関係数
a、b)を追加して多重化する。
【0032】そして、図16は前述の図6に対応したデ
ータエリアを示し、この実施例ではサブストリーム「B
S1」を用いず、サブストリーム「BS0」のみで構成
することになる。
【0033】また、図17に示す復号化側では、符号化
側の相関回路1−1〜1−nに対してn個の相関回路4
−1〜4−n(又は係数a、bが変更可能な図示省略の
1つの相関回路)が設けられる。なお、図15に示すn
グループの予測回路が同一の構成である場合、復号装置
では図17に示すようにnグループ分の予測回路を設け
る必要はなく、1つのグループ分の予測回路でよい。そ
して、符号化装置から伝送された選択フラグに基づいて
相関回路4−1〜4−nの1つを選択、又は係数a、b
を設定して元の6ch(Lf、C、Rf、Ls、Rs、L
fe)を復元し、また、式(2)によりマルチチャネル
をダウンミクスしてステレオ2chデータ(L、R)を生
成する。
【0034】また、上記の第1の実施形態では、1種類
の相関性の信号「1」〜「6」を予測符号化するように
構成されているが、この信号「1」〜「6」のグループ
と原信号(Lf、C、Rf、Ls、Rs、Lfe)のグ
ループを予測符号化し、圧縮率が高い方のグループを選
択するようにしてもよい。
【0035】
【発明の効果】以上説明したように本発明によれば、よ
り圧縮効率の改善が図れると共に、圧縮処理された音声
信号をより正確に復号することが可能になる。
【図面の簡単な説明】
【図1】本発明が適用される音声符号化装置及び音声復
号装置の第1の実施形態を示すブロック図である。
【図2】図1の符号化部を詳しく示すブロック図であ
る。
【図3】図1、図2の符号化部により符号化されたビッ
トストリームを示す説明図である。
【図4】DVDのパックのフォーマットを示す説明図で
ある。
【図5】DVDのオーディオパックのフォーマットを示
す説明図である。
【図6】図5のオーディオデータエリアのフォーマット
を詳しく示す説明図である。
【図7】図1の復号化部を詳しく示すブロック図であ
る。
【図8】図7の入力バッファの書き込み/読み出しタイ
ミングを示すタイミングチャートである。
【図9】アクセスユニット毎の圧縮データ量を示す説明
図である。
【図10】アクセスユニットとプレゼンテーションユニ
ットを示す説明図である。
【図11】音声伝送方法を示すフローチャートである。
【図12】音声伝送方法を示すフローチャートである。
【図13】本発明が適用される音声符号化装置及び音声
復号装置の第3の実施形態のを示すブロック図である。
【図14】本発明が適用される音声符号化装置及び音声
復号装置の第4の実施形態のを示すブロック図である。
【図15】第4の実施形態の音声符号化装置を示すブロ
ック図である。
【図16】図6に対応した別の実施例の説明図である。
【図17】第4の実施形態の音声復号装置を示すブロッ
ク図である。
【符号の説明】
1’ 6chミクス&マトリクス回路 13D1,13D2,15D1〜15D4 予測回路
(バッファ・選択器14D1,14D2,16D1〜1
6D4と共に圧縮手段を構成する。) 14D1,14D2,16D1〜16D4 バッファ・
選択器 17 選択信号/DTS生成器(タイミング生成手段) 17c PTS生成器(タイミング生成手段) 19 フォーマット化回路(フォーマット化手段) 21 デフォーマット化回路(分離手段) 22 アンパッキング回路 22a 入力バッファ 24D1,24D2,23D1〜23D4 予測回路
(伸長手段) 100 制御部 102 D/A変換器 110 出力バッファ

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】マルチチャネルの音声信号を、そのままの
    チャネル又は互いに相関をとったチャネル毎に入力され
    る音声信号に応答して先頭サンプル値を所定時間のフレ
    ーム単位で得ると共に、時間領域の過去の信号から予測
    される現在の信号の複数の予測値の中でその予測残差が
    最小値となる線形予測方法を前記フレームを更に分割し
    たサブフレーム単位に選択して予測符号化するステップ
    と、 前記ステップにより選択されたチャネル毎の予測符号化
    データを含むサブパケットと、そのサブパケットに対応
    した同期情報部とで形成した一つのアクセスユニット
    と、そのサブパケット内に前記サブパケットに対応した
    サブストリームを少なくとも含み、このサブストリーム
    内に前記アクセスユニットの数個毎にリスタート情報部
    を設けたデータ構造にフォーマット化するステップと、
    からなる音声符号化方法。
  2. 【請求項2】マルチチャネルの音声信号を、そのままの
    チャネル又は互いに相関をとったチャネル毎に入力され
    る音声信号に応答して先頭サンプル値を得ると共に、時
    間領域の過去の信号から予測される現在の信号の複数の
    予測値の中でその予測残差が最小値となる線形予測方法
    を選択して予測符号化するステップと、 前記ステップにより選択されたチャネル毎の予測符号化
    データを含むサブパケットと、そのサブパケットに対応
    した同期情報部とで形成した一つのアクセスユニット
    と、そのサブパケット内に前記サブパケットに対応した
    サブストリームを少なくとも含み、このサブストリーム
    内に前記アクセスユニットの数個毎にリスタート情報部
    を設けたデータ構造にフォーマット化するステップと、
    からなる音声符号化方法により符号化されたデータから
    元の音声信号を復号する音声復号方法であって、 前記データ構造をサブパケットと同期情報部に分離する
    ステップと、 前記サブパケット内の予測符号化データを前記リスター
    ト情報部内の情報に基づいてチャネル毎に伸長するステ
    ップと、 前記伸長された音声データから前記マルチチャネルの音
    声信号に変換するステップと、からなる音声復号方法。
JP2000325684A 1998-11-16 2000-10-25 音声符号化方法及び音声復号方法 Expired - Lifetime JP3346556B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000325684A JP3346556B2 (ja) 1998-11-16 2000-10-25 音声符号化方法及び音声復号方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-342352 1998-11-16
JP34235298 1998-11-16
JP2000325684A JP3346556B2 (ja) 1998-11-16 2000-10-25 音声符号化方法及び音声復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP32595899A Division JP3344571B2 (ja) 1998-11-16 1999-11-16 記録媒体、音声復号装置

Publications (2)

Publication Number Publication Date
JP2001188578A true JP2001188578A (ja) 2001-07-10
JP3346556B2 JP3346556B2 (ja) 2002-11-18

Family

ID=26577231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000325684A Expired - Lifetime JP3346556B2 (ja) 1998-11-16 2000-10-25 音声符号化方法及び音声復号方法

Country Status (1)

Country Link
JP (1) JP3346556B2 (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007027056A1 (en) * 2005-08-30 2007-03-08 Lg Electronics Inc. A method for decoding an audio signal
WO2007032646A1 (en) * 2005-09-14 2007-03-22 Lg Electronics Inc. Method and apparatus for decoding an audio signal
KR100880643B1 (ko) 2005-08-30 2009-01-30 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
US7643562B2 (en) 2005-10-05 2010-01-05 Lg Electronics Inc. Signal processing using pilot based coding
US7646319B2 (en) 2005-10-05 2010-01-12 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7653533B2 (en) 2005-10-24 2010-01-26 Lg Electronics Inc. Removing time delays in signal paths
US7663513B2 (en) 2005-10-05 2010-02-16 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7672379B2 (en) 2005-10-05 2010-03-02 Lg Electronics Inc. Audio signal processing, encoding, and decoding
US7696907B2 (en) 2005-10-05 2010-04-13 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7751485B2 (en) 2005-10-05 2010-07-06 Lg Electronics Inc. Signal processing using pilot based coding
US7752053B2 (en) 2006-01-13 2010-07-06 Lg Electronics Inc. Audio signal processing using pilot based coding
US7761303B2 (en) 2005-08-30 2010-07-20 Lg Electronics Inc. Slot position coding of TTT syntax of spatial audio coding application
US7788107B2 (en) 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
US7797163B2 (en) 2006-08-18 2010-09-14 Lg Electronics Inc. Apparatus for processing media signal and method thereof
US7881817B2 (en) 2006-02-23 2011-02-01 Lg Electronics Inc. Method and apparatus for processing an audio signal
US8090586B2 (en) 2005-05-26 2012-01-03 Lg Electronics Inc. Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
US8160258B2 (en) 2006-02-07 2012-04-17 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
US8185403B2 (en) 2005-06-30 2012-05-22 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
US8208641B2 (en) 2006-01-19 2012-06-26 Lg Electronics Inc. Method and apparatus for processing a media signal
US8239209B2 (en) 2006-01-19 2012-08-07 Lg Electronics Inc. Method and apparatus for decoding an audio signal using a rendering parameter
US8577483B2 (en) 2005-08-30 2013-11-05 Lg Electronics, Inc. Method for decoding an audio signal
US8626515B2 (en) 2006-03-30 2014-01-07 Lg Electronics Inc. Apparatus for processing media signal and method thereof
US8917874B2 (en) 2005-05-26 2014-12-23 Lg Electronics Inc. Method and apparatus for decoding an audio signal
US9595267B2 (en) 2005-05-26 2017-03-14 Lg Electronics Inc. Method and apparatus for decoding an audio signal

Cited By (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8150701B2 (en) 2005-05-26 2012-04-03 Lg Electronics Inc. Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
US8917874B2 (en) 2005-05-26 2014-12-23 Lg Electronics Inc. Method and apparatus for decoding an audio signal
US8214220B2 (en) 2005-05-26 2012-07-03 Lg Electronics Inc. Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
US9595267B2 (en) 2005-05-26 2017-03-14 Lg Electronics Inc. Method and apparatus for decoding an audio signal
US8090586B2 (en) 2005-05-26 2012-01-03 Lg Electronics Inc. Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
US8170883B2 (en) 2005-05-26 2012-05-01 Lg Electronics Inc. Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
US8214221B2 (en) 2005-06-30 2012-07-03 Lg Electronics Inc. Method and apparatus for decoding an audio signal and identifying information included in the audio signal
US8185403B2 (en) 2005-06-30 2012-05-22 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
US8082158B2 (en) 2005-08-30 2011-12-20 Lg Electronics Inc. Time slot position coding of multiple frame types
WO2007027057A1 (en) * 2005-08-30 2007-03-08 Lg Electronics Inc. A method for decoding an audio signal
US7788107B2 (en) 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
US8103513B2 (en) 2005-08-30 2012-01-24 Lg Electronics Inc. Slot position coding of syntax of spatial audio application
US8165889B2 (en) 2005-08-30 2012-04-24 Lg Electronics Inc. Slot position coding of TTT syntax of spatial audio coding application
US7987097B2 (en) 2005-08-30 2011-07-26 Lg Electronics Method for decoding an audio signal
US7792668B2 (en) 2005-08-30 2010-09-07 Lg Electronics Inc. Slot position coding for non-guided spatial audio coding
US8103514B2 (en) 2005-08-30 2012-01-24 Lg Electronics Inc. Slot position coding of OTT syntax of spatial audio coding application
KR100880643B1 (ko) 2005-08-30 2009-01-30 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
US7783493B2 (en) 2005-08-30 2010-08-24 Lg Electronics Inc. Slot position coding of syntax of spatial audio application
WO2007027056A1 (en) * 2005-08-30 2007-03-08 Lg Electronics Inc. A method for decoding an audio signal
US8060374B2 (en) 2005-08-30 2011-11-15 Lg Electronics Inc. Slot position coding of residual signals of spatial audio coding application
WO2007027055A1 (en) * 2005-08-30 2007-03-08 Lg Electronics Inc. A method for decoding an audio signal
US7831435B2 (en) 2005-08-30 2010-11-09 Lg Electronics Inc. Slot position coding of OTT syntax of spatial audio coding application
US7822616B2 (en) 2005-08-30 2010-10-26 Lg Electronics Inc. Time slot position coding of multiple frame types
US8577483B2 (en) 2005-08-30 2013-11-05 Lg Electronics, Inc. Method for decoding an audio signal
US7761303B2 (en) 2005-08-30 2010-07-20 Lg Electronics Inc. Slot position coding of TTT syntax of spatial audio coding application
US7765104B2 (en) 2005-08-30 2010-07-27 Lg Electronics Inc. Slot position coding of residual signals of spatial audio coding application
KR101169280B1 (ko) 2005-08-30 2012-08-02 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
US7783494B2 (en) 2005-08-30 2010-08-24 Lg Electronics Inc. Time slot position coding
WO2007032646A1 (en) * 2005-09-14 2007-03-22 Lg Electronics Inc. Method and apparatus for decoding an audio signal
US9747905B2 (en) 2005-09-14 2017-08-29 Lg Electronics Inc. Method and apparatus for decoding an audio signal
US7672379B2 (en) 2005-10-05 2010-03-02 Lg Electronics Inc. Audio signal processing, encoding, and decoding
US7774199B2 (en) 2005-10-05 2010-08-10 Lg Electronics Inc. Signal processing using pilot based coding
US7756702B2 (en) 2005-10-05 2010-07-13 Lg Electronics Inc. Signal processing using pilot based coding
US7756701B2 (en) 2005-10-05 2010-07-13 Lg Electronics Inc. Audio signal processing using pilot based coding
US7751485B2 (en) 2005-10-05 2010-07-06 Lg Electronics Inc. Signal processing using pilot based coding
US7743016B2 (en) 2005-10-05 2010-06-22 Lg Electronics Inc. Method and apparatus for data processing and encoding and decoding method, and apparatus therefor
US7696907B2 (en) 2005-10-05 2010-04-13 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7680194B2 (en) 2005-10-05 2010-03-16 Lg Electronics Inc. Method and apparatus for signal processing, encoding, and decoding
US7675977B2 (en) 2005-10-05 2010-03-09 Lg Electronics Inc. Method and apparatus for processing audio signal
US7671766B2 (en) 2005-10-05 2010-03-02 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7663513B2 (en) 2005-10-05 2010-02-16 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7660358B2 (en) 2005-10-05 2010-02-09 Lg Electronics Inc. Signal processing using pilot based coding
US8068569B2 (en) 2005-10-05 2011-11-29 Lg Electronics, Inc. Method and apparatus for signal processing and encoding and decoding
US7646319B2 (en) 2005-10-05 2010-01-12 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7643561B2 (en) 2005-10-05 2010-01-05 Lg Electronics Inc. Signal processing using pilot based coding
US7643562B2 (en) 2005-10-05 2010-01-05 Lg Electronics Inc. Signal processing using pilot based coding
US7742913B2 (en) 2005-10-24 2010-06-22 Lg Electronics Inc. Removing time delays in signal paths
US7840401B2 (en) 2005-10-24 2010-11-23 Lg Electronics Inc. Removing time delays in signal paths
US8095357B2 (en) 2005-10-24 2012-01-10 Lg Electronics Inc. Removing time delays in signal paths
US7653533B2 (en) 2005-10-24 2010-01-26 Lg Electronics Inc. Removing time delays in signal paths
US7716043B2 (en) 2005-10-24 2010-05-11 Lg Electronics Inc. Removing time delays in signal paths
US8095358B2 (en) 2005-10-24 2012-01-10 Lg Electronics Inc. Removing time delays in signal paths
US7761289B2 (en) 2005-10-24 2010-07-20 Lg Electronics Inc. Removing time delays in signal paths
US7865369B2 (en) 2006-01-13 2011-01-04 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7752053B2 (en) 2006-01-13 2010-07-06 Lg Electronics Inc. Audio signal processing using pilot based coding
US8521313B2 (en) 2006-01-19 2013-08-27 Lg Electronics Inc. Method and apparatus for processing a media signal
US8208641B2 (en) 2006-01-19 2012-06-26 Lg Electronics Inc. Method and apparatus for processing a media signal
US8351611B2 (en) 2006-01-19 2013-01-08 Lg Electronics Inc. Method and apparatus for processing a media signal
US8488819B2 (en) 2006-01-19 2013-07-16 Lg Electronics Inc. Method and apparatus for processing a media signal
US8239209B2 (en) 2006-01-19 2012-08-07 Lg Electronics Inc. Method and apparatus for decoding an audio signal using a rendering parameter
US8411869B2 (en) 2006-01-19 2013-04-02 Lg Electronics Inc. Method and apparatus for processing a media signal
US8296155B2 (en) 2006-01-19 2012-10-23 Lg Electronics Inc. Method and apparatus for decoding a signal
US8296156B2 (en) 2006-02-07 2012-10-23 Lg Electronics, Inc. Apparatus and method for encoding/decoding signal
US8638945B2 (en) 2006-02-07 2014-01-28 Lg Electronics, Inc. Apparatus and method for encoding/decoding signal
US9626976B2 (en) 2006-02-07 2017-04-18 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
US8160258B2 (en) 2006-02-07 2012-04-17 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
US8285556B2 (en) 2006-02-07 2012-10-09 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
US8612238B2 (en) 2006-02-07 2013-12-17 Lg Electronics, Inc. Apparatus and method for encoding/decoding signal
US8712058B2 (en) 2006-02-07 2014-04-29 Lg Electronics, Inc. Apparatus and method for encoding/decoding signal
US8625810B2 (en) 2006-02-07 2014-01-07 Lg Electronics, Inc. Apparatus and method for encoding/decoding signal
US7974287B2 (en) 2006-02-23 2011-07-05 Lg Electronics Inc. Method and apparatus for processing an audio signal
US7991495B2 (en) 2006-02-23 2011-08-02 Lg Electronics Inc. Method and apparatus for processing an audio signal
US7881817B2 (en) 2006-02-23 2011-02-01 Lg Electronics Inc. Method and apparatus for processing an audio signal
US7991494B2 (en) 2006-02-23 2011-08-02 Lg Electronics Inc. Method and apparatus for processing an audio signal
US8626515B2 (en) 2006-03-30 2014-01-07 Lg Electronics Inc. Apparatus for processing media signal and method thereof
US7797163B2 (en) 2006-08-18 2010-09-14 Lg Electronics Inc. Apparatus for processing media signal and method thereof

Also Published As

Publication number Publication date
JP3346556B2 (ja) 2002-11-18

Similar Documents

Publication Publication Date Title
JP3346556B2 (ja) 音声符号化方法及び音声復号方法
JP3344571B2 (ja) 記録媒体、音声復号装置
JP3344572B2 (ja) 記録媒体、音声復号装置
JP3346554B2 (ja) 音声符号化装置
JP3346555B2 (ja) 音声符号化方法
JP3346553B2 (ja) 音声符号化方法及び音声復号方法
JP3346557B2 (ja) 音声符号化方法
JP3346382B2 (ja) 音声符号化方法及び音声復号方法
JP3346550B2 (ja) 音声符号化方法及び音声復号方法
JP3346388B2 (ja) 音声符号化方法及び音声復号方法
JP3346390B2 (ja) 音声符号化方法
JP3346391B2 (ja) 音声符号化方法及び音声復号方法
JP3346549B2 (ja) 音声符号化方法
JP3346547B2 (ja) 音声符号化方法及び音声復号方法
JP3346384B2 (ja) 音声符号化方法
JP3346381B2 (ja) 音声符号化装置
JP3344573B2 (ja) 記録媒体、音声復号装置
JP2000214898A (ja) 音声符号化装置、記録媒体、音声復号装置、音声伝送方法及び伝送媒体
JP2000214894A (ja) 音声符号化装置、記録媒体、音声復号装置、音声伝送方法及び伝送媒体
JP2000214899A (ja) 音声符号化装置、記録媒体、音声復号装置、音声伝送方法及び伝送媒体
JP2001188576A (ja) 音声符号化方法
JP2001188594A (ja) 音声符号化装置
JP2001188596A (ja) 音声符号化装置
JP2001175288A (ja) 音声符号化装置
JP2001188574A (ja) 音声符号化装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R151 Written notification of patent or utility model registration

Ref document number: 3346556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080906

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080906

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090906

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090906

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100906

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100906

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110906

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120906

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120906

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120906

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120906

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130906

Year of fee payment: 11

EXPY Cancellation because of completion of term