JP3381726B2 - Data playback method - Google Patents

Data playback method

Info

Publication number
JP3381726B2
JP3381726B2 JP2002021625A JP2002021625A JP3381726B2 JP 3381726 B2 JP3381726 B2 JP 3381726B2 JP 2002021625 A JP2002021625 A JP 2002021625A JP 2002021625 A JP2002021625 A JP 2002021625A JP 3381726 B2 JP3381726 B2 JP 3381726B2
Authority
JP
Japan
Prior art keywords
data
unit
encoded data
information
multiplexed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002021625A
Other languages
Japanese (ja)
Other versions
JP2002305724A (en
Inventor
隆幸 菅原
順三 鈴木
俊夫 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2002021625A priority Critical patent/JP3381726B2/en
Publication of JP2002305724A publication Critical patent/JP2002305724A/en
Application granted granted Critical
Publication of JP3381726B2 publication Critical patent/JP3381726B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明はデータ再生方法に係
り、特に、外部から供給される特殊再生用指示信号が指
示する、記録媒体に記録されている符号化データの特殊
再生を、記録媒体から再生した特殊再生用情報データに
基づき行い得るデータ再生方法に関する。 【0002】 【従来の技術】動画像のビデオ信号やこれに関連するオ
ーディオ信号を圧縮符号化する方式の国際標準規格とし
てMPEG(Moving Picture Experts Group)によるも
のがある。このMPEGは1988年、ISO/IEC
JTC1/SC2(国際標準化機構/国際電気標準化
会合同技術委員会1/専門部会2、現在のSC29)に
設立された動画像符号化標準を検討する組織の名称の略
称である。 【0003】MPEG1(MPEGフェーズ1)は、
1.5Mbps程度の蓄積メディアを対象とした標準
で、静止画符号化を目的としたJPEGと、ISDN
(サービス統合ディジタル網)のテレビ会議やテレビ電
話の低転送レート用の動画像圧縮を目的としたH.26
1(CCITT SGXV、現在のITU−T SG1
5で標準化)の基本的な技術を受け継ぎ、蓄積メディア
用に新しい技術を導入したものである。これらは199
3年8月、ISO/IEC 11172として成立して
いる。MPEG2(MPEGフェーズ2)は、通信や放
送などの多様なアプリケーションに対応できるように汎
用標準を目的として、1994年11月ISO/IEC
13818、H.262として成立している。 【0004】かかるMPEGによる従来の符号化装置の
一例のブロック図を図4に、また復号化装置の一例のブ
ロック図を図5に示す。まず、図4の符号化装置につい
て説明するに、輝度信号と色差信号で構成されたビデオ
信号はディジタル化された後、ピクチャタイプに合わせ
て並べ替えが行われ、入力画像データとして入力端子1
0に入力される。この入力画像データは、減算器11で
動き補償予測器12からの動き補償予測化した画像デー
タと減算され、時間冗長分が削減された差分画像データ
とされる。 【0005】上記の予測の方向は、過去と未来とそれら
の両方の3モード存在する。また、これらは縦方向16
画素、横方向16画素である16×16のマクロブロッ
ク(MB)単位で切り換えて使用できる。予測方向は入
力画像データに与えられたピクチャタイプによって決定
される。過去からの予測と、予測をしないでそのMBを
独立で符号化する2モード存在するのがPピクチャであ
る。また、未来からの予測、過去からの予測、両方から
の予測、独立で符号化する4モード存在するのがBピク
チャである。そして、すべてのMBを独立で符号化する
のがIピクチャである。 【0006】上記の動き補償は、動き領域をMB毎にパ
ターンマッチングを行って、ハーフペル精度で動きベク
トルを検出し、動き分だけシフトしてから予測する。動
きベクトルは水平方向と垂直方向が存在し、何処からの
予測かを示すMC(Motion Compensation)モードと共
にMBの付加情報として伝送される。Iピクチャから次
のIピクチャの前のピクチャまでをグループオブピクチ
ャ(GOP)といい、蓄積メディアなどで使用される場
合には、一般に約15ピクチャ(フレーム)程度が使用
される。 【0007】上記の減算器11からはIピクチャの場合
は入力画像データがそのまま取り出され、Pピクチャや
Bピクチャの場合には動き補償された差分画像データが
取り出されてDCT器13に供給され、ここで離散コサ
イン変換(DCT:DiscreteCosine Transform)され
る。このDCTは、余弦関数を積分核とした積分変換を
有限空間へ離散変換する直交変換である。MPEGでは
MBを4分割し、縦方向8画素、横方向8画素である8
×8のDCTブロックに対して、2次元DCTを行う。
一般にビデオ信号は低域成分が多く、高域成分が少ない
ため、DCTを行うと、得られる係数が低域に集中す
る。 【0008】DCTされた画像データ(DCT係数)
は、量子化器14に供給され、ここで量子化される。こ
の量子化は、量子化マトリクスという8×8の2次元周
波数を視覚特性で重み付けした値と、その全体をスカラ
ー倍する量子化スケールという値で乗算した値を量子化
幅として、DCT係数をその量子化幅で除算することで
行われる。 【0009】量子化されたDCT係数は、動き補償予測
器12からの動きベクトルやどこからの予測かを示す予
測モードとともに可変長符号化器(VLC器)19に供
給されて可変長符号化される。この可変長符号化に際し
て、DCT係数の直流(DC)成分は予測符号化の一つ
であるDPCM(Differencial Pulse Code Modulatio
n)を使用し、DCT係数の交流(AC)成分は低域か
ら高域にかけてジグザグスキャンを行い、ゼロの連続出
現回数及び有効係数値を1つの事象とし、出現確率の高
いものから符号長の短い符号を割り当てていくハフマン
符号化が行われる。 【0010】可変長符号化されたデータは、一時バッフ
ァメモリ20に蓄えられた後、所定の転送レートで符号
化データとして出力される。また、その出力される符号
化データのマクロブロック毎の発生符号量は、符号量制
御器21に供給され、目標符号量に対する発生符号量と
の誤差符号量を量子化器14にフィードバックして量子
化スケールを調整することで符号量制御される。 【0011】一方、Pピクチャ(フレーム間順方向予測
符号化画像)とBピクチャ(双方向予測符号化画像)
は、後で動き補償予測の参照画面として用いる必要があ
るため、量子化器14により量子化された情報は逆量子
化器15に供給され、量子化値と乗算することにより逆
量子化され、更に逆DCT器16により逆DCTされる
ことにより局部復号化が行われ、加算器17で動き補償
予測器12からの予測画像データと加算されて復号器と
同じ画像が復元されて画像メモリ18に蓄積される。こ
の画像メモリ18から取り出されたデータは動き補償予
測器12に供給されて次の動き補償予測の参照画像とさ
れる。 【0012】次に、従来の復号化器について図5のブロ
ック図と共に説明する。同図中、入力端子23を介して
入力された符号化データは、VLD器24により可変長
復号化されてから逆量子化器25に供給され、ここで量
子化幅と乗算されることにより元のDCT係数に近似し
た値とされた後、逆DCT器26に供給されて逆DCT
されることにより局部復号化が行われる。 【0013】また、逆量子化器25より取り出された動
きベクトルと予測モードは、動き補償予測器27に画像
メモリ29よりの復号化データと共に供給され、これよ
り動き補償予測化した画像データを出力させる。加算器
28は逆DCT器26からのデータと動き補償予測器2
7よりの動き補償予測化した画像データとを加算するこ
とにより、符号化器に入力された画像データと等価なデ
ータを復号し、復号化データとして画像メモリ27に供
給する一方、外部へ出力する。 【0014】ところで、上述のようなMPEGによるデ
ータ符号化、復号化方式を使用して、ビデオ信号及びオ
ーディオ信号の符号化データを記録した光ディスクなど
から、記録符号化データの早送りや巻き戻し再生等の特
殊再生を可能ならしめるように、特殊再生用データをナ
ビゲートするナビゲーションデータを記録し、これを再
生する装置が提案されている(特開平8−273304
号公報)。 【0015】すなわち、この公報記載の従来の符号化方
法、復号化方法及び装置では、ビデオ信号やオーディオ
信号などの再生データをMPEG方式により圧縮してパ
ケット化した複数のデータパックを生成し、一定時間範
囲内で再生されるべきデータパック列を単位としてデー
タユニットを構成し、そのデータユニット内の先頭にそ
のデータパックの再生情報及び他のデータユニットとの
関係を記述したナビゲーション情報が格納されているナ
ビゲーションパックを設けたデータユニットを複数用意
し、それらデータユニットを時系列的に再生可能に記録
媒体に記録し、また、再生時は記録媒体の再生データの
ナビゲーション情報を参照し、データユニットを再生信
号に変換して再生信号を得るものである。 【0016】 【発明が解決しようとする課題】しかるに、上記の従来
の符号化方法、復号化方法及び装置では、データパック
の再生情報及び他のデータユニットとの関係を記述した
ナビゲーション情報の生成は、MPEGの符号化が終了
した後に、その符号化データを観測して符号量などの所
望の特殊再生情報を算出してから行う必要がある。すな
わち、上記の従来の符号化方法、復号化方法及び装置で
は、基本的にはMPEGによる符号化データは可変長符
号であるため、全部の符号化データが揃ってから、その
データを観測してデータユニットのアドレスを算出して
おり、全部の符号化データが揃ってからでないとデータ
ユニットのアドレスを算出することができず、リアルタ
イムで符号化データを記録することができないという問
題がある。 【0017】本発明の目的は、外部から供給される特殊
再生用指示信号が指示する、記録媒体に記録されている
符号化データの特殊再生を、記録媒体から再生した特殊
再生用情報データに基づき行い得るデータ再生方法を提
供することにある。 【0018】 【課題を解決するための手段】上記の目的を達成するた
め、本発明は、ピクチャ単位で構成された画像データを
MPEG方式により符号化して得るビデオ符号化データ
と、音声データを符号化して得るオーディオ符号化デー
タとを、MPEG方式に基づきパック化して多重化した
符号化データを生成しつつ、その多重化した符号化デー
タを、前記ビデオ符号化データにおける1つまたは複数
のGOPを単位としてその単位毎に順次ユニット化し、
1ユニット内には、1ユニット分の所定枚数の前記ピク
チャの再生時間に相当する一定時間分の前記オーディオ
符号化データが含まれる構成とし、 前記ユニットが生成
される毎に、その生成されたユニットのユニットサイ
ズ、ユニット再生時間、及びユニットの先頭から第N
(Nは前記所定枚数以下の自然数)番目のピクチャの最
後までのデータサイズ情報の3つの情報をそれぞれ該ユ
ニットに相当する前記多重化された符号化データから算
出して生成された、各ユニット毎の前記3つの情報を備
えた特殊再生用情報データと、生成された前記多重化さ
れた符号化データとが、互いに異なる領域に記録されて
いる記録媒体から、読み取り手段により前記多重化され
符号化データ及び前記特殊再生用情報データを読み出
して前記多重化された符号化データの特殊再生を行うデ
ータ再生方法であって、前記記録媒体から読み出した前
記特殊再生用情報データの備える各ユニット毎の前記3
つの情報の内の少なくとも1つの情報と、外部から入力
された特殊再生用指示信号とに基づいて、どの前記ユニ
ットのどの前記ピクチャを再生するかを特定し、その特
定したユニットの特定したピクチャに相当する符号化デ
ータに対する、前記記録媒体の前記多重化された符号化
データの記録領域におけるアクセスアドレスを生成し、
そのアクセスアドレスに従って、前記読み取り手段によ
り前記記録媒体から前記多重化された符号化データの一
部のデータを順次読み出して復号し、前記特殊再生用指
示信号が指示する特殊再生を行うことを特徴とするデー
タ再生方法、を提供するものである。 【0019】 【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。図1は符号化データを生成し記
録する符号化装置の一形態のブロック図、図2は本発明
になるデータ再生方法の一実施の形態を適用した復号化
装置(図1に示す符号化装置で記録媒体に記録された符
号化データを再生する復号化装置)のブロック図を示
す。図1中、図4と同一構成部分には同一符号を付し、
その説明を省略する。 【0020】まず、データ符号化方法及び符号化装置に
ついて説明するに、図1において、画像データは入力端
子10に入力され、図4と共に説明したように、Iピク
チャの場合は入力画像データが、PピクチャやBピクチ
ャの場合には動き補償された差分画像データが、それぞ
れDCT、量子化及び可変長符号化され、ビデオ符号化
データとしてバッファメモリ20に一時蓄積され、ビデ
オ符号化データのマクロブロック毎の発生符号量は、符
号量制御器21に供給される。 【0021】この符号量制御器21での処理について更
に詳細に説明する。マクロブロック毎の発生符号量は、
バッファメモリ20から符号量制御器21内の比較器に
供給され、ここで目標符号量と比較されてそれらの誤差
符号量が符号量制御器21内のフィードバック量子化決
定器に入力される。フィードバック量子化決定器は、入
力誤差符号量を例えば所定の間蓄積し、発生符号量の方
が大きい場合、誤差量に比例して量子化値を大きく設定
し、目標符号量の方が大きい場合、誤差量に比例して量
子化値を小さく設定して量子化器14を制御する。これ
により、各ピクチャは発生符号量が決定された目標符号
量になるように制御される。 【0022】一方、オーディオ信号をディジタル化して
得られたオーディオデータ(音声データ)は、入力端子
30を介してオーディオ符号化器31に供給されてMP
EGやAC−3、若しくは圧縮を行わずリニアパルス符
号変調(PCM)により固定長符号化される。バッファ
メモリ20に一時蓄積されたビデオ符号化データと、オ
ーディオ符号化器31より取り出されたオーディオ符号
化データは、それぞれ多重化器32に供給されてMPE
G2で公知の規格(ISO/IEC 13818-1)に基づきパック
化され、データ識別のためのIDや表示時間を示すタイ
ムスタンプなどの情報が更に付加された後、時系列的に
合成された多重符号化データとされる。 【0023】多重化器32から取り出された多重化され
た符号化データは、図示しない公知の記録機構により光
ディスクなどの記録媒体38にリアルタイムで記録され
る。また、多重化器32から取り出された多重化された
符号化データは、論理ユニット化器33にも供給されて
論理ユニット化される。例えば、MPEGで符号化され
たビデオデータを15ピクチャで1GOPを構成し、1
GOP単位でユニット化するものとすると、論理ユニッ
ト化器33では多重符号化データ中のビデオ符号化デー
タの1GOPを構成するピクチャの数をカウントしてG
OP境界を検出し、その検出時点でリセット信号をユニ
ット再生時間算出器34及びデータサイズ算出器35に
それぞれ供給する。なお、ユニットは1GOPに限定さ
れず、一定再生時間単位(一定ピクチャ数)であればよ
いが、その先頭はIピクチャに設定される。 【0024】ユニット再生時間算出器34は、多重化さ
れた符号化データから論理ユニットが再生される時間を
算出する。このユニット再生時間は、ビデオ符号化デー
タのディスプレイピクチャの枚数を入力符号化データを
観測することでカウントし、論理ユニット化器33から
リセット信号が入力されるまでのピクチャの枚数を1/
29.97秒で乗算することで算出できる。このユニッ
ト再生時間算出器34で算出されたユニット再生時間
は、情報メモリ36に記憶される。なお、予めユニット
の再生時間を固定としておくことも考えられる。その場
合には再生時間は算出する必要はなく、所定の固定再生
時間情報を情報メモリ36に記憶する。 【0025】また、データサイズ算出器35は、論理ユ
ニット化器33からのリセット信号の時間間隔からデー
タサイズを算出すると共に、多重化された符号化データ
から論理ユニット毎にその論理ユニットを構成するIピ
クチャ及びPピクチャの終了アドレス(EA)を算出す
る。例えば、図3に示すように、データサイズ算出器3
5は、リセット信号入力時点からIピクチャの終了アド
レス(1EA)と、次に入力されるPピクチャの終了ア
ドレス(2EA)と、以下、同様にして論理ユニット内
のすべてのあるいは、予め定めた数のPピクチャが入力
される毎に、その終了アドレス3EA,...,TEA
がそれぞれ算出される。このようにしてデータサイズ算
出器35により算出されたデータサイズ及び終了アドレ
スも情報メモリ36に供給されて一時記憶される。 【0026】情報メモリ36に記憶されたユニット再生
時間と終了アドレスとユニットサイズは、表1に示すよ
うなフォーマットに変換されて特殊再生用情報データと
して図示しない公知の記録機構により記録媒体38に、
上記の多重化された符号化データの記録領域とは別の領
域に記録される。 【0027】 【表1】表1に示すように、特殊再生用情報データは、各ユニッ
ト毎にユニットサイズ、ユニット再生時間、第1REF
(リファレンス)画像EA、第2REF画像EA及び第
3REF画像EAを一組とする情報データからなり、こ
れらがすべてのユニット分だけ順次時系列的に合成され
たデータである。ここで、図3に示すように、第1RE
F画像EAは、Iピクチャの終了アドレス(1EA)で
あり、第2REF画像EAはIピクチャの次のPピクチ
ャの終了アドレス(2EA)であり、第3REF画像E
Aは更に次のPピクチャの終了アドレス(3EA)であ
る。表1では第3REF画像EAまでの情報しかない
が、これ以上あるいはこれ以下であっても差し支えない
ことは勿論である。ユニットアドレスを加算すれば、次
のユニットの先頭アドレスを算出できることとなる。 【0028】次に、本発明のデータ再生方法の一実施の
形態を適用した復号化装置及びその復号化方法ついて図
2と共に説明する。図2において、図1の符号化装置に
より符号化データと特殊再生用情報データとがそれぞれ
の領域に分けて記録された記録媒体38から、図示しな
い再生機構により特殊再生用情報データをまず再生して
情報メモリ41に蓄積しておく。 【0029】次に、図示しないインタフェースによって
特殊再生用指示信号が入力端子40を介してピックアッ
プアクセスアドレス算出器42に入力されると、ピック
アップアクセスアドレス算出器42は情報メモリ41を
アクセスして特殊再生用情報データを取り込み、特殊再
生用指示信号が指示した倍速比に応じて各ユニットの終
了アドレスを選択し、選択した終了アドレスやユニット
サイズに基づいて、読み出し開始アドレスと読み出し終
了アドレスを算出し、それらのアドレスをオプティカル
ディスクコントローラ43に供給する。 【0030】オプティカルディスクコントローラ43
は、入力された読み出し開始アドレスと読み出し終了ア
ドレスに基づいて、ピックアップ44の読み取り制御を
行う。この読み取り制御はユニット毎に行われる。ピッ
クアップ44は記録媒体38の多重化された符号化デー
タの記録領域から多重化された符号化データとアドレス
を公知の方法で再生し、再生アドレスがオプティカルデ
ィスクコントローラ43から入力された読み出し開始ア
ドレスと読み出し終了アドレスとなるように再生トラッ
ク位置を選択して再生を行う。 【0031】ピックアップ44により再生された多重化
された符号化データは、分離化器45に供給されてビデ
オ符号化データとオーディオ符号化データとに分離さ
れ、ビデオ符号化データは図5に示した構成のビデオ復
号器47に供給されて従来と同様にして復号され、また
オーディオ符号化データはオーディオ復号器46に供給
されて復号される。 【0032】これにより、例えば特殊再生用指示信号が
15倍速の早送り再生を指示している場合は、ピックア
ップアクセスアドレス算出器42は表1の特殊再生用情
報データのユニットサイズを見て次のユニットの先頭ア
ドレス(読み出し開始アドレス)を算出すると同時に、
ここでは1GOPが15枚のピクチャで構成されている
ので、そのユニットの第1REF画像EAを検出してそ
の終了アドレスを読み出し終了アドレスとして算出して
オプティカルディスクコントローラ43に出力すること
を各ユニット毎に行う。これにより、ピックアップ44
により各ユニットの、ここでは各GOPの先頭のIピク
チャのみが順番に記録媒体38から再生されるため、1
5倍速再生ができる。 【0033】なお、本発明は以上の実施の形態に限定さ
れるものではなく、例えば、情報メモリ36は特殊再生
用情報データフォーマット器37により逐次生成した各
ユニットの特殊再生用情報データを記憶するようにして
もよく、さらには記録媒体38に記録できるデータレー
トが、記録する符号化データのデータレートよりも高い
場合は、情報メモリ36自体を設けずに、符号化データ
を記録しない空いている時間に特殊再生用情報データを
タイムシェアリングで記録することも可能である。 【0034】 【発明の効果】以上説明したように、本発明によれば、
ピクチャ単位で構成された画像データをMPEG方式に
より符号化して得るビデオ符号化データと、音声データ
を符号化して得るオーディオ符号化データとを、MPE
G方式に基づきパック化して多重化した符号化データ
と、特殊再生用情報データとが互いに異なる領域に記録
されている記録媒体から、多重化された符号化データを
再生して復号するに際し、記録媒体から再生した特殊再
生用情報データと、外部から入力された特殊再生用指示
信号とに基づいて生成した、読み取り手段の記録媒体に
対するアクセスアドレスに基づいて、多重化された符号
化データの各ユニットの一部のデータを順次再生し、再
生符号化データを復号するようにしたため、特殊再生用
指示信号が指示する特殊再生が行える。
DETAILED DESCRIPTION OF THE INVENTION [0001] The present invention relates to a data reproducing method.
In particular, the special reproduction instruction signal supplied from the outside
The special type of coded data recorded on the recording medium
Reproduction is performed on the special reproduction information data reproduced from the recording medium.
The present invention relates to a data reproduction method that can be performed based on the data reproduction method. [0002] 2. Description of the Related Art A video signal of a moving image and an audio signal related thereto.
Audio signal as an international standard for compression encoding
By MPEG (Moving Picture Experts Group)
There is This MPEG was adopted in 1988 by the ISO / IEC
  JTC1 / SC2 (International Organization for Standardization / International Electric Standardization)
Technical Committee 1 / Specialized Subcommittee 2, SC29)
Abbreviation of the name of the organization that reviews the established video coding standards.
It is a name. [0003] MPEG1 (MPEG phase 1)
Standard for 1.5 Mbps storage media
JPEG for the purpose of still image coding and ISDN
(Service integrated digital network)
H.264 for moving image compression for low transfer rate of talk 26
1 (CCITT SGXV, current ITU-T SG1
(Standardized in 5), storage media
It introduces new technology for use. These are 199
In August 3rd, it was established as ISO / IEC 11172
I have. MPEG2 (MPEG Phase 2)
So that it can handle various applications such as
ISO / IEC, November 1994, for the purpose of
13818; 262. [0004] The conventional MPEG encoding apparatus
FIG. 4 shows an example of a block diagram, and FIG.
A lock diagram is shown in FIG. First, the encoding apparatus of FIG.
A video composed of a luminance signal and a color difference signal
After the signal has been digitized,
The input terminal 1 is used as input image data.
Input to 0. This input image data is subtracted by the subtractor 11.
The motion compensated image data from the motion compensated predictor 12
Image data that has been subtracted from the data
It is said. The directions of the above predictions are past and future, and
There are both three modes. In addition, these are 16
16 × 16 macroblock, 16 pixels in the horizontal direction
Can be used by switching in units of blocks (MB). The prediction direction is ON
Determined by picture type given to force image data
Is done. The prediction from the past and the MB without prediction
There are two modes for independent encoding: P picture.
You. Also, predictions from the future, predictions from the past,
Prediction, four modes that encode independently are B pictures
Cha. And encode all MBs independently
Is an I picture. In the above-described motion compensation, the motion area is divided into MBs.
Performs turn matching and moves with half-pel accuracy
Torr is detected and predicted by shifting by the amount of movement. Movement
There are horizontal and vertical vectors, and from where
MC (Motion Compensation) mode that indicates prediction
Is transmitted as additional information of the MB. Next from I picture
Group of pictures up to the picture before the I picture
(GOP), a place used in storage media, etc.
In general, about 15 pictures (frames) are used
Is done. [0007] From the above subtractor 11, in the case of an I picture
Fetches the input image data as it is,
In the case of a B picture, the motion-compensated difference image data
The signal is taken out and supplied to the DCT unit 13, where the discrete
In-transform (DCT: Discrete Cosine Transform)
You. This DCT is an integral transform using a cosine function as an integral kernel.
This is an orthogonal transform for discretely transforming into a finite space. In MPEG
The MB is divided into four, 8 pixels in the vertical direction and 8 pixels in the horizontal direction.
Two-dimensional DCT is performed on the × 8 DCT block.
Generally, video signals have many low-frequency components and few high-frequency components
Therefore, when DCT is performed, the obtained coefficients are concentrated in low frequencies.
You. [0008] DCT-processed image data (DCT coefficients)
Is supplied to a quantizer 14, where it is quantized. This
Is a two-dimensional 8 × 8 matrix called a quantization matrix.
The wave number is weighted by the visual characteristics, and the whole is a scalar
-Quantize the value multiplied by the value of the quantization scale to multiply
By dividing the DCT coefficient by its quantization width,
Done. [0009] The quantized DCT coefficients are used for motion compensation prediction.
The motion vector from the detector 12 and the prediction
To the variable length encoder (VLC unit) 19 together with the measurement mode.
And is variable length coded. In this variable length coding,
The DC component of the DCT coefficient is one of the predictive coding
DPCM (Differential Pulse Code Modulatio)
n) and the alternating current (AC) component of the DCT coefficient
Zigzag scan from high to
The current count and the effective coefficient value are regarded as one event, and the appearance probability is high.
Huffman assigns codes with shorter code lengths
Encoding is performed. [0010] The variable length encoded data is temporarily buffered.
After being stored in the memory 20, the code is stored at a predetermined transfer rate.
It is output as coded data. Also, the output code
The amount of generated code for each macroblock of encoded data is
Is supplied to the controller 21 and the generated code amount with respect to the target code amount and
The error code amount of
The code amount is controlled by adjusting the quantization scale. On the other hand, a P picture (inter-frame forward prediction)
Encoded image) and B picture (bidirectional predictive encoded image)
Must be used later as a reference screen for motion compensation prediction.
Therefore, the information quantized by the quantizer 14 is inverse quantum
, And multiplied by the quantized value to obtain an inverse
Quantized, and inverse DCT by the inverse DCT unit 16
As a result, local decoding is performed, and motion compensation is performed by the adder 17.
The predicted image data from the predictor 12 is added to the
The same image is restored and stored in the image memory 18. This
The data fetched from the image memory 18 of FIG.
Is supplied to the measuring instrument 12 and is used as a reference image for the next motion compensation prediction.
It is. Next, the conventional decoder is shown in FIG.
This will be described with reference to a block diagram. In the figure, via an input terminal 23
The input encoded data is variable length by the VLD unit 24.
After being decoded, it is supplied to the inverse quantizer 25, where the quantity
Multiplied by the quantization width to approximate the original DCT coefficients
The value is supplied to the inverse DCT unit 26 and the inverse DCT
Thus, local decoding is performed. The dynamics extracted from the inverse quantizer 25 are
The motion vector and the prediction mode are
The data is supplied together with the decrypted data from the memory 29.
And outputs the image data that has been motion compensated and predicted. Adder
28 is the data from the inverse DCT unit 26 and the motion compensation predictor 2
7 and the motion-compensated image data from
, The data equivalent to the image data input to the encoder
The data is decoded and supplied to the image memory 27 as decoded data.
While supplying to the outside. By the way, the above-mentioned MPEG data
Video signals and audio using data encoding and decoding schemes.
Optical disk on which encoded data of audio signal is recorded
From the coded data, such as fast forward and rewind playback.
Special playback data is used to enable special playback.
Record the navigation data to be navigated and re-
A device for producing the same has been proposed (Japanese Patent Laid-Open No. 8-273304).
No.). That is, the conventional encoding method described in this publication
Video, audio and video
The playback data, such as signals, is compressed by the MPEG method and
Generates multiple data packs that are
Data in units of data pack columns to be played back
Data unit.
Of data pack playback information and other data units
The navigation information that describes the relationship
Prepare multiple data units with navigation packs
And record these data units so that they can be played back in chronological order.
Recorded on a medium, and at the time of reproduction,
Refer to the navigation information and play back the data unit.
To obtain a reproduced signal. [0016] SUMMARY OF THE INVENTION However, the above-mentioned conventional
In the encoding method, decoding method and apparatus of
Of playback information and its relationship with other data units
MPEG encoding is completed for the generation of navigation information
After that, observe the encoded data and check the
It is necessary to calculate the desired special reproduction information before performing it. sand
That is, in the above-mentioned conventional encoding method, decoding method and apparatus,
Basically means that encoded data by MPEG is variable length
Since all encoded data are collected,
Observe the data and calculate the address of the data unit
Data must be collected until all encoded data is available.
The unit address cannot be calculated,
Can not record encoded data
There is a title. An object of the present invention is to provide an externally supplied special
Recorded on a recording medium indicated by a reproduction instruction signal
The special reproduction of the encoded data is
Provides a data reproduction method that can be performed based on the reproduction information data.
To provide. [0018] Means for Solving the Problems To achieve the above object,
Therefore, the present invention provides a method for processing image data composed of pictures.
By MPEG methodVideo encoded data obtained by encoding
And audio encoded data obtained by encoding audio data.
And, Packed and multiplexed based on MPEG system
While generating encoded data,MultiplexedEncoded data
TheOne or more of the video encoded data
GOP is unitized, and the unit is sequentially united for each unit.
In one unit, a predetermined number of pictographs for one unit
The audio for a certain time equivalent to the playing time of the tea
It is configured to include encoded data, SaidUnit generated
Each time a unit is created
Unit, the unit playback time, and the Nth
(N is a natural number less than or equal to the predetermined number)
Each of the three pieces of data size information up to the
The equivalent of a knitMultiplexedCalculated from encoded data
The above three information generated for each unit
The special reproduction information data obtained and the generatedMultiplexed
WasEncoded data is recorded in different areas from each other
Reading means from the recording mediumMultiplexed
WasRead the encoded data and the trick play information data
And saidMultiplexedData for special playback of encoded data
Data reproducing method, before reading from the recording medium.
3 for each unit provided with the special reproduction information data.
At least one of the information and external input
Of the unit based on the specified special reproduction instruction signal.
To determine which picture of the unit to play, and
Coded data corresponding to the specified picture of the specified unit
Data of the recording mediumMultiplexedCoding
Generate an access address in the data recording area,
According to the access address, the reading means
From the recording mediumMultiplexedOne of the encoded data
The data for the special reproduction is read out and decrypted sequentially.
Data for performing special reproduction indicated by the display signal.
Data reproduction method. [0019] Next, an embodiment of the present invention will be described.
This will be described with reference to the drawings. Figure 1 shows how to generate and record encoded data.
And FIG. 2 is a block diagram showing an embodiment of an encoding apparatus for recording.
Decoding using an embodiment of a data reproducing method
Device (the code recorded on the recording medium by the encoding device shown in FIG. 1)
Block diagram of a decoding device for reproducing encoded data)
You. In FIG. 1, the same components as those in FIG.
The description is omitted. First, a data encoding method and an encoding device
In FIG. 1, image data is input to the input terminal.
As described with reference to FIG.
If the input image data is a P picture or B picture
In this case, the motion-compensated difference image data
DCT, quantized and variable length coded, video coded
The data is temporarily stored in the buffer memory 20 as data,
The amount of generated code for each macroblock of encoded data is
It is supplied to the volume controller 21. The processing in the code amount controller 21 is further described.
This will be described in detail. The generated code amount for each macroblock is
From the buffer memory 20 to the comparator in the code amount controller 21
Supplied, where they are compared to the target code amount and their errors
The code amount is determined by the feedback quantization decision in the code amount controller 21.
Input to the measuring instrument. The feedback quantization decider
For example, the power error code amount is accumulated for a predetermined period, and the generated code amount is
Is large, the quantization value is set large in proportion to the amount of error
If the target code amount is larger, the amount is proportional to the error amount.
The quantization value is controlled by setting the quantization value to a small value. this
, Each picture is a target code whose generated code amount is determined
It is controlled to be a quantity. On the other hand, when the audio signal is digitized,
The obtained audio data (audio data) is input to the input terminal
30 and supplied to the audio encoder 31 via
EG, AC-3, or linear pulse code without compression
And fixed length coding by signal modulation (PCM). buffer
Video encoded data temporarily stored in the memory 20;
Audio code extracted from the audio encoder 31
The multiplexed data is supplied to the multiplexer 32 and the MPE
Pack based on G2 standard (ISO / IEC 13818-1)
Tied to indicate the ID and display time for data identification
After additional information such as a time stamp is added,
The combined multi-encoded data is used. The multiplexed data extracted from the multiplexer 32
The encoded data is read by a known recording mechanism (not shown).
Recorded on a recording medium 38 such as a disc in real time.
You. Also, the multiplexed data extracted from the multiplexer 32
The encoded data is also supplied to the logical unit generator 33.
It is made into a logical unit. For example, if encoded by MPEG
GOP is composed of 15 pictures,
If it is assumed to be unitized in GOP units, the logical unit
In the encoder 33, the video coded data in the multiplexed coded data is
G is counted by counting the number of pictures constituting one GOP of
An OP boundary is detected, and a reset signal
The data reproduction time calculator 34 and the data size calculator 35
Supply each. Units are limited to 1 GOP
No, it is only a fixed playback time unit (a certain number of pictures)
However, the head is set to an I picture. The unit playback time calculator 34 calculates the multiplexed
Time for the logical unit to be reproduced from the encoded data
calculate. This unit playback time is
Input coded data
It counts by observing, and from logical unitizer 33
The number of pictures until the reset signal is input is 1 /
It can be calculated by multiplying by 29.97 seconds. This unit
Unit playback time calculated by the playback time calculator 34
Are stored in the information memory 36. In addition, unit
It is also conceivable to keep the playback time fixed. On the spot
In this case, there is no need to calculate the playback time,
The time information is stored in the information memory 36. The data size calculator 35 is a logical unit.
From the time interval of the reset signal from the
Data size and multiplexed encoded data
From the I-pin that constitutes the logical unit for each logical unit
Calculate end addresses (EA) of picture and P picture
You. For example, as shown in FIG.
5 is the end address of the I picture from the reset signal input point.
Address (1EA) and the end address of the next input P-picture.
Dress (2EA), and in the same manner in the logical unit
All or a predetermined number of P-pictures are input
Every time the end address 3EA,. . . , TEA
Are calculated respectively. In this way, the data size calculation
The data size and end address calculated by the output unit 35
The information is also supplied to the information memory 36 and temporarily stored. Reproduction of unit stored in information memory 36
The time, end address and unit size are shown in Table 1.
Format and converted to special playback information data.
Then, a known recording mechanism (not shown)
A different area from the recording area of the multiplexed encoded data
Recorded in the area. [0027] [Table 1]As shown in Table 1, the trick play information data is stored in each unit.
Unit size, unit playback time, 1st REF
(Reference) image EA, second REF image EA and
3REF image EA is a set of information data.
These are sequentially combined in time series for all units.
Data. Here, as shown in FIG.
The F picture EA is the end address (1EA) of the I picture.
Yes, the second REF image EA is the P picture next to the I picture.
End address (2EA) of the third REF image E
A is the end address (3EA) of the next P picture.
You. In Table 1, there is only information up to the third REF image EA
But can be more or less
Of course. If the unit address is added,
Can be calculated. Next, an embodiment of the data reproducing method according to the present invention will be described.
Of a decoding apparatus and a decoding method to which the embodiment is applied
It will be described together with 2. In FIG. 2, the encoding apparatus of FIG.
More encoded data and special playback information data
From the recording medium 38 recorded in the area
First reproduce the special reproduction information data
The information is stored in the information memory 41. Next, an interface (not shown)
An instruction signal for trick play is picked up through the input terminal 40.
Input to the access address calculator 42,
The up access address calculator 42 stores the information memory 41
Access to import special playback information data,
End of each unit according to the speed ratio indicated by the raw instruction signal.
Select the end address and the selected end address or unit.
Read start address and read end based on size
Address and calculate those addresses optically
This is supplied to the disk controller 43. Optical disk controller 43
Indicates the input read start address and read end address.
Read control of the pickup 44 based on the dress
Do. This reading control is performed for each unit. Pick
The backup 44 stores the multiplexed encoded data of the recording medium 38.
Data and address multiplexed from the data recording area
Is played back by a known method, and the playback address is
The read start address input from the disk controller 43
Address and the read end address.
Select the playback position and start playback. Multiplexing Reproduced by Pickup 44
The encoded data is supplied to a demultiplexer 45 and
Audio data and audio encoded data
The video coded data is the video decoded data having the configuration shown in FIG.
And is decoded in the same manner as in the prior art.
The audio encoded data is supplied to the audio decoder 46
And decrypted. Thus, for example, a special reproduction instruction signal is generated.
If you are instructing 15x fast forward playback,
The access address calculator 42 stores the special reproduction information shown in Table 1.
Check the unit size of the
At the same time as calculating the dress (read start address)
Here, one GOP is composed of 15 pictures.
Therefore, the first REF image EA of the unit is detected and
Is calculated as the read end address.
Output to the optical disk controller 43
Is performed for each unit. Thereby, the pickup 44
Of each unit, in this case, the first I picture of each GOP
Since only the channel is reproduced from the recording medium 38 in order,
5x speed playback is possible. The present invention is limited to the above embodiment.
For example, the information memory 36 is used for special reproduction.
Generated sequentially by the data information formatter 37
By storing the information data for special reproduction of the unit
And a data rate that can be recorded on the recording medium 38.
Is higher than the data rate of the encoded data to be recorded.
In this case, the encoded data is stored without providing the information memory 36 itself.
To record special playback information data during idle time.
It is also possible to record by time sharing. [0034] As described above, according to the present invention,
Image data composed of picturesTo MPEG
Video encoded data and audio data obtained by more encoding
And audio encoded data obtained by encoding
Encoded data packed and multiplexed based on the G method
And special playback information data are recorded in different areas
From the recording mediaMultiplexedEncoded data
When playing back and decoding, special playback
Raw information data and special playback instructions input from outside
On the recording medium of the reading means generated based on the signal
Based on the access addressMultiplexedSign
Part of the data in each unit
For decoding specially encoded raw data
The special reproduction indicated by the instruction signal can be performed.

【図面の簡単な説明】 【図1】符号化データを生成し記録する符号化装置の一
形態のブロック図である。 【図2】本発明になるデータ再生方法の一実施の形態を
適用した復号化装置のブロック図である。 【図3】特殊再生用情報データ中のリファレンス画像終
了アドレスの説明図である。 【図4】従来の符号化装置の一例のブロック図である。 【図5】従来の復号化装置の一例のブロック図である。 【符号の説明】 10 画像データ入力端子 14 量子化器(符号化手段) 19 可変長符号化(VLC)器(符号化手段) 20 バッファメモリ(符号化手段) 21 符号量制御器(符号化手段) 30 音声データ入力端子 31 オーディオ符号化器(符号化手段) 32 多重化器 33 論理ユニット化器(特殊再生用情報データ生成手
段) 34 ユニット再生時間算出器(特殊再生用情報データ
生成手段) 35 データサイズ算出器(特殊再生用情報データ生成
手段) 36 情報メモリ(特殊再生用情報データ生成手段) 37 特殊再生用情報データフォーマット器(特殊再生
用情報データ生成手段) 38 記録媒体 40 特殊再生用指示信号入力端子 41 情報メモリ 42 ピックアップアクセスアドレス算出器(アクセス
アドレス生成手段) 43 オプティカルディスクコントローラ(ピックアッ
プ制御手段) 44 ピックアップ 45 分離化器(復号手段) 46 オーディオ復号器 47 ビデオ復号器(復号手段)
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of one embodiment of an encoding device that generates and records encoded data. FIG. 2 is a block diagram of a decoding apparatus to which an embodiment of a data reproducing method according to the present invention is applied. FIG. 3 is an explanatory diagram of a reference image end address in the special reproduction information data. FIG. 4 is a block diagram illustrating an example of a conventional encoding device. FIG. 5 is a block diagram illustrating an example of a conventional decoding device. [Description of Code] 10 Image data input terminal 14 Quantizer (encoding means) 19 Variable length encoding (VLC) device (encoding means) 20 Buffer memory (encoding means) 21 Code amount controller (encoding means) 30) audio data input terminal 31 audio encoder (encoding means) 32 multiplexer 33 logical unitizer (special reproduction information data generating means) 34 unit reproduction time calculator (special reproduction information data generating means) 35 Data size calculator (special reproduction information data generation means) 36 Information memory (special reproduction information data generation means) 37 special reproduction information data formatter (special reproduction information data generation means) 38 recording medium 40 special reproduction instruction Signal input terminal 41 Information memory 42 Pickup access address calculator (access address generation means) 43 Option Critical A disk controller (pickup control means) 44 pickup 45 demultiplexing unit (decoding means) 46 Audio decoder 47 video decoder (decoding means)

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平7−170488(JP,A) 特開 平6−325553(JP,A) 特開 平11−261962(JP,A) 特開 平6−268969(JP,A) 特開 平8−273304(JP,A) 特開 平10−74380(JP,A) 特開2000−109860(JP,A) 国際公開97/13361(WO,A1) (58)調査した分野(Int.Cl.7,DB名) H04N 5/85 - 5/956 H04N 7/24 G11B 20/10 ──────────────────────────────────────────────────続 き Continuation of front page (56) References JP-A-7-170488 (JP, A) JP-A-6-325553 (JP, A) JP-A-11-261962 (JP, A) JP-A-6-325 268969 (JP, A) JP-A-8-273304 (JP, A) JP-A-10-74380 (JP, A) JP-A-2000-109860 (JP, A) WO 97/13361 (WO, A1) (58 ) Surveyed field (Int.Cl. 7 , DB name) H04N 5/85-5/956 H04N 7/24 G11B 20/10

Claims (1)

(57)【特許請求の範囲】 【請求項1】ピクチャ単位で構成された画像データを
PEG方式により符号化して得るビデオ符号化データ
と、音声データを符号化して得るオーディオ符号化デー
タとを、MPEG方式に基づきパック化して多重化した
符号化データを生成しつつ、その多重化した符号化デー
タを、前記ビデオ符号化データにおける1つまたは複数
のGOPを単位としてその単位毎に順次ユニット化し、
1ユニット内には、1ユニット分の所定枚数の前記ピク
チャの再生時間に相当する一定時間分の前記オーディオ
符号化データが含まれる構成とし、 前記 ユニットが生成される毎に、その生成されたユニッ
トのユニットサイズ、ユニット再生時間、及びユニット
の先頭から第N(Nは前記所定枚数以下の自然数)番目
のピクチャの最後までのデータサイズ情報の3つの情報
をそれぞれ該ユニットに相当する前記多重化された符号
化データから算出して生成された、各ユニット毎の前記
3つの情報を備えた特殊再生用情報データと、生成され
た前記多重化された符号化データとが、互いに異なる領
域に記録されている記録媒体から、読み取り手段により
前記多重化された符号化データ及び前記特殊再生用情報
データを読み出して前記多重化された符号化データの特
殊再生を行うデータ再生方法であって、 前記記録媒体から読み出した前記特殊再生用情報データ
の備える各ユニット毎の前記3つの情報の内の少なくと
も1つの情報と、外部から入力された特殊再生用指示信
号とに基づいて、どの前記ユニットのどの前記ピクチャ
を再生するかを特定し、その特定したユニットの特定し
たピクチャに相当する符号化データに対する、前記記録
媒体の前記多重化された符号化データの記録領域におけ
るアクセスアドレスを生成し、 そのアクセスアドレスに従って、前記読み取り手段によ
り前記記録媒体から前記多重化された符号化データの一
部のデータを順次読み出して復号し、前記特殊再生用指
示信号が指示する特殊再生を行うことを特徴とするデー
タ再生方法。
(57) [Claims 1] An image data composed of picture units is represented by M
Video encoded data obtained by encoding according to the PEG system and audio encoded data obtained by encoding audio data are packed and multiplexed based on the MPEG system to generate encoded data. Multiplexing the encoded data with one or more of the video encoded data
GOP is unitized, and the unit is sequentially united for each unit.
In one unit, a predetermined number of pictographs for one unit
The audio for a certain time equivalent to the playing time of the tea
A structure that contains coded data, each time the unit is generated, the unit size of the unit to which the generated, the unit reproduction time, and the unit leading from the N (N is the predetermined number or less natural number) th of Special reproduction information including the three pieces of information for each unit, generated by calculating three pieces of data size information up to the end of a picture from the multiplexed coded data corresponding to the unit. The data and the generated multiplexed coded data are read from the recording medium in which the multiplexed coded data and the special reproduction information data are read by a reading unit from a recording medium recorded in different areas. wherein a multiplexed data reproducing method for performing special reproduction of the encoded data, the trick play information de read from said recording medium Data based on at least one of the three pieces of information for each unit provided, and a special reproduction instruction signal input from the outside, to specify which picture of which unit is to be reproduced, Generating an access address in the recording area of the multiplexed encoded data of the recording medium for encoded data corresponding to the identified picture of the identified unit; A data reproducing method for sequentially reading out and decoding a part of the multiplexed encoded data, and performing a special reproduction indicated by the special reproduction instruction signal.
JP2002021625A 2002-01-30 2002-01-30 Data playback method Expired - Lifetime JP3381726B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002021625A JP3381726B2 (en) 2002-01-30 2002-01-30 Data playback method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002021625A JP3381726B2 (en) 2002-01-30 2002-01-30 Data playback method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP18480398A Division JP3381630B2 (en) 1998-06-30 1998-06-30 Data generation method

Publications (2)

Publication Number Publication Date
JP2002305724A JP2002305724A (en) 2002-10-18
JP3381726B2 true JP3381726B2 (en) 2003-03-04

Family

ID=19192196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002021625A Expired - Lifetime JP3381726B2 (en) 2002-01-30 2002-01-30 Data playback method

Country Status (1)

Country Link
JP (1) JP3381726B2 (en)

Also Published As

Publication number Publication date
JP2002305724A (en) 2002-10-18

Similar Documents

Publication Publication Date Title
KR101227330B1 (en) Picture coding apparatus and picture decoding apparatus
US8260122B2 (en) MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method
WO1999038326A1 (en) Image transmitting method, image processing method, image processor, data storage medium
JPH0974566A (en) Compression encoder and recording device for compression encoded data
KR19990072968A (en) Picture signal processing system, decoder, picture signal processing method, and decoding method
JP3147792B2 (en) Video data decoding method and apparatus for high-speed playback
JP3381726B2 (en) Data playback method
JP3381630B2 (en) Data generation method
JP2003052040A (en) Mpeg data reproduction equipment
JP3381728B2 (en) recoding media
JP3381725B2 (en) Data recording device
JP3381724B2 (en) Data recording method
JP3381723B2 (en) Data generator
JP3381727B2 (en) Data playback device
JP3721972B2 (en) MPEG image data recording method
JPH1032787A (en) Moving image encoding system for real-time reverse reproduction
JP3721971B2 (en) MPEG image data recording apparatus and recording medium
JP2007325304A (en) Mpeg data recording and reproducing method
JP2008005520A (en) Mpeg data recording and reproducing method
JP2003092733A (en) Mpeg data recorder
JP2000236539A (en) Image compression coder
JP2008005519A (en) Mpeg data recording and reproducing apparatus
JP2008005521A (en) Mpeg data recording and reproducing method
JP2004266846A (en) Mpeg image data recording method
JP2008005522A (en) Mpeg data recording and reproducing method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20181220

Year of fee payment: 16

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20181220

Year of fee payment: 16

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20181220

Year of fee payment: 16

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term