JP4356046B2 - 符号化データ記録再生装置、及び符号化データ再生装置 - Google Patents

符号化データ記録再生装置、及び符号化データ再生装置 Download PDF

Info

Publication number
JP4356046B2
JP4356046B2 JP30386699A JP30386699A JP4356046B2 JP 4356046 B2 JP4356046 B2 JP 4356046B2 JP 30386699 A JP30386699 A JP 30386699A JP 30386699 A JP30386699 A JP 30386699A JP 4356046 B2 JP4356046 B2 JP 4356046B2
Authority
JP
Japan
Prior art keywords
data
audio
image data
unit
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP30386699A
Other languages
English (en)
Other versions
JP2001128119A (ja
Inventor
俊夫 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP30386699A priority Critical patent/JP4356046B2/ja
Publication of JP2001128119A publication Critical patent/JP2001128119A/ja
Application granted granted Critical
Publication of JP4356046B2 publication Critical patent/JP4356046B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は動画像及び音声を符号化したデータを記録再生する符号化データ記録再生装置、及び符号化したデータを再生する符号化データ再生装置に関する。そして、この発明は媒体上に記録されたプログラムを部分的に接続しながら再生する場合に好適な符号化データ記録再生装置、及び符号化データ再生装置を提供することを目的としている。
【0002】
【従来の技術】
近年の情報処理技術の進展により、デジタル音響映像情報をデータ圧縮し、情報記録媒体に記録することが行われつつある。特にこれら圧縮技術を応用した記録可能なディスク媒体は、その良好なランダムアクセス性によって今後デジタル音響映像の記録媒体として主流になると考えられている。
【0003】
一般的には、動画像は音声に対して情報量が膨大であるため、限られた媒体の記録情報量を有効に用いるために高度な圧縮技術が用いられている。映像の単位である映像フレーム内の相関を利用したデータ圧縮のみならず、複数の時間的に近接した映像フレーム間の相関を用いて圧縮する手法はこの代表的なものである。このデータ圧縮の結果、動画像の1映像フレーム(第1の所定時間単位の画像データ単位)あたりのデータ量はフレーム内映像の複雑さや映像フレーム間の相関の度合いに従って大幅に変動することは周知の通りである。この様にデータ圧縮によって一定期間に発生する符号量が変動する状態を指して「可変ビットレートで圧縮符号化」あるいは「VBR(Variable Bit Rate)で圧縮符号化」と称している。一方音声については相対的な情報量の少なさから、一定期間に発生する符号量が一定である固定ビットレートでの圧縮符号化、いわゆるCBR(Constant Bit Rate)での圧縮符号化が採用される場合が多い。音声も動画像と同様に一定の出力期間に相当する音声フレームに区切られ、音声フレーム(第2の所定時間単位の音声データ単位)を単位として圧縮符号化されることが一般的である。
【0004】
動画像/音声の符号化データを媒体に記録再生するための従来の記録再生装置は図5に示される構成を持っている。動画像は動画像符号化部1によって圧縮符号化され、同様に音声は音声符号化部2で圧縮符号化される。これらから独立して発生する符号化データは、記録に好適であるように多重化部3で単一の符号化データ列となる。動画像符号化部1においては前記した通りVBRで符号化が成されるが、記録媒体上ではそのデータ容量の効率的な利用のために、符号化データ列は隙間無く連続配置される。この目的のために書き込みバッファ4を設け、多重化部3の出力レートが高い場合、あるいは記録媒体への書きこみが回転待ち状態の場合に、書き込みバッファ4に符号化データを溜め込むように構成されている。書き込みバッファ4の出力は光ヘッド等で構成される情報書き込み部5を通じて記録媒体6上に連続配置で記録される。
【0005】
さて、記録媒体6上ではセクタと称する少量かつ固定データ量の区画が連続配置されており、動画像/音声の符号化データはセクタに分割されて記録される。さらに、記録媒体への記録再生装置による書き込み/読み出しはセクタ単位が一般的であり、容易なアクセスの観点から異なる種類のデータを同一セクタ内に記録することは好ましくない。よって、動画像と音声との各符号化データは図6に示されるように夫々異なるセクタに記録される。図6では各映像フレーム(各画像データ単位)を構成するための符号化データがV1からV4、各音声フレーム(各音声データ単位)を構成するための符号化データがA0からA5である例が示されている。図6に示す例では、各映像フレームの符号化データはそれぞれ3つのセクタにわたり記録され、各音声フレームの符号化データはそれぞれ1つのセクタに記録される。図にV1と示された3つのセクタの符号化データにより、一画像単位である映像フレームV1が構成される。
【0006】
記録媒体6上の動画像/音声の符号化データを再生する場合は、その記録に対応した逆の処理が行われる。すなわち図5に示されるように、光ヘッド等で構成された情報読み出し部7により各符号化データが間欠的に読み出され、読み出しバッファ8に一時記憶された後、多重化分離部9に供給される。多重化分離部9により動画像と音声との符号化データが分離され、動画像復号部10及び音声復号部11においてそれぞれ復号され出力される。
【0007】
図7は図6で示された記録媒体上のセクター列を読み取り、再生を行った場合に出力される映像フレームと音声フレームとの時間的関係を示している。すなわち、図6に示された動画像符号化データV1からV4と音声符号化データA0からA5が出力されている様子である。映像フレームの時間的な期間(映像フレーム期間)はNTSC方式ならば約33.4msec、PAL方式の場合40msecとなり規定がはっきりしているが、音声フレームの時間的な期間(音声フレーム期間)は採用される圧縮方式によって決定され、音声フレーム期間は映像フレーム期間に一致しない場合が多い。従って図7に示されるように映像フレームの境界と音声フレームの境界は非同期な関係になることが解る。
【0008】
【発明が解決しようとする課題】
ここで、動画像符号化データV2に相当する映像フレーム(映像フレームV2と呼ぶ。以下も同様。)の再生を編集によってスキップすることを考える。すなわち、映像フレームV1と映像フレームV3とが連続するフレームとして再生される様にする場合である(時間的に連続しない2つの画像データ単位である映像フレームV1と映像フレームV3とを連続させて再生する場合)。このとき、図6に示される符号化データV2を実際に削除するのではなく、この符号化データV2の読み取りをスキップするようにすることで目的は達成される。
【0009】
しかしながら、音声に関しては、映像フレームV2に関連する音声フレームA2(音声符号化データA2に相当する音声フレーム)の再生をスキップする(音声符号化データA2の読み取りをスキップする)のみでは目的が達成されない。なぜならば、音声は音声フレーム単位で圧縮符号化されており、さらに、図7に示すように音声フレームの境界が映像フレームの境界に一致していないからである。
【0010】
これについて、図8を用いてより詳しく説明する。通常再生の場合、映像フレームV2と時間的に関連する音声フレームは、音声フレームA2だけではなく、図7に示すように音声フレームA1とA3も関連する。従って、映像フレームV1と映像フレームV3とを連続させて再生する場合、音声フレームA2の再生をスキップさせただけでは、図8に示すように音声フレームA1とA3との再生に時間的なオーバーラップが生じてしまう。よって、オーバーラップを起こさないためには、音声フレームA2のみならず音声フレームA3(または音声フレームA1)の再生もスキップしなければならない。このような編集を行った後の再生出力は図8に示されるようになる。
【0011】
図8に示される音声フレームA1の後には、最大で1音声フレーム期間の音声が存在しない期間が発生するため、再生機において出力ミュートを行う必要があった。さらに、この期間の前後を含め、記録された音声の音圧レベルが高い場合、単純な出力ミュートでは出力レベルの大きな変化によって雑音が出力される可能性が高く、図8に示されるようなゲインカーブを持った精密なミュートを行う必要があった。
【0012】
本発明は、記録媒体上に記録されたプログラムを部分的に接続しながら再生する場合(記録された画像データ内の時間的に連続しない2つの画像データ単位である第1の画像データ単位と第2の画像データ単位とを連続させて再生する場合)に、接続点において、音声ミュート処理を行うことなく音声が不連続となることを防止できる符号化データ記録再生装置、及び符号化データ再生装置を提供することを目的としている。
【0013】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記の装置を提供するものである。
(1) 第1の所定時間単位の画像データ単位毎に圧縮符号化された画像データ、及び、前記画像データに関連する音声データであり第2の所定時間単位の音声データ単位毎に圧縮符号化された音声データを記録媒体に記録再生する符号化データ記録再生装置において、
記録媒体に記録された前記画像データ内の時間的に連続しない2つの画像データ単位である第1の画像データ単位と第2の画像データ単位とを連続させて再生する場合に、画像データと共に再生すると時間的にオーバーラップが生じる2つの音声データ単位である、前記第1の画像データ単位に関連する第1の音声データ単位と前記第2の画像データ単位に関連する第2の音声データ単位とを復号する音声復号手段と、
その復号により得られた非圧縮音声データを前記オーバーラップ部分に対してクロスフェード処理を行い1ブロックの非圧縮音声データを得る音声データ処理手段と、
前記1ブロックの非圧縮音声データを前記記録媒体上に記録する記録手段と、
備えたことを特徴とする符号化データ記録再生装置。
(2) 第1の所定時間単位の画像データ単位毎に圧縮符号化された画像データ、及び、前記画像データに関連する音声データであり第2の所定時間単位の音声データ単位毎に圧縮符号化された音声データを記録媒体から再生する符号化データ再生装置において、
請求項1に記載のクロスフェード処理が行われた1ブロックの非圧縮音声データが記録された記録媒体に対して、その記録媒体に記録されている画像データ内の時間的に連続しない請求項1に記載の2つの画像データ単位である第1の画像データ単位と第2の画像データ単位とを連続させて再生する際、画像データと共に再生すると時間的にオーバーラップが生じる2つの音声データ単位である、前記第1の画像データ単位に関連する第1の音声データ単位と前記第2の画像データ単位に関連する第2の音声データ単位とに相当する期間には、前記記録媒体から再生した前記1ブロックの非圧縮音声データを出力する出力手段を設けたことを特徴とする符号化データ再生装置。
【0014】
【発明の実施の形態】
本発明の符号化データ記録再生装置は、記録媒体上のプログラム内の隣接配置でない画像データ単位を接続するにあたり(記録媒体に記録された前記画像データ内の時間的に連続しない2つの画像データ単位である第1の画像データ単位(例えば映像フレームV1)と第2の画像データ単位(例えば映像フレームV3)とを連続させて再生する場合に)、時間的にオーバーラップが生じる2つの音声フレーム(第1の画像データ単位に関連する第1の音声データ単位(音声フレームA1)と前記第2の画像データ単位に関連する第2の音声データ単位(音声フレームA3)と)を復号手段によって復号を行い、得られた2つの非圧縮音声フレームデータのオーバーラップ部分に対して音声データ処理手段によってクロスフェード処理を行った後に、1ブロックの音声データB0として記録媒体上に記録することを特徴とする。
【0015】
本発明の符号化データ再生装置は、媒体上の隣接配置でない画像データ単位(隣接配置でないプログラム部分)を接続して再生する際に(例えば、映像フレームV1と映像フレームV3とを連続させて再生する場合に)、接続部分を再生するに先立って、上述した接続部分に対応する1ブロックの音声データB0を記録媒体からメモリーに読み込み、オーバーラップが生じる2つの音声フレーム期間(音声フレームA1とA3との期間)では、前記メモリーに記憶された音声データB0を出力することを特徴とする。
【0016】
また、符号化データ記録媒体では、記録媒体上の隣接配置でないプログラム部分を接続して再生する際に(映像フレームV1と映像フレームV3とを連続させて再生する場合に)、オーバーラップが生じる2つの音声フレーム期間(音声フレームA1とA3との期間)に対応する非圧縮音声データB0を別途記録したことを特徴とする。
【0017】
例えば、圧縮音声フレームの一期間が32msecであって音声のオーバーラップが微少である場合、ほぼ2音声フレーム分の非圧縮音声データが記録されることになるが、このデータ形式として48kHzサンプリング、16ビット/サンプルのリニアPCMを用いれば、1ブロックはおおよそ12kByteであり、媒体上のわずかな領域しか占有しない。
【0018】
記録媒体の再生にあたり、従来複雑な音声ミュート処理を要していた接続点(映像フレームV1と映像フレームV3との接続点)においては、音声が不連続となる期間においてあらかじめ再生装置の読みこんだ上記音声データブロックB0を音声復号部の出力に代わって出力させ、最終的な音声出力に不連続が生じないようにする。さらには、上記音声データブロックB0を作成するにあたり、クロスフェード処理を行って、接続点において急激なレベル変動がないようにしている。
【0019】
次に、符号化データ記録再生装置の一実施例を図1に示す。従来例である図5との大きな相違点は、メモリー部21、音声データ処理部22、及び出力切り替え部23が追加された点である。以下、この追加部分を中心に説明する。
【0020】
まず、記録媒体16上に、図6に示されるプログラムが記録されている前提で、再生時の編集によって映像フレームV2(符号化データV2で構成される映像フレーム)の再生をスキップする場合を考える。この場合、図4に示すように、映像フレームV2の再生をスキップして映像フレームV1とV3を接続して再生することと、音声フレームA0(音声符号化データA0で構成される音声フレーム)の再生出力終了後に以下で述べる音声データブロックB0を出力し、その後、音声フレームA4から再生出力を行うように編集が指示される。図7に示される音声フレームA2の期間は映像フレームV2の期間に含まれるため、編集後は全く出力されないが、音声フレームA1とA3については、接続用の音声データブロックB0の作成に用いられる。
【0021】
図1において、記録媒体16から情報読み出し部17、読み出しバッファ8、多重分離部9、音声復号部11を経由して音声フレームA1とA3に相当する符号化データA1とA3を順次復号し、非圧縮の音声フレームデータとしてメモリー部21に格納する。メモリー部21に格納された非圧縮の音声フレームデータの内容は、音声データ処理部22によって処理され、接続用の音声データブロックB0として情報書き込み部15を通じて媒体16に記録される。
【0022】
図2に記録媒体16の一例として、セクタアドレスの小さい領域に接続用の音声データブロックを格納する場合を示した。接続点が複数存在する場合はこの領域に各接続点に対応する複数の接続用の音声データブロックB0,B1…が格納されることになる。
【0023】
音声データ処理部22の処理内容は、図3に示されるように、2つの非圧縮音声フレームデータ(音声フレームA1とA3とを復号して得たデータ)の一部を、音声レベルを変更しながら混合する、いわゆるクロスフェード処理を行う。これによって作成された接続用の音声ブロックデータB0の出力期間が、A1からA3までの3音声フレーム期間とV2の1映像フレーム期間との差となるように、音声データ処理部22のクロスフェード期間が調整される。
【0024】
このように、新たに接続用音声データブロックB0が記録された後には、接続点(映像フレームV1と映像フレームV3との接続点)において、連続的な音声の出力が可能となる。図1において、接続点を含んだプログラムの再生に先立って記録媒体16から情報読み出し部17を通じて接続用の音声データブロックB0をメモリー部21に格納する。同時に、出力切り替え部23においては、音声復号部11からの入力がD/A変換器等が接続される外部出力へ供給されるように設定される。
【0025】
この後にプログラムの再生を開始する。すなわち、情報読み出し部17、読み出しバッファ8、多重分離部9、動画像復号部10、音声復号部11へ媒体から順次符号化データが供給される。音声フレームA0の外部出力が終了した時点で、出力切り替え部23は、メモリー部21からの入力が外部へ出力されるように設定され、予め記憶されていた接続用の音声データブロックB0が出力される。その後、出力切り替え部23は再度音声復号部11からの入力を出力するように設定され、音声復号部11から出力される音声フレームA4以降の音声データを外部に出力する。本符号化データ記録再生装置における接続点前後の出力状態は図4に示す通りである。
【0026】
【発明の効果】
以上の通り、本発明によれば、 記録媒体上に記録されたプログラムを部分的に接続しながら再生する場合(記録された画像データ内の時間的に連続しない2つの画像データ単位である第1の画像データ単位と第2の画像データ単位とを連続させて再生する場合)に、非圧縮の音声データブロックを用いるので、接続点において、音声ミュート処理を行うことなく音声が不連続となることを防止することが可能となる。
また、本発明によれば、上記音声データブロックを作成するにあたり、クロスフェード処理を行って、接続点における急激なレベル変動を防止したため、接続点で雑音を発生させることがなく、良好な再生が行える。
さらには、上記音声データブロックを記録するための記録媒体上の領域、あるいは一時的にこれを装置内に保持するためのメモリー量は僅かであり、実現性が非常に高い。
【図面の簡単な説明】
【図1】符号化データ記録再生装置の一実施例を示す図である。
【図2】符号化データ記録媒体の一実施例のデータ配置を示す図である。
【図3】符号化データ記録再生装置の一実施例のクロスフェード処理を示す図である。
【図4】符号化データ記録再生装置の一実施例の再生出力を示す図である。
【図5】従来の符号化データ記録再生装置を示す図である。
【図6】従来の符号化データの配置形態を示す図である。
【図7】再生時の映像フレームと音声フレームとの時間的な関係を示す図である。
【図8】従来の編集操作を行った後の再生出力を示す図である。
【符号の説明】
1 動画像符号化部
2 音声符号化部
3 多重化部
4 書き込みバッファ
8 読み出しバッファ
9 多重分離部
10 動画像復号部
11 音声復号部
15 情報書き込み部
16 記録媒体
17 情報読み出し部
21 メモリー部
22 音声データ処理部
23 出力切り替え部

Claims (2)

  1. 第1の所定時間単位の画像データ単位毎に圧縮符号化された画像データ、及び、前記画像データに関連する音声データであり第2の所定時間単位の音声データ単位毎に圧縮符号化された音声データを記録媒体に記録再生する符号化データ記録再生装置において、
    記録媒体に記録された前記画像データ内の時間的に連続しない2つの画像データ単位である第1の画像データ単位と第2の画像データ単位とを連続させて再生する場合に、画像データと共に再生すると時間的にオーバーラップが生じる2つの音声データ単位である、前記第1の画像データ単位に関連する第1の音声データ単位と前記第2の画像データ単位に関連する第2の音声データ単位とを復号する音声復号手段と、
    その復号により得られた非圧縮音声データを前記オーバーラップ部分に対してクロスフェード処理を行い1ブロックの非圧縮音声データを得る音声データ処理手段と、
    前記1ブロックの非圧縮音声データを前記記録媒体上に記録する記録手段と、
    備えたことを特徴とする符号化データ記録再生装置。
  2. 第1の所定時間単位の画像データ単位毎に圧縮符号化された画像データ、及び、前記画像データに関連する音声データであり第2の所定時間単位の音声データ単位毎に圧縮符号化された音声データを記録媒体から再生する符号化データ再生装置において、
    請求項1に記載のクロスフェード処理が行われた1ブロックの非圧縮音声データが記録された記録媒体に対して、その記録媒体に記録されている画像データ内の時間的に連続しない請求項1に記載の2つの画像データ単位である第1の画像データ単位と第2の画像データ単位とを連続させて再生する際、画像データと共に再生すると時間的にオーバーラップが生じる2つの音声データ単位である、前記第1の画像データ単位に関連する第1の音声データ単位と前記第2の画像データ単位に関連する第2の音声データ単位とに相当する期間には、前記記録媒体から再生した前記1ブロックの非圧縮音声データを出力する出力手段を設けたことを特徴とする符号化データ再生装置。
JP30386699A 1999-10-26 1999-10-26 符号化データ記録再生装置、及び符号化データ再生装置 Expired - Lifetime JP4356046B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30386699A JP4356046B2 (ja) 1999-10-26 1999-10-26 符号化データ記録再生装置、及び符号化データ再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30386699A JP4356046B2 (ja) 1999-10-26 1999-10-26 符号化データ記録再生装置、及び符号化データ再生装置

Publications (2)

Publication Number Publication Date
JP2001128119A JP2001128119A (ja) 2001-05-11
JP4356046B2 true JP4356046B2 (ja) 2009-11-04

Family

ID=17926228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30386699A Expired - Lifetime JP4356046B2 (ja) 1999-10-26 1999-10-26 符号化データ記録再生装置、及び符号化データ再生装置

Country Status (1)

Country Link
JP (1) JP4356046B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009111608A (ja) * 2007-10-29 2009-05-21 Panasonic Corp 再生装置および再生方法
US9338523B2 (en) * 2009-12-21 2016-05-10 Echostar Technologies L.L.C. Audio splitting with codec-enforced frame sizes

Also Published As

Publication number Publication date
JP2001128119A (ja) 2001-05-11

Similar Documents

Publication Publication Date Title
EA007042B1 (ru) Устройство для записи основного файла и вспомогательных файлов на дорожку носителя записи
JP2003032617A (ja) データ記録再生装置及び方法
EP0777229B1 (en) Recording and/or reproducing apparatus and methods
US6501901B2 (en) Apparatus and method for performing an editing operation on data read-out from a storage medium which allows random access
JP3199011B2 (ja) ディスク制御方法および装置
US6714721B2 (en) Changing a playback speed for video presentation recorded in a non-progressive frame structure format
AU2635199A (en) Recording/reproduction and/or editing of real time information on/from a disc like record carrier
JP3927365B2 (ja) 光ディスク
KR100924571B1 (ko) 필드 구조 포맷으로 리코딩된 비디오 표현을 위한 재생 속도의 변경
JP4356046B2 (ja) 符号化データ記録再生装置、及び符号化データ再生装置
JP3517962B2 (ja) ディスク記録再生装置
JP3070422B2 (ja) 画像圧縮記録媒体及び画像圧縮記録媒体再生装置
JP3161228B2 (ja) データ処理装置
JP3281742B2 (ja) ディスクプレーヤー
JP3475758B2 (ja) 再生方法及び再生装置及び記録再生方法及び記録再生装置
JP3824622B2 (ja) 光ディスクの再生方法及び再生装置
JP4062832B2 (ja) データ記録再生装置及びデータ記録再生方法
JP3885525B2 (ja) 符号化信号記録装置
JP4520483B2 (ja) 記録再生方法及び記録再生装置
JPH11134814A (ja) 音声記録媒体および音声再生装置
KR100385049B1 (ko) 복수의 종류의 오디오데이터의 기록/재생이 가능한 디지털자기 기록/재생장치 및 그 기록/재생방법
JP2002209186A (ja) Mpeg方式の映像・音声データ記録システム及びその編集システム
JP3227053B2 (ja) 蓄積型記録媒体の書き換え方法
JP2931121B2 (ja) マルチメディアデータの編集方法
KR100220848B1 (ko) 디지탈 비디오 카메라의 오디오 채널 삽입 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4356046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

EXPY Cancellation because of completion of term