JP3941208B2 - 画像信号再生装置及び方法 - Google Patents

画像信号再生装置及び方法 Download PDF

Info

Publication number
JP3941208B2
JP3941208B2 JP7268598A JP7268598A JP3941208B2 JP 3941208 B2 JP3941208 B2 JP 3941208B2 JP 7268598 A JP7268598 A JP 7268598A JP 7268598 A JP7268598 A JP 7268598A JP 3941208 B2 JP3941208 B2 JP 3941208B2
Authority
JP
Japan
Prior art keywords
speed
reproduction
image signal
recording medium
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7268598A
Other languages
English (en)
Other versions
JPH11275518A (ja
Inventor
透 岡崎
研二 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP7268598A priority Critical patent/JP3941208B2/ja
Priority to US09/271,543 priority patent/US6728469B1/en
Publication of JPH11275518A publication Critical patent/JPH11275518A/ja
Application granted granted Critical
Publication of JP3941208B2 publication Critical patent/JP3941208B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、時間軸方向に予測符号化された画像信号が記録された記録媒体から画像信号を再生するための画像信号再生装置及び方法に関し、特に、記録媒体に記録された画像信号を高速再生する場合に好適な画像信号再生装置及び方法に関する。
【0002】
【従来の技術】
ディジタルビデオ信号やディジタルオーディオ信号等が記録された光ディスク等の記録媒体として、いわゆるディジタルビデオディスク(以下DVDという)が知られている。
【0003】
このDVDフォーマットでは、情報の内容であるコンテンツを再生するための基本的なユニットとしてセル(Cell)があり、このセルは、さらに再生最小単位であるビデオオブジェクトユニット(Video Object Unit:VOBU) という0.4秒〜1.2秒の再生ユニットから成っている。この再生最小単位であるVOBUの先頭には制御情報パックであるナビゲーションパック(Navigation Pack:NV_PCK) が配されている。このNV_PCKには、再生制御情報(Presentation Control Information:PCI) 及びデータサーチ情報(Data Search Information:DSI)が含まれており、これらの情報は、例えば高速再生時等に上記再生最小単位であるVOBUの前後をスキャンするためのVOBUのアドレス情報として用いられる。
【0004】
ここで図5は、上記DVDフォーマットのデータ構造を示している。この図5に示すように、ビデオオブジェクトセット(Video Object Set:VOBS)単位で主映像データ,副映像データ,音声データを管理する。このVOBSは、例えば、映画の1作品等の単位となる。このVOBSは、複数のビデオオブジェクト(Video Object:VOB)から構成されている。このVOBは、各データがディスク上に1群として記録されている単位である。また、このVOBSは、複数のセル(Cell)で構成されている。このCellは、例えば映画における1シーンや1カット等の単位となり、1Cellが数分から10数分という時間の単位である。また、DVDでは、例えば、1つの映画を複数のストーリー展開で見ることができるマルチストーリといったフォーマットやいわゆるパレンタルロックといわれる暴力シーンなどの教育上好ましくないシーンをとばしたりする機能を備えており、このような機能は、このCellの組み合わせにより作成される。
【0005】
1つのセル(Cell)は、上述したように、複数のビデオオブジェクトユニット(VOBU)により構成されており、このVOBUの中に、いわゆるMPEGのフォーマットにおける例えば1つのGOP(Group Of Pictures) が含まれることになる。なお、上記MPEGとは、ISO−IEC/JTC1/SC2/WG11にて議論され、標準案として提案されたものであり、動き補償予測符号化と離散コサイン変換(DCT:Discrete Cosine Transform) 符号化とを組み合わせたハイブリッド方式のデータ圧縮規格である。上記VOBU内に含まれるMPEG規格のGOP(グループオブピクチャ)内には、フレーム内予測符号化画像(イントラ符号化画像、Iピクチャ)と、フレーム間順方向予測符号化画像(Pピクチャ)と、フレーム間双方向予測符号化画像(Bピクチャ)とを有しており、1GOPが例えば15フレームから構成される場合には、1フレームのIピクチャと、4フレームのPピクチャと、10フレームのBピクチャとを有している。
【0006】
このように1GOPが例えば15フレームから構成される場合のMPEG方式におけるフレーム間予測の構造の一例を図6の(a)に示す。
【0007】
この図6の(a)において、Iピクチャは、1フレーム内において予測符号化されたフレーム内予測符号化画像であり、Pピクチャは、既に符号化された時間的に前のフレーム(Iピクチャ又はPピクチャ)を参照して予測するフレーム間順方向予測符号化画像であり、Bピクチャは、時間的に前後の2フレームを参照して予測する双方向予測符号化画像である。
【0008】
すなわち、矢印で図示するように、IピクチャI2 は、そのフレーム内のみで予測符号化されており、PピクチャP5 は、IピクチャI2 を参照してフレーム間予測符号化されており、PピクチャP8 は、PピクチャP5 を参照してフレーム間予測符号化されている。更に、BピクチャB3,B4 は、IピクチャI2 とPピクチャP5 との2つを参照してフレーム間予測符号化されており、BピクチャB6,B7 は、PピクチャP5 とPピクチャP8 との2つを参照してフレーム間予測符号化されている。そして、以下同様に予測符号化されて、以降のピクチャが作成されている。なお、各ピクチャの符号中の添え字の数字は、テンポラリ・リファレンス(以下、TRと称する。)を表している。このTRは、GOPの中の画面順を表すものであり、通常の画像再生時には、このTRの順に各フレームが再生される。
【0009】
ところで、このように予測符号化されたピクチャを復号するには、Iピクチャはフレーム内での予測符号化が行われているため、Iピクチャのみで復号することができるが、Pピクチャは時間的に前のIピクチャ又はPピクチャを参照して予測符号化されているため、時間的に前のIピクチャ又はPピクチャが復号時に必要とされ、Bピクチャは時間的に前後のIピクチャ又はPピクチャを参照して予測符号化されているため、時間的に前後のIピクチャ又はPピクチャが復号時に必要とされる。
【0010】
そこで、復号時に必要とされるピクチャを先に復号しておけるように、図6の(b)に示すようにピクチャを入れ替えておく。すなわち、BピクチャB0,B1 は、復号時に先行するGOPのIピクチャ又はPピクチャと現在のGOP内のIピクチャI2 とを必要とするため、BピクチャB0,B1 よりIピクチャI2 が先行するようにしておく。BピクチャB3,B4 は、復号時にIピクチャI2 とPピクチャP5 とを必要とするため、BピクチャB3,B4 よりPピクチャP5 が先行するようにしておく。BピクチャB6,B7 は、復号時にPピクチャP5 とPピクチャP8 とを必要とするため、BピクチャB6,B7 よりPピクチャP8 が先行するようにしておく。BピクチャB9,B10は、復号時にPピクチャP8 とPピクチャP11とを必要とするため、BピクチャB9,B10よりPピクチャP11が先行するようにしておく。BピクチャB12,B13は、復号時にPピクチャP11とPピクチャP14とを必要とするため、BピクチャB12,B13よりPピクチャP14が先行するようにしておく。このようにMPEG方式では、復号を行う順序(デコーディングオーダ)と、表示する画像の順序(プレゼンテーションオーダ)とが異なるものとなる。
【0011】
符号化の際には上述したような予測符号化と共にハフマン符号化が用いられ、また、可変ビットレート(可変転送レート)での記録が行われる。これは、映像の動きの激しい部分や複雑な画面等では大きなデータ量が必要となり、静止画に近い部分や平易な画面等では少ないデータ量で済むことを考慮して、最大例えば9.8Mbpsの転送レートまで可変とする可変レートを採用することにより、平均3.5Mbps程度のビットレートで、固定レートの場合にはその2倍以上のレートが必要とされる画質を実現するものである。
【0012】
再び図5に戻って、1つのVOBUは、VOBUの管理情報等を有する制御情報パックであるNV_PCK(ナビゲーションパック)と、主映像を有するパックであるV_PCK(ビデオパック)と、オーディオデータを有するパックであるA_PCK(オーディオパック)と、副映像データを有するパックであるSP_PCK(サブピクチャパック)とにより構成されている。このV_PCK、A_PCK、SP_PCKは、それぞれMPEG2等のフォーマットで圧縮されて記録媒体である光ディスク上に記録されている。
【0013】
図7は、VOBUの先頭に配される制御情報パックであるNV_PCK(ナビゲーションパック)の構造を示している。この図7に示すように、NV_PCK内には、パックヘッダ(Pack header)、システムヘッダ(System header)に続いて、PCI(Presentation Control Information) パケット、DSI(Data Search Information)パケットが配され、これらのPCIパケット、DSIパケット内にそれぞれPCIデータ、DSIデータが配されている。
【0014】
さらに、DSIデータ内には、図示しないがDSIの一般情報であるDSI_GI(DSI General Information) が含まれており、このDSI_GI内に、上記MPEGの各ピクチャの内の参照画像(reference picture :Iピクチャ及びPピクチャ)についてのエンドアドレス、具体的にはVOBU内の1番目の参照画像のエンドアドレスVOBU_1STREF_EA、VOBU内の2番目の参照画像のエンドアドレスVOBU_2NDREF_EA、VOBU内の3番目の参照画像のエンドアドレスVOBU_3RDREF_EAのデータが含まれている。
【0015】
【発明が解決しようとする課題】
ところで、標準再生速度よりも高速の、例えば2倍速再生のような高速再生を行う際に、1つのVOBU内の複数のビデオパック(V_PCK) より成るMPEG規格の1GOP内の参照画像(リファレンスピクチャ:Iピクチャ及びPピクチャ)の一部を、上記NV_PCKのアドレス情報等を用いて再生することが考えられる。例えば、本件出願人により先に提案されている特願平7−32944号の明細書及び図面には、1つのGOP内の1枚のIピクチャと、Iピクチャの後に現れる2枚のPピクチャを再生して、次のGOPに移ることにより高速再生を行う技術が開示されている。これは、DVDの場合には、上記NV_PCK内の上記3番目の参照画像のエンドアドレスVOBU_3RDREF_EAを用いて得られたアドレスまでの3枚の参照画像を再生することに相当する。
【0016】
ここで、1つのVOBU内のビデオデータが1つのGOPに対応し、1GOPが1フレームのIピクチャと、4フレームのPピクチャと、10フレームのBピクチャから成る場合には、5枚の参照画像(Iピクチャ及び枚のPピクチャ)の内の上記アドレスVOBU_3RDREF_EAまでの3枚の参照画像を再生し、残りの2枚の参照画像はトラックジャンプ等により再生されないことになる。このような高速再生によれば、トラックジャンプを伴うことである程度の高速で再生が行えるが、円滑な動きの再生が行えないことになり、滑らかな動きが望まれる場合には不適当である。
【0017】
本発明は、このような実情に鑑みてなされたものであり、高速再生時に画像の動きが滑らかな再生が行えるような画像信号再生装置及び方法の提供を目的とする。
【0018】
【課題を解決するための手段】
本発明は、上述の課題を解決するために、時間軸方向に予測符号化された画像信号が記録された記録媒体から画像信号を読み取って再生処理する場合における高速再生時に、上記記録媒体の再生速度或いは上記記録媒体から再生される情報のビットレートに応じて、上記記録媒体に記録された画像信号の内の参照画像の再生枚数の異なる複数の高速再生モード切換制御することを特徴としている。
【0019】
ここで、上記切換制御の一例としては、上記記録媒体の再生速度或いは上記記録媒体から再生される情報のビットレートを測定し、測定出力を閾値と比較して適切な高速再生モードを判別して、再生処理に余裕があるほど上記参照画像の再生枚数が多くなるように上記複数の高速再生モードを切り換えることにより行われる。
【0020】
上記記録媒体に上記符号化された画像信号が可変レートで記録されている場合に、測定された速度が高いほど参照画像の再生枚数が多い高速再生モードに切換制御し、あるいは、測定されたビットレートが低いほど参照画像の再生枚数が多い高速再生モードに切換制御する。
【0021】
すなわち、測定された再生速度が速い場合や、再生ビットレートが低い場合のように、再生処理に余裕がある場合には、参照画像の再生枚数の多い高速再生モードを選んで、動きの滑らかな高速再生表示を行わせる。
【0022】
【発明の実施の形態】
以下、本発明に係る好ましい実施の形態について、図面を参照しながら説明する。
図1は、本発明の実施の形態となる画像信号再生装置としてのディジタルビデオディスク(DVD)再生装置の概略構成を示すブロック図である。
【0023】
この図1において、DVD再生装置100は、記録媒体(光ディスク)1からRF信号を再生するピックアップ2と、このピックアップ2により再生されたRF信号が供給されこのRF信号の2値化処理等をするRF回路3と、RF回路3からの再生データが供給されエラー訂正等のデコード処理をするデータデコーダ4と、データデコーダ4によりデコード処理がされた再生データを主映像圧縮データ,副映像圧縮データ及び音声圧縮データに振り分けるデマルチプレクサ5とを備える。
【0024】
また、このDVD再生装置100は、上記主映像圧縮データを伸張するビデオデコーダ6と、上記副映像圧縮データを伸張して主映像データと合成する副映像デコーダ7と、上記音声圧縮データを伸張するオーディオデコーダ8と、副映像デコーダ7からの主映像データと副映像データが合成された映像データが供給されNTSC信号又はPAL信号に変換するデジタル/NTSC,PAL変換回路(以下、単にNTSC変換回路という。)9と、オーディオデコーダ8からのオーディオデータが供給されアナログ信号に変換するデジタル/アナログ変換回路(以下、単にD/A変換回路という。)10とを備える。
【0025】
また、このDVD再生装置100は、ピックアップ2,RF回路3,データデコーダ4,デマルチプレクサ5,ビデオデコーダ6,副映像デコーダ7,オーディオデコーダ8,NTSC変換回路9及びD/A変換回路10を制御するコントローラ11と、このコントローラ11とユーザーの操作入力を媒介するユーザーインターフェース12と、コントローラ11のデータ記憶部となるメモリ13とを備える。
【0026】
DVD再生装置100は、記録媒体1として再生専用,追記型,書換型等のDVDディスク及びDVD−VIDEOディスクを再生する。
【0027】
ピックアップ2は、記録媒体1からRF信号を再生して、RF回路3に供給する。
【0028】
RF回路3は、このRF信号の波形等化及び2値化等をしてデジタルデータとその同期信号等を生成する。このRF回路3により生成されたデジタルデータ等は、データデコーダ4に供給される。
【0029】
データデコーダ4は、RF回路3により生成されたデジタルデータに基づきデータの復調や誤り訂正等の処理を行う。データデコーダ4により復調等がされたデジタルデータは、デマルチプレクサ5に供給される。
【0030】
また、このデータデコーダ4では、MPEG2のフォーマットにおけるシステムヘッダや、パックヘッダ等に含まれるパラメータ情報やDVDフォーマットにおけるナビゲーションパック(Navigation Pack:NV_PCK) に含まれる所定の情報等を検出する。この検出したパラメータ情報等は、データデコーダ4からコントローラ11に供給される。
【0031】
また、このデータデコーダ4は、デジタルデータの出力段にトラックバッファ4aを有している。このトラックバッファ4aによりデータデコーダ4とデマルチプレクサ5の処理速度の違いが吸収される。
【0032】
デマルチプレクサ5は、データデコーダ4によりエラー訂正のデコード処理等がされたデジタルデータを、主映像圧縮データと、副映像圧縮データと、音声圧縮データとに分割する。
【0033】
ここで、主映像圧縮データとは、MPEG2の方式で圧縮された映像データであり、例えばDVDのフォーマットにおけるVideo streams である。副映像圧縮データとは、主映像に合成される字幕画像等のデータであり、例えば、DVDのフォーマットにおけるSub-picture streams である。音声圧縮データとは、MPEG2等の方式で圧縮等された音声データであり、DVDのフォーマットにおけるAudio streamsである。
【0034】
デマルチプレクサ5は、主映像圧縮データをビデオデコーダ6に供給し、副映像圧縮データを副映像デコーダ7に供給し、音声圧縮データをオーディオデコーダ8に供給する。
【0035】
ビデオデコーダ6は、主映像圧縮データの復号処理を行い、この復号処理により伸張化された主映像データを生成する。このビデオデコーダ6は、復号処理を行うために3画面分のメモリを有している。すなわち、MPEG2のフォーマットにおける上記Iピクチャ,Pピクチャ,Bピクチャを復号してビデオデコーダ6のメモリに格納し、さらに、この復号された各ピクチャをこのメモリ上から出力する。このメモリは、3画面分に限らず、これ以上の容量があってもよい。ビデオデコーダ6は、生成した主映像データを副映像デコーダ7に供給する。
【0036】
副映像デコーダ7は、副映像圧縮データの復号処理を行い、この復号処理をした副映像データをビデオデコーダ6から供給された主映像データに合成して、映像データを生成する。すなわち、副映像デコーダ7は、副映像データとして再生される字幕画像等を主映像と合成する。なお、この副映像デコーダ7は、副映像データが無い場合には、主映像データをそのまま映像データとして出力する。副映像デコーダ7は、生成した映像データをNTSC変換回路9に供給する。
【0037】
オーディオデコーダ8は、音声圧縮データの復号処理を行い、伸張した音声データを生成する。すなわち、オーディオデコーダ8は、音声圧縮データがMPEG2のフォーマットで圧縮されていれば、これに対応した伸張処理をして、音声データを生成する。なお、この音声データがこのMPEG2のフォーマットの他に、PCM等のフォーマットで符号化されたものであれば、これに対応した復号処理を行う。オーディオデコーダ8は、生成した音声データをD/A変換回路10に供給する。
【0038】
NTSC変換回路9は、映像データをデジタルデータからNTSCやPAL等のテレビジョン信号に変換して出力する。この出力をモニタ等に供給することにより、ユーザーが記録媒体1から再生した映像を視聴することができる。
【0039】
D/A変換回路10は、デジタルデータである音声(オーディオ)データをアナログの音声データに変換して出力する。この出力をスピーカ等に供給することにより、ユーザーが記録媒体1から再生した映像を視聴することができる。
【0040】
コントローラ11は、ピックアップ2,RF回路3,データデコーダ4,デマルチプレクサ5,ビデオデコーダ6,副映像デコーダ7,オーディオデコーダ8,NTSC変換回路9及びD/A変換回路10の制御を行う。また、このコントローラ11には、操作パネルやリモートコントローラであるユーザーインターフェース12を介して操作入力がされ、この操作入力に基づき各回路の制御を行う。また、コントローラ11は、メモリ13に各制御データ等を記憶させ、メモリ13が記憶したデータに基づき各回路の制御を行う。
【0041】
また、コントローラ11は、2倍速再生のような高速再生時に、再生状態、例えば再生速度を測定する測定部11aと、この測定部11aにより測定された速度を所定の閾値と比較して適切な高速再生モードを判別する判別部11bと、この判別部11bからの判別結果に応じて高速再生モードを切り換えるモード切換部11cとを有している。
【0042】
本実施の形態における高速再生モードとしては、複数、例えば第1、第2の2種類の高速再生モードが採用されており、第1の高速再生モードは、記録媒体1に記録された画像信号の内の全ての参照画像を用いて高速再生を行うモードであり、第2の高速再生モードは、一部の参照画像を用いて高速再生を行うモードである。この場合、上記測定部11aにより測定された速度が所定の閾値よりも高いとき、参照画像の再生枚数の多い第1の高速再生モードに切り換えるようにしている。
【0043】
上記測定部11aにおいては、後述するように、デマルチプレクサ5で分離されたNV_PCK(ナビゲーションパック)の情報と、ビデオデコーダ6におけるデコード情報とから、再生速度を測定し、この測定された再生速度情報を判定部11bに送って、第1、第2の高速再生モードの内の適切なモードを判別する。モード切換部11cは、判別された第1あるいは第2の高速再生モードに切り換えるために、RF回路部3やピックアップヘッド、スピンドルモータ等の再生機構部でのアクセス動作や、データデコーダ4での動作を切換制御する。
【0044】
ここで、図2は、上記コントローラ11の判別部11b、切換部11cにおける上記第1、第2の高速再生モードの切換制御動作を説明するためのフローチャートである。
【0045】
この図2において、例えば2倍速再生のような高速再生動作が開始されると、最初のステップS21では、現在のモードが第1の高速再生モードか否かを判別し、YESのときはステップS22に進んで再生速度vを測定する。次のステップS23では、この測定された再生速度vが第1の閾値Va以下(v≦Va)か否かを判別し、YESのときはステップS24に進んで、参照画像の再生枚数が少ない第2の高速再生モードに切り換えた後、ステップS21に戻っている。ステップS23でNOと判別されたときには、そのままステップS21に戻っている。
【0046】
また、ステップS21でNOと判別されたとき、すなわち現在のモードが第2の高速再生モードのときには、ステップS25で再生速度vを測定し、ステップS26に進んで、この測定された再生速度vが第2の閾値Vb以上(v≧Vb)か否かを判別する。第1、第2の閾値の間には、Va<Vbの関係がある。ステップS26でYESと判別されたとき、すなわち測定された再生速度vが第2の閾値Vb以上のときには、ステップS27に進んで、参照画像の再生枚数が多い第1の高速再生モードに切り換えた後、ステップS21に戻っている。ステップS26でNOと判別されたときには、そのままステップS21に戻っている。
【0047】
ここで、上記第1、第2の閾値Va,Vb(ただしVa<Vb)を用いるのは、再生速度が閾値近傍でふらつくときに切換動作が不安定となること、あるいはいわゆるチャタリングが生じることを防止するために、切換動作にヒステリシスを持たせるためのものであり、原理的には1つの閾値の上下で高速再生モードを切り換えることに相当する。
【0048】
次に、図3は、上記第1の高速再生モードの具体例を、図4は上記第2の高速再生モードの具体例をそれぞれ示している。これらの図3、図4に示す具体例においては、前記図6と共に説明したように、1つの再生最小単位であるVOBU(ビデオオブジェクトユニット)内のビデオデータが1つのGOPに対応し、1GOPが1フレームのIピクチャと、4フレームのPピクチャと、10フレームのBピクチャから成る場合を想定しており、1つのVOBU内には5枚の参照画像(Iピクチャ及びPピクチャ)が含まれている。
【0049】
図3は、再生最小単位であるVOBU内の画像データを全て読み取って、VOBU内の全ての参照画像である5枚の参照画像(IピクチャI2 及びPピクチャP5,P8,P11,P14) を再生表示する第1の高速再生モードを説明するための図である。図1の記録媒体1からは、図3の(a)に示すVOBU内の画像データの全てに相当する領域RPBの圧縮画像データが、ピックアップ2,RF回路3,データデコーダ4を介して、デマルチプレクサ5に供給され、これらの圧縮画像データの内の参照画像であるIピクチャI2 及びPピクチャP5,P8,P11,P14 の圧縮画像データがビデオエンコーダ6に送られてエンコードされる。
【0050】
従って、順方向高速再生(FF)時には図3の(b)に示すように、ピクチャI2,P5,P8,P11,P14,I2,P5,P8,・・・の順に再生表示され、逆方向高速再生(FR)時には図3の(c)に示すように、ピクチャP14,P11,P8,P5,I2,P14,P11,P8,・・・の順に再生表示される。
【0051】
この第1の高速再生モードの場合には、全ての参照画像(Iピクチャ及びPピクチャ)が再生表示されるため、動きが非常に滑らかであるが、圧縮画像データの全データを記録媒体から読み出すため、ピクチャの符号量が多く高ビットレートの場合に十分な供給スピードが得られず、目標速度(例えば2倍速)に達しないこともあり得る。
【0052】
図4は、第2の高速再生モードとして、再生最小単位であるVOBU内の一部の参照画像、この例では3枚の参照画像(ピクチャI,P,P) を再生表示する例を示している。すなわち、図1の記録媒体1上で再生するVOBUのアドレスからデータをピックアップ2,RF回路3,データデコーダ4を介して、デマルチプレクサ5に供給するが、データデコーダ4では、上記制御情報パックであるNV_PCKのDSI(データサーチ情報)から、上記3枚の参照画像(Iピクチャ及びPピクチャ)に相当するビデオパック(V_PCK) データが入っている最後のアドレス(エンドアドレス)、すなわち3枚目の参照画像のアドレス(VOBU_3RDREF_EA)が得られるので、図4の(a)に示すように、各VOBU毎にこの3番参照画像アドレス(VOBU_3RDREF_EA)までの領域RPBの圧縮画像データのみを読み取って、ピックアップ2,RF回路3,データデコーダ4を介して、デマルチプレクサ5に供給するようにする。VOBU内の残りの領域 JP は、トラックジャンプ等により飛ばされて、再生されない。
【0053】
コントローラ11は、上記NV_PCKの情報を得るようにする。NV_PCK以降の主映像圧縮データ(ビデオデータ)はビデオデコーダ6に送られ、コントローラ11は、上記3枚の参照画像であるIピクチャ及びPピクチャだけデコードするようにビデオデコーダ6に指示する。
【0054】
順方向の高速再生(FF)の場合は、図4の(b)に示すように、VOBU内の3枚の参照画像(ピクチャI2,P5,P8) の1枚をデコードする毎に順次表示され、ピクチャI2,P5,P8,I2,P5,P8,・・・の順に再生表示される。
【0055】
逆方向の高速再生(FR)の場合は、上記3枚の参照画像の全てをデコードしておき、次のVOBUの主映像圧縮データがビデオデコーダ6に入力された時に、デコードした順序と逆の順序で表示してゆく。すなわち、図4の(c)に示すように、ピクチャP8,P5,I2,P8,P5,I2,・・・の順に再生表示される。
【0056】
このような第2の高速再生モードの場合には、途中の領域 JP をトラックジャンプ等により飛ばしているので、記録情報のビットレートが高い場合でもある程度の再生速度を安定して得られるが、VOBU毎の5枚の参照画像の内の2枚の参照画像(ピクチャP11,P14) が再生表示されないため、動きの滑らかさが欠けることがある。
【0057】
これらの第1、第2の高速再生モードの切換については、測定された速度が閾値よりも高いときに参照画像の再生枚数が多い第1の高速再生モードに切換制御するようにしている。すなわち、測定された再生速度が速い場合には、再生処理に余裕があることになり、動きの滑らかな第1の高速再生モードに切り換えて、高品質の高速再生表示を行わせる。記録画像の動きが激しい部分や複雑な画面のためにピクチャ当たりのデータ量が多い場合には、全データを媒体から読み出していると再生処理が間に合わず、再生速度が低下してくるが、測定された再生速度が閾値よりも低くなったときには、目標とする高速再生速度(例えば2倍速)を達成するために、参照画像の再生枚数の少ない第2の高速再生モードに切り換えるわけである。なおモード切換の具体的な閾値としては、上述のような第1、第2の閾値Va,Vbを設定してヒステリシスを持たせることで、切換の際のチャタリング等の不安定な動作を防止することができる。
【0058】
次に、上記再生速度の測定の具体例について説明する。
この再生速度は、例えば、VOBU内の前記図5に示したNV_PCK(ナビゲーションパック)から、そのVOBUの表示開始時間(プレゼンテーションスタートタイム)VOBU_S_PTMと表示終了時間(プレゼンテーションエンドタイム)VOBU_E_PTMとを読み込み、これらの差(VOBU_E_PTM−VOBU_S_PTM)から表示時間を求め、これを、VOBUの先頭のピクチャをデコードしてから次のVOBUの先頭のピクチャをデコードするまでの時間tで割る(除算する)ことにより求めている。すなわち、再生速度vは、
v=((VOBU_E_PTM−VOBU_S_PTM)/90000 )/t
により求められる。この式中の90000は、VOBU_E_PTMやVOBU_S_PTMの値を秒の単位で示すための換算係数であり、tの単位も秒である。また、VOBU_E_PTMやVOBU_S_PTMは、前記図7に示したNV_PCK(ナビゲーションパック)内のPCIパケット(PCI_PKT) 中のPCIデータの一部として書かれている。
【0059】
また、上記再生速度の代わりに、ビットレートを用いることもできる。
このビットレートは、
(VOBUの情報量)/(VOBUの再生時間)
により計算することができる。VOBUの情報量としては、例えば、前記図7に示したNV_PCK(ナビゲーションパック)内のDSIパケット(DSI_PKT) 中のDSIデータの一部として書かれているVOBU_EA (VOBUのエンドアドレス)を用いて求めることができる。このVOBU_EA は、そのNV_PCKの先頭からの相対セクタアドレスを示すものであることから、1セクタのサイズ(=2048バイト)を用いてVOBU全体の大きさ(バイト数)を求めることができる。また、再生時間については、上記速度測定の場合と同様に、 (VOBU_E_PTM−VOBU_S_PTM)/90000 により求めることができる。
【0060】
このように、再生状態としてビットレートを測定する場合には、所定の閾値を設定し、測定されたビットレートがこの閾値よりも低いときに参照画像の再生枚数が多い第1の高速再生モードに切換制御する。これは、記録されている情報量が少ない場合には再生処理に余裕があり、全ての参照画像をデコードすることができることから、動きの滑らかな第1の高速再生モードで再生表示するものである。これに対して、測定されたビットレートが閾値よりも高い場合には、再生処理が間に合わなくなることを考慮して、参照画像の再生枚数の少ない第2の高速再生モードに切り換えて、目標の速度(例えば2倍速)に間に合う再生処理を行わせている。なお、この場合にも、上述した速度に応じた切換制御と同様に、2つの閾値を設定して切換動作にヒステリシスを持たせてもよい。
【0061】
従って、このような速度測定、あるいはビットレート測定に応じて高速再生モードを切換制御する図1のコントローラ11において、測定部11aは、デマルチプレクサ5からの上記NV_PCK(ナビゲーションパック)の情報と、ビデオデコーダ6からのデコード情報とに基づいて、上記速度あるいはビットレートを測定し、この測定出力を判別部11bに送って所定の閾値と比較して最適の高速再生モードを判別し、判別結果に応じてモード切換部11cがデータデコーダ4やRF回路3等の再生機構部の動作を切換制御して、高速再生モードを切り換えている。
【0062】
ところで、上記第1、第2の高速再生モードは、上述したようなVOBU内の全ての参照画像である5枚の参照画像を再生表示するモードと、3枚の参照画像を再生表示するモードとに限定されず、例えば、第2の高速再生モードとして、2枚あるいは1枚の参照画像を再生表示するモードを採用するようにしてもよい。また、第1の高速再生モードでは3枚の参照画像を再生表示し、第2の高速再生モードでは2枚あるいは1枚の参照画像を再生表示するようにしてもよい。これは、さらに高速(例えば3倍速以上)の再生を行わせる場合などに有用である。
【0063】
一般的には、記録媒体に上記符号化された画像信号が可変レートで記録されている場合に、測定された速度が高いほど参照画像の再生枚数が多い高速再生モードに切換制御し、あるいは、測定されたビットレートが低いほど参照画像の再生枚数が多い高速再生モードに切換制御すればよい。すなわち、測定された再生速度が速い場合や、再生ビットレートが低い場合のように、再生処理に余裕がある場合には、参照画像の再生枚数の多い高速再生モードを選んで、動きの滑らかな高速再生表示を行わせ、測定された再生速度が遅い場合や、再生ビットレートが高い場合のように、再生処理が間に合わなくなっている場合には、参照画像の再生枚数の少ない高速再生モードを選んで、再生速度を高める、あるいは目標再生速度を守るようにする。
【0064】
なお、本発明は上記実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更が可能であることは勿論である。
【0065】
【発明の効果】
以上の説明から明らかなように、本発明によれば、時間軸方向に予測符号化された画像信号が記録された記録媒体から画像信号を読み取って再生処理する場合における高速再生時に、上記記録媒体に記録された画像信号の内の参照画像の再生枚数の異なる複数の高速再生モードを再生状態に応じて切換制御することにより、再生状態に応じて適応的に最適の高速再生モードで再生でき、動きの滑らかな高速再生表示が行える。
【0066】
ここで、上記切換制御として、再生速度や再生ビットレート等の再生状態を測定し、測定出力を閾値と比較して適切な高速再生モードを判別して、上記複数の高速再生モードを判別された適切な高速再生モードに切り換えることが挙げられ、より具体的には、上記記録媒体に上記符号化された画像信号が可変レートで記録されている場合に、測定された速度が高いほど参照画像の再生枚数が多い高速再生モードに切換制御し、あるいは、測定されたビットレートが低いほど参照画像の再生枚数が多い高速再生モードに切換制御することが挙げられる。
【0067】
これによって、測定された再生速度が速い場合や、再生ビットレートが低い場合のように、再生処理に余裕がある場合には、参照画像の再生枚数の多い高速再生モードを選んで、動きの滑らかな高速再生表示を行わせることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態が適用されるDVD(ディジタルビデオディスク)再生装置の基本構成を示すブロック図である。
【図2】測定された速度に応じた高速再生モードの切換動作を説明するためのフローチャートである。
【図3】全ての参照画像を再生表示する第1の高速再生モードの動作を説明するための図である。
【図4】3枚の参照画像を再生表示する第2の高速再生モードの動作を説明するための図である。
【図5】DVDフォーマットのデータ構造を示す図である。
【図6】MPEG規格におけるフレーム間予測の構造及び記録フレームの構造を示す図である。
【図7】ナビゲーションパック(NV_PCK)の構造を示す図である。
【符号の説明】
1 記録媒体、 2 ピックアップ、 4 データデコーダ、 4a トラックバッファ、 5 デマルチプレクサ、 6 ビデオデコーダ、 8 オーディオデコーダ、 11 コントローラ、 100 DVD再生装置

Claims (10)

  1. 時間軸方向に予測符号化された画像信号が記録された記録媒体から画像信号を読み取って再生処理する画像信号再生装置において、
    高速再生時に、上記記録媒体の再生速度応じて、上記記録媒体に記録された画像信号の内の参照画像の再生枚数の異なる複数の高速再生モードを切換制御する制御部を有し、
    上記制御部は、
    上記記録媒体の再生速度を測定する速度測定手段と、
    上記速度測定手段からの測定出力を閾値と比較して適切な高速再生モードを判別する判別手段と、
    上記判別手段からの判別結果に応じて、再生処理に余裕があるほど上記参照画像の再生枚数が多くなるように上記複数の高速再生モードを切換制御する切換手段と
    を有し、
    上記判別手段は、測定された速度が高いほど参照画像の再生枚数が多い高速再生モードを選ぶような判定を行うこと
    を特徴とする画像信号再生装置。
  2. 時間軸方向に予測符号化された画像信号が記録された記録媒体から画像信号を読み取って再生処理する画像信号再生装置において、
    高速再生時に、上記記録媒体から再生される情報のビットレートに応じて、上記記録媒体に記録された画像信号の内の参照画像の再生枚数の異なる複数の高速再生モードを切換制御する制御部を有し、
    上記制御部は、
    上記記録媒体から再生される情報のビットレートを測定するビットレート測定手段と、
    上記ビットレート測定手段からの測定出力を閾値と比較して適切な高速再生モードを判別する判別手段と、
    上記判別手段からの判別結果に応じて、再生処理に余裕があるほど上記参照画像の再生枚数が多くなるように上記複数の高速再生モードを切換制御する切換手段と
    を有し、
    上記判別手段は、測定されたビットレートが低いほど参照画像の再生枚数が多い高速再生モードを選ぶような判定を行うこと
    を特徴とする画像信号再生装置。
  3. 上記複数の高速再生モードは、上記記録媒体に記録された画像信号の内の全ての参照画像を用いる第1の高速再生モードと、一部の参照画像を用いる第2の高速再生モードとを有することを特徴とする請求項1又は2記載の画像信号再生装置。
  4. 上記画像信号は、上記時間軸方向の予測符号化により5枚の参照画像を含む再生最小単位毎にブロック化されて上記記録媒体に記録され、上記第2の高速再生モードは、上記再生最小単位内の先頭から3枚の参照画像を再生することを特徴とする請求項記載の画像信号再生装置。
  5. 上記画像信号は、上記時間軸方向の予測符号化により5枚の参照画像を含む再生最小単位毎にブロック化されて上記記録媒体に記録され、上記複数の高速再生モードは、上記再生最小単位毎に5枚、4枚、3枚、2枚、又は1枚のいずれかの参照画像を再生する互いに異なる少なくとも2つの高速再生モードであることを特徴とする請求項1又は2記載の画像信号再生装置。
  6. 時間軸方向に予測符号化された画像信号が記録された記録媒体から画像信号を読み取って再生処理する画像信号再生方法において、
    高速再生時に、上記記録媒体の再生速度応じて、上記記録媒体に記録された画像信号の内の参照画像の再生枚数の異なる複数の高速再生モードを再生状態に応じて切換制御する制御工程を有し、
    上記制御工程は、
    上記記録媒体の再生速度を測定する測定工程と、
    上記測定手段からの測定出力を閾値と比較して適切な高速再生モードを判別する判別工 程と、
    上記判別手段からの判別結果に応じて、再生処理に余裕があるほど上記参照画像の再生枚数が多くなるように上記複数の高速再生モードを切換制御する切換工程と
    を有し、
    上記判別工程は、測定された速度が高いほど参照画像の再生枚数が多い高速再生モードを選ぶような判定を行うこと
    を特徴とする画像信号再生方法。
  7. 時間軸方向に予測符号化された画像信号が記録された記録媒体から画像信号を読み取って再生処理する画像信号再生方法において、
    高速再生時に、上記記録媒体から再生される情報のビットレートに応じて、上記記録媒体に記録された画像信号の内の参照画像の再生枚数の異なる複数の高速再生モードを再生状態に応じて切換制御する制御工程を有し、
    上記制御工程は、
    上記記録媒体から再生される情報のビットレートを測定する測定工程と、
    上記測定手段からの測定出力を閾値と比較して適切な高速再生モードを判別する判別工程と、
    上記判別手段からの判別結果に応じて、再生処理に余裕があるほど上記参照画像の再生枚数が多くなるように上記複数の高速再生モードを切換制御する切換工程と
    を有し、
    上記判別工程は、測定されたビットレートが大きいほど参照画像の再生枚数が少ない高速再生モードを選ぶような判定を行うこと
    を特徴とする画像信号再生方法。
  8. 上記複数の高速再生モードは、上記記録媒体に記録された画像信号の内の全ての参照画像を用いる第1の高速再生モードと、一部の参照画像を用いる第2の高速再生モードとを有することを特徴とする請求項6又は7記載の画像信号再生方法。
  9. 上記画像信号は、上記時間軸方向の予測符号化により5枚の参照画像を含む再生最小単位毎にブロック化されて上記記録媒体に記録され、上記第2の高速再生モードは、上記再生最小単位内の先頭から3枚の参照画像を再生することを特徴とする請求項8記載の画像信号再生方法。
  10. 上記画像信号は、上記時間軸方向の予測符号化により5枚の参照画像を含む再生最小単位毎にブロック化されて上記記録媒体に記録され、上記複数の高速再生モードは、上記再生最小単位毎に5枚、4枚、3枚、2枚、又は1枚のいずれかの参照画像を再生する互いに異なる少なくとも2つの高速再生モードであることを特徴とする請求項6又は7記載の画像信号再生方法。
JP7268598A 1998-03-20 1998-03-20 画像信号再生装置及び方法 Expired - Fee Related JP3941208B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP7268598A JP3941208B2 (ja) 1998-03-20 1998-03-20 画像信号再生装置及び方法
US09/271,543 US6728469B1 (en) 1998-03-20 1999-03-18 Video signal reproduction apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7268598A JP3941208B2 (ja) 1998-03-20 1998-03-20 画像信号再生装置及び方法

Publications (2)

Publication Number Publication Date
JPH11275518A JPH11275518A (ja) 1999-10-08
JP3941208B2 true JP3941208B2 (ja) 2007-07-04

Family

ID=13496486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7268598A Expired - Fee Related JP3941208B2 (ja) 1998-03-20 1998-03-20 画像信号再生装置及び方法

Country Status (2)

Country Link
US (1) US6728469B1 (ja)
JP (1) JP3941208B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372221B2 (ja) * 1999-06-16 2003-01-27 日本ビクター株式会社 記録装置
JP2001243228A (ja) * 2000-02-25 2001-09-07 Toshiba Corp 動画フレーム検索装置、動画フレームの検索方法、及び、そのための処理を記録した記録媒体
JP2002044611A (ja) * 2000-07-24 2002-02-08 Funai Electric Co Ltd ディスク再生装置
JP4829466B2 (ja) * 2000-08-03 2011-12-07 トムソン ライセンシング 低ビットレートでデータストリームを記録する方法
JP2004128773A (ja) * 2002-10-01 2004-04-22 Pioneer Electronic Corp 情報再生装置及び方法、並びに情報再生プログラム
JP4281720B2 (ja) 2004-10-26 2009-06-17 ソニー株式会社 データ処理装置、データ処理方法、データ処理システム、プログラムおよび記録媒体
JP4812547B2 (ja) 2005-10-21 2011-11-09 パナソニック株式会社 映像及び音声の再生装置及び方法
JP2007300371A (ja) * 2006-04-28 2007-11-15 Toshiba Corp 記録再生装置、記録再生方法及び記録再生用プログラム
JP4305491B2 (ja) 2006-11-08 2009-07-29 ソニー株式会社 アナログ/デジタル変換器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867625A (en) * 1994-10-20 1999-02-02 Thomson Consumer Electronics, Inc. Digital VCR with trick play steam derivation
JP2985703B2 (ja) * 1995-01-19 1999-12-06 日本ビクター株式会社 画像圧縮記録媒体再生装置
US6002834A (en) * 1995-02-24 1999-12-14 Hitachi, Ltd. Optical disk having table relating sector address and time and optical disk reproducing apparatus
JP3319678B2 (ja) * 1995-08-11 2002-09-03 ケイディーディーアイ株式会社 動画像の高速ブラウジング装置
JP3557817B2 (ja) * 1996-11-07 2004-08-25 ソニー株式会社 記録モード判別装置及び記録モード判別方法

Also Published As

Publication number Publication date
JPH11275518A (ja) 1999-10-08
US6728469B1 (en) 2004-04-27

Similar Documents

Publication Publication Date Title
US20100290523A1 (en) Moving image encoding method and apparatus
EP0876063A2 (en) Signal reproducing apparatus and methods
KR20070067647A (ko) 기록 장치 및 방법, 재생 장치 및 방법, 기록 매체, 및프로그램
JP3941208B2 (ja) 画像信号再生装置及び方法
JP3861362B2 (ja) ディジタル信号再生方法及び装置
JPH10285548A (ja) 符号化装置及び方法、復号装置及び方法、編集方法
JP2001285879A (ja) 動画像再生方法および装置
US6771891B1 (en) Apparatus and method for recording/reproducing moving picture and recording medium
JP4363671B2 (ja) データ再生装置及びデータ再生方法
JP3253530B2 (ja) 動画像記録装置
US6512881B1 (en) Video signal reproduction apparatus and method
JP3804211B2 (ja) 信号再生装置及び方法
JP2000358219A (ja) 記録装置
US6757485B1 (en) Apparatus for reproducing still picture from recording medium
JP3772451B2 (ja) 画像復号装置及び画像復号方法
JP3890655B2 (ja) ディジタル信号再生方法及び装置
JP3864487B2 (ja) データ再生装置及びデータ再生方法
JP3814928B2 (ja) データ再生装置及びデータ再生方法
JP3787944B2 (ja) 記録媒体の再生装置及び記録媒体の再生方法
JP3823426B2 (ja) 情報信号処理装置及び方法
JP2004303353A (ja) 情報記録媒体及び情報処理方法、情報処理装置及び再生装置
JP2000023099A (ja) 映像信号記録再生装置、映像信号記録再生方法、映像信号再生装置、映像信号再生方法および記録媒体
JP4254795B2 (ja) 信号処理装置及び方法、並びに記録媒体
JP3695423B2 (ja) 再生装置
JP3814927B2 (ja) データ再生装置及びデータ再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060704

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070326

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100413

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110413

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120413

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees