JP3542976B2 - 圧縮符号化データ再生方法および装置 - Google Patents
圧縮符号化データ再生方法および装置 Download PDFInfo
- Publication number
- JP3542976B2 JP3542976B2 JP2001090654A JP2001090654A JP3542976B2 JP 3542976 B2 JP3542976 B2 JP 3542976B2 JP 2001090654 A JP2001090654 A JP 2001090654A JP 2001090654 A JP2001090654 A JP 2001090654A JP 3542976 B2 JP3542976 B2 JP 3542976B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- audio
- image
- image frame
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は圧縮符号化データ再生方法、およびその装置に関し、特に、圧縮符号化データが多重化されたデータストリーム中の任意の再生開始時間から、画像フレームと音声フレームを再生出力する圧縮符号化データ再生方法、およびその装置に関するものである。
【０００２】
【従来の技術】
近年のマルチメディア技術の進展により、デジタル化された画像、音声やデータと言った複数のメディアを統合的に扱ったDVDプレーヤやデジタルTV放送受信用セットトップボックスなどに代表される応用機器が普及し始めている。
また、デジタル化した画像データや音声データはそのままでは符号量が膨大になるために、効率よく記録および伝送するために、デジタルデータの高能率圧縮符号化技術が必須であり、さらには、実際の応用機器に適用するためには、高能率圧縮符号化された画像圧縮符号化データや音声圧縮符号化データに付加情報データも含めて1本のデータストリームに統合化するためのマルチメディアデータ多重化技術も必須であり、それらのための様々な技術がすでに実用化されている。音声データの高能率圧縮符号化技術としては、Dolby Laboratories LicencingCorp.のAC-3方式、画像データの高能率圧縮符号化技術およびマルチメディアデータ多重化技術としては、International Standards Organization（ISO）で標準化されたMPEG規格が広く使用されている。これらの方式や規格はDVD規格でも採用されており、特にデータストリームとしては、MPEG規格で定義される多重化方式の１つであるプログラムストリームを採用している。
【０００３】
DVD規格の１つである最近規格化されたDVD-Video Recording規格では、DVD-RAMディスク等を使ったエンドユーザによるプログラムストリームの編集について規定しており、また、エントリーポイントという新しい道具を提供している。エントリーポイントは時間で定義される。エントリーポイントを定義することで、好きなポイント（時間）から再生を開始することができる。このことから、エントリーポイントは再生開始時間と解釈できる。以下では、エントリーポイントからの再生開始時の圧縮符号化データの再生方法について説明する。
【０００４】
はじめに、MPEG規格で定義されるプログラムストリームのデータ構造について図４を用いて説明する。
図４において、プログラムストリーム３０１は一連のパック３０２から構成され、１つのパック３０２は、パックヘッダ３０３，システムヘッダ３０４、および1つ以上のパケット３０５で構成される。
【０００５】
上記パックヘッダ３０３は、パックスタートコード３０７（0x000001BA、0xは16進表記を示す）で始まり、その直後にそのパックのパラメータ情報３０８として、SCR（System Clock Reference）と呼ばれる基準クロック参照値等が記述される。
【０００６】
上記システムヘッダ３０４は、システムヘッダスタートコード３０９（0x000001BB）で始まり、その直後にプログラムストリーム全体のパラメータ情報３１０としてビットレート、音声チャンネル数や画像チャンネル数等が記述されている。
【０００７】
上記パケット３０５は、パケットスタートコード３１１で始まり、その直後にそのパケットのパラメータ情報３１２としてPTS（Presentation Time Stamp）と呼ばれる再生時間等が記述されており、これらのパラメータ情報の直後に、エレメンタリーストリーム３１３と呼ばれる実際の画像や音声等の圧縮符号化データが記述される。このパラメータ情報３１２は、エレメンタリーストリーム３１３を復号化する際に用いられる情報である。
【０００８】
上記パケットスタートコード３１１は、3バイトのパケットスタートプリフィックス（0x000001）と1バイトのストリームIDで構成され、ストリームIDは、そのパケットに含まれる圧縮符号化データの種別を表し、たとえば、0xEｘ（最後のｘは任意の値を示す）は画像パケット、0xCx、および0xDxは音声パケットを表す。
【０００９】
次に、前述したパケット中に記述される圧縮符号化データの１つである、MPEG規格に従って圧縮符号化された画像エレメンタリーストリームのデータ構造について図５を用いて説明する。
【００１０】
図５に示すように、画像エレメンタリーストリーム４０１は、シーケンス層４０２，グループオブピクチャ（以下GOPと記述する）層４０３，ピクチャ層４０４，スライス層４０５，マクロブロック層４０６，、ブロック層４０７の６つの階層で構成される。
【００１１】
１つのシーケンスは、シーケンスヘッダ４０８で始まり、その後に一連のGOP４０９が続き、シーケンスエンド４１０で完了する構造になっている。なお、シーケンスヘッダ４０８は必要に応じて先頭だけでなく、複数のGOP間の任意の位置に挿入されることがある。
【００１２】
上記GOP４０９はGOPヘッダ４１１で始まり、その後に１つ以上のピクチャ４１２が記述される。ピクチャ４１２とは、画面に表示される1枚の画像フレームのことで、種別としてはIピクチャ，Pピクチャ，Bピクチャの3種類が存在する。上記Iピクチャは自分自身の画像フレームのみのデータを用いて圧縮符号化されたフレーム内符号化画像の略であり、Pピクチャは時間的に前のビデオフレーム（IピクチャあるいはPピクチャ）を用いて圧縮符号化された順方向予測符号化画像の略であり、Bピクチャは時間的に前と後ろのビデオフレーム（IピクチャあるいはPピクチャ）を用いて圧縮符号化された双方向予測符号化画像の略である。そして、GOP４０９の独立性を保つために、GOPヘッダ４１１の直後のピクチャ４１２には必ずIピクチャが符号化されることが規定されている。
【００１３】
シーケンスヘッダ４０８、およびGOPヘッダ４１１の先頭はスタートコードが記述され、それぞれのスタートコードは前述したように最初の3バイトはスタートコードプリフィックス“０ｘ０００００１”で始まり、最後の1バイトで種別が記述されることが規定されている。それぞれのスタートコードはシーケンススタートコード（0x000001B3）、グループスタートコード（0x000001B8）と呼ばれる。
【００１４】
ピクチャ４１２は、ピクチャヘッダ４１３で始まり、スライス層４０５以下、マクロブロック層４０６、ブロック層４０７が記述される。上記ピクチャヘッダ４１３は、ピクチャスタートコード４１５（0x00000100、0xは16進表記を示す）で始まり、その直後にそのピクチャのパラメータ情報４１６としてテンポラル・リファレンス（temporal reference）と呼ばれるピクチャの表示順に従った番号等が記述される。スライスはビデオフレームの左上から始まる一連のマクロブロックで構成され、マクロブロックは基本処理単位である６つのブロックから構成される。
【００１５】
ところで、DVD-Video Recording規格では、図６（ｂ）で示されているように、一連の画像、音声等のパック５０３、５０４、５０５から成るVOBU５０２という論理単位を新たに導入しており、１つのVOBU５０２は0.4秒から1.0秒の間での画像と音声の同期再生を保証する最小単位として定義されている。このVOBU５０２内の画像圧縮符号化データは、図６(ｄ)で示されているように、シーケンスヘッダ５０６で始まり、その後に１つ以上のGOP５０７が記述される。場合によっては最後にシーケンスエンドが記述されることがある。シーケンスヘッダ５０６では、プログラム全体に共通の特徴である画像フレームサイズ、アスペクト比やフレームレート等のパラメータ情報が記述される。
【００１６】
次に上述したエントリーポイントによる再生開始時の圧縮符号化データの再生方法について説明する。図７は従来の圧縮符号化データ再生装置の構成を示すブロック図である。図７において、圧縮符号化データ再生装置は、ストリームを転送する転送装置６１０、入力されたストリームから必要なパックを抽出するシステムデコーダ６１１、画像データを復号化する画像デコーダ６１２、音声データを復号化する音声デコーダ６１３、各構成要素の動作タイミングを制御するための同期コントローラ６１４を備える。このように構成された圧縮符号化データ再生装置のエントリーポイントによる再生開始の動作について説明する。
【００１７】
図７で示されるように、転送装置６１０からエントリーポイントを含んだVOBU６１５がシステムデコーダ６１１に転送される。システムデコーダ６１１は、入力されるVOBU６１５から画像パックと音声パックを抽出して、パケットスタートコードやパラメータ情報を取り除いた画像エレメンタリーストリーム６１６と音声エレメンタリーストリーム６１７をそれぞれ画像デコーダ６１２と音声デコーダ６１３に転送し、パラメータ情報の内ＰＴＳ６１８を同期コントローラ６１４に転送する。画像デコーダ６１２は、入力される画像エレメンタリーストリーム６１６から画像フレームの復号を行う。音声デコーダ６１３は、入力される音声エレメンタリーストリーム６１７から音声フレームの復号を行う。同期コントローラ６１４は、転送装置６１０とシステムデコーダ６１１と画像デコーダ６１２と音声デコーダ６１３を制御することで、画像フレーム６１９と音声フレーム６２０との同期出力制御を行う。
【００１８】
図８は従来の圧縮符号化データ再生装置を構成する同期コントローラ６１４における、エントリーポイントによる再生開始の動作手順を示すフローチャートを記載した図である。以下、図８のフローに従って、同期コントローラ６１４の動作を詳しく説明する。
【００１９】
まず、動作が開始されると（ステップ７０１）、ステップ７０２にて、外部からのエントリーポイント値の設定とエントリーポイントによる再生開始が通知されると、転送装置６１０と各デコーダ６１１、６１２、６１３に起動要求を出す。この要求を受けて、転送装置６１０と各デコーダ６１１、６１２、６１３は起動処理を行う。
【００２０】
次いで、ステップ７０３にて、転送装置６１０にデータ供給要求を出す。この要求を受けて転送装置６１０は、エントリーポイントを含んだVOBU６１５の先頭から転送を行う。システムデコーダ６１１は、転送装置６１０からデータを受信することで分離抽出を開始する。
【００２１】
画像デコーダ６１２は、ステップ７０４にて、システムデコーダ６１１から受信した画像フレーム用PTS６１８とエントリーポイントがある特定のしきい値内で一致するまで、システムデコーダ６１１から受信した画像エレメンタリーストリームから画像フレームの復号を行う。このときは、まだ復号処理だけを行い、復号化された画像フレームを画像デコーダ６１２内の画像フレームバッファに格納するだけで、表示出力は行わない。
【００２２】
音声デコーダ６１３は、ステップ７０８にて音声フレーム同期出力要求を受信するまで復号処理は行わず、システムデコーダ６１１から受信した音声エレメンタリーストリーム６１７を音声デコーダ６１３中の音声ビットバッファに蓄える入力処理だけを行う。この入力処理では、音声用ビットバッファのオーバーフロー管理も行い、オーバーフローしそうな場合は音声用ビットバッファ内に既に蓄えられた音声エレメンタリーストリーム６１７を捨ててしまい、新しく送られてくる音声エレメンタリーストリーム６１７を音声ビットバッファに蓄えるようにする。
【００２３】
次いで、ステップ７０４にて、システムデコーダ６１１から受信した画像フレーム用PTS６１８と、エントリーポイントがある特定のしきい値内で一致した場合は、ステップ７０５に移り、画像フレーム用PTS６１８の値で、同期コントローラ６１４内の同期用クロックを初期化する。
【００２４】
次いで、ステップ７０６にて、画像デコーダ６１２に画像フレーム同期出力要求を出す。この要求を受けて画像デコーダ６１２は、ステップ７０４にて、システムデコーダ６１１から受信した画像フレーム用PTS６１８とエントリーポイントとがある特定のしきい値内で一致した画像フレームの復号と同時に表示出力も行う。この段階で、初めて画像フレームの表示出力が行われ、以後、画像デコーダ６１２は、同期コントローラ６１４による、同期用クロックとシステムデコーダ６１１から受信する画像フレーム用PTS６１８とを用いた同期制御のもとで、システムデコーダ６１１から受信する画像エレメンタリーストリームからの画像フレームの復号と表示出力を次々に行っていく。
【００２５】
次いで、ステップ７０７にて、システムデコーダ６１１から受信した音声フレーム用PTS６１８と、同期用クロックとがある特定のしきい値内で一致するまで監視続ける。この間、音声デコーダ６１３は、相変わらず入力処理のみ行い続ける。
【００２６】
また、ステップ７０７にてシステムデコーダ６１１から受信した音声フレーム用PTS６１８と、同期用クロックとがある特定のしきい値内で一致した場合、ステップ７０８に移り、音声デコーダ６１３に音声フレーム同期出力要求を出す。
【００２７】
この要求を受けて音声デコーダ６１３は、ステップ７０７にて、システムデコーダ６１１から受信した音声フレーム用PTS６１８と、同期用クロックとがある特定のしきい値内で一致した音声フレームの復号と同時に音声出力も行う。この段階で、初めて音声フレームの音声出力が行われ、以後、音声デコーダ６１３は、同期コントローラ６１４による、同期用クロックとシステムデコーダ６１１から受信する音声フレーム用PTS６１８とを用いた同期制御のもとで、システムデコーダ６１１から受信する音声エレメンタリーストリームからの音声フレームの復号と音声出力を次々に行っていく。
【００２８】
【発明が解決しようとする課題】
従来の圧縮符号化データ再生方法および装置は以上のように構成されており、上述したような方法では、ステップ７０６にて、画像フレームの表示出力が開始された後、ステップ７０８にて音声フレームの音声出力が開始されるため、明らかに画像フレームの表示出力に比べて音声フレームの音声出力が遅れるという問題点があった。
【００２９】
また、以上の方法では、プログラムストリーム中に画像符号化データが存在しなかった場合、ステップ７０４にて、システムデコーダ６１１から受信した画像フレーム用PTS６１８とエントリーポイントとがある特定のしきい値内で一致するという条件一致が起こり得ないため、次のステップ７０５以降のステップに進めず、さらに、データストリーム中にエントリーポイントに相当する音声符号化フレームが存在した場合でも、音声フレームの音声出力が開始できないという問題点があった。
【００３０】
また、以上の方法では、画像フレーム用PTS６１８が画像フレーム毎に付与されていないプログラムストリームであった場合、ステップ７０４にて、システムデコーダ６１１から受信した画像フレーム用PTS６１８とエントリーポイントとがある特定のしきい値内で一致するという条件一致を起こさせるために、このしきい値を十分大きな値にしなければならない。詳述すると、DVD-Video Recording規格では、Iピクチャには必ず画像フレーム用PTSを付与することを規定しているが、それ以外のピクチャについては特に規定していない。またIピクチャはVOBU先頭にあること以外は特に規定されていない。実際のプログラムストリームとしては、圧縮符号化効率の点からVOBU先頭にしかIピクチャが存在しないことが多く、画像フレーム用PTSもこの先頭のIピクチャしか付与されていないことが多い。したがって、このことを考慮するとVOBU 1個分をしきい値としなければならなくなるので、同期制御の単位が画像フレーム単位ではなく、VOBU単位になってしまうという問題点があった。
【００３１】
本発明は、上記のような問題点を解決するためになされたものであり、圧縮符号化データのエントリーポイントからの再生開始の際に、画像フレーム単位および音声フレーム単位の精度で、画像フレームの表示出力と音声フレームの音声出力を同じタイミングで出力することのできる圧縮符号化データ再生方法および装置を提供することを目的とする。
【００３２】
【課題を解決するための手段】
この発明の請求項１にかかる圧縮符号化データ再生方法は、一連の画像フレームをフレーム内圧縮符号化したIピクチャと、時間的に前の画像フレームとの相関を利用する順方向予測圧縮符号化により得られたPピクチャと、時間的に前の画像フレームか後ろの画像フレーム、または前後両方の画像フレームとの相関を利用する双方向予測圧縮符号化により得られたBピクチャとにより構成される画像圧縮符号化データと、一連の音声フレームを圧縮符号化した音声圧縮符号化データと、前記画像圧縮符号化データ、及び前記音声圧縮符号化データに関する付加情報とが多重化されたデータストリームに対して、外部から指定される再生開始時間に相当する画像フレーム、及び音声フレームから再生データの伝送を開始する圧縮符号化データ再生方法であって、前記データストリームから前記画像圧縮符号化データと前記音声圧縮符号化データと前記付加情報とを分離出力し、この際に画像フレーム及び音声フレームの先頭検出を行うステップと、前記先頭検出されたフレームに付加された前記付加情報の１つである再生時間情報から、再生開始時間に相当する画像フレーム、あるいは音声フレームであるかどうかの判定を行うステップと、前記再生開始時間に相当する画像フレームと判定された場合は、前記画像圧縮データから画像フレームを復号するよう復号要求を行い、また、前記再生開始時間に相当する音声フレームと判定された場合には、前記音声圧縮データから音声フレームを復号するよう復号要求を行うステップと、所定の時間が経過したか否かを判定するステップと、該所定の時間が経過し、前記画像フレーム及び前記音声フレームの両方ともの復号が完了していない場合に、外部に対して異常が発生したことを通知するステップと、前記画像フレームと前記音声フレームの両方ともが復号完了したか否かを判定するステップと、上記画像及び音声フレームの両方の復号が完了したと判定された場合に、上記復号化された画像データ、及び音声データを同期出力するように要求するステップとを含むものである。
【００３３】
また、この発明の請求項２にかかる圧縮符号化データ再生方法は、上記請求項１記載の圧縮符号化データ再生方法において、前記画像フレーム及び音声フレームの先頭検出を行うステップは、先頭検出されたフレームに対して有効な再生時間情報が付いていなかったか否か判定するステップと、有効な再生時間情報が付いていなかった場合に、前記先頭検出されたフレームが画像フレームの場合は、前記画像フレームの再生時間情報を、前記画像フレームの前記付加情報の１つである表示出力順番情報と、前記画像フレームより時間的前に復号された画像フレームの再生時間情報と表示出力順番情報より算出し、また、前記先頭検出されたフレームが音声フレームの場合は、前記音声フレームの再生時間情報を、前記音声フレームより時間的前に先頭検出された音声フレームの再生時間情報より算出するステップとを含むものである。
【００３４】
また、この発明の請求項３にかかる圧縮符号化データ再生装置は、一連の画像フレームをフレーム内圧縮符号化した I ピクチャと、時間的に前の画像フレームとの相関を利用する順方向予測圧縮符号化により得られた P ピクチャと、時間的に前の画像フレームか後ろの画像フレームまたは前後両方の画像フレームとの相関を利用する双方向予測圧縮符号化により得られた B ピクチャとにより構成される画像圧縮符号化データと、一連の音声フレームを圧縮符号化した音声圧縮符号化データと、前記画像圧縮符号化データ、及び前記音声圧縮符号化データに関する付加情報とが多重化されたデータストリームに対して、外部から指定される再生開始時間に相当する画像フレーム、及び音声フレームから再生データの伝送を開始する圧縮符号化データ再生装置であって、前記データストリームから前記画像圧縮符号化データと前記音声圧縮符号化データと前記付加情報とを分離出力し、この際に画像フレーム及び音声フレームの先頭検出を行うシステムデコーダと、前記画像圧縮データから画像フレームを復号し、表示出力する画像デコーダと、前記音声圧縮データから音声フレームを復号し、音声出力する音声デコーダと、前記システムデコーダにて先頭検出されたフレームに付加された前記付加情報の１つである再生時間情報から、再生開始時間に相当する画像フレームあるいは音声フレームであるかどうかの判定を行い、前記再生開始時間に相当する画像フレームと判定された場合は、前記画像デコーダに対して復号要求を行い、前記再生開始時間に相当する音声フレームと判定された場合は、前記音声デコーダに対して復号要求を行い、所定の時間が経過しても、前記画像フレーム及び前記音声フレームの両方ともの復号が完了していない場合に、外部に対して異常が発生したことを通知し、さらに前記画像フレームと前記音声フレームの両方ともが復号完了した時点で、前記画像デコーダ及び前記音声デコーダに対して出力要求を行う同期コントローラとを備えたものである。
【００３５】
また、この発明の請求項４にかかる圧縮符号化データ再生装置は、上記請求項３記載の圧縮符号化データ再生装置において、前記同期コントローラは、前記システムデコーダにて、先頭検出されたフレームに対して有効な再生時間情報が付いていなかった場合に、前記先頭検出されたフレームが画像フレームの場合は、前記画像フレームの再生時間情報を、前記画像フレームの前記付加情報の１つである表示出力順番情報と、前記画像フレームより時間的前に復号された画像フレームの再生時間情報と表示出力順番情報より算出し、また、前記先頭検出されたフレームが音声フレームの場合は、前記音声フレームの再生時間情報を、前記音声フレームより時間的前に先頭検出された音声フレームの再生時間情報より算出するものである。
【００４６】
【発明の実施の形態】
実施の形態１．
図1は本発明の実施の形態１による圧縮符号化データ再生装置の構成を示すブロック図である。図１に示すように、図１において、圧縮符号化データ再生装置は、ストリームを転送する転送装置１０、入力されたストリームから必要なパックを抽出するシステムデコーダ１１、画像データを復号化する画像デコーダ１２、音声データを復号化する音声デコーダ１３、各構成要素の動作タイミングを制御するための同期コントローラ１４を備える点では従来の構成と同様であるが、本発明のシステムデコーダ１１は、MPEG規格により規定されるテンポラル・リファレンス（temporal reference）を表示出力順番情報として同期コントローラ１４に供給するように構成されている点が特徴である。
【００４７】
以下、このように構成された本発明の実施の形態１による圧縮符号化データ再生装置のエントリーポイントによる再生開始の動作について説明する。
【００４８】
転送装置１０からエントリーポイントを含んだVOBU１5がシステムデコーダ１１に転送される。システムデコーダ１１は、入力されるVOBU１5から画像パックと音声パックを抽出して、パケットスタートコードやパラメータ情報を取り除いた画像エレメンタリーストリーム１６と音声エレメンタリーストリーム１７とをそれぞれ画像デコーダ１２と音声デコーダ１３に転送し、パラメータ情報の内、ＰＴＳ１８とテンポラル・リファレンス１９を同期コントローラ１４に転送する。
【００４９】
また、システムデコーダ１１は、入力されるVOBU１5から画像パックと音声パックを抽出して、パケットスタートコードやパラメータ情報を取り除いた画像エレメンタリーストリーム１６と、音声エレメンタリーストリーム１７とをそれぞれ画像デコーダ１２と音声デコーダ１３に転送する際に、圧縮符号化された画像フレームと音声フレームそれぞれの先頭の検出を行い、検出した場合はその結果を同期コントローラ１４に伝える。
【００５０】
画像デコーダ１２は、入力される画像エレメンタリーストリーム１６から画像フレームの復号を行う。音声デコーダ１３は、入力される音声エレメンタリーストリーム１７から音声フレームの復号を行う。同期コントローラ１４は、転送装置１０とシステムデコーダ１１と画像デコーダ１２と音声デコーダ１３を制御することで、画像フレーム２０と音声フレーム２１の同期出力制御を行う。
【００５１】
図２及び図３は本実施の形態１による圧縮符号化データ再生装置の同期コントローラ１４におけるエントリーポイントによる再生開始の動作手順を示すフローチャートであり、以下、図２及び図３のフローチャートに従って、同期コントローラ１４の動作を詳しく説明する。
【００５２】
まず、処理が開始されると（ステップ２０１）、ステップ２０２にて、外部からのエントリーポイント値と異常判定用時間Ｔ１の設定とエントリーポイントによる再生開始が通知され、音声フレーム出力準備完了フラグ、画像フレーム出力準備完了フラグ、音声フレーム検出フラグと画像フレーム検出フラグが“０”クリアされる。
【００５３】
次いで、ステップ２０３にて、転送装置１０と各デコーダ１１、１２、１３に起動要求を出す。この要求を受けて、転送装置１０と各デコーダ１１、１２、１３は起動処理を行う。
【００５４】
次いで、ステップ２０４にて、転送装置１０にデータ供給要求を出す。この要求を受けて転送装置１０は、エントリーポイントを含んだVOBU１５の先頭から転送を行う。システムデコーダ１１は、転送装置１０からデータを受信することで分離抽出を開始する。
【００５５】
次いで、ステップ２０５にて、ステップ２０２においての外部からのエントリーポイントによる再生開始が通知されてから、異常判定用時間Ｔ１が経過していない場合は、後述するステップ２０６に移る。逆に、異常判定用時間Ｔ１が経過している場合は、後述するステップ２２５に移る。
【００５６】
次いで、上記ステップ２０６では、音声フレーム出力準備完了フラグと画像フレーム出力準備完了フラグの両方ともが“１”かどうかの判定を行い、音声フレーム出力準備完了フラグと画像フレーム出力準備完了フラグの両方ともが“１”でない場合は、後述するステップ２０７に移る。逆に、音声フレーム出力準備完了フラグと画像フレーム出力準備完了フラグの両方ともが“１”である場合は、後述するステップ２２３に移る。
【００５７】
次いで、上記ステップ２０７では、圧縮符号化された音声フレームか画像フレームの先頭を検出した場合は、後述するステップ２０８に移る。逆に、フレームの検出できなかった場合は、上記ステップ２０５に戻る。
【００５８】
次いで、上記ステップ２０８では、上記ステップ２０７において検出された圧縮符号化されたフレームに有効なＰＴＳが付いていなかった場合は、後述するステップ２０９に移る。逆に、有効なＰＴＳが付いていた場合は、後述するステップ２１０に移る。
【００５９】
次いで、上記ステップ２０９では、上記ステップ２０７において検出された、有効なＰＴＳが付いていないフレームのＰＴＳ値を算出する。一方、ステップ２０７において検出されたフレームが音声フレームの場合は、時間的に１つ前に検出された音声フレームのＰＴＳに、音声フレームの１フレーム単位時間を加算し、上記ステップ２０７において検出されたフレームのＰＴＳを算出する。また、ステップ２０７において検出されたフレームが画像フレームの場合は、時間的に１つ前に検出された画像フレームのＰＴＳ（ＰＴＳn-1とする）とテンポラル・リファレンス（ＴＲn-1とする）と、上記ステップ２０７において検出されたフレームのテンポラル・リファレンス（ＴＲnとする）から次の数１式を用いて、ステップ２０７において検出されたフレームのＰＴＳ（ＰＴＳnとする）を算出する。
（数１）
PTSn ＝PTSn-1＋（TRn −TRn-1）×[画像フレームの１フレーム単位時間]
【００６０】
次いで、ステップ２１０では、上記ステップ２０７において検出されたフレームが、ステップ２０２において外部から設定されたエントリーポイントに相当するフレームかどうかを判定し、上記ステップ２０７において検出されたフレームが、上記ステップ２０２において外部から設定されたエントリーポイントに相当するフレームとして判定された場合は、後述するステップ２１１に移る。逆に、ステップ２０２において外部から設定されたエントリーポイントに相当するフレームとして判定されなかった場合は、後述するステップ２１６に移る。判定条件は次の条件式である数２式を用いる。つまり、この条件式が成立する場合、ステップ２０７において検出されたフレームが、ステップ２０２において外部から設定されたエントリーポイントに相当するフレームとして判定する。ただし、この条件式において、ＥＰはステップ２０２において外部から設定されたエントリーポイント値を、Ｔfmはフレーム単位時間を、ＰＴＳnはステップ２０７において検出されたフレームのＰＴＳ値を表す。さらに、Ｔfmは、ステップ２０７において検出されたフレームが音声フレームの場合は、音声フレームの１フレーム単位時間を、ステップ２０７において検出されたフレームが画像フレームの場合は、画像フレームの１フレーム単位時間を使用する。
(数２)
ＥＰ−１／２×Ｔfm ＜ ＰＴＳn ≦ ＥＰ ＋ １／２×Ｔfm
【００６１】
次いで、ステップ２１１にて、上記ステップ２０７にて検出されたフレームが音声フレームかどうかの判定を行い、上記ステップ２０７にて検出されたフレームが音声フレームの場合は、後述するステップ２１２に移る。逆に、ステップ２０７にて検出されたフレームが画像フレームの場合は、後述するステップ２１４に移る。
【００６２】
次いで、上記ステップ２１２では、音声デコーダ１３にステップ２０７にて検出された音声フレームの復号要求を出し、ステップ２１３に移る。一方、音声デコーダ１３は、同期コントローラ１４からのこの要求を受けて、ステップ２０７にて検出された音声フレームの復号を行い、復号が完了した後に音声フレーム出力準備完了フラグを“１”にセットする。
次いで、ステップ２１３にて、音声フレーム検出フラグを“１”にセットし、ステップ２０５に戻る。
【００６３】
また、ステップ２１４にて、画像デコーダ１２にステップ２０７にて検出された画像フレームの復号要求を出し、ステップ２１５に移る。一方、画像デコーダ１２は、同期コントローラ１４からのこの要求を受けて、ステップ２０７にて検出された画像フレームの復号を行い、復号が完了した後に画像フレーム出力準備完了フラグを“１”にセットする。
次いで、ステップ２１５にて、画像フレーム検出フラグを“１”にセットし、ステップ２０５に戻る。
【００６４】
また、ステップ２１６にて、ステップ２０７にて検出されたフレームが音声フレームかどうかの判定を行い、ステップ２０７にて検出されたフレームが音声フレームの場合は、ステップ２１７に移る。逆に、ステップ２０７にて検出されたフレームが画像フレームの場合は、ステップ２１９に移る。
【００６５】
次いで、上記ステップ２１７では、音声フレーム検出フラグが“０”かどうかの判定を行い、音声フレーム検出フラグが“０”である場合は、後述するステップ２１８に移る。逆に、音声フレーム検出フラグが“０”でない場合は、上記ステップ２０５に戻る。
【００６６】
次いで、ステップ２１８では、音声デコーダ１３にステップ２０７にて検出された音声フレームのスキップ要求を出し、ステップ２０５に戻る。一方、音声デコーダ１３は、同期コントローラ１４からのこの要求を受けて、ステップ２０７にて検出された音声フレームのスキップ処理を実行する。スキップ処理とは、復号処理をしないでデータを破棄する処理のことである。
【００６７】
また、ステップ２１９にて、画像フレーム検出フラグが“０”かどうかの判定を行い、画像フレーム検出フラグが“０”である場合は、ステップ２２０に移る。逆に、画像フレーム検出フラグが“０”でない場合は、ステップ２０５に戻る。
【００６８】
次いで、ステップ２２０にて、ステップ２０７にて検出されたフレームが参照画像フレーム（いわゆるIピクチャかPピクチャかのこと）であるかどうかの判定を行い、ステップ２０７にて検出されたフレームが参照画像フレームである場合は、ステップ２２１に移る。逆に、ステップ２０７にて検出されたフレームが参照画像フレームでない場合は、ステップ２２２に移る。
【００６９】
次いで、ステップ２２１にて、画像デコーダ１２にステップ２０７にて検出された画像フレームの復号要求を出し、上記ステップ２０５に戻る。一方、画像デコーダ１２は、同期コントローラ１４からのこの要求を受けて、ステップ２０７にて検出された画像フレームの復号を行う。
【００７０】
また、ステップ２２２にて、画像デコーダ１２にステップ２０７にて検出された画像フレームのスキップ要求を出し、上記ステップ２０５に戻る。一方、画像デコーダ１２は、同期コントローラ１４からのこの要求を受けて、ステップ２０７にて検出された画像フレームのスキップ処理を実行する。
【００７１】
また、ステップ２２３にて、ステップ２１４において画像デコーダ１２に復号要求を出して、その結果画像デコーダ１２によって復号された画像フレームのPTS値、あるいはステップ２１２において音声デコーダ１３に復号要求を出して、その結果音声デコーダ１３によって復号された音声フレームのPTS値で、同期コントローラ１４内の同期用クロックを初期化する。エントリーポイントによる再生開始の処理が終了した（ステップ２３２）後の圧縮符号化データの再生は、この同期用クロックを使用して音声フレームと画像フレームの同期出力制御を行う。
【００７２】
次いで、ステップ２２４にて、画像デコーダ１２と音声デコーダ１３のそれぞれに、画像フレームと音声フレームの出力要求を出し、エントリーポイントによる再生開始の処理を終了する。
【００７３】
一方、画像デコーダ１２は、ステップ２１４において復号要求を出されて、その結果復号した画像フレームの表示出力を行い、音声デコーダ１３は、ステップ２１２において復号要求を出されて、その結果復号した音声フレームの音声出力を行う。
【００７４】
また、ステップ２２５にて、音声フレーム出力準備完了フラグが“１”かどうかの判定を行い、音声フレーム出力準備完了フラグが“１”である場合は、後述するステップ２２６に移る。逆に、音声フレーム出力準備完了フラグが“１”でない場合は、後述するステップ２２８に移る。
【００７５】
次いで、ステップ２２６では、ステップ２１２において音声デコーダ１３に復号要求を出して、その結果音声デコーダ１３によって復号された音声フレームのPTS値で、同期コントローラ１４内の同期用クロックを初期化する。エントリーポイントによる再生開始の処理が終了した（ステップ２３２）後の圧縮符号化データの再生は、この同期用クロックを使用して音声フレームと画像フレームの同期出力制御を行う。
【００７６】
次いで、ステップ２２７にて、音声デコーダ１３に音声フレームの出力要求を出し、エントリーポイントによる再生開始の処理を終了する。一方、音声デコーダ１３は、ステップ２１２において復号要求を出されて、その結果復号した音声フレームの音声出力を行う。
【００７７】
また、ステップ２２８では、画像フレーム出力準備完了フラグが“１”かどうかの判定を行い、画像フレーム出力準備完了フラグが“１”である場合は、ステップ２２９に移る。逆に、画像フレーム出力準備完了フラグが“１”でない場合は、ステップ２３１に移る。
【００７８】
次いで、ステップ２２９にて、ステップ２１４において画像デコーダ１２に復号要求を出して、その結果画像デコーダ１２によって復号された画像フレームのPTS値で、同期コントローラ１４内の同期用クロックを初期化する。エントリーポイントによる再生開始の処理が終了した（ステップ２３２）後の圧縮符号化データの再生は、この同期用クロックを使用して音声フレームと画像フレームの同期出力制御を行う。
【００７９】
次いで、ステップ２３０にて、画像デコーダ１２に画像フレームの出力要求を出し、エントリーポイントによる再生開始の処理を終了する。一方、画像デコーダ１２は、ステップ２１４において復号要求を出されて、その結果復号した画像フレームの表示出力を行う。
また、ステップ２３１にて、外部に異常通知を行う。
【００８０】
以上のように、本発明の実施の形態１による圧縮符号データ再生装置によれば、テンポラル・リファレンス１９を利用して、画像フレーム単位、あるいは音声フレーム単位の精度で、外部から指定されたエントリーポイントに相当する画像フレームと音声フレームを検出し、それぞれを復号し同時に出力することでき、さらに、入力されたVOBU中にエントリーポイントに相当する画像フレームと音声フレームの一方しか存在しない場合でも、正常にエントリーポイントの再生開始を行うことができ、さらに、入力されたVOBU中にエントリーポイントに相当する画像フレームと音声フレームの両方ともが存在しない場合でも、エントリーポイントの再生開始処理で停頓させることなく、エントリーポイントの再生開始を終了させることができるので、指定された再生開始時間に相当する画像フレームと音声フレームを検出し、それぞれを復号後、同じタイミングで出力させることができる。
【００８１】
また、再生開始時間に相当する画像フレームと音声フレームとがそれぞれフレーム単位で復号化が完了されたのを確認してから同時出力するようになっているため、業務用などの高い精度が要求されるストリーム編集機において編集を行っても、確実に画像とそれに対応する音声がタイミング的なズレを伴うことなく処理を行うことができる。
なお、本実施の形態ではフレーム単位での処理を例として説明したが、画面単位での処理を行うようにすればよく、例えば、フィールド単位で処理を行う場合においても、同様の作用効果が得られることは言うまでもない。
【００８２】
【発明の効果】
以上のように、この発明の請求項１に係る圧縮符号化データ再生方法によれば、一連の画像フレームをフレーム内圧縮符号化したIピクチャと、時間的に前の画像フレームとの相関を利用する順方向予測圧縮符号化により得られたPピクチャと、時間的に前の画像フレームか後ろの画像フレーム、または前後両方の画像フレームとの相関を利用する双方向予測圧縮符号化により得られたBピクチャとにより構成される画像圧縮符号化データと、一連の音声フレームを圧縮符号化した音声圧縮符号化データと、前記画像圧縮符号化データ、及び前記音声圧縮符号化データに関する付加情報とが多重化されたデータストリームに対して、外部から指定される再生開始時間に相当する画像フレーム、及び音声フレームから再生データの伝送を開始する圧縮符号化データ再生方法であって、前記データストリームから前記画像圧縮符号化データと前記音声圧縮符号化データと前記付加情報とを分離出力し、この際に画像フレーム及び音声フレームの先頭検出を行うステップと、前記先頭検出されたフレームに付加された前記付加情報の１つである再生時間情報から、再生開始時間に相当する画像フレーム、あるいは音声フレームであるかどうかの判定を行うステップと、前記再生開始時間に相当する画像フレームと判定された場合は、前記画像圧縮データから画像フレームを復号するよう復号要求を行い、また、前記再生開始時間に相当する音声フレームと判定された場合には、前記音声圧縮データから音声フレームを復号するよう復号要求を行うステップと、所定の時間が経過したか否かを判定するステップと、該所定の時間が経過し、前記画像フレーム及び前記音声フレームの両方ともの復号が完了していない場合に、外部に対して異常が発生したことを通知するステップと、前記画像フレームと前記音声フレームの両方ともが復号完了したか否かを判定するステップと、上記画像及び音声フレームの両方の復号が完了したと判定された場合に、上記復号化された画像データ、及び音声データを同期出力するように要求するステップとを含むものとしたので、指定された再生開始時間に相当する画像フレームと音声フレームを検出し、それぞれを復号後、同じタイミングで出力させることができ、業務用などの高い精度が要求されるストリーム編集機において編集を行っても、確実に画像とそれに対応する音声がタイミング的なズレを伴うことなく処理を行うことができ、また入力されたデータストリーム中に再生開始時間に相当する画像フレームと音声フレームの両方ともが存在しない場合でも、指定された再生開始時間からの再生開始処理で停頓させることなく、この再生開始処理を終了させることができるという効果が得られる。
【００８３】
また、この発明の請求項２に係る圧縮符号化データ再生方法によれば、上記請求項１記載の圧縮符号化データ再生方法において、前記画像フレーム及び前記音声フレームの先頭検出を行うステップは、先頭検出されたフレームに対して有効な再生時間情報が付いていなかったか否か判定するステップと、有効な再生時間情報が付いていなかった場合に、前記先頭検出されたフレームが画像フレームの場合は、前記画像フレームの再生時間情報を、前記画像フレームの前記付加情報の１つである表示出力順番情報と、前記画像フレームより時間的前に復号された画像フレームの再生時間情報と表示出力順番情報より算出し、また、前記先頭検出されたフレームが音声フレームの場合は、前記音声フレームの再生時間情報を、前記音声フレームより時間的前に先頭検出された音声フレームの再生時間情報より算出するステップを含むものとしたので、画像フレーム単位、あるいは音声フレーム単位の精度で、指定された再生開始時間に相当する画像フレームと音声フレームを検出し、それぞれを復号後、同じタイミングで出力させることができるという効果が得られる。
【００８４】
また、この発明の請求項３に係る圧縮符号化データ再生装置によれば、一連の画像フレームをフレーム内圧縮符号化した I ピクチャと、時間的に前の画像フレームとの相関を利用する順方向予測圧縮符号化により得られた P ピクチャと、時間的に前の画像フレームか後ろの画像フレームまたは前後両方の画像フレームとの相関を利用する双方向予測圧縮符号化により得られた B ピクチャとにより構成される画像圧縮符号化データと、一連の音声フレームを圧縮符号化した音声圧縮符号化データと、前記画像圧縮符号化データ、及び前記音声圧縮符号化データに関する付加情報とが多重化されたデータストリームに対して、外部から指定される再生開始時間に相当する画像フレーム、及び音声フレームから再生データの伝送を開始する圧縮符号化データ再生装置であって、前記データストリームから前記画像圧縮符号化データと前記音声圧縮符号化データと前記付加情報とを分離出力し、この際に画像フレーム及び音声フレームの先頭検出を行うシステムデコーダと、前記画像圧縮データから画像フレームを復号し、表示出力する画像デコーダと、前記音声圧縮データから音声フレームを復号し、音声出力する音声デコーダと、前記システムデコーダにて先頭検出されたフレームに付加された前記付加情報の１つである再生時間情報から、再生開始時間に相当する画像フレームあるいは音声フレームであるかどうかの判定を行い、前記再生開始時間に相当する画像フレームと判定された場合は、前記画像デコーダに対して復号要求を行い、前記再生開始時間に相当する音声フレームと判定された場合は、前記音声デコーダに対して復号要求を行い、所定の時間が経過し、前記画像フレーム及び前記音声フレームの両方ともの復号が完了していない場合に、外部に対して異常が発生したことを通知し、さらに前記画像フレームと前記音声フレームの両方ともが復号完了した時点で、前記画像デコーダ及び前記音声デコーダに対して出力要求を行う同期コントローラとを備えたものとしたので、入力されたデータストリーム中に再生開始時間に相当する画像フレームと音声フレームの両方ともが存在しない場合でも、指定された再生開始時間からの再生開始処理で停頓させることなく、この再生開始処理を終了させることができるという効果が得られる。
【００８５】
また、この発明の請求項４に係る圧縮符号化データ再生装置によれば、上記請求項３記載の圧縮符号化データ再生方法において、前記同期コントローラは、前記システムデコーダにて、先頭検出されたフレームに対して有効な再生時間情報が付いていなかった場合に、前記先頭検出されたフレームが画像フレームの場合は、前記画像フレームの再生時間情報を、前記画像フレームの前記付加情報の１つである表示出力順番情報と、前記画像フレームより時間的前に復号された画像フレームの再生時間情報と表示出力順番情報より算出し、また、前記先頭検出されたフレームが音声フレームの場合は、前記音声フレームの再生時間情報を、前記音声フレームより時間的前に先頭検出された音声フレームの再生時間情報より算出するものとしたので、画像フレーム単位、あるいは音声フレーム単位の精度で、指定された再生開始時間に相当する画像フレームと音声フレームを検出し、それぞれを復号後、同じタイミングで出力させることができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による圧縮符号化データ再生装置の構成を示すブロック図である。
【図２】上記実施の形態１による圧縮符号化データ再生装置の同期コントローラの動作手順を示すフローチャートの一部を記載した図である。
【図３】上記図２のフローチャートの残りの一部を記載した図である。
【図４】MPEG規格のプログラムストリームのデータフォーマットを説明するための図である。
【図５】MPEG規格のプログラムストリームにおける画像エレメンタリーストリームのデータ構造を説明するための図である。
【図６】DVDビデオ規格により規定されるVOBUのデータの構成を説明するための図である。
【図７】従来の圧縮符号化データ再生装置の構成を示すブロック図である。
【図８】従来の圧縮符号化データ再生装置の同期コントローラの動作手順を示すフローチャートを記載した図である。
【符号の説明】
１０，６１０ 転送装置
１１，６１１ システムデコーダ
１２，６１２ 画像デコーダ
１３，６１３ 音声デコーダ
１４，６１４ 同期コントローラ
１５，５０２，６１５ ＶＯＢＵ
１６，４０１，６１６ 画像エレメンタリーストリーム
１７，６１７ 音声エレメンタリーストリーム
１８，６１８ ＰＴＳ
１９ テンポラル・リファレンス
２０，６１９ 画像フレーム
２１，６２０ 音声フレーム
３０１，５０１ プログラムストリーム
３０２ パック
３０３ パックヘッダ
３０４ システムヘッダ
３０５ パケット
３０６ プログラムエンドコード
３０７ パックスタートコード
３０８，３１０，３１２，４１６ パラメータ情報
３０９ システムヘッダスタートコード
３１１ パケットスタートコード
３１３ エレメンタリーストリーム
４０２ シーケンス層
４０３ グループオブピクチャ層
４０４ ピクチャ層
４０５ スライス層
４０６ マクロブロック層
４０７ ブロック層
４０８、５０６ シーケンスヘッダ
４０９、５０７ ＧＯＰ
４１０ シーケンスエンド
４１１ ＧＯＰヘッダ
４１２ ピクチャ
４１３ ピクチャヘッダ
４１４ ピクチャデータ
４１５ ピクチャスタートコード
５０３ ナビゲーションパック
５０４ 音声パック
５０５ 画像パック
【発明の属する技術分野】
本発明は圧縮符号化データ再生方法、およびその装置に関し、特に、圧縮符号化データが多重化されたデータストリーム中の任意の再生開始時間から、画像フレームと音声フレームを再生出力する圧縮符号化データ再生方法、およびその装置に関するものである。
【０００２】
【従来の技術】
近年のマルチメディア技術の進展により、デジタル化された画像、音声やデータと言った複数のメディアを統合的に扱ったDVDプレーヤやデジタルTV放送受信用セットトップボックスなどに代表される応用機器が普及し始めている。
また、デジタル化した画像データや音声データはそのままでは符号量が膨大になるために、効率よく記録および伝送するために、デジタルデータの高能率圧縮符号化技術が必須であり、さらには、実際の応用機器に適用するためには、高能率圧縮符号化された画像圧縮符号化データや音声圧縮符号化データに付加情報データも含めて1本のデータストリームに統合化するためのマルチメディアデータ多重化技術も必須であり、それらのための様々な技術がすでに実用化されている。音声データの高能率圧縮符号化技術としては、Dolby Laboratories LicencingCorp.のAC-3方式、画像データの高能率圧縮符号化技術およびマルチメディアデータ多重化技術としては、International Standards Organization（ISO）で標準化されたMPEG規格が広く使用されている。これらの方式や規格はDVD規格でも採用されており、特にデータストリームとしては、MPEG規格で定義される多重化方式の１つであるプログラムストリームを採用している。
【０００３】
DVD規格の１つである最近規格化されたDVD-Video Recording規格では、DVD-RAMディスク等を使ったエンドユーザによるプログラムストリームの編集について規定しており、また、エントリーポイントという新しい道具を提供している。エントリーポイントは時間で定義される。エントリーポイントを定義することで、好きなポイント（時間）から再生を開始することができる。このことから、エントリーポイントは再生開始時間と解釈できる。以下では、エントリーポイントからの再生開始時の圧縮符号化データの再生方法について説明する。
【０００４】
はじめに、MPEG規格で定義されるプログラムストリームのデータ構造について図４を用いて説明する。
図４において、プログラムストリーム３０１は一連のパック３０２から構成され、１つのパック３０２は、パックヘッダ３０３，システムヘッダ３０４、および1つ以上のパケット３０５で構成される。
【０００５】
上記パックヘッダ３０３は、パックスタートコード３０７（0x000001BA、0xは16進表記を示す）で始まり、その直後にそのパックのパラメータ情報３０８として、SCR（System Clock Reference）と呼ばれる基準クロック参照値等が記述される。
【０００６】
上記システムヘッダ３０４は、システムヘッダスタートコード３０９（0x000001BB）で始まり、その直後にプログラムストリーム全体のパラメータ情報３１０としてビットレート、音声チャンネル数や画像チャンネル数等が記述されている。
【０００７】
上記パケット３０５は、パケットスタートコード３１１で始まり、その直後にそのパケットのパラメータ情報３１２としてPTS（Presentation Time Stamp）と呼ばれる再生時間等が記述されており、これらのパラメータ情報の直後に、エレメンタリーストリーム３１３と呼ばれる実際の画像や音声等の圧縮符号化データが記述される。このパラメータ情報３１２は、エレメンタリーストリーム３１３を復号化する際に用いられる情報である。
【０００８】
上記パケットスタートコード３１１は、3バイトのパケットスタートプリフィックス（0x000001）と1バイトのストリームIDで構成され、ストリームIDは、そのパケットに含まれる圧縮符号化データの種別を表し、たとえば、0xEｘ（最後のｘは任意の値を示す）は画像パケット、0xCx、および0xDxは音声パケットを表す。
【０００９】
次に、前述したパケット中に記述される圧縮符号化データの１つである、MPEG規格に従って圧縮符号化された画像エレメンタリーストリームのデータ構造について図５を用いて説明する。
【００１０】
図５に示すように、画像エレメンタリーストリーム４０１は、シーケンス層４０２，グループオブピクチャ（以下GOPと記述する）層４０３，ピクチャ層４０４，スライス層４０５，マクロブロック層４０６，、ブロック層４０７の６つの階層で構成される。
【００１１】
１つのシーケンスは、シーケンスヘッダ４０８で始まり、その後に一連のGOP４０９が続き、シーケンスエンド４１０で完了する構造になっている。なお、シーケンスヘッダ４０８は必要に応じて先頭だけでなく、複数のGOP間の任意の位置に挿入されることがある。
【００１２】
上記GOP４０９はGOPヘッダ４１１で始まり、その後に１つ以上のピクチャ４１２が記述される。ピクチャ４１２とは、画面に表示される1枚の画像フレームのことで、種別としてはIピクチャ，Pピクチャ，Bピクチャの3種類が存在する。上記Iピクチャは自分自身の画像フレームのみのデータを用いて圧縮符号化されたフレーム内符号化画像の略であり、Pピクチャは時間的に前のビデオフレーム（IピクチャあるいはPピクチャ）を用いて圧縮符号化された順方向予測符号化画像の略であり、Bピクチャは時間的に前と後ろのビデオフレーム（IピクチャあるいはPピクチャ）を用いて圧縮符号化された双方向予測符号化画像の略である。そして、GOP４０９の独立性を保つために、GOPヘッダ４１１の直後のピクチャ４１２には必ずIピクチャが符号化されることが規定されている。
【００１３】
シーケンスヘッダ４０８、およびGOPヘッダ４１１の先頭はスタートコードが記述され、それぞれのスタートコードは前述したように最初の3バイトはスタートコードプリフィックス“０ｘ０００００１”で始まり、最後の1バイトで種別が記述されることが規定されている。それぞれのスタートコードはシーケンススタートコード（0x000001B3）、グループスタートコード（0x000001B8）と呼ばれる。
【００１４】
ピクチャ４１２は、ピクチャヘッダ４１３で始まり、スライス層４０５以下、マクロブロック層４０６、ブロック層４０７が記述される。上記ピクチャヘッダ４１３は、ピクチャスタートコード４１５（0x00000100、0xは16進表記を示す）で始まり、その直後にそのピクチャのパラメータ情報４１６としてテンポラル・リファレンス（temporal reference）と呼ばれるピクチャの表示順に従った番号等が記述される。スライスはビデオフレームの左上から始まる一連のマクロブロックで構成され、マクロブロックは基本処理単位である６つのブロックから構成される。
【００１５】
ところで、DVD-Video Recording規格では、図６（ｂ）で示されているように、一連の画像、音声等のパック５０３、５０４、５０５から成るVOBU５０２という論理単位を新たに導入しており、１つのVOBU５０２は0.4秒から1.0秒の間での画像と音声の同期再生を保証する最小単位として定義されている。このVOBU５０２内の画像圧縮符号化データは、図６(ｄ)で示されているように、シーケンスヘッダ５０６で始まり、その後に１つ以上のGOP５０７が記述される。場合によっては最後にシーケンスエンドが記述されることがある。シーケンスヘッダ５０６では、プログラム全体に共通の特徴である画像フレームサイズ、アスペクト比やフレームレート等のパラメータ情報が記述される。
【００１６】
次に上述したエントリーポイントによる再生開始時の圧縮符号化データの再生方法について説明する。図７は従来の圧縮符号化データ再生装置の構成を示すブロック図である。図７において、圧縮符号化データ再生装置は、ストリームを転送する転送装置６１０、入力されたストリームから必要なパックを抽出するシステムデコーダ６１１、画像データを復号化する画像デコーダ６１２、音声データを復号化する音声デコーダ６１３、各構成要素の動作タイミングを制御するための同期コントローラ６１４を備える。このように構成された圧縮符号化データ再生装置のエントリーポイントによる再生開始の動作について説明する。
【００１７】
図７で示されるように、転送装置６１０からエントリーポイントを含んだVOBU６１５がシステムデコーダ６１１に転送される。システムデコーダ６１１は、入力されるVOBU６１５から画像パックと音声パックを抽出して、パケットスタートコードやパラメータ情報を取り除いた画像エレメンタリーストリーム６１６と音声エレメンタリーストリーム６１７をそれぞれ画像デコーダ６１２と音声デコーダ６１３に転送し、パラメータ情報の内ＰＴＳ６１８を同期コントローラ６１４に転送する。画像デコーダ６１２は、入力される画像エレメンタリーストリーム６１６から画像フレームの復号を行う。音声デコーダ６１３は、入力される音声エレメンタリーストリーム６１７から音声フレームの復号を行う。同期コントローラ６１４は、転送装置６１０とシステムデコーダ６１１と画像デコーダ６１２と音声デコーダ６１３を制御することで、画像フレーム６１９と音声フレーム６２０との同期出力制御を行う。
【００１８】
図８は従来の圧縮符号化データ再生装置を構成する同期コントローラ６１４における、エントリーポイントによる再生開始の動作手順を示すフローチャートを記載した図である。以下、図８のフローに従って、同期コントローラ６１４の動作を詳しく説明する。
【００１９】
まず、動作が開始されると（ステップ７０１）、ステップ７０２にて、外部からのエントリーポイント値の設定とエントリーポイントによる再生開始が通知されると、転送装置６１０と各デコーダ６１１、６１２、６１３に起動要求を出す。この要求を受けて、転送装置６１０と各デコーダ６１１、６１２、６１３は起動処理を行う。
【００２０】
次いで、ステップ７０３にて、転送装置６１０にデータ供給要求を出す。この要求を受けて転送装置６１０は、エントリーポイントを含んだVOBU６１５の先頭から転送を行う。システムデコーダ６１１は、転送装置６１０からデータを受信することで分離抽出を開始する。
【００２１】
画像デコーダ６１２は、ステップ７０４にて、システムデコーダ６１１から受信した画像フレーム用PTS６１８とエントリーポイントがある特定のしきい値内で一致するまで、システムデコーダ６１１から受信した画像エレメンタリーストリームから画像フレームの復号を行う。このときは、まだ復号処理だけを行い、復号化された画像フレームを画像デコーダ６１２内の画像フレームバッファに格納するだけで、表示出力は行わない。
【００２２】
音声デコーダ６１３は、ステップ７０８にて音声フレーム同期出力要求を受信するまで復号処理は行わず、システムデコーダ６１１から受信した音声エレメンタリーストリーム６１７を音声デコーダ６１３中の音声ビットバッファに蓄える入力処理だけを行う。この入力処理では、音声用ビットバッファのオーバーフロー管理も行い、オーバーフローしそうな場合は音声用ビットバッファ内に既に蓄えられた音声エレメンタリーストリーム６１７を捨ててしまい、新しく送られてくる音声エレメンタリーストリーム６１７を音声ビットバッファに蓄えるようにする。
【００２３】
次いで、ステップ７０４にて、システムデコーダ６１１から受信した画像フレーム用PTS６１８と、エントリーポイントがある特定のしきい値内で一致した場合は、ステップ７０５に移り、画像フレーム用PTS６１８の値で、同期コントローラ６１４内の同期用クロックを初期化する。
【００２４】
次いで、ステップ７０６にて、画像デコーダ６１２に画像フレーム同期出力要求を出す。この要求を受けて画像デコーダ６１２は、ステップ７０４にて、システムデコーダ６１１から受信した画像フレーム用PTS６１８とエントリーポイントとがある特定のしきい値内で一致した画像フレームの復号と同時に表示出力も行う。この段階で、初めて画像フレームの表示出力が行われ、以後、画像デコーダ６１２は、同期コントローラ６１４による、同期用クロックとシステムデコーダ６１１から受信する画像フレーム用PTS６１８とを用いた同期制御のもとで、システムデコーダ６１１から受信する画像エレメンタリーストリームからの画像フレームの復号と表示出力を次々に行っていく。
【００２５】
次いで、ステップ７０７にて、システムデコーダ６１１から受信した音声フレーム用PTS６１８と、同期用クロックとがある特定のしきい値内で一致するまで監視続ける。この間、音声デコーダ６１３は、相変わらず入力処理のみ行い続ける。
【００２６】
また、ステップ７０７にてシステムデコーダ６１１から受信した音声フレーム用PTS６１８と、同期用クロックとがある特定のしきい値内で一致した場合、ステップ７０８に移り、音声デコーダ６１３に音声フレーム同期出力要求を出す。
【００２７】
この要求を受けて音声デコーダ６１３は、ステップ７０７にて、システムデコーダ６１１から受信した音声フレーム用PTS６１８と、同期用クロックとがある特定のしきい値内で一致した音声フレームの復号と同時に音声出力も行う。この段階で、初めて音声フレームの音声出力が行われ、以後、音声デコーダ６１３は、同期コントローラ６１４による、同期用クロックとシステムデコーダ６１１から受信する音声フレーム用PTS６１８とを用いた同期制御のもとで、システムデコーダ６１１から受信する音声エレメンタリーストリームからの音声フレームの復号と音声出力を次々に行っていく。
【００２８】
【発明が解決しようとする課題】
従来の圧縮符号化データ再生方法および装置は以上のように構成されており、上述したような方法では、ステップ７０６にて、画像フレームの表示出力が開始された後、ステップ７０８にて音声フレームの音声出力が開始されるため、明らかに画像フレームの表示出力に比べて音声フレームの音声出力が遅れるという問題点があった。
【００２９】
また、以上の方法では、プログラムストリーム中に画像符号化データが存在しなかった場合、ステップ７０４にて、システムデコーダ６１１から受信した画像フレーム用PTS６１８とエントリーポイントとがある特定のしきい値内で一致するという条件一致が起こり得ないため、次のステップ７０５以降のステップに進めず、さらに、データストリーム中にエントリーポイントに相当する音声符号化フレームが存在した場合でも、音声フレームの音声出力が開始できないという問題点があった。
【００３０】
また、以上の方法では、画像フレーム用PTS６１８が画像フレーム毎に付与されていないプログラムストリームであった場合、ステップ７０４にて、システムデコーダ６１１から受信した画像フレーム用PTS６１８とエントリーポイントとがある特定のしきい値内で一致するという条件一致を起こさせるために、このしきい値を十分大きな値にしなければならない。詳述すると、DVD-Video Recording規格では、Iピクチャには必ず画像フレーム用PTSを付与することを規定しているが、それ以外のピクチャについては特に規定していない。またIピクチャはVOBU先頭にあること以外は特に規定されていない。実際のプログラムストリームとしては、圧縮符号化効率の点からVOBU先頭にしかIピクチャが存在しないことが多く、画像フレーム用PTSもこの先頭のIピクチャしか付与されていないことが多い。したがって、このことを考慮するとVOBU 1個分をしきい値としなければならなくなるので、同期制御の単位が画像フレーム単位ではなく、VOBU単位になってしまうという問題点があった。
【００３１】
本発明は、上記のような問題点を解決するためになされたものであり、圧縮符号化データのエントリーポイントからの再生開始の際に、画像フレーム単位および音声フレーム単位の精度で、画像フレームの表示出力と音声フレームの音声出力を同じタイミングで出力することのできる圧縮符号化データ再生方法および装置を提供することを目的とする。
【００３２】
【課題を解決するための手段】
この発明の請求項１にかかる圧縮符号化データ再生方法は、一連の画像フレームをフレーム内圧縮符号化したIピクチャと、時間的に前の画像フレームとの相関を利用する順方向予測圧縮符号化により得られたPピクチャと、時間的に前の画像フレームか後ろの画像フレーム、または前後両方の画像フレームとの相関を利用する双方向予測圧縮符号化により得られたBピクチャとにより構成される画像圧縮符号化データと、一連の音声フレームを圧縮符号化した音声圧縮符号化データと、前記画像圧縮符号化データ、及び前記音声圧縮符号化データに関する付加情報とが多重化されたデータストリームに対して、外部から指定される再生開始時間に相当する画像フレーム、及び音声フレームから再生データの伝送を開始する圧縮符号化データ再生方法であって、前記データストリームから前記画像圧縮符号化データと前記音声圧縮符号化データと前記付加情報とを分離出力し、この際に画像フレーム及び音声フレームの先頭検出を行うステップと、前記先頭検出されたフレームに付加された前記付加情報の１つである再生時間情報から、再生開始時間に相当する画像フレーム、あるいは音声フレームであるかどうかの判定を行うステップと、前記再生開始時間に相当する画像フレームと判定された場合は、前記画像圧縮データから画像フレームを復号するよう復号要求を行い、また、前記再生開始時間に相当する音声フレームと判定された場合には、前記音声圧縮データから音声フレームを復号するよう復号要求を行うステップと、所定の時間が経過したか否かを判定するステップと、該所定の時間が経過し、前記画像フレーム及び前記音声フレームの両方ともの復号が完了していない場合に、外部に対して異常が発生したことを通知するステップと、前記画像フレームと前記音声フレームの両方ともが復号完了したか否かを判定するステップと、上記画像及び音声フレームの両方の復号が完了したと判定された場合に、上記復号化された画像データ、及び音声データを同期出力するように要求するステップとを含むものである。
【００３３】
また、この発明の請求項２にかかる圧縮符号化データ再生方法は、上記請求項１記載の圧縮符号化データ再生方法において、前記画像フレーム及び音声フレームの先頭検出を行うステップは、先頭検出されたフレームに対して有効な再生時間情報が付いていなかったか否か判定するステップと、有効な再生時間情報が付いていなかった場合に、前記先頭検出されたフレームが画像フレームの場合は、前記画像フレームの再生時間情報を、前記画像フレームの前記付加情報の１つである表示出力順番情報と、前記画像フレームより時間的前に復号された画像フレームの再生時間情報と表示出力順番情報より算出し、また、前記先頭検出されたフレームが音声フレームの場合は、前記音声フレームの再生時間情報を、前記音声フレームより時間的前に先頭検出された音声フレームの再生時間情報より算出するステップとを含むものである。
【００３４】
また、この発明の請求項３にかかる圧縮符号化データ再生装置は、一連の画像フレームをフレーム内圧縮符号化した I ピクチャと、時間的に前の画像フレームとの相関を利用する順方向予測圧縮符号化により得られた P ピクチャと、時間的に前の画像フレームか後ろの画像フレームまたは前後両方の画像フレームとの相関を利用する双方向予測圧縮符号化により得られた B ピクチャとにより構成される画像圧縮符号化データと、一連の音声フレームを圧縮符号化した音声圧縮符号化データと、前記画像圧縮符号化データ、及び前記音声圧縮符号化データに関する付加情報とが多重化されたデータストリームに対して、外部から指定される再生開始時間に相当する画像フレーム、及び音声フレームから再生データの伝送を開始する圧縮符号化データ再生装置であって、前記データストリームから前記画像圧縮符号化データと前記音声圧縮符号化データと前記付加情報とを分離出力し、この際に画像フレーム及び音声フレームの先頭検出を行うシステムデコーダと、前記画像圧縮データから画像フレームを復号し、表示出力する画像デコーダと、前記音声圧縮データから音声フレームを復号し、音声出力する音声デコーダと、前記システムデコーダにて先頭検出されたフレームに付加された前記付加情報の１つである再生時間情報から、再生開始時間に相当する画像フレームあるいは音声フレームであるかどうかの判定を行い、前記再生開始時間に相当する画像フレームと判定された場合は、前記画像デコーダに対して復号要求を行い、前記再生開始時間に相当する音声フレームと判定された場合は、前記音声デコーダに対して復号要求を行い、所定の時間が経過しても、前記画像フレーム及び前記音声フレームの両方ともの復号が完了していない場合に、外部に対して異常が発生したことを通知し、さらに前記画像フレームと前記音声フレームの両方ともが復号完了した時点で、前記画像デコーダ及び前記音声デコーダに対して出力要求を行う同期コントローラとを備えたものである。
【００３５】
また、この発明の請求項４にかかる圧縮符号化データ再生装置は、上記請求項３記載の圧縮符号化データ再生装置において、前記同期コントローラは、前記システムデコーダにて、先頭検出されたフレームに対して有効な再生時間情報が付いていなかった場合に、前記先頭検出されたフレームが画像フレームの場合は、前記画像フレームの再生時間情報を、前記画像フレームの前記付加情報の１つである表示出力順番情報と、前記画像フレームより時間的前に復号された画像フレームの再生時間情報と表示出力順番情報より算出し、また、前記先頭検出されたフレームが音声フレームの場合は、前記音声フレームの再生時間情報を、前記音声フレームより時間的前に先頭検出された音声フレームの再生時間情報より算出するものである。
【００４６】
【発明の実施の形態】
実施の形態１．
図1は本発明の実施の形態１による圧縮符号化データ再生装置の構成を示すブロック図である。図１に示すように、図１において、圧縮符号化データ再生装置は、ストリームを転送する転送装置１０、入力されたストリームから必要なパックを抽出するシステムデコーダ１１、画像データを復号化する画像デコーダ１２、音声データを復号化する音声デコーダ１３、各構成要素の動作タイミングを制御するための同期コントローラ１４を備える点では従来の構成と同様であるが、本発明のシステムデコーダ１１は、MPEG規格により規定されるテンポラル・リファレンス（temporal reference）を表示出力順番情報として同期コントローラ１４に供給するように構成されている点が特徴である。
【００４７】
以下、このように構成された本発明の実施の形態１による圧縮符号化データ再生装置のエントリーポイントによる再生開始の動作について説明する。
【００４８】
転送装置１０からエントリーポイントを含んだVOBU１5がシステムデコーダ１１に転送される。システムデコーダ１１は、入力されるVOBU１5から画像パックと音声パックを抽出して、パケットスタートコードやパラメータ情報を取り除いた画像エレメンタリーストリーム１６と音声エレメンタリーストリーム１７とをそれぞれ画像デコーダ１２と音声デコーダ１３に転送し、パラメータ情報の内、ＰＴＳ１８とテンポラル・リファレンス１９を同期コントローラ１４に転送する。
【００４９】
また、システムデコーダ１１は、入力されるVOBU１5から画像パックと音声パックを抽出して、パケットスタートコードやパラメータ情報を取り除いた画像エレメンタリーストリーム１６と、音声エレメンタリーストリーム１７とをそれぞれ画像デコーダ１２と音声デコーダ１３に転送する際に、圧縮符号化された画像フレームと音声フレームそれぞれの先頭の検出を行い、検出した場合はその結果を同期コントローラ１４に伝える。
【００５０】
画像デコーダ１２は、入力される画像エレメンタリーストリーム１６から画像フレームの復号を行う。音声デコーダ１３は、入力される音声エレメンタリーストリーム１７から音声フレームの復号を行う。同期コントローラ１４は、転送装置１０とシステムデコーダ１１と画像デコーダ１２と音声デコーダ１３を制御することで、画像フレーム２０と音声フレーム２１の同期出力制御を行う。
【００５１】
図２及び図３は本実施の形態１による圧縮符号化データ再生装置の同期コントローラ１４におけるエントリーポイントによる再生開始の動作手順を示すフローチャートであり、以下、図２及び図３のフローチャートに従って、同期コントローラ１４の動作を詳しく説明する。
【００５２】
まず、処理が開始されると（ステップ２０１）、ステップ２０２にて、外部からのエントリーポイント値と異常判定用時間Ｔ１の設定とエントリーポイントによる再生開始が通知され、音声フレーム出力準備完了フラグ、画像フレーム出力準備完了フラグ、音声フレーム検出フラグと画像フレーム検出フラグが“０”クリアされる。
【００５３】
次いで、ステップ２０３にて、転送装置１０と各デコーダ１１、１２、１３に起動要求を出す。この要求を受けて、転送装置１０と各デコーダ１１、１２、１３は起動処理を行う。
【００５４】
次いで、ステップ２０４にて、転送装置１０にデータ供給要求を出す。この要求を受けて転送装置１０は、エントリーポイントを含んだVOBU１５の先頭から転送を行う。システムデコーダ１１は、転送装置１０からデータを受信することで分離抽出を開始する。
【００５５】
次いで、ステップ２０５にて、ステップ２０２においての外部からのエントリーポイントによる再生開始が通知されてから、異常判定用時間Ｔ１が経過していない場合は、後述するステップ２０６に移る。逆に、異常判定用時間Ｔ１が経過している場合は、後述するステップ２２５に移る。
【００５６】
次いで、上記ステップ２０６では、音声フレーム出力準備完了フラグと画像フレーム出力準備完了フラグの両方ともが“１”かどうかの判定を行い、音声フレーム出力準備完了フラグと画像フレーム出力準備完了フラグの両方ともが“１”でない場合は、後述するステップ２０７に移る。逆に、音声フレーム出力準備完了フラグと画像フレーム出力準備完了フラグの両方ともが“１”である場合は、後述するステップ２２３に移る。
【００５７】
次いで、上記ステップ２０７では、圧縮符号化された音声フレームか画像フレームの先頭を検出した場合は、後述するステップ２０８に移る。逆に、フレームの検出できなかった場合は、上記ステップ２０５に戻る。
【００５８】
次いで、上記ステップ２０８では、上記ステップ２０７において検出された圧縮符号化されたフレームに有効なＰＴＳが付いていなかった場合は、後述するステップ２０９に移る。逆に、有効なＰＴＳが付いていた場合は、後述するステップ２１０に移る。
【００５９】
次いで、上記ステップ２０９では、上記ステップ２０７において検出された、有効なＰＴＳが付いていないフレームのＰＴＳ値を算出する。一方、ステップ２０７において検出されたフレームが音声フレームの場合は、時間的に１つ前に検出された音声フレームのＰＴＳに、音声フレームの１フレーム単位時間を加算し、上記ステップ２０７において検出されたフレームのＰＴＳを算出する。また、ステップ２０７において検出されたフレームが画像フレームの場合は、時間的に１つ前に検出された画像フレームのＰＴＳ（ＰＴＳn-1とする）とテンポラル・リファレンス（ＴＲn-1とする）と、上記ステップ２０７において検出されたフレームのテンポラル・リファレンス（ＴＲnとする）から次の数１式を用いて、ステップ２０７において検出されたフレームのＰＴＳ（ＰＴＳnとする）を算出する。
（数１）
PTSn ＝PTSn-1＋（TRn −TRn-1）×[画像フレームの１フレーム単位時間]
【００６０】
次いで、ステップ２１０では、上記ステップ２０７において検出されたフレームが、ステップ２０２において外部から設定されたエントリーポイントに相当するフレームかどうかを判定し、上記ステップ２０７において検出されたフレームが、上記ステップ２０２において外部から設定されたエントリーポイントに相当するフレームとして判定された場合は、後述するステップ２１１に移る。逆に、ステップ２０２において外部から設定されたエントリーポイントに相当するフレームとして判定されなかった場合は、後述するステップ２１６に移る。判定条件は次の条件式である数２式を用いる。つまり、この条件式が成立する場合、ステップ２０７において検出されたフレームが、ステップ２０２において外部から設定されたエントリーポイントに相当するフレームとして判定する。ただし、この条件式において、ＥＰはステップ２０２において外部から設定されたエントリーポイント値を、Ｔfmはフレーム単位時間を、ＰＴＳnはステップ２０７において検出されたフレームのＰＴＳ値を表す。さらに、Ｔfmは、ステップ２０７において検出されたフレームが音声フレームの場合は、音声フレームの１フレーム単位時間を、ステップ２０７において検出されたフレームが画像フレームの場合は、画像フレームの１フレーム単位時間を使用する。
(数２)
ＥＰ−１／２×Ｔfm ＜ ＰＴＳn ≦ ＥＰ ＋ １／２×Ｔfm
【００６１】
次いで、ステップ２１１にて、上記ステップ２０７にて検出されたフレームが音声フレームかどうかの判定を行い、上記ステップ２０７にて検出されたフレームが音声フレームの場合は、後述するステップ２１２に移る。逆に、ステップ２０７にて検出されたフレームが画像フレームの場合は、後述するステップ２１４に移る。
【００６２】
次いで、上記ステップ２１２では、音声デコーダ１３にステップ２０７にて検出された音声フレームの復号要求を出し、ステップ２１３に移る。一方、音声デコーダ１３は、同期コントローラ１４からのこの要求を受けて、ステップ２０７にて検出された音声フレームの復号を行い、復号が完了した後に音声フレーム出力準備完了フラグを“１”にセットする。
次いで、ステップ２１３にて、音声フレーム検出フラグを“１”にセットし、ステップ２０５に戻る。
【００６３】
また、ステップ２１４にて、画像デコーダ１２にステップ２０７にて検出された画像フレームの復号要求を出し、ステップ２１５に移る。一方、画像デコーダ１２は、同期コントローラ１４からのこの要求を受けて、ステップ２０７にて検出された画像フレームの復号を行い、復号が完了した後に画像フレーム出力準備完了フラグを“１”にセットする。
次いで、ステップ２１５にて、画像フレーム検出フラグを“１”にセットし、ステップ２０５に戻る。
【００６４】
また、ステップ２１６にて、ステップ２０７にて検出されたフレームが音声フレームかどうかの判定を行い、ステップ２０７にて検出されたフレームが音声フレームの場合は、ステップ２１７に移る。逆に、ステップ２０７にて検出されたフレームが画像フレームの場合は、ステップ２１９に移る。
【００６５】
次いで、上記ステップ２１７では、音声フレーム検出フラグが“０”かどうかの判定を行い、音声フレーム検出フラグが“０”である場合は、後述するステップ２１８に移る。逆に、音声フレーム検出フラグが“０”でない場合は、上記ステップ２０５に戻る。
【００６６】
次いで、ステップ２１８では、音声デコーダ１３にステップ２０７にて検出された音声フレームのスキップ要求を出し、ステップ２０５に戻る。一方、音声デコーダ１３は、同期コントローラ１４からのこの要求を受けて、ステップ２０７にて検出された音声フレームのスキップ処理を実行する。スキップ処理とは、復号処理をしないでデータを破棄する処理のことである。
【００６７】
また、ステップ２１９にて、画像フレーム検出フラグが“０”かどうかの判定を行い、画像フレーム検出フラグが“０”である場合は、ステップ２２０に移る。逆に、画像フレーム検出フラグが“０”でない場合は、ステップ２０５に戻る。
【００６８】
次いで、ステップ２２０にて、ステップ２０７にて検出されたフレームが参照画像フレーム（いわゆるIピクチャかPピクチャかのこと）であるかどうかの判定を行い、ステップ２０７にて検出されたフレームが参照画像フレームである場合は、ステップ２２１に移る。逆に、ステップ２０７にて検出されたフレームが参照画像フレームでない場合は、ステップ２２２に移る。
【００６９】
次いで、ステップ２２１にて、画像デコーダ１２にステップ２０７にて検出された画像フレームの復号要求を出し、上記ステップ２０５に戻る。一方、画像デコーダ１２は、同期コントローラ１４からのこの要求を受けて、ステップ２０７にて検出された画像フレームの復号を行う。
【００７０】
また、ステップ２２２にて、画像デコーダ１２にステップ２０７にて検出された画像フレームのスキップ要求を出し、上記ステップ２０５に戻る。一方、画像デコーダ１２は、同期コントローラ１４からのこの要求を受けて、ステップ２０７にて検出された画像フレームのスキップ処理を実行する。
【００７１】
また、ステップ２２３にて、ステップ２１４において画像デコーダ１２に復号要求を出して、その結果画像デコーダ１２によって復号された画像フレームのPTS値、あるいはステップ２１２において音声デコーダ１３に復号要求を出して、その結果音声デコーダ１３によって復号された音声フレームのPTS値で、同期コントローラ１４内の同期用クロックを初期化する。エントリーポイントによる再生開始の処理が終了した（ステップ２３２）後の圧縮符号化データの再生は、この同期用クロックを使用して音声フレームと画像フレームの同期出力制御を行う。
【００７２】
次いで、ステップ２２４にて、画像デコーダ１２と音声デコーダ１３のそれぞれに、画像フレームと音声フレームの出力要求を出し、エントリーポイントによる再生開始の処理を終了する。
【００７３】
一方、画像デコーダ１２は、ステップ２１４において復号要求を出されて、その結果復号した画像フレームの表示出力を行い、音声デコーダ１３は、ステップ２１２において復号要求を出されて、その結果復号した音声フレームの音声出力を行う。
【００７４】
また、ステップ２２５にて、音声フレーム出力準備完了フラグが“１”かどうかの判定を行い、音声フレーム出力準備完了フラグが“１”である場合は、後述するステップ２２６に移る。逆に、音声フレーム出力準備完了フラグが“１”でない場合は、後述するステップ２２８に移る。
【００７５】
次いで、ステップ２２６では、ステップ２１２において音声デコーダ１３に復号要求を出して、その結果音声デコーダ１３によって復号された音声フレームのPTS値で、同期コントローラ１４内の同期用クロックを初期化する。エントリーポイントによる再生開始の処理が終了した（ステップ２３２）後の圧縮符号化データの再生は、この同期用クロックを使用して音声フレームと画像フレームの同期出力制御を行う。
【００７６】
次いで、ステップ２２７にて、音声デコーダ１３に音声フレームの出力要求を出し、エントリーポイントによる再生開始の処理を終了する。一方、音声デコーダ１３は、ステップ２１２において復号要求を出されて、その結果復号した音声フレームの音声出力を行う。
【００７７】
また、ステップ２２８では、画像フレーム出力準備完了フラグが“１”かどうかの判定を行い、画像フレーム出力準備完了フラグが“１”である場合は、ステップ２２９に移る。逆に、画像フレーム出力準備完了フラグが“１”でない場合は、ステップ２３１に移る。
【００７８】
次いで、ステップ２２９にて、ステップ２１４において画像デコーダ１２に復号要求を出して、その結果画像デコーダ１２によって復号された画像フレームのPTS値で、同期コントローラ１４内の同期用クロックを初期化する。エントリーポイントによる再生開始の処理が終了した（ステップ２３２）後の圧縮符号化データの再生は、この同期用クロックを使用して音声フレームと画像フレームの同期出力制御を行う。
【００７９】
次いで、ステップ２３０にて、画像デコーダ１２に画像フレームの出力要求を出し、エントリーポイントによる再生開始の処理を終了する。一方、画像デコーダ１２は、ステップ２１４において復号要求を出されて、その結果復号した画像フレームの表示出力を行う。
また、ステップ２３１にて、外部に異常通知を行う。
【００８０】
以上のように、本発明の実施の形態１による圧縮符号データ再生装置によれば、テンポラル・リファレンス１９を利用して、画像フレーム単位、あるいは音声フレーム単位の精度で、外部から指定されたエントリーポイントに相当する画像フレームと音声フレームを検出し、それぞれを復号し同時に出力することでき、さらに、入力されたVOBU中にエントリーポイントに相当する画像フレームと音声フレームの一方しか存在しない場合でも、正常にエントリーポイントの再生開始を行うことができ、さらに、入力されたVOBU中にエントリーポイントに相当する画像フレームと音声フレームの両方ともが存在しない場合でも、エントリーポイントの再生開始処理で停頓させることなく、エントリーポイントの再生開始を終了させることができるので、指定された再生開始時間に相当する画像フレームと音声フレームを検出し、それぞれを復号後、同じタイミングで出力させることができる。
【００８１】
また、再生開始時間に相当する画像フレームと音声フレームとがそれぞれフレーム単位で復号化が完了されたのを確認してから同時出力するようになっているため、業務用などの高い精度が要求されるストリーム編集機において編集を行っても、確実に画像とそれに対応する音声がタイミング的なズレを伴うことなく処理を行うことができる。
なお、本実施の形態ではフレーム単位での処理を例として説明したが、画面単位での処理を行うようにすればよく、例えば、フィールド単位で処理を行う場合においても、同様の作用効果が得られることは言うまでもない。
【００８２】
【発明の効果】
以上のように、この発明の請求項１に係る圧縮符号化データ再生方法によれば、一連の画像フレームをフレーム内圧縮符号化したIピクチャと、時間的に前の画像フレームとの相関を利用する順方向予測圧縮符号化により得られたPピクチャと、時間的に前の画像フレームか後ろの画像フレーム、または前後両方の画像フレームとの相関を利用する双方向予測圧縮符号化により得られたBピクチャとにより構成される画像圧縮符号化データと、一連の音声フレームを圧縮符号化した音声圧縮符号化データと、前記画像圧縮符号化データ、及び前記音声圧縮符号化データに関する付加情報とが多重化されたデータストリームに対して、外部から指定される再生開始時間に相当する画像フレーム、及び音声フレームから再生データの伝送を開始する圧縮符号化データ再生方法であって、前記データストリームから前記画像圧縮符号化データと前記音声圧縮符号化データと前記付加情報とを分離出力し、この際に画像フレーム及び音声フレームの先頭検出を行うステップと、前記先頭検出されたフレームに付加された前記付加情報の１つである再生時間情報から、再生開始時間に相当する画像フレーム、あるいは音声フレームであるかどうかの判定を行うステップと、前記再生開始時間に相当する画像フレームと判定された場合は、前記画像圧縮データから画像フレームを復号するよう復号要求を行い、また、前記再生開始時間に相当する音声フレームと判定された場合には、前記音声圧縮データから音声フレームを復号するよう復号要求を行うステップと、所定の時間が経過したか否かを判定するステップと、該所定の時間が経過し、前記画像フレーム及び前記音声フレームの両方ともの復号が完了していない場合に、外部に対して異常が発生したことを通知するステップと、前記画像フレームと前記音声フレームの両方ともが復号完了したか否かを判定するステップと、上記画像及び音声フレームの両方の復号が完了したと判定された場合に、上記復号化された画像データ、及び音声データを同期出力するように要求するステップとを含むものとしたので、指定された再生開始時間に相当する画像フレームと音声フレームを検出し、それぞれを復号後、同じタイミングで出力させることができ、業務用などの高い精度が要求されるストリーム編集機において編集を行っても、確実に画像とそれに対応する音声がタイミング的なズレを伴うことなく処理を行うことができ、また入力されたデータストリーム中に再生開始時間に相当する画像フレームと音声フレームの両方ともが存在しない場合でも、指定された再生開始時間からの再生開始処理で停頓させることなく、この再生開始処理を終了させることができるという効果が得られる。
【００８３】
また、この発明の請求項２に係る圧縮符号化データ再生方法によれば、上記請求項１記載の圧縮符号化データ再生方法において、前記画像フレーム及び前記音声フレームの先頭検出を行うステップは、先頭検出されたフレームに対して有効な再生時間情報が付いていなかったか否か判定するステップと、有効な再生時間情報が付いていなかった場合に、前記先頭検出されたフレームが画像フレームの場合は、前記画像フレームの再生時間情報を、前記画像フレームの前記付加情報の１つである表示出力順番情報と、前記画像フレームより時間的前に復号された画像フレームの再生時間情報と表示出力順番情報より算出し、また、前記先頭検出されたフレームが音声フレームの場合は、前記音声フレームの再生時間情報を、前記音声フレームより時間的前に先頭検出された音声フレームの再生時間情報より算出するステップを含むものとしたので、画像フレーム単位、あるいは音声フレーム単位の精度で、指定された再生開始時間に相当する画像フレームと音声フレームを検出し、それぞれを復号後、同じタイミングで出力させることができるという効果が得られる。
【００８４】
また、この発明の請求項３に係る圧縮符号化データ再生装置によれば、一連の画像フレームをフレーム内圧縮符号化した I ピクチャと、時間的に前の画像フレームとの相関を利用する順方向予測圧縮符号化により得られた P ピクチャと、時間的に前の画像フレームか後ろの画像フレームまたは前後両方の画像フレームとの相関を利用する双方向予測圧縮符号化により得られた B ピクチャとにより構成される画像圧縮符号化データと、一連の音声フレームを圧縮符号化した音声圧縮符号化データと、前記画像圧縮符号化データ、及び前記音声圧縮符号化データに関する付加情報とが多重化されたデータストリームに対して、外部から指定される再生開始時間に相当する画像フレーム、及び音声フレームから再生データの伝送を開始する圧縮符号化データ再生装置であって、前記データストリームから前記画像圧縮符号化データと前記音声圧縮符号化データと前記付加情報とを分離出力し、この際に画像フレーム及び音声フレームの先頭検出を行うシステムデコーダと、前記画像圧縮データから画像フレームを復号し、表示出力する画像デコーダと、前記音声圧縮データから音声フレームを復号し、音声出力する音声デコーダと、前記システムデコーダにて先頭検出されたフレームに付加された前記付加情報の１つである再生時間情報から、再生開始時間に相当する画像フレームあるいは音声フレームであるかどうかの判定を行い、前記再生開始時間に相当する画像フレームと判定された場合は、前記画像デコーダに対して復号要求を行い、前記再生開始時間に相当する音声フレームと判定された場合は、前記音声デコーダに対して復号要求を行い、所定の時間が経過し、前記画像フレーム及び前記音声フレームの両方ともの復号が完了していない場合に、外部に対して異常が発生したことを通知し、さらに前記画像フレームと前記音声フレームの両方ともが復号完了した時点で、前記画像デコーダ及び前記音声デコーダに対して出力要求を行う同期コントローラとを備えたものとしたので、入力されたデータストリーム中に再生開始時間に相当する画像フレームと音声フレームの両方ともが存在しない場合でも、指定された再生開始時間からの再生開始処理で停頓させることなく、この再生開始処理を終了させることができるという効果が得られる。
【００８５】
また、この発明の請求項４に係る圧縮符号化データ再生装置によれば、上記請求項３記載の圧縮符号化データ再生方法において、前記同期コントローラは、前記システムデコーダにて、先頭検出されたフレームに対して有効な再生時間情報が付いていなかった場合に、前記先頭検出されたフレームが画像フレームの場合は、前記画像フレームの再生時間情報を、前記画像フレームの前記付加情報の１つである表示出力順番情報と、前記画像フレームより時間的前に復号された画像フレームの再生時間情報と表示出力順番情報より算出し、また、前記先頭検出されたフレームが音声フレームの場合は、前記音声フレームの再生時間情報を、前記音声フレームより時間的前に先頭検出された音声フレームの再生時間情報より算出するものとしたので、画像フレーム単位、あるいは音声フレーム単位の精度で、指定された再生開始時間に相当する画像フレームと音声フレームを検出し、それぞれを復号後、同じタイミングで出力させることができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による圧縮符号化データ再生装置の構成を示すブロック図である。
【図２】上記実施の形態１による圧縮符号化データ再生装置の同期コントローラの動作手順を示すフローチャートの一部を記載した図である。
【図３】上記図２のフローチャートの残りの一部を記載した図である。
【図４】MPEG規格のプログラムストリームのデータフォーマットを説明するための図である。
【図５】MPEG規格のプログラムストリームにおける画像エレメンタリーストリームのデータ構造を説明するための図である。
【図６】DVDビデオ規格により規定されるVOBUのデータの構成を説明するための図である。
【図７】従来の圧縮符号化データ再生装置の構成を示すブロック図である。
【図８】従来の圧縮符号化データ再生装置の同期コントローラの動作手順を示すフローチャートを記載した図である。
【符号の説明】
１０，６１０ 転送装置
１１，６１１ システムデコーダ
１２，６１２ 画像デコーダ
１３，６１３ 音声デコーダ
１４，６１４ 同期コントローラ
１５，５０２，６１５ ＶＯＢＵ
１６，４０１，６１６ 画像エレメンタリーストリーム
１７，６１７ 音声エレメンタリーストリーム
１８，６１８ ＰＴＳ
１９ テンポラル・リファレンス
２０，６１９ 画像フレーム
２１，６２０ 音声フレーム
３０１，５０１ プログラムストリーム
３０２ パック
３０３ パックヘッダ
３０４ システムヘッダ
３０５ パケット
３０６ プログラムエンドコード
３０７ パックスタートコード
３０８，３１０，３１２，４１６ パラメータ情報
３０９ システムヘッダスタートコード
３１１ パケットスタートコード
３１３ エレメンタリーストリーム
４０２ シーケンス層
４０３ グループオブピクチャ層
４０４ ピクチャ層
４０５ スライス層
４０６ マクロブロック層
４０７ ブロック層
４０８、５０６ シーケンスヘッダ
４０９、５０７ ＧＯＰ
４１０ シーケンスエンド
４１１ ＧＯＰヘッダ
４１２ ピクチャ
４１３ ピクチャヘッダ
４１４ ピクチャデータ
４１５ ピクチャスタートコード
５０３ ナビゲーションパック
５０４ 音声パック
５０５ 画像パック
Claims (4)
- 一連の画像フレームをフレーム内圧縮符号化したIピクチャと、時間的に前の画像フレームとの相関を利用する順方向予測圧縮符号化により得られたPピクチャと、時間的に前の画像フレームか後ろの画像フレーム、または前後両方の画像フレームとの相関を利用する双方向予測圧縮符号化により得られたBピクチャとにより構成される画像圧縮符号化データと、一連の音声フレームを圧縮符号化した音声圧縮符号化データと、前記画像圧縮符号化データ、及び前記音声圧縮符号化データに関する付加情報とが多重化されたデータストリームに対して、外部から指定される再生開始時間に相当する画像フレーム、及び音声フレームから再生データの伝送を開始する圧縮符号化データ再生方法であって、前記データストリームから前記画像圧縮符号化データと前記音声圧縮符号化データと前記付加情報とを分離出力し、この際に画像フレーム及び音声フレームの先頭検出を行うステップと、
前記先頭検出されたフレームに付加された前記付加情報の１つである再生時間情報から、再生開始時間に相当する画像フレーム、あるいは音声フレームであるかどうかの判定を行うステップと、
前記再生開始時間に相当する画像フレームと判定された場合は、前記画像圧縮データから画像フレームを復号するよう復号要求を行い、また、前記再生開始時間に相当する音声フレームと判定された場合には、前記音声圧縮データから音声フレームを復号するよう復号要求を行うステップと、
所定の時間が経過したか否かを判定するステップと、
該所定の時間が経過し、前記画像フレーム及び前記音声フレームの両方ともの復号が完了していない場合に、外部に対して異常が発生したことを通知するステップと、
前記画像フレームと前記音声フレームの両方ともが復号完了したか否かを判定するステップと、
上記画像及び音声フレームの両方の復号が完了したと判定された場合に、上記復号化された画像データ、及び音声データを同期出力するように要求するステップとを含むことを特徴とする圧縮符号化データ再生方法。 - 請求項１記載の圧縮符号化データ再生方法において、
前記画像フレーム及び音声フレームの先頭検出を行うステップは、
先頭検出されたフレームに対して有効な再生時間情報が付いていなかったか否か判定するステップと、
有効な再生時間情報が付いていなかった場合に、前記先頭検出されたフレームが画像フレームの場合は、前記画像フレームの再生時間情報を、前記画像フレームの前記付加情報の１つである表示出力順番情報と、前記画像フレームより時間的前に復号された画像フレームの再生時間情報と表示出力順番情報より算出し、また、前記先頭検出されたフレームが音声フレームの場合は、前記音声フレームの再生時間情報を、前記音声フレームより時間的前に先頭検出された音声フレームの再生時間情報より算出するステップとを含むことを特徴とする圧縮符号化データ再生方法。 - 一連の画像フレームをフレーム内圧縮符号化した I ピクチャと、時間的に前の画像フレームとの相関を利用する順方向予測圧縮符号化により得られた P ピクチャと、時間的に前の画像フレームか後ろの画像フレームまたは前後両方の画像フレームとの相関を利用する双方向予測圧縮符号化により得られた B ピクチャとにより構成される画像圧縮符号化データと、一連の音声フレームを圧縮符号化した音声圧縮符号化データと、前記画像圧縮符号化データ、及び前記音声圧縮符号化データに関する付加情報とが多重化されたデータストリームに対して、外部から指定される再生開始時間に相当する画像フレーム、及び音声フレームから再生データの伝送を開始する圧縮符号化データ再生装置であって、
前記データストリームから前記画像圧縮符号化データと前記音声圧縮符号化データと前記付加情報とを分離出力し、この際に画像フレーム及び音声フレームの先頭検出を行うシステムデコーダと、
前記画像圧縮データから画像フレームを復号し、表示出力する画像デコーダと、
前記音声圧縮データから音声フレームを復号し、音声出力する音声デコーダと、
前記システムデコーダにて先頭検出されたフレームに付加された前記付加情報 の１つである再生時間情報から、再生開始時間に相当する画像フレームあるいは音声フレームであるかどうかの判定を行い、前記再生開始時間に相当する画像フレームと判定された場合は、前記画像デコーダに対して復号要求を行い、前記再生開始時間に相当する音声フレームと判定された場合は、前記音声デコーダに対して復号要求を行い、所定の時間が経過しても、前記画像フレーム及び前記音声フレームの両方ともの復号が完了していない場合に、外部に対して異常が発生したことを通知し、さらに前記画像フレームと前記音声フレームの両方ともが復号完了した時点で、前記画像デコーダ及び前記音声デコーダに対して出力要求を行う同期コントローラとを備えたことを特徴とする圧縮符号化データ再生装置。 - 請求項３記載の圧縮符号化データ再生装置において、
前記同期コントローラは、前記システムデコーダにて、先頭検出されたフレームに対して有効な再生時間情報が付いていなかった場合に、前記先頭検出されたフレームが画像フレームの場合は、前記画像フレームの再生時間情報を、前記画像フレームの前記付加情報の１つである表示出力順番情報と、前記画像フレームより時間的前に復号された画像フレームの再生時間情報と表示出力順番情報より算出し、
また、前記先頭検出されたフレームが音声フレームの場合は、前記音声フレームの再生時間情報を、前記音声フレームより時間的前に先頭検出された音声フレームの再生時間情報より算出することを特徴とする圧縮符号化データ再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001090654A JP3542976B2 (ja) | 2000-03-29 | 2001-03-27 | 圧縮符号化データ再生方法および装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000091986 | 2000-03-29 | ||
| JP2000-91986 | 2000-03-29 | ||
| JP2001090654A JP3542976B2 (ja) | 2000-03-29 | 2001-03-27 | 圧縮符号化データ再生方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001346166A JP2001346166A (ja) | 2001-12-14 |
| JP3542976B2 true JP3542976B2 (ja) | 2004-07-14 |
Family
ID=26588760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001090654A Expired - Fee Related JP3542976B2 (ja) | 2000-03-29 | 2001-03-27 | 圧縮符号化データ再生方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3542976B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1571026A (zh) * | 2003-07-17 | 2005-01-26 | 皇家飞利浦电子股份有限公司 | 光盘刻录方法及装置 |
| JP4872253B2 (ja) * | 2004-10-12 | 2012-02-08 | ソニー株式会社 | 多重化装置、多重化方法、プログラム、および記録媒体 |
| JP4311570B2 (ja) | 2005-07-01 | 2009-08-12 | 株式会社ソニー・コンピュータエンタテインメント | 再生装置、ビデオ復号装置および同期再生方法 |
| CN101390388B (zh) * | 2006-02-27 | 2010-09-15 | 松下电器产业株式会社 | 再现装置、携带式电话机和再现方法 |
| ES2493394T3 (es) | 2006-04-03 | 2014-09-11 | Panasonic Corporation | Dispositivo inversor y acondicionador de aire |
-
2001
- 2001-03-27 JP JP2001090654A patent/JP3542976B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001346166A (ja) | 2001-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6842485B2 (en) | Method and apparatus for reproducing compressively coded data | |
| KR100694164B1 (ko) | 재생 방법 및 그 기록매체 | |
| JP4294660B2 (ja) | 再生装置、再生方法及びその記録媒体 | |
| US20080037956A1 (en) | Systems and Methods of Generating Encapsulated MPEG Program Streams | |
| US20100211706A1 (en) | Buffer control device, buffer control method, and program | |
| JP3542976B2 (ja) | 圧縮符号化データ再生方法および装置 | |
| US20050004940A1 (en) | Information processing apparatus and method | |
| JP2003101962A (ja) | 同期再生装置及び方法 | |
| JP2000331421A (ja) | 情報記録装置及び情報再生装置 | |
| JP2001078146A (ja) | 映像復号化方法，及びその装置 | |
| JP2008176918A (ja) | 再生装置、再生方法及びその記録媒体 | |
| JP2001309307A (ja) | 記録装置および方法、再生装置および方法、並びに記録媒体 | |
| JP2009218934A (ja) | 映像再生装置及び映像再生方法 | |
| JP4390666B2 (ja) | 圧縮映像データ及び圧縮音声データの復号再生方法及び復号再生装置 | |
| JP3671969B2 (ja) | データ多重方法及び多重データ復号方法 | |
| JP2001309305A (ja) | 記録装置および方法、並びに記録媒体 | |
| JP4300884B2 (ja) | デジタル信号記録再生方法、および記録再生装置 | |
| JP2004200798A (ja) | Ｍｐｅｇトランスポートストリーム生成装置、ｍｐｅｇトランスポートストリーム記録再生装置 | |
| JP2000050264A (ja) | Ｍｐｅｇビデオ再生方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040309 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040402 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080409 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090409 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100409 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110409 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120409 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |