JP2004357267A - 動画再生装置及び動画再生方法 - Google Patents
動画再生装置及び動画再生方法 Download PDFInfo
- Publication number
- JP2004357267A JP2004357267A JP2003194149A JP2003194149A JP2004357267A JP 2004357267 A JP2004357267 A JP 2004357267A JP 2003194149 A JP2003194149 A JP 2003194149A JP 2003194149 A JP2003194149 A JP 2003194149A JP 2004357267 A JP2004357267 A JP 2004357267A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- time information
- picture
- frames
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012545 processing Methods 0.000 claims description 110
- 230000006870 function Effects 0.000 abstract description 20
- 230000014509 gene expression Effects 0.000 description 56
- 238000010586 diagram Methods 0.000 description 25
- 239000000872 buffer Substances 0.000 description 21
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【構成】本発明では、動画データをフレームごとにデコードし、各フレームに付与された時刻情報に基づいて前記デコードされた動画データを同期出力する動画再生装置において、ストリーム中の所定の途中シーク位置から時間軸の正の方向に向かって最初に出現する時刻情報が付与された第1のフレームから、前記途中シーク位置から時間軸の正の方向に向かって最初に出現する時刻情報が付与されていないキーフレームの後に最初に出現する第2のフレームまでのフレーム数をカウントし、第1のフレームの時刻情報とカウントされたフレーム数とに基づいて、キーフレームの時刻情報を補間する。
【選択図】 図8
Description
【発明の属する技術分野】
本発明は、動画再生装置に関し、特に組み込み機器向けのMPEG(Moving Picture Experts Group)動画の再生装置に関するものである。
【0002】
【従来の技術】
従来の組み込み機器向けMPEG動画再生装置は、限られたメモリ空間、及び低消費電力のための低速サイクル動作のため、図1に示すように、特定の並びをもったISO制御コード(図1では制御コード構成A)によりストリームを構成する動画生成装置(図1では動画生成装置A)が生成する特定ストリームのみを対象とした再生装置となっている。このようなMPEG動画再生装置は、例えばソフトウェアにより実現されている。
【0003】
従来の組み込み機器向けMPEG動画再生装置では、特定ストリームを対象とすることにより、ISO制御コードに基づいてストリームを解析せずとも、次に到着するISO制御コードの並びを期待した構造をとることによって、ソフトウェアも、利用するリソース(演算装置、メモリ装置等)もコンパクトな構成とすることができる。
【0004】
上記のような従来の組み込み機器向けMPEG動画再生装置では、特に、1フレーム分の画像サイズ、フレームレート、M値(キーフレームの出現パターン周期)、N値(双方向参照フレームの出現パターン周期)、及び同期出力制御コードであるPTS(Presentation Time Stamp)コードの挿入間隔が、特定のパターンで記述されたストリームを対象とするものが一般的である。
【0005】
一方、ISO規格では、上記画像サイズ、フレームレート、M値、N値、PTS等のISO制御コード(パラメータ)はISO規格で規定された値域の範囲で任意に設定することが可能である。図2に示すような、上記ISO制御コードが任意の構成をもつストリームを再生する汎用MPEG動画再生装置では、ISO制御コードに基づいてストリームを解析し、解析の結果得られた情報を情報テーブルとして所定のメモリ空間にスタッキングすることにより、任意のストリームに対する再生機能を実現している。
【0006】
上述のストリームの解析、情報のスタッキングといった各々の動作を実行するには、利用するリソース(演算装置、メモリ装置等)として、より高機能なものが必要となる。このため、上述の任意ストリームに対する再生機能は一般に、パーソナルコンピュータなど、高速サイクルで動作する演算装置及びストリーム全体の情報をスタッキング可能なメモリ容量を有する実装メモリが搭載された機器において実現されている。
【0007】
尚、特許文献1には、オーディオ・ビデオ同期再生処理に関し、映像データに記載されたフレームレートを使用しないで、PTSコードを用いて映像データのフレームレートを算出する技術が開示されている。
【0008】
【特許文献1】
特開平11−355728号公報
【0009】
【発明の解決しようとする課題】
MPEG動画再生装置においてストリームの先頭からではなくその途中のシーク位置から再生を開始する特殊再生の場合、従来の方法では以下のような処理が行われる。
【0010】
まず、MPEG動画再生装置において、ストリームの先頭位置から連続するすべてのMPEG動画データを、メモリ装置でバッファリングしながら、順次デコードしていく。このとき、再生を開始しようとする所望の途中シーク位置までにデコードの結果得られた映像データ及び音声データは実際には外部に出力されずに廃棄される。
【0011】
次に、所望の途中シーク位置までデコード処理が到達した段階で、デコードの結果得られた映像データ及び音声データの外部への出力が実際に開始され、それによってストリームの途中シーク位置からの再生処理(特殊再生処理)が実行される。
【0012】
しかしながら、上述した特殊再生処理を実行するには、ストリームの先頭位置から連続するMPEG動画データをすべてデコードする必要があるため、一定の期間内に演算装置によって多くの演算処理を行い、大量のデータをメモリ装置にバッファリングさせることが必要となる。このため、利用するリソース(演算装置、メモリ装置等)としては、より高機能なものが必要となる。
【0013】
このため、特殊再生処理の機能は一般に、パーソナルコンピュータなど、高速サイクルで動作する演算装置及び大量のデータを同時にバッファリング可能なメモリ容量を有する実装メモリが搭載された機器において実現されており、限られたメモリ容量及び低速サイクル動作の演算装置しか持たない組み込み機器において実現するのは困難であった。
【0014】
本発明は上述の問題点を鑑みてなされたものであり、組み込み機器において、任意のISO制御コード構成をもつストリームに対する汎用の動作再生機能及びストリームの途中シーク位置から再生を実行する特殊再生処理機能を、低速サイクル動作の演算装置及び少ないメモリ容量で実現することが可能なMPEG動画再生装置を提供することを目的とする。
【0015】
【発明を解決するための手段】
上記の目的を達成するために、本発明の1つの側面によれば、複数のフレームから構成される動画データのストリームが入力されて、前記動画データをフレームごとにデコードし、各フレームに付与された時刻情報に基づいて前記デコードされた動画データを同期出力する動画再生装置において、前記ストリーム中の所定の途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与された第1のフレームから、前記途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与されていないキーフレームの後に最初に出現する第2のフレームまでのフレーム数をカウントし、前記第1のフレームの時刻情報と前記カウントされたフレーム数とに基づいて、前記キーフレームの時刻情報を補間する時刻情報補間処理部を備えたことを特徴とする。
【0016】
この構成により、本発明の動画再生装置では、任意の途中シーク位置から再生が開始された場合でも、カウントされたフレーム数と時刻情報の関係に基づいて時刻情報を持たないキーフレームに対して所定の時刻情報を補間しながら動作するので、不要なデコード処理やバッファリングを行うことなく特殊再生処理の機能を実現することができる。
【0017】
従って、本発明の動画再生装置は、一定期間内に必要される演算処理量が少なく、処理のためにバッファリングされるデータ量も少ないため。低速サイクル動作の演算装置及び少ないメモリ容量で実現可能であり、このためコンパクトなリソース構成しか備えない組み込み機器においても十分実現可能なものである。
【0018】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、係る実施の形態が本発明の技術的範囲を限定するものではなく、本発明の技術的範囲は特許請求の範囲とその均等物に及ぶものである。
【0019】
図3は本発明の組み込み機器向けMPEG動画再生装置を実現するための機器の構成例を示す図である。図中、1は演算装置、2はMPEG動画再生装置、3はメモリ装置、4はバッファ、5は入出力装置、6は出力装置、7はISO規格準拠のMPEG動作生成装置である。
【0020】
図3に示すように、MPEG動画の生成及び再生における処理の大まかな流れは以下のとおりである。
【0021】
まず、外部のMPEG動画生成装置7から入出力装置5内の入力デバイスを介して入力されるMPEG動画データを、メモリ装置3内のバッファ4でバッファリングしながら、演算装置1内に実装されたMPEG動画再生装置2によってデコードする。ここで、デコード処理とは、圧縮データであるMPEG動画データを伸長する処理である。
【0022】
次いで、デコード処理の結果得られた動画データ(映像データ及び音声データ)を入出力装置5の出力デバイスを介して外部の出力装置6(ディスプレイ、スピーカ等)に出力する。MPEG動画再生装置は、上述の一連の処理を連続的に実行することにより、動画再生処理を実行する。
【0023】
ここで、図4を用いてMPEG動画データの構成について説明する。図4に示すように、MPEG動画データの構成にはパケットによる多重方式が用いられている。
【0024】
各パケット中には、音声圧縮データ(オーディオフレーム)や映像圧縮データ(ビデオフレーム)などから構成された個別のストリーム(以下エレメンタリストリーム、ESと称する。)が格納されている。以下、映像データのエレメンタリストリームをビデオエレメンタリストリーム、音声データのエレメンタリストリームをオーディオエレメンタリストリームと称する。ビデオエレメンタリストリームは複数のビデオフレームから構成され、オーディオエレメンタリストリームは複数のオーディオフレームから構成される。
【0025】
各パケットのヘッダ部分(パケットヘッダ)には、そのパケット内部に含まれるエレメンタリストリームに関する個別情報や、同期出力制御のための時刻情報(PTSコード)などが格納されている。PTSコードはISO制御コードとして対応するフレームの出力タイミングを明示するものである。この時刻情報は各エレメンタリストリームをデコードして得られる映像データ及び音声データに対して、実際に画像出力を行う際に同期制御を行うために使用される。
【0026】
任意の数のパケットの集合体としてパックが定義され、各パックのヘッダ部分にはパックヘッダ及びシステムヘッダが設けられる。パックヘッダにはそのストリームの基準時間情報(SCR)やデータの圧縮レート情報などが格納される。システムヘッダにはそのパック内部に含まれるエレメンタリストリームの構成情報やビデオフレーム及びオーディオフレームに対するフレームレート情報などが格納される。
【0027】
尚、ISO規格においてはパック中のパケット構成に関する規制はない。MPEG動画データの1つのストリームは複数のパックによって構成されている。
【0028】
各エレメンタリストリームでは1フレームを1単位として扱う。1ビデオフレームはディスプレイなどの画面上に実際に出力される1画面分のデータに相当する。1ビデオフレームが表現する時間はビデオフレームに対するフレームレートに依存する。
【0029】
ビデオエレメンタリストリーム上におけるビデオフレームのピクチャタイプはフレーム毎に異なる。このピクチャタイプはI(差分なし、キーフレーム)、P(片方向差分データ)、B(双方向差分データ)の3種類から構成される。Pピクチャフレーム及びBピクチャフレームは、デコードするときに参照するフレームを必要とするため、単独のフレームで正常なデコードを実行することはできない。独立して1フレームでデコード可能なものはIピクチャフレームのみである。
【0030】
MPEG動画データの再生処理においては、双方向差分データであるBピクチャフレームが存在するため、ビデオエレメンタリストリームの内部では図5に示すように、ビデオフレームの順番に関して、実際に出力される順番とエレメンタリストリーム中に並んでいる順番とが異なる。尚、図5において、点線は参照するフレームの相互関係を表している。(尚、ISO規格ではこの並び方についての制限はない。)
このため、本発明のMPEG動画再生装置では、後述するように、これらのビデオフレームの並びを意識せず、かつ、不要なバッファリングを行わないようにするため、ストリームの途中から再生を開始する特殊再生処理の場合に、ストリーム中のIピクチャフレームを検索してデコードする機能を有する。
【0031】
ところで、ストリームの先頭からMPEG動画データを順次デコードしていく通常再生処理の場合においては、デコードして得られる映像データ及び音声データの出力タイミングを決定する際に、上述のPTSコードを参照することは必ずしも必要ない。これは、ストリームの先頭部においてMPEG画像データの先頭のパック中に示されているビデオフレーム及びオーディオフレームのフレームレートを用いて、デコードして得られる各々の映像データ及び音声データを、フレームレートにより決まる一定の間隔で各々の先頭データから順次出力すればよいためである。
【0032】
一方、ストリームの任意の途中シーク位置から再生を開始する特殊再生処理の場合においては、MPEG動画データを正常に再生するためには、第一に、上記の途中シーク位置から時間軸の正の方向に向かって最初に出現するIピクチャフレームを検索することが必要である。
【0033】
これは、Pピクチャフレーム及びBピクチャフレームの場合にはこれらのフレームが参照するフレームのデコード結果が存在しないため正常なデコード処理を行うことができず、最初にデコードするビデオフレームとしては単独のフレームで正常なデコード処理が可能なIピクチャフレームしかないためである。
【0034】
更に、正常な再生を行うためには、最初に出現するIピクチャフレームからデコードして得られる映像データと、これに対応する所定の音声データとを同期出力させることが必要である。
【0035】
図6は、ストリームの任意の途中シーク位置から再生を開始する特殊再生処理の場合において、デコードして得られる映像データとこれに対応する音声データを各々のフレームに付与されたPSTコードに基づいて同期出力させる際の制御方法を説明するための図である。
【0036】
一般に、PTSコードは映像データ及び音声データの各々のフレームに付与されるが、隣接する映像データ及び音声データの各々のパケットに付与されるPTSコードは必ずしも一致していない。そのため、本発明の特殊再生処理の場合においては、図6に示したように、各々のパケットヘッダに存在するPTSコードを基に、任意の途中シーク位置における映像データ及び音声データの時間的な相対関係を求めて、映像データ及び音声データの同期出力制御を行う。
【0037】
映像データのPTSコードは、後続するビデオエレメンタリストリーム中に含まれる先頭のビデオフレームの出力時刻を表している。先頭のビデオフレームの出力時刻Tvは、動画生成装置において映像データのPTSコードを生成する際に用いられるリファレンスクロックの周波数と付与されたPTSコードから求めることができる。
【0038】
音声データのPTSコードは、後続するオーディオエレメンタリストリーム中に含まれる先頭のオーディオフレームの出力時刻を表している。先頭のオーディオフレームの出力時刻Taは、動画生成装置において音声データのPTSコードを生成する際に用いられるリファレンスクロックの周波数と付与されたPTSコードから求めることができる。尚、一般に、動画生成装置において映像データ及び音声データのPTSコードを生成する際に参照されるリファレンスクロックの周波数は互いに異なる。
【0039】
映像データと音声データの出力タイミングは、音声データのサンプリングレートをSaとすると、以下のように決定される。
【0040】
(1)Ta<Tvのとき、
出力時刻Tvで示される先頭のビデオフレームの出力タイミングは、図6に示したように、隣接する音声データのパケット内の先頭のオーディオフレームが出力された時点から、以下に示す回数Caだけオーディオフレームがサンプル出力された時点となる。
【0041】
Ca=Sa×(Tv−Ta)
(2)Ta>Tvのとき、
図6に示したように、出力時刻Tvで示される先頭のビデオフレームが出力された時点から、以下に示す回数Caだけオーディオフレームをサンプル出力するのに要する時間だけ経過した後に、隣接する音声データのパケット内の先頭のオーディオフレームが出力される。
【0042】
Ca=Sa×(Ta−Tv)
以上のように、本発明の特殊再生処理においては、デコードして得られる映像データと対応する音声データを、各々のフレームに付与されたPSTコードに基づいて出力タイミングを調整しながら同期出力させることができる。
【0043】
尚、上述の(1)及び(2)の場合において、実際の出力処理においては、出力時刻が早い方の映像データ又は音声データが出力された後、遅い方の音声データ又は映像データが出力されるまでの期間は、先に出力されるべき映像データ又は音声データを実際には出力させないようにする処理(ミュート)を行ってもよい。具体的には、上記期間は映像データ及び音声データを図3の出力装置に供給しないように制御すればよい。
【0044】
ここで、上記説明したように、ストリームの任意の途中シーク位置から再生を開始する特殊再生処理の場合において、時間軸の正の方向に向かって最初に出現するIピクチャフレームからデコードして得られる映像データと、これに対応する所定の音声データとを同期出力させる処理を行うためには、最初に出現するIピクチャフレームに対して時刻情報(PTSコード)が付与されていることが不可欠である。
【0045】
しかしながら、ISO規格においては、PTSコードはピクチャタイプによらず任意のビデオフレームに付加されるため、必ずしも単独のフレームで正常なデコード処理が可能なIピクチャフレーム(キーフレーム)にPTSコードが付与されているとは限らない。
【0046】
PTSコードは必ずしもキーフレームに付与されているとは限らないため、本発明の動画再生装置においては、上記の特殊再生処理において、ストリームの任意の途中シーク位置から時間軸の正の方向に向かって最初に出現するキーフレームにPTSコードが付与されていない場合には、そのキーフレームに所定のPTSコードを補間する処理を行う。
【0047】
より詳細には、本発明の動画再生装置においては、ストリームの任意の途中シーク位置から時間軸の正の方向に向かって最初に出現する、PTSコードの付与されたビデオフレームから、同様に最初に出現する、PTSコードを持たないIピクチャフレームの後に最初に出現するI又はPピクチャフレームまでのフレーム数をカウントし、PTSコードの付与されたビデオフレームのPTSコードの値とカウントされたフレーム数とに基づいて、最初に出現するPTSコードを持たないキーフレーム(Iピクチャフレーム)にPTSコードを補間する。
【0048】
尚、特殊再生処理において上述のようにPTSコードを補間しない場合には、任意の途中シーク位置から時間軸の正の方向に向かって最初に出現するキーフレームが時刻情報(PTSコード)を持つ場合のみ再生処理を行い、それ以外の場合には再生処理は不可として再生処理を行わないとする方法が考えられる。しかしながら、この方法は、再生を開始する途中シーク位置に依存して再生処理が可能な場合とそうでない場合とがあるため、現実的には有用な方法とはいえない。
【0049】
以下に、本発明におけるキーフレームに対するPTSコードの補間方法を説明する。まず、説明のためにいくつかの表現式を以下のように定義する。
【0050】
列挙子を以下のように定義する。
【0051】
{A}=AAAAA・・・・=Aの任意の数の並び
[A]=A=1つのA
論理演算子を以下のように定義する。
【0052】
A|B=A又はB
関数を以下のように定義する。
【0053】
N(x)=列xの要素数
上記の各定義式に従うと、例えば以下のような関係式が成り立つ。
【0054】
p={A|B}=AABBB
N(p)=N(AABBB)=5
また、ストリーム上の任意の途中シーク位置を再生開始位置として指定し、指定された途中シーク位置から再生を開始する特殊再生処理において、指定された途中シーク位置から時間軸の正の方向に向かって最初に出現する、PTSコードの付与されたビデオフレーム(以下、補間基準フレームと称する。)のPTSコードをPTS0とする。補間基準フレームのピクチャタイプをPtとする。ストリーム上の指定された途中シーク位置から時間軸の正の方向に向かって最初に出現するキーフレーム(以下、補間対象キーフレームと称する。)のPTSコードをPTSiとする。
【0055】
次に、PtがそれぞれI、P又はBである場合に分けて、補間対象キーフレームに対するPTSコード(PTSi)の補間方法を説明する。
【0056】
(1)Pt=Iのとき、
補間基準フレームが補間対象キーフレームと一致しており、ストリーム上の指定された途中シーク位置から時間軸の正の方向に向かって最初に出現する、PTSコードの付与されたビデオフレームが最初に出現するキーフレーム(Iピクチャフレーム)そのものである。従って、以下の関係式が成り立つ。(以下、式1と称する。)
PTSi=PTS0
すなわち、補間対象キーフレームには予め所定のPTSコードが付与されており、Pt=Iの場合、PTSコードの補間処理は不要である。
【0057】
(2)Pt=Bのとき、
ビデオエレメンタリストリーム内のビデオフレームのピクチャタイプが図7に示すような並びである場合にPTS0からPTSiを算出する方法を説明する。
【0058】
図中、補間基準フレームのピクチャタイプをB0と表し、補間対象キーフレームのピクチャタイプをIiと表している。図7に示すピクチャタイプの並びは、上記定義した各々の表現式を用いると、以下のように正規化することができる。
(以下、式2と称する。)
図7に示すビデオエレメンタリストリーム内のピクチャタイプの並び順は、実際に出力される際のビデオフレームの出力順に並び替えると、図8に示すようになる。この並びは正規化された表現では以下のように表すことができる。(以下、式3と称する。)
図8及び式3から明らかなように、補間対象キーフレームIiと補間基準フレームB0との間の出力の時間差Δtは、Tをフレーム間のインターバル時間(フレームレートの逆数、例えば1/30秒)とすると、上記定義した表現式を用いることにより以下の関係式が成り立つ。(以下、式4と称する。)
また、補間対象キーフレームIiと補間基準フレームB0との間の出力の時間差Δtは各々のPTSコードの差に対応するので、以下の関係式が成り立つ。(以下、式5と称する。)
Δt=PTSi−PTS0
式4及び式5から、補間対象キーフレームIiのPTSコード(PTSi)は、補間基準フレームB0のPTSコード(PTS0)を用いて以下のように表すことができる。(式6と称する。)
PTSi=PTS0+(N({P|B})+N({B})+2)×T
一方、ビデオエレメンタリストリームの並びにおいて、補間基準フレームB0から時間軸の正の方向に向かって補間対象キーフレームIiよりも後に最初に出現するI又はPピクチャフレームまでのフレーム数をnとすると、図8から明らかなように、以下のような関係式が成り立つ。(以下、式7と称する。)
式6に式7を代入することにより、以下のような関係式が成り立つ。(以下、式8と称する。)
PTSi=PTS0+n×T
すなわち、Pt=Bの場合、補間基準フレームから時間軸の正の方向に向かって補間対象キーフレームの後に最初に出現するI又はPピクチャフレームまでの出力フレーム数をカウントすることにより、補間基準フレームのPTSコード(PTS0)とカウントされた出力フレーム数(n)とに基づいて、補間対象キーフレームのPTSコードを式8により補間することができる。
【0059】
(3)Pt=Pのとき、
ビデオエレメンタリストリーム内のビデオフレームのピクチャタイプが図9及び図10に示すような並びである場合に、それぞれPTS0からPTSiを算出する方法を説明する。図中、補間基準フレームのピクチャタイプをP0と表し、補間対象キーフレームのピクチャタイプをIiと表している。
【0060】
(3−1)
図9に示すように、補間基準フレームP0と補間対象キーフレームIiの間に少なくとも1つのPピクチャフレームが存在する並びの場合を考える。
【0061】
図9に示すピクチャタイプの並びは上記定義した各々の表現式を用いると、以下のように正規化することができる。(以下、式9と称する。)
図9に示すビデオエレメンタリストリーム内のピクチャタイプの並び順は、実際に出力される際のビデオフレームの出力順に並び替えると、図11に示すようになる。この並びは正規化された表現では以下のように表すことができる。(以下、式10と称する。)
図11及び式10から明らかなように、補間対象キーフレームIiと補間基準フレームP0との間の出力の時間差Δtは、上記定義した表現式を用いることにより以下の関係式が成り立つ。(以下、式11と称する。)
また、補間対象キーフレームIiと補間基準フレームP0との間の出力の時間差Δtは(2)の場合と同様に式5を満たすので、式5及び式11から、補間対象キーフレームIiのPTSコード(PTSi)は、補間基準フレームP0のPTSコード(PTS0)を用いて以下のように表すことができる。(式12と称する。)
PTSi=PTS0+(N({P|B})+N({B})+2)×T
一方、ビデオエレメンタリストリームの並びにおいて、補間基準フレームP0から時間軸の正の方向に向かって補間対象キーフレームIiよりも後に最初に出現するI又はPピクチャフレームまでのフレーム数をmとすると、図11から明らかなように以下のような関係式が成り立つ。(以下、式13と称する。)
ビデオエレメンタリストリームの並びにおいて、補間基準フレームP0から時間軸の正の方向に向かって最初に出現するPピクチャフレームまでのフレーム数をnとすると、図11から明らかなように以下のような関係式が成り立つ。(以下、式14と称する。)
n=N({B}’)+1
式13及び14から、以下の関係式が成り立つ。(以下、式15と称する。)
m−n=N({P|B})+N({B})+2
式15に式12を代入することにより、以下のような関係式が成り立つ。(以下、式16と称する。)
PTSi=PTS0+(m−n)×T
(3−2)
図10に示すように、補間基準フレームP0と補間対象キーフレームIiの間にPピクチャフレームが1つも存在せず、存在するフレームがすべてBピクチャフレームである並びの場合を考える。
【0062】
図10に示すピクチャタイプの並びは上記定義した各々の表現式を用いると、以下のように正規化することができる。(以下、式17と称する。)
・・・P0,{B}’,Ii,{B},[I|P],{P|B}・・・
図10に示すビデオエレメンタリストリーム内のピクチャタイプの並び順は、実際に出力される際のビデオフレームの出力順に並び替えると、図12に示すようになる。この並びは正規化された表現では以下のように表すことができる。(以下、式18と称する。)
・・・{B}’,P0,{B},Ii,{P|B},[I|P]・・・
図12及び式18から明らかなように、補間対象キーフレームIiと補間基準フレームP0との間の出力の時間差Δtは、上記定義した表現式を用いることにより以下の関係式が成り立つ。(以下、式19と称する。)
Δt=(N({B})+1)×T
また、補間対象キーフレームIiと補間基準フレームP0との間の出力の時間差Δtは(2)の場合と同様に式5を満たすので、式5及び式19から、補間対象キーフレームIiのPTSコード(PTSi)は、補間基準フレームP0のPTSコード(PTS0)を用いて以下のように表すことができる。(式20と称する。)
PTSi=PTS0+(N({B})+1)×T
一方、ビデオエレメンタリストリームの並びにおいて、補間基準フレームP0から時間軸の正の方向に向かって補間対象キーフレームIiよりも後に最初に出現するI又はPピクチャフレームまでのフレーム数をmとすると、図11から明らかなように以下のような関係式が成り立つ。(以下、式21と称する。)
ビデオエレメンタリストリームの並びにおいて、補間基準フレームP0から時間軸の正の方向に向かって最初に出現するIピクチャフレームまでのフレーム数をnとすると、図11から明らかなように以下のような関係式が成り立つ。(以下、式22と称する。)
n=N({B}’)+1
式21及び式22から以下の関係式が成り立つ。(以下、式23と称する。)m−n=N({B})+1
式20に式23を代入することにより、以下のような関係式が成り立つ。(以下、式24と称する。)
PTSi=PTS0+(m−n)×T
式24は式16と同一の式である。
【0063】
上述の(3−1)と(3−2)の計算結果をまとめると、Pt=Pの場合、図13に示したように、補間基準フレームから時間軸の正の方向に向かって最初に出現するI又はPピクチャフレームまでの出力フレーム数(n)と、補間基準フレームから補間対象キーフレームの後に最初に出現するI又はPピクチャフレームまでの出力フレーム数(m)とをカウントすることにより、補間基準フレームのPTSコード(PTS0)とカウントされた2つの出力フレーム数(n、m)とに基づいて、補間対象キーフレームのPTSコード(PTSi)を式16(式24)により補間することができる。
【0064】
以上のように、本発明のMPEG動画再生装置では、任意の途中シーク位置が再生開始位置として指定された場合でも、フレーム数とPTSコードの関係に基づいてPTSコードを持たないキーフレームに対してPTSコードを補間しながら動作するので、指定された途中シーク位置から再生を開始する特殊再生処理を容易に実行することができる。
【0065】
また、上述の(1)〜(3)のPTSコード補間処理に基づく本発明の特殊再生処理は、指定された途中シーク位置以降、各ビデオフレームに対するデコード処理は必要なく、ピクチャタイプの検索とフレーム数のカウントのみを行えばよいので、上述した従来の特殊再生処理と比べて、一定期間内に必要される演算処理量が少なく、処理のためにバッファリングされるデータ量も少ない。
【0066】
このため、本発明の特殊再生処理は、低速サイクル動作の演算装置及び少ないメモリ容量で実行することができ、このためコンパクトなリソース構成しか備えない組み込み機器においても十分実行可能なものである。
【0067】
図14は、上記説明した本発明の特殊再生処理を実行する組み込み機器向け動画再生装置の構成例を示す図である。図中、8は全体制御モジュール、9はMPEGデコーダエンジンモジュール、10は通常再生モジュール、11は特殊再生モジュール、12はキーフレーム検索・1フレームデコードモジュール、13は入出力デバイス制御モジュール、14はタイマ制御モジュールである。
【0068】
図3に示したMPEG動画再生装置2は、図14に示した複数のモジュールから構成され、各モジュールは以下のような機能を有する。
【0069】
全体制御モジュール8はMPEG動画再生装置2の全体を制御し、MPEG動画再生装置2内の各モジュール9〜14の動作の制御を行うとともに、図3に示したメモリ装置3の管理を行う。
【0070】
通常再生モジュール10は、ISO規格準拠のMPEGデコーダエンジンモジュール9を呼び出し、それによってMPEGデコーダエンジンモジュール9と協働して、入力されたMPEG動画データに対してデコード処理を行う通常再生処理を行う。
【0071】
本発明の通常再生処理は、MPEG動画データのストリームの先頭から各々のビデオフレーム及びオーディオフレームを順次デコードしていく処理であり、従来の汎用MPEG動画再生装置と同様に、ISO制御コードが任意の構成をもつストリームを再生するものである。
【0072】
このとき、通常再生モジュール10はデコードの結果得られた映像データ及び音声データを、それらのフレームに付与された時刻情報(PTSコード)に基づいて同期出力制御を行いながら出力する。
【0073】
特殊再生モジュール11は、キーフレーム検索・1フレームデコードモジュール12及びMPEGデコーダエンジンモジュール9を呼び出し、それによってストリームの任意の途中シーク位置から再生を実行する特殊再生処理を行う。この特殊再生にはコマ送りや巻き戻しといった再生動作も含まれる。
【0074】
このとき、特殊再生モジュール11は、ストリームの途中シーク位置から時間軸の正の方向に向かって検索して最初に出現する、PTSコードが付与されていないキーフレームを検索し、検索したキーフレームに対して1フレームのみのデコード処理を行うとともにPTSコードの補間処理を行う。特殊再生処理及びPTSコードの補間処理の詳細については上述したとおりである。
【0075】
キーフレーム検索・1フレームデコードモジュール12は、MPEG動画データのストリームを解析し、任意の途中シーク位置から時間軸の正の方向に向かってビデオエレメンタリストリーム内に含まれるビデオフレームのピクチャタイプのみを検索する。
【0076】
キーフレーム検索・1フレームデコードモジュール12は、最初に出現する、単独のフレームで正常なデコード処理が可能なキーフレームを検索するとともに、デコード処理を行うことなく上述のPTS補間処理のために必要なピクチャタイプのビデオフレームまでスキップ処理を行い、上記途中シーク位置からスキップしたフレーム数をカウントする。
【0077】
キーフレーム検索・1フレームデコードモジュール12は、MPEGデコーダエンジンモジュール9を呼び出すことにより、検索したキーフレームに対して1フレームのみのデコード処理を行う。
【0078】
すなわち、本発明のキーフレーム検索・1フレームデコードモジュール12では、ビデオフレームのピクチャタイプの検索のみを行い、各ビデオフレームに対するデコード処理は行わず、フレーム数の単純なカウンタ機能を持たせたのみである。
【0079】
従って、本発明のMPEG動画再生装置は、不要なデコード処理やバッファリングを行わないため、低速サイクル動作の演算装置及び少ないメモリ容量で実現可能であり、このためコンパクトなリソース構成しか備えない組み込み機器においても十分実現可能なものである。
【0080】
MPEGデコーダエンジンモジュール9はISO規格に準拠したMPEGデコーダのエンジンモジュールである。MPEGデコーダエンジンモジュール9はMPEG動画データのストリームを解析し、それによってPTSコードなどの各種の制御情報(ISO制御コード)を取得し、取得した制御情報に基づいてMPEG動画データのデコード処理を行う。MPEGデコーダエンジンモジュール9はISO制御コードが任意の構成を有するストリームをデコード可能にする。
【0081】
MPEGデコーダエンジンモジュール9は、デコードの結果得られた映像データ及び音声データを、図3に示したディスプレイやスピーカなどの出力装置6に対して、それぞれ対応した所定のデータ形式に変換して出力する。
【0082】
入出力デバイス制御モジュール13は入力デバイス及び出力デバイスに対するデバイスドライバであり、図3に示した入出力装置5の制御を行う。
【0083】
タイマ制御モジュール14はMPEG動画再生装置2の時間管理を行うモジュールであり、Real Time OS又は演算装置の提供するタイマ機構に基づいて動作する。
【0084】
図15は本発明のMPEG動画再生装置の全体の制御フローを示す図である。以下に、図15を用いて本発明のMPEG動画再生装置の制御フローの一例を説明する。
【0085】
MPEG動画データの再生処理が開始されると、全体制御モジュール8は、ステップS1でメモリ装置3内のバッファ4においてリソース(データ格納領域、作業領域等)の確保を行うとともに、ステップS2でバッファ4内の基本設定情報(バッファ内での入出力データの格納先を示す情報や、格納されたデータの有効/無効を示す情報など)を初期化する。
【0086】
ステップS3で全体制御モジュール8は、MPEG動画再生処理の全体の状態監視を行う。ステップS3において、通常再生処理や特殊再生処理といった再生処理機能を呼び出す場合はステップS4に進み、再生処理を終了させる場合はステップS8へと進む。
【0087】
ステップS4では所望の再生処理機能を呼び出すために更にステップS5へ進むとともに、再生処理の状態監視を行うためにステップS6へと進む。更に、ステップS4で全体制御モジュール8は、バッファ4内の再生状態指示情報への設定を行う。
【0088】
再生状態指示情報には、再生処理の実行/停止リクエストを指示する情報や、特殊再生処理において再生を開始する途中シーク位置のスキップの間隔及び回数を指定する情報等が含まれる。再生状態指示情報は各々の再生処理を行う場合に参照される指示情報を含む。
【0089】
ステップS5で全体制御モジュール8は指定された再生処理に応じて所定の再生処理機能を呼び出す。全体制御モジュール8は、通常再生処理を行う場合には通常再生モジュール10(通常再生処理機能)を呼び出し、特殊再生処理を行う場合には特殊再生モジュール11(特殊再生処理機能)を呼び出す。
【0090】
呼び出された通常再生モジュール10は、ISO規格準拠のMPEGデコーダエンジンモジュール9を呼び出すことにより、バッファ4内の再生状態指示情報を参照しながら上述の通常再生処理を行う。呼び出された特殊再生モジュール10は、キーフレーム検索・1フレームデコードモジュール12及びMPEGデコーダエンジンモジュール9を呼び出すことにより、バッファ4内の再生状態指示情報を参照しながら上述の特殊再生処理を行う。
【0091】
呼び出されたMPEGデコーダエンジンモジュール9は、再生処理時にストリームの解析及びデコード処理を行うことで得られた情報を、ストリーム情報、デコード情報及びエラー情報等からなる情報デーブルとしてバッファ4内に格納する。
【0092】
ステップS6で全体制御モジュール8は、バッファ4内の情報テーブルの各種情報や、リモートコントローラなどの外部指示装置からの指示を参照しながら、再生処理の状態監視を行う。呼び出した所定の再生処理機能が終了した場合や外部指示装置から特定の指示があった場合にはステップS3に戻り、それ以外はステップS7に進む。
【0093】
ステップS7で全体制御モジュール8は、ステップS7での状態監視の結果に基づいてバッファ4内の再生状態指示情報を更新させる。更新処理終了後、ステップS6に戻る。
【0094】
ステップS8で全体制御モジュール8は、バッファ4内に格納した各情報を無効化する処理を行う。例えば、バッファ4内に格納されたデータがすべて無効であることを示す制御情報をバッファ4内の所定の領域に格納することにより、無効化処理を行う。
【0095】
ステップS9で全体制御モジュール8は、メモリ装置3内のバッファ4においてリソースの開放を行い、MPEG動画データの再生処理が終了する。
【0096】
図16は本発明のMPEG動画再生装置の特殊再生処理のフローの例を示す図である。図15のステップS5で特殊再生処理機能が呼び出された場合に、図16で示した処理フローが実行される。図16で示した処理では、現在デコード処理を行っている位置から次の途中シーク位置へのスキップ処理を用いた特殊再生処理(スキップ再生処理)が行われる。
【0097】
特殊再生処理が開始されると、ステップS11で特殊再生モジュール11は、バッファ4内の再生状態指示情報に含まれるスキップ回数情報を参照することにより特殊再生処理を継続するか否かを判断する。現在までの全スキップ回数がスキップ回数情報で指定されたスキップ回数よりも少なく、特殊再生処理を継続する場合はステップS12へ進み、現在までの全スキップ回数がスキップ回数情報で指定されたスキップ回数に等しい場合は特殊再生処理を終了する。
【0098】
ステップ12で特殊再生モジュール11は、バッファ4内の再生状態指示情報に含まれるスキップ間隔情報(後述のステップS14で補正が行われた場合は補正されたスキップ間隔に基づくスキップ間隔情報)を参照し、スキップ間隔情報で指定されたスキップ間隔に基づいて現在のデコード位置から次の途中シーク位置までの間隔(現在のシーク位置からオフセット)を設定し、現在のデコード位置からスキップ間隔だけ離れた位置を次に再生を開始する途中シーク位置を指定する。
【0099】
ステップ13で特殊再生モジュール11は、バッファ4内の再生状態指示情報を参照しながら、ステップ12で決定された途中シーク位置において、キーフレームの検索、及び検索されたキーフレームに対するデコード処理及びPTSコード補間処理を行う。
【0100】
特殊再生モジュール11は、キーフレーム検索・1フレームデコードモジュール12及びMPEGデコーダエンジンモジュール9を呼び出すことによりストリームを解析し、ステップ12で決定された途中シーク位置から時間軸の正の方向に向かって最初に出現するキーフレーム(Iピクチャフレーム)を検索し、検索したキーフレームに対して1フレームのみのデコード処理を行う。
【0101】
同時に、特殊再生モジュール11は、キーフレーム検索・1フレームデコードモジュール12及びMPEGデコーダエンジンモジュール9を呼び出すことによりストリームを解析し、検索したキーフレームに対してPTSコードの補間処理を行う。PTSコードの補間処理の詳細については上述したとおりである。
【0102】
以上のように、ステップ13において、ステップ12で指定された途中シーク位置から時間軸の正の方向に向かって最初に出現するキーフレームに対して再生処理が行われる。特殊再生モジュール11は、ストリームの解析及びデコード処理を行うことで得られた情報を、ストリーム情報、デコード情報及びエラー情報等からなる情報デーブルとしてバッファ4内に格納する。
【0103】
ステップS14で特殊再生モジュール11は、バッファ4内の情報テーブルを参照しながら、必要に応じてスキップ間隔情報で指定されたスキップ間隔に対して補正を行う。補正されたスキップ間隔を新たなスキップ間隔情報として、ステップS11に戻る。
【0104】
ここで、特殊再生処理が、ストリーム中の任意の途中シーク位置から再生を開始し、その途中シーク位置以降は連続するビデオフレーム及びオーディオフレームを順次デコードしていく処理の場合には、上述の現在のデコード位置はストリームの先頭位置とし、スキップ間隔はストリームの先頭位置から途中シーク位置までの間隔とし、スキップ回数は1回と設定すればよい。
【0105】
一方、特殊再生処理が、図17に示したコマ送り及び巻き戻しといった処理の場合には、上述の現在のデコード位置は現在デコード対象となっているフレームの位置とし、スキップ間隔及びスキップ回数は全体制御モジュール8が指定する所定の間隔及び回数に設定する。
【0106】
図17は本発明のMPEG動画再生装置におけるコマ送り及び巻き戻しの特殊再生処理を説明するための図である。
【0107】
図17のコマ送り(早送り)再生処理の場合には、現在のキーフレーム(Iピクチャフレーム)の位置から時間軸の正方向に向かって、全体制御モジュール8が指定する所定のスキップ間隔(正のオフセット)だけ離れたシーク位置において、キーフレーム検索・1フレームデコードモジュールを呼び出し、そのシーク位置から時間軸の正方向に向かってキーフレームの検索を行うとともに、検索したキーフレームに対して上述のPTSコードの補間処理を行う。
【0108】
図17の巻き戻し再生処理の場合には、現在のキーフレーム(Iピクチャフレーム)の位置から時間軸の負方向に向かって、全体制御モジュールが指定する所定のスキップ間隔(負のオフセット)だけ離れたシーク位置において、キーフレーム検索・1フレームデコードモジュールを呼び出し、そのシーク位置から時間軸の正方向に向かってキーフレームの検索を行うとともに、検索したキーフレームに対して上述のPTSコードの補間処理を行う。
【0109】
以上の処理は図16のステップS12及びS13に対応し、これらの処理を繰り返し行うことにより、時間軸の正又は負の方向に向かって、ストリーム中のキーフレームのみを順次選択的に出力していく。これにより、コマ送り(早送り)再生及び巻き戻し再生が実行される。
【0110】
尚、キーフレーム検索・1フレームデコードモジュールは、ストリームの範囲を越えた場合(EOFなど)、あるいは時間軸の負の方向のオフセットを指定して得られたシーク位置から正の方向に向かって検索した結果、オフセットを指定する前の位置に戻った場合はエラーを返す仕様をもつため、実際にはこの結果に基づいてスキップ間隔を補正しながら動作させる必要がある。この処理は図18のステップ14に対応する。
【0111】
図18は、本発明に基づくMPEG動画再生装置(ソフトウェア)と、従来のMPEG動画再生装置A(パーソナルコンピュータなどで実現される汎用MPEG動画再生装置)、従来のMPEG動画再生装置B(組み込み機器に実現される特定ストリーム用MPEG動画再生装置)について、各々の機能及び利用する環境資源(演算装置、メモリ装置)を対比させて示した図である。
【0112】
図18から明らかなように、本発明のMPEG動画再生装置においては、上述のPTSコードの補間処理を用いることによって、コンパクトな環境資源(低サイクル動作の演算装置および少ないメモリ空間)により、様々なISO制御コードの構成を有する任意のストリームに対応した汎用のMPEG動画再生装置を実現することができるとともに、任意のMPEG動画データに対する特殊再生処理を実現することが可能になる。
【0113】
尚、上記説明した本発明のMPEG動画再生装置は、ハードウェアによって実現することができるとともに、ソフトウェア(プログラム)によっても実現することができるものである。
【0114】
以下に、本発明を付記としてまとめる。
(付記1)
複数のフレームから構成される動画データのストリームが入力されて、前記動画データをフレームごとにデコードし、各フレームに付与された時刻情報に基づいて前記デコードされた動画データを同期出力する動画再生装置であって、
前記ストリーム中の所定の途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与された第1のフレームから、前記途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与されていないキーフレームの後に最初に出現する第2のフレームまでのフレーム数をカウントし、前記第1のフレームの時刻情報と前記カウントされたフレーム数とに基づいて、前記キーフレームの時刻情報を補間する時刻情報補間処理部を備えたことを特徴とする動画再生装置。
(付記2)
前記キーフレームは単独のフレームで正常なデコード処理が可能なフレームであることを特徴とする付記1記載の動画再生装置。
(付記3)
前記時刻情報補間処理部は、前記第1のフレームの時刻情報と前記カウントされたフレーム数と前記フレーム間のインターバル時間とに基づいて前記キーフレームの時刻情報を補間することを特徴とする付記1記載の動画再生装置。
(付記4)
通常再生処理部及びデコーダエンジン部を更に有し、
前記通常再生処理部は、前記デコーダエンジン部を呼び出すことにより、前記動画データに対して前記ストリームの先頭から各々のフレームを順次デコードしていく通常再生処理を行うことを特徴とする付記1記載の動画再生装置。
(付記5)
前記通常再生処理は前記時刻情報の補間を行わないことを特徴とする付記4記載の動画再生装置。
(付記6)
特殊再生処理部、キーフレーム検索・1フレームデコード部及びデコーダエンジン部を更に有し、
前記特殊再生処理部は、前記キーフレーム検索・1フレームデコード部、前記デコーダエンジン部及び前記時刻情報補間処理部を呼び出すことにより、前記途中シーク位置から時間軸の正の方向に向かって検索して最初に出現する、前記時刻情報が付与されていない前記キーフレームに対して、前記時刻情報を補間しながら、1フレームのみのデコード処理を行うことを特徴とする付記1記載の動画再生装置。
(付記7)
前記キーフレーム検索・1フレームデコード部は、前記ストリームを解析し、前記途中シーク位置から時間軸の正の方向に向かって前記フレームのピクチャタイプのみを検索して最初に出現するキーフレームを検索するとともに、
デコード処理を行うことなく前記時刻情報の補間のために必要なピクチャタイプのフレームまでスキップ処理を行い、前記途中シーク位置からスキップしたフレーム数をカウントすることを特徴とする付記6記載の動画再生装置。
(付記8)
前記キーフレーム検索・1フレームデコード部は、前記デコーダエンジン部を呼び出すことにより、前記検索したキーフレームに対して1フレームのみのデコード処理を行うことを特徴とする付記7記載の動画再生装置。
(付記9)
前記動画データはMPEG動画データであり、
前記キーフレームはIピクチャフレームであり、
前記時刻情報はPTSコードであることを特徴とする付記1記載の動画再生装置。
(付記10)
前記第1のフレームがIピクチャフレームである場合には、
前記時刻情報補間処理部は前記キーフレームの時刻情報の補間を行わないことを特徴とする付記9記載の動画再生装置。
(付記11)
前記第1のフレームがBピクチャフレームである場合には、
前記第2のフレームはIピクチャフレーム又はPピクチャフレームであり、
前記時刻情報補間処理部は、最初に出現する前記時刻情報が付与されたBピクチャフレームから、前記キーフレームの後に最初に出現するIピクチャフレーム又はPピクチャフレームまでのフレーム数をカウントし、前記Bピクチャフレームの時刻情報と前記カウントされたフレーム数とに基づいて、前記キーフレームの時刻情報を補間することを特徴とする付記9記載の動画再生装置。
(付記12)
前記第1のフレームがPピクチャフレームである場合には、
前記第2のフレームはIピクチャフレーム又はPピクチャフレームであり、
前記時刻情報補間処理部は、最初に出現する前記時刻情報が付与されたPピクチャフレームから、前記キーフレームの後に最初に出現するIピクチャフレーム又はPピクチャフレームまでの第1のフレーム数をカウントするとともに、
最初に出現する前記時刻情報が付与されたPピクチャフレームから、前記時刻情報が付与されたPピクチャフレームの後に最初に出現するIピクチャフレーム又はPピクチャフレームまでの第2のフレーム数をカウントし、
前記Pピクチャフレームの時刻情報と前記カウントされた第1のフレーム数及び第2のフレーム数とに基づいて、前記キーフレームの時刻情報を補間することを特徴とする付記9記載の動画再生装置。
(付記13)
前記第1のフレームがPピクチャフレームであって、前記第1のフレームと前記キーフレームの間に少なくとも1つのPピクチャフレームが存在する場合には、
前記第2のフレームはIピクチャフレーム又はPピクチャフレームであり、
前記時刻情報補間処理部は、最初に出現する前記時刻情報が付与されたPピクチャフレームから、前記キーフレームの後に最初に出現するIピクチャフレーム又はPピクチャフレームまでの第1のフレーム数をカウントするとともに、
最初に出現する前記時刻情報が付与されたPピクチャフレームから、次に出現するPピクチャフレームまでの第2のフレーム数をカウントし、
前記Pピクチャフレームの時刻情報と前記カウントされた第1のフレーム数及び第2のフレーム数とに基づいて、前記キーフレームの時刻情報を補間することを特徴とする付記9記載の動画再生装置。
(付記14)
前記第1のフレームがPピクチャフレームであって、前記第1のフレームと前記キーフレームの間に1つもPピクチャフレームが存在しない場合には、
前記第2のフレームはIピクチャフレーム又はPピクチャフレームであり、
前記時刻情報補間処理部は、最初に出現する前記時刻情報が付与されたPピクチャフレームから、前記キーフレームの後に最初に出現するIピクチャフレーム又はPピクチャフレームまでの第1のフレーム数をカウントするとともに、
最初に出現する前記時刻情報が付与されたPピクチャフレームから前記キーフレームまでの第2のフレーム数をカウントし、
前記Pピクチャフレームの時刻情報と前記カウントされた第1のフレーム数及び第2のフレーム数とに基づいて、前記キーフレームの時刻情報を補間することを特徴とする付記9記載の動画再生装置。
(付記15)
現在のデコード位置からスキップ間隔情報で指定された所定のスキップ間隔だけ離れた位置を前記途中シーク位置として、前記キーフレームの検索を行うとともに、前記検索されたキーフレームの時刻情報を補間することにより、前記キーフレームを選択的に出力するスキップ再生処理を行うスキップ再生処理部を更に備えたことを特徴とする付記1記載の動画再生装置。
(付記16)
前記スキップ再生処理部は、前記スキップ再生処理を繰り返す回数を示すスキップ回数を指定するスキップ回数情報に基づいて、前記途中シーク位置を順次変化させながら前記スキップ再生処理を繰り返し行うことを特徴とする付記15記載の動画再生装置。
(付記17)
前記スキップ再生処理が、前記ストリーム中の所定の途中シーク位置から再生を開始し、前記途中シーク位置以降は連続する動画データのフレームを順次デコードしていく処理である場合には、
前記現在のデコード位置は前記ストリームの先頭位置であり、前記スキップ間隔は前記ストリームの先頭位置から前記途中シーク位置までの間隔であり、前記スキップ回数は1回であることを特徴とする付記16記載の動画再生装置。
(付記18)
前記スキップ再生処理が、コマ送り再生処理の場合には、
現在のデコード位置は現在のキーフレームであり、前記スキップ間隔は正のオフセットであり、
前記スキップ再生処理部は、現在のキーフレームの位置から前記正のオフセットだけ離れたシーク位置を前記途中シーク位置として、前記キーフレームの検索を行うとともに、前記検索されたキーフレームの時刻情報を補間する処理を複数回繰り返し行うことにより、前記キーフレームのみを選択的に順次出力することを特徴とする付記16記載の動画再生装置。
(付記19)
前記スキップ再生処理が、巻き戻し再生処理の場合には、
現在のデコード位置は現在のキーフレームであり、前記スキップ間隔は負のオフセットであり、
前記スキップ再生処理部は、現在のキーフレームの位置から前記負のオフセットだけ離れたシーク位置を前記途中シーク位置として、前記キーフレームの検索を行うとともに、前記検索されたキーフレームの時刻情報を補間する処理を複数回繰り返し行うことにより、前記キーフレームのみを選択的に順次出力することを特徴とする付記16記載の動画再生装置。
(付記20)
複数のフレームから構成される動画データのストリームを入力し、前記動画データをフレームごとにデコードし、各フレームに付与された時刻情報に基づいて前記デコードされた動画データを同期出力する動画再生方法であって、
前記ストリーム中の所定の途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与された第1のフレームから、前記途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与されていないキーフレームの後に最初に出現する第2のフレームまでのフレーム数をカウントし、前記第1のフレームの時刻情報と前記カウントされたフレーム数とに基づいて、前記キーフレームの時刻情報を補間する時刻情報補間処理工程を備えたことを特徴とする動画再生方法。
(付記21)
複数のフレームから構成される動画データのストリームを入力し、前記動画データをフレームごとにデコードし、各フレームに付与された時刻情報に基づいて前記デコードされた動画データを同期出力する動画再生処理をコンピュータに実行させるコンピュータプログラムであって、
前記ストリーム中の所定の途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与された第1のフレームから、前記途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与されていないキーフレームの後に最初に出現する第2のフレームまでのフレーム数をカウントし、前記第1のフレームの時刻情報と前記カウントされたフレーム数とに基づいて、前記キーフレームの時刻情報を補間する時刻情報補間処理工程を備えたことを特徴とする動画再生のためのコンピュータプログラム。
【0115】
【発明の効果】
本発明によれば、MPEG動画データのISO制御コードの形態によらず、任意のISO制御コードを有するMPEG動画データのストリームを、低サイクル動作の演算装置及び少ないメモリ容量のコンパクトな構成で再生することができるため、低消費電力動作の汎用MPEG動画再生装置を実現することが可能になるという効果を奏し、係る動画再生装置の性能向上に寄与するところが大きい。
【図面の簡単な説明】
【図1】従来の組み込み機器用MPEG動画再生装置の概略を説明するための図
【図2】従来の汎用MPEG動画再生装置の概略を説明するための図、
【図3】本発明の組み込み機器向けMPEG動画再生装置を実現するための機器の構成例を示す図、
【図4】MPEG動画データの構成を説明するための図、
【図5】ビデオエレメンタリストリーム内のビデオフレームの並びを示す図、
【図6】映像データと音声データをPSTコードに基づいて同期出力させる際の制御方法を説明するための図、
【図7】補間基準フレームがBピクチャフレームの場合のピクチャタイプの並びを示す図、
【図8】補間基準フレームがBピクチャフレームの場合のピクチャタイプの並び順とビデオフレームの実際の出力順を示す図、
【図9】補間基準フレームがPピクチャフレームの場合のピクチャタイプの第1の並びを示す図、
【図10】補間基準フレームがPピクチャフレームの場合のピクチャタイプの第2の並びを示す図、
【図11】補間基準フレームがPピクチャフレームの場合のピクチャタイプの第1の並び順とビデオフレームの実際の出力順を示す図、
【図12】補間基準フレームがBピクチャフレームの場合のピクチャタイプの第2の並び順とビデオフレームの実際の出力順を示す図、
【図13】補間基準フレームがBピクチャフレームの場合の一般化されたPTSコードの補間方法を説明するための図、
【図14】本発明の特殊再生処理を実行する組み込み機器向け動画再生装置の構成例を示す図、
【図15】本発明のMPEG動画再生装置の全体の制御フローを示す図、
【図16】本発明のMPEG動画再生装置の特殊再生処理のフローの例を示す図、
【図17】本発明のコマ送り及び巻き戻しの特殊再生処理を説明するための図、
【図18】本発明のMPEG動画再生装置と従来のMPEG動画再生装置の機能及び利用する環境資源を対比させて示した図
【符号の説明】
1 演算装置、
2 MPEG動画再生装置、
3 メモリ装置、
4 バッファ、
5 入出力装置、
6 出力装置、
7 MPEG動画生成装置、
8 全体制御モジュール
9 MPEGデコーダエンジンモジュール
10 通常再生モジュール
11 特殊再生モジュール、
12 キーフレームサーチ・1フレームデコードモジュール、
13 入出力デバイス制御モジュール、
14 タイマ制御モジュール
Claims (10)
- 複数のフレームから構成される動画データのストリームが入力されて、前記動画データをフレームごとにデコードし、各フレームに付与された時刻情報に基づいて前記デコードされた動画データを同期出力する動画再生装置であって、
前記ストリーム中の所定の途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与された第1のフレームから、前記途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与されていないキーフレームの後に最初に出現する第2のフレームまでのフレーム数をカウントし、前記第1のフレームの時刻情報と前記カウントされたフレーム数とに基づいて、前記キーフレームの時刻情報を補間する時刻情報補間処理部を備えたことを特徴とする動画再生装置。 - 特殊再生処理部、キーフレーム検索・1フレームデコード部及びデコーダエンジン部を更に有し、
前記特殊再生処理部は、前記キーフレーム検索・1フレームデコード部、前記デコーダエンジン部及び前記時刻情報補間処理部を呼び出すことにより、前記途中シーク位置から時間軸の正の方向に向かって検索して最初に出現する、前記時刻情報が付与されていない前記キーフレームに対して、前記時刻情報を補間しながら、1フレームのみのデコード処理を行うことを特徴とする請求項1記載の動画再生装置。 - 前記キーフレーム検索・1フレームデコード部は、前記ストリームを解析し、前記途中シーク位置から時間軸の正の方向に向かって前記フレームのピクチャタイプのみを検索して最初に出現するキーフレームを検索するとともに、
デコード処理を行うことなく前記時刻情報の補間のために必要なピクチャタイプのフレームまでスキップ処理を行い、前記途中シーク位置からスキップしたフレーム数をカウントすることを特徴とする請求項2記載の動画再生装置。 - 前記キーフレーム検索・1フレームデコード部は、前記デコーダエンジン部を呼び出すことにより、前記検索したキーフレームに対して1フレームのみのデコード処理を行うことを特徴とする請求項3記載の動画再生装置。
- 前記動画データはMPEG動画データであり、
前記キーフレームはIピクチャフレームであり、
前記時刻情報はPTSコードであることを特徴とする請求項1記載の動画再生装置。 - 前記第1のフレームがBピクチャフレームである場合には、
前記第2のフレームはIピクチャフレーム又はPピクチャフレームであり、
前記時刻情報補間処理部は、最初に出現する前記時刻情報が付与されたBピクチャフレームから、前記キーフレームの後に最初に出現するIピクチャフレーム又はPピクチャフレームまでのフレーム数をカウントし、前記Bピクチャフレームの時刻情報と前記カウントされたフレーム数とに基づいて、前記キーフレームの時刻情報を補間することを特徴とする請求項5記載の動画再生装置。 - 前記第1のフレームがPピクチャフレームである場合には、
前記第2のフレームはIピクチャフレーム又はPピクチャフレームであり、
前記時刻情報補間処理部は、最初に出現する前記時刻情報が付与されたPピクチャフレームから、前記キーフレームの後に最初に出現するIピクチャフレーム又はPピクチャフレームまでの第1のフレーム数をカウントするとともに、
最初に出現する前記時刻情報が付与されたPピクチャフレームから、前記時刻情報が付与されたPピクチャフレームの後に最初に出現するIピクチャフレーム又はPピクチャフレームまでの第2のフレーム数をカウントし、
前記Pピクチャフレームの時刻情報と前記カウントされた第1のフレーム数及び第2のフレーム数とに基づいて、前記キーフレームの時刻情報を補間することを特徴とする請求項5記載の動画再生装置。 - 現在のデコード位置からスキップ間隔情報で指定された所定のスキップ間隔だけ離れた位置を前記途中シーク位置として、前記キーフレームの検索を行うとともに、前記検索されたキーフレームの時刻情報を補間することにより、前記キーフレームを選択的に出力するスキップ再生処理を行うスキップ再生処理部を更に備えたことを特徴とする請求項1記載の動画再生装置。
- 前記スキップ再生処理部は、前記特殊再生処理を繰り返す回数を示すスキップ回数を指定するスキップ回数情報に基づいて、前記途中シーク位置を順次変化させながら前記スキップ再生処理を繰り返し行うことを特徴とする請求項8記載の動画再生装置。
- 複数のフレームから構成される動画データのストリームを入力し、前記動画データをフレームごとにデコードし、各フレームに付与された時刻情報に基づいて前記デコードされた動画データを同期出力する動画再生方法であって、
前記ストリーム中の所定の途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与された第1のフレームから、前記途中シーク位置から時間軸の正の方向に向かって最初に出現する前記時刻情報が付与されていないキーフレームの後に最初に出現する第2のフレームまでのフレーム数をカウントし、前記第1のフレームの時刻情報と前記カウントされたフレーム数とに基づいて、前記キーフレームの時刻情報を補間する時刻情報補間処理工程を備えたことを特徴とする動画再生方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003194149A JP4010284B2 (ja) | 2002-07-31 | 2003-07-09 | 動画再生装置及び動画再生方法 |
US10/629,739 US7352959B2 (en) | 2002-07-31 | 2003-07-30 | Moving picture reproducing device and moving picture reproducing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002224100 | 2002-07-31 | ||
JP2003097496 | 2003-03-31 | ||
JP2003194149A JP4010284B2 (ja) | 2002-07-31 | 2003-07-09 | 動画再生装置及び動画再生方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004357267A true JP2004357267A (ja) | 2004-12-16 |
JP4010284B2 JP4010284B2 (ja) | 2007-11-21 |
Family
ID=31191877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003194149A Expired - Fee Related JP4010284B2 (ja) | 2002-07-31 | 2003-07-09 | 動画再生装置及び動画再生方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7352959B2 (ja) |
JP (1) | JP4010284B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009028038A1 (ja) * | 2007-08-27 | 2009-03-05 | Fujitsu Limited | デコーダ装置、およびデコード方法 |
JP2012142874A (ja) * | 2011-01-06 | 2012-07-26 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3827161B2 (ja) * | 2004-05-12 | 2006-09-27 | 船井電機株式会社 | 光ディスク装置 |
CN100466712C (zh) * | 2004-10-26 | 2009-03-04 | 索尼株式会社 | 再现设备、数据处理***以及再现方法 |
EP1878233A2 (en) * | 2005-04-26 | 2008-01-16 | Koninklijke Philips Electronics N.V. | A device for and a method of processing an encrypted data stream in a cryptographic system |
KR101168612B1 (ko) * | 2005-10-11 | 2012-07-30 | 삼성전자주식회사 | 디지털 방송수신기의 동기장치 및 방법 |
JP2007318615A (ja) * | 2006-05-29 | 2007-12-06 | Toshiba Corp | 動画再生装置、動画再生方法およびプログラム |
US8331459B2 (en) * | 2007-09-26 | 2012-12-11 | Intel Corporation | Method and apparatus for smooth digital media playback |
US9674539B2 (en) * | 2013-03-14 | 2017-06-06 | Infocus Corporation | Concurrent decompression of multiple video streams with constrained decompression resources |
CN103500461A (zh) * | 2013-09-18 | 2014-01-08 | 珠海金山网络游戏科技有限公司 | 一种减少实时插值计算量的动画生成方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1988006775A1 (en) * | 1987-02-27 | 1988-09-07 | Logicblend Limited | Improvements in interactive video systems |
US6091884A (en) * | 1991-08-19 | 2000-07-18 | Index Systems, Inc. | Enhancing operations of video tape cassette players |
US5819004A (en) * | 1995-05-08 | 1998-10-06 | Kabushiki Kaisha Toshiba | Method and system for a user to manually alter the quality of previously encoded video frames |
US5724475A (en) * | 1995-05-18 | 1998-03-03 | Kirsten; Jeff P. | Compressed digital video reload and playback system |
JP3480777B2 (ja) * | 1996-03-15 | 2003-12-22 | パイオニア株式会社 | 情報記録装置及び情報記録方法並びに情報再生装置及び情報再生方法 |
CN1145965C (zh) * | 1996-11-13 | 2004-04-14 | 松下电器产业株式会社 | 用于生成存储在信息记录盘上的图象位流设备和方法 |
KR100321839B1 (ko) * | 1997-04-02 | 2002-03-08 | 포만 제프리 엘 | 비디오내로하이퍼링크를통합하는방법및장치 |
US6564009B2 (en) * | 1997-05-19 | 2003-05-13 | Sony Corporation | Apparatus for recording and/or reproducing data onto and/or from an optical disk and method thereof |
JP4303798B2 (ja) * | 1997-09-11 | 2009-07-29 | ソニー株式会社 | 撮像装置、編集装置及び編集システム |
JP3104681B2 (ja) | 1998-06-10 | 2000-10-30 | 日本電気株式会社 | オーディオ・ビデオ同期再生方法および装置 |
-
2003
- 2003-07-09 JP JP2003194149A patent/JP4010284B2/ja not_active Expired - Fee Related
- 2003-07-30 US US10/629,739 patent/US7352959B2/en active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009028038A1 (ja) * | 2007-08-27 | 2009-03-05 | Fujitsu Limited | デコーダ装置、およびデコード方法 |
KR101132043B1 (ko) | 2007-08-27 | 2012-04-02 | 후지쯔 가부시끼가이샤 | 디코더 장치 및 디코드 방법 |
JP4983923B2 (ja) * | 2007-08-27 | 2012-07-25 | 富士通株式会社 | デコーダ装置、およびデコード方法 |
US8526501B2 (en) | 2007-08-27 | 2013-09-03 | Fujitsu Limited | Decoder and decoding method based on video and audio time information |
JP2012142874A (ja) * | 2011-01-06 | 2012-07-26 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US7352959B2 (en) | 2008-04-01 |
JP4010284B2 (ja) | 2007-11-21 |
US20040022525A1 (en) | 2004-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN2927556Y (zh) | 视频和音频重放设备、输出时刻改变设备 | |
CN110139148B (zh) | 一种视频切换清晰度的方法及相关装置 | |
EP0895427A2 (en) | Audio-video synchronizing | |
WO2017067489A1 (zh) | 机顶盒音视频同步的方法及装置、存储介质 | |
JP4010284B2 (ja) | 動画再生装置及び動画再生方法 | |
JP2950376B2 (ja) | ピクチャーデコーディング同期化回路及びその方法 | |
JP4511952B2 (ja) | メディア再生装置 | |
JP2001204032A (ja) | Mpeg復号装置 | |
JP3556381B2 (ja) | 情報多重化装置 | |
US6999090B2 (en) | Data processing apparatus, data processing method, information storing medium, and computer program | |
JP6776126B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2004096474A (ja) | 動画データの再生方法及び再生装置 | |
JP3907589B2 (ja) | データ作成装置、データ再生装置 | |
JP2001285877A (ja) | 圧縮符号化データ復号装置および復号方法 | |
JP3059151B1 (ja) | デ―タストリ―ム切替装置及びデ―タストリ―ム切替方法 | |
JP2004128870A (ja) | 映像復号出力装置 | |
JPH11331842A (ja) | 画像データ圧縮装置及びその方法 | |
JP2000244913A (ja) | Mpegデコーダ、mpegシステムデコーダ及びmpegビデオデコーダ | |
US20090074376A1 (en) | Apparatus and method for efficient av synchronization | |
JPH11355722A (ja) | 高能率符号化データの多重化方法及び多重化装置 | |
JP2007228502A (ja) | 動画データの同期再生装置 | |
JP3906610B2 (ja) | データ再生装置及びデータ再生方法 | |
JPH09149411A (ja) | 復号化装置 | |
JP2006229484A (ja) | 画像処理方法およびその装置 | |
CN115988268A (zh) | 视频变速控制方法、***、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070814 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070827 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4010284 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |