JP4729164B2 - 画像シーケンス符号化方法、及び、データ記憶媒体 - Google Patents
画像シーケンス符号化方法、及び、データ記憶媒体 Download PDFInfo
- Publication number
- JP4729164B2 JP4729164B2 JP2000317393A JP2000317393A JP4729164B2 JP 4729164 B2 JP4729164 B2 JP 4729164B2 JP 2000317393 A JP2000317393 A JP 2000317393A JP 2000317393 A JP2000317393 A JP 2000317393A JP 4729164 B2 JP4729164 B2 JP 4729164B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- pixels
- combined
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像シーケンスを符号化する方法、並びに、電子機器で使用する対応したサブピクチャデータユニットに関する。
【０００２】
また、本発明は、上述のサブピクチャデータユニットが蓄積されるデータ記憶媒体に関する。
【０００３】
【従来の技術】
多数の画像符号化方法がビデオ技術の分野で知られている。ビデオ技術における画像シーケンスの符号化方法は、DVD機器用のいわゆるサブピクチャデータユニットを生成するため使用される画像符号化方法に基づく。このようなDVD機器は既に市販されており、各DVD機器は、サブピクチャデータユニットを処理することができるサブピクチャ復号化装置（すなわち、サブピクチャデコーダ）を具備する。ここで使用される画像符号化方法は、たとえば、文献：DVD Standard "DVD Specification for read-only disc", part 3, video specification, Version 1.0, August 1996, Section 5.4.3 Sub-picture unit (SPU)に記載されている。サブピクチャデコーダの詳細な説明は、たとえば、欧州特許出願EP-A-0 725 541に記載されている。
【０００４】
DVD規格の上記文献DVD Standardによると、サブピクチャデータユニットの主要なアプリケーションは、たとえば、テレビジョン画面上のサブタイトルの生成である。サブタイトルは、画像のどこにでも重ね合わせることができ、一般的には、画像の下方縁で重ね合わされる。一つのサブタイトルごとのビットマップデータがサブピクチャデータユニットSPUに蓄積される。画面上のサブタイトルの位置を決め、多数の表示特性、特に、色、透明度などを決めるため、簡単なグラフィックコントロール命令がDVD規格に明記されている。したがって、巧みなプログラミングによって、サブピクチャデータユニットは、原理的に、たとえば、制御命令、アニメーション画像、及び、スクリーンセーバーなどの他の目的のためにも使用される。
【０００５】
DVD規格によるサブピクチャデータユニットの基本部分は、表示されるべきテキストのビットマップデータ用のデータフィールドを含み、より一般的な形式では、表示されるべき対象と、いわゆる表示制御命令シーケンスが格納される副次部分とを含む。副次部分は、記憶された対象の表示場所、表示時刻及び表示特性を定める。さらに、多数の対象がビットマップデータ用のデータフィールドに順番に記憶され、個々の対象が異なる時刻に呼び出される。多数の対象をサブピクチャデータユニットに収容する場合、DVD規格は、各対象に対応した領域が対象毎のビットマップデータフィールドに準備されなければならない旨を規定する。ビットマップデータは、画像圧縮を実現し、メモリ空間を節約するため、ランレングス符号化されている。DVD規格では、テキストが既存の表示制御命令セットを用いて重なり合ったサブピクチャ窓内で垂直方向に通り抜けることができる方法について警告がなされているが、テキストがサブピクチャ窓内で水平方向に通り抜けさせることができる方法についての情報は得られない。テキストを水平方向に通り抜けさせることは、屡々、流れテロップと称され、一部のテレビジョン番組では頻繁に見ることができる。一例として、NTVのようなテレビジョン番組プロバイダが株式市場の株価を流し続けるプロセスを挙げることができる。
【０００６】
当業者は、別個のサブピクチャデータユニットがこのような流れテロップの個別のフレームに対し記憶されるか、或いは、流れテロップの多数のフェーズに対し一つのサブピクチャデータユニットが設けられるように、動きの個別のフェーズ毎に対応した多数のビットマップを含む指定されたサブピクチャデータユニットを使用し、このサブピクチャデータユニットを個々に呼び出すことにより、このような流れテロップをDVD機器でも直ぐに使用することができるようになる。このような解決法は、非常にメモリ集約的であることが容易に認められる。いずれの場合でも、サブピクチャデータユニットのサイズを53,220バイトに制限されることにより、多数のフェーズに対し一つのサブピクチャデータユニットを設ける第２の解決法は、流れテロップがかなり短い場合に限り実施可能である。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、DVD規格に規定されている表示制御命令と、サブピクチャデータユニットを構築する規則とに基づいて、メモリを効率的に使用する一方で、サブピクチャ表示窓内で対象の水平方向の動きを許容する、画像シーケンスを符号化する方法を提供することである。
【０００８】
【課題を解決するための手段】
上記本発明の目的は、独立した請求項１に記載された事項によって達成される。
【０００９】
対応したサブピクチャデータユニットを具備するデータ記憶媒体は、独立した請求項９に記載されている。
【００１０】
本発明の画像シーケンス符号化方法によれば、対象画像は、垂直方向のカットによって、同一サイズの多数のセグメントに分割される。次に、２個の隣接したセグメントは結合され、結合画素は、結合されるべき部分内の対応した画素から生成され、結合された画素には、対応した画素のペア内での画素値の寄与度に対応した固有の型が割り当てられる。さらに、結合された画像の小部分は、セクション毎にランレングス符号化される。セクション毎のランレングス符号化は、流れテロップ／対象のセクション内の合成された画素毎に別個のランレングス符号化が行われることによって実現される。ディテールのサイズは、動きのフェーズ中に対象を水平方向に動かす画素数に対応する。すなわち、たとえば、動きのフェーズ毎に対象を左から右に８画素ずつ動かすため、別々のランレングス符号化が対象ディテールの全てのラインに対し８画素毎に行われる必要がある。それぞれの対象ディテールに適切にポインタを配置することにより、画像シーケンスの復号化中に、表示機器の窓に出力されたときに、対象が窓に対して水平方向に移動しているとの印象を視聴者に与える画像シーケンスが簡単に生成される。対象画像の隣接したセグメントの特定の型の結合符号化と、特定の型のランレングス符号化は、結果として得られるサブピクチャデータユニットのメモリ必要容量を著しく低減させる。特に、動きのフェーズ毎に専用ビットマップを設ける必要が無くなり、垂直方向カットによって生成されたセグメント数と略同数のかなり数が減少したビットマップだけが設けられる。この結果として、結合対象画像部分におけるランレングス符号語はやや増加するが、要求されるビットマップ領域が著しく削減されるので、必要とされるメモリ空間は非常に削減される。
【００１１】
従属請求項に係る発明は、請求項１に係る方法の有利な展開及び改良を行う。
【００１２】
対象セグメントのサイズが表示されるべき対象ディテールのサイズに対応する処理は最適化プロセスであり、最適化プロセスを用いることにより、セグメントの数は少数に制限される。
【００１３】
結合されるべき二つの画像部分が、結合前に最初に、相対的に垂直方向で２画素だけシフトされる処理は、ライン中のランレングス符号化の開始のポインタを動かした後、二つの結合画像小部分の下方の小部分及び上方の小部分の画素が相互に後に続くとき、正確な画素が常に継ぎ目無く連結されることを保証する。かくして、画質は最適化される。
【００１４】
結合された画像小部分が、先に結合された画像小部分及び後に結合された画像小部分に対し、対象が水平方向に各段階で動かされる画素数分だけ動かされる処理は、必要なメモリを更に削減する点で有利である。特に、この処理の利点は、個々のビットマップ領域内での冗長な場所が除去されることに依拠する。
【００１５】
本発明の画像シーケンス符号化方法にしたがって符号化された画像シーケンスを収容する電子機器で使用するための本発明によるサブピクチャデータユニットは、画像シーケンス中の個々の画像の画素値のためのデータ領域と、表示制御命令シーケンスのための命令領域とを含むような基本構造を有する。本発明は、表示制御命令シーケンスが、対象の水平方向の動きを生じさせるため設けられ、各表示制御命令シーケンスは一つの命令を収容し、これにより、画像に対するランレングス符号化の開始は、対象の所望の動きに対応した画素数分だけ動かされる。DVD規格に規定された表示制御命令SET_DSPXAは、この目的のため有利に使用することができる。結合画素が評価されるべき方法を定義する命令は、同様に、画像を再生するための表示制御命令シーケンス毎に設けられる。
【００１６】
DVDサブピクチャデータユニットの場合に、DVD規格に定義された命令SET_CONTR又はCHG_COLONは、この目的のため使用できる。
【００１７】
最後に、本発明の範囲には、本発明にしたがって蓄積されたサブピクチャデータを格納するデータ記憶媒体、特に、DVDディスクが含まれる。
【００１８】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施例を詳細に説明する。
【００１９】
DVD機器の実施例を使用して本発明を説明する。図１には、通常のTVセット１０と、DVDプレーヤ１１とが示される。DVDプレーヤ１１は、たとえば、Scartケーブルを用いてTVセット１０に接続される。DVDプレーヤ１１はアナログテレビジョン信号を生成し、このアナログテレビジョン信号がTVセット１０に供給される。また、表示窓１２には、流れテロップが重ねられる。流れテロップは、表示窓１２内で左から右へ、或いは、右から左へ移動する。同図の点線は、流れテロップが表示窓内にセクション毎に表示されることを表す。この例では、流れテロップ全体は非常に長いので、画面に完全には表示できない。DVD規格によると、サブタイトルは、主として表示窓１２内のテレビジョン画像の上に重ねられる。この目的のため、サブタイトル毎に一つのサブピクチャデータユニット(SPU)が使用される。
【００２０】
図２には、画像データユニットの従来のデータフォーマットが概略的に示されている。サブピクチャデータユニットには、ヘッダ部(SPUH)用データフィールド２０と、圧縮画素データ(PXD)用データフィールド２１と、表示制御命令シーケンス(SP_DCSQT)用データフィールド２２とが含まれる。いわゆる表示制御命令シーケンス(SP_DCSQ)は、データフィールド２２に蓄積される。上記の用語並びに種々の表示制御命令は、当初、DVD規格（１．０版）に規定されているので、本発明の開示のために詳細を説明する必要はない。しかし、本発明の開示のためにDVD規格を引用する。
【００２１】
データフィールド２１内の画素データは、表示されたサブピクチャの表示パターンを支配する。サブピクチャのライン内の画素毎に、２ビット長のデータ語は、この画素がバックグラウンド画素、若しくは、フォアグラウンド画素（パターン画素）であるか、又は、この画素が第１の方法で強調されるべきか（強調１画素）、若しくは、第２の方法で強調されるべきか（強調２画素）を指定するため使用される。これらの４種類の画素のタイプは２ビットで指定される。本例の場合、詳細に説明すると、バイナリ値の意味は以下の通りである。
００＝バックグラウンド画素
０１＝フォアグラウンド画素
１０＝強調１で表示された画素
１１＝強調２で表示された画素
本例の場合、個々の画素データ項目は、メモリに未加工の形式で蓄積されるのではなく、圧縮形式で蓄積されることに注意する必要がある。ランレングス符号化は、同様に、DVD規格（第１．０版）に規定されている。このDVD規格は、ランレングス符号化のため７種類の符号化規則を定義する。本例の場合、ランレングス符号化は、表示されるべきフィールド若しくはサブピクチャの１ラインが個々にランレングス符号化されるように働く。個々の規則について、ここでは、これ以上詳細には説明しないが、上述のDVD規格を参照することによって十分に明らかになる。ランレングス符号化は、単純な画像内容に対しかなり大きい圧縮の程度を達成する。
【００２２】
以下、流れテロップの例を用いて、本発明による画像符号化方法を説明する。本発明による方法は、もちろん、流れテロップを作成するためだけに使用されるのではなく、任意の所望のその他の対象を窓にセクション毎に表示するため使用され得るので、窓の水平方向に関する対象とその窓の相対運動を識別することが可能である。最初に、対象、すなわち、本例の場合に流れテロップ全体は、垂直方向のカットによって分割される。各部分は、本例の場合、同じサイズに成るように選択される。部分のサイズは、流れテロップが後で重ねられる表示窓のサイズに対応する。これは、特に、水平方向の各部分の広がりに関して成り立つ。流れテロップがセグメントに分割された後、二つの隣接したセグメントが互いに結合される。このプロセスは、より詳細に図１０に示される。図１０の上側部分から、流れテロップが９個のセグメントに分割されることがわかる。９番目のセグメントは、先行のセグメントと同じサイズではなくなるので、同じサイズのセグメントが同様に生成されるように、バックグラウンド画素を詰め込むことによって人工的に拡大されている。最初の２個の画像セグメントが互いに結合される。これにより、結合画像小部分K1が得られる。次に、２番目と３番目のセグメントが互いに結合され、結合小部分K2が得られる。さらに、３番目と４番目のセグメントが互いに結合され、結合小部分K3が得られ、最終的に、流れテロップの８番目と９番目のセグメントが最後の結合小部分K8として互いに結合されるまで続けられる。
【００２３】
本例の場合、２個の対象画像セグメントは図３に示されるように結合される。図３において、一方の対象画像セグメントは、文字Hを含み、他方の対象画像セグメントは、文字Aを含む。これらの文字は、流れテロップ中で一方が他方の後に書き込まれる。結合されるべき２個の画像部分は、図３の上側に示され、他方は図３の左側に示されている。文字の画素は、それぞれ、＊によってマークされ、それぞれの画像セグメントのバックグラウンドの画素ドットによって示される。かくして、本例の場合に、画素は、二つの値、すなわち、オン状態に対応して画素が明るくなるよう刺激されるか、或いは、オフ状態に対応して画素が明るくならないかだけを表す値を取ることが想定される。二つの例示的な画像部分は、９×８画素を含む。これらの画像小部分が結合されるとき、一方の画像小部分が他方の画像小部分の上に重ねられたと考えることができるので、画素は重ね合わされる。本例の場合、二つの画像小部分は、一方が他方の上に一致するように重ねられるのではなく、垂直方向に関して相対的に２画素ずつシフトされる。これは、後で詳しく説明するように、結合された画像小部分が引き続き復号化される際に、正しいラインに出力されることを保証するために必要である。画像小部分の重ね合わせは、図３においてダッシュで示されている。一方が他方の上に重ねられた画素は、以下の規則に従って結合される。
【００２４】
結合される画素が共にオフ状態であるならば、結合画像小部分内のこの位置における結合画素には画素型Ａが割り当てられる。
【００２５】
結合される画素が共にオン状態であるならば、この位置における結合画素には画素型Ｂが割り当てられる。
【００２６】
下側の画素がオン状態の値をとり、上に重ねられる画素がオフ状態の値をとるならば、この位置における結合画素は画素型Ｃであると宣言される。
【００２７】
下側の画素がオフ状態の値をとり、上に重ねられる画素がオン状態の値をとるならば、この位置における結合画素には画素型Ｄが割り当てられる。
【００２８】
図３の下側には、４種類の画素型Ａ〜Ｄが、DVD規格に規定されたバックグラウンド画素型(Background Pixel)、パターン画素型(Pattern Pixel)、強調１画素型(Emphasis-1 Pixel)、及び、強調２画素型(Emphasis-2 Pixel)に割り付けられる態様が示されている。画素型Ａはバックグラウンド画素になり、画素型Ｂはパターン画素になり、画素型Ｃは強調１画素になり、画素型Ｄは強調２画素になる。対応した画素型は図３の下方部に示される。この割付プロセスは、本発明を実施する目的のための一例に過ぎないことに注意する必要がある。４通りの画素型の可能な順列の観点から、４！＝２４種類の割付が可能である。
【００２９】
このようにして結合された画像小部分は完全であり、DVD規格に準拠したサブピクチャデータユニットを生成するため、ランレングス符号化される。しかし、本発明によれば、結合画像小部分の完全なラインに対するメモリ必要容量を最適化するため、ランレングス符号化は行われず、ラインは、図４を参照して詳細に説明される特定の型のランレングス符号化を用いて処理される。
【００３０】
図４には、結合画像小部分の一例が示されている。図４の下側には、ランレングス符号化がメモリ必要容量に関して最適化された状況で例示されたラインに対するランレングス符号語が示されている。ランレングス符号語は、同じ型（Ｂ又はＰ）の画素の連なり毎に形成されることがわかる。しかし、本発明によれば、このランレングス符号化とは別個のランレングス符号化が常に８個の連続した画素毎に行われる。図４の上側の点線は、８個の連続した画素のセクション間の境界を形成する。同図において、第１セクションは、ｂ型画素だけを含む。これに対応して、１６進数２０Ｈがランレングス符号語として形成される。第２セクションでは、２個のｂ型画素の後に、６個のｐ型画素が続く。したがって、２個のｂ型画素に対する４４Ｈと、６個のｐ型画素に対する１９Ｈとを含む。次に、第３セクションでは、４個のｐ型画素と４個のｂ型画素が続く。関連したランレングス符号語は１１Ｈ及び１０Ｈである。したがって、本発明の方法によれば、特定の画素数に対し別々のランレングス符号化が行われる。本例の場合、流れテロップがステップ毎に水平方向に８画素ずつ前方へ移動するように構成されているので、別個のランレングス符号化は８画素毎に行われる。他の例において、より精細な動きの分解能、たとえば、１ステップあたり４画像が必要である場合、ランレングス符号語は、各ライン内で４画素毎に別々に計算される。本例の場合、ステップは、新しいビデオフレーム毎に、或いは、Ｎフレーム毎に１回ずつ行われる（但し、Ｎ＝１，２，３，４．．．）。
【００３１】
上述のDVD規格は、表示制御命令を定義する。この表示制御命令を使用することにより、ランレングス符号化が表示されるべきサブピクチャに対し開始されるメモリアドレスを予め決めることが可能である。この命令は、SET_DSPXA命令である。この命令は、本発明によるサブピクチャデータユニットに水平方向の動き、たとえば、流れテロップを生ずるため使用される命令である。すなわち、特定の表示制御命令シーケンスSP_DCSQは、本発明によるサブピクチャデータユニット内に動きのステップ毎に設けられる。本例の場合、流れテロップが１ステップ毎に水平方向に動く画素数をＫとするとき、各表示制御命令シーケンスは、ランレングス復号化がビットマップ内で右側へ更にＫ画素のところから始まるように、ランレングス復号化の開始用のPXDポインタを移すため、SET_DSPXA命令を使用する。このことは、図５において矢印で示されている。図５に示された例の場合、Ｋは数値８である。１番目の表示制御命令シーケンスにおいて、SET_DSPXA命令は、ランレングス符号語２０Ｈを指定する。次の表示制御命令シーケンスにおいて、命令はランレングス符号語４４Ｈを指定し、その次の表示制御シーケンスにおいて、命令は、ランレングス符号語１１Ｈを指定し、以下同様である。ランレングス復号化は、表示されるライン内で更に右側で始まる。流れテロップ中の異なる画素は、常に順番に表示される。
【００３２】
図６、７Ａ及び７Ｂには、本発明によるDVDプレーヤ用のサブピクチャデータユニットの例が示されている。文字Ａ、Ｂ、Ｃ、Ｄ、Ｅ及びＦは、図７Ａ及び７Ｂに示されたサブピクチャデータユニットのビットマップに単一の結合画像小部分として蓄積される。本例の場合の結合の型は、図６に示されている。図６の左側には、文字Ａ、Ｂ及びＣを表示する画素パターンが示されている。本例の場合、バックグラウンド画素は１個のドットで示され、文字のパターンを生ずる画素は、垂直線でマークされている。同様に、図６の中央部には、文字Ｄ、Ｅ及びＦ用の文字パターンが示される。バックグラウンド画素は、本例の場合も同様にドットでマークされ、文字パターンを生成する画素は、本例の場合、水平線でマークされる。二つの部分は、垂直方向に相対的に２画素分シフトされることが分かる。一方が他方の上に重なるように二つの画像部分が配置されるならば、図６の右側部分に示されるような画素パターンが得られる。１個のドットは、２個の対応した画素がバックグラウンド画素である画素型をマークする。垂直線は、下側の画素がオン状態であり、上側の画素がオフ状態である画素型をマークする。水平線は、下側の画素がオフ状態であり、対応した上側の画素がオン状態である画素型をマークする。さらに、星印は、上側画素及び下側画素が共にオン状態である画素型を表す。
【００３３】
この結合画像小部分用のランレングス符号語は、サブピクチャデータユニットのPXDデータフィールドに蓄積される。本例の場合、ランレングス符号語は、２個の連続した画素に別々に定められる。このサブピクチャデータユニットが復号化されるとき、１ステップにつき２画素ずつの右から左へのテキストの遅い動きが生ずる。異なるビットマップ領域は、ビデオフレームの第１及び第２のフィールドに対し、図７に示されたサブピクチャデータユニットのPXDフィールドに蓄積されることに注意する必要がある。ライン１、３、５、７、９及び１１に対するランレングス符号語は、かくして第１フィールドに蓄積され、偶数番号のラインに対するランレングス符号語は、第２フィールドに対するビットマップに蓄積される。第１フィールドの結合画像小部分に対するランレングス符号語は、メモリのアドレス0004H:から始まる領域に存在する。図７Ａ及び７Ｂでは、アドレスが文字Ｈを伴わない１６進数で表記されている。第２フィールドのランレングス符号語は、アドレス0033H:から始まるメモリに蓄積される。PXD領域は、４バイトのSPUヘッダ領域を含むPXD領域が総SPUサイズの半分未満であってはならないというDVD規格に規定された規則を満たすべく、アドレス0060Hから始まる零バイトエントリーによって満たされる。PXD領域の後には、表示制御命令シーケンスを含む領域が続く。この領域は、表示制御命令シーケンステーブルSP_DCSQTとも称される。以下のプロセスは、第１表示制御命令シーケンスSP_DCSQ0:で発生し、SP_DCSQ_STM命令は、画像の表示がサブピクチャデータユニットSPUが読み出されたときに直ちに開始されることを示すために使用される。次の表示制御命令SET_DSPXAは、第１フィールドに対するランレングス復号化がアドレス004FH:で開始し、第２フィールドに対するランレングス復号化がアドレス0033H:で開始されることを明記する。表示制御命令SET_COLORは、続いて、画素型ｂ及びｐの全ての画素がバックグラウンドであるとみなされ、異なる色を用いて表示される予定であることを明記する。さらに、この命令は、画素型１及び２の全ての画素がフォアグラウンド画素として定義され、対応した異なる色で表示されることが予定されていることを明記する。次の命令SET_CONTRは、全ての画素型ｂ、ｐ、１及び２に関して１００％見えるようにコントラストを設定し、すなわち、サブピクチャデータユニットの表示窓内の全画像が完全に視認できるように設定される。次の命令SET_DAREAは、可視窓のサイズを示し、窓が画面上に現れる場所を定める。本例の場合、可視窓の左上隅は、画像座標（１００，１５０）に配置され、右下隅は、画像座標（１１７，１５９）に配置される。次の命令STA_DSPは、第１フレームの表示を開始する。次の命令CMD_ENDは，第１の表示制御命令シーケンスSP_DCSQ0の終わりを示す。
【００３４】
次に、第２の表示制御命令シーケンスが処理される。SP_DCSQ_STM命令は、新しいフレームを出力するプロセスがサブピクチャデータユニットの開始後の３０番目のフレームでこの表示制御命令シーケンスに従って表示されるべきことを明記する。次のSP_NXT_DCSQ_SA命令は、次の表示制御命令シーケンスSP_DCSQ2がメモリ内で記憶される先頭のメモリアドレスを指定する。その後に、次の命令CHG_COLCONが続けられる。この命令CHG_COLCONは、可視窓内で、結合画像小部分内で下側の画像小部分に画素として含まれるべき画素を明記し、結合画像小部分内で上側の画像小部分に画素として含まれるべき画素を明記するため使用される。命令CHG_COLCONは、３個の順次的なサブセクション、すなわち、LN_CTLI、PX_CTLI及びLN_CTLIターミネーションコードを有する。命令CHG_COLCONの符号語は、１バイトだけ、すなわち、07Hを含む。この後に、命令CHG_COLCONが引き続き延びる長さに関するステートメントが続く。表示制御命令シーケンスSP_DCSQ1は、命令CHG_COLCONに関連した更なる１６バイトが存在することを示す。命令CHG_COLCONは、サブピクチャが表示されるべき表示窓内の特定領域の色及びコントラストレベルを変更するため使用され得る。ステートメントLN_CTLIは、命令によって設定される予定の色及びコントラストレベルの変更回数に関する情報を与える。本例に示されたステートメントn=1は、変更が１回だけ行われることを意味する。このステートメントは、変更が施されるべき画面上の領域も指定する。本例の場合、ステートメントclsn=2は、変更が２番目のビデオラインから適用されることを表す。ステートメントctln=200は、変更が２００番目のビデオラインまで適用されることを表す。しかし、実際には、変更が加えられるのは、サブピクチャデータユニットの表示窓内の領域に限られる。このことは、実際上、表示窓がビデオライン１５０の画素位置１００からビデオライン１５９の画素位置１１８まで延びるような形で第１の表示制御命令シーケンスSPU_DCSQ0に定義される。次の命令項目PX_CTLI0は、色及び／又はコントラストレベルへの変更が開始されるべく予め定義されたビデオライン領域内の列を指定する。ステートメントcspn=116は、変更が１１６番目の画素位置から開始される予定であることを定義する。次のステートメントcol=0101は、色レベル０が画素型ｂに対し選択され、色レベル１が画素型ｐに適用され、色型０が画素型１に対し適用され、色型１が画素型２に対し適用されることを規定する。これは、第１の表示制御命令シーケンスにおける規定とは異なる。ステートメントCNTR＝FFFFは、全ての画素型が可視化されるように、コントラストがすべての画素型に対し従前通り設定されることを定義する。コントラストレベルに関しては、第１の表示制御命令シーケンスからの変更は無い。最後に、この命令の後に、CHG_COLCON命令のための終了コードが続く。このCHG_COLCON命令は、列１１５までの予め定義された表示窓内の結合画像小部分の評価が第１の表示制御命令シーケンスSP_DCSQ0に記載されるように実行されることを意味する。列１１６から始まり、画素は別々に評価される。すなわち、列１１６からは、結合画像小部分内の下側の画像小部分に代わり、上側画像小部分が再生されるようにビットマップデータが評価される。第２の表示制御命令シーケンスSP_DCSQ1内の最後の命令SET_DSPXAは、評価が第１フィールドに対してアドレス0005H:から始まり、第２フィールドに対してアドレス0034H:から始まるように、ポインタをPXD領域内のランレングス符号化のスタートに設定する。したがって、復号化は、第１の表示制御命令シーケンスのように同じアドレスから始める必要は無く、実際上、１バイトずつ遅れる。これは、表示窓に出力される文字シーケンスを左側に２画素ずつシフトすることと等価的である。その理由は、ランレングス符号語は、２個の連続した画素に対し別々に形成されているからである。PXDフィールド内のデータは、PXDポインタの動き方を表す。すなわち、アドレス0004H:の第１バイトは、評価されなくなる。次に、値44Hをとる８個のデータバイトが続く。これらは、２個の連続したバックグラウンド画素の符号語である。かくして、復号化中に、１６個のバックグラウンド画素が１番目のラインで出力される。次に、データバイト46Hが続く。しかし、このデータバイトは、復号化がアドレス0004H:から開始されたときには、実質上、３番目のビデオラインの第１データバイトに対応し、バックグラウンド画素とフォアグラウンド画素は、下側の画像小部分に関して互いに後に続く。したがって、ランレングス復号化後に、Ｂ型の画素と、１型の画素は、出力されなければならない。CHG_COLCON命令に従って、両方の型の画素はバックグラウンド画素としてみなされるべきであるため、２個のバックグラウンド画素は、列１１６及び１１７の二つの画素位置で同様に出力される。これらの最後の２個の画素は、結合画像小部分内の上側画像中の最初の２個の画素に対応することに注意する必要がある。これは、二つの画像小部分が垂直方向に２画素分相対移動していることによる。この相対移動は、正しい画素が常に継ぎ目無く互いに連結されることを保証する。この解析は、第２フィールドの出力に対し同様に当てはまる。
【００３５】
次の表示制御命令シーケンスにおいて、流れテロップを更に移動させるため適切な処理が施される。別々に評価されるべき画素から始まる領域は、さらに大きくなるように順々に選択される。第３の表示制御命令シーケンスSP_DCSQ2において、異なる評価は列１１４から始まる。領域は、表示制御命令シーケンス毎に、更に左側へ２画素ずつ移動する。９番目の表示制御命令シーケンスSP_DCSQ8までに、この領域は非常に拡大しているので、異なる評価は、実際上、画素列１０２から始まる。したがって、PXDポインタは、１表示制御命令シーケンスについて１アドレス分ずつ移動する。９番目の表示制御命令シーケンスSP_DCSQ8において、このポインタは、第１フィールドに対しアドレス000CH:にあり、これは、１番目のビデオラインの最後のデータバイト44Hに対応する。
【００３６】
最後の表示制御命令シーケンスSP_DCSQ9では、PXDポインタはこれ以上動かされない。同様に、命令CHG_COLCONによる画素評価の更なる移動も無い。この表示制御命令シーケンスは、サブピクチャデータユニットの表示を終了させるためだけに使用される。命令STP_DSPはこの目的のため使用される。下側の画像小部分が完全に見えるようにするため、付加的な表示制御命令シーケンスを設ける必要がある。その結果として、評価の実行は、画素列１００から始まり、PXDポインタは次のデータエントリーに動かされる。
【００３７】
上記のサブピクチャデータユニットは、実質的に毎秒２画素の前進運動による文字Ａ、Ｂ、Ｃ、Ｄ、Ｅ及びＦを含む流れテロップの遅い動きを生じさせる。その理由は、動きが３０ビデオフレーム毎に１回しか行われないという点にある。勿論、より短い間隔で表示させるために変更が求められるならば、この動きは高速化することができる。
【００３８】
流れテロップの移動方向は、同様に非常に簡単に反転させることができる。このような状況では、PXDポインタは、命令CHG_COLCONを適切に適合させることにより、反対方向に動かす必要がある。その結果として、異なる評価が実行されるべき領域は、左から右へ順番に拡大される。本例の場合には、簡単のため、非常に短い流れテロップだけが生成される。以上の説明は、流れテロップがより長い場合にも当てはまる。
【００３９】
このため、図８を参照する。図８には、文字ａから文字ｏまで続くより長い流れテロップが示されている。流れテロップ中のこれらの文字は、対応して選択された表示窓に表示される。流れテロップ全体は、垂直カットによって同じサイズの領域に分割される必要がある。分割された各領域は、常に上記の文字を含む。二つの連続した部分は結合され、メモリ内の関連したビットマップに記憶される。このことは、図８の括弧記号Ｋ１、Ｋ２、Ｋ３及びＫ４によって示される。これにより、対応した第１のビットマップを有する第１の結合画像小部分が得られる。文字ａ、ｂ、ｃ及びｄ、ｅ、ｆは、結合され第１のビットマップに格納される。文字ｄ、ｅ、ｆ及びｇ、ｈ、ｉは、結合され第２のビットマップに格納され、以下同様である。結合画像小部分は、メモリのPXD領域に順番に入れられる。上述のように、第２の画像小部分内の画素だけが右から左への動きの間に見えるように、第１のビットマップによる第１の結合画像小部分が完全に処理された後、次の結合画像小部分を表示するプロセスが開始される。第２のビットマップは、後続の表示制御命令シーケンスで呼び出される。この観点で、この手続きは、第１の二つの画像小部分に対する手続きと同一である。残りの結合画像小部分に対する手続きは、最終的に結合された画像小部分が処理されるまで同様である。上記の方法は，ランレングス符号化を適切に適合させることにより簡単な方法で、（たとえば、方向の変更、動き速度の変更など）やり方を変えることにより、水平方向に流れる場合にも実現することができる。
【００４０】
ここで説明された実施例の場合に、結合画像小部分は、PXD領域の二つのフィールドに別々に格納され、命令SET_DSPXAを用いて別々にアドレス指定される場合を想定している。しかし、本発明の方法は、水平方向の動きを生成する場合にも簡単に適用可能であり、両方のフィールドに対する命令SET＿DSPXAがPXD領域内の同じメモリアドレスに設定される。この方法も使用され、この方法は、「フィールド反復法」のように呼ばれる。
【００４１】
画像シーケンスを符号化する本発明による符号化方法は、更に改良することが可能である。たとえば、結合画像小部分の配置は最適化することが可能である。特に、図８に示された例の場合、右から左への動きが行われるとき、出力位置が左側に最後までシフトされた結合画像小部分Ｋ１に基づいて出力された画像は、出力位置が右側へ完全にシフトされた結合画像小部分Ｋ２と一致し、冗長な形式で存在する。したがって、一方の結合画像小部分から次の結合画像小部分への遷移中の目的が、画像を右から左へ所定の画素数だけ移動させることであるならば、第２の結合画像小部分を対応した画素数分だけ、先行の画像小部分に対し右側に移動させることによって実現される。図９は、これを説明するための図である。画像小部分Ｋ２及びＫ３、並びに、Ｋ３及びＫ４と同様に、結合画像小部分Ｋ１及びＫ２は、図８に示された例と比較すると、相対的に８画素分だけ付加的にシフトされている。これにより得られる更なる利点は、全体として必要とされる結合画像小部分の数が少なくなること、すなわち、PXD領域に必要とされるメモリが少なくなること、又は、最後に結合された画像小部分に含まれるフォアグラウンド画素が少なくなり、それにより、メモリ必要容量が削減された形でランレングス符号化を実行できるようになることである。この点については、図１０に示されている。
【００４２】
図１０の上側では、画像小部分が図８に示されるように結合されている。８個の結合画像小部分は、実線で示された流れテロップの全体に対して必要とされる。図１０の下側では、結合プロセスが図９に示された方法で実行される。同図からわかるように、７個の画像小部分Ｋ１〜Ｋ７だけを記憶する必要がある。既に説明した通り、本例の最後の画像小部分が先行の画像小部分と同じサイズでは無い場合には、任意の形式の結合が実現できるように、バックグラウンド画素が充填される。この領域は点線で示されている。これにより、最後に結合された画像小部分Ｋ７の上側画像小部分に、未使用画像領域が生ずる。したがって、この身使用領域に対し、特別なランレングス符号化を行う必要が無くなる。すなわち、未使用領域のランレングス符号化は、完全に通常の方法で行うことが可能であり、必要なメモリ容量は最小限に抑えられる。唯一の制限は、特定のランレングス符号語"Till-end-of-line"を使用してはならないことである。なぜならば、この符号語は、PXDポインタを順次に動かし続け、ライン終端が連続的に変化するので、間違った符号化が行われるからである。
【００４３】
メモリ必要容量の更なる削減は、対象の最後のライン、たとえば、流れテロップの最後のラインがより簡単な方法でランレングス符号化されるならば、達成される。図１１にはこの状況が示されている。対象画像の下側のラインが１種類の画素型しか含まない場合（たとえば、バックグラウンド画素だけを含む場合）、この領域のランレングス符号化は著しく簡単化される。各フィールド内で唯一の画素型だけを含む全ての最終ラインは、ランレングス符号語"Till-end-of-line"を用いて排他的に符号化される。さらに、符号語"Till-end-of-line"は、各フィールドに付け加えられる。上記のランレングス符号化方法は、図１１の上側部分に概略的に示されている。これに基づいて、全てのラインが同じ方法で取り扱われ、関連したランレングス符号語は、全てのディテールに対し別々に生成される。これは、最終ラインがバックグラウンド画素しか含まない場合でも、最終ラインについて成り立つ。また、図１１の下側部分からは、シンボル"TEOL"で示される最終ラインは、符号語"Till-end-of-line"を用いて符号化される。このラインでは、フォアグラウンド画素は出現しない。
【００４４】
本発明の画像シーケンス符号化方法、並びに、サブピクチャデータユニットは、コンポーネントとしてDVD規格に準拠したサブピクチャデコーダを有する全ての機器で使用することができる。これらの機器は、特に、DVD-RAMを具備したDVD記録可能型のDVD機器であり、このDVD機器は、好ましくは、セットトップボックスのようなテレビジョン受信機器、又は、ビデオカメラを具備する。
【図面の簡単な説明】
【図１】 DVDプレーヤと、DVDプレーヤに接続され、重ねられた流れテロップを表示するテレビジョンセットとを示す図である。
【図２】サブピクチャデータユニット内のデータ用の従来のフレームフォーマットの例を示す図である。
【図３】二つの対象画像セクションが互いに結合される例示的な状況の説明図である。
【図４】対象画像ディテールのランレングス符号化ラインを示す図である。
【図５】表示制御命令シーケンス中のSET_DSPXA命令が別々のディテールの第１のランレングス符号語を指定する状況の説明図である。
【図６】図７に示されるようなサブピクチャデータユニットの例に対する２つの画像ディテールの結合の説明図である。
【図７Ａ】本発明によるサブピクチャデータユニットの簡単な例を示す図（その１）である。
【図７Ｂ】本発明によるサブピクチャデータユニットの簡単な例を示す図（その２）である。
【図８】本発明の第１実施例による流れテロップの画像小部分の結合の説明図である。
【図９】本発明の第２実施例による流れテロップの画像小部分の結合の説明図である。
【図１０】図８及び９に示された結合の型のため必要な異なるメモリサイズの説明図である。
【図１１】流れテロップの最後のラインの巧みな符号化によって節約された更なるメモリ空間の説明図である。
【符号の説明】
２１ データ領域
２２ 命令領域
３０ セグメント
【発明の属する技術分野】
本発明は、画像シーケンスを符号化する方法、並びに、電子機器で使用する対応したサブピクチャデータユニットに関する。
【０００２】
また、本発明は、上述のサブピクチャデータユニットが蓄積されるデータ記憶媒体に関する。
【０００３】
【従来の技術】
多数の画像符号化方法がビデオ技術の分野で知られている。ビデオ技術における画像シーケンスの符号化方法は、DVD機器用のいわゆるサブピクチャデータユニットを生成するため使用される画像符号化方法に基づく。このようなDVD機器は既に市販されており、各DVD機器は、サブピクチャデータユニットを処理することができるサブピクチャ復号化装置（すなわち、サブピクチャデコーダ）を具備する。ここで使用される画像符号化方法は、たとえば、文献：DVD Standard "DVD Specification for read-only disc", part 3, video specification, Version 1.0, August 1996, Section 5.4.3 Sub-picture unit (SPU)に記載されている。サブピクチャデコーダの詳細な説明は、たとえば、欧州特許出願EP-A-0 725 541に記載されている。
【０００４】
DVD規格の上記文献DVD Standardによると、サブピクチャデータユニットの主要なアプリケーションは、たとえば、テレビジョン画面上のサブタイトルの生成である。サブタイトルは、画像のどこにでも重ね合わせることができ、一般的には、画像の下方縁で重ね合わされる。一つのサブタイトルごとのビットマップデータがサブピクチャデータユニットSPUに蓄積される。画面上のサブタイトルの位置を決め、多数の表示特性、特に、色、透明度などを決めるため、簡単なグラフィックコントロール命令がDVD規格に明記されている。したがって、巧みなプログラミングによって、サブピクチャデータユニットは、原理的に、たとえば、制御命令、アニメーション画像、及び、スクリーンセーバーなどの他の目的のためにも使用される。
【０００５】
DVD規格によるサブピクチャデータユニットの基本部分は、表示されるべきテキストのビットマップデータ用のデータフィールドを含み、より一般的な形式では、表示されるべき対象と、いわゆる表示制御命令シーケンスが格納される副次部分とを含む。副次部分は、記憶された対象の表示場所、表示時刻及び表示特性を定める。さらに、多数の対象がビットマップデータ用のデータフィールドに順番に記憶され、個々の対象が異なる時刻に呼び出される。多数の対象をサブピクチャデータユニットに収容する場合、DVD規格は、各対象に対応した領域が対象毎のビットマップデータフィールドに準備されなければならない旨を規定する。ビットマップデータは、画像圧縮を実現し、メモリ空間を節約するため、ランレングス符号化されている。DVD規格では、テキストが既存の表示制御命令セットを用いて重なり合ったサブピクチャ窓内で垂直方向に通り抜けることができる方法について警告がなされているが、テキストがサブピクチャ窓内で水平方向に通り抜けさせることができる方法についての情報は得られない。テキストを水平方向に通り抜けさせることは、屡々、流れテロップと称され、一部のテレビジョン番組では頻繁に見ることができる。一例として、NTVのようなテレビジョン番組プロバイダが株式市場の株価を流し続けるプロセスを挙げることができる。
【０００６】
当業者は、別個のサブピクチャデータユニットがこのような流れテロップの個別のフレームに対し記憶されるか、或いは、流れテロップの多数のフェーズに対し一つのサブピクチャデータユニットが設けられるように、動きの個別のフェーズ毎に対応した多数のビットマップを含む指定されたサブピクチャデータユニットを使用し、このサブピクチャデータユニットを個々に呼び出すことにより、このような流れテロップをDVD機器でも直ぐに使用することができるようになる。このような解決法は、非常にメモリ集約的であることが容易に認められる。いずれの場合でも、サブピクチャデータユニットのサイズを53,220バイトに制限されることにより、多数のフェーズに対し一つのサブピクチャデータユニットを設ける第２の解決法は、流れテロップがかなり短い場合に限り実施可能である。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、DVD規格に規定されている表示制御命令と、サブピクチャデータユニットを構築する規則とに基づいて、メモリを効率的に使用する一方で、サブピクチャ表示窓内で対象の水平方向の動きを許容する、画像シーケンスを符号化する方法を提供することである。
【０００８】
【課題を解決するための手段】
上記本発明の目的は、独立した請求項１に記載された事項によって達成される。
【０００９】
対応したサブピクチャデータユニットを具備するデータ記憶媒体は、独立した請求項９に記載されている。
【００１０】
本発明の画像シーケンス符号化方法によれば、対象画像は、垂直方向のカットによって、同一サイズの多数のセグメントに分割される。次に、２個の隣接したセグメントは結合され、結合画素は、結合されるべき部分内の対応した画素から生成され、結合された画素には、対応した画素のペア内での画素値の寄与度に対応した固有の型が割り当てられる。さらに、結合された画像の小部分は、セクション毎にランレングス符号化される。セクション毎のランレングス符号化は、流れテロップ／対象のセクション内の合成された画素毎に別個のランレングス符号化が行われることによって実現される。ディテールのサイズは、動きのフェーズ中に対象を水平方向に動かす画素数に対応する。すなわち、たとえば、動きのフェーズ毎に対象を左から右に８画素ずつ動かすため、別々のランレングス符号化が対象ディテールの全てのラインに対し８画素毎に行われる必要がある。それぞれの対象ディテールに適切にポインタを配置することにより、画像シーケンスの復号化中に、表示機器の窓に出力されたときに、対象が窓に対して水平方向に移動しているとの印象を視聴者に与える画像シーケンスが簡単に生成される。対象画像の隣接したセグメントの特定の型の結合符号化と、特定の型のランレングス符号化は、結果として得られるサブピクチャデータユニットのメモリ必要容量を著しく低減させる。特に、動きのフェーズ毎に専用ビットマップを設ける必要が無くなり、垂直方向カットによって生成されたセグメント数と略同数のかなり数が減少したビットマップだけが設けられる。この結果として、結合対象画像部分におけるランレングス符号語はやや増加するが、要求されるビットマップ領域が著しく削減されるので、必要とされるメモリ空間は非常に削減される。
【００１１】
従属請求項に係る発明は、請求項１に係る方法の有利な展開及び改良を行う。
【００１２】
対象セグメントのサイズが表示されるべき対象ディテールのサイズに対応する処理は最適化プロセスであり、最適化プロセスを用いることにより、セグメントの数は少数に制限される。
【００１３】
結合されるべき二つの画像部分が、結合前に最初に、相対的に垂直方向で２画素だけシフトされる処理は、ライン中のランレングス符号化の開始のポインタを動かした後、二つの結合画像小部分の下方の小部分及び上方の小部分の画素が相互に後に続くとき、正確な画素が常に継ぎ目無く連結されることを保証する。かくして、画質は最適化される。
【００１４】
結合された画像小部分が、先に結合された画像小部分及び後に結合された画像小部分に対し、対象が水平方向に各段階で動かされる画素数分だけ動かされる処理は、必要なメモリを更に削減する点で有利である。特に、この処理の利点は、個々のビットマップ領域内での冗長な場所が除去されることに依拠する。
【００１５】
本発明の画像シーケンス符号化方法にしたがって符号化された画像シーケンスを収容する電子機器で使用するための本発明によるサブピクチャデータユニットは、画像シーケンス中の個々の画像の画素値のためのデータ領域と、表示制御命令シーケンスのための命令領域とを含むような基本構造を有する。本発明は、表示制御命令シーケンスが、対象の水平方向の動きを生じさせるため設けられ、各表示制御命令シーケンスは一つの命令を収容し、これにより、画像に対するランレングス符号化の開始は、対象の所望の動きに対応した画素数分だけ動かされる。DVD規格に規定された表示制御命令SET_DSPXAは、この目的のため有利に使用することができる。結合画素が評価されるべき方法を定義する命令は、同様に、画像を再生するための表示制御命令シーケンス毎に設けられる。
【００１６】
DVDサブピクチャデータユニットの場合に、DVD規格に定義された命令SET_CONTR又はCHG_COLONは、この目的のため使用できる。
【００１７】
最後に、本発明の範囲には、本発明にしたがって蓄積されたサブピクチャデータを格納するデータ記憶媒体、特に、DVDディスクが含まれる。
【００１８】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施例を詳細に説明する。
【００１９】
DVD機器の実施例を使用して本発明を説明する。図１には、通常のTVセット１０と、DVDプレーヤ１１とが示される。DVDプレーヤ１１は、たとえば、Scartケーブルを用いてTVセット１０に接続される。DVDプレーヤ１１はアナログテレビジョン信号を生成し、このアナログテレビジョン信号がTVセット１０に供給される。また、表示窓１２には、流れテロップが重ねられる。流れテロップは、表示窓１２内で左から右へ、或いは、右から左へ移動する。同図の点線は、流れテロップが表示窓内にセクション毎に表示されることを表す。この例では、流れテロップ全体は非常に長いので、画面に完全には表示できない。DVD規格によると、サブタイトルは、主として表示窓１２内のテレビジョン画像の上に重ねられる。この目的のため、サブタイトル毎に一つのサブピクチャデータユニット(SPU)が使用される。
【００２０】
図２には、画像データユニットの従来のデータフォーマットが概略的に示されている。サブピクチャデータユニットには、ヘッダ部(SPUH)用データフィールド２０と、圧縮画素データ(PXD)用データフィールド２１と、表示制御命令シーケンス(SP_DCSQT)用データフィールド２２とが含まれる。いわゆる表示制御命令シーケンス(SP_DCSQ)は、データフィールド２２に蓄積される。上記の用語並びに種々の表示制御命令は、当初、DVD規格（１．０版）に規定されているので、本発明の開示のために詳細を説明する必要はない。しかし、本発明の開示のためにDVD規格を引用する。
【００２１】
データフィールド２１内の画素データは、表示されたサブピクチャの表示パターンを支配する。サブピクチャのライン内の画素毎に、２ビット長のデータ語は、この画素がバックグラウンド画素、若しくは、フォアグラウンド画素（パターン画素）であるか、又は、この画素が第１の方法で強調されるべきか（強調１画素）、若しくは、第２の方法で強調されるべきか（強調２画素）を指定するため使用される。これらの４種類の画素のタイプは２ビットで指定される。本例の場合、詳細に説明すると、バイナリ値の意味は以下の通りである。
００＝バックグラウンド画素
０１＝フォアグラウンド画素
１０＝強調１で表示された画素
１１＝強調２で表示された画素
本例の場合、個々の画素データ項目は、メモリに未加工の形式で蓄積されるのではなく、圧縮形式で蓄積されることに注意する必要がある。ランレングス符号化は、同様に、DVD規格（第１．０版）に規定されている。このDVD規格は、ランレングス符号化のため７種類の符号化規則を定義する。本例の場合、ランレングス符号化は、表示されるべきフィールド若しくはサブピクチャの１ラインが個々にランレングス符号化されるように働く。個々の規則について、ここでは、これ以上詳細には説明しないが、上述のDVD規格を参照することによって十分に明らかになる。ランレングス符号化は、単純な画像内容に対しかなり大きい圧縮の程度を達成する。
【００２２】
以下、流れテロップの例を用いて、本発明による画像符号化方法を説明する。本発明による方法は、もちろん、流れテロップを作成するためだけに使用されるのではなく、任意の所望のその他の対象を窓にセクション毎に表示するため使用され得るので、窓の水平方向に関する対象とその窓の相対運動を識別することが可能である。最初に、対象、すなわち、本例の場合に流れテロップ全体は、垂直方向のカットによって分割される。各部分は、本例の場合、同じサイズに成るように選択される。部分のサイズは、流れテロップが後で重ねられる表示窓のサイズに対応する。これは、特に、水平方向の各部分の広がりに関して成り立つ。流れテロップがセグメントに分割された後、二つの隣接したセグメントが互いに結合される。このプロセスは、より詳細に図１０に示される。図１０の上側部分から、流れテロップが９個のセグメントに分割されることがわかる。９番目のセグメントは、先行のセグメントと同じサイズではなくなるので、同じサイズのセグメントが同様に生成されるように、バックグラウンド画素を詰め込むことによって人工的に拡大されている。最初の２個の画像セグメントが互いに結合される。これにより、結合画像小部分K1が得られる。次に、２番目と３番目のセグメントが互いに結合され、結合小部分K2が得られる。さらに、３番目と４番目のセグメントが互いに結合され、結合小部分K3が得られ、最終的に、流れテロップの８番目と９番目のセグメントが最後の結合小部分K8として互いに結合されるまで続けられる。
【００２３】
本例の場合、２個の対象画像セグメントは図３に示されるように結合される。図３において、一方の対象画像セグメントは、文字Hを含み、他方の対象画像セグメントは、文字Aを含む。これらの文字は、流れテロップ中で一方が他方の後に書き込まれる。結合されるべき２個の画像部分は、図３の上側に示され、他方は図３の左側に示されている。文字の画素は、それぞれ、＊によってマークされ、それぞれの画像セグメントのバックグラウンドの画素ドットによって示される。かくして、本例の場合に、画素は、二つの値、すなわち、オン状態に対応して画素が明るくなるよう刺激されるか、或いは、オフ状態に対応して画素が明るくならないかだけを表す値を取ることが想定される。二つの例示的な画像部分は、９×８画素を含む。これらの画像小部分が結合されるとき、一方の画像小部分が他方の画像小部分の上に重ねられたと考えることができるので、画素は重ね合わされる。本例の場合、二つの画像小部分は、一方が他方の上に一致するように重ねられるのではなく、垂直方向に関して相対的に２画素ずつシフトされる。これは、後で詳しく説明するように、結合された画像小部分が引き続き復号化される際に、正しいラインに出力されることを保証するために必要である。画像小部分の重ね合わせは、図３においてダッシュで示されている。一方が他方の上に重ねられた画素は、以下の規則に従って結合される。
【００２４】
結合される画素が共にオフ状態であるならば、結合画像小部分内のこの位置における結合画素には画素型Ａが割り当てられる。
【００２５】
結合される画素が共にオン状態であるならば、この位置における結合画素には画素型Ｂが割り当てられる。
【００２６】
下側の画素がオン状態の値をとり、上に重ねられる画素がオフ状態の値をとるならば、この位置における結合画素は画素型Ｃであると宣言される。
【００２７】
下側の画素がオフ状態の値をとり、上に重ねられる画素がオン状態の値をとるならば、この位置における結合画素には画素型Ｄが割り当てられる。
【００２８】
図３の下側には、４種類の画素型Ａ〜Ｄが、DVD規格に規定されたバックグラウンド画素型(Background Pixel)、パターン画素型(Pattern Pixel)、強調１画素型(Emphasis-1 Pixel)、及び、強調２画素型(Emphasis-2 Pixel)に割り付けられる態様が示されている。画素型Ａはバックグラウンド画素になり、画素型Ｂはパターン画素になり、画素型Ｃは強調１画素になり、画素型Ｄは強調２画素になる。対応した画素型は図３の下方部に示される。この割付プロセスは、本発明を実施する目的のための一例に過ぎないことに注意する必要がある。４通りの画素型の可能な順列の観点から、４！＝２４種類の割付が可能である。
【００２９】
このようにして結合された画像小部分は完全であり、DVD規格に準拠したサブピクチャデータユニットを生成するため、ランレングス符号化される。しかし、本発明によれば、結合画像小部分の完全なラインに対するメモリ必要容量を最適化するため、ランレングス符号化は行われず、ラインは、図４を参照して詳細に説明される特定の型のランレングス符号化を用いて処理される。
【００３０】
図４には、結合画像小部分の一例が示されている。図４の下側には、ランレングス符号化がメモリ必要容量に関して最適化された状況で例示されたラインに対するランレングス符号語が示されている。ランレングス符号語は、同じ型（Ｂ又はＰ）の画素の連なり毎に形成されることがわかる。しかし、本発明によれば、このランレングス符号化とは別個のランレングス符号化が常に８個の連続した画素毎に行われる。図４の上側の点線は、８個の連続した画素のセクション間の境界を形成する。同図において、第１セクションは、ｂ型画素だけを含む。これに対応して、１６進数２０Ｈがランレングス符号語として形成される。第２セクションでは、２個のｂ型画素の後に、６個のｐ型画素が続く。したがって、２個のｂ型画素に対する４４Ｈと、６個のｐ型画素に対する１９Ｈとを含む。次に、第３セクションでは、４個のｐ型画素と４個のｂ型画素が続く。関連したランレングス符号語は１１Ｈ及び１０Ｈである。したがって、本発明の方法によれば、特定の画素数に対し別々のランレングス符号化が行われる。本例の場合、流れテロップがステップ毎に水平方向に８画素ずつ前方へ移動するように構成されているので、別個のランレングス符号化は８画素毎に行われる。他の例において、より精細な動きの分解能、たとえば、１ステップあたり４画像が必要である場合、ランレングス符号語は、各ライン内で４画素毎に別々に計算される。本例の場合、ステップは、新しいビデオフレーム毎に、或いは、Ｎフレーム毎に１回ずつ行われる（但し、Ｎ＝１，２，３，４．．．）。
【００３１】
上述のDVD規格は、表示制御命令を定義する。この表示制御命令を使用することにより、ランレングス符号化が表示されるべきサブピクチャに対し開始されるメモリアドレスを予め決めることが可能である。この命令は、SET_DSPXA命令である。この命令は、本発明によるサブピクチャデータユニットに水平方向の動き、たとえば、流れテロップを生ずるため使用される命令である。すなわち、特定の表示制御命令シーケンスSP_DCSQは、本発明によるサブピクチャデータユニット内に動きのステップ毎に設けられる。本例の場合、流れテロップが１ステップ毎に水平方向に動く画素数をＫとするとき、各表示制御命令シーケンスは、ランレングス復号化がビットマップ内で右側へ更にＫ画素のところから始まるように、ランレングス復号化の開始用のPXDポインタを移すため、SET_DSPXA命令を使用する。このことは、図５において矢印で示されている。図５に示された例の場合、Ｋは数値８である。１番目の表示制御命令シーケンスにおいて、SET_DSPXA命令は、ランレングス符号語２０Ｈを指定する。次の表示制御命令シーケンスにおいて、命令はランレングス符号語４４Ｈを指定し、その次の表示制御シーケンスにおいて、命令は、ランレングス符号語１１Ｈを指定し、以下同様である。ランレングス復号化は、表示されるライン内で更に右側で始まる。流れテロップ中の異なる画素は、常に順番に表示される。
【００３２】
図６、７Ａ及び７Ｂには、本発明によるDVDプレーヤ用のサブピクチャデータユニットの例が示されている。文字Ａ、Ｂ、Ｃ、Ｄ、Ｅ及びＦは、図７Ａ及び７Ｂに示されたサブピクチャデータユニットのビットマップに単一の結合画像小部分として蓄積される。本例の場合の結合の型は、図６に示されている。図６の左側には、文字Ａ、Ｂ及びＣを表示する画素パターンが示されている。本例の場合、バックグラウンド画素は１個のドットで示され、文字のパターンを生ずる画素は、垂直線でマークされている。同様に、図６の中央部には、文字Ｄ、Ｅ及びＦ用の文字パターンが示される。バックグラウンド画素は、本例の場合も同様にドットでマークされ、文字パターンを生成する画素は、本例の場合、水平線でマークされる。二つの部分は、垂直方向に相対的に２画素分シフトされることが分かる。一方が他方の上に重なるように二つの画像部分が配置されるならば、図６の右側部分に示されるような画素パターンが得られる。１個のドットは、２個の対応した画素がバックグラウンド画素である画素型をマークする。垂直線は、下側の画素がオン状態であり、上側の画素がオフ状態である画素型をマークする。水平線は、下側の画素がオフ状態であり、対応した上側の画素がオン状態である画素型をマークする。さらに、星印は、上側画素及び下側画素が共にオン状態である画素型を表す。
【００３３】
この結合画像小部分用のランレングス符号語は、サブピクチャデータユニットのPXDデータフィールドに蓄積される。本例の場合、ランレングス符号語は、２個の連続した画素に別々に定められる。このサブピクチャデータユニットが復号化されるとき、１ステップにつき２画素ずつの右から左へのテキストの遅い動きが生ずる。異なるビットマップ領域は、ビデオフレームの第１及び第２のフィールドに対し、図７に示されたサブピクチャデータユニットのPXDフィールドに蓄積されることに注意する必要がある。ライン１、３、５、７、９及び１１に対するランレングス符号語は、かくして第１フィールドに蓄積され、偶数番号のラインに対するランレングス符号語は、第２フィールドに対するビットマップに蓄積される。第１フィールドの結合画像小部分に対するランレングス符号語は、メモリのアドレス0004H:から始まる領域に存在する。図７Ａ及び７Ｂでは、アドレスが文字Ｈを伴わない１６進数で表記されている。第２フィールドのランレングス符号語は、アドレス0033H:から始まるメモリに蓄積される。PXD領域は、４バイトのSPUヘッダ領域を含むPXD領域が総SPUサイズの半分未満であってはならないというDVD規格に規定された規則を満たすべく、アドレス0060Hから始まる零バイトエントリーによって満たされる。PXD領域の後には、表示制御命令シーケンスを含む領域が続く。この領域は、表示制御命令シーケンステーブルSP_DCSQTとも称される。以下のプロセスは、第１表示制御命令シーケンスSP_DCSQ0:で発生し、SP_DCSQ_STM命令は、画像の表示がサブピクチャデータユニットSPUが読み出されたときに直ちに開始されることを示すために使用される。次の表示制御命令SET_DSPXAは、第１フィールドに対するランレングス復号化がアドレス004FH:で開始し、第２フィールドに対するランレングス復号化がアドレス0033H:で開始されることを明記する。表示制御命令SET_COLORは、続いて、画素型ｂ及びｐの全ての画素がバックグラウンドであるとみなされ、異なる色を用いて表示される予定であることを明記する。さらに、この命令は、画素型１及び２の全ての画素がフォアグラウンド画素として定義され、対応した異なる色で表示されることが予定されていることを明記する。次の命令SET_CONTRは、全ての画素型ｂ、ｐ、１及び２に関して１００％見えるようにコントラストを設定し、すなわち、サブピクチャデータユニットの表示窓内の全画像が完全に視認できるように設定される。次の命令SET_DAREAは、可視窓のサイズを示し、窓が画面上に現れる場所を定める。本例の場合、可視窓の左上隅は、画像座標（１００，１５０）に配置され、右下隅は、画像座標（１１７，１５９）に配置される。次の命令STA_DSPは、第１フレームの表示を開始する。次の命令CMD_ENDは，第１の表示制御命令シーケンスSP_DCSQ0の終わりを示す。
【００３４】
次に、第２の表示制御命令シーケンスが処理される。SP_DCSQ_STM命令は、新しいフレームを出力するプロセスがサブピクチャデータユニットの開始後の３０番目のフレームでこの表示制御命令シーケンスに従って表示されるべきことを明記する。次のSP_NXT_DCSQ_SA命令は、次の表示制御命令シーケンスSP_DCSQ2がメモリ内で記憶される先頭のメモリアドレスを指定する。その後に、次の命令CHG_COLCONが続けられる。この命令CHG_COLCONは、可視窓内で、結合画像小部分内で下側の画像小部分に画素として含まれるべき画素を明記し、結合画像小部分内で上側の画像小部分に画素として含まれるべき画素を明記するため使用される。命令CHG_COLCONは、３個の順次的なサブセクション、すなわち、LN_CTLI、PX_CTLI及びLN_CTLIターミネーションコードを有する。命令CHG_COLCONの符号語は、１バイトだけ、すなわち、07Hを含む。この後に、命令CHG_COLCONが引き続き延びる長さに関するステートメントが続く。表示制御命令シーケンスSP_DCSQ1は、命令CHG_COLCONに関連した更なる１６バイトが存在することを示す。命令CHG_COLCONは、サブピクチャが表示されるべき表示窓内の特定領域の色及びコントラストレベルを変更するため使用され得る。ステートメントLN_CTLIは、命令によって設定される予定の色及びコントラストレベルの変更回数に関する情報を与える。本例に示されたステートメントn=1は、変更が１回だけ行われることを意味する。このステートメントは、変更が施されるべき画面上の領域も指定する。本例の場合、ステートメントclsn=2は、変更が２番目のビデオラインから適用されることを表す。ステートメントctln=200は、変更が２００番目のビデオラインまで適用されることを表す。しかし、実際には、変更が加えられるのは、サブピクチャデータユニットの表示窓内の領域に限られる。このことは、実際上、表示窓がビデオライン１５０の画素位置１００からビデオライン１５９の画素位置１１８まで延びるような形で第１の表示制御命令シーケンスSPU_DCSQ0に定義される。次の命令項目PX_CTLI0は、色及び／又はコントラストレベルへの変更が開始されるべく予め定義されたビデオライン領域内の列を指定する。ステートメントcspn=116は、変更が１１６番目の画素位置から開始される予定であることを定義する。次のステートメントcol=0101は、色レベル０が画素型ｂに対し選択され、色レベル１が画素型ｐに適用され、色型０が画素型１に対し適用され、色型１が画素型２に対し適用されることを規定する。これは、第１の表示制御命令シーケンスにおける規定とは異なる。ステートメントCNTR＝FFFFは、全ての画素型が可視化されるように、コントラストがすべての画素型に対し従前通り設定されることを定義する。コントラストレベルに関しては、第１の表示制御命令シーケンスからの変更は無い。最後に、この命令の後に、CHG_COLCON命令のための終了コードが続く。このCHG_COLCON命令は、列１１５までの予め定義された表示窓内の結合画像小部分の評価が第１の表示制御命令シーケンスSP_DCSQ0に記載されるように実行されることを意味する。列１１６から始まり、画素は別々に評価される。すなわち、列１１６からは、結合画像小部分内の下側の画像小部分に代わり、上側画像小部分が再生されるようにビットマップデータが評価される。第２の表示制御命令シーケンスSP_DCSQ1内の最後の命令SET_DSPXAは、評価が第１フィールドに対してアドレス0005H:から始まり、第２フィールドに対してアドレス0034H:から始まるように、ポインタをPXD領域内のランレングス符号化のスタートに設定する。したがって、復号化は、第１の表示制御命令シーケンスのように同じアドレスから始める必要は無く、実際上、１バイトずつ遅れる。これは、表示窓に出力される文字シーケンスを左側に２画素ずつシフトすることと等価的である。その理由は、ランレングス符号語は、２個の連続した画素に対し別々に形成されているからである。PXDフィールド内のデータは、PXDポインタの動き方を表す。すなわち、アドレス0004H:の第１バイトは、評価されなくなる。次に、値44Hをとる８個のデータバイトが続く。これらは、２個の連続したバックグラウンド画素の符号語である。かくして、復号化中に、１６個のバックグラウンド画素が１番目のラインで出力される。次に、データバイト46Hが続く。しかし、このデータバイトは、復号化がアドレス0004H:から開始されたときには、実質上、３番目のビデオラインの第１データバイトに対応し、バックグラウンド画素とフォアグラウンド画素は、下側の画像小部分に関して互いに後に続く。したがって、ランレングス復号化後に、Ｂ型の画素と、１型の画素は、出力されなければならない。CHG_COLCON命令に従って、両方の型の画素はバックグラウンド画素としてみなされるべきであるため、２個のバックグラウンド画素は、列１１６及び１１７の二つの画素位置で同様に出力される。これらの最後の２個の画素は、結合画像小部分内の上側画像中の最初の２個の画素に対応することに注意する必要がある。これは、二つの画像小部分が垂直方向に２画素分相対移動していることによる。この相対移動は、正しい画素が常に継ぎ目無く互いに連結されることを保証する。この解析は、第２フィールドの出力に対し同様に当てはまる。
【００３５】
次の表示制御命令シーケンスにおいて、流れテロップを更に移動させるため適切な処理が施される。別々に評価されるべき画素から始まる領域は、さらに大きくなるように順々に選択される。第３の表示制御命令シーケンスSP_DCSQ2において、異なる評価は列１１４から始まる。領域は、表示制御命令シーケンス毎に、更に左側へ２画素ずつ移動する。９番目の表示制御命令シーケンスSP_DCSQ8までに、この領域は非常に拡大しているので、異なる評価は、実際上、画素列１０２から始まる。したがって、PXDポインタは、１表示制御命令シーケンスについて１アドレス分ずつ移動する。９番目の表示制御命令シーケンスSP_DCSQ8において、このポインタは、第１フィールドに対しアドレス000CH:にあり、これは、１番目のビデオラインの最後のデータバイト44Hに対応する。
【００３６】
最後の表示制御命令シーケンスSP_DCSQ9では、PXDポインタはこれ以上動かされない。同様に、命令CHG_COLCONによる画素評価の更なる移動も無い。この表示制御命令シーケンスは、サブピクチャデータユニットの表示を終了させるためだけに使用される。命令STP_DSPはこの目的のため使用される。下側の画像小部分が完全に見えるようにするため、付加的な表示制御命令シーケンスを設ける必要がある。その結果として、評価の実行は、画素列１００から始まり、PXDポインタは次のデータエントリーに動かされる。
【００３７】
上記のサブピクチャデータユニットは、実質的に毎秒２画素の前進運動による文字Ａ、Ｂ、Ｃ、Ｄ、Ｅ及びＦを含む流れテロップの遅い動きを生じさせる。その理由は、動きが３０ビデオフレーム毎に１回しか行われないという点にある。勿論、より短い間隔で表示させるために変更が求められるならば、この動きは高速化することができる。
【００３８】
流れテロップの移動方向は、同様に非常に簡単に反転させることができる。このような状況では、PXDポインタは、命令CHG_COLCONを適切に適合させることにより、反対方向に動かす必要がある。その結果として、異なる評価が実行されるべき領域は、左から右へ順番に拡大される。本例の場合には、簡単のため、非常に短い流れテロップだけが生成される。以上の説明は、流れテロップがより長い場合にも当てはまる。
【００３９】
このため、図８を参照する。図８には、文字ａから文字ｏまで続くより長い流れテロップが示されている。流れテロップ中のこれらの文字は、対応して選択された表示窓に表示される。流れテロップ全体は、垂直カットによって同じサイズの領域に分割される必要がある。分割された各領域は、常に上記の文字を含む。二つの連続した部分は結合され、メモリ内の関連したビットマップに記憶される。このことは、図８の括弧記号Ｋ１、Ｋ２、Ｋ３及びＫ４によって示される。これにより、対応した第１のビットマップを有する第１の結合画像小部分が得られる。文字ａ、ｂ、ｃ及びｄ、ｅ、ｆは、結合され第１のビットマップに格納される。文字ｄ、ｅ、ｆ及びｇ、ｈ、ｉは、結合され第２のビットマップに格納され、以下同様である。結合画像小部分は、メモリのPXD領域に順番に入れられる。上述のように、第２の画像小部分内の画素だけが右から左への動きの間に見えるように、第１のビットマップによる第１の結合画像小部分が完全に処理された後、次の結合画像小部分を表示するプロセスが開始される。第２のビットマップは、後続の表示制御命令シーケンスで呼び出される。この観点で、この手続きは、第１の二つの画像小部分に対する手続きと同一である。残りの結合画像小部分に対する手続きは、最終的に結合された画像小部分が処理されるまで同様である。上記の方法は，ランレングス符号化を適切に適合させることにより簡単な方法で、（たとえば、方向の変更、動き速度の変更など）やり方を変えることにより、水平方向に流れる場合にも実現することができる。
【００４０】
ここで説明された実施例の場合に、結合画像小部分は、PXD領域の二つのフィールドに別々に格納され、命令SET_DSPXAを用いて別々にアドレス指定される場合を想定している。しかし、本発明の方法は、水平方向の動きを生成する場合にも簡単に適用可能であり、両方のフィールドに対する命令SET＿DSPXAがPXD領域内の同じメモリアドレスに設定される。この方法も使用され、この方法は、「フィールド反復法」のように呼ばれる。
【００４１】
画像シーケンスを符号化する本発明による符号化方法は、更に改良することが可能である。たとえば、結合画像小部分の配置は最適化することが可能である。特に、図８に示された例の場合、右から左への動きが行われるとき、出力位置が左側に最後までシフトされた結合画像小部分Ｋ１に基づいて出力された画像は、出力位置が右側へ完全にシフトされた結合画像小部分Ｋ２と一致し、冗長な形式で存在する。したがって、一方の結合画像小部分から次の結合画像小部分への遷移中の目的が、画像を右から左へ所定の画素数だけ移動させることであるならば、第２の結合画像小部分を対応した画素数分だけ、先行の画像小部分に対し右側に移動させることによって実現される。図９は、これを説明するための図である。画像小部分Ｋ２及びＫ３、並びに、Ｋ３及びＫ４と同様に、結合画像小部分Ｋ１及びＫ２は、図８に示された例と比較すると、相対的に８画素分だけ付加的にシフトされている。これにより得られる更なる利点は、全体として必要とされる結合画像小部分の数が少なくなること、すなわち、PXD領域に必要とされるメモリが少なくなること、又は、最後に結合された画像小部分に含まれるフォアグラウンド画素が少なくなり、それにより、メモリ必要容量が削減された形でランレングス符号化を実行できるようになることである。この点については、図１０に示されている。
【００４２】
図１０の上側では、画像小部分が図８に示されるように結合されている。８個の結合画像小部分は、実線で示された流れテロップの全体に対して必要とされる。図１０の下側では、結合プロセスが図９に示された方法で実行される。同図からわかるように、７個の画像小部分Ｋ１〜Ｋ７だけを記憶する必要がある。既に説明した通り、本例の最後の画像小部分が先行の画像小部分と同じサイズでは無い場合には、任意の形式の結合が実現できるように、バックグラウンド画素が充填される。この領域は点線で示されている。これにより、最後に結合された画像小部分Ｋ７の上側画像小部分に、未使用画像領域が生ずる。したがって、この身使用領域に対し、特別なランレングス符号化を行う必要が無くなる。すなわち、未使用領域のランレングス符号化は、完全に通常の方法で行うことが可能であり、必要なメモリ容量は最小限に抑えられる。唯一の制限は、特定のランレングス符号語"Till-end-of-line"を使用してはならないことである。なぜならば、この符号語は、PXDポインタを順次に動かし続け、ライン終端が連続的に変化するので、間違った符号化が行われるからである。
【００４３】
メモリ必要容量の更なる削減は、対象の最後のライン、たとえば、流れテロップの最後のラインがより簡単な方法でランレングス符号化されるならば、達成される。図１１にはこの状況が示されている。対象画像の下側のラインが１種類の画素型しか含まない場合（たとえば、バックグラウンド画素だけを含む場合）、この領域のランレングス符号化は著しく簡単化される。各フィールド内で唯一の画素型だけを含む全ての最終ラインは、ランレングス符号語"Till-end-of-line"を用いて排他的に符号化される。さらに、符号語"Till-end-of-line"は、各フィールドに付け加えられる。上記のランレングス符号化方法は、図１１の上側部分に概略的に示されている。これに基づいて、全てのラインが同じ方法で取り扱われ、関連したランレングス符号語は、全てのディテールに対し別々に生成される。これは、最終ラインがバックグラウンド画素しか含まない場合でも、最終ラインについて成り立つ。また、図１１の下側部分からは、シンボル"TEOL"で示される最終ラインは、符号語"Till-end-of-line"を用いて符号化される。このラインでは、フォアグラウンド画素は出現しない。
【００４４】
本発明の画像シーケンス符号化方法、並びに、サブピクチャデータユニットは、コンポーネントとしてDVD規格に準拠したサブピクチャデコーダを有する全ての機器で使用することができる。これらの機器は、特に、DVD-RAMを具備したDVD記録可能型のDVD機器であり、このDVD機器は、好ましくは、セットトップボックスのようなテレビジョン受信機器、又は、ビデオカメラを具備する。
【図面の簡単な説明】
【図１】 DVDプレーヤと、DVDプレーヤに接続され、重ねられた流れテロップを表示するテレビジョンセットとを示す図である。
【図２】サブピクチャデータユニット内のデータ用の従来のフレームフォーマットの例を示す図である。
【図３】二つの対象画像セクションが互いに結合される例示的な状況の説明図である。
【図４】対象画像ディテールのランレングス符号化ラインを示す図である。
【図５】表示制御命令シーケンス中のSET_DSPXA命令が別々のディテールの第１のランレングス符号語を指定する状況の説明図である。
【図６】図７に示されるようなサブピクチャデータユニットの例に対する２つの画像ディテールの結合の説明図である。
【図７Ａ】本発明によるサブピクチャデータユニットの簡単な例を示す図（その１）である。
【図７Ｂ】本発明によるサブピクチャデータユニットの簡単な例を示す図（その２）である。
【図８】本発明の第１実施例による流れテロップの画像小部分の結合の説明図である。
【図９】本発明の第２実施例による流れテロップの画像小部分の結合の説明図である。
【図１０】図８及び９に示された結合の型のため必要な異なるメモリサイズの説明図である。
【図１１】流れテロップの最後のラインの巧みな符号化によって節約された更なるメモリ空間の説明図である。
【符号の説明】
２１ データ領域
２２ 命令領域
３０ セグメント
Claims (13)
- 対象の一部を表す画像を含む画像シーケンスが画面上の表示窓に表示されるとき、対象が上記表示窓内で水平方向に移動しているとの印象を見る人に与える画像シーケンスを符号化する方法であって、
対象画像は、垂直方向に分割することで同じサイズの多数のセグメントに分割され、
水平方向に同じ位置にある結合されるべき二つの隣接したセグメント内の対応した画素から結合画素が生成され、結合画素には対応した画素のペア内での画素値の分布に対応した固有の型が割り当てられ、二つの隣接したセグメントの画素データが結合され、
対象画像が水平方向に動く１ステップ毎に対象画像が移動する画素数に対応した対象画像のライン中の所定数の結合画素が別々にランレングス符号化されることを特徴とする方法。 - 上記セグメントのサイズは上記表示窓のサイズに対応する、請求項１記載の方法。
- 上記二つの隣接したセグメントは、結合される前に、垂直方向に相対的に２画素分だけシフトされる、請求項１又は２記載の方法。
- 上記二つの隣接したセグメントは、結合される前に、垂直方向に相対的に１画素分だけシフトされる、請求項１又は２記載の方法。
- 結合された結合画像小部分は、対象が１画像毎に水平方向に移動する画素数分ずつ、先行の画像小部分及び後続の画像小部分に対し動かされる、請求項１乃至４のうちいずれか一項記載の方法。
- 画像の画素は、オン状態の値及びオフ状態の値の二つの値だけをとる、請求項１乃至５のうちいずれか一項記載の方法。
- 上記対応した画素が共にオフ状態の値をとる場合に、結合画素値は画素型Ａが割り付けられ、
上記対応した画素が共にオン状態の値をとる場合に、結合画素値は画素型Ｂが割り付けられ、
第１の画像セグメント内の画素がオン状態の値をとり、第２の画像セグメント内の画素がオフ状態の値をとる場合に、結合画素値は画素型Ｃが割り付けられ、
第１の画像セグメント内の画素がオフ状態の値をとり、第２の画像セグメント内の画素がオン状態の値をとる場合に、結合画素値は画素型Ｄが割り付けられ、
これにより、結合されるべき画像セグメント内の画素の値に応じて結合画素値に４通りの画素型が与えられる、請求項１乃至６のうちいずれか一項記載の方法。 - 結合されるべき画像セグメントは、部分的に重なり合うように結合され、重なり合う領域の外側にある画素にはオフ状態の値が割り当てられる、請求項１乃至７のうちいずれか一項記載の方法。
- 請求項１乃至８のうちいずれか一項記載の方法を用いて符号化された画像シーケンスを収容し、
画像シーケンス内の画像の画素値用のデータ領域を有し、
表示制御命令シーケンス用の命令領域を有し、
消費者電子機器のような電子機器で使用されるサブピクチャデータユニットを具備するデータ記憶媒体であって、
ランレングス復号化が対象画像の異なる画素で始まり、先行のランレングス復号化に対し、ランレングス復号化の開始は、対象画像が望ましい動きに従ってシフトされる画素数と同じ画素数分ずつ右側又は左側にシフトされるように、上記表示制御命令シーケンスはランレングス復号化の開始アドレス用のポインタを設定する命令を格納し、
上記表示制御命令シーケンスは、結合画像小部分の結合画素が関連した領域内で評価されるべき方法を定義する命令を格納することを特徴とするデータ記憶媒体。 - 上記サブピクチャデータユニットは、DVD機器用に設計されていることを特徴とする請求項９記載のデータ記憶媒体。
- 上記表示制御命令シーケンスは、ランレングス復号化の上記ポインタをシフトするため、DVD規格で規定された表示制御命令SET_DSPXAを含む、請求項１０記載のデータ記憶媒体。
- 上記結合画素の対応した画素が共にオフ状態の値をとる場合に、結合画素値は画素型Ａが割り付けられ、
上記対応した画素が共にオン状態の値をとる場合に、結合画素値は画素型Ｂが割り付けられ、
第１の画像セグメント内の画素がオン状態の値をとり、第２の画像セグメント内の画素がオフ状態の値をとる場合に、結合画素値は画素型Ｃが割り付けられ、
第１の画像セグメント内の画素がオフ状態の値をとり、第２の画像セグメント内の画素がオン状態の値をとる場合に、結合画素値は画素型Ｄが割り付けられ、
上記画素型Ａ、上記画素型Ｂ、上記画素型Ｃ、又は、上記画素型Ｄの画素型が、DVD規格に定義されたバックグラウンド画素型(Background Pixel)、パターン画素型(Pattern Pixel)、強調１画素型(Emphasis-1 Pixel)、及び、強調２画素型(Emphasis-2 Pixel)の画素型に数学的に一意に割り当てられる、請求項１０又は１１記載のデータ記憶媒体。 - 上記結合画像小部分の結合画素が関連した領域内で評価されるべき方法を定義するため、表示制御命令SET_COLOR又は命令CHG_COLCONが上記表示制御命令シーケンス内で使用される、請求項１０乃至１２のうちいずれか一項記載のデータ記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19950490.3 | 1999-10-20 | ||
| DE19950490A DE19950490A1 (de) | 1999-10-20 | 1999-10-20 | Verfahren zur Kodierung einer Bildsequenz sowie Teilbilddateneinheit zur Verwendung in einem elektronischen Gerät und Datenträger |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001177802A JP2001177802A (ja) | 2001-06-29 |
| JP4729164B2 true JP4729164B2 (ja) | 2011-07-20 |
Family
ID=7926258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000317393A Expired - Fee Related JP4729164B2 (ja) | 1999-10-20 | 2000-10-18 | 画像シーケンス符号化方法、及び、データ記憶媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US6993249B1 (ja) |
| EP (1) | EP1094670A3 (ja) |
| JP (1) | JP4729164B2 (ja) |
| CN (1) | CN1208955C (ja) |
| DE (1) | DE19950490A1 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5801787A (en) | 1996-06-14 | 1998-09-01 | Starsight Telecast, Inc. | Television schedule system and method of operation for multiple program occurrences |
| CN1867068A (zh) | 1998-07-14 | 2006-11-22 | 联合视频制品公司 | 交互式电视节目导视***及其方法 |
| DE19950490A1 (de) * | 1999-10-20 | 2001-04-26 | Thomson Brandt Gmbh | Verfahren zur Kodierung einer Bildsequenz sowie Teilbilddateneinheit zur Verwendung in einem elektronischen Gerät und Datenträger |
| CN1668104A (zh) | 2000-10-11 | 2005-09-14 | 联合视频制品公司 | 提供数据存储到点播媒体传递***中服务器上的***和方法 |
| KR100970727B1 (ko) * | 2002-10-15 | 2010-07-16 | 삼성전자주식회사 | 텍스트 데이터와 다운로드 폰트를 이용한 다국어 지원용서브 타이틀 데이터가 기록된 정보저장매체 및 그 장치 |
| PL375781A1 (en) * | 2002-10-15 | 2005-12-12 | Samsung Electronics Co, Ltd. | Information storage medium containing subtitle data for multiple languages using text data and downloadable fonts and apparatus therefor |
| EP1418764A1 (en) * | 2002-11-05 | 2004-05-12 | STMicroelectronics S.A. | Method and apparatus for transcoding sub-picture data, and video display system comprising such apparatus |
| MXPA05005133A (es) | 2002-11-15 | 2005-07-22 | Thomson Licensing Sa | Metodo y aparato para composicion de subtitulos. |
| US8737810B2 (en) * | 2002-11-15 | 2014-05-27 | Thomson Licensing | Method and apparatus for cropping of subtitle elements |
| EP1494456A1 (en) | 2003-07-01 | 2005-01-05 | Deutsche Thomson-Brandt GmbH | Method for run-length encoding of a bitmap data stream |
| US8214869B2 (en) | 2005-12-29 | 2012-07-03 | Rovi Guides, Inc. | Systems and methods for managing a status change of a multimedia asset in multimedia delivery systems |
| US7765235B2 (en) * | 2005-12-29 | 2010-07-27 | Rovi Guides, Inc. | Systems and methods for resolving conflicts and managing system resources in multimedia delivery systems |
| US10063934B2 (en) | 2008-11-25 | 2018-08-28 | Rovi Technologies Corporation | Reducing unicast session duration with restart TV |
| US8270761B2 (en) * | 2009-01-30 | 2012-09-18 | Hewlett-Packard Development Company, L.P. | Method and system for displaying images |
| US8805418B2 (en) | 2011-12-23 | 2014-08-12 | United Video Properties, Inc. | Methods and systems for performing actions based on location-based rules |
| JP2017228957A (ja) * | 2016-06-23 | 2017-12-28 | カシオ計算機株式会社 | 出力制御装置、出力制御方法及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08275111A (ja) * | 1995-02-03 | 1996-10-18 | Toshiba Corp | 画像情報のエンコード／デコードシステム |
| JPH10188445A (ja) * | 1996-12-19 | 1998-07-21 | Deutsche Thomson Brandt Gmbh | 制御コマンドのシーケンスを生成する方法、制御コマンドのシーケンスを処理する装置、及び制御コマンドを記憶する記憶媒体 |
| JPH10200861A (ja) * | 1996-12-19 | 1998-07-31 | Deutsche Thomson Brandt Gmbh | ディジタル符号化画像の部分を置換する方法及び装置 |
| WO1999022523A1 (en) * | 1997-10-28 | 1999-05-06 | Sun Microsystems, Inc. | Encoding system and method for scrolling encoded mpeg stills in an interactive television application |
| JPH11234622A (ja) * | 1998-02-13 | 1999-08-27 | Toshiba Corp | 映像データの入力処理方法及び装置及び記録媒体 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2513844B2 (ja) * | 1989-07-04 | 1996-07-03 | パイオニア株式会社 | 記録媒体演奏装置 |
| JP2799038B2 (ja) * | 1990-04-10 | 1998-09-17 | 株式会社東芝 | 大規模画像の連続スクロール装置 |
| CA2168641C (en) * | 1995-02-03 | 2000-03-28 | Tetsuya Kitamura | Image information encoding/decoding system |
| KR100203264B1 (ko) * | 1996-06-29 | 1999-06-15 | 윤종용 | 디지탈비디오디스크 시스템의 부영상 복호방법 및그장치 |
| US5949752A (en) * | 1997-10-30 | 1999-09-07 | Wea Manufacturing Inc. | Recording media and methods for display of graphic data, text, and images |
| DE19752507A1 (de) * | 1997-11-27 | 1999-06-02 | Thomson Brandt Gmbh | Vorrichtung zur Erzeugung eines digitalen Videobildes |
| DE19757046A1 (de) * | 1997-12-20 | 1999-06-24 | Thomson Brandt Gmbh | Vorrichtung zur Erzeugung der digitalen Daten für die Bilder einer Animations-/Informations-Sequenz für ein elektronisches Gerät |
| DE19950490A1 (de) * | 1999-10-20 | 2001-04-26 | Thomson Brandt Gmbh | Verfahren zur Kodierung einer Bildsequenz sowie Teilbilddateneinheit zur Verwendung in einem elektronischen Gerät und Datenträger |
-
1999
- 1999-10-20 DE DE19950490A patent/DE19950490A1/de not_active Withdrawn
-
2000
- 2000-10-09 EP EP00121942A patent/EP1094670A3/en not_active Withdrawn
- 2000-10-18 JP JP2000317393A patent/JP4729164B2/ja not_active Expired - Fee Related
- 2000-10-19 US US09/691,806 patent/US6993249B1/en not_active Expired - Lifetime
- 2000-10-20 CN CNB001298488A patent/CN1208955C/zh not_active Expired - Lifetime
-
2005
- 2005-08-04 US US11/197,663 patent/US7590330B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08275111A (ja) * | 1995-02-03 | 1996-10-18 | Toshiba Corp | 画像情報のエンコード／デコードシステム |
| JPH10188445A (ja) * | 1996-12-19 | 1998-07-21 | Deutsche Thomson Brandt Gmbh | 制御コマンドのシーケンスを生成する方法、制御コマンドのシーケンスを処理する装置、及び制御コマンドを記憶する記憶媒体 |
| JPH10200861A (ja) * | 1996-12-19 | 1998-07-31 | Deutsche Thomson Brandt Gmbh | ディジタル符号化画像の部分を置換する方法及び装置 |
| WO1999022523A1 (en) * | 1997-10-28 | 1999-05-06 | Sun Microsystems, Inc. | Encoding system and method for scrolling encoded mpeg stills in an interactive television application |
| JPH11234622A (ja) * | 1998-02-13 | 1999-08-27 | Toshiba Corp | 映像データの入力処理方法及び装置及び記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20050271366A1 (en) | 2005-12-08 |
| JP2001177802A (ja) | 2001-06-29 |
| EP1094670A2 (en) | 2001-04-25 |
| DE19950490A1 (de) | 2001-04-26 |
| EP1094670A3 (en) | 2009-10-14 |
| US7590330B2 (en) | 2009-09-15 |
| US6993249B1 (en) | 2006-01-31 |
| CN1208955C (zh) | 2005-06-29 |
| CN1308459A (zh) | 2001-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7590330B2 (en) | Picture sequences coded for horizontal motion on a display and corresponding data storage media | |
| JP4601716B2 (ja) | 光ディスクにデータストリームを符号化して記録する方法および記録された光ディスク | |
| US6046778A (en) | Apparatus for generating sub-picture units for subtitles and storage medium storing sub-picture unit generation program | |
| US9324360B2 (en) | Storage medium having interactive graphic stream and apparatus for reproducing the same | |
| US8135259B2 (en) | Recording medium having a data structure for managing reproduction of text subtitle data and methods and apparatuses of recording and reproducing | |
| US8289448B2 (en) | Information storage medium containing subtitles and processing apparatus therefor | |
| EP1675395A1 (en) | Reproducing device, reproducing method, reproducing program, and recording medium | |
| EP0961504B1 (en) | Method and apparatus for the recording of video and/or audio signals | |
| US6744970B1 (en) | Method for picture coding and decoding, and also method for constructing a sub-picture data unit for an electronic apparatus, electronic apparatus, and data carrier for use in an electronic apparatus | |
| WO2005071660A1 (en) | Decoder for information stream comprising object data and composition information | |
| WO2006018786A1 (en) | Method of storing and transferring image signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100810 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101108 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |