JP3736504B2 - 画像データ処理装置及び方法 - Google Patents
画像データ処理装置及び方法 Download PDFInfo
- Publication number
- JP3736504B2 JP3736504B2 JP2002199073A JP2002199073A JP3736504B2 JP 3736504 B2 JP3736504 B2 JP 3736504B2 JP 2002199073 A JP2002199073 A JP 2002199073A JP 2002199073 A JP2002199073 A JP 2002199073A JP 3736504 B2 JP3736504 B2 JP 3736504B2
- Authority
- JP
- Japan
- Prior art keywords
- recording
- picture
- vbv
- image data
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/90—Tape-like record carriers
Description
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ方式により符号化した画像データを記録媒体上へ記録する画像データ処理装置及び方法に関する。
【０００２】
【従来の技術】
近年において、動画像を高効率で圧縮符号化する手法として、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８）に代表されるディジタル動画像符号化方式が提案されている。このＭＰＥＧ２方式による画像圧縮は、画像間の動き補償とＤＣＴとを組合せたハイブリッド方式の変換を行い、これにより得られる信号に対してさらに量子化や可変長符号化を施す。
【０００３】
このＭＰＥＧ２方式では、符号化方式として双方向予測符号化方式が採用されている。この双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化及び双方向予測符号化の３タイプの符号化が行われ、各符号化タイプによる画像は、それぞれＩピクチャ、Ｐピクチャ及びＢピクチャと呼ばれている。また、Ｉ，Ｐ，Ｂの各ピクチャを適切に組み合わせてランダムアクセスの単位となるＧＯＰ(Group of Pictures)が構成される。ちなみに各ピクチャの発生符号量は、Ｉピクチャが最も多く、次にＰピクチャ、Ｂピクチャと続くのが一般的である。
【０００４】
このＭＰＥＧ２方式のように、ピクチャタイプ毎に発生符号量が異なる符号化方法において、記録媒体へ記録した符号化ビットストリームを、再生時にデコーダにおいて正確に符号化して画像を得るためには、デコーダにおける入力バッファ内のデータ占有量をエンコーダで常に把握しなければならない。
【０００５】
図１７は、デコーダにおける入力バッファにおける、供給されたＭＰＥＧストリームに対するデータ占有量の推移を表している。この図１７において、横軸は時間を示しており、供給されるＭＰＥＧストリームに含まれる各ピクチャのデコードのタイミング（ｔ１０１、ｔ１０２、ｔ１０３…）が記されている。また縦軸は、入力バッファが格納するデータ占有量を示している。
【０００６】
入力バッファは、ＭＰＥＧ２方式で画像圧縮されたＭＰＥＧストリームをそのビットレートに応じて順次格納していく。そして、ＭＰＥＧストリームの供給が開始されたｔ１００からＶＢＶディレイ(vbv_delay)時間経過したｔ１０１において、デコード処理のために、最初のピクチャがデコーダより引き抜かれる。このデコーダにより引き抜かれるピクチャのデータ量は、そのピクチャのデータサイズ（picture_size）と、ピクチャスタートコードのデータサイズ（picture_start_code）と、シーケンスヘッダのデータサイズ（sequence_header）と、ＧＯＰヘッダのデータサイズ（GOP_header）とを加えたデータ量（以下、イメージサイズと称する）である。
【０００７】
ちなみに入力バッファには、ｔ１０１以降においても、ＭＰＥＧストリームが所定のビットレートに応じて順次供給され続ける。ｔ１０１からデコード管理時間(Decode Time Stamp)の間隔であるΔＤＴＳ毎に経過していくｔ１０２、ｔ１０３、…においても、各ピクチャのイメージサイズ分のデータ量がデコーダにより引き抜かれる。このような入力バッファでは、供給されたＭＰＥＧストリームの総データ量と、各デコードタイミングで引き抜かれたピクチャのイメージサイズの総データ量との差分が、入力バッファのバッファサイズより大きくなるとオーバーフローし、逆に小さくなるとアンダーフローすることとなる。
【０００８】
このため、ＭＰＥＧ方式では、デコーダにおける入力バッファに対応する仮想バッファとして、エンコーダ側にＶＢＶ（Video Buffering Verifier）バッファを想定し、発生する符号量を制御する。エンコーダでは、ＶＢＶバッファを破綻させないように、換言すればＶＢＶバッファをアンダーフロー或いはオーバーフローさせないように各ピクチャの発生符号量をコントロールする。
【０００９】
【発明が解決しようとする課題】
ところで、画像データが既に録画されている磁気テープ等の記録媒体上において、その録画終了位置から画像データを新たに録画する、いわゆるつなぎ録りをするケースがある。ちなみに、フレーム内のみ圧縮するＤＶ（Digital Video）方式のＶＴＲ（Video Tape Recorder）では、１フレームを１０本のトラックに分けて記録するため、テープ走行中に再生から記録に切り替え、録画するフレームを圧縮した画像データを次のトラックから記録することで容易につなぎ録りすることができる。
【００１０】
しかしながら、フレーム間圧縮を利用するＭＰＥＧ２方式では、１フレームのサイズが変動するため、記録するトラックの数を固定することができず、容易につなぎ録りすることができなかった。
【００１１】
またＭＰＥＧ方式では、上述の如くデコード時において入力バッファを、アンダーフロー或いはオーバーフローさせないように各ピクチャの発生符号量をする必要があり、新たに録画する画像圧縮データをＶＢＶバッファのサイズに応じてつなぎ録りする必要があった。すなわち、つなぎ録りする編集点の前後を連続再生しても入力バッファを破綻させることなくデコードできるように、ＶＢＶバッファのサイズに対して最適なデータ占有量に設定する必要があり、このため特開平１１−２０５７３４において新たに録画する画像データの前に、前ピクチャを繰り返して表示するコピーピクチャやスタッフィングバイトを挿入する方法が提案されている。
【００１２】
図１８は、かかる従来例について、記録媒体の編集点前後におけるＭＰＥＧストリームに対するデータ占有量の推移例を表している。VBV_delay_０は、既に記録媒体上に記録されている画像データの記録終了位置直前のＶＢＶディレイであり、VBV_delay_２は、１回目のつなぎ録りを行った画像データの先頭に位置するＩピクチャのＶＢＶディレイである。この図１８の如くVBV_delay_０よりもVBV_delay_２の方が小さい場合には、コピーピクチャ無しでスタッフィングのみ挿入されることとなる。一方、VBV_delay_０よりもVBV_delay_２の方が大きい場合には、コピーピクチャ及びスタッフィングが挿入されることとなる。
【００１３】
しかしながら、１回目のつなぎ録りが行われた記録媒体の編集点において他の画像データを再度録画する、いわゆる２回目のつなぎ録りを行うと以下の問題点が生じる。
【００１４】
先ずVBV_delay_０よりもVBV_delay_２の方が小さいためにスタッフィングバイトのみ挿入される場合において、挿入されるスタッフィングバイトは、編集点直前のビデオエレメンタリストリーム（ＥＳ）と一体としてデコードされる。このため、記録媒体上においてスタッフィングとビデオＥＳとの境界が無くなり、後から分離できないという問題点が生じる。
【００１５】
図１８において、１回目のつなぎ録りを行った画像データのＩピクチャの先頭を編集点として、２回目のつなぎ録りを行う場合に、２回目のつなぎ録りを行った画像データの先頭に位置するＩピクチャのＶＢＶディレイをVBV_delay_３としたとき、VBV_delay_３は、VBV_delay_２より大きく、かつVBV_delay_０より小さい。このため、VBV_delay_３とVBV_delay_０とを比較して挿入するスタッフィングバイト等の量を決めれば足りるところ、VBV_delay_３がVBV_delay_２より大きいため、VBV_delay_０とVBV_delay_２との間に既に挿入されているスタッフィングバイトを残したまま、更にコピーピクチャとスタッフィングバイトを挿入することとなる。このため、無駄な画面ホールドが発生してしまうという問題点があった。
【００１６】
同様に、VBV_delay_０よりもVBV_delay_２の方が大きいためにコピーピクチャ及びスタッフィングバイトが挿入されている場合においても、２回目のつなぎ録りの際に、VBV_delay_３とVBV_delay_０とを比較して挿入するスタッフィングバイト等の量を決めれば足りるところ、VBV_delay_３がVBV_delay_０より小さい場合にはコピーピクチャは不要となるにもかかわらず、VBV_delay_２とVBV_delay_０との関係において不要なコピーピクチャやスタッフィングバイトを残した上で、更に追加のスタッフィングを挿入することとなる。このため、無駄な画面ホールドが発生してしまう。
【００１７】
更に、２回目のつなぎ録り時において、既に録画されている画像データの補助データを記録媒体から読み出したVBV_delay_０を、ＶＢＶバッファにおけるデータ占有量に換算し、これをエンコーダの初期値として設定することにより、つなぎ録りする編集点の前後を連続再生しても入力バッファを破綻させることなくデコードできるようにする方法も提案されている。
【００１８】
しかしながら、VBV_delay_２との関係で無駄なスタッフィングやコピーピクチャが残されていると読み出したVBV_delay_０の値が小さくなりエンコード後の画質が劣化したり、無駄な画面ホールドが生じてしまうという問題点があった。
【００１９】
そこで、本発明は上述した問題点に鑑みて提案されたものであり、その目的とするところは、２回目のつなぎ録り時において、不要なスタッフィングやコピーピクチャを除去し、画質の劣化を防止することができる画像データ処理装置及び方法を提案することにある。
【００２０】
【課題を解決するための手段】
本発明に係る画像データ処理装置は、上述の課題を解決するために、ＭＰＥＧ方式により符号化され、また夫々補助記録領域（ＡＵＸ＿Ｖ）が設けられ、Ｉピクチャ又はＰピクチャを先頭とし、かつＢピクチャを含むデータグループ（Ｐａｃｋ＿Ｖ）からなる画像データを処理する画像データ処理装置において、上記Ｐａｃｋ＿Ｖが既に記録されている記録媒体上の編集点上に、編集されるデータグループ（Ｐａｃｋ＿Ｖ＿ｈ）を記録し、また復号化時に用いられるＶＢＶ（Video Buffering Verifier）バッファのビット占有量に応じて、当該Ｐａｃｋ＿Ｖ＿ｈの前に、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｈ）が設けられ、前ピクチャを繰り返して表示するコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ）を記録媒体上へ記録する記録手段を備え、上記記録手段は、上記記録媒体上の編集点に上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｈが記録されている場合に、当該ＥｄｉｔＰａｃｋ＿Ｖ＿ｈと独立して、新たに入力されたデータグループ（Ｐａｃｋ＿Ｖ＿ｎ）の前に位置し、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｎ）が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｎ）を、上記編集点に基づき記録することを特徴とする。
【００２１】
また、本発明に係る画像データ処理方法は、ＭＰＥＧ方式により符号化され、また夫々補助記録領域（ＡＵＸ＿Ｖ）が設けられ、Ｉピクチャ又はＰピクチャを先頭とし、かつＢピクチャを含むデータグループ（Ｐａｃｋ＿Ｖ）からなる画像データを処理する画像データ処理方法において、上記Ｐａｃｋ＿Ｖが既に記録されている記録媒体上の編集点上に、編集されるデータグループ（Ｐａｃｋ＿Ｖ＿ｈ）を記録し、また復号化時に用いられるＶＢＶ（Video Buffering Verifier）バッファのビット占有量に応じて、当該Ｐａｃｋ＿Ｖ＿ｈの前に、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｈ）が設けられ、前ピクチャを繰り返して表示するコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ）を記録媒体上へ記録する記録ステップを有し、上記記録ステップは、上記記録媒体上の編集点に上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｈが記録されている場合に、当該ＥｄｉｔＰａｃｋ＿Ｖ＿ｈと独立して、新たに入力されたデータグループ（Ｐａｃｋ＿Ｖ＿ｎ）の前に位置し、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｎ）が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｎ）を、上記編集点に基づき記録することを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２３】
本発明を適用した画像データ処理装置１は、動画像を高効率で圧縮符号化するＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８）方式によりディジタル動画像符号化して磁気テープに記録する装置であり、図１に示すように、外部入力部１１と、ピクチャサイズ測定部１２と、エンコーダ１３と、挿入処理部１４と、補助データ生成部１５と、ストリーム記録処理部１６と、ＥＣＣ（Error Correction Code）処理部１７と、記録回路１８と、再生回路１９と、補助データ抽出部２０と、ストリーム再生処理部２１と、ヘッダ抽出部２２と、ＶＢＶ（Video Buffering Verifier）ディレイ抽出部２３と、外部出力部２４と、デコーダ２５と、制御部２６とを備えている。
【００２４】
外部入力部１１は、外部にある他の電子機器からＴＳ（Transport Stream）として伝送される画像データをＰＥＳ（Packetized Elementary Stream）へ分割し、これをストリーム記録処理部１６へ送信する。ちなみに、この外部入力部１１に入力される画像データを構成する各ピクチャのサイズは、ピクチャサイズ測定部１２により測定される。
【００２５】
エンコーダ１３は、ＶＢＶディレイ抽出部２３から送信されるＶＢＶ（Video Buffering Verifier）ディレイに基づいて、入力される画像データを、ピクチャタイプ、量子化ステップ等の符号化パラメータに基づいて符号化を行う。このエンコーダ１３は、この符号化した画像データをストリーム記録処理部１６へ送信する。
【００２６】
挿入処理部１４は、画像データの符号化時において、発生符号量が少ない場合における疑似データとして、前ピクチャを繰り返して表示するコピーピクチャやスタッフィングバイトを生成する。ちなみに、このスタッフィングバイトは、特に意味を持たないデータであり、デコーダ側において読み捨てられる。この挿入処理部１４は、生成したコピーピクチャやスタッフィングバイトをストリーム記録処理部１４へ出力する。
【００２７】
補助データ生成部１５は、Ｉピクチャ又はＰピクチャを先頭とし、Ｂピクチャを含むデータグループ毎に付される補助データ（ＡＵＸ）を挿入処理部１６へ出力する。
【００２８】
ストリーム記録処理部１６は、外部入力部１１或いはエンコーダ１３から画像データを取得する。また、このストリーム処理部１６は、挿入処理部１４からコピーピクチャやスタッフィングバイトが供給され、補助データ生成部１５から補助データが、更にはヘッダ抽出部２２から各種ヘッダが入力される。ストリーム記録処理部１６は、画像データにおけるＩピクチャ或いはＰピクチャから始まるデータグループ間に、補助データやコピーピクチャ等を挿入して一つのデータストリームを形成する。このときストリーム記録処理部１６は、生成したデータストリームからＶＢＶディレイ抽出部２３によりＶＢＶディレイが抽出される場合もある。ストリーム記録処理部１６は、この形成したデータストリームをＥＣＣ処理部１７へ送信する。
【００２９】
ＥＣＣ処理部１７は、入力されたデータストリームに付加されているＥＣＣ（Error Correction Code）を付加し、またインタリーブ処理等を施す。また、このＥＣＣ処理部１７は、図示しない独自のＥＣＣＢａｎｋメモリを有し、実際に磁気テープ４へ記録するデータストリームを一時記憶させる。
【００３０】
記録回路１８は、ＥＣＣ処理部１７から入力されたデータストリームを磁気テープ４へ記録する。この記録回路１８は、例えば、入力されたデータをシリアルデータに変換した上で増幅し、図示しない回転ドラムを介して回転させられる磁気テープ４へ、図示しない磁気ヘッドを介して記録する。
【００３１】
再生回路１９は、磁気テープ４上に記録されている画像データを再生し、また後述する磁気テープ４上の補助記録領域に記録されている補助データを読み出し、これをＥＣＣ処理部１７へ送信する。
【００３２】
ストリーム再生処理部２１は、磁気テープ４から再生される画像データ並びに補助データが再生回路１９及びＥＣＣ処理部１７を介して入力される。このストリーム再生処理部２１は、入力された画像データを外部出力部２４或いはデコーダ２５へ出力する。このストリーム再生処理部２１に入力された補助データにおいて、ＰＴＳ（Presentation Time Stamp)やＤＴＳ(Decoding Time Stamp)についてはヘッダ抽出部２２により抽出され、またＶＢＶディレイについてはＶＢＶディレイ抽出部２３により抽出される。また、その他の補助データについては、補助データ抽出部２０により抽出される。
【００３３】
外部出力部２４は、ストリーム再生処理部２１からＰＥＳとして入力される画像データをデコードしてＴＳ化し、他の電子機器へ伝送する。デコーダ２５は、ストリーム再生処理部２１からＰＥＳとして入力される画像データをピクチャタイプ、量子化ステップ等の符号化パラメータに基づいて復号化を行う。
【００３４】
なお、この画像データ処理装置１を構成する回路、要素は、制御部２６によるコントロールに基づき動作する。
【００３５】
次に、本発明を適用した画像データ処理装置１における磁気テープ４への記録方式について説明をする。なお、ここで説明する記録方式は、特開２００１−２７５０７７において提案されている方式に基づく。
【００３６】
磁気テープ４は、図２に示すように、磁気ヘッドにより映像信号等の情報が記録されるヘリカルトラック３２から構成される。
【００３７】
ヘリカルトラック３２は、磁気テープ４の長手方向に対して傾斜されて形成されている。
【００３８】
１本のヘリカルトラック３２は、図３に示すように、１２３個のシンクブロックと１８個のＣ２パリティシンクブロックから構成される。このヘリカルトラック３２の１６本をＥＣＣ処理部１７におけるＣ２ＥＣＣのインタリーブ単位とする。ＥＣＣ処理部１７では、この１６本分のヘリカルトラック３２におけるシンクブロックをＥＣＣ面にインタリーブして割り当て、Ｃ２パリティを生成してこれをＣ２パリティシンクブロックへ記録する。
【００３９】
また１つのシンクブロックは、９５バイトのデータ部に、１バイトのシンクブロックヘッダ（ＳＢヘッダ）と、トラックペアＮｏ．やシンクブロックＮｏ．等からなる３バイトのＩＤ部と、それらを対象としたＣ１パリティの１０バイトが付されており、さらに２バイトのシンクパターンを先頭に付した１１１バイトで構成されている。
【００４０】
このトラックペアＮｏ．は、−アジマス、＋アジマスの順で隣り合うヘリカルトラック３２間で同値をとる。以下このトラックペアＮｏ．を２倍して＋アジマストラックのみ１を加えたＮｏ．をトラックＮｏ．とする。またＳＢヘッダは、そのシンクブロックに記録されるデータの種類が記録されている。
【００４１】
ちなみに、ＭＰＥＧ２方式のＰＥＳパケットとして構成されているＶｉｄｅｏデータやＡｕｄｉｏデータは、夫々シンクブロックに分割して記録されることとなる。Ｖｉｄｅｏデータは図４に示すように、Ｉピクチャ、Ｂピクチャ、Ｂピクチャの３フレーム、或いはＰピクチャ、Ｂピクチャ、Ｂピクチャの３フレームのＰＥＳを結合し、これにＰＴＳ時刻に応じたＡｕｄｉｏデータを加えて、Ａｕｄｉｏ、Ｖｉｄｅｏの順で交互にシンクブロック上へ記録する。このＡｕｄｉｏとＶｉｄｅｏの結合単位を以後、Ｐａｃｋと称する。また、Ｉピクチャ、Ｂピクチャ、Ｂピクチャの順で構成される３フレームのＶｉｄｅｏデータ、或いはＰピクチャ、Ｂピクチャ、Ｂピクチャの順で構成される３フレームのＶｉｄｅｏデータをデータグループと称する。
【００４２】
なお、Ａｕｄｉｏデータの補助データとしてＡＵＸ−Ａを、またＶｉｄｅｏデータの補助データとしてＡＵＸ−ＶのシンクブロックをＰａｃｋ毎に記録する。
【００４３】
次に本発明を適用した画像データ処理装置１の動作について説明をする。
【００４４】
ＭＰＥＧ２方式を採用する画像データ処理装置１は、ピクチャタイプ毎に発生符号量が異なるため、磁気テープ４へ記録したデータストリームを、再生時にデコーダ２５において正確に符号化して画像を得るためには、デコーダ２５における入力バッファ内のデータ占有量をエンコーダ１３で常に把握しなければならない。
【００４５】
図５は、画像データ処理装置１に対して最後に供給されたデータグループＬにおける、デコーダ２５の入力バッファのデータ占有量の推移を表している。この図５において、横軸は時刻を示しており、供給されるデータグループＬを構成する各ピクチャのデコードのタイミング（Ｐ、Ｂ１、Ｂ２）が記されている。また縦軸は、入力バッファが格納するデータ占有量を示している。
【００４６】
入力バッファは、ＭＰＥＧ２方式で圧縮符号化されたデータストリームをそのビットレートに応じて順次格納していく。Ｐピクチャが供給される時刻は、ｔ１１からｔ１２までであり、またＢ１ピクチャが供給される時刻は、ｔ１２からｔ１３までであり、更にＢ２ピクチャが供給される時刻は、ｔ１３からｔ１４までである。またデコーダ２５は、デコード処理のため、ｔ２１においてＰピクチャを引き抜く。同様にデコーダ２５は、デコード処理のため、ｔ２２においてＢ１ピクチャを引き抜き、更にｔ２３においてＢ２ピクチャを引き抜く。
【００４７】
このデコーダ２５により引き抜かれる各ピクチャのデータ量は、ピクチャのデータサイズ（picture_size）と、ピクチャスタートコードのデータサイズ（picture_start_code）と、シーケンスヘッダのデータサイズ（sequence_header）と、ＧＯＰヘッダのデータサイズ（GOP_header）とを加えたデータ量（以下、イメージサイズと称する）である。また、このデータグループＬの先頭に位置するＰピクチャのピクチャスタートコードの最終バイトが供給されてから、デコーダ２５により引き抜かれる時間（ｔ１１〜ｔ２１）をＶＢＶディレイ（vbv_delay_l）と称する。
【００４８】
また図５においてデータグループＬの後方には、データグループＬの次に挿入すべきピクチャ（以下、次ピクチャと称する）が示されている。この次ピクチャのＶＢＶディレイ（vbv_delay_n）は、ｔ１４からｔ１５までの時間である。画像データ処理装置１は、最後にデータグループＬが供給されたときに、多めにエンコードすることにより、この次ピクチャのvbv_delay_nを取得することができる。
【００４９】
画像データ処理装置１は、このようにして取得することができるＶＢＶディレイ（vbv_delay_l、vbv_delay_n）を補助データとして、各データグループ毎に設けられたＡＵＸ−Ｖへ記録する。図５下段はデータグループＬ並びに次ピクチャについて設けられたＡＵＸ−Ｖの磁気テープ４における記録位置を示している。データグループＬにおけるＡＵＸ−Ｖの記録位置は、データグループＬの先頭に位置するＰピクチャの前に設けられている。同様に次ピクチャのＡＵＸ−Ｖのシンクブロックは、次ピクチャの記録位置前方であり、かつデータグループＬの記録位置後方に設けられている。
【００５０】
画像データ処理装置１は、データグループＬのＰピクチャについて取得したvbv_delay_lを、データグループＬについて設けられたＡＵＸ−Ｖへ記録する。同様に次ピクチャについて取得したvbv_delay_nを、次ピクチャについて設けられたＡＵＸ−Ｖへ記録する。
【００５１】
このようなデータストリームが記録された磁気テープ４を再生することにより、各ＡＵＸ−Ｖに記録されているvbv_delay_l,vbv_delay_nを読み出すことができる。これにより、画像データ処理装置１は、画像データが既に記録されている磁気テープ４において、その記録終了位置から画像データを新たに記録する、いわゆるつなぎ録りをする場合においても、既に記録されている画像データの情報を得ることができる。なお、つなぎ録りする画像データに対して、このようにvbv_delay_l等を同時に記録しておく画像データを下地画像データという。
【００５２】
すなわち、この画像データ処理装置１は、次ピクチャをつなぎ録りする画像データとして想定することにより、つなぎ録りする次ピクチャがもつべきvbv_delay_nを記録時に予め求めて磁気テープ４上へ記録することができる。これにより再生時において、磁気テープ４からvbv_delay_nを読み出すだけで、ＶＢＶバッファにおけるデータ占有量に換算してエンコーダの初期値として設定することができるため、１フレームのサイズが変動するＭＰＥＧ２方式においても、各ピクチャの発生符号量を制御することができ、入力バッファを破綻させることなく容易につなぎ録りを行うことができる。
【００５３】
なお、画像データ処理装置１は、このデータグループＬについて、最後に供給されたデータグループであることを示すためのＥＮＤ点フラグをＡＵＸ−Ｖへ記録することも可能である。これにより、つなぎ録りする際に、このＥＮＤ点フラグに基づいて画像データが記録されている領域を容易に識別することができ、既存の画像データ上に上書きしてしまうような不都合を回避することも可能となる。
【００５４】
また画像データ処理装置１は、最後に供給されるデータグループＬや次ピクチャに限らず、他の全てのデータグループ毎に先頭のピクチャのＶＢＶディレイを識別し、これを各データグループ毎に設けられたＡＵＸ−Ｖへ記録しても良い。次ピクチャのＡＵＸ−Ｖにおいても同様にvbv_delay_nが記録されているため、各ピクチャ毎にＶＢＶディレイをＡＵＸ−Ｖへ記録することにより、記録媒体上に設けられた全てのＡＵＸ−Ｖの補助データ種を共通化することができる。
【００５５】
さらに画像データ処理装置１は、補助データとして、ＶＢＶディレイ以外にＤＴＳ等を用いてこれをＡＵＸ−Ｖへ記録しても良く、またＶＢＶディレイの代替としてＤＴＳやＰＴＳを用いても良いことは勿論である。
【００５６】
他の電子機器から入力されたＤＴＳやＰＴＳをそのままＡＵＸ−Ｖへ記録すると、再生時において、記録したＤＴＳやＰＴＳがジャンプしてしまう場合があるため、通常このＤＴＳやＰＴＳにオフセット値を加算してからＡＵＸ−Ｖへ記録する。データグループＬのＡＵＸ−Ｖから取得したＤＴＳをＤＴＳ０とする。また、つなぎ録りする次ピクチャから取得したＤＴＳをＤＴＳ２とする。このとき、オフセット値を、ＤＴＳ０−ＤＴＳ２＋（コピーピクチャの枚数）×（コピーピクチャの表示時間）、に基づいて演算し、これをＤＴＳ又はＰＴＳに加算してから記録を行う。
【００５７】
符号化されたストリームや、他の電子機器から入力されたストリームを途中で打ち切る場合には、上述の如く次ピクチャのvbv_delay_nの値を認識することができるが、他の電子機器から供給されたデータストリームを最後のピクチャまで全て記録しきったときには次ピクチャが存在しない。かかる場合には、次ピクチャのvbv_delay_nの値を認識することができず、記録時においてＡＵＸ−Ｖ上に補助データとして記録することができない。このため、他の電子機器から供給されたピクチャを磁気テープ４上へ記録する場合には、記録時において予め次ピクチャのvbv_delay_nの値を演算し、これを次ピクチャのＡＵＸ−Ｖへ記録しておく。これにより、再生時において、この次ピクチャのvbv_delay_nを容易に読み出すことができ、入力バッファを破綻させることなく容易につなぎ録りを行うことができる。
【００５８】
図６は、この次ピクチャのvbv_delay_nの値が未知の場合に、記録時に予め演算する例を説明するための図である。画像データ処理装置１には、最後に供給され、Ｐピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャの順で構成されるデータグループＬが供給される。このとき、画像データ処理装置１は、この最後に供給されるデータグループＬの次に供給されるべき次ピクチャのvbv_delay_nを、データグループＬの先頭に位置するＰピクチャのvbv_delay_lと、当該データグループＬの転送時間（ＦＴ）並びに表示時間（ＥＴ）とから、以下の式（１）により求める。
vbv_delay_n＝vbv_delay_l＋ＥＴ−ＦＴ （１）
ここで転送時間ＦＴについては、データグループＬを構成する３フレームを抽出してビット数の合計（ｄビット）を演算する。そして、このｄをビットレート（Bitrate）で割ると転送に必要な時間となり、これに９００００を乗じることにより、ＶＢＶディレイと同じ９０ＫＨｚの時間軸における転送時間（ＦＴ）となる。またこのデータグループＬを構成する３フレームの表示間隔（ＥＴ）は、フレームレートが２９．９７Ｈｚの場合において３００３の３倍となり、これと上述のＦＴとの差分がＶＢＶディレイの変化量となる。これによりvbv_delay_nは、さらに以下の（２）式により求めることができる。
vbv_delay_n＝vbv_delay_l＋3003×3−90000×d/ Bitrate （２）
画像データ処理装置１は、このようにして求めたvbv_delay_nを、次ピクチャのＡＵＸ−Ｖに記録する。ＡＵＸ-Ｖに対してＶＢＶディレイを記録する場合のみならず、ＤＴＳを記録する場合においても、同様の手法により次ピクチャのＤＴＳを予め求めることができる。
【００５９】
このように、本発明に係る画像データ処理装置１は、次ピクチャのvbv_delay_nの値が未知であっても、上述の計算式（１）或いは（２）に基づいて求めることができるため、再生時においてエンコーダの初期値を得るために記録終了位置直前において既に録画されている画像データをすべて読み出し、ピクチャサイズを計算する必要がなくなる。これにより本発明に係る画像データ処理装置１は、計算時間を減らすことができ、ＲＥＣ操作の遷移時間を短くすることも可能となる。
【００６０】
次につなぎ録り時における、ＥＣＣ処理部１７のＥＣＣＢａｎｋメモリの処理について説明をする。
【００６１】
先ず録画（ＲＥＣ）中に、一時停止（ＲＥＣ−ＰＡＵＳＥ）し、再度録画（ＲＥＣ）することによりつなぎ録りする場合について説明をする。エンコーダ１３により符号化されたデータストリームや、外部入力部１１を介して入力されたデータストリームを磁気テープ４上へ記録中に、ＲＥＣ−ＰＡＵＳＥ操作を行った場合、図７に示すように、最後に供給される３フレームのピクチャからなるデータグループＬをＥＣＣＢａｎｋに書き込み終わったときのシンクブロックを記録ＥＮＤ点とし、その後に再度ＲＥＣ操作を行うことによりつなぎ録りする次ピクチャが含まれるＰａｃｋのＡＵＸ−Ａと、Ａｕｄｉｏデータのシンクブロックを書き込む。そして最後に次ピクチャのvbv_delay_nやＥＮＤ点フラグ等の補助データを記録するためのＡＵＸ−Ｖのシンクブロックを書き込む。
【００６２】
この図７に示すＡＵＸ−ＡからＡＵＸ−Ｖまでがつなぎ録り時において、補助データを読み出し、つなぎ録りするデータストリームの書き込みを開始するエリアである。ちなみに当該エリアが、このＡＵＸ−Ａのシンクブロックを含むＥＣＣＢａｎｋから、その次のＥＣＣＢａｎｋまでに至る場合において、記録処理を共通化するため、次ピクチャのＡＵＸ−Ｖにおけるシンクブロックの次のシンクブロック以降をＮｕｌｌデータで埋める。
【００６３】
ＥＣＣ処理部１７は、供給されるデータストリーム全てを記録して下地画像データを生成するのに必要なＥＣＣＢａｎｋを、シンクブロック或いはＮｕｌｌデータで埋めた後、磁気テープ４上へ記録する際に使用する記録電流や、図示しない回転ドラム等のような磁気テープ４へデータストリームを記録するための機構を停止させる。これは、磁気テープ４へ記録する際に、最後に記録すべきヘリカルトラックへデータを記録した後に即記録電流を停止すると、その最後に記録すべきヘリカルトラックにエラーが生じる可能性があるため、余分に記録電流を流しておくためである。
【００６４】
また、磁気テープ４における下地画像データの記録ＥＮＤ点からつなぎ録りを行う場合には、先ず磁気テープ４を再生することにより、既に記録してある下地画像データのデータストリームを一度ＥＣＣ処理部１７におけるＥＣＣＢａｎｋへ書き込み、各ＡＵＸ−ＶからＥＮＤ点フラグを探し出す。そしてかかるＥＮＤ点フラグが付されているＡＵＸ−Ｖを含むＥＣＣＢａｎｋと、その次に続くＥＣＣＢａｎｋのみをＥＣＣＢａｎｋメモリへ保存しておき、それ以降のＥＣＣＢａｎｋのメモリへの書き込みを中止して次ピクチャの記録へ備える。このとき、ＥＮＤ点フラグが存在するＡＵＸ−ＶからＶＢＶディレイやＤＴＳ等を取り出しておいてもよい。
【００６５】
次に磁気テープ４の再生画を見ながら、つなぎ録りする次ピクチャの記録を開始する再記録位置を指定する場合について説明をする。ＥＣＣＢａｎｋにおいて、再生ＰＡＵＳＥ操作時に画面上に表示されていた画像のデータストリームは、後から供給される画像のデータストリームにより上書きされている場合が多い。
【００６６】
また、３フレームから構成されるデータグループ毎に磁気テープ４上へ記録していく本発明では、再生画を見ながら指定した次ピクチャの再記録位置に、Ｉピクチャ、或いはＰピクチャが存在している場合は、当該Ｉピクチャ、或いはＰピクチャの直前を次ピクチャの再記録位置とするが、一方、指定した次ピクチャの再記録位置に、Ｂピクチャが存在している場合には、当該Ｂピクチャを構成するデータグループ先頭のＩピクチャ、或いはＰピクチャの直前を次ピクチャの再記録位置とする。
【００６７】
ＥＣＣ処理部１７は、このようにして次ピクチャの再記録位置を、指定した記録位置に存在するピクチャタイプに応じて決定し、磁気テープ４を決定した記録位置に応じて巻き戻して再生し、これを順次ＥＣＣＢａｎｋメモリへ書き込んでいく。その際にＤＴＳ等を介して、決定した再記録位置や、その再記録位置の直後に位置するデータグループのＩピクチャ或いはＰピクチャをサーチし、そのＰａｃｋ先頭のＡＵＸ−Ａを含むＥＣＣＢａｎｋと、その次に続くＥＣＣＢａｎｋのみをＥＣＣＢａｎｋメモリへ保存しておき、それ以降のＥＣＣＢａｎｋのＥＣＣｂａｎｋメモリへの書き込みを中止して次ピクチャの記録へ備える。このときも同様に、ＥＮＤ点フラグが存在するＡＵＸ−ＶからＶＢＶディレイやＤＴＳ等を取り出しておいてもよい。
【００６８】
磁気テープ４の再生画を見ることなく、再記録位置を選ばずにつなぎ録りを行なう場合には、磁気テープ４を再生してデータストリームを順次ＥＣＣＢａｎｋメモリへ書き込んでいく。その際に再記録位置を、データグループ単位で再生順にサーチする。そして任意の再記録位置の直後に位置するデータグループのＩピクチャ或いはＰピクチャの先頭のＡＵＸ−Ａを含むＥＣＣＢａｎｋと、その次に続くＥＣＣＢａｎｋのみをＥＣＣＢａｎｋメモリへ保存しておき、それ以降のＥＣＣＢａｎｋのＥＣＣＢａｎｋメモリへの書き込みを中止して次ピクチャの記録へ備える。このときも同様に、ＥＮＤ点フラグが存在するＡＵＸ−ＶからＶＢＶディレイやＤＴＳ等を取り出しておいてもよい。
【００６９】
なお、上述の如くＥＣＣＢａｎｋメモリへ２つのＥＣＣＢａｎｋが保存されている場合において、新たに入力されるデータストリームは、以下のようにしてＥＣＣＢａｎｋから書き戻す。すなわち、再記録位置直前のシンクブロック内のデータストリームは、そのままＥＣＣＢａｎｋメモリへ残しておく。そして再記録位置以降のシンクブロックに新たに入力されるデータストリームを重ね書きし、ＥＣＣＢａｎｋメモリ上で合成する。このとき、この新たなデータストリームが重ね書きされて合成されたＥＣＣＢａｎｋメモリ内の各データストリームについて夫々Ｃ２パリティを生成し直す。
【００７０】
そして再生するデータストリームのトラックＮｏ．を視認しつつ再生を行い、ＥＣＣＢａｎｋに付されたトラックＮｏ．と一致するトラックからつなぎ録りを行うようにする。すなわち、書き戻す前後のデータストリームを磁気テープ４上において連続しておくことにより、つなぎ録りを開始する再記録位置において特別な処理を施すことなく、スムーズな再生を実現することができる。
【００７１】
次に、上述の如く下地画像データが形成された磁気テープ４の再生時において、ＡＵＸ−Ｖに記録されている次ピクチャのvbv_delay_nを継承してエンコーダの初期値として設定する方法について説明をする。
【００７２】
画像データ処理装置１は、再生時において、ＡＵＸ−Ｖに記録されている次ピクチャのvbv_delay_nを取得し、これをエンコーダ１３におけるＶＢＶバッファのデータ占有量（vbv_occupancy）に換算し、この値をエンコーダの初期値として設定する。このＶＢＶバッファは、デコーダ２５における入力バッファに対応する仮想バッファとして想定することで、各ピクチャ毎に発生する符号量を制御すべく設けられるものである。このＶＢＶバッファのvbv_occupancyは、継承したvbv_delay_nに基づき、以下の（３）式により演算することができる。
vbv_occupancy＝vbv_delay_n×Bitrate／９００００ （３）
ところで、この（３）式により求められたvbv_occupancyは、画質にとって最適な値になるとは限らず、アンダーフローやオーバーフローが生じ、継続的に画質を劣化させてしまう場合がある。このため、この（３）式により求められたvbv_occupancyがいかなる値であっても、ＶＢＶバッファの容量に応じてこれを最適にコントロールし、画質の劣化を防止する必要がある。
【００７３】
画像データ処理装置１は、（３）式により演算したvbv_occupancyの初期値（以下、この初期値をvbv_occupancy_fと称する）から、徐々にこのvbv_occupancyを補正することにより、最適なvbv_occupancyの目標値（以下、この目標値をvbv_occupancy_tと称する）へ遷移させる。具体的には、vbv_occupancy_fとvbv_occupancy_tの差分を求めることにより、vbv_occupancy_tへ収束させるために必要な符号発生補正量を求める。次にこの符号発生補正量を、vbv_occupancy_tへ遷移させるのに必要なＧＯＰの数（以下、このＧＯＰの数をnumber_GOPと称する）で割ることにより、１ＧＯＰあたりの符号発生量補正値を求める。すなわち、この符号発生量補正値は、以下の（４）式により演算することができる。
符号発生量補正値＝（vbv_occupancy_t−vbv_occupancy_f）／number_GOP （４）
このように画像データ処理装置１は、vbv_occupancy_fからvbv_occupancy_tへ遷移させるために複数のＧＯＰを費やす。すなわち、目標とするvbv_occupancy_tへ複数のＧＯＰ数（number_GOP）をかけて徐々に補正することができるため、１ＧＯＰあたりの補正量を減らすことができ、一時的な画質の劣化を抑えることができる。
【００７４】
図８は、このエンコーダ１３における符号量制御のフローを示しており、図中矢印方向は時間軸を表している。
【００７５】
先ずステップＳ１１において、（３）式よりvbv_delay_nに基づいて演算したvbv_occupancy_fと、vbv_occupancy_tとの差分を求める。次にステップＳ１２において、この求めた差分をnumber_GOPで除して、１ＧＯＰあたりの符号発生量補正値を求める。次に、ステップＳ１３において、ビットレートにより制御された各ＧＯＰにおける符号の総加算量に対し、この符号発生量補正値を減算することにより補正する。
【００７６】
一方、GOP先頭を除く各画像データは、ステップＳ２１において、各フレーム毎にremain_bit_GOPから発生符号量を減算される。またGOP先頭ではステップＳ２２において、ステップＳ２１を経た各画像データの符号量に対して、ステップＳ１３にて各ＧＯＰ毎に補正された総加算量が加算され、さらにステップＳ２３の１フレーム単位のエンコード処理に基づくフレーム内発生符号量が減算される。エンコーダ１３は、このようにして符号量制御されたremain_bit_GOPを得ることができる。このremain_bit_GOPは、ＧＯＰ単位で符号量をコントロールされているため、継続的に画質が劣化することはなくなる。
【００７７】
ちなみにこのnumber_GOPは、いかなる値に設定しても良く、また一定の値に固定しても良いし、vbv_occupancy_t−vbv_occupancy_fの値に応じてその都度任意に設定しても良い。仮にnumber_GOPを一定の値に固定すると、vbv_occupancy_t−vbv_occupancy_fの値を問わず各ＧＯＰへ均等に割り振ることができる。またnumber_GOPをvbv_occupancy_t−vbv_occupancy_fの値に応じてその都度任意に設定することにより、１ＧＯＰあたりの補正量を最初に決め、必要なnumber_GOPを後から設定することも可能となる。
【００７８】
画像データ処理装置１は、上述のremain_bit_GOPを各ピクチャへ割り当てる。このときピクチャタイプ毎の複雑さに応じて、割り当てる符号量を変えても良い。
【００７９】
例えば、Ｉピクチャの複雑さを示す係数をXi、Ｐピクチャの複雑さを示す係数をXp、Ｂピクチャの複雑さを示す係数をXbとし、ＧＯＰ内におけるＰピクチャの未符号化枚数をNp、ＧＯＰ内におけるＢピクチャの未符号化枚数をNbとするとき、Ｉピクチャの割り当て係数Y_i、Ｐピクチャの割り当て係数Y_p、Ｂピクチャの割り当て係数Y_bは、夫々以下の式（５）、（６）、（７）により表すことができる。
Y_i=1+Np・Xp/Xi・1/Kp+Nb・Xb/Xi・1/Kb （５）
Y_p=Np+Nb・Xb/Xp・Kp/Kb （６）
Y_b=Nb+Np・Xp/Xb・Kb/Kp （７）
（Kp=1.0, Kb=1.4）
ここでremain_bit_GOPを、上述の如く求められた各ピクチャの割り当て係数Y_i、Y_p、Y_bにより除算することにより、各ピクチャタイプへ割り当てる符号量を求めることができる。なお、Xi,Xp,Xbの各初期値を、それぞれ1.39×bitrate,0.52×bitrate,0.37×bitrateとしても良い。
【００８０】
次に、継承したvbv_delay_nに基づいて演算したvbv_occupancy_fの値が極端に小さい場合における処理について説明をする。
【００８１】
（３）式により演算したvbv_occupancy_fが極端に小さいと、式（４）に基づいてvbv_occupancy_tへ遷移させても、以下に説明する理由により画質が大幅に劣化してしまう。
【００８２】
すなわち、つなぎ録りする次ピクチャの発生符号量との関係で、極端にvbv_occupancy_fが小さいと、エンコード時においてＶＢＶバッファのアンダーフローが生じないように、次ピクチャの発生符号量に制約がかかり、画質が劣化してしまう。またかかる場合に、number_GOPを一定の値に固定すると、vbv_occupancy_tへ遷移するまでの最初の数ＧＯＰは、極端にvbv_occupancyが低い状態であるため、画質が著しく劣化し、また最適なvbv_occupancy_tへ遷移するまで長時間を費やすため、早期に画質を改善することができない。更にvbv_occupancy_tへの遷移時間を短縮するために、１ＧＯＰあたりの符号発生補正量を大きくすると、vbv_occupancy_tへ遷移するまでの間、画質が大幅に劣化してしまう。
【００８３】
このため、本発明にかかる画像データ処理装置１では、かかる画質の劣化を抑えるべく、（３）式により演算したvbv_occupancy_fについて、所定の設定値を下回る場合にコピーピクチャを挿入することにより、大幅な画質劣化よりむしろ画面のホールドを選択できるようにする。
【００８４】
図９(a)に示すように、vbv_delay_nに基づいて演算したvbv_occupancy_fが、設定値を下回る場合において、図９(b)に示すように、コピーピクチャを挿入し続ける。これにより、ＶＢＶディレイ（vbv_delay_n2）は、ｔ４１からｔ４２の時間帯に相当することとなるため見かけ上大きくなり、これに基づいて演算されたvbv_occupancy_f2は、設定値を上回る。これにより、画面がホールドされる時間は増加するが、画質の劣化を抑えることが可能となる。
【００８５】
なお、このコピーピクチャの挿入枚数（Ｎ）は、次ピクチャのvbv_delay_n2に応じて得られるvbv_occupancy_f2が設定値以上となるように計算して決定する。
【００８６】
先ず、コピーピクチャをＮ枚挿入すると、次ピクチャの引き抜かれる時刻ｔ４２がＮ枚分遅延するため、vbv_delay_n2は、Ｎ枚分長くなる。一方、コピーピクチャ１枚の転送時間ＦＴのＮ倍だけ次ピクチャが後ろへずれることになるため、その分vbv_delay_n2は短くなる。
【００８７】
ここでコピーピクチャ１枚の表示時間をＥＴとしたとき、vbv_delay_n2は、以下の（８）式により表される。
vbv_delay_n2＝vbv_delay_n＋Ｎ×（ＥＴ−ＦＴ） （８）
ちなみにコピーピクチャの表示時間ＥＴは、フレーム周波数が２９．９７Ｈｚのときに３００３となり、フレーム周波数が２５Ｈｚのときは３６００となる。
【００８８】
コピーピクチャの枚数（Ｎ）は、vbv_delay_n2が、vbv_occupancyの設定値から（３）式を用いて演算したvbv_delayの設定値（vbv_delay_s）以上となるように計算して求める。すなわち、上述した（８）式に基づき以下に示す（９）式を導き出すことができる。
vbv_delay_n＋Ｎ×（ＥＴ−ＦＴ）≧vbv_delay_s （９）
この（９）式を変形した以下の（１０）式により、コピーピクチャの挿入枚数（Ｎ）を求める。
Ｎ≧（vbv_delay_s−vbv_delay_n）／（ＥＴ−ＦＴ） （１０）
本発明を適用した画像データ処理装置１では、このように演算したコピーピクチャをＮ枚挿入することにより得られるvbv_delay_n2を取得し、ＶＢＶバッファにおけるデータ占有量に換算してエンコーダの初期値とすることができる。これにより、（３）式により演算したvbv_occupancy_fが極端に小さい場合であっても、大幅に画質を劣化させることなくvbv_occupancyを最適にコントロールすることができる。
【００８９】
次に、他の電子機器から入力された画像データのデータストリームをつなぎ録りする場合において、継承したvbv_delay_nの値が極端に小さいときの処理について説明をする。
【００９０】
他の電子機器から入力されたデータストリームをつなぎ録りする場合には、コピーピクチャに加えてスタッフィングバイトを挿入することにより、vbv_occupancyをコントロールする。
【００９１】
図１０に示すように、vbv_delay_nに基づいて演算したvbv_occupancy_fが、設定値を下回る場合において、ｔ５１からｔ５２まで、コピーピクチャを挿入し、またスタッフィングバイトを挿入する。
【００９２】
このコピーピクチャの枚数やスタッフィングバイトの量は以下の方法で決定することができる。
【００９３】
先ず、記録ＥＮＤ点の直後に位置する次ピクチャのＡＵＸ−Ｖからvbv_delay_nを取得する。次に、つなぎ録りする画像データが他の電子機器から供給されたときに、当該供給された画像データの先頭に位置するＩピクチャのヘッダからＶＢＶディレイを取得し、これをvbv_delay_n3とする。また、次ピクチャのヘッダから４００ｂｐｓ単位で表されるBitrateを取得する。
【００９４】
このとき、コピーピクチャのバイト数をB_copyとしたとき、その転送時間を９０ＫＨｚ単位に換算したT_copyは、以下の式（１１）で表すことができる。
T_copy＝B_copy/Bitrate×換算係数 （１１）
この換算係数は、９０ＫＨｚ単位において、以下の（１２）式により１８００となる。
90000Hz×8bit/400bps＝1800 （１２）
ここで、取得したＶＢＶディレイの差分値VBVD_TNは、以下の（１３）により定義することができる。
VBVD_TN＝vbv_delay_n3−vbv_delay_n （１３）
ここで、VBVD_TN≦0のとき、コピーピクチャの枚数（N_copy）を０とし、スタッフィングバイトの挿入のみ実行する。一方、VBVD_TN＞0のとき、以下の（１４）式により求めた枚数（N_copy）分、コピーピクチャを挿入する。ちなみに、この（１４）式では求めるN_copyを整数に切り上げる。
N_copy＝VBVD_TN/（ＥＴ−T_copy） (１４）
また（１４）式において整数に切り上げられた分を（１５）、（１６）式により求められるスタッフィングバイト（B_Stuf）により補う。
T_Stuf＝（ＥＴ−T_copy）×Ｎ−VBVD_TN （１５）
B_Stuf＝T_Stuf×Bitrate/1800 （１６）
すなわち、本発明を適用した画像データ処理装置１は、他の電子機器からデータストリームが入力された場合において、夫々取得したvbv_delay_nと、vbv_delay_n3に応じて、コピーピクチャを挿入し、或いはスタッフィングバイトを挿入することができる。これにより、vbv_delay_n3に対して、vbv_delay_nがいかなる値であっても、コピーピクチャを挿入し、またスタッフィングバイトを挿入することができるため、画質をほとんど劣化させることなく、所望のvbv_occupancyへコントロールすることができる。
【００９５】
ちなみに、記録ＥＮＤ点直後のピクチャタイプがＰピクチャである場合において、当該Ｐピクチャから、Ｉピクチャで始まる次ピクチャをつなぎ録りする場合には、図１１に示すように、シーケンスヘッダ／ＧＯＰヘッダ分だけレートが上がってしまう。このため、シーケンスヘッダ／ＧＯＰヘッダ分応じたＶＢＶディレイを補正値として、求めたvbv_delay_nから差し引く必要がある。
【００９６】
この補正値を計算する際には、整数でステップ化する。この整数によるステップ化の際に、端数が生じた場合には切り上げることにより、シーケンスヘッダ／ＧＯＰヘッダ分のレートを下げるようにする。演算した補正値は、次ピクチャのvbv_delay_nの継承時、コピーピクチャやスタッフィング量の計算時において用いる。
【００９７】
次に、演算したコピーピクチャやスタッフィングの記録方法について説明をする。
【００９８】
図１２に示すように、磁気テープ上には、夫々ＡＵＸ＿Ｖが設けられ、Ｉピクチャ又はＰピクチャを先頭とし、Ｂピクチャを含むデータグループが既に記録されている。ちなみに図１２に示す例では、下地画像データの例として、画像データ処理装置１に対して最後に供給されたデータグループＬが示されている。
【００９９】
このデータグループＬの記録ＥＮＤ点以降の再記録位置には、１回目のつなぎ録りする次ピクチャを含むデータグループＮ１が記録されることとなる。このデータグループＮ１においても補助データを記録するためのＡＵＸ＿Ｖが設けられている。
【０１００】
更に、データグループＬとデータグループＮ１の間には、挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｈ）が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ）が記録される。このＥｄｉｔＰａｃｋ＿Ｖ＿ｈは、ＶＢＶバッファのビット占有量に応じて設けられる。
【０１０１】
このコピーピクチャやスタッフィングバイトを一つにまとめたＥｄｉｔＰａｃｋ＿Ｖ＿ｈは、あくまでデータグループＬやデータグループＮ１と独立したデータグループとして記録する。これにより、状況に応じてこのＥｄｉｔＰａｃｋ＿Ｖ＿ｈのみを分離することが可能となる。ＥｄｉｔＡＵＸ＿Ｖ＿ｈには、スタッフィングのＶＢＶディレイに相当する値を記録する。このとき、データグループＮ１のＡＵＸ−Ｖ記録されているvbv_delay_nを継承して、このＥｄｉｔＡＵＸ＿Ｖ＿ｈへ記録してもよい。
【０１０２】
このように１回目のつなぎ録りが行われた記録媒体の再記録位置において他の画像データを再度録画する、いわゆる２回目のつなぎ録りを行う場合には、このＥｄｉｔＰａｃｋ＿Ｖ＿ｈを分離して除去する。そして、図１２に示すように、２回目のつなぎ録りを行うデータグループＮ２が記録される。このデータグループＮ１においても補助データを記録するためのＡＵＸ＿Ｖが設けられている。更に、データグループＬとデータグループＮ２の間に、挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｈ２）が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ２）が記録される。
【０１０３】
このように、２回目のつなぎ録り時において、１回目のつなぎ録り時に記録したＥｄｉｔＰａｃｋ＿Ｖ＿ｈを除去することにより、以下の効果を得ることができる。
【０１０４】
図１３は、１回目のつなぎ録りを行ったデータグループＮ１の先頭を再記録位置として、２回目のつなぎ録りを行う場合の、時刻に対するＶＢＶバッファのデータ占有量を示している。この図１３に示されるように、データグループＮ２のＶＢＶディレイ(vbv_delay_h2)は、データグループＮ１のＶＢＶディレイ（vbv_delay_h1）よりも大きく、またデータグループＬのvbv_delay_nよりも小さい。このため、vbv_delay_h2とvbv_delay_nとを比較して、挿入するコピーピクチャの枚数やスタッフィングバイトの量を決めれば足りるところ、１回目のつなぎ録り時においてvbv_delay_nと、vbv_delay_h1との関係で、既に不要なスタッフィングバイト等が、ＥｄｉｔＰａｃｋ＿Ｖ＿ｈを介して記録されていることとなる。
【０１０５】
しかし、本発明を適用した画像データ処理装置１によれば、データグループＮ２が供給されるまでに、１回目のつなぎ録りにおけるスタッフィングバイト等を含むＥｄｉｔＰａｃｋ＿Ｖ＿ｈが除去されている。このため、vbv_delay_h1を無視して、vbv_delay_h2とvbv_delay_nとの間で、挿入するスタッフィングバイトの量を決定することができる。また、不要なスタッフィングバイト等が記録されることがなくなり、無駄な画面ホールドの発生を抑えることも可能となる。
【０１０６】
一方、vbv_delay_nよりもvbv_delay_h1の方が大きいためにコピーピクチャ及びスタッフィングバイトが挿入される場合においても、データグループＮ２が供給されるまでに、ＥｄｉｔＰａｃｋ＿Ｖ＿ｈが除去されている。このため、vbv_delay_h1を無視して、vbv_delay_h2とvbv_delay_nとの間で、挿入するコピーピクチャの枚数やスタッフィングバイトの量を決定することができる。また、不要なコピーピクチャやスタッフィングバイト等が記録されることがなくなり、エンコード後の画質の劣化を防止し、ひいては、無駄な画面ホールドを抑えることができる。
【０１０７】
なお、ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ１がスタッフィングバイトのみで構成される場合には、図１４に示すように、当該スタッフィングバイトを構成するＥＳのみに対してＰＥＳヘッダを付加する。
【０１０８】
これにより、スタッフィングバイトのみを構成するＥＳを、他のＥＳと合わせてＰＥＳパケットを構成する必要がなくなり、またスタッフィングの境界が明示されることとなるため、デコード時において、当該ＰＥＳヘッダが付されたスタッフィングバイトを容易に除去することができる。
【０１０９】
次に、２回目のつなぎ録り時における再記録位置について説明をする。
【０１１０】
図１５は、ｔ６１から始まるvbv_delay_nに対して、コピーピクチャやスタッフィングを挿入させてｔ６２から始まるvbv_delay_h1を示している。このとき、２回目のつなぎ録りが行われ、更に追加スタッフィングが付されたvbv_delay_h2は、ｔ６２から追加スタッフィング分だけ遅れたｔ６３から開始することとなる。
【０１１１】
このとき、vbv_delay_h2とvbv_delay_nとの間で、正確な追加スタッフィング量を決定しても、記録開始位置をｔ６３とすれば、２回目のつなぎ録り時において除去されるＥｄｉｔＰａｃｋ＿Ｖ＿ｈにおけるスタッフィングバイト等の分だけ、無駄な画面ホールドが発生してしまう。このため、本発明では、２回目のつなぎ録り時における記録開始位置を、vbv_delay_nの開始時刻であるｔ６１から、追加スタッフィング量遅延させた時刻ｔ７１となるように制御する。
【０１１２】
すなわち、１回目のつなぎ録り時におけるスタッフィングバイト量が記録されたＥｄｉｔＰａｃｋ＿Ｖ＿ｈを一度除去して、vbv_delay_h2とvbv_delay_nとの間で新たに追加スタッフィング量を計算し、この計算したスタッフィング量を次ピクチャの前に挿入する。これにより無駄な画面ホールドを減らすことができる。
【０１１３】
なお、ＥｄｉｔＡＵＸ＿Ｖ＿ｈには、コピーピクチャであることを識別するためのフラグや、そのコピーピクチャの枚数を識別するためのフラグを記録しておいても良い。
【０１１４】
なお、コピーピクチャとスタッフィングバイトの両方を磁気テープ４上へ記録する場合には、図１６に示すように、先ずコピーピクチャを挿入し、その後にスタッフィングバイトを挿入する。これにより、アンダーフローの発生を防止することができる。
【０１１５】
なお、本発明は上述した実施の形態に限定されるものではなく、例えば、磁気テープ４に記録する場合のみならず、他の磁気ディスクを利用した他の記録媒体にも適用可能である。また、上述の手法は、放送においても適用できることは勿論である。
【０１１６】
【発明の効果】
以上詳細に説明したように、本発明に係る画像データ処理装置及び方法は、１回目のつなぎ録り時に記録したＥｄｉｔＰａｃｋ＿Ｖ＿ｈを分離して除去することができるため、不要なスタッフィングバイト等が記録されることがなくなり、無駄な画面ホールドの発生を抑えることも可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像データ処理装置の内部構成例を示した図である。
【図２】磁気テープの構成を示した図である。
【図３】磁気テープにおけるヘリカルトラックの構成を示した図である。
【図４】データグループについて説明するための図である。
【図５】画像データ処理装置に対して最後に供給されたデータグループにおけるデータ占有量の推移を表した図である。
【図６】次ピクチャのvbv_delay_nの値が未知の場合に、記録時に予め演算する例を説明するための図である。
【図７】つなぎ録り時における、ＥＣＣ処理部のＥＣＣＢａｎｋメモリの処理について説明するための図である。
【図８】エンコーダにおける符号量制御のフローを示した図である。
【図９】 vbv_delay_nに基づいて演算したvbv_occupancy_fが、設定値を下回る場合においてコピーピクチャを挿入し続ける例を説明するための図である。
【図１０】他の電子機器から入力された画像データのデータストリームをつなぎ録りする場合において、継承したvbv_delay_nの値が極端に小さいときの処理について説明をするための図である。
【図１１】記録ＥＮＤ点直後のピクチャタイプがＰピクチャである場合におけるつなぎ録りの欠点について説明するための図である。
【図１２】演算したコピーピクチャやスタッフィングの記録方法について説明をするための図である。
【図１３】１回目のつなぎ録りを行ったデータグループＮ１の先頭を再記録位置として、２回目のつなぎ録りを行う場合の、時刻に対するＶＢＶバッファのデータ占有量を示した図である。
【図１４】スタッフィングバイトを構成するＥＳのみに対してＰＥＳヘッダを付加する場合について説明するための図である。
【図１５】２回目のつなぎ録り時における再記録位置について説明をするための図である。
【図１６】コピーピクチャとスタッフィングバイトの両方を磁気テープ上へ記録する場合について説明するための図である。
【図１７】デコーダにおける入力バッファにおける、供給されたＭＰＥＧストリームに対するデータ占有量の推移を表した図である。
【図１８】従来技術の問題点について説明するための図である。
【符号の説明】
１１ 外部入力部、１２ ピクチャサイズ測定部、１３ エンコーダ、１４ 挿入処理部、１５ 補助データ生成部、１６ ストリーム記録処理部、１７ ＥＣＣ処理部、１８ 記録回路、１９ 再生回路、２０ 補助データ抽出部、２１ストリーム再生処理部、２２ ヘッダ抽出部、２３ ＶＢＶディレイ抽出部、２４ 外部出力部、２５ デコーダ、２６ 制御部
【発明の属する技術分野】
本発明は、ＭＰＥＧ方式により符号化した画像データを記録媒体上へ記録する画像データ処理装置及び方法に関する。
【０００２】
【従来の技術】
近年において、動画像を高効率で圧縮符号化する手法として、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８）に代表されるディジタル動画像符号化方式が提案されている。このＭＰＥＧ２方式による画像圧縮は、画像間の動き補償とＤＣＴとを組合せたハイブリッド方式の変換を行い、これにより得られる信号に対してさらに量子化や可変長符号化を施す。
【０００３】
このＭＰＥＧ２方式では、符号化方式として双方向予測符号化方式が採用されている。この双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化及び双方向予測符号化の３タイプの符号化が行われ、各符号化タイプによる画像は、それぞれＩピクチャ、Ｐピクチャ及びＢピクチャと呼ばれている。また、Ｉ，Ｐ，Ｂの各ピクチャを適切に組み合わせてランダムアクセスの単位となるＧＯＰ(Group of Pictures)が構成される。ちなみに各ピクチャの発生符号量は、Ｉピクチャが最も多く、次にＰピクチャ、Ｂピクチャと続くのが一般的である。
【０００４】
このＭＰＥＧ２方式のように、ピクチャタイプ毎に発生符号量が異なる符号化方法において、記録媒体へ記録した符号化ビットストリームを、再生時にデコーダにおいて正確に符号化して画像を得るためには、デコーダにおける入力バッファ内のデータ占有量をエンコーダで常に把握しなければならない。
【０００５】
図１７は、デコーダにおける入力バッファにおける、供給されたＭＰＥＧストリームに対するデータ占有量の推移を表している。この図１７において、横軸は時間を示しており、供給されるＭＰＥＧストリームに含まれる各ピクチャのデコードのタイミング（ｔ１０１、ｔ１０２、ｔ１０３…）が記されている。また縦軸は、入力バッファが格納するデータ占有量を示している。
【０００６】
入力バッファは、ＭＰＥＧ２方式で画像圧縮されたＭＰＥＧストリームをそのビットレートに応じて順次格納していく。そして、ＭＰＥＧストリームの供給が開始されたｔ１００からＶＢＶディレイ(vbv_delay)時間経過したｔ１０１において、デコード処理のために、最初のピクチャがデコーダより引き抜かれる。このデコーダにより引き抜かれるピクチャのデータ量は、そのピクチャのデータサイズ（picture_size）と、ピクチャスタートコードのデータサイズ（picture_start_code）と、シーケンスヘッダのデータサイズ（sequence_header）と、ＧＯＰヘッダのデータサイズ（GOP_header）とを加えたデータ量（以下、イメージサイズと称する）である。
【０００７】
ちなみに入力バッファには、ｔ１０１以降においても、ＭＰＥＧストリームが所定のビットレートに応じて順次供給され続ける。ｔ１０１からデコード管理時間(Decode Time Stamp)の間隔であるΔＤＴＳ毎に経過していくｔ１０２、ｔ１０３、…においても、各ピクチャのイメージサイズ分のデータ量がデコーダにより引き抜かれる。このような入力バッファでは、供給されたＭＰＥＧストリームの総データ量と、各デコードタイミングで引き抜かれたピクチャのイメージサイズの総データ量との差分が、入力バッファのバッファサイズより大きくなるとオーバーフローし、逆に小さくなるとアンダーフローすることとなる。
【０００８】
このため、ＭＰＥＧ方式では、デコーダにおける入力バッファに対応する仮想バッファとして、エンコーダ側にＶＢＶ（Video Buffering Verifier）バッファを想定し、発生する符号量を制御する。エンコーダでは、ＶＢＶバッファを破綻させないように、換言すればＶＢＶバッファをアンダーフロー或いはオーバーフローさせないように各ピクチャの発生符号量をコントロールする。
【０００９】
【発明が解決しようとする課題】
ところで、画像データが既に録画されている磁気テープ等の記録媒体上において、その録画終了位置から画像データを新たに録画する、いわゆるつなぎ録りをするケースがある。ちなみに、フレーム内のみ圧縮するＤＶ（Digital Video）方式のＶＴＲ（Video Tape Recorder）では、１フレームを１０本のトラックに分けて記録するため、テープ走行中に再生から記録に切り替え、録画するフレームを圧縮した画像データを次のトラックから記録することで容易につなぎ録りすることができる。
【００１０】
しかしながら、フレーム間圧縮を利用するＭＰＥＧ２方式では、１フレームのサイズが変動するため、記録するトラックの数を固定することができず、容易につなぎ録りすることができなかった。
【００１１】
またＭＰＥＧ方式では、上述の如くデコード時において入力バッファを、アンダーフロー或いはオーバーフローさせないように各ピクチャの発生符号量をする必要があり、新たに録画する画像圧縮データをＶＢＶバッファのサイズに応じてつなぎ録りする必要があった。すなわち、つなぎ録りする編集点の前後を連続再生しても入力バッファを破綻させることなくデコードできるように、ＶＢＶバッファのサイズに対して最適なデータ占有量に設定する必要があり、このため特開平１１−２０５７３４において新たに録画する画像データの前に、前ピクチャを繰り返して表示するコピーピクチャやスタッフィングバイトを挿入する方法が提案されている。
【００１２】
図１８は、かかる従来例について、記録媒体の編集点前後におけるＭＰＥＧストリームに対するデータ占有量の推移例を表している。VBV_delay_０は、既に記録媒体上に記録されている画像データの記録終了位置直前のＶＢＶディレイであり、VBV_delay_２は、１回目のつなぎ録りを行った画像データの先頭に位置するＩピクチャのＶＢＶディレイである。この図１８の如くVBV_delay_０よりもVBV_delay_２の方が小さい場合には、コピーピクチャ無しでスタッフィングのみ挿入されることとなる。一方、VBV_delay_０よりもVBV_delay_２の方が大きい場合には、コピーピクチャ及びスタッフィングが挿入されることとなる。
【００１３】
しかしながら、１回目のつなぎ録りが行われた記録媒体の編集点において他の画像データを再度録画する、いわゆる２回目のつなぎ録りを行うと以下の問題点が生じる。
【００１４】
先ずVBV_delay_０よりもVBV_delay_２の方が小さいためにスタッフィングバイトのみ挿入される場合において、挿入されるスタッフィングバイトは、編集点直前のビデオエレメンタリストリーム（ＥＳ）と一体としてデコードされる。このため、記録媒体上においてスタッフィングとビデオＥＳとの境界が無くなり、後から分離できないという問題点が生じる。
【００１５】
図１８において、１回目のつなぎ録りを行った画像データのＩピクチャの先頭を編集点として、２回目のつなぎ録りを行う場合に、２回目のつなぎ録りを行った画像データの先頭に位置するＩピクチャのＶＢＶディレイをVBV_delay_３としたとき、VBV_delay_３は、VBV_delay_２より大きく、かつVBV_delay_０より小さい。このため、VBV_delay_３とVBV_delay_０とを比較して挿入するスタッフィングバイト等の量を決めれば足りるところ、VBV_delay_３がVBV_delay_２より大きいため、VBV_delay_０とVBV_delay_２との間に既に挿入されているスタッフィングバイトを残したまま、更にコピーピクチャとスタッフィングバイトを挿入することとなる。このため、無駄な画面ホールドが発生してしまうという問題点があった。
【００１６】
同様に、VBV_delay_０よりもVBV_delay_２の方が大きいためにコピーピクチャ及びスタッフィングバイトが挿入されている場合においても、２回目のつなぎ録りの際に、VBV_delay_３とVBV_delay_０とを比較して挿入するスタッフィングバイト等の量を決めれば足りるところ、VBV_delay_３がVBV_delay_０より小さい場合にはコピーピクチャは不要となるにもかかわらず、VBV_delay_２とVBV_delay_０との関係において不要なコピーピクチャやスタッフィングバイトを残した上で、更に追加のスタッフィングを挿入することとなる。このため、無駄な画面ホールドが発生してしまう。
【００１７】
更に、２回目のつなぎ録り時において、既に録画されている画像データの補助データを記録媒体から読み出したVBV_delay_０を、ＶＢＶバッファにおけるデータ占有量に換算し、これをエンコーダの初期値として設定することにより、つなぎ録りする編集点の前後を連続再生しても入力バッファを破綻させることなくデコードできるようにする方法も提案されている。
【００１８】
しかしながら、VBV_delay_２との関係で無駄なスタッフィングやコピーピクチャが残されていると読み出したVBV_delay_０の値が小さくなりエンコード後の画質が劣化したり、無駄な画面ホールドが生じてしまうという問題点があった。
【００１９】
そこで、本発明は上述した問題点に鑑みて提案されたものであり、その目的とするところは、２回目のつなぎ録り時において、不要なスタッフィングやコピーピクチャを除去し、画質の劣化を防止することができる画像データ処理装置及び方法を提案することにある。
【００２０】
【課題を解決するための手段】
本発明に係る画像データ処理装置は、上述の課題を解決するために、ＭＰＥＧ方式により符号化され、また夫々補助記録領域（ＡＵＸ＿Ｖ）が設けられ、Ｉピクチャ又はＰピクチャを先頭とし、かつＢピクチャを含むデータグループ（Ｐａｃｋ＿Ｖ）からなる画像データを処理する画像データ処理装置において、上記Ｐａｃｋ＿Ｖが既に記録されている記録媒体上の編集点上に、編集されるデータグループ（Ｐａｃｋ＿Ｖ＿ｈ）を記録し、また復号化時に用いられるＶＢＶ（Video Buffering Verifier）バッファのビット占有量に応じて、当該Ｐａｃｋ＿Ｖ＿ｈの前に、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｈ）が設けられ、前ピクチャを繰り返して表示するコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ）を記録媒体上へ記録する記録手段を備え、上記記録手段は、上記記録媒体上の編集点に上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｈが記録されている場合に、当該ＥｄｉｔＰａｃｋ＿Ｖ＿ｈと独立して、新たに入力されたデータグループ（Ｐａｃｋ＿Ｖ＿ｎ）の前に位置し、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｎ）が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｎ）を、上記編集点に基づき記録することを特徴とする。
【００２１】
また、本発明に係る画像データ処理方法は、ＭＰＥＧ方式により符号化され、また夫々補助記録領域（ＡＵＸ＿Ｖ）が設けられ、Ｉピクチャ又はＰピクチャを先頭とし、かつＢピクチャを含むデータグループ（Ｐａｃｋ＿Ｖ）からなる画像データを処理する画像データ処理方法において、上記Ｐａｃｋ＿Ｖが既に記録されている記録媒体上の編集点上に、編集されるデータグループ（Ｐａｃｋ＿Ｖ＿ｈ）を記録し、また復号化時に用いられるＶＢＶ（Video Buffering Verifier）バッファのビット占有量に応じて、当該Ｐａｃｋ＿Ｖ＿ｈの前に、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｈ）が設けられ、前ピクチャを繰り返して表示するコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ）を記録媒体上へ記録する記録ステップを有し、上記記録ステップは、上記記録媒体上の編集点に上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｈが記録されている場合に、当該ＥｄｉｔＰａｃｋ＿Ｖ＿ｈと独立して、新たに入力されたデータグループ（Ｐａｃｋ＿Ｖ＿ｎ）の前に位置し、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｎ）が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｎ）を、上記編集点に基づき記録することを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２３】
本発明を適用した画像データ処理装置１は、動画像を高効率で圧縮符号化するＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８）方式によりディジタル動画像符号化して磁気テープに記録する装置であり、図１に示すように、外部入力部１１と、ピクチャサイズ測定部１２と、エンコーダ１３と、挿入処理部１４と、補助データ生成部１５と、ストリーム記録処理部１６と、ＥＣＣ（Error Correction Code）処理部１７と、記録回路１８と、再生回路１９と、補助データ抽出部２０と、ストリーム再生処理部２１と、ヘッダ抽出部２２と、ＶＢＶ（Video Buffering Verifier）ディレイ抽出部２３と、外部出力部２４と、デコーダ２５と、制御部２６とを備えている。
【００２４】
外部入力部１１は、外部にある他の電子機器からＴＳ（Transport Stream）として伝送される画像データをＰＥＳ（Packetized Elementary Stream）へ分割し、これをストリーム記録処理部１６へ送信する。ちなみに、この外部入力部１１に入力される画像データを構成する各ピクチャのサイズは、ピクチャサイズ測定部１２により測定される。
【００２５】
エンコーダ１３は、ＶＢＶディレイ抽出部２３から送信されるＶＢＶ（Video Buffering Verifier）ディレイに基づいて、入力される画像データを、ピクチャタイプ、量子化ステップ等の符号化パラメータに基づいて符号化を行う。このエンコーダ１３は、この符号化した画像データをストリーム記録処理部１６へ送信する。
【００２６】
挿入処理部１４は、画像データの符号化時において、発生符号量が少ない場合における疑似データとして、前ピクチャを繰り返して表示するコピーピクチャやスタッフィングバイトを生成する。ちなみに、このスタッフィングバイトは、特に意味を持たないデータであり、デコーダ側において読み捨てられる。この挿入処理部１４は、生成したコピーピクチャやスタッフィングバイトをストリーム記録処理部１４へ出力する。
【００２７】
補助データ生成部１５は、Ｉピクチャ又はＰピクチャを先頭とし、Ｂピクチャを含むデータグループ毎に付される補助データ（ＡＵＸ）を挿入処理部１６へ出力する。
【００２８】
ストリーム記録処理部１６は、外部入力部１１或いはエンコーダ１３から画像データを取得する。また、このストリーム処理部１６は、挿入処理部１４からコピーピクチャやスタッフィングバイトが供給され、補助データ生成部１５から補助データが、更にはヘッダ抽出部２２から各種ヘッダが入力される。ストリーム記録処理部１６は、画像データにおけるＩピクチャ或いはＰピクチャから始まるデータグループ間に、補助データやコピーピクチャ等を挿入して一つのデータストリームを形成する。このときストリーム記録処理部１６は、生成したデータストリームからＶＢＶディレイ抽出部２３によりＶＢＶディレイが抽出される場合もある。ストリーム記録処理部１６は、この形成したデータストリームをＥＣＣ処理部１７へ送信する。
【００２９】
ＥＣＣ処理部１７は、入力されたデータストリームに付加されているＥＣＣ（Error Correction Code）を付加し、またインタリーブ処理等を施す。また、このＥＣＣ処理部１７は、図示しない独自のＥＣＣＢａｎｋメモリを有し、実際に磁気テープ４へ記録するデータストリームを一時記憶させる。
【００３０】
記録回路１８は、ＥＣＣ処理部１７から入力されたデータストリームを磁気テープ４へ記録する。この記録回路１８は、例えば、入力されたデータをシリアルデータに変換した上で増幅し、図示しない回転ドラムを介して回転させられる磁気テープ４へ、図示しない磁気ヘッドを介して記録する。
【００３１】
再生回路１９は、磁気テープ４上に記録されている画像データを再生し、また後述する磁気テープ４上の補助記録領域に記録されている補助データを読み出し、これをＥＣＣ処理部１７へ送信する。
【００３２】
ストリーム再生処理部２１は、磁気テープ４から再生される画像データ並びに補助データが再生回路１９及びＥＣＣ処理部１７を介して入力される。このストリーム再生処理部２１は、入力された画像データを外部出力部２４或いはデコーダ２５へ出力する。このストリーム再生処理部２１に入力された補助データにおいて、ＰＴＳ（Presentation Time Stamp)やＤＴＳ(Decoding Time Stamp)についてはヘッダ抽出部２２により抽出され、またＶＢＶディレイについてはＶＢＶディレイ抽出部２３により抽出される。また、その他の補助データについては、補助データ抽出部２０により抽出される。
【００３３】
外部出力部２４は、ストリーム再生処理部２１からＰＥＳとして入力される画像データをデコードしてＴＳ化し、他の電子機器へ伝送する。デコーダ２５は、ストリーム再生処理部２１からＰＥＳとして入力される画像データをピクチャタイプ、量子化ステップ等の符号化パラメータに基づいて復号化を行う。
【００３４】
なお、この画像データ処理装置１を構成する回路、要素は、制御部２６によるコントロールに基づき動作する。
【００３５】
次に、本発明を適用した画像データ処理装置１における磁気テープ４への記録方式について説明をする。なお、ここで説明する記録方式は、特開２００１−２７５０７７において提案されている方式に基づく。
【００３６】
磁気テープ４は、図２に示すように、磁気ヘッドにより映像信号等の情報が記録されるヘリカルトラック３２から構成される。
【００３７】
ヘリカルトラック３２は、磁気テープ４の長手方向に対して傾斜されて形成されている。
【００３８】
１本のヘリカルトラック３２は、図３に示すように、１２３個のシンクブロックと１８個のＣ２パリティシンクブロックから構成される。このヘリカルトラック３２の１６本をＥＣＣ処理部１７におけるＣ２ＥＣＣのインタリーブ単位とする。ＥＣＣ処理部１７では、この１６本分のヘリカルトラック３２におけるシンクブロックをＥＣＣ面にインタリーブして割り当て、Ｃ２パリティを生成してこれをＣ２パリティシンクブロックへ記録する。
【００３９】
また１つのシンクブロックは、９５バイトのデータ部に、１バイトのシンクブロックヘッダ（ＳＢヘッダ）と、トラックペアＮｏ．やシンクブロックＮｏ．等からなる３バイトのＩＤ部と、それらを対象としたＣ１パリティの１０バイトが付されており、さらに２バイトのシンクパターンを先頭に付した１１１バイトで構成されている。
【００４０】
このトラックペアＮｏ．は、−アジマス、＋アジマスの順で隣り合うヘリカルトラック３２間で同値をとる。以下このトラックペアＮｏ．を２倍して＋アジマストラックのみ１を加えたＮｏ．をトラックＮｏ．とする。またＳＢヘッダは、そのシンクブロックに記録されるデータの種類が記録されている。
【００４１】
ちなみに、ＭＰＥＧ２方式のＰＥＳパケットとして構成されているＶｉｄｅｏデータやＡｕｄｉｏデータは、夫々シンクブロックに分割して記録されることとなる。Ｖｉｄｅｏデータは図４に示すように、Ｉピクチャ、Ｂピクチャ、Ｂピクチャの３フレーム、或いはＰピクチャ、Ｂピクチャ、Ｂピクチャの３フレームのＰＥＳを結合し、これにＰＴＳ時刻に応じたＡｕｄｉｏデータを加えて、Ａｕｄｉｏ、Ｖｉｄｅｏの順で交互にシンクブロック上へ記録する。このＡｕｄｉｏとＶｉｄｅｏの結合単位を以後、Ｐａｃｋと称する。また、Ｉピクチャ、Ｂピクチャ、Ｂピクチャの順で構成される３フレームのＶｉｄｅｏデータ、或いはＰピクチャ、Ｂピクチャ、Ｂピクチャの順で構成される３フレームのＶｉｄｅｏデータをデータグループと称する。
【００４２】
なお、Ａｕｄｉｏデータの補助データとしてＡＵＸ−Ａを、またＶｉｄｅｏデータの補助データとしてＡＵＸ−ＶのシンクブロックをＰａｃｋ毎に記録する。
【００４３】
次に本発明を適用した画像データ処理装置１の動作について説明をする。
【００４４】
ＭＰＥＧ２方式を採用する画像データ処理装置１は、ピクチャタイプ毎に発生符号量が異なるため、磁気テープ４へ記録したデータストリームを、再生時にデコーダ２５において正確に符号化して画像を得るためには、デコーダ２５における入力バッファ内のデータ占有量をエンコーダ１３で常に把握しなければならない。
【００４５】
図５は、画像データ処理装置１に対して最後に供給されたデータグループＬにおける、デコーダ２５の入力バッファのデータ占有量の推移を表している。この図５において、横軸は時刻を示しており、供給されるデータグループＬを構成する各ピクチャのデコードのタイミング（Ｐ、Ｂ１、Ｂ２）が記されている。また縦軸は、入力バッファが格納するデータ占有量を示している。
【００４６】
入力バッファは、ＭＰＥＧ２方式で圧縮符号化されたデータストリームをそのビットレートに応じて順次格納していく。Ｐピクチャが供給される時刻は、ｔ１１からｔ１２までであり、またＢ１ピクチャが供給される時刻は、ｔ１２からｔ１３までであり、更にＢ２ピクチャが供給される時刻は、ｔ１３からｔ１４までである。またデコーダ２５は、デコード処理のため、ｔ２１においてＰピクチャを引き抜く。同様にデコーダ２５は、デコード処理のため、ｔ２２においてＢ１ピクチャを引き抜き、更にｔ２３においてＢ２ピクチャを引き抜く。
【００４７】
このデコーダ２５により引き抜かれる各ピクチャのデータ量は、ピクチャのデータサイズ（picture_size）と、ピクチャスタートコードのデータサイズ（picture_start_code）と、シーケンスヘッダのデータサイズ（sequence_header）と、ＧＯＰヘッダのデータサイズ（GOP_header）とを加えたデータ量（以下、イメージサイズと称する）である。また、このデータグループＬの先頭に位置するＰピクチャのピクチャスタートコードの最終バイトが供給されてから、デコーダ２５により引き抜かれる時間（ｔ１１〜ｔ２１）をＶＢＶディレイ（vbv_delay_l）と称する。
【００４８】
また図５においてデータグループＬの後方には、データグループＬの次に挿入すべきピクチャ（以下、次ピクチャと称する）が示されている。この次ピクチャのＶＢＶディレイ（vbv_delay_n）は、ｔ１４からｔ１５までの時間である。画像データ処理装置１は、最後にデータグループＬが供給されたときに、多めにエンコードすることにより、この次ピクチャのvbv_delay_nを取得することができる。
【００４９】
画像データ処理装置１は、このようにして取得することができるＶＢＶディレイ（vbv_delay_l、vbv_delay_n）を補助データとして、各データグループ毎に設けられたＡＵＸ−Ｖへ記録する。図５下段はデータグループＬ並びに次ピクチャについて設けられたＡＵＸ−Ｖの磁気テープ４における記録位置を示している。データグループＬにおけるＡＵＸ−Ｖの記録位置は、データグループＬの先頭に位置するＰピクチャの前に設けられている。同様に次ピクチャのＡＵＸ−Ｖのシンクブロックは、次ピクチャの記録位置前方であり、かつデータグループＬの記録位置後方に設けられている。
【００５０】
画像データ処理装置１は、データグループＬのＰピクチャについて取得したvbv_delay_lを、データグループＬについて設けられたＡＵＸ−Ｖへ記録する。同様に次ピクチャについて取得したvbv_delay_nを、次ピクチャについて設けられたＡＵＸ−Ｖへ記録する。
【００５１】
このようなデータストリームが記録された磁気テープ４を再生することにより、各ＡＵＸ−Ｖに記録されているvbv_delay_l,vbv_delay_nを読み出すことができる。これにより、画像データ処理装置１は、画像データが既に記録されている磁気テープ４において、その記録終了位置から画像データを新たに記録する、いわゆるつなぎ録りをする場合においても、既に記録されている画像データの情報を得ることができる。なお、つなぎ録りする画像データに対して、このようにvbv_delay_l等を同時に記録しておく画像データを下地画像データという。
【００５２】
すなわち、この画像データ処理装置１は、次ピクチャをつなぎ録りする画像データとして想定することにより、つなぎ録りする次ピクチャがもつべきvbv_delay_nを記録時に予め求めて磁気テープ４上へ記録することができる。これにより再生時において、磁気テープ４からvbv_delay_nを読み出すだけで、ＶＢＶバッファにおけるデータ占有量に換算してエンコーダの初期値として設定することができるため、１フレームのサイズが変動するＭＰＥＧ２方式においても、各ピクチャの発生符号量を制御することができ、入力バッファを破綻させることなく容易につなぎ録りを行うことができる。
【００５３】
なお、画像データ処理装置１は、このデータグループＬについて、最後に供給されたデータグループであることを示すためのＥＮＤ点フラグをＡＵＸ−Ｖへ記録することも可能である。これにより、つなぎ録りする際に、このＥＮＤ点フラグに基づいて画像データが記録されている領域を容易に識別することができ、既存の画像データ上に上書きしてしまうような不都合を回避することも可能となる。
【００５４】
また画像データ処理装置１は、最後に供給されるデータグループＬや次ピクチャに限らず、他の全てのデータグループ毎に先頭のピクチャのＶＢＶディレイを識別し、これを各データグループ毎に設けられたＡＵＸ−Ｖへ記録しても良い。次ピクチャのＡＵＸ−Ｖにおいても同様にvbv_delay_nが記録されているため、各ピクチャ毎にＶＢＶディレイをＡＵＸ−Ｖへ記録することにより、記録媒体上に設けられた全てのＡＵＸ−Ｖの補助データ種を共通化することができる。
【００５５】
さらに画像データ処理装置１は、補助データとして、ＶＢＶディレイ以外にＤＴＳ等を用いてこれをＡＵＸ−Ｖへ記録しても良く、またＶＢＶディレイの代替としてＤＴＳやＰＴＳを用いても良いことは勿論である。
【００５６】
他の電子機器から入力されたＤＴＳやＰＴＳをそのままＡＵＸ−Ｖへ記録すると、再生時において、記録したＤＴＳやＰＴＳがジャンプしてしまう場合があるため、通常このＤＴＳやＰＴＳにオフセット値を加算してからＡＵＸ−Ｖへ記録する。データグループＬのＡＵＸ−Ｖから取得したＤＴＳをＤＴＳ０とする。また、つなぎ録りする次ピクチャから取得したＤＴＳをＤＴＳ２とする。このとき、オフセット値を、ＤＴＳ０−ＤＴＳ２＋（コピーピクチャの枚数）×（コピーピクチャの表示時間）、に基づいて演算し、これをＤＴＳ又はＰＴＳに加算してから記録を行う。
【００５７】
符号化されたストリームや、他の電子機器から入力されたストリームを途中で打ち切る場合には、上述の如く次ピクチャのvbv_delay_nの値を認識することができるが、他の電子機器から供給されたデータストリームを最後のピクチャまで全て記録しきったときには次ピクチャが存在しない。かかる場合には、次ピクチャのvbv_delay_nの値を認識することができず、記録時においてＡＵＸ−Ｖ上に補助データとして記録することができない。このため、他の電子機器から供給されたピクチャを磁気テープ４上へ記録する場合には、記録時において予め次ピクチャのvbv_delay_nの値を演算し、これを次ピクチャのＡＵＸ−Ｖへ記録しておく。これにより、再生時において、この次ピクチャのvbv_delay_nを容易に読み出すことができ、入力バッファを破綻させることなく容易につなぎ録りを行うことができる。
【００５８】
図６は、この次ピクチャのvbv_delay_nの値が未知の場合に、記録時に予め演算する例を説明するための図である。画像データ処理装置１には、最後に供給され、Ｐピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャの順で構成されるデータグループＬが供給される。このとき、画像データ処理装置１は、この最後に供給されるデータグループＬの次に供給されるべき次ピクチャのvbv_delay_nを、データグループＬの先頭に位置するＰピクチャのvbv_delay_lと、当該データグループＬの転送時間（ＦＴ）並びに表示時間（ＥＴ）とから、以下の式（１）により求める。
vbv_delay_n＝vbv_delay_l＋ＥＴ−ＦＴ （１）
ここで転送時間ＦＴについては、データグループＬを構成する３フレームを抽出してビット数の合計（ｄビット）を演算する。そして、このｄをビットレート（Bitrate）で割ると転送に必要な時間となり、これに９００００を乗じることにより、ＶＢＶディレイと同じ９０ＫＨｚの時間軸における転送時間（ＦＴ）となる。またこのデータグループＬを構成する３フレームの表示間隔（ＥＴ）は、フレームレートが２９．９７Ｈｚの場合において３００３の３倍となり、これと上述のＦＴとの差分がＶＢＶディレイの変化量となる。これによりvbv_delay_nは、さらに以下の（２）式により求めることができる。
vbv_delay_n＝vbv_delay_l＋3003×3−90000×d/ Bitrate （２）
画像データ処理装置１は、このようにして求めたvbv_delay_nを、次ピクチャのＡＵＸ−Ｖに記録する。ＡＵＸ-Ｖに対してＶＢＶディレイを記録する場合のみならず、ＤＴＳを記録する場合においても、同様の手法により次ピクチャのＤＴＳを予め求めることができる。
【００５９】
このように、本発明に係る画像データ処理装置１は、次ピクチャのvbv_delay_nの値が未知であっても、上述の計算式（１）或いは（２）に基づいて求めることができるため、再生時においてエンコーダの初期値を得るために記録終了位置直前において既に録画されている画像データをすべて読み出し、ピクチャサイズを計算する必要がなくなる。これにより本発明に係る画像データ処理装置１は、計算時間を減らすことができ、ＲＥＣ操作の遷移時間を短くすることも可能となる。
【００６０】
次につなぎ録り時における、ＥＣＣ処理部１７のＥＣＣＢａｎｋメモリの処理について説明をする。
【００６１】
先ず録画（ＲＥＣ）中に、一時停止（ＲＥＣ−ＰＡＵＳＥ）し、再度録画（ＲＥＣ）することによりつなぎ録りする場合について説明をする。エンコーダ１３により符号化されたデータストリームや、外部入力部１１を介して入力されたデータストリームを磁気テープ４上へ記録中に、ＲＥＣ−ＰＡＵＳＥ操作を行った場合、図７に示すように、最後に供給される３フレームのピクチャからなるデータグループＬをＥＣＣＢａｎｋに書き込み終わったときのシンクブロックを記録ＥＮＤ点とし、その後に再度ＲＥＣ操作を行うことによりつなぎ録りする次ピクチャが含まれるＰａｃｋのＡＵＸ−Ａと、Ａｕｄｉｏデータのシンクブロックを書き込む。そして最後に次ピクチャのvbv_delay_nやＥＮＤ点フラグ等の補助データを記録するためのＡＵＸ−Ｖのシンクブロックを書き込む。
【００６２】
この図７に示すＡＵＸ−ＡからＡＵＸ−Ｖまでがつなぎ録り時において、補助データを読み出し、つなぎ録りするデータストリームの書き込みを開始するエリアである。ちなみに当該エリアが、このＡＵＸ−Ａのシンクブロックを含むＥＣＣＢａｎｋから、その次のＥＣＣＢａｎｋまでに至る場合において、記録処理を共通化するため、次ピクチャのＡＵＸ−Ｖにおけるシンクブロックの次のシンクブロック以降をＮｕｌｌデータで埋める。
【００６３】
ＥＣＣ処理部１７は、供給されるデータストリーム全てを記録して下地画像データを生成するのに必要なＥＣＣＢａｎｋを、シンクブロック或いはＮｕｌｌデータで埋めた後、磁気テープ４上へ記録する際に使用する記録電流や、図示しない回転ドラム等のような磁気テープ４へデータストリームを記録するための機構を停止させる。これは、磁気テープ４へ記録する際に、最後に記録すべきヘリカルトラックへデータを記録した後に即記録電流を停止すると、その最後に記録すべきヘリカルトラックにエラーが生じる可能性があるため、余分に記録電流を流しておくためである。
【００６４】
また、磁気テープ４における下地画像データの記録ＥＮＤ点からつなぎ録りを行う場合には、先ず磁気テープ４を再生することにより、既に記録してある下地画像データのデータストリームを一度ＥＣＣ処理部１７におけるＥＣＣＢａｎｋへ書き込み、各ＡＵＸ−ＶからＥＮＤ点フラグを探し出す。そしてかかるＥＮＤ点フラグが付されているＡＵＸ−Ｖを含むＥＣＣＢａｎｋと、その次に続くＥＣＣＢａｎｋのみをＥＣＣＢａｎｋメモリへ保存しておき、それ以降のＥＣＣＢａｎｋのメモリへの書き込みを中止して次ピクチャの記録へ備える。このとき、ＥＮＤ点フラグが存在するＡＵＸ−ＶからＶＢＶディレイやＤＴＳ等を取り出しておいてもよい。
【００６５】
次に磁気テープ４の再生画を見ながら、つなぎ録りする次ピクチャの記録を開始する再記録位置を指定する場合について説明をする。ＥＣＣＢａｎｋにおいて、再生ＰＡＵＳＥ操作時に画面上に表示されていた画像のデータストリームは、後から供給される画像のデータストリームにより上書きされている場合が多い。
【００６６】
また、３フレームから構成されるデータグループ毎に磁気テープ４上へ記録していく本発明では、再生画を見ながら指定した次ピクチャの再記録位置に、Ｉピクチャ、或いはＰピクチャが存在している場合は、当該Ｉピクチャ、或いはＰピクチャの直前を次ピクチャの再記録位置とするが、一方、指定した次ピクチャの再記録位置に、Ｂピクチャが存在している場合には、当該Ｂピクチャを構成するデータグループ先頭のＩピクチャ、或いはＰピクチャの直前を次ピクチャの再記録位置とする。
【００６７】
ＥＣＣ処理部１７は、このようにして次ピクチャの再記録位置を、指定した記録位置に存在するピクチャタイプに応じて決定し、磁気テープ４を決定した記録位置に応じて巻き戻して再生し、これを順次ＥＣＣＢａｎｋメモリへ書き込んでいく。その際にＤＴＳ等を介して、決定した再記録位置や、その再記録位置の直後に位置するデータグループのＩピクチャ或いはＰピクチャをサーチし、そのＰａｃｋ先頭のＡＵＸ−Ａを含むＥＣＣＢａｎｋと、その次に続くＥＣＣＢａｎｋのみをＥＣＣＢａｎｋメモリへ保存しておき、それ以降のＥＣＣＢａｎｋのＥＣＣｂａｎｋメモリへの書き込みを中止して次ピクチャの記録へ備える。このときも同様に、ＥＮＤ点フラグが存在するＡＵＸ−ＶからＶＢＶディレイやＤＴＳ等を取り出しておいてもよい。
【００６８】
磁気テープ４の再生画を見ることなく、再記録位置を選ばずにつなぎ録りを行なう場合には、磁気テープ４を再生してデータストリームを順次ＥＣＣＢａｎｋメモリへ書き込んでいく。その際に再記録位置を、データグループ単位で再生順にサーチする。そして任意の再記録位置の直後に位置するデータグループのＩピクチャ或いはＰピクチャの先頭のＡＵＸ−Ａを含むＥＣＣＢａｎｋと、その次に続くＥＣＣＢａｎｋのみをＥＣＣＢａｎｋメモリへ保存しておき、それ以降のＥＣＣＢａｎｋのＥＣＣＢａｎｋメモリへの書き込みを中止して次ピクチャの記録へ備える。このときも同様に、ＥＮＤ点フラグが存在するＡＵＸ−ＶからＶＢＶディレイやＤＴＳ等を取り出しておいてもよい。
【００６９】
なお、上述の如くＥＣＣＢａｎｋメモリへ２つのＥＣＣＢａｎｋが保存されている場合において、新たに入力されるデータストリームは、以下のようにしてＥＣＣＢａｎｋから書き戻す。すなわち、再記録位置直前のシンクブロック内のデータストリームは、そのままＥＣＣＢａｎｋメモリへ残しておく。そして再記録位置以降のシンクブロックに新たに入力されるデータストリームを重ね書きし、ＥＣＣＢａｎｋメモリ上で合成する。このとき、この新たなデータストリームが重ね書きされて合成されたＥＣＣＢａｎｋメモリ内の各データストリームについて夫々Ｃ２パリティを生成し直す。
【００７０】
そして再生するデータストリームのトラックＮｏ．を視認しつつ再生を行い、ＥＣＣＢａｎｋに付されたトラックＮｏ．と一致するトラックからつなぎ録りを行うようにする。すなわち、書き戻す前後のデータストリームを磁気テープ４上において連続しておくことにより、つなぎ録りを開始する再記録位置において特別な処理を施すことなく、スムーズな再生を実現することができる。
【００７１】
次に、上述の如く下地画像データが形成された磁気テープ４の再生時において、ＡＵＸ−Ｖに記録されている次ピクチャのvbv_delay_nを継承してエンコーダの初期値として設定する方法について説明をする。
【００７２】
画像データ処理装置１は、再生時において、ＡＵＸ−Ｖに記録されている次ピクチャのvbv_delay_nを取得し、これをエンコーダ１３におけるＶＢＶバッファのデータ占有量（vbv_occupancy）に換算し、この値をエンコーダの初期値として設定する。このＶＢＶバッファは、デコーダ２５における入力バッファに対応する仮想バッファとして想定することで、各ピクチャ毎に発生する符号量を制御すべく設けられるものである。このＶＢＶバッファのvbv_occupancyは、継承したvbv_delay_nに基づき、以下の（３）式により演算することができる。
vbv_occupancy＝vbv_delay_n×Bitrate／９００００ （３）
ところで、この（３）式により求められたvbv_occupancyは、画質にとって最適な値になるとは限らず、アンダーフローやオーバーフローが生じ、継続的に画質を劣化させてしまう場合がある。このため、この（３）式により求められたvbv_occupancyがいかなる値であっても、ＶＢＶバッファの容量に応じてこれを最適にコントロールし、画質の劣化を防止する必要がある。
【００７３】
画像データ処理装置１は、（３）式により演算したvbv_occupancyの初期値（以下、この初期値をvbv_occupancy_fと称する）から、徐々にこのvbv_occupancyを補正することにより、最適なvbv_occupancyの目標値（以下、この目標値をvbv_occupancy_tと称する）へ遷移させる。具体的には、vbv_occupancy_fとvbv_occupancy_tの差分を求めることにより、vbv_occupancy_tへ収束させるために必要な符号発生補正量を求める。次にこの符号発生補正量を、vbv_occupancy_tへ遷移させるのに必要なＧＯＰの数（以下、このＧＯＰの数をnumber_GOPと称する）で割ることにより、１ＧＯＰあたりの符号発生量補正値を求める。すなわち、この符号発生量補正値は、以下の（４）式により演算することができる。
符号発生量補正値＝（vbv_occupancy_t−vbv_occupancy_f）／number_GOP （４）
このように画像データ処理装置１は、vbv_occupancy_fからvbv_occupancy_tへ遷移させるために複数のＧＯＰを費やす。すなわち、目標とするvbv_occupancy_tへ複数のＧＯＰ数（number_GOP）をかけて徐々に補正することができるため、１ＧＯＰあたりの補正量を減らすことができ、一時的な画質の劣化を抑えることができる。
【００７４】
図８は、このエンコーダ１３における符号量制御のフローを示しており、図中矢印方向は時間軸を表している。
【００７５】
先ずステップＳ１１において、（３）式よりvbv_delay_nに基づいて演算したvbv_occupancy_fと、vbv_occupancy_tとの差分を求める。次にステップＳ１２において、この求めた差分をnumber_GOPで除して、１ＧＯＰあたりの符号発生量補正値を求める。次に、ステップＳ１３において、ビットレートにより制御された各ＧＯＰにおける符号の総加算量に対し、この符号発生量補正値を減算することにより補正する。
【００７６】
一方、GOP先頭を除く各画像データは、ステップＳ２１において、各フレーム毎にremain_bit_GOPから発生符号量を減算される。またGOP先頭ではステップＳ２２において、ステップＳ２１を経た各画像データの符号量に対して、ステップＳ１３にて各ＧＯＰ毎に補正された総加算量が加算され、さらにステップＳ２３の１フレーム単位のエンコード処理に基づくフレーム内発生符号量が減算される。エンコーダ１３は、このようにして符号量制御されたremain_bit_GOPを得ることができる。このremain_bit_GOPは、ＧＯＰ単位で符号量をコントロールされているため、継続的に画質が劣化することはなくなる。
【００７７】
ちなみにこのnumber_GOPは、いかなる値に設定しても良く、また一定の値に固定しても良いし、vbv_occupancy_t−vbv_occupancy_fの値に応じてその都度任意に設定しても良い。仮にnumber_GOPを一定の値に固定すると、vbv_occupancy_t−vbv_occupancy_fの値を問わず各ＧＯＰへ均等に割り振ることができる。またnumber_GOPをvbv_occupancy_t−vbv_occupancy_fの値に応じてその都度任意に設定することにより、１ＧＯＰあたりの補正量を最初に決め、必要なnumber_GOPを後から設定することも可能となる。
【００７８】
画像データ処理装置１は、上述のremain_bit_GOPを各ピクチャへ割り当てる。このときピクチャタイプ毎の複雑さに応じて、割り当てる符号量を変えても良い。
【００７９】
例えば、Ｉピクチャの複雑さを示す係数をXi、Ｐピクチャの複雑さを示す係数をXp、Ｂピクチャの複雑さを示す係数をXbとし、ＧＯＰ内におけるＰピクチャの未符号化枚数をNp、ＧＯＰ内におけるＢピクチャの未符号化枚数をNbとするとき、Ｉピクチャの割り当て係数Y_i、Ｐピクチャの割り当て係数Y_p、Ｂピクチャの割り当て係数Y_bは、夫々以下の式（５）、（６）、（７）により表すことができる。
Y_i=1+Np・Xp/Xi・1/Kp+Nb・Xb/Xi・1/Kb （５）
Y_p=Np+Nb・Xb/Xp・Kp/Kb （６）
Y_b=Nb+Np・Xp/Xb・Kb/Kp （７）
（Kp=1.0, Kb=1.4）
ここでremain_bit_GOPを、上述の如く求められた各ピクチャの割り当て係数Y_i、Y_p、Y_bにより除算することにより、各ピクチャタイプへ割り当てる符号量を求めることができる。なお、Xi,Xp,Xbの各初期値を、それぞれ1.39×bitrate,0.52×bitrate,0.37×bitrateとしても良い。
【００８０】
次に、継承したvbv_delay_nに基づいて演算したvbv_occupancy_fの値が極端に小さい場合における処理について説明をする。
【００８１】
（３）式により演算したvbv_occupancy_fが極端に小さいと、式（４）に基づいてvbv_occupancy_tへ遷移させても、以下に説明する理由により画質が大幅に劣化してしまう。
【００８２】
すなわち、つなぎ録りする次ピクチャの発生符号量との関係で、極端にvbv_occupancy_fが小さいと、エンコード時においてＶＢＶバッファのアンダーフローが生じないように、次ピクチャの発生符号量に制約がかかり、画質が劣化してしまう。またかかる場合に、number_GOPを一定の値に固定すると、vbv_occupancy_tへ遷移するまでの最初の数ＧＯＰは、極端にvbv_occupancyが低い状態であるため、画質が著しく劣化し、また最適なvbv_occupancy_tへ遷移するまで長時間を費やすため、早期に画質を改善することができない。更にvbv_occupancy_tへの遷移時間を短縮するために、１ＧＯＰあたりの符号発生補正量を大きくすると、vbv_occupancy_tへ遷移するまでの間、画質が大幅に劣化してしまう。
【００８３】
このため、本発明にかかる画像データ処理装置１では、かかる画質の劣化を抑えるべく、（３）式により演算したvbv_occupancy_fについて、所定の設定値を下回る場合にコピーピクチャを挿入することにより、大幅な画質劣化よりむしろ画面のホールドを選択できるようにする。
【００８４】
図９(a)に示すように、vbv_delay_nに基づいて演算したvbv_occupancy_fが、設定値を下回る場合において、図９(b)に示すように、コピーピクチャを挿入し続ける。これにより、ＶＢＶディレイ（vbv_delay_n2）は、ｔ４１からｔ４２の時間帯に相当することとなるため見かけ上大きくなり、これに基づいて演算されたvbv_occupancy_f2は、設定値を上回る。これにより、画面がホールドされる時間は増加するが、画質の劣化を抑えることが可能となる。
【００８５】
なお、このコピーピクチャの挿入枚数（Ｎ）は、次ピクチャのvbv_delay_n2に応じて得られるvbv_occupancy_f2が設定値以上となるように計算して決定する。
【００８６】
先ず、コピーピクチャをＮ枚挿入すると、次ピクチャの引き抜かれる時刻ｔ４２がＮ枚分遅延するため、vbv_delay_n2は、Ｎ枚分長くなる。一方、コピーピクチャ１枚の転送時間ＦＴのＮ倍だけ次ピクチャが後ろへずれることになるため、その分vbv_delay_n2は短くなる。
【００８７】
ここでコピーピクチャ１枚の表示時間をＥＴとしたとき、vbv_delay_n2は、以下の（８）式により表される。
vbv_delay_n2＝vbv_delay_n＋Ｎ×（ＥＴ−ＦＴ） （８）
ちなみにコピーピクチャの表示時間ＥＴは、フレーム周波数が２９．９７Ｈｚのときに３００３となり、フレーム周波数が２５Ｈｚのときは３６００となる。
【００８８】
コピーピクチャの枚数（Ｎ）は、vbv_delay_n2が、vbv_occupancyの設定値から（３）式を用いて演算したvbv_delayの設定値（vbv_delay_s）以上となるように計算して求める。すなわち、上述した（８）式に基づき以下に示す（９）式を導き出すことができる。
vbv_delay_n＋Ｎ×（ＥＴ−ＦＴ）≧vbv_delay_s （９）
この（９）式を変形した以下の（１０）式により、コピーピクチャの挿入枚数（Ｎ）を求める。
Ｎ≧（vbv_delay_s−vbv_delay_n）／（ＥＴ−ＦＴ） （１０）
本発明を適用した画像データ処理装置１では、このように演算したコピーピクチャをＮ枚挿入することにより得られるvbv_delay_n2を取得し、ＶＢＶバッファにおけるデータ占有量に換算してエンコーダの初期値とすることができる。これにより、（３）式により演算したvbv_occupancy_fが極端に小さい場合であっても、大幅に画質を劣化させることなくvbv_occupancyを最適にコントロールすることができる。
【００８９】
次に、他の電子機器から入力された画像データのデータストリームをつなぎ録りする場合において、継承したvbv_delay_nの値が極端に小さいときの処理について説明をする。
【００９０】
他の電子機器から入力されたデータストリームをつなぎ録りする場合には、コピーピクチャに加えてスタッフィングバイトを挿入することにより、vbv_occupancyをコントロールする。
【００９１】
図１０に示すように、vbv_delay_nに基づいて演算したvbv_occupancy_fが、設定値を下回る場合において、ｔ５１からｔ５２まで、コピーピクチャを挿入し、またスタッフィングバイトを挿入する。
【００９２】
このコピーピクチャの枚数やスタッフィングバイトの量は以下の方法で決定することができる。
【００９３】
先ず、記録ＥＮＤ点の直後に位置する次ピクチャのＡＵＸ−Ｖからvbv_delay_nを取得する。次に、つなぎ録りする画像データが他の電子機器から供給されたときに、当該供給された画像データの先頭に位置するＩピクチャのヘッダからＶＢＶディレイを取得し、これをvbv_delay_n3とする。また、次ピクチャのヘッダから４００ｂｐｓ単位で表されるBitrateを取得する。
【００９４】
このとき、コピーピクチャのバイト数をB_copyとしたとき、その転送時間を９０ＫＨｚ単位に換算したT_copyは、以下の式（１１）で表すことができる。
T_copy＝B_copy/Bitrate×換算係数 （１１）
この換算係数は、９０ＫＨｚ単位において、以下の（１２）式により１８００となる。
90000Hz×8bit/400bps＝1800 （１２）
ここで、取得したＶＢＶディレイの差分値VBVD_TNは、以下の（１３）により定義することができる。
VBVD_TN＝vbv_delay_n3−vbv_delay_n （１３）
ここで、VBVD_TN≦0のとき、コピーピクチャの枚数（N_copy）を０とし、スタッフィングバイトの挿入のみ実行する。一方、VBVD_TN＞0のとき、以下の（１４）式により求めた枚数（N_copy）分、コピーピクチャを挿入する。ちなみに、この（１４）式では求めるN_copyを整数に切り上げる。
N_copy＝VBVD_TN/（ＥＴ−T_copy） (１４）
また（１４）式において整数に切り上げられた分を（１５）、（１６）式により求められるスタッフィングバイト（B_Stuf）により補う。
T_Stuf＝（ＥＴ−T_copy）×Ｎ−VBVD_TN （１５）
B_Stuf＝T_Stuf×Bitrate/1800 （１６）
すなわち、本発明を適用した画像データ処理装置１は、他の電子機器からデータストリームが入力された場合において、夫々取得したvbv_delay_nと、vbv_delay_n3に応じて、コピーピクチャを挿入し、或いはスタッフィングバイトを挿入することができる。これにより、vbv_delay_n3に対して、vbv_delay_nがいかなる値であっても、コピーピクチャを挿入し、またスタッフィングバイトを挿入することができるため、画質をほとんど劣化させることなく、所望のvbv_occupancyへコントロールすることができる。
【００９５】
ちなみに、記録ＥＮＤ点直後のピクチャタイプがＰピクチャである場合において、当該Ｐピクチャから、Ｉピクチャで始まる次ピクチャをつなぎ録りする場合には、図１１に示すように、シーケンスヘッダ／ＧＯＰヘッダ分だけレートが上がってしまう。このため、シーケンスヘッダ／ＧＯＰヘッダ分応じたＶＢＶディレイを補正値として、求めたvbv_delay_nから差し引く必要がある。
【００９６】
この補正値を計算する際には、整数でステップ化する。この整数によるステップ化の際に、端数が生じた場合には切り上げることにより、シーケンスヘッダ／ＧＯＰヘッダ分のレートを下げるようにする。演算した補正値は、次ピクチャのvbv_delay_nの継承時、コピーピクチャやスタッフィング量の計算時において用いる。
【００９７】
次に、演算したコピーピクチャやスタッフィングの記録方法について説明をする。
【００９８】
図１２に示すように、磁気テープ上には、夫々ＡＵＸ＿Ｖが設けられ、Ｉピクチャ又はＰピクチャを先頭とし、Ｂピクチャを含むデータグループが既に記録されている。ちなみに図１２に示す例では、下地画像データの例として、画像データ処理装置１に対して最後に供給されたデータグループＬが示されている。
【００９９】
このデータグループＬの記録ＥＮＤ点以降の再記録位置には、１回目のつなぎ録りする次ピクチャを含むデータグループＮ１が記録されることとなる。このデータグループＮ１においても補助データを記録するためのＡＵＸ＿Ｖが設けられている。
【０１００】
更に、データグループＬとデータグループＮ１の間には、挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｈ）が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ）が記録される。このＥｄｉｔＰａｃｋ＿Ｖ＿ｈは、ＶＢＶバッファのビット占有量に応じて設けられる。
【０１０１】
このコピーピクチャやスタッフィングバイトを一つにまとめたＥｄｉｔＰａｃｋ＿Ｖ＿ｈは、あくまでデータグループＬやデータグループＮ１と独立したデータグループとして記録する。これにより、状況に応じてこのＥｄｉｔＰａｃｋ＿Ｖ＿ｈのみを分離することが可能となる。ＥｄｉｔＡＵＸ＿Ｖ＿ｈには、スタッフィングのＶＢＶディレイに相当する値を記録する。このとき、データグループＮ１のＡＵＸ−Ｖ記録されているvbv_delay_nを継承して、このＥｄｉｔＡＵＸ＿Ｖ＿ｈへ記録してもよい。
【０１０２】
このように１回目のつなぎ録りが行われた記録媒体の再記録位置において他の画像データを再度録画する、いわゆる２回目のつなぎ録りを行う場合には、このＥｄｉｔＰａｃｋ＿Ｖ＿ｈを分離して除去する。そして、図１２に示すように、２回目のつなぎ録りを行うデータグループＮ２が記録される。このデータグループＮ１においても補助データを記録するためのＡＵＸ＿Ｖが設けられている。更に、データグループＬとデータグループＮ２の間に、挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｈ２）が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ２）が記録される。
【０１０３】
このように、２回目のつなぎ録り時において、１回目のつなぎ録り時に記録したＥｄｉｔＰａｃｋ＿Ｖ＿ｈを除去することにより、以下の効果を得ることができる。
【０１０４】
図１３は、１回目のつなぎ録りを行ったデータグループＮ１の先頭を再記録位置として、２回目のつなぎ録りを行う場合の、時刻に対するＶＢＶバッファのデータ占有量を示している。この図１３に示されるように、データグループＮ２のＶＢＶディレイ(vbv_delay_h2)は、データグループＮ１のＶＢＶディレイ（vbv_delay_h1）よりも大きく、またデータグループＬのvbv_delay_nよりも小さい。このため、vbv_delay_h2とvbv_delay_nとを比較して、挿入するコピーピクチャの枚数やスタッフィングバイトの量を決めれば足りるところ、１回目のつなぎ録り時においてvbv_delay_nと、vbv_delay_h1との関係で、既に不要なスタッフィングバイト等が、ＥｄｉｔＰａｃｋ＿Ｖ＿ｈを介して記録されていることとなる。
【０１０５】
しかし、本発明を適用した画像データ処理装置１によれば、データグループＮ２が供給されるまでに、１回目のつなぎ録りにおけるスタッフィングバイト等を含むＥｄｉｔＰａｃｋ＿Ｖ＿ｈが除去されている。このため、vbv_delay_h1を無視して、vbv_delay_h2とvbv_delay_nとの間で、挿入するスタッフィングバイトの量を決定することができる。また、不要なスタッフィングバイト等が記録されることがなくなり、無駄な画面ホールドの発生を抑えることも可能となる。
【０１０６】
一方、vbv_delay_nよりもvbv_delay_h1の方が大きいためにコピーピクチャ及びスタッフィングバイトが挿入される場合においても、データグループＮ２が供給されるまでに、ＥｄｉｔＰａｃｋ＿Ｖ＿ｈが除去されている。このため、vbv_delay_h1を無視して、vbv_delay_h2とvbv_delay_nとの間で、挿入するコピーピクチャの枚数やスタッフィングバイトの量を決定することができる。また、不要なコピーピクチャやスタッフィングバイト等が記録されることがなくなり、エンコード後の画質の劣化を防止し、ひいては、無駄な画面ホールドを抑えることができる。
【０１０７】
なお、ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ１がスタッフィングバイトのみで構成される場合には、図１４に示すように、当該スタッフィングバイトを構成するＥＳのみに対してＰＥＳヘッダを付加する。
【０１０８】
これにより、スタッフィングバイトのみを構成するＥＳを、他のＥＳと合わせてＰＥＳパケットを構成する必要がなくなり、またスタッフィングの境界が明示されることとなるため、デコード時において、当該ＰＥＳヘッダが付されたスタッフィングバイトを容易に除去することができる。
【０１０９】
次に、２回目のつなぎ録り時における再記録位置について説明をする。
【０１１０】
図１５は、ｔ６１から始まるvbv_delay_nに対して、コピーピクチャやスタッフィングを挿入させてｔ６２から始まるvbv_delay_h1を示している。このとき、２回目のつなぎ録りが行われ、更に追加スタッフィングが付されたvbv_delay_h2は、ｔ６２から追加スタッフィング分だけ遅れたｔ６３から開始することとなる。
【０１１１】
このとき、vbv_delay_h2とvbv_delay_nとの間で、正確な追加スタッフィング量を決定しても、記録開始位置をｔ６３とすれば、２回目のつなぎ録り時において除去されるＥｄｉｔＰａｃｋ＿Ｖ＿ｈにおけるスタッフィングバイト等の分だけ、無駄な画面ホールドが発生してしまう。このため、本発明では、２回目のつなぎ録り時における記録開始位置を、vbv_delay_nの開始時刻であるｔ６１から、追加スタッフィング量遅延させた時刻ｔ７１となるように制御する。
【０１１２】
すなわち、１回目のつなぎ録り時におけるスタッフィングバイト量が記録されたＥｄｉｔＰａｃｋ＿Ｖ＿ｈを一度除去して、vbv_delay_h2とvbv_delay_nとの間で新たに追加スタッフィング量を計算し、この計算したスタッフィング量を次ピクチャの前に挿入する。これにより無駄な画面ホールドを減らすことができる。
【０１１３】
なお、ＥｄｉｔＡＵＸ＿Ｖ＿ｈには、コピーピクチャであることを識別するためのフラグや、そのコピーピクチャの枚数を識別するためのフラグを記録しておいても良い。
【０１１４】
なお、コピーピクチャとスタッフィングバイトの両方を磁気テープ４上へ記録する場合には、図１６に示すように、先ずコピーピクチャを挿入し、その後にスタッフィングバイトを挿入する。これにより、アンダーフローの発生を防止することができる。
【０１１５】
なお、本発明は上述した実施の形態に限定されるものではなく、例えば、磁気テープ４に記録する場合のみならず、他の磁気ディスクを利用した他の記録媒体にも適用可能である。また、上述の手法は、放送においても適用できることは勿論である。
【０１１６】
【発明の効果】
以上詳細に説明したように、本発明に係る画像データ処理装置及び方法は、１回目のつなぎ録り時に記録したＥｄｉｔＰａｃｋ＿Ｖ＿ｈを分離して除去することができるため、不要なスタッフィングバイト等が記録されることがなくなり、無駄な画面ホールドの発生を抑えることも可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像データ処理装置の内部構成例を示した図である。
【図２】磁気テープの構成を示した図である。
【図３】磁気テープにおけるヘリカルトラックの構成を示した図である。
【図４】データグループについて説明するための図である。
【図５】画像データ処理装置に対して最後に供給されたデータグループにおけるデータ占有量の推移を表した図である。
【図６】次ピクチャのvbv_delay_nの値が未知の場合に、記録時に予め演算する例を説明するための図である。
【図７】つなぎ録り時における、ＥＣＣ処理部のＥＣＣＢａｎｋメモリの処理について説明するための図である。
【図８】エンコーダにおける符号量制御のフローを示した図である。
【図９】 vbv_delay_nに基づいて演算したvbv_occupancy_fが、設定値を下回る場合においてコピーピクチャを挿入し続ける例を説明するための図である。
【図１０】他の電子機器から入力された画像データのデータストリームをつなぎ録りする場合において、継承したvbv_delay_nの値が極端に小さいときの処理について説明をするための図である。
【図１１】記録ＥＮＤ点直後のピクチャタイプがＰピクチャである場合におけるつなぎ録りの欠点について説明するための図である。
【図１２】演算したコピーピクチャやスタッフィングの記録方法について説明をするための図である。
【図１３】１回目のつなぎ録りを行ったデータグループＮ１の先頭を再記録位置として、２回目のつなぎ録りを行う場合の、時刻に対するＶＢＶバッファのデータ占有量を示した図である。
【図１４】スタッフィングバイトを構成するＥＳのみに対してＰＥＳヘッダを付加する場合について説明するための図である。
【図１５】２回目のつなぎ録り時における再記録位置について説明をするための図である。
【図１６】コピーピクチャとスタッフィングバイトの両方を磁気テープ上へ記録する場合について説明するための図である。
【図１７】デコーダにおける入力バッファにおける、供給されたＭＰＥＧストリームに対するデータ占有量の推移を表した図である。
【図１８】従来技術の問題点について説明するための図である。
【符号の説明】
１１ 外部入力部、１２ ピクチャサイズ測定部、１３ エンコーダ、１４ 挿入処理部、１５ 補助データ生成部、１６ ストリーム記録処理部、１７ ＥＣＣ処理部、１８ 記録回路、１９ 再生回路、２０ 補助データ抽出部、２１ストリーム再生処理部、２２ ヘッダ抽出部、２３ ＶＢＶディレイ抽出部、２４ 外部出力部、２５ デコーダ、２６ 制御部
Claims (16)
- ＭＰＥＧ方式により符号化され、また夫々補助記録領域（ＡＵＸ＿Ｖ）が設けられ、Ｉピクチャ又はＰピクチャを先頭とし、かつＢピクチャを含むデータグループ（Ｐａｃｋ＿Ｖ）からなる画像データを処理する画像データ処理装置において、
上記Ｐａｃｋ＿Ｖが既に記録されている記録媒体上の編集点上に、編集されるデータグループ（Ｐａｃｋ＿Ｖ＿ｈ）を記録し、また復号化時に用いられるＶＢＶ（Video Buffering Verifier）バッファのビット占有量に応じて、当該Ｐａｃｋ＿Ｖ＿ｈの前に、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｈ）が設けられ、前ピクチャを繰り返して表示するコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ）を記録媒体上へ記録する記録手段を備え、
上記記録手段は、上記記録媒体上の編集点に上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｈが記録されている場合に、当該ＥｄｉｔＰａｃｋ＿Ｖ＿ｈと独立して、新たに入力されたデータグループ（Ｐａｃｋ＿Ｖ＿ｎ）の前に位置し、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｎ）が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｎ）を、上記編集点に基づき記録すること
を特徴とする画像データ処理装置。 - 上記記録手段は、新たに入力されたＰａｃｋ＿Ｖ＿ｎの前に位置するＥｄｉｔＰａｃｋ＿Ｖ＿ｎを、上記編集点に記録する際に除去すること
を特徴とする請求項１記載の画像データ処理装置。 - 上記ＡＵＸ＿Ｖに記録されているＶＢＶディレイ（VBV_delay)と、上記ＥｄｉｔＡＵＸ＿Ｖ＿ｎに記録されているＶＢＶディレイ（VBV_delay_ｎ)とを読み出して比較する比較手段と、
上記比較手段による比較結果に応じて、上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｎを構成するコピーピクチャの枚数を或いはスタッフィングバイトを制御する制御手段とを備えること
を特徴とする請求項１記載の画像データ処理装置。 - 上記記録手段は、上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｎを構成するスタッフィングバイトに基づくVBV_delay_ｎを上記ＥｄｉｔＡＵＸ＿Ｖ＿ｎへ記録すること
を特徴とする請求項１記載の画像データ処理装置。 - 上記記録手段は、上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｈがスタッフィングバイトのみで構成される場合に、当該スタッフィングバイトに対して、ＰＴＳとＤＴＳを含まないＰＥＳヘッダを付加すること
を特徴とする請求項１記載の画像データ処理装置。 - 上記記録手段は、上記記録媒体上において既にコピーピクチャが存在する場合において、該コピーピクチャを識別するフラグを上記記録媒体上に記録すること
を特徴とする請求項１記載の画像データ処理装置。 - 上記記録手段は、上記コピーピクチャの先頭を上記編集点とすること
を特徴とする請求項６記載の画像データ処理装置。 - 上記記録手段は、ＥｄｉｔＰａｃｋ＿Ｖ＿ｈがコピーピクチャ及びスタッフィングバイトの双方で構成されている場合に、記録媒体上へコピーピクチャを挿入後にスタッフィングバイトを挿入し、
またＥｄｉｔＰａｃｋ＿Ｖ＿ｎがコピーピクチャ及びスタッフィングバイトの双方で構成されている場合に、記録媒体上へコピーピクチャを挿入後にスタッフィングバイトを挿入すること
を特徴とする請求項１記載の画像データ処理装置。 - ＭＰＥＧ方式により符号化され、また夫々補助記録領域（ＡＵＸ＿Ｖ）が設けられ、Ｉピクチャ又はＰピクチャを先頭とし、かつＢピクチャを含むデータグループ（Ｐａｃｋ＿Ｖ）からなる画像データを処理する画像データ処理方法において、
上記Ｐａｃｋ＿Ｖが既に記録されている記録媒体上の編集点上に、編集されるデータグループ（Ｐａｃｋ＿Ｖ＿ｈ）を記録し、また復号化時に用いられるＶＢＶ（Video Buffering Verifier）バッファのビット占有量に応じて、当該Ｐａｃｋ＿Ｖ＿ｈの前に、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｈ）が設けられ、前ピクチャを繰り返して表示するコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｈ）を記録媒体上へ記録する記録ステップを有し、
上記記録ステップは、上記記録媒体上の編集点に上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｈが記録されている場合に、当該ＥｄｉｔＰａｃｋ＿Ｖ＿ｈと独立して、新たに入力されたデータグループ（Ｐａｃｋ＿Ｖ＿ｎ）の前に位置し、夫々挿入補助記録領域（ＥｄｉｔＡＵＸ＿Ｖ＿ｎ）が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（ＥｄｉｔＰａｃｋ＿Ｖ＿ｎ）を、上記編集点に基づき記録すること
を特徴とする画像データ処理方法。 - 上記記録ステップにおいて、新たに入力されたＰａｃｋ＿Ｖ＿ｎの前に位置するＥｄｉｔＰａｃｋ＿Ｖ＿ｎを、上記編集点に記録する際に除去すること
を特徴とする請求項９記載の画像データ処理方法。 - 上記ＡＵＸ＿Ｖに記録されているＶＢＶディレイ（VBV_delay)と、上記ＥｄｉｔＡＵＸ＿Ｖ＿ｎに記録されているＶＢＶディレイ（VBV_delay_ｎ)とを読み出して比較する比較ステップと、
上記比較手段による比較結果に応じて、上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｎを構成するコピーピクチャの枚数を或いはスタッフィングバイトを制御する制御ステップとを有すること
を特徴とする請求項９記載の画像データ処理方法。 - 上記制御ステップにおいて、上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｎを構成するスタッフィングバイトに基づくVBV_delay_ｎを上記ＥｄｉｔＡＵＸ＿Ｖ＿ｎへ記録すること
を特徴とする請求項９記載の画像データ処理方法。 - 上記記録ステップにおいて、上記ＥｄｉｔＰａｃｋ＿Ｖ＿ｈがスタッフィングバイトのみで構成される場合に、当該スタッフィングバイトに対して、ＰＴＳとＤＴＳを含まないＰＥＳヘッダを付加すること
を特徴とする請求項９記載の画像データ処理方法。 - 上記記録ステップにおいて、上記記録媒体上において既にコピーピクチャが存在する場合に、該コピーピクチャを識別するフラグを上記記録媒体上に記録すること
を特徴とする請求項９記載の画像データ処理方法。 - 上記記録ステップにおいて、上記コピーピクチャの先頭を上記編集点とすること
を特徴とする請求項１４記載の画像データ処理方法。 - 上記記録ステップにおいて、ＥｄｉｔＰａｃｋ＿Ｖ＿ｈがコピーピクチャ及びスタッフィングバイトの双方で構成されている場合に、記録媒体上へコピーピクチャを挿入後にスタッフィングバイトを挿入し、
またＥｄｉｔＰａｃｋ＿Ｖ＿ｎがコピーピクチャ及びスタッフィングバイトの双方で構成されている場合に、記録媒体上へコピーピクチャを挿入後にスタッフィングバイトを挿入すること
を特徴とする請求項９記載の画像データ処理方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002199073A JP3736504B2 (ja) | 2002-07-08 | 2002-07-08 | 画像データ処理装置及び方法 |
| KR1020057000351A KR20050025328A (ko) | 2002-07-08 | 2003-07-02 | 화상 데이터 처리 장치 및 방법 |
| PCT/JP2003/008433 WO2004008752A1 (ja) | 2002-07-08 | 2003-07-02 | 画像データ処理装置及び方法 |
| CNB038178281A CN100440958C (zh) | 2002-07-08 | 2003-07-02 | 图像数据处理装置和方法 |
| EP03741158A EP1521460A4 (en) | 2002-07-08 | 2003-07-02 | IMAGE DATA PROCESSING DEVICE AND METHOD |
| US10/520,446 US20050232596A1 (en) | 2002-07-08 | 2003-07-02 | Image data processing device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002199073A JP3736504B2 (ja) | 2002-07-08 | 2002-07-08 | 画像データ処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004048104A JP2004048104A (ja) | 2004-02-12 |
| JP3736504B2 true JP3736504B2 (ja) | 2006-01-18 |
Family
ID=30112449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002199073A Expired - Fee Related JP3736504B2 (ja) | 2002-07-08 | 2002-07-08 | 画像データ処理装置及び方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20050232596A1 (ja) |
| EP (1) | EP1521460A4 (ja) |
| JP (1) | JP3736504B2 (ja) |
| KR (1) | KR20050025328A (ja) |
| CN (1) | CN100440958C (ja) |
| WO (1) | WO2004008752A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4791129B2 (ja) * | 2005-10-03 | 2011-10-12 | ルネサスエレクトロニクス株式会社 | 画像符号化装置、画像符号化方法及び画像編集装置 |
| JP5286050B2 (ja) * | 2008-11-28 | 2013-09-11 | 株式会社日立国際電気 | 符号化−復号化装置および映像伝送システム |
| EP3892707A1 (en) | 2020-04-06 | 2021-10-13 | Dalli-Werke GmbH & Co. KG | Liquid detergent composition, kit and dosing system |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1066008A (ja) * | 1996-08-23 | 1998-03-06 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動画像検索編集装置 |
| JP4232209B2 (ja) * | 1998-01-19 | 2009-03-04 | ソニー株式会社 | 圧縮画像データの編集装置及び圧縮画像データの編集方法 |
| CN1224304A (zh) * | 1998-01-20 | 1999-07-28 | 日本胜利株式会社 | 数字视频信号记录装置和再生装置 |
| JPH11261958A (ja) * | 1998-03-09 | 1999-09-24 | Sony Corp | 映像編集装置及び映像編集方法 |
| US6611624B1 (en) * | 1998-03-13 | 2003-08-26 | Cisco Systems, Inc. | System and method for frame accurate splicing of compressed bitstreams |
| WO2000001160A2 (en) * | 1998-06-29 | 2000-01-06 | Limt Technology Ab | Method and apparatus for splicing data streams |
| JP4053668B2 (ja) * | 1998-09-16 | 2008-02-27 | パイオニア株式会社 | 情報記録装置及び情報記録方法 |
| US6993081B1 (en) * | 1999-11-23 | 2006-01-31 | International Business Machines Corporation | Seamless splicing/spot-insertion for MPEG-2 digital video/audio stream |
| US6792047B1 (en) * | 2000-01-04 | 2004-09-14 | Emc Corporation | Real time processing and streaming of spliced encoded MPEG video and associated audio |
| JP2001275077A (ja) * | 2000-03-27 | 2001-10-05 | Sony Corp | 磁気テープ記録装置および方法、磁気テープ再生装置および方法、磁気テープのフォーマット、並びに記録媒体 |
| US7292782B2 (en) * | 2000-09-27 | 2007-11-06 | Victor Company Of Japan, Limited | MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method |
-
2002
- 2002-07-08 JP JP2002199073A patent/JP3736504B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-02 EP EP03741158A patent/EP1521460A4/en not_active Withdrawn
- 2003-07-02 US US10/520,446 patent/US20050232596A1/en not_active Abandoned
- 2003-07-02 KR KR1020057000351A patent/KR20050025328A/ko not_active Application Discontinuation
- 2003-07-02 WO PCT/JP2003/008433 patent/WO2004008752A1/ja active Application Filing
- 2003-07-02 CN CNB038178281A patent/CN100440958C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1672410A (zh) | 2005-09-21 |
| JP2004048104A (ja) | 2004-02-12 |
| WO2004008752A1 (ja) | 2004-01-22 |
| EP1521460A4 (en) | 2008-06-11 |
| KR20050025328A (ko) | 2005-03-14 |
| EP1521460A1 (en) | 2005-04-06 |
| US20050232596A1 (en) | 2005-10-20 |
| CN100440958C (zh) | 2008-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5740307A (en) | Methods for monitoring a trick play data stream to insure MPEG compliance | |
| JPH0832926A (ja) | ディジタル記録再生装置 | |
| JP3736503B2 (ja) | 画像データ処理装置及び方法 | |
| JP3714302B2 (ja) | 画像データ処理装置及び方法 | |
| WO2000027113A1 (fr) | Appareil et procede d'enregistrement et de reproduction | |
| US7321715B2 (en) | Picture data reproducing apparatus and method | |
| CA2377978C (en) | Recording method, recording medium and recording apparatus | |
| JP3736504B2 (ja) | 画像データ処理装置及び方法 | |
| JP3253530B2 (ja) | 動画像記録装置 | |
| KR100577327B1 (ko) | Ａｖ 데이터 기록 재생 장치 및 방법, 상기 ａｖ 데이터기록 재생 장치 또는 방법으로 기록된 기록 매체, 및데이터 구조체 | |
| US7239795B2 (en) | Picture data reproducing apparatus and method | |
| JP2001155437A (ja) | 記録装置および方法 | |
| JP2001268513A (ja) | 動画像再生装置および動画像記録再生システム | |
| JP3978903B2 (ja) | データ記録装置、データ記録方法、データ処理装置、およびデータ処理方法 | |
| JP4655101B2 (ja) | データ生成装置及びデータ生成方法 | |
| JP2003235011A (ja) | プログラムストリーム生成装置およびこれを用いた記録再生装置 | |
| JP2002158968A (ja) | 映像音声信号再生装置及び方法並びに映像音声信号記録再生装置及び方法 | |
| JP2001160263A (ja) | 記録装置および方法、ならびに、再生装置および方法 | |
| JP2001218161A (ja) | 記録装置および方法、ならびに、再生装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040406 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051017 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081104 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |