JP2006054530A - Ｍｐｅｇ画像データ記録装置及びｍｐｅｇ画像データ記録方法 - Google Patents

Abstract

【課題】 従来は、２つのＭＰＥＧ画像データを指定した繋ぎ位置で繋いで再生する編集記録を行う場合、連続性を考慮した符号化制約を施すことが必要で、これは符号化効率の面では不利な要因であり、また、繋ぎ位置で一時的な静止現象が起こる可能性がある。
【解決手段】 ＶＢＶバッファ情報検出器１０４は、繋ぎ区間の開始位置よりも例えば４フレーム数前のＶＢＶバッファ占有値が略ゼロであったと見立てて、開始位置におけるＶＢＶバッファ占有値（第１の設定値）を計算すると共に、繋ぎ指定位置におけるＶＢＶバッファ占有値に関する情報値が、ＭＰＥＧ符号化条件で規定される略最大値であると見立て、それらをパラメータ設定器１０５に設定する。画像再符号化器１０６は、繋ぎ区間の復号画像データに対し、ＶＢＶバッファ占有値の推移が、第１の設定値から開始されてＶＢＶバッファ占有値の略最大値までで終了するように符号量制御を行って再符号化する。
【選択図】 図２

Description

本発明はＭＰＥＧ画像データ記録装置及びＭＰＥＧ画像データ記録方法に係り、特にＭＰＥＧ（Moving Picture Experts Group）符号化方式で符号化して得られた２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で繋げて再生させる際に、シームレスな再生を実現させるための記録を行うＭＰＥＧ画像データ記録装置及びＭＰＥＧ画像データ記録方法に関する。

まず、本発明の前提となるＭＰＥＧ符号化方式について簡単に説明する。ＭＰＥＧ符号化方式についてはＩＳＯ／ＩＥＣ 11172-2、ＩＴＵ−Ｔ勧告Ｈ．２６２、ＩＳＯ／ＩＥＣ 13818-2に詳細な説明がなされているので、ここでは概略のみ説明する。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Moving Picture Experts Group）の略称である。

ＭＰＥＧ１（ＭＰＥＧフェーズ１）は１.５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧと、ＩＳＤＮ（サービス統合ディジタル網）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ.２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＵ−ＴＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＴＥＣ １１１７２として成立している。ＭＰＥＧ１は幾つかの技術を組み合わせて作成されている。

図９はＭＰＥＧ符号化方式による符号化を行う従来のＭＰＥＧ符号化器を示し、以下に簡単に説明する。入力画像信号は、まず動き補償予測器１で復号化した画像信号と差分器２で差分を取られることで時間冗長部分を削減される。予測の方向は、過去、未来、両方からの３モード存在する。また、これらは１６画素×１６画素のＭＢ（Macro block）毎に切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。

過去からの予測により符号化するモードと、予測をしないでそのＭＢを独立で符号化するモードとの２モード存在するのが片方向画像間予測符号化画像（Ｐピクチャ）である。また、未来からの予測により符号化するモード、過去からの予測により符号化するモード、両方からの予測により符号化するモード、独立で符号化するモードの４モード存在するのが双方向画像間予測符号化画像（Ｂピクチャ）である。そして、全てのＭＢが独立で符号化するのが画像内独立符号化画像（Ｉピクチャ）である。

動き補償予測器１における動き補償は、入力画像信号と画像メモリ１１からの参照画像信号の間で、動き領域をＭＢ毎にパターンマッチングを行って、ハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣ（Motion Compensation）モードと共にＭＢの付加情報として伝送される。

一般的には、上記の３つのピクチャを組み合わせて伝送するが、Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Picture）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が一つのＧＯＰ区間として使用される（但し、１ＧＯＰ区間内に２つ以上のＩピクチャを含んでもよい。要するに、１ＧＯＰ区間内に１つ以上のＩピクチャを含めばよい。）。

差分器２から出力された差分画像信号は、ＤＣＴ器３において離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）が行われてＤＣＴ係数とされる。離散コサイン変換（ＤＣＴ）とは、余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではＭＢを４分割し、８×８画素のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般に、画像信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。

ＤＣＴされた画像データ（ＤＣＴ係数）は量子化器４で量子化が行われる。量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算することで行われる。ＭＰＥＧ復号化器（デコーダ）で逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。

量子化器４で量子化されたデータはＶＬＣ器５で可変長符号（ＶＬＣ：Variable Length Code）化される。ＶＬＣ器５では量子化された値のうち直流（ＤＣ）成分は、予測符号化の一つである差分パルス符号変調（ＤＰＣＭ:differential pulse code modulation）を使用する。また、交流（ＡＣ）成分は低域から高域にジグザグスキャンを行い、ゼロのラン長及び有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。

ＶＬＣ器５で可変長符号化されたデータは、バッファ６に一時蓄えられた後、所定の転送レートで符号化データとして出力される。また、その出力される符号化データのＭＢ毎の発生符号量は、符号量制御器７に供給され、ここで目標符号量に対する発生符号量との誤差符号量とされた後、量子化器４にフィードバックされて量子化スケールを調整することで符号量制御される。

また、量子化器４で量子化された画像データは、逆量子化器８にて逆量子化され、更に逆ＤＣＴ器９にて逆ＤＣＴされた後、加算器１０を介して画像メモリ１１に一時蓄えられる。動き補償予測器１は、画像メモリ１１に記憶された信号を、入力画像信号との動き補償を行うためのリファレンスの復号化画像（参照画像）として使用する。

図１０は図９の符号化装置によりＭＰＥＧ符号化された符号化データを復号化する復号化器（デコーダ）の一例のブロック図を示す。図１０において、符号化データ（ストリーム）はバッファ１３でバッファリングされてからＶＬＤ器１４に入力される。ＶＬＤ器１４では可変長復号化を行い、直流（ＤＣ）成分及び交流（ＡＣ）成分を得る。交流（ＡＣ）成分データは低域から高域にジグザグスキャンの順で８×８のマトリックスに配置される。

ＶＬＤ器１４から出力されたデータは逆量子化器１５に入力され量子化マトリックスにて逆量子化される。逆量子化されたデータは逆ＤＣＴ器１６に入力されて逆ＤＣＴされ、加算器１７で動き補償予測器１８からの信号と加算されることにより、画像データ（復号化データ）として出力される。また、この復号化データは、画像メモリ１９に一時蓄えられた後、動き補償予測器１８において、ＶＬＤ器１４からのデータとの間の差分画像を計算するためのリファレンスの復号化画像（参照画像）として使用される。

ここで、バッファ１３から出力される符号化データのビットストリームは、ビデオの場合１ピクチャ毎に可変長の符号量をもっている。これはＭＰＥＧがＤＣＴ、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャ毎に配分する符号量は適応的に変更する必要性があり、動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。

この場合、多くはその画像のエントロピー比率に配分しつつ、バッファ６の記憶容量（バッファ容量）の制限を守りながら符号量制御される。符号量制御器７は発生した符号量と符号化レートの関係を監視し、所定のバッファ容量に収まるように目標符号量を設定する。この値はＶＬＣ器５にフィードバックされ、符号量制御器７に入り、そこで量子化器４にセットする量子化値を大きくして発生符号量を抑えたり、量子化値を小さくして発生符号量を小さくしたりする。

このような可変長データを固定の転送レート（符号化レート）で符号化する場合、復号化器の最大バッファ量を上限値とすると、一定速度でデータが入力されて、所定の値だけ溜まったところから、所定の時刻（ＮＴＳＣのビデオ信号なら１／２９.９７ｓｅｃ単位）で復号化を一瞬で行うモデルを使用し、そのバッファがオーバーフローもアンダーフローも発生しないように符号化することがＭＰＥＧで規定されている。

この規定（ＶＢＶバッファ規定）を守っていれば、ＶＢＶバッファ内でのレートは局部的に変化しているものの、観測時間を長くとれば固定の転送レートとなり、ＭＰＥＧではこのことを固定転送レートであると定義している。

固定転送レートの場合、発生符号量の少ない場合にはバッファ占有量は、上限値に張り付いた状態になる。この場合、無効ビットを追加してオーバーフローしないように符号量を増やさなければならない。可変転送レートの場合にはこの固定転送レートの定義を拡張して、バッファ占有量が上限値になった場合、復号化器の読み出しを中止することにより、原理的にオーバーフローが起きないように定義されている。

こうしたバッファ推移を図１１に示す。図１１は縦軸がバッファ占有量、横軸が表示時間を示す。同図に示すように、ＭＰＥＧ符号化では、仮に非常に発生符号量が少なくても、復号器の読み出しが中止されるので、固定転送レートの時のように無効ビットをいれる必要はない。従って、アンダーフローだけが発生しないように符号化する。

ＭＰＥＧシステムはＭＰＥＧビデオ及びオーディオなどで符号化されたビットストリームを、１個のビットストリームに多重化し、同期を確保しながら再生する方式を規定したものである。システムで規定されている内容は大きく分けて次の５点である。

１）複数の符号化されたビットストリームの同期再生
２）複数の符号化されたビットストリームの単一ビットストリームへの多重化
３）再生開始時のバッファの初期化
４）連続的なバッファの管理
５）復号や再生などの時刻の確定
ＭＰＥＧシステムで多重化を行うには情報をパケット化する必要がある。パケットによる多重化とは、例えばビデオデータ、オーディオデータを多重化する場合、各々をパケットと呼ばれる適当な長さのストリームに分割し、ヘッダなどの付加情報を付けて、適宜、ビデオ、オーディオのパケットを切り替えて時分割伝送する方式である。ヘッダにはビデオ、オーディオなどを識別する情報や、同期のための時間情報が存在する。パケット長は伝送媒体やアプリケーションに依存し、非同期転送モード（ＡＴＭ）のように５３バイトから、光ディスクのように４kバイトと長いものまで存在している。ＭＰＥＧでは、パケット長は可変で任意に指定できるようになっている。

データはパック化及びパケット化され、１パックは数パケットで構成されている。各パックの先頭部分にはパックスタートコード（pack start code）やシステム時刻基準参照値（ＳＣＲ:System Clock Reference）が、また、パケットの先頭部分にはストリームＩＤ（stream ID）やタイムスタンプが記述されている。タイムスタンプにはオーディオ、ビデオなどの同期をとる時間情報が記述されており、ＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation Time Stamp）の２種類が存在する。

ＤＴＳは復号の時刻管理情報で、そのパケットデータ内の最初のアクセスユニット（ビデオなら１ピクチャ、オーディオなら例えば１１５２サンプル）のデコード開始時刻を、ＰＴＳは再生出力の時刻管理情報で、表示（再生）開始時刻を示している。これらのタイムスタンプは、ＳＣＲやＰＣＲ（Program Clock Reference）によって時間基準が与えられる。ＰＣＲは２７ＭＨｚの時間精度で記述されており、デコーダ（decoder）の基準時計をロックする情報（時刻基準参照値）である。

図１２は従来のＭＰＥＧ多重システムの一例のブロック図を示す。同図に示すように、システムデコーダ２１は、入力された多重化したストリーム中の多重化単位のパックのヘッダに記述されているオーディオやビデオの識別子を見て、オーディオパックデータはオーディオデコーダ２２に、ビデオパックデータはビデオデコーダ２３にそれぞれ分離して出力する。

また、同時に、システムデコーダ２１は、入力多重化ストリーム中の前記パックのヘッダに記述されているＳＣＲ（システムクロックリファレンス）と、ＤＴＳ（デコーディングタイムスタンプ）と、ＰＳＴ（プレゼンテーションタイムスタンプ）の各情報を検出して、ＳＣＲをクロックコントローラ２４に、ＤＴＳとＰＴＳを比較器２５に出力する。クロックコントローラ２４では、入力されたＳＣＲに対して同期をかけて２７ＭＨｚのクロックを生成する。

一方、オーディオデコーダ２２では、入力されたオーディオパックデータからパックヘッダを取り除き、オーディオエレメンタリデータにしてから復号を行い、一時オーディオ用メモリ２６に記憶される。また、ビデオデコーダ２３では、入力されたビデオパックデータからパックヘッダを取り除き、ビデオエレメンタリデータにしてから復号を行い、一時ビデオ用メモリ２７に記憶される。

比較器２５では、クロックからのクロック情報と、入力されたＰＴＳなどのタイムスタンプを比較して、一致したときに、デコードやプレゼンテーションする信号をデコーダやメモリ２６、２７に出力して、ＤＴＳに合わせてデコードし、ＰＴＳに合わせてプレゼンテーションすることで、オーディオとビデオのバッファ制御やＡＶ同期を合わせる制御を行う。このように、オーディオデコーダ２２、ビデオデコーダ２３等は、ＰＣＲでロックした共通の基準時計を常に監視し、ＤＴＳやＰＴＳの時間と一致したときに、デコードや表示を行う仕組みになっている。

ここで、多重化されたデータが各デコーダでバッファリングされ、同期した表示を行うための仮想的なデコーダ（図１２ではオーディオデコーダ２２、ビデオデコーダ２３）をＳＴＤ（System Target Decoder）と呼び、このＳＴＤがオーバーフローやアンダーフローを起こさないように多重化されていなければならない。

また、ＭＰＥＧシステムには、大きく分けてＴＳ（Transport Stream）とＰＳ（Program Stream）が存在する。これらはＰＥＳ（Packetized Elementary Stream）、及びその他の必要な情報を含むパケットから構成されている。ＰＥＳは両ストリーム間の変換を可能とするための中間ストリームとして規定されていて、ＭＰＥＧで符号化されたビデオ、オーディオデータの他、プライベートストリームなどをパケット化したものである。

ＰＳは図１３（Ｅ）に示すように、ＰＳパック（又は単にパック）と呼ばれる可変長ブロックを単位とする連続したストリームで、共通の基準時間を有するプログラムのビデオ、オーディオの多重化をすることが可能である。ＰＳパックは、図１３（Ｄ）に示すように、パックヘッダと複数のＰＥＳで構成される。ＰＥＳの構造は図１３（Ｃ）に示すように、ＰＥＳヘッダとＰＥＳペイロードとからなり、それらは後述するＴＳと共用して用いられ、これらの相互互換性を可能とする。ＰＳのＳＴＤモデルでは、ストリームはＰＥＳパケット内のストリームＩＤ（stream id）によってスイッチされる。

ＴＳもＰＳと同じように共通の基準時間を有するプログラムのビデオ、オーディオの多重化をすることが可能であるが、ＴＳはさらに異なる基準時間を有する通信や放送などのマルチプログラムの多重化を可能としている。ＴＳはＡＴＭセル長や誤り訂正符号化する場合を考慮し、図１３（Ａ）に示すように、１８８バイトの固定長のＴＳパケットの連続したストリームで構成されており、エラーが存在する系でも使用できるように考慮されている。

ＴＳパケット自体の構造は図１３（Ｂ）に示すように、一つのＴＳヘッダと一つのＴＳペイロードとから構成され、それほど複雑ではないが、ＴＳはマルチプログラムのストリームであるため、その運用は複雑である。ＰＳと比べて特徴的なのは図１３（Ｂ）に示す構造のＴＳパケットが上位構造であるにも拘らず、同図（Ｃ）に示すＰＥＳパケットより（通常は）短く、ＰＥＳパケットを分割して同図（Ｂ）に示すＴＳパケットのＴＳペイロードに乗せて伝送する点である。ＴＳのＳＴＤモデルでは、ストリームはＴＳパケット内のＰＩＤ（パケットＩＤ）によってスイッチされる。

ＭＰＥＧシステムのＴＳにはその多重化されている番組の情報に関するパケットがどのパケット識別情報（ＰＩＤ:Packet Identification）であるのかを指示する仕組みがある。それを図１４で説明する。まずＴＳパケット群の中からＰＩＤ＝０のものを探す。ＰＩＤ＝０のＴＳパケット３１は、ＰＡＴ（Program Association Table）と呼ばれる情報パケットで、そのパケットの中には３２で示すように、ＰＲＯＧＲＡＭナンバーＰＲに対応する情報ＰＩＤがリンクされた形で記述されている。

次に、目的のＰＲに対応するＰＩＤのパケット（ここでは、ＰＩＤ＝ＸのＴＳパケットとする）３３を読みに行くと、その中には３４で示すように、ＰＭＴ（Program Map Table）と呼ばれる情報パケットがあり、そのＰＭＴの中にはそのＰＲに対応する番組のビデオパケットのＰＩＤと、オーディオパケットのＰＩＤの情報が記述されている。これにより、ＰＩＤ＝ＰＶのＴＳパケット３５を受信し、ＰＩＤ＝ＰＣのＴＳパケット３６を受信し、ＰＩＤ＝ＰＡのＴＳパケット３７を受信することにより、目的の番組のビデオ、クロック、オーディオ信号を得ることができる。上記のＰＡＴとＰＭＴのことをＰＳＩ（Program Specific Information）と呼び、目的の番組のチャンネルにアクセス（エントリー）することが可能な情報体系になっている。

以上説明したＭＰＥＧ符号化方式で符号化を行って得た２つのＭＰＥＧ画像データを、編集のために単純に繋いで記録媒体に記録する場合は、前述したＶＢＶバッファの接続に矛盾が生じ、オーバーフローやアンダーフローがおきてしまう。

そこで、２つのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で繋げて再生させる際に、シームレスな再生を実現させるための記録を行うべく、ＭＰＥＧ画像データの連続性を保つため、２つのＭＰＥＧ画像データの繋ぎ指定位置の編集点ではＶＢＶバッファを常に固定になるよう発生符号量を制御したり、ＧＯＰをクローズドＧＯＰとして符号化するなど、連続性を考慮した符号化を行うようにした画像データ記録装置が従来より知られている（例えば、特許文献１参照）。

また、符号化データには何の制約も施さずに、そのデータの部分区間のうち、編集素材として抜粋されたデータを指示する情報とその再生順番に関する情報を記述し、記録されたデータは変更せずに、単一記録媒体に映像編集を実現できる画像データ記録装置も従来より知られている（例えば、特許文献２参照）。

特開平１１−７４７９９号公報 特開平１１−１８７３５４号公報

しかしながら、特許文献１記載の従来の画像データ記録装置においては、どこで編集されても良いように、各ＧＯＰに対してＶＢＶバッファが常に固定になるよう発生符号量を制御し、ＧＯＰをクローズドＧＯＰとして符号化するなど、連続性を考慮した符号化制約を施すことが必要であり、これは符号化効率の面では不利な要因である。

一方、特許文献２記載の従来の画像データ記録装置においては、あたかも編集したように再生表示はされるが、その編集点での連続性は不完全で、ＭＰＥＧデータのデコーダバッファの初期化などの一時的な静止現象が起こる可能性がある。

本発明は、以上の点に鑑みなされたもので、第１及び第２の２つのＭＰＥＧ画像データを（または、第１のＭＰＥＧ画像データを要素符号化データとして含むパケット多重化された第１のＭＰＥＧ多重化データと、第２のＭＰＥＧ画像データを要素符号化データとして含むパケット多重化された第２のＭＰＥＧ多重化データとを）、それぞれの指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させる際に（前記第１のＭＰＥＧ多重化データから前記第２のＭＰＥＧ多重化データへ繋げて再生させる際に）、ＶＢＶバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、シームレスで高品位な再生を実現させることができるＭＰＥＧ画像データ記録装置及びＭＰＥＧ画像データ記録方法を提供することを目的とする。

上記の目的を達成するため、第１の発明のＭＰＥＧ画像データ記録装置は、ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、ＭＰＥＧ符号化方式で符号化された第１の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたＭＰＥＧ画像データ記録装置であって、
記録手段は、第１のＭＰＥＧ画像データにおける繋ぎ指定位置より所定時間前の位置を開始位置とし、第１のＭＰＥＧ画像データにおける繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間として、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＭＰＥＧ符号化方式で再符号化して第１の繋ぎ区間再符号化データを生成する再符号化手段を備え、第１の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化手段は、第１のＭＰＥＧ画像データにおける第１の繋ぎ区間の開始位置より予め設定した複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、第１の繋ぎ区間の開始位置におけるＶＢＶバッファ占有値に関連する情報値である第１の設定値を算出すると共に、第１の繋ぎ区間の終了位置におけるＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第２の設定値を求めるＶＢＶバッファ占有値の設定値算出手段と、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値に関連する情報値が第１の設定値から開始されて、第２の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えたことを特徴とする。

また、上記の目的を達成するため、第２の発明のＭＰＥＧ画像データ記録装置は、上記の第１の発明の記録手段及び再符号化手段に替えて、記録手段は、第２のＭＰＥＧ画像データにおける繋ぎ指定位置を開始位置とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＭＰＥＧ符号化方式で再符号化して第２の繋ぎ区間再符号化データを生成する再符号化手段を備え、第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化手段は、第２のＭＰＥＧ画像データにおける第２の繋ぎ区間の開始位置より予め設定した複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、第２の繋ぎ区間の開始位置におけるＶＢＶバッファ占有値に関連する情報値である第３の設定値を算出すると共に、第２の繋ぎ区間の終了位置におけるＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第４の設定値を求めるＶＢＶバッファ占有値の設定値算出手段と、第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値に関連する情報値が第３の設定値から開始されて、第４の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えたことを特徴とする。

また、上記の目的を達成するため、第３の発明のＭＰＥＧ画像データ記録装置は、第１及び第２の発明のＭＰＥＧ画像データ記録装置の記録手段及び再符号化手段に替えて、記録手段は、第１のＭＰＥＧ画像データにおける繋ぎ指定位置より第１の所定時間前の位置を開始位置とし、第１のＭＰＥＧ画像データにおける繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置を開始位置とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置より第２の所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、第１及び第２の繋ぎ区間に対応する第１及び第２のＭＰＥＧ画像データを復号して得た画像データである第１及び第２の復号画像データを、ＭＰＥＧ符号化方式で再符号化して第１及び第２の繋ぎ区間再符号化データを生成する再符号化手段を備え、第１及び第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化手段は、第１のＭＰＥＧ画像データにおける第１の繋ぎ区間の開始位置より予め設定した第１の複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、第１の繋ぎ区間の開始位置におけるＶＢＶバッファ占有値に関連する情報値である第１の設定値を算出すると共に、第２の繋ぎ区間の終了位置におけるＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第２の設定値を求めるＶＢＶバッファ占有値の設定値算出手段と、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである第１の復号画像データと第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである第２の復号画像データとを順次に、ＶＢＶバッファ占有値に関連する情報値が第１の設定値から開始し第２の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えたことを特徴とする。

また、上記の目的を達成するため、第４の発明のＭＰＥＧ画像データ記録方法は、ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、ＭＰＥＧ符号化方式で符号化された第１の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたＭＰＥＧ画像データ記録方法であって、
記録ステップは、第１のＭＰＥＧ画像データにおける繋ぎ指定位置より所定時間前の位置を開始位置とし、第１のＭＰＥＧ画像データにおける繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間として、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＭＰＥＧ符号化方式で再符号化して第１の繋ぎ区間再符号化データを生成する再符号化ステップを備え、第１の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化ステップは、
第１のＭＰＥＧ画像データにおける第１の繋ぎ区間の開始位置より予め設定した複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、第１の繋ぎ区間の開始位置におけるＶＢＶバッファ占有値に関連する情報値である第１の設定値を算出すると共に、第１の繋ぎ区間の終了位置におけるＶＢＶバッファ占有値に関連する情報値がＭＰＥＧ符号化条件で規定される略最大値に相当する第２の設定値を求めるＶＢＶバッファ占有値の設定値算出ステップと、
第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値に関連する情報値が第１の設定値から開始されて、第２の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含むことを特徴とする。

また、上記の目的を達成するため、第５の発明のＭＰＥＧ画像データ記録方法は、第４の発明の記録ステップ及び再符号化ステップに替えて、記録ステップは、第２のＭＰＥＧ画像データにおける繋ぎ指定位置を開始位置とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＭＰＥＧ符号化方式で再符号化して第２の繋ぎ区間再符号化データを生成する再符号化ステップを備え、第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化ステップは、第２のＭＰＥＧ画像データにおける第２の繋ぎ区間の開始位置より予め設定した複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、第２の繋ぎ区間の開始位置におけるＶＢＶバッファ占有値に関連する情報値である第３の設定値を算出すると共に、第２の繋ぎ区間の終了位置におけるＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第４の設定値を求めるＶＢＶバッファ占有値の設定値算出ステップと、第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値に関連する情報値が第３の設定値から開始されて、第４の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含むことを特徴とする。

更に、上記の目的を達成するため、第６の発明のＭＰＥＧ画像データ記録方法は、第４及び第５の発明の記録ステップ及び再符号化ステップに替えて、記録ステップは、第１のＭＰＥＧ画像データにおける繋ぎ指定位置より第１の所定時間前の位置を開始位置とし、第１のＭＰＥＧ画像データにおける繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置を開始位置とし、第２のＭＰＥＧ画像データにおける繋ぎ指定位置より第２の所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、第１及び第２の繋ぎ区間に対応する第１及び第２のＭＰＥＧ画像データを復号して得た画像データである第１及び第２の復号画像データを、ＭＰＥＧ符号化方式で再符号化して第１及び第２の繋ぎ区間再符号化データを生成する再符号化ステップを備え、第１及び第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化ステップは、第１のＭＰＥＧ画像データにおける第１の繋ぎ区間の開始位置より予め設定した第１の複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、第１の繋ぎ区間の開始位置におけるＶＢＶバッファ占有値に関連する情報値である第１の設定値を算出すると共に、第２の繋ぎ区間の終了位置におけるＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第２の設定値を求めるＶＢＶバッファ占有値の設定値算出ステップと、第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである第１の復号画像データと第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである第２の復号画像データとを順次に、ＶＢＶバッファ占有値に関連する情報値が第１の設定値から開始し第２の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含むことを特徴とする。

本発明のＭＰＥＧ画像データ記録装置及びＭＰＥＧ画像データ記録方法では、再符号化する区間である繋ぎ区間の開始位置よりも予め設定したフレーム数前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、繋ぎ区間の開始位置におけるＶＢＶバッファ占有値に関連する情報値である第１の設定値を算出すると共に、繋ぎ区間の終了位置におけるＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第２の設定値を求めた後、繋ぎ区間に対応するＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値に関連する情報値が第１の設定値から開始し第２の設定値へ推移して終了するように、符号量制御を行いながら符号化することで、繋ぎ区間の始めで比較的多くの符号量を配分できる再符号化ができる。

本発明によれば、第１及び第２の２つのＭＰＥＧ画像データ（又は、第１のＭＰＥＧ画像データを要素符号化データとして含むパケット多重化された第１のＭＰＥＧ多重化データと、第２のＭＰＥＧ画像データを要素符号化データとして含むパケット多重化された第２のＭＰＥＧ多重化データ）とを、それぞれの指定された繋ぎ指定位置で、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへ繋げて再生させる際に（前記第１のＭＰＥＧ多重化データから前記第２のＭＰＥＧ多重化データへ繋げて再生する際に）、ＶＢＶバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、また、繋ぎ区間の始めで比較的多くの符号量を配分できる再符号化ができると共に、シームレスで高品位な再生を実現させることができる。

また、本発明では、シームレスで高品位な再生を実現させるために新たに生成・記録する画像データとしては、設定した繋ぎ区間の再符号化データのみでよいので、繋ぎ区間の再符号化データを記録する記録媒体を効率よく利用できる。

次に、本発明を実施するための最良の形態について図面と共に説明する。

まず、本発明で実現可能とする繋ぎ再生の概念を説明する。図１に示すようにＭＰＥＧ符号化方式で符号化された画像データである第１のＭＰＥＧ画像データ及び第２のＭＰＥＧ画像データがそれぞれ存在する場合の、第１のＭＰＥＧ画像データの途中（指定された繋ぎ指定位置）から第２のＭＰＥＧ画像データを繋げて再生することを考える。

第１のＭＰＥＧ画像データにおける繋ぎ指定位置（接続点）が図１のｂの位置と仮定すると、第１のＭＰＥＧ画像データのｂの位置まで再生を行い、その後第２のＭＰＥＧ画像データへ接続してデータを再生することになるが、２つのＭＰＥＧ画像データは単純につなぐとＶＢＶバッファの接続に矛盾が生じ、オーバーフローやアンダーフローがおきてしまうという問題が生じる。

そこで、従来は、２つの方法でＶＢＶバッファの占有値を検出していた。第１の検出方法は、ＭＰＥＧ規格において、基本的にＣＢＲ（constant bit rate）、すなわち、固定転送レートの場合には、ＭＰＥＧビデオのピクチャレイヤにデコーダのＶＢＶバッファのバッファ占有率を示す、ＶＢＶ ｄｅｌａｙ値が規定されており、これを利用する方法である。すなわち、第１の検出方法では、ＶＢＶ ｄｅｌａｙ値がピクチャ単位に記述されているので、ＭＰＥＧ画像ビットストリームをピクチャヘッダのみだけでも観測することで、ＭＰＥＧ画像データの所定位置に対応するピクチャのＭＰＥＧ符号化開始時点（または終了時点）でのＶＢＶバッファ占有値を検出することができる。

この場合、例えば後述する図２におけるＶＢＶバッファ情報検出器１０４の機能は、ビットストリームのピクチャヘッダ（ＭＰＥＧでは０ｘ０００００１００という４バイトのコード）をサーチして、その後の１０ビットのテンポラル・リファレンス（temporal reference）と、ピクチャタイプを示す３ビットのピクチャ・コーディング・タイプ(picture coding type）の後に続く、１６ビットのＶＢＶ ｄｅｌａｙを検出することで実現できる。ＶＢＶ ｄｅｌａｙ値とは
ＶＢＶ ｄｅｌａｙ＝９００００ｘＢ／Ｒ
Ｂ：バッファ占有値 Ｒ：ビットレート
で定義された、ランダムアクセス時のバッファの初期状態を示すものであるから、固定転送レートの場合には、このビットレートを用いてＶＢＶ ｄｅｌａｙ値からＶＢＶバッファ占有値も計算で求めることができる（例えば図２に示すＶＢＶバッファ情報検出器１０４で計算する。）。ＭＰＥＧではこのＶＢＶ ｄｅｌａｙ値は、図３（Ｂ）のように、グラフの頂点の位置でのものに注意しなければならない。しかし、この方法はＣＢＲの場合にしか有効ではない。

第２の検出方法は、固定転送レートではなく可変転送レートの場合である。ＭＰＥＧ規格では、基本的にＶＢＲ（variable bit rate：可変転送レート）の場合、ＭＰＥＧビデオのピクチャレイヤにおけるＶＢＶバッファのバッファ占有率を示すＶＢＶ ｄｅｌａｙ値はすべて１、（１６ビットすべてが１なので０ｘｆｆｆｆ）となる。従って、前記第１の検出方法は使えない。

そこで、第２の検出方法では、ＭＰＥＧ画像ビットストリームを観測することで得られた情報から次のような計算を行う。まず、ビットストリームの一番初めから、ＶＢＶバッファをＭＰＥＧ規定の最大値（たとえばメインプロファイルメインレベルでは１.７５Ｍビット）まで占有したと仮定する。次に、始めのピクチャの符号量を減算する。次に、可変転送レート符号化におけるピークレートの伝送レート情報を用いて、表示ピクチャ間の時間だけ経過した場合の伝送量を加算し、次のピクチャの符号量を減算する。

このような一連の加算、減算という処理を所定の求めたいビットストリームの位置まで繰り返し行うことで、図４に示すようなグラフをシミュレーションして求めるが如く、ＭＰＥＧ画像データの所定位置に対応するピクチャのＭＰＥＧ符号化開始時点（または終了時点）でのＶＢＶバッファ占有値を求めることができる。

可変転送レート時のピークレートは、ＭＰＥＧではシーケンスヘッダのビットレート（bit rate）というシンタックスの部分に記述するように規定されているので、それを参照すれば得られる。例えば、図２に示すＶＢＶバッファ情報検出器１０４に上述のＭＰＥＧ画像ビットストリームを観測機能と計算機能を持たせるようにして実現する（この第２の検出方法の場合、そのＭＰＥＧ画像ビットストリームの先頭から、各ピクチャの発生符号量を観測して計算しなければならない。）。しかし、この第２の検出方法はビットストリームを先頭から解析して行かなければならず、高速に編集動作などを行うことができない。

そこで、本発明では、ＶＢＶバッファ占有値に関する情報値が、繋ごうとする区間の所定のフレーム数前の状態において略ゼロであったと見立てると共に、繋ごうとする区間の終了位置に対応する位置におけるＶＢＶバッファ占有値に関する情報値がそのＭＰＥＧ符号化条件で規定される略最大値であると見立てて、そのＶＢＶバッファ占有値に関する情報値推移になるように、符号量制御を行い再符号化を行うようにする。ここで、上記のＶＢＶバッファ占有値に関する情報値とは、例えばＭＰＥＧで規定されているＶＢＶバッファ占有値又はＶＢＶ ｄｅｌａｙ値である。

この方法を、図５を用いて説明する。図５（Ａ）〜（Ｃ）は縦軸がＶＢＶバッファ占有値（以下、ＶＢＶ占有値ともいう）、横軸が時間軸を示す。例えば、図５（Ｂ）のＶＢＶバッファ占有値の推移は、記録媒体に記録されているＭＰＥＧ画像データの繋ごうとする区間（再符号化区間）の０フレーム数前の状態において略ゼロであったと見立てて、ｔで示す位置から再符号化を開始し、繋ごうとする区間の終了位置に対応する位置（再符号化区間の終了位置）におけるＶＢＶバッファ占有値に関する情報値がそのＭＰＥＧ符号化条件で規定される略最大値（ＭＡＸ）であると見立てて、そのＶＢＶバッファ占有値に関する情報値推移になるように、符号量制御を行いながら繋ごうとする区間（再符号化区間）の復号画像データに対してＭＰＥＧ符号化方式による符号化（再符号化）を行ったときのＶＢＶバッファ占有値の推移を示す。

このようにして再符号化を行った場合、ＭＰＥＧ符号化方式で再符号化して得られたストリームを繋いでみると、ＭＰＥＧの可変レート符号化のルールに適合してはいる。しかしながら、この方法だと、繋ぎ区間の０フレーム数前の状態において略ゼロであったと見立てるために、この再符号化されるシーンの始めの方のフレームに、あまり大きな符号量を配分することができない。このため、この方法では、バッファのアンダーフローが起きないようにしなければならないために、この再符号化されるシーンの始めの方のフレームの画質を犠牲にしなければならないという欠点がある。

そこで、ＶＢＶバッファ占有値が繋ごうとする区間（再符号化区間）の０フレーム数前の状態において略ゼロであったと見立てるのではなく、ある程度余裕を見て、例えば図５（Ａ）に示すように、ＶＢＶバッファ占有値が繋ごうとする区間（再符号化区間）の開始位置ｕの４フレーム前の状態において略ゼロであったと見立てると共に、繋ごうとする区間の終了位置に対応する位置（再符号化区間の終了位置）におけるＶＢＶバッファ占有値に関する情報値がそのＭＰＥＧ符号化条件で規定される略最大値（ＭＡＸ）であると見立てて、そのＶＢＶバッファ占有値に関する情報値推移になるように、符号量制御を行いながら位置ｕを開始位置とする繋ごうとする区間（再符号化区間）の復号画像データに対してＭＰＥＧ符号化方式による符号化（再符号化）を行うと、図５（Ａ）に示すように、繋ごうとする区間（再符号化区間）の始めのフレームで、ある程度ＶＢＶバッファの占有値が大きくとれる。

従って、図５（Ａ）の場合は、再符号化されるシーンの始めの方のフレームの状態である程度バッファの占有値が大きくとれるので、この再符号化されるシーンの始めの方のフレームに、あまり大きな符号量を配分することができない欠点を解消できる。

理想的には図５（Ｃ）に示すように、ＭＰＥＧ画像データの一番先頭から、この計算を行うことが正確であり、繋ごうとする区間の始めのフレームの状態のバッファの占有値がｓで示すように、最も大きくとれる。すなわち、図５（Ｃ）のｓ点で示すＶＢＶバッファ占有値が最も理想的であるが、図５（Ｂ）のｔ点よりも図５（Ａ）のｕ点のほうが繋ごうとする区間（再符号化区間）の始めのフレームの状態のＶＢＶバッファの占有値が大きくとれる。

次に、本発明の他の実施の形態の接続再生例について図６（Ｂ）、（Ｃ）と共に説明する。図６（Ａ）は図１に示した例と同様のものである。すなわち、図６（Ａ）では、第１のＭＰＥＧ画像データのｅの位置（区間Ａの開始位置）までは第１のＭＰＥＧ画像データの再生を行い、その後第１のＭＰＥＧ画像データのｅ−ｆ区間Ａの、再符号化ＭＰＥＧ画像データをその区間Ａの開始位置から終了位置まで再生し、その後、第２のＭＰＥＧ画像データのｈの位置（繋ぎ指定位置）へ接続してｈ以降の第２のＭＰＥＧ画像データを再生する。

図１及び図６（Ａ）に示した例では、第１のＭＰＥＧ画像データ側のみを基に繋ぎ区間の再符号化ＭＰＥＧ画像データを得て繋ぎ再生を実現したが、第２のＭＰＥＧ画像データ側のみを基に繋ぎ区間の再符号化ＭＰＥＧ画像データを得て繋ぎ再生を実現することも可能である。その例が図６（Ｂ）に示したものであり、第２のＭＰＥＧ画像データにおける繋ぎ区間Ｂの同符号化ＭＰＥＧ画像データを用いるものである。

すなわち、図６（Ｂ）において、第１のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）をｉの位置とし、第２のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）をｋの位置とする。前述したＶＢＶバッファの情報を有する単位である第１及び第２の所定区間の１単位を、第１のＭＰＥＧ画像データにおいてはｉ−ｊ間、第２のＭＰＥＧ画像データにおいてはｋ−ｌ間とする。ｌの位置は第２のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）ｋから第２の所定時間分後の第２の所定区間の境界位置となる。

接続点ｋを開始位置としｌの位置を終了位置とする区間を繋ぎ区間Ｂ（第２の繋ぎ区間）とする。第２のＭＰＥＧ画像データを繋ぎ区間Ｂ（ｋ−ｌ区間）のデータを、一旦、復号化して、復号画像データを得、その復号画像データ（第２の繋ぎ区間復号画像データ）をＭＰＥＧ符号化方式で再符号化を行う。それによって作成された再符号化データを繋ぎ区間Ｂの再符号化ＭＰＥＧ画像データ（第２の繋ぎ区間再符号化データ）と呼ぶこととする。

この再符号化は、ＶＢＶバッファ占有値に関する情報値の推移が、ｉの位置でのＶＢＶバッファ占有値に関する情報値から開始されて、ｌの位置でのＶＢＶバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってＭＰＥＧ符号化方式で再符号化を行う。そして、繋ぎ区間Ｂの再符号化ＭＰＥＧ画像データを用いて、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへの繋ぎ再生を行う。すなわち、第１のＭＰＥＧ画像データの接続点ｉ（繋ぎ指定位置）までは第１のＭＰＥＧ画像データの再生を行い、その後、前記区間Ｂの再符号化ＭＰＥＧ画像データをその区間の開始位置から終了位置まで再生し、その後、第２のＭＰＥＧ画像データのｌの位置（繋ぎ区間Ｂの終了位置）へ接続してｌの位置以降の第２のＭＰＥＧ画像データを再生する、という動作にする。

再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。この繋ぎ再生動作とすることで、元の第１及び第２のＭＰＥＧ画像データと同じコンテンツ内容で、かつ、ＶＢＶバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。

次に、図６（Ｃ）に示す実施の形態について説明する。この例では、接続点前後の第１及び第２のＭＰＥＧ画像データを基に繋ぎ区間の再符号化ＭＰＥＧ画像データを得て繋ぎ再生を実現させるものである。図６（Ｃ）において、第１のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）をｎの位置とし、第２のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）をｐの位置とする。

ｍの位置は第１のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）ｎから第１の所定時間分前の第１の所定区間の境界位置となる。ｍの位置を開始位置とし接続点ｎの位置を終了位置とする区間を繋ぎ区間Ａ（第１の繋ぎ区間）とする。ｑの位置は第２のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）ｐから第２の所定時間分後の第２の所定区間の境界位置となる。接続点ｐを開始位置としｑの位置を終了位置とする区間を繋ぎ区間Ｂ（第２の繋ぎ区間）とする。

第１のＭＰＥＧ画像データの繋ぎ区間Ａ（ｍ−ｎ区間）のデータを、一旦、復号化して復号画像データ（繋ぎ区間Ａ復号画像データ：第１の繋ぎ区間復号画像データ）を得る。また、第２のＭＰＥＧ画像データの繋ぎ区間Ｂ（ｐ−ｑ区間）のデータを、一旦、復号化して、復号画像データ（繋ぎ区間Ｂ復号画像データ：第２の繋ぎ区間復号画像データ）を得る。繋ぎ区間Ａ復号画像データと繋ぎ区間Ｂ復号画像データとを合わせた繋ぎ区間Ａ＋Ｂ復号画像データ（第３の繋ぎ区間復号画像データ）をＭＰＥＧ符号化方式で再符号化を行う。それによって作成された再符号化データを繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データ（第３の繋ぎ区間再符号化データ）と呼ぶこととする。

この再符号化は、ＶＢＶバッファ占有値に関する情報値の推移が、ｍの位置での第１のＶＢＶバッファ占有値に関する情報値から開始されて、ｑの位置での第２のＶＢＶバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってＭＰＥＧ符号化方式で再符号化を行う。そして、繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データを用いて、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへの繋ぎ再生を行う。

すなわち、第１のＭＰＥＧ画像データの繋ぎ区間Ａの開始位置ｍまでは第１のＭＰＥＧ画像データの再生を行い、そのあと前記繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データをその区間の開始位置から終了位置まで再生し、その後、第２のＭＰＥＧ画像データの繋ぎ区間Ｂの終了位置ｑへ接続してｑの位置以降の第２のＭＰＥＧ画像データを再生する、という動作にする。再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。

この繋ぎ再生動作とすることで、元の第１及び第２のＭＰＥＧ画像データと同じコンテンツ内容で、かつ、ＶＢＶバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。

このように、図６（Ａ）〜（Ｃ）に示した方法は、いずれもシームレスで高品位な繋ぎ再生を実現させることができる。これらの発展例としては、図７に示すように、第１のＭＰＥＧ画像データと第２のＭＰＥＧ画像データとを接続した繋ぎ再生、第１のＭＰＥＧ画像データと第２のＭＰＥＧ画像データと第４のＭＰＥＧ画像データとを順次に接続した繋ぎ再生、第１のＭＰＥＧ画像データと第３のＭＰＥＧ画像データとを接続した繋ぎ再生などの、途中分岐するような繋ぎ再生を実現させることも可能となる。

このように、本発明を用いれば、元のＭＰＥＧ画像データそのものを加工することなく、繋ぎ区間の再符号化ＭＰＥＧ画像データを生成し利用するだけで、他のＭＰＥＧデータに自由に繋げることができるので、様々な分岐ストーリを構成するプログラムを符号化する際にも、分岐ストーリ毎にそのストーリの全体にわたる冗長なＭＰＥＧ画像データを記録することなく、メディアを効率良く使用することが可能となる（本発明を用いれば、第１〜第４のＭＰＥＧ画像データそれぞれ一組と、分岐ストーリ毎の繋ぎ区間の符号化ＭＰＥＧ画像データとを用意しておけばよい。）。

次に、本発明になるＭＰＥＧ画像データ記録装置の一実施の形態の構成について説明する。図２は本発明になるＭＰＥＧ画像データ記録装置の一実施の形態のブロック図を示す。この実施の形態はディジタル信号記録再生装置に適用したものである。

まず、ＭＰＥＧ符号化方式で画像データを符号化しながらＶＢＶバッファ情報を作成する動作について説明する。同図において、記録媒体１０１に符号化データが全く無い状態、すなわち、初めて符号化する場合には、データ読み取り部１０２では、記録媒体１０１に記録されている符号化データが存在しないので、符号化データが無いという情報をＶＢＶバッファ情報検出器１０４に出力する。

このとき、ＶＢＶバッファ情報検出器１０４でもデータが存在していないので、パラメータ設定器１０５から出力されるパラメータを予め設定した初期値、すなわちＶＢＶバッファ占有値は、例えばＭＰＥＧで規定されるＶＢＶの最大値８０％の値とし、ＰＴＭタイムスタンプ情報は０とする。これらのパラメータの初期値はパラメータ設定器１０５から画像再符号化器１０６に供給されて設定される。

画像再符号化器１０６では、符号化データサーチ器１０３から入力される信号がビットストリームであるときには、そのデータを復号化して再符号化し、画像データであるときには新たな符号化を初期設定値から開始する。すなわち、画像再符号化器１０６は、図１０と同様の構成の復号化器と、図９に示したと同様の構成のＭＰＥＧ符号化器とからなり、再符号化又は符号化の時には、ＶＢＶの初期値がパラメータ設定器１０５から画像再符号化器１０６内の符号量制御器（図９の７に相当）に設定され、その符号量制御器の制御によりＭＰＥＧのＶＢＶバッファの規定に従って、ＶＢＶバッファがアンダーフローを起こさないように、１フレームずつの目標符号量を設定し、その目標符号量に従って画像再符号化器１０６内の量子化器（図９の４に相当）に対して量子化ステップが設定され、ＶＬＣ器（図９の５に相当）により可変長符号化がなされる。

このようにして、画像再符号化器１０６では再符号化又は符号化を行いながら、得られた符号化データをデータ書き込み部１０７へ供給して、これにより記録媒体１０１に記録させる。

次に、記録媒体１０１に記録されている第１及び第２の２つのＭＰＥＧ画像データに対して、所定の位置からの繋ぎ再生を可能とするため、図１の区間Ａの部分の再符号化を行う場合の図２の画像データ記録装置の動作を、図１を併せ参照して説明する。なお、図６（Ｂ）や（Ｃ）で示した繋ぎ再生の場合も同様である。

まず、記録媒体１０１には、既に第１及び第２の２つのＭＰＥＧ画像データ（圧縮符号化ストリーム）が記録されており、図示せぬ、ユーザーインターフェースから、既に記録媒体１０１に記録されている第１及び第２の２つのＭＰＥＧ画像データ（圧縮符号化ストリーム）のどこのポイントから繋ぎ再生するかを、符号化データサーチ器１０３等に指定してもらう。ここでは、図１に示した第１のＭＰＥＧ画像データの位置ｂと第２のＭＰＥＧ画像データの位置ｄとがそれぞれ繋ぎ指定位置として指定される。

データ読み取り部１０２は記録媒体１０１からＭＰＥＧ画像データを読み取る。同時に、符号化データサーチ器１０３は、図１に示した繋ぎ指定位置ｂより所定時間前の位置ａを開始位置とし、繋ぎ指定位置ｂを終了位置とする再符号化の繋ぎ区間Ａの開始位置ａを、データ読み取り部１０２から供給される再生ＭＰＥＧ画像データに基づき、既に記録されている記録媒体１０１上のビットストリームに対してサーチする。サーチはデータの相対アドレスを用いて、そのビットストリームファイルの頭からの位置にポインタを設定する。

一方、ＶＢＶバッファ情報検出器１０４は、符号化データサーチ器１０３から入力された繋ぎ区間Ａの開始位置ａよりも例えば４フレーム数前のＶＢＶバッファ占有値に関する情報値が略ゼロであったと見立てて、開始位置ａにおけるＶＢＶバッファ占有値を計算すると共に、繋ぎ区間Ａの終了位置ｂに対応する第２のＭＰＥＧ画像データの繋ぎ指定位置ｄにおけるＶＢＶバッファ占有値に関する情報値が、そのＭＰＥＧ符号化条件で規定される略最大値であると見立て、再符号化のためのバッファ初期値パラメータ（位置ａとｄの各ＶＢＶバッファ占有値に関するパラメータである第１及び第２の設定値）を、パラメータ設定器１０５に設定する。

画像再符号化器１０６は、データ読み取り部１０２から符号化データサーチ器１０３を介して入力される、繋ぎ区間Ａに対応する第１のＭＰＥＧ画像データを復号化し、その復号画像データを保持した後、その復号画像データに対して、パラメータ設定器１０５からのＶＢＶバッファ占有値の設定値に基づき、ＶＢＶバッファ占有値の推移が、繋ぎ区間Ａの開始位置ａでのＶＢＶバッファ占有値の第１の設定値から開始されて、ｄの位置でのＶＢＶバッファ占有値の第２の設定値（ＶＢＶバッファ占有値の略最大値）までで終了するようにレートコントロールを行ってＭＰＥＧ符号化方式で再符号化を行う。なお、再符号化は前記のように完全に復号した画像を用いても良いが、特開平１１−２３４６７７に開示されているような、ビットストリーム上での符号量コントロールの技術を用いてもよい。

画像再符号化器１０６により再符号化された区間Ａの画像データ（繋ぎ区間Ａ再符号化データ）は、データ書き込み部１０７により、記録媒体１０１に第１、第２のＭＰＥＧ画像データと分離された別のファイルとして記録するか、記録されている第２のＭＰＥＧ画像データの先頭に連結して記録する。

第１のＭＰＥＧ画像データと、第２のＭＰＥＧ画像データと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）とが同一の記録媒体に記録されている場合には、一つの記録媒体で、再生装置側の繋ぎ再生を制御できる。

なお、第１のＭＰＥＧ画像データと、第２のＭＰＥＧ画像データと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）は、同一の記録媒体に記録されていても、任意の組み合わせで複数の記録媒体に記録されていても、それぞれが異なる記録媒体に記録されていても構わない。

複数の記録媒体に分けて記録されている場合には、それぞれの記録媒体同士がリンクされて（それぞれのデータ、情報同士がリンクされて）運用されるように、同一情報群であることを示す情報、例えばＩＤなどを各記録媒体に記録しておくとよい。第１のＭＰＥＧ画像データと、第２のＭＰＥＧ画像データと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）とが同一の記録媒体に記録されている場合には、一つの記録媒体で、再生装置側の繋ぎ再生を制御できる。

また、上記実施の形態で、記録媒体は記録再生装置内の記録媒体として説明したが、記録再生装置に着脱自在の記録媒体、ネットワークを介した記録媒体（データベース）であっても構わない。

上記実施の形態では、単体のＭＰＥＧ画像データに着目して画像データを繋ぐ例を説明したが、次に、音声データなどと共にＭＰＥＧ符号化方式でパケット多重化されたＭＰＥＧ多重化データであるＭＰＥＧトランスポートストリーム内のＭＰＥＧ画像データを繋ぐ編集記録を行う他の実施の形態について説明する。

トランスポートストリームには可変長符号化されているＭＰＥＧ画像データ、固定長符号化されているＭＰＥＧ１レイヤ２オーディオもしくはＡＣ３などが多重化されている場合が多い。従って、その多重化されたデータ中の要素符号化データの一つであるＭＰＥＧ画像データを繋ぐ場合、接続する点においてＭＰＥＧで規定されるＳＴＤバッファ（ビデオではＶＢＶバッファ）の整合性を考慮した接続方法として、前記説明した実施の形態の方法を適応する。

例えば、第１及び第２のＭＰＥＧトランスポートストリーム内からそれぞれ接続対象の第１及び第２のＭＰＥＧ画像データを取り出し、上記した実施の形態と同様にして接続する。繋ぎ再生に使用する繋ぎ区間再符号化データ（前記区間Ａの再符号化画像データ、前記区間Ｂの再符号化画像データ、前記区間Ａ＋Ｂの再符号化画像データ）は、ＭＰＥＧ符号化方式でパケット多重化されたＭＰＥＧ多重化データとして生成、記録されてもよい。

図８（Ａ）の状態はＭＰＥＧトランスポートストリームのパケット多重化されたデータの状態を示している。図８において、「Ｖ」と記載されているパケットはビデオパケット、「Ａ」と記載されているパケットはオーディオのパケット、「Ｓ」と記載されているパケットはシステムで使用されるＰＡＴやＰＭＴなどの情報パケットである。各々ＭＰＥＧ２システムのルールに準拠した形で記録されている。ビデオパケットは薄いグレーの色を施してある。

これらの全体を示した状態が図８（Ｂ）である。このビデオパケットだけを集めた状態が図８（Ｃ）である。このビデオパケットの中身は、図８（Ｄ）に示すように、始めがＩピクチャであり、次にＢピクチャが２枚、そのあとにＰピクチャが１枚、と続いてくのが典型的な例である。これらのピクチャの１枚もしくは複数のピクチャにおいて再符号化によって符号量を調整する。図８（Ｄ）に示すトランスポートストリームの符号量を削減した状態を、例えば図８（Ｅ）に示す。図８（Ｅ）に示すように、各ピクチャの符号量は同図（Ｄ）に示す同じピクチャに対してそれぞれ小さくなっている。その状態でパケット化したものを図８（Ｆ）に示す。

減少した部分には黒色を施してある。このパケット分、ビデオの全体の量が減少する。そして、ＴＳを再構築する。この状態を全体で表現したものが同図（Ｇ）である。同図（Ｇ）を拡大したものが同図（Ｈ）である。結果的にビデオパケットの一部が減少し、それ以外の要素データパケットはそのまま多重化する。

ＭＰＥＧの規格ではＰＣＲクロック情報は１００ｍｓｅｃに一度は記録されていなければならない。また、データ長が変更されているので、それぞれの要素パケットに記載されているＰＣＲクロック情報は必要に応じて変更する。また、ビデオパケットにはアクセスユニット（フレームやフィールドのピクチャ単位）の先頭のＰＥＳヘッダが存在するパケットにＰＴＳやＤＴＳが記述されている。

オーディオパケットには１つもしくは複数のオーディオフレームをＰＥＳでパッキングしたその先頭のＰＥＳヘッダが存在するパケットにＰＴＳが記載されている。これらのタイムスタンプ情報は画像においてはピクチャ数を増減していない場合には変更する必要はないし、オーディオも再生時間長を増減しなければ変更の必要はないが、それ以外の場合には、適切なＰＴＳ，ＤＴＳを追加修正する。

更にまた、単純に再符号化する場合には、予測符号化のリセットタイミングであるＩピクチャからのＧＯＰ単位が扱いやすいが、ＧＯＰが独立していない場合、すなわち、境界のＢピクチャが双方のＧＯＰにまたがって予測されている場合（ＧＯＰのｃｌｏｓｅｄ ｇｏｐ＝０の場合）には、一つ前のＧＯＰの最後のリファレンスピクチャを復号化して、図示せぬ画像再符号化用メモリなどに保持しておくことが必要になる場合がある。

第１のＭＰＥＧ多重化データ（第１のＭＰＥＧトランスポートストリーム）と、第２のＭＰＥＧ画像データ（第２のＭＰＥＧトランスポートストリーム）と、ＶＢＶバッファ占有値に関する情報と、図８に示したその特定情報アドレスと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）を要素符号化データとして含んで、ＭＰＥＧ符号化方式によりパケット多重化して生成した繋ぎ区間ＭＰＥＧ多重化データとは、同一記録媒体に記録されていても、任意の組み合わせで複数の記録媒体に記録されていても、それぞれが異なる記録媒体に記録されていても構わない。

複数の記録媒体に分けて記録されている場合には、それぞれの記録媒体同士がリンクされて（それぞれのデータ、情報同士がリンクされて）運用されるように、同一情報群であることを示す情報、例えばＩＤなどを各記録媒体に記録しておくとよい。第１のＭＰＥＧ多重化画像データと、第２のＭＰＥＧ多重化画像データと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）の繋ぎ区間ＭＰＥＧ多重化データと、特定情報アドレスとが同一の記録媒体に記録されている場合には、一つの記録媒体で、再生装置側の繋ぎ再生を制御できる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば基準となる時刻情報としては、ＰＣＲの替わりにＳＣＲ（System Clock Reference）を用いることもできる。また、本発明は図２に示した画像データ記録装置の記録媒体１０１、データ読み取り部１０２及びデータ書き込み部１０８以外の各ブロックの機能を、コンピュータによりソフトウェアで実行するコンピュータプログラムも包含するものである。このコンピュータプログラムは、記録媒体を介してコンピュータに取り込むようにしてもよいし、ネットワークを介して配信されたものをコンピュータにダウンロードするようにしてもよい。

本発明により実現する繋ぎ再生の概念を説明するための図である。 本発明装置の一実施の形態のブロック図である。 本発明の一実施の形態におけるＶＢＶバッファ占有値に関する情報値を説明するための図である。 本発明の一実施の形態におけるＶＢＶ値を説明する説明図である。 本発明により実現する繋ぎ再生の各例の概念を説明するための図である。 本発明により実現する繋ぎ再生の他の例の概念を説明するための図である。 本発明装置においてＶＢＶバッファ占有値を予測する方法の一例を示す説明図である。 ＭＰＥＧ ＴＳパケット配置を示す説明図である。 従来のＭＰＥＧ符号化器の一例のブロック図である。 従来のＭＰＥＧ復号化器の一例のブロック図である。 ＭＰＥＧにおけるＶＢＶバッファ概念を説明するための図である。 従来のＭＰＥＧ多重化システムの一例のブロック図である。 ＭＰＥＧ ＴＳとＰＳ及びＰＥＳの関連を示す説明図である。 ＭＰＥＧ ＴＳのＰＳＩの使用例を示す説明図である。

符号の説明

１、１８ 動き補償予測器
３ ＤＣＴ器
４ 量子化器
５ ＶＬＣ器
７ 符号量制御器
８、１５ 逆量子化器
９、１６ 逆ＤＣＴ器
１１、１９ 画像メモリ
１４ ＶＬＤ器
１０１ 記録媒体
１０２ データ読み取り部
１０３ 符号化データサーチ器
１０４ ＶＢＶバッファ情報検出器
１０５ パラメータ設定器
１０６ 画像再符号化器
１０７ データ書き込み部

Claims (6)

1. ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第１の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたＭＰＥＧ画像データ記録装置であって、
   前記記録手段は、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置より所定時間前の位置を開始位置とし、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間として、前記第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第１の繋ぎ区間再符号化データを生成する再符号化手段(104〜106)を備え、前記第１の繋ぎ区間再符号化データを記録媒体(101)に記録させるものであり、
   前記再符号化手段(104〜106)は、
   前記第１のＭＰＥＧ画像データにおける前記第１の繋ぎ区間の開始位置より予め設定した複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、前記第１の繋ぎ区間の開始位置における前記ＶＢＶバッファ占有値に関連する情報値である第１の設定値を算出すると共に、前記第１の繋ぎ区間の終了位置における前記ＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第２の設定値を求めるＶＢＶバッファ占有値の設定値算出手段(104)と、
   前記第１の繋ぎ区間に対応する前記第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値に関連する情報値が前記第１の設定値から開始されて、前記第２の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段(105,106)とを備えた、
   ことを特徴とするＭＰＥＧ画像データ記録装置。
2. ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第２の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたＭＰＥＧ画像データ記録装置であって、
   前記記録手段は、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置を開始位置とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、前記第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第２の繋ぎ区間再符号化データを生成する再符号化手段(104〜106)を備え、前記第２の繋ぎ区間再符号化データを記録媒体(101)に記録させるものであり、
   前記再符号化手段(104〜106)は、
   前記第２のＭＰＥＧ画像データにおける前記第２の繋ぎ区間の開始位置より予め設定した複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、前記第２の繋ぎ区間の開始位置における前記ＶＢＶバッファ占有値に関連する情報値である第３の設定値を算出すると共に、前記第２の繋ぎ区間の終了位置における前記ＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第４の設定値を求めるＶＢＶバッファ占有値の設定値算出手段(104)と、
   前記第２の繋ぎ区間に対応する前記第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値に関連する情報値が前記第３の設定値から開始されて、前記第４の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段(105,106)とを備えた、
   ことを特徴とするＭＰＥＧ画像データ記録装置。
3. ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第１及び第２の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたＭＰＥＧ画像データ記録装置であって、
   前記記録手段は、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置より第１の所定時間前の位置を開始位置とし、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置を開始位置とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置より第２の所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、前記第１及び第２の繋ぎ区間に対応する第１及び第２のＭＰＥＧ画像データを復号して得た画像データである第１及び第２の復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第１及び第２の繋ぎ区間再符号化データを生成する再符号化手段(104〜106)を備え、前記第１及び第２の繋ぎ区間再符号化データを記録媒体(101)に記録させるものであり、
   前記再符号化手段(104〜106)は、
   前記第１のＭＰＥＧ画像データにおける前記第１の繋ぎ区間の開始位置より予め設定した第１の複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、前記第１の繋ぎ区間の開始位置における前記ＶＢＶバッファ占有値に関連する情報値である第１の設定値を算出すると共に、前記第２の繋ぎ区間の終了位置における前記ＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第２の設定値を求めるＶＢＶバッファ占有値の設定値算出手段(104)と、
   前記第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである第１の復号画像データと前記第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである第２の復号画像データとを順次に、前記ＶＢＶバッファ占有値に関連する情報値が前記第１の設定値から開始し前記第２の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段(105,106)とを備えた、
   ことを特徴とするＭＰＥＧ画像データ記録装置。
4. ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第１の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたＭＰＥＧ画像データ記録方法であって、
   前記記録ステップは、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置より所定時間前の位置を開始位置とし、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間として、前記第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第１の繋ぎ区間再符号化データを生成する再符号化ステップを備え、前記第１の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
   前記再符号化ステップは、
   前記第１のＭＰＥＧ画像データにおける前記第１の繋ぎ区間の開始位置より予め設定した複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、前記第１の繋ぎ区間の開始位置における前記ＶＢＶバッファ占有値に関連する情報値である第１の設定値を算出すると共に、前記第１の繋ぎ区間の終了位置における前記ＶＢＶバッファ占有値に関連する情報値がＭＰＥＧ符号化条件で規定される略最大値に相当する第２の設定値を求めるＶＢＶバッファ占有値の設定値算出ステップと、
   前記第１の繋ぎ区間に対応する前記第１のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値に関連する情報値が前記第１の設定値から開始されて、前記第２の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含む、
   ことを特徴とするＭＰＥＧ画像データ記録方法。
5. ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第２の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたＭＰＥＧ画像データ記録方法であって、
   前記記録ステップは、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置を開始位置とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、前記第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第２の繋ぎ区間再符号化データを生成する再符号化ステップを備え、前記第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
   前記再符号化ステップは、
   前記第２のＭＰＥＧ画像データにおける前記第２の繋ぎ区間の開始位置より予め設定した複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、前記第２の繋ぎ区間の開始位置における前記ＶＢＶバッファ占有値に関連する情報値である第３の設定値を算出すると共に、前記第２の繋ぎ区間の終了位置における前記ＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第４の設定値を求めるＶＢＶバッファ占有値の設定値算出ステップと、
   前記第２の繋ぎ区間に対応する前記第２のＭＰＥＧ画像データを復号して得た画像データである復号画像データを、ＶＢＶバッファ占有値に関連する情報値が前記第３の設定値から開始されて、前記第４の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含む、
   ことを特徴とするＭＰＥＧ画像データ記録方法。
6. ＭＰＥＧ符号化方式で符号化された画像データである第１及び第２の２つのＭＰＥＧ画像データを、それぞれのＭＰＥＧ画像データにおける指定された繋ぎ指定位置で、前記第１のＭＰＥＧ画像データから前記第２のＭＰＥＧ画像データへ繋げて再生させるためのデータとして、前記ＭＰＥＧ符号化方式で符号化された第１及び第２の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたＭＰＥＧ画像データ記録方法であって、
   前記記録ステップは、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置より第１の所定時間前の位置を開始位置とし、前記第１のＭＰＥＧ画像データにおける前記繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置を開始位置とし、前記第２のＭＰＥＧ画像データにおける前記繋ぎ指定位置より第２の所定時間後の位置を終了位置とする区間を第２の繋ぎ区間として、前記第１及び第２の繋ぎ区間に対応する第１及び第２のＭＰＥＧ画像データを復号して得た画像データである第１及び第２の復号画像データを、前記ＭＰＥＧ符号化方式で再符号化して前記第１及び第２の繋ぎ区間再符号化データを生成する再符号化ステップを備え、前記第１及び第２の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
   前記再符号化ステップは、
   前記第１のＭＰＥＧ画像データにおける前記第１の繋ぎ区間の開始位置より予め設定した第１の複数フレーム前の位置におけるＶＢＶバッファ占有値に関連する情報値が略ゼロであるものと見立てて、前記第１の繋ぎ区間の開始位置における前記ＶＢＶバッファ占有値に関連する情報値である第１の設定値を算出すると共に、前記第２の繋ぎ区間の終了位置における前記ＶＢＶバッファ占有値に関連する情報値としてＭＰＥＧ符号化条件で規定される略最大値に相当する第２の設定値を求めるＶＢＶバッファ占有値の設定値算出ステップと、
   前記第１の繋ぎ区間に対応する第１のＭＰＥＧ画像データを復号して得た画像データである第１の復号画像データと前記第２の繋ぎ区間に対応する第２のＭＰＥＧ画像データを復号して得た画像データである第２の復号画像データとを順次に、前記ＶＢＶバッファ占有値に関連する情報値が前記第１の設定値から開始し前記第２の設定値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含む、
   ことを特徴とするＭＰＥＧ画像データ記録方法。
   
   
   
   
   

Images