JP4148200B2 - Mpeg画像データ記録装置及びmpeg画像データ記録方法 - Google Patents

Mpeg画像データ記録装置及びmpeg画像データ記録方法 Download PDF

Info

Publication number
JP4148200B2
JP4148200B2 JP2004232945A JP2004232945A JP4148200B2 JP 4148200 B2 JP4148200 B2 JP 4148200B2 JP 2004232945 A JP2004232945 A JP 2004232945A JP 2004232945 A JP2004232945 A JP 2004232945A JP 4148200 B2 JP4148200 B2 JP 4148200B2
Authority
JP
Japan
Prior art keywords
image data
mpeg
time
management information
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004232945A
Other languages
English (en)
Other versions
JP2006054529A (ja
Inventor
隆幸 菅原
俊夫 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2004232945A priority Critical patent/JP4148200B2/ja
Publication of JP2006054529A publication Critical patent/JP2006054529A/ja
Application granted granted Critical
Publication of JP4148200B2 publication Critical patent/JP4148200B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明はMPEG画像データ記録装置及びMPEG画像データ記録方法に係り、特にMPEG(Moving Picture Experts Group)符号化方式で符号化して得られた2つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で繋げて再生させる際に、シームレスな再生を実現させるための記録を行うMPEG画像データ記録装置及びMPEG画像データ記録方法に関する。
まず、本発明の前提となるMPEG符号化方式について簡単に説明する。MPEG符号化方式についてはISO/IEC 11172-2、ITU−T勧告H.262、ISO/IEC 13818-2に詳細な説明がなされているので、ここでは概略のみ説明する。MPEGは1988年、ISO/IEC JTC1/SC2(国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2、現在のSC29)に設立された動画像符号化標準を検討する組織の名称(Moving Picture Experts Group)の略称である。
MPEG1(MPEGフェーズ1)は1.5Mbps程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたJPEGと、ISDN(サービス統合ディジタル網)のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたH.261(CCITT SGXV、現在のIU−TSG15で標準化)の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは1993年8月、ISO/TEC 11172として成立している。MPEG1は幾つかの技術を組み合わせて作成されている。
図9はMPEG符号化方式による符号化を行う従来のMPEG符号化器を示し、以下に簡単に説明する。入力画像信号は、まず動き補償予測器1で復号化した画像信号と差分器2で差分を取られることで時間冗長部分を削減される。予測の方向は、過去、未来、両方からの3モード存在する。また、これらは16画素×16画素のMB(Macro block)毎に切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。
過去からの予測により符号化するモードと、予測をしないでそのMBを独立で符号化するモードとの2モード存在するのが片方向画像間予測符号化画像(Pピクチャ)である。また、未来からの予測により符号化するモード、過去からの予測により符号化するモード、両方からの予測により符号化するモード、独立で符号化するモードの4モード存在するのが双方向画像間予測符号化画像(Bピクチャ)である。そして、全てのMBが独立で符号化するのが画像内独立符号化画像(Iピクチャ)である。
動き補償予測器1における動き補償は、入力画像信号と画像メモリ11からの参照画像信号の間で、動き領域をMB毎にパターンマッチングを行って、ハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すMC(Motion Compensation)モードと共にMBの付加情報として伝送される。
一般的には、上記の3つのピクチャを組み合わせて伝送するが、Iピクチャから次のIピクチャの前のピクチャまでをGOP(Group Of Picture)といい、蓄積メディアなどで使用される場合には、一般に約15ピクチャ程度が一つのGOP区間として使用される(但し、1GOP区間内に2つ以上のIピクチャを含んでもよい。要するに、1GOP区間内に1つ以上のIピクチャを含めばよい。)。
差分器2から出力された差分画像信号は、DCT器3において離散コサイン変換(DCT:Discrete Cosine Transform)が行われてDCT係数とされる。離散コサイン変換(DCT)とは、余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。MPEGではMBを4分割し、8×8画素のDCTブロックに対して、2次元DCTを行う。一般に、画像信号は低域成分が多く高域成分が少ないため、DCTを行うと係数が低域に集中する。
DCTされた画像データ(DCT係数)は量子化器4で量子化が行われる。量子化は量子化マトリックスという8×8の2次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、DCT係数をその量子化値で除算することで行われる。MPEG復号化器(デコーダ)で逆量子化するときは量子化値で乗算することにより、元のDCT係数に近似している値を得ることになる。
量子化器4で量子化されたデータはVLC器5で可変長符号(VLC:Variable Length Code)化される。VLC器5では量子化された値のうち直流(DC)成分は、予測符号化の一つである差分パルス符号変調(DPCM:differential pulse code modulation)を使用する。また、交流(AC)成分は低域から高域にジグザグスキャンを行い、ゼロのラン長及び有効係数値を1つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
VLC器5で可変長符号化されたデータは、バッファ6に一時蓄えられた後、所定の転送レートで符号化データとして出力される。また、その出力される符号化データのMB毎の発生符号量は、符号量制御器7に供給され、ここで目標符号量に対する発生符号量との誤差符号量とされた後、量子化器4にフィードバックされて量子化スケールを調整することで符号量制御される。
また、量子化器4で量子化された画像データは、逆量子化器8にて逆量子化され、更に逆DCT器9にて逆DCTされた後、加算器10を介して画像メモリ11に一時蓄えられる。動き補償予測器1は、画像メモリ11に記憶された信号を、入力画像信号との動き補償を行うためのリファレンスの復号化画像(参照画像)として使用する。
図10は図9の符号化装置によりMPEG符号化された符号化データを復号化する復号化器(デコーダ)の一例のブロック図を示す。図10において、符号化データ(ストリーム)はバッファ13でバッファリングされてからVLD器14に入力される。VLD器14では可変長復号化を行い、直流(DC)成分及び交流(AC)成分を得る。交流(AC)成分データは低域から高域にジグザグスキャンの順で8×8のマトリックスに配置される。
VLD器14から出力されたデータは逆量子化器15に入力され量子化マトリックスにて逆量子化される。逆量子化されたデータは逆DCT器16に入力されて逆DCTされ、加算器17で動き補償予測器18からの信号と加算されることにより、画像データ(復号化データ)として出力される。また、この復号化データは、画像メモリ19に一時蓄えられた後、動き補償予測器18において、VLD器14からのデータとの間の差分画像を計算するためのリファレンスの復号化画像(参照画像)として使用される。
ここで、バッファ13から出力される符号化データのビットストリームは、ビデオの場合1ピクチャ毎に可変長の符号量をもっている。これはMPEGがDCT、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャ毎に配分する符号量は適応的に変更する必要性があり、動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。
この場合、多くはその画像のエントロピー比率に配分しつつ、バッファ6の記憶容量(バッファ容量)の制限を守りながら符号量制御される。符号量制御器7は発生した符号量と符号化レートの関係を監視し、所定のバッファ容量に収まるように目標符号量を設定する。この値はVLC器5にフィードバックされ、符号量制御器7に入り、そこで量子化器4にセットする量子化値を大きくして発生符号量を抑えたり、量子化値を小さくして発生符号量を小さくしたりする。
このような可変長データを固定の転送レート(符号化レート)で符号化する場合、復号化器の最大バッファ量を上限値とすると、一定速度でデータが入力されて、所定の値だけ溜まったところから、所定の時刻(NTSCのビデオ信号なら1/29.97sec単位)で復号化を一瞬で行うモデルを使用し、そのバッファがオーバーフローもアンダーフローも発生しないように符号化することがMPEGで規定されている。
この規定(VBVバッファ規定)を守っていれば、VBVバッファ内でのレートは局部的に変化しているものの、観測時間を長くとれば固定の転送レートとなり、MPEGではこのことを固定転送レートであると定義している。
固定転送レートの場合、発生符号量の少ない場合にはバッファ占有量は、上限値に張り付いた状態になる。この場合、無効ビットを追加してオーバーフローしないように符号量を増やさなければならない。可変転送レートの場合にはこの固定転送レートの定義を拡張して、バッファ占有量が上限値になった場合、復号化器の読み出しを中止することにより、原理的にオーバーフローが起きないように定義されている。
こうしたバッファ推移を図11に示す。図11は縦軸がバッファ占有量、横軸が表示時間を示す。同図に示すように、MPEG符号化では、仮に非常に発生符号量が少なくても、復号器の読み出しが中止されるので、固定転送レートの時のように無効ビットをいれる必要はない。従って、アンダーフローだけが発生しないように符号化する。
MPEGシステムはMPEGビデオ及びオーディオなどで符号化されたビットストリームを、1個のビットストリームに多重化し、同期を確保しながら再生する方式を規定したものである。システムで規定されている内容は大きく分けて次の5点である。
1)複数の符号化されたビットストリームの同期再生
2)複数の符号化されたビットストリームの単一ビットストリームへの多重化
3)再生開始時のバッファの初期化
4)連続的なバッファの管理
5)復号や再生などの時刻の確定
MPEGシステムで多重化を行うには情報をパケット化する必要がある。パケットによる多重化とは、例えばビデオデータ、オーディオデータを多重化する場合、各々をパケットと呼ばれる適当な長さのストリームに分割し、ヘッダなどの付加情報を付けて、適宜、ビデオ、オーディオのパケットを切り替えて時分割伝送する方式である。ヘッダにはビデオ、オーディオなどを識別する情報や、同期のための時間情報が存在する。パケット長は伝送媒体やアプリケーションに依存し、非同期転送モード(ATM)のように53バイトから、光ディスクのように4kバイトと長いものまで存在している。MPEGでは、パケット長は可変で任意に指定できるようになっている。
データはパック化及びパケット化され、1パックは数パケットで構成されている。各パックの先頭部分にはパックスタートコード(pack start code)やシステム時刻基準参照値(SCR:System Clock Reference)が、また、パケットの先頭部分にはストリームID(stream ID)やタイムスタンプが記述されている。タイムスタンプにはオーディオ、ビデオなどの同期をとる時間情報が記述されており、DTS(Decoding Time Stamp)、PTS(Presentation Time Stamp)の2種類が存在する。
DTSは復号の時刻管理情報で、そのパケットデータ内の最初のアクセスユニット(ビデオなら1ピクチャ、オーディオなら例えば1152サンプル)のデコード開始時刻を、PTSは再生出力の時刻管理情報で、表示(再生)開始時刻を示している。これらのタイムスタンプは、SCRやPCR(Program Clock Reference)によって時間基準が与えられる。PCRは27MHzの時間精度で記述されており、デコーダ(decoder)の基準時計をロックする情報(時刻基準参照値)である。
図12は従来のMPEG多重システムの一例のブロック図を示す。同図に示すように、システムデコーダ21は、入力された多重化したストリーム中の多重化単位のパックのヘッダに記述されているオーディオやビデオの識別子を見て、オーディオパックデータはオーディオデコーダ22に、ビデオパックデータはビデオデコーダ23にそれぞれ分離して出力する。
また、同時に、システムデコーダ21は、入力多重化ストリーム中の前記パックのヘッダに記述されているSCR(システムクロックリファレンス)と、DTS(デコーディングタイムスタンプ)と、PST(プレゼンテーションタイムスタンプ)の各情報を検出して、SCRをクロックコントローラ24に、DTSとPTSを比較器25に出力する。クロックコントローラ24では、入力されたSCRに対して同期をかけて27MHzのクロックを生成する。
一方、オーディオデコーダ22では、入力されたオーディオパックデータからパックヘッダを取り除き、オーディオエレメンタリデータにしてから復号を行い、一時オーディオ用メモリ26に記憶される。また、ビデオデコーダ23では、入力されたビデオパックデータからパックヘッダを取り除き、ビデオエレメンタリデータにしてから復号を行い、一時ビデオ用メモリ27に記憶される。
比較器25では、クロックからのクロック情報と、入力されたPTSなどのタイムスタンプを比較して、一致したときに、デコードやプレゼンテーションする信号をデコーダやメモリ26、27に出力して、DTSに合わせてデコードし、PTSに合わせてプレゼンテーションすることで、オーディオとビデオのバッファ制御やAV同期を合わせる制御を行う。このように、オーディオデコーダ22、ビデオデコーダ23等は、PCRでロックした共通の基準時計を常に監視し、DTSやPTSの時間と一致したときに、デコードや表示を行う仕組みになっている。
ここで、多重化されたデータが各デコーダでバッファリングされ、同期した表示を行うための仮想的なデコーダ(図12ではオーディオデコーダ22、ビデオデコーダ23)をSTD(System Target Decoder)と呼び、このSTDがオーバーフローやアンダーフローを起こさないように多重化されていなければならない。
また、MPEGシステムには、大きく分けてTS(Transport Stream)とPS(Program Stream)が存在する。これらはPES(Packetized Elementary Stream)、及びその他の必要な情報を含むパケットから構成されている。PESは両ストリーム間の変換を可能とするための中間ストリームとして規定されていて、MPEGで符号化されたビデオ、オーディオデータの他、プライベートストリームなどをパケット化したものである。
PSは図13(E)に示すように、PSパック(又は単にパック)と呼ばれる可変長ブロックを単位とする連続したストリームで、共通の基準時間を有するプログラムのビデオ、オーディオの多重化をすることが可能である。PSパックは、図13(D)に示すように、パックヘッダと複数のPESで構成される。PESの構造は図13(C)に示すように、PESヘッダとPESペイロードとからなり、それらは後述するTSと共用して用いられ、これらの相互互換性を可能とする。PSのSTDモデルでは、ストリームはPESパケット内のストリームID(stream id)によってスイッチされる。
TSもPSと同じように共通の基準時間を有するプログラムのビデオ、オーディオの多重化をすることが可能であるが、TSはさらに異なる基準時間を有する通信や放送などのマルチプログラムの多重化を可能としている。TSはATMセル長や誤り訂正符号化する場合を考慮し、図13(A)に示すように、188バイトの固定長のTSパケットの連続したストリームで構成されており、エラーが存在する系でも使用できるように考慮されている。
TSパケット自体の構造は図13(B)に示すように、一つのTSヘッダと一つのTSペイロードとから構成され、それほど複雑ではないが、TSはマルチプログラムのストリームであるため、その運用は複雑である。PSと比べて特徴的なのは図13(B)に示す構造のTSパケットが上位構造であるにも拘らず、同図(C)に示すPESパケットより(通常は)短く、PESパケットを分割して同図(B)に示すTSパケットのTSペイロードに乗せて伝送する点である。TSのSTDモデルでは、ストリームはTSパケット内のPID(パケットID)によってスイッチされる。
MPEGシステムのTSにはその多重化されている番組の情報に関するパケットがどのパケット識別情報(PID:Packet Identification)であるのかを指示する仕組みがある。それを図14で説明する。まずTSパケット群の中からPID=0のものを探す。PID=0のTSパケット31は、PAT(Program Association Table)と呼ばれる情報パケットで、そのパケットの中には32で示すように、PROGRAMナンバーPRに対応する情報PIDがリンクされた形で記述されている。
次に、目的のPRに対応するPIDのパケット(ここでは、PID=XのTSパケットとする)33を読みに行くと、その中には34で示すように、PMT(Program Map Table)と呼ばれる情報パケットがあり、そのPMTの中にはそのPRに対応する番組のビデオパケットのPIDと、オーディオパケットのPIDの情報が記述されている。これにより、PID=PVのTSパケット35を受信し、PID=PCのTSパケット36を受信し、PID=PAのTSパケット37を受信することにより、目的の番組のビデオ、クロック、オーディオ信号を得ることができる。上記のPATとPMTのことをPSI(Program Specific Information)と呼び、目的の番組のチャンネルにアクセス(エントリー)することが可能な情報体系になっている。
以上説明したMPEG符号化方式で符号化を行って得た2つのMPEG画像データを、編集のために単純に繋いで記録媒体に記録する場合は、前述したVBVバッファの接続に矛盾が生じ、オーバーフローやアンダーフローがおきてしまう。
そこで、2つのMPEG画像データにおける指定された繋ぎ指定位置で繋げて再生させる際に、シームレスな再生を実現させるための記録を行うべく、MPEG画像データの連続性を保つため、2つのMPEG画像データの繋ぎ指定位置の編集点ではVBVバッファを常に固定になるよう発生符号量を制御したり、GOPをクローズドGOPとして符号化するなど、連続性を考慮した符号化を行うようにした画像データ記録装置が従来より知られている(例えば、特許文献1参照)。
また、符号化データには何の制約も施さずに、そのデータの部分区間のうち、編集素材として抜粋されたデータを指示する情報とその再生順番に関する情報を記述し、記録されたデータは変更せずに、単一記録媒体に映像編集を実現できる画像データ記録装置も従来より知られている(例えば、特許文献2参照)。
特開平11−74799号公報 特開平11−187354号公報
しかしながら、特許文献1記載の従来の画像データ記録装置においては、どこで編集されても良いように、各GOPに対してVBVバッファが常に固定になるよう発生符号量を制御し、GOPをクローズドGOPとして符号化するなど、連続性を考慮した符号化制約を施すことが必要であり、これは符号化効率の面では不利な要因である。
一方、特許文献2記載の従来の画像データ記録装置においては、あたかも編集したように再生表示はされるが、その編集点での連続性は不完全で、MPEGデータのデコーダバッファの初期化などの一時的な静止現象が起こる可能性がある。
本発明は、以上の点に鑑みなされたもので、第1及び第2の2つのMPEG画像データを(または、第1のMPEG画像データを要素符号化データとして含むパケット多重化された第1のMPEG多重化データと、第2のMPEG画像データを要素符号化データとして含むパケット多重化された第2のMPEG多重化データとを)、それぞれの指定された繋ぎ指定位置で、前記第1のMPEG画像データから前記第2のMPEG画像データへ繋げて再生させる際に(前記第1のMPEG多重化データから前記第2のMPEG多重化データへ繋げて再生させる際に)、VBVバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、シームレスで高品位な再生を実現させることができるMPEG画像データ記録装置及びMPEG画像データ記録方法を提供することを目的とする。
上記の目的を達成するため、第1の発明のMPEG画像データ記録装置は、MPEG符号化方式で符号化された画像データである第1及び第2の2つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、第1のMPEG画像データから第2のMPEG画像データへ繋げて再生させるためのデータとして、MPEG符号化方式で符号化された第1の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたMPEG画像データ記録装置であって、
第1のMPEG画像データは、MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第1の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第1の時刻基準情報、及び多重化されたデータの第1の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから第1の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
第2のMPEG画像データは、MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第2の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第2の時刻基準情報、及び多重化されたデータの第2の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから第2の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
記録手段は、第1のMPEG画像データにおける繋ぎ指定位置より所定時間前の位置を開始位置とし、第1のMPEG画像データにおける繋ぎ指定位置を終了位置とする区間を第1の繋ぎ区間として、第1の繋ぎ区間に対応する第1のMPEG画像データを復号して得た画像データである復号画像データを、MPEG符号化方式で再符号化して第1の繋ぎ区間再符号化データを生成する再符号化手段を備え、第1の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化手段は、
第1のMPEG画像データにおける第1の繋ぎ区間の開始位置後の最初のフレームの第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの第1の時刻基準情報の記録位置と第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との差に、第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出手段と、
第2のMPEG画像データにおける繋ぎ指定位置後の最初のフレームの第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの第2の時刻基準情報の記録位置と第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との差に、第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出手段と、
第1の繋ぎ区間に対応する第1のMPEG画像データを復号して得た画像データである復号画像データを、VBVバッファ占有値が第1の予測値から開始されて、第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えたことを特徴とする。
また、上記の目的を達成するため、第2の発明のMPEG画像データ記録装置は、第1の発明のMPEG画像データ記録装置の記録手段及び再符号化手段に替えて、記録手段は、第2のMPEG画像データにおける繋ぎ指定位置を開始位置とし、第2のMPEG画像データにおける繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第2の繋ぎ区間として、第2の繋ぎ区間に対応する第2のMPEG画像データを復号して得た画像データである復号画像データを、MPEG符号化方式で再符号化して第2の繋ぎ区間再符号化データを生成する再符号化手段を備え、第2の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化手段は、第2のMPEG画像データにおける繋ぎ指定位置後の最初のフレームの第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの第1の時刻基準情報の記録位置と第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との差に、第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出手段と、第2のMPEG画像データにおける第2の繋ぎ区間の終了位置後の最初のフレームの第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの第2の時刻基準情報の記録位置と第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との差に、第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出手段と、第2の繋ぎ区間に対応する第2のMPEG画像データを復号して得た画像データである復号画像データを、VBVバッファ占有値が第1の予測値から開始されて、第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えたことを特徴とする。
また、上記の目的を達成するため、第3の発明のMPEG画像データ記録装置は、上記の第1及び第2の発明の記録手段及び再符号化手段に替えて、記録手段は、第1のMPEG画像データにおける繋ぎ指定位置より第1の所定時間前の位置を開始位置とし、第1のMPEG画像データにおける繋ぎ指定位置を終了位置とする区間を第1の繋ぎ区間とし、第2のMPEG画像データにおける繋ぎ指定位置を開始位置とし、第2のMPEG画像データにおける繋ぎ指定位置より第2の所定時間後の位置を終了位置とする区間を第2の繋ぎ区間として、第1及び第2の繋ぎ区間に対応する第1及び第2のMPEG画像データを復号して得た画像データである第1及び第2の復号画像データを、MPEG符号化方式で再符号化して第1及び第2の繋ぎ区間再符号化データを生成する再符号化手段を備え、第1及び第2の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化手段は、第1のMPEG画像データにおける第1の繋ぎ区間の開始位置後の最初のフレームの第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの第1の時刻基準情報の記録位置と第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との第1の差に、第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出手段と、第2のMPEG画像データにおける第2の繋ぎ区間の終了位置後の最初のフレームの第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの第2の時刻基準情報の記録位置と第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との第2の差に、第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出手段と、第1の繋ぎ区間に対応する第1のMPEG画像データを復号して得た画像データである第1の復号画像データと第2の繋ぎ区間に対応する第2のMPEG画像データを復号して得た画像データである第2の復号画像データとを順次に、VBVバッファ占有値が第1の予測値から開始し第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えたことを特徴とする。
また、上記の目的を達成するため、第4の発明のMPEG画像データ記録方法は、MPEG符号化方式で符号化された画像データである第1及び第2の2つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、第1のMPEG画像データから第2のMPEG画像データへ繋げて再生させるためのデータとして、MPEG符号化方式で符号化された第1の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたMPEG画像データ記録方法であって、
第1のMPEG画像データは、MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第1の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第1の時刻基準情報、及び多重化されたデータの第1の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから第1の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
第2のMPEG画像データは、MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第2の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第2の時刻基準情報、及び多重化されたデータの第2の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから第2の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
記録ステップは、第1のMPEG画像データにおける繋ぎ指定位置より所定時間前の位置を開始位置とし、第1のMPEG画像データにおける繋ぎ指定位置を終了位置とする区間を第1の繋ぎ区間として、第1の繋ぎ区間に対応する第1のMPEG画像データを復号して得た画像データである復号画像データを、MPEG符号化方式で再符号化して第1の繋ぎ区間再符号化データを生成する再符号化ステップを備え、第1の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化ステップは、
第1のMPEG画像データにおける第1の繋ぎ区間の開始位置後の最初のフレームの第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの第1の時刻基準情報の記録位置と第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との差に、第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出ステップと、
第2のMPEG画像データにおける繋ぎ指定位置後の最初のフレームの第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの第2の時刻基準情報の記録位置と第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との差に、第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出ステップと、
第1の繋ぎ区間に対応する第1のMPEG画像データを復号して得た画像データである復号画像データを、VBVバッファ占有値が第1の予測値から開始されて、第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含むことを特徴とする。
また、上記の目的を達成するため、第5の発明のMPEG画像データ記録方法は、第4の発明のMPEG画像データ記録方法の記録ステップ及び再符号化ステップに替えて、記録ステップは、第2のMPEG画像データにおける繋ぎ指定位置を開始位置とし、第2のMPEG画像データにおける繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第2の繋ぎ区間として、第2の繋ぎ区間に対応する第2のMPEG画像データを復号して得た画像データである復号画像データを、MPEG符号化方式で再符号化して第2の繋ぎ区間再符号化データを生成する再符号化ステップを備え、第2の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化ステップは、第2のMPEG画像データにおける繋ぎ指定位置後の最初のフレームの第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの第1の時刻基準情報の記録位置と第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との差に、第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出ステップと、第2のMPEG画像データにおける第2の繋ぎ区間の終了位置後の最初のフレームの第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの第2の時刻基準情報の記録位置と第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との差に、第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出ステップと、第2の繋ぎ区間に対応する第2のMPEG画像データを復号して得た画像データである復号画像データを、VBVバッファ占有値が第1の予測値から開始されて、第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含むことを特徴とする。
更に、上記の目的を達成するため、第6の発明のMPEG画像データ記録方法は、第4及び第5の発明の記録ステップ及び再符号化ステップに替えて、記録ステップは、第1のMPEG画像データにおける繋ぎ指定位置より第1の所定時間前の位置を開始位置とし、第1のMPEG画像データにおける繋ぎ指定位置を終了位置とする区間を第1の繋ぎ区間とし、第2のMPEG画像データにおける繋ぎ指定位置を開始位置とし、第2のMPEG画像データにおける繋ぎ指定位置より第2の所定時間後の位置を終了位置とする区間を第2の繋ぎ区間として、第1及び第2の繋ぎ区間に対応する第1及び第2のMPEG画像データを復号して得た画像データである第1及び第2の復号画像データを、MPEG符号化方式で再符号化して第1及び第2の繋ぎ区間再符号化データを生成する再符号化ステップを備え、第1及び第2の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
再符号化ステップは、
第1のMPEG画像データにおける第1の繋ぎ区間の開始位置後の最初のフレームの第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの第1の時刻基準情報の記録位置と第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との第1の差に、第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出ステップと、第2のMPEG画像データにおける第2の繋ぎ区間の終了位置後の最初のフレームの第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの第2の時刻基準情報の記録位置と第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との第2の差に、第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出ステップと、第1の繋ぎ区間に対応する第1のMPEG画像データを復号して得た画像データである第1の復号画像データと第2の繋ぎ区間に対応する第2のMPEG画像データを復号して得た画像データである第2の復号画像データとを順次に、VBVバッファ占有値が第1の予測値から開始し第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含むことを特徴とする。
本発明のMPEG画像データ記録装置及び記録方法では、第1の繋ぎ区間と第2の繋ぎ区間とのうち、予め定めたどちらか一方又は両方からなる繋ぎ区間の符号化画像データを復号し、その復号画像データをMPEG符号化方式で再符号化する際に、第1の繋ぎ区間の開始位置後又は繋ぎ指定位置後の最初のフレームの第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの第1の時刻基準情報の記録位置と第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との差に、第1の転送レート情報を乗算してVBVバッファ占有値の第1の予測値を求め、第2の繋ぎ区間の開始位置後又は繋ぎ指定位置後の最初のフレームの第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの第2の時刻基準情報の記録位置と第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との差に、第2の転送レート情報を乗算してVBVバッファ占有値の第2の予測値を求め、第1及び第2の復号画像データの一方又は両方を、VBVバッファ占有値が第1の予測値から開始し第2の予測値へ推移して終了するように、符号量制御を行いながら再符号化を行い、繋ぎ区間再符号化データを生成して記録するようにしたため、第1のMPEG画像データを繋ぎ区間の開始位置まで再生してから、記録されている繋ぎ区間再符号化データを再生し、その後で繋ぎ区間の終了位置から第2のMPEG画像データを再生することにより、VBVバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、また、元の第1及び第2のMPEG画像データそのものを加工することなく、第1の指定位置の第1のMPEG画像データから第2の指定位置の第2のMPEG画像データへ繋ぎ再生させることができる。
なお、本発明の上記の第1のMPEG画像データ及び第2のMPEG画像データは、MPEG符号化方式で符号化された音声符号化データなどの他のデータにパケット多重化されて、要素符号化データを構成するMPEG多重化データ中の符号化画像データを含むものとする。
本発明によれば、第1のMPEG画像データを繋ぎ区間の開始位置まで再生してから、記録されている繋ぎ区間再符号化データを再生し、その後で繋ぎ区間の終了位置から第2のMPEG画像データを再生することにより、VBVバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、また、元の第1及び第2のMPEG画像データそのものを加工することなく、第1の指定位置の第1のMPEG画像データから第2の指定位置の第2のMPEG画像データへ繋ぎ再生させることができるようにしたため、それぞれ繋ぎ位置として指定された第1及び第2の指定位置で、第1のMPEG画像データから第2のMPEG画像データへ繋げる再生を、シームレスで高品位に実現させることができる。
また、本発明では、シームレスで高品位な再生を実現させるために、新たに生成・記録する画像データとしては、設定した繋ぎ区間の再符号化データのみでよいので、繋ぎ区間の再符号化データを記録する記録媒体を効率良く利用できる。
次に、本発明を実施するための最良の形態について図面と共に説明する。
まず、本発明で実現可能とする繋ぎ再生の概念を説明する。図1に示すようにMPEG符号化方式で符号化された画像データである第1のMPEG画像データ及び第2のMPEG画像データがそれぞれ存在する場合の、第1のMPEG画像データの途中(指定された繋ぎ指定位置)から第2のMPEG画像データを繋げて再生することを考える。
第1のMPEG画像データにおける繋ぎ指定位置(接続点)が図1のbの位置と仮定すると、第1のMPEG画像データのbの位置まで再生を行い、その後第2のMPEG画像データへ接続してデータを再生することになるが、2つのMPEG画像データは単純につなぐとVBVバッファの接続に矛盾が生じ、オーバーフローやアンダーフローがおきてしまうという問題が生じる。
そこで、従来は、2つの方法でVBVバッファの占有値を検出していた。第1の検出方法は、MPEG規格において、基本的にCBR(constant bit rate)、すなわち、固定転送レートの場合には、MPEGビデオのピクチャレイヤにデコーダのVBVバッファのバッファ占有率を示す、VBV delay値が規定されており、これを利用する方法である。すなわち、第1の検出方法では、VBV delay値がピクチャ単位に記述されているので、MPEG画像ビットストリームをピクチャヘッダのみだけでも観測することで、MPEG画像データの所定位置に対応するピクチャのMPEG符号化開始時点(または終了時点)でのVBVバッファ占有値を検出することができる。
この場合、例えば後述する図2におけるVBVバッファ情報予測器105の機能は、ビットストリームのピクチャヘッダ(MPEGでは0x00000100という4バイトのコード)をサーチして、その後の10ビットのテンポラル・リファレンス(temporal reference)と、ピクチャタイプを示す3ビットのピクチャ・コーディング・タイプ(picture coding type)の後に続く、16ビットのVBV delayを検出することで実現できる。VBV delay値とは
VBV delay=90000xB/R
B:バッファ占有値 R:ビットレート
で定義された、ランダムアクセス時のバッファの初期状態を示すものであるから、固定転送レートの場合には、このビットレートを用いてVBV delay値からVBVバッファ占有値も計算で求めることができる(例えば図2に示すVBVバッファ情報予測器105で計算する。)。MPEGではこのVBV delay値は、図3(B)のように、グラフの頂点の位置でのものに注意しなければならない。しかし、この方法はCBRの場合にしか有効ではない。
第2の検出方法は、固定転送レートではなく可変転送レートの場合である。MPEG規格では、基本的にVBR(variable bit rate:可変転送レート)の場合、MPEGビデオのピクチャレイヤにおけるVBVバッファのバッファ占有率を示すVBV delay値はすべて1、(16ビットすべてが1なので0xffff)となる。従って、前記第1の検出方法は使えない。
そこで、第2の検出方法では、MPEG画像ビットストリームを観測することで得られた情報から次のような計算を行う。まず、ビットストリームの一番初めから、VBVバッファをMPEG規定の最大値(たとえばメインプロファイルメインレベルでは1.75Mビット)まで占有したと仮定する。次に、始めのピクチャの符号量を減算する。次に、可変転送レート符号化におけるピークレートの伝送レート情報を用いて、表示ピクチャ間の時間だけ経過した場合の伝送量を加算し、次のピクチャの符号量を減算する。
このような一連の加算、減算という処理を所定の求めたいビットストリームの位置まで繰り返し行うことで、図4に示すようなグラフをシミュレーションして求めるが如く、MPEG画像データの所定位置に対応するピクチャのMPEG符号化開始時点(または終了時点)でのVBVバッファ占有値を求めることができる。
可変転送レート時のピークレートは、MPEGではシーケンスヘッダのビットレート(bit rate)というシンタックスの部分に記述するように規定されているので、それを参照すれば得られる。例えば、図2に示すVBVバッファ情報予測器105に上述のMPEG画像ビットストリームを観測機能と計算機能を持たせるようにして実現する(この第2の検出方法の場合、そのMPEG画像ビットストリームの先頭から、各ピクチャの発生符号量を観測して計算しなければならない。)。しかし、この第2の検出方法はビットストリームを先頭から解析して行かなければならず、高速に編集動作などを行うことができない。
そこで、本発明では、VBVバッファ占有値情報を、再符号化するMPEG画像データにおける繋ぎ指定位置のDTSとPCRの差の情報と、圧縮データの伝送レートを基にして予測し、そのVBVバッファ占有予測値の推移になるように、符号量制御を行い、再符号化を行うようにする。
この方法を、図1を用いて再符号化するプロセスと共に説明をする。VBVバッファ占有値に関する情報値とは、例えばMPEGで規定されているVBVバッファ占有値またはVBV delay値である。2つのストリームを接続するときに必要な再符号化をするための所定区間の1単位は後述するように、例えば3フレーム程度のものでも、1GOP程度でもよい。仮に、上記の再符号化をするための所定区間単位を、図1に示す第1のMPEG画像データにおいては、a−b間、第2のMPEG画像データにおいては図1のc−d間とする。
第1のMPEG画像データのa−b間(第1の繋ぎ区間:ここでは区間Aとする)のデータを、一旦、復号化して復号画像データを得、その復号画像データ(第1の繋ぎ区間復号画像データ)をMPEG符号化方式で再符号化を行う。それによって作成された再符号化データを区間Aの再符号化MPEG画像データ(第1の繋ぎ区間再符号化データ)と呼ぶこととする。
この再符号化は、VBVバッファ占有値に関する情報値の推移が、aの位置での検出した第1のVBVバッファ占有値関連情報に基づき得られたVBVバッファ占有値に関する情報値から開始されて、dの位置での検出した第2のVBVバッファ占有値関連情報に基づき得られたVBVバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってMPEG符号化方式で再符号化を行う。
第1のMPEG画像データのbの位置まで再生を行い、その後第2のMPEG画像データのdの位置へ接続してデータを再生する、という従来の繋ぎ再生動作に替えて、本実施の形態では、区間Aの再符号化MPEG画像データを用いて次のような動作とする。すなわち、本実施の形態では、第1のMPEG画像データのaの位置(区間Aの開始位置)までは第1のMPEG画像データの再生を行い、続いて前記区間Aの再符号化MPEG画像データをその区間の開始位置から終了位置まで再生し、その後、第2のMPEG画像データのdの位置(繋ぎ指定位置)へ接続してd以降の第2のMPEG画像データのデータを再生する、という動作にする。
再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。この繋ぎ再生動作とすることで、元の第1及び第2のMPEG画像データと同じコンテンツ内容で、かつ、VBVバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。
次に、本発明の他の実施の形態の接続再生例について図5(B)、(C)と共に説明する。図5(A)は図1に示した例と同様のものである。すなわち、図5(A)では、第1のMPEG画像データのeの位置(区間Aの開始位置)までは第1のMPEG画像データの再生を行い、その後第1のMPEG画像データのe−f区間Aの、再符号化MPEG画像データをその区間Aの開始位置から終了位置まで再生し、その後、第2のMPEG画像データのhの位置(繋ぎ指定位置)へ接続してh以降の第2のMPEG画像データを再生する。
図1及び図5(A)に示した例では、第1のMPEG画像データ側のみを基に繋ぎ区間の再符号化MPEG画像データを得て繋ぎ再生を実現したが、第2のMPEG画像データ側のみを基に繋ぎ区間の再符号化MPEG画像データを得て繋ぎ再生を実現することも可能である。その例が図5(B)に示したものであり、第2のMPEG画像データにおける繋ぎ区間Bの同符号化MPEG画像データを用いるものである。
すなわち、図5(B)において、第1のMPEG画像データにおける接続点(繋ぎ指定位置)をiの位置とし、第2のMPEG画像データにおける接続点(繋ぎ指定位置)をkの位置とする。前述したVBVバッファの情報を有する単位である第1及び第2の所定区間の1単位を、第1のMPEG画像データにおいてはi−j間、第2のMPEG画像データにおいてはk−l間とする。lの位置は第2のMPEG画像データにおける接続点(繋ぎ指定位置)kから第2の所定時間分後の第2の所定区間の境界位置となる。
接続点kを開始位置としlの位置を終了位置とする区間を繋ぎ区間B(第2の繋ぎ区間)とする。第2のMPEG画像データを繋ぎ区間B(k−l区間)のデータを、一旦、復号化して、復号画像データを得、その復号画像データ(第2の繋ぎ区間復号画像データ)をMPEG符号化方式で再符号化を行う。それによって作成された再符号化データを繋ぎ区間Bの再符号化MPEG画像データ(第2の繋ぎ区間再符号化データ)と呼ぶこととする。
この再符号化は、VBVバッファ占有値に関する情報値の推移が、iの位置でのVBVバッファ占有値に関する情報値から開始されて、lの位置でのVBVバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってMPEG符号化方式で再符号化を行う。そして、繋ぎ区間Bの再符号化MPEG画像データを用いて、第1のMPEG画像データから第2のMPEG画像データへの繋ぎ再生を行う。すなわち、第1のMPEG画像データの接続点i(繋ぎ指定位置)までは第1のMPEG画像データの再生を行い、その後、前記区間Bの再符号化MPEG画像データをその区間の開始位置から終了位置まで再生し、その後、第2のMPEG画像データのlの位置(繋ぎ区間Bの終了位置)へ接続してlの位置以降の第2のMPEG画像データを再生する、という動作にする。
再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。この繋ぎ再生動作とすることで、元の第1及び第2のMPEG画像データと同じコンテンツ内容で、かつ、VBVバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。
次に、図5(C)に示す実施の形態について説明する。この例では、接続点前後の第1及び第2のMPEG画像データを基に繋ぎ区間の再符号化MPEG画像データを得て繋ぎ再生を実現させるものである。図5(C)において、第1のMPEG画像データにおける接続点(繋ぎ指定位置)をnの位置とし、第2のMPEG画像データにおける接続点(繋ぎ指定位置)をpの位置とする。
mの位置は第1のMPEG画像データにおける接続点(繋ぎ指定位置)nから第1の所定時間分前の第1の所定区間の境界位置となる。mの位置を開始位置とし接続点nの位置を終了位置とする区間を繋ぎ区間A(第1の繋ぎ区間)とする。qの位置は第2のMPEG画像データにおける接続点(繋ぎ指定位置)pから第2の所定時間分後の第2の所定区間の境界位置となる。接続点pを開始位置としqの位置を終了位置とする区間を繋ぎ区間B(第2の繋ぎ区間)とする。
第1のMPEG画像データの繋ぎ区間A(m−n区間)のデータを、一旦、復号化して復号画像データ(繋ぎ区間A復号画像データ:第1の繋ぎ区間復号画像データ)を得る。また、第2のMPEG画像データの繋ぎ区間B(p−q区間)のデータを、一旦、復号化して、復号画像データ(繋ぎ区間B復号画像データ:第2の繋ぎ区間復号画像データ)を得る。繋ぎ区間A復号画像データと繋ぎ区間B復号画像データとを合わせた繋ぎ区間A+B復号画像データ(第3の繋ぎ区間復号画像データ)をMPEG符号化方式で再符号化を行う。それによって作成された再符号化データを繋ぎ区間A+Bの再符号化MPEG画像データ(第3の繋ぎ区間再符号化データ)と呼ぶこととする。
この再符号化は、VBVバッファ占有値に関する情報値の推移が、mの位置での第1のVBVバッファ占有値に関する情報値から開始されて、qの位置での第2のVBVバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってMPEG符号化方式で再符号化を行う。そして、繋ぎ区間A+Bの再符号化MPEG画像データを用いて、第1のMPEG画像データから第2のMPEG画像データへの繋ぎ再生を行う。
すなわち、第1のMPEG画像データの繋ぎ区間Aの開始位置mまでは第1のMPEG画像データの再生を行い、そのあと前記繋ぎ区間A+Bの再符号化MPEG画像データをその区間の開始位置から終了位置まで再生し、その後、第2のMPEG画像データの繋ぎ区間Bの終了位置qへ接続してqの位置以降の第2のMPEG画像データを再生する、という動作にする。再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。
この繋ぎ再生動作とすることで、元の第1及び第2のMPEG画像データと同じコンテンツ内容で、かつ、VBVバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。
このように、図5(A)〜(C)に示した方法は、いずれもシームレスで高品位な繋ぎ再生を実現させることができる。これらの発展例としては、図6に示すように、第1のMPEG画像データと第2のMPEG画像データとを接続した繋ぎ再生、第1のMPEG画像データと第2のMPEG画像データと第4のMPEG画像データとを順次に接続した繋ぎ再生、第1のMPEG画像データと第3のMPEG画像データとを接続した繋ぎ再生などの、途中分岐するような繋ぎ再生を実現させることも可能となる。
このように、本発明を用いれば、元のMPEG画像データそのものを加工することなく、繋ぎ区間の再符号化MPEG画像データを生成し利用するだけで、他のMPEGデータに自由に繋げることができるので、様々な分岐ストーリを構成するプログラムを符号化する際にも、分岐ストーリ毎にそのストーリの全体にわたる冗長なMPEG画像データを記録することなく、メディアを効率良く使用することが可能となる(本発明を用いれば、第1〜第4のMPEG画像データそれぞれ一組と、分岐ストーリ毎の繋ぎ区間の符号化MPEG画像データとを用意しておけばよい。)。
次に、本発明になるMPEG画像データ記録装置の一実施の形態の構成について説明する。図2は本発明になるMPEG画像データ記録装置の一実施の形態のブロック図を示す。この実施の形態はディジタル信号記録再生装置に適用したものである。
まず、MPEG符号化方式で画像データを符号化しながらVBVバッファ情報を作成する動作について説明する。同図において、記録媒体101に符号化データが全く無い状態、すなわち、初めて符号化する場合には、データ読み取り部102では、記録媒体101に記録されている符号化データが存在しないので、符号化データが無いという情報をVBVバッファ情報予測器105に出力する。
VBVバッファ情報予測器105は符号化データが無いという情報を受けると、パラメータ設定器106が出力するパラメータ(VBV値、PTMタイムスタンプ情報)を予め設定した初期値、すなわちVBV値は、例えばMPEGで規定されるVBVの最大値の80%の値とし、PTMタイムスタンプ情報は0とする。これらのパラメータの初期設定値は、パラメータ設定器106から画像再符号化器107に供給される。
画像再符号化器107では、符号化データサーチ部103から入力される信号がビットストリームであるときには、そのデータを復号化して再符号化し、画像データであるときには新たな符号化を初期設定値から開始する。すなわち、画像再符号化器107は、図10と同様の構成の復号化器と、図9に示したと同様の構成のMPEG符号化器とからなり、再符号化又は符号化の時には、VBVの初期値がパラメータ設定器106から画像再符号化器107内の符号量制御器(図9の7に相当)に設定され、その符号量制御器の制御によりMPEGのVBVバッファの規定に従って、VBVバッファがアンダーフローを起こさないように、1フレームずつの目標符号量を設定し、その目標符号量に従って画像再符号化器107内の量子化器(図9の4に相当)に対して量子化ステップが設定され、VLC器(図9の5に相当)により可変長符号化がなされる。
このようにして、画像再符号化器107では再符号化又は符号化を行いながら、得られた符号化データをデータ書き込み部108へ供給して、これにより記録媒体101に記録させる。
次に、記録媒体101に記録されている第1及び第2の2つのMPEG画像データに対して、所定の位置からの繋ぎ再生を可能とするため、図1の区間Aの部分の再符号化を行う場合の図2の画像データ記録装置の動作を、図1、図7を併せ参照して説明する。
まず、図示せぬ、ユーザーインターフェースから、既に記録媒体101に記録されている第1及び第2の2つのMPEG画像データ(圧縮符号化ストリーム)のどこのポイントから繋ぎ再生するかを、符号化データサーチ部103等に指定してもらう。データ読み取り部102は既に第1及び第2の2つのMPEG画像データが記録されている記録媒体101から読み取ったMPEG画像データを符号化データサーチ部103に供給する。
符号化データサーチ部103は、データ読み取り部102から供給される再生MPEG画像データに基づき、指定された再符号化区間Aの開始位置より数フレーム前のフレームにサーチをかける。
PCR、DTS検出器104は符号化データサーチ部103から出力される第1のMPEG画像データのうちの再符号化区間Aの最初のフレームにおけるDTSを検出する。また、そのDTSのデータの前後にあるPCRの値を検出する。DTSとPCRの位置関係を図7(A)に示す。DTSとPCRはMPEGの規格に準拠して記録されているので、検出はMPEG規格書のシンタックスの通りに記録ビットを読めば検出できる。DTSのポイント(記録位置)のPCRは、先に検出したDTSの前後のPCRの値から、DTSの記録されているポイントまでのデータ長比率を用いて内挿して計算することができる。
すなわち、図7(A)は圧縮ストリームのある隣接する2つのPCRの位置PAとPBの間の位置41に、再符号化区間Aの最初のフレームにおけるDTSの情報が記録媒体101に記録されている状態を示しており、PAの位置にあるPCRとPBの位置にある次のPCRの位置の間は、MPEGの規格では100msec以下と規定されている。
ここで、DTSの記述されているフレームの先頭のPCRの値を、位置PAのPCRの情報の先頭からDTSの先頭までのデータ長42と、位置PBのPCRの情報の先頭からDTSの先頭までのデータ長43の比率を用いて、44に示すように内挿計算して算出する。
続いて、VBVバッファ情報予測器105は、上記の位置41のDTSの値と、44で示した位置のPCR内挿値との差Δを計算すると共に、このMPEGデータのシステムレイヤのヘッダに記録されているTS_mux_rateの値を検出した後、それらを乗算することにより、VBVバッファ占有値の予測値を得る。
ここで、上記のTS_mux_rateは、MPEGのトランスポートストリーム(TS)の多重化されたデータの転送レートを示しており、100〜120msecに1回の割合で伝送されるようにMPEGで規定されている。一方、PCRは多重化されたデータを転送する時に計測したクロックリファレンスの値を、そのデータの発生するタイミングにおいて記述されており、データの内容とは関係のない、基準となる時刻を示している時刻基準情報である。
また、DTSは前述したように、復号再生の単位であるアクセスユニットの復号開始時刻を示す時刻管理情報であり、そのDTSが示す値(DTS値)の時刻で瞬時に復号器へVBVバッファの蓄積画像データ等が読み出されて転送されるように、MPEG画像データは符号化されている。DTSは各アクセスユニット(ビデオの場合は各ピクチャ)毎に記述されており、もしピクチャがいつも同じ発生符号量(=固定レート)であるならば、DTS値とPCR内挿値との差Δはいつも固定なので、バッファにはその固定の時間分の符号量を蓄積すればよい。
しかし、実際には、ピクチャ毎の発生符号量が可変であるため、上記の差Δは可変であり、よって、図7(B)に示すように、上記の差ΔとTS_mux_rateの値との積の値αが、そのDTSが記述されているピクチャのVBVバッファの占有値に略相当する。すなわち、実際のDTS値が示す時刻からPCR内挿値が示すDTSのデータ位置の時刻までの差Δの区間に再生されるフレーム数(ピクチャ数)に対応した符号量が、上記の差ΔとTS_mux_rateの値との積の値αに略相当し、VBVバッファに格納されているとみなせる。
上記の積の値αは、正確にはTS全体を貯めているバッファの占有値であり、ピクチャのVBVバッファの占有値に、TS中に他に多重化されているオーディオデータや多重化パッキングによるヘッダなどのオーバーヘッドデータの量が加算された占有値であるが、後者のデータ量は僅かであるので、上記の積の値αをVBVバッファの占有値とみなして実用上差し支えない。
VBVバッファ情報予測器105は、上記と同様の方法で、繋ぎ区間の終了位置に対応した第2のMPEG画像データにおける繋ぎ指定位置(図1の例ではd)の後の最初のフレームのDTS値と、その前後の第2のMPEG画像データ中のPCRから得たPCR内挿値との差Δを算出して、更に上記TS_mux_rateの値とを乗算して、繋ぎ区間の終了位置に対応するVBVバッファ占有値の予測値を得る。
このようにして、VBVバッファ情報予測器105で得られた繋ぎ区間の開始位置後の最初のフレームのVBVバッファの予測値(第1の予測値)と、第2のMPEG画像データの繋ぎ指定位置の後の最初のフレームのVBVバッファの予測値(第2の予測値)とはパラメータ設定器106に入力される。
一方、符号化データサーチ部103は、再符号化する繋ぎ区間Aの先頭位置を、既に記録媒体101に記録してあるビットストリームに対してサーチする。サーチはデータの相対アドレスを用いて、そのビットストリームファイルの先頭からの位置にポインタを設定する。画像再符号化器107は、繋ぎ区間Aに対応する第1のMPEG画像データを復号化し、得られたその復号画像データを用いて、再度、VBVバッファ占有値の推移が、パラメータ設定器106から供給される、図1の繋ぎ開始位置aでのVBVバッファ占有値の予測値から始まって、繋ぎ区間の終了位置dでのVBVバッファ占有値の予測値までで終了するように、レートコントロールを行ってMPEG符号化方式で再符号化を行う。
再符号化は前記のように完全に復号した画像を用いてもよいが、例えば、特開平11−234677号公報に開示されているような、ビットストリーム上での符号量コントロールの技術を用いてもよい。
画像再符号化器107により再符号化された区間Aの画像データ(繋ぎ区間A再符号化データ)は、データ書き込み部108により、記録媒体101に第1、第2のMPEG画像データと分離された別のファイルとして記録するか、記録されている第2のMPEG画像データの先頭に連結して記録する。
なお、上記の説明では、第1のMPEG画像データと、第2のMPEG画像データと、前記区間Aの再符号化画像データ(または前記区間Bの再符号化画像データ、または前記区間A+Bの再符号化画像データ)は、同一の記録媒体101に記録されていても、任意の組み合わせで複数の記録媒体に記録されていても、それぞれが異なる記録媒体に記録されていても構わない。複数の記録媒体に分けて記録されている場合には、それぞれの記録媒体同士がリンクされて(それぞれのデータ、情報同士がリンクされて)運用されるように、同一情報群であることを示す情報、例えばIDなどを各記録媒体に記録しておくとよい。
第1のMPEG画像データと、第2のMPEG画像データと、前記区間Aの再符号化画像データ(または前記区間Bの再符号化画像データ、または前記区間A+Bの再符号化画像データ)とが同一の記録媒体に記録されている場合には、一つの記録媒体で、再生装置側の繋ぎ再生を制御できる。
また、上記実施の形態で、記録媒体は記録再生装置内の記録媒体として説明したが、記録再生装置に着脱自在の記録媒体、ネットワークを介した記録媒体(データベース)であっても構わない。
上記実施の形態では、単体のMPEG画像データに着目して画像データを繋ぐ例を説明したが、次に、音声データなどと共にMPEG符号化方式でパケット多重化されたMPEG多重化データであるMPEGトランスポートストリーム内のMPEG画像データを繋ぐ編集記録を行う他の実施の形態について説明する。
トランスポートストリームには可変長符号化されているMPEG画像データ、固定長符号化されているMPEG1レイヤ2オーディオもしくはAC3などが多重化されている場合が多い。従って、その多重化されたデータ中の要素符号化データの一つであるMPEG画像データを繋ぐ場合、接続する点においてMPEGで規定されるSTDバッファ(ビデオではVBVバッファ)の整合性を考慮した接続方法として、前記説明した実施の形態の方法を適応する。
例えば、第1及び第2のMPEGトランスポートストリーム内からそれぞれ接続対象の第1及び第2のMPEG画像データを取り出し、上記した実施の形態と同様にして接続する。繋ぎ再生に使用する繋ぎ区間再符号化データ(前記区間Aの再符号化画像データ、前記区間Bの再符号化画像データ、前記区間A+Bの再符号化画像データ)は、MPEG符号化方式でパケット多重化されたMPEG多重化データとして生成、記録されてもよい。
図8(A)の状態はMPEGトランスポートストリームのパケット多重化されたデータの状態を示している。図8において、「V」と記載されているパケットはビデオパケット、「A」と記載されているパケットはオーディオのパケット、「S」と記載されているパケットはシステムで使用されるPATやPMTなどの情報パケットである。各々MPEG2システムのルールに準拠した形で記録されている。ビデオパケットは薄いグレーの色を施してある。
これらの全体を示した状態が図8(B)である。このビデオパケットだけを集めた状態が図8(C)である。このビデオパケットの中身は、図8(D)に示すように、始めがIピクチャであり、次にBピクチャが2枚、そのあとにPピクチャが1枚、と続いてくのが典型的な例である。これらのピクチャの1枚もしくは複数のピクチャにおいて再符号化によって符号量を調整する。図8(D)に示すトランスポートストリームの符号量を削減した状態を、例えば図8(E)に示す。図8(E)に示すように、各ピクチャの符号量は同図(D)に示す同じピクチャに対してそれぞれ小さくなっている。その状態でパケット化したものを図8(F)に示す。
減少した部分には黒色を施してある。このパケット分、ビデオの全体の量が減少する。そして、TSを再構築する。この状態を全体で表現したものが同図(G)である。同図(G)を拡大したものが同図(H)である。結果的にビデオパケットの一部が減少し、それ以外の要素データパケットはそのまま多重化する。
MPEGの規格ではPCRクロック情報は100msecに一度は記録されていなければならない。また、データ長が変更されているので、それぞれの要素パケットに記載されているPCRクロック情報は必要に応じて変更する。また、ビデオパケットにはアクセスユニット(フレームやフィールドのピクチャ単位)の先頭のPESヘッダが存在するパケットにPTSやDTSが記述されている。
オーディオパケットには1つもしくは複数のオーディオフレームをPESでパッキングしたその先頭のPESヘッダが存在するパケットにPTSが記載されている。これらのタイムスタンプ情報は画像においてはピクチャ数を増減していない場合には変更する必要はないし、オーディオも再生時間長を増減しなければ変更の必要はないが、それ以外の場合には、適切なPTS,DTSを追加修正する。
更にまた、単純に再符号化する場合には、予測符号化のリセットタイミングであるIピクチャからのGOP単位が扱いやすいが、GOPが独立していない場合、すなわち、境界のBピクチャが双方のGOPにまたがって予測されている場合(GOPのclosed gop=0の場合)には、一つ前のGOPの最後のリファレンスピクチャを復号化して、図示せぬ画像再符号化用メモリなどに保持しておくことが必要になる場合がある。
第1のMPEG多重化データ(第1のMPEGトランスポートストリーム)と、第2のMPEG画像データ(第2のMPEGトランスポートストリーム)と、VBVバッファ占有値に関する情報と、図8に示したその特定情報アドレスと、前記区間Aの再符号化画像データ(または前記区間Bの再符号化画像データ、または前記区間A+Bの再符号化画像データ)を要素符号化データとして含んで、MPEG符号化方式によりパケット多重化して生成した繋ぎ区間MPEG多重化データとは、同一記録媒体に記録されていても、任意の組み合わせで複数の記録媒体に記録されていても、それぞれが異なる記録媒体に記録されていても構わない。
複数の記録媒体に分けて記録されている場合には、それぞれの記録媒体同士がリンクされて(それぞれのデータ、情報同士がリンクされて)運用されるように、同一情報群であることを示す情報、例えばIDなどを各記録媒体に記録しておくとよい。第1のMPEG多重化画像データと、第2のMPEG多重化画像データと、前記区間Aの再符号化画像データ(または前記区間Bの再符号化画像データ、または前記区間A+Bの再符号化画像データ)の繋ぎ区間MPEG多重化データと、特定情報アドレスとが同一の記録媒体に記録されている場合には、一つの記録媒体で、再生装置側の繋ぎ再生を制御できる。
なお、本発明は以上の実施の形態に限定されるものではなく、例えば基準となる時刻情報としては、PCRの替わりにSCR(System Clock Reference)を用いることもできる。また、本発明は図2に示した画像データ記録装置の記録媒体101、データ読み取り部102及びデータ書き込み部108以外の各ブロックの機能を、コンピュータによりソフトウェアで実行するコンピュータプログラムも包含するものである。このコンピュータプログラムは、記録媒体を介してコンピュータに取り込むようにしてもよいし、ネットワークを介して配信されたものをコンピュータにダウンロードするようにしてもよい。
本発明により実現する繋ぎ再生の概念を説明するための図である。 本発明装置の一実施の形態のブロック図である。 本発明の一実施の形態におけるVBVバッファ占有値に関する情報値を説明するための図である。 本発明の一実施の形態におけるVBV値を説明する説明図である。 本発明により実現する繋ぎ再生の各例の概念を説明するための図である。 本発明により実現する繋ぎ再生の他の例の概念を説明するための図である。 本発明装置においてVBVバッファ占有値を予測する方法の一例を示す説明図である。 MPEG TSパケット配置を示す説明図である。 従来のMPEG符号化器の一例のブロック図である。 従来のMPEG復号化器の一例のブロック図である。 MPEGにおけるVBVバッファ概念を説明するための図である。 従来のMPEG多重化システムの一例のブロック図である。 MPEG TSとPS及びPESの関連を示す説明図である。 MPEG TSのPSIの使用例を示す説明図である。
符号の説明
1、18 動き補償予測器
3 DCT器
4 量子化器
5 VLC器
7 符号量制御器
8、15 逆量子化器
9、16 逆DCT器
11、19 画像メモリ
14 VLD器
101 記録媒体
102 データ読み取り部
103 符号化データサーチ部
104 PCR,DTS検出器
105 VBVバッファ情報予測器
106 パラメータ設定器
107 画像再符号化器
108 データ書き込み部


Claims (6)

  1. MPEG符号化方式で符号化された画像データである第1及び第2の2つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、前記第1のMPEG画像データから前記第2のMPEG画像データへ繋げて再生させるためのデータとして、前記MPEG符号化方式で符号化された第1の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたMPEG画像データ記録装置であって、
    前記第1のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第1の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第1の時刻基準情報、及び多重化されたデータの第1の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第1の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記第2のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第2の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第2の時刻基準情報、及び多重化されたデータの第2の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第2の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記記録手段は、前記第1のMPEG画像データにおける前記繋ぎ指定位置より所定時間前の位置を開始位置とし、前記第1のMPEG画像データにおける前記繋ぎ指定位置を終了位置とする区間を第1の繋ぎ区間として、前記第1の繋ぎ区間に対応する第1のMPEG画像データを復号して得た画像データである復号画像データを、前記MPEG符号化方式で再符号化して前記第1の繋ぎ区間再符号化データを生成する再符号化手段を備え、前記第1の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
    前記再符号化手段は、
    前記第1のMPEG画像データにおける前記第1の繋ぎ区間の開始位置後の最初のフレームの前記第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの前記第1の時刻基準情報の記録位置と前記第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との差に、前記第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出手段と、
    前記第2のMPEG画像データにおける前記繋ぎ指定位置後の最初のフレームの前記第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの前記第2の時刻基準情報の記録位置と前記第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との差に、前記第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出手段と、
    前記第1の繋ぎ区間に対応する前記第1のMPEG画像データを復号して得た画像データである復号画像データを、前記VBVバッファ占有値が前記第1の予測値から開始されて、前記第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えた、
    ことを特徴とするMPEG画像データ記録装置。
  2. MPEG符号化方式で符号化された画像データである第1及び第2の2つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、前記第1のMPEG画像データから前記第2のMPEG画像データへ繋げて再生させるためのデータとして、前記MPEG符号化方式で符号化された第2の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたMPEG画像データ記録装置であって、
    前記第1のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第1の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第1の時刻基準情報、及び多重化されたデータの第1の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第1の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記第2のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第2の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第2の時刻基準情報、及び多重化されたデータの第2の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第2の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記記録手段は、前記第2のMPEG画像データにおける前記繋ぎ指定位置を開始位置とし、前記第2のMPEG画像データにおける前記繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第2の繋ぎ区間として、前記第2の繋ぎ区間に対応する第2のMPEG画像データを復号して得た画像データである復号画像データを、前記MPEG符号化方式で再符号化して前記第2の繋ぎ区間再符号化データを生成する再符号化手段を備え、前記第2の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
    前記再符号化手段は、
    前記第2のMPEG画像データにおける前記繋ぎ指定位置後の最初のフレームの前記第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの前記第1の時刻基準情報の記録位置と前記第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との差に、前記第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出手段と、
    前記第2のMPEG画像データにおける前記第2の繋ぎ区間の終了位置後の最初のフレームの前記第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの前記第2の時刻基準情報の記録位置と前記第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との差に、前記第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出手段と、
    前記第2の繋ぎ区間に対応する前記第2のMPEG画像データを復号して得た画像データである復号画像データを、前記VBVバッファ占有値が前記第1の予測値から開始されて、前記第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えた、
    ことを特徴とするMPEG画像データ記録装置。
  3. MPEG符号化方式で符号化された画像データである第1及び第2の2つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、前記第1のMPEG画像データから前記第2のMPEG画像データへ繋げて再生させるためのデータとして、前記MPEG符号化方式で符号化された第1の繋ぎ区間再符号化データを生成して記録させる記録手段を設けたMPEG画像データ記録装置であって、
    前記第1のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第1の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第1の時刻基準情報、及び多重化されたデータの第1の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第1の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記第2のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第2の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第2の時刻基準情報、及び多重化されたデータの第2の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第2の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記記録手段は、前記第1のMPEG画像データにおける前記繋ぎ指定位置より第1の所定時間前の位置を開始位置とし、前記第1のMPEG画像データにおける前記繋ぎ指定位置を終了位置とする区間を第1の繋ぎ区間とし、前記第2のMPEG画像データにおける前記繋ぎ指定位置を開始位置とし、前記第2のMPEG画像データにおける前記繋ぎ指定位置より第2の所定時間後の位置を終了位置とする区間を第2の繋ぎ区間として、前記第1及び第2の繋ぎ区間に対応する第1及び第2のMPEG画像データを復号して得た画像データである第1及び第2の復号画像データを、前記MPEG符号化方式で再符号化して前記第1及び第2の繋ぎ区間再符号化データを生成する再符号化手段を備え、前記第1及び第2の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
    前記再符号化手段は、
    前記第1のMPEG画像データにおける前記第1の繋ぎ区間の開始位置後の最初のフレームの前記第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの前記第1の時刻基準情報の記録位置と前記第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との第1の差に、前記第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出手段と、
    前記第2のMPEG画像データにおける前記第2の繋ぎ区間の終了位置後の最初のフレームの前記第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの前記第2の時刻基準情報の記録位置と前記第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との第2の差に、前記第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出手段と、
    前記第1の繋ぎ区間に対応する前記第1のMPEG画像データを復号して得た画像データである第1の復号画像データと前記第2の繋ぎ区間に対応する前記第2のMPEG画像データを復号して得た画像データである第2の復号画像データとを順次に、前記VBVバッファ占有値が前記第1の予測値から開始し前記第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化手段とを備えた、
    ことを特徴とするMPEG画像データ記録装置。
  4. MPEG符号化方式で符号化された画像データである第1及び第2の2つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、前記第1のMPEG画像データから前記第2のMPEG画像データへ繋げて再生させるためのデータとして、前記MPEG符号化方式で符号化された第1の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたMPEG画像データ記録方法であって、
    前記第1のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第1の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第1の時刻基準情報、及び多重化されたデータの第1の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第1の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記第2のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第2の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第2の時刻基準情報、及び多重化されたデータの第2の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第2の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記記録ステップは、前記第1のMPEG画像データにおける前記繋ぎ指定位置より所定時間前の位置を開始位置とし、前記第1のMPEG画像データにおける前記繋ぎ指定位置を終了位置とする区間を第1の繋ぎ区間として、前記第1の繋ぎ区間に対応する第1のMPEG画像データを復号して得た画像データである復号画像データを、前記MPEG符号化方式で再符号化して前記第1の繋ぎ区間再符号化データを生成する再符号化ステップを備え、前記第1の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
    前記再符号化ステップは、
    前記第1のMPEG画像データにおける前記第1の繋ぎ区間の開始位置後の最初のフレームの前記第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの前記第1の時刻基準情報の記録位置と前記第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との差に、前記第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出ステップと、
    前記第2のMPEG画像データにおける前記繋ぎ指定位置後の最初のフレームの前記第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの前記第2の時刻基準情報の記録位置と前記第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との差に、前記第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出ステップと、
    前記第1の繋ぎ区間に対応する前記第1のMPEG画像データを復号して得た画像データである復号画像データを、前記VBVバッファ占有値が前記第1の予測値から開始されて、前記第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含む、
    ことを特徴とするMPEG画像データ記録方法。
  5. MPEG符号化方式で符号化された画像データである第1及び第2の2つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、前記第1のMPEG画像データから前記第2のMPEG画像データへ繋げて再生させるためのデータとして、前記MPEG符号化方式で符号化された第2の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたMPEG画像データ記録方法であって、
    前記第1のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第1の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第1の時刻基準情報、及び多重化されたデータの第1の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第1の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記第2のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第2の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第2の時刻基準情報、及び多重化されたデータの第2の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第2の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記記録ステップは、前記第2のMPEG画像データにおける前記繋ぎ指定位置を開始位置とし、前記第2のMPEG画像データにおける前記繋ぎ指定位置より所定時間後の位置を終了位置とする区間を第2の繋ぎ区間として、前記第2の繋ぎ区間に対応する第2のMPEG画像データを復号して得た画像データである復号画像データを、前記MPEG符号化方式で再符号化して前記第2の繋ぎ区間再符号化データを生成する再符号化ステップを備え、前記第2の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
    前記再符号化ステップは、
    前記第2のMPEG画像データにおける前記繋ぎ指定位置後の最初のフレームの前記第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの前記第1の時刻基準情報の記録位置と前記第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との差に、前記第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出ステップと、
    前記第2のMPEG画像データにおける前記第2の繋ぎ区間の終了位置後の最初のフレームの前記第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの前記第2の時刻基準情報の記録位置と前記第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との差に、前記第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出ステップと、
    前記第2の繋ぎ区間に対応する前記第2のMPEG画像データを復号して得た画像データである復号画像データを、前記VBVバッファ占有値が前記第1の予測値から開始されて、前記第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含む、
    ことを特徴とするMPEG画像データ記録方法。
  6. MPEG符号化方式で符号化された画像データである第1及び第2の2つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、前記第1のMPEG画像データから前記第2のMPEG画像データへ繋げて再生させるためのデータとして、前記MPEG符号化方式で符号化された第1の繋ぎ区間再符号化データを生成して記録させる記録ステップを設けたMPEG画像データ記録方法であって、
    前記第1のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第1の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第1の時刻基準情報、及び多重化されたデータの第1の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第1の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記第2のMPEG画像データは、前記MPEG符号化方式の規格に従って、少なくとも復号再生の単位であるアクセスユニットの復号開始時刻を示す第2の時刻管理情報、復号側の時刻基準を符号化側と同じに定めるための第2の時刻基準情報、及び多重化されたデータの第2の転送レート情報と時系列的に多重化されると共に、復号側の仮想バッファであるVBVバッファに蓄積されてから前記第2の時刻管理情報が示す時刻で瞬時に復号器へ読み出されて転送されるモデルで符号量制御されて符号化されているものであり、
    前記記録ステップは、前記第1のMPEG画像データにおける前記繋ぎ指定位置より第1の所定時間前の位置を開始位置とし、前記第1のMPEG画像データにおける前記繋ぎ指定位置を終了位置とする区間を第1の繋ぎ区間とし、前記第2のMPEG画像データにおける前記繋ぎ指定位置を開始位置とし、前記第2のMPEG画像データにおける前記繋ぎ指定位置より第2の所定時間後の位置を終了位置とする区間を第2の繋ぎ区間として、前記第1及び第2の繋ぎ区間に対応する第1及び第2のMPEG画像データを復号して得た画像データである第1及び第2の復号画像データを、前記MPEG符号化方式で再符号化して前記第1及び第2の繋ぎ区間再符号化データを生成する再符号化ステップを備え、前記第1及び第2の繋ぎ区間再符号化データを記録媒体に記録させるものであり、
    前記再符号化ステップは、
    前記第1のMPEG画像データにおける前記第1の繋ぎ区間の開始位置後の最初のフレームの前記第1の時刻管理情報の値と、その第1の時刻管理情報の記録位置の前後に記録されている2つの前記第1の時刻基準情報の記録位置と前記第1の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第1の時刻管理情報の内挿値との第1の差に、前記第1の転送レート情報の値を乗算してVBVバッファ占有値の第1の予測値を得る第1の予測値算出ステップと、
    前記第2のMPEG画像データにおける前記第2の繋ぎ区間の終了位置後の最初のフレームの前記第2の時刻管理情報の値と、その第2の時刻管理情報の記録位置の前後に記録されている2つの前記第2の時刻基準情報の記録位置と前記第2の時刻管理情報の記録位置との間の各データ長の比率に基づく内挿により求めた第2の時刻管理情報の内挿値との第2の差に、前記第2の転送レート情報の値を乗算してVBVバッファ占有値の第2の予測値を得る第2の予測値算出ステップと、
    前記第1の繋ぎ区間に対応する前記第1のMPEG画像データを復号して得た画像データである第1の復号画像データと前記第2の繋ぎ区間に対応する前記第2のMPEG画像データを復号して得た画像データである第2の復号画像データとを順次に、前記VBVバッファ占有値が前記第1の予測値から開始し前記第2の予測値へ推移して終了するように、符号量制御を行いながら符号化する符号化ステップとを含む、
    ことを特徴とするMPEG画像データ記録方法。

JP2004232945A 2004-08-10 2004-08-10 Mpeg画像データ記録装置及びmpeg画像データ記録方法 Active JP4148200B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004232945A JP4148200B2 (ja) 2004-08-10 2004-08-10 Mpeg画像データ記録装置及びmpeg画像データ記録方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004232945A JP4148200B2 (ja) 2004-08-10 2004-08-10 Mpeg画像データ記録装置及びmpeg画像データ記録方法

Publications (2)

Publication Number Publication Date
JP2006054529A JP2006054529A (ja) 2006-02-23
JP4148200B2 true JP4148200B2 (ja) 2008-09-10

Family

ID=36031736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004232945A Active JP4148200B2 (ja) 2004-08-10 2004-08-10 Mpeg画像データ記録装置及びmpeg画像データ記録方法

Country Status (1)

Country Link
JP (1) JP4148200B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2403248B1 (en) * 2009-02-27 2018-07-04 Fujitsu Limited Moving picture encoding device, moving picture encoding method, and moving picture encoding computer program

Also Published As

Publication number Publication date
JP2006054529A (ja) 2006-02-23

Similar Documents

Publication Publication Date Title
US8260122B2 (en) MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method
JP4092681B2 (ja) Mpeg記録装置、再生装置及び伝送装置
JP3748234B2 (ja) Mpegデータ記録方法
JP2003052040A (ja) Mpegデータ再生装置
JP4148200B2 (ja) Mpeg画像データ記録装置及びmpeg画像データ記録方法
JP4192861B2 (ja) Mpeg画像データ記録装置及びmpeg画像データ記録方法
JP3709835B2 (ja) 符号量変換方法及び装置
JP2005198350A (ja) アフレコ信号再生方法
JP3748243B2 (ja) Mpegデータ記録装置
JP2006054530A (ja) Mpeg画像データ記録装置及びmpeg画像データ記録方法
JP3748244B2 (ja) Mpegデータ記録装置
JP3748242B2 (ja) Mpegデータ記録方法
JP3748241B2 (ja) Mpegデータ記録方法
JP3748240B2 (ja) Mpegデータ記録方法
JP3748245B2 (ja) Mpegデータ記録装置
JP2008005520A (ja) Mpegデータ記録再生装置
JP2007325304A (ja) Mpegデータ記録再生方法
JP2004297829A (ja) Mpegデータ再生装置
JP2004289872A (ja) Mpegデータ再生装置
JP2005198349A (ja) 記録媒体
JP2007336574A (ja) Mpegデータ記録再生装置
JP2004289871A (ja) Mpegデータ再生方法
JP2008005521A (ja) Mpegデータ記録再生方法
JP2004254347A (ja) Mpegデータ再生方法
JP2008005522A (ja) Mpegデータ記録再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080603

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080616

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4148200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130704

Year of fee payment: 5