JP5136546B2 - 動画像ストリーム加工装置及び該装置を備えた動画像再生装置並びに方法とプログラム - Google Patents

Description

（関連出願）本願は、先の日本特許出願２００７−０４１１２４号（２００７年２月２１日出願）の優先権を主張するものであり、前記先の出願の全記載内容は、本書に引用をもって繰込み記載されているものとみなされる。
本発明は動画像の再生方法及び装置に関し、特に、高速再生、高速逆再生等の特殊再生に適用して好適な動画像の再生方法及び装置に関する。

動画像信号を低ビットレート、高圧縮率かつ高画質で符号化して符号化データを生成したり、符号化された動画像を復号化したりする技術として、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が標準化したＨ．２６１、Ｈ．２６３や、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等が国際標準規格として広く用いられている。

ＩＴＵとＩＳＯが共同で規格化を行なったＨ．２６４（非特許文献１参照）においては、従来の動画像符号化技術に比べ、さらなる圧縮効率向上、画質向上を実現できることが知られている。

これらの動画像符号化技術では、動画像信号を効率よく圧縮するために、各フレームの時間的な相関を利用するフレーム間予測符号化技術が広く用いられている。

フレーム間予測符号化では、すでに符号化したフレームの画像信号から現在のフレームの画像信号を予測し、予測した信号と現在の信号との間の予測誤差信号を符号化する。

一般的な動画像では、時間的に近接するフレームの画像信号には高い相関が存在するため、この技術は、圧縮効率向上に効果的である。

ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の動画像符号化技術では、
・フレーム間予測符号化を利用しないＩピクチャ（Ｉｎｔｒａ ｐｉｃｔｕｒｅ：フレーム内符号化画像）、
・すでに符号化した１枚のフレームからのフレーム間予測符号化を利用するＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ：片方向予測符号化画像）、
・すでに符号化した２枚のフレームからのフレーム間予測符号化を利用するＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ ｐｒｅｄｉｃａｔｉｖｅ ｐｉｃｔｕｒｅ：双方向予測符号化画像）
を組み合わせて用い動画像を符号化する。

復号化の際には、Ｉピクチャは１フレーム単独で復号できるが、Ｐピクチャ、Ｂピクチャは復号するのに、フレーム間予測で予測に用いる画像データがあらかじめ必要であるため、１フレーム単独では、復号できない。

動画像符号化方式でのピクチャ構成の例を、図１３に模式的に示す。それぞれの四角形が１フレームを表し、下にはピクチャ種別と表示順を示している（例えばＢ５は、表示順で５番目のフレームでＢピクチャとして符号化されていることを表す）。このように、性質の異なるＩピクチャ、Ｐピクチャ、Ｂピクチャを適切に組み合わせて動画像を符号化することが従来から広く行われている。

図１３に示すように、符号化された動画像ビットストリームを、高速再生や高速逆再生（逆高速再生ともいう）等の特殊再生する場合、ビットストリームから、単独で復号化可能なＩピクチャのビットストリームのみを抜き出して再生することが、従来から行われてきた。

図１４は、関連技術として、高速再生ビットストリーム、高速逆再生ビットストリームを得る手法の動作例を説明するための模式図である。図１５は、図１４の手法を実現する装置構成の典型例を示す図である。

図１５において、ビットストリームはストリーム抜き出し部１０１に入力される。ストリーム抜き出し部１０１は、入力されたビットストリームから、Ｉピクチャのビットストリームのみを抜き出し、ストリーム並び替え部１０２に供給する。

ストリーム並び替え部１０２は、供給されるＩピクチャのビットストリームを必要に応じて並び替えて外部に出力する。

高速再生の場合には、ストリーム抜き出し部１０１は、図１４（Ａ）のビットストリームから、Ｉピクチャのビットストリームのみを順番に抜き出し、抜き出したＩピクチャを並べてビットストリームを構成することで、高速再生ビットストリーム（例えば図１４（Ｂ）のＩ０、Ｉ６、Ｉ１２、Ｉ１８・・・）を得る。高速再生の場合には、ストリーム並び替え部１０２での並び替え処理は発生しない。

また、高速逆再生の場合には、同じく、ストリーム抜き出し部１０１にて、ビットストリームからＩピクチャのみを抜き出し、抜き出したＩピクチャを、ストリーム並び替え部１０２で表示順とは逆順に並び替えて出力することで、高速逆再生ビットストリーム（例えば図１４（Ｃ）の・・・Ｉ１８、Ｉ１２、Ｉ６、Ｉ０）が得られる。例えば特許文献１には、前記の方法を発展させ、表示に必要な最小限のIピクチャのみを抜き出して高速再生用ストリームを生成する技術が開示されている。すなわち、特許文献１には、早送り再生を行うとき、所定間隔おきに表示フレームを指定し、指定されたフレームが独立フレーム（Ｉピクチャ）であった場合、そのフレームを表示に供し、独立フレームでなかった場合（Ｐピクチャ又はＢピクチャ）、そのフレームに時間的に最も近い独立フレーム（Ｉピクチャ）を表示に供する構成が開示されている。

前記した方法は、近年規格化されたＨ．２６４動画像符号化技術で符号化されたビットストリームの特殊再生でも利用できる。しかしながら、Ｈ．２６４では、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の従来の符号化標準と比較して、符号化の自由度が高くなっており、従来の方法が適用できない場合がある。以下でその内容を説明する。

Ｈ．２６４では、プログレッシブ画像（順次走査フォーマットの画像）に適したフレーム符号化と、インターレース画像（飛び越し走査フォーマットの画像）に適したフィールド符号化を適応的に選択して利用できる。

図１６（Ａ）に示すように、フレーム符号化では、画像全体を1ピクチャ(フレームピクチャ)として符号化するのに対し、図１６（Ｂ）に示すように、フィールド符号化では、画像の奇数ラインと偶数ラインを分離し、それぞれを別々のピクチャ(フィールドピクチャ)として符号化する。

さらに、Ｈ．２６４では、フィールド符号化を用いた場合に、その画像を構成する２つのフィールドピクチャを、それぞれ異なる符号化（Ｉピクチャ、Ｐピクチャ、又はＢピクチャ）で符号化することも可能である。

図１７に、フィールド符号化で符号化されたビットストリームの例を示す。図１７において、それぞれの４角形は、１つのフィールドピクチャを表し、２つのフィールドピクチャで１フレームが構成される。また、矢印は、フレーム間予測の参照関係を示しており、この例では、Ｐ１３のフィールドピクチャが、Ｉ１２をフレーム間予測に利用していることを示している。なお、図１７では、Ｐ１３以外のピクチャのフレーム間予測参照関係については図示していない。

図１７には、Ｉ１２とＰ１３が１フレームを構成しており、そのうち、Ｉ１２はＩピクチャであるが、Ｐ１３はＰピクチャである場合の例が示されている。

図１７に示すようなビットストリームに対して、図１５に示した構成では、高速再生ビットストリーム、及び、高速逆再生ビットストリームを作成することはできない。

すなわち、図１５に示した前記構成では、ストリーム抜き出し部１０１で入力されたビットストリームからＩピクチャのビットストリームのみを抜き出すが、図１７に示した例の場合には、抜き出されるのは、Ｉ１２及びＩ２４のストリームのみであり、それぞれ、１フィールド分の画像情報しか含まれず、抜き出したストリームを復号しても、１画面を構成する復号結果は得られない。

このため、図１５に示した構成において、高速再生ビットストリームを作成しても、該高速再生ビットストリームを復号すると、
・画像の片方のフィールド（奇数ライン又は偶数ライン）しか画像が更新されない、
・過去のフィールドと現在のフィールドの画像とが混ざって出力される、
等の問題が発生する場合がある。

そこで、図１５等を参照して説明した上記手法を発展させ、フィールド符号化の場合には、Ｉピクチャ（フィールドピクチャ）のみを抜き出すのではなく、Ｉピクチャを含む２つのフィールドピクチャを抜き出すように構成することは、容易に想像できる。

この場合、図１５のストリーム抜き出し部１０１は、図１７において、Ｉ１２及びＩ２４のみを抜き出すのではなく、Ｉ１２及びＰ１３、Ｉ２４及びＰ２５をそれぞれ抜き出すように構成される（「手法２」という）。

この手法２を用いると、図１７に示した例の場合、前記した問題を解決することができる。すなわち、ストリーム抜き出し部１０１でＩ１２及びＰ１３を抜き出せば、この２ピクチャを復号することで、１画面を構成する復号結果が得られるようになる。したがって、高速再生ビットストリーム、高速逆再生ビットストリームを作成することができる。

しかしながら、これは、図１７の例では、Ｐ１３が、フレーム間予測にＩ１２のみを利用しているために有効なのであって、前記した問題を根本的に解決するものではない。以下に説明する。

Ｈ．２６４では、フレーム間予測の自由度が高く、例えば、図１８に示すようなフレーム間予測も可能である。すなわち、Ｉ１２と対応するフィールドピクチャＢ１３は、Ｉ１２以外に、Ｐ１８、Ｐ１９を、フレーム間予測に用いている。

このような場合には、前記手法２にしたがってストリーム抜き出し部１０１で、Ｉ１２及びＢ１３を抜き出しても、Ｂ１３は、フレーム間予測に必要な画像データ（図１８の例では、Ｐ１８及びＰ１９）が得られないため、復号することができず、１画面を構成する復号結果は得られない。

上記の問題を解決するための動画像復号装置（方法）として、例えば特許文献２には、高速再生モード時には、フレーム構造の符号化方式により符号化されたフレーム内符号化画像又は当該フレーム内符号化画像における一方のフィールドの符号化画像データ、及び、フィールド構造の符号化方式により符号化されたフィールド内符号化画像の符号化画像データに対してのみ復号化処理を施すように、復号化手段を制御する制御手段を備えた画像復号化装置が開示されている。特許文献２記載の発明は、高速再生モード時には、フレーム符号化されたＩピクチャ又はフレーム符号化されたＩピクチャの片方のフィールド又はフィールド符号化されたＩピクチャのみを復号し、得られた１フィールドの復号画像を他方のフィールドにコピーして１画面を構成する。

なお、前述した背景技術に関連して、特許文献３には、ＭＰＥＧストリームから、Ｉピクチャを抽出し、再符号化して間歇ストリームを生成して記録媒体に記録し、記録媒体から間歇ストリームを読み出してデコードし、Ｉピクチャのみを用いて再符号化し情報量を低減する記録再生装置が開示されている。特許文献４には、インターレース映像画像データの奇数フィールド画像と偶数フィールド画像を合成してフレーム画像を得る構成（画像を直接処理する構成）が開示されている。さらに特許文献５には、ビデオ信号の１フレームを構成する２フィールドのうち片フィールドの画像（例えばＴｏｐフィールドのデータ）を他方のフィールドのデータ（Ｂｏｔｔｏｍフィールド画像データ）としてコピーしてフレーム画像を生成し、フレーム画像を圧縮符号化する構成が開示されている。特許文献６には、符号化モード情報を解析し符号化モード解析情報を出力するヘッダ解析手段として、入力ビデオストリームが順次走査画像をフレーム符号化したビットストリームであるか、飛び越し走査画像をフレーム又はフィールド符号化した画像であるかを識別し、符号化モード解析情報として復号制御手段に出力し、復号制御手段は、符号化モード解析情報をもとに、飛び越し走査画像をフレーム又はフィールド符号化した第１のビットストリームを復号する場合、トップフィールドの復号開始を示す第１のタイミング信号とボトムフィールドの復号開始を示す第２のタイミング信号を交互に出力し、順次走査画像をフレーム符号化した第２のビットストリームを復号する場合には、表示開始信号の中間で復号開始を示す第３のタイミング信号を出力する構成が開示されている。なお、前記特許文献１乃至６に記載されている各発明は、後述される本発明とは、目的、構成、作用効果のいずれの点についても全く相違している。

特開平０５−３４４４９４号公報 特開２００４−３２８６３４号公報 特開２００３−２１９３６２号公報 特開２００４−０１５７００号公報 特開２００４−０４０５１６号公報 特開平１１−０４１５９１号公報 ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４「Ａｄｖａｎｃｅd ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、２００５年３月

なお、上記特許文献１乃至６、非特許文献１の全開示内容はその引用をもって本書に繰込み記載する。以下に、本発明による関連技術の分析を与える。
特許文献２に記載の発明を用いた復号化装置の場合、Ｈ．２６４でフィールド符号化されたビットストリームの高速再生を実現することはできるものの、復号化装置に新たな機能を加えているため、特許文献２に記載の発明を用いた復号化装置と、特許文献２に記載の発明を用いない復号化装置とでは、同一のビットストリームを入力しても、復号化結果が大きく異なってしまう、という問題がある。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の国際標準規格の動画像符号化技術では、復号化装置の動作を厳密に規定しており、同一のビットストリームを入力すれば、規格に準拠した復号化装置であれば、どの製造者（ベンダー）の製造した復号化装置であっても、ほぼ、同じ又は全く同一の復号化結果が得られることが保証される。この点が、国際標準規格の動画像符号化技術の大きな利点の一つである。

このため、復号化装置に、標準規格外の機能を加えるという手法は、利用目的によっては、好ましくない。

また、特許文献２の発明は、復号化装置に機能を加えるものであるため、
・復号化装置の構成が複雑になり、
・設計や製造の難易度が高くなる、
・費用が上がる、
等の各種問題が発生する場合がある。

動画像の符号化装置と復号化装置では、通常、復号化装置の方が多数利用されるため、復号化装置の構成が複雑になる影響は大きい。

したがって、本発明は、上記課題に鑑みて創案されたものであって、その主たる目的は、復号化装置の変更無しに、高速再生、高速逆再生等の特殊再生を実現できる動画像再生方法及び装置とプログラムを提供することにある。

本発明によれば、動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームを受け取って解析し、該解析結果を基に、前記抜き出されたフレーム内符号化されたピクチャを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定するストリーム解析部と、
前記ストリーム解析部で１画面の復号画像が得られないと判定された場合に、前記ストリーム解析部での解析結果に基づき、１画面のうち復号画像が得られない領域の画像を補完するビットストリームを生成するストリーム生成部と、を備えたことを特徴とする動画像ストリーム加工装置が提供される。本発明の動画像ストリーム加工装置において、前記動画像を符号化したビットストリームからフレーム内符号化されたピクチャのビットストリームを抜き出し、抜き出したビットストリームを前記ストリーム解析部に供給するストリーム抜き出し部を備えた構成としてもよい。

本発明の動画像ストリーム加工装置において、前記ストリーム抜き出し部は、フレーム内符号化されたピクチャを先頭に含む所定数の連続するピクチャのビットストリームを抜き出し、前記ストリーム解析部は、前記抜き出されたビットストリームを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定する、ように構成してもよい。

本発明の動画像ストリーム加工装置において、前記ストリーム生成部は、フレーム内符号化されたピクチャがフィールドピクチャである場合に、１画面のうち復号画像が得られないフィールドを、フレーム内符号化されたフィールドピクチャの画像に類似した画像で補完するビットストリームを生成するように構成してもよい。

本発明の動画像ストリーム加工装置において、前記ストリーム生成部は、１画面のうち復号画像が得られない領域の画像を、フレーム内符号化されたピクチャに類似した画像で補完するように、フレーム内符号化されたピクチャのビットストリームの所定箇所を変更したフレーム内符号化ピクチャを生成してもよい。あるいは、前記ストリーム生成部は、前記フレーム内符号化されたピクチャのみをフレーム間予測で参照し、前記１画面のうち復号画像が得られない領域の画像を補完する片方向予測符号化又は双方向予測符号化されたピクチャのビットストリームを生成してもよい。

本発明の動画像ストリーム加工装置は、前記抜き出されたビットストリームと、前記ストリーム生成部で生成されたストリームから、１画面の復号画像を得られるビットストリームを合成するストリーム合成部をさらに備えてもよい。

本発明の他の側面に係る動画像再生装置は、動画像を符号化したビットストリームの復号化を行なう動画像復号化装置と、前記した本発明に係る動画像ストリーム加工装置と、ビットストリーム切り替え装置と、動画像表示装置と、を備えている。前記ビットストリーム切り替え装置は、通常再生時には、前記動画像ストリーム加工装置を通さずに、入力ビットストリームを、直接、前記動画像復号化装置に供給し、高速再生又は高速逆再生等の特殊再生時には、入力ビットストリームを前記動画像ストリーム加工装置に供給し、前記動画像ストリーム加工装置は生成したビットストリームを前記動画像復号化装置に供給する。前記動画像復号化装置は、供給されたビットストリームを復号化して復号画像を前記動画像表示装置に供給し、前記動画像表示装置は復号画像を表示出力する。

本発明の他の側面に係る記録媒体（記憶装置）は、動画像を符号化したビットストリームと、前記動画像を符号化したビットストリームを、前記した本発明に係る動画像ストリーム加工装置に入力し、前記動画像ストリーム加工装置の出力として生成された特殊再生用ビットストリームと、前記ビットストリームと前記特殊再生用ビットストリームとのストリーム切り替えを行うための関連付け情報を有する管理テーブルと、を備えている。

本発明のさらに他の側面に係る動画像配信装置は、前記した本発明に係る記憶媒体と、ビットストリーム切り替え装置と、ビットストリーム送出装置と、を備えている。前記ビットストリーム切り替え装置は、通常再生時には、前記記憶媒体から、前記ビットストリームを読み出して前記ビットストリーム送出装置に供給し、高速再生又は高速逆再生等の特殊再生時には、前記記憶媒体から、前記管理テーブルを参照して、前記ビットストリームと関連付けられている前記特殊再生用ビットストリームを読み出して、前記ビットストリーム送出装置に供給し、前記ビットストリーム送出装置は、供給されたビットストリームを所定の受信端末に向けて伝送路に送出する。

本発明に係る方法は、その１つの側面において、
動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームを受け取って解析し、該解析結果を基に、前記抜き出されたフレーム内符号化されたピクチャを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定する、ストレーム解析工程と、
前記ストリーム解析部で１画面の復号画像が得られないと判定された場合に、前記ストリーム解析部での解析結果に基づき、１画面のうち復号画像が得られない領域の画像を補完するビットストリームを生成する、ストリーム生成工程と、
を含む。

本発明に係るコンピュータプログラムは、その１つの側面において、
動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームを受け取って解析し、該解析結果を基に、前記抜き出されたフレーム内符号化されたピクチャを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定する、ストレーム解析処理と、
前記ストリーム解析部で１画面の復号画像が得られないと判定された場合に、前記ストリーム解析部での解析結果に基づき、１画面のうち復号画像が得られない領域の画像を補完するビットストリームを生成する、ストリーム生成処理と、
をコンピュータに実行させるプログラムよりなる。

本発明によれば、復号化装置の変更等無しに、高速再生、高速逆再生等の特殊再生を実現することができる。

本発明の第１の実施の形態の構成を示すブロック図である。 本発明の第１の実施の形態の処理手順を示す流れ図である。 本発明の第１の実施の形態の動作を説明する図である。 本発明の第２の実施の形態の処理手順を示す流れ図である。 本発明の第２の実施の形態の動作を説明する図である。 本発明の第２の実施の形態の動作の別の例を説明する図である。 本発明の第３の実施の形態の構成を示すブロック図である。 本発明の第３の実施の形態の処理手順を示す流れ図である。 本発明の第４の実施の形態の構成を示すブロック図である。 本発明の第５の実施の形態の構成を示すブロック図である。 本発明の第５の実施の形態における管理テーブルの例を示す図である。 本発明の第５の実施の形態における管理テーブルの別の例を示す図である。 動画像符号化のピクチャ構成の例を示す図である。 関連技術の動作例を説明する図である。 関連技術の構成を示すブロック図である。 フレーム符号化とフィールド符号化の動作を示す図である。 フィールド符号化されたビットストリームの例を示す図である。 フィールド符号化されたビットストリームの別の例を示す図である。

符号の説明

１０１ ストリーム抜き出し部
１０２ ストリーム並び替え部
２０１ ストリーム抜き出し部
２０２ ストリーム解析部
２０４ ストリーム生成部
２５１ ストリーム抜き出し部
２５２ ストリーム解析部
２５３ ストリーム合成部
２５４ ストリーム生成部
３０１ ビットストリーム切り替え装置
３０２ 動画像ストリーム加工装置
３０３ 動画像復号化装置
３０４ 動画像表示装置
４０１ 記憶媒体
４０２ ビットストリーム切り替え装置
４０３ ビットストリーム送出装置
４１１ ビットストリーム
４１２ 特殊再生用ビットストリーム
４１３ 管理テーブル

次に、本発明を実施の形態について図面を参照して詳細に説明する。関連技術等にしたがって手法で作成した高速再生ビットストリームや高速逆再生ビットストリームでは、１フィールド分の画像情報しか含まれず、そのストリームを復号化しても１画面の復号結果が得られない場合に対して、本発明においては、１画面のうち復号画像が得られない領域の画像を補完するストリームを追加生成し合成して、高速再生や高速逆再生等、特殊再生用のビットストリームを出力し、作成された特殊再生用ビットストリームを復号化することで１画面の復号結果が得られるようにしている。この特殊再生用ビットストリームは、通常の復号化装置に入力して復号可能であるため、特殊再生を実現するための追加機能等を持たない、通常の復号化装置に、特殊再生用ストリームを入力して復号することで、高速再生や高速逆再生等の特殊再生が実現できる。このように、本発明によれば、関連技術の手法では、高速再生ビットストリームや高速逆再生ビットストリームを作成することができないようなピクチャ構造、フレーム間予測関係で符号化されたビットストリームを入力した場合でも、高速再生や高速逆再生を実現するための追加機能を持たない任意の復号化装置を用いて、高速再生、高速逆再生等の特殊再生を実現することができる。

＜実施の形態１＞
図１は、本発明の第１の実施の形態の構成を示す図である。図２は、本発明の第１の実施形態の動作手順を示すフローチャートである。図３は、本発明の第１の実施形態を模式的に説明するための図である。図１を参照すると、本発明の第１の実施形態は、動画像を符号化したビットストリームからフレーム内符号化されたピクチャのビットストリームを抜き出すストリーム抜き出し部２０１と、抜き出されたフレーム内符号化されたピクチャのビットストリームを解析し、該解析結果から、該フレーム内符号化されたピクチャを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定するストリーム解析部２０２と、ストリーム解析部２０２で１画面の復号画像が得られないと判定された場合に、ストリーム解析部２０２で為された解析結果に基づき、１画面のうち復号画像が得られない領域の画像を補完するビットストリームを生成するストリーム生成部２０４とを備えている。なお、図１のストリーム抜き出し部２０１は、図１５のストリーム抜き出し部１０１と実質的に同一の構成とされる。ストリーム抜き出し部２０１とストリーム解析部２０２とストリーム生成部２０４とは、動画像ストリーム加工装置を構成している。

次に、本発明の第１の実施形態の動作を説明する。処理が開始すると（ステップＳ１００１）、ストリーム抜き出し部２０１は、入力されるビットストリームを読み、Ｉピクチャが含まれるかどうかを判定する（ステップＳ１００２）。ステップＳ１００２の判定処理において、Ｈ．２６４の場合（ステップＳ１００２のＹｅｓ分岐）、例えばｓｌｉｃｅ＿ｈｅａｄｅｒ（）のｓｌｉｃｅ＿ｔｙｐｅによって、符号化タイプを判定できる。

ステップＳ１００２の判定の結果、Ｉピクチャが存在しない場合には（ステップＳ１００２のＮｏ分岐）、ステップＳ１００９に移る。

ステップＳ１００２の判定の結果、Ｉピクチャが存在する場合には（ステップＳ１００２のＹｅｓ分岐）、ストリーム抜き出し部２０１でＩピクチャのストリームを抜き出し、ストリーム解析部２０２に供給する（ステップＳ１００３）。

ストリーム解析部２０２は、Ｉピクチャのストリームを解析し、以降の処理の必要な情報を取得する（ステップＳ１００４）。ここで、ストリーム解析部２０２が取得する情報として、例えば、フレーム符号化かフィールド符号化か、フィールド符号化の場合にはトップフィールドであるか、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャであるか、等が含まれる。

次に、ストリーム解析部２０２は、取得した解析情報を基に、Ｉピクチャを復号化することで、１画面全体の復号画像が得られるか否かを判定する（ステップＳ１００５）。Ｈ．２６４の場合、Ｉピクチャがフィールド符号化されていれば、１画面のうち片方のフィールドの復号画像しか得られず、ステップＳ１００５の判定は「Ｎｏ」となる。

ステップＳ１００５の判定が「Ｎｏ」の場合には、ストリーム解析部２０２は、ストリーム生成部２０４に必要な情報（ビットストリームの解析結果情報）を供給し、ストリーム生成部２０４で、復号画像が得られない領域の画像を補完するようなビットストリームを生成する（ステップＳ１００６）。

ステップＳ１００５の判定が「Ｙｅｓ」の場合には、ステップＳ１００７に移る。

ステップＳ１００７では、ストリーム抜き出し部２０１で抜き出されたＩピクチャのストリームと、ストリーム生成部２０４で生成したビットストリーム（存在する場合のみ）を出力し、その後、ステップＳ１００２に戻って、入力ビットストリームから次のＩピクチャを探す。

ステップＳ１００９で処理が終了する。

ストリーム生成部２０４で生成するビットストリームとしては、復号結果を自然な画像にするのが望ましいため、例えばＩピクチャの復号画像と全く同一であるか、あるいは、ほぼ同一な復号画像を得られるように、Ｉピクチャのビットストリームを複製し、動画像符号化規格に準拠するために必要な変更を加えることで生成するようにしてもよい。

Ｈ．２６４の場合、例えばＩピクチャがＩＤＲピクチャであった場合には、生成するピクチャはＩＤＲで無くす必要があるため、
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ（NAL(Network Abstraction Layer)ユニットの種類を識別する識別子）を変更する、
ｓｌｉｃｅ＿ｈｅａｄｅｒ（）のｉｄｒ＿ｐｉｃ＿ｉｄを削除する
等の変更を行なう。

さらに、Ｉピクチャの符号化パラメータによっては、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）の
ｆｒａｍｅ＿ｎｕｍ、
ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇ、
ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ
等のパラメータを修正する。

また、Ｉピクチャをフレーム間予測で参照し、長さ零の動きベクトルで動き補償し、残差信号は零であるようなＰピクチャ又はＢピクチャのビットストリームを生成するようにしてもよい。

また、Ｉピクチャの復号画像から空間的に画像を補間する復号画像が得られるように、Ｉピクチャをフレーム間予測で参照し、縦方向に、長さ０．５画素の動きベクトルで動き補償し、残差信号は零であるようなＰピクチャ又はＢピクチャのビットストリームを生成するようにしてもよい。

Ｈ．２６４の場合、ピクチャ内の全てのマクロブロックを、長さ零（ゼロ）の動きベクトルや、縦方向に長さ０．５画素の動きベクトルで、動き補償し、残差信号は零であるようなビットストリームは、例えば、ピクチャ先頭の一定個数のマクロブロックについてのみ動きベクトル情報を符号化し、残りはスキップマクロブロックとして符号化することで、容易に生成できる。

Ｈ．２６４の場合について図３の例を用い、ＩピクチャＩ１２のビットストリームを抜き出した場合の動作例を説明する。

説明を簡単にするため、Ｉ１２はＩＤＲピクチャ（すなわち、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝５）であり、トップフィールドピクチャ（すなわち、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ＝１、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇ＝０）であるとする。

このストリームを、ストリーム解析部２０２で解析すると、Ｉ１２は、フィールドピクチャであるため、Ｉ１２のみを復号しても、１画面全体の復号画像が得られないと判定される。

そこで、ストリーム生成部２０４では、復号画像が得られない領域の画像を補完するようなビットストリームを生成する。

Ｉ１２は、トップフィールドピクチャであるため、ボトムフィールドピクチャのビットストリームを生成すればよい。

作成するストリームの例として、ＩピクチャＩ１２と同じ復号結果が得られるＩピクチャ（ここではＩ１３’と呼ぶ）を生成する場合について説明する。

この場合、ｓｌｉｃｅ＿ｄａｔａ（）以下のビットストリームはＩ１２を流用できるが、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）より上の層では、動画像符号化規格に準拠するためにストリームの変更が必要である。

具体的には、非ＩＤＲのＩピクチャで、ボトムフィールドピクチャ（ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ＝１、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇ＝１）、ｆｒａｍｅ＿ｎｕｍ＝０となるように、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）より上の層のビットストリームを変更する。

動画像符号化規格に準拠するためには、上記以外にも変更が必要なパラメータが生ずる場合もあるが、個々のケースの詳細説明は省略する。

このようにして、Ｉ１３’のビットストリームを生成するにあたり、通常の符号化処理は不要であり、ビットストリームの一部を変更するだけで済み、このため少ない演算量で実現できる。

また、作成するストリームの別の例として、Ｉ１２のみをフレーム間予測で参照し、縦方向に、長さ０．５画素の動きベクトルで動き補償し、残差信号は零であるようなＰピクチャ（ここではＰＳ１３’と呼ぶ）を生成する場合についても、以下に簡単に説明する。

この場合、ボトムフィールドピクチャ、ｆｒａｍｅ＿ｎｕｍ＝０のＰピクチャを生成する。また、マクロブロックは、すべて、縦方向に＋０．５画素の位置から動き補償し、残差信号は零とする。これにより、Ｉ１２の復号画像からＨ．２６４で規定されている半画素位置補間フィルタによって補間画像を作成し、それを、ボトムフィールドの画像とするようなビットストリームを容易に生成できる。

Ｉ１３’を生成する第１の例では、ボトムフィールドの画素値は、Ｉ１２の画素値を繰り返したのに相当する復号画像が得られるが、ＰＳ１３’を生成する第２の例では、半画素位置補間フィルタで、ボトムフィールドを補間したのに相当する復号結果が得られる。画質的には、第１の例より、第２の例の方が優れている。

本発明の第１の実施の形態では、Ｉピクチャのストリームを抜き出した後に、それを解析し、Ｈ．２６４でフィールド符号化されている場合等、Ｉピクチャのみでは１画面全体の復号画像が得られない場合には、復号画像が得られない領域の画像を補完するようなビットストリームを生成する。

図３の例では、抜き出したＩピクチャＩ１２だけでは１画面の復号画像が得られないため、補完するＰピクチャのストリームＰ１３’を生成する。例えばＨ．２６４のような動画像符号化の国際標準規格に準拠したフォーマットでストリームを生成することで、出力される、Ｉ１２及びＰ１３’のビットストリームを合わせると、１画面の復号画像が得られるビットストリームとなり、規格に準拠した復号化装置で復号化すれば、同じ復号化画像が得られる。

これにより、復号化装置の変更無しに高速再生、高速逆再生等の特殊再生を実現できる動画像ストリーム加工装置及び方法を提供することができる。

＜実施の形態２＞
図４は、本発明の第２の実施の形態の動作手順を示すフローチャートである。図５は、第２の実施形態の動作の概要を説明するための図である。本発明の第２の実施の形態の構成は、図１に示した構成とされ、前記第１の実施の形態の構成と同一である。

また、図４のフローチャートにおいて、ステップＳ１１０３、Ｓ１１０４、Ｓ１１０５を除くステップＳ１１０１〜Ｓ１１０９は、それぞれ、図２のフローチャートのステップＳ１００１〜Ｓ１００９と同一である。

本発明の第２の実施の形態では、ステップＳ１１０３のストリーム抜き出し部２０１の処理が、Ｉピクチャのみでなく、Ｉピクチャに後続する所定数のピクチャのストリームも合わせて抜き出し、ストリーム解析部２０２に供給する。

ストリーム解析部２０２は、入力されるＩピクチャ及び後続ピクチャのストリームを解析し、以降の処理の必要な情報を取得する（ステップＳ１１０４）。ストリーム解析部２０２が取得する情報には、前記第１の実施形態で挙げた情報の他に、例えば、
・各ピクチャのフレーム番号、
・表示順番号
等が含まれる。

次のステップＳ１１０５において、取得した情報を基に、Ｉピクチャ及び後続ピクチャのストリームを復号化することで、Ｉピクチャを含む１画面全体の復号画像が得られるかどうかを判定する。

例えば、Ｈ．２６４でＩピクチャ及び後続の１枚のピクチャを抜き出す場合、
Ｉピクチャと後続ピクチャが、ｃｏｍｐｌｅｍｅｎｔａｒｙ ｆｉｅｌｄ ｐａｉｒであり、かつ、
ＩピクチャがＩＤＲピクチャであるか、後続ピクチャがＩピクチャである、
場合等に、１画面全体の復号画像が得られると判定できる。

本発明の第２の実施の形態では、Ｉピクチャ及び後続の所定数のピクチャのストリームを抜き出した後に、解析し、抜き出したストリームのみでは、Ｉピクチャを含む１画面全体の復号画像が得られない場合に、復号画像が得られない領域の画像を補完するようなビットストリームを生成する。

図５は、Ｉピクチャ及び後続の１枚のピクチャのストリームを抜き出す場合の動作例である。

前記第１の実施の形態では、抜き出したＩピクチャＩ１２だけでは１画面の復号画像が得られないため、補完するＰピクチャのストリームＰ１３’（図３参照）を生成する。

本発明の第２の実施形態では、ＩピクチャＩ１２に加え、後続のＰピクチャＰ１３も抜き出す。

Ｉ１２及びＰ１３を復号化すれば、Ｉ１２を含む１画面の復号画像が得られる。このため、本発明の第２の実施の形態では、ストリーム生成部２０４は、ストリーム生成を行わない。

Ｉピクチャ及び後続の所定数のピクチャのストリームを復号することで、Ｉピクチャを含む１画面全体の復号画像が得られる場合には、ストリーム生成処理を行わないようにしたため、演算処理量を低減している。また、画像の入力ビットストリームをそのまま特殊再生に利用するため、画質低下が生じない。

図６は、入力ストリームのピクチャ構成が異なる別の例を示している。図６に示す例は、図５で説明した、Ｉピクチャ及び後続の１枚のピクチャのストリームを抜き出す動作ではＩ１２を含む１画面の復号画像を得られないため、Ｉ１２に対応するフィールドピクチャのストリームをストリーム生成部２０４で生成する。

図６に示す例では、別の動作例として、ストリーム抜き出し部２０１は、Ｉピクチャ及び後続の３枚のピクチャのストリームを抜き出す。この動作では、抜き出したストリームを復号すれば、Ｉ１２を含む１画面の復号画像が得られるため、ストリーム生成部２０４でのストリーム生成は行わなくて良い。

しかし、図６に示した、Ｉピクチャ及び後続の３枚のピクチャのストリームを抜き出す動作でも、図３に示したようなピクチャ構成の入力ビットストリームが入力された場合には、ストリーム生成部２０４でのストリーム生成が必要になる。

このように、Ｉピクチャに後続してストリームを抜き出すピクチャの枚数が多いほど、ストリーム生成部２０４でのストリーム生成を行わなくてよい場合が増加する。しかし、Ｉピクチャを含む１画面全体の復号画像を得るために復号しなければならないストリーム量が増加し、復号化装置の負荷が増大する可能性がある。

このため、Ｉピクチャに後続してストリームを抜き出すピクチャの適切な枚数は、動作条件や要求性能に応じて、変わる。

＜実施の形態３＞
図７は、本発明の第３の実施の形態の構成を示すブロック図である。図８は、本発明の第３の実施の形態の動作手順を示すフローチャートである。

図７を参照すると、本発明の第３の実施の形態の構成における、ストリーム抜き出し部２５１、ストリーム解析部２５２、ストリーム生成部２５４は、図１の前記第１及び第２の実施の形態における、２０１、２０２、２０４とそれぞれ同一である。

本発明の第３の実施の形態の構成は、さらにストリーム合成部２５３を備えている。

図８のフローチャートにおいて、ステップＳ１２０７、Ｓ１２０８を除くステップＳ１２０１〜Ｓ１２０９は、それぞれ、図４を参照して説明した、前記第２の実施の形態のフローチャートのステップＳ１１０１〜Ｓ１１０９と同一である。

本発明の第３の実施の形態では、ステップＳ１２０７において、ストリーム抜き出し部２５１で抜き出されたビットストリームと、ストリーム生成部２５４で生成したビットストリームをストリーム合成部２５３に対して出力する。

ステップＳ１２０８では、ストリーム抜き出し部２５１及びストリーム生成部２５４から供給されるビットストリームを、１画面の復号結果が得られる単位ごとに合成し、１本のビットストリームとして出力する。例えば図３に示した例では、Ｉ１２とＰ１３’のビットストリームをこの順で並べたものが１画面の復号結果が得られる単位となる。

本発明の第３の実施の形態では、ストリーム抜き出し部２５１で抜き出したビットストリームと、ストリーム生成部２５４で生成したビットストリームをストリーム合成部２５３で１画面の復号結果が得られる単位ごとに合成して出力するため、この単位ごとに独立して復号化装置で復号し１画面の復号画像を得ることができる。

このため、出力ビットストリームを、この単位毎に並び替えることで、特殊再生を容易に実現できる効果が得られる。

例えば、ビットストリームを、この単位毎に、表示順序に従って並べて出力すると、高速再生用ビットストリームとなる。

また、ビットストリームを、この単位毎に、表示順序と逆順に並べて出力すると、高速逆再生用ビットストリームとなる。

さらに、所定のプレイリストに従って並べて出力すると、プレイリスト再生が容易に実現できる。

＜実施の形態４＞
図９は、本発明の第４の実施の形態の構成を示す図である。図９において、動画像ストリーム加工装置３０２は、前記した第１又は第２の実施の形態の動画像ストリーム加工装置からなる。

ビットストリーム切り替え装置３０１は、
・通常再生時には、入力されるビットストリームを直接動画像復号化装置３０３に供給し、
・高速再生、高速逆再生等特殊再生時には、入力ビットストリームを動画像ストリーム加工装置３０２に供給し、また動画像ストリーム加工装置３０２の出力ビットストリームを動画像復号化装置３０３に供給する。

動画像ストリーム加工装置３０２は、入力されたビットストリームに対し、前記第１又は第２の実施の形態で説明した、特殊再生用ビットストリーム生成の処理を行い、処理結果のビットストリームを出力する。

動画像復号化装置３０３は、入力されるビットストリームの復号処理を行い、復号結果の画像を動画像表示装置３０４に供給する。

動画像表示装置３０４は、入力される画像を例えばＣＲＴや液晶ディスプレイ等の表示部に表示出力する。

本発明の第４の実施の形態では、通常再生時には、入力ビットストリームをそのまま動画像復号化装置３０３に供給し、高速再生、高速逆再生等特殊再生時には、動画像ストリーム加工装置３０２で高速再生、高速逆再生等特殊再生用ストリームを生成して動画像復号化装置３０３に供給する。

かかる構成により、動画像復号化装置に特殊再生向けの新たな機能追加等を行わずに高速再生、高速逆再生等の特殊再生を実現できる動画像再生装置を提供することができる。

＜実施の形態５＞
次に、本発明の第５の実施の形態を説明する。図１０は、本発明の第５の実施の形態の構成を示すブロック図である。記憶媒体４０１は、動画像を符号化したビットストリーム４１１と、ビットストリーム４１１を、前記第１又は第２の実施の形態の動画像ストリーム加工装置に入力して生成した高速再生、高速逆再生等特殊再生用の特殊再生用ビットストリーム４１２と、ビットストリーム４１１と特殊再生用ビットストリーム４１２の関連付け情報を記録した管理テーブル４１３とを備える。

管理テーブル４１３には、ビットストリーム４１１と特殊再生用ビットストリーム４１２の切り替えを可能にする情報を格納する。

図１１は、管理テーブル４１３の簡易な一例を示す図である。図１１に示した例では、図１０の管理テーブル４１３は、ビットストリーム４１１と特殊再生用ビットストリーム４１２それぞれを格納したファイル名を対応付けて格納し、ストリーム切り替えを可能にする。

また、図１０の管理テーブル４１３には、例えば図１２に示すような情報を格納してもよい。図１２に示す例では、図１０の管理テーブル４１３は、ビットストリーム４１１と、特殊再生用ビットストリーム４１２（高速再生用ビットストリーム、及び、高速逆再生用ビットストリーム）をそれぞれを格納したファイル名を対応付けて格納するのに加え、特殊再生用ビットストリーム４１２の各ピクチャに対応するビットストリーム４１１でのタイムスタンプを格納している。このような情報を格納することで、
・通常再生から特殊再生へ、あるいは、
・特殊再生から通常再生へ、
動作を切り替える際に、再生位置のタイムスタンプを継承した自然な動作切り替えが可能になる。

図１０を参照すると、ビットストリーム切り替え装置４０２は、通常再生時には記憶媒体４０１からビットストリーム４１１を読み出してビットストリーム送出装置４０３に供給し、高速再生、高速逆再生等の特殊再生時には、管理テーブル４１３を参照してビットストリーム４１１に関連付けられている特殊再生用ビットストリーム４１２を読み出してビットストリーム送出装置４０３に供給する。

ビットストリーム送出装置４０３は、入力されるビットストリームを所定の受信端末に向けてコンピュータネットワーク等の伝送路に送出する。

本発明の第５の実施の形態では、通常のビットストリームと、特殊再生用ビットストリームとを関連付けて格納し、
通常再生時には、通常のビットストリームを受信端末に向け送出し、
特殊再生時には、関連付けられている特殊再生用ビットストリームを受信端末に向け送出する、
ように構成することで、受信端末の動画像復号化装置に特殊再生向けの新たな機能追加等を行うことなく、高速再生、高速逆再生等の特殊再生を実現できる動画像配信装置を提供することができる。

上記各実施の形態では、本発明を、Ｈ．２６４動画像符号化方式に適用した例について説明したが、本発明は、前記適用例にのみに限定されるものではなく、Ｉピクチャ抜き出しによる従来の特殊再生ストリーム生成方式では１画面全体の復号結果が得られない場合がある、他の動画像符号化方式、例えばＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）が規格化したＶＣ−１等にも適用可能である。

また、抜き出したストリームを復号すれば、１画面全体の復号画像が得られるかの判定に関して、
・Ｉピクチャがフィールド符号化されているか、あるいは、
・Ｉピクチャと後続ピクチャとがｃｏｍｐｌｅｍｅｎｔａｒｙ ｆｉｅｌｄ ｐａｉｒであるか、
等の情報から判定する例について説明したが、判定の方法は、これらに限定されるものではないことは勿論である。例えば、実際に復号処理を実行してみて正しく復号可能であったか、という判定方法等を用いてもよい。

また、ストリーム生成部では、
・Ｉピクチャのビットストリームを複製し、動画像符号化規格に準拠するために必要な変更を加えてストリームを生成する例や、
・Ｉピクチャをフレーム間予測で参照し、縦方向に長さ０．５画素の動きベクトルで動き補償するようなＰピクチャ又はＢピクチャのビットストリームを生成する例
に即して説明したが、ストリームの生成手法は、これらに限定されるものではないことは勿論である。

例えば、復号画像の得られない領域の画像信号を補間フィルタ等で生成し、それを、動画像を圧縮符号化してビットストリームを出力する符号化装置に入力して符号化することでストリームを生成するという手法を用いてもよい。

また、フレーム内符号化されたピクチャをＩピクチャと表記して説明してきたが、より小さい画像領域を指すことが多いＩスライスを利用して特殊再生ストリームを生成する場合にも、本発明を適用することができる。

さらに、スライス単位やマクロブロック単位のイントラリフレッシュを用いて符号化されたビットストリームにも、本発明を適用することができることは勿論である。

また、特殊再生の例として、高速再生や高速逆再生の場合を例に挙げて説明したが、再生方式は、これらに限定されることは無い。例えばプレイリスト再生や、別のビットストリームへの再生位置移動等にも、本発明を適用することができる。請求の範囲の特殊再生は、高速再生、高速逆再生以外を含むことは勿論である。

また上記各実施の形態における、ストリーム抜き出し部、ストリーム解析部、ストリーム生成部、あるいはストリーム合成部は、これら各部の処理・機能を実現するコンピュータ・プログラムを例えば記録媒体から、主記憶等にロードして実行するコンピュータ（プロセッサ）で実現するようにしてもよい。

なお、本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims (23)

1. 動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームを解析し、該解析結果を基に、前記抜き出されたフレーム内符号化されたピクチャを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定するストリーム解析部と、
   前記ストリーム解析部で１画面の復号画像が得られないと判定された場合に、前記ストリーム解析部での解析結果に基づき、１画面のうち復号画像が得られない領域の画像を補完するビットストリームを生成するストリーム生成部と、
   を備え、
   前記フレーム内符号化されたピクチャがフィールドピクチャであり、
   前記ストリーム生成部は、前記１画面のうち復号画像が得られない領域を、前記フレーム内符号化されたピクチャの情報を利用して、前記フレーム内符号化されたフィールドピクチャの画像と同一又は類似した画像で補完するビットストリームを生成する、ことを特徴とする動画像ストリーム加工装置。
2. 前記動画像を符号化したビットストリームからフレーム内符号化されたピクチャのビットストリームを抜き出し、該抜き出したビットストリームを前記ストリーム解析部に供給するストリーム抜き出し部をさらに備えた、
   ことを特徴とする請求項１記載の動画像ストリーム加工装置。
3. 前記ストリーム生成部は、前記フレーム内符号化されたピクチャのビットストリームの所定箇所を変更し、前記１画面のうち復号画像が得られない領域の画像を補完する、フレーム内符号化されたピクチャのビットストリームを生成する、
   ことを特徴とする請求項１又は２に記載の動画像ストリーム加工装置。
4. 動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームを解析し、該解析結果を基に、前記抜き出されたフレーム内符号化されたピクチャを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定するストリーム解析部と、
   前記ストリーム解析部で１画面の復号画像が得られないと判定された場合に、前記ストリーム解析部での解析結果に基づき、１画面のうち復号画像が得られない領域の画像を補完するビットストリームを生成するストリーム生成部と、
   を備え、
   前記ストリーム生成部は、前記フレーム内符号化されたピクチャのみをフレーム間予測で参照し、前記１画面のうち復号画像が得られない領域の画像を補完する片方向予測符号化又は双方向予測符号化されたピクチャのビットストリームを生成する、
   ことを特徴とする動画像ストリーム加工装置。
5. 前記動画像を符号化したビットストリームからフレーム内符号化されたピクチャのビットストリームを抜き出し、該抜き出したビットストリームを前記ストリーム解析部に供給するストリーム抜き出し部をさらに備えた、
   ことを特徴とする請求項４記載の動画像ストリーム加工装置。
6. 前記動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームと、前記ストリーム生成部で生成されたビットストリームとを受け、受けとった前記ビットストリームから、１画面の復号画像を得られるビットストリームを合成するストリーム合成部をさらに備えた、
   ことを特徴とする請求項１乃至５のいずれか一項に記載の動画像ストリーム加工装置。
7. 前記ストリーム抜き出し部は、前記フレーム内符号化されたピクチャ及び後続の所定数のピクチャのビットストリームを抜き出して前記ストリーム解析部に供給する、
   ことを特徴とする請求項２に記載の動画像ストリーム加工装置。
8. 前記ストリーム解析部が、前記ストリーム抜き出し部で抜き出された前記フレーム内符号化されたピクチャ及び後続の所定数のピクチャのビットストリームのみでは、前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られないと判定した場合に、前記ストリーム生成部は、１画面のうち復号画像が得られない領域の画像を補完するようなビットストリームを生成する、ことを特徴とする請求項７に記載の動画像ストリーム加工装置。
9. 動画像を符号化したビットストリームの復号化を行なう動画像復号化装置と、
   請求項１乃至８のいずれか一項に記載の動画像ストリーム加工装置と、
   ビットストリーム切り替え装置と、
   動画像表示装置と、
   を備え、
   前記ビットストリーム切り替え装置は、
   通常再生時には、前記動画像ストリーム加工装置を通さずに、入力ビットストリームを、直接、前記動画像復号化装置に供給し、
   特殊再生時には、入力ビットストリームを前記動画像ストリーム加工装置に供給し、前記動画像ストリーム加工装置は生成したビットストリームを前記動画像復号化装置に供給し、
   前記動画像復号化装置は、供給されたビットストリームを復号化して復号画像を前記動画像表示装置に供給し、
   前記動画像表示装置は復号画像を表示出力する、
   ことを特徴とする動画像再生装置。
10. 動画像を符号化したビットストリームを、請求項１乃至８のいずれか一項に記載の動画像ストリーム加工装置に入力し、前記動画像ストリーム加工装置の出力として生成された、特殊再生用ビットストリーム。
11. 動画像を符号化したビットストリームと、
    前記動画像を符号化したビットストリームを、請求項１乃至８のいずれか一項に記載の動画像ストリーム加工装置に入力し、前記動画像ストリーム加工装置の出力として生成された特殊再生用ビットストリームと、
    前記ビットストリームと前記特殊再生用ビットストリームとのストリーム切り替えを行うための関連付け情報を有する管理テーブルと、
    を備える、ことを特徴とする記憶媒体。
12. 請求項１１に記載の記憶媒体と、
    ビットストリーム切り替え装置と、
    ビットストリーム送出装置と、
    を備え、
    前記ビットストリーム切り替え装置は、
    通常再生時には、前記記憶媒体から、前記ビットストリームを読み出して前記ビットストリーム送出装置に供給し、
    特殊再生時には、前記記憶媒体から、前記管理テーブルを参照して、前記ビットストリームと関連付けられている前記特殊再生用ビットストリームを読み出して、前記ビットストリーム送出装置に供給し、
    前記ビットストリーム送出装置は、
    供給されたビットストリームを所定の受信端末に向けて伝送路に送出する、
    ことを特徴とする動画像配信装置。
13. 動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームを解析し、該解析結果を基に、前記抜き出されたフレーム内符号化されたピクチャを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定する、ストレーム解析工程と、
    前記ストリーム解析部で１画面の復号画像が得られないと判定された場合に、前記ストリーム解析部での解析結果に基づき、１画面のうち復号画像が得られない領域の画像を補完するビットストリームを生成する、ストリーム生成工程と、
    を含み、
    フレーム内符号化されたピクチャがフィールドピクチャであり、
    前記ストリーム生成工程は、前記１画面のうち復号画像が得られない領域を、前記フレーム内符号化されたピクチャの情報を利用しフレーム内符号化されたフィールドピクチャの画像と同一又は類似した画像で補完するビットストリームを生成する、
    ことを特徴とする動画像ストリーム加工方法。
14. 前記ストリーム生成工程は、前記フレーム内符号化されたピクチャのビットストリームの所定箇所を変更し、前記１画面のうち復号画像が得られない領域の画像を補完するフレーム内符号化されたピクチャのビットストリームを生成する、
    ことを特徴とする請求項１３に記載の動画像ストリーム加工方法。
15. 動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームを解析し、該解析結果を基に、前記抜き出されたフレーム内符号化されたピクチャを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定する、ストレーム解析工程と、
    前記ストリーム解析部で１画面の復号画像が得られないと判定された場合に、前記ストリーム解析部での解析結果に基づき、１画面のうち復号画像が得られない領域の画像を補完するビットストリームを生成する、ストリーム生成工程と、
    を含み、
    前記ストリーム生成工程は、前記フレーム内符号化されたピクチャのみをフレーム間予測で参照し前記１画面のうち復号画像が得られない領域の画像を補完する片方向予測符号化または双方向予測符号化されたピクチャのビットストリームを生成する、
    ことを特徴とする動画像ストリーム加工方法。
16. 前記動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームと、前記ストリーム生成工程で生成されたビットストリームとから、１画面の復号画像を得られるビットストリームを合成するストリーム合成工程をさらに含む、
    ことを特徴とする請求項１３に記載の動画像ストリーム加工方法。
17. 前記動画像を符号化したビットストリームから、フレーム内符号化されたピクチャ及び後続の所定数のピクチャのビットストリームを抜き出し、前記抜き出したビットストリームを前記ストリーム解析工程に供する、ストリーム抜き出し工程を含む、
    ことを特徴とする請求項１３乃至１６のいずれか一項に記載の動画像ストリーム加工方法。
18. 通常再生時には、
    入力ビットストリームを、直接、動画像復号化装置に供給し、
    特殊再生時には、入力ビットストリームに対して、請求項１３乃至１７のいずれか一項に記載の動画像ストリーム加工方法で加工してなるビットストリームを前記動画像復号化装置に供給するように、
    ビットストリームの切り替えを行う工程と、
    前記動画像復号化装置は供給されたビットストリームを復号化し、動画像表示装置に復号画像を表示出力する工程と、
    を含む、ことを特徴とする動画像再生方法。
19. 動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームを入力して解析し、該解析結果を基に、前記抜き出されたフレーム内符号化されたピクチャを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定する、ストレーム解析処理と、
    前記ストリーム解析部で１画面の復号画像が得られないと判定された場合に、前記ストリーム解析部での解析結果に基づき、１画面のうち復号画像が得られない領域の画像を補完するビットストリームを生成する、ストリーム生成処理と、
    をコンピュータに実行させるプログラムであって、
    フレーム内符号化されたピクチャがフィールドピクチャであり、
    前記ストリーム生成処理は、前記１画面のうち復号画像が得られない領域を、前記フレーム内符号化されたピクチャの情報を利用しフレーム内符号化されたフィールドピクチャの画像と同一又は類似した画像で補完するビットストリームを生成する、
    ことを特徴とするプログラム。
20. 前記ストリーム生成処理は、前記フレーム内符号化されたピクチャのビットストリームの所定箇所を変更し、前記１画面のうち復号画像が得られない領域の画像を補完するフレーム内符号化されたピクチャのビットストリームを生成する、
    ことを特徴とする請求項１９に記載のプログラム。
21. 動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームを入力して解析し、該解析結果を基に、前記抜き出されたフレーム内符号化されたピクチャを復号すれば前記フレーム内符号化されたピクチャを含む１画面の復号画像が得られるか否かを判定する、ストレーム解析処理と、
    前記ストリーム解析部で１画面の復号画像が得られないと判定された場合に、前記ストリーム解析部での解析結果に基づき、１画面のうち復号画像が得られない領域の画像を補完するビットストリームを生成する、ストリーム生成処理と、
    をコンピュータに実行させるプログラムであって、
    前記ストリーム生成処理は、前記フレーム内符号化されたピクチャのみをフレーム間予測で参照し前記１画面のうち復号画像が得られない領域の画像を補完する片方向予測符号化または双方向予測符号化されたピクチャのビットストリームを生成する、
    ことを特徴とするプログラム。
22. 前記動画像を符号化したビットストリームより抜き出された、フレーム内符号化されたピクチャのビットストリームと、前記ストリーム生成処理で生成されたビットストリームとから、１画面の復号画像を得られるビットストリームを合成するストリーム合成処理をさらに含む、
    ことを特徴とする請求項１９乃至２１のいずれか一項に記載のプログラム。
23. 前記動画像を符号化したビットストリームから、フレーム内符号化されたピクチャ及び後続の所定数のピクチャのビットストリームを抜き出し、前記抜き出したビットストリームを前記ストリーム解析処理に供する、ストリーム抜き出し処理を含む、
    ことを特徴とする請求項１９乃至２２のいずれか一項に記載のプログラム。

Images