JPWO2008053557A1 - 動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラムおよび動画像再符号化プログラムを格納した記録媒体 - Google Patents

Abstract

【課題】符号化した動画像を一旦復号して、再度符号化する動画像再符号化装置において、遅延時間やメモリが削減されるとともに適切な符号量を予測する。【解決手段】入力ビットストリームを復号部１０１で復号した際に得られるピクチャタイプから、符号化情報解析部１０２内のＧＯＰ構造予測部２００において、例えば８つのＧＯＰ内のＰピクチャ枚数をカウントし、最大値と最小値を持つＧＯＰを除いた６つのＧＯＰからＰピクチャ枚数とＢピクチャ枚数の平均値を算出し、それを予測したＧＯＰ構造とする。符号化部１０３では、予測したＧＯＰ構造を参照して再符号化を行う。【選択図】図１

Description

本発明は、一度符号化された動画像を符号化方式やビットレートなどを変更して再度符号化する動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラムおよび動画像再符号化プログラムを格納した記録媒体に関する。

動画像をデジタル化して記録または放送されることが多くなっている。しかし動画像はデータ量が膨大であるために、通常、符号化によりデータ量を少なくして記録または放送されている。そのような動画像の符号化の方式としてＭＰＥＧ（Moving Picture Experts Group）−２などが用いられる。

ＭＰＥＧ−２などで符号化された動画像を、記録する記録媒体の容量や伝送する通信回線の速度などに応じてビットレートを変換して再符号化したり、近年登場したＭＰＥＧ−４やＨ．２６４などのＭＰＥＧ−２よりも高効率な符号化方式で再符号化したりすることがある。

このような、一度符号化した動画像を一旦復号して再度符号化する装置として例えば特許文献１に記載のトランスコーダがある。特許文献１に記載のトランスコーダは、復号部１が入力された順に復号したＩフレーム、Ｐフレーム、Ｂフレームを、復号した順のまま再度ＩフレームはＩフレーム、ＰフレームはＰフレーム、ＢフレームはＢフレームとして符号化することで、遅延時間やメモリの削減を可能としている。
特開２０００−９２４９７号公報

上述した特許文献１に記載のトランスコーダは、復号した際に画像を表示順に並べ替える並べ替え器を有しないので表示順に並べ替えるための遅延時間やメモリが削減できる。しかしながら、ビットレートや符号化方式を変えて再符号化する場合は、復号前のビットストリームと再符号化時に割当てる符号量が異なることが多く、前記特許文献１には再符号化時に割当てる符号量に関する記載はないために、例えば適切な符号量が割当てられないことから画質が低下する可能性があった。

適切な符号量を割当てるためには、例えば１ＧＯＰ（Group Of Pictures）分などある程度まとまった画像をメモリ等に記憶することで、適切な符号量を割当てることができるが、このようにすると、多くのメモリが必要となることによるコスト上昇に加え、遅延時間が大きくなってしまう。

そこで、本発明は、例えば符号化した動画像をビットレートや符号化方式を変更して再符号化する際に、遅延時間やメモリが削減されるとともに適切な符号量を予測して符号化することができる動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラムおよび動画像再符号化プログラムを格納した記録媒体を提供することを課題とする。

上記課題を解決するために、請求項１に記載の発明は、画面内符号化画像と、前方向予測符号化画像と、双方向予測符号化画像のうち少なくとも前記画面内符号化画像が１枚以上含まれる画像群から構成されるビットストリームが入力され該ビットストリームを復号し、画像データおよび符号化情報を得る復号手段と、前記復号手段が復号した前記画像データおよび前記符号化情報に基づいて再度前記画像データを符号化する符号化手段と、を有した動画像再符号化装置において、前記符号化情報に基づいて、複数の前記画像群各々における前記前方向予測符号化画像の数をカウントし、カウントされた複数の前記画像群各々における前記前方向予測符号化画像の数の最大値または最小値を持つ前記画像群のうち少なくともいずれか一方の前記画像群を一つ以上除いた複数の前記画像群における前記前方向予測符号化画像および前記双方向予測符号化画像の平均値を、予測した前記画像群の構造として前記符号化手段に出力する画像群構造予測手段を有することを特徴としている。

請求項８記載の発明は、画面内符号化画像と、前方向予測符号化画像と、双方向予測符号化画像のうち少なくとも前記画面内符号化画像が１枚以上含まれる画像群から構成されるビットストリームが入力され該ビットストリームを復号し、画像データおよび符号化情報を得て、復号した前記画像データおよび前記符号化情報に基づいて再度前記画像データを符号化する動画像再符号化方法において、前記符号化情報に基づいて、複数の前記画像群各々における前記前方向予測符号化画像の数をカウントし、カウントされた複数の前記画像群各々における前記前方向予測符号化画像の数の最大値または最小値を持つ前記画像群のうち少なくともいずれか一方の前記画像群を一つ以上除いた複数の前記画像群における前記前方向予測符号化画像および前記双方向予測符号化画像の平均値を、予測した前記画像群の構造として前記符号化時に用いることを特徴としている。

請求項９に記載の発明は、画面内符号化画像と、前方向予測符号化画像と、双方向予測符号化画像のうち少なくとも前記画面内符号化画像が１枚以上含まれる画像群から構成されるビットストリームが入力され該ビットストリームを復号し、画像データおよび符号化情報を得る復号手段と、前記復号手段が復号した前記画像データおよび前記符号化情報に基づいて再度前記画像データを符号化する符号化手段としてコンピュータに機能させる動画像再符号化プログラムにおいて、前記符号化情報に基づいて、複数の前記画像群各々における前記前方向予測符号化画像の数をカウントし、カウントされた複数の前記画像群各々における前記前方向予測符号化画像の数の最大値または最小値を持つ前記画像群のうち少なくともいずれか一方の前記画像群を一つ以上除いた複数の前記画像群における前記前方向予測符号化画像および前記双方向予測符号化画像の平均値を、予測した前記画像群の構造として前記符号化手段に出力する画像群構造予測手段としてコンピュータに機能させることを特徴としている。

本発明の一実施例にかかる動画像再符号化装置のブロック図である。 図１に示された動画像再符号化装置の符号化情報解析部のブロック図である。 ＧＯＰの一例の説明図である。 ＧＯＰ構造予測部の動作を説明したフローチャートである。 各ＧＯＰにおけるＰピクチャ枚数とＢピクチャ枚数のカウントの説明図である。 複数のＧＯＰからＰピクチャとＢピクチャの平均を求める際の説明図である。 符号化フレームレート予測部の動作を説明したフローチャートである。 符号化ピクチャと表示ピクチャの説明図である。 各ＧＯＰにおける符号化ピクチャ枚数と表示ピクチャ枚数のカウントの説明図である。 ＧＯＰ符号量予測部の動作を説明したフローチャートである。 Ｐピクチャの最大値または最小値が複数ある場合のＰピクチャとＢピクチャの平均を求める際の説明図である。 動画像符号化プログラムの動作フローチャートである。

符号の説明

１００ 動画像再符号化装置
１０１ 復号部（復号手段）
１０２ 符号化情報解析部
１０３ 符号化部（符号化手段）
２００ ＧＯＰ構造予測部（画像群構造予測手段）
２０１ 符号化フレームレート予測部（フレームレート予測手段）
２０２ ＧＯＰ符号量予測部（符号量予測手段）

以下、本発明の一実施形態にかかる動画像再符号化装置を説明する。本発明の一実施形態にかかる動画像再符号化装置は、画像群構造予測手段が、再符号化時に参照するための、画像群における前方向予測符号化画像と双方向予測符号化画像の枚数を画像群の構造として予測する際に、複数の画像群における前方向予測符号化画像の数の最大値を持つ画像群または最小値を持つ画像群のうち少なくともいずれか一方の画像群を一つ以上除いた複数の画像群の前方向予測符号化画像の平均値と双方向予測符号化画像の平均値を画像群の構造として予測し、符号化手段が、その画像群の構造に基づいて再符号化する。このようにすることにより、一時的に現れた極端な前方向予測符号化画像の枚数を持つ画像群に影響されることなく、より平均的な画像群の構造を予測することができるのでより適切な符号量を予測することが出来る。また、画像群の構造予測のために余分な画像を保持する必要が無いので遅延時間やメモリ量が削減される。

また、画像群構造予測手段が、カウントされた複数の画像群各々における前方向予測符号化画像の数のうち最大値および最小値を持つ画像群をそれぞれ一つ以上除いた複数の画像群における前方向予測符号化画像および双方向予測符号化画像の平均値を画像群の構造として符号化手段に出力しても良い。このようにすることにより、最大値方向と最小値方向の両方に一時的に現れた極端な前方向予測符号化画像の枚数を持つ画像群に影響されることなく、より精度良く平均的な画像群の構造を予測することができる。

また、画像群構造予測手段が、カウントされた複数の画像群各々における前方向予測符号化画像の数のうち、大きい順に複数の画像群を除いた複数の画像群における前方向予測符号化画像および双方向予測符号化画像の平均値を画像群の構造として符号化手段に出力しても良い。このようにすることにより、最大値方向に一時的に現れた極端な前方向予測符号化画像の枚数を持つ画像群が複数存在してもそれらに影響されることなく、より精度良く平均的な画像群の構造を予測することができる。

また、画像群構造予測手段が、カウントされた複数の画像群各々における前方向予測符号化画像の数のうち、小さい順に複数の画像群を除いた複数の画像群における前方向予測符号化画像および双方向予測符号化画像の平均値を画像群の構造として符号化手段に出力しても良い。このようにすることにより、最小値方向に一時的に現れた極端な前方向予測符号化画像の枚数を持つ画像群が複数存在してもそれらに影響されることなく、より精度良く平均的な画像群の構造を予測することができる。

また、画像群構造予測手段が、複数の画像群各々における双方向予測符号化画像の数をカウントし、カウントされた複数の画像群各々における前方向予測符号化画像の数のうち、最大値または最小値を持つ画像群が夫々複数ある場合は、複数の最大値または最小値を持つ画像群のうち、カウントされた複数の画像群における双方向予測符号化画像の平均値から離れた値をもつ画像群を除いた複数の画像群における前方向予測符号化画像および双方向予測符号化画像の平均値を画像群の構造として符号化手段に出力しても良い。このようにすることにより、前方向予測符号化画像の最大値または最小値を持つ画像群が複数あっても、双方向予測符号化画像の極端な値を持つ方を除くことが出来るので、前方向予測符号化画像だけでなく双方向予測符号化画像においても、より精度良く平均的な画像群の構造を予測することができる。

また、符号化情報に基づいて、複数の画像群各々における符号化された画像の数および複数の画像群各々における表示されるべき画像の数を夫々カウントし、複数の画像群各々における符号化された画像の数と複数の画像群各々における表示されるべき画像の数との比と、符号化情報から、符号化手段が１秒間に再符号化すべき画像枚数（符号化フレームレート）を予測するフレームレート予測手段を有しても良い。このようにすることにより、符号化された画像の数だけでなく表示されるべき画像の数も参照しているので、再表示情報（リピートピクチャ情報）を持つ画像が多い場合は再符号化する際に実質的な符号化フレームレートを精度良く予測することが出来るのでより適切な符号量を予測することが出来る。

また、画像群構造予測手段が予測した画像群の構造と、フレームレート予測手段が予測した符号化フレームレートと、予め設定された再符号化のビットレートと、に基づいて符号化手段が符号化する際の画像群当たりの符号量を予測する符号量予測手段を有しても良い。このようにすることにより、再符号化する際に画像群構造やリピートピクチャを考慮した実質的な画像群当たりの符号量を精度良く予測することが出来る。

また、本発明の一実施形態にかかる動画像再符号化方法は、再符号化時に参照するために画像群における前方向予測符号化画像と双方向予測符号化画像の枚数を画像群の構造として予測する際に、複数の画像群における前方向予測符号化画像の数の最大値を持つ画像群または最小値を持つ画像群のうち少なくともいずれか一方の画像群を一つ以上除いた複数の画像群の前方向予測符号化画像の平均値と双方向予測符号化画像の平均値を予測した画像群の構造として、その画像群の構造に基づいて再符号化する。このようにすることにより、一時的に現れた極端な前方向予測符号化画像の枚数を持つ画像群に影響されることなく、より平均的な画像群の構造を予測することができる。また、画像群予測のために余分な画像を保持する必要が無いので遅延時間やメモリ量が削減される。

また、本発明の一実施形態にかかる動画像再符号化プログラムは、画像群構造予測手段が、再符号化時に参照するための、画像群における前方向予測符号化画像と双方向予測符号化画像の枚数を画像群の構造として予測する際に、複数の画像群における前方向予測符号化画像の数の最大値を持つ画像群または最小値を持つ画像群のうち少なくともいずれか一方の画像群を一つ以上除いた複数の画像群の前方向予測符号化画像の平均値と双方向予測符号化画像の平均値を予測した画像群の構造とし、符号化手段が、その画像群の構造に基づいて再符号化するようにコンピュータに機能させる。このようにすることにより、一時的に現れた極端な前方向予測符号化画像の枚数を持つ画像群に影響されることなく、より平均的な画像群の構造を予測することができる。また、画像群予測のために余分な画像を保持する必要が無いので遅延時間やメモリ量が削減される。

また、請求項９に記載の動画像再符号化プログラムを記録媒体に格納してもよい。このようにすることにより、動画像再符号化プログラムを機器に組み込む以外に単体でも流通させることができる。

本発明の一実施例にかかる動画像再符号化装置１００を図１乃至図１０を参照して説明する。動画像再符号化装置１００は、入力端子１１０から入力される動画像が符号化されたビットストリームをビットレートや符号化方式を変更して再符号化して出力端子１１５から出力する装置である。動画像再符号化装置１００は、図１に示すように復号部１０１と、符号化情報解析部１０２と、符号化部１０３と、入力端子１１０と設定データ端子１１１と、出力端子１１５とを備えている。

復号手段としての復号部１０１は、入力端子１１０から入力されるビットストリームを復号し、画像データ１１３を符号化部１０３へ出力するとともに、符号化情報１１２を符号化部１０３および符号化情報解析部１０２へ出力する。例えば、ＭＰＥＧ−２方式によって符号化されたビットストリームが入力された場合は、該ビットストリームを復号し、復号された画像データ１１３（輝度や色差データなど）を符号化部１０３へ出力する。入力ビットストリーム中のヘッダ情報などは符号化情報１１２として符号化情報解析部１０２および符号化部１０３へ出力する。

符号化情報１１２は、例えば、ピクチャタイプ（Ｉピクチャか、Ｐピクチャか、Ｂピクチャか）やフィールド再表示情報またはフレーム再表示情報およびフレームレート情報（画面上に表示する際のフレームレートで、例えばＮＴＳＣであれば２９．９７フレーム／秒）などが出力される。Ｉピクチャ、Ｐピクチャ、ＢピクチャはＭＰＥＧなどで用いられる符号化された画像の分類であり、Ｉピクチャは画面内符号化が施された画像、Ｐピクチャは前方向予測符号化が施された画像、Ｂピクチャは双方向予測符号化が施された画像を示している。

符号化情報解析部１０２では、図２に示すようにＧＯＰ構造予測部２００と、符号化フレームレート予測部２０１と、ＧＯＰ符号量予測部２０２とを備えており、設定データ端子１１１から入力される設定データおよび符号化情報１１２が入力され、前記設定データおよび符号化情報１１２に基づいて符号化部１０３において再符号化する際の割当て符号量を算出し、解析結果情報１１４として符号化部１０３へ出力する。

設定データ端子１１１は、動画像再符号化装置１００の初期設定時に設定されるパラメータ、例えば出力ビットストリームのビットレートなどが入力される。

解析結果情報１１４は、例えば、ＧＯＰ単位の割当て符号量やＧＯＰ内のＰピクチャ予測枚数およびＢピクチャ予測枚数や符号化フレームレートなどが出力される。画像群としてのＧＯＰとはGroup Of Picturesの略で、少なくとも１枚以上のＩピクチャから構成される単位である（通常、複数のピクチャから構成されることが多い）。ＧＯＰ構造とはＧＯＰ内のＩピクチャ、ＰピクチャおよびＢピクチャの枚数構成である。図３にＧＯＰ構造の例を示す。ＧＯＰはＩピクチャから始まり、次のＩピクチャの１枚前のピクチャまでが１ＧＯＰとなる。図３では１ＧＯＰは１２枚のピクチャで構成されており、ＧＯＰ内のＩピクチャは１枚、Ｐピクチャは３枚、Ｂピクチャは８枚である。

画像群構造予測手段としてのＧＯＰ構造予測部２００は、符号化情報１１２が入力され、それに基づいてＧＯＰ構造を予測し、ＧＯＰ構造情報２１０を出力する。

ＧＯＰ構造予測部２００におけるＧＯＰ構造の予測方法を図４のフローチャートを参照して説明する。

まず、ステップＳ１０１において、ＧＯＰ構造の初期値を設定し、ステップＳ１０２へ進む。ＧＯＰ構造の初期値とは、動画像が入力される前に設定されるＩピクチャ、Ｐピクチャ、Ｂピクチャの枚数である。これらは、予測の初期値であって実際に入力される動画像の各ピクチャの枚数と一致しなくともよい。初期値は予めＧＯＰ構造予測部２００内部に持っておいても良いし、設定データ端子１１１から設定するようにしても良い。

次に、ステップＳ１０２において、復号部１０１に入力された画像のピクチャタイプが符号化情報１１２を経由して入力されステップＳ１０３に進む。

次に、ステップＳ１０３において、復号部１０１に入力された画像のピクチャタイプがＩピクチャか否かを判断してＩピクチャである場合（ＹＥＳの場合）はステップＳ１０６に進み、そうでない場合（ＮＯの場合）はステップＳ１０４に進む。

次に、ステップＳ１０４において、復号部１０１に入力された画像のピクチャタイプがＰピクチャか否かを判断してＰピクチャである場合（ＹＥＳの場合）はステップＳ１０８に進み、そうでない場合（ＮＯの場合）はステップＳ１０５に進む。

次に、ステップＳ１０５において、ＩピクチャでもなくＰピクチャでもないということは、復号部１０１に入力された画像のピクチャタイプはＢピクチャであると判断して現在のＧＯＰにおけるＢピクチャの枚数に１を加算してステップＳ１０２に戻る。

ステップＳ１０６においては、Ｉピクチャが入力されたと判断する。Ｉピクチャから次のＩピクチャの前の画像までが１ＧＯＰの範囲なのでＩピクチャ検出でＧＯＰの先頭を検出したとして、直前の過去複数のＧＯＰにおけるＰピクチャ枚数の最大値と最小値を持つＧＯＰを１つずつ除いて、それらＰピクチャ枚数の最大値と最小値のＧＯＰを１つずつ除いた過去複数のＧＯＰのＰピクチャ枚数の平均値とＢピクチャ枚数の平均値を算出しステップＳ１０７に進む。すなわち、複数のＧＯＰにおけるＰピクチャの枚数のうち、最大値および最小値を持つＧＯＰをそれぞれ一つ以上除いた複数のＧＯＰにおけるＰピクチャおよびＢピクチャの平均値を算出している。つまり、最小値か最大値を持つＧＯＰのうち少なくともいずれか一方のＧＯＰを一つ以上除いた複数のＧＯＰにおけるＰピクチャおよびＢピクチャの平均値を算出している。

ステップＳ１０６を、図５と図６を参照して詳細に説明する。図５は、直前の過去複数のＧＯＰとして８ＧＯＰを保持した場合の例である。入力されたＩピクチャを含むＧＯＰを現在のＧＯＰとすると、現在のＧＯＰから時間的に近い順にＧＯＰ［０］、ＧＯＰ［１］、ＧＯＰ［２］、ＧＯＰ［３］、ＧＯＰ［４］、ＧＯＰ［５］、ＧＯＰ［６］、ＧＯＰ［７］とし、各ＧＯＰにおけるＰピクチャの枚数をＮｐ［０］、Ｎｐ［１］、Ｎｐ［２］、Ｎｐ［３］、Ｎｐ［４］、Ｎｐ［５］、Ｎｐ［６］、Ｎｐ［７］とし、各ＧＯＰにおけるＢピクチャの枚数をＮｂ［０］、Ｎｂ［１］、Ｎｂ［２］、Ｎｂ［３］、Ｎｂ［４］、Ｎｂ［５］、Ｎｂ［６］、Ｎｂ［７］とする。すなわち、常に直前のＧＯＰから数えて８ＧＯＰ分のＰピクチャとＢピクチャの枚数を保持する。そして、各ＧＯＰにおけるＰピクチャの枚数とＢピクチャの枚数が図６のようになっていた場合は、Ｐピクチャ枚数の最大値であるＮｐ［２］と最小値であるＮｐ［６］を除いてＰピクチャの平均値ＡＶＲ＿ＮｐとＢピクチャの平均値ＡＶＲ＿Ｎｂを求めると図６に示すようにそれぞれ４と１０という値が求まる。

次に、ステップＳ１０７において、ステップＳ１０６で算出したＰピクチャとＢピクチャの平均値（ＡＶＲ＿Ｎｐ、ＡＶＲ＿Ｎｂ）をＧＯＰ構造情報２１０としてＧＯＰ符号量予測部２０２に出力しステップＳ１０２に戻る。

ステップＳ１０８においては、復号部１０１に入力された画像のピクチャタイプはＰピクチャであることから現在のＧＯＰにおけるＰピクチャの枚数に１を加算しステップＳ１０２に戻る。

フレームレート予測手段としての符号化フレームレート予測部２０１は、符号化情報１１２が入力され、それを基づいて符号化フレームレートを算出し、符号化フレームレート情報２１１を出力する。

符号化フレームレート予測部２０１における符号化フレームレートの算出方法を図７のフローチャートを参照して説明する。

まず、ステップＳ２０１において、表示ピクチャ枚数と符号化ピクチャ枚数の初期値を設定し、ステップＳ２０２へ進む。これらは、予測の初期値であって実際に入力される表示ピクチャ枚数や符号化ピクチャ枚数と一致しなくともよい。初期値は予め符号化フレームレート予測部２０１に持っておいても良いし、設定データ端子１１１から設定するようにしてもよい。

表示ピクチャ枚数と、符号化ピクチャ枚数について図８を参照して説明する。表示されるべき画像の数としての表示ピクチャ枚数とは、復号して画面に表示する際のピクチャ枚数を示し、符号化された画像の数としての符号化ピクチャ枚数とは、実際に符号化されているピクチャ枚数である。復号部１０１で復号した際に、フィールド再表示情報またはフレーム再表示情報が検出されたピクチャは、符号化ピクチャ枚数は１枚であるが表示ピクチャ枚数としては１枚以上となる。図８の場合は、１秒間の表示ピクチャ枚数を矢印の間の１２枚とすると、フレームレートは１２フレーム／秒、符号化フレームレートは８フレーム／秒となる。また、符号化情報１１２に含まれるフレームレート情報は表示ピクチャのフレームレートを指している。ここで再表示情報を検出せずにフレームレート情報のみから符号化ピクチャ１２枚に対して１秒分の符号量を割当てた場合、１枚当たりの符号量は１秒分の１／１２となる。しかし、再表示情報を検出すれば、１秒あたり符号化ピクチャが８枚であることが分かるために、１枚当たりの割当て符号量が１秒分の１／８に増大する。したがって、再表示情報を用いることで再符号化時にリピートピクチャ枚数を除いた実際の符号化ピクチャ枚数を再符号化の対象として符号量を割当てることで、適切な符号の割当てが可能となる。

次に、ステップＳ２０２において、復号部１０１に入力された画像のピクチャタイプが符号化情報１１２を経由して入力されステップＳ２０３に進む。

次に、ステップＳ２０３において、復号部１０１に入力された画像のピクチャタイプがＩピクチャか否かを判断してＩピクチャである場合（ＹＥＳの場合）はステップＳ２０４に進み、そうでない場合（ＮＯの場合）はステップＳ２０６に進む。

ステップＳ２０４においては、Ｉピクチャが入力されたと判断する。Ｉピクチャから次のＩピクチャの前の画像までが１ＧＯＰの範囲なのでＩピクチャ検出でＧＯＰの先頭を検出したとして、直前の過去複数のＧＯＰにおける符号化ピクチャ枚数と表示ピクチャ枚数から符号化フレームレートを算出しステップＳ２０５に進む。

符号化フレームレートは、coded_frame_rateを符号化フレームレート、numをデータを保持しておくＧＯＰ数、i=0,1,…,(num-1)、Nc[i]を直前から数えて過去i番目のＧＯＰにおける符号化ピクチャ枚数、Nd[i]を過去i番目のＧＯＰにおける表示ピクチャ枚数、frame_rateを符号化情報１１２に含まれるフレームレート情報とすると、例えば数１に示す式で表される。

すなわち、符号化ピクチャ枚数と表示ピクチャ枚数との比と、符号化情報１１２に含まれるフレームレート情報から予測した符号化フレームレートを算出している。

ステップＳ２０４を、図９を参照して詳細に説明する。図９は、直前の過去複数のＧＯＰとして８ＧＯＰを保持した場合の例である。入力されたＩピクチャを含むＧＯＰを現在のＧＯＰとすると、現在のＧＯＰから時間的に近い順にＧＯＰ［０］、ＧＯＰ［１］、ＧＯＰ［２］、ＧＯＰ［３］、ＧＯＰ［４］、ＧＯＰ［５］、ＧＯＰ［６］、ＧＯＰ［７］とし、各ＧＯＰにおける符号化ピクチャ枚数をＮｃ［０］、Ｎｃ［１］、Ｎｃ［２］、Ｎｃ［３］、Ｎｃ［４］、Ｎｃ［５］、Ｎｃ［６］、Ｎｃ［７］とし、各ＧＯＰにおける表示ピクチャ枚数をＮｄ［０］、Ｎｄ［１］、Ｎｄ［２］、Ｎｄ［３］、Ｎｄ［４］、Ｎｄ［５］、Ｎｄ［６］、Ｎｄ［７］とする。すなわち、常に直前のＧＯＰから数えて８ＧＯＰ分の符号化ピクチャ枚数と表示ピクチャ枚数を保持する。これらを数１に当てはめると、Ｎｃ［０］〜Ｎｃ［７］まで総数を、Ｎｄ［０］〜Ｎｄ［７］まで総数で割った値にフレームレート情報を掛けることで予測した符号化フレームレートとして求めることができる。

次に、ステップＳ２０５において、ステップＳ２０４で算出した符号化フレームレート（coded_frame_rate）を符号化フレームレート情報２１１としてＧＯＰ符号量予測部２０２に出力しステップＳ２０６に進む。

次に、ステップＳ２０６において、符号化情報１１２から現在のＧＯＰの符号化ピクチャ枚数と表示ピクチャ枚数にそれぞれ１または（１＋リピートピクチャ枚数）を加算してステップＳ２０２に戻る。すなわち、符号化ピクチャ枚数には常に１を加算し、表示ピクチャ枚数には（１＋リピートピクチャ枚数）を加算する。

符号量予測手段としてのＧＯＰ符号量予測部２０２は、入力される符号化情報１１２、ＧＯＰ構造情報２１０、符号化フレームレート情報２１１および設定データ端子１１１より設定される出力目標ビットレートに基づいてＧＯＰの割当て符号量を算出し、ＧＯＰ構造情報２１０に含まれるＰピクチャ予測枚数、Ｂピクチャ予測枚数と、符号化フレームレート情報２１１に含まれる符号化フレームレートとともに解析結果情報１１４として符号化部１０３へ出力する。

ＧＯＰ符号量予測部２０２の動作を図１０のフローチャートを参照して説明する。

まず、ステップＳ３０１において、復号部１０１に入力された画像のピクチャタイプが符号化情報１１２を経由して入力されステップＳ３０２に進む。

次に、ステップＳ３０２において、復号部１０１に入力された画像のピクチャタイプがＩピクチャか否かを判断してＩピクチャである場合（ＹＥＳの場合）はステップＳ３０３に進み、そうでない場合（ＮＯの場合）はステップＳ３０１に戻る。

次に、ステップＳ３０３において、ＧＯＰ構造情報２１０が更新されたか否かを判断し、更新された場合（ＹＥＳの場合）はステップＳ３０４に進み、そうでない場合（ＮＯの場合）は更新されるまで待機する。

次に、ステップＳ３０４において、符号化フレームレート情報２１１が更新されたか否かを判定し、更新された場合（ＹＥＳの場合）はステップＳ３０５に進み、そうでない場合（ＮＯの場合）は更新されるまで待機する。

次に、ステップＳ３０５において、符号化情報１１２、ＧＯＰ構造情報２１０、符号化フレームレート情報２１１および設定データ端子１１１より設定される出力目標ビットレートに基づいてＧＯＰ当たりの割当て符号量を算出しステップＳ３０６へ進む。

ＧＯＰ当たりの割当て符号量GOP_bitsは、AVR_NpをＧＯＰ構造予測部２００で予測した平均Ｐピクチャ枚数、AVR_NbをＧＯＰ構造予測部２００で予測した平均Ｂピクチャ枚数、coded_frame_rateを符号化フレームレート予測部２０１で予測した符号化フレームレート、bitrateを設定データ端子１１１より予め設定される出力目標ビットレートとすると、例えば数２に示す式で表される。

数２に示した式中の１となっている部分はＩピクチャの枚数を意味しており、フィールド符号化時は、１フレームが２フィールドであることから、ＧＯＰ内の平均Ｉフィールド枚数の１／２を算出してそれに置き換えればよい。(この場合、AVR_NpおよびAVR_Nbも夫々フィールド枚数の１／２で算出される。)

次に、ステップＳ３０６において、ステップＳ３０５で算出したＧＯＰ当たりの割当て符号量（GOP_bits）とＧＯＰ構造情報２１０と符号化フレームレート情報２１１とを解析結果情報１１４として符号化部１０３に出力しステップＳ３０１に戻る。

符号化手段としての符号化部１０３は、符号化情報１１２、解析結果情報１１４および設定データ端子１１１から入力される初期設定に基づいて復号部１０１から入力される画像データ１１３を再符号化し、出力ビットストリームを出力端子１１５から出力する。すなわち、符号化情報解析部１０２で予測したＧＯＰ当たりの割当て符号量に基づいて符号量制御を行ったり、ＰピクチャとＢピクチャの予測枚数から各ピクチャへの符号量の割当てなどを行う。また、符号化情報１１２や符号化部１０３内部での情報などから符号量制御に変化を加えてもよい。例えば、解析結果情報１１４のＧＯＰ当たり割当て符号量などを得た上で、入力される画像データ１１３の複雑度を基にＧＯＰやピクチャの割当て符号量を増減してもよい。

本実施例によれば、ＧＯＰ構造予測部２００において、８つのＧＯＰ内のＰピクチャ枚数のうち、最大値と最小値を持つＧＯＰを除いた６つのＧＯＰからＰピクチャ枚数とＢピクチャ枚数の平均値を算出し、それを予測したＧＯＰ構造とする。符号化フレームレート予測部２０１において、符号化ピクチャ枚数と表示ピクチャ枚数と符号化情報１１２から得られたフレームレートから符号化フレームレートを算出し、それを予測した符号化フレームレートとする。そして、予測したＧＯＰ構造と予測した符号化フレームレートと設定データ端子１１１から設定したビットレートからＧＯＰ当たりの符号量を算出し、それを予測した符号量とする。符号化部１０３では、前記予測したＧＯＰ構造と、予測した符号化フレームレートと、予測した符号量を参照して再符号化を行う。このようにすることで、ＧＯＰ構造やフレームレートおよび符号量の予測精度が上がるとともに、ＧＯＰ構造予測やフレームレート予測および符号量予測のために複数の画像をメモリに記憶することが必要ないために遅延時間やメモリ量の削減が出来る。

なお、上述した実施例においてＧＯＰ構造予測部２００は、ＧＯＰ毎のＰピクチャの枚数のうち最大値を持つＧＯＰと最小値を持つＧＯＰを除いて、ＰピクチャとＢピクチャのＧＯＰの平均枚数を算出していたが、図１１に示すようにＰピクチャの最大値または最小値が複数あった場合は、Ｂピクチャの枚数を比較して、Ｂピクチャの平均値からの差異が大きいＧＯＰを除くようにしてもよい。図１１では、Ｐピクチャの最大値がＮｐ［２］とＮｐ［３］であって、最小値がＮｐ［６］とＮｐ［７］であるため、Ｎｂ［２］とＮｂ［３］およびＮｂ［６］とＮｂ［７］のＢピクチャの枚数を比較しＢピクチャの平均値（Ｎｂ［０］〜Ｎｂ［７］の平均値）からの差異が大きいＮｂ［２］を含むＧＯＰを最大値として、Ｎｂ［６］を含むＧＯＰを最小値として、それぞれ除いてＰピクチャの平均枚数ＡＶＲ＿ＮｐとＢピクチャの平均枚数ＡＶＲ＿Ｎｂを求める。また、このような方法をとらずに複数の最大値や複数の最小値をとるＧＯＰからそれぞれ任意に１つずつＧＯＰを選択して削除しても良い。

また、ＧＯＰ構造を予測する際に除くＧＯＰは、最大値または最小値のうちいずれか一方のみでも良い。さらに、複数のＧＯＰにおける前方向予測符号化画像の枚数のうち大きい順に複数除いても良いし、小さい順に複数除いても良い。図１１で例えるとＮｐ［２］とＮｐ［３］の両方を除いてもよいし、Ｎｐ［６］とＮｐ［７］の両方を除いても良い。

また、上述した実施例では動画像再符号化装置１００として説明したが、コンピュータ上で動作するプログラムとすることもできる。すなわち、動画像再符号化装置１００をＣＰＵとＲＡＭ、ＲＯＭに置き換えて、ＲＯＭに動画像再符号化プログラムを記録しておき、ＣＰＵに復号部１０１、符号化部１０３、符号化情報解析部１０２の機能を持たせる。図１２に動画像再符号化プログラムのフローチャートを示す。

まず、復号手段としてのステップＳ４０１で入力ビットストリームを復号する。次に、画像群構造予測手段としてのステップＳ４０２でＧＯＰ構造予測を行う。ステップＳ４０２の内容は図４のフローチャートと同様である。次に、フレームレート予測手段としてのステップＳ４０３で符号化フレームレートを予測する。ステップＳ４０３の内容は図７のフローチャートと同様である。次に、符号量予測手段としてのステップＳ４０４でＧＯＰ当たりの割当て符号量を予測する。ステップＳ４０４の内容は図１０のフローチャートと同様である。そして、符号化手段としてのステップＳ４０５で再符号化を行う。以上のステップをピクチャ単位で繰り返すことで動画像再符号化プログラムとして機能することができる。

また、上述した実施例ではピクチャをフレームとして説明したが、フィールドでも実施可能である。

また、本発明における復号手段と符号化手段は、ＭＰＥＧ−１，２，４やＨ．２６４など画面内符号化画像と、前方向予測符号化画像と、双方向予測符号化画像のうち少なくとも前記画面内符号化画像が１枚以上含まれる画像群から構成されるビットストリームとなる動画像の符号化方式であれば、いずれの組合せでもよい。勿論、同じ符号化方式間でビットレートの変換に用いても良い。

また、動画像を放送局で放送する際や通信回線に送信する際に本発明を適用すれば、放送波や通信回線の帯域に合わせた符号化方式やビットレートで低遅延かつ低コストに動画像を再符号化することができる。また、例えば地上デジタル放送など符号化された動画像を、ハードディスクレコーダやＤＶＤレコーダやＢｌｕ−ｒａｙレコーダおよびＨＤ ＤＶＤレコーダなどに記録する際に本発明を適用すれば、再符号化前よりも高効率な符号化方式に低遅延かつ低コストに記録することができる。

前述した実施例によれば、以下の動画像再符号化装置、動画像再符号化方法および動画像再符号化プログラムが得られる。

（付記１）Ｉピクチャと、Ｐピクチャと、Ｂピクチャのうち少なくともＩピクチャが１枚以上含まれるＧＯＰから構成されるビットストリームが入力され該ビットストリームを復号し、画像データ１１３および符号化情報１１２を得る復号部１０１と、
復号部１０１が復号した画像データ１１３および符号化情報１１２に基づいて再度画像データ１１３を符号化する符号化部１０３と、を有した動画像再符号化装置１００において、
符号化情報１１２に基づいて、複数のＧＯＰ各々におけるＰピクチャの数をカウントし、カウントされた複数のＧＯＰ各々におけるＰピクチャの数の最大値または最小値を持つＧＯＰのうち少なくともいずれか一方のＧＯＰを一つ以上除いた複数のＧＯＰにおけるＰピクチャおよびＢピクチャの平均値を予測したＧＯＰの構造として符号化部１０３に出力するＧＯＰ構造予測部２００を有することを特徴とする動画像再符号化装置１００。

この動画像再符号化装置１００によれば、一時的に現れた極端なＰピクチャの枚数を持つＧＯＰに影響されることなく、より平均的なＧＯＰの構造を予測することができる。また、ＧＯＰの構造予測のために余分な画像を保持する必要が無いので遅延時間やメモリ量が削減される。

（付記２）Ｉピクチャと、Ｐピクチャと、Ｂピクチャのうち少なくともＩピクチャが１枚以上含まれるＧＯＰから構成されるビットストリームが入力され該ビットストリームを復号し、画像データ１１３および符号化情報１１２を得て、復号した画像データ１１３および符号化情報１１２に基づいて再度画像データ１１３を符号化する動画像再符号化方法において、
符号化情報１１２に基づいて、複数のＧＯＰ各々におけるＰピクチャの数をカウントし、カウントされた複数のＧＯＰ各々におけるＰピクチャの数の最大値または最小値を持つＧＯＰのうち少なくともいずれか一方のＧＯＰを一つ以上除いた複数のＧＯＰにおけるＰピクチャおよびＢピクチャの平均値を予測したＧＯＰの構造として符号化時に用いることを特徴とする動画像再符号化方法。

この動画像再符号化方法によれば、一時的に現れた極端なＰピクチャの枚数を持つＧＯＰに影響されることなく、より平均的なＧＯＰの構造を予測することができる。また、ＧＯＰの構造予測のために余分な画像を保持する必要が無いので遅延時間やメモリ量が削減される。

（付記３）Ｉピクチャと、Ｐピクチャと、Ｂピクチャのうち少なくともＩピクチャが１枚以上含まれるＧＯＰから構成されるビットストリームが入力され該ビットストリームを復号し、画像データ１１３および符号化情報１１２を得るステップＳ４０１と、
ステップＳ４０１が復号した画像データ１１３および符号化情報１１２に基づいて再度画像データ１１３を符号化するステップＳ４０５と
してコンピュータに機能させる動画像再符号化プログラムにおいて、
符号化情報１１２に基づいて、複数のＧＯＰ各々におけるＰピクチャの数をカウントし、カウントされた複数のＧＯＰ各々におけるＰピクチャの数の最大値または最小値を持つＧＯＰのうち少なくともいずれか一方のＧＯＰを一つ以上除いた複数のＧＯＰにおけるＰピクチャおよびＢピクチャの平均値を予測したＧＯＰの構造としてステップＳ４０５に出力するステップＳ４０２としてコンピュータに機能させることを特徴とするコンピュータ読み取り可能な動画像再符号化プログラム。

この動画像再符号化プログラムによれば、一時的に現れた極端なＰピクチャの枚数を持つＧＯＰに影響されることなく、より平均的なＧＯＰの構造を予測することができる。また、ＧＯＰの構造予測のために余分な画像を保持する必要が無いので遅延時間やメモリ量が削減される。

なお、前述した実施例は本発明の代表的な形態を示したに過ぎず、本発明は、実施例に限定されるものではない。すなわち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。

Claims (10)

1. 画面内符号化画像と、前方向予測符号化画像と、双方向予測符号化画像のうち少なくとも前記画面内符号化画像が１枚以上含まれる画像群から構成されるビットストリームが入力され該ビットストリームを復号し、画像データおよび符号化情報を得る復号手段と、
   前記復号手段が復号した前記画像データおよび前記符号化情報に基づいて再度前記画像データを符号化する符号化手段と、を有した動画像再符号化装置において、
   前記符号化情報に基づいて、複数の前記画像群各々における前記前方向予測符号化画像の数をカウントし、カウントされた複数の前記画像群各々における前記前方向予測符号化画像の数の最大値または最小値を持つ前記画像群のうち少なくともいずれか一方の前記画像群を一つ以上除いた複数の前記画像群における前記前方向予測符号化画像および前記双方向予測符号化画像の平均値を、予測した前記画像群の構造として前記符号化手段に出力する画像群構造予測手段を有することを特徴とする動画像再符号化装置。
2. 前記画像群構造予測手段が、カウントされた複数の前記画像群各々における前記前方向予測符号化画像の数のうち最大値および最小値を持つ前記画像群をそれぞれ一つ以上除いた複数の前記画像群における前記前方向予測符号化画像および前記双方向予測符号化画像の平均値を前記画像群の構造として前記符号化手段に出力することを特徴とする請求項１に記載の動画像再符号化装置。
3. 前記画像群構造予測手段が、カウントされた複数の前記画像群各々における前記前方向予測符号化画像の数のうち、大きい順に複数の前記画像群を除いた複数の前記画像群における前記前方向予測符号化画像および前記双方向予測符号化画像の平均値を前記画像群の構造として前記符号化手段に出力することを特徴とする請求項１または２に記載の動画像再符号化装置。
4. 前記画像群構造予測手段が、カウントされた複数の画像群各々における前記前方向予測符号化画像の数のうち、小さい順に複数の前記画像群を除いた複数の前記画像群における前記前方向予測符号化画像および前記双方向予測符号化画像の平均値を前記画像群の構造として前記符号化手段に出力することを特徴とする請求項１乃至３のうちいずれか一項に記載の動画像再符号化装置。
5. 前記画像群構造予測手段が、複数の前記画像群各々における前記双方向予測符号化画像の数をカウントし、カウントされた複数の前記画像群各々における前記前方向予測符号化画像の数のうち、最大値または最小値を持つ前記画像群が夫々複数ある場合は、複数の最大値または最小値を持つ前記画像群のうち、カウントされた複数の前記画像群における前記双方向予測符号化画像の平均値から離れた値をもつ前記画像群を除いた複数の前記画像群における前記前方向予測符号化画像および前記双方向予測符号化画像の平均値を前記画像群の構造として前記符号化手段に出力することを特徴とする請求項１乃至４のうちいずれか一項に記載の動画像再符号化装置。
6. 前記符号化情報に基づいて、複数の前記画像群各々における符号化された画像の数および複数の前記画像群各々における表示されるべき画像の数を夫々カウントし、複数の前記画像群各々における符号化された画像の数と複数の前記画像群各々における表示されるべき画像の数との比と、前記符号化情報から、前記符号化手段が符号化する際におけるフレームレートを予測するフレームレート予測手段を有したことを特徴とする請求項１乃至５のうちいずれか一項に記載の動画像再符号化装置。
7. 前記画像群構造予測手段が予測した前記画像群の構造と、前記フレームレート予測手段が予測したフレームレートと、予め設定された前記符号化手段が再符号化する際のビットレートと、に基づいて前記符号化手段が符号化する際の前記画像群当たりの符号量を予測する符号量予測手段を有したことを特徴とする請求項１乃至６のうちいずれか一項に記載の動画像再符号化装置。
8. 画面内符号化画像と、前方向予測符号化画像と、双方向予測符号化画像のうち少なくとも前記画面内符号化画像が１枚以上含まれる画像群から構成されるビットストリームが入力され該ビットストリームを復号し、画像データおよび符号化情報を得て、復号した前記画像データおよび前記符号化情報に基づいて再度前記画像データを符号化する動画像再符号化方法において、
   前記符号化情報に基づいて、複数の前記画像群各々における前記前方向予測符号化画像の数をカウントし、カウントされた複数の前記画像群各々における前記前方向予測符号化画像の数の最大値または最小値を持つ前記画像群のうち少なくともいずれか一方の前記画像群を一つ以上除いた複数の前記画像群における前記前方向予測符号化画像および前記双方向予測符号化画像の平均値を、予測した前記画像群の構造として前記符号化時に用いることを特徴とする動画像再符号化方法。
9. 画面内符号化画像と、前方向予測符号化画像と、双方向予測符号化画像のうち少なくとも前記画面内符号化画像が１枚以上含まれる画像群から構成されるビットストリームが入力され該ビットストリームを復号し、画像データおよび符号化情報を得る復号手段と、
   前記復号手段が復号した前記画像データおよび前記符号化情報に基づいて再度前記画像データを符号化する符号化手段と
   してコンピュータに機能させる動画像再符号化プログラムにおいて、
   前記符号化情報に基づいて、複数の前記画像群各々における前記前方向予測符号化画像の数をカウントし、カウントされた複数の前記画像群各々における前記前方向予測符号化画像の数の最大値または最小値を持つ前記画像群のうち少なくともいずれか一方の前記画像群を一つ以上除いた複数の前記画像群における前記前方向予測符号化画像および前記双方向予測符号化画像の平均値を、予測した前記画像群の構造として前記符号化手段に出力する画像群構造予測手段としてコンピュータに機能させることを特徴とするコンピュータ読み取り可能な動画像再符号化プログラム。
10. 請求項９に記載の動画像再符号化プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
    
    

Images