JP4676513B2 - 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体 - Google Patents

Description

本発明は，映像符号化の符号化ピクチャタイプの決定方法に関するものである。

ＭＰＥＧ−２やＨ．２６４などの動画像符号化方式では，符号化ツールの違いからピクチャタイプを切り替えて符号化することができる。動き補償予測を行わずにピクチャ内に閉じて符号化するＩピクチャ，時間的に前の符号化済みピクチャを参照してピクチャ間予測を行うＰピクチャ，過去または未来の符号化済みピクチャを参照可能なＢピクチャなどがある。これら複数のピクチャタイプを組み合わせてＧＯＰ(Group of Pictures) を構成し，ランダムアクセスやビットレート制御の単位として利用する。

ＧＯＰ構造を示すものとして，Ｎ，Ｍがある。一般に，Ｉピクチャの符号化間隔をＮ，Ｐピクチャの符号化間隔をＭとする。図８に，各ピクチャタイプの参照関係の例を示す。図８（Ａ）−（Ｄ）は，これまでの動画像符号化方式でよく利用されているものである。図８（Ｅ）は，Ｈ．２６４で採用された他のピクチャから参照可能なＢピクチャ（以下，Ｂｓ）を利用した例を示している。

このＧＯＰ構造は，符号化対象となる映像によって，最適な参照関係が異なる。例えば，動きの速い映像では，ピクチャ間の相関が小さくなるため，ピクチャ間距離が短い参照関係が有利である（例えば，図８（Ａ）や図８（Ｂ））。そこで，より効率のよいＧＯＰ構造を決定するための方法が提案されている。

例えば，特許文献１に記載されているシーン適応型動画像符号化装置では，符号化対象ピクチャに対し，事前に動き補償予測の効率を調べることで，ピクチャタイプを決定している。この装置では，符号化処理前に動き補償予測特性を検出し，符号化対象ピクチャのピクチャタイプを決定している。

図９に従来技術のフローチャート，図１０に従来技術のブロック図を示す。

図１０の事前解析部２００は，符号化処理前に入力画像信号から符号化対象ピクチャの動き補償予測特性を検出する（ステップＳ１００）。ピクチャタイプ決定部２０１は，事前解析部２００によって検出された動き補償予測特性をもとに，符号化対象ピクチャのピクチャタイプを決定する（ステップＳ１０１）。ピクチャ並び替え部２０２は，決定されたピクチャタイプに従ってピクチャを並び替え，符号化順番を入れ替える（ステップＳ１０２）。符号化処理部２０３は，ピクチャ並び替え部２０２により並び替えられたピクチャの画像信号に対して，予測符号化を行う（ステップＳ１０３）。

なお，符号化処理部２０３における減算器２０４，直交変換部２０５，量子化部２０６，情報源符号化部２０７，逆量子化部２０８，逆直交変換部２０９，加算器２１０，フレームメモリ２１１，動き探索部２１２，動き補償部２１３による予測符号化処理は，よく知られた処理であるので詳しい説明を省略する。

このような方法によれば，入力された映像に最適なピクチャタイプを選択することができ，ＧＯＰ構造が固定された方式に比べ，符号化効率が向上する。
特開２００２−７７９２４号公報

前述した特許文献１の技術では，符号化処理前に符号化対象ピクチャについて，動き検出や動き補償予測を行うことで，動き補償予測効率を推定してピクチャタイプを選択している。ここでは，符号化ループ内の結果から動き補償予測特性を求めている。

この方法では，ピクチャタイプが変更された場合，符号化順番の変更が必要になり，処理が複雑になる。例えば，動き補償予測特性からＢピクチャが選択された場合，次に符号化されるべきピクチャタイプはＰピクチャであるため，符号化ループ内の情報を削除しなければならない。このように，従来の方法では，演算コストの増加や処理構造が複雑になるなどの問題があった。

本発明は，上記課題の解決を図り，符号化対象ピクチャに対して，符号化前に動き補償効率などを調べることなく，最適なピクチャタイプ（ＧＯＰ構造）を決定し，これにより符号化前に符号化対象ピクチャへの事前の動きベクトル探索などを不要とし，演算コストの削減および処理構造の簡易化を実現することを目的とする。

複数のピクチャ間予測モードを有する映像符号化方式において，動きベクトルや予測モード選択などの符号化結果は，入力された映像に対し，そのピクチャタイプの符号化効率や映像の性質によって変化する。そこで，符号化済みピクチャの符号化結果を利用して，符号化対象ピクチャの映像性質を推定する。符号化結果としては，予測モードの選択比率や動きベクトルのノルムなど，エンコーダ側で得られる情報を利用する。

すなわち，本発明は，上記課題を解決するため，ピクチャ間予測のピクチャタイプを切り替える際，過去に符号化したピクチャ間予測ピクチャの予測モードや動きベクトルに着目し，符号化対象ピクチャの符号化処理前に，同じ符号化対象映像における当該符号化対象ピクチャより前に符号化した符号化済みピクチャ間予測ピクチャの符号化結果のみの統計量を算出し，その統計量から得られる値と所定の閾値とを比較し，比較結果から符号化対象ピクチャのピクチャタイプを決定することを特徴とする。前記統計量から得られる値は，統計量そのものでもよく，また統計量から求められるコスト値のような値でもよい。

従来技術では，符号化処理よりも前に，符号化対象ピクチャの動き補償予測の効率などを算出し，ピクチャタイプを決定しているので，符号化対象ピクチャの決定に，符号化対象ピクチャの信号が必要になる。これに対し，本発明では，符号化済みピクチャの符号化結果を利用して，符号化対象ピクチャのピクチャタイプを決定するので，符号化対象ピクチャそのものを入力する必要はなく，この点が従来技術と大きく異なる。これにより，符号化前の符号化対象ピクチャへの事前の動きベクトル探索などが不要となり，演算コストおよび事前解析部の回路規模を縮小することができる。

さらに，双方向予測ピクチャの結果のみを利用してピクチャタイプを決定することも，最適なピクチャタイプの選択に有効である。

上記発明において，符号化済みのピクチャ間予測ピクチャについて，動きベクトル，予測モード，予測ブロックサイズ，予測誤差電力のうち，１つまたは複数の値を用いてピクチャタイプを決定する方法も好適である。

また，上記発明において，符号化済みピクチャの複数の符号化結果（動きベクトル，予測モード，予測ブロックサイズ，予測誤差電力など）を利用してピクチャタイプを決定する際，利用する符号化結果の種別毎に予め定めた閾値を設定し，符号化結果と閾値を比較し，比較結果から符号化対象ピクチャのピクチャタイプを決定する方法を用いることもよい結果が得られる。

また，上記発明において，符号化済みピクチャの複数の符号化結果（動きベクトル，予測モード，予測ブロックサイズ，予測誤差電力など）を利用してピクチャタイプを決定する際，利用する符号化結果をパラメータとするコスト関数に代入してコストを算出する手段と，算出したコストと予め定めた閾値とを比較する手段とを用いて，比較結果から符号化対象ピクチャのピクチャタイプを決定することも好適である。

上記発明において，符号化済みのピクチャ間予測ピクチャの動きベクトルを利用する際，統計量として，動きベクトルの各成分やノルムについて，平均値や最大値，分散などの統計量を算出する手段を用い，算出した統計量を用いてピクチャタイプを決定することも好適である。

上記発明において，符号化済みのピクチャ間予測ピクチャの，予測モード，予測ブロックサイズを利用する際，統計量として，各予測モードや予測ブロックサイズの選択比率を算出する手段を用い，算出した選択比率を用いてピクチャタイプを決定することも好適である。

上記発明において，符号化済み双方向予測ピクチャから，双方向予測モードと省オーバヘッド予測モードの選択比率を算出する手段と，算出した選択比率と予め定めた閾値を比較する手段と，比較結果が予め定めた範囲に収まる場合，前方向予測とイントラ予測以外の予測モードの選択比率を算出する手段と，その選択比率を予め定めた閾値と比較する手段を用い，予測モードの統計量を利用して，段階的にピクチャタイプを決定することも好適な結果が得られる。

上記発明において，符号化済みの片方向予測ピクチャと双方向予測ピクチャの両ピクチャタイプの符号化結果を用いてピクチャタイプを決定することも好適である。さらにまた，符号化済みの片方向予測ピクチャの動きベクトルの統計量を計測する手段と，双方向予測ピクチャの予測モードの統計量を計測する手段を用い，算出した統計量からピクチャタイプを決定することも好適な結果が得られる。

上記発明において，閾値を設定する際，入力映像のピクチャサイズやフレームレート，および，符号化ビットレートまたは各ピクチャの割り当て符号量から，閾値を算出する手段を用い，符号化条件や入力映像に合わせて閾値を変化させてピクチャタイプを決定する。このように閾値を自動的に切り替えることにより，状況に応じて適切な閾値を用いることができ，さらに効率的なピクチャタイプの選択が可能になる。

このような方法によれば，符号化前に符号化対象ピクチャの動き補償予測などを行うことなく，効率的なピクチャタイプを選択できる。事前に符号化対象ピクチャの符号化効率を調べる必要がないため，演算コストの削減や回路規模の縮小が期待できる。

以下，図面を使いながら，本発明の実施の形態を説明する。本発明の実施の形態の基本的なフローチャートを図１に示す。

まず，ＰピクチャやＢピクチャなど，ピクチャ間予測を行うピクチャについて，動きベクトルや予測モードなどの統計量を算出する（ステップＳ１）。

以下に，統計量の例を示す。
（１）動きベクトルの水平・垂直成分の平均値や最大値，分散など
（２）動きベクトルのノルムの平均値や最大値，分散など
（３）各予測モードや予測ブロックサイズの選択比率
（４）予測誤差電力
以上のような統計量において，動きベクトルの平均値や最大値，ノルムは，その映像の動きの速さを示している，動きベクトルの分散は，動きのばらつきを示している。予測モードや予測ブロックサイズの選択比率からは，その映像の特徴を知ることができる。例えば，Ｂピクチャでは，予測方向から，前後の参照ピクチャとの類似性を見ることができる。予測ブロックサイズからは，動領域の大きさを推測できる。４×４サイズの小さい予測ブロックサイズが多く選択される場合，画面内の動きが均一でない可能性がある。予測誤差電力は，予測効率を知るために利用できる。

また，統計量を算出する際，閾値を用いて判定比率を算出してもよい。例えば，動きベクトルの場合，動きの速さを判定する閾値を設け，動きが早いと判定される動きベクトルの比率を利用することもできる。

次に，符号化済みピクチャの符号化結果から求めた統計量をもとに，符号化対象ピクチャのピクチャタイプを決定する（ステップＳ２）。ピクチャタイプの決定は，符号化済みの特定のピクチャタイプまたは複数のピクチャタイプの統計量を用いる。

（１）特定のピクチャタイプの統計量を使用
Ｂピクチャなど，１種類のピクチャタイプの統計量を用いて，符号化対象ピクチャの適合度を判定し，符号化対象ピクチャのピクチャタイプを決定する。

（２）複数のピクチャタイプの統計量を使用
各ピクチャタイプの統計量を比較し，符号化効率が高いと思われるピクチャタイプを選択し，符号化対象ピクチャのピクチャタイプを決定する。

ピクチャタイプの決定に用いる統計量は，１つまたは複数の統計量を組み合わせる。複数の統計量を組み合わせる際，
（ｉ）各統計量をパラメータとするコスト関数を用いてコストを算出する，
（ii）各統計量毎に閾値による判定を行う，
といった方法がある。

コスト関数を用いる場合，複数の統計量からコスト値を算出する。例えば，予測誤差電力Ｄと発生符号量Ｒを用いてコストＣｏｓｔを求め，このコストからピクチャタイプを決定する。λはラグランジュの未定乗数である。

Ｃｏｓｔ＝Ｄ＋λ・Ｒ …（式１）
閾値判定の場合，各統計量毎に閾値を定め，その大小関係によりピクチャタイプを決定する。また，比較する統計量に優先順位をつけ，その条件により，後段の統計量の閾値を変更することもできる。例えば，統計量Ａと統計量Ｂを用いる場合，統計量Ａが閾値ＴＨ_A 以上ならば，統計量Ｂの閾値はＴＨ_B1，統計量Ａが閾値ＴＨ_A 未満ならば，統計量Ｂの閾値はＴＨ_B2と切り替えることができる。

このようにして，符号化済みピクチャの符号化結果を利用してピクチャタイプを決定することで，符号化前に入力映像の解析等を行うことなく，符号化対象ピクチャのピクチャタイプを決定できる。

図２は，本発明を用いた符号化装置の構成例を示すブロック図である。図１において，統計量算出部１０は，符号化済みピクチャの符号化結果の統計量を算出する手段である。ピクチャタイプ決定部１１は，統計量算出部１０が算出した統計量を利用して，統計量から得られる値と所定の閾値とを比較し，比較結果から符号化対象ピクチャのピクチャタイプを決定する。ピクチャ並び替え部１２は，決定されたピクチャタイプをもとに，ピクチャ間予測のピクチャタイプを切り替え，参照関係に合わせて，符号化順番を入れ替える。

符号化処理部１００は，符号化済みピクチャの符号化結果を統計量算出部１０に対して出力すること以外は，従来の動き補償予測を用いる符号化処理部の構成と同様である。符号化処理部１００は，ピクチャ並び替え部１２で並び替えられた符号化対象ピクチャの画像信号を入力する。

符号化処理部１００において，減算器１０１は，入力画像信号と予測画像信号との予測誤差を算出する。直交変換部１０２は，予測誤差信号に対してＤＣＴ等の直交変換を施し，量子化部１０３は，直交変換部１０２の出力を量子化する。情報源符号化部１０４は，量子化された信号を可変長符号化し，符号化データとして出力する。

一方，量子化部１０３の出力は，逆量子化部１０５で逆量子化され，逆直交変換部１０６は，逆量子化値に対しＩＤＣＴ等の逆直交変換を行う。加算器１０７は，逆直交変換によって得られた予測誤差に予測画像信号を加算し，参照のための復号画像信号を求め，フレームメモリ１０８に格納する。

動き探索部１０９は，入力画像信号とフレームメモリ１０８に格納された復号画像信号とから動き推定を行い，動きベクトルを求めて，動き補償部１１０に出力する。動き補償部１１０は，動きベクトルから予測画像信号を生成し，減算器１０１に出力する。また，局部復号のために予測画像信号を加算器１０７にも出力する。

動き探索部１０９によって得られた動きベクトルや予測モードの情報は，情報源符号化部１０４にて符号化され，符号化データとして出力される。また，これらの符号化結果の情報は，統計量算出部１０に対しても出力される。

〔実施例１〕
以下に本発明の具体的な実施例を示す。実施例１では，Ｈ．２６４でのピクチャタイプ切り替えを前提とし，図８（Ｂ）のＭ＝２と，図８（Ｅ）のＭ＝４を切り替える。切り替えには，符号化済みＢピクチャの統計量のみを用い，統計量は，以下の２種類を利用する。
（１）双方向予測＋省オーバヘッド予測モードの選択比率ＢＭＣ_bi
（２）前方向予測とイントラ予測以外の予測モードの選択比率ＢＭＣ_all
省オーバヘッド予測モードとは，Ｈ．２６４で利用されるスキップモードやダイレクトモードのことである。前方向予測とイントラ予測以外の選択比率ＢＭＣ_all は，双方向予測＋省オーバヘッド予測モードの選択比率ＢＭＣ_biに後方向予測モードを加えたものである。

ピクチャタイプ切り替えは，閾値判定とし，４ピクチャ単位でＭ＝２とＭ＝４とを切り替える。図３に，４ピクチャ単位でＭ値を切り替える例を示す。

本実施例では，４ピクチャ単位でＭ値を切り替えるため，Ｍ値切り替えの処理は，４ピクチャ単位で最後のＢピクチャ処理後に以下の処理を実行する。

図４に，本実施例のフローチャートを示す。
［ステップＳ１０］Ｂピクチャの予測モードの統計量を計測：
図３に示す符号化済みＢピクチャ２０の統計量を計測する。
［ステップＳ１１］Ｍ値の決定：
計測した統計量から，Ｍ値を決定する。この処理の詳細については，図５を用いて後述する。
［ステップＳ１２］ピクチャタイプの決定：
ここでは，ステップＳ１１で決定したＭ値をもとに，４フレーム先までのピクチャタイプを決定する。
［ステップＳ１３］ピクチャの並び替え：
参照関係に合わせて，符号化順番を入れ替える。
［ステップＳ１４］符号化処理：
ステップＳ１２で決定したピクチャタイプに従って，順番に符号化処理を行う。

ここで，上記ステップＳ１１におけるＭ値の決定方法について説明する。最初に，双方向予測＋省オーバヘッド予測モードの選択比率ＢＭＣ_biについて，閾値との比較を行う。選択比率ＢＭＣ_biが，２つの閾値ＴＨ_H とＴＨ_L （ここでＴＨ_H ＞ＴＨ_L ）の間にある場合には，前方向予測とイントラ予測以外の予測モードの選択比率ＢＭＣ_all について，閾値ＴＨ_H と比較する。図５に，Ｍ値を決定する処理のフローチャートを示す。
［ステップＳ２０］ＢＭＣ_biを算出：
双方向予測＋省オーバヘッド予測モードの選択比率ＢＭＣ_biを算出する。
［ステップＳ２１］ＢＭＣ_bi＞ＴＨ_H ：
選択比率ＢＭＣ_biと閾値ＴＨ_H とを比較し，選択比率ＢＭＣ_biが閾値ＴＨ_H を超える場合には，ステップＳ２５（Ｍ＝４）へ進み，閾値ＴＨ_H 以下の場合には，次のステップＳ２２へ進む。
［ステップＳ２２］ＢＭＣ_bi＞ＴＨ_L ：
選択比率ＢＭＣ_biと閾値ＴＨ_L とを比較し，選択比率ＢＭＣ_biが閾値ＴＨ_L 以下の場合には，ステップＳ２６（Ｍ＝２）へ進み，閾値ＴＨ_L を超える場合には，次のステップＳ２３へ進む。
［ステップＳ２３］ＢＭＣ_all を算出：
前方向予測とイントラ予測以外の予測モードの選択比率ＢＭＣ_all を算出する。
［ステップＳ２４］ＢＭＣ_all ＞閾値ＴＨ_H ：
選択比率ＢＭＣ_all と閾値ＴＨ_H とを比較し，選択比率ＢＭＣ_all が閾値ＴＨ_H を超える場合には，ステップＳ２５（Ｍ＝４）へ進み，閾値ＴＨ_H 以下の場合には，ステップＳ２６（Ｍ＝２）へ進む。
［ステップＳ２５］Ｍ＝４：
Ｐピクチャの符号化間隔Ｍを４に決定する。
［ステップＳ２６］Ｍ＝２：
Ｐピクチャの符号化間隔Ｍを２に決定する。

図６は，統計量とＧＯＰ構造の関係を示しており，特に各選択比率とＭ値の関係を示している。例えば図６に示すように，２種類の選択比率の位置関係によって，Ｍ値を決定する。

〔実施例２〕
二つ目の実施例２を示す。実施例２では，最初の実施例１と同様に，図８（Ｂ）のＭ＝２と，図８（Ｅ）のＭ＝４を切り替える。先のＢピクチャの符号化結果に加え，Ｐピクチャの統計量として，動きベクトルのノルムを用いる。動きベクトルのノルムに対し，閾値ＴＨ_MVnormを設定し，この閾値を超えた動きベクトル比率ＭＶ_f を算出する。この動きベクトルの比率ＭＶ_f を用いて，ピクチャタイプを切り替える。

図７に，実施例２のフローチャートを示す。
［ステップＳ３０］Ｐピクチャの動きベクトル比率を計測：
符号化済みＰピクチャの動きベクトルのノルムを算出し，算出したノルムが閾値ＴＨ_MVnormを超えているかを判定する。閾値ＴＨ_NVnormを超えている動きベクトルの比率ＭＶ_f を算出する。
［ステップＳ３１］動きベクトルの比率ＭＶ_f と閾値ＴＨ_r を比較：
動きベクトルの比率ＭＶ_f が閾値ＴＨ_r より大きい場合には，ステップＳ３２へ進み，それ以外の場合には，ステップＳ３３へ進む。
［ステップＳ３２］Ｍ＝２：
動きベクトルの比率ＭＶ_f が閾値ＴＨ_r より大きい場合，動きが早いとして，Ｍ＝２に決定し，ステップＳ３５へ進む。
［ステップＳ３３］Ｂピクチャの予測モードの統計量を計測：
図３に示す符号化済みＢピクチャ２０の統計量を計測する。
［ステップＳ３４］Ｍ値の決定：
計測した統計量から，Ｍ値を決定する。ここでは，例えば図５で説明した実施例１のＭ値の決定と同じアルゴリズムにより，Ｍ値を決定する。
［ステップＳ３５］ピクチャタイプの決定：
ここでは，ステップＳ３２，Ｓ３４で決定したＭ値をもとに，４フレーム先までのピクチャタイプを決定する。
［ステップＳ３６］ピクチャの並び替え：
参照関係に合わせて，符号化順番を入れ替える。
［ステップＳ３７］符号化処理
ステップＳ３６で決定したピクチャタイプに従って，順番に符号化処理を行う。

本実施例では，動きの速さをＰピクチャの動きベクトルを利用して，確認している。動きが早い映像では，早い動きで効率のよいＭ＝２とし，それ以外では，実施例１と同様の方法で，Ｍ値を決定する。

本実施例では，Ｐピクチャの動きベクトルのノルムを利用しているが，参照ピクチャ間の距離に応じて，値が変化する。そこで，動きベクトルを利用する際は，参照ピクチャ間の距離で正規化したほうがよい。正規化することで，参照ピクチャ間距離が変化しても同じように扱うことが可能となる。

以上の実施例における符号化ピクチャタイプの決定において，符号化条件や入力映像に合わせて閾値を変化させてピクチャタイプを決定する方法も好適である。このため，閾値を設定する際，入力映像のピクチャサイズやフレームレート，および，符号化ビットレートまたは各ピクチャの割り当て符号量から，閾値を算出する手段を設ける。これにより，例えば以下のように閾値を変化させる。

（１）ピクチャサイズ
ピクチャサイズが変わるとブロックサイズが変わるため，統計量が変化する。ピクチャサイズが大きい場合には，閾値を下げ，ピクチャサイズが小さい場合には，閾値を上げる。

（２）フレームレート
フレームレートが変わるとフレーム間距離が変化し，統計量が変化する。フレームレートが高い場合には，フレーム間相関が高いため，閾値を下げ，フレームレートが低い場合には，フレーム間相関が低いため，閾値を上げる。

（３）符号化ビットレート
ビットレートによって，オーバヘッドコストの比率が変動し，予測モードの選択比率が変わり，統計量が変化する。ビットレートが高い場合には，閾値を下げ，ビットレートが低い場合には，閾値を上げる。

（４）各ピクチャの割り当て符号量
符号化ビットレートと同様に，割り当て符号量によって，予測モードの選択比率が変化する。例えば，Ｂピクチャへの割り当て比率が多い場合には，閾値を下げ，割り当て比率が少ない場合には，閾値を上げる。

フレーム間相関が小さい，Ｂピクチャの割り当て符号量が小さい場合には，オーバヘッドコストを小さくする制御が働くため，ｄｉｒｅｃｔモードやスキップが多発する。このため，これらの予測モードが多く選択されたとしても，必ずしも最適なピクチャタイプが選択されるとは限らない。

ピクチャサイズ，フレームレート，符号化ビットレートまたは各ピクチャの割り当て符号量などのパラメータは，ピクセル当たりの割り当て符号量でも比較することができる。単位時間当たりの画素数は，“ピクチャサイズ×フレームレート”であり，ビットレートをこの画素数で割れば，ｂｉｔ／ｐｅｌが求まる。ピクセル当たりの割り当て符号量と閾値のテーブルなどを予め作成しておき，このテーブルをピクセル当たりの符号量で参照することにより，閾値を決定することができる。

以上の符号化ピクチャタイプ決定の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の実施の形態のフローチャートである。 本発明を用いた符号化装置の構成例を示すブロック図である。 ４ピクチャ単位でＭ値を切り替える例を示す図である。 実施例１のフローチャートである。 Ｍ値を決定する処理のフローチャートである。 統計量とＧＯＰ構造の関係を示す図である。 実施例２のフローチャートである。 各ピクチャタイプの参照関係（ＧＯＰ構造）の例を示す図である。 従来技術のフローチャートである。 従来技術のブロック図である。

符号の説明

１０ 統計量算出部
１１ ピクチャタイプ決定部
１２ ピクチャ並び替え部
１００ 符号化処理部
１０１ 減算器
１０２ 直交変換部
１０３ 量子化部
１０４ 情報源符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 加算器
１０８ フレームメモリ
１０９ 動き探索部
１１０ 動き補償部

Claims (24)

1. 複数のピクチャ間予測モードを有する映像符号化方式における符号化ピクチャタイプ決定方法であって，
   符号化対象ピクチャの符号化処理前に，同じ符号化対象映像における当該符号化対象ピクチャより前に符号化した符号化済みピクチャ間予測ピクチャの符号化結果のみの統計量を算出する過程と，
   前記統計量を利用して，該統計量から得られる値と所定の閾値とを比較し，比較結果から前記符号化対象ピクチャのピクチャタイプを決定する過程と，
   前記決定されたピクチャタイプをもとに，ピクチャ間予測のピクチャタイプを切り替える過程とを有する
   ことを特徴とする符号化ピクチャタイプ決定方法。
2. 請求項１記載の符号化ピクチャタイプ決定方法において，
   前記符号化済みピクチャ間予測ピクチャの符号化結果のみを利用する際，双方向予測ピクチャの符号化結果のみを利用する
   ことを特徴とする符号化ピクチャタイプ決定方法。
3. 請求項１記載の符号化ピクチャタイプ決定方法において，
   前記符号化済みピクチャ間予測ピクチャの符号化結果として，動きベクトル，予測モード，予測ブロックサイズ，予測誤差電力のうち，１つまたは複数の値を用いる
   ことを特徴とする符号化ピクチャタイプ決定方法。
4. 請求項３記載の符号化ピクチャタイプ決定方法において，
   前記符号化済みピクチャ間予測ピクチャの複数の符号化結果を利用してピクチャタイプを決定する際，利用する符号化結果の種別毎に予め設定された閾値を用い，前記符号化結果の統計量と前記符号化結果の種別に対応する閾値とを比較し，比較結果から前記符号化対象ピクチャのピクチャタイプを決定する
   ことを特徴とする符号化ピクチャタイプ決定方法。
5. 請求項３記載の符号化ピクチャタイプ決定方法において，
   前記符号化済みピクチャ間予測ピクチャの複数の符号化結果を利用してピクチャタイプを決定する際，利用する符号化結果の統計量をパラメータとするコスト関数に代入してコスト値を算出する過程を有し，
   前記コスト値と前記閾値とを比較し，比較結果から前記符号化対象ピクチャのピクチャタイプを決定する
   ことを特徴とする符号化ピクチャタイプ決定方法。
6. 請求項１記載の符号化ピクチャタイプ決定方法において，
   前記符号化済みピクチャ間予測ピクチャの符号化結果として動きベクトルを利用する際，統計量として，動きベクトルの各成分またはノルムについての平均値，最大値または分散を算出する過程を有する
   ことを特徴とする符号化ピクチャタイプ決定方法。
7. 請求項１記載の符号化ピクチャタイプ決定方法において，
   前記符号化済みピクチャ間予測ピクチャの符号化結果として予測モードまたは予測ブロックサイズを利用する際，統計量として，各予測モードまたは予測ブロックサイズの選択比率を算出する過程を有する
   ことを特徴とする符号化ピクチャタイプ決定方法。
8. 請求項７記載の符号化ピクチャタイプ決定方法において，
   前記符号化済みピクチャ間予測ピクチャの双方向予測ピクチャから，双方向予測モードと省オーバヘッド予測モードの第１の選択比率を算出する過程と，
   前記第１の選択比率と所定の閾値とを比較する過程と，
   前記比較結果が予め定めた範囲に収まる場合に，前記第１の選択比率にさらに後方向予測モードの選択比率を加えた第２の選択比率を算出する過程と，
   前記第２の選択比率と所定の閾値とを比較する過程とを有し，
   予測モードの統計量を利用して，段階的にピクチャタイプを決定する
   ことを特徴とする符号化ピクチャタイプ決定方法。
9. 請求項１記載の符号化ピクチャタイプ決定方法において，
   前記符号化済みピクチャ間予測ピクチャの符号化結果として，符号化済みの片方向予測ピクチャと双方向予測ピクチャの両ピクチャタイプの符号化結果を用いる
   ことを特徴とする符号化ピクチャタイプ決定方法。
10. 請求項９記載の符号化ピクチャタイプ決定方法において，
    前記符号化済みの片方向予測ピクチャの動きベクトルの統計量を計測する過程と，
    前記双方向予測ピクチャの予測モードの統計量を計測する過程とを有し，
    算出した統計量からピクチャタイプを決定する
    ことを特徴とする符号化ピクチャタイプ決定方法。
11. 請求項１記載の符号化ピクチャタイプ決定方法において，
    入力映像のピクチャサイズ，フレームレート，符号化ビットレートもしくは各ピクチャの割り当て符号量，またはピクセル当たりの割り当て符号量から，前記閾値を算出する過程を有し，
    算出された閾値を前記統計量から得られる値との比較に用い，符号化条件または入力映像に合わせて前記閾値を変化させてピクチャタイプを決定する
    ことを特徴とする符号化ピクチャタイプ決定方法。
12. 複数のピクチャ間予測モードを有する映像符号化方式における符号化ピクチャタイプ決定装置であって，
    符号化対象ピクチャの符号化処理前に，同じ符号化対象映像における当該符号化対象ピクチャより前に符号化した符号化済みピクチャ間予測ピクチャの符号化結果のみの統計量を算出する手段と，
    前記統計量を利用して，該統計量から得られる値と所定の閾値とを比較し，比較結果から前記符号化対象ピクチャのピクチャタイプを決定する手段と，
    前記決定されたピクチャタイプをもとに，ピクチャ間予測のピクチャタイプを切り替える手段とを備える
    ことを特徴とする符号化ピクチャタイプ決定装置。
13. 請求項１２記載の符号化ピクチャタイプ決定装置において，
    前記符号化済みピクチャ間予測ピクチャの符号化結果のみを利用する際，双方向予測ピクチャの符号化結果のみを利用する
    ことを特徴とする符号化ピクチャタイプ決定装置。
14. 請求項１２記載の符号化ピクチャタイプ決定装置において，
    前記符号化済みピクチャ間予測ピクチャの符号化結果として，動きベクトル，予測モード，予測ブロックサイズ，予測誤差電力のうち，１つまたは複数の値を用いる
    ことを特徴とする符号化ピクチャタイプ決定装置。
15. 請求項１４記載の符号化ピクチャタイプ決定装置において，
    前記符号化済みピクチャ間予測ピクチャの複数の符号化結果を利用してピクチャタイプを決定する際，利用する符号化結果の種別毎に予め設定された閾値を用い，前記符号化結果の統計量と前記符号化結果の種別に対応する閾値とを比較し，比較結果から前記符号化対象ピクチャのピクチャタイプを決定する
    ことを特徴とする符号化ピクチャタイプ決定装置。
16. 請求項１４記載の符号化ピクチャタイプ決定装置において，
    前記符号化済みピクチャ間予測ピクチャの複数の符号化結果を利用してピクチャタイプを決定する際，利用する符号化結果の統計量をパラメータとするコスト関数に代入してコスト値を算出する手段を備え，
    前記コスト値と前記閾値とを比較し，比較結果から前記符号化対象ピクチャのピクチャタイプを決定する
    ことを特徴とする符号化ピクチャタイプ決定装置。
17. 請求項１２記載の符号化ピクチャタイプ決定装置において，
    前記符号化済みピクチャ間予測ピクチャの符号化結果として動きベクトルを利用する際，統計量として，動きベクトルの各成分またはノルムについての平均値，最大値または分散を算出する手段を備える
    ことを特徴とする符号化ピクチャタイプ決定装置。
18. 請求項１２記載の符号化ピクチャタイプ決定装置において，
    前記符号化済みピクチャ間予測ピクチャの符号化結果として予測モードまたは予測ブロックサイズを利用する際，統計量として，各予測モードまたは予測ブロックサイズの選択比率を算出する手段を備える
    ことを特徴とする符号化ピクチャタイプ決定装置。
19. 請求項１８記載の符号化ピクチャタイプ決定装置において，
    前記符号化済みピクチャ間予測ピクチャの双方向予測ピクチャから，双方向予測モードと省オーバヘッド予測モードの第１の選択比率を算出する手段と，
    前記第１の選択比率と所定の閾値とを比較する手段と，
    前記比較結果が予め定めた範囲に収まる場合に，前記第１の選択比率にさらに後方向予測モードの選択比率を加えた第２の選択比率を算出する手段と，
    前記第２の選択比率と所定の閾値とを比較する手段とを備え，
    予測モードの統計量を利用して，段階的にピクチャタイプを決定する
    ことを特徴とする符号化ピクチャタイプ決定装置。
20. 請求項１２記載の符号化ピクチャタイプ決定装置において，
    前記符号化済みピクチャ間予測ピクチャの符号化結果として，符号化済みの片方向予測ピクチャと双方向予測ピクチャの両ピクチャタイプの符号化結果を用いる
    ことを特徴とする符号化ピクチャタイプ決定装置。
21. 請求項２０記載の符号化ピクチャタイプ決定装置において，
    前記符号化済みの片方向予測ピクチャの動きベクトルの統計量を計測する手段と，
    前記双方向予測ピクチャの予測モードの統計量を計測する手段とを備え，
    算出した統計量からピクチャタイプを決定する
    ことを特徴とする符号化ピクチャタイプ決定装置。
22. 請求項１２記載の符号化ピクチャタイプ決定装置において，
    入力映像のピクチャサイズ，フレームレート，符号化ビットレートもしくは各ピクチャの割り当て符号量，またはピクセル当たりの割り当て符号量から，前記閾値を算出する手段を備え，
    算出された閾値を前記統計量から得られる値との比較に用い，符号化条件または入力映像に合わせて前記閾値を変化させてピクチャタイプを決定する
    ことを特徴とする符号化ピクチャタイプ決定装置。
23. 請求項１から請求項１１までのいずれか１項に記載の符号化ピクチャタイプ決定方法をコンピュータに実行させるための符号化ピクチャタイプ決定プログラム。
24. 請求項２３記載の符号化ピクチャタイプ決定プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images