JP2008016985A

JP2008016985A - 動画像符号化装置

Info

Publication number: JP2008016985A
Application number: JP2006183982A
Authority: JP
Inventors: Hideki Takehara; 英樹竹原; Takashi Morishige; 孝森重; Shigeru Fukushima; 茂福島; Hitoshi Murazaki; 仁村崎; Ichiro Ando; 一郎安藤
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-07-04
Filing date: 2006-07-04
Publication date: 2008-01-24
Anticipated expiration: 2026-07-04
Also published as: JP4561701B2

Abstract

【課題】画像間予測符号化を行う際には、画像間予測効率の影響を受けるため、１画像内のアクティビティから求めた相関の高い構造を選択することが必ずしも符号化効率の向上には繋がらない。
【解決手段】判定器１１３は、フレームタイプ信号ｂから符号化対象の入力画像信号ａのフレームタイプを判定する。判定器１１３は、フレームアクティビティ演算器１１１からのブロックフレームアクティビティから基本ブロックのフレームアクティビティを算出すると共に、フィールドアクティビティ演算器１１２からのブロックフィールドアクティビティから基本ブロックのフィールドアクティビティを算出する。判定器１１３はフレームアクティビティＦＲとフィールドアクティビティＦＩを比較し、ＦＲ及びＦＩのうち、相対的に値が小さな方のフレーム構造の符号化対象画像信号ｄを出力する。
【選択図】図３

Description

本発明は動画像符号化装置に係り、特に動画像に関する画像データを所定画素数のブロックに分割し、前記ブロックを単位として動き補償予測を用いて圧縮符号化を行う動画像符号化装置に関する。

現在、動画像に関する画像データを高能率に圧縮して符号化する圧縮符号化規格が多数規格化され、磁気テープ、ＤＶＤ(Digital Versatile Disc)、半導体メモリなどの蓄積メディアや衛星デジタル放送、インターネットなどの放送通信分野で広く使用されている。

上記の圧縮符号化規格のうち代表的なＭＰＥＧ（Moving Picture Experts Group）などでは、インタレース走査により得られる動画像データを、所定のブロック単位でインタレース構造とフレーム構造を切り替えて符号化する。これは、フィールド構造の動画像データはフレーム構造の動画像データと比較し、垂直方向の画素が間引きとなるため垂直方向の画素空間相関（空間解像度）が低くなるが、１フレーム分の時間を２フィールドで表現するため画素時間相関（時間解像度）が高くなるため、時間的変化が少ない、動きの少ない画像データの場合は、空間解像度が高くなるフレーム構成で符号化を行うと効率が良くなり、逆に、時間的変化が大きい、動きの多い画像データの場合は、時間解像度が高くなるフィールド構成で符号化を行うと効率が良くなるためである。

そこで、フレーム構造とフィールド構造の垂直方向の画素相関値を比較して、相関の高い方の構造を符号化する動画像符号化装置が開示されている（例えば、特許文献１参照）。

特許第３１２５１４５号公報

しかし、上記の特許文献１記載の動画像符号化装置では次のような課題がある。一般的に、動画像データをブロック単位で圧縮符号化する動画像符号化装置では、動画像データに対して画像内符号化のみを行うＩフレーム、片方向画像間予測符号化を行うＰフレーム、双方向画像間予測符号化を行うＢフレームの計３つのフレームタイプ（予測タイプとしてのピクチャタイプ）がある。Ｉフレームでは全てのブロックが画像内符号化され、Ｐフレームではブロック単位で画像内符号化と片方向画像間予測符号化が切り替えられ、Ｂフレームではブロック単位で画像内符号化、片方向画像間予測符号化、双方向画像間予測符号化が切り替えられる。上述した動画像符号化装置では、フレームタイプに関わらず、１画像内におけるフレーム構造とフィールド構造の垂直方向の画素相関値を比較して、相関の高い方の構造を符号化している。

画像内符号化を行う際には、アクティビティから求めた相関の高い構造を選択することで符号化効率が向上することが期待できるが、画像間予測符号化を行う際には、画像間予測効率の影響を受けるため、１画像内のアクティビティから求めた相関の高い構造を選択することが必ずしも符号化効率の向上には繋がらない。そこで、１画像内のアクティビティに加えて画像間予測効率を考慮することでより符号化効率の向上を図る。

すなわち、図６（ａ）に示すようにＦ０、Ｆ１、Ｆ２の順で１／３０秒のフレーム毎に表示が切り替わるフレーム構造での画像間予測距離は１／３０秒となり、一方、図６（ｂ）に示すようにあるフレーム０のトップフィールドｆＴ０及びボトムフィールドｆＢ０、次のフレーム１のトップフィールドｆＴ１、ボトムフィールドｆＴＢ１、次のフレーム２のトップフィールドｆＴ２、ボトムフィールドｆＴＢ２の順で１／６０秒のフィールド毎に表示が切り替わるフィールド構造での画像間予測距離は１／６０秒である。動画像には時間方向に相関性があるため、画像間予測距離が近いほど予測効率は高くなる。

従って、画像間予測符号化を行うフレームタイプ（Ｐフレーム及びＢフレーム）については、フィールド構造の選択率を増加させることで、画像間予測効率を向上させることが可能となる。特に、フィールド／フレーム判定が曖昧になりやすい特徴を持った複雑で細かな動きが多い動画像について効果を期待できる。

本発明は以上の点を鑑みてなされたもので、フレームタイプに応じてフレーム構造とフィールド構造の選択率を可変にすることで、画像間予測効率を向上させ、好適な画質の符号化信号を生成し得る動画像符号化装置を提供することを目的とする。

上記目的を達成するため、本発明は、インターレース走査による入来動画像信号を予め定められた第１の画素数の第１のブロックを最小符号化単位として、複数の第１のブロックを備えた所定の画像単位毎に画像内符号化又は画像間予測符号化して符号化画像信号を得る動画像符号化装置において、入来動画像信号を第１の画素数よりも少ない第２の画素数の第２のブロック単位で、フレーム構造の垂直画素間エネルギーを示すブロックフレームアクティビティを算出する第１の算出手段と、入来動画像信号を第２のブロック単位で、フィールド構造の垂直画素間エネルギーを示すブロックフィールドアクティビティを算出する第２の算出手段と、動画像信号の各画像単位を画像内符号化と画像間予測符号化のどちらで符号化するかを示す予測タイプ信号と、ブロックフレームアクティビティ及びブロックフィールドアクティビティとが供給され、ブロックフィールドアクティビティに基づいて現符号化対象の第１のブロックにおけるフィールドアクティビティに関する値であるＦＩを生成すると共に、現符号化対象の第１のブロックを含む画像単位の予測タイプ信号が画像内符号化を示しているときは、ブロックフレームアクティビティに基づいて現符号化対象の第１のブロックにおけるフレームアクティビティに関する値であるＦＲ１を生成し、現符号化対象の第１のブロックを含む画像単位の予測タイプ信号が画像間予測符号化を示しているときは、ブロックフレームアクティビティに基づいて現符号化対象の第１のブロックにおけるフレームアクティビティに関する値であり、ＦＲ１より大なる値のＦＲ２を生成する生成手段と、ＦＩがＦＲ１より大又はＦＩがＦＲ２より大のときは、現符号化対象の第１のブロックをフレーム構造で符号化させるように制御し、ＦＩがＦＲ１より小又はＦＩがＦＲ２より小のときは、現符号化対象の第１のブロックをフィールド構造で符号化させるように制御し、ＦＩがＦＲ１と等しい又はＦＩがＦＲ２と等しいときは、現符号化対象の第１のブロックをフィールド構造もしくはフレーム構造のどちらか一方の構造で符号化させるように制御する符号化構造判定手段とを有することをことを特徴とする。

この発明では、画像内符号化を行うときにはブロックフィールドアクティビティに基づいて生成したＦＩと、ブロックフレームアクティビティに基づいて生成したＦＲ１とを比較し、画像間予測符号化を行うときには上記のＦＩとブロックフレームアクティビティに基づいて生成したＦＲ１より大なる値のＦＲ２とを比較し、ＦＲ１又はＦＲ２がＦＩより大なる値のときはフィールド構造で符号化した符号化画像信号を出力するが、ＦＲ２はＦＲ１よりも大であるので、画像間予測符号化を行うときには画像内符号化を行うときよりもフィールド構造で符号化した符号化画像信号をより高い確率で出力することができる。

本発明によれば、フレームタイプに応じてフレーム構造とフィールド構造の選択率を可変にすることで、特に、フィールド／フレーム判定が曖昧になりやすい特徴を持った複雑で細かな動きが多い動画像について、好適な画質の動画像符号化装置を提供することができ、また、画像間予測符号化を行うときには画像内符号化を行うときよりもフィールド構造で符号化した符号化画像信号をより高い確率で出力するようにしたため、画像間予測符号化では予測効率の高いフィールド構造を優先することができ、よりフレームタイプに適合した最適な符号化画像信号の選択出力ができる。

次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる動画像符号化装置の一実施の形態の構成図を示す。図２は本発明になる動画像符号化装置の一実施形態の全体的な動作を説明するフローチャートである。図１の実施の形態の構成及び動作について、図２を参照して説明する。まず、符号化対象のインターレース走査動画信号である入力画像信号ａは、画像信号ａの各画像単位を画像内符号化と画像間予測符号化のどちらで符号化するかを示す予測タイプ信号であるフレームタイプ信号ｂと共に符号化構造決定器１１に入力される。符号化構造決定器１１は後述する構成により、フレームタイプ信号ｂに応じて入力画像信号を基本ブロック毎にフレーム構造またはフィールド構造で符号化するのかを決定し（ステップＳ１００）、決定したフレーム／フィールド構造を示す符号化構造信号ｃと符号化対象画像信号ｄを出力する。

ここで、符号化対象画像信号ｄは、符号化構造信号ｃがフレーム構造を示していれば入力画像信号ａをフレーム構造で整列した画像信号となり、符号化構造信号ｃがフィールド構造を示していれば入力画像信号ａをフィールド構造で整列した画像信号となる。また、基本ブロックはマクロブロック単位（水平１６画素×垂直１６画素）を用いる。なお、基本ブロックはマクロブロックペア単位（水平１６画素×垂直３２画素）とすることもできる。

符号化構造信号ｃと符号化対象画像信号ｄは動き検出器１３に与えられる。動き検出器１３は符号化構造信号ｃに応じて、符号化対象画像信号ｄと画像メモリ２３からの参照画像信号から動きベクトルを求める（ステップＳ１０１）。動き補償予測器１４は動き検出器１３からの動きベクトルと画像メモリ２３からの参照画像信号とから予測信号を生成し（ステップＳ１０２）、減算器１２に送る。減算器１２は符号化対象画像信号ｄから動き補償予測器１４からの予測信号を減算して予測誤差信号を生成する（ステップＳ１０３）。

直交変換器１５は減算器１２からの予測誤差信号の直交変換処理を行い（ステップＳ１０４）、得られた係数を量子化器１６に与える。量子化器１６は所定の量子化ステップ幅で係数を量子化し（ステップＳ１０５）、量子化された係数をエントロピー符号化器１７と逆量子化器１９に与える。エントロピー符号化器１７は量子化された係数を予め定められた方法に従ってエントロピー符号化する（ステップＳ１０６）。多重化器１８では、フレームタイプ信号ｂ、符号化構造信号ｃ、動きベクトル及びエントロピー符号化した符号列などと共にヘッダ情報を多重化し（ステップＳ１０７）、動画像符号信号ｅを生成して出力する。

一方、逆量子化器１９は量子化器１６からの量子化された係数を逆量子化し（ステップＳ１０８）、逆直交変換器２０は、逆量子化器１９からの逆量子化された信号に対して直交変換と逆の処理を行い、予測誤差信号を再生する（ステップＳ１０９）。加算器２１は逆直交変換器２０からの予測誤差信号と動き補償予測器１４からの予測信号とを加算し（ステップＳ１１０）、局部復号された再生画像信号を生成する。この再生画像信号は、符号化時に生じるブロック歪みを減少させるためのデブロック処理がループフィルタ２２によって行われた後（ステップＳ１１１）、画像メモリ２３に供給されて蓄えられる（ステップＳ１１２）。画像メモリ２３に蓄積された再生画像信号は、必要に応じて読み出され参照画像信号として動き検出器１３及び動き補償予測器１４にそれぞれ供給される。

次に、本実施の形態における動画像符号化装置の特徴的な構成要素である符号化構造決定器１１の構成及び動作について更に詳細に説明する。図３は本発明における動画像符号化装置の特徴的な構成要素である符号化構造決定器１１の一実施の形態のブロック図を示す。図３に示すように、符号化構造決定器１１は、フレームアクティビティ演算器１１１、フィールドアクティビティ演算器１１２及び判定器１１３から構成されている。

フレームアクティビティ演算器１１１は図５（ａ）に示すように、白丸で示すトップフィールド（奇数フィールド）の画素と、黒丸で示すボトムフィールド（偶数フィールド）の画素のうち、アクティビティブロック単位（水平８画素×垂直８画素）毎に後述する（１）式によりブロックフレームアクティビティ(Block Frame Activity)を算出する。このブロックフレームアクティビティ(Block Frame Activity)は、垂直方向に隣接する２ラインの画素間のエネルギーの総和である。

また、フィールドアクティビティ演算器１１２は図５（ｂ）に示すように、白丸で示すトップフィールド（奇数フィールド）の画素のうち、又は黒丸で示すボトムフィールド（偶数フィールド）の画素のうち、アクティビティブロック単位（水平８画素×垂直８画素）毎に後述する（２）式によりブロックフィールドアクティビティ(Block Field Activity)を算出する。このブロックフィールドアクティビティ(Block Field Activity)は、垂直方向に隣接する２つの画素間のエネルギーの総和である。

ここで、（１）式及び（２）式はエネルギーを垂直画素間絶対差分とみなしたアクティビティ算出方法の一例である。また、（１）式、（２）式中、Ｐ（ｘ，ｙ）はフレーム画像における水平座標ｘ、垂直座標ｙにおける画素値であり、Ｐ（ｘ，ｙ＋１）は画素値Ｐ（ｘ，ｙ）の画素より異なるフィールドの１ライン下側に隣接する画素の画素値であり、Ｐ（ｘ，ｙ＋２）は画素値Ｐ（ｘ，ｙ）の画素と同じフィールドの１ライン下側に隣接する画素の画素値である。

また、図３において、判定器１１３は、フレームタイプ信号ｂと、フレームアクティビティ演算器１１１及びフィールドアクティビティ演算器１１２の各出力信号とを入力として受け、基本ブロック毎にフレーム構造またはフィールド構造で符号化するのかを決定して、フレーム／フィールド構造を示す符号化構造信号ｃと符号化対象画像信号ｄを出力する。

次に、図３の実施の形態の動作について、図４のフローチャートを併せ参照して説明する。図３において、入力画像信号ａはフレームアクティビティ演算器１１１とフィールドアクティビティ演算器１１２に入力される。フレームアクティビティ演算器１１１は入力画像信号ａに対して、アクティビティブロック単位（水平８画素×垂直８画素）毎に（１）式に基づいてブロックフレームアクティビティ（Block Frame Activity）を算出して出力する。また、これと並行してフィールドアクティビティ演算器１１２は入力画像信号ａに対して、アクティビティブロック単位（水平８画素×垂直８画素）毎に（２）式に基づいてブロックフィールドアクティビティ（Block Field Activity）を算出して出力する。

判定器１１３は、フレームタイプ信号ｂと、フレームアクティビティ演算器１１１及びフィールドアクティビティ演算器１１２の各出力信号とを入力として受け、まず、フレームタイプ信号ｂから符号化対象の入力画像信号ａのフレームタイプがＩフレーム、Ｐフレーム、Ｂフレームのいずれであるかを判定する（ステップＳ２０１）。

また、判定器１１３は、フレームアクティビティ演算器１１１からのブロックフレームアクティビティ（Block Frame Activity）から基本ブロックのフレームアクティビティ（FrameActivity）を算出すると共に、フィールドアクティビティ演算器１１２からのブロックフィールドアクティビティ（Block Field Activity）から基本ブロックのフィールドアクティビティ（FieldActivity）を算出する。ここで、基本ブロックのフレームアクティビティ（FrameActivity）は、基本ブロックに含まれる４つのブロックフレームアクティビティ（Block Frame Activity）の和であり、また、基本ブロックのフィールドアクティビティ（FieldActivity）、基本ブロックに含まれる４つのブロックフィールドアクティビティ（Block Field Activity）の和であり、それぞれ次式で表される。

FrameActivity＝ΣBlock Frame Activity （３）
FieldActivity＝ΣBlock Field Activity （４）
なお、基本ブロックのフレーム（フィールド）アクティビティの算出方法は４つのブロックフレーム（フィールド）アクティビティの和に限定しない。４つのブロックフレーム（フィールド）アクティビティの最小値、最大値、平均値などを用いることもできる。

判定器１１３はステップＳ２０１でフレームタイプ信号ｂがＩフレームであると判定した場合には、次式
ＦＲ＝FrameActivity （５）
ＦＩ＝FieldActivity （６）
により、それぞれフレームアクティビティＦＲ、フィールドアクティビティＦＩを算出する（ステップＳ２０３）。

また、判定器１１３はステップＳ２０１でフレームタイプ信号ｂがＰフレームであると判定した場合には、次式
ＦＲ＝FrameActivity＋Op （７）
ＦＩ＝FieldActivity （８）
により、それぞれフレームアクティビティＦＲ、フィールドアクティビティＦＩを算出する（ステップＳ２０２）。また、判定器１１３はステップＳ２０１でフレームタイプ信号ｂがＢフレームであると判定した場合には、次式
ＦＲ＝FrameActivity＋Ob （９）
ＦＩ＝FieldActivity （10）
により、それぞれフレームアクティビティＦＲ、フィールドアクティビティＦＩを算出する（ステップＳ２０４）。すなわち、判定器１１３はフレームタイプがＰフレーム又はＢフレームのときには、ＩフレームのときよりもフレームアクティビティＦＲの値が大なるように、正の値のオフセット値Ｏｐ、Ｏｂ（すなわち、Ｏｐ＞０、Ｏｂ＞０）を加算する。

続いて、判定器１１３はステップ２０２、２０３又は２０４で算出した上記のフレームアクティビティＦＲ及びフィールドアクティビティＦＩが、ＦＲ≦ＦＩであるかどうか判定し（ステップＳ２０５）、ＦＲ≦ＦＩであるときにはフレーム構造と決定し（ステップＳ２０６）、ＦＲ＞ＦＩであるときにはフィールド構造と決定する（ステップＳ２０７）。ＦＲ及びＦＩのうち、相対的に値が小さな方が相関が高いからである。なお、ＦＲ＝ＦＩの時にはフィールド構造と決定するようにしてもよい（等号が成立する場合にはどちらの符号化構造でも選択可能としておくようにしてもよい。）。

判定器１１３はこのようにして決定したフレーム構造／フィールド構造を示す符号化構造信号ｃを生成して出力する。判定器１１３は、符号化構造信号ｃがフレーム構造を示していれば入力画像信号ａをフレーム構造として符号化させるように後段の符号化を制御し、符号化構造信号ｃがフィールド構造を示していれば入力画像信号ａをフィールド構造として符号化させるように後段の符号化を制御する。

このように、本実施の形態では、画像間予測符号化を行うフレームタイプであるＰフレームとＢフレームにおいて、ＩフレームのときよりもフレームアクティビティＦＲの値が大なるように、正の値のオフセット値Ｏｐ、Ｏｂを加算したのは、画像間予測を行うＰフレームやＢフレームのフレームアクティビティが画像内符号化を行うＩフレームほど符号化効率との関連性が高くないため、ＰフレームとＢフレームでは予測効率の高いフィールド構造を優先するためである。

上記のように、本実施の形態によれば、フレームタイプに応じてフレーム構造とフィールド構造の選択率を可変にすることで、特に、フィールド／フレーム判定が曖昧になりやすい特徴を持った複雑で細かな動きが多い動画像について、好適な画質の動画像符号化装置を提供することができる。

なお、本発明は上記の実施の形態に限定されるものではなく、０＜Ｏｐ＜Ｏｂに設定し、Ｐフレームよりも更にＢフレームの方を予測効率の高いフィールド構造を優先するように設定してもよい。また、本実施の形態では予測タイプ信号としてのフレームタイプ信号に応じてオフセット値の制御を行ったが、これを予測タイプ信号としてのスライスタイプ信号に応じて制御することも可能である（フレームやフィールドよりも小さい画像単位であるスライス単位で予測タイプ［画像内予測、片方向予測、双方向予測］を設定している場合もあり、これに対応させるため）。

また、本発明は図１及び図３に示した構成をコンピュータにより実行させる動画像符号化プログラムも包含するものである。ここで、この動画像符号化プログラムは、記録されている記録媒体からコンピュータに取り込まれてもよいし、通信ネットワークを介して配信されてコンピュータに取り込まれてもよく、更にはファームウェアとしてコンピュータに組み込まれていてもよい。

本発明の動画像符号化装置の一実施の形態のブロック図である。本発明の動画像符号化装置の一実施の形態の動作説明用フローチャートである。本発明の動画像符号化装置の要部の符号化構造決定器の一実施の形態のブロック図である。図３の符号化構造決定器の動作説明用フローチャートである。本発明の動画像符号化装置の実施例におけるフレームアクティビティとフィールドアクティビティを説明する図である。フレーム構造とフィールド構造を説明する図である。

符号の説明

ａ入力画像信号
ｂフレームタイプ信号
ｃ符号化構造信号
ｄ符号化対象画像信号
ｅ動画像符号信号
１１符号化構造決定器
１２減算器
１３動き検出器
１４動き補償予測器
１５直交変換器
１６量子化器
１７エントロピー符号化器
１８多重化器
１９逆量子化器
２０逆直交変換器
２１加算器
２２ループフィルタ
２３画像メモリ
１１１フレームアクティビティ演算器
１１２フィールドアクティビティ演算器
１１３判定器

Claims

インターレース走査による入来動画像信号を予め定められた第１の画素数の第１のブロックを最小符号化単位として、複数の前記第１のブロックを備えた所定の画像単位毎に画像内符号化又は画像間予測符号化して符号化画像信号を得る動画像符号化装置において、
前記入来動画像信号を前記第１の画素数よりも少ない第２の画素数の第２のブロック単位で、フレーム構造の垂直画素間エネルギーを示すブロックフレームアクティビティを算出する第１の算出手段と、
前記入来動画像信号を前記第２のブロック単位で、フィールド構造の垂直画素間エネルギーを示すブロックフィールドアクティビティを算出する第２の算出手段と、
前記動画像信号の各画像単位を前記画像内符号化と前記画像間予測符号化のどちらで符号化するかを示す予測タイプ信号と、前記ブロックフレームアクティビティ及び前記ブロックフィールドアクティビティとが供給され、前記ブロックフィールドアクティビティに基づいて現符号化対象の前記第１のブロックにおけるフィールドアクティビティに関する値であるＦＩを生成すると共に、前記現符号化対象の第１のブロックを含む画像単位の前記予測タイプ信号が前記画像内符号化を示しているときは、前記ブロックフレームアクティビティに基づいて前記現符号化対象の第１のブロックにおけるフレームアクティビティに関する値であるＦＲ１を生成し、前記現符号化対象の第１のブロックを含む画像単位の前記予測タイプ信号が前記画像間予測符号化を示しているときは、前記ブロックフレームアクティビティに基づいて前記現符号化対象の第１のブロックにおけるフレームアクティビティに関する値であり、前記ＦＲ１より大なる値のＦＲ２を生成する生成手段と、
前記ＦＩが前記ＦＲ１より大又は前記ＦＩが前記ＦＲ２より大のときは、前記現符号化対象の第１のブロックをフレーム構造で符号化させるように制御し、前記ＦＩが前記ＦＲ１より小又は前記ＦＩが前記ＦＲ２より小のときは、前記現符号化対象の第１のブロックをフィールド構造で符号化させるように制御し、前記ＦＩが前記ＦＲ１と等しい又は前記ＦＩが前記ＦＲ２と等しいときは、前記現符号化対象の第１のブロックをフィールド構造もしくはフレーム構造のどちらか一方の構造で符号化させるように制御する符号化構造判定手段と
を有することを特徴とする動画像符号化装置。