JP4243472B2 - 画像符号化装置、画像符号化方法および画像符号化プログラム - Google Patents
画像符号化装置、画像符号化方法および画像符号化プログラム Download PDFInfo
- Publication number
- JP4243472B2 JP4243472B2 JP2002326288A JP2002326288A JP4243472B2 JP 4243472 B2 JP4243472 B2 JP 4243472B2 JP 2002326288 A JP2002326288 A JP 2002326288A JP 2002326288 A JP2002326288 A JP 2002326288A JP 4243472 B2 JP4243472 B2 JP 4243472B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- code amount
- coding
- hybrid
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、予測符号化と変換符号化とを組み合わせたハイブリッド符号化によって、画像を符号化する画像符号化装置、画像符号化方法および画像符号化プログラムに関する。
【０００２】
【従来の技術】
一般に、動画像等の画像データを符号化する方式として、動きベクトルによる動き補償予測を行う予測符号化と、ＤＣＴ（直交コサイン変換）係数を用いた変換符号化とを組み合わせたハイブリッド符号化による動画像符号化方式が広く普及している。
【０００３】
この動画像符号化方式において、デジタルテレビジョン放送等に使用されている動画像符号化にＭＰＥＧ−２ビデオ（非特許文献１参照）がある。このＭＰＥＧ−２ビデオに準拠した動画像符号化方式を実現したものとして、ＴＭ５（Ｔｅｓｔ Ｍｏｄｅｌ ５，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００，ＭＰＥＧ９３／４７５）が挙げられ、このＴＭ５は、動画像符号化方式おけるＭＰＥＧ−２ビデオの規格を実現したエンコーダである。
【０００４】
ここで、このＭＰＥＧ−２ビデオについて詳細に説明する。
ＭＰＥＧ−２ビデオでは、画面を構成するフレームの標本がすべて同一の時間的瞬間を示すプログレッシブシーケンスに加えて、当該フレームの交互の走査線が時間的に異なる瞬間を示すインターレスシーケンスにも対応するため、階層的にフレーム処理またはフィールド処理が適応選択することができるように規格化されている。１フレームは２つのフィールドからなっている。また、１フレームを１画面として符号化する場合、或いは、２つのフィールドを２画面として符号化する場合等、当初の画面（当初の画像）をどのように符号化するかを決定することを符号化画面構造（画像構造）という。１フレームを１画面として符号化したものをフレーム画像といい、２つのフィールドを２画面として符号化したそれぞれのものをフィールド画像といい、これらフレーム画像およびフィールド画像をフレーム単位で適応的（任意）に選択することができる。
【０００５】
そして、フレーム画像に符号化する際には、フレームＤＣＴまたはフィールドＤＣＴのＤＣＴタイプの使い分けが可能であり、当初の画像はマクロブロック（輝度成分１６画素×１６ラインおよびこの領域に対応する色差成分）に分割され、さらに、マクロブロックは、各ＤＣＴタイプによって、細かいブロック（輝度成分および色差成分とも、それそれ８画素×８ライン）に分割され、ＤＣＴ符号化される。ＤＣＴタイプにフレームＤＣＴが使用された場合では、細かいブロックは２つのフィールドからの交互のラインで構成され、ＤＣＴタイプにフィールドＤＣＴが使用された場合では、細かいブロックは２つのフィールドからの一方のラインで構成される。
【０００６】
マクロブロックには、当該マクロブロックのみの情報を用いて、当初の画像を符号化するイントラマクロブロックと、先に符号化された画像の予測に基づいて当初の画像を符号化するインターマクロブロックとがある。また、予測符号化における予測タイプは、フィールド予測とフレーム予測との２種類に大別されている。フィールド予測は、先に符号化されたフィールドを使用し、トップフィールドとボトムフィールドについて独立に予測を行うものである。フレーム予測は、先に符号化されたフレームから予測を行うものである。
【０００７】
フィールド画像では、予測タイプは全てフィールド予測であり、フレーム画像では、フィールド予測またはフレーム予測をマクロブロック毎に予測タイプを選択することができる。ただし、フレーム画像では、ＦＰＦＤ（Ｆｒａｍｅ Ｐｒｅｄ Ｆｒａｍｅ Ｄｃｔ）フラグが“１”に設定されると、フレームＤＣＴとフレーム予測のみが使用され、フィールド画像では、ＦＰＦＤフラグは“０”とされる。
【０００８】
また、ＭＰＥＧ−２ビデオにおいて、当初の画像が符号化されたピクチャタイプには、Ｉ、Ｐ、Ｂ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）がある。Ｉピクチャは、自らの情報のみが使用されて符号化された画像であり、イントラマクロブロックのみで構成されている。Ｐピクチャは、過去（当該Ｐピクチャ符号化前）の参照画像から動き予測補償が使用されて符号化された画像であり、イントラマクロブロックと過去から予測される前方向予測のインターマクロブロックで構成されている。Ｂピクチャは、過去（当該Ｂピクチャ符号化前）および未来（当該Ｂピクチャ符号化後）の参照画像から動き予測補償が使用されて符号化された画像であり、イントラマクロブロックと、過去から予測される前方向予測および未来から予測される後方向予測ならびに過去および未来から予測される両方向予測のインターマクロブロックとによって構成されている。
【０００９】
なお、補足までに、前記した予測符号化における予測タイプ以外のものについて説明しておくと、例えば、「デュアルプライム」と、「１６×８動き補償」といった予測タイプがある。「デュアルプライム」では、当初の画像中における動きベクトル１つと、この動きベクトルよりも小さい差分ベクトルとが使用される。また、「１６×８動き補償」では、マクロブロック単位に１６×８領域の上部と下部との２組の動きベクトルが使用され、「１６×８動き補償」はフィールド画像のみに使用される。
【００１０】
ところで、このＭＰＥＧ−２ビデオ準拠の動画像符号化方式では、動きベクトルや、マクロブロックモードの決定は以下に示すように行われている。
【００１１】
この動画像符号化方式では、まず、各予測タイプについて、選択候補の動きベクトルの絶対値予測誤差を比較し、この絶対値予測誤差が最小となる動きベクトルを選択する。次に、各予測タイプの平均二乗予測誤差を比較し、この平均二乗予測誤差が最小となる予測タイプを選択する。最後に、マクロブロックの入力誤差の分散と選択された予測タイプの平均二乗予測誤差とを比較し、入力誤差の分散の方が小さい場合、イントラマクロブロックを、平均二乗予測誤差の方が小さい場合、選択された予測タイプのイントラマクロブロックをそれぞれ選択する。
【００１２】
また、変換符号化におけるバッファ制御は、バッファの占有量からフィードバック制御によって得られたＤＣＴ係数の量子化値に基づいて、ＤＣＴ係数発生符号量が調整されることによって行われている。
【００１３】
参考までに、この動画像符号化方式によって画像データを符号化する従来の画像符号化装置を図１４に示す。この画像符号化装置１０１では、ビデオ入力からの入力された画像データ（入力画素）の符号化の仕方を符号化モード決定部１０３で決定している。この符号化モード決定部１０３では、入力画素と、フレームメモリに蓄積されている参照画素（入力画素より以前に入力された画素）とにより、予測誤差値を演算し、この予測誤差値に基づいて符号化モードを決定するものである。
【００１４】
【非特許文献１】
ＩＳＯ／ＩＥＣ１３８１８−２ １９９５年（動画像の圧縮規格書）
【００１５】
【発明が解決しようとする課題】
しかしながら、従来のＭＰＥＧ−２ビデオ準拠の動画像符号化方式では、動きベクトル、予測タイプ、マクロブロックモードの選択基準に符号化ビットレートが考慮されていなかったので、同じ画像データ（映像）であれば、符号化ビットレートに拘わらず、動きベクトルやマクロブロックモードに係る情報について発生する発生符号量がほぼ等しくなる。そして、符号化ビットレートが低くなると、動きベクトル等の発生符号量の割合が増加する傾向にあり、この結果、ＤＣＴ係数への割当符号量が減少し、この割当符号量の減少により、符号化した画像データの画質が劣化するという問題がある。
【００１６】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、ハイブリッド符号化において符号化ビットレートが低くなっても、符号化した画像データの画質劣化を抑制することができる画像符号化装置、画像符号化方法および画像符号化プログラムを提供することにある。
【００１７】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１に記載の画像符号化装置は、動きベクトルによる動き補償予測を用いた予測符号化と直交変換を用いた変換符号化とを組み合わせたハイブリッド符号化によって、画像データを符号化する画像符号化装置であって、予測誤差値演算手段と、変換係数割当符号量演算手段と、符号化効率評価値演算手段と、符号化モード選択手段と、符号化手段と、を備える構成とした。
【００１８】
かかる構成によれば、画像符号化装置は、予測誤差値演算手段によって、予測符号化によって前記画像データを符号化した際の誤差値として、前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、イントラ符号化モードにおける誤差値Ｄ １ を、前記ハイブリッド符号化ブロックに含まれる変換ブロックの入力画素の分散の平均により演算し、インター符号化モードにおける誤差値Ｄ ２ を、前記ハイブリッド符号化ブロックの入力画素と当該ブロックの参照画素との平均二乗誤差、平均絶対値誤差、又は、相互相関係数により演算する。
続いて、画像符号化装置は、変換係数割当符号量演算手段によって、画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、前記イントラ符号化モードにおける変換係数割当符号量Ｔ Ｃ１ を、前記ハイブリッド符号化する際のハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量から、前記イントラ符号化モードの発生符号量と、当該ハイブリッド符号化ブロックに含まれる変換ブロックの直流係数の発生符号量の総和とを減算することで求め、前記インター符号化モードにおける変換係数割当符号量Ｔ Ｃ２ を、前記ハイブリッド符号化ブロック割当符号量から、前記インター符号化モードの発生符号量と、前記動きベクトルの発生符号量とを減算することで求める。
また、画像符号化装置は、符号化効率評価値演算手段によって、前記イントラ符号化モードにおける符号化効率を示す評価値Ｅ １ として、前記予測誤差値演算手段で演算した誤差値Ｄ １ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ１ との積を演算し、前記インター符号化モードにおける符号化効率を示す評価値Ｅ ２ として、前記予測誤差値演算手段で演算した誤差値Ｄ ２ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ２ との積を演算することで、符号化効率を示す評価値を求める。
そして、画像符号化装置は、符号化モード選択手段によって、符号化効率評価値演算手段で演算された評価値が最大となる符号化モードを選択する。
そして、画像符号化装置は、符号化手段によって、符号化モード選択手段で選択した符号化モードにより、画像データを符号化する。
【００１９】
つまり、予測誤差値演算手段および変換係数割当符号量演算手段で算出される、画像データを符号化する際の動きベクトルやマクロブロックモード（インターマクロブロックまたはイントラマクロブロック）の発生符号量が制御され、予測誤差値と、変換係数割当符号量とに基づいて評価値が演算され、この評価値が符号化モード選択手段に入力され、この符号化モード選択手段にて、符号化モードが選択される。符号化効率評価値演算手段では、例えば、予測誤差値の逆数と、変換係数割当符号量との積が演算され、符号化モード選択手段では、符号化効率評価値演算手段によって演算された評価値の最大のものが選択される。
【００２０】
また、この符号化モード選択手段では、選択候補の動きベクトルおよびマクロブロックモードについて符号化効率の評価値が最大となる動きベクトルおよびマクロブロックモードが選択される。インターマクロブロックについては、動きベクトルおよびマクロブロックモード情報の合計発生符号量を求め、マクロブロック割当符号量から減算したものをＤＣＴ係数割当符号量とし、動きベクトルの予測誤差の逆数とＤＣＴ係数割当符号量とを積算したものを評価値とする。イントラマクロブロックについては、イントラＤＣ係数（イントラ直流係数）およびマクロブロックモード情報の合計発生符号量を求め、マクロブロック割当符号量から減算したものをＤＣＴ係数割当符号量とし、マクロブロックの入力画素の分散の逆数とＤＣＴ係数割当符号量とを積算したものを評価値とする。
【００３１】
請求項２に記載の画像符号化装置は、請求項１に記載の画像符号化装置において、前記符号化手段が、前記画像データに含まれる画面を符号化する際に割り当てられる画面割当符号量を、前記画面を構成するハイブリッド符号化ブロック数で除算することで、前記ハイブリッド符号化する際のハイブリッド符号化ブロックの割当符号量を求めることを特徴とする。
【００３２】
かかる構成によれば、画像符号化装置は、符号化手段によって、画像データに含まれる画面を符号化する際に割り当てられる画面割当符号量を、画面を構成するハイブリッド符号化ブロック数で除算することで、ハイブリッド符号化する際のハイブリッド符号化ブロックの割当符号量を求める。
【００３３】
請求項３に記載の画像符号化方法は、符号化済みの画素に基づいて符号化対象画素を予測する予測符号化と、前記符号化対象画素からなる符号化対象画像が連続する画像信号を変換して得られる変換係数を量子化し、可変長符号化する変換符号化とを組み合わせたハイブリッド符号化によって、画像データを符号化する画像符号化方法であって、予測誤差値演算ステップと、変換係数割当符号量演算ステップと、符号化効率評価値演算ステップと、符号化ステップと、を含むことを特徴とする。
【００３４】
この方法によれば、予測誤差値演算ステップにおいて、予測符号化によって画像データを符号化した際の誤差値として、前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、イントラ符号化モードにおける誤差値Ｄ １ を、前記ハイブリッド符号化ブロックに含まれる変換ブロックの入力画素の分散の平均により演算し、インター符号化モードにおける誤差値Ｄ ２ を、前記ハイブリッド符号化ブロックの入力画素と当該ブロックの参照画素との平均二乗誤差、平均絶対値誤差、又は、相互相関係数により演算し、変換係数割当符号量演算ステップにおいて、画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、前記イントラ符号化モードにおける変換係数割当符号量Ｔ Ｃ１ を、前記ハイブリッド符号化する際のハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量から、前記イントラ符号化モードの発生符号量と、当該ハイブリッド符号化ブロックに含まれる変換ブロックの直流係数の発生符号量の総和とを減算することで求め、前記インター符号化モードにおける変換係数割当符号量Ｔ Ｃ２ を、前記ハイブリッド符号化ブロック割当符号量から、前記インター符号化モードの発生符号量と、前記動きベクトルの発生符号量とを減算することで求める。
そして、符号化効率評価値演算ステップにおいて、前記イントラ符号化モードにおける符号化効率を示す評価値Ｅ １ として、前記予測誤差値演算手段で演算した誤差値Ｄ １ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ１ との積を演算し、前記インター符号化モードにおける符号化効率を示す評価値Ｅ ２ として、前記予測誤差値演算手段で演算した誤差値Ｄ ２ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ２ との積を演算することで、符号化効率を示す評価値を求め、 符号化ステップにおいて、符号化効率評価値演算ステップにて演算された評価値が最大となる符号化モードを選択して、選択した符号化モードによって前記画像データを符号化する。
【００３５】
請求項４に記載の画像符号化プログラムは、動きベクトルによる動き補償予測を用いた予測符号化と直交変換を用いた変換符号化とを組み合わせたハイブリッド符号化によって、画像データを符号化するために、コンピュータを、予測誤差値演算手段、変換係数割当符号量演算手段、符号化効率評価値演算手段、符号化モード選択手段、符号化手段、として機能させる構成とした。
【００３６】
かかる構成によれば、画像符号化プログラムは、予測誤差値演算手段によって、予測符号化によって前記画像データを符号化した際の誤差値として、前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、イントラ符号化モードにおける誤差値Ｄ １ を、前記ハイブリッド符号化ブロックに含まれる変換ブロックの入力画素の分散の平均により演算し、インター符号化モードにおける誤差値Ｄ ２ を、前記ハイブリッド符号化ブロックの入力画素と当該ブロックの参照画素との平均二乗誤差、平均絶対値誤差、又は、相互相関係数により演算し、変換係数割当符号量演算手段によって、画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、前記イントラ符号化モードにおける変換係数割当符号量Ｔ Ｃ１ を、前記ハイブリッド符号化する際のハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量から、前記イントラ符号化モードの発生符号量と、当該ハイブリッド符号化ブロックに含まれる変換ブロックの直流係数の発生符号量の総和とを減算することで求め、前記インター符号化モードにおける変換係数割当符号量Ｔ Ｃ２ を、前記ハイブリッド符号化ブロック割当符号量から、前記インター符号化モードの発生符号量と、前記動きベクトルの発生符号量とを減算することで求める。
そして、符号化効率評価値演算手段によって、前記イントラ符号化モードにおける符号化効率を示す評価値Ｅ １ として、前記予測誤差値演算手段で演算した誤差値Ｄ １ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ１ との積を演算し、前記インター符号化モードにおける符号化効率を示す評価値Ｅ ２ として、前記予測誤差値演算手段で演算した誤差値Ｄ ２ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ２ との積を演算することで、符号化効率を示す評価値を求め、符号化モード選択手段によって、符号化効率評価値演算手段で演算された評価値が最大となる符号化モードを選択し、符号化手段によって、符号化モード選択手段で選択した符号化モードにより、前記画像データを符号化する。
【００４１】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（画像符号化装置の構成）
図１は、画像符号化装置のブロック図である。この図１に示すように、画像符号化装置１は、ビデオ入力から入力された入力画素（画像データ）を符号化したビットストリームとして出力するもので、符号化モード決定部３と、動き補償予測部５と、減算器７と、ＤＣＴ部９と、量子化器１１と、逆量子化器１３と、ＩＤＣＴ部１５と、加算器１７と、フレームメモリ１９と、可変長符号部２１と、バッファ２３と、バッファ制御部２５とを備えている。
【００４２】
この画像符号化装置１は、ＭＰＥＧ−２映像符号化（ＩＳＯ／ＩＥＣ１３８１８−２）に適応しており、符号化対象である入力画素（画像データ）を、ピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）および画像構造（フレーム画像、フィールド画像）によって選択可能な符号化モード（マクロブロックモード）と動きベクトルとの組み合わせに基づき符号化するものである。なお、この符号化モード（マクロブロックモード）は、イントラ／インターマクロブロック、予測方向、予測タイプ、ＤＣＴタイプの組み合わせによって決定されるものである。
【００４３】
符号化モード決定部３は、画像データを符号化する符号化の仕方である符号化モードを決定するもので、予測誤差値演算手段３ａと、変換係数割当符号量演算手段３ｂと、符号化モード・動きベクトル発生手段３ｃと、ハイブリッド符号化ブロック割当符号量演算手段３ｄと、符号化効率評価値演算手段３ｅと、符号化モード選択手段３ｆとを備えている。なお、この符号化モード決定部３では、イントラマクロブロックと、インターマクロブロックとのいずれかを取り扱うのかを判断する判断機能を有しており、この判断機能による判断結果に基づいて、イントラマクロブロックと、インターマクロブロックとを取り扱う場合で、各手段３ａ〜３ｆにおいて、入出力される情報が若干異なっており、この詳細は、符号化モード決定部３の動作の説明にて行うこととする。
【００４４】
予測誤差値演算手段３ａは、ビデオ入力からの入力画素（画像データ）と、フレームメモリ１９に保持されている（記憶されている）参照画素（直前の画像データ）と符号化モード・動きベクトル発生手段３ｃから入力された符号化モード（インターマクロブロックの場合、動きベクトルも入力される）とに基づいて、予測誤差値を演算するものである。つまり、この予測誤差値演算手段３ａは、符号化モード・動きベクトル発生手段３ｃで発生された符号化モードの発生数に応じて繰り返し、予測誤差値を演算するものである。予測誤差値は、入力画素と参照画素との差分を示すものであり、例えば、連続する入力画素で描画される被写体の動きが激しい場合（速い動きの映像）では、この予測誤差値が大きくなる。
【００４５】
なお、符号化モード決定部３の判断機能によって、イントラマクロブロックを取り扱うと判断された場合、この予測誤差値演算手段３ａには、入力画素および符号化モードが入力され、インターマクロブロックを取り扱うと判断された場合（イントラマクロブロックを取り扱うと判断されなかった場合）、入力画素、参照画素、符号化モードおよび動きベクトルが入力される。また、この予測誤差値の算出の仕方については、後記する（図５に示すイントラマクロブロックの予測誤差値の演算方法について、図７、図８、図９に示すインターマクロブロックの予測誤差値の演算方法について、を参照）こととする。
【００４６】
変換係数割当符号量演算手段３ｂは、ビデオ入力からの入力画素（画像データ）と、ハイブリッド符号化ブロック割当符号量演算手段３ｄから入力されたハイブリッド符号化ブロック割当符号量と、符号化モード・動きベクトル発生手段３ｃから入力された符号化モード（インターマクロブロックの場合、動きベクトルも入力される）とに基づいて、変換係数割当符号量を演算するものである。つまり、この変換係数割当符号量演算手段３ｂは、符号化モード・動きベクトル発生手段３ｃで発生された符号化モードの発生数に応じて繰り返し、変換係数割当符号量を演算するものである。変換係数割当符号量は、変換係数、すなわち、ＤＣＴ係数に割り当てる符号量のことである。
【００４７】
また、この変換係数割当符号量演算手段３ｂには、入力された情報から符号量を演算する符号量演算機能３ｂ１（図６または図１０参照）と、ハイブリッド符号化ブロック割当符号量と、符号量演算機能３ｂ１にて演算された符号量とに基づいて、変換係数割当符号量演算機能３ｂ２（図６または図１０参照）とを有している。
【００４８】
なお、符号化モード決定部３の判断機能によって、イントラマクロブロックを取り扱うと判断された場合、この変換係数割当符号量演算手段３ｂには、入力画素および符号化モードが入力され、インターマクロブロックを取り扱うと判断された場合（イントラマクロブロックを取り扱うと判断されなかった場合）、符号化モードおよび動きベクトルが入力される。そして、イントラマクロブロックを取り扱うと判断された場合、この変換係数割当符号量演算手段３ｂの符号量演算機能３ｂ１（図６または図１０参照）は、符号化モード符号量、直流係数符号量を出力し、インターマクロブロックを取り扱うと判断された場合（イントラマクロブロックを取り扱うと判断されなかった場合）、この変換係数割当符号量演算手段３ｂの符号量演算機能３ｂ１（図６または図１０参照）は、符号化モード符号量、動きベクトル符号量を出力するものである。
【００４９】
符号化モード符号量は、符号化モード毎に割り当てられる符号量であり、直流係数符号量は、入力画素の直流成分に割り当てられる符号量であり、動きベクトル符号量は、入力画素中の動きベクトル毎に割り当てられる符号量のことである。また、この変換係数割当符号量の算出の仕方については、後記する（図６に示すイントラマクロブロックの変換係数割当符号量の演算方法について、図１０に示すインターマクロブロックの変換係数割当符号量の演算方法について、を参照）こととする。
【００５０】
符号化モード・動きベクトル発生手段３ｃは、符号化モードおよび動きベクトルを発生させるものである。符号化モードは、符号化モード選択手段３ｆで選択対象となるもので、マクロブロックタイプ（イントラマクロブロックまたはインターマクロブロック）、予測方向（前方向予測、後方向予測、両方向予測）、予測タイプ（フィールド予測またはフレーム予測）、ＤＣＴタイプ（フィールドＤＣＴまたはフレームＤＣＴ）の組み合わせによって成り立つものである。
【００５１】
マクロブロックタイプに関して、イントラマクロブロックは、マクロブロックのみの情報によって符号化するものであり、インターマクロブロックは、直前に符号化した画像データ（符号化画像データ）から現在の画像データを予測して符号化するものである。
【００５２】
予測方向に関して、前方向予測は、過去（符号化する直前のフレームまたはフィールド）から予測することであり、後方向予測は、未来（符号化する直後のフレームまたはフィールド）から予測することであり、両方向予測は過去および未来から符号化対象となるマクロブロックを符号化する（予測する）ことである。
【００５３】
予測タイプに関して、フィールド予測は、直前に符号化されたフィールドを使用してトップフィールド（奇数ライン）およびボトムフィールド（偶数ライン）に独立に予測を行うもので、フレーム予測は、直前に符号化されたフレームから予測を行うものである。
【００５４】
ＤＣＴタイプに関して、画像データがハイブリッド符号化ブロック（マクロブロック：輝度成分１６画素×１６ラインおよび空間的に対応する色差成分）に分割され、さらに変換ブロック（ブロック：輝度成分および色差成分とも８画素×８ライン）に分割されてＤＣＴ符号化される場合、フィールドＤＣＴは２つのフィールドの一方から得られるラインで当該ブロックを構成するものであり、フレームＤＣＴは２つのフィールドから交互に得られるラインで当該変換ブロックを構成するものである。
【００５５】
ハイブリッド符号化ブロック割当符号量演算手段３ｄは、バッファ制御部２５から出力される符号化画面割当符号量をハイブリッド符号化ブロック数（マクロブロック数）で除算して、各ハイブリッド符号化ブロック（マクロブロック）に割り当てられる符号量（ハイブリッド符号化ブロック割当符号量）を演算し、変換係数割当符号量演算手段３ｂに出力するものである。
【００５６】
符号化効率評価値演算手段３ｅは、予測誤差値演算手段３ａで演算された予測誤差値と変換係数割当符号量演算手段３ｂで演算された変換係数割当符号量とに基づいて、画像データの符号化効率を示す評価値を演算し、この評価値を符号化モード選択手段３ｆに出力するものである。この実施の形態では、符号化効率評価値演算手段３ｅは、予測誤差値の逆数と、変換係数割当符号量との積を評価値として演算する。
【００５７】
また、この符号化効率評価値演算手段３ｅは、ハイブリッド符号化ブロックの変換係数割当符号量または予測誤差値から、符号化する画面の変換係数割当符号量または予測誤差値を合計する符号化画面合計機能３ｅ１、３ｅ２と、符号化する画面の変換係数割当符号量の合計と、符号化する画面の予測誤差値の合計とに基づいて、評価値を演算する符号化効率計算機能３ｅ３（図１１および図１２参照）と、個々のハイブリッド符号化ブロックの符号化効率を符号化画面毎に集計し当該符号化画面毎の符号化効率の平均をＦＰＦＤ符号化効率として出力する符号化画面平均機能３ｅ４とを有している。なお、評価値の演算方法については後記する。
【００５８】
符号化モード選択手段３ｆは、符号化効率評価値演算手段３ｅで演算され出力された評価値に基づいて、符号化モードを選択し、この選択された符号化モード情報を動き補償予測部５に出力するものである。この実施の形態では、符号化モード選択手段３ｆは、符号化効率評価値演算手段３ｅで演算され出力された評価値の中で最大のもの（最大評価値）を選択する。
【００５９】
この符号化モード選択手段３ｆには、ハイブリッド符号化ブロックを任意に選択する符号化モード（任意選択符号化モード）と、ハイブリッド符号化ブロックを一意に選択する符号化モード（一意選択符号化モード）とを選択する選択機能を有している。この選択機能は、符号化される符号対象画像を構成する各ハイブリッド符号化ブロックの予測誤差値の逆数と、変換係数割当符号量との積の平均値を比較し、この平均値が最大となる符号化モード（任意選択符号化モードまたは一意選択符号化モード）を選択するものである。つまり、この場合、符号化モード選択手段３ｆは、符号化効率評価値演算手段３ｅで演算され出力された評価値を参照せず、予測誤差値演算手段３ａおよび変換係数割当符号量演算手段３ｂからの予測誤差値および変換係数割当符号量を取得して、各ハイブリッド符号化ブロックの予測誤差値の逆数と、変換係数割当符号量との積の平均値を演算し、比較するものである。
【００６０】
すなわち、符号化モード選択手段３ｆの選択機能は、フレーム画像構造時において、ＦＰＦＤを判定するものである。ＦＰＦＤ＝０の場合、ハイブリッド符号化ブロック（マクロブロック）毎に、予測タイプがフレーム予測、フィールド予測、デュアルプライム予測の３種類から任意に選択可能であり（任意選択符号化モード）、ＤＣＴタイプがフレームＤＣＴ、フィールドＤＣＴの２種類から任意に１つ選択可能である。また、ＦＰＦＤ＝１の場合、符号化画面（１画面）の全てのハイブリッド符号化ブロック（マクロブロック）は、予測タイプがフレーム予測、ＤＣＴタイプがフレームＤＣＴと一意の選択（一意選択符号化モード）である。なお、ＦＰＦＤは符号化画面単位に設定可能である。
【００６１】
動き補償予測部５は、符号化モード決定部３の符号化モード選択手段３ｆから出力された符号化モード情報に基づいて、ビデオ入力から入力された入力画素（画像データ）とフレームメモリ１９に保持されている（記憶されている）参照画素とからＰピクチャ、Ｂピクチャに係る動き補償予測信号（マクロブロック単位に動きが補償されたフレーム間予測誤差信号）を生成し、減算器７および加算器１７に出力するものである。
【００６２】
減算器７は、ビデオ入力から入力された入力画素から動き補償予測信号を減算した補償予測信号減算画素データを、ＤＣＴ部９に出力するものである。
【００６３】
ＤＣＴ部９は、補償予測信号減算画素データを変換ブロック単位に分割し、符号化モード選択手段３ｆから出力された符号化モード情報に基づいて、この変換ブロックにフレームＤＣＴ、フィールドＤＣＴを施したＤＣＴ係数値を量子化器１１に出力するものである。なお、イントラマクロブロックの変換ブロックの直流成分（イントラＤＣ）は８〜１１ビット精度で量子化され、交流成分はバッファ制御部２５から与えられる量子化値によって量子化される。また、インターマクロブロックの変換ブロックは直流成分、交流成分ともバッファ制御部２５から与えられる量子化値によって量子化される。
【００６４】
量子化器１１は、バッファ制御部２５から出力された符号化画面割当符号量とに基づいて、ＤＣＴ部９から出力されたＤＣＴ係数値を、量子化値に変換して、逆量子化器１３および可変長符号部２１に出力するものである。
【００６５】
逆量子化器１３は、量子化器１１で量子化された量子化値を逆量子化して、元のＤＣＴ係数値を生成し、ＩＤＣＴ部１５に出力するものである。
【００６６】
ＩＤＣＴ部１５は、逆量子化器１３から出力されたＤＣＴ係数値を、減算器７から出力された補償予測信号減算画素データに逆変換し、加算器１７に出力するものである。
【００６７】
加算器１７は、ＩＤＣＴ部１５から出力された補償予測信号減算画素データに、動き補償予測部５で生成された動き補償予測信号を加算した画素（画像データ）を参照画素としてフレームメモリ１９に出力するものである。
【００６８】
フレームメモリ１９は、加算器１７から出力された参照画素を、フレーム単位で記憶すると共に、ビデオ入力から新たな入力画素が入力された場合、符号化モード決定部３の予測誤差値演算手段３ａおよび動き補償予測部５に参照画素を出力するものである。
【００６９】
可変長符号部２１は、量子化器１１から出力された量子化値に、係数値０の個数と、次に来る係数値との組み合わせに対して、１つの可変長符号が割り当てられる２次元可変長符号化を施して、ビットストリームを生成するものである。
【００７０】
バッファ２３は、可変長符号部２１で符号化されたビットストリームを一時的に蓄えた後、外部に出力するものである。
【００７１】
バッファ制御部２５は、バッファ２３から出力されたビットストリームに基づいて、１画面（１フレーム）に割当可能な符号量である符号化画面割当符号量を演算し、符号化モード決定部３および量子化器１１に出力するものである。なお、符号化画面割当符号量が符号化ビットレートに相当するものである。また、動き補償予測部５、減算器７、ＤＣＴ部９、量子化器１１、逆量子化器１３、ＩＤＣＴ部１５、加算器１７、フレームメモリ１９、可変長符号部２１、バッファ２３およびバッファ制御部２５が、特許請求の範囲の請求項に記載した符号化手段に相当するものである。
【００７２】
この画像符号化装置１によれば、符号化モード決定部３の予測誤差値演算手段３ａで、入力画素（画像データ）を符号化する際の予測誤差値が演算され、この予測誤差値が符号化効率評価値演算手段３ｅに出力される。また、変換係数割当符号量演算手段３ｂで、入力画素（画像データ）を符号化する際に変換係数に割り当てられる変換係数割当符号量が演算される。符号化効率評価値演算手段３ｅで、予測誤差値の逆数と、変換係数割当符号量との積が評価値として演算され、そして、符号化モード選択手段３ｆで、この評価値の最大のもの（最大評価値）に基づいた符号化モードが選択される。その後、動き補償予測部５、減算器７、ＤＣＴ部９、量子化器１１、逆量子化器１３、ＩＤＣＴ部１５、加算器１７、フレームメモリ１９、可変長符号部２１、バッファ２３およびバッファ制御部２５で、符号化モード選択手段３ｆにて選択された符号化モードにより、画像データが符号化される。このため、予測誤差値の逆数と、変換係数割当符号量との積が最大となる評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【００７３】
（画像符号化装置の動作）
次に、図２に示すフローチャートを参照して、画像符号化装置１の動作を説明する（適宜図１参照）。まず、ビデオ入力より入力画素（画像データ）が入力され、この入力画素（画像データ）が符号化モード決定部３、動き補償予測部５および減算器７に入力される（Ｓ１）。
【００７４】
続いて、減算器７に入力された入力画素から動き補償予測部５から出力された動き補償予測信号が減算され、補償予測信号減算画素データとして、ＤＣＴ部９に入力される。このＤＣＴ部９でＤＣＴ係数値に、続いて量子化器１１で量子化値に、さらに逆量子化器１３でＤＣＴ係数値に、引き続いてＩＤＣＴ部１５で補償予測信号減算画素データに逐次変換される。そして、加算器１７で、補償予測信号減算画素データに動き補償予測信号が加算され、直前の入力画素（参照画素）として、フレームメモリ１９に保持される（蓄積される）。このフレームメモリ１９を経て、符号化モード決定部３の予測誤差値演算手段３ａおよび動き補償予測部５に参照画素が入力される（Ｓ２）。
【００７５】
また、量子化器１１で変換された量子化値が可変長符号部２１に入力され、この可変長符号部２１でビットストリームが生成され、バッファ制御部２５に入力され、このバッファ制御部２５で入力されたビットストリームに基づいて、符号化画面割当符号量が演算され、この符号化画面割当符号量が符号化モード決定部３および量子化器１１に入力される（Ｓ３）。
【００７６】
そして、符号化モード決定部３の内部で各処理（詳細は符号化モード決定部３の動作の説明を参照）が施され、符号化モード（マクロブロックモード）情報が動き補償予測部５に入力される（Ｓ４）。その後、符号化モード（マクロブロックモード）情報に基づいて、入力画素（画像データ）が動き補償予測部５、減算器７、ＤＣＴ部９、量子化器１１、可変長符号部２１、バッファ２３を経て、ビットストリームとして、外部に出力される（Ｓ５）。
【００７７】
（符号化モード決定部の動作）
次に、図３に示すフローチャートを参照して、画像符号化装置１の符号化モード決定部３の動作を説明する。まず、イントラマクロブロックを取り扱うのかどうかが判断される（Ｓ１１）。或いは、このＳ１１は、インターマクロブロックを取り扱うかどうかを判断してもよい。
【００７８】
イントラマクロブロックを取り扱うと判断された場合（Ｓ１１、Ｙｅｓ）、入力画素が予測誤差値演算手段３ａ、変換係数割当符号量演算手段３ｂに入力される（Ｓ１２）。また、符号化モード・動きベクトル発生手段３ｃで発生された符号化モード（選択対象となる符号化モードに関する情報）が予測誤差値演算手段３ａ、変換係数割当符号量演算手段３ｂ、符号化モード選択手段３ｆに入力される（Ｓ１３）。
【００７９】
さらに、ハイブリッド符号化ブロック割当符号量演算手段３ｄで、バッファ制御部２５から入力された符号化画面割当符号量に基づいて、ハイブリッド符号化ブロック割当符号量が演算され、このハイブリッド符号化ブロック割当符号量が変換係数割当符号量演算手段３ｂに出力される（Ｓ１４）。
【００８０】
そして、予測誤差値演算手段３ａで、入力画素および符号化モードに基づいて、予測誤差値が演算され、この予測誤差値が符号化効率評価値演算手段３ｅに出力される（Ｓ１５）。そしてまた、変換係数割当符号量演算手段３ｂで、入力画素および符号化モードに基づいて、符号化モード・動きベクトル発生手段３ｃで発生された符号化モードにおける符号化モード符号量と入力画素の直流成分を符号化する際の符号量である直流係数符号量とが演算される。さらに、この変換係数割当符号量演算手段３ｂで、これら符号化モード符号量および直流係数符号量と、ハイブリッド符号化ブロック割当符号量演算手段３ｄで演算されたハイブリッド符号化ブロック割当符号量とに基づいて、変換係数割当符号量が演算され、符号化効率評価値演算手段３ｅに出力される（Ｓ１６）。
【００８１】
すると、符号化効率評価値演算手段３ｅで、予測誤差値演算手段３ａにて演算された予測誤差値および変換係数割当符号量演算手段３ｂにて演算された変換係数割当符号量に基づいて、符号化効率を示す評価値が演算され、この評価値が符号化モード選択手段３ｆに出力される（Ｓ１７）。なお、図３に示すフローチャートに図示を省略したが、この符号化効率評価値演算手段３ｅの動作では、ＦＰＦＤのフラグが“１”の場合、つまり、フレーム予測、フレームＤＣＴのみが使用される場合、このＦＰＦＤにおけるＦＰＦＤ符号化効率（符号化画面毎の符号化効率を示す評価値）が演算される。また、個々のハイブリッド符号化ブロックの符号化効率が入力された場合、符号化画面毎に平均して、ＦＰＦＤ符号化効率（符号化画面毎の符号化効率を示す評価値）が演算される。
【００８２】
その後、符号化モード選択手段３ｆで、符号化効率評価値演算手段３ｅにて演算された評価値に基づいて、符号化モードが選択され（符号化モード情報となる）、この符号化モード情報が動き補償予測部５に出力される（Ｓ１８）。なお、図３に示すフローチャートに図示を省略したが、符号化モード選択手段３ｆの選択機能によって、ハイブリッド符号化ブロックを任意に選択する符号化モード（任意選択符号化モード）と、ハイブリッド符号化ブロックを一部に選択する符号化モード（一意選択符号化モード）とが選択される場合、各ハイブリッド符号化ブロックの予測誤差値の逆数と、変換係数割当符号量との積の平均値を比較し、平均値が最大となる符号化モード選択される。
【００８３】
Ｓ１１にて、イントラマクロブロックを取り扱うと判断されなかった場合（Ｓ１１、Ｎｏ）、入力画素が予測誤差値演算手段３ａに入力される（Ｓ１９）。また、符号化モード・動きベクトル発生手段３ｃで発生された符号化モード（選択対象となる符号化モードに関する情報）および動きベクトルが予測誤差値演算手段３ａ、変換係数割当符号量演算手段３ｂに、符号化モード（選択対象となる符号化モードに関する情報）が符号化モード選択手段３ｆにそれぞれ入力される（Ｓ２０）。
【００８４】
さらに、ハイブリッド符号化ブロック割当符号量演算手段３ｄで、バッファ制御部２５から入力された符号化画面割当符号量に基づいて、ハイブリッド符号化ブロック割当符号量が演算され、このハイブリッド符号化ブロック割当符号量が変換係数割当符号量演算手段３ｂに出力される（Ｓ２１）。
【００８５】
そして、予測誤差値演算手段３ａで、入力画素、参照画素、符号化モードおよび動きベクトルに基づいて、予測誤差値が演算され、この予測誤差値が符号化効率評価値演算手段３ｅに出力される（Ｓ２２）。そしてまた、変換係数割当符号量演算手段３ｂで、符号化モードおよび動きベクトルに基づいて、符号化モード・動きベクトル発生手段３ｃで発生された符号化モードにおける符号化モード符号量と入力画素および参照画素から得られる動きベクトルに基づく符号量である動きベクトル符号量とが演算される。さらに、この変換係数割当符号量演算手段３ｂで、これら符号化モード符号量および動きベクトル符号量とハイブリッド符号化ブロック割当符号量演算手段３ｄで演算されたハイブリッド符号化ブロック割当符号量とに基づいて、変換係数割当符号量が演算され、符号化効率評価値演算手段３ｅに出力される（Ｓ２３）。
【００８６】
すると、符号化効率評価値演算手段３ｅで、予測誤差値演算手段３ａにて演算された予測誤差値および変換係数割当符号量演算手段３ｂにて演算された変換係数割当符号量に基づいて、符号化効率を示す評価値が演算され、この評価値が符号化モード選択手段３ｆに出力される（Ｓ１７）。その後、符号化モード選択手段３ｆで、符号化効率評価値演算手段３ｅにて演算された評価値に基づいて、符号化モードが選択され（符号化モード情報となる）、この符号化モード情報が動き補償予測部５に出力される（Ｓ１８）。
【００８７】
（符号化モード［マクロブロックモード］、動きベクトルの決定について）
次に、図４を参照して、符号化モード［マクロブロックモード］、動きベクトルの決定の仕方について説明する。この図４に示すように、符号化効率評価値演算手段３ｅに予測誤差値および変換係数割当符号量が入力されると、評価値が演算され、この評価値が符号化モード選択手段３ｆに出力される。
【００８８】
この符号化効率評価値演算手段３ｅにおける評価値は、評価値ＥMM、変換係数割当符号量（ＤＣＴ係数割当符号量）ＴC、予測誤差値Ｄとすると、この評価値ＥMMは以下に示す式によって演算されるものである。
ＥMM＝ＴC／Ｄ・・・（１）
【００８９】
この（１）式に示すように、評価値ＥMMは、予測誤差値Ｄの逆数と、変換係数割当符号量（ＤＣＴ係数割当符号量）ＴCとの積で表すことができるものである。すなわち、この符号化モード選択手段３ｆでは、（１）式によって計算される評価値ＥMMが最大となる符号化モード（マクロブロックモード）と動きベクトルとの組み合わせが選択される。
【００９０】
（イントラマクロブロックの予測誤差値の演算方法について）
次に、図５を参照して、イントラマクロブロックの予測誤差値の演算方法について説明する（適宜図１参照）。イントラマクロブロックを符号化モード決定部３で処理し、予測誤差値を演算する場合、図５に示すように、予測誤差値演算手段３ａに符号化モードおよび入力画素が入力され、予測誤差値演算手段３ａ内において、変換ブロック画素分散が求められ、この変換ブロック画素分散が予測誤差値として出力される。この予測誤差値を予測誤差値Ｄとすると、以下に示す式によって演算される。
【００９１】
【数１】
【００９２】
・・・（２）
この（２）式において、ＶＡＲは、変換ブロック（ＤＣＴブロック）における入力画素の分散、ｂｌｏｃｋ＿ｃｏｕｎｔは、マクロブロックを構成する変換ブロック（ＤＣＴブロック）の個数を示すものである。
【００９３】
この（２）式に示すように、予測誤差値Ｄは、マクロブロック内の変換ブロック（ＤＣＴブロック）の入力画素の分散を求め、この入力画素の分散の平均を取ったものである。
【００９４】
これによれば、予測誤差値演算手段３ａで、入力画素（画像データ）を所定の大きさに分割した変換ブロックを直流係数に基づいて符号化する符号化モードにおける予測誤差値Ｄが、変換ブロックの入力画素の分散平均とされる。つまり、変換ブロック毎に分散が求められ、ハイブリッド符号化ブロックを構成する変換ブロックの平均を予測誤差値として演算しており、この予測誤差値Ｄが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【００９５】
（イントラマクロブロックの変換係数割当符号量の演算方法について）
次に、図６を参照して、イントラマクロブロックの変換係数割当符号量の演算方法について説明する（適宜図１参照）。イントラマクロブロックを符号化モード決定部３で処理し、変換係数割当符号量を演算する場合、図６に示すように、変換係数割当符号量演算手段３ｂ内において、符号化モードおよび入力画素が符号量演算機能３ｂ１に入力され、符号化モード符号量および直流係数符号量が求められる。続いて、これら符号化モード符号量および直流係数符号量と、ハイブリッド符号化ブロック割当符号量とが変換係数割当符号量演算機能３ｂ２に入力され、変換係数割当符号量が求められ、出力される。この変換係数割当符号量を変換係数割当符号量ＴCとすると、以下に示す式によって演算される。
【００９６】
【数２】
【００９７】
・・・（３）
この（３）式において、ＴMはハイブリッド符号化ブロック割当符号量（マクロブロック割当符号量）、ＳMMは符号化モード（マクロブロックモード）の発生符号量、ＳDCは、変換ブロック（ＤＣＴブロック）の直流係数（イントラＤＣ係数）の発生符号量、ｂｌｏｃｋ＿ｃｏｕｎｔは、マクロブロックを構成する変換ブロック（ＤＣＴブロック）の個数を示すものである。
【００９８】
この（３）式に示すように、変換係数割当符号量ＴCは、ハイブリッド符号化ブロック割当符号量（マクロブロック割当符号量）ＴMから符号化モード（マクロブロックモード）の発生符号量ＳMMと、変換ブロック（ＤＣＴブロック）の直流係数（イントラＤＣ係数）の発生符号量ＳDCとを減算したものである。
【００９９】
これによれば、変換係数割当符号量演算手段３ｂで、入力画素（画像データ）を所定の大きさに分割した変換ブロックを直流係数に基づいて符号化する符号化モードにおける変換係数割当符号量ＴCが、ハイブリッド符号化ブロック割当符号量ＴMと変換ブロックを直流係数により符号化する際に生じる発生符号量ＳDCとに基づいて算出される。この変換係数割当符号量ＴCが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１００】
（インターマクロブロックの予測誤差値の計算方法について［平均二乗誤差］）次に、図７を参照して、インターマクロブロックの予測誤差値の演算方法について説明する（適宜図１参照）。インターマクロブロックを符号化モード決定部３で処理し、予測誤差値を演算する場合、図７に示すように、予測誤差値演算手段３ａに符号化モード、動きベクトル、入力画素および参照画素が入力され、予測誤差値演算手段３ａ内において、平均二乗誤差が演算され、この平均二乗誤差が予測誤差値として出力される。この予測誤差値を予測誤差値Ｄとすると、以下に示す式によって演算される。
【０１０１】
【数３】
【０１０２】
・・・（４）
この（４）式において、Ｍ1（ｉ，ｊ）は、ハイブリッド符号化ブロック（マクロブロック）の入力画素と、動き補償による参照画素の平均二乗誤差である。Ｘｍ、ｎは現フレーム／フィールドにおける水平ｍ、垂直ｎの位置の画素、Ｘｍ＋ｉ，ｎ＋ｊは参照フレーム／フィールドにおける水平ｍ＋ｉ，垂直ｎ＋ｊの位置の画素である。この（４）式に示すように、予測誤差値Ｄは、入力画素と参照画素との誤差を二乗した値をハイブリッド符号化ブロックで平均したものである。
【０１０３】
これによれば、予測誤差値演算手段３ａで、動き補償により入力画素（画像データ）を符号化する符号化モードにおける予測誤差値Ｄが、ハイブリッド符号化する際のハイブリッド符号化ブロックの入力画素と参照画素との誤差を二乗した値をハイブリッド符号化ブロックで平均した平均二乗誤差とされる。平均二乗誤差の算出は、入力画素と参照画素との誤差を二乗した値を演算することで、画素上におけるエネルギの算出に相当し、直交変換を用いた変換符号化における周波数上のエネルギと同次元で優劣が比較できることになり、予測誤差値の精度が向上する。この予測誤差値Ｄが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１０４】
（インターマクロブロックの予測誤差値の計算方法について［平均絶対値］）
次に、図８を参照して、インターマクロブロックの予測誤差値の演算方法について説明する（適宜図１参照）。インターマクロブロックを符号化モード決定部３で処理し、予測誤差値を演算する場合、図８に示すように、予測誤差値演算手段３ａに符号化モード、入力画素および参照画素が入力され、予測誤差値演算手段３ａ内において、平均絶対値誤差が演算され、この平均絶対値誤差が予測誤差値として出力される。この予測誤差値を予測誤差値Ｄとすると、以下に示す式によって演算される。
【０１０５】
【数４】
【０１０６】
・・・（５）
この（５）式において、Ｍ2（ｉ，ｊ）は、ハイブリッド符号化ブロック（マクロブロック）の入力画素と、動き補償による参照画素の平均絶対値誤差である。Ｘｍ、ｎは現フレーム／フィールドにおける水平ｍ、垂直ｎの位置の画素、Ｘｍ＋ｉ，ｎ＋ｊは参照フレーム／フィールドにおける水平ｍ＋ｉ，垂直ｎ＋ｊの位置の画素である。この（５）式に示すように、予測誤差値Ｄは、入力画素と参照画素の平均絶対値誤差である。
【０１０７】
これによれば、予測誤差値演算手段３ａで、動き補償により入力画素（画像データ）を符号化する符号化モードにおける予測誤差値Ｄが、ハイブリッド符号化する際のハイブリッド符号化ブロックの入力画素と参照画素との誤差の絶対値をハイブリッド符号化ブロックで平均した値とされる。絶対値の平均を取るだけの平均絶対値誤差を予測誤差値とすることで、予測誤差値演算手段３ａの演算量が軽減され、処理速度が向上する。この予測誤差値Ｄが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１０８】
（インターマクロブロックの予測誤差値の計算方法について［相互相関係数］）次に、図９を参照して、インターマクロブロックの予測誤差値の演算方法について説明する（適宜図１参照）。インターマクロブロックを符号化モード決定部３で処理し、予測誤差値を演算する場合、図９に示すように、予測誤差値演算手段３ａに符号化モード、入力画素および参照画素が入力され、予測誤差値演算手段３ａ内において、相互相関係数が演算され、この相互相関係数が予測誤差値として出力される。この予測誤差値を予測誤差値Ｄとすると、以下に示す式によって演算される。
【０１０９】
【数５】
【０１１０】
・・・（６）
この（６）式において、Ｍ3（ｉ，ｊ）は、ハイブリッド符号化ブロック（マクロブロック）の入力画素と、動き補償による参照画素の相互相関係数である。Ｘｍ、ｎは現フレーム／フィールドにおける水平ｍ、垂直ｎの位置の画素、Ｘｍ＋ｉ，ｎ＋ｊは参照フレーム／フィールドにおける水平ｍ＋ｉ，垂直ｎ＋ｊの位置の画素である。この（６）式に示すように、予測誤差値Ｄは、入力画素と参照画素の相互相関係数である。
【０１１１】
これによれば、予測誤差値演算手段３ａで、動き補償により入力画素（画像データ）を符号化する符号化モードにおける予測誤差値Ｄが、ハイブリッド符号化する際のハイブリッド符号化ブロックの入力画素と参照画素との相互相関係数とされる。入力画素と参照画素とを比較して、相関係数を演算した相互相関係数を予測誤差値としているので、予測誤差値の精度が向上する。この予測誤差値Ｄが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１１２】
（インターマクロブロックのＤＣＴ係数割当符号量の計算方法について）
次に、図１０を参照して、インターマクロブロックの変換係数割当符号量の演算方法について説明する（適宜図１参照）。インターマクロブロックを符号化モード決定部３で処理し、変換係数割当符号量を演算する場合、図１０に示すように、変換係数割当符号量演算手段３ｂ内において、符号化モードおよび動きベクトルが符号量演算機能３ｂ１に入力され、符号化モード符号量および動きベクトル符号量が求められる。続いて、これら符号化モード符号量および動きベクトル符号量とハイブリッド符号化ブロック割当符号量とが変換係数割当符号量演算機能３ｂ２に入力され、変換係数割当符号量が求められ、出力される。この変換係数割当符号量を変換係数割当符号量ＴCとすると、以下に示す式によって演算される。
【０１１３】
ＴC＝ＴM−ＳMM−ＳMV
【０１１４】
・・・（７）
この（７）式において、ＴMはハイブリッド符号化ブロック割当符号量（マクロブロック割当符号量）、ＳMMは符号化モード（マクロブロックモード）の発生符号量、ＳMVは、動きベクトルの発生符号量を示すものである。
【０１１５】
この（７）式に示すように、変換係数割当符号量ＴCは、ハイブリッド符号化ブロック割当符号量（マクロブロック割当符号量）ＴMから符号化モード（マクロブロックモード）の発生符号量ＳMMと、動きベクトルの発生符号量ＳMVとを減算したものである。
【０１１６】
これによれば、変換係数割当符号量演算手段３ｂで、動き補償により画像データを符号化する符号化モードにおける変換係数割当符号量ＴCが、ハイブリッド符号化ブロック割当符号量ＴMと、符号化モード（マクロブロックモード）の発生符号量ＳMMと、動き補償に供される動きベクトルにより符号化する際に生じる発生符号量ＳMVとに基づいて算出される。この変換係数割当符号量ＴCが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１１７】
（ＦＰＦＤの決定方法について［その１］）
次に、図１１を参照して、ハイブリッド符号化ブロック（マクロブロック）において符号化する変換ブロックを任意に選択する、または、一意に選択する画面符号化モードであるＦＰＦＤ（符号化パラメータ）について説明する。この図１１は画面全体の符号化効率を演算しＦＰＦＤ（符号化パラメータ）を決定する場合について説明した図である。
【０１１８】
この図１１に示すように、符号化効率評価値演算手段３ｅの符号化画面合計機能３ｅ１にハイブリッド符号化ブロックの変換係数割当符号量が入力され、符号化画面合計機能３ｅ２にハイブリッド符号化ブロックの予測誤差値が入力される。符号化画面合計機能３ｅ１から符号化画面の変換係数割当符号量が、符号化画面合計機能３ｅ２から符号化画面の予測誤差値が出力され、符号化効率計算機能３ｅ３に入力され、この符号化効率計算機能３ｅ３でＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）が計算され、計算されたＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）が符号化モード選択手段３ｆに出力される。このＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）を評価値ＥFとすると、以下に示す式によって演算される。
【０１１９】
【数６】
【０１２０】
・・・（８）
この（８）式において、Ｄは予測誤差値、Ｔ Ｃ は変換係数符号量、ＭＢ＿ｃｏｕｎｔは符号化画面を構成するハイブリッド符号化ブロック（マクロブロック）の個数を示すものである。
【０１２１】
この（８）式に示すように、符号化画面の符号化効率を表す評価値ＥＦは、各ハイブリッド符号化ブロック（マクロブロック）の予測誤差値Ｄを符号化画面毎に合計したものを、変換係数符号量Ｔ Ｃ を符号化画面毎に合計したもので除算したものである。そして、この符号化画面平均の画面の符号化率を表す評価値ＥＦが最大となるＦＰＦＤ（符号化パラメータ）が符号化モード選択手段３ｆで選択される。
【０１２２】
これによれば、符号化効率評価値演算手段３ｅで演算された評価値ＥFが最大となるＦＰＦＤ（符号化パラメータ）が符号化モード選択手段３ｆで選択され、ＦＰＦＤ（符号化パラメータ）が符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１２３】
（ＦＰＦＤの決定方法について［その２］）
次に、図１２を参照して、ハイブリッド符号化ブロック（マクロブロック）において符号化する変換ブロックを任意に選択する、または、一意に選択する画面符号化モードであるＦＰＦＤ（符号化パラメータ）の別の決定方法について説明する。この図１２はハイブリッド符号化ブロック毎に符号化効率を演算しＦＰＦＤ（符号化パラメータ）を決定する場合について説明した図である。
【０１２４】
この図１２に示すように、符号化効率評価値演算手段３ｅの符号化画面平均機能３ｅ４にハイブリッド符号化ブロックの符号化効率が入力され、この符号化画面平均機能３ｅ４でＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）が計算され、計算されたＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）が符号化モード選択手段３ｆに出力される。このＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）を評価値ＥFとすると、以下に示す式によって演算される。
【０１２５】
【数７】
【０１２６】
・・・（９）
この（９）式において、Ｅ ＭＭ は各ハイブリッド符号化ブロック（マクロブロック）の符号化効率を表す評価値、ＭＢ＿ｃｏｕｎｔは符号化画面を構成するハイブリッド符号化ブロック（マクロブロック）の個数を示すものである。
【０１２７】
この（９）式に示すように、符号化画面平均の画面の符号化率を表す評価値ＥＦは、各ハイブリッド符号化ブロック（マクロブロック）の符号化効率を表す評価値Ｅ ＭＭ の合計をハイブリッド符号化ブロック（マクロブロック）の個数で除算したものである。そして、この符号化画面平均の画面の符号化率を表す評価値ＥＦが最大となるＦＰＦＤ（符号化パラメータ）が符号化モード選択手段３ｆで選択される。
【０１２８】
これによれば、符号化効率評価値演算手段３ｅで演算された評価値ＥFが最大となるＦＰＦＤ（符号化パラメータ）が符号化モード選択手段３ｆで選択されるので、ＦＰＦＤ（符号化パラメータ）が符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１２９】
（マクロブロック割当符号量の演算方法について）
次に、図１３を参照して、ハイブリッド符号化ブロック（マクロブロック）の割当符号量の演算方法について説明する。図１３は、バッファ制御部２５とハイブリッド符号化ブロック割当符号量演算手段３ｄとによってハイブリッド符号化ブロック（マクロブロック）の符号量を演算する仕方について説明した図である。
【０１３０】
この図１３に示すように、バッファ制御部２５から符号化画面毎に割り当てられる符号量である符号化画面割当符号量がハイブリッド符号化ブロック割当符号量演算手段３ｄに入力され、このハイブリッド符号化ブロック割当符号量演算手段３ｄで各ハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量が演算される。このハイブリッド符号化ブロック割当符号量をハイブリッド符号化ブロック割当符号量ＴMとすると、以下に示す式によって演算される。
【０１３１】
【数８】
【０１３２】
・・・（１０）
この（１０）式において、ＴPはバッファ制御部２５から与えられる符号化画面割当符号量、ＭＢ＿ｃｏｕｎｔは符号化画面を構成するハイブリッド符号化ブロック（マクロブロック）の個数を示すものである。
【０１３３】
この（１０）式に示すように、ハイブリッド符号化ブロック割当符号量ＴMは、バッファ制御部２５から与えられる符号化画面割当符号量ＴPをハイブリッド符号化ブロック（マクロブロック）の個数で除算したものである。
【０１３４】
これによれば、バッファ制御部２５から与えられる符号化画面割当符号量ＴPの増減によって、ハイブリッド符号化ブロック割当符号量ＴMも増減するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１３５】
（画像符号化装置の効果について）
最後に、画像符号化装置１と、従来技術の段落で説明したＴＭ５とについて、符号化シミュレーションを行った結果、画像符号化装置１で確認された顕著な効果について説明する。なお、バッファ制御部２５の構成はＴＭ５（エンコーダ、従来技術の説明参照）と同様とした。
【０１３６】
ＩＴＥハイビジョン標準動画像“Ｅｕｒｏｐｅａｎ Ｍａｒｋｅｔ”、“Ｗｈａｌｅ Ｓｈｏｗ”、“Ｇｒｅｅｎ Ｌｅａｖｅｓ”について、画像符号化装置１における符号化ビットレートを１１，１５Ｍｂｐｓとし、ＴＭ５における符号化ビットレートを１１，１５，２２Ｍｂｐｓとして、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）の比較を行った。
【０１３７】
すると、同一ビットレートのＴＭ５と比較した結果、いずれの画像（シーン）においても１〜３ｄＢ程度の画質の改善を確認することができ、画像符号化装置１の符号化ビットレートが１５ＭｂｐｓにおけるＰＳＮＲは、ＴＭ５の符号化ビットレート２２Ｍｂｐｓ以上のＰＳＮＲであることを確認することができた。
【０１３８】
また、画像符号化装置１によって符号化されたビットストリームを視聴した視聴者によって、視覚的にも全ての画像（シーン）で解像度感が向上し、特に、動きの速い映像では画質改善効果が高いことが確認された。
【０１３９】
さらに、１５Ｍｂｐｓで符号化したビットストリームについて、画像符号化装置１における変換係数符号量と動きベクトル符号量との比率と、ＴＭ５における変換係数符号量と動きベクトル符号量との比率とを比較すると、いずれの画像（シーン）においても動きベクトル符号量が１／５〜１／６に低減され、変換係数符号量が増加していることが確認でき、変換係数に符号量が多く割り当てられることで、画質改善できたことが確認できた。
【０１４０】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
【０１４１】
例えば、画像符号化装置１の各構成の処理を一つずつの過程ととらえた画像符号化方法とみなすこともできる。また、画像符号化装置１の各構成の処理を汎用的なコンピュータ言語で記述した画像符号化プログラムとみなすこともできる。これらの場合、画像符号化装置１と同様の効果を得ることができ、さらに、画像符号化プログラムの場合、当該プログラムをネットワークに配信したり、或いは当該プログラムを記憶できる記憶媒体に記憶させて流通させたりすることも可能である。
【０１４２】
請求項１、３、４記載の発明によれば、画像データを符号化する際の誤差値と、変換係数に割り当てられる変換係数割当符号量とが演算される。誤差値と、変換係数割当符号量とに基づいて評価値が演算され、この評価値に基づいた符号化モードが選択され、選択された符号化モードにより、画像データが符号化される。このため、変換係数割当符号量が符号化ビットレートの増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１４３】
また、請求項１、３、４記載の発明によれば、画像データを所定の大きさに分割したハイブリッド変換ブロックに含まれる変換ブロック毎に分散を求め、ハイブリッド符号化ブロックを構成する変換ブロックの分散の平均を、イントラ符号化モードにおける誤差値として得ることができると共に、この誤差値が利用され、最適な符号化モードが選択されるので、符号化した画像データの画質劣化を抑制することができる。
【０１４４】
また、請求項１、３、４記載の発明によれば、入力画素と参照画素の誤差を二乗した値を、ハイブリッド符号化ブロックで平均した平均二乗誤差をインター符号化モードにおける誤差値とすることにより、直交変換を用いた変換符号化における周波数上のエネルギと同次元で優劣が比較できると共に、この誤差値が利用されて、最適な符号化モードが選択されるので、符号化した画像データの画質劣化を抑制することができる。
【０１４５】
また、請求項１、３、４記載の発明によれば、入力画素と参照画素の誤差の絶対値をハイブリッド符号化ブロックで平均した平均絶対値誤差をインター符号化モードにおける誤差値とすることにより、予測誤差値演算手段における演算量を軽減することができると共に、この誤差値が利用され、最適な符号化モードが選択されるので、符号化した画像データの画質劣化を抑制することができる。
【０１４６】
また、請求項１、３、４記載の発明によれば、入力画素と参照画素とを比較して、相関係数を演算した相互相関係数によって、精度の向上したインター符号化モードにおける誤差値を得ることができると共に、この誤差値が利用され、最適な符号化モードが選択されるので、符号化した画像データの画質劣化を抑制することができる。
【０１４７】
請求項２記載の発明によれば、ハイブリッド符号化ブロックの割当符号量が、画像データに含まれる画面を構成するハイブリッド符号化ブロック数で演算された符号量とされ、符号化ビットレートの増減によって、ハイブリッド符号化ブロックの割当符号量も増減するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である画像符号化装置のブロック図である。
【図２】画像符号化装置の動作を説明したフローチャートである。
【図３】符号化モード決定部の動作を説明したフローチャートである。
【図４】符号化モードの決定方法について説明した図である。
【図５】イントラマクロブロックの予測誤差値の演算方法について説明した図である。
【図６】イントラマクロブロックの変換係数割当符号量の演算方法について説明した図である。
【図７】インターマクロブロックの予測誤差値の演算方法（平均二乗誤差）について説明した図である。
【図８】インターマクロブロックの予測誤差値の演算方法（平均絶対値誤差）について説明した図である。
【図９】インターマクロブロックの予測誤差値の演算方法（相互相関係数）について説明した図である。
【図１０】インターマクロブロックの変換係数割当符号量の演算方法について説明した図である。
【図１１】ＦＰＦＤの決定方法（符号化画面全体）について説明した図である。
【図１２】ＦＰＦＤの決定方法（ハイブリッド符号化ブロック）について説明した図である。
【図１３】ハイブリッド符号化ブロック（マクロブロック）割当符号量の演算方法について説明した図である。
【図１４】従来の画像符号化装置のブロック図である。
【符号の説明】
１ 画像符号化装置
３ 符号化モード決定部
３ａ 予測誤差値演算手段
３ｂ 変換係数割当符号量演算手段
３ｃ 符号化モード・動きベクトル発生手段
３ｄ ハイブリッド符号化ブロック割当符号量演算手段
３ｅ 符号化効率評価値演算手段
３ｆ 符号化モード選択手段
５ 動き補償予測部
７ 減算器
９ ＤＣＴ部
１１ 量子化器
１３ 逆量子化器
１５ ＩＤＣＴ部
１７ 加算器
１９ フレームメモリ
２１ 可変長符号部
２３ バッファ
２５ バッファ制御部
【発明の属する技術分野】
本発明は、予測符号化と変換符号化とを組み合わせたハイブリッド符号化によって、画像を符号化する画像符号化装置、画像符号化方法および画像符号化プログラムに関する。
【０００２】
【従来の技術】
一般に、動画像等の画像データを符号化する方式として、動きベクトルによる動き補償予測を行う予測符号化と、ＤＣＴ（直交コサイン変換）係数を用いた変換符号化とを組み合わせたハイブリッド符号化による動画像符号化方式が広く普及している。
【０００３】
この動画像符号化方式において、デジタルテレビジョン放送等に使用されている動画像符号化にＭＰＥＧ−２ビデオ（非特許文献１参照）がある。このＭＰＥＧ−２ビデオに準拠した動画像符号化方式を実現したものとして、ＴＭ５（Ｔｅｓｔ Ｍｏｄｅｌ ５，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００，ＭＰＥＧ９３／４７５）が挙げられ、このＴＭ５は、動画像符号化方式おけるＭＰＥＧ−２ビデオの規格を実現したエンコーダである。
【０００４】
ここで、このＭＰＥＧ−２ビデオについて詳細に説明する。
ＭＰＥＧ−２ビデオでは、画面を構成するフレームの標本がすべて同一の時間的瞬間を示すプログレッシブシーケンスに加えて、当該フレームの交互の走査線が時間的に異なる瞬間を示すインターレスシーケンスにも対応するため、階層的にフレーム処理またはフィールド処理が適応選択することができるように規格化されている。１フレームは２つのフィールドからなっている。また、１フレームを１画面として符号化する場合、或いは、２つのフィールドを２画面として符号化する場合等、当初の画面（当初の画像）をどのように符号化するかを決定することを符号化画面構造（画像構造）という。１フレームを１画面として符号化したものをフレーム画像といい、２つのフィールドを２画面として符号化したそれぞれのものをフィールド画像といい、これらフレーム画像およびフィールド画像をフレーム単位で適応的（任意）に選択することができる。
【０００５】
そして、フレーム画像に符号化する際には、フレームＤＣＴまたはフィールドＤＣＴのＤＣＴタイプの使い分けが可能であり、当初の画像はマクロブロック（輝度成分１６画素×１６ラインおよびこの領域に対応する色差成分）に分割され、さらに、マクロブロックは、各ＤＣＴタイプによって、細かいブロック（輝度成分および色差成分とも、それそれ８画素×８ライン）に分割され、ＤＣＴ符号化される。ＤＣＴタイプにフレームＤＣＴが使用された場合では、細かいブロックは２つのフィールドからの交互のラインで構成され、ＤＣＴタイプにフィールドＤＣＴが使用された場合では、細かいブロックは２つのフィールドからの一方のラインで構成される。
【０００６】
マクロブロックには、当該マクロブロックのみの情報を用いて、当初の画像を符号化するイントラマクロブロックと、先に符号化された画像の予測に基づいて当初の画像を符号化するインターマクロブロックとがある。また、予測符号化における予測タイプは、フィールド予測とフレーム予測との２種類に大別されている。フィールド予測は、先に符号化されたフィールドを使用し、トップフィールドとボトムフィールドについて独立に予測を行うものである。フレーム予測は、先に符号化されたフレームから予測を行うものである。
【０００７】
フィールド画像では、予測タイプは全てフィールド予測であり、フレーム画像では、フィールド予測またはフレーム予測をマクロブロック毎に予測タイプを選択することができる。ただし、フレーム画像では、ＦＰＦＤ（Ｆｒａｍｅ Ｐｒｅｄ Ｆｒａｍｅ Ｄｃｔ）フラグが“１”に設定されると、フレームＤＣＴとフレーム予測のみが使用され、フィールド画像では、ＦＰＦＤフラグは“０”とされる。
【０００８】
また、ＭＰＥＧ−２ビデオにおいて、当初の画像が符号化されたピクチャタイプには、Ｉ、Ｐ、Ｂ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）がある。Ｉピクチャは、自らの情報のみが使用されて符号化された画像であり、イントラマクロブロックのみで構成されている。Ｐピクチャは、過去（当該Ｐピクチャ符号化前）の参照画像から動き予測補償が使用されて符号化された画像であり、イントラマクロブロックと過去から予測される前方向予測のインターマクロブロックで構成されている。Ｂピクチャは、過去（当該Ｂピクチャ符号化前）および未来（当該Ｂピクチャ符号化後）の参照画像から動き予測補償が使用されて符号化された画像であり、イントラマクロブロックと、過去から予測される前方向予測および未来から予測される後方向予測ならびに過去および未来から予測される両方向予測のインターマクロブロックとによって構成されている。
【０００９】
なお、補足までに、前記した予測符号化における予測タイプ以外のものについて説明しておくと、例えば、「デュアルプライム」と、「１６×８動き補償」といった予測タイプがある。「デュアルプライム」では、当初の画像中における動きベクトル１つと、この動きベクトルよりも小さい差分ベクトルとが使用される。また、「１６×８動き補償」では、マクロブロック単位に１６×８領域の上部と下部との２組の動きベクトルが使用され、「１６×８動き補償」はフィールド画像のみに使用される。
【００１０】
ところで、このＭＰＥＧ−２ビデオ準拠の動画像符号化方式では、動きベクトルや、マクロブロックモードの決定は以下に示すように行われている。
【００１１】
この動画像符号化方式では、まず、各予測タイプについて、選択候補の動きベクトルの絶対値予測誤差を比較し、この絶対値予測誤差が最小となる動きベクトルを選択する。次に、各予測タイプの平均二乗予測誤差を比較し、この平均二乗予測誤差が最小となる予測タイプを選択する。最後に、マクロブロックの入力誤差の分散と選択された予測タイプの平均二乗予測誤差とを比較し、入力誤差の分散の方が小さい場合、イントラマクロブロックを、平均二乗予測誤差の方が小さい場合、選択された予測タイプのイントラマクロブロックをそれぞれ選択する。
【００１２】
また、変換符号化におけるバッファ制御は、バッファの占有量からフィードバック制御によって得られたＤＣＴ係数の量子化値に基づいて、ＤＣＴ係数発生符号量が調整されることによって行われている。
【００１３】
参考までに、この動画像符号化方式によって画像データを符号化する従来の画像符号化装置を図１４に示す。この画像符号化装置１０１では、ビデオ入力からの入力された画像データ（入力画素）の符号化の仕方を符号化モード決定部１０３で決定している。この符号化モード決定部１０３では、入力画素と、フレームメモリに蓄積されている参照画素（入力画素より以前に入力された画素）とにより、予測誤差値を演算し、この予測誤差値に基づいて符号化モードを決定するものである。
【００１４】
【非特許文献１】
ＩＳＯ／ＩＥＣ１３８１８−２ １９９５年（動画像の圧縮規格書）
【００１５】
【発明が解決しようとする課題】
しかしながら、従来のＭＰＥＧ−２ビデオ準拠の動画像符号化方式では、動きベクトル、予測タイプ、マクロブロックモードの選択基準に符号化ビットレートが考慮されていなかったので、同じ画像データ（映像）であれば、符号化ビットレートに拘わらず、動きベクトルやマクロブロックモードに係る情報について発生する発生符号量がほぼ等しくなる。そして、符号化ビットレートが低くなると、動きベクトル等の発生符号量の割合が増加する傾向にあり、この結果、ＤＣＴ係数への割当符号量が減少し、この割当符号量の減少により、符号化した画像データの画質が劣化するという問題がある。
【００１６】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、ハイブリッド符号化において符号化ビットレートが低くなっても、符号化した画像データの画質劣化を抑制することができる画像符号化装置、画像符号化方法および画像符号化プログラムを提供することにある。
【００１７】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１に記載の画像符号化装置は、動きベクトルによる動き補償予測を用いた予測符号化と直交変換を用いた変換符号化とを組み合わせたハイブリッド符号化によって、画像データを符号化する画像符号化装置であって、予測誤差値演算手段と、変換係数割当符号量演算手段と、符号化効率評価値演算手段と、符号化モード選択手段と、符号化手段と、を備える構成とした。
【００１８】
かかる構成によれば、画像符号化装置は、予測誤差値演算手段によって、予測符号化によって前記画像データを符号化した際の誤差値として、前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、イントラ符号化モードにおける誤差値Ｄ １ を、前記ハイブリッド符号化ブロックに含まれる変換ブロックの入力画素の分散の平均により演算し、インター符号化モードにおける誤差値Ｄ ２ を、前記ハイブリッド符号化ブロックの入力画素と当該ブロックの参照画素との平均二乗誤差、平均絶対値誤差、又は、相互相関係数により演算する。
続いて、画像符号化装置は、変換係数割当符号量演算手段によって、画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、前記イントラ符号化モードにおける変換係数割当符号量Ｔ Ｃ１ を、前記ハイブリッド符号化する際のハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量から、前記イントラ符号化モードの発生符号量と、当該ハイブリッド符号化ブロックに含まれる変換ブロックの直流係数の発生符号量の総和とを減算することで求め、前記インター符号化モードにおける変換係数割当符号量Ｔ Ｃ２ を、前記ハイブリッド符号化ブロック割当符号量から、前記インター符号化モードの発生符号量と、前記動きベクトルの発生符号量とを減算することで求める。
また、画像符号化装置は、符号化効率評価値演算手段によって、前記イントラ符号化モードにおける符号化効率を示す評価値Ｅ １ として、前記予測誤差値演算手段で演算した誤差値Ｄ １ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ１ との積を演算し、前記インター符号化モードにおける符号化効率を示す評価値Ｅ ２ として、前記予測誤差値演算手段で演算した誤差値Ｄ ２ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ２ との積を演算することで、符号化効率を示す評価値を求める。
そして、画像符号化装置は、符号化モード選択手段によって、符号化効率評価値演算手段で演算された評価値が最大となる符号化モードを選択する。
そして、画像符号化装置は、符号化手段によって、符号化モード選択手段で選択した符号化モードにより、画像データを符号化する。
【００１９】
つまり、予測誤差値演算手段および変換係数割当符号量演算手段で算出される、画像データを符号化する際の動きベクトルやマクロブロックモード（インターマクロブロックまたはイントラマクロブロック）の発生符号量が制御され、予測誤差値と、変換係数割当符号量とに基づいて評価値が演算され、この評価値が符号化モード選択手段に入力され、この符号化モード選択手段にて、符号化モードが選択される。符号化効率評価値演算手段では、例えば、予測誤差値の逆数と、変換係数割当符号量との積が演算され、符号化モード選択手段では、符号化効率評価値演算手段によって演算された評価値の最大のものが選択される。
【００２０】
また、この符号化モード選択手段では、選択候補の動きベクトルおよびマクロブロックモードについて符号化効率の評価値が最大となる動きベクトルおよびマクロブロックモードが選択される。インターマクロブロックについては、動きベクトルおよびマクロブロックモード情報の合計発生符号量を求め、マクロブロック割当符号量から減算したものをＤＣＴ係数割当符号量とし、動きベクトルの予測誤差の逆数とＤＣＴ係数割当符号量とを積算したものを評価値とする。イントラマクロブロックについては、イントラＤＣ係数（イントラ直流係数）およびマクロブロックモード情報の合計発生符号量を求め、マクロブロック割当符号量から減算したものをＤＣＴ係数割当符号量とし、マクロブロックの入力画素の分散の逆数とＤＣＴ係数割当符号量とを積算したものを評価値とする。
【００３１】
請求項２に記載の画像符号化装置は、請求項１に記載の画像符号化装置において、前記符号化手段が、前記画像データに含まれる画面を符号化する際に割り当てられる画面割当符号量を、前記画面を構成するハイブリッド符号化ブロック数で除算することで、前記ハイブリッド符号化する際のハイブリッド符号化ブロックの割当符号量を求めることを特徴とする。
【００３２】
かかる構成によれば、画像符号化装置は、符号化手段によって、画像データに含まれる画面を符号化する際に割り当てられる画面割当符号量を、画面を構成するハイブリッド符号化ブロック数で除算することで、ハイブリッド符号化する際のハイブリッド符号化ブロックの割当符号量を求める。
【００３３】
請求項３に記載の画像符号化方法は、符号化済みの画素に基づいて符号化対象画素を予測する予測符号化と、前記符号化対象画素からなる符号化対象画像が連続する画像信号を変換して得られる変換係数を量子化し、可変長符号化する変換符号化とを組み合わせたハイブリッド符号化によって、画像データを符号化する画像符号化方法であって、予測誤差値演算ステップと、変換係数割当符号量演算ステップと、符号化効率評価値演算ステップと、符号化ステップと、を含むことを特徴とする。
【００３４】
この方法によれば、予測誤差値演算ステップにおいて、予測符号化によって画像データを符号化した際の誤差値として、前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、イントラ符号化モードにおける誤差値Ｄ １ を、前記ハイブリッド符号化ブロックに含まれる変換ブロックの入力画素の分散の平均により演算し、インター符号化モードにおける誤差値Ｄ ２ を、前記ハイブリッド符号化ブロックの入力画素と当該ブロックの参照画素との平均二乗誤差、平均絶対値誤差、又は、相互相関係数により演算し、変換係数割当符号量演算ステップにおいて、画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、前記イントラ符号化モードにおける変換係数割当符号量Ｔ Ｃ１ を、前記ハイブリッド符号化する際のハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量から、前記イントラ符号化モードの発生符号量と、当該ハイブリッド符号化ブロックに含まれる変換ブロックの直流係数の発生符号量の総和とを減算することで求め、前記インター符号化モードにおける変換係数割当符号量Ｔ Ｃ２ を、前記ハイブリッド符号化ブロック割当符号量から、前記インター符号化モードの発生符号量と、前記動きベクトルの発生符号量とを減算することで求める。
そして、符号化効率評価値演算ステップにおいて、前記イントラ符号化モードにおける符号化効率を示す評価値Ｅ １ として、前記予測誤差値演算手段で演算した誤差値Ｄ １ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ１ との積を演算し、前記インター符号化モードにおける符号化効率を示す評価値Ｅ ２ として、前記予測誤差値演算手段で演算した誤差値Ｄ ２ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ２ との積を演算することで、符号化効率を示す評価値を求め、 符号化ステップにおいて、符号化効率評価値演算ステップにて演算された評価値が最大となる符号化モードを選択して、選択した符号化モードによって前記画像データを符号化する。
【００３５】
請求項４に記載の画像符号化プログラムは、動きベクトルによる動き補償予測を用いた予測符号化と直交変換を用いた変換符号化とを組み合わせたハイブリッド符号化によって、画像データを符号化するために、コンピュータを、予測誤差値演算手段、変換係数割当符号量演算手段、符号化効率評価値演算手段、符号化モード選択手段、符号化手段、として機能させる構成とした。
【００３６】
かかる構成によれば、画像符号化プログラムは、予測誤差値演算手段によって、予測符号化によって前記画像データを符号化した際の誤差値として、前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、イントラ符号化モードにおける誤差値Ｄ １ を、前記ハイブリッド符号化ブロックに含まれる変換ブロックの入力画素の分散の平均により演算し、インター符号化モードにおける誤差値Ｄ ２ を、前記ハイブリッド符号化ブロックの入力画素と当該ブロックの参照画素との平均二乗誤差、平均絶対値誤差、又は、相互相関係数により演算し、変換係数割当符号量演算手段によって、画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、前記イントラ符号化モードにおける変換係数割当符号量Ｔ Ｃ１ を、前記ハイブリッド符号化する際のハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量から、前記イントラ符号化モードの発生符号量と、当該ハイブリッド符号化ブロックに含まれる変換ブロックの直流係数の発生符号量の総和とを減算することで求め、前記インター符号化モードにおける変換係数割当符号量Ｔ Ｃ２ を、前記ハイブリッド符号化ブロック割当符号量から、前記インター符号化モードの発生符号量と、前記動きベクトルの発生符号量とを減算することで求める。
そして、符号化効率評価値演算手段によって、前記イントラ符号化モードにおける符号化効率を示す評価値Ｅ １ として、前記予測誤差値演算手段で演算した誤差値Ｄ １ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ１ との積を演算し、前記インター符号化モードにおける符号化効率を示す評価値Ｅ ２ として、前記予測誤差値演算手段で演算した誤差値Ｄ ２ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ２ との積を演算することで、符号化効率を示す評価値を求め、符号化モード選択手段によって、符号化効率評価値演算手段で演算された評価値が最大となる符号化モードを選択し、符号化手段によって、符号化モード選択手段で選択した符号化モードにより、前記画像データを符号化する。
【００４１】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（画像符号化装置の構成）
図１は、画像符号化装置のブロック図である。この図１に示すように、画像符号化装置１は、ビデオ入力から入力された入力画素（画像データ）を符号化したビットストリームとして出力するもので、符号化モード決定部３と、動き補償予測部５と、減算器７と、ＤＣＴ部９と、量子化器１１と、逆量子化器１３と、ＩＤＣＴ部１５と、加算器１７と、フレームメモリ１９と、可変長符号部２１と、バッファ２３と、バッファ制御部２５とを備えている。
【００４２】
この画像符号化装置１は、ＭＰＥＧ−２映像符号化（ＩＳＯ／ＩＥＣ１３８１８−２）に適応しており、符号化対象である入力画素（画像データ）を、ピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）および画像構造（フレーム画像、フィールド画像）によって選択可能な符号化モード（マクロブロックモード）と動きベクトルとの組み合わせに基づき符号化するものである。なお、この符号化モード（マクロブロックモード）は、イントラ／インターマクロブロック、予測方向、予測タイプ、ＤＣＴタイプの組み合わせによって決定されるものである。
【００４３】
符号化モード決定部３は、画像データを符号化する符号化の仕方である符号化モードを決定するもので、予測誤差値演算手段３ａと、変換係数割当符号量演算手段３ｂと、符号化モード・動きベクトル発生手段３ｃと、ハイブリッド符号化ブロック割当符号量演算手段３ｄと、符号化効率評価値演算手段３ｅと、符号化モード選択手段３ｆとを備えている。なお、この符号化モード決定部３では、イントラマクロブロックと、インターマクロブロックとのいずれかを取り扱うのかを判断する判断機能を有しており、この判断機能による判断結果に基づいて、イントラマクロブロックと、インターマクロブロックとを取り扱う場合で、各手段３ａ〜３ｆにおいて、入出力される情報が若干異なっており、この詳細は、符号化モード決定部３の動作の説明にて行うこととする。
【００４４】
予測誤差値演算手段３ａは、ビデオ入力からの入力画素（画像データ）と、フレームメモリ１９に保持されている（記憶されている）参照画素（直前の画像データ）と符号化モード・動きベクトル発生手段３ｃから入力された符号化モード（インターマクロブロックの場合、動きベクトルも入力される）とに基づいて、予測誤差値を演算するものである。つまり、この予測誤差値演算手段３ａは、符号化モード・動きベクトル発生手段３ｃで発生された符号化モードの発生数に応じて繰り返し、予測誤差値を演算するものである。予測誤差値は、入力画素と参照画素との差分を示すものであり、例えば、連続する入力画素で描画される被写体の動きが激しい場合（速い動きの映像）では、この予測誤差値が大きくなる。
【００４５】
なお、符号化モード決定部３の判断機能によって、イントラマクロブロックを取り扱うと判断された場合、この予測誤差値演算手段３ａには、入力画素および符号化モードが入力され、インターマクロブロックを取り扱うと判断された場合（イントラマクロブロックを取り扱うと判断されなかった場合）、入力画素、参照画素、符号化モードおよび動きベクトルが入力される。また、この予測誤差値の算出の仕方については、後記する（図５に示すイントラマクロブロックの予測誤差値の演算方法について、図７、図８、図９に示すインターマクロブロックの予測誤差値の演算方法について、を参照）こととする。
【００４６】
変換係数割当符号量演算手段３ｂは、ビデオ入力からの入力画素（画像データ）と、ハイブリッド符号化ブロック割当符号量演算手段３ｄから入力されたハイブリッド符号化ブロック割当符号量と、符号化モード・動きベクトル発生手段３ｃから入力された符号化モード（インターマクロブロックの場合、動きベクトルも入力される）とに基づいて、変換係数割当符号量を演算するものである。つまり、この変換係数割当符号量演算手段３ｂは、符号化モード・動きベクトル発生手段３ｃで発生された符号化モードの発生数に応じて繰り返し、変換係数割当符号量を演算するものである。変換係数割当符号量は、変換係数、すなわち、ＤＣＴ係数に割り当てる符号量のことである。
【００４７】
また、この変換係数割当符号量演算手段３ｂには、入力された情報から符号量を演算する符号量演算機能３ｂ１（図６または図１０参照）と、ハイブリッド符号化ブロック割当符号量と、符号量演算機能３ｂ１にて演算された符号量とに基づいて、変換係数割当符号量演算機能３ｂ２（図６または図１０参照）とを有している。
【００４８】
なお、符号化モード決定部３の判断機能によって、イントラマクロブロックを取り扱うと判断された場合、この変換係数割当符号量演算手段３ｂには、入力画素および符号化モードが入力され、インターマクロブロックを取り扱うと判断された場合（イントラマクロブロックを取り扱うと判断されなかった場合）、符号化モードおよび動きベクトルが入力される。そして、イントラマクロブロックを取り扱うと判断された場合、この変換係数割当符号量演算手段３ｂの符号量演算機能３ｂ１（図６または図１０参照）は、符号化モード符号量、直流係数符号量を出力し、インターマクロブロックを取り扱うと判断された場合（イントラマクロブロックを取り扱うと判断されなかった場合）、この変換係数割当符号量演算手段３ｂの符号量演算機能３ｂ１（図６または図１０参照）は、符号化モード符号量、動きベクトル符号量を出力するものである。
【００４９】
符号化モード符号量は、符号化モード毎に割り当てられる符号量であり、直流係数符号量は、入力画素の直流成分に割り当てられる符号量であり、動きベクトル符号量は、入力画素中の動きベクトル毎に割り当てられる符号量のことである。また、この変換係数割当符号量の算出の仕方については、後記する（図６に示すイントラマクロブロックの変換係数割当符号量の演算方法について、図１０に示すインターマクロブロックの変換係数割当符号量の演算方法について、を参照）こととする。
【００５０】
符号化モード・動きベクトル発生手段３ｃは、符号化モードおよび動きベクトルを発生させるものである。符号化モードは、符号化モード選択手段３ｆで選択対象となるもので、マクロブロックタイプ（イントラマクロブロックまたはインターマクロブロック）、予測方向（前方向予測、後方向予測、両方向予測）、予測タイプ（フィールド予測またはフレーム予測）、ＤＣＴタイプ（フィールドＤＣＴまたはフレームＤＣＴ）の組み合わせによって成り立つものである。
【００５１】
マクロブロックタイプに関して、イントラマクロブロックは、マクロブロックのみの情報によって符号化するものであり、インターマクロブロックは、直前に符号化した画像データ（符号化画像データ）から現在の画像データを予測して符号化するものである。
【００５２】
予測方向に関して、前方向予測は、過去（符号化する直前のフレームまたはフィールド）から予測することであり、後方向予測は、未来（符号化する直後のフレームまたはフィールド）から予測することであり、両方向予測は過去および未来から符号化対象となるマクロブロックを符号化する（予測する）ことである。
【００５３】
予測タイプに関して、フィールド予測は、直前に符号化されたフィールドを使用してトップフィールド（奇数ライン）およびボトムフィールド（偶数ライン）に独立に予測を行うもので、フレーム予測は、直前に符号化されたフレームから予測を行うものである。
【００５４】
ＤＣＴタイプに関して、画像データがハイブリッド符号化ブロック（マクロブロック：輝度成分１６画素×１６ラインおよび空間的に対応する色差成分）に分割され、さらに変換ブロック（ブロック：輝度成分および色差成分とも８画素×８ライン）に分割されてＤＣＴ符号化される場合、フィールドＤＣＴは２つのフィールドの一方から得られるラインで当該ブロックを構成するものであり、フレームＤＣＴは２つのフィールドから交互に得られるラインで当該変換ブロックを構成するものである。
【００５５】
ハイブリッド符号化ブロック割当符号量演算手段３ｄは、バッファ制御部２５から出力される符号化画面割当符号量をハイブリッド符号化ブロック数（マクロブロック数）で除算して、各ハイブリッド符号化ブロック（マクロブロック）に割り当てられる符号量（ハイブリッド符号化ブロック割当符号量）を演算し、変換係数割当符号量演算手段３ｂに出力するものである。
【００５６】
符号化効率評価値演算手段３ｅは、予測誤差値演算手段３ａで演算された予測誤差値と変換係数割当符号量演算手段３ｂで演算された変換係数割当符号量とに基づいて、画像データの符号化効率を示す評価値を演算し、この評価値を符号化モード選択手段３ｆに出力するものである。この実施の形態では、符号化効率評価値演算手段３ｅは、予測誤差値の逆数と、変換係数割当符号量との積を評価値として演算する。
【００５７】
また、この符号化効率評価値演算手段３ｅは、ハイブリッド符号化ブロックの変換係数割当符号量または予測誤差値から、符号化する画面の変換係数割当符号量または予測誤差値を合計する符号化画面合計機能３ｅ１、３ｅ２と、符号化する画面の変換係数割当符号量の合計と、符号化する画面の予測誤差値の合計とに基づいて、評価値を演算する符号化効率計算機能３ｅ３（図１１および図１２参照）と、個々のハイブリッド符号化ブロックの符号化効率を符号化画面毎に集計し当該符号化画面毎の符号化効率の平均をＦＰＦＤ符号化効率として出力する符号化画面平均機能３ｅ４とを有している。なお、評価値の演算方法については後記する。
【００５８】
符号化モード選択手段３ｆは、符号化効率評価値演算手段３ｅで演算され出力された評価値に基づいて、符号化モードを選択し、この選択された符号化モード情報を動き補償予測部５に出力するものである。この実施の形態では、符号化モード選択手段３ｆは、符号化効率評価値演算手段３ｅで演算され出力された評価値の中で最大のもの（最大評価値）を選択する。
【００５９】
この符号化モード選択手段３ｆには、ハイブリッド符号化ブロックを任意に選択する符号化モード（任意選択符号化モード）と、ハイブリッド符号化ブロックを一意に選択する符号化モード（一意選択符号化モード）とを選択する選択機能を有している。この選択機能は、符号化される符号対象画像を構成する各ハイブリッド符号化ブロックの予測誤差値の逆数と、変換係数割当符号量との積の平均値を比較し、この平均値が最大となる符号化モード（任意選択符号化モードまたは一意選択符号化モード）を選択するものである。つまり、この場合、符号化モード選択手段３ｆは、符号化効率評価値演算手段３ｅで演算され出力された評価値を参照せず、予測誤差値演算手段３ａおよび変換係数割当符号量演算手段３ｂからの予測誤差値および変換係数割当符号量を取得して、各ハイブリッド符号化ブロックの予測誤差値の逆数と、変換係数割当符号量との積の平均値を演算し、比較するものである。
【００６０】
すなわち、符号化モード選択手段３ｆの選択機能は、フレーム画像構造時において、ＦＰＦＤを判定するものである。ＦＰＦＤ＝０の場合、ハイブリッド符号化ブロック（マクロブロック）毎に、予測タイプがフレーム予測、フィールド予測、デュアルプライム予測の３種類から任意に選択可能であり（任意選択符号化モード）、ＤＣＴタイプがフレームＤＣＴ、フィールドＤＣＴの２種類から任意に１つ選択可能である。また、ＦＰＦＤ＝１の場合、符号化画面（１画面）の全てのハイブリッド符号化ブロック（マクロブロック）は、予測タイプがフレーム予測、ＤＣＴタイプがフレームＤＣＴと一意の選択（一意選択符号化モード）である。なお、ＦＰＦＤは符号化画面単位に設定可能である。
【００６１】
動き補償予測部５は、符号化モード決定部３の符号化モード選択手段３ｆから出力された符号化モード情報に基づいて、ビデオ入力から入力された入力画素（画像データ）とフレームメモリ１９に保持されている（記憶されている）参照画素とからＰピクチャ、Ｂピクチャに係る動き補償予測信号（マクロブロック単位に動きが補償されたフレーム間予測誤差信号）を生成し、減算器７および加算器１７に出力するものである。
【００６２】
減算器７は、ビデオ入力から入力された入力画素から動き補償予測信号を減算した補償予測信号減算画素データを、ＤＣＴ部９に出力するものである。
【００６３】
ＤＣＴ部９は、補償予測信号減算画素データを変換ブロック単位に分割し、符号化モード選択手段３ｆから出力された符号化モード情報に基づいて、この変換ブロックにフレームＤＣＴ、フィールドＤＣＴを施したＤＣＴ係数値を量子化器１１に出力するものである。なお、イントラマクロブロックの変換ブロックの直流成分（イントラＤＣ）は８〜１１ビット精度で量子化され、交流成分はバッファ制御部２５から与えられる量子化値によって量子化される。また、インターマクロブロックの変換ブロックは直流成分、交流成分ともバッファ制御部２５から与えられる量子化値によって量子化される。
【００６４】
量子化器１１は、バッファ制御部２５から出力された符号化画面割当符号量とに基づいて、ＤＣＴ部９から出力されたＤＣＴ係数値を、量子化値に変換して、逆量子化器１３および可変長符号部２１に出力するものである。
【００６５】
逆量子化器１３は、量子化器１１で量子化された量子化値を逆量子化して、元のＤＣＴ係数値を生成し、ＩＤＣＴ部１５に出力するものである。
【００６６】
ＩＤＣＴ部１５は、逆量子化器１３から出力されたＤＣＴ係数値を、減算器７から出力された補償予測信号減算画素データに逆変換し、加算器１７に出力するものである。
【００６７】
加算器１７は、ＩＤＣＴ部１５から出力された補償予測信号減算画素データに、動き補償予測部５で生成された動き補償予測信号を加算した画素（画像データ）を参照画素としてフレームメモリ１９に出力するものである。
【００６８】
フレームメモリ１９は、加算器１７から出力された参照画素を、フレーム単位で記憶すると共に、ビデオ入力から新たな入力画素が入力された場合、符号化モード決定部３の予測誤差値演算手段３ａおよび動き補償予測部５に参照画素を出力するものである。
【００６９】
可変長符号部２１は、量子化器１１から出力された量子化値に、係数値０の個数と、次に来る係数値との組み合わせに対して、１つの可変長符号が割り当てられる２次元可変長符号化を施して、ビットストリームを生成するものである。
【００７０】
バッファ２３は、可変長符号部２１で符号化されたビットストリームを一時的に蓄えた後、外部に出力するものである。
【００７１】
バッファ制御部２５は、バッファ２３から出力されたビットストリームに基づいて、１画面（１フレーム）に割当可能な符号量である符号化画面割当符号量を演算し、符号化モード決定部３および量子化器１１に出力するものである。なお、符号化画面割当符号量が符号化ビットレートに相当するものである。また、動き補償予測部５、減算器７、ＤＣＴ部９、量子化器１１、逆量子化器１３、ＩＤＣＴ部１５、加算器１７、フレームメモリ１９、可変長符号部２１、バッファ２３およびバッファ制御部２５が、特許請求の範囲の請求項に記載した符号化手段に相当するものである。
【００７２】
この画像符号化装置１によれば、符号化モード決定部３の予測誤差値演算手段３ａで、入力画素（画像データ）を符号化する際の予測誤差値が演算され、この予測誤差値が符号化効率評価値演算手段３ｅに出力される。また、変換係数割当符号量演算手段３ｂで、入力画素（画像データ）を符号化する際に変換係数に割り当てられる変換係数割当符号量が演算される。符号化効率評価値演算手段３ｅで、予測誤差値の逆数と、変換係数割当符号量との積が評価値として演算され、そして、符号化モード選択手段３ｆで、この評価値の最大のもの（最大評価値）に基づいた符号化モードが選択される。その後、動き補償予測部５、減算器７、ＤＣＴ部９、量子化器１１、逆量子化器１３、ＩＤＣＴ部１５、加算器１７、フレームメモリ１９、可変長符号部２１、バッファ２３およびバッファ制御部２５で、符号化モード選択手段３ｆにて選択された符号化モードにより、画像データが符号化される。このため、予測誤差値の逆数と、変換係数割当符号量との積が最大となる評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【００７３】
（画像符号化装置の動作）
次に、図２に示すフローチャートを参照して、画像符号化装置１の動作を説明する（適宜図１参照）。まず、ビデオ入力より入力画素（画像データ）が入力され、この入力画素（画像データ）が符号化モード決定部３、動き補償予測部５および減算器７に入力される（Ｓ１）。
【００７４】
続いて、減算器７に入力された入力画素から動き補償予測部５から出力された動き補償予測信号が減算され、補償予測信号減算画素データとして、ＤＣＴ部９に入力される。このＤＣＴ部９でＤＣＴ係数値に、続いて量子化器１１で量子化値に、さらに逆量子化器１３でＤＣＴ係数値に、引き続いてＩＤＣＴ部１５で補償予測信号減算画素データに逐次変換される。そして、加算器１７で、補償予測信号減算画素データに動き補償予測信号が加算され、直前の入力画素（参照画素）として、フレームメモリ１９に保持される（蓄積される）。このフレームメモリ１９を経て、符号化モード決定部３の予測誤差値演算手段３ａおよび動き補償予測部５に参照画素が入力される（Ｓ２）。
【００７５】
また、量子化器１１で変換された量子化値が可変長符号部２１に入力され、この可変長符号部２１でビットストリームが生成され、バッファ制御部２５に入力され、このバッファ制御部２５で入力されたビットストリームに基づいて、符号化画面割当符号量が演算され、この符号化画面割当符号量が符号化モード決定部３および量子化器１１に入力される（Ｓ３）。
【００７６】
そして、符号化モード決定部３の内部で各処理（詳細は符号化モード決定部３の動作の説明を参照）が施され、符号化モード（マクロブロックモード）情報が動き補償予測部５に入力される（Ｓ４）。その後、符号化モード（マクロブロックモード）情報に基づいて、入力画素（画像データ）が動き補償予測部５、減算器７、ＤＣＴ部９、量子化器１１、可変長符号部２１、バッファ２３を経て、ビットストリームとして、外部に出力される（Ｓ５）。
【００７７】
（符号化モード決定部の動作）
次に、図３に示すフローチャートを参照して、画像符号化装置１の符号化モード決定部３の動作を説明する。まず、イントラマクロブロックを取り扱うのかどうかが判断される（Ｓ１１）。或いは、このＳ１１は、インターマクロブロックを取り扱うかどうかを判断してもよい。
【００７８】
イントラマクロブロックを取り扱うと判断された場合（Ｓ１１、Ｙｅｓ）、入力画素が予測誤差値演算手段３ａ、変換係数割当符号量演算手段３ｂに入力される（Ｓ１２）。また、符号化モード・動きベクトル発生手段３ｃで発生された符号化モード（選択対象となる符号化モードに関する情報）が予測誤差値演算手段３ａ、変換係数割当符号量演算手段３ｂ、符号化モード選択手段３ｆに入力される（Ｓ１３）。
【００７９】
さらに、ハイブリッド符号化ブロック割当符号量演算手段３ｄで、バッファ制御部２５から入力された符号化画面割当符号量に基づいて、ハイブリッド符号化ブロック割当符号量が演算され、このハイブリッド符号化ブロック割当符号量が変換係数割当符号量演算手段３ｂに出力される（Ｓ１４）。
【００８０】
そして、予測誤差値演算手段３ａで、入力画素および符号化モードに基づいて、予測誤差値が演算され、この予測誤差値が符号化効率評価値演算手段３ｅに出力される（Ｓ１５）。そしてまた、変換係数割当符号量演算手段３ｂで、入力画素および符号化モードに基づいて、符号化モード・動きベクトル発生手段３ｃで発生された符号化モードにおける符号化モード符号量と入力画素の直流成分を符号化する際の符号量である直流係数符号量とが演算される。さらに、この変換係数割当符号量演算手段３ｂで、これら符号化モード符号量および直流係数符号量と、ハイブリッド符号化ブロック割当符号量演算手段３ｄで演算されたハイブリッド符号化ブロック割当符号量とに基づいて、変換係数割当符号量が演算され、符号化効率評価値演算手段３ｅに出力される（Ｓ１６）。
【００８１】
すると、符号化効率評価値演算手段３ｅで、予測誤差値演算手段３ａにて演算された予測誤差値および変換係数割当符号量演算手段３ｂにて演算された変換係数割当符号量に基づいて、符号化効率を示す評価値が演算され、この評価値が符号化モード選択手段３ｆに出力される（Ｓ１７）。なお、図３に示すフローチャートに図示を省略したが、この符号化効率評価値演算手段３ｅの動作では、ＦＰＦＤのフラグが“１”の場合、つまり、フレーム予測、フレームＤＣＴのみが使用される場合、このＦＰＦＤにおけるＦＰＦＤ符号化効率（符号化画面毎の符号化効率を示す評価値）が演算される。また、個々のハイブリッド符号化ブロックの符号化効率が入力された場合、符号化画面毎に平均して、ＦＰＦＤ符号化効率（符号化画面毎の符号化効率を示す評価値）が演算される。
【００８２】
その後、符号化モード選択手段３ｆで、符号化効率評価値演算手段３ｅにて演算された評価値に基づいて、符号化モードが選択され（符号化モード情報となる）、この符号化モード情報が動き補償予測部５に出力される（Ｓ１８）。なお、図３に示すフローチャートに図示を省略したが、符号化モード選択手段３ｆの選択機能によって、ハイブリッド符号化ブロックを任意に選択する符号化モード（任意選択符号化モード）と、ハイブリッド符号化ブロックを一部に選択する符号化モード（一意選択符号化モード）とが選択される場合、各ハイブリッド符号化ブロックの予測誤差値の逆数と、変換係数割当符号量との積の平均値を比較し、平均値が最大となる符号化モード選択される。
【００８３】
Ｓ１１にて、イントラマクロブロックを取り扱うと判断されなかった場合（Ｓ１１、Ｎｏ）、入力画素が予測誤差値演算手段３ａに入力される（Ｓ１９）。また、符号化モード・動きベクトル発生手段３ｃで発生された符号化モード（選択対象となる符号化モードに関する情報）および動きベクトルが予測誤差値演算手段３ａ、変換係数割当符号量演算手段３ｂに、符号化モード（選択対象となる符号化モードに関する情報）が符号化モード選択手段３ｆにそれぞれ入力される（Ｓ２０）。
【００８４】
さらに、ハイブリッド符号化ブロック割当符号量演算手段３ｄで、バッファ制御部２５から入力された符号化画面割当符号量に基づいて、ハイブリッド符号化ブロック割当符号量が演算され、このハイブリッド符号化ブロック割当符号量が変換係数割当符号量演算手段３ｂに出力される（Ｓ２１）。
【００８５】
そして、予測誤差値演算手段３ａで、入力画素、参照画素、符号化モードおよび動きベクトルに基づいて、予測誤差値が演算され、この予測誤差値が符号化効率評価値演算手段３ｅに出力される（Ｓ２２）。そしてまた、変換係数割当符号量演算手段３ｂで、符号化モードおよび動きベクトルに基づいて、符号化モード・動きベクトル発生手段３ｃで発生された符号化モードにおける符号化モード符号量と入力画素および参照画素から得られる動きベクトルに基づく符号量である動きベクトル符号量とが演算される。さらに、この変換係数割当符号量演算手段３ｂで、これら符号化モード符号量および動きベクトル符号量とハイブリッド符号化ブロック割当符号量演算手段３ｄで演算されたハイブリッド符号化ブロック割当符号量とに基づいて、変換係数割当符号量が演算され、符号化効率評価値演算手段３ｅに出力される（Ｓ２３）。
【００８６】
すると、符号化効率評価値演算手段３ｅで、予測誤差値演算手段３ａにて演算された予測誤差値および変換係数割当符号量演算手段３ｂにて演算された変換係数割当符号量に基づいて、符号化効率を示す評価値が演算され、この評価値が符号化モード選択手段３ｆに出力される（Ｓ１７）。その後、符号化モード選択手段３ｆで、符号化効率評価値演算手段３ｅにて演算された評価値に基づいて、符号化モードが選択され（符号化モード情報となる）、この符号化モード情報が動き補償予測部５に出力される（Ｓ１８）。
【００８７】
（符号化モード［マクロブロックモード］、動きベクトルの決定について）
次に、図４を参照して、符号化モード［マクロブロックモード］、動きベクトルの決定の仕方について説明する。この図４に示すように、符号化効率評価値演算手段３ｅに予測誤差値および変換係数割当符号量が入力されると、評価値が演算され、この評価値が符号化モード選択手段３ｆに出力される。
【００８８】
この符号化効率評価値演算手段３ｅにおける評価値は、評価値ＥMM、変換係数割当符号量（ＤＣＴ係数割当符号量）ＴC、予測誤差値Ｄとすると、この評価値ＥMMは以下に示す式によって演算されるものである。
ＥMM＝ＴC／Ｄ・・・（１）
【００８９】
この（１）式に示すように、評価値ＥMMは、予測誤差値Ｄの逆数と、変換係数割当符号量（ＤＣＴ係数割当符号量）ＴCとの積で表すことができるものである。すなわち、この符号化モード選択手段３ｆでは、（１）式によって計算される評価値ＥMMが最大となる符号化モード（マクロブロックモード）と動きベクトルとの組み合わせが選択される。
【００９０】
（イントラマクロブロックの予測誤差値の演算方法について）
次に、図５を参照して、イントラマクロブロックの予測誤差値の演算方法について説明する（適宜図１参照）。イントラマクロブロックを符号化モード決定部３で処理し、予測誤差値を演算する場合、図５に示すように、予測誤差値演算手段３ａに符号化モードおよび入力画素が入力され、予測誤差値演算手段３ａ内において、変換ブロック画素分散が求められ、この変換ブロック画素分散が予測誤差値として出力される。この予測誤差値を予測誤差値Ｄとすると、以下に示す式によって演算される。
【００９１】
【数１】
・・・（２）
この（２）式において、ＶＡＲは、変換ブロック（ＤＣＴブロック）における入力画素の分散、ｂｌｏｃｋ＿ｃｏｕｎｔは、マクロブロックを構成する変換ブロック（ＤＣＴブロック）の個数を示すものである。
【００９３】
この（２）式に示すように、予測誤差値Ｄは、マクロブロック内の変換ブロック（ＤＣＴブロック）の入力画素の分散を求め、この入力画素の分散の平均を取ったものである。
【００９４】
これによれば、予測誤差値演算手段３ａで、入力画素（画像データ）を所定の大きさに分割した変換ブロックを直流係数に基づいて符号化する符号化モードにおける予測誤差値Ｄが、変換ブロックの入力画素の分散平均とされる。つまり、変換ブロック毎に分散が求められ、ハイブリッド符号化ブロックを構成する変換ブロックの平均を予測誤差値として演算しており、この予測誤差値Ｄが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【００９５】
（イントラマクロブロックの変換係数割当符号量の演算方法について）
次に、図６を参照して、イントラマクロブロックの変換係数割当符号量の演算方法について説明する（適宜図１参照）。イントラマクロブロックを符号化モード決定部３で処理し、変換係数割当符号量を演算する場合、図６に示すように、変換係数割当符号量演算手段３ｂ内において、符号化モードおよび入力画素が符号量演算機能３ｂ１に入力され、符号化モード符号量および直流係数符号量が求められる。続いて、これら符号化モード符号量および直流係数符号量と、ハイブリッド符号化ブロック割当符号量とが変換係数割当符号量演算機能３ｂ２に入力され、変換係数割当符号量が求められ、出力される。この変換係数割当符号量を変換係数割当符号量ＴCとすると、以下に示す式によって演算される。
【００９６】
【数２】
・・・（３）
この（３）式において、ＴMはハイブリッド符号化ブロック割当符号量（マクロブロック割当符号量）、ＳMMは符号化モード（マクロブロックモード）の発生符号量、ＳDCは、変換ブロック（ＤＣＴブロック）の直流係数（イントラＤＣ係数）の発生符号量、ｂｌｏｃｋ＿ｃｏｕｎｔは、マクロブロックを構成する変換ブロック（ＤＣＴブロック）の個数を示すものである。
【００９８】
この（３）式に示すように、変換係数割当符号量ＴCは、ハイブリッド符号化ブロック割当符号量（マクロブロック割当符号量）ＴMから符号化モード（マクロブロックモード）の発生符号量ＳMMと、変換ブロック（ＤＣＴブロック）の直流係数（イントラＤＣ係数）の発生符号量ＳDCとを減算したものである。
【００９９】
これによれば、変換係数割当符号量演算手段３ｂで、入力画素（画像データ）を所定の大きさに分割した変換ブロックを直流係数に基づいて符号化する符号化モードにおける変換係数割当符号量ＴCが、ハイブリッド符号化ブロック割当符号量ＴMと変換ブロックを直流係数により符号化する際に生じる発生符号量ＳDCとに基づいて算出される。この変換係数割当符号量ＴCが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１００】
（インターマクロブロックの予測誤差値の計算方法について［平均二乗誤差］）次に、図７を参照して、インターマクロブロックの予測誤差値の演算方法について説明する（適宜図１参照）。インターマクロブロックを符号化モード決定部３で処理し、予測誤差値を演算する場合、図７に示すように、予測誤差値演算手段３ａに符号化モード、動きベクトル、入力画素および参照画素が入力され、予測誤差値演算手段３ａ内において、平均二乗誤差が演算され、この平均二乗誤差が予測誤差値として出力される。この予測誤差値を予測誤差値Ｄとすると、以下に示す式によって演算される。
【０１０１】
【数３】
・・・（４）
この（４）式において、Ｍ1（ｉ，ｊ）は、ハイブリッド符号化ブロック（マクロブロック）の入力画素と、動き補償による参照画素の平均二乗誤差である。Ｘｍ、ｎは現フレーム／フィールドにおける水平ｍ、垂直ｎの位置の画素、Ｘｍ＋ｉ，ｎ＋ｊは参照フレーム／フィールドにおける水平ｍ＋ｉ，垂直ｎ＋ｊの位置の画素である。この（４）式に示すように、予測誤差値Ｄは、入力画素と参照画素との誤差を二乗した値をハイブリッド符号化ブロックで平均したものである。
【０１０３】
これによれば、予測誤差値演算手段３ａで、動き補償により入力画素（画像データ）を符号化する符号化モードにおける予測誤差値Ｄが、ハイブリッド符号化する際のハイブリッド符号化ブロックの入力画素と参照画素との誤差を二乗した値をハイブリッド符号化ブロックで平均した平均二乗誤差とされる。平均二乗誤差の算出は、入力画素と参照画素との誤差を二乗した値を演算することで、画素上におけるエネルギの算出に相当し、直交変換を用いた変換符号化における周波数上のエネルギと同次元で優劣が比較できることになり、予測誤差値の精度が向上する。この予測誤差値Ｄが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１０４】
（インターマクロブロックの予測誤差値の計算方法について［平均絶対値］）
次に、図８を参照して、インターマクロブロックの予測誤差値の演算方法について説明する（適宜図１参照）。インターマクロブロックを符号化モード決定部３で処理し、予測誤差値を演算する場合、図８に示すように、予測誤差値演算手段３ａに符号化モード、入力画素および参照画素が入力され、予測誤差値演算手段３ａ内において、平均絶対値誤差が演算され、この平均絶対値誤差が予測誤差値として出力される。この予測誤差値を予測誤差値Ｄとすると、以下に示す式によって演算される。
【０１０５】
【数４】
・・・（５）
この（５）式において、Ｍ2（ｉ，ｊ）は、ハイブリッド符号化ブロック（マクロブロック）の入力画素と、動き補償による参照画素の平均絶対値誤差である。Ｘｍ、ｎは現フレーム／フィールドにおける水平ｍ、垂直ｎの位置の画素、Ｘｍ＋ｉ，ｎ＋ｊは参照フレーム／フィールドにおける水平ｍ＋ｉ，垂直ｎ＋ｊの位置の画素である。この（５）式に示すように、予測誤差値Ｄは、入力画素と参照画素の平均絶対値誤差である。
【０１０７】
これによれば、予測誤差値演算手段３ａで、動き補償により入力画素（画像データ）を符号化する符号化モードにおける予測誤差値Ｄが、ハイブリッド符号化する際のハイブリッド符号化ブロックの入力画素と参照画素との誤差の絶対値をハイブリッド符号化ブロックで平均した値とされる。絶対値の平均を取るだけの平均絶対値誤差を予測誤差値とすることで、予測誤差値演算手段３ａの演算量が軽減され、処理速度が向上する。この予測誤差値Ｄが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１０８】
（インターマクロブロックの予測誤差値の計算方法について［相互相関係数］）次に、図９を参照して、インターマクロブロックの予測誤差値の演算方法について説明する（適宜図１参照）。インターマクロブロックを符号化モード決定部３で処理し、予測誤差値を演算する場合、図９に示すように、予測誤差値演算手段３ａに符号化モード、入力画素および参照画素が入力され、予測誤差値演算手段３ａ内において、相互相関係数が演算され、この相互相関係数が予測誤差値として出力される。この予測誤差値を予測誤差値Ｄとすると、以下に示す式によって演算される。
【０１０９】
【数５】
・・・（６）
この（６）式において、Ｍ3（ｉ，ｊ）は、ハイブリッド符号化ブロック（マクロブロック）の入力画素と、動き補償による参照画素の相互相関係数である。Ｘｍ、ｎは現フレーム／フィールドにおける水平ｍ、垂直ｎの位置の画素、Ｘｍ＋ｉ，ｎ＋ｊは参照フレーム／フィールドにおける水平ｍ＋ｉ，垂直ｎ＋ｊの位置の画素である。この（６）式に示すように、予測誤差値Ｄは、入力画素と参照画素の相互相関係数である。
【０１１１】
これによれば、予測誤差値演算手段３ａで、動き補償により入力画素（画像データ）を符号化する符号化モードにおける予測誤差値Ｄが、ハイブリッド符号化する際のハイブリッド符号化ブロックの入力画素と参照画素との相互相関係数とされる。入力画素と参照画素とを比較して、相関係数を演算した相互相関係数を予測誤差値としているので、予測誤差値の精度が向上する。この予測誤差値Ｄが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１１２】
（インターマクロブロックのＤＣＴ係数割当符号量の計算方法について）
次に、図１０を参照して、インターマクロブロックの変換係数割当符号量の演算方法について説明する（適宜図１参照）。インターマクロブロックを符号化モード決定部３で処理し、変換係数割当符号量を演算する場合、図１０に示すように、変換係数割当符号量演算手段３ｂ内において、符号化モードおよび動きベクトルが符号量演算機能３ｂ１に入力され、符号化モード符号量および動きベクトル符号量が求められる。続いて、これら符号化モード符号量および動きベクトル符号量とハイブリッド符号化ブロック割当符号量とが変換係数割当符号量演算機能３ｂ２に入力され、変換係数割当符号量が求められ、出力される。この変換係数割当符号量を変換係数割当符号量ＴCとすると、以下に示す式によって演算される。
【０１１３】
ＴC＝ＴM−ＳMM−ＳMV
【０１１４】
・・・（７）
この（７）式において、ＴMはハイブリッド符号化ブロック割当符号量（マクロブロック割当符号量）、ＳMMは符号化モード（マクロブロックモード）の発生符号量、ＳMVは、動きベクトルの発生符号量を示すものである。
【０１１５】
この（７）式に示すように、変換係数割当符号量ＴCは、ハイブリッド符号化ブロック割当符号量（マクロブロック割当符号量）ＴMから符号化モード（マクロブロックモード）の発生符号量ＳMMと、動きベクトルの発生符号量ＳMVとを減算したものである。
【０１１６】
これによれば、変換係数割当符号量演算手段３ｂで、動き補償により画像データを符号化する符号化モードにおける変換係数割当符号量ＴCが、ハイブリッド符号化ブロック割当符号量ＴMと、符号化モード（マクロブロックモード）の発生符号量ＳMMと、動き補償に供される動きベクトルにより符号化する際に生じる発生符号量ＳMVとに基づいて算出される。この変換係数割当符号量ＴCが符号化効率を示す評価値の算出に利用され、この評価値に基づいて符号化モードが選択され、この符号化モードが符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１１７】
（ＦＰＦＤの決定方法について［その１］）
次に、図１１を参照して、ハイブリッド符号化ブロック（マクロブロック）において符号化する変換ブロックを任意に選択する、または、一意に選択する画面符号化モードであるＦＰＦＤ（符号化パラメータ）について説明する。この図１１は画面全体の符号化効率を演算しＦＰＦＤ（符号化パラメータ）を決定する場合について説明した図である。
【０１１８】
この図１１に示すように、符号化効率評価値演算手段３ｅの符号化画面合計機能３ｅ１にハイブリッド符号化ブロックの変換係数割当符号量が入力され、符号化画面合計機能３ｅ２にハイブリッド符号化ブロックの予測誤差値が入力される。符号化画面合計機能３ｅ１から符号化画面の変換係数割当符号量が、符号化画面合計機能３ｅ２から符号化画面の予測誤差値が出力され、符号化効率計算機能３ｅ３に入力され、この符号化効率計算機能３ｅ３でＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）が計算され、計算されたＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）が符号化モード選択手段３ｆに出力される。このＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）を評価値ＥFとすると、以下に示す式によって演算される。
【０１１９】
【数６】
・・・（８）
この（８）式において、Ｄは予測誤差値、Ｔ Ｃ は変換係数符号量、ＭＢ＿ｃｏｕｎｔは符号化画面を構成するハイブリッド符号化ブロック（マクロブロック）の個数を示すものである。
【０１２１】
この（８）式に示すように、符号化画面の符号化効率を表す評価値ＥＦは、各ハイブリッド符号化ブロック（マクロブロック）の予測誤差値Ｄを符号化画面毎に合計したものを、変換係数符号量Ｔ Ｃ を符号化画面毎に合計したもので除算したものである。そして、この符号化画面平均の画面の符号化率を表す評価値ＥＦが最大となるＦＰＦＤ（符号化パラメータ）が符号化モード選択手段３ｆで選択される。
【０１２２】
これによれば、符号化効率評価値演算手段３ｅで演算された評価値ＥFが最大となるＦＰＦＤ（符号化パラメータ）が符号化モード選択手段３ｆで選択され、ＦＰＦＤ（符号化パラメータ）が符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１２３】
（ＦＰＦＤの決定方法について［その２］）
次に、図１２を参照して、ハイブリッド符号化ブロック（マクロブロック）において符号化する変換ブロックを任意に選択する、または、一意に選択する画面符号化モードであるＦＰＦＤ（符号化パラメータ）の別の決定方法について説明する。この図１２はハイブリッド符号化ブロック毎に符号化効率を演算しＦＰＦＤ（符号化パラメータ）を決定する場合について説明した図である。
【０１２４】
この図１２に示すように、符号化効率評価値演算手段３ｅの符号化画面平均機能３ｅ４にハイブリッド符号化ブロックの符号化効率が入力され、この符号化画面平均機能３ｅ４でＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）が計算され、計算されたＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）が符号化モード選択手段３ｆに出力される。このＦＰＦＤ符号化効率を表す評価値（符号化画面の平均の符号化率を表す評価値）を評価値ＥFとすると、以下に示す式によって演算される。
【０１２５】
【数７】
・・・（９）
この（９）式において、Ｅ ＭＭ は各ハイブリッド符号化ブロック（マクロブロック）の符号化効率を表す評価値、ＭＢ＿ｃｏｕｎｔは符号化画面を構成するハイブリッド符号化ブロック（マクロブロック）の個数を示すものである。
【０１２７】
この（９）式に示すように、符号化画面平均の画面の符号化率を表す評価値ＥＦは、各ハイブリッド符号化ブロック（マクロブロック）の符号化効率を表す評価値Ｅ ＭＭ の合計をハイブリッド符号化ブロック（マクロブロック）の個数で除算したものである。そして、この符号化画面平均の画面の符号化率を表す評価値ＥＦが最大となるＦＰＦＤ（符号化パラメータ）が符号化モード選択手段３ｆで選択される。
【０１２８】
これによれば、符号化効率評価値演算手段３ｅで演算された評価値ＥFが最大となるＦＰＦＤ（符号化パラメータ）が符号化モード選択手段３ｆで選択されるので、ＦＰＦＤ（符号化パラメータ）が符号化画面割当符号量（符号化ビットレート）の増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１２９】
（マクロブロック割当符号量の演算方法について）
次に、図１３を参照して、ハイブリッド符号化ブロック（マクロブロック）の割当符号量の演算方法について説明する。図１３は、バッファ制御部２５とハイブリッド符号化ブロック割当符号量演算手段３ｄとによってハイブリッド符号化ブロック（マクロブロック）の符号量を演算する仕方について説明した図である。
【０１３０】
この図１３に示すように、バッファ制御部２５から符号化画面毎に割り当てられる符号量である符号化画面割当符号量がハイブリッド符号化ブロック割当符号量演算手段３ｄに入力され、このハイブリッド符号化ブロック割当符号量演算手段３ｄで各ハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量が演算される。このハイブリッド符号化ブロック割当符号量をハイブリッド符号化ブロック割当符号量ＴMとすると、以下に示す式によって演算される。
【０１３１】
【数８】
・・・（１０）
この（１０）式において、ＴPはバッファ制御部２５から与えられる符号化画面割当符号量、ＭＢ＿ｃｏｕｎｔは符号化画面を構成するハイブリッド符号化ブロック（マクロブロック）の個数を示すものである。
【０１３３】
この（１０）式に示すように、ハイブリッド符号化ブロック割当符号量ＴMは、バッファ制御部２５から与えられる符号化画面割当符号量ＴPをハイブリッド符号化ブロック（マクロブロック）の個数で除算したものである。
【０１３４】
これによれば、バッファ制御部２５から与えられる符号化画面割当符号量ＴPの増減によって、ハイブリッド符号化ブロック割当符号量ＴMも増減するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１３５】
（画像符号化装置の効果について）
最後に、画像符号化装置１と、従来技術の段落で説明したＴＭ５とについて、符号化シミュレーションを行った結果、画像符号化装置１で確認された顕著な効果について説明する。なお、バッファ制御部２５の構成はＴＭ５（エンコーダ、従来技術の説明参照）と同様とした。
【０１３６】
ＩＴＥハイビジョン標準動画像“Ｅｕｒｏｐｅａｎ Ｍａｒｋｅｔ”、“Ｗｈａｌｅ Ｓｈｏｗ”、“Ｇｒｅｅｎ Ｌｅａｖｅｓ”について、画像符号化装置１における符号化ビットレートを１１，１５Ｍｂｐｓとし、ＴＭ５における符号化ビットレートを１１，１５，２２Ｍｂｐｓとして、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）の比較を行った。
【０１３７】
すると、同一ビットレートのＴＭ５と比較した結果、いずれの画像（シーン）においても１〜３ｄＢ程度の画質の改善を確認することができ、画像符号化装置１の符号化ビットレートが１５ＭｂｐｓにおけるＰＳＮＲは、ＴＭ５の符号化ビットレート２２Ｍｂｐｓ以上のＰＳＮＲであることを確認することができた。
【０１３８】
また、画像符号化装置１によって符号化されたビットストリームを視聴した視聴者によって、視覚的にも全ての画像（シーン）で解像度感が向上し、特に、動きの速い映像では画質改善効果が高いことが確認された。
【０１３９】
さらに、１５Ｍｂｐｓで符号化したビットストリームについて、画像符号化装置１における変換係数符号量と動きベクトル符号量との比率と、ＴＭ５における変換係数符号量と動きベクトル符号量との比率とを比較すると、いずれの画像（シーン）においても動きベクトル符号量が１／５〜１／６に低減され、変換係数符号量が増加していることが確認でき、変換係数に符号量が多く割り当てられることで、画質改善できたことが確認できた。
【０１４０】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
【０１４１】
例えば、画像符号化装置１の各構成の処理を一つずつの過程ととらえた画像符号化方法とみなすこともできる。また、画像符号化装置１の各構成の処理を汎用的なコンピュータ言語で記述した画像符号化プログラムとみなすこともできる。これらの場合、画像符号化装置１と同様の効果を得ることができ、さらに、画像符号化プログラムの場合、当該プログラムをネットワークに配信したり、或いは当該プログラムを記憶できる記憶媒体に記憶させて流通させたりすることも可能である。
【０１４２】
請求項１、３、４記載の発明によれば、画像データを符号化する際の誤差値と、変換係数に割り当てられる変換係数割当符号量とが演算される。誤差値と、変換係数割当符号量とに基づいて評価値が演算され、この評価値に基づいた符号化モードが選択され、選択された符号化モードにより、画像データが符号化される。このため、変換係数割当符号量が符号化ビットレートの増減によって変化するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【０１４３】
また、請求項１、３、４記載の発明によれば、画像データを所定の大きさに分割したハイブリッド変換ブロックに含まれる変換ブロック毎に分散を求め、ハイブリッド符号化ブロックを構成する変換ブロックの分散の平均を、イントラ符号化モードにおける誤差値として得ることができると共に、この誤差値が利用され、最適な符号化モードが選択されるので、符号化した画像データの画質劣化を抑制することができる。
【０１４４】
また、請求項１、３、４記載の発明によれば、入力画素と参照画素の誤差を二乗した値を、ハイブリッド符号化ブロックで平均した平均二乗誤差をインター符号化モードにおける誤差値とすることにより、直交変換を用いた変換符号化における周波数上のエネルギと同次元で優劣が比較できると共に、この誤差値が利用されて、最適な符号化モードが選択されるので、符号化した画像データの画質劣化を抑制することができる。
【０１４５】
また、請求項１、３、４記載の発明によれば、入力画素と参照画素の誤差の絶対値をハイブリッド符号化ブロックで平均した平均絶対値誤差をインター符号化モードにおける誤差値とすることにより、予測誤差値演算手段における演算量を軽減することができると共に、この誤差値が利用され、最適な符号化モードが選択されるので、符号化した画像データの画質劣化を抑制することができる。
【０１４６】
また、請求項１、３、４記載の発明によれば、入力画素と参照画素とを比較して、相関係数を演算した相互相関係数によって、精度の向上したインター符号化モードにおける誤差値を得ることができると共に、この誤差値が利用され、最適な符号化モードが選択されるので、符号化した画像データの画質劣化を抑制することができる。
【０１４７】
請求項２記載の発明によれば、ハイブリッド符号化ブロックの割当符号量が、画像データに含まれる画面を構成するハイブリッド符号化ブロック数で演算された符号量とされ、符号化ビットレートの増減によって、ハイブリッド符号化ブロックの割当符号量も増減するので、符号化ビットレートが低くなっても、最適な符号化モードが選択され、符号化した画像データの画質劣化を抑制することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である画像符号化装置のブロック図である。
【図２】画像符号化装置の動作を説明したフローチャートである。
【図３】符号化モード決定部の動作を説明したフローチャートである。
【図４】符号化モードの決定方法について説明した図である。
【図５】イントラマクロブロックの予測誤差値の演算方法について説明した図である。
【図６】イントラマクロブロックの変換係数割当符号量の演算方法について説明した図である。
【図７】インターマクロブロックの予測誤差値の演算方法（平均二乗誤差）について説明した図である。
【図８】インターマクロブロックの予測誤差値の演算方法（平均絶対値誤差）について説明した図である。
【図９】インターマクロブロックの予測誤差値の演算方法（相互相関係数）について説明した図である。
【図１０】インターマクロブロックの変換係数割当符号量の演算方法について説明した図である。
【図１１】ＦＰＦＤの決定方法（符号化画面全体）について説明した図である。
【図１２】ＦＰＦＤの決定方法（ハイブリッド符号化ブロック）について説明した図である。
【図１３】ハイブリッド符号化ブロック（マクロブロック）割当符号量の演算方法について説明した図である。
【図１４】従来の画像符号化装置のブロック図である。
【符号の説明】
１ 画像符号化装置
３ 符号化モード決定部
３ａ 予測誤差値演算手段
３ｂ 変換係数割当符号量演算手段
３ｃ 符号化モード・動きベクトル発生手段
３ｄ ハイブリッド符号化ブロック割当符号量演算手段
３ｅ 符号化効率評価値演算手段
３ｆ 符号化モード選択手段
５ 動き補償予測部
７ 減算器
９ ＤＣＴ部
１１ 量子化器
１３ 逆量子化器
１５ ＩＤＣＴ部
１７ 加算器
１９ フレームメモリ
２１ 可変長符号部
２３ バッファ
２５ バッファ制御部
Claims (4)
- 動きベクトルによる動き補償予測を用いた予測符号化と直交変換を用いた変換符号化とを組み合わせたハイブリッド符号化によって、画像データを符号化する画像符号化装置であって、
前記予測符号化によって前記画像データを符号化した際の誤差値として、前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、イントラ符号化モードにおける誤差値Ｄ １ を、前記ハイブリッド符号化ブロックに含まれる変換ブロックの入力画素の分散の平均により演算し、インター符号化モードにおける誤差値Ｄ ２ を、前記ハイブリッド符号化ブロックの入力画素と当該ブロックの参照画素との平均二乗誤差、平均絶対値誤差、又は、相互相関係数により演算する予測誤差値演算手段と、
前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、前記イントラ符号化モードにおける変換係数割当符号量Ｔ Ｃ１ を、前記ハイブリッド符号化する際のハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量から、前記イントラ符号化モードの発生符号量と、当該ハイブリッド符号化ブロックに含まれる変換ブロックの直流係数の発生符号量の総和とを減算することで求め、前記インター符号化モードにおける変換係数割当符号量Ｔ Ｃ２ を、前記ハイブリッド符号化ブロック割当符号量から、前記インター符号化モードの発生符号量と、前記動きベクトルの発生符号量とを減算することで求める変換係数割当符号量演算手段と、
前記イントラ符号化モードにおける符号化効率を示す評価値Ｅ １ として、前記予測誤差値演算手段で演算した誤差値Ｄ １ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ１ との積を演算し、前記インター符号化モードにおける符号化効率を示す評価値Ｅ ２ として、前記予測誤差値演算手段で演算した誤差値Ｄ ２ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ２ との積を演算することで、符号化効率を示す評価値を求める符号化効率評価値演算手段と、
この符号化効率評価値演算手段で演算された評価値が最大となる符号化モードを選択する符号化モード選択手段と、
この符号化モード選択手段で選択した符号化モードにより、前記画像データを符号化する符号化手段と、
を備えることを特徴とする画像符号化装置。 - 前記符号化手段は、前記画像データに含まれる画面を符号化する際に割り当てられる画面割当符号量を、前記画面を構成するハイブリッド符号化ブロック数で除算することで、前記ハイブリッド符号化する際のハイブリッド符号化ブロックの割当符号量を求めること
を特徴とする請求項１に記載の画像符号化装置。 - 符号化済みの画素に基づいて符号化対象画素を予測する予測符号化と、前記符号化対象画素からなる符号化対象画像が連続する画像信号を変換して得られる変換係数を量子化し、可変長符号化する変換符号化とを組み合わせたハイブリッド符号化によって、画像データを符号化する画像符号化方法であって、
前記予測符号化によって前記画像データを符号化した際の誤差値として、前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、イントラ符号化モードにおける誤差値Ｄ １ を、前記ハイブリッド符号化ブロックに含まれる変換ブロックの入力画素の分散の平均により演算し、インター符号化モードにおける誤差値Ｄ ２ を、前記ハイブリッド符号化ブロックの入力画素と当該ブロックの参照画素との平均二乗誤差、平均絶対値誤差、又は、相互相関係数により演算する予測誤差値演算ステップと、
前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、前記イントラ符号化モードにおける変換係数割当符号量Ｔ Ｃ１ を、前記ハイブリッド符号化する際のハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量から、前記イントラ符号化モードの発生符号量と、当該ハイブリッド符号化ブロックに含まれる変換ブロックの直流係数の発生符号量の総和とを減算することで求め、前記インター符号化モードにおける変換係数割当符号量Ｔ Ｃ２ を、前記ハイブリッド符号化ブロック割当符号量から、前記インター符号化モードの発生符号量と、前記動きベクトルの発生符号量とを減算することで求める変換係数割当符号量演算ステップと、
前記イントラ符号化モードにおける符号化効率を示す評価値Ｅ １ として、前記予測誤差値演算手段で演算した誤差値Ｄ １ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ１ との積を演算し、前記インター符号化モードにおける符号化効率を示す評価値Ｅ ２ として、前記予測誤差値演算手段で演算した誤差値Ｄ ２ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ２ との積を演算することで、符号化効率を示す評価値を求める符号化効率評価値演算ステップと、
この符号化効率評価値演算ステップにおいて演算された評価値が最大となる符号化モードを選択して、選択した符号化モードによって前記画像データを符号化する符号化ステップと、
を含むことを特徴とする画像符号化方法。 - 動きベクトルによる動き補償予測を用いた予測符号化と直交変換を用いた変換符号化とを組み合わせたハイブリッド符号化によって、画像データを符号化するために、コンピュータを、
前記予測符号化によって前記画像データを符号化した際の誤差値として、前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、イントラ符号化モードにおける誤差値Ｄ １ を、前記ハイブリッド符号化ブロックに含まれる変換ブロックの入力画素の分散の平均により演算し、インター符号化モードにおける誤差値Ｄ ２ を、前記ハイブリッド符号化ブロックの入力画素と当該ブロックの参照画素との平均二乗誤差、平均絶対値誤差、又は、相互相関係数により演算する予測誤差値演算手段、
前記画像データを所定の大きさに分割したハイブリッド符号化ブロックについて、前記イントラ符号化モードにおける変換係数割当符号量Ｔ Ｃ１ を、前記ハイブリッド符号化する際のハイブリッド符号化ブロックに割り当てられるハイブリッド符号化ブロック割当符号量から、前記イントラ符号化モードの発生符号量と、当該ハイブリッド符号化ブロックに含まれる変換ブロックの直流係数の発生符号量の総和とを減算することで求め、前記インター符号化モードにおける変換係数割当符号量Ｔ Ｃ２ を、前記ハイブリッド符号化ブロック割当符号量から、前記インター符号化モードの発生符号量と、前記動きベクトルの発生符号量とを減算することで求める変換係数割当符号量演算手段、
前記イントラ符号化モードにおける符号化効率を示す評価値Ｅ １ として、前記予測誤差値演算手段で演算した誤差値Ｄ １ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ１ との積を演算し、前記インター符号化モードにおける符号化効率を示す評価値Ｅ ２ として、前記予測誤差値演算手段で演算した誤差値Ｄ ２ の逆数と、前記変換係数割当符号量演算手段で演算した変換係数割当符号量Ｔ Ｃ２ との積を演算することで、符号化効率を示す評価値を求める符号化効率評価値演算手段、
この符号化効率評価値演算手段で演算された評価値が最大となる符号化モードを選択する符号化モード選択手段、
この符号化モード選択手段で選択した符号化モードにより、前記画像データを符号化する符号化手段、
として機能させることを特徴とする画像符号化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002326288A JP4243472B2 (ja) | 2002-11-11 | 2002-11-11 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002326288A JP4243472B2 (ja) | 2002-11-11 | 2002-11-11 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004165751A JP2004165751A (ja) | 2004-06-10 |
| JP4243472B2 true JP4243472B2 (ja) | 2009-03-25 |
Family
ID=32805232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002326288A Expired - Fee Related JP4243472B2 (ja) | 2002-11-11 | 2002-11-11 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4243472B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4781816B2 (ja) * | 2005-12-28 | 2011-09-28 | パナソニック株式会社 | 画像符号化装置および画像符号化方法 |
-
2002
- 2002-11-11 JP JP2002326288A patent/JP4243472B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004165751A (ja) | 2004-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6667609B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 | |
| JP4193406B2 (ja) | 映像データ変換装置および映像データ変換方法 | |
| JP4391809B2 (ja) | 画像のシーケンスを適応的に符号化するシステムおよび方法 | |
| US8396311B2 (en) | Image encoding apparatus, image encoding method, and image encoding program | |
| US20070098067A1 (en) | Method and apparatus for video encoding/decoding | |
| WO2012176381A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| JPWO2010137323A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法 | |
| US20060198439A1 (en) | Method and system for mode decision in a video encoder | |
| KR20140089486A (ko) | 스케일러블 비디오의 부호화 및 복호화를 위한 움직임 보상 방법 및 장치 | |
| KR20070090700A (ko) | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 | |
| US20060239347A1 (en) | Method and system for scene change detection in a video encoder | |
| KR101614828B1 (ko) | 화상 부호화 및 복호 방법, 장치, 프로그램 | |
| JP2011525094A (ja) | ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化 | |
| JP4391810B2 (ja) | 画像のシーケンスを適応的に符号化するシステムおよび方法 | |
| US20160373739A1 (en) | Intra/inter decisions using stillness criteria and information from previous pictures | |
| JP7343817B2 (ja) | 符号化装置、符号化方法、及び符号化プログラム | |
| KR101086724B1 (ko) | 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기 | |
| WO2012176387A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| WO2013065678A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| JP2011091772A (ja) | 画像符号化装置 | |
| KR100807330B1 (ko) | Ｈ.264/ａｖｃ 인코더의 인트라 매크로블록 모드 스킵 방법 | |
| JP5136470B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3480067B2 (ja) | 画像符号化装置及び方法 | |
| JP4243472B2 (ja) | 画像符号化装置、画像符号化方法および画像符号化プログラム | |
| JP4243286B2 (ja) | 符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071024 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080916 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090105 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140109 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |