JP5832263B2

JP5832263B2 - 画像符号化装置及び画像符号化方法

Info

Publication number: JP5832263B2
Application number: JP2011267674A
Authority: JP
Inventors: 昌史高橋; 信博知原; 山口　宗明; 宗明山口
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2011-12-07
Filing date: 2011-12-07
Publication date: 2015-12-16
Anticipated expiration: 2031-12-07
Also published as: JP2013121044A

Description

本発明は、動画像を符号化する画像符号化技術に関する。

大容量の動画像情報をデジタルデータ化して記録及び伝達する手法として、ＭＰＥＧ（Moving Picture Experts Group）方式等の符号化方式が策定され、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、ＭＰＥＧ−４規格、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）規格等として国際標準の符号化方式となっている。これらの方式は、デジタル衛星放送やＤＶＤ、Ｂｌｕ−ｒａｙ、携帯電話、デジタルカメラ、地上デジタル放送などにおける映像コンテンツの符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。
これらの規格では、符号化処理が完了した画像情報（復号画像）を利用して符号化対象画像をブロック単位で予測し、原画像との差分（予測差分）を符号化することによって、動画像の持つ冗長性を排除して符号量を減らしている。具体的には、上記予測差分に対して周波数変換方式の一種であるＤＣＴ（Discrete Cosine Transform）を施し、その係数を量子化する。

特開２０１０−２８３４９５号公報特開２００９−０５５２３６号公報特開２００８−２８３４０２号公報

ハイブリッドビデオ符号化において、予測差分に対して施すＤＣＴのサイズを画像の性質に合わせて切り替えることにより符号化効率を大幅に改善することができるが、その評価のために一度すべてのサイズで仮符号化を行うと処理量が大きくなるといった問題があった。
特許文献１では、ブロックサイズの選択のために、各ブロックの分散値の累積（和）を評価値とすることが記載されている。また、特許文献２には、各ブロックサイズにおけるブロックの分散値の総和を発生量とし、発生符号量に応じてブロックを選択することが記載されている。さらに、特許文献３には、サブブロックの総和の分散値を計算してブロックサイズを決定することが記載されている。
これら特許文献１〜特許文献３は、各ブロックに含まれる画素の分散を計算して評価値としている。しかし、特に、低〜中程度のビットレートにおけるビデオ符号化では、低周波成分の扱いが重要となるものの、画素の分散による評価では、低周波成分についての評価とならない問題があった。

本発明の目的は、周波数変換を施す際のブロックサイズを決定する際に、画素の平均値の変動を評価することによって、情報が集中する低周波領域に注目し、画像を構成する主要成分となる低周波成分を多く残し、高周波成分を大幅に削除することにより、画質劣化を抑えて符号量を大きく削減するようにしたものである。
特に、最新の規格であるＨ.２６４では、画面間予測を行った後の予測差分に対して施すＤＣＴのサイズを画像の性質に合わせて２種類の中から選択することにより、符号化効率を大きく改善した。その切り替えは符号化処理の最小単位となるマクロブロック単位で行われるが、その判定のために一度両方のサイズで符号化すると処理量が大きくなるといった問題があった。本発明は、少ない処理量で適切なブロックサイズを決定する手段を提供する。

上記の目的を達成するため、本発明の画像符号化装置は、入力される原画像をマクロブロックに分割するブロック分割部、前記マクロブロック毎に画面内予測を行う画面内予測部、前記マクロブロック毎に画面間予測を行う画面間予測部、前記マクロブロック毎に画面内予測または画面間予測を切り替えて予測差分を行う予測差分部、前記予測差分に対して周波数変換を行う周波数変換部、及び、周波数変換するブロックサイズを決定する周波数変換サイズ決定部を有し、前記原画像を符号化する画像符号化装置であって、前記周波数変換サイズ決定部は、前記周波数変換するブロックサイズを前記マクロブロックのブロックサイズとするか若しくは前記マクロブロックサイズについてさらに分割した小ブロックサイズとするかを小ブロックの画素平均（原画像若しくは予測画像）の変動に基づいて決定することを第１の特徴とする。

上記本発明の第１の特徴の画像符号化装置において、前記周波数変換サイズ決定部は、前記マクロブロックと前記小ブロックサイズのどちらを用いるかを決定するときに、前記マクロブロック内での前記小ブロックサイズの画素平均の変動が小さい場合には前記マクロブロックのブロックサイズを選択し、前記画素平均の変動が大きい場合には前記小ブロックサイズを選択することを第２の特徴とする。

また、本発明の画像符号化方法は、入力される原画像をマクロブロックに分割し、前記マクロブロック毎に画面内予測または画面間予測を行い、前記マクロブロック毎に画面内予測または画面間予測を切り替えて予測差分を行い、前記周波数変換するブロックサイズを前記マクロブロックのブロックサイズとするか若しくは前記マクロブロックサイズについてさらに分割した小ブロックサイズとするかを小ブロックの画素平均（原画像若しくは予測画像）の変動に基づいて決定し、前記予測差分に対して周波数変換を行い、前記原画像を符号化することを第３の特徴とする。

本発明によれば、少ない符号量で高画質の画像を提供するための画像符号化技術を提供することができる。

本発明の動画像符号化装置の一実施例の構成を示すブロック図である。本発明の動画像符号化装置の一実施例の構成を示すブロック図である。本発明に用いる動画像符号化処理に関する概念的な説明図である。本発明に用いる画面間予測処理に関する概念的な説明図である。図４の部分図である。本発明の動画像符号化処理において、周波数変換を行うまでの処理に関する概念的な説明図である。本発明の動画像符号化処理の一実施例におけるブロックサイズの決定方法の一例を説明するための図である。本発明の動画像符号化処理の一実施例におけるブロックサイズ決定処理の一例のフローチャートである。

本発明の画像符号化装置及び画像符号化方法は、ブロック内の画素変動に基づいてＤＣＴ処理を施すブロックサイズを決定する。
大きなブロックサイズでＤＣＴを施した場合には、画像の空間方向の相関性が低下して画質が低下する傾向があるため、一般的に、空間方向の相関が高く画素値変動の小さい領域に対して有利に働く。
一方、小さなブロックサイズでＤＣＴを施した場合には、一般的に、発生符号量が大きい代わりに画像を忠実に再現できるが、空間方向の相関が高い領域では冗長である。そのため、空間方向の相関が低く画素値変動の大きい領域に対して有利に働く。
本発明の画像符号化装置及び画像符号化方法では、この性質を利用し、ブロック内画素の変動が大きいほど小さなブロックサイズを選択する。例えばＨ．２６４／ＡＶＣでは、符号化処理が完了した画像情報を利用して符号化対象画像を予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性を減らして符号量を削減している。予測差分を符号化する際には、まず周波数変換の１種であるＤＣＴ（Discrete Cosine Transform）を施し、各係数値を量子化して可変長符号化を行う。ここでは、動画像の局所的性質を利用するために、画像を細かく分割したブロック単位で予測が行われる。このとき、好ましくは、大ブロックを複数の小ブロックに分割した場合に、小ブロック間の変動が大きければ小ブロックサイズを選択し、小ブロック間の変動が小さければ大ブロックサイズを選択するという処理を階層的に行うことにより、効果的である。
以下、本発明の実施例を、図面を参照して説明する。

例えば、図３は画面間予測時のブロック形状について、その表現方法を示している。図３は、本発明に用いる動画像符号化処理に関する概念的な説明図であり、Ｈ．２６４／ＡＶＣにおけるブロックの形状情報の符号化方法の一例を説明する図である。また、図４は、本発明に用いる画面間予測処理に関する概念的な説明図であり、画面間予測処理の動作について概念的に示している。図５は、図４の部分図で、対象ブロック４０４、予測画像４０５及び予測差分画像４０７の部分を抽出した図である。
図３に示すように、符号化処理は、対象画像に対してラスタースキャンの順序（矢印３０１参照）に従い、１６×１６画素で構成される符号化対象マクロブロック３０２を１単位として実行される。符号化対象画像の予測には、大別して、画面間予測と画面内予測があり、マクロブロック毎に両者を切り替えて利用することができる。
図４及び図５に示すように、画面間予測を行う際には、符号化対象画像４０３と同じ映像４０１に含まれる符号化済みの（既符号化）画像の復号画像を参照画像４０２とし、対象画像４０３中の対象ブロック４０４と相関の高いブロック（予測画像）４０５を参照画像４０２中から探索（動き探索）する。このとき、符号化対象画像４０３と予測画像４０５に対して画素ごとに差分値を差分器４０８で計算し、該計算によって取得される予測差分画像４０７加えて、予測に必要なヘッダ情報として、両ブロックの座標値の差分として表される動きベクトル４０６を符号化する。
一方、復号化の際には上記の逆の手順を行えばよく、復号化された予測差分を参照画像中のブロック（予測画像）４０５に加算することにより、復号化画像を取得することができる。

図６は、画面内（インター）予測を行った後の予測差分に対して、ＤＣＴを施すブロックサイズを決定する処理の流れについて、概念的に示している。Ｈ．２６４／ＡＶＣでは、インター予測を行った場合に限り、予測差分に対して施すＤＣＴのブロックサイズを、４×４と８×８の２種類から選択することができる。
図６は、対象マクロブロック５０１と予測画像５０２を減算器５０３で減算した結果として取得される予測差分画像に対して、ＤＣＴを施し、８×８のブロックサイズの画像５０４か、４×４のブロックサイズの画像５０５のどちらかを選択することができることを示している。
従って、ここでは、対象マクロブロック５０１と予測画像５０２を減算器５０３で減算した結果として取得される予測差分画像に、８×８のブロックサイズでＤＣＴを施すのか、それとも４×４のブロックサイズでＤＣＴを施すのかを決定する。

どちらを選択するかを決定するためには、一度両方のブロックサイズでＤＣＴを施して符号化を行い、発生符号量と画質の劣化度合いを計測して、良い方を選択するのが一般的であった。しかしこの場合、ブロックサイズの候補数（Ｈ．２６４／ＡＶＣの場合は、８×８のブロックサイズか４×４のブロックサイズの２種類）について符号化処理を行うことが必要となり、処理量が膨大になるといった問題があった。特に、今後新しい規格などでブロックサイズの種類が増えた場合には、この問題がさらに深刻化する。このため、上記のような仮符号化処理を行わなくてもブロックサイズを決定できるような、処理量の低い方式を開発することが求められていた。

図６の画像５０４と５０５によって、ＤＣＴを施すブロックサイズと、それぞれの特徴について簡単に説明する。ビデオ符号化において、ＤＣＴは、画像（ここでは、予測差分画像）を周波数成分に分解するために利用される。例えば、周波数成分に分解した場合には、画像の情報は、画像を構成する主要成分となる低周波領域に集中する。このため、低周波成分を多く残し高周波成分を大幅に削除することにより、画質劣化を抑えて符号量を大きく削減することができる。この際、最も周波数の低い成分（ＤＣ成分）に大半の情報が集まる傾向があり、この成分の扱い方が画質と符号量のトレードオフを決定する大きな要因となる。
即ち、８×８画素のような大きなブロックサイズでＤＣＴを施した場合（画像５０４参照）には、情報量の大きいＤＣ成分の絶対数が小さくなる。このため、符号量が小さくなる傾向がある。しかし、空間方向の相関性の低下に起因して発生する高周波成分の喪失により、画像がぼやけやすい。
一方、４×４画素のような小さなブロックサイズでＤＣＴを施した場合（画像５０５参照）には、きめ細かな変換により画像の忠実度を高く保つことができる反面、ＤＣ成分の絶対数が大きくなる。このため、符号量が大きくなる傾向にある。
以上の性質を考慮して、画像の特徴からＤＣＴを施すブロックサイズを一意に決定することができれば、候補となるすべてのブロックサイズで仮符号化を行う場合に比べて、大幅に処理量が低減できる。

上述のように、大きなブロックサイズでＤＣＴを施した場合に画質が劣化する原因は、画像の空間方向の相関性が低下するためである。そのため、空間方向の相関が高い領域、すなわち画素変動が小さい場合には、概して大きなブロックサイズが有利に働く。一方、小さなブロックサイズでＤＣＴを施した場合に符号量が増える理由は、主に、ＤＣ成分のような低周波成分の増加である。
これにより、画像の主要成分となるＤＣ成分を忠実に再現することが可能になるという利点が生じる。しかし、空間方向の相関が高い領域では、その周波数分布が隣接するブロックのものと類似しているため上記のような処理は冗長であり、利点の効果が小さくなりうまく働かない。そのため、空間方向の相関性が低い領域、即ち画素値変動が大きい場合には、概して小さなブロックサイズが有利に働く。
従って、本発明では、符号化対象領域における画素変動に基づいて評価値を計算し、ブロックのサイズの決定に利用する。例えば、大ブロックに含まれるすべての小ブロックに対して計算した画素平均（小ブロックにおけるＤＣ成分に相当）の分散値を評価値とすることにより、ＤＣ成分の変動に応じた評価を可能とする。

本実施例では、ＤＣＴの対象となる予測差分画像を用いて評価値を計算する方法の一例を説明する。この結果、ＤＣＴの対象となる画像に対して評価を行うため、精度の高い選択が可能となる。

図７によって、本実施例におけるブロックサイズの決定方法の一実施例について説明する。図７は、周波数変換を施すブロックサイズの決定方法に関して説明するための図である。

（１）まず初めに、対象マクロブロックの予測差分画像７００に対して、４×４画素のブロックサイズによる１６分割（ブロック番号ｎ＝１，２，・・・，１６）を行い、各ブロック内画素の平均値ＡＶＥｎを計算する。
（２）続いて、同じ予測差分画像に対して８×８画素のブロックサイズによる４分割（ブロック記号ｍ＝Ａ，Ｂ，Ｃ，Ｄ）を行い、各ブロック（ｍ＝Ａ（Ａ∋ｎ＝１，２，３，４）、ｍ＝Ｂ（Ｂ∋ｎ＝５，６，７，８）、ｍ＝Ｃ（Ｃ∋ｎ＝９，１０，１１，１２）、ｍ＝Ｄ（Ｄ∋ｎ＝１３，１４，１５，１６））に含まれる４×４ブロックの平均値ＡＶＥｎに対して分散ＡＣＴＡＶＥ＿ｍを式（１）によって計算する。
（３）最後に、これら４個の分散を足し合わせて、評価値Ｅｖａｌとし、この評価値Ｅｖａｌが、閾値Ｔ以上なら４×４画素のブロックサイズを選択し、それ以外なら８×８画素のブロックサイズを選択し、ＤＣＴを施す。

上述の実施例では、候補となるブロックサイズを４×４画素と８×８画素の２種類としている。しかし、今後規格の改定などにより候補の数が増加した場合には、上記処理を階層的に行えば良い。

図８は、候補となるマクロブロックのブロックサイズの種類がｋ種類である場合に最適なサイズを決定する処理手順である。ここで、ｋは、２以上の整数である。
即ち、ステップＳ８０１では、候補となるブロックサイズをＳＩＺＥ_ｎ（ｎ＝１，２，・・・，ｋ）に分割する（ただし、ＳＩＺＥ_ｎ−１＜ＳＩＺＥ_ｎ）。
ステップＳ８０２では、まず評価のためのパラメータＴ_ｎ（ｎ＝２，・・・，ｋ）を設定する。
次に、ステップＳ８０３では、ｎに２を代入する（ｎ＝２）。

続いて、ステップＳ８０４〜ステップＳ８０８では、ｎがｋ＋１に等しくなるまで、以下の処理を行う。
即ち、ステップＳ８０４では、ｎがｋ＋１に等しいか否かを判定する。ｎがｋ＋１に等しくなければ（ｎ≠ｋ＋１ならば）ステップＳ８０５の処理に進み、ｎがｋ＋１に等しければ（ｎ＝ｋ＋１ならば）ステップＳ８０９の処理に進む。
ステップＳ８０５では、ＳＩＺＥ_ｎ−１で分割したブロック単位でブロック内に存在する画素の平均値を計算する。
続いて、ステップＳ８０６では、ＳＩＺＥ_ｎブロック単位で上記平均値の分散値を計算する。
さらに、ステップＳ８０７では、その分散値をすべてのＳＩＺＥ_ｎブロックに対して足し合わせて評価値Ｅｖａｌ_ｎを算出する。
そして、ステップＳ８０８では、ｋに１を足し合わせ（ｋ＝ｋ＋１）、ステップＳ８０４の処理に戻る。

ｎがｋと等しくなると、ステップＳ８０９に進み、ステップＳ８０９では、ｔｎ−Ｅｖａｌ_ｎ（ｎ＝２，・・・，ｋ）がすべて負の値になるかどうかを判定し、負であればステップＳ８１０の処理に進み、負でなければステップＳ８１１の処理に進む。
ステップＳ８１０では、ｎを１とする（ｎ＝１を選択する）。即ち、ＳＩＺＥ_１ブロック単位でＤＣＴを施すと決定する。
一方、正となるものが含まれていれば、ステップＳ８１０に進み、ステップＳ８１０では、この値を最大とするｎを選択する。即ち、ＳＩＺＥ_ｎブロック単位でＤＣＴを施すと決定する。
以上の処理を全て終了すれば、ステップＳ８１２において、ブロックサイズ決定処理を終了する。

パラメータＴ_ｎの値は定数でも良いが、予測差分の出現パターンは量子化パラメータ（ＱＰ）の値に大きく依存する。このため、パラメータＴ_ｎの値を、ＱＰに依存した値に設定するとさらに効果的である。また、パラメータＴ_ｎの値を、解像度や符号化モード（単方向予測、双方向予測などの予測方法や、予測を行う際のブロックサイズ）などに応じて決定しても良い。また、本実施例では図７で説明した評価方法を用いているが、ブロック内画素の平均値や重み付き平均などの変動に基づくものならどのような評価式を用いても良い。

図１は、本発明の動画像符号化装置の一実施例の構成を示すブロック図である。
図１の動画像符号化装置１００は、入力された原画像１０１の符号化画像を符号化ストリームとして出力する。
動画像符号化装置１００は、入力された原画像１０１を保持する入力画像メモリ１０２と、入力画像を小領域（マクロブロック）に分割するブロック分割部１０３と、マクロブロック単位で画像間の動きを計算する動き探索部１０４と、マクロブロック単位で画面内予測を行う画面内予測部１０５と、動き探索部１０４にて検出された動き量をもとにマクロブロック単位で画面間予測を行う画面間予測部１０６と、画像の性質に合った予測モード（予測手段およびブロックサイズ）を決定するモード選択部１０７と、予測差分を生成するための減算部１０８と、予測差分画像を用いて周波数変換を施すブロックサイズを決定する周波数変換サイズ決定部１０９と、予測差分に対して符号化を行う周波数変換部１１０及び量子化処理部１１１と、符号の発生確率に応じた適応的符号化を行うための可変長符号化部１１２と、一度符号化した予測差分を復号化するための逆量子化処理部１１３及び逆周波数変換部１１４と、復号化された予測差分を用いて復号化画像を生成するための加算部１１５と、復号化画像を保持して後の予測に活用するための参照画像メモリ１１６を有する。

図１において、動画像符号化装置１００は、原画像１０１を入力する。
入力画像メモリ１０２は、入力された原画像１０１の中の一枚の画像を符号化対象画像として保持し、ブロック分割部１０３に出力する。ブロック分割部１０３は、入力された画像を細かなブロックに分割し、動き探索部１０４、画面内予測部１０５、画面間予測部１０６、及び減算部１０８に出力する。
動き探索部１０４は、参照画像メモリ１１６に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、その動きベクトルを画面間予測部１０６に出力する。
画面内予測部１０５は、周辺ブロックの復号化済み画像を用いた画面内予測処理を複数のブロックサイズで実行し、モード選択部１０７に出力する。また、画面間予測部１０６は、符号化済みの別画像を参照した画面間予測処理を複数のブロックサイズで実行し、モード選択部１０７に出力する。
モード選択部１０７は、画面内予測部１０５及び画面間予測部１０６から入力された複数のブロックサイズで実行された画面内予測処理及び画面間予測処理の結果から最適な予測モードを選択し、予測画像を減算部１０８、加算部１１５、及び可変長符号化部１１２に出力する。また、モード選択部１０７は、予測情報（どの予測モードを用いたかや、動きベクトルなど）を可変長符号化部１１２に出力する。

続いて、減算部１０８は、ブロック分割部１０３から出力された対象ブロックの原画像と、モード選択部１０７で選択されたモードにて作成された予測画像との差分（予測差分）を生成し、周波数変換サイズ決定部１０９及び周波数変換部１１０に出力する。
周波数変換サイズ決定部１０９は、図８のフローチャートによって説明した方法で周波数変換を施すブロックサイズを決定し、決定したブロックサイズを周波数変換部１１０に出力する。
周波数変換部１１０及び量子化処理部１１１は、それぞれ、減算部１０８から入力された予測差分に対して、指定された大きさのブロックサイズを１単位としてＤＣＴなどの周波数変換及び量子化処理を行い、可変長符号化部１１２及び逆量子化部１１３に出力する。
可変長符号化処理部１１２は、量子化済み周波数変換係数とヘッダ情報を、符号の発生確率に基づいて符号化し、符号化ストリームを生成して出力する。モード選択部１０７から入力された予測情報は、符号化されてヘッダ情報に含まれる。

逆量子化処理部１１３及び逆周波数変換部１１４は、量子化後の周波数変換係数に対して、それぞれ逆量子化及び逆ＤＣＴなどの逆周波数変換を施して、予測差分を取得して加算部１１５に出力する。続いて、加算部１１５は、モード選択部１０７からの予測画像と、復号化済み予測差分を加算して復号化画像を生成し、参照画像メモリ１１６に出力する。
参照画像メモリ１１６は、入力された復号化画像を格納し、格納された復号化画像を要求に応じて、動き検索部１０４、画面内予測部１０５、または画面間予測部１０６に出力する。

上述の実施例１は、１つの大ブロック（マクロブロック：符号化対象領域）を複数の小ブロックに分割し、当該小ブロックに対して計算した画素平均（小ブロックにおけるＤＣ成分に相当）の分散値を評価値とすることにより、ＤＣ成分の変動に応じた評価を可能とする。この結果、小ブロック間の変動が所定の値より大きければ、小ブロックサイズでＤＣＴを施し、小ブロック間の変動が所定の値未満であれば、大ブロックサイズでＤＣＴを施す。この結果、少ない処理量で適切なブロックサイズを決定する手段を提供し、画質劣化を抑えて符号量を大きく削減することができる。

本実施例では、原画像を用いて評価値を計算する方法の一例を示す。すでに説明した通り、予測差分の出現パターンは、ＱＰに大きく依存する。このため、実施例１で説明したパラメータＴｎもまたＱＰに大きく依存したものになる傾向がある。
この場合、符号化ストリームの符号量を所望のビットレートに合わせるようにＱＰを制御する符号化レート制御を行うなど、画面内でＱＰが大きく変化する場合には、パラメータの値の選定が困難化し易い。そのため、原画像を用いて評価を行うことにより、どのようなＱＰでも安定した結果が得られる。
なおこの場合、予測差分画像の代わりに原画像を用いる以外は実施例１と同様の方法で評価を行うため、図７の本実施例におけるブロックサイズの決定方法の一実施例についての説明、及び図８の候補となるブロックサイズの種類がｋ種類である場合に最適なサイズを決定する処理手順の説明を省略する。

図２は、本発明の動画像符号化装置の一実施例の構成を示すブロック図である。図１と同一の符号番号を付した構成機器は、図１と同一の機能を有する構成機器を用いているので、説明を省略した箇所がある。即ち、図２の動画像符号化装置２００は、ブロック分割部１０３の出力を図１における構成に対して、ブロック分割部２０３が、入力された画像を細かなブロックに分割した結果を、分割した動き探索部１０４、画面内予測部１０５、画面間予測部１０６、及び減算部１０８に出力するのに加えて、周波数変換サイズ決定部１０９にも出力したものである。即ち、図２の動画像符号化装置２００は、減算器１０８の出力データを周波数変換サイズ決定部１０９に入力せず、ブロック分割部１０３の出力データを周波数変換サイズ決定部１０９に入力するようにしたものである。

図２の動画像符号化装置２００は、入力された原画像１０１の符号化画像を符号化ストリームとして出力する。
図２において、入力画像メモリ１０２、動き探索部１０５、画面内予測部１０５、画面間予測部１０６、モード選択部１０７、及び参照画像メモリ１１６の動作は図２と同一である。また、ブロック分割部１０３は、図１と同一の処理（入力された画像を細かなブロックに分割）を実行し、動き探索部１０４、画面内予測部１０５、画面間予測部１０６、減算部１０８、及び周波数変換サイズ決定部１０９に出力する。
周波数変換部１１０、量子化処理部１１１、逆量子化処理部１１３、逆周波数変換部１１４、加算部１１５、及び、可変長符号化部１１２は、図１と同一の処理を実行する。

実施例１と実施例２では、予測および周波数変換をブロック単位で行っている。しかし、それ以外にも、例えば、画像の背景から分離したオブジェクト単位で算出しても良い。
また、周波数変換の一例としてＤＣＴを挙げているが、ＤＳＴ（Discrete Sine Transformation：離散サイン変換）、ＷＴ（Wavelet Transformation：ウェーブレット変換）、ＤＦＴ（Discrete Fourier Transformation：離散フーリエ変換）、ＫＬＴ（Karhunen-Loeve Transformation：カルーネン−レーブ変換）など、画素間相関除去に利用する直交変換ならどのようなものでも構わない。
また、本実施例では、画面間予測を行った後の周波数変換について述べているが、画面内予測を行った後の周波数変換において本発明利用しても良い。さらに、原画像に対して直接周波数変換を施しても構わない。
また、本発明は、動画像符号化方式Ｈ．２６４／ＡＶＣだけでなく、静止画像符号化方式（例えば、ＪＰＥＧ２０００、及び、今後策定されるであろう次世代標準など、どのような画像符号化方式にも適用可能である。

実施例２によれば、ＱＰに依存せず、安定した画像符号処理が可能で、少ない処理量で適切なブロックサイズを決定する手段を提供し、画質劣化を抑えて符号量を大きく削減することができる。

１００、２００：動画像符号化装置、１０１：原画像、１０２：入力画像メモリ、１０３：ブロック分割部、１０４：動き探索部、１０５：画面内予測部、１０６：画面間予測部、１０７：モード選択部、１０８：減算部、１０９：周波数変換サイズ決定部、１１０：周波数変換部、１１１：量子化処理部、１１２：可変長符号化部、１１３：逆量子化部、１１４：逆周波数変換部、１１５：加算部、１１６：参照画像メモリ、３０１：ラスタースキャンの順序、３０２：符号化対象マクロブロック、４０１：符号化対象画像４０３と同じ映像、４０２：参照画像、４０３：符号化対象画像、４０４：対象ブロック、４０５：予測画像、４０６：動きベクトル、４０７：予測差分画像、５０１：対象マクロブロック、５０２：予測画像、５０３：減算器、５０４：８×８のブロックサイズの画像、５０５；４×４のブロックサイズの画像、７００：予測差分画像。

Claims

入力される原画像をマクロブロックに分割するブロック分割部、前記マクロブロック毎に画面内予測を行う画面内予測部、前記マクロブロック毎に画面間予測を行う画面間予測部、前記マクロブロック毎に画面内予測または画面間予測を切り替えて予測差分を行う予測差分部、前記予測差分に対して周波数変換を行う周波数変換部、及び、周波数変換するブロックサイズを決定する周波数変換サイズ決定部を有し、前記原画像を符号化する画像符号化装置であって、
前記周波数変換サイズ決定部は、前記周波数変換するブロックサイズを、前記マクロブロックを分割した複数の小ブロックから構成される中ブロックのサイズである第１のサイズとするか、若しくは前記小ブロックのサイズである第２のサイズとするかを決定するものであって、前記原画像若しくは前記予測差分の画像を構成する前記小ブロックの画素平均の前記マクロブロック内における変動が小さい場合には前記第１のサイズを選択し、前記変動が大きい場合には前記第２のサイズを選択するものであり、前記変動の大きさは、前記第１のサイズを有する複数の中ブロックのそれぞれにおいて、前記小ブロックの画素平均の分散を計算し、前記複数の中ブロックの分散を足し合わせたもので表されることを特徴とする画像符号化装置。
前記小ブロックは前記マクロブロックを１６個に分割したものであり、前記第１のサイズは前記小ブロック４個分であり、前記変動が小さい場合と前記変動が大きい場合を分ける閾値は、量子化パラメータに依存した値に設定することを特徴とする請求項１記載の画像符号化装置。
入力される原画像をマクロブロックに分割し、前記マクロブロック毎に画面内予測または画面間予測を行い、前記マクロブロック毎に画面内予測または画面間予測を切り替えて予測差分を行い、前記予測差分に対して周波数変換を行い、前記原画像を符号化する画像符号化方法であって、
前記周波数変換するブロックサイズを、前記マクロブロックを分割した複数の小ブロックから構成される中ブロックのサイズである第１のサイズとするか、若しくは前記小ブロックのサイズである第２のサイズとするか決定するときに、前記小ブロックの画素平均の前記マクロブロック内における変動が小さい場合には前記第１のサイズを選択し、前記変動が大きい場合には前記第２のサイズを選択するものであり、前記変動の大きさは、前記第１のサイズを有する複数の中ブロックのそれぞれにおいて、前記小ブロックの画素平均の分散を計算し、前記複数の中ブロックの分散を足し合わせたもので表されることを特徴とする画像符号化方法。