JP2005348280A - 画像符号化方法、画像符号化装置、画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、イントラ予測を行って画像を符号化する構成を採るときにあって、その予測モードを高速に決定できるようにする新たな技術の提供を目的とする。
【解決手段】符号化対象ブロックの周辺に位置する参照ブロックのイントラ符号化に用いられた予測モードを取得して、その取得した予測モードと、参照ブロックに割り付けられる重み係数とに基づいて、参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成する。そして、その作成した頻度情報に基づいて予測モードの候補を選択して、これらの選択した予測モードのコストを評価することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定して、符号化対象ブロックをイントラ符号化する。この構成に従って、画質劣化を極力抑えつつ、少ない計算量でイントラ予測符号化を行うことができるようになる。
【選択図】図２

Description

本発明は、イントラ予測を行って画像を符号化する画像符号化方法及びその装置と、その画像符号化方法の実現に用いられる画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

Ｈ.264のイントラ予測において、４×４サイズのブロックを符号化する場合、９つの予測モードのいずれかを用いる（例えば、非特許文献１参照）。

この予測モードの選択は符号化側で自由に設定できる。最も単純な選択方法は、９つの予測モードの全てに対して、コストを算出し、そのコストを最小化する予測モードを選択するという方法である。

図９に、この従来技術の処理フローを図示する。なお、この処理フローでは、
ＳＡＴＤ＋ａ×λ（ＱＰ）
という算出式に従ってコストを計算している。ここで、この算出式に示すａは定数、ＱＰは量子化パラメータ、λ（ＱＰ）は量子化パラメータＱＰの値に応じた加算項を返す関数である。

しかしながら、このような全予測モードを対象とした探索処理の場合、最適な予測モードを得ることはできるものの、計算量は非常に大きなものとなる。

予測モード推定法の高速に関する検討としては、Ｓobelフィルタを用いたエッジ検出の結果を利用し、検出されたエッジ方向に基づいてモード選択を行うという方法が提案されている（例えば、非特許文献２参照）。

しかしながら、この場合、エッジ検出の処理が必要となるため、計算機資源の乏しい場合には、リアルタイム処理が困難となる可能性がある。
"Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification" ITU-T Rec. H.264 ISO/IEC 14496-10 AVC, ＪVT-G050r1, May, 2003 P.Feng et.al. "Fast mode decision for intra prediction", JVT-I049, Sept., 2003.

上述したことから分かるように、限られた計算機資源を用いてＨ.264の符号化処理をリアルタイムで行う場合、高速な予測モードの推定法が必要となるものの、従来技術では、この要求に応えていないという問題がある。

本発明はかかる事情に鑑みてなされたものであって、イントラ予測を行って画像を符号化する構成を採るときにあって、その予測モードを高速に決定できるようにする新たな画像符号化技術の提供を目的とする。

この目的を達成するために、本発明の画像符号化装置は、イントラ予測を行って画像を符号化する処理を行うときにあって、（イ）符号化対象ブロックの周辺に位置する参照ブロックのイントラ符号化に用いられた予測モードを取得する取得手段と、（ロ）取得手段の取得した予測モードと、参照ブロックに割り付けられる重み係数とに基づいて、参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成する作成手段と、（ハ）作成手段の作成した頻度情報に基づいて、符号化対象ブロックのイントラ符号化に用いられる予測モードの候補を選択する選択手段と、（ニ）選択手段の選択した予測モードのコストを評価することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定する決定手段と、（ホ）決定手段の決定した予測モードに従って、符号化対象ブロックをイントラ符号化する符号化手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の画像符号化装置では、符号化対象ブロックの周辺に位置する参照ブロックのイントラ符号化に用いられた予測モードを取得して、その取得した予測モードと、参照ブロックに割り付けられる重み係数とに基づいて、参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成する。

例えば、参照ブロックのイントラ符号化に用いられた予測モードの指すエントリーに、参照ブロックに割り付けられる重み係数を累積加算することで、参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成するのである。

そして、その作成した頻度情報に基づいて、符号化対象ブロックのイントラ符号化に用いられる予測モードの候補を選択する。

このとき、符号化対象ブロックのイントラ符号化に用いられる予測モードの候補として、規定個数の予測モードを選択できない場合には、参照ブロックのイントラ符号化では用いられなかった予測モードの中から予測モードを選択することで、その規定個数分の予測モードを選択することがある。

そして、これらの選択した予測モードのコストを評価することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定して、その決定した予測モードに従って、符号化対象ブロックをイントラ符号化する。

本発明では、Ｈ.264のイントラ予測のモード選択において、フレーム内の空間相関およびフレーム間の時間相関を利用して、コストの算出対象となる予測モードを限定するという構成を採ることから、画質劣化を極力抑えつつ、少ない計算量でイントラ予測符号化を行うことができるようになる。

その結果、本発明によれば、少ない計算機資源の環境下でリアルタイム処理が求められる場合でも、Ｈ.264のイントラ予測符号化の持つ高能率な圧縮性能を享受できるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

なお、以下では、説明の便宜上、本発明の適用対象となるイントラ予測に係る画像符号化処理についてのみ説明する。

イントラ予測における計算量の大部分を占めるのは予測モードのコストの計算である。従って、コストの算出対象となる予測モードの数を限定することで計算量を削減できることになる。ただし、いい加減な方法によってコストの算出対象となる予測モードを絞り込んだのでは、復号画像の画質劣化が問題となる。これから、画質の劣化を極力抑えつつ、高速な処理を実現するには、適切な方法によってコストの算出対象となる予測モードを絞り込む必要がある。

そこで、本発明では、フレーム内の空間相関およびフレーム間の時間相関を利用してコストの算出対象となる予測モードの候補を選択するというアプローチをとるものであり、コストの算出対象となる予測モードを、符号化済みの近傍ブロックの予測モードを参照して決定するという構成を採ることを特徴とする。このとき用いる近傍ブロックを参照ブロックと呼ぶ。

図１に、符号化対象ブロックと参照ブロックとの位置関係の一例を示す。

ここでは、一例として、２８×２４〔画素〕のフレームを４×４のブロックに分割した場合を示しており、符号化対象ブロックが黒色ブロックの位置とした場合、その参照ブロックを網掛け（ｂ₁,...,ｂ₁₉）で表わしている。ここで、ｂ₁ 〜ｂ₁₀の参照ブロックについては符号化対象ブロックと同一フレームに属し、ｂ₁₁〜ｂ₁₉の参照ブロックについては符号化対象ブロックの１つ前のフレームに属している。

以下では、各参照ブロックの予測モードをＭ（ｂ_i )(ｉ＝０,....,19）と表す。なお、符号化処理は最上行左端のブロックから開始して、ラスター走査の順序で行うものとする。

図２に、本発明を具備する画像符号化装置１の一実施形態例を図示する。

この図に示すように、本発明の画像符号化装置１は、本発明を実現すべく構成されるイントラ符号化部１０を備えるものであり、このイントラ符号化部１０は、参照ブロック予測モード情報記憶部１００と、重み係数記憶部１０１と、優先順位記憶部１０２と、パラメータＫ記憶部１０３と、予測モード決定用情報登録部１０４と、予測モード選択部１０５と、予測モード決定部１０６と、符号化部１０７とを備える。

参照ブロック予測モード情報記憶部１００は、図３に示すように、符号化済みの各ブロックがどのような予測モードＭ（ｂ_i ）で符号化されたのかという情報を記憶する。

重み係数記憶部１０１は、図４に示すように、符号化対象ブロックとの空間的・時間的な位置関係に応じて各参照ブロックに割り付けられる重み係数Ｗ（ｂ_i ）の情報を記憶する。

この図４では、参照ブロックｂ₁ 〜ｂ₄ に対して重み係数α₁ が割り付けられ、参照ブロックｂ₅ 〜ｂ₁₀に対して重み係数α₂ が割り付けられ、参照ブロックｂ₁₁に対して重み係数α₃ が割り付けられ、参照ブロックｂ₁₂〜ｂ₁₉に対して重み係数α₄ が割り付けられていることを想定している。ここで、α₁,α₂,α₃,α₄ の値については、例えば、「α₁ ＞α₂ ＞α₃ ＞α₄ 」という形で設定される。なお、図４に示す重み係数は一例であって、隣接するブロックの予測モードを考慮するなど、この例以外の形態で設定されることでもよいことは言うまでもない。

優先順位記憶部１０２は、図５に示すように、各予測モードに割り付けられる優先順位の情報を記憶する。例えば９つの予測モードがある場合には、どの予測モードが第１位の優先順位で、どの予測モードが第２位の優先順位で、・・・・、どの予測モードが第９位の優先順位であるのかという情報を記憶するのである。

パラメータＫ記憶部１０３は、コストの算出対象となる予測モードの個数（以下、Ｋと記載する）を記憶する。後述することから分かるように、このＫを小さく設定すれば、コスト関数の算出対象となる予測モードが少なくなるため計算量を少なくすることができる。

予測モード決定用情報登録部１０４は、ユーザと対話することで、重み係数記憶部１０１に登録する重み係数を設定して登録し、また、優先順位記憶部１０２に登録する優先順位を設定して登録し、また、パラメータＫ記憶部１０３に登録する予測モードの個数Ｋを設定して登録する。

予測モード選択部１０５は、加重ヒストグラム作成機能と予測モード選択機能とを有して、符号化対象ブロックが与えられるときに、その符号化対象ブロックのイントラ符号化に用いられる予測モードの候補となる複数の予測モードを選択する。

予測モード決定部１０６は、コストの算出機能を有して、予測モード選択部１０５の選択した予測モードのそれぞれについてコストを算出することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定する。

符号化部１０７は、予測モード決定部１０６の決定した予測モードを用いて、符号化対象ブロックをイントラ符号化する。

図６及び図７に、このように構成されるイントラ符号化部１０の実行する処理フローの一例を図示する。ここで、図７に示す処理フローは、図６に示す処理フローのステップ１１の処理についての詳細を示す処理フローである。

次に、これらの処理フローに従って、図２のように構成される本発明の画像符号化装置１の実行する処理について詳細に説明する。

イントラ符号化部１０は、符号化対象ブロックの符号化要求があると、図６の処理フローに示すように、先ず最初に、ステップ１０で、参照ブロック予測モード情報記憶部１００から参照ブロックの符号化に用いられた予測モードＭ（ｂ_i ）の情報を読み出し、重み係数記憶部１０１から参照ブロックに割り付けられた重み係数Ｗ（ｂ_i ）の情報を読み出し、優先順位記憶部１０２から予測モードの優先順位の情報を読み出し、パラメータＫ記憶部１０３からコストの算出対象となる予測モードの個数Ｋの情報を読み出す。

続いて、ステップ１１で、参照ブロックの予測モードについての加重ヒストグラム（参照ブロックの予測モードについての重み付けされた頻度を示すもの）を作成する。

図７の処理フローに従って、この加重ヒストグラムの作成処理について詳細に説明するならば、先ず最初に、ステップ１１０で、加重ヒストグラムＨ〔ｍ〕を０で初期化する（各要素Ｈ〔ｍ〕は予測モードｍの重み付けされた頻度を示す）。ここで、ｍは予測モードのＩＤを表し、例えば９つの予測モードがある場合にはｍ＝０〜８となる。

続いて、ステップ１１１で、参照ブロックｂ_i のブロック番号を示す変数ｉに初期値０をセットし、続くステップ１１２で、変数ｉの指定する参照ブロックｂ_i の予測モードＭ（ｂ_i ）の指す加重ヒストグラムＨ〔ｍ〕のエントリーに、その参照ブロックｂ_i に割り付けられる重み係数Ｗ（ｂ_i ）を加算する。

続いて、ステップ１１３で、変数ｉの値を１つインクリメントし、続くステップ１１４で、その値が参照ブロックのブロック番号の最大値である１９を超えたのか否かを判断して、超えていない場合には、ステップ１１２に戻り、超えた場合には、図８に示すような加重ヒストグラムを作成できたことを判断して、ステップ１１５に進んで、加重ヒストグラムＨ〔ｍ〕を降順にソートする。

このようにして、ステップ１１で、参照ブロックの予測モードについての加重ヒストグラム（降順にソートしてある）を作成すると、ステップ１２に進んで、加重ヒストグラム上で０でない値を持つ予測モードがＫ個あるのか否かを判断して、Ｋ個の予測モードがあることを判断するときには、ステップ１３に進んで、加重ヒストグラムにのった上位Ｋ個の予測モードを選択する。

一方、ステップ１２で、加重ヒストグラム上で０でない値を持つ予測モードがＫ個に満たないことを判断するときには、ステップ１４に進んで、加重ヒストグラムにのった予測モードに加えて、それらの予測モードに入らない予測モードの中から優先順位の高い順に、予測モードの合計がＫ個となるようにと予測モードを選択することで、合計Ｋ個の予測モードを選択する。

ステップ１３，１４の処理に従ってＫ個の予測モードを選択すると、ステップ１５に進んで、その選択したＫ個の予測モードのそれぞれについて従来技術と同様の算出式に従ってコストを算出し、続くステップ１６で、そのコストを最小とする予測モードを符号化対象ブロックの予測モードとして決定する。

最後に、ステップ１７で、その決定した予測モードを用いて、符号化対象ブロックをイントラ符号化する。

このようにして、本発明では、Ｈ.264のイントラ予測のモード選択において、フレーム内の空間相関およびフレーム間の時間相関を利用して、コストの算出対象となる予測モードを限定するように処理するのである。

この構成により、本発明によれば、画質劣化を極力抑えつつ、少ない計算量でイントラ予測符号化を行うことができるようになる。

符号化対象ブロックと参照ブロックとの位置関係の一例を示す図である。 本発明の画像符号化装置の一実施形態例である。 参照ブロック予測モード情報記憶部の記憶データの一例を示す図である。 重み係数記憶部の記憶データの一例を示す図である。 優先順位記憶部の記憶データの一例を示す図である。 イントラ符号化部の実行する処理フローである。 加重ヒストグラムの作成処理の処理フローである。 加重ヒストグラムの一例を示す図である。 従来技術の説明図である。

符号の説明

１ 画像符号化装置
１０ イントラ符号化部
１００ 参照ブロック予測モード情報記憶部
１０１ 重み係数記憶部
１０２ 優先順位記憶部
１０３ パラメータＫ記憶部
１０４ 予測モード決定用情報登録部
１０５ 予測モード選択部
１０６ 予測モード決定部
１０７ 符号化部

Claims (10)

1. イントラ予測を行って画像を符号化する画像符号化方法において、
   符号化対象ブロックの周辺に位置する参照ブロックのイントラ符号化に用いられた予測モードを取得する過程と、
   上記取得した予測モードと、上記参照ブロックに割り付けられる重み係数とに基づいて、上記参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成する過程と、
   上記作成した頻度情報に基づいて、符号化対象ブロックのイントラ符号化に用いられる予測モードの候補を選択する過程とを備えることを、
   特徴とする画像符号化方法。
2. 請求項１記載の画像符号化方法において、
   上記作成する過程では、上記参照ブロックのイントラ符号化に用いられた予測モードの指すエントリーに、上記参照ブロックに割り付けられる重み係数を累積加算することで上記頻度情報を作成することを、
   特徴とする画像符号化方法。
3. 請求項１又は２に記載の画像符号化方法において、
   上記選択する過程では、上記候補となる予測モードとして規定個数の予測モードを選択できない場合には、上記参照ブロックのイントラ符号化では用いられなかった予測モードの中から予測モードを選択することで、その規定個数分の予測モードを選択することを、
   特徴とする画像符号化方法。
4. 請求項１ないし３のいずれか１項に記載の画像符号化方法において、
   上記選択した予測モードのコストを評価することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定する過程と、
   上記決定した予測モードに従って、符号化対象ブロックをイントラ符号化する過程とを備えることを、
   特徴とする画像符号化方法。
5. イントラ予測を行って画像を符号化する画像符号化装置において、
   符号化対象ブロックの周辺に位置する参照ブロックのイントラ符号化に用いられた予測モードを取得する手段と、
   上記取得した予測モードと、上記参照ブロックに割り付けられる重み係数とに基づいて、上記参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成する手段と、
   上記作成した頻度情報に基づいて、符号化対象ブロックのイントラ符号化に用いられる予測モードの候補を選択する手段とを備えることを、
   特徴とする画像符号化装置。
6. 請求項５記載の画像符号化装置において、
   上記作成する手段は、上記参照ブロックのイントラ符号化に用いられた予測モードの指すエントリーに、上記参照ブロックに割り付けられる重み係数を累積加算することで上記頻度情報を作成することを、
   特徴とする画像符号化装置。
7. 請求項５又は６に記載の画像符号化装置において、
   上記選択する手段は、上記候補となる予測モードとして規定個数の予測モードを選択できない場合には、上記参照ブロックのイントラ符号化では用いられなかった予測モードの中から予測モードを選択することで、その規定個数分の予測モードを選択することを、
   特徴とする画像符号化装置。
8. 請求項５ないし７のいずれか１項に記載の画像符号化装置において、
   上記選択した予測モードのコストを評価することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定する手段と、
   上記決定した予測モードに従って、符号化対象ブロックをイントラ符号化する手段とを備えることを、
   特徴とする画像符号化装置。
9. 請求項１ないし４のいずれか１項に記載の画像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラム。
10. 請求項１ないし４のいずれか１項に記載の画像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images