JP2015088826A

JP2015088826A - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム

Info

Publication number: JP2015088826A
Application number: JP2013224355A
Authority: JP
Inventors: 誠之高村; Masayuki Takamura
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-10-29
Filing date: 2013-10-29
Publication date: 2015-05-07
Anticipated expiration: 2033-10-29
Also published as: JP6159225B2

Abstract

【課題】参照画像の品質を高め、より少ない符号量でより高い品質の復号映像を得ることができる画像符号化方法、画像復号方法を提供する。
【解決手段】小領域において導出した導出値の入力画像内全体でのヒストグラムを所定のフィルタ個数に等分割し、小領域について導出値に応じた分類値を決定し、同一の分類値に属する小領域ごとに、符号化ループの内部で用いる画質改善フィルタの演算式をフィルタ個数分構成し、この演算式を符号化し、入力画像に対して画質改善フィルタの演算式によりフィルタ処理を施すことにより画像符号化を行う。また、画質改善フィルタの演算式を復号し、小領域において導出した導出値の入力画像内全体でのヒストグラムを所定のフィルタ個数に等分割し、小領域について導出値に応じた分類値を決定し、小領域ごとに分類値に対応する画質改善フィルタの演算式により画像に対してフィルタ処理を施すことにより画像復号を行う。
【選択図】図１

Description

本発明は、画像・映像の非可逆符号化において、映像品質の改善および符号化ビットレートを削減する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムに関する。

従来から、ＨＥＶＣ（High Efficiency Video Coding）などの映像符号化の構成要素の一つに、「ループ内フィルタ」と呼ばれる画質改善フィルタがある。これは、復号直後の局所復号画像に含まれる歪みを低減させるフィルタである。ループ内フィルタには、デブロッキングフィルタやＳａｍｐｌｅＡｄａｐｔｉｖｅＯｆｆｓｅｔ（以下、ＳＡＯという；例えば、非特許文献１参照）、ＡｄａｐｔｉｖｅＬｏｏｐＦｉｌｔｅｒ（以下、ＡＬＦという；例えば、非特許文献２参照）などが存在する。画像内に、フィルタを適用しても画質が改善される効果が得られる場所と、画質が改善されない場所があるため、事前に定められた規則、または、四分木等の付加情報により、フィルタを適用する領域としない領域を分離している。

デブロッキングフィルタは、符号化ブロックとブロックの境界に生じる歪み（これをブロック歪みという）を、位置に応じて適応的に変化する方法により、効果的に取り除くものである。ＳＡＯは、符号化・復号により生じる画素値の上下変動（オフセット）のトレンドを、着目画素の属する輝度帯域（バンド）やエッジ方向に応じて補正するものである。また、ＡＬＦは、線形空間フィルタにより符号化歪みの重畳した復号画像を効果的に原画像信号に近づけるものである。

ここで、図５を参照して、ＡＬＦについて説明する。着目画素（これから画質改善を施す画素）の画素値をｘ２とする。またその周辺の画素値をｘ０，ｘ１，ｘ３，ｘ４とする（図５（ａ）参照）。また別途、ＡＬＦ用フィルタ係数Ｃ０，Ｃ１，Ｃ２が伝送されている（図５（ｂ）参照）。ｘ２の位置の画質改善後の値は、
Ｃ０×ｘ０＋Ｃ１×ｘ１＋Ｃ２×ｘ２＋Ｃ１×ｘ３＋Ｃ０×ｘ４
＝Ｃ０×（ｘ０＋ｘ４）＋Ｃ１×（ｘ１＋ｘ３）＋Ｃ２×ｘ２
となる。

ＡＬＦ技術はまた、局所領域ごとに異なるフィルタを施すようにも拡張できる。例えばＡＬＦのＢｌｏｃｋ−ｂａｓｅｄＡｄａｐｔａｔｉｏｎモード（ＢＡモード、非特許文献３の６．５．２．１節参照）においては、これから画質改善を施す画像の４ｘ４画素の小ブロックの、エッジの「方向」と「強さ」に応じて、このブロックを最大１５種のうちの一つに分類する。Ｒｅｇｉｏｎ−ｂａｓｅｄＡｄａｐｔａｔｉｏｎモード（ＲＡモード）は画面を縦横それぞれ４等分した１６領域それぞれに異なるフィルタを施すものである（同文献同節参照）。

以下にＢＡモードにおける分類方法を示す。復号画像（フィルタを施す画像）をｓ’［ｘ，ｙ］で表す。分類対象とする４ｘ４ブロックの左上画素の座標を［ｘＣ，ｙＣ］とする。

まず、ｖａｒＴｅｍｐＨ［ｘ］［ｙ］，ｖａｒＴｅｍｐＶ［ｘ］［ｙ］，ｖａｒＴｅｍｐ１［ｘ］［ｙ］（ｘ，ｙ＝−１．．．４）を以下のように求める。
ｖａｒＴｅｍｐＨ［ｘ］［ｙ］＝｜ｓ’［ｘＣ＋ｘ，ｙＣ＋ｙ］×２−ｓ’［ｘＣ＋ｘ−１，ｙＣ＋ｙ］−ｓ’［ｘＣ＋ｘ＋１，ｙＣ＋ｙ］｜
これは水平エッジ強度を表す。

ｖａｒＴｅｍｐＶ［ｘ］［ｙ］＝｜ｓ’［ｘＣ＋ｘ，ｙＣ＋ｙ］×２−ｓ’［ｘＣ＋ｘ，ｙＣ＋ｙ−１］−ｓ’［ｘＣ＋ｘ，ｙＣ＋ｙ＋１］｜
これは垂直エッジ強度を表す。

ｖａｒＴｅｍｐ１［ｘ］［ｙ］＝ｖａｒＴｅｍｐＨ［ｘ］［ｙ］＋ｖａｒＴｅｍｐＶ［ｘ］［ｙ］
これはエッジ強度を表す。

次に、ｖａｒＴｅｍｐ２［ｘ，ｙ］（ｘ，ｙ＝０．．．３）を以下のように求める。
ｖａｒＴｅｍｐ２［ｘ］［ｙ］＝ΣｉΣｊｖａｒＴｅｍｐ１［ｘ＋ｉ］［ｙ＋ｊ］、ただしｉ，ｊ＝−１．．．１
これはｘ，ｙを中心とする３ｘ３画素領域内のエッジ強度を表す。

次に、ｖａｒＴｅｍｐ３，ｖａｒＴｅｍｐＨ１，ａｎｄｖａｒＴｅｍｐＶ１を以下のように求める。
ｖａｒＴｅｍｐ３＝（Σ_ｉΣ_ｊｖａｒＴｅｍｐ２［ｉ］［ｊ］）÷１６、ただしｉ，ｊ＝０．．．３
これは４ｘ４ブロック内での平均エッジ強度を表す。

ｖａｒＴｅｍｐＨ１＝Σ_ｉΣ_ｊｖａｒＴｅｍｐＨ［ｉ］［ｊ］、ただしｉ，ｊ＝０．．３
これは該４ｘ４ブロック内での平均水平エッジ強度を表す。

ｖａｒＴｅｍｐＶ１＝Σ_ｉΣ_ｊｖａｒＴｅｍｐＶ［ｉ］［ｊ］、ただしｉ，ｊ＝０．．３
これは４ｘ４ブロック内での平均垂直エッジ強度を表す。

次に、最終的な分類値（０から１４までの整数値）ｆＩｄｘを以下のように求める。
ａｖｇ＿ｖａｒ＝Ｃｌｉｐ３（０，１５，（ｖａｒＴｅｍｐ３×１１４）＞＞（３＋ＢｉｔＤｅｐｔｈＹ））
これは４ｘ４ブロック内での平均エッジ強度を正規化し０から１５の整数としたものである。ここでＣｌｉｐ３（０，１５，ｘ）は、ｘ＜０ならば０、ｘ＞１５ならば１５、それ以外ならｘを返す関数であり、ＢｉｔＤｅｐｔｈＹは画像の輝度信号のビット深度（通常の画像ではＢｉｔＤｅｐｔｈＹ＝８）であり、「＞＞」は右方向のビットシフト演算子である。

ｆＩｄｘ＝ｖａｒ＿ｔａｂ［ａｖｇ＿ｖａｒ］＋５＊ｄｉｒｅｃｔｉｏｎ
ここでｖａｒ＿ｔａｂは次のような一次元配列であり、
ｖａｒ＿ｔａｂ［１６］＝｛０，１，２，２，２，３，３，３，３，３，４，４，４，４，４，４｝
ｄｉｒｅｃｔｉｏｎは、
もしｖａｒＴｅｍｐＶ１＞（ｖａｒＴｅｍｐＨ１＜＜１）ならばｄｉｒｅｃｔｉｏｎ＝１
もしｖａｒＴｅｍｐＨ１＞（ｖａｒＴｅｍｐＶ１＜＜１）ならばｄｉｒｅｃｔｉｏｎ＝２
それ以外ならｄｉｒｅｃｔｉｏｎ＝０
として求められる値である。

このようにして各ブロックは１５種のうちの一つに分類され、それに対応する１５種類のＡＬＦフィルタの一つにより画質復元がなされる。

ＡＬＦの別の派生として、非特許文献４は四分木（Ｑｕａｄｔｒｅｅ）を用いて画面を分割し、フィルタ適用有無を切り替える方法を提案している。すなわち、図６（非特許文献４のＦｉｇｕｒｅ１から引用）に示すような画面分割を行い、Ｌｅｖｅｌ１〜３の結果に基づき「１００１０１０００」というビット列を生成して表現している（図７（非特許文献４のＦｉｇｕｒｅ２から引用）参照）。さらに、図６に示すＦＵ_０からＦＵ_９に１ビットずつのフラグを与え、ＡＬＦの適用をするかしないかを指示している。

また、線形に閉じず、かつ固定的な演算に閉じず、高性能なフィルタを画像ごとに生成する方法として、特許文献１に記載の方法がある。

前述した画質改善技術はいずれも局所復号された画像の品質を高める効果がある。また動き予測符号化において、参照画像の画質が高まると、動き補償後の差分信号の振幅が減り、送信すべき情報が少なくて済むようになることから、映像符号化効率の改善に寄与している。

特開２０１３−０９３６６２号公報

Chih-Ming Fu, Ching-Yeh Chen, Chia-Yang Tsai, Yu-Wen Huang, and Shawmin Lei: "Sample Adaptive Offset with Zero Pixel Line Buffers for LCU-based Decoding", ITU-T and ISO/IEC, JCTVC-F055, July, 2011 W. Lai, F. C. A. Fernandes, H. Guermazi F. Kossentini and M. Horowitz: "CE8 Subtest 4: ALF using vertical-size 5 filters with up to 9 coefficients", ITU-T and ISO/IEC, JCTVC-F303, July, 2011 Ken McCann, Benjamin Bross, Shun-ichi Sekiguchi, Woo-Jin Han: "HM3: High Efficiency Video Coding (HEVC) Test Model 3 Encoder Description", ITU-T and ISO/IEC, JCTVC-E602, Sec. 6.5.2.1 Derivation of luma pixel classifications, March, 2011 Chia-Yang Tsai, Chih-Ming Fu, Ching-Yeh Chen, Yu-Wen Huang, and Shawmin Lei, "TE10 Subtest2: Coding Unit Synchronous Picture Quadtree-based Adaptive Loop Filter," ITU-T and ISO/IEC, JCTVC-C143, Guangzhou, October 2010.

しかしながら、従来の画質改善を行うためのループ内フィルタは、フィルタを領域ごとに使い分けることができない（特許文献１）か、使い分けることができても固定的なしきい値による分類（非特許文献３のＡＬＦのＢＡモード）や固定的な領域分割による分類（非特許文献３のＡＬＦのＲＡモード）しかできず、柔軟な領域分割が可能な非特許文献４のＱｕａｄｔｒｅｅ−ｂａｓｅｄＡＬＦのように領域情報のために余分な符号を伝送する必要があったため、参照画像の品質をさらに高め、より少ない符号量でより高い品質の復号映像を得ることができないという問題がある。

本発明は、このような事情に鑑みてなされたもので、動的なしきい値による画像領域分類に基づきフィルタを使い分けることにより、参照画像の品質を高め、より少ない符号量でより高い品質の復号映像を得ることができる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムを提供することを目的とする。

本発明は、入力画像の信号を符号化する画像符号化方法であって、前記入力画像を小領域に分割する分割ステップと、前記小領域内の特徴量を導出する導出ステップと、導出した前記特徴量の前記入力画像内全体でのヒストグラムを生成する生成ステップと、前記ヒストグラムを所定のフィルタ個数に等分割する等分割ステップと、前記小領域について前記導出値に応じた分類値を決定する分類ステップと、同一の前記分類値に属する前記小領域ごとに、符号化ループの内部で用いる画質改善フィルタの演算式を前記フィルタ個数分構成する構成ステップと、前記フィルタ個数分の前記演算式を符号化する符号化ステップと、前記入力画像に対して前記画質改善フィルタの演算式によりフィルタ処理を施すフィルタリングステップとを有することを特徴とする。

本発明は、符号化された画像の信号を復号する画像復号方法であって、符号化された前記画像の信号から画質改善フィルタの演算式を復号する復号ステップと、前記画像を小領域に分割する分割ステップと、前記小領域内の特徴量を導出する導出ステップと、導出した前記特徴量の前記画像内全体でのヒストグラムを生成する生成ステップと、前記ヒストグラムを所定のフィルタ個数に等分割する等分割ステップと、前記小領域について前記導出値に応じた分類値を決定する分類ステップと、前記小領域ごとに前記分類値に対応する前記画質改善フィルタの演算式により前記画像に対してフィルタ処理を施すフィルタリングステップとを有することを特徴とする。

本発明は、入力画像の信号を符号化する画像符号化装置であって、前記入力画像を小領域に分割する分割手段と、前記小領域内の特徴量を導出する導出手段と、導出した前記特徴量の前記入力画像内全体でのヒストグラムを生成する生成手段と、前記ヒストグラムを所定のフィルタ個数に等分割する等分割手段と、前記小領域について前記導出値に応じた分類値を決定する分類手段と、同一の前記分類値に属する前記小領域ごとに、符号化ループの内部で用いる画質改善フィルタの演算式を前記フィルタ個数分構成する構成手段と、前記フィルタ個数分の前記演算式を符号化する符号化手段と、前記入力画像に対して前記画質改善フィルタの演算式によりフィルタ処理を施すフィルタリング手段とを有することを特徴とする。

本発明は、符号化された画像の信号を復号する画像復号方法であって、符号化された前記画像の信号から画質改善フィルタの演算式を復号する復号手段と、前記画像を小領域に分割する分割手段と、前記小領域内の特徴量を導出する導出手段と、導出した前記特徴量の前記画像内全体でのヒストグラムを生成する生成手段と、前記ヒストグラムを所定のフィルタ個数に等分割する等分割手段と、前記小領域について前記導出値に応じた分類値を決定する分類手段と、前記小領域ごとに前記分類値に対応する前記画質改善フィルタの演算式により前記画像に対してフィルタ処理を施すフィルタリング手段とを有することを特徴とする。

本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。

本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。

本発明によれば、動き補償映像符号化において、参照画像の品質を高められるため、より少ない符号量でより高い品質の復号映像が得られるという効果が得られる。

本発明の一実施形態における画像符号化装置の構成を示すブロック図である。図１に示すループ内フィルタ処理部１１０の処理動作を示すフローチャートである。本発明の一実施形態における画像復号装置の構成を示すブロック図である。図３に示すループ内フィルタ処理部２０８の処理動作を示すフローチャートである。ＡＬＦが施すフィルタが用いる係数と画素位置の関係を、比較的単純な例で示した説明図である。四分木（Ｑｕａｄｔｒｅｅ）を用いて画面を分割し、フィルタ適用有無を切り替える方法を示す説明図である。四分木（Ｑｕａｄｔｒｅｅ）を用いて画面を分割し、フィルタ適用有無を切り替える方法を示す説明図である。

以下、図面を参照して、本発明の一実施形態による画像符号化装置を説明する。図１は同実施形態における画像符号化装置の構成を示すブロック図である。この画像符号化装置は、符号化対象画像の入力画像信号を入力し、入力画像信号のフレームをブロックに分割してブロック毎に符号化し、符号化データとして出力する。図１に示す画像符号化装置は、ループ内フィルタ処理部１１０を備えている点が従来技術と異なる点であり、他の構成は、Ｈ．２６４／ＡＶＣその他の画像符号化装置として用いられている従来の一般的な構成と同様であるため、図１に示す画像符号化装置の構成の説明を簡単に行う。

予測残差信号生成部１０３は、入力画像信号とインター予測処理部１０２あるいはイントラ予測処理部１０１の出力である予測信号との差分を求め、それを予測残差信号として出力する。変換処理部１０４は、予測残差信号に対して離散コサイン変換（ＤＣＴ）等の直交変換を行い、変換係数を出力する。量子化処理部１０５は、変換係数を量子化し、量子化後の値を出力する。逆量子化処理部１０６は、量子化後変換係数を入力し、逆量子化処理を行う。逆変換処理部１０７は、逆量子化処理部１０６の出力である逆量子化後変換係数を逆直交変換し、予測残差復号信号を出力する。復号信号生成部１０８は、この予測残差復号信号とインター予測処理部１０２あるいはイントラ予測処理部１０１の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号信号を生成する。この復号信号は、イントラ予測処理部１０１にて参照画像として用いるために、フレームメモリ１０９に格納する。イントラ予測処理部１０１は、フレームメモリ１０９に格納された画像から予測モードなどを設定する。

また、インター予測処理部１０２において参照するために、ループ内フィルタ処理部１１０は、フレームメモリ１０９に格納した画像を入力して、符号化歪みを低減するフィルタリング処理を行い、フレームメモリ１１５に格納する。インター予測処理部１０２は、フレームメモリ１１５に格納されている過去の画像と、現在の入力画像信号から動きベクトルや動き単位などの情報を求める。ループ内フィルタ処理部１１０において設定された予測係数等の情報は、ループ内フィルタ情報格納部１１４に格納される。イントラ予測処理部１０１において設定された予測モードなどの情報は、イントラ予測情報格納部１１２に格納される。エントロピー符号化処理部１１３は、量子化処理部１０５の出力である量子化後変換係数、ループ内フィルタ情報格納部１１４に格納された予測係数等の情報、インター予測情報格納部１１１に格納された動きベクトルなどの情報及びイントラ予測情報格納部１１２に格納された予測モードなどの情報をエントロピー符号化し、符号化データとして出力する。

次に、図２を参照して、図１に示すループ内フィルタ処理部１１０の動作を説明する。図２は、図１に示すループ内フィルタ処理部１１０の動作を示すフローチャートである。まず、ループ内フィルタ処理部１１０は、入力画像を予め定められた「小領域サイズ」（例えば縦８画素ｘ横８画素）に分割する（ステップＳ１１）。続いて、ループ内フィルタ処理部１１０は、分割された各小領域ごとに、特徴量（エッジ強度または平均輝度値または分散）を導出する（ステップＳ１２）。特徴量が平均輝度値の場合は、小領域サイズはたとえば縦１画素ｘ横１画素とすることも可能である。

次に、ループ内フィルタ処理部１１０は、入力画像内のすべての小領域の特徴量を導出したか否かを判定し（ステップＳ１３）、全て終了していなければステップＳ１２に戻り、すべて終了していれば、特徴量のヒストグラムを生成する（ステップＳ１４）。続いて、ループ内フィルタ処理部１１０は、ヒストグラムを予め定められた「フィルタ個数」に等分割する（ステップＳ１５）。

次に、ループ内フィルタ処理部１１０は、分割された各小領域ごとに、導出した値に応じた分類値を決定する（ステップＳ１６）。続いて、ループ内フィルタ処理部１１０は、入力画像内の全ての小領域の分類値を決定したか否かを判定し（ステップＳ１７）、全て決定していなければステップＳ１６に戻り、全て決定していれば、同一分類値に属する画像領域ごとに画質改善フィルタの演算式を構成する（ステップＳ１８）。

次に、ループ内フィルタ処理部１１０は、構成した演算式を符号化する（ステップＳ１９）。続いて、ループ内フィルタ処理部１１０は、同一分類値に属する画像領域ごとに演算式によりフィルタ処理を施す（ステップＳ２０）。そして、ループ内フィルタ処理部１１０は、ステップＳ１８〜Ｓ２０が全フィルタ個数分完了したかを判定し（ステップＳ２１）、完了していなければステップＳ１８に戻り、完了していれば処理を終了する。

次に、本発明の一実施形態による画像復号装置を説明する。図３は同実施形態における画像復号装置の構成を示すブロック図である。この画像復号装置は、図１に示す画像符号化装置により符号化された符号化データを入力して復号することにより復号画像の映像信号を出力する。図３に示す画像復号装置は、ループ内フィルタ処理部２０８を備えている点が従来技術と異なる点であり、他の構成は、Ｈ．２６４その他の画像復号装置として用いられている従来の一般的な構成と同様であるため、図３に示す画像復号装置の構成の説明を簡単に行う。

復号を行うため、エントロピー復号処理部２０１は、符号化データを入力し、復号対象ブロックの量子化後変換係数をエントロピー復号するとともに、イントラ予測、インター予測、およびループ内フィルタに関する情報を復号し、イントラ予測情報格納部２１０、インター予測情報格納部２０９、ループ内フィルタ情報格納部２１１にそれぞれ格納する。逆量子化処理部２０４は、量子化後変換係数を入力し、それを逆量子化して復号変換係数を出力する。逆変換処理部２０５は、復号変換信号に逆直交変換を施し、予測残差復号信号を出力する。この予測残差復号信号とインター予測処理部２０３あるいはイントラ予測処理部２０２の出力である予測信号とを加算し、復号対象ブロックの復号信号を生成する。

この復号信号は、イントラ予測処理部２０２にて参照画像として用いるために、フレームメモリ２０７に格納する。また、インター予測処理部２０３にて参照するために、ループ内フィルタ処理部２０８において、フレームメモリ２０７に格納された画像を入力して、符号化歪みを低減するフィルタリング処理を行い、出力信号として出力すると同時に、フレームメモリ２０６に格納する。ループ内フィルタ処理部２０８は、画質改善フィルタを復号し、得られた画質改善フィルタを使用して、フィルタを施した画素値を生成して出力信号として出力する。

次に、図４を参照して、図３に示すループ内フィルタ処理部２０８の処理動作を説明する。図４は、図３に示すループ内フィルタ処理部２０８の処理動作を示すフローチャートである。まず、ループ内フィルタ処理部２０８は、入力画像を予め定められた「小領域サイズ」（例えば縦８画素ｘ横８画素）に分割する（ステップＳ３１）。続いて、ループ内フィルタ処理部２０８は、分割された各小領域ごとに、特徴量（エッジ強度または平均輝度値または分散）を導出する（ステップＳ３２）。

次に、ループ内フィルタ処理部２０８は、入力画像内のすべての小領域の特徴量を導出したか否かを判定し（ステップＳ３３）、全て終了していなければステップＳ３２に戻り、すべて終了していれば、特徴量のヒストグラムを生成する（ステップＳ３４）。続いて、ループ内フィルタ処理部２０８は、ヒストグラムを予め定められた「フィルタ個数」に等分割する（ステップＳ３５）。

次に、ループ内フィルタ処理部２０８は、分割された各小領域ごとに、導出した値に応じた分類値を決定する（ステップＳ３６）。続いて、ループ内フィルタ処理部２０８は、入力画像内の全ての小領域の分類値を決定したか否かを判定し（ステップＳ３７）、全て決定していなければステップＳ３６に戻り、全て決定していれば、各分類値に対応する画質改善フィルタの演算式を復号する（ステップＳ３８）。

次に、ループ内フィルタ処理部２０８は、復号したフィルタ（演算式）を用いて、同一分類値に属する領域にフィルタを施した画素値を生成して出力する（ステップＳ３９）。そして、ループ内フィルタ処理部２０８は、ステップＳ３９の処理が全分類値について完了したか否かを判定し（ステップＳ４０）、完了していなければステップＳ３８に戻り、完了していれば、完了していれば処理を終了する。

以上説明したように、小領域において導出した導出値の入力画像内全体でのヒストグラムを所定のフィルタ個数に等分割し、小領域について導出値に応じた分類値を決定し、同一の分類値に属する小領域ごとに、符号化ループの内部で用いる画質改善フィルタの演算式をフィルタ個数分構成し、この演算式を符号化し、入力画像に対して画質改善フィルタの演算式によりフィルタ処理を施すことにより画像符号化を行うようにした。また、画質改善フィルタの演算式を復号し、小領域において導出した導出値の入力画像内全体でのヒストグラムを所定のフィルタ個数に等分割し、小領域について導出値に応じた分類値を決定し、小領域ごとに分類値に対応する画質改善フィルタの演算式により画像に対してフィルタ処理を施すことにより画像復号を行うようにした。この構成によれば、画像の局所的な特徴に応じた画質改善フィルタを、領域ごとの対応フィルタ情報を付加することなしに、切り替えることができる。したがって、動き補償映像符号化において、参照画像の品質を高められるため、より少ない符号量でより高い品質の復号映像を得ることができる。

前述した実施形態における画像符号化装置及び画像復号装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

画像・映像の非可逆符号化において、映像品質の改善および符号化ビットレートの削減を目的として、画像の符号化・復号を行うことが不可欠な用途に適用できる。

１０１・・・イントラ予測処理部、１０２・・・インター予測処理部、１０３・・・予測残差信号生成部、１０４・・・変換処理部、１０５・・・量子化処理部、１０６・・・逆量子化処理部、１０７・・・逆変換処理部、１０８・・・復号信号生成部、１０９・・・フレームメモリ、１１０・・・ループ内フィルタ処理部、１１１・・・インター予測情報格納部、１１２・・・イントラ予測情報格納部、１１３・・・エントロピー符号化処理部、１１４・・・ループ内フィルタ情報格納部、１１５・・・フレームメモリ、２０１・・・エントロピー復号処理部、２０２・・・イントラ予測処理部、２０３・・・インター予測処理部、２０４・・・逆量子化処理部、２０５・・・逆変換処理部、２０６・・・フレームメモリ、２０７・・・フレームメモリ、２０８・・・ループ内フィルタ処理部、２０９・・・インター予測情報格納部、２１０・・・イントラ予測情報格納部、２１１・・・ループ内フィルタ情報格納部

Claims

入力画像の信号を符号化する画像符号化方法であって、
前記入力画像を小領域に分割する分割ステップと、
前記小領域内の特徴量を導出する導出ステップと、
導出した前記特徴量の前記入力画像内全体でのヒストグラムを生成する生成ステップと、
前記ヒストグラムを所定のフィルタ個数に等分割する等分割ステップと、
前記小領域について前記導出値に応じた分類値を決定する分類ステップと、
同一の前記分類値に属する前記小領域ごとに、符号化ループの内部で用いる画質改善フィルタの演算式を前記フィルタ個数分構成する構成ステップと、
前記フィルタ個数分の前記演算式を符号化する符号化ステップと、
前記入力画像に対して前記画質改善フィルタの演算式によりフィルタ処理を施すフィルタリングステップと
を有することを特徴とする画像符号化方法。
符号化された画像の信号を復号する画像復号方法であって、
符号化された前記画像の信号から画質改善フィルタの演算式を復号する復号ステップと、
前記画像を小領域に分割する分割ステップと、
前記小領域内の特徴量を導出する導出ステップと、
導出した前記特徴量の前記画像内全体でのヒストグラムを生成する生成ステップと、
前記ヒストグラムを所定のフィルタ個数に等分割する等分割ステップと、
前記小領域について前記導出値に応じた分類値を決定する分類ステップと、
前記小領域ごとに前記分類値に対応する前記画質改善フィルタの演算式により前記画像に対してフィルタ処理を施すフィルタリングステップと
を有することを特徴とする画像復号方法。
入力画像の信号を符号化する画像符号化装置であって、
前記入力画像を小領域に分割する分割手段と、
前記小領域内の特徴量を導出する導出手段と、
導出した前記特徴量の前記入力画像内全体でのヒストグラムを生成する生成手段と、
前記ヒストグラムを所定のフィルタ個数に等分割する等分割手段と、
前記小領域について前記導出値に応じた分類値を決定する分類手段と、
同一の前記分類値に属する前記小領域ごとに、符号化ループの内部で用いる画質改善フィルタの演算式を前記フィルタ個数分構成する構成手段と、
前記フィルタ個数分の前記演算式を符号化する符号化手段と、
前記入力画像に対して前記画質改善フィルタの演算式によりフィルタ処理を施すフィルタリング手段と
を有することを特徴とする画像符号化装置。
符号化された画像の信号を復号する画像復号方法であって、
符号化された前記画像の信号から画質改善フィルタの演算式を復号する復号手段と、
前記画像を小領域に分割する分割手段と、
前記小領域内の特徴量を導出する導出手段と、
導出した前記特徴量の前記画像内全体でのヒストグラムを生成する生成手段と、
前記ヒストグラムを所定のフィルタ個数に等分割する等分割手段と、
前記小領域について前記導出値に応じた分類値を決定する分類手段と、
前記小領域ごとに前記分類値に対応する前記画質改善フィルタの演算式により前記画像に対してフィルタ処理を施すフィルタリング手段と
を有することを特徴とする画像復号装置。
コンピュータに、請求項１に記載の画像符号化方法を実行させるための画像符号化プログラム。
コンピュータに、請求項２に記載の画像復号方法を実行させるための画像復号プログラム。