JP2013062644A

JP2013062644A - 画像符号化装置及び画像復号装置

Info

Publication number: JP2013062644A
Application number: JP2011199144A
Authority: JP
Inventors: Haruhisa Kato; 晴久加藤; Akio Yoneyama; 暁夫米山
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2011-09-13
Filing date: 2011-09-13
Publication date: 2013-04-04
Also published as: WO2013038888A1

Abstract

【課題】符号化効率の高い画像符号化装置及び対応する画像復号装置を提供する。
【解決手段】予測手段１１乃至量子化手段１５及び逆量子化手段１８乃至保持手段２１を備え、単位ブロックの画素に予測を適用しつつ符号化を行う画像符号化装置１００において、画素を構成する信号チャネルにおける各量子化値を、量子化値に対する予測を行うための基準信号チャネルと予測が適用される被予測信号チャネルとに分ける。基準信号はその量子化値を予め符号化して量子化保持手段４に保持し、当該基準信号に基づいて被予測信号の量子化値に対して量子化予測手段５及び量子化補償手段６が予測及び補償して、量子化予測信号を求め、差分の量子化予測残差を符号化する。画像復号装置３００においても対応した処理で復号を行う。
【選択図】図１

Description

本発明は、画像符号化装置及び画像復号装置に関し、特に、信号間相関を利用して処理済みの量子化値から符号対象の量子化値を予測し、予測誤差を符号化する画像符号化装置および画像復号装置に関する。

従来の画像符号化において符号化効率を向上させる方式としては、時間冗長性を削減する方法と空間冗長性を削減する方法がある。

時間冗長性を削減する方法としては、フレーム差分方式や動き補償方式がある。フレーム差分方式は連続する2枚の画像を単純に減算し差分を符号化する。動き補償方式は、参照フレームに対して動きベクトルを適用することで符号対象フレームの近似画像を生成し、符号対象フレームとの差分を符号化する。画像間の相違を小さくした上で符号化するため、動き補償方式はフレーム差分方式より符号化効率の面で優れる。動き補償方式で用いる動きベクトルの推定方法は様々な方式が提案されており、動き推定に関する主要な従来技術は非特許文献１にて紹介されている。

一方、空間冗長性を削減する方法としては、直交変換係数を量子化する方式がある。直交変換は画素信号を周波数領域に写像し、エネルギーを低域に集中させる。人間の視覚特性が高域に敏感でないことを利用して、高域成分を量子化で除去することで符号化効率を上げることが可能となる。また、直交変換係数乃至画素の予測による空間冗長性削減手法がある。直交変換に関する主要な従来技術は非特許文献２にて紹介されている。

http://www.jpo.go.jp/shiryou/s_sonota/map/denki14/2/2-1-2-1.htm http://www.jpo.go.jp/shiryou/s_sonota/map/denki14/2/2-1-3.htm

動き補償は時間冗長度を削減するが、静止画には利用できない。一方、直交変換と量子
化の組み合わせや空間予測方法は空間冗長性を削減するが、いずれも色信号を独立して処
理するため色信号の冗長性まで削減することはできない。

本発明の目的は上記の従来技術の問題点を解消し、符号化効率の高い画像符号化装置
を提供することにある。

本発明の目的はまた、上記符号化効率の高い画像符号化装置に対応する画像復号装置を提供することにある。

上記目的を達成するため、本発明の画像符号化装置は、複数の画素から構成される単位ブロックの各画素に対して、符号化済み画素から符号化対象の各画素を予測する予測情報を決定する予測手段と、当該予測情報に基づいて各画素の予測画素を生成する補償手段と、当該各画素とその予測画素との間で差分処理を行って予測残差とする差分手段と、当該予測残差に対して直交変換を施して変換係数とする変換手段と、当該変換係数を量子化して量子化値とする量子化手段とを備え、単位ブロック毎に当該量子化値の符号化を行う画像符号化装置において、画素を構成する第一の信号チャネルにおける符号化済みの量子化値を予測の基準とするために保持する量子化保持手段と、画素を構成する第二の信号チャネルにおける符号化対象の量子化値を当該第一の信号チャネルにおける符号化済みの量子化値から所定の予測方式に従い予測する量子化予測情報を決定する量子化予測手段と、当該量子化予測情報に基づいて第二の信号チャネルにおける符号化対象の量子化値に対する量子化予測信号を生成する量子化補償手段と、当該第二の信号チャネルにおける符号化対象の量子化値とその量子化予測信号との間で差分処理を行って量子化予測残差とする量子化差分手段とを備え、前記所定の予測方式を特定する情報を符号化し、且つ第二の信号チャネルに対しては前記量子化予測残差を符号化すると共に、当該符号化済みの量子化予測残差とその量子化予測信号とを加算して第二の信号チャネルにおける符号化済みの量子化値となし、当該第一及び第二の信号チャネルにおける符号化済みの量子化値に基づいて前記符号化済み画素を生成することを特徴とする。

また、上記目的を達成するため、本発明の画像復号装置は、前記画像符号化装置により符号化された符号情報を復号して復号画素を生成する画像復号装置であり、当該符号情報を復号して前記第一のチャネルにおける量子化値と、前記第二のチャネルにおける量子化予測残差と、前記所定の予測方式を特定する情報とを得る復号手段と、前記第一のチャネルにおける復号済み量子化値を予測の基準とするために保持する復号側量子化保持手段と、前記第一のチャネルにおける復号済み量子化値から前記所定の予測方式に従い前記第二のチャネルにおける復号対象の量子化値を予測する量子化予測情報を決定する復号側量子化予測手段と、当該決定された量子化予測情報に基づいて前記第二のチャネルにおける量子化予測信号を生成する復号側量子化予測手段とを備え、前記第二のチャネルにおける量子化予測信号と前記復号された量子化予測残差とを加算して前記第二のチャネルにおける量子化値となし、当該第一及び第二の信号チャネルにおける復号された量子化値に基づいて復号画素を生成することを特徴とする。

本発明の画像符号化装置によれば、量子化値の符号化に際して第一の信号チャネルを予測の基準としてその量子化値を符号化し、第二の信号チャネルの量子化値については当該基準から予測した量子化予測信号を生成して、差分の量子化予測残差を符号化するので、符号化効率を向上させることができる。

また、本発明の画像復号装置によれば、符号化装置側における処理に対応した処理を行うことで、本発明の画像符号化装置により符号化された符号情報を復号することができる。

本発明の実施形態に係る画像符号化装置の機能ブロック図である。本発明の実施形態に係る画像復号装置の機能ブロック図である。基準信号チャネル及び被予測信号チャネルの処理手順の依存関係を模式的に示す図である。符号化装置側の設定部の詳細な機能ブロック図である。チャネル暗示設定部における、基準及び被予測の信号チャネルの暗示的な設定を説明するための図である。本発明における量子化値の予測及び補償を説明するための図である。

図１及び図２にそれぞれ、本発明の実施形態に係る画像符号化装置及び画像復号装置の機能ブロック図を示す。図１にて、画像符号化装置１００は、第一のスイッチ１０，予測手段１１，補償手段１２，差分手段１３，変換手段１４，量子化手段１５，チャネル別量子化値処理部１６，符号化手段１７，逆量子化手段１８，逆変換手段１９，加算手段２０，保持手段２１，画像入力手段１０１及び符号出力手段１０２を備え、符号化対象の画素は画像入力手段１０１から入力されて、当該各手段等にて単位ブロック毎に処理されて、符号情報として符号出力手段１０２へ出力される。

ここで、本発明の特徴的構成であるチャネル別量子化値処理部１６は、第二のスイッチ１，量子化差分手段２，量子化加算手段３，量子化保持手段４，量子化予測手段５，量子化補償手段６及び設定部７を含む。

図２にて、画像復号装置３００は、復号手段３７，（復号側）チャネル別量子化値処理部３６，（復号側）逆量子化手段３８，（復号側）逆変換手段３９，（復号側）加算手段４０，（復号側）保持手段４１，（復号側）補償手段３２，符号入力手段３０１及び画像出力手段３０２を備え、画像符号化装置１００による符号情報は符号入力手段３０１から入力されて、当該各手段にて単位ブロック毎に処理されて、復号画素として画像出力手段３０２へ出力される。

ここで、本発明の特徴的構成であるチャネル別量子化値処理部３６は、第三のスイッチ５１，（復号側）量子化加算手段５３，（復号側）量子化保持手段５４，（復号側）量子化予測手段５５，（復号側）量子化補償手段５６及び（復号側）設定部５７を含む。

以下、当該各手段又は各部等の処理を、図１及び図２に示すデータの流れに即して説明する。なお、画像符号化装置１００（適宜、符号化装置と略称する）と画像復号装置３００（適宜、復号装置と略称する）とでは処理が対応する部分がある。このような部分については適宜、例えば「補償手段１２（補償手段３２）」のように、復号装置側に（）を用いる等して併記して説明することとする。

第二のスイッチ１０は、予測及び補償のために参照する符号化済み画素が保持手段２１に保持されている場合、画像入力手段１０１からの符号化対象の画素を予測手段１１及び差分手段１３へと送るようなスイッチ状態を取る。一方、画面内予測利用時のフレーム内の最初の単位ブロック等、当該参照用画素が保持されていない場合は、符号化対象の画素を変換手段１４へと送るような状態を取る。

予測手段１１は、保持手段２１にて保持されている符号化済み画素を参照して、符号化対象の単位ブロックの画像を近似するための予測情報を決定する。決定された予測情報は、補償手段１２及び（図１にて点線で示すように）符号化手段１７に送られる。

当該予測情報の決定には各種の周知技術を利用できる。一例として、H.264の画面内予測を利用する場合は，各画面内予測モードで個別に符号化し符号量と歪み量から算出される符号化コストを最小化する画面内予測モードを選択し、予測情報とする。動き予測を利用する場合は、参照するフレーム及び座標を探索し、予測情報とする。

なお、本発明においてはその他の機能ブロック（特に、図４を参照して後述する設定部７の各機能ブロックなど）において符号化コストを算出する際も、同様に符号量と歪み量から算出するものとする。

補償手段１２（補償手段３２）は、予測手段１１から送られる予測情報（復号手段３７で復号された予測情報）と、保持手段２１（保持手段４１）で保持されている符号化済み画素（復号済み画素）とから当該単位ブロックの予測画素を生成する。生成された予測画素は、差分手段１３及び加算手段２０（加算手段４０）に送られる。

差分手段１３は、第一のスイッチ１０からの符号化対象の画素と補償手段１２からの予測画素との差分を取ることで予測残差となし、当該予測残差を変換手段１４へ送る。

変換手段１４は、第一のスイッチ１０におけるスイッチ状態に応じて、第一のスイッチ１０から予測手段１１及び差分手段１３に符号化対象の画素が送られることで差分手段１３から予測残差が送られた場合は当該予測残差を、また第一のスイッチ１０から符号化対象の画素が送られた場合は当該符号化対象の画素を、直交変換によって周波数領域の変換係数に変換する。直交変換としてはDCT(離散コサイン変換)乃至DCTの近似変換やDWT(離散ウェーブレット変換)などを利用することができる。

量子化手段１５は、変換手段１４からの変換係数を量子化して量子化値となし、当該量子化値を第二のスイッチ１へと送る。ここで、量子化に用いられる量子化パラメータは定数値の組み合わせとして設定することできる。また、変換係数の情報量に応じて制御することでビットレートを一定に保つこともできる。

チャネル別量子化値処理部１６にて、第一のスイッチ１は、量子化手段１５からの量子化値を各信号チャネルに分けた上で、後述する設定部７が設ける予測の基準となる信号チャネル（基準信号チャネルと略記）と予測される信号チャネル（被予測信号チャネルと略記）との区別に従って、基準信号チャネルにおける量子化値を（一点鎖線で示すように）符号化手段１７及び量子化保持手段４へ送り、被予測信号における量子化値を量子化差分手段２へ送る。

ここで、各信号チャネルとは、画像入力手段１０１における符号化対象の画素を構成している所定の各信号チャネルであり、例えばRGB信号、YUV信号乃至YcbCr信号などの各色空間における信号チャネルである。その他、分離される信号チャネルの種類や数については、任意のものを利用することができる。当該所定の信号チャネル、例えばRGBに対して、Gを基準信号チャネルとし、R及びBを被予測信号チャネルとする、といったような区別が設定部７により設けられる。

なお、当該基準と被予測との区別や、その他のチャネル別量子化値処理部１６における処理に関する設定情報は、設定部７により設定される。設定部７は当該設定情報を点線で示すように符号化手段１７へ送り、符号化手段１７が符号化する。復号装置側では、点線で示すように当該設定情報を復号して設定部５７に設定することで、チャネル別量子化値処理部３６は符号化装置側における処理と対応した処理を行うことが可能となる。設定情報の詳細については後述する。

符号化手段１７は、後述する基準信号チャネルにおける量子化値と、後述する被予測信号チャネルにおける量子化予測残差と、設定部７からの設定情報と、予測手段１１からの予測情報とを受け取り、これらを符号化して符号情報となし、符号出力手段１０２へ送る。当該符号化には符号間の冗長性を取り除く可変長符号乃至算術符号などを利用することができる。

復号手段３７は、上記のように符号化された符号情報を符号入力手段３０１から受け取り、符号化手段１７の逆の処理により復号して、基準信号チャネルにおける量子化値と、被予測信号チャネルにおける量子化予測残差と、設定情報と、予測情報とを得て、当該量子化値及び量子化予測残差を第三のスイッチ５１へ、設定情報を設定部５７へ、予測情報を補償手段３２へと送る。

第三のスイッチ５１は、スイッチ状態を適宜切り替えることで、（一点鎖線で示すように）復号手段３７からの基準信号チャネルにおける量子化値を量子化保持手段５４へ送り、復号手段３７からの被予測信号チャネルにおける量子化予測残差を量子化加算手段５３へと送る。

第二のスイッチ１から送られた基準信号チャネルにおける量子化値は、一方では符号化手段１７にて符号化されると共に、もう一方では量子化保持手段４において参照に供するため符号化済みの量子化値として保持される。当該基準信号チャネルの符号化済み量子化値は、当該保持されると共に（さらに一点鎖線で示すように）、量子化保持手段４により逆量子化手段１８へ送られる。

第三のスイッチ５１から送られた復号済みの基準信号チャネルにおける量子化値は、量子化保持手段５４において参照に供するため復号済みの量子化値として保持される。当該基準信号チャネルの復号済み量子化値は、当該保持されると共に、量子化保持手段５４により逆量子化手段３８へ入力される。

第二のスイッチ１（第三のスイッチ５１）から送られた被予測信号チャネルにおける量子化値（量子化予測残差）は、チャネル別量子化値処理部１６（チャネル別量子化値処理部３６）の各手段により、次のような経緯を辿る。量子化差分手段２は、被予測信号チャネルの量子化値と、後述の量子化補償手段６からの当該被予測信号チャネルの量子化予測信号との差分を取ることで、量子化予測残差となし、符号化手段１７及び量子化加算手段３へと送る（符号化装置側のみの処理）。なお、当該量子化予測残差は、一方では符号化手段１７に送られて符号化されるので、符号化済みの量子化残差となる。

量子化加算手段３（量子化加算手段５３）は、量子化差分手段２（第三のスイッチ５１）からの量子化予測残差と量子化補償手段６（量子化補償手段５６）からの量子化予測信号とを加算することで、当該被予測信号チャネルにおける符号化済みの量子化値となし、量子化保持手段４（量子化保持手段５４）へ送る。

量子化保持手段４（量子化保持手段５４）は、予測信号チャネルの場合と同様に、当該被予測信号チャネルにおける符号化済みの量子化値（復号済みの量子化値）を保持すると共に、逆量子化手段１８（逆量子化手段３８）へと送る。また、量子化保持手段４（量子化保持手段５４）は、当該被予測信号チャネル及び基準信号チャネルの両者において保持された符号化済みの量子化値（復号済みの量子化値）を、量子化予測手段５及び量子化補償手段６（量子化予測手段５５及び量子化補償手段５６）により参照して利用できるようにする。

量子化予測手段５は、第二のスイッチ１から送られた当該被予測信号チャネルにおける符号化対象の量子化値を、量子化保持手段４に保持された符号化済みの基準信号チャネルの量子化値から所定の予測方式に従って予測する量子化予測情報を決定し、量子化補償手段６へ送る。復号装置側でも同様の機能により、量子化予測手段５５は、量子化予測保持手段５４の符号化済み信号チャネルの量子化値を用いて、第三のスイッチ５１から送られた当該被予測信号チャネルにおける量子化予測残差を元の量子化値とするための量子化予測情報を、決定する。

量子化補償手段６は、量子化予測手段５からの量子化予測情報に基づいて所定の予測方式を適用し、第二のスイッチ１から送られた当該被予測信号チャネルにおける符号化対象の量子化値の予測信号である量子化予測信号を生成し、量子化差分手段２及び量子化加算手段３へ送る。復号装置側でも同様の機能により、量子化補償手段５６は、量子化予測手段５５からの量子化予測情報に基づいて量子化予測信号を生成し、量子化加算手段５３へ送る。

逆量子化手段１８（逆量子化手段３８）は、量子化保持手段４（量子化保持手段５４）から送られた基準信号チャネル及び被予測信号チャネルの両者における符号化済み量子化値（復号済み量子化値）に対して、量子化手段１５における量子化処理と逆の手順を踏んで逆量子化することで、変換係数となす。なお、チャネル別量子化値処理部１６（チャネル別量子化値処理部３６）を過ぎた当該逆量子化手段１８（逆量子化手段３８）以降では各信号チャネルで共通の処理に戻るので、処理対象データに対して基準と被予測との区別を省略して説明する。

逆変換手段１９（逆変換手段３９）は、変換手段１４での直交変換の逆の手順を踏んで逆直交変換することで、逆量子化手段１８（逆量子化手段３８）からの変換係数を予測残差となし、加算手段２０（加算手段４０）へ送る。なお、第一のスイッチ１０から変換手段１４に画素が送られた場合は、予測残差ではなく画素となる。

加算手段２０（加算手段４０）は、逆変換手段１９（逆変換手段３９）からの予測残差と補償手段１２（補償手段３２）からの予測画素とを加算して、符号化済み画素（復号済み画素）となし、保持手段２１（保持手段４１及び画像出力手段３０２）へ送る。なお、前記のように予測残差ではなく画素の場合、加算処理は省略されて当該画素がそのまま前記各手段へ送られる。

保持手段２１（保持手段４１）は、加算手段２０（加算手段４０）からの符号化済み画素（復号済み画素）を保持して、予測手段１１及び補償手段１２（補償手段３２）からの参照に供する。

以上、符号化装置及び復号装置の各部の処理概要を説明した。図３は、当該処理における基準及び被予測の信号チャネルでの処理手順の依存関係を模式的に示す図である。ここでは信号チャネルはRGBで、基準信号チャネルがG信号、被予測信号チャネルがB信号及びR信号として、符号化装置の場合を説明する。

基準のG信号は被予測のB信号及びR信号を処理するのに必要となるため、予め符号化しておく必要があり、符号化対象の画素の状態から各処理により(1)で示すように（量子化手段１５の出力としての）量子化値となり、当該量子化値が(2)に示すように符号化されると共に、符号化済みの量子化値として量子化保持手段４において参照可能となる。当該参照可能な状態となってから、被予測のB信号及びR信号の符号化も可能となる。

すなわち、被予測のB信号については符号化対象の画素から各処理により(3)で示すように（量子化手段１５の出力としての）量子化値となり、(4)で示すように基準のG信号における符号化済み量子化値を参照することで、(5)に示すように量子化予測残差となり、当該量子化予測残差が(6)に示すように符号化される。被予測のR信号についても(7)(8)(9)で示すように被予測のB信号と同様にして、(4)のように基準のG信号の参照を経て量子化予測残差が符号化される。

そして、本発明においては上記(1)〜(9)のような処理が(i-1)(i)(i+1)と示すように、i-1番目の単位ブロック、i番目の単位ブロック、i+1番目の単位ブロックと各単位ブロックを対象として順次継続される。なお、当該継続に際しては、各単位ブロック毎に基準及び被予測の信号チャネルの設定は変化してもよい。復号装置においても全く同様に、基準信号チャネルを復号して量子化値が参照可能になってから初めて、被予測信号チャネルの復号が可能となる。

図４は、符号化装置側の設定部７の詳細な機能ブロック図である。設定部７は、適用設定部７１，チャネル明示設定部７２，チャネル暗示設定部７３及びチャネル学習設定部７４を含む。当該各部はそれぞれチャネル別量子化値処理部１６での処理方式を所定数の単位ブロック毎に設定して、当該設定情報は符号化手段１７により符号化される。当該符号化は所定数の単位ブロックの先頭毎においてのみ行えばよく、切り替え時には切り替え箇所すなわち先頭で再設定すればよい。。所定数の単位ブロックをマニュアル設定により符号化対象の画像全体とすれば、処理方式を画像全体で変化させないように設定できる。復号装置側では、復号手段３７により設定情報が復号されて設定部５７に当該設定が読み込まれることで、チャネル別量子化値処理部３６で復号装置側と同方式の処理が行われる。

適用設定部７１は、以上説明したように基準及び被予測の信号チャネルの区別を設けた処理を行うか、行わないかを設定する。当該設定はマニュアル設定でもよいし、符号化コストに基づいて自動設定してもよい。行わない場合は、全ての信号チャネルにおいて基準信号チャネルにおける処理がなされる。すなわち各信号チャネルの量子化値は全て、第二のスイッチ１（第三のスイッチ５１）により常に量子化保持手段４及び符号化手段１７（量子化保持手段５４）にそのまま送られ、量子化差分手段２，量子化加算手段３，量子化予測手段５及び量子化補償手段６（量子化加算手段５３，量子化予測手段５５及び量子化補償手段５６）の処理は省略され量子化予測残差は算出されず、全ての信号チャネルにおいてその量子化値のみが符号化される。

チャネル明示設定部７２は、基準及び被予測の信号チャネルを、符号化が必要となるよう明示的に、すなわち例えばG信号を基準としR及びB信号を被予測とするといったように、設定情報に直接に記載して設定する。当該設定はマニュアル的に所与の設定を与えてもよい。また、所定数の単位ブロック毎に、基準及び被予測の信号チャネルの可能な組み合わせの各場合において個別に符号化し、符号化コストを最小化する組み合わせに設定してもよい。

例えばRGB信号であれば、RGBのいずれか１つを基準として残り２つを被予測とする場合の３通りと、２つの基準x及びyに対して残りの１つzをxを参照しての被予測とする場合の６通り（当該xyzにRGBを割り当てる６通り）との９通りを可能な組み合わせとして符号化コストを比較してもよい。基準xからyを予測し、当該yからzを予測するように、被予測yをさらに別の被予測zに対する基準とする場合も組み合わせに含めてもよい。

チャネル暗示設定部７３は、基準及び被予測の信号チャネルを、符号化が不要となるよう暗示的に、すなわち設定情報には直接には記載しないで設定する。この場合、符号化済みの画素を用いて所与の判断を行うことで基準及び被予測の信号チャネルが設定されるので、直接に記載しない代わりに、当該所与の判断の仕方を特定する情報が設定情報に盛り込まれ、復号装置側でも同様の判断を行うことで符号化装置側と同様の設定を用いることができる。

当該所与の判断として、図５に例を示すような、符号化対象単位ブロックの近傍領域の符号化済みブロックにおける（画素ではなく）量子化値の変化の豊富さ（変化の度合い）を各信号チャネルでの比較に基づく基準及び被予測の判断決定がある。すなわち、図５に示すRGB信号の例であれば各信号フレームの同時刻同位置の符号化対象ブロックRi,Gi,Biに対して、共通形状及び共通相対位置となるブロック単位での所定の符号化済み近傍領域Rs,Gs,Bsの量子化値の変化の豊富さを比較することで、基準及び被予測を決定する。

変化に富んでいるかの基準には、当該各近傍領域での符号化済み量子化値の絶対値分散や絶対値振幅を用いることができ、当該絶対値分散又は振幅が大きいほど変化が豊富である。比較により、変化が豊富な信号チャネルを基準として採用するよう設定すれば、予測精度向上の効果が得られる。比較により、変化が豊富な信号チャネルを逆に被予測として採用するよう設定すれば、符号化効率向上の効果が得られる。変化の豊富さが上位のいずれの信号チャネルを下位のいずれの信号チャネルからの基準又は被予測とするかについても、チャネル明示部７２での説明例と同様に、所定の組み合わせを設定しておく。

チャネル学習設定部７４は、符号化対象ブロックの各チャネル信号の量子化値を入力として、当該符号化対象ブロックにおける基準及び被予測の信号チャネルの設定情報を自動で出力し、当該設定情報が符号化される。ここで、当該入力とされる量子化値は基準信号に対するのと同様の処理によって用意しておく。当該自動出力は、所定の統計的機械学習による識別器（例えば、決定木[Decision Tree]、ランダム森[Random Forest]又はニューラルネットワーク[Neural Network]等）を用いることにより行われる。

すなわち、所与の学習用画像における特徴量としての所与の量子化値と、当該学習用画像に対する符号化コストを最小にするような基準及び被予測の信号チャネルの所与の設定とによって、統計的機械学習による識別器を構築しておき、当該識別器を用いて設定情報を自動出力する。チャネル学習設定部７４ではさらに、所定の単位ブロック毎に符号化コストを最小にするような設定を（当該識別器によらず）求めて、識別器の出力との比較により、当該識別器に対して逐次学習を適用してもよい。なお、復号装置側では、明示的な基準及び被予測の設定情報を受け取るだけであるので、用いた統計的機械学習及び識別器等の情報は符号化不要である。

次に、量子化予測手段５，５５及び量子化補償手段６，５６における、基準信号チャネルの量子化値から被予測信号チャネルの量子化値を予測し及び補償するための、所定の予測方式について、図６を用いて説明する。当該予測方式も設定部７により設定され、設定情報として符号化され、復号装置側で同様の処理が行われる。

図６では説明例として、RGB信号におけるG信号を基準、B信号を被予測としている。(1)及び(2)に示すように、基準G信号及び被予測B信号の量子化値は共に変換手段１４による変換係数への変換手法の詳細により定まる、所定サイズ（ここでは４×４）のマトリクス状に構成され、各周波数要素は直流要素(DC)から開始されるジグザグスキャン等、所定の順序に従って順次符号化される。なお、周波数領域ではなく画素から構成される単位ブロックと区別するために、「マトリクス」及び「要素」と称することとする。

(1)に太枠Ｆ１で囲って示すように、基準G信号についてはマトリクス内の全要素は符号化済みである。ここで、(2)に太枠Ｆ２で囲って示す部分の要素は前記所定の順序に従って逐次予測・補償されると共に符号化済みであるが、残りの部分は符号化前である被予測B信号における、次の予測・補償及び符号化対象となる要素B(x)を用いて予測の方式を説明する。なお、当該表記B(x)やG'(x)等においてxはマトリクス内の位置を表し、カンマの有無で符号化済みか前かを表す。

B(x)は、Ｆ１で囲って示す基準信号における符号化済み各要素と、Ｆ２で囲って示す当該被予測信号における当該B(x)を符号化しようとする時点での符号化済み各要素とに所定の予測式を適用することにより予測・補償される。当該予測式を適用する際のパラメータが量子化予測手段５，５５の決定する量子化予測情報であり、量子化補償手段６，５６は当該パラメータを当該予測式に適用して量子化予測信号を得る。

例えば特に、基準信号における同位置の符号化済み要素G'(x)にパラメータとして係数kを乗じて、B(x)=k×G'(x)という予測式を用いてもよい。さらに当該係数kが具体化されている予測式として例えば、次式（式１）又は（式２）をB(x)に対する予測式として利用できる。

ここで、G'(x_i), B'(x_i)はそれぞれ図中にもi=1,2の例を示すように、位置x_iにおける基準G信号の量子化値及び被予測B信号の符号化済みの量子化値を表す。位置x_iは、被予測B信号における符号化対象要素の位置xに対する符号化済みの所定の近傍領域内の各位置を表す。nは当該近傍領域に属する要素の個数を表す。median ⁿ _iは、n個のうちの中央値を表す。w_iは重み係数であり、当該位置x_iとxとの距離に応じて設定することもできる。なお、マトリクス中の所定の近傍領域は、図６では符号化対象位置xの上隣x₁及び左隣x₂により構成された例が示されているが、その他任意の形状を設定してよい。

すなわち、（式１）及び（式２）は共に、信号間相関を表現する量としてマトリクス内での基準と被予測とでの所定の近傍領域の各位置x_iにおける比率B(x_i)/G(x_i)に注目して、係数kを定めるものである。

ただし、要素xがマトリクスにおける最初の位置(DCの位置)である場合、あるいは全てのG'(x_i)がゼロである場合、当該要素における量子化予測信号B(x)は、予め設定しておいた固定値とする。あるいは一部のG'(x_i)がゼロである場合、算出式から除外する。

計算例として、符号化対象位置xに対する所定の近傍領域が図６中のx₁及びx₂からなるとし、B(x₁)=10, B(x₂)=25, G(x₁)=20, G(x₂)=30, w₁=w₂=1/2とすると、係数kは（式１）を採用した場合、
k=median (10/20, 25/30)=1/2又は5/6 [偶数個であるのでいずれかに中央値を設定]
（式２）を採用した場合、
k=(10/20 + 25/30)/2=2/3
となる。当該パラメータkにB(x)と同位置のG'(x)の値を乗算したものが、B(x)に対する量子化予測信号となる。

その他、各種の変形実施例を説明する。各変形実施例における処理（チャネル別量子化値処理部１６，３６以外の処理も含む）の設定も、設定部７により設定情報として符号化され、復号側でも同様の処理が可能となる。

量子化予測手段５，５５では、各周波数要素が列挙された上記マトリクスのうち、所定の一部のみについて量子化予測情報を決定してもよい。この場合、当該所定の一部についてのみ量子化予測残差が求まり符号化される。残りの部分については、被予測の信号チャネルではあるが量子化予測残差は求めず、基準信号チャネルと同様に量子化値を符号化してもよく、あるいは削除してもよい。当該所定の一部としては、マトリクスにおける所定の周波数領域の部分又は要素の絶対値がある基準以上大きい部分を採用することができる。当該設定情報は設定部７により設定された後、符号化され、復号装置側でも同様にする。

量子化差分手段２では、前記差分処理の後さらに追加処理として、丸め処理を行うことで量子化予測残差を整数値としてもよい。この場合、量子化予測残差も通常の量子化値と同様に整数となるので、符号化効率向上の効果が得られる。

量子化手段１５では、量子化における丸め処理を省略して、量子化ステップによる除算のみを行ってもよい。この場合、各手段は上記説明してきた量子化値を特例的に整数ではなく実数として扱うこととなるが、処理は共通である。なお、逆量子化手段１８，３８においては量子化ステップによる積算のみを行うこととなる。この場合、特に同時に上記の量子化差分手段２での丸め処理を不適用とすることで、量子化値及び量子化予測残差の両者が実数となり、予測精度向上の効果が得られる。

以上、本発明によれば、入力信号を複数の信号チャネルにおける量子化値に分離し、基準信号となる量子化値から他の量子化値を予測して被予測信号における情報の発生量を削減する手段を具備することで、高い符号化効率が可能となる。また、時間的冗長性などを削減する従来の予測方式と組み合わせることが可能であり、符号化効率を更に向上させることが可能となる。

１００…画像符号化装置、３００…画像復号装置、１０…第一のスイッチ、１１…予測手段、１２，３２…補償手段、１３…差分手段、１４…変換手段、１５…量子化手段、１６，３６…チャネル別量子化値処理部、１７…符号化手段、３７…復号手段、１８，３８…逆量子化手段、１９，３９…逆変換手段、２０，４０…加算手段、２１，４１…保持手段、１０１…画像入力手段、１０２…符号出力手段、３０１…符号入力手段、３０２…画像出力手段、１…第二のスイッチ、５１…第三のスイッチ、２…量子化差分手段、３，５３…量子化加算手段、４，５４…量子化保持手段、５，５５…量子化予測手段、５，５６…量子化補償手段、７，５７…設定部

Claims

複数の画素から構成される単位ブロックの各画素に対して、符号化済み画素から符号化対象の各画素を予測する予測情報を決定する予測手段と、
当該予測情報に基づいて各画素の予測画素を生成する補償手段と、
当該各画素とその予測画素との間で差分処理を行って予測残差とする差分手段と、
当該予測残差に対して直交変換を施して変換係数とする変換手段と、
当該変換係数を量子化して量子化値とする量子化手段とを備え、単位ブロック毎に当該量子化値の符号化を行う画像符号化装置において、
画素を構成する第一の信号チャネルにおける符号化済みの量子化値を予測の基準とするために保持する量子化保持手段と、
画素を構成する第二の信号チャネルにおける符号化対象の量子化値を当該第一の信号チャネルにおける符号化済みの量子化値から所定の予測方式に従い予測する量子化予測情報を決定する量子化予測手段と、
当該量子化予測情報に基づいて第二の信号チャネルにおける符号化対象の量子化値に対する量子化予測信号を生成する量子化補償手段と、
当該第二の信号チャネルにおける符号化対象の量子化値とその量子化予測信号との間で差分処理を行って量子化予測残差とする量子化差分手段とを備え、
前記所定の予測方式を特定する情報を符号化し、且つ第二の信号チャネルに対しては前記量子化予測残差を符号化すると共に、当該符号化済みの量子化予測残差とその量子化予測信号とを加算して第二の信号チャネルにおける符号化済みの量子化値となし、当該第一及び第二の信号チャネルにおける符号化済みの量子化値に基づいて前記符号化済み画素を生成することを特徴とする画像符号化装置。
前記量子化予測手段、量子化補償手段及び量子化差分手段の適用有無を所定数の単位ブロック毎に設定する適用設定部をさらに備え、
前記適用有無に関する情報を符号化すると共に、適用無しの場合には前記第一及び第二の信号チャネルの両者においてその量子化値を符号化することを特徴とする請求項１に記載の画像符号化装置。
前記第一及び第二の信号チャネルを所定数の単位ブロック毎に設定するチャネル明示設定部をさらに備え、当該設定された第一及び第二の信号チャネルの情報を符号化することを特徴とする請求項１に記載の画像符号化装置。
前記チャネル明示設定部は、前記第一及び第二の信号チャネルの可能な組み合わせの各場合における符号化コストに基づいて、当該符号化コストが最小となるような組み合わせに前記第一及び第二の信号チャネルを設定することを特徴とする請求項３に記載の画像符号化装置。
前記第一及び第二の信号チャネルを所定数の単位ブロック毎に設定するチャネル暗示設定部をさらに備え、該チャネル暗示設定部は符号化済みの所定の近傍領域における量子化値の変化度合いの各信号チャネル間での比較に基づいて前記第一及び第二の信号チャネルを設定することにより、当該設定する第一及び第二の信号チャネルの情報を符号化しないことを特徴とする請求項１に記載の画像符号化装置。
前記第一及び第二の信号チャネルを所定数の単位ブロック毎に設定するチャネル学習設定部をさらに備え、当該設定された第一及び第二の信号チャネルの情報を符号化し、
前記チャネル学習設定部は、所与の学習用画像と当該学習用画像に対する符号化コストを最小にする第一及び第二の信号チャネルの所与の設定とからなる所与の学習データに対して所与の統計的機械学習を適用して得られた識別器を用いることにより前記第一及び第二の信号チャネルを設定することを特徴とする請求項１に記載の画像符号化装置。
前記量子化値は単位ブロック毎に周波数領域にて所定サイズのマトリクス状に構成され、該マトリクスの各要素は所定の順序に従って符号化され、
前記量子化予測手段は、前記所定の予測方式に従い、前記第二の信号チャネルにおける前記マトリクスにて順次符号化対象となる各要素を、前記第一及び第二の信号チャネルにおける前記マトリクス内での所定の符号化済みの要素に基づいて予測するための情報として、前記量子化予測情報を決定することを特徴とする請求項１に記載の画像符号化装置。
前記量子化予測手段は、前記所定の予測方式に従い、前記第二の信号チャネルにおける前記マトリクスにて順次符号化対象となる各要素を、符号化済みの前記第一の信号チャネルにおける前記マトリクスにて同位置の要素に対して定数を乗算することにより予測し、
該定数を、前記第一及び第二の信号チャネルにおける前記マトリクス内での符号化済みの所定の近傍領域の各位置における、前記第二の信号チャネルの要素の値を前記第一の信号チャネルの要素の値で割った比の、当該近傍領域内での中央値又は当該近傍領域内での所定の重み付け平均として算出して、該定数を前記量子化予測情報として決定することを特徴とする請求項７に記載の画像符号化装置。
前記量子化予測手段が、前記マトリクスの所定の一部のみについて前記量子化予測情報を決定することで、前記第二の信号チャネルに対しては前記所定の一部のみについて前記量子化予測残差を符号化し、且つ前記所定の一部以外の部分については前記量子化値を符号化すると共に、前記所定の一部を特定する情報を符号化することを特徴とする請求項７または８に記載の画像符号化装置。
前記量子化予測手段が、前記所定の一部として、前記マトリクスにおける所定の低周波数領域又は前記マトリクスにおける要素の絶対値の大きさが所定基準を満たす領域を設定することを特徴とする請求項９に記載の画像符号化装置。
前記量子化差分手段が、前記差分処理を行ってからさらに丸め処理を行うことにより前記量子化予測残差を整数値として得ることを特徴とする請求項１ないし１０のいずれかに記載の画像符号化装置。
前記量子化手段が量子化における丸め処理を省略することで、前記各手段が実数値として前記量子化値を扱うことを特徴とする請求項１ないし１０のいずれかに記載の画像符号化装置。
請求項１ないし１２のいずれかに記載の画像符号化装置により符号化された符号情報を復号して復号画素を生成する画像復号装置であり、
当該符号情報を復号して前記第一のチャネルにおける量子化値と、前記第二のチャネルにおける量子化予測残差と、前記所定の予測方式を特定する情報とを得る復号手段と、
前記第一のチャネルにおける復号済み量子化値を予測の基準とするために保持する復号側量子化保持手段と、
前記第一のチャネルにおける復号済み量子化値から前記所定の予測方式に従い前記第二のチャネルにおける復号対象の量子化値を予測する量子化予測情報を決定する復号側量子化予測手段と、
当該決定された量子化予測情報に基づいて前記第二のチャネルにおける量子化予測信号を生成する復号側量子化補償手段とを備え、
前記第二のチャネルにおける量子化予測信号と前記復号された量子化予測残差とを加算して前記第二のチャネルにおける量子化値となし、当該第一及び第二の信号チャネルにおける復号された量子化値に基づいて復号画素を生成することを特徴とする画像復号装置。