JP5888207B2

JP5888207B2 - 画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法

Info

Publication number: JP5888207B2
Application number: JP2012250823A
Authority: JP
Inventors: 真季小泉
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-11-15
Filing date: 2012-11-15
Publication date: 2016-03-16
Anticipated expiration: 2032-11-15
Also published as: JP2014099780A

Description

本発明は、画像信号を符号化する画像信号符号化装置及び方法、並びに、符号化した画像信号を復号する画像信号復号装置及び方法に関する。

近年、デジタルスチルカメラやデジタルビデオカメラ等のデジタル撮影装置が広く普及している。デジタル撮影装置の撮像部は、Ｒ（赤），Ｇ（緑），Ｂ（青）の色フィルタを設けたイメージセンサを備える。イメージセンサは、被写体からの光をＲ，Ｇ，Ｂの各色光に分解し、RAWデータと称されるデジタル画像信号を出力する。デジタル撮影装置は、RAWデータに対して各種の画像処理を施したり、JPEGフォーマット等の所定のフォーマットに形式変換したりする。

RAWデータはデータ量が非常に大きい。従って、上記の画像処理や形式変換の際にRAWデータをメモリに記憶させる場合には、大容量のメモリが必要となる。大容量のメモリはコストの増大につながる。そこで、画像符号化技術を用いてRAWデータのデータ容量を削減して、メモリ容量を減らすことが行われている。画像符号化技術は、一例として、特許文献１に記載されている。

特開平３−１４５８８７号公報

画像信号（例えばRAWデータ）を符号化して復号する場合、データ容量の削減効果を減らすことなく誤差を抑えることが求められる。そこで、本発明はこのような要望に対応するため、データ容量の削減効果を減らすことなく、画像信号を符号化して復号する際の誤差を抑えることができる画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、第１のビット数を有する複数の色データがとるデータの範囲を揃えるためのゲインを、前記複数の色データのうち最大値をとる色データに対するゲインを基準として、小さい値の色データに対するゲインほど大きい値となるように正規化して正規化ゲインデータを生成するゲイン正規化部と、前記最大値をとる色データを、予め保持されている量子化テーブルを用いて前記第１のビット数より小さい第２のビット数に符号化し、前記最大値をとる色データ以外の色データを、予め保持されている量子化テーブルの値を前記正規化ゲインデータが示す正規化ゲインで除算した調整量子化テーブルを用いて前記第２のビット数に符号化する前記複数の色データそれぞれの符号化部とを備えることを特徴とする画像信号符号化装置を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、第１のビット数を有する複数の色データがとるデータの範囲を揃えるためのゲインを、前記複数の色データのうち最大値をとる色データに対するゲインを基準として、小さい値の色データに対するゲインほど大きい値となるように正規化して正規化ゲインデータを生成し、前記最大値をとる色データを、予め保持されている量子化テーブルを用いて前記第１のビット数より小さい第２のビット数に符号化し、前記最大値をとる色データ以外の色データを、予め保持されている量子化テーブルの値を前記正規化ゲインデータが示す正規化ゲインで除算した調整量子化テーブルを用いて前記第２のビット数に符号化することを特徴とする画像信号符号化方法を提供する。

さらに、本発明は、上述した従来の技術の課題を解決するため、第１のビット数を有する複数の色データがとるデータの範囲を揃えるためのゲインを、前記複数の色データのうち最大値をとる色データに対するゲインを基準として、小さい値の色データに対するゲインほど大きい値となるように正規化した前記複数の色データそれぞれに対する正規化ゲインデータのうち、前記最大値をとる色データに対する正規化ゲインデータと、前記最大値をとる色データを前記第１のビット数より小さい第２のビット数に符号化した第１の符号化データとが入力される第１の復号部と、前記複数の色データそれぞれに対する正規化ゲインデータのうち、前記最大値をとる色データ以外の色データに対する正規化ゲインデータと、前記最大値をとる色データ以外の色データを前記第２のビット数に符号化した第２の符号化データとが入力される第２の復号部とを備え、前記第１の復号部は、予め保持されている逆量子化テーブルを用いて前記第１の符号化データを前記第１のビット数に復号し、前記第２の復号部は、予め保持されている量子化テーブルの値を前記正規化ゲインデータが示す正規化ゲインで除算した調整逆量子化テーブルを用いて前記第１のビット数に復号することを特徴とする画像信号復号装置を提供する。

さらにまた、本発明は、上述した従来の技術の課題を解決するため、第１の復号部に、第１のビット数を有する複数の色データがとるデータの範囲を揃えるためのゲインを、前記複数の色データのうち最大値をとる色データに対するゲインを基準として、小さい値の色データに対するゲインほど大きい値となるように正規化した前記複数の色データそれぞれに対する正規化ゲインデータのうち、前記最大値をとる色データに対する正規化ゲインデータと、前記最大値をとる色データを前記第１のビット数より小さい第２のビット数に符号化した第１の符号化データとを入力し、第２の復号部に、前記複数の色データそれぞれに対する正規化ゲインデータのうち、前記最大値をとる色データ以外の色データに対する正規化ゲインデータと、前記最大値をとる色データ以外の色データを前記第２のビット数に符号化した第２の符号化データとを入力し、前記第１の復号部に予め保持されている逆量子化テーブルを用いて前記第１の符号化データを前記第１のビット数に復号し、前記第２の復号部に予め保持されている逆量子化テーブルの値を前記正規化ゲインデータが示す正規化ゲインで除算した調整逆量子化テーブルを用いて前記第２の符号化データを前記第１のビット数に復号することを特徴とする画像信号復号方法を提供する。

本発明の画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法によれば、データ容量の削減効果を減らすことなく、画像信号を符号化して復号する際の誤差を抑えることができる。

一実施形態の画像信号符号化装置及び画像信号復号装置である画像信号符号化・復号装置を示すブロック図である。図１に示す画像信号符号化・復号装置に入力される画像データの画素配列の一例を示す図である。図１中の符号化部１４Ｒ，１４Ｇ，１４Ｂに保持されている量子化テーブルの一例を示す図である。図３に示す量子化テーブルの差分値を１／３に調整した調整量子化テーブルの例を示す図である。図３に示す量子化テーブルの差分値を１／２に調整した調整量子化テーブルの例を示す図である。図１中の復号部１６Ｒ，１６Ｇ，１６Ｂに保持されている逆量子化テーブルの一例を示す図である。図６に示す逆量子化テーブルを１／３に調整した調整逆量子化テーブルの例を示す図である。図６に示す逆量子化テーブルを１／２に調整した調整逆量子化テーブルの例を示す図である。

以下、一実施形態の画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法について、添付図面を参照して説明する。図１は、入力された画像データを符号化して復号する画像信号符号化・復号装置を示している。図１の画像信号符号化・復号装置は、一実施形態の画像信号符号化装置及び画像信号復号装置を含んで構成されている。

図１において、ホワイトバランスゲイン算出部１１及び色成分分離部１３には、入力画像データとして、図示していないイメージセンサから出力されたRAWデータが入力される。入力画像データは例えば８ビットである。RAWデータは、Ｒ，Ｇ，Ｂの各色データを含む。

イメージセンサは、一例として、Ｒ，Ｇ，Ｂの各色画素が図２に示すように配列したベイヤ配列となっている。従って、ホワイトバランスゲイン算出部１１及び色成分分離部１３には、Ｒ，Ｇ，Ｒ，Ｇ，Ｒ，…の画素データと、Ｇ，Ｂ，Ｇ，Ｂ，Ｇ，…の画素データとが、ラインごとに交互に入力される。即ち、ホワイトバランスゲイン算出部１１及び色成分分離部１３に入力される画素データは１系統である。

デジタル撮影装置で同じ被写体を撮影したとしても、光源の色温度によって色が異なる。イメージセンサから出力されるRAWデータのＲ，Ｇ，Ｂの画素データの最大値にはばらつきが生じる。各色の最大値にはばらつきが生じている状態で白を表現すると、白は不自然な色味となってしまう。そこで、デジタル撮影装置は、各色の画素データの最大値を揃えるホワイトバランス処理部を備える。

ホワイトバランス処理部によって各色の画素データに対してホワイトバランスの処理を施すには、各色の画素データに乗じるゲインを算出することが必要となる。ホワイトバランスゲイン算出部１１は、通常のデジタル撮影装置が備えるホワイトバランス処理部が有している構成をそのまま用いることが可能である。

ホワイトバランスゲイン算出部１１は、Ｒ，Ｇ，Ｂのそれぞれの画素データに対するゲインを示すゲインデータDgr，Dgg，Dgbを算出する。ホワイトバランスゲイン算出部１１は、例えばＧの画素データを基準として、Ｒ，Ｂの画素データがとる振幅の範囲をＧの画素データがとる振幅の範囲に揃えるようなゲインデータDgr，Dgg，Dgbを算出する。この際、ホワイトバランスゲイン算出部１１は、複数フレームに渡って各色の振幅を観察して、ゲインデータDgr，Dgg，Dgbを算出すればよい。

ゲインデータDgr，Dgg，Dgbはゲイン正規化部１２に入力される。ゲイン正規化部１２は、ゲインデータDgr，Dgg，Dgbを正規化して正規化ゲインデータDngr，Dngg，Dngbを出力する。具体的には、ゲイン正規化部１２は、次のようにしてゲインデータDgr，Dgg，Dgbを正規化する。

まず、ゲイン正規化部１２は、Ｒ，Ｇ，Ｂのどの色の画素データが最大値をとるかを判定する。例えば、ゲインデータDggが示すゲインが“１”、ゲインデータDgr，Dgbが示すゲインが“１”より大きい値の場合には、Ｇの画素データが最大値をとると判定できる。ゲインデータDggが示すゲインが“１”、ゲインデータDgrが示すゲインが“１”より大きい値、ゲインデータDgbが示すゲインが“１”より小さい値の場合には、Ｂの画素データが最大値をとると判定できる。

次に、ゲイン正規化部１２は、最大値をとる色の画素データに対するゲインが“１”となるように、ゲインデータDgr，Dgg，Dgbを正規化する。例えば、ゲインデータDgr，Dgg，Dgbが示すゲインが“１．５”，“１”，“０．５”であれば、最大値をとるＢの画素データに対するゲインを“１”とするよう、それぞれのゲインに２を乗算して、正規化ゲイン“３”，“２”，“１”を得ることができる。

ゲイン正規化部１２は、最大値をとる色の画素データに対するゲインを基準として、小さい値の色データに対するゲインほど大きい値となるようにゲインデータDgr，Dgg，Dgbを正規化する。ゲイン正規化部１２は、このようにして得られた正規化ゲインを示すデータを正規化ゲインデータDngr，Dngg，Dngbとして出力する。

正規化ゲインデータDngrは、符号化部１４Ｒ及び復号部１６Ｒに入力される。正規化ゲインデータDnggは、符号化部１４Ｇ及び復号部１６Ｇに入力される。正規化ゲインデータDngbは、符号化部１４Ｂ及び復号部１６Ｂに入力される。正規化ゲインデータDngr，Dngg，Dngbは、メモリ１５に入力される。復号部１６Ｒ，１６Ｇ，１６Ｂに正規化ゲインデータDngr，Dngg，Dngbを入力しない構成としてもよい。

色成分分離部１３は、入力された画素データのうち、Ｒの画素データのみを選択したＲデータＤｒと、Ｇの画素データのみを選択したＧデータＤｇと、Ｂの画素データのみを選択したＢデータＤｂとに分離する。ＲデータＤｒは符号化部１４Ｒに入力され、ＧデータＤｇは符号化部１４Ｇに入力され、ＢデータＤｂは符号化部１４Ｂに入力される。

デジタル撮影装置がＲ，Ｇ，Ｂ個別のイメージセンサを備える場合には、色成分分離部１３は不要である。この場合、Ｒのイメージセンサから出力されたＲの画素データを符号化部１４Ｒに入力し、Ｇのイメージセンサから出力されたＧの画素データを符号化部１４Ｇに入力し、Ｂのイメージセンサから出力されたＢの画素データを符号化部１４Ｂに入力すればよい。

符号化部１４Ｒ，１４Ｇ，１４Ｂは、それぞれ入力されたＲデータＤｒ，ＧデータＤｇ，ＢデータＤｂを符号化する。符号化部１４Ｒ，１４Ｇ，１４Ｂの具体的な構成及び動作は、特許文献１に記載されている構成及び動作とすることができる。

符号化部１４Ｒは、量子化テーブルを保持する量子化テーブル保持部１４１と、正規化ゲインデータDngrに応じて量子化テーブルを調整する量子化テーブル調整部１４２と、量子化テーブル調整部１４２によって調整された量子化テーブルを用いて、ＲデータＤｒを符号化する対象画素と周辺画素との差分値を量子化する差分量子化部１４３とを有する。図１では、符号化部１４Ｒのみ詳細構成を示しているが、符号化部１４Ｇ，１４Ｂも符号化部１４Ｒと同様の構成を有する。

差分量子化部１４３は、符号化する対象画素と、周辺画素として例えば左隣に位置する画素との差分値を求める。量子化テーブル保持部１４１には、図３に示すように、対象画素と左隣に位置する画素との差分値を複数の領域に分け、それぞれの領域に例えば４ビットの符号化データを対応させた量子化テーブルが保持されている。

符号化部１４Ｒ，１４Ｇ，１４Ｂは、８ビットの画素データを４ビットに符号化するものとする。符号化部１４Ｒ，１４Ｇ，１４Ｂは、入力画像データが有する第１のビット幅を、第１のビット幅より小さい第２のビット幅に符号化すればよい。

ここでは１つの量子化テーブルを示しているが、量子化テーブル保持部１４１に複数の量子化テーブルを保持させておき、符号化する対象画素のレベルに応じて使用する量子化テーブルを切り替えることが好ましい。本実施形態では、簡略化のため、使用する量子化テーブルを図３に示す１つの量子化テーブルとして説明する。

符号化部１４Ｒの量子化テーブル調整部１４２は、量子化テーブル保持部１４１からの量子化テーブルの差分値に、正規化ゲインデータDngrが示すゲインの逆数を乗じることによって量子化テーブルを調整する。正規化ゲインデータDngr，Dngg，Dngbが示す正規化ゲインが“３”，“２”，“１”の場合、符号化部１４Ｒの量子化テーブル調整部１４２は、量子化テーブルの差分値に１／３を乗じて、図４の（ａ）に示す調整量子化テーブルとする。

符号化部１４Ｇの量子化テーブル調整部１４２は、量子化テーブルの差分値に１／２を乗じて、図５に示す調整量子化テーブルとする。符号化部１４Ｂの量子化テーブル調整部１４２は、量子化テーブルの差分値に１／１を乗じることになるので、符号化部１４Ｂは、図３に示す量子化テーブルをそのまま用いる。

符号化部１４Ｒの差分量子化部１４３は、入力されたＲデータＤｒにおけるそれぞれの対象画素と左隣に位置する画素との差分値が図４の（ａ）に示す調整量子化テーブルのどの領域に属するかを判定して、属する領域に対応した符号化データを符号化ＲデータＤerとして出力する。
同様に、符号化部１４Ｇの差分量子化部１４３は、入力されたＧデータＤｇにおけるそれぞれの対象画素と左隣に位置する画素との差分値が図５に示す調整量子化テーブルのどの領域に属するかを判定して、属する領域に対応した符号化データを符号化ＧデータＤegとして出力する。

符号化部１４Ｂの差分量子化部１４３は、入力されたＢデータＤｂにおけるそれぞれの対象画素と左隣に位置する画素との差分値が図３に示す量子化テーブルのどの領域に属するかを判定して、属する領域に対応した符号化データを符号化ＢデータＤebとして出力する。

図４の（ａ），図５は、差分値に１／３または１／２を乗じて小数点以下の値が発生した場合には、その小数点以下の値を切り捨てることのよって生成した量子化テーブルの例である。なお、小数点以下の値が発生した場合の量子化テーブルの生成方法はこれに限らず任意である。図４の（ａ）において、例えば０〜０の領域と０〜１の領域とでは、下側の領域の上限値と上側の領域の下限値とが同じ値で重複している。このような場合は、０〜０と１〜１のように一方を繰り上げたり繰り下げたりして、値が重複しないように調整することが好ましい。

例えば、図４の（ｂ）は、図４の（ａ）の量子化テーブルを、下側の領域の上限値と上側の領域の下限値とにおいてそれらの値が重複しないように調整することによって生成した量子化テーブルの例である。この量子化テーブルの生成方法を以下に説明する。
なお以降は、便宜上、値が正の場合について説明する。負数の場合は、正数の場合に対して、値の大小関係、領域の上下関係を逆にすればよいので説明を省略する。

符号化データの値が０の領域の上方の領域から調整を開始する。そして、これにより調整された領域に基づいて、さらにその上方の未調整の領域を調整する。このような調整を順次最上方の領域まで繰り返す。
具体的には、各領域において、調整対象領域における下限値ａとその下方の領域の上限値ｂとの関係が下限値ａ≦上限値ｂとなった場合、下限値ａが上限値ｂよりも１大きくなるように下限値ａをオフセットさせることによって各差分値を調整する。このような調整によって、図４の（ｂ）の量子化テーブルを生成する。

図４の（ｂ）の量子化テーブルを用いると、符号化データ０付近の割り当て（階調）を図４の（ａ）の量子化テーブルよりも細かくすることができる。

正規化ゲインデータDngr，Dngg，Dngbが示す正規化ゲインが“３”，“２”，“１”の場合、ＲデータＤｒが最も振幅が小さい。仮に、符号化部１４Ｒが図３に示す量子化テーブルをそのまま使用したとすると、差分値が大きい領域の符号化データを用いることなく、ＲデータＤｒを符号化する。すると、対象画素と周辺画素との差分値が小さい領域に対して荒い領域を割り当てることになり、誤差が大きくなってしまう。

これに対して、図３に示す量子化テーブルの差分値を、図４の（ａ）または（ｂ）や図５に示すように正規化ゲインの逆数を乗じて調整すると、差分値の最小値から最大値までの範囲が狭くなり、それぞれの領域の範囲を狭くすることができる。この結果、対象画素と周辺画素との差分値が小さい領域に対して細かく複数の領域を割り当てることが可能となる。よって、本実施形態によれば、誤差を小さくすることができる。

本実施形態によれば、量子化テーブルにおいて使用されない領域を減らすことができる。よって、量子化テーブルの効率がよくなる。本実施形態によれば、各色の画素データの振幅に応じて差分値の領域が設定された量子化テーブルを用いて各色の画素データを符号化することが可能となる。

符号化部１４Ｒ，１４Ｇ，１４Ｂより出力された符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebは、メモリ１５に入力されて記憶される。メモリ１５は、符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを１または複数フレーム遅延させるために用いることができる。また、メモリ１５は、符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを貯蔵するために用いることもできる。

符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebのデータ量が削減されているため、メモリ１５の容量は、ＲデータＤｒ，ＧデータＤｇ，ＢデータＤｂをそのまま記憶する場合と比較して少なくてよい。メモリ１５に転送するデータ量が少ないので、短い転送時間で転送することができる。

符号化ＲデータＤerと正規化ゲインデータDngr、符号化ＧデータＤegと正規化ゲインデータDngg、符号化ＢデータＤebと正規化ゲインデータDngbとをそれぞれ関連付けて、メモリ１５に記憶させることが好ましい。例えば、正規化ゲインデータDngr，Dngg，Dngbをヘッダ情報として、符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebに付加させればよい。
勿論、ヘッダ情報に限定されることはなく、正規化ゲインデータDngr，Dngg，Dngbを符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebに対する付加情報としてメモリ１５に記憶させればよい。

メモリ１５から読み出された符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebは、それぞれ、復号部１６Ｒ，１６Ｇ，１６Ｂに入力される。

復号部１６Ｒは、逆量子化テーブルを保持する逆量子化テーブル保持部１６１と、正規化ゲインデータDngrに応じて逆量子化テーブルを調整する逆量子化テーブル調整部１６２と、逆量子化テーブル調整部１６２によって調整された逆量子化テーブルを用いて、符号化ＲデータＤerを逆量子化する差分逆量子化部１６３とを有する。
図１では、復号部１６Ｒのみ詳細構成を示しているが、復号部１６Ｇ，１６Ｂも復号部１６Ｒと同様の構成を有する。

逆量子化テーブル保持部１６１には、図６に示すように、４ビットの符号化データと復号差分値とを対応させた逆量子化テーブルが保持されている。ここでは１つの逆量子化テーブルを示しているが、逆量子化テーブル保持部１６１には、符号化部１４Ｒ，１４Ｇ，１４Ｂの量子化テーブル保持部１４１に保持されている複数の量子化テーブルに対応する逆量子化テーブルが保持されている。

復号部１６Ｒ，１６Ｇ，１６Ｂは、符号化部１４Ｒ，１４Ｇ，１４Ｂで選択して使用した量子化テーブルに対応する逆量子化テーブルを用いて、符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを復号する。本実施形態では、簡略化のため、使用する逆量子化テーブルを図６に示す１つの逆量子化テーブルとして説明する。

復号部１６Ｒの逆量子化テーブル調整部１６２は、逆量子化テーブル保持部１６１からの逆量子化テーブルの復号差分値に、正規化ゲインデータDngrが示すゲインの逆数を乗じることによって逆量子化テーブルを調整する。正規化ゲインデータDngr，Dngg，Dngbが示す正規化ゲインが“３”，“２”，“１”の場合、復号部１６Ｒの逆量子化テーブル調整部１６２は、逆量子化テーブルの復号差分値に１／３を乗じて、図７の（ａ）に示す調整逆量子化テーブルとする。

復号部１６Ｇの逆量子化テーブル調整部１６２は、逆量子化テーブルの復号差分値に１／２を乗じて、図８に示す調整逆量子化テーブルとする。復号部１６Ｂの逆量子化テーブル調整部１６２は、逆量子化テーブルの復号差分値に１／１を乗じることになるので、復号部１６Ｂは、図６に示す逆量子化テーブルをそのまま用いる。

復号部１６Ｒの差分逆量子化部１６３は、図７の（ａ）に示す調整逆量子化テーブルを参照して、入力された符号化ＲデータＤerに対応する復号差分値を選択する。復号部１６Ｒの差分逆量子化部１６３は、左隣に位置する画素において復号した画素データに、復号しようとしている対象画素の復号差分値を加算することによって、対象画素の画素データとしての復号ＲデータＤdrを出力する。

復号部１６Ｇの差分逆量子化部１６３は、図８に示す調整逆量子化テーブルを参照して、入力された符号化ＧデータＤegに対応する復号差分値を選択する。復号部１６Ｇの差分逆量子化部１６３は、左隣に位置する画素において復号した画素データに、復号しようとしている対象画素の復号差分値を加算することによって、対象画素の画素データとしての復号ＧデータＤdgを出力する。

復号部１６Ｂの差分逆量子化部１６３は、図６に示す逆量子化テーブルを参照して、入力された符号化ＢデータＤebに対応する復号差分値を選択する。復号部１６Ｂの差分逆量子化部１６３は、左隣に位置する画素において復号した画素データに、復号しようとしている対象画素の復号差分値を加算することによって、対象画素の画素データとしての復号ＢデータＤdbを出力する。

一例として、復号部１６Ｂにおける動作を具体的な値で説明する。左隣の画素データが“３０”であり、対象画素の符号化ＢデータＤebが“６”であったとする。図６に示す逆量子化テーブルより、復号差分値は“１７”である。従って、対象画素の復号ＢデータＤdbは、“４７”となる。

以上のようにして、復号部１６Ｒ，１６Ｇ，１６Ｂは、４ビットの符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを８ビットの復号ＲデータＤdr，復号ＧデータＤdg，復号ＢデータＤdbへと復号する。

本実施形態においては、符号化部１４Ｒ，１４Ｇ，１４Ｂが対象画素と周辺画素として左隣に位置する画素との差分値を求めているので、復号部１６Ｒ，１６Ｇ，１６Ｂは左隣の画素データに対象画素の復号差分値を加算する。復号部１６Ｒ，１６Ｇ，１６Ｂは、符号化部１４Ｒ，１４Ｇ，１４Ｂが差分値を求めた周辺画素と同じ位置の周辺画素を用いて復号差分値の加算処理を実行させればよい。

図７の（ａ），図８に示す調整逆量子化テーブルにおいて、復号差分値が、調整逆量子化テーブルと対応する調整量子化テーブルの差分値の範囲におけるなるべく中央の値となるように調整してもよい。

なお、図７の（ａ）の調整逆量子化テーブルでは、符号化データの値が１，０，Ｆのときの復号差分値が共に０となっており重複している。これを、図４の（ｂ）の量子化テーブルと同様に値が重複しないようにすることが好ましい。

例えば、図７の（ｂ）は、図７の（ａ）の逆量子化テーブルを、復号差分値が重複しないように調整することによって生成した逆量子化テーブルの例である。この逆量子化テーブルの生成方法を以下に説明する。
なお以降は、便宜上、値が正の場合について説明する。負数の場合は、正数の場合に対して、値の大小関係、領域の上下関係を逆にすれば良いので説明を省略する。

符号化データの値が０に対応する復号差分値の上方の差分値から調整開始する。そして、これにより調整された復号差分値に基づいて、さらにその上方の未調整の復号差分値を調整する。このような調整を順次最上方の復号差分値まで繰り返す。
具体的には、各領域において、調整対象復号差分値ａとその下方の復号差分値ｂとの関係が、調整対象復号差分値ａ≦下方の復号差分値ｂとなった場合、調整対象復号差分値ａが下方の復号差分値ｂよりも１大きくなるように調整対象復号差分値ａをオフセットさせることによって各復号差分値を調整する。このような調整によって、図７の（ｂ）の逆量子化テーブルを生成する。

この逆量子化テーブルを用いると、符号化データ０付近の割り当て（階調）を図７の（ａ）の逆量子化テーブルよりも細かくすることができる。

復号ＲデータＤdr，復号ＧデータＤdg，復号ＢデータＤdbは色成分合成部１７に入力される。色成分合成部１７は、復号ＲデータＤdr，復号ＧデータＤdg，復号ＢデータＤdbを入力画像データと同じ配列となるように合成し、１系統の出力画像データとして出力する。
色成分分離部１３を備えていない構成の場合には、色成分合成部１７も備える必要はない。色成分分離部１３を備えている場合であっても、復号ＲデータＤdr，復号ＧデータＤdg，復号ＢデータＤdbを１系統に合成する必要がない場合には、色成分合成部１７を省略することが可能である。

なお、図１において、出力画像データは、入力画像データを符号化して復号することによる誤差を含むことから、出力画像データは入力画像データとは完全には一致しない。

しかしながら、本実施形態においては、復号部１６Ｒ，１６Ｇ，１６Ｂが、逆量子化テーブルの復号差分値を正規化ゲインデータDngr，Dngg，Dngbに応じて調整しているので、逆量子化テーブル（調整逆量子化テーブル）を符号化部１４Ｒ，１４Ｇ，１４Ｂにおいて調整した量子化テーブル（調整量子化テーブル）に対応させることができる。よって、本実施形態によれば、誤差を小さく復号することができる。

ところで、メモリ１５を、符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを所定フレーム数遅延させるために用いる場合には、符号化部１４Ｒ，１４Ｇ，１４Ｂにおける符号化処理と復号部１６Ｒ，１６Ｇ，１６Ｂにおける復号処理とは、所定フレーム数だけずれたタイミングとなる。復号部１６Ｒ，１６Ｇ，１６Ｂは、入力される正規化ゲインデータDngr，Dngg，Dngb所定フレーム数だけずらせば、符号化部１４Ｒ，１４Ｇ，１４Ｂにおける量子化テーブルの調整に対応させて逆量子化テーブルを調整することができる。

この場合、復号部１６Ｒ，１６Ｇ，１６Ｂは、メモリ１５から読み出された符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebに付加されている正規化ゲインデータDngr，Dngg，Dngbを示す付加情報を用いる必要はない。

一方、メモリ１５を、符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを貯蔵するために用いる場合には、符号化部１４Ｒ，１４Ｇ，１４Ｂにおける符号化処理と復号部１６Ｒ，１６Ｇ，１６Ｂにおける復号処理とを同期させることは困難である。従って、この場合には、復号部１６Ｒ，１６Ｇ，１６Ｂは、メモリ１５から読み出された符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebに付加されている正規化ゲインデータDngr，Dngg，Dngbを示す付加情報を用いればよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１では、画像信号符号化・復号装置をハードウェアにて構成した例を示している。例えばゲイン正規化部１２と符号化部１４Ｒ，１４Ｇ，１４Ｂと復号部１６Ｒ，１６Ｇ，１６Ｂの部分をコンピュータプログラムによるソフトウェアによって構成してもよい。

図１では、画像信号符号化・復号装置がホワイトバランスゲイン算出部１１を備えている。前述のように、デジタル撮影装置が備えるホワイトバランス処理部をホワイトバランスゲイン算出部１１として用いることができる。従って、ホワイトバランス処理部よりゲインデータDgr，Dgg，Dgbを取り出して、画像信号符号化・復号装置に入力する構成とすることも可能である。

１１ホワイトバランスゲイン算出部
１２ゲイン正規化部
１４Ｒ，１４Ｇ，１４Ｂ符号化部
１５メモリ
１６Ｒ，１６Ｇ，１６Ｂ復号部

Claims

第１のビット数を有する複数の色データがとるデータの範囲を揃えるためのゲインを、前記複数の色データのうち最大値をとる色データに対するゲインを基準として、小さい値の色データに対するゲインほど大きい値となるように正規化して正規化ゲインデータを生成するゲイン正規化部と、
前記最大値をとる色データを、予め保持されている量子化テーブルを用いて前記第１のビット数より小さい第２のビット数に符号化し、前記最大値をとる色データ以外の色データを、予め保持されている量子化テーブルの値を前記正規化ゲインデータが示す正規化ゲインで除算した調整量子化テーブルを用いて前記第２のビット数に符号化する前記複数の色データそれぞれの符号化部と、
を備えることを特徴とする画像信号符号化装置。
第１のビット数を有する複数の色データがとるデータの範囲を揃えるためのゲインを、前記複数の色データのうち最大値をとる色データに対するゲインを基準として、小さい値の色データに対するゲインほど大きい値となるように正規化して正規化ゲインデータを生成し、
前記最大値をとる色データを、予め保持されている量子化テーブルを用いて前記第１のビット数より小さい第２のビット数に符号化し、
前記最大値をとる色データ以外の色データを、予め保持されている量子化テーブルの値を前記正規化ゲインデータが示す正規化ゲインで除算した調整量子化テーブルを用いて前記第２のビット数に符号化する
ことを特徴とする画像信号符号化方法。
第１のビット数を有する複数の色データがとるデータの範囲を揃えるためのゲインを、前記複数の色データのうち最大値をとる色データに対するゲインを基準として、小さい値の色データに対するゲインほど大きい値となるように正規化した前記複数の色データそれぞれに対する正規化ゲインデータのうち、前記最大値をとる色データに対する正規化ゲインデータと、前記最大値をとる色データを前記第１のビット数より小さい第２のビット数に符号化した第１の符号化データとが入力される第１の復号部と、
前記複数の色データそれぞれに対する正規化ゲインデータのうち、前記最大値をとる色データ以外の色データに対する正規化ゲインデータと、前記最大値をとる色データ以外の色データを前記第２のビット数に符号化した第２の符号化データとが入力される第２の復号部と、
を備え、
前記第１の復号部は、予め保持されている逆量子化テーブルを用いて前記第１の符号化データを前記第１のビット数に復号し、
前記第２の復号部は、予め保持されている量子化テーブルの値を前記正規化ゲインデータが示す正規化ゲインで除算した調整逆量子化テーブルを用いて前記第１のビット数に復号する
ことを特徴とする画像信号復号装置。
第１の復号部に、第１のビット数を有する複数の色データがとるデータの範囲を揃えるためのゲインを、前記複数の色データのうち最大値をとる色データに対するゲインを基準として、小さい値の色データに対するゲインほど大きい値となるように正規化した前記複数の色データそれぞれに対する正規化ゲインデータのうち、前記最大値をとる色データに対する正規化ゲインデータと、前記最大値をとる色データを前記第１のビット数より小さい第２のビット数に符号化した第１の符号化データとを入力し、
第２の復号部に、前記複数の色データそれぞれに対する正規化ゲインデータのうち、前記最大値をとる色データ以外の色データに対する正規化ゲインデータと、前記最大値をとる色データ以外の色データを前記第２のビット数に符号化した第２の符号化データとを入力し、
前記第１の復号部に予め保持されている逆量子化テーブルを用いて前記第１の符号化データを前記第１のビット数に復号し、
前記第２の復号部に予め保持されている逆量子化テーブルの値を前記正規化ゲインデータが示す正規化ゲインで除算した調整逆量子化テーブルを用いて前記第２の符号化データを前記第１のビット数に復号する
ことを特徴とする画像信号復号方法。