【０００１】
【発明の属する技術分野】
本発明は、カラー画像データを符号化／復号化するための画像符号化装置及び画像復号化装置並びに画像符号化方法及び画像復号化方法に関する。
【０００２】
【従来の技術】
近年、画像入力装置の高解像度化に伴い、元来膨大な情報量をもつ画像データ量はさらに増加し、これらの蓄積に多くの記憶容量を必要とし、処理・伝送に多くの時間がかかるという問題が発生している。このため、効率的な伝送や記録を行うために圧縮率が高く、且つ画質劣化の少ない高能率符号化が行われている。
【０００３】
ところで、画像データには多くの冗長データが含まれている。カラー画像においては、近傍画素間の相関によるものと、色成分間の相関によるものとがある。静止画像符号化においては、色成分の冗長圧縮を色変換によって行い、その後、近傍画素間の相関除去を行うことが一般的である。
【０００４】
図８に、従来のカラー画像符号化装置のブロック図を示す。同図に示すカラー画像符号化装置は、符号化系が画像入力部２０、色空間変換部２１、直交変換部２２、量子化部２３、符号化部２４、符号出力部２５から構成され、復号化系が符号入力部２６、復号化部２７、逆量子化部２８、逆直交変換部２９、色空間逆変換部３０、画像出力部３１から構成されている。以下、同図を用いて従来方式によるカラー画像符号化／復号化方式について説明する。
【０００５】
まず、符号化対象となるＲＧＢ画像が色成分（Ｒ，Ｇ，Ｂ）順、ラスター順に画像入力部２０から入力される。色空間変換部２１は、これら画素毎に構成されるＲＧＢ色成分をＹ、Ｃｂ、Ｃｒの各色成分に変換する。直交変換部２２では、内部バッファに格納されるＹ、Ｃｂ、Ｃｒの各色成分のデータをそれぞれ８×８の矩形に切り出し、直交変換を行い変換係数を出力する。
【０００６】
量子化部２３は、各色成分または変換係数毎に予め定められたパラメータテーブルに従い、直交変換部２２から出力された変換係数を量子化する。符号化部２４は、量子化部２３で量子化された変換係数をハフマン符号化する。符号出力部２５は、復号時に必要となるヘッダ情報を、前記ハフマン符号化された変換係数と接続して外部に出力する。
【０００７】
復号側は、符号側と逆のプロセスを通る。すなわち、符号入力部２６から入力された符号データを復号化部２７で復号し、逆量子化部２８で直交変換係数を生成し、逆直交変換部２９で画像データに変換してＹ、Ｃｂ、Ｃｒの各成分の画像データを得る。得られたＹ、Ｃｂ、Ｃｒの各成分の画像データを色空間逆変換部３０でＲＧＢ成分に変換して、画像出力部３１から後段へと画像を出力する。
【０００８】
なお、画像の中には色変換を行わない方が冗長度が少ない場合があり、例えば白地にシアン色の文字のような画像を色変換すると、ＲＧＢ空間ではＲ成分でのみ画像のＡＣ成分が検出されるのに対し、ＹＣｂＣｒ空間ではＹ、Ｃｂ、Ｃｒ成分全てにＡＣ成分が現れ、冗長度が増すこととなる。このような問題に対して、複数の色空間を用意して色成分相互の相関を検出して、冗長度の少ない色空間に切替えることが提案されている（例えば、特許文献１参照）。
【０００９】
【特許文献１】
特開２００２−２４７３７５号
【００１０】
【発明が解決しようとする課題】
しかしながら、上記した従来方式による符号化方式では、カラー画像に対して一律に色変換を行うために、色変換後の色成分間の冗長度が必ずしも減少するとは限らない場合もあり、符号化効率にばらつきを生じる問題がある。
【００１１】
また、色成分相互の相関を検出して、冗長度の少ない色空間に切替える方式では、出力符号、または復元後の画像を一定の色空間で提供するようなシステムに対しては使用できないという問題があった。
【００１２】
本発明は以上のような実情に鑑みてなされたものであり、カラー画像において効率よく色成分間の相関を除去する画像符号化装置及び画像復号化装置並びに画像符号化方法及び画像復号化方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の目的を達成するために、色成分間の相関を検出し、相関が閾値以上の場合は直交変換係数の色成分間の相関を圧縮し、直交変換後の色成分の相関の大小に応じて色成分間の圧縮の有無を選択するものとした。また、符号化データを復号化し、冗長度圧縮データを復元して各色成分の変換係数を生成し、冗長度圧縮データから逆量子化変換された変換係数を逆直交変換して復元する。
【００１４】
【発明の実施の形態】
本発明の第１の態様は、入力画像の色成分を異なる成分に変換する色空間変換手段と、変換後の色成分を直交変換して色成分毎の変換係数を生成する直交変換手段と、他の色成分との相関が閾値以上となる色成分の変換係数を他の色成分を参照して符号化する冗長度圧縮手段と、この冗長度圧縮手段の出力する符号化データを量子化する量子化手段とを備えた画像符号化装置である。
【００１５】
この構成によれば、色変換後に冗長性が残存している場合でも、冗長性を削減でき、符号化効率を向上することができる。
【００１６】
本発明の第２の態様は、第１の態様の画像符号化装置において、前記冗長度圧縮手段は、各色成分の変換係数から他の色成分との相関を検出する検出手段と、この検出手段の検出結果に応じて変換係数を他の色成分を参照して符号化するのか又は変換係数のまま符号化するのかを選択する選択手段と、を備えるものとした。
【００１７】
これにより、相関の大きい色成分データに対しては冗長度を圧縮することができ、相関の小さい色成分データについては相関圧縮を回避することにより、相関圧縮による冗長度が増加することを防止することができる。
【００１８】
本発明の第３の態様は、第１又は第２の態様の画像符号化装置において、前記冗長度圧縮手段は、色成分毎に変換された変換係数について色成分間の平均振幅比を求め、この平均振幅比で近似する個々の変換係数の近似値と真の値との差を符号化するものとした。
【００１９】
これにより、色成分間で相関がある場合には符号量の削減をはかることができる。
【００２０】
本発明の第４の態様は、符号化データを復号化する復号化手段と、復号化された変換係数及び色成分間で冗長度圧縮されている冗長度圧縮データを逆量子化する逆量子化手段と、前記冗長度圧縮データを復元して各色成分の変換係数を生成する生成手段と、前記逆量子化手段で変換された変換係数と前記生成手段で生成された変換係数とを逆直交変換する逆直交変換手段と、を具備する画像復号化装置である。
【００２１】
この構成によれば、色変換後に色成分間で冗長度圧縮したデータを復元することができる。
【００２２】
本発明の第５の態様は、第４の態様の画像復号化装置において、前記生成手段は、逆量子化データが直交変換係数そのものであるのか又は冗長度圧縮データであるのかをヘッダ情報から解読し、冗長度圧縮データであれば各色成分の変換係数に復元するものとした。
【００２３】
これにより、相関の大きい色成分データに対しては冗長度圧縮し、相関の小さい色成分データについては相関圧縮を回避している場合でも、それぞれのデータに応じて適切な復号化が可能になる。
【００２４】
本発明の第６の態様は、第４の態様の画像復号化装置において、前記生成手段は、ヘッダ情報に基づいて逆量子化データから、色成分間における変換係数の平均振幅比を示す近似係数と、冗長度圧縮時に平均振幅比で近似した個々の変換係数の近似値と真の値との差を示す近似誤差と、冗長度圧縮されていない色成分の変換係数と、を取得し、これらのデータから冗長度圧縮されている色成分の変換係数を近似算出するものとした。
【００２５】
これにより、色成分間の平均振幅比で近似した際の近似誤差を符号化している場合であっても、適切な復号化が可能になる。
【００２６】
本発明の第７の態様は、入力画像の色成分を異なる成分に変換し、変換後の色成分を直交変換して色成分毎の変換係数を生成し、他の色成分との相関が閾値以上となる色成分の変換係数を他の色成分を参照して符号化し、この符号化データを量子化することを特徴とする画像符号化方法である。
【００２７】
本発明の第８の態様は、符号化データを復号化し、復号化された変換係数及び色成分間で冗長度圧縮されている冗長度圧縮データを逆量子化し、前記冗長度圧縮データを復元して各色成分の変換係数を生成し、前記復号化された変換係数そのものと前記冗長度圧縮データから復元した変換係数とを逆直交変換することを特徴とする画像復号化方法である。
【００２８】
以下、本発明にかかる画像符号化／復号化装置の一実施の形態について図面を参照して具体的に説明する。
【００２９】
図１は、本実施の形態にかかる画像符号化／復号化装置のブロック図である。同図に示す画像符号化／復号化装置は、符号化処理部と復号化処理部とで構成される。符号化処理部は、画像入力部１、色空間変換部２、直交変換部３、相関選択部４、量子化部５、符号化部６、符号出力部７、相関演算部８、相関度判定部９を備えている。また、復号化処理部は、符号入力部１０、復号化部１１、逆量子化１２、近似演算部１３、近似選択部１４、逆直交変換部１５、色空間逆変換部１６、画像出力部１７を備えている。
【００３０】
以下、図２を参照して符号化動作を説明する。画像入力部１は、符号化対象となるデジタル画像をラスタスキャンによる８ビットのラインデータの形で入力し（ステップ０）、画像を８×８のブロックに分割する（ステップ１）。切り出されたブロックを順に読み出し（ステップ２）、色空間変換部２が、入力画像の色空間をＲＧＢ色空間からＹＣｂＣｒ色空間への変換を行う（ステップ３）。直交変換部３は、色空間変換後の色成分Ｙ、Ｃｂ、Ｃｒ毎に直交変換の一つであるアダマール変換を行って、８×８画素ブロック単位で画素値を変換係数へ変換する（ステップ４）。図３はアダマール変換に使用する８×８マトリクスの具体例を示す。
【００３１】
図４（Ａ）は８×８アダマール変換の各画素、同図（Ｂ）は変換係数の各基底、同図（Ｃ）は変換係数の１次元系列化した順位を示している。以下、変換係数は図４（Ｃ）の１次元系列で表現することとする。
【００３２】
直交変換係数は、色空間ＹＣｂＣｒの各成分毎に求め、それぞれ直交変換係数Ｈｙ［ｘ］、Ｈｃｂ［ｘ］、Ｈｃｒ［ｘ］とする。図６はある画像の１つのブロックについて、Ｈｙ［ｘ］、Ｈｃｂ［ｘ］、Ｈｃｒ［ｘ］をプロットしたものであり、図７は同じ系列順位どうしで比を取ったものである。
【００３３】
このように、色相関の高い色空間データに関しては、変換係数の振幅比は非ゼロの有意係数においてほぼ一定値を示している。具体的には、図７において直交変換後のＡＣ成分である係数系列２〜６４に着目すると、Ｙ成分の振幅比（Ｙ／（Ｙ＋Ｃｂ＋Ｃｒ））は、６５％程度の数値でほぼ一定している。同様に、Ｃｂ成分、Ｃｒ成分もほぼ一定値を示している。
【００３４】
相関演算部８は、直交変換係数Ｈｙ［ｘ］、Ｈｃｂ［ｘ］、Ｈｃｒ［ｘ］を、６３個のＡＣ係数において同じ基底［ｘ］に属するものどうしその振幅比を色プレーン間Ｙ−Ｃｂ、Ｙ−Ｃｒ間において求める（ステップ５）。
【００３５】
Ｒｙｃｂ［ｘ］＝Ｈｃｂ［ｘ］／Ｈｙ［ｘ］
Ｒｙｃｒ［ｘ］＝Ｈｃｒ［ｘ］／Ｈｙ［ｘ］
この振幅比をブロック単位で平均して、色プレーンＹ−Ｃｂ間、またはＹ−Ｃｒ間の近似係数Ｋｙｃｂ、Ｋｙｃｒとする（ステップ６）。
【００３６】
Ｋｙｃｂ［ｘ］＝ΣＲｙｃｂ［ｘ］／６３
Ｋｙｃｒ［ｘ］＝ΣＲｙｃｂ［ｘ］／６３
相関演算部８は、その平均値で近似する個々の変換係数の近似値と真の値との差を近似差として求める（ステップ７）。すなわち、近似係数Ｋｙｃｂ、Ｋｙｃｒを個々の変換係数に適応して相似近似した場合の近似誤差を演算し、近似差Ｄｙｃｂ［ｘ］、Ｄｙｃｒ［ｘ］を算出する。
【００３７】
Ｄｙｃｂ［ｘ］＝Ｄ［１，ｘ］＝Ｈｙ［ｘ］×Ｋｙｃｂ−Ｈｃｂ［ｘ］
Ｄｙｃｒ［ｘ］＝Ｄ［２，ｘ］＝Ｈｙ［ｘ］×Ｋｙｃｒ−Ｈｃｒ［ｘ］
この近似差は相関度判定部９に出力される。相関度判別部９は、近似差から相関度を表す定量値である相関値を算出する。この相関値の算出方法については、ブロック単位で差分の分散を求める方法がある。または、単純に最大値を求める方法でも可能である。
【００３８】
これらにより求めた相関値に対して、相関有無のしきい値が統計的に設定される。これは色成分の相関度を判断する基準として、後述する色成分間の冗長度の圧縮を実施することにより、変換係数の符号量が減少する場合を「相関あり」とし、逆に符号量が増加する場合を「相関なし」とする。すなわち、組み合わせる量子化部と符号化部の構成に依存した統計の結果求められるものとなる。この相関ありなしの境界にある相関値を閾値として設定する。
【００３９】
相関度判定部９は、近似差を相関値として集計し、相関度判断の閾値との比較において、相関値が低ければ色相関圧縮なしとし、相関値が高ければ色相関圧縮ありとする（ステップ８）。相関の有無の判定結果をブロック単位で相関選択部４に対し出力する（ステップ９、ステップ１０）。
【００４０】
相関選択部４は、判定結果で「相関なし」と判断された場合には（ステップ１１）、変換係数をそのまま量子化部５に渡す（ステップ１３）。逆に「相関あり」と判定された場合（ステップ１１）、さらに色差信号Ｃｂ、Ｃｒを処理しているタイミングには、相関演算部８から出力される近似誤差Ｄｙｃｂ［ｘ］、Ｄｙｃｒ［ｘ］と近似係数Ｋｙｃｂ、Ｋｙｃｒを選択し（ステップ１２）、量子化部５に出力する（ステップ１４）。色相関があると判定された場合でも、輝度信号Ｙを処理しているタイミングでは、相関選択部４は変換係数をそのまま量子化部５に引き渡す。
【００４１】
量子化部５では、相関選択部４から出力された変換係数または近似誤差を予約された量子化長、量子化ステップなどの量子化パラメータにより量子化し（ステップ１５）、符号化部６では、図５に示すように、量子化データをブロック、色成分、基底の各系列の順に符号化したデータを連結して、符号出力部６に出力する（ステップ１６）。
【００４２】
符号出力部６は、外部とのタイミングをとり符号データを出力する。これを全ての色、全てのブロックにおいて繰り返し処理を行う（ステップ１７、ステップ１８）。
【００４３】
一方、復号側では、符号入力部１０から入力された符号を復号化部１１で復号化して、符号化された係数が直交変換係数そのものかまたは相関近似した近似係数と近似誤差なのかをヘッダ情報から解読し、近似選択部１４に出力する。
【００４４】
逆量子化部１２では量子化条件に基づいて逆量子化される。これが直交変換係数そのものの場合には、近似選択部１４へ出力され、近似係数と近似誤差の場合には、近似演算部１３にて、直交変換係数を近似生成して出力される。
【００４５】
近似演算部１３では、逆量子化された近似係数Ｋｙｃｂ’、Ｋｙｃｒ’と近似誤差Ｄｙｃｂ’［ｘ］、Ｄｙｃｒ’［ｘ］、Ｙ成分直交変換係数Ｈｙ’［ｘ］から、Ｃｂ及びＣｒ変換係数Ｈｃｂ’［ｘ］、Ｈｃｒ’［ｘ］を近似算出する。
【００４６】
Ｈｃｂ’［ｘ］＝Ｈｙ’［ｘ］×Ｋｙｃｂ’−Ｄｙｃｂ’［ｘ］
Ｈｃｒ’［ｘ］＝Ｈｙ’［ｘ］×Ｋｙｃｒ’−Ｄｙｃｒ’［ｘ］
近似選択部１４へ入力された直交変換係数または近似された直交変換係数は復号化部１１の結果により、近似選択部１４から選択出力される。出力された直交変換係数は、逆直交変換部１５にてＹＣｂＣｒ色空間データに変換され、さらに色空間逆変換部１６にてＲＧＢ色空間データに変換され、画像出力部１７に出力される。
【００４７】
このように本実施の形態によれば、色変換後に冗長性が残存している場合でも、冗長性を削減でき、符号化効率を向上することができる。また、相関の大きい色成分データに対しては冗長度を圧縮することができ、相関の小さい色成分データについては相関圧縮を回避することにより、相関圧縮による冗長度が増加することを防止することができる。さらに、色成分間で相関がある場合には符号量の削減をはかることができる。
【００４８】
なお、以上の説明では一例としてＲＧＢ空間からＹＣｂＣｒ空間へ変換するケースを説明したが、本発明は上記ケースに限定されるものではなく、その他の色空間変換の場合にも同様に適用可能である。例えば、ＲＧＢ空間からＬ＊ａ＊ｂ＊空間等への変換などである。
【００４９】
また、上述した画像符号化／復号化装置は、図１に示す任意の機能ブロックをハードウエア回路で構築しても良いし、ＣＰＵがプログラムを実行する形式で同等の機能を実現するようにしてもよい。
【００５０】
さらに、図１に示す画像符号化／復号化装置の符号化側と復号化側を別々に分離した画像符号化装置及び画像復号化装置として構成することも可能である。
【００５１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、カラー画像の色成分の相関性に着目して圧縮する構成にしたので、色成分の組み合わせによらず常に色再現性のよい復元再生画像を得ることができる。
【００５２】
また、本発明によれば、同等の画質を得るのに必要な符号量を削減できるのでシステムのメモリを削減できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態にかかる画像符号化／復号化装置の構成を示すブロック図
【図２】上記実施の形態にかかる画像符号化／復号化装置における符号化プロセスの動作フロー図
【図３】上記実施の形態におけるアダマール変換の変換パターンを示す図
【図４】上記実施の形態におけるアダマール変換の変換係数を示す図
【図５】上記実施の形態における符号構成を示す図
【図６】上記実施の形態における変換係数のＹ、Ｃｂ、Ｃｒ平面での振幅分布を示す図
【図７】上記実施の形態における変換係数のＹ、Ｃｂ、Ｃｒ平面での振幅比を示す図
【図８】従来の画像符号化／復号化装置の構成を示すブロック図
【符号の説明】
１ 画像入力部
２ 色空間変換部
３ 直交変換部
４ 選択部
５ 量子化部
６ 符号化部
７ 符号出力部
８ 近似演算部
９ 相関度判別部
１０ 符号入力部
１１ 復号化部
１２ 逆量子化部
１３ 近似演算部
１４ 近似選択部
１５ 逆直交変換部
１６ 色空間逆変換部
１７ 画像出力部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image encoding device and an image decoding device for encoding / decoding color image data, and an image encoding method and an image decoding method.
[0002]
[Prior art]
In recent years, with the increase in resolution of image input devices, the amount of image data originally having an enormous amount of information has further increased, and these storages require a large storage capacity and require much time for processing and transmission. There is a problem. For this reason, in order to perform efficient transmission and recording, high-efficiency coding with a high compression ratio and little image quality deterioration is performed.
[0003]
By the way, image data includes a lot of redundant data. In color images, there are two types: one based on the correlation between neighboring pixels and the other based on the correlation between color components. In still image coding, it is common to perform redundant compression of color components by color conversion and then remove correlation between neighboring pixels.
[0004]
FIG. 8 shows a block diagram of a conventional color image encoding device. In the color image encoding device shown in FIG. 1, the encoding system includes an image input unit 20, a color space conversion unit 21, an orthogonal transformation unit 22, a quantization unit 23, an encoding unit 24, and a code output unit 25. The conversion system includes a code input unit 26, a decoding unit 27, an inverse quantization unit 28, an inverse orthogonal transform unit 29, a color space inverse transform unit 30, and an image output unit 31. Hereinafter, a conventional color image encoding / decoding method will be described with reference to FIG.
[0005]
First, RGB images to be encoded are input from the image input unit 20 in the order of color components (R, G, B) and in the order of raster. The color space conversion unit 21 converts the RGB color components formed for each pixel into Y, Cb, and Cr color components. The orthogonal transform unit 22 cuts out the data of each color component of Y, Cb, and Cr stored in the internal buffer into an 8 × 8 rectangle, performs orthogonal transform, and outputs a transform coefficient.
[0006]
The quantization unit 23 quantizes the transform coefficients output from the orthogonal transform unit 22 according to a parameter table predetermined for each color component or transform coefficient. The coding unit 24 performs Huffman coding on the transform coefficients quantized by the quantization unit 23. The code output unit 25 connects the header information required for decoding with the Huffman-coded transform coefficients and outputs the result to the outside.
[0007]
The decoding side goes through the reverse process as the code side. That is, the code data input from the code input unit 26 is decoded by the decoding unit 27, the orthogonal transform coefficient is generated by the inverse quantization unit 28, and converted into image data by the inverse orthogonal transform unit 29, and Y, Cb, Image data of each component of Cr is obtained. The obtained image data of each of the Y, Cb, and Cr components is converted into RGB components by the color space inverse conversion unit 30, and the image is output from the image output unit 31 to the subsequent stage.
[0008]
It should be noted that there are cases where the degree of redundancy is lower in some images without performing color conversion. For example, when an image such as a character of cyan color is converted into a white background, in the RGB space, only the R component in the RGB space has the AC component of the image. On the other hand, in the YCbCr space, AC components appear in all of the Y, Cb, and Cr components, and the redundancy increases. To cope with such a problem, it has been proposed to prepare a plurality of color spaces, detect a correlation between color components, and switch to a color space with less redundancy (for example, see Patent Document 1).
[0009]
[Patent Document 1]
JP-A-2002-247375
[Problems to be solved by the invention]
However, in the above-described conventional coding method, since the color conversion is uniformly performed on the color image, the redundancy between the color components after the color conversion may not always be reduced, and the coding efficiency may not be reduced. There is a problem that causes variations in
[0011]
Further, the method of detecting the correlation between color components and switching to a color space with less redundancy cannot be used for a system that provides an output code or a restored image in a fixed color space. was there.
[0012]
The present invention has been made in view of the above circumstances, and provides an image encoding device, an image decoding device, an image encoding method, and an image decoding method for efficiently removing a correlation between color components in a color image. The purpose is to provide.
[0013]
[Means for Solving the Problems]
In order to achieve the object of the present invention, the correlation between the color components is detected, and when the correlation is equal to or larger than a threshold, the correlation between the color components of the orthogonal transform coefficient is compressed, and the correlation between the color components after the orthogonal transform is reduced. In accordance with this, the presence or absence of compression between the color components is selected. In addition, the coded data is decoded, the redundancy compressed data is restored, transform coefficients of each color component are generated, and the transform coefficients inversely quantized from the redundancy compressed data are restored by inverse orthogonal transform.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
A first aspect of the present invention is a color space conversion unit that converts a color component of an input image into a different component, an orthogonal conversion unit that orthogonally converts a converted color component to generate a conversion coefficient for each color component, A redundancy compressor for encoding a transform coefficient of a color component having a correlation with another color component equal to or greater than a threshold value with reference to the other color component, and quantizing encoded data output from the redundancy compressor; This is an image encoding device including a quantization unit.
[0015]
According to this configuration, even when the redundancy remains after the color conversion, the redundancy can be reduced and the coding efficiency can be improved.
[0016]
According to a second aspect of the present invention, in the image encoding device according to the first aspect, the redundancy compressing means detects a correlation between each color component and another color component from a transform coefficient of the color component, and the detecting means And selecting means for selecting whether to encode the transform coefficient with reference to another color component or to encode the transform coefficient as it is in accordance with the detection result.
[0017]
As a result, the redundancy can be compressed for the color component data having a large correlation, and the redundancy can be prevented from being increased by the correlation compression by avoiding the correlation compression for the color component data having a small correlation. be able to.
[0018]
According to a third aspect of the present invention, in the image encoding device according to the first or second aspect, the redundancy compressing unit obtains an average amplitude ratio between the color components for the conversion coefficient converted for each color component, The difference between the approximate value of each transform coefficient approximated by the average amplitude ratio and the true value is coded.
[0019]
Thus, when there is a correlation between the color components, the code amount can be reduced.
[0020]
According to a fourth aspect of the present invention, there is provided a decoding means for decoding encoded data, and an inverse quantization for inversely quantizing the redundancy-compressed data which has been subjected to redundancy-compression between the decoded transform coefficients and color components. Means, a generating means for restoring the redundancy compressed data to generate a transform coefficient for each color component, and an inverse orthogonal transform between the transform coefficient converted by the inverse quantizing means and the transform coefficient generated by the generating means. And an inverse orthogonal transform unit.
[0021]
According to this configuration, it is possible to restore data that has been subjected to redundancy compression between color components after color conversion.
[0022]
According to a fifth aspect of the present invention, in the image decoding apparatus according to the fourth aspect, the generating means decodes from the header information whether the dequantized data is the orthogonal transform coefficient itself or the redundancy compressed data. However, if the data is redundancy-compressed data, it is restored to the conversion coefficient of each color component.
[0023]
As a result, even when the color component data having a large correlation is subjected to the redundancy compression, and the color component data having a small correlation is avoided from the correlation compression, appropriate decoding can be performed in accordance with each data. .
[0024]
According to a sixth aspect of the present invention, in the image decoding apparatus according to the fourth aspect, the generation means includes an approximation coefficient indicating an average amplitude ratio of a conversion coefficient between color components from the dequantized data based on the header information. And an approximation error indicating a difference between an approximate value of each transform coefficient approximated by the average amplitude ratio at the time of redundancy compression and a true value, and a transform coefficient of a color component that is not subjected to redundancy compression. , The conversion coefficient of the color component whose redundancy is compressed is approximately calculated.
[0025]
As a result, even when an approximation error caused by approximation using the average amplitude ratio between the color components is encoded, appropriate decoding can be performed.
[0026]
According to a seventh aspect of the present invention, a color component of an input image is converted into a different component, a converted color component is orthogonally transformed to generate a conversion coefficient for each color component, and a correlation with another color component is determined as a threshold. An image encoding method is characterized in that the above-described color component conversion coefficients are encoded with reference to other color components, and the encoded data is quantized.
[0027]
According to an eighth aspect of the present invention, the encoded data is decoded, and the redundancy-compressed data that has been subjected to redundancy-compression between the decoded transform coefficients and color components is inversely quantized to restore the redundancy-compressed data. A transform coefficient of each color component, and performing an inverse orthogonal transform on the decoded transform coefficient itself and a transform coefficient restored from the redundancy compressed data.
[0028]
Hereinafter, an embodiment of an image encoding / decoding device according to the present invention will be specifically described with reference to the drawings.
[0029]
FIG. 1 is a block diagram of an image encoding / decoding device according to the present embodiment. The image encoding / decoding device shown in FIG. 1 includes an encoding processing unit and a decoding processing unit. The encoding processing unit includes an image input unit 1, a color space conversion unit 2, an orthogonal transformation unit 3, a correlation selection unit 4, a quantization unit 5, an encoding unit 6, a code output unit 7, a correlation operation unit 8, a correlation degree determination. A section 9 is provided. The decoding processing unit includes a code input unit 10, a decoding unit 11, an inverse quantization unit 12, an approximation operation unit 13, an approximation selection unit 14, an inverse orthogonal transformation unit 15, a color space inverse transformation unit 16, and an image output unit 17. It has.
[0030]
Hereinafter, the encoding operation will be described with reference to FIG. The image input unit 1 inputs a digital image to be encoded in the form of 8-bit line data by raster scanning (step 0), and divides the image into 8 × 8 blocks (step 1). The extracted blocks are sequentially read (step 2), and the color space conversion unit 2 converts the color space of the input image from the RGB color space to the YCbCr color space (step 3). The orthogonal transformation unit 3 performs a Hadamard transformation, which is one of the orthogonal transformations, for each of the color components Y, Cb, and Cr after the color space conversion, and converts the pixel values into conversion coefficients in units of 8 × 8 pixel blocks (step 4). FIG. 3 shows a specific example of an 8 × 8 matrix used for Hadamard transform.
[0031]
FIG. 4A shows each pixel of the 8 × 8 Hadamard transform, FIG. 4B shows each base of the transform coefficient, and FIG. 4C shows the order of the transform coefficient in a one-dimensional series. Hereinafter, the transform coefficients are represented by the one-dimensional series in FIG.
[0032]
The orthogonal transform coefficients are obtained for each component of the color space YCbCr, and are respectively referred to as orthogonal transform coefficients Hy [x], Hcb [x], and Hcr [x]. FIG. 6 is a plot of Hy [x], Hcb [x], and Hcr [x] for one block of an image, and FIG. 7 is a plot of the same series ranking.
[0033]
As described above, regarding the color space data with high color correlation, the amplitude ratio of the conversion coefficient shows a substantially constant value at the non-zero significant coefficient. Specifically, focusing on coefficient series 2 to 64, which are AC components after orthogonal transformation in FIG. 7, the amplitude ratio of the Y component (Y / (Y + Cb + Cr)) is almost constant at a value of about 65%. . Similarly, the Cb component and the Cr component also exhibit substantially constant values.
[0034]
The correlation calculator 8 calculates the orthogonal transform coefficients Hy [x], Hcb [x], and Hcr [x] by comparing the amplitude ratio between 63 AC coefficients belonging to the same basis [x] between the color planes Y-Cb. , Y-Cr (step 5).
[0035]
Rycb [x] = Hcb [x] / Hy [x]
Rycr [x] = Hcr [x] / Hy [x]
The amplitude ratios are averaged for each block to obtain approximate coefficients Kycb and Kycr between the color planes Y and Cb or between Y and Cr (step 6).
[0036]
Kycb [x] = ΣRycb [x] / 63
Kycr [x] = ΣRycb [x] / 63
The correlation calculation unit 8 obtains a difference between an approximate value of each transform coefficient approximated by the average value and a true value as an approximate difference (step 7). That is, an approximation error is calculated when the approximation coefficients Kycb and Kycr are approximated by adapting them to the individual conversion coefficients, and the approximation differences Dycb [x] and Dycr [x] are calculated.
[0037]
Dycb [x] = D [1, x] = Hy [x] × Kycb−Hcb [x]
Dycr [x] = D [2, x] = Hy [x] × Kycr−Hcr [x]
This approximation difference is output to the correlation degree determination unit 9. The correlation degree determination unit 9 calculates a correlation value that is a quantitative value representing the degree of correlation from the approximate difference. As a method of calculating the correlation value, there is a method of calculating the variance of the difference in block units. Alternatively, it is also possible to simply obtain the maximum value.
[0038]
A threshold value for the presence / absence of the correlation is statistically set for the correlation value obtained as described above. As a criterion for judging the degree of correlation between color components, the case where the code amount of the transform coefficient decreases by performing the compression of the redundancy between the color components, which will be described later, is referred to as “correlation”. The case of increase is defined as “no correlation”. That is, it is obtained as a result of statistics depending on the configurations of the quantizing unit and the encoding unit to be combined. The correlation value at the boundary with or without the correlation is set as a threshold.
[0039]
The correlation degree judging unit 9 counts the approximate difference as a correlation value, and in the comparison with the threshold value of the correlation degree judgment, determines that there is no color correlation compression if the correlation value is low, and that color correlation compression is present if the correlation value is high (step 8). The result of the determination as to whether or not there is a correlation is output to the correlation selector 4 in block units (steps 9 and 10).
[0040]
When the correlation result is determined to be “no correlation” (step 11), the correlation selector 4 passes the transform coefficient to the quantizer 5 as it is (step 13). Conversely, when it is determined that there is "correlation" (step 11), the approximate errors Dycb [x] and Dycr [x] output from the correlation calculation unit 8 are obtained at the timing when the color difference signals Cb and Cr are further processed. And the approximate coefficients Kycb and Kycr are selected (step 12) and output to the quantization unit 5 (step 14). Even when it is determined that there is a color correlation, at the timing when the luminance signal Y is being processed, the correlation selection unit 4 delivers the transform coefficient to the quantization unit 5 as it is.
[0041]
The quantization unit 5 quantizes the transform coefficient or the approximation error output from the correlation selection unit 4 with a quantization parameter such as a reserved quantization length and quantization step (step 15). As shown in FIG. 5, the data obtained by coding the quantized data in the order of a block, a color component, and a base are connected to each other and output to the code output unit 6 (step 16).
[0042]
The code output unit 6 outputs code data at a timing with the outside. This process is repeated for all colors and all blocks (steps 17 and 18).
[0043]
On the other hand, on the decoding side, the code input from the code input unit 10 is decoded by the decoding unit 11 to determine whether the coded coefficient is the orthogonal transform coefficient itself or an approximate coefficient obtained by correlation approximation and an approximate error. And outputs it to the approximation selection unit 14.
[0044]
The inverse quantization unit 12 performs inverse quantization based on the quantization conditions. If this is the orthogonal transform coefficient itself, it is output to the approximation selection unit 14, and if it is the approximate coefficient and the approximation error, the approximate operation unit 13 generates and outputs the approximate orthogonal transform coefficient.
[0045]
The approximate calculation unit 13 calculates the Cb and Cr conversion coefficients from the inversely quantized approximation coefficients Kycb ′, Kycr ′ and the approximation errors Dycb ′ [x], Dycr ′ [x], and the Y-component orthogonal transformation coefficient Hy ′ [x]. Hcb '[x] and Hcr' [x] are approximately calculated.
[0046]
Hcb '[x] = Hy' [x] × Kycb'-Dycb '[x]
Hcr ′ [x] = Hy ′ [x] × Kycr′−Dycr ′ [x]
The orthogonal transformation coefficient input to the approximation selection unit 14 or the approximated orthogonal transformation coefficient is selectively output from the approximation selection unit 14 according to the result of the decoding unit 11. The output orthogonal transform coefficients are converted into YCbCr color space data by the inverse orthogonal transform unit 15, further converted into RGB color space data by the color space inverse transform unit 16, and output to the image output unit 17.
[0047]
As described above, according to the present embodiment, even when redundancy remains after color conversion, redundancy can be reduced and coding efficiency can be improved. Also, the redundancy can be compressed for color component data having a large correlation, and the redundancy can be prevented from being increased by the correlation compression by avoiding the correlation compression for the color component data having a small correlation. Can be. Further, when there is a correlation between the color components, the code amount can be reduced.
[0048]
In the above description, the case of converting from the RGB space to the YCbCr space has been described as an example. However, the present invention is not limited to the above case, and can be similarly applied to other color space conversions. . For example, conversion from an RGB space to an L * a * b * space or the like.
[0049]
In the above-described image encoding / decoding device, any of the functional blocks shown in FIG. 1 may be configured by a hardware circuit, or the CPU may realize an equivalent function in a form of executing a program. Is also good.
[0050]
Further, the image encoding / decoding device shown in FIG. 1 may be configured as an image encoding device and an image decoding device in which the encoding side and the decoding side are separately separated.
[0051]
【The invention's effect】
As is clear from the above description, according to the present invention, since the compression is performed by focusing on the correlation between the color components of the color image, the restored reproduced image always having good color reproducibility regardless of the combination of the color components. Can be obtained.
[0052]
Further, according to the present invention, the code amount required to obtain the same image quality can be reduced, so that the memory of the system can be reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image encoding / decoding device according to an embodiment of the present invention; FIG. 2 is an operation flow of an encoding process in the image encoding / decoding device according to the embodiment; FIG. 3 is a diagram showing a conversion pattern of Hadamard transform in the above embodiment. FIG. 4 is a diagram showing a conversion coefficient of Hadamard transform in the above embodiment. FIG. 5 is a diagram showing a code configuration in the above embodiment. FIG. 6 is a diagram illustrating an amplitude distribution of conversion coefficients on the Y, Cb, and Cr planes in the embodiment. FIG. 7 is a diagram illustrating an amplitude ratio of conversion coefficients on the Y, Cb, and Cr planes in the embodiment. FIG. 8 is a block diagram showing a configuration of a conventional image encoding / decoding device.
DESCRIPTION OF SYMBOLS 1 Image input part 2 Color space conversion part 3 Orthogonal conversion part 4 Selection part 5 Quantization part 6 Encoding part 7 Code output part 8 Approximation operation part 9 Correlation degree discrimination part 10 Code input part 11 Decoding part 12 Inverse quantization part 13 Approximation calculation unit 14 Approximation selection unit 15 Inverse orthogonal transformation unit 16 Color space inverse transformation unit 17 Image output unit
