JP2007243306A - 画像符号化装置および方法ならびに画像復号装置および方法 - Google Patents

Abstract

【課題】非可逆な周波数変換による符号化と予測器を用いた可逆符号化の双方の優れた点を両立させる。
【解決手段】符号化時には、ソースコーダ１０１が、入力画像を画素毎に予測器を用いて予測しその結果として識別子と予測誤差とを送出する。周波数変換部１０２は、そのウェーブレット変換部（ＤＷＴ）で、ソースコーダ１０１から送出された予測誤差に対してＤＷＴ処理して送出する。周波数変換部１０２の量子化部はＤＷＴ部から送出された画素値に対して量子化処理を行い送出する。ＥＢＣＯＴ部１０３は、画素値ごとに量子化処理された量子化インデックス値をＬＳＢ側に、識別子情報をＭＳＢ側に配置する態様で両情報をデプス方向にマージし、ＥＢＣＯＴ処理を行い、結果の符号を送出する。
【選択図】図２

Description

この発明は、画像符号化技術に関し、とくに、変換符号化の長所および予測符号化の長所を併せ持つ符号化手法を提供しようとするものである。

画像符号化の国際標準ＪＰＥＧ２０００が知られている。ＪＰＥＧ２０００は、通常の自然画像に対して、離散ウェーブレット変換（ＤＷＴ）および量子化による非可逆化を行って、高い圧縮率を得ることができる。ところで、画像によっては、ＪＰＥＧ−ＬＳ等の予測結果をＪＰＥＧ２０００のエントロピー符号化器に入れることで、ＪＰＥＧ２０００単独の可逆符号化性能よりも高い性能を得ることができる。コンピュータで生成したようなノイズの少ない画像の場合、この方式が有利である。

（１）予測符号化＋ＪＰＥＧ２０００のエントロピー符号化（可逆符号化）および（２）ＪＰＥＧ２０００の非可逆符号化のいずれかの方式を選択して符号化を行うことにより、入力画像の種類に依存せずに、どのような入力画像の場合にも高い符号化効率を得ることが可能となる。

このような、可逆符号化と非可逆符号化を切り替えて符号化を行う従来例を以下に示す。

特許文献１は、非可逆型符号化手段と可逆型符号化手段とを備え、多値画情報の階調数が大きい場合には、非可逆型符号化手段を使用し、階調数が小さい場合には、可逆型符号化手段を使用する。

特許文献２は、ページ毎に複数の符号化方式で圧縮を行って、最も圧縮率の高いものを選択する方式を提案している。

特許文献３は、ブロック（例えば４×４画素）毎に色数を見て可逆／非可逆を切り替える方式を提案している。

特許文献４は、ブロック単位での切り替え、ブロック内で、隣の画素と同一な値を持つ画素数を計測して、その画素数が多い場合には可逆符号化を行うことを提案している。

特許文献５は、画素毎に可逆／非可逆を切り替えることを提案している。非可逆符号化はＤＰＣＭ、可逆符号化は辞書ベースであり、可逆／非可逆共に、ラスタスキャンを行う。辞書登録画素値が存在する場合や、同じ画素値が連続する場合に、可逆モードに変更する。周囲に同一画素値が存在しない場合に、非可逆モードに変更する。

また、本出願人は、図１に示すような画像符号化方式を提案している（現在未公開。特願２００５− 。ＦＥ０４−０６５７５の出願番号を記載して下さい）。

図１において、符号化部１０はソースコーダ（予測符号器）１１、ＪＰＥＧ２０００符号化部１２を有し、復号部２０はソースデコーダ（逆予測部）２１、ＪＰＥＧ２０００復号部２２を有し、圧縮伸長制御部３０で予測符号化・復号およびＪＰＥＧ符号化・復号とを切り替えるようにしている。なお、図の例は、符号化部１０で符号化した画像を、一旦、記憶デバイス（図示しない）に記憶し、そののち、復号して出力することを念頭においている。

入力画像が文字・グラフィクス画像である場合、ＪＰＥＧ２０００ではなくソースコーダを用いたスキームへ切り替える信号が圧縮伸張制御部３０に供給される。他方、入力画像が主に自然画像である場合はＪＰＥＧ２０００を用いたスキームへ切り替える信号が圧縮伸張制御部３０に供給される。圧縮伸張制御部３０は、切り替え信号がＪＰＥＧ２０００の場合は、ソースコーダ１１およびソースデコーダ２１をバイパスするようなセレクト信号を送信し、ＪＰＥＧ２０００符号化部１２およびＪＰＥＧ２０００復号化部２２にはバイパス指示信号は送信しない。逆に、切り替え信号がＪＰＥＧ２０００からソースコーダのスキームを用いる場合は、ソースコーダ１１およびソースデコーダ２１を選択するセレクト信号、ＪＰＥＧ２０００符号化部２２およびＪＰＥＧ２０００復号部にはそれぞれＤＷＴ＋ＱおよびＩＤＷＴ＋Ｑ^−１のバイパス指示信号を送信する。

この提案によれば、入力画像ごとに適合的に符号化モードを選択できる。

しかしながら、特許文献１および２の提案ならびに図１に示す提案では、ページ毎に可逆／非可逆を切り替える方式であり、可逆に適した画素と非可逆に適した画素が混在する文書に対応することができない。

特許文献３、４の提案では、ブロック毎に可逆／非可逆を切り替える方式であり、ブロック内で可逆に適した画像と非可逆に適した画像が混在している場合には対応することができない。

特許文献５の提案では、画素毎に切り替える方式であり、混在文書にも対応可能である。しかしながら、非可逆圧縮方式はラスタスキャン順のＤＰＣＭを用いており、一般に非可逆圧縮方式として採用されている変換符号化と比較すると圧縮効率が下がる。つまりＪＰＥＧ２０００を採用することができない。
特開平６−２６１２１５号公報 特開平１０−７５３７０号公報 特開２０００−３３３０１７公報 特開２００１−４３３６３公報 特開２００１−２５７８８８公報

この発明は、以上の事情を考慮してなされたものであり、入力画像の性質に関わらず、ＪＰＥＧ２０００の優れた非可逆圧縮性能と、予測器を用いた可逆符号化の両方の優れた圧縮性能を保持する画像符号化方式を提供しようとするものである。

この発明の原理的な構成例によれば、上述の目的を達成するために、画像符号化装置に：画像を入力する手段と；値を正確に予測可能な画素値とそうでない画素値を分離し、正確に予測可能な画素値を復元するに十分な情報、および、値を正確に予測可能な画素値とそうでない画素値の位置を示す情報を出力する手段と；値を正確に予測できない画素値の誤差を非可逆の周波数変換する手段と；前記正確に予測可能な画素値を復元するに十分な情報と前記非可逆の周波数変換された係数とをマージし、エントロピー符号化する手段とを設けている。

この構成例においては、非可逆な周波数変換による符号化と予測器を用いた可逆符号化の双方の優れた点を両立させることができる。

さらに、この発明を説明する。

この発明によれば、上述の目的を達成するために、画像符号化装置に：画像を入力する入力手段と；画素値を予測する予測手段と；画素値と上記予測手段の予測結果との間の誤差を算出する算出手段と；上記予測手段の予測結果を復元する情報を出力する出力手段と；上記誤差に対して非可逆の周波数変換を適用して係数情報を出力する非可逆周波数変換手段と；上記予測結果を復元する情報と上記周波数変換手段の係数情報とを連結して連結結果をエントロピー符号化する符号化手段とを設けている。

この構成においては、非可逆な周波数変換による符号化と予測器を用いた可逆符号化の双方の優れた点を両立させることができる。

この構成において、上記予測手段の予測結果を復元する情報は、上記予測手段を構成する１または複数の予測器の識別子でもよいし、予測器の順序であってもよい。順序は例えば予測ヒットの多い順の順位である。

また、上記非可逆周波数変換前段で、誤差を含んで値を正確に予測不可能な画素の周辺画素に、適切な値の画素値を与え、非可逆の周波数変換により生成した係数情報を削減させる手段をさらに有してもよい。この場合、典型的には、適切な画素値は、値を正確に予測不可能な画素の周辺画素の値を０とし、さらにローパスフィルター処理した結果である。

また、上記符号化手段は、典型的には、上記予測結果を復元する情報をＭＳＢ側に、上記前記非可逆周波数変換手段から出力された係数情報をＬＳＢ側に配置して連結し、上記予測結果を復元する情報は可逆に、上記係数情報は符号打ち切りによる非可逆にもエントロピー符号化するものである。

また、この発明によれば、上述の画像符号化装置から出力された符号を復号する画像復号装置に：上記符号を入力する手段と；入力した符号をエントロピー復号する手段と；エントロピー復号の復号結果のうちの係数情報に非可逆の逆周波数変換を適用して誤差を算出する手段と；エントロピー復号の復号結果のうちの予測結果を復元する情報から予測結果を復元する手段と；上記誤差および上記予測結果から復号画像を生成する手段とを設けている。

この構成においては、非可逆な周波数変換による符号化と予測器を用いた可逆符号化の双方の優れた点を両立させた符号を復号できる。

なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。

この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。

この発明によれば、非可逆な周波数変換による符号化と予測器を用いた可逆符号化の双方の優れた点を両立させた符号化・復号を行える。

以下、この発明の実施例について説明する。

図２は、この発明の実施例１の画像符号化装置の構成を示しており、この図において、画像符号化装置１００は、ソースコーダ１０１、非可逆周波数変換部１０２、ＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）部１０３を含んで構成されている。ソースコーダ１０１は、１または複数の予測器を用いて画素値を予測して、その予測器の識別子（予測尤度の順位でもよい）と予測値と実際の画素値との誤差（予測誤差）を出力する。予測器は典型的には近傍画素値を予測値とするものでよい。予測器の識別子はＥＢＣＯＴ部１０３に供給され、予測誤差は非可逆周波数変換部１０２を経て例えばウェーブレット変換による係数情報に変換されてＥＢＣＯＴ部１０３に供給される。ＥＢＣＯＴ部１０３はビットモデリングおよび算術符号化によりエントロピー符号化を行う。ＥＢＣＯＴ部１０２はＪＰＥＧ２０００のものと同様である。

この実施例では、つぎのような処理を行う。

（１）画素毎にソースコーダ１０１の予測器にて予測器識別子と予測誤差に層別する。
（２）予測誤差値は非可逆周波数変換によって周波数係数インデックスに変換される。
（３）予測器識別子（例えば３ビット）をＭＳＢ側に、周波数係数インデックス（例えば１１ビット）をＬＳＢ側にマージして、ＪＰＥＧ２０００のエントロピーコーダーＥＢＣＯＴ部１０３によってエントロピー符号化を行う。このときＥＢＣＯＴ部１０３の符号打ち切りは周波数係数インデックスまでとする。

図３は、この発明の実施例１の画像復号装置の構成を示しており、この図において、画像復号装置２００は、ＥＢＣＯＴ部２０１、逆周波数変換部２０２、ソースデコーダ２０３を含んで構成されている。ＥＢＣＯＴ部１０２は符号をエントロピー復号して、予測器の識別子および係数情報を出力する。逆周波数変換部２０２は、係数情報から例えば逆ウェーブレット変換を行って予測誤差を生成する。ソースデコーダ２０３は予測器の識別子および予測誤差から画像を復号する。

図２および図３を参照して実施例１の画像符号化装置１００および画像復号装置２００の動作をさらに説明する。

まず、符号化時（図２）には、ソースコーダ１０１が、入力画像を画素毎に予測器を用いて予測しその結果として識別子と予測誤差とを送出する。周波数変換部１０２は、そのウェーブレット変換部（ＤＷＴ）で、ソースコーダ１０１から送出された予測誤差に対してＤＷＴ処理して送出する。周波数変換部１０２の量子化部はＤＷＴ部から送出された画素値に対して量子化処理を行い送出する。ＥＢＣＯＴ部１０３は、画素値ごとに量子化処理された量子化インデックス値をＬＳＢ側に、識別子情報をＭＳＢ側に配置する態様で両情報をデプス方向にマージし、ＥＢＣＯＴ処理を行い、結果の符号を送出する。このマージ態様を模式的に図４に示す。

復号時（図３）には、ＥＢＣＯＴ部２０１では、符号をエントロピー復号して、ＬＳＢ側の予測誤差の量子化インデックスおよびＭＳＢ側の識別子をそれぞれ送出する。逆周波数変換部２０２の逆量子化部はＥＢＣＯＴ部２０１からの予測誤差の量子化インデックスに対して逆量子化処理をして逆周波数変換部２０２のＩＤＷＴ部へ送出する。ＩＤＷＴ部はＩＤＷＴ処理をした予測誤差の結果をソースデコーダ２０３へ送出する。ソースデコーダ２０３では、ＥＢＣＯＴ部２０１からの識別子情報および逆周波数変換部２０２のＩＤＷＴ部からの予測誤差に基づいて予測復号・予測誤差復号を行って復号画像を生成してその結果を出力する。

つぎにこの発明の実施例２の画像符号化装置３００について説明する。なお、画像復号装置は実施例１と同様である。

図５は、実施例２の画像符号化装置３００の構成を示しており、この図において、画像符号化装置３００は、ソースコーダ１０１、非可逆周波数変換部１０２、ＥＢＣＯＴ部１０３および穴埋め部３０１を含んで構成されている。図５において図２と対応する箇所には対応する符号を付した。

この例でも、ソースコーダ１０１は入力画像の画素値に対して予測器識別子および予測誤差を出力する。穴埋め部３０１は、図６に示すように、予測誤差画素の周辺画素に対して例えばローパスフィルタを用いて穴埋め処理を行い送出する。非可逆周波数変換部１０２のＤＷＴ部は、穴埋め部３０１から送出されたフィルタ処理後の予測誤差に対してＤＷＴ処理を行ない係数情報を送出する。非可逆周波数変換部１０２の量子化部はＤＷＴ部から送出された画素値に対して量子化処理を行い量子化処理後の係数情報を送出する。ＥＢＣＯＴ部１０３は画素値ごとに量子化処理された量子化インデックス値をＬＳＢ側に、識別子情報をＭＳＢ側に配置しる態様で両情報をデプス方向にマージし、ＥＢＣＯＴ処理を行い、結果の符号を送出する。

この実施例では、予測誤差の変化がなだらかになるようにしているので係数情報を削減させることができる。なお、情報量を小さくするものであれば穴埋め部３０１はローパスフィルタでなくてもよく、例えば平均値処理でもよい。

つぎにこの発明をプリンタに適用した実施例３について説明する。

図７は、実施例３のプリンタ４００を全体として示している。なお、図７において、図２、図３、図５と対応する箇所には対応する符号を付した。

図７において、プリンタ４００は、ページ記述言語で記述された文書をラスタ化し、ラスタ化し得た画像を符号化しハードディスク４０２にストアし、この後、復号して画像形成装置４０３に出力するものである。画像形成装置４０３は例えば静電写真方式により画像を形成するものである。

図７において、プリンタ４００は、デコンポーザ４０１、画像符号化装置３００、画像復号装置２００、ハードディスク４０２および画像形成装置４０３を含んで構成される。この例では、周波数変換部１０２を構成するＤＷＴ部１０２ａおよび量子化部１０２ｂを明示的に示している。また、逆周波数変換部２０２を構成する逆量子化部２０２ｂおよびＩＤＷＴ部２０２ａを明示的に示している。なお、この例の機能ブロックはソフトウェアとして構成することができ、例えば、コンピュータプログラム４０４をプリンタ４００をなすコンピュータにインストールしてコンピュータのハードウェア資源およびソフトウェア資源を協働させて構成することができる。

画像符号化装置３００および画像復号装置２００の構成・動作は上述のとおりである。画像符号化装置３００にかえて画像符号化装置１００を採用しても良い。

この例のプリンタ４００では、画像形成装置４０３と同期を取って伸長するまでハードディスク４０２に符号を蓄えておくことができ、画像形成装置４０３と同期して伸長され、送出される。

なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。

この発明の背景技術を説明するブロック図である。 この発明の実施例１の画像符号化装置の構成を示すブロック図である。 この発明の実施例１の画像復号装置の構成を示すブロック図である。 上述実施例の予測器識別子情報と予測誤差の係数情報とをマージする態様を模式的に示す図である。 この発明の実施例２の画像符号化装置の構成を示すブロック図である。 上述実施例２の穴埋め処理を模式的に示す図である。 この発明をプリンタに適用した実施例３の構成を示すブロック図である。

符号の説明

１００ 画像符号化装置
１０１ ソースコーダ
１０２ 非可逆周波数変換部
１０２ａ ＤＷＴ部
１０２ｂ 量子化部
１０３ ＥＢＣＯＴ部
２００ 画像復号装置
２０１ ＥＢＣＯＴ部
２０２ 逆周波数変換部
２０２ｂ 逆量子化部
２０２ａＩＤＷＴ 部
２０３ ソースデコーダ
３００ 画像符号化装置
３０１ 穴埋め部
４００ プリンタ
４０１ デコンポーザ
４０２ ハードディスク
４０３ 画像形成装置
４０４ コンピュータプログラム

Claims (11)

1. 画像を入力する入力手段と、
   画素値を予測する予測手段と、
   画素値と上記予測手段の予測結果との間の誤差を算出する算出手段と、
   上記予測手段の予測結果を復元する情報を出力する出力手段と、
   上記誤差に対して非可逆の周波数変換を適用して係数情報を出力する非可逆周波数変換手段と、
   上記予測結果を復元する情報と上記周波数変換手段の係数情報とを連結して連結結果をエントロピー符号化する符号化手段とを有することを特徴とする画像符号化装置。
2. 上記予測手段の予測結果を復元する情報は、上記予測手段を構成する１または複数の予測器の識別子である請求項１記載の画像符号化装置。
3. 上記予測手段の予測結果を復元する情報は、上記予測手段を構成する１または複数の予測器の順序である請求項１記載の画像符号化装置。
4. 上記非可逆周波数変換前段で、誤差を含んで値を正確に予測不可能な画素の周辺画素に、適切な値の画素値を与え、非可逆の周波数変換により生成した係数情報を削減させる手段をさらに有する請求項１〜３のいずれかに記載の画像符号化装置。
5. 適切な画素値は、値を正確に予測不可能な画素の周辺画素の値を０とし、さらにローパスフィルター処理した結果である請求項４記載の画像符号化装置。
6. 上記符号化手段は、上記予測結果を復元する情報をＭＳＢ側に、上記前記非可逆周波数変換手段から出力された係数情報をＬＳＢ側に配置して連結し、上記予測結果を復元する情報は可逆に、上記係数情報は符号打ち切りによる非可逆にもエントロピー符号化する請求項１〜５のいずれかに記載の画像符号化装置。
7. 請求項１に記載の画像符号化装置から出力された符号を復号する画像復号装置において、
   上記符号を入力する手段と、
   入力した符号をエントロピー復号する手段と、
   エントロピー復号の復号結果のうちの係数情報に非可逆の逆周波数変換を適用して誤差を算出する手段と、
   エントロピー復号の復号結果のうちの予測結果を復元する情報から予測結果を復元する手段と、
   上記誤差および上記予測結果から復号画像を生成する手段とを有することを特徴とする画像復号装置。
8. 画像を入力するステップと、
   画素値を予測するステップと、
   画素値と上記予測手段の予測結果との間の誤差を算出するステップと、
   上記予測手段の予測結果を復元する情報を出力するステップと、
   上記誤差に対して非可逆の周波数変換を適用して係数情報を出力するステップと、
   上記予測結果を復元する情報と上記周波数変換手段の係数情報とを連結して連結結果をエントロピー符号化するステップとを有することを特徴とする画像符号化方法。
9. 請求項８の画像符号化方法により生成された符号を復号する画像復号方法において、
   上記符号を入力するステップと、
   入力した符号をエントロピー復号するステップと、
   エントロピー復号の復号結果のうちの係数情報に非可逆の逆周波数変換を適用して誤差を算出するステップと、
   エントロピー復号の復号結果のうちの予測結果を復元する情報から予測結果を復元するステップと、
   上記誤差および上記予測結果から復号画像を生成するステップとを有することを特徴とする画像復号方法。
10. 画像を入力するステップと、
    画素値を予測するステップと、
    画素値と上記予測手段の予測結果との間の誤差を算出するステップと、
    上記予測手段の予測結果を復元する情報を出力するステップと、
    上記誤差に対して非可逆の周波数変換を適用して係数情報を出力するステップと、
    上記予測結果を復元する情報と上記周波数変換手段の係数情報とを連結して連結結果をエントロピー符号化するステップとをコンピュータに実行させるために用いられることを特徴とする画像符号化用コンピュータプログラム。
11. 請求項８の画像符号化方法により生成された符号を復号するためにコンピュータで用いられる画像復号用コンピュータプログラムにおいて、
    上記符号を入力するステップと、
    入力した符号をエントロピー復号するステップと、
    エントロピー復号の復号結果のうちの係数情報に非可逆の逆周波数変換を適用して誤差を算出するステップと、
    エントロピー復号の復号結果のうちの予測結果を復元する情報から予測結果を復元するステップと、
    上記誤差および上記予測結果から復号画像を生成するステップとをコンピュータに実行させるために用いられることを特徴とする画像復号用コンピュータプログラム。