JP2007028531A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】 文字やグラフィックスの画像を良好に符号化できるとともに、符号量制御が繰り返し処理を行うことなく高速に実行可能な画像符号化装置及び画像符号化方法を提供する。
【解決手段】 予測部１は、入力された画像の各画素について予測処理を行って、予測結果をビットプレーン符号化部２に渡す。ビットプレーン符号化部２は、渡された予測結果をビットプレーンに分解し、上位ビットプレーンから下位ビットプレーンに向けて順にビットプレーン毎に符号化してゆく。このとき、上位ビットプレーンから順次符号化してゆくごとに符号量を積算し、目標符号量と比較してゆく。積算した符号量が目標符号量を上回った場合には、当該ビットプレーン以降の符号化処理を打ち切って、直前までの符号データを出力する。これにより、予測符号化でありながら、１パスで符号量制御を実現することができる。
【選択図】 図１

Description

本発明は、画像を予測符号化により符号化する画像符号化技術に関するものであり、特に、予測符号化において符号量制御が可能な画像符号化技術に関するものである。

静止画の符号化及び復号化を行う技術として、従来よりＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式が広く利用されている。また最近、新たにＪＰＥＧ２０００（以下Ｊ２Ｋと略す）が標準化された。図４は、Ｊ２Ｋにおける符号化処理の概要を示すブロック図である。図中、２１は前処理部、２２はウェーブレット変換部、２３は量子化部、２４はＥＢＣＯＴ部、２５は後処理部である。前処理部２１ではＤＣレベルシフト、カラー変換、タイル分割などの処理を適宜行い、ウェーブレット変換部２２において離散ウェーブレット変換を行う。このウェーブレット変換により生成された係数を量子化部２３で量子化する。この量子化部２３の処理はオプションである。その後、ＥＢＣＯＴ部２４において、ビットモデリング、算術符号化によるエントロピー符号化、レート制御を行う。このＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）がＪ２Ｋの特徴でもある。最後にビットストリーム生成などの処理を後処理部２５で行い、符号化された画像を得る。

このＪ２ＫはＪＰＥＧと異なり、シームレスに可逆符号化と非可逆符号化を実現し、また高画質で高圧縮率を実現している。しかし、上述のようにＪ２Ｋは、原理的に直交変換符号化のひとつであるウェーブレット変換を行うため、文字、グラフィクス画像に多く含まれるエッジを保存した圧縮には不向きであり、可逆圧縮性能が悪いという問題がある。

上述のように文字、グラフィクス画像の圧縮には直交変換符号化は不向きであることから、例えば特許文献１においては、文字が存在するブロックについては可逆符号化を行い、文字などの再現性を向上させている。可逆符号化であれば文字のエッジは保存され、復号時に良好に再現される。しかし、可逆符号化では、符号量の制御を行うことができないという欠点を有している。

文字、グラフィクス画像の圧縮に適した符号化方式として、予測符号化方式がある。予測符号化方式は、注目画素の値を周囲の画素（コンテキスト）から予測し、その予測値と注目画素との差を予測結果とし、その予測結果を符号化する方式である。例えば予測値が常に注目画素と一致すれば予測結果はすべて０になるため、高効率の符号化を行うことができる。一般に予測結果が小さな値を取る場合に符号量は小さくなるため、予測時のパラメータを変更することによって符号量の制御が可能である。

従来の予測符号化方式における符号量の制御方法としては、ある予測パラメータで符号化を行い、得られた符号量が目的の符号量以下か否かを判定し、目的の符号量を超えている場合には予測パラメータを変更して再び符号化する、といったように何回も符号化を繰り返す方法である。しかし、このような符号化処理を繰り返すことは、処理時間がかかることから、改善が望まれている。

上述のＪ２Ｋでは、ＥＢＣＯＴ中のレート制御によって符号量制御を行うことができ、１回の符号化処理によって目標の符号量を満たす符号データを得ることができる。しかし、上述のようにウェーブレット変換などの影響で文字やグラフィック画像における圧縮率が低下してしまうため、レート制御を行ってしまうと文字やグラフィック画像の画質が悪化してしまうという問題があった。

上述のＥＢＣＯＴ以前の技術として、画像をビットプレーンに分解し、それぞれのビットプレーン毎にＪＢＩＧなどの２値符号化方式を用いて圧縮することも考えられている。しかしこの方法では、可逆符号化が可能であるものの、一般的な予測符号化方式に比べて圧縮率が低い。また、下位のビットプレーンの符号化を打ち切ることにより符号量の制御は可能であるが、圧縮率が低いために符号量の制御による画質への影響も大きいという問題があった。

このように、従来の符号化方式では、文字やグラフィック画像について画質の劣化を抑え、高圧縮率で符号化する符号化方式が存在せず、そのような符号化方式の開発が待たれていた。

特開平６−１５２９８２号公報

本発明は、上述した事情に鑑みてなされたもので、文字やグラフィックスの画像を良好に符号化できるとともに、符号量制御が繰り返し処理を行うことなく高速に実行可能な画像符号化装置及び画像符号化方法を提供することを目的とするものである。

本発明は、入力された画像の各画素について予測処理を行い、その予測結果について上位ビットプレーンから下位ビットプレーンに向けて目標符号量に達するまでビットプレーン符号化することを特徴とするものである。なお、予測処理の際に予測誤差とともに符号識別子が出力される場合には、予測処理により出力される符号識別子を上位ビットプレーンとし、予測誤差を下位ビットプレーンとして、上位ビットプレーンから下位ビットプレーンに向けて目標符号量に達するまで符号化するとともに、符号識別子のビットプレーンでは符号化処理を打ち切らないように制御するとよい。ビットプレーン符号化は、例えばＪＰＥＧ２０００のＥＢＣＯＴを用いて行うことができる。また、予測処理はＪＰＥＧ−ＬＳの予測器などを用いることができる。

本発明によれば、文字・グラフィクス画像の符号化に最適な予測符号化方式の予測処理を行い、その予測結果をビットプレーンに分割してビットプレーン符号化を行う。これによって、画像に対して単にビットプレーン符号化を行う場合に比べて格段に符号量を抑えることができ、少ない符号量でありながら、文字・グラフィックス画像のエッジを保存した符号化処理を行うことができる。さらに、ビットプレーン符号化の際に上位ビットプレーンから下位ビットプレーンに向けて目標符号量に達するまで符号化することで、符号量制御を可能にしている。このとき、画像にとって重要な上位ビットプレーンから符号化してゆくことにより、目標符号量を超えることにより符号化を打ち切る場合でも重要度の低い下位のビットプレーンについての符号化を打ち切るため、画質の劣化を抑えることができる。さらに、前段で予測処理を行って符号量が少なくなっているので、同じ目標符号量で符号化を打ち切る場合でも、単にビットプレーン符号化を行う場合に比べて下位のビットプレーンまで符号化することができることから、画質の劣化を抑えることができる。

また、従来の予測符号化処理では符号量制御のためにパラメータの変更による繰り返し処理を行っていたが、本発明では繰り返し処理を行わずに、いわゆる１パスで符号化処理を完了することができる。従って、従来の符号量制御を伴う予測符号化処理に比べて高速に目標符号量の符号データを得ることができる。

このように本発明によれば、文字やグラフィックスの画像についてエッジを保存した符号化処理を行うとともに、高圧縮率と符号量制御機能を両立し、しかも高速に符号化処理を行うことが可能となるという効果がある。

図１は、本発明の実施の一形態を示すブロック図である。図中、１は予測部、２はビットプレーン符号化部である。予測部１は、入力された画像の各画素について予測処理を行う。予測方法は任意である。この予測部１１としては、例えばＪＰＥＧ−ＬＳの予測器やＰＮＧ、ＤＰＣＭなど、既存の予測符号化方式のソースコーダを適用することができる。

ビットプレーン符号化部２は、予測部１から出力される予測結果をビットプレーンに分解し、それぞれのビットプレーンについて符号化する。このとき、上位ビットプレーンから下位ビットプレーンに向けて順にビットプレーン毎に符号化してゆく。図２は、ビットプレーンの説明図である。図２においては予測値（２進表現）を縦方向に示しており、図中、上側が上位ビット（ＭＳＢ）、下側が下位ビット（ＬＳＢ）となる。このような予測値を各ビット毎に分解し、例えばそれぞれの画素に対応する予測値について、最上位のビットを取り出すことにより最上位のビットプレーンを生成する。同様に、それぞれの画素に対応する予測値について、上位から２ビット目を取り出すことにより最上位から２番目のビットプレーンを生成する。このようにしてそれぞれの画素に対応する予測値から、同じ位置のビットを取り出すことによって、複数のビットプレーンを生成する。この図２で説明する例は基本的なものであるが、この例に限らず、ビットプレーンへの分解手法は任意である。

そして、上位のビットプレーンから順に符号化を行ってゆく。図２に示した例では１ビットごとにビットプレーンを生成しているので、符号化は２値の符号化方式を用いることができる。

さらにビットプレーン符号化部２は、外部から目標符号量の指示を受け、上位ビットプレーンから順次符号化してゆくごとに符号量を積算し、目標符号量と比較してゆく。積算した符号量が目標符号量を上回った場合には、当該ビットプレーン以降の符号化処理を打ち切って、直前までの符号データを出力する。これによって、繰り返し処理を行うことなく、１パスで目標符号量の範囲内の符号データを取得することができる。なお、符号化処理を打ち切ったビットプレーンについては、適宜、すべて０（あるいはすべて１）の場合の符号データを付加してもよい。

一般に予測結果として予測誤差が出力されるが、予測誤差の大小は画像中の変化の大小を示す場合が多く、予測誤差の上位ビットの方が下位ビットに比べて画質に与える影響が大きい。そのため、重要な上位ビットプレーンから符号化することによって、符号化処理を打ち切った場合の影響を少なくしている。また、画像をそのままビットプレーン符号化する場合に比べて、予測結果をビットプレーン符号化した方が圧縮率が高く、各ビットプレーンにおける符号量を少なくすることができる。そのため、同じ目標符号量であれば、画像をそのままビットプレーン符号化するよりも予測結果をビットプレーン符号化した方が、より下位のビットプレーンまで符号化することができ、復号したときの画質の劣化を抑えることができる。もちろん、すべてのビットプレーンを符号化しても目標符号量の範囲内であれば打ち切りは発生せず、可逆の符号化を行うことができる。

また、予測部１から予測誤差とともに符号識別子が出力される場合には、その符号識別子を予測誤差よりも上位のビットとして、符号識別子のビットプレーンから順に符号化してゆくとよい。符号識別子の情報が欠落すると復号できなくなる可能性があるため、符号識別子は可逆符号化しておく必要がある。そのため、符号識別子の符号化が目標符号量によって打ち切られないように、上位のビットプレーンとして符号化する。また、符号識別子のビットプレーンについての符号化が途中で打ち切られないように制御する必要がある。

図３は、本発明の実施の一形態における具体例の説明図である。１１はＪＰＥＧ−ＬＳ予測器、１２はＥＢＣＯＴ部である。図３に示す例では、図１に示した予測部１として、ＪＰＥＧ−ＬＳ予測器１１を用いている。ＪＰＥＧが非可逆符号化方式であり、画質の劣化が発生することから、画質の劣化が生じない可逆符号化方式として規格化されたのがＪＰＥＧ−ＬＳである。このＪＰＥＧ−ＬＳでは、前段で予測処理を行っており、この予測処理を行う予測器を本発明の予測部１として用いている。ＪＰＥＧ−ＬＳ予測器１１は予測効率がよく、後段の符号化処理において高圧縮率での符号化が期待できる。

またビットプレーン符号化部２として、この例ではＪ２ＫのＥＢＣＯＴ部１２を用いている。このＥＢＣＯＴ部１２は、図４において説明したＥＢＣＯＴ部２４であり、上述のように、ビットモデリングによるビットプレーンへの分解、ビットプレーン毎の算術符号化によるエントロピー符号化、目標符号量での符号化打ち切りを制御するレート制御の各処理を行う。ビットモデリングの処理は、ブロック毎に図２に示したようなビットプレーンへの分解を行った後、それぞれのビットプレーンを３つの符号化パス（サブビットプレーン）に分解及び整列を行う。これらの３つの符号化パスは、それぞれ、算術符号化される。この処理は上位のビットプレーンから行われる。そしてレート制御により、与えられた目標符号量を超える符号データについては切り捨てられる。切り捨てが発生した場合でも、切り捨てられるのは下位のビットプレーンであることから、画質への影響をなるべく抑えることができる。

Ｊ２Ｋでは、ＥＢＣＯＴ部１２は図４にも示したようにウェーブレット変換された係数に対して符号化の処理を行うが、本発明のように予測結果に対して符号化の処理を行っても高効率で符号化することができる。逆に、ウェーブレット変換の代わりに予測処理を行うことによって、文字やグラフィックスの画像に存在するエッジをなるべく保存した上で、高圧縮率を実現することができる。

このようにＪＰＥＧ−ＬＳ予測器１１とＪ２ＫのＥＢＣＯＴ部１２を組み合わせて用いることによって、文字やグラフィックスの画像に存在するエッジをなるべく保存した上で、高圧縮率を実現することができる。さらに、設定した目標符号量での符号量制御を行うことができ、その場合の画質への影響を極力抑えることができる。さらに、ＪＰＥＧ−ＬＳ予測器１１による高効率の予測処理とＥＢＣＯＴ部１２のビットモデリング及び符号化処理によって高圧縮率を実現できるため、従来のビットプレーン符号化では多くのビットプレーンで符号化を打ち切っていた場合でも、打ち切るビットプレーンを少なく、あるいはなくすこともでき、よって復号したときの画質を従来よりも向上させることができる。さらにまた、ＥＢＣＯＴ部１２は１パスで符号量制御を行うことができる方式であるため、従来は繰り返し処理で符号量制御を行っていた予測符号化について、予測符号化処理全体として１パスで符号量制御を行うことができる。

なお、本発明は図３に示した具体例に限られるものではなく、予測部１として任意の予測処理を行う手段を適用し、またビットプレーン符号化部２として任意のビットプレーン毎に符号化を行う手段を適用することができる。例えば、ＥＢＣＯＴ部１２のビットモデリングを図２に示したような単純なビットプレーンへの分解としてもよいし、算術符号化の代わりにＪＢＩＧを用いてもよい。また、上述のように、予測部１が予測誤差とともに符号識別子が出力されるような予測符号化ソースコーダを用いる場合には、符号識別子を予測誤差の上位ビット側に配置してビットプレーンに分割し、上位のビットプレーンからビットプレーン符号化すればよい。この場合、符号識別子のビットプレーンについては符号化が打ち切られないように制御すればよい。

本発明により符号化した符号データを復号する際には、符号化の処理を逆に行えばよい。すなわち、図１に示した構成で符号化した符号データを復号する際には、ビットプレーン復号手段により復号し、ビット毎に結合して予測値を復元し、その後、その予測値から逆予測手段により元の画像（平文）を復元すればよい。例えば図３に示した具体例により符号化した符号データであれば、符号データを逆ＥＢＣＯＴ手段により予測値を復元し、ＪＰＥＧ−ＬＳ逆予測手段により逆予測処理を行って、元の画像を得ることができる。

本発明の実施の一形態を示すブロック図である。 ビットプレーンの説明図である。 本発明の実施の一形態における具体例の説明図である。 Ｊ２Ｋにおける符号化処理の概要を示すブロック図である。

符号の説明

１…予測部、２…ビットプレーン符号化部、１１…ＪＰＥＧ−ＬＳ予測器、１２…ＥＢＣＯＴ部、２１…前処理部、２２…ウェーブレット変換部、２３…量子化部、２４…ＥＢＣＯＴ部、２５…後処理部。

Claims (8)

1. 入力された画像の各画素について予測処理を行う予測手段と、該予測手段の出力を上位ビットプレーンから下位ビットプレーンに向けて目標符号量に達するまで符号化するビットプレーン符号化手段を有することを特徴とする画像符号化装置。
2. 前記ビットプレーン符号化手段として、ＪＰＥＧ２０００のＥＢＣＯＴを用いることを特徴とする請求項１に記載の画像符号化装置。
3. 前記予測手段は、予測誤差とともに符号識別子を出力するものであり、前記ビットプレーン符号化手段は、前記予測手段から出力される符号識別子を上位ビットプレーンとし、前記予測誤差を下位ビットプレーンとするとともに、前記符号識別子のビットプレーンでは符号化処理を打ち切らないように制御することを特徴とする請求項１または請求項２に記載の画像符号化装置。
4. 前記予測手段として、ＪＰＥＧ−ＬＳの予測器を用いることを特徴とする請求項１または請求項２に記載の画像符号化装置。
5. 入力された画像の各画素について予測手段で予測処理を行い、該予測処理の出力を上位ビットプレーンから下位ビットプレーンに向けて目標符号量に達するまでビットプレーン符号化手段により符号化することを特徴とする画像符号化方法。
6. 前記ビットプレーン符号化手段として、ＪＰＥＧ２０００のＥＢＣＯＴを用いることを特徴とする請求項５に記載の画像符号化方法。
7. 前記予測処理によって予測誤差とともに符号識別子が出力され、前記予測処理により出力される符号識別子を上位ビットプレーンとし、前記予測誤差を下位ビットプレーンとして上位ビットプレーンから下位ビットプレーンに向けて目標符号量に達するまで符号化するとともに、前記符号識別子のビットプレーンでは符号化処理を打ち切らないように制御することを特徴とする請求項５または請求項６に記載の画像符号化方法。
8. 前記予測手段として、ＪＰＥＧ−ＬＳの予測器を用いることを特徴とする請求項５または請求項６に記載の画像符号化方法。

Images