JP3970078B2

JP3970078B2 - Image processing method and image processing apparatus

Info

Publication number: JP3970078B2
Application number: JP2002108157A
Authority: JP
Inventors: 幸男門脇
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-04-10
Filing date: 2002-04-10
Publication date: 2007-09-05
Anticipated expiration: 2022-04-10
Also published as: JP2003304405A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
画像圧縮方式としては、国際標準であるＪＰＥＧやＪＰＥＧ２０００が知られている。
【０００３】
図１は、ＪＰＥＧ２０００により画像情報を圧縮する一般的な画像処理装置を表す。画像データ１１が画像処理装置１２に入力されると、変換部１３によって離散ウェーブレット変換され、量子化部１４によって量子化され、符号化部１５によってエントロピー符号化され、符号データ１６が出力される。すなわち、画像データ１１から符号データ１６へと画像情報が圧縮される。
【０００４】
なお、「画像情報」とは、画像データ１１のほか、変換された画像データ・量子化された画像データ・エントロピー符号化された画像データ（符号データ１６）など、画像データ１１及び画像データ１１から派生するデータの総称を意味するものとする。
【０００５】
図２は、ＪＰＥＧ２０００により画像情報を伸張する一般的な画像処理装置を表す。符号データ２１が画像処理装置２２に入力されると、復号化部２３によってエントロピー復号化され、逆量子化部２４によって逆量子化され、逆変換部２５によって逆離散ウェーブレット変換され、画像データ２６が出力される。すなわち、符号データ２１から画像データ２６へと画像情報が伸張される。
【０００６】
画像圧縮を行う画像処理装置と画像伸張を行う画像処理装置は、一体化されることも多い。
【０００７】
図３により変換部１３について説明する。ＪＰＥＧ２０００では、一般的に、図３Ａのように画像データ１１をタイル３１に分割して、図３Ｂのようにタイルごとに離散ウェーブレット変換（ＤＷＴ）がなされる。図は、画像データ１１を１２８×１２８の大きさのタイル３１に分割した例を示している。１２８×１２８の大きさのタイル３１を、変換部１３によりレベル２で離散ウェーブレット変換すると、図のように、６４×６４の大きさの３つのサブバンド１ＬＬ・１ＬＨ・１ＨＬと３２×３２の大きさの４つのサブバンド２ＬＬ・２ＬＨ・２ＨＬ・２ＨＨからなるウェーブレット係数データ３２が得られる。
【０００８】
図４により量子化部１４について説明する。図は、量子化に用いる式の例を示したものである。ａとｂはそれぞれ量子化前と量子化後のウェーブレット係数、｜ａ｜はａの絶対値、ｓｉｇｎ（ａ）はａの符号、［］はフロア関数、Δは量子化ステップを表す。この式により、ウェーブレット係数は値ａからｂへと量子化される。
【０００９】
図５により符号化部１５について説明する。ＪＰＥＧ２０００では、一般的に、図５Ａのように量子化されたウェーブレット係数データ５１のサブバンド５２を必要に応じてコードブロック５３に分割して（コードブロックより大きいサブバンドについて、コードブロックへの分割が必要となる。以下、コードブロックというときは、コードブロックに分割しないサブバンドも含むものとする）、さらに、図５Ｂのようにコードブロック５３をビットプレーン５４に分割して、図５Ｃのようにビットプレーンごとに算術符号化などのエントロピー符号化がなされる。図は、サブバンド５２を４×４の大きさのコードブロック５３に分割して（この場合はコードブロックを４×４の大きさにしているが、この大きさに限定されるものではない）、４×４の大きさのコードブロック５３を４つのビットプレーン５４に分割した例を示している。符号化部１５により、量子化されたウェーブレット係数データ５１はビットプレーン５４ごとにエントロピー符号化され、最終的に符号データ１６が出力される。
【００１０】
なお、ここまでは画像データ１１が単色からなる場合について説明したが、画像データ１１が複数色からなる場合については、図６のように、各色の画像データ（コンポーネント）を画像処理装置１２に入力すればよい。図６Ａは、ＲＧＢ方式で表現された画像データをそのまま入力するが、図６Ｂのように、ＹＣｂＣｒ方式などの他の方式に変換して入力する場合もある。ＪＰＥＧ２０００においては、一般に、図６Ｂの方式がとられている。これは、人間の視覚は輝度成分（Ｙ）に対しては敏感であるが、色差成分（Ｃｂ・Ｃｒ）に対してはそれほど敏感ではないので、ＹよりもＣｂとＣｒとをより圧縮することで圧縮率を高めるためである。
【００１１】
【発明が解決しようとする課題】
上述したように、ＪＰＥＧ２０００では、量子化されたウェーブレット係数データをビットプレーンに分割して符号化するので、ビットプレーンの切り捨てによる画像情報の圧縮が可能である。例えば、ビットプレーンを下位側から切り捨てていく（トランケーション）ことによる画像情報の圧縮が行われている。
【００１２】
よって、ある圧縮率が目標値として存在する場合、目標値になるまでデータを切り捨てていくことになるが、当然データを切り捨てていくと画質が劣化していくことになる。そのため、データを切り捨てる場合にどれだけデータを切り捨てるとどれだけ画質が劣化するかを検出する必要がある。
【００１３】
この検出方法として、ＪＰＥＧ２０００のＥｘａｍｐｌｅａｎｄＧｕｉｄｅｌｉｎｅ（ＥＧ）で示されている方法では、まず、各コードブロックにおいてビットプレーンを下位側から１つトランケーションした場合の歪量を求め、次に、ビットプレーンを下位側から２つトランケーションした場合の歪量を求め、同様にして、すべてのビットプレーンをトランケーションしたときの歪量を求める。ＪＰＥＧ２０００のＥＧで示されている方法では、歪量を求める場合、トランケーションした状態でデコードを行って原画像データとの誤差を調べる。誤差を調べる方法としては、ＭＳＥ（ＭｅａｎＳｑｕａｒｅｄＥｒｒｏｒ）を使用している。
【００１４】
このように、ＪＰＥＧ２０００のＥＧで示されている方法では、各ビットプレーンまでトランケーションした場合の歪量をそれぞれ求めるために、各ビットブレーンまでトランケーションした状態でそれぞれデコードを行ってＭＳＥで誤差を調べる。よって、歪量を求めるための処理時間が非常に長くなる、又は、歪量を求めるための処理時間を短くするためにハード量が非常に大きくなるという問題がある。
【００１５】
したがって、本発明は、ＪＰＥＧ２０００のように、画像情報のビットプレーンのトランケーションにより画像情報を圧縮する画像処理方式において、ビットプレーンをトランケーションしたときの画像の歪量を簡単かつ高速に評価することを課題とする。
【００１６】
【課題を解決するための手段】
本発明の画像処理方法は、画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理方法において、各レイヤーにおける最上位有効ビットの個数を抽出する抽出ステップと、前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定ステップと、を有する。
【００１７】
本発明の画像処理方法は、画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理方法において、各レイヤーにおける最上位有効ビットの個数と、各レイヤーにおける最上位有効ビットの次の下位のレベルのビットが有効ビットである最上位有効ビットの個数と、を抽出する抽出ステップと、前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定ステップと、を有する。
【００１８】
本発明の画像処理方法において、さらに、前記決定ステップは、前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、レイヤーをトランケーションしたときの画像の歪量を推定する推定ステップを有し、前記推定ステップにより推定された前記歪量に基づいて、トランケーションするレイヤーを決定する。
【００１９】
本発明の画像処理方法において、さらに、前記画像情報は、複数のコンポーネントからなり、前記推定ステップは、前記コンポーネントごとに重み付けを行って、画像の歪量を推定する。
【００２０】
本発明の画像処理方法において、さらに、前記画像情報は、複数のサブバンドからなり、前記推定ステップは、前記サブバンドごとに重み付けを行って、画像の歪量を推定する。
【００２１】
本発明の画像処理方法において、さらに、前記画像情報は、複数のサブバンドからなり、前記抽出ステップは、サブバンド又はコードブロックごとに前記最上位有効ビットの個数を抽出する。
【００２２】
本発明の画像処理方法において、さらに、前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００である。
【００２３】
本発明の画像処理装置は、画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理装置において、各レイヤーにおける最上位有効ビットの個数を抽出する抽出手段と、前記抽出手段により抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定手段と、を有する。
【００２４】
本発明の画像処理装置は、さらに、画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理装置において、各レイヤーにおける最上位有効ビットの個数と、各レイヤーにおける最上位有効ビットの次の下位のレベルのビットが有効ビットである最上位有効ビットの個数と、を抽出する抽出手段と、前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定手段と、を有する。
【００２５】
本発明の画像処理方法によれば、画像の歪量を考慮したトランケーションを簡単かつ高速に実施することができる。
【００２６】
本発明の画像処理装置によれば、画像の歪量をより正確に考慮したトランケーションを簡単かつ高速に実施することができる。
【００２７】
本発明の画像処理方法によれば、画像の歪量を簡単かつ高速に推定し、かつ、画像の歪量を考慮したトランケーションを簡単かつ高速に実施することができる。
【００２８】
本発明の画像処理方法によれば、より視覚的に誤差が少ない歪量の評価が可能になる。
【００２９】
本発明の画像処理方法によれば、サブバンド単位でトランケーションを行う場合、コードブロックごとに最上位有効ビットの個数を抽出するよりも、計算量が少なくてすむ。
【００３０】
なお、「画像情報」とは、画像データ及び画像データから派生するデータ（量子化されたウェーブレット係数データ等）の総称である。
【００３１】
【発明の実施の形態】
本発明の実施の形態について説明する。
【００３２】
（本発明の実施の形態の例）
図７は、本発明の実施の形態の例を表す。本実施例の画像圧縮方式はＪＰＥＧ２０００であり、図１の画像処理装置１２と同様に、画像データ１１が画像圧縮装置１２に入力されると、変換部１３によって離散ウェーブレット変換され、量子化部１４によって量子化され、符号化部１５によってエントロピー符号化され、符号データ１６が出力される。
【００３３】
図８Ａは、本実施例によって得られるウェーブレット係数データ５１のコードブロック５３をビットプレーン５４に分割したものを表す。ＪＰＥＧ２０００では、このビットプレーンをそれぞれ３つのパス（コーディングパス）でエントロピー符号化する。コーディングパスを任意の切り口でグループ化したとき、そのグループをレイヤーと呼ぶ。ここでは、図８Ｂのように、説明を簡単にするために、ビットプレーン５４の切り口とレイヤー８１の切り口を合わせる。つまり、ビットプレーンとレイヤーは等しいと考える。
【００３４】
レイヤー（ビットプレーン）のトランケーションについて考える。
【００３５】
図９は、図８のレイヤー分割されたコードブロックを、図８のＡ面で切断したときの断面図である。本来は２次元で考察しなければならないが簡単のため１次元で考察する。白色は無効成分（無効ビット）、黒色は有効成分（有効ビット）を表す。図９のデータをレイヤー３までトランケーションした状態を図１０に示す。この状態ではほとんどのデータの有効成分は削除されないで残っている。図９のデータをレイヤー７までトランケーションした状態を図１１に示す。この状態だと半分以上のデータが完全になくなってしまっている。図９のデータをレイヤー６までトランケーションした場合を図１２に示す。この状態であればほとんどのデータの最上位有効ビット（ＭＳＢ）は残っていることがわかる。また図９のデータをレイヤー８までトランケーションした場合を図１３に示す。この場合、ほとんどのデータが消失していることがわかる。
【００３６】
図１４は、図９のデータに関して、ＭＳＢの分布とＭＳＢの各レイヤーにおける個数（Ｎａ）を示す。同時に、図９のデータに関して、ＭＳＢの次の下位のレベルのビットが有効ビットであるＭＳＢの各レイヤーにおける個数（Ｎｂ）を示している。図１４でわかるのはレイヤー７のところにＭＳＢ成分が多く分布していることである。このように、ウェーブレット係数のＭＳＢ成分が多く分布しているレイヤーをトランケーションしてしまうと、そのレイヤーに関するコードブロックのデータの分布状況が大きく変わってしまうことになる。すなわち、レイヤーのトランケーションを行ったときのＭＳＢの個数の変化と歪量の変化との間には相関があると考えられる。この特徴を利用して、レイヤーのトランケーションを行ったときのＭＳＢの個数の変化から画像の歪量の変化を簡単かつ高速に評価することができる。例えば、ＭＳＢの個数に基づいてトランケーションするレイヤーのレベルを決定することで、画像の歪量を考慮したトランケーションを簡単かつ高速に実施することができる。さらに、ＭＳＢの個数に基づいて歪量を推定し、これに基づいてトランケーションするレイヤーのレベルを決定することで、画像の歪量を簡単かつ高速に推定し、かつ、画像の歪量を考慮したトランケーションを簡単かつ高速に実施することができる。なお、ＭＳＢはウェーブレット係数データ５１から１回で簡単に抽出できる。
【００３７】
本実施例では、図７のように、ウェーブレット係数データ５１は符号化部１３から抽出部７１へと入力され、抽出部７１により、各レイヤー内におけるＭＳＢの個数（Ｎａ）が抽出される。
【００３８】
本実施例ではさらに、図７のように、Ｎａの抽出値は抽出部７１から決定部７２へと入力され、決定部７２により、トランケーションするレイヤーのレベルが、Ｎａの抽出値に基づいて決定される。例えば、レイヤーごとに所定の閾値を設けて、レイヤー１に関するＮａの抽出値と閾値とを比較し、次にレイヤー２に関するＮａの抽出値と閾値とを比較し、次にレイヤー３に関するＮａの抽出値と閾値とを比較し、というように、各レイヤーに関するＮａの抽出値と閾値とを順次比較し、レイヤーｎにおいて初めてＮａの抽出値が閾値以上になったとき、レイヤー１からレイヤーｎ−１までをトランケーションする（ｎ＝１のときはトランケーションしない）ことに決定するという方法が考えられる。この閾値は、全レイヤーで同じ値にしてもよいし、各レイヤーで異なる値にしてもよい。
【００３９】
本実施例ではまた、図７のように、決定部７２においてＮａの抽出値を推定部７３へと入力させ、推定部７３においてＮａの抽出値に基づいて歪量を推定し、決定部７２により、トランケーションするレイヤーのレベルを、歪量の推定値に基づいて決定することもできる。例えば、レイヤー１からレイヤーｎまでをトランケーションする場合、各レイヤーのＮａと各レイヤーのレベルとの積の総和を、歪量（の比）と推定する。このように、Ｎａの抽出値に基づいて歪量を推定することで、歪量を求めるための演算量を削減することが可能になり、処理時間の短縮やハード量の削減が可能になる。
【００４０】
本実施例は、（量子化された）ウェーブレット係数データのビットプレーンを扱ったが、他の画像情報のビットプレーンについても適宜適用できる。本実施例は、ＪＰＥＧ２０００を画像圧縮方式としたが、ＪＰＥＧ２０００のように、画像情報のビットプレーンのトランケーションによる画像情報の圧縮が可能な画像圧縮方式であれば適宜適用できる。
【００４１】
（本発明の実施の形態のその他の例）
ＭＳＢはそのビットのデータの１／２の情報量を持っている。ここで、ＭＳＢの次のビットが１（有効ビット）の場合は、ある画像情報の全ビットに占めるＭＳＢのウェイトは約１／２乃至３／４なのに対して、ＭＳＢの次のビットが０（無効ビット）の場合は、ある画像情報の全ビットに占めるＭＳＢのウェイトは約３／４乃至１となる。この特性を利用するために、ＭＳＢの各レイヤーにおける個数（Ｎａ）のほか、ＭＳＢの次の下位のレベルのビットが１（有効ビット）であるＭＳＢの各レイヤーにおける個数（Ｎｂ）も抽出し、両者に基づいて画像の歪量を評価すると、より正確に画像の歪量の評価をすることができる。例えば、下位レベルのビットが０であるＭＳＢ１個は、下位レベルのビットが１であるＭＳＢ１．５個分として、画像の歪量を評価する方法が考えられる。
【００４２】
また、推定部７３による歪量の推定に関して、すべてのコードブロックを同一に扱うのではなく、各コードブロックにおけるＭＳＢの個数に対して、それぞれのコンポーネント又はサブバンドごとに重み付けを行い、重み付けを行ったＭＳＢの個数に基づいて画像の歪量を推定することで、より視覚的に誤差が少ない歪量の評価が可能になる。
【００４３】
トランケーションを行う場合、ひとつのサブバンド内の各コードブロックに対して異なる量のトランケーションを行うと、コードブロック間に歪が生じ、これが歪誤差となって見えてくる場合がある。このため、一般に、トランケーションをコードブロック単位ではなくサブバンド単位で行うこともなされている。よって、サブバンド単位でトランケーションを行う場合、コードブロックごとにＭＳＢの個数等を抽出するよりも、サブバンドごとにＭＳＢの個数等を抽出する方が、計算量が少なくてすむ。
【００４４】
【発明の効果】
このように、本発明により、ＪＰＥＧ２０００のように、画像情報のビットプレーンのトランケーションにより画像情報を圧縮する画像処理方式において、ビットプレーンをトランケーションしたときの画像の歪量を簡単かつ高速に評価することができる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００により画像情報を圧縮する一般的な画像処理装置を表す。
【図２】ＪＰＥＧ２０００により画像情報を伸張する一般的な画像処理装置を表す。
【図３】変換部について説明する図である。
【図４】量子化部について説明する図である。
【図５】符号化部について説明する図である。
【図６】画像データが複数色からなる場合について説明する図である。
【図７】本発明の実施の形態の例を表す。
【図８】ビットプレーンとレイヤーを表す。
【図９】レイヤー内のデータの配置例の図である。
【図１０】下位３レイヤーをトランケーションした場合の図である。
【図１１】下位７レイヤーをトランケーションした場合の図である。
【図１２】下位６レイヤーをトランケーションした場合の図である。
【図１３】下位８レイヤーをトランケーションした場合の図である。
【図１４】各レイヤーのＮａとＮｂとを抽出した図である。
【図１５】画像の空間内の分布が緩やかに変化している場合の図である。
【図１６】画像の空間内の分布が２極分化している場合の図である。
【符号の説明】
１１画像データ
１２画像処理装置
１３変換部
１４量子化部
１５符号化部
１６符号データ
２１符号データ
２２画像処理装置
２３復号化部
２４逆量子化部
２５逆変換部
２６画像データ
３１タイル
３２ウェーブレット係数データ
５１量子化されたウェーブレット係数データ
５２サブバンド
５３コードブロック
５４ビットプレーン
７１抽出部
７２決定部
７３推定部
８１レイヤー[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and an image processing apparatus.
[0002]
[Prior art]
As image compression methods, international standards such as JPEG and JPEG2000 are known.
[0003]
FIG. 1 shows a general image processing apparatus that compresses image information by JPEG2000. When the image data 11 is input to the image processing device 12, discrete wavelet transform is performed by the conversion unit 13, quantization is performed by the quantization unit 14, entropy encoding is performed by the encoding unit 15, and code data 16 is output. That is, the image information is compressed from the image data 11 to the code data 16.
[0004]
Note that “image information” refers to image data 11 and image data 11 such as converted image data, quantized image data, and entropy-encoded image data (code data 16). It shall mean the generic name of derived data.
[0005]
FIG. 2 shows a general image processing apparatus that decompresses image information by JPEG2000. When the code data 21 is input to the image processing device 22, it is entropy decoded by the decoding unit 23, dequantized by the inverse quantization unit 24, and inverse discrete wavelet transformed by the inverse transformation unit 25. Is output. That is, the image information is expanded from the code data 21 to the image data 26.
[0006]
An image processing apparatus that performs image compression and an image processing apparatus that performs image expansion are often integrated.
[0007]
The conversion unit 13 will be described with reference to FIG. In JPEG2000, generally, image data 11 is divided into tiles 31 as shown in FIG. 3A, and discrete wavelet transform (DWT) is performed for each tile as shown in FIG. 3B. The figure shows an example in which the image data 11 is divided into 128 × 128 tiles 31. If the tile 31 having a size of 128 × 128 is subjected to discrete wavelet transform at level 2 by the conversion unit 13, three subbands 1LL, 1LH, 1HL having a size of 64 × 64 and a size of 32 × 32 as shown in the figure. Wavelet coefficient data 32 including the four subbands 2LL, 2LH, 2HL, and 2HH is obtained.
[0008]
The quantization unit 14 will be described with reference to FIG. The figure shows examples of equations used for quantization. a and b are wavelet coefficients before and after quantization, | a | is an absolute value of a, sign (a) is a sign of a, [] is a floor function, and Δ is a quantization step. With this equation, wavelet coefficients are quantized from values a to b.
[0009]
The encoding unit 15 will be described with reference to FIG. In JPEG2000, generally, the subband 52 of the quantized wavelet coefficient data 51 as shown in FIG. 5A is divided into code blocks 53 as necessary (for subbands larger than the code blocks, division into code blocks). Hereinafter, the term “code block” includes subbands that are not divided into code blocks.) Further, the code block 53 is divided into bit planes 54 as shown in FIG. Entropy coding such as arithmetic coding is performed for each plane. In the figure, the subband 52 is divided into 4 × 4 code blocks 53 (in this case, the code blocks are 4 × 4 in size, but the size is not limited to this). An example in which a 4 × 4 size code block 53 is divided into four bit planes 54 is shown. The quantized wavelet coefficient data 51 is entropy-coded for each bit plane 54 by the encoding unit 15 and finally the code data 16 is output.
[0010]
Although the case where the image data 11 is composed of a single color has been described so far, when the image data 11 is composed of a plurality of colors, the image data (component) of each color is input to the image processing device 12 as shown in FIG. do it. In FIG. 6A, image data expressed in the RGB method is input as it is, but as shown in FIG. 6B, it may be input after being converted into another method such as the YCbCr method. In JPEG2000, the method of FIG. 6B is generally used. This is because human vision is sensitive to the luminance component (Y) but not so sensitive to the color difference component (Cb · Cr), so Cb and Cr are compressed more than Y. This is to increase the compression ratio.
[0011]
[Problems to be solved by the invention]
As described above, in JPEG 2000, quantized wavelet coefficient data is divided into bit planes and encoded, so that image information can be compressed by truncating the bit planes. For example, compression of image information is performed by truncating a bit plane from the lower side (truncation).
[0012]
Therefore, when a certain compression ratio exists as a target value, data is truncated until the target value is reached. However, when the data is truncated, the image quality deteriorates. Therefore, when truncating data, it is necessary to detect how much data is discarded and how much the image quality deteriorates.
[0013]
As a detection method, in the method shown in the JPEG2000 Example and Guideline (EG), first, the amount of distortion when one bit plane is truncated from the lower side in each code block is obtained, and then the bit plane is calculated. The amount of distortion when truncating two from the lower side is obtained, and similarly, the amount of distortion when truncating all the bit planes is obtained. In the method shown by EG of JPEG2000, when obtaining the distortion amount, decoding is performed in a truncated state to check an error from the original image data. As a method for examining the error, MSE (Mean Squared Error) is used.
[0014]
As described above, in the method indicated by the EG of JPEG2000, in order to obtain the amount of distortion when truncating up to each bit plane, decoding is performed in a state where the truncation is performed up to each bit brain, and the error is examined by MSE. Therefore, there is a problem that the processing time for obtaining the distortion amount becomes very long, or the hardware amount becomes very large in order to shorten the processing time for obtaining the distortion amount.
[0015]
Therefore, an object of the present invention is to easily and quickly evaluate the distortion amount of an image when truncating a bit plane in an image processing method for compressing image information by truncation of a bit plane of image information, such as JPEG2000. And
[0016]
[Means for Solving the Problems]
The image processing method of the present invention is an image processing method for compressing image information by truncation of a layer of image information, an extraction step for extracting the number of the most significant bits in each layer, and the highest step extracted by the extraction step. And determining a layer to be truncated based on the number of upper significant bits.
[0017]
The image processing method of the present invention is an image processing method for compressing image information by truncation of the layer of the image information, and the number of most significant bits in each layer, the most significant bits in each layer of the next lower level An extraction step of extracting the number of the most significant bits whose bits are valid bits, and a determination step of determining a layer to be truncated based on the number of the most significant bits extracted by the extraction step. Have.
[0018]
In the image processing method of the present invention, the determining step further includes an estimating step for estimating a distortion amount of the image when the layer is truncated based on the number of the most significant bits extracted by the extracting step. Then, a layer to be truncated is determined based on the distortion amount estimated in the estimation step.
[0019]
In the image processing method of the present invention, the image information includes a plurality of components, and the estimation step performs weighting for each component to estimate the distortion amount of the image.
[0020]
In the image processing method of the present invention, the image information further includes a plurality of subbands, and the estimation step performs weighting for each subband to estimate an image distortion amount.
[0021]
In the image processing method of the present invention, the image information further includes a plurality of subbands, and the extraction step extracts the number of the most significant bits for each subband or code block.
[0022]
In the image processing method of the present invention, the image compression method of the image processing method is JPEG2000.
[0023]
The image processing apparatus of the present invention is an image processing apparatus that compresses image information by truncation of an image information layer , an extraction means for extracting the number of most significant bits in each layer, and the most extracted by the extraction means. Determining means for determining a layer to be truncated based on the number of upper significant bits.
[0024]
The image processing apparatus of the present invention, further, an image processing apparatus for compressing image information by truncation of the layer of the image information, and the number of most significant bits in each layer, the next lower most significant bit in each layer Extraction means for extracting the number of most significant bits whose level bits are valid bits, and determination means for determining a layer to be truncated based on the number of most significant bits extracted by the extraction step; Have.
[0025]
According to the image processing method of the present invention, truncation considering the distortion amount of an image can be performed easily and at high speed.
[0026]
According to the image processing apparatus of the present invention, truncation considering the distortion amount of an image more accurately can be performed easily and at high speed.
[0027]
According to the image processing method of the present invention, an image distortion amount can be estimated easily and at high speed, and truncation considering the image distortion amount can be performed easily and at high speed.
[0028]
According to the image processing method of the present invention, it is possible to evaluate a distortion amount with less visual error.
[0029]
According to the image processing method of the present invention, when truncation is performed in units of subbands, the calculation amount is smaller than extracting the number of most significant bits for each code block.
[0030]
“Image information” is a general term for image data and data derived from the image data (quantized wavelet coefficient data and the like).
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described.
[0032]
(Example of embodiment of the present invention)
FIG. 7 shows an example of an embodiment of the present invention. The image compression method of this embodiment is JPEG2000, and when the image data 11 is input to the image compression device 12 as in the image processing device 12 of FIG. 1, the conversion unit 13 performs discrete wavelet transform, and the quantization unit 14 , And is entropy-encoded by the encoding unit 15 to output code data 16.
[0033]
FIG. 8A shows the code block 53 of the wavelet coefficient data 51 obtained by this embodiment divided into bit planes 54. In JPEG 2000, each bit plane is entropy-encoded by three passes (coding passes). When coding passes are grouped at an arbitrary point, the group is called a layer. Here, as shown in FIG. 8B, in order to simplify the description, the cut surface of the bit plane 54 and the cut surface of the layer 81 are aligned. In other words, the bit plane and the layer are considered equal.
[0034]
Consider truncation of layers (bitplanes).
[0035]
FIG. 9 is a cross-sectional view of the layered code block of FIG. 8 taken along plane A of FIG. Originally, it must be considered in two dimensions, but for simplicity, it is considered in one dimension. White represents an invalid component (invalid bit), and black represents an effective component (valid bit). FIG. 10 shows a state where the data of FIG. In this state, most of the effective components of the data remain without being deleted. FIG. 11 shows a state where the data of FIG. In this state, more than half of the data has been completely lost. FIG. 12 shows a case where the data of FIG. In this state, it can be seen that the most significant bit (MSB) of most data remains. FIG. 13 shows a case where the data shown in FIG. In this case, it can be seen that most data is lost.
[0036]
FIG. 14 shows the MSB distribution and the number (Na) in each layer of the MSB for the data of FIG. At the same time, regarding the data in FIG. 9, the number (Nb) in each layer of the MSB in which the bits at the next lower level of the MSB are valid bits is shown. It can be seen from FIG. 14 that many MSB components are distributed at the layer 7. As described above, when a layer in which a lot of wavelet coefficient MSB components are distributed is truncated, the distribution state of code block data related to the layer is greatly changed. That is, it is considered that there is a correlation between the change in the number of MSBs and the change in the distortion amount when truncation of the layer is performed. Using this feature, it is possible to easily and quickly evaluate the change in the distortion amount of the image from the change in the number of MSBs when truncating the layer. For example, by determining the level of the truncation layer based on the number of MSBs, truncation considering the amount of image distortion can be performed easily and at high speed. Furthermore, by estimating the amount of distortion based on the number of MSBs, and determining the level of the layer to be truncated based on this, the amount of distortion of the image can be estimated easily and quickly, and the amount of distortion of the image is taken into account. Truncation can be performed easily and at high speed. The MSB can be easily extracted from the wavelet coefficient data 51 once.
[0037]
In this embodiment, as shown in FIG. 7, the wavelet coefficient data 51 is input from the encoding unit 13 to the extraction unit 71, and the extraction unit 71 extracts the number (Na) of MSBs in each layer.
[0038]
In the present embodiment, as shown in FIG. 7, the extracted value of Na is input from the extracting unit 71 to the determining unit 72, and the determining unit 72 determines the level of the layer to be truncated based on the extracted value of Na. The For example, a predetermined threshold value is provided for each layer, the Na extraction value for layer 1 is compared with the threshold value, the Na extraction value for layer 2 is then compared with the threshold value, and then Na extraction for layer 3 is performed. When the extracted value of Na for each layer and the threshold value are sequentially compared, and when the extracted value of Na exceeds the threshold value for the first time in layer n, layer 1 to layer n−1 are compared. It is conceivable to determine to truncate until (no truncation when n = 1). This threshold value may be the same value for all layers, or may be a different value for each layer.
[0039]
In this embodiment, as shown in FIG. 7, the determining unit 72 inputs the extracted value of Na to the estimating unit 73, and the estimating unit 73 estimates the distortion amount based on the extracted value of Na. The level of the layer to be truncated can be determined based on the estimated value of the distortion amount. For example, when truncating layers 1 to n, the sum of products of Na of each layer and the level of each layer is estimated as a distortion amount (ratio). Thus, by estimating the amount of distortion based on the extracted value of Na, it is possible to reduce the amount of calculation for obtaining the amount of distortion, and it is possible to reduce the processing time and the amount of hardware.
[0040]
Although this embodiment deals with bit planes of (quantized) wavelet coefficient data, the present invention can also be applied appropriately to bit planes of other image information. In this embodiment, JPEG2000 is used as an image compression method. However, any image compression method that can compress image information by truncation of a bit plane of image information, such as JPEG2000, can be applied as appropriate.
[0041]
(Other examples of embodiments of the present invention)
The MSB has an information amount that is ½ of the data of the bit. Here, when the next bit of the MSB is 1 (effective bit), the weight of the MSB in all bits of a certain image information is about 1/2 to 3/4, whereas the next bit of the MSB is 0 ( In the case of (invalid bit), the weight of the MSB occupying all the bits of certain image information is about 3/4 to 1. In order to use this characteristic, in addition to the number (Na) in each layer of the MSB, the number (Nb) in each layer of the MSB in which the bit at the next lower level of the MSB is 1 (effective bit) is extracted, If the distortion amount of the image is evaluated based on both, the distortion amount of the image can be more accurately evaluated. For example, a method of evaluating the amount of distortion of an image with one MSB having a lower level bit of 0 as 1.5 MSBs having a lower level bit of 1 may be considered.
[0042]
In addition, regarding the estimation of the amount of distortion by the estimation unit 73, weighting is performed by weighting the number of MSBs in each code block for each component or subband instead of treating all code blocks the same. By estimating the distortion amount of the image based on the number of MSBs, it is possible to evaluate the distortion amount with less visual error.
[0043]
When truncation is performed, if a different amount of truncation is performed on each code block in one subband, distortion may occur between code blocks, which may appear as a distortion error. For this reason, in general, truncation is performed not in units of code blocks but in units of subbands. Therefore, when truncation is performed in units of subbands, it is less computationally expensive to extract the number of MSBs for each subband than to extract the number of MSBs for each code block.
[0044]
【The invention's effect】
As described above, according to the present invention, in the image processing method for compressing image information by truncating the bit plane of image information, such as JPEG2000, the distortion amount of the image when the bit plane is truncated is easily and quickly evaluated. Can do.
[Brief description of the drawings]
FIG. 1 shows a general image processing apparatus that compresses image information by JPEG2000.
FIG. 2 shows a general image processing apparatus that decompresses image information by JPEG2000.
FIG. 3 is a diagram illustrating a conversion unit.
FIG. 4 is a diagram illustrating a quantization unit.
FIG. 5 is a diagram illustrating an encoding unit.
FIG. 6 is a diagram illustrating a case where image data is composed of a plurality of colors.
FIG. 7 illustrates an example of an embodiment of the present invention.
FIG. 8 represents bit planes and layers.
FIG. 9 is a diagram illustrating an example of arrangement of data in a layer.
FIG. 10 is a diagram when truncating the lower three layers.
FIG. 11 is a diagram when truncating the lower 7 layers.
FIG. 12 is a diagram when truncating the lower six layers.
FIG. 13 is a diagram when truncating the lower 8 layers.
FIG. 14 is a diagram in which Na and Nb of each layer are extracted.
FIG. 15 is a diagram in a case where the distribution of the image in the space is gradually changing.
FIG. 16 is a diagram in a case where the distribution in the space of the image is bi-polarized.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 Image data 12 Image processing apparatus 13 Conversion part 14 Quantization part 15 Encoding part 16 Code data 21 Code data 22 Image processing apparatus 23 Decoding part 24 Inverse quantization part 25 Inverse conversion part 26 Image data 31 Tile 32 Wavelet coefficient data 51 Quantized wavelet coefficient data 52 Subband 53 Code block 54 Bit plane 71 Extraction unit 72 Determination unit 73 Estimation unit 81 Layer

Claims

画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理方法において、
各レイヤーにおける最上位有効ビットの個数を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定ステップと、
を有することを特徴とする画像処理方法。In an image processing method for compressing image information by truncation of a layer of image information,
An extraction step for extracting the number of most significant bits in each layer ;
Determining a layer to be truncated based on the number of most significant bits extracted in the extracting step;
An image processing method comprising:

画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理方法において、
各レイヤーにおける最上位有効ビットの個数と、各レイヤーにおける最上位有効ビットの次の下位のレベルのビットが有効ビットである最上位有効ビットの個数と、を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定ステップと、
を有することを特徴とする画像処理方法。In an image processing method for compressing image information by truncation of a layer of image information,
And the number of most significant bits in each layer, an extraction step of the next lower level of the bits of the most significant bits are extracted, and the top of the effective bit number that is a valid bit in each layer,
Determining a layer to be truncated based on the number of most significant bits extracted in the extracting step;
An image processing method comprising:

前記決定ステップは、前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、レイヤーをトランケーションしたときの画像の歪量を推定する推定ステップを有し、前記推定ステップにより推定された前記歪量に基づいて、トランケーションするレイヤーを決定することを特徴とする請求項１又は２に記載の画像処理方法。The determination step includes an estimation step of estimating an amount of distortion of an image when truncating a layer based on the number of the most significant bits extracted in the extraction step, and the estimation step The image processing method according to claim 1, wherein a layer to be truncated is determined based on a distortion amount.

前記画像情報は、複数のコンポーネントからなり、
前記推定ステップは、前記コンポーネントごとに重み付けを行って、画像の歪量を推定することを特徴とする請求項３に記載の画像処理方法。The image information is composed of a plurality of components,
The image processing method according to claim 3, wherein the estimating step estimates a distortion amount of the image by weighting each component.

前記画像情報は、複数のサブバンドからなり、
前記推定ステップは、前記サブバンドごとに重み付けを行って、画像の歪量を推定することを特徴とする請求項３に記載の画像処理方法。The image information is composed of a plurality of subbands,
The image processing method according to claim 3, wherein the estimating step estimates the amount of distortion of an image by performing weighting for each subband.

前記画像情報は、複数のサブバンドからなり、
前記抽出ステップは、サブバンド又はコードブロックごとに前記最上位有効ビットの個数を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。The image information is composed of a plurality of subbands,
4. The image processing method according to claim 1, wherein the extracting step extracts the number of the most significant bits for each subband or code block.

前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。 The image processing method according to claim 1, wherein the image compression method of the image processing method is JPEG2000.

画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理装置において、
各レイヤーにおける最上位有効ビットの個数を抽出する抽出手段と、
前記抽出手段により抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定手段と、
を有することを特徴とする画像処理装置。In an image processing apparatus that compresses image information by truncation of an image information layer ,
Extraction means for extracting the number of most significant bits in each layer ;
Determining means for determining a layer to be truncated based on the number of most significant bits extracted by the extracting means;
An image processing apparatus comprising:

画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理装置において、
各レイヤーにおける最上位有効ビットの個数と、各レイヤーにおける最上位有効ビットの次の下位のレベルのビットが有効ビットである最上位有効ビットの個数と、を抽出する抽出手段と、
前記抽出手段により抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定手段と、
を有することを特徴とする画像処理装置。In an image processing apparatus that compresses image information by truncation of an image information layer ,
And the number of most significant bits in each layer, and extracting means next lower level bits of most significant bits in each layer is extracted, and the top of the effective bit number which is the valid bit,
Determining means for determining a layer to be truncated based on the number of most significant bits extracted by the extracting means;
An image processing apparatus comprising: