JP4067460B2

JP4067460B2 - Image decoding apparatus, program, storage medium, and image decoding method

Info

Publication number: JP4067460B2
Application number: JP2003180679A
Authority: JP
Inventors: 水納　　亨; 宏幸作山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-06-25
Filing date: 2003-06-25
Publication date: 2008-03-26
Anticipated expiration: 2023-06-25
Also published as: JP2005020241A

Description

【０００１】
【発明の属する技術分野】
【０００２】
本発明は、インターネット画像、医療用画像、衛星通信用画像などの画像を扱う機器であるパーソナルコンピュータ，携帯情報端末（ＰＤＡ），携帯電話，デジタルカメラ等に用いられる画像復号装置、プログラム、記憶媒体及び画像復号方法に関する。
【従来の技術】
【０００３】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（ＤｉｇｉｔａｌＣａｍｅｒａ）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになっている。
【０００４】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００５】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００６】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００７】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００という新しい方式が規格化されつつある。かかるＪＰＥＧ２０００においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００８】
ところで、ＪＰＥＧ２０００における分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、非特許文献１にも記載があるように、圧縮率の高い条件で圧縮伸長処理を行った場合には、伸長後の画像においてタイルの境界が不連続となるという問題がある。
【０００９】
従来、このような問題を解決するために、隣接するタイル同士で境界を互いにオーバーラップさせて処理を行う手法が提案されている。ところが、ＪＰＥＧ２０００のベースラインでは、隣接するタイル境界を重複させないことになっている。
【００１０】
そこで、このような問題を解決すべく、特許文献１においては、タイル境界の近傍のみに均一な平滑化フィルタをかけることにより、タイル境界を目立たなくするという技術が提案されている。
【非特許文献１】
Ｊ．Ｘ．Ｗｅｉ，Ｍ．Ｒ．Ｐｉｃｋｅｒｉｎｇ，Ｍ．Ｒ．ＦｒａｔｅｒａｎｄＪ．Ｆ．Ａｒｎｏｌｄ， ”ＡＮｅｗＭｅｔｈｏｄｆｏｒＲｅｄｕｃｉｎｇＢｏｕｎｄａｒｙＡｒｔｉｆａｃｔｓｉｎＢｌｏｃｋ−ＢａｓｅｄＷａｖｅｌｅｔＩｍａｇｅＣｏｍｐｒｅｓｓｉｏｎ，” ｉｎＶＣＩＰ２０００，Ｋ．Ｎ．Ｎｇａｎ，Ｔ．Ｓｉｋｏｒａ，Ｍ−ＴＳｕｎＥｄｓ．，Ｐｒｏｃ．ｏｆＳＰＩＥＶｏｌ．４０６７，ｐｐ．１２９０−１２９５，２０−２３Ｊｕｎｅ２０００，Ｐｅｒｔｈ，Ａｕｓｔｒａｌｉａ
【特許文献１】
特開平０５−０１４７３５号公報
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１において提案されている技術によれば、タイル境界歪み抑制には効果があるが、タイル境界のエッジ度合いが強い場合には、平滑化フィルタをかけたことによりタイル境界の近傍でエッジがぼやけて帯状の画像品質劣化が現れてしまうという問題がある。
【００１２】
本発明の目的は、品質の良い再生画像を得ることができる画像復号装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【００１３】
本発明の目的は、タイル境界歪み抑制のための処理時間を短縮することができる画像復号装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【課題を解決するための手段】
【００１４】
本発明の画像復号装置は、画像をタイル毎にウェーブレット変換し量子化することにより得られた圧縮符号を復号する画像復号装置において、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、前記タイル境界平滑化手段は、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Ｒに応じて前記ローパスフィルタの強度を制御する。
【００１５】
本発明のプログラムは、画像をタイル毎にウェーブレット変換し量子化することにより得られた圧縮符号の復号をコンピュータに実行させるプログラムにおいて、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、前記タイル境界平滑化機能では、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Ｒに応じて前記ローパスフィルタの強度を前記コンピュータに制御させる。
【００１６】
本発明の記憶媒体は、本発明のプログラムを記憶しているコンピュータに読取り可能な記憶媒体である。
【００１７】
本発明の画像復号方法は、画像をタイル毎にウェーブレット変換し量子化することにより得られた圧縮符号を復号する画像復号方法において、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、前記タイル境界平滑化工程では、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Ｒに応じて前記ローパスフィルタの強度を制御する。
【発明の実施の形態】
【００１８】
［ＪＰＥＧ２０００について］
最初に、本実施の形態の前提となる「ＪＰＥＧ２０００」における量子化、符号破棄および画質制御について説明する。ＪＰＥＧ２０００の符号化処理は、概ね図１の流れで行われる。すなわち、画像データを圧縮符号化するときは、画像をタイル分割して、このタイルにＤＣレベルシフト、色変換を施し（ａ）、タイルごとにＷａｖｅｌｅｔ変換を行って（ｂ）、サブバンドごとに量子化する（ｃ）。そして、コードブロック毎にビットプレーン符号化を行い（ｄ）、不要な符号を破棄して、必要な符号をまとめて、パケットを生成する（ｅ）。後は、パケットを並べて符号形成を行う（ｆ）。圧縮後の符号を伸長するには、これらの処理の流れを逆にたどればよい。
【００１９】
図２は、画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。タイルとは、画像を矩形に分割した単位であり、分割数＝１の場合、画像＝タイルである。ＪＰＥＧ２０００では個々のタイルを独立した１つの画像と見なし、Ｗａｖｅｌｅｔ変換がなされ、サブバンドが生成される。ＪＰＥＧ２０００の基本仕様では、Ｗａｖｅｌｅｔ変換として９×７変換を用いる場合、同一のサブバンドに含まれる係数を同一の数で除算し、線形に量子化することができる。したがって、線形量子化による画質制御は、サブバンド単位で可能である（線形量子化による画質制御単位はサブバンドである）。
【００２０】
プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割した単位で、大まかには画像中の場所（Ｐｏｓｉｔｉｏｎ）を表すものであり、インプリメンテーションでメモリを効率的に使うために導入されたものである。プリシンクトは、ＨＬ，ＬＨ，ＨＨの３つのサブバンドにおいて空間的に一致している。つまり、プリシンクトは３つで１つのまとまりを成すものである。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１つのまとまりを成すものである。このようなプリシンクトは、サブバンドと同じサイズにすることも可能である。
【００２１】
更に、個々のプリシンクトは、重複しない（ユーザが指定可能なサイズの）矩形の「コードブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００２２】
また、量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは３つのサブビットプレーンに分解されて符号化される）。
【００２３】
プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのＭＳＢ（ＭｏｓｔＳｉｇｎｉｆｉｃａｎｔＢｉｔ：最上位ビット）から３枚目までのビットプレーンの符号を集めたもの）がパケットである。ここで、符号の“一部”とは“空”でもいいので、パケットの中身が符号的には“空（から）”という場合もある。全てのプリシンクト（すなわち、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のＷａｖｅｌｅｔ係数のＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。レイヤはいわば画質の単位である。
【００２４】
全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。図３は、Ｗａｖｅｌｅｔ変換の階層数（デコンポジションレベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ、図４はそれに含まれるパケットの例である。これらの場合は、プリシンクトサイズ＝サブバンドサイズであり、図２でいうプリンシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４個のコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドを跨いだものとなる。図４中、いくつかのパケットを太線で囲んで示している。
【００２５】
ここで、パケットは「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号は、パケットとして生成する必要はない。例えば、図３のレイヤＮｏ．９に含まれるような下位ビットプレーンの符号は、破棄するのが通常である。
【００２６】
したがって、符号破棄による画質制御は、コードブロック単位（かつ、サブビットプレーン単位）で可能である（符号破棄による画質制御単位はコードブロックである）。なお、パケットの並びをプログレッション順序と呼ぶ。
【００２７】
［発明の実施の形態］
［第一の実施の形態］
以下、本発明の第一の実施の形態について説明する。なお、ここでは、ＪＰＥＧ２０００を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００２８】
図５は、本発明が適用される画像処理装置１を含むシステムを示すシステム構成図、図６は画像処理装置１の機能ブロック図である。図５に示すように、本発明が適用される画像処理装置１は、例えばパーソナルコンピュータであり、インターネットであるネットワーク５を介して各種画像データを記憶保持するサーバコンピュータＳに接続可能とされている。サーバコンピュータＳには、「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号である画像データが記憶保持されている。
【００２９】
そして、図６に示すように、画像処理装置１は、ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）を伸長（復号）して画像の画像データとする画像復号装置である画像伸長装置２と、この伸長後の画像データによる画像を表示する画像表示装置３と、ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）を記憶する符号列記憶部４とを備えている。符号列記憶部４は、一般的なバッファとしての機能、あるいは、画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【００３０】
図７は、画像処理装置１のハードウェア構成を概略的に示すブロック図である。図７に示すように、画像処理装置１は、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）６を備えている。このＣＰＵ６には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）７と、各種データを書換え可能に記憶するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）８とがバス９で接続されている。ＲＡＭ８は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ６の作業エリアとして機能し、例えば入力バッファ等の役割を果たす。
【００３１】
さらにバス９には、符号列記憶部４として機能するＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）１０と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）−ＲＯＭ１１を読み取るＣＤ−ＲＯＭドライブ１２と、画像処理装置１とネットワーク５との通信を司る通信制御装置１３と、キーボードやマウスなどの入力装置１４と、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）である表示装置１５とが、図示しないＩ／Ｏを介して接続されている。
【００３２】
そして、ネットワーク５を介してサーバコンピュータＳからダウンロードした圧縮符号は、符号列記憶部４として機能するＨＤＤ１０に格納されることになる。
【００３３】
また、図７に示すＣＤ−ＲＯＭ１１は、この発明の記憶媒体を実施するものであり、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や各種コンピュータソフトウェアが記憶されている。ＣＰＵ６は、ＣＤ−ＲＯＭ１１に記憶されているコンピュータソフトウェアをＣＤ−ＲＯＭドライブ１２で読み取り、ＨＤＤ１０にインストールする。
【００３４】
このような構成の画像処理装置１のＨＤＤ１０には、コンピュータソフトウェアの一つとして、画像を処理する画像処理プログラムが記憶されている。この画像処理プログラムは本発明のプログラムを実施するものである。そして、この画像処理プログラムに基づいてＣＰＵ６が実行する処理により、画像伸長装置２の機能を実現する。
【００３５】
なお、記憶媒体としては、ＣＤ−ＲＯＭ１１のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブル・ディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置１３を介してインターネットなどのネットワーク５からコンピュータソフトウェアをダウンロードし、ＨＤＤ１０にインストールするようにしてもよい。この場合に、送信側のサーバでコンピュータソフトウェアを記憶している記憶装置も、この発明の記憶媒体である。なお、コンピュータソフトウェアは、所定のＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００３６】
ここで、画像処理装置１の各部の動作について図６を参照しつつ簡単に説明する。ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）は、符号列記憶部４に格納され、また、画像伸長装置２で伸長処理される。そして、画像伸長装置２で伸長処理されて生成された画像の画像データは、画像表示装置３に出力され、この伸長後の画像データによる画像が表示装置１５に表示される。
【００３７】
続いて、本発明の主要部分である画像伸長装置２について詳述する。ここで、図８は画像伸長装置２の機能ブロック図である。図８に示すように、ＣＰＵ６がコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元Ｗａｖｅｌｅｔ逆変換手段２４、色空間逆変換手段２５、タイル境界制御手段２６、タイル境界の近傍の平滑化処理を行うタイル境界平滑化手段２７の各機能を有する画像伸長装置２を実現する。
【００３８】
画像伸長装置２は、このような構成により符号列データ（ＪＰＥＧ２０００データ）から画像データを生成する。この場合、タグ処理手段２１は入力した符号列データ（ＪＰＥＧ２０００データ）に付加されたタグ情報を解釈し、復号化の対象となるビットの位置を定める。エントロピー復号化手段２２は符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。逆量子化手段２３は対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストを生成する。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元Ｗａｖｅｌｅｔ逆変換手段２４で２次元Ｗａｖｅｌｅｔ逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換手段２５によって元の表色系の画像データ（ＲＧＢデータ）に変換され、タイル境界制御手段２６に出力される。
【００３９】
ところで、「ＪＰＥＧ２０００アルゴリズム」においては、符号列データ（ＪＰＥＧ２０００データ）の符号化に際し、前述したような符号の破棄を行うポスト量子化（トランケーション）が実行される。このようなポスト量子化（トランケーション）は、量子化テーブルを用いて実行される。
【００４０】
図９に量子化テーブルとトランケート数の関係を示す。図９（ａ）はトランケート前の符号の例である。本例では色成分が３種類あり、図９（ａ）は、その中の一つ（Ｃ０）を示している。また、本例では、階層数は３である。図９（ａ）に示すように、ここでは縦横方向に、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの１０種類のサブバンドに分かれ、深さ方向に８つのビットプレーンで構成されている符号を表している。本例では、深さ方向はビットプレーンに分けているが、一つのビットプレーンをさらに３つのサブビットプレーンに分ける構成にしてもよい。図９（ｂ）は量子化テーブルの一例である。各コンポーネント（色成分）、サブバンド毎に、破棄するビットプレーンの数が記述してある。図９（ｃ）は、図９（ｂ）の量子化テーブルを用いた、トランケーション（ビットプレーンの破棄）の一例である。これもコンポーネントはＣ０の例である。３ＬＬ係数は、Ｃ０成分では１という値を示しているので、８枚のビットプレーンのうち１枚を破棄する。１ＨＨ係数は、Ｃ０成分では７という値を示しているので、８枚のビットプレーンのうち７枚を破棄する（破棄するビットプレーンが網掛けで示されている）。このようにして、すべてのサブバンドについて、量子化テーブルの値によりトランケートした後の符号が図９（ｄ）である。同図においては、破棄されたビットプレーンが網掛けで示されている。
【００４１】
そして、エントロピー復号化手段２２は、このようなトランケートした後の符号を受け取ると、全てのコンポーネントと全てのサブバンドにおいて破棄されたビットプレーンの総数を算出し、その算出した値（トランケートされたビットプレーン数）をタイル境界制御手段２６とタイル境界平滑化手段２７に出力する。
【００４２】
タイル境界制御手段２６は、タイル境界平滑化手段２７によるタイル境界の近傍の平滑化処理が必要であるか否かを判定する機能を発揮するものであって、このタイル境界制御手段２６には、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）が入力されるとともに、エントロピー復号化手段２２から出力されたトランケートされたビットプレーン数が入力される。
【００４３】
タイル境界の近傍の平滑化処理が必要であるか否かは、量子化率に応じて判定される。量子化率とは、５×３フィルタによるウェーブレット変換の場合では、サブバンド毎に破棄されずに残ったビットプレーン数の総数である。そして、量子化率が所定の閾値よりも大きい画像では、タイル境界の歪みが目立たないので、タイル境界の近傍の平滑化処理が不要であると判定する。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。一方、量子化率が小さい画像では、タイル境界の歪みが目立つので、タイル境界の近傍の平滑化処理が必要であると判定する。
【００４４】
これにより、タイル境界制御手段２６は、タイル境界の近傍の平滑化処理が必要であると判定した場合には、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力し、タイル境界の近傍の平滑化処理が不要であると判定した場合には、タイル境界の近傍の平滑化処理を行わずに、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）をそのまま画像表示装置３に出力する。
【００４５】
タイル境界平滑化手段２７は、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）に対し、タイル境界の近傍の画素を平滑化してタイル境界の歪みを目立たなくするものである。より詳細には、タイル境界歪み抑制のために画像の高周波成分をカットするローパスフィルタの強度を量子化率に応じて強くすることにより、タイル境界の近傍の画素を平滑化するものである。
【００４６】
ここで、タイル境界平滑化手段２７における処理の具体例を示す。図１０はタイル境界平滑化手段２７における処理の一例を示す説明図である。図１０に示すように、タイル境界平滑化手段２７は、タイル境界の近傍の画素（図１０中、タイル境界画素を含む網掛け領域の画素）に対してローパスフィルタをかける。
【００４７】
ここで、図１１は縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１１に示すように、縦方向タイル境界ａ（図１０参照）に対しては、縦方向タイル境界ａに垂直なローパスフィルタ（１次元の横長のフィルタ）Ｆ１をかけることにより、縦方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の横長のフィルタの例で説明したが、横方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００４８】
図１２は横方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１２に示すように、横方向タイル境界ｂ（図１０参照）に対しては、横方向タイル境界ｂに垂直なローパスフィルタ（１次元の縦長のフィルタ）Ｆ２をかけることにより、横方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の縦長のフィルタの例で説明したが、縦方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００４９】
図１３は縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。図１３に示すように、縦方向タイル境界ａと横方向タイル境界ｂとの交点の近傍に対しては、十字型のローパスフィルタＦ３をかけることにより、縦方向タイル境界ａと横方向タイル境界ｂとの交点付近のタイル境界歪みを抑制することができる。なお、本実施の形態では、十字型のフィルタの例で説明したが、縦方向と横方向との周波数成分を共に落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００５０】
ところで、ローパスフィルタＦ１，Ｆ２，Ｆ３のフィルタ中心の重み付けの係数ｍは復号化される符号量に応じて可変制御される。５×３フィルタによるウェーブレット変換の場合、ローパスフィルタの中心の重み付けの係数ｍは、量子化率（サブバンド毎に破棄されずに残ったビットプレーン数の総数）Ｒに応じて、
ｍ＝Ｋ／Ｒ（Ｋ：定数）
という式に基づいて制御されることになる。また、量子化率Ｒは、サブバンドｉで破棄されずに残ったビットプレーン数をＸｉとすると、
【００５１】
【数５】

として定義される。この制御例はあくまで一例であり、サブバンド毎に破棄されずに残ったビットプレーン数の総数Ｒが大きくなるほど、ローパスフィルタの中心の重み付けの係数ｍの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【００５２】
したがって、図１４に示すように、量子化率（サブバンド毎に破棄されずに残ったビットプレーン数の総数）Ｒが大きい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を弱くすることができる。逆に、量子化率（サブバンド毎に破棄されずに残ったビットプレーン数の総数）Ｒが小さい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を強くすることができる。なお、量子化率（サブバンド毎に破棄されずに残ったビットプレーン数の総数）Ｒが所定の数より大きい場合には、タイル境界抑制のためのローパスフィルタをかけない構成にすることもできる。
【００５３】
ここに、量子化率（サブバンド毎に破棄されずに残ったビットプレーン数の総数）に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【００５４】
なお、量子化率Ｒは、所定階層以下のサブバンドに基づいて算出するものであっても良いし、ＬＬ以外のサブバンドに基づいて算出するものであっても良い。このようにすることで、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００５５】
また、本実施の形態においては、「ＪＰＥＧ２０００アルゴリズム」に従った画像圧縮伸長方式で説明したが、これに限るものではなく、画像を周波数空間に変換する画像圧縮伸長方式であれば、いかなる画像圧縮伸長方式を用いても良い。
【００５６】
［第二の実施の形態］
次に、本発明の第二の実施の形態について説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する（以降の実施の形態においても同様とする）。第一の実施の形態では、５×３フィルタによるウェーブレット変換の場合について説明したが、本実施の形態では、９×７フィルタによるウェーブレット変換の場合について説明したものである。
【００５７】
９×７フィルタによるウェーブレット変換の場合には、５×３フィルタによるウェーブレット変換の場合とは量子化率の定義が異なる。９×７フィルタによるウェーブレット変換の場合の量子化率Ｒは、サブバンドｉで破棄されずに残ったビットプレーン数をＸｉとすると、
【００５８】
【数６】

として定義される。すなわち、９×７フィルタによるウェーブレット変換の場合の量子化率Ｒは、あるサブバンドの破棄されずに残った２のビットプレーン数乗の値をサブバンドの分だけ加算した値である。
【００５９】
これにより、９×７フィルタによるウェーブレット変換の場合、ローパスフィルタの中心の重み付けの係数ｍは、量子化率Ｒに応じて、
ｍ＝Ｋ／Ｒ（Ｋ：定数）
という式に基づいて制御されることになる。この制御例はあくまで一例であり、２の破棄されずに残ったビットプレーン数乗の値をサブバンドの分だけ加算した値Ｒが大きくなるほど、ローパスフィルタの中心の重み付けの係数ｍの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【００６０】
したがって、図１４に示すように、量子化率Ｒが大きい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を弱くすることができる。逆に、量子化率Ｒが小さい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を強くすることができる。なお、量子化率Ｒが所定の数より大きい場合には、タイル境界抑制のためのローパスフィルタをかけない構成にすることもできる。
【００６１】
ここに、量子化率に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【００６２】
なお、量子化率Ｒは、所定階層以下のサブバンドに基づいて算出するものであっても良いし、ＬＬ以外のサブバンドに基づいて算出するものであっても良い。このようにすることで、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００６３】
［第三の実施の形態］
次に、本発明の第三の実施の形態について説明する。本実施の形態は、全てのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにしたものである。
【００６４】
図１５は本実施の形態の画像伸長装置２の機能ブロック図である。図１５に示すように、ＣＰＵ６はコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元ウェーブレット逆変換手段２４、色空間逆変換手段２５、タイル境界制御手段２６、補正タイル境界限定手段２８、タイル境界平滑化手段２７の各機能を有する画像伸長装置２を実現する。
【００６５】
補正タイル境界限定手段２８は、タイル境界平滑化手段２７においてローパスフィルタをかけるべきタイル境界を限定する機能を発揮するものであって、この補正タイル境界限定手段２８には、色空間逆変換手段２５によって得られ、タイル境界制御手段２６でタイル境界の近傍の平滑化処理が必要であると判定された画像データ（ＲＧＢデータ）が入力される。
【００６６】
ここで、図１６及び図１７は、ＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。このＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【００６７】
量子化率が小さい場合には、ＲＯＩ領域内はタイル境界歪みが目立ってしまう。そこで本実施の形態においては、量子化率が所定の閾値よりも小さい場合には、ＲＯＩ領域内のタイル境界のみにローパスフィルタをかけるようにしたものである。
【００６８】
図１６は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図１６（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１６（ｂ）に点線で示す部分に設定する。図１６（ｂ）に太線で示すＲＯＩ境界部にはローパスフィルタをかけない。
【００６９】
図１７は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図１７（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１７（ｂ）に点線で示す部分に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にローパスフィルタをかける。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかけない。
【００７０】
なお、本実施の形態では、ＲＯＩ内部か否かで、ローパスフィルタをかけるか否かを判定したが、それ以外にも、縦または横成分のエッジ量が大きい部分のタイル境界画素のみにローパスフィルタをかけるという制御を行っても良い。
【００７１】
これにより、補正タイル境界限定手段２８は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力する。
【００７２】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００７３】
［第四の実施の形態］
次に、本発明の第四の実施の形態について説明する。なお、第三の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態も、全てのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにした点で第三の実施の形態と同様である。しかしながら、本実施の形態においては、第三の実施の形態とは、ローパスフィルタをかけるべきタイル境界の限定手法が異なっている。
【００７４】
量子化率が大きい場合には、ＲＯＩ領域内はタイル境界歪みが目立たない場合が多く、逆に、ＲＯＩ領域外のタイル境界歪みが目立ってしまう。そこで本実施の形態においては、量子化率が所定の閾値よりも大きい場合には、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかけるようにしたものである。
【００７５】
ここで、図１８及び図１９は、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【００７６】
図１８は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図１８（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１８（ｂ）に点線で示す部分以外に設定する。
【００７７】
図１９は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図１９（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１９（ｂ）に点線で示す部分以外に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にはローパスフィルタをかけない。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかける。
【００７８】
これにより、補正タイル境界限定手段２８は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力する。
【００７９】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８０】
なお、各実施の形態においては、画像処理装置１としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、デジタルカメラ、携帯情報端末（ＰＤＡ）や携帯電話などを画像処理装置１として適用することもできる。
【００８１】
本実施の形態によれば、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【００８２】
本実施の形態によれば、５×３フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることができる。
本実施の形態によれば、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８３】
本実施の形態によれば、９×７フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることができる。
【００８４】
本実施の形態によれば、量子化率Ｒが小さい画像ではタイル境界の歪みが目立つことから、強いローパスフィルタをかけ、逆に量子化率Ｒが大きい画像ではタイル境界の歪みが目立ちにくいことから、弱いローパスフィルタをかけることにより、フレーム毎に最適な適応的ポストフィルタをかけることができる。
【００８５】
本実施の形態によれば、量子化率Ｒが小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数ｍも大きくなることにより、量子化率Ｒが小さいほど、ローパスフィルタの強度を強くすることができる。
【００８６】
本実施の形態によれば、量子化率Ｒが所定の閾値よりも大きい画像では、タイル境界の歪みが目立たないと判断し、タイル境界の歪み平滑化処理を回避することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８７】
本実施の形態によれば、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８８】
本実施の形態によれば、量子化率Ｒが所定の閾値よりも小さい場合には、ＲＯＩ領域内のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８９】
本実施の形態によれば、量子化率Ｒが所定の閾値よりも大きい場合には、ＲＯＩ領域外のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００９０】
本実施の形態のコンピュータに読取り可能な記憶媒体によれば、本発明のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、本発明のプログラムと同様の作用を得ることができる。
【発明の効果】
【００９１】
本発明によれば、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の前提となるＪＰＥＧ２０００における量子化、符号破棄および画質制御についての処理の説明図である。
【図２】画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。
【図３】Ｗａｖｅｌｅｔ変換の階層数が２として、プリシンクトサイズをサブバンドサイズとしたときのレイヤの例の説明図である。
【図４】図３のレイヤに含まれるパケットの例の説明図である。
【図５】本発明の第一の実施の形態の画像処理装置を含むシステムを示すシステム構成図である。
【図６】画像処理装置の機能ブロック図である。
【図７】画像処理装置のハードウェア構成を概略的に示すブロック図である。
【図８】画像伸長装置の機能ブロック図である。
【図９】量子化テーブルとトランケート数の関係を示す説明図である。
【図１０】タイル境界平滑化手段における処理の一例を示す説明図である。
【図１１】縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１２】横方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１３】縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。
【図１４】量子化率Ｒとローパスフィルタの強度との関係を示す説明図である。
【図１５】本発明の第二の実施の形態の画像伸長装置の機能ブロック図である。
【図１６】本発明の第三の実施の形態における処理の一例であり、ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１７】ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１８】本発明の第四の実施の形態における処理の一例であり、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１９】ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【符号の説明】
２画像復号装置
１１記憶媒体
２７タイル境界平滑化手段
２８補正タイル境界限定手段[0001]
BACKGROUND OF THE INVENTION
[0002]
  The present invention relates to an image decoding apparatus, a program, and a storage medium used for personal computers, personal digital assistants (PDAs), mobile phones, digital cameras, and the like, which are devices that handle images such as Internet images, medical images, and satellite communication images. And an image decoding method.
[Prior art]
[0003]
  Due to advances in image input technology and output technology, the demand for higher definition of images has increased greatly in recent years. For example, taking a digital camera as an example of an image input device, the price of a high-performance charge-coupled device (CCD) having a number of pixels of 3 million or more has been reduced, and the spread price range has been increased. It is also widely used in other products.
[0004]
  On the other hand, for image output / display devices, for example, products in the hard copy field such as laser printers, ink jet printers, sublimation printers, and flats such as CRTs, LCDs (liquid crystal display devices), and PDPs (plasma display devices). The high definition and low price of products in the soft copy field of panel displays are remarkable.
[0005]
  Due to the market launch of these high-performance, low-priced image input / output products, high-definition images have become popular, and it is expected that demand for high-definition images will increase in all situations. In fact, the development of technology related to networks such as personal computers and the Internet is accelerating these trends. In particular, recently, mobile devices such as mobile phones and notebook personal computers have become very popular, and opportunities for transmitting or receiving high-definition images from any point using communication means are rapidly increasing.
[0006]
  Against this background, it is inevitable that the demand for higher performance or higher functionality for image compression / decompression technology that facilitates the handling of high-definition images will become stronger in the future.
[0007]
  Therefore, in recent years, a new method called JPEG2000, which can restore high-quality images even at a high compression rate, is being standardized as one of image compression methods that satisfy these requirements. In JPEG2000, it is possible to perform compression / decompression processing in a small memory environment by dividing an image into rectangular regions (tiles). That is, each tile becomes a basic unit for executing the compression / decompression process, and the compression / decompression operation can be performed independently for each tile.
[0008]
  By the way, the division processing in JPEG2000 is called tiling and is an effective technique for saving memory and increasing the speed. However, as described in Non-Patent Document 1, the compression / decompression processing is performed under a condition with a high compression ratio. When this is done, there is a problem that the tile boundary becomes discontinuous in the expanded image.
[0009]
  Conventionally, in order to solve such a problem, a method has been proposed in which processing is performed by overlapping boundaries between adjacent tiles. However, in the JPEG 2000 baseline, adjacent tile boundaries are not overlapped.
[0010]
  Therefore, in order to solve such a problem, Patent Document 1 proposes a technique for making a tile boundary inconspicuous by applying a uniform smoothing filter only to the vicinity of the tile boundary.
[Non-Patent Document 1]
  J. et al. X. Wei, M.M. R. Pickering, M.M. R. Frater and J.M. F. Arnold, “A New Method for Reducing Boundary Artifacts in Block-Based Wavelet Image Compression,” in VCIP 2000, K.A. N. Ngan, T .; Sikora, M-T Sun Eds. , Proc. of SPIE Vol. 4067, pp. 1290-1295, 20-23 June 2000, Perth, Australia
[Patent Document 1]
  Japanese Patent Laid-Open No. 05-014735
[Problems to be solved by the invention]
[0011]
  However, according to the technique proposed in Patent Document 1, although it is effective in suppressing the tile boundary distortion, when the edge degree of the tile boundary is strong, the smoothing filter is applied to the vicinity of the tile boundary. There is a problem that the edge is blurred and a strip-shaped image quality deterioration appears.
[0012]
  An object of the present invention is to provide an image decoding device, a program, a storage medium, and an image decoding method capable of obtaining a high-quality reproduced image.
[0013]
  An object of the present invention is to provide an image decoding device, a program, a storage medium, and an image decoding method capable of reducing the processing time for suppressing tile boundary distortion.
[Means for Solving the Problems]
[0014]
  The image decoding apparatus of the present inventionthe imageFor each tileBy wavelet transform and quantizationObtainedIn an image decoding apparatus that decodes a compression code, a low-pass filter that cuts high-frequency components of the image is used to perform decoding.Tile borderComprising tile boundary smoothing means for smoothing distortion ofSaidThe tile boundary smoothing meansDepending on the quantization rate R based on the number of remaining bitplanes in each subband in subbands below a predetermined hierarchyControls the strength of the low-pass filter.
[0015]
The program according to the present invention is a program for causing a computer to decode a compression code obtained by wavelet transforming and quantizing an image for each tile, and decoding tiles using a low-pass filter that cuts high-frequency components of the image. The tile boundary smoothing function for smoothing the boundary distortion is executed by the computer. In the tile boundary smoothing function, the number of bit planes remaining without being discarded for each subband in the subbands of a predetermined layer or lower is obtained. Causing the computer to control the strength of the low-pass filter according to the quantization rate R based on.
[0016]
  The storage medium of the present invention is a computer-readable storage medium storing the program of the present invention..
[0017]
  The image decoding method of the present invention includes:the imageFor each tileBy wavelet transform and quantizationObtainedIn an image decoding method for decoding a compression code, a low-pass filter that cuts a high-frequency component of the image is used to perform decoding.Tile borderA tile boundary smoothing step for smoothing the distortion ofSaidIn the tile boundary smoothing process,Depending on the quantization rate R based on the number of remaining bitplanes in each subband in subbands below a predetermined hierarchyControls the strength of the low-pass filter.
DETAILED DESCRIPTION OF THE INVENTION
[0018]
  [About JPEG2000]
  First, quantization, code discard, and image quality control in “JPEG2000”, which are the premise of the present embodiment, will be described. JPEG2000 encoding processing is generally performed according to the flow shown in FIG. That is, when compressing and encoding image data, the image is divided into tiles, DC level shift and color conversion are performed on the tiles (a), Wavelet conversion is performed for each tile (b), and each tile is sub-banded. Quantize (c). Then, bit plane encoding is performed for each code block (d), unnecessary codes are discarded, and necessary codes are collected to generate a packet (e). Thereafter, the packets are arranged to form a code (f). In order to expand the code after compression, the flow of these processes may be reversed.
[0019]
  FIG. 2 is an explanatory diagram showing the relationship among images, tiles, subbands, precincts, and code blocks. A tile is a unit obtained by dividing an image into rectangles. When the number of divisions = 1, the image = tile. In JPEG2000, each tile is regarded as an independent image, wavelet conversion is performed, and a subband is generated. In the basic specification of JPEG2000, when 9 × 7 conversion is used as Wavelet conversion, coefficients included in the same subband can be divided by the same number and linearly quantized. Therefore, image quality control by linear quantization is possible in subband units (image quality control units by linear quantization are subbands).
[0020]
  A precinct is a unit obtained by dividing a subband into rectangles (of a size that can be specified by the user), and roughly represents a position in the image (Position), so that memory can be used efficiently in implementation. Was introduced. The precinct is spatially matched in the three subbands HL, LH, and HH. That is, three precincts form one unit. However, one precinct obtained by dividing the LL subband is a single unit. Such a precinct can be the same size as the subband.
[0021]
  Furthermore, each precinct is divided into rectangular “code blocks” (of a size that can be specified by the user) that do not overlap. This is the basic unit for entropy coding.
[0022]
  The quantized subband coefficients are bit-plane encoded in units of code blocks (one bit plane is decomposed into three sub-bit planes and encoded).
[0023]
  Collected by extracting a part of the code from all code blocks included in the precinct (for example, collecting the codes of the MSB (Most Significant Bit) to the third bit plane of all the code blocks Is a packet. Here, the “part” of the code may be “empty”, and therefore the contents of the packet may be “empty” from the viewpoint of the code. When packets of all precincts (that is, all code blocks and all subbands) are collected, a part of the code of the entire image area (for example, the code of the MSB to the third bit plane of the Wavelet coefficient of the entire image area) This is called a layer. Since the layer is roughly a part of the code of the bit plane of the entire image, the image quality increases as the number of layers to be decoded increases. A layer is a unit of image quality.
[0024]
  When all layers are collected, it becomes the code of all bit planes of the entire image. FIG. 3 shows layers when the number of layers of wavelet transform (decomposition level) = 2 and precinct size = subband size, and FIG. 4 shows an example of a packet included therein. In these cases, the precinct size is equal to the subband size, and the code block having the same size as the printinct size shown in FIG. In the code block, the sub-band of decomposition level 1 is divided into nine code blocks. Since the packet is based on the precinct, when precinct = subband, the packet extends over the HL to HH subbands. In FIG. 4, some packets are shown surrounded by thick lines.
[0025]
  Here, the packet is “a collection of code blocks extracted and collected”, and unnecessary codes need not be generated as packets. For example, the layer number of FIG. The code of the lower bit plane as contained in 9 is usually discarded.
[0026]
  Therefore, image quality control by code discard is possible in units of code blocks (and sub-bit plane units) (the image quality control unit by code discard is a code block). Note that the sequence of packets is called a progression order.
[0027]
  [Embodiment of the Invention]
  [First embodiment]
  Hereinafter, a first embodiment of the present invention will be described. Here, an example relating to an image compression / decompression technique typified by JPEG2000 will be described. Needless to say, the present invention is not limited to the contents of the following description.
[0028]
  FIG. 5 is a system configuration diagram showing a system including the image processing apparatus 1 to which the present invention is applied, and FIG. 6 is a functional block diagram of the image processing apparatus 1. As shown in FIG. 5, an image processing apparatus 1 to which the present invention is applied is, for example, a personal computer, and is connectable to a server computer S that stores and holds various image data via a network 5 that is the Internet. . The server computer S stores and holds image data that is a compression code generated according to the “JPEG2000 algorithm”.
[0029]
  Then, as shown in FIG. 6, the image processing apparatus 1 decompresses (decodes) the code string data (JPEG2000 data) output to the image processing apparatus 1 via the network 5 to generate image data of the image. An image decompression device 2 that is a device, an image display device 3 that displays an image based on the decompressed image data, and a code that stores code string data (JPEG2000 data) output to the image processing device 1 via the network 5 And a column storage unit 4. The code string storage unit 4 functions as a general buffer, or functions as a storage for code string data of an image, and is properly used depending on the application.
[0030]
  FIG. 7 is a block diagram schematically showing a hardware configuration of the image processing apparatus 1. As shown in FIG. 7, the image processing apparatus 1 includes a CPU (Central Processing Unit) 6 that is a main part of the computer and controls each part centrally. The CPU 6 is connected to a ROM (Read Only Memory) 7 that is a read-only memory storing BIOS and a RAM (Random Access Memory) 8 that stores various data in a rewritable manner through a bus 9. Since the RAM 8 has a property of storing various data in a rewritable manner, the RAM 8 functions as a work area for the CPU 6 and functions as an input buffer, for example.
[0031]
  Further, the bus 9 includes an HDD (Hard Disk Drive) 10 that functions as the code string storage unit 4 and a CD-ROM drive that reads a CD (Compact Disc) -ROM 11 as a mechanism for reading computer software that is a distributed program. 12, a communication control device 13 that controls communication between the image processing device 1 and the network 5, an input device 14 such as a keyboard and a mouse, and a display device 15 that is a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display). Are connected via an I / O (not shown).
[0032]
  The compressed code downloaded from the server computer S via the network 5 is stored in the HDD 10 that functions as the code string storage unit 4.
[0033]
  A CD-ROM 11 shown in FIG. 7 implements the storage medium of the present invention, and stores an OS (Operating System) and various computer software. The CPU 6 reads the computer software stored in the CD-ROM 11 with the CD-ROM drive 12 and installs it in the HDD 10.
[0034]
  The HDD 10 of the image processing apparatus 1 having such a configuration stores an image processing program for processing an image as one of computer software. This image processing program implements the program of the present invention. Then, the function of the image expansion device 2 is realized by processing executed by the CPU 6 based on the image processing program.
[0035]
  As the storage medium, not only the CD-ROM 11 but also various types of media such as semiconductor memories such as various optical disks such as DVD, various magnetic disks such as various magneto-optical disks and flexible disks, and the like can be used. Alternatively, computer software may be downloaded from the network 5 such as the Internet via the communication control device 13 and installed in the HDD 10. In this case, the storage device storing the computer software in the server on the transmission side is also a storage medium of the present invention. Note that the computer software may operate on a predetermined OS (Operating System), or in that case, the OS may take over execution of some of the various processes described below. It may be included as part of a group of program files that constitute predetermined application software, OS, or the like.
[0036]
  Here, the operation of each unit of the image processing apparatus 1 will be briefly described with reference to FIG. The code string data (JPEG2000 data) output to the image processing apparatus 1 via the network 5 is stored in the code string storage unit 4 and decompressed by the image decompressing apparatus 2. Then, the image data of the image generated by the decompression process by the image decompression device 2 is output to the image display device 3, and an image based on the decompressed image data is displayed on the display device 15.
[0037]
  Next, the image expansion device 2 that is a main part of the present invention will be described in detail. Here, FIG. 8 is a functional block diagram of the image expansion apparatus 2. As shown in FIG. 8, the CPU 6 operates based on computer software (image processing program), so that tag processing means 21, entropy decoding means 22, inverse quantization means 23, two-dimensional Wavelet inverse transformation means 24, color The image decompression device 2 having the functions of the spatial inverse transform unit 25, the tile boundary control unit 26, and the tile boundary smoothing unit 27 that performs the smoothing process in the vicinity of the tile boundary is realized.
[0038]
  The image expansion device 2 generates image data from code string data (JPEG2000 data) with such a configuration. In this case, the tag processing means 21 interprets tag information added to the input code string data (JPEG2000 data), and determines the position of a bit to be decoded. The entropy decoding unit 22 performs decoding from the code string data by probability estimation, generates a target bit, and writes it in the position of the target bit. The inverse quantization means 23 generates a context from the sequence of peripheral bits at the target bit position (decoding has already been completed). Since the data decoded in this manner is spatially divided for each frequency band, the two-dimensional Wavelet inverse transformation means 24 performs the two-dimensional Wavelet inverse transformation to thereby obtain each tile of each component of the image data. Restored. The restored data is converted into original color system image data (RGB data) by the color space inverse conversion means 25 and output to the tile boundary control means 26.
[0039]
  By the way, in the “JPEG2000 algorithm”, post-quantization (truncation) for discarding codes as described above is executed when encoding code string data (JPEG2000 data). Such post-quantization (truncation) is performed using a quantization table.
[0040]
  FIG. 9 shows the relationship between the quantization table and the number of truncations. FIG. 9A shows an example of a code before truncation. In this example, there are three types of color components, and FIG. 9A shows one of them (C0). In this example, the number of hierarchies is three. As shown in FIG. 9A, here, in the vertical and horizontal directions, it is divided into 10 subbands of 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, and 1HH, and 8 in the depth direction. The code | symbol comprised by the bit plane is represented. In this example, the depth direction is divided into bit planes, but one bit plane may be further divided into three sub bit planes. FIG. 9B is an example of a quantization table. The number of bit planes to be discarded is described for each component (color component) and subband. FIG. 9C is an example of truncation (bit plane discard) using the quantization table of FIG. 9B. This is also an example of the component C0. Since the 3LL coefficient indicates a value of 1 in the C0 component, one of the 8 bit planes is discarded. Since the 1HH coefficient has a value of 7 in the C0 component, 7 of the 8 bit planes are discarded (the bit planes to be discarded are indicated by shading). FIG. 9D shows the code after truncating the values in the quantization table for all subbands in this way. In the figure, the discarded bit planes are shaded.
[0041]
  When the entropy decoding means 22 receives the truncated code, it calculates the total number of bit planes discarded in all components and all subbands, and calculates the calculated value (truncated bit). The number of planes) is output to the tile boundary control means 26 and the tile boundary smoothing means 27.
[0042]
  The tile boundary control means 26 exhibits a function of determining whether or not the tile boundary smoothing means 27 needs to smooth the vicinity of the tile boundary. The tile boundary control means 26 includes: The image data (RGB data) obtained by the color space inverse transform unit 25 is input, and the number of truncated bit planes output from the entropy decoding unit 22 is input.
[0043]
  Whether or not smoothing processing in the vicinity of the tile boundary is necessary is determined according to the quantization rate. The quantization rate is the total number of bit planes remaining without being discarded for each subband in the case of wavelet transform using a 5 × 3 filter. And the quantization rate is lower than a predetermined thresholdlargeSince the distortion of the tile boundary is not conspicuous in the image, it is determined that the smoothing process in the vicinity of the tile boundary is unnecessary. This makes it possible to shorten the processing time for suppressing tile boundary distortion. On the other hand, the quantization rate issmallSince the distortion of the tile boundary is conspicuous in the image, it is determined that a smoothing process in the vicinity of the tile boundary is necessary.
[0044]
  Thus, when the tile boundary control unit 26 determines that the smoothing process in the vicinity of the tile boundary is necessary, the image data obtained by the color space inverse conversion unit 25 with respect to the tile boundary smoothing unit 27 is obtained. When (RGB data) is output and it is determined that the smoothing process near the tile boundary is unnecessary, the smoothing process near the tile boundary is not performed and the color space inverse conversion unit 25 obtains The image data (RGB data) is output to the image display device 3 as it is.
[0045]
  The tile boundary smoothing unit 27 smoothes pixels near the tile boundary with respect to the image data (RGB data) obtained by the color space inverse conversion unit 25 to make the distortion of the tile boundary inconspicuous. More specifically, pixels in the vicinity of the tile boundary are smoothed by increasing the strength of the low-pass filter that cuts high-frequency components of the image in accordance with the quantization rate in order to suppress tile boundary distortion.
[0046]
  Here, a specific example of processing in the tile boundary smoothing means 27 will be shown. FIG. 10 is an explanatory diagram showing an example of processing in the tile boundary smoothing means 27. As shown in FIG. 10, the tile boundary smoothing unit 27 applies a low-pass filter to pixels in the vicinity of the tile boundary (pixels in the shaded area including the tile boundary pixels in FIG. 10).
[0047]
  Here, FIG. 11 is an explanatory diagram illustrating an example of a low-pass filter at a vertical tile boundary. As shown in FIG. 11, the vertical tile boundary a (see FIG. 10) is subjected to a low-pass filter (one-dimensional horizontally long filter) F <b> 1 perpendicular to the vertical tile boundary a to thereby obtain a vertical tile. Boundary distortion can be suppressed. In this embodiment, an example of a one-dimensional horizontally long filter has been described. However, any filter may be used as long as it has a frequency characteristic that reduces frequency components in the horizontal direction.
[0048]
  FIG. 12 is an explanatory diagram showing an example of a low-pass filter at a horizontal tile boundary. As shown in FIG. 12, the horizontal tile boundary b (see FIG. 10) is subjected to a low-pass filter (one-dimensional vertical filter) F2 perpendicular to the horizontal tile boundary b to thereby apply the horizontal tile. Boundary distortion can be suppressed. In the present embodiment, an example of a one-dimensional vertically long filter has been described. However, any filter may be used as long as the low-pass filter has a frequency characteristic that reduces frequency components in the vertical direction.
[0049]
  FIG. 13 is an explanatory diagram showing an example of a low-pass filter in the vicinity of the intersection between the vertical tile boundary and the horizontal tile boundary. As shown in FIG. 13, by applying a cross-shaped low-pass filter F3 to the vicinity of the intersection of the vertical tile boundary a and the horizontal tile boundary b, the vertical tile boundary a and the horizontal tile boundary b are applied. Tile boundary distortion near the intersection with can be suppressed. In the present embodiment, an example of a cross-shaped filter has been described. However, any filter may be used as long as the low-pass filter has a frequency characteristic that drops both frequency components in the vertical direction and the horizontal direction.
[0050]
  By the way, the filter center weighting coefficient m of the low-pass filters F1, F2, and F3 is variably controlled in accordance with the amount of codes to be decoded. In the case of wavelet transform using a 5 × 3 filter, the weighting coefficient m at the center of the low-pass filter is determined according to the quantization rate (the total number of bit planes remaining without being discarded for each subband) R,
m = K / R (K: constant)
It will be controlled based on the formula. Also, the quantization rate R is Xi, where Xi is the number of bit planes that remain without being discarded in subband i.
[0051]
[Equation 5]

  Is defined as This control example is merely an example. If the control method is such that the value of the weighting coefficient m at the center of the low-pass filter increases as the total number R of bit planes remaining without being discarded for each subband increases. Any control method may be used.
[0052]
  Therefore, as shown in FIG. 14, the quantization rate (the total number of bit planes remaining without being discarded for each subband) R islargeIn this case, the strength of the low-pass filter for suppressing tile boundary distortion can be reduced. Conversely, the quantization rate (the total number of bit planes remaining without being discarded for each subband) R issmallIn this case, the strength of the low-pass filter for suppressing tile boundary distortion can be increased. Note that the quantization rate (the total number of bit planes remaining without being discarded for each subband) R is greater than a predetermined number.largeIn some cases, a configuration in which a low-pass filter for suppressing tile boundaries is not applied can be used.
[0053]
  Here, the low-pass filter is applied to the tile boundary in each decoded frame while controlling the strength of the low-pass filter in accordance with the quantization rate (the total number of bit planes remaining without being discarded for each subband). Thus, the distortion of the tile boundary is smoothed. As a result, the total number of truncated bit planes for each subband is used as a parameter for the strength of the low-pass filter, so that a low-pass filter for suppressing tile boundary distortion can be accurately applied to both an image that is easy to compress and an image that is difficult to compress. Therefore, it is possible to obtain a high-quality playback image.
[0054]
  The quantization rate R may be calculated based on subbands of a predetermined layer or lower, or may be calculated based on subbands other than LL. In this way, it is possible to shorten the processing time for suppressing tile boundary distortion.
[0055]
  In this embodiment, the image compression / decompression method according to the “JPEG2000 algorithm” has been described. However, the present invention is not limited to this. Any image compression / decompression method that converts an image into a frequency space can be used. An expansion method may be used.
[0056]
  [Second Embodiment]
  Next, a second embodiment of the present invention will be described. Note that the same parts as those described in the first embodiment are denoted by the same reference numerals and description thereof is omitted (the same applies to the following embodiments). In the first embodiment, the case of wavelet transformation using a 5 × 3 filter has been described. However, in this embodiment, the case of wavelet transformation using a 9 × 7 filter has been described.
[0057]
  In the case of wavelet transform using a 9 × 7 filter, the definition of the quantization rate is different from that in the case of wavelet transform using a 5 × 3 filter. The quantization rate R in the case of the wavelet transform by the 9 × 7 filter is expressed as follows:
[0058]
[Formula 6]

  Is defined as That is, the quantization rate R in the case of the wavelet transform by the 9 × 7 filter is a value obtained by adding the value of the power of 2 bit planes remaining without discarding a certain subband by the amount of the subband.
[0059]
  Thus, in the case of wavelet transform using a 9 × 7 filter, the weighting coefficient m at the center of the low-pass filter depends on the quantization rate R,
m = K / R (K: constant)
  It will be controlled based on the formula. This control example is just an example,2Number of bit planes that remain without being discardedValue obtained by adding the power value by the amount of the subbandAny control method may be used as long as the value of the weighting coefficient m at the center of the low-pass filter increases as R increases.
[0060]
  Therefore, as shown in FIG. 14, when the quantization rate R is large, the strength of the low-pass filter for suppressing tile boundary distortion can be reduced. Conversely, when the quantization rate R is small, the strength of the low-pass filter for suppressing tile boundary distortion can be increased. In addition, when the quantization rate R is larger than a predetermined number, it is possible to adopt a configuration in which a low-pass filter for suppressing tile boundaries is not applied.
[0061]
  Here, the distortion of the tile boundary is smoothed by applying the low-pass filter to the tile boundary in each frame after decoding while controlling the strength of the low-pass filter in accordance with the quantization rate. As a result, the total number of truncated bit planes for each subband is used as a parameter for the strength of the low-pass filter, so that a low-pass filter for suppressing tile boundary distortion can be accurately applied to both an image that is easy to compress and an image that is difficult to compress. Therefore, it is possible to obtain a high-quality playback image.
[0062]
  The quantization rate R may be calculated based on subbands of a predetermined layer or lower, or may be calculated based on subbands other than LL. In this way, it is possible to shorten the processing time for suppressing tile boundary distortion.
[0063]
  [Third embodiment]
  Next, a third embodiment of the present invention will be described. In this embodiment, not all the pixels near the tile boundary are subjected to the low-pass filter, but the tile boundary to be subjected to the low-pass filter is limited and only the pixels near the tile boundary are subjected to the low-pass filter. is there.
[0064]
  FIG. 15 is a functional block diagram of the image decompression apparatus 2 of the present embodiment. As shown in FIG. 15, the CPU 6 operates based on computer software (image processing program), so that tag processing means 21, entropy decoding means 22, inverse quantization means 23, two-dimensional wavelet inverse transformation means 24, color The image decompression apparatus 2 having the functions of the spatial inverse transform unit 25, the tile boundary control unit 26, the corrected tile boundary limiting unit 28, and the tile boundary smoothing unit 27 is realized.
[0065]
  The corrected tile boundary limiting unit 28 functions to limit the tile boundary to be subjected to the low-pass filter in the tile boundary smoothing unit 27. The corrected tile boundary limiting unit 28 includes a color space inverse conversion unit 25. The image data (RGB data) determined by the tile boundary control means 26 and determined to require smoothing processing in the vicinity of the tile boundary is input.
[0066]
  Here, FIG. 16 and FIG. 17 are explanatory diagrams illustrating an example of processing for applying a low-pass filter only to a tile boundary in a ROI (Region Of Interest) region. This ROI region is a part of the entire image when it is cut out and enlarged from the entire image or emphasized as compared with other parts.
[0067]
  When the quantization rate is small, tile boundary distortion becomes conspicuous in the ROI region. Therefore, in the present embodiment, when the quantization rate is smaller than a predetermined threshold, a low pass filter is applied only to the tile boundary in the ROI region.
[0068]
  FIG. 16 shows a case where the ROI area is an area along the tile boundary. When the ROI boundary is set as shown in FIG. 16A, the tile boundary to which the low-pass filter is applied is set in the portion indicated by the dotted line in FIG. A low-pass filter is not applied to the ROI boundary indicated by the bold line in FIG.
[0069]
  FIG. 17 shows a case where the ROI region is a region not along the tile boundary. When the ROI boundary is set as shown in FIG. 17A, the tile boundary to which the low-pass filter is applied is set in the portion indicated by the dotted line in FIG. Whether the tile boundary pixel is inside the ROI is calculated by calculation. If the tile boundary pixel is inside the ROI, a low pass filter is applied to the pixel. If the tile boundary pixel is outside the ROI, no low pass filter is applied to the pixel.
[0070]
  In the present embodiment, whether or not to apply the low pass filter is determined depending on whether or not it is inside the ROI, but other than that, the low pass filter is applied only to the tile boundary pixels of the portion where the edge amount of the vertical or horizontal component is large. You may perform control to apply.
[0071]
  Thereby, the correction tile boundary limiting unit 28 limits the tile boundary pixels to be subjected to the low-pass filter, and the image data (RGB data) obtained by the color space inverse conversion unit 25 with respect to the tile boundary smoothing unit 27. Output.
[0072]
  Here, by controlling the tile boundary pixels to be subjected to the low-pass filter, the processing time for suppressing the tile boundary distortion can be shortened.
[0073]
  [Fourth embodiment]
  Next, a fourth embodiment of the present invention will be described. The same parts as those described in the third embodiment are denoted by the same reference numerals, and the description thereof is also omitted. In this embodiment, not all the pixels near the tile boundary are subjected to the low-pass filter, but the tile boundary to be subjected to the low-pass filter is limited and the low-pass filter is applied only to the pixels near the tile boundary. This is the same as in the third embodiment. However, the present embodiment is different from the third embodiment in the method for limiting the tile boundary to be subjected to the low pass filter.
[0074]
  When the quantization rate is large, tile boundary distortion is often not noticeable in the ROI area, and conversely, tile boundary distortion outside the ROI area is noticeable. Therefore, in the present embodiment, when the quantization rate is larger than a predetermined threshold, only a tile boundary outside the ROI region is subjected to a low-pass filter.
[0075]
  Here, FIG. 18 and FIG. 19 are explanatory diagrams showing an example of processing for applying a low pass filter only to the tile boundary outside the ROI region.
[0076]
  FIG. 18 shows a case where the ROI region is a region along the tile boundary. When the ROI boundary is set as shown in FIG. 18A, the tile boundary to which the low pass filter is applied is set to a portion other than the portion indicated by the dotted line in FIG.
[0077]
  FIG. 19 shows a case where the ROI region is a region not along the tile boundary. When the ROI boundary is set as shown in FIG. 19A, the tile boundary to which the low-pass filter is applied is set to a portion other than the portion indicated by the dotted line in FIG. Whether or not the tile boundary pixel is inside the ROI is calculated by calculation, and if the tile boundary pixel is inside the ROI, the pixel is not subjected to a low-pass filter. If the tile boundary pixel is outside the ROI, a low pass filter is applied to the pixel.
[0078]
  Thereby, the correction tile boundary limiting unit 28 limits the tile boundary pixels to be subjected to the low-pass filter, and the image data (RGB data) obtained by the color space inverse conversion unit 25 with respect to the tile boundary smoothing unit 27. Output.
[0079]
  Here, by controlling the tile boundary pixels to be subjected to the low-pass filter, the processing time for suppressing the tile boundary distortion can be shortened.
[0080]
  In each embodiment, a personal computer is applied as the image processing apparatus 1. However, the present invention is not limited to this. For example, a digital camera, a personal digital assistant (PDA), a mobile phone, or the like can be applied as the image processing apparatus 1.
[0081]
According to the present embodiment, a low-pass filter that suppresses tile boundary distortion can be applied to both an image that is easy to compress and an image that is difficult to compress, so that a high-quality reproduced image can be obtained. The
[0082]
According to the present embodiment, it is possible to reliably obtain the quantization rate R in the case of wavelet transform using a 5 × 3 filter.
According to the present embodiment, the processing time for suppressing tile boundary distortion can be shortened.
[0083]
According to the present embodiment, it is possible to reliably obtain the quantization rate R in the case of wavelet transform using a 9 × 7 filter.
[0084]
According to the present embodiment, since the distortion at the tile boundary is conspicuous in an image with a small quantization rate R, a strong low-pass filter is applied, and conversely, the distortion at the tile boundary is hardly noticeable in an image with a large quantization rate R By applying a weak low-pass filter, an optimum adaptive post filter can be applied for each frame.
[0085]
According to the present embodiment, the smaller the quantization rate R is, the larger the weighting coefficient m of the filter center of the low-pass filter is. Therefore, the lower the quantization rate R, the stronger the low-pass filter can be. .
[0086]
According to the present embodiment, it is determined that tile boundary distortion is not noticeable in an image having a quantization rate R larger than a predetermined threshold, and tile boundary distortion smoothing processing is avoided, thereby suppressing tile boundary distortion. The processing time for can be shortened.
[0087]
According to the present embodiment, it is possible to shorten the processing time for suppressing the tile boundary distortion by controlling the tile boundary pixels to be subjected to the low-pass filter.
[0088]
According to the present embodiment, when the quantization rate R is smaller than a predetermined threshold, the processing time for suppressing the tile boundary distortion is shortened by applying the low-pass filter only to the tile boundary in the ROI region. be able to.
[0089]
According to the present embodiment, when the quantization rate R is larger than a predetermined threshold, the processing time for suppressing the tile boundary distortion is shortened by applying the low-pass filter only to the tile boundary outside the ROI region. be able to.
[0090]
According to the computer-readable storage medium of the present embodiment, since the program of the present invention is stored, the program stored in the storage medium is read by the computer, so that it is the same as the program of the present invention. Can get the action of.
【The invention's effect】
[0091]
  According to the present invention,Since a low-pass filter for suppressing tile boundary distortion can be applied to both an image that is easy to compress and an image that is difficult to compress, a high-quality reproduced image can be obtained.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of processing for quantization, code discarding, and image quality control in JPEG 2000, which is a premise of the present invention.
FIG. 2 is an explanatory diagram showing a relationship among an image, a tile, a subband, a precinct, and a code block.
FIG. 3 is an explanatory diagram of an example of a layer when the number of layers of Wavelet conversion is 2, and the precinct size is a subband size.
4 is an explanatory diagram of an example of a packet included in the layer of FIG. 3;
FIG. 5 is a system configuration diagram showing a system including the image processing apparatus according to the first embodiment of the present invention.
FIG. 6 is a functional block diagram of the image processing apparatus.
FIG. 7 is a block diagram schematically illustrating a hardware configuration of the image processing apparatus.
FIG. 8 is a functional block diagram of an image expansion apparatus.
FIG. 9 is an explanatory diagram showing a relationship between a quantization table and the number of truncations.
FIG. 10 is an explanatory diagram illustrating an example of processing in a tile boundary smoothing unit.
FIG. 11 is an explanatory diagram illustrating an example of a low-pass filter at a vertical tile boundary.
FIG. 12 is an explanatory diagram illustrating an example of a low-pass filter at a horizontal tile boundary.
FIG. 13 is an explanatory diagram illustrating an example of a low-pass filter in the vicinity of an intersection between a vertical tile boundary and a horizontal tile boundary.
FIG. 14 is an explanatory diagram showing a relationship between a quantization rate R and the strength of a low-pass filter.
FIG. 15 is a functional block diagram of an image expansion apparatus according to a second embodiment of the present invention.
FIG. 16 is an explanatory diagram illustrating an example of processing according to the third exemplary embodiment of the present invention, in which only a tile boundary in the ROI region is subjected to a low-pass filter.
FIG. 17 is an explanatory diagram illustrating an example of a process for applying a low pass filter only to a tile boundary in the ROI region.
FIG. 18 is an example of a process according to the fourth embodiment of the present invention, illustrating an example of a process for applying a low-pass filter only to a tile boundary outside the ROI area.
FIG. 19 is an explanatory diagram showing an example of a process for applying a low-pass filter only to a tile boundary outside the ROI region.
[Explanation of symbols]
2 Image decoding device
11 Storage media
27 Tile boundary smoothing means
28 Correction tile boundary limiting means

Claims

画像をタイル毎にウェーブレット変換し量子化することにより得られた圧縮符号を復号する画像復号装置において、
画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、
前記タイル境界平滑化手段は、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Ｒに応じて前記ローパスフィルタの強度を制御することを特徴とする画像復号装置。In an image decoding apparatus for decoding a compression code obtained by wavelet transforming and quantizing an image for each tile ,
Tile boundary smoothing means for smoothing distortion of the tile boundary after decoding using a low-pass filter that cuts high frequency components of the image,
The tile boundary smoothing unit controls the strength of the low-pass filter according to a quantization rate R based on the number of bit planes remaining without being discarded for each subband in subbands of a predetermined hierarchy or lower. An image decoding apparatus.

前記量子化率Ｒは、ＬＬ以外のサブバンドに基づいて算出されることを特徴とする請求項1記載の画像復号装置。The quantization rate R, the image decoding apparatus according to claim 1, characterized in that it is calculated based on the sub-band other than the LL.

前記ウェーブレット変換が５×３フィルタによるウェーブレット変換の場合、前記量子化率Ｒは、下記の式

Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出されることを特徴とする請求項１記載の画像復号装置。 When the wavelet transform is a wavelet transform using a 5 × 3 filter , the quantization rate R is expressed by the following equation:

Xi: the image decoding apparatus according to claim 1, characterized in that it is calculated based on the number of remaining bit planes without being destroyed by the sub-band i.

前記ウェーブレット変換が９×７フィルタによるウェーブレット変換の場合、前記量子化率Ｒは、下記の式

Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出されることを特徴とする請求項１記載の画像復号装置。 When the wavelet transform is a wavelet transform using a 9 × 7 filter , the quantization rate R is expressed by the following equation:

前記量子化率Ｒが小さいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項１記載の画像復号装置。The higher the quantization factor R is small, the image decoding apparatus according to claim 1, wherein the stronger the intensity of the low-pass filter.

前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝Ｋ／Ｒ（Ｋ：１以上の定数）
に基づいて算出することを特徴とする請求項２又は３記載の画像復号装置。The weighting coefficient m of the filter center of the low-pass filter is expressed by the following equation m = K / R (K: a constant of 1 or more )
The image decoding apparatus according to claim 2 , wherein the image decoding apparatus calculates the image based on the above.

前記量子化率Ｒが所定の閾値よりも大きい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項１記載の画像復号装置。If the quantization factor R is greater than a predetermined threshold, the image decoding apparatus according to claim 1, characterized in that so as not to perform distortion smoothing process tile boundaries by the tile boundary smoothing means.

タイル境界を限定する補正タイル境界限定手段を備え、
前記補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項１乃至７の何れか１項に記載の画像復号装置。A correction tile boundary limiting means for limiting the tile boundary;
8. The tile boundary distortion smoothing process by the tile boundary smoothing unit is performed only on the neighboring pixels of the tile boundary defined by the corrected tile boundary limiting unit . The image decoding device according to item 1 .

前記量子化率Ｒが所定の閾値よりも小さい場合には、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項８記載の画像復号装置。If the quantization factor R is less than a predetermined threshold, the tile boundaries to be limited by the correction tile boundary limitation means, ROI (Region Of Interest) of claim 8, wherein a is in the region Image decoding device.

前記量子化率Ｒが所定の閾値よりも大きい場合には、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）領域外であることを特徴とする請求項８記載の画像復号装置。If the quantization factor R is greater than a predetermined threshold, the tile boundaries to be limited by the correction tile boundary limitation means, ROI (Region Of Interest) according to claim 8, characterized in that outside the area Image decoding device.

画像をタイル毎にウェーブレット変換し量子化することにより得られた圧縮符号の復号をコンピュータに実行させるプログラムにおいて、
画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、
前記タイル境界平滑化機能では、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Ｒに応じて前記ローパスフィルタの強度を前記コンピュータに制御させることを特徴とするプログラム。In a program for causing a computer to decode a compression code obtained by wavelet transforming and quantizing an image for each tile ,
Causing the computer to execute a tile boundary smoothing function for smoothing distortion of a tile boundary after decoding using a low-pass filter that cuts a high-frequency component of an image;
The tile boundary smoothing function causes the computer to control the strength of the low-pass filter according to the quantization rate R based on the number of bit planes remaining without being discarded for each subband in subbands of a predetermined hierarchy or lower . A program characterized by that.

前記量子化率Ｒを、ＬＬ以外のサブバンドに基づいて算出することを特徴とする請求項１１記載のプログラム。12. The program according to claim 11 , wherein the quantization rate R is calculated based on subbands other than LL.

Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出することを特徴とする請求項１１記載のプログラム。 When the wavelet transform is a wavelet transform using a 5 × 3 filter , the quantization rate R is expressed by the following equation:

12. The program according to claim 11, wherein the calculation is based on the number of bit planes remaining without being discarded in subband i.

Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出することを特徴とする請求項１１記載のプログラム。 When the wavelet transform is a wavelet transform using a 9 × 7 filter , the quantization rate R is expressed by the following equation:

前記量子化率Ｒが小さいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項１１記載のプログラム。12. The program according to claim 11 , wherein the strength of the low-pass filter is increased as the quantization rate R is smaller.

前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝Ｋ／Ｒ（Ｋ：１以上の定数）
に基づいて算出することを特徴とする請求項１２又は１３記載のプログラム。The weighting coefficient m of the filter center of the low-pass filter is expressed by the following equation m = K / R (K: a constant of 1 or more )
14. The program according to claim 12, wherein the calculation is performed based on the program.

前記量子化率Ｒが所定の閾値よりも大きい場合には、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項１１記載のプログラム。12. The program according to claim 11 , wherein when the quantization rate R is greater than a predetermined threshold, the tile boundary distortion smoothing process by the tile boundary smoothing function is not performed.

タイル境界を限定する補正タイル境界限定機能を備え、
この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項１１乃至１７の何れか１項に記載のプログラム。It has a correction tile boundary limiting function that limits the tile boundary,
18. The tile boundary distortion smoothing process by the tile boundary smoothing function is performed only on the neighboring pixels of the tile boundary limited by the corrected tile boundary limiting function . The program according to item 1 .

前記量子化率Ｒが所定の閾値よりも小さい場合には、前記補正タイル境界限定機能により限定されるタイル境界は、ＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項１８記載のプログラム。 19. The tile boundary defined by the correction tile boundary limiting function is within a region of interest (ROI) region when the quantization rate R is smaller than a predetermined threshold. program.

前記量子化率Ｒが所定の閾値よりも大きい場合には、前記補正タイル境界限定機能により限定されるタイル境界は、ＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）領域外であることを特徴とする請求項１８記載のプログラム。 19. The tile boundary defined by the correction tile boundary limiting function is outside a region of interest (ROI) region when the quantization rate R is greater than a predetermined threshold. program.

請求項１１ないし２０の何れか一項に記載のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。A computer-readable storage medium storing the program according to any one of claims 11 to 20 .

画像をタイル毎にウェーブレット変換し量子化することにより得られた圧縮符号を復号する画像復号方法において、
画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、
前記タイル境界平滑化工程では、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Ｒに応じて前記ローパスフィルタの強度を制御することを特徴とする画像復号方法。In an image decoding method for decoding a compression code obtained by wavelet transform and quantizing an image for each tile ,
Including a tile boundary smoothing step of smoothing distortion of the tile boundary after decoding using a low-pass filter that cuts a high-frequency component of the image;
In the tile boundary smoothing step, the strength of the low-pass filter is controlled according to a quantization rate R based on the number of bit planes remaining without being discarded for each subband in subbands of a predetermined layer or lower. An image decoding method.