JP4067460B2 - Image decoding apparatus, program, storage medium, and image decoding method - Google Patents
Image decoding apparatus, program, storage medium, and image decoding method Download PDFInfo
- Publication number
- JP4067460B2 JP4067460B2 JP2003180679A JP2003180679A JP4067460B2 JP 4067460 B2 JP4067460 B2 JP 4067460B2 JP 2003180679 A JP2003180679 A JP 2003180679A JP 2003180679 A JP2003180679 A JP 2003180679A JP 4067460 B2 JP4067460 B2 JP 4067460B2
- Authority
- JP
- Japan
- Prior art keywords
- tile boundary
- image
- tile
- pass filter
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000013139 quantization Methods 0.000 claims description 72
- 238000009499 grossing Methods 0.000 claims description 51
- 230000006835 compression Effects 0.000 claims description 20
- 238000007906 compression Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 30
- 230000006837 decompression Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 6
- 238000003908 quality control method Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 101001126234 Homo sapiens Phospholipid phosphatase 3 Proteins 0.000 description 1
- 102100030450 Phospholipid phosphatase 3 Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】
【0002】
本発明は、インターネット画像、医療用画像、衛星通信用画像などの画像を扱う機器であるパーソナルコンピュータ,携帯情報端末(PDA),携帯電話,デジタルカメラ等に用いられる画像復号装置、プログラム、記憶媒体及び画像復号方法に関する。
【従来の技術】
【0003】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ(Digital Camera)を例にあげると、300万以上の画素数を持つ高性能な電荷結合素子(CCD:Charge Coupled Device)の低価格化が進み、普及価格帯の製品においても広く用いられるようになっている。
【0004】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、CRTやLCD(液晶表示デバイス)、PDP(プラズマ表示デバイス)等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【0005】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ(Personal Computer)やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【0006】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【0007】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域(タイル)に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【0008】
ところで、JPEG2000における分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、非特許文献1にも記載があるように、圧縮率の高い条件で圧縮伸長処理を行った場合には、伸長後の画像においてタイルの境界が不連続となるという問題がある。
【0009】
従来、このような問題を解決するために、隣接するタイル同士で境界を互いにオーバーラップさせて処理を行う手法が提案されている。ところが、JPEG2000のベースラインでは、隣接するタイル境界を重複させないことになっている。
【0010】
そこで、このような問題を解決すべく、特許文献1においては、タイル境界の近傍のみに均一な平滑化フィルタをかけることにより、タイル境界を目立たなくするという技術が提案されている。
【非特許文献1】
J. X. Wei, M. R. Pickering, M. R. Frater and J. F. Arnold, ”A New Method for Reducing Boundary Artifacts in Block−Based Wavelet Image Compression,” in VCIP 2000, K. N. Ngan, T. Sikora, M−T Sun Eds., Proc. of SPIE Vol. 4067, pp. 1290−1295, 20−23 June 2000, Perth, Australia
【特許文献1】
特開平05−014735号公報
【発明が解決しようとする課題】
【0011】
しかしながら、特許文献1において提案されている技術によれば、タイル境界歪み抑制には効果があるが、タイル境界のエッジ度合いが強い場合には、平滑化フィルタをかけたことによりタイル境界の近傍でエッジがぼやけて帯状の画像品質劣化が現れてしまうという問題がある。
【0012】
本発明の目的は、品質の良い再生画像を得ることができる画像復号装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【0013】
本発明の目的は、タイル境界歪み抑制のための処理時間を短縮することができる画像復号装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【課題を解決するための手段】
【0014】
本発明の画像復号装置は、画像をタイル毎にウェーブレット変換し量子化することにより得られた圧縮符号を復号する画像復号装置において、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、前記タイル境界平滑化手段は、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Rに応じて前記ローパスフィルタの強度を制御する。
【0015】
本発明のプログラムは、画像をタイル毎にウェーブレット変換し量子化することにより得られた圧縮符号の復号をコンピュータに実行させるプログラムにおいて、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、前記タイル境界平滑化機能では、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Rに応じて前記ローパスフィルタの強度を前記コンピュータに制御させる。
【0016】
本発明の記憶媒体は、本発明のプログラムを記憶しているコンピュータに読取り可能な記憶媒体である。
【0017】
本発明の画像復号方法は、画像をタイル毎にウェーブレット変換し量子化することにより得られた圧縮符号を復号する画像復号方法において、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、前記タイル境界平滑化工程では、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Rに応じて前記ローパスフィルタの強度を制御する。
【発明の実施の形態】
【0018】
[JPEG2000について]
最初に、本実施の形態の前提となる「JPEG2000」における量子化、符号破棄および画質制御について説明する。JPEG2000の符号化処理は、概ね図1の流れで行われる。すなわち、画像データを圧縮符号化するときは、画像をタイル分割して、このタイルにDCレベルシフト、色変換を施し(a)、タイルごとにWavelet変換を行って(b)、サブバンドごとに量子化する(c)。そして、コードブロック毎にビットプレーン符号化を行い(d)、不要な符号を破棄して、必要な符号をまとめて、パケットを生成する(e)。後は、パケットを並べて符号形成を行う(f)。圧縮後の符号を伸長するには、これらの処理の流れを逆にたどればよい。
【0019】
図2は、画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。タイルとは、画像を矩形に分割した単位であり、分割数=1の場合、画像=タイルである。JPEG2000では個々のタイルを独立した1つの画像と見なし、Wavelet変換がなされ、サブバンドが生成される。JPEG2000の基本仕様では、Wavelet変換として9×7変換を用いる場合、同一のサブバンドに含まれる係数を同一の数で除算し、線形に量子化することができる。したがって、線形量子化による画質制御は、サブバンド単位で可能である(線形量子化による画質制御単位はサブバンドである)。
【0020】
プリシンクトとは、サブバンドを(ユーザが指定可能なサイズの)矩形に分割した単位で、大まかには画像中の場所(Position)を表すものであり、インプリメンテーションでメモリを効率的に使うために導入されたものである。プリシンクトは、HL,LH,HHの3つのサブバンドにおいて空間的に一致している。つまり、プリシンクトは3つで1つのまとまりを成すものである。ただし、LLサブバンドを分割したプリシンクトは1つで1つのまとまりを成すものである。このようなプリシンクトは、サブバンドと同じサイズにすることも可能である。
【0021】
更に、個々のプリシンクトは、重複しない(ユーザが指定可能なサイズの)矩形の「コードブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【0022】
また、量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される(1つのビットプレーンは3つのサブビットプレーンに分解されて符号化される)。
【0023】
プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの(例えば、全てのコードブロックのMSB(Most Significant Bit:最上位ビット)から3枚目までのビットプレーンの符号を集めたもの)がパケットである。ここで、符号の“一部”とは“空”でもいいので、パケットの中身が符号的には“空(から)”という場合もある。全てのプリシンクト(すなわち、全てのコードブロック、全てのサブバンド)のパケットを集めると、画像全域の符号の一部(例えば、画像全域のWavelet係数のMSBから3枚目までのビットプレーンの符号)ができるが、これをレイヤとよぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。レイヤはいわば画質の単位である。
【0024】
全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。図3は、Wavelet変換の階層数(デコンポジションレベル)=2、プリシンクトサイズ=サブバンドサイズとしたときのレイヤ、図4はそれに含まれるパケットの例である。これらの場合は、プリシンクトサイズ=サブバンドサイズであり、図2でいうプリンシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル2のサブバンドは4個のコードブロックに、デコンポジションレベル1のサブバンドは9個のコードブロックに分割されている。パケットは、プリシンクトを単位とするものであるから、プリシンクト=サブバンドとした場合、HL〜HHサブバンドを跨いだものとなる。図4中、いくつかのパケットを太線で囲んで示している。
【0025】
ここで、パケットは「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号は、パケットとして生成する必要はない。例えば、図3のレイヤNo.9に含まれるような下位ビットプレーンの符号は、破棄するのが通常である。
【0026】
したがって、符号破棄による画質制御は、コードブロック単位(かつ、サブビットプレーン単位)で可能である(符号破棄による画質制御単位はコードブロックである)。なお、パケットの並びをプログレッション順序と呼ぶ。
【0027】
[発明の実施の形態]
[第一の実施の形態]
以下、本発明の第一の実施の形態について説明する。なお、ここでは、JPEG2000を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【0028】
図5は、本発明が適用される画像処理装置1を含むシステムを示すシステム構成図、図6は画像処理装置1の機能ブロック図である。図5に示すように、本発明が適用される画像処理装置1は、例えばパーソナルコンピュータであり、インターネットであるネットワーク5を介して各種画像データを記憶保持するサーバコンピュータSに接続可能とされている。サーバコンピュータSには、「JPEG2000アルゴリズム」に従って生成された圧縮符号である画像データが記憶保持されている。
【0029】
そして、図6に示すように、画像処理装置1は、ネットワーク5を介して画像処理装置1に出力された符号列データ(JPEG2000データ)を伸長(復号)して画像の画像データとする画像復号装置である画像伸長装置2と、この伸長後の画像データによる画像を表示する画像表示装置3と、ネットワーク5を介して画像処理装置1に出力された符号列データ(JPEG2000データ)を記憶する符号列記憶部4とを備えている。符号列記憶部4は、一般的なバッファとしての機能、あるいは、画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【0030】
図7は、画像処理装置1のハードウェア構成を概略的に示すブロック図である。図7に示すように、画像処理装置1は、コンピュータの主要部であって各部を集中的に制御するCPU(Central Processing Unit)6を備えている。このCPU6には、BIOSなどを記憶した読出し専用メモリであるROM(Read Only Memory)7と、各種データを書換え可能に記憶するRAM(Random Access Memory)8とがバス9で接続されている。RAM8は、各種データを書換え可能に記憶する性質を有していることから、CPU6の作業エリアとして機能し、例えば入力バッファ等の役割を果たす。
【0031】
さらにバス9には、符号列記憶部4として機能するHDD(Hard Disk Drive)10と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてCD(Compact Disc)−ROM11を読み取るCD−ROMドライブ12と、画像処理装置1とネットワーク5との通信を司る通信制御装置13と、キーボードやマウスなどの入力装置14と、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)である表示装置15とが、図示しないI/Oを介して接続されている。
【0032】
そして、ネットワーク5を介してサーバコンピュータSからダウンロードした圧縮符号は、符号列記憶部4として機能するHDD10に格納されることになる。
【0033】
また、図7に示すCD−ROM11は、この発明の記憶媒体を実施するものであり、OS(Operating System)や各種コンピュータソフトウェアが記憶されている。CPU6は、CD−ROM11に記憶されているコンピュータソフトウェアをCD−ROMドライブ12で読み取り、HDD10にインストールする。
【0034】
このような構成の画像処理装置1のHDD10には、コンピュータソフトウェアの一つとして、画像を処理する画像処理プログラムが記憶されている。この画像処理プログラムは本発明のプログラムを実施するものである。そして、この画像処理プログラムに基づいてCPU6が実行する処理により、画像伸長装置2の機能を実現する。
【0035】
なお、記憶媒体としては、CD−ROM11のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブル・ディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置13を介してインターネットなどのネットワーク5からコンピュータソフトウェアをダウンロードし、HDD10にインストールするようにしてもよい。この場合に、送信側のサーバでコンピュータソフトウェアを記憶している記憶装置も、この発明の記憶媒体である。なお、コンピュータソフトウェアは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【0036】
ここで、画像処理装置1の各部の動作について図6を参照しつつ簡単に説明する。ネットワーク5を介して画像処理装置1に出力された符号列データ(JPEG2000データ)は、符号列記憶部4に格納され、また、画像伸長装置2で伸長処理される。そして、画像伸長装置2で伸長処理されて生成された画像の画像データは、画像表示装置3に出力され、この伸長後の画像データによる画像が表示装置15に表示される。
【0037】
続いて、本発明の主要部分である画像伸長装置2について詳述する。ここで、図8は画像伸長装置2の機能ブロック図である。図8に示すように、CPU6がコンピュータソフトウェア(画像処理プログラム)に基づいて動作することで、タグ処理手段21、エントロピー復号化手段22、逆量子化手段23、2次元Wavelet逆変換手段24、色空間逆変換手段25、タイル境界制御手段26、タイル境界の近傍の平滑化処理を行うタイル境界平滑化手段27の各機能を有する画像伸長装置2を実現する。
【0038】
画像伸長装置2は、このような構成により符号列データ(JPEG2000データ)から画像データを生成する。この場合、タグ処理手段21は入力した符号列データ(JPEG2000データ)に付加されたタグ情報を解釈し、復号化の対象となるビットの位置を定める。エントロピー復号化手段22は符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。逆量子化手段23は対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストを生成する。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元Wavelet逆変換手段24で2次元Wavelet逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換手段25によって元の表色系の画像データ(RGBデータ)に変換され、タイル境界制御手段26に出力される。
【0039】
ところで、「JPEG2000アルゴリズム」においては、符号列データ(JPEG2000データ)の符号化に際し、前述したような符号の破棄を行うポスト量子化(トランケーション)が実行される。このようなポスト量子化(トランケーション)は、量子化テーブルを用いて実行される。
【0040】
図9に量子化テーブルとトランケート数の関係を示す。図9(a)はトランケート前の符号の例である。本例では色成分が3種類あり、図9(a)は、その中の一つ(C0)を示している。また、本例では、階層数は3である。図9(a)に示すように、ここでは縦横方向に、3LL,3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HHの10種類のサブバンドに分かれ、深さ方向に8つのビットプレーンで構成されている符号を表している。本例では、深さ方向はビットプレーンに分けているが、一つのビットプレーンをさらに3つのサブビットプレーンに分ける構成にしてもよい。図9(b)は量子化テーブルの一例である。各コンポーネント(色成分)、サブバンド毎に、破棄するビットプレーンの数が記述してある。図9(c)は、図9(b)の量子化テーブルを用いた、トランケーション(ビットプレーンの破棄)の一例である。これもコンポーネントはC0の例である。3LL係数は、C0成分では1という値を示しているので、8枚のビットプレーンのうち1枚を破棄する。1HH係数は、C0成分では7という値を示しているので、8枚のビットプレーンのうち7枚を破棄する(破棄するビットプレーンが網掛けで示されている)。このようにして、すべてのサブバンドについて、量子化テーブルの値によりトランケートした後の符号が図9(d)である。同図においては、破棄されたビットプレーンが網掛けで示されている。
【0041】
そして、エントロピー復号化手段22は、このようなトランケートした後の符号を受け取ると、全てのコンポーネントと全てのサブバンドにおいて破棄されたビットプレーンの総数を算出し、その算出した値(トランケートされたビットプレーン数)をタイル境界制御手段26とタイル境界平滑化手段27に出力する。
【0042】
タイル境界制御手段26は、タイル境界平滑化手段27によるタイル境界の近傍の平滑化処理が必要であるか否かを判定する機能を発揮するものであって、このタイル境界制御手段26には、色空間逆変換手段25によって得られた画像データ(RGBデータ)が入力されるとともに、エントロピー復号化手段22から出力されたトランケートされたビットプレーン数が入力される。
【0043】
タイル境界の近傍の平滑化処理が必要であるか否かは、量子化率に応じて判定される。量子化率とは、5×3フィルタによるウェーブレット変換の場合では、サブバンド毎に破棄されずに残ったビットプレーン数の総数である。そして、量子化率が所定の閾値よりも大きい画像では、タイル境界の歪みが目立たないので、タイル境界の近傍の平滑化処理が不要であると判定する。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。一方、量子化率が小さい画像では、タイル境界の歪みが目立つので、タイル境界の近傍の平滑化処理が必要であると判定する。
【0044】
これにより、タイル境界制御手段26は、タイル境界の近傍の平滑化処理が必要であると判定した場合には、タイル境界平滑化手段27に対して色空間逆変換手段25によって得られた画像データ(RGBデータ)を出力し、タイル境界の近傍の平滑化処理が不要であると判定した場合には、タイル境界の近傍の平滑化処理を行わずに、色空間逆変換手段25によって得られた画像データ(RGBデータ)をそのまま画像表示装置3に出力する。
【0045】
タイル境界平滑化手段27は、色空間逆変換手段25によって得られた画像データ(RGBデータ)に対し、タイル境界の近傍の画素を平滑化してタイル境界の歪みを目立たなくするものである。より詳細には、タイル境界歪み抑制のために画像の高周波成分をカットするローパスフィルタの強度を量子化率に応じて強くすることにより、タイル境界の近傍の画素を平滑化するものである。
【0046】
ここで、タイル境界平滑化手段27における処理の具体例を示す。図10はタイル境界平滑化手段27における処理の一例を示す説明図である。図10に示すように、タイル境界平滑化手段27は、タイル境界の近傍の画素(図10中、タイル境界画素を含む網掛け領域の画素)に対してローパスフィルタをかける。
【0047】
ここで、図11は縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。図11に示すように、縦方向タイル境界a(図10参照)に対しては、縦方向タイル境界aに垂直なローパスフィルタ(1次元の横長のフィルタ)F1をかけることにより、縦方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、1次元の横長のフィルタの例で説明したが、横方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【0048】
図12は横方向タイル境界におけるローパスフィルタの一例を示す説明図である。図12に示すように、横方向タイル境界b(図10参照)に対しては、横方向タイル境界bに垂直なローパスフィルタ(1次元の縦長のフィルタ)F2をかけることにより、横方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、1次元の縦長のフィルタの例で説明したが、縦方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【0049】
図13は縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。図13に示すように、縦方向タイル境界aと横方向タイル境界bとの交点の近傍に対しては、十字型のローパスフィルタF3をかけることにより、縦方向タイル境界aと横方向タイル境界bとの交点付近のタイル境界歪みを抑制することができる。なお、本実施の形態では、十字型のフィルタの例で説明したが、縦方向と横方向との周波数成分を共に落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【0050】
ところで、ローパスフィルタF1,F2,F3のフィルタ中心の重み付けの係数mは復号化される符号量に応じて可変制御される。5×3フィルタによるウェーブレット変換の場合、ローパスフィルタの中心の重み付けの係数mは、量子化率(サブバンド毎に破棄されずに残ったビットプレーン数の総数)Rに応じて、
m=K/R(K:定数)
という式に基づいて制御されることになる。また、量子化率Rは、サブバンドiで破棄されずに残ったビットプレーン数をXiとすると、
【0051】
【数5】
として定義される。この制御例はあくまで一例であり、サブバンド毎に破棄されずに残ったビットプレーン数の総数Rが大きくなるほど、ローパスフィルタの中心の重み付けの係数mの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【0052】
したがって、図14に示すように、量子化率(サブバンド毎に破棄されずに残ったビットプレーン数の総数)Rが大きい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を弱くすることができる。逆に、量子化率(サブバンド毎に破棄されずに残ったビットプレーン数の総数)Rが小さい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を強くすることができる。なお、量子化率(サブバンド毎に破棄されずに残ったビットプレーン数の総数)Rが所定の数より大きい場合には、タイル境界抑制のためのローパスフィルタをかけない構成にすることもできる。
【0053】
ここに、量子化率(サブバンド毎に破棄されずに残ったビットプレーン数の総数)に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【0054】
なお、量子化率Rは、所定階層以下のサブバンドに基づいて算出するものであっても良いし、LL以外のサブバンドに基づいて算出するものであっても良い。このようにすることで、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0055】
また、本実施の形態においては、「JPEG2000アルゴリズム」に従った画像圧縮伸長方式で説明したが、これに限るものではなく、画像を周波数空間に変換する画像圧縮伸長方式であれば、いかなる画像圧縮伸長方式を用いても良い。
【0056】
[第二の実施の形態]
次に、本発明の第二の実施の形態について説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する(以降の実施の形態においても同様とする)。第一の実施の形態では、5×3フィルタによるウェーブレット変換の場合について説明したが、本実施の形態では、9×7フィルタによるウェーブレット変換の場合について説明したものである。
【0057】
9×7フィルタによるウェーブレット変換の場合には、5×3フィルタによるウェーブレット変換の場合とは量子化率の定義が異なる。9×7フィルタによるウェーブレット変換の場合の量子化率Rは、サブバンドiで破棄されずに残ったビットプレーン数をXiとすると、
【0058】
【数6】
として定義される。すなわち、9×7フィルタによるウェーブレット変換の場合の量子化率Rは、あるサブバンドの破棄されずに残った2のビットプレーン数乗の値をサブバンドの分だけ加算した値である。
【0059】
これにより、9×7フィルタによるウェーブレット変換の場合、ローパスフィルタの中心の重み付けの係数mは、量子化率Rに応じて、
m=K/R(K:定数)
という式に基づいて制御されることになる。この制御例はあくまで一例であり、2の破棄されずに残ったビットプレーン数乗の値をサブバンドの分だけ加算した値Rが大きくなるほど、ローパスフィルタの中心の重み付けの係数mの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【0060】
したがって、図14に示すように、量子化率Rが大きい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を弱くすることができる。逆に、量子化率Rが小さい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を強くすることができる。なお、量子化率Rが所定の数より大きい場合には、タイル境界抑制のためのローパスフィルタをかけない構成にすることもできる。
【0061】
ここに、量子化率に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【0062】
なお、量子化率Rは、所定階層以下のサブバンドに基づいて算出するものであっても良いし、LL以外のサブバンドに基づいて算出するものであっても良い。このようにすることで、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【0063】
[第三の実施の形態]
次に、本発明の第三の実施の形態について説明する。本実施の形態は、全てのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにしたものである。
【0064】
図15は本実施の形態の画像伸長装置2の機能ブロック図である。図15に示すように、CPU6はコンピュータソフトウェア(画像処理プログラム)に基づいて動作することで、タグ処理手段21、エントロピー復号化手段22、逆量子化手段23、2次元ウェーブレット逆変換手段24、色空間逆変換手段25、タイル境界制御手段26、補正タイル境界限定手段28、タイル境界平滑化手段27の各機能を有する画像伸長装置2を実現する。
【0065】
補正タイル境界限定手段28は、タイル境界平滑化手段27においてローパスフィルタをかけるべきタイル境界を限定する機能を発揮するものであって、この補正タイル境界限定手段28には、色空間逆変換手段25によって得られ、タイル境界制御手段26でタイル境界の近傍の平滑化処理が必要であると判定された画像データ(RGBデータ)が入力される。
【0066】
ここで、図16及び図17は、ROI(Region Of Interest)領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。このROI領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【0067】
量子化率が小さい場合には、ROI領域内はタイル境界歪みが目立ってしまう。そこで本実施の形態においては、量子化率が所定の閾値よりも小さい場合には、ROI領域内のタイル境界のみにローパスフィルタをかけるようにしたものである。
【0068】
図16は、ROI領域がタイル境界に沿った領域である場合について示すものである。図16(a)に示すようにROI境界が設定されたら、ローパスフィルタをかけるタイル境界は図16(b)に点線で示す部分に設定する。図16(b)に太線で示すROI境界部にはローパスフィルタをかけない。
【0069】
図17は、ROI領域がタイル境界に沿っていない領域である場合について示すものである。図17(a)に示すようにROI境界が設定されたら、ローパスフィルタをかけるタイル境界は図17(b)に点線で示す部分に設定する。タイル境界画素がROI内部か否かを演算によって算出し、該タイル境界画素がROI内部であればその画素にローパスフィルタをかける。該タイル境界画素がROI外部であれば、その画素にはローパスフィルタをかけない。
【0070】
なお、本実施の形態では、ROI内部か否かで、ローパスフィルタをかけるか否かを判定したが、それ以外にも、縦または横成分のエッジ量が大きい部分のタイル境界画素のみにローパスフィルタをかけるという制御を行っても良い。
【0071】
これにより、補正タイル境界限定手段28は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段27に対して色空間逆変換手段25によって得られた画像データ(RGBデータ)を出力する。
【0072】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0073】
[第四の実施の形態]
次に、本発明の第四の実施の形態について説明する。なお、第三の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態も、全てのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにした点で第三の実施の形態と同様である。しかしながら、本実施の形態においては、第三の実施の形態とは、ローパスフィルタをかけるべきタイル境界の限定手法が異なっている。
【0074】
量子化率が大きい場合には、ROI領域内はタイル境界歪みが目立たない場合が多く、逆に、ROI領域外のタイル境界歪みが目立ってしまう。そこで本実施の形態においては、量子化率が所定の閾値よりも大きい場合には、ROI領域外のタイル境界のみにローパスフィルタをかけるようにしたものである。
【0075】
ここで、図18及び図19は、ROI領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【0076】
図18は、ROI領域がタイル境界に沿った領域である場合について示すものである。図18(a)に示すようにROI境界が設定されたら、ローパスフィルタをかけるタイル境界は図18(b)に点線で示す部分以外に設定する。
【0077】
図19は、ROI領域がタイル境界に沿っていない領域である場合について示すものである。図19(a)に示すようにROI境界が設定されたら、ローパスフィルタをかけるタイル境界は図19(b)に点線で示す部分以外に設定する。タイル境界画素がROI内部か否かを演算によって算出し、該タイル境界画素がROI内部であればその画素にはローパスフィルタをかけない。該タイル境界画素がROI外部であれば、その画素にはローパスフィルタをかける。
【0078】
これにより、補正タイル境界限定手段28は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段27に対して色空間逆変換手段25によって得られた画像データ(RGBデータ)を出力する。
【0079】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0080】
なお、各実施の形態においては、画像処理装置1としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、デジタルカメラ、携帯情報端末(PDA)や携帯電話などを画像処理装置1として適用することもできる。
【0081】
本実施の形態によれば、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができ る。
【0082】
本実施の形態によれば、5×3フィルタによるウェーブレット変換の場合における量子化率Rを確実に得ることができる。
本実施の形態によれば、タイル境界歪み抑制のための処理時間を短縮することができる。
【0083】
本実施の形態によれば、9×7フィルタによるウェーブレット変換の場合における量子化率Rを確実に得ることができる。
【0084】
本実施の形態によれば、量子化率Rが小さい画像ではタイル境界の歪みが目立つことから、強いローパスフィルタをかけ、逆に量子化率Rが大きい画像ではタイル境界の歪みが目立ちにくいことから、弱いローパスフィルタをかけることにより、フレーム毎に最適な適応的ポストフィルタをかけることができる。
【0085】
本実施の形態によれば、量子化率Rが小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数mも大きくなることにより、量子化率Rが小さいほど、ローパスフィルタの強度を強くすることができる。
【0086】
本実施の形態によれば、量子化率Rが所定の閾値よりも大きい画像では、タイル境界の歪みが目立たないと判断し、タイル境界の歪み平滑化処理を回避することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0087】
本実施の形態によれば、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0088】
本実施の形態によれば、量子化率Rが所定の閾値よりも小さい場合には、ROI領域内のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0089】
本実施の形態によれば、量子化率Rが所定の閾値よりも大きい場合には、ROI領域外のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【0090】
本実施の形態のコンピュータに読取り可能な記憶媒体によれば、本発明のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、本発明のプログラムと同様の作用を得ることができる。
【発明の効果】
【0091】
本発明によれば、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の前提となるJPEG2000における量子化、符号破棄および画質制御についての処理の説明図である。
【図2】画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。
【図3】Wavelet変換の階層数が2として、プリシンクトサイズをサブバンドサイズとしたときのレイヤの例の説明図である。
【図4】図3のレイヤに含まれるパケットの例の説明図である。
【図5】本発明の第一の実施の形態の画像処理装置を含むシステムを示すシステム構成図である。
【図6】画像処理装置の機能ブロック図である。
【図7】画像処理装置のハードウェア構成を概略的に示すブロック図である。
【図8】画像伸長装置の機能ブロック図である。
【図9】量子化テーブルとトランケート数の関係を示す説明図である。
【図10】タイル境界平滑化手段における処理の一例を示す説明図である。
【図11】縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図12】横方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図13】縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。
【図14】量子化率Rとローパスフィルタの強度との関係を示す説明図である。
【図15】本発明の第二の実施の形態の画像伸長装置の機能ブロック図である。
【図16】本発明の第三の実施の形態における処理の一例であり、ROI領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図17】ROI領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図18】本発明の第四の実施の形態における処理の一例であり、ROI領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図19】ROI領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【符号の説明】
2 画像復号装置
11 記憶媒体
27 タイル境界平滑化手段
28 補正タイル境界限定手段[0001]
BACKGROUND OF THE INVENTION
[0002]
The present invention relates to an image decoding apparatus, a program, and a storage medium used for personal computers, personal digital assistants (PDAs), mobile phones, digital cameras, and the like, which are devices that handle images such as Internet images, medical images, and satellite communication images. And an image decoding method.
[Prior art]
[0003]
Due to advances in image input technology and output technology, the demand for higher definition of images has increased greatly in recent years. For example, taking a digital camera as an example of an image input device, the price of a high-performance charge-coupled device (CCD) having a number of pixels of 3 million or more has been reduced, and the spread price range has been increased. It is also widely used in other products.
[0004]
On the other hand, for image output / display devices, for example, products in the hard copy field such as laser printers, ink jet printers, sublimation printers, and flats such as CRTs, LCDs (liquid crystal display devices), and PDPs (plasma display devices). The high definition and low price of products in the soft copy field of panel displays are remarkable.
[0005]
Due to the market launch of these high-performance, low-priced image input / output products, high-definition images have become popular, and it is expected that demand for high-definition images will increase in all situations. In fact, the development of technology related to networks such as personal computers and the Internet is accelerating these trends. In particular, recently, mobile devices such as mobile phones and notebook personal computers have become very popular, and opportunities for transmitting or receiving high-definition images from any point using communication means are rapidly increasing.
[0006]
Against this background, it is inevitable that the demand for higher performance or higher functionality for image compression / decompression technology that facilitates the handling of high-definition images will become stronger in the future.
[0007]
Therefore, in recent years, a new method called JPEG2000, which can restore high-quality images even at a high compression rate, is being standardized as one of image compression methods that satisfy these requirements. In JPEG2000, it is possible to perform compression / decompression processing in a small memory environment by dividing an image into rectangular regions (tiles). That is, each tile becomes a basic unit for executing the compression / decompression process, and the compression / decompression operation can be performed independently for each tile.
[0008]
By the way, the division processing in JPEG2000 is called tiling and is an effective technique for saving memory and increasing the speed. However, as described in
[0009]
Conventionally, in order to solve such a problem, a method has been proposed in which processing is performed by overlapping boundaries between adjacent tiles. However, in the JPEG 2000 baseline, adjacent tile boundaries are not overlapped.
[0010]
Therefore, in order to solve such a problem,
[Non-Patent Document 1]
J. et al. X. Wei, M.M. R. Pickering, M.M. R. Frater and J.M. F. Arnold, “A New Method for Reducing Boundary Artifacts in Block-Based Wavelet Image Compression,” in VCIP 2000, K.A. N. Ngan, T .; Sikora, M-T Sun Eds. , Proc. of SPIE Vol. 4067, pp. 1290-1295, 20-23 June 2000, Perth, Australia
[Patent Document 1]
Japanese Patent Laid-Open No. 05-014735
[Problems to be solved by the invention]
[0011]
However, according to the technique proposed in
[0012]
An object of the present invention is to provide an image decoding device, a program, a storage medium, and an image decoding method capable of obtaining a high-quality reproduced image.
[0013]
An object of the present invention is to provide an image decoding device, a program, a storage medium, and an image decoding method capable of reducing the processing time for suppressing tile boundary distortion.
[Means for Solving the Problems]
[0014]
The image decoding apparatus of the present inventionthe imageFor each tileBy wavelet transform and quantizationObtainedIn an image decoding apparatus that decodes a compression code, a low-pass filter that cuts high-frequency components of the image is used to perform decoding.Tile borderComprising tile boundary smoothing means for smoothing distortion ofSaidThe tile boundary smoothing meansDepending on the quantization rate R based on the number of remaining bitplanes in each subband in subbands below a predetermined hierarchyControls the strength of the low-pass filter.
[0015]
The program according to the present invention is a program for causing a computer to decode a compression code obtained by wavelet transforming and quantizing an image for each tile, and decoding tiles using a low-pass filter that cuts high-frequency components of the image. The tile boundary smoothing function for smoothing the boundary distortion is executed by the computer. In the tile boundary smoothing function, the number of bit planes remaining without being discarded for each subband in the subbands of a predetermined layer or lower is obtained. Causing the computer to control the strength of the low-pass filter according to the quantization rate R based on.
[0016]
The storage medium of the present invention is a computer-readable storage medium storing the program of the present invention..
[0017]
The image decoding method of the present invention includes:the imageFor each tileBy wavelet transform and quantizationObtainedIn an image decoding method for decoding a compression code, a low-pass filter that cuts a high-frequency component of the image is used to perform decoding.Tile borderA tile boundary smoothing step for smoothing the distortion ofSaidIn the tile boundary smoothing process,Depending on the quantization rate R based on the number of remaining bitplanes in each subband in subbands below a predetermined hierarchyControls the strength of the low-pass filter.
DETAILED DESCRIPTION OF THE INVENTION
[0018]
[About JPEG2000]
First, quantization, code discard, and image quality control in “JPEG2000”, which are the premise of the present embodiment, will be described. JPEG2000 encoding processing is generally performed according to the flow shown in FIG. That is, when compressing and encoding image data, the image is divided into tiles, DC level shift and color conversion are performed on the tiles (a), Wavelet conversion is performed for each tile (b), and each tile is sub-banded. Quantize (c). Then, bit plane encoding is performed for each code block (d), unnecessary codes are discarded, and necessary codes are collected to generate a packet (e). Thereafter, the packets are arranged to form a code (f). In order to expand the code after compression, the flow of these processes may be reversed.
[0019]
FIG. 2 is an explanatory diagram showing the relationship among images, tiles, subbands, precincts, and code blocks. A tile is a unit obtained by dividing an image into rectangles. When the number of divisions = 1, the image = tile. In JPEG2000, each tile is regarded as an independent image, wavelet conversion is performed, and a subband is generated. In the basic specification of JPEG2000, when 9 × 7 conversion is used as Wavelet conversion, coefficients included in the same subband can be divided by the same number and linearly quantized. Therefore, image quality control by linear quantization is possible in subband units (image quality control units by linear quantization are subbands).
[0020]
A precinct is a unit obtained by dividing a subband into rectangles (of a size that can be specified by the user), and roughly represents a position in the image (Position), so that memory can be used efficiently in implementation. Was introduced. The precinct is spatially matched in the three subbands HL, LH, and HH. That is, three precincts form one unit. However, one precinct obtained by dividing the LL subband is a single unit. Such a precinct can be the same size as the subband.
[0021]
Furthermore, each precinct is divided into rectangular “code blocks” (of a size that can be specified by the user) that do not overlap. This is the basic unit for entropy coding.
[0022]
The quantized subband coefficients are bit-plane encoded in units of code blocks (one bit plane is decomposed into three sub-bit planes and encoded).
[0023]
Collected by extracting a part of the code from all code blocks included in the precinct (for example, collecting the codes of the MSB (Most Significant Bit) to the third bit plane of all the code blocks Is a packet. Here, the “part” of the code may be “empty”, and therefore the contents of the packet may be “empty” from the viewpoint of the code. When packets of all precincts (that is, all code blocks and all subbands) are collected, a part of the code of the entire image area (for example, the code of the MSB to the third bit plane of the Wavelet coefficient of the entire image area) This is called a layer. Since the layer is roughly a part of the code of the bit plane of the entire image, the image quality increases as the number of layers to be decoded increases. A layer is a unit of image quality.
[0024]
When all layers are collected, it becomes the code of all bit planes of the entire image. FIG. 3 shows layers when the number of layers of wavelet transform (decomposition level) = 2 and precinct size = subband size, and FIG. 4 shows an example of a packet included therein. In these cases, the precinct size is equal to the subband size, and the code block having the same size as the printinct size shown in FIG. In the code block, the sub-band of
[0025]
Here, the packet is “a collection of code blocks extracted and collected”, and unnecessary codes need not be generated as packets. For example, the layer number of FIG. The code of the lower bit plane as contained in 9 is usually discarded.
[0026]
Therefore, image quality control by code discard is possible in units of code blocks (and sub-bit plane units) (the image quality control unit by code discard is a code block). Note that the sequence of packets is called a progression order.
[0027]
[Embodiment of the Invention]
[First embodiment]
Hereinafter, a first embodiment of the present invention will be described. Here, an example relating to an image compression / decompression technique typified by JPEG2000 will be described. Needless to say, the present invention is not limited to the contents of the following description.
[0028]
FIG. 5 is a system configuration diagram showing a system including the
[0029]
Then, as shown in FIG. 6, the
[0030]
FIG. 7 is a block diagram schematically showing a hardware configuration of the
[0031]
Further, the bus 9 includes an HDD (Hard Disk Drive) 10 that functions as the code
[0032]
The compressed code downloaded from the server computer S via the
[0033]
A CD-
[0034]
The
[0035]
As the storage medium, not only the CD-
[0036]
Here, the operation of each unit of the
[0037]
Next, the
[0038]
The
[0039]
By the way, in the “JPEG2000 algorithm”, post-quantization (truncation) for discarding codes as described above is executed when encoding code string data (JPEG2000 data). Such post-quantization (truncation) is performed using a quantization table.
[0040]
FIG. 9 shows the relationship between the quantization table and the number of truncations. FIG. 9A shows an example of a code before truncation. In this example, there are three types of color components, and FIG. 9A shows one of them (C0). In this example, the number of hierarchies is three. As shown in FIG. 9A, here, in the vertical and horizontal directions, it is divided into 10 subbands of 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, and 1HH, and 8 in the depth direction. The code | symbol comprised by the bit plane is represented. In this example, the depth direction is divided into bit planes, but one bit plane may be further divided into three sub bit planes. FIG. 9B is an example of a quantization table. The number of bit planes to be discarded is described for each component (color component) and subband. FIG. 9C is an example of truncation (bit plane discard) using the quantization table of FIG. 9B. This is also an example of the component C0. Since the 3LL coefficient indicates a value of 1 in the C0 component, one of the 8 bit planes is discarded. Since the 1HH coefficient has a value of 7 in the C0 component, 7 of the 8 bit planes are discarded (the bit planes to be discarded are indicated by shading). FIG. 9D shows the code after truncating the values in the quantization table for all subbands in this way. In the figure, the discarded bit planes are shaded.
[0041]
When the entropy decoding means 22 receives the truncated code, it calculates the total number of bit planes discarded in all components and all subbands, and calculates the calculated value (truncated bit). The number of planes) is output to the tile boundary control means 26 and the tile boundary smoothing means 27.
[0042]
The tile boundary control means 26 exhibits a function of determining whether or not the tile boundary smoothing means 27 needs to smooth the vicinity of the tile boundary. The tile boundary control means 26 includes: The image data (RGB data) obtained by the color space
[0043]
Whether or not smoothing processing in the vicinity of the tile boundary is necessary is determined according to the quantization rate. The quantization rate is the total number of bit planes remaining without being discarded for each subband in the case of wavelet transform using a 5 × 3 filter. And the quantization rate is lower than a predetermined thresholdlargeSince the distortion of the tile boundary is not conspicuous in the image, it is determined that the smoothing process in the vicinity of the tile boundary is unnecessary. This makes it possible to shorten the processing time for suppressing tile boundary distortion. On the other hand, the quantization rate issmallSince the distortion of the tile boundary is conspicuous in the image, it is determined that a smoothing process in the vicinity of the tile boundary is necessary.
[0044]
Thus, when the tile
[0045]
The tile
[0046]
Here, a specific example of processing in the tile boundary smoothing means 27 will be shown. FIG. 10 is an explanatory diagram showing an example of processing in the tile boundary smoothing means 27. As shown in FIG. 10, the tile
[0047]
Here, FIG. 11 is an explanatory diagram illustrating an example of a low-pass filter at a vertical tile boundary. As shown in FIG. 11, the vertical tile boundary a (see FIG. 10) is subjected to a low-pass filter (one-dimensional horizontally long filter) F <b> 1 perpendicular to the vertical tile boundary a to thereby obtain a vertical tile. Boundary distortion can be suppressed. In this embodiment, an example of a one-dimensional horizontally long filter has been described. However, any filter may be used as long as it has a frequency characteristic that reduces frequency components in the horizontal direction.
[0048]
FIG. 12 is an explanatory diagram showing an example of a low-pass filter at a horizontal tile boundary. As shown in FIG. 12, the horizontal tile boundary b (see FIG. 10) is subjected to a low-pass filter (one-dimensional vertical filter) F2 perpendicular to the horizontal tile boundary b to thereby apply the horizontal tile. Boundary distortion can be suppressed. In the present embodiment, an example of a one-dimensional vertically long filter has been described. However, any filter may be used as long as the low-pass filter has a frequency characteristic that reduces frequency components in the vertical direction.
[0049]
FIG. 13 is an explanatory diagram showing an example of a low-pass filter in the vicinity of the intersection between the vertical tile boundary and the horizontal tile boundary. As shown in FIG. 13, by applying a cross-shaped low-pass filter F3 to the vicinity of the intersection of the vertical tile boundary a and the horizontal tile boundary b, the vertical tile boundary a and the horizontal tile boundary b are applied. Tile boundary distortion near the intersection with can be suppressed. In the present embodiment, an example of a cross-shaped filter has been described. However, any filter may be used as long as the low-pass filter has a frequency characteristic that drops both frequency components in the vertical direction and the horizontal direction.
[0050]
By the way, the filter center weighting coefficient m of the low-pass filters F1, F2, and F3 is variably controlled in accordance with the amount of codes to be decoded. In the case of wavelet transform using a 5 × 3 filter, the weighting coefficient m at the center of the low-pass filter is determined according to the quantization rate (the total number of bit planes remaining without being discarded for each subband) R,
m = K / R (K: constant)
It will be controlled based on the formula. Also, the quantization rate R is Xi, where Xi is the number of bit planes that remain without being discarded in subband i.
[0051]
[Equation 5]
Is defined as This control example is merely an example. If the control method is such that the value of the weighting coefficient m at the center of the low-pass filter increases as the total number R of bit planes remaining without being discarded for each subband increases. Any control method may be used.
[0052]
Therefore, as shown in FIG. 14, the quantization rate (the total number of bit planes remaining without being discarded for each subband) R islargeIn this case, the strength of the low-pass filter for suppressing tile boundary distortion can be reduced. Conversely, the quantization rate (the total number of bit planes remaining without being discarded for each subband) R issmallIn this case, the strength of the low-pass filter for suppressing tile boundary distortion can be increased. Note that the quantization rate (the total number of bit planes remaining without being discarded for each subband) R is greater than a predetermined number.largeIn some cases, a configuration in which a low-pass filter for suppressing tile boundaries is not applied can be used.
[0053]
Here, the low-pass filter is applied to the tile boundary in each decoded frame while controlling the strength of the low-pass filter in accordance with the quantization rate (the total number of bit planes remaining without being discarded for each subband). Thus, the distortion of the tile boundary is smoothed. As a result, the total number of truncated bit planes for each subband is used as a parameter for the strength of the low-pass filter, so that a low-pass filter for suppressing tile boundary distortion can be accurately applied to both an image that is easy to compress and an image that is difficult to compress. Therefore, it is possible to obtain a high-quality playback image.
[0054]
The quantization rate R may be calculated based on subbands of a predetermined layer or lower, or may be calculated based on subbands other than LL. In this way, it is possible to shorten the processing time for suppressing tile boundary distortion.
[0055]
In this embodiment, the image compression / decompression method according to the “JPEG2000 algorithm” has been described. However, the present invention is not limited to this. Any image compression / decompression method that converts an image into a frequency space can be used. An expansion method may be used.
[0056]
[Second Embodiment]
Next, a second embodiment of the present invention will be described. Note that the same parts as those described in the first embodiment are denoted by the same reference numerals and description thereof is omitted (the same applies to the following embodiments). In the first embodiment, the case of wavelet transformation using a 5 × 3 filter has been described. However, in this embodiment, the case of wavelet transformation using a 9 × 7 filter has been described.
[0057]
In the case of wavelet transform using a 9 × 7 filter, the definition of the quantization rate is different from that in the case of wavelet transform using a 5 × 3 filter. The quantization rate R in the case of the wavelet transform by the 9 × 7 filter is expressed as follows:
[0058]
[Formula 6]
Is defined as That is, the quantization rate R in the case of the wavelet transform by the 9 × 7 filter is a value obtained by adding the value of the power of 2 bit planes remaining without discarding a certain subband by the amount of the subband.
[0059]
Thus, in the case of wavelet transform using a 9 × 7 filter, the weighting coefficient m at the center of the low-pass filter depends on the quantization rate R,
m = K / R (K: constant)
It will be controlled based on the formula. This control example is just an example,2Number of bit planes that remain without being discardedValue obtained by adding the power value by the amount of the subbandAny control method may be used as long as the value of the weighting coefficient m at the center of the low-pass filter increases as R increases.
[0060]
Therefore, as shown in FIG. 14, when the quantization rate R is large, the strength of the low-pass filter for suppressing tile boundary distortion can be reduced. Conversely, when the quantization rate R is small, the strength of the low-pass filter for suppressing tile boundary distortion can be increased. In addition, when the quantization rate R is larger than a predetermined number, it is possible to adopt a configuration in which a low-pass filter for suppressing tile boundaries is not applied.
[0061]
Here, the distortion of the tile boundary is smoothed by applying the low-pass filter to the tile boundary in each frame after decoding while controlling the strength of the low-pass filter in accordance with the quantization rate. As a result, the total number of truncated bit planes for each subband is used as a parameter for the strength of the low-pass filter, so that a low-pass filter for suppressing tile boundary distortion can be accurately applied to both an image that is easy to compress and an image that is difficult to compress. Therefore, it is possible to obtain a high-quality playback image.
[0062]
The quantization rate R may be calculated based on subbands of a predetermined layer or lower, or may be calculated based on subbands other than LL. In this way, it is possible to shorten the processing time for suppressing tile boundary distortion.
[0063]
[Third embodiment]
Next, a third embodiment of the present invention will be described. In this embodiment, not all the pixels near the tile boundary are subjected to the low-pass filter, but the tile boundary to be subjected to the low-pass filter is limited and only the pixels near the tile boundary are subjected to the low-pass filter. is there.
[0064]
FIG. 15 is a functional block diagram of the
[0065]
The corrected tile
[0066]
Here, FIG. 16 and FIG. 17 are explanatory diagrams illustrating an example of processing for applying a low-pass filter only to a tile boundary in a ROI (Region Of Interest) region. This ROI region is a part of the entire image when it is cut out and enlarged from the entire image or emphasized as compared with other parts.
[0067]
When the quantization rate is small, tile boundary distortion becomes conspicuous in the ROI region. Therefore, in the present embodiment, when the quantization rate is smaller than a predetermined threshold, a low pass filter is applied only to the tile boundary in the ROI region.
[0068]
FIG. 16 shows a case where the ROI area is an area along the tile boundary. When the ROI boundary is set as shown in FIG. 16A, the tile boundary to which the low-pass filter is applied is set in the portion indicated by the dotted line in FIG. A low-pass filter is not applied to the ROI boundary indicated by the bold line in FIG.
[0069]
FIG. 17 shows a case where the ROI region is a region not along the tile boundary. When the ROI boundary is set as shown in FIG. 17A, the tile boundary to which the low-pass filter is applied is set in the portion indicated by the dotted line in FIG. Whether the tile boundary pixel is inside the ROI is calculated by calculation. If the tile boundary pixel is inside the ROI, a low pass filter is applied to the pixel. If the tile boundary pixel is outside the ROI, no low pass filter is applied to the pixel.
[0070]
In the present embodiment, whether or not to apply the low pass filter is determined depending on whether or not it is inside the ROI, but other than that, the low pass filter is applied only to the tile boundary pixels of the portion where the edge amount of the vertical or horizontal component is large. You may perform control to apply.
[0071]
Thereby, the correction tile
[0072]
Here, by controlling the tile boundary pixels to be subjected to the low-pass filter, the processing time for suppressing the tile boundary distortion can be shortened.
[0073]
[Fourth embodiment]
Next, a fourth embodiment of the present invention will be described. The same parts as those described in the third embodiment are denoted by the same reference numerals, and the description thereof is also omitted. In this embodiment, not all the pixels near the tile boundary are subjected to the low-pass filter, but the tile boundary to be subjected to the low-pass filter is limited and the low-pass filter is applied only to the pixels near the tile boundary. This is the same as in the third embodiment. However, the present embodiment is different from the third embodiment in the method for limiting the tile boundary to be subjected to the low pass filter.
[0074]
When the quantization rate is large, tile boundary distortion is often not noticeable in the ROI area, and conversely, tile boundary distortion outside the ROI area is noticeable. Therefore, in the present embodiment, when the quantization rate is larger than a predetermined threshold, only a tile boundary outside the ROI region is subjected to a low-pass filter.
[0075]
Here, FIG. 18 and FIG. 19 are explanatory diagrams showing an example of processing for applying a low pass filter only to the tile boundary outside the ROI region.
[0076]
FIG. 18 shows a case where the ROI region is a region along the tile boundary. When the ROI boundary is set as shown in FIG. 18A, the tile boundary to which the low pass filter is applied is set to a portion other than the portion indicated by the dotted line in FIG.
[0077]
FIG. 19 shows a case where the ROI region is a region not along the tile boundary. When the ROI boundary is set as shown in FIG. 19A, the tile boundary to which the low-pass filter is applied is set to a portion other than the portion indicated by the dotted line in FIG. Whether or not the tile boundary pixel is inside the ROI is calculated by calculation, and if the tile boundary pixel is inside the ROI, the pixel is not subjected to a low-pass filter. If the tile boundary pixel is outside the ROI, a low pass filter is applied to the pixel.
[0078]
Thereby, the correction tile
[0079]
Here, by controlling the tile boundary pixels to be subjected to the low-pass filter, the processing time for suppressing the tile boundary distortion can be shortened.
[0080]
In each embodiment, a personal computer is applied as the
[0081]
According to the present embodiment, a low-pass filter that suppresses tile boundary distortion can be applied to both an image that is easy to compress and an image that is difficult to compress, so that a high-quality reproduced image can be obtained. The
[0082]
According to the present embodiment, it is possible to reliably obtain the quantization rate R in the case of wavelet transform using a 5 × 3 filter.
According to the present embodiment, the processing time for suppressing tile boundary distortion can be shortened.
[0083]
According to the present embodiment, it is possible to reliably obtain the quantization rate R in the case of wavelet transform using a 9 × 7 filter.
[0084]
According to the present embodiment, since the distortion at the tile boundary is conspicuous in an image with a small quantization rate R, a strong low-pass filter is applied, and conversely, the distortion at the tile boundary is hardly noticeable in an image with a large quantization rate R By applying a weak low-pass filter, an optimum adaptive post filter can be applied for each frame.
[0085]
According to the present embodiment, the smaller the quantization rate R is, the larger the weighting coefficient m of the filter center of the low-pass filter is. Therefore, the lower the quantization rate R, the stronger the low-pass filter can be. .
[0086]
According to the present embodiment, it is determined that tile boundary distortion is not noticeable in an image having a quantization rate R larger than a predetermined threshold, and tile boundary distortion smoothing processing is avoided, thereby suppressing tile boundary distortion. The processing time for can be shortened.
[0087]
According to the present embodiment, it is possible to shorten the processing time for suppressing the tile boundary distortion by controlling the tile boundary pixels to be subjected to the low-pass filter.
[0088]
According to the present embodiment, when the quantization rate R is smaller than a predetermined threshold, the processing time for suppressing the tile boundary distortion is shortened by applying the low-pass filter only to the tile boundary in the ROI region. be able to.
[0089]
According to the present embodiment, when the quantization rate R is larger than a predetermined threshold, the processing time for suppressing the tile boundary distortion is shortened by applying the low-pass filter only to the tile boundary outside the ROI region. be able to.
[0090]
According to the computer-readable storage medium of the present embodiment, since the program of the present invention is stored, the program stored in the storage medium is read by the computer, so that it is the same as the program of the present invention. Can get the action of.
【The invention's effect】
[0091]
According to the present invention,Since a low-pass filter for suppressing tile boundary distortion can be applied to both an image that is easy to compress and an image that is difficult to compress, a high-quality reproduced image can be obtained.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of processing for quantization, code discarding, and image quality control in JPEG 2000, which is a premise of the present invention.
FIG. 2 is an explanatory diagram showing a relationship among an image, a tile, a subband, a precinct, and a code block.
FIG. 3 is an explanatory diagram of an example of a layer when the number of layers of Wavelet conversion is 2, and the precinct size is a subband size.
4 is an explanatory diagram of an example of a packet included in the layer of FIG. 3;
FIG. 5 is a system configuration diagram showing a system including the image processing apparatus according to the first embodiment of the present invention.
FIG. 6 is a functional block diagram of the image processing apparatus.
FIG. 7 is a block diagram schematically illustrating a hardware configuration of the image processing apparatus.
FIG. 8 is a functional block diagram of an image expansion apparatus.
FIG. 9 is an explanatory diagram showing a relationship between a quantization table and the number of truncations.
FIG. 10 is an explanatory diagram illustrating an example of processing in a tile boundary smoothing unit.
FIG. 11 is an explanatory diagram illustrating an example of a low-pass filter at a vertical tile boundary.
FIG. 12 is an explanatory diagram illustrating an example of a low-pass filter at a horizontal tile boundary.
FIG. 13 is an explanatory diagram illustrating an example of a low-pass filter in the vicinity of an intersection between a vertical tile boundary and a horizontal tile boundary.
FIG. 14 is an explanatory diagram showing a relationship between a quantization rate R and the strength of a low-pass filter.
FIG. 15 is a functional block diagram of an image expansion apparatus according to a second embodiment of the present invention.
FIG. 16 is an explanatory diagram illustrating an example of processing according to the third exemplary embodiment of the present invention, in which only a tile boundary in the ROI region is subjected to a low-pass filter.
FIG. 17 is an explanatory diagram illustrating an example of a process for applying a low pass filter only to a tile boundary in the ROI region.
FIG. 18 is an example of a process according to the fourth embodiment of the present invention, illustrating an example of a process for applying a low-pass filter only to a tile boundary outside the ROI area.
FIG. 19 is an explanatory diagram showing an example of a process for applying a low-pass filter only to a tile boundary outside the ROI region.
[Explanation of symbols]
2 Image decoding device
11 Storage media
27 Tile boundary smoothing means
28 Correction tile boundary limiting means
Claims (22)
画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、
前記タイル境界平滑化手段は、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Rに応じて前記ローパスフィルタの強度を制御することを特徴とする画像復号装置。In an image decoding apparatus for decoding a compression code obtained by wavelet transforming and quantizing an image for each tile ,
Tile boundary smoothing means for smoothing distortion of the tile boundary after decoding using a low-pass filter that cuts high frequency components of the image,
The tile boundary smoothing unit controls the strength of the low-pass filter according to a quantization rate R based on the number of bit planes remaining without being discarded for each subband in subbands of a predetermined hierarchy or lower. An image decoding apparatus.
に基づいて算出されることを特徴とする請求項1記載の画像復号装置。 When the wavelet transform is a wavelet transform using a 5 × 3 filter , the quantization rate R is expressed by the following equation:
に基づいて算出されることを特徴とする請求項1記載の画像復号装置。 When the wavelet transform is a wavelet transform using a 9 × 7 filter , the quantization rate R is expressed by the following equation:
m=K/R (K:1以上の定数)
に基づいて算出することを特徴とする請求項2又は3記載の画像復号装置。The weighting coefficient m of the filter center of the low-pass filter is expressed by the following equation m = K / R (K: a constant of 1 or more )
The image decoding apparatus according to claim 2 , wherein the image decoding apparatus calculates the image based on the above.
前記補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項1乃至7の何れか1項に記載の画像復号装置。A correction tile boundary limiting means for limiting the tile boundary;
8. The tile boundary distortion smoothing process by the tile boundary smoothing unit is performed only on the neighboring pixels of the tile boundary defined by the corrected tile boundary limiting unit . The image decoding device according to item 1 .
画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、
前記タイル境界平滑化機能では、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Rに応じて前記ローパスフィルタの強度を前記コンピュータに制御させることを特徴とするプログラム。In a program for causing a computer to decode a compression code obtained by wavelet transforming and quantizing an image for each tile ,
Causing the computer to execute a tile boundary smoothing function for smoothing distortion of a tile boundary after decoding using a low-pass filter that cuts a high-frequency component of an image;
The tile boundary smoothing function causes the computer to control the strength of the low-pass filter according to the quantization rate R based on the number of bit planes remaining without being discarded for each subband in subbands of a predetermined hierarchy or lower . A program characterized by that.
に基づいて算出することを特徴とする請求項11記載のプログラム。 When the wavelet transform is a wavelet transform using a 5 × 3 filter , the quantization rate R is expressed by the following equation:
に基づいて算出することを特徴とする請求項11記載のプログラム。 When the wavelet transform is a wavelet transform using a 9 × 7 filter , the quantization rate R is expressed by the following equation:
m=K/R (K:1以上の定数)
に基づいて算出することを特徴とする請求項12又は13記載のプログラム。The weighting coefficient m of the filter center of the low-pass filter is expressed by the following equation m = K / R (K: a constant of 1 or more )
14. The program according to claim 12, wherein the calculation is performed based on the program.
この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項11乃至17の何れか1項に記載のプログラム。It has a correction tile boundary limiting function that limits the tile boundary,
18. The tile boundary distortion smoothing process by the tile boundary smoothing function is performed only on the neighboring pixels of the tile boundary limited by the corrected tile boundary limiting function . The program according to item 1 .
画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、
前記タイル境界平滑化工程では、所定階層以下のサブバンドにおいて、前記サブバンド毎に破棄されずに残ったビットプレーン数に基づく量子化率Rに応じて前記ローパスフィルタの強度を制御することを特徴とする画像復号方法。In an image decoding method for decoding a compression code obtained by wavelet transform and quantizing an image for each tile ,
Including a tile boundary smoothing step of smoothing distortion of the tile boundary after decoding using a low-pass filter that cuts a high-frequency component of the image;
In the tile boundary smoothing step, the strength of the low-pass filter is controlled according to a quantization rate R based on the number of bit planes remaining without being discarded for each subband in subbands of a predetermined layer or lower. An image decoding method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003180679A JP4067460B2 (en) | 2003-06-25 | 2003-06-25 | Image decoding apparatus, program, storage medium, and image decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003180679A JP4067460B2 (en) | 2003-06-25 | 2003-06-25 | Image decoding apparatus, program, storage medium, and image decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005020241A JP2005020241A (en) | 2005-01-20 |
JP4067460B2 true JP4067460B2 (en) | 2008-03-26 |
Family
ID=34181603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003180679A Expired - Fee Related JP4067460B2 (en) | 2003-06-25 | 2003-06-25 | Image decoding apparatus, program, storage medium, and image decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4067460B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BRPI0612579A2 (en) * | 2005-06-17 | 2012-01-03 | Matsushita Electric Ind Co Ltd | After-filter, decoder and after-filtration method |
JP2007281654A (en) * | 2006-04-04 | 2007-10-25 | Olympus Corp | Image reproducing apparatus |
-
2003
- 2003-06-25 JP JP2003180679A patent/JP4067460B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005020241A (en) | 2005-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7302104B2 (en) | Smoothing tile boundaries of images encoded and decoded by JPEG 2000 | |
JP4714668B2 (en) | Improving the quality of compressed images | |
US7330596B2 (en) | Image decoding technique for suppressing tile boundary distortion | |
US7352908B2 (en) | Image compression device, image decompression device, image compression/decompression device, program for executing on a computer to perform functions of such devices, and recording medium storing such a program | |
JP3952459B2 (en) | Image processing apparatus, program, storage medium, and image processing method | |
US8320684B2 (en) | Image compressing apparatus, image compressing method and program | |
JP4111273B2 (en) | Image decoding apparatus, program, storage medium, and image decoding method | |
JP2005039793A (en) | Image encoding device, program, and storage medium | |
JP4067460B2 (en) | Image decoding apparatus, program, storage medium, and image decoding method | |
CN1842820A (en) | Method for spatial up-scaling of video frames | |
JP4145086B2 (en) | Image decoding apparatus, image processing apparatus, moving image display system, program, storage medium, and image decoding method | |
JP2004056260A (en) | Image decoder, image processor, program, recording medium and image decoding method | |
JP4118049B2 (en) | Image processing apparatus and method | |
JP4124436B2 (en) | Motion estimation device, program, storage medium, and motion estimation method | |
JP2002369202A (en) | Image compression device, image expansion device, image compressing method, image expanding method, program and recording medium stored with the program | |
JP2004064190A (en) | Image processing apparatus, method, program, and recording medium | |
JP4201163B2 (en) | Image processing apparatus, method, program, and recording medium | |
JP3961966B2 (en) | Unnecessary part removing apparatus, image processing apparatus, program, storage medium, and unnecessary part removing method | |
JP4117886B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
JP2004112566A (en) | Image processor, image processing method, image processing program, and storage medium for storing the image processing program | |
JP4323178B2 (en) | Search object restriction device, image processing apparatus, program, storage medium, and search object restriction method | |
JP4010957B2 (en) | Image processing apparatus, program, storage medium, and image forming apparatus | |
JP4424672B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
JP2004289737A (en) | Image coding device, image coding program, and image decoding program | |
JP2006086883A (en) | Device and method for processing image, program, and information recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041012 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051116 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080108 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4067460 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120118 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130118 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140118 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |