JP3961870B2 - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents
画像処理方法、画像処理装置、及び画像処理プログラム Download PDFInfo
- Publication number
- JP3961870B2 JP3961870B2 JP2002128682A JP2002128682A JP3961870B2 JP 3961870 B2 JP3961870 B2 JP 3961870B2 JP 2002128682 A JP2002128682 A JP 2002128682A JP 2002128682 A JP2002128682 A JP 2002128682A JP 3961870 B2 JP3961870 B2 JP 3961870B2
- Authority
- JP
- Japan
- Prior art keywords
- bit plane
- image
- index
- advance
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 22
- 230000006835 compression Effects 0.000 claims description 50
- 238000007906 compression Methods 0.000 claims description 50
- 230000015556 catabolic process Effects 0.000 claims description 35
- 238000006731 degradation reaction Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 22
- 239000003550 marker Substances 0.000 claims description 11
- 238000013139 quantization Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000012217 deletion Methods 0.000 description 10
- 230000037430 deletion Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理方法・画像処理装置・画像処理プログラム・音声処理方法・音声処理装置・音声処理プログラムに関する。
【従来の技術】
画像圧縮方式としては、国際標準であるＪＰＥＧやＪＰＥＧ２０００が知られている。
図１は、ＪＰＥＧ２０００により画像情報を圧縮する一般的な画像処理装置を表す。画像データ１１が画像処理装置１２に入力されると、変換部１３によって離散ウェーブレット変換され、量子化部１４によって量子化され、符号化部１５によってエントロピー符号化され、符号データ１６が出力される。すなわち、画像データ１１から符号データ１６へと画像情報が圧縮される。
なお、「画像情報」とは、画像データ１１のほか、変換された画像データ・量子化された画像データ・エントロピー符号化された画像データなど、画像データ１１及び画像データ１１から派生するデータの総称を意味するものとする。
図２は、ＪＰＥＧ２０００により画像情報を伸張する一般的な画像処理装置を表す。符号データ２１が画像処理装置２２に入力されると、復号化部２３によってエントロピー復号化され、逆量子化部２４によって逆量子化され、逆変換部２５によって逆離散ウェーブレット変換され、画像データ２６が出力される。すなわち、符号データ２１から画像データ２６へと画像情報が伸張される。
画像圧縮を行う画像処理装置と画像伸張を行う画像処理装置は、一体化されることも多い。
図３により変換部１３について説明する。ＪＰＥＧ２０００では、一般的に、図３Ａのように画像データ１１をタイル３１に分割して、図３Ｂのようにタイルごとに離散ウェーブレット変換（ＤＷＴ）がなされる。図は、画像データ１１を１２８×１２８の大きさのタイル３１に分割した例を示している。１２８×１２８の大きさのタイル３１を、変換部１３によりレベル２で離散ウェーブレット変換すると、図のように、６４×６４の大きさの３つのサブバンド１ＬＨ・１ＨＬ・１ＨＨと３２×３２の大きさの４つのサブバンド２ＬＬ・２ＬＨ・２ＨＬ・２ＨＨからなるウェーブレット係数データ３２が得られる。
図４により量子化部１４について説明する。図は、量子化に用いる式の例を示したものである。ａとｂはそれぞれ量子化前と量子化後のウェーブレット係数、｜ａ｜はａの絶対値、ｓｉｇｎ（ａ）はａの符号、［］はフロア関数、Δは量子化ステップを表す。この式により、ウェーブレット係数は値ａからｂへと量子化される。
図５により符号化部１５について説明する。ＪＰＥＧ２０００では、一般的に、図５Ａのように量子化されたウェーブレット係数データ５１のサブバンド５２を必要に応じてコードブロック５３に分割して（コードブロックより大きいサブバンドについて、コードブロックへの分割が必要となる。以下、コードブロックというときは、コードブロックに分割しないサブバンドも含むものとする）、さらに、図５Ｂのようにコードブロック５３をビットプレーン５４に分割して、図５Ｃのようにビットプレーンごとに算術符号化などのエントロピー符号化がなされる。図は、サブバンド５２を４×４の大きさのコードブロック５３に分割して（この場合はコードブロックを４×４の大きさにしているが、この大きさに限定されるものではない）、４×４の大きさのコードブロック５３を４つのビットプレーン５４に分割した例を示している。符号化部１５により、量子化されたウェーブレット係数データ５１はビットプレーン５４ごとにエントロピー符号化され、最終的に符号データ１６が出力される。
なお、ここまでは画像データ１１が単色からなる場合について説明したが、画像データ１１が複数色からなる場合については、図６のように、各色の画像データ（コンポーネント）を画像処理装置１２に入力すればよい。図６Ａは、ＲＧＢ方式で表現された画像データをそのまま入力するが、図６Ｂのように、ＹＣｂＣｒ方式などの他の方式に変換して入力する場合もある。ＪＰＥＧ２０００においては、一般に、図６Ｂの方式がとられている。これは、人間の視覚は輝度成分（Ｙ）に対しては敏感であるが、色差成分（Ｃｂ・Ｃｒ）に対してはそれほど敏感ではないので、ＹよりもＣｂとＣｒとをより圧縮することで圧縮率を高めるためである。
【発明が解決しようとする課題】
上述したように、ＪＰＥＧ２０００では、量子化されたウェーブレット係数データをビットプレーンに分割してビットプレーンごとに符号化するので、ビットプレーンごとにウェーブレット係数データを符号化した後において、符号化されたビットプレーンの切り捨てによる画像情報の圧縮が可能である。例えば、符号化されたビットプレーンを下位側から切り捨てていく（トランケーション）ことによる画像情報の圧縮が行われている。
よって、ある圧縮率が目標値として存在する場合、目標値になるまでデータを切り捨てていくことになるが、当然データを切り捨てていくと画質が劣化していくことになる。そのため、データを切り捨てる場合にどれだけデータを切り捨てるとどれだけ画質が劣化するかを検出する必要がある。
この検出方法として、ＪＰＥＧ２０００のＥｘａｍｐｌｅ ａｎｄ Ｇｕｉｄｅｌｉｎｅ（ＥＧ）で示されている方法では、まず、各コードブロックにおいてビットプレーンを下位側から１つトランケーションした場合の歪量を求め、次に、ビットプレーンを下位側から２つトランケーションした場合の歪量を求め、同様にして、すべてのビットプレーンをトランケーションしたときの歪量を求める。ＪＰＥＧ２０００のＥＧで示されている方法では、ウェーブレット係数データを符号化した後において歪量を求める場合、符号化されたビットプレーンをトランケーションした状態で復号化を行って原画像データとの誤差を調べる。誤差を調べる方法としては、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）を使用している。
このように、ＪＰＥＧ２０００のＥＧで示されている方法では、ウェーブレット係数データを符号化した後において各ビットプレーンまでトランケーションした場合の歪量をそれぞれ求めるために、各ビットブレーンまでトランケーションした状態でそれぞれ復号化を行ってＭＳＥで誤差を調べる。よって、ウェーブレット係数データを符号化した後において歪量を求めるための処理時間が復号化のために非常に長くなる、又は、歪量を求めるための処理時間を短くするためにハード量が非常に大きくなるという問題がある。
したがって、本発明は、ＪＰＥＧ２０００のように、画像情報を、そのビットプレーンごとに符号化して、ビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する画像処理方式において、ビットプレーンのトランケーションにともなう画像の劣化を、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに評価することを課題とする。
【課題を解決するための手段】
そこで上記課題を解決するため、本発明は、画像情報を、そのビットプレーンごとに符号化する符号化ステップと、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮ステップを有する画像処理方法において、前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成ステップを有し、前記指標生成ステップは、前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮ステップは、前記指標生成ステップにより予め生成された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする。
また、上記課題を解決するため、本発明は、画像情報を、そのビットプレーンごとに符号化する符号化ステップと、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮ステップを有する画像処理方法において、前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成ステップと、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報に、前記指標生成ステップにより予 め生成された前記指標パラメータを予め付加する指標付加ステップを有し、前記指標生成ステップは、前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮ステップは、前記指標付加ステップにより予め付加された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする。
また、本発明は、前記歪量推定ステップは、各ビットプレーンにおける最上位有効ビットの個数と各ビットプレーンにおけるレベルとの積の総和を画像の歪量と推定することを特徴とする。
また、本発明は、前記指標生成ステップは、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量のスロープパラメータを予め推定するスロープパラメータ推定ステップを有し、前記歪量推定ステップにより予め推定された前記画像の歪量と、前記スロープパラメータ推定ステップにより推定された前記画像の歪量のスロープパラメータを、前記指標パラメータとすることを特徴とする。
また、本発明は、前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であることを特徴とする。
また、本発明は、前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であり、且つ、前記指標付加ステップは、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報のコメントマーカに、前記指標生成ステップにより予め生成された前記指標パラメータを格納しておくことを特徴とする。
また、本発明は、前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であり、且つ、前記指標付加ステップは、前記符号化ステップによりビットプレーンごとに符号化された画像情報のメインヘッダ又はタイルパートヘッダに配置されたコメントマーカに、前記指標生成ステップにより予め生成された前記指標パラメータを格納しておくことを特徴とする。
また、上記課題を解決するため、本発明は、画像情報を、そのビットプレーンごとに符号化する符号化手段と、前記符号化手段によりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮手段を有する画像処理装置において、前記符号化手段によりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成手段を有し、前記指標生成手段は、前記符号化手段によりビットプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出手段と、前記個数抽出手段により予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定手段とを有し、前記歪量推定手段により予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮手段は、前記指標生成手段により予め生成された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする。
また、上記課題を解決するため、本発明は、画像情報を、そのビットプレーンごとに符号化する符号化手段と、前記符号化手段によりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮手段を有する画像処理装置において、前記符号化手段によりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成手段と、前記符号化手段によりビットプレーンごとに符号化された後の画像情報に、前記指標生成手段により予め生成された前記指標パラメータを予め付加する指標付加手段を有し、前記指標生成手段は、前記符号化手段によりビッ トプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出手段と、前記個数抽出手段により予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定手段とを有し、前記歪量推定手段により予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮手段は、前記指標付加手段により予め付加された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする。
また、本発明は、前記歪量推定手段は、各ビットプレーンにおける最上位有効ビットの個数と各ビットプレーンにおけるレベルとの積の総和を画像の歪量と推定することを特徴とする。
また、上記課題を解決するため、本発明は、画像情報を、その部分ごとに符号化する符号化ステップと、前記符号化ステップにより部分ごとに符号化された後の画像情報を、当該部分の削除により圧縮する圧縮ステップを有する画像処理方法において、前記符号化ステップにより部分ごとに符号化される前の画像情報から、当該部分の削除にともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成ステップを有し、前記指標生成ステップは、前記符号化ステップにより部分ごとに符号化される前の画像情報から、各部分における最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、前記部分を削除したときの画像の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮ステップは、前記指標生成ステップにより予め生成された前記指標パラメータに基づいて、削除する部分を決定することを特徴とする。
また、上記課題を解決するため、本発明は、画像情報を、その部分ごとに符号化する符号化手段と、前記符号化手段により部分ごとに符号化された後の画像情報を、当該部分の削除により圧縮する圧縮手段を有する画像処理装置において、前記符号化手段により部分ごとに符号化される前の画像情報から、当該部分の削除にともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成手段を有し、前記指標生成ステップは、前記符号化ステップにより部分ごとに符号化される前の画像情報から、各部分における最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、前記部分を削除したときの画像の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮手段は、前記指標生成手段により予め生成された前記指標パラメータに基づいて、削除する部分を決定することを特徴とする画像処理装置。
また、上記課題を解決するため、本発明は、上記記載の画像処理方法をコンピュータに実行させることを特徴とする。
また、上記課題を解決するため、本発明は、音声情報を、その部分ごとに符号化する符号化ステップと、前記符号化ステップにより部分ごとに符号化された後の音声情報を、当該部分の削除により圧縮する圧縮ステップを有する音声処理方法において、前記符号化ステップにより部分ごとに符号化される前の音声情報から、当該部分の削除にともなう音声の劣化の指標となる指標パラメータを予め生成する指標生成ステップを有し、前記指標生成ステップは、前記符号化ステップにより部分ごとに符号化される前の音声情報から、各部分における最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、前記部分を削除したときの音声の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記音声の歪量を、前記指標パラメータとし、前記圧縮ステップは、前記指標生成ステップにより予め生成された前記指標パラメータに基づいて、削除する部分を決定することを特徴とする。
また、上記課題を解決するため、本発明は、音声情報を、その部分ごとに符号化する符号化手段と、前記符号化手段により部分ごとに符号化された後の音声情報を、当該部分の 削除により圧縮する圧縮手段を有する音声処理装置において、前記符号化手段により部分ごとに符号化される前の音声情報から、当該部分の削除にともなう音声の劣化の指標となる指標パラメータを予め生成する指標生成手段を有し、前記指標生成ステップは、前記符号化ステップにより部分ごとに符号化される前の音声情報から、各部分における最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、前記部分を削除したときの音声の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記音声の歪量を、前記指標パラメータとし、前記圧縮手段は、前記指標生成手段により予め生成された前記指標パラメータに基づいて、削除する部分を決定することを特徴とする。
また、上記課題を解決するため、本発明は、上記記載の音声処理方法をコンピュータに実行させることを特徴とする。
上記記載の発明によれば、予め生成された指標パラメータを利用することで、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の劣化を評価することができる。
また、上記記載発明によれば、予め付加された指標パラメータを利用することで、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに、符号化された画像情報そのものを参酌することで画像の劣化を評価することができる。
また、上記記載の発明によれば、最上位有効ビットの個数は簡単に抽出できるので、これを指標パラメータとすることで、画像の劣化を簡単かつ高速に評価することができ、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の劣化を評価することができる。
また、上記記載の発明によれば、最上位有効ビットの個数は簡単に抽出できるので、これから推定された画像の歪量を指標パラメータとすることで、画像の歪量に基づいて画像の劣化を簡単かつ高速に評価することができ、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の歪量に基づいて画像の劣化を評価することができる。
また、上記記載の発明によれば、最上位有効ビットの個数は簡単に抽出できるので、これから推定された画像の歪量と画像の歪量のスロープパラメータを指標パラメータとすることで、画像の歪量と画像の歪量のスロープパラメータに基づいて画像の劣化を簡単かつ高速に評価することができ、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の歪量と画像の歪量のスロープパラメータに基づいて画像の劣化を評価することができる。
また、上記記載の発明によれば、ＪＰＥＧ２０００のＥＧで示されている方法等により画像の歪量を抽出して、これを指標パラメータとすることで、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の歪量に基づいて画像の劣化を評価することができる。
また、上記記載の発明によれば、ＪＰＥＧ２０００のＥＧで示されている方法等により画像の歪量と画像の歪量のスロープパラメータを抽出して、これを指標パラメータとすることで、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の歪量と画像の歪量のスロープパラメータに基づいて画像の劣化を評価することができる。
また、上記記載の発明によれば、予め生成された指標パラメータを利用することで、符号化された部分の削除を実行する際に、復号化を必要とせずに画像の劣化を評価することができる。
また、上記記載の発明によれば、予め生成された指標パラメータを利用することで、符号化された部分の削除を実行する際に、復号化を必要とせずに音声の劣化を評価することができる。
なお、「画像情報」とは、画像データ及び画像データから派生するデータ（量子化されたウェーブレット係数データ等）の総称である。
なお、「音声情報」とは、音声データ及び音声データから派生するデータの総称である。
【発明の実施の形態】
本発明の実施の形態について説明する。
（本発明の実施の形態の例）
図７は、本発明の実施の形態の例を表す。本実施例の画像処理装置１２は、変換部１３、量子化部１４、符号化部１５、指標生成部７１、個数抽出部７２、歪量推定部７３、スロープパラメータ推定部７４、指標付加部７５、圧縮部７６から構成される。本実施例の画像圧縮方式はＪＰＥＧ２０００であり、図１の画像処理装置１２と同様に、画像データ１１が画像圧縮装置１２に入力されると、変換部１３によって離散ウェーブレット変換され、量子化部１４によって量子化され、符号化部１５によってエントロピー符号化され、最終的に符号データ１６が出力される。
図８Ａは、本実施例によって得られるウェーブレット係数データ５１のコードブロック５３をビットプレーン５４に分割したものを表す。ＪＰＥＧ２０００では、このビットプレーンをそれぞれ３つのパス（コーディングパス）でエントロピー符号化する。コーディングパスを任意の切り口でグループ化したとき、そのグループをレイヤーと呼ぶ。ここでは、図８Ｂのように、説明を簡単にするために、ビットプレーン５４の切り口とレイヤー８１の切り口を合わせる。つまり、ビットプレーンとレイヤーは等しいと考える。
レイヤー（ビットプレーン）のトランケーションについて考える。
図９は、図８のレイヤー分割されたコードブロックを、図８のＡ面で切断したときの断面図である。本来は２次元で考察しなければならないが簡単のため１次元で考察する。白色は無効成分（無効ビット）、黒色は有効成分（有効ビット）を表す。図９のデータをレイヤー３までトランケーションした状態を図１０に示す。この状態ではほとんどのデータの有効成分は削除されないで残っている。図９のデータをレイヤー７までトランケーションした状態を図１１に示す。この状態だと半分以上のデータが完全になくなってしまっている。図９のデータをレイヤー６までトランケーションした場合を図１２に示す。この状態であればほとんどのデータの最上位有効ビット（ＭＳＢ）は残っていることがわかる。また図９のデータをレイヤー８までトランケーションした場合を図１３に示す。この場合、ほとんどのデータが消失していることがわかる。
図１４は、図９のデータに関して、ＭＳＢの分布とＭＳＢの各レイヤーにおける個数（Ｎａ）を示す。同時に、図９のデータに関して、ＭＳＢの次の下位のレベルのビットが有効ビットであるＭＳＢの各レイヤーにおける個数（Ｎｂ）を示している。図１４でわかるのはレイヤー７のところにＭＳＢ成分が多く分布していることである。このように、ウェーブレット係数のＭＳＢ成分が多く分布しているレイヤーをトランケーションしてしまうと、そのレイヤーに関するコードブロックのデータの分布状況が大きく変わってしまうことになる。すなわち、レイヤーのトランケーションを行ったときのＭＳＢの個数の変化と画像の劣化との間には相関があると考えられる。
このように、各レイヤーにおけるＭＳＢの個数は、レイヤーのトランケーションにともなう画像の劣化の指標となるパラメータである。ＭＳＢはウェーブレット係数データから簡単に抽出できる。したがって、レイヤーのトランケーションにともなう画像の劣化を、ＭＳＢの個数に基づいて評価することにすれば、画像の劣化を簡単かつ高速に評価することができる。
これを応用すれば、さらに、ビットプレーンのトランケーションにともなう画像の劣化を、エントロピー符号化されたビットプレーンのトランケーションを実行する際に、エントロピー復号化を必要とせずに評価することが可能になる。
例えば、エントロピー符号化される前のウェーブレット係数データから、各ビットプレーンにおけるＭＳＢの個数を予め抽出して、この抽出値をエントロピー符号化された後のウェーブレット係数データに予め付加したり記憶部に予め記憶させたりしておけば、エントロピー符号化されたビットプレーンをトランケーションする際に、この付加値や記憶値のいずれかを利用することで、画像の劣化を、エントロピー復号化を必要とせずに評価することができる。
例えばまた、この抽出値から、ビットプレーンをトランケーションしたときの画像の歪量さらには画像の歪量のスロープパラメータ（ビットプレーンをトランケーションしたときの「画像の歪量」と「符号データの削減量」との比率）を予め推定して、抽出値に代えてこの（これらの）推定値をエントロピー符号化された後のウェーブレット係数データに予め付加したり記憶部に予め記憶させたりしておけば、エントロピー符号化されたビットプレーンをトランケーションする際に、この（これらの）付加値や記憶値のいずれかを利用することで、画像の劣化を、エントロピー復号化を必要とせずに画像の歪量さらにはスロープパラメータに基づいて評価することができる。
なお、各ビットプレーンにおけるＭＳＢの個数や、ビットプレーンをトランケーションしたときの画像の歪量さらには画像の歪量のスロープパラメータのように、ビットプレーンのトランケーションにともなう画像の劣化の指標となるパラメータのことを「指標パラメータ」と呼ぶことにする。
本実施例では、図７のように、符号化部１５によりビットプレーン５４ごとにエントロピー符号化される前のウェーブレット係数データ５１（以下「エントロピー符号化前のウェーブレット係数データ７７」と呼ぶ）が、符号化部１５から指標生成部７１へと入力され、指標生成部７１内の個数抽出部７２により、各ビットプレーンにおけるＭＳＢの個数（Ｎａ）が抽出される。
本実施例ではまた、図７のように、個数抽出部７２により抽出されたＮａの抽出値を、個数抽出部７２から歪量推定部７３さらにはスロープパラメータ推定部７４へと供給して、指標生成部７１内の歪量推定部７３さらにはスロープパラメータ推定部７４において、Ｎａの抽出値から画像の歪量さらにはスロープパラメータを推定することもできる。例えば、ビットプレーン１からビットプレーンｎまでをトランケーションする場合、各ビットプレーンのＮａと各ビットプレーンのレベルとの積の総和を、画像の歪量（の比）と推定する。例えばさらに、上述したスロープパラメータの定義式に、画像の歪量としてこの総和を代入したものを、スロープパラメータ（の比）と推定する。
本実施例では、図７のように、符号化部１５によりビットプレーン５４ごとにエントロピー符号化された後のウェーブレット係数データ５１（以下「エントロピー符号化後のウェーブレット係数データ７８」と呼ぶ）が、符号化部１５から圧縮部７６へと入力され、且つ、指標生成部７１により予め生成された指標値（Ｎａの抽出値、歪量の推定値等）が、歪量生成部７１から圧縮部７６へと入力され、圧縮部７６により、この指標値に基づいて、トランケーションするビットプレーン５４が決定され、そのビットプレーン５４のトランケーションが実行される。例えば、ビットプレーン５４ごとに所定の閾値を設けて、指標生成部７１により各ビットプレーン５４について予め生成された指標値に関して、ビットプレーン１に関する指標値と閾値とを比較し、次にビットプレーン２に関する指標値と閾値とを比較し、次にビットプレーン３に関する指標値と閾値とを比較し、というように、各ビットプレーンに関する指標値と閾値とを順次比較し、ビットプレーンｎにおいて初めて指標値が閾値以上になったとき、ビットプレーン１からビットプレーンｎ−１までをトランケーションすることに決定して、これらビットプレーンのトランケーションを実行する（ｎ＝１のときはトランケーションを実行しない）という方法が考えられる。この閾値は、全ビットプレーンで同じ値にしてもよいし、各ビットプレーンで異なる値にしてもよい。このように、エントロピー符号化されたビットプレーン５４のトランケーションを圧縮部７６が実行する際に、指標生成部７１により予め生成された指標値を利用することで、画像の劣化を考慮したトランケーションを、エントロピー復号化を必要とせずに実行することができる。
本実施例ではまた、図７のように、エントロピー符号化後のウェーブレット係数データ７８を、符号化部１５から指標付加部７５へと供給して、且つ、指標生成部７１により予め生成された指標値を、指標生成部７１から指標付加部７５へと供給して、指標付加部７５において、エントロピー符号化後のウェーブレット係数データ７８にこの指標値を予め付加することもできる。本実施例ではそして、図７のように、指標付加部７５により指標値が予め付加されたウェーブレット係数データ７８を、指標付加部７５から圧縮部７６へと供給して、圧縮部７５において、この指標値に基づいて、トランケーションするビットプレーン５４を決定して、そのビットプレーン５４のトランケーションを実行することもできる。このように、エントロピー符号化されたビットプレーン５４のトランケーションを圧縮部７６が実行する際に、指標付加部７５によりウェーブレット係数データ７８に予め付加された指標値を利用することで、画像の劣化を考慮したトランケーションを、エントロピー復号化を必要とせずに、エントロピー符号化後のウェーブレット係数データ７８そのものを参酌することで実行することができる。
ここで、ＪＰＥＣ２０００における「エントロピー符号化後のウェーブレット係数データ７８」について説明する。図１７は、ＪＰＥＧ２０００における「エントロピー符号化後のウェーブレット係数データ７８」のフォーマットの例を表す。図１の画像処理装置においては、これが最終的に出力される符号データ１６であり、図７の画像処理装置においては、これをさらに圧縮部７６等を経由させたものが最終的に出力される符号データ１６である。なお、一般的には、最終的に出力される符号データ１６に限らず、エントロピー符号化後のウェーブレット係数データ７８をも含めて「符号データ」と呼ばれる。本明細書中でもこの用法に従う。
図１７の符号データは、まず、メインヘッダ１７１から始まる。メインヘッダ１７１は、メインヘッダ１７１の開始を表すＳＯＣ（Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅｅｍ）１７３から始まり、メインヘッダ１７１の内容を表すｍａｉｎ１７４がこれに続く。
図１７の符号データは、メインヘッダ１７１の記述が終わると、次に、タイルパートヘッダ１７２Ａが始まり、ｂｉｔｓｔｒｅｅｍ１７８Ａがこれに続き、タイルパートヘッダ１７２Ｂが始まり、ｂｉｔｓｔｒｅｅｍ１７８Ｂがこれに続き、というように順次続いてゆき、最後に、終了を表すＥＯＣ（Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅｅｍ）１７９で終わる。タイルパートヘッダ１７２は、タイルパートヘッダ１７２の開始を表すＳＯＴ（Ｓｔａｒｔ ｏｆ Ｔｉｌｅ）１７５から始まり、タイルパートヘッダ１７２の内容を表すＴ（Ａ）（Ｔｉｌｅ（Ａ）Ｈｅａｄｅｒ Ｍａｋｅｒ Ｓｅｇｍｅｎｔ）１７６がこれに続き、データの開始を表すＳＯＤ（Ｓｔａｒｔ ｏｆ Ｄａｔａ）１７７が始まる。
図１８は、メインヘッダ１７１の構成を表す。メインヘッダ１７１は、ＳＯＣ１７３から始まり、サイズを示すマーカであるＳＩＺ（Ｉｍａｇｅ ａｎｄ Ｔｉｌｅ Ｓｉｚｅ：必須）１８１がこれに続き、その後は順不同で、符号化・復号化に必要なマーカであるＣＯＤ（Ｃｏｄｉｎｇ Ｓｔｙｌｅ Ｄｅｆａｕｌｔ：必須）１８２、ＣＯＣ（Ｃｏｄｉｎｇ Ｓｔｙｌｅ Ｃｏｍｐｏｎｔ：任意）１８３、量子化・逆量子化に必要なマーカであるＱＣＤ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｄｅｆａｕｌｔ：必須）１８４、ＱＣＣ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｃｏｍｐｏｎｔ：任意）１８５、ＲＧＮ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ：任意）１８６、ＰＯＣ（Ｏｒｄｅｒ Ｃｈａｒｇｅ：任意）１８７、ＰＰＭ（Ｐａｃｋｅｄ Ｐａｃｋｅｔ Ｈｅａｄｅｒｓ：任意）１９１、ＴＬＭ（Ｔｉｌｅ Ｌｅｎｇｔｈｓ：任意）１９２、ＰＬＭ（Ｐａｃｋｅｔ Ｌｅｎｇｔｈｓ：任意）１９３、ＣＲＧ（Ｃｏｍｐｏｎｔ Ｒｅｇｉｓｔｒａｔｉｏｎ：任意）１９４、ＣＯＭ（Ｃｏｍｐｏｎｔ：任意）１８８がこれに続く。
図１９は、タイルパートヘッダ１７２の構成を表す。タイルパートヘッダ１７２は、ＳＯＴ１７５から始まり、その後は順不同で、ＣＯＤ（任意）１８２、ＣＯＣ（任意）１８３、ＱＣＤ（必須）１８４、ＱＣＣ（任意）１８５、ＲＧＮ（任意）１８６、ＰＯＣ（任意）１８７、ＰＰＴ（Ｐａｃｋｅｄ Ｐａｃｋｅｔ Ｈｅａｄｅｒｓ，Ｔｉｌｅ Ｈｅａｄｅｒ：任意）１９５、ＰＬＴ（Ｐａｃｋｅｔ Ｌｅｎｇｔｈｓ，Ｔｉｌｅ Ｈｅａｄｅｒ：任意）１９６、ＣＯＭ（任意）１８８がこれに続き、ＳＯＤ１７７が始まる。
ここで、ＪＰＥＧ２０００の符号データに対して、指標付加部７５が指標値を付加する部分について説明する。現在のＪＰＥＧ２０００の符号データのフォーマットに関して、このような指標値を格納しておける部分としては、コメント文を挿入できるマーカであるコメントマーカが考えられる。よって、ＪＰＥＧ２０００の符号データに関しては、当該指標値をコメントマーカに格納することで、符号データに指標値を付加することができる。
当該コメントマーカは、メインヘッダ１７１又はタイルパートヘッダ１７２に配置することができる。また、これら以外に専用のヘッダを設定し、指標値を格納するコメントマーカを、この専用のヘッダに配置してもよい。
本実施例は、（量子化された）ウェーブレット係数データのビットプレーンを取り扱ったが、本発明は、他の画像情報のビットプレーンについても適宜適用できる。
本実施例は、個数抽出部７２により、各ビットプレーンにおけるＭＳＢの個数を予め抽出して、これを指標パラメータとする場合等を取り扱ったが、本発明は、ビットプレーンのトランケーションにともなう画像の劣化の指標となるパラメータであれば、他のパラメータを指標パラメータとする場合についても適宜適用できる。例えば、ＪＰＥＧ２０００のＥＧで示されている方法等により、ビットプレーンをトランケーションしたときの画像の歪量さらにはスロープパラメータを予め抽出して、これを（これらを）指標パラメータとしてもよい。これを実現するためには、例えば、図７の画像処理装置１２において、個数抽出部７２に代えて、歪量抽出部やスロープパラメータ抽出部を設けておけばよい。
本実施例は、ＪＰＥＧ２０００を取り扱ったが、本発明は、ＪＰＥＧ２０００のように、画像情報を、そのビットプレーンごとに符号化して、ビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する画像圧縮方式であれば、他の画像圧縮方式についても適宜適用できる。
本実施例は、画像情報を、そのビットプレーンごとに符号化して、ビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する場合を取り扱ったが、本発明は、画像情報を、その部分ごとに符号化して、部分ごとに符号化された後の画像情報を、当該部分の削除により圧縮する場合についても適宜適用できよう。
本実施例は、画像情報（画像データ等）を扱ったが、音声情報（音声データ等）についても適宜適用できよう。
（本発明の実施の形態のその他の例）
ＭＳＢはそのビットのデータの１／２の情報量を持っている。ここで、ＭＳＢの次のビットが１（有効ビット）の場合は、ある画像情報の全ビットに占めるＭＳＢのウェイトは約１／２乃至３／４なのに対して、ＭＳＢの次のビットが０（無効ビット）の場合は、ある画像情報の全ビットに占めるＭＳＢのウェイトは約３／４乃至１となる。この特性を利用するために、ＭＳＢの各レイヤーにおける個数（Ｎａ）のほか、ＭＳＢの次の下位のレベルのビットが１（有効ビット）であるＭＳＢの各レイヤーにおける個数（Ｎｂ）も抽出し、両者に基づいて画像の劣化を評価すると、より正確に画像の劣化の評価をすることができる。例えば、下位レベルのビットが０であるＭＳＢ１個は、下位レベルのビットが１であるＭＳＢ１．５個分として、画像の劣化を評価する方法が考えられる。
また、歪量推定部７３による画像の歪量の推定やスロープパラメータ推定部７４によるスロープパラメータの推定に関して、すべてのコードブロックを同一に扱うのではなく、各コードブロックにおけるＭＳＢの個数に対して、それぞれのコンポーネント又はサブバンドごとに重み付けを行い、重み付けを行ったＭＳＢの個数に基づいて画像の歪量やスロープパラメータを推定することで、より視覚的に誤差が少ない画像の劣化の評価が可能になる。
また、指標付加部７５による指標値の付加に関して、命令に応じて、入力されたウェーブレット係数データ５１に入力された指標値を付加するか否かを選択できるようにすることで、指標値の付加が不要なウェーブレット係数データには、指標値を付加させないことができるので、不要な指標値の付加による圧縮率の低下を防止することができる。例えば、符号化部１５によるエントロピー符号化により、すでに所望の圧縮率以上に圧縮されているウェーブレット係数データ５１については、圧縮部７６によりトランケーションする必要がないので、指標値の付加が不要であるとして、指標値を付加させないことができる。
トランケーションを行う場合、ひとつのサブバンド内の各コードブロックに対して異なる量のトランケーションを行うと、コードブロック間に歪が生じ、これが歪誤差となって見えてくる場合がある。このため、一般に、トランケーションをコードブロック単位ではなくサブバンド単位で行うこともなされている。よって、サブバンド単位でトランケーションを行う場合、コードブロックごとにＭＳＢの個数等を抽出するよりも、サブバンドごとにＭＳＢの個数等を抽出する方が、計算量が少なくてすむ。
【発明の効果】
このように、本発明により、ＪＰＥＧ２０００のように、画像情報を、そのビットプレーンごとに符号化して、ビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する画像処理方式において、ビットプレーンのトランケーションにともなう画像の劣化を、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに評価することができる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００により画像情報を圧縮する一般的な画像処理装置を表す。
【図２】 ＪＰＥＧ２０００により画像情報を伸張する一般的な画像処理装置を表す。
【図３】 変換部について説明する図である。
【図４】 量子化部について説明する図である。
【図５】 符号化部について説明する図である。
【図６】 画像データが複数色からなる場合について説明する図である。
【図７】 本発明の実施の形態の例を表す。
【図８】 ビットプレーンとレイヤーを表す。
【図９】 レイヤー内のデータの配置例の図である。
【図１０】 下位３レイヤーをトランケーションした場合の図である。
【図１１】 下位７レイヤーをトランケーションした場合の図である。
【図１２】 下位６レイヤーをトランケーションした場合の図である。
【図１３】 下位８レイヤーをトランケーションした場合の図である。
【図１４】 各レイヤーのＮａとＮｂとを抽出した図である。
【図１５】 画像の空間内の分布が緩やかに変化している場合の図である。
【図１６】 画像の空間内の分布が２極分化している場合の図である。
【図１７】 符号化されたウェーブレット係数データのフォーマットの例を表す。
【図１８】 メインヘッダの構成を表す。
【図１９】 タイルパートヘッダの構成を表す。
【符号の説明】
１１ 画像データ
１２ 画像処理装置
１３ 変換部
１４ 量子化部
１５ 符号化部
１６ 符号データ
２１ 符号データ
２２ 画像処理装置
２３ 復号化部
２４ 逆量子化部
２５ 逆変換部
２６ 画像データ
３１ タイル
３２ ウェーブレット係数データ
５１ 量子化されたウェブレット係数データ
５２ サブバンド
５３ コードブロック
５４ ビットプレーン
７１ 指標生成部
７２ 個数抽出部
７３ 歪量推定部
７４ スロープパラメータ推定部
７５ 指標付加部
７６ 圧縮部
７７ 符号化前のウェーブレット係数データ
７８ 符号化後のウェーブレット係数データ
８１ レイヤー
１７１ メインヘッダ
１７２ タイルパートヘッダ
１７３ ＳＯＣ
１７４ ｍａｉｎ
１７５ ＳＯＴ
１７６ Ｔ（）
１７７ ＳＯＤ
１７８ ｂｉｔｓｔｒｅｅｍ
１７９ ＥＯＣ
１８１ ＳＩＺ
１８２ ＣＯＤ
１８３ ＣＯＣ
１８４ ＱＣＤ
１８５ ＱＣＣ
１８６ ＲＧＮ
１８７ ＰＯＣ
１８８ ＣＯＭ
１９１ ＰＰＭ
１９２ ＴＬＭ
１９３ ＰＬＭ
１９４ ＣＲＧ
１９５ ＰＰＴ
１９６ ＰＬＴ
本発明は、画像処理方法・画像処理装置・画像処理プログラム・音声処理方法・音声処理装置・音声処理プログラムに関する。
【従来の技術】
画像圧縮方式としては、国際標準であるＪＰＥＧやＪＰＥＧ２０００が知られている。
図１は、ＪＰＥＧ２０００により画像情報を圧縮する一般的な画像処理装置を表す。画像データ１１が画像処理装置１２に入力されると、変換部１３によって離散ウェーブレット変換され、量子化部１４によって量子化され、符号化部１５によってエントロピー符号化され、符号データ１６が出力される。すなわち、画像データ１１から符号データ１６へと画像情報が圧縮される。
なお、「画像情報」とは、画像データ１１のほか、変換された画像データ・量子化された画像データ・エントロピー符号化された画像データなど、画像データ１１及び画像データ１１から派生するデータの総称を意味するものとする。
図２は、ＪＰＥＧ２０００により画像情報を伸張する一般的な画像処理装置を表す。符号データ２１が画像処理装置２２に入力されると、復号化部２３によってエントロピー復号化され、逆量子化部２４によって逆量子化され、逆変換部２５によって逆離散ウェーブレット変換され、画像データ２６が出力される。すなわち、符号データ２１から画像データ２６へと画像情報が伸張される。
画像圧縮を行う画像処理装置と画像伸張を行う画像処理装置は、一体化されることも多い。
図３により変換部１３について説明する。ＪＰＥＧ２０００では、一般的に、図３Ａのように画像データ１１をタイル３１に分割して、図３Ｂのようにタイルごとに離散ウェーブレット変換（ＤＷＴ）がなされる。図は、画像データ１１を１２８×１２８の大きさのタイル３１に分割した例を示している。１２８×１２８の大きさのタイル３１を、変換部１３によりレベル２で離散ウェーブレット変換すると、図のように、６４×６４の大きさの３つのサブバンド１ＬＨ・１ＨＬ・１ＨＨと３２×３２の大きさの４つのサブバンド２ＬＬ・２ＬＨ・２ＨＬ・２ＨＨからなるウェーブレット係数データ３２が得られる。
図４により量子化部１４について説明する。図は、量子化に用いる式の例を示したものである。ａとｂはそれぞれ量子化前と量子化後のウェーブレット係数、｜ａ｜はａの絶対値、ｓｉｇｎ（ａ）はａの符号、［］はフロア関数、Δは量子化ステップを表す。この式により、ウェーブレット係数は値ａからｂへと量子化される。
図５により符号化部１５について説明する。ＪＰＥＧ２０００では、一般的に、図５Ａのように量子化されたウェーブレット係数データ５１のサブバンド５２を必要に応じてコードブロック５３に分割して（コードブロックより大きいサブバンドについて、コードブロックへの分割が必要となる。以下、コードブロックというときは、コードブロックに分割しないサブバンドも含むものとする）、さらに、図５Ｂのようにコードブロック５３をビットプレーン５４に分割して、図５Ｃのようにビットプレーンごとに算術符号化などのエントロピー符号化がなされる。図は、サブバンド５２を４×４の大きさのコードブロック５３に分割して（この場合はコードブロックを４×４の大きさにしているが、この大きさに限定されるものではない）、４×４の大きさのコードブロック５３を４つのビットプレーン５４に分割した例を示している。符号化部１５により、量子化されたウェーブレット係数データ５１はビットプレーン５４ごとにエントロピー符号化され、最終的に符号データ１６が出力される。
なお、ここまでは画像データ１１が単色からなる場合について説明したが、画像データ１１が複数色からなる場合については、図６のように、各色の画像データ（コンポーネント）を画像処理装置１２に入力すればよい。図６Ａは、ＲＧＢ方式で表現された画像データをそのまま入力するが、図６Ｂのように、ＹＣｂＣｒ方式などの他の方式に変換して入力する場合もある。ＪＰＥＧ２０００においては、一般に、図６Ｂの方式がとられている。これは、人間の視覚は輝度成分（Ｙ）に対しては敏感であるが、色差成分（Ｃｂ・Ｃｒ）に対してはそれほど敏感ではないので、ＹよりもＣｂとＣｒとをより圧縮することで圧縮率を高めるためである。
【発明が解決しようとする課題】
上述したように、ＪＰＥＧ２０００では、量子化されたウェーブレット係数データをビットプレーンに分割してビットプレーンごとに符号化するので、ビットプレーンごとにウェーブレット係数データを符号化した後において、符号化されたビットプレーンの切り捨てによる画像情報の圧縮が可能である。例えば、符号化されたビットプレーンを下位側から切り捨てていく（トランケーション）ことによる画像情報の圧縮が行われている。
よって、ある圧縮率が目標値として存在する場合、目標値になるまでデータを切り捨てていくことになるが、当然データを切り捨てていくと画質が劣化していくことになる。そのため、データを切り捨てる場合にどれだけデータを切り捨てるとどれだけ画質が劣化するかを検出する必要がある。
この検出方法として、ＪＰＥＧ２０００のＥｘａｍｐｌｅ ａｎｄ Ｇｕｉｄｅｌｉｎｅ（ＥＧ）で示されている方法では、まず、各コードブロックにおいてビットプレーンを下位側から１つトランケーションした場合の歪量を求め、次に、ビットプレーンを下位側から２つトランケーションした場合の歪量を求め、同様にして、すべてのビットプレーンをトランケーションしたときの歪量を求める。ＪＰＥＧ２０００のＥＧで示されている方法では、ウェーブレット係数データを符号化した後において歪量を求める場合、符号化されたビットプレーンをトランケーションした状態で復号化を行って原画像データとの誤差を調べる。誤差を調べる方法としては、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）を使用している。
このように、ＪＰＥＧ２０００のＥＧで示されている方法では、ウェーブレット係数データを符号化した後において各ビットプレーンまでトランケーションした場合の歪量をそれぞれ求めるために、各ビットブレーンまでトランケーションした状態でそれぞれ復号化を行ってＭＳＥで誤差を調べる。よって、ウェーブレット係数データを符号化した後において歪量を求めるための処理時間が復号化のために非常に長くなる、又は、歪量を求めるための処理時間を短くするためにハード量が非常に大きくなるという問題がある。
したがって、本発明は、ＪＰＥＧ２０００のように、画像情報を、そのビットプレーンごとに符号化して、ビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する画像処理方式において、ビットプレーンのトランケーションにともなう画像の劣化を、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに評価することを課題とする。
【課題を解決するための手段】
そこで上記課題を解決するため、本発明は、画像情報を、そのビットプレーンごとに符号化する符号化ステップと、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮ステップを有する画像処理方法において、前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成ステップを有し、前記指標生成ステップは、前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮ステップは、前記指標生成ステップにより予め生成された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする。
また、上記課題を解決するため、本発明は、画像情報を、そのビットプレーンごとに符号化する符号化ステップと、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮ステップを有する画像処理方法において、前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成ステップと、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報に、前記指標生成ステップにより予 め生成された前記指標パラメータを予め付加する指標付加ステップを有し、前記指標生成ステップは、前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮ステップは、前記指標付加ステップにより予め付加された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする。
また、本発明は、前記歪量推定ステップは、各ビットプレーンにおける最上位有効ビットの個数と各ビットプレーンにおけるレベルとの積の総和を画像の歪量と推定することを特徴とする。
また、本発明は、前記指標生成ステップは、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量のスロープパラメータを予め推定するスロープパラメータ推定ステップを有し、前記歪量推定ステップにより予め推定された前記画像の歪量と、前記スロープパラメータ推定ステップにより推定された前記画像の歪量のスロープパラメータを、前記指標パラメータとすることを特徴とする。
また、本発明は、前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であることを特徴とする。
また、本発明は、前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であり、且つ、前記指標付加ステップは、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報のコメントマーカに、前記指標生成ステップにより予め生成された前記指標パラメータを格納しておくことを特徴とする。
また、本発明は、前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であり、且つ、前記指標付加ステップは、前記符号化ステップによりビットプレーンごとに符号化された画像情報のメインヘッダ又はタイルパートヘッダに配置されたコメントマーカに、前記指標生成ステップにより予め生成された前記指標パラメータを格納しておくことを特徴とする。
また、上記課題を解決するため、本発明は、画像情報を、そのビットプレーンごとに符号化する符号化手段と、前記符号化手段によりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮手段を有する画像処理装置において、前記符号化手段によりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成手段を有し、前記指標生成手段は、前記符号化手段によりビットプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出手段と、前記個数抽出手段により予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定手段とを有し、前記歪量推定手段により予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮手段は、前記指標生成手段により予め生成された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする。
また、上記課題を解決するため、本発明は、画像情報を、そのビットプレーンごとに符号化する符号化手段と、前記符号化手段によりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮手段を有する画像処理装置において、前記符号化手段によりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成手段と、前記符号化手段によりビットプレーンごとに符号化された後の画像情報に、前記指標生成手段により予め生成された前記指標パラメータを予め付加する指標付加手段を有し、前記指標生成手段は、前記符号化手段によりビッ トプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出手段と、前記個数抽出手段により予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定手段とを有し、前記歪量推定手段により予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮手段は、前記指標付加手段により予め付加された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする。
また、本発明は、前記歪量推定手段は、各ビットプレーンにおける最上位有効ビットの個数と各ビットプレーンにおけるレベルとの積の総和を画像の歪量と推定することを特徴とする。
また、上記課題を解決するため、本発明は、画像情報を、その部分ごとに符号化する符号化ステップと、前記符号化ステップにより部分ごとに符号化された後の画像情報を、当該部分の削除により圧縮する圧縮ステップを有する画像処理方法において、前記符号化ステップにより部分ごとに符号化される前の画像情報から、当該部分の削除にともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成ステップを有し、前記指標生成ステップは、前記符号化ステップにより部分ごとに符号化される前の画像情報から、各部分における最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、前記部分を削除したときの画像の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮ステップは、前記指標生成ステップにより予め生成された前記指標パラメータに基づいて、削除する部分を決定することを特徴とする。
また、上記課題を解決するため、本発明は、画像情報を、その部分ごとに符号化する符号化手段と、前記符号化手段により部分ごとに符号化された後の画像情報を、当該部分の削除により圧縮する圧縮手段を有する画像処理装置において、前記符号化手段により部分ごとに符号化される前の画像情報から、当該部分の削除にともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成手段を有し、前記指標生成ステップは、前記符号化ステップにより部分ごとに符号化される前の画像情報から、各部分における最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、前記部分を削除したときの画像の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記画像の歪量を、前記指標パラメータとし、前記圧縮手段は、前記指標生成手段により予め生成された前記指標パラメータに基づいて、削除する部分を決定することを特徴とする画像処理装置。
また、上記課題を解決するため、本発明は、上記記載の画像処理方法をコンピュータに実行させることを特徴とする。
また、上記課題を解決するため、本発明は、音声情報を、その部分ごとに符号化する符号化ステップと、前記符号化ステップにより部分ごとに符号化された後の音声情報を、当該部分の削除により圧縮する圧縮ステップを有する音声処理方法において、前記符号化ステップにより部分ごとに符号化される前の音声情報から、当該部分の削除にともなう音声の劣化の指標となる指標パラメータを予め生成する指標生成ステップを有し、前記指標生成ステップは、前記符号化ステップにより部分ごとに符号化される前の音声情報から、各部分における最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、前記部分を削除したときの音声の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記音声の歪量を、前記指標パラメータとし、前記圧縮ステップは、前記指標生成ステップにより予め生成された前記指標パラメータに基づいて、削除する部分を決定することを特徴とする。
また、上記課題を解決するため、本発明は、音声情報を、その部分ごとに符号化する符号化手段と、前記符号化手段により部分ごとに符号化された後の音声情報を、当該部分の 削除により圧縮する圧縮手段を有する音声処理装置において、前記符号化手段により部分ごとに符号化される前の音声情報から、当該部分の削除にともなう音声の劣化の指標となる指標パラメータを予め生成する指標生成手段を有し、前記指標生成ステップは、前記符号化ステップにより部分ごとに符号化される前の音声情報から、各部分における最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、前記部分を削除したときの音声の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記音声の歪量を、前記指標パラメータとし、前記圧縮手段は、前記指標生成手段により予め生成された前記指標パラメータに基づいて、削除する部分を決定することを特徴とする。
また、上記課題を解決するため、本発明は、上記記載の音声処理方法をコンピュータに実行させることを特徴とする。
上記記載の発明によれば、予め生成された指標パラメータを利用することで、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の劣化を評価することができる。
また、上記記載発明によれば、予め付加された指標パラメータを利用することで、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに、符号化された画像情報そのものを参酌することで画像の劣化を評価することができる。
また、上記記載の発明によれば、最上位有効ビットの個数は簡単に抽出できるので、これを指標パラメータとすることで、画像の劣化を簡単かつ高速に評価することができ、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の劣化を評価することができる。
また、上記記載の発明によれば、最上位有効ビットの個数は簡単に抽出できるので、これから推定された画像の歪量を指標パラメータとすることで、画像の歪量に基づいて画像の劣化を簡単かつ高速に評価することができ、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の歪量に基づいて画像の劣化を評価することができる。
また、上記記載の発明によれば、最上位有効ビットの個数は簡単に抽出できるので、これから推定された画像の歪量と画像の歪量のスロープパラメータを指標パラメータとすることで、画像の歪量と画像の歪量のスロープパラメータに基づいて画像の劣化を簡単かつ高速に評価することができ、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の歪量と画像の歪量のスロープパラメータに基づいて画像の劣化を評価することができる。
また、上記記載の発明によれば、ＪＰＥＧ２０００のＥＧで示されている方法等により画像の歪量を抽出して、これを指標パラメータとすることで、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の歪量に基づいて画像の劣化を評価することができる。
また、上記記載の発明によれば、ＪＰＥＧ２０００のＥＧで示されている方法等により画像の歪量と画像の歪量のスロープパラメータを抽出して、これを指標パラメータとすることで、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに画像の歪量と画像の歪量のスロープパラメータに基づいて画像の劣化を評価することができる。
また、上記記載の発明によれば、予め生成された指標パラメータを利用することで、符号化された部分の削除を実行する際に、復号化を必要とせずに画像の劣化を評価することができる。
また、上記記載の発明によれば、予め生成された指標パラメータを利用することで、符号化された部分の削除を実行する際に、復号化を必要とせずに音声の劣化を評価することができる。
なお、「画像情報」とは、画像データ及び画像データから派生するデータ（量子化されたウェーブレット係数データ等）の総称である。
なお、「音声情報」とは、音声データ及び音声データから派生するデータの総称である。
【発明の実施の形態】
本発明の実施の形態について説明する。
（本発明の実施の形態の例）
図７は、本発明の実施の形態の例を表す。本実施例の画像処理装置１２は、変換部１３、量子化部１４、符号化部１５、指標生成部７１、個数抽出部７２、歪量推定部７３、スロープパラメータ推定部７４、指標付加部７５、圧縮部７６から構成される。本実施例の画像圧縮方式はＪＰＥＧ２０００であり、図１の画像処理装置１２と同様に、画像データ１１が画像圧縮装置１２に入力されると、変換部１３によって離散ウェーブレット変換され、量子化部１４によって量子化され、符号化部１５によってエントロピー符号化され、最終的に符号データ１６が出力される。
図８Ａは、本実施例によって得られるウェーブレット係数データ５１のコードブロック５３をビットプレーン５４に分割したものを表す。ＪＰＥＧ２０００では、このビットプレーンをそれぞれ３つのパス（コーディングパス）でエントロピー符号化する。コーディングパスを任意の切り口でグループ化したとき、そのグループをレイヤーと呼ぶ。ここでは、図８Ｂのように、説明を簡単にするために、ビットプレーン５４の切り口とレイヤー８１の切り口を合わせる。つまり、ビットプレーンとレイヤーは等しいと考える。
レイヤー（ビットプレーン）のトランケーションについて考える。
図９は、図８のレイヤー分割されたコードブロックを、図８のＡ面で切断したときの断面図である。本来は２次元で考察しなければならないが簡単のため１次元で考察する。白色は無効成分（無効ビット）、黒色は有効成分（有効ビット）を表す。図９のデータをレイヤー３までトランケーションした状態を図１０に示す。この状態ではほとんどのデータの有効成分は削除されないで残っている。図９のデータをレイヤー７までトランケーションした状態を図１１に示す。この状態だと半分以上のデータが完全になくなってしまっている。図９のデータをレイヤー６までトランケーションした場合を図１２に示す。この状態であればほとんどのデータの最上位有効ビット（ＭＳＢ）は残っていることがわかる。また図９のデータをレイヤー８までトランケーションした場合を図１３に示す。この場合、ほとんどのデータが消失していることがわかる。
図１４は、図９のデータに関して、ＭＳＢの分布とＭＳＢの各レイヤーにおける個数（Ｎａ）を示す。同時に、図９のデータに関して、ＭＳＢの次の下位のレベルのビットが有効ビットであるＭＳＢの各レイヤーにおける個数（Ｎｂ）を示している。図１４でわかるのはレイヤー７のところにＭＳＢ成分が多く分布していることである。このように、ウェーブレット係数のＭＳＢ成分が多く分布しているレイヤーをトランケーションしてしまうと、そのレイヤーに関するコードブロックのデータの分布状況が大きく変わってしまうことになる。すなわち、レイヤーのトランケーションを行ったときのＭＳＢの個数の変化と画像の劣化との間には相関があると考えられる。
このように、各レイヤーにおけるＭＳＢの個数は、レイヤーのトランケーションにともなう画像の劣化の指標となるパラメータである。ＭＳＢはウェーブレット係数データから簡単に抽出できる。したがって、レイヤーのトランケーションにともなう画像の劣化を、ＭＳＢの個数に基づいて評価することにすれば、画像の劣化を簡単かつ高速に評価することができる。
これを応用すれば、さらに、ビットプレーンのトランケーションにともなう画像の劣化を、エントロピー符号化されたビットプレーンのトランケーションを実行する際に、エントロピー復号化を必要とせずに評価することが可能になる。
例えば、エントロピー符号化される前のウェーブレット係数データから、各ビットプレーンにおけるＭＳＢの個数を予め抽出して、この抽出値をエントロピー符号化された後のウェーブレット係数データに予め付加したり記憶部に予め記憶させたりしておけば、エントロピー符号化されたビットプレーンをトランケーションする際に、この付加値や記憶値のいずれかを利用することで、画像の劣化を、エントロピー復号化を必要とせずに評価することができる。
例えばまた、この抽出値から、ビットプレーンをトランケーションしたときの画像の歪量さらには画像の歪量のスロープパラメータ（ビットプレーンをトランケーションしたときの「画像の歪量」と「符号データの削減量」との比率）を予め推定して、抽出値に代えてこの（これらの）推定値をエントロピー符号化された後のウェーブレット係数データに予め付加したり記憶部に予め記憶させたりしておけば、エントロピー符号化されたビットプレーンをトランケーションする際に、この（これらの）付加値や記憶値のいずれかを利用することで、画像の劣化を、エントロピー復号化を必要とせずに画像の歪量さらにはスロープパラメータに基づいて評価することができる。
なお、各ビットプレーンにおけるＭＳＢの個数や、ビットプレーンをトランケーションしたときの画像の歪量さらには画像の歪量のスロープパラメータのように、ビットプレーンのトランケーションにともなう画像の劣化の指標となるパラメータのことを「指標パラメータ」と呼ぶことにする。
本実施例では、図７のように、符号化部１５によりビットプレーン５４ごとにエントロピー符号化される前のウェーブレット係数データ５１（以下「エントロピー符号化前のウェーブレット係数データ７７」と呼ぶ）が、符号化部１５から指標生成部７１へと入力され、指標生成部７１内の個数抽出部７２により、各ビットプレーンにおけるＭＳＢの個数（Ｎａ）が抽出される。
本実施例ではまた、図７のように、個数抽出部７２により抽出されたＮａの抽出値を、個数抽出部７２から歪量推定部７３さらにはスロープパラメータ推定部７４へと供給して、指標生成部７１内の歪量推定部７３さらにはスロープパラメータ推定部７４において、Ｎａの抽出値から画像の歪量さらにはスロープパラメータを推定することもできる。例えば、ビットプレーン１からビットプレーンｎまでをトランケーションする場合、各ビットプレーンのＮａと各ビットプレーンのレベルとの積の総和を、画像の歪量（の比）と推定する。例えばさらに、上述したスロープパラメータの定義式に、画像の歪量としてこの総和を代入したものを、スロープパラメータ（の比）と推定する。
本実施例では、図７のように、符号化部１５によりビットプレーン５４ごとにエントロピー符号化された後のウェーブレット係数データ５１（以下「エントロピー符号化後のウェーブレット係数データ７８」と呼ぶ）が、符号化部１５から圧縮部７６へと入力され、且つ、指標生成部７１により予め生成された指標値（Ｎａの抽出値、歪量の推定値等）が、歪量生成部７１から圧縮部７６へと入力され、圧縮部７６により、この指標値に基づいて、トランケーションするビットプレーン５４が決定され、そのビットプレーン５４のトランケーションが実行される。例えば、ビットプレーン５４ごとに所定の閾値を設けて、指標生成部７１により各ビットプレーン５４について予め生成された指標値に関して、ビットプレーン１に関する指標値と閾値とを比較し、次にビットプレーン２に関する指標値と閾値とを比較し、次にビットプレーン３に関する指標値と閾値とを比較し、というように、各ビットプレーンに関する指標値と閾値とを順次比較し、ビットプレーンｎにおいて初めて指標値が閾値以上になったとき、ビットプレーン１からビットプレーンｎ−１までをトランケーションすることに決定して、これらビットプレーンのトランケーションを実行する（ｎ＝１のときはトランケーションを実行しない）という方法が考えられる。この閾値は、全ビットプレーンで同じ値にしてもよいし、各ビットプレーンで異なる値にしてもよい。このように、エントロピー符号化されたビットプレーン５４のトランケーションを圧縮部７６が実行する際に、指標生成部７１により予め生成された指標値を利用することで、画像の劣化を考慮したトランケーションを、エントロピー復号化を必要とせずに実行することができる。
本実施例ではまた、図７のように、エントロピー符号化後のウェーブレット係数データ７８を、符号化部１５から指標付加部７５へと供給して、且つ、指標生成部７１により予め生成された指標値を、指標生成部７１から指標付加部７５へと供給して、指標付加部７５において、エントロピー符号化後のウェーブレット係数データ７８にこの指標値を予め付加することもできる。本実施例ではそして、図７のように、指標付加部７５により指標値が予め付加されたウェーブレット係数データ７８を、指標付加部７５から圧縮部７６へと供給して、圧縮部７５において、この指標値に基づいて、トランケーションするビットプレーン５４を決定して、そのビットプレーン５４のトランケーションを実行することもできる。このように、エントロピー符号化されたビットプレーン５４のトランケーションを圧縮部７６が実行する際に、指標付加部７５によりウェーブレット係数データ７８に予め付加された指標値を利用することで、画像の劣化を考慮したトランケーションを、エントロピー復号化を必要とせずに、エントロピー符号化後のウェーブレット係数データ７８そのものを参酌することで実行することができる。
ここで、ＪＰＥＣ２０００における「エントロピー符号化後のウェーブレット係数データ７８」について説明する。図１７は、ＪＰＥＧ２０００における「エントロピー符号化後のウェーブレット係数データ７８」のフォーマットの例を表す。図１の画像処理装置においては、これが最終的に出力される符号データ１６であり、図７の画像処理装置においては、これをさらに圧縮部７６等を経由させたものが最終的に出力される符号データ１６である。なお、一般的には、最終的に出力される符号データ１６に限らず、エントロピー符号化後のウェーブレット係数データ７８をも含めて「符号データ」と呼ばれる。本明細書中でもこの用法に従う。
図１７の符号データは、まず、メインヘッダ１７１から始まる。メインヘッダ１７１は、メインヘッダ１７１の開始を表すＳＯＣ（Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅｅｍ）１７３から始まり、メインヘッダ１７１の内容を表すｍａｉｎ１７４がこれに続く。
図１７の符号データは、メインヘッダ１７１の記述が終わると、次に、タイルパートヘッダ１７２Ａが始まり、ｂｉｔｓｔｒｅｅｍ１７８Ａがこれに続き、タイルパートヘッダ１７２Ｂが始まり、ｂｉｔｓｔｒｅｅｍ１７８Ｂがこれに続き、というように順次続いてゆき、最後に、終了を表すＥＯＣ（Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅｅｍ）１７９で終わる。タイルパートヘッダ１７２は、タイルパートヘッダ１７２の開始を表すＳＯＴ（Ｓｔａｒｔ ｏｆ Ｔｉｌｅ）１７５から始まり、タイルパートヘッダ１７２の内容を表すＴ（Ａ）（Ｔｉｌｅ（Ａ）Ｈｅａｄｅｒ Ｍａｋｅｒ Ｓｅｇｍｅｎｔ）１７６がこれに続き、データの開始を表すＳＯＤ（Ｓｔａｒｔ ｏｆ Ｄａｔａ）１７７が始まる。
図１８は、メインヘッダ１７１の構成を表す。メインヘッダ１７１は、ＳＯＣ１７３から始まり、サイズを示すマーカであるＳＩＺ（Ｉｍａｇｅ ａｎｄ Ｔｉｌｅ Ｓｉｚｅ：必須）１８１がこれに続き、その後は順不同で、符号化・復号化に必要なマーカであるＣＯＤ（Ｃｏｄｉｎｇ Ｓｔｙｌｅ Ｄｅｆａｕｌｔ：必須）１８２、ＣＯＣ（Ｃｏｄｉｎｇ Ｓｔｙｌｅ Ｃｏｍｐｏｎｔ：任意）１８３、量子化・逆量子化に必要なマーカであるＱＣＤ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｄｅｆａｕｌｔ：必須）１８４、ＱＣＣ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｃｏｍｐｏｎｔ：任意）１８５、ＲＧＮ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ：任意）１８６、ＰＯＣ（Ｏｒｄｅｒ Ｃｈａｒｇｅ：任意）１８７、ＰＰＭ（Ｐａｃｋｅｄ Ｐａｃｋｅｔ Ｈｅａｄｅｒｓ：任意）１９１、ＴＬＭ（Ｔｉｌｅ Ｌｅｎｇｔｈｓ：任意）１９２、ＰＬＭ（Ｐａｃｋｅｔ Ｌｅｎｇｔｈｓ：任意）１９３、ＣＲＧ（Ｃｏｍｐｏｎｔ Ｒｅｇｉｓｔｒａｔｉｏｎ：任意）１９４、ＣＯＭ（Ｃｏｍｐｏｎｔ：任意）１８８がこれに続く。
図１９は、タイルパートヘッダ１７２の構成を表す。タイルパートヘッダ１７２は、ＳＯＴ１７５から始まり、その後は順不同で、ＣＯＤ（任意）１８２、ＣＯＣ（任意）１８３、ＱＣＤ（必須）１８４、ＱＣＣ（任意）１８５、ＲＧＮ（任意）１８６、ＰＯＣ（任意）１８７、ＰＰＴ（Ｐａｃｋｅｄ Ｐａｃｋｅｔ Ｈｅａｄｅｒｓ，Ｔｉｌｅ Ｈｅａｄｅｒ：任意）１９５、ＰＬＴ（Ｐａｃｋｅｔ Ｌｅｎｇｔｈｓ，Ｔｉｌｅ Ｈｅａｄｅｒ：任意）１９６、ＣＯＭ（任意）１８８がこれに続き、ＳＯＤ１７７が始まる。
ここで、ＪＰＥＧ２０００の符号データに対して、指標付加部７５が指標値を付加する部分について説明する。現在のＪＰＥＧ２０００の符号データのフォーマットに関して、このような指標値を格納しておける部分としては、コメント文を挿入できるマーカであるコメントマーカが考えられる。よって、ＪＰＥＧ２０００の符号データに関しては、当該指標値をコメントマーカに格納することで、符号データに指標値を付加することができる。
当該コメントマーカは、メインヘッダ１７１又はタイルパートヘッダ１７２に配置することができる。また、これら以外に専用のヘッダを設定し、指標値を格納するコメントマーカを、この専用のヘッダに配置してもよい。
本実施例は、（量子化された）ウェーブレット係数データのビットプレーンを取り扱ったが、本発明は、他の画像情報のビットプレーンについても適宜適用できる。
本実施例は、個数抽出部７２により、各ビットプレーンにおけるＭＳＢの個数を予め抽出して、これを指標パラメータとする場合等を取り扱ったが、本発明は、ビットプレーンのトランケーションにともなう画像の劣化の指標となるパラメータであれば、他のパラメータを指標パラメータとする場合についても適宜適用できる。例えば、ＪＰＥＧ２０００のＥＧで示されている方法等により、ビットプレーンをトランケーションしたときの画像の歪量さらにはスロープパラメータを予め抽出して、これを（これらを）指標パラメータとしてもよい。これを実現するためには、例えば、図７の画像処理装置１２において、個数抽出部７２に代えて、歪量抽出部やスロープパラメータ抽出部を設けておけばよい。
本実施例は、ＪＰＥＧ２０００を取り扱ったが、本発明は、ＪＰＥＧ２０００のように、画像情報を、そのビットプレーンごとに符号化して、ビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する画像圧縮方式であれば、他の画像圧縮方式についても適宜適用できる。
本実施例は、画像情報を、そのビットプレーンごとに符号化して、ビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する場合を取り扱ったが、本発明は、画像情報を、その部分ごとに符号化して、部分ごとに符号化された後の画像情報を、当該部分の削除により圧縮する場合についても適宜適用できよう。
本実施例は、画像情報（画像データ等）を扱ったが、音声情報（音声データ等）についても適宜適用できよう。
（本発明の実施の形態のその他の例）
ＭＳＢはそのビットのデータの１／２の情報量を持っている。ここで、ＭＳＢの次のビットが１（有効ビット）の場合は、ある画像情報の全ビットに占めるＭＳＢのウェイトは約１／２乃至３／４なのに対して、ＭＳＢの次のビットが０（無効ビット）の場合は、ある画像情報の全ビットに占めるＭＳＢのウェイトは約３／４乃至１となる。この特性を利用するために、ＭＳＢの各レイヤーにおける個数（Ｎａ）のほか、ＭＳＢの次の下位のレベルのビットが１（有効ビット）であるＭＳＢの各レイヤーにおける個数（Ｎｂ）も抽出し、両者に基づいて画像の劣化を評価すると、より正確に画像の劣化の評価をすることができる。例えば、下位レベルのビットが０であるＭＳＢ１個は、下位レベルのビットが１であるＭＳＢ１．５個分として、画像の劣化を評価する方法が考えられる。
また、歪量推定部７３による画像の歪量の推定やスロープパラメータ推定部７４によるスロープパラメータの推定に関して、すべてのコードブロックを同一に扱うのではなく、各コードブロックにおけるＭＳＢの個数に対して、それぞれのコンポーネント又はサブバンドごとに重み付けを行い、重み付けを行ったＭＳＢの個数に基づいて画像の歪量やスロープパラメータを推定することで、より視覚的に誤差が少ない画像の劣化の評価が可能になる。
また、指標付加部７５による指標値の付加に関して、命令に応じて、入力されたウェーブレット係数データ５１に入力された指標値を付加するか否かを選択できるようにすることで、指標値の付加が不要なウェーブレット係数データには、指標値を付加させないことができるので、不要な指標値の付加による圧縮率の低下を防止することができる。例えば、符号化部１５によるエントロピー符号化により、すでに所望の圧縮率以上に圧縮されているウェーブレット係数データ５１については、圧縮部７６によりトランケーションする必要がないので、指標値の付加が不要であるとして、指標値を付加させないことができる。
トランケーションを行う場合、ひとつのサブバンド内の各コードブロックに対して異なる量のトランケーションを行うと、コードブロック間に歪が生じ、これが歪誤差となって見えてくる場合がある。このため、一般に、トランケーションをコードブロック単位ではなくサブバンド単位で行うこともなされている。よって、サブバンド単位でトランケーションを行う場合、コードブロックごとにＭＳＢの個数等を抽出するよりも、サブバンドごとにＭＳＢの個数等を抽出する方が、計算量が少なくてすむ。
【発明の効果】
このように、本発明により、ＪＰＥＧ２０００のように、画像情報を、そのビットプレーンごとに符号化して、ビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する画像処理方式において、ビットプレーンのトランケーションにともなう画像の劣化を、符号化されたビットプレーンのトランケーションを実行する際に、復号化を必要とせずに評価することができる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００により画像情報を圧縮する一般的な画像処理装置を表す。
【図２】 ＪＰＥＧ２０００により画像情報を伸張する一般的な画像処理装置を表す。
【図３】 変換部について説明する図である。
【図４】 量子化部について説明する図である。
【図５】 符号化部について説明する図である。
【図６】 画像データが複数色からなる場合について説明する図である。
【図７】 本発明の実施の形態の例を表す。
【図８】 ビットプレーンとレイヤーを表す。
【図９】 レイヤー内のデータの配置例の図である。
【図１０】 下位３レイヤーをトランケーションした場合の図である。
【図１１】 下位７レイヤーをトランケーションした場合の図である。
【図１２】 下位６レイヤーをトランケーションした場合の図である。
【図１３】 下位８レイヤーをトランケーションした場合の図である。
【図１４】 各レイヤーのＮａとＮｂとを抽出した図である。
【図１５】 画像の空間内の分布が緩やかに変化している場合の図である。
【図１６】 画像の空間内の分布が２極分化している場合の図である。
【図１７】 符号化されたウェーブレット係数データのフォーマットの例を表す。
【図１８】 メインヘッダの構成を表す。
【図１９】 タイルパートヘッダの構成を表す。
【符号の説明】
１１ 画像データ
１２ 画像処理装置
１３ 変換部
１４ 量子化部
１５ 符号化部
１６ 符号データ
２１ 符号データ
２２ 画像処理装置
２３ 復号化部
２４ 逆量子化部
２５ 逆変換部
２６ 画像データ
３１ タイル
３２ ウェーブレット係数データ
５１ 量子化されたウェブレット係数データ
５２ サブバンド
５３ コードブロック
５４ ビットプレーン
７１ 指標生成部
７２ 個数抽出部
７３ 歪量推定部
７４ スロープパラメータ推定部
７５ 指標付加部
７６ 圧縮部
７７ 符号化前のウェーブレット係数データ
７８ 符号化後のウェーブレット係数データ
８１ レイヤー
１７１ メインヘッダ
１７２ タイルパートヘッダ
１７３ ＳＯＣ
１７４ ｍａｉｎ
１７５ ＳＯＴ
１７６ Ｔ（）
１７７ ＳＯＤ
１７８ ｂｉｔｓｔｒｅｅｍ
１７９ ＥＯＣ
１８１ ＳＩＺ
１８２ ＣＯＤ
１８３ ＣＯＣ
１８４ ＱＣＤ
１８５ ＱＣＣ
１８６ ＲＧＮ
１８７ ＰＯＣ
１８８ ＣＯＭ
１９１ ＰＰＭ
１９２ ＴＬＭ
１９３ ＰＬＭ
１９４ ＣＲＧ
１９５ ＰＰＴ
１９６ ＰＬＴ
Claims (11)
- 画像情報を、そのビットプレーンごとに符号化する符号化ステップと、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮ステップを有する画像処理方法において、
前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成ステップを有し、
前記指標生成ステップは、前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記画像の歪量を、前記指標パラメータとし、
前記圧縮ステップは、前記指標生成ステップにより予め生成された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする画像処理方法。 - 画像情報を、そのビットプレーンごとに符号化する符号化ステップと、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮ステップを有する画像処理方法において、
前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成ステップと、
前記符号化ステップによりビットプレーンごとに符号化された後の画像情報に、前記指標生成ステップにより予め生成された前記指標パラメータを予め付加する指標付加ステップを有し、
前記指標生成ステップは、前記符号化ステップによりビットプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出ステップと、前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定ステップとを有し、前記歪量推定ステップにより予め推定された前記画像の歪量を、前記指標パラメータとし、
前記圧縮ステップは、前記指標付加ステップにより予め付加された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする画像処理方法。 - 前記歪量推定ステップは、各ビットプレーンにおける最上位有効ビットの個数と各ビットプレーンにおけるレベルとの積の総和を画像の歪量と推定することを特徴とする請求項１又は２記載の画像処理方法。
- 前記指標生成ステップは、
前記個数抽出ステップにより予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量のスロープパラメータを予め推定するスロープパラメータ推定ステップを有し、
前記歪量推定ステップにより予め推定された前記画像の歪量と、前記スロープパラメータ推定ステップにより推定された前記画像の歪量のスロープパラメータを、前記指標パラメータとすることを特徴とする請求項１乃至３いのいずれか一項に記載の画像処理方法。 - 前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
- 前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であり、且つ、前記指標付加ステップは、前記符号化ステップによりビットプレーンごとに符号化された後の画像情報のコメントマーカに、前記指標生成ステップにより予め生成された前記指標パラメータを格納しておくことを特徴とする請求項２に記載の画像処理方法。
- 前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であり、且つ、前記指標付加ステップは、前記符号化ステップによりビットプレーンごとに符号化された画像情報のメインヘッダ又はタイルパートヘッダに配置されたコメントマーカに、前記指標生成ステップにより予め生成された前記指標パラメータを格納しておくことを特徴とする請求項２に記載の画像処理方法。
- 画像情報を、そのビットプレーンごとに符号化する符号化手段と、前記符号化手段によりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮手段を有する画像処理装置において、
前記符号化手段によりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成手段を有し、
前記指標生成手段は、前記符号化手段によりビットプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出手段と、前記個数抽出手段により予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定手段とを有し、前記歪量推定手段により予め推定された前記画像の歪量を、前記指標パラメータとし、
前記圧縮手段は、前記指標生成手段により予め生成された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする画像処理装置。 - 画像情報を、そのビットプレーンごとに符号化する符号化手段と、前記符号化手段によりビットプレーンごとに符号化された後の画像情報を、当該ビットプレーンのトランケーションにより圧縮する圧縮手段を有する画像処理装置において、
前記符号化手段によりビットプレーンごとに符号化される前の画像情報から、当該ビットプレーンのトランケーションにともなう画像の劣化の指標となる指標パラメータを予め生成する指標生成手段と、
前記符号化手段によりビットプレーンごとに符号化された後の画像情報に、前記指標生成手段により予め生成された前記指標パラメータを予め付加する指標付加手段を有し、
前記指標生成手段は、前記符号化手段によりビットプレーンごとに符号化される前の画像情報から、各ビットプレーンにおける最上位有効ビットの個数を予め抽出する個数抽出手段と、前記個数抽出手段により予め抽出された前記最上位有効ビットの個数から、ビットプレーンをトランケーションしたときの画像の歪量を予め推定する歪量推定手段とを有し、前記歪量推定手段により予め推定された前記画像の歪量を、前記指標パラメータとし、
前記圧縮手段は、前記指標付加手段により予め付加された前記指標パラメータに基づいて、トランケーションするビットプレーンを決定することを特徴とする画像処理装置。 - 前記歪量推定手段は、各ビットプレーンにおける最上位有効ビットの個数と各ビットプレーンにおけるレベルとの積の総和を画像の歪量と推定することを特徴とする請求項８又は９記載の画像処理装置。
- 請求項１乃至７のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002128682A JP3961870B2 (ja) | 2002-04-30 | 2002-04-30 | 画像処理方法、画像処理装置、及び画像処理プログラム |
| EP03720966A EP1500259A4 (en) | 2002-04-30 | 2003-04-28 | IMAGE AND AUDIO INFORMATION PROCESSING METHOD, IMAGE AND AUDIO PROCESSING APPARATUS, AND COMPUTER PROGRAMMING A COMPUTER PROCESSING IMAGE AND AUDIO INFORMATION |
| PCT/JP2003/005459 WO2003094504A1 (en) | 2002-04-30 | 2003-04-28 | Method of processing image and audio information, image and audio processing apparatus and computer program that causes a computer to process image and audio information |
| US10/510,136 US7539345B2 (en) | 2002-04-30 | 2003-04-28 | Method of processing image and audio information, image and audio processing apparatus and computer program that causes a computer to process image and audio information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002128682A JP3961870B2 (ja) | 2002-04-30 | 2002-04-30 | 画像処理方法、画像処理装置、及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003324612A JP2003324612A (ja) | 2003-11-14 |
| JP3961870B2 true JP3961870B2 (ja) | 2007-08-22 |
Family
ID=29397273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002128682A Expired - Fee Related JP3961870B2 (ja) | 2002-04-30 | 2002-04-30 | 画像処理方法、画像処理装置、及び画像処理プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7539345B2 (ja) |
| EP (1) | EP1500259A4 (ja) |
| JP (1) | JP3961870B2 (ja) |
| WO (1) | WO2003094504A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4064279B2 (ja) | 2003-03-28 | 2008-03-19 | 株式会社リコー | 画像圧縮装置 |
| JP4045544B2 (ja) | 2003-04-14 | 2008-02-13 | ソニー株式会社 | 符号化装置及び符号化方法 |
| TW200529104A (en) * | 2003-12-15 | 2005-09-01 | Martrixview Ltd | Compressing image data |
| JP4680112B2 (ja) * | 2006-03-30 | 2011-05-11 | 三菱電機株式会社 | 画像符号化装置 |
| EP2237269B1 (en) | 2009-04-01 | 2013-02-20 | Motorola Mobility LLC | Apparatus and method for processing an encoded audio data signal |
| US8769365B2 (en) | 2010-10-08 | 2014-07-01 | Blackberry Limited | Message rearrangement for improved wireless code performance |
| US9043667B2 (en) * | 2011-11-04 | 2015-05-26 | Blackberry Limited | Method and system for up-link HARQ-ACK and CSI transmission |
| WO2013169330A1 (en) | 2012-05-11 | 2013-11-14 | Research In Motion Limited | Method and system for uplink harq and csi multiplexing for carrier aggregation |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4817182A (en) * | 1987-05-04 | 1989-03-28 | General Electric Company | Truncated subband coding of images |
| US5014134A (en) * | 1989-09-11 | 1991-05-07 | Aware, Inc. | Image compression method and apparatus |
| JP2798168B2 (ja) * | 1993-01-27 | 1998-09-17 | 富士ゼロックス株式会社 | 画像符号化装置 |
| US5631977A (en) * | 1992-12-08 | 1997-05-20 | Fuji Xerox Co., Ltd. | Encoding device for encoding an image along an order determined by resolution tone level |
| US5471207A (en) * | 1994-02-23 | 1995-11-28 | Ricoh Company Ltd. | Compression of palettized images and binarization for bitwise coding of M-ary alphabets therefor |
| US5867602A (en) * | 1994-09-21 | 1999-02-02 | Ricoh Corporation | Reversible wavelet transform and embedded codestream manipulation |
| US5659631A (en) * | 1995-02-21 | 1997-08-19 | Ricoh Company, Ltd. | Data compression for indexed color image data |
| JPH08298555A (ja) * | 1995-04-25 | 1996-11-12 | Canon Inc | 画像通信装置及び方法 |
| JP3364074B2 (ja) * | 1995-06-05 | 2003-01-08 | 株式会社リコー | ビットプレーン符号化装置 |
| US5793892A (en) * | 1995-06-27 | 1998-08-11 | Motorola, Inc. | Method and system for compressing a pixel map signal using dynamic quantization |
| JP3320281B2 (ja) * | 1995-09-19 | 2002-09-03 | 株式会社リコー | 多値画像処理装置 |
| IL122714A (en) | 1997-04-02 | 2011-06-30 | Samsung Electronics Co Ltd | Digital data coding/decoding method and apparatus |
| AUPP686598A0 (en) * | 1998-10-30 | 1998-11-26 | Canon Kabushiki Kaisha | A method and apparatus for representing a digital image to provide a coded representation |
| JP3924967B2 (ja) * | 1998-11-25 | 2007-06-06 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、記録媒体、並びにデータ処理システム |
| KR100827212B1 (ko) * | 1999-08-27 | 2008-05-07 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 스케일 가능한 코딩 및 디코딩 방법, 코딩 장치 및 디코더, 이를 포함하는 시스템 |
| KR100796176B1 (ko) * | 1999-08-27 | 2008-01-21 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 신호 코딩 방법 및 장치, 인코더, 카메라 시스템, 디코딩 방법, 스케일가능 디코더 및 수신기 |
| US7212677B2 (en) * | 2000-01-11 | 2007-05-01 | Minolta Co., Ltd. | Coder, coding method, program, and image forming apparatus for improving image data compression ratio |
| AUPQ618500A0 (en) * | 2000-03-13 | 2000-04-06 | Canon Kabushiki Kaisha | Memory management of compressed images data |
| JP2002185962A (ja) * | 2000-12-19 | 2002-06-28 | Ricoh Co Ltd | 画像圧縮装置 |
| JP4111259B2 (ja) * | 2001-09-25 | 2008-07-02 | 株式会社リコー | 符号化装置、符号化方法、ソフトウェアプログラム、テーブルデータ並びに記録媒体 |
| JP4917724B2 (ja) * | 2001-09-25 | 2012-04-18 | 株式会社リコー | 復号方法、復号装置及び画像処理装置 |
| JP3700670B2 (ja) * | 2002-03-28 | 2005-09-28 | ソニー株式会社 | ビットプレーン符号化装置 |
| JP3970078B2 (ja) | 2002-04-10 | 2007-09-05 | 株式会社リコー | 画像処理方法及び画像処理装置 |
-
2002
- 2002-04-30 JP JP2002128682A patent/JP3961870B2/ja not_active Expired - Fee Related
-
2003
- 2003-04-28 EP EP03720966A patent/EP1500259A4/en not_active Withdrawn
- 2003-04-28 WO PCT/JP2003/005459 patent/WO2003094504A1/en active Application Filing
- 2003-04-28 US US10/510,136 patent/US7539345B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003094504A1 (en) | 2003-11-13 |
| EP1500259A1 (en) | 2005-01-26 |
| US7539345B2 (en) | 2009-05-26 |
| US20050147159A1 (en) | 2005-07-07 |
| EP1500259A4 (en) | 2006-09-06 |
| JP2003324612A (ja) | 2003-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1641277B1 (en) | A system and method for image coding employing a hybrid directional prediction and lifting wavelet | |
| JP4444790B2 (ja) | 画像圧縮方法、画像圧縮装置、画像圧縮システム、プログラム | |
| US20040126029A1 (en) | Code conversion apparatus, code conversion method and storage medium | |
| JP5469127B2 (ja) | 画像データ符号化装置ならびにその動作制御方法およびそのプログラム | |
| JP2003309726A (ja) | 圧縮デジタル画像の最適トランスコード処理を容易に行うためのレート歪情報符号化方法 | |
| JP3961870B2 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラム | |
| Auli-Llinas et al. | Efficient rate control for JPEG2000 coder and decoder | |
| JP2005039793A (ja) | 画像符号化装置、プログラム及び記憶媒体 | |
| JP3970078B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP4593720B2 (ja) | 剰余数係数の動的表示方法および装置 | |
| KR100909373B1 (ko) | 문맥정보를 이용한 제이펙 2000 압축 영상 품질 평가 방법 | |
| JP2011239066A (ja) | 画像処理装置および方法 | |
| JP4489474B2 (ja) | 画像処理装置、プログラムおよび記録媒体 | |
| Elmourssi et al. | A Performance Study Of Two Jpeg Compression Approaches | |
| RU2429541C2 (ru) | Способ кодирования оцифрованных изображений с использованием дискретного вейвлет-преобразования адаптивно определенного базиса | |
| JP4040404B2 (ja) | 符号列変換装置及び方法、画像処理装置並びに画像記録装置 | |
| Liu | Data hiding in JPEG 2000 code streams | |
| Thanki et al. | Conventional compression techniques for medical images | |
| PL | A Study on Image Compression Technology | |
| JP2004260539A (ja) | 画像復号化装置及び画像復号化プログラム | |
| Akinrotimi et al. | Enhanced Image Compression Using the Lempel-Ziv-Welch Algorithm | |
| Hakami et al. | Reversible Color Compression Transform for Big Data System Using Human Visual System | |
| Kadhim et al. | Subject review: Image Compression Techniques | |
| Chen et al. | A new scheme of image data hiding based on EBCOT of JPEG2000 lossy compression | |
| JP2004165982A (ja) | 動き量推定装置、プログラム、記憶媒体および動き量推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070517 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |