JP3989787B2 - Compression encoding apparatus, compression encoding method and program - Google Patents
Compression encoding apparatus, compression encoding method and program Download PDFInfo
- Publication number
- JP3989787B2 JP3989787B2 JP2002215401A JP2002215401A JP3989787B2 JP 3989787 B2 JP3989787 B2 JP 3989787B2 JP 2002215401 A JP2002215401 A JP 2002215401A JP 2002215401 A JP2002215401 A JP 2002215401A JP 3989787 B2 JP3989787 B2 JP 3989787B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- unit
- priority
- bit
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像圧縮伸長技術で使用される圧縮符号化方法および圧縮符号化装置に関する。
【0002】
【従来の技術】
画像データの次世代の高能率符号化方式として、ISO(国際標準化機構)やITU−T(国際電気通信連合電気通信標準化部門)によって、JPEG2000(Joint Photographic Experts Group 2000)方式が策定されている。JPEG2000方式は、現在主流のJPEG(Joint Photographic Experts Group)方式と比べて優れた機能を有するものであり、直交変換としてDWT(離散ウェーブレット変換;Discrete Wavelet Transform)を採用し、エントロピー符号化に、ビットプレーン符号化を行うEBCOT(Embedded Block Coding with Optimized Truncation)と称する方法を採用する点に特徴がある。
【0003】
図22は、JPEG2000方式に基づいた画像の圧縮符号化装置の概略構成を示す機能ブロック図である。以下、この図22を参照しつつ、JPEG2000方式の圧縮符号化手順について概説する。
【0004】
この圧縮符号化装置100に入力する画像信号は、DCレベルシフト部102で必要に応じてDCレベル変換を施された後に、色空間変換部103に出力される。次に、色空間変換部103は、DCレベルシフト部102から入力する信号の色空間を変換する。ここで、例えば、色空間変換部103に入力するRGB信号はYCbCr信号(輝度信号Yと色差信号Cb,Crからなる信号)に変換される。
【0005】
次に、タイリング部104は、色空間変換部103から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してDWT部105に出力する。DWT部105は、タイリング部104から入力する画像信号に対してタイル単位で整数型または実数型のDWTを施し、その結果得られる変換係数を出力する。DWTでは、2次元画像信号に対して、高域成分(高周波数成分)と低域成分(低周波数成分)とに分割する1次元フィルタが垂直方向と水平方向の順に適用される。JPEG2000の基本方式では、垂直方向と水平方向との双方向に低域側に分割した帯域成分のみを再帰的に帯域分割していくオクターブ分割方式が採用されている。またその再帰的に帯域分割した回数は、分解レベル(decomposition level)と呼ばれる。
【0006】
図23は、オクターブ分割方式に従って、分解レベル3のDWTを施された2次元画像120を示す模式図である。分解レベル1では、2次元画像120は、垂直方向と水平方向とに前述の1次元フィルタを順次適用することで、HH1,HL1,LH1およびLL1(図示せず)の4つの帯域成分に分割される。ここで、「H」は高域成分を、「L」は低域成分をそれぞれ示している。例えば、HL1は、分解レベル1における水平方向の高域成分Hと垂直方向の低域成分Lとからなる帯域成分である。その表記法を一般化して、「XYn」(X,YはH,Lの何れか;nは1以上の整数)は、分解レベルnにおける水平方向の帯域成分Xと垂直方向の帯域成分Yとからなる帯域成分を指すものとする。
【0007】
分解レベル2では、低域成分LL1は、HH2,HL2,LH2およびLL2(図示せず)に帯域分割される。更に、分解レベル3では、低域成分LL2は、HH3,HL3,LH3およびLL3に帯域分割される。以上で生成された帯域成分HH1〜LL3を配列したのが図23である。図23では、3次の分解レベルの例が示されているが、JPEG2000方式では、一般に、3次〜8次程度の分解レベルが採用される。
【0008】
次に、量子化部106は、DWT部105から出力された変換係数を、必要に応じてスカラー量子化する機能を有する。また量子化部106は、ROI部107による指定領域(ROI;Region Of Interest)の画質を優先させるビットシフト処理を行う機能も有している。尚、可逆(ロスレス)変換を行う場合には、量子化部106でのスカラー量子化は行われない。JPEG2000方式では、この量子化部106でのスカラー量子化と後述するポスト量子化(truncation)との2種類の量子化手段が用意されている。
【0009】
次に、量子化部106から出力された変換係数は、上述のEBCOTに従って、係数ビットモデリング部108と算術符号化部109とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部110でレートを制御される。具体的には、係数ビットモデリング部108は、入力する変換係数の帯域成分を16×16や32×32や64×64程度の「コードブロック」と称する領域に分割し、更に、各コードブロックを、各ビットの2次元配列で構成される複数のビットプレーンに分解する。
【0010】
図24は、複数のコードブロック121,121,121,…に分解された2次元画像120を示す模式図である。また、図25は、このコードブロック121を構成するn枚のビットプレーン1220〜122n-1(n:自然数)を示す模式図である。図25に示すように、コードブロック121中の1点の変換係数の2進値123が"011…0"である場合、この2進値123を構成するビットは、それぞれ、ビットプレーン122n-1,122n-2,122n-3,…,1220に属するように分解される。図中のビットプレーン122n-1は、変換係数の最上位ビット(MSB)のみからなる最上位ビットプレーンを表し、ビットプレーン1220は、その最下位ビット(LSB)のみからなる最下位ビットプレーンを表している。
【0011】
更に、係数ビットモデリング部108は、各ビットプレーン122k(k=0〜n−1)内の各ビットのコンテクスト(context)判定を行い、図26に示すように、各ビットの有意性(判定結果)に応じて、ビットプレーン122kを3種類の符号化パス、すなわち、SIGパス( SIGnificance propagation pass ),MRパス( Magnitude Refinement pass ),CLパス( CLeanup pass )に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、EBCOTで定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないとわかっている状態のことを意味し、「有意で無い」とは、係数値がゼロであるか、或いはゼロである可能性がある状態のことを意味する。
【0012】
係数ビットモデリング部108は、SIGパス(有意な係数が周囲にある有意でない係数の符号化パス)、MRパス(有意な係数の符号化パス)およびCLパス(SIGパス,MRパスに該当しない残りの係数情報の符号化パス)の3種類の符号化パスでビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを4ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数(0ビット)のみで構成されるビットプレーンの数はパケットヘッダに記録され、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはCLパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記3種類の符号化パスで順次符号化される。
【0013】
尚、図27に、レート(符号量;R)と歪み(D)の関係を表すR−D曲線を示す。このR−D曲線中、R1はビットプレーン符号化前のレート、R2はビットプレーン符号化後のレート、D1はビットプレーン符号化前の歪み、D2はビットプレーン符号化後の歪み、をそれぞれ示している。また、A,B,Cは、上述の符号化パスを表すラベルである。効率的な符号化を行うには、開始点P1(R1,D1)から終了点(R2,D2)へ向かう経路のうち、凸曲線のC−B−Aの経路よりも、凹曲線のA−B−Cの経路を採用するのが好ましい。このような凹曲線を実現するには、MSBプレーンからLSBプレーンに向けて符号化すればよいことが知られている。
【0014】
次に、算術符号化部109は、MQコーダを用いて、係数ビットモデリング部108からの係数列に対して、コンテクストの判定結果に基づいて符号化パス単位で算術符号化を実行する。尚、この算術符号化部109で、係数ビットモデリング部108から入力する係数列の一部を算術符号化させないバイパス処理を行うモードもある。
【0015】
次に、符号量制御部110は、算術符号化部109が出力した符号列の下位ビットプレーンを切り捨てるポスト量子化を行うことで、最終符号量を制御する。そして、ビットストリーム生成部111は、符号量制御部110が出力した符号列と付加情報(ヘッダ情報,レイヤー構成、スケーラビリティ情報、量子化テーブルなど)とを多重化したビットストリームを生成し、圧縮画像として出力する。
【0016】
【発明が解決しようとする課題】
従来、符号量制御部110におけるレート制御方法としては、レート・歪み最適化(R-D optimization)と称する手法が採用されている。レート・歪み最適化のアルゴリズムについては、「David S. Taubman and Michael W. Marcellin, "JPEG2000 IMAGE COMPRESSION FUNDAMENTALS, STANDARDS AND PRACTICE," Kluwer Academic Publishers」の文献(以下、参考文献Aと呼ぶ。)に開示されている。
【0017】
しかしながら、この手法では、(1)レートに対する歪量を各符号化パスで一々算出する必要があり、また或る符号化レートにおける最適解を推定しなければならず、演算量が多大になりリアルタイム性が低下する、(2)各符号化パスで算出した歪量を保存するためのメモリが必要になる、という問題がある。
【0018】
以上の問題などに鑑みて本発明が課題とするところは、符号化レートに対する歪みを抑制し得る符号化処理を、少ない演算量で且つ高速に実行し得る圧縮符号化装置および圧縮符号化方法を提供する点にある。
【0019】
【課題を解決するための手段】
上記課題を解決するため、請求項1に係る発明は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、前記複数の帯域成分のうち、所定の帯域成分の2次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、各帯域成分の優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部と、を備えることを特徴としている。
【0020】
請求項2に係る発明は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部と、を備え、前記画質制御部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いる機能を有したものである。
【0021】
請求項3に係る発明は、請求項1または2記載の圧縮符号化装置であって、前記画質制御部は、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定するものである。
【0022】
請求項4に係る発明は、請求項1〜3の何れか1項に記載の圧縮符号化装置であって、前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを2次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部を更に備え、前記エントロピー符号化部は、前記係数ビットモデリング部で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化するものである。
【0023】
請求項5に係る発明は、請求項4記載の圧縮符号化装置であって、前記画質制御部は、前記符号化対象を前記ビットプレーン単位で決定する機能を有したものである。
【0024】
請求項6に係る発明は、請求項4記載の圧縮符号化装置であって、前記画質制御部は、前記符号化対象を前記符号化パス単位で決定する機能を有したものである。
【0025】
請求項7に係る発明は、請求項4〜6の何れか1項に記載の圧縮符号化装置であって、前記エントロピー符号化部から出力された符号化データのレートを制御する符号量制御部を更に備え、前記符号量制御部は、前記帯域成分、前記ビットプレーンおよび前記符号化パスの中の少なくとも一の単位で、前記エントロピー符号化部から出力された符号化データの容量の小計を算出する符号量算出部と、前記符号量算出部で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力するデータ出力制御部と、を備えて構成したものである。
【0026】
請求項8に係る発明は、請求項7記載の圧縮符号化装置であって、前記データ出力制御部は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成するものである。
【0027】
次に、請求項9に係る発明は、画像信号を圧縮符号化する圧縮符号化方法であって、(a)ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、(b)前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化する工程と、(c)前記複数の帯域成分のうち、所定の帯域成分の2次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、優先度を設定すると共に、前記工程(b)で指定する前記符号化対象を前記優先度に応じて決定する工程と、を備えることを特徴としている。
【0028】
請求項10に係る発明は、画像信号を圧縮符号化する圧縮符号化方法であって、(a)ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、(b)前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化する工程と、(c)前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記工程(b)で指定する前記符号化対象を前記優先度に応じて決定する工程と、を備え、前記工程(c)は、人間の視覚特性を考慮した重み付けをされた前記優先度を決定する工程を含むものである。
【0029】
請求項11に係る発明は、請求項9または10記載の圧縮符号化方法であって、前記工程(c)を、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定する工程としたものである。
【0030】
請求項12に係る発明は、請求項9〜11の何れか1項に記載の圧縮符号化方法であって、前記工程(a)の後で前記工程(b)の前に、(d)前記工程(a)で生成された前記変換係数を、当該変換係数の各ビットを2次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する工程、を更に備え、前記工程(b)を、前記工程(d)で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化する工程としたものである。
【0031】
請求項13に係る発明は、請求項12記載の圧縮符号化方法であって、前記工程(c)は、前記符号化対象を前記ビットプレーン単位で決定する工程を含むものである。
【0032】
請求項14に係る発明は、請求項12記載の圧縮符号化方法であって、前記工程(c)は、前記符号化対象を前記符号化パス単位で決定する工程を含むものである。
【0033】
請求項15に係る発明は、請求項12〜14の何れか1項に記載の圧縮符号化方法であって、(e)前記工程(b)でエントロピー符号化された符号化データのレートを制御する工程、を更に備え、前記工程(e)は、(e−1)前記帯域成分、前記ビットプレーンおよび前記符号化パスのうち少なくとも一の単位で、前記工程(b)でエントロピー符号化された符号化データの容量の小計を算出する工程と、(e−2)前記工程(e−1)で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力する工程と、を備えて構成したものである。
【0034】
請求項16に係る発明は、請求項15記載の圧縮符号化方法であって、前記工程(e−2)は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成する工程を含むものである。
【0035】
次に、請求項17に係る発明は、マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、前記複数の帯域成分のうち、所定の帯域成分の2次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部として、前記マイクロプロセッサを機能させることを特徴とするものである。
【0036】
請求項18に係る発明は、マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部として、前記マイクロプロセッサを機能させ、前記画質制御部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いるように前記マイクロプロセッサを機能させるものである。
【0037】
請求項19に係る発明は、請求項17または18記載のプログラムであって、前記画質制御部は、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定するように前記マイクロプロセッサを機能させるものである。
【0038】
請求項20に係る発明は、請求項17〜19の何れか1項に記載のプログラムであって、前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを2次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部として前記マイクロプロセッサを機能させると共に、前記エントロピー符号化部は、前記係数ビットモデリング部で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化するように前記マイクロプロセッサを機能させるものである。
【0039】
請求項21に係る発明は、請求項20記載のプログラムであって、前記画質制御部は、前記符号化対象を前記ビットプレーン単位で決定するように前記マイクロプロセッサを機能させるものである。
【0040】
請求項22に係る発明は、請求項20記載のプログラムであって、前記画質制御部は、前記符号化対象を前記符号化パス単位で決定するように前記マイクロプロセッサを機能させるものである。
【0041】
請求項23に係る発明は、請求項20〜22の何れか1項に記載のプログラムであって、前記エントロピー符号化部から出力された符号化データのレートを制御する符号量制御部として前記マイクロプロセッサを機能させると共に、前記符号量制御部は、前記帯域成分、前記ビットプレーンおよび前記符号化パスの中の少なくとも一の単位で、前記エントロピー符号化部から出力された符号化データの容量の小計を算出する符号量算出部と、前記符号量算出部で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力するデータ出力制御部として、前記マイクロプロセッサを機能させるものである。
【0042】
請求項24に係る発明は、請求項23記載のプログラムであって、前記データ出力制御部は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成するように前記マイクロプロセッサを機能させるものである。
【0043】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【0044】
圧縮符号化装置.
図1は、本発明の実施形態に係る圧縮符号化装置1の概略構成を示す機能ブロック図である。この圧縮符号化装置1の構成と機能について概説した後に、本実施形態に係る符号化ブロックとその符号化方法を詳説する。
【0045】
この圧縮符号化装置1は、DCレベルシフト部10、色空間変換部11、タイリング部12、DWT部13、量子化部14、ROI部15、係数ビットモデリング部20、算術符号化部(エントロピー符号化部)21、符号量制御部22、画質制御部23、優先度テーブル24およびビットストリーム生成部17を備えて構成される。
【0046】
尚、この圧縮符号化装置1を構成する各処理部10〜15,17,20〜24の全部または一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
【0047】
この圧縮符号化装置1に入力した画像信号は、DCレベルシフト部10で必要に応じてDCレベル変換を施された後に、色空間変換部11に出力される。色空間変換部11は入力信号を色空間変換して出力する。JPEG2000方式によれば、色空間変換として、可逆変換用のRCT(Reversible Component Transformation)と、非可逆変換用のICT(Irreversible Component Transformation)とが用意されており、何れか一方を適宜選択できる。これにより、例えば、入力するRGB信号がYCbCr信号或いはYUV信号に変換される。
【0048】
次に、タイリング部12は、色空間変換部11から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してDWT部13に出力する。尚、必ずしも、画像信号をタイルに分割する必要は無く、1フレーム分の画像信号をそのまま次段の機能ブロックに出力してもよい。
【0049】
次に、DWT部13は、タイリング部12から入力する画像信号に対してタイル単位で整数型または実数型のDWTを施すことで、上記オクターブ分割方式に従って画像信号を高域成分と低域成分とに再帰的に帯域分割する。その結果、図23に示したような複数の帯域成分(サブバンド)HH1〜LL3の変換係数が生成され量子化部14に出力される。具体的には、実数型DWTであれば、9×7タップ、5×3タップまたは7×5タイプなどのフィルタが使用され、整数型DWTであれば、5×3タップまたは13×7タップなどのフィルタが使用される。また、これらフィルタの処理を畳み込み演算で実行してもよいし、或いは、畳み込み演算よりも効率的なリフティング構成(Lifting scheme)で実行してもよい。
【0050】
量子化部14は、DWT部13から入力する変換係数をスカラー量子化する機能を有する。また量子化部14は、ROI部15による指定領域(ROI;Region Of Interest)の画質を優先させるビットシフト処理を行う機能も有している。量子化部14ではスカラー量子化を行ってもよいし、スカラー量子化を行わなくてもよい。
【0051】
次に、量子化部14から出力された変換係数QDは、係数ビットモデリング部20と算術符号化部21とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部22でレートを制御される。
【0052】
係数ビットモデリング部20は、図22に示した係数ビットモデリング部108と同様に、入力する変換係数QDの帯域成分を32×32や64×64程度のコードブロックに分割し、更に、各コードブロックを、各ビットを2次元配列して構成される複数のビットプレーンに分解する。この結果、各コードブロックは、図25に示したような複数のビットプレーン1220〜122n-1に分解される。係数ビットモデリング部20は、更に、各ビットのコンテクスト判定を行い、各ビットプレーンを3種類のSIGパス( SIGnificance propagation pass )、MRパス( Magnitude Refinement pass )およびCLパス( CLeanup pass )の符号化パスに分解して符号化し、その結果得た符号化データBDを出力する。
【0053】
次に、算術符号化部21は、係数ビットモデリング部20から入力する符号化データBDのうち、画質制御部23から指定された符号化対象のみを算術符号化し、その結果得た符号化データADを符号量制御部22に出力する。ここで、算術符号化部21は、前記符号化対象の一部を算術符号化せずに、当該符号化対象をそのまま符号化データADに含めて出力するバイパス処理を行う場合もある。尚、本実施形態は、算術符号化を採用するが、これに限らず、他の方式のエントロピー符号化を採用しても構わない。
【0054】
ここで、画質制御部23は、優先度テーブル24から取得した優先度データPDに従って、各帯域成分に対して符号化順位を示す優先度を設定し、この優先度に応じて算術符号化部21に指定する符号化対象を決定する。優先度の設定方法と符号化対象の決定方法については後述する。
【0055】
次に、符号量制御部22は、優先度テーブル24から取得した優先度データPD2を用いて、算術符号化部21から入力する符号化データADのレートを制御する機能を有する。すなわち、符号量制御部22は、目標符号量(最終的な圧縮画像の符号量)に合わせて、符号化データADを、帯域成分単位、ビットプレーン単位或いは符号化パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する機能を有する。このポスト量子化の処理方法については後述する。
【0056】
そして、ビットストリーム生成部17は、符号量制御部22から出力された符号化データCDと付加情報(ヘッダ情報,レイヤー構成,スケーラビリティ,量子化テーブルなど)とを多重化したビットストリームを生成し、圧縮画像として外部に出力する。
【0057】
優先度設定方法(第1実施例).
次に、優先度テーブル24に記録する優先度の設定方法の第1実施例について説明する。本発明では、優先度は、各帯域成分(サブバンド)に対して、低域成分に再帰的に帯域分割された回数に応じて決定される。本実施例では、分解レベルn(n:1以上の整数)における帯域成分HHnの優先度は「n−1」、帯域成分HLnおよびLHnの優先度は「(n−1)+1」、帯域成分LLnの優先度は「(n−1)+2」にそれぞれ決定される。例えば、図23に示す帯域成分HH1の優先度は「0」、帯域成分LL3の優先度は「4」に設定される。図2は、オクターブ分割方式に従って帯域分割した2次元画像25を示す模式図である。各帯域成分に優先度「0」,「1」,「2」,「3」,「4」の何れかが付されている。
【0058】
優先度テーブル24には、帯域成分HHn,HLn,LHn,LLnのそれぞれに対応する優先度の情報が記録されており、画質制御部23および符号量制御部22は、この優先度テーブル24から取得した優先度データPD,PD2に従って、各帯域成分に対して優先度を設定する。具体的には、各帯域成分の変換係数を優先度に対応するビット数だけシフトさせることで、各変換係数に対して優先度が設定される。尚、このビットシフト処理では、必ずしも、各変換係数に対して実際にビットシフト演算を施す必要は無く、変換係数の各ビットの位置を仮想的にシフトさせればよい。この場合、変換係数の各ビットが属するビットプレーンの位置は変わらない。
【0059】
図3は、ビットシフトによる優先度設定処理を説明するための図である。図2に示した例では、帯域成分LL3の優先度は「4」であるから、該当する変換係数26は4ビット左シフトされている。また、優先度「3」を設定された帯域成分HL3,LH3の変換係数26,26は、3ビット左シフトされ、優先度「2」を設定された帯域成分HH3,HL2,LH2の変換係数26,26,26は、2ビット左シフトされ、優先度「1」を設定された帯域成分HH2,HL1,LH1の変換係数26,26,26は、1ビット左シフトされる。このとき、図4に示すように、ビットシフト前の2次元画像25Aの変換係数は、前述の左ビットシフト処理によって2次元画像25Bで示す変換係数に変化する。例えば、帯域成分LL3の変換係数値(=4)は、4ビットの左シフトにより、4×24=64に変換される。
【0060】
後述するように、画質制御部23は、図3に示したような、ビットシフトした変換係数列から、算術符号化部21に指示する符号化対象を効率的に決定することができる。
【0061】
次に、以上のように優先度を設定する理由(理論的背景)を以下に説明する。
【0062】
上述した従来のレート・歪み最適化(R-D optimization)の方法では、歪測度を利用した最適化処理が行われていた。David S. Taubmanらによる前記参考文献Aによれば、歪測度Di (z)は次式(1)に従って算出される。
【0063】
【数1】
【0064】
上式(1)中、zは、ビット切り捨て点(bit truncation point);oyi K[i,j][j]は、K[i,j]番目のビットプレーンで逆量子化されたコードブロックのj番目のサンプル値(係数値);yi[j]は、当該コードブロックのj番目のサンプル値(係数値);Gb[i]は、サブバンドb[i]に対応する合成フィルタ係数のノルムの二乗であって、当該サブバンドbに依存する歪モデルの重み係数を示している。尚、説明の便宜上、上式(1)に示した記号の表記法は、参考文献Aでのそれとは若干異なる。
【0065】
レート・歪み最適化では、この歪測度Di (z)のサブバンドb[i]における総和量を最小にするような最適化処理が行われる。サブバンドbの重み係数Gbは、画像の歪みを低減させるための重み付けを表している。
【0066】
サブバンドbの重み係数Gbは、次式(2)に従って算出される。
【0067】
【数2】
【0068】
ここで、上式(2)中、sb[n]は、サブバンドbの1次元合成フィルタ係数を示している。また、記号||x||は、ベクトルxに関するノルムを示す。
【0069】
参考文献Aに記載される数式(4.39)と(4.40)によれば、分解レベル1における低域成分L1の1次元合成フィルタ係数sL[1][n]と、同分解レベルにおける高域成分H1の1次元合成フィルタ係数sH[1][n]とは、次式(3)に従って算出される。
【0070】
【数3】
【0071】
ここで、上式(3)中、g0[n]は、画像信号を帯域分割する順変換フィルタのローパス・フィルタ係数、g1[n]は、そのハイパス・フィルタ係数をそれぞれ示している。
【0072】
また、分解レベルd(d=1,2,…,D)における低域成分Ldの1次元合成フィルタ係数sL[d][n]と、同分解レベルにおける高域成分Hdの1次元合成フィルタ係数sH[d][n]とは、次式(4)に従って算出される。
【0073】
【数4】
【0074】
そして、分解レベルdにおける低域成分Ldの1次元合成フィルタ係数のノルムの二乗は、次式(5)に従って算出される。
【0075】
【数5】
【0076】
高域成分の1次元合成フィルタ係数のノルムの二乗も、上式(5)と同様にして算出することができる。
【0077】
次に、分解レベルd(d=1,2,…,D;Dは整数)における帯域成分LLD,HLd,LHd,HHdの2次元合成フィルタ係数は、上記1次元合成フィルタ係数の積で表現することができ、帯域成分bの2次元の重み係数Gbも、1次元の重み係数の積で表現することができる。具体的には、2次元合成フィルタ係数と2次元の重み係数とは、次式(6)に従って算出される。
【0078】
【数6】
【0079】
上式(6)中、添字LL[D]はサブバンドLLDを示し,HL[d],LH[d]およびHH[d]はそれぞれサブバンドHLd,LHdおよびHHdを表している。
【0080】
重み係数Gbの平方根がノルムである。以下の表1〜表4に、2次元の重み係数Gbに関する計算結果を示す。表1に、(9,7)フィルタ(9×7タップのフィルタ)の各帯域成分のノルムの二乗の数値を、表2には、表1に対応するノルムの数値をそれぞれ示す。また、表3に、(5,3)フィルタ(5×3タップのフィルタ)の各帯域成分のノルムの二乗の数値を、表4には、表3に対応するノルムの数値をそれぞれ示す。
【0081】
【表1】
【0082】
【表2】
【0083】
【表3】
【0084】
【表4】
【0085】
更に、分解レベル1における低域成分LL1のノルムをαで表すとき、このノルムαを用いて、各帯域成分について図5に示すような値を設定する。図5に示す2次元画像27は、オクターブ分割方式に従って帯域分割された2次元画像120を示す図である。分解レベルn(n:1以上の整数)における帯域成分HHnの設定値は「2n-3×α」、帯域成分HLnおよびLHnの設定値は「2n-2×α」、帯域成分LLnの設定値は「2n-1×α」にそれぞれ設定される。従って、例えば、帯域成分LH1の設定値は「2-1×α」に設定されている。
【0086】
上記設定値と、表2と表4に示したノルムの数値とを比較すれば、両者は概ね近似する。例えば、表2の場合(α=1.96591)、図5に示す各帯域成分の「設定値(対応する帯域成分)」は、約0.49(HH1)、約0.98(HL1,LH1)、約1.96(HL2,LH2,HH3)、約3.93(HL3,LH3)、約7.86(LL3)となり、これら設定値は、表2に示したノルムの数値と近似していることが分かる。
【0087】
また、図5において、帯域成分LL1のノルムをα=2に丸め込み、各帯域成分の設定値を1ビット左シフトした値、すなわち、全ての設定値に21を乗算した2の巾乗値の指数は、図2に示した優先度の値に一致することが分かる。よって、第1実施例のように各帯域成分に優先度を設定することは、近似的に、レート・歪み最適化で使用するフィルタのノルム(重み係数の平方根)を各帯域成分のサンプル値(変換係数値)に乗算することに等しい。従って、本実施例の優先度は画像の歪みを低減させ得るように設定されるものである。
【0088】
優先度設定方法(第2実施例).
次に、優先度設定方法の第2実施例について説明する。本実施例では、各帯域成分の上記重み係数Gbの平方根であるノルムを、最も高い分解レベルにおける最低域成分LLのノルムで除算した値を2の巾乗値に丸め込み、その2の巾乗値の指数の絶対値を、優先度として設定する。具体的には、最も高い分解レベルnの最低域成分LLnのノルムをαとし、その他の帯域成分のノルムをxとし、2の巾乗に丸め込む変数yに関する関数をR[y]とし、変数yの2の巾乗2mの指数mを算出する関数をm=I[2m]とし、変数yに関する絶対値を|y|とするとき、優先度pは、p=|I[R[x/α]]|、に従って算出される。
【0089】
以下の表5に、上記表2に示した(9,7)フィルタのノルムを用いて算出した優先度を示す。また、図6に、表5に示した優先度を記した2次元画像28を示す帯域分割図を示す。ここで、最も高い分解レベルは5であり、α=33.92493、である。尚、表中の「×」は、当該帯域成分の優先度は計算されていないことを意味する。
【0090】
【表5】
【0091】
また、以下の表6に、上記表4に示した(5,3)フィルタのノルムを用いて算出した優先度を示す。
【0092】
【表6】
【0093】
上記第1実施例では、各帯域成分の変換係数を優先度のビット数だけ左シフトさせて優先度を設定していたが、本第2実施例では、各帯域成分の変換係数を優先度のビット数だけ右シフトさせる処理が実行される。但し、変換係数のビット長を拡大させるように右ビットシフト処理が実行される。図7は、図6に示す優先度のビット数だけ右シフトされた帯域成分の変換係数29,29,…を示す模式図である。
【0094】
優先度設定方法(第3実施例).
次に、人間の視覚特性を考慮した第3実施例に係る優先度設定方法について説明する。数百万画素程度の高解像度の画像について上記第2実施例で示した優先度を適用した場合、復号画像の画質は客観評価では良いが、人間の視覚評価では必ずしも良いとは限らない。そこで、本実施例の優先度設定方法は、人間の視覚特性を考慮した重み付けをされた優先度を採用するものである。これにより、高い表示画質の圧縮画像を生成することが可能になる。
【0095】
前記参考文献AのChapter 16には、CSF(human visual system Contrast Sensitivity Function)に基づいた重み付けMSE(Weighted Mean Squared Error;WMSE)が記載されている。この記載によれば、人間の視覚評価を改善するために、上式(1)を次式(7)に修正するのが望ましい。
【0096】
【数7】
【0097】
ここで、上式(7)中、Wb[i] csfは、サブバンドb[i]の"energy weighting factor"と呼ばれており、Wb[i] csfの推奨数値は、「ISO/IEC JTC 1/SC 29/WG1(ITU-T SG8) N2406, "JPEG 2000 Part 1 FDIS (includes COR 1, COR 2, and DCOR3)," 4 December 2001」の文献(以下、参考文献Bと呼ぶ。)に記載されている。図8〜図10に、参考文献Bに記載される"energy weighting factor"の数値を示す。
【0098】
図8〜図10中の"level"および "Lev"は分解レベルを、"Comp"は輝度成分Yと色差成分Cb, Crをそれぞれ示しており、"Viewing distance(視距離)"が1000,1700, 2000, 3000, 4000の例が示されている。また、"Viewing distance 1000", "Viewing distance 1700", "Viewing distance 2000", "Viewing distance 3000", "Viewing distance 4000"は、それぞれ、100dpi,170dpi,200dpi,300dpi,400dpiのディスプレイまたは印刷物を10インチ離れて見たときの視距離を意味する。
【0099】
図8〜図10に示す数値を用いて、上式(7)の重み付け係数の平方根(Wb[i] csf・Gb[i])1/2を計算した。その計算結果を、以下の表7〜表18に示す。表7〜表9は、図8に示す数値を用いて計算した(9,7)フィルタの白黒用数値、表10〜表12は、図9と図10に示す数値を用いて計算した(9,7)フィルタのカラー用数値を、表13〜表15は、図8に示す数値を用いて計算した(5,3)フィルタの白黒用数値を、表16〜表18は、図9と図10に示す数値を用いて計算した(5,3)フィルタのカラー用数値をそれぞれ示している。
【0100】
【表7】
【0101】
【表8】
【0102】
【表9】
【0103】
【表10】
【0104】
【表11】
【0105】
【表12】
【0106】
【表13】
【0107】
【表14】
【0108】
【表15】
【0109】
【表16】
【0110】
【表17】
【0111】
【表18】
【0112】
次に、上記表7〜表18に示す数値を用いて、上記第2実施例で述べたのと同じ手順で各帯域成分の優先度を算出した。すなわち、最も高い分解レベルnの最低域成分LLnの数値をαとし、その他の帯域成分の数値をxとし、2の巾乗に丸め込む変数yに関する関数をR[y]とし、変数yの2の巾乗2mの指数mを算出する関数をm=I[2m]とし、変数yに関する絶対値を|y|とするとき、優先度pは、p=|I[R[x/α]]|、に従って算出される。
【0113】
優先度の値を、以下の表19〜表30に示す。表19,表20,表21,表22,表23,表24,表25,表26,表27,表28,表29および表30の優先度は、それぞれ、上記した表7,表8,表9,表10,表11,表12,表13,表14,表15,表16,表17および表18の数値を用いて算出されたものである。
【0114】
【表19】
【0115】
【表20】
【0116】
【表21】
【0117】
【表22】
【0118】
【表23】
【0119】
【表24】
【0120】
【表25】
【0121】
【表26】
【0122】
【表27】
【0123】
【表28】
【0124】
【表29】
【0125】
【表30】
【0126】
本実施例では、上記第2実施例と同じように、以上の表19〜表30に示す優先度のビット数だけ右シフトさせることで、各帯域成分の変換係数に対して優先度が設定される。これにより、人間の視覚特性を考慮した優先度を設定できる。
【0127】
画質制御処理.
次に、図1に示した画質制御部23の構成と処理内容について説明する。図11は、この画質制御部23の概略構成を示す機能ブロック図である。
【0128】
この画質制御部23は、外部から供給される目標画質情報(高画質,標準画質,低画質,解像度情報など)に基づいて、複数の画質パラメータ群から当該目標画質情報に適した画質パラメータQPを選択して出力する画質パラメータ選択部31と、符号化対象を決定する符号化対象判定部30とを備えている。符号化対象判定部30は、優先度テーブル24から取得した優先度データPDに従って、符号化データBDの各帯域成分に対して上述の優先度を設定する。また符号化対象判定部30は、設定した優先度に従って、前記画質パラメータQPで指定される目標画質に合わせて符号化対象を決定し、画質制御信号CS1を生成出力する。
【0129】
以下、符号化対象の決定方法について説明する。図12は、優先度に応じてビットシフトされた変換係数33,33,…を例示する模式図である。各変換係数33は優先度に応じてビットシフトされている。また、変換係数33の各ビットに付した番号0,1,…,10は、当該ビットが属するビットプレーンの番号を示している。ここで、LSB番号=0,MSB番号=10、である。
【0130】
符号化対象判定部30は、画質パラメータQPに従って符号化終了ライン32を設定し、当該符号化終了ライン32よりも上位ビットを符号化対象に決定し、そのライン32よりも下位ビットを符号化対象から外すように画質制御信号CS1を生成する。これにより符号化対象を効率的に選別することが可能になる。この結果、画質制御信号CS1を受けた算術符号化部21は、各コードブロックにおいて、符号化終了ライン32よりも上位のビットプレーンのみを算術符号化し、そのライン32よりも下位のビットプレーンを切り捨てることになる。尚、算術符号化部21は、ビットシフト処理によりゼロが挿入されたビットに対しては、算術符号化を施さない。
【0131】
符号化対象判定部30は、更に、画質パラメータQPに従って、符号化パス単位で符号化対象を決定することができる。画質パラメータQPは、符号化対象のビットプレーンの制限と、符号化対象の符号化パス(CLパス,SIGパスおよびMRパス)の制限とを示すパラメータ群を含んでいる。以下の表31に、2048×2560画素の解像度をもつ画像に適した画質パラメータQPを例示する。尚、最低域のサブバンドの解像度を128×128画素よりも小さくする必要があるため、5以上の分解レベルが必要である。
【0132】
【表31】
【0133】
表31において「ビットプレーン数」は、図12に示した符号化終了ライン32よりも下位ビットの切り捨て対象のビットプレーンの数を、「パス名」は、符号化対象の中の最終符号化パスを、「最大パス数」は、符号化対象の符号化パス数の上限をそれぞれ表している。
【0134】
図12と表31を適用した場合の処理例を以下に説明する。図13に、帯域成分LL5の変換係数33として"000110101112=21510"を例示する(Y2は2進値Yを、X10は10進値Xを表すものとする)。表31に示す通り、帯域成分LL5における最終符号化パスはCLパス、最大パス数は17に制限されている。
【0135】
図13に示す変換係数の7番目ビットは、SIGパスまたはCLパスに属するようにコンテクスト判定がなされている。8番目〜10番目の上位ビットは、0ビットのみで構成されるビットプレーンに属する場合はタグツリー(Tag tree)と称する方式で符号化され、既に符号化パスが開始している場合はSIGパスまたはCLパスで符号化される。7番目ビットが符号化開始パス(CLパス)に属する場合、6番目ビットを含む下位ビットは、MRパスに属するようにコンテクスト判定される。一般に、符号化開始のビットプレーンよりも下位のビットプレーンは、符号化効率の観点から、SIGパス,MRパスおよびCLパスの順番で符号化される。よって、最大パス数は17に制限されているため、7番目ビットのCLパスから1番目ビットのSIGパス迄の計17パスが符号化対象になる。但し、1番目ビットはMRパスに属するため符号化されない。従って、算術符号化処理において、下位2ビットは切り捨てられ、符号化後の値は"000110101002=21210"となる。この値がミッドポイントで逆量子化されれば、"000110101102=21410"となる。
【0136】
次に、図14に、帯域成分LL5の変換係数33として"000000011112=1510"を例示する。変換係数の3番目ビットは、SIGパスまたはCLパスに属する。4番目〜10番目の上位ビットは、0ビットのみで構成されるビットプレーンに属する場合はタグツリー(Tag tree)で符号化され、既に符号化パスが開始している場合はSIGパスまたはCLパスで符号化される。3番目ビットが符号化開始パス(CLパス)に属する場合、2番目ビットを含む下位ビットはMRパスに属し、3番目ビットのCLパスから0番目ビットのCLパス迄の計10パスが符号化対象になる。算術符号化処理において符号化後の値は"000000011112=1510"となり、この値が逆量子化されれば、"000000011112=1510"となる。
【0137】
次に、図15に、帯域成分HH2の変換係数33として"000010111112=9510"を例示する。表31に示す通り、帯域成分HH2における最終符号化パスはSIGパス、最大パス数は14に制限されている。また下位3ビットのビットプレーンは切り捨てられる。
【0138】
変換係数の6番目ビットは、SIGパスまたはCLパスに属する。7番目〜10番目の上位ビットは、0ビットのみで構成されるビットプレーンに属する場合はタグツリー(Tag tree)で符号化され、既に符号化パスが開始している場合はSIGパスまたはCLパスで符号化される。6番目ビットが符号化開始パス(CLパス)に属する場合、5番目ビットを含む下位ビットはMRパスに属する。また、3番目ビットプレーンのSIGパス迄しか符号化しないという制限のため、6番目ビットのCLパスから4番目ビットのSIGパス迄の8パスが符号化対象になるが、3番目ビットはMRパスに属するため符号化されない。従って、算術符号化処理において符号化後の値は"000010100002=8010"となり、この値がミッドポイントで逆量子化されれば、"000010110002=8810"となる。
【0139】
尚、各ビットプレーンを、SIGパス,MRパスおよびCLパスの順番で符号化するのは、SIGパスの歪みに対する符号化効率が最も高いからである。図16に、各符号化パスにおけるレート・歪み特性を示す。R−D曲線中、点P1〜P2の部分がSIGパス,点P2〜P3の部分がMRパス、点P3〜P4の部分がCLパスを示している。各符号化パスにおけるレート(符号量)に対する歪みの比率ΔDSIG/ΔRSIG,ΔDMR/ΔRMR,ΔDCL/ΔRCLをみれば、SIGパスにおける曲線勾配が最も急であり、符号化効率が最も高いことが分かる。
【0140】
以上のように、本実施形態に係る画質制御方法では、優先度に応じてビットシフトした変換係数に対して、変換係数を符号化対象とするか否かが決定される。符号化対象のみが算術符号化部21で選択的に算術符号化されるため、歪みの少ない高画質の圧縮画像を生成し得るように、符号量を効率良く制御することが可能である。
【0141】
符号量制御処理.
次に、図1に示した符号量制御部22の構成と処理内容について説明する。図17は、この符号量制御部22の概略構成を示す機能ブロック図である。
【0142】
この符号量制御部22は、大容量記憶装置40,符号量算出部41およびデータ出力制御部42を備えている。
【0143】
上述したように図1に示した算術符号化部21は、画質制御部23から指定された符号化対象のみを選択的に算術符号化し、その結果得た符号化データADを符号量制御部22に出力する。符号量算出部41は、入力する符号化データADの容量の小計を、帯域成分単位,ビットプレーン単位および符号化パス単位で算出し、その結果得られる小計情報43をデータ出力制御部42に出力する。また、符号化データADは、フレーム単位或いはサブフレーム単位で大容量記憶装置40に一時記憶させられる。
【0144】
前記データ出力制御部42は、大容量記憶装置40に一時記憶された符号化データADを読み出し、優先度データPD2を用いて上記第1実施例〜第3実施例のようにビットシフトさせる。次いで、データ出力制御部42は、ビットシフトした符号化データを以下に説明する走査順序で並べ替えて生成した符号列から、目標符号量に適合するように切り捨て点(truncation point)を算出する。次に、データ出力制御部42は、その符号列のうち切り捨て点よりも前の符号列を符号化データCDとしてビットストリーム生成部17に出力する。
【0145】
図18と図19は、前記走査順序と切り捨て点の一例を説明するための図である。図18と図19には、図12に示したのと同じ規則で、優先度に応じてビットシフトされた変換係数33,33,…が表示されている。符号化終了ライン32よりも上位ビット(図面左側のビット)の符号化データADが、符号量制御部22に入力する。
【0146】
図18の矢印に示すように、変換係数33,33,…は、ビットプレーン単位または符号化パス単位で、優先度の高い順に(上位ビットから下位ビットに向けて)且つ同一の優先度においては高域側から低域側に向けた走査順序で並べ替えられる。一般に、下位のビットプレーンを符号化する程にMRパスの割合が増えて圧縮効率が下がる傾向にある。よって、圧縮効率を向上させるために出来るだけ多くのSIGパスを符号化すべく、同一の優先度においては高域側から低域側に向けた走査順序を採用している。
【0147】
そして、データ出力制御部42は、次式(8)に示すように、実際の符号量(バイト数)が目標符号量(バイト数)以下になる条件を満たすように切り捨て点を決定し、当該切り捨て点以降の符号列に含まれる下位ビットプレーンを切り捨てる。これにより、既に算術符号化済みの符号化データのレート制御を、各サブバンドに設定した優先度に従って効率的に行うことができる。
【0148】
【数8】
【0149】
図19に示すように、目標符号量に合わせてサブバンドHL3の2番目ビットプレーンが切り捨て点として決定された場合、矢印で示す部分のビットが切り捨てられることになる。
【0150】
図20は、ビットプレーン単位で並べ替えられた符号列を示す図、図21は、符号化パス単位で並べ替えられた符号列を示す図である。図20では、各ビットプレーンに対して、サブバンドを示す符号LL5,HL5,…と、ビットプレーン番号10,9,…とが付されている。サブバンドHL3の2番目ビットプレーンに付されたライン44以降のビットプレーンが切り捨てられる。
【0151】
また、図21では、各符号化パスに対して、符号化パスの種類を示す符号CL,SIG,MRと、サブバンドを示す符号LL5,HL5,…と、ビットプレーン番号10,9,…とが付されている。サブバンドHL3の2番目ビットプレーンのMRパスに付されたライン44以降のビットプレーンが切り捨てられる。
【0152】
以上のように本実施形態に係る符号量制御処理によれば、レート・歪み最適化処理のために各符号化パスにおける歪量を算出せずに済むため、リアルタイム性が高く、オーバーヘッドが大幅に低減した高効率のレート制御を実現できる。
【0153】
【発明の効果】
以上の如く、本発明の請求項1に係る圧縮符号化装置、請求項9に係る圧縮符号化方法および請求項17に係るプログラムによれば、上記帯域成分は、それぞれ、低域成分に再帰的に帯域分割された回数に応じて優先度を設定され、この優先度に応じて符号化対象になるか否かが決定される。符号化対象のみが選択的にエントロピー符号化されるため、符号量を効率的に制御でき、少ない演算量で高速な符号化処理を行うことが可能になる。
【0154】
請求項2、請求項10および請求項18によれば、人間の視覚評価に適した、高い表示画質を有する圧縮画像を生成することが可能となる。
【0155】
請求項3、請求項11および請求項19によれば、各帯域成分の変換係数は優先度に対応するビット数だけシフトされ、シフトするビット数に応じて変換係数の優先度が定まることから、圧縮画像の画質に応じて符号化対象を効率的に指定することが可能になる。
【0156】
請求項4,5,6、請求項12,13,14および請求項20,21,22によれば、ビットプレーン単位および符号化パス単位で、優先度に応じて符号化対象を細かく指定できることから、符号量を正確に制御し、圧縮画像の画質を細かく制御することが可能となる。
【0157】
請求項7,8、請求項15,16および請求項23,24によれば、既にエントロピー符号化されたデータのレート制御を、各帯域成分に設定した優先度に従って効率的に行うことが可能である。また、従来のようにレート・歪み最適化を用いた最適化処理を行わなくても、歪みを抑制し得るようにリアルタイム性の高いレート制御を行うことが可能である。
【図面の簡単な説明】
【図1】本発明の実施形態に係る圧縮符号化装置の概略構成を示す機能ブロック図である。
【図2】ウェーブレット変換によって帯域分割した2次元画像を示す模式図である。
【図3】ビットシフトによる優先度設定処理を説明するための図である。
【図4】ビットシフトされた変換係数を例示する図である。
【図5】ウェーブレット変換によって帯域分割した2次元画像を示す模式図である。
【図6】ウェーブレット変換によって帯域分割した2次元画像を示す模式図である。
【図7】図6に示す優先度に応じて右ビットシフトされた帯域成分の変換係数を示す模式図である。
【図8】 Energy weighting factorの数値テーブルを示す図である。
【図9】 Energy weighting factorの数値テーブルを示す図である。
【図10】 Energy weighting factorの数値テーブルを示す図である。
【図11】本実施形態に係る画質制御部の概略構成を示す機能ブロック図である。
【図12】優先度に応じてビットシフトされた変換係数を例示する模式図である。
【図13】帯域成分LL5の変換係数の符号化処理例を説明するための図である。
【図14】帯域成分LL5の変換係数の符号化処理例を説明するための図である。
【図15】帯域成分HH2の変換係数の符号化処理例を説明するための図である。
【図16】レート・歪み特性の曲線を示す図である。
【図17】本実施形態に係る符号量制御部の概略構成を示す機能ブロック図である。
【図18】走査順序の一例を説明するための図である。
【図19】切り捨て点の一例を説明するための図である。
【図20】ビットプレーン単位で並べ替えられた符号列を示す図である。
【図21】符号化パス単位で並べ替えられた符号列を示す図である。
【図22】JPEG2000方式による圧縮符号化装置の概略構成を示す機能ブロック図である。
【図23】オクターブ分割方式に従って帯域分割された2次元画像を示す模式図である。
【図24】複数のコードブロックに分解された2次元画像を示す模式図である。
【図25】コードブロックを構成する複数枚のビットプレーンを示す模式図である。
【図26】3種類の符号化パスを示す模式図である。
【図27】レートと歪みの関係を表すR−D曲線を示す図である。
【符号の説明】
1 圧縮符号化装置
10 DCレベルシフト部
11 色空間変換部
12 タイリング部
13 DWT部
14 量子化部
15 ROI部
17 ビットストリーム生成部
20 係数ビットモデリング部
21 算術符号化部
22 符号量制御部
23 画質制御部
24 優先度テーブル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a compression encoding method and a compression encoding apparatus used in an image compression / decompression technique.
[0002]
[Prior art]
As a next-generation high-efficiency encoding system for image data, the ISO (International Organization for Standardization) and ITU-T (International Telecommunication Union Telecommunication Standardization Sector) have developed the JPEG 2000 (Joint Photographic Experts Group 2000) system. The JPEG2000 system has superior functions compared with the current mainstream JPEG (Joint Photographic Experts Group) system, adopts DWT (Discrete Wavelet Transform) as orthogonal transform, and uses bit for entropy coding. It is characterized in that a method called EBCOT (Embedded Block Coding with Optimized Truncation) that performs plain coding is adopted.
[0003]
FIG. 22 is a functional block diagram showing a schematic configuration of an image compression coding apparatus based on the JPEG2000 system. Hereinafter, the compression encoding procedure of the JPEG2000 system will be outlined with reference to FIG.
[0004]
The image signal input to the
[0005]
Next, the
[0006]
FIG. 23 is a schematic diagram showing a two-
[0007]
At
[0008]
Next, the
[0009]
Next, the transform coefficient output from the
[0010]
FIG. 24 is a schematic diagram showing a two-
[0011]
Further, the coefficient
[0012]
The coefficient
[0013]
FIG. 27 shows an RD curve representing the relationship between rate (code amount; R) and distortion (D). In this RD curve, R1Is the rate before bit-plane coding, R2Is the bit-plane encoded rate, D1Is the distortion before bit-plane coding, D2Indicates distortion after bit-plane encoding. A, B, and C are labels representing the above-described encoding pass. For efficient coding, the starting point P1(R1, D1) To end point (R2, D2), It is preferable to adopt a concave-curved ABC path rather than a convex-curved CBA path. In order to realize such a concave curve, it is known that encoding may be performed from the MSB plane toward the LSB plane.
[0014]
Next, the
[0015]
Next, the code
[0016]
[Problems to be solved by the invention]
Conventionally, a method called rate / distortion optimization (R-D optimization) has been adopted as a rate control method in the code
[0017]
However, in this method, (1) it is necessary to calculate the distortion amount with respect to the rate one by one in each coding pass, and it is necessary to estimate the optimal solution at a certain coding rate, which increases the amount of calculation and real time. There is a problem that (2) a memory for storing the distortion amount calculated in each encoding pass is required.
[0018]
In view of the above problems and the like, an object of the present invention is to provide a compression encoding apparatus and a compression encoding method capable of executing an encoding process capable of suppressing distortion with respect to an encoding rate with a small amount of computation and at a high speed. The point is to provide.
[0019]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to
[0020]
The invention according to claim 2Compress and encode image signalsA compression encoding device comprising:A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transform to generate and output transform coefficients of a plurality of band components, and a specified encoding target among the transform coefficients An entropy encoding unit that selectively entropy-encodes only the band, a priority is set according to the number of times each band component is recursively band-divided into the low-frequency components, and the entropy encoding unit An image quality control unit that determines the encoding target to be specified in accordance with the priority,The image quality control unit has a function of using the priority weighted in consideration of human visual characteristics.
[0021]
The invention according to
[0022]
The invention according to
[0023]
The invention according to
[0024]
The invention according to
[0025]
The invention according to
[0026]
The invention according to
[0027]
Next, an invention according to
[0028]
The invention according to
[0029]
The invention according to
[0030]
The invention according to
[0031]
A thirteenth aspect of the present invention is the compression encoding method according to the twelfth aspect, wherein the step (c) includes a step of determining the encoding target in units of the bit planes.
[0032]
The invention according to
[0033]
The invention according to
[0034]
The invention according to claim 16 is the compression encoding method according to
[0035]
Next, an invention according to
[0036]
The invention according to claim 18To have a microprocessor compress and encode an image signalThe program ofA wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transform to generate and output transform coefficients of a plurality of band components, and a specified encoding target among the transform coefficients An entropy encoding unit that selectively entropy-encodes only the band, and a priority is set according to the number of times the band components are recursively band-divided into the low-frequency components, and the entropy encoding unit The microprocessor functions as an image quality control unit that determines the encoding target to be specified according to the priority,The image quality control unit causes the microprocessor to function so as to use the priority weighted in consideration of human visual characteristics.
[0037]
The invention according to claim 19 is the program according to claim 17 or 18, wherein the image quality control unit shifts the conversion coefficient of each band component by the number of bits corresponding to the priority. The microprocessor is caused to function so as to determine the encoding target.
[0038]
An invention according to
[0039]
The invention according to
[0040]
The invention according to
[0041]
The invention according to
[0042]
The invention according to
[0043]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described.
[0044]
Compression encoding device.
FIG. 1 is a functional block diagram showing a schematic configuration of a
[0045]
The
[0046]
Note that all or part of each of the
[0047]
The image signal input to the
[0048]
Next, the
[0049]
Next, the
[0050]
The
[0051]
Next, the transform coefficient QD output from the
[0052]
Similar to the coefficient
[0053]
Next, the
[0054]
Here, the image
[0055]
Next, the code
[0056]
Then, the bit
[0057]
Priority setting method (first embodiment).
Next, a description will be given of a first embodiment of a method for setting the priority recorded in the priority table 24. In the present invention, the priority is determined for each band component (subband) according to the number of times the band is recursively divided into low frequency components. In this embodiment, the priority of the band component HHn at the decomposition level n (n: an integer of 1 or more) is “n−1”, the priority of the band components HLn and LHn is “(n−1) +1”, and the band component. The priority of LLn is determined as “(n−1) +2”. For example, the priority of the band component HH1 shown in FIG. 23 is set to “0”, and the priority of the band component LL3 is set to “4”. FIG. 2 is a schematic diagram showing a two-
[0058]
In the priority table 24, priority information corresponding to each of the band components HHn, HLn, LHn, and LLn is recorded, and the image
[0059]
FIG. 3 is a diagram for explaining priority setting processing by bit shift. In the example shown in FIG. 2, since the priority of the band component LL3 is “4”, the corresponding
[0060]
As will be described later, the image
[0061]
Next, the reason (theoretical background) for setting the priority as described above will be described below.
[0062]
In the above-described conventional rate / distortion optimization (R-D optimization) method, an optimization process using a distortion measure has been performed. According to the above reference A by David S. Taubman et al.i (z)Is calculated according to the following equation (1).
[0063]
[Expression 1]
[0064]
In the above formula (1), z is a bit truncation point; oyi K [i, j][J] is the jth sample value (coefficient value) of the code block dequantized by the K [i, j] th bitplane; yi[J] is the j-th sample value (coefficient value) of the code block; Gb [i]Is the square of the norm of the synthesis filter coefficient corresponding to the subband b [i], and indicates the weighting coefficient of the distortion model depending on the subband b. For convenience of explanation, the symbol notation shown in the above formula (1) is slightly different from that in Reference A.
[0065]
For rate / distortion optimization, this distortion measure Di (z)Optimization processing is performed so as to minimize the total amount in the subband b [i]. Weighting factor G for subband bbRepresents weighting for reducing image distortion.
[0066]
Weighting factor G for subband bbIs calculated according to the following equation (2).
[0067]
[Expression 2]
[0068]
Here, in the above equation (2), sb[N] indicates a one-dimensional synthesis filter coefficient of subband b. The symbol || x || indicates a norm related to the vector x.
[0069]
According to the equations (4.39) and (4.40) described in Reference A, the one-dimensional synthesis filter coefficient s of the low-frequency component L1 at the decomposition level 1L [1][N] and the one-dimensional synthesis filter coefficient s of the high-frequency component H1 at the same decomposition levelH [1][N] is calculated according to the following equation (3).
[0070]
[Equation 3]
[0071]
Here, in the above formula (3), g0[N] is a low-pass filter coefficient of a forward transform filter for dividing an image signal into bands, g1[N] indicates the high-pass filter coefficient, respectively.
[0072]
Further, the one-dimensional synthesis filter coefficient s of the low frequency component Ld at the decomposition level d (d = 1, 2,..., D).L [d][N] and the one-dimensional synthesis filter coefficient s of the high-frequency component Hd at the same decomposition levelH [d][N] is calculated according to the following equation (4).
[0073]
[Expression 4]
[0074]
Then, the square of the norm of the one-dimensional synthesis filter coefficient of the low frequency component Ld at the decomposition level d is calculated according to the following equation (5).
[0075]
[Equation 5]
[0076]
The square of the norm of the one-dimensional synthesis filter coefficient of the high-frequency component can be calculated in the same manner as the above equation (5).
[0077]
Next, the two-dimensional synthesis filter coefficients of the band components LLD, HLd, LHd, and HHd at the decomposition level d (d = 1, 2,..., D; D is an integer) are expressed by the product of the one-dimensional synthesis filter coefficients. The two-dimensional weighting factor G of the band component bbCan also be expressed as a product of one-dimensional weighting factors. Specifically, the two-dimensional synthesis filter coefficient and the two-dimensional weighting coefficient are calculated according to the following equation (6).
[0078]
[Formula 6]
[0079]
In the above formula (6), the subscript LL [D] indicates the subband LLD, and HL [d], LH [d], and HH [d] indicate the subbands HLd, LHd, and HHd, respectively.
[0080]
Weight coefficient GbIs the norm. Tables 1 to 4 below show the two-dimensional weighting factor GbThe calculation result about is shown. Table 1 shows the numerical value of the norm of each band component of the (9, 7) filter (9 × 7 tap filter), and Table 2 shows the numerical value of the norm corresponding to Table 1. Table 3 shows the norm square value of each band component of the (5, 3) filter (5 × 3 tap filter), and Table 4 shows the norm value corresponding to Table 3.
[0081]
[Table 1]
[0082]
[Table 2]
[0083]
[Table 3]
[0084]
[Table 4]
[0085]
Furthermore, when the norm of the low-frequency component LL1 at the
[0086]
If the set value is compared with the norm values shown in Tables 2 and 4, they are approximately approximate. For example, in the case of Table 2 (α = 1.96591), the “set value (corresponding band component)” of each band component shown in FIG. 5 is about 0.49 (HH1), about 0.98 (HL1, LH1), It is about 1.96 (HL2, LH2, HH3), about 3.93 (HL3, LH3), and about 7.86 (LL3), and these set values are close to the norm values shown in Table 2. I understand.
[0087]
In FIG. 5, the norm of the band component LL1 is rounded to α = 2, and the set value of each band component is shifted to the left by 1 bit, that is, all set values are 21It can be seen that the exponent of the power value of 2 multiplied by 1 matches the priority value shown in FIG. Therefore, setting the priority to each band component as in the first embodiment approximately means that the norm (square root of the weighting factor) of the filter used in the rate / distortion optimization is the sample value of each band component ( Equivalent to multiplying (conversion coefficient value). Accordingly, the priority of the present embodiment is set so as to reduce image distortion.
[0088]
Priority setting method (second embodiment).
Next, a second embodiment of the priority setting method will be described. In the present embodiment, the weight coefficient G of each band componentbA value obtained by dividing the norm, which is the square root of, by the norm of the lowest frequency component LL at the highest decomposition level is rounded to a power value of 2, and the absolute value of the exponent of the power value of 2 is set as the priority. Specifically, the norm of the lowest band component LLn of the highest decomposition level n is α, the norm of the other band component is x, a function related to a variable y rounded to the power of 2 is R [y], and the
[0089]
Table 5 below shows the priority calculated using the norm of the (9, 7) filter shown in Table 2 above. FIG. 6 is a band division diagram showing the two-
[0090]
[Table 5]
[0091]
Table 6 below shows the priority calculated using the norm of the (5, 3) filter shown in Table 4 above.
[0092]
[Table 6]
[0093]
In the first embodiment, the priority is set by shifting the conversion coefficient of each band component to the left by the number of priority bits, but in the second embodiment, the conversion coefficient of each band component is set to the priority. A process of shifting right by the number of bits is executed. However, the right bit shift process is executed so as to increase the bit length of the transform coefficient. FIG. 7 is a schematic diagram showing band
[0094]
Priority setting method (third embodiment).
Next, a priority setting method according to the third embodiment in consideration of human visual characteristics will be described. When the priority shown in the second embodiment is applied to a high-resolution image of about several million pixels, the image quality of the decoded image is good for objective evaluation, but not necessarily good for human visual evaluation. Therefore, the priority setting method of this embodiment employs a weighted priority in consideration of human visual characteristics. This makes it possible to generate a compressed image with high display quality.
[0095]
Chapter 16 of the reference A describes a weighted mean squared error (WMSE) based on CSF (human visual system contrast sensitivity function). According to this description, in order to improve human visual evaluation, it is desirable to modify the above equation (1) into the following equation (7).
[0096]
[Expression 7]
[0097]
Here, in the above formula (7), Wb [i] csfIs called the “energy weighting factor” of subband b [i] and Wb [i] csfThe recommended value for is the ISO /
[0098]
8 to 10, “level” and “Lev” indicate the decomposition level, “Comp” indicates the luminance component Y and the color difference components Cb and Cr, respectively, and “Viewing distance” is 1000 and 1700. , 2000, 3000, 4000 examples are shown. "
[0099]
Using the numerical values shown in FIGS. 8 to 10, the square root (Wb [i] csf・ Gb [i])1/2Was calculated. The calculation results are shown in Tables 7 to 18 below. Tables 7 to 9 are calculated using the numerical values shown in FIG. 8 (9, 7), and black and white numerical values of the filter. Tables 10 to 12 are calculated using the numerical values shown in FIGS. 9 and 10 (9 7) Filter color values, Tables 13 to 15 are calculated using the values shown in FIG. 8, (5, 3) Filter black and white values, Tables 16 to 18 are FIG. 9 and FIG. The numerical values for the color of the (5, 3) filter calculated using the numerical values shown in FIG.
[0100]
[Table 7]
[0101]
[Table 8]
[0102]
[Table 9]
[0103]
[Table 10]
[0104]
[Table 11]
[0105]
[Table 12]
[0106]
[Table 13]
[0107]
[Table 14]
[0108]
[Table 15]
[0109]
[Table 16]
[0110]
[Table 17]
[0111]
[Table 18]
[0112]
Next, using the numerical values shown in Tables 7 to 18, the priority of each band component was calculated in the same procedure as described in the second embodiment. That is, the numerical value of the lowest band component LLn of the highest decomposition level n is α, the numerical values of the other band components are x, the function relating to the variable y rounded to the power of 2 is R [y], and the variable y of 2 Width power 2mA function for calculating an index m of m = I [2m] And the absolute value for the variable y is | y |, the priority p is calculated according to p = | I [R [x / α]] |.
[0113]
The priority values are shown in Table 19 to Table 30 below. The priorities of Table 19, Table 20, Table 21, Table 22, Table 23, Table 24, Table 25, Table 26, Table 27, Table 28, Table 29, and Table 30 are shown in Tables 7, 8, and 8, respectively. Table 9, Table 10, Table 11, Table 12, Table 13, Table 14, Table 15, Table 16, Table 17, and Table 18 are used for calculation.
[0114]
[Table 19]
[0115]
[Table 20]
[0116]
[Table 21]
[0117]
[Table 22]
[0118]
[Table 23]
[0119]
[Table 24]
[0120]
[Table 25]
[0121]
[Table 26]
[0122]
[Table 27]
[0123]
[Table 28]
[0124]
[Table 29]
[0125]
[Table 30]
[0126]
In the present embodiment, as in the second embodiment, the priority is set for the conversion coefficient of each band component by shifting right by the number of bits of the priority shown in Tables 19 to 30 above. The Thereby, the priority which considered the human visual characteristic can be set.
[0127]
Image quality control processing.
Next, the configuration and processing contents of the image
[0128]
The image
[0129]
Hereinafter, a method for determining an encoding target will be described. FIG. 12 is a schematic diagram illustrating
[0130]
The encoding
[0131]
The encoding
[0132]
[Table 31]
[0133]
In Table 31, “Number of bit planes” indicates the number of bit planes subject to truncation of lower bits than the encoding
[0134]
An example of processing when FIG. 12 and Table 31 are applied will be described below. FIG. 13 shows “00011010111” as the
[0135]
The context determination is made so that the seventh bit of the transform coefficient shown in FIG. 13 belongs to the SIG path or the CL path. The 8th to 10th upper bits are encoded by a method called a tag tree when they belong to a bit plane composed of only 0 bits, and the SIG path when the encoding pass has already started. Alternatively, it is encoded by the CL pass. When the seventh bit belongs to the encoding start pass (CL pass), the lower-order bits including the sixth bit are context-determined so as to belong to the MR pass. In general, the bit planes lower than the encoding start bit plane are encoded in the order of the SIG pass, the MR pass, and the CL pass from the viewpoint of encoding efficiency. Therefore, since the maximum number of passes is limited to 17, a total of 17 passes from the 7th bit CL pass to the 1st bit SIG pass are to be encoded. However, since the first bit belongs to the MR path, it is not encoded. Therefore, in the arithmetic encoding process, the lower 2 bits are discarded, and the encoded value is “00011010100.2= 212Ten"If this value is dequantized at midpoint," 000110101102= 214Ten"Become.
[0136]
Next, FIG. 14 shows “00000001111” as the
[0137]
Next, FIG. 15 shows “00001011111” as the
[0138]
The sixth bit of the transform coefficient belongs to the SIG path or CL path. The 7th to 10th upper bits are encoded with a tag tree if they belong to a bit plane consisting of only 0 bits, and the SIG pass or CL pass if the encoding pass has already started. It is encoded with. When the sixth bit belongs to the encoding start pass (CL pass), the lower bits including the fifth bit belong to the MR pass. Also, because of the limitation that encoding is performed only up to the SIG pass of the 3rd bit plane, 8 passes from the CL pass of the 6th bit to the SIG pass of the 4th bit are to be encoded, but the 3rd bit is the MR pass. It is not encoded because it belongs to. Therefore, the value after encoding in the arithmetic encoding process is “000010100002= 80Ten"If this value is dequantized at midpoint," 000010110002= 88Ten"Become.
[0139]
The reason why each bit plane is encoded in the order of the SIG pass, MR pass, and CL pass is that the encoding efficiency with respect to the distortion of the SIG pass is the highest. FIG. 16 shows rate / distortion characteristics in each coding pass. Point P in the RD curve1~ P2Is the SIG path, point P2~ PThreeIs the MR path, point PThree~ PFourIndicates the CL path. Ratio of distortion ΔD to rate (code amount) in each coding passSIG/ ΔRSIG, ΔDMR/ ΔRMR, ΔDCL/ ΔRCLAs can be seen, the curve slope in the SIG path is the steepest and the coding efficiency is the highest.
[0140]
As described above, in the image quality control method according to the present embodiment, it is determined whether or not the transform coefficient is to be encoded with respect to the transform coefficient bit-shifted according to the priority. Since only the encoding target is selectively arithmetically encoded by the
[0141]
Code amount control processing.
Next, the configuration and processing contents of the code
[0142]
The code
[0143]
As described above, the
[0144]
The data
[0145]
18 and 19 are diagrams for explaining an example of the scanning order and the cut-off points. 18 and FIG. 19 display transform
[0146]
As shown by the arrows in FIG. 18, the
[0147]
Then, the data
[0148]
[Equation 8]
[0149]
As shown in FIG. 19, when the second bit plane of the subband HL3 is determined as the truncation point in accordance with the target code amount, the bit indicated by the arrow is truncated.
[0150]
20 is a diagram illustrating a code string rearranged in units of bit planes, and FIG. 21 is a diagram illustrating a code string rearranged in units of coding passes. In FIG. 20, codes LL5, HL5,... Indicating subbands and
[0151]
21, for each coding pass, codes CL, SIG, MR indicating the type of coding pass, codes LL5, HL5,... Indicating subbands,
[0152]
As described above, according to the code amount control process according to the present embodiment, it is not necessary to calculate the distortion amount in each encoding pass for the rate / distortion optimization process, so that the real-time property is high and the overhead is greatly increased. Reduced and highly efficient rate control can be realized.
[0153]
【The invention's effect】
As described above, according to the compression coding apparatus according to
[0154]
According to the second, tenth, and eighteenth aspects, it is possible to generate a compressed image having high display image quality that is suitable for human visual evaluation.
[0155]
According to
[0156]
According to the fourth, fifth, sixth, twelfth, thirteenth and fourteenth aspects and the twentieth, twenty-two and twenty-second embodiments, the encoding target can be finely specified according to the priority in bit plane units and encoding pass units. Therefore, it is possible to accurately control the code amount and finely control the image quality of the compressed image.
[0157]
According to the seventh, eighth, fifteenth and sixteenth and twenty-third and twenty-fourth aspects, it is possible to efficiently perform the rate control of the already entropy-coded data according to the priority set for each band component. is there. Further, it is possible to perform rate control with high real-time characteristics so that distortion can be suppressed without performing optimization processing using rate / distortion optimization as in the past.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing a schematic configuration of a compression encoding apparatus according to an embodiment of the present invention.
FIG. 2 is a schematic diagram showing a two-dimensional image obtained by band division by wavelet transform.
FIG. 3 is a diagram for explaining priority setting processing by bit shift;
FIG. 4 is a diagram illustrating a bit-shifted transform coefficient.
FIG. 5 is a schematic diagram showing a two-dimensional image obtained by band division by wavelet transform.
FIG. 6 is a schematic diagram showing a two-dimensional image obtained by band division by wavelet transform.
7 is a schematic diagram showing band component conversion coefficients that are right-bit shifted in accordance with the priorities shown in FIG. 6;
FIG. 8 is a diagram showing a numerical table of energy weighting factors.
FIG. 9 is a diagram illustrating a numerical table of energy weighting factors.
FIG. 10 is a diagram showing a numerical table of energy weighting factors.
FIG. 11 is a functional block diagram showing a schematic configuration of an image quality control unit according to the present embodiment.
FIG. 12 is a schematic view illustrating transform coefficients bit-shifted according to priority.
FIG. 13 is a diagram for describing an example of encoding processing of a transform coefficient of band component LL5.
FIG. 14 is a diagram for explaining an example of encoding processing of a transform coefficient of band component LL5.
FIG. 15 is a diagram for describing an example of encoding processing of transform coefficients of band component HH2.
FIG. 16 is a diagram showing a curve of rate / distortion characteristics.
FIG. 17 is a functional block diagram illustrating a schematic configuration of a code amount control unit according to the present embodiment.
FIG. 18 is a diagram for explaining an example of a scanning order.
FIG. 19 is a diagram for explaining an example of truncation points;
FIG. 20 is a diagram illustrating code strings rearranged in units of bit planes.
FIG. 21 is a diagram illustrating code strings that are rearranged in units of coding passes.
FIG. 22 is a functional block diagram showing a schematic configuration of a compression encoding apparatus according to the JPEG2000 system.
FIG. 23 is a schematic diagram showing a two-dimensional image that is band-divided according to the octave division method.
FIG. 24 is a schematic diagram showing a two-dimensional image decomposed into a plurality of code blocks.
FIG. 25 is a schematic diagram showing a plurality of bit planes constituting a code block.
FIG. 26 is a schematic diagram showing three types of encoding passes.
FIG. 27 is a diagram showing an RD curve representing the relationship between rate and distortion.
[Explanation of symbols]
1 Compression encoder
10 DC level shift unit
11 Color space converter
12 Tiling Club
13 DWT section
14 Quantizer
15 ROI section
17 Bitstream generator
20 Coefficient bit modeling section
21 Arithmetic coding part
22 Code amount control unit
23 Image quality controller
24 Priority table
Claims (24)
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、
前記複数の帯域成分のうち、所定の帯域成分の2次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、各帯域成分の優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部と、
を備えることを特徴とする圧縮符号化装置。A compression encoding device for compressing and encoding an image signal,
A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transform to generate and output transform coefficients of a plurality of band components;
An entropy encoding unit that selectively entropy-encodes only a specified encoding target among the transform coefficients;
Among the plurality of band components, the priority of each band component is set based on the norm of the two-dimensional synthesis filter coefficient of the predetermined band component and according to the number of times the band is recursively divided, An image quality control unit that determines the encoding target to be specified in the entropy encoding unit according to the priority;
A compression encoding apparatus comprising:
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、
前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部と、
を備え、
前記画質制御部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いる機能を有する、圧縮符号化装置。 A compression encoding device for compressing and encoding an image signal ,
A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transform to generate and output transform coefficients of a plurality of band components;
An entropy encoding unit that selectively entropy-encodes only a specified encoding target among the transform coefficients;
Priorities are set according to the number of times the band components are recursively band-divided into the low-frequency components, and the encoding target to be specified in the entropy encoding unit is determined according to the priorities. An image quality control unit,
With
The compression coding apparatus, wherein the image quality control unit has a function of using the priority weighted in consideration of human visual characteristics.
前記画質制御部は、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定する、圧縮符号化装置。The compression encoding device according to claim 1 or 2, wherein
The image quality control unit is a compression encoding device that determines the encoding target from a conversion coefficient obtained by shifting the conversion coefficient of each band component by the number of bits corresponding to the priority.
前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを2次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部、
を更に備え、
前記エントロピー符号化部は、前記係数ビットモデリング部で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化する、圧縮符号化装置。 Claims 1 a compression encoding apparatus according to any one of claims 3,
The transform coefficient output from the wavelet transform unit is decomposed into a plurality of bit planes configured by two-dimensionally arranging each bit of the transform coefficient, and the bit plane is determined according to the significance of each bit. A coefficient bit modeling unit that generates encoded data by decomposing into determined encoding passes ,
Further comprising
The entropy encoding unit is a compression encoding apparatus that selectively entropy encodes only the designated encoding target among the encoded data generated by the coefficient bit modeling unit.
前記画質制御部は、前記符号化対象を前記ビットプレーン単位で決定する機能を有する、圧縮符号化装置。The compression encoding apparatus according to claim 4, wherein
The image quality control unit is a compression encoding device having a function of determining the encoding target in units of the bit planes.
前記画質制御部は、前記符号化対象を前記符号化パス単位で決定する機能を有する、圧縮符号化装置。The compression encoding apparatus according to claim 4, wherein
The image quality control unit is a compression encoding device having a function of determining the encoding target in units of the encoding pass.
前記エントロピー符号化部から出力された符号化データのレートを制御する符号量制御部、
を更に備え、
前記符号量制御部は、
前記帯域成分、前記ビットプレーンおよび前記符号化パスの中の少なくとも一の単位で、前記エントロピー符号化部から出力された符号化データの容量の小計を算出する符号量算出部と、
前記符号量算出部で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力するデータ出力制御部と、
を備えて構成される圧縮符号化装置。 We claim 4 a compression encoding apparatus according to any one of claims 6,
A code amount control unit for controlling a rate of encoded data output from the entropy encoding unit ;
Further comprising
The code amount control unit includes:
A code amount calculator that calculates a subtotal of the capacity of encoded data output from the entropy encoder in at least one unit of the band component, the bit plane, and the encoding path;
Using the subtotal calculated by the code amount calculation unit, a truncation point that matches the target code amount is calculated from a code string that is generated by rearranging the encoded data in a predetermined scanning order, and before the truncation point. A data output control unit for outputting the code string of
A compression encoding apparatus comprising:
前記データ出力制御部は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成する、圧縮符号化装置。The compression encoding apparatus according to claim 7, wherein
The data output control unit generates the code string by rearranging the transform coefficients in the order of higher priority and in the same priority, in the scanning order from the high frequency side to the low frequency side, Compression encoding device.
(a)ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
(b)前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化する工程と、
(c)前記複数の帯域成分のうち、所定の帯域成分の2次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、優先度を設定すると共に、前記工程(b)で指定する前記符号化対象を前記優先度に応じて決定する工程と、
を備えることを特徴とする圧縮符号化方法。A compression encoding method for compressing and encoding an image signal,
(A) a step of recursively dividing the image signal into a high-frequency component and a low-frequency component by wavelet transform to generate conversion coefficients of a plurality of band components;
(B) a step of selectively entropy encoding only the specified encoding target among the transform coefficients;
(C) Among the plurality of band components , the priority is set based on the norm of the two-dimensional synthesis filter coefficient of a predetermined band component and according to the number of times the band is recursively divided , and the step Determining the encoding target specified in (b) according to the priority;
A compression encoding method comprising:
(a)ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
(b)前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化する工程と、
(c)前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記工程(b)で指定する前記符号化対象を前記優先度に応じて決定する工程と、
を備え、
前記工程(c)は、人間の視覚特性を考慮した重み付けをされた前記優先度を決定する工程を含む、圧縮符号化方法。 A compression encoding method for compressing and encoding an image signal ,
(A) a step of recursively dividing the image signal into a high-frequency component and a low-frequency component by wavelet transform to generate conversion coefficients of a plurality of band components;
(B) a step of selectively entropy encoding only the specified encoding target among the transform coefficients;
(C) A priority is set for each band component according to the number of times the band is recursively divided into the low frequency components, and the encoding target specified in the step (b) is set to the priority. A process to be determined according to
With
The compression encoding method, wherein the step (c) includes the step of determining the priority weighted in consideration of human visual characteristics.
前記工程(c)は、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定する工程である、圧縮符号化方法。A compression encoding method according to claim 9 or 10, wherein
The compression encoding method, wherein the step (c) is a step of determining the encoding target from a conversion coefficient obtained by shifting the conversion coefficient of each band component by the number of bits corresponding to the priority.
前記工程(a)の後で前記工程(b)の前に、
(d)前記工程(a)で生成された前記変換係数を、当該変換係数の各ビットを2次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する工程、
を更に備え、
前記工程(b)は、前記工程(d)で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化する工程である、圧縮符号化方法。 It claims 9 A compression coding method according to any one of claims 11,
After the step (a) and before the step (b),
(D) The transform coefficient generated in the step (a) is decomposed into a plurality of bit planes configured by two-dimensionally arranging each bit of the transform coefficient, and the bit plane is significant for each bit. A process of generating encoded data by decomposing into an encoding pass determined according to the characteristics;
Further comprising
The compression encoding method, wherein the step (b) is a step of selectively entropy encoding only the designated encoding target among the encoded data generated in the step (d).
前記工程(c)は、前記符号化対象を前記ビットプレーン単位で決定する工程を含む、圧縮符号化方法。A compression encoding method according to claim 12, comprising:
The step (c) includes a step of determining the encoding target in units of the bit planes.
前記工程(c)は、前記符号化対象を前記符号化パス単位で決定する工程を含む、圧縮符号化方法。A compression encoding method according to claim 12, comprising:
The step (c) includes a step of determining the encoding target in units of the encoding pass.
(e)前記工程(b)でエントロピー符号化された符号化データのレートを制御する工程、を更に備え、
前記工程(e)は、
(e−1)前記帯域成分、前記ビットプレーンおよび前記符号化パスのうち少なくとも一の単位で、前記工程(b)でエントロピー符号化された符号化データの容量の小計を算出する工程と、
(e−2)前記工程(e−1)で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力する工程と、
を備えて構成される圧縮符号化方法。 It claims 12 a compression coding method according to any one of claims 14,
(E) further comprising the step of controlling the rate of the encoded data entropy encoded in the step (b),
The step (e)
(E-1) calculating a subtotal of the capacity of the encoded data entropy encoded in the step (b) in at least one unit of the band component, the bit plane, and the encoding path;
(E-2) Using the subtotal calculated in the step (e-1), a truncation point that matches the target code amount is calculated from a code string generated by rearranging the encoded data in a predetermined scanning order. Outputting the code string before the truncation point;
A compression encoding method comprising:
前記工程(e−2)は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成する工程を含む、圧縮符号化方法。A compression encoding method according to claim 15, comprising:
The step (e-2) generates the code string by rearranging the transform coefficients in the order of high priority and in the same order of priority in the scanning order from the high frequency side to the low frequency side. A compression encoding method including the step of:
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、
前記複数の帯域成分のうち、所定の帯域成分の2次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部として、
前記マイクロプロセッサを機能させることを特徴とするプログラム。A program for causing a microprocessor to compress and encode an image signal,
A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transform to generate and output transform coefficients of a plurality of band components;
An entropy encoding unit that selectively entropy-encodes only a specified encoding target among the transform coefficients;
Among the plurality of band components , a priority is set based on the norm of a two-dimensional synthesis filter coefficient of a predetermined band component, and according to the number of times of band division recursively , and the entropy coding unit As an image quality control unit that determines the encoding target to be specified according to the priority,
A program for causing the microprocessor to function.
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、
前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部として、
前記マイクロプロセッサを機能させ、
前記画質制御部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いるように前記マイクロプロセッサを機能させることを特徴とするプログラム。 A program for causing a microprocessor to compress and encode an image signal ,
A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transform to generate and output transform coefficients of a plurality of band components;
An entropy encoding unit that selectively entropy-encodes only a specified encoding target among the transform coefficients;
Priorities are set according to the number of times the band components are recursively band-divided into the low-frequency components, and the encoding target to be specified in the entropy encoding unit is determined according to the priorities. As an image quality control unit
Allowing the microprocessor to function;
The image quality control unit, a program in which said to function the microprocessor to use the priority that has been weighted in consideration of human visual characteristics.
前記画質制御部は、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定するように前記マイクロプロセッサを機能させるプログラム。A program according to claim 17 or claim 18, wherein
The image quality control unit causes the microprocessor to function so as to determine the encoding target from conversion coefficients obtained by shifting the conversion coefficients of the band components by the number of bits corresponding to the priority.
前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを2次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部として前記マイクロプロセッサを機能させると共に、
前記エントロピー符号化部は、前記係数ビットモデリング部で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化するように前記マイクロプロセッサを機能させるプログラム。 The preceding claims 17 The program according to any one of claims 19,
The transform coefficient output from the wavelet transform unit is decomposed into a plurality of bit planes configured by two-dimensionally arranging each bit of the transform coefficient, and the bit plane is determined according to the significance of each bit. Allowing the microprocessor to function as a coefficient bit modeling unit that decomposes into determined coding passes to generate encoded data;
The entropy encoding unit is a program that causes the microprocessor to selectively entropy encode only the specified encoding target among the encoded data generated by the coefficient bit modeling unit.
前記画質制御部は、前記符号化対象を前記ビットプレーン単位で決定するように前記マイクロプロセッサを機能させるプログラム。The program according to claim 20, wherein
The image quality control unit is a program that causes the microprocessor to function so as to determine the encoding target in units of the bit plane.
前記画質制御部は、前記符号化対象を前記符号化パス単位で決定するように前記マイクロプロセッサを機能させるプログラム。The program according to claim 20, wherein
The image quality control unit is a program that causes the microprocessor to function so as to determine the encoding target in units of the encoding pass.
前記エントロピー符号化部から出力された符号化データのレートを制御する符号量制御部として前記マイクロプロセッサを機能させると共に、
前記符号量制御部は、
前記帯域成分、前記ビットプレーンおよび前記符号化パスの中の少なくとも一の単位で、前記エントロピー符号化部から出力された符号化データの容量の小計を算出する符号量算出部と、
前記符号量算出部で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力するデータ出力制御部として、
前記マイクロプロセッサを機能させるプログラム。 It Claim 20 The method as defined in any one of claims 22,
While causing the microprocessor to function as a code amount control unit that controls the rate of encoded data output from the entropy encoding unit,
The code amount control unit includes:
A code amount calculator that calculates a subtotal of the capacity of encoded data output from the entropy encoder in at least one unit of the band component, the bit plane, and the encoding path;
Using the subtotal calculated by the code amount calculation unit, a truncation point that matches the target code amount is calculated from a code string that is generated by rearranging the encoded data in a predetermined scanning order, and before the truncation point. As a data output control unit for outputting the code string of
A program for causing the microprocessor to function.
前記データ出力制御部は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成するように前記マイクロプロセッサを機能させるプログラム。A program according to claim 23, wherein
The data output control unit generates the code string by rearranging the transform coefficients in the order of high priority and in the scanning order from the high frequency side to the low frequency side in the same priority. A program for causing the microprocessor to function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002215401A JP3989787B2 (en) | 2002-07-24 | 2002-07-24 | Compression encoding apparatus, compression encoding method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002215401A JP3989787B2 (en) | 2002-07-24 | 2002-07-24 | Compression encoding apparatus, compression encoding method and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004064104A JP2004064104A (en) | 2004-02-26 |
JP2004064104A5 JP2004064104A5 (en) | 2005-10-27 |
JP3989787B2 true JP3989787B2 (en) | 2007-10-10 |
Family
ID=31937441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002215401A Expired - Fee Related JP3989787B2 (en) | 2002-07-24 | 2002-07-24 | Compression encoding apparatus, compression encoding method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3989787B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4003628B2 (en) | 2002-12-02 | 2007-11-07 | ソニー株式会社 | Image encoding apparatus and method, and program |
CN102821281B (en) * | 2012-08-21 | 2015-07-22 | 深圳广晟信源技术有限公司 | Rate distortion optimization method |
CN102821280B (en) * | 2012-08-21 | 2015-05-06 | 深圳广晟信源技术有限公司 | Rate distortion optimization method |
CN112532980B (en) * | 2020-11-03 | 2023-03-10 | 宁波高新区思搏科技有限公司 | Medical ultrasonic image processing method |
CN114095727B (en) * | 2021-11-17 | 2023-08-04 | 安徽大学 | JPEG image coding optimization method based on evolution calculation |
CN116886913B (en) * | 2023-08-03 | 2024-03-08 | 镕铭微电子(济南)有限公司 | Rate distortion optimization quantization method, device, electronic equipment and storage medium |
-
2002
- 2002-07-24 JP JP2002215401A patent/JP3989787B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004064104A (en) | 2004-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5034018B2 (en) | Compression encoding apparatus, compression encoding method and program | |
US7792375B2 (en) | Rate control system | |
JP4489605B2 (en) | Compression encoding apparatus, compression encoding method and program | |
JP4191592B2 (en) | Compression encoding apparatus, compression encoding method and program | |
JP4789148B2 (en) | Compression encoding apparatus, compression encoding method and program | |
JP4273996B2 (en) | Image encoding apparatus and method, and image decoding apparatus and method | |
JP4444790B2 (en) | Image compression method, image compression apparatus, image compression system, and program | |
US7200277B2 (en) | Method for transcoding a JPEG2000 compressed image | |
JP3743384B2 (en) | Image encoding apparatus and method, and image decoding apparatus and method | |
JP4114534B2 (en) | Image coding apparatus and method | |
JP2001231042A (en) | Image processing unit and its method, and storage medium | |
US7330598B2 (en) | Image encoding apparatus and method | |
US20040228534A1 (en) | Image compression method capable of reducing tile boundary distortion | |
JP3989787B2 (en) | Compression encoding apparatus, compression encoding method and program | |
JP3777002B2 (en) | Video signal encoding method and video signal encoding apparatus | |
Taubman et al. | Highly scalable video compression with scalable motion coding | |
JP3989788B2 (en) | Code amount control apparatus and program | |
JP2004166254A (en) | Image encoder and method, program and recording medium | |
JP3989786B2 (en) | Compression encoding apparatus, compression encoding method and program | |
JP4003628B2 (en) | Image encoding apparatus and method, and program | |
JP4379527B2 (en) | Encoding apparatus and method | |
JP2004088164A (en) | Image processor | |
JP2002135781A (en) | Image encoding apparatus, image decoding apparatus methods for them and recording medium | |
JP2000083256A (en) | Image processor and image processing method and recording medium | |
Joshi et al. | Efficient transcoding of JPEG2000 images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050719 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070717 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070718 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3989787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150727 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |