JP4034236B2

JP4034236B2 - 特定変換係数優先符号化装置、特定変換係数優先符号化復号システム及び特定変換係数優先符号化方法

Info

Publication number: JP4034236B2
Application number: JP2003169906A
Authority: JP
Inventors: 幾朗上野; 雅之吉田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-06-13
Filing date: 2003-06-13
Publication date: 2008-01-16
Anticipated expiration: 2023-06-13
Also published as: JP2005006211A

Description

【０００１】
【発明の属する技術分野】
この発明はタイル化した画像の伝送において、高画質を保ちつつ伝送量を抑える画像符号化装置、システム、方法に関するものである。
【０００２】
【従来の技術】
現在インターネットを中心に静止画像符号化アルゴリズムＪＰＥＧが広く普及しているが、一方でさらなる性能改善、機能付加の要求を背景として、１９９７年より次世代静止画像符号化標準化ＪＰＥＧ２０００プロジェクトがＩＳＯとＩＴＵ−Ｔの合同機関によりスタートした。２０００年１２月には同ＪＰＥＧ２０００アルゴリズムの基本方式を定めたパート１（ＩＳＯ／ＩＥＣ１５４４４−１）が、２００１年１１月には拡張方式を定めたパート２（ＩＳＯ／ＩＥＣ１５４４４−２）が完成した。
ＪＰＥＧ２０００では、画像をウェーブレット変換によりウェーブレット変換係数に変換し、変換係数の絶対値を自然２進数で表現したときのビットプレーンを上位プレーンから順にコンテクストモデリングを使った算術符号化によりエントロピ符号化する。これにより、ＪＰＥＧ２０００は優れた圧縮性能を有するだけでなく、従来のＪＰＥＧにない様々な機能を提供する。
【０００３】
例えば、空間的に特定の領域ＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）を優先的に（高画質に）符号化するＲＯＩ符号化という手法が規定されている。この手法では、指定された特定の画像領域に対応する各サブバンドの変換係数をシフトアップした上で、変換係数を上位ビットプレーンからエントロピ符号化する。これにより、指定された領域に対応する変換係数が先に符号化され、途中のビットプレーンで符号化を終了した場合に、他の領域に対応する変換係数に比べてより高精度に符号化されることになる。
ＪＰＥＧ２０００の符号化アルゴリズムでは、入力画像をタイルと呼ばれる複数の矩形小ブロックに分割し、各タイルを独立に処理することが可能である。しかし、符号化レートを低くしていくと、タイル境界における僅かな画質の差がタイル状の歪みとして検知され、滑らかさが損なわれた画像になってしまう。
【０００４】
そのため、従来の画像符号化方式では、このようなタイル境界に発生する歪を抑制するため、様々な手法が提案されている。例えば、特許文献１に示された装置／方法においては、ＲＯＩ符号化を使った方式が示されている。この方法では、図２のように画像信号をタイル分割した上で、タイル内の隣接タイル近傍画素（図１３（ａ）に網掛けで示した部分）をＲＯＩとして指定して符号化する。これにより再生画像では、タイル境界付近が高画質に再生され、タイル境界が検知され難くなることが期待できる。
なお、画像領域で図１３（ａ）の網掛け部分のようにＲＯＩを指定すると、優先的に符号化される変換係数（画像領域で指定したＲＯＩ画素を使って算出される変換係数）は、通常、図１３（ｂ）の網掛けで示すように、全サブバンドで、しかも空間的に範囲が広くなって分布することになる。
【０００５】
【特許文献１】
特開２００２−３６９２０２号広報
【０００６】
【発明が解決しようとする課題】
前述のように、タイル分割を使った符号化では符号化レートを低くしていくと、タイル境界における僅かな画質の差がタイル状の歪みとして検知され、滑らかさが損なわれた画像になってしまう。
また、上記従来例に示したタイル歪み低減方法では、タイル内の隣接タイル近傍画素をＲＯＩとして指定して符号化するが、画像領域で指定したＲＯＩ（図１３（ａ）に網掛けで示した部分）に対応する変換係数は、通常、指定された領域の画素を使って生成される変換係数（図１３（ｂ）に網掛けで示した部分）となる。そのため、再生画像ではタイル境界近傍の領域に多くの符号量が割り当てられて高画質になるため、タイル境界が目立たなくなる一方、タイル内部に十分な符号量が割り当てられなくなり、タイル内部で画質が劣化するという課題がある。
【０００７】
この発明は、以上のような課題を解決するためになされたもので、タイル境界近傍画素に対応する変換係数のうち、特定の変換係数のみを優先的に符号化する変換係数として指定することにより、タイル境界近傍とタイル内部の両方において優れた画質を維持する符号化装置及び方法を得ることを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係る特定変換係数優先符号化装置は、タイル分割し、ウェーブレット変換し、量子化し、エントロピ符号化する符号化装置において、
タイル分割した画像情報をウェーブレット変換した変換係数のうち、タイル境界近傍の特定の変換係数を選択する変換係数選択部と、この選択された特定変換係数を優先符号化するようシフトする変換係数シフト部とを備えて、
このシフト後の対象に対してエントロピ符号化する。
【０００９】
【発明の実施の形態】
実施の形態１．
以下、この発明を順次、各実施の形態に従って説明する。
図１は、この発明の実施の形態１における特定係数優先符号化装置及び方法の構成を示すブロック図である。図１において、符号化器は、入力画像信号を複数のタイルＴ_i（ｘ，ｙ）に分割するタイル分割部１００、各タイルの画像信号をウェーブレット変換するウェーブレット変換部１０１、必要に応じてウェーブレット変換係数を量子化する量子化部１０２、ＲＯＩ変換係数選択部からの指示に応じて特定の変換係数をビットシフトする変換係数シフト部１０３、変換係数をエントロピ符号化するエントロピ符号化部１０４、及び優先的に符号化されるウェーブレット変換係数を選択するＲＯＩ変換係数選択部１０５で構成される。
【００１０】
図１のタイル分割部１００において、入力画像信号は、重なり合いのない複数のタイルに分割される。図２に、入力画像を４つのタイルに分解する例を示す。以下、ｉ番目のタイルの座標（ｘ，ｙ）の画素値をＴ_i（ｘ，ｙ）（０≦ｘ＜ｘ₁，０≦ｙ＜ｙ₁）で表すものとする。
【００１１】
次にウェーブレット変換部１０１において、各タイルをウェーブレット変換する。ウェーブレット変換では、最初に画像信号に対し、垂直（あるいは水平）方向に１次元ウェーブレット変換を施し、低域成分と高域成分に分割した後、両成分に対し水平（あるいは垂直）方向にも１次元ウェーブレット変換を施す。この結果、以下の４つのサブバンドが生成される。
ＬＬ成分（水平方向低周波成分、垂直方向高周波成分）
ＨＬ成分（水平方向高周波成分、垂直方向低周波成分）
ＬＨ成分（水平方向低周波成分、垂直方向高周波成分）
ＨＨ成分（水平方向高周波成分、垂直方向高周波成分）
【００１２】
更に、ＬＬ成分を再帰的に４バンドに分割する処理を、所定の回数だけ繰り返す。以後、４バンドへの分割をＮ回行った後の各バンドの変換係数をそれぞれ、ａ_N,LL（ｘ，ｙ）、ａ_N,HL（ｘ，ｙ）、ａ_N,LH（ｘ，ｙ）、ａ_N,HH（ｘ，ｙ）と表記し、Ｎを分割レベルと呼ぶこととする。
図３は、Ｎ＝３とした場合の、タイルのウェーブレット変換を示す図である。ウェーブレット変換のフィルタは、例えば静止画像符号化標準ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ１５４４４−１）で使用されているものなど任意のフィルタが使用可能である。ここでは、ＪＰＥＧ２０００に使用されている以下の式（１）、式（２）で示されるフィルタを使用する場合を例にとって説明する。
【００１３】
【数１】

【００１４】
ここで、ｕ（ｎ）はタイルの画像信号あるいは変換係数ＬＬ度成分の水平方向に並んだサンプル値、あるいは垂直方向に並んだサンプル値を表す。ｖ（２ｎ）が低域成分、ｖ（２ｎ＋１）が高域成分である。
【００１５】
次に、必要に応じて量子化部１０２において、変換係数の量子化を行う。本実施の形態では、量子化は行わないもの（量子化ステップサイズΔ＝１）として説明を行う。
ＲＯＩ変換係数選択部１０５においては、タイル分割部１００からのタイル分割情報に応じて、優先的に符号化するウェーブレット変換係数（以降、ＲＯＩ変換係数と呼ぶ。また、ＲＯＩ変換係数以外の変換係数を非ＲＯＩ変換係数と呼ぶ）を決定し、各変換係数がＲＯＩ変換係数か否かを示すビットで構成されたビットマップ（以後、変換係数マスクデータと呼ぶ）を作成する。ここで、サブバンドの変換係数ａ_N,LL（ｘ，ｙ）、ａ_N,HL（ｘ，ｙ）、ａ_N,LH（ｘ，ｙ）、ａ_N,HH（ｘ，ｙ）とそれぞれに対する変換係数マスクデータをＭ_N,LL（ｘ，ｙ）、Ｍ_N,HL（ｘ，ｙ）、Ｍ_N,LH（ｘ，ｙ）、Ｍ_N,HH（ｘ，ｙ）と表記する。Ｍ_N,・・（ｘ，ｙ）＝１の場合、ａ_N,・・（ｘ，ｙ）はＲＯＩ変換係数、Ｍ_N,・・（ｘ，ｙ）＝０の場合、ａ_N,・・（ｘ，ｙ）は非ＲＯＩ変換係数となる。また、以下の説明中、ａ_N,・・（ｘ，ｙ）、Ｍ_N,・・（ｘ，ｙ）のｘ座標あるいはｙ座標が定義域を超えた場合は全て、ａ_N,・・（ｘ，ｙ）＝０、Ｍ_N,・・（ｘ，ｙ）＝０とする。
【００１６】
本実施の形態では、各タイルにおける隣接タイル近傍の画素に対応する変換係数のうち、低解像度に属する変換係数をＲＯＩ変換係数とする。ＲＯＩ変換係数選択部１０５では、ＲＯＩ変換係数決定に際し、最初に、分割レベル０での変換係数マスクデータＭ_0,LL（ｘ，ｙ）（画像領域でのＲＯＩを示す）を設定する。これには、隣接タイルに接する画素に対応するマスクデータの値を１にする。つまり、あるタイルＴ_i（ｘ，ｙ）（０≦ｘ＜ｘ₁，０≦ｙ＜ｙ₁）において、上下左右でタイルと接している場合、以下のように設定する。
Ｍ_0,LL（ｘ，０）＝１（０≦ｘ＜ｘ₁）
Ｍ_0,HL（ｘ，ｙ₁−１）＝１（０≦ｘ＜ｘ₁）
Ｍ_0,LH（０，ｙ）＝１（０≦ｙ＜ｙ₁）
Ｍ_0,HH（ｘ₁−１，ｙ）＝１（０≦ｙ＜ｙ₁）
上記以外Ｍ₀（ｘ，ｙ）＝０式（３）
【００１７】
次に、このレベル０での変換係数マスクデータをウェーブレット変換と同様に分割していき、各ウェーブレット変換係数がＲＯＩに属すか否かを示す変換係数マスクデータを生成する。図４（ａ）に分割レベル０での変換係数マスクデータを、また、図４（ｂ）に最終的に決定された変換係数マスクデータの例を示す。このように、従来のように画像領域で指定された特定領域に対応する全分割レベルのタイル境界近傍変換係数を優先符号化するのではなく、ウェーブレット変換係数領域で式（３）のＭ＝１となる領域のみをＲＯＩ変換係数として指定する。こうすることによって、タイル周辺に過多の符号量が割り当てられることがなくなり、タイル周辺のみでなく、タイル内部での画質も維持ができる。
変換係数マスクデータ生成の手順を図５〜図７のフローチャートを用いて説明する。ここでは、変換係数マスクデータ初期値で指定された画素を使って生成される変換係数のうち、分割レベルがあるレベルＮ_R＝３以上の解像度に属する変換係数のみをＲＯＩ変換係数とする例を示す。Ｎ_Lはウェーブレット変換の分割レベル数、ｘ₁，ｙ₁はタイルの水平、垂直方向のサイズを示し、式（１）、式（２）で定義されるフィルタを使うものとする。
【００１８】
図５の処理ＲＯＩ＿ＣＯＥＦＦでは、分割レベル数ｌｅｖの変換係数を順に分割していき、分割レベルＮ_L＝３でのＲＯＩ変換係数を決定するまでの処理を行う。
まず、ステップ５０１で分割レベルの初期値を設定する。ステップ５０２のＣＲＥＡＴＥ＿ＭＡＳＫでは、分割レベルｌｅｖの変換係数マスクデータＭ_lev,LLを分割して、次の分割レベルｌｅｖ＋１の変換係数マスクデータを生成する。ただし、この時点では、各サブバンドの変換係数マスクデータが交互に並んでいるので、ステップ５０３のＤＥＩＮＴＥＲＬＥＡＶＥで並べ替えて、それぞれのサブバンドの変換係数マスクデータＭ_lev+1,LL、Ｍ_lev+1,HL、Ｍ_lev+1,LH、Ｍ_lev+1,HHを生成する。ステップ５０４では、次のレベルの変換係数マスクデータのサイズをｘ₁，ｙ₁に設定する。以上の処理をウェーブレット変換の分割レベル数Ｎ_Lまで繰り返す。
【００１９】
ステップ５０２ＣＲＥＡＴＥ＿ＭＡＳＫの詳細を図６に示す。この処理では、現在の分割レベルｌｅｖでのＲＯＩ変換係数と空間的に同じ位置にある変換係数だけでなく、分割レベルｌｅｖでのＲＯＩ変換係数を使って生成される全ての変換係数を、次の分割レベルｌｅｖ＋１でのＲＯＩ変換係数の候補とする。図８に式（１）、式（２）で定義されるフィルタを使った場合の一次元の変換を例に取って示す。この図において、分割レベルｌｅｖにおいて、ＬＬ成分の変換係数ｕ₀〜ｕ₁₃のうち、ｕ₄〜ｕ₉がＲＯＩ変換係数である。この変換係数をウェーブレット変換して、分割レベルｌｅｖ＋１の変換係数ｖ₀〜ｖ₁₃が生成される。ただし、ｖ_2i（ｉ＝０，１，２．．．）が低域成分、ｖ_2i+1（ｉ＝０，１，２．．．）が高域成分である。ここで、分割レベルｌｅｖのｕ₄〜ｕ₉と分割レベルｌｅｖ＋１のｖ₄〜ｖ₉が空間的に同一位置の変換係数となるが、ウェーブレット逆変換を考えればわかるように、ｖ₄〜ｖ₉の外側の変換係数ｖ₃，ｖ₁₀，ｖ₁₁も、ｕ₄〜ｕ₉を使って生成される。そこで、分割レベルｌｅｖ＋１では、変換係数ｖ₃〜ｖ₁₁がＲＯＩ変換係数の候補となる。
【００２０】
ＣＲＥＡＴＥ＿ＭＡＳＫでは、ステップ６０１〜６１２で垂直方向にＭ_lev,LLを分解する。ステップ６０２では、該当する座標の変換係数が低域成分か高域成分かを判断する。低域成分の場合にはステップ６０３により、ＲＯＩ変換係数となる領域を拡張し、高域成分の場合にはステップ６０４により、拡張された変換係数マスクデータをメモリｐ（ｙ）に一時的に蓄える。ステップ６０２〜６０６を垂直方向の全ての変換係数に対して施した後、ステップ６０７〜６１０ではメモリｐ（ｙ）に蓄えられた変換係数マスクデータをＭ_lev,LLにコピーする。フローチャート内で、演算子“｜”は、ビット和（ＯＲ）、“％”は割り算での余りを表す。ステップ６１３〜６２４では水平方向に、垂直方向と同様の処理を行ってＭ_lev,LLを分解する。
【００２１】
ＣＲＥＡＴＥ＿ＭＡＳＫが終了した段階では、図１２（ａ）に示すように、分割レベルｌｅｖ＋１のＲＯＩ変換係数のＬＬ，ＨＬ，ＬＨ，ＨＨ各成分がＭ_lev,LL（ｘ，ｙ）に交互に配置された状態なので、図７のＤＥＩＮＴＥＲＬＥＡＶＥによりそれらを分解し、図１２（ｂ）に示すように、分割レベルｌｅｖ＋１でのＬＬ，ＨＬ，ＬＨ，ＨＨ成分の変換係数マスクデータを生成する。ステップ７０１〜７０６でＬＬ成分の変換係数マスクデータを生成、ステップ７１０〜７１７でＨＬ成分の変換係数マスクデータを生成、ステップ７２０〜７２７でＬＨ成分の変換係数マスクデータを生成、ステップ７３０〜７３７でＨＨ成分の変換係数マスクデータを生成する。ただし、ＨＬ，ＬＨ，ＨＨ成分については、分割レベルが予め決められたある値Ｎ_R以下の場合には、ＲＯＩ変換係数は全て削除するものとする。そこで、ＨＬ，ＬＨ，ＨＨ成分では、ステップ７１１，７２１，７３１で分割レベルがＮ_R以上か否かを判断し、分割レベルがＮ_Rに満たない分割レベルでは、変換係数マスクデータを０とする。
【００２２】
ここで、再度図１に戻り、符号化ブロック図を説明する。変換係数シフト部１０３では、変換係数マスクデータを参照し、標準符号化方式ＪＰＥＧ２０００に規定されているＭａｘ−ｓｈｉｆｔＲＯＩ符号化の手法を適用する。これには、非ＲＯＩ変換係数の最大の絶対値Ｃ_maxを検出し、Ｃ_maxを自然２進表現した時のビット数、
【００２３】
【数２】

【００２４】
だけＲＯＩ変換係数をシフトアップする。つまり変換係数マスクデータＭ（ｘ，ｙ）に応じて、以下の処理を実行する。
ｉｆＭ（ｘ，ｙ）＝１ａ’（ｘ，ｙ）＝ａ（ｘ，ｙ）・２^S
ｅｌｓｅａ’（ｘ，ｙ）＝ａ（ｘ，ｙ）式（５）
【００２５】
エントロピ符号化部１０４では、変換係数の絶対値を自然２進で表現したビットプレーンを、ＲＯＩ変換係数、非ＲＯＩ変換係数を区別せずに上位ビットプレーンから順にエントロピ符号化する。エントロピ符号化は、例えば静止画像符号化標準ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ１５４４４−１）で使用されているエントロピ符号化などビットプレーン毎に符号化する方式ならば任意の方式が使用可能である。
ＲＯＩ変換係数は、シフトアップされているので、非ＲＯＩ変換係数よりも先に符号化され、途中のビットプレーンまでの符号を伝送した場合、復号側では非ＲＯＩ変換係数よりも高精度に再現することができる。これにより、タイル境界近傍の画像が高精度に復号され、タイル歪みが低減される。更に本実施の形態では、タイル境界近傍に対応する変換係数であっても高域成分については、タイル歪み低減への寄与度が小さいと考えられるため、非ＲＯＩ変換係数として符号化している。これにより、タイル境界近傍への不必要な符号量割り当てが抑えられ、タイル境界から遠い領域にも符号量が割り当てられて、全体として高い画質の再生画像が得られる。
【００２６】
なお、上記手法では、ＲＯＩ変換係数の位置情報は伝送する必要はない。受信側では、再生した変換係数の絶対値がシフトビット数から定まる定数２^Sより大きいか小さいかでＲＯＩ変換係数か否かを判断できるからである。ただし、ＲＯＩ変換係数のシフトビット数Ｓは付加情報として伝送するする必要がある。これは、符号データのヘッダ情報として伝送するなど、復号側でシフトビット数を知ることができればいかなる手法で伝送しても構わない。
【００２７】
図９は、本符号化装置に対する復号装置の構成を示すブロック図である。図において、伝送されてきた符号化データを、エントロピ復号部２０４で復号し、得られた変換係数と伝送されてきたシフトビット数情報Ｓとによりシフトされた変換係数についてはシフトダウンする変換係数シフトダウン部２０３を備え、元に戻された変換係数を逆量子化部２０２で逆量子化する。更に、その出力をウェーブレット逆変換部２０１でタイル別の画像情報とし、タイル合成部２００で画面としての画像信号を得る。
以上の説明では、ＲＯＩ変換係数を最低解像度に属する変換係数だけに制限したが、最低解像度とその次のレベルの解像度だけに制限する、最低解像度の全てのサブバンドとその次のレベルの解像度のＨＬ成分、ＬＨ成分だけに制限するなど、任意の解像度、サブバンドに属する変換係数をＲＯＩ変換係数とすることが可能である。
【００２８】
実施の形態２．
以下に、この発明の実施の形態２による符号化装置及び方法の構成を説明する。実施の形態１では、ＲＯＩ変換係数は、タイル境界画素に対応する変換係数のうち特定の解像度に存在するように制限したが、実施の形態２では、サブバンドに応じてその制限を変化させた例を示す。図１０に実施の形態２による、変換係数マスクデータの例を示す。タイル境界画素に対応する変換係数のうち、低域成分に大きな影響を与える、ＨＬ成分のサブバンド上端、下端領域、ＬＨ成分のサブバンド左端、右端領域、ＬＬ成分の上端、下端、左端、右端領域の変換係数をＲＯＩ変換係数とする。
【００２９】
符号化装置あるいは方法の構成、処理は、ＲＯＩ変換係数選択部１０５に以下の処理が追加される点を除いて、実施の形態１と同一なので、相違点のみを説明する。
実施の形態２では、図７のＲＯＩ変換係数が存在する解像度を制限するパラメータＮ_RをＮ_R＝１として、処理ＤＥＩＮＴＥＲＬＥＡＶＥ終了時点では全ての解像度でＲＯＩ変換係数を残しておく。そしてこの後、ＨＬ成分Ｍ_lev,HL（ｘ，ｙ）については、０〜ｘ₁−１のいずれかのｘ座標でＭ_lev,HL（ｘ，ｙ）＝０となれば、０〜ｘ₁−１の全ての座標でＭ_lev,HL（ｘ，ｙ）＝０とする水平方向の処理をｙ＝０からｙ＝ｙ₁−１までの全てで行う（ｘ₁，ｙ₁はサブバンドの水平、垂直方向のサイズである）。ＬＨ成分Ｍ_lev,LH（ｘ，ｙ）については、０〜ｙ₁−１のいずれかのｙ座標でＭ_lev,LH（ｘ，ｙ）＝０となれば、０〜ｙ₁−１の全ての座標でＭ_lev,LH（ｘ，ｙ）＝０とする垂直方向の処理をｘ＝０からｘ＝ｘ₁−１までの全てで行う。ＨＨ成分Ｍ_lev,HH（ｘ，ｙ）については、全てＭ_lev,HH（ｘ，ｙ）＝０とする。
【００３０】
上記方法により、タイル境界近傍の画像が高精度に復号され、タイル歪みが低減される。更に本実施の形態では、サブバンドに応じてＲＯＩ変換係数を制限することにより、タイル境界近傍への不必要な符号量割り当てが抑えられ、タイル境界から遠い領域にも符号量が割り当てられるため、全体として高い画質の再生画像が得られる。
実施の形態２では、ＲＯＩ変換係数が存在する解像度を制限するパラメータＮ_Rを１として解像度の制限を設けなかったが、特定の解像度成分のみにＲＯＩ変換係数を設定することも可能である。
【００３１】
実施の形態３．
以下に、この発明の実施の形態３による符号化装置及び方法の構成を説明する。実施の形態３では、ＲＯＩ変換係数は、各サブバンドにおいて、隣接するタイルのサブバンドに接する変換係数とする。図１１に実施の形態３による、変換係数マスクデータの例を示す。
符号化装置あるいは方法の構成、処理は、図５のＣＲＥＡＴＥ＿ＭＡＳＫ、ＤＥＩＮＴＥＲＬＥＡＶＥを除いて、実施の形態１と同一なので、相違点のみを説明する。実施の形態３では、ＣＲＥＡＴＥ＿ＭＡＳＫ、ＤＥＩＮＴＥＲＬＥＡＶＥに代わり、図１２に示すように、各サブバンドの変換係数マスクデータを以下のように設定する。
Ｍ_N,LL（ｘ，０）＝１（０≦ｘ＜ｘ₁）
Ｍ_N,HL（ｘ，ｙ₁−１）＝１（０≦ｘ＜ｘ₁）
Ｍ_N,LH（０，ｙ）＝１（０≦ｙ＜ｙ₁）
Ｍ_N,HH（ｘ₁−１，ｙ）＝１（０≦ｙ＜ｙ₁）
上記以外Ｍ₀（ｘ，ｙ）＝０
（ｘ₁，ｙ₁は各サブバンドにおける水平、垂直方向のサイズ）
ただし、現タイルの
上に隣接サブバンドが存在しなければ、
Ｍ_N,LL（ｘ，０）＝０（０≦ｘ＜ｘ₁）
下に隣接サブバンドが存在しなければ、
Ｍ_N,HL（ｘ，ｙ₁−１）＝０（０≦ｘ＜ｘ₁）
左に隣接サブバンドが存在しなければ、
Ｍ_N,LH（０，ｙ）＝０（０≦ｙ＜ｙ₁）
右に隣接サブバンドが存在しなければ、
Ｍ_N,HH（ｘ₁−１，ｙ）＝０（０≦ｙ＜ｙ₁）
とする。
【００３２】
上記方法により、タイル境界近傍の画像が高精度に復号され、タイル歪みが低減される。更に本実施の形態では、ＲＯＩ変換係数をタイル境界に接する変換係数だけに制限することにより、タイル境界近傍への不必要な符号量割り当てが抑えられ、タイル境界から遠い領域にも符号量が割り当てられるため、全体として高い画質の再生画像が得られる。
実施の形態３では、ＲＯＩ変換係数が存在する解像度を制限しなかったが、実施の形態１と同様に、特定の解像度成分のみのタイル境界に接する変換係数だけにＲＯＩ変換係数を設定することも可能である。
【００３３】
なお、上記各実施の形態においては、符号化装置は図１に示される各要素がハードウェアであるとして説明したが、これら各要素は同等の機能を持つ汎用の計算機とプログラムで構成されるソフトウェア要素であってもよい。即ち、タイル分割部１００、ウェーブレット変換部１０１、量子化部１０２、エントロピ符号化部１０４の従来と同等機能を持つ各要素は、既に従来からソフトウェアによる方法が知られている。同様に、ＲＯＩ変換係数選択方法として、図５ないし図７のフローで示されるソフトウェアプログラムで得られることは明らかであるし、変換係数シフト方法も単に桁上げするだけなので、その方法は容易である。
【００３４】
【発明の効果】
以上のようにこの発明によれば、ウェーブレット変換の特徴に着目して特定の変換係数を優先的に符号化するようにしたので、限られた符号化情報でタイル化した画像に対しても、そのタイル隣接部のみでなく、タイル内部も優れた画質を維持できる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１における特定係数優先符号化装置の構成を示すブロック図である。
【図２】タイル分割を説明する図である。
【図３】タイルのウェーブレット変換を示す図である。
【図４】実施の形態１における変換係数マスクデータの例を示す図である。
【図５】実施の形態１におけるＲＯＩ変換係数選択部（選択方法）の動作フローを示す図である。
【図６】実施の形態１におけるＲＯＩ変換係数選択部（選択方法）の動作フローを示す図である。
【図７】実施の形態１におけるＲＯＩ変換係数選択部（選択方法）の動作フローを示す図である。
【図８】実施の形態１における分割レベル増加によるＲＯＩ係数生成を説明する図である。
【図９】実施の形態１における特定係数優先復号装置の構成を示すブロック図である。
【図１０】実施の形態２における変換係数マスクデータの例を示す図である。
【図１１】実施の形態３における変換係数マスクデータの例を示す図である。
【図１２】実施の形態３におけるＤＥＩＮＴＥＲＬＥＡＶＥ処理を説明する図である。
【図１３】従来の空間情報と変換係数の対応配置関係を示す図である。
【符号の説明】
１００タイル分割部、１０１ウェーブレット変換部、１０２量子化部、１０３変換係数シフト部、１０４エントロピ符号化部、１０５ＲＯＩ変換係数選択部、２００タイル合成部、２０１ウェーブレット逆変換部、２０２２逆量子化部、２０３変換係数シフトダウン部、２０４エントロピ復号部、５０２ＣＲＥＡＴＥ＿ＭＡＳＫステップ、５０３ＤＥＩＮＴＥＲＬＥＡＶＥステップ。

Claims

タイル分割し、ウェーブレット変換し、エントロピ符号化する符号化装置において、
上記タイル分割した画像情報をウェーブレット変換した変換係数のうち、該ウェーブレット変換で得られるサブバンド中の所定のサブバンド、のタイル境界近傍にある変換係数のみを特定変換係数として選択する変換係数選択部と、
上記選択された特定変換係数を優先符号化するようシフトする変換係数シフト部とを備えて、
上記シフト後の変換係数に対してエントロピ符号化することを特徴とする特定変換係数優先符号化装置。
変換係数シフト部は、特定変換係数として選択された係数以外の変換係数の最大絶対値を２進数で表現した場合の桁数をＳ（Ｓは自然数）とした場合、特定変換係数をＳビット優先符号化されるようシフトすることを特徴とする請求項１記載の特定変換係数優先符号化装置。
変換係数選択部は、タイル分割レベルの最低解像度レベルにおける各サブバンドの上下左右の境界に配置された変換係数のみを特定変換係数として選択することを特徴とする請求項１記載の特定変換係数優先符号化装置。
変換係数選択部は、タイル境界近傍の変換係数のうち、水平方向高周波、垂直方向高周波のサブバンドでは上下左右の境界に配置された変換係数を、水平方向高周波、垂直方向低周波のサブバンドでは上下の境界に配置された変換係数を、水平方向低周波、垂直方向高周波のサブバンドでは左右の境界に配置された変換係数を、特定変換係数として選択することを特徴とする請求項１記載の特定変換係数優先符号化装置。
タイル分割し、ウェーブレット変換し、エントロピ符号化する符号化装置と、該符号化装置に対応する復号装置で構成されるシステムにおいて、
上記タイル分割した画像情報をウェーブレット変換した変換係数のうち、該ウェーブレット変換で得られるサブバンド中の所定のサブバンド、のタイル境界近傍にある変換係数のみを特定変換係数として選択する変換係数選択部と、上記選択された特定変換係数を優先符号化するようシフトする変換係数シフト部とを備えて、上記シフト後の変換係数に対してエントロピ符号化し、該エントロピ符号化したデータに優先符号化のシフト情報を付加して送信する符号化装置と、
上記符号化装置から受信した符号化データをエントロピ復号したものを、上記優先符号化のシフト情報に基づいてシフトを戻す変換係数シフトダウン部を備えて、ウェーブレット逆変換し、タイル合成する復号装置、とで構成されることを特徴とする特定変換係数優先符号化復号システム。
符号化装置の変換係数シフト部は、特定変換係数として選択された係数以外の変換係数の最大絶対値を２進数で表現した場合の桁数をＳ（Ｓは自然数）とした場合、特定変換係数をＳビット優先符号化し、かつ符号化装置は該シフト桁数Ｓを送信し、
復号装置の変換係数シフトダウン部は上記送られたシフト桁数Ｓを用いてシフトダウンすることを特徴とする請求項５記載の特定変換係数優先符号化復号システム。
符号化装置の変換係数選択部は、タイル分割レベルの最低解像度レベルにおける各サブバンドの上下左右の境界に配置された変換係数のみを特定変換係数として選択することを特徴とする請求項５記載の特定変換係数優先符号化復号システム。
符号化装置の変換係数選択部は、タイル境界近傍の変換係数のうち、水平方向高周波、垂直方向高周波のサブバンドでは上下左右の境界に配置された変換係数を、水平方向高周波、垂直方向低周波のサブバンドでは上下の境界に配置された変換係数を、水平方向低周波、垂直方向高周波のサブバンドでは左右の境界に配置された変換係数を、特定変換係数として選択することを特徴とする請求項５記載の特定変換係数優先符号化復号システム。
タイル分割し、ウェーブレット変換し、エントロピ符号化する符号化方法において、
上記タイル分割した画像情報をウェーブレット変換した変換係数のうち、該ウェーブレット変換で得られるサブバンド中の所定のサブバンド、のタイル境界近傍にある変換係数のみを特定変換係数として選択する変換係数選択ステップと、
上記選択された特定変換係数を優先符号化するようシフトする変換係数シフトステップと、
上記シフト後の変換係数に対してエントロピ符号化するエントロピ符号化ステップ、とを備えたことを特徴とする特定変換係数優先符号化方法。
変換係数シフトステップは、特定変換係数として選択された係数以外の変換係数の最大絶対値を２進数で表現した場合の桁数をＳ（Ｓは自然数）とした場合、特定変換係数をＳビット優先符号化されるようシフトするようにしたことを特徴とする請求項９記載の特定変換係数優先符号化方法。
変換係数選択ステップは、タイル分割レベルの最低解像度レベルにおける各サブバンドの上下左右の境界に配置された変換係数のみを特定変換係数として選択することを特徴とする請求項９記載の特定変換係数優先符号化方法。
変換係数選択ステップは、タイル境界近傍の変換係数のうち、水平方向高周波、垂直方向高周波のサブバンドでは上下左右の境界に配置された変換係数を、水平方向高周波、垂直方向低周波のサブバンドでは上下の境界に配置された変換係数を、水平方向低周波、垂直方向高周波のサブバンドでは左右の境界に配置された変換係数を、特定変換係数として選択することを特徴とする請求項９記載の特定変換係数優先符号化方法。