JP4766615B2

JP4766615B2 - 注目領域画像符号化装置

Info

Publication number: JP4766615B2
Application number: JP2007091906A
Authority: JP
Inventors: 真幸橋本; 廣八木
Original assignee: KDDI Corp; National Institute of Information and Communications Technology
Current assignee: KDDI Corp; National Institute of Information and Communications Technology
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2011-09-07
Anticipated expiration: 2027-03-30
Also published as: JP2008252581A

Description

本発明は、注目領域画像符号化装置に関し、特に、注目画素領域を優先的に符号化する注目領域画像符号化装置に関する。

ブロードバンドネットワークが普及している今日においても、情報量の大きな画像伝送を考えた場合、画像符号化の必要性は高い。ADSLにおける上り回線や無線回線においては、伝送帯域の制限があるため、より高効率な符号化が求められる。近年、高い符号化効率や階層性を持つウェーブレット変換符号化が注目されており、最新の符号化標準であるJPEG 2000においてもウェーブレット変換が採用されている。

また、伝送帯域の制限により大きな伝送遅延が発生するような状況においても、画像中の重要な部分だけ優先して送ることで、より少ない遅延で画像中の重要な部分を伝送することが可能となる。このような符号化は注目領域（ROI：Region Of Interest）符号化と呼ばれ、JPEG 2000においてもROI符号化を行うことが可能である。JPEG 2000のROI符号化においては、注目画素領域（画像中の注目領域）の情報から係数が注目されるべき係数かそうでないかを示すROI係数マスクを作成する。そして、注目係数でない係数（非注目係数）の場合は、その係数を下方にビットシフトする。その後、注目係数、非注目係数をまとめてビットプレーン符号化を行う。前記のシフト量を大きくとり、注目係数と非注目係数が同じビットプレーン内で同時に値を持たないようにすることで、復号側ではROI係数マスクがなくても、その係数が注目係数か非注目係数かが分かり、非注目係数のみビットシフトを戻して、元の係数状態を復元できる。このような符号化手法をMaxShift法と呼ぶ。なお、上記の技術は、下記の非特許文献１のJPEG 2000の規格書において規定されている

図８に前記MaxShift法を用いた従来のROI符号化装置の概要を以下に簡単に説明する。該ROI符号化装置は、ウェーブレット変換部１０、ROI係数マスク作成部１１、およびROI符号化部１２とからなる。

ウェーブレット変換部１０は入力画像ａにウェーブレット変換を施し、変換係数ｄを出力する。ここで、ウェーブレット変換の回数ｂは外部から入力が可能である。ウェーブレット変換については、JPEG 2000で利用されている5×3整数型可逆フィルタや9×7実数型非可逆フィルタなどを用いることを想定している。

ROI係数マスク作成部１１は、注目画素の位置を示した注目画素領域ｃに基づいてROI係数マスクｅを作成する。ここで、ROI係数マスクｅとは、注目されるウェーブレット変換の位置を示した情報である。ROI係数マスクｅは、一般に、２値画像として表せ、ある係数が注目領域に含まれる場合はその位置の係数の値を１、非注目係数の値を０とする（あるいは、０，１は逆でも実現可能である）。

ROI符号化部１２は、ROI係数マスクｅにより指定された注目係数を優先して符号化する。その詳細を図９を参照して説明すると、量子化部２１は係数ｄの量子化を行い、量子化係数ｆを出力する。次に、該量子化係数ｆは、係数シフト部２２で、ROI係数マスクｅに従って係数シフトされ、シフト量子化係数ｇとなってビットプレーン符号化部２３に送られる。該ビットプレーン符号化部２３は、シフト量子化係数ｇをビットプレーン符号化して符号列ｈとして出力し、該符号ｈは符号量制御部２４に送られる。このように、ROI係数マスクｅにより指定された注目係数は、優先して符号化される。

該注目係数を優先して符号化する方式の一つにMaxShift法がある。MaxShift法のビットシフトの概念図を図１０に示す。これは、係数が画像中の注目領域に対応しない場合は、係数を下方にビットシフトｓさせてから、ビットプレーン符号化を行う方式である。このシフト量を大きくとり、注目係数と非注目係数が同じビットプレーン内で同時に値を持たないようにすることで、復号側ではROI係数マスクｅがなくても復号できるようになる。

前記ビットプレーン符号化部２３でビットプレーン符号化された符号は、符号量（レート）制御部２４において、再生画像品質への寄与度が大きい上位ビットプレーンを優先しながら、下位のビットを切り捨て、全体の符号量を制御する。

通常のROI符号化においては、ウェーブレット変換係数のサブバンド状態に合わせて、図１１に示すように、注目画素領域ｃから、ROI係数マスクｅを作成する。ここで、注目画素領域ｃに含まれる画素に寄与する係数は、ROI係数マスクｅではすべて注目係数となるようにROI係数マスクが作成される。
ISO/IEC FCD１５４４４−１：２００２、ｐｐ１４３〜１４７「Annex H "Coding of images with regions of interest"」

MaxShift法においては、復号時にROI係数マスクを必要としないので、ROI係数マスクを伝送する必要がないというメリットがある。その反面、単純なROI制御しか行えず、係数は注目係数か非注目係数かの２つの状態しか取らず、それに対応する画素も注目画素か非注目画素かの２つの状態しかない。そのため、注目画素領域と非注目画素領域の境界線の両側において、再生画像の画質が極端に異なり、視覚的に境界歪が顕著に検知される。

また、MaxShift法を使わずに、画素の注目度合いを２値（注目／非注目）ではなく、多値（３つ以上）にすることにより、段階的に再生画質を変化させることが可能である。しかしながら、このような手法では、復号時に、係数（あるいは画素）の注目度合いの情報が必要であるため、ROI係数（または画素）マスクを伝送する必要がある。このROI係数（または画素）マスクの伝送は、伝送帯域に制限がある場合は、情報量の増加は望ましくない。さらに、独自のROI係数（または画素）マスクを復号器で利用するためには、復号器内にそのための手順を追加する必要があり、符号化器と復号器の間でROI係数マスクを送受信する手順が必要となる。これらの手順の追加により、装置の複雑度が増大する問題もある。

本発明の目的は、前記した従来技術の課題に鑑みてなされたものであり、ROI係数マスクを伝送する必要がないメリットを保ったまま、非注目領域の注目領域に近い領域ほどより高画質に符号化して、注目領域と非注目領域の境界部分において発生する境界歪を軽減する機能を実現するための注目領域画像符号化装置を提供することにある。

前記した目的を達成するために、本発明は、画像をウェーブレット変換し、変換係数を生成するウェーブレット変換部と、前記画像の注目画素領域および中間注目画素領域に関する情報を基に、前記変換係数の周波数成分ごとに形状の異なる注目係数の位置を記したＲＯＩ係数マスクを作成する段階的ＲＯＩ係数マスク作成部と、前記段階的ＲＯＩ係数マスク作成部で作成されたＲＯＩ係数マスクに従って、前記ウェーブレット変換部から出力された変換係数のうちの注目係数を優先して符号化するＲＯＩ符号化部とを具備し、前記段階的ＲＯＩ係数マスク作成部は、前記画像の注目画素領域に関する情報を基に、ＲＯＩ係数マスクを作成する基本ＲＯＩ係数マスク作成部と、前記画像の注目画素領域と非注目画素領域との間に、注目画素よりは優先度が低く、非注目画素よりは優先度が高い画素領域である中間注目画素領域を含む段階的ＲＯＩ係数領域情報を形成する段階的ＲＯＩ係数領域決定部と、前記基本ＲＯＩ係数マスク作成部からのＲＯＩ係数マスクと、前記段階的ＲＯＩ係数領域決定部からの段階的ＲＯＩ係数領域情報とに従って、前記変換係数の周波数成分ごとに形状が異なり、低周波数成分ほど注目画素領域を広くした段階的ＲＯＩ係数マスクを作成する拡張ＲＯＩ係数マスク作成部とを具備した点に特徴がある。

本発明によれば、ウェーブレット変換画像符号化における注目領域画像符号化において、ROI係数マスクを伝送する必要がないメリットを保ったまま、非注目領域の注目領域に近い領域ほどより高画質に符号化して、注目領域と非注目領域の境界部分において発生する境界歪を軽減することができる。

また、本発明は基本的に符号化器側の発明であり、生成された符号化データは、通常の復号器に手を加えることなく再生が可能であるため、広範囲での利用が可能である。

以下に、図面を参照して本発明を詳細に説明する。まず、本発明の原理を、図１を参照して説明する。なお、図１において、図８と同じ符号は同一または同等物を示す。

本発明では、段階的ROI係数マスク作成部１３を設ける。段階的ROI係数マスク作成部１３では、周波数成分毎に注目係数領域の形状を変えた段階的ROI係数マスクを作成する。すなわち、注目画素領域ではない画素に対して、注目画素ほどではないが、他の非注目画素領域に比べると優先的に符号化したいという中間注目画素領域がある場合には、該中間注目画素領域について、高周波数成分の注目ROI係数マスクはそのままで、低周波数成分の注目ROI係数マスクについてのみ、注目係数領域を広げた段階的ROI係数マスクを作成する。

そして、該段階的ROI係数マスクをROI符号化部１２に供給して符号化すると、注目画素領域の画素と非注目画素領域の画素の中間的な画素を表現することが可能となる。すなわち、非注目領域の注目領域に近い領域ほどより高画質に符号化した符号化情報を得ることができるようになる。

例えば、注目画素ではないが注目画素領域に近い領域の画素においては、その画素に対応する低周波数成分係数については注目係数として優先的に符号化し、高周波数成分の係数については非注目係数として優先度を落として符号化する。これにより、その中間注目画素を再生した場合には低周波数成分のみにより画素が再生されるため、注目領域の画素に比べるとぼけた画像になるが、非注目領域の画素よりは低周波数成分が多いので、画質が改善する。

以下に、本発明の第１の実施形態を説明する。図２は、該実施形態の概略の構成を示すブロック図である。図２において、図１と同じ符号は同一または同等物を示す。また、図３は、図２の段階的ROI係数マスク作成部１４の詳細を示すブロック図である。

本実施形態の段階的ROI係数マスク作成部１４は、図３に示されているように、基本ROI係数マスク作成部３１、拡張ROI係数マスク作成部３２、および段階的ROI係数領域決定部３３とから構成される。

基本ROI係数マスク作成部３１は、注目画素領域ｃを基に、例えば図１１のROI係数マスクｅと同様の基本ROI係数マスクｎを作成する。段階的ROI係数領域決定部３３は、注目画素領域ｃと中間注目画素領域ｍを基に、各周波数成分（各サブバンド）における注目係数領域の形状を決定する。また、前記拡張ROI係数マスク作成部３２は、該段階的ROI係数領域決定部３３からの段階的ROI係数領域情報に従って、各サブバンド毎に注目係数領域の形状を変更する。

この実施形態では、注目画素領域ではない画素に対して、注目画素ほどではないが、他の非注目画素領域に比べて優先的に符号化したいという中間注目画素領域ｍを設定する。そして、段階的ROI係数領域決定部３３において、中間注目領域の低周波数成分の注目係数領域に対応する画素領域が、高周波数成分の注目係数領域に対応する画素領域よりも広くなるように設定する。換言すれば、変換係数の対応する画素の領域に換算して考えた場合に、高周波数成分の注目係数領域よりも低周波数成分の注目係数領域が広くなるようなROI係数マスクを作成する。

これを実現するには、最高周波数成分（最高周波数サブバンド）での注目係数を決定する元となる注目画素領域を当初の注目画素領域Ａとし、最低周波数成分（最低周波数サブバンド）での注目係数を決定する元となる注目画素領域を当初の注目画素領域に中間注目画素領域を加えた領域Ｂとし、中間周波数成分（中間周波数サブバンド）での注目係数を決定する元となる注目画素領域を、Ａを含んでＢよりは小さい領域とする。さらに、中間周波数サブバンド同士でも、より低い周波数サブバンドでの注目係数を決定する元となる注目画素領域を含んで、Ｂよりは小さい領域とする。これについては、後述の図４(b)に示す。

次に、該実施形態の動作例を、図４、図５を参照して具体的に説明する。図４(a)に示されているような注目画素領域ｃと中間注目画素領域ｍのそれぞれの情報が、図３の基本ROI係数マスク作成部３１と段階的ROI係数領域決定部３３に入力すると、段階的ROI係数領域決定部３３は、前記中間注目画素領域ｍの情報および変換回数ｂを基に、図４(b)に点線で示されているような、１又は複数の中間周波数成分に対する注目画素領域を決定する。なお、該中間周波数成分の分割数は前記変換回数ｂと等しくするのが好ましい。また、前記注目画素領域ｃは、最高周波数成分に対する注目画素領域に相当し、前記中間注目画素領域ｍの境界は、最低周波数成分に対する注目画素領域の境界線に相当することは明らかである。なお、前記中間注目画素領域ｍの広さや形状は自由に設定することが可能である。

前記図４(b)の段階的ROI係数領域情報が拡張ROI係数マスク作成部３２に送られると、該拡張ROI係数マスク作成部３２は、図４(c)に示されているような、低周波数成分ほど注目画素領域を広くした段階的ROIマスクを作成する。

図４の例では、注目画素領域ｃと中間注目画素領域ｍとが相似形であったが、本発明はこれに限定されず、図５(a)に示されているように、非相似形であってもよい。また、段階的ROI係数領域決定部３３は、図４(b)のように、中間周波数成分に対する注目画素領域を注目画素領域情報ｃおよび中間注目画素領域ｍと相似形にせずに、図５(b)のような非相似形にしてもよい。すなわち、図示の例では、注目画素領域情報ｃおよび中間注目画素領域ｍが、それぞれ星形、四角形であるのに対して、中間周波数成分に対する注目画素領域を丸形にすることができる。換言すれば、該中間周波数成分に対する注目画素領域は、注目画素領域情報ｃおよび中間注目画素領域ｍの形状とは無関係に、任意の形状とすることができる。

前記図５(b)の段階的ROI係数領域情報が前記拡張ROI係数マスク作成部３２に送られると、該拡張ROI係数マスク作成部３２は、図５(c)に示されているような、周波数成分（サブバンド）毎に図５(b)で決定された形状のROI領域を有する段階的ROIマスクｊを作成する。

図４、図５の例から明らかなように、本実施形態によれば、中間周波数成分に対する注目画素領域を、周波数成分毎に注目係数領域の形状を変えて構成しているので、非注目画素領域の注目画素領域に近い領域ほどより高画質に符号化されることになり、注目画素領域と非注目画素領域の境界部分において発生する境界歪を軽減できるようになる。なお、図４の注目画素領域を示す星形、四角形、丸形などの形状は、説明を分かりやすくするためのものであり、これらの形状に限定されず、任意の形状であってもよいことは勿論である。

次に、本発明の第２の実施形態を図６のブロック図を参照して説明する。この実施形態は、中間注目画素領域作成部１５を有している点で、前記第１の実施形態とは異なる。なお、図６において、図２、図３と同じ符号は、同一または同等物を示す。

この実施形態は、中間注目画素領域を明示的に指定するのではなく、注目画素領域のみが指定された場合にも、注目画素領域の周辺画素を自動的に中間注目画素領域とし、段階的ROI係数マスクｄを作成するようにしたものである。

図７(a）に示すような注目画素領域ｃの情報が中間注目画素領域作成部１５に入力すると、該中間注目画素領域作成部１５は例えば図７(b)に示されるような、一定の幅ｗの中間注目画素領域ｍを自動的に生成する。そして、前記注目画素領域ｃと該中間注目画素領域ｍとは、段階的ROI係数マスク作成部１４に入力される。該段階的ROI係数マスク作成部１４は、これらの画素領域ｃとｍが入力されると、前記図４、図５で説明したのと同じような動作をして段階的ROI係数マスクを作成するが、その説明は前記した通りであるので省略する。なお、図７(b)の中間注目画素領域ｍの形状は一例であり、注目画素領域ｃを含む形状であれば任意の形状であってもよい。

本実施形態においても、非注目画素領域の注目画素領域に近い領域ほどより高画質に符号化されることになり、注目画素領域と非注目画素領域の境界部分において発生する境界歪を軽減できるようになる。

本発明の原理を説明するためのブロック図である。本発明の注目領域画像符号化装置の一実施形態の概略の構成を示すブロック図である。図２の段階的ROI係数マスク作成部の詳細な構成を示すブロック図である。段階的ROI係数マスク作成部の動作の説明図である。段階的ROI係数マスク作成部の他の動作の説明図である。本発明の第２の実施形態の概略の構成を示すブロック図である。図６の中間注目画素領域作成部の動作の説明図である。従来の注目領域画像符号化装置の概略の構成を示すブロック図である。図８のROI符号化部の詳細な構成を示すブロック図である。 MaxShift法の説明図である。従来の注目領域画像符号化装置の動作の説明図である。

符号の説明

１０・・・ウェーブレット変換部、１２・・・ROI符号化部、１３、１４・・・段階的ROI係数マスク作成部、３１・・・基本ROI係数マスク作成部、３２・・・拡張ROI係数マスク作成部、３３・・・段階的ROI係数領域決定部。

Claims

画像をウェーブレット変換し、変換係数を生成するウェーブレット変換部と、
前記画像の注目画素領域および中間注目画素領域に関する情報を基に、前記変換係数の周波数成分ごとに形状の異なる注目係数の位置を記したＲＯＩ係数マスクを作成する段階的ＲＯＩ係数マスク作成部と、
前記段階的ＲＯＩ係数マスク作成部で作成されたＲＯＩ係数マスクに従って、前記ウェーブレット変換部から出力された変換係数のうちの注目係数を優先して符号化するＲＯＩ符号化部とを具備し、
前記段階的ＲＯＩ係数マスク作成部は、
前記画像の注目画素領域に関する情報を基に、ＲＯＩ係数マスクを作成する基本ＲＯＩ係数マスク作成部と、
前記画像の注目画素領域と非注目画素領域との間に、注目画素よりは優先度が低く、非注目画素よりは優先度が高い画素領域である中間注目画素領域を含む段階的ＲＯＩ係数領域情報を形成する段階的ＲＯＩ係数領域決定部と、
前記基本ＲＯＩ係数マスク作成部からのＲＯＩ係数マスクと、前記段階的ＲＯＩ係数領域決定部からの段階的ＲＯＩ係数領域情報とに従って、前記変換係数の周波数成分ごとに形状が異なり、低周波数成分ほど注目画素領域を広くした段階的ＲＯＩ係数マスクを作成する拡張ＲＯＩ係数マスク作成部とを具備することを特徴とする注目領域画像符号化装置。
請求項１に記載の注目領域画像符号化装置において、
前記段階的ＲＯＩ係数領域決定部は、周波数成分ごとの注目係数領域の形状と位置を決定することを特徴とする注目領域画像符号化装置。
請求項１または２に記載の注目領域画像符号化装置において、
前記段階的ＲＯＩ係数領域決定部により形成される前記中間注目画素領域は、前記注目画素領域および非注目画素領域と相似形または非相似形であることを特徴とする注目領域画像符号化装置。
請求項１に記載の注目領域画像符号化装置において、
前記中間注目画素領域が、ウェーブレット変換階数に応じた個数の注目画素領域に区分けされていることを特徴とする注目領域画像符号化装置。
請求項１ないし４のいずれかに記載の注目領域画像符号化装置において、
前記画像の注目画素領域だけから中間注目画素領域を作成する中間注目画素領域作成部をさらに具備することを特徴とする注目領域画像符号化装置。
請求項１ないし５のいずれかに記載の注目領域画像符号化装置において、
前記ＲＯＩ符号化部は、符号化する係数が注目係数かどうかにより係数のシフト量を制御することで復号時にＲＯＩ係数マスクが不要となるＲＯＩ符号化を行うことを特徴とする注目領域画像符号化装置。