JP6345961B2 - 画像復号化装置および画像復号化方法 - Google Patents

Description

本発明は、画像復号化技術に関し、具体的には関心領域（ＲＯＩ）を含んだ画像を復号化するための技術に関する。

ＪＰＥＧ（Joint Photographic Experts Group）２０００に関する下記非特許文献１には、ＲＯＩを含んだ画像の符号化および復号化が開示されている。具体的には、Ｍａｘ−ｓｈｉｆｔ法が開示されている。また、ＲＯＩをウエーブレット平面に展開する方法が開示されている。

下記特許文献１には、ＪＰＥＧ２０００に採用されているウエーブレットフィルタと種類は異なるが、ウエーブレット平面上でどの係数がＲＯＩに属するかを展開する方法が開示されている。また、下記特許文献２〜６にも、ＲＯＩを含んだ画像に関する画像処理技術が開示されている。

特表２００１−５２０４６６号公報 特開２００６−２０３４０９号公報 特表２００２−５２８００７号公報 特開２００６−２９５２９９号公報 特開２００６−２７９３９７号公報 特開２０１１−１６６７９５号公報

INTERNATIONAL STANDARD ISO/IEC 15444-1 ITU-T RECOMMENDATION T.800 Information technology - JPEG 2000 image coding system: Core coding system Annex H - Coding of images with regions of interest

従来より、原画像のＲＯＩを高画質にする技術が開発されている。これに対し、本発明はＲＯＩに関連した新しい画像処理技術、より具体的には原画像においてＲＯＩとして指定された領域を切り出すことが可能であると共にその切り出す領域の境界を調整することが可能な技術を提供することを目的とする。

本発明の第１の態様に係る画像復号化装置は、ウエーブレット変換を用いて符号化したビットストリームから、符号化画像データと、Ｍａｘ−ｓｈｉｆｔ法のスケーリング量に関する付加情報とを抽出する、ビットストリーム解析部と、前記符号化画像データを復号化することによって、複数の量子化ウエーブレット係数で構成された量子化画像データを生成する、復号化部と、前記複数の量子化ウエーブレット係数のそれぞれが、原画像中のＲＯＩ（関心領域）と非ＲＯＩのどちらに対応付けられているのかを、前記スケーリング量に基づいて判別し、その判別結果から前記量子化画像データの分解レベルに対応したＲＯＩマスクを生成する、ＲＯＩ処理部と、前記スケーリング量に基づくスケールダウン処理後の前記量子化画像データに対して逆量子化を行うことによって、複数のウエーブレット係数で構成された第１画像データを生成する、逆量子化部と、前記第１画像データを取得し、前記第１画像データに対して逆ウエーブレット変換を行うことによって、指定された分解レベルの第２画像データを生成する、逆ウエーブレット変換部と、前記ＲＯＩマスクを取得し、前記ＲＯＩマスクに対して所定のマスク復元処理を１回または複数回行うことによって、前記第２画像データと同じ分解レベルの復元ＲＯＩマスクを生成する、マスク復元部と、前記復元ＲＯＩマスクを前記第２画像データに適用することによって、マスク済み画像データを生成する、マスク実行部とを備え、前記逆ウエーブレット変換部は、前記マスク済み画像データに対して分解レベル０まで前記逆ウエーブレット変換を行うことによって、復号化画像データを生成する。

本発明の第２の態様に係る画像復号化装置は、上記の第１の態様に係る画像復号化装置であって、前記指定された分解レベルが、前記第１画像データの分解レベルと同じである場合、前記逆ウエーブレット変換部は、前記第２画像データの代わりに前記第１画像データを前記マスク実行部に供給し、前記マスク復元部は、前記復元ＲＯＩマスクの代わりに前記ＲＯＩマスクを前記マスク実行部に供給し、前記マスク実行部は、前記ＲＯＩマスクを前記第１画像データに適用することによって、前記マスク済み画像データを生成する。

本発明の第３の態様に係る画像復号化装置は、上記の第１または第２の態様に係る画像復号化装置であって、前記指定された分解レベルが分解レベル０である場合、前記マスク済み画像データは、前記逆ウエーブレット変換が行われることなく、前記復号化画像データとして扱われる。

本発明の第４の態様に係る画像復号化装置は、上記の第１〜第３の態様のうちのいずれか一つに係る画像復号化装置であって、前記ＲＯＩマスクおよび前記復元ＲＯＩマスクは、前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を含み、前記マスク実行部は、マスク対象の画像データにおいて前記非ＲＯＩ対応部分に設定されているデータを０に置換する。

本発明の第５の態様に係る画像復号化装置は、上記の第１〜第３の態様のうちのいずれか一つに係る画像復号化装置であって、前記ＲＯＩマスクおよび前記復元ＲＯＩマスクは、前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を含み、前記マスク実行部は、マスク対象の画像データにおいて前記非ＲＯＩ対応部分に設定されているデータを、別の原画像に関する別のデータに置換する。

本発明の第６の態様に係る画像復号化装置は、上記の第１〜第５の態様のうちのいずれか一つに係る画像復号化装置であって、前記所定のマスク復元処理は、所定のマスク復元条件に基づいて、復元対象の第１ＲＯＩマスクから、前記第１ＲＯＩマスクよりも分解レベルが１段階低い第２ＲＯＩマスクを生成する処理であり、前記逆ウエーブレット変換に５×３フィルタが利用される場合における前記所定のマスク復元条件は、ｎを整数として、前記逆ウエーブレット変換の前において低域成分のｎ番目ならびに高域成分の｛ｎ−１｝番目およびｎ番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記原画像中の前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第１条件と、前記逆ウエーブレット変換の前において前記低域成分のｎ番目および｛ｎ＋１｝番目ならびに前記高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第２条件とを含む。

本発明の第７の態様に係る画像復号化装置は、上記の第１〜第５の態様のうちのいずれか一つに係る画像復号化装置であって、前記所定のマスク復元処理は、所定のマスク復元条件に基づいて、復元対象の第１ＲＯＩマスクから、前記第１ＲＯＩマスクよりも分解レベルが１段階低い第２ＲＯＩマスクを生成する処理であり、前記逆ウエーブレット変換にDaubechies９×７フィルタが利用される場合における前記所定のマスク復元条件は、ｎを整数として、前記逆ウエーブレット変換の前において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記原画像中の前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第３条件と、前記逆ウエーブレット変換の前において前記低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および前記高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第４条件とを含む。

本発明の第８の態様に係る画像復号化装置は、上記の第１〜第７の態様のうちのいずれか一つに係る画像復号化装置であって、前記ビットストリームはＪＰＥＧ（Joint Photographic Experts Group）２０００に準拠している。

本発明の第９の態様に係る画像復号化装置は、上記の第１〜第８の態様のうちのいずれか一つに係る画像復号化装置であって、前記所定のマスク復元処理を複数回行うことは、前記所定のマスク復元処理を再帰的に複数回行うことを含む。

本発明の第１０の態様に係る画像復号化方法は、（ａ）ウエーブレット変換を用いて符号化したビットストリームから、符号化画像データと、Ｍａｘ−ｓｈｉｆｔ法のスケーリング量に関する付加情報とを抽出する工程と、（ｂ）前記符号化画像データを復号化することによって、複数の量子化ウエーブレット係数で構成された量子化画像データを生成する工程と、（ｃ）前記複数の量子化ウエーブレット係数のそれぞれが、原画像中のＲＯＩ（関心領域）と非ＲＯＩのどちらに対応付けられているのかを、前記スケーリング量に基づいて判別し、その判別結果から前記量子化画像データの分解レベルに対応したＲＯＩマスクを生成する工程と、（ｄ）前記スケーリング量に基づくスケールダウン処理後の前記量子化画像データに対して逆量子化を行うことによって、複数のウエーブレット係数で構成された第１画像データを生成する工程と、（ｅ）前記第１画像データを取得し、前記第１画像データに対して逆ウエーブレット変換を行うことによって、指定された分解レベルの第２画像データを生成する工程と、（ｆ）前記ＲＯＩマスクを取得し、前記ＲＯＩマスクに対して所定のマスク復元処理を１回または複数回行うことによって、前記第２画像データと同じ分解レベルの復元ＲＯＩマスクを生成する工程と、（ｇ）前記復元ＲＯＩマスクを前記第２画像データに適用することによって、マスク済み画像データを生成する工程と、（ｈ）前記マスク済み画像データに対して分解レベル０まで前記逆ウエーブレット変換を行うことによって、復号化画像データを生成する工程とを備える。

本発明の第１１の態様に係る画像復号化方法は、上記の第１０の態様に係る画像復号化方法であって、（ｉ）前記指定された分解レベルが、前記第１画像データの分解レベルと同じである場合に前記工程（ｇ）に代えて実行され、前記ＲＯＩマスクを前記第１画像データに適用することによって、前記マスク済み画像データを生成する工程をさらに備える。

本発明の第１２の態様に係る画像復号化方法は、上記の第１０または第１１の態様に係る画像復号化方法であって、前記指定された分解レベルが分解レベル０である場合、前記マスク済み画像データを、前記逆ウエーブレット変換を行うことなく、前記復号化画像データとして扱う。

本発明の第１３の態様に係る画像復号化方法は、上記の第１０〜第１２の態様のうちのいずれか一つに係る画像復号化方法であって、前記ＲＯＩマスクおよび前記復元ＲＯＩマスクは、前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を含み、前記マスク済み画像データを、マスク対象の画像データにおいて前記非ＲＯＩ対応部分に設定されているデータを０に置換することによって生成する。

本発明の第１４の態様に係る画像復号化方法は、上記の第１０〜第１２の態様のうちのいずれか一つに係る画像復号化方法であって、前記ＲＯＩマスクおよび前記復元ＲＯＩマスクは、前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を含み、前記マスク済み画像データを、マスク対象の画像データにおいて前記非ＲＯＩ対応部分に設定されているデータを、別の原画像に関する別のデータに置換することによって生成する。

本発明の第１５の態様に係る画像復号化方法は、上記の第１０〜第１４の態様のうちのいずれか一つに係る画像復号化方法であって、前記所定のマスク復元処理は、所定のマスク復元条件に基づいて、復元対象の第１ＲＯＩマスクから、前記第１ＲＯＩマスクよりも分解レベルが１段階低い第２ＲＯＩマスクを生成する処理であり、前記逆ウエーブレット変換に５×３フィルタが利用される場合における前記所定のマスク復元条件は、ｎを整数として、前記逆ウエーブレット変換の前において低域成分のｎ番目ならびに高域成分の｛ｎ−１｝番目およびｎ番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記原画像中の前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第１条件と、前記逆ウエーブレット変換の前において前記低域成分のｎ番目および｛ｎ＋１｝番目ならびに前記高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第２条件とを含む。

本発明の第１６の態様に係る画像復号化方法は、上記の第１０〜第１４の態様のうちのいずれか一つに係る画像復号化方法であって、前記所定のマスク復元処理は、所定のマスク復元条件に基づいて、復元対象の第１ＲＯＩマスクから、前記第１ＲＯＩマスクよりも分解レベルが１段階低い第２ＲＯＩマスクを生成する処理であり、前記逆ウエーブレット変換にDaubechies９×７フィルタが利用される場合における前記所定のマスク復元条件は、ｎを整数として、前記逆ウエーブレット変換の前において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記原画像中の前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第３条件と、前記逆ウエーブレット変換の前において前記低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および前記高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第４条件とを含む。

本発明の第１７の態様に係る画像復号化方法は、上記の第１０〜第１６の態様のうちのいずれか一つに係る画像復号化方法であって、前記ビットストリームはＪＰＥＧ（Joint Photographic Experts Group）２０００に準拠している。

本発明の第１８の態様に係る画像復号化方法は、上記の第１０〜第１７の態様うちのいずれか一つに係る画像復号化方法であって、前記工程（ｆ）で前記所定のマスク復元処理を複数回行うことは、前記所定のマスク復元処理を再帰的に複数回行うことを含む。

上記の第１および第１０の態様によれば、原画像においてＲＯＩとして指定された領域を切り出すことができる。また、指定された分解レベルの値によって、原画像から切り出す領域の境界を調整することができる。また、Ｍａｘ−ｓｈｉｆｔ法を利用するので、ＲＯＩマスクのデータを別個に入手する必要がない。また、第１の態様を引用する第２〜第９の態様および第１０の態様を引用する第１１〜第１８の態様によっても同様の効果が得られる。

本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

画像符号化装置を説明するブロック図である。 ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル１）。 ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル２）。 ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル３）。 原画像の一例である。 図５の原画像をウエーブレット変換した画像である（分解レベル３）。 １次元ウエーブレット変換を実現する２分割フィルタバンク群を説明する図である。 Ｍａｘ−ｓｈｉｆｔ法に基づくビットシフトを説明する概念図である（ＲＯＩ係数のスケールアップ）。 ＲＯＩマスクを説明する図である（分解レベル０すなわち原画像レベル）。 ＲＯＩマスクを説明する図である（分解レベル１）。 ＲＯＩマスクを説明する図である（分解レベル２）。 ＲＯＩマスクを説明する図である（分解レベル３）。 ウエーブレット変換が５×３フィルタを用いて行われる場合について、ＲＯＩマスクの展開を説明する図である。 ウエーブレット変換がDaubechies９×７フィルタを用いて行われる場合について、ＲＯＩマスクの展開を説明する図である。 画像復号化装置を説明するブロック図である。 ＲＯＩ処理部を説明するフローチャートである。 Ｍａｘ−ｓｈｉｆｔ法に基づくビットシフトを説明する概念図である（ＲＯＩ係数のスケールダウン）。 １次元逆ウエーブレット変換を実現する２分割フィルタバンク群を例示する図である。 マスク処理部を説明するブロック図である。 逆ウエーブレット変換が５×３フィルタを用いて行われる場合について、ＲＯＩマスクの復元を説明する図である。 逆ウエーブレット変換がDaubechies９×７フィルタを用いて行われる場合について、ＲＯＩマスクの復元を説明する図である。 マスク復元部を説明するフローチャートである。 マスク実行部を説明するフローチャートである。 分解レベルの指定値＝４の場合の復号化画像である。 分解レベルの指定値＝３の場合の復号化画像である。 分解レベルの指定値＝２の場合の復号化画像である。 分解レベルの指定値＝１の場合の復号化画像である。 分解レベルの指定値＝０の場合の復号化画像である。 従来手法によって復号化した画像である。

実施の形態では、まず画像符号化装置を説明し、その後、画像復号化装置を説明する。なお、一般的に、画像データの圧縮には符号化が採用されており、このため「圧縮」と「符号化」とが同義で用いられる場合がある。かかる点に鑑み、画像符号化装置を例えば、画像圧縮装置、または、画像圧縮符号化装置と呼んでもよい。同様に、「伸張」と「復号化」とが同義で用いる場合に鑑みると、画像復号化装置を例えば、画像伸張装置、または、画像伸張復号化装置と呼んでもよい。

＜画像符号化装置１０＞
図１に、画像符号化装置のブロック図を例示する。図１に例示の画像符号化装置１０は、前処理部２０と、ウエーブレット変換部（以下、ＤＷＴ部とも呼ぶ）３０と、量子化部４０と、ＲＯＩ管理部５０と、符号化部６０と、ビットストリーム生成部７０とを含んでいる。

＜前処理部２０＞
前処理部２０は、圧縮対象の入力画像データに対して所定の前処理を行う。図１の例では、前処理部２０は、ＤＣレベルシフト部２１と、色空間変換部２２と、タイリング部２３とを含んでいる。

ＤＣレベルシフト部２１は、入力画像データのＤＣレベルを必要に応じて変換する。色空間変換部２２は、ＤＣレベル変換後の画像データの色空間を変換する。例えば、ＲＧＢ成分がＹＣｂＣｒ成分（輝度成分Ｙと色差成分Ｃｂ，Ｃｒとから成る）に変換される。タイリング部２３は、色空間変換後の画像データを、「タイル」と呼ばれる矩形状の複数の領域成分に分割する。そして、タイリング部２３は、タイルごとに画像データをＤＷＴ部３０に供給する。なお、必ずしも画像データをタイルに分割する必要はなく、色空間変換部２２から出力された１フレーム分の画像データを、そのままＤＷＴ部３０に供給してもよい。

＜ＤＷＴ部３０＞
ＤＷＴ部３０は、タイリング部２３から供給された画像データに対して、タイル単位で整数型または実数型の離散ウエーブレット変換（ＤＷＴ）を施し、その結果得られる変換係数を出力する。以下では、変換係数を例えば、ウエーブレット変換係数、または、ウエーブレット係数と呼ぶ場合もある。

ＤＷＴでは、２次元画像データが高域成分（換言すれば高周波成分）と低域成分（換言すれば低周波成分）とに分解される。かかる周波数分解は例えば帯域分割とも呼ばれる。また、周波数分解によって得られた各帯域成分（すなわち低域成分と高域成分のそれぞれ）はサブバンドとも称される。ＪＰＥＧ２０００の基本方式では、垂直方向と水平方向の両方について低域側に分割された帯域成分のみを再帰的に帯域分割していく、オクターブ分割方式が採用されている。再帰的な帯域分割を行った回数は、分解レベルと呼ばれる。

図２〜図４に、２次元でのＤＷＴについて、ｍａｌｌａｔ型のウエーブレット平面を示す。図２〜図４の例によれば、入力画像（２次元画像）は、分解レベル１において（図２参照）、垂直方向と水平方向のそれぞれについて周波数分解が行われる。これにより、図２に示すように、４つの帯域成分ＨＨ１，ＨＬ１，ＬＨ１，ＬＬ１に分解される。

分解レベル１で得られた帯域成分ＬＬ１は、分解レベル２において（図３参照）、更に４つの帯域成分ＨＨ２，ＨＬ２，ＬＨ２，ＬＬ２に分解される。分解レベル２で得られた帯域成分ＬＬ２は、分解レベル３において（図４参照）、更に４つの帯域成分ＨＨ３，ＨＬ３，ＬＨ３，ＬＬ３に分解される。なお、分解レベルの設定値は３に限定されるものではない。

２次元のＤＷＴに関する表記について、例えばＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。その表記法は「ＸＹｍ」と一般化される（ＸおよびＹはそれぞれＨ，Ｌのいずれか。ｍは１以上の整数）。すなわち、分解レベルｍにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分は「ＸＹｍ」と表記される。

ここで、ウエーブレット平面（図２〜図４参照）は、ＤＷＴの演算結果データを、原画像中の画素の並びに対応付けて２次元配列したデータ群である。例えばウエーブレット平面において帯域成分ＬＬ１として示されている領域内には、原画像中のある画素を注目画素として得られた演算結果データ（ＬＬ成分データ）が、原画像中での当該注目画素の位置に対応して並べられている。なお、ウエーブレット平面はウエーブレット空間、ウエーブレット領域、または、ウエーブレット画像と呼ばれる場合もある。

分解レベル１において、帯域成分ＬＬ１は画像の本質的な情報に対応する。なお、帯域成分ＬＬ１によれば、分解前の画像の１／４のサイズの画像を提供可能である。帯域成分ＨＬ１は垂直方向に伸びるエッジの情報に対応し、帯域成分ＬＨ１は水平方向に伸びるエッジの情報に対応する。帯域成分ＨＨ１は斜め方向に伸びるエッジの情報に対応する。これらの点は他の分解レベルについても同様である。例えば、分解レベル２の帯域成分ＬＬ２，ＨＬ２，ＬＨ２，ＨＨ２は、分解前の帯域成分ＬＬ１を原画像と見なした場合における帯域成分ＬＬ１，ＨＬ１，ＬＨ１，ＨＨ１とそれぞれ同様の関係にある。図５に原画像の例を示し、図５の原画像を分解レベル３までウエーブレット変換した画像を図６に示す。

帯域分割は、例えば２分割フィルタバンクを垂直方向と水平方向のそれぞれについて適用することによって、実現可能である。図７に、１次元ＤＷＴを実現する２分割フィルタバンク群の構成例を示す。図７の例では、２分割フィルタバンクは、低周波成分を通過させるローパスフィルタＨ_０（ｚ）と、高周波成分を通過させるハイパスフィルタＨ_１（ｚ）と、フィルタＨ_０（ｚ），Ｈ_１（ｚ）のそれぞれの後段に設けられたダウンサンプラとで構成されている。なお、ダウンサンプラは、入力される信号を１つおきに間引いて、信号長を半分にして出力する。１次元ＤＷＴは、この２分割フィルタバンクを繰り返し用いることによって、実現される。

＜量子化部４０＞
図１に戻り、量子化部４０は、ＤＷＴ部３０から供給されたウエーブレット係数に対して、量子化ステップサイズに基づいて、スカラー量子化を行う。量子化ステップサイズは、例えば目標画質に応じて設定される。また、量子化部４０は、ＲＯＩ管理部５０から供給されたＲＯＩ設定情報に基づいて、ＲＯＩの画質を優先させるためのビットシフトを行う。

ＲＯＩの代表的な利用方法には、ＪＰＥＧ２０００のオプション機能としてのＭａｘ−ｓｈｉｆｔ法がある。Ｍａｘ−ｓｈｉｆｔ法では、ＲＯＩを任意の形で指定することができる。また、ＲＯＩを高画質に圧縮する一方で、非ＲＯＩを低画質に圧縮する。

具体的には、まず、非ＲＯＩに対応するウエーブレット係数のうちで最大値ｍａｘ（Ｍｂ）を求める。次に、ｓ≧ｍａｘ（Ｍｂ）を満たすｓ（スケーリング値と呼ばれる）を求める。そして、ＲＯＩに対応するウエーブレット係数のみを、最上位ビット（ＭＳＢ）側にｓビットだけシフトさせる（図８参照）。これにより、ＲＯＩに対応するウエーブレット係数の値が、２^ｓだけ相対的にスケールアップされる。なお、ＲＯＩに対応するウエーブレット係数をＲＯＩ係数と呼び、非ＲＯＩに対応するウエーブレット係数を非ＲＯＩ係数と呼ぶ場合がある。

例えば、ｍａｘ（Ｍｂ）が十進数で“２５５”（すなわち二進数で“１１１１１１１１”）である場合、ｓ＝８ビットである。また、ｍａｘ（Ｍｂ）が十進数で“１２８”（すなわち二進数で“１０００００００”）である場合も、同様にｓ＝８ビットである。これらの例では、ＲＯＩ係数を、ＭＳＢ側に８ビットだけシフトさせることになる。

これにより、ＲＯＩの圧縮率を非ＲＯＩに比べて低く設定でき、ＲＯＩについて高画質の圧縮データを得ることが可能となる。

＜ＲＯＩ管理部５０＞
ＲＯＩ管理部５０は、上記のように、量子化部４０にＲＯＩ設定情報を供給する。ＲＯＩ設定情報は、いわゆるＲＯＩマスクによって提供される。なお、ＲＯＩマスクを単にマスクと呼ぶ場合もある。

量子化部４０でのスケールアップに利用されるＲＯＩマスクは、ウエーブレット平面に対応したビットマップである。当該ビットマップのビットはウエーブレット平面のウエーブレット係数に対応して設けられており、各ビットの状態が、対応するウエーブレット係数がＲＯＩと非ＲＯＩのどちらに対応するのかを示す。

ウエーブレット平面に対応したＲＯＩマスクは、例えば、原画像に対応したＲＯＩマスクをウエーブレット平面に展開することによって、生成可能である。なお、原画像に対応したＲＯＩマスクの各ビットは、原画像の画素に対応する。以下では、原画像に対応するＲＯＩマスクを例えば、原画像レベル（換言すれば、分解レベル０）のＲＯＩマスク、原ＲＯＩマスク、または、原マスクと呼ぶ場合もある。また、ウエーブレット平面に展開されたＲＯＩマスクを例えば、展開ＲＯＩマスク、または、展開マスクと呼ぶ場合もある。

原画像レベルのＲＯＩマスクは、例えば、ディスプレイ上に表示した原画像に対してマウス等のポインティング入力デバイスでＲＯＩ（または非ＲＯＩ）を指定することによって、作成可能である。あるいは、原画像データを解析して、原画像中で特定の色（例えば花の色）を含む領域をＲＯＩとして抽出してもよい。その他の技術を用いて、原マスクを生成してもよい。

図９に、図５の原画像において花の領域をＲＯＩに指定した場合の原マスク１００を示す。原マスク１００において、白抜き部分が、原画像上のＲＯＩに対応するＲＯＩ対応部分１０１であり、黒塗り部分が、原画像上の非ＲＯＩに対応する非ＲＯＩ対応部分１０２である。また、図９の原マスク１００を分解レベル１，２，３のウエーブレット平面（図２〜図４参照）に展開した展開マスク１１０，１２０，１３０を図１０〜図１２にそれぞれ示す。展開マスク１１０，１２０，１３０においても、ＲＯＩ対応部分１１１，１２１，１３１が白抜きで図示され、非ＲＯＩ対応部分１１２，１２２，１３２が黒塗りで図示されている。

原画像レベルのＲＯＩマスク１００をウエーブレット平面に展開する手法は、ＤＷＴのフィルタのタップ数に依存する。

例えばＤＷＴの演算処理において５×３フィルタが用いられる場合、図１３に示すようにして原マスクを展開可能である。なお、５×３フィルタでは、分解側のローパスフィルタが５タップであり、分解側のハイパスフィルタが３タップである。

図１３に示すように、原画像の偶数番目（ｎを整数として、２ｎ番目と表記できる）の画素（換言すれば画素データ）がＲＯＩに属する場合、低域成分の側において（図７の例を参照すると、ローパスフィルタの側のダウンサンプラから出力されるデータのうちで）ｎ番目のデータを、分解レベル１の展開マスク１１０においてＲＯＩ対応部分１１１に設定する。それと共に、高域成分の側において（図７の例を参照すると、ハイパスフィルタの側のダウンサンプラから出力されるデータのうちで）｛ｎ−１｝番目およびｎ番目のデータを、分解レベル１の展開マスク１１０においてＲＯＩ対応部分１１１に設定する。

他方、原画像の奇数番目（｛２ｎ＋１｝番目と表記できる）の画素がＲＯＩに属する場合、低域成分の側のｎ番目および｛ｎ＋１｝番目のデータと、高域成分の側の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータとを、分解レベル１の展開マスク１０１においてＲＯＩ対応部分１１１に設定する。

なお、図１３は原画像と分解レベル１のウエーブレット平面との対応関係を例示しているが、更に深い階層への再帰的な展開も同様に理解される。

また、例えば、ＤＷＴの演算処理においてDaubechies９×７フィルタが用いられる場合、図１４に示すようにして原マスクを展開可能である。なお、Daubechies９×７フィルタでは、分解側のローパスフィルタが９タップであり、分解側のハイパスフィルタが７タップである。

図１４に示すように、原画像の偶数番目（２ｎ番目と表記できる）の画素がＲＯＩに属する場合、低域成分の側の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータと、高域成分の側の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータとを、分解レベル１の展開マスク１１０においてＲＯＩ対応部分１１１に設定する。

他方、原画像の奇数番目（｛２ｎ＋１｝番目と表記できる）の画素がＲＯＩに属する場合、低域成分の側の｛ｎ−１｝番目から｛ｎ＋２｝番目のデータと、高域成分の側の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータとを、分解レベル１の展開マスク１１０においてＲＯＩ対応部分１１１に設定する。

なお、図１４は原画像と分解レベル１のウエーブレット平面との対応関係を例示しているが、更に深い階層への再帰的な展開も同様に理解される。

例えば、ＲＯＩ管理部５０は、予め与えられた原マスク１００から、分解レベルの設定値に応じた展開マスクを生成する。あるいは、各分解レベルの展開マスクがＲＯＩ管理部５０に予め与えられてもよい。展開マスクは、量子化部４０が各ウエーブレット係数をＲＯＩ係数であるか否かを判別するために利用される。なお、かかる判別は、量子化部４０が行ってもよいし、ＲＯＩ管理部５０が行ってもよい。

＜符号化部６０＞
図１に戻り、符号化部６０は、量子化部４０によって生成された量子化ウエーブレット係数（ここではＭａｘ−ｓｈｉｆｔ法によってスケーリングされている）に対して、所定の符号化を行う。所定の符号化では、例えば、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）に従ってエントロピー符号化が行われる。図１の例では、符号化部６０は、係数ビットモデリング部６１と、エントロピー符号化部６２とを含んでいる。

係数ビットモデリング部６１は、量子化されたウエーブレット係数に対して、ビットモデリング処理を行う。ここでは、ビットモデリング処理は既知技術を利用するものとし、詳細な説明は省略する。

なお、係数ビットモデリング部６１は、入力された帯域成分を３２×３２または６４×６４程度の「コードブロック」と呼ばれる領域に分割する。そして、係数ビットモデリング部６１は、コードブロック中の各量子化ウエーブレット係数の二進値を構成する各ビット値を別々のビットプレーンに割り当てる。ビットモデリング処理は、そのようなビットプレーン単位で行われる。

エントロピー符号化部６２は、係数ビットモデリング部６１で生成されたデータに対してエントロピー符号化を行って、符号化画像データを生成する。エントロピー符号化として、例えば既知の算術符号化が利用される。

なお、符号化部６０では、エントロピー符号化部６２によって生成された符号化画像データに対してレート制御を行って、符号量を制御してもよい。

＜ビットストリーム生成部７０＞
ビットストリーム生成部７０は、符号化部６０から出力される符号化画像データを付加情報と多重化してＪＰＥＧ２０００に準拠したビットストリームを生成し、そのビットストリームを圧縮画像データとして出力する。なお、付加情報として例えば、ヘッダ情報，レイヤー構成、スケーラビリティ情報、量子化テーブル、Ｍａｘ−ｓｈｉｆｔ法で適用したスケーリング量が挙げられる。

＜画像復号化装置２００＞
図１５に、画像復号化装置のブロック図を例示する。図１５に例示の画像復号化装置２００は、ビットストリーム解析部２１０と、復号化部２２０と、ＲＯＩ処理部２３０と、逆量子化部２４０と、逆ウエーブレット変換部（以下、ＩＤＷＴ部とも呼ぶ）２５０と、マスク処理部２６０と、後処理部２７０とを含んでいる。

＜ビットストリーム解析部２１０＞
ビットストリーム解析部２１０は、ＪＰＥＧ２０００に準拠したビットストリーム３００を解析して、当該ビットストリーム３００から符号化画像データ３０２と付加情報とを抽出する。符号化データ３０２は復号化部２２０に供給される。各種の付加情報はそれぞれ所定の処理部に供給される。特に、Ｍａｘ−ｓｈｉｆｔ法のスケーリング量に関する付加情報３０４は、ＲＯＩ処理部２３０に供給される。なお、以下では、付加情報３０４をスケーリング量３０４と呼ぶ場合もある。

＜復号化部２２０＞
復号化部２２０は、符号化画像データ３０２に対して、所定の復号化を行う。所定の復号化は、符号量制御を除いて、基本的には、図１の符号化部６０における符号化とは逆の処理にあたる。所定の復号化によって、符号化画像データから、量子化ウエーブレット係数で構成された量子化画像データ３０８が生成される。図１５の例では、復号化部２２０は、エントロピー復号化部２２１と、係数ビットモデリング部２２２とを含んでいる。

エントロピー復号化部２２１は、符号化画像データ３０２に対してエントロピー復号化を行って、ビットデータ３０６を生成する。エントロピー復号化は、図１のエントロピー符号化部６２におけるエントロピー符号化とは逆の処理にあたる。

係数ビットモデリング部２２２は、エントロピー復号化部２２１によって生成されたビットデータ３０６に対してビットモデリング処理を行って、量子化ウエーブレット係数を復元する。それにより、量子化画像データ３０８が生成される。ここでのビットモデリング処理は、図１の係数ビットモデリング部６１におけるそれとは逆の処理にあたる。係数ビットモデリング部２２２によって生成された量子化画像データ３０８は、ＲＯＩ処理部２３０および逆量子化部２４０に供給される。

＜ＲＯＩ処理部２３０＞
図１６に、ＲＯＩ処理部２３０で行われる処理Ｓ１０について、フローチャートを示す。図１６の例によれば、工程Ｓ１１において、ＲＯＩ処理部２３０は、量子化画像データ３０８に含まれる複数の量子化ウエーブレット係数のそれぞれが、原画像中のＲＯＩと非ＲＯＩのどちらに対応付けられているのかを、スケーリング量３０４に基づいて判別する。

例えばスケーリング量３０４が２^ｓである場合（ｓはスケーリング値）、各量子化ウエーブレット係数が２^ｓと比較される。２^ｓよりも大きい量子化ウエーブレット係数は、スケールアップされた係数（換言すればＲＯＩ係数）であると判別される。他方、２^ｓ以下の量子化ウエーブレット係数は、スケールアップされていない係数（換言すれば非ＲＯＩ係数）であると判別される。

そして、工程Ｓ１２において、ＲＯＩ処理部２３０は、スケールアップされていると判別した量子化ウエーブレット係数を、ｓビットだけ最下位ビット（ＬＳＢ）側にビットシフトする。すなわち、対象となる量子化ウエーブレット係数に対して、スケーリング量３０４に基づくスケールダウン処理が行われる。スケールダウンの概念図を図１７に示す。

工程Ｓ１２後の量子化画像データ３１０は、逆量子化部２４０に供給される。

なお、ビットストリーム解析部２１０から取得するスケーリング量３０４（換言すれば、画像符号化装置１０から送られるスケーリング量）は、スケーリング値ｓであってもよいし、あるいは、上記値（すなわち２^ｓ）であってもよい。

また、工程Ｓ１３において、ＲＯＩ処理部２３０は、工程Ｓ１１の判別結果に基づいて、量子化画像データの分解レベルに対応したＲＯＩマスク（すなわち展開マスク）３１２を生成する。具体的には、上記のように、工程Ｓ１１では、量子化ウエーブレット係数のそれぞれがＲＯＩ係数と非ＲＯＩ係数のどちらに対応付けられているのかが判別される。このため、その判別結果をマッピングすることによって、展開マスク３１２を生成することができる。

なお、工程Ｓ１３で生成された展開マスクは、画像符号化装置１０の量子化部４０が、スケールアップさせる量子化ウエーブレット係数を選別するために利用した展開マスクに対応する。

工程Ｓ１３によって生成されたＲＯＩマスク３１２は、マスク処理部２６０に供給される。

ここで、入力ビットストリーム３００がスケーリング量３０４を含まない場合、例えば、ＲＯＩ処理部２３０は処理Ｓ１０を実行しない。その場合であっても、図１５の例によれば逆量子化部２４０には、復号化部２２０から量子化ウエーブレット係数が供給される。

あるいは、入力ビットストリーム３００がスケーリング量３０４を含まない場合であっても、ＲＯＩ処理部２３０は、スケーリング量を０に設定して、処理Ｓ１０を実行してもよい。その場合、図１５の例とは異なり、復号化部２２０から逆量子化部２４０への量子化ウエーブレット係数の供給を省略することができる。また、入力ビットストリーム３００がスケーリング量３０４を含まない場合、入力画像はＲＯＩを含まないので、マスク生成工程Ｓ１３を実行しないようにしてもよい。

また、ビットシフト工程Ｓ１２は逆量子化部２４０によって実行されてもよい。その場合であっても、マスク生成工程Ｓ１３はＲＯＩ処理部２３０によって実行される。なお、係数判別工程Ｓ１１は、逆量子化部２４０とＲＯＩ処理部２３０のうちの少なくとも一方によって実行されればよい。

＜逆量子化部２４０＞
図１５に戻り、逆量子化部２４０は、復号化部２２０またはＲＯＩ処理部２３０から供給された量子化画像データ３０８または３１０に対して、スカラー逆量子化を行う。ここでの逆量子化は、図１の量子化部４０における量子化とは逆の処理にあたる。逆量子化によって量子化ウエーブレット係数はウエーブレット係数に変換され、その結果、複数のウエーブレット係数で構成された第１画像データ３１４が生成される。第１画像データ３１４はＩＤＷＴ部２５０に供給される。

＜ＩＤＷＴ部２５０＞
ＩＤＷＴ部２５０は、整数型または実数型の逆離散ウエーブレット変換（ＩＤＷＴ）を行う。ＩＤＷＴは、図１のＤＷＴ部３０におけるＤＷＴとは逆の処理にあたり、帯域成分が再帰的に合成される。なお、ＤＷＴがタイル単位で行われた場合、ＩＤＷＴも同じタイル単位で行われる。

ＩＤＷＴによる帯域合成は、１次元ＩＤＷＴを実現する２分割フィルタバンク群によって実現可能である。図１８に例示した２分割フィルタバンクは、低域成分を通過させるローパスフィルタＧ_０（ｚ）と、高域成分を通過させるハイパスフィルタＧ_１（ｚ）と、フィルタＧ_０（ｚ），Ｇ_１（ｚ）のそれぞれの前段に設けられたアップサンプラと、フィルタＧ_０（ｚ），Ｇ_１（ｚ）の出力を加算する加算器とで構成されている。なお、アップサンプラは、入力される信号間にゼロ値を１つ挿入して、信号長を２倍にして出力する。１次元ＩＤＷＴは、この２分割フィルタバンクを繰り返し用いることによって、実現される。

ＩＤＷＴにおける合成回数は、合成レベルと呼ばれる。なお、合成レベルは図１８の例に限定されるものではない。なお、ＩＤＷＴ前の状態（図１８の例では分解レベル３の状態）の合成レベルを０と表現することにする。

ここで、ＩＤＷＴ部２５０は、逆量子化部２４０から第１画像データ３１４を取得し、当該第１画像データ３１４に対して１回または複数回のＩＤＷＴを行うことによって、指定された分解レベルの第２画像データ３２０を生成する。なお、第２画像データ３２０の分解レベルの指定値３１６は、ＩＤＷＴ部２５０とマスク処理部２６０に与えられる。後述するように、第２画像データ３２０は、マスク処理部２６０によって、マスク済み画像データ３２２に変換される。ＩＤＷＴ部２５０は、マスク済み画像データ３２２に対して分解レベル０までＩＤＷＴを行うことによって、分解レベル０の画像データ３２４、すなわち復号化画像データ３２４を生成する。復号化画像データ３２４は後処理部２７０に供給される。

＜マスク処理部２６０＞
図１９にマスク処理部２６０のブロック図を示す。図１９の例によれば、マスク処理部２６０は、マスク復元部２６１と、マスク実行部２６２とを含んでいる。

マスク復元部２６１は、ＲＯＩ処理部２３０からＲＯＩマスク３１２を取得すると共に、第２画像データ３２０の分解レベルの上記指定値３１６を取得する。そして、マスク復元部２６１は、ＲＯＩマスク３１２に対して所定のマスク復元処理を１回または複数回行ことによって、第２画像データ３２０と同じ分解レベルのＲＯＩマスク３１８を生成する。以下では、ＲＯＩマスク３１８を例えば、復元ＲＯＩマスク３１８、または、復元マスク３１８と呼ぶ場合もある。

上記指定値３１６は、ＩＤＷＴ部２５０からマスク処理部２６０に引き渡す第２画像データ３２０の分解レベルを指定する値であると共に、ＲＯＩ処理部２３０で生成されたＲＯＩマスク３１２をどの分解レベルまで復元するかを指定する値でもある。指定値３１６は例えば画像復号化装置２００に予め与えられているものとする。指定値３１６は、固定されていてもよいし、あるいはユーザ等によって変更可能であってもよい。

例えば、入力ビットストリーム３００で伝送される画像データが分解レベル３までウエーブレット変換されている場合（図４および図６参照）、ＲＯＩ処理部２３０で生成されたＲＯＩマスク３１２は分解レベル３に対応する（図１２参照）。この例において、指定値３１６が分解レベル２に設定されている場合、マスク復元部２６１は図１１のＲＯＩマスク１２０を復元する。同様に、指定値３１６が分解レベル１に設定されている場合、マスク復元部２６１は図１０のＲＯＩマスク１１０を復元する。また、指定値３１６が分解レベル０に設定されている場合、マスク復元部２６１は図９のＲＯＩマスク１００を復元する。

上記の所定のマスク復元処理は、所定のマスク復元条件に基づいて、復元対象のＲＯＩマスク（第１ＲＯＩマスクとも呼ぶ）から、第１ＲＯＩマスクよりも分解レベルが１段階低いＲＯＩマスク（第２ＲＯＩマスクとも呼ぶ）マスクを生成する処理である。

上記の所定のマスク復元条件は、ＩＤＷＴのフィルタのタップ数、換言すれば画像符号化装置１０におけるＤＷＴのフィルタのタップ数に依存する。

例えばＩＤＷＴの演算処理において５×３フィルタが用いられる場合、上記の所定のマスク復元条件は次の第１条件および第２条件を含む（図２０参照）。なお、５×３フィルタでは、分解側のローパスフィルタが５タップであり、分解側のハイパスフィルタが３タップである。

第１条件は、ＩＤＷＴ前において低域成分のｎ番目ならびに高域成分の｛ｎ−１｝番目およびｎ番目のデータのうちの少なくとも１つが、第１ＲＯＩマスクによって原画像中のＲＯＩに対応付けられている場合、ＩＤＷＴ後において２ｎ番目のデータがＲＯＩに対応付けられるように第２ＲＯＩマスクを形成することを規定している。なお、ｎは整数とする。

また、第２条件は、ＩＤＷＴ前において低域成分のｎ番目および｛ｎ＋１｝番目ならびに高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータのうちの少なくとも１つが、第１ＲＯＩマスクによってＲＯＩに対応付けられている場合、ＩＤＷＴ後において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように第２ＲＯＩマスクを形成することを規定している。

また、例えばＩＤＷＴの演算処理においてDaubechies９×７フィルタが用いられる場合、上記の所定のマスク復元条件は次の第３条件および第４条件を含む（図２１参照）。なお、Daubechies９×７フィルタでは、分解側のローパスフィルタが９タップであり、分解側のハイパスフィルタが７タップである。

第３条件は、ＩＤＷＴ前において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータのうちの少なくとも１つが、第１ＲＯＩマスクによって原画像中のＲＯＩに対応付けられている場合、ＩＤＷＴ後において２ｎ番目のデータがＲＯＩに対応付けられるように第２ＲＯＩマスクを形成することを規定している。

また、第４条件は、ＩＤＷＴ前において低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータのうちの少なくとも１つが、第１ＲＯＩマスクによってＲＯＩに対応付けられているとき、ＩＤＷＴ後において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように第２ＲＯＩマスクを形成することを規定している。

上記の所定のマスク復元処理を分解レベルの指定値３１６に応じて、１回または複数回行うことによって、指定値３１６で指定された分解レベルの復元ＲＯＩマスク３１８を生成可能である。また、所定のマスク復元処理を複数回行う場合、当該所定のマスク復元処理は再帰的に複数回行うことが可能である。

図２２に、マスク復元部２６１で行われる処理Ｓ２０について、フローチャートを示す。図２２の例によれば、工程Ｓ２１において、ＲＯＩマスクの現在の分解レベル（換言すれば上記第１ＲＯＩマスクの分解レベル）が指定値３１６で指定された分解レベルと比較される。

ＲＯＩマスクの現在の分解レベルが指定値３１６よりも大きい場合、工程Ｓ２２において現在のＲＯＩマスクが１段階、復元される。すなわち、分解レベルが１段階低いＲＯＩマスク（換言すれば上記第２ＲＯＩマスク）が生成される。そして、工程Ｓ２１が再び実行される。

これに対し、ＲＯＩマスクの現在の分解レベルが指定値３１６よりも大きくない場合、より具体的には指定値３１６で指定された分解レベルのＲＯＩマスクが生成された場合、処理Ｓ２０が終了し、マスク実行部２６２において処理Ｓ３０（図２３参照）が実行される。

＜マスク実行部２６２＞
図１９に戻り、マスク実行部２６２は、マスク復元部２６１から、指定値３１６で指定された分解レベルの復元ＲＯＩマスク３１８を取得する。また、マスク実行部２６２は、ＩＤＷＴ部２５０から、指定値３１６で指定された分解レベルの第２画像データ３２０を取得する。そして、マスク実行部２６２は、第２画像データ３２０に復元ＲＯＩマスク３１８を適用することによって、マスク済み画像データ３２２を生成する。

図２３に、マスク実行部２６２で行われる処理Ｓ３０について、フローチャートを示す。図２３の例によれば、工程Ｓ３１において、ＩＤＷＴ部２５０から取得した第２画像データ３２０中のウエーブレット係数が復元ＲＯＩマスク３１８中のＲＯＩ対応部分に設定されているか否かを判別する。

ＲＯＩ対応部分に設定されていない（換言すれば非ＲＯＩ係数である）と判別されたウエーブレット係数は、工程Ｓ３２においてデータ置換を行なう。これに対し、ＲＯＩ対応部分に設定されている（換言すればＲＯＩ係数である）と判別されたウエーブレット係数に対しては、データ置換を行わない。

マスク実行部２６２は処理Ｓ３０を、第２画像データ３２０中の全てのウエーブレット係数に対して行う。それにより、第２画像データ３２０からマスク済み画像データ３２２が生成される。

マスク済み画像データ３２２は、ＩＤＷＴ部２５０に引き渡される。上記のように、ＩＤＷＴ部２５０は、マスク済み画像データ３２２に対して分解レベル０までＩＤＷＴを行うことによって、分解レベル０の画像データ３２４、すなわち復号化画像データ３２４を生成する。

＜後処理部２７０＞
図１５に戻り、後処理部２７０は、ＩＤＷＴ部２５０から出力された復号化画像データ３２４に対して、所定の後処理を行う。所定の後処理は、ここでは、図１の画像符号化装置１０における所定の前処理とは逆の処理にあたる。図１５の例では、後処理部２７０は、タイリング部２７１と、色空間変換部２７２と、ＤＣレベルシフト部２７３とを含んでいる。

タイリング部２７１は、図１の画像符号化装置１０のタイリング部２３とは逆の処理を行う。具体的には、タイリング部２７１は、ＩＤＷＴ部２５０から出力されるタイル単位の復号化画像データ３２４を合成して、１フレーム分の画像データ３２６を生成する。なお、復号化画像データ３２４がタイル単位で供給されない場合、換言すればＤＷＴがタイル単位で行われていなかった場合、タイリング部２７１による処理は省略される。あるいは、タイリング部２７１自体を省略してもよい。

色空間変換部２７２は、図１の画像符号化装置１０の色空間変換部２２とは逆の処理を行う。例えば、タイリング部２７１から出力された画像データ３２６をＲＧＢ成分に変換する。ＤＣレベルシフト部２７３は、色空間変換部２７２から出力された画像データ３２８のＤＣレベルを必要に応じて変換する。図１５の例では、ＤＣレベルシフト部２７３から出力される画像データ３３０が、画像復号化装置２００の出力画像データとなる。

＜効果等＞
ここで、上記では、ＩＤＷＴ部２５０が、第１画像データ３１４に対して１回または複数回のＩＤＷＴを行うことによって、指定された分解レベルの第２画像データ３２０を生成する例を説明した。すなわち、この例では、第２画像データ３２０の分解レベル（指定値３１６で指定される）は、第１画像データ３１４の分解レベルよりも低い。

しかしながら、指定値３１６として、第１画像データ３１４の分解レベルと同じ値を指定することも可能である。すなわち、この例では、ＩＤＷＴ部２５０は、逆量子化部２４０から取得した第１画像データ３１４に対してＩＤＷＴを行わずに、第１画像データ３１４を第２画像データ３２０の代わりにマスク実行部２６２に供給する。

また、この例では、マスク復元部２６１は、ＲＯＩ処理部２３０から取得したＲＯＩマスク３１２に対して所定のマスク復元処理を行わずに、復元ＲＯＩマスク３１８の代わりにＲＯＩマスク３１２をマスク実行部２６２に供給する。

その結果、マスク実行部２６２は、ＲＯＩマスク３１２を第１画像データ３１４に適用することによって、マスク済み画像データ３２２を生成する。

また、指定値３１６として、分解レベル０を指定することも可能である。この例では、マスク実行部２６２に供給される第２画像データ３２０の分解レベルは０である。このため、第２画像データ３２０は、ウエーブレット係数ではなく、例えばＹＣｂＣｒ成分の画素値で構成されている。また、マスク済み画像データ３２２も分解レベル０であるので、ＩＤＷＴを行う必要はなく、マスク済み画像データ３２２が復号化画像データ３２４として扱われる。この場合、マスク実行部２６２は、マスク済み画像データ３２２をＩＤＷＴ部２５０に引き渡してもよいし、あるいは、後処理部２７０に引き渡してもよい。

図２４〜図２８に復号化画像を示す。図２４は分解レベルの指定値３１６＝４の場合を示し、図２５〜図２８は指定値３１６＝３，２，１，０の場合をそれぞれ示す。図２４〜図２８の例ではビットストリーム３００に含まれる符号化画像データ３０２が分解レベル５まで帯域分割されている。なお、図２９に参考として、符号化画像データ３０２を従来の手法で復号化した画像を示す。

図２４〜図２８を図２９と比較すれば分かるように、画像復号化装置２００によれば、図５の原画像においてＲＯＩとして指定された領域を切り出すことができる。また、図２４〜図２８を比較すれば分かるように、分解レベルの指定値３１６が小さいほど、原画像から切り出す領域がＲＯＩに近づく。換言すれば、指定値３１６の設定によって、原画像から切り出す領域の境界を調整することができる。

ここで、原画像に対するＲＯＩマスクを高精度に作成することが簡単でない場合がある。また、原画像のＲＯＩよりも広めに領域を切り出したい場合もある。それらの場合でも、画像復号化装置２００によれば、切り出す領域を調整することができる。

また、図２４〜図２８は、工程Ｓ３２（図２３参照）において非ＲＯＩ係数を０に置換した例に対応する。この場合、原画像から切り出されない領域を黒の背景にすることができる。但し、０以外の所定値に置換してもよい。

さらに、全ての非ＲＯＩ係数を異なる値に置換してもよい。例えば、非ＲＯＩ係数を、別の原画像から生成された別のウエーブレット係数に置換すれば、画像を合成することができる。例えば、別の原画像上に花の領域を重ねた合成画像を得られる。

また、画像復号化装置２００によれば、ＲＯＩマスクをＭａｘ−ｓｈｉｆｔ法が適用された入力画像データから生成するので、ＲＯＩマスクのデータを別個に入手する必要がない。

上記の所定のマスク復元条件について、第１条件および第２条件（図２０参照）によれば、マスク済み画像データ３２２に対して分解レベル０までＩＤＷＴを行っても（すなわち、マスク済み画像データ３２２から復号化画像データ３２４を生成しても）、復号化画像データ中のＲＯＩに影響を及ぼすことがない。かかる点は第３条件および第４条件によっても同様である。

上記では入力ビットストリーム３００がＪＰＥＧ２０００に準拠している例を説明した。但し、入力ビットストリーム３００はＪＰＥＧ２０００に準拠していなくてもよい。すなわち、ウエーブレット変換を用いて符号化され且つ符号化画像データとＭａｘ−ｓｈｉｆｔ法のスケーリング量に関する付加情報とを含むビットストリームに対して、画像復号化装置２００は上記の処理および効果を提供する。

なお、画像復号化装置２００の各種処理部はハードウェアで構成されるものとするが、各種処理部の一部または全部を、マイクロプロセッサを機能させるプログラムで構成してもよい。

本発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

１００，１１０，１２０，１３０ ＲＯＩマスク
１０１，１１１，１２１，１３１ ＲＯＩ対応部分
１０２，１１２，１２２，１３２ 非ＲＯＩ対応部分
２００ 画像復号化装置
２１０ ビットストリーム解析部
２２０ 復号化部
２３０ ＲＯＩ処理部
２４０ 逆量子化部
２５０ 逆ウエーブレット変換部
２６０ マスク処理部
２６１ マスク復元部
２６２ マスク実行部
３００ ビットストリーム
３０２ 符号化画像データ
３０４ スケーリング量
３０８ 量子化画像データ
３１０ スケールダウンされた量子化画像データ
３１２ ＲＯＩマスク
３１４ 第１画像データ
３１６ 分解レベルの指定値
３１８ 復元ＲＯＩマスク
３２０ 第２画像データ
３２２ マスク済み画像データ
３２４ 復号化画像データ

Claims (18)

1. ウエーブレット変換を用いて符号化したビットストリームから、符号化画像データと、Ｍａｘ−ｓｈｉｆｔ法のスケーリング量に関する付加情報とを抽出する、ビットストリーム解析部と、
   前記符号化画像データを復号化することによって、複数の量子化ウエーブレット係数で構成された量子化画像データを生成する、復号化部と、
   前記複数の量子化ウエーブレット係数のそれぞれが、原画像中のＲＯＩ（関心領域）と非ＲＯＩのどちらに対応付けられているのかを、前記スケーリング量に基づいて判別し、その判別結果から前記量子化画像データの分解レベルに対応したＲＯＩマスクを生成する、ＲＯＩ処理部と、
   前記スケーリング量に基づくスケールダウン処理後の前記量子化画像データに対して逆量子化を行うことによって、複数のウエーブレット係数で構成された第１画像データを生成する、逆量子化部と、
   前記第１画像データを取得し、前記第１画像データに対して逆ウエーブレット変換を行うことによって、指定された分解レベルの第２画像データを生成する、逆ウエーブレット変換部と、
   前記ＲＯＩマスクを取得し、前記ＲＯＩマスクに対して所定のマスク復元処理を１回または複数回行うことによって、前記第２画像データと同じ分解レベルの復元ＲＯＩマスクを生成する、マスク復元部と、
   前記復元ＲＯＩマスクを前記第２画像データに適用することによって、マスク済み画像データを生成する、マスク実行部と
   を備え、
   前記逆ウエーブレット変換部は、前記マスク済み画像データに対して分解レベル０まで前記逆ウエーブレット変換を行うことによって、復号化画像データを生成する、
   画像復号化装置。
2. 請求項１に記載の画像復号化装置であって、
   前記指定された分解レベルが、前記第１画像データの分解レベルと同じである場合、
   前記逆ウエーブレット変換部は、前記第２画像データの代わりに前記第１画像データを前記マスク実行部に供給し、
   前記マスク復元部は、前記復元ＲＯＩマスクの代わりに前記ＲＯＩマスクを前記マスク実行部に供給し、
   前記マスク実行部は、前記ＲＯＩマスクを前記第１画像データに適用することによって、前記マスク済み画像データを生成する、
   画像復号化装置。
3. 請求項１または２に記載の画像復号化装置であって、
   前記指定された分解レベルが分解レベル０である場合、前記マスク済み画像データは、前記逆ウエーブレット変換が行われることなく、前記復号化画像データとして扱われる、
   画像復号化装置。
4. 請求項１〜３のうちのいずれか一項に記載の画像復号化装置であって、
   前記ＲＯＩマスクおよび前記復元ＲＯＩマスクは、前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を含み、
   前記マスク実行部は、マスク対象の画像データにおいて前記非ＲＯＩ対応部分に設定されているデータを０に置換する、
   画像復号化装置。
5. 請求項１〜３のうちのいずれか一項に記載の画像復号化装置であって、
   前記ＲＯＩマスクおよび前記復元ＲＯＩマスクは、前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を含み、
   前記マスク実行部は、マスク対象の画像データにおいて前記非ＲＯＩ対応部分に設定されているデータを、別の原画像に関する別のデータに置換する、
   画像復号化装置。
6. 請求項１〜５のうちのいずれか一項に記載の画像復号化装置であって、
   前記所定のマスク復元処理は、所定のマスク復元条件に基づいて、復元対象の第１ＲＯＩマスクから、前記第１ＲＯＩマスクよりも分解レベルが１段階低い第２ＲＯＩマスクを生成する処理であり、
   前記逆ウエーブレット変換に５×３フィルタが利用される場合における前記所定のマスク復元条件は、ｎを整数として、
   前記逆ウエーブレット変換の前において低域成分のｎ番目ならびに高域成分の｛ｎ−１｝番目およびｎ番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記原画像中の前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第１条件と、
   前記逆ウエーブレット変換の前において前記低域成分のｎ番目および｛ｎ＋１｝番目ならびに前記高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第２条件と
   を含む、画像復号化装置。
7. 請求項１〜５のうちのいずれか一項に記載の画像復号化装置であって、
   前記所定のマスク復元処理は、所定のマスク復元条件に基づいて、復元対象の第１ＲＯＩマスクから、前記第１ＲＯＩマスクよりも分解レベルが１段階低い第２ＲＯＩマスクを生成する処理であり、
   前記逆ウエーブレット変換にDaubechies９×７フィルタが利用される場合における前記所定のマスク復元条件は、ｎを整数として、
   前記逆ウエーブレット変換の前において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記原画像中の前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第３条件と、
   前記逆ウエーブレット変換の前において前記低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および前記高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第４条件と
   を含む、画像復号化装置。
8. 請求項１〜７のうちのいずれか一項に記載の画像復号化装置であって、
   前記ビットストリームはＪＰＥＧ（Joint Photographic Experts Group）２０００に準拠している、画像復号化装置。
9. 請求項１〜８のうちのいずれか一項に記載の画像復号化装置であって、
   前記所定のマスク復元処理を複数回行うことは、前記所定のマスク復元処理を再帰的に複数回行うことを含む、
   画像復号化装置。
10. （ａ）ウエーブレット変換を用いて符号化したビットストリームから、符号化画像データと、Ｍａｘ−ｓｈｉｆｔ法のスケーリング量に関する付加情報とを抽出する工程と、
    （ｂ）前記符号化画像データを復号化することによって、複数の量子化ウエーブレット係数で構成された量子化画像データを生成する工程と、
    （ｃ）前記複数の量子化ウエーブレット係数のそれぞれが、原画像中のＲＯＩ（関心領域）と非ＲＯＩのどちらに対応付けられているのかを、前記スケーリング量に基づいて判別し、その判別結果から前記量子化画像データの分解レベルに対応したＲＯＩマスクを生成する工程と、
    （ｄ）前記スケーリング量に基づくスケールダウン処理後の前記量子化画像データに対して逆量子化を行うことによって、複数のウエーブレット係数で構成された第１画像データを生成する工程と、
    （ｅ）前記第１画像データを取得し、前記第１画像データに対して逆ウエーブレット変換を行うことによって、指定された分解レベルの第２画像データを生成する工程と、
    （ｆ）前記ＲＯＩマスクを取得し、前記ＲＯＩマスクに対して所定のマスク復元処理を１回または複数回行うことによって、前記第２画像データと同じ分解レベルの復元ＲＯＩマスクを生成する工程と、
    （ｇ）前記復元ＲＯＩマスクを前記第２画像データに適用することによって、マスク済み画像データを生成する工程と、
    （ｈ）前記マスク済み画像データに対して分解レベル０まで前記逆ウエーブレット変換を行うことによって、復号化画像データを生成する工程と
    を備える、画像復号化方法。
11. 請求項１０に記載の画像復号化方法であって、
    （ｉ）前記指定された分解レベルが、前記第１画像データの分解レベルと同じである場合に前記工程（ｇ）に代えて実行され、前記ＲＯＩマスクを前記第１画像データに適用することによって、前記マスク済み画像データを生成する工程
    をさらに備える、画像復号化方法。
12. 請求項１０または１１に記載の画像復号化方法であって、
    前記指定された分解レベルが分解レベル０である場合、前記マスク済み画像データを、前記逆ウエーブレット変換を行うことなく、前記復号化画像データとして扱う、
    画像復号化方法。
13. 請求項１０〜１２のうちのいずれか一項に記載の画像復号化方法であって、
    前記ＲＯＩマスクおよび前記復元ＲＯＩマスクは、前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を含み、
    前記マスク済み画像データを、マスク対象の画像データにおいて前記非ＲＯＩ対応部分に設定されているデータを０に置換することによって生成する、
    画像復号化方法。
14. 請求項１０〜１２のうちのいずれか一項に記載の画像復号化方法であって、
    前記ＲＯＩマスクおよび前記復元ＲＯＩマスクは、前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を含み、
    前記マスク済み画像データを、マスク対象の画像データにおいて前記非ＲＯＩ対応部分に設定されているデータを、別の原画像に関する別のデータに置換することによって生成する、
    画像復号化方法。
15. 請求項１０〜１４のうちのいずれか一項に記載の画像復号化方法であって、
    前記所定のマスク復元処理は、所定のマスク復元条件に基づいて、復元対象の第１ＲＯＩマスクから、前記第１ＲＯＩマスクよりも分解レベルが１段階低い第２ＲＯＩマスクを生成する処理であり、
    前記逆ウエーブレット変換に５×３フィルタが利用される場合における前記所定のマスク復元条件は、ｎを整数として、
    前記逆ウエーブレット変換の前において低域成分のｎ番目ならびに高域成分の｛ｎ−１｝番目およびｎ番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記原画像中の前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第１条件と、
    前記逆ウエーブレット変換の前において前記低域成分のｎ番目および｛ｎ＋１｝番目ならびに前記高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第２条件と
    を含む、画像復号化方法。
16. 請求項１０〜１４のうちのいずれか一項に記載の画像復号化方法であって、
    前記所定のマスク復元処理は、所定のマスク復元条件に基づいて、復元対象の第１ＲＯＩマスクから、前記第１ＲＯＩマスクよりも分解レベルが１段階低い第２ＲＯＩマスクを生成する処理であり、
    前記逆ウエーブレット変換にDaubechies９×７フィルタが利用される場合における前記所定のマスク復元条件は、ｎを整数として、
    前記逆ウエーブレット変換の前において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記原画像中の前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第３条件と、
    前記逆ウエーブレット変換の前において前記低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および前記高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータのうちの少なくとも１つが、前記第１ＲＯＩマスクによって前記ＲＯＩに対応付けられているとき、前記逆ウエーブレット変換の後において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２ＲＯＩマスクを形成する、という第４条件と
    を含む、画像復号化方法。
17. 請求項１０〜１６のうちのいずれか一項に記載の画像復号化方法であって、
    前記ビットストリームはＪＰＥＧ（Joint Photographic Experts Group）２０００に準拠している、画像復号化方法。
18. 請求項１０〜１７のうちのいずれか一項に記載の画像復号化方法であって、
    前記工程（ｆ）で前記所定のマスク復元処理を複数回行うことは、前記所定のマスク復元処理を再帰的に複数回行うことを含む、
    画像復号化方法。