JP4517504B2 - 画像符号化装置、電子カメラおよび記録媒体 - Google Patents
画像符号化装置、電子カメラおよび記録媒体 Download PDFInfo
- Publication number
- JP4517504B2 JP4517504B2 JP2000390837A JP2000390837A JP4517504B2 JP 4517504 B2 JP4517504 B2 JP 4517504B2 JP 2000390837 A JP2000390837 A JP 2000390837A JP 2000390837 A JP2000390837 A JP 2000390837A JP 4517504 B2 JP4517504 B2 JP 4517504B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- formula
- data
- unit
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Color Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Cameras In General (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データを符号化する画像符号化装置に関する。
本発明は、画像圧縮ファイルを復号化する画像復号化装置に関する。
本発明は、画像符号化装置を具備した電子カメラに関する。
本発明は、画像符号化プログラムおよびその記録媒体に関する。
本発明は、画像復号化プログラムおよびその記録媒体に関する。
【０００２】
【従来の技術】
１９９９年１２月、ＪＰＥＧ２０００の符号化アルゴリズムの委員会案（ＣＤ：Committee Draft）が作成され、核となる主要な技術内容が凍結された。
以下、このＪＰＥＧ２０００の符号化処理について概略説明する。
【０００３】
▲１▼色座標変換
入力画像は、必要に応じて色座標変換が施される。
【０００４】
▲２▼ウェーブレット変換
画像は、縦横２方向に離散ウェーブレット変換が施され、複数のサブバンド（ＬＬ，ＬＨ，ＨＬ，ＨＨ）に帯域分割される。この内、最低周波数域のＬＬバンドには、再帰的に離散ウェーブレット変換が繰り返し施される。
【０００５】
▲３▼量子化
ウェーブレット変換係数は、サブバンドごとに量子化される。なお、ロッシー／ロスレスの統一処理においては、量子化ステップがとりあえず「１」に設定される。この場合、ロッシー圧縮では、後工程において下位Ｎビットプレーンの廃棄が行われる。この廃棄処理は、量子化ステップ「２のＮ乗」と等価な処理となる。
【０００６】
▲４▼ビットモデリング
量子化後のウェーブレット変換係数を各サブバンド内で固定サイズ（例えば６４×６４）の符号化ブロックに分割する。各符号ブロック内の変換係数は、サインビットと絶対値に分けられた後、絶対値は、自然２進数のビットプレーンに振り分けられる。このように構築されたビットプレーンは、上位ビットプレーンから順に、３通りの符号化パス（Significance pass，Refinement pass，Cleanup pass）を通して符号化される。なお、サインビットについては、対応する絶対値の最上位ビットがビットプレーンに現れた直後に符号化が行われる。
【０００７】
▲５▼ＲＯＩ（Region Of Interest）符号化
画像上の選択領域に優先的に情報量を割り当て、選択領域の復号化画質を高める機能である。具体的には、選択領域に位置する量子化後の変換係数をＳビットシフトアップした上で、上述したビットモデリングを実施する。その結果、選択領域は、上位ビットプレーンにシフトされ、非選択領域のどのビットよりも優先的に符号化がなされる。
なお、マックスシフト法では、ビットシフト数Ｓを非選択領域の最上位ビットの桁数よりも大きく設定する。そのため、選択領域の非ゼロの変換係数は、必ず「２のＳ乗」以上の値をとる。そこで、復号化時は、「２のＳ乗」以上の量子化値を選択的にシフトダウンすることにより、選択領域の変換係数を容易に再現する。
【０００８】
▲６▼算術符号化
【０００９】
▲７▼ビットストリーム形成
各符号化ブロックのデータを４つの軸（ビットプレーンの重要度、空間解像度、ブロック位置、色成分）の組み合わせに従って並べることで、ＳＮＲプログレッシブ、空間解像度プログレッシブなどを実現する。
例えば、ＳＮＲプログレッシブの場合には、各符号化ブロックを符号化パスごとに分割し、分割データをＳＮＲ向上の寄与度の高い順に分類して、複数のレイヤーを構築する。これらのレイヤーを上位から順に並べることにより、ＳＮＲプログレッシブのビットストリームが形成される。このビットストリームを、適当なファイルサイズで打ち切ることにより、固定長圧縮が実現する。
【００１０】
以上のような符号化手順により、ＪＰＥＧ２０００の画像圧縮ファイルが生成される。
なお、最新のＪＰＥＧ２０００については、ＪＰＥＧ委員会によってインターネット公開された最終委員会案（http://www.jpeg.org/fcd15444-1.zip）を参照することによって、より正確に知ることができる。さらに、２００１年３月に予定される国際規格の承認後においては、ＩＳＯやＩＴＵ−Ｔその他の規格組織を通して、より詳細かつ正確な国際規格を知ることができる。
【００１１】
【発明が解決しようとする課題】
ところで、ＪＰＥＧ２０００のパート１では、選択領域と非選択領域とを二分するために、通常は、２値ビットマップのマスク画像を使用して、選択領域／非選択領域の区分が行われる。
このマスク画像は、画像の縦横の画素数が増えるに従って、データ量が増える。そのため、ＲＯＩ処理系は、データ量の可変するマスク画像をバッファリングして扱わなければならず、ＲＯＩ処理系のインプリメントが複雑になるという問題点があった。
また、画像の縦横の画素数が変わるたびに、マスク画像を新しく作成しなければならず、そのための処理負担も多かった。
さらに、マスク画像はデータ量が大きいため、ＲＯＩ処理系へのマスク画像の転送負荷や、マスク画像をデータ保持する負荷も多かった。
また、ウェーブレット変換では、変換係数の縦横のサンプル数が、サブバンド分割領域ごとに変化する。そのため、各サブバンド分割領域に合わせて、マスク画像を拡大縮小しなければならず、解像度変換の演算負荷も多かった。
【００１２】
そこで、本発明は、画像の符号化に際して、選択領域／非選択領域の区分をより少ない処理負荷で行うことを目的とする。
また、本発明の他の目的は、画像の符号化に際して画像に適応して、選択領域を決定することである。
また、本発明の他の目的は、画像の復号化に際して、選択領域／非選択領域の区分をより少ない処理負荷で行うことである。
【００１３】
【課題を解決するための手段】
上述した課題を解決するため、本発明は、下記のように構成される。
【００１４】
第１の発明の画像符号化装置は、与えられた画像データを周波数分解して変換係数に変換する変換手段と、変換手段により変換された変換係数を、「画像上の選択領域」および「それ以外の非選択領域」に領域区分する区分手段と、選択領域に対し非選択領域よりも優先的に情報量を割り当てて、変換係数を符号化する符号化手段とを備え、区分手段は、選択領域の境界を規定する数式データを式評価し、その式評価結果に基づいて変換係数が選択領域に属するか否かを区分する。
【００１５】
第２の発明は、第１の発明の画像符号化装置において、区分手段は、画像データに対してエッジ検出を行い、エッジ検出結果に基づいて輪郭線を決定し、輪郭線を近似表現する数式データを作成する数式作成手段と、数式作成手段により作成された数式データを式評価し、その式評価結果に基づいて変換係数が選択領域に属するか否かを判定する式評価手段とを備える。
【００１６】
第３の発明は、第１の発明の画像符号化装置において、区分手段は、画像データに対して色境界の検出を行い、色境界の検出結果に基づいて輪郭線を決定し、輪郭線を近似表現する数式データを作成する数式作成手段と、数式作成手段により作成された数式データを式評価し、その式評価結果に基づいて変換係数が選択領域に属するか否かを判定する式評価手段とを備える。
【００１７】
第４の発明は、第１の発明の画像符号化装置において、区分手段は、画像データに対して空間周波数成分の検出を行い、空間周波数成分の検出結果に基づいて輪郭線を決定し、輪郭線を近似表現する数式データを作成する数式作成手段と、数式作成手段により作成された数式データを式評価し、その式評価結果に基づいて変換係数が選択領域に属するか否かを判定する式評価手段とを備える。
【００１８】
第５の発明は、第１から第４のいずれかの発明の画像符号化装置において、符号化手段は、符号化された変換係数と、区分手段で使用した数式データとを併せて画像圧縮ファイルを形成する。
【００２０】
第６の発明の電子カメラは、第１から第５のいずれかの発明の画像符号化装置と、被写体を撮像して画像データを生成し、生成した画像データを画像符号化装置に与える撮像手段とを備える。
【００２１】
第７の発明の記録媒体には、コンピュータを、第１から第５のいずれかの発明の画像符号化装置における変換手段、区分手段、および符号化手段として機能させるための画像符号化プログラムが記録される。
【００２３】
【発明の実施の形態】
以下、図面に基づいて、本発明にかかる実施形態を説明する。
【００２４】
［電子カメラおよび画像符号化装置の構成］
図１は、本実施形態における電子カメラ１および画像符号化装置１１の構成を示すブロック図である。
図１において、電子カメラ１には、撮影レンズ２が装着される。この撮影レンズ２の像空間には、撮像素子３の受光面が配置される。撮像素子３で生成された画像データは、画像処理回路４を介してＡ／Ｄ変換および色補間処理などを施された後、画像符号化装置１１に与えられる。この画像符号化装置１１から出力される画像圧縮ファイルは、記録部５に与えられる。記録部５は、この画像圧縮ファイルをメモリカード６に記録する。
【００２５】
次に、上述した画像符号化装置１１の内部構成について説明する。
画像符号化装置１１に入力された画像データは、色変換部１２、ウェーブレット変換部１３、量子化部１４、ビットモデリング部１５、算術符号化部１６、およびビットストリーム生成部１７を介して、画像圧縮ファイルに変換される。
さらに、画像符号化装置１１には、数式作成部１８、式評価部１９、および数式格納部２０が設けられる。この数式作成部１８には、画像データ、ウェーブレット変換係数およびフォーカスエリアなどが入力される。式評価部１９は、数式作成部１８または数式格納部２０から数式データを取得し、数式データの式評価を行う。ビットモデリング部１５は、式評価部１９の式評価結果に従って、選択領域のビットシフト処理を実行する。なお、式評価部１９は、マックスシフト法以外の場合、選択領域の指定に使用した数式データを、ビットストリーム生成部１７に与える。
【００２６】
［画像復号化装置の構成］
以下、上述した画像符号化装置１１で作成された画像圧縮ファイルを復号化するための画像復号化装置の構成について説明する。
図２は、画像復号化装置２１のブロック図である。
図２において、画像復号化装置２１に入力された画像圧縮ファイルは、算術復号化部２２、ビットモデリング復号化部２３、逆量子化部２４、および逆ウェーブレット変換部２６を順に介して、復号化画像データに変換される。
さらに、画像復号化装置２１には、式評価部２７が設けられる。この式評価部２７は、画像圧縮ファイル内に数式データが存在する場合、この数式データを取得して式評価を行う。ビットモデリング復号化部２３は、この式評価結果に従って、選択領域の抽出およびシフトダウン処理を行う。
【００３２】
［画像符号化装置１１の動作説明］
図３および図４は、画像符号化装置１１の動作を説明する流れ図である。以下、図３に示すステップ番号に沿って、動作説明を行う。
【００３３】
ステップＳ１： 色変換部１２は、与えられた画像データに対して、必要に応じて色座標変換を施し、ＹＣｂＣｒなどの色成分に変換する。
【００３４】
ステップＳ２： ウェーブレット変換部１３は、色変換部１２から出力される画像データに対して、ウェーブレット変換によるサブバンド分解を施し、サブバンド分割領域ごとの変換係数に変換する。
【００３５】
ステップＳ３： 量子化部１４は、必要に応じて、変換係数を量子化する。
【００３６】
ステップＳ４： 式評価部１９は、電子カメラ１が内部メモリ（不図示）上に保有するユーザー設定項目を参照し、ＲＯＩ符号化のモード設定を判別する。ここで、数式作成モードが選択されていた場合、式評価部１９は、図４に示すステップＳ２１に動作を移行する。一方、数式選択モードが選択されていた場合、式評価部１９はステップＳ５に動作を移行する。
【００３７】
ステップＳ５： 式評価部１９は、電子カメラ１のユーザー設定項目を参照して、ユーザー指定された選択領域の形状に該当する数式データを、数式格納部２０から読み出す。
【００３８】
ステップＳ６： 式評価部１９は、サブバンド画像の行単位に数式データの式評価を行い、選択領域の左端および右端を行単位にビットモデリング部１５に伝達する。
以下、代表的な数式データについて具体的に説明する。
（Ａ）中心（ａ，ｂ）および半径ｒの円の場合
選択領域の存在する行ｙ ： ｂ−ｒ≦ｙ≦ｂ＋ｒ
行ｙにおける左端Ｘleft ： Ｘleft ＝ａ−√（ｒ2−（ｙ−ｂ）2）
行ｙにおける右端Ｘright： Ｘright＝ａ＋√（ｒ2−（ｙ−ｂ）2）
（Ｂ）左上頂点（ｘ１，ｙ１）および右下頂点（ｘ２，ｙ２）の矩形の場合
選択領域の存在する行ｙ ： ｙ１≦ｙ≦ｙ２
行ｙにおける左端Ｘleft ： Ｘleft ＝ｘ１
行ｙにおける右端Ｘright： Ｘright＝ｘ２
（Ｃ）中心（ａ，ｂ），行方向の径ｒ１，および列方向の径ｒ２の楕円の場合
選択領域の存在する行ｙ ： ｂ−ｒ２≦ｙ≦ｂ＋ｒ２
行ｙにおける左端Ｘleft ： Ｘleft ＝a-r1・√（1-(y-b)2/r22）
行ｙにおける右端Ｘright： Ｘright＝a+r1・√（1-(y-b)2/r22）
【００３９】
ステップＳ７： ビットモデリング部１５は、変換係数を、サインビットと絶対値に分けた後、絶対値を自然２進数のビットプレーンに振り分ける。ここで、ビットモデリング部１５は、式評価部１９から選択領域の左端および右端を行単位に取得する。
ビットモデリング部１５は、この左端および右端を、各サブバンド分割領域の縦横のサンプル数に合わせて座標変換（縮小または拡大）する。図５は、各サブバンド分割領域における３点（ｘａ，ｙａ），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ）について、座標変換の様子を示したものである。
ビットモデリング部１５は、各サブバンド分割領域において、行単位に左端から右端までの変換係数を抽出し、その変換係数をＲＯＩ符号化のシフトビット数Ｓだけシフトアップする。
【００４０】
ステップＳ８： ビットモデリング部１５は、このように構築されたビットプレーンを、上位ビットプレーンから順に、３通りの符号化パス（Significance pass，Refinement pass，Cleanup pass）を通してエントロピー符号化する。なお、サインビットについては、対応する絶対値の最上位ビットがビットプレーンに現れた直後に符号化が行われる。
【００４１】
ステップＳ９： 算術符号化部１６は、上述したエントロピー符号化を終えたデータを取り込み、算術符号化を施す。
【００４２】
ステップＳ１０： ビットストリーム生成部１７は、算術符号化後のデータを４つの軸（ビットプレーンの重要度、空間解像度、ブロック位置、色成分）に従って並べ替え、ＳＮＲプログレッシブ、空間解像度プログレッシブなどを実現する。
例えば、ＳＮＲプログレッシブの場合、ビットストリーム生成部１７は、データをＳＮＲ向上の寄与度の高い順に分類して、複数のレイヤーを構築する。ビットストリーム生成部１７は、これらのレイヤーを上位から順に並べ替えることにより、ＳＮＲプログレッシブのビットストリームを形成する。ビットストリーム生成部１７は、このビットストリームを適当なファイルサイズで打ち切ることにより、固定長圧縮された画像圧縮ファイルを完成する。
【００４３】
ステップＳ１１： ビットストリーム生成部１７は、マックスシフト方式のＲＯＩ符号化が行われたか否かを判定する。ここで、マックスシフト方式の場合、ビットストリーム生成部１７は、ステップＳ１２に動作を移行する。一方、マックスシフト方式以外の場合、ビットストリーム生成部１７はステップＳ１３に動作を移行する。
【００４４】
ステップＳ１２： マックスシフト方式のＲＯＩ符号化なので、選択領域を記述した数式データは復号化時に不要である。そこで、ビットストリーム生成部１７は、シフトビット数Ｓのみを画像圧縮ファイルのヘッダ情報に収める。
【００４５】
ステップＳ１３： マックスシフト方式以外のＲＯＩ符号化なので、選択領域を記述した数式データが復号化時に必要となる。そこで、ビットストリーム生成部１７は、式評価部１９から数式データを文字列データとして取得し、この数式データを、シフトビット数Ｓと併せて、画像圧縮ファイルのヘッダ情報に収める。
【００４６】
上述したような一連の動作により、画像圧縮ファイルが完成する。
続いて、図４に示すステップ番号に沿って、数式作成モードが選択された場合の動作について説明する。
【００４７】
ステップＳ２１： 数式作成部１８は、電子カメラ１のユーザー設定項目を参照し、数式作成のモード設定を判別する。ここで、エッジ検出モードが設定されていた場合、数式作成部１８はステップＳ２２に動作を移行する。また、色境界検出モードが設定されていた場合、数式作成部１８はステップＳ２３に動作を移行する。一方、空間周波数検出モードが設定されていた場合、数式作成部１８はステップＳ２４に動作を移行する。
【００４８】
ステップＳ２２： 数式作成部１８は、画像データに対してラブラシアンオペレータなどの局所積和演算を施し、エッジ部を抽出した処理画像を生成する。このような処理画像の生成後、数式作成部１８は、ステップＳ２５に動作を移行する。
【００４９】
ステップＳ２３： 数式作成部１８は、画像データの色成分を比較して色境界を抽出し、色境界からなる処理画像を生成する。このような処理画像の生成後、数式作成部１８は、ステップＳ２５に動作を移行する。
【００５０】
ステップＳ２４： 数式作成部１８は、高域のサブバンド分割領域に対して画素単位に太線化処理を施して隙間を埋め、高域成分の集中領域をいくつかにまとめる。数式作成部１８は、この画像に、ラブラシアンオペレータなどの局所積和演算を施し、高域成分集中領域のエッジ部からなる処理画像を生成する。このような処理画像の生成後、数式作成部１８は、ステップＳ２５に動作を移行する。
【００５１】
ステップＳ２５： 数式作成部１８は、ステップＳ２２〜Ｓ２４のいずれかで生成された処理画像を絶対値化した後、ノイズ耐性を考慮した適当な閾値で２値化して２値化画像を生成する。
【００５２】
ステップＳ２６： 数式作成部１８は、２値化画像に対して細線化処理を施し、境界線の線幅を「１」とする。
【００５３】
ステップＳ２７： 数式作成部１８は、２値化画像に対してスムージング処理を施す。以下、図６および図７を参照しながら、このスムージング処理の具体的な処理手順を説明する。
【００５４】
（図６Ａ） 数式作成部１８は、２値化画像から線幅１の点の連なりを検出し、縦横斜め８方向のチェインコードでメモリ上に表現する。さらに、数式作成部１８は、チェインコードの中から同一方向に連続するコードを検索し、その連続するコードをまとめて一つのベクトルコードに置き換える。このような処理により、２値化画像のベクトル化が完了する。
【００５５】
（図６Ｂ） 数式作成部１８は、連続するベクトルコードについて、ベクトル長の総和を求める。このとき、ベクトル長の総和が所定値（例えば１００）以下の場合、その連続するベクトルコードを削除する。この処理により、短いベクトルコードが除去される。
【００５６】
（図６Ｃ） 数式作成部１８は、連続するベクトルコードの中から、長さ１ドットのベクトルが直交している箇所を検索し、直交しているベクトルを合成する。この処理により、１ドット分の線の凹凸が除去される。
【００５７】
（図６Ｄ） 数式作成部１８は、連続するベクトルコードの中から、ベクトル方向が逆行する箇所を検索する。この逆行しているベクトルの重複している長さが所定値（例えば１０）以下の場合、逆行するベクトルを合成する。この処理により、不要なヒゲ状の線が除去される。
【００５８】
（図７Ｅ） 数式作成部１８は、連続するベクトルコードの中から、１ドット間隔だけ平行にずれたベクトル（図７中のＶ３）を検索する。このベクトルＶ３の長さと、平行するベクトル（図７中のＶ１，Ｖ５）の長さとを比較し、ベクトルＶ３の長さが短い場合、ベクトルＶ１，Ｖ５を直に連結し、中間のベクトル（図７中のＶ２，Ｖ３，Ｖ４）を除去する。この処理により、１ドット間隔だけ平行にずれた直線部分を整形することができる。
なお、これらの処理を複数回繰り返すことにより、２値化画像のスムージング処理を更に強く施してもよい。
【００５９】
ステップＳ２８： 数式作成部１８は、電子カメラ１側から画像データの撮影時に使用したフォーカスエリアの位置情報を取得する。数式作成部１８は、ベクトルコードの中から、このフォーカスエリアを中心に、周囲に向かってベクトルコードを検索する。数式作成部１８は、検索したベクトルコードを順に辿り、閉領域を形成するベクトルコード群を探索する。この閉領域の探索に当たっては、所定間隔以下に近接するベクトルコードを連結したものと扱う。また、辿っているベクトルコードが上下左右の画像枠に交わった場合には、その画像枠をベクトルコードの一部と見なす。
【００６０】
ステップＳ２９： 数式作成部１８は、閉領域を構成するベクトルコード群について、切れ目の連結を行う。
【００６１】
ステップＳ３０： 数式作成部１８は、連結された閉領域の境界線を左端側／右端側に区間分けする。図８は、このような閉領域の境界の区間分けルールを示すものである。以下、図８を参照しながら、この区間分けルールを説明する。
【００６２】
（図８▲１▼） 上の行に境界線がなく、かつ点Ｘ１が最初に現れた場合、新しい選択領域の開始行と考えられる。そこで、数式作成部１８は、この箇所Ｘ１を左端側／右端側それぞれの境界線の出発点とする。
【００６３】
（図８▲２▼） 上の行に境界線がなく、かつ行内に左端Ｘ２，右端Ｘ３が最初に現れた場合、新しい選択領域の開始行と考えられる。そこで、数式作成部１８は、Ｘ２を左端側の境界線の出発点とし、Ｘ３を右端側の境界線の出発点とする。
【００６４】
（図８▲３▼） 下の行に境界線がなく、かつ点Ｘ４で終わっている場合、選択領域の終了行と考えられる。そこで、数式作成部１８は、この箇所Ｘ１を左端側／右端側それぞれの境界線の終了点とする。
【００６５】
（図８▲４▼） 下の行に境界線がなく、かつ左端Ｘ５，右端Ｘ６で終わっている場合、選択領域の終了行と考えられる。そこで、数式作成部１８は、Ｘ５を左端側の境界線の終了点とし、Ｘ６を右端側の境界線の終了点とする。
【００６６】
（図８▲５▼） 左端側の境界線が中継点Ｘ１０から中継点Ｘ９へ非連続に左にずれている場合、非連続点なので境界線を区間分けすることが好ましい。そこで、数式作成部１８は、１行上の左端Ｘ７を左端側の境界線の終了点とし、左端Ｘ７と同一行の右端Ｘ８を右端側の境界線の終了点とする。さらに、左端Ｘ９を新しい左端側の境界線の出発点とし、左端Ｘ９と同一行の右端Ｘ１１を、新しい右端側の境界線の出発点とする。
【００６７】
（図８▲６▼） 左端側の境界線が中継点Ｘ１２から中継点Ｘ１３へ非連続に右にずれている場合、非連続点なので境界線を区間分けすることが好ましい。そこで、数式作成部１８は、左端Ｘ１２を左端側の境界線の終了点とし、左端Ｘ１２と同一行の右端Ｘ１４を右端側の境界線の終了点とする。さらに、１行下の左端Ｘ１５を新しい左端側の境界線の出発点とし、左端Ｘ１５と同一行の右端Ｘ１６を、新しい右端側の境界線の出発点とする。
【００６８】
（図８▲７▼） 右端側の境界線が中継点Ｘ２０から中継点Ｘ２１へ非連続に右にずれている場合、非連続点なので境界線を区間分けすることが好ましい。そこで、数式作成部１８は、１行上の右端Ｘ１８を右端側の境界線の終了点とし、右端Ｘ１８と同一行の左端Ｘ１７を左端側の境界線の終了点とする。さらに、右端Ｘ２１を新しい右端側の境界線の出発点とし、右端Ｘ２１と同一行の左端Ｘ１９を、新しい左端側の境界線の出発点とする。
【００６９】
（図８▲８▼） 右端側の境界線が中継点Ｘ２４から中継点Ｘ２３へ非連続に左にずれている場合、非連続点なので境界線を区間分けすることが好ましい。そこで、数式作成部１８は、右端Ｘ２４を右端側の境界線の終了点とし、右端Ｘ２４と同一行の左端Ｘ２２を左端側の境界線の終了点とする。さらに、１行下の右端Ｘ２６を新しい右端側の境界線の出発点とし、右端Ｘ２６と同一行の左端Ｘ２５を、新しい右端側の境界線の出発点とする。
【００７０】
（図８▲９▼） 中継点Ｘ２７，Ｘ２８のように、左端および右端の境界線が上の行と連続している場合、数式作成部１８は、境界線を区間分けしない。
図９Ａは、上記ルールに従って区間分けされた境界線の一例を示す図である。図９Ａに示すように閉領域が凹部を有する場合、同一行内に３本以上の境界線が存在する。そこで、数式作成部１８は、この境界線のペアを左（または右）側から順に判断し、新しいペアが発生する行に対して区間点（図９Ｂに示すＱ６，Ｒ６，Ｑ３，Ｒ３）を追加する。
【００７１】
ステップＳ３１： 数式作成部１８は、上記のように区間分けされた境界線を折れ線関数、ベジェ関数、スプライン関数，多次関数などで関数近似し、左端側および右端側をペアにした数式データを完成する。なお、この関数近似に当たっては、近似精度が低下しないように境界線を更に区間分けすることが好ましい。
このような数式データの完成後、数式作成部１８は、上述したステップＳ６に動作を戻す。その結果、画像データに応じて新規に作成された数式データに基づいて、ＲＯＩ符号化が行われる。
【００７２】
［画像復号化装置２１の動作説明］
図１０は、本実施形態における画像復号化装置２１の動作を説明する流れ図である。
以下、図１０に示すステップ番号に沿って、画像復号化装置２１の動作を説明する。
【００７３】
ステップＳ４１： 算術復号化部２２は、与えられた符号化データに対して算術復号化を施す。
【００７４】
ステップＳ４２： ビットモデリング復号化部２３は、算術復号化された符号化データに対してビットプレーンを単位としたエントロピー復号化を施し、復号化変換係数を求める。
【００７５】
ステップＳ４３： ビットモデリング復号化部２３は、画像圧縮ファイル内に数式データが存在するか否かを判断する。ここで数式データが存在しない場合、ビットモデリング復号化部２３は、ステップＳ４４に動作を移行する。一方、数式データが存在した場合、ビットモデリング復号化部２３はステップＳ４５に動作を移行する。
【００７６】
ステップＳ４４： ビットモデリング復号化部２３は、数式データが存在しないのでマックスシフト法によるＲＯＩ符号化であると判断し、画像圧縮ファイル内からシフトビット数Ｓを取得する。ビットモデリング復号化部２３は、このシフトビット数Ｓよりも上位プレーンの係数については、ＲＯＩ符号化の選択領域であると判断してシフトビット数Ｓだけシフトダウンを行う。このような処理によって選択領域／非選択領域のビット表現を揃えた後、ビットモデリング復号化部２３は、ステップＳ４８に動作を移行する。
【００７７】
ステップＳ４５： 式評価部２７は、画像圧縮ファイル内から数式データを読み出す。
【００７８】
ステップＳ４６： 式評価部２７は、数式データについて式評価を行い、選択領域の左端および右端を行単位にビットモデリング復号化部２３に伝達する。
【００７９】
ステップＳ４７： ビットモデリング復号化部２３は、この左端および右端に基づいて選択領域を抽出し、選択領域のビットプレーン（復号化変換係数）をシフトビット数Ｓだけシフトダウンする。
【００８０】
ステップＳ４８： 逆量子化部２４は、符号化時の量子化ステップサイズを復号化変換係数に乗じて、逆量子化処理を行う。なお、符号化時の量子化ステップサイズが『１』の場合、逆量子化部２４は、この逆量子化処理を省く。
【００８１】
ステップＳ４９： 逆ウェーブレット変換部２６は、逆量子化部２４で処理された復号化変換係数を取得する。逆ウェーブレット変換部２６は、この復号化変換係数を逆ウェーブレット変換（サブバンド合成）して、復号化画像データに変換する。
上述したような一連の動作により、復号化画像データが完成する。
【００８２】
［本実施形態の効果など］
本実施形態では、数式データを使用して、選択領域の区分を行う。このような数式データのデータ量は、扱う画像データの縦横画素数が増えても変化しない。したがって、式評価部１９では、データ量が略一定な式データを扱えばよく、データ量の変化するマスク画像をバッファリングして扱う従来例に比べて、ＲＯＩ処理系のインプリメントを単純化することができる。
【００８３】
また、数式データのデータ量は、マスク画像に比べて極めて小さい。したがって、マスク画像を扱う従来例に比べて、ＲＯＩ処理系におけるデータ保持の負荷を小さくすることができる。また、数式格納部２０から式評価部１９への数式データの転送負荷を小さくすることもできる。
【００８４】
さらに、簡単な座標変換を施すことにより、数式データを複数のサブバンド分割領域に迅速に適用することができる。
【００８５】
また、本実施形態では、画像内からエッジの鮮明な主要被写体を見つけ出して、その主要被写体のエッジに沿って、選択領域を適切に設定できる。
【００８６】
さらに、本実施形態では、画像内から色境界の鮮明な主要被写体を見つけ出して、その色境界に沿って、選択領域を適切に設定できる。
【００８７】
また、本実施形態では、空間周波数分布の特異な領域を見つけ出し、その領域の境界線に沿って、選択領域を適切に設定できる。
【００８８】
なお、本実施形態では、符号化時に使用した数式データを、画像圧縮ファイルに含める。この数式データは、マスク画像に比べて一般にデータ量が少ない。したがって、マスク画像を画像圧縮ファイルに含める場合に比べ、ファイル容量を確実に削減することができる。さらに、復号化時には、画像圧縮ファイル内の数式データを使用することにより、選択領域／非選択領域の区分を符号化時と同じ条件で正確に行うことが可能になる。
【００８９】
［実施形態の補足事項］
なお、上述した実施形態では、左端および右端の境界線を表す等式を使用して選択領域の判定を行っている。したがって、行単位に選択領域の左端および右端を迅速に決定できるという利点を有する。しかしながら、本発明はこれに限定されるものではない。例えば、選択領域の境界を規定する不等式データを使用してもよい。この場合、不等式データに画素位置を代入して不等号が成り立つか否かを式評価することにより、その画素位置の変換係数が選択領域に属するか否かを区分することができる。
【００９０】
また、上述した実施形態では、画像符号化装置１１および画像復号化装置２１を複数の処理部によりブロック構成する場合について説明した。しかしながら、本発明はこれに限定されるものではない。
例えば、コンピュータに、上述した各処理部の動作（例えば、図３，図４，図１０の流れ図）を実行させるための画像符号化プログラムや画像復号化プログラムを作成してもよい。これらのプログラムを記録媒体に記録することにより、第７の発明の記録媒体を得ることができる。
【００９１】
なお、上述した実施形態により、プログラムやその記録媒体に関する発明の実施行為が限定されるものではない。例えば、通信回線を介してプログラムを配送し、相手先のコンピュータのシステムメモリやハードディスクなどにプログラムを記録してもよい。このようなプログラム配送によって、プログラムの配送元は、プログラムやその記録媒体を、相手先の地に製造することができる。また、このようなプログラム配送により、配送元はプログラムやその記録媒体を相手先に譲渡することができる。さらに、プログラムが配送可能であることを通信回線を介して公表したり、プログラム格納場所の情報を提供するサービスを行うこともできる。
【００９２】
【発明の効果】
第１の発明では、選択領域の境界を規定する数式データを式評価して、変換係数が選択領域に属するか否かを区分する。そのため、次のような長所が得られる。
（１）数式データのデータ量は、画像の縦横画素数が増えても変化しない。したがって、ＲＯＩ処理系では、データ量が略一定な数式データを扱えばよく、データ量の変化するマスク画像をバッファリングして扱う従来例に比べて、ＲＯＩ処理系のインプリメントを単純化することができる。
（２）縦横の画素数の異なる画像に対しても、簡単な座標変換を施すことで数式データを迅速に流用できる。そのため、従来例に比べて、画像の縦横の画素数が変わるたびにマスク画像を作成するなどの手間がなく、その分の処理負担も軽くできる。
（３）数式データのデータ量は、マスク画像に比べて一般に小さい。したがって、マスク画像を扱う従来例に比べて、ＲＯＩ処理系におけるデータ保持の負荷を小さくすることができる。また、ＲＯＩ処理系へのデータ転送の負荷も小さくすることができる。
（４）簡単な座標変換を施すことで、数式データを複数のサブバンド分割領域に適用することができる。したがって、本発明では、従来例のようなマスク画像をサンプル数に合わせて解像度変換する手間が生じない。
これら長所の相乗作用により、本発明では、画像の符号化に際して、選択領域／非選択領域の区分の処理負荷を適切に軽減することが可能になる。
【００９３】
第２の発明では、画像のエッジ検出に基づいて数式データを作成する。したがって、画像内からエッジの鮮明な主要被写体を見つけ出して、その主要被写体のエッジに沿う形で、選択領域を適切に設定することが可能になる。
【００９４】
第３の発明では、画像の色境界の検出に基づいて数式データを作成する。したがって、画像内から色境界の明確な主要被写体を見つけ出して、その主要被写体の色境界線に沿う形で、選択領域を適切に設定することが可能になる。
【００９５】
第４の発明では、画像の空間周波数成分の検出に基づいて数式データを作成する。したがって、画像内から空間周波数成分の異質な主要被写体を見つけ出して、その主要被写体に沿う形で、選択領域を適切に設定することが可能になる。
【００９６】
第５の発明の画像符号化装置側では、区分手段で使用した数式データを、画像圧縮ファイルに含める。この数式データは、マスク画像に比べて一般にデータ量が少ない。したがって、マスク画像を画像圧縮ファイルに含める場合に比べて、画像圧縮ファイルの容量を削減することができる。
一方、画像復号化装置側では、ファイル内の数式データを使用して選択領域／非選択領域の区分を行う。この場合、画像符号化装置側と同じ条件で選択領域の区分を正確に行うことが可能になる。
【００９７】
第６の発明の電子カメラは、第１から第５のいずれかの発明の画像符号化装置を具備する。したがって、画像の符号化に際して、選択領域／非選択領域の区分の処理時間を適切に軽減することが可能になる。その結果、電子カメラ内の画像処理時間を従来よりも短縮することが可能になり、より使い勝手の良い電子カメラを実現することが可能になる。
【００９８】
第７の発明の画像符号化プログラムをコンピュータで実行することにより、第１から第５のいずれかの発明の画像符号化装置を実現することができる。
【図面の簡単な説明】
【図１】電子カメラ１および画像符号化装置１１の構成を示すブロック図である。
【図２】画像復号化装置２１のブロック図である。
【図３】画像符号化装置１１の動作を説明する流れ図（１／２）である。
【図４】画像符号化装置１１の動作を説明する流れ図（２／２）である。
【図５】各サブバンド分割領域における座標変換の様子を示した図である。
【図６】スムージング処理の手順を説明する図（１／２）である。
【図７】スムージング処理の手順を説明する図（２／２）である。
【図８】境界線の区間分けを説明する図である。
【図９】境界線の区間分けを説明する図である。
【図１０】画像復号化装置２１の動作を説明する流れ図である。
【符号の説明】
１ 電子カメラ
２ 撮影レンズ
３ 撮像素子
４ 画像処理回路
５ 記録部
６ メモリカード
１１ 画像符号化装置
１２ 色変換部
１３ ウェーブレット変換部
１４ 量子化部
１５ ビットモデリング部
１６ 算術符号化部
１７ ビットストリーム生成部
１８ 数式作成部
１９ 式評価部
２０ 数式格納部
２１ 画像復号化装置
２２ 算術復号化部
２３ ビットモデリング復号化部
２４ 逆量子化部
２６ 逆ウェーブレット変換部
２７ 式評価部
【発明の属する技術分野】
本発明は、画像データを符号化する画像符号化装置に関する。
本発明は、画像圧縮ファイルを復号化する画像復号化装置に関する。
本発明は、画像符号化装置を具備した電子カメラに関する。
本発明は、画像符号化プログラムおよびその記録媒体に関する。
本発明は、画像復号化プログラムおよびその記録媒体に関する。
【０００２】
【従来の技術】
１９９９年１２月、ＪＰＥＧ２０００の符号化アルゴリズムの委員会案（ＣＤ：Committee Draft）が作成され、核となる主要な技術内容が凍結された。
以下、このＪＰＥＧ２０００の符号化処理について概略説明する。
【０００３】
▲１▼色座標変換
入力画像は、必要に応じて色座標変換が施される。
【０００４】
▲２▼ウェーブレット変換
画像は、縦横２方向に離散ウェーブレット変換が施され、複数のサブバンド（ＬＬ，ＬＨ，ＨＬ，ＨＨ）に帯域分割される。この内、最低周波数域のＬＬバンドには、再帰的に離散ウェーブレット変換が繰り返し施される。
【０００５】
▲３▼量子化
ウェーブレット変換係数は、サブバンドごとに量子化される。なお、ロッシー／ロスレスの統一処理においては、量子化ステップがとりあえず「１」に設定される。この場合、ロッシー圧縮では、後工程において下位Ｎビットプレーンの廃棄が行われる。この廃棄処理は、量子化ステップ「２のＮ乗」と等価な処理となる。
【０００６】
▲４▼ビットモデリング
量子化後のウェーブレット変換係数を各サブバンド内で固定サイズ（例えば６４×６４）の符号化ブロックに分割する。各符号ブロック内の変換係数は、サインビットと絶対値に分けられた後、絶対値は、自然２進数のビットプレーンに振り分けられる。このように構築されたビットプレーンは、上位ビットプレーンから順に、３通りの符号化パス（Significance pass，Refinement pass，Cleanup pass）を通して符号化される。なお、サインビットについては、対応する絶対値の最上位ビットがビットプレーンに現れた直後に符号化が行われる。
【０００７】
▲５▼ＲＯＩ（Region Of Interest）符号化
画像上の選択領域に優先的に情報量を割り当て、選択領域の復号化画質を高める機能である。具体的には、選択領域に位置する量子化後の変換係数をＳビットシフトアップした上で、上述したビットモデリングを実施する。その結果、選択領域は、上位ビットプレーンにシフトされ、非選択領域のどのビットよりも優先的に符号化がなされる。
なお、マックスシフト法では、ビットシフト数Ｓを非選択領域の最上位ビットの桁数よりも大きく設定する。そのため、選択領域の非ゼロの変換係数は、必ず「２のＳ乗」以上の値をとる。そこで、復号化時は、「２のＳ乗」以上の量子化値を選択的にシフトダウンすることにより、選択領域の変換係数を容易に再現する。
【０００８】
▲６▼算術符号化
【０００９】
▲７▼ビットストリーム形成
各符号化ブロックのデータを４つの軸（ビットプレーンの重要度、空間解像度、ブロック位置、色成分）の組み合わせに従って並べることで、ＳＮＲプログレッシブ、空間解像度プログレッシブなどを実現する。
例えば、ＳＮＲプログレッシブの場合には、各符号化ブロックを符号化パスごとに分割し、分割データをＳＮＲ向上の寄与度の高い順に分類して、複数のレイヤーを構築する。これらのレイヤーを上位から順に並べることにより、ＳＮＲプログレッシブのビットストリームが形成される。このビットストリームを、適当なファイルサイズで打ち切ることにより、固定長圧縮が実現する。
【００１０】
以上のような符号化手順により、ＪＰＥＧ２０００の画像圧縮ファイルが生成される。
なお、最新のＪＰＥＧ２０００については、ＪＰＥＧ委員会によってインターネット公開された最終委員会案（http://www.jpeg.org/fcd15444-1.zip）を参照することによって、より正確に知ることができる。さらに、２００１年３月に予定される国際規格の承認後においては、ＩＳＯやＩＴＵ−Ｔその他の規格組織を通して、より詳細かつ正確な国際規格を知ることができる。
【００１１】
【発明が解決しようとする課題】
ところで、ＪＰＥＧ２０００のパート１では、選択領域と非選択領域とを二分するために、通常は、２値ビットマップのマスク画像を使用して、選択領域／非選択領域の区分が行われる。
このマスク画像は、画像の縦横の画素数が増えるに従って、データ量が増える。そのため、ＲＯＩ処理系は、データ量の可変するマスク画像をバッファリングして扱わなければならず、ＲＯＩ処理系のインプリメントが複雑になるという問題点があった。
また、画像の縦横の画素数が変わるたびに、マスク画像を新しく作成しなければならず、そのための処理負担も多かった。
さらに、マスク画像はデータ量が大きいため、ＲＯＩ処理系へのマスク画像の転送負荷や、マスク画像をデータ保持する負荷も多かった。
また、ウェーブレット変換では、変換係数の縦横のサンプル数が、サブバンド分割領域ごとに変化する。そのため、各サブバンド分割領域に合わせて、マスク画像を拡大縮小しなければならず、解像度変換の演算負荷も多かった。
【００１２】
そこで、本発明は、画像の符号化に際して、選択領域／非選択領域の区分をより少ない処理負荷で行うことを目的とする。
また、本発明の他の目的は、画像の符号化に際して画像に適応して、選択領域を決定することである。
また、本発明の他の目的は、画像の復号化に際して、選択領域／非選択領域の区分をより少ない処理負荷で行うことである。
【００１３】
【課題を解決するための手段】
上述した課題を解決するため、本発明は、下記のように構成される。
【００１４】
第１の発明の画像符号化装置は、与えられた画像データを周波数分解して変換係数に変換する変換手段と、変換手段により変換された変換係数を、「画像上の選択領域」および「それ以外の非選択領域」に領域区分する区分手段と、選択領域に対し非選択領域よりも優先的に情報量を割り当てて、変換係数を符号化する符号化手段とを備え、区分手段は、選択領域の境界を規定する数式データを式評価し、その式評価結果に基づいて変換係数が選択領域に属するか否かを区分する。
【００１５】
第２の発明は、第１の発明の画像符号化装置において、区分手段は、画像データに対してエッジ検出を行い、エッジ検出結果に基づいて輪郭線を決定し、輪郭線を近似表現する数式データを作成する数式作成手段と、数式作成手段により作成された数式データを式評価し、その式評価結果に基づいて変換係数が選択領域に属するか否かを判定する式評価手段とを備える。
【００１６】
第３の発明は、第１の発明の画像符号化装置において、区分手段は、画像データに対して色境界の検出を行い、色境界の検出結果に基づいて輪郭線を決定し、輪郭線を近似表現する数式データを作成する数式作成手段と、数式作成手段により作成された数式データを式評価し、その式評価結果に基づいて変換係数が選択領域に属するか否かを判定する式評価手段とを備える。
【００１７】
第４の発明は、第１の発明の画像符号化装置において、区分手段は、画像データに対して空間周波数成分の検出を行い、空間周波数成分の検出結果に基づいて輪郭線を決定し、輪郭線を近似表現する数式データを作成する数式作成手段と、数式作成手段により作成された数式データを式評価し、その式評価結果に基づいて変換係数が選択領域に属するか否かを判定する式評価手段とを備える。
【００１８】
第５の発明は、第１から第４のいずれかの発明の画像符号化装置において、符号化手段は、符号化された変換係数と、区分手段で使用した数式データとを併せて画像圧縮ファイルを形成する。
【００２０】
第６の発明の電子カメラは、第１から第５のいずれかの発明の画像符号化装置と、被写体を撮像して画像データを生成し、生成した画像データを画像符号化装置に与える撮像手段とを備える。
【００２１】
第７の発明の記録媒体には、コンピュータを、第１から第５のいずれかの発明の画像符号化装置における変換手段、区分手段、および符号化手段として機能させるための画像符号化プログラムが記録される。
【００２３】
【発明の実施の形態】
以下、図面に基づいて、本発明にかかる実施形態を説明する。
【００２４】
［電子カメラおよび画像符号化装置の構成］
図１は、本実施形態における電子カメラ１および画像符号化装置１１の構成を示すブロック図である。
図１において、電子カメラ１には、撮影レンズ２が装着される。この撮影レンズ２の像空間には、撮像素子３の受光面が配置される。撮像素子３で生成された画像データは、画像処理回路４を介してＡ／Ｄ変換および色補間処理などを施された後、画像符号化装置１１に与えられる。この画像符号化装置１１から出力される画像圧縮ファイルは、記録部５に与えられる。記録部５は、この画像圧縮ファイルをメモリカード６に記録する。
【００２５】
次に、上述した画像符号化装置１１の内部構成について説明する。
画像符号化装置１１に入力された画像データは、色変換部１２、ウェーブレット変換部１３、量子化部１４、ビットモデリング部１５、算術符号化部１６、およびビットストリーム生成部１７を介して、画像圧縮ファイルに変換される。
さらに、画像符号化装置１１には、数式作成部１８、式評価部１９、および数式格納部２０が設けられる。この数式作成部１８には、画像データ、ウェーブレット変換係数およびフォーカスエリアなどが入力される。式評価部１９は、数式作成部１８または数式格納部２０から数式データを取得し、数式データの式評価を行う。ビットモデリング部１５は、式評価部１９の式評価結果に従って、選択領域のビットシフト処理を実行する。なお、式評価部１９は、マックスシフト法以外の場合、選択領域の指定に使用した数式データを、ビットストリーム生成部１７に与える。
【００２６】
［画像復号化装置の構成］
以下、上述した画像符号化装置１１で作成された画像圧縮ファイルを復号化するための画像復号化装置の構成について説明する。
図２は、画像復号化装置２１のブロック図である。
図２において、画像復号化装置２１に入力された画像圧縮ファイルは、算術復号化部２２、ビットモデリング復号化部２３、逆量子化部２４、および逆ウェーブレット変換部２６を順に介して、復号化画像データに変換される。
さらに、画像復号化装置２１には、式評価部２７が設けられる。この式評価部２７は、画像圧縮ファイル内に数式データが存在する場合、この数式データを取得して式評価を行う。ビットモデリング復号化部２３は、この式評価結果に従って、選択領域の抽出およびシフトダウン処理を行う。
【００３２】
［画像符号化装置１１の動作説明］
図３および図４は、画像符号化装置１１の動作を説明する流れ図である。以下、図３に示すステップ番号に沿って、動作説明を行う。
【００３３】
ステップＳ１： 色変換部１２は、与えられた画像データに対して、必要に応じて色座標変換を施し、ＹＣｂＣｒなどの色成分に変換する。
【００３４】
ステップＳ２： ウェーブレット変換部１３は、色変換部１２から出力される画像データに対して、ウェーブレット変換によるサブバンド分解を施し、サブバンド分割領域ごとの変換係数に変換する。
【００３５】
ステップＳ３： 量子化部１４は、必要に応じて、変換係数を量子化する。
【００３６】
ステップＳ４： 式評価部１９は、電子カメラ１が内部メモリ（不図示）上に保有するユーザー設定項目を参照し、ＲＯＩ符号化のモード設定を判別する。ここで、数式作成モードが選択されていた場合、式評価部１９は、図４に示すステップＳ２１に動作を移行する。一方、数式選択モードが選択されていた場合、式評価部１９はステップＳ５に動作を移行する。
【００３７】
ステップＳ５： 式評価部１９は、電子カメラ１のユーザー設定項目を参照して、ユーザー指定された選択領域の形状に該当する数式データを、数式格納部２０から読み出す。
【００３８】
ステップＳ６： 式評価部１９は、サブバンド画像の行単位に数式データの式評価を行い、選択領域の左端および右端を行単位にビットモデリング部１５に伝達する。
以下、代表的な数式データについて具体的に説明する。
（Ａ）中心（ａ，ｂ）および半径ｒの円の場合
選択領域の存在する行ｙ ： ｂ−ｒ≦ｙ≦ｂ＋ｒ
行ｙにおける左端Ｘleft ： Ｘleft ＝ａ−√（ｒ2−（ｙ−ｂ）2）
行ｙにおける右端Ｘright： Ｘright＝ａ＋√（ｒ2−（ｙ−ｂ）2）
（Ｂ）左上頂点（ｘ１，ｙ１）および右下頂点（ｘ２，ｙ２）の矩形の場合
選択領域の存在する行ｙ ： ｙ１≦ｙ≦ｙ２
行ｙにおける左端Ｘleft ： Ｘleft ＝ｘ１
行ｙにおける右端Ｘright： Ｘright＝ｘ２
（Ｃ）中心（ａ，ｂ），行方向の径ｒ１，および列方向の径ｒ２の楕円の場合
選択領域の存在する行ｙ ： ｂ−ｒ２≦ｙ≦ｂ＋ｒ２
行ｙにおける左端Ｘleft ： Ｘleft ＝a-r1・√（1-(y-b)2/r22）
行ｙにおける右端Ｘright： Ｘright＝a+r1・√（1-(y-b)2/r22）
【００３９】
ステップＳ７： ビットモデリング部１５は、変換係数を、サインビットと絶対値に分けた後、絶対値を自然２進数のビットプレーンに振り分ける。ここで、ビットモデリング部１５は、式評価部１９から選択領域の左端および右端を行単位に取得する。
ビットモデリング部１５は、この左端および右端を、各サブバンド分割領域の縦横のサンプル数に合わせて座標変換（縮小または拡大）する。図５は、各サブバンド分割領域における３点（ｘａ，ｙａ），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ）について、座標変換の様子を示したものである。
ビットモデリング部１５は、各サブバンド分割領域において、行単位に左端から右端までの変換係数を抽出し、その変換係数をＲＯＩ符号化のシフトビット数Ｓだけシフトアップする。
【００４０】
ステップＳ８： ビットモデリング部１５は、このように構築されたビットプレーンを、上位ビットプレーンから順に、３通りの符号化パス（Significance pass，Refinement pass，Cleanup pass）を通してエントロピー符号化する。なお、サインビットについては、対応する絶対値の最上位ビットがビットプレーンに現れた直後に符号化が行われる。
【００４１】
ステップＳ９： 算術符号化部１６は、上述したエントロピー符号化を終えたデータを取り込み、算術符号化を施す。
【００４２】
ステップＳ１０： ビットストリーム生成部１７は、算術符号化後のデータを４つの軸（ビットプレーンの重要度、空間解像度、ブロック位置、色成分）に従って並べ替え、ＳＮＲプログレッシブ、空間解像度プログレッシブなどを実現する。
例えば、ＳＮＲプログレッシブの場合、ビットストリーム生成部１７は、データをＳＮＲ向上の寄与度の高い順に分類して、複数のレイヤーを構築する。ビットストリーム生成部１７は、これらのレイヤーを上位から順に並べ替えることにより、ＳＮＲプログレッシブのビットストリームを形成する。ビットストリーム生成部１７は、このビットストリームを適当なファイルサイズで打ち切ることにより、固定長圧縮された画像圧縮ファイルを完成する。
【００４３】
ステップＳ１１： ビットストリーム生成部１７は、マックスシフト方式のＲＯＩ符号化が行われたか否かを判定する。ここで、マックスシフト方式の場合、ビットストリーム生成部１７は、ステップＳ１２に動作を移行する。一方、マックスシフト方式以外の場合、ビットストリーム生成部１７はステップＳ１３に動作を移行する。
【００４４】
ステップＳ１２： マックスシフト方式のＲＯＩ符号化なので、選択領域を記述した数式データは復号化時に不要である。そこで、ビットストリーム生成部１７は、シフトビット数Ｓのみを画像圧縮ファイルのヘッダ情報に収める。
【００４５】
ステップＳ１３： マックスシフト方式以外のＲＯＩ符号化なので、選択領域を記述した数式データが復号化時に必要となる。そこで、ビットストリーム生成部１７は、式評価部１９から数式データを文字列データとして取得し、この数式データを、シフトビット数Ｓと併せて、画像圧縮ファイルのヘッダ情報に収める。
【００４６】
上述したような一連の動作により、画像圧縮ファイルが完成する。
続いて、図４に示すステップ番号に沿って、数式作成モードが選択された場合の動作について説明する。
【００４７】
ステップＳ２１： 数式作成部１８は、電子カメラ１のユーザー設定項目を参照し、数式作成のモード設定を判別する。ここで、エッジ検出モードが設定されていた場合、数式作成部１８はステップＳ２２に動作を移行する。また、色境界検出モードが設定されていた場合、数式作成部１８はステップＳ２３に動作を移行する。一方、空間周波数検出モードが設定されていた場合、数式作成部１８はステップＳ２４に動作を移行する。
【００４８】
ステップＳ２２： 数式作成部１８は、画像データに対してラブラシアンオペレータなどの局所積和演算を施し、エッジ部を抽出した処理画像を生成する。このような処理画像の生成後、数式作成部１８は、ステップＳ２５に動作を移行する。
【００４９】
ステップＳ２３： 数式作成部１８は、画像データの色成分を比較して色境界を抽出し、色境界からなる処理画像を生成する。このような処理画像の生成後、数式作成部１８は、ステップＳ２５に動作を移行する。
【００５０】
ステップＳ２４： 数式作成部１８は、高域のサブバンド分割領域に対して画素単位に太線化処理を施して隙間を埋め、高域成分の集中領域をいくつかにまとめる。数式作成部１８は、この画像に、ラブラシアンオペレータなどの局所積和演算を施し、高域成分集中領域のエッジ部からなる処理画像を生成する。このような処理画像の生成後、数式作成部１８は、ステップＳ２５に動作を移行する。
【００５１】
ステップＳ２５： 数式作成部１８は、ステップＳ２２〜Ｓ２４のいずれかで生成された処理画像を絶対値化した後、ノイズ耐性を考慮した適当な閾値で２値化して２値化画像を生成する。
【００５２】
ステップＳ２６： 数式作成部１８は、２値化画像に対して細線化処理を施し、境界線の線幅を「１」とする。
【００５３】
ステップＳ２７： 数式作成部１８は、２値化画像に対してスムージング処理を施す。以下、図６および図７を参照しながら、このスムージング処理の具体的な処理手順を説明する。
【００５４】
（図６Ａ） 数式作成部１８は、２値化画像から線幅１の点の連なりを検出し、縦横斜め８方向のチェインコードでメモリ上に表現する。さらに、数式作成部１８は、チェインコードの中から同一方向に連続するコードを検索し、その連続するコードをまとめて一つのベクトルコードに置き換える。このような処理により、２値化画像のベクトル化が完了する。
【００５５】
（図６Ｂ） 数式作成部１８は、連続するベクトルコードについて、ベクトル長の総和を求める。このとき、ベクトル長の総和が所定値（例えば１００）以下の場合、その連続するベクトルコードを削除する。この処理により、短いベクトルコードが除去される。
【００５６】
（図６Ｃ） 数式作成部１８は、連続するベクトルコードの中から、長さ１ドットのベクトルが直交している箇所を検索し、直交しているベクトルを合成する。この処理により、１ドット分の線の凹凸が除去される。
【００５７】
（図６Ｄ） 数式作成部１８は、連続するベクトルコードの中から、ベクトル方向が逆行する箇所を検索する。この逆行しているベクトルの重複している長さが所定値（例えば１０）以下の場合、逆行するベクトルを合成する。この処理により、不要なヒゲ状の線が除去される。
【００５８】
（図７Ｅ） 数式作成部１８は、連続するベクトルコードの中から、１ドット間隔だけ平行にずれたベクトル（図７中のＶ３）を検索する。このベクトルＶ３の長さと、平行するベクトル（図７中のＶ１，Ｖ５）の長さとを比較し、ベクトルＶ３の長さが短い場合、ベクトルＶ１，Ｖ５を直に連結し、中間のベクトル（図７中のＶ２，Ｖ３，Ｖ４）を除去する。この処理により、１ドット間隔だけ平行にずれた直線部分を整形することができる。
なお、これらの処理を複数回繰り返すことにより、２値化画像のスムージング処理を更に強く施してもよい。
【００５９】
ステップＳ２８： 数式作成部１８は、電子カメラ１側から画像データの撮影時に使用したフォーカスエリアの位置情報を取得する。数式作成部１８は、ベクトルコードの中から、このフォーカスエリアを中心に、周囲に向かってベクトルコードを検索する。数式作成部１８は、検索したベクトルコードを順に辿り、閉領域を形成するベクトルコード群を探索する。この閉領域の探索に当たっては、所定間隔以下に近接するベクトルコードを連結したものと扱う。また、辿っているベクトルコードが上下左右の画像枠に交わった場合には、その画像枠をベクトルコードの一部と見なす。
【００６０】
ステップＳ２９： 数式作成部１８は、閉領域を構成するベクトルコード群について、切れ目の連結を行う。
【００６１】
ステップＳ３０： 数式作成部１８は、連結された閉領域の境界線を左端側／右端側に区間分けする。図８は、このような閉領域の境界の区間分けルールを示すものである。以下、図８を参照しながら、この区間分けルールを説明する。
【００６２】
（図８▲１▼） 上の行に境界線がなく、かつ点Ｘ１が最初に現れた場合、新しい選択領域の開始行と考えられる。そこで、数式作成部１８は、この箇所Ｘ１を左端側／右端側それぞれの境界線の出発点とする。
【００６３】
（図８▲２▼） 上の行に境界線がなく、かつ行内に左端Ｘ２，右端Ｘ３が最初に現れた場合、新しい選択領域の開始行と考えられる。そこで、数式作成部１８は、Ｘ２を左端側の境界線の出発点とし、Ｘ３を右端側の境界線の出発点とする。
【００６４】
（図８▲３▼） 下の行に境界線がなく、かつ点Ｘ４で終わっている場合、選択領域の終了行と考えられる。そこで、数式作成部１８は、この箇所Ｘ１を左端側／右端側それぞれの境界線の終了点とする。
【００６５】
（図８▲４▼） 下の行に境界線がなく、かつ左端Ｘ５，右端Ｘ６で終わっている場合、選択領域の終了行と考えられる。そこで、数式作成部１８は、Ｘ５を左端側の境界線の終了点とし、Ｘ６を右端側の境界線の終了点とする。
【００６６】
（図８▲５▼） 左端側の境界線が中継点Ｘ１０から中継点Ｘ９へ非連続に左にずれている場合、非連続点なので境界線を区間分けすることが好ましい。そこで、数式作成部１８は、１行上の左端Ｘ７を左端側の境界線の終了点とし、左端Ｘ７と同一行の右端Ｘ８を右端側の境界線の終了点とする。さらに、左端Ｘ９を新しい左端側の境界線の出発点とし、左端Ｘ９と同一行の右端Ｘ１１を、新しい右端側の境界線の出発点とする。
【００６７】
（図８▲６▼） 左端側の境界線が中継点Ｘ１２から中継点Ｘ１３へ非連続に右にずれている場合、非連続点なので境界線を区間分けすることが好ましい。そこで、数式作成部１８は、左端Ｘ１２を左端側の境界線の終了点とし、左端Ｘ１２と同一行の右端Ｘ１４を右端側の境界線の終了点とする。さらに、１行下の左端Ｘ１５を新しい左端側の境界線の出発点とし、左端Ｘ１５と同一行の右端Ｘ１６を、新しい右端側の境界線の出発点とする。
【００６８】
（図８▲７▼） 右端側の境界線が中継点Ｘ２０から中継点Ｘ２１へ非連続に右にずれている場合、非連続点なので境界線を区間分けすることが好ましい。そこで、数式作成部１８は、１行上の右端Ｘ１８を右端側の境界線の終了点とし、右端Ｘ１８と同一行の左端Ｘ１７を左端側の境界線の終了点とする。さらに、右端Ｘ２１を新しい右端側の境界線の出発点とし、右端Ｘ２１と同一行の左端Ｘ１９を、新しい左端側の境界線の出発点とする。
【００６９】
（図８▲８▼） 右端側の境界線が中継点Ｘ２４から中継点Ｘ２３へ非連続に左にずれている場合、非連続点なので境界線を区間分けすることが好ましい。そこで、数式作成部１８は、右端Ｘ２４を右端側の境界線の終了点とし、右端Ｘ２４と同一行の左端Ｘ２２を左端側の境界線の終了点とする。さらに、１行下の右端Ｘ２６を新しい右端側の境界線の出発点とし、右端Ｘ２６と同一行の左端Ｘ２５を、新しい右端側の境界線の出発点とする。
【００７０】
（図８▲９▼） 中継点Ｘ２７，Ｘ２８のように、左端および右端の境界線が上の行と連続している場合、数式作成部１８は、境界線を区間分けしない。
図９Ａは、上記ルールに従って区間分けされた境界線の一例を示す図である。図９Ａに示すように閉領域が凹部を有する場合、同一行内に３本以上の境界線が存在する。そこで、数式作成部１８は、この境界線のペアを左（または右）側から順に判断し、新しいペアが発生する行に対して区間点（図９Ｂに示すＱ６，Ｒ６，Ｑ３，Ｒ３）を追加する。
【００７１】
ステップＳ３１： 数式作成部１８は、上記のように区間分けされた境界線を折れ線関数、ベジェ関数、スプライン関数，多次関数などで関数近似し、左端側および右端側をペアにした数式データを完成する。なお、この関数近似に当たっては、近似精度が低下しないように境界線を更に区間分けすることが好ましい。
このような数式データの完成後、数式作成部１８は、上述したステップＳ６に動作を戻す。その結果、画像データに応じて新規に作成された数式データに基づいて、ＲＯＩ符号化が行われる。
【００７２】
［画像復号化装置２１の動作説明］
図１０は、本実施形態における画像復号化装置２１の動作を説明する流れ図である。
以下、図１０に示すステップ番号に沿って、画像復号化装置２１の動作を説明する。
【００７３】
ステップＳ４１： 算術復号化部２２は、与えられた符号化データに対して算術復号化を施す。
【００７４】
ステップＳ４２： ビットモデリング復号化部２３は、算術復号化された符号化データに対してビットプレーンを単位としたエントロピー復号化を施し、復号化変換係数を求める。
【００７５】
ステップＳ４３： ビットモデリング復号化部２３は、画像圧縮ファイル内に数式データが存在するか否かを判断する。ここで数式データが存在しない場合、ビットモデリング復号化部２３は、ステップＳ４４に動作を移行する。一方、数式データが存在した場合、ビットモデリング復号化部２３はステップＳ４５に動作を移行する。
【００７６】
ステップＳ４４： ビットモデリング復号化部２３は、数式データが存在しないのでマックスシフト法によるＲＯＩ符号化であると判断し、画像圧縮ファイル内からシフトビット数Ｓを取得する。ビットモデリング復号化部２３は、このシフトビット数Ｓよりも上位プレーンの係数については、ＲＯＩ符号化の選択領域であると判断してシフトビット数Ｓだけシフトダウンを行う。このような処理によって選択領域／非選択領域のビット表現を揃えた後、ビットモデリング復号化部２３は、ステップＳ４８に動作を移行する。
【００７７】
ステップＳ４５： 式評価部２７は、画像圧縮ファイル内から数式データを読み出す。
【００７８】
ステップＳ４６： 式評価部２７は、数式データについて式評価を行い、選択領域の左端および右端を行単位にビットモデリング復号化部２３に伝達する。
【００７９】
ステップＳ４７： ビットモデリング復号化部２３は、この左端および右端に基づいて選択領域を抽出し、選択領域のビットプレーン（復号化変換係数）をシフトビット数Ｓだけシフトダウンする。
【００８０】
ステップＳ４８： 逆量子化部２４は、符号化時の量子化ステップサイズを復号化変換係数に乗じて、逆量子化処理を行う。なお、符号化時の量子化ステップサイズが『１』の場合、逆量子化部２４は、この逆量子化処理を省く。
【００８１】
ステップＳ４９： 逆ウェーブレット変換部２６は、逆量子化部２４で処理された復号化変換係数を取得する。逆ウェーブレット変換部２６は、この復号化変換係数を逆ウェーブレット変換（サブバンド合成）して、復号化画像データに変換する。
上述したような一連の動作により、復号化画像データが完成する。
【００８２】
［本実施形態の効果など］
本実施形態では、数式データを使用して、選択領域の区分を行う。このような数式データのデータ量は、扱う画像データの縦横画素数が増えても変化しない。したがって、式評価部１９では、データ量が略一定な式データを扱えばよく、データ量の変化するマスク画像をバッファリングして扱う従来例に比べて、ＲＯＩ処理系のインプリメントを単純化することができる。
【００８３】
また、数式データのデータ量は、マスク画像に比べて極めて小さい。したがって、マスク画像を扱う従来例に比べて、ＲＯＩ処理系におけるデータ保持の負荷を小さくすることができる。また、数式格納部２０から式評価部１９への数式データの転送負荷を小さくすることもできる。
【００８４】
さらに、簡単な座標変換を施すことにより、数式データを複数のサブバンド分割領域に迅速に適用することができる。
【００８５】
また、本実施形態では、画像内からエッジの鮮明な主要被写体を見つけ出して、その主要被写体のエッジに沿って、選択領域を適切に設定できる。
【００８６】
さらに、本実施形態では、画像内から色境界の鮮明な主要被写体を見つけ出して、その色境界に沿って、選択領域を適切に設定できる。
【００８７】
また、本実施形態では、空間周波数分布の特異な領域を見つけ出し、その領域の境界線に沿って、選択領域を適切に設定できる。
【００８８】
なお、本実施形態では、符号化時に使用した数式データを、画像圧縮ファイルに含める。この数式データは、マスク画像に比べて一般にデータ量が少ない。したがって、マスク画像を画像圧縮ファイルに含める場合に比べ、ファイル容量を確実に削減することができる。さらに、復号化時には、画像圧縮ファイル内の数式データを使用することにより、選択領域／非選択領域の区分を符号化時と同じ条件で正確に行うことが可能になる。
【００８９】
［実施形態の補足事項］
なお、上述した実施形態では、左端および右端の境界線を表す等式を使用して選択領域の判定を行っている。したがって、行単位に選択領域の左端および右端を迅速に決定できるという利点を有する。しかしながら、本発明はこれに限定されるものではない。例えば、選択領域の境界を規定する不等式データを使用してもよい。この場合、不等式データに画素位置を代入して不等号が成り立つか否かを式評価することにより、その画素位置の変換係数が選択領域に属するか否かを区分することができる。
【００９０】
また、上述した実施形態では、画像符号化装置１１および画像復号化装置２１を複数の処理部によりブロック構成する場合について説明した。しかしながら、本発明はこれに限定されるものではない。
例えば、コンピュータに、上述した各処理部の動作（例えば、図３，図４，図１０の流れ図）を実行させるための画像符号化プログラムや画像復号化プログラムを作成してもよい。これらのプログラムを記録媒体に記録することにより、第７の発明の記録媒体を得ることができる。
【００９１】
なお、上述した実施形態により、プログラムやその記録媒体に関する発明の実施行為が限定されるものではない。例えば、通信回線を介してプログラムを配送し、相手先のコンピュータのシステムメモリやハードディスクなどにプログラムを記録してもよい。このようなプログラム配送によって、プログラムの配送元は、プログラムやその記録媒体を、相手先の地に製造することができる。また、このようなプログラム配送により、配送元はプログラムやその記録媒体を相手先に譲渡することができる。さらに、プログラムが配送可能であることを通信回線を介して公表したり、プログラム格納場所の情報を提供するサービスを行うこともできる。
【００９２】
【発明の効果】
第１の発明では、選択領域の境界を規定する数式データを式評価して、変換係数が選択領域に属するか否かを区分する。そのため、次のような長所が得られる。
（１）数式データのデータ量は、画像の縦横画素数が増えても変化しない。したがって、ＲＯＩ処理系では、データ量が略一定な数式データを扱えばよく、データ量の変化するマスク画像をバッファリングして扱う従来例に比べて、ＲＯＩ処理系のインプリメントを単純化することができる。
（２）縦横の画素数の異なる画像に対しても、簡単な座標変換を施すことで数式データを迅速に流用できる。そのため、従来例に比べて、画像の縦横の画素数が変わるたびにマスク画像を作成するなどの手間がなく、その分の処理負担も軽くできる。
（３）数式データのデータ量は、マスク画像に比べて一般に小さい。したがって、マスク画像を扱う従来例に比べて、ＲＯＩ処理系におけるデータ保持の負荷を小さくすることができる。また、ＲＯＩ処理系へのデータ転送の負荷も小さくすることができる。
（４）簡単な座標変換を施すことで、数式データを複数のサブバンド分割領域に適用することができる。したがって、本発明では、従来例のようなマスク画像をサンプル数に合わせて解像度変換する手間が生じない。
これら長所の相乗作用により、本発明では、画像の符号化に際して、選択領域／非選択領域の区分の処理負荷を適切に軽減することが可能になる。
【００９３】
第２の発明では、画像のエッジ検出に基づいて数式データを作成する。したがって、画像内からエッジの鮮明な主要被写体を見つけ出して、その主要被写体のエッジに沿う形で、選択領域を適切に設定することが可能になる。
【００９４】
第３の発明では、画像の色境界の検出に基づいて数式データを作成する。したがって、画像内から色境界の明確な主要被写体を見つけ出して、その主要被写体の色境界線に沿う形で、選択領域を適切に設定することが可能になる。
【００９５】
第４の発明では、画像の空間周波数成分の検出に基づいて数式データを作成する。したがって、画像内から空間周波数成分の異質な主要被写体を見つけ出して、その主要被写体に沿う形で、選択領域を適切に設定することが可能になる。
【００９６】
第５の発明の画像符号化装置側では、区分手段で使用した数式データを、画像圧縮ファイルに含める。この数式データは、マスク画像に比べて一般にデータ量が少ない。したがって、マスク画像を画像圧縮ファイルに含める場合に比べて、画像圧縮ファイルの容量を削減することができる。
一方、画像復号化装置側では、ファイル内の数式データを使用して選択領域／非選択領域の区分を行う。この場合、画像符号化装置側と同じ条件で選択領域の区分を正確に行うことが可能になる。
【００９７】
第６の発明の電子カメラは、第１から第５のいずれかの発明の画像符号化装置を具備する。したがって、画像の符号化に際して、選択領域／非選択領域の区分の処理時間を適切に軽減することが可能になる。その結果、電子カメラ内の画像処理時間を従来よりも短縮することが可能になり、より使い勝手の良い電子カメラを実現することが可能になる。
【００９８】
第７の発明の画像符号化プログラムをコンピュータで実行することにより、第１から第５のいずれかの発明の画像符号化装置を実現することができる。
【図面の簡単な説明】
【図１】電子カメラ１および画像符号化装置１１の構成を示すブロック図である。
【図２】画像復号化装置２１のブロック図である。
【図３】画像符号化装置１１の動作を説明する流れ図（１／２）である。
【図４】画像符号化装置１１の動作を説明する流れ図（２／２）である。
【図５】各サブバンド分割領域における座標変換の様子を示した図である。
【図６】スムージング処理の手順を説明する図（１／２）である。
【図７】スムージング処理の手順を説明する図（２／２）である。
【図８】境界線の区間分けを説明する図である。
【図９】境界線の区間分けを説明する図である。
【図１０】画像復号化装置２１の動作を説明する流れ図である。
【符号の説明】
１ 電子カメラ
２ 撮影レンズ
３ 撮像素子
４ 画像処理回路
５ 記録部
６ メモリカード
１１ 画像符号化装置
１２ 色変換部
１３ ウェーブレット変換部
１４ 量子化部
１５ ビットモデリング部
１６ 算術符号化部
１７ ビットストリーム生成部
１８ 数式作成部
１９ 式評価部
２０ 数式格納部
２１ 画像復号化装置
２２ 算術復号化部
２３ ビットモデリング復号化部
２４ 逆量子化部
２６ 逆ウェーブレット変換部
２７ 式評価部
Claims (6)
- 与えられた画像データを周波数分解して変換係数に変換する変換手段と、
前記変換手段により変換された前記変換係数を、「前記画像上の選択領域」および「それ以外の非選択領域」に領域区分する区分手段と、
前記選択領域に対し前記非選択領域よりも優先的に情報量を割り当てて、前記変換係数を符号化する符号化手段とを備え、
前記区分手段は、前記選択領域の境界を規定する数式データを式評価し、その式評価結果に基づいて前記変換係数が前記選択領域に属するか否かを区分するとともに、
前記区分手段は、
前記画像データに対してエッジ検出を行い、エッジ検出結果に基づいて輪郭線を決定し、前記輪郭線を近似表現する数式データを作成する数式作成手段と、
前記数式作成手段により作成された前記数式データを式評価し、その式評価結果に基づいて前記変換係数が前記選択領域に属するか否かを判定する式評価手段とを備えた
ことを特徴とする画像符号化装置。 - 与えられた画像データを周波数分解して変換係数に変換する変換手段と、
前記変換手段により変換された前記変換係数を、「前記画像上の選択領域」および「それ以外の非選択領域」に領域区分する区分手段と、
前記選択領域に対し前記非選択領域よりも優先的に情報量を割り当てて、前記変換係数を符号化する符号化手段とを備え、
前記区分手段は、前記選択領域の境界を規定する数式データを式評価し、その式評価結果に基づいて前記変換係数が前記選択領域に属するか否かを区分するとともに、
前記区分手段は、
前記画像データに対して色境界の検出を行い、色境界の検出結果に基づいて輪郭線を決定し、前記輪郭線を近似表現する数式データを作成する数式作成手段と、
前記数式作成手段により作成された前記数式データを式評価し、その式評価結果に基づいて前記変換係数が前記選択領域に属するか否かを判定する式評価手段とを備えた
ことを特徴とする画像符号化装置。 - 与えられた画像データを周波数分解して変換係数に変換する変換手段と、
前記変換手段により変換された前記変換係数を、「前記画像上の選択領域」および「それ以外の非選択領域」に領域区分する区分手段と、
前記選択領域に対し前記非選択領域よりも優先的に情報量を割り当てて、前記変換係数を符号化する符号化手段とを備え、
前記区分手段は、前記選択領域の境界を規定する数式データを式評価し、その式評価結果に基づいて前記変換係数が前記選択領域に属するか否かを区分するとともに、
前記区分手段は、
前記画像データに対して空間周波数成分の検出を行い、空間周波数成分の検出結果に基づいて輪郭線を決定し、前記輪郭線を近似表現する数式データを作成する数式作成手段と、
前記数式作成手段により作成された前記数式データを式評価し、その式評価結果に基づいて前記変換係数が前記選択領域に属するか否かを判定する式評価手段とを備えた
ことを特徴とする画像符号化装置。 - 請求項１ないし請求項３のいずれか１項に記載の画像符号化装置において、
前記符号化手段は、符号化された変換係数と、前記区分手段で使用した前記数式データとを併せて画像圧縮ファイルを形成する
ことを特徴とする画像符号化装置。 - 請求項１ないし請求項４のいずれか１項に記載の画像符号化装置と、
被写体を撮像して画像データを生成し、生成した画像データを前記画像符号化装置に与える撮像手段と
を備えたことを特徴とする電子カメラ。 - コンピュータを、請求項１ないし請求項４のいずれか１項に記載の画像符号化装置における前記変換手段、前記区分手段、および前記符号化手段として機能させるための画像符号化プログラム
を記録したことを特徴とする機械読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000390837A JP4517504B2 (ja) | 2000-12-22 | 2000-12-22 | 画像符号化装置、電子カメラおよび記録媒体 |
| US10/024,279 US6891975B2 (en) | 2000-12-22 | 2001-12-21 | Image encoding device, image decoding device, electronic camera and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000390837A JP4517504B2 (ja) | 2000-12-22 | 2000-12-22 | 画像符号化装置、電子カメラおよび記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002199401A JP2002199401A (ja) | 2002-07-12 |
| JP4517504B2 true JP4517504B2 (ja) | 2010-08-04 |
Family
ID=18857125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000390837A Expired - Lifetime JP4517504B2 (ja) | 2000-12-22 | 2000-12-22 | 画像符号化装置、電子カメラおよび記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6891975B2 (ja) |
| JP (1) | JP4517504B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3858528B2 (ja) * | 1999-08-17 | 2006-12-13 | 株式会社ニコン | 電子カメラ、および画像処理プログラムを記録した記録媒体 |
| US7194128B1 (en) * | 2000-07-26 | 2007-03-20 | Lockheed Martin Corporation | Data compression using principal components transformation |
| JP3966461B2 (ja) * | 2002-08-09 | 2007-08-29 | 株式会社リコー | 電子カメラ装置 |
| JP2011217347A (ja) * | 2010-03-16 | 2011-10-27 | Sony Corp | 画像符号化装置とその方法、画像復号化装置とその方法、およびプログラム |
| JP2014060543A (ja) * | 2012-09-14 | 2014-04-03 | Sony Corp | エンコード装置、デコード装置およびスイッチャ装置 |
| JP2015088910A (ja) * | 2013-10-30 | 2015-05-07 | 株式会社沖データ | 画像処理装置 |
| US10311752B2 (en) | 2017-02-03 | 2019-06-04 | Honeywell International Inc. | Compressed edge map representation for image aided navigation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6387090A (ja) * | 1986-09-30 | 1988-04-18 | Yokogawa Medical Syst Ltd | 画像情報の圧縮伸張方法 |
| JPH06141191A (ja) * | 1992-10-23 | 1994-05-20 | Canon Inc | 画像処理装置 |
| JPH07222048A (ja) * | 1994-02-02 | 1995-08-18 | Hitachi Ltd | 撮像装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05167998A (ja) * | 1991-12-16 | 1993-07-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像の符号化制御処理方法 |
| US5802213A (en) * | 1994-10-18 | 1998-09-01 | Intel Corporation | Encoding video signals using local quantization levels |
| US5835149A (en) * | 1995-06-06 | 1998-11-10 | Intel Corporation | Bit allocation in a coded video sequence |
| JP3249729B2 (ja) * | 1995-10-24 | 2002-01-21 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| WO1997016030A1 (en) * | 1995-10-25 | 1997-05-01 | Philips Electronics N.V. | Segmented picture coding method and system, and corresponding decoding method and system |
| JPH10177652A (ja) | 1996-12-18 | 1998-06-30 | Hitachi Medical Corp | 領域認識方法 |
| JP3915272B2 (ja) * | 1998-10-06 | 2007-05-16 | 株式会社ニコン | 量子化方法，および量子化プログラムを記録した記録媒体 |
| US6351491B1 (en) * | 1999-06-23 | 2002-02-26 | Sarnoff Corporation | Apparatus and method for optimizing the rate control for multiscale entropy encoding |
-
2000
- 2000-12-22 JP JP2000390837A patent/JP4517504B2/ja not_active Expired - Lifetime
-
2001
- 2001-12-21 US US10/024,279 patent/US6891975B2/en not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6387090A (ja) * | 1986-09-30 | 1988-04-18 | Yokogawa Medical Syst Ltd | 画像情報の圧縮伸張方法 |
| JPH06141191A (ja) * | 1992-10-23 | 1994-05-20 | Canon Inc | 画像処理装置 |
| JPH07222048A (ja) * | 1994-02-02 | 1995-08-18 | Hitachi Ltd | 撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020081036A1 (en) | 2002-06-27 |
| JP2002199401A (ja) | 2002-07-12 |
| US6891975B2 (en) | 2005-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7076104B1 (en) | Compression and decompression with wavelet style and binary style including quantization by device-dependent parser | |
| US6757437B1 (en) | Compression/decompression using reversible embedded wavelets | |
| JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
| US6298163B1 (en) | Apparatus and method for encoding wavelet trees generated by a wavelet-based coding method using band dependent tables | |
| US6298167B1 (en) | Vector wavelet organization | |
| US7167592B2 (en) | Method and apparatus for compression using reversible wavelet transforms and an embedded codestream | |
| Shukla et al. | A survey on lossless image compression methods | |
| US20060155531A1 (en) | Transform coding system and method | |
| JP2005218124A (ja) | データ圧縮システム | |
| JP4517504B2 (ja) | 画像符号化装置、電子カメラおよび記録媒体 | |
| JP2004505520A (ja) | ウェーブレット分解を用いたビデオ符号化方法 | |
| US20030026488A1 (en) | Method of coding image data using region of interest | |
| JP2004166254A (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
| Hussin et al. | A comparative study on improvement of image compression method using hybrid DCT-DWT techniques with huffman encoding for wireless sensor network application | |
| JP2004186902A (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
| JP4054430B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
| Iwasokun | Lossless JPEG-Huffman model for digital image compression | |
| JP2004289284A (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
| JP3775180B2 (ja) | 画像処理方法及び装置 | |
| JP5843450B2 (ja) | 画像処理装置及びその制御方法 | |
| JP4114144B2 (ja) | 画像符号化装置、画像符号化プログラム、及び画像復号化プログラム | |
| JP2007049485A (ja) | 離散ウェーブレット変換装置及び方法、並びにプログラム及び記録媒体 | |
| JP4077706B2 (ja) | インターレース画像の処理装置及び処理方法 | |
| JP2001045482A (ja) | 画像処理装置及び方法 | |
| Benazza-Benyahia et al. | Nonlinear bank filters adapted for progressive and exact image reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100510 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4517504 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |