JP6722995B2 - 符号化方法及び符号化装置、撮像装置及びプログラム - Google Patents

Description

本発明は、符号化方法及び符号化装置、撮像装置及びプログラムに関し、特に、動画又は静止画のＲＡＷ画像の記録を扱う技術に関する。

従来の撮像装置では、撮像センサーによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、編集技術を有する上級者によって好んで使われている。また、近年、ＲＡＷ画像の記録は、静止画のみならず、動画にも適用されている。ＲＡＷ画像の動画記録時は、所定の記録媒体に一定時間の動画像が記録できるよう、データ量を所望の符号量へ圧縮する制御が必要となる。

しかし、符号量制御、および量子化制御が適切に行われなかった場合、所定の記録媒体への転送レートを超えるデータ量が発生すると、記録媒体上のデータが破損してしまう。また、記録媒体に書き込めた場合でも、リアルタイムの再生保証のビットレートを超えてしまうと、再生装置で正しく再生できなくなってしまう。このような場合に備え、符号化後にデータ量を削減できる仕組みを設けておく必要がある。ＲＡＷ画像の圧縮方式は、符号化によるブロック歪が発生しないよう、ＪＰＥＧ２０００のように、ブロック単位にＤＣＴをかけて圧縮せずに、ウェーブレット変換等の周波数変換を用いて、周波数帯であるサブバンドに分解し、各サブバンドを圧縮する方式が適していると考えられる。ＪＰＥＧ２０００における、符号化後にデータ量を削減可能な撮像装置の構成は、例えば特許文献１に記載されている。ＪＰＥＧ２０００では、圧縮符号化に、エンベッド符号化であるＥＢＣＯＴ(Embedded Block Coding with Optimized Truncation)を採用し、画面内の矩形ブロック毎のビットプレーン単位に符号化しているため、符号化後に重要度の低いビットプレーンを破棄する仕組みがある。また、レイヤ構造を持っており、重要度の低いレイヤを破棄する仕組みがあり、これらの技術を使用することで、符号化後にデータ量を削減することが可能となっている。

特開２００４−２９７１９５号公報

しかし、ＥＢＣＯＴは処理が重く、演算量も膨大であるため、全ての符号化に適用することは難しく、特に、リアルタイム処理を要求される組み込み機器には適していない。また、レイヤ構造を採用するとオーバーヘッドが発生するため、必ずレイヤ構造を用いるとは限らない。

特許文献１に記載された技術は、サブバンドに優先順位をつけて、順に符号化ストリームを構成し、所定のサイズを超えたら、終了コードを挿入して以後のデータを打ち切り、再生時に、終了コード以後のデータを０データとして復号処理を行うものである。この復号処理には特殊なデコーダが必要となり、特に、複数サブバンドが打ち切られた場合に、データ中から終了コードを探索しないと打ち切られたサブバンドが把握できない、という課題がある。

本発明は上記の問題点に鑑みて成されたもので、処理の重いエンベデッド符号化であるＥＢＣＯＴを用いずに、符号化後にデータ量を調整し、デコーダの通常処理で、または簡単な処理をデコーダに追加することで、再生可能な符号化ストリームを生成することが可能な符号化方法及び符号化装置、撮像装置及びプログラムを提供することを目的としている。

上記目的を達成するために本発明は以下の構成を有する。すなわち、本発明の一側面によれば、
画像データの成分ごとにウェーブレット変換する変換工程と、
前記変換工程による変換後のデータをサブバンドごとに符号化する符号化工程と、
前記符号化工程により符号化した前記画像データの符号化データの合計符号量が閾値を超えている場合には、前記画像データの符号化データの合計符号量が前記閾値以下となるように、優先度が低いサブバンドから順に、サブバンド単位で一部のサブバンドの符号化データを破棄し、一部のサブバンドの符号化データが破棄された符号化データを、符号化後の画像データとして記録媒体に記録するように制御する制御工程と
を有し、
前記制御工程では、全サブバンドについて各サブバンドのデータ長を示すサブバンドサイズ情報を含むヘッダ部と、符号化画像データを含む画像データ部とから構成される形式で、前記符号化後の画像データを記録し、
前記制御工程では、前記破棄されたサブバンドについては、前記画像データ部には符号化データを記録せず、前記ヘッダ部のサブバンドサイズ情報には０を示す情報を記録することを特徴とする符号化方法が提供される。
また本発明の他の側面によれば、サブバンド毎に符号化された符号化画像データを再生する再生装置であって、
前記符号化画像データに、復号処理、逆量子化処理、ウェーブレット合成処理を含む再生処理を施して、サブバンド毎に符号化された符号化画像データから、画像データの成分ごとのプレーンデータを生成する処理手段、を有し、
前記符号化画像データは、全サブバンドについて各サブバンドのデータ長を示すサブバンドサイズ情報を含むヘッダ部と、前記符号化画像データを含む画像データ部とから構成され、
前記サブバンドサイズ情報の値が０であるサブバンドについては、前記画像データ部に符号化画像データが含まれず、
前記処理手段は、前記サブバンドサイズ情報の値が０であるサブバンドについては、当該サブバンドの係数データをすべて０として前記再生処理を行うことを特徴とする再生装置が提供される。

本発明によれば、簡単な仕組みで、ＲＡＷ画像の符号化後にデータ量を調整することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 第１の実施形態の画素配列を示す図である。 第１の実施形態の各サブバンドを示す概念図である。 第１の実施形態の1フレームの符号化ストリームの構造を示す概念図である。 第１の実施形態のオーバーフロー制御部の処理を示すフローチャート。 第１の実施形態の各サブバンドの優先度を示す図である。 第１の実施形態の符号量の積算値を示す概念図である。 第１の実施形態のコピーデータを含む、符号化ストリームのデータ構造を示す概念図である。 第２の実施形態に係る撮像装置の構成例を示すブロック図である。 （Ａ）第２の実施形態の符号化ストリームの構造と、置き換え指示に係るパラメータを示す概念図である。（Ｂ）第２の実施形態の符号化ストリームの構造を示す概念図である。 第２の実施形態の符号化ストリームを再生可能な再生装置の構成例を示すブロック図である。 （Ａ）第３の実施形態のセンサー信号処理部のコンポーネント変換の過程を示す概念図である。（Ｂ）第３の実施形態のサブバンドの優先度を示す図である。 第４の実施形態のサブバンドの優先度を示す図である。 第４の実施形態のオーバーフロー制御部のフローチャートである。 第４の実施形態の符号化ストリームの符号量の積算値を示す概念図である。 第４の実施形態の符号化ストリームの符号量の積算値を示す概念図である。 第５の実施形態のサブバンドを示す概念図である。 第５の実施形態のサブバンドの優先度を示す図である。 第５の実施形態の符号化ストリームの構造を示す概念図である。

［実施形態１］
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。本符号化装置は、入力された映像を可変サイズのブロックに分割して符号化を行うことで符号化ストリームを生成し、記録するものである。

＜符号化処理＞
図１において、制御部１０９は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサー部１０２上に結像する。撮像センサー部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する。図２（１）は、撮像センサー部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図２に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤー配列と呼ばれる。

撮像センサー部１０２によって変換された電気信号は、センサー信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサー部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像或いはＲＡＷデータと称する。

その後、図２（２）のようにベイヤー配列で入力され、処理したＲＡＷ画像を、図２（３）のように、各画素に分離し、それぞれの成分の画素で面（プレーン）を形成するよう、入力画像バッファ１０４へと出力する。ただしＧ成分の画素はベイヤー配列に２つ含まれているため別々の成分として扱い、それぞれＧ１，Ｇ２と呼ぶ。入力画像バッファ１０４は、複数画素ラインのＲＡＷ画像を入力可能である。ＲＡＷ画像が入力されると、画像符号化部１１６は、入力画像バッファ１０４に保持されたＲＡＷ画像を入力し、符号化処理を開始する。画像符号化部１１６に入力されるデータをここでは画像データと呼ぶ。

周波数変換部１０５は、入力画像バッファ１０４に保持されたＲＡＷ画像を入力し、離散ウェーブレット変換を行い、周波数帯であるサブバンドに変換し、量子化部１０６へと出力する。周波数変換部１０５の出力は、サブバンドごとの離散ウェーブレット変換係数（以下、変換係数とも呼ぶ。）となる。量子化設定部１１０は、制御部１０９のから指示された量子化ステップを、量子化部１０６へと通知する。量子化部１０６は、量子化設定部１１０から通知された量子化ステップを用いて、周波数変換部１０５から入力された変換係数を量子化し、符号化部１０７へと出力する。符号化部１０７は、量子化部１０６で量子化された変換係数をたとえばエントロピー符号化などを用いて圧縮符号化し、符号化データを符号化データ保持部１０８へと出力する。本実施形態では、符号化部１０７では、圧縮符号化を、ゴロム符号化のようなエントロピー符号化を用いて実施することとする。そして、圧縮符号化された符号化ストリームの発生符号量を、符号化ストリーム形成部１１２、およびオーバーフロー判定部１１３へと出力する。

最大符号量設定部１１１は、制御部１０９から指示された、画質優先の記録モードや、記録時間優先の記録モードなど、各種記録モードから決まる圧縮率に応じて、１ピクチャに割り当てる最大符号量を算出し、オーバーフロー制御部１１３へと指示する。あるいは最大符号量設定部１１１は、制御部１０９から設定された最大符号量の値を記憶してオーバーフロー制御部１１３へと指示してもよい。オーバーフロー制御部１１３は、符号化部１０７で全てのサブバンドを符号化後、全てのサブバンドの発生符号量を積算し、最大符号量設定部１１１より通知された最大符号量を超えているかどうかを判定する。超えている場合は符号量の小さいコピーデータに置き換えるサブバンドを決定する。そして、コピーデータに置き換える対象のサブバンドを、コピーデータ生成部１１４、および符号化ストリーム形成部１１２へと通知し、コピーデータ生成部１１４からコピーデータに置き換えたサブバンドの符号量を受け取る。このようにしてオーバーフロー制御部１１３は、符号量を制御する符号量制御を行う。

コピーデータ生成部１１４は、通知されたサブバンドについて、全係数を0データとして符号化部１０７と同様の符号化方法で符号化したデータ（以後、コピーデータとする）を生成し、コピーデータ保持部１１５へと出力する。符号化ストリーム形成部１１２は、オーバーフロー制御部１１３の指示に従って、コピーデータに置き換える対象サブバンドは、コピーデータ保持部１１５から、それ以外のサブバンドは符号化データ保持部１０８からデータを入力し、符号化ストリームを形成する。

＜符号化ストリームの構造＞
図３は、離散ウェーブレット変換（ＤＷＴ）を行った際の、各サブバンドを示す概念図であり、左上が最も低域（すなわち周波数帯域が低い）のサブバンドであり、右下にいくほど高域（すなわち周波数帯域が高い）のサブバンドである。ここでは、水平垂直とも低周波成分であるサブバンドＬＬについてＤＷＴを水平・垂直それぞれ２回行った場合を示しており、分解レベル（Ｌｖ）２までのサブバンドが存在している。図３では、入力画像３０１が、ウェーブレット変換によりサブバンド３０２に分解されている。サブバンド３０２のうち、２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨは、サブバンドの分解Ｌｖが２である、サブバンドである。同様に、１ＨＬ，１ＬＨ，１ＨＨは、サブバンドの分解Ｌｖが１である、サブバンドである。なお原画像は便宜的に分解レベル０の低周波成分である０ＬＬとみなす。なおＪＰＥＧ２０００では分解レベルは更に深くなり得るが、分解レベルの数に関わらず本実施形態に係る発明は実施可能であるので、本例ではレベル２までの例示にとどめる。

１ピクチャの符号化を行うと、ベイヤー画素のＲ１画素プレーン、Ｂ１画素プレーン、Ｇ２画素プレーンの、４つの画素プレーンに対して、７つのサブバンドが生成されるため、全部で２８のサブバンドが生成されることになる。なおこの例では１ピクチャ（入力画像全体）を符号化の対象としているが、入力画像をタイルに分割して各タイルを単位として符号化を行うこともできる。もちろんその場合にも本実施形態に係る発明を適用できる。

図４は、符号化ストリーム形成部１１２で形成される1フレームの符号化ストリームの構造を示す概念図である。ここでは、図３と同様に、ＤＷＴを水平・垂直それぞれ２回行った場合を示しており、分解Ｌｖ２までのサブバンドが存在している。符号化ストリーム４０１は各色成分の画素プレーンを含む。符号化データ４０２は、Ｒの画素プレーンに含まれる各サブバンドの符号化データであり、すべてのレベルのサブバンドを含んでいる。符号化ストリーム形成部１１２は、先頭にデコードに必要な情報を含むヘッダを付加した後、色成分ごとの画素プレーンをひとかたまりとして順番に配置するよう、符号化ストリームを出力する。画素プレーン内の７つのサブバンドの配置は、低域から順番に配置される。

＜オーバーフロー制御処理＞
図５は、オーバーフロー制御部１１３の処理を示すフローチャートである。図５を用いて、オーバーフロー制御の処理内容を示す。なおオーバーフロー制御部１１３はコンピュータ（プロセッサ）によりプログラムを実行することで実現することもできる。
ステップ５０１では、符号化部１０７より、サブバンド単位の発生符号量を取得する。
ステップ５０２では、ピクチャに含まれる全てのサブバンドの発生符号量を取得したかどうかを判定し、判定結果で分岐する。全てのサブバンドの発生符号量を取得している場合はステップ５０３へ、そうでなければ、他のサブバンドの発生符号量を取得すべくステップ５０１へと分岐する。
ステップ５０３では、最大符号量設定部１１１より閾値である最大発生符号量を取得する。
ステップ５０４では、ピクチャに含まれる全てのサブバンドの発生符号量の積算値すなわち合計符号量が、ステップ５０３で取得した最大発生符号量より多いかどうか判定し、その判定結果で分岐する。発生符号量の積算値のほうが多い場合はステップ５０５へ、そうでなければ、処理を終了する。すなわち、合計符号量が閾値以下となるまでステップ５０４〜５０９のループが実行される。
ステップ５０５では、置き換え対象としていないサブバンドのうち、優先度の低いサブバンドを置き換え対象のサブバンドとする。決定処理について、詳細は後述する。
ステップ５０６では、ステップ５０５で決定された置き換え対象のサブバンドのコピーデータを生成するように、コピーデータ生成部１１４へと通知する。
ステップ５０７では、置き換え対象サブバンドを符号化ストリーム生成部１１２へと通知する。
ステップ５０８では、コピーデータのサイズをコピーデータ生成部１１４より取得する。
ステップ５０９では、置き換え対象としたサブバンドの符号量を、コピーデータのサイズで更新する。

＜置き換え対象サブバンド決定処理＞
ここでステップ５０５の置き換え対象サブバンドの決定処理について説明する。オーバーフロー制御部１１３は、各サブバンドに優先順位を付け、優先順位の低いものから順にコピーデータ置き換え対象とする。図６は、本実施形態のオーバーフロー制御部における、各サブバンドの優先度を示す図である。各サブバンドの優先度はユニークに順位付けされ、サブバンドの分解レベル（Ｌｖ）、画素プレーンの順で、優先順位が付けられる。サブバンドの分解Ｌｖについては、分解Ｌｖが高いサブバンドのほうが、優先度が高くなる。同一分解Ｌｖ内の優先度については、画素プレーンに応じて異なり、Ｇ１／Ｇ２成分が高く、Ｒ／Ｂ成分が低くなる。各画素プレーンのサブバンドの成分によっても異なり、ＬＬ（Ｌｖ２のみ）の優先度が高く、ＨＬ、ＬＨ、ＨＨの順となる。図６の例では、Ｂ成分のサブバンド１ＨＨが最も優先度が低く、Ｇ１成分のサブバンド２ＬＬが最も優先度が高い。なお図６の例では、同一の画素プレーンかつ同一の分解レベルではサブバンドＨＬよりサブバンドＬＨの優先度の方が低いが、この順序は逆であってもよい。また優先度は予め決定され固定的に定めてもよいし、プログラム可能に定めてもよい。オーバーフロー制御部１１３は、定められた優先順位に従って図５の手順を実行する。

図７は、設定された最大発生符号量よりも、各サブバンドの発生符号量の積算値が超えている場合の、置き換え処理前の発生符号量の積算値と、置き換え後の発生符号量の積算値を示す図である。７０１は、置き換え処理前の符号化ストリームの発生符号量である。７０２は、置き換え処理後の符号化ストリームの発生符号量である。７０３は、最大符号量制御部１１１より通知される最大符号量である。ここでは、図６に示したサブバンドの優先順位にしたがって、Ｒの画素プレーンおよびＢの画素プレーンそれぞれに含まれる、分解Ｌｖ１のＬＨ成分、ＨＨ成分の４サブバンドをコピーデータに置き換えることで、最大発生符号量以内に符号量の積算が抑えられていることを示している。コピーデータへの置き換えは、図５の手順にしたがって、ステップ５０４が満たされるまで、図６に示した優先度の最も低いサブバンドから順に行われる。図７は、最初に最低優先度であるＢ成分の１ＨＨサブバンドをコピーデータに置換し、順次Ｒ成分の１ＨＨサブバンド、Ｂ成分の１ＬＨサブバンド、Ｒ成分の１ＬＨサブバンドをコピーデータに置換し、その時点で符号量積算値が最大符号量以下となったことを示している。

図８は、コピーデータを含む、符号化ストリームのデータ構造を示す概念図である。図８を用いて、コピーデータ置き換え指示があった場合の、符号化ストリーム形成部１１２の処理を示す。図７と同様に、ここでは、Ｒの画素プレーン、およびＢの画素プレーンに含まれる、分解Ｌｖ１のＬＨ成分、ＨＨ成分の、計４サブバンドをコピーデータに置き換えているとする。符号化ストリーム８０１は、各色成分の画素プレーンを含む。Ｒの画素プレーンに含まれる、各サブバンドの符号化データ８０２においては、分解レベル１のＬＨ成分とＨＨ成分のサブバンドがコピーデータに置換されている。Ｂの画素プレーンに含まれる、各サブバンドの符号化データ８０３においても、分解レベル１のＬＨ成分とＨＨ成分のサブバンドがコピーデータに置換されている。

符号化ストリーム形成部１１２は、オーバーフロー制御部１１３から通知された置き換え対象サブバンドを示す情報に従って、Ｒの画素プレーン、およびＢの画素プレーンに含まれる分解Ｌｖ１のＬＨ成分、ＨＨ成分のサブバンドはコピーデータ保持部１１５より入力し、その他のサブバンドは符号化データ保持部１０８より入力する。そして、置き換え対象サブバンドを示す情報に従って、サブバンドの符号化データを対応するコピーデータで置換する。本例ではコピーデータは、置換されるサブバンドについてウェーブレット変換係数をすべて０としたデータの符号化データであり、このデータでサブバンドは置換される。このような符号化ストリームは、通常の離散ウェーブレット変換を用いて生成された符号化データそのものであるから、特殊なデコーダは不要で、一般的なデコーダで再生することが出来る。また、優先度の低いサブバンド（本例ではより高周波のサブバンド）から置き換えているため、画質劣化を最小限に抑えることが出来る。

以上のようにすることで、ピクチャに含まれる全サブバンドの符号化後に、画質劣化を最小限に抑えつつ、符号量を調整することが可能な撮像装置を提供することができる。

［実施形態２］
本実施形態は、実施形態１の構成に対して、コピーデータ生成部１１４とコピーデータ保持部１１５が省かれ、オーバーフロー制御部１１３は、データ破棄の指示を符号化ストリーム形成部１１２に対して行い、符号化ストリーム形成部１１２は、データ破棄の指示に応じて符号化ストリームを生成する点で相違する。その他のブロックについては実施形態１と同様の構成である。

図９は、本実施形態に係る撮像装置の構成例を示すブロック図である。オーバーフロー制御部１１３は、全てのサブバンドを符号化部１０７により符号化後、符号化部１０７から取得した全てのサブバンドの発生符号量を積算し、最大符号量設定部１１１より通知された最大符号量を超えているかどうかを判定し、超えている場合はデータを破棄するサブバンドを決定する。そして、データ破棄の対象サブバンドを、符号化ストリーム形成部１１２へと通知する。符号化ストリーム形成部１１２は、データ破棄の通知を受けると、ヘッダ上に、データを破棄したことを示すフラグを立てる。

＜ヘッダ構造と、置き換え指示＞
図１０（Ａ）は、本実施例における符号化ストリームの構造と、置き換え指示に係るパラメータを示す概念図である。符号化ストリーム１０００は、ヘッダ１００１と、符号化データ１００２とを含む。Replace_flag（置換フラグ）１００３は、データ破棄を示すフラグであり、全サブバンド分のフラグが存在する。Replace_flag１００３はヘッダ１００１に含まれている。符号化ストリーム形成部１１２は、まず全サブバンドのReplace_flagを0で設定する。そして、オーバーフロー制御部１１３よりサブバンドの指定と共にデータ破棄の指示を受けると、符号化ストリーム形成部１１２はデータ破棄の指示のあったサブバンドに対応するReplace_flagを１に設定する。データ破棄対象のサブバンドに対応するReplace_flagを全て１に設定した後、データ破棄対象外のサブバンドを符号化データ保持部１０８からデータを入力し、データ破棄対象外のサブバンドのみで符号化ストリームを形成する。また、ヘッダ１０００に上記のとおり設定したReplace_flag１００３を含める。

図１０（Ｂ）は、符号化ストリームのデータ構造である。ここでは、Ｂの画素プレーンに含まれる分解Ｌｖ１のＬＨ成分、ＨＨ成分のサブバンドがデータ破棄対象として指示を受けた場合を例に説明する。Replace_flag１００３は、Ｂの画素プレーンに含まれる分解Ｌｖ１のＬＨ成分、ＨＨ成分のサブバンドに対応する値のみ１となり、その他は０である。Ｂの画素プレーンに含まれる分解Ｌｖ１のＬＨ成分、ＨＨ成分のサブバンドの符号化データは、データ破棄対象のサブバンドであるため、符号化データ１００２に含まれない。このような符号化ストリームの再生方法について、詳細は後述する。Replace_flag１００３は、サブバンドを示す識別情報と対応付けて設定してもよいが、サブバンドの順序をあらかじめ決定しておき、その順序に従ってフラグの値のみを設定してもよい。

＜符号化ストリームの再生方法＞
図１１は、図９の符号化装置で生成した符号化ストリームを再生可能な再生装置の構成例を示すブロック図である。サブバンドの符号化データ１１０１は、符号化データを入力し復号処理を行う復号処理部１１０２に入力される。逆量子化処理部１１０３は、復号処理部１１０２で復号された係数を入力し逆量子化処理を行う。離散ウェーブレット合成処理部１１０４は、逆量子化処理部１１０３から各サブバンドの逆量子化後係数を入力し画素プレーンを形成する。また離散ウェーブレット合成処理部１１０４には、サブバンドの量子化後係数を全て０に置き換えた０データ１１０５も入力される。この置換フラグ（Replace_flag）の参照およびその値に応じた復号の制御は、例えば再生装置が有する不図示の入力制御部により行ってもよい。入力制御部は、ヘッダ１００１のReplace_flag１００３を参照し、Replace_flagが０のサブバンドについては、そのサブバンドの符号化データ１１０１を復号処理部１１０２に入力して復号させ、逆量子化処理した係数を、逆量子化処理部１１０３から離散ウェーブレット合成処理１１０４へと入力する。一方、Replace_flagが１のサブバンドについては、そのサブバンドの符号化データは記録時に破棄されているため、存在しない。そのため、入力制御部は、当該サブバンドの符号化データを復号処理、逆量子化処理する代わりに、０データ１１０５を離散ウェーブレット合成処理１１０４へと入力する。この入力制御部の機能は、離散ウェーブレット合成処理部１１０４が実行してもよい。

離散ウェーブレット合成処理１１０４は、サブバンドの符号化データが存在しない符号化ストリームでも、Replace_flagを用いることで、０データを入力として画像を再生する処理を実行することができる。また、複数のサブバンドのデータが破棄されている場合でも、Replace_flagを用いて符号化データの有無を簡単に判断することが出来る。

以上のようにすることで、Replace_flagを用いて再生する再生装置を必要とするが、コピーデータ生成処理無しで、ピクチャに含まれる全サブバンドの符号化後に、符号量を調整することが可能な撮像装置を提供することが出来る。

また、本実施形態では、Replace_flagを用いて再生する場合について述べたが、ヘッダ１００１にサブバンドの符号長を示すSyntax（subband_size）を有し、符号化ストリーム形成部１１２は、オーバーフロー制御部１１３よりサブバンドの指定と共にデータ破棄の指示を受けると、Replace_flagを用いずに、subband_size を０として符号化ストリームを設定する構成とし、再生装置は、subband_sizeが０のサブバンドについて、Replace_flagを用いて再生する場合と同様に０データを入力として画像を再生する処理を実行する構成についても、本実施形態の発明の範疇である。

［実施形態３］
本実施形態は、実施形態１の構成に対して、センサー信号処理部１０３にて、ベイヤー配列を、輝度成分Ｙと、色成分ＵとＶ、Ｇの高域成分であるＧＨの４プレーンにコンポーネント変換して入力画像バッファへと出力するものとし、その他のブロックについては実施形態１と同様の構成である。

図１２（Ａ）は、本実施形態における、センサー信号処理部１０３のコンポーネント変換の過程を示す図である。画素群１２０１は、ベイヤー配列に含まれる、Ｇ１，Ｇ２，Ｒ，Ｂの画素である。画素群１２０２は、Ｇ１とＧ２の画素をＧＨ、ＧＬ成分に変換した、ＧＨ，ＧＬ、Ｒ，Ｂの画素である。画素群１２０３は、ＧＬとＲ，Ｂの画をＹＵＶ変換した、ＧＨ、Ｙ，Ｕ，Ｖの画素である。ここでたとえばＹ成分は輝度成分、Ｕ成分はＹとＲとの色差成分、Ｖ成分はＹとＢとの色差成分である。センサー信号処理部１０３は、図２（Ｂ）のようにベイヤー配列で入力され、処理したＲＡＷ画像のＧ１，Ｇ２，Ｒ，Ｂの各画素１２０１のうち、Ｇ１とＧ２の相関を用いて、Ｇの高域成分であるＧＨと、低域成分であるＧＬに変換してＧＨ，ＧＬ，Ｒ，Ｂの画素１２０２を生成する。なお本例ではＧＨ，ＧＬはそれぞれ、ＧＨ＝（Ｇ１−Ｇ２）／２、ＧＬ＝（Ｇ１＋Ｇ２）／２で与えられる。

次に、ＧＨ，ＧＬ，Ｒ，Ｂの画素１２０２のうち、Ｇの低域成分であるＧＬと、Ｒ、ＢをＹ、Ｕ、Ｖの成分に色空間変換することで、ＧＨ、Ｙ、Ｕ、Ｖの画素１２０３を生成する。センサー信号処理部１０３は、ＧＨ、Ｙ、Ｕ、Ｖの画素１２０３の、それぞれの画素で面（プレーン）を形成するよう、入力画像バッファ１０４へと出力する。

図１２（Ｂ）は、本実施例におけるサブバンドの優先度を示す図である。実施例１同様、各サブバンドの優先度はユニークに順位付けされ、サブバンドの分解Ｌｖ、画素プレーンの順で、優先度が付けられる。サブバンドの分解Ｌｖについては、分解Ｌｖが高いサブバンドのほうが、優先度が高くなる。同一分解Ｌｖ内の優先度については、画素プレーンに応じて異なり、Ｙ成分が高く、ＧＨ成分、Ｒ／Ｂ成分の順となる。また、実施例１同様、各画素プレーンのサブバンドの成分によっても異なり、ＬＬ（最高レベルのみ、図１２（Ｂ）ではＬｖ２のみ）の優先度が高く、ＨＬ、ＬＨ、ＨＨの順となる。ベイヤー配列をＹＵＶ系の色空間にコンポーネント変換した場合にも、優先度の低いサブバンドから置き換えが可能となる。表色系が図１２のように変わる点を除き、図１と同様の構成により画像を符号化することができる。したがって、一般的な復号装置により符号化ストリームから画像を再生することができる。

以上のようにすることで、ベイヤー配列をＹＵＶ系の色空間にコンポーネント変換した場合にも、ピクチャに含まれる全サブバンドの符号化後に、画質劣化を最小限に抑えつつ、符号量を調整することが可能な撮像装置を提供することができる。

また、本実施形態では、実施形態１の構成に対して、センサー信号処理部１０３でコンポーネント変換を実施した場合について述べたが、実施形態２の構成に対して、センサー信号処理部１０３でコンポーネント変換を実施する構成についても、本実施形態の発明の範疇である。

なお実施形態２で説明したサブバンド単位の符号化データの破棄を、本実施形態に適用することもできる。

［実施形態４］
本実施形態は、実施形態１の構成に対して、各サブバンドの優先度をサブバンドごとにユニークではなくサブバンドのグループに付与する点で相違する。本実施形態の撮像装置の構成は実施形態１と共通であるが、オーバーフロー制御部１１３の動作は実施形態1と相違する。また再生装置の動作も、実施形態１と同様に、通常の再生装置のままである。オーバーフロー制御部１１３は、同一の優先度を持つサブバンドのグループから、コピーデータ置き換え対象のサブバンドを選び、符号化ストリーム形成部１１２はコピーデータを後ろにまとめて配置するように符号化ストリームを生成する構成である。その他のブロックについては実施形態１と同様の構成である。

＜サブバンドの優先度＞
オーバーフロー制御部１０３は、各サブバンドに優先順位を付け、符号化後のデータ量が所定値以下となるまで優先順位の低いサブバンドから順にコピーデータで置き換える。図１３は、本実施形態における各サブバンドの優先度を示す概念図である。Ｇ１およびＧ２の分解Ｌｖ２のサブバンドのうち、ＬＬ、ＬＨ、ＨＬ成分を、最も高い同一の優先度１を持つグループとし、Ｇ１およびＧ２の分解Ｌｖ２のサブバンドのうち、ＨＨ成分を、次の順位の同一の優先度２を持つグループとし、ＲおよびＢの分解Ｌｖ２のサブバンドのうち、ＬＬ、ＬＨ、ＨＬ成分を、さらに次の順位の同一の優先度３を持つグループとし、ＲおよびＢの分解Ｌｖ２のサブバンドのうち、ＨＨ成分を、さらに次の順位の同一の優先度４を持つグループとする。Ｇ１およびＧ２の分解Ｌｖ１のサブバンドのうち、ＬＨ、ＨＬ成分を、さらに次の順位の同一の優先度５を持つグループとし、Ｇ１およびＧ２の分解Ｌｖ１のサブバンドのうち、ＨＨ成分を、さらに次の順位の同一の優先度６を持つグループとし、ＲおよびＢの分解Ｌｖ１のサブバンドのうち、ＬＨ、ＨＬ成分を、さらに次の順位の同一の優先度７を持つグループとし、ＲおよびＢの分解Ｌｖ１のサブバンドのうち、ＨＨ成分を、最も低い順位の同一の優先度８を持つグループとする。本例では、各サブバンドは、全部で８つの優先度に分類される。

図１３においては、Ｇ１およびＧ２の分解Ｌｖ２のサブバンドＬＬ、ＬＨ、ＨＬのグループの優先度が最も高く、ＲおよびＢの分解Ｌｖ１のサブバンドＨＨのグループの優先度を持つグループの優先度が最も低い。このサブバンドの優先度付けは、例えば予め決定しておいてもよいし、変更可能に設定できてもよい。いずれにしても、オーバーフロー制御部１１３は、各サブバンドをその優先度に従ってコピーデータに置き換えることができる。

＜オーバーフロー制御＞
オーバーフロー制御部１１３は、上記の優先度に基づいて、優先順位の低いものから順にコピーデータ置き換え対象とする。図１４は、本実施形態におけるオーバーフロー制御部のサブバンド置き換え対処の決定方法を示すフローチャートである。すなわち、図５のステップ５０５において、本実施形態では図１４の手順を実行する。ステップ５０５〜５０９では、図１４の手順で決定した１以上のサブバンドを対象として処理が実行される。
ステップ１４０１では、まだコピーデータ置き換え対象としていないサブバンドのうち、最も優先度の低いグループに含まれるサブバンドを全て置き換え対象としても、符号量制御部より通知される最大符号量を超えるかどうかで分岐する。最初は最も優先度が低いグループが選択される。超える場合はステップ１４０２へ、そうでなければステップ１４０３へと分岐する。
ステップ１４０２では、コピーデータ置き換え対象としていないサブバンドのうち、最も優先度の低いグループに含まれるサブバンドを全て置き換え対象とする。
ステップ１４０３では、最大符号量設定部１１４より通知される最大符号量に最も近づくように、コピーデータ置き換え対象としていないサブバンドのうち、最も優先度の低いグループ（すなわちステップ１４０１でコピーデータへの置換対象としたグループ）に含まれるサブバンドの中から置き換え対象のサブバンドを選択する。選択方法は、例えば、取り得る全ての組み合わせの中から、最大符号量に最も近づく組み合わせを選ぶなどの方法を用いることで実現できる。たとえば、コピーデータへの置換前の符号データ量と、最大符号量との差を求める。そして着目グループに属する各サブバンドについて、コピーデータに置換した場合のデータ削減量を求める。このデータ削減量を組み合わせて、置換前の符号データ量と最大符号量との差よりも大きい値のうち、最小の値となるようなサブバンドの組み合わせを決定する。このサブバンドが、置き換え対象のサブバンドとなる。

図１５は、実施形態１のオーバーフロー制御部が生成するコピーデータを含む符号化ストリームと、本実施形態における、コピーデータを含む符号化ストリームの符号量の積算値を示す概念図である。コピーデータ置き換え前は、符号化ストリーム１５０１の符号量は、最大符号量設定部１１１より通知される最大符号量１５０４を超えている。本実施形態におけるコピーデータ置き換えにより、コピーデータ置き換え後の符号化ストリーム１５０２の符号量は、実施形態１のオーバーフロー制御部１１３で生成されるコピーデータ置き換え後の符号化ストリーム１５０３の符号量よりも大きく、かつ最大符号量１５０４以下である。である。

実施形態１のオーバーフロー制御部１１３による制御の下で符号化ストリーム形成部１１２により生成される、コピーデータ置き換え前の符号化ストリーム１５０３は、Ｒの分解Ｌｖ１のＬＨ成分、およびＨＨ成分、そしてＢの分解Ｌｖ１のＬＨ成分、ＨＨ成分のサブバンドの、計４つのサブバンドをコピーデータ置き換え対象としている。すなわち、個々のサブバンドの優先順位が低いものから順にコピーデータに置換し、最大符号量１５０４以下となった時点で、上記４つのサブバンドが置換対象となった。

一方、本実施形態のオーバーフロー制御部１５０３による制御の下で符号化ストリーム形成部１１２により生成されるコピーデータ置き換え前の符号化ストリーム１５０２は、Ｒの分解Ｌｖ１のＨＨ成分、そしてＢ画素の分解Ｌｖ１のＨＬ成分、ＨＨ成分のサブバンドの計３つのサブバンドをコピーデータ置き換え対象としている。すなわち、同一優先度を有するサブバンドであれば、そのうちから適切なサブバンドを選択して置換対象とすることで、選択するサブバンドをより適切なサブバンドとすることができる。

本実施形態のオーバーフロー制御部１１３の制御に基づいて符号化ストリーム形成部１１２により生成される符号化ストリーム１５０２の方が、コピーデータに置き換えられるサブバンドが少ないため、実施形態１のオーバーフロー制御部１１３の制御に基づいて生成される符号化ストリーム１５０３と比較して画質が向上する。

図１６は、本実施形態における符号化ストリームの構造を示す概念図である。図１５と同様に、ここでは、Ｒの分解Ｌｖ１のＨＨ成分、そしてＢ画素の分解Ｌｖ１のＨＬ成分、ＨＨ成分のサブバンドの計３つのサブバンドをコピーデータ置き換え対象としている。符号化ストリーム１６０１は、Ｒの画素プレーンに含まれる、各サブバンドの符号化データ１６０２と、Ｂの画素プレーンに含まれる、各サブバンドの符号化データ１６０３とを含む。符号化ストリーム形成部１１２は、符号化ストリーム上のサブバンドの配置を変え、Ｂの分解Ｌｖ１のＨＬ成分を、Ｂの分解Ｌｖ１のＬＨ成分の後ろに配置することで、コピーデータを符号化データの末尾にひとまとめにして付加する。

実施形態１の構成では、高域のサブバンドから順番にコピーデータに置き換えられていたため、おのずと符号化データの後ろにコピーデータが配置されるよう符号化ストリームが生成されていたが、本実施形態においても、符号化データの後ろにコピーデータが配置されるように符号化ストリームが生成される。

以上のようにすることで、サブバンドの優先度をグループ化し、コピーデータ置き換え対象サブバンドを選択できるようにすることで、ピクチャに含まれる全サブバンドの符号化後に、符号量を調整すると同時に、画質劣化を最小限に抑えることが可能な撮像装置を提供することが出来る。

なお実施形態２で説明したサブバンド単位の符号化データの破棄を、本実施形態に適用することもできる。また本実施形態を実施形態３のようにＹＵＶなどＲＧＢ以外の表色系について適用することもできる。

［実施形態５］
本実施形態は、実施形態１の構成に対して、入力画像バッファ１０４に画像を保持後、入力画像を複数の矩形であるタイルに分割し、タイル毎に離散ウェーブレット変換、量子化、符号化を行い、オーバーフロー制御部は、タイル毎のサブバンドに優先度を付けて、コピーデータ置き換え対象のサブバンドを決定するように制御する。その他のブロックについては実施形態１と同様の構成である。本実施形態では、入力画像を左右に２分割した２タイル構成を例に説明する。

図１７は、本実施例における離散ウェーブレット変換後のサブバンドを示す概念図である。入力画像１７０１は、1つ目のタイル１７０１と、２つ目のタイル１７０２とに分割される。タイル１７０２からは、離散ウェーブレット変換処理で各サブバンド１７０４が生成され、タイル１７０３については、離散ウェーブレット変換処理で各サブバンド１７０５が生成される。このように入力画像を複数のタイルに分割した場合は、タイル毎のサブバンドが生成される。

図１８は、本実施形態における各サブバンドの優先順位を示す概念図である。タイル内の各サブバンドの優先順位は実施形態１と同様である。各タイルの同一サブバンドの優先順位は等しい。例えば、タイル1のＢ画素に含まれるＬｖ１のＨＨ成分のサブバンドと、タイル２のＢ画素に含まれる Ｌｖ１のＨＨ成分のサブバンドの優先順位は等しい優先順位とする。また本例では各タイルにおけるサブバンドについては、実施形態１と同様にサブバンドごとに固有の優先順位が割り当てられているものとする。

オーバーフロー制御部１１３は、コピーデータ置き換え対象サブバンドを決定する際に、サブバンドの優先順位に従って、全タイルの同一サブバンドをまとめて置き換え対象とするように制御する。コピーデータ置き換え対象サブバンドを決定する際に、最初にタイル1のＢ画素に含まれるＬｖ１のＨＨ成分のサブバンドと、タイル２のＢ画素に含まれるＬｖ１のＨＨ成分のサブバンドをまとめて置き換え対象とするように制御する。サブバンドをコピーデータに置き換える手順は、実施形態１と同様に図５の手順や、或いは実施形態４と同様に図５及び図１４の手順であってよい。実施形態２，３に本実施形態を適用してタイル単位で符号化することもできる。ただし、上述したように、タイル間で対応するサブバンドについては、置き換え対象として同時にまとめて選択するか、あるいはまとめて選択から外す。

図１９は、本実施形態における符号化ストリームの構造を示す概念図である。ここでは、タイル１のＲ画素プレーンとＢ画素プレーンに含まれるＬｖ１のＬＨ成分とＨＨ成分のサブバンド、およびタイル１のＲ画素プレーンとＢ画素プレーンに含まれるＬｖ１のＬＨ成分とＨＨ成分のサブバンドがコピーデータの置き換え対象となった場合の符号化ストリームの構造を示している。タイル間で画質が異なってしまうと、タイル境界に歪みが見えてしまうが、本実施形態のオーバーフロー制御部１１３では、各タイルの同一サブバンドをまとめてコピーデータへ置き換えるため、タイル間で均一に画質を劣化させながら符号量を抑えるため、タイル境界部の歪みを無くすことができる。

以上のようにすることで、画面を複数のタイルに分割した場合にも、タイル境界部の歪みを出現させることなく、ピクチャに含まれる全サブバンドの符号化後に符号量を調整することが可能な撮像装置を、提供することが出来る。また本実施形態を、実施形態２乃至４に組み合わせて適用することもできる。

１０４ 入力画像バッファ、１０５ 周波数変換部、１０６ 量子化部、１０７ 符号化、１０８ 符号化データ保持部、１０９ 制御部、１１０ 量子化設定部、１１１ 最大符号量設定部、１１２ 符号化ストリーム形成部、１１３ オーバーフロー制御部、１１４ コピーデータ生成部、１１５ コピーデータ保持部、１１６ 画像符号化部

Claims (21)

1. 画像データの成分ごとにウェーブレット変換する変換工程と、
   前記変換工程による変換後のデータをサブバンドごとに符号化する符号化工程と、
   前記符号化工程により符号化した前記画像データの符号化データの合計符号量が閾値を超えている場合には、前記画像データの符号化データの合計符号量が前記閾値以下となるように、優先度が低いサブバンドから順に、サブバンド単位で一部のサブバンドの符号化データを破棄し、一部のサブバンドの符号化データが破棄された符号化データを、符号化後の画像データとして記録媒体に記録するように制御する制御工程と
   を有し、
   前記制御工程では、全サブバンドについて各サブバンドのデータ長を示すサブバンドサイズ情報を含むヘッダ部と、符号化画像データを含む画像データ部とから構成される形式で、前記符号化後の画像データを記録し、
   前記制御工程では、前記破棄されたサブバンドについては、前記画像データ部には符号化データを記録せず、前記ヘッダ部のサブバンドサイズ情報には０を示す情報を記録することを特徴とする符号化方法。
2. 前記制御工程では、前記サブバンドのグループごとに付された優先度に基づいて、前記優先度が低いグループから順に、当該グループのサブバンドすべてを破棄しても合計符号量が前記閾値を超える場合には、前記グループのサブバンドすべての前記符号化データを破棄し、当該グループのサブバンドすべてを破棄することにより合計符号量が前記閾値以下となる場合には、当該グループのサブバンドのうち、サブバンドの符号化データを破棄することにより前記合計符号量が前記閾値以下、かつ、最大となるサブバンドの符号化データを破棄することを特徴とする請求項１に記載の符号化方法。
3. 前記優先度は、前記成分と、前記サブバンドの周波数帯域に応じて決定されることを特徴とする請求項１または２に記載の符号化方法。
4. 前記優先度は、前記サブバンドが低域であるほど高いことを特徴とする請求項３に記載の符号化方法。
5. 前記画像データは、Ｇ１、Ｇ２、Ｒ、Ｂの４つの成分で構成されるベイヤー画素で構成され、
   前記優先度は、Ｇ１およびＧ２成分については同じであり、Ｒ成分、Ｂ成分の順で低くなることを特徴とする請求項１乃至４のいずれか一項に記載の符号化方法。
6. 前記画像データは、Ｇ成分の高域成分であるＧＨ成分と、Ｇ成分の低周波成分であるＧＬ成分とＲ成分とＢ成分とから生成された輝度成分であるＹ成分と、色差成分であるＵ、Ｖ成分とで構成され、
   前記優先度は、Ｙ成分、ＧＨ成分、U及びＶ成分の順で低くなることを特徴とする請求項１乃至４のいずれか一項に記載の符号化方法。
7. 前記変換工程では、前記画像データを、該画像データを構成するタイルの単位で離散ウェーブレット変換し、
   前記制御工程では、前記タイルが複数の場合には、複数のタイルの間で対応する前記サブバンドは、まとめて破棄することを特徴とする請求項１乃至６のいずれか一項に記載の符号化方法。
8. 低域のサブバンドから高域のサブバンドの順に配置した符号化ストリームを生成する工程をさらに有することを特徴とする請求項１乃至７のいずれか一項に記載の符号化方法。
9. 画像データの成分ごとにウェーブレット変換する変換手段と、
   前記変換手段による変換後のデータをサブバンドごとに符号化する符号化手段と、
   前記符号化手段により符号化した前記画像データの符号化データの合計符号量が閾値を超えている場合には、前記画像データの符号化データの合計符号量が前記閾値以下となるように、優先度が低いサブバンドから順に、サブバンド単位で一部のサブバンドの符号化データを破棄し、一部のサブバンドの符号化データが破棄された符号化データを、符号化後の画像データとして記録媒体に記録するように制御する制御手段と
   を有し、
   前記制御手段は、全サブバンドについて各サブバンドのデータ長を示すサブバンドサイズ情報を含むヘッダ部と、符号化画像データを含む画像データ部とから構成される形式で、前記符号化後の画像データを記録し、
   前記制御手段は、前記破棄されたサブバンドについては、前記画像データ部には符号化データを記録せず、前記ヘッダ部のサブバンドサイズ情報には０を示す情報を記録することを特徴とする符号化装置。
10. 前記制御手段は、前記サブバンドのグループごとに付された優先度に基づいて、前記優先度が低いグループから順に、当該グループのサブバンドすべてを破棄しても合計符号量が前記閾値を超える場合には前記グループのサブバンドすべての前記符号化データを破棄し、当該グループのサブバンドすべてを破棄することにより合計符号量が前記閾値以下となる場合には、当該グループのサブバンドのうち、サブバンドの符号化データを破棄することにより前記合計符号量が前記閾値以下、かつ、最大となるサブバンドの符号化データを破棄することを特徴とする請求項９に記載の符号化装置。
11. 前記優先度は、前記成分と、前記サブバンドの周波数帯域に応じて決定されることを特徴とする請求項９または１０に記載の符号化装置。
12. 前記優先度は、前記サブバンドが低域であるほど高いことを特徴とする請求項１１に記載の符号化装置。
13. 前記画像データは、Ｇ１、Ｇ２、Ｒ、Ｂの４つの成分で構成されるベイヤー画素で構成され、
    前記優先度は、Ｇ１およびＧ２成分については同じであり、Ｒ成分、Ｂ成分の順で低くなることを特徴とする請求項９乃至１２のいずれか一項に記載の符号化装置。
14. 前記画像データは、Ｇ成分の高域成分であるＧＨ成分と、Ｇ成分の低周波成分であるＧＬ成分とＲ成分とＢ成分とから生成された輝度成分であるＹ成分と、色差成分であるＵ、Ｖ成分とで構成され、
    前記優先度は、Ｙ成分、ＧＨ成分、U及びＶ成分の順で低くなることを特徴とする請求項９乃至１２のいずれか一項に記載の符号化装置。
15. 前記変換手段は、前記画像データを、該画像データを構成するタイルの単位で離散ウェーブレット変換し、
    前記制御手段は、前記タイルが複数の場合には、複数のタイルの間で対応する前記サブバンドは、まとめて破棄することを特徴とする請求項９乃至１４のいずれか一項に記載の符号化装置。
16. 低域のサブバンドから高域のサブバンドの順に配置した符号化ストリームを生成する手段をさらに有することを特徴とする請求項９乃至１５のいずれか一項に記載の符号化装置。
17. 画像を撮影して画像データを生成する撮像手段と、
    前記撮像手段により生成した画像データを入力とする請求項９乃至１６のいずれか一項に記載の符号化装置と、
    前記符号化装置により符号化された符号化データを記録する手段と
    を有することを特徴とする撮像装置。
18. コンピュータを、請求項９乃至１６のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。
19. サブバンド毎に符号化された符号化画像データを再生する再生装置であって、
    前記符号化画像データに、復号処理、逆量子化処理、ウェーブレット合成処理を含む再生処理を施して、サブバンド毎に符号化された符号化画像データから、画像データの成分ごとのプレーンデータを生成する処理手段、を有し、
    前記符号化画像データは、全サブバンドについて各サブバンドのデータ長を示すサブバンドサイズ情報を含むヘッダ部と、前記符号化画像データを含む画像データ部とから構成され、
    前記サブバンドサイズ情報の値が０であるサブバンドについては、前記画像データ部に符号化画像データが含まれず、
    前記処理手段は、前記サブバンドサイズ情報の値が０であるサブバンドについては、当該サブバンドの係数データをすべて０として前記再生処理を行うことを特徴とする再生装置。
20. 前記処理手段は、前記サブバンドサイズ情報の値が０であるサブバンドについては、復号処理、逆量子化処理を行わず、逆量子化後のサブバンドの係数データをすべて０として前記再生処理を行うことを特徴とする請求項１９に記載の再生装置。
21. 前記符号化画像データは、ＲＡＷ画像データの符号化画像データであることを特徴とする請求項１９または２０に記載の再生装置。

Images