JP2004128583A - 撮像装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】デジタルスチルカメラなどの撮像装置において、色分解用フィルタを有するイメージャで撮像することにより得られる、内部信号処理のなされていない生データを効率よく圧縮する。
【解決手段】原色フィルタや補色フィルタを有するイメージャ１０１の出力信号をＣＤＳ・Ａ／Ｄ変換部１０２によりデジタル化した生データは、各画素が１つの色の情報しか持たず、また、異色の画素が隣接しているため、隣接画素間の相関性は低い。画像プロセッサ１０３により、生データは同じ色の画素情報を集めた複数のプレーンデータに分割され、各プレーンデータはエンコーダ／デコーダ１０８によりＪＰＥＧ２０００準拠の圧縮符号化アルゴリズムにより圧縮される。各色のプレーンデータは隣接画素間の相関性が高いため、その圧縮効率は良好である。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ、独立したイメージスキャナ、複写機などに組み込まれたイメージスキャナなど、カラー画像を撮像するための撮像装置に係り、より詳細には、色分解して撮像するタイプのイメージャを使用した撮像装置に関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラに用いられるＣＣＤ型又はＭＯＳ型のイメージャ（撮像素子）は、一般に色分解用カラーフィルタを表面に有し、色分解して撮像するため、各画素で得られる情報は１つの色成分の情報のみである。そこで通常は、イメージャの各画素の残りの２つの色成分の情報を周辺画素の情報を用いて補間する処理（同時化処理、カラー補間処理）を行うことにより、イメージャの全ての画素について全ての色成分の情報を得ている。つまり、イメージャの画素数と同じ画素数のカラー画像データを得ている。なお、この同時化処理のほかに、ホワイトバランス処理やガンマ補正処理、エッジ強調などのためのエンハンス処理などの信号処理が行われるのが一般的である。このような信号処理後のカラー画像データは、ＪＰＥＧに代表される圧縮符号化アルゴリズムにより圧縮されてから記録媒体に記録されるのが一般的であるが、非圧縮で記録できる機種もある。
【０００３】
一眼レフ型デジタルスチルカメラなどの一部の高級機種では、画像データの記録モードとしてＲａｗデータ記録モードを備えたものがある。従来、このＲａｗデータ記録モードでは、イメージャの出力信号を単にデジタル信号に変換しただけのデータ（生データ，ｒａｗデータ）が、圧縮されることなく記録媒体に記録される。
【０００４】
イメージャにより得られた情報の圧縮に関しては、イメージャのカラーフィルタとしてベイヤ配列の原色フィルタ（図２（ａ）参照）を用い、イメージャの隣接するＲ画素とＧ画素の差信号及びＧ信号、隣接するＢ画素とＧ画素の差信号及びＧ信号の４信号をそれぞれ独立に圧縮する方法及び装置が特許文献１に記載されている。
【０００５】
デジタルスチルカメラやデジタルビデオカメラなどにおいては、画像データの圧縮にＪＰＥＧやＭＰＥＧが広く用いられているが、それに代わる新しい圧縮符号化アルゴリズムとしてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ　ＦＣＤ　１５４４４−１）とＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ　ＦＣＤ　１５４４４−３）が注目されている（例えば、非特許文献１参照）。
【０００６】
【特許文献１】
特表２００２−５１６５４０号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式　ＪＰＥＧ２０００」、株式会社トリケップス、２００１年２月１３日
【０００７】
【発明が解決しようとする課題】
前述したカメラ内部における信号処理の内容はメーカによって差異があり、またその詳細が公表されることは少ない。したがって、デジタルスチルカメラなどで撮影した画像データに対し、ユーザ側でフォトレタッチ・ソフトを用いて撮影目的や利用目的又はユーザの嗜好に応じたレタッチ処理を行いたい場合には、カメラ内部の信号処理による影響のない、イメージャで得られた生のデータを利用できることが望ましい。たとえ画像データの非可逆な圧縮が行われるとしても、カメラ内部の信号処理の影響がないことが望ましい。
【０００８】
上に述べた要望に応えるためのモードが前述のＲａｗデータ記録モードであるが、画像のデータ量が膨大になるという問題がある。イメージャの画素数が３００万画素クラスともなると、１枚の画像のデータ量が数ＭＢ以上にもなり、記録媒体の利用効率が極めて悪い。
【０００９】
特許文献１に記載の技術は、Ｒ−Ｇ，Ｂ−Ｇの差信号を得るための演算処理が行われるため、前述のカメラ内部の信号処理と同様の問題がある。
【００１０】
よって、本発明の主たる目的は、色分解して撮像するタイプのイメージャを用いた撮像装置において、装置内部の信号処理の影響がなく、かつ効率的に圧縮された画像データを得られるようにすることである。以下の説明から明らかなように、本発明は、前記目的のみならず他の多くの目的をも達成することができるものである。
【００１１】
【課題を解決するための手段】
本発明の１つの特徴は、請求項１に記載のように、色分解して撮像するタイプのイメージャと、前記イメージャで撮像することにより得られる生データを、同じ色の画素情報からなる複数のプレーンデータに分割する手段と、前記各色のプレーンデータを圧縮する圧縮符号化手段とを有する撮像装置にある。
【００１２】
本発明のもう１つの特徴は、請求項２に記載のように、請求項１に記載の構成において、前記圧縮符号化手段により、全ての色のプレーンデータが可逆圧縮されることにある。
【００１３】
本発明のもう１つの特徴は、請求項３に記載のように、請求項１に記載の構成において、前記圧縮符号化手段により、解像度への影響が大きい特定の色のプレーンデータが可逆圧縮され、他の色のプレーンデータが非可逆圧縮されることにある。
【００１４】
本発明のもう１つの特徴は、請求項４に記載のように、請求項１に記載の構成において、前記圧縮符号化手段により、全ての色のプレーンデータが非可逆圧縮されることにある。
【００１５】
本発明のもう１つの特徴は、請求項５に記載のように、請求項４に記載の構成に加え、解像度への影響が大きい特定の色のプレーンデータの圧縮率と、他の色のプレーンデータの圧縮率をそれぞれ独立に制御する制御手段を有することにある。
【００１６】
本発明のもう１つの特徴は、請求項６に記載のように、請求項５に記載の構成において、前記制御手段は、ユーザより解像度重視を指定された場合に、前記特定の色のプレーンデータの圧縮率を標準より低めに設定することにある。
【００１７】
本発明のもう１つの特徴は、請求項７に記載のように、請求項５に記載の構成において、前記制御手段は、ユーザより解像度重視を指定された場合に、前記特定の色のプレーンデータの圧縮率を標準より低めに設定するとともに前記他の色のプレーンデータの圧縮率を標準より高めに設定することにある。
【００１８】
本発明のもう１つの特徴は、請求項８に記載のように、請求項５に記載の構成において、前記制御手段は、ユーザより色再現性重視を指定された場合に、前記他の色のプレーンデータの圧縮率を標準より低めに設定することにある。
【００１９】
本発明のもう１つの特徴は、請求項９に記載のように、請求項５に記載の構成において、前記制御手段は、ユーザより色再現性重視を指定された場合に、前記他の色のプレーンデータの圧縮率を標準より低めに設定するとともに前記特定の色のプレーンデータの圧縮率を標準より高めに設定することにある。
【００２０】
本発明のもう１つの特徴は、請求項１０に記載のように、請求項４に記載の構成に加え、各色のプレーンデータの圧縮率をそれぞれ独立に制御する制御手段を有することにある。
【００２１】
本発明のもう１つの特徴は、請求項１１に記載のように、請求項１０に記載の構成に加え、各色のプレーンデータの圧縮率を決定するための情報を生データから取得する情報取得手段を有し、前記制御手段は前記情報取得手段により取得された情報に基づいて各色のプレーンデータの圧縮率を設定することにある。
【００２２】
本発明のもう１つの特徴は、請求項１２に記載のように、請求項１１に記載の構成において、前記情報取得手段は各色の高周波成分の多寡に関する情報を取得し、前記制御手段は高周波成分の少ない色のプレーンデータの圧縮率を標準より高めに設定することにある。
【００２３】
本発明のもう１つの特徴は、請求項１３に記載のように、請求項１１に記載の構成において、前記情報取得手段はホワイトバランスの評価値を取得し、前記制御手段は前記評価値に基づいて色成分の多寡を判定し、少ないと判定した色のプレーンデータの圧縮率を標準より高めに設定することにある。
【００２４】
本発明のもう１つの特徴は、請求項１４に記載のように、請求項１０に記載の構成において、前記制御手段はユーザからの指示に応じて各色のプレーンデータの圧縮率を設定することにある。
【００２５】
本発明のもう１つの特徴は、請求項１５に記載のように、請求項１乃至１４のいずれか１項に記載の構成において、前記圧縮手段はＪＰＥＧ２０００に準拠した圧縮符号化アルゴリズムによりプレーンデータを圧縮することにある。
【００２６】
本発明のもう１つの特徴は、請求項１６に記載のように、色分解して撮像するタイプのイメージャで撮像することにより得られた生データを、同じ色の画素情報からなる複数のプレーンデータに分割する処理と、前記各色のプレーンデータを圧縮する処理とを含む画像処理方法にある。
【００２７】
本発明のもう１つの特徴は、請求項１７に記載のように、請求項１６に記載の構成において、全ての色のプレーンデータが可逆圧縮されることにある。
【００２８】
本発明のもう１つの特徴は、請求項１８に記載のように、請求項１６に記載の構成において、解像度への影響が大きい特定の色のプレーンデータが可逆圧縮され、他の色のプレーンデータが非可逆圧縮されることにある。
【００２９】
本発明のもう１つの特徴は、請求項１９に記載のように、請求項１６に記載の構成において、全ての色のプレーンデータが非可逆圧縮されることにある。
【００３０】
本発明のもう１つの特徴は、請求項２０に記載のように、請求項１９に記載の構成に加え、解像度への影響が大きい特定の色のプレーンデータの圧縮率と、他の色のプレーンデータの圧縮率をそれぞれ独立に設定する処理を含むことにある。
【００３１】
本発明のもう１つの特徴は、請求項２１に記載のように、請求項１９に記載の構成に加え、各色のプレーンデータの圧縮率をそれぞれ独立に設定する処理を含むことにある。
【００３２】
本発明のもう１つの特徴は、請求項２２に記載のように、請求項２１に記載の構成に加え、各色のプレーンデータの圧縮率を決定するための情報を生データから取得する処理を含み、この処理により取得された情報に基づいて圧縮率が設定されることにある。
【００３３】
本発明のもう１つの特徴は、請求項２３に記載のように、請求項１６乃至２２のいずれか１項に記載の構成において、プレーンデータはＪＰＥＧ２０００に準拠した圧縮符号化アルゴリズムにより圧縮されることにある。
【００３４】
【発明の実施の形態】
以下に説明する実施の形態においては、静止画像の圧縮符号化アルゴリズムとしてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ　ＦＣＤ　１５４４４−１）を、動画像の圧縮符号化アルゴリズムとしてＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ　ＦＣＤ　１５４４４−３）を用いる。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、連続した複数の静止画像のそれぞれをフレームとして動画像を扱うが、各フレーム（静止画像）の圧縮符号化アルゴリズムはＪＰＥＧ２０００に準拠している。ＪＰＥＧ２０００については非特許文献１に詳しいが、その概要を以下に説明する。
【００３５】
図１１はＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたブロック図である。圧縮符号化の対象となる画像データ（動画像を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００３６】
各コンポーネントの各タイル画像に対し２次元ウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される（ステップＳ１）。図１２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図１２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図１２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図１２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図１２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される（図１２（ｄ）中の括弧で囲まれた数字は解像度レベルを示す）。
【００３７】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化される（ステップＳ２）。ＪＰＥＧ２０００では可逆（ロスレス）圧縮と非可逆（ロッシー）圧縮のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００３８】
量子化後の各サブバンド係数はエントロピー符号化される（ステップＳ３）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ　Ｂｌｏｃｋ　Ｃｏｄｉｎｇ　ｗｉｔｈ　Ｏｐｔｉｍｉｚｅｄ　Ｔｒｕｎｃａｔｉｏｎ）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００３９】
最後の２つのステップＳ４，Ｓ５は符号形成プロセスである。まず、ステップＳ４において、ステップＳ３で生成されたコードブロックの符号をまとめてパケットが作成される。次のステップＳ５において、ステップＳ４で生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。
【００４０】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図１３に示す。図１３に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ　Ｈｅａｄｅｒ）と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ（Ｔｉｌｅ　Ｈｅａｄｅｒ）と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Ｔｉｌｅ　Ｄａｔａ）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００４１】
このようなＪＰＥＧ２００は、ＪＰＥＧなどに比べ圧縮に伴う画質劣化が少なく、特に高圧縮率での画質劣化が少ない。また、同じアルゴリズムで可逆圧縮と非可逆圧縮が可能である。符号化データの符号列削除処理（ポスト量子化）により、ＪＰＥＧなどと違い再圧縮を行うことなく、圧縮率を調整できる等々の長所を有する。
【００４２】
以下、本発明の撮像装置及び画像処理方法の実施の形態について、図１乃至図１０を参照して説明する。
【００４３】
図１は本発明による撮像装置の構成の一例を示すブロック図である。ここに示した撮像装置は、具体的には、いわゆるデジタルスチルカメラやデジタルビデオカメラなどの電子カメラ装置に相当する。ただし、このような電子カメラ装置に限らず、独立装置としてのイメージスキャナや複写機又はファクシミリ装置に組み込まれたイメージスキャナなど、色分解用カラーフィルタを有するイメージャを用いた各種の撮像装置に本発明を適用可能であることは明白であり、そのような撮像装置も本発明に包含される。
【００４４】
図１において、１００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。１０１は色分解して撮像するタイプのイメージャで、例えば、表面に色分解用のカラーフィルタを有するＣＣＤ型又はＭＯＳ型のイメージャである。このイメージャ１０１は、撮像光学系１００により結像された光学像を色分解してから、光量に応じた電気信号に変換する。
【００４５】
イメージャ１０１の色分解用カラーフィルタとしては、例えば、図２（ａ）に示すベイヤ配列の原色フィルタ、図３（ａ）に示す斜め配列の原色フィルタ、図４（ａ）に示すライン配列の原色フィルタ、図５に示すベイヤ配列の補色フィルタ、図６に示すライン配列の補色フィルタなどが用いられる。なお、図２乃至図６において、Ｒは赤、Ｇ（Ｇｒ，Ｇｂ）は緑、Ｂは青、Ｙは黄、Ｍはマゼンタ、Ｃはシアンの各色を意味する。
【００４６】
図１において、１０２はイメージャ１０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。このＣＤＳ・Ａ／Ｄ変換部１０２の出力信号が、イメージャ１０１により得られた素の画像情報、つまり装置内部の信号処理の影響のない「生データ」である。
【００４７】
１０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ１０３は、生データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ１０１、ＣＤＳ・Ａ／Ｄ変換部１０２、表示装置１０４の制御、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う機能を有する。さらに、以下に詳細に説明するが、画像プロセッサ１０３は生データを色毎の複数のプレーンデータに分割する機能も含む。表示装置１０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や記録画像、各種情報の表示などに利用される。
【００４８】
１０８はＪＰＥＧ２０００準拠のエンコーダ／デコーダであり、撮影された画像データの圧縮と、その符号化データの伸長とに利用される。１０９は記録媒体１１０に対する情報の書き込み／読み出しを行う媒体記録部である。静止画像撮影時には画像の符号化データはＪＰＥＧ２０００のファイル形式の画像ファイルとして記録媒体１１０に記録され、動画像撮影時には画像の符号化データはＭｏｔｉｏｎ−ＪＰＥＧのファイル形式の画像ファイルとして記録媒体１１０に記録される。記録媒体１１０は例えば各種メモリカードである。１１１はインターフェース部であり、撮像装置はこのインターフェース部１１１を介し、外部のパソコンなどと有線又は無線の伝送路あるいはネットワークを通じ情報の交換を行うことができる。
【００４９】
１０６はシステムコントローラであり、例えばマイクロコンピュータからなる。このシステムコントローラ１０６は、操作部１０７から入力されるユーザの操作情報や画像プロセッサ１０３から与えられる情報などに応答して、撮像光学系１００のシャッター機構、絞り機構、ズーミング機構の制御、画像プロセッサ１０３、エンコーダ／デコーダ１０８、媒体記録部１０９、インターフェース部１１１の制御などを行う。１０５はメモリであり、画像データなどの一時記憶域、画像プロセッサ１０３、システムコントローラ１０６、エンコーダ／デコーダ１０８及び媒体記録部１０９の作業記憶域として利用される。図示されていないが、一般的なストロボ機構や光学式又は電子式のビューファインダなども装備されている。
【００５０】
この撮像装置は、生データに対し同期化処理、ガンマ補正処理、ホワイトバランス調整処理、エンハンス処理の全部又は一部を施して得られた画像データを圧縮して記録媒体１１０に記録する通常の記録モードと、そのような信号処理を全く行わない生データを圧縮して記録媒体１１０に記録するＲａｗデータ記録モードを有し、操作部１０７によりユーザが選択することができる。通常の記録モードにおける動作は従来の撮像装置と同様であるので説明を割愛し、Ｒａｗデータ記録モードにおける動作について以下に説明する。Ｒａｗデータ記録モードには４つのモードＡ，Ｂ，Ｃ，Ｄがあり、ユーザは操作部１０７によりその選択が可能である。
【００５１】
《モードＡ》　図７は、このモードにおける動作を説明するためのフローチャートである。
【００５２】
１枚の静止画像（静止画像撮影時の画像又は動画像撮影時の１つのフレームの画像、以下同様）の生データの同じ色の画素情報を集めた１つのプレーンデータが取得され（ステップＳ２００）、エンコーダ／デコーダ１０８に入力されて可逆（ロスレス）圧縮される（ステップＳ２０１）。生データを色別のプレーンデータに分割する処理は画像プロセッサ１０３で行われる。すなわち、画像プロセッサ１０３は、生データを色別の複数のプレーンデータに分割する手段、換言すれば、生データから同じ色の画素情報を集めたプレーンデータを作成する手段を内包している。システムコントローラ１０６の制御下で、各色についてステップＳ２００，Ｓ２０１が繰り返される。システムコントローラ１０６で最後の色のプレーンデータの圧縮が終了したと判断すると（ステップＳ２０２，Ｙｅｓ）、エンコーダ／デコーダ１０８より複数のプレーンの符号列からなる図１３に示すフォーマットの符号化データが出力され、この符号化データは画像ファイルとして媒体記録部１０９により記録媒体１１０に記録される（ステップＳ２０３）。システムコントローラ１０６は、Ｒａｗデータのフォーマット情報（ビット数、プレーンの順番、カラーフィルタの色配列など）、撮影条件（撮影感度、シャッタ速度、使用レンズ、ストロボのＯＮ／ＯＦＦなど）、撮影時の状況（画像の一部が明るい、肌色がある、特定の色が多いなど）など、画像の検索、認識などに役立つ情報を取得してステップＳ２０３で媒体記録部１０９に提供し、画像ファイルのファイルヘッダに付加させる。なお、画像プロセッサ１０３はホワイトバランス補正のためにホワイトバランス評価値を算出する手段を内包しているため、その評価値から肌色の有無、どの色成分が多いか少ないかの情報を得ることができる。
【００５３】
プレーンデータ作成処理は、生データをメモリ１０５に一旦蓄積した後で行うことも、プレーンデータの取り込み中、つまりイメージャ１００の情報読み出しと同時に行うことも可能であり、そのいずれの態様も本発明に包含される。予めプレーンデータが作成されてメモリ１０５に蓄積されている場合には、ステップＳ２００では１つのプレーンデータをメモリ１０５より読み出してエンコーダ／デコーダ１０８に入力するだけであるが、プレーンデータが予め作成されていない場合には、ステップＳ２００でプレーンデータの作成処理を行うことになる。いずれの態様も本発明に包含される。図７のフローチャートでは、１プレーンデータ毎にステップＳ２００とステップＳ２０１とが順に実行されるように表されているが、両ステップを並行して実行することも可能である。また、エンコーダ／デコーダ１０８を複数コンポーネントの並列処理が可能な構成とすることにより、複数のプレーンデータの圧縮を並列的に行うことも可能である。そのような態様も本発明に包含されることは勿論である。以上のことは後述するモードＢ，Ｃ，Ｄにおいても同様である。
【００５４】
プレーンデータについてカラーフィルタと関連付けて説明する。例えば、図２の（ａ）に示すようなベイヤ配列の原色フィルタが用いられる場合には、（ｂ）に示すように生データのＲ画素、Ｇｒ画素（Ｒ画素のラインのＧ画素）、Ｂ画素、Ｇｂ画素（Ｂ画素のラインのＧ画素）の情報をそれぞれ分離し、（ｃ）に示すように同じ色の画素情報のみを集めた４つのプレーンデータが作成される。図２の（ａ）に付記したように、イメージャ１０１の隣接画素はフィルタ色が異なるので生データの隣接画素間の相関性は低いため、生データをそのまま圧縮したのでは圧縮効率が良くない。しかし、（ｂ），（ｃ）に付記したように、各色のプレーンデータは、隣接画素間の相関性は高いため圧縮効率が大幅に向上する。なお、Ｇ画素のプレーンデータを、Ｇｒ画素のプレーンデータとＧｂ画素のプレーンデータに分割すると、全ての色のプレーンデータの画素数が略同一となるため、圧縮符号化処理に都合がよい。ただし、Ｇｒ画素とＧｂ画素の情報を集めて１つのプレーンデータとすることも可能である。
【００５５】
図３の（ａ）に示す斜め配列の原色フィルタが用いられる場合、（ｂ）に示すように生データのＲ画素、Ｇ画素、Ｂ画素の情報を分離し、（ｃ）に示すように同じ色の画素情報のみを集めた３つのプレーンデータが作成される。図３（ａ）に付記したように、イメージャ１０１の隣接画素はフィルタ色が異なるので生データの隣接画素間の相関性は低いため、生データをそのまま圧縮したのでは圧縮効率が良くない。しかし、（ｂ），（ｃ）に付記するように、各色のプレーンデータは隣接画素間の相関性が高いため、その圧縮効率が大幅に向上する。
【００５６】
図４の（ａ）に示すライン配列の原色フィルタが用いられる場合、（ｂ）に示すように生データのＲ画素、Ｇ画素、Ｂ画素の情報を分離し、（ｃ）に示すように同じ色の画素情報のみを集めた３つのプレーンデータが作成される。（ａ）に付記したように、イメージャ１０１の横方向（主走査方向）に隣接する画素はフィルタ色が異なるので、生データの横方向に隣接する画素間の相関性は低いため、生データをそのまま圧縮したのでは圧縮効率が良くない。しかし、各色のプレーンデータは、縦方向、横方向ともに隣接画素間の相関性が高いため、圧縮効率が大幅に向上する。
【００５７】
図５に示すようなベイヤ配列の補色フィルタが用いられる場合、生データのＹ画素、Ｍ画素、Ｃ画素、Ｇ画素の情報を分離し、同じ色の画素情報のみを集めた４つのプレーンデータが作成される。イメージャ１０１の隣接画素はフィルタ色が異なるので生データの隣接画素間の相関性は低いため、生データをそのまま圧縮したのでは圧縮効率が良くない。しかし、各色のプレーンデータは隣接画素間の相関性が高いため、圧縮効率が大幅に向上する。
【００５８】
図６に示すようなライン配列の補色フィルタが用いられる場合、生データのＹ画素、Ｍ画素、Ｃ画素、Ｇ画素の情報を分離し、同じ色の画素情報のみを集めた４つのプレーンデータが作成される。イメージャ１０１の横方向に隣接する画素はフィルタ色が異なるので生データの横方向の隣接画素間の相関性は低いため、生データをそのまま圧縮したのでは圧縮効率が良くない。しかし、各色のプレーンデータは横方向、縦方向ともに隣接画素間の相関性が高いため、圧縮効率が大幅に向上する。
【００５９】
以上に述べたように、生データを色別のプレーンに分割して圧縮するため、可逆圧縮であっても、撮像装置内部の信号処理の影響のない生データを効率良く圧縮して記録することができる。可逆圧縮であるため、記録された符号化データをエンコーダ／デコーダ１０８又は外部のデコーダで復号伸長することにより、元の生データを完全に再生することができる。
【００６０】
なお、同時化処理（カラー補間処理）によりイメージャの各画素についてＲＧＢ情報を得て、Ｒ，Ｇ，Ｂのプレーンを可逆圧縮する場合との比較であるが、同時化処理により圧縮前のデータ量が生データの３倍に増加するため、当然にモードＡに比べ画像ファイルサイズは３倍程度に増加する。
【００６１】
《モードＢ》　図８は、このモードにおける動作を説明するためのフローチャートである。
【００６２】
ステップＳ３００はモードＡのステップ２００と同じ処理ステップである。
【００６３】
システムコントローラ１０６は、再生画像品質を維持しつつ圧縮効率を一層向上させるため、解像度への影響が大きい色のプレーンデータに対しては可逆圧縮を選択し、それ以外の色のプレーンデータに対しては非可逆圧縮を選択し、選択した圧縮をエンコーダ／デコーダ１０８で実行させる（ステップＳ３０１）。
【００６４】
例えば、色分解用フィルタとして図２（ａ）、図３（ａ）、図４（ａ）に示すような原色フィルタが用いられる場合には、Ｇ（Ｇｒ，Ｇｂ）のプレーンデータに対して可逆圧縮が選択され、Ｒ，Ｂのプレーンデータに対して非可逆圧縮が選択される。このようにすると、圧縮によるＧ情報の損失がないため良好な解像度を維持できる。Ｒ，Ｂのプレーンデータは非可逆圧縮であるからＲ，Ｂ情報の損失が生じるが、それによる解像度への影響は、Ｇ情報の損失による影響の程度に比べれば軽微である。ただしＲ，Ｂ情報の損失により色再現性は低下する。
【００６５】
システムコントローラ１０６の制御下で、各色について同様の処理が繰り返される。システムコントローラ１０６で最後の色のプレーンデータの処理が終了したと判断すると（ステップＳ３０２，Ｙｅｓ）、得られた生データの符号化データが媒体記録部１０９により画像ファイルとして記録媒体１１０に記録される（ステップＳ３０３）。画像ファイルのファイルヘッダに前記モードＡの場合と同様の情報が付加される。
【００６６】
このモードにおいても、モードＡと同様に生データが隣接画素間の相関性が高い色毎のプレーンに分割されて圧縮されるため、可逆圧縮及び非可逆圧縮のいづれでも高い圧縮効率を得られる。そして、一部の色のプレーンは非可逆圧縮されるため、モードＡよりも画像ファイルサイズを縮小できる。このモードでは一部の色のプレーンが非可逆圧縮されるため、画像ファイルとして記録された符号化データを復号伸長しても生データと完全に同一の画像データを再生することはできないが、撮像装置内部の信号処理の影響のない画像データを再生可能である。
【００６７】
なお、ＪＰＥＧ２０００準拠の圧縮符号化アルゴリズムが利用されるため、解像度への影響の少ない色のプレーンデータに対しても可逆圧縮を行い、最後の符号形成プロセスにおいてポスト量子化により圧縮率を調整することができる。したがって、画像ファイルサイズを目標サイズに近いほぼ一定サイズにすることも容易である。また、ＪＰＥＧを利用する場合に比べ、非可逆圧縮による画質劣化も一般に少ない。
【００６８】
《モードＣ》　図９は、このモードにおける動作を説明するためのフローチャートである。
【００６９】
このモードでは、ユーザは「標準」「解像度重視」「色再現性重視」のいずれかを選択することができる。その選択に応じて、システムコントローラ１０６で圧縮率１と圧縮率２が設定される（ステップＳ４００）。
【００７０】
ステップＳ４０１はモードＡのステップ２００と同じ処理ステップである。
【００７１】
システムコントローラ１０６は、プレーンデータの種類に応じた圧縮率の可逆圧縮をエンコーダ／デコーダ１０８で実行させる（ステップＳ４０２）。例えば、色分解用フィルタとして図２（ａ）、図３（ａ）、図４（ａ）に示すような原色フィルタが用いられる場合には、Ｇ（Ｇｒ，Ｇｂ）のプレーンデータに対して圧縮率１の非可逆圧縮を実行させ、Ｒ，Ｂのプレーンデータに対して圧縮率２の非可逆圧縮を実行させる。
【００７２】
システムコントローラ１０６の制御下で、各色について同様の処理が繰り返される。システムコントローラ１０６で最後の色のプレーンデータの処理が終了したと判断すると（ステップＳ４０３，Ｙｅｓ）、得られた生データの符号化データが媒体記録部１０９により画像ファイルとして記録媒体１１０に記録される（ステップＳ４０４）。画像ファイルのファイルヘッダに前記モードＡと同様の情報が付加される。
【００７３】
圧縮率１，２と、「標準」「解像度重視」「色再現性重視」との関係は次の通りである。ここでは便宜、色分解用カラーフィルタは原色フィルタであるものとして説明する。「標準」が選択された場合には、Ｇプレーンデータの圧縮率及びＢ，Ｒプレーンデータの圧縮率は、それぞれ所定の標準の圧縮率に設定される。ユーザにより「解像度重視」が選択された場合には、解像度への影響が顕著なＧ情報の損失が少なくなるように、Ｇプレーンデータに適用される圧縮率１は標準より低めに設定され、Ｒ，Ｂプレーンデータに適用される圧縮率２は標準より高めに設定される。「色再現性重視」が選択された場合には、Ｒ，Ｂ情報の損失を抑えて色再現性を高めるため、Ｒ，Ｂプレーンデータに適用される圧縮率２は標準より低めに設定され、Ｇプレーンデータに適用される圧縮率１は標準より高めに設定される。このような圧縮率１，２の制御を行うことにより、画像ファイルのファイルサイズの変動を抑えつつ、ユーザの意向に添った解像度の良好な符号化データ、色再現性が良好な符号化データ、あるいはその中間的な解像度及び色再現性を持つ符号化データを記録することができる。
【００７４】
このモードにおいても、モードＡと同様に生データが隣接画素間の相関性が高い色毎のプレーンに分割されて圧縮するため高い圧縮効率を得られる。非可逆圧縮であるため、画像ファイルとして記録された符号化データを復号伸長しても生データと完全に同一の画像データを再生することはできないが、撮像装置内部の信号処理の影響のない画像データを再生可能である。また、モードＡよりも画像ファイルサイズを縮小できる。
【００７５】
なお、モードＡで言及したように、ＪＰＥＧ２０００準拠の圧縮符号化アルゴリズムが利用されるため、再圧縮を行うことなく、ポスト量子化により、設定された圧縮率に容易に調整することができる。
【００７６】
《モードＤ》　図１０は、このモードにおける動作を説明するためのフローチャートである。
【００７７】
このモードでは、システムコントローラ１０６において、各色のプレーンデータに適用される圧縮率が設定される（ステップＳ５００）。
【００７８】
ステップＳ５０１はモードＡのステップ２００と同じ処理ステップである。システムコントローラ１０６は、プレーンデータの種類に対応した圧縮率の非可逆圧縮をエンコーダ／デコーダ１０８で実行させる（ステップＳ５０２）。システムコントローラ１０６の制御下で、各色について同様の処理が繰り返される。
【００７９】
システムコントローラ１０６で最後の色のプレーンデータの処理が終了したと判断すると（ステップＳ５０３，Ｙｅｓ）、得られた生データの符号化データが媒体記録部１０９により画像ファイルとして記録媒体１１０に記録される（ステップＳ５０４）。画像ファイルのファイルヘッダに前記モードＡと同様の情報が付加される。
【００８０】
ステップＳ５００について説明する。ここでは便宜、色分解用カラーフィルタとして原色フィルタが用いられるものとして説明する。
【００８１】
１つの態様においては、画像プロセッサ１０３で生データから画像中心付近のＲ，Ｇ，Ｂ情報の高周波成分を検出させ、その多寡に応じてシステムコントローラ１０６でＲ，Ｇ，Ｂの各プレーンデータに適用される圧縮率を設定する。具体的には、高周波成分が少ない色のプレーンデータの圧縮率は標準より高めに設定する。別の態様においては、画像プロセッサ１０３はホワイトバランスの評価値を算出する手段を内包しているため、システムコントローラ１０６は、その評価値からどの色の成分が多いか少ないかを判定し、少ないと判定された色のプレーンデータの圧縮率を標準より高めに設定する。このような各色のプレーンデータ毎の圧縮率調整により、画像の劣化を目立たせることなく、画像ファイルサイズを縮小することができる。
【００８２】
このモードにおいても、モードＡと同様に生データが隣接画素間の相関性が高い色毎のプレーンに分割されて圧縮するため高い圧縮効率を得られる。非可逆圧縮であるため、画像ファイルとして記録された符号化データを復号伸長しても生データと完全に同一の画像データを再生することはできないが、撮像装置内部の信号処理の影響のない画像データを再生可能である。また、モードＡよりも画像ファイルサイズを縮小できる。
【００８３】
圧縮率の設定にユーザを関与させることも可能である。例えば、ステップＳ５００において、画像プロセッサ１０３で生データのカラーヒストグラムを算出させ、それを表示装置１０４に表示させ、ユーザがカラーヒストグラムに基づいて各色のプレーンデータの圧縮率の増減をシステムコントローラ１０４に指示して圧縮率を設定させることも可能である。この態様によれば、画像の利用目的などに応じてユーザが記録画像の画質を制御できる。このような態様も本発明に包含される。
【００８４】
なお、ＪＰＥＧ２０００は同じアルゴリズムで可逆圧縮と非可逆圧縮が可能であり、ＪＰＥＧに比べ画像品質や圧縮効率の面でも優れているため、エンコーダ／デコーダ１０８としてＪＰＥＧ２０００準拠のものを用いるのが好ましい。しかし、モードＣ，Ｄのように非可逆圧縮を行うモードだけを想定するならば、例えばＪＰＥＧ準拠のエンコーダ／デコーダを用いることも可能である。また、実施の形態では、表面に色分解用のカラーフィルタを持つイメージャを例に説明したが、同様の色分解をカラーフィルタ以外の手段によって行うタイプのイメージャを用いる場合にも、本発明を適用できることは当然である。
【００８５】
図７乃至図１０のフローチャートを参照して説明した処理の手順、それに関わる手段の機能をパソコンやマイクロコンピュータなどのコンピュータ上でプログラムにより実現することも可能である。そのためのプログラムと、それが記録された各種の記録（記憶）媒体も本発明に包含される。また、そのような手順による処理の方法も本発明に包含されることは当然である。
【００８６】
【発明の効果】
以上に説明したように、（１）請求項１乃至２３記載の発明によれば、内部信号処理の影響のない生データを、隣接画素間の相関性の高い色別のプレーンデータに分割してから圧縮するため、生データをそのまま圧縮する場合に比べ高い圧縮効率を得られる。したがって、画像データを記録するための記録媒体の利用効率は、生データを非圧縮で記録する場合に比べ大幅に向上することは勿論のこと、生データをそのまま圧縮する場合に比べても相当に向上する。（２）請求項２，１７に記載の発明によれば、全ての色のプレーンデータが可逆圧縮されるため、符号化データの復号伸長により内部信号処理の影響のない生データと完全に同一の画像データを再生することができる。各色のプレーンデータの隣接画素間の相関性は高いため、可逆圧縮であっても高い圧縮効率を得られる。（３）請求項３，１８に記載の発明によれば、全ての色のプレーンデータを可逆圧縮する場合よりも符号化データのファイルサイズをさらに縮小することができる。符号化データを復号伸長しても元の生データと完全に同一の画像データは再生できないが、解像度に影響の大きい特定色のプレーンデータは可逆圧縮されるため解像度の良好な画像データを再生できる。（４）請求項４，１９に記載の発明によれば、符号化データのファイルサイズをさらに縮小可能であるため記録媒体の利用効率がさらに向上する。（５）請求項５乃至９，２０に記載の発明によれば、解像度又は色再現性を重視した生データの圧縮を行うことができる。請求項７及び９に記載の発明によれば、解像度又は色再現性を重視した生データの圧縮が可能であるとともに符号化データのファイルサイズの変動を抑えることができる。（７）請求項１０乃至１４，２１，２２に記載の発明によれば、ユーザの意向や画像の特性に応じて各色のプレーンデータの圧縮率を制御することができ、また請求項１２，１３に記載の発明によれば画質劣化を目立たせることなく符号化データのファイルサイズを縮小することができる。（８）請求項１５，２３に記載の発明によれば、ＪＰＥＧ２０００に準拠した圧縮符号化アルゴリズムが利用されるため、ＪＰＥＧなどの他の圧縮符号化アルゴリズムを利用する場合に比べ、一般に非可逆圧縮による画質劣化が少なく、可逆圧縮での圧縮効率も良好である。さらに、ポスト量子化により、再圧縮処理を行うことなく圧縮率を調整できるため、設定した圧縮率での圧縮処理を効率的に行うことができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明するためのブロック図である。
【図２】ベイヤ配列の原色フィルタとプレーン分解の説明図である。
【図３】斜め配列の原色フィルタとプレーン分解の説明図である。
【図４】ライン配列の原色フィルタとプレーン分解の説明図である。
【図５】ベイヤ配列の補色フィルタの説明図である。
【図６】ライン配列の補色フィルタの説明図である。
【図７】モードＡの動作を説明するためのフローチャートである。
【図８】モードＢの動作を説明するためのフローチャートである。
【図９】モードＣの動作を説明するためのフローチャートである。
【図１０】モードＤの動作を説明するためのフローチャートである。
【図１１】ＪＰＥＧ２０００の圧縮符号化アルゴリズムを説明するためのブロック図である。
【図１２】２次元ウェーブレット変換の説明図である。
【図１３】ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【符号の説明】
１００　撮像光学系
１０１　イメージャ
１０２　ＣＤＳ・Ａ／Ｄ変換部
１０３　画像プロセッサ
１０４　表示装置
１０５　メモリ
１０６　システムコントローラ
１０７　操作部
１０８　エンコーダ／デコーダ
１０９　媒体記録部

Claims (25)

1. 色分解して撮像するタイプのイメージャと、
   前記イメージャで撮像することにより得られる生データを、同じ色の画素情報からなる複数のプレーンデータに分割する手段と、
   前記各色のプレーンデータを圧縮する圧縮符号化手段とを有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、前記圧縮符号化手段により、全ての色のプレーンデータが可逆圧縮されることを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、前記圧縮符号化手段により、解像度への影響が大きい特定の色のプレーンデータが可逆圧縮され、他の色のプレーンデータが非可逆圧縮されることを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、前記圧縮符号化手段により、全ての色のプレーンデータが非可逆圧縮されることを特徴とする撮像装置。
5. 解像度への影響が大きい特定の色のプレーンデータの圧縮率と、他の色のプレーンデータの圧縮率をそれぞれ独立に制御する制御手段を有することを特徴とする請求項４に記載の撮像装置。
6. 請求項５に記載の撮像装置において、前記制御手段は、ユーザより解像度重視を指定された場合に、前記特定の色のプレーンデータの圧縮率を標準より低めに設定することを特徴とする撮像装置。
7. 請求項５に記載の撮像装置において、前記制御手段は、ユーザより解像度重視を指定された場合に、前記特定の色のプレーンデータの圧縮率を標準より低めに設定するとともに前記他の色のプレーンデータの圧縮率を標準より高めに設定することを特徴とする撮像装置。
8. 請求項５に記載の撮像装置において、前記制御手段は、ユーザより色再現性重視を指定された場合に、前記他の色のプレーンデータの圧縮率を標準より低めに設定することを特徴とする撮像装置。
9. 請求項５に記載の撮像装置において、前記制御手段は、ユーザより色再現性重視を指定された場合に、前記他の色のプレーンデータの圧縮率を標準より低めに設定するとともに前記特定の色のプレーンデータの圧縮率を標準より高めに設定することを特徴とする撮像装置。
10. 各色のプレーンデータの圧縮率をそれぞれ独立に制御する制御手段を有することを特徴とする請求項４に記載の撮像装置。
11. 各色のプレーンデータの圧縮率を決定するための情報を生データから取得する情報取得手段を有し、前記制御手段は前記情報取得手段により取得された情報に基づいて各色のプレーンデータの圧縮率を設定することを特徴とする請求項１０に記載の撮像装置。
12. 請求項１１に記載の撮像装置において、前記情報取得手段は各色の高周波成分の多寡に関する情報を取得し、前記制御手段は高周波成分の少ない色のプレーンデータの圧縮率を標準より高めに設定することを特徴とする撮像装置。
13. 請求項１１に記載の撮像装置において、前記情報取得手段はホワイトバランスの評価値を取得し、前記制御手段は前記評価値に基づいて色成分の多寡を判定し、少ないと判定した色のプレーンデータの圧縮率を標準より高めに設定することを特徴とする撮像装置。
14. 請求項１０に記載の撮像装置において、前記制御手段はユーザからの指示に応じて各色のプレーンデータの圧縮率を設定することを特徴とする撮像装置。
15. 請求項１乃至１４のいずれか１項に記載の撮像装置において、前記圧縮手段はＪＰＥＧ２０００に準拠した圧縮符号化アルゴリズムによりプレーンデータを圧縮することを特徴とする撮像装置。
16. 色分解して撮像するタイプのイメージャで撮像することにより得られる生データを、同じ色の画素情報からなる複数のプレーンデータに分割する処理と、前記各色のプレーンデータを圧縮する処理とを含むことを特徴とする画像処理方法。
17. 請求項１６に記載の画像処理方法において、全ての色のプレーンデータが可逆圧縮されることを特徴とする画像処理方法。
18. 請求項１６に記載の画像処理方法において、解像度への影響が大きい特定の色のプレーンデータが可逆圧縮され、他の色のプレーンデータが非可逆圧縮されることを特徴とする画像処理方法。
19. 請求項１６に記載の画像処理方法において、全ての色のプレーンデータが非可逆圧縮されることを特徴とする画像処理方法。
20. 解像度への影響が大きい特定の色のプレーンデータの圧縮率と、他の色のプレーンデータの圧縮率をそれぞれ独立に設定する処理を含むことを特徴とする請求項１９に記載の画像処理方法。
21. 各色のプレーンデータの圧縮率をそれぞれ独立に設定する処理を含むことを特徴とする請求項１９に記載の画像処理方法。
22. 各色のプレーンデータの圧縮率を決定するための情報を生データから取得する処理を含み、この処理により取得された情報に基づいて圧縮率が設定されることを特徴とする請求項２１に記載の画像処理方法。
23. 請求項１６乃至２２のいずれか１項に記載の画像処理方法において、プレーンデータはＪＰＥＧ２０００に準拠した圧縮符号化アルゴリズムにより圧縮されることを特徴とする画像処理方法。
24. 請求項１６乃至２３のいずれか１項に記載の画像処理方法のための処理をコンピュータに実行させるプログラム。
25. 請求項２４に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。

Images