JP5534832B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像を補正する技術に関する。

ズームレンズ等の光学系によって撮像素子上に結像された被写体像は、元の被写体に比べて劣化する（ボケる）ことが知られている。これは、光学系の収差が原因である。理想的な像を得るために、このような光学系に起因するボケを取り除く技術は、「画像回復処理」あるいは「復元処理」などと呼ばれている。

画像回復技術をデジタルカメラに適用した例が、特許文献１及び特許文献２に開示されている。特許文献１には、撮像装置により得られるボケた画像に対して画像処理を行い、劣化の少ない画像を生成する方法が開示されている。特許文献１の方法では、撮影条件（絞り、焦点距離、被写体までの距離）及び撮像装置の特性情報（レンズの光学特性、撮像装置の識別情報など）を考慮して画像処理を行う。

特許文献２は、各画素に対して撮影条件を考慮して劣化関数を定め、この劣化関数を用いて画像回復を行う方法を開示している。特許文献２の方法によれば、演算処理の簡素化のために、まず代表的な画素について劣化関数が求められ、他の画素の劣化関数は補間によって求められる。

特開２０００−２０６９１号公報 特開２００１−１９７３５４号公報

しかしながら、特許文献１と特許文献２とのいずれにおいても、回復処理の程度を調整する仕組みは開示されていない。被写体や撮影モードに合わせて、回復処理の強さが変更可能なことが望ましい。たとえば、撮影画像に顔が大きく写っている場合（例えば顔が画像の大部分を占めることを顔検出により検知した場合）、弱い回復処理を行ってボケを残すことにより、画像に柔らかい印象を持たせることができる。また、ポートレートを撮影した場合（例えばポートレートモードで撮影した場合）、風景を撮影した場合（例えば風景モードで撮影した場合）よりも、弱い回復処理を行うことが好ましい。

さらに、回復処理の強さは任意に（無段階に）変更できることが好ましい。とりわけ、一度回復処理を行って得た画像に対して、さらに回復処理の強さを変更することが好ましい。すると、例えば撮像装置が一律に回復処理を行って得た画像に不満がある場合に、ユーザは回復処理の強さを変更して望みの画像を得ることができる。

本発明は、一度回復処理が行われた画像に対して、後に回復処理の強さを変更することを可能とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
撮像により得られた撮影画像と、前記撮像に用いた撮像装置の光学系の収差に起因するボケを補正する処理を当該撮影画像に対して行うために用いる補正フィルタと、を取得する取得手段と、
前記補正フィルタを前記撮影画像に適用することで補正画像を生成する補正手段と、
前記撮影画像と前記補正画像との差分画像を生成する差分算出手段と、
前記撮影画像若しくは前記補正画像と、前記差分画像とを保存する保存手段と
を備え、
前記補正フィルタは、前記撮像装置の光学系の収差に起因するボケの振幅成分を補正するフィルタであり、
前記補正画像を生成する前に、前記撮像装置の光学系の収差に起因するボケの位相成分の補正を、前記取得手段が取得した前記撮影画像に対して行うことで、前記撮影画像を更新する前処理手段をさらに備えることを特徴とする。

一度回復処理が行われた画像に対して、後に回復処理の強さを変更することが可能になる。

実施例１〜９に係る画像処理装置の一例を示すブロック図。 信号処理部１０３の構成の一例を示すブロック図。 実施例１に係る処理のフローチャート。 実施例１０に係る画像処理装置の一例を示すブロック図。 実施例３に係る処理のフローチャート。 実施例４に係るトリミング座標を説明する図。 実施例７に係る処理のフローチャート。 実施例１０に係る処理のフローチャート。 位相成分の補正による点像の変化を示す図。 異なる色成分についてのＭＴＦを示す図。

以下、本発明の実施例を図面に基づいて説明する。ただし、本発明の範囲は以下の実施例に限定されるものではない。以下において回復処理とは、画像に対する補正処理である。以下の各実施例での回復処理では、点像分布関数（ＰＳＦ）に基づいて、撮像装置の光学系の収差に起因するボケ、とりわけレンズの収差に起因するボケを取り除く。もっとも、他の画像補正処理について本実施例の方法を用いることも可能である。

ここでＰＳＦに基づく回復処理について簡単に説明する。撮影された像の強度分布ｇは、元の物体の輝度分布ｆと、光学系の結像性能を表す点像分布関数（ＰＳＦ： Ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）ｈとの畳み込みに、ノイズｎを加えたものとして表される。
ｇ ＝ ｆ ＊ ｈ ＋ ｎ （＊は畳み込み積分）
ｇ ， ｈ， ｎを既知とすると、元の物体の輝度分布ｆを求めることができる。

［実施例１］
本実施例では主に、デジタルカメラが撮影した画像を、画像データとして出力する場合について説明する。回復処理に必要なフィルタ等の情報を持たない別の情報処理装置は、画像データに含まれている情報を用いて画像データに対して回復処理を行い、表示又は出力をすることができる。もちろん本実施例で説明する処理を、回復処理に必要な情報を有する情報処理装置が行うこともできる。この場合、回復処理に必要な情報を持たない他の情報処理装置は、画像データに含まれている情報を用いて画像データに対して回復処理を行い、表示又は出力をすることができる。

以下で説明するように本実施例では、デモザイク処理後のデータを出力する場合、撮影画像に回復処理前後の差分画像を付加する。特に圧縮した場合、差分画像のデータ量は概して小さい。本実施例の方法によれば、少ないデータ量の増加のみで、後から回復処理の程度を自由に変化させることができる。

本実施例においては、画像に対する回復処理の強度を後から変更できるように、レンズ交換式の一眼レフカメラが画像データを作成する。本実施例の一眼レフカメラは、画質優先モード又はデータサイズ優先モードの何れかで、撮像画像を保存することができる。画質優先モードの場合には、撮像画像をＲＡＷデータとして保存する。データサイズ優先モードの場合には、撮像画像をＪＰＥＧデータとして保存する。撮像画像の保存形式はこれらに限られず、ＢＭＰ又はＴＩＦＦのような保存形式でもよい。また、３種類以上から選択された保存形式で画像を保存してもよい。

図１は、本実施例における画像処理装置の一例である。撮像部１０１は、ズームレンズ、フォーカスレンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、並びにＣＭＯＳ及びＣＣＤを含む撮像素子から構成される。撮像部１０１は、被写体の光量を検知する。Ａ／Ｄ変換部１０２は、撮像部１０１が検知した被写体の光量を、デジタル値に変換する。信号処理部１０３は、Ａ／Ｄ変換部１０２が生成したデジタル値に対して、デモザイク処理、ホワイトバランス処理、γ処理、回復処理、及びサムネイル画像作成のための縮小処理のような種々の画像処理を行うことで、デジタル画像を生成する。Ｄ／Ａ変換部１０４は、信号処理部１０３が生成したデジタル画像に対してアナログ変換を行う。エンコード部１０５は、信号処理部１０３が生成したデジタル画像を、ＪＰＥＧやＴＩＦＦなどのファイルフォーマットに変換する。

メディアインターフェース１０６は、本実施例における画像処理装置に対し、記憶媒体（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、又はＵＳＢメモリ）を接続するためのインタフェースである。ＣＰＵ１０７は、本実施形態における画像処理装置が有する各部の動作を制御する。ＣＰＵ１０７は、ＲＯＭ１０８又はＲＡＭ１０９に格納された命令を順に読み込み及び解釈し、そして解釈の結果に従って処理を実行する。ＲＯＭ１０８及びＲＡＭ１０９は、ＣＰＵ１０７の処理に必要なプログラム、データ、及び作業領域を提供する。複数の撮影条件の各々に対応する、回復処理に使用されるフィルタデータもＲＯＭ１０８に格納されている（格納手段）。

撮像制御部１１０は、ＣＰＵ１０７の指示に従って撮像系の制御を行う。撮像制御部１１０は、例えばフォーカスを合わせる、シャッターを開く、絞りを調節するといった動作を制御する。操作部１１１は、入力されたユーザ指示を受け取る。操作部１１１は例えば、ボタン及びモードダイヤルを含む。キャラクタジェネレータ１１２は文字及びグラフィックを生成できる。表示部１１３は、キャラクタジェネレータ１１２又はＤ／Ａ変換部１１４から受け取った撮影画像又は文字の表示を行う。表示部１１３は、一般的な液晶ディスプレイを用いることができる。表示部１１３はタッチスクリーン機能を有していても良い。この場合、表示部１１３に対するユーザ指示を、操作部１１１に対する入力と同等に扱うことも可能である。

図２は、信号処理部１０３の内部を概略的に示す。切り替え部２０１は、信号処理部１０３が出力するデータを、ＲＡＷデータと、ＪＰＥＧデータのようなデモザイク後のデータとの間で切り替える。すなわち切り替え部２０１は、ＲＡＷデータ（撮像データ）を出力する（第１のモード）か、デモザイク後のデータを出力する（第２のモード）かを設定する。デモザイク処理部２０３は、Ａ／Ｄ変換部１０２から取得した撮影画像に対してデモザイク処理を行う（取得手段）。すなわちデモザイク処理部２０３は、ベイヤ配列になっているＲＧＢデータを補間することによって、撮像画像からＲＧＢ画像を作成する。デモザイク処理部２０３は、ホワイトバランス処理又はγ処理のような画像処理を行っても良い。

回復処理部２０４は、デモザイク処理部２０３が生成したＲＧＢデータに対して、フィルタデータ２０２を用いて回復処理を行う（補正手段）。フィルタデータ２０２は、レンズのＯＴＦから導出され、回復処理に用いられるデータである。ＲＯＭ１０８には、１以上のフィルタデータ２０２が保存されている。回復処理部２０４は、撮影時のレンズの種類、ズーム位置、絞り、被写体距離、及び撮影モードのような条件に応じて、フィルタデータ２０２をＲＯＭ１０８から選択する。差分算出部２０５は、回復処理部２０４が生成した画像（補正画像）と、デモザイク処理部２０３が生成した画像との差分を計算する（差分算出手段）。条件取得部２０６は、デモザイク処理部２０３が取得した画像データの、撮像時の撮影条件を取得する。撮影条件には、レンズの種類、ズーム位置、絞り値、被写体距離、撮影モード、出力する画像タイプ（ＲＡＷまたはＪＰＥＧ）等が含まれる。

本実施例の画像処理装置がＲＡＷデータを保存する場合、切り替え部２０１は、Ａ／Ｄ変換部１０２から取得したデモザイク前のＲＡＷデータと、フィルタデータ２０２とを、エンコード部１０５に送る。するとエンコード部１０５は、ＲＡＷデータとフィルタデータ２０２とを、ＲＡＷフォーマットで出力する。また、本実施例の画像処理装置がＪＰＥＧデータを保存する場合、切り替え部２０１は、デモザイク処理部２０３が出力したデータと、差分算出部２０５が出力した差分データとを、エンコード部１０５に送る。するとエンコード部１０５は、デモザイク処理部２０３が出力したデータをＪＰＥＧ規格に従って圧縮する。そしてエンコード部１０５は、圧縮したデータに対してＪＰＥＧフォーマットに従って差分データを付加し、生成したデータをＪＰＥＧデータとして出力することにより保存する（保存手段）。

図３は、本実施例の画像処理装置の処理を示すフローチャートである。本実施例の画像処理装置は、図３のフローチャートに従って、撮像データを受信して、画像ファイルとして出力する。ステップＳ３０１で信号処理部１０３は、入力された撮像データを受信する。撮像データはベイヤ配列になったＲＧＢデータである。このデータを以下ＲＡＷ画像データと呼ぶ。ステップＳ３０２で条件取得部２０６は、ステップＳ３０１で受信された撮影データの撮影条件を取得する。ステップＳ３０３で回復処理部２０４は、ステップＳ３０２で取得した撮影条件に合致する回復フィルタを、ＲＯＭ１０８から読み込む。

ステップＳ３０４で回復処理部２０４は、ステップＳ３０２で取得された撮影条件から、出力する画像タイプがＲＡＷデータであるかどうかを判断する。画像タイプがＲＡＷデータであれば、処理はステップＳ３０５へ進む。画像タイプがＪＰＥＧデータであれば、処理はステップＳ３０６へ進む。ステップＳ３０５で切り替え部２０１は、ステップＳ３０１で取得されたＲＡＷデータと、ステップＳ３０３で取得された回復フィルタのフィルタ係数とを、エンコード部１０５に送信する。エンコード部１０５は、ステップＳ３０１で取得されたＲＡＷデータと、ステップＳ３０３で取得された回復フィルタのフィルタ係数とを保存する。そして、この処理は終了する。

一方、ステップＳ３０６でデモザイク処理部２０３は、ステップＳ３０１で取得されたベイヤ配列の画像を補間することにより、補間画像を作成する。ステップＳ３０７で回復処理部２０４は、ステップＳ３０３で取得された回復フィルタを、ステップＳ３０６で作成された補間画像データに適用することにより、回復画像を作成する。具体的な例としては、回復処理部２０４はコンボリューション処理を行う。ステップＳ３０８で差分算出部２０５は、ステップＳ３０７で取得された回復画像と、ステップＳ３０６で取得された補間画像との差分画像を取得する。具体的には差分算出部２０５は、各画像の対応する画素値の差分を計算することにより、差分画像を計算する。この差分画像は、回復処理における補正量を示す。そしてこの差分画像が、後に回復処理の強さを調整する際に用いられる。具体的な回復処理の強さの調整方法は、実施例１０において説明する。

ステップＳ３０９でエンコード部１０５は、ステップＳ３０６で取得した補間画像をＪＰＥＧ圧縮する。ステップＳ３１０でエンコード部１０５は、ステップＳ３０９で得られたＪＰＥＧ画像と、ステップＳ３０８で取得した差分画像とを保存する。そして、この処理は終了する。

本実施例においては、ＪＰＥＧ出力とＲＡＷ出力との何れかを選択することが可能である。しかしながら、本実施形態のデジタルカメラは、ＪＰＥＧ出力のみが可能であってもよいし、ＲＡＷ出力のみが可能であってもよい。また、ＪＰＥＧ出力を行う場合、差分画像がＪＰＥＧ画像とは別のファイルとして出力されてもよい。代わりに、差分画像がＪＰＥＧ画像のファイルに含めて出力されてもよい。具体的には、ステップＳ３１０においてエンコード部１０５がＥｘｉｆファイルフォーマットに準拠したフォーマットで画像を保存することが考えられる。この場合、差分画像を、ＡＰＰ１マーカ内Ｅｘｉｆ ＩＦＤの中にあるＭａｋｅｒｎｏｔｅｓタグの中に保存すればよい。

一方ＲＡＷデータについても、フィルタ係数はＲＡＷデータのファイルとは別のファイルとして保存されてもよい。あるいは、フィルタ係数がＲＡＷデータのファイルに含めて出力されてもよい。統一されたＲＡＷデータのファイルフォーマットは存在しない。そのため、ＲＡＷデータとフィルタ係数とは、どのように保存されても良い。

本実施例では、デジタルカメラが撮像データをＪＰＥＧ圧縮し、そしてＪＰＥＧ画像と差分画像とを保存する。しかしながら、差分画像と共に保存する撮影画像は、デモザイク後の画像であれば、圧縮されていても、圧縮されていなくてもよい。例えば撮影画像は、Ｅｘｉｆファイルフォーマットに準拠した非圧縮のＴＩＦＦファイルとして保存されてもよい。ＴＩＦＦ形式が用いられる場合、ＪＰＥＧの時と同様に、Ｅｘｉｆ ＩＦＤの中にあるＭａｋｅｒｎｏｔｅｓタグの中に差分画像が保存されればよい。また、撮影画像をＪＰＥＧ２０００形式で圧縮してもよい。このとき撮影画像がＪＰ２ファイルに保存されるのであれば、エンコード部１０５は差分データを書き込むＢＯＸを一つ作成し、このＢＯＸの中に差分データを書き込めばよい。撮影画像がＰＮＧ形式で保存される場合、エンコード部１０５は独自チャンクを用意し、そのチャンクの中に差分データを書き込めばよい。その他のファイルフォーマットが採用される場合にも、エンコード部１０５はそれぞれのフォーマットに準拠した方法を採用すればよい。

本実施例ではエンコード部１０５は、デモザイク処理部２０３が生成した補間画像をＪＰＥＧ圧縮する。しかしながらエンコード部１０５は、回復処理部２０４が生成した回復画像をＪＰＥＧ圧縮してもよい。この場合エンコード部１０５は、圧縮された回復画像と、差分算出部２０５が生成した差分画像とを保存する。回復画像と差分画像とを用いることによっても、回復処理の強さを後から調整することができる。すなわちエンコード部１０５は、圧縮されていてもいなくてもよい撮影画像若しくは補正画像（補間画像若しくは回復画像）と、差分画像とを出力すればよい。

［実施例２］
実施例１では、ＲＡＷデータにフィルタ係数を付加して保存した。本実施例では、ＲＡＷデータにはＯＴＦデータを付加して保存する。実施例１に記載のように付加したフィルタ係数を用いて、処理装置がＲＡＷデータの回復処理の強さを変更する方法は２つある。１つ目の方法は、フィルタ係数を直接変更する方法である。例えば処理装置は、フィルタの中央の値から、フィルタ係数の総和（通常は１）を引く。続いて処理装置は、各々のフィルタ係数を一律ｘ倍する。最後に処理装置は、フィルタの中央の値に先ほど引いた値（つまり、１）を足す。このようにして、新しいフィルタ係数が作成されうる。（簡単のため、１次元フィルタを例にすると、元の係数が［−２ ５ −２］であり、ｘが０．５である場合には、新しいフィルタ係数は［−１ ３ −１］となる。）２つ目の方法では、処理装置はフィルタ係数をフーリエ変換により周波数空間に変換する。次に処理装置はフィルタゲインを変更する。最後に、処理装置は逆フーリエ変換を行い、新しいフィルタ係数を得る。

前者の方法を用いると、処理装置は簡単な計算を用いることでフィルタの強度を変えることができる。しかしながらこの方法では、変更後のフィルタの周波数特性を知ることができない。後者の方法を用いると、フィルタの周波数特性がより高精度に制御されうる。しかしながら、フーリエ変換および逆フーリエ変換という複雑な処理が用いられるために、処理が重くなる。また、フィルタ係数からフィルタの周波数特性を求めることはできるが、レンズのＯＴＦを算出することはできない。したがって、回復フィルタの算出方法が変更された場合、例えばＲＡＷ画像データの補間方法が変更された場合に、正しく対応できない。

そこで本実施例では、ＲＡＷデータとともに、回復フィルタを作成するための情報、すなわちレンズのＯＴＦデータを保存する。本実施例での処理は実施例１とほぼ同様である。以下では図３を参照しながら、実施例１と異なる点についてのみ説明する。ステップＳ３０３で回復処理部２０４は、回復フィルタを取得する代わりに、レンズのＯＴＦデータをＲＯＭ１０８から読み込む。ここで回復処理部２０４は、ステップＳ３０２で取得された撮影条件に対応するＯＴＦデータを読み込む。実施例１と同様に、ステップ３０５はＲＡＷデータが保存される場合に行われる。このとき切り替え部２０１は、ＲＡＷ画像データとステップＳ３０３で読み込んだＯＴＦデータとをエンコード部１０５に出力する。エンコード部１０５は、ＲＡＷデータＯＴＦデータとを保存する。

ステップＳ３０７は、実施例１と同様に、ＪＰＥＧデータが保存される場合に行われる。このとき回復処理部２０４は、ステップＳ３０３で読み込んだＯＴＦデータから回復フィルタを生成する。そして、生成した回復フィルタを用いて、実施例１と同様に補間画像から回復画像を生成する。回復フィルタを作成するためには、ウィナーフィルタなど既存の方法を用いればよい。

本実施例の方法によれば、ＲＡＷ画像データと共に、レンズのＯＴＦデータを保存することができる。このため、フィルタの算出方法及びフィルタの周波数特性を自由に変更することができる。フィルタを自由に変更することができるため、ＲＡＷ画像データに対する回復処理をより適切に調節することが可能である。

［実施例３］
実施例１の方法に従うと、撮影画像に対する回復処理の強さを後に変更することができる。しかしながら、回復処理の強さを変更できないようにすることも可能である。例えば、回復処理を調整した撮影者は、画像がそれ以上に調整されることを望まないことがある。この場合、ＪＰＥＧ画像に対して差分画像を付加しなければよい。しかしながら差分画像のないＪＰＥＧ画像を取得した場合、その画像に対して既に回復処理の調整が行われているのか、それとも回復処理の調整は行われていないのか、を判別することは困難である。第三者から回復フィルタを入手することにより、回復処理の調整が行われていない画像に対して、回復処理を行うことも可能である。しかし、もし回復処理の調整が行われている画像に回復処理を行った場合、撮影者の意図が損なわれる上に、リンギングなどの弊害が発生する。

従って、回復処理が既に調整されている画像データには、回復処理が調整されていることを示すマークが付されることが望ましい。そこで本実施例では、回復処理の調整が禁止されたＪＰＥＧ画像に対してはマークを付す。以下で、本実施例の方法を図５を参照して説明する。本実施例の方法は実施例１と類似しており、同様の工程は説明を省略する。図５において、実施例１と同様の動作が行われるステップは、図３と同じ番号が付されている。

実施例１と同様に、ステップＳ３０７において回復処理部２０４は回復画像を生成する。本実施例においてはステップＳ３０７で、回復フィルタの係数を調整することにより、回復処理の強さを調節してもよい。フィルタ係数の調整は、撮影条件に従って行われてもよいし、画像認識の結果に基づいて行われてもよいし、ユーザによって行われてもよい。ステップＳ５０１で差分算出部２０５は、回復処理の強さの調整を可能にするか否かを判断する。この判断は、ステップＳ３０２で取得された撮影条件に基づいて行われてもよいし、ユーザの指示に基づいて行われてもよい。

回復処理の強さの調整を可能にする場合、処理はステップＳ５０１からステップＳ３０８に進む。ステップＳ３０８及びステップＳ３０９の処理は実施例１と同様である。そしてステップＳ５０２においてエンコード部１０５は、回復フラグＦｒに、回復処理が可能なことを示す値（本実施例では０）をセットする。ステップＳ５０３でエンコード部１０５は、ステップＳ３０９で作成された回復前のＪＰＥＧ画像と、ステップＳ５０２で作成された回復フラグと、ステップＳ３０８で作成された差分画像とを保存する。

回復処理の強さの調整を不可能にする場合、処理はステップＳ５０１からステップＳ５０４に進む。ステップＳ５０４でエンコード部１０５は、ステップＳ３０７で取得された回復画像をＪＰＥＧ圧縮する。ステップＳ５０５でエンコード部１０５は、回復フラグＦｒに、回復処理が不可能なことを示す値（本実施例では１）をセットする。ステップＳ５０６でエンコード部１０５は、ステップＳ５０４で作成されたＪＰＥＧ画像と、ステップＳ５０５で作成された回復フラグとを保存する。

こうして、回復用の差分画像がないＪＰＥＧ画像を扱う際に、回復処理が調整されているＪＰＥＧ画像と、回復処理が調整されていないＪＰＥＧ画像とを区別することができる。これによって、回復処理を２重に行うことによって画質を劣化させることを防止できる。本実施例ではデジタルカメラが画像を保存する際に回復フラグを付加する。しかしながら情報処理装置が、実施例１に従って生成したＪＰＥＧ画像を読み込み、回復処理の強さを調整して再び保存する場合にも、本実施例の方法を用いることができる。

［実施例４］
本実施例ではＪＰＥＧ画像に対して、回復用の差分画像と共に、トリミング情報を付加する。ＪＰＥＧ画像には通常、トリミングされたことを示す情報が存在しない。トリミングが行われた場合、回復用の差分画像と元のＪＰＥＧ画像との間で画像サイズが異なることがある。この場合、ＪＰＥＧ画像と差分画像との各画素値を足し合わせることで回復処理された画像を得ることはできない。ＪＰＥＧ画像と差分画像との位置を合わせる処理が必要となる。

収差の回復処理を行う場合、差分画像は通常エッジ情報を示す。したがって、ＪＰＥＧ画像からエッジ情報を取得し、取得したエッジ情報を用いて差分画像とＪＰＥＧ画像との位置を合わせることも可能である。しかしながら、このようなパターンマッチングには時間がかかる。また例えば、多数の細かいエッジを含む画像、類似の繰り返しパターンを含む画像、又はエッジ情報が非常に少ない画像を用いる場合に、位置合わせは難しくなる。

以下で、本実施例の方法を図３を参照して説明する。本実施例の方法は実施例１と類似しており、同様の工程は説明を省略する。ステップＳ３１０においてエンコード部１０５は、トリミング情報を取得する。トリミング情報は、トリミングの有無を示すフラグＦｔ、トリミング前の画像の画素数（Ｗ，Ｈ）、及びトリミング画像位置Ｐｔを含む。図６に、トリミング画像６０２のトリミング情報を示す。６０１はトリミング前の画像を示す。また、６０２はトリミング後の画像を示す。本実施例では、トリミング前の画素数は（Ｗ，Ｈ）＝（１６００，１２００）である。トリミング画像６０２はトリミングされているから、フラグＦｔはトリミングされていることを示す値（本実施例の場合は１）を持つ。トリミング画像位置Ｐｔは例えば、トリミング前の画像における、トリミング領域の左上の座標であればよい。本実施例においては、トリミング画像６０２のＰｔ（Ｘ，Ｙ）は、（３００，３００）となる。その後エンコード部１０５は、ステップＳ３０９で作成されたＪＰＥＧ画像と、ステップＳ３０８で作成された差分データと、上述のトリミング情報とを保存する。

本実施例によれば、ＪＰＥＧ画像をトリミングした場合にも、トリミング情報を参照することにより、ＪＰＥＧ画像に対して差分画像を正しく用いることができる。本実施例ではデジタルカメラが画像を保存する際にトリミングを行う。しかしながら情報処理装置が、実施例１に従って生成したＪＰＥＧ画像を読み込み、トリミングを行って再び保存する場合にも、本実施例の方法を用いることができる。

［実施例５］
本実施例では、差分画像に加えて、回復処理の強さも、ＪＰＥＧ画像と一緒に保存する。実施例１〜４では、ＪＰＥＧ画像と差分画像とが保存される。一方、回復処理の強さが調整された後で、調整後のデータを保存できることが好ましい。実施例１〜４に従うと、調整後のデータを保存する場合、差分画像が書き換えられるだろう。しかしながら、データを調整した後に、このデータをさらに調整する場合、最後に保存された画像を調整することになる。この場合、調整の基準が変わるため、調整が難しくなるかもしれない。

例えば、ユーザが回復処理の強さを「０．５」にして保存した後で、ユーザはもう少し回復処理を強くしたいと思うかもしれない。この場合、ユーザは回復処理の強さを例えば「０．６」にするのではなく、「１．２」にしなければならない。この特性は、ユーザの直感的な操作を困難にする。さらには、調整時に切り捨て処理が発生することにより、差分画像が次第に劣化していく可能性がある。そこで、本実施例では、回復処理の強さを差分画像と一緒に保存する。

本実施例の方法を、図３を用いて説明する。本実施例の方法は実施例１と類似しており、同様の工程は説明を省略する。ステップＳ３１０においてエンコード部１０５は、回復処理の強さを決定する。この際エンコード部１０５は、ステップＳ３０２で取得された撮影条件、ユーザの指示、等を考慮する。例えば、レンズの種類、撮影距離、ズーム位置、絞り、及び光源が同じ場合、撮影モードがポートレートモードである時には、風景モードである時よりも回復処理の強さを弱くしてもよい。一例として、風景モードであれば調整値を１．０に、ポートレートモードであれば調整値を０．７５にしてもよい。実施例１０で説明するが、調整値は回復処理の強さを示す。その後エンコード部１０５は、ステップＳ３０９で取得されたＪＰＥＧ画像と、ステップＳ３０８で取得された差分画像と、以上の調整値とを保存する。

本実施例では、撮影モードを考慮して調整値が決定された。しかしながら、デジタルカメラが撮影画像を解析し、エンコード部１０５は解析結果に従って調整値を決定してもよい。例えば、顔検出により検出された１つの顔が、撮影画像の大きさに対して所定以上の比率を占める場合、調整値を小さくしてもよい。撮影画像のシーン解析によって、画像が室内で撮影されていると判断された場合、ノイズが大きい可能性を考慮して調整値を小さくしてもよい。

本実施例ではデジタルカメラが画像を保存する際に調整値を決定する。しかしながら情報処理装置が、本実施例に従って生成したＪＰＥＧ画像を読み込み、回復処理の再調整を行って再び保存する場合にも、本実施例の方法を用いることができる。すなわち、回復処理を再調整することで得られた調整値を、保存されている調整値に上書きすればよい。本実施例によれば、回復処理の強さを再調整する場合に、調整の基準を一定にすることができる。前出の例によれば、回復処理の強さを「０．５」よりも強くしたいときに、ユーザは「０．６」を指定すればよい。

［実施例６］
実施例１〜５では、ＯＴＦデータから算出された回復フィルタを使用する補正処理について説明した。実施例１〜５の方法で回復処理を行うと、画像の位相成分（ＰＴＦ成分）と振幅成分（ＭＴＦ成分）との両方が補正される。したがって、実施例１〜５の方法で差分データを用いた回復処理の調整を行うと、ＰＴＦ成分とＭＴＦ成分との回復処理は同じ強さとなる。回復処理を弱くするほど、倍率色収差による色ずれ、及びコマ収差による像の流れ、のように非対称なボケが多く出現する。

図９は、位相ずれ（ＰＴＦ成分）のみを補正した場合の、点像を示す。以下では、位相ずれの補正は、ＰＴＦの回復と称される。図９（Ｃ）に示される点像のＭＴＦ及びＰＴＦが、図９（Ａ）及び（Ｂ）にそれぞれ示される。また、図９（Ｆ）に示される点像のＭＴＦ及びＰＴＦが、図９（Ｄ）及び（Ｅ）にそれぞれ示される。図９（Ｆ）の像は、図９（Ｃ）の像のＰＴＦを補正することによって得られる。図９（Ｃ）の像も図９（Ｆ）の像もボケてはいるが、図９（Ｆ）の像においては、図９（Ｃ）の像と比べて、非対称性がよく補正されており、像流れがよりよく抑制されている。 図９（Ｈ）は、図９（Ｇ）の点像のＰＴＦを補正することによって得られる。この場合にも、ＰＴＦを補正することによって非対称性が補正される。

そこで本実施形態では、収差の非対称性に起因する位相ずれ（ＰＴＦ）の回復補正の強さは固定され、ＭＴＦの回復処理の強さのみを調整できるようにする。本実施形態の方法は、第１の実施例と同様であり、図３のフローチャートを用いて説明される。第１の実施例と同じ処理については説明は省略される。

ステップＳ３０３で回復処理部２０４は、ステップＳ３０２で取得された撮影条件に合致する回復フィルタを取得する。本実施形態で回復処理部２０４は、ＰＴＦの回復フィルタとＭＴＦの回復フィルタとの双方を取得する。回復フィルタを、ＰＴＦの回復フィルタとＭＴＦの回復フィルタとに分ける方法には、様々な方法がある。例えば、逆フィルタを応用する場合、以下の式を用いることができる。
（ＰＴＦの回復フィルタ）＝（ＯＴＦの絶対値）／ＯＴＦ ＝ ＭＴＦ／ＯＴＦ
（ＭＴＦの回復フィルタ）＝１／（ＯＴＦの絶対値） ＝ １／ＭＴＦ
同様に、ウィナーフィルタを応用することにより、回復フィルタを分けることもできる。

ステップＳ３０７で回復処理部２０４は、ステップＳ３０６で取得された補間画像に対して、ステップＳ３０３で取得されたＰＴＦの回復フィルタを適用することにより、ＰＴＦのみが回復された画像Ｉｐを作成する（前処理手段）。さらに回復処理部２０４は、画像Ｉｐに対して、ステップＳ３０３で取得されたＭＴＦの回復フィルタを適用することにより、ＭＴＦとＰＴＦとの双方が回復された画像Ｉｐｍを作成する。回復処理部２０４が行う処理は、ＰＴＦの回復フィルタを適用して補間画像を更新する前処理を行うことと、ＰＴＦとＭＴＦとの双方を回復した画像を取得することとに相当する。

ステップＳ３０８で回復処理部２０４は、各画素について画像Ｉｐｍと画像Ｉｐとの差分を求めることによって、差分画像を作成する。本実施形態の差分画像は、ＭＴＦ補正の補正量を示す。ステップＳ３０９でエンコード部１０５は、画像ＩｐをＪＰＥＧ圧縮する。ステップＳ３１０でエンコード部１０５は、ステップＳ３０９で作成されたＪＰＥＧ画像と、ステップＳ３０８で作成された差分画像とを保存する。このときエンコード部１０５は、保存されている差分画像が、ＰＴＦとＭＴＦの両方が回復された画像と、ＰＴＦのみが回復された画像との差分であることを示すフラグ情報を、ＪＰＥＧ画像及び差分画像と共に保存する。本実施例の方法を用いれば、ＭＴＦ回復処理を弱くしても、収差の非対称性に由来する像流れのような画質劣化を抑えることができる。

［実施例７］
本実施例の処理においては、色収差が考慮される。図１０において、（ａ）及び（ｂ）は、回復前の、異なる色成分のＭＴＦである。ＭＴＦ（ａ）及び（ｂ）を補正することにより、ＭＴＦ（ｃ）が得られる。回復処理を弱くすると、色成分に応じてＭＴＦ（ｃ）はＭＴＦ（ａ）又は（ｂ）に近づく。すなわち、回復処理が弱い場合、異なる色成分の間でＭＴＦにずれが生じる。すると、ボケの形が色成分ごとに異なるために、色収差が発生する。そこで本実施例では、色収差を補正した後に差分画像を生成する。また、色成分間でＰＴＦがずれていると、ボケの形状が色成分ごとに異なるため、この場合にも色収差が生じる。そこで本実施例では、ＰＴＦの補正及び色収差の補正が行われた後に、ＭＴＦ補正前後の差分画像が作成される。もっとも、実施例６のようにＰＴＦの回復処理とＭＴＦの回復処理とが独立に行われる必要はなく、色収差の補正が行われた後で実施例１のように差分画像が生成されればよい。

実施例７における処理は、図７に示される。図７のフローチャートにおいて、実施例１でも同様に行われる工程には同じ参照番号が付されている。ステップＳ３０１及びＳ３０２では、実施例１と同様に処理が行われる。ステップＳ３０３で回復処理部２０４は、位相ズレを補正するＰＴＦの回復フィルタと、色収差を補正するフィルタと、ＭＴＦの回復フィルタとを取得する。色収差を補正するフィルタとは、各色成分間でのＭＴＦのずれが小さくなるように画像を補正する。この色収差を補正するフィルタは例えば、図１０におけるＭＴＦ（ａ）を、ＭＴＦ（ｂ）に近づけることができる。

色収差を補正するフィルタの作成方法は、様々である。例えば、逆フィルタを応用して、以下のようにフィルタを作成することができる。
色収差補正フィルタ＝（（ｂ）のＭＴＦ）／（（ａ）のＭＴＦ）
この他に、ウィナーフィルタを応用してフィルタを作成することもできる。

ステップＳ３０４で回復処理部２０４は、実施例１と同様に、出力する画像タイプを判断する。ＲＡＷデータが出力される場合、処理はステップＳ１２０７に進み、ステップＳ３０１で取得された撮像データのＲＡＷ画像データと、ステップＳ３０３で取得されたＰＴＦ回復フィルタ、色収差補正フィルタ、及びＭＴＦ回復フィルタが保存される。ＪＰＥＧデータが出力される場合、処理はステップＳ３０６に進む。

ステップＳ３０６では実施例１と同様に補間画像が取得される。次にステップＳ１２０１において回復処理部２０４は、ステップＳ３０３で取得されたＰＴＦ回復フィルタを使って、ＰＴＦが回復された画像Ｉｐを作成する。ステップＳ１２０２で回復処理部２０４は、画像Ｉｐに対して色収差補正フィルタを適用することにより、画像Ｉｐｃを作成する。画像Ｉｐｃは、位相ズレと色収差とが補正された画像である。ステップＳ１２０３で回復処理部２０４は、画像Ｉｐｃに対してＭＴＦ回復フィルタを適用することにより、画像Ｉｐｃｍを作成する。画像Ｉｐｃｍは、位相ズレ、色収差、及びＭＴＦの低下が補正された画像である。

ステップＳ１２０４で回復処理部２０４は、画素ごとに画素値の差分を計算することにより、画像Ｉｐｃｍと画像Ｉｐｃとの差分画像を作成する。すなわち差分画像は、位相ズレと色収差とが補正された画像についての、ＭＴＦ補正前後の画素値の差分を示す。ステップＳ１２０５でエンコード部１０５は、画像ＩｐｃをＪＰＥＧ圧縮する。

ステップＳ３１０でエンコード部１０５は、ステップＳ１２０５で生成されたＪＰＥＧ画像と、ステップＳ１２０４で作成された差分画像とを保存する。ここでエンコード部１０５はさらに、保存されている差分画像が、ＰＴＦとＭＴＦと色収差とが回復された画像と、ＰＴＦと色収差とが回復された画像との差分であることを示すフラグ情報を、ＪＰＥＧ画像及び差分画像とともに保存する。本実施例の方法によれば、色収差の少ない画像に対して、ＭＴＦの回復処理の強さを調整することが可能になる。また、回復処理を弱くしても、色収差が目立つことはない。

［実施例８］
実施例６のようにＰＴＦのみを回復した点像は、点対称ではあっても、円形にならないことが多い。例えば、図９（Ｆ）や図９（Ｈ）のような点像が得られる。点像が円形とならないのは、アジムス方向のＭＴＦ形状がそれぞれ異なるためである。２つのアジムス方向は例えば、サジタル方向およびメリジオナル方向であってもよい。アジムス方向とは全方向の総称であり、サジタル方向、メリジオナル方向、及び任意の角度θの方向をも含む。例えば、サジタル方向及びメリジオナル方向のＭＴＦが、それぞれ図１０における（ａ）及び（ｂ）の形状をしている場合、図９（Ｆ）に類似した点像が得られる。サジタル方向及びメリジオナル方向のＭＴＦが一致していれば、点像は円になる。

本実施例では、アジムス方向のＭＴＦの不一致（アジムス方向のＭＴＦ収差）を補正する。そして、ＭＴＦの不一致を補正した後に、回復処理を行い、回復処理前後の差分画像を作成する。本実施例の処理は、実施例７の処理とほぼ同じである。図７のステップＳ３０３で回復処理部２０４は、色収差補正フィルタの代わりに、アジムス方向のＭＴＦの不一致を補正するフィルタ（以下アジムス補正フィルタと称する）を取得する。そしてステップＳ１２０２で回復処理部２０４は、画像Ｉｐに対してアジムス補正フィルタを適用することにより、画像Ｉｐｃを作成すればよい。

代わりの方法として、ステップＳ３０３で回復処理部２０４は、色収差補正フィルタとともに、アジムス補正フィルタを取得することもできる。そしてステップＳ１２０２で回復処理部２０４は、画像Ｉｐに対して色収差補正フィルタ及びアジムス補正フィルタを適用することにより、画像Ｉｐｃを作成してもよい。

アジムス補正フィルタは、実施例７と同様に、逆フィルタを応用することで作成することができる。例えば、（目標とするＭＴＦ）／（補正する角度のＭＴＦ）のように求めればよい。また、ウィナーフィルタなどを応用してアジムス補正フィルタを作成することもできる。本実施例の方法によれば、ＪＰＥＧ画像が円形のボケを持つ画像となるため、後の編集によってユーザが回復処理を弱くしても綺麗なボケの画像を得ることができる。

［実施例９］
実施例１〜８においては、２種類の形式（ＲＡＷデータ及びＪＰＥＧ）でデータが保存できた。しかしながら、デモザイク後の画像は、圧縮画像として保存されても、非圧縮画像として保存されても良い。そこで本実施例では、３種類の形式（ＲＡＷデータ、ＪＰＥＧ、及び非圧縮画像を格納したＴＩＦＦ）で画像を保存する方法が説明される。本実施例で説明される方法は、実施例１の方法が、デモザイク後の非圧縮画像を保存可能なように修正されたものである。しかしながら、実施例２〜８のいずれの方法もが同様に修正可能であることは、当業者には明らかであろう。

本実施例の方法が、図３を参照して説明される。ステップＳ３０１〜ステップＳ３０８は、実施例１と同様に行うことができる。ステップＳ３０９でエンコード部１０５は、ステップＳ３０２で取得された撮影条件から、画像がＪＰＥＧ形式で保存されるかＴＩＦＦ形式で保存されるかを判断する。画像がＪＰＥＧ形式で保存される場合は、エンコード部１０５は実施例１と同様にＪＰＥＧ圧縮を行えばよい。そして、ステップＳ３１０でＪＰＥＧ画像と差分画像とが保存される。

ステップＳ３０９で画像がＴＩＦＦ形式で保存されると判断した場合は、ステップＳ３１０でエンコード部１０５は、ＴＩＦＦ形式でデータを保存する。具体的にはエンコード部１０５は、ステップＳ３０６で得られた補間画像の非圧縮データと、ステップＳ３０８で得られた差分データとを、ＴＩＦＦファイルフォーマット形式で保存すればよい。本実施例では非圧縮画像の例としてＴＩＦＦ形式が採用されたが、他の非圧縮画像形式が採用されてもよい。また、１以上の非圧縮画像形式と、１以上の圧縮画像形式と、ＲＡＷデータ形式との中から、保存形式が決定されてもよい。

［実施例１０］
本実施例では、実施例１で保存された画像データを用いて、回復処理の強さを調整する方法が説明される。本実施例の処理は、例えば現像処理アプリケーションなどの画像処理ソフトウェアが行うこともできるし、一般的な画像処理装置が行うこともできる。本実施例の方法は、図８のフローチャートに示される。本実施例では、図４に示される画像処理装置が処理を行うものとして説明する。

ステップＳ１４０１で入力部４０２は、実施例１で保存された画像データ４０１を取得する。そして判別部４０３は、画像データ４０１が、ＲＡＷ形式であるかＪＰＥＧ形式であるかを判別する。データ形式を判断するためには、様々な方法を用いることができる。例えば、拡張子によってデータ形式を判別することができるし、ファイルの先頭に格納されている形式情報を読み取ることによってデータ形式を判別することもできる。また、画像データ４０１が本実施例の処理においてサポートされていない形式である場合には、ユーザに警告を発することもできる。

画像データ４０１がＲＡＷ形式である場合には、処理はステップＳ１４０２に進む。ステップＳ１４０２において現像部４０４は、画像データ４０１に含まれるＲＡＷデータに対してデモザイク処理を行うことによって、補間画像を生成する。ステップＳ１４０３で現像部４０４は、画像データ４０１に含まれる回復フィルタを取得する。ステップＳ１４０４で回復部４０６は、補間画像に対して回復フィルタを適用することにより得られる画像を、回復画像として生成する。

一方、画像データがＪＰＥＧ形式である場合には、処理はステップＳ１４０１からステップＳ１４０５に進む。ステップＳ１４０５で復号部４０５は、画像データ４０１に含まれるＪＰＥＧ画像をデコードすることにより、復号画像を生成する。本実施例においては、この復号画像は、第１の実施例における回復処理（ステップＳ３０７）を行う前の補間画像に相当する。しかしながら復号画像は、補間画像がＪＰＥＧ圧縮され、さらに復号されることによって得られたものである。ＪＰＥＧ圧縮は非可逆圧縮であるから、復号画像は補間画像に完全には一致しない。ステップＳ１４０６で復号部４０５は、画像データ４０１に含まれる差分画像を取得する。ステップＳ１４０７で回復部４０６は、復号画像と差分画像との各画素値を加算することによって得られる合成画像を、回復画像として取得する。この回復画像は、実施例１のステップＳ３０７で生成された回復画像に相当する。

ステップＳ１４０８において回復部１４０８は、回復処理の強さを変更するかどうかを判断する。例えば、回復部１４０８は、非図示の表示部を介して回復画像を表示し、回復処理の強さを変更するか否かを指示するユーザの入力を取得してもよい。また、回復部１４０８は、回復画像を画像解析することによって判断を行うこともできる。回復処理の強さを変更しない場合は、ステップＳ１４１３において、回復部４０６は回復画像を調整された画像として出力する。様々な画像出力方法を採用することが可能である。たとえば回復部４０６は、回復画像を圧縮して又は圧縮しないで保存することができる。また回復部４０６は、画像データ４０１に含まれるＪＰＥＧ画像（またはステップＳ１４０２で得られた補間画像）を、ステップＳ１４０９で取得された回復係数とともに保存してもよい。

回復処理の強さを変更する場合には、処理はステップＳ１４０９へ進む。ステップＳ１４０９で回復部４０６は、回復処理の強さを取得する。回復処理の強さは、例えば係数として表すことができる。係数が０より大きい１未満の値である場合には回復処理は弱められ、１より大きい値である場合には回復処理は強められる。回復処理の強さは、ステップＳ１４１８と同様にユーザによって入力されてもよいし、画像解析によって決定されてもよい。

ステップＳ１４１０で回復部４０６は、画像データ４０１がＲＡＷデータであるかＪＰＥＧデータであるかを判断する。画像データ４０１がＲＡＷデータである場合、ステップＳ１４１１で回復部４０６は、ステップＳ１４０３で取得された回復フィルタを修正する。回復フィルタの修正は、実施例２記載した方法で行うことができる。そして、処理はステップＳ１４０４に戻る。ステップＳ１４０４では、修正された回復フィルタと補間画像とを用いて回復画像が生成される。

ステップＳ１４１０において画像データ４０１がＪＰＥＧデータであると判断された場合、ステップＳ１４１２で回復部４０６は、ステップＳ１４０６で取得された差分画像を修正する。具体的には、差分画像の各画素値に対して、ステップＳ１４０９で取得された係数をかければよい。例えば係数が０．５であれば、差分画像の各画素値を半分にすればよい。係数が２であれば、差分画像の各画素値を半分にすればよい。そして、処理はステップＳ１４０７へ戻る。処理を戻す。ステップＳ１４０７では、修正された差分画像と復号画像とを用いて回復画像が生成される。

本実施例によれば、ＲＡＷデータで保存されている画像データに対しても、ＪＰＥＧ圧縮された画像データに対しても、回復処理の強さを簡単に調整することができる。本実施例では、デモザイク後の画像に対して回復処理を行った。しかしながら、回復処理の種類によっては、デモザイク前の画像に対する回復処理を組み込むこともできるし、デモザイク処理の中に回復処理を組み込むこともできる。

実施例４のように、ＪＰＥＧ画像にトリミング情報がついている場合には、回復部４０６は、トリミング情報によって示される画素位置に対応する差分画像を抽出すればよい。そして、抽出された差分画像と復号画像とから、回復画像を生成すればよい。また実施例５のように、差分画像又はフィルタ係数と共に、回復処理の強さが保存されている場合がある。この場合は、ステップＳ１４０３において現像部４０４は、回復処理の強さを読み出し、そしてステップＳ１４１１のように回復フィルタ係数を修正すればよい。また、ステップＳ１４０６において復号部４０５は、回復処理の強さを読み出し、そしてステップＳ１４１２のように差分画像を修正すればよい。本実施例では、実施例１で作成された画像データを用いて、回復処理の強さを調整する方法を説明した。しかしながら当業者には明らかであるように、実施例２〜９の方法で作成された画像データを用いても、同様の処理によって、画像データを読み出し、回復処理の強さを調整することができる。

［その他の実施例］
実施例１〜９においては、ＲＡＷデータと共に、回復フィルタ又はＯＴＦが保存された。しかしながら、回復フィルタ又はＯＴＦの格納先を示す情報を保存することもできる。例えば、ＲＡＷデータに対応する回復フィルタの格納場所を示すＵＲＬを保存してもよい。この場合、例えば実施例１０のステップＳ１４０３において現像部４０４は、ＵＲＬが示す位置から回復フィルタを読み込めばよい。

また、実施例１〜９のファイル作成方法を組み合わせることもできる。例えば、実施例６、７、及び８が組み合わされる場合、ＪＰＥＧ画像として保存される画像は、位相ずれと、色成分間のＭＴＦの相違と、アジムス方向のＭＴＦの相違と、を補正した画像である。そして、この補正された画像に対して回復処理（具体的には、ＭＴＦの低下を補正する処理）を行うことにより得られる画像と、この補正された画像との差分が、差分画像として保存される。

実施例１〜９では、説明を簡単にするために、画像形式は、ＲＡＷ、ＪＰＥＧ、及びＴＩＦＦの中から選択された。しかしながら、ＲＡＷ形式の画像データと、ＪＰＥＧ形式（又はＴＩＦＦ形式）の画像データとを同時に保存することもできる。この場合、ＲＡＷデータと、ＪＰＥＧデータ（又はＴＩＦＦデータ）と、回復フィルタ（またはＯＴＦデータ）と、差分データと、を保存すればよい。

実施例１〜９においては、差分画像を圧縮し、圧縮された差分画像を保存することもできる。回復処理はボケの補正処理であるから、差分画像の情報量は被写体のエッジ部分で大きくなる。言い換えれば、エッジ部分以外においては差分画像の画素値は０に近くなる。したがって、差分画像を圧縮する場合、可逆圧縮が採用されたとしても、圧縮率は大きくなると考えられる。差分画像を圧縮することにより、回復処理を後から調整できるようにする場合の、ファイルサイズの増加量を抑えることができる。非可逆圧縮された差分データを保存することもまた可能である。この場合、ファイルサイズはさらに小さくなる。

ＲＯＭ１０８に保存されている回復フィルタ２０２もまた、何らかの形式で圧縮されていても良い。この場合回復処理部２０４が、圧縮されている回復フィルタを展開すればよい。ＲＯＭ１０８には、回復フィルタではなく、回復フィルタを算出するために必要なＯＴＦデータ又はＰＳＦデータが保存されていても良い。この場合回復処理部２０４が、ＯＴＦデータ又はＰＳＦデータから回復フィルタを算出すればよい。さらに、ＲＡＷデータと共にフィルタ係数が保存されるのではなく、撮影条件に合致するＯＴＦデータ（若しくはＭＴＦ及びＰＴＦデータ）又はＰＳＦデータが保存されてもよい。

実施例１〜９では、デジタルカメラのような撮像装置の信号処理部１０３が処理を行う。しかしながら、コンピュータ全体を制御するＣＰＵと、データを格納するメモリとを有するコンピュータが、実施例１〜９及び実施例１０の処理を行ってもよい。このコンピュータにおいて各実施例の機能を実行するためには、各機能を現像処理アプリケーションなどのコンピュータプログラムにより表現し、このコンピュータに読み込ませればよい。具体的には、記憶媒体等に格納されたプログラムがメモリにロードされ、ＣＰＵはロードされたプログラムを実行する。

現像処理アプリケーションを用いる場合、撮影画像を格納するファイルが入力される。Ｅｘｉｆファイルフォーマットに準拠したファイルが用いられる場合、撮影条件はＥｘｉｆファイルフォーマットに従って格納されていればよい。こうして、現像処理アプリケーションは撮影条件を取得することができる。例えば絞り値は、Ｅｘｉｆ ＩＦＤ内の、ＡｐｅｒｔｕｒｅＶａｌｕｅタグ又はＦｎｕｍｂｅｒタグを参照して取得されうる。被写体距離は、Ｅｘｉｆ ＩＦＤ内のＳｕｂｊｅｃｔＤｉｓｔａｎｃｅタグを参照して取得されうる。レンズの焦点距離は、ＦｏｃａｌＬｅｎｇｔｈタグを参照して取得されうる。また、カメラの機種情報はＥｘｉｆ ＩＦＤ内のＭｏｄｅｌタグを参照して取得されうる。標準的なＥｘｉｆ ＩＦＤ内では、レンズの種類情報のタグは規定されていないので、レンズの種類情報はＭａｋｅｒｎｏｔｅｓタグ等を参照して取得されうる。また、ＳｃｅｎｅＣａｐｔｕｒｅＴｙｐｅタグを参照することで取得された撮影シーンタイプに応じて、デフォルトの回復処理の強さを決定しても良い。これらの情報を用いて回復フィルタを取得することにより、実施例１〜８と同様の画像データファイルを作成することが可能になる。

Claims (11)

1. 撮像により得られた撮影画像と、前記撮像に用いた撮像装置の光学系の収差に起因するボケを補正する処理を当該撮影画像に対して行うために用いる補正フィルタと、を取得する取得手段と、
   前記補正フィルタを前記撮影画像に適用することで補正画像を生成する補正手段と、
   前記撮影画像と前記補正画像との差分画像を生成する差分算出手段と、
   前記撮影画像若しくは前記補正画像と、前記差分画像とを保存する保存手段と
   を備え、
   前記補正フィルタは、前記撮像装置の光学系の収差に起因するボケの振幅成分を補正するフィルタであり、
   前記補正画像を生成する前に、前記撮像装置の光学系の収差に起因するボケの位相成分の補正を、前記取得手段が取得した前記撮影画像に対して行うことで、前記撮影画像を更新する前処理手段をさらに備えることを特徴とする画像処理装置。
2. 撮像により得られた撮影画像と、前記撮像に用いた撮像装置の光学系の収差に起因するボケを補正する処理を当該撮影画像に対して行うために用いる補正フィルタと、を取得する取得手段と、
   前記補正フィルタを前記撮影画像に適用することで補正画像を生成する補正手段と、
   前記撮影画像と前記補正画像との差分画像を生成する差分算出手段と、
   前記撮影画像若しくは前記補正画像と、前記差分画像とを保存する保存手段と
   を備え、
   前記補正画像を生成する前に、アジムス方向のＭＴＦ収差の補正と、色収差の補正との少なくとも一方を、前記取得手段が取得した前記撮影画像に対して行うことで、前記撮影画像を更新する前処理手段をさらに備えることを特徴とする画像処理装置。
3. 撮像によって撮像素子から出力された撮像データと、当該撮像データにデモザイク処理を行うことで得られる撮影画像と、前記撮像に用いた撮像装置の光学系の収差に起因するボケを補正する処理を当該撮影画像に対して行うために用いる補正フィルタと、を取得する取得手段と、
   前記撮像データを保存する第１のモード、又は前記デモザイク処理後の画像を保存する第２のモードを設定する設定手段と、
   前記補正フィルタを前記撮影画像に適用することで補正画像を生成する補正手段と、
   前記撮影画像と前記補正画像との差分画像を生成する差分算出手段と、
   前記第１のモードにおいては、前記撮像データと前記補正フィルタとを保存し、前記第２のモードにおいては、前記撮影画像若しくは前記補正画像と、前記差分画像とを保存する保存手段と
   を備え、
   前記補正フィルタは、前記撮像装置の光学系の収差に起因するボケの振幅成分を補正するフィルタであり、
   前記補正画像を生成する前に、前記撮像装置の光学系の収差に起因するボケの位相成分の補正を、前記取得手段が取得した前記撮影画像に対して行うことで、前記撮影画像を更新する前処理手段をさらに備えることを特徴とする画像処理装置。
4. 撮像によって撮像素子から出力された撮像データと、当該撮像データにデモザイク処理を行うことで得られる撮影画像と、前記撮像に用いた撮像装置の光学系の収差に起因するボケを補正する処理を当該撮影画像に対して行うために用いる補正フィルタと、を取得する取得手段と、
   前記撮像データを保存する第１のモード、又は前記デモザイク処理後の画像を保存する第２のモードを設定する設定手段と、
   前記補正フィルタを前記撮影画像に適用することで補正画像を生成する補正手段と、
   前記撮影画像と前記補正画像との差分画像を生成する差分算出手段と、
   前記第１のモードにおいては、前記撮像データと前記補正フィルタとを保存し、前記第２のモードにおいては、前記撮影画像若しくは前記補正画像と、前記差分画像とを保存する保存手段と
   を備え、
   前記補正画像を生成する前に、アジムス方向のＭＴＦ収差の補正と、色収差の補正との少なくとも一方を、前記取得手段が取得した前記撮影画像に対して行うことで、前記撮影画像を更新する前処理手段をさらに備えることを特徴とする画像処理装置。
5. 前記保存手段は、前記差分画像を圧縮してから保存することを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
6. 複数の撮影条件の各々に対応する前記補正フィルタを格納する格納手段をさらに備え、
   前記取得手段は、前記撮像時の撮影条件を取得し、当該撮影条件に対応する前記補正フィルタを前記格納手段から選択して取得する
   ことを特徴とする、請求項１乃至５の何れか１項に記載の画像処理装置。
7. 画像処理装置が行う画像処理方法であって、
   撮像により得られた撮影画像と、前記撮像に用いた撮像装置の光学系の収差に起因するボケを補正する処理を当該撮影画像に対して行うために用いる補正フィルタと、を取得する取得工程と、
   前記補正フィルタを前記撮影画像に適用することで補正画像を生成する補正工程と、
   前記撮影画像と前記補正画像との差分画像を生成する差分算出工程と、
   前記撮影画像若しくは前記補正画像と、前記差分画像とを保存する出力工程と
   を備え、
   前記補正フィルタは、前記撮像装置の光学系の収差に起因するボケの振幅成分を補正するフィルタであり、
   前記補正画像を生成する前に、前記撮像装置の光学系の収差に起因するボケの位相成分の補正を、前記取得工程で取得した前記撮影画像に対して行うことで、前記撮影画像を更新する前処理工程をさらに備えることを特徴とする画像処理方法。
8. 画像処理装置が行う画像処理方法であって、
   撮像により得られた撮影画像と、前記撮像に用いた撮像装置の光学系の収差に起因するボケを補正する処理を当該撮影画像に対して行うために用いる補正フィルタと、を取得する取得工程と、
   前記補正フィルタを前記撮影画像に適用することで補正画像を生成する補正工程と、
   前記撮影画像と前記補正画像との差分画像を生成する差分算出工程と、
   前記撮影画像若しくは前記補正画像と、前記差分画像とを保存する出力工程と
   を備え、
   前記補正画像を生成する前に、アジムス方向のＭＴＦ収差の補正と、色収差の補正との少なくとも一方を、前記取得工程で取得した前記撮影画像に対して行うことで、前記撮影画像を更新する前処理工程をさらに備えることを特徴とする画像処理方法。
9. 画像処理装置が行う画像処理方法であって、
   撮像によって撮像素子から出力された撮像データと、当該撮像データにデモザイク処理を行うことで得られる撮影画像と、前記撮像に用いた撮像装置の光学系の収差に起因するボケを補正する処理を当該撮影画像に対して行うために用いる補正フィルタと、を取得する取得工程と、
   前記撮像データを保存する第１のモード、又は前記デモザイク処理後の画像を保存する第２のモードを設定する設定工程と、
   前記補正フィルタを前記撮影画像に適用することで補正画像を生成する補正工程と、
   前記撮影画像と前記補正画像との差分画像を生成する差分算出工程と、
   前記第１のモードにおいては、前記撮像データと前記補正フィルタとを出力し、前記第２のモードにおいては、前記撮影画像若しくは前記補正画像と、前記差分画像とを保存する出力工程と
   を備え、
   前記補正フィルタは、前記撮像装置の光学系の収差に起因するボケの振幅成分を補正するフィルタであり、
   前記補正画像を生成する前に、前記撮像装置の光学系の収差に起因するボケの位相成分の補正を、前記取得工程で取得した前記撮影画像に対して行うことで、前記撮影画像を更新する前処理工程をさらに備えることを特徴とする画像処理方法。
10. 画像処理装置が行う画像処理方法であって、
    撮像によって撮像素子から出力された撮像データと、当該撮像データにデモザイク処理を行うことで得られる撮影画像と、前記撮像に用いた撮像装置の光学系の収差に起因するボケを補正する処理を当該撮影画像に対して行うために用いる補正フィルタと、を取得する取得工程と、
    前記撮像データを保存する第１のモード、又は前記デモザイク処理後の画像を保存する第２のモードを設定する設定工程と、
    前記補正フィルタを前記撮影画像に適用することで補正画像を生成する補正工程と、
    前記撮影画像と前記補正画像との差分画像を生成する差分算出工程と、
    前記第１のモードにおいては、前記撮像データと前記補正フィルタとを出力し、前記第２のモードにおいては、前記撮影画像若しくは前記補正画像と、前記差分画像とを保存する出力工程と
    を備え、
    前記補正画像を生成する前に、アジムス方向のＭＴＦ収差の補正と、色収差の補正との少なくとも一方を、前記取得工程で取得した前記撮影画像に対して行うことで、前記撮影画像を更新する前処理工程をさらに備えることを特徴とする画像処理方法。
11. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置が有する各手段として機能させるための、コンピュータプログラム。