JP4618355B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

スチルカメラやビデオカメラ等の撮像装置において、レンズを透過した光は、色別の点像強度分布関数（ＰＳＦ：point spread function）の影響で、点像に広がりが生じることが知られている。また、ＰＳＦは、像高が高くなるにつれて拡散度合が増加する。なお、像高とは、例えば撮像素子の撮像面上で像位置を光軸からの距離で表した値である。

図３Ａ、図３Ｂは、点像強度分布関数を示すグラフである。図３Ａ（Ａ）のグラフは、光軸上のＰＳＦであり、図３Ａ（Ｂ）のグラフは、像高５０％のＰＳＦであり、図３Ｂ（Ｃ）のグラフは、像高１００％のＰＳＦである。一点鎖線は緑色成分を示し、実線は赤色成分を示し、破線は青色成分を示す。図３Ａ、図３Ｂの横軸は、像高方向の位置を示し、縦軸は光の強度を示す。

図３Ａ、図３Ｂに示すように、各色のＰＳＦは像高が高くなるにつれて、倍率色収差が大きくなり、同時に、ＰＳＦの形状の裾野部分の広がり（以下、「ＰＳＦだれ」ともいう。）が増加する特性がある。また、図３Ａ、図３Ｂに示す例では、裾野部分が右側に長く広がる形状を有している。このように、ＰＳＦだれは、像高方向に左右非対称の形状となって、片ボケが発生する。

図４（Ａ）は、片ボケが発生していないＰＳＦの例を示すグラフであり、図４（Ｂ）は、片ボケが発生しているＰＳＦの例を示すグラフである。一点鎖線は緑色成分を示し、実線は赤色成分を示し、破線は青色成分を示す。図４（Ａ）は、赤色成分（Ｒ）、青色成分（Ｂ）及び緑色成分（Ｇ）において、片ボケが発生しておらず、片ボケによる色つきは生じない。

一方、図４（Ａ）のＰＳＦと比較して、図４（Ｂ）のＰＳＦでは、赤色成分（Ｒ）と青色成分（Ｂ）で片ボケが発生している。そして、赤色成分（Ｒ）又は青色成分（Ｂ）の画素レベルが緑色成分（Ｇ）の画素レベルを超えた領域が存在している（図中の楕円で囲った部分）。その結果、理想的には発生すべきではない色（紫色）が、撮像素子の撮像面上で発生し、被写体像に発生すべきではない色がついてしまう。フリンジ等の偽色は、上記の理由で発生しており、画像の品質が低下するという問題があった。

なお、片ボケが発生する方向（例えば、右側に発生するか、又は左側に発生するか）は、レンズの特性やフォーカス、ズーム、露光の状態によって変化する。

ところで、画像ボケ、例えばＰＳＦだれを補正する方法として、例えば特許文献１等が開示されている。例えばＰＳＦだれを補正するには、特許文献１に記載されているようなデコンボリューション手法が提案されている。また、特許文献２では、画像輪郭部分での色にじみをなくす技術が開示されている。

特開２０００−９２３１８号公報 特開２００３−１８４０７号公報

図３Ａや図３Ｂのように倍率色収差が発生している状態で片ボケが発生しているとき、倍率色収差の補正前後で色付きによって発生する色が変化する。図５（Ａ）は、倍率色収差補正前のＰＳＦの例を示すグラフであり、図５（Ｂ）は、倍率色収差補正後のＰＳＦの例を示すグラフである。図５（Ａ）は、倍率色収差が発生している状態で片ボケが発生している例であり、赤色成分（Ｒ）又は青色成分（Ｂ）の画素レベルが緑色成分（Ｇ）の画素レベルを超えた領域が存在している（図中の楕円で囲った部分）。その結果、理想的には発生すべきではない色である紫色の色付きが発生する。一方、図５（Ｂ）は、倍率色収差が発生している状態に対して、倍率路収差を補正した後の例であり、赤色成分（Ｒ）又は青色成分（Ｂ）の画素レベルが緑色成分（Ｇ）の画素レベルを超えた領域では、青色の色付きが発生する。このように、倍率色収差補正前後で片ボケによる色付きの色が変化するが、この見え方の違いが場合によっては不自然さを際立たせてしまう可能性があり問題であった。

従来、特許文献１等による画像ぼけの補正方法（デコンボリューション手法）は、ハードウェア等で実現されることは、想定されていない。例えば、処理量が過多であり、かつ、その演算量や処理時間の面で問題であり、ハードウェア等で実現されることは現実的でなかった。また、特許文献１以外でも、画素レベルで着目して、ハードウェアやソフトウェアにおいて、どの画素をどのように処理して画像ボケの補正をするかについて、ハードウェア等で実現可能なレベルでの検討は行われていなかった。

また、特許文献２に記載された近似的な輪郭強調処理については、具体的なフィルタ係数が開示されていない。そこで、例えば一般的な輪郭強調フィルタ係数（−１，２，−１）等を用いるとすると、色間の色にじみを低減できるが、ＰＳＦだれを補正することはできないため、画像ボケを補正することはできなかった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ＰＳＦの影響によって被写体像に発生すべきではない色が生じることを画素レベルで簡潔に低減することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、像高方向上に位置する複数の画素の画素信号からなる画素信号列を色成分別に画像データから抽出する画素信号抽出部と、画素信号列の画素数に対応した複数のタップ係数を有するフィルタを、抽出された画素信号列に対して適用し、補正用信号列を生成するフィルタ処理部と、生成された補正用信号列を画素信号列に加算し、処理済信号列を生成する信号列加算部とを有し、複数のタップ係数は、画素信号列中の注目画素に適用する最大値を有する１つの基準タップ係数と、像高方向に位置する周辺画素に適用する負の値を有するマイナスタップ係数からなり、像高方向上に位置する複数の画素のうち注目画素の位置をピークとして点像強度分布が発生しており、注目画素の一側が他側に比べて緩やかに画素値が下がるとき、像高方向に順番に位置する画素信号に適用するタップ係数が、画素信号に対応するように順番に配置されたタップ係数列において、基準タップ係数は複数のタップ係数の中心以外に偏在し、タップ係数列において、基準タップ係数の両側に位置するマイナスタップ係数のうち、注目画素の一側に対応する側のマイナスタップ係数は、注目画素の他側に対応する側のマイナスタップ係数より少ない画像処理装置が提供される。

上記タップ係数列において、基準タップ係数の両側に位置するマイナスタップ係数のうち、注目画素の一側に対応する側のマイナスタップ係数は１つであり、注目画素の他側に対応する側のマイナスタップ係数は２以上であってもよい。

上記画素値の下がり方が緩やかであるほど、タップ係数列において、基準タップ係数の両側に位置するマイナスタップ係数のうち注目画素の他側に対応する側のマイナスタップ係数の数が増加するように決定されてもよい。

上記タップ係数列において、基準タップ係数の両側に位置するマイナスタップ係数のうち一側又は他側のマイナスタップ係数の数は、像高に応じて変化してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、像高方向上に位置する複数の画素の画素信号からなる画素信号列を色成分別に画像データから抽出する画素信号抽出部と、画素信号列の画素数に対応した複数のタップ係数を有する第１のフィルタを、抽出された画素信号列に対して適用し、第１の補正用信号列を生成する第１のフィルタ処理部と、画素信号列の画素数に対応した複数のタップ係数を有する第２のフィルタを、抽出された画素信号列に対して適用し、第２の補正用信号列を生成する第２のフィルタ処理部と、第１の補正用信号列と第２の補正用信号列を合成し、合成済補正用信号列を生成する信号列合成部と、生成された合成済補正用信号列を画素信号列に加算し、処理済信号列を生成する信号列加算部とを有し、第１のフィルタ及び第２のフィルタそれぞれの複数のタップ係数は、画素信号列中の注目画素に適用する最大値を有する１つの基準タップ係数と、像高方向に位置する周辺画素に適用する負の値を有するマイナスタップ係数からなり、像高方向上に位置する複数の画素のうち注目画素の位置をピークとして点像強度分布が発生しており、注目画素の一側が他側に比べて緩やかに画素値が下がるとき、像高方向に順番に位置する画素信号に適用するタップ係数が、画素信号に対応するように順番に配置されたタップ係数列において、基準タップ係数は複数のタップ係数の中心以外に偏在し、タップ係数列において、基準タップ係数の両側に位置するマイナスタップ係数のうち、注目画素の一側に対応する側のマイナスタップ係数は、注目画素の他側に対応する側のマイナスタップ係数より少なく、第１のフィルタの基準タップ係数が偏在する位置と、第２のフィルタの基準タップ係数が偏在する位置は反対側である画像処理装置が提供される。

上記第１のフィルタの基準タップ係数が偏在する位置と、第２のフィルタの基準タップ係数が偏在する位置は、互いに独立して決定されてもよい。

上記信号列合成部は、第１の補正用信号列と第２の補正用信号列を比較して、信号値の絶対値が大きいほうを採用して、合成済補正用信号列を生成してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、像高方向上に位置する複数の画素の画素信号からなる画素信号列を色成分別に画像データから抽出するステップと、画素信号列の画素数に対応した複数のタップ係数を有するフィルタを、抽出された画素信号列に対して適用し、補正用信号列を生成するステップと、生成された補正用信号列を画素信号列に加算し、処理済信号列を生成する信号ステップとを有し、複数のタップ係数は、画素信号列中の注目画素に適用する最大値を有する１つの基準タップ係数と、像高方向に位置する周辺画素に適用する負の値を有するマイナスタップ係数からなり、像高方向上に位置する複数の画素のうち注目画素の位置をピークとして点像強度分布が発生しており、注目画素の一側が他側に比べて緩やかに画素値が下がるとき、像高方向に順番に位置する画素信号に適用するタップ係数が、画素信号に対応するように順番に配置されたタップ係数列において、基準タップ係数は複数のタップ係数の中心以外に偏在し、タップ係数列において、基準タップ係数の両側に位置するマイナスタップ係数のうち、注目画素の一側に対応する側のマイナスタップ係数は、注目画素の他側に対応する側のマイナスタップ係数より少ない画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、像高方向上に位置する複数の画素の画素信号からなる画素信号列を色成分別に画像データから抽出するステップと、画素信号列の画素数に対応した複数のタップ係数を有する第１のフィルタを、抽出された画素信号列に対して適用し、第１の補正用信号列を生成するステップと、画素信号列の画素数に対応した複数のタップ係数を有する第２のフィルタを、抽出された画素信号列に対して適用し、第２の補正用信号列を生成するステップと、第１の補正用信号列と第２の補正用信号列を合成し、合成済補正用信号列を生成するステップと、生成された合成済補正用信号列を画素信号列に加算し、処理済信号列を生成するステップとを有し、第１のフィルタ及び第２のフィルタそれぞれの複数のタップ係数は、画素信号列中の注目画素に適用する最大値を有する１つの基準タップ係数と、像高方向に位置する周辺画素に適用する負の値を有するマイナスタップ係数からなり、像高方向上に位置する複数の画素のうち注目画素の位置をピークとして点像強度分布が発生しており、注目画素の一側が他側に比べて緩やかに画素値が下がるとき、像高方向に順番に位置する画素信号に適用するタップ係数が、画素信号に対応するように順番に配置されたタップ係数列において、基準タップ係数は複数のタップ係数の中心以外に偏在し、タップ係数列において、基準タップ係数の両側に位置するマイナスタップ係数のうち、注目画素の一側に対応する側のマイナスタップ係数は、注目画素の他側に対応する側のマイナスタップ係数より少なく、第１のフィルタの基準タップ係数が偏在する位置と、第２のフィルタの基準タップ係数が偏在する位置は反対側である画像処理方法が提供される。

本発明によれば、ＰＳＦの影響によって被写体像に発生すべきではない色が生じることを画素レベルで簡潔に低減することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は、以下の順序で行う。
１．第１の実施形態
２．第２の実施形態

＜１．第１の実施形態＞
［第１の実施形態の構成］
本実施形態の撮像装置１００は、例えば、レンズ１１４が交換可能、又は交換不可能双方におけるディジタルスチルカメラに限られず、カムコーダ、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能を持つ装置に適用可能である。また、パーソナルコンピュータなどに接続されるテレビ電話用又はゲームソフト用などの小型カメラによる撮像信号を処理する処理装置や記録装置にも本実施形態の撮像装置１００を適用することができる。

また、後述する撮像装置１００の各処理機能は、ハードウェアでもソフトウェアでも実装可能である。また、本明細書で記載する画像処理は、撮像装置１００の信号処理における入力データ（ＲＡＷデータ）のうちＲ，Ｇ，Ｂに対する処理である。以下、本実施形態ではベイヤ配列のＲＡＷデータを採用する場合について説明する。

まず、本実施形態に係る撮像装置１００の構成を説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。

図１に示す撮像装置１００は、記憶媒体に映像データを記録可能なビデオカメラである。
撮像装置１００は、例えば、イメージセンサ１０１と、前処理部１０２と、カメラ信号処理部１０３と、変換処理部１０４と、圧縮伸張部１０５と、メモリ制御部１０６と、メモリ１０７と、表示処理部１０８と、圧縮伸張部１０９と、記録デバイス制御部１１０と、記録デバイス１１１と、表示部１１２と、制御部１１３と、撮像レンズ１１４などを備えている。

撮像レンズ１１４は、被写体からの入射光を集光させ、後述のイメージセンサ１０１に被写体像を結像させるレンズ群である。ＰＳＦによる色付きは、被写体からの光が撮像レンズ１１４を通る際にレンズ固有の点像強度分布によりＲ，Ｇ，Ｂ各々で拡散度合が異なり、また、Ｒ，Ｇ，Ｂ各々で屈折率が異なるために各色で結像位置がズレてしまうことにより発生するものである。なお、レンズのＰＳＦの詳細については後述する。

イメージセンサ１０１は、光学系（例えば、撮像レンズ１１４、赤外線除去フィルタ、光学的ローパスフィルタ等を含む。）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。イメージセンサ１０１は、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の撮像素子が用いられる。ＣＭＯＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成される。なお、イメージセンサ１０１として、ＣＣＤ(Charge Coupled Device)を使用してもよい。

また、イメージセンサ１０１は、例えば、ＮＴＳＣ方式の仕様である６０ｆｐｓ（フィールド／秒）のフレームレートで信号を読み出す。イメージセンサ１０１は、６０ｆｐｓ以上のフレームレート、例えば通常レートの４倍の２４０ｆｐｓで高速に信号を読み出してもよい。イメージセンサ１０１は、ＣＤＳ（Correlated Double Sampling）及びＡ／Ｄコンバータを内蔵し、イメージセンサ１０１から撮像データが出力される。

前処理部１０２は、イメージセンサ１０１から出力された撮像データに対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。前処理部１０２は、後述する片ボケ補正を行う。前処理部１０２は、像高方向上に位置する複数の画素の画素信号からなる画素信号列を色成分別に画像データから抽出する画素信号抽出部と、画素信号列の画素数に対応した複数のタップ係数を有するフィルタを、抽出された画素信号列に対して適用し、補正用信号列を生成するフィルタ処理部と、生成された補正用信号列を画素信号列に加算し、処理済信号列を生成する信号列加算部とを有する。

なお、複数のタップ係数は、画素信号列中の注目画素に適用する最大値を有する１つの基準タップ係数と、像高方向に位置する周辺画素に適用する負の値を有するマイナスタップ係数からなる。また、像高方向に順番に位置する画素信号に適用するタップ係数が、画素信号に対応するように順番に配置されたタップ係数列において、基準タップ係数は複数のタップ係数の中心以外に偏在する。

カメラ信号処理部１０３は、前処理部１０２からの撮像データに対して、同時化処理、ホワイトバランス補正、アパーチャ補正、ガンマ補正、ＹＣ生成等のカメラ信号処理を施す。

変換処理部１０４は、カメラ信号処理部１０３から受け取った画像信号を表示部１１２の表示に適合したフレームレート及び画面サイズに変換するための表示間引きとサイズ調整とを行う。なお、表示間引きは表示処理部１０８に出力するとき行う。表示間引きとは、撮像装置１００が高速撮像モードのときに、画像を映し出す表示装置の表示規格で規定されている単位時間当たりのフィールド数（例えば６０ｆｐｓ）に合うように、フィールドを間引くことである。

圧縮伸張部１０５は、変換処理部１０４からの撮像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリ制御部１０６から供給された静止画像の符号化データに対して伸張復号化処理を行う。メモリ制御部１０６は、メモリ１０７に対する画像データの書き込み及び読み込みを制御する。メモリ１０７は、メモリ制御部１０６から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のバッファメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などである。

表示処理部１０８は、変換処理部１０４又は圧縮伸張部１０９から受け取った画像信号から、表示部１１２に表示させるための画像信号を生成して、画像信号を表示部１１２に送り、画像を表示させる。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータの画像などを表示する。

圧縮伸張部１０９は、変換処理部１０４から受け取った画像データに対して、例えばＭＰＥＧ（Moving Picture Experts Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、記録デバイス１１１から供給された動画の符号化データに対して伸張復号化処理を行い、表示処理部１０８に出力する。表示部１１２は、表示処理部１０８から受け取った動画を表示する。

制御部１１３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置１００の各構成要素を統括的に制御する。

［フリンジと倍率色収差について］
まず、フリンジと倍率色収差について説明する。
フリンジとは、例えば、図３Ｂ（Ｃ）にあるように、各色のＰＳＦ（後述）により各色がそれぞれ近傍画素に拡散され、各色が広い画素領域に亘って漏れ込み、結果として周囲に偽色や色滲みとして発生してしまう現象をいう。一般的には、画素が飽和した状態における偽色や色滲みをフリンジと呼ぶことが多い。

また、図３Ｂ（Ｃ）はＲとＧとＢの結像位置がずれている。このように色がずれる現象が倍率色収差である。倍率色収差は、各色の屈折率の違いにより、レンズを通過する各色の光の結像位置がずれてしまう現象であり、ＰＳＦの観点でみると、図３Ｂ（Ｃ）のように各色そのピークにズレを生じる現象である。

フリンジと倍率色収差は、レンズ固有のＰＳＦの発生の仕方によって現れ方が異なり、例えばフリンジが発生する又は発生しないに関わらず、倍率色収差が発生する場合もあるし、発生しない場合もある。また、フリンジと倍率色収差は、像高が高くなるほどにその発生量は大きくなる特徴がある。これは、図３Ａ（Ａ）、図３Ａ（Ｂ）、図３Ｂ（Ｃ）からもわかるように像高が高くなるほど、ＰＳＦの拡散が広範囲に及び、各色のズレも大きくなるためである。なお、像高とは、例えばイメージセンサ１０１の撮像面上で像位置を光軸からの距離で表した値である。

［ＰＳＦに関して］
次に、ＰＳＦに関して説明する。図２は、点光源１０、レンズ１１４、イメージセンサ１０１上の点像１２、ＰＳＦ１４の関係を示す説明図である。
図２に示すように、光学レンズの精度は、例えば点像強度分布関数（ＰＳＦ：Point Spread Function）を使って表す。

点像強度分布関数とは、点を撮影し光学レンズによる像のぼけ方を得たものであり、ボケた時の強度分布を表す関数である。点像強度分布関数は、理想的な点像が光学系を通過した場合にどのように光線が広がるかを表した関数である。

点とは、Ｄｉｒａｃのデルタ関数を意味する。離散的な信号処理では、撮影面における撮像素子の分解能を物体空間に写像した時の大きさが、より十分に小さければ良いことになる。数式的には
ａ・ｅ^{−２（ｘ／σ）（ｘ／σ）}
ｘ：距離（ｍｍ）、σ：分散（ｍｍ）、ａ：規格化定数
のように表現されることが知られている。

また、図３Ａ、図３Ｂに示すように、ＰＳＦは、像高が高くなるにつれてその色の拡散度合が増加し、結像位置のずれも大きくなるという特徴がある。図３Ａ、図３Ｂは、点像強度分布関数を示すグラフである。図３Ａ（Ａ）のグラフは、光軸上のＰＳＦであり、図３Ａ（Ｂ）のグラフは、像高５０％のＰＳＦであり、図３Ｂ（Ｃ）のグラフは、像高１００％のＰＳＦである。一点鎖線は緑色成分を示し、実線は赤色成分を示し、破線は青色成分を示す。

上記距離ｘは、撮像素子の画素ピッチやレンズからの距離等の仕様が既知であればそれを画素数に換算できることから、以降、ＰＳＦの拡散度合は上記のような距離ｘをその換算画素数で扱うこととする。

［片ボケに起因する偽色や色付きを低減する方法］
次に、本実施形態によって、片ボケに起因する偽色や色付きを低減する方法について説明する。これにより、片ボケによる問題を解決することができ、ＰＳＦデコンボリューション効果と同様の効果を簡易的に得ることができる。

例えば、図６（Ａ）に示すような片ボケを像高方向に有するＰＳＦに対して補正を行う場合、(-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 -1)のタップ（ＴＡＰ）係数をもつフィルタ処理を行う。図６（Ａ）は、ＰＳＦを示すグラフである。縦軸に平行な破線は任意の像高におけるＰＳＦセンター位置を示す。

このフィルタ処理は、近傍に位置する同色画素に対して行う。図１２に、ベイヤ配列の画素におけるＲに対する上記フィルタリングの例を示す。この例は、２倍のゲインの画素Ｒ１４を重心としており、フィルタ出力はこの画素位置に出力される。図１２は、ベイヤ配列の画素と、タップ係数の関係を示す説明図である。

下式に示されるように、このタップ係数の場合は、左にＲを１３画素、右にＲを１画素の範囲でフィルタ処理が行われる。
Ｒ１×(-1)＋Ｒ２×(-1)＋Ｒ３×(-1)＋Ｒ４×(-1)
＋Ｒ５×(-1)＋Ｒ６×(-1)＋Ｒ７×(-1)＋Ｒ８×(-1)
＋Ｒ９×(-1)＋Ｒ１０×(-1)＋Ｒ１１×(-1)＋Ｒ１２×(-1)
＋Ｒ１３×(-1)＋Ｒ１４×(2)＋Ｒ１５×(-1) ・・・ ［式１］

ここで図１２に示す例は、画素Ｒと画素Ｇが交互に配置された水平方向に並ぶ水平ライン上の画素について示している。本実施形態のフィルタリングは、光軸を中心とした像高方向上に配置された画素に対して行うため、縦、斜めの像高方向にも同様の処理を行う。そのため、フィルタリングの対象となる画素の配置は図１２に示す例に限定されない。また、図１２は、画素がベイヤ配列であるイメージセンサ１０１における例であるが、ベイヤ配列以外の画素配列である場合も同様に、像高方向の同色画素に対して処理を行う。

また、図６（Ａ）と、後述の図６（Ｂ）、図７（Ａ）、図７（Ｂ）は、ある特定の像高方向（動径方向）の、ある特定の像高における例である。図６（Ｂ）はフィルタリング後の結果を示すグラフである。図７（Ａ）は、源信号とフィルタリング後の結果を加算した結果を示すグラフである。図７（Ｂ）は、図７（Ａ）のグラフに対してゲイン調整した結果を示すグラフである。

上記［式１］を、ある像高方向（動径方向）のある像高において、その重心を像高方向（動径方向）に同色１画素ずつシフトさせていくことで後述の図６（Ｂ）のフィルタリング結果が得られる。一般的に、フィルタリングといえば、例えばＬＰＦのような平滑化（例えば(1 2 1)のタップ係数）の場合は、この(1 2 1)を画面の水平、垂直方向に順次画素をずらしながら処理をしていく。一方、本実施形態の場合はこの画素をずらしていく処理が像高方向（動径方向）に行われる。

図６（Ｂ）は、図６（Ａ）に示す片ボケを有するＰＳＦに対して、タップ係数(-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 -1)でフィルタリングし、正規化した結果である。なお、重心はゲインが２倍の位置である。
図６（Ａ）に示す片ボケを有するＰＳＦに、図６（Ｂ）に示すフィルタ結果を加算する（足し戻す）と、図７（Ａ）のようなフィルタ結果が得られる。そして、図６（Ａ）に示す片ボケを有するＰＳＦと、図７（Ａ）に示すフィルタ結果のそれぞれのピーク値のゲインを整合させるためにゲイン調整を行うと、図７（Ｂ）のような最終出力が得られる。

図６（Ａ）の片ボケを有するＰＳＦと比較すると、図７（Ｂ）の最終出力は片ボケが低減されている。その結果、ＰＳＦを疑似的にデコンボリューションした結果が得られる。

以上がＰＳＦを疑似的にデコンボリューションする処理の説明である。以下では、フィルタのタップ係数に関して説明する。

波形整形に関して、一般的には輪郭補正フィルタがある。タップ係数は様々なものがあるが、例えば一般的な(-1 2 -1)がある。このようなハイパスフィルタを用いた輪郭補正は、源信号に対するフィルタリング結果が源信号の輪郭強調信号となる。

一方、上述したフィルタ処理において、タップ係数(-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 -1)を用いたフィルタリング結果は、輪郭強調信号とはならない。タップ係数のマイナス係数の幅（連続したマイナス係数の数）に応じて、源信号に加算した（足し戻した）際に波形の先鋭度を変化させるような、図６（Ｂ）のような負の補正信号となる。

例えば、タップ係数(-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 -1)とタップ係数(-1 2 -1)によるフィルタ結果の違いは、図６及び図８を参照して説明できる。図８（Ａ）は、図６（Ａ）に示す片ボケを有するＰＳＦに対して、タップ係数(-1 2 -1)でフィルタリングし、正規化した結果である。図８（Ｂ）は、図６（Ａ）に示す片ボケを有するＰＳＦに、図８（Ａ）に示すフィルタ結果を加算して（足し戻して）得られるフィルタ結果である。後者は一般的な輪郭補正にすぎず、高周波成分のみに反応しているにすぎないが、前者は片ボケが生じていたエリアが低減される片ボケ補正となる。

タップ係数(-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 -1)のフィルタリングでは、重心から左側の画素をマイナス係数の幅の分だけ多く使用しフィルタ減算することになる。従って、図６（Ａ）のような片ボケの形状においては重心より右側の画素における減算量は重心より左側の画素における減算量よりも多くなる。すなわち、図６（Ａ）のような片ボケの形状を図７（Ａ）のように整形できる。

また、タップ係数の負の係数の幅が変化すると、片ボケのエリアを減算する量が変化する。以下、図９を参照して説明する。図９（Ａ）はフィルタリング後の結果を示すグラフである。図９（Ｂ）は、源信号とフィルタリング後の結果を加算した結果を示すグラフである。図９（Ｃ）は、図９（Ｂ）のグラフに対してゲイン調整した結果を示すグラフである。

例えば、図６（Ａ）に示すような像高方向に片ボケを有するＰＳＦに対して補正を行うとき、タップ係数(-1 -1 -1 -1 -1 2 -1)のフィルタ処理をする例について説明する。図９（Ａ）は、タップ係数(-1 -1 -1 -1 -1 2 -1)でフィルタリングし、正規化した結果である。なお、重心はゲインが２倍の位置である。

図６（Ａ）に示す片ボケを有するＰＳＦに、図９（Ａ）に示すフィルタ結果を加算する（足し戻す）と、図９（Ｂ）のようなフィルタ結果が得られる。そして、図６（Ａ）に示す片ボケを有するＰＳＦと、図９（Ｂ）に示すフィルタ結果のそれぞれのピーク値のゲインを整合させるためにゲイン調整を行うと、図９（Ｃ）のような最終出力が得られる。

図６（Ａ）の片ボケを有するＰＳＦと比較すると、図９（Ｃ）の最終出力は片ボケが低減されている。その結果、ＰＳＦを疑似的にデコンボリューションした結果が得られる。しかし、負のタップ係数の幅が長いときに得られる図７（Ｂ）と、それに対して幅が短いときに得られた図９（Ｃ）を比較すると、その疑似デコンボリューション効果に差異が生じる。

タップ係数の負の係数の幅の違いによって得られる結果は、それぞれ(-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 -1)と(-1 -1 -1 -1 -1 2 -1)で異なる。タップ係数のマイナス幅が大きい前者の方が、疑似デコンボリューション効果が大きく、タップ係数のマイナス幅が小さい後者は、疑似デコンボリューション効果が小さいことがわかる。

更に、片ボケの現れ方はレンズ毎にその特性を持ち、レンズ毎に異なるが、一般的には図３（Ａ）、図３（Ｂ）、図３（Ｃ）のように像高の大小に応じて、その片ボケ度合が大きくなったり小さくなったりする。従って、像高が大きくなる程、マイナスのタップ係数の幅を大きくし、像高が小さくなる程、マイナスのタップ係数の幅を小さくしたりして、像高によってその幅を変化させるようにして片ボケを補正する。その概略を図１０、図１１に示す。図１０は、像高と片ボケの関係、それぞれのフィルタ結果を示す説明図である。図１１は、図１０での像高を示す説明図である。

図１０は、像高が大きくなるにつれて片ボケが大きくなる様子と、片ボケを有するＰＳＦを、像高の大きさに対応して変化させたフィルタ係数を用いて補正している様子を示している。フィルタ係数は、マイナス係数の幅の長さを像高に対応して変化させる。片ボケ度合は、像高が大きくなるにつれて大きくなるので、像高が大きくなるにつれてマイナス係数の幅の長さを大きくすることで、片ボケを像高に応じて適応的に補正できる。

なお、像高０割（すなわち光軸中心）では補正を行わない。又は、マイナス係数の幅は最小とし、像高方向に左右対称であるものとする（例えば(-1 2 -1)等）。
また、各像高におけるフィルタのマイナス係数の幅の長さは本案件の例に固定するものではなく、レンズ固有の特性をもつＰＳＦの片ボケ度合によって適応的に変化させて用いる。

以上は、像高０割、５割及び１０割を例としているが、実際には、一般的に像高０割から像高１０割の間で連続的にレンズ固有の特性に従いＰＳＦが変化する。そこで、ＰＳＦ情報はＲＯＭなどの記憶素子に記憶しておき、各像高でこれを参照して上記片ボケ度合に応じたフィルタのマイナス係数の幅の長さを決定するようにしておくとよい。但し、連続した全てのＰＳＦを記憶しておくことは、記憶素子の容量の制約等により非現実的である。従って、一般的には例えば像高０割、１割、２割、３割、４割、５割、６割、７割、８割、９割、１０割等の記憶ポイントで、ＰＳＦを記憶しておき、その間は補間等により情報を得る。または、変化の大きい領域は細かい分解能で、小さい領域は粗い分解能で、という分布で適応的に記憶ポイントを変化させた離散的なポイントでのＰＳＦを記憶しておき、その間は補間等により情報を得てもよい。

また、像高が同じであっても、本フィルタ処理を適用する又は適用しないという設定を切り替えることにより、任意の位置で片ボケ補正ＯＮ又はＯＦＦを行ってもよい。これにより、例えばある特定の画像エリアにおいてのみボケ補正を行うといった局所的エリアを対象とした補正も可能となる。

以上のＰＳＦ補正は、各像高において、Ｒ、Ｇ、Ｂの色毎に特性の異なるＰＳＦを整合させるようにして行う。

例えば、図３Ｂ（Ｃ）を例にすると、青色成分（Ｂ）の片ボケが他の色成分に比べて顕著であるので、このＢの片ボケを補正し、他色のＰＳＦの分散度合程度に収める。一般的に、緑色成分（Ｇ）のＰＳＦは、他色に比べて片ボケしていない場合が多い。よって、Ｇを基準として他色のＰＳＦをＧのＰＳＦの分散度合に合わせるようにすることで補正を行う。

又は、ＧのＰＳＦも他色同様に片ボケしている場合は、補正しないままのＧを基準とするのではなく、まず、基準にしようとするＧについて、幅広に広がって（だれて）いる状態から先鋭度を向上させるような補正をしておく。そして、その補正Ｇを基準としてＲとＢの分散度合を補正することによって、補正効果を向上させることができる。

上述した全ての例において、フィルタのマイナス係数の幅の長さは、あくまでも一例であり、決してそれらに限定されるものではない。フィルタのマイナス係数の幅の長さは、レンズ固有のＰＳＦの片ボケ度合によってその最適解が異なるものである。なお、片ボケ度合は、レンズの種類のみならず、像高や絞りの状態（カメラのアイリスポジション）やフォーカスの状態、ズームの状態といった、レンズがどういう状態にあるかによっても変化する。

なお、ＰＳＦの片ボケ度合に応じてフィルタ係数を変化させないと、過補正になる（過剰にＰＳＦを変化させる）場合があるので、フィルタ係数はＰＳＦの状態に応じて変化させる必要がある。図１３（Ａ）は、ＰＳＦを示すグラフである。図１３（Ｂ）はフィルタリング後の結果を示すグラフである。図１３（Ｃ）は、源信号とフィルタリング後の結果を加算した結果を示すグラフである。

例えば、極端な例ではあるが、図１３（Ａ）のような片ボケ度合のＰＳＦに対して、タップ係数(-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 -1)のようにマイナス係数の幅の長さが長いフィルタを用いるとする。その結果、図１３（Ｂ）のように、フィルタリングして、正規化した結果が得られる。そして、図１３（Ａ）に示す片ボケを有するＰＳＦに、図１３（Ｂ）に示すフィルタ結果を加算して（足し戻して）、これをゲイン調整すると、図１３（Ｃ）のような最終出力が得られる。これは過補正であり、入力（図１３（Ａ））と補正信号（図１３（Ｂ））を加算した結果に、大きく負の値になるデータ（アンダーシュート）が存在してしまう。このような過補正にならないように、フィルタのマイナス係数の幅の長さは、レンズ固有のＰＳＦの片ボケ度合によって適応的に変化させる必要がある。

以上、本発明の第１の実施形態によれば、ＰＳＦの影響による色付き（フリンジ等）を発生させないようにすることが可能となる。また、倍率色収差補正前後で発生する色付き色の変化を発生させないようにすることが可能となる。更に、像高の方向上に、重心から左右異なる色のつき方や先鋭度を有する分布を、画面上どの部分でも左右均一にすることが可能となる。また、デコンボリューション等の処理量過多な演算を行うことなく、簡易的にＰＳＦを疑似補正できる。

＜２．第２の実施形態＞
次に、本発明の第２の実施形態に係る撮像装置２００について説明する。本実施形態の撮像装置２００の構成は、前処理部１０２を除いて、第１の実施形態の撮像装置１００と同様であるため、詳細な説明は省略する。

なお、前処理部１０２は、第１の実施形態と異なり、像高方向上に位置する複数の画素の画素信号からなる画素信号列を色成分別に画像データから抽出する画素信号抽出部と、画素信号列の画素数に対応した複数のタップ係数を有する第１のフィルタを、抽出された画素信号列に対して適用し、第１の補正用信号列を生成する第１のフィルタ処理部と、画素信号列の画素数に対応した複数のタップ係数を有する第２のフィルタを、抽出された画素信号列に対して適用し、第２の補正用信号列を生成する第２のフィルタ処理部と、第１の補正用信号列と第２の補正用信号列を合成し、合成済補正用信号列を生成する信号列合成部と、生成された合成済補正用信号列を画素信号列に加算し、処理済信号列を生成する信号列加算部とを有する。

ここで、第１のフィルタ及び第２のフィルタそれぞれの複数のタップ係数は、画素信号列中の注目画素に適用する最大値を有する１つの基準タップ係数と、像高方向に位置する周辺画素に適用する負の値を有するマイナスタップ係数からなる。また、像高方向に順番に位置する画素信号に適用するタップ係数が、画素信号に対応するように順番に配置されたタップ係数列において、基準タップ係数は複数のタップ係数の中心以外に偏在し、第１のフィルタの基準タップ係数が偏在する位置と、第２のフィルタの基準タップ係数が偏在する位置は反対側である

ＰＳＦの形状の裾野部分の広がり（ＰＳＦだれ）は、画像ボケの原因であった。光学設計によって、ＰＳＦだれを少なくして、ボケの少ない性能の良いレンズを作成しようとすると、レンズサイズはある程度の大きさを確保する必要があるため、レンズ小型化を図ることが困難であった。また、既存の技術では、オートフォーカスやマニュアルフォーカスを実現する際、フォーカスレンズを前後に移動させている。しかし、レンズの移動空間が必要となることから、フォーカスレンズの駆動機構がレンズブロックの大幅な小型化を妨げる要因の一つでもあった。

これらの問題は、前者は、信号処理でＰＳＦを補正することで、ＰＳＦだれを低減し、画像ボケを防ぐことができる。また、後者も、信号処理でＰＳＦを補正して、先鋭化を行うことで、フォーカスレンズの駆動機構を不要とすることができる。しかし、従来は、特許文献１に記載されているようなデコンボリューション手法によって、ＰＳＦだれを補正することが提案されている。また、特許文献２（特開２００３−１８４０７号公報）では、画像輪郭部分での色にじみをなくす技術が開示されている。

しかし、特許文献１（特開２０００−９２３１８号公報）等による画像ぼけの補正方法（デコンボリューション手法）は、ハードウェア等で実現されることは、想定されていない。例えば、処理量が過多であり、かつ、その演算量や処理時間の面で問題であり、ハードウェア等で実現されることは現実的でなかった。また、特許文献１以外でも、画素レベルで着目して、ハードウェアやソフトウェアにおいて、どの画素をどのように処理して画像ボケの補正をするかについて、ハードウェア等で実現可能なレベルでの検討は行われていなかった。

また、特許文献２に記載された近似的な輪郭強調処理については、具体的なフィルタ係数が開示されていない。そこで、例えば一般的な輪郭強調フィルタ係数（−１，２，−１）等を用いるとすると、色間の色にじみを低減できるが、ＰＳＦだれを補正することはできないため、画像ボケを補正することはできなかった。

本実施形態は、ＰＳＦ補正を行うことによって、上述のような画像ボケを低減することができる。本実施形態によれば、信号処理で簡易的にＰＳＦデコンボリューション効果と同様の効果を得ることができる。

ここでのＰＳＦ補正は、ＰＳＦのピークを中心として像高方向に左右独立に補正を行うものである。両側ボケは、その左右の片ボケ度合がレンズの特性によって異なるので、一般的には左右独立に処理を行う。

両側ボケの補正の基本処理は、片ボケ補正である。片ボケ補正は、図６（Ａ）に示すような片ボケを像高方向に有するＰＳＦに対して補正を行う例で説明した第１の実施形態と同様であり、詳細な説明は省略する。片ボケ補正により、図７（Ｂ）のような最終出力が得られる。図６（Ａ）の片ボケを有するＰＳＦと比較すると、図７（Ｂ）の最終出力は片ボケが低減されている。その結果、ＰＳＦを疑似的にデコンボリューションした結果が得られる。

次に、片ボケ補正を基に、図１４（Ａ）のような両側ボケに対する補正の例を示す。図１４（Ａ）は、ＰＳＦを示すグラフである。図１４（Ｂ）及び図１４（Ｃ）はフィルタリング後の結果を示すグラフである。
まず、(-1 -1 -1 -1 -1 -1 -1 -1 2 -1)のタップ係数をもつフィルタリングを、第１の実施形態による片ボケ補正の場合と同様に行う。このフィルタにより、図１４（Ｂ）のように右側の片ボケ用補正信号が生成できる。更に、(-1 2 -1 -1 -1 -1 -1 -1 -1 -1)のタップ係数をもつフィルタリングを、第１の実施形態による片ボケ補正の場合と同様に行う。このフィルタにより、図１４（Ｃ）のように左側の片ボケ用補正信号が生成できる。

次に、図１４（Ｂ）のような右側の片ボケ用補正信号と、図１４（Ｃ）のような左側の片ボケ用補正信号をマージする。ここで、マージとは、ある画素において、２つの信号を比較して、信号レベルの絶対値が大きい方を採用することである。例えば、ある画素における図１４（Ｂ）のような右側の片ボケ用補正信号と、図１４（Ｃ）のような左側の片ボケ用補正信号のどちらを選択するかは、信号レベル（絶対値）が大きい方をもって決定する。

ある画素位置において図１４（Ｂ）のような右側の片ボケ用補正信号と、図１４（Ｃ）のような左側の片ボケ用補正信号をマージする際、前者の補正量の値が−１０であり、後者の補正量の値が−５０である場合は、後者の−５０を選択する。図１５（Ａ）に、上記の方法で、図１４（Ｂ）のような右側の片ボケ用補正信号と図１４（Ｃ）のような左側の片ボケ用補正信号とのマージを行った結果を示す。図１５（Ａ）は、図１４（Ｂ）のような右側の片ボケ用補正信号と図１４（Ｃ）のような左側の片ボケ用補正信号とのマージを行った結果を示すグラフである。

次に、図１５（Ａ）のように得られた補正信号を、図１４（Ａ）のような両側ボケ信号に加算することで図１５（Ｂ）のような両側ボケが補正された信号が得られる。図１５（Ｂ）は、源信号とフィルタリング後の結果を加算した結果を示すグラフである。

以上がＰＳＦを疑似的にデコンボリューションする処理の説明である。以下では、フィルタのタップ係数に関して説明する。

波形整形に関して、一般的には輪郭補正フィルタがある。タップ係数は様々なものがあるが、例えば一般的な(-1 2 -1)がある。このようなハイパスフィルタを用いた輪郭補正は、源信号に対するフィルタリング結果が源信号の輪郭強調信号となる。

一方、図６（Ａ）に示した片ボケを有するＰＳＦや、図１４（Ａ）に示した両側ボケを有するＰＳＦに対して用いたフィルタ例（左側の片ボケ用、右側の片ボケ用のいずれも）によるフィルタリング結果は、輪郭強調信号とはならない。上述したフィルタ処理において、タップ係数(-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 -1)を用いたフィルタリング結果や、タップ係数(-1 -1 -1 -1 -1 -1 -1 -1 2 -1)を用いたフィルタリング結果、タップ係数(-1 2 -1 -1 -1 -1 -1 -1 -1 -1)を用いたフィルタリング結果は輪郭強調信号とはならならない。タップ係数のマイナス係数の幅（連続したマイナス係数の数）に応じて、源信号に加算した（足し戻した）際に波形の先鋭度を変化させるような、図６（Ｂ）、図１４（Ｂ）及び図１４（Ｃ）のような負の補正信号となる。

両側ボケは、その左右の片ボケ度合がレンズの特性によって異なるので、一般的には左右独立に処理を行う。両側ボケの補正の基本処理は、片ボケ補正である。従って、両側ボケ補正の場合も、第１の実施形態のタップ係数の説明と同様であるため、詳細な説明は省略する。

即ち、タップ係数(-1 2 -1)によるフィルタ結果は一般的な輪郭補正にすぎないが、本実施形態のタップ係数(-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 -1)によるフィルタ結果は片ボケが生じていたエリアが低減される片ボケ補正となる。
また、タップ係数の負の係数の幅が変化すると、片ボケのエリアを減算する量が変化する。タップ係数のマイナス幅が大きい方が、疑似デコンボリューション効果が大きく、タップ係数のマイナス幅が小さい方は、疑似デコンボリューション効果が小さいことがわかる。

また、片ボケの現れ方はレンズ毎にその特性を持ち、レンズ毎に異なるが、一般的には図３（Ａ）、図３（Ｂ）、図３（Ｃ）のように像高の大小に応じて、その片ボケ度合が大きくなったり小さくなったりする。従って、第１の実施形態で説明した場合と同様に、像高が大きくなる程、マイナスのタップ係数の幅を大きくし、像高が小さくなる程、マイナスのタップ係数の幅を小さくしたりして、像高によってその幅を変化させるようにして片ボケを補正するとよい。

また、ＰＳＦ情報は、第１の実施形態と同様に、ＲＯＭなどの記憶素子に記憶しておき、各像高でこれを参照して上記片ボケ度合に応じたフィルタのマイナス係数の幅の長さを決定するようにしておくとよい。更に、第１の実施形態と同様に、像高が同じであっても、本フィルタ処理を適用する又は適用しないという設定を切り替えることにより、任意の位置で片ボケ補正ＯＮ又はＯＦＦを行ってもよい。これにより、例えばある特定の画像エリアにおいてのみボケ補正を行うといった局所的エリアを対象とした補正も可能となる。

また、ＰＳＦ補正は、第１の実施形態と同様に、各像高において、Ｒ、Ｇ、Ｂの各色に特性の異なるＰＳＦを整合させるようにして行う
上述した全ての例において、フィルタのマイナス係数の幅の長さは、あくまでも一例であり、決してそれらに限定されるものではない。フィルタのマイナス係数の幅の長さは、レンズ固有のＰＳＦの片ボケ度合によってその最適解が異なるものである。なお、片ボケ度合は、レンズの種類のみならず、像高や絞りの状態（カメラのアイリスポジション）やフォーカスの状態、ズームの状態といった、レンズがどういう状態にあるかによっても変化する。

なお、第１の実施形態と同様に、ＰＳＦの片ボケ度合に応じてフィルタ係数を変化させないと、過補正になる（過剰にＰＳＦを変化させる）場合があるので、フィルタ係数はＰＳＦの状態に応じて変化させる必要がある。

以上、本実施形態によれば、レンズのＰＳＦによる画像ボケを補正することができる。また、画面の任意のエリアを選択的に画像ボケ補正することも可能である。更に、画像ボケが、像高方向上の重心から左右非対称に発生していても、その非対称性を補正したボケ補正を可能とする。また、デコンボリューション等の処理量過多な演算を行うことなく、画像ボケを有するＰＳＦを簡易的に補正できる。

なお、上記ボケ補正は、先鋭度という意味だけでなく、例えばフォーカス動作といった処理にも適応可能である。即ち、本実施形態によれば、レンズの駆動機構が不要となり、信号処理で被写体像のフォーカス合わせをすることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

本実施形態では、ベイヤ配列のＲＡＷデータを採用しているが、ベイヤ配列以外の画素配列である場合も同様である。具体的には、像高方向の同色画素に対して処理を行う時に、各色の参照位置がそれらベイヤ配列以外の画素配列依存となる。

本発明の第１の実施形態に係る撮像装置を示すブロック図である。 点光源、レンズ、イメージセンサ上の点像、ＰＳＦの関係を示す説明図である。 点像強度分布関数を示すグラフである。 点像強度分布関数を示すグラフである。 図４（Ａ）は、片ボケが発生していないＰＳＦの例を示すグラフであり、図４（Ｂ）は、片ボケが発生しているＰＳＦの例を示すグラフである。 図５（Ａ）は、倍率色収差補正前のＰＳＦの例を示すグラフであり、図５（Ｂ）は、倍率色収差補正後のＰＳＦの例を示すグラフである。 図６（Ａ）は、ＰＳＦを示すグラフである。図６（Ｂ）はフィルタリング後の結果を示すグラフである。 図７（Ａ）は、源信号とフィルタリング後の結果を加算した結果を示すグラフである。図７（Ｂ）は、図７（Ａ）のグラフに対してゲイン調整した結果を示すグラフである。 図８（Ａ）は、図６（Ａ）に示す片ボケを有するＰＳＦに対して、タップ係数(-1 2 -1)でフィルタリングし、正規化した結果である。図８（Ｂ）は、図６（Ａ）に示す片ボケを有するＰＳＦに、図８（Ａ）に示すフィルタ結果を加算して（足し戻して）得られるフィルタ結果である。 図９（Ａ）はフィルタリング後の結果を示すグラフである。図９（Ｂ）は、源信号とフィルタリング後の結果を加算した結果を示すグラフである。図９（Ｃ）は、図９（Ｂ）のグラフに対してゲイン調整した結果を示すグラフである。 像高と片ボケの関係、それぞれのフィルタ結果を示す説明図である。 図１０での像高を示す説明図である。 ベイヤ配列の画素と、タップ係数の関係を示す説明図である。 図１３（Ａ）は、ＰＳＦを示すグラフである。図１３（Ｂ）はフィルタリング後の結果を示すグラフである。図１３（Ｃ）は、源信号とフィルタリング後の結果を加算した結果を示すグラフである。 図１４（Ａ）は、ＰＳＦを示すグラフである。図１４（Ｂ）及び図１４（Ｃ）はフィルタリング後の結果を示すグラフである。 図１５（Ａ）は、図１４（Ｂ）のような右側の片ボケ用補正信号と図１４（Ｃ）のような左側の片ボケ用補正信号とのマージを行った結果を示すグラフである。図１５（Ｂ）は、源信号とフィルタリング後の結果を加算した結果を示すグラフである。

符号の説明

１００ 撮像装置
１０１ イメージセンサ
１０２ 前処理部
１０３ カメラ信号処理部
１０４ 変換処理部
１０５ 圧縮伸張部
１０６ メモリ制御部
１０７ メモリ
１０８ 表示処理部
１０９ 圧縮伸張部
１１０ 記録デバイス制御部
１１１ 記録デバイス
１１２ 表示部
１１３ 制御部
１１４ 撮像レンズ

Claims (9)

1. 像高方向上に位置する複数の画素の画素信号からなる画素信号列を色成分別に画像データから抽出する画素信号抽出部と、
   前記画素信号列の画素数に対応した複数のタップ係数を有するフィルタを、前記抽出された画素信号列に対して適用し、補正用信号列を生成するフィルタ処理部と、
   前記生成された補正用信号列を前記画素信号列に加算し、処理済信号列を生成する信号列加算部と、
   を有し、
   前記複数のタップ係数は、前記画素信号列中の注目画素に適用する最大値を有する１つの基準タップ係数と、前記像高方向に位置する周辺画素に適用する負の値を有するマイナスタップ係数からなり、
   前記像高方向上に位置する複数の前記画素のうち前記注目画素の位置をピークとして点像強度分布が発生しており、前記注目画素の一側が他側に比べて緩やかに画素値が下がるとき、
   前記像高方向に順番に位置する前記画素信号に適用する前記タップ係数が、前記画素信号に対応するように順番に配置されたタップ係数列において、前記基準タップ係数は前記複数のタップ係数の中心以外に偏在し、
   前記タップ係数列において、前記基準タップ係数の両側に位置する前記マイナスタップ係数のうち、前記注目画素の前記一側に対応する側の前記マイナスタップ係数は、前記注目画素の前記他側に対応する側の前記マイナスタップ係数より少ない、画像処理装置。
2. 前記タップ係数列において、前記基準タップ係数の両側に位置する前記マイナスタップ係数のうち、前記注目画素の前記一側に対応する側の前記マイナスタップ係数は１つであり、前記注目画素の前記他側に対応する側の前記マイナスタップ係数は２以上である、請求項１に記載の画像処理装置。
3. 前記画素値の下がり方が緩やかであるほど、前記タップ係数列において、前記基準タップ係数の両側に位置する前記マイナスタップ係数のうち前記注目画素の前記他側に対応する側の前記マイナスタップ係数の数が増加するように決定される、請求項２に記載の画像処理装置。
4. 前記タップ係数列において、前記基準タップ係数の両側に位置する前記マイナスタップ係数のうち一側又は他側の前記マイナスタップ係数の数は、前記像高に応じて変化する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 像高方向上に位置する複数の画素の画素信号からなる画素信号列を色成分別に画像データから抽出する画素信号抽出部と、
   前記画素信号列の画素数に対応した複数のタップ係数を有する第１のフィルタを、前記抽出された画素信号列に対して適用し、第１の補正用信号列を生成する第１のフィルタ処理部と、
   前記画素信号列の画素数に対応した複数のタップ係数を有する第２のフィルタを、前記抽出された画素信号列に対して適用し、第２の補正用信号列を生成する第２のフィルタ処理部と、
   前記第１の補正用信号列と前記第２の補正用信号列を合成し、合成済補正用信号列を生成する信号列合成部と、
   前記生成された合成済補正用信号列を前記画素信号列に加算し、処理済信号列を生成する信号列加算部と、
   を有し、
   前記第１のフィルタ及び前記第２のフィルタそれぞれの前記複数のタップ係数は、前記画素信号列中の注目画素に適用する最大値を有する１つの基準タップ係数と、前記像高方向に位置する周辺画素に適用する負の値を有するマイナスタップ係数からなり、
   前記像高方向上に位置する複数の前記画素のうち前記注目画素の位置をピークとして点像強度分布が発生しており、前記注目画素の一側が他側に比べて緩やかに画素値が下がるとき、
   前記像高方向に順番に位置する前記画素信号に適用する前記タップ係数が、前記画素信号に対応するように順番に配置されたタップ係数列において、前記基準タップ係数は前記複数のタップ係数の中心以外に偏在し、
   前記タップ係数列において、前記基準タップ係数の両側に位置する前記マイナスタップ係数のうち、前記注目画素の前記一側に対応する側の前記マイナスタップ係数は、前記注目画素の前記他側に対応する側の前記マイナスタップ係数より少なく、
   前記第１のフィルタの前記基準タップ係数が偏在する位置と、前記第２のフィルタの前記基準タップ係数が偏在する位置は反対側である、画像処理装置。
6. 前記第１のフィルタの前記基準タップ係数が偏在する位置と、前記第２のフィルタの前記基準タップ係数が偏在する位置は、互いに独立して決定される、請求項５に記載の画像処理装置。
7. 前記信号列合成部は、前記第１の補正用信号列と前記第２の補正用信号列を比較して、信号値の絶対値が大きいほうを採用して、前記合成済補正用信号列を生成する、請求項５又は６に記載の画像処理装置。
8. 像高方向上に位置する複数の画素の画素信号からなる画素信号列を色成分別に画像データから抽出するステップと、
   前記画素信号列の画素数に対応した複数のタップ係数を有するフィルタを、前記抽出された画素信号列に対して適用し、補正用信号列を生成するステップと、
   前記生成された補正用信号列を前記画素信号列に加算し、処理済信号列を生成する信号ステップと、
   を有し、
   前記複数のタップ係数は、前記画素信号列中の注目画素に適用する最大値を有する１つの基準タップ係数と、前記像高方向に位置する周辺画素に適用する負の値を有するマイナスタップ係数からなり、
   前記像高方向上に位置する複数の前記画素のうち前記注目画素の位置をピークとして点像強度分布が発生しており、前記注目画素の一側が他側に比べて緩やかに画素値が下がるとき、
   前記像高方向に順番に位置する前記画素信号に適用する前記タップ係数が、前記画素信号に対応するように順番に配置されたタップ係数列において、前記基準タップ係数は前記複数のタップ係数の中心以外に偏在し、
   前記タップ係数列において、前記基準タップ係数の両側に位置する前記マイナスタップ係数のうち、前記注目画素の前記一側に対応する側の前記マイナスタップ係数は、前記注目画素の前記他側に対応する側の前記マイナスタップ係数より少ない、画像処理方法。
9. 像高方向上に位置する複数の画素の画素信号からなる画素信号列を色成分別に画像データから抽出するステップと、
   前記画素信号列の画素数に対応した複数のタップ係数を有する第１のフィルタを、前記抽出された画素信号列に対して適用し、第１の補正用信号列を生成するステップと、
   前記画素信号列の画素数に対応した複数のタップ係数を有する第２のフィルタを、前記抽出された画素信号列に対して適用し、第２の補正用信号列を生成するステップと、
   前記第１の補正用信号列と前記第２の補正用信号列を合成し、合成済補正用信号列を生成するステップと、
   前記生成された合成済補正用信号列を前記画素信号列に加算し、処理済信号列を生成するステップと、
   を有し、
   前記第１のフィルタ及び前記第２のフィルタそれぞれの前記複数のタップ係数は、前記画素信号列中の注目画素に適用する最大値を有する１つの基準タップ係数と、前記像高方向に位置する周辺画素に適用する負の値を有するマイナスタップ係数からなり、
   前記像高方向上に位置する複数の前記画素のうち前記注目画素の位置をピークとして点像強度分布が発生しており、前記注目画素の一側が他側に比べて緩やかに画素値が下がるとき、
   前記像高方向に順番に位置する前記画素信号に適用する前記タップ係数が、前記画素信号に対応するように順番に配置されたタップ係数列において、前記基準タップ係数は前記複数のタップ係数の中心以外に偏在し、
   前記タップ係数列において、前記基準タップ係数の両側に位置する前記マイナスタップ係数のうち、前記注目画素の前記一側に対応する側の前記マイナスタップ係数は、前記注目画素の前記他側に対応する側の前記マイナスタップ係数より少なく、
   前記第１のフィルタの前記基準タップ係数が偏在する位置と、前記第２のフィルタの前記基準タップ係数が偏在する位置は反対側である、画像処理方法。
   

Images