JP4674528B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができる画像処理装置および方法、記録媒体、並びにプログラムに関する。

近年、映像(動画像)を表示するための映像信号変換装置において、入力側のテレビジョン方式と出力側のテレビジョン方式との間でフレームまたはフィールド周波数が一定の同期関係がない場合でも、映像の品質を劣化させずに表示させる手法として、フレームレートを調整する手法（以下、フレームレート変換手法と称する）が考えられている（特許文献１参照）。
特開平7-59054号公報

しかしながら、特許文献１等の従来のフレームレート変換手法を利用してフレームレートを増やす場合には、撮影時に発生する動きボケ（以下、撮像ボケと称する）についての考慮がなされていなかった。これにより、撮像ボケに起因する画像劣化（ボケ画像）は特に改善されずにそのまま残り、その結果、鮮明な映像を表示装置に表示させることは困難になるという課題があった。

本発明は、このような状況に鑑みてなされたものであり、撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができるようにするものである。

なお、撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができる画像処理装置および方法、記録媒体、並びにプログラムとしては、本発明人により既に発明され、特願２００４−２３４０５１号として既に出願されているものもある。そこで、本発明では、特願２００４−２３４０５１号の出願に係る画像処理装置および方法、記録媒体、並びにプログラムとは異なる構成またはステップを備える、画像処理装置および方法、記録媒体、並びにプログラムを提供することを目的にする。

本発明の画像処理装置は、所定の撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出して取得するか、または、外部から取得する画像処理装置であって、動画像を構成する複数のアクセスユニットのそれぞれについて、パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する複数の画素のそれぞれの画素値を補正する補正手段とを備えることを特徴とする。詳細には、補正手段は、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する複数の画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値を取得する取得手段と、パラメータの値のうちの注目画素に対応する値に基づいて、取得手段により取得された入力画素値のうちの、注目画素よりも第１の方向側に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値を算出範囲として決定し、決定された算出範囲に含まれる入力画素値の平均値を、第１方向画素平均画素値として算出する第１の平均値算出手段と、パラメータの値のうちの注目画素に対応する値に基づいて、取得手段により取得された入力画素値のうちの、注目画素よりも第１の方向とは逆方向の第２の方向側に位置するｋ個の画素のそれぞれの入力画素値を算出範囲として決定し、決定された算出範囲に含まれる入力画素値の平均値を、第２方向画素平均画素値として算出する第２の平均値算出手段と、第１の平均値算出手段により算出された第１方向画素平均画素値、注目画素の入力画素値、および、第２の平均値算出手段により算出された第２方向画素平均画素値の３者の関係を利用して、注目画素の入力画素値を補正するための補正量を決定する補正量決定手段と、注目画素の入力画素値と、補正量決定手段により決定された補正量とを加算し、その結果得られる加算値を、注目画素の出力画素値として出力する第１の加算手段とを有することを特徴とする。

画像処理装置は、取得手段により取得された入力画素値のうちの、注目画素とその近隣のｍ個（ｍは１以上の整数値）の画素のそれぞれの入力画素値の平均値を、注目画素平均画素値として算出する第３の平均値算出手段をさらに設け、補正量決定手段は、第１方向画素平均画素値と注目画素の入力画素値との差分値を、補正量の第１の候補として決定し、かつ、第２方向画素平均画素値と注目画素の入力画素値との差分値を、補正量の第２の候補として決定する候補決定手段と、第１の軸が画素の配置位置とされ第２の軸が画素値とされた平面上における、第１方向画素平均画素値を示す第１の点、第３の平均値算出手段により算出された注目画素平均画素値を示す第２の点、および、第２方向画素平均画素値を示す第３の点の３点の位置関係を利用して、前記補正量を調整するための調整量を決定する調整量決定手段と、候補決定手段により決定された第１の候補と第２の候補とのそれぞれの値を、調整量決定手段により決定された調整量を利用して調整する調整手段と、調整手段により値が調整された第１の候補および第２の候補、並びに、予め設定されている固定値の中から所定の１つを所定の選抜条件に従って選抜し、選抜された値を補正量として決定する選抜手段とを有するようにすることができる。

調整量決定手段は、第１の点乃至第３の点をその順番で結んだ線の第２の点における２次微分値の絶対値を、第２の軸方向の第１の点と第３の点との間の距離で除算し、その結果得られる除算値を利用して調整量を決定するようにすることができる。

第１の平均値算出手段乃至第３の平均値算出手段のそれぞれは、撮像ボケの特性を示すパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に応じて、平均値を求めるための算出範囲をそれぞれ可変することができる。

第１の平均値算出手段と第２の平均値算出手段とのそれぞれは、さらに、第１の軸が画素の配置位置とされ第２の軸が画素値とされた平面上における、それぞれが決定した算出範囲に含まれるｋ個の入力画素値のそれぞれを示す各点を結んだ線の傾きの極性が変化しているか否かを判定し、極性が変化していないと判定した場合、ｋ個の入力画素値をそのまま利用して、第１方向画素平均画素値または第２方向画素平均画素値を算出し、極性が変化していると判定した場合、ｋ個の入力画素値のうちの極性変化後の点が示す入力画素値を補正対象として、極性変化前の点が示す入力画素値に基づいて補正し、ｋ個の入力画素値のうちの、補正対象については補正後の値を利用して、かつ、それ以外については入力画素値をそのまま利用して、第１方向画素平均画素値または第２方向画素平均画素値を算出するようにすることができる。

補正手段は、取得手段、第１の平均値算出手段、第２の平均値算出手段、補正量決定手段、および、第１の加算手段を有する第１の補正手段に加えて、撮像ボケを示す移動平均フィルタの特性を、パラメータの値のうちの注目画素に対応する値に応じて変換し、注目画素を含む所定のブロックの各入力画素値に対して、特性が変換された移動平均フィルタをかけ、その結果得られる注目画素の補正された入力画素値を第１の値として出力する移動平均フィルタリング手段と、注目画素の入力画素値と、移動平均フィルタリング手段から出力された第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算手段と、減算手段から出力された第２の値を、注目画素の入力画素値に加算し、その結果得られる加算値を、注目画素の出力画素値として出力する第２の加算手段とを有する第２の補正手段をさらに設けるようにすることができる。

画像処理装置は、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する複数の画素のそれぞれにおける移動ベクトルを、複数の画素のそれぞれに対応するパラメータの値として取得するようにすることができる。

画像処理装置は、動画像を構成する複数のアクセスユニットのそれぞれが撮影装置により撮影されたときの撮影装置のシャッタ速度のそれぞれを、パラメータの値として取得するようにすることができる。

画像処理装置は、動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段をさらに設け、補正手段は、処理対象のアクセスユニットに対して、高レート変換手段による高レート変換処理が施される前または後に、処理対象のアクセスユニットを構成する複数の画素のそれぞれの画素値を補正するようにすることができる。

第１のレートは３０Hzであり、第２のレートは１２０Hzであるようにすることができる。

第１のレートは６０Hzであり、第２のレート１２０Hzであるようにすることができる。

第１のレートは６０Hzであり、第２のレートは２４０Hzであるようにすることができる。

第１のレートは５０Hzであり、第２のレートは１００Hzであるようにすることができる。

第１のレートは５０Hzであり、第２のレートは２００Hzであるようにすることができる。

本発明の画像処理方法は、所定の撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出して取得するか、外部より取得する画像処理装置の画像処理装置であって、動画像を構成する複数のアクセスユニットのそれぞれについて、パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する複数の画素のそれぞれの画素値を補正する補正ステップとを含むことを特徴とする。詳細には、補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する複数の画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値を取得する取得ステップと、パラメータの値のうちの注目画素に対応する値に基づいて、取得ステップの処理により取得された入力画素値のうちの、注目画素よりも第１の方向側に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値を算出範囲として決定し、決定された算出範囲に含まれる入力画素値の平均値を、第１方向画素平均画素値として算出する第１の平均値算出ステップと、パラメータの値のうちの注目画素に対応する値に基づいて、取得ステップの処理により取得された入力画素値のうちの、注目画素よりも第１の方向とは逆方向の第２の方向側に位置するｋ個の画素のそれぞれの入力画素値を算出範囲として決定し、決定された算出範囲に含まれる入力画素値の平均値を、第２方向画素平均画素値として算出する第２の平均値算出ステップと、第１の平均値算出ステップの処理により算出された第１方向画素平均画素値、注目画素の入力画素値、および、第２の平均値算出ステップの処理により算出された第２方向画素平均画素値の３者の関係を利用して、注目画素の入力画素値を補正するための補正量を決定する補正量決定ステップと、注目画素の入力画素値と、補正量決定ステップの処理により決定された補正量とを加算し、その結果得られる加算値を、注目画素の出力画素値として出力する第１の加算ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、所定の撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出して取得するか、または、外部から取得する装置の制御を行うコンピュータに実行させるプログラムであって、動画像を構成する複数のアクセスユニットのそれぞれについて、パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する複数の画素のそれぞれの画素値を補正する補正ステップを含むことを特徴とする。詳細には、補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する複数の画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値を取得する取得ステップと、パラメータの値のうちの注目画素に対応する値に基づいて、取得ステップの処理により取得された入力画素値のうちの、注目画素よりも第１の方向側に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値を算出範囲として決定し、決定された算出範囲に含まれる入力画素値の平均値を、第１方向画素平均画素値として算出する第１の平均値算出ステップと、パラメータの値のうちの注目画素に対応する値に基づいて、取得ステップの処理により取得された入力画素値のうちの、注目画素よりも第１の方向とは逆方向の第２の方向側に位置するｋ個の画素のそれぞれの入力画素値を算出範囲として決定し、決定された算出範囲に含まれる入力画素値の平均値を、第２方向画素平均画素値として算出する第２の平均値算出ステップと、第１の平均値算出ステップの処理により算出された第１方向画素平均画素値、注目画素の入力画素値、および、第２の平均値算出ステップの処理により算出された第２方向画素平均画素値の３者の関係を利用して、注目画素の入力画素値を補正するための補正量を決定する補正量決定ステップと、注目画素の入力画素値と、補正量決定ステップの処理により決定された補正量とを加算し、その結果得られる加算値を、注目画素の出力画素値として出力する第１の加算ステップとを含むことを特徴とする。

本発明のプログラムは、所定の撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出して取得するか、または、外部から取得する装置の制御を行うコンピュータに実行させるプログラムであって、動画像を構成する複数のアクセスユニットのそれぞれについて、パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する複数の画素のそれぞれの画素値を補正する補正ステップを含むことを特徴とする。詳細には、補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する複数の画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値を取得する取得ステップと、パラメータの値のうちの注目画素に対応する値に基づいて、取得ステップの処理により取得された入力画素値のうちの、注目画素の左方に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値を算出範囲として決定し、決定された算出範囲に含まれる入力画素値の平均値を、第１方向画素平均画素値として算出する第１の平均値算出ステップと、パラメータの値のうちの注目画素に対応する値に基づいて、取得ステップの処理により取得された入力画素値のうちの、注目画素よりも第１の方向とは逆方向の第２の方向側に位置するｋ個の画素のそれぞれの入力画素値を算出範囲として決定し、決定された算出範囲に含まれる入力画素値の平均値を、第２方向画素平均画素値として算出する第２の平均値算出ステップと、第１の平均値算出ステップの処理により算出された第１方向画素平均画素値、注目画素の入力画素値、および、第２の平均値算出ステップの処理により算出された第２方向画素平均画素値の３者の関係を利用して、注目画素の入力画素値を補正するための補正量を決定する補正量決定ステップと、注目画素の入力画素値と、補正量決定ステップの処理により決定された補正量とを加算し、その結果得られる加算値を、注目画素の出力画素値として出力する第１の加算ステップとを含むことを特徴とする。

本発明の情報処理装置および方法、記録媒体、並ぶにプログラムにおいては、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値が１以上取得され、そのパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する複数の画素のそれぞれの画素値が補正される。詳細には、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する複数の画素のうちの処理対象として注目すべき画素を注目画素として設定され、注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値が取得される。取得された入力画素値のうちの、注目画素よりも第１の方向側に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値が算出範囲として決定され、決定された算出範囲に含まれる入力画素値の平均値が、第１方向画素平均画素値として算出される。また、注目画素よりも第１の方向とは逆方向の第２の方向側に位置するｋ個の画素のそれぞれの入力画素値の平均値が、第２方向画素平均画素値として同様に算出される。その際、ｋ個は、パラメータの値に応じて決定される。即ち、ｋ個は、パラメータの値に応じて可変する。そして、第１方向画素平均画素値、注目画素の入力画素値、および、第２方向画素平均画素値の３者の関係を利用して、注目画素の入力画素値を補正するための補正量が決定され、注目画素の入力画素値と補正量とが加算され、その結果得られる加算値が、注目画素の出力画素値、即ち、注目画素の補正後の画素値として出力される。

以上のごとく、本発明によれば、動画像を構成する各アクセスユニットの各画素の画素値を補正することができる。特に、撮像ボケに起因する画像劣化（ボケ画像）を抑制するように各画素値を補正することができる。従って、フレームレート変換前または変換後の動画像に対して係る補正を行うことで、フレームレート変換後の動画像をより一段と鮮明に表示させることができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明によれば、情報処理装置が提供される。この情報処理装置は、所定の撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出して取得するか、または外部から取得する情報処理装置（例えば、パラメータの値を検出する撮像ボケ特性検出部１２を備える図１の画像処理装置１、図２３の画像処理装置２０１、若しくは、図２４の画像処理装置２０２。または、パラメータの値を外部から取得する図２５の画像処理装置２１２若しくは図２６の画像処理装置２３１。ただし、以下、図１の画像処理装置１についてのみ言及する）である。この情報処理装置は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する複数の前記画素のそれぞれの画素値を補正する補正手段（例えば、図１の撮像ボケ抑制処理部１３）を備えることを特徴とする。詳細には、前記補正手段（例えば、図５、図２０、または図２１の機能的構成の撮像ボケ抑制処理部１３であって、図１２のALTI部８１を有する撮像ボケ抑制処理部１３）は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値を取得する取得手段（例えば、図１２のDL部９１−１乃至９１−ｎ）と、前記パラメータの値のうちの前記注目画素に対応する値に基づいて、前記取得手段により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向側に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第１方向画素平均画素値（例えば、図１２の値Ｌａ）として算出する第１の平均値算出手段（例えば、図１２の平均値算出部９３）と、前記パラメータの値のうちの前記注目画素に対応する前記値に基づいて、前記取得手段により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向とは逆方向の第２の方向側に位置する前記ｋ個の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第２方向画素平均画素値（例えば、図１２の値Ｒａ）として算出する第２の平均値算出手段（例えば、図１２の平均値算出部９４）と、前記第１の平均値算出手段により算出された前記第１方向画素平均画素値、前記注目画素の入力画素値（例えば、図１２の値Ｎ）、および、前記第２の平均値算出手段により算出された前記第２方向画素平均画素値の３者の関係を利用して、前記注目画素の入力画素値を補正するための補正量（例えば、図１２の値ADD）を決定する補正量決定手段（例えば、図１２の補正量決定部９５）と、前記注目画素の入力画素値と、前記補正量決定手段により決定された前記補正量とを加算し、その結果得られる加算値を、前記注目画素の出力画素値として出力する第１の加算手段（例えば、図１２の加算部９６）とを有することを特徴とする。

この本発明の画像処理装置は、前記取得手段により取得された前記入力画素値のうちの、前記注目画素とその近隣のｍ個（ｍは１以上の整数値）の画素（例えば、図１２の例では、ｍ＝２。即ち、注目画素の両隣の画素）のそれぞれの入力画素値の平均値を、注目画素平均画素値（例えば、図１２の値Ｎａ）として算出する第３の平均値算出手段（例えば、図１２の平均値算出部９２）をさらに設け、前記補正量決定手段は、前記第１方向画素平均画素値と前記注目画素の入力画素値との差分値を、前記補正量の第１の候補（例えば、図１２の値ADDL）として決定し、かつ、前記第２方向画素平均画素値と前記注目画素の入力画素値との差分値を、前記補正量の第２の候補（例えば、図１２の値ADDR）として決定する候補決定手段（例えば、図１２の減算部１０１と減算部１０２とからなる候補決定部１２１）と、第１の軸が画素の配置位置とされ第２の軸が画素値とされた平面上における、前記第１方向画素平均画素値を示す第１の点、前記第３の平均値算出手段により算出された前記注目画素平均画素値を示す第２の点、および、前記第２方向画素平均画素値を示す第３の点の３点の位置関係を利用して、前記補正量を調整するための調整量（例えば、図１２の値ｃ）を決定する調整量決定手段（例えば、図１２の減算部１０３乃至調整量算出部１０９からなる調整量決定部１２２）と、前記候補決定手段により決定された前記第１の候補と前記第２の候補とのそれぞれの値を、前記調整量決定手段により決定された前記調整量を利用して調整する調整手段（例えば、図１２の乗算部１１０と乗算部１１１とからなる調整部１２３）と、前記調整手段により値が調整された前記第１の候補および前記第２の候補、並びに、予め設定されている固定値（例えば「０」）の中から所定の１つを所定の選抜条件に従って選抜し、選抜された値を前記補正量として決定する選抜手段（例えば、図１２の固定値発生部１１２と判別部１１３とからなる補正量選抜部１２４）とを有するようにすることができる。

この本発明の情報処理装置において、前記調整量決定手段は、前記第１の点乃至前記第３の点をその順番で結んだ線の前記第２の点における２次微分値の絶対値（例えば、図１２のABS部１０６の出力信号である値ｂ）を、前記第２の軸方向の前記第１の点と前記第３の点との間の距離（例えば、図１２の差分絶対値算出部１０７の出力信号である値ｈ）で除算し、その結果得られる除算値（例えば、除算値ｂ／ｈ）を利用して前記調整量を決定するようにすることができる。

この本発明の情報処理装置において、前記第１の平均値算出手段と前記第２の平均値算出手段とのそれぞれは、さらに、第１の軸が画素の配置位置とされ第２の軸が画素値とされた平面（例えば、図１３の平面）上における、それぞれが決定した前記算出範囲（例えば、図１３の範囲Ｄ）に含まれる前記ｋ個の入力画素値のそれぞれを示す各点（例えば、図１３の例では、点１３２、点１３３、および点１３４）を結んだ線の傾きの極性が変化しているか否かを判定し、極性が変化していないと判定した場合、前記ｋ個の入力画素値をそのまま利用して、前記第１方向画素平均画素値または前記第２方向画素平均画素値を算出し、極性が変化していると判定した場合、前記ｋ個の入力画素値のうちの極性変化後の点が示す入力画素値（例えば、図１３の例では、点１３４が示す画素値β）を補正対象として、極性変化前の点が示す入力画素値（例えば、図１３の例では、点１３３が示す画素値α）に基づいて補正し（例えば、後述する式（３）に従って補正し）、前記ｋ個の入力画素値のうちの、補正対象については補正後の値を利用して（例えば、図１３の例では、点１３４が示す画素の画素値としては、後述する式（３）によると、補正後の画素値γ＝αを利用して）、かつ、それ以外については入力画素値をそのまま利用して（例えば、図１３の例では、点１３２と点１３３とのそれぞれが示す画素の画素値αをそのまま利用して）、前記第１方向画素平均画素値または前記第２方向画素平均画素値を算出する（例えば、図１３の例では、点１３１が注目画素を示す点とされているので、画素値αが第２方向画素平均画素値として算出される）ようにすることができる。

前記補正手段は、前記取得手段、前記第１の平均値算出手段、前記第２の平均値算出手段、前記補正量決定手段、および、前記第１の加算手段を有する第１の補正手段（例えば、図１２のALTI部８１を有する図５の撮像ボケ補償部２３）に加えて、前記撮像ボケを示す移動平均フィルタの特性を、前記パラメータの値のうちの前記注目画素に対応する前記値に応じて変換し（例えば、周波数領域で考えると、図４に示される特性Ｈ２，Ｈ３，Ｈ４のように変換し）、前記注目画素を含む所定のブロックの各入力画素値に対して、特性が変換された前記移動平均フィルタをかけ、その結果得られる前記注目画素の補正された入力画素値を第１の値として出力する移動平均フィルタリング手段（例えば、図８の移動平均フィルタ部５１）と、前記注目画素の入力画素値と、前記移動平均フィルタリング手段から出力された前記第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算手段（例えば、図８の減算部５２）と、前記減算手段から出力された前記第２の値を、前記注目画素の前記入力画素値に加算し、その結果得られる加算値を、前記注目画素の出力画素値として出力する第２の加算手段（例えば、図８の加算部５４）とを有する第２の補正手段（例えば、図８の構成を有する図５のフィルタ部２２）とをさらに設けるようにすることができる。

この本発明の画像処理装置は、前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段（例えば、図１の高フレームレート変換部１１）をさらに設け、前記補正手段は、処理対象の前記アクセスユニットに対して、前記高レート変換手段による前記高レート変換処理が施される前または後に（例えば、図１の例では後に）、処理対象の前記アクセスユニットを構成する複数の前記画素のそれぞれの画素値を補正するようにすることができる。

本発明によれば、情報処理方法が提供される。この情報処理方法は、所定の撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出して取得するか、外部から取得する情報処理装置（例えば、図３のステップＳ３の処理を実行する上述した本発明の情報処理装置）の情報処理方法であって、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する複数の前記画素のそれぞれの画素値を補正する補正ステップ（例えば、図３のステップＳ４）を含むことを特徴とする。詳細には、前記補正ステップは、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値を取得する取得ステップ（例えば、図１５のステップＳ２１とＳ２２）と、前記パラメータの値のうちの前記注目画素に対応する値に基づいて、前記取得ステップの処理により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向側に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第１方向画素平均画素値として算出する第１の平均値算出ステップ（例えば、図１５のステップＳ２４）と、前記パラメータの値のうちの前記注目画素に対応する前記値に基づいて、前記取得ステップの処理により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向とは逆方向の前記第２の方向側に位置する前記ｋ個の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第２方向画素平均画素値として算出する第２の平均値算出ステップ（例えば、図１５のステップＳ２５）と、前記第１の平均値算出ステップの処理により算出された前記第１方向画素平均画素値、前記注目画素の入力画素値、および、前記第２の平均値算出ステップの処理により算出された前記第２方向画素平均画素値の３者の関係を利用して、前記注目画素の入力画素値を補正するための補正量を決定する補正量決定ステップ（例えば、図１５のステップＳ２６乃至Ｓ２９）と、前記注目画素の入力画素値と、前記補正量決定ステップの処理により決定された前記補正量とを加算し、その結果得られる加算値を、前記注目画素の出力画素値として出力する加算ステップ（例えば、図１５のステップＳ３０）とを含むことを特徴とする。

本発明によれば、上述した本発明の情報処理方法に対応するプログラムや、そのプログラムを記録した記録媒体も提供される。詳細については後述するが、このプログラムは、例えば、図２７のリムーバブル記録媒体３１１や、記憶部３０８に含まれるハードディスク等の記録媒体に記録され、図２７の構成のコンピュータにより実行される。

以上説明した本発明の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。

次に、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明が適用される画像処理装置の機能的構成の一例を示している。

この画像処理装置１は、動画像データに対する各種画像処理をアクセスユニット単位で実行する。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各コマ全体またはその一部分を指す。なお、ここで言うコマとは、１枚の静止画像を言い、従って、コマ全体がフレームに該当することになる。ただし、以下、説明の簡略上、画像処理装置１は、動画像データに対する各種画像処理をフレーム単位で実行するとする。

この画像処理装置１は、図１に示されるように、高フレームレート変換部１１、撮像ボケ特性検出部１２、および、撮像ボケ抑制処理部１３から構成される。

高フレームレート変換部１１には、例えば、テレビジョン放送信号等の動画像信号が、フレーム単位の動画像データとして入力される。

なお、以下、動画像と、それに対応する動画像データとを個々に区別する必要がない場合、これらをまとめて動画像と単に称する。同様に、フレームと、それに対応するフレームデータとを個々に区別する必要がない場合、これらをまとめてフレームと単に称する。

高フレームレート変換部１１は、第１のフレームレートの動画像が入力された場合、その動画像に対して高フレームレート変換処理を施し、その結果得られる、第１のフレームレートよりも高い第２のフレームレートの動画像を撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３に供給する。

高フレームレート変換処理とは、入力時の第１のフレームレートが出力（表示）時の第２のフレームレートよりも低い場合に実行される処理であって、入力時の動画像を構成する各フレームのそれぞれの間に、新たなフレームを創造してそれぞれ挿入することで、第１のフレームレートをそれよりも高い第２のフレームレートに変換する処理を指す。

なお、第１のフレームレートとは、高フレームレート変換部１１に入力された時点の動画像のフレームレートを指す。従って、第１のフレームレートは、任意のフレームレートとなり得るが、ここでは例えば、図示せぬ撮影装置により動画像が撮影されたときのフレームレート、即ち、撮像フレームレートであるとする。

撮像ボケ特性検出部１２は、高フレームレート変換部１１から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケの特性を示すパラメータの値を検出する。撮像ボケ特性検出部１２の検出結果、即ち、撮像ボケの特性を示すパラメータの値は、撮像ボケ抑制処理部１３に供給される。

なお、撮像ボケの特性を示すパラメータは、特に限定されず様々なパラメータの採用が可能である。ただし、撮像ボケの特性を示すパラメータの具体例については後述する。

また、１つのフレーム内での、撮像ボケの特性を示すパラメータの値の検出個数も特に限定されない。例えば、１つのフレームに対して、撮像ボケの特性を示すパラメータの値が１つのみ検出されてもよいし、そのフレームを構成する各画素毎に、撮像ボケの特性を示すパラメータの値が１つずつ個別に検出されてもよい。或いは、その１つのフレームが幾つかのブロックに分割され、分割された各ブロック毎に、撮像ボケの特性を示すパラメータの値が１つずつ個別に検出されてもよい。

撮像ボケ抑制処理部１３は、高フレームレート変換部１１から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ特性検出部１２により検出されたパラメータの値のうちの処理対象のフレームに対応する値に基づいて、処理対象のフレームを構成する各画素値を補正する。即ち、撮像ボケ抑制処理部１３は、処理対象のフレームについての撮像ボケの特性（パラメータの値）に応じて、処理対象のフレームの各画素値を、その撮像ボケが抑制されるように補正する。

これにより、各フレームの各画素値が補正されることで撮像ボケが抑制された動画像であって、入力時の第１のフレームレートよりも高い第２のフレームレートに変換された動画像が、撮像ボケ抑制処理部１３から画像処理装置１の外部に出力される。

なお、図１の例では、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組は、高フレームレート変換部１１と組み合わせて用いられているが、当然ながら、その組単体で用いることも可能であるし、また、図示せぬ他の機能ブロック（所定の画像処理を施す他の画像処理部）と組み合わせて用いることも可能である。

即ち、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組だけで、撮像ボケを抑制するという効果を奏することが可能になる。ただし、この効果をより顕著にするためには、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組に対して、上述したように、高フレームレート変換部１１を組み合わせると好適である。以下、この理由について説明していく。

図示せぬ表示装置に表示される動画像が人間の網膜上に像として形成される際にその人間に認識されるボケは、その人間が動画像に含まれる動物体を追従視することによるホールドボケと、その動画像の撮像時に加わる上述した撮像ボケとを組み合わせたものである。

ここでいう撮像ボケの特性は、図４等を参照して後述するように、ローパスフィルタとして表される。即ち、撮像ボケ後の画像信号とは、撮像ボケ前の画像信号（理想的な画像信号）に対してこのローパスフィルタがかけられた信号と等価な信号である。従って、撮像ボケ後の画像信号は、撮像ボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、撮像ボケ後の画像信号においては、撮像ボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。

ここでいうホールドボケの特性もまた、撮像ボケの特性と同様にローパスフィルタとして表される。即ち、ホールドボケ後の画像信号とは、ホールドボケ前の画像信号（撮像ボケ後の画像信号）に対してこのローパスフィルタがかけられた信号と等価な信号である。従って、ホールドボケ後の画像信号は、ホールドボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、ホールドボケ後の画像信号においては、ホールドボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。ただし、ホールドボケは、表示装置が固定画素(ホールド)表示装置の時にのみ発生する。

従って、周波数特性が撮像ボケのため既に落ちている撮像ボケ後の画像信号に対して、高フレームレート変換処理を施すことで、ホールドボケを抑制すること自体は可能である。しかしながら、このような高フレームレート変換処理を施したとしても、撮像ボケの劣化は変わらず、最終的に人間の網膜上におけるボケを抑制させるという効果は半減してしまう。このことを、図２を参照して説明する。

図２は、撮影装置（以下、カメラと称する）の撮影範囲内で移動速度４［画素/フレーム］で移動している実物体を撮影した時における、人間の網膜上で形成される像のボケの周波数特性を示している。図２において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。

図２において、同図中一点鎖線で示される曲線h0は、ボケ（撮像ボケもホールドボケも含む）を改善するための処理が特に施されていない場合における、人間の網膜上で形成される像のボケの周波数特性を示している。即ち、図１の例では画像処理装置１に入力される動画像が、仮に画像処理装置１に入力されること無く（処理されること無く）そのまま表示装置に供給されて表示された場合に、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h0である。

これに対して、例えば高フレームレート変換処理により表示速度が倍にされると、ホールドボケのみは改善され、その結果、人間の網膜上で形成される像のボケの周波数特性は、同図中点線で示される曲線h1になる。即ち、図１の画像処理装置１に入力された動画像が、高フレームレート変換部１１により高フレームレート変換処理が施され、その後、仮に撮像ボケ抑制処理部１３に入力されること無く（撮像ボケが改善されること無く）表示装置に供給されて表示された場合、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h1である。

また、例えば本発明が適用されて、高フレームレート変換処理により表示速度が倍にされ（ホールドボケが改善され）、かつ撮像ボケの度合いが半分に改善されると、人間の網膜上で形成される像のボケの周波数特性は、同図中実線で示される曲線h2になる。即ち、図１の画像処理装置１に入力された動画像が、高フレームレート変換部１１により高フレームレート変換処理が施され、さらに、撮像ボケ抑制処理部１３により撮像ボケが抑制された上で表示装置に供給されて表示された場合、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h2である。

曲線h1と曲線h2とを比較するに、高フレームレート変換処理によりホールドボケのみが改善されただけでは、人間の網膜上におけるボケの特性の改善は不十分であり、さらに撮像ボケの改善も必要なことがわかる。しかしながら、上述したように、従来の手法では、撮像ボケの改善が必要なことは特に考慮されずに、高フレームレート変換処理が単に行われていた。

そこで、図１の実施例の他、後述する図２３や図２４等の実施例で示される本発明の画像処理装置においては、高フレームレート変換部１１の他さらに、撮像ボケの改善を目的として、即ち、人間の網膜上のけるボケの特性を図２の曲線h0から曲線h2のように改善することを目的として、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３とが設けられているのである。ただし、後述する図２５と図２６の実施例で示されるように、撮像ボケ特性検出部１２は、本発明の画像処理装置にとって必須な構成要素ではない。

即ち、撮像ボケ抑制処理部１３は、各フレームのそれぞれについて、撮像ボケ特性検出部１２により検出された撮像ボケの特性を示すパラメータの値のうちの処理対象のフレームに対応する値に基づいて、処理対象のフレームの各画素値を補正することで、高フレームレート変換後のフレームについての撮像ボケに起因する画像劣化を抑制しているのである。即ち、画像処理装置１など、本発明の画像処理装置から出力された画像信号を図示せぬ表示装置に供給することで、表示装置は、その画像信号に対応する映像として、画像劣化（ボケ画像）が抑制された鮮明な映像を表示することが可能になるのである。

このように、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組は、高フレームレート変換部１１と組み合わされると好適である。

次に、図３のフローチャートを参照して、かかる図１の機能的構成を有する画像処理装置１の画像処理について説明する。

ステップＳ１において、高フレームレート変換部１１は、第１のフレームレートの動画像を入力する。

ステップＳ２において、高フレームレート変換部１１は、動画像のフレームレートを、第１のフレームレートよりも高い第２のフレームレートに変換する。

第１のフレームレートから第２のフレームレートに変換された動画像が、高フレームレート変換部１１から撮像ボケ検出部１２と撮像ボケ抑制処理部１３とに供給されると、処理はステップＳ３に進む。

ステップＳ３において、撮像ボケ特性検出部１２は、動画像を構成する各フレームのそれぞれの中から、撮像ボケの特性を示すパラメータの値を１以上検出する。

動画像を構成する各フレームのそれぞれについての撮像ボケの特性を示すパラメータの1以上の値が、撮像ボケ特性検出部１２から撮像ボケ抑制処理部１３に供給されると、処理はステップＳ４に進む。

ステップＳ４において、撮像ボケ抑制処理部１３は、高フレームレート変換部１１から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ検出部１２により検出されたパラメータの値のうちの処理対象のフレームに対応する１以上の値に基づいて、処理対象のフレームの各画素値を補正する。

ステップＳ５において、撮像ボケ抑制処理部１３は、各フレームの画素値が補正され、かつ、第１のフレームレートから第２のフレームレートに変更された動画像を出力する。

これにより、図３の画像処理は終了となる。

なお、上述した説明では、説明の簡略上、ステップＳ１乃至Ｓ５の各ステップの処理は、動画像が処理単位とされた。ただし、実際には、フレームが処理単位となる場合が多々ある。

図３の画像処理において、各ステップの処理単位が動画像であるとは、ステップＳ１乃至Ｓ５のうちの処理対象のステップから次のステップへの移行条件が、処理対象のステップの処理が動画像全体に対して施されるという条件になることと等価である。

これに対して、図３の画像処理において、各ステップの処理単位がフレームであるとは、ステップＳ１乃至Ｓ５のうちの処理対象のステップから次のステップへの移行条件が、処理対象のステップの処理が１つのフレーム全体に対して施されるという条件になることと等価である。換言すると、各ステップの処理単位がフレームであるとは、各フレームのそれぞれに対するステップＳ１乃至Ｓ５の連続処理が、他のフレームとは独立して（並行して）実行されることと等価である。この場合、例えば、第１のフレームに対するステップＳ３の処理が実行されているときに、それとは異なる第２のフレームに対するステップＳ２の処理が並行して実行されているようなことが起こり得る。

さらに、実際には、処理対象のフレームを構成する各画素のそれぞれが、処理の対象として注目すべき画素（以下、注目画素と称する）に順次設定されて、その注目画素に対して、少なくともステップＳ３とＳ４の処理が順次個別に施されていくことが多々ある。即ち、ステップＳ３とＳ４の処理単位は画素であることが多々ある。

そこで、以下の説明においても、ステップＳ３とＳ４の処理は画素単位であるとして説明していく。即ち、ステップＳ３の処理とは撮像ボケ特性検出部１２の処理であり、ステップＳ４の処理とは撮像ボケ抑制処理部１３の処理である。従って、以下の説明においては、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３の処理単位は画素であるとして説明していく。

次に、図１の画像処理装置１のうちの、撮像ボケ抑制処理部１３の詳細について説明していく。具体的には例えば、撮像ボケの特性を示すパラメータとして、移動ベクトルの絶対値を利用する場合の撮像ボケ抑制処理部１３の実施形態について説明していく。

なお、以下、移動ベクトルの絶対値を移動速度と称し、また、移動ベクトルの方向を移動方向と称する。移動方向は、２次元平面上の何れの方向ともなり得、図１の画像処理装置１は、当然ながら、２次元平面上の何れの方向が移動方向になった場合でも、後述する各種処理を全く同様に実行することが可能である。ただし、以下においては、説明の簡略上、移動方向は横方向であるとする。

撮像ボケの特性を示すパラメータとして移動速度が利用される場合、撮像ボケ特性検出部１２は、例えば、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定し、注目画素における移動ベクトルを順次検出し、それを、注目画素における撮像ボケの特性を示すパラメータの値として撮像ボケ抑制処理部１３に順次供給していくことになる。

従って、撮像ボケ抑制処理部１３は、例えば、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定し、撮像ボケ特性検出部１２から供給された注目画素における移動速度に基づいて、注目画素の画素値を順次補正していくことになる。

ここで、移動速度が、撮像ボケの特性を示すパラメータとして採用可能な理由について説明する。

撮像ボケの特性は、一般的に被写体の移動速度に依存した形態で表すことが可能である。

なお、被写体の移動速度とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の移動速度を当然ながら含む。さらに、ここで言う被写体の移動速度とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体とカメラとが共に移動した場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の相対的な移動速度も含む。

従って、撮像ボケの特性は、被写体の画像を構成する各画素における移動速度に依存した形態で表すことができる。

画素における移動速度とは、処理対象のフレーム内の画素と、それよりも前のフレーム内の対応する画素（対応点）との間の空間的な距離を指す。例えば、処理対象のフレーム内の画素と、その直前（時間的に１つ前）のフレーム内の対応する画素（対応点）との間の空間的な距離が、ｖ（ｖは、０以上の任意の整数値）画素分である場合、その画素における移動速度とは、ｖ［画素/フレーム］になる。

この場合、被写体の画像を構成する各画素のうちの所定の１つが注目画素に設定されているとすると、注目画素における撮像ボケの特性は、注目画素における移動速度ｖ［画素/フレーム］の大小に依存した形態で表すことができる。

より具体的には例えば、注目画素の移動速度が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの周波数特性のそれぞれは、図４の曲線Ｈ２乃至Ｈ４のそれぞれで表すことができる。

即ち、図４は、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合についての、注目画素における撮像ボケの周波数特性のそれぞれを示している。図４において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。

以上の内容が、移動速度が、撮像ボケの特性を示すパラメータとして採用可能な理由である。

ところで、図４の周波数特性Ｈ２乃至Ｈ４の形態からわかるように、注目画素における撮像ボケの特性は空間領域で表現すると、移動平均フィルタ（ローパスフィルタ）で表すことが可能である。

即ち、この移動平均フィルタ（ローパスフィルタ）を示す伝達関数（以下、撮像ボケの伝達関数と称する）をＨと記述し、撮像ボケが仮に発生しなかった場合の理想的な画像信号（以下、撮像ボケ前の信号と称する）を周波数領域でＦと記述し、かつ、カメラから出力される実際の画像信号、即ち、撮像ボケが発生した画像信号（以下、撮像ボケ後の信号と称する）を周波数領域でＨと記述すると、撮像ボケ後の信号Ｇは、次の式（１）のように表される。

G ＝ H×F ・・・（１）

本発明においては撮像ボケを取り除く（抑制する）ことが目的とされているので、この本発明の目的を達成するためには、既知である撮像ボケ後の信号Ｇと、既知である撮像ボケの伝達関数Ｈとから、撮像ボケ前の信号Ｆを予測演算すればよい。即ち、次の式（２）の予測演算が実行されればよい。

F ＝ inv(H)×G ・・・（２）

式（２）において、inv(H)は、撮像ボケの伝達関数Ｈの逆関数を示している。上述したように撮像ボケの伝達関数Ｈがローパスフィルタの特性を持つことから、その逆関数inv(H)も、当然ながらハイパスフィルタの特性を持つ。

また、上述したように、撮像ボケの伝達関数Ｈは、移動速度に応じてその特性が変化する。具体的には例えば、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの伝達関数Ｈの周波数特性は、図４の曲線Ｈ２，曲線Ｈ３，曲線Ｈ４のそれぞれに示されるような相異な特性となる。

従って、撮像ボケ抑制処理部１３は、移動速度に応じて撮像ボケの伝達関数Ｈの特性を変更して、特性が変更された伝達関数Ｈの逆関数inv(H)を求め、その逆関数inv(H)を用いて上述した式（２）の演算処理を実行すれば、本発明の目的、即ち、撮像ボケを取り除く（抑制する）という目的を達成することが可能になる。

或いは、上述した式（２）の演算は周波数領域の演算であるので、本発明の目的を達成するために、撮像ボケ抑制処理部１３は、上述した式（２）の演算処理と等価な空間領域での処理を実行してもよい。具体的には例えば、撮像ボケ抑制処理部１３は、次のような第１乃至第３の処理を実行してもよい。

第１の処理とは、撮像ボケ特性検出部１２から供給された注目画素における移動速度に応じて、注目画素における撮像ボケを示す移動平均フィルタ（ローパスフィルタ）の特性を変換する処理である。具体的には例えば、複数の移動速度毎に移動平均フィルタを１つずつ予め用意しておき、複数の移動平均フィルタの中から、注目画素における移動速度に対応する１つを選択する処理が、第１の処理の一例である。

第２の処理とは、次の第２−１乃至第２−３の処理からなる処理である。

第２−１の処理とは、第１の処理により特性が変換された移動平均フィルタに対してフーリエ変換を施すことにより、その移動平均フィルタを周波数表示する処理である。具体的には例えば、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合、図４の曲線Ｈ２，曲線Ｈ３，曲線Ｈ４のそれぞれを得る処理が第２−１の処理である。即ち、周波数領域で考えると、注目画素における撮像ボケの伝達関数Ｈを求める処理が第２−１の処理である。

第２−２の処理とは、第２−１の処理により周波数表示された移動平均フィルタの逆数を算出する処理である。即ち、周波数領域で考えると、上述した式（２）に示される、撮像ボケの伝達関数Ｈの逆関数inv(H)を生成する処理が、第２−２の処理である。

第２−３の処理とは、第２−２の処理により算出された、周波数表示された移動平均フィルタの逆数に対して逆フーリエ変換を施す処理である。即ち、逆関数inv(H)に対応するハイパスフィルタ（ウィーナーフィルタ等）を生成する処理が第２−３の処理である。換言すると、移動平均フィルタの逆フィルタを生成する処理が第２−３の処理である。なお、以下、第２−３の処理により生成されるハイパスフィルタを、逆移動平均フィルタと称する。

第３の処理とは、撮像ボケ後の周波数領域の上述した式（２）の信号Ｇに対応する空間領域の画像信号gを入力画像として入力し、その画像信号gに対して、第２−３の処理により生成された逆移動平均フィルタをかける処理である。この第３の処理により、撮像ボケ前の周波数領域の上述した式（２）の信号Ｆに対応する空間領域の画像信号ｆが復元（予測演算）されることになる。具体的には例えば、処理対象のフレームのうちの注目画素を含む所定のブロックに対して逆移動平均フィルタをかけることで、注目画素の画素値を補正する処理が、第３の処理である。

かかる第１乃至第３の処理を実行可能な撮像ボケ抑制処理部１３の機能的構成の一実施例については、本発明人により既に発明され、特願２００４−２３４０５１号の願書とともに提出された図面の図５に開示されている。

しかしながら、撮像ボケ抑制処理部１３が、特願２００４−２３４０５１号の願書とともに提出された図面の図５の構成を有する場合、次のような第１の課題が新たに発生してしまう。即ち、図４の周波数特性Ｈ２乃至Ｈ４にも示されるように、撮像ボケを示す移動平均フィルタ（その周波数特性）には、ゲインが０となる周波数が含まれている。このため、撮像ボケ抑制処理部１３は、その移動平均フィルタの完全な逆フィルタ（完全な逆移動平均フィルタ）を生成するのは困難であり、その結果、ノイズを増長させてしまうという第１の課題が新たに発生してしまう。

また、第３の処理のような、画像信号に対してハイパスフィルタ（逆移動平均フィルタ）をかける処理とは、エッジを急峻にする処理であるとも言える。「エッジを急峻にする」という意味での画作りの技術として、従来、LTIやsharpnessと称される技術が存在する。従って、このような従来の技術を撮像ボケ抑制処理部１３に適用させることも当然ながら可能である。

しかしながら、このような従来の技術を撮像ボケ抑制処理部１３に適用させた場合には、次の第２の課題乃至第５の課題が新たに発生してしまう。

即ち、LTIとは、特開２０００−３２４３６４号公報等に開示されている従来の技術である。特開２０００−３２４３６４号公報によると、注目画素の輝度（画素値）をその近隣画素の輝度（画素値）にハードスイッチで置き換えることで、注目画素の輝度を補正し、その結果としてエッジを急峻にさせる技術がLTIである。従って、このLTIには、その特徴上、ノイズに対して耐久性が弱く、ノイズに振られて処理画像が破綻してしまう恐れがあるという第２の課題があった。また、LTIを施す前の画像データに依存せずに、全てのエッジを急峻にしてしまうという第３の課題もあった。

また、従来の技術(LTI、sharpness)は画作りで用いられている技術なので、撮像ボケが生じていない静止画に対しても全く同様に処理を施してしまうという第４の課題と、撮像ボケが生じている量に関わらずに一様に処理をしてしまうという第５の課題があった。

そこで、本発明人は、［発明が解決しようとする課題］で上述した課題の他、これらの第１の課題乃至第５の課題も同時に解決すべく、例えば本願の図５に示される機能的構成を有する撮像ボケ抑制処理部１３を発明した。即ち、図５は、本発明が適用される撮像ボケ抑制処理部１３の機能的構成の一例を示している。

図５の例では、撮像ボケ抑制処理部１３は、高成分除去部２１、フィルタ部２２、および、撮像ボケ補償部２３により構成されている。

なお、以下、少なくとも撮像ボケ抑制処理部１３の説明をしている間においては、撮像ボケ抑制処理部１３を構成する各機能ブロック（加算部等の演算部も含む）に入力される信号を、即ち、動画像、動画像を構成する各フレーム、および、各フレームを構成する各画素の画素値といった入力単位によらず、一括して入力信号と適宜称する。同様に、各機能ブロックから出力される信号を、その出力単位によらず、一括して出力信号と適宜称する。換言すると、入力単位や出力単位の区別が必要な場合、その単位（主に画素値）を用いて説明を行い、それ以外の場合、単に入力信号または出力信号を用いて説明を行う。

図５に示されるように、高フレームレート変換部１１の出力信号は、撮像ボケ抑制処理部１３にとっての入力信号として、高域成分除去部２１に供給される。また、撮像ボケ特性検出部１２の出力信号は、フィルタ部２２と撮像ボケ補償部２３とのそれぞれに供給される。高域成分除去部２１の出力信号はフィルタ部２２に供給される。フィルタ部２２の出力信号は撮像ボケ補償部２３に供給される。撮像ボケ補償部２３の出力信号が、撮像ボケ抑制処理部１３の最終的な処理結果を示す出力信号として外部に出力される。

以下、高成分除去部２１、フィルタ部２２、および、撮像ボケ補償部２３のそれぞれの詳細について、その順番に個別に説明していく。

はじめに、図６と図７とを参照して、高域成分除去部２１の詳細について説明する。

図６は、高域成分除去部２１の詳細な機能的構成例を示している。図７は、図６の高域成分除去部２１のうちの後述する高域リミッタ部３２の特性を示している。

図６の例では、高域成分除去部２１は、ハイパスフィルタ部３１、高域リミッタ部３２、および、減算部３３により構成されている。

図６に示されるように、高フレームレート変換部１１の出力信号は、高域成分除去部２１にとっての入力信号として、ハイパスフィルタ部３１と減算部３３とのそれぞれに供給される。

ハイパスフィルタ部３１は、HPF(ハイパスフィルタ)の機能を有している。従って、ハイパスフィルタ部３１は、高域成分除去部２１の入力信号から高域成分を抽出し、高域リミッタ部３２に供給する。

高域リミッタ部３２は、図７の曲線４１で示される関数を保持しており、ハイパスフィルタ部３１から供給された高域成分を入力パラメータとしてその関数に代入して、その関数の出力（図７の出力）を減算部３３に供給する。即ち、図７の曲線４１の形状から容易にわかることであるが、高域リミッタ部３２は、ハイパスフィルタ部３１から供給されてくる高域成分（入力）の値がある一定以上の場合またはある一定以下の場合にリミッタをかける。換言すると、高域リミッタ部３２は、図７の曲線４１で示される特性を有している。

図６に戻り、減算部３３は、高域成分除去部２１の入力信号と、高域リミッタ部３２によりリミッタがかけられた高域成分との差分を演算し、その結果得られる差分信号を、高域成分除去部２１の出力信号としてフィルタ部２２に供給する。

このようにして、高域成分除去部２１において、その入力信号からノイズなどの高域成分が除去されて、その結果得られる信号が出力信号としてフィルタ部２２に供給される。

次に、図８乃至図１０を参照して、フィルタ部２２の詳細について説明する。

図８は、フィルタ部２２の詳細な機能的構成例を示している。図９は、図８のフィルタ部２２のうちの後述するゲイン制御部５３の詳細な機能的構成例を示している。図１０は、図９のゲイン制御部５３のうちの後述する調整量決定部６４の特性を示している。

図８の例では、フィルタ部５２は、移動平均フィルタ部５１乃至加算部５４により構成されている。

図８に示されるように、高域成分除去部２１の出力信号は、フィルタ部２２にとっての入力信号として、移動平均フィルタ部５１、減算部５２、および、加算部５４のそれぞれに供給される。また、撮像ボケ特性検出部１２の出力信号は、移動平均フィルタ部５１とゲイン制御部５３とのそれぞれに供給される。

移動平均フィルタ部５１は、フィルタ部２２の入力信号に対して移動平均フィルタをかける。より詳細には、移動平均フィルタ部５１は、フィルタ部２２の入力信号のうちの、処理対象のフレーム内の注目画素を含む所定のブロックの各画素値に対して移動平均フィルタをかけることで、注目画素の画素値を補正する。その際、移動平均フィルタ部５１は、撮像ボケ特性検出部１２の出力信号のうちの注目画素における移動速度に応じて、移動平均フィルタの特性を変換する。具体的には例えば、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合、周波数領域で考えると、移動平均フィルタ部５１は、移動平均フィルタの特性を、上述した図４の曲線Ｈ２，Ｈ３，Ｈ４のそれぞれで示される特性に変換する。移動平均フィルタ部５１により補正された注目画素の画素値は、減算部５２に供給される。

その際、移動平均フィルタ部５１は、撮像ボケ特性検出部１２の出力信号のうちの注目画素における移動速度に応じて、注目画素に対して移動平均フィルタを書ける場合に利用するタップ（注目画素とその周辺の所定の画素）の個数を変更することもできる。具体的には例えば、移動平均フィルタ部５１は、移動速度が大きくなるに従ってタップの個数も多くするように（即ち、平均する幅を広げるように）可変していけばよい。このように移動速度に応じた個数のタップを利用した移動平均フィルタの結果を、撮像ボケ補償部２３が用いることで、より一段と精度の高い補正、即ち、より一段と撮像ボケを抑制することが可能な補正を行うことが可能となる。

減算部５２は、フィルタ部２２の入力信号のうちの注目画素の補正前の画素値と、移動平均フィルタ部５１により補正された注目画素の画素値との差分を求め、その差分値をゲイン制御部５３に供給する。なお、以下、減算部５２の出力信号を、移動平均フィルタ前後の差分と称する。

ゲイン制御部５３は、移動平均フィルタ前後の差分の値を調整し、調整後の移動平均フィルタ前後の差分を出力信号として加算部５４に供給する。なお、ゲイン制御部５３の詳細については図９を参照して後述する。

加算部５４は、フィルタ部２２の入力信号と、ゲイン制御部５３の出力信号とを加算し、その加算信号を出力信号として撮像ボケ補償部２３に供給する。詳細には、注目画素に着目すると、加算部５４は、注目画素の補正前の画素値に対して、注目画素についての移動平均フィルタ前後の差分の調整値を補正量として加算し、その加算値を、注目画素の補正後の画素値として外部の撮像ボケ補償部２３に供給する。

以上説明したようなフィルタ部２２の空間領域での処理は、周波数領域で考えると次のようになる。

即ち、減算部５２の出力信号である移動平均フィルタ前後の差分を周波数領域で考えた場合、所定の周波数に着目すると、減算部５２の出力信号のゲインとは、次のようなゲインになる。即ち、着目された周波数において、フィルタ部２２の入力信号のゲインと、移動平均フィルタがかけられた後の入力信号のゲインとの差分ゲインが、減算部５２の出力信号のゲインとなる。以下、減算部５２の出力信号のゲインを、移動平均フィルタ前後の差分ゲインと称する。

さらに、この移動平均フィルタ前後の差分ゲインは、ゲイン制御部５３によりゲイン調整される。このゲイン調整については後述する。

従って、図８の例のフィルタ部２２（加算部５４）の出力信号を周波数領域で考えた場合、所定の周波数に着目すると、出力信号のゲインは、その入力信号のゲインと、ゲイン調整後の移動平均フィルタ前後の差分ゲインとが加算された加算ゲインとなっている。即ち、各周波数のそれぞれにおいて、出力信号のゲインは、入力信号のゲインに比較して、ゲイン調整後の移動平均フィルタ前後の差分ゲイン分だけ持ち上げられている。

換言すると、フィルタ部２２全体では、ハイパスフィルタをかける処理と基本的に等価な処理を実行していることになる。

ここで、図９を参照して、ゲイン調整部５３の詳細について説明する。

図９の例では、ゲイン制御部５３は、遅延部６１−１乃至６１−ｎ（以下、図９の記載にあわせてDL部６１−１乃至６１−ｎと称する）、MAX/MIN算出部６２、減算部６３、調整量決定部６４、および、乗算部６５により構成されている。

図９に示されるように、減算部５２の出力信号である移動平均フィルタ前後の差分は、ゲイン制御部５３にとっての入力信号として、DL部６１−１に供給される。また、撮像ボケ特性検出部１２の出力信号は、MAX/MIN算出部６２に供給される。

ゲイン調整部５３は、このような構成を有することで、信号のレベルが高い場所で発生するリンギングを抑えることができる。

以下、ゲイン制御部５３の詳細な機能的構成（各機能ブロックの接続形態）とその動作について併せて説明する。

DL部６１−１乃至６１−ｎは、その順番で接続されており、前段の出力信号が自分自身の入力信号として供給されると、その入力信号を所定の遅延時間だけ遅延させて、出力信号として後段に供給する。DL部６１−１乃至６１−ｎのそれぞれの出力信号はまた、MAX/MIN算出部６２に供給される。さらに、DL部６１−（ｎ／２）の出力は乗算部６５にも供給される。

ゲイン制御部５３の入力信号である移動平均フィルタ前後の差分のうちの、注目画素を中心として移動方向（ここでは横方向）に連続して並ぶｎ個の画素のそれぞれに対応する値（以下、画素の前後差分値と称する）が、右から左に向けて画素の配置順番でDL部６１−１に順次入力されていく。従って、その後、遅延時間のｎ倍の時間がほぼ経過すると、DL部６１−１乃至６１−ｎのそれぞれからは、注目画素を中心として横方向に連続して並ぶｎ個の画素の各前後差分値のそれぞれが１つずつ出力され、MAX/MIN算出部６２に供給されることになる。また、注目画素の前後差分値は、DL部６１−(n/2)から出力されて、上述したようにMAX/MIN算出部６２に供給される他、乗算部６５にも供給される。

なお、DL部６１−１乃至６１−ｎの個数ｎは、特に限定されないが、ここでは、移動速度の最高値［画素/フレーム］であるとする。また、撮像ボケ特性検出部１２から供給された注目画素における移動速度は、ｖ［画素／フレーム］であるとする。ただし、ｖは、０以上の任意の整数値であるとする。

MAX/MIN算出部６２は、注目画素を中心として含む、その移動速度分の個数ｖの画素の各前後差分値を含む範囲を算出範囲として決定する。そして、MAX/MIN算出部６２は、DL部６１−１乃至６１−ｎから供給されるｎ個の前後差分値のうちの、算出範囲に含まれるｖ個の前後差分値の中から最大値MAXと最小値MINとを求め、それぞれ減算部６３に供給する。

なお、注目画素を中心として含む、その移動速度分の個数ｖの画素の各前後差分値を含む範囲が算出範囲とされるのは、次の理由からである。即ち、リンギングは、ハイパスフィルタのタップ数分だけ、換言すると、移動速度分だけ影響を及ぼすからである。

減算部６３は、MAX/MIN算出部６２からそれぞれ供給された最大値MAXと最小値MINとの差分を取り、その差分値（＝MAX-MIN）を調整量決定部６４に供給する。

この差分値（＝MAX-MIN）が大きくなるほど、注目画素近傍のリンギングもまた大きくなることがわかっている。即ち、この差分（＝MAX-MIN）は、注目画素近傍のリンギングの大きさの指標となる値である。

そこで、調整量決定部６４は、減算部６３から供給された差分値（＝MAX-MIN）に基づいて、注目画素の前後差分値についての調整量を決定し、乗算部６５に供給する。

詳細には例えば、調整量決定部６４は、図１０の曲線７１で示される関数を保持しており、減算部６３から供給された差分値（＝MAX-MIN）を入力パラメータとしてその関数に代入して、その関数の出力（図１０の出力）を、注目画素の前後差分値についての調整量として乗算部６５に供給する。即ち、図１０の曲線７１の形状から容易にわかることであるが、減算部６３から供給された差分値（＝MAX-MIN）がある一定値を超えると、それ以降、リンギングの発生を抑制させるべく、調整量（出力）が小さくなっていく。換言すると、調整量決定部６４は、図１０の曲線７１で示される特性を有している。

図９に戻り、乗算部６５は、DL部６１-(ｎ／２)から供給された注目画素の前後差分値に対して、調整量決定部６４から供給された調整量（図１０の例では０乃至１の範囲内の値）を乗算し、その乗算値を、注目画素の調整後の前後差分値として加算部５４に供給する。即ち、各画素の調整後の前後差分値のそれぞれが、ゲイン制御部５３の出力信号として、加算部５４に順次供給されていく。

以上説明したように、減算部６３の出力信号である差分値（＝MAX-MIN）がある一定値を超えると、その差分値（＝MAX-MIN）が大きくなるほど、調整量（出力）も１乃至０に向かう方向でだんだん小さくなっていく。従って、減算部６３の出力信号である差分値（＝MAX-MIN）がある一定値以上の場合、１未満の調整量が、注目画素の前後差分値に対して乗算されるので、注目画素の前後差分は小さくなるように調整されることになる。これにより、注目画素近傍のリンギングが抑制されることになる。

以上説明したようなゲイン制御部５３の空間領域での処理は、周波数領域で考えると、結局、リンギングの抑制を目的として、移動平均フィルタ前後の差分ゲインをゲイン調整する処理であると言える。

次に、図１１乃至図１９を参照して、撮像ボケ補償部２３の詳細について説明する。

図１１は、撮像ボケ補償部２３の詳細な機能的構成例を示している。

図１１の例では、撮像ボケ補償部２３は、ALTI部８１、減算部８２、ゲイン制御部８３、および、加算部８４により構成されている。

図１１に示されるように、フィルタ部２２の出力信号は、撮像ボケ補償部２３にとっての入力信号として、ALTI部８１、減算部８２、および加算部８４のそれぞれに入力される。また、撮像ボケ特性検出部１２の出力信号は、ALTI部８１とゲイン制御部８３とのそれぞれに供給される。

以下、撮像ボケ補償部２３の入力信号のうちの注目画素の画素値に着目して、ALTI部８１乃至加算部８４のそれぞれの説明を個別に行っていく。

なお、上述したように、撮像ボケ補償部２３に供給された段階の注目画素の画素値は、図５の撮像ボケ抑制処理部１３に入力された段階と比較して、高域成分除去部２１やフィルタ部２２により既に補正が行われて異なる値になっていることが多い。また、後述するように、撮像ボケ補償部２３内でも、注目画素の画素値は適宜補正される。そこで、混乱を避けるために、撮像ボケ補償部２３の説明を行っている間においては、各機能ブロックに入力される段階の各画素値を、入力画素値と称し、各機能ブロックから出力される段階の画素値を、出力画素値と称する。さらに、機能ブロックの中には、同一画素について、複数の前段の機能ブロックのそれぞれから複数の異なる画素値が入力される場合もある。このような場合、オリジナルに近い方の画素値（主に補正前の画素値）を入力画素値と称し、それ以外の画素値を、後段の機能ブロックの出力画素値と称する。例えば、詳細については後述するが、減算部８２には、ALTI部８１と外部のフィルタ部２２とのそれぞれから注目画素の画素値として異なる値が供給される。そこで、外部のフィルタ部２２から供給される方を、入力画素値と称し、ALTI部８１から供給される方を、ALTI部８１の出力画素値と称する。

ALTI部８１は、撮像ボケ特性検出部１２により供給された注目画素における移動速度に応じて補正量を決定し、注目画素の入力画素値に対して補正量を加算し、その加算値を、注目画素の出力画素値として減算部８２に供給する。なお、ALTI部８１のさらなる詳細については、図１２を参照して後述する。

減算部８２は、ALTI部８１の注目画素の出力画素値と、注目画素の入力画素値との差分を演算し、その差分値（以下、注目画素差分値と称する）をゲイン制御部８３に供給する。

ゲイン制御部８３は、撮像ボケ特性検出部１２から供給された注目画素における移動速度に応じて、減算部８２から供給された注目画素差分値の値を調整して、調整後の注目画素差分値を、注目画素についての最終的な補正量として加算部８４に供給する。

加算部８４は、注目画素の入力画素値に対して、ゲイン制御部８３からの最終的な補正量を加算し、その加算値を、注目画素の出力画素値として外部に出力する。即ち、加算部８４の注目画素の出力画素値が、撮像ボケ抑制補償部２３により最終的に補正された注目画素の画素値として外部に出力される。

以下、撮像ボケ補償部２３のうちのALTI部８１とゲイン制御部８３とのそれぞれの詳細について、その順番に個別に説明していく。

はじめに、図１２乃至図１７を参照して、ALTI部８１の詳細について説明する。

図１２は、ALTI部８１の詳細な機能的構成例を示している。

図１２の例では、ALTI部８１は、遅延部９１−１乃至９１−ｎ（以下、図１２の記載にあわせてDL部９１−１乃至９１−ｎと称する）、平均値算出部９２乃至９４、補正量決定部９５、および加算部９６により構成されている。

以下、ALTI部８１の詳細な機能的構成（各機能ブロックの接続形態）とその動作について併せて説明する。

DL部９１−１乃至９１−ｎは、その順番で接続されており、前段から出力されてくる各画素値のそれぞれを、所定の遅延時間だけ遅延させて後段に出力する。DL部９１−１乃至９１−(n/2-1)のそれぞれから出力される画素値はまた、平均値算出部９３に供給される。DL部９１−(n/2-1)、DL部９１−(n/2)、および、DL部９１−(n/2+1)のそれぞれから出力される画素値はまた、平均値算出部９２に供給される。DL部９１−(n/2+1)乃至９１−nのそれぞれから出力される画素値はまた、平均値算出部９４に供給される。DL部９１−(n/2)から出力される画素値はまた、補正量決定部９５と加算部９６にも供給される。

フィルタ部２２からは、注目画素を中心にして移動方向（ここでは横方向）に連続して並ぶｎ個の画素の各画素値が、右から左に向かう方向に画素の配置順番で、DL部９１−１に順次入力されていく。従って、その後、遅延時間のｎ倍の時間がほぼ経過すると、DL部９１−１乃至９１−ｎのそれぞれからは、注目画素を中心にして横方向に連続して並ぶｎ個の画素の各画素値のそれぞれが１つずつ出力されることになる。

なお、以下、DL部９１−１乃至９１−ｎのそれぞれから出力された段階の各画素値を、ALTI部８１にとっての入力画素値であるとして説明する。

具体的には、DL部９１−(n/2)からは、注目画素の入力画素値Ｎが出力される。また、注目画素から見て左側に連続して配置されるn/2-1個の画素の各入力画素値は、DL部９１−１乃至９１−(n/2-1)のそれぞれから1つずつ出力される。一方、注目画素から見て右側に連続して配置されるn/2-1個の画素の各入力画素値は、DL部９１−(n/2+1)乃至９１−ｎのそれぞれから1つずつ出力される。

なお、DL部９１−１乃至９１−ｎの個数ｎは、特に限定されないが、ここでは、移動速度の最高値［画素/フレーム］であるとする。また、撮像ボケ特性検出部１２から供給される注目画素における移動速度は、上述した例と同様にｖ［画素／フレーム］であるとする。

従って、平均値算出部９２には、注目画素の入力画素値Ｎ、注目画素の左隣画素の入力画素値、および、注目画素の右隣画素の入力画素値が入力される。そこで、平均値算出部９２は、注目画素の入力画素値Ｎ、注目画素の左隣画素の入力画素値、および、注目画素の右隣画素の入力画素値の平均値Ｎａ（以下、注目画素の平均画素値Ｎａと称する）を算出し、補正量決定部９５に供給する。

なお、詳細については後述するが、補正量決定部９５により決定される注目画素の補正量ADDは、所定の調整量ｃにより調整される。この調整量ｃは、固定値ではなく、所定の処理（以下、調整量決定処理と称する）により決定される可変値である。本実施の形態では、この調整量決定処理において、注目画素の平均画素値Ｎａが利用される。なぜならば、この調整量決定処理において、注目画素の入力画素値Nそのものを利用することも可能であるが、この場合、注目画素にノイズが含まれていると、処理画像が破綻することがあるからである。即ち、処理画像の破綻を防止するためである。

平均値算出部９３には、注目画素から見て左側に連続して配置されるn/2-1個の画素の各入力画素値が供給される。そこで、平均値算出部９３は、注目画素の左隣画素から左方向に順番に、移動速度のほぼ半分の個数ｋ（ｋは、約ｖ／２）の画素を選択して、選択したｋ個の画素の各入力画素値を含む範囲を算出範囲として決定する。そして、平均値算出部９３は、供給されたn/2-1個の入力画素値のうちの、算出範囲に含まれるｋ個の入力画素値の平均値Ｌａ（以下、左方画素の平均画素値Ｌａと称する）を算出し、補正量決定部９５に供給する。

一方、平均値算出部９４には、注目画素から見て右側に連続して配置されるn/2-1個の画素の各入力画素値が供給される。そこで、平均値算出部９４は、注目画素の右隣画素から右方向に順番にｋ個の画素を選択して、選択したｋ個の画素の各入力画素値を含む範囲を算出範囲として決定する。そして、平均値算出部９４は、供給されたn/2-1個の入力画素値のうちの、算出範囲に含まれるｋ個の入力画素値の平均値Ｒａ（以下、右方画素の平均画素値Ｒａと称する）を算出し、補正量決定部９５に供給する。

詳細については後述するが、左方画素の平均画素値Ｌａと右方画素の平均画素値Ｒａとはいずれも、調整量決定処理や、補正量の候補を決定するための処理（以下、候補決定処理と称する）に利用される。

即ち、上述した特開２０００−３２４３６４号公報等に開示されている従来のLTIにおいては、注目画素から左方向に所定の距離だけ離間した１つの画素（以下、左方画素と称する）の入力画素値と、注目画素の入力画素値との差分値が、補正量の第１の候補に決定されていた。また、注目画素から右方向に所定の距離だけ離間した１つの画素（以下、右方画素と称する）の入力画素値と、注目画素の入力画素値との差分値が、補正量の第２の候補に決定されていた。そして、第１の候補と第２の候補のうちの何れか一方が、特に調整されずにそのまま補正量として決定されていた。このため、従来のLTIでは、左方画素や右方画素の入力画素値にノイズが含まれていると、補正量（その２つの候補）を適切に決定できないという課題があった。

そこで、この課題を解決すべく、即ち、補正量の候補を適切に決定できるように、本実施の形態の候補決定処理では、左方画素や右方画素といった１つの画素の入力画素値が単に利用されるのではなく、左方画素の平均画素値Ｌａと右方画素の平均画素値Ｒａとが利用されるのである。

ただし、算出範囲に含まれる各入力画素値の変化方向が一定で無い場合、即ち、増加後減少したり、逆に、減少後増加しているような場合がある。換言すると、横方向の画素位置が横軸とされ、画素値が縦軸とされた平面（例えば、後述する図１３の平面）上において、算出範囲に含まれる各入力画素値を示す点（後述する図１３の点１３１乃至１３４等）を結んだ線の傾きの極性が反転してしまう場合がある。このような場合、算出範囲に含まれる各入力画素値の単純な平均値を、左方画素の平均画素値Ｌａまたは右方画素の平均画素値Ｒａとして採用しても、補正量（候補）を適切に決定できないおそれが生じる、という新たな課題が発生してしまう。

そこで、この新たな課題を解決すべく、本実施の形態ではさらに、平均値算出部９３と平均値算出部９４とは何れも、算出範囲に含まれる各入力画素値のうちの極性反転後の第１の点が示す入力画素値βを、極性反転前の第２の点が示す入力画素値αを用いる次の式（３）の右辺を演算することで、画素値γに更新し、第１の点が示す画素の入力画素値は更新後の画素値γであるとみなして、左方画素の平均画素値Ｌａまたは右方画素の平均画素値Ｒａを算出するのである。

γ ＝ α − Ｈ×ｆ（Ｈ） ・・・（３）

式（３）において、Ｈは、図１３に示されるように、極性反転前の第２の点（同図中点１３３）の画素値αと極性反転後の第１の点（同図中点１３４）の画素値βとの差分値（＝α−β）を示している。

即ち、図１３は、注目画素１３１を含む水平方向に連続して並ぶ１２個の画素の画素値の一例を示している。図１３において、横軸は「横方向の画素位置」とされ、縦軸は「画素値」とされている。図１３の例では、平均値算出部９４の算出範囲、即ち、右方画素の平均画素値Ｒａの算出範囲は、注目画素を示す点１３１の右方の３個の点１３２乃至１３３が示す画素値α，α，βを含む範囲Ｄとされている。

図１３の例では、点１３３から点１３４にかけて傾きの極性が判定していることがわかる。即ち、点１３４が極性反転後の第１の点であり、点１３３が極性判定前の第２の点である。従って、図１３の例では、平均値算出部９４は、点１３３が示す入力画素値α、および、その入力画素値αと点１３４が示す入力画素値βとの差分値Ｈ（＝α―β）とを、式（３）の右辺に代入して演算することで、点１３４が示す入力画素値を画素値βから画素値γに変更する。そして、平均値算出部９４は、算出範囲Ｄのうちの、点１３４が示す画素の入力画素値としては更新後の画素値γを利用し、それ以外の点１３２と点１３３との各入力画素値としては元の画素値αをそのまま利用して、右方画素の平均画素値Ｒａを算出することになる。即ち、Ｒａ＝（α＋α＋γ）／３が演算されることになる。

本実施の形態では、このような式（３）の右辺の演算において、関数ｆ（Ｈ）として、図１４の線１４１のような特性を有する関数が利用される。

図１４に示されるように、極性反転前の画素値αと極性反転後の画素値βとの差分値Ｈが値Ｈ２以上である場合には、関数ｆ（Ｈ）の出力は０となる。また、差分値Ｈが大きいことは、極性反転後の傾きが急峻であることを意味している。従って、極性反転後の傾きが一定以上急峻である場合、即ち、差分値Ｈが値Ｈ２以上である場合には、式（３）より更新後の画素値γは、画素値αになる。即ち、図１３に示されるように、極性反転後の傾きが一定以上急峻である場合には、極性反転後の点１３４が示す画素の入力画素値としては画素値βの代わりに画素値αが利用されて、算出範囲Ｄにおける右方画素の平均画素値Ｒａが算出されるのである。即ち、Ｒａ＝（α＋α＋α）／３＝αが演算されて、右方画素の平均画素値Ｒａは画素値αであると決定されることになる。

これに対して、図１４に示されるように、極性反転前の画素値αと極性反転後の画素値βとの差分値Ｈが値Ｈ１以下であるときには、関数ｆ（Ｈ）の出力は１となる。また、差分値Ｈが小さいことは、極性反転後の傾きが緩やかであることを意味している。従って、極性反転後の傾きが一定以上緩やかである場合、即ち、差分値Ｈが値Ｈ１以下である場合には、式（３）より更新後の画素値γは、画素値βのままになる。即ち、極性反転後の傾きが一定以上緩やかな場合には、図示はしないが、極性反転後の点１３４が示す入力画素値としては画素値βがそのまま利用されて、算出範囲Ｄにおける右方画素の平均画素値Ｒａが算出されるのである。即ち、Ｒａ＝（α＋α＋β）／３が演算されて、右方画素の平均画素値Ｒａは画素値｛（α＋α＋β）／３｝であると決定されることになる。

なお、極性反転後の傾きが一定以上緩やかなときには、極性反転後の点１３４が示す画素値は更新されずに元の画素値βがそのまま利用されるのは、次の理由からである。即ち、極性反転後の傾きが一定以上緩やかな場合とは、ノイズのために極性反転が起きた可能性が大であると言え、このよう場合には、各入力画素値を更新してから平均を取るよりも、そのまま平均をとった方が、ノイズが除去された適切な右方画素の平均画素値Ｒａが得られることになる、という理由からである。

以上、図１３の具体例を用いて右方画素の平均画素値Ｒａを算出する場合について説明したが、その他の場合、例えば左方画素の平均画素値Ｌａを算出する場合にも、極性反転後の点が示す画素の入力画素値は、上の式（３）に従って全く同様に、画素値βから画素値γに更新されることになる。

図１２に戻り、以上説明した平均値算出部９２乃至９４のそれぞれにおいて、平均値を求める場合に利用するタップの個数（画素値の数）は、上述した例では固定されていたが、その他例えば、撮像ボケ特性検出部１２の出力信号のうちの注目画素における移動速度に応じて可変してもよい。具体的には例えば、移動速度が大きくなるに従ってタップの個数も多くするように（即ち、平均する幅を広げるように）可変してもよい。このように移動速度に応じた個数のタップを利用した平均値算出部９２乃至９４のそれぞれの結果が、後述する補正量決定部９５により利用されることで、より一段と精度の高い補正、即ち、より一段と撮像ボケを抑制することが可能な補正を行うための補正量を決定することが可能となる。

補正量決定部９５は、DL部９１−(n/2)からの注目画素の入力画素値Ｎ、平均値算出部９２からの注目画素の平均画素値Ｎａ、平均値算出部９３からの左方画素の平均画素値Ｌａ、および、平均値算出部９４からの右方画素の平均画素値Ｒａを利用して、補正量ADDを決定して加算部９６に供給する。

加算部９６は、DL部９１−(n/2)からの注目画素の入力画素値Ｎに対して、補正量決定部９５からの補正量ADDを加算し、その加算結果を注目画素の出力画素値として、即ち、注目画素の補正後の画素値として、ALTI部８２の外部の加算部８２に供給する。

ここで、補正量決定部９５の詳細な機能的構成例を説明する前に、図１５のフローチャートを参照して、ALTI部８１の処理について説明する。

ステップＳ２１において、ALTI部８１は、注目画素を設定する。

ステップＳ２２において、ALTI部８１のDL部乃９１−１乃至９１−ｎは、注目画素の入力画素値Ｎを中心に、その前後の入力画素値をｎ個取得する。

ステップＳ２３において、ALTI部８１の平均値算出部９２は、上述したように、注目画素の平均画素値Ｎａを算出して、補正量決定部９５に供給する。

ステップＳ２４において、ALTI部８２の平均値算出部９３は、上述したように、左方画素の平均画素値Ｌａを算出して、補正量決定部９５に供給する。

ステップＳ２５において、ALTI部８２の平均値算出部９４は、上述したように、右方画素の平均画素値Ｒａを算出して、補正量決定部９５に供給する。

なお、図１２から明らかなように、平均値算出部９２乃至９４のそれぞれは、他とは独立して処理を実行する。従って、ステップＳ２３乃至Ｓ２５の処理の順番は、図１５の例に限定されず任意の順番でよい。即ち、実際には、ステップＳ２３乃至Ｓ２５のそれぞれの処理は、他とは独立して並行して実行される。

ステップＳ２６において、ALTI部８２の補正量決定部９５は、DL部９１−(n/2)からの注目画素の入力画素値N、平均値算出部９３からの左方画素の平均画素値Ｌａ、および、平均値算出部９４からの右方画素の平均画素値Ｒａを利用して、補正量の２つの候補ADDL，ADDRを決定する。即ち、ステップＳ２６の処理とは、上述した候補決定処理をいう。補正量の候補ADDL，ADDRとは、後述する減算部１０１と減算部１０２とのそれぞれの出力信号をいう。なお、ステップＳ２６の候補決定処理や、補正量の候補ADDL，ADDRの詳細な説明については後述する。

ステップＳ２７において、補正量決定部９５は、平均値算出部９２からの注目画素の平均画素値Ｎａ、平均値算出部９３からの左方画素の平均画素値Ｌａ、および、平均値算出部９４からの右方画素の平均画素値Ｒａを利用して、調整量ｃを決定する。即ち、ステップＳ２７の処理とは、上述した調整量決定処理をいう。調整量ｃとは、後述する調整量算出部１０９の出力信号をいう。なお、ステップＳ２７の調整量決定処理や調整量ｃの詳細な説明については後述する。

なお、詳細については後述するが、実際には、ステップＳ２６とＳ２７のそれぞれの処理は、他とは独立して並行して実行される。即ち、ステップＳ２６とＳ２７との処理の順番は、図１５の例に限定されず任意の順番でよい。

ステップＳ２８において、補正量決定部９５は、調整量ｃを用いて候補ADDL，ADDRのそれぞれの値を調整する。以下、かかるステップＳ２８の処理を調整処理と称する。調整処理の詳細については後述する。

ステップＳ２９において、補正量決定部９５は、調整量ｃにより値が調整された候補ADDL，ADDRと、０との中から所定の１つを、所定の判別条件に従って補正量ADDとして決定し（選抜し）、加算部９６に供給する。以下、かかるステップＳ２９の処理を補正量選抜処理と称する。補正量選抜処理の詳細（判別条件等含む）については後述する。

ステップＳ３０において、ALTI部８１の加算部９６は、注目画素の入力画素値Nに対して補正量ADDを加算し、その加算値を、注目画素の出力画素値として外部の加算部８２に出力する。

ステップＳ３１において、ALTI部８１は、全ての画素について処理が終了したか否かを判定する。

ステップＳ３１において、全ての画素について処理がまだ終了していないと判定された場合、処理はステップＳ２１に戻され、それ以降の処理が繰り返される。即ち、今度は、別の画素が注目画素に設定されて、その注目画素の入力画素値Nに対して補正量ADDが加算され、その加算値が、注目画素の出力画素値として外部の加算部８２に出力される。なお、当然ながら、画素値Ｎと補正量ADDとのそれぞれは、各画素毎に異なる値になることが多い。

このようにして、全ての画素が注目画素に設定され、その都度、上述したステップＳ２１乃至Ｓ３１のループ処理が繰り返し実行されると、ステップＳ３１において、全ての画素について処理が終了したと判定されて、ALTI部８１の処理は終了になる。

なお、ALTI部８１は、図１の撮像ボケ抑制処理部１３の一構成要素であるので、上述した図１５のALTI部８１の処理は、上述した図３のステップＳ４の処理の一部として実行されることになる。

以上説明したように、補正量決定部９５は、ステップＳ２６乃至Ｓ２９の処理を実行する。そこで、以下、図１２に戻って、補正量決定部９５の詳細な機能的構成例を説明しつつ、ステップＳ２６乃至Ｓ２９の処理の詳細についても併せて説明していく。

図１２に示されるように、補正量決定部９５には、加算部１０１と加算部１０２とが、上述した図１５のステップＳ２６の候補決定処理を実行するために設けられている。換言すると、減算部１０１と減算部１０２とから構成される候補決定部１２１が、ステップＳ２６の候補決定処理を実行する。

減算部１０１は、平均値算出部９３からの左方画素の平均画素値Ｌａと、DL部９１−(n/2)からの注目画素の入力画素値Nとの差分値（＝Ｌａ―Ｎ）を算出し、その差分値を補正量の候補ADDLとして、乗算部１１０に供給する。

なお、後述するように、この補正量の候補ADDLが調整されずに（調整量c＝１が乗算されて）そのまま補正量ADDとして決定された場合には、加算部９６において、注目画素の入力画素値Nに対してこの補正量ADD（＝Ｌａ−Ｎ）が加算され、その加算値（＝Ｌａ）が外部に出力されることになる。即ち、この補正量の候補ADDL（＝Ｌａ―Ｎ）がそのまま補正量ADDとして利用された場合には、注目画素の画素値は、元の画素値Ｎから、左方画素の平均画素値Ｌａに補正される（置き換えられる）ことになる。

減算部１０２は、平均値算出部９４からの右方画素の平均画素値Ｒａと、DL部９１−(n/2)からの注目画素の入力画素値Nとの差分値（＝Ｒａ―Ｎ）を算出し、その差分値を補正量の候補ADDRとして、乗算部１１１に供給する。

なお、後述するように、この補正量の候補ADDRが調整されずに（調整量c＝１が乗算されて）そのまま補正量ADDとして決定された場合には、加算部９６において、注目画素の入力画素値Nに対してこの補正量ADD（＝Ｒａ−Ｎ）が加算され、その加算値（＝Ｒａ）が外部に出力されることになる。即ち、この補正量の候補ADDR（＝Ｒａ―Ｎ）がそのまま補正量ADDとして利用された場合には、注目画素の画素値は、元の画素値Ｎから、右方画素の平均画素値Ｒａに補正される（置き換えられる）ことになる。

また、図１２に示されるように、補正量決定部９５には、減算部１０３乃至調整量算出部１０９が、上述した図１５のステップＳ２７の調整量決定処理を実行するために設けられている。換言すると、減算部１０３乃至調整量決定部１０９から構成される調整量決定部１２２が、ステップＳ２７の調整量決定処理を実行する。

減算部１０３は、平均値算出部９２からの注目画素の平均画素値Ｎａと、平均値算出部９３からの左方画素の平均画素値Ｌａとの差分値（＝Ｎａ−Ｌａ）を算出し、その差分値を加算部１０５に供給する。

減算部１０４は、平均値算出部９２からの注目画素の平均画素値Ｎａと、平均値算出部９４からの右方画素の平均画素値Ｒａとの差分値（＝Ｎａ−Ｒａ）を算出し、その差分値を加算部１０５に供給する。

加算部１０５は、減算部１０３と減算部１０４とのそれぞれの出力信号の和を算出し、その算出結果をABS部１０６に出力する。

ABS部１０６は、加算部１０５の出力信号の絶対値ｂを算出し、その絶対値ｂを除算部１０８に供給する。

換言すると、画素値が縦軸とされて横方向の画素位置が横軸とされた平面上において、左方画素の平均画素値Ｌａを示す第１の点、注目画素の平均画素値Ｎａを示す第２の点、および右方画素の平均画素値Ｒａを示す第３の点をその順番で結ぶ線の第２の点における２次微分値が、減算部１０３、減算部１０４、および加算部１０５により演算される。そして、その２次微分値の絶対値ｂがABS部１０６により演算されて、除算部１０８に供給される。従って、以下、ABS部１０６から出力される絶対値ｂを、２次微分絶対値ｂと称する。

２次微分絶対値ｂは、先の平面において、左方画素の平均画素値Ｌａを示す第１の点と右方画素の平均画素値Ｒａを示す第３の点とを結ぶ直線を境界線とした場合に、注目画素の平均画素値Ｎａを示す第２の点は境界線から縦軸方向にどの程度離間しているのかを示す値である。

そこで、補正量決定部９５が、２次微分絶対値ｂの大きさに応じて、補正量の候補ADDL，ADDRの値をそれぞれ調整し、調整後の候補ADDL，ADDRのうちの何れか一方を補正量ADDとして決定するようにすれば、即ち、加算部９６が、注目画素の入力画素値Nと、２次微分絶対値ｂの大きさに応じて調整された補正量ADDとの加算値を注目画素の出力画素値として出力するようにすれば、その加算部９６の出力信号（処理対象のフレーム）のうちのエッジ部分をソフトに立たせることが可能になる。

ただし、２次微分絶対値ｂが同一の大きさであったとしても、左方画素の平均画素値Ｌａと右方画素の平均画素値Ｒａとの差分の絶対値ｈ、即ち、先の平面における縦軸方向の第１の点と第３の点との間の距離ｈ（以下、高さｈと称する）が異なると、２次微分絶対値ｂの大きさの意味合いも自ずと変わってくる。即ち、２次微分絶対値ｂが同一の大きさであっても、その大きさが高さｈに比較して遥かに小さい場合には、換言すると、２次微分値ｂを高さｈで除算した除算値（＝b/h）が小さい場合には、注目画素近傍でノイズが発生している可能性が高いと判断できる。これに対して、２次微分絶対値ｂが同一の大きさであっても、その大きさが高さｈに比較してさほど小さくない場合には、換言すると、上述した除算値（＝b/h）がある程度の大きさ以上である場合には、注目画素近傍でノイズが発生している可能性は低いと判断できる。

従って、２次微分絶対値ｂの単なる大きさに応じて、候補値ADDL，ADDRの値が調整されてしてしまうと、注目画素の入力画素値Nの補正量ADDは、ノイズが発生している場合でも発生していない場合でも同一の値となってしまい、注目画素の入力画素値Nの適切な補正ができなくなる、という新たな課題が生じてしまう。

そこで、この新たな課題を解決すべく、本実施の形態の補正量決定部９５の調整量決定部１２２には、上述した減算部１０３乃至ABS部１０６に加えてさらに、差分絶対値算出部１０７、除算部（b/h演算部）１０８、および、調整量算出部１０９が設けられているのである。

差分絶対値算出部１０７は、平均値算出部９３からの左方画素の平均画素値Ｌａと、平均値算出部９４からの右方画素の平均画素値Ｒａとの差分値を算出し、さらに、その差分値の絶対値ｈ（ｈ＝｜Ｌａ−Ｎａ｜）、即ち上述した高さｈを算出し、その高さｈを除算部１０８に供給する。

除算部１０８は、ABS部１０６からの２次微分絶対値ｂを、差分絶対値算出部１０７からの高さｈで除算し、その除算値（＝b/h）を調整量算出部１０９に提供する。即ち、この除算値(=b/h)とは、２次微分絶対値ｂが高さｈにより正規化された値であるといえる。従って、以下、この除算値(=b/h)を、２次微分正規化値(=b/h)と称する。

調整量算出部１０９は、除算部１０８からの２次微分正規化値(=b/h)に基づいて、候補ADDL，ADDRについての調整量ｃを算出し、乗算部１１０と乗算部１１１とに供給する。

詳細には例えば、調整量算出部１０９は、図１６の曲線１５１で示される特性の関数を保持しており、除算部１０８からの２次微分正規化値(=b/h)を入力パラメータとしてその関数に代入して、その関数の出力（図１６の出力）を調整量ｃとして乗算部１１０と乗算部１１１とに供給する。

即ち、図１６の曲線１５１の形状から容易にわかることであるが、２次微分正規化値(=b/h)がある一定値b1よりも小さい場合には、ノイズの可能性が大であるとして、調整量ｃ（出力）は０になる。この場合、後述するように、候補ADDL，ADDRは、調整量ｃとして０がそれぞれ乗算されて調整されることになるので、調整後の候補ADDL，ADDRは何れも０になる。従って、補正量ADDも０になり、注目画素の入力画素値Nは補正されないことになる。

また、２次微分正規化値(=b/h)がその一定値b1を超えて大きくなっていくと、調整量ｃ（出力）も徐々に大きくなっていく。この場合、後述するように、候補ADDL，ADDRのそれぞれは、１未満の調整量ｃがそれぞれ乗算されて調整されることになるので、調整後の候補ADDL，ADDRは何れも元の値より小さくなる。従って、補正量ADDは、元の値より小さくなった候補ADDL，ADDRのうちの何れか一方になり、注目画素の補正後の画素値は、左方画素の平均画素値Ｌａよりも大きくなるか、或いは、右方画素の平均画素値Ｒａよりも小さくなる。

さらに、２次微分正規化値(=b/h)がある一定値b2以上になると、それ以降、調整量ｃ（出力）は１になる。この場合、後述するように、候補ADDL，ADDRのそれぞれは、調整量ｃとして１がそれぞれ乗算されて調整されることになるので、調整後の候補ADDL，ADDRは何れも元の値のままになる（即ち、調整されない）。従って、補正量ADDは、元の値のままの候補ADDL，ADDRのうちの何れか一方になり、上述したように、注目画素の補正後の画素値は、左方画素の平均画素値Ｌａになるか、或いは、右方画素の平均画素値Ｒａになる。

このように、本実施の形態では、２次微分正規化値(=b/h)をパラメータとして入力する、図１６の線１５１で示される特性の関数を利用して調整量ｃが決定されるので、その調整量ｃを用いて補正量ADDを調整することで（正確には、補正量の候補ADDL，ADDRを調整することで）、加算部９６の出力信号（処理対象のフレーム）のうちのエッジ部分をソフトに立たせることが可能になる。即ち、従来のLTIでは、ハードスイッチでの切り替え（画素値の単なる置き換え）により注目画素の画素値が補正されていたために、その出力信号のうちのエッジ部分をソフトに立たせることができないという課題があったが、本実施の形態のALTI部８１を採用することで、この課題を解決することが可能になる。

図１２に戻り、補正量決定部９５の詳細な説明を引き続き行う。即ち、補正量決定部９５には、乗算部１１０と乗算部１１１とが、上述した図１５のステップＳ２８の調整処理を実行するために設けられている。換言すると、乗算部１０１と乗算部１１１とから構成される調整部１２３が、ステップＳ２８の調整処理を実行する。

乗算部１１０は、減算部１０１からの候補ADDLに対して、調整量算出部１０９からの補正量cを乗算し、その乗算値を、調整後の候補ADDLとして判別部１１３に供給する。

乗算部１１１は、減算部１０２からの候補ADDRに対して、調整量算出部１０９からの補正量cを乗算し、その乗算値を、調整後の候補ADDRとして判別部１１３に供給する。

また、補正量決定部９５には、固定値発生部１１２と判別部１１３とが、上述した図１５のステップＳ２９の補正量選抜処理を実行するために設けられている。換言すると、固定値発生部１１２と判別部１１３とから構成される補正量選抜部１２４が、ステップＳ２９の補正量選抜処理を実行する。

本実施の形態では、固定値発生部１１２は、図１２に示されるように「０」を常時発生して、判別部１１３に供給する。

判別部１１３には、減算部１０３、減算部１０４、加算部１０５、乗算部１１０、乗算部１１１、および固定値発生部１１２の各出力信号が供給される。そこで、判別部１１３は、減算部１０３、減算部１０４、および加算部１０５の出力信号を利用する所定の選抜条件に基づいて、固定値発生部１１２からの「０」、乗算部１１０からの補正後の候補ADDL、および、乗算部１１１からの補正後の候補ADDRのうちの所定の１つを、補正量ADDとして選抜し（決定し）、加算部９６に供給する。

具体的には例えば、画素値が縦軸とされ横方向の画素位置が横軸とされた上述した平面上において、左方画素の平均画素値Ｌａを示す第１の点と右方画素の平均画素値Ｒａを示す第３の点とを結ぶ直線が境界線とされて、その境界線の変化方向が上向きであって、注目画素の平均画素値Ｎａを示す第２の点が境界線よりも上側に配置されている場合、補正後の候補ADDRを補正量ADDとして選抜することが、本実施の形態の選抜条件として規定されているとする。これに対して、境界線の変化方向が上向きであって、第２の点が境界線よりも下側に配置されている場合、補正後の候補ADDLを補正量ADDとして選抜することが、本実施の形態の選抜条件として規定されているとする。

この場合、判別部１１３は、減算部１０３、減算部１０４、および加算部１０５の出力信号に基づいて、境界線の変化方向や、境界線と第２の点との位置関係を認識することができる。

そこで例えば、判別部１１３は、減算部１０３、減算部１０４、および加算部１０５の出力信号に基づいて、境界線の変化方向が上向きであって、第２の点が境界線よりも上側に配置されていると認識した場合には、乗算部１１１からの補正後の候補ADDRを、補正量ADDとして選抜し（決定し）、加算部９６に供給する。

これに対して例えば、判別部１１３は、減算部１０３、減算部１０４、および加算部１０５の出力信号に基づいて、境界線の変化方向が上向きであって、第２の点が境界線よりも下側に配置されていると認識した場合には、乗算部１１０からの補正後の候補ADDLを、補正量ADDとして選抜し（決定し）、加算部９６に供給する。

また例えば、注目画素がエッジ部分以外の場所に位置している場合、０を補正量ADDとして選抜することが、本実施の形態の選抜条件として規定されているとする。この場合、判別部１１３は、例えば、判別部１１３は、減算部１０３、減算部１０４、および加算部１０５の出力信号の何れもが略０であることを認識したとき、即ち、左方画素の平均画素値Ｌａ、注目画素の入力画素値N、および、右方画素の平均画素値Ｒｃがほぼ同一値のとき等、注目画素がエッジ部分以外の場所に位置すると認識して、固定値発生部１１２からの「０」を、補正量ADDとして選抜して（決定して）、加算部９６に供給する。

以上、ALTI部８１の実施の形態として、図１２の機能的構成のALTI部８１について説明したが、ALTI部８１の機能的構成は、上述した一連の処理と等価な処理を実行可能であれば、何れの機能的構成でもよい。具体的には例えば、ALTI部８１は、図１７に示される機能的構成を有するようにしてもよい。即ち、図１７は、ALTI部８１の図１２とは異なる詳細な機能的構成例を示している。

図１７の例では、ALTI部８１は、マスキング信号生成部１６１、LTI処理部１６２、および、平均化部１６３により構成されている。

マスキング信号生成部１６１は、フィルタ部２２の出力信号を、自分自身の入力信号として、その入力信号のうちの処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定する。マスキング信号生成部１６１は、注目画素から移動速度の半分に相当する画素数分を注目画素の左右にサーチさせ、移動速度に相当する画素数分の画素値を示す各信号に対してマスキング処理を施す。なお、注目画素における移動速度は、上述したように、撮像ボケ特性検出部１２から供給される。マスキングされた各信号は、マスキング信号生成部１６１からLTI処理部１６２に供給される。

LTI処理部１６２は、マスキングされた各信号に対してLTI処理を施して、その結果得られる信号を出力信号として平均化部１６３に供給する。

平均化部１６３は、LTI処理部１６２の出力信号のうちの、マスキング信号生成部１６１によるサーチ回数と同一数分の信号の平均を取り、その結果得られる信号をALTI部８１の出力信号として、外部の加算部８２に供給する。

以上、図１２乃至図１７を参照して、図１１の撮像ボケ補償部２３のうちのALTI部８１の詳細について説明した。

次に、図１８と図１９とを参照して、図１１の撮像ボケ補償部２３のうちのゲイン制御部８３の詳細について説明する。

図１８は、ゲイン制御部８３の詳細な機能的構成例を示している。図１９は、図１８のゲイン制御部８３のうちの後述する調整量決定部１７１の特性を示している。

図１８の例では、ゲイン制御部８３は、調整量決定部１７１、および、乗算部１７２により構成されている。

調整量決定部１７１は、図１９の曲線１８１で示される関数を保持しており、撮像ボケ特性検出部１２から供給された注目画素における移動速度を入力パラメータとしてその関数に代入して、その関数の出力（図１９の出力）を調整量として乗算部１７２に供給する。換言すると、調整量決定部１７１は、図１９の曲線１８１で示される特性を有している。

乗算部１７２には、調整量決定部１７１からの調整量の他、加算部８２の出力信号も供給される。加算部８２の出力信号は、上述した図１１の機能的構成から明らかなように、加算部８４において、撮像ボケ補償部２３にとっての注目画素の入力画素値に対して加算される最終的な補正量の候補である。即ち、乗算部１７２は、この最終的な補正量の候補に対して、調整量決定部１７１からの調整量を乗算し、その乗算値を、最終的な調整量として加算部８４に供給する。

即ち、図１９の線１８１の形状と撮像ボケ補償部２３の図１１の機能的構成とから容易にわかることであるが、ゲイン制御部８３は、移動速度が小さい時にALTI部８１の処理結果（以下、ALTIと称する）が注目画素の画素値の最終的な補正量に余り影響を及ぼさないようにコントロールしている。移動速度が小さい時には撮像ボケによるゲインの劣化が少なく、減衰したゲインを図５や図８のフィルタ部２２で持ち上げるだけでよいからである。即ち、フィルタ部２２の出力信号を、それに対してあまり補正を加えずにそのまま、撮像ボケ補償部２３の最終的な出力信号として出力されればよいからである。

以上、図５乃至図１９を参照して、図１の画像処理装置１のうちの撮像ボケ抑制処理部１３の一例について説明した。

ただし、撮像ボケ抑制処理部１３の機能的構成は、上述した図５の例に限定されず、様々な実施の形態を取ることが可能である。具体的には例えば、図２０と図２１とは、本発明が適用される撮像ボケ抑制処理部１３の機能的構成例であって、図５の例とは異なる２つの例のそれぞれを示している。

図２０の例では、撮像ボケ抑制処理部１３は、図５の例と同様に、高成分除去部２１、フィルタ部２２、および、撮像ボケ補償部２３により構成されている。

図２０の例でも、図５の例と同様に、高フレームレート変換部１１の出力信号は、撮像ボケ抑制処理部１３にとっての入力信号として、高域成分除去部２１に供給される。また、撮像ボケ特性検出部１２の出力信号は、フィルタ部２２と撮像ボケ補償部２３とのそれぞれに供給される。

ただし、図２０の例では、高域成分除去部２１の出力信号は撮像ボケ補償部２３に供給される。撮像ボケ補償部２３の出力信号はフィルタ部２２に供給される。フィルタ部２２の出力信号が、撮像ボケ抑制処理部１３の最終的な処理結果を示す出力信号として外部に出力される。

換言すると、図２０の例では、フィルタ部２２と撮像ボケ補償部２３との配置位置が、図５の例の配置位置と逆になっている。即ち、フィルタ部２２と撮像ボケ補償部２３との配置位置の順番（処理の順番）は、特に限定されず、何れが先になってもよい。

また、図２１の例では、図５や図２０の例と同様に、撮像ボケ抑制処理部１３には、高成分除去部２１、フィルタ部２２、および、撮像ボケ補償部２３が設けられており、さらにそれらの機能ブロックに加えて、加算部２４も設けられている。

図２１の例でも、図５や図２０の例と同様に、高フレームレート変換部１１の出力信号は、撮像ボケ抑制処理部１３にとっての入力信号として、高域成分除去部２１に供給される。また、撮像ボケ特性検出部１２の出力信号は、フィルタ部２２と撮像ボケ補償部２３とのそれぞれに供給される。

ただし、図２１の例では、高域成分除去部２１の出力信号は、フィルタ部２２と撮像ボケ補償部２３とのそれぞれに供給される。フィルタ部２２と撮像ボケ補償部２３とのそれぞれの出力信号は加算部２４に供給される。加算部２４は、フィルタ部２２の出力信号と撮像ボケ補償部２３の出力信号との加算を取り、その結果得られる加算信号を、撮像ボケ抑制処理部１３の最終的な処理結果を示す出力信号として外部に出力する。

換言すると、フィルタ部２２と撮像ボケ補償部２３との配置位置は、図５や図２０の例では直列配置とされていたが図２１の例では並列配置とされている。即ち、フィルタ部２２と撮像ボケ補償部２３との配置は、直列配置でもよいし並列配置でもよい。ただし、フィルタ部２２と撮像ボケ補償部２３との両者が仮にラインメモリを使用する場合には、図２１の例のようにフィルタ部２２と撮像ボケ補償部２３とを並列配置にすることで、ラインメモリを共有できることになり、その結果、回路規模(ラインメモリ分)を削減できる、という効果を奏することが可能になる。

以上説明したように、撮像時における動物体のボケ（撮像ボケ）を画像処理により改善する際に、従来技術では静止状態やボケ量の度合いに関わらず一様に処理をしていた。これに対して、本発明においては、例えば上述した撮像ボケ抑制処理部１３を利用することで、移動ベクトル（移動速度）を算出し動画像の状態に応じてエンハンス量を変えるため、リンギングを発生させずに、ボケを改善することができる。また、従来のLTIではハードスイッチで信号を切り替えていたために処理画像の破綻が多かったが、上述した撮像ボケ抑制処理部１３は、ALTI部８１をその構成要素として有しているので、ソフトに信号を切り替えることができ、その結果、処理画像の破綻を抑制することができる。

なお、上述した例では、説明の簡略上、移動ベクトルの方向（移動方向）が横方向とされたが、移動方向がその他の方向であっても、撮像ボケ抑制処理部１３は、上述した一連の処理と基本的に同様の処理を行うことができる。即ち、撮像ボケ抑制処理部１３は、移動方向がいずれの場合であっても、撮像ボケを抑制するように、注目画素の画素値を同様に補正することができる。具体的には例えば、図１２の機能的構成のALTI部８１については、注目画素を中心にして、移動方向（例えば縦方向）に連続して並ぶｎ個の画素の各画素値を、その配置順番で順次DL部９１−１に入力させていくだけでよい。その他の機能ブロックについても同様である。

ところで、撮像ボケ抑制処理部１３は、各画素値の補正を行う際、上述した例では、移動速度（移動ベクトルの絶対値）をパラメータとして使用したが、この移動速度の他、撮像ボケの特性を示すパラメータであれば任意のパラメータを使用することができる。

具体的には例えば、撮像ボケ抑制処理部１３は、撮像ボケの特性を示すパラメータとして、処理対象の動画像を撮影した時点のカメラのシャッタ速度を利用することができる。なぜならば、例えば図２２に示されるように、シャッタ速度が違うと同図中の時間Ts分だけ撮像ボケの度合いも異なるからである。

即ち、図２２において、上側の図は、シャッタ速度がフレーム速度と同一の1/30秒である場合の図を示しており、下側の図は、シャッタ速度がフレーム速度よりも早い（1/30-Ts）秒である場合の図を示している。図２２の両図とも、横軸は時間軸を表しており、縦軸はシャッタ開口時間の割合を表している。シャッタ開口時間の割合とは、例えば、シャッタ速度をＶａ［秒］（Ｖａは、０以上の任意の値）とし、シャッタが開口された第１の時刻の割合を０％とし、第１の時刻からＶ［秒］が経過してシャッタが閉じる第２の時刻の割合を１００％とし、かつ、第１の時刻から現時刻までの時間Ｔａ［秒］（Ｔａは、０以上Ｖ以下の任意の正値）とした場合に、（Ｔｓ/Ｖｓ）×１００［％］で示される割合である。この場合、図１１の両図の縦軸において、時間軸と接する値が１００[％]になり、最大値（各直線の最上位の値）が０［％］になる。即ち、図２２の両図の縦軸においては、下方にいく程、シャッタ開口時間の割合は大きくなっていくのである。

例えばいま、カメラの１つの検出素子が、フレーム内の１つの画素に対応しているとする。この場合、図２２の上側の図に示されるように、シャッタ速度が1/30秒であるときには、カメラの１つの検出素子からは、シャッタが開口している1/30秒間に入射された光の積分値が、対応する画素の画素値として出力される。これに対して、シャッタ速度が（1/30-Ts）秒である場合には、カメラの１つの検出素子からは、シャッタが開口している（1/30-Ts）秒間に入射された光の積分値が、対応する画素の画素値として出力される。

即ち、シャッタ速度は、検出素子における光の蓄積時間（露光時間）に対応している。従って、例えば、実空間において所定の検出素子の前を横切って移動するオブジェクトが存在する場合、シャッタ速度が（1/30-Ts）秒のときよりも1/30秒のときの方が、その検出素子には、オブジェクトに対応する光とは異なる光、例えば、背景の光が時間Ｔs［秒］分だけ多く入射されてしまうことになる。これにより、シャッタ速度が（1/30-Ts）秒のときよりも1/30秒のときの方が、１つの検出素子から出力される画素値の中に、オブジェクトとは異なる背景等の光の蓄積値が混合される割合が多くなってしまう。その結果、撮像ボケの度合いが大きくなってしまう。

以上の内容をまとめると、シャッタ速度が遅くなればなるほど、撮像ボケの度合いが大きくなる。即ち、シャッタ速度は、撮像ボケの一特性を示していると言える。従って、シャッタ速度も、移動速度と同様に、撮像ボケの特性を示すパラメータとして利用することが可能である。

なお、このようなシャッタ速度が、撮像ボケの特性を示すパラメータとして利用される場合には、図１の撮像ボケ特性検出部１２は、例えば、高フレームレート変換部１１から供給された動画像（データ）に付加されているヘッダ情報などを解析することで、各フレームのシャッタ速度を検出し、それらを撮像ボケの特性を示すパラメータとして、撮像ボケ抑制処理部１３に供給することができる。撮像ボケ抑制処理部１３は、例えば、移動速度の代わりにこのシャッタ速度を利用して上述した一連の処理を実行することで、各画素値を適切に補正することができる。このシャッタ速度を利用する場合の撮像ボケ抑制処理部１３の機能的構成は、移動速度を利用する場合のそれと基本的に同様とすることができる。即ち、上述した図５乃至図１９で説明した撮像ボケ抑制処理部１３であれば、シャッタ速度をパラメータ値として利用して上述した一連の処理を実行することで、各画素値を適切に補正することができる。

以上、本発明が適用される画像処理装置の実施の形態として、図１に示される機能的構成を有する画像処理装置１について説明したが、本発明は、図１の例に限定されず、その他様々な実施の形態を取ることが可能である。

具体的には例えば、図２３乃至図２６のそれぞれには、本発明が適用される画像処理装置の他の実施の形態の機能ブロック図が示されている。

例えば、図２３の画像処理装置２０１は、図１の画像処理装置１と同様に、高フレームレート変換部１１、撮像ボケ特性検出部１２、および、撮像ボケ抑制処理部１３から構成される。

ただし、図２３の画像処理装置２０１においては、撮像ボケ抑制処理部１３の補正処理の対象は、画像処理装置２０１の入力動画像、即ち、高フレームレート変換部１１により高フレームレート変換処理が施される前の動画像である。このため、撮像ボケ特性検出部１２も、高フレームレート変換部１１により高フレームレート変換処理が施される前の動画像の中から、撮像ボケの特性を示すパラメータの値を検出し、その検出結果を撮像ボケ抑制処理部１３に供給している。

従って、図２３の画像処理装置２０１の画像処理は、図３の画像処理のうちの、ステップＳ１、Ｓ３、Ｓ４、Ｓ２、およびＳ５のそれぞれの処理がその順番で実行される処理となる。

また、例えば、図２４の画像処理装置２０２は、図１の画像処理装置１や図２３の画像処理装置２０１と同様に、高フレームレート変換部１１、撮像ボケ特性検出部１２、および、撮像ボケ抑制処理部１３から構成される。

この図２４の画像処理装置２０２においては、撮像ボケ抑制処理部１３の補正処理の対象は、図１の画像処理装置１と同様に、入力動画像に対して高フレームレート変換処理が高フレームレート変換部１１により施された結果得られる動画像である。即ち、撮像ボケ抑制処理部１３は、高フレームレート変換処理が施された後の動画像に対して補正処理を施す。

ただし、図２４の画像処理装置２０２の撮像ボケ特性検出部１２は、入力動画像の中から、即ち、高フレームレート変換部１１により高フレームレート変換処理が施される前の動画像の中から、撮像ボケの特性を示すパラメータを検出し、その検出結果を撮像ボケ抑制処理部１３に供給している。即ち、図２４の画像処理装置２０２の撮像ボケ抑制処理部１３は、高フレームレート変換処理が施される前の動画像の中から検出されたパラメータの値を利用して、各画素値を補正している。

以上のことから、図２４の画像処理装置２０２の画像処理も、図３の画像処理と同様の流れで実行される処理、即ち、ステップＳ１、Ｓ２、Ｓ３、Ｓ４、およびＳ５のそれぞれの処理がその順番で実行される処理となる。ただし、ステップＳ３の処理は、「高フレームレート変換処理が施される前の動画像、即ち、ステップＳ１の処理で入力された動画像を構成する各フレームのそれぞれの中から、撮像ボケの特性を示すパラメータの値を検出する」という処理になる。

このような図２３の画像処理装置２０１と図２４の画像処理装置２０２とに対して、図２５の画像処理装置２１２と図２６の画像処理装置２３１とは、高フレームレート変換部１１と撮像ボケ抑制処理部１３とから構成され、撮像ボケ特性検出部１２はその構成要素に含んでいない。

即ち、図２５と図２６に示されるように、撮像ボケ特性検出部１２は、他の画像処理装置２１１（以下、図面の記載にあわせて、画像信号生成装置２１１と称する）内に重畳部２２１とともに設けられている。この画像信号生成装置２１１に入力された動画像は、撮像ボケ特性検出部１２と重畳部２２１とに供給される。撮像ボケ特性検出部１２は、この動画像の中から、撮像ボケの特性を示すパラメータの値を検出し、重畳部２２１に供給する。重畳部２２１は、この動画像に対して、撮像ボケの特性を示すパラメータの値を重畳し、その結果得られる信号を出力する。

従って、図２５の画像処理装置２１２と図２６の画像処理装置２３１には、撮像ボケの特性を示すパラメータの値が重畳された動画像（信号）が画像信号生成装置２１１から供給されてくる。

そこで、例えば、図２５の画像処理装置２１２では、撮像ボケ抑制処理部１３が、撮像ボケの特性を示すパラメータの値と動画像とを分離して、分離された動画像を構成する各フレームのそれぞれについて、分離された撮像ボケの特性を示すパラメータの値に基づいて各画素値を補正する。

次に、高フレームレート変換部１１が、撮像ボケ抑制処理部１３により補正された動画像に対して高フレームレート変換処理を施し、その結果得られる動画像、即ち、高フレームレートに変換され、かつ補正がなされた動画像を出力する。

以上のことから、図２５の画像処理装置２１２の画像処理は、図３の画像処理のうちの、ステップＳ１、Ｓ４、Ｓ２、およびＳ５のそれぞれの処理がその順番で実行される処理となる。

これに対して、例えば、図２６の画像処理装置２３１では、高フレームレート変換部１１が、撮像ボケの特性を示すパラメータの値と動画像とを分離して、分離された動画像に対して高フレームレート変換処理を施し、その結果得られる動画像、即ち、高フレームレートに変換された動画像を撮像ボケ抑制処理部１３に供給する。このとき、高フレームレート変換部１１により分離された撮像ボケの特性を示すパラメータの値も、撮像ボケ抑制処理部１３に供給される。

次に、撮像ボケ抑制処理部１３が、高フレームレートに変換された動画像を構成する各フレームのそれぞれについて、撮像ボケの特性を示すパラメータの値に基づいて各画素値を補正し、その結果得られる動画像、即ち、補正がなされ、かつ高フレームレートに変換された動画像を出力する。

ところで、上述した撮像ボケ抑制処理部１３についての説明を行う際、説明の簡略上、移動方向（移動ベクトルの方向）は横方向であるとし、それ故、注目画素に対してフィルタや補正等の上述した各種処理を施す場合に利用する画素もまた、注目画素の横方向に隣接する画素が利用された。なお、注目画素の所定の方向に隣接する画素が利用される処理を、その所定の方向の処理と称する。即ち、上述した例では、横方向の処理が対象とされた。

しかしながら、上述したように、移動方向は、２次元平面上の何れの方向ともなり得、撮像ボケ抑制処理部１３は、当然ながら、２次元平面上の何れの方向が移動方向になった場合でも、例えば垂直方向になった場合でも、上述した各種処理を全く同様に実行することが可能である。ただし、移動方向が垂直方向の場合の処理（または、移動方向が斜め方向の場合の処理であって、垂直方向の処理と水平方向の処理との組み合わせ処理）を行うためには、撮像ボケ抑制処理部１３として、上述した図５の構成の代わりに例えば図２７の構成を、上述した図２０の構成の代わりに例えば図２８の構成を、上述した図２１の構成の代わりに例えば図２９の構成を、それぞれ採用する必要がある。

即ち、図２７乃至図２９は、本発明が適用される撮像ボケ抑制処理部１３の機能的構成例であって、上述した各例とはさらに異なる３つの例のそれぞれを示している。

図２７、図２８、および図２９のそれぞれにおいて、図５、図２０、および図２１のそれぞれと対応する部分（ブロック）には対応する符号を付しており、それらの説明については同様の説明となるため、ここでは省略する。

図２７の例の撮像ボケ抑制処理部１３では、図５例の構成に対して、垂直方向の処理を可能にすべくさらに、フィルタ部２２の前段にラインメモリ２６１−１が設けられ、また、撮像ボケ補償部２３の前段にラインメモリ２６１−２が設けられている。

同様に、図２８の例の撮像ボケ抑制処理部１３では、図２０例の構成に対して、垂直方向の処理を可能にすべくさらに、撮像ボケ補償部２３の前段にラインメモリ２６１−１が設けられ、また、フィルタ部２２の前段にラインメモリ２６１−２が設けられている。

一方、図２９の例の撮像ボケ抑制処理部１３では、図２１例の構成に対して、垂直方向の処理を可能にすべくさらに、撮像ボケ補償部２３とフィルタ部２２との前段に、共通のラインメモリ２６１がひとつだけ設けられている。

このように、図２９の例の撮像ボケ抑制処理部１３を採用することで、図２７や図２８の構成例のものを採用した場合と比較して、その撮像ボケ抑制という効果を落とすことなく、ラインメモリ数を削減することが可能になる。即ち、撮像ボケ抑制処理部１３の構成として、図２９の例の構成を採用することで、図２７や図２８の例の構成を採用した場合と比較して、その回路規模の削減を図ることが可能になり、ひいては図１の画像処理装置１の回路規模の削減を図ることが可能になる。

ところで、上述した一連の処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。

この場合、図１の画像処理装置１全体若しくはその一部分（例えば、撮像ボケ抑制処理部１３等）、図２３の画像処理装置２０１全体若しくはその一部分、図２４の画像処理装置２０２全体若しくはその一部分、図２５の画像処理装置２１２全体若しくはその一部分、および、図２６の画像処理装置２３１全体若しくはその一部分は、例えば、図３０に示されるようなコンピュータで構成することができる。

図３０において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記録されているプログラム、または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。

入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、および、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネットを含むネットワークを介して他の装置との通信処理を行う。

入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体３１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図３０に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０２や、記憶部３０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。

さらにまた、上述の各種実施の形態で実行される高フレームレート変換処理において、入力映像信号の第１のフレームレート（フレーム周波数）と、出力映像信号の第２のフレームレート（フレーム周波数）との組み合わせは、特に限定されず任意の組み合わせで良い。具体的には例えば、入力映像信号の第１のフレームレートとして６０（または３０）〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとして１２０［Ｈｚ］を採用することができる。例えば、入力映像信号の第１のフレームレートとして６０（または３０）〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとして２４０［Ｈｚ］を採用することができる。例えば、入力映像信号の第１のフレームレートとして、ＰＡＬ（Phase Alternation by Line）方式に対応する５０〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとして１００〔Ｈｚ〕や２００〔Ｈｚ〕を採用することができる。例えば、入力映像信号の第１のフレームレートとして、テレシネに対応する４８〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとしてそれ以上の所定の周波数を採用することができる。

なお、このような既存のテレビジョン方式等に由来する入力映像信号に対して、上述の各種実施の形態における高フレームレート変換処理を施すことで、既存のコンテンツを高品位に表示することが可能になる。

本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。 人間の網膜上で形成される像のボケの周波数特性の一例を示す図である。 図１の画像処理装置が実行する画像処理の一例を説明するフローチャートである。 移動ベクトル（移動速度）に応じた撮像ボケの周波数特性の一例を示す図である。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の一例を示すブロック図である。 図５の撮像ボケ抑制処理部のうちの高域成分除去部の機能的構成の一例を示すブロック図である。 図６の高域成分除去部のうちの高域リミッタ部の特性の一例を示す図である。 図５の撮像ボケ抑制処理部のうちのフィルタ部の機能的構成の一例を示すブロック図である。 図８のフィルタ部のうちのゲイン制御部の機能的構成の一例を示すブロック図である。 図９のゲイン制御部のうちの調整量決定部の特性の一例を示す図である。 図５の撮像ボケ抑制処理部のうちの撮像ボケ補償部の機能的構成の一例を示すブロック図である。 図１１の撮像ボケ補償部のうちのALTI部の機能的構成の一例を示すブロック図である。 図１２のALTI部の処理対象の一例を示す図であって、注目画素からみて右方に連続して並ぶ画素群の画素値の平均を演算する場合における画素値の補正方法を説明する図である。 注目画素からみて右方に連続して並ぶ画素群の画素値の平均を演算する場合における画素値の補正方法の補足説明をする図である。 図１２のALTI部の処理の一例を説明するフローチャートである。 図１２のALTI部のうちの調整量算出部の特性の一例を示す図である。 図１１の撮像ボケ補償部のうちのALTI部の機能的構成の図１２とは異なる他の例を示すブロック図である。 図１１の撮像ボケ補償部のうちのゲイン制御部の機能的構成例を示すブロック図である。 図１８のゲイン調整部のうちの調整量決定部の特性の一例を示す図である。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図５とは異なる例を示すブロック図である。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図５と図２０とは異なる例を示すブロック図である。 カメラのシャッタ速度と、撮像ボケの特性とを説明する図である。 本発明が適用される画像処理装置の機能的構成の図１とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の図１と図２３とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の図１、図２３、および図２４とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の図１、図２３、図２４、および図２５とは異なる例を示すブロック図である。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の、図５、図２０、および図２１とは異なる例を示すブロック図である。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の、図５、図２０、図２１、および図２７とは異なる例を示すブロック図である。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の、図５、図２０、図２１、図２７、および図２８とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。

符号の説明

１ 画像処理装置， １１ 高フレームレート変換部， １２ 撮像ボケ特性検出部， １３ 撮像ボケ抑制処理部， ２１ 高域成分除去部, ２２ フィルタ部, ２３ 撮像ボケ補償部， ２４ 加算部， ３１ ハイパスフィルタ部， ３２ 高域リミッタ部， ３３ 減算部， ５１ 移動平均フィルタ部， ５２ 減算部， ５３ ゲイン制御部， ５４ 加算部， ６１−１乃至６１−ｎ DL部， ６２ MAX/MIN算出部， ６３ 減算部， ６４ 調整量決定部， ８１ ALTI部， ８２ 減算部， ８３ ゲイン制御部， ８４ 加算部， ９１−１乃至９１−ｎ DL部， ９２，９３，９４ 平均値算出部， ９５ 補正量決定部， ９６ 加算部乃， １０１乃至１０４ 減算部， １０５ 加算部， １０６ ABS部， １０７ 差分絶対値算出部, １０８ 除算部, １０９ 調整量算出部， １１０，１１１ 乗算部， １１２ 固定値発生部， １１３ 判別部， １２１ 候補決定部， １２２ 調整量決定部， １２３ 調整部， １２４ 補正量選抜部， １６１ マスキング信号生成部， １６２ LTI処理部， １６３ 平均化部， １７１ 調整量決定部， １７２ 乗算部， ２０１，２０２，２１２，２３１ 画像処理装置， ２６１，２６１−１，２６１−２ ラインメモリ， ３０１ ＣＰＵ， ３０２ ＲＯＭ， ３０３ ＲＡＭ， ３０８ 記憶部， ３１１ リムーバブル記録媒体

Claims (17)

1. 所定の撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出して取得するか、または外部から取得する画像処理装置であって、
   前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する複数の前記画素のそれぞれの画素値を補正する補正手段を備え、
   前記補正手段は、
   前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値を取得する取得手段と、
   前記パラメータの値のうちの前記注目画素に対応する値に基づいて、前記取得手段により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向側に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第１方向画素平均画素値として算出する第１の平均値算出手段と、
   前記パラメータの値のうちの前記注目画素に対応する前記値に基づいて、前記取得手段により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向とは逆方向の第２の方向側に位置する前記ｋ個の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第２方向画素平均画素値として算出する第２の平均値算出手段と、
   前記第１の平均値算出手段により算出された前記第１方向画素平均画素値、前記注目画素の入力画素値、および、前記第２の平均値算出手段により算出された前記第２方向画素平均画素値の３者の関係を利用して、前記注目画素の入力画素値を補正するための補正量を決定する補正量決定手段と、
   前記注目画素の入力画素値と、前記補正量決定手段により決定された前記補正量とを加算し、その結果得られる加算値を、前記注目画素の出力画素値として出力する第１の加算手段と
   を有することを特徴とする画像処理装置。
2. 前記画像処理装置は、
   前記取得手段により取得された前記入力画素値のうちの、前記注目画素とその近隣のｍ個（ｍは１以上の整数値）の画素のそれぞれの入力画素値の平均値を、注目画素平均画素値として算出する第３の平均値算出手段をさらに備え、
   前記補正量決定手段は、
   前記第１方向画素平均画素値と前記注目画素の入力画素値との差分値を、前記補正量の第１の候補として決定し、かつ、前記第２方向画素平均画素値と前記注目画素の入力画素値との差分値を、前記補正量の第２の候補として決定する候補決定手段と、
   第１の軸が画素の配置位置とされ第２の軸が画素値とされた平面上における、前記第１方向画素平均画素値を示す第１の点、前記第３の平均値算出手段により算出された前記注目画素平均画素値を示す第２の点、および、前記第２方向画素平均画素値を示す第３の点の３点の位置関係を利用して、前記補正量を調整するための調整量を決定する調整量決定手段と、
   前記候補決定手段により決定された前記第１の候補と前記第２の候補とのそれぞれの値を、前記調整量決定手段により決定された前記調整量を利用して調整する調整手段と、
   前記調整手段により値が調整された前記第１の候補および前記第２の候補、並びに、予め設定されている固定値の中から所定の１つを所定の選抜条件に従って選抜し、選抜された値を前記補正量として決定する選抜手段と
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記調整量決定手段は、前記第１の点乃至前記第３の点をその順番で結んだ線の前記第２の点における２次微分値の絶対値を、前記第２の軸方向の前記第１の点と前記第３の点との間の距離で除算し、その結果得られる除算値を利用して前記調整量を決定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の平均値算出手段乃至前記第３の平均値算出手段のそれぞれは、撮像ボケの特性を示す前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の前記値に応じて、平均値を求めるための算出範囲をそれぞれ可変する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記第１の平均値算出手段と前記第２の平均値算出手段とのそれぞれは、
   さらに、第１の軸が画素の配置位置とされ第２の軸が画素値とされた平面上における、それぞれが決定した前記算出範囲に含まれる前記ｋ個の入力画素値のそれぞれを示す各点を結んだ線の傾きの極性が変化しているか否かを判定し、
   極性が変化していないと判定した場合、前記ｋ個の入力画素値をそのまま利用して、前記第１方向画素平均画素値または前記第２方向画素平均画素値を算出し、
   極性が変化していると判定した場合、前記ｋ個の入力画素値のうちの極性変化後の点が示す入力画素値を補正対象として、極性変化前の点が示す入力画素値に基づいて補正し、前記ｋ個の入力画素値のうちの、補正対象については補正後の値を利用して、かつ、それ以外については入力画素値をそのまま利用して、前記第１方向画素平均画素値または前記第２方向画素平均画素値を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記補正手段は、
   前記取得手段、前記第１の平均値算出手段、前記第２の平均値算出手段、前記補正量決定手段、および、前記第１の加算手段を有する第１の補正手段に加えて、
   前記撮像ボケを示す移動平均フィルタの特性を、前記パラメータの値のうちの前記注目画素に対応する前記値に応じて変換し、前記注目画素を含む所定のブロックの各入力画素値に対して、特性が変換された前記移動平均フィルタをかけ、その結果得られる前記注目画素の補正された入力画素値を第１の値として出力する移動平均フィルタリング手段と、
   前記注目画素の入力画素値と、前記移動平均フィルタリング手段から出力された前記第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算手段と、
   前記減算手段から出力された前記第２の値を、前記注目画素の前記入力画素値に加算し、その結果得られる加算値を、前記注目画素の出力画素値として出力する第２の加算手段と
   を有する第２の補正手段
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
7. 前記画像処理装置は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のそれぞれにおける移動ベクトルを、複数の前記画素のそれぞれに対応する前記パラメータの値として取得する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記画像処理装置は、前記動画像を構成する複数の前記アクセスユニットのそれぞれが前記撮影装置により撮影されたときの前記撮影装置のシャッタ速度のそれぞれを、前記パラメータの値として取得する
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記画像処理装置は、前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段をさらに備え、
   前記補正手段は、処理対象の前記アクセスユニットに対して、前記高レート変換手段による前記高レート変換処理が施される前または後に、処理対象の前記アクセスユニットを構成する複数の前記画素のそれぞれの画素値を補正する
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記第１のレートは３０Hzであり、前記第２のレートは１２０Hzである
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記第１のレートは６０Hzであり、前記第２のレート１２０Hzである
    ことを特徴とする請求項９に記載の画像処理装置。
12. 前記第１のレートは６０Hzであり、前記第２のレートは２４０Hzである
    ことを特徴とする請求項９に記載の画像処理装置。
13. 前記第１のレートは５０Hzであり、前記第２のレートは１００Hzである
    ことを特徴とする請求項９に記載の画像処理装置。
14. 前記第１のレートは５０Hzであり、前記第２のレートは２００Hzである
    ことを特徴とする請求項９に記載の画像処理装置。
15. 所定の撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出して取得するか、または外部から取得する情報処理装置の情報処理方法であって、
    前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する複数の前記画素のそれぞれの画素値を補正する補正ステップを含み、
    前記補正ステップは、
    前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値を取得する取得ステップと、
    前記パラメータの値のうちの前記注目画素に対応する値に基づいて、前記取得ステップの処理により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向側に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第１方向画素平均画素値として算出する第１の平均値算出ステップと、
    前記パラメータの値のうちの前記注目画素に対応する前記値に基づいて、前記取得ステップの処理により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向とは逆方向の第２の方向側に位置する前記ｋ個の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第２方向画素平均画素値として算出する第２の平均値算出ステップと、
    前記第１の平均値算出ステップの処理により算出された前記第１方向画素平均画素値、前記注目画素の入力画素値、および、前記第２の平均値算出ステップの処理により算出された前記第２方向画素平均画素値の３者の関係を利用して、前記注目画素の入力画素値を補正するための補正量を決定する補正量決定ステップと、
    前記注目画素の入力画素値と、前記補正量決定ステップの処理により決定された前記補正量とを加算し、その結果得られる加算値を、前記注目画素の出力画素値として出力する加算ステップと
    を含むことを特徴とする画像処理方法。
16. 所定の撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出して取得するか、または、外部から取得する装置の制御を行うコンピュータに実行させるプログラムであって、
    前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する複数の前記画素のそれぞれの画素値を補正する補正ステップを含み、
    前記補正ステップは、
    前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値を取得する取得ステップと、
    前記パラメータの値のうちの前記注目画素に対応する値に基づいて、前記取得ステップの処理により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向側に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第１方向画素平均画素値として算出する第１の平均値算出ステップと、
    前記パラメータの値のうちの前記注目画素に対応する前記値に基づいて、前記取得ステップの処理により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向とは逆方向の第２の方向側に位置する前記ｋ個の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第２方向画素平均画素値として算出する第２の平均値算出ステップと、
    前記第１の平均値算出ステップの処理により算出された前記第１方向画素平均画素値、前記注目画素の入力画素値、および、前記第２の平均値算出手段により算出された前記第２方向画素平均画素値の３者の関係を利用して、前記注目画素の入力画素値を補正するための補正量を決定する補正量決定ステップと、
    前記注目画素の入力画素値と、前記補正量決定ステップの処理により決定された前記補正量とを加算し、その結果得られる加算値を、前記注目画素の出力画素値として出力する加算ステップと
    を含むプログラムを記録していることを特徴とする記録媒体。
17. 所定の撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出して取得するか、または、外部から取得する装置の制御を行うコンピュータに実行させるプログラムであって、
    前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する複数の前記画素のそれぞれの画素値を補正する補正ステップを含み、
    前記補正ステップは、
    前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する複数の前記画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素を中心に第１の方向に連続して並ぶｎ（ｎは、３以上の整数値）個の画素のそれぞれの入力画素値を取得する取得ステップと、
    前記パラメータの値のうちの前記注目画素に対応する値に基づいて、前記取得ステップの処理により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向側に位置するｋ個（ｋは、ｎ／２未満の整数値）の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第１方向画素平均画素値として算出する第１の平均値算出ステップと、
    前記パラメータの値のうちの前記注目画素に対応する前記値に基づいて、前記取得ステップの処理により取得された前記入力画素値のうちの、前記注目画素よりも前記第１の方向とは逆方向の第２の方向側に位置する前記ｋ個の画素のそれぞれの入力画素値を算出範囲として決定し、決定された前記算出範囲に含まれる前記入力画素値の平均値を、第２方向画素平均画素値として算出する第２の平均値算出ステップと、
    前記第１の平均値算出ステップの処理により算出された前記第１方向画素平均画素値、前記注目画素の入力画素値、および、前記第２の平均値算出手段により算出された前記第２方向画素平均画素値の３者の関係を利用して、前記注目画素の入力画素値を補正するための補正量を決定する補正量決定ステップと、
    前記注目画素の入力画素値と、前記補正量決定ステップの処理により決定された前記補正量とを加算し、その結果得られる加算値を、前記注目画素の出力画素値として出力する加算ステップと
    を含むことを特徴とするプログラム。

Images