JP2015177528A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像を破綻させずに、固定パターンノイズが知覚されない映像を提供可能な画像処理装置を提供すること。【解決手段】本発明は、固定パターンノイズを取得する固定パターンノイズ取得手段（図２、２０２）と、ランダムノイズを取得するランダムノイズ取得手段（図２、２０３）と、前記ランダムノイズの量に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定手段（図２、２０４）と、前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減手段（図２、２０５）とを備えることを特徴とする画像処理装置である。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。具体的には、本発明は、画像の固定パターンノイズを低減する画像処理装置、画像処理方法、及びプログラムに関する。

デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。

デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮像感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像データを得るためには混入したノイズを低減する必要がある。

ノイズの発生要因は上述のように複数あるが、ノイズは大別すると、ランダムノイズと、固定パターンノイズとに分けられる。ランダムノイズとは、撮像毎に発生位置が変化するノイズである。一方で固定パターンノイズとは、複数回の撮像にわたって発生位置が変化しないノイズであり、同一ノイズとして画像データに混入する。

特に、固定パターンノイズには、パン撮影時など画像内の被写体が動く状況では、ノイズが顕著に目立つという性質がある。被写体は移動しているのに固定パターンノイズは移動しないため、ノイズが浮かび上がって見え、劣化が目立ってしまう。このため、固定パターンノイズを低減する手法が従来から多く提案されている。特許文献３では、固定パターンノイズが発生している領域を周辺の類似領域を用いて補間することで、固定パターンノイズを除去する手法を提案している。具体的には、画像データにおける固定パターンノイズの発生領域に対してメディアンフィルタをかけている。また、非特許文献１の手法を用いて、周辺のテクスチャを用いて固定パターンノイズが発生している領域を補間しても良い。これらの手法は、固定パターンノイズのみを低減できるうえ、固定パターンノイズの強度の変化にもロバストであるという利点がある。

特開２００６−３１１０８６号公報 特開２００４−２８９２４１号公報 特開２００５−１１０１７６号公報

Telea, A. "An image inpainting technique based on the fast marching method." Journal of graphics tools 9.1 (2004) J.Laird et. al.. "Spatio-Velocity CSF as a Function of Retinal Velocity Using Unstabilized Stimuli", SPIE, 6057,(2006) D. Kelly, Motion and vision. II. Stabilized spatio-temporal threshold surface, JOSA, 69, pp. 1340-1349 (1979)

特許文献３または非特許文献１を用いても、固定パターンノイズは撮影条件やノイズの特性によって固定パターンノイズの知覚量が変化するため、最適な固定パターンノイズ除去の強度を決定することができない場合がある。固定パターンノイズの知覚要因としては、一般に以下の二つがある。一つは、ランダムノイズである。固定パターンノイズは、ランダムノイズによってその見えがマスクされ、ランダムノイズが多いほど目立たないという特性がある。もう一つは、動画撮影におけるパン速度である。人間の視覚特性として、被写体の移動速度が変化すると、視覚の空間周波数応答特性が変化するという現象が知られている。このため、低周波の固定パターンノイズはパン速度が速いほど目立ち、高周波の固定パターンノイズはパン速度が遅いほど目立つ。

そこで本発明は、固定パターンノイズの知覚要因に応じて、固定パターンノイズ除去の強度を変化させることにより、画像を破綻させることなく固定パターンノイズを目立ちにくくすることができる。

本発明は、画像処理装置であって、固定パターンノイズを取得する固定パターンノイズ取得手段と、ランダムノイズを取得するランダムノイズ取得手段と、前記ランダムノイズの量に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定手段と、前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減手段とを備えることを特徴とする。

本発明では、固定パターンノイズの知覚要因に応じて、固定パターンノイズ除去の強度を変化させる。これにより、画像を破綻させずに、固定パターンノイズを目立ちにくくすることができる。

本発明に係る画像処理装置を備えるデジタルカメラ全体の構成を示すブロック図である。 実施例１に係る画像処理部の構成を示すブロック図である。 実施例１に係る固定パターンノイズ取得部の動作を示すフローチャートである。 実施例１に係る固定パターンノイズ低減部の構成を示すブロック図である。 補間対象領域を特定する補間領域情報の一例を示す図である。 実施例１に係る補間処理部の動作を示すフローチャートである。 実施例１に係る固定パターンノイズ除去強度決定部の構成を示すブロック図である。 実施例１に係る補間領域情報決定部の動作を示すフローチャートである。 ランダムノイズ量と、振幅閾値thとの関係を示すグラフである。 実施例２に係る固定パターンノイズ除去強度決定部の構成を示すブロック図である。 実施例２に係る固定パターンノイズ知覚量取得部の構成を示すブロック図である。 空間視覚特性を表すグラフである。 帯域分割フィルタの特性を示す図である。 マスキング強度を示すグラフである。 実施例３に係る画像処理部の構成を示すブロック図である。 実施例３に係る移動速度取得部の構成を示すブロック図である。 実施例３に係る固定パターンノイズ除去強度決定部の動作を示すフローチャートである。 画像内の被写体の移動速度v_Rと、振幅閾値thとの関係を示すグラフである。 実施例４に係る画像処理部の構成を示すブロック図である。 実施例４に係る移動速度取得部の構成を示すブロック図である。 実施例５に係る画像処理部の構成を示すブロック図である。 被写体の移動速度に応じて異なる、視覚の空間周波数応答特性を示すグラフである。 実施例５に係る固定パターンノイズ除去強度決定部の構成を示すブロック図である。 実施例５に係る固定パターンノイズ知覚量取得部の構成を示すブロック図である。 実施例５に係る補間領域情報決定部の動作を示すフローチャートである。

以下、添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

［実施例１］
本実施例では、固定パターンノイズの知覚要因の一つ、ランダムノイズの量に応じて固定パターンノイズ除去の強度を切り替える。ランダムノイズの量が多い場合は、固定パターンノイズが知覚されにくいため、固定パターンノイズ除去の強度を抑える。一方で、ランダムノイズの量が少ない場合は、固定パターンノイズは知覚され易いため、固定パターンノイズ除去の強度を強め、固定パターンノイズが知覚されるのを防ぐ。

＜システム全体の構成＞
図１は、本発明に係る画像処理装置を備えるデジタルカメラ全体の構成を示すブロック図である。

撮像部101は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどのセンサなどから構成され、被写体の光量を検知する。A/D変換部102は、被写体の光量をデジタル値に変換する。信号処理部103は、上記デジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、デジタル画像を生成する。画像処理部104は、上記デジタル画像に対するノイズ低減処理を行う。エンコーダ部105は、ノイズ低減後のデジタル画像をJPEG等の映像圧縮フォーマットに変換する処理を行う。メディアインタフェース106は、メディア107（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）につなぐためのインタフェースである。CPU108は各構成の処理全てに関わり、ROM109やRAM110に格納された命令を順に読み込み処理を実行し、システムバス115を介して各構成を制御する。ROM109及びRAM110は、その処理に必要なプログラム、データ、作業領域などをCPU108に提供する。撮像系制御部111は、CPU108からの指示に従い、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、撮像系の制御を行う。操作部112は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。ユーザー指示としては、ISO感度設定、シャッター速度設定、Ｆ値設定等の撮影設定がある。CPU108は、これらの撮影設定に従って処理を行い、デジタルカメラの撮影条件に反映させると共に、これらの撮影設定をRAM110に記憶させる。D/A変換部113は、上記ノイズ低減後のデジタル画像に対しアナログ変換を行う。表示部114は、一般的には液晶ディスプレイが広く用いられており、D/A変換部113から受け取ったデータに基づき撮影画像を表示する。

＜画像処理部の構成＞
図２は、本実施例に係る画像処理部104が備える固定パターンノイズ除去処理に関する構成を示すブロック図である。画像処理部104は、ランダムノイズの特性に応じて、固定パターンノイズ除去の強度を変更する。これにより、固定パターンノイズが知覚されず、かつ、破綻のない画像を提示できる。

端子201からは、信号処理部103で処理されたデジタル画像データを入力する。固定パターンノイズ取得部202では、固定パターンノイズを画像データ形式で取得する。ランダムノイズ取得部203では、撮像系にて発生するランダムノイズを動画データ形式で取得する。固定パターンノイズ除去強度決定部204では、ランダムノイズの量から、固定パターンノイズ除去の強度を設定するパラメータを決定する。固定パターンノイズ低減部205では、前記決定されたパラメータに従って、固定パターンノイズ除去の処理を実行する。端子206からは、固定パターンノイズが除去されたデジタル画像データが出力される。

＜固定パターンノイズ取得部の動作＞
本実施例では、撮像素子を遮光状態にして複数回撮影し、撮影により取得した複数の画像データを平均化することで、固定パターンノイズを示す画像データを取得する。当該取得処理は、デジタルビデオカメラの起動時や撮影直前、撮影直後のいずれの時点で実行しても良い。尚、本発明は、当該固定パターンノイズ取得方法に限定されない。例えば、ISO感度などの撮影条件に応じて、予め固定パターンノイズを記憶しておき、撮影時に当該記憶した固定パターンノイズを参照しても良い。

以下では、本実施例における固定パターンノイズ取得部の処理を図３のフローチャートを用いて説明する。

ステップS301では、撮像素子を遮光状態に設定する。

ステップS302では、撮像素子が遮光された状態で、nフレームの撮影処理を行い、ノイズのみの撮影データを取得する。以下では、iフレーム目の撮影データをD(i,x,y)と表記する。ここで、x,yは撮像素子の横画素及び縦画素のインデックスであり、iはフレーム番号を表す(1 ≦ i ≦ n)。また、撮影データD(i,x,y)には、固定パターンノイズとともにランダムノイズも含まれている。

ステップS303では、撮影データD(i,x,y)から、固定パターンノイズデータFPNを取得する。具体的には、n個の撮影データを平均化することで、ランダムノイズを低減し、固定パターンノイズのみを取得する。当該処理は以下の式（１）で表現される。

＜ランダムノイズ取得部の動作＞
本実施例では、固定パターンノイズ取得部202で取得したD(i,x,y)及びFPN(x,y)を用いて、撮影データに含まれるランダムノイズ映像データRN(i, x, y)を取得する。ここで、ランダムノイズとは、時間的に変動するノイズ成分のことを指す。尚、本発明は、当該ランダムノイズ取得方法に限定されない。例えば、ISO感度などの撮影条件に応じて、予めランダムノイズの特性を記憶しておき、撮影時に当該記憶したランダムノイズの特性を参照しても良い。

以下では、本実施例におけるランダムノイズ取得部の処理を具体的に説明する。まず、固定パターンノイズデータFPN(x,y)に対して、平均画素値avgFPNを計算する。

ここで、X及びYは、固定パターンノイズデータFPNにおける横画素数及び縦画素数である。次に、D(i,x,y)から固定パターンノイズの振幅を差し引くことにより、ランダムノイズ映像データRN(i, x, y)を取得する。当該処理は具体的に以下の式（３）で表わされる。

＜固定パターンノイズ低減部の構成＞
固定パターンノイズ低減部205では、固定パターンノイズが発生している領域に対して、周辺画素を用いた補間処理を施すことで、固定パターンノイズを低減する。以下では、メディアンフィルタを用いて固定パターンノイズを除去する手法について説明するが、本発明はこの手法に限定されない。例えば、非特許文献１に記載の手法を用いて、周辺のテクスチャ情報に基づき固定パターンノイズが発生している領域を補間しても良い。また、テンプレートマッチング処理等を用いて、周辺から類似領域を検索し、画素値を置換しても良い。

図４は、固定パターンノイズ低減部205の構成を示すブロック図である。端子401からは、信号処理部103で処理されたデジタル画像データを入力する。補間領域情報取得部402では、補間処理を実行する画素を指定する補間領域情報が取得される。図５に補間領域情報の例を示す。図中、白色領域が補間処理を実行する領域 (補間対象となる領域)で、黒色領域が補間処理を実行しない領域である。本実施例では、固定パターンノイズの振幅が大きい領域を補間対象の領域に設定することで、固定パターンノイズが適切に除去される。本実施例では、補間領域は、固定パターンノイズ除去強度決定部204が備える補間領域情報決定部704にて決定される。この処理の詳細は後述する。補間処理部403は、補間対象画素に対してメディアンフィルタをかけることで、補間対象画素を周辺画素に置換する。

＜補間処理部の動作＞
補間処理部403における具体的な処理を、図６のフローチャートを用いて説明する。

ステップS601では、着目画素を選択する。

ステップS602では、選択した着目画素に対して、固定パターンノイズ除去処理を実行すべきか否かを判断する。具体的には、補間領域情報を参照し、着目画素が補間対象画素であるか否かを判断する。着目画素に対して、固定パターンノイズを除去すべきと判断されれば、ステップS603に移行し、そうでなければ、ステップS604に移行する。

ステップS603では、着目画素に対して補間処理を実行する。本実施例では、補間処理として２次元メディアンフィルタ処理を施すことで、固定パターンノイズの除去を行う。例えば、３×３サイズの領域を用いた場合、９個の画素値を小さい順に並べ、メディアン値である小さい方から５番目の画素値を求めれば良い。

ステップS604では、全画素に対する処理が完了したか否かを判断する。判断の結果、全画素に対する処理が完了していない場合、ステップS601に移行し、そうでなければ、処理を終了する。

＜固定パターンノイズ除去強度決定部の構成＞
固定パターンノイズ除去強度決定部204は、固定パターンノイズを除去するか否かを判断するために用いられる補間領域情報をランダムノイズの量に基づいて決定し、固定パターンノイズ除去の強度を設定する。具体的には、補間対象領域 (図５中の白色領域)を多くすることで固定パターンノイズ低減の効果を高めることができる。また、補間対象領域を少なくすることで、固定パターンノイズ低減の効果を弱め、補間処理に伴う画質劣化を抑えることができる。

図７は、固定パターンノイズ除去強度決定部204の構成を示すブロック図である。端子701からは、ランダムノイズ取得部203で取得したランダムノイズ映像データRN(i, x, y)を入力する。端子702からは、固定パターンノイズ取得部202で取得した固定パターンノイズデータFPN(x,y)を入力する。ランダムノイズ量計算部703は、ランダムノイズ映像データRN(i, x, y)に対するランダムノイズ量を計算する。ランダムノイズ量としては、ノイズ量の分散を計算しても良いし、フレーム平均PSNR (Peak Signal to Noise Ratio)やSSIM(Structural SIMilarity)等を計算しても良い。補間領域情報決定部704は、前記計算したノイズ量に基づき、補間領域情報を決定する。

＜補間領域情報決定部の動作＞
補間領域情報決定部704では、固定パターンノイズ除去の対象領域を決定することで、固定パターンノイズ除去の強度を変更する。本実施例では、固定パターンノイズデータFPN(x,y)の各画素に対してノイズの振幅を計算し、その振幅に対して閾値処理を施すことで、補間領域情報を決定する。閾値を小さくすることで補間対象領域の面積の総和が大きくなり、固定パターンノイズ除去の強度を強めることができる。反対に、閾値を大きくすることで補間対象領域の面積の総和が小さくなり、固定パターンノイズ除去の強度を弱めることができる。尚、本発明は、上記の補間領域情報の決定方法に限定されない。例えば、算出したランダムノイズの量に基づいて、データベースから予め設計及び格納された補間領域情報を取得してもよい。

以下では、補間領域情報決定部704の動作について、図８のフローチャートを用いて、具体的に説明する。

ステップS801では、ランダムノイズ量計算部703により算出されたランダムノイズ量に基づき、固定パターンノイズの振幅閾値thを取得する。ここで、振幅閾値thは、ランダムノイズ量が大きくなるにつれて振幅閾値thも大きくなるという関係に従って決定される。例えば、図９に示す関係を表す式を予め記憶しておき、算出されたランダムノイズ量を当該式に代入することで、振幅閾値thは決定される。図９に示す関係を表す式を用いて振幅閾値thを決定することで、ランダムノイズ量が少ないほど振幅閾値thは小さく補間対象領域の面積の総和は大きくなり、固定パターンノイズ除去の効果は大きくなる。

ステップS802では、着目画素の固定パターンノイズデータを取得する。以下では、着目画素の固定パターンノイズデータをFPN(xi, yi)と表記する。

ステップS803では、着目画素に対するFPN(xi,yi)と、振幅閾値thとを用いてR(xi,yi)を算出することで補間領域情報を決定する。ここで、R(x,y)は、位置(x,y)において補間処理を実行するか否かを表現するマップである。R(xi, yi) =1のときに補間処理は実行され、R(xi,yi)=0のときに補間処理は実行されない。R(xi, yi)の値は、具体的に以下の式（４）により算出される。

ステップS804では、処理が全画素に対して行われたか否かを判断する。判断の結果、全画素に対して処理が完了していない場合、ステップS802に移行し、そうでなければ、処理を終了する。

以上、本実施例によれば、ランダムノイズの量に応じて固定パターンノイズ除去の強度を決定することで、画質の劣化を抑え、かつ、固定パターンノイズが知覚されない映像を提供できる。尚、本実施例では、補間領域を変更することで、固定パターンノイズ除去の強度を調整していたが、本発明はこれに限定されない。例えば、補間領域を変更するのではなく、メディアンフィルタのタップ数を変更することで、固定パターンノイズ除去の強度を調整しても良い。

［実施例２］
実施例１では、ランダムノイズの量に応じて固定パターンノイズ除去の強度を設定していた。本実施例では、固定パターンノイズの周波数特性と、ランダムノイズの周波数特性との類似度が固定パターンノイズの知覚量に影響するという現象に注目する。例えば、固定パターンノイズが低周波の場合、低周波のランダムノイズが加わった場合と、高周波のランダムノイズが加わった場合とでは、後者のほうが固定パターンノイズを知覚し易い。このような現象はマスキング効果と呼ばれ、人間が周波数選択性や方位選択性といった処理機構に基づいてノイズを知覚しているために生じる。このことを踏まえて、本実施例では、固定パターンノイズの周波数特性と、ランダムノイズの周波数特性との両方を考慮して固定パターンノイズの知覚量を算出し、固定パターンノイズ除去の強度を決定する。以下では、実施例１からの差分について説明する。

＜固定パターンノイズ除去強度決定部の構成＞
固定パターンノイズ除去強度決定部204は、ランダムノイズの周波数特性と、固定パターンノイズの周波数特性とに基づいて固定パターンノイズの知覚量を算出する。次に、固定パターンノイズ除去強度決定部204は、算出した知覚量に基づいて、固定パターンノイズが除去される補間対象領域を決定し、固定パターンノイズ除去の強度を決定する。

図１０は、固定パターンノイズ除去強度決定部204の構成を示すブロック図である。端子1001からは、ランダムノイズ取得部203で取得したランダムノイズ映像データRN(i, x, y)を入力する。端子1002からは、固定パターンノイズ取得部202で取得した固定パターンノイズデータFPN(x,y)を入力する。固定パターンノイズ知覚量取得部1003では、ランダムノイズ映像データRN(i, x, y)及び固定パターンノイズデータFPN(x,y)に対する固定パターンノイズの知覚量を取得する。補間領域情報決定部1004では、前記取得した固定パターンノイズの知覚量に基づき、補間領域情報を決定する。

＜固定パターンノイズ知覚量取得部の動作＞
図１１は、固定パターンノイズ知覚量取得部1003の構成を示すブロック図である。固定パターンノイズ知覚量取得部の動作を、図１１を用いて説明する。

端子1101より、固定パターンノイズ取得部202から固定パターンノイズデータFPN(x,y)を入力する。

端子1102より、ランダムノイズ取得部203からランダムノイズ映像データRN(i, x, y)を入力する。

ノイズ画像生成部1103は、ランダムノイズ映像データRN(i,x,y)から、固定パターンノイズをマスクするランダムノイズ画像を表す画像データn(x,y)を生成する。n(x,y)は、例えばRN(i,x,y)から任意の１フレームを選択することで生成しても良い。

フーリエ変換部1104は、画像データに対してフーリエ変換を施し、空間周波数情報を生成する。以下、固定パターンノイズデータFPN(x,y)のフーリエ変換結果をI_FPN(u,v)、ノイズ画像データn (x,y) のフーリエ変換結果をN(u,v)と表記する。

空間視覚特性乗算部1105は、画像データのフーリエ変換結果に対し、端子1111から入力される空間視覚特性であるVTF(u,v)を乗算する。VTF(u,v)は、VTF(u,v)= VTFsx(u) ×VTFsy(v)と定義される。ここで、VTFsx(u) は横方向の空間視覚特性、VTFsy(v)は縦方向の空間視覚特性である。VTFsx(u)及びVTFsy(v)は、それぞれ以下の式（５）及び式（６）で定義される。

ここで、画素ピッチをp(mm)、視距離をR(mm)、映像の横画素数をNx、縦画素数をNyとする。これらの値は、一般的なユーザー観察環境に基づいて定める。尚、VTFsx(u) 及びVTFsy(v)は、次式（７）で表される空間視覚特性VTF(f) を、視距離と、画面ピッチと、画素数とに応じて周波数空間でサンプリングしたものであり、基本形は同じである。

空間視覚特性を表すグラフを、図１２に示す。以下では、I_FPN(u,v)に対する空間視覚特性VTF(u,v)の乗算結果をI_V(u,v)と、N(u,v)に対する空間視覚特性VTF(u,v)の乗算結果をN_V(u,v)と表記する。

帯域分割部1106は、I_V(u,v)及びN_V(u,v)それぞれに対し、以下の式（８）及び式（９）で表現される帯域分割処理を実行する。Is_k,l(u,v)はデジタル画像に対する帯域分割された空間周波数情報であり、Ns_k,l(u,v)はホワイトノイズ画像に対する帯域分割された空間周波数情報である。

帯域分割フィルタcortex_k,l(u,v)は、半径方向及び円周方向を結合し、次のように定義する。

cortex_pol_k,l(ρ,θ) はcortex_k,l(u,v)を極座標で表現したものである。Kは半径方向、Lは円周方向の帯域分割数であり、一般にはK=6,L=6を用いる。dom_k (ρ)、base (ρ)、fan_l(θ)の定義は次の通りである。

ここで

である。L=6の場合のfan_l(θ)を表すグラフを図１３（ａ）に示す。図１３（ａ）において、横軸は正規化周波数、縦軸は応答である。

ここで

であり、

である。K=6の場合のdom_k(ρ)を表すグラフを図１３（ｂ）に示す。図１３（ｂ）において、横軸は正規化周波数、縦軸は応答である。

図１３（ｃ）は、帯域分割フィルタcortex_k,l(u,v)による帯域分割を、横軸、縦軸ともに正規化周波数の空間上に示した模式図である。図１３（ｃ）では、各フィルタの半値周波数を、太い実線で示している。

逆フーリエ変換部1107は、帯域分割後の空間周波数情報に対して、逆フーリエ変換を施し、帯域分割画像データを生成する。以下では、デジタル画像に対するIs_k,l(u,v)の逆フーリエ変換結果をis_k,l(x,y)と、ホワイトノイズ画像に対するNs_k,l(u,v) の逆フーリエ変換結果をns_k,l(x,y)と表記する。

ノイズマスク部1108は、逆フーリエ変換部1107から、帯域分割画像データis_k,l(x,y) 及びns_k,l(x,y)を受け取る。ノイズマスク部1108は、帯域分割されたノイズ画像データns_k,l(x,y)に基づいて、帯域分割された画像データis_k,l (x,y)に対するマスキングを施し、知覚されるノイズ画像データP_k,l(x,y)を帯域毎に算出する。まず、マスキング強度Te_k,l (x,y)を以下の式（１０）により算出する。

ここで、

であり、本実施例では W = 6, Q = 0.7,b= 4, s = 0.8とする。図１４は、この場合において、マスキング強度（is_k,l(x,y)と、Te_k,l (x,y)との関係）を示すグラフである。図１４では、横軸がis_k,l(x,y)の強度を対数スケールで、縦軸がTe_k,l (x,y)の強度を対数スケールで表している。このTe_k,l (x,y)を用いて、以下の式（１１）によりP_k,l(x,y)を算出する。

ここで、mはFPN(x,y)の平均値である。

固定パターンノイズ知覚量算出部1109は、以下の式（１２）に基づいて帯域毎の知覚ノイズ画像データP_k,l(x,y)を合成し、固定パターンノイズ知覚量データP(x,y)を算出する。P(x,y)は、位置(x,y)における固定パターンノイズ知覚量を表す。

そして、端子1110より、固定パターンノイズ知覚量データP(x,y)を出力する。

［実施例３］
実施例１及び実施例２では、ランダムノイズの量に応じて固定パターンノイズ除去の強度を決定する方法について述べた。しかしながら動画撮影時においては、固定パターンノイズの知覚量（知覚の程度）は、ランダムノイズの量だけではなく、動画におけるフレーム間の被写体の相対移動速度にも依存する。被写体の相対移動速度とは、例えば、カメラのパン速度である。

特に、撮像素子で発生する白色ノイズでは、動画におけるフレーム間で被写体の移動速度が大きくなるにつれ、固定パターンノイズが知覚されにくくなる。本実施例では、カメラの移動速度に応じて固定パターンノイズ除去の強度を切り替える。以下では、実施例１からの差分について説明する。

＜画像処理部の構成＞
図１５は、本実施例に係る画像処理部104が備える固定パターンノイズ除去処理に関する構成を示すブロック図である。画像処理部104は、カメラの移動速度に応じて、固定パターンノイズ除去の強度を変更する。これにより、固定パターンノイズが知覚されず、かつ、破綻のない画像を提示する。

端子1501からは、信号処理部103で処理されたデジタル画像データを入力する。固定パターンノイズ取得部202では、固定パターンノイズを画像データ形式で取得する。移動速度取得部1502では、フレーム間の被写体の移動速度v_R[deg/sec]を取得する。移動速度取得部1502の具体的な処理は後述する。固定パターンノイズ除去強度決定部1503では、フレーム間の被写体の移動速度に基づき、固定パターンノイズ除去の強度を設定するパラメータを決定する。本実施例においては、固定パターンノイズ低減部205では、前記決定されたパラメータに従って、固定パターンノイズ除去の処理を実行する。端子1504からは、固定パターンノイズが除去されたデジタル画像データが出力される。

＜移動速度取得部の動作＞
図１６は、移動速度取得部1502の構成を示すブロック図である。移動速度取得部の動作を、図１６を用いて説明する。

撮像情報取得部1601は、信号処理部103から入力されるデジタル画像データに対する撮像時の諸条件情報（撮像情報）をRAM110から取得する。ここで、撮像時の諸条件情報とは、焦点距離f[mm]、センササイズw×h[mm]、露光時間t[sec]、及びフレームレートFR[fps]である。尚、撮像時の諸条件情報の取得方法はこれに限らず、任意の方法を利用できる。例えば、撮像時の諸条件情報をexif情報から取得しても良い。

ジャイロセンサ情報取得部1602は、信号処理部103から入力されるデジタル画像データに対する撮像時のジャイロセンサ情報をジャイロセンサ116から取得する。ここで、ジャイロセンサ情報とは、角速度ω[deg/sec]である。

移動速度算出部1603は、取得した撮像情報及びジャイロセンサ情報に基づき、撮像時の被写体が動いていないとしたときのフレーム間の被写体の移動速度v_R [deg/sec]を算出する。まず、撮像光学系の画角θlens[deg]及び撮像時の１秒あたりの移動角度θgyroを、以下の式（１３）及び式（１４）により算出する。

このとき、被写体が移動していないとすると、観察画角θview中の１秒あたりの移動角度θmoveは以下の式（１５）から算出される。

ここで、ユーザーは、標準的な観察距離として、観察ディスプレイの縦の長さの３倍の距離から観察しているとする。観察ディスプレイの画角の縦横比が９：１６であるとするとき、観察画角θviewは以下の式（１６）から算出される。

移動速度v_R[deg/sec]は以下の式（１７）により算出される。

端子1604からは、前記算出した移動速度v_R [deg/sec]が出力される。

＜固定パターンノイズ除去強度決定部の動作＞
固定パターンノイズ除去強度決定部1503は、フレーム間の被写体の移動速度に基づいて、固定パターンノイズが除去される補間対象領域を決定し、固定パターンノイズ除去の強度を決定する。

以下では、固定パターンノイズ除去強度決定部1503の動作について、図１７のフローチャートを用いて、具体的に説明する。

ステップS1701では、移動速度取得部1502により算出された移動速度v_Rに基づき、固定パターンノイズの振幅閾値thを取得する。ここで、振幅閾値thは、移動速度v_Rに対して単調増加の関数を用いて決定される。振幅閾値thと、フレーム間の被写体の移動速度v_Rとの関係の一例を、図１８に示す。このような関数を用いて振幅閾値thを決定することで、フレーム間の被写体の移動速度v_Rが遅いほど振幅閾値thは小さく補間対象領域の面積の総和は大きくなり、固定パターンノイズ除去の効果は大きくなる。

ステップS1702では、固定パターンノイズデータFPN(x,y)から、着目画素の固定パターンノイズデータを選択する。以下では、着目画素を(xi, yi)とし、着目画素の固定パターンノイズデータをFPN(xi, yi)と表記する。

ステップS1703では、着目画素に対するFPN(xi,yi)と、振幅閾値thとを用いてR(xi,yi)を算出し、着目画素が補完対象となるか否かを決定する。ここで、R(x,y)は、位置(x,y)において補間処理を実行するか否かを表現するマップである。R(xi, yi) =1のときに補間処理は実行され、R(xi,yi)=0のときに補間処理は実行されない。R(xi, yi)の値は、実施例１と同様に式（４）により決定される。

ステップS1704では、処理が全画素に対して行われたかを判断する。判断の結果、全画素に対して処理が完了していれば、ステップS1702に移行し、そうでなければ、処理を終了する。

以上、本実施例によれば、カメラの移動速度に応じて固定パターンノイズ除去の強度を決定することで、画質の劣化を抑え、かつ、固定パターンノイズが知覚されない映像を提供できる。

［実施例４］
実施例３では、画像内（フレーム間）の被写体の移動速度をジャイロセンサ情報から算出した。しかしながら、被写体も実際に移動している場合、ジャイロセンサ情報のみをからでは画像内の被写体の移動速度を正しく算出できないという課題があった。そこで本実施例では、画像内の被写体の動きベクトルから画像内の被写体の移動速度を算出することで、被写体の移動に対応した固定パターンノイズ除去の制御を行う。以下では、実施例３からの差分について説明する。

＜画像処理部の構成＞
図１９は、本実施例に係る画像処理部104が備える固定パターンノイズ除去処理に関する構成を示すブロック図である。画像処理部104は、被写体の移動速度に応じて、固定パターンノイズ除去の強度を変更する。これにより、固定パターンノイズが知覚されず、かつ、破綻のない画像を提示できる。

端子1901からは、信号処理部103で処理されたデジタル画像データを入力する。固定パターンノイズ取得部202では、固定パターンノイズを画像データ形式で取得する。移動速度取得部1902では、端子1901から入力したデジタル画像データに基づき、画像内の被写体の移動速度v_R[deg/sec]を取得する。ここで、画像内の被写体の移動速度とは、被写体と、カメラとの間の相対的な位置関係の変化の割合のことを指す。移動速度取得部1902の具体的な処理は後述する。固定パターンノイズ除去強度決定部1503では、画像内の被写体の移動速度から、固定パターンノイズ除去の強度を設定するパラメータを決定する。本実施例においては、固定パターンノイズ低減部205では、前記決定されたパラメータに従って、固定パターンノイズ除去の処理を実行する。端子1903からは、固定パターンノイズが除去されたデジタル画像データが出力される。

＜移動速度取得部の動作＞
図２０は、移動速度取得部1902の構成を示すブロック図である。移動速度取得部の動作を、図２０を用いて説明する。

端子2001より、信号処理部103で処理されたデジタル画像データが入力される。このデジタル画像データは、フレームメモリ2002へと入力される。

動きベクトル算出部2003では、端子2001から入力された画像データと、フレームメモリ2002から入力された遅延画像データとに対し、領域分割処理を実行する。分割ブロックは128×128pixelや256×256pixelのサイズで良い。動きベクトル算出部2003は、該分割ブロックごとに、動き成分d[pixel]を計算し、計算結果を移動速度算出部2004に対して出力する。

移動速度算出部2004は、RAM110に記憶されたフレームレート設定情報FR[fps]を取得し、前記動き成分dから画像内の被写体の移動速度v_R[deg/sec]を算出する。ユーザーが、標準的な観察距離である、ディスプレイの縦の長さの３倍の距離から観察しているとき、画像内の被写体の移動速度v_R[deg/sec]は、以下の式（１８）により算出される。尚、観察するディスプレイは、ＦＨＤであるとする。

式（１８）により算出した、ブロックごとの移動速度v_R[deg/sec]は、端子2005より、固定パターンノイズ除去強度決定部1503へ出力される。

以上、本実施例によれば、画像内の被写体の移動速度を被写体ごとに算出することができる。これにより、カメラではなく被写体が移動した場合にも、固定パターンノイズ除去の強度を適切に設定できる。

［実施例５］
実施例３及び実施例４では、固定パターンノイズが白色ノイズであるという仮定の下、画像内の被写体の移動速度に応じて固定パターンノイズ除去の強度を決定していた。しかしながら、撮像素子の特性によっては、固定パターンノイズが白色ノイズであるとは限らない。このような場合、固定パターンノイズの知覚量は、画像内の被写体の移動速度と、固定パターンノイズの周波数特性とによって決まる。具体的には、固定パターンノイズが高周波の場合には、画像内の被写体の移動速度が増加するに伴い固定パターンノイズの知覚量は低下する。反対に、固定パターンノイズが低周波の場合には、画像内の被写体の移動速度が増加するに伴い固定パターンノイズの知覚量は増加する。

本実施例では、固定パターンノイズの周波数特性と、画像内の被写体の移動速度との両方を考慮して固定パターンノイズ除去の強度を決定する。具体的には、画像内の被写体の移動速度によって定まる視覚の空間周波数応答特性と、固定パターンノイズとに基づいて、固定パターンノイズの知覚量を算出し、当該算出した固定パターンノイズの知覚量に基づいて、固定パターンノイズ除去の強度を決定する。以下では、実施例３からの差分について説明する。

＜画像処理部の構成＞
図２１は、本実施例に係る画像処理部104が備える固定パターンノイズ除去処理に関する構成を示すブロック図である。画像処理部104は、画像内の被写体の移動速度に応じて、固定パターンノイズ除去の強度を変更する。これにより、固定パターンノイズが知覚されず、かつ、破綻のない画像を提示する。

端子2101からは、信号処理部103で処理されたデジタル画像データを入力する。固定パターンノイズ取得部202は、固定パターンノイズを画像データ形式で取得する。移動速度取得部1902は、端子2101から入力したデジタル画像データに基づき、画像内の被写体の移動速度v_R[deg/sec]を取得する。視覚特性取得部2103は、移動速度取得部1902により取得した移動速度v_Rに基づき、当該速度で移動する被写体を人間が追従視する際の、視覚の空間周波数応答特性を取得する。固定パターンノイズ除去強度決定部2104は、画像内の被写体の移動速度に基づき決定された視覚の空間周波数応答特性と、固定パターンノイズの周波数特性とに基づき、固定パターンノイズの知覚量を算出する。そして、固定パターンノイズ除去強度決定部2104は、当該算出した固定パターンノイズの知覚量に基づき、固定パターンノイズ除去の強度を設定するパラメータを決定する。固定パターンノイズ低減部205は、前記決定されたパラメータに従って、固定パターンノイズ除去の処理を実行する。端子2105からは、固定パターンノイズが除去されたデジタル画像データが出力される。

＜視覚特性取得部の動作＞
視覚特性取得部2103は、移動速度取得部1902より取得した移動速度v_Rに基づき、移動速度v_Rで移動する被写体を人間が追従視する際の視覚の空間周波数応答特性を取得する。図２２は、被写体の移動速度に応じた視覚特性（空間周波数応答特性）の変化を表す図である。図２２に示すように、10deg/secにおける視覚特性と、0deg/secにおける視覚特性とは異なる。本実施例では、以下の式（１９）で与えられる視覚特性を用いる（非特許文献２を参照）。

ここで、

として定義される。v_Rは、分割領域ごとに算出された動きベクトルにより決定される。例えば、動きベクトルの平均値をそのままv_Rとしても良い。また、本実施例では、s₁=6.1、s₂= 7.3、p₁=45.9、c₀ = 0.6329、c₁ = 0.8404、c₂ = 0.7986、である。

尚、本実施例では、固定パターンノイズの知覚量を算出するのに、式（１９）に示す視覚特性（空間周波数応答特性）を用いるが、本発明は式（１９）に示す視覚特性に限定されない。本発明で用いる追従視時の視覚特性は、被写体の動きが大きくなるにつれて、感度のピークが低周波側へシフトするバンドパス特性であれば良く、他の視覚特性や実測データ等を用いても良い（例えば、非特許文献３を参照）。

＜固定パターンノイズ除去強度決定部の構成＞
固定パターンノイズ除去強度決定部2104は、固定パターンノイズの周波数特性及び被写体速度に応じた視覚特性（空間周波数応答特性）に基づいて、固定パターンノイズを除去するか否かを判断するために用いられる補間領域情報を決定する。これにより、固定パターンノイズ除去強度決定部2104は、固定パターンノイズ除去の強度を設定する。

図２３は、固定パターンノイズ除去強度決定部2104の構成を示すブロック図である。端子2301からは、固定パターンノイズ取得部202で取得した固定パターンノイズデータFPN(x, y)を入力する。端子2302からは、視覚特性取得部2103で取得した視覚特性データCSF (ρ,v_R)を入力する。固定パターンノイズ知覚量取得部2303は、固定パターンノイズデータFPN(x, y)及び視覚特性データCSF (ρ,v_R)を用いて、固定パターンノイズの知覚量を計算し、取得する。補間領域情報決定部2304は、前記取得した固定パターンノイズの知覚量に基づき、補間領域情報を決定する。端子2305からは、補間領域情報が出力される。

＜固定パターンノイズ知覚量取得部の構成＞
図２４は、本実施例に係る固定パターンノイズ知覚量取得部2303の構成を示すブロック図である。固定パターンノイズ知覚量取得部2303は、固定パターンノイズデータFPN(x,y)に対して視覚特性VTF(u,v)を乗算し、そのパワーをとる（絶対値の２乗を計算する）ことで固定パターンノイズ知覚量を算出する。以下では、固定パターンノイズ知覚量取得部における各処理について具体的に説明する。

端子2401からは、固定パターンノイズデータFPN(x,y)を入力する。

フーリエ変換部2402では、固定パターンノイズデータFPN(x,y)に対してフーリエ変換を施し、F_FPN(u,v)を取得する。

空間視覚特性乗算部2403は、F_FPN(u,v)に対し、視覚特性VTF(u,v)を乗算する。尚、VTF(u,v)は、VTF(u,v)=VTFsx(u)×VTFsy(v)で定義される。ここで、VTFsx(u) は横方向の空間視覚特性、VTFsy(v)は縦方向の空間視覚特性である。VTFsx(u)及びVTFsy(v)は、それぞれ以下の式（２０）及び式（２１）で定義される。

ここで、画素ピッチをp(mm)、視距離をR(mm)、映像の横画素数をNx、縦画素数をNyとする。これらの値は、一般的なユーザー観察環境に基づいて定める。尚、関数CSFは、視覚特性取得部2103で取得されたものであり、端子2404から入力される。

固定パターンノイズ知覚量算出部2405は、固定パターンノイズの知覚量を表す数値FPNvalを出力する。具体的にFPNvalは、以下の式（２２）によって算出される。

ここで、Wは画像の幅であり、Hは画像の高さである。

＜補間領域情報決定部の動作＞
補間領域情報決定部2304では、固定パターンノイズ除去の対象領域を決定することで、固定パターンノイズ除去の強度を変更する。本実施例では、固定パターンノイズデータFPN(x,y)の各画素に対してノイズの振幅を計算し、その振幅に対して閾値処理を施すことで補間領域情報を決定する。尚、閾値処理で用いる閾値は、固定パターンノイズの知覚量FPNvalに応じて決定する。

以下では、補間領域情報決定部2304の動作について、図２５のフローチャートを用いて、具体的に説明する。

ステップS2501では、固定パターンノイズの知覚量FPNvalに基づき、固定パターンノイズの振幅閾値thを取得する。ここで、振幅閾値thは、FPNvalが大きくなるにつれて振幅閾値thも大きくなるという関係に従って決定される。

ステップS2502では、着目画素の固定パターンノイズデータを取得する。以下では、着目画素の固定パターンノイズデータをFPN(xi, yi)と表記する。

ステップS2503では、着目画素に対するFPN(xi,yi)と、振幅閾値thとを用いてR(xi,yi)を算出することで補完領域情報を決定する。ここで、R(x,y)は、位置(x,y)において補間処理を実行するか否かを表現するマップである。R(xi, yi) =1のときに補間処理は実行され、R(xi,yi)=0のときに補間処理は実行されない。R(xi, yi)の値は、具体的に以下の式（２３）により算出される。

ステップS2504では、処理が全画素に対して行われたか否かを判断する。判断の結果、全画素に対して処理が完了していない場合、ステップS2502に移行し、そうでなければ、処理を終了する。

以上、本実施例によれば、画像内の被写体の移動速度と、固定パターンノイズの周波数特性とに基づき、固定パターンノイズの知覚量が決定され、当該決定された固定パターンノイズの知覚量に基づき、最適な固定パターンノイズ除去処理を実行することができる。

［実施例６］
上述の実施例では、固定パターンノイズが発生している領域を周辺の類似領域を用いて補間することで固定パターンノイズを除去していた。しかしながら、本発明はこれに限定されず、フィルタリング処理等を用いて固定パターンノイズを除去しても良い。例えば、Non Local Menas法等の適応的フィルタリング処理では、画像構造の類似度に応じて周辺領域の画素を加重平均することで、好適に固定パターンノイズを除去できる。

［他の実施例］
前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、本発明の目的が達成される。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することによって、前述した実施例の機能が実現される。他に、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施例の機能が実現され得る。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、その書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施例の機能が実現され得る。

尚、本発明は、前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体から、そのプログラムを、パソコン通信など通信ラインを介して要求者に配信する場合にも適用できる。

Claims (15)

1. 固定パターンノイズを取得する固定パターンノイズ取得手段と、
   ランダムノイズを取得するランダムノイズ取得手段と、
   前記ランダムノイズの量に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定手段と、
   前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減手段と
   を備えることを特徴とする画像処理装置。
2. 前記固定パターンノイズ除去強度決定手段は、前記ランダムノイズの量が大きくなるに従って、前記固定パターンノイズ除去の強度を弱くすることを特徴とする請求項１に記載の画像処理装置。
3. 前記固定パターンノイズ除去強度決定手段は、前記取得したランダムノイズ及び前記取得した固定パターンノイズに基づき、固定パターンノイズの知覚量を取得する固定パターンノイズ知覚量取得手段を備え、前記取得した固定パターンノイズの知覚量が大きくなるに従って、前記固定パターンノイズ除去の強度を弱くすることを特徴とする請求項１に記載の画像処理装置。
4. 前記固定パターンノイズ知覚量取得手段は、
   前記固定パターンノイズと、前記ランダムノイズとに対する、帯域毎に分割された画像データを生成する帯域分割手段と、
   前記固定パターンノイズに対する帯域分割された画像データを、前記ランダムノイズに対する帯域毎に分割された画像データに基づいてマスキングするノイズマスク手段と、
   前記ノイズマスク手段から出力された帯域毎の画像データを合成することで、固定パターンノイズの知覚量を算出する固定パターンノイズ知覚量算出手段と
   を備えることを特徴とする請求項３に記載の画像処理装置。
5. 固定パターンノイズを取得する固定パターンノイズ取得手段と、
   動画に含まれるフレーム間における被写体の移動速度を取得する移動速度取得手段と、
   前記取得した移動速度に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定手段と、
   前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減手段と
   を備えることを特徴とする画像処理装置。
6. 前記移動速度取得手段は、
   ジャイロセンサ情報を取得するジャイロセンサ情報取得手段と、
   前記取得したジャイロセンサ情報に基づき、前記移動速度を算出する移動速度算出手段と
   を備えることを特徴とする請求項５に記載の画像処理装置。
7. 前記移動速度取得手段は、
   映像の動きベクトルを算出する動きベクトル算出手段と、
   前記算出した動きベクトルに基づき、前記移動速度を算出する移動速度算出手段と
   を備えることを特徴とする請求項５に記載の画像処理装置。
8. 前記固定パターンノイズ除去強度決定手段は、前記移動速度が大きくなるに従って、前記固定パターンノイズ除去の強度を弱くすることを特徴とする請求項５乃至７の何れか一項に記載の画像処理装置。
9. 前記取得した移動速度に基づき、空間周波数と、応答との関係を示す特性である視覚特性を取得する視覚特性取得手段をさらに備え、
   前記固定パターンノイズ除去強度決定手段は、前記取得した固定パターンノイズ及び前記取得した視覚特性に基づき固定パターンノイズの知覚量を算出する固定パターンノイズ知覚量算出手段を備えることを特徴とする請求項５乃至８の何れか一項に記載の画像処理装置。
10. 前記固定パターンノイズ知覚量算出手段は、前記取得した視覚特性と、前記取得した固定パターンノイズの周波数特性とを乗算し、当該乗算結果のパワーをとることにより、固定パターンノイズの知覚量を算出することを特徴とする請求項９に記載の画像処理装置。
11. 前記固定パターンノイズ低減手段は、周辺の類似領域を用いて補間することで、固定パターンノイズを除去することを特徴とする請求項１乃至１０の何れか一項に記載の画像処理装置。
12. 前記固定パターンノイズ除去強度決定手段は、補間処理を実行する領域を変化させることで、固定パターンノイズ除去の強度を変更することを特徴とした請求項１１に記載の画像処理装置。
13. 固定パターンノイズを取得する固定パターンノイズ取得ステップと、
    ランダムノイズを取得するランダムノイズ取得ステップと、
    前記ランダムノイズの量に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定ステップと、
    前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減ステップと
    を備えることを特徴とする画像処理方法。
14. 固定パターンノイズを取得する固定パターンノイズ取得ステップと、
    画像内の被写体の移動速度を取得する移動速度取得ステップと、
    前記取得した移動速度に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定ステップと、
    前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減ステップと
    を備えることを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１２の何れか一項に記載の画像処理装置として、機能させるためのプログラム。

Images