JP6160292B2 - 画像補正装置、撮像装置及び画像補正用コンピュータプログラム - Google Patents

Description

本発明は、例えば、処理対象となる画像よりも前または後に生成された画像を用いてその処理対象画像上の画素の値に含まれるノイズ成分を低減させる画像補正装置、撮像装置及び画像補正用コンピュータプログラムに関する。

従来より、動画像または連写された複数の静止画像といった時間的に連続する複数の画像を用いて、その複数の画像のうちの何れかの画像の各画素の値に含まれるノイズ成分を低減させる技術が研究されている。このような技術は、３次元ノイズリダクション(3-dimensional noise reduction, 3DNR)と呼ばれる。

3DNRを用いた画像補正装置の一例では、時間軸方向における画像上の各画素の値の揺らぎ成分が除去すべきノイズ成分となる。そこで画像補正装置は、時間的に連続する複数の画像の同じ位置にある画素の値を時間的に平均することで、ノイズ成分を低減する。そのために、画像補正装置は、例えば、現在の画像の画素の値から過去の画像の対応する画素の値を減じた差分値に帰還係数を乗じた値を、現在の画像のその画素の値に加算する。しかし、それら複数の画像において、移動物体が写っている動き領域の位置は画像ごとに異なる。そのため、複数画像間で同一位置の画素の値を時間的に平均すると、特に動き領域の境界周辺では、移動物体が写った画素の値と移動物体が写っていない画素の値とが平均化されるので、その境界周辺に移動物体の残像が生じ、その結果として画像がボケてしまう。

そこで、現在の映像信号と１フレーム前の映像信号との差分値が大きければ、帰還係数kを小さくして残像の低減を図り、差分値が小さければ帰還係数kを大きくすることによってノイズの低減を図る技術が提案されている（例えば、特許文献１を参照）。また、現フレームと動き補正された前フレーム間に適用される低域通過フィルタのフィルタ係数kを、フレーム間差分の絶対値とフレーム内の近傍画素間差分の絶対値の両方から求める技術が提案されている（例えば、特許文献２を参照）。

特開２０００−２０９５０７号公報 特開平７−２８８７１９号公報

しかしながら、上記の技術が適用されても、補正された画像上で、移動物体が写っている領域の周辺において移動物体の残像が生じてしまうことがある。例えば、移動物体が比較的速く動いていると、画像上で移動物体の境界が不明りょうとなり、その境界近傍での画素値の空間的な変化がゆるやかとなる。そのために、その境界近傍では、フレーム間での対応画素間の差分絶対値も小さくなるので、帰還係数が十分に小さくはならず、補正画像上の画素値に過去の画像の画素値もある程度反映されることになるためである。

そこで本明細書は、移動物体が写っている領域及びその周辺領域についても、残像によるボケを抑制しつつ、画素値に含まれるノイズ成分を低減可能な画像補正装置を提供することを目的とする。

一つの実施形態によれば、画像補正装置が提供される。この画像補正装置は、第１の画像と第２の画像の対応画素間の差分絶対値を算出する差分部と、第１の画像の注目画素の周囲に設定したフィルタ領域内の各画素の差分絶対値が大きいほど、第１の画像に対する第２の画像の合成比率を低くするように合成比率を算出する合成比率算出部と、注目画素についての第１の画像に対する第２の画像の合成比率で、第１の画像のその注目画素の値と第２の画像の対応する画素の値を合成することにより得られた値を補正画像の対応する画素の値とすることで補正画像を生成する合成部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された画像補正装置は、移動物体が写っている領域及びその周辺領域についても、残像によるボケを抑制しつつ、画素値に含まれるノイズ成分を低減できる。

従来技術において補正画像上で残像が発生する理由の説明図である。 画像補正装置が組み込まれた撮像装置の概略構成図である。 画像補正装置の構成図である。 動き指標と合成係数Kの関係の一例を示す図である。 第１の実施形態による画像補正処理の動作フローチャートである。 差分絶対値と重み係数の関係の一例を示す図である。 第２の実施形態による画像補正処理の動作フローチャートである。 各実施形態またはその変形例による画像補正装置の各部の機能を実現するコンピュータプログラムが動作することにより、画像補正装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、第１の実施形態による、画像補正装置について説明する。
最初に、図１を参照しつつ、従来技術では、補正画像上で残像が生じる例について説明する。図１には、現画像１００と、現画像の１フレーム前に生成された参照画像１１０と、現画像１００を参照画像１１０用いて補正することにより得られる補正画像１２０とが示されている。現画像１００の上には、水平方向の線１０１に沿った画素値のプロファイル１０２が示されている。同様に、参照画像１１０の上には、線１０１と同じ高さに位置する水平方向の線１１１に沿った画素値のプロファイル１１２が示されている。また補正画像１２０の上には、線１０１と同じ高さに位置する水平方向の線１２１に沿った画素値のプロファイル１２２が示されている。なお、プロファイル１０２、１１２、１２２において、横軸は水平方向の画素の位置を表し、縦軸は画素値を表す。参照画像１１０上に写っている移動物体１１３の輪郭付近の範囲１１４では、プロファイル１１２に示されるように、画素値はなだらかに変化している。そのため、参照画像上の範囲１１４の画素値と同じ位置の現画像１００上の範囲１０４の画素値の差が、ノイズによる画素値の揺らぎ程度に小さいことがある。そのため、従来技術では、プロファイル１２２に示されるように、現画像１００の範囲１０４内の画素の値が、参照画像１１０の同じ位置の画素の値とブレンドされ、結果的に元の画素値よりも低くなる。その結果、補正画像１２０上で、参照画像１１０上の移動物体１１３の輪郭付近に移動物体の残像１２４が生じる。

そこで、この画像補正装置は、補正対象となる現画像（第１の画像）の各画素の値を、現画像の前に生成された１枚以上の参照画像（第２の画像）を用いて補正することにより、現画像の各画素の値に含まれるノイズ成分を低減する。そのために、この画像補正装置は、現画像上に設定される任意の注目画素の周囲に設定されたフィルタ領域内で、現画像と参照画像の対応画素間の差分絶対値が所定値以上となる画素の数をカウントする。そしてこの画像補正装置は、そのカウント値が所定の閾値以上のときの現画像に対する参照画像の合成比率を、そのカウント値が所定の閾値未満のときの現画像に対する参照画像の合成比率よりも低くする。

また、本実施形態では、処理対象となる画像は、動画像データに含まれる。この画像は、プログレッシブ方式により生成されるフレームであってもよく、あるいは、インターレース方式によって生成されるフィールドであってもよい。また、処理対象となる画像は、RGB表色系で表され、各色ごとに8ビットの階調を持つカラーデジタル画像である。また以下の説明における画素値は、特定の色の成分を表す。そして色成分ごとに、下記に説明する処理が実行される。
なお、各色成分の階調を表すビット数は8ビットに限られず、例えば、4ビットあるいは10ビットでもよい。また処理対象となる画像は、YUV表色系あるいはHSV表色系といった他の表色系で表されるカラーデジタル画像であってもよい。この場合には、以下の説明における画素値は、色相、彩度、輝度などの成分を表す。そして成分ごとに、下記の処理が実行される。あるいは、処理対象となる画像は、各画素が輝度値のみを持つグレー画像であってもよい。さらに、処理対象となる画像は、連続撮影された複数の静止画像の何れかであってもよい。

図２は、第１の実施形態による画像補正装置が組み込まれた撮像装置の概略構成図である。撮像装置１は、時間的に連続する複数の画像を生成可能な撮像装置であり、例えば、ビデオカメラ、動画撮影機能を有する携帯電話機、あるいは動画撮影機能または連写機能を有するデジタルカメラである。図１に示すように、撮像装置１は、カメラモジュール２と、操作部３と、表示部４と、記憶部５と、画像補正装置６と、制御部７とを有する。さらに撮像装置１は、撮像装置１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部７と、撮像装置１のその他の各部とは、例えば、バスにより接続されている。

カメラモジュール２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。そしてカメラモジュール２は、一定の周期で被写体の像が写った画像を生成する。なお、上記のように、この画像は、RGB表色系で表され、各色ごとに8ビットの階調を持つカラーデジタル画像である。そしてカメラモジュール２は、画像を生成する度に、その生成した画像を記憶部５に記憶させる。

操作部３は、例えば、撮像装置１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部７へ送信する。

表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部７から受け取った各種の情報、またはカメラモジュール２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。

記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、カメラモジュール２から画像を受け取る度に、その受け取った画像を記憶する。記憶部５は、画像補正装置６からの読み出し要求によって画像を画像補正装置６へ渡す。また記憶部５は、画像補正装置６から受け取った、各画素の画素値に含まれるノイズ成分が低減された補正画像を記憶する。

画像補正装置６は、処理対象となる現画像の各画素の値を、その現画像の一つ前に生成された画像を画像補正装置６が補正することにより得られた補正画像を参照画像として利用して補正する。これにより、画像補正装置６は、現画像の各画素の値に含まれるノイズ成分を低減させた、現画像の補正画像を生成する。そして画像補正装置６は、補正画像を出力するとともに、その補正画像を次の画像に対する参照画像として記憶する。なお、画像補正装置６の詳細については後述する。

制御部７は、少なくとも一つのプロセッサ及びその周辺回路を有し、撮像装置１全体を制御する。例えば、制御部７は、操作部３から受け取った設定信号及び被写体の露光量に応じて、シャッタースピードまたは絞り径を設定する。また制御部７は、画像補正装置６により補正された画像に対してカラーバランスを調整したり、エッジ強調またはコントラスト強調といった処理を実行してもよい。

以下、画像補正装置６の各構成要素について説明する。図３に、第１の実施形態による画像補正装置６の構成図を示す。画像補正装置６は、フレーム間差分部１１と、動き指標算出部１２と、合成比率算出部１３と、合成部１４と、フレームメモリ１５とを有する。
画像補正装置６が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として形成される。また、画像補正装置６が有するこれらの各部は、それぞれ、別個の回路として形成されてもよい。

フレーム間差分部１１は、現画像と参照画像の対応画素間の差分絶対値を、画素ごとに算出する。なお、フレーム間差分部１１は、現画像と参照画像の対応画素間の差分値の２乗を計算することで、間接的に対応画素間の差分絶対値を算出してもよい。そしてフレーム間差分部１１は、画素ごとの差分絶対値を動き指標算出部１２へ出力する。

動き指標算出部１２は、現画像上の各画素を順次注目画素とし、その注目画素の周囲に所定のフィルタ領域を設定する。そして動き指標算出部１２は、注目画素ごとに、フィルタ領域内で差分絶対値が所定の差分閾値以上となる画素の数をカウントし、そのカウント値に基づいて注目画素またはその周囲に移動物体が写っている可能性を表す動き指標を算出する。なお、本実施形態では、動き指標の値が大きいほど、動き指標は、注目画素またはその周囲に移動物体が写っている可能性が高いことを表す。

本実施形態では、フィルタ領域は、注目画素を中心とする縦5画素×横5画素の領域である。しかし、フィルタ領域のサイズはこの例に限られず、縦3画素×横3画素、あるいは縦7画素×横7画素であってもよい。また、差分閾値は、例えば、移動物体が写っている画素でのフレーム間の画素値の変化量に相当する値、例えば、画素値が0〜255で表される場合、30に設定される。

動き指標算出部１２は、注目画素について、フィルタ領域内で差分絶対値が差分閾値以上となる画素のカウント値を、所定のカウント閾値Mと比較する。カウント閾値Mは、例えば、フィルタ領域のサイズの約1/3に設定され、本実施形態では、カウント閾値Mは8に設定される。

カウント値がカウント閾値M以上である場合、差分絶対値が大きい画素の数が比較的多いので、注目画素またはその周囲に移動物体が写っている可能性が高い。そこでこの場合、動き指標算出部１２は、動き指標の値が大きくなるように、フィルタ領域内で差分絶対値が差分閾値以上となる画素の差分絶対値と注目画素の差分絶対値の統計的代表値を動き指標の値とする。なお、統計的代表値として、動き指標算出部１２は、例えば、差分絶対値が差分閾値以上となる画素の差分絶対値と注目画素の差分絶対値の平均値、中央値または最頻値の何れかを算出すればよい。本実施形態では、動き指標算出部１２は、統計的代表値として、差分絶対値が差分閾値以上となる画素の差分絶対値と注目画素の差分絶対値の平均値を算出する。

一方、カウント値がカウント閾値M未満である場合、差分絶対値が大きい画素の数が比較的少ないので、注目画素またはその周囲に移動物体が写っている可能性は低い。そこでこの場合、動き指標算出部１２は、動き指標の値が小さくなるように、フィルタ領域内で差分絶対値が差分閾値未満となる画素の差分絶対値と注目画素の差分絶対値の統計的代表値を動き指標の値とする。この場合も、統計的代表値として、動き指標算出部１２は、例えば、差分絶対値が差分閾値未満となる画素の差分絶対値と注目画素の差分絶対値の平均値、中央値または最頻値の何れかを算出すればよい。本実施形態では、動き指標算出部１２は、統計的代表値として、差分絶対値が差分閾値未満となる画素の差分絶対値と注目画素の差分絶対値の平均値を算出する。
このように、注目画素の差分絶対値だけでなく、注目画素の周囲の画素の差分絶対値も動き指標値の算出に利用することで、動き指標算出部１２は、ノイズによる画素値の揺らぎで動き指標の値が左右されることを軽減できる。

動き指標算出部１２は、画素ごとに、動き指標の値を合成比率算出部１３へ出力する。

合成比率算出部１３は、画素ごとに、現画像と参照画像の合成比率を算出する。その際、合成比率算出部１３は、動き指標の値が小さい画素ほど、すなわち、移動物体が写っている可能性が低い画素ほど、参照画像の合成比率が高くなるように、合成比率を算出する。本実施形態では、合成比率は、参照画像に乗じる合成係数K及び現画像に乗じる合成係数(1-K)で表される。合成比率算出部１３は、画素ごとに、次式に従って、参照画像上の画素の値に乗じる合成係数Kを算出する。

ここで、K0は、動き指標の値が0のときの合成係数、すなわち、画素に移動物体が写っていないときの合成係数であり、例えば、0.5〜0.7程度に設定される。またvは動き指標の値を表す。そしてσは、動き指標の値に応じて、合成係数KをK0以下とするためのパラメータであり、例えば、カメラモジュール２のノイズ特性またはISO感度に応じて、5〜10程度に設定される。例えばσは、ノイズが多いほど、あるいは、ISO感度が高いほど、大きな値に設定される。したがって、合成係数Kは、0〜K0の範囲の何れかの値となる。なお、合成比率算出部１３は、（１）式に限られず、動き指標の値が大きいほど合成係数Kが小さくなる他の式に従って合成係数Kを算出してもよい。
合成比率算出部１３は、画素ごとに、求めた合成係数Kと(1-K)を合成部１４へ出力する。

図４は、動き指標と合成係数Kの関係の一例を示す図である。図４において、横軸は動き指標を表し、縦軸は合成係数Kを表す。そしてグラフ４００は、σ=10、K=0.7としたときに、（１）式に従った、動き指標の値と合成係数Kの関係を表す。グラフ４００に示されるように、動き指標の値が大きくなるほど、合成係数Kは低下する。すなわち、動き指標の値が大きい画素ほど、現画像に対する参照画像の合成比率は低下する。

合成部１４は、画素ごとに、合成比率算出部１３により算出された合成比率に従って、現画像の画素値と参照画像の画素値を合成することで、補正画像を生成する。
本実施形態では、合成部１４は、二つの乗算器１４１、１４２と、一つの加算器１４３を有する。乗算器１４１は、合成係数Kを、参照画像の画素の値に乗じる。一方、乗算器１４２は、合成係数(1-K)を、現画像の画素の値に乗じする。そして加算器１４３は、乗算器１４１の出力と乗算器１４２の出力を加算する。すなわち、合成部１４は、画素ごとに、次式に従って補正画像の画素の値を算出する。

ここで、I(n)は、現画像の注目画素の値を表す。またO(n-1)は、一つ前の画像から得られた参照画像の注目画素の値を表す。そしてO(n)は、現画像に対する補正画像の注目画素の値を表す。

合成部１４は、全ての画素について（２）式に従って現画像と参照画像を合成することで補正画像を算出する。そして合成部１４は、得られた補正画像を出力するとともに、その補正画像を次の参照画像として、フレームメモリ１５に書き込む。

フレームメモリ１５は、参照画像を１枚以上記憶する。そしてフレームメモリ１５は、記憶している参照画像をフレーム間差分部１１及び合成部１４へ出力する。

図５は、本実施形態による画像補正処理の動作フローチャートである。
フレーム間差分部１１は、現画像と参照画像の対応画素間の差分絶対値を、画素ごとに算出する（ステップＳ１０１）。そしてフレーム間差分部１１は、画素ごとの差分絶対値を動き指標算出部１２へ出力する。動き指標算出部１２は、それまで注目画素に設定されていない画素の中から注目画素を設定する（ステップＳ１０２）。そして動き指標算出部１２は、注目画素の周囲に設定したフィルタ領域内で、差分絶対値が差分閾値Th以上となる画素の数Cをカウントする（ステップＳ１０３）。そして動き指標算出部１２は、そのカウント値Cがカウント閾値M以上か否か判定する（ステップＳ１０４）。カウント値Cがカウント閾値M以上である場合（ステップＳ１０４−Ｙｅｓ）、動き指標算出部１２は、フィルタ領域内で差分絶対値が差分閾値Th以上となる画素の差分絶対値と注目画素の差分絶対値の平均値を動き指標の値Vとする（ステップＳ１０５）。一方、カウント値Cがカウント閾値M未満である場合（ステップＳ１０４−Ｎｏ）、動き指標算出部１２は、フィルタ領域内で差分絶対値が差分閾値Th未満となる画素の差分絶対値と注目画素の差分絶対値の平均値を動き指標の値Vとする（ステップＳ１０６）。

ステップＳ１０５またはＳ１０６の後、動き指標算出部１２は、未注目の画素が残っているか否か判定する（ステップＳ１０７）。未注目の画素が残っていれば（ステップＳ１０７−Ｙｅｓ）、動き指標算出部１２は、ステップＳ１０３〜Ｓ１０６の処理を繰り返す。一方、未注目の画素が残っていなければ（ステップＳ１０７−Ｎｏ）、動き指標算出部１２は、各画素の動き指標の値Vを合成比率算出部１３へ出力する。

合成比率算出部１３は、画素ごとに、その画素の動き指標の値Vが大きいほど、現画像に対する参照画像の合成比率が低くなるように、参照画像に対する合成係数K及び現画像に対する合成係数(1-K)を算出する（ステップＳ１０８）。そして合成比率算出部１３は、合成係数K、(1-K)を合成部１４へ出力する。

合成部１４は、画素ごとに、合成係数Kを参照画像の画素値に乗じた値と合成係数(1-K)を現画像の画素値に乗じた値を加算することで補正画像を生成する（ステップＳ１０９）。そして合成部１４は、得られた補正画像を出力するとともに、フレームメモリ１５に次の参照画像として書き込む。そして画像補正装置６は、画像補正処理を終了する。なお、ステップＳ１０８、Ｓ１０９の処理は、ステップＳ１０５またはＳ１０６の後、かつ、ステップＳ１０７の処理の前に行われてもよい。

以上に説明してきたように、この画像補正装置は、注目画素の周囲にある、時間軸方向での画素値の変化が大きい画素の数に基づいて現画像と参照画像の合成比率を調節する。そのため、この画像補正装置は、注目画素の時間的な画素値の変化のみを用いるよりも、注目画素またはその周囲に移動物体が写っているか否かを正確に判断できるので、注目画素またはその周囲に移動物体が写っている場合の参照画像の合成比率を低くできる。そのため、この画像補正装置は、補正画像上に生じる残像を抑制できる。

次に、第２の実施形態による画像補正装置について説明する。第２の実施形態による画像補正装置は、第１の実施形態による画像補正装置と比較して、動き指標算出部１２の処理のみが異なる。そこで以下では、動き指標算出部１２について説明する。画像補正装置のその他の構成要素の詳細については、第１の実施形態の対応する構成要素の説明を参照されたい。

本実施形態でも、動き指標算出部１２は、第１の実施形態と同様に、画素ごとにその周囲にフィルタ領域を設定する。ただし、この実施形態では、動き指標算出部１２は、フィルタ領域内の各画素について、現画像と参照画像の対応画素間の差分絶対値が大きいほど重くなる重み係数を設定する。そして動き指標算出部１２は、次式に示されるように、フィルタ領域内の画素ごとに、その画素の差分絶対値に重み係数を乗じて得られる値の合計を重み係数の合計で正規化した値を動き指標値とする。

ここで、P(i,j)(i=-2〜2, j=-2〜2)は、フィルタ領域内の画素(i,j)の差分絶対値を表し、N(i,j)は、画素(i,j)の重み係数を表す。ただし、画素(0,0)を注目画素とする。

図６は、差分絶対値と重み係数の関係の一例を示す図である。図６において、横軸は差分絶対値を表し、縦軸は重み係数を表す。この例では、グラフ６００は、N(i,j)＝P(i,j)/4+1の関係式によって重み係数が定められるときの差分絶対値と重み係数の関係を表す。なお、この関係式における右辺第１項の係数を(1/4)の代わりに、1あるいは16としてもよい。この係数は、例えば、実験的に、3DNRによるノイズ除去の効果と残像の発生状況とを調べながら適宜決定されればよい。またこの関係式における右辺第２項は、差分絶対値が0となるときに重み係数が0とならないようにするための定数項である。グラフ６００に示されるように、差分絶対値が大きくなるほど重み係数も大きくなる。なお、動き指標算出部１２は、差分絶対値が大きくなるほど重み係数も大きくなる他の関係式に従って、重み係数を算出してもよい。

図７は、第２の実施形態による画像補正処理の動作フローチャートである。なお、第２の実施形態による画像補正処理は、第１の実施形態による画像補正処理に対して、図５に示されたフローチャート中の動き指標算出に関する処理（ステップＳ１０３〜Ｓ１０６）が異なる。そこで以下では、動き指標算出に関する処理について示す。
ステップＳ１０２にて注目画素が設定されると、動き指標算出部１２は、フィルタ領域内の各画素について、現画像と参照画像の対応画素間の差分絶対値が大きいほど重み係数も大きくなるように、重み係数を決定する（ステップＳ２０１）。そして動き指標算出部１２は、フィルタ領域内の画素ごとに、その画素の差分絶対値に重み係数を乗じて得られる値の合計を重み係数の合計で正規化した値を動き指標値Vとして算出する（ステップＳ２０２）。

第２の実施形態によれば、画像補正装置は、動き指標値を、注目画素の周囲の画素の差分絶対値に強く相関させることができる。その結果として、注目画素またはその周囲に移動物体が写っていないときには、フィルタ領域内の各画素の重み係数は同程度となり、動き指標値は、フィルタ領域内の差分絶対値を単純平均して得られる値に近くなる。一方、注目画素またはその周囲に移動物体が写っているときには、その移動物体によって時間軸方向に画素値が変化する画素の重み係数が大きくなる。そのため、動き指標値に、移動物体により画素値が時間的に変化する画素の差分絶対値が反映され易くなるので、移動物体が写っている画素またはその周囲では、動き指標値が大きくなり、現画像に対する参照画像の合成比率が低下する。そのため、この画像補正装置は、移動物体による残像の発生を抑制できる。

なお、本発明は上記の実施形態に限定されるものではない。変形例によれば、画像補正装置は、現画像を複数のブロックに分割し、ブロックごとに動き補償を行ってから、上記の各部の処理を行ってもよい。この場合、画像補正装置は、ブロックごとに、参照画像とのブロックマッチングを実行して参照画像上でブロックと最も一致する領域である参照領域を検出する。そして画像補正装置は、ブロックごとに、そのブロックと参照領域間の空間的なずれを打ち消すように、参照領域を移動させることで動き補償すればよい。

また他の変形例によれば、動き指標算出部１２は、現画像の各画素について、フィルタ領域内の各画素の差分絶対値の統計的代表値、例えば、平均値、中央値または最頻値を動き指標値としてもよい。

なお、参照画像は、現画像に対して１フレーム前に生成された画像そのものであってもよい。また参照画像は、現画像よりも１フレーム後に生成された画像であってもよい。あるいはまた、参照画像は、現画像に対して時間軸方向に連続する画像に限定されない。例えば、現画像がインターレース方式で取得されたフィールドのうち、奇数行のデータのみを含むトップフィールドであるとする。この場合、参照画像も、現画像直前または直後に生成されるボトムフィールドではなく、現画像よりも一つ前あるいは一つ後に生成されたトップフィールドとすることができる。

さらに他の変形例によれば、画像補正装置は、現画像上の一部の画素についてのみ、上記の実施形態または変形例による画像補正処理を実行してもよい。例えば、画素値が輝度値を表している場合、カメラモジュール２に対して設定されたゲインが小さく、かつ、画素値が大きいほど、ノイズ成分の影響は低下する。そこで画像補正装置は、例えば、ゲインが、所定値以下で、かつ、画素値が所定の閾値以上の画素に対しては、画像補正処理を行わないようにしてもよい。これにより、画像補正装置は、現画像全体に対する演算量をより削減できる。なお、ゲインの所定値は、例えば、感度がISO100〜ISO200相当となる値に設定され、画素値の閾値は、例えば、画素値が8ビットで表される場合、127〜200に設定される。

さらに他の変形例によれば、画像補正装置が、制御部７の代わりに、補正された画像に対してカラーバランスを調整したり、エッジ強調またはコントラスト強調といった処理を実行してもよい。

上記の実施形態またはその変形例による画像補正装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。

図８は、上記の実施形態またはその変形例による画像補正装置の各部の機能を実現するコンピュータプログラムが動作することにより、画像補正装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。

ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、画像補正処理を開始させる操作信号をプロセッサ１０５へ出力する。

通信インターフェース部１０２は、コンピュータ１００を時間的に連続する複数の画像を生成可能な撮像装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、時間的に連続する複数の画像を取得し、その複数の画像を記憶部１０３に記憶させる。また通信インターフェース部１０２は、プロセッサ１０５から受け取った補正画像を通信ネットワークを介して他の機器へ出力してもよい。

記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される画像補正処理を実行するためのコンピュータプログラム、及びその画像補正処理の途中で得られる中間計算結果または参照画像などを記憶する。また記憶部１０３は、通信インターフェース部１０２から受け取った画像、またはプロセッサ１０５により生成された補正画像などを記憶する。

記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、画像補正処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、プロセッサ１０５により生成された補正画像を記憶媒体１０６に書き込んでもよい。

プロセッサ１０５は、上記の実施形態または変形例による画像補正装置の各部の機能を実現するコンピュータプログラムを実行することにより、処理対象となる画像の各画素の値に含まれるノイズ成分を低減した補正画像を生成する。そしてプロセッサ１０５は、生成された補正画像を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１の画像と第２の画像の対応画素間の差分絶対値を算出する差分部と、
前記第１の画像の注目画素の周囲に設定したフィルタ領域内の各画素の前記差分絶対値が大きいほど、前記第１の画像に対する前記第２の画像の合成比率を低くするように、当該合成比率を算出する合成比率算出部と、
前記注目画素についての前記第１の画像に対する前記第２の画像の合成比率で、前記第１の画像の前記注目画素の値と前記第２の画像の対応する画素の値を合成することにより得られた値を補正画像の対応する画素の値とすることで該補正画像を生成する合成部と、
を有する画像補正装置。
（付記２）
前記フィルタ領域内の各画素について、当該画素の前記差分絶対値が大きいほど大きくなるように重み係数を決定し、前記フィルタ領域内の各画素の前記差分絶対値に当該画素の前記重み係数を乗じて得られる値を合計することで、移動物体が写っている可能性を表す動き指標値を算出する動き指標算出部をさらに有し、
前記合成比率算出部は、前記動き指標値が大きいほど、前記第１の画像に対する前記第２の画像の合成比率を低くする、付記１に記載の画像補正装置。
（付記３）
前記動き指標算出部は、前記フィルタ領域内の各画素の前記差分絶対値に当該画素の前記重み係数を乗じて得られる値の合計値を、前記フィルタ領域内の各画素の前記重み係数の合計で除することにより前記動き指標値を算出する、付記２に記載の画像補正装置。
（付記４）
前記フィルタ領域内で前記差分絶対値が第１の閾値以上となる画素の数をカウントし、当該画素の数が第２の閾値以上となる場合、前記フィルタ領域内で前記第１の閾値以上となる画素の前記差分絶対値及び前記注目画素の前記差分絶対値の統計的代表値を、移動物体が写っている可能性を表す動き指標値として算出し、前記画素の数が前記第２の閾値未満となる場合、前記フィルタ領域内で前記第１の閾値未満となる画素の前記差分絶対値及び前記注目画素の前記差分絶対値の統計的代表値を前記動き指標値として算出する動き指標算出部をさらに有し、
前記合成比率算出部は、前記動き指標値が大きいほど、前記第１の画像に対する前記第２の画像の合成比率を低くする、付記１に記載の画像補正装置。
（付記５）
第１の画像及び第２の画像を生成する撮像部と、
前記第１の画像と前記第２の画像の対応画素間の差分絶対値を算出し、
前記第１の画像の注目画素の周囲に設定したフィルタ領域内の各画素の前記差分絶対値が大きいほど、前記第１の画像に対する前記第２の画像の合成比率を低くするように、当該合成比率を算出し、
前記注目画素についての前記第１の画像に対する前記第２の画像の合成比率で、前記第１の画像の前記注目画素の値と前記第２の画像の対応する画素の値を合成することにより得られた値を補正画像の対応する画素の値とすることで該補正画像を生成する画像補正部と、
を有する撮像装置。
（付記６）
第１の画像と第２の画像の対応画素間の差分絶対値を算出し、
前記第１の画像の注目画素の周囲に設定したフィルタ領域内の各画素の前記差分絶対値が大きいほど、前記第１の画像に対する前記第２の画像の合成比率を低くするように、当該合成比率を算出し、
前記注目画素についての前記第１の画像に対する前記第２の画像の合成比率で、前記第１の画像の前記注目画素の値と前記第２の画像の対応する画素の値を合成することにより得られた値を補正画像の対応する画素の値とすることで該補正画像を生成する、
ことをコンピュータに実行させるための画像補正用コンピュータプログラム。

１ 撮像装置
２ カメラモジュール
３ 操作部
４ 表示部
５ 記憶部
６ 画像補正装置
７ 制御部
１１ フレーム間差分部
１２ 動き指標算出部
１３ 合成比率算出部
１４ 合成部
１４１、１４２ 乗算器
１４３ 加算器
１５ フレームメモリ
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体

Claims (4)

1. 第１の画像と第２の画像の対応画素間の差分絶対値を算出する差分部と、
   前記第１の画像の注目画素の周囲に設定したフィルタ領域内で前記差分絶対値が第１の閾値以上となる画素の数をカウントする動き指標算出部と、
   前記フィルタ領域内の各画素の前記差分絶対値が大きいほど、前記第１の画像に対する前記第２の画像の合成比率を低くし、かつ、前記画素の数が第２の閾値以上となる場合の前記合成比率が前記画素の数が前記第２の閾値未満となる場合の前記合成比率よりも低くなるように、当該合成比率を算出する合成比率算出部と、
   前記注目画素についての前記第１の画像に対する前記第２の画像の合成比率で、前記第１の画像の前記注目画素の値と前記第２の画像の対応する画素の値を合成することにより得られた値を補正画像の対応する画素の値とすることで該補正画像を生成する合成部と、
   を有する画像補正装置。
2. 前記動き指標算出部は、前記画素の数が前記第２の閾値以上となる場合、前記フィルタ領域内で前記第１の閾値以上となる画素の前記差分絶対値及び前記注目画素の前記差分絶対値の統計的代表値を、移動物体が写っている可能性を表す動き指標値として算出し、前記画素の数が前記第２の閾値未満となる場合、前記フィルタ領域内で前記第１の閾値未満となる画素の前記差分絶対値及び前記注目画素の前記差分絶対値の統計的代表値を前記動き指標値として算出し、
   前記合成比率算出部は、前記動き指標値が大きいほど、前記第１の画像に対する前記第２の画像の合成比率を低くする、請求項１に記載の画像補正装置。
3. 第１の画像及び第２の画像を生成する撮像部と、
   前記第１の画像と前記第２の画像の対応画素間の差分絶対値を算出し、
   前記第１の画像の注目画素の周囲に設定したフィルタ領域内で前記差分絶対値が第１の閾値以上となる画素の数をカウントし、
   前記フィルタ領域内の各画素の前記差分絶対値が大きいほど、前記第１の画像に対する前記第２の画像の合成比率を低くし、かつ、前記画素の数が第２の閾値以上となる場合の前記合成比率が前記画素の数が前記第２の閾値未満となる場合の前記合成比率よりも低くなるように、当該合成比率を算出し、
   前記注目画素についての前記第１の画像に対する前記第２の画像の合成比率で、前記第１の画像の前記注目画素の値と前記第２の画像の対応する画素の値を合成することにより得られた値を補正画像の対応する画素の値とすることで該補正画像を生成する画像補正部と、
   を有する撮像装置。
4. 第１の画像と第２の画像の対応画素間の差分絶対値を算出し、
   前記第１の画像の注目画素の周囲に設定したフィルタ領域内で前記差分絶対値が第１の閾値以上となる画素の数をカウントし、
   前記フィルタ領域内の各画素の前記差分絶対値が大きいほど、前記第１の画像に対する前記第２の画像の合成比率を低くし、かつ、前記画素の数が第２の閾値以上となる場合の前記合成比率が前記画素の数が前記第２の閾値未満となる場合の前記合成比率よりも低くなるように、当該合成比率を算出し、
   前記注目画素についての前記第１の画像に対する前記第２の画像の合成比率で、前記第１の画像の前記注目画素の値と前記第２の画像の対応する画素の値を合成することにより得られた値を補正画像の対応する画素の値とすることで該補正画像を生成する、
   ことをコンピュータに実行させるための画像補正用コンピュータプログラム。

Images