JP5213604B2 - 撮像装置 - Google Patents

Description

本発明は、撮像して得られる画像にノイズ低減処理を施す撮像装置に関する。

近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、画像を表示する液晶ディスプレイなどの表示装置が広く普及している。そして、このような撮像装置によって撮像される画像や、表示装置によって表示される画像のノイズを低減するための各種のノイズ低減技術が提案されている（特許文献１参照）。

このノイズ低減技術の１つとして、時間的に異なる２つのフレームの画像信号の差分値からノイズ成分を求め、画像信号からノイズ成分を除去することでノイズを低減する３次元ノイズ低減処理が用いられることがある。また、２つのフレームの画像信号の差分値から動き量を求め、これをノイズ低減処理に利用することがある。例えば、動き量が小さい箇所では、ノイズ成分の減算量を大きくする制御を行い効果的にノイズを除去する。一方、動き量が大きい箇所では、ノイズ成分の減算量を小さくして尾引きや残像などの発生を抑制する制御を行う。

このようなノイズ低減処理を行うノイズ低減処理装置に実装される動き量算出部について、図２０を参照して説明する。図２０は、従来のノイズ低減処理装置に実装される動き量算出部の構成を示す模式図である。

図２０に示すように、動き量算出部１００は、現フレームと１つ前のフレームの画像信号の差分値を算出する差分値算出部１０１と、差分値算出部１０１から出力される差分値の絶対値を算出する絶対値算出部１０２と、絶対値算出部１０２から出力される差分値の絶対値を平滑化処理（特に、注目画素及び周辺画素のそれぞれに乗算するフィルタ係数が１であり、乗算後の各値を合算して得られた値を画素数で除算する処理）して動き量を算出するフィルタ部１０３と、を備える。

特開２０００−１１５５８６号公報

しかしながら、図２０に示す動き量算出部では、動き量が精度良く算出されない場合が生じ得る。この場合について図２１を参照して説明する。図２１は、従来のノイズ低減処理装置に実装される動き量算出部の動作例を示す模式図である。図２１では、注目画素（図中の太線で囲われた画素）とその周囲の画素とをあわせた３５個の画素値に基づいて動き量を算出する場合について示している。また、説明の簡略化のために、画素値は１００または０のいずれか一方の値をとるものとする。なお、物体を示す画素の画素値を１００とし、背景を示す画素の画素値を０とする。

図２１（ａ）は、注目画素の画素値が変動せずに、物体が右方から左方に移動した場合について示している。図２１（ａ）に示す場合、絶対値算出部１０２から出力される差分値の絶対値は、１０個の画素（右方から２列目及び３列目の画素）が１００、他の２５個の画素が０となる。そのため、動き量は１００×１０／３５≒２９となる。

一方、図２１（ｂ）は、注目画素の画素値が変動し、物体が左方から右方に移動した場合について示している。図２１（ｂ）に示す場合、絶対値算出部１０２から出力される差分値の絶対値は図２１（ａ）に示す場合と同様に、１０個の画素（左方から３列目及び４列目の画素）が１００、他の２５個の画素が０となる。そのため、動き量は１００×１０／３５≒２９となる。

図２１（ａ）に示す場合では、注目画素の画素値が変動しておらず、注目画素の動き量が小さくなる（静止していると判定される）ことが好ましい。一方、図２１（ｂ）に示す場合では、注目画素の画素値が変動しており、注目画素の動き量が大きくなる（動きが発生していると判定される）ことが好ましい。しかしながら、どちらの動き量も同じ値となってしまうため、同様の制御が施されてしまう。

したがって、特に図２１（ａ）の場合、ノイズが十分に減算されない場合が生じ得る。また、特に図２１（ｂ）の場合、動きによる画素値の変動がノイズと誤認されるとともに、誤認されたノイズを減算する処理が行われ、尾引きや残像などが発生する場合が生じ得る。

以上の問題を鑑みて、本発明は、状況に応じて動き量を精度良く算出して適切な制御を行うことを可能とする撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像して画像を得る撮像部と、当該撮像部により得られた画像にノイズ低減処理を施して出力画像を得るノイズ低減処理部と、を備えた撮像装置において、前記ノイズ低減処理部が、前記撮像部により撮像されたタイミングが異なる第１画像及び第２画像の、対応するそれぞれの画素の画素値の差分値に基づいて動き量を算出する動き量算出部と、前記第１画像の画素の画素値から除去値を減算して出力画像を得るノイズ除去部と、を備え、前記動き量算出部が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に重みを与えるとともに合算した値に基づいて、前記動き量を算出するものであり、当該重みを前記第１画像または前記第２画像に基づいて設定し、前記ノイズ除去部が、前記動き量に基づいて前記除去値を設定することを特徴とする。

なお、以下の実施形態においては、重みの一例としてフィルタ係数を挙げて説明する。

また、上記構成の撮像装置において、前記除去値が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に基づいて算出されるとともに、前記動き量が大きくなるほど小さい値となるように設定され、前記動き量算出部が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に前記重みを与えるとともに合算した値を、前記重みを合算した値で除算して、前記動き量を算出することとしても構わない。

このように構成すると、除去値が、第１画像及び第２画像のそれぞれの画素の画素値の差分値に基づいたものとなる。そのため、ノイズなどによって第１画像の画素の画素値が変動した場合に、画素値から除去値を減算することで好適にノイズを低減することが可能となる。また、被写体などが動いて動き量が大きくなる場合、第１画像の画素の画素値から除去値を減算すると、尾引きや残像が発生する。しかしながら、本構成のように動き量が大きいほど除去値を低減することで、尾引きや残像の発生を抑制することが可能となる。

また、上記構成の撮像装置において、前記動き量算出部が、前記第１画像に基づいて前記重みを設定し、前記動き量を算出することとしても構わない。また、前記第２画像が、前記第１画像よりも前に撮像されたものであるとともに、前記ノイズ低減処理が施された出力画像であることとしても構わない。

また、上記構成の撮像装置において、前記第２画像が、前記第１画像よりも前に撮像されたものであるとともに、前記ノイズ低減処理が施された出力画像であり、前記動き量算出部が、前記第２画像に基づいて前記重みを設定し、前記動き量を算出することとしても構わない。

このように構成すると、ノイズが低減された第２画像に基づいて重みを設定することが可能となる。そのため、重みを設定する画像に、ノイズなどによる異常な画素値を備える画素が含まれることを抑制することが可能となる。したがって、精度良く動き量を算出することが可能となる。

また、上記構成の撮像装置において、前記動き量算出部が、前記第１画像に基づいて設定される前記重みと、前記第２画像に基づいて設定される前記重みと、から所定の条件に近い方の前記重みを選択し、当該重みを用いて前記動き量を算出することとしても構わない。

このように構成すると、第１画像から算出される重みと第２画像から算出される重みとのうち、良好な方の結果を利用することが可能となる。したがって、精度良く動き量を算出することが可能となる。なお、上記の所定の条件に近い方の重みを、合算した値が所定の値に近い方の重み、としても構わない。

重みを合算した値が大きい場合、多数の画素の画素値が動き量に反映されることとなる。そのため、注目画素における被写体の動きの大小を判定することが困難となる。一方、重みを合算した値が小さい場合、少数の画素の画素値が動き量に反映されることとなる。そのため、ノイズなどが含まれてこれらの画素の画素値が異常なものとなる場合、除去値が不適となりノイズ低減処理後の画素の画素値が不適なものとなりやすい。したがって例えば、重みを合算した値が、取り得る範囲の略中間値であることを上記の所定の条件とすると好適である。

また、上記構成の撮像装置において、前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、前記画素群に備えられるそれぞれの画素のうち、前記注目画素の画素値との差が小さい画素値を有する画素ほど、前記重みが大きくなるように設定されることとしても構わない。

このように構成すると、簡易な構成で動き量を算出することが可能となる。

また、上記構成の撮像装置において、前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、前記画素群に備えられるそれぞれの画素のうち、前記注目画素及びその近傍の画素の画素値を平滑化した値との差が小さい画素値を有する画素ほど、前記重みが大きくなるように設定されることとしても構わない。

このように構成すると、ノイズなどによって注目画素の画素値が不適なものとなる場合でも、精度良く重みが設定される。したがって、精度良く動き量を算出することが可能となる。

また、上記構成の撮像装置において、前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、前記動き量算出部が、前記注目画素の位置と前記周辺画素の位置とに基づいて得られる第１成分と、前記注目画素の画素値と前記周辺画素の画素値との差分値に基づいて得られる第２成分と、を算出し、前記第１成分と前記第２成分とを乗算した値を前記重みとすることとしても構わない。

このように構成すると、精度良く動き量を算出することが可能となる。なお、以下の実施形態においては、第１成分の一例としてドメインフィルタ係数を挙げ、第２成分としてレンジフィルタ係数を挙げて説明する。

また、上記構成の撮像装置において、前記動き量算出部が、前記重みを合算した値が小さくなるほど、前記動き量が小さくなるように設定することとしても構わない。

重みを合算した値が僅かな値であるとき、ノイズの影響を受けている画素の画素値が動き量に強く反映されている可能性が高くなる。そのため、動き量が大きくなりノイズが十分に低減されない可能性が高くなる。しかしながら、上記の構成とすることにより、動き量を小さくして効果的にノイズを低減することが可能となる。

本発明によると、動き量を算出するために用いる重みを、入力される画像の画素値の状況に応じて設定することとしている。そのため、動き量を精度良く算出することが可能となるとともに、効果的にノイズを低減し、かつ、尾引きや残像などが発生することを抑制することが可能となる。

本発明における撮像装置の実施形態について、図面を参照して説明する。また、撮像装置として、デジタルカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換するマイク５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、マイク５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号にノイズ低減処理を施すノイズ低減処理部６０を備える。

また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、画像処理部６に備えられるノイズ低減処理部６０は、入力される画像信号に対してノイズ低減処理を施す。

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。マイク５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。

＜＜ノイズ低減処理部＞＞
次に、図１に示したノイズ低減処理部６０の構成について図面を参照して説明する。図２は、本発明の実施形態における撮像装置に備えられるノイズ低減処理部の構成を示すブロック図である。なお、以下では説明の具体化のために、ノイズ低減処理部６０に入力されてノイズ低減処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、ノイズ低減処理部６０から出力される画像信号を「出力画像」と呼ぶこととする。

また、順次入出力される入力画像及び出力画像の順序を、フレームを用いて表現する。特に、ノイズ低減処理が行われる対象となる入力画像を現フレームの入力画像とし、この現フレームの入力画像にノイズ低減処理が施されて出力される出力画像を現フレームの出力画像とする。また、現フレームの入力画像の前にノイズ低減処理部６０に入力される入力画像を前フレームの入力画像とし、この前フレームの入力画像にノイズ低減処理が施されて出力される出力画像を前フレームの出力画像とする。

図２に示すように、ノイズ低減処理部６０は、現フレームの入力画像とフレームメモリ５０に一時的に記憶された前フレームの出力画像とに基づいてノイズ除去量を算出するノイズ除去量算出部６１と、現フレームの入力画像とフレームメモリ５０に一時的に記憶された前フレームの出力画像とに基づいて動き量を算出する動き量算出部６２と、動き量に基づいて帰還係数を算出する帰還係数算出部６３と、ノイズ除去量と帰還係数とに基づいて現フレームの入力画像のノイズを低減して現フレームの出力画像を生成するノイズ低減部６４と、を備える。

＜ノイズ除去量算出部＞
ノイズ除去量算出部６１について図面を参照して説明する。図３は、ノイズ除去量算出部の構成を示す模式図である。図３に示すように、ノイズ除去量算出部６１は、現フレームの入力画像と前フレームの出力画像との差分値を求める差分値算出部６１ａと、差分値算出部６１ａより得られる差分値に基づいてノイズ除去量を設定するノイズ除去量設定部６１ｂと、を備える。なお、差分値算出部６１ａで求められる差分値は、画素毎の値となる。

ノイズ除去量設定部６１ｂは、例えば、図４に示すような方法でノイズ除去量を設定する。図４は、ノイズ除去量の設定方法の一例を示すグラフである。図４に示すように、ノイズ除去量設定部６１ｂは、画素毎に求められる差分値ｘに基づいてノイズ除去量ｎ（ｘ）を設定する。なお、図４に示すようにノイズ除去量を設定する場合、ｎ（ｘ）は下記式（１）に示すものとなる。

上記式（１）に示されるｎ（ｘ）では、差分値ｘの絶対値が閾値ｔｈ（ｔｈ＞０）を超える場合、ノイズ除去量ｎ（ｘ）が抑制される。そのため、被写体や撮像装置の動きなどによって画素値に大きな変動が生じた場合に、ノイズによる変動と誤認されてノイズ除去量が大きく設定されることが抑制される。したがって、尾引きや残像などの発生を抑制することが可能となる。

＜帰還係数算出部＞
次に、帰還係数算出部６３について図面を参照して説明する。図５は、帰還係数の設定方法の一例を示すグラフである。図５に示すように、帰還係数は、動き量が増大するほど小さくなる。例えば、動き量が０であれば１となり、動き量が閾値ｔｈＭを超えると０となる。なお、動き量算出部６２の構成や動き量の算出方法の詳細については後述するが、概ね、現フレームの入力画像の画素値と前フレームの出力画像の画素値との差分値の絶対値が大きいほど動き量も大きくなる。

＜ノイズ低減部＞
図２に示すように、ノイズ低減部６４は、ノイズ除去量に帰還係数を乗じて除去値を算出する乗算部６４ａと、現フレームの入力画像から除去値を減算する減算部６４ｂと、を備える。

上述のように、動き量が大きいと帰還係数が小さくなる。そのため、ノイズ除去量に帰還係数を乗じて算出される除去値は、ノイズ除去量を大きく低減したものとなり、小さい値となる。動き量が大きい場合、現フレームの入力画像と前フレームの出力画像との差分値は、主に被写体や撮像装置１の動きによって発生するブレなどによるものと考えられる。そのため、除去値を小さいものとして、現フレームの入力画像を略そのまま現フレームの出力画像として出力する。これにより、尾引きや残像の発生を抑制することが可能となる。

一方、動き量が小さいと帰還係数が大きくなる。そのため、ノイズ除去量に帰還係数を乗じて算出される除去値は、ノイズ除去量をあまり低減しないものとなり、大きい値となる。動き量が小さい場合、現フレームの入力画像と前フレームの出力画像との差分値は、主にランダムに発生するノイズに起因するものと考えられる。そのため、除去値を大きいものとして、現フレームの入力画像から好適にノイズを低減する。

＜動き量算出部＞
次に、動き量算出部６２の各実施例について、以下説明する。

（第１実施例）
動き量算出部の第１実施例について図面を参照して説明する。図６は、動き量算出部の第１実施例の構成を示す模式図である。図６に示すように、本実施例の動き量算出部６２ａは、現フレームの入力画像と前フレームの出力画像との差分値を画素毎に算出する差分値算出部６２１と、差分値算出部６２１から出力される差分値の絶対値を算出する絶対値算出部６２２と、絶対値算出部６２２から出力される差分値の絶対値に平滑化処理を行い動き量を算出するフィルタ部６２３と、現フレームの入力画像に基づいてフィルタ部６２３のフィルタ係数を算出するフィルタ係数算出部６２４ａと、を備える。

フィルタ部６２３は、例えば、注目画素及び周辺画素のそれぞれに所定のフィルタ係数を乗算し、乗算後の各値を合算して得られた値を所定の数（以下、除数とする）で除算するフィルタである。また、フィルタ部６２３は、フィルタ係数が可変であり除数も可変であるものとする。なお、フィルタ部６２３の具体的な構成例については後述する。

次に、動き量算出部６２ａの動作について図面を参照して説明する。図７は、動き量算出部の第１実施例の動作例を示す模式図である。図７では、注目画素を太線の実線で示し、重みが大きいフィルタ係数が乗算される画素の範囲を太線の破線で示している。また、説明の簡略化のために、画素値は１００または０のいずれかの値をとるものとする。なお、物体を示す画素の画素値を１００とし、背景を示す画素の画素値を０とする。

図６に示すように、本実施例の動き量算出部６２ａは、まず、差分値算出部６２１で現フレームの入力画像と前フレームの出力画像との差分値が画素毎に算出される。このとき、例えば、注目画素と注目画素を中心とした周囲画素とを併せた３５個（水平方向に７行、垂直方向に５列）の画素のそれぞれについて、差分値が算出される。そして、得られた差分値は絶対値算出部６２２に入力され、絶対値が算出される。

一方、フィルタ係数算出部６２４ａは、現フレームの入力画像に基づいてフィルタ係数を算出する。具体的に例えば、まず、注目画素の画素値と略等しい画素値（例えば、注目画素の画素値との差が所定の範囲内となる画素値）を有する画素を検出する。そして、フィルタ部６２３が動き量を算出する際に、当該検出された画素の画素値の重みが大きくなるようにフィルタ係数を設定する。

以下では、上記のようにして検出された画素に乗算されるフィルタ係数を１とし、それ以外の画素に乗算されるフィルタ係数を０とする場合を例に挙げて説明する。なお、乗算後の各値を合算して得られた値を除算する除数は、設定されるフィルタ係数を合算した値（即ち、本例ではフィルタ係数＝１が乗算される画素の数）とする。

図７（ａ）に示す例では、現フレームの入力画像の注目画素の画素値が１００である。また、図中の太線の破線で示すように、画素値が１００となる画素は水平方向の左方から４列分の２０個である。本実施例では、これら２０個の画素の差分値の絶対値のそれぞれに対してフィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝２０で除算される。なお、図７（ａ）に示す場合では、２０個全ての画素の差分値の絶対値が０となる。そのため、（０×２０）／２０＝０が動き量となる。

図７（ｂ）に示す例では、現フレームの入力画像の注目画素の画素値が１００である。また、図中の太線の破線で示すように、画素値が１００となる画素は水平方向の左方から４列分の２０個となる。本実施例では、これら２０個の画素の差分値の絶対値のそれぞれに対して、フィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝２０で除算される。図７（ｂ）に示す場合では、１０個の画素の差分値の絶対値が０となり、１０個の画素の差分値の絶対値が１００となる。そのため、（０×１０＋１００×１０）／２０＝５０が動き量となる。

本実施例の動き量算出部６２ａによると、現フレームの注目画素と画素値が略等しい画素の重みを大きくして動き量を算出するため、注目画素の画素値の変動に対応する動き量をより精度良く算出することが可能となる。

具体的に、図７（ａ）,（ｂ）のそれぞれの場合について説明する。図７（ａ）に示す場合、物体に動きはあるが、注目画素の画素値が変動していないため、動きが小さいと判定されることが好ましい。本実施例の場合、動き量算出部６２ａから出力される動き量は０となり、動きが小さい（静止している）と判定される。したがって、ノイズ低減部６４に入力される帰還係数が大きくなることで除去値が大きくなり、ノイズを効果的に抑制することが可能となる。

一方、図７（ｂ）に示す場合では、物体に動きがあり、注目画素の画素値が変動しているため、動きが大きいと判定されることが好ましい。本実施例の場合、動き量算出部６２ａから出力される動き量は５０となり、動きが大きいと判定される。したがって、ノイズ低減部６４に入力される帰還係数が小さくなることで除去値が小さくなり、尾引きや残像の発生を抑制することが可能となる。

（第２実施例）
動き量算出部の第２実施例について図面を参照して説明する。図８は、動き量算出部の第２実施例の構成を示す模式図であり、第１実施例について示した図６に相当するものである。なお、第１実施例と同様となる部分には同じ符号を付し、詳細な説明については省略する。

図８に示すように、本実施例の動き量算出部６２ｂは、差分値算出部６２１と、絶対値算出部６２２と、フィルタ部６２３と、前フレームの出力画像に基づいてフィルタ部６２３のフィルタ係数を算出するフィルタ係数算出部６２４ｂと、を備える。

次に、動き量算出部６２ｂの動作について図面を参照して説明する。図９は、動き量算出部の第２実施例の動作例を示す模式図であり、第１実施例について示した図７に相当するものである。なお、図７と同様に図９でも、注目画素を太線の実線で示し、重みが大きいフィルタ係数が乗算される画素の範囲を太線の破線で示している。また、説明の簡略化のために、画素値は１００または０のいずれかの値をとるものとする。なお、物体を示す画素の画素値を１００とし、背景を示す画素の画素値を０とする。

図８に示すように、本実施例の動き量算出部６２ｂは、まず、差分値算出部６２１で現フレームの入力画像と前フレームの出力画像との差分値が画素毎に算出される。例えば、第１実施例と同様に３５個の画素のそれぞれについて差分値が算出される。そして、得られた差分値は絶対値算出部６２２に入力され、絶対値が算出される。

一方、フィルタ係数算出部６２４ｂは、前フレームの出力画像に基づいてフィルタ係数を算出する。具体的に例えば、まず、注目画素の画素値と略等しい画素値（例えば、注目画素の画素値との差が所定の範囲内となる画素値）を有する画素を検出する。そして、フィルタ部６２３が動き量を算出する際に、当該検出された画素の画素値の重みが大きくなるようにフィルタ係数を設定する。なお、以下の説明においても、第１実施例と同様に、当該検出された画素に乗算されるフィルタ係数を１とし、それ以外の画素に乗算されるフィルタ係数を０とする。また、乗算後の各値を合算して得られた値を除算する除数は、設定されるフィルタ係数を合算した値（即ち、本例ではフィルタ係数＝１が乗算される画素の数）とする。

図９（ａ）に示す例では、前フレームの出力画像の注目画素の画素値が１００である。また、図中の太線の破線で示すように、画素値が１００となる画素は水平方向の左方から６列分の３０個である。本実施例では、これら３０個の画素の差分値の絶対値のそれぞれに対して、フィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝３０で除算される。なお、図９（ａ）に示す場合では、２０個の画素の差分値の絶対値が０となり、１０個の画素の差分値の絶対値が１００となる。そのため、（０×２０＋１００×１０）／３０≒３３が動き量となる。

図９（ｂ）に示す例では、現フレームの入力画像の注目画素の画素値が１００である。また、図中の太線の破線で示すように、画素値が１００となる画素は水平方向の右方から５列分の２５個となる。本実施例では、これら２５個の画素の差分値の絶対値のそれぞれに対して、フィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝２５で除算される。なお、図９（ｂ）に示す場合では、１５個の画素の差分値の絶対値が０となり、１０個の画素の差分値の絶対値が１００となる。そのため、（０×１５＋１００×１０）／２５＝４０が動き量となる。

本実施例の動き量算出部６２ｂは、前フレームの出力画像の注目画素と画素値が略等しい画素の重みを大きくして動き量を算出する。そのため、第１実施例の動き量算出部６２ａと同様に、注目画素の画素値の変動に対応する動き量をより精度良く算出することが可能となる。

具体的に、図９（ａ）,（ｂ）のそれぞれの場合について説明する。図９（ａ）に示す場合、物体に動きはあるが、注目画素の画素値が変動していないため、動きが小さいと判定されることが好ましい。本実施例の場合、動き量算出部６２ｂから出力される動き量は３３となり、動きが比較的小さいと判定される。したがって、ノイズ低減部６４に入力される帰還係数が大きくなることで除去値が大きくなり、ノイズを効果的に抑制することが可能となる。

一方、図９（ｂ）に示す場合では、物体に動きがあり、注目画素の画素値が変動しているため、動きが大きいと判定されることが好ましい。本実施例の場合、動き量算出部６２ｂから出力される動き量は４０となり、動きが比較的大きいと判定される。したがって、ノイズ低減部６４に入力される帰還係数が小さくなることで除去値が小さくなり、尾引きや残像の発生を抑制することが可能となる。

また、本実施例の動き量算出部６２ｂは、ノイズ低減処理が既に施されている前フレームの出力画像の注目画素を基準としてフィルタ係数を設定する。そのため、フィルタ係数を算出する際に、ノイズの影響を抑制することが可能となる。具体的には、ノイズの影響で注目画素やその他の画素の画素値が異常な値となるためにフィルタ係数が精度良く算出されなくなることを、抑制することが可能となる。したがって、さらに精度良く動き量を算出することが可能となる。

また、本実施例の構成であれば、例えば画素値が一様となる平坦部分においても、効果的にノイズを低減することが可能となる。これについて図面を参照して説明する。図１０は、動き量算出部の第２実施例の動作例を示す模式図であり、図９と同様のものである。図１０（ａ），（ｂ）は、ノイズによって画素値が変動する場合を示したものである。なお、説明の簡略化のために、ノイズが含まれる画素の画素値を全て５００とする。

図１０（ａ）は、前フレームの出力画像において、注目画素とその近傍（注目画素の下部の画素１個）にのみノイズが含まれている場合を示している。この場合、この２個の画素の差分値の絶対値に対して、フィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝２で除算される。図１０（ａ）に示す場合では、現フレームの入力画像にはノイズの影響がなく、動き量が算出される３５個の画素の画素値の全てが０である。そのため、２個の画素の差分値の絶対値はそれぞれ５００となる。したがって、（５００×２）／２＝５００が動き量となる。

図１０（ａ）に示すように、動きが発生していない場合でも、ノイズなどの影響によって動き量が大きくなる。そしてこの場合、帰還係数が小さくなり、ノイズを含んだ前フレームの出力画像と現フレームの入力画像との差分値に基づいて設定された不適なノイズ除去量の帰還が抑制される（除去値が小さくなる）。したがって、現フレームの出力画像の画素の画素値が不適なものになることが抑制される。

また図１０（ｂ）は、前フレームの出力画像において、注目画素の近傍（注目画素の左方の画素２個）にのみノイズが含まれ、注目画素にノイズが含まれていない場合を示している。この場合、この２個の画素を除く３３個の画素の差分値の絶対値に対して、フィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝３３で除算される。図１０（ｂ）に示す場合では、現フレームの入力画像の注目画素にのみノイズが含まれている。そのため、注目画素の差分値の絶対値は５００となり、他の３２個の画素の差分値の絶対値は０となる。したがって、（５００×１＋０×３２）／３３≒１５が動き量となる。

図１０（ｂ）に示すように、前フレームの出力画像の注目画素以外の画素にノイズが含まれると、動き量が小さくなる。すると、これによって帰還係数が大きくなり、ノイズ除去量の帰還が大きくなる（除去値が大きくなる）。そのため、現フレームの注目画素にノイズが含まれたとしても、除去値が大きくなるために効果的にノイズを低減することが可能となる。

（第３実施例）
動き量算出部の第３実施例について図面を参照して説明する。図１１は、動き量算出部の第３実施例の構成を示す模式図であり、第１実施例について示した図６に相当するものである。なお、第１実施例と同様となる部分には同じ符号を付し、詳細な説明については省略する。

図１１に示すように、本実施例の動き量算出部６２ｃは、差分値算出部６２１と、絶対値算出部６２２と、フィルタ部６２３ｃと、現フレームの入力画像に基づいてフィルタ部６２３ｃのフィルタ係数を算出するフィルタ係数算出部６２４ｃ１と、前フレームの出力画像に基づいてフィルタ部６２３ｃのフィルタ係数を算出するフィルタ係数算出部６２４ｃ２とを備える。なお、フィルタ係数算出部６２４ｃ１は、図６に示した第１実施例の動き量算出部６２ａのフィルタ係数算出部６２４ａと同様のものとなる。また、フィルタ係数算出部６２４ｃ２は、図８に示した第２実施例の動き量算出部６２ｂのフィルタ係数算出部６２４ｂと同様のものとなる。

フィルタ部６２３ｃは、フィルタ係数算出部６２４ｃ１から出力されるフィルタ係数と、フィルタ係数算出部６２４ｃ２から出力されるフィルタ係数と、から一方を選択する。そして、選択されたフィルタ係数を用いて、絶対値算出部６２２から出力される差分値の絶対値に平滑化処理を行い、動き量を算出する。

次に、動き量算出部６２ｃの動作について図面を参照して説明する。図１２は、動き量算出部の第３実施例の動作例を示す模式図であり、第１実施例について示した図７に相当するものである。なお、図７と同様に図１２でも、注目画素を太線の実線で示し、重みが大きいフィルタ係数が乗算される画素の範囲を太線の破線で示している。また、説明の簡略化のために、画素値は１００または０のいずれかの値をとるものとする。なお、物体を示す画素の画素値を１００とし、背景を示す画素の画素値を０とする。

図１１に示すように、本実施例の動き量算出部６２ｃは、まず、差分値算出部６２１で現フレームの入力画像と前フレームの出力画像との差分値が画素毎に算出される。例えば、第１実施例と同様に３５個の画素のそれぞれについて差分値が算出される。そして、得られた差分値は絶対値算出部６２２に入力され、絶対値が算出される。

フィルタ係数算出部６２４ｃ１は、現フレームの入力画像に基づいてフィルタ係数を算出する。具体的には、まず、注目画素の画素値と略等しい画素値（例えば、注目画素の画素値との差が所定の範囲内となる画素値）を有する画素を検出する。そして、フィルタ部６２３ｃが動き量を算出する際に、当該検出された画素の画素値の重みが大きくなるようにフィルタ係数を設定する。なお、以下の説明においても、第１実施例と同様に、当該検出された画素に乗算されるフィルタ係数を１とし、それ以外の画素に乗算されるフィルタ係数を０とする。また、乗算後の各値を合算して得られた値を除算する除数は、設定されるフィルタ係数を合算した値（即ち、本例ではフィルタ係数＝１が乗算される画素の数）とする。なお、フィルタ係数算出部６２４ｃ１は、第１実施例のフィルタ係数算出部６２４ａと同様の動作を行う。

また、フィルタ係数算出部６２４ｃ２は、前フレームの出力画像に基づいて、フィルタ係数を算出する。なお、算出方法自体は、フィルタ係数算出部６２４ｃ１と同様のものとなる。即ち、注目画素の画素値と略等しい画素値を有する画素を検出し、フィルタ部６２３ｃが動き量を算出する際に当該検出された画素の重みが大きくなるようなフィルタ係数を算出する。また、乗算後の各値を合算して得られた値を除算する除数は、設定されるフィルタ係数を合算した値（即ち、本例ではフィルタ係数＝１が乗算される画素の数）である。なお、フィルタ係数算出部６２４ｃ２は、第２実施例のフィルタ係数算出部６２４ｂと同様の動作を行う。

フィルタ部６２３ｃは、フィルタ係数算出部６２４ｃ１から入力されるフィルタ係数と、フィルタ係数算出部６２４ｃ２から入力されるフィルタ係数と、から一方を選択する。具体的には、除数（フィルタ係数＝１が乗算される画素の数）が、所定の値ｊに近い方のフィルタ係数を選択する。なお、所定の値ｊは、フィルタ部６２３ｃに入力される差分値の絶対値の数の半分（即ち、３５の半分≒１８）程度の大きさとすると、好ましい。

所定の値ｊを１８とする場合について以下説明する。図１２（ａ）に示す場合、フィルタ係数算出部６２４ｃ１から出力されるフィルタ係数における、フィルタ係数＝１が乗算される画素の数は２０となる（図７（ａ）参照）。一方、フィルタ係数算出部６２４ｃ２から出力されるフィルタ係数における、フィルタ係数＝１が乗算される画素の数は３０となる（図９（ａ）参照）。そのため、図１２（ａ）に示す場合では、フィルタ係数算出部６２４ｃ１から出力されるフィルタ係数が選択されることとなる。

また、図１２（ｂ）に示す場合、フィルタ係数算出部６２４ｃ２から出力されるフィルタ係数における、フィルタ係数＝１が乗算される画素の数は２０となる（図７（ｂ）参照）。一方、フィルタ係数算出部６２４ｃ２から出力されるフィルタ係数における、フィルタ係数＝１が乗算される画素の数は２５となる（図９（ｂ）参照）。そのため、図１２（ｂ）に示す場合では、フィルタ係数算出部６２４ｃ１から出力されるフィルタ係数が選択されることとなる。

以上のようにフィルタ部６２３ｃでフィルタ係数が選択され、動き量が算出される。具体的に例えば、図１２（ａ）に示すように算出される。図１２（ａ）に示す例では、現フレームの入力画像の注目画素の画素値が１００、画素値が１００となる画素は水平方向の左方から４列分の２０個である。これら２０個の画素の差分値の絶対値のそれぞれに対してフィルタ係数＝１が乗算され、乗算後の各値を合算して得られた値が、除数＝２０で除算される。そして、（０×２０）／２０＝０が動き量となる。

図１２（ｂ）に示す例では、現フレームの入力画像の注目画素の画素値が１００、画素値が１００となる画素は水平方向の左方から４列分の２０個となる。これら２０個の画素の差分値の絶対値のそれぞれに対して、フィルタ係数＝１が乗算され、乗算後の各値を合算して得られた値が、除数＝２０で除算される。そして、（０×１０＋１００×１０）／２０＝５０が動き量となる。

本実施例の動き量算出部６２ｃは、現フレームの入力画像または前フレームの出力画像の注目画素と画素値が略等しい画素の重みを大きくして動き量を算出する。そのため、第１実施例の動き量算出部６２ａと同様に、注目画素の変動に対応する動き量をより精度良く算出することが可能となる。したがって、効果的にノイズを低減したり、尾引きや残像の発生を抑制したりすることが可能となる。

さらに、フィルタ係数の重みを大きくする画素の数を、適切な値（所定の値ｊ）に近づけることが可能となる。例えば、フィルタ係数＝１を乗算する画素の数を多くすると、多数の画素の画素値の影響を受けた動き量が算出される。そのため、注目画素における動きの大小の判定が困難となる。反対に、フィルタ係数＝１を乗算する画素の数を少なくすると、ノイズによる画素値の変動が動き量に強く反映され得るため、動き量が不適切な値になる可能性が高くなる。したがって、本実施例の動き量算出部６２ｃのようにフィルタ係数を選択可能なものとすることで、最適なフィルタ係数を用いてさらに正確な動き量を算出することが可能となる。

なお、第１〜第３実施例の動き量算出部６２ａ〜６２ｃについて、注目画素の画素値と略等しい画素値の画素に乗算されるフィルタ係数を１、それ以外の画素に乗算されるフィルタ係数を０としたが、注目画素の画素値と略等しい画素値の画素の重みが大きいものであれば、この値に限られない。例えば、注目画素の画素値と略等しい画素値の画素に乗算されるフィルタ係数をｖ、その他の画素に乗算されるフィルタ係数をｍとしても構わない（ただし、ｖ＞ｍとする）。

また、選択され得るフィルタ係数の値を、２値以上としても構わない。特に、注目画素の画素値との差が大きい画素に乗算されるフィルタ係数ほど、小さい値になるように設定しても構わない。

また例えば、下記式（２）に示すように動き量Ｍを算出しても構わない。なお、下記式（２）は一般式であり、フィルタ係数を０または１の２値とする上述の場合にも適用され得る。また、下記式（２）において、ｆ_kはｋ番目の画素の画素値に乗算するフィルタ係数、ｐ_ckは現フレームの入力画像におけるｋ番目の画素の画素値、ｐ_pkは前フレームの出力画像におけるｋ番目の画素の画素値である。また、０〜Ｎ番目までのＮ＋１個（上記例では３５個）の画素の画素値に基づいて動き量Ｍを算出する場合について示したものである。

また、ノイズ低減処理部６０に入力される入力画像がＲ、Ｇ及びＢの３種類の画素値を備えるものである場合、それぞれの種類毎（即ち、１種類毎）にノイズ低減処理を施すこととしても構わない。また、ＲＡＷデータ（色同時化前のデータ、１つの画素に１色の画素値を有するデータ）に対してノイズ低減処理を施しても構わない。

また、入力画像がＹ、Ｕ及びＶの３種類の画素値を備えるものである場合でも同様に、それぞれの種類毎にノイズ低減処理を施すこととしても構わない。さらに、入力画像がＲＧＢ、ＹＵＶ以外の種類の画素値を備える場合についても、同様に処理しても構わない。

また、動き量算出部６２ａ〜６２ｃが、入力画像の輝度（例えば、画素値Ｙや、ＲＧＢの画素値から算出されるＹに相当する値）に基づいて、動き量を算出することとしても構わない。また、処理されるそれぞれの画素値（ＲＧＢやＹＵＶのそれぞれ）に基づいて動き量を算出することとしても構わない。

また、ノイズ低減処理部６０に入力されて処理される画像を、現フレームの入力画像と前フレームの出力画像としたが、撮像タイミングが異なる画像であれば、他の画像であっても構わない。例えば、現フレームの入力画像と前フレームの入力画像としても構わないし、連続的に撮像されて得られた画像でなくても構わない。

＜＜変形例＞＞
＜フィルタ部の構成例＞
次に、上記のフィルタ部６２３，６２３ｃの構成例について図面を参照して説明する。図１３は、フィルタ部の構成例について示すブロック図である。なお、以下では、フィルタ部に入力される現フレームの入力画像の画素と前フレームの出力画像の画素との差分値の絶対値を、差分値絶対値と呼ぶこととする。

図１３は、フィルタ部の一部を示したものとなり得る。特に、図１３は、水平方向に整列する１行分の画素の差分値絶対値を平滑化処理する構成について示したものである。そのため、複数行にわたって整列する画素の差分値絶対値に対して平滑化処理を施す構成とする場合は、図１３はフィルタ部の一部を示したものとなる。なお、以下ではフィルタ部が、注目画素と注目画素を中心とした周囲画素とを併せた３５個（垂直方向に５行、水平方向に７列）の画素の差分値絶対値に対して平滑化処理を施す構成である場合について説明する。

フィルタ部（一部）は、順次入力される差分値絶対値ｚ₀〜ｚ₆を一時的に記憶するとともに新たな差分値絶対値が入力される際に後段に出力する遅延部ｄ₁〜ｄ₆と、差分値絶対値ｚ₀〜ｚ₆にフィルタ係数ｆ₀〜ｆ₆を乗算する乗算部ｍ₀〜ｍ₆と、乗算された値を合算する加算部ａ₁〜ａ₆と、合算された値を除数で除算する除算部ｄｉｖと、を備える。

遅延部ｄ₁〜ｄ₆は直列的に接続される構成となる。遅延部ｄ１に入力される差分値絶対値ｚ₀は、乗算部ｍ₀にも入力される。遅延部ｄ₁〜ｄ₅のそれぞれに記憶されたそれぞれの差分値絶対値ｚ₁〜ｚ₅は、遅延部ｄ₁〜ｄ₅のそれぞれから出力されて遅延部ｄ₂〜ｄ₆のそれぞれに入力されるとともに、乗算部ｍ₁〜ｍ₅のそれぞれにも入力される。また、遅延部ｄ₆に記憶された差分値絶対値ｚ₆は、遅延部ｄ₆から出力されて乗算部ｍ₆に入力される。なお、差分値絶対値ｚ₀〜ｚ₆は、水平方向に整列する画素から得られるものである。

乗算部ｍ₀〜ｍ₆は、それぞれ入力される差分値絶対値ｚ₀〜ｚ₆に、フィルタ係数ｆ₀〜ｆ₆を乗算する。そして、乗算後の値は加算部ａ₁〜ａ₆に入力されて合算され、除算部ｄｉｖに入力される。除算部ｄｉｖでは、所定の除数で合算後の値が除算され、水平方向に一列に整列した画素（７個分）の動き量が算出される。

なお、上記のような３５個の画素の差分値絶対値に基づいて動き量を求める場合は、５行分の画素の差分値絶対値に対して同様の方法を用いることで動き量を算出する。例えば、３５個の画素の差分値絶対値のそれぞれにフィルタ係数を乗算した値を加算部によって全て合算し、合算されて得られる値を除数（５行分＝３５個分のフィルタ係数の合算値）で除算することで動き量を得る。

＜フィルタ係数算出部の第１構成例＞
上記のフィルタ係数算出部６２４ａ，６２４ｂ，６２４ｃ１，６２４ｃ２の第１構成例について図面を参照して説明する。図１４は、フィルタ係数算出部の第１構成例を示すブロック図である。また、本構成例のフィルタ係数算出部は、ε−フィルタの考え方を利用した構成である。

図１４は、フィルタ係数算出部の一部を示したものとなり得る。図１４は、水平方向に整列する１行分の画素（注目画素を含む）の画素値に乗算するフィルタ係数を算出する構成について示したものである。そのため、複数行にわたって整列する画素に乗算するフィルタ係数を算出する構成とする場合は、図１４はフィルタ係数算出部の一部を示したものとなる。以下ではフィルタ係数算出部が、注目画素と注目画素を中心とした周囲画素とを併せた３５個（垂直方向に５行、水平方向に７列）の画素に乗算するフィルタ係数を算出する構成である場合について説明する。

図１４に示すように、フィルタ係数算出部（一部）は、順次入力される画素値ｐ₀〜ｐ₆を一時的に記憶するとともに新たな画素値が入力される際に後段に出力する遅延部ｅ₁〜ｅ₆と、入力される画素値ｐ₀〜ｐ₆と注目画素の画素値ｐ₃との差分値を求める減算部ｓ₀〜ｓ₆と、減算部ｓ₀〜ｓ₆から出力される差分値と所定の値とを比較するとともに比較結果に基づいてフィルタ係数を出力する比較部ｃ₀〜ｃ₆と、比較部の出力を合算する加算部ｂ₁〜ｂ₆と、を備える。

遅延部ｅ₁〜ｅ₆は直列的に接続される構成となる。遅延部ｅ₁に入力される画素値ｐ₀は、減算部ｓ₀にも入力される。遅延部ｅ₁〜ｅ₅のそれぞれに記憶されたそれぞれの画素値ｐ₁〜ｐ₅は、遅延部ｅ₁〜ｅ₅のそれぞれから出力されて遅延部ｅ₂〜ｅ₆のそれぞれに入力されるとともに、減算部ｓ₁〜ｓ₅のそれぞれにも入力される。また、遅延部ｅ₆に記憶された画素値ｐ₆は、遅延部ｅ₆から出力されて減算部ｓ₆に入力される。なお、画素値ｐ₀〜ｐ₆は、水平方向に一列に整列する画素の画素値である。また、画素値ｐ₃が注目画素の画素値となる。

減算部ｓ₀〜ｓ₆は、それぞれ入力される画素値ｐ₀〜ｐ₆と、注目画素の画素値ｐ₃との差分値を算出する。例えば、画素値ｐ₀〜ｐ₆のそれぞれから注目画素の画素値ｐ₃を減算することで差分値を算出する。得られた差分値は比較部ｃ₀〜ｃ₆のそれぞれに入力され、閾値Ｔと比較される。特に、差分値の絶対値が、閾値Ｔ以下か否かが判定される。

ここで、上述したように、フィルタ係数として１または０の値が算出される構成とすると、下記式（３）に示すようになる。下記式（３）中、ｐ_kは任意の画素の画素値、ｐ_cは注目画素の画素値である。下記式（３）に示すように、閾値Ｔ以下と判定される比較部ｃ₀〜ｃ₆からは、フィルタ係数＝１が出力される。一方、閾値Ｔより大きいと判定される比較部ｃ₀〜ｃ₆からは、フィルタ係数＝０が出力される。

また、比較部ｃ₀〜ｃ₆から出力される各値は、加算部ｂ₁〜ｂ₆に入力されて合算される。合算されて得られる値は、水平方向に整列した画素（７個分）の除数となる。上記のような３５個の画素に対してフィルタ係数が算出される場合、例えば、同様にして求められる５行分の除数を合算して得られる値が、フィルタ係数算出部から出力される除数となる。

本構成例のように、ε−フィルタの考え方を利用してフィルタ係数を算出するとともに、動き量を算出することとすると、簡易な構成を用いて精度良く動き量を算出することが可能となる。

なお、図１５に、水平方向に整列する画素（注目画素を含まない）の画素値に乗算するフィルタ係数を算出する構成について示す。図１５に示す構成は図１４に示す構成と略等しいものとなる。具体的には、図１５の遅延部ｅ₁₁〜ｅ₁₆、減算部ｓ₁₀〜ｓ₁₆、比較部ｃ₁₀〜ｃ₁₆、加算部ｂ₁₁〜ｂ₁₆は、図１４の遅延部ｅ₁〜ｅ₆、減算部ｓ₀〜ｓ₆、比較部ｃ₀〜ｃ₆、加算部ｂ₁〜ｂ₆のそれぞれに相当する。ただし、注目画素の画素値ｐ₃が外部から入力され、それぞれの減算部ｓ₁₀〜ｓ₁₆に入力される点において、図１５に示す構成は図１４に示す構成と異なる。

また、上述したように、フィルタ係数を０以上１以下の値とし、注目画素の画素値との差が大きい画素値の画素に乗算されるものほど小さい値となるように設定する場合の、比較部の出力例を、図１６に示す。図１６は、比較部の出力例を示すグラフである。

図１６に示す例では、ある画素の画素値ｐ_kと注目画素の画素値ｐ_cとの差分値の絶対値が、閾値Ｔ以下である場合のフィルタ係数が１で一定となる。また、ある画素の画素値ｐ_kと注目画素の画素値ｐ_cとの差分値の絶対値が、閾値Ｔより大きくなるにつれて減少し、０に近づく。なお、図１６では線形に減少する場合について示しているが、非線形に減少することとしても構わない。

このように構成すると、動き量を精密に算出することが可能となる。そのため、さらに正確な動き量を算出することが可能となる。

＜フィルタ係数算出部の第２構成例＞
次に、上記のフィルタ係数算出部６２４ａ，６２４ｂ，６２４ｃ１，６２４ｃ２の第２構成例について図面を参照して説明する。図１７は、フィルタ係数算出部の第２構成例を示すブロック図であり、第１構成例について示した図１４に相当するものである。また、第１構成例と同様となる部分については同じ符号を付し、詳細な説明については省略する。

図１７は、フィルタ係数算出部の一部を示したものとなり得る。図１７は、水平方向に整列する１行分の画素（注目画素を含む）の画素値に乗算するフィルタ係数を算出する構成について示したものである。そのため、複数行にわたって整列する画素に乗算するフィルタ係数を算出する構成とする場合は、図１７はフィルタ係数算出部の一部を示したものとなる。以下ではフィルタ係数算出部が、注目画素と注目画素を中心とした周囲画素とを併せた３５個（垂直方向に５行、水平方向に７列）の画素に乗算するフィルタ係数を算出する構成である場合について説明する。

図１７に示すように、フィルタ係数算出部（一部）は、遅延部ｅ₁〜ｅ₆と、減算部ｓ₀〜ｓ₆と、比較部ｃ₀〜ｃ₆と、加算部ｂ₁〜ｂ₆と、注目画素の画素値ｐ₃とその近傍画素の画素値ｐ₂，ｐ₄とを平滑化する平滑化部ＳＭと、を備える。また、平滑化部ＳＭは、注目画素の画素値ｐ₃とその近傍の画素の画素値ｐ₂，ｐ₄とを合算する加算部ｇ₀，ｇ₁と、加算部ｇ₀，ｇ₁で合算された値を加算した画素数で除算する除算部ｈと、を備える。

第１構成例と同様に、遅延部ｅ₁〜ｅ₆は直列的に接続される。また、遅延部ｅ₁に入力される画素値ｐ₀は減算部ｓ₀にも入力され、遅延部ｅ₁〜ｅ₅のそれぞれに記憶されたそれぞれの画素値ｐ₁〜ｐ₅は遅延部ｅ₂〜ｅ₆のそれぞれに入力されるとともに減算部ｓ₁〜ｓ₅のそれぞれにも入力され、遅延部ｅ₆に記憶された画素値ｐ₆は減算部ｓ₆に入力される。ただし、注目画素の画素値ｐ₃とその近傍画素の画素値ｐ₂，ｐ₄は、遅延部ｅ₂と遅延部ｅ₁，ｅ₃とからそれぞれ出力され、平滑化部ＳＭに入力される。

平滑化部ＳＭでは、まず、加算部ｇ₀，ｇ₁によって入力される画素値ｐ₂〜ｐ₄を合算する。そして、合算して得られた値を除算部ｈで除算する。本例では、３つの画素値ｐ₂〜ｐ₄を平滑化するため３で除算し、平滑化後の画素値ｐ_aを得る。なお、図１７では説明の具体化のために、平滑化する画素値の数を３としているが、他の数であっても構わない。

減算部ｓ₀〜ｓ₆は、それぞれ入力される画素値ｐ₀〜ｐ₆と、画素値ｐ_aとの差分値を算出する。例えば、画素値ｐ₀〜ｐ₆のそれぞれから画素値ｐ_aを減算することで差分値を算出する。減算後のそれぞれの値は比較部ｃ₀〜ｃ₆のそれぞれに入力され、閾値Ｔと比較される。特に、差分値の絶対値が、閾値Ｔ以下か否かが判定される。

比較部ｃ₀〜ｃ₆は、第１構成例と同様の動作を行う。例えば、フィルタ係数として１または０の値が算出される構成である場合、上記式（３）に示すように判定される（ただし、式（３）中の注目画素の画素値ｐ_cを、平滑化後の画素値ｐ_aに変更する）。そして、比較部ｃ₀〜ｃ₆からフィルタ係数ｆ₀〜ｆ₆がそれぞれ出力される。

また、比較部ｃ₀〜ｃ₆から出力される各値は、加算部ｂ₁〜ｂ₆に入力されて合算される。合算されて得られる値は、水平方向に整列した画素（７個分）の除数となる。上記のような３５個の画素に対してフィルタ係数が算出される場合、例えば、同様にして求められる５行分の除数を合算して得られる値が、フィルタ係数算出部から出力される除数となる。さらにこの場合、平滑化後の画素値ｐ_aを算出するために、複数の行の画素の画素値を用いることとしても構成としても構わない。

本構成例では、注目画素の画素値だけでなくその周辺の画素の画素値をも用いて画素値ｐ_aを求め、画素値ｐ_aと各画素値との差分値に応じたフィルタ係数を算出することとしている。そのため、ノイズなどの影響で注目画素の画素値が異常な値となったとしても、精度よく動き量を求めることが可能となる。したがって、効果的にノイズを低減したり、尾引きや残像の発生を抑制したりすることが可能となる。

なお、本構成例においても、フィルタ係数を０以上１以下の値とし、注目画素の画素値との差が大きい画素値の画素に乗算されるものほど小さい値となるように設定しても構わない。即ち、比較部ｃ₀〜ｃ₆が、例えば図１６に示したようなフィルタ係数を出力することとしても構わない。

＜フィルタ係数算出部の第３構成例＞
次に、上記のフィルタ係数算出部６２４ａ，６２４ｂ，６２４ｃ１，６２４ｃ２の第３構成例について図面を参照して説明する。図１８は、フィルタ係数算出部の第３構成例を示すブロック図であり、第１構成例について示した図１４に相当するものである。また、第１構成例と同様となる部分については同じ符号を付し、詳細な説明については省略する。また、本構成例のフィルタ係数算出部は、バイラテラルフィルタの考え方を利用した構成となる。

図１８は、フィルタ係数算出部の一部を示したものとなり得る。特に、図１８は、水平方向に整列する１行分の画素（注目画素を含む）の画素値に乗算するフィルタ係数を算出する構成について示したものである。そのため、複数行にわたって整列する画素に乗算するフィルタ係数を算出する構成とする場合は、図１８はフィルタ係数算出部の一部を示したものとなる。以下ではフィルタ係数算出部が、注目画素と注目画素を中心とした周囲画素とを併せた３５個（垂直方向に５行、水平方向に７列）の画素に乗算するフィルタ係数を算出する構成である場合について説明する。

図１８に示すように、フィルタ係数算出部（一部）は、遅延部ｅ₁〜ｅ₆と、減算部ｓ₀〜ｓ₆と、減算部ｓ₀〜ｓ₆から出力される差分値と調整用係数σ_rとを用いてフィルタ係数を算出する演算部ｑ₀〜ｑ₆と、演算部ｑ₀〜ｑ₆の出力を合算する加算部ｂ₁〜ｂ₆と、を備える。

第１構成例と同様に、遅延部ｅ₁〜ｅ₆は直列的に接続される。また、遅延部ｅ₁に入力される画素値ｐ₀は減算部ｓ₀にも入力され、遅延部ｅ₁〜ｅ₅のそれぞれに記憶されたそれぞれの画素値ｐ₁〜ｐ₅は遅延部ｅ₂〜ｅ₆のそれぞれに入力されるとともに減算部ｓ₁〜ｓ₅のそれぞれにも入力され、遅延部ｅ₆に記憶された画素値ｐ₆は減算部ｓ₆に入力される。また、注目画素の画素値はｐ₃となる。

減算部ｓ₀〜ｓ₆は、それぞれ入力される画素値ｐ₀〜ｐ₆と、注目画素の画素値ｐ₃との差分値を算出する。例えば、画素値ｐ₀〜ｐ₆のそれぞれから注目画素の画素値ｐ₃を減算することで差分値を算出する。得られた差分値は演算部ｑ₀〜ｑ₆のそれぞれに入力される。また、演算部ｑ₀〜ｑ₆には、演算に必要な調整用係数σ_rが入力される。

演算部ｑ₀〜ｑ₆の動作について図面を参照して説明する。図１９は、演算部の動作を説明する模式図である。なお、以下では説明の簡略化のため、画素値の符号を振り直すこととする。特に、注目画素の画素値ｐ₃を画素値Ｐ₁₈とするとともに、画素値ｐ₀〜ｐ₆をＰ₁₅〜Ｐ₂₁とする。また、注目画素が含まれないそれぞれの行の画素を、上方から、Ｐ₁〜Ｐ₇、Ｐ₈〜Ｐ₁₄、Ｐ₂₂〜Ｐ₂₈、Ｐ₂₉〜Ｐ₃₅とする。

図１９（ａ）は、それぞれの演算部に入力される画素値Ｐ₁〜Ｐ₃₅を示すものである。なお、上述の演算部ｑ₀〜ｑ₆のそれぞれには、画素値Ｐ₁₅〜Ｐ₂₁が入力される。また、図１９（ｂ）は、画素値Ｐ₁〜Ｐ₃₅のそれぞれに対応するドメインフィルタ係数Ｄ₁〜Ｄ₃₅を示すものである。また、図１９（ｃ）は、画素値Ｐ₁〜Ｐ₃₅のそれぞれに対応するレンジフィルタ係数Ｒ₁〜Ｒ₃₅を示すものである。

ドメインフィルタ係数Ｄ_iは、注目画素の位置と演算部に入力される画素の位置とに基づいて設定される重みである。そのため、それぞれの演算部ごとに決まった値となる。このドメインフィルタ係数Ｄ_iは、下記式（４）に示すように設定される。下記式（４）において、ｘ_i及びｙ_iは演算部に入力される画素値を有する画素の位置を示し、ｘ₁₈及びｙ₁₈は注目画素の位置を示す。また、σ_dはドメインフィルタ係数Ｄ_iの値を調整するための係数である。なお、このドメインフィルタ係数Ｄ_iを、それぞれの演算部に記録させる構成としても構わない。

レンジフィルタ係数Ｒ_iは、注目画素の画素値と演算部に入力される画素の画素値との差分値に基づいて設定される重みである。このレンジフィルタ係数Ｒ_iは、下記式（５）に示すように設定される。下記式（５）において、Ｐ_iは演算部に入力される画素値であり、Ｐ₁₈は注目画素の画素値である。また、σ_rはレンジフィルタ係数Ｒ_iの値を調整するための係数である。

演算部では、ドメインフィルタ係数Ｄ_iとレンジフィルタ係数Ｒ_iとを乗算した値、即ち、Ｄ_i×Ｒ_iが出力される。そして、この出力される値がフィルタ係数となる。特に、演算部ｑ₀〜ｑ₆からはフィルタ係数ｆ₀〜ｆ₆（Ｄ₁₅×Ｒ₁₅〜Ｄ₂₁×Ｒ₂₁）が出力される。

また、演算部ｑ₀〜ｑ₆から出力されるフィルタ係数ｆ₀〜ｆ₆は、加算部ｂ₁〜ｂ₆に入力されて合算され、水平方向に整列した画素（７個分）の除数としてフィルタ部に入力される。上記のような３５個の画素に対してフィルタ係数が算出される場合、例えば、同様にして求められる５行分の除数を合算して得られる値が、フィルタ係数算出部から出力される除数となる。なお、注目画素が含まれない行の画素が入力される場合、図１５と同様に、注目画素の画素値ｐ₃が他から入力される構成としても構わない。

また、本構成例の場合、動き量算出部全体から出力される動き量Ｍは、下記式（６）に示すものとなる。なお、下記式（６）において、Ｐ_ciは現フレームの入力画像におけるｉ番目の画素の画素値、Ｐ_piは前フレームの出力画像におけるｉ番目の画素の画素値である。

本構成例のように、バイラテラルフィルタの考え方を利用してフィルタ係数を算出するとともに、動き量を算出することとすると、さらに精度良く動き量を算出することが可能となる。

なお、本構成例においても、第２構成例と同様に、注目画素の画素値ｐ₃を用いる代わりに、平滑化を行った画素値ｐ_aを用いることとしても構わない。

＜その他の構成例＞
第１〜第３の構成例について、除数が小さければ小さいほど、出力される動き量が抑制される構成としても構わない。例えば、第１構成例について、除数が１（フィルタ係数＝１となる画素の数が１）であれば、算出された動き量を１６分の１に小さくして出力しても構わない。同様に、除数が２であれば動き量を８分の１に小さくし、除数が３であれば動き量を４分の１に小さくし、除数が４であれば動き量を２分の１に小さくし、除数が５以上であれば算出された動き量をそのまま出力することとしても構わない。

除数が小さい場合とは、注目画素の画素値などに近い画素値を有する画素が僅かな領域にのみ存在することを示すこととなる。即ち、その画素の画素値はノイズの影響を受けている可能性が高い。しかしながら、除数が小さいと、この画素の画素値の影響が大きくなるため、動き量が大きくなる。そして、静止している状態と判断されずに除去値が小さくなり、ノイズが十分に低減されなくなる。

本構成例の構成とすることによって、除数が小さく動き量が大きい場合が生じることを抑制することが可能となる。そして、発生したノイズを効果的に低減することが可能となる。

また、上述した動き量の算出やノイズ低減処理は、例えば、動画の撮像時や再生時、静止画の撮像時に利用することが可能である。ただし、静止画の撮像時に利用する場合、撮像時に複数フレームの画像を取得することとする。

また、本発明の実施形態における撮像装置１について、画像処理部６やノイズ低減処理部６０、動き量算出部６２，６２ａ〜６２ｃなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１及びノイズ低減処理部６０、図２の動き量算出部６２、図６の動き量算出部６２ａ、図８の動き量算出部６２ｂ、図１１の動き量算出部６２ｃ、図１３のフィルタ部、図１４，図１５，図１７及び図１８のフィルタ係数算出部は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や動き量算出部６２，６２ａ〜６２ｃ、フィルタ部、フィルタ係数算出部を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができるものである。

本発明は、撮像して得られる画像に対してノイズ低減処理を施す撮像装置に適用することが可能であり、静止画像を撮像するデジタルスチルカメラ、動画像を撮影するデジタルビデオなどの各種撮像装置に適用可能である。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、本発明の実施形態における撮像装置に備えられるノイズ低減処理部の構成を示すブロック図である。 は、ノイズ除去量算出部の構成を示す模式図である。 は、ノイズ除去量の設定方法の一例を示すグラフである。 は、帰還係数の設定方法の一例を示すグラフである。 は、動き量算出部の第１実施例の構成を示す模式図である。 は、動き量算出部の第１実施例の動作例を示す模式図である。 は、動き量算出部の第２実施例の構成を示す模式図である。 は、動き量算出部の第２実施例の動作例を示す模式図である。 は、動き量算出部の第２実施例の動作例を示す模式図である。 は、動き量算出部の第３実施例の構成を示す模式図である。 は、動き量算出部の第３実施例の動作例を示す模式図である。 は、フィルタ部の構成例について示すブロック図である。 は、フィルタ係数算出部の第１構成例を示すブロック図である。 は、フィルタ係数算出部の第１構成例を示すブロック図である。 は、比較部の出力例を示すグラフである。 は、フィルタ係数算出部の第２構成例を示すブロック図である。 は、フィルタ係数算出部の第３構成例を示すブロック図である。 は、演算部の動作を説明する模式図である。 は、従来のノイズ低減処理装置に実装される動き量算出部の構成を示す模式図である。 は、従来のノイズ低減処理装置に実装される動き量算出部の動作例を示す模式図である。

符号の説明

１ 撮像装置
２ イメージサンサ
３ レンズ部
４ ＡＦＥ
５ マイク
６ 画像処理部
６０ ノイズ低減処理部
６１ ノイズ除去量算出部
６１ａ 差分値算出部
６１ｂ ノイズ除去量設定部
６２，６２ａ〜６２ｃ 動き量算出部
６２１ 差分値算出部
６２２ 絶対値算出部
６２３，６２３ｃ フィルタ部
６２４ａ，６２４ｂ，６２４ｃ１，６２４ｃ２ フィルタ係数算出部
６３ 帰還係数算出部
６４ ノイズ低減部
６４ａ 乗算部
６４ｂ 減算部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 画像出力回路部
１３ 音声出力回路部
１４ ＣＰＵ
１５ メモリ
１６ 操作部
１７ ＴＧ部
１８ バス
１９ バス

Claims (7)

1. 撮像して画像を得る撮像部と、当該撮像部により得られた画像にノイズ低減処理を施して出力画像を得るノイズ低減処理部と、を備えた撮像装置において、
   前記ノイズ低減処理部が、
   前記撮像部により撮像されたタイミングが異なる第１画像及び第２画像の、対応するそれぞれの画素の画素値の差分値に基づいて動き量を算出する動き量算出部と、
   前記第１画像の画素の画素値から除去値を減算して出力画像を得るノイズ除去部と、を備え、
   前記動き量算出部が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に重みを与えるとともに合算した値に基づいて、前記動き量を算出するものであり、当該重みを前記第１画像または前記第２画像に基づいて設定し、
   前記動き量算出部が、更に、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、
   前記画素群に備えられるそれぞれの画素のうち、前記注目画素及びその近傍の画素の画素値を平滑化した値との差が小さい画素値を有する画素ほど、前記重みが大きくなるように設定され、
   前記ノイズ除去部が、前記動き量に基づいて前記除去値を設定することを特徴とする撮像装置。
2. 撮像して画像を得る撮像部と、当該撮像部により得られた画像にノイズ低減処理を施して出力画像を得るノイズ低減処理部と、を備えた撮像装置において、
   前記ノイズ低減処理部が、
   前記撮像部により撮像されたタイミングが異なる第１画像及び第２画像の、対応するそれぞれの画素の画素値の差分値に基づいて動き量を算出する動き量算出部と、
   前記第１画像の画素の画素値から除去値を減算して出力画像を得るノイズ除去部と、を備え、
   前記動き量算出部が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に重みを与えるとともに合算した値に基づいて、前記動き量を算出するものであり、当該重みを前記第１画像または前記第２画像に基づいて設定し、
   前記動き量算出部が、更に、前記重みを合算した値が小さくなるほど、前記動き量が小さくなるように設定し、
   前記ノイズ除去部が、前記動き量に基づいて前記除去値を設定することを特徴とする撮像装置。
3. 前記除去値が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に基づいて算出されるとともに、前記動き量が大きくなるほど小さい値となるように設定され、
   前記動き量算出部が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に前記重みを与えるとともに合算した値を、前記重みを合算した値で除算して、前記動き量を算出することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記第２画像が、前記第１画像よりも前に撮像されたものであるとともに、前記ノイズ低減処理が施された出力画像であり、
   前記動き量算出部が、前記第２画像に基づいて前記重みを設定し、前記動き量を算出することを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
5. 前記動き量算出部が、前記第１画像に基づいて設定される前記重みと、前記第２画像に基づいて設定される前記重みと、から所定の条件に近い方の前記重みを選択し、当該重みを用いて前記動き量を算出することを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
6. 前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、
   前記画素群に備えられるそれぞれの画素のうち、前記注目画素の画素値との差が小さい画素値を有する画素ほど、前記重みが大きくなるように設定されることを特徴とする請求項２に記載の撮像装置。
7. 前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、
   前記動き量算出部が、前記注目画素の位置と前記周辺画素の位置とに基づいて得られる第１成分と、前記注目画素の画素値と前記周辺画素の画素値との差分値に基づいて得られる第２成分と、を算出し、前記第１成分と前記第２成分とを乗算した値を前記重みとすることを特徴とする請求項２に記載の撮像装置。

Images