JP6438390B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本技術は、画像処理装置、および、画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。詳しくは、動画のノイズを低減する画像処理装置、および、画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来より、動画に混在するノイズを低減するために、３次元ノイズリダクション（３ＤＮＲ：3-Dimensional Noise Reduction）と呼ばれる技術が用いられている。この３ＤＮＲは、時間軸上で連続する２枚の２次元フレームを混合することにより、ノイズを低減する技術である。３ＤＮＲにおいて一般に画像処理装置は、入力フレームが入力されるたびに、前回出力した出力フレームと、今回の入力フレームとを混合して、今回の出力フレームを生成する。この混合において、前回の出力フレームと今回の入力フレームとを比較して動き量を求め、その動き量が大きいほど、前回の出力フレームの混合比率を低くする画像処理装置が提案されている（例えば、特許文献１参照。）。

特開２０１０−４２６６号公報

しかしながら、上述の従来技術では、ノイズを十分に低減することができないおそれがある。すなわち、上述の画像処理装置では、動き量に応じて混合比率を決定するため、動き量が一定の状態が継続すると、一定の混合比率により出力フレームの各々が混合されてしまう。複数の入力フレームに亘って混合比率が一定であると、それらの入力フレームが、出力フレームにおいて均等な比率で混合されないおそれがある。

例えば、連続する入力フレームＦ１、Ｆ２およびＦ３が時系列順に入力され、出力フレームの混合比率が一定値αである場合、まず、入力フレームＦ１がそのまま出力フレームＦ１'として出力される。次に、前回の出力フレームＦ１'（すなわち、入力フレームＦ１）の比率をαとし、入力フレームＦ２の比率を（１−α）として混合した出力フレームＦ２'が出力される。そして、前回の出力フレームＦ２'の比率をαとし、入力フレームＦ３の比率を（１−α）として混合した出力フレームＦ３'が出力される。出力フレームＦ２'における入力フレームＦ１およびＦ２の比率はα：（１−α）であるから、出力フレームＦ３'における入力フレームＦ１、Ｆ２およびＦ３の比率は、α^２：α（１−α）：（１−α）となる。混合比率αには一般に「１」未満の値が設定されるため、過去の入力フレームほど出力フレームにおける比率が小さくなってしまう。このため、混合比率が一定であると、ノイズを十分に低減することができないおそれがある。

また、動画において激しい動きが生じた場合には、出力フレームにおいて、複数の入力フレームの各々の比率の差が大きくなるおそれがある。例えば、入力フレームＦ１およびＦ２の間の変化が大きく、次の入力フレームＦ３以降は隣り合うフレーム間の変化が少ない場合を考える。この場合、入力フレームＦ１およびＦ２間の変化が大きいために、入力フレームＦ１およびＦ２の混合において入力フレームＦ１は、高い混合比率αで混合される。これに対して、入力フレームＦ２以降の入力フレームは、隣り合うフレーム間の変化が少ないために低い混合比率で混合されてしまう。この結果、入力フレームＦ１が、それより後の入力フレームよりも高い比率で混合されてしまい、ノイズ低減の効果が損なわれてしまう。

本技術はこのような状況に鑑みて生み出されたものであり、動画においてノイズを十分に低減することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、入力画像が入力されるたびに上記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、上記変化量が上記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を上記入力画像および上記出力画像の混合における上記出力画像の混合比率として供給する混合比率供給部と、上記入力画像が入力されるたびに上記入力画像および上記出力画像を上記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部とを具備する画像処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムである。これにより、変化量が所定の閾値より小さいと連続して判定された回数が多いほど大きな混合比率により入力画像および出力画像が混合されるという作用をもたらす。

また、この第１の側面において、上記混合比率供給部は、上記回数が多いほど大きな上限値を生成する上限値生成部と、上記変化量が大きいほど小さい値を取得する取得部と、上記取得された値が上記上限値より大きい場合には上記上限値を記混合比率として供給し、上記取得された値が上記上限値を超えない場合には上記取得された値を上記混合比率として供給する制限部とを備えてもよい。これにより、回数が多いほど大きな上限値により制限された値が混合比率として供給されるという作用をもたらす。

また、この第１の側面において、上記混合比率供給部は、上記回数が多いほど大きく、かつ、上記出力画像において混合される複数の上記入力画像の各々の割合が均一になる上記混合比率を供給してもよい。これにより、回数が多いほど大きく、かつ、出力画像において混合される複数の入力画像の各々の割合が均一になる混合比率が供給されるという作用をもたらす。

また、この第１の側面において、上記入力画像および上記出力画像は、それぞれが複数の画素からなる複数の領域を含む画像であり、上記判定部は、上記変化量が上記所定の閾値より小さいか否かを上記領域ごとに判定し、上記混合比率供給部は、上記変化量が上記所定の閾値より小さいと連続して判定された回数を上記領域ごとに取得して上記領域ごとに取得した上記回数のうちの最小値が大きいほど大きな上記混合比率を供給してもよい。これにより、変化量が所定の閾値より小さいと連続して判定された領域ごとの回数の最小値が大きいほど大きな混合比率が供給されるという作用をもたらす。

また、この第１の側面において、上記入力画像および上記出力画像は、複数の画素を含む画像であり、上記判定部は、上記変化量が上記所定の閾値より小さいか否かを上記画素ごとに判定し、上記混合比率供給部は、上記変化量が上記所定の閾値より小さいと連続して判定された回数を上記画素ごとに取得して上記画素ごとに取得した上記回数のうちの最小値が大きいほど大きな上記混合比率を供給してもよい。これにより、変化量が所定の閾値より小さいと連続して判定された画素ごとの回数の最小値が大きいほど大きな混合比率が供給されるという作用をもたらす。

また、この第１の側面において、画素値を示す有効データとともに上記有効データに該当しない無効データを上記画素が含む場合には上記画素ごとに当該画素内の上記無効データを上記回数により置換する置換部と、上記無効データが置換された上記出力画像を保持する画像保持部とをさらに具備し、上記混合比率供給部は、上記回数を上記保持された出力画像から取得してもよい。これにより、無効データが置換された出力画像から回数が取得されるという作用をもたらす。

また、本技術の第２の側面は、入力画像が入力されるたびに上記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、上記変化量が上記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を上記入力画像および上記出力画像の混合における上記出力画像の混合比率として供給する混合比率供給部と、上記入力画像が入力されるたびに上記入力画像および上記出力画像を上記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部と上記出力された出力画像を保持する画像保持部とを具備する撮像装置である。これにより、変化量が所定の閾値より小さいと連続して判定された回数が多いほど大きな混合比率により入力画像および出力画像が混合されるという作用をもたらす。

本技術によれば、動画においてノイズを十分に低減することができるという優れた効果を奏し得る。

第１の実施の形態における撮像装置の一構成例を示すブロック図である。 第１の実施の形態における画像処理部一構成例を示すブロック図である。 第１の実施の形態における混合比率供給部の一構成例を示すブロック図である。 第１の実施の形態における動き量に応じた混合比率の一例を示すグラフである。 第１の実施の形態におけるカウント値に応じた制限値の一例を示すグラフである。 第１の実施の形態における混合部の一構成例を示すブロック図である。 第１の実施の形態における画像処理部２００が実行する画像処理の一例を示すフローチャートである。 第１の実施の形態における処理対象の動画の一例を示す図である。 第１の実施の形態におけるカウント値、制限値および混合比率の一例を示す図である。 第１の実施の形態におけるＩＩＲ係数の一例を示すグラフである。 第２の実施の形態における画像処理部の一構成例を示すブロック図である。 第２の実施の形態におけるカウント値の埋込み前の画素データのデータ構成例を示す図である。 第２の実施の形態におけるカウント値の埋込み後の画素データのデータ構成例を示す図である。 第２の実施の形態における動き判定部の一構成例を示すブロック図である。 第２の実施の形態における静止フレーム数計数部の一構成例を示すブロック図である。 第２の実施の形態における制限部の一構成例を示すブロック図である。 第３の実施の形態における動き判定部の一構成例を示すブロック図である。 第３の実施の形態における静止フレーム数計数部の一構成例を示すブロック図である。 第４の実施の形態における動き判定部の一構成例を示すブロック図である。 第４の実施の形態における静止フレーム数計数部の一構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（カウント値が大きいほど大きな混合比率で混合する例）
２．第２の実施の形態（画素毎および画像全体のカウント値の最小値が大きいほど大きな混合比率で混合する例）
３．第３の実施の形態（画素毎および領域毎のカウント値の最小値が大きいほど大きな混合比率で混合する例）
４．第４の実施の形態（画像全体、画素毎、および、領域毎のカウント値の最小値が大きいほど大きな混合比率で混合する例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像を撮像する装置であり、撮像レンズ１１０、撮像素子１２０、アナログフロントエンド１３０、Ａ／Ｄ変換部１４０、プログラマブルゲインアンプ１５０およびカメラ制御部１６０を備える。また、撮像装置１００は、画像処理部２００、Ｄ／Ａ変換部１７０および表示部１８０をさらに備える。

撮像レンズ１１０は、撮像対象の像を撮像素子１２０に結像するレンズである。この撮像レンズ１１０は、フォーカスレンズやズームレンズなどのレンズを含む。

撮像素子１２０は、撮像レンズ１１０からの光を光電変換し、変換した電気信号を画像信号としてアナログフロントエンド１３０へ信号線１２９を介して供給するものである。この撮像素子１２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどにより、実現することができる。

アナログフロントエンド１３０は、アナログの画像信号に対して、ノイズの除去処理や、増幅処理などの処理を実行してＡ／Ｄ変換部１４０へ信号線１３９を介して供給するものである。このアナログフロントエンド１３０は、例えば、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）回路を備え、そのＣＤＳ回路によりノイズを除去する。

Ａ／Ｄ変換部１４０は、アナログの画像信号をデジタルの画像データに変換してプログラマブルゲインアンプ１５０に信号線１４９を介して供給するものである。この画像データは、それぞれが画素の画素値を示す複数の画素データを含む。なお、Ａ／Ｄ変換部１４０をアナログフロントエンド１３０の外部に設ける構成としているが、Ａ／Ｄ変換部１４０をアナログフロントエンド１３０の内部に設けてもよい。

プログラマブルゲインアンプ１５０は、カメラ制御部１６０の制御に従って画像データにおいて画素ごとに画素値を増幅するものである。プログラマブルゲインアンプ１５０は、増幅後の画像データを画像処理部２００に信号線１５９を介して供給する。

画像処理部２００は、複数の画像データからなる動画に対して３ＤＮＲを実行するものである。この画像処理部２００には、複数の画像データが時系列の順に入力フレームとして入力される。画像処理部２００は、入力フレームが入力されるたびに、今回の入力フレームと前回の出力フレームとを混合した画像データを今回の出力フレームとしてＤ／Ａ変換部１７０へ信号線２０９を介して出力する。ただし、最初の入力フレームが入力された場合、前回の出力フレームが存在しないため、入力フレームがそのまま出力フレームとして出力される。画像処理部２００が時系列順において連続する２枚のフレームを混合することにより、動画においてノイズが除去される。

なお、画像処理部２００は、３ＤＮＲの他、デモザイク処理、ホワイトバランス処理およびガンマ補正処理などの画像処理をさらに実行することもできる。これらの処理の実行順序は任意である。

カメラ制御部１６０は、撮像装置１００全体を制御するものである。このカメラ制御部１６０は、ユーザの操作（開始ボタンの押下など）に従って、撮像素子１２０およびアナログフロントエンド１３０を制御して複数の画像信号の生成を開始させる。これらの画像信号は、予め設定された一定の周期（例えば、１／６０秒）で生成される。そして、カメラ制御部１６０は、ユーザの操作（終了ボタンの押下など）に従って、画像信号の生成を終了させる。また、カメラ制御部１６０は、プログラマブルゲインアンプ１５０における画素値の増幅率を予め設定された値に制御する。

Ｄ／Ａ変換部１７０は、デジタルの画像データをアナログの画像信号に変換して表示部１８０へ信号線１７９を介して供給するものである。表示部１８０は、画像信号に基づいて画像を表示するものである。

なお、撮像装置１００は、画像データの各々をメモリなどの記録媒体に記録する記録部をさらに備えることもできる。

［画像処理部の構成例］
図２は、第１の実施の形態における画像処理部２００の一構成例を示すブロック図である。この画像処理部２００は、動き判定部２１０、静止フレーム数計数部２２０、混合比率供給部２３０、混合部２５０およびフレームバッファ２７０を備える。

動き判定部２１０は、入力フレームが入力されるたびに、前回の出力フレームと今回の入力フレームとを比較して動きの有無を判定するものである。動きの有無の判定において、動き判定部２１０は、まず、前回の出力フレームをフレームバッファ２７０から読出し、その出力フレームと今回の入力フレームとの画素値の分布の変化量を動き量ｄＳとして求める。例えば、動き判定部２１０は、出力フレームおよび入力フレームにおいて、座標が同一の画素の各々の画素値の差分を求める。そして、動き判定部２１０は、それらの差分の統計量（例えば、平均値）を動き量ｄＳとして算出する。

動き量ｄＳを求めた後に動き判定部２１０は、その動き量ｄＳが所定の閾値Ｔｈ_ｆより小さい場合には動きがないと判定し、動き量ｄＳが、その閾値Ｔｈ_ｆ以上である場合には動きがあると判定する。動き判定部２１０は、動き量ｄＳを混合比率供給部２３０に供給し、動きの有無の判定結果を静止フレーム数計数部２２０に供給する。このように、フレーム間の画素値の差分から動きを求める手法は、フレーム間差分法と呼ばれる。

なお、動き判定部２１０は、特許請求の範囲に記載の判定部の一例である。また、動き判定部２１０は、フレーム間差分法以外の手法を用いて、動きの有無を判定することもできる。例えば、動き判定部２１０は、ブロックマッチングアルゴリズムを使用して動きの有無を判定してもよい。

ブロックマッチングアルゴリズムを用いる場合、入力フレームおよび出力フレームの各々は、所定形状（例えば、８×８画素の正方形）の複数のブロックからなる画像として扱われる。動き判定部２１０は、入力フレームおよび出力フレームにおいて、相関性の高い２つのブロックを求め、それらのブロックの一方から他方へのベクトルを動きベクトルとして生成し、そのベクトルの大きさを動き量ｄＳとして算出する。ブロックマッチングアルゴリズムでは、フレーム内においてブロックごとに動き量が算出されるため、それらの統計量（例えば、平均値）が、画面全体の動き量ｄＳとして出力される。

静止フレーム数計数部２２０は、動きがないと連続して判定された回数を計数して、計数した値をカウント値ＣＮＴｆとして生成するものである。この静止フレーム数計数部２２０は、カウント値ＣＮＴｆを保持する。静止フレーム数計数部２２０は、動きがないと判定された場合にカウント値ＣＮＴｆをインクリメントし、動きがあると判定された場合にカウント値ＣＮＴｆを初期値（例えば、「０」）にする。静止フレーム数計数部２２０は、カウント値ＣＮＴｆを混合比率供給部２３０に供給する。

なお、静止フレーム数計数部２２０は、カウント値ＣＮＴｆをインクリメントしているが、増分値は、「１」に限定されない。また、静止フレーム数計数部２２０は、動きがない場合にカウント値ＣＮＴｆを増分しているが、動きがない場合にカウント値ＣＮＴｆを減分するダウンカウンタであってもよい。

混合比率供給部２３０は、動きがないと連続して判定された回数（すなわち、カウント値ＣＮＴｆ）が多いほど出力画像の割合を高くした混合比率α'を供給するものである。例えば、混合比率供給部２３０は、動き量ｄＳが小さいほど大きな混合比率αを生成し、また、カウント値ＣＮＴｆが多いほど大きな上限値Ｌを生成する。そして、混合比率供給部２３０は、上限値Ｌを超えないように混合比率αを制限し、制限後の値を混合比率α'として設定する。ここで、混合比率αおよびα'は、入力フレームおよび出力フレームの混合における、出力フレームの割合を示す値であり、例えば、０乃至１の実数が設定される。混合比率供給部２３０は、設定した混合比率α'を混合部２５０に供給する。

混合部２５０は、混合比率α'に基づいて前回の出力フレームと今回の入力フレームとを混合するものである。この混合部２５０は、入力フレームが入力されるたびに、前回の出力フレームをフレームバッファ２７０から読出し、その出力フレームと今回の入力フレームとを混合比率α'に基づいて混合する。具体的には、混合部２５０は、次式を使用してフレームを混合する。ただし、最初の入力フレームが入力された場合には、前回の出力フレームが存在しないため、混合比率α'は、「０」に設定される。
Ｙ_ｔ（ｘ，ｙ）＝α_ｔ'×Ｙ_ｔ−１（ｘ，ｙ）＋（１−α_ｔ'）×Ｘ_ｔ（ｘ，ｙ）…式１

上式において、Ｙ_ｔ（ｘ，ｙ）およびＹ_ｔ−１（ｘ，ｙ）は、ｔおよびｔ−１番目の出力フレームにおける座標（ｘ，ｙ）の画素の画素値である。ｘはフレームにおける水平座標であり、ｙは垂直座標である。ここで、フレームの水平方向の画素数はＭ個（Ｍは整数）であり、ｘは０乃至Ｍ−１の値である。また、フレームの垂直方向の画素数はＮ個（Ｎは整数）であり、ｙは０乃至Ｎ−１の値である。Ｘ_ｔ（ｘ，ｙ）は、ｔ番目の入力フレームの座標（ｘ，ｙ）画素の画素値である。α_ｔ'は、ｔ番目に設定された混合比率である。

式１により表されるフィルタでは、出力信号（すなわち、出力フレーム）が帰還するため、インパルスに対して無限長の時間に亘ってゼロでない値が出力される。このため、このようなフィルタは、無限インパルス応答（ＩＩＲ：Infinite Impulse Response）フィルタと呼ばれる。

混合部２５０は、生成した今回の出力フレームをＤ／Ａ変換部１７０に出力するとともに、フレームバッファ２７０に保持させる。フレームバッファ２７０は、出力フレームを保持するものである。なお、フレームバッファ２７０は、特許請求の範囲に記載の画像保持部の一例である。

［混合比率供給部の構成例］
図３は、第１の実施の形態における混合比率供給部２３０の一構成例を示すブロック図である。この混合比率供給部２３０は、混合比率生成部２３１、上限値生成部２４２および混合比率制限部２４３を備える。

混合比率生成部２３１は、動き量ｄＳが小さいほど大きな混合比率αを生成するものである。混合比率生成部２３１は、例えば、次式により表される関数を使用して、混合比率αを生成する。

上式においてａおよびｂは、正の実数である。α_ｍａｘは、混合比率αの上限の値であり、「０」より大きく、「１」未満の実数が設定される。Ｔｈ_ｓは、動き量ｄＳの閾値である。このＴｈ_ｓは、例えば、動きの有無の判定に用いられる閾値Ｔｈ_ｆと同じ値に設定される。なお、これらの閾値を異なる値に設定してもよい。

なお、混合比率生成部２３１は、動き量ｄＳが小さいほど大きな混合比率αを生成することができるのであれば、式２以外の式により混合比率αを求めてもよい。また、混合比率生成部２３１は、混合比率αを演算により求めているが、この構成に限定されない。例えば、混合比率生成部２３１は、予め式２等から求めておいた混合比率αと動き量ｄＳとを対応付けたテーブルを備え、そのテーブルから、動き量ｄＳに対応する混合比率αを読み出す構成であってもよい。あるいは、混合比率生成部２３１は、動き量ｄＳが、閾値Ｔｈ_ｓ以上であれば、「０」の値を返し、そうでない場合にはα_ｍａｘを返す関数を使用して、演算を行わずに混合比率αを生成してもよい。なお、混合比率生成部２３１は、特許請求の範囲に記載の取得部の一例である。

上限値生成部２４２は、カウント値ＣＮＴｆから上限値Ｌを生成するものである。上限値生成部２４２は、例えば、次式を使用して上限値Ｌを算出して混合比率制限部２４３へ供給する。
Ｌ＝（ＣＮＴｆ＋１）／（ＣＮＴｆ＋２） ・・・式３

なお、カウント値ＣＮＴｆが大きいほど小さな上限値Ｌを生成することができるのであれば、上限値生成部２４２は、式３以外の式により上限値Ｌを求めてもよい。また、上限値生成部２４２は、上限値Ｌを演算により求めているが、この構成に限定されない。例えば、上限値生成部２４２は、予め式３等から求めておいた上限値Ｌとカウント値ＣＮＴｆとを対応付けたテーブルを備え、そのテーブルから、カウント値ＣＮＴｆに対応する上限値Ｌを読み出す構成であってもよい。

混合比率制限部２４３は、上限値Ｌを超えないように混合比率αを制限するものである。この混合比率制限部２４３は、混合比率αが上限値Ｌ以上である場合には、上限値Ｌを、制限後の混合比率α'として混合部２５０に出力する。一方、混合比率αが上限値Ｌ未満である場合には、混合比率制限部２４３は、混合比率αをそのまま混合比率α'として混合部２５０に出力する。

なお、混合比率供給部２３０は、出力フレームの混合比率α'を供給しているが、入力フレームの混合比率（１−α'）をα'の代わりに供給することもできる。この場合、混合比率生成部２３１は、動き量ｄＳが大きいほど大きな混合比率（１−α）を生成する。また、上限値生成部２４２は、カウント値ＣＮＴｆが大きいほど大きな下限値を生成する。そして、混合比率制限部２４３は、下限値未満とならないように、混合比率（１−α）を制限する。

図４は、第１の実施の形態における動き量ｄＳに応じた混合比率αの一例を示すグラフである。同図に例示するように、動き量ｄＳが大きいほど小さな混合比率αが生成される。また、動き量ｄＳが、閾値Ｔｈ_ｓ未満である場合には、上限の混合比率α_ｍａｘが生成される。

図５は、第１の実施の形態におけるカウント値ＣＮＴｆに応じた上限値Ｌの一例を示すグラフである。同図に例示するように、カウント値ＣＮＴｆが大きいほど大きな上限値Ｌが生成される。

［混合部の構成例］
図６は、第１の実施の形態における混合部２５０の構成例を示すブロック図である。この混合部２５０は、減算器２５１と、乗算器２５２および２５３と、加算器２５４とを備える。

減算器２５１は、２つの入力値の一方から他方を減算するものである。減算器２５１には、「１」の値と混合比率α'とが入力される。減算器２５１は、「１」から混合比率α'を減算し、減算結果（１−α'）を乗算器２５２に供給する。

乗算器２５２および２５３は、２つの入力値を乗算するものである。乗算器２５２には、（１−α'）と入力フレーム内の画素の画素値とが入力される。１つの入力フレーム内の画素値は複数（例えば、Ｍ×Ｎ）個あるが、それらは所定の順序で順に入力される。乗算器２５２は、画素値が入力されるたびに、その画素値および（１−α'）を乗算し、乗算結果を加算器２５４に供給する。

乗算器２５３には、混合比率α'と、フレームバッファ２７０から読み出された出力フレーム内の画素の画素値とが入力される。乗算器２５３は、画素値が入力されるたびに、その画素値および混合比率α'を乗算し、乗算結果を加算器２５４に供給する。

加算器２５４は、２つの入力値を加算するものである。加算器２５４は、乗算器２５２の乗算結果と乗算器２５３の乗算結果とを加算し、加算結果を出力フレームの画素値としてフレームバッファ２７０に供給する。

［撮像装置の動作例］
図７は、第１の実施の形態における画像処理部２００が実行する画像処理の一例を示すフローチャートである。この画像処理は、例えば、画像処理部２００に動画内の入力フレームが入力されるたびに実行される。画像処理部２００は、今回の入力フレームと前回の出力フレームとから、動き量ｄＳを検出し、動きの有無を判定する（ステップＳ９０１）。

画像処理部２００は、連続して動きがないと判定された回数を計数してカウント値ＣＮＴｆを生成する（ステップＳ９０２）。画像処理部２００は、動き量ｄＳから混合比率αを生成する（ステップＳ９０３）。そして、画像処理部２００は、カウント値ＣＮＴｆから上限値Ｌを生成して、その上限値Ｌにより混合比率αを制限する（ステップＳ９０４）。

画像処理部２００は、制限後の混合比率α'に基づいて入力フレームおよび出力フレームを混合して出力する（ステップＳ９０５）。ステップＳ９０５の後、画像処理部２００は、画像処理を終了する。

図８は、第１の実施の形態における処理対象の動画の一例を示す図である。同図に例示するように、この動画は、フレーム番号「０」乃至「６３」の６４枚の入力フレームを含む。そして、フレーム番号「０」の入力フレームの生成時にフラッシュが焚かれており、そのフレームの輝度が全体的に高いものとする。また、フレーム番号「０」乃至「６３」の入力フレームでは、フレーム番号「０」と比較して輝度が低く、また、隣り合うフレーム間の輝度分布の変化量が少ないものとする。

図９は、第１の実施の形態におけるカウント値、上限値および混合比率の一例を示す図である。ここで、図８の動画が入力された場合を想定する。フレーム番号「０」の入力フレームの入力時点では、前回の出力フレームが存在しないため、混合比率α'は「０」に設定される。

次にフレーム番号「１」の入力フレームの入力時点では、前回の出力フレームに対する、今回の入力フレームの動き量ｄＳが大きいために混合比率αは「０」に設定される。制限後の混合比率α'も同様である。

フレーム番号「２」の入力フレームの入力時点では、前回の出力フレームに対する、今回の入力フレームの動き量ｄＳが小さいために混合比率αは比較的大きな「０．９７」に設定される。動きがないと連続して判定された回数は一回であるため、式３より上限値Ｌは約「０．６７」に設定される。このため、制限後の混合比率α'は「０．６７」である。

フレーム番号「３」以降においても、動き量ｄＳが小さいために、比較的大きな混合比率αが設定される。ただし、式３に基づき、連続して動きがないと判定された回数（すなわち、カウント値ＣＮＴｆ）が増加するにつれて上限値Ｌが大きくなり、制限後の混合比率α'も大きくなる。

このように、連続して動きがないと判定された回数が多いほど、大きな混合比率α'が設定される。

図１０は、第１の実施の形態におけるＩＩＲ係数の一例を示すグラフである。同図の縦軸はＩＩＲ係数であり、横軸はフレーム番号である。ここで、ＩＩＲ係数は、出力フレームにおける、入力フレームの各々の割合を示す係数である。ＩＩＲ係数は、例えば、次の式４乃至７により表される。

式４において、Ｙ_ｎは、ｎ番目の出力フレームにおける画素の画素値である。α_０乃至α_ｎは、０乃至ｎ番目に設定された混合比率である。Ｘ_０乃至Ｘ_ｎは、０乃至ｎ番目の入力フレームの画素の画素値である。ａ_０は、０番目の入力フレームの割合を示すＩＩＲ係数である。ｂ_ｋ（ｋは、１乃至ｎ−１の整数）は、ｋ番目の入力フレームの割合を示すＩＩＲ係数である。ｃ_ｎは、ｎ番目の入力フレームの割合を示すＩＩＲ係数である。式６において、Πα_ｌ（ｌは、ｋ＋１乃至ｎの整数）は、α_ｌの総乗を示す。なお、式４乃至式７において画素の座標の表記は省略されている。式７より後の式においても同様に、画素の座標の表記を省略するものとする。

式４の導出方法について説明する。混合比率αにより混合を行う場合、式１に基づいて１番目の出力フレームの画素値Ｙ_１は、次式により表される。
Ｙ_１＝α_１×Ｙ_０＋（１−α_１）×Ｘ_１
＝α_１×Ｘ_０＋（１−α_１）×Ｘ_１ ・・・式８

この式８と式１とに基づいて２番目の出力フレームの画素値Ｙ_２は、次式により表される。
Ｙ₂＝α_２×Ｙ_１＋（１−α_２）×Ｘ_２
＝α_２×（α_１×Ｘ_０＋（１−α_１）×Ｘ_１）＋（１−α_２）×Ｘ_２
＝α_１×α_２×Ｘ_０＋（１−α_１）×α_２×Ｘ_１＋（１−α_２）×Ｘ_２ ・・・式９

式８および式９に例示したように、１番目以降の出力フレームのそれぞれにおいて出力フレームの画素値は、複数の入力フレームの画素値のそれぞれを重み付した値の総和により表すことができる。式８および式９と同様に、ｎ番目の出力フレームにおいて、ｎ−１番目以前の出力フレームの画素値の各々に対して、式１に例示した関数を順に畳み込む畳込み演算により出力フレームを全て入力フレームに置き換えると、式４が導出される。

ここで、６４枚のフレームにおいて、図８に例示したように０番目と１番目の入力フレーム間に動きがあり、２番目以降のフレームに動きがない場合を考える。この場合には、例えば、「０」の混合比率α_０が生成され、「３１／３２」（≒０．９７）の混合比率α_１乃至α_６３が生成される。これらの値を式５に代入すると、「０」のＩＩＲ係数ａ_０が得られる。

また、式６からＩＩＲ係数ｂ_１は、（３１／３２）^６２（≒０．１３９）となる。ＩＩＲ係数ｂ_２は、（１−３１／３２）×（３１／３２）^６１（≒０．００５）となる。以降は、式６および式７に基づいて、フレーム番号が増加するほど大きなＩＩＲ係数が得られる。その結果、図１０における一点鎖線の軌跡が得られる。この軌跡は、混合比率αを制限しない場合には、ＩＩＲ係数、すなわち、入力フレームの割合は均一にならないことを示す。また、１番目の入力フレームにおいて動きがあると、そのときのＩＩＲ係数ｂ_１が、他のＩＩＲ係数（ｂ_２など）と比較して極端に大きくなってしまう。したがって、制限前の混合比率αにより混合を行うと、ノイズの低減の効果が損なわれる。

これに対して、上限値Ｌにより混合比率αを制限すると、均一なＩＩＲ係数が得られる。例えば、ＩＩＲ係数ｂ_ｋおよびｂ_ｋ＋１は、式６に基づいて次の式１０および式１１により表される。
ｂ_ｋ＝（１―α_ｋ）×α_ｋ＋１×α_ｋ＋２×・・・×α_ｎ ・・・式１０
ｂ_ｋ＋１＝（１―α_ｋ＋１）×α_ｋ＋２×・・・×α_ｎ ・・・式１１

これらの式１０および式１１から、次式に示す関係が得られる。
ｂ_ｋ＝{（１−α_ｋ）×α_ｋ＋１／（１−α_ｋ＋１）}×ｂ_ｋ＋１ ・・・式１２

ここで、上限値Ｌにより制限した混合比率α_ｋおよびα_ｋ＋１が、上限値Ｌと等しいものとする。この場合、式３より、制限後のα_ｋを（ＣＮＴｆ＋１）／（ＣＮＴｆ＋２）とすると、制限後のα_ｋ＋１は（ＣＮＴｆ＋２）／（ＣＮＴｆ＋３）となる。これらを式１２に代入すると、式１２において（１−α_ｋ）×α_ｋ／（１−α_ｋ＋１）の値は「１」となる。このため、ｂ_ｋ＝ｂ_ｋ＋１が成立する。したがって、上限値Ｌより制限した混合比率αにより混合すると、ＩＩＲ係数が均一となる。

図１０における実践は、混合比率αを制限した場合のＩＩＲ係数を示す同図に示すように、ＩＩＲ係数、すなわち入力フレームの割合が均一な理想的な条件で混合が行われるため、動画内のノイズが十分に除去される。

ここで、６４フレームに亘って、動きがない静止状態が継続し、０乃至６３番目の入力フレームのそれぞれのノイズの分散σ^２が次式に示すように、全て同一であると仮定する。

上式において、Ａ_０乃至Ａ_６３は、０乃至６３番目のフレームの全画素を示す。また、Ｖ（）は、入力フレームのノイズの分散を返す関数である。

また、０番目から６３番目までの全ての入力フレームの全画素の画素値の平均は次式から求められる。

式１３および式１４に基づいて、混合比率αを制限した場合のノイズの分散値は、次式により表される。

上式に示すように、ノイズの分散は１／６４に低減する。したがって、混合比率αを制限した場合には、入力フレームの割合が均一であるために、６４（＝２^６）フレームが経過した時点で約１８デシベルのＳ／Ｎ比（Signal to Noise ratio）の改善効果が得られる。同様に、２^２ｉフレーム（ｉは整数）が経過した時点において、６×ｉデシベルのＳ／Ｎ比の改善効果が得られる。

これに対して、混合比率αを制限しない場合には入力フレームの割合が均一にならないため、ノイズの低減効果は制限した場合より低くなる。例えば、６４フレーム経過時点において１４．７ｄＢのＳ／Ｎ比の改善効果しか期待できない。

また、混合比率αを制限しない場合には、１番目のＩＩＲ係数ｂ_１が異様に大きく、１番目の入力フレームの画素値が出力フレームへ与える効果がなくなるまでの収束フレーム数が大きくなることがわかる。逆に、混合比率αを制限した場合には、図１０に例示したように、理想的なＩＩＲ係数が適用され、たかだか６４フレームでＩＩＲが収束する。

このように、本技術の第１の実施の形態によれば、撮像装置１００は、動きがないと連続して判定された回数が多いほど出力画像の割合を高くして入力画像および出力画像を混合するため、出力画像における入力画像の各々の割合を均一にすることができる。これにより、動画内のノイズを十分に低減することができる。

＜２．第２の実施の形態＞
［撮像装置の構成例］
第１の実施の形態では、画像処理部２００は、画面全体の動きの有無を検出していたが、動きの検出単位はより小さい方が望ましい。第２の実施の形態の画像処理部２００は、画面全体の動き、および、画素ごとの動きの両方を検出する点において第１の実施の形態と異なる。

図１１は、第２の実施の形態における画像処理部２００の一構成例を示すブロック図である。第２の実施の形態の画像処理部２００は、計数値埋込み処理部２６０および計数値抽出部２８０をさらに備える点において第１の実施の形態と異なる。

また、第２の実施の形態の動き判定部２１０は、画素ごとの動きの有無をさらに検出する点において第１の実施の形態と異なる。第２の実施の形態の静止フレーム数計数部２２０は、連続して動きがないと判定された回数を画素ごとにさらに計数する点において第１の実施の形態と異なる。画素ごとのカウント値ＣＮＴｐ１乃至ＣＮＴｐｍは、混合比率供給部２３０および計数値埋込み処理部２６０に供給される。ここで、ｍは、整数であり、フレーム内の全画素数を示す。

第２の実施の形態の混合比率供給部２３０は、画面全体のカウント値ＣＮＴｆと、画素ごとのカウント値ＣＮＴｐ１乃至ＣＮＴｐｍとから上限値Ｌを生成する点において第１の実施の形態と異なる。

計数値埋込み処理部２６０は、混合部２５０からの出力フレームにおいて画素ごとのカウント値を画素データに埋め込むものである。具体的には、計数値埋込み処理部２６０は、カメラ制御部１６０から無効ビット数を受け取る。この無効ビット数は、画素データにおいて、画素値を示す有効ビットに該当しないビットの数を示す。具体的には、プログラマブルゲインアンプ１５０におけるゲインに応じた値が設定される。例えば、ゲインが２^ｘ倍以上、２^ｘ＋１未満である場合には、ｘ個のビットが無効なビットとなる。

計数値埋込み処理部２６０は、カウント値に対応する画素の画素データ内の無効なビットを、そのカウント値を示すビットに置き換える。言い換えれば、計数値埋込み処理部２６０は、カウント値を画素データに埋め込む。

計数値埋込み処理部２６０は、カウント値を埋め込んだ出力フレームをフレームバッファ２７０に保持させる。

計数値抽出部２８０は、埋め込まれたカウント値を抽出するものである。この計数値抽出部２８０は、フレームバッファ２７０から出力フレームを読み出し、また、無効ビット数をカメラ制御部１６０から受け取る。計数値抽出部２８０は、無効ビット数に基づいて、出力フレームから画素ごとのカウント値を抽出する。計数値抽出部２８０は、抽出したカウント値を静止フレーム数計数部２２０に供給する。

また、計数値抽出部２８０は、カウント値を示すビットを全て無効なビットに置換し、置換後の出力フレームを動き判定部２１０および混合部２５０に供給する。

［画素データのデータ構成例]
図１２は、第２の実施の形態におけるカウント値の埋込み前の画素データのデータ構成例を示す図である。画素データのデータサイズは、例えば、１６ビットとする。同図において、白丸印は有効なビットであり、×印はカウント値を示すビットである。

ゲインが２倍未満である場合には、画素データにおいて、全てが有効なビットとなる。ゲインが２倍以上、４倍未満である場合には、画素データにおいて、１ビットが無効なビットとなる。ゲインが４倍以上、８倍未満である場合には、画素データにおいて、２ビットが無効なビットとなる。このように、ゲインが大きくなるほど、無効なビットが増加する。

図１３は、第２の実施の形態におけるカウント値の埋込み後の画素データのデータ構成例を示す図である。同図において、白丸印は有効なビットであり、黒丸印はカウント値を示すビットである。

ゲインが２倍未満である場合には、画素データにおいて、全てが有効なビットとなるため、カウント値を埋め込むことができない。ゲインが２倍以上、４倍未満である場合には、画素データにおいて、１ビットが無効なビットとなる。このため、この１ビットにカウント値が埋め込まれる。ゲインが４倍以上、８倍未満である場合には、画素データ内のＲのデータにおいて、２ビットが無効なビットとなる。このため、この２ビットにカウント値が埋め込まれる。このように、ゲインが大きくなるほど、埋め込むカウント値のビット数を大きくすることができる。

このようにカウント値を画素データに埋め込むことにより、画素ごとのカウント値を保持するメモリを備える必要がなくなる。なお、画像処理部２００は、画素ごとのカウント値を保持するためのメモリをさらに備え、そのメモリにカウント値を保持する構成であってもよい。この構成では、カウント値を埋め込む処理と、抽出する処理とを行う必要はなくなる。

［動き判定部の構成例］
図１４は、第２の実施の形態における動き判定部２１０の一構成例を示すブロック図である。この動き判定部２１０は、全画面動き判定部２１１および画素毎動き判定部２１３を備える。

全画面動き判定部２１１は、フレーム間差分法やブロックマッチングアルゴリズムなどを使用して、画面全体における動きの有無を判定するものである。全画面動き判定部２１１は、動き量ｄＳを混合比率供給部２３０に供給し、動きの有無の判定結果Ｍｆを静止フレーム数計数部２２０に供給する。

画素毎動き判定部２１３は、画素ごとの動きの有無を判定するものである。画素毎動き判定部は、入力フレームおよび出力フレームにおいて、対応する画素の各々において、画素値の差分の絶対値を画素の動き量として算出する。画素毎動き判定部２１３は、その動き量が所定の閾値Ｔｈ_ｐより大きい場合には、その画素に動きがあったと判定し、そうでない場合には動きがないと判定する。画素毎動き判定部２１３は、画素ごとの動きの有無の判定結果Ｍｐ１乃至Ｍｐｍを静止フレーム数計数部２２０に供給する。

なお、動き判定部２１０は、全画面の動き量を混合比率供給部２３０に供給しているが、この構成に限定されない。動き判定部２１０は、全画面の動き量と画素毎の動き量との統計量（例えば、平均値）を動き量ｄＳとして混合比率供給部２３０に供給することもできる。

［静止フレーム数計数部の構成例］
図１５は、第２の実施の形態における静止フレーム数計数部２２０の一構成例を示すブロック図である。この静止フレーム数計数部２２０は、全画面静止フレーム数計数部２２１および画素毎静止フレーム数計数部２２３を備える。

全画面静止フレーム数計数部２２１は、画面全体において動きがないと連続して判定された回数を計数するものである。具体的には、この全画面静止フレーム数計数部２２１は、カウント値ＣＮＴｆを保持し、全画面動き判定部２１１からの判定結果Ｍｆにおいて動きがあると判定された場合にはカウント値ＣＮＴｆを初期値にする。一方、動きがないと判定された場合には、全画面静止フレーム数計数部２２１はカウント値ＣＮＴｆをインクリメントする。そして、全画面静止フレーム数計数部２２１はカウント値ＣＮＴｆを混合比率供給部２３０に供給する。

画素毎静止フレーム数計数部２２３は、動きがないと連続して判定された回数を画素ごとに計数するものである。具体的には、この画素毎静止フレーム数計数部２２３は、画素毎動き判定部２１３から判定結果Ｍｐ１乃至Ｍｐｍを受け取り、計数値抽出部２８０からカウント値ＣＮＴｐ１乃至ＣＮＴｐｍを受け取る。画素毎静止フレーム数計数部２２３は、それぞれの判定結果において動きがあると判定された場合には、対応するカウント値を初期値にする。一方、動きがないと判定された場合には、画素毎静止フレーム数計数部２２３は、対応するカウント値をインクリメントする。そして、画素毎静止フレーム数計数部２２３はカウント値ＣＮＴｐ１乃至ＣＮＴｐｍを混合比率供給部２３０に供給する。

［混合比率供給部の構成例］
図１６は、第２の実施の形態における混合比率供給部２３０の一構成例を示すブロック図である。第２の実施の形態の混合比率供給部２３０は、最小値選択部２４１をさらに備える点において第１の実施の形態と異なる。最小値選択部２４１は、静止フレーム数計数部２２０からカウント値ＣＮＴｆと、カウント値ＣＮＴｐ１乃至ＣＮＴｐｍとを受け取る。最小値選択部２４１は、それらのカウント値の最小値ＭＩＮを上限値生成部２４２に供給する。

第２の実施の形態の上限値生成部２４２は、次式を使用して、ＣＮＴｆの代わりに、最小値ＭＩＮを使用して上限値Ｌを算出する。
Ｌ＝（ＭＩＮ＋１）／（ＭＩＮ＋２） ・・・式１６

なお、上限値生成部２４２は、式１６の代わりに次式を使用して上限値を算出することもできる。
Ｌ＝（ＭＩＮ−１）／（ＭＩＮ） ・・・式１７

このように、本技術の第２の実施の形態によれば、撮像装置１００は、画面全体の動き、および、画素ごとの動きの両方を検出するため、動きの検出精度を向上させることができる。検出精度の向上により、適切な混合比率によりフレームが混合されてノイズの低減効果が向上する。

＜３．第３の実施の形態＞
［動き判定部の構成例］
第２の実施の形態では、画像処理部２００は、画素ごとの動きの他に、画面全体の動きの有無を検出していたが、動きの検出単位はより小さい方が望ましい。第３の実施の形態の画像処理部２００は、フレームを複数の領域に分割し、画面全体の動きの代わりに領域ごとの動きを検出する点において第２の実施の形態と異なる。

図１７は、第３の実施の形態における動き判定部２１０の一構成例を示すブロック図である。第３の実施の形態の動き判定部２１０は、全画面動き判定部２１１の代わりに領域毎動き判定部２１２を備える点において第２の実施の形態と異なる。

領域毎動き判定部２１２は、入力フレームおよび出力フレームを複数の領域に分割し、領域ごとの動きの有無を判定するものである。ここで、それぞれの領域は、複数の画素を含む所定の形状（例えば、８×８画素の正方形）の領域であるものとする。

領域毎動き判定部２１２は、例えば、ブロックマッチングアルゴリズムを使用して、動き量ｄＳが閾値Ｔｈ_ａ以上であるか否かにより、領域ごとの動きの有無を判定する。ブロックマッチングにおいては、例えば、それぞれの領域をブロックとして、ブロックごとに動きが検出される。領域毎動き判定部２１２は、領域ごとの判定結果Ｍａ１乃至Ｍａｖを静止フレーム数計数部２２０に供給する。ここで、ｖは、画素数ｍ未満の整数であり、領域の個数を示す。

なお、領域のサイズとブロックのサイズとは、同一に限定されない。例えば、領域毎動き判定部２１２は、それぞれの領域をさらに複数のブロックに分割し、それらのブロックの相関性に基づいて動きを検出してもよい。

第３の実施の形態の画素毎動き判定部２１３の構成は、第２の実施の形態と同様である。

［静止フレーム数計数部］
図１８は、第３の実施の形態における静止フレーム数計数部２２０の一構成例を示すブロック図である。第３の実施の形態の静止フレーム数計数部２２０は、全画面静止フレーム数計数部２２１の代わりに領域毎静止フレーム数計数部２２２を備える点において第２の実施の形態と異なる。

領域毎静止フレーム数計数部２２２は、動きがないと連続して判定された回数を領域ごとに計数するものである。この領域毎静止フレーム数計数部２２２は、ｖ個の領域におけるカウント値ＣＮＴａ１乃至ＣＮＴａｖを保持する。領域毎静止フレーム数計数部２２２は、領域毎動き判定部２１２から判定結果Ｍａ１乃至Ｍａｖを受け取り、それぞれの判定結果において動きがあると判定された場合には、対応するカウント値を初期値にする。一方、動きがないと判定された場合には、領域毎静止フレーム数計数部２２２は、対応するカウント値をインクリメントする。そして、領域毎静止フレーム数計数部２２２はカウント値ＣＮＴａ１乃至ＣＮＴａｖを混合比率供給部２３０に供給する。

第３の実施の形態の画素毎静止フレーム数計数部２２３の構成は、第２の実施の形態と同様である。

なお、撮像装置１００は、領域ごとの動き、および、画素ごとの動きの両方を検出しているが、いずれか一方のみの動きを検出する構成としてもよい。

また、撮像装置１００は、領域ごとの動きと画素ごとの動きとの両方を検出しているが、画面全体の動き、および、領域ごとの動きの両方を検出する構成としてもよい。

このように、本技術の第３の実施の形態によれば、撮像装置１００は、領域ごとの動き、および、画素ごとの動きの両方を検出するため、動きの検出精度を向上させることができる。検出精度の向上により、適切な混合比率によりフレームが混合されてノイズの低減効果が向上する。

＜４．第４の実施の形態＞
［動き判定部の構成例］
第２の実施の形態では、画像処理部２００は、画面全体の動き、および、画素ごとの動きの両方を検出していたが、検出精度の向上の観点から、領域ごとの動きをさらに検出することが望ましい。第４の実施の形態の画像処理部２００は、画面全体の動き、および、領域ごとの動きに加えて、領域ごとの動きをさらに検出する点において第２の実施の形態と異なる。

図１９は、第４の実施の形態における動き判定部２１０の一構成例を示すブロック図である。第４の実施の形態の動き判定部２１０は、領域毎動き判定部２１２をさらに備える点において第２の実施の形態と異なる。

第４の実施の形態の領域毎動き判定部２１２は、第３の実施の形態と同様の構成である。

［静止フレーム数計数部］
図２０は、第４の実施の形態における静止フレーム数計数部２２０の一構成例を示すブロック図である。第４の実施の形態の静止フレーム数計数部２２０は、領域毎静止フレーム数計数部２２２をさらに備える点において第２の実施の形態と異なる。

第４の実施の形態の領域毎静止フレーム数計数部２２２は、第３の実施の形態と同様の構成である。

このように、本技術の第４の実施の形態によれば、撮像装置１００は、画面全体の動き、領域ごとの動き、および、画素ごとの動きを全て検出するため、動きの検出精度をさらに向上させることができる。検出精度の向上により、適切な混合比率によりフレームが混合されてノイズの低減効果が向上する。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

なお、本技術は以下のような構成もとることができる。
（１）入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、
前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する混合比率供給部と、
前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部と
を具備する画像処理装置。
（２）前記混合比率供給部は、
前記回数が多いほど大きな上限値を生成する上限値生成部と、
前記変化量が大きいほど小さい値を取得する取得部と、
前記取得された値が前記上限値より大きい場合には前記上限値を記混合比率として供給し、前記取得された値が前記上限値を超えない場合には前記取得された値を前記混合比率として供給する制限部とを備える
前記（１）記載の画像処理装置。
（３）前記混合比率供給部は、前記回数が多いほど大きく、かつ、前記出力画像において混合される複数の前記入力画像の各々の割合が均一になる前記混合比率を供給する前記（１）または（２）記載の画像処理装置。
（４）前記入力画像および前記出力画像は、それぞれが複数の画素からなる複数の領域を含む画像であり、
前記判定部は、前記変化量が前記所定の閾値より小さいか否かを前記領域ごとに判定し、
前記混合比率供給部は、前記変化量が前記所定の閾値より小さいと連続して判定された回数を前記領域ごとに取得して前記領域ごとに取得した前記回数のうちの最小値が大きいほど大きな前記混合比率を供給する前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記入力画像および前記出力画像は、複数の画素を含む画像であり、
前記判定部は、前記変化量が前記所定の閾値より小さいか否かを前記画素ごとに判定し、
前記混合比率供給部は、前記変化量が前記所定の閾値より小さいと連続して判定された回数を前記画素ごとに取得して前記画素ごとに取得した前記回数のうちの最小値が大きいほど大きな前記混合比率を供給する前記（１）から（４）のいずれかに記載の画像処理装置。
（６）画素値を示す有効データとともに前記有効データに該当しない無効データを前記画素が含む場合には前記画素ごとに当該画素内の前記無効データを前記回数により置換する置換部と、
前記無効データが置換された前記出力画像を保持する画像保持部とをさらに具備し、
前記混合比率供給部は、前記回数を前記保持された出力画像から取得する前記（５）記載の画像処理装置。
（７）入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、
前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する混合比率供給部と、
前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部と
前記出力された出力画像を保持する画像保持部と
を具備する撮像装置。
（８）判定部が、入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定手順と、
混合比率供給部が、前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する混合比率供給手順と、
混合部が、前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合手順と
を具備する画像処理方法。
（９）判定部が、入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定手順と、
混合比率供給部が、前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する混合比率供給手順と、
混合部が、前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合手順と
をコンピュータに実行させるためのプログラム。

１００ 撮像装置
１１０ 撮像レンズ
１２０ 撮像素子
１３０ アナログフロントエンド
１４０ Ａ／Ｄ変換部
１５０ プログラマブルゲインアンプ
１６０ カメラ制御部
１７０ Ｄ／Ａ変換部
１８０ 表示部
２００ 画像処理部
２１０ 動き判定部
２１１ 全画面動き判定部
２１２ 領域毎動き判定部
２１３ 画素毎動き判定部
２２０ 静止フレーム数計数部
２２１ 全画面静止フレーム数計数部
２２２ 領域毎静止フレーム数計数部
２２３ 画素毎静止フレーム数計数部
２３０ 混合比率供給部
２３１ 混合比率生成部
２４１ 最小値選択部
２４２ 上限値生成部
２４３ 混合比率制限部
２５０ 混合部
２５１ 減算器
２５２、２５３ 乗算器
２５４ 加算器
２６０ 計数値埋込み処理部
２７０ フレームバッファ
２８０ 計数値抽出部

Claims (19)

1. 入力画像と、前記入力画像よりも前に出力された出力画像と、における画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、
   前記変化量に基づいて取得された値に対する制限値を前記判定部の判定結果に基づいて生成するとともに前記取得された値と前記制限値との比較結果から前記入力画像および前記出力画像の混合における混合比率を供給する混合比率供給部と、
   前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部と
   を具備する画像処理装置。
2. 前記取得された値は、前記変化量が大きいほど小さい値であり、
   前記制限値は、前記取得される値に対する上限値であり、
   前記混合比率供給部は、前記取得された値が前記上限値より大きい場合には前記上限値を前記出力画像の混合比率として供給し、前記取得された値が前記上限値を超えない場合には前記取得された値を前記出力画像の混合比率として供給する
   請求項１記載の画像処理装置。
3. 前記混合比率供給部は、前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな前記上限値を生成する請求項２記載の画像処理装置。
4. 前記判定部は、前記入力画像が入力されるたびに、前記変化量が所定の閾値より小さいか否かを判定し、
   前記混合部は、前記入力画像が入力されるたびに、前記出力画像および前記入力画像を混合する
   請求項３に記載の画像処理装置。
5. 前記混合比率供給部は、前記回数が多いほど大きく、かつ、前記新たな出力画像において混合される複数の前記入力画像の各々の割合が均一になる前記混合比率を供給する請求項３または４に記載の画像処理装置。
6. 前記入力画像および前記出力画像は、それぞれが複数の画素からなる複数の領域を含む画像であり、
   前記判定部は、前記変化量が前記所定の閾値より小さいか否かを前記領域ごとに判定し、
   前記混合比率供給部は、前記変化量が前記所定の閾値より小さいと連続して判定された回数を前記領域ごとに取得して前記領域ごとに取得した前記回数のうちの最小値が大きいほど大きな前記出力画像の混合比率を供給する
   請求項３から５のいずれか一項に記載の画像処理装置。
7. 前記入力画像および前記出力画像は、複数の画素を含む画像であり、
   前記判定部は、前記変化量が前記所定の閾値より小さいか否かを前記画素ごとに判定し、
   前記混合比率供給部は、前記変化量が前記所定の閾値より小さいと連続して判定された回数を前記画素ごとに取得して前記画素ごとに取得した前記回数のうちの最小値が大きいほど大きな前記出力画像の混合比率を供給する
   請求項３から５のいずれか一項に記載の画像処理装置。
8. 画素値を示す有効データとともに前記有効データに該当しない無効データを前記画素が含む場合には前記画素ごとに当該画素内の前記無効データを前記回数により置換する置換部と、
   前記無効データが置換された前記出力画像を保持する画像保持部と
   をさらに具備し、
   前記混合比率供給部は、前記回数を前記保持された出力画像から取得する
   請求項６または７記載の画像処理装置。
9. 入力画像と、前記入力画像よりも前に出力された出力画像と、における画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、
   前記変化量に基づいて取得された値に対する制限値を前記判定部の判定結果に基づいて生成するとともに前記取得された値と前記制限値との比較結果から前記入力画像および前記出力画像の混合における混合比率を供給する混合比率供給部と、
   前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部と
   前記出力された出力画像を保持する画像保持部と
   を具備する撮像装置。
10. 入力画像と、前記入力画像よりも前に出力された出力画像と、における画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定手順と、
    前記変化量に基づいて取得された値に対する制限値を前記判定手順の判定結果に基づいて生成するとともに前記取得された値と前記制限値との比較結果から前記入力画像および前記出力画像の混合における混合比率を供給する混合比率供給手順と、
    前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合手順と
    を具備する画像処理方法。
11. 入力画像と、前記入力画像よりも前に出力された出力画像と、における画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定手順と、
    前記変化量に基づいて取得された値に対する制限値を前記判定手順の判定結果に基づいて生成するとともに前記取得された値と前記制限値との比較結果から前記入力画像および前記出力画像の混合における混合比率を供給する混合比率供給手順と、
    前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合手順と
    をコンピュータに実行させるためのプログラム。
12. 入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、
    前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する混合比率供給部と、
    前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部とを具備し、
    前記混合比率供給部は、
    前記回数が多いほど大きな上限値を生成する上限値生成部と、
    前記変化量が大きいほど小さい値を取得する取得部と、
    前記取得された値が前記上限値より大きい場合には前記上限値を記混合比率として供給し、前記取得された値が前記上限値を超えない場合には前記取得された値を前記混合比率として供給する制限部とを備える
    画像処理装置。
13. 入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、
    前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する混合比率供給部と、
    前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部とを具備し、
    前記混合比率供給部は、
    前記回数が多いほど大きく、かつ、前記出力画像において混合される複数の前記入力画像の各々の割合が均一になる前記混合比率を供給する
    画像処理装置。
14. 入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、
    前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する混合比率供給部と、
    前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部とを具備し、
    前記入力画像および前記出力画像は、それぞれが複数の画素からなる複数の領域を含む画像であり、
    前記判定部は、前記変化量が前記所定の閾値より小さいか否かを前記領域ごとに判定し、
    前記混合比率供給部は、前記変化量が前記所定の閾値より小さいと連続して判定された回数を前記領域ごとに取得して前記領域ごとに取得した前記回数のうちの最小値が大きいほど大きな前記混合比率を供給する
    画像処理装置。
15. 入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、
    前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する混合比率供給部と、
    前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部とを具備し、
    前記入力画像および前記出力画像は、複数の画素を含む画像であり、
    前記判定部は、前記変化量が前記所定の閾値より小さいか否かを前記画素ごとに判定し、
    前記混合比率供給部は、前記変化量が前記所定の閾値より小さいと連続して判定された回数を前記画素ごとに取得して前記画素ごとに取得した前記回数のうちの最小値が大きいほど大きな前記混合比率を供給する
    画像処理装置。
16. 入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、
    前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する混合比率供給部と、
    前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部とを具備し、
    画素値を示す有効データとともに前記有効データに該当しない無効データを前記画素が含む場合には前記画素ごとに当該画素内の前記無効データを前記回数により置換する置換部と、
    前記無効データが置換された前記出力画像を保持する画像保持部と
    をさらに具備し、
    前記混合比率供給部は、前記回数を前記保持された出力画像から取得する
    請求項１５に記載の画像処理装置。
17. 入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定部と、
    前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する混合比率供給部と、
    前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合部と
    前記出力された出力画像を保持する画像保持部と
    を具備し、
    前記混合比率供給部は、
    前記回数が多いほど大きな上限値を生成する上限値生成部と、
    前記変化量が大きいほど小さい値を取得する取得部と、
    前記取得された値が前記上限値より大きい場合には前記上限値を前記混合比率として供給し、前記取得された値が前記上限値を超えない場合には前記取得された値を前記混合比率として供給する制限部とを備える
    画像処理装置。
18. 判定部が、入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定手順と、
    上限値生成部が、前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな上限値を生成する生成手順と、
    取得部が、前記変化量が大きいほど小さい値を取得する取得手順と、
    制限部が、前記取得された値が前記上限値より大きい場合には前記上限値を混合比率として供給し、前記取得された値が前記上限値を超えない場合には前記取得された値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する手順と、
    混合部が、前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合手順と
    を具備する画像処理方法。
19. 判定部が、入力画像が入力されるたびに前記入力画像と出力された出力画像とにおける画素値の分布の変化量が所定の閾値より小さいか否かを判定する判定手順と、
    上限値生成部が、前記変化量が前記所定の閾値より小さいと連続して判定された回数が多いほど大きな上限値を生成する生成手順と、
    取得部が、前記変化量が大きいほど小さい値を取得する取得手順と、
    制限部が、前記取得された値が前記上限値より大きい場合には前記上限値を混合比率として供給し、前記取得された値が前記上限値を超えない場合には前記取得された値を前記入力画像および前記出力画像の混合における前記出力画像の混合比率として供給する手順と、
    混合部が、前記入力画像が入力されるたびに前記入力画像および前記出力画像を前記供給された混合比率に基づいて混合して新たな出力画像として出力する混合手順と
    をコンピュータに実行させるためのプログラム。

Images