JP4813517B2 - 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 - Google Patents

Description

本発明は、複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う技術に関する。

従来、複数枚の画像間における動きベクトルを検出する手段として、相関演算に基づく相関法やブロックマッチング法が知られている。ブロックマッチング法は、入力された画像信号を複数の適当な大きさのブロック（例えば８画素×８ライン）に分割し、このブロック単位で前のフレームの一定範囲の画素との差を計算し、この差の絶対値の和が最小となるブロックを探索する方法である。画像間の相対的なずれが、そのブロックの動きベクトルを示している。最終的に画像の位置合わせを行うには、各ブロックの動きベクトルを統合して、フレーム間の代表的な動きベクトルを算出して使用する。

ブロックマッチングでの相関の高いブロックの探索方法としては、画素値の差分の自乗和である誤差自乗和ＳＳＤ(Sum of Squared intensity Difference)や、画素値の差分の絶対値和である誤差絶対値和ＳＡＤ(Sum of Absolute intensity Difference)を求める方法がある。この方法では、ＳＳＤ、ＳＡＤが小さいほど、相関（一致度）が高いと判断する。マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'において、画素位置ｐ∈Ｉおよび、ｑ∈Ｉ'(ｐ、ｑは２次元の値を持つ量で、Ｉ,Ｉ'は２次元の領域、ｐ∈Ｉは座標ｐが領域Ｉに含まれていることを示す)の画素値をそれぞれＬｐ、Ｌｑとすると、ＳＳＤ、ＳＡＤは、それぞれ次式（１）、（２）で表される。

その他に、正規化相互相関ＮＣＣ(Normalized Cross-Correlation)を用いる方法がある。ゼロ平均相関は、マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'の各々に含まれる画素ｐ∈Ｉおよび、ｑ∈Ｉ'の平均値Ａｖｅ（Ｌｐ）、Ａｖｅ（Ｌｑ）を算出し、各ブロックに含まれる画素値との差分を次式（３）、（４）により計算する。

続いて、正規化相互相関ＮＣＣを次式（５）により計算する。

正規化相互相関ＮＣＣの大きいブロックを一致度の高い（相関の高い）ブロックと判断し、最も一致度の高いブロックＩ'とＩの間の相対的ズレ量を求めて、動きベクトルとする。

静止した平面もしくは無限遠とみなせる被写体に対して動きベクトルを算出すると、光学系の歪曲収差の影響がほとんど無ければ、個々の領域での動きベクトルと画像全体の動きベクトルとは一致する。しかし、広画角で歪曲収差が大きい光学系を用いて画像を取得した場合、像高によって歪曲量が大きく変動するため、平面もしくは無限遠とみなせる被写体が平行移動した場合でも、画像の動きベクトルは像高によって大きく変化する。例えば、図９に示すような負の歪曲収差（樽形歪曲収差）を有する光学系を用いて画像を取得した場合、図１０に示すように、画像周辺に結像した像は、画像中心に結像した像に比べて小さくなる。なお、像高とは、像面上での光軸からの距離のことをいう。

この結果、例えば複数枚の画像の位置合わせを行う場合、画像の中心部と周辺部を同時に位置合わせすることが困難になる。このような課題を解決するために、光学系の歪曲収差を補正した後の画像を用いて動きベクトルの検出を行う技術が知られている（特許文献１参照）。
特開２００７−１２９５８７号公報

ここで、一般的に光学系の歪曲収差が大きい内視鏡を用いて得られる画像の位置合わせを行う場合を考える。生体内部の観察を目的とする内視鏡においては、被写体が光学系に近接した位置に存在し、さらに平面ではなく立体的な構造を持っている。このような被写体に対しては、歪曲収差を補正した画像を用いても、図１１に示すように光学系から被写体までの距離の違いによる局所的な光学倍率の変動に伴い、動きベクトルも局所的に変化してしまう。また、被写体の形状は一定ではないため、画像全体を同時に精度良く位置合わせすることは非常に困難である。従って、特許文献１に記載の技術では、ユーザーが注目している領域についての位置合わせを確実に行うことができない。

本発明は上記の課題に鑑みてなされたものであり、その目的は、ユーザーが注目している領域の位置合わせを確実に行うことである。

本発明のある態様に係る画像処理装置は、複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理装置であって、動きベクトルを求めるための複数の動きベクトル測定領域を画像上に設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域ごとに、動きベクトルを算出する動きベクトル算出部と、前記画像を複数の特徴量評価領域に分割する領域分割部と、前記分割された複数の特徴量評価領域ごとに特徴量を算出する特徴量算出部と、前記特徴量に基づいて、前記複数の特徴量評価領域の中から、ユーザーにより注目される領域である注目領域を特定する注目領域特定部と、前記複数の動きベクトル測定領域のそれぞれに対して、動きベクトル測定領域が前記注目領域に含まれるか否かを判定する位置関係判定部と、前記注目領域に含まれる動きベクトル測定領域の動きベクトルの寄与度が前記注目領域に含まれない動きベクトル測定領域の動きベクトルの寄与度より大きくなるように、各動きベクトルの寄与度を算出する寄与度算出部と、前記算出された寄与度に応じて、前記複数の動きベクトル測定領域ごとに算出された動きベクトルを統合することにより、画像間の動きベクトルを求める動きベクトル統合部と、を備えることを特徴とする。

本発明の別の態様に係る画像処理プログラムは、動きベクトル算出による複数枚の画像間の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、動きベクトルを求めるための複数の動きベクトル測定領域を画像上に設定するステップと、前記複数の動きベクトル測定領域ごとに、動きベクトルを算出するステップと、前記画像を複数の特徴量評価領域に分割するステップと、前記分割された複数の特徴量評価領域ごとに特徴量を算出するステップと、前記特徴量に基づいて、前記複数の特徴量評価領域の中から、ユーザーにより注目される領域である注目領域を特定するステップと、前記複数の動きベクトル測定領域のそれぞれに対して、動きベクトル測定領域が前記注目領域に含まれるか否かを判定するステップと、前記注目領域に含まれる動きベクトル測定領域の動きベクトルの寄与度が前記注目領域に含まれない動きベクトル測定領域の動きベクトルの寄与度より大きくなるように、各動きベクトルの寄与度を算出するステップと、前記算出された寄与度に応じて、前記複数の動きベクトル測定領域ごとに算出された動きベクトルを統合することにより、画像間の動きベクトルを求めるステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理方法は、複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理方法であって、動きベクトルを求めるための複数の動きベクトル測定領域を画像上に設定するステップと、前記複数の動きベクトル測定領域ごとに、動きベクトルを算出するステップと、前記画像を複数の特徴量評価領域に分割するステップと、前記分割された複数の特徴量評価領域ごとに特徴量を算出するステップと、前記特徴量に基づいて、前記複数の特徴量評価領域の中から、ユーザーにより注目される領域である注目領域を特定するステップと、前記複数の動きベクトル測定領域のそれぞれに対して、動きベクトル測定領域が前記注目領域に含まれるか否かを判定するステップと、前記注目領域に含まれる動きベクトル測定領域の動きベクトルの寄与度が前記注目領域に含まれない動きベクトル測定領域の動きベクトルの寄与度より大きくなるように、各動きベクトルの寄与度を算出するステップと、前記算出された寄与度に応じて、前記複数の動きベクトル測定領域ごとに算出された動きベクトルを統合することにより、画像間の動きベクトルを求めるステップと、を備えることを特徴とする。

これら態様によれば、ユーザーにより注目される領域である注目領域を特定し、注目領域に含まれる動きベクトル測定領域の動きベクトルの寄与度が注目領域に含まれない動きベクトル測定領域の動きベクトルの寄与度より大きくなるように、各動きベクトルの寄与度を算出してから、寄与度に応じて各動きベクトルを統合するので、注目領域の動きベクトルを精度良く算出して、注目領域の位置合わせを確実に行うことができる。

本発明によれば、ユーザーにより注目される領域の位置合わせを確実に行うことができる。

図１は、一実施の形態における画像処理装置の構成を示すブロック図である。図中、点線は制御信号、細線は動きベクトルや信頼度等のデータの流れ、太線は画像データの流れを表している。なお、本実施の形態に係る画像処理装置は、デジタルカメラ、デジタルビデオカメラや内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載される。

メインコントローラ１０２は、装置全体の動作制御を行うプロセッサであり、例えば、ＤＳＰ（デジタルシグナルプロセッサ）などのＣＰＵが用いられる。

画像入力部１０１には、例えば、図示しない撮像装置や外部装置から、異なる時刻に撮像された複数枚の画像が入力される。画像入力部１０１に入力された複数フレームの画像は、フレームメモリ１０７にいったん格納される。フレームメモリ１０７に格納された複数のフレームデータには、位置合わせの基準となる基準フレームのデータと、基準フレームに対して位置合わせを行う対象フレームのデータとがある。

動きベクトル測定ブロック設定部１０３は、フレームメモリ１０７に格納されている基準フレームに対して、所定の複数の動きベクトル測定ブロックを設定する。この動きベクトル測定ブロックは、基準フレームと対象フレームとの位置合わせを行う際に用いられる。以下では、この動きベクトル測定ブロックを単に「ブロック」と呼ぶ。

図２は、基準フレームに対して設定されたブロックの一例を示す図である。図２に示す例では、ブロックは、基準フレーム上に格子状に設定されている。このブロックの中心座標が、動きベクトルの始点となる。

動きベクトル算出部１０４は、フレームメモリ１０７に格納された基準フレームおよび対象フレームの画像データと、動きベクトル測定ブロック設定部１０３で設定されたブロックのデータとを用いて、上述したＳＳＤ、ＳＡＤ、ＮＣＣ等の一致指標値を演算するブロックマッチングにより、基準フレームのブロックに対して、対象フレーム中の相関の高いブロック位置を算出する。この処理は、全てのブロックに対して行う。

対象フレーム中の相関の高いブロックの中心座標は、動きベクトルの終点となる。従って、基準フレーム中のブロックの中心座標から、対象フレーム中の相関の高いブロックの中心座標に向かうベクトルが動きベクトルとなる。なお、例えば、基準フレームおよび対象フレームの左下端の位置を原点に設定するように、基準となる位置座標は一致させておく。

動きベクトル信頼度算出部１０５は、動きベクトル算出部１０４で求められた動きベクトルの確からしさを示す信頼度を算出する。信頼度は、算出された動きベクトルの確からしさ（信頼性）を示すものであればよく、例えばブロック内の水平方向および垂直方向のエッジ数に応じて設定する方法や、ＳＳＤ、ＳＡＤ、ＮＣＣ等の一致指標値の値そのものを用いる方法など、既知の方法を用いて求めることができる。

特徴量評価領域設定部１０８は、フレームメモリ１０７中の基準フレームを複数の領域に分割することにより、複数の特徴量評価領域を設定する。特徴量評価領域の詳細については、後述する。

特徴量算出部１０９は、特徴量評価領域設定部１０８で設定された特徴量評価領域に対して、１つあるいは複数の特徴量を算出する。特徴量は、画像上でユーザーにより注目される領域である注目領域を特定するために用いるパラメータであり、その詳細は後述する。

動きベクトル統合処理部１０６は、特徴量算出部１０９で算出された特徴量の情報を用いて複数の動きベクトルのデータの統合を行い、基準フレームおよび対象フレーム間の動きベクトルの代表値を算出する。動きベクトルの代表値を算出する方法は後述する。

フレーム加算部１１０は、フレームメモリ１０７に格納されている基準フレームおよび対象フレームの画像データと、動きベクトル統合処理部１０６によって算出された補正ベクトルデータ（画像間の動きベクトルの代表値）とに基づいて、フレーム加算処理を行う。

なお、図１に示す構成では、フレーム加算の例を示したが、補正ベクトルを用いて、基準フレームに対する対象フレームの位置あわせを行う動画ブレ補正を行う構成としてもよい。動画ブレ補正では、補正ベクトルを用いて、対象フレームが基準フレームに対して、ブレが少なくなるような補正を行う。

図３は、動きベクトル統合処理部１０６の詳細な構成を示す図である。動きベクトル統合処理部１０６は、注目領域判断部１０６１と、位置関係判定部１０６２と、寄与度算出部１０６３と、統合演算処理部１０６４とを備える。なお、ここでは説明を簡単にするため、１種類の特徴量を使用するものとして説明を行う。

基準フレーム中にｍ個の特徴量評価領域を設定した場合、注目領域判断部１０６１は、それぞれの特徴量評価領域から算出される合計ｍ個の特徴量Ｃｊ(ｊ＝１，…，ｍ)を用いて、ユーザーにより注目される領域である注目領域を特定する。

位置関係判定部１０６２は、特徴量評価領域の位置情報と、動きベクトル測定ブロック設定部１０３で設定されたブロックの位置情報とを用いて、各動きベクトルがどの特徴量評価領域に含まれるかを判定する。寄与度算出部１０６３は、位置関係判定部１０６２で判定された位置関係の情報を用いて、各動きベクトルの寄与度を算出する。寄与度は、画像間の動きベクトルの代表値を算出するために複数の動きベクトルを統合する際の各動きベクトルの重みを示す値である。

統合演算処理部１０６４は、動きベクトル信頼度算出部１０５で算出された各動きベクトルの信頼度、寄与度算出部１０６３で算出された各動きベクトルの寄与度、動きベクトル算出部１０４で算出された各動きベクトルに基づいて、基準フレームと対象フレームとの間の動きベクトルの代表値を算出する。

ここで、特徴量として、特徴量評価領域の平均輝度を用いた場合について説明する。ここでは説明を簡単にするため、特徴量評価領域として図４に示すように、２つの領域が設定されたものとする。図４に示すように、画像上で画像中心（ｘ０，ｙ０）からの距離ｒが０≦ｒ≦ｒ０となる中心領域を特徴量評価領域Ａ１（または、単に領域Ａ１）、ｒ０＜ｒとなる周辺領域を特徴量評価領域Ａ２（または、単に領域Ａ２）とする。また、領域Ａ１，Ａ２の平均輝度をそれぞれ、Ｌ１、Ｌ２とする。

図５（ａ）および図５（ｂ）は、ユーザーが内視鏡を用いて生体を観察する場合の代表的な二つの観察状況を示す図である。図５（ａ）は、内視鏡の撮像部５１により、管空状（内部が空洞の管状）の被写体５２を観察する状況を示し、図５（ｂ）は、球面の一部に近いような被写体５３を観察する状況を示している。図中の破線は、撮像部の視野角を示している。また、撮像部５１の近傍に設けられた照明部（不図示）によって、ほぼ視野角と重なる範囲が照明されている。

図５（ａ）に示すように管空状の被写体５２を観察する場合、画像の中心付近に位置する被写体は、画像の周辺部に位置する被写体に比べて、撮像部５１から非常に遠方に位置する。撮像部５１から遠くなるほど、照明部（不図示）の照明が届きにくくなるため、画像全体で見ると、図６（ａ）に示すように、画像の周辺部の領域Ａ２の方が中心部の領域Ａ１に比べて明るい画像となる。

この場合、ユーザーが注目する領域は、管空状の被写体５２の内部の壁面であり、画面上では図６（ａ）に示すように、特徴量評価領域Ａ２に位置する。注目領域判断部１０６１は、領域Ａ１の平均輝度Ｌ１と領域Ａ２の平均輝度Ｌ２とを比較して、輝度が大きい領域Ａ２が注目領域であると判断する。この後、後述するように、各ブロックの動きベクトルのうち、領域Ａ２に含まれる動きベクトルの寄与度を大きくしてフレーム間の動きベクトルの代表値を算出することにより、注目領域の位置合わせが確実にできるようにする。

次に、図５（ｂ）に示すように、球面の一部に近いような被写体５３を観察する場合を考える。この場合、画像の中心部と周辺部とにおいて、撮像部５１から被写体までの距離は、大きく変わらない。このような状態では、照明の配光や光学系のケラレの影響などにより、一般的に図６（ｂ）に示すように、画像の中心部の領域Ａ１の方が周辺部の領域Ａ２に比べて明るい画像となる。

この場合、ユーザーは、注目する領域を明るく歪みの少ない画像で観察するため、注目領域が画像の中心に位置する領域Ａ１に入るように内視鏡を操作する。注目領域判断部１０６１は、領域Ａ１の平均輝度Ｌ１と領域Ａ２の平均輝度Ｌ２とを比較して、輝度が大きい領域Ａ１が注目領域であると判断する。この後、後述するように、各ブロックの動きベクトルのうち、領域Ａ１に含まれる動きベクトルの寄与度を大きくしてフレーム間の動きベクトルの代表値を算出することにより、注目領域の位置合わせが確実にできるようにする。

位置関係判定部１０６２は、ｉ番目のブロックの中心座標（ｂｘｉ，ｂｙｉ）が領域Ａ１および領域Ａ２のどちらに含まれるかを判定する。ここでは、画像の中心座標を（ｘ０，ｙ０）とすると、次式（６）の関係が成り立つ場合に、領域Ａ２に含まれると判定し、式（６）の関係が成り立たない場合には、領域Ａ１に含まれると判定する。

寄与度算出部１０６３は、注目領域に含まれているブロックの動きベクトルの寄与度が注目領域に含まれていないブロックの動きベクトルの寄与度より大きくなるように、各動きベクトルの寄与度を設定する。ここでは、ｉ番目のブロックが注目領域に含まれていると判定されると、寄与度Ｋｉを１とし、注目領域に含まれていないと判定されると、寄与度Ｋｉを０とする。例えば、注目領域判断部１０６１において、領域Ａ１が注目領域と判定され、ｉ番目のブロックが領域Ａ１に含まれると判定された場合には、そのｉ番目のブロックの寄与度Ｋｉを１とし、領域Ａ２に含まれると判定された場合には、寄与度Ｋｉを０とする。

統合演算処理部１０６４は、まず、動きベクトル信頼度算出部１０５で算出された各動きベクトルの信頼度Ｓｉを所定のしきい値Ｓ＿Ｔｈｒと比較し、比較結果に基づいて、しきい値処理後の信頼度ＳＴｉを算出する。具体的には、信頼度Ｓｉが所定のしきい値Ｓ＿Ｔｈｒ以下の場合には、ＳＴｉ＝０とし、信頼度Ｓｉが所定のしきい値Ｓ＿Ｔｈｒより大きい場合には、ＳＴｉ＝Ｓｉとする。

続いて、統合演算処理部１０６４は、しきい値処理後の信頼度ＳＴｉ、各動きベクトルの寄与度Ｋｉ、および、各動きベクトルＶｉを用いて、次式（７）より、基準フレームと対象フレームとの間の動きベクトルの代表値Ｖ_Frameを算出する。なお右辺の分母は、正規化の係数である。

式（７）によれば、各ブロックの動きベクトルを統合して、基準フレームと対象フレームとの間の動きベクトルの代表値Ｖ_Frameを算出する際に、信頼度ＳＴｉが小さい動きベクトルおよび寄与度Ｋｉが小さい動きベクトルの影響が小さくなるようにしている。特に、注目領域に含まれる動きベクトルの寄与度Ｋｉを１に設定するとともに、注目領域に含まれない動きベクトルの寄与度Ｋｉを０に設定するので、ユーザーが注目している領域に含まれる動きベクトルのみを用いて、画像間の動きベクトルの代表値Ｖ_Frameを算出することができる。

また、信頼度Ｓｉが所定のしきい値Ｓ＿Ｔｈｒ以下の場合に、しきい値処理後の信頼度ＳＴｉを０とするので、信頼度Ｓｉの低い動きベクトルの影響を排除することができ、精度の高い動きベクトルの代表値Ｖ_Frameを算出することができる。

図７は、一実施の形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。ステップＳ１０において、動きベクトル測定ブロック設定部１０３は、フレームメモリ１０７に格納されている基準フレームに対して、複数のブロックを設定する。

ステップＳ２０において、動きベクトル算出部１０４は、各ブロックの動きベクトルを算出する。ステップＳ３０において、動きベクトル信頼度算出部１０５は、ステップＳ２０で求められた各動きベクトルの信頼度Ｓｉを算出する。

ステップＳ４０において、特徴量評価領域設定部１０８は、基準フレームに対して、特徴量評価領域を設定する。ここでは、図４に示すような２つの領域Ａ１、Ａ２を設定するものとして説明を続ける。

ステップＳ５０において、特徴量算出部１０９は、ステップＳ４０で設定された特徴量評価領域Ａ１、Ａ２の特徴量を算出する。上述したように、ここでは、特徴量として、領域Ａ１、Ａ２の平均輝度Ｌ１、Ｌ２を算出するものとして説明を続ける。

ステップＳ６０からステップＳ１６０までの処理は、動きベクトル統合処理部１０６によって行われる。ステップＳ６０において、注目領域判断部１０６１は、領域Ａ２の平均輝度Ｌ２が領域Ａ１の平均輝度Ｌ１よりも大きいか否かを判定する。平均輝度Ｌ２が平均輝度Ｌ１よりも大きいと判定すると、領域Ａ２が注目領域であると判断して、ステップＳ７０に進む。

ステップＳ７０において、位置関係判定部１０６２は、ｉ番目のブロックの中心座標（ｂｘｉ，ｂｙｉ）が領域Ａ２に含まれるか否かを判定する。この判定は、上述したように、式（６）の関係が成り立つか否かに基づいて行う。ｉ番目のブロックの中心座標（ｂｘｉ，ｂｙｉ）が領域Ａ２に含まれると判定するとステップＳ８０に進み、領域Ａ２に含まれないと判定すると、ステップＳ９０に進む。

ステップＳ８０において、寄与度算出部１０６３は、ｉ番目のブロックの中心座標（ｂｘｉ，ｂｙｉ）が注目領域である領域Ａ２に含まれるので、ｉ番目のブロックの動きベクトルの寄与度Ｋｉを１に設定する。一方、ステップＳ９０において、寄与度算出部１０６３は、ｉ番目のブロックの中心座標（ｂｘｉ，ｂｙｉ）が注目領域である領域Ａ２に含まれないので、ｉ番目のブロックの動きベクトルの寄与度Ｋｉを０に設定する。

ステップＳ６０の判定を否定すると、領域Ａ１が注目領域であると判断して、ステップＳ１００に進む。ステップＳ１００において、位置関係判定部１０６２は、ｉ番目のブロックの中心座標（ｂｘｉ，ｂｙｉ）が領域Ａ２に含まれるか否かを判定する。この判定も、式（６）の関係が成り立つか否かに基づいて行う。ｉ番目のブロックの中心座標（ｂｘｉ，ｂｙｉ）が領域Ａ２に含まれると判定するとステップＳ１１０に進み、領域Ａ２に含まれないと判定すると、ステップＳ１２０に進む。

ステップＳ１１０において、寄与度算出部１０６３は、ｉ番目のブロックの中心座標（ｂｘｉ，ｂｙｉ）が注目領域ではない領域Ａ２に含まれるので、ｉ番目のブロックの動きベクトルの寄与度Ｋｉを０に設定する。一方、ステップＳ１２０において、寄与度算出部１０６３は、ｉ番目のブロックの中心座標（ｂｘｉ，ｂｙｉ）が注目領域である領域Ａ１に含まれるので、ｉ番目のブロックの動きベクトルの寄与度Ｋｉを１に設定する。

ステップＳ１３０からステップＳ１７０までの処理は、統合演算処理部１０６４によって行われる。ステップＳ１３０では、ｉ番目のブロックの動きベクトルの信頼度Ｓｉが所定のしきい値Ｓ＿Ｔｈｒより高いか否かを判定する。信頼度Ｓｉが所定のしきい値Ｓ＿Ｔｈｒより高いと判定するとステップＳ１４０に進み、所定のしきい値Ｓ＿Ｔｈｒ以下であると判定すると、ステップＳ１５０に進む。

ステップＳ１４０では、信頼度Ｓｉをしきい値処理後の信頼度ＳＴｉとする。一方、ステップＳ１５０では、しきい値処理後の信頼度ＳＴｉを０とする。

ステップＳ１６０では、全てのブロックを対象として、寄与度Ｋｉおよびしきい値処理後の信頼度ＳＴｉを算出する処理を行ったか否かを判定する。全てのブロックを対象として処理を行っていないと判定すると、ステップＳ６０に戻り、別のブロックを対象として、ステップＳ６０以降の処理を行う。一方、全てのブロックを対象として処理を行ったと判定すると、ステップＳ１７０に進む。

ステップＳ１７０では、上述した式（７）より、基準フレームと対象フレームとの間の動きベクトルの代表値Ｖ_Frameを算出する。

ステップＳ１８０において、フレーム加算部１１０は、フレームメモリ１０７に格納されている基準フレームおよび対象フレームの画像データと、動きベクトル統合処理部１０６によって算出された動きベクトルの代表値Ｖ_Frameとに基づいて、フレーム加算処理を行う。すなわち、基準フレームを動きベクトルの代表値Ｖ_Frameだけシフトさせて、対象フレームと加算する処理を行う。

上述した説明では、特徴量として、特徴量評価領域Ａ１、Ａ２の平均輝度Ｌ１、Ｌ２を用いたが、特徴量評価領域内のエッジを構成する画素の数を用いることもできる。以下では、エッジを構成する画素の数を、各領域Ａ１、Ａ２の画素数（面積）で正規化することにより得られる数Ｅ１、Ｅ２を特徴量として用いる例について説明する。

ユーザーが注目する領域では、明るさや光学系のフォーカスといった観察条件が良好であるため、エッジを構成する画素の数が多くなる。このため、注目領域判断部１０６１は、領域Ａ１のエッジの数Ｅ１と、領域Ａ２のエッジの数Ｅ２とを比較し、Ｅ２＞Ｅ１の関係が成り立つ場合には、領域Ａ２が注目領域であると判断し、Ｅ２＞Ｅ１の関係が成り立たない場合には、領域Ａ１が注目領域であると判断する。注目領域を判断した後の処理は、上述した処理と同じである。

ここまでの説明では、簡単のため図４に示した２つの領域Ａ１、Ａ２を特徴量評価領域とした。しかし、実際の生体は、軸対象ではなく複雑な形状をしているため、例えば図８に示すように、より多くの特徴量評価領域を設定して、注目領域を小さく限定するようにしてもよい。図８に示す例では、１つの中心領域Ａ１１と、中心領域Ａ１１の周囲に位置する４つの周辺領域Ａ１２〜Ａ１５とからなる５つの特徴量評価領域Ａ１１〜Ａ１５を設定している。図８に示すように、３つ以上の特徴量評価領域を設定した場合でも、平均輝度が最も高い領域、または、エッジを構成する画素の数が最も多い領域を、注目領域と判断することができる。このように、１つの特徴量評価領域を小さく設定することにより、注目領域の範囲を小さくすることができるので、注目領域のより高精度な位置合わせを実現することができる。

ここで、例えば、特徴量として平均輝度を用いて注目領域を判断した場合、明るすぎて飽和している領域が誤って注目領域と判断される場合が考えられる。一方、特徴量として、エッジを構成する画素の数を用いて注目領域を判断すると、非常に暗い領域においてノイズが増加した結果、誤ってノイズがエッジとして数えられることで、エッジを構成する画素の数が増加し、注目領域と誤判断される場合が考えられる。このように、誤った領域が注目領域として判断されることを防ぐためには、例えば複数の種類の特徴量を組み合わせて、注目領域を決定すればよい。

以下では、特徴量として、各領域の平均輝度と、エッジを構成する画素の数とを用いる例を挙げて説明する。図８に示したような複数の特徴量評価領域から、各領域の平均輝度とエッジを構成する画素の数を用いて注目領域を決定する場合、例えばまず各領域の平均輝度のしきい値処理を行う。しきい値処理では、例えば、各領域の平均輝度が任意の上限値Ｌｍａｘ以上の場合および任意の下限値Ｌｍｉｎ以下の場合に、その領域は注目領域ではないと判断する。上限値Ｌｍａｘは、明るすぎる領域を注目領域から除外するためのしきい値であり、下限値Ｌｍｉｎは、暗すぎる領域を注目領域から除外するためのしきい値である。

その後、残った領域のうち、最もエッジを構成する画素の数が多い領域を注目領域と判断する。そして、対象とするブロックの中心座標が注目領域に含まれる場合は寄与度Ｋｉ＝１とし、注目領域に含まれない場合はＫｉ＝０とする。

なお、上述した平均輝度やエッジを構成する画素の数以外の新たな特徴量を導入してもよい。その場合、導入した新たな特徴量を単独で用いてもよいし、領域の平均輝度またはエッジを構成する画素の数と組み合わせて、注目領域を判断するようにしてもよい。

以上、一実施の形態における画像処理装置によれば、まず、動きベクトルを求めるための複数のブロックを画像上に設定し、設定したブロックごとに動きベクトルを算出するとともに、ユーザーにより注目される領域である注目領域を特定する。そして、注目領域に含まれるブロックの動きベクトルの寄与度が注目領域に含まれないブロックの動きベクトルの寄与度より大きくなるように、各動きベクトルの寄与度を算出し、算出した寄与度に応じて、複数の動きベクトルを統合することにより、画像間の動きベクトルを求める。複数の動きベクトルを統合する際の各動きベクトルの寄与度を、注目領域に含まれるブロックの動きベクトルの寄与度が注目領域に含まれないブロックの動きベクトルの寄与度より大きくなるように算出するので、ユーザーにより注目される領域の位置合わせを確実に行うことができる。

特に、画像上に複数の特徴量評価領域を設定するとともに、各領域の特徴を示す特徴量を算出し、算出した特徴量に基づいて、各領域の中から注目領域を特定するので、ユーザーにより注目される領域を精度良く特定することができる。

特徴量として、各領域の平均輝度を用いることにより、ユーザーにより注目される領域の輝度が高いという特徴を利用して、ユーザーの注目領域を精度良く特定することができる。また、特徴量として、各領域に含まれる、エッジを構成する画素の数を算出する場合には、ユーザーにより注目される領域において、エッジを構成する画素の数が多いという特徴を利用して、ユーザーの注目領域を精度良く特定することができる。さらに、特徴量として、各領域の平均輝度およびエッジを構成する画素の数を用いる場合には、各領域の平均輝度、またはエッジを構成する画素の数を単独で用いる場合に比べて、さらに精度良く注目領域を特定することができる。

また、注目領域に含まれないブロックの動きベクトルの寄与度をゼロとすることにより、注目領域に含まれるブロックの動きベクトルのみを用いて、画像間の動きベクトルを精度良く算出することができる。これにより、ユーザーにより注目される領域の位置合わせを確実に行うことができる。

一実施の形態における画像処理装置によれば、各動きベクトルの確からしさを示す信頼度を算出し、各動きベクトルの寄与度および信頼度に応じて、複数の動きベクトルを統合して、画像間の動きベクトルを求めるので、さらに精度良く、画像間の動きベクトルを求めることができる。

なお、上述した実施の形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、動きベクトル測定ブロック設定部１０３が動きベクトルを求めるために設定する領域として、矩形状のブロックを一例に挙げたが、矩形に限定されることはない。従って、動きベクトル測定ブロック設定部１０３が設定する領域は、動きベクトル測定領域と呼ぶことができる。

一実施の形態における画像処理装置の構成を示すブロック図である。 基準フレームに対して設定されたブロックの一例を示す図である。 動きベクトル統合処理部の詳細な構成を示す図である。 特徴量評価領域の一例を示す図である。 図５（ａ）および図５（ｂ）は、ユーザーが内視鏡を用いて生体を観察する場合の代表的な二つの観察状況を示す図である。 図６（ａ）および図６（ｂ）はそれぞれ、図５（ａ）および図５（ｂ）に示す観察状況に応じた画像上の明るさを示す図である。 一実施の形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。 ５つの特徴量評価領域を設定した例を示す図である。 負の歪曲収差を有する光学系の一例を示す図である。 従来技術の課題を説明するための図である。 従来技術の課題を説明するための図である。

符号の説明

１０１…画像入力部
１０２…メインコントローラ
１０３…動きベクトル測定ブロック設定部
１０４…動きベクトル算出部
１０５…動きベクトル信頼度算出部
１０６…動きベクトル統合処理部
１０７…フレームメモリ
１０８…特徴量評価領域設定部
１０９…特徴量算出部
１１０…フレーム加算部
１０６１…注目領域判断部
１０６２…位置関係判定部
１０６３…寄与度算出部
１０６４…統合演算処理部

Claims (14)

1. 複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理装置であって、
   動きベクトルを求めるための複数の動きベクトル測定領域を画像上に設定する動きベクトル測定領域設定部と、
   前記複数の動きベクトル測定領域ごとに、動きベクトルを算出する動きベクトル算出部と、
   前記画像を複数の特徴量評価領域に分割する領域分割部と、
   前記分割された複数の特徴量評価領域ごとに特徴量を算出する特徴量算出部と、
   前記特徴量に基づいて、前記複数の特徴量評価領域の中から、ユーザーにより注目される領域である注目領域を特定する注目領域特定部と、
   前記複数の動きベクトル測定領域のそれぞれに対して、動きベクトル測定領域が前記注目領域に含まれるか否かを判定する位置関係判定部と、
   前記注目領域に含まれる動きベクトル測定領域の動きベクトルの寄与度が前記注目領域に含まれない動きベクトル測定領域の動きベクトルの寄与度より大きくなるように、各動きベクトルの寄与度を算出する寄与度算出部と、
   前記算出された寄与度に応じて、前記複数の動きベクトル測定領域ごとに算出された動きベクトルを統合することにより、画像間の動きベクトルを求める動きベクトル統合部と、
   を備えることを特徴とする画像処理装置。
2. 前記特徴量算出部は、前記特徴量として、前記分割された複数の特徴量評価領域ごとの平均輝度を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記注目領域特定部は、前記分割された複数の特徴量評価領域ごとに算出された平均輝度のうち、最も平均輝度が高い特徴量評価領域を前記注目領域として特定することを特徴とする請求項２に記載の画像処理装置。
4. 前記特徴量算出部は、前記特徴量として、各特徴量評価領域に含まれる、エッジを構成する画素の数を算出することを特徴とする請求項１に記載の画像処理装置。
5. 前記注目領域特定部は、前記エッジを構成する画素の数が最も多い特徴量評価領域を前記注目領域として特定することを特徴とする請求項４に記載の画像処理装置。
6. 前記特徴量算出部は、前記特徴量として、前記分割された複数の特徴量評価領域ごとの平均輝度、および、各特徴量評価領域に含まれる、エッジを構成する画素の数を算出することを特徴とする請求項１に記載の画像処理装置。
7. 前記注目領域特定部は、前記平均輝度が所定の下限値より高く、かつ、所定の上限値より低い特徴量評価領域のうち、前記エッジを構成する画素の数が最も多い特徴量評価領域を前記注目領域として特定することを特徴とする請求項６に記載の画像処理装置。
8. 前記特徴量算出部は、前記エッジを構成する画素の数を各特徴量評価領域の画素数で正規化して用いることを特徴とする請求項４から請求項７のいずれか一項に記載の画像処理装置。
9. 前記領域分割部は、画像の中心に位置する中心領域と、前記中心領域の周囲に位置する１以上の周辺領域とに画像を分割することを特徴とする請求項１から請求項８のいずれか一項に記載の画像処理装置。
10. 前記寄与度算出部は、前記注目領域に含まれない動きベクトル測定領域の動きベクトルの寄与度をゼロとすることを特徴とする請求項１から請求項９のいずれか一項に記載の画像処理装置。
11. 前記複数の動きベクトル測定領域ごとに算出された動きベクトルの確からしさを示す信頼度を算出する動きベクトル信頼度算出部をさらに備え、
    前記動きベクトル統合部は、前記算出された寄与度および前記算出された信頼度に応じて、前記複数の動きベクトル測定領域ごとに算出された動きベクトルを統合することにより、画像間の動きベクトルを求めることを特徴とする請求項１から請求項１０のいずれか一項に記載の画像処理装置。
12. 請求項１から請求項１１のいずれか一項に記載の画像処理装置を有することを特徴とする電子機器。
13. 動きベクトル算出による複数枚の画像間の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、
    動きベクトルを求めるための複数の動きベクトル測定領域を画像上に設定するステップと、
    前記複数の動きベクトル測定領域ごとに、動きベクトルを算出するステップと、
    前記画像を複数の特徴量評価領域に分割するステップと、
    前記分割された複数の特徴量評価領域ごとに特徴量を算出するステップと、
    前記特徴量に基づいて、前記複数の特徴量評価領域の中から、ユーザーにより注目される領域である注目領域を特定するステップと、
    前記複数の動きベクトル測定領域のそれぞれに対して、動きベクトル測定領域が前記注目領域に含まれるか否かを判定するステップと、
    前記注目領域に含まれる動きベクトル測定領域の動きベクトルの寄与度が前記注目領域に含まれない動きベクトル測定領域の動きベクトルの寄与度より大きくなるように、各動きベクトルの寄与度を算出するステップと、
    前記算出された寄与度に応じて、前記複数の動きベクトル測定領域ごとに算出された動きベクトルを統合することにより、画像間の動きベクトルを求めるステップと、
    を備えることを特徴とする画像処理プログラム。
14. 複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理方法であって、
    動きベクトルを求めるための複数の動きベクトル測定領域を画像上に設定するステップと、
    前記複数の動きベクトル測定領域ごとに、動きベクトルを算出するステップと、
    前記画像を複数の特徴量評価領域に分割するステップと、
    前記分割された複数の特徴量評価領域ごとに特徴量を算出するステップと、
    前記特徴量に基づいて、前記複数の特徴量評価領域の中から、ユーザーにより注目される領域である注目領域を特定するステップと、
    前記複数の動きベクトル測定領域のそれぞれに対して、動きベクトル測定領域が前記注目領域に含まれるか否かを判定するステップと、
    前記注目領域に含まれる動きベクトル測定領域の動きベクトルの寄与度が前記注目領域に含まれない動きベクトル測定領域の動きベクトルの寄与度より大きくなるように、各動きベクトルの寄与度を算出するステップと、
    前記算出された寄与度に応じて、前記複数の動きベクトル測定領域ごとに算出された動きベクトルを統合することにより、画像間の動きベクトルを求めるステップと、
    を備えることを特徴とする画像処理方法。