JP5603676B2

JP5603676B2 - 画像処理装置及びプログラム

Info

Publication number: JP5603676B2
Application number: JP2010147197A
Authority: JP
Inventors: 成剛温
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-06-29
Filing date: 2010-06-29
Publication date: 2014-10-08
Anticipated expiration: 2030-06-29
Also published as: US8711252B2; CN102316247B; CN102316247A; JP2012010730A; US20110317043A1

Description

本発明は、画像処理装置及びプログラム等に関する。

一般に、動画画像信号にはノイズ成分が含まれ、そのノイズ成分を低減させる手法としては、フレーム巡回型ノイズ低減処理が知られている。１フレーム前の出力画像と現在の入力画像から、動画画像信号の動き量を検出し、動き量に応じて時間平均の程度を制御するものである。このフレーム巡回型ノイズ低減処理の性能は、上述の動き検出の精度によって大きく左右される。ここで、一般的な動き検出アルゴリズムとしては、動画画像信号の輝度の差分絶対値を算出し、この差分絶対値と、動き判定閾値とを比較することが知られている。例えば、特許文献１においては差分絶対値が動き判定閾値よりも大きい場合には動きと判定する方法が開示されている。

特開２００５−１５０９０３号公報

内視鏡診断において、病変部などへの視認能力を高めるため、特定の波長帯域を有する特殊光で撮像した画像信号を用いる場合は多い。しかし、通常光より狭い波長帯域を持つ特殊光で撮影した画像信号は通常光画像に比べて暗いため、ノイズの影響は相対的に大きくなる。従って、前記の一般的な動き検出アルゴリズムでは、このノイズの影響により、動き検出精度も落ちる。このため、従来のフレーム巡回型ノイズ低減処理では、前後二つの特殊光画像信号から動きベクトルを検出してノイズ低減処理を行うため、残像などのアーティファクトが発生するという問題があった。

本実施形態の幾つかの態様によれば、複数の通常光画像から通常光動きベクトルを求め、通常光動きベクトルを特殊光画像にも用いることで、適切なノイズ低減処理を行うことが可能な画像処理装置及びプログラム等を提供できる。

また、本実施形態の幾つかの態様によれば、複数の通常光画像から通常光動きベクトルを求め、通常光動きベクトルに基づいて、特殊光画像における特殊光動きベクトルを求めることで、特殊光においても正確な動き量を算出でき、適切なノイズ低減処理を行うことが可能な画像処理装置及びプログラム等を提供できる。

本発明の一態様は、白色光の波長帯域における情報を含む画像を通常光画像として取得する通常光画像取得部と、特定の波長帯域における情報を含む画像を特殊光画像として取得する特殊光画像取得部と、前記通常光画像内の特徴量に基づいて、複数の通常光画像間の動きベクトルを示す通常光動きベクトル情報を算出する通常光動きベクトル情報算出部と、算出された前記通常光動きベクトル情報に基づいて、前記特殊光画像中のノイズ量を低減するノイズ低減部と、を含む画像処理装置に関係する。

本発明の一態様では、通常光画像と特殊光画像を取得し、通常光画像から通常光動きベクトル情報を算出し、算出した通常光動きベクトル情報を用いて特殊光画像中のノイズ量を低減する。これにより、特殊光画像に比べて明るい通常光画像を用いて、より正確な動きベクトル情報を算出できるため、フレーム巡回型ノイズ低減処理において、効率的なノイズ低減を行うこと等が可能になる。

また、本発明の他の態様は、白色光の波長帯域における情報を含む画像を通常光画像として取得する通常光画像取得部と、特定の波長帯域における情報を含む画像を特殊光画像として取得する特殊光画像取得部と、前記通常光画像内の特徴量に基づいて、複数の通常光画像間の動きベクトルを示す通常光動きベクトル情報を算出する通常光動きベクトル情報算出部と、算出された前記通常光動きベクトル情報に基づいて、前記特殊光画像中のノイズ量を低減するノイズ低減部として、コンピュータを機能させるプログラムに関係する。

第１の実施形態における通常光動きベクトル情報と特殊光動きベクトル情報の関係を説明する図。第２の実施形態における通常光動きベクトル情報と特殊光動きベクトル情報の関係を説明する図。本実施形態の画像処理装置を含む内視鏡システムの構成例。通常光撮像素子の分光特性。特殊光撮像素子の分光特性（ＮＢＩ）。特殊光撮像素子のフィルタ構成の例。通常光動きベクトル情報算出部の構成例。現フレーム通常光画像と過去フレーム通常光画像のマッチング処理を説明する図。特殊光ノイズモデルの例。本実施形態の画像処理装置を含む内視鏡システムの他の構成例。特殊光動きベクトル情報算出部の構成例。本実施形態の処理を説明するためのフローチャート。特殊光動きベクトル情報算出処理を説明するためのフローチャート。本実施形態の画像処理装置を含む内視鏡システムの他の構成例。光源部の構成例。回転フィルタの構成例特殊光動きベクトル情報算出部の他の構成例。動きベクトル補正部の構成例。第２の実施形態における特殊光動きベクトル情報算出処理を説明するためのフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法

まず、本実施形態の手法について説明する。動画画像信号のノイズ成分を低減させる手法として、フレーム巡回型ノイズ低減処理が知られている。フレーム巡回型ノイズ低減処理においては、３次元ノイズ除去（時系列的に異なるフレームの画像を用いたノイズ除去）を行う。

このフレーム巡回型ノイズ低減処理では、異なるフレーム間において対応する画素の情報に基づいてノイズを除去するため、被写体が静止している場合には対応する画素の情報に基づくノイズ低減処理による弊害は生じないが、被写体が移動する場合には、ノイズ除去後の画像に残像が生じてしまう。そのため、効果的にノイズ低減を行うためには、被写体の移動量（動き量）を正確に求める必要がある。

しかし、通常光画像に加えて、特殊光画像（狭帯域の光に対応する情報を持つ画像）を取得する内視鏡システムにおいて、特殊光画像のノイズ低減を行う際には問題が生じうる。なぜなら、特殊光画像は、狭帯域光による画像であるため、通常光画像に比べて画像全体が暗く、ノイズ成分の影響が大きいため、動き量の正確な導出が困難だからである。

そのため、本出願人は、通常光画像の情報を用いて、特殊光画像における動き量（動きベクトル）を求める手法を提案する。図１のように、通常光画像と特殊光画像を同時に取得できる構成（例えば図３に示すような２板の撮像素子を持つ構成）であれば、通常光画像の過去フレームの画像（例えば図１のＡ１）と、通常光画像の現フレームの画像（図１のＡ２）とから通常光画像における動きベクトルである通常光動きベクトルＶＡ１を取得する。この場合、特殊光画像の過去フレームの画像Ａ３は通常光画像Ａ１と同時に撮られたものであり、特殊光画像の現フレームの画像Ａ４は通常光画像Ａ２と同時に撮られたものであるから、求めたい特殊光動きベクトルＶＡ２はＶＡ１と基本的にほぼ一致することになる。よって、直接ＶＡ２を求めるのではなく、特殊光画像に比べて明るい通常光画像を用いてＶＡ１を求めることで、より正確に特殊光動きベクトルＶＡ２を求めることが可能になる。

以上の本実施形態の基本的な手法について、まず第１の実施形態で説明する。また、第２の実施形態では、図２に示すように、通常光画像と特殊光画像を交互に取得する構成（例えば図１４に示すような単板の撮像素子を持つ構成）の例を説明する。この場合、Ｂ４とＢ５の間の特殊光動きベクトルＶＢ３を求めるにあたって、Ｂ１とＢ２の間の動きベクトルＶＢ１と、Ｂ２とＢ３の間の動きベクトルＶＢ２を求め、ＶＢ１とＶＢ２を適当な形で合成する（例えば平均をとる）ことになる。

このような手法をとることで、暗くノイズが多い特殊光画像をそのまま用いるのではなく、明るくノイズが少ない通常光画像を用いて特殊光動きベクトルを求めることができる。従って、特殊光画像でも被写体の動き量を正確に求めることが可能になり、フレーム巡回型ノイズ低減処理において効率的なノイズ除去ができる。

２．第１の実施形態

図３は、本実施形態にかかる画像処理装置を含む内視鏡システムの構成図である。内視鏡システムは、通常光光源１０１、挿入部１０２、ライトガイド１０３、レンズ２０１、ハーフミラー２０２、通常光撮像素子２０３、フィルタ２０４、特殊光撮像素子２０５、通常光画像Ａ／Ｄ変換部２１１、特殊光画像Ａ／Ｄ変換部２１２、通常光画像取得部２１３、特殊光画像取得部２１４、通常光動きベクトル情報算出部２１５、通常光ノイズ低減部２１７、特殊光ノイズ低減部２１８、出力部２１９、外部Ｉ／Ｆ２２０、制御部２２１、通常光画像保存部２２２、特殊光画像保存部２２３を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。

この画像処理装置は内視鏡用に適用するため、挿入部１０２は体内に挿入できるように湾曲が可能で細長い形状になっており、通常光光源１０１が照射する光は湾曲可能なライトガイド１０３を経由して、被写体１００へ照射される。挿入部１０２の先端部には、レンズ２０１が配置されており、被写体１００からの反射光はこのレンズ２０１を介して、ハーフミラー２０２により、二つの反射光に分離される。

１つの反射光は通常光撮像素子２０３に入る。この通常光撮像素子２０３は通常光画像を形成するためのベイヤ配列の色フィルタを持つ撮像素子である。本実施例では、図４に示す分光特性を持つＲＧＢの色フィルタを持つ撮像素子を適用する（Ｒ（５８０ｎｍ〜７００ｎｍ）、Ｇ（４８０ｎｍ〜６００ｎｍ）、Ｂ（４００ｎｍ〜５００ｎｍ））。通常光撮像素子２０３は、光電変換により反射光を通常光アナログ画像信号へ変換する。

一方、もう１つの反射光は、狭帯域の色フィルタをもつ特殊光撮像素子２０５へ入る。本実施例では、図５に示す所定の狭帯域の透過率特性を持つ（Ｇ１（５３０ｎｍ〜５５０ｎｍ）、Ｂ１（３９０ｎｍ〜４４５ｎｍ））。特殊光撮像素子２０５は、図６に示すような特殊光画像を形成するための市松状配列の２種類の色フィルタを持つ撮像素子であり、狭帯域光を光電変換により特殊光アナログ画像信号（ＮＢＩ画像信号）へ変換する。内視鏡診断の分野では、前記の狭帯域分光特性を持つ光は、血液中のヘモグロビンに吸収されやすいため、粘膜表層の毛細血管、粘膜微細模様の強調表示が実現できる。ＮＢＩ画像信号は食道や大腸、胃などのがんの診断に効果が高い。

通常光撮像素子２０３により変換された通常光アナログ画像信号は通常光画像Ａ／Ｄ変換部２１１へ、特殊光撮像素子２０５により変換された特殊光アナログ画像信号は特殊光画像Ａ／Ｄ変換部２１２へ出力される。

通常光画像Ａ／Ｄ変換部２１１は、通常光画像取得部２１３、通常光動きベクトル情報算出部２１５、通常光ノイズ低減部２１７を介して出力部２１９へ接続している。通常光ノイズ低減部２１７は通常光画像保存部２２２と双方向に接続している。通常光画像保存部２２２は通常光動きベクトル情報算出部２１５へ接続している。特殊光画像Ａ／Ｄ変換部２１２は、特殊光画像取得部２１４、特殊光ノイズ低減部２１８を介して出力部２１９へ接続している。特殊光ノイズ低減部２１８は、特殊光画像保存部２２３と双方向に接続している。通常光動きベクトル情報算出部２１５は特殊光ノイズ低減部２１８へ接続している。制御部２２１は、通常光画像Ａ／Ｄ変換部２１１、特殊光画像Ａ／Ｄ変換部２１２、通常光画像取得部２１３、特殊光画像取得部２１４、通常光動きベクトル情報算出部２１５、通常光ノイズ低減部２１７、特殊光ノイズ低減部２１８、出力部２１９、通常光画像保存部２２２、特殊光画像保存部２２３と双方向に接続している。外部Ｉ／Ｆ２２０は制御部２２１へ接続している。

通常光画像Ａ／Ｄ変換部２１１は、通常光撮像素子２０３からの通常光アナログ画像信号をデジタル化して通常光デジタル画像信号（以下通常光画像信号と呼ぶ）として通常光画像取得部２１３へ転送する。一方、特殊光画像Ａ／Ｄ変換部２１２は特殊光撮像素子２０５からの特殊光アナログ画像信号をデジタル化して特殊光デジタル画像信号（以下特殊光画像信号と呼ぶ）として特殊光画像取得部２１４へ転送する。

通常光画像取得部２１３は、制御部２２１の制御に基づき、通常光画像Ａ／Ｄ変換部２１１からの通常光画像信号に対して画像処理を行う。本実施例では、公知のベイヤ補間処理（ベイヤ画像信号から３板画像信号へ変換する処理）、ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。処理後のＲＧＢ信号からなる通常光画像信号を通常光動きベクトル情報算出部２１５へ転送する。

一方、特殊光画像取得部２１４は、制御部２２１の制御に基づき、特殊光画像Ａ／Ｄ変換部２１２からの特殊光画像信号に対して画像処理を行う。本実施例では、まず図６に示す市松状配列のＧ１及びＢ１の２種類の色フィルタをもつ特殊光撮像素子により生成された特殊光画像信号を用いて、欠落画素の補間処理を行う。具体的には、同種類フィルタの欠落画素の周囲画素の平均信号値を算出し、信号値として欠落画素を補間する。例えば、下式（１）を用いて図６に示すＧ１（１，１）及びＢ１（２，１）を算出する。

G1(1,1)=(G1(1,0)+G1(0,1)+G1(2,1)+G1(1,2))/4
B1(2,1)=(B1(2,0)+B1(1,1)+B1(3,1)+B1(2,2))/4 ・・・・・（１）

前記の補間処理により全画素の２信号（Ｇ１、Ｂ１）の画像信号を生成する。次に、下式（２）を用いてＮＢＩ特殊光画像（ＮＢＩ疑似カラー画像）を生成する。

Rch_v(x,y)=p1＊G1(x,y)
Gch_v(x,y)=p2＊B1(x,y)
Bch_v(x,y)=p3＊B1(x,y) ・・・・・（２）

上式（２）中のＲｃｈ＿ｖ（ｘ，ｙ）はＮＢＩ特殊光画像信号のＲチャンネルの信号値、Ｇｃｈ＿ｖ（ｘ，ｙ）はＮＢＩ特殊光画像信号のＧチャンネルの信号値、Ｂｃｈ＿ｖ（ｘ，ｙ）はＮＢＩ特殊光画像信号のＢチャンネルの信号値、Ｂ１（ｘ，ｙ）は前記補間処理後の全画素の２信号（Ｇ１、Ｂ１）の画像信号中のＢ１（狭帯域）画像の画素値、Ｇ１（ｘ，ｙ）は前記補間処理後の全画素の２信号（Ｇ１、Ｂ１）の画像信号中のＧ１（狭帯域）画像の画素値、（ｘ，ｙ）は画素が画像信号内の横軸と縦軸の座標位置、ｐ１、ｐ２、ｐ３は所定係数である。

続いて、前記ＮＢＩ特殊光画像信号に対して、階調変換処理などを行う。処理後のＲＧＢ信号からなる特殊光画像信号（Ｒｃｈ＿ｖ，Ｇｃｈ＿ｖ，Ｂｃｈ＿ｖ）を特殊光ノイズ低減部２１８へ転送する。

図７は、通常光動きベクトル情報算出部２１５の構成の一例を示すもので、第１バッファー部３０１、第２バッファー部３０２、分割部３０３、類似度検出部３０４を含む。通常光画像取得部２１３は、第２バッファー部３０２、分割部３０３、類似度検出部３０４を介して、通常光ノイズ低減部２１７及び特殊光ノイズ低減部２１８へ接続している。通常光画像保存部２２２は、第１バッファー部３０１を介して類似度検出部３０４へ接続している。制御部２２１は、第１バッファー部３０１、第２バッファー部３０２、分割部３０３、類似度検出部３０４と双方向に接続している。

通常光画像取得部２１３は、制御部２２１の制御に基づき、画像処理済みの通常光画像信号を第２バッファー部３０２へ転送して、一時保存する。

通常光画像保存部２２２は、制御部２２１の制御により、保存しているノイズ低減済みの過去の通常光画像信号を第１バッファー部３０１へ転送して、一時保存する。この過去の通常光画像信号は、第２バッファー部３０２に保存されている通常光画像信号より時間的に直前に撮影され、時間距離が一番短い過去の通常光画像信号を指す。本実施例では、第１バッファー部３０１に保存されている過去の通常光画像信号を過去フレーム通常光画像信号と呼び、第２バッファー部３０２に保存されている通常光画像信号を現フレーム通常光画像信号と呼ぶ。

分割部３０３は、制御部２２１の制御に基づき、第２バッファー部３０２にある現フレーム通常光画像信号を読み込んで分割処理を行う。具体的には、所定サイズを用いて現フレーム通常光画像信号に対して、複数のブロック領域に分割する。例えば、現フレーム通常光画像信号を同所定サイズのＭ×Ｎ（８×８、１６×１６、３２×３２など）の矩形領域に分割する。分割した複数のブロック領域の現フレーム通常光画像信号を類似度検出部３０４へ転送する。ブロック領域に関しては、矩形以外に多角形に設定してもよい。また、ユーザは外部Ｉ／Ｆ２２０を介して分割領域の形状を任意に指定してもよい。

類似度検出部３０４は、制御部２２１の制御に基づき、分割部３０３からの現フレーム通常光画像信号の各ブロック領域の通常光画像信号を用い、第１バッファー部３０１からのノイズ低減済みの過去フレーム通常光画像信号に対してテンプレートマッチング処理を行い、もっとも類似度の高いブロック領域を検出する。本実施例では、現フレーム通常光画像信号の各分割ブロック領域の通常光画像信号を用いて、ラスタスキャン順で公知のテンプレートマッチング処理を行い、対応する過去フレーム通常光画像信号の処理対象ブロック領域を抽出する。過去フレーム通常光画像信号の処理対象ブロック領域と、現フレーム通常光画像信号の処理対象ブロック領域の座標差（Ｕ，Ｖ）を通常光動きベクトル情報とする。

テンプレートとなる現フレーム画像信号のすべてのブロック領域のマッチング処理が完了後、通常光動きベクトル情報、現フレーム通常光画像信号を通常光ノイズ低減部２１７へ転送する。さらに、通常光動きベクトル情報を特殊光ノイズ低減部２１８へも転送する。

本実施例では、図８の上段に示したように、過去フレーム通常光画像信号もブロック単位に分割し、ブロック領域ごとにテンプレートマッチング処理を行っているが、この構成に限定する必要がない。図８の下段に示したように、画素単位でブロックマッチング処理してもよい。例えば、処理対象画素を中心とする所定サイズのブロック領域の通常光画像信号を用いて、公知のテンプレートマッチング処理を行い、対応する過去フレーム通常光画像信号の処理対象ブロック領域を抽出する。続いて、当該処理対象画素とマッチングした過去フレーム通常光画像信号の処理対象ブロック領域の中心にある画素との座標差を処理対象画素の通常光動きベクトル情報とする。そうすることによって、マッチングの精度を向上させることができる。

本実施例では、通常光ノイズ低減部２１７は、制御部２２１の制御に基づき、上記のマッチング結果（通常光動きベクトル）に応じて、輝度信号に対してノイズ低減処理を行う。通常光動きベクトルを用いて通常光画像信号のノイズ低減を行う手法については公知であるため、詳細な説明は省略する。また、通常光ノイズ低減部２１７は、公知の変換式でＲＧＢ信号から輝度信号及び色差信号に変換するため、色差信号に対しても、輝度信号に対するものと同様の方法でノイズ低減処理を行う。

また、本実施例では、輝度信号を特徴量として、通常光動きベクトル情報を算出する構成となっているが、上述した式（２）で補間処理後のＧｃｈ＿ｖ画像信号（図４に示すＧの分光特性をもつ）を利用してもよい。

次に、特殊光ノイズ低減部２１８における、特殊光画像信号に対するノイズ低減処理について説明する。本実施例では、通常光画像信号と特殊光画像信号の解像度（画像サイズ）が同じ場合に対応する構成となっている。そのため、制御部２２１の制御により、通常光動きベクトル情報算出部２１５からの通常光動きベクトル情報をそのまま特殊光動きベクトル情報として、特殊光ノイズ低減部２１８へ転送し、前記通常光ノイズ低減部２１７と同じ内部構成で特殊光画像信号に対してノイズ低減処理してもよい。

この場合、特殊光ノイズ低減部２１８は、通常光動きベクトル情報算出部２１５からの通常光動きベクトル情報に基づき、特殊光画像保存部２２３からのノイズ低減済みの過去フレーム特殊光画像信号に対して、現フレーム特殊光画像信号の画素ごとの差分値（類似差分値）を算出する。続いて、図９に示している特殊光ノイズモデルを用いて、画素ごとに類似差分値を基に下式（３）を用いてノイズ量を算出し、下式（４）を用いてノイズ除去処理を行う。

S(x,y)=C(x,y)-B(x,y)
If(|S(x,y)|<S(T)) NS(x,y)=|S(x,y)｜＊Ka
Else NS(x,y)=NS(T) ・・・・・（３）

ただし、Ｃ（ｘ，ｙ）は、過去フレーム特殊光画像信号の処理対象ブロック領域中の画素信号値、Ｂ（ｘ，ｙ）は、現フレーム特殊光画像信号の処理対象ブロック領域中の画素信号値、Ｓ（ｘ，ｙ）は画素ごとの類似差分値（マッチングした過去フレーム特殊光画像信号の処理対象ブロック領域と現フレーム特殊光画像信号の処理対象ブロック領域において、対応する画素ごとの差分値）、ＮＳ（ｘ，ｙ）は処理対象画素のノイズ量、Ｋａは類似差分値とノイズ成分の傾き係数、Ｓ（Ｔ）は類似差分閾値、ＮＳ（Ｔ）はノイズの閾値、Ｓ（Ｍａｘ）は類似差分最大値を表す。

ここで、Ｓ（ｘ，ｙ）は、動きベクトルも考慮した上での、過去フレーム特殊光画像信号（ノイズ除去済）と現フレーム特殊光画像信号（ノイズ未除去）の差分値であるため、理想的には、現フレーム特殊光画像信号に含まれるノイズ値となるはずである。しかし、過去フレーム特殊光画像信号のノイズが１００パーセント除去されているわけではない上に、その他の要因（例えば照明の変化、被写体の変形等）により値が変動してしまい、Ｓ（ｘ，ｙ）をそのままノイズ値ＮＳ（ｘ，ｙ）とすることができない。

そこで、図９に示した特殊光ノイズモデルを用いる。図９は、類似差分値と、類似差分値に含まれるノイズ量の関係をモデル化したものである。類似差分値がある閾値Ｓ（Ｔ）以下の場合には、ノイズ量は直線的に増加する。そして、類似差分値がＳ（Ｔ）より大きい場合には、ノイズ量は一定値ＮＳ（Ｔ）をとることになる。なお、類似差分値内のノイズ以外の成分とは、被写体の変形に起因する成分や、光源の変化に起因する成分等が考えられる。

ノイズ量を求めることができたら、下式（４）を用いてノイズ低減処理を行う。

If(S(x,y)>0) E’(x,y)=B(x,y)+NS(x,y)
Else E’(x,y)=B(x,y)-NS(x,y) ・・・・・（４）
ただし、Ｅ’（ｘ，ｙ）はノイズ低減処理後の特殊光画像信号値を表す。

上述したようにＳ（ｘ，ｙ）＝過去フレーム−現フレームであるから、Ｓ（ｘ，ｙ）＞０の場合とは、過去フレーム＞現フレームとなり、現フレームにマイナスのノイズが含まれている可能性が高い。よって式（３）で求めたノイズ値ＮＳ（ｘ，ｙ）を現フレーム特殊光画像信号Ｂ（ｘ，ｙ）に加算する。逆にＳ（ｘ，ｙ）≦０の場合は、過去フレーム≦現フレームとなり、現フレームにプラスのノイズが含まれている可能性が高い。よって、Ｂ（ｘ，ｙ）からＮＳ（ｘ，ｙ）を減算する。

以上の処理により、特殊光画像（現フレーム特殊光画像信号）に対して適度な強さでノイズ低減処理を行うことができる。

しかし、特殊光画像信号と通常光画像信号の解像度は異なることは普通である。この場合、上述したように通常光画像信号から算出した通常光動きベクトル情報をそのまま特殊光画像信号のノイズ低減処理に適用することはできない。

図１０は、本願の第１の実施形態の変形例の構成図である。内視鏡システムは、通常光光源１０１、挿入部１０２、ライトガイド１０３、レンズ２０１、ハーフミラー２０２、通常光撮像素子２０３、フィルタ２０４、特殊光撮像素子２０５、通常光画像Ａ／Ｄ変換部２１１、特殊光画像Ａ／Ｄ変換部２１２、通常光画像取得部２１３、特殊光画像取得部２１４、通常光動きベクトル情報算出部２１５、特殊光動きベクトル情報算出部２１６、通常光ノイズ低減部２１７、特殊光ノイズ低減部２１８、出力部２１９、外部Ｉ／Ｆ２２０、制御部２２１、通常光画像保存部２２２、特殊光画像保存部２２３を含む。

通常光画像Ａ／Ｄ変換部２１１は、通常光画像取得部２１３、通常光動きベクトル情報算出部２１５、通常光ノイズ低減部２１７を介して出力部２１９へ接続している。通常光ノイズ低減部２１７は通常光画像保存部２２２と双方向に接続している。通常光画像保存部２２２は通常光動きベクトル情報算出部２１５へ接続している。特殊光画像Ａ／Ｄ変換部２１２は、特殊光画像取得部２１４、特殊光動きベクトル情報算出部２１６、特殊光ノイズ低減部２１８を介して出力部２１９へ接続している。特殊光ノイズ低減部２１８は、特殊光画像保存部２２３と双方向に接続している。特殊光画像保存部２２３は特殊光動きベクトル情報算出部２１６へ接続している。通常光動きベクトル情報算出部２１５は特殊光動きベクトル情報算出部２１６へ接続している。制御部２２１は、通常光画像Ａ／Ｄ変換部２１１、特殊光画像Ａ／Ｄ変換部２１２、通常光画像取得部２１３、特殊光画像取得部２１４、通常光動きベクトル情報算出部２１５、特殊光動きベクトル情報算出部２１６、通常光ノイズ低減部２１７、特殊光ノイズ低減部２１８、出力部２１９、通常光画像保存部２２２、特殊光画像保存部２２３と双方向に接続している。外部Ｉ／Ｆ２２０は制御部２２１へ接続している。

本変形例において、第１の実施形態と同じ構成に関する内容を省略し、異なる部分のみを説明する。

本変形例では、制御部２２１の制御に基づき通常光動きベクトル情報算出部２１５からの通常光動きベクトル情報と通常光画像信号の画像サイズ（Ｉ，Ｊ）を特殊光動きベクトル情報算出部２１６へ転送する。

続いて、特殊光画像信号と通常光画像信号の解像度の比較情報に基づき、通常光画像信号から算出した動きベクトルを補正し、特殊光動きベクトルとして特殊光画像信号からノイズ低減処理する構成となっている。

図１１は、特殊光動きベクトル情報算出部２１６の構成の一例を示すもので、第３バッファー部５０１、補正係数算出部５０２、補正部５０３、及びＲＡＭ５０４を含む。特殊光画像取得部２１４は、補正係数算出部５０２及び補正部５０３を介して特殊光ノイズ低減部２１８へ接続している。通常光動きベクトル情報算出部２１５は、ＲＡＭ５０４を介して、補正係数算出部５０２及び補正部５０３へ接続している。特殊光画像保存部２２３は、第３バッファー部５０１を介して補正部５０３へ接続している。通常光動きベクトル情報算出部２１５はＲＡＭ５０４へ接続している。制御部２２１は、第３バッファー部５０１、補正係数算出部５０２、補正部５０３及びＲＡＭ５０４と双方向に接続している。

特殊光画像取得部２１４は、制御部２２１の制御に基づき、画像処理済みの特殊光画像信号を補正係数算出部５０２へ、特殊光画像信号の画像サイズ（Ｋ，Ｌ）をＲＡＭ５０４へ転送して、一時保存する。また、通常光動きベクトル情報算出部２１５からの通常光動きベクトル情報と通常光画像信号の画像サイズ（Ｉ，Ｊ）をもＲＡＭ５０４へ転送して、一時保存する。

特殊光画像保存部２２３は、制御部２２１の制御に基づき、保存しているノイズ低減済みの過去の特殊光画像信号を第３バッファー部５０１へ転送して、一時保存する。この過去の特殊光画像信号は、特殊光画像取得部２１４からの特殊光画像信号より時間的に直前に撮影され、時間距離が一番短い過去の特殊光画像信号を指す。本実施例では、第３バッファー部５０１に保存されている過去の特殊光画像信号を過去フレーム特殊光画像信号と呼び、特殊光画像取得部２１４からの特殊光画像信号を現フレーム特殊光画像信号と呼ぶ。

補正係数算出部５０２は、制御部２２１の制御に基づき、ＲＡＭ５０４からの通常光画像信号の画像サイズ（Ｉ，Ｊ）と特殊光画像取得部２１４からの特殊画像信号の画像サイズ（Ｋ，Ｌ）を用いて、下式（５）により補正係数を算出し、現フレーム特殊光画像信号と一緒に補正部５０３へ転送する。

PowerX=K/I
PowerY=L/J ・・・・・（５）

本実施例では、補正部５０３は、制御部２２１の制御により、上式（５）により算出した補正係数ＰｏｗｅｒＸ及びＰｏｗｅｒＹを用いて、ＲＡＭ５０４からの通常光動きベクトル情報に基づき、下式（６）で特殊光動きベクトルを算出する。

u=U*PowerX
v=V*PowerY ・・・・・（６）

ただし、（ｕ，ｖ）は特殊光画像信号のあるブロック領域に対応する動きベクトル（特殊光動きベクトル情報）、（Ｕ，Ｖ）はこの特殊光画像信号のブロック領域に対応する通常光画像信号のブロック領域の動きベクトル（通常光動きベクトル情報）である。

すべての特殊光画像信号のブロック領域の特殊光動きベクトルを算出した後、特殊光ノイズ低減部２１８へ転送する。

特殊光ノイズ低減部２１８は、制御部２２１の制御に基づき、前記現フレーム特殊光画像信号、過去フレーム特殊光画像信号及ぶ特殊光画像信号のブロック領域の動きベクトル情報を用いて、特殊光ノイズ低減処理を行う。特殊光ノイズ低減処理の構成は、上述した第１の実施形態と同様のため、ここでの説明は省略する。

このように、通常光画像信号から通常光動きベクトルを算出し、それを補正した上で特殊光動きベクトルを取得してノイズ低減処理を行うことが可能となり、特殊光画像信号のノイズ低減効果を高めることができるため、特殊光画像信号での診断能力を向上することにつながる。

以上説明した本実施形態における画像信号処理は、ハードウェアにより実現しているが、このような構成に限定される必要がない。例えば、Ａ／Ｄ変換処理後の画像信号を未処理のままのロー（ＲＡＷ）データとしてメモリカードなどの記録媒体に記録するとともに、制御部２２１からの撮像時の情報（ＡＧＣ感度やホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像信号処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の転送は、上述と同様に、記録媒体を介して行うものに限定されず、通信回線などを介して行うようにしても構わない。

図１２は、本実施形態における画像信号処理プログラムによる処理を示すフローチャートである。

この処理を開始すると、まず、Ｓ１にて、通常光画像信号および特殊光画像信号のローデータ、画像信号のサイズを含むヘッダ情報などを読み込むとともに、該画像信号処理プログラムが予め備えている階調特性係数などの情報も読み込んで、Ｓ２へ進む。また、ヘッダ情報や階調特性係数などの情報をメモリ上に一時保存する。この処理は、撮像装置である画像処理装置において、被写体を撮影した通常光画像信号および特殊光画像信号を取得する処理に相当している。

次に、Ｓ２にて、読み込んだ画像信号の種類を判別する。通常光画像信号の場合、Ｓ３へ進む。特殊光画像信号の場合、Ｓ６へ進む。そして、Ｓ３にて、通常光画像信号に対して、公知のベイヤ補間処理（ベイヤ画像信号から三板画像信号へ変換）、ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。処理後、Ｓ４へ進む。これは、図３の通常光画像取得部２１３の処理に相当する。

続いて、Ｓ４にて、時系列的に過去フレームの通常光画像信号と現フレームの通常光画像信号を用いて、通常光動きベクトル情報を算出する。この通常光動きベクトル情報を一時メモリに保存する。処理後、Ｓ５へ進む。これは、図３の通常光動きベクトル情報算出部２１５の処理に相当する。それから、Ｓ５にて、通常光画像信号及び通常光動きベクトル情報を用いて通常光ノイズ低減処理を行う。処理後、ノイズ低減処理後の通常光画像信号をメモリに保存する。これは、図３の通常光ノイズ低減部２１７の処理に相当する。処理後、ノイズ低減処理後の通常光画像信号をメモリに保存する。

一方、Ｓ６にて、特殊光画像信号に対して画像処理を行う。特殊光画像信号が図６に示す市松状配列のＧ１及びＢ１の構成となっているため、式（１），（２）に基づき補間処理を実施し、公知の階調変換処理などを行う。処理終了後、Ｓ７へ進む。これは、図３の特殊光画像取得部２１４の処理に相当する。続いて、Ｓ７にて、メモリから通常光動きベクトル情報を読み込んで、Ｓ８へ進む。そして、Ｓ８にて、通常光動きベクトル情報を用いて特殊光動きベクトルを算出する。処理後、Ｓ９へ進む。これは、図１０の特殊光動きベクトル情報算出部２１６の処理に相当する。

次に、Ｓ９にて、特殊光画像信号及び特殊光動きベクトル情報を用いて特殊光ノイズ低減処理を行う。処理後、ノイズ低減処理後の特殊光画像信号をメモリに保存する。これは、図３の特殊光ノイズ低減部２１８の処理に相当する。

続いて、図１３を用いて、図１２のＳ８における特殊光動きベクトルの算出処理の詳細について説明する。

この処理を開始すると、まず、Ｓ１６にて、メモリから通常光画像信号の画像サイズ（Ｉ，Ｊ）と特殊画像信号の画像サイズ（Ｋ，Ｌ）を読み込み、補正係数を算出して（式（５））、Ｓ１７へ進む。これは、図１１の補正係数算出部５０２の処理に相当する。次に、Ｓ１７にて、Ｓ１６にて算出された補正係数を用いて、特殊光動きベクトルを算出する（式（６））。処理終了後、図１２に示した処理へ復帰する。これは、図１１の補正部５０３の処理に相当する。

さらに、本実施例では、リアルタイムに画像信号処理を行うため、現フレーム通常光／特殊光画像信号及び過去フレーム通常光／特殊光画像信号を用いて、動きベクトルを算出し、それを補正した上でノイズ低減処理を行う構成となっているが、この構成に限定する必要がない。例えば、カプセル内視鏡画像信号処理の場合、一旦カプセル内視鏡で撮像した画像信号を記録媒体に保存する。その後、別途のソフトウェアで記録媒体から画像信号を読み込み、現像処理を行う。この場合、用いる画像信号は、現フレーム通常光／特殊光画像信号及び過去フレーム通常光／特殊光画像信号に限定されず、時系列的に現フレーム通常光／特殊光画像信号より遅く撮像された、将来フレーム通常光／特殊光画像信号を用いて動きベクトルを算出し、ノイズ低減処理を行うように構成してもよい。また、本実施例では、現フレーム通常光／特殊光画像信号及び１枚の過去フレーム通常光／特殊光画像信号を用いて動きベクトルを算出し、ノイズ低減処理を行うが、複数枚の過去フレーム（または将来フレーム）通常光／特殊光画像信号を用いて動きベクトルを算出し、ノイズ低減処理を行う構成にしてもよい。

以上の本実施形態では、画像処理装置は、図３に示すように、通常光画像を取得する通常光画像取得部２１３と、特殊光画像を取得する特殊光画像取得部２１４と、通常光画像内の特徴量に基づいて、複数の通常光画像間の動きベクトル情報を算出する通常光動きベクトル情報算出部２１５と、通常光動きベクトル情報に基づいて特殊光画像中のノイズ量を低減するノイズ低減部（図３における特殊光ノイズ低減部２１８）と、を含む。

ここで、通常光画像とは、図４に示すようなＲＧＢの信号に対応する白色光の波長帯域における情報を含む画像であり、特殊光画像とは、図５に示すような、特定の波長帯域における情報を含む画像である。また、通常光動きベクトル情報とは、複数の通常光画像の間の動きベクトルそのものであってもよいし、動きベクトルと等価な情報であってもよい。例えば通常光動きベクトル情報は、通常光動きベクトルそのものを用いた場合と同等の作用・効果を得ることができる情報であればよい。

これにより、通常光画像及び特殊光画像を取得し、通常光画像から通常光動きベクトル情報を算出することで、特殊光画像中のノイズ量を低減する画像処理装置を実現できる。よって、複数の特殊光画像間の動きベクトル情報を用いたノイズ低減処理（例えば、過去フレーム特殊光画像と、現フレーム特殊光画像の差分をとるフレーム巡回型ノイズ低減処理等）において発生する、特殊光画像が暗いため、正確な動きベクトル情報（特殊光動きベクトル情報）を求められないという問題を、明るい通常光画像による通常光動きベクトル情報を利用することで解決すること等が可能になる。そのため、効率的にノイズ低減を行うことができる。

また、通常光画像取得部２１３は、第１のタイミングにおいて第１通常光画像を取得し、第２のタイミングにおいて第２通常光画像を取得する。そして、通常光動きベクトル情報算出部２１５は、第１通常光画像内の特徴量と、第２通常光画像内の特徴量とに基づいて、第１通常光画像と第２通常光画像との間の通常光動きベクトル情報を算出してもよい。具体的には、第１通常光画像内の特徴量と、第２通常光画像内の特徴量を用いて図８に示すようなマッチング処理を行うことで、通常光動きベクトル情報を算出してもよい。

これにより、タイミング（例えばフレーム）の異なる通常光画像を用いて通常光動きベクトル情報を算出することが可能になる。具体的には、図８に示したように、ブロック単位・画素単位でのマッチング処理を行うことで、通常光動きベクトル情報を算出することができる。

また、画像処理装置は、図１０に示すように、通常光動きベクトル情報に基づいて特殊光動きベクトル情報を算出する特殊光動きベクトル情報算出部２１６を含んでもよい。そして特殊光動きベクトル情報算出部２１６は、図１１に示すように、通常光動きベクトル情報を、通常光画像及び特殊光画像に基づいて補正する補正部５０３を含んでもよい。具体的には、補正部５０３は、通常光画像の解像度と特殊光画像の解像度との比較結果に基づいて補正を行ってもよい。さらに具体的には、通常光画像の解像度と特殊光画像の解像度の比較結果により特定される拡大率又は縮小率を、通常光動きベクトル情報に乗算することで補正を行ってもよい。

ここで、特殊光動きベクトル情報とは、複数の特殊光画像の間の動きベクトルそのものであってもよいし、動きベクトルと等価な情報であってもよい。例えば特殊光動きベクトル情報は、特殊光動きベクトルそのものを用いた場合と同等の作用・効果を得ることができる情報であればよい。

これにより、通常光動きベクトル情報をそのまま利用するのではなく、適切な補正処理を施した上で利用することが可能になる。具体的には例えば、図１０に示したように２板の撮像素子を持つような構成では、通常光画像の解像度と特殊光画像の解像度が異なる可能性がある。そのようなときには、解像度の比に応じた補正を行う。具体的には例えば、上述した式（５）、（６）のような補正を行えばよい。

また、特殊光画像取得部２１４は、第１のタイミングで第１特殊光画像を取得し、第２のタイミングで第２特殊光画像を取得する。そして、ノイズ低減部（図３における特殊光ノイズ低減部２１８）は、第１特殊光画像内に第１の処理対象領域を設定するとともに、通常光動きベクトル情報に基づいて第２特殊光画像内に第１の処理対象領域に対応する第２の処理対象領域を設定する。その上で、第１の処理対象領域の特徴量と、第２の処理対象領域の特徴量とに基づいて、第１の処理対象領域又は第２の処理対象領域のノイズ量を低減する。

これにより、タイミング（例えばフレーム）の異なる特殊光画像を取得した上で、通常光動きベクトル情報に基づいて、それぞれの画像内に対応する領域を設定することが可能となる。そして、対応する２つの領域の特徴量を用いて、どちらかの領域のノイズ低減処理を行うことができる。ノイズ低減処理が可能となるのは、２つの領域は動きベクトル情報に基づいて対応付けられたものである以上、撮像されている被写体は理想的には同一のものであり、特徴量の比較結果とは、被写体に起因する成分が抑止され、ノイズに起因する成分が主に含まれていると考えられることによる。

また、ノイズ低減部（特殊光ノイズ低減部２１８）は、第１の処理対象領域の特徴量と、第２の処理対象領域の特徴量の差分値に基づいて、第２の処理対象領域に含まれるべき第２ノイズ量を推定するノイズ量推定部を含んでもよい。そして、ノイズ低減部は、ノイズ量推定部が推定した第２ノイズ量と、第２の処理対象領域の特徴量との差分を求めることで、第２の処理対象領域のノイズ量を低減してもよい。

ここで、ノイズ量推定部は、第１の処理対象領域の特徴量と第２の処理対象領域の特徴量との差分値と、推定すべき第２ノイズ量との対応関係を示す、対応関係情報（例えば図９に示すようなノイズモデルであってもよいし、テーブルデータであってもよい）を取得し、取得した対応関係情報に基づいてノイズ量を推定する。

これにより、ノイズ低減部は、特徴量の差分値からノイズ量を推定し、推定したノイズ量と処理対象領域の特徴量の差分を求めることで、ノイズ低減処理を行うことが可能となる。特徴量の差分値からのノイズ量の推定には、図９に示したようなノイズモデル等を使うことで、より適切なノイズ低減を行うことができる。

また、ノイズ低減部（特殊光ノイズ低減部２１８）は、第１の処理対象領域の特徴量と第２の処理対象領域の特徴量との差分値を、ゼロに近づけることで、第１の処理対象領域又は第２の処理対象領域のノイズ量を低減してもよい。

これにより、上述したノイズモデル等を使わなくても、ノイズ量を低減することが可能となる。この場合は、特徴量の差分値は全てノイズ成分であるという、理想的な状況を仮定していることになる。

また、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には特殊光画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。さらに具体的には、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍの波長帯域である。

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた波長である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、蛍光物質が発する蛍光の波長帯域であってもよい。具体的には４９０ｎｍ〜６２５ｎｍの波長帯域である。

これにより、ＡＦＩと呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという波長は、前述の励起光を照射した際、コラーゲンなどの蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。

また、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、赤外光の波長帯域であってもよい。具体的には７９０ｎｍ〜８２０ｎｍまたは９０５ｎｍ〜９７０ｎｍの波長帯域である。

これにより、ＩＲＩと呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお７９０ｎｍ〜８２０ｎｍという波長は赤外指標薬剤の吸収がもっとも強いという特性から、９０５ｎｍ〜９７０ｎｍという波長は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、本実施形態は、通常光画像取得部２１３と、特殊光画像取得部２１４と、通常光動きベクトル情報算出部２１５と、ノイズ低減部（特殊光ノイズ低減部２１８）としてコンピュータを機能させるプログラムに関係する。

これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。

３．第２の実施形態

図１４は、本実施形態にかかる画像処理装置を含む内視鏡システムの構成例である。内視鏡システムは、光源部６０１、挿入部１０２、ライトガイド１０３、レンズ２０１、撮像素子２０３、発光制御部６０３、Ａ／Ｄ変換部６０４、通常光画像取得部２１３、特殊光画像取得部６０５、通常光動きベクトル情報算出部２１５、特殊光動きベクトル情報算出部６０６、通常光ノイズ低減部２１７、特殊光ノイズ低減部２１８、出力部２１９、外部Ｉ／Ｆ２２０、制御部２２１、通常光画像保存部２２２、特殊光画像保存部２２３を含む。

本実施形態例において、第１の実施の形態例と同じ構成に関する内容を省略し、異なる部分のみを説明する。

図１５は、光源部６０１の構成の一例であり、通常光光源７０１、回転フィルタ７０２及び集光レンズ７０３を含む。通常光光源７０１からの光は回転フィルタ７０２に照射され、集光レンズ７０３を通してライトガイド１０３へ光を転送するように構成される。発光制御部６０３は回転フィルタ７０２へ接続している。制御部２２１は発光制御部６０３と双方向に接続している。

図１６は、回転フィルタ７０２の構成の一例を示している。この回転フィルタはＦ１、Ｆ２色フィルタを備え、均等に２領域に分けられている。Ｆ１フィルタは、図４に示しているＲ＋Ｇ＋Ｂの透過率特性（４００ｎｍ〜７００ｎｍ）に対応し、Ｆ２フィルタは、図５に示している所定の狭帯域のＢ１＋Ｇ１の透過率特性（Ｇ１（５３０ｎｍ〜５５０ｎｍ）、Ｂ１（３９０ｎｍ〜４４５ｎｍ））に対応している。通常光光源７０１からの白色光は、Ｆ１フィルタに照射されることにより白色光を形成するのに対し、Ｆ２フィルタに照射されることにより特殊光（ＮＢＩ）を形成することになる。

本実施例では、発光制御部６０３の制御に基づき、所定の速度で回転フィルタ７０２を回転させる。この回転フィルタ７０２の回転により、通常光光源７０１からの白色光は、Ｆ１−＞Ｆ２−＞Ｆ１−＞Ｆ２−＞Ｆ１−＞Ｆ２・・・に順次に照射することで、白色光−＞特殊光−＞白色光−＞特殊光−＞白色光−＞特殊光−＞・・・を形成することになる。形成した白色光と特殊光を順次に集光レンズ７０３を経由し、ライトガイド１０３へ転送して被写体１００へ照射する。結果的に、所定の時間間隔で白色光と特殊光が順次に繰り返して被写体１００へ照射し、その反射光はレンズ２０１を経由して撮像素子２０３へ照射する。

本実施例において、撮像素子２０３は通常光画像を形成するためのベイヤ配列の色フィルタを持つ撮像素子である。撮像素子２０３は、光電変換により白色光及び特殊光の反射光を順次に繰り返して通常光アナログ画像信号及び特殊光アナログ画像信号へ変換する。変換された通常光アナログ画像信号と特殊アナログ画像信号は順次に繰り返してＡ／Ｄ変換部６０４へ転送される。

続いて、制御部２２１の制御に基づき、通常光アナログ画像信号をデジタル化して通常光デジタル画像信号（以下通常光画像信号と略称）として通常光画像取得部２１３へ転送する。一方、特殊光アナログ画像信号をデジタル化して特殊光デジタル画像信号（以下特殊光画像信号と略称）として特殊光画像取得部６０５へ転送する。

特殊光画像取得部６０５は、制御部２２１の制御に基づき、特殊光画像信号に対して画像処理を行う。本実施例では、まず、公知のベイヤ補間処理（ベイヤ画像信号から三板画像信号へ変換）、ただし、この場合、特殊光画像信号は所定の狭帯域のＢ１＋Ｇ１の（Ｇ１（５３０ｎｍ〜５５０ｎｍ）、Ｂ１（３９０ｎｍ〜４４５ｎｍ））分光特性を持つ反射光から形成した画像信号のため、補間処理後形成したＲＧＢチャンネル中のＲチャンネル画像信号を使わない。そして、式（２）を用いてＮＢＩ特殊光画像（ＮＢＩ疑似カラー画像）を生成する。

続いて、カラーマネージメント処理、階調変換処理などを行う。処理後のＲＧＢ信号からなる特殊光画像信号を特殊光動きベクトル情報算出部６０６へ転送する。

特殊光動きベクトル情報算出部６０６は、制御部２２１の制御に基づき、通常光動きベクトル情報算出部２１５からの通常光動きベクトルを用いて特殊光動きベクトル情報を算出する。具体的に処理構成は以下のようになっている。本実施例では、所定の均等時間間隔で順次に繰り返して通常光画像信号及び特殊光画像信号を形成するため、通常光画像信号と特殊光画像信号の形成タイミングはずれていることが特徴である。そのため、通常光画像信号からなる通常光動きベクトルを用いて、ずれたタイミングで形成した特殊光画像信号の動きを予測し特殊光動きベクトルの補正量を推定する。例えば、通常光画像信号１−＞特殊光画像信号１−＞通常光画像信号２−＞特殊光画像信号２−＞通常光画像信号３・・・の場合、通常光画像信号と特殊光画像信号の形成時間間隔は同じのため、通常光画像信号１、通常光画像信号２および通常光画像信号３から算出した通常光動きベクトルを用いて、式（７）で特殊光画像信号１と特殊光画像信号２の間の特殊光動きベクトルを算出する。

u=(U1+U2)/2
v=(V1+V2)/2 ・・・・・（７）

ただし、（ｕ，ｖ）は特殊光画像信号１と特殊光画像信号２の特殊光動きベクトル、（Ｕ１，Ｖ１）は通常光画像信号１と通常光画像信号２の通常光動きベクトル、（Ｕ２，Ｖ２）は通常光画像信号２と通常光画像信号３の通常光動きベクトルである。

図１７は、特殊光動きベクトル情報算出部６０６の構成の一つの変形例を示すもので、第３バッファー部５０１、動きベクトル検出部５１２、動きベクトル補正部５１３、ＲＡＭ５０４を備えている。特殊光画像取得部６０５は、動きベクトル検出部５１２及び動きベクトル補正部５１３を介して特殊光ノイズ低減部２１８へ接続している。特殊光画像保存部２２３は、第３バッファー部５０１を介して、動きベクトル検出部５１２へ接続している。通常光動きベクトル情報算出部２１５は、ＲＡＭ５０４を介して動きベクトル補正部５１３へ接続している。制御部２２１は、第３バッファー部５０１、動きベクトル検出部５１２、動きベクトル補正部５１３及びＲＡＭ５０４と双方向に接続している。

本実施例では、同じ解像度（画像サイズ）をもつ通常光画像信号と特殊光画像信号を処理することを設定する。通常光動きベクトル情報算出部２１５からの通常光動きベクトル情報をＲＡＭ５０４へ保存する。

動きベクトル検出部５１２は、制御部２２１の制御に基づき、特殊光画像取得部６０５からの現フレーム特殊光画像信号を用いて特殊光画像保存部２２３から時間的に一番近い過去フレーム特殊光画像信号に対し、前記通常光画像信号の処理と同様に公知のテンプレートマッチング処理を行い、特殊光動きベクトルを検出する。

しかし、上述したように、通常光より狭い波長帯域を持つ特殊光で撮影した画像信号は通常光画像に比べて暗いため、ノイズの影響は相対的に大きくなる。従って、特殊光画像信号のみから特殊光動きベクトルを検出した場合、ノイズの影響により、動き検出精度も落ちる可能性がある。

そこで、動きベクトル補正部５１３は、通常光動きベクトル情報を用いて、特殊光動きベクトルを補正する。

図１８は、動きベクトル補正部５１３の構成の一例を示すもので、判定部８０１、動きベクトル更新部８０２およびＲＡＭ８０３を備えている。動きベクトル検出部５１２は、判定部８０１及び動きベクトル更新部８０２を介して特殊光ノイズ低減部２１８へ接続している。ＲＡＭ８０３およびＲＡＭ５０４は、動きベクトル更新部８０２へ接続している。制御部２２１は、判定部８０１、動きベクトル更新部８０２およびＲＡＭ８０３と双方向に接続している。

判定部８０１は、制御部２２１の制御に基づき、動きベクトル検出部５１２からの現フレーム特殊光画像信号に対して判定を行う。具体的には、ＲＡＭ８０３からの所定の閾値を用いて画素ごとに特殊光画像信号のＲｃｈ＿ｖ画像信号値（図５に示すＧ１の分光特性をもつ）と大きさで比較する。比較情報、現フレーム特殊光画像信号および特殊光動きベクトル情報を動きベクトル更新部８０２へ転送する。ＲＡＭ８０３中の所定の閾値は、制御部２２１の制御に基づき、ユーザが外部Ｉ／Ｆ２２２を介して指定してもよいし、ユーザが外部Ｉ／Ｆ２２２を介して事前に保存されている複数の閾値候補から選択してもよい。

動きベクトル更新部８０２は、制御部２２１の制御に基づき、判定部８０１からの閾値比較情報、特殊光動きベクトル情報およびＲＡＭ５０４から通常光動きベクトル情報を用いて、特殊光動きベクトルを補正する。具体的には、現フレーム特殊光画像信号値が閾値より大きい場合、特殊光動きベクトルを補正しない。一方、現フレーム特殊光画像信号値が閾値より小さい場合、前記式（１５）により計算した時間的に現フレーム特殊光画像の前後フレームの通常光動きベクトルを特殊光動きベクトルとして入れ替える。そうすることによって、特殊光動き検出に関しては、特殊光画像信号中の明るい領域においては、特殊光動きベクトル情報を用いるのに対し、暗い領域においては、通常光動きベクトルを適用する。これにより、できる限り特殊光画像信号から特殊光動きベクトルを検出することになるため、特殊光動きベクトルの検出精度を高めることが可能となる。

また、以上の説明では、特殊光動きベクトルとして、特殊光画像から求めた動きベクトル（ここでは（ＸＮ，ＹＮ）とする）もしくは通常光動きベクトル（（ＸＷ，ＹＷ）とする）のどちらか一方を用いるものとしたが、これに限定されるものではない。特殊光画像から求めた動きベクトルと、通常光動きベクトルとを所定の混合割合で混合して用いてもよい。

例えば、特殊光画像の画素の明るさ情報について２つの閾値ＴＨ１及びＴＨ２（ＴＨ１＜ＴＨ２、つまりＴＨ１が暗くＴＨ２が明るい）を用意しておき、特殊光画像の明るさ情報により表される値がＴＨ１よりも小さい場合には、（ＸＷ，ＹＷ）を特殊光動きベクトルとして用い、ＴＨ２よりも大きい場合には、（ＸＮ，ＹＮ）を特殊光動きベクトルとして用いる。そして、ＴＨ１とＴＨ２の間の値の時には、明るさ情報の値に応じて混合割合αを設定し、下式（８）により特殊光動きベクトル（Ｘ，Ｙ）を求めてもよい。

（Ｘ，Ｙ）＝（ＸＮ×（１−α）＋ＸＷ×α，ＹＮ×（１−α）＋ＹＷ×α）
・・・・・（８）

本実施形態においても、第１の実施形態と同様に、画像処理装置をソフトウェア的に実現することが可能である。本実施形態における処理の詳細を示すフローチャートは、第１の実施形態と同様に図１２である。

第１の実施形態と同様の処理が行われるステップについては説明を省略し、異なる部分について述べる。まずＳ１〜Ｓ６までのステップは第１の実施形態と同様である。

Ｓ７にて、通常光動きベクトルを取得する。上述したように（または図２に示したように）、特殊光動きベクトルに相当する動きベクトルを求めるためには、本実施形態においては２つの通常光動きベクトルが必要である。よって、第１の実施形態とは異なり、２つの通常光動きベクトルを取得する。図２に示したように、ＶＢ３を求めるためには、ＶＢ１とＶＢ２の両方が必要であるため、Ｂ５を取得した段階ではＶＢ３を求めることができない。よって厳密には、Ｂ６に相当する特殊光画像（図２には不図示）を取得するタイミングで、ＶＢ３を取得することになる。

次にＳ８にて、特殊光動きベクトルを算出する。Ｓ８における処理を図示したものが図１９である。図１９の処理が開始されると、まず、Ｓ２１にて、取得した２つの通常光動きベクトルの平均をとることで、特殊光動きベクトルに対応する通常光動きベクトル（ＸＷ，ＹＷ）を取得する。

次に、特殊光画像において、過去フレーム特殊光画像信号と、現フレーム特殊光画像信号とのマッチングをとることで、特殊光画像に基づく動きベクトル（ＸＮ，ＹＮ）を取得する。

そして、Ｓ２３にて、特殊光画像の明るさと閾値ＴＨ１を比較して、ＴＨ１よりも小さい場合には、Ｓ２５にて、特殊光動きベクトルを（ＸＷ，ＹＷ）に設定する。ＴＨ１以上の場合には、Ｓ２４にて、特殊光画像の明るさと閾値ＴＨ２を比較して、ＴＨ２よりも大きい場合には、Ｓ２６にて、特殊光動きベクトルを（ＸＮ，ＹＮ）に設定する。

Ｓ２４において、ＴＨ２以下の場合には、上述した式（８）により、（ＸＷ，ＹＷ）と（ＸＮ，ＹＮ）をブレンドしたベクトルを特殊光動きベクトルとする。

また、第１の実施形態の変形例と同様に、通常光画像の解像度と特殊光画像の解像度が異なる場合には、上述した式（５）、（６）を用いて、（ＸＷ，ＹＷ）の補正処理が行われる。この補正処理は例えば、Ｓ２１の後等に行われてもよい。

特殊光動きベクトルが求められた後のＳ９の処理は第１の実施形態と同様である。

このように、時系列に順次に繰り返して撮像した通常光画像信号と特殊光画像信号を取り扱う画像処理装置において、まず一の特殊光画像信号に対して時系列に前後に位置する通常光動きベクトルを平均化、あるいは通常光動きベクトルと特殊光動きベクトルを混合して撮像タイミングがずれる特殊光画像信号の動きを予測してこの特殊光動きベクトルを推定することが可能となり、その特殊光動きベクトルを用いて特殊光画像信号のノイズ低減効果を高めることができるため、特殊光画像信号での診断能力を向上することにつながる。

以上の本実施形態では、画像処理装置は、図１４に示したように、通常光動きベクトル情報に基づいて特殊光動きベクトル情報を算出する特殊光動きベクトル情報算出部６０６を含む。そして、ノイズ低減部（図１４における特殊光ノイズ低減部２１８）は、特殊光動きベクトル情報に基づいて、特殊光画像中のノイズ量を低減する。

これにより、図２に示したように、通常光画像と特殊光画像とが同時に取得されないようなケースにおいても、通常光動きベクトル情報に基づいて特殊光動きベクトル情報を算出することができ、効率的なノイズ低減処理が可能になる。

また、特殊光画像取得部６０５は、第１のタイミングにおいて第１特殊光画像を取得し、第２のタイミングにおいて第２特殊光画像を取得する。そして、特殊光動きベクトル情報算出部６０６は、通常光動きベクトル情報に基づいて第１特殊光画像と第２特殊光画像との間の特殊光動きベクトル情報を算出する。そして、ノイズ低減部は、特殊光動きベクトル情報を用いて、第１特殊光画像又は第２特殊光画像中のノイズ量を低減してもよい。

これにより、タイミング（フレーム）の異なる特殊光画像間の特殊光動きベクトル情報を算出することが可能になる。具体的には例えば図２に示すような、Ｂ４とＢ５の間の特殊光動きベクトル情報ＶＢ３を求めることに相当する。

また、通常光画像取得部２１３は、複数の通常光画像を時系列的に取得し、特殊光画像取得部６０５は、複数の特殊光画像を時系列的に取得する。そして、通常光動きベクトル情報算出部２１５は、複数の特殊光画像のうちの第ｋ（ｋは自然数）の特殊光画像に対して時系列的に前後の通常光画像に基づいて、第１の通常光動きベクトル情報を求める。それとともに、第ｋ＋１の特殊光画像に対して時系列的に前後の通常光画像に基づいて、第２の通常光動きベクトル情報を求める。さらに、特殊光動きベクトル情報算出部６０６は、第１の通常光動きベクトル情報と第２の通常光動きベクトル情報とに基づいて、第ｋの特殊光画像と第ｋ＋１の特殊光画像の間の特殊光動きベクトル情報を算出してもよい。

これにより、図２に示したように、通常光画像と特殊光画像とが同時に取得されないようなケースにおいては、特殊光動きベクトル情報を算出したい複数（ここでは２つ）の特殊光画像のそれぞれに対して、時系列的に前後の通常光画像を用いて通常光動きベクトル情報を算出する。そして、算出した通常光動きベクトル情報を利用することで、特殊光動きベクトル情報を算出することが可能になる。図２の例で言えば、Ｂ４の前後であるＢ１及びＢ２から通常光動きベクトル情報ＶＢ１が求められる。このとき、ＶＢ１の前半部分は求めるべき特殊光動きベクトル情報には関係しないが、ＶＢ１の後半部分は、特殊光動きベクトル情報と重複する部分である。同様に、Ｂ５の前後であるＢ２及びＢ３から求められるＶＢ２の前半部分は、求めるべき特殊光動きベクトル情報と重複する。この重複部分を用いることで、特殊光動きベクトル情報を推測することが可能となる。

具体的には、第ｋの特殊光画像に対して時系列的に前後の通常光画像とは、第ｐ（ｐは自然数）の通常光画像と第ｐ＋１の通常光画像であってもよく、第ｋ＋１の特殊光画像に対して時系列的に前後の通常光画像とは、第ｑ（ｑは自然数）の通常光画像と第ｑ＋１の通常光画像であってもよい。ここで、第ｐの通常光画像と第ｐ＋１の通常光画像は、第ｋの特殊光画像の直前、直後の通常光画像であってもよいし、そうでなくてもよい。同様に、第ｑの通常光画像と第ｑ＋１の通常光画像は、第ｋ＋１の特殊光画像の直前、直後の通常光画像であってもよいし、そうでなくてもよい。

ここで、第ｐ、ｐ＋１の通常光画像が第ｋの特殊光画像の直前、直後であり、かつ、第ｑ、ｑ＋１の通常光画像が第ｋ＋１の特殊光画像の直前、直後であるという条件を満たし、さらにｐ＋１＝ｑの場合が、図２に示したケースであり、本実施形態で例示した構成に相当する。つまり、通常光画像と特殊光画像が１枚ずつ交互に取得される。このような場合には、特殊光動きベクトル情報算出部６０６は、第１の通常光動きベクトル情報と第２の通常光動きベクトル情報の平均を求めることで、第ｋの特殊光画像と、第ｋ＋１の特殊光画像の間の特殊光動きベクトル情報を算出することができる。これは、図２に示したように、ＶＢ１の後半部分と、ＶＢ２の前半部分をあわせたものがＶＢ３に等しいことから、明らかである。

以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１００被写体、１０１通常光光源、１０２挿入部、１０３ライトガイド、
２０１レンズ、２０２ハーフミラー、２０３通常光撮像素子、２０４フィルタ、
２０５特殊光撮像素子、２１１通常光画像Ａ／Ｄ変換部、
２１２特殊光画像Ａ／Ｄ変換部、２１３通常光画像取得部、
２１４特殊光画像取得部、２１５通常光動きベクトル情報算出部、
２１６特殊光動きベクトル情報算出部、２１７通常光ノイズ低減部、
２１８特殊光ノイズ低減部、２１９出力部、２２１制御部、
２２２通常光画像保存部、２２３特殊光画像保存部、３０１第１バッファー部、
３０２第２バッファー部、３０３分割部、３０４類似度検出部、
５０１第３バッファー部、５０２補正係数算出部、５０３補正部、
５１２動きベクトル検出部、５１３動きベクトル補正部、６０１光源部、
６０３発光制御部、６０４Ａ／Ｄ変換部、６０５特殊光画像取得部、
６０６特殊光動きベクトル情報算出部、７０１通常光光源、７０２回転フィルタ、
７０３集光レンズ、８０１判定部、８０２動きベクトル更新部、８０３ＲＡＭ

Claims

白色光の波長帯域における情報を含む画像を通常光画像として取得する通常光画像取得部と、
特定の波長帯域における情報を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記通常光画像内の特徴量に基づいて、複数の通常光画像間の動きベクトルを示す通常光動きベクトル情報を算出する通常光動きベクトル情報算出部と、
前記通常光画像の解像度と前記特殊光画像の解像度との比較結果に基づいて、算出された前記通常光動きベクトル情報を補正する補正部と、
補正された前記通常光動きベクトル情報に基づいて、前記特殊光画像間の動きベクトルを示す特殊光動きベクトル情報を算出する特殊光動きベクトル情報算出部と、
前記特殊光動きベクトル情報に基づいて、前記特殊光画像中のノイズ量を低減するノイズ低減部と、
を含むことを特徴とする画像処理装置。
請求項１において、
前記通常光画像取得部は、
第１のタイミングにおいて第１通常光画像を取得するとともに、第２のタイミングにおいて第２通常光画像を取得し、
前記通常光動きベクトル情報算出部は、
前記第１通常光画像内の特徴量と、前記第２通常光画像内の特徴量とに基づいて、前記第１通常光画像と前記第２通常光画像間の前記通常光動きベクトル情報を算出することを特徴とする画像処理装置。
請求項２において、
前記通常光動きベクトル情報算出部は、
前記第１通常光画像内の特徴量と、前記第２通常光画像内の特徴量とを用いてマッチング処理を行うことで、前記通常光動きベクトル情報を算出することを特徴とする画像処理装置。
請求項１において、
前記補正部は、
前記通常光画像の解像度と前記特殊光画像の解像度との比較結果により特定される、前記通常光動きベクトル情報の拡大率又は縮小率を、算出された前記通常光動きベクトル情報に対して乗算することで、前記通常光動きベクトル情報を補正することを特徴とする画像処理装置。
請求項１において、
前記通常光画像取得部は、
前記通常光画像として、複数の通常光画像を時系列的に取得し、
前記特殊光画像取得部は、
前記特殊光画像として、複数の特殊光画像を時系列的に取得し、
前記通常光動きベクトル情報算出部は、
前記複数の特殊光画像のうちの第ｋ（ｋは自然数）の特殊光画像に対して時系列的に前後の複数の通常光画像に基づいて、第１の通常光動きベクトル情報を求めるとともに、第ｋ＋１の特殊光画像に対して時系列的に前後の複数の通常光画像に基づいて、第２の通常光動きベクトル情報を求め、
前記特殊光動きベクトル情報算出部は、
前記第１の通常光動きベクトル情報と前記第２の通常光動きベクトル情報とに基づいて、前記第ｋの特殊光画像と前記第ｋ＋１の特殊光画像との間の特殊光動きベクトル情報を算出することを特徴とする画像処理装置。
請求項５において、
前記通常光動きベクトル情報算出部は、
前記複数の特殊光画像のうちの第ｋ（ｋは自然数）の特殊光画像に対して時系列的に前である第ｐ（ｐは自然数）の通常光画像と、時系列的に後である第ｐ＋１の通常光画像とに基づいて、前記第１の通常光動きベクトル情報を求めるとともに、第ｋ＋１の特殊光画像に対して時系列的に前である第ｑ（ｑは自然数）の通常光画像と、時系列的に後である第ｑ＋１の通常光画像とに基づいて、前記第２の通常光動きベクトル情報を求め、
前記特殊光動きベクトル情報算出部は、
前記第１の通常光動きベクトル情報と前記第２の通常光動きベクトル情報とに基づいて、前記第ｋの特殊光画像と前記第ｋ＋１の特殊光画像との間の特殊光動きベクトル情報を算出することを特徴とする画像処理装置。
請求項５において、
前記特殊光動きベクトル情報算出部は、
前記第１の通常光動きベクトル情報と、前記第２の通常光動きベクトル情報とを平均した動きベクトル情報を、前記第ｋの特殊光画像と前記第ｋ＋１の特殊光画像との間の前記特殊光動きベクトル情報として算出することを特徴とする画像処理装置。
請求項１において、
前記特殊光画像取得部は、
第１のタイミングにおいて第１特殊光画像を取得するとともに、第２のタイミングにおいて第２特殊光画像を取得し、
前記ノイズ低減部は、
前記通常光動きベクトル情報に基づいて、前記第１特殊光画像内の第１の処理対象領域に対応する領域である第２の処理対象領域を前記第２特殊光画像内において設定し、
前記第１の処理対象領域の特徴量と前記第２の処理対象領域の特徴量に基づいて、前記第１の処理対象領域または前記第２の処理対象領域中のノイズ量を低減することを特徴とする画像処理装置。
請求項８において、
前記ノイズ低減部は、
前記第１の処理対象領域の特徴量と前記第２の処理対象領域の特徴量との差分量に基づいて、前記第２の処理対象領域中に含まれるべき第２ノイズ量を推定するノイズ量推定部を含み、
前記ノイズ低減部は、
前記ノイズ量推定部が推定した前記第２ノイズ量と、前記第２の処理対象領域の特徴量との差分を求めることで、前記第２の処理対象領域中のノイズ量を低減することを特徴とする画像処理装置。
請求項９において、
前記ノイズ量推定部は、
第１の処理対象領域の特徴量と第２の処理対象領域の特徴量との差分量と、推定すべきノイズ量との対応関係情報を取得し、取得した前記対応関係情報に基づいて、前記第２のノイズ量を推定することを特徴とする画像処理装置。
請求項８において、
前記ノイズ低減部は、
前記第１の処理対象領域の特徴量と前記第２の処理対象領域の特徴量との差をゼロに近づける制御をすることで、前記第１の処理対象領域または前記第２の処理対象領域中のノイズ量を低減することを特徴とする画像処理装置。
請求項１において、
前記特定の波長帯域は、
前記白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
請求項１２において、
前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
請求項１３において、
前記波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
請求項１において、
前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
請求項１５において、
前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
請求項１において、
前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
請求項１７において、
前記波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
白色光の波長帯域における情報を含む画像を通常光画像として取得する通常光画像取得部と、
特定の波長帯域における情報を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記通常光画像内の特徴量に基づいて、複数の通常光画像間の動きベクトルを示す通常光動きベクトル情報を算出する通常光動きベクトル情報算出部と、
前記通常光画像の解像度と前記特殊光画像の解像度との比較結果に基づいて、算出された前記通常光動きベクトル情報を補正する補正部と、
補正された前記通常光動きベクトル情報に基づいて、前記特殊光画像間の動きベクトルを示す特殊光動きベクトル情報を算出する特殊光動きベクトル情報算出部と、
前記特殊光動きベクトル情報に基づいて、前記特殊光画像中のノイズ量を低減するノイズ低減部として、
コンピュータを機能させることを特徴とするプログラム。