JP5887367B2 - プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法 - Google Patents

Description

本発明は、過去の画像と現在の画像とを同時表示するプロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法に関する。

医療分野においては、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。内視鏡システムを用いる診断では、病変部の経過観察を行うために、検体内に現在挿入中の内視鏡から出力される現在の画像に加えて、現在よりも前の内視鏡挿入時に得られた過去の画像を表示することが行われている（例えば、特許文献１参照）。

特開２０１２−１７０７７４号公報

病変部の経過観察を行う際、現在又は過去の画像が、白色光を用いて得られた通常観察画像である場合、病変部の変化は通常観察画像からは分かりにくい。そこで、ガンなどの病変部は酸素飽和度が低くなる低酸素状態になることを利用し、病変部の酸素状態を疑似カラーで表わした現在と過去の酸素飽和度画像を同時表示することによって、病変部の変化を把握し易くすることが考えられる。

ここで、内視鏡の一次検査については、酸素飽和度測定機能を持つ内視鏡を完備していないクリニックや市中病院などで行い、その後の二次検査については、酸素飽和度測定機能を持つ内視鏡を完備した大規模病院で行う場合が想定される。この場合、一次検査で使用した画像（過去の画像）は、ほとんどが通常観察画像であると想定されることから、二次検査時に行う病変部の経過観察の際に、現在と過去の酸素飽和度画像を同時表示することは困難である。そのため、このように過去の画像が、通常観察画像など酸素飽和度画像以外の画像であっても、現在と過去の酸素飽和度画像を同時表示できることが求められている。

本発明は、過去の画像が通常観察画像など酸素飽和度画像以外の画像であっても、現在と過去の酸素飽和度画像を同時表示することができるプロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法を提供することを目的とする。

上記目的を達成するために、本発明のプロセッサ装置は、通常観察画像から分光推定画像を作成、分光推定画像から第１の酸素飽和度を算出する。通常観察画像から分光推定画像を作成、分光推定画像から第１の酸素飽和度を算出、第１の酸素飽和度により第１の酸素飽和度画像を生成する。

本発明は、通常観察画像から分光推定画像を作成、分光推定画像から第１の酸素飽和度を算出、第１の酸素飽和度により第１の酸素飽和度画像を生成するプロセッサ装置を有し、第１の酸素飽和度画像と、第２の酸素飽和度に基づく第２の酸素飽和度画像とを表示する内視鏡システムであって、第１の酸素飽和度と第２の酸素飽和度を比較する比較部と、第１の酸素飽和度画像において第１の酸素飽和度が特定範囲内と特定範囲外とで異なる表示方法で表示し、且つ第２の酸素飽和度画像において第２の酸素飽和度が特定範囲内と特定範囲外とで異なる表示方法で表示するための表示処理を行う表示処理部と、比較部の比較結果に基づいて、特定範囲の境界値を補正する境界値補正部とを有する。なお、第２の酸素飽和度とは、例えば、第１の酸素飽和度の算出と異なる画像に基づいて算出される酸素飽和度であることが好ましい。

第１の酸素飽和度と第２の酸素飽和度を比較する比較部を有することが好ましい。比較部の比較結果に基づいて、第１の酸素飽和度又は第２の酸素飽和度の少なくとも一方を補正する酸素飽和度補正部を有することが好ましい。酸素飽和度補正部は、第１の酸素飽和度又は第２の酸素飽和度の少なくとも一方を酸素飽和度補正用のゲイン処理及び／又はシフト処理で補正することが好ましい。比較部の比較結果に基づいて、第１の酸素飽和度又は第２の酸素飽和度の少なくとも一方を補正するか否かを判定する判定部を有することが好ましい。比較部の比較結果に基づいて、分光推定画像の作成に用いるマトリックス係数を補正する係数補正部を有することが好ましい。

通常観察画像から特徴点を抽出し、且つ第２の酸素飽和度の算出に用いられた特定画像から特徴点を抽出する特徴点抽出部を有し、比較部は、通常観察画像の特徴点のうち第１特徴点の酸素飽和度と、特定画像又は酸素飽和度数値画像の特徴点のうち前記第１特徴点と同じ特徴量を有する第２特徴点の酸素飽和度を比較する第１比較部であることが好ましい。通常観察画像から特徴点を抽出し、且つ第２の酸素飽和度の数値情報を画素毎に持つ酸素飽和度数値画像から特徴点を抽出する特徴点抽出部を有し、比較部は、通常観察画像の特徴点のうち第１特徴点の酸素飽和度と、酸素飽和度数値画像の特徴点のうち前記第１特徴点と同じ特徴量を有する第２特徴点の酸素飽和度を比較する第１比較部であることが好ましい。

第１比較部は、第１特徴点の酸素飽和度と第２特徴点の酸素飽和度の差により、比較を行うことが好ましい。比較部は、第１の酸素飽和度の分布と第２の酸素飽和度の分布を比較する第２比較部であることが好ましい。第１の酸素飽和度と第２の酸素飽和度との差分、又は第１の酸素飽和度画像と第２の酸素飽和度画像との差分を画像化した差分画像を生成する差分画像生成部を有し、差分画像を表示することが好ましい。

本発明は、分光推定部が、通常観察画像に分光推定処理を施して、分光推定画像を生成するステップと、酸素飽和度算出部が、分光推定画像に基づいて、第１の酸素飽和度を求めるステップと、酸素飽和度画像生成部が、第１の酸素飽和度により第１の酸素飽和度画像を生成するステップと、表示部が第１の酸素飽和度画像と、第２の酸素飽和度に基づく第２の酸素飽和度画像を表示するステップとを有する内視鏡システムの作動方法であって、比較部が、第１の酸素飽和度と第２の酸素飽和度を比較するステップと、表示処理部が、第１の酸素飽和度画像において第１の酸素飽和度が特定範囲内と特定範囲外とで異なる表示方法で表示し、且つ第２の酸素飽和度画像において第２の酸素飽和度が特定範囲内と特定範囲外とで異なる表示方法で表示するための表示処理を行うステップと、境界値補正部が、比較部の比較結果に基づいて、特定範囲の境界値を補正するステップとを有する。

本発明の内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法によれば、過去の画像が通常観察画像など酸素飽和度画像以外の画像であっても、現在と過去の酸素飽和度画像を同時表示することができる。

内視鏡システムの外観図である。 第１実施形態の内視鏡システムのブロック図である。 通常観察モード時に発光する光のスペクトルを示すグラフである。 特殊観察モード時に発光する光のスペクトルを示すグラフである。 ＲＧＢカラーフィルタの分光透過率を示すグラフである。 センサがＣＣＤである場合における通常観察モード時の撮像制御を示す説明図である。 センサがＣＣＤである場合における特殊観察モード時の撮像制御を示す説明図である。 第１実施形態の特殊観察画像処理部のブロック図である。 信号比と酸素飽和度の相関関係を示すグラフである。 酸素飽和度の算出方法を示す説明図である。 特徴点の抽出方法を示す説明図である。 第１実施形態における一連の流れを示すフローチャートである。 現在の酸素飽和度画像と過去の酸素飽和度画像が同時表示されたモニタの画像図である。 第２実施形態の特殊観察画像処理部のブロック図である。 第３実施形態の特殊観察画像処理部のブロック図である。 第１〜第３実施形態の変形例における特殊観察画像処理部のブロック図である。 第４実施形態の特殊観察画像処理部のブロック図である。 第５実施形態の特殊観察画像処理部のブロック図である。 ＬＥＤ方式の内視鏡システムのブロック図である。 ＬＥＤの発光帯域とＨＰＦの特性を示すグラフである。 ＬＥＤ方式の内視鏡システムにおける通常観察モード時の撮像制御を示す説明図である。 ＬＥＤ方式の内視鏡システムにおける特殊観察モード時の撮像制御を示す説明図である。 回転フィルタ方式の内視鏡システムのブロック図である。 回転フィルタの平面図である。 センサがＣＭＯＳである場合における通常観察モード時の撮像制御を示す説明図である。 センサがＣＭＯＳである場合における特殊観察モード時の撮像制御を示す説明図である。 差分画像生成部を備える特殊観察画像処理部のブロック図である。

［第１実施形態］
図１に示すように、第１実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６、モニタ１８（表示部）と、コンソール２０とを有する。内視鏡１２は、ユニバーサルコード１７を介して、光源装置１４と光学的に接続されるとともに、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部２１と、挿入部２１の基端部分に設けられた操作部２２と、挿入部２１の先端側に設けられた湾曲部２３及び先端部２４を有している。操作部２２のアングルノブ２２ａを操作することにより、湾曲部２３は湾曲動作する。この湾曲動作にともなって、先端部２４が所望の方向に向けられる。

また、操作部２２には、アングルノブ２２ａの他、モード切替ＳＷ２２ｂと、ズーム操作部２２ｃと、静止画像を保存するためのフリーズボタン（図示しない）と、が設けられている。モード切替ＳＷ２２ｂは、通常観察モードと、特殊観察モードの２種類のモード間の切り替え操作に用いられる。通常観察モードは、被検体内の観察対象をフルカラー画像化した通常観察画像をモニタ１８に表示するモードである。特殊観察モードは、観察対象の血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像をモニタ１８に表示するモードである。

通常観察モード又は特殊観察モードにおいては、検体に現在挿入中の内視鏡１２から出力される現在の画像のみをモニタ１８に表示する１画像表示モード、又は、現在の画像に加えて、現在よりも前の過去の内視鏡挿入時に得られた過去の画像を同時表示する２画像同時表示モードのいずれかを、コンソール２０により設定することができる。ズーム操作部２２ｃは、内視鏡１２内のズームレンズ４７（図２参照）を駆動させて、観察対象を拡大させるズーム操作に用いられる。

プロセッサ装置１６は、モニタ１８及びコンソール２０と電気的に接続される。モニタ１８は、通常観察画像や酸素飽和度画像等の画像、及びこれらの画像に関する情報を表示する。コンソール２０は、機能設定等の入力操作を受け付けるＵＩ（ユーザインタフェース）として機能する。

図２に示すように、光源装置１４は、中心波長４７３ｎｍの第１青色レーザ光を発する第１青色レーザ光源（４７３ＬＤ（レーザダイオード））３４と、中心波長４４５ｎｍの第２青色レーザ光を発する第２青色レーザ光源（４４５ＬＤ）３６とを発光源として備えている。これら各光源３４，３６の発光は、光源制御部４０により個別に制御される。このため、第１青色レーザ光源３４の出射光と、第２青色レーザ光源３６の出射光の光量比は変更自在になっている。

光源制御部４０は、通常観察モードの場合には、第２青色レーザ光源３６を点灯させる。これに対して、特殊観察モードの場合には、第１青色レーザ光源３４と第２青色レーザ光源３６を交互に点灯させる。なお、第１，第２青色レーザ光の半値幅は±１０ｎｍ程度にすることが好ましい。また、第１青色レーザ光源３４と第２青色レーザ光源３６は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としても良い。

各光源３４，３６から出射される第１，第２青色レーザ光は、集光レンズ、光ファイバ、合波器等の光学部材（いずれも図示せず）を介してライトガイド（ＬＧ）４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード１７に内蔵されている。ライトガイド４１は、各光源３４，３６からの第１，第２青色レーザ光を、内視鏡１２の先端部２４まで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部２４は、照明光学系２４ａと撮像光学系２４ｂを有している。照明光学系２４ａには、蛍光体４４と、照明レンズ４５が設けられている。蛍光体４４には、ライトガイド４１から第１，第２青色レーザ光が入射する。蛍光体４４は、第１または第２青色レーザ光が照射されることで蛍光を発する。また、一部の第１または第２青色レーザ光は、そのまま蛍光体４４を透過する。蛍光体４４を出射した光は、照明レンズ４５を介して観察対象に照射される。

通常観察モードにおいては、第２青色レーザ光が蛍光体４４に入射するため、図３に示すスペクトルの白色光（第２白色光）が観察対象に照射される。この第２白色光は、第２青色レーザ光と、この第２青色レーザ光により蛍光体４４から励起発光する緑色〜赤色の第２蛍光とから構成される。したがって、第２白色光は、波長範囲が可視光全域に及んでいる。

一方、特殊観察モードにおいては、第１青色レーザ光と第２青色レーザ光が蛍光体４４に交互に入射することにより、図４に示すスペクトルの第１白色光と第２白色光が交互に観察対象に照射される。第１白色光は、第１青色レーザ光と、この第１青色レーザ光により蛍光体４４から励起発光する緑色〜赤色の第１蛍光とから構成される。したがって、第１白色光は、波長範囲が可視光全域に及んでいる。第２白色光は、通常観察モード時に照射される第２白色光と同様である。

第１蛍光と第２蛍光は、波形（スペクトルの形状）がほぼ同じであり、第１蛍光の強度（Ｉ１（λ））と第２蛍光の強度（Ｉ２（λ））の比（以下、フレーム間強度比という）は、何れの波長λにおいても同じである。例えば、Ｉ２（λ１）／Ｉ１（λ１）＝Ｉ２（λ２）／Ｉ１（λ２）である。このフレーム間強度比Ｉ２（λ）／Ｉ１（λ）は、酸素飽和度の算出精度に影響を与えるものであるため、光源制御部４０により、予め設定された基準フレーム間強度比を維持するように高精度に制御されている。

なお、蛍光体４４は、第１及び第２青色レーザ光の一部を吸収して、緑色〜赤色に励起発光する複数種類の蛍光体（例えばＹＡＧ系蛍光体、あるいはＢＡＭ（ＢａＭｇＡｌ_１０Ｏ_１７）等の蛍光体）を含んで構成されるものを使用することが好ましい。また、本実施形態のように、半導体発光素子を蛍光体４４の励起光源として用いれば、高い発光効率で高強度の第１白色光及び第２白色光が得られる。また、各白色光の強度を容易に調整できる上に、色温度、色度の変化を小さく抑えることができる。

内視鏡１２の撮像光学系２４ｂは、撮像レンズ４６、ズームレンズ４７、センサ４８を有している（図２参照）。観察対象からの反射光は、撮像レンズ４６及びズームレンズ４７を介してセンサ４８に入射する。これにより、センサ４８に観察対象の反射像が結像される。ズームレンズ４７は、ズーム操作部２２ｃを操作することでテレ端とワイド端との間を移動する。ズームレンズ４７がテレ端側に移動すると観察対象の反射像が拡大する。一方、ズームレンズ４７がワイド端側に移動することで、観察対象の反射像が縮小する。なお、拡大観察をしない場合（非拡大観察時）には、ズームレンズ４７はワイド端に配置されている。そして、拡大観察を行う場合には、ズーム操作部２２ｃの操作によってズームレンズ４７はワイド端からテレ端側に移動される。

センサ４８は、カラーの撮像素子であり、観察対象の反射像を撮像して画像信号を出力する。センサ４８は、ＣＣＤ（Charge Coupled Device）イメージセンサである。また、センサ４８は、撮像面にＲＧＢカラーフィルタが設けられたＲＧＢ画素を有しており、ＲＧＢの各色の画素で光電変換をすることによってＲ，Ｇ，Ｂの三色の画像信号を出力する。

図５に示すように、Ｂカラーフィルタは３８０〜５６０ｎｍの分光透過率を有しており、Ｇカラーフィルタは４５０〜６３０ｎｍの分光透過率を有しており、Ｒカラーフィルタ５８０〜７６０ｎｍの分光透過率を有している。したがって、通常観察モード時に第２白色光が観察対象に照射された場合には、Ｂ画素には第２青色レーザ光と第２蛍光の緑色成分の一部が入射し、Ｇ画素には第２蛍光の緑色成分の一部が入射し、Ｒ画素には第２蛍光の赤色成分が入射する。但し、第２青色レーザ光は第２蛍光よりも発光強度が極めて大きいのでＢ画素から出力するＢ画像信号の大部分は第２青色レーザ光の反射光成分で占められている。

一方、特殊観察モード時に第１白色光が観察対象に照射された場合には、Ｂ画素には第１青色レーザ光と第１蛍光の緑色成分の一部が入射し、Ｇ画素には第１蛍光の緑色成分の一部が入射し、Ｒ画素には第１蛍光の赤色成分が入射する。但し、第１青色レーザ光は第１蛍光よりも発光強度が極めて大きいので、Ｂ画像信号の大部分は第１青色レーザ光の反射光成分で占められている。なお、特殊観察モード時に第２白色光が観察対象に照射されたときのＲＧＢ各画素での光入射成分は、通常観察モードの場合と同様である。

なお、センサ４８としては、撮像面にＣ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）及びＧ（グリーン）の補色フィルタを備えた、いわゆる補色イメージセンサを用いても良い。センサ４８として補色イメージセンサを用いる場合は、ＣＭＹＧの四色の画像信号からＲＧＢの三色の画像信号に色変換する色変換部を、内視鏡１２、光源装置１４またはプロセッサ装置１６のいずれかに設けておけば良い。こうすれば補色イメージセンサを用いる場合でも、ＣＭＹＧの４色の画像信号から色変換によってＲＧＢ３色の画像信号を得ることができる。

撮像制御部４９はセンサ４８の撮像制御を行う。図６に示すように、通常観察モード時には、１フレームの期間（以下、単に１フレームという）毎に、第２白色光で照明された観察対象をセンサ４８で撮像する。これにより、１フレーム毎にセンサ４８からＲＧＢの各画像信号が出力される。このＲＧＢの画像信号は、通常観察画像の生成に用いられる。なお、本実施形態の場合、センサ４８はＣＣＤイメージセンサなので、１フレームは例えば電荷蓄積期間（露光期間とも言う）の終了時（時刻T_A）から次の電荷蓄積期間の終了時（時刻T_B）まで長さの期間である。また、センサ４８はＣＣＤイメージセンサであるため、図６では読出期間と電荷蓄積期間を分けているが、ほぼ１フレームの全てを電荷蓄積期間にし、信号電荷の蓄積中に前のフレームで蓄積された信号電荷の読み出すこともできる。撮像制御部４９は、こうした電荷蓄積期間の長さの調節等の制御も行う。

撮像制御部４９は、特殊観察モード時も、通常観察モード時と同様にしてセンサ４８の撮像制御を行う。但し、特殊観察モード時には、センサ４８の撮像のフレームに同期して第１白色光と第２白色光が交互に観察対象に照射される。このため、図７に示すように、センサ４８は、第１白色光のもとで観察対象を撮像して得た信号電荷を１フレーム目の読出し期間に読み出して、ＲＧＢ各色の画像信号を出力する。そして、第２白色光のもとで観察対象を撮像して得た信号電荷を２フレーム目の読出期間に読み出して、ＲＧＢ各色の画像信号を出力する。これら２フレーム分のＲＧＢ画像信号は、酸素飽和度の算出及び酸素飽和度画像の生成に用いられる。

センサ４８は、１フレーム目，２フレーム目ともＲＧＢの各色の画像信号を出力するが、依拠する白色光のスペクトルが異なるので、以下では区別のために、センサ４８が１フレーム目に出力するＲＧＢ各色の画像信号をそれぞれＲ１画像信号，Ｇ１画像信号，Ｂ１画像信号といい、２フレーム目に出力するＲＧＢ各色の画像信号をＲ２画像信号，Ｇ２画像信号，Ｂ２画像信号という。

図２に示すように、センサ４８から出力される各色の画像信号は、ＣＤＳ（correlated double sampling）／ＡＧＣ（automatic gain control）回路５０送信される。ＣＤＳ／ＡＧＣ回路５０は、センサ４８から出力されるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器５２によってデジタル画像信号に変換される。こうしてデジタル化された画像信号はプロセッサ装置１６に入力される。

プロセッサ装置１６は、受信部５４と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、信号変換部５９と、内視鏡画像入力部６０と、過去内視鏡画像記憶部６１と、通常観察画像処理部６２と、特殊観察画像処理部６４と、画像表示信号生成部６６とを備えている。受信部５４は、内視鏡１２から入力される画像信号を受信する。

ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ＤＳＰ内ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、ＹＣ変換処理等の各種信号処理を行う。欠陥補正処理では、センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ＤＳＰ内ゲイン補正処理は、オフセット処理後のＲＧＢ各画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ＤＳＰ内ゲイン補正処理後の各色の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。

その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理前の各画素にはＲＧＢいずれか１色の信号しか存在しないが、デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５６は、デモザイク処理後の各画像信号にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ，Ｃｒをノイズ除去部５８に出力する。

ノイズ除去部５８は、ＤＳＰ５６でデモザイク処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ除去処理を施す。ノイズが除去された画像信号は、信号変換部５９に入力される。信号変換部５９では、輝度信号Ｙと色差信号Ｃｂ，ＣｒをＲＧＢの画像信号に再変換し、再変換後のＲＧＢの画像信号を内視鏡画像入力部６０に入力する。

内視鏡画像入力部６０は、モード切替ＳＷ２２ｂにより通常観察モードにセットされている場合には、画像信号を通常観察画像処理部６２に入力する。一方、モード切替ＳＷ２２ｂにより特殊観察モードに設定されている場合、内視鏡画像入力部６０は、画像信号を特殊観察画像処理部６４に入力する。ここで、通常観察画像処理部６２又は特殊観察画像処理部６４に入力される画像信号は、検体内に現在挿入中の内視鏡１２から出力される画像信号であることから、これら通常観察画像処理部６２又は特殊観察画像処理部６４に入力される画像信号を、現在の内視鏡画像信号とする。また、現在の内視鏡画像信号のうち、特殊観察画像処理部６４に入力される画像信号は、酸素飽和度の算出に用いられる。

過去内視鏡画像記憶部６１は、現在よりも前の過去の内視鏡挿入時に得られ、且つ酸素飽和度算出用とは異なる過去の内視鏡画像信号を記憶している。この過去内視鏡画像記憶部６１は、現在及び過去の酸素飽和度画像の同時表示をするための同時表示指示信号の入力に従って、過去の内視鏡画像信号を特殊観察画像処理部６４に出力する。同時表示指示信号は、コンソール２０の操作に従って発信される。ここで、過去の内視鏡挿入時とは、例えば、酸素飽和度測定機能を持つ内視鏡を完備していないクリニックや市中病院などで行われる一次検査時での内視鏡挿入時である。一方、現在の内視鏡挿入時とは、例えば、一次検査の後に行われ、酸素飽和度測定機能を持つ内視鏡を完備している大規模病院などで行われる二次検査での内視鏡挿入時である。

過去の内視鏡画像信号は、青色のＢ過去画像信号、緑色のＧ過去画像信号、赤色の過去画像信号の３色の画像信号を有する。過去の内視鏡画像信号は、例えば、青色〜赤色に及ぶ白色光を照明して得られた通常観察画像の画像信号の他、特定波長の狭帯域光を照明して得られた狭帯域画像の画像信号、自家蛍光や薬剤蛍光を受光して得られた蛍光画像の画像信号などが挙げられる。なお、過去の内視鏡画像信号は、プロセッサ装置１６に設けられた画像入出力部（図示しない）の他、ＬＡＮなど各種ネットワークを介して、過去内視鏡画像記憶部６１に入力される。

通常観察画像処理部６２は、入力された１フレーム分のＲＧＢの各画像信号に対して、さらに３×３のマトリックス処理、階調変換処理、３次元ＬＵＴ処理等の色変換処理を施す。色変換処理済みのＲＧＢ画像信号に対しては、各種色彩強調処理を施されるとともに、空間周波数強調等の構造強調処理を施される。構造強調処理等が施されたＲＧＢ画像信号は、通常観察画像として画像表示信号生成部６６に入力される。

特殊観察画像処理部６４は、内視鏡画像入力部６０から出力される現在の内視鏡画像信号に基づいて現在の酸素飽和度画像を作成するとともに、過去内視鏡画像記憶部６１から出力される過去の内視鏡画像信号に基づいて過去の酸素飽和度画像を作成する。これら現在の酸素飽和度画像と過去の酸素飽和度画像は、画像表示信号生成部６６に入力される。

画像表示信号生成部６６は、通常観察画像または現在又は過去の酸素飽和度画像を表示用形式の信号（表示用画像信号）に変換し、モニタ１８に入力する。モニタ１８は、入力された表示用形式の信号に従って、所定の画像を表示する。

図８に示すように、特殊観察画像処理部６４は、分光推定部７０と、信号比算出部７２と、酸素飽和度算出部７４と、特徴点抽出部７６と、第１比較部７８と、酸素飽和度補正部８０と、酸素飽和度画像生成部８２とを備えている。

分光推定部７０には、過去内視鏡画像記憶部６１からの過去の内視鏡画像信号が入力される。分光推定部７０は、過去の内視鏡画像信号に分光推定処理を施して、分光推定画像を生成する。分光推定画像は、第１青色レーザ光の波長域λｂに対応するＢ分光推定信号、第２白色光のうちＧ画素に入射する波長域λｇに対応するＧ分光推定信号、第２白色光のうちＲ画素に入射する波長域λｒに対応するＲ分光推定信号から構成される。

分光推定処理は、下記（１）式に基づくマトリックス処理により行われる。なお、分光推定処理の詳細については、特開２００３−９３３３６号公報に記載されている。

ここで、（１）式において、「Ｒｐ」は過去の内視鏡画像信号のＲ過去画像信号を、「Ｇｐ」は過去内視鏡画像信号のＧ過去画像信号を、「Ｂｐ」は過去の内視鏡画像信号のＢ過去画像信号を表している。また、「Ｒｓ」は分光推定画像のＲ分光推定信号を、「Ｇｓ」は分光推定画像のＧ分光推定信号を、「Ｂｓ」は分光推定画像のＢ分光推定画像を表している。また、「ｋ１１、ｋ１２、ｋ１３」は波長域λｒに対応するマトリックス係数であり、「ｋ２１、ｋ２２、ｋ２３」は波長域λｇに対応するマトリックス係数であり、「ｋ３１、ｋ３２、ｋ３３」は波長域λｂに対応するマトリックス係数である。

信号比算出部７２には、内視鏡画像入力部６０からの２フレーム分の現在の内視鏡画像信号のうち、Ｂ１画像信号、Ｇ２画像信号、Ｒ２画像信号（特定画像の画像信号）が入力されるとともに、分光推定部７０で得られたＢ分光推定信号、Ｇ分光推定信号、Ｒ分光推定信号が入力される。信号比算出部７２は、Ｂ１画像信号とＧ２画像信号間の信号比Ｂ／Ｇと、Ｇ２画像信号とＲ２画像信号の信号比Ｒ／Ｇとを、画素毎に算出する。これらＢ１画像信号、Ｇ２画像信号、Ｒ２画像信号から得られる信号比Ｂ／Ｇ、Ｒ／Ｇは、現在内視鏡挿入中に観察される観察対象の酸素飽和度（現在の酸素飽和度）の算出に用いられることから、現在酸素飽和度算出用の信号比Ｂ／Ｇ、Ｒ／Ｇとする。

また、信号比算出部７２は、Ｂ分光推定信号とＧ分光推定信号間の信号比Ｂ／Ｇと、Ｇ分光推定信号とＲ分光推定信号間の信号比Ｒ／Ｇとを、画素毎に算出する。これらＢ分光推定信号、Ｇ分光推定信号、Ｒ分光推定信号から得られる信号比Ｂ／Ｇ、Ｒ／Ｇは、過去の内視鏡挿入時に観察した観察対象の酸素飽和度（過去の酸素飽和度）の算出に用いられることから、過去酸素飽和度算出用の信号比Ｂ／Ｇ、Ｒ／Ｇとする。

酸素飽和度算出部７４は、現在酸素飽和度算出用の信号比Ｂ／Ｇ、Ｒ／Ｇに基づいて、現在の酸素飽和度（第２の酸素飽和度）を算出するとともに、過去酸素飽和度算出用の信号比Ｂ／Ｇ、Ｒ／Ｇに基づいて、過去の酸素飽和度（第１の酸素飽和度）を算出する。酸素飽和度算出部７４は、信号比Ｂ／Ｇ、Ｒ／Ｇと酸素飽和度との相関関係を記憶しており、この相関関係を参照して、現在の酸素飽和度又は過去の酸素飽和度を算出する。

上記相関関係について、二次元色空間（縦軸：信号比Ｂ／Ｇ、横軸：信号比Ｒ／Ｇ）上で、信号比Ｂ／Ｇ、Ｒ／Ｇと酸素飽和度との関係を表現した場合、図９に示すように、酸素飽和度がほぼ同じである等値線ＥＬが横軸方向に沿って延びており、且つ、その等値線ＥＬは、酸素飽和度が低くなる程、縦軸の正の方向にシフトする。なお、信号比Ｂ／Ｇ及び信号比Ｒ／Ｇに対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られ、各等値線の間隔は、信号比Ｒ／Ｇ（この信号比Ｒ／Ｇは血液量によって大きく変動する）に応じて変化する。また、信号比Ｂ／Ｇ及び信号比Ｒ／Ｇと、酸素飽和度との相関関係はｌｏｇスケールで記憶されている。

酸素飽和度算出部７４は、予め記憶された上記相関関係を参照して、信号比算出部７２で算出された現在酸素飽和度算出用の信号比Ｂ／Ｇ及び信号比Ｒ／Ｇに対応する酸素飽和度を現在の酸素飽和度として、画素毎に算出する。例えば、特定画素における信号比Ｂ／Ｇ及び信号比Ｒ／ＧがそれぞれＢ^＊／Ｇ^＊及びＲ^＊／Ｇ^＊である場合、図１０に示すように、相関関係を参照すると、信号比Ｂ^＊／Ｇ^＊及び信号比Ｒ^＊／Ｇ^＊に対応する酸素飽和度は「６０％」である。したがって、酸素飽和度算出部７４は、この画素の酸素飽和度を「６０％」と算出する。また、過去の酸素飽和度に関しても、現在の酸素飽和度と同様にして算出される。酸素飽和度算出部７４で算出された現在又は過去の酸素飽和度は、第１比較部７８に送信される。

なお、信号比Ｂ／Ｇ及び信号比Ｒ／Ｇが極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比Ｂ／Ｇや信号比Ｒ／Ｇの値が、酸素飽和度０％の下限等値線８３を上回ったり、反対に酸素飽和度１００％の上限等値線８４を下回ったりすることはほとんどない。但し、算出する酸素飽和度が下限等値線８３を下回ってしまった場合には酸素飽和度算出部は酸素飽和度を０％とし、上限等値線８４を上回ってしまった場合には酸素飽和度を１００％とする。また、信号比Ｂ／Ｇ及び信号比Ｒ／Ｇに対応する点が下限等値線８３と上限等値線８４の間から外れた場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をしたり、酸素飽和度を算出しないようにしても良い。

特徴点抽出部７６は、現在の内視鏡画像信号と過去の内視鏡画像信号において、特徴量が一致（又はほぼ一致）する特徴点を抽出する。図１１に示すように、まず、現在の内視鏡画像信号と過去の内視鏡画像信号から、それぞれ特徴量が抽出される。抽出する特徴量としては、例えば、血管と粘膜とのコントラスト差や、血管走行パターンのエッジ強度などがある。次に、現在の内視鏡画像信号と過去の内視鏡画像信号間で特徴量が一致するように、現在又は過去の内視鏡画像信号の位置合わせを行う。そして、位置合わせ後の現在の内視鏡画像信号と過去の内視鏡画像信号間において、特徴量が同じ又はほぼ同じ画素領域を、特徴点として抽出する。これら現在又は過去の内視鏡画像信号の特徴点に関する情報は、第１比較部７８に送信される。なお、特徴点については特徴点抽出部７６により自動で抽出する他、ユーザーの指示に基づいて抽出してもよい（例えば、ユーザーである医師が、コンソール２０を操作して、関心のある領域を特徴点として抽出する）。

第１比較部７８は、現在の内視鏡画像信号上の特徴点のうち特定の特徴量を有する第１特徴点の酸素飽和度と、過去の内視鏡画像信号上の特徴点のうち第１特徴点と同じ特徴量を有する第２特徴点の酸素飽和度を比較する。第１比較部７８では、第１特徴点の酸素飽和度と第２特徴点の酸素飽和度の差（特徴点間の酸素飽和度の差）で、比較を行う。この特徴点間の酸素飽和度の差に関する情報と各画素における現在と過去の酸素飽和度に関する情報は、酸素飽和度補正部８０に送られる。なお、第１特徴点と第２特徴点の酸素飽和度を比較する他、現在の内視鏡画像信号のうち複数の特徴点に囲まれた第１領域と、過去の内視鏡画像信号のうち第１領域に対応する第２領域との酸素飽和度を比較してもよく、第１特徴点の周辺領域と第２特徴点の周囲領域の酸素飽和度を比較してもよい。

酸素飽和度補正部８０は、現在又は過去の内視鏡画像信号の特徴点間の酸素飽和度の差に基づいて、各画素における現在の酸素飽和度と過去の酸素飽和度の差が無くなるように補正する。例えば、第１特徴点の酸素飽和度から第２特徴点の酸素飽和度を引いて、特徴点間の酸素飽和度の差を求めた場合に、特徴点間の酸素飽和度の差が「＋５％」であれば、現在の酸素飽和度から「５％」を引く酸素飽和度補正用のシフト処理、又は過去の酸素飽和度に「５％」を足すシフト処理を、画素毎に行う。なお、シフト処理の他、特徴点間の酸素飽和度に応じた酸素飽和度補正用のゲイン係数を、現在又は過去の酸素飽和度に乗算する酸素飽和度補正用のゲイン処理を画素毎に施す補正を行ってもよい。また、現在又は過去の酸素飽和度の補正は、現在の酸素飽和度と過去の酸素飽和度の差が無くなる（ほぼ「０」になる）まで、繰り返し行ってもよい。また、酸素飽和度補正部８０では、酸素飽和度補正用のシフト処理とゲイン処理を組み合せて、現在の酸素飽和度と過去の酸素飽和度の補正を行ってもよい。

酸素飽和度画像生成部８２は、表示処理部８２ａを備えている。表示処理部８２ａは、補正後の現在の酸素飽和度が特定範囲内と特定範囲外とで異なる表示方法で表示するための表示処理を現在の内視鏡画像信号に施して、現在の酸素飽和度を画像化した現在の酸素飽和度画像（第２の酸素飽和度画像）を生成する。また、表示処理部８２ａは、補正後の現在の酸素飽和度が特定範囲内と特定範囲外とで異なる表示方法で表示するための表示処理を過去の内視鏡画像信号に施して、過去の酸素飽和度を画像化した過去の酸素飽和度画像（第１の酸素飽和度画像）を生成する。

表示処理部８２ａでは、現在の内視鏡画像信号に対する表示処理として、現在の内視鏡画像信号のうちＢ２画像信号，Ｇ２画像信号，Ｒ２画像信号に対して、補正後の現在の酸素飽和度に応じた画像生成用係数を画素毎に乗ずる。ここで、現在の酸素飽和度が境界値の６０％以上となる特定範囲内の画素ではＢ２画像信号，Ｇ２画像信号，Ｒ２画像信号のいずれにも同じ色調整係数「１」を乗じる。これに対して、現在の酸素飽和度が境界値の６０％未満となる特定範囲外の画素では、Ｂ２画像信号に対して「１」未満の色調整係数を乗じ、Ｇ２画像信号及びＲ２画像信号に対しては「１」を超える色調整係数を乗じる。このような色調整係数を乗ずることによって、酸素飽和度が６０〜１００％の特定範囲内の高酸素領域では、現在の内視鏡画像信号に基づく画像と同様の色で表される。一方、酸素飽和度が０〜６０％の特定範囲外の低酸素領域では、現在の内視鏡画像信号に基づく画像とは異なる色（疑似カラー）で表されるため、特定範囲内の高酸素領域とは異なる表示方法で表示される。

また、表示処理部８２ａでは、過去の内視鏡画像信号に対する表示処理として、過去の内視鏡画像信号のうちＢ過去画像信号と、Ｇ過去画像信号、Ｒ過去画像信号に、補正後の過去の酸素飽和度に応じた色調整係数を画素毎に乗算する。その他については、上記現在の酸素飽和度画像と同様の方法で生成される。なお、本実施形態では、酸素飽和度画像生成部８２では、低酸素の領域のみ疑似カラー化する色調整係数を乗じているが、高酸素領域でも酸素飽和度に応じた色調整係数を乗算し、酸素飽和度画像の全体を疑似カラー化しても良い。

次に、本実施形態の内視鏡システム１０による観察の流れを図１２のフローチャートに沿って説明する。まず、内視鏡診断を開始する前に、前回の一次検査で取得した過去の内視鏡画像信号を、過去内視鏡画像記憶部６１に入力する。次に、内視鏡１２を検体内に挿入し、通常観察モードにおいて、最も遠景の状態からスクリーニングを行う。通常観察モードでは、現在の画像である通常観察画像がモニタ１８に表示される。このスクリーニング時に、一次検査で検出した病変部を発見した場合には、モード切替ＳＷ２２ｂを操作して特殊観察モードに切り替えるとともに、病変部の経過観察を行うために、コンソール２０を操作して２画像同時表示モードに設定する。

特殊観察モードでは、第１及び第２白色光がフレーム単位で交互に観察対象に照射されるので、第１白色光が照射されたフレームではセンサ４８はＲ１画像信号，Ｇ１画像信号，Ｂ１画像信号を出力し、第２白色光が照射されたフレームではＲ２画像信号，Ｇ２画像信号，Ｂ２画像信号を出力する。これにより、２フレーム分の画像信号Ｂ１、Ｇ１、Ｒ１、Ｂ２、Ｇ２、Ｒ２を有する現在の内視鏡画像信号が得られる。この現在の内視鏡画像信号は、特殊観察画像処理部６４に送られる。一方、過去内視鏡画像記憶部６１から、Ｂ過去画像信号、Ｇ過去画像信号、Ｒ過去画像信号を有する過去の内視鏡画像信号が特殊観察画像処理部６４に送られる。

特殊観察画像処理部６４では、特徴点抽出部７６で、血管と粘膜のコントラスト差などの特徴量を基準として、現在の内視鏡画像信号と過去の内視鏡画像信号間で位置合わせするとともに、位置合わせ後の現在の内視鏡画像信号と過去の内視鏡画像信号のそれぞれから、複数の特徴点を抽出する。次に、分光推定部７０で、過去の内視鏡画像信号を分光推定処理して、Ｂ分光推定信号、Ｇ分光推定信号、Ｒ分光推定信号を有する分光推定画像を生成する。そして、信号比算出部７２において、現在の内視鏡画像信号のうちＢ１画像信号、Ｇ２画像信号、Ｒ２画像信号に基づいて現在酸素飽和度算出用の信号比Ｂ／Ｇ、Ｒ／Ｇを画素毎に算出するとともに、分光推定画像のＢ分光推定信号、Ｇ分光推定信号、Ｒ分光推定信号に基づいて、過去酸素飽和度算出用の信号比Ｂ／Ｇ、Ｒ／Ｇを画素毎に算出する。

次に、酸素飽和度算出部７４において、現在酸素飽和度算出用の信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２に基づいて、画素毎に現在の酸素飽和度を算出するとともに、過去酸素飽和度算出用の信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２に基づいて、画素毎に過去の酸素飽和度を算出する。

次に、第１比較部７８で、現在の内視鏡画像信号上の特徴点のうち特定の特徴量を有する第１特徴点の酸素飽和度と、過去の内視鏡画像信号上の特徴点のうち第１特徴点と同じ特徴量を有する第２特徴点の酸素飽和度との差を求める。この第１特徴点と第２特徴点の酸素飽和度の差に関する情報は、酸素飽和度補正部８０に送られる。そして、酸素飽和度補正部８０では、現在又は過去の内視鏡画像信号の特徴点間の酸素飽和度の差に基づいて、各画素における現在の酸素飽和度と過去の酸素飽和度の差が無くなるように補正する。

そして、酸素飽和度画像生成部８２において、補正後の現在の酸素飽和度と現在の内視鏡画像信号を用いて、現在の酸素飽和度を画像化した現在の酸素飽和度画像を生成するとともに、補正後の過去の酸素飽和度と過去の内視鏡画像信号を用いて、過去の酸素飽和度画像を生成する。生成された現在の酸素飽和度画像と過去の酸素飽和度画像は、図１３に示すように、モニタ１８に同時に表示される。

以上のように、本発明では、現在の酸素飽和度画像と過去の酸素飽和度画像を同時表示することによって、病変部の酸素状態の変化を色で比較検討することができるため、病変部の経過観察を確実に行うことができる。また、過去の画像が通常観察画像など酸素飽和度画像以外であっても、分光推定処理を用いることによって、過去の酸素飽和度画像を作り出すことができる。

また、分光推定処理は、個人差や部位差によって推定精度に差が生ずることがあり、この推定精度の差によって現在の酸素飽和度と過去の酸素飽和度に差が生じることがある。このような場合には、現在の酸素飽和度画像と過去の酸素飽和度画像の表示に違いが生ずることがある。これに対して、本発明では、酸素飽和度補正部８０で、各画素における現在の酸素飽和度と過去の酸素飽和度の差が無くなるように補正しているため、仮に、個人差等により分光推定処理の推定精度に差が生じたとしても、その推定精度の差によって現在の酸素飽和度画像と過去の酸素飽和度画像の表示に違いが生ずることがない。

［第２実施形態］
第２実施形態の内視鏡システムでは、現在と過去の酸素飽和度を酸素飽和度補正部で補正することに代えて、現在と過去の酸素飽和度の差に応じて、分光推定処理に用いるマトリックス係数を補正する。それ以外については、第１実施形態とほぼ同様である。

図１４に示すように、第２実施形態の特殊観察画像処理部１００は、分光推定部７０と、信号比算出部７２と、酸素飽和度算出部７４と、特徴点抽出部７６と、第１比較部７８と、係数補正部１０２と、酸素飽和度画像生成部８２とを備えている。第１実施形態の特殊観察画像処理部６４と比較すると、第２実施形態の特殊観察画像処理部１００には、酸素飽和度補正部８０が無い代わりに、係数補正部１０２が新たに加わっている。

係数補正部１０２は、第１比較部７８で求めた現在又は過去の内視鏡画像信号の特徴点間の酸素飽和度の差に基づいて、分光推定部７０で用いるマトリックス係数ｋ１１、ｋ１２、ｋ１３、ｋ２１、ｋ２２、ｋ２３、ｋ３１、ｋ３２、ｋ３３を補正する。係数補正部１０２は、マトリックス係数を補正するための補正係数と特徴点間の酸素飽和度の差との関係を予め記憶しており、この関係を用いて、マトリックス係数の補正を行う。この補正後のマトリックス係数に基づいて分光推定部７０で再度、分光推定処理が行われる。そして、この再度の分光推定処理後の分光推定画像に基づいて信号比算出部７２で過去酸素飽和度算出用の信号比Ｂ／Ｇ、Ｒ／Ｇが再算出されるとともに、この過去酸素飽和度算出用の信号比Ｂ／Ｇ、Ｒ／Ｇに基づいて酸素飽和度算出部７４で過去の酸素飽和度の再算出が行われる。

以上のように、第１特徴点と第２特徴点の酸素飽和度の差に応じてマトリックス係数の補正を行うとともに、補正後に再度、酸素飽和度の算出を行うことによって、各画素における現在の酸素飽和度と過去の酸素飽和度の差を無くすことができる。これにより、仮に、個人差等により分光推定処理の推定精度に差が生じたとしても、その推定精度の差によって現在の酸素飽和度画像と過去の酸素飽和度画像の表示に違いが生ずることがない。

［第３実施形態］
第３実施形態の内視鏡システムでは、第１特徴点と第２特徴点の酸素飽和度の差により現在と過去の酸素飽和度を比較する代わりに、現在の酸素飽和度の分布と過去の酸素飽和度の分布とを比較する。それ以外については、第１実施形態と同様である。

図１５に示すように、第３実施形態の特殊観察画像処理部２００は、分光推定部７０と、信号比算出部７２と、酸素飽和度算出部７４と、第２比較部２０２と、酸素飽和度補正部８０と、酸素飽和度画像生成部８２とを備えている。第１実施形態の特殊観察画像処理部６４と比較すると、第３実施形態の特殊観察画像処理部２００には、特徴点抽出部７６が無く、また、第１比較部７８の代わりに、第２比較部２０２が新たに加わっている。なお、第２実施形態の特殊観察画像処理部１００において、特徴点抽出部７６を無くすとともに、第１比較部７８の代わりに、第２比較部２０２を設けてもよい。

第２比較部２０２は、画素全体の現在の酸素飽和度から現在の酸素飽和度の分布を算出するとともに、画素全体の過去の酸素飽和度から過去の酸素飽和度の分布を算出する。そして、第２比較部２０２は、現在の酸素飽和度の分布と過去の酸素飽和度の分布とを比較し、その比較結果に関する情報を酸素飽和度補正部８０に送信する。酸素飽和度補正部８０では、現在の酸素飽和度の分布と過去の酸素飽和度の分布が一致するように、現在又は過去の酸素飽和度を画素毎に補正する。

なお、第２比較部２０２における現在と過去の酸素飽和度の分布の比較は、上記のように、自動で行うほか、通常は、第２比較部２０２で現在と過去の酸素飽和度の分布の比較を行わず、ユーザーがコンソール２０を操作して第２比較部２０２を作動させたときのみ、現在と過去の酸素飽和度の分布の比較を行うようにしてもよい。

酸素飽和度の分布に関する情報としては、酸素飽和度１０％の頻度、２０％の頻度、・・・、９０％の頻度、１００％の頻度などを表したヒストグラムを用いることができる。この場合には、現在の酸素飽和度に関するヒストグラムと過去の酸素飽和度に関するヒストグラムを比較演算して得られるヒストグラム演算値が、酸素飽和度補正部８０に送信される。酸素飽和度補正部８０では、ヒストグラム演算値に基づいて、現在又は過去の酸素飽和度を画素毎に補正する。また、酸素飽和度の分布に関する情報としては、最大値、最小値、平均値、中央値などの各種統計値がある。この場合には、現在の酸素飽和度から得られる各種統計値と過去の酸素飽和度から得られる各種統計値に基づく演算により得られる統計演算値が、酸素飽和度補正部８０に送信される。酸素飽和度補正部８０では、統計演算値に基づいて、現在又は過去の酸素飽和度を画素毎に補正する。

［第１〜第３実施形態の変形例］
第１、第３実施形態では、第１比較部７８又は第２比較部２０２での現在と過去の酸素飽和度の比較結果に基づいて酸素飽和度補正部８０で酸素飽和度の補正を行なったが、図１６に示すように、第１比較部７８（第３実施形態の場合であれば第２比較部２０２）と酸素飽和度補正部８０との間に判定部３００を設け、この判定部３００において、現在と過去の酸素飽和度の比較結果に基づいて、現在又は過去の酸素飽和度を補正するか否かの判定を行ってもよい。

判定部３００で、補正を行うとの判定が出た場合には、第１比較部７８で（第３実施形態の場合であれば第２比較部２０２）の比較結果と現在又は過去の酸素飽和度に関する情報が酸素飽和度補正部８０に送られる。一方、補正を行わないとの判定が出た場合には、現在又は過去の酸素飽和度に関する情報が酸素飽和度画像生成部８２に送られる。なお、第２実施形態の場合には、第１比較部７８での現在と過去の酸素飽和度の比較結果に基づいて、係数補正部１０２でマトリックス係数の補正を行うか否かの判定を行うことが好ましい。

［第４実施形態］
第１、第３実施形態では、第１比較部７８又は第２比較部２０２での現在と過去の酸素飽和度の比較結果に基づいて酸素飽和度補正部８０で酸素飽和度の補正を行なったが、第４実施形態では、酸素飽和度の補正を行うことなく、表示処理部８２ａでの表示処理の内容を変更する。

図１７に示すように、第４実施形態の特殊観察画像処理部４００は、分光推定部７０と、信号比算出部７２と、酸素飽和度算出部７４と、特徴点抽出部７６と、第１比較部７８と、酸素飽和度画像生成部８２とを備えている。第１実施形態の特殊観察画像処理部６４と比較すると、第４実施形態の特殊観察画像処理部４００には、酸素飽和度補正部８０が無い代わりに、酸素飽和度画像生成部８２内に境界値補正部８２ｂが新たに加わっている。なお、それ以外については、第１実施形態と同様である。

境界値補正部８２ｂは、第１特徴点と第２特徴点の酸素飽和度の差に応じて、表示処理部８２ａで定義されている特定範囲の境界値を補正する。例えば、第１特徴点の酸素飽和度から第２特徴点の酸素飽和度を引いて、特徴点間の酸素飽和度の差を求めた場合に、特徴点間の酸素飽和度の差が「＋５％」であれば、現在の酸素飽和度の境界値を「６０％」から「５％」を引いた「５５％」に補正する、もしくは、過去の酸素飽和度の境界値を「６０％」に「５％」を足した「６５％」に補正する。そして、表示処理部８２ａにおいて、補正後の境界値に基づいて、現在の内視鏡画像信号及び過去の内視鏡画像信号に対して表示処理を行う。このように補正した境界値に基づいて表示処理を行うことで、現在と過去とで特徴点の間に酸素飽和度に差が有ったとしても、その差により現在の酸素飽和度画像と過去の酸素飽和度画像の表示に違いが生ずることがない。

［第５実施形態］
第１〜第４実施形態では、現在と過去の内視鏡画像信号を用いて、現在と過去の酸素飽和度画像を同時表示したが、これに代えて、第５実施形態では、第１過去の内視鏡挿入時に得られた通常観察画像と、第１過去と異なる第２過去の内視鏡挿入時に得られた第２過去の酸素飽和度数値画像を用いて、第１過去の酸素飽和度画像と第２過去の酸素飽和度画像をモニタ１８に同時表示する。ここで、第２過去の酸素飽和度数値画像とは、第２過去の酸素飽和度（第２の酸素飽和度）の数値情報を画素毎に持つ画像である。

図１８に示すように、第５実施形態の特殊観察画像処理部５００は、分光推定部７０と、信号比算出部７２と、酸素飽和度算出部７４と、特徴点抽出部７６と、第１比較部７８と、酸素飽和度補正部８０と、酸素飽和度画像生成部８２とを備えている。第１実施形態の特殊観察画像処理部６４と比較すると、第５実施形態の特殊観察画像処理部５００では、酸素飽和度算出部７４と第１比較部７８との間に特徴点抽出部７６が設けられている他、第２過去の酸素飽和度数値画像は、第２過去の酸素飽和度の数値情報を持つ画像であるため、信号比算出部７２及び酸素飽和度算出部７４を経由することなく、特徴点抽出部７６に入力される。なお、それ以外については、第１実施形態と同様である。

ここで、第１過去の通常観察画像は白色光などの広帯域光を用いて得られた画像信号であり、過去内視鏡画像記憶部６１に記憶されている。また、第２過去の酸素飽和度数値画像は、第１〜第４実施形態のように、酸素飽和度を色で表わした酸素飽和度画像と異なり、酸素飽和度の数値情報を画素毎に持つ画像であるため、第２過去の酸素飽和度数値画像は、酸素飽和度補正部８０で補正することが可能である。この第２過去の酸素飽和度画像も過去内視鏡画像記憶部６１に記憶されている。

なお、酸素飽和度補正部８０で補正しない場合には、第２過去の酸素飽和度数値データではなく、第１〜第４実施形態のように、酸素飽和度を色で表わした第２過去の酸素飽和度画像を過去内視鏡画像記憶部６１に記憶してもよい。この場合には、特徴点抽出部７６、第１比較部７８、酸素飽和度補正部８０、酸素飽和度画像生成部８２における各処理が行われることなく、第２過去の酸素飽和度画像は、直接、第１過去の酸素飽和度画像とともにモニタ１８に表示される。

特殊観察画像処理部５００では、第１過去の通常観察画像は、分光推定部７０、信号比算出部７２、酸素飽和度算出部７４での処理（各部における処理の内容は第１実施形態と同様）を経ることにより、第１過去の酸素飽和度（第１の酸素飽和度）が得られる。一方、第２過去の酸素飽和度数値画像は、上述したように、直接、特徴点抽出部７６に入力される。特徴点抽出部７６では、第１過去の通常観察画像と第２過去の酸素飽和度数値画像からそれぞれ特徴量を抽出し、この抽出した特徴量に基づいて第１過去の通常観察画像と第２過去の酸素飽和度数値画像間で位置合わせを行う。

そして、位置合わせ後の第１過去の通常観察画像と第２過去の酸素飽和度数値画像から、特徴量が同じ又はほぼ同じ画素領域を、特徴点として抽出する。特徴点抽出後は、第１過去の通常観察画像及び第２過去の酸素飽和度数値画像に対して、第１実施形態と同様の処理（第１比較部７８、酸素飽和度補正部８０、酸素飽和度画像生成部８２における各処理）を行うことによって、第１過去の酸素飽和度画像（第１の酸素飽和度画像）と第２過去の酸素飽和度画像（第２の酸素飽和度画像）を生成する。

なお、第１〜第５実施形態では、第１青色レーザ光源、第２青色レーザ光源、及び蛍光体４４を用いて観察対象の照明を行ったが、他の光源方式を用いて照明を行ってもよい。図１９に示すように、ＬＥＤ方式の内視鏡システム６００の光源装置１４には、第１及び第２青色レーザ光源３４，３６と光源制御部４０の代わりに、ＬＥＤ（Light Emitting Diode）光源ユニット６０１と、ＬＥＤ光源制御部６０４が設けられている。また、内視鏡システム６００の照明光学系２４ａには蛍光体４４が設けられていない。それ以外については、第１実施形態の内視鏡システム１０と同様である。

ＬＥＤ光源ユニット６０１は、特定の波長帯域に制限された光を発光する光源として、Ｒ−ＬＥＤ６０１ａ，Ｇ−ＬＥＤ６０１ｂ，Ｂ−ＬＥＤ６０１ｃを有する。図２０に示すように、Ｒ−ＬＥＤ６０１ａは、例えば約６００〜６５０ｎｍの赤色帯域光（以下、単に赤色光という）を発光する。この赤色光の中心波長は約６２０〜６３０ｎｍである。Ｇ−ＬＥＤ６０１ｂは、正規分布で表される約５００〜６００ｎｍの緑色帯域光（以下、単に緑色光）を発光する。Ｂ−ＬＥＤ６０１ｃは、４４５〜４６０ｎｍを中心波長とする青色帯域光（以下、単に青色光という）を発光する。

また、ＬＥＤ光源ユニット６０１は、Ｂ−ＬＥＤ６０１ｃが発する青色光の光路上に挿抜されるハイパスフィルタ（ＨＰＦ）６０２を有する。ハイパスフィルタ６０２は、約４５０ｎｍ以下の波長帯域の青色光をカットし、約４５０ｎｍより長波長帯域の光を透過する。

ハイパスフィルタ６０２のカットオフ波長（約４５０ｎｍ）は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数がほぼ等しい波長であり、この波長を境に酸化ヘモグロビンと還元ヘモグロビンの吸光係数が逆転する。本実施形態の場合、信号比Ｂ／Ｇ、Ｒ／Ｇと酸素飽和度との相関関係は、酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数よりも大きい場合のものなので、カットオフ波長以下の波長帯域に基づくシグナルは、酸素飽和度の算出精度を低下させる原因になる。このため、少なくとも酸素飽和度を算出するためのＢ１画像信号を取得する時に、ハイパスフィルタ６０２を用いてカットオフ波長以下の波長帯域の光が観察対象に照射されないようにすることで、酸素飽和度の算出精度が向上する。

したがって、ハイパスフィルタ６０２は、特殊観察モード時にＢ−ＬＥＤ６０１ｃの前の挿入位置に挿入され、通常観察モード時には退避位置に退避される。ハイパスフィルタ６０２の挿抜は、ＬＥＤ光源制御部６０４の制御のもとで、ＨＰＦ挿抜部６０３によって行われる。

ＬＥＤ光源制御部６０４は、ＬＥＤ光源ユニット６０１の各ＬＥＤ６０１ａ〜６０１ｃの点灯／消灯、及びハイパスフィルタ６０２の挿抜を制御する。具体的には、図２１に示すように、通常観察モードの場合、ＬＥＤ光源制御部６０４は、各ＬＥＤ６０１ａ〜６０１ｃを全て点灯させ、ハイパスフィルタ６０２はＢ−ＬＥＤ６０１ｃの光路上から退避させる。これにより、青色光，緑色光，赤色光が重畳した白色光が観察対象に照射され、センサ４８はその反射光により観察対象を撮像し、Ｂ，Ｇ，Ｒ各色の画像信号を出力する。

一方、図２２に示すように、特殊観察モードの場合、ＬＥＤ光源制御部６０４は、ハイパスフィルタ６０２をＢ−ＬＥＤ６０１ｃの光路上に挿入する。また、Ｂ−ＬＥＤ６０１ｃは常時点灯する一方で、Ｒ−ＬＥＤ６０１ａ及びＧ−ＬＥＤ６０１ｂについては、一定の間隔で点灯と消灯を交互に繰り返す。したがって、観察対象には、４５０ｎｍ以下の波長帯域がカットされた青色光と、４５０ｎｍ以下の波長帯域がカットされた青色光、緑色光、赤色色の混色光とが交互に照射される。

そして、撮像制御部４９では、４５０ｎｍ以下の波長帯域がカットされた青色光のもとで観察対象を撮像して得た信号電荷を１フレーム目の読出し期間に読み出して、Ｂ１画像信号を出力する。そして、混色光のもとで観察対象を撮像して得た信号電荷を２フレーム目の読出期間に読み出して、Ｂ２画像信号、Ｇ２画像信号、Ｒ２画像信号を出力する。その後の処理は内視鏡システム１０と同様に行うことができる。

また、図２３に示すように、回転フィルタ方式の内視鏡システム７００の光源装置１４には、第１及び第２青色レーザ光源３４，３６と光源制御部４０の代わりに、広帯域光源７０１と、回転フィルタ７０２と、フィルタ制御部７０３が設けられている。また、内視鏡システム７００のセンサ７０５は、カラーフィルタが設けられていないモノクロの撮像素子である。また、ＤＳＰ５６では、各画素の欠落した色の信号を生成するためのデモザイク処理など、カラーのセンサに特有の処理が行われない。それ以外については、内視鏡システム１０と同じである。

広帯域光源７０１は、例えばキセノンランプ、白色ＬＥＤ等からなり、波長帯域が青色から赤色に及ぶ白色光を発する。回転フィルタ７０２は、通常観察モード用フィルタ７１０と特殊観察モード用フィルタ７１１とを備えており（図２４参照）、広帯域光源７０１から発せられる白色光がライトガイド４１に入射される光路上に、通常観察モード用フィルタ７１０を配置する通常観察モード用の第１位置と、特殊観察モード用フィルタ７１１を配置する特殊観察モード用の第２位置との間で径方向に移動可能である。この第１位置と第２位置への回転フィルタ７０２の相互移動は、選択された観察モードに応じてフィルタ制御部７０３によって制御される。また、回転フィルタ７０２は、第１位置または第２位置に配置された状態で、センサ７０５の撮像フレームに応じて回転する。

図２４に示すように、通常観察モード用フィルタ７１０は、回転フィルタ７０２の内周部に設けられている。通常観察モード用フィルタ７１０は、赤色光を透過するＲフィルタ７１０ａと、緑色光を透過するＧフィルタ７１０ｂと、青色光を透過するＢフィルタ７１０ｃと有する。したがって、回転フィルタ７０２を通常光観察モード用の第１位置に配置すると、広帯域光源７０１からの白色光は、回転フィルタ７０２の回転に応じてＲフィルタ７１０ａ、Ｇフィルタ７１０ｂ、Ｂフィルタ７１０ｃのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光が順次照射され、センサ７０５は、これらの反射光によりそれぞれ観察対象を撮像することにより、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号を順次出力する。

また、特殊観察モード用フィルタ７１１は、回転フィルタ７０２の外周部に設けられている。特殊観察モード用フィルタ７１１は、赤色光を透過するＲフィルタ７１１ａと、緑色光を透過するＧフィルタ７１１ｂと、青色光を透過するＢフィルタ７１１ｃと、４７３±１０ｎｍの狭帯域光を透過する狭帯域フィルタ７１１ｄとを有する。したがって、回転フィルタ７０２を通常光観察モード用の第２位置に配置すると、広帯域光源７０１からの白色光は、回転フィルタ７０２の回転に応じてＲフィルタ７１１ａ、Ｇフィルタ７１１ｂ、Ｂフィルタ７１１ｃ、狭帯域フィルタ７１１ｄのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光，狭帯域光（４７３ｎｍ）が順次照射され、センサ７０５は、これらの反射光によりそれぞれ観察対象を撮像することにより、Ｒｘ画像信号、Ｇｘ画像信号、Ｂｘ画像信号、及び狭帯域画像信号を順次出力する。

特殊観察モードで得られるＲｘ画像信号とＧｘ画像信号は、それぞれ第１〜５実施形態のＲ２画像信号とＧ２画像信号に対応する。また、特殊観察モードで得られる狭帯域画像信号は、第１〜５実施形態のＢ１画像信号に対応し、Ｂｘ画像信号は第１〜第５実施形態のＢ２画像信号に対応する。したがって、その後の処理は内視鏡システム１０と同様に行うことができる。

第１〜第５実施形態では、センサ４８としてＣＣＤイメージセンサを用いているが、センサ４８としてＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサを用いても良い。但し、ＣＭＯＳイメージセンサはいわゆるローリングシャッタ方式で駆動され、画素の行（１〜Ｎ行の各行）毎に順に信号電荷の蓄積及び読み出しが行われる。このため、各行の信号電荷の蓄積及び読み出しのタイミングが行毎に異なるので、第１白色光と第２白色光の切り替えは読み出しのタイミングに合わせて行うことが望ましい。

例えば、図２５に示すように、通常観察モード時には、Ｎ行目の蓄積開始（時刻T_１）から１行目の蓄積完了（時刻T_２）までの間、第２白色光の照射を行う一方、１行目の読み出し開始（時刻T_２）からＮ行目の読み出し完了（時刻T_３）までの間、第２白色光の照射を停止させる。また、図２６に示すように、特殊観察モード時には、Ｎ行目の蓄積開始（時刻T_１）から１行目の蓄積完了（時刻T_２）までの間、第２白色光の照射を行う一方、１行目の読み出し開始（時刻T_２）からＮ行目の読み出し完了（時刻T_３）までの間、第２白色光の照射を停止させる。そして、第２白色光から第１白色光に切り替えた後は、Ｎ行目の蓄積開始（時刻T_３）から１行目の蓄積完了（時刻T_４）までの間、第１白色光の照射を行う一方、１行目の読み出し開始（時刻T_４）からＮ行目の読み出し完了（時刻T_５）までの間、第１白色光の照射を停止させる。

こうすると、各行の実質的な電荷蓄積期間の長さ（露光量）を統一し、かつ、第１白色光と第２白色光とが混色するのを防ぐことができるので、センサ４８としてＣＭＯＳイメージセンサを用いる場合でも上記各実施形態のように正確な酸素飽和度を算出することができる。第１，第２青色レーザ光源３４，３６の代わりに、ＬＥＤ光源ユニット７０１や、広帯域光源７０１及び回転フィルタ７０２を用いる場合も同様である。

なお、上記第１〜第４実施形態では、酸素飽和度補正部８０で補正後の現在の酸素飽和度に基づいて現在の酸素飽和度画像を生成し、補正後の過去の酸素飽和度に基づいて過去の酸素飽和度画像を生成しているが、現在の酸素飽和度と過去の酸素飽和度の差分を算出し、その差分に基づいて差分画像を生成し、表示してもよい。

この差分画像を生成するために、図２７に示すように、特殊観察画像処理部８００には、差分画像生成部８００が設けられる。特殊観察画像処理部８００は、酸素飽和度画像生成部を設ける代わりに、差分画像生成部８０２を設けること以外については、特殊観察画像処理部６４と同様の構成を有している。差分画像生成部８０２は、酸素飽和度補正部８０で補正後の現在の酸素飽和度と、同じく酸素飽和度補正部８０で補正後の過去の酸素飽和度との差分を算出する。

差分画像生成部８０２では、算出した差分に基づいて、差分を画像化した差分画像を生成する。生成された差分画像は、モニタ１８に表示される。これにより、モニタ１８上で、差分が強調表示される。差分画像の生成方法としては、例えば、現在の酸素飽和度と過去の酸素飽和度の差分と、この差分に対応する色とを対応付けたカラーテーブル（図示しない）を差分画像生成部８０２に設け、このカラーテーブルを参照して、差分値に対応する色を割り当てて差分画像を生成する方法が考えられる。また、差分画像生成部８０２では、酸素飽和度補正部８０で現在又は過去の酸素飽和度を補正することなく、差分を算出し、差分画像を生成してもよい。

なお、差分画像生成部８０２では、現在の酸素飽和度と過去の酸素飽和度の差分を算出するが、これに代えて、現在の酸素飽和度画像と過去の酸素飽和度画像を比較し、その差分に基づいて差分画像を生成、表示してもよい。ここで、現在の酸素飽和度画像と過去の酸素飽和度画像の差分とは、例えば、色差信号の信号値など色情報の差分が考えられる。また、第５実施形態では、第１過去の酸素飽和度に基づいて第１過去の酸素飽和度画像を生成し、第２過去の酸素飽和度数値画像に基づいて第２過去の酸素飽和度画像を生成しているが、これに代えて、第１過去の酸素飽和度と第２過去の酸素飽和度の差分を算出し、その差分に基づいて差分画像を生成してもよい。さらには、第２過去の酸素飽和度数値画像の代わりに、第２過去の酸素飽和度画像を用いる場合には、第１過去の酸素飽和度画像と第２過去の酸素飽和度画像を比較し、その差分（色差信号などの色情報の差分値）に基づいて差分画像を生成、表示してもよい。

なお、第１〜第８実施形態では酸素飽和度を算出しているが、これに代えて、あるいはこれに加えて、「血液量（信号比Ｒ２／Ｇ２）×酸素飽和度（％）」から求まる酸化ヘモグロビンインデックスや、「血液量×（１−酸素飽和度）（％）」から求まる還元ヘモグロビンインデックス等、他の生体機能情報を算出しても良い。

１０ 内視鏡システム
１２ 内視鏡
１６ プロセッサ装置
１８ モニタ（表示部）
６０ 内視鏡画像入力部
６１ 過去内視鏡画像記憶部
７０ 分光推定部
７４ 酸素飽和度算出部
７６ 特徴点抽出部
７８ 第１比較部（比較部）
８０ 酸素飽和度補正部
８２ 酸素飽和度画像生成部
８２ａ 表示処理部
８２ｂ 境界値補正部
１０２ 係数補正部
２０２ 第２比較部（比較部）
３００ 判定部
８０２ 差分画像生成部

Claims (7)

1. 通常観察画像から分光推定画像を作成、前記分光推定画像から第１の酸素飽和度を算出、前記第１の酸素飽和度により第１の酸素飽和度画像を生成するプロセッサ装置を有し、前記第１の酸素飽和度画像と、第２の酸素飽和度に基づく第２の酸素飽和度画像とを表示する内視鏡システムであって、
   前記第１の酸素飽和度と前記第２の酸素飽和度を比較する比較部と、
   前記第１の酸素飽和度画像において前記第１の酸素飽和度が特定範囲内と特定範囲外とで異なる表示方法で表示し、且つ前記第２の酸素飽和度画像において前記第２の酸素飽和度が特定範囲内と特定範囲外とで異なる表示方法で表示するための表示処理を行う表示処理部と、
   前記比較部の比較結果に基づいて、前記特定範囲の境界値を補正する境界値補正部とを有する内視鏡システム。
2. 前記通常観察画像から特徴点を抽出し、且つ前記第２の酸素飽和度の算出に用いられた特定画像から特徴点を抽出する特徴点抽出部を有し、前記比較部は、前記通常観察画像の特徴点のうち第１特徴点の酸素飽和度と、前記特定画像の特徴点のうち前記第１特徴点と同じ特徴量を有する第２特徴点の酸素飽和度を比較する第１比較部である請求項１記載の内視鏡システム。
3. 前記通常観察画像から特徴点を抽出し、且つ前記第２の酸素飽和度の数値情報を画素毎に持つ酸素飽和度数値画像から特徴点を抽出する特徴点抽出部を有し、前記比較部は、前記通常観察画像の特徴点のうち第１特徴点の酸素飽和度と、前記酸素飽和度数値画像の特徴点のうち前記第１特徴点と同じ特徴量を有する第２特徴点の酸素飽和度を比較する第１比較部である請求項１記載の内視鏡システム。
4. 前記第１比較部は、前記第１特徴点の酸素飽和度と前記第２特徴点の酸素飽和度の差により、比較を行う請求項２または３記載の内視鏡システム。
5. 前記比較部は、前記第１の酸素飽和度の分布と前記第２の酸素飽和度の分布を比較する第２比較部である請求項１記載の内視鏡システム。
6. 前記第１の酸素飽和度と前記第２の酸素飽和度との差分、又は前記第１の酸素飽和度画像と前記第２の酸素飽和度画像との差分を画像化した差分画像を生成する差分画像生成部を有し、前記差分画像を表示する請求項１記載の内視鏡システム。
7. 分光推定部が、通常観察画像に分光推定処理を施して、分光推定画像を生成するステップと、酸素飽和度算出部が、前記分光推定画像に基づいて、第１の酸素飽和度を求めるステップと、酸素飽和度画像生成部が、前記第１の酸素飽和度により第１の酸素飽和度画像を生成するステップと、表示部が前記第１の酸素飽和度画像と、第２の酸素飽和度に基づく第２の酸素飽和度画像を表示するステップとを有する内視鏡システムの作動方法であって、
   比較部が、前記第１の酸素飽和度と前記第２の酸素飽和度を比較するステップと、
   表示処理部が、前記第１の酸素飽和度画像において前記第１の酸素飽和度が特定範囲内と特定範囲外とで異なる表示方法で表示し、且つ前記第２の酸素飽和度画像において前記第２の酸素飽和度が特定範囲内と特定範囲外とで異なる表示方法で表示するための表示処理を行うステップと、
   境界値補正部が、前記比較部の比較結果に基づいて、前記特定範囲の境界値を補正するステップとを有する内視鏡システムの作動方法。

Images