JP6561000B2 - 内視鏡システム及びその作動方法 - Google Patents

Description

本発明は、観察対象の酸素飽和度などの生体特徴量を算出する内視鏡システム及びその作動方法に関する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。特に、単に観察対象を撮像するだけでなく、観察対象に照射する照明光の波長を工夫したり、観察対象を撮像して得た画像信号に分光推定処理等の信号処理を施したりすることによって、血管や腺管構造等の特定の組織や構造を強調した観察画像を得る内視鏡システムが普及している。

また、近年においては、観察対象を撮像して得られる画像信号に基づいて生体特徴量を得る内視鏡システムもある。例えば、生体特徴量の中でも、血中ヘモグロビンの酸素飽和度を用いた病変部の診断が行われつつある。特許文献１では、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる波長帯域の光を用いて、酸素飽和度の算出を行っている。

また、酸素飽和度の算出精度は、食道、胃、大腸などの各種部位や、男女、大人と子供などの患者の違いなどの様々な要因によって影響を受けることから、特許文献１では、本計測を行う前に、酸素飽和度のプレ計測を行っている。この特許文献１では、プレ計測して得た酸素飽和度と、予め定めた酸素飽和度の基準値との差分から得られる補正値に基づいて、酸素飽和度の算出に用いる酸素飽和度用演算テーブルを補正している。このような補正を行うことで、各種部位等によらず、酸素飽和度を正確に算出することが可能になる。

特開２０１３−２２３４１号公報（特許５４２６６２０号公報）

酸素飽和度の算出精度については、食道や胃など各種部位の違いなどの他に、画像信号中のブレやボケなどに影響を受ける。更には、酸素飽和度の算出処理に、異なるタイミングで観察対象を撮像して得られた複数フレーム分の画像信号を用いる場合には、フレーム間の位置ズレやフレーム間での光量の変動も酸素飽和度の算出精度に影響を与える。

したがって、特許文献１に示すように、プレ計測を行う際に、酸素飽和度の基準値を得られる領域において計測を行ったとしても、計測中に、ブレやボケ、フレーム間の位置ズレやフレーム間の光量変動など、様々な変動要因が生じた場合には、プレ計測において正確に酸素飽和度を算出することができない。このように、プレ計測で酸素飽和度を正確に算出できない場合には、本計測においても酸素飽和度を正確に算出できないことになる。したがって、フレーム間の位置ズレなど様々な変動要因が生ずる状況下においても、酸素飽和度などの生体特徴量を正確に算出できるようにすることが求められていた。

本発明は、フレーム間の位置ズレなど様々な変動要因が生ずる状況下においても、酸素飽和度などの生体特徴量を正確に算出できる内視鏡システム及びその作動方法を提供することを目的とする。

本発明は、異なるタイミングで観察対象を撮像して得られた計測用マルチフレーム画像に基づいて生体特徴量を算出する生体特徴量算出処理を行う生体特徴量算出部と、生体特徴量算出処理の内容を補正する補正部とを有する内視鏡システムであって、異なるタイミングで観察対象を撮像することにより、補正用マルチフレーム画像を少なくとも１セット以上取得する画像取得部と、補正用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す補正用画像変動量を算出する補正用画像変動量算出部と、補正用画像変動量に基づいて、補正部での補正に用いる計測用補正値の候補となる仮補正値を算出する補正値算出部と、補正用画像変動量と仮補正値とを対応付けて記憶する補正値用記憶部と、計測用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す計測用画像変動量を算出する計測用画像変動量算出部と、補正値用記憶部に記憶した補正用画像変動量と計測用画像変動量とを比較し、比較した結果に基づいて、補正値用記憶部に記憶した仮補正値の中から、特定の条件を満たす仮補正値を計測用補正値として決定する補正値決定部とを備える。

補正値決定部は、特定の条件を満たす仮補正値として、計測用画像変動量に最も近い補正用画像変動量に対応付けられた仮補正値を計測用補正値に決定することが好ましい。補正値決定部は、補正用画像変動量と計測用画像変動量から変動量指標値を算出し、特定の条件を満たす仮補正値として、変動量指標値が特定の範囲内に入った場合に算出した補正用画像変動量に対応付けられた仮補正値を計測用補正値に決定することが好ましい。変動量指標値は、補正用画像変動量と計測用画像変動量との差分、または、補正用画像変動量と計測用画像変動量との比であることが好ましい。補正値決定部は、特定の条件を満たす仮補正値が無い場合には、予め定めたデフォルトの仮補正値を計測用補正値として決定することが好ましい。

補正用画像変動量算出部は、補正用マルチフレーム画像のうち補正用画像変動量算出領域における変動量を補正用画像変動量として算出し、計測用画像変動量算出部は、計測用マルチフレーム画像のうち計測用画像変動量算出領域における変動量を補正用画像変動量として算出することが好ましい。補正値決定部は、補正用画像変動量算出領域と計測用画像変動量算出領域とが重複する領域において、補正用画像変動量と計測用画像変動量の比較を行うことが好ましい。

補正用画像変動量算出部は、基準画像状態に対して変動を生じさせる複数の種類の変動要因について、それぞれ補正用画像変動量を算出し、計測用画像変動量算出部は、基準画像状態に対して変動を生じさせる複数の種類の変動要因について、それぞれ計測用画像変動量を算出し、補正値決定部は、補正用画像変動量と計測用画像変動量について、変動要因の種類毎に比較することが好ましい。変動要因は、補正用マルチフレーム画像間の位置ズレ又は計測用マルチフレーム画像間の位置ズレ、補正用マルチフレーム画像内での動き又は計測用マルチフレーム画像内での動き、補正用マルチフレーム画像を取得した際の照明光の発光量の変化又は計測用マルチフレーム画像を取得した際の照明光の発光量の変化、補正用マルチフレーム画像の画素値の変化又は計測用マルチフレーム画像の画素値の変化、補正用マルチフレーム画像における残液の量の変化又は計測用マルチフレーム画像における残液の量の変化であることが好ましい。補正部は、生体特徴量算出処理の内容の補正として、生体特徴量の算出に用いる演算テーブルの補正、計測用マルチフレーム画像に基づく補正、又は生体特徴量の補正の少なくともいずれかを行うことが好ましい。

本発明は、生体特徴量算出部が、異なるタイミングで観察対象を撮像して得られた計測用マルチフレーム画像に基づいて生体特徴量を算出する生体特徴量算出処理を行うステップと、補正部が、生体特徴量算出処理の内容を補正するステップとを有する内視鏡システムの作動方法であって、画像取得部が、異なるタイミングで観察対象を撮像することにより、補正用マルチフレーム画像を少なくとも１セット以上取得するステップと、補正用画像変動量算出部が、補正用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す補正用画像変動量を算出するステップと、補正値算出部が、補正用画像変動量に基づいて、補正部での補正に用いる計測用補正値の候補となる仮補正値を算出するステップと、対応付け部が、補正用画像変動量と仮補正値とを対応付けて補正値用記憶部に記憶するステップと、計測用画像変動量算出部が、計測用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す計測用画像変動量を算出するステップと、補正値決定部が、補正値用記憶部に記憶した補正用画像変動量と計測用画像変動量とを比較し、比較した結果に基づいて、補正値用記憶部に記憶した仮補正値の中から、特定の条件を満たす仮補正値を計測用補正値として決定するステップとを有する。

本発明によれば、フレーム間の位置ズレなど様々な変動要因が生ずる状況下においても、酸素飽和度などの生体特徴量を正確に算出することができる。

内視鏡システムの外観図である。 第１実施形態の内視鏡システムの機能を示すブロック図である。 撮像センサの分光感度を示すグラフである。 通常モードにおける照明光の発光及び観察対象の撮像を示す説明図である。 酸素飽和度モードにおける照明光の発光及び観察対象の撮像を示す説明図である。 キャリブレーションモードにおける照明光の発光及び観察対象の撮像を示す説明図である。 キャリブレーション部の機能を示すブロック図である。 補正値用記憶部で記憶する情報を示す説明図である。 黄色色素の吸光係数を示すグラフである。 縦軸が演算値M、横軸がLog（Ｒｓ／Ｇｒ）である特徴空間Mにおける基準線と実測線の位置を示すグラフである。 酸素飽和度画像生成部の機能を示すブロック図である。 縦軸がLog（Ｂ１／Ｇ２）、横軸がLog（Ｒ２／Ｇ２）である特徴空間Nにおける酸素飽和度の等値線の位置を示すグラフである。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 酸素飽和度の算出方法を示す説明図である。 計測用補正値の決定方法を示す説明図である。 酸素飽和度用演算テーブルの補正を示す説明図である。 第１実施形態における本発明の一連の流れを示すフローチャートである。 回転フィルタ式の内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。 血管密度画像生成部の機能を示すブロック図である。 第２実施形態における本発明の一連の流れを示すフローチャートである。 第２実施形態において、図２１とは異なる本発明の一連の流れを示すフローチャートである。

［第１実施形態］
図１において、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続されるとともに、プロセッサ装置１６と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。なお、先端部１２ｄには、観察対象に向けて洗浄液を噴射する噴射口（図示しない）が設けられている。

また、操作部１２ｂには、アングルノブ１２ｅの他、観察モードの切り替え操作に用いるモード切替ＳＷ（モード切替スイッチ）１２ｆと、観察対象の静止画の取得指示に用いられる静止画取得指示部１２ｇとが設けられている。

内視鏡システム１０は、通常モード、酸素飽和度モード（本発明の「計測モード」）、キャリブレーションモードの３つの観察モードを有している。通常モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像（以下、通常画像という）をモニタ１８に表示する。酸素飽和度モード（本発明の「計測モード」に対応する）は、観察対象の酸素飽和度を算出するとともに、算出した酸素飽和度を擬似カラーなどで画像化した画像（以下、酸素飽和度画像という）をモニタ１８に表示する。キャリブレーションモードでは、酸素飽和度の算出精度を向上させる補正に使用する補正値を取得する。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。コンソール１９は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、画像や画像情報などを記録する外付けの記録部（図示省略）を接続してもよい。

図２において、光源装置１４は、光源２０と、光源２０を制御する光源制御部２１とを備えている。光源２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。光源２０は、BS−ＬＥＤ（Blue Short -wavelength Light Emitting Diode）２０ａ、BL−ＬＥＤ（Blue Long-wavelength Light Emitting Diode）２０ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ−ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。

BS-LED２０ａは、波長帯域４５０±１０ｎｍの第１青色光BSを発する。BL-LED２０ｂは、波長帯域４７０±１０ｎｍの第２青色光BLを発する。Ｇ−ＬＥＤ２０ｃは、波長帯域５４０±１０ｎｍの緑色光Gを発する。Ｒ−ＬＥＤ２０ｄは、波長帯域６４０±２０ｎｍの赤色光Ｒを発する。なお、各LED２０ａ〜２０ｄにおける中心波長とピーク波長は、同じであってもよく、異なっても良い。

光源制御部２１は、各ＬＥＤ２０ａ〜２０ｄに対して独立に制御信号を入力することによって、各ＬＥＤ２０ａ〜２０ｄの点灯や消灯、点灯時の発光量などを独立に制御する。光源制御部２１における点灯又は消灯制御は、各モードによって異なっている。通常モードでは、BS−LED２０ａ、G-LED２０ｃ、R-LED２０ｄを同時に点灯することによって、第１青色光BS、緑色光G、赤色光Rを同時に発光する。酸素飽和度モードでは、BL-LED２０ｂの点灯により第２青色光BLを発光する第１計測用発光モードと、BS−LED２０ａ、G-LED２０ｃ、R-LED２０ｄを同時に点灯することによって、第１青色光BS、緑色光G、赤色光Rを同時に発光する第２計測用発光モードを交互に繰り返す。

キャリブレーションモードでは、BS-LED２０ａ、BL-LED２０ｂ、G-LED２０ｃ、R-LED２０ｄを順次点灯することによって、第１青色光BS、第２青色光BL、緑色光G、赤色光Rを順次発光する。このキャリブレーションモードにおいて、第１青色光BSを発光するモードを第１校正用発光モードとし、第２青色光BLを発光するモードを第２校正用発光モードとし、緑色光Gを発光するモードを第３校正用発光モードとし、赤色光Rを発光するモードを第４校正用発光モードとする。

各ＬＥＤ２０ａ〜２０ｄが発する光は、ミラーやレンズなどで構成される光路結合部２３を介して、ライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、ライトガイド２５からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、撮像センサ４４を有している。照明光が照射された観察対象からの光は、対物レンズ４２を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。

撮像センサ４４は、照明光で照明中の観察対象を撮像するカラー撮像センサである。撮像センサ４４の各画素には、Ｂ（青色）カラーフィルタを有するB画素（青色画素）、Ｇ（緑色）カラーフィルタを有するG画素（緑色画素）、Ｒ（赤色）カラーフィルタを有するR画素（赤色画素）のいずれかが設けられている。図３に示すように、Bカラーフィルタは、主として青色帯域の光、具体的には、波長帯域が３８０〜５６０ｎｍの光を透過させる。透過率が最大となるピーク波長は４６０〜４７０nm付近に存在する。Gカラーフィルタは、主として緑色帯域の光、具体的には、波長帯域が４５０〜６３０ｎｍの光を透過させる。Rカラーフィルタは、主として赤色帯域の光、具体的には５８０〜７６０nmの光を透過させる。

撮像センサ４４としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色の撮像センサ４４の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（グリーン）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるので、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４４と同様のＲＧＢ各色の画像信号を得ることができる。

撮像センサ４４は、撮像制御部４５によって駆動制御される。撮像制御部４５における制御は、各モードによって異なっている。図４に示すように、通常モードでは、撮像制御部４５は、第１青色光BS、緑色光G、赤色光Rで照明中の観察対象を１フレーム毎に撮像するように、撮像センサ４４を制御する。これにより、撮像センサ４４のB画素からBｃ画像信号が出力され、G画素からGｃ画像信号が出力され、R画素からRc画像信号が出力される。

図５に示すように、酸素飽和度モードでは、撮像制御部４５は撮像センサ４４に対する制御により、第１計測用発光モードにおいて第２青色光BLで照明中の観察対象を１フレーム分撮像する第１計測用撮像モードと、第２計測用発光モードにおいて第１青色光BS、緑色光G、赤色光Rで照明中の観察対象を１フレーム分撮像する第２計測用撮像モードとを交互に繰り返すようにする。これにより、第１計測用撮像モード時には、撮像センサ４４のB画素からB1画像信号が出力され、G画素からG１画像信号が出力され、R画素からR１画像信号が出力される。また、第２計測用撮像モード時には、撮像センサ４４のB画素からB２画像信号が出力され、G画素からG２画像信号が出力され、R画素からR２画像信号が出力される。

図６に示すように、キャリブレーションモードでは、撮像制御部４５は撮像センサ４４に対する制御により、第１校正用発光モードにおいて第１青色光BSで照明中の観察対象を１フレーム分撮像する第１校正用撮像モードと、第２校正用発光モードにおいて第２青色光BLで照明中の観察対象を１フレーム分撮像する第２校正用撮像モードと、第３校正用発光モードにおいて緑色光Gで照明中の観察対象を１フレーム分撮像する第３校正用撮像モードと、第４校正用発光モードにおいて赤色光Rで照明中の観察対象を１フレーム分撮像する第４校正用撮像モードを順次行うようにする。

これにより、第１校正用撮像モード時には、撮像センサ４４のB画素からBｐ画像信号が出力され、G画素からGｐ画像信号が出力され、R画素からRｐ画像信号が出力される。また、第２校正用撮像モード時には、撮像センサ４４のB画素からBｑ画像信号が出力され、G画素からGｑ画像信号が出力され、R画素からRｑ画像信号が出力される。また、第３校正用撮像モード時には、撮像センサ４４のB画素からBｒ画像信号が出力され、G画素からGｒ画像信号が出力され、R画素からRｒ画像信号が出力される。また、第４校正用撮像モード時には、撮像センサ４４のB画素からBｓ画像信号が出力され、G画素からGｓ画像信号が出力され、R画素からRｓ画像信号が出力される。

図２に示すように、ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。

プロセッサ装置１６は、画像信号取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理切替部５６と、通常画像生成部５８と、酸素飽和度画像生成部６０と、キャリブレーション部６２と、映像信号生成部６４とを備えている。画像信号取得部５０（本発明の「画像取得部」に対応する）は、内視鏡１２から入力される画像信号を受信し、受信した画像信号をＤＳＰ５２に送信する。

ＤＳＰ５２は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ４４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。

その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後の各画像信号にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５４に出力する。

ノイズ低減部５４は、ＤＳＰ５６でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、画像処理切替部５６に入力される。

画像処理切替部５６は、設定されているモードによって、ノイズ低減部５４からの画像信号の送信先を、通常画像生成部５８、酸素飽和度画像生成部６０、キャリブレーション部６２のいずれかに切り替える。具体的には、通常モードにセットされている場合には、ノイズ低減部５４からの画像信号を通常画像生成部５８に入力する。また、酸素飽和度モードに設定されている場合、ノイズ低減部５４からの画像信号を酸素飽和度画像生成部６０に入力する。また、キャリブレーションモードに設定されている場合、ノイズ低減部５４からの画像信号をキャリブレーション部６２に入力する。

通常画像生成部５８は、通常モードに設定されている場合に作動し、入力した１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、さらに３×３のマトリックス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理を施す。そして、色変換処理済みのＲＧＢ画像データに対して、各種色彩強調処理を施す。この色彩強調処理済みのＲＧＢ画像データに対して、空間周波数強調等の構造強調処理を施す。構造強調処理を施したＲＧＢ画像データは、通常画像として映像信号生成部６４に入力される。

酸素飽和度画像生成部６０は、酸素飽和度モード時に異なるタイミングで照明及び撮像を行うことにより得られる計測用マルチフレーム画像信号（本発明の「計測用マルチフレーム画像」に対応する）を用いて、酸素飽和度を算出する。計測用マルチフレーム画像信号には、第１計測用発光モード及び撮像モードで得られたＢ１画像信号と、第２計測用発光モード及び撮像モードで得られたＧ２画像信号、Ｒ２画像信号が含まれる。また、酸素飽和度画像生成部６０では、観察対象の部位や患者の違い、黄色色素の影響、及び画像ブレなどによって生じる酸素飽和度の算出誤差を補正するための計測用補正値を用いて演算を行うことで、画像ブレなど複数の変動要因によらず、酸素飽和度が正確に算出するようにしている。酸素飽和度画像生成部６０による酸素飽和度の算出方法については後述する。算出した酸素飽和度を疑似カラーなどで画像化した酸素飽和度画像を生成する。この酸素飽和度画像は、映像信号生成部６４に入力される。

キャリブレーション部６２は、酸素飽和度モードに行う前のキャリブレーションモード時に作動し、キャリブレーションモード時に異なるタイミングで照明及び撮像を行うことにより得られる補正用マルチフレーム画像信号（本発明の「補正用マルチフレーム画像」に対応する）を少なくとも１セット以上取得する。このキャリブレーション部６２では、補正用マルチフレーム画像信号毎に、酸素飽和度モードで使用する計測用補正値の候補となり得る仮補正値を算出するとともに、補正用画像変動量を算出する。そして、キャリブレーション部６２は、算出した仮補正値とこの仮補正値に対応する補正用マルチフレーム画像の補正用画像変動量とを対応付けて補正値用記憶部６６に記憶する。以上のキャリブレーション部６２の詳細については後述する。

なお、補正用マルチフレーム画像信号には、第１校正用発光モード及び撮像モードで得られたＢｐ画像信号、第２校正用発光モード及び撮像モードで得られたＢｑ画像信号、第３校正用発光モード及び撮像モードで得られたＧｒ画像信号、第４校正用発光モード及び撮像モードで得られたＲｓ画像信号が含まれる。

映像信号生成部６４は、通常画像生成部５８からの通常画像の画像データ、又は酸素飽和度画像生成部６０からの酸素飽和度画像の画像データを、モニタ１８上においてフルカラーの表示を可能にする映像信号に変換する。変換済みの映像信号はモニタ１８に入力される。これにより、モニタ１８には通常画像または酸素飽和度画像が表示される。

次に、酸素飽和度画像生成部６０とキャリブレーション部６２の詳細について説明する。なお、キャリブレーション部６２で仮補正値と補正用画像変動量を算出し、その後に、酸素飽和度画像生成部６０で最も小さい補正用画像変動量に対応付けられた仮補正値を計測用補正値として使用することから、まず、キャリブレーション部６２について説明し、その後に、酸素飽和度画像生成部６０について説明する。

図７に示すように、キャリブレーション部６２は、補正用画像変動量算出部７０と、補正値算出部７２と、対応付け部７６とを備えている。補正用画像変動量算出部７０は、補正用マルチフレーム画像信号であるＢｐ画像信号、Ｂｑ画像信号、Ｇｒ画像信号、Ｒｓ画像信号から、補正用画像変動量を算出する。この補正用画像変動量の算出方法の具体例については後述する。ここで、補正用画像変動量とは、補正用マルチフレーム画像信号に基づく画像状態が、フレーム間の位置ズレなど様々な変動要因によって、基準画像状態からどの程度変動しているかを示すものである。

画像状態とは、例えば、補正用マルチフレーム画像信号のいずれかの画像信号の画素値のことをいい、また、補正用マルチフレーム画像信号を組み合わせた演算により得られる演算値（例えば、信号比など）の大きさのことをいう。また、基準画像状態とは、フレーム間の位置ズレが無い又はほとんど無いなど様々な変動要因が存在しない又はほとんど存在しない状況下で得られた画像信号に基づく画像状態のことをいう。以上から、補正用画像変動量は、例えば、補正用マルチフレーム画像信号に基づく画像状態と基準画像状態との差分又は比などで表される。なお、補正用画像変動量算出部７０には、少なくとも１セット以上の補正用マルチフレーム画像信号が入力され、これら入力される補正用マルチフレーム画像信号毎に補正用画像変動量の算出が行われる。

変動要因としては、補正用マルチフレーム画像信号間の位置ズレ、補正用マルチフレーム画像信号内での動き、補正用マルチフレーム画像信号を取得した際の照明光の発光量の変化、補正用マルチフレーム画像信号の画素値の変化、補正用マルチフレーム画像信号における残液の量の変化などが挙げられる。

したがって、上記変動要因によって発生する補正用画像変動量としては、補正用マルチフレーム画像信号間の動き量、補正用マルチフレーム画像信号のいずれかの画像信号内での動き量、補正用マルチフレーム画像信号が得られた時の照明光の発光量、補正用マルチフレーム画像信号の各画素値、補正用マルチフレーム画像信号が得られた時の観察対象上での残液の量などが挙げられる。補正用画像変動量算出部７０では、上記の補正用画像変動量の全てについて算出してもよく、一部のみを算出してもよい。

また、補正用画像変動量算出部７０では、補正用マルチフレーム画像信号において、全ての画素領域にて補正用画像変動量を算出してもよく、一部の画素領域を補正用画像変動量算出領域に設定し、設定した補正用画像変動量算出領域内で補正用画像変動量を算出してもよい。補正用画像変動量算出領域の設定は、補正用マルチフレーム画像信号の各画像信号毎に行ってもよく、いずれかの画像信号（例えば、補正用画像変動量が顕著にでる画像信号）についてのみ行ってもよい。

また、補正用画像変動量算出領域において補正用画像変動量を算出する場合には、画素領域の設定を、コンソール１９などのUI（User Interface（ユーザーインターフェース））により行ってもよい。また、補正用マルチフレーム画像信号において、補正用画像変動量が大きい部分を画像解析で自動判別し、その自動判別した領域の補正用画像変動量を算出するようにしてもよい。なお、本実施形態では、黄色色素の補正用画像変動量などを算出するために、４フレーム分の補正用マルチフレーム画像信号を使用するが、算出する補正用画像変動量の種類と数に合わせて、補正用マルチフレーム画像のフレーム数を増減してもよい。

補正値算出部７２は、補正用画像変動量算出部７０で得られた補正用画像変動量に基づいて、仮補正値を算出する。仮補正値の算出は、補正用画像変動量算出部７０で算出された補正用画像変動量毎、即ち、補正用マルチフレーム画像信号毎に行われる。仮補正値の算出方法の具体例については後述する。対応付け部７６は、補正用画像変動量算出部７０で算出された補正用画像変動量と、この補正用画像変動量に基づいて算出された仮補正値とを対応付けて補正値用記憶部６６に記憶する。

例えば、補正値用記憶部６６には、図８に示すように、キャリブレーションモード中の第１タイミングT１（図８では「Ｔ１」と記載。以下同様）に取得した補正用マルチフレーム画像信号から得られる黄色色素の変動量Ｘ１とこれに対する黄色色素用の仮補正値ＡＸ１が記憶されており、キャリブレーションモード中の第１タイミングT１よりも後の第２タイミングT２（図８では「Ｔ２」と記載。以下同様）に取得した黄色色素の変動量Ｘ２とこれに対する黄色色素用の仮補正値ＡＸ２が記憶されている。なお、補正値用記憶部６６には、第１タイミングT１と第２タイミングT２の補正用マルチフレーム画像信号のみならず、それら異なるタイミングの補正用マルチフレーム画像信号から得られる補正用画像変動量とその仮補正値を記憶してもよい。また、補正値用記憶部６６には、黄色色素の変動量とその仮補正値に加えて又は代えて、その他の補正用画像変動量とその仮補正値を記憶してもよい。

以下においては、補正用画像変動量の算出方法と仮補正値の算出方法の一例として、黄色色素の変動量の算出方法と、黄色色素の変動量に基づく黄色色素用の仮補正値の算出方法について説明する。まず、補正用画像変動量算出部７０は、生体内における黄色色素に関する情報を持ち、且つ酸素飽和度によって影響を受けない生体内情報を算出する。具体的には、Ｂｐ画像信号とＧｒ画像信号の信号比Ｂｐ／Ｇｒを画素毎に算出し、Ｂｑ画像信号とＧｒ画像信号の信号比Ｂｑ／Ｇｒを画素毎に算出し、Ｒｓ画像信号とＧｒ画像信号との信号比Ｒｓ画像信号とＧｒ画像信号の信号比Ｒｓ／Ｇｒを画素毎に算出する。

ここで、信号比Ｂｐ／ＧｒのうちＢｐについては第１青色光ＢＳに対応する画像信号である。この第１青色光ＢＳの波長帯域４５０±１０ｎｍは、ヘモグロビンの吸光係数が比較的高い青色帯域に属し、且つ酸化ヘモグロビンと還元ヘモグロビンの吸光係数が同じ等吸収波長である（図１３参照）。また、第１青色光ＢＳの波長帯域４５０±１０ｎｍは、図９に示すように、黄色色素の吸光係数が最も高くなる吸収ピーク波長を有していることから、黄色色素の濃度に応じて吸光量が変化しやすい波長帯域である。したがって、信号比Ｂｐ／Ｇｒは、酸素飽和度によって信号値は変化しないものの、黄色色素の濃度や血液量によって信号値が変化する。なお、Ｇｒ画像信号に含まれる緑色光の波長帯域５４０±２０ｎｍは、上記したように、血液量に応じて吸光量が変化しやすい波長帯域である。

信号比Ｂｑ／ＧｒのうちＢｑについては第２青色光ＢＬに対応する画像信号である。この第２青色光ＢＬの波長帯域４７０±１０ｎｍは、上記したように、ヘモグロビンの吸光係数が比較的高い青色帯域に属し、且つ酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる異吸収波長である（図１３参照）ことから、ヘモグロビンの酸素飽和度によって吸光量が変化しやすい波長帯域である。また、第２青色光ＢＬの中心波長４７０ｎｍは、黄色色素の吸収ピーク波長からはやや吸収係数が低くなるものの、他の波長帯域と比較すると大きな吸収係数を有している（図１３参照）。したがって、信号比Ｂｑ／Ｇｒは、酸素飽和度、黄色色素の濃度、血液量によって信号値が変化する。これに対して、信号比Ｒｓ／Ｇｒについては、酸素飽和度及び黄色色素の濃度によって信号値はほとんど変化せず、血液量によって信号値が変化する。

次に、下記式Aにより得られる演算値Mが、酸素飽和度が変化しても一定になるように、φを調整する。このφ調整後の演算値Mと信号比Ｒｓ／Ｇｒからなる情報を、生体内情報とする。この生体内情報は、黄色色素の濃度に応じて変化する情報であり、且つ酸素飽和度によって変化しない情報である。
（式A）演算値M＝信号比Ｂｐ／Ｇｒ×ｃｏｓφ−信号比Ｂｑ／Ｇｒ×ｓｉｎφ

ここで、縦軸が式（A）に基づく演算値Mで形成される特徴空間M上において、黄色色素が無い状態で得られ、且つ酸素飽和度によって変化しないである予め設定済みの基準情報と、上記の生体内情報を表した場合、図１０に示すような分布になる。図１０に示すように、黄色色素の影響が無い基準情報の分布を示す基準線７８と、黄色色素の影響を受けた生体内情報が分布する実測線８０とは、それぞれ、ほぼ横軸方向にそって形成されている。実測線８０においては、黄色色素の濃度は同じである等濃度線となっている。また、特徴空間Mにおいて、基準線７８は実測線８０よりも上方に位置している。また、特徴空間Mにおいて、黄色色素の影響が大きくなるほど、実測線８０は下方に位置するようになって、基準線７８と実測線８０との差が大きくなる。したがって、補正用画像変動量算出部７０は、基準線７８と実測線８０との差分ΔＺを、黄色色素の変動量として算出する。

補正値算出部７２は、補正用画像変動量算出部７０で算出した黄色色素の変動量に対して、補正部９３での補正態様に対応させた変換係数αを掛け合わせることによって、仮補正値を算出する（仮補正値＝差分ΔＺ×係数α）。補正部９３での補正には、酸素飽和度算出部８８で使用する信号比B１／Ｇ2、Ｒ２／Ｇ２の補正、又は酸素飽和度算出部８８で算出した酸素飽和度の補正の３パターンあることから、上記の変換係数αも３パターンあり、それぞれ異なっている。なお、仮補正値は、Ｂｐ画像信号、Ｂｑ画像信号、Ｇｒ画像信号、Ｒｓ画像信号に対してマトリックス処理と１Ｄ−ＬＵＴ（1 dimensional Look UP Tabel）とを組み合わせた変換処理によって算出してもよい。

図１１に示すように、酸素飽和度画像生成部６０は、信号比算出部８４と、酸素飽和度用演算テーブル８６と、酸素飽和度算出部８８と、画像生成部９０と、計測用画像変動量算出部９１と、補正値決定部９２と、補正部９３と、を備えている。信号比算出部８４は、計測用マルチフレーム画像信号であるＢ１画像信号、Ｇ２画像信号、Ｒ２画像信号に基づいて、酸素飽和度算出部８８で酸素飽和度の算出に用いる信号比を算出する。具体的には、信号比算出部８４は、Ｂ１画像信号とＧ２画像信号の信号比Ｂ１／Ｇ２と、Ｒ２画像信号とＧ２画像信号の信号比Ｒ２／Ｇ２と、Ｇ２画像信号とＢ２画像信号の信号比Ｇ２／Ｂ２とをそれぞれ画素毎に算出する。

酸素飽和度用演算テーブル８６（本発明の「演算テーブル」に対応する）は信号比算出部８４が算出する各信号比と、酸素飽和度との相関関係を記憶している。この相関関係を、縦軸Log（Ｂ１／Ｇ２）、横軸Log（Ｒ２／Ｇ２）で形成される特徴空間N上で表した場合、図１２に示すように、特徴空間N上において、酸素飽和度が同じ部分を繋ぎあわせた等値線が、ほぼ横軸方向に沿って、形成されている。また、等値線は、酸素飽和度が大きくなるほど、縦軸方向に対して、より下方側に位置している。例えば、酸素飽和度が１００％の等値線９５は、酸素飽和度が０％の等値線９６よりも下方に位置している。以上の等値線に関する情報は、基準画像状態で得られた画像信号に基づいて作成されている。

なお、特徴空間Nにおける等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。また、酸素飽和度用演算テーブル８６では、信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２と酸素飽和度との相関関係を記憶しているが、信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２との相関関係に限らず、Ｂ１画像信号、Ｇ２画像信号、Ｒ２画像信号に基づく特定の演算（例えば、差分処理）を行って得られる第１演算値と酸素飽和度との相関関係を記憶するようにしてもよい。

上記相関関係は、図１３に示す酸化ヘモグロビン（グラフ９７）や還元ヘモグロビン（グラフ９８）の吸光特性や光散乱特性と密接に関連し合っている。例えば、第２青色光ＢＬの波長帯域４７０±１０ｎｍのように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長帯域では、ヘモグロビンの酸素飽和度によって吸光量が変化するため、酸素飽和度の情報を取り扱いやすい。したがって、中心波長４７０nmの第２青色光ＢＬの光に対応するＢ１画像信号を含む信号比Ｂ１／Ｇ２を用いることで、酸素飽和度の算出が可能となる。しかしながら、信号比Ｂ１／Ｇ２は酸素飽和度だけでなく、血液量にも依存度が高い。そこで、信号比Ｂ１／Ｇ２に加えて、主として血液量に依存して変化する信号比Ｒ２／Ｇ２を用いることで、血液量に影響されることなく、酸素飽和度を正確に求めることができる。なお、Ｇ２画像信号に含まれる緑色光の波長帯域５４０±２０ｎｍは、ヘモグロビンの吸光係数が比較的高いため、血液量によって吸光量が変化しやすい波長帯域である。

酸素飽和度算出部８８は、酸素飽和度用演算テーブル８６に記憶した相関関係を参照し、信号比Ｂ１／Ｇ２，Ｒ２／Ｇ２に対応する酸素飽和度を画素毎に算出する。例えば、図１４に示すように、酸素飽和度用演算テーブル８６に記憶した相関関係を参照した場合、特定画素の信号比Ｂ１^*／Ｇ２^*，Ｒ２^*／Ｇ２^*に対応する酸素飽和度は「４０％」である。したがって、酸素飽和度算出部８８は、酸素飽和度を「４０％」と算出する。

なお、信号比Ｂ１／Ｇ２，Ｒ２／Ｇ２が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２の各値の組み合わせが、酸素飽和度１００％の上限の等値線９５（図１３参照）よりも下方に分布したり、反対に、酸素飽和度０％の下限の等値線９６（図１３参照）よりも上方に分布したりすることはほとんどない。但し、上限の等値線９５より下方に分布する場合には酸素飽和度を１００％とし、下限の等値線９６より上方に分布する場合には酸素飽和度算出部８８は酸素飽和度を０％とする。また、信号比Ｂ１／Ｇ２，Ｒ２／Ｇ２に対応する点が上限の等値線９５と下限の等値線９６との間に分布しない場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をし、酸素飽和度を算出しないようにしても良い。

画像生成部９０は、酸素飽和度算出部８８で算出した酸素飽和度を用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。具体的には、画像生成部９０は、Ｂ２画像信号，Ｇ２画像信号，及びＲ２画像信号を取得し、これらの画像信号に対して酸素飽和度に応じたゲインを画素毎に施す。そして、ゲインを施したＢ２画像信号，Ｇ２画像信号，及びＲ２画像信号を用いてＲＧＢ画像データを生成する。例えば、画像生成部９０は、酸素飽和度が６０％以上の画素ではＢ２画像信号，Ｇ２画像信号，及びＲ２画像信号のいずれにも同じゲイン「１」を乗じる。これに対して、酸素飽和度が６０％未満の画素では、Ｂ２画像信号に対して「１」未満のゲインを乗じ、Ｇ２画像信号及びＲ２画像信号に対しては「１」以上のゲインを乗じる。このゲイン処理後のＢ２画像信号，Ｇ２画像信号，及びＲ２画像信号を用いて生成したＲＧＢ画像データが酸素飽和度画像である。

画像生成部９０が生成した酸素飽和度画像では、高酸素の領域（酸素飽和度が６０〜１００％の領域）では、通常観察画像と同様の色で表される。一方、酸素飽和度が特定値を下回る低酸素の領域（酸素飽和度が０〜６０％の領域）は、通常観察画像とは異なる色（疑似カラー）で表される。

なお、本実施形態では、画像生成部９０は、低酸素の領域のみ疑似カラー化するゲインを乗じているが、高酸素領域でも酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素領域と高酸素領域を酸素飽和度６０％で分けているがこの境界も任意である。

計測用画像変動量算出部９１は、計測用マルチフレーム画像信号であるＢ１画像信号、Ｇ２画像信号、Ｒ２画像信号から、計測用画像変動量を算出する。計測用画像変動量とは、補正用画像変動量と同様、計測用マルチフレーム画像信号に基づく画像状態が、フレーム間の位置ズレなど様々な変動要因によって、基準画像状態からどの程度変動しているかを示すものである。計測用画像変動量算出部９１では、補正用画像変動量算出部７０で算出した補正用画像変動量の全ての種類について、計測用画像変動量の算出を行う。例えば、補正用画像変動量として、黄色色素の変動量とフレーム間の位置ズレを算出した場合には、計測用画像変動量として、同じようにして、黄色色素の変動量とフレーム間の位置ズレを算出する。計測用画像変動量算出部９１で算出した計測用画像変動量については、補正値決定部９２に送信される。

なお、計測用画像変動量の算出方法については、補正用画像変動量の算出方法と同様である。また、補正用画像変動量を算出した場合と同様に、計測用マルチフレーム画像信号において、全ての画素領域にて計測用画像変動量を算出してもよく、一部の画素領域を計測用画像変動量算出領域に設定し、設定した計測用画像変動量算出領域内で計測用画像変動量を算出してもよい。計測用画像変動量算出領域については、補正用画像変動量算出領域と同様の方法で設定される。

補正値決定部９２では、入力された計測用画像変動量と補正値用記憶部６６に記憶された補正用画像変動量とを比較する。そして、補正値決定部９２は、両変動量を比較した結果、計測用画像変動量に最も近い補正用画像変動量に対応付けられた仮補正値を、計測用補正値として決定する。補正値決定部９２では、補正値用記憶部６６に記憶された全種類の補正用画像変動量について、計測用画像変動量との比較を行い、計測用補正値の決定を行う。なお、補正用画像変動量算出領域と計測用画像変動量算出領域を設定した場合には、補正用画像変動量算出領域と計測用画像変動量算出領域とが重複する領域において、補正用画像変動量と計測用画像変動量とを比較することが好ましい。

例えば、補正値用記憶部６６において、図１５に示すような変動量と仮補正値が記憶されている場合には、計測用補正値の決定方法は以下のようになる。なお、補正値用記憶部６６には、第１タイミングT１の補正用マルチフレーム画像信号から得られた黄色色素の変動量Ｘ１及び黄色色素用の仮補正値ＡＸ１とフレーム間位置ズレ量Ｙ１及びフレーム間位置ズレ用の仮補正値ＡＹ１とが記憶されている。また、補正値用記憶部６６には、第２タイミングT２の補正用マルチフレーム画像信号から得られた黄色色素の変動量Ｘ２及び黄色色素用の仮補正値ＡＸ２とフレーム間位置ズレ量Ｙ２及びフレーム間位置ズレ用の仮補正値ＡＹ２とが記憶されている。例えば、計測用画像変動量として、黄色色素の変動量Ｘ１が入力された場合には、黄色色素用の計測用補正値として、第１タイミングT１の黄色色素用の仮補正値ＡＸ１が決定される。また、計測用画像変動量として、フレーム間位置ズレ量Ｙ２が入力された場合には、フレーム間位置ズレ用の計測用補正値として、第２タイミングT２のフレーム間位置ズレ用の仮補正値ＡＹ２が決定される。

補正部９３は、補正値決定部９２で決定した計測用補正値に基づいて、酸素飽和度算出部８８における酸素飽和度算出処理の内容を補正する。この補正部９３では、酸素飽和度算出処理の内容の補正として、酸素飽和度用演算テーブル８６の補正、酸素飽和度算出部８８で使用する信号比B１／Ｇ2、Ｒ２／Ｇ２の補正、又は酸素飽和度算出部８８で算出した酸素飽和度の補正のいずれかを行う。酸素飽和度用演算テーブル８６の補正については、補正部９３が、特徴空間Nにおいて、等値線の全体を縦軸Log（Ｂ１／Ｇ２）方向又は横軸Log（Ｒ２／Ｇ２）方向に、テーブル補正用の計測用補正値分だけ移動させる補正を行う。

例えば、補正用画像変動量として、図１０で示した差分ΔＺを黄色色素の変動量とする場合には、図１６に示すように、黄色色素用の計測用補正値分だけ、等値線の全体９９を縦軸Log（Ｂ１／Ｇ２）方向に移動させる補正を行う。これにより、酸素飽和度用演算テーブル８６の相関関係が更新される。この相関関係更新後の酸素飽和度用演算テーブル８６を用いて酸素飽和度を算出することで、各種部位や患者が異なる場合の他、観察対象上で黄色色素の影響や、フレーム間の位置ズレなどの様々な変動要因が発生する状況においても、酸素飽和度を正確に算出することができる。

酸素飽和度算出部８８で使用する信号比B１／Ｇ2、Ｒ２／Ｇ２の補正については、酸素飽和度算出部８８において、酸素飽和度用演算テーブル８６を参照する前に、補正部９３が、入力された信号比B１／Ｇ2、Ｒ２／Ｇ２の少なくとも一方に対して、信号比用の計測用補正値分だけ加算する。そして、酸素飽和度算出部８８は、酸素飽和度用演算テーブル８６から、信号比用の計測用補正値を加算済みの信号比B１／Ｇ2、Ｒ２／Ｇ２に対応する酸素飽和度を算出する。

酸素飽和度算出部８８で算出した酸素飽和度の補正については、まず、酸素飽和度算出部８８において、酸素飽和度用演算テーブル８６に基づいて、仮の酸素飽和度を算出する。そして、補正部９３が、仮の酸素飽和度に対して、酸素飽和度用の計測用補正値分だけ加算する。酸素飽和度算出部８８は、酸素飽和度用の計測用補正値を加算済みの酸素飽和度を、正式な酸素飽和度として算出する。

次に、本発明の一連の流れについて、図１７のフローチャートに沿って説明する。モード切替ＳＷ１２ｆを操作して、キャリブレーションモードに設定する。これにより、各LED２０ａ〜２０ｄの順次点灯により、第１青色光ＢＳ、第２青色光ＢＬ、緑色光Ｇ、赤色光Ｒが順次発光される。これら４色の光は観察対象に照射され、撮像センサ４４によって撮像される。これにより、Bp画像信号、Bq画像信号、Gr画像信号、Rｓ画像信号を含む補正用マルチフレーム画像信号が得られる。なお、キャリブレーションモードに設定した場合、観察対象上において、黄色色素などによる汚染が懸念される場合には、ユーザーは、洗浄液を内視鏡１２の先端部１２ｄから観察対象に噴射することにより、予め黄色色素などの影響の大部分を除去することができる。この洗浄は、黄色色素などによる汚染が懸念される場合に行えばよく、予め洗浄が確実に行われていれば、必ずしも行う必要はない。

次に、補正用画像変動量算出部７０が、補正用マルチフレーム画像信号に基づいて、補正用画像変動量を算出する。補正用画像変動量を算出した後は、補正値算出部７２が、補正用画像変動量に基づいて、仮補正値を算出する。対応付け部７６は、補正用画像変動量と、この補正用画像変動量に基づいて算出された仮補正値とを対応付けて補正値用記憶部６６に記憶する。そして、以上に示した補正用マルチフレーム画像信号の取得、補正用画像変動量とその仮補正値の算出、及び補正値用記憶部６６への記憶の一連のキャリブレーション処理を、予め定めた規定回数分だけ、繰り返し行う。

キャリブレーション処理の処理回数が規定回数に達した場合には、キャリブレーションモードから酸素飽和度モードに自動的に切り替える。酸素飽和度モードでは、第２青色光BLと、第１青色光BS、緑色光、赤色光を含む光を交互に観察対象に照射し、撮像センサ４４によって撮像する。これにより、酸素飽和度の算出に必要となるB１画像信号、G２画像信号、R２画像信号を含む計測用マルチフレーム画像信号が得られる。

計測用マルチフレーム画像信号を取得した後は、計測用画像変動量算出部９１が、計測用マルチフレーム画像信号に基づいて、計測用画像変動量を算出する。計測用画像変動量を算出した後は、補正値決定部９２が、計測用画像変動量と、補正値用記憶部６６に記憶された補正用画像変動量とを比較する。比較した結果、計測用画像変動量に最も近い補正用画像変動量に対応付けられた仮補正値を、計測用補正値として決定する。この計測用補正値に基づいて、酸素飽和度用演算テーブル８６の補正を行う。

次に、B１画像信号とG2画像信号の信号比B１／G２と、R２画像信号とG2画像信号の信号比R2／G2を算出する。そして、酸素飽和度算出部８８は、算出した信号比B１／G２、R２／G２に基づいて、補正済みの酸素飽和度用演算テーブル８６に記憶した相関関係を参照して、酸素飽和度を算出する。算出した酸素飽和度に基づいて酸素飽和度画像を生成し、モニタ１８に表示する。なお、酸素飽和度の算出前に、酸素飽和度用演算テーブル８６の補正を行ったが、信号比B１／G２、R２／G２の補正を行ってもよい。または、仮の酸素飽和度の算出した後に、仮の酸素飽和度の補正を行うようにしてもよい。

なお、上記で示した４色のＬＥＤ２０ａ〜２０ｄの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行ってもよい。図１８に示すように、内視鏡システム１００では、光源装置１４において、４色のＬＥＤ２０ａ〜２０ｄに代えて、広帯域光源１０２、回転フィルタ１０４、フィルタ切替部１０５が設けられている。また、撮像光学系３０ｂには、カラーの撮像センサ４４の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ１０６が設けられている。

広帯域光源１０２はキセノンランプ、白色ＬＥＤなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ１０４は、内側に設けられた内側フィルタ１０８と、外側に設けられた外側フィルタ１０９とを備えている（図１９参照）。フィルタ切替部１０５は、回転フィルタ１０４を径方向に移動させるものであり、モード切替ＳＷ１２ｆにより通常モードにセットしたときに、回転フィルタ１０４の内側フィルタ１０８を白色光の光路に挿入し、酸素飽和度モード又はキャリブレーションモードにセットしたときに、回転フィルタ１０４の外側フィルタ１０９を白色光の光路に挿入する。

図１９に示すように、内側フィルタ１０８には、周方向に沿って、白色光のうち第１青色光ＢＳを透過させるＢ１フィルタ１０８ａ、白色光のうち緑色光Gを透過させるＧフィルタ１０８ｂ、白色光のうち赤色光Ｒを透過させるＲフィルタ１０８ｃが設けられている。したがって、通常モード時には、回転フィルタ１０４の回転により、第１青色光ＢＳ、緑色光Ｇ、赤色光Ｒが交互に観察対象に照射される。

外側フィルタ１０９には、周方向に沿って、白色光のうち第１青色光ＢＳを透過させるＢ１フィルタ１０９ａと、白色光のうち第２青色光ＢＬを透過させるB２フィルタ１０９ｂと、白色光のうち緑色光Gを透過させるGフィルタ１０９ｃと、白色光のうち赤色光Rを透過させるRフィルタ１０９ｄとが設けられている。したがって、酸素飽和度モード又はキャリブレーションモード時には、回転フィルタ１０４が回転することで、第１青色光ＢＳ、第２青色光ＢＬ、緑色光G、赤色光Rが交互に観察対象に照射される。

内視鏡システム１００では、通常モード時には、第１青色光ＢＳ、緑色光G、赤色光Rで観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、Bc画像信号、Gc画像信号、Rc画像信号が得られる。そして、それら３色の画像信号に基づいて、上記第１実施形態と同様の方法で、通常画像が生成される。

一方、酸素飽和度モード時には、第１青色光ＢＳ、第２青色光ＢＬ、緑色光G、赤色光Rで観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、B２画像信号と、B１画像信号、Ｇ２画像信号、Ｒ２画像信号からなる計測用マルチフレーム画像信号が得られる。この計測用マルチフレーム画像信号に基づいて、上記と同様の方法で、酸素飽和度画像の生成が行われる。また、キャリブレーションモード時には、Bp画像信号、Bq画像信号、Gr画像信号、Rｓ画像信号からなる補正用マルチフレーム画像信号が得られる。これら４色の画像信号に基づいて、上記と同様の方法で、仮補正値の算出が行われる。

なお、上記実施形態では、キャリブレーションモードにおいて相関関係の補正を行うために、波長帯域が４５０±１０ｎｍの第１青色光ＢＳを用いているが、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が同じ波長帯域であり、且つ、黄色色素の吸光係数が他の波長帯域と比較して大きい波長帯域の光を用いてもよい。例えば、第１青色光ＢＳの代わりに、波長帯域が５００±１０ｎｍの緑色狭帯域光を用いてもよい。

なお、上記の実施形態では、機能的生体特徴量としての酸素飽和度を例に説明を行っているが、本発明は、機能的生体特徴量の他に、形態的生体特徴量に対しても適用可能である。形態的生体特徴量とは、例えば、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量である。

例えば、形態的生体特徴量として、血管密度を算出する場合には、以下のように行うことが好ましい。まず、キャリブレーションモードに設定して、中心波長４０５nmの第１短波光SL１と、中心波長４４５nmの第２短波光SL２とを交互に観察対象に照射し、照射毎に、撮像センサ４４によって観察対象の撮像を行う。これにより、第１短波光SL１に対応するBx画像信号と、第２短波光SL２に対応するBy画像信号からなる補正用マルチフレーム画像信号が得られる。この補正用マルチフレーム画像信号は、上記と同様に、少なくとも１セット以上取得する。

そして、補正用マルチフレーム画像信号を用いて、上記と同様のキャリブレーション部６２により、補正用画像変動量とその仮補正値とを算出し、それら算出した補正用画像変動量とその仮補正値とを対応付けて補正値用記憶部６６に記憶する。なお、補正用画像変動量としては、例えば、Bｘ画像信号とBy画像信号間の位置ズレ量が挙げられる。

次に、キャリブレーションモードに行われる血管密度モード（本発明の「計測モード」に対応する）では、第１短波光SL１と第２短波光SL２とを交互に観察対象に照射し、撮像センサ４４で撮像を行う。これにより、第１短波光SL１に対応するBx画像信号と、第２短波光SL２に対応するBy画像信号からなる計測用マルチフレーム画像信号が得られる。この計測用マルチフレーム画像信号に基づいて、図２０に示す血管密度画像生成部２００で血管密度画像を生成する。

血管密度画像生成部２００は、演算画像信号生成部２０２、特定深さ血管強調画像生成部２０４、又は画像生成部２０６を備えるとともに、上記の実施形態と同様の計測用画像変動量算出部９１、補正値決定部９２、又は補正部９３を備えている。演算画像信号生成部２０２は、Bx画像信号とBy画像信号とを用いて演算を画素毎に行い、演算画像信号を生成する。演算は差分処理又は比率計算であることが好ましい。差分処理を行う場合には、Bx画像信号とBy画像信号を対数変換してから、対数変換後のBx画像信号とBy画像信号の差分処理を行う。また、比率計算の場合には、Bx画像信号とBy画像信号とを対数変換することなく、Bｘ画像信号をBy画像信号で除する、又はBy画像信号をBx画像信号で除する。

特定深さ血管強調画像生成部２０４は、Bｘ画像信号又はBy画像信号のいずれかを輝度チャンネルYに割り当てるとともに、演算画像信号を二つの色差チャンネルCb、Crに割り当てることにより、特定深さの血管走行パターンを色で強調した特定深さ血管強調画像を生成する。生成された特定深さ血管強調画像は、後述の血管密度画像とともに、モニタ１８に表示される。なお、演算画像信号を色差チャンネルCb、Crに割り当てる際には、演算画像信号に色係数ｐを乗じたものを色差チャンネルCbに割り当て、演算画像信号に色係数ｑ（色係数ｐと異なる）を乗じたものを色差チャンネルCrに割り当てることが好ましい。このように色係数ｐ、ｑを用いるのは、血管の色味と他の観察対象の色とを調整するためである。

画像生成部２０６は、特定深さ血管強調画像において所定の領域毎に血管密度を算出し、算出した血管密度に応じて色を割り当てた血管密度画像を生成する。血管密度画像においては、血管密度が大きい高密度領域と血管密度が低い低密度領域とで違いが明確になる色設定とすることが好ましい。以上のように血管密度を算出する場合においては、補正部９３は、計測用補正値に基づいて、血管密度の算出処理の内容を補正する。この補正部９３による血管密度の算出処理の内容の補正は、血管密度の算出前と血管密度の算出後の少なくともいずれかに補正を行う。例えば、血管密度の算出後であれば、補正部９３が、算出した血管密度に対して、血管密度用の計測用補正値を加算する補正を行うことが好ましい。

［第２実施形態］
第１実施形態では、補正用画像変動量と計測用画像変動量とを直接比較して、計測用画像変動量に最も近い補正用画像変動量を選択するようにしているが、第２実施形態では、補正用画像変動量と計測用画像変動量との違いを定量化し、定量化した値に基づいて、補正用画像変動量の選択を行う。それ以外については、第１実施形態と同様である。

第２実施形態では、酸素飽和度画像生成部６０内の補正値決定部９２では、補正用画像変動量と計測用画像変動量とを比較する際に、補正用画像変動量と計測用画像変動量との差分又は比などの演算を行って、両者の変動量の違いを定量化した変動量指標値を算出する。そして、図２１に示すように、補正値決定部９２は、変動量指標値が特定の範囲内に入っている場合には、そのときの補正用画像変動量に対応付けられた仮補正値を、計測用補正値として決定する。計測用補正値の決定後は、第１実施形態と同様にして、補正部９３により補正を行う。なお、特定の範囲内の変動量指標値が複数存在して、複数の仮補正値を計測用補正値として決定した場合には、それら複数の仮補正値の代表値を正式な計測用補正値とすることが好ましい。代表値としては、複数の仮補正値の平均値や中央値とすることが好ましい。

ここで、変動量指標値が補正用画像変動量と計測用画像変動量の差分である場合には、「特定の範囲」は「０」を含む一定の範囲（例えば、「０」よりも小さい「ｄｘ」から、「０」よりも大きい「ｄｙ」までの範囲）であることが好ましい。また、変動量指標値が補正用画像変動量と計測用画像変動量の比である場合には、「特定の範囲」は「１」を含む一定の範囲（例えば、「１」よりも小さい「ｃｘ」から、「１」よりも大きい「ｃｙ」までの範囲）であることが好ましい。

一方、変動量指標値が特定の範囲に入っていない場合には、他の補正用画像変動量に代えて、変動量指標値を再計算し、特定の範囲に入っているかどうかの判定を行う。この判定は、変動量指標値が特定の範囲に入るまで繰り返し行われる。なお、補正値用記憶部６６に記憶された補正用画像変動量の全てについて、計測用画像変動量に対する変動量指標値が特定の範囲に入っていないと判定した場合には、図２２に示すように、補正値決定部９２は、予め定めたデフォルトの仮補正値を補正値用記憶部６６から読み込む。そして、補正値決定部９２は、読み込んだデフォルトの仮補正値を計測用補正値として決定する。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ モード切替SW
１２ｇ 静止画取得指示部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源
２０ａ ＢＳ−ＬＥＤ
２０ｂ ＢＬ−ＬＥＤ
２０ｂ ＢＬ−ＬＥＤ
２０ｃ Ｇ−ＬＥＤ
２０ｄ Ｒ−ＬＥＤ
２１ 光源制御部
２３ 光路結合部
２５ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
４２ 対物レンズ
４４ 撮像センサ
４５ 撮像制御部
４６ ＣＤＳ／ＡＧＣ回路
４８ Ａ／Ｄコンバータ
５０ 画像信号取得部
５２ ＤＳＰ
５４ ノイズ低減部
５６ 画像処理切替部
５８ 通常画像生成部
６０ 酸素飽和度画像生成部
６２ キャリブレーション部
６４ 映像信号生成部
６６ 補正値用記憶部
７０ 補正用画像変動量算出部
７２ 補正値算出部
７６ 対応付け部
８４ 信号比算出部
８６ 酸素飽和度用演算テーブル
９０ 画像生成部
９１ 計測用画像変動量算出部
９２ 補正値決定部
９３ 補正部
９５ 等値線
９６ 等値線
９７ グラフ
９８ グラフ
９９ 等値線の全体
１００ 内視鏡システム
１０２ 広帯域光源
１０４ 回転フィルタ
１０５ フィルタ切替部
１０６ 撮像センサ
１０８ 内側フィルタ
１０８ａ Ｂ１フィルタ
１０８ｂ Ｇフィルタ
１０８ｃ Ｒフィルタ
１０９ 外側フィルタ
１０９ａ Ｂ１フィルタ
１０９ｂ Ｂ２フィルタ
１０９ｃ Ｇフィルタ
１０９ｄ Ｒフィルタ
２００ 血管密度画像生成部
２０２ 演算画像信号生成部
２０４ 特定深さ血管強調画像生成部
２０６ 画像生成部

Claims (11)

1. 異なるタイミングで観察対象を撮像して得られた計測用マルチフレーム画像に基づいて生体特徴量を算出する生体特徴量算出処理を行う生体特徴量算出部と、前記生体特徴量算出処理の内容を補正する補正部とを有する内視鏡システムであって、
   異なるタイミングで観察対象を撮像することにより、補正用マルチフレーム画像を少なくとも１セット以上取得する画像取得部と、
   前記補正用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す補正用画像変動量を算出する補正用画像変動量算出部と、
   前記補正用画像変動量に基づいて、前記補正部での補正に用いる計測用補正値の候補となる仮補正値を算出する補正値算出部と、
   前記補正用画像変動量と前記仮補正値とを対応付けて記憶する補正値用記憶部と、
   前記計測用マルチフレーム画像に基づく画像状態について前記基準画像状態からの変動量を示す計測用画像変動量を算出する計測用画像変動量算出部と、
   前記補正値用記憶部に記憶した前記補正用画像変動量と前記計測用画像変動量とを比較し、比較した結果に基づいて、前記補正値用記憶部に記憶した仮補正値の中から、特定の条件を満たす仮補正値を前記計測用補正値として決定する補正値決定部とを備える内視鏡システム。
2. 前記補正値決定部は、前記特定の条件を満たす仮補正値として、前記計測用画像変動量に最も近い補正用画像変動量に対応付けられた仮補正値を前記計測用補正値に決定する請求項１記載の内視鏡システム。
3. 前記補正値決定部は、前記補正用画像変動量と前記計測用画像変動量から変動量指標値を算出し、前記特定の条件を満たす仮補正値として、前記変動量指標値が特定の範囲内に入った場合に算出した補正用画像変動量に対応付けられた仮補正値を前記計測用補正値に決定する請求項１記載の内視鏡システム。
4. 前記変動量指標値は、前記補正用画像変動量と前記計測用画像変動量との差分、または、前記補正用画像変動量と前記計測用画像変動量との比である請求項３記載の内視鏡システム。
5. 前記補正値決定部は、前記特定の条件を満たす仮補正値が無い場合には、予め定めたデフォルトの仮補正値を前記計測用補正値として決定する請求項３または４記載の内視鏡システム。
6. 前記補正用画像変動量算出部は、前記補正用マルチフレーム画像のうち補正用画像変動量算出領域における変動量を前記補正用画像変動量として算出し、
   前記計測用画像変動量算出部は、前記計測用マルチフレーム画像のうち計測用画像変動量算出領域における変動量を前記補正用画像変動量として算出する請求項１ないし５いずれか１項記載の内視鏡システム。
7. 前記補正値決定部は、前記補正用画像変動量算出領域と前記計測用画像変動量算出領域とが重複する領域において、前記補正用画像変動量と前記計測用画像変動量の比較を行う請求項６記載の内視鏡システム。
8. 前記補正用画像変動量算出部は、前記基準画像状態に対して変動を生じさせる複数の種類の変動要因について、それぞれ補正用画像変動量を算出し、
   前記計測用画像変動量算出部は、前記基準画像状態に対して変動を生じさせる前記複数の種類の変動要因について、それぞれ計測用画像変動量を算出し、
   前記補正値決定部は、前記補正用画像変動量と前記計測用画像変動量について、変動要因の種類毎に比較する請求項１ないし７いずれか１項記載の内視鏡システム。
9. 前記変動要因は、前記補正用マルチフレーム画像間の位置ズレ又は前記計測用マルチフレーム画像間の位置ズレ、前記補正用マルチフレーム画像内での動き又は前記計測用マルチフレーム画像内での動き、前記補正用マルチフレーム画像を取得した際の照明光の発光量の変化又は前記計測用マルチフレーム画像を取得した際の照明光の発光量の変化、前記補正用マルチフレーム画像の画素値の変化又は前記計測用マルチフレーム画像の画素値の変化、前記補正用マルチフレーム画像における残液の量の変化又は前記計測用マルチフレーム画像における残液の量の変化である請求項８記載の内視鏡システム。
10. 前記補正部は、前記生体特徴量算出処理の内容の補正として、前記生体特徴量の算出に用いる演算テーブルの補正、前記計測用マルチフレーム画像に基づく補正、又は前記生体特徴量の補正の少なくともいずれかを行う請求項１ないし９いずれか１項記載の内視鏡システム。
11. 生体特徴量算出部が、異なるタイミングで観察対象を撮像して得られた計測用マルチフレーム画像に基づいて生体特徴量を算出する生体特徴量算出処理を行うステップと、補正部が、前記生体特徴量算出処理の内容を補正するステップとを有する内視鏡システムの作動方法であって、
    画像取得部が、異なるタイミングで観察対象を撮像することにより、補正用マルチフレーム画像を少なくとも１セット以上取得するステップと、
    補正用画像変動量算出部が、前記補正用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す補正用画像変動量を算出するステップと、
    補正値算出部が、前記補正用画像変動量に基づいて、前記補正部での補正に用いる計測用補正値の候補となる仮補正値を算出するステップと、
    対応付け部が、前記補正用画像変動量と前記仮補正値とを対応付けて補正値用記憶部に記憶するステップと、
    計測用画像変動量算出部が、前記計測用マルチフレーム画像に基づく画像状態について前記基準画像状態からの変動量を示す計測用画像変動量を算出するステップと、
    補正値決定部が、前記補正値用記憶部に記憶した前記補正用画像変動量と前記計測用画像変動量とを比較し、比較した結果に基づいて、前記補正値用記憶部に記憶した仮補正値の中から、特定の条件を満たす仮補正値を前記計測用補正値として決定するステップとを有する内視鏡システムの作動方法。

Images