JP7477208B2 - 内視鏡システム及びその作動方法 - Google Patents

Description

本発明は、複数種類の観察画像を切り替えて表示する場合において、複数種類の観察画像の静止画を保存する内視鏡システム及びその作動方法に関する。

近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるＲＧＢ画像信号に基づいて、観察対象の画像をディスプレイ上に表示する。

また、近年では、診断の目的に応じて、表示内容が異なる複数の観察画像を同時に又は切り替えてディスプレイに表示することが行われている。例えば、特許文献１では、表層血管を強調する第１観察画像と深層血管を強調する第２観察画像とを切り替えてディスプレイの表示する場合において、第１観察画像と第２観察画像の背景粘膜の色調を同一とすることにより、第１観察画像と第２観察画像の違いが分かるようにしている。

国際公開第２０１９／１６３５４０号 特許第５５８７９３２号公報

上記のように、表示内容が異なる複数種類の観察画像を同時に又は切り替えてディスプレイに表示する場合においても、事後的な診断を行うため、それら複数種類の観察画像の静止画を静止画保存メモリに保存することが求められている。複数種類の観察画像の静止画を保存する場合には、ユーザーが事前に、それら静止画の内容を確認してから、静止画保存メモリに保存することが好ましい。

これに関して、特許文献２には、複数種類の観察画像として、酸素飽和度観察用静止画、通常観察用静止画、血管強調観察用静止画を保存する場合には、それら３種類の静止画を、一定時間ごとに１つずつ切り替えて連続的にディスプレイに表示することが記載されている。ただし、３種類の静止画の表示を切り替える時間によっては、それら静止画の内容の違いを把握することが難しい場合がある。

本発明は、複数種類の観察画像の静止画を保存する場合において、それら複数種類の観察画像の静止画の違いを保存前に確認することができる内視鏡システム及びその作動方法を提供することを目的とする。

本発明の内視鏡システムは、第１観察画像、又は、第１観察画像と異なる第２観察画像を表示するディスプレイと、第１観察画像の静止画又は第２観察画像の静止画を取得するためのフリーズ処理を行うフリーズ処理操作部材と、画像処理用プロセッサとを備え、画像処理用プロセッサは、動画表示期間において、第１観察画像と第２観察画像とを動画切替周期で自動的に切り替えてディスプレイに表示し、フリーズ処理によって開始する静止画表示期間において、第１観察画像の静止画及び第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、第１観察画像の静止画に対応する第１保存候補画像と第２観察画像の静止画に対応する第２保存候補画像とを選択し、且つ、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイに表示し、静止画切替周期は前記動画切替周期よりも早くし、静止画切替周期＞動画切替周期の関係を維持されるように、ユーザーインターフェースを用いて、動画切替周期と静止画切替周期の少なくとも一方を設定する。

画像処理用プロセッサは、静止画セットに含まれる第１観察画像の静止画のうち、最もブレが少ないブレ最小の第１観察画像の静止画を、第１保存候補画像として選択し、且つ、静止画セットに含まれる第２観察画像の静止画のうち、ブレ最小の第１観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第２観察画像の静止画を、第２保存候補画像として選択することが好ましい。画像処理用プロセッサは、ブレ最小の第１観察画像の静止画と位置ずれ最小の第２観察画像の静止画とを位置合わせする位置合わせ処理を行うことが好ましい。

画像処理用プロセッサは、静止画セットに含まれる第２観察画像の静止画のうち、最もブレが少ないブレ最小の第２観察画像の静止画を、第２保存候補画像として選択し、且つ、静止画セットに含まれる第１観察画像の静止画のうち、ブレ最小の第２観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第１観察画像の静止画を、第１保存候補画像として選択することが好ましい。画像処理用プロセッサは、位置ずれ最小の第１観察画像の静止画とブレ最小の第２観察画像の静止画とを位置合わせする位置合わせ処理を行うことが好ましい。

静止画切替周期は、第１保存候補画像と第２保存候補画像の切替表示の回数が１秒間で３回以下であることが好ましい。画像処理用プロセッサは、ユーザーインターフェースを用いて、動画切替周期と静止画切替周期との少なくとも一方を設定することが好ましい。画像処理用プロセッサは、フリーズ処理を開始したタイミングで第１観察画像をディスプレイに表示している場合には、静止画表示期間では、第１保存候補画像の静止画をディスプレイに表示した後に、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイに表示することが好ましい。

フリーズ処理操作部材に加えて、第１保存候補画像と第２保存候補画像を静止画保存メモリに保存する静止画保存処理を行うための保存処理操作部材を備え、画像処理用プロセッサは、少なくともフリーズ処理操作部材を操作した場合にフリーズ処理を実行し、フリーズ処理実行中に、保存処理操作部材を操作することにより、静止画保存処理を実行することが好ましい。フリーズ処理操作部材の操作に従って開始するフリーズ設定時間内は、フリーズ処理操作部材の操作を解除した場合であっても、フリーズ処理が継続することが好ましい。

第１分光情報を有する第１照明光と、第１分光情報とことなる第２分光情報を有する第２照明光とを発する光源部と、光源用プロセッサとを有し、光源用プロセッサは、第１照明光と第２照明光とを自動的に切り替え、第１観察画像は、第１照明光により照明された観察対象を撮像することにより得られ、第２観察画像は、第２照明光により照明された観察対象を撮像することにより得られることが好ましい。

画像処理用プロセッサは、観察画像生成用画像を取得し、観察画像生成用画像の第１色信号を明るさ情報に割り当てて第１観察画像を生成し、観察画像生成用画像の第２色信号を明るさ情報に割り当てて第２観察画像を生成することが好ましい。

第１観察画像と第２観察画像とは同一の観察対象が表示されており、かつ、少なくとも背景粘膜の一部が同じ色調であり、第１観察画像が有する第１分光情報と第２観察画像が有する第２分光情報とは異なっていることが好ましい。

本発明の内視鏡システムは、第１観察画像、又は、第１観察画像と異なる第２観察画像を表示するディスプレイと、第１観察画像の静止画又は第２観察画像の静止画を取得するためのフリーズ処理を行うフリーズ処理操作部材と、画像処理用プロセッサとを備え、画像処理用プロセッサは、観察画像生成用画像を取得し、観察画像生成用画像の第１色信号を明るさ情報に割り当てた第１色信号画像、又は、観察画像生成用画像の第２色信号を明るさ情報に割り当てた第２色信号画像のいずれか一方を第１観察画像と、他方を第２観察画像として生成し、動画表示期間において、第１観察画像と第２観察画像とを動画切替周期で自動的に切り替えてディスプレイに表示し、フリーズ処理によって開始する静止画表示期間において、第１観察画像の静止画及び第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、ブレ最小の第１観察画像の静止画に対応する第１保存候補画像と、第１保存候補画像と同じ観察画像生成用画像より生成された第２観察画像の静止画に対応する第２保存候補画像とを選択し、且つ、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイに表示し、静止画切替周期は動画切替周期よりも早くし、静止画切替周期＞動画切替周期の関係を維持されるように、ユーザーインターフェースを用いて、動画切替周期と静止画切替周期の少なくとも一方を設定する。

本発明は、第１観察画像、又は、第１観察画像と異なる第２観察画像を表示するディスプレイと、第１観察画像の静止画又は第２観察画像の静止画を取得するためのフリーズ処理を行うフリーズ処理操作部材と、画像処理用プロセッサとを備える内視鏡システムの作動方法において、画像処理用プロセッサは、動画表示期間において、第１観察画像と第２観察画像とを動画切替周期で自動的に切り替えてディスプレイに表示し、フリーズ処理によって開始する静止画表示期間において、第１観察画像の静止画及び第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、第１観察画像の静止画に対応する第１保存候補画像と第２観察画像の静止画に対応する第２保存候補画像とを選択し、且つ、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイに表示し、静止画切替周期は動画切替周期よりも早くし、静止画切替周期＞動画切替周期の関係を維持されるように、ユーザーインターフェースを用いて、動画切替周期と静止画切替周期の少なくとも一方を設定する。

本発明によれば、複数種類の観察画像の静止画を保存する場合において、それら複数種類の観察画像の静止画の違いを保存前に確認することができる。

第１実施形態の内視鏡システムの外観図である。 第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示すグラフである。 紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒを含む第１照明光の発光スペクトルを示すグラフである。 緑色光Ｇ及び赤色光Ｒを含む第２照明光の発光スペクトルを示すグラフである。 第１観察画像を示す画像図である。 第２観察画像を示す画像図である。 カラーの第１観察画像と第２観察画像の切り替え表示を示す説明図である。 動画表示期間及び静止画表示期間を示す説明図である。 静止画セットを示す説明図である。 ブレ最小の第１観察画像の静止画と位置ずれ最小の第２観察画像の静止画を示す説明図である。 ブレ最小の第１観察画像の静止画と位置ずれ最小の第２観察画像の静止画の切替表示を示す説明図である。 動画切替周期及び静止画切替周期を示す説明図である。 切替周期設定メニューを示す画像図である。 フリーズ処理及び静止画保存処理の流れを示すフローチャートである。 別の実施形態の内視鏡の操作部の一部を示す平面図である。 第１実施形態における別形態の内視鏡システムの機能を示すブロック図である。 第２実施形態の内視鏡システムの機能を示すブロック図である。 第１観察画像生成処理を示す説明図である。 第２観察画像生成処理を示す説明図である。 解析処理モード時の第１Ａパターン又は第２Ａパターンを示す説明図である。 解析処理モード時の第１Ｂパターンを示す説明図である。 解析処理モード時の第２Ｂパターンを示す説明図である。 解析処理モード時の第２Ｃパターンを示す説明図である。 解析処理モード時の第２Ｄパターンを示す説明図である。 第１撮像期間及び第２撮像期間を示す説明図である。 解析処理モードにおける照明制御、解析処理、及び画像表示を時系列順で示す説明図である。

［第１実施形態］
図１に示すように、第１実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。なお、ユーザーインターフェース１９は図示したキーボードの他、マウスなどが含まれる。

また、操作部１２ｂには、アングルノブ１２ｅの他、モード切替ＳＷ１３ａ、フリーズ処理操作部材１３ｂが設けられている。モード切替ＳＷ１３ａは、通常観察モードと、第１特殊観察モードと、第２特殊観察モードと、マルチ観察モードとの切替操作に用いられる。通常観察モードは、通常画像をディスプレイ１８上に表示するモードである。第１特殊観察モードは、表層血管を強調した第１観察画像をディスプレイ１８上に表示するモードである。第２特殊観察モードは、深層血管を強調した第２観察画像をディスプレイ１８上に表示するモードである。マルチ観察モードは、第１観察画像と第２観察画像とを自動的に切り替えてディスプレイ１８に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替ＳＷ１３ａの他に、フットスイッチを用いてもよい。

フリーズ処理操作部材１３ｂは、フリーズ処理の実行操作に用いられる。また、フリーズ処理操作部材１３ｂは、静止画保存処理を実行する保存処理操作部材としての機能も兼ねている。少なくともフリーズ処理操作部材１３ｂを操作した場合に前記フリーズ処理を実行する。このフリーズ処理の実行中に、保存処理操作部材としてのフリーズ処理操作部材１３ｂを更に操作することにより、静止画保存処理が実行される。静止画保存処理が完了すると、フリーズ処理、即ち、観察画像の静止状態が解除される。フリーズ処理及び静止画保存処理の詳細については、後述する。なお、フリーズ処理操作部材１３ｂの操作に従って開始するフリーズ設定時間内は、フリーズ処理操作部材１３ｂの操作を解除した場合であっても、フリーズ処理を継続させることが好ましい。フリーズ設定時間は、サービスマンなどがユーザーインターフェース１９を操作することによって、予め設定が可能である。

プロセッサ装置１６は、ディスプレイ１８及びユーザーインターフェース１９と電気的に接続される。ディスプレイ１８は、画像情報等を出力表示する。ユーザーインターフェース１９は、機能設定等の入力操作を受け付けるUI（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。

図２に示すように、光源装置１４は、光源部２０と、光源用プロセッサ２１と、光路結合部２３とを有している。光源部２０は、V-LED（Violet Light Emitting Diode）２０ａ、B-LED（Blue Light Emitting Diode）２０ｂ、G-LED（Green Light Emitting Diode）２０ｃ、R-LED（Red Light Emitting Diode）２０ｄを有している。光源用プロセッサ２１は、ＬＥＤ２０a～２０ｄの駆動を制御する。光路結合部２３は、４色のLED２０a～２０ｄから発せられる４色の光の光路を結合する。光路結合部２３で結合された光は、挿入部１２a内に挿通されたライトガイド４１及び照明レンズ４５を介して、被検体内に照射される。なお、LEDの代わりに、LD（Laser Diode）を用いてもよい。

図３に示すように、V-LED２０ａは、中心波長４０５±１０nm、波長範囲３８０～４２０nmの紫色光Ｖを発生する。B-LED２０ｂは、中心波長４６０±１０nm、波長範囲４２０～５００nmの青色光Ｂを発生する。G-LED２０ｃは、波長範囲が４８０～６００nmに及ぶ緑色光Ｇを発生する。R-LED２０ｄは、中心波長６２０～６３０nmで、波長範囲が６００～６５０nmに及ぶ赤色光Ｒを発生する。

光源用プロセッサ２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。また、光源用プロセッサ２１は、第１特殊観察モード時には、第１分光情報として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる第１照明光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。第１照明光は、表層血管を強調するとともに、背景粘膜の色を正確に再現することができることが好ましい。そのため、例えば、図４に示すように、少なくともＶｓ１を、その他のＢｓ１、Ｇｓ１、Ｒｓ１よりも大きくすることが好ましい。Ｂｓ１は「０」としてもよい。この場合の第１照明光は、紫色光、緑色光、及び赤色光を含むため、上記のような表層血管を強調することができるとともに、背景粘膜の色を正確に再現でき、且つ、腺管構造や凹凸など各種構造も強調することができる。なお、後述の第２照明光のスペクトル（図５参照）と比較すると、Ｇｓ１＜Ｇｓ２、Ｒｓ１＜Ｒｓ２とすることが好ましい。

なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。

また、光源用プロセッサ２１は、第２特殊観察モード時には、第２分光情報として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる第２照明光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。第２照明光は、深層血管を強調するとともに、背景粘膜の色を正確に再現することができることが好ましい。そのため、例えば、図５に示すように、Ｇｓ２、Ｒｓ２＞０とすることが好ましい。Ｖｓ１、Ｂｓ１はＧｓ２、Ｒｓ２よりも小さいことが好ましい。この場合の第２照明光は、緑色光及び赤色光を含むため、深層血管を強調することができ、且つ、背景粘膜の色を正確に再現することができる。

光源用プロセッサ２１は、マルチ観察モードに設定されている場合には、第１照明光と第２照明光とをそれぞれ２フレーム以上の発光期間にて発光し、且つ、第１照明光と第２照明光とを自動的に切り替えて発光する制御を行う。第１照明光の発光時に得られる第１観察画像と、第２照明光の発光時に得られる第２観察画像とにおいては、それぞれの背景粘膜の一部の色調を少なくとも同じにするように生成している。ここで、「背景粘膜の色調が同じ」とは、第１観察画像の背景粘膜と第２観察画像の背景粘膜の色調が全く同じである他、第１観察画像の背景粘膜と第２観察画像の背景粘膜との色差が一定の範囲内であることをいう。また、第１観察画像と第２観察画像において、背景粘膜の一部だけでなく、一部以外の色調を同じようにしてもよい。なお、背景粘膜とは、観察対象のうち、血管や腺管構造など構造物として認識又は撮像される領域を含まない領域をいう。

なお、「フレーム」とは、観察対象を撮像する撮像センサ４８を制御するための単位をいい、例えば、「１フレーム」とは、観察対象からの光で撮像センサ４８を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間が定められている。

また、光源用プロセッサ２１は、プロセッサ装置１６の明るさ情報算出部５４から送られる明るさ情報に基づいて、各ＬＥＤ２０ａ～２０ｄから発せられる照明光の発光量を制御する。

図２に示すように、ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３～０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６及び撮像センサ４８を有している。観察対象からの反射光は、対物レンズ４６を介して、撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の反射像が結像される。

撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ４８は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサ、即ち、Ｒフィルタが設けられたＲ画素、Ｇフィルタが設けられたＧ画素、Ｂフィルタが設けられたＢ画素を備えた、いわゆるＲＧＢ撮像センサである。

なお、撮像センサ４８としては、RGBのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色－原色色変換によって、CMYGの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源用プロセッサ２１は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。

撮像センサ４８から出力される画像信号は、ＣＤＳ／ＡＧＣ回路５０に送信される。ＣＤＳ／ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。

プロセッサ装置１６は、フリーズ処理、静止画保存処理などの各種処理に関するプログラムがプログラム用メモリ（図示しない）に組み込まれている。画像処理用プロセッサによって構成される中央制御部５９がプログラムを実行することによって、プロセッサ装置１６では、画像取得部５３と、明るさ情報算出部５４と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、信号切替部６０と、通常観察画像処理部６２と、第１特殊観察画像処理部６３と、第２特殊観察画像処理部６４と、表示制御部６６と、静止画保存メモリ６７と、静止画関連処理部６８の機能が実現する。

画像取得部５３は、内視鏡１２において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡１２からのデジタルのカラー画像信号が画像取得部５３に入力される。カラー画像信号は、撮像センサ４８のＲ画素から出力されるＲ画像信号と、撮像センサ４８のＧ画素から出力されるＧ画像信号と、撮像センサ４８のＢ画素から出力されるＢ画像信号とから構成されるＲＧＢ画像信号である。明るさ情報算出部５４は、画像取得部５３から入力されるＲＧＢ画像信号に基づいて、観察対象の明るさを示す明るさ情報を算出する。算出した明るさ情報は光源用プロセッサ２１に送られ、照明光の発光量の制御に用いられる。

ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたＲＧＢ画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のＲＧＢ画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のＲＧＢ画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のＲＧＢ画像信号には、デモザイク処理（等方化処理、同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。

ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施されたＲＧＢ画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、ＲＧＢ画像信号からノイズを除去する。ノイズが除去されたＲＧＢ画像信号は、信号切替部６０に送信される。

信号切替部６０は、モード切替ＳＷ１３ａにより、通常観察モードにセットされている場合には、ＲＧＢ画像信号を通常観察画像処理部６２に送信する。また、第１特殊観察モードにセットされている場合には、ＲＧＢ画像信号を第１特殊観察画像処理部６３に送信する。また、第２特殊観察モードにセットされている場合には、ＲＧＢ画像信号を第２特殊観察画像処理部６４に送信する。また、マルチ観察モードにセットされている場合には、第１照明光の照明及び撮像で得られたＲＧＢ画像信号は第１特殊観察画像処理部６３に送信され、第２照明光の照明及び撮像で得られたＲＧＢ画像信号は第２特殊観察画像処理部６４に送信される。

通常観察画像処理部６２は、通常観察モード時に得られたＲＧＢ画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常観察画像処理部６２では、通常画像用の画像処理を行うために、ＲＧＢ画像信号に対して掛け合わされる通常画像用パラメータが設けられている。通常画像用の画像処理が施されたＲＧＢ画像信号は、通常画像として、通常観察画像処理部６２から表示制御部６６に入力される。

第１特殊観察画像処理部６３は、第１照明光の照明及び撮像時に得られた第１観察画像のＲＧＢ画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理（第１観察画像用画像処理）が行われた第１観察画像を生成する。第１観察画像では、表層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。なお、第１特殊観察画像処理部６３では、第１観察画像をできるだけディスプレイ１８に表示するようにするために、表層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、表層血管強調処理を行うようにしてもよい。

第２特殊観察画像処理部６４は、第２照明光の照明及び撮像時に得られた第２観察画像の第２ＲＧＢ画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理（第２観察画像用画像処理）が行われた第２観察画像を生成する。第２観察画像では、深層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。なお、マルチ観察モードでは、第１観察画像と第２観察画像において、少なくとも背景粘膜の一部の色調は同じになっている。

表示制御部６６は、通常観察画像処理部６２、第１特殊観察画像処理部６３、第２特殊観察画像処理部６４から入力された通常画像、第１観察画像、又は第２観察画像を、ディスプレイ１８で表示可能な画像として表示するための制御を行う。表示制御部の詳細については後述する。

静止画関連処理部６８は、各観察モードに対応する画像の静止画を取得するためのフリーズ処理と、フリーズ処理で得られる静止画を静止画保存メモリ６７に保存する静止画保存処理を行う。通常観察モードの場合であれば、フリーズ処理により通常画像の静止画を取得し、取得した通常画像の静止画を静止画保存処理によって静止画保存メモリ６７に保存する。第１特殊観察モードの場合であれば、フリーズ処理により第１観察画像の静止画を取得し、取得した第１画像の静止画を静止画保存処理によって静止画保存メモリ６７に保存する。第２特殊観察モードの場合であれば、フリーズ処理により第２観察画像の静止画を取得し、取得した第２観察画像の静止画を静止画保存処理によって静止画保存メモリ６７に保存する。マルチ観察モードにおけるフリーズ処理と静止画保存処理の詳細については、後述する。

以下、表示制御部６６の詳細について説明を行う。表示制御部６６による制御によって、各観察モードに応じた画像が表示される。通常観察モードの場合には、通常画像がディスプレイ１８に表示される。また、第１特殊観察モードの場合には、図６に示すように、観察対象のうち背景粘膜、及び、表層血管が表された第１観察画像が表示される。また、第２特殊観察モードの場合には、図７に示すように、観察対象のうち背景粘膜、及び、深層血管が表された第２観察画像が表示される。

また、マルチ観察モードの場合には、図８に示すように、第１照明光の発光期間と第２照明光の発光期間に合わせて、カラーの第１観察画像と第２観察画像が切り替えてディスプレイ１８に表示される。即ち、第１照明光の発光期間が２フレームで、第２照明光の発光期間が３フレームである場合には、第１観察画像が２フレーム続けて表示され、且つ、第２観察画像が３フレーム続けて表示される。

以上のように、マルチ観察モードにおいては、ユーザーによるモード切替ＳＷ１３ａの操作を行うことなく、２種類の第１観察画像と第２観察画像を自動的に切り替えて表示することができる。このように自動的に切り替えて表示することで、観察対象に動き又は内視鏡１２の先端部１２ｄに動きが無い限り、第１観察画像と第２観察画像とでは同一の観察対象が表示される。ただし、第１観察画像と第２観察画像とでは同一の観察対象であっても、それぞれ分光情報が異なっているため、分光情報の違いにより観察対象の見え方は異なっている。即ち、第１分光情報を有する第１観察画像では表層血管の視認性が高くなっている一方、第２分光情報を有する第２観察画像では深層血管の視認性が高くなっている。したがって、第１観察画像と第２観察画像とを切り替えて表示することによって、深さが異なる複数の血管に対する視認性の向上を図ることができる。

また、第１観察画像と第２観察画像は、それぞれ赤色、緑色、青色帯域を含む照明光に基づいて得られた画像であるため、背景粘膜の色調を再現することができる。したがって、マルチ観察モードで表示される第１観察画像と第２観察画像は、通常画像と背景粘膜の色調がほとんど変わらない画像を生成しているため、ユーザーに違和感を与えることがない。その結果、マルチ観察モードに対するユーザーの学習を比較的短い期間で行うことができる。また、第１観察画像と第２観察画像を切り替えて表示することで、深層血管から表層血管までどのように血管が立ち上がっているかを把握することができる。また、第１観察画像と第２観察画像とでは、背景粘膜の色調が同じであるため、画像の切替によって、血管の違いだけを強調して表示することが可能となる。

次に、マルチ観察モードにおけるフリーズ処理と静止画保存処理について、説明する。マルチ観察モードにおいては、図９に示すように、第１観察画像又は第２観察画像をディスプレイ１８に表示する期間として、動画表示期間と、フリーズ処理によって開始する静止画表示期間が設けられている。動画表示期間では、第１観察画像と第２観察画像とを動画切替周期で自動的に切り替えてディスプレイ１８に表示する。動画表示期間は、フリーズ処理又は静止画保存処理は行われない期間、又は、静止画表示期間終了後に復帰する期間となっている。

静止画表示期間においては、第１観察画像の静止画と第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリ６７に保存する候補として、第１観察画像の静止画に対応する第１保存候補画像と第２観察画像の静止画に対応する第２保存候補画像とを選択し、且つ、第１保存候補画像と第２保存候補画像を静止画切替周期で自動的に切り替えてディスプレイ１８に表示する。なお、フリーズ処理を開始したタイミングに第１観察画像をディスプレイ１８に表示している場合には、静止画表示期間では、第１保存候補画像の静止画をディスプレイに表示した後に、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイ１８に表示することが好ましい。

静止画セットとしては、具体的には、動画表示期間で得られる静止画セット、又は、静止画表示期間で得られる静止画セットのいずれでもよい。例えば、図１０に示すように、静止画表示期間において、３フレームの第１照明光と２フレームの第２照明光からなる発光サイクルを繰り返し行う場合においては場合には、１の発光サイクル毎に、静止画セットとして、３フレーム分の第１観察画像と２フレーム分の第２観察画像が得られる。なお、静止画セットは、１の発光サイクルから得られる第１観察画像又は第２観察画像に限らず、複数の発光サイクルから得られる第１観察画像又は第２観察画像であってもよい。また、静止画表示期間は、ユーザーが静止画の画像の内容を把握できるのに十分な一定時間であることが好ましい。

そして、動画表示期間又は静止画表示期間で得られた静止画セットの中から、静止画保存メモリ６７に保存する候補として第１保存候補画像と第２保存候補画像とを選択する。具体的には、静止画セットに含まれる第１観察画像の静止画のうち、最もブレが少ないブレ最小の第１観察画像の静止画を、第１保存候補画像として選択し、且つ、静止画セットに含まれる第２観察画像の静止画のうち、ブレ最小の第１観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第２観察画像の静止画を、第２保存候補画像として選択する。また、ブレ最小の第１観察画像の静止画と、位置ずれ最小の第２観察画像とは、後述の「位置ずれ」に関する指標値を用いて、位置合わせする位置合わせ処理を行うことが好ましい。

なお、静止画セットに含まれる第２観察画像の静止画のうち、最もブレが少ないブレ最小の第２観察画像の静止画を、第２保存候補画像として選択し、且つ、静止画セットに含まれる第１観察画像の静止画のうち、ブレ最小の第２観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第１観察画像の静止画を、第１保存候補画像として選択してもよい。この場合、位置ずれ最小の第１観察画像の静止画とブレ最小の第２観察画像の静止画とを位置合わせする位置合わせ処理を行うことが好ましい。

なお、「ブレ」とは、観察対象又は内視鏡の先端部１２ｄが動くことにより発生して観察対象のシャープネスを低下させるものである。「ブレ」に関する指標値は、画像の空間周波数などにより算出することが好ましく、ブレ最小の第１観察画像の静止画の選択には、「ブレ」に関する指標値を用いて行うことが好ましい。また、なお、「位置ずれ」に関する指標値は、ブレ最小の第１観察画像の静止画と、ブレ最小の第１観察画像の静止画と比較する第２観察画像との移動ベクトルなどから算出することが好ましく、位置ずれ最小静止画の選択は、「位置ずれ」に関する指標値を用いて行うことが好ましい。

例えば、図１１に示すように、静止画セットが、３フレーム分の第１観察画像の静止画Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃと２フレーム分の第２観察画像Ｐ２ａ、Ｐ２ｂの静止画から構成される場合には、第１観察画像Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃの静止画の中から、ブレ最小の第１観察画像の静止画として、第１観察画像Ｐ１ｂを選択する。そして、第２観察画像Ｐ２ａ、Ｐ２ｂの静止画の中から、第１観察画像Ｐ１ｂに対して位置ずれが少ない位置ずれ最小の第２観察画像の静止画として、第２観察画像Ｐ２ａを選択する。

そして、静止画表示期間においては、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイ１８に表示する場合として、ブレ最小の第１観察画像の静止画と、位置ずれ最小の第２観察画像とを静止画切替周期で自動的にディスプレイ１８に表示する。例えば、図１１に示すように、ブレ最小の第１観察画像の静止画として、第１観察画像Ｐ１ｂを選択し、位置ずれ最小の第２観察画像の静止画として、第２観察画像Ｐ２ａを選択した場合には、図１２に示すように、第１観察画像Ｐ１ｂと第２観察画像Ｐ２ａとを静止画切替周期で自動的に切り替えてディスプレイ１８に表示する。ユーザーは、ディスプレイ１８の第１観察画像Ｐ１ｂと第２観察画像Ｐ２ａとを確認した上で、フリーズ処理操作部材１３ｂを全押しして静止画保存処理を実行することにより、第１観察画像Ｐ１ｂと第２観察画像Ｐ２ａとが静止画保存メモリ６７に保存される。

ここで、静止画切替周期は、動画切替周期よりも早くすることが好ましい。これは、ユーザーが、静止画保存メモリ６７に保存しようとする第１保存候補画像及び第２保存候補画像の違いを確認できるように、静止画切替周期を動画切替周期よりも早くしている。動画切替周期は、１秒間において、第１観察画像と第２観察画像をディスプレイ１８で切替表示する回数（回／秒）で表される。静止画切替周期は、１秒間において、第１保存候補画像と第２保存候補画像をディスプレイ１８で切替表示する回数（回／秒）で表される。

例えば、図１３に示すように、動画切替周期は１回／秒とし、静止画切替周期は、３回／秒とすることで、静止画表示期間において、第１保存候補画像と第２保存候補画像の違いを確実に確認することができる。静止画切替回数は３回／秒以下であることが好ましく、３回／秒を超える場合には、光過敏の問題が生じるおそれがある。なお、詳細は、「https://www.jstage.jst.go.jp/article/jsmbe1987/18/1/18_1_21/_pdf」（特集:ユビキタス映像社会における健康と安全、題名「視覚刺激による生体影響：脳波, 脳内イメージングによる検討」（BME Vol.18, No.1, 2004））に記載あり。

動画切替周期と静止画切替周期については、静止画関連処理部６８において、適宜変更が可能である。ユーザーインターフェース１９の操作により、動画切替周期と静止画切替周期の変更操作を受け付けると、静止画関連処理部６８は、図１４に示す切替周期設定メニューをディスプレイ１８上に表示する。静止画切替周期は、例えば、１回／秒から３回／秒の間で、０．５回／秒刻みで変更可能である。各切替周期については、スライドバー８０ａ上に割り当てられている。

静止画切替周期を変更する場合には、ユーザーインターフェース１９を操作して、スライドバー８０ａ上の変更したい切替周期を示す位置にスライダ８１ａを合わせることで、静止画切替周期が変更される。動画切替周期についても、ユーザーインターフェース１９を操作して、スライドバー８０ｂ（例えば、１回／秒から３回／秒の切替周期で、０．５回／秒刻みで変更可能）上の変更したい切替周期を示す位置にスライダ８ｂを合わせることで動画切替期間が変更される。なお、静止画切替周期は動画切替周期よりも早いことが好ましいことから、この場合には、静止画切替周期＞動画切替周期の関係が維持されるように、静止画切替周期又は動画切替周期が変更される。

次に、マルチ観察モードにおけるフリーズ処理及び静止画保存処理の一連の流れについて、図１５に示すフローチャートに沿って説明する。動画表示期間においては、第１観察画像と第２観察画像とが、動画切替周期で自動的に切り替えてディスプレイ１８に表示される。フリーズ処理操作部材１３ｂを半押しすることにより、フリーズ処理が実行される。これにより、静止画表示期間に切り替わる。

静止画表示期間では、まず、第１観察画像の静止画と第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリ６７に保存する候補として第１保存候補画像と第２保存候補画像とを選択する。第１保存候補画像と第２保存候補画像とが選択されると、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイ１８に表示する。静止画切替周期を動画切替周期よりも早くすることにより、第１候補観察画像と第２候補観察画像の違いがより分かるようになる。

ユーザーは、ディスプレイ１８に表示された第１保存候補画像と第２保存候補画像について、静止画として保存することに同意する場合には、フリーズ処理操作部材１３ｂを全押しすることにより、静止画保存処理が実行される。これにより、第１保存候補画像と第２保存候補画像が静止画保存メモリ６７に保存される。一方、ユーザーが、ディスプレイ１８に表示された第１保存候補画像と第２保存候補画像について、静止画として保存することに同意しない場合には、フリーズ処理操作部材１３ｂを操作せず、そのまま放置する。もしくは、ユーザーインターフェース１９を操作して、第１保存候補画像と第２保存候補画像を保存しない旨の操作を行う。そして、一定時間の静止画表示期間が終了すると、動画表示期間に復帰する。

なお、本実施形態では、フリーズ処理と静止画保存処理を、１つのフリーズ処理操作部材１３ｂで操作しているが、図１６に示すように、フリーズ処理操作部材１３ｂはフリーズ処理のみを行い、フリーズ処理操作部材１３ｂとは別体の保存処理操作部材１３ｃで静止画保存処理を行うようにしてもよい。

なお、第１実施形態では、通常観察画像処理部６２と、第１特殊観察画像処理部６３と、第２特殊観察画像処理部６４とを設けて、観察モードに応じて、いずれの処理部で処理するかを信号切替部６０によって決定するようにしているが、その他の方法で処理を行うようにしてもよい。例えば、通常観察画像処理部６２と、第１特殊観察画像処理部６３と、第２特殊観察画像処理部６４の代わりに、図１７に示すように、それら処理部６２、６３、６４を一まとめにした特定の画像処理部８０を設け、観察モードに対応するパラメータを用いて、各観察モードに対応する画像処理を行うようにしてもよい。

例えば、通常観察モードの場合であれば、特定の画像処理部８０において、通常画像用パラメータに設定して画像処理を行うことにより、通常画像を生成する。第１特殊観察モードの場合であれば、特定の画像処理部８０において、第１観察画像用パラメータに設定して、第１観察画像を生成する。第２特殊観察モードの場合であれば、特定の画像処理部８０において、第２観察画像用パラメータに設定して、第２観察画像を生成する。マルチ観察モードの場合であれば、第１照明光と第２照明光との切替に合わせて、特定の画像処理部８０において、第１観察画像用パラメータと第２観察画像用パラメータとの切替を行うことによって、第１観察画像と第２観察画像とがそれぞれ生成されるようにする。

［第２実施形態］
第１実施形態では、２種類の第１観察画像と第２観察画像を取得するために、第１観察画像の取得に用いる第１照明光と第２観察画像の取得に用いる第２照明光とを切り替えて発光を行っているが、第２実施形態では、１種類の特殊光によって得られた観察画像生成用画像から、第１分光情報を有する第１観察画像と、第１分光情報と異なる第２分光情報を有する第２観察画像を取得する。第２実施形態の第１観察画像と第２観察画像は、１フレームの観察画像生成用画像から生成されるため、観察対象は同一であり、且つ、画像間で位置ズレ等は生じていない。

第２実施形態の内視鏡システム１００では、図１８に示すように、プロセッサ装置１６において、第１特殊観察画像処理部６３、第２特殊観察画像処理部６４に代えて、特殊観察画像処理部１０２、マルチ観察画像処理部１０４が設けられていること以外、及び、第１特殊観察モード、第２特殊観察モードに代えて、特殊観察モード及びマルチ観察モードが設けられている以外は、第１実施形態とほぼ同様である。

第２実施形態において、特殊観察モードは、特定深さの血管を強調した特殊観察画像をディスプレイ１８上に表示するモードである。マルチ観察モードは、観察画像生成用画像から、表層血管を強調した第１観察画像、及び、深層血管を強調した第２観察画像を生成し、且つ、第１観察画像と第２観察画像とを自動的に切り替えてディスプレイ１８に表示するモードである。

第２実施形態では、光源用プロセッサ２１は、特殊観察モード又はマルチ観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。特殊光は、特定深さの血管を強調するとともに、背景粘膜の色を正確に再現することができることが好ましい。

第２実施形態においては、信号切替部６０は、モード切替ＳＷ１３ａにより、通常観察モードにセットされている場合には、ノイズ除去部５８を経たＲＧＢ画像信号を通常観察画像処理部６２に送信する。また、特殊観察モードにセットされている場合には、ノイズ除去部５８を経たＲＧＢ画像信号を特殊観察画像処理部６３に送信する。また、マルチ観察モードにセットされている場合には、ノイズ除去部５８を経たＲＧＢ画像信号をマルチ観察画像処理部１０４に送信する。

特殊観察画像処理部６３は、特殊観察モード時に得られたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号が入力される。この入力されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、特殊観察モード用の画像処理を施す。特殊観察画像処理部６３では、特殊観察モード用の画像処理を行うために、Ｒｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して掛け合わされる特殊観察モード用のパラメータが設けられている。特殊観察モード用の画像処理には、特殊観察モード用の構造強調処理などが含まれる。特殊観察画像用の画像処理が施されたＲＧＢ画像信号は、特殊観察画像として、特殊観察画像処理部６３から表示制御部６６に入力される。

マルチ観察画像処理部１０４は、マルチ観察モード時に得られたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号が入力される。この入力されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、マルチ観察モード用の画像処理を施す。マルチ観察モード用の画像処理は、１フレームの観察画像生成用画像から、互いに異なる深さの血管を強調した複数の観察画像を生成する。本実施形態では、複数の観察画像として、表層血管を強調した第１観察画像と深層血管を強調した第２観察画像とを生成する。マルチ観察モード用の画像処理の詳細については後述する。第１観察画像と第２観察画像とは、マルチ観察画像処理部１０４から表示制御部６６に入力される。なお、マルチ観察画像処理部１０４においても、マルチ観察モード用の画像処理を行うために、Ｒｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に掛け合わされるマルチ観察モード用のパラメータが設けられている。

次に、マルチ観察モード用の画像処理について説明する。マルチ観察モードの画像処理においては、観察画像生成用画像の第１色信号を明るさ情報に割り当てた第１色信号画像、又は、観察画像生成用画像の第２色信号を明るさ情報に割り当てた第２色信号画像のいずれか一方を第１観察画像と、他方を第２観察画像として生成する。本実施形態では、第１色信号画像を第１観察画像とし、第２色信号画像を第２観察画像とするが、その反対でもよい。

第１観察画像を生成する第１観察画像生成処理は、図１９に示すように、マルチ観察モード時に得られるＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、輝度色差信号変換処理を行って、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換する。次に、輝度信号Ｙ（明るさ情報）をＢｓ画像信号（観察画像の第１色信号（青色信号））に割り当てる輝度信号割り当て処理を行うことによって、輝度信号Ｙを輝度信号Ｙｍに変換する。Ｂｓ画像信号は、後述するように、表層血管の情報を含んでいることから、第１観察画像について、背景粘膜以外の領域に含まれる第１特定情報として、表層血管を強調した画像にすることができる。また、第１観察画像は、特殊光のうち緑色光Ｇ及び赤色光Ｒの成分が含まれるＧｓ画像信号、Ｒｓ画像信号に基づいて生成されるため、背景粘膜の色調も正確に表されている。

次に、輝度信号Ｙを輝度信号Ｙｍに変換することに伴う色差信号Ｃｒ、Ｃｂのずれを補正する色差信号補正処理を行う。具体的には、色差信号Ｃｒに対して、変換後の色差信号Ｙｍ／変換後の色差信号Ｙを掛け合わせる。同様にして、色差信号Ｃｂに対して、変換後の色差信号Ｙｍ／変換後の色差信号Ｙを掛け合わせる。これにより、色差信号Ｃｒ、Ｃｂのずれを補正することにより、色相を維持したまま、輝度の変換に応じて彩度のずれを補正することができる（輝度が小さくなる場合には彩度を小さくすることができ、輝度が大きくなる場合には彩度を大きくすることができる）。そして、輝度信号Ｙｍ、色差信号Ｃｒ×Ｙｍ／Ｙ、色差信号Ｃｂ×Ｙｍ／Ｙに対して、ＲＧＢ変換処理を行うことによって、Ｂ１画像信号、Ｇ１画像信号、Ｒ１画像信号に変換する。これらＢ１画像信号、Ｇ１画像信号、Ｒ１画像信号が第１色信号画像に相当し、第１観察画像となる。

第２観察画像を生成する第２観察画像生成処理は、図２０に示すように、第１観察画像生成処理と同様、マルチ観察モード時に得られるＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、輝度色差信号変換処理を行って、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換する。次に、輝度信号Ｙ（明るさ情報）をＧｓ画像信号（観察画像の第２色信号（緑色信号））に割り当てる輝度信号割り当て処理を行うことによって、輝度信号Ｙを輝度信号Ｙｎに変換する。Ｇｓ画像信号は、後述するように、深層血管の情報を含んでいることから、第２観察画像について、背景粘膜以外の領域に含まれる第２特定情報として、深層血管を強調した画像にすることができる。また、第２観察画像は、特殊光のうち緑色光Ｇ及び赤色光Ｒの成分が含まれるＧｓ画像信号、Ｒｓ画像信号に基づいて生成されるため、背景粘膜の色調も正確に表されている。

なお、観察画像の第２色信号は観察画像の第１色信号よりも長波の成分を持つ色信号である。本実施形態では、第１色信号を青色信号、第２色信号を緑色信号としているが、これに限られない。例えば、第１色信号を緑色信号とし、第２色信号をＲｓ画像信号のような赤色信号としてもよい。

次に、輝度信号Ｙを輝度信号Ｙｎに変換することに伴う色差信号Ｃｒ、Ｃｂのずれを補正する色差信号補正処理を行う。具体的には、色差信号Ｃｒに対して、変換後の色差信号Ｙｎ／変換後の色差信号Ｙを掛け合わせる。同様にして、色差信号Ｃｂに対して、変換後の色差信号Ｙｎ／変換後の色差信号Ｙを掛け合わせる。これにより、色差信号Ｃｒ、Ｃｂのずれを補正することができる。そして、輝度信号Ｙｎ、色差信号Ｃｒ×Ｙｎ／Ｙ、色差信号Ｃｂ×Ｙｎ／Ｙに対して、ＲＧＢ変換処理を行うことによって、Ｂ２画像信号、Ｇ２画像信号、Ｒ２画像信号に変換する。これらＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号が第２色信号画像に相当し、第２観察画像となる。

第２実施形態の静止画保存処理は、以下のようにして行われる。静止画表示期間で得られた静止画セットの中から、静止画保存メモリ６７に保存する候補として、ブレ最小の第１観察画像の静止画に対応する第１保存候補画像と、第１保存候補画像と同じ観察画像生成用画像により生成された第２観察画像の静止画に対応する第２保存候補画像を選択する。なお、第１観察画像と第２観察画像は１フレームの観察画像生成用画像から生成されるものであるため、第１観察画像のブレが最小であれば、第２観察画像のブレも最小となっている。ブレ最小の第１観察画像を選択する方法は、第１実施形態と同様である。

なお、本実施形態においては、Ｂｓ画像信号、Ｇｓ画像信号、又は合成信号を割り当てる信号を、輝度信号Ｙとするが、その他の明るさ情報に割り当てるようにしてもよい。例えば、第１観察画像を明度、彩度、色相で構成する場合には、明るさ情報に対応する明度にＢｓ画像信号又はＧｓ画像信号を割り当てるようにしてもよい。

なお、光源用プロセッサ２１は、マルチ観察モード時に、第１照明光と第２照明光とを自動的に切り替えて発光する場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光してもよい。具体的には、第１発光パターンは、図２１に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａパターンと、図２２に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂパターンとのうちのいずれかであることが好ましい。

第２発光パターンは、図２１に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、図２３に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、図２４に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、図２５に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれかであることが好ましい。なお、第１照明光の発光スペクトルは、それぞれの第１照明期間において同じであってもよく、異なってもよい。

ここで、第１照明期間は第２照明期間よりも長くすることが好ましく、第１照明期間は２フレーム以上とすることが好ましい。例えば、図２１では、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）とする場合において、第１照明期間を２フレームとし、第２照明期間を１フレームとしている。第１照明光は、ディスプレイ１８に表示する表示用画像の生成に用いられることから、第１照明光を観察対象に照明することによって、明るい画像が得られることが好ましい。

例えば、第１照明光は、白色光であることが好ましい。一方、第２照明光は、解析処理に用いることから、第２照明光を観察対象に照明することによって、解析処理に適した画像が得られることが好ましい。例えば、血管深さが異なる複数の血管の形状情報に基づいて、解析処理を行う場合には、第２照明光として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを用いることが好ましい。この場合、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）又は第２Ｃパターン（第２照明期間のフレーム数：異なる、第２照明光の発光スペクトル：同じ）とする場合には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうちのいずれか１つの光を用いることが好ましい。一方、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）又は第２Ｄパターン（第２照明期間のフレーム数：異なる、第２照明光の発光スペクトル：異なる）とする場合には、第２照明期間において、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうち少なくとも２つの光を特定の順番で切り替えて発光することが好ましい。後述では、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒの３つの光を、その順番で順次発光している。

マルチ観察モードで行う撮像制御では、図２６に示すように、第１照明期間において第１照明光を撮像センサ４４に露光させた状態で、信号読み出しを行うことにより、撮像センサ４４から第１画像信号を出力させる。第１画像信号を出力する期間を第１撮像期間とする。第１画像信号には、Ｂ画素から出力されるＢ１画像信号、Ｇ画素から出力されるＧ１画像信号、及び、Ｒ画素から出力されるＲ１画像信号が含まれる。また、撮像用プロセッサ４５は、第２照明期間において第２照明光を撮像センサ４４に露光させた状態で、信号読み出しを行うことにより、撮像センサ４４から第２画像信号を出力させる。第２画像信号を出力する期間を第２撮像期間とする。第２画像信号には、Ｂ画素から出力されるＢ２画像信号、Ｇ画素から出力されるＧ２画像信号、及び、Ｒ画素から出力されるＲ２画像信号が含まれる。

マルチ観察モードにおいては、プロセッサ装置内の解析処理部（図示しない）は、入力した１フレーム分のＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号に対して、通常観察画像用の画像処理を施す。通常観察画像用の画像処理が施されたＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号は、表示用画像として使用される。また、解析処理部は、入力した特定フレーム分のＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して、解析処理を行う。また、解析処理部は、解析処理の結果である解析結果を表示用画像に表示させる表示制御処理を行う。

例えば、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）とする場合において、第１照明光として白色光Ｗを２フレーム分、第２照明光としての紫色光Ｖ、緑色光Ｇ、赤色光Ｒを、白色光Ｗの発光の間に、それぞれ１フレーム分だけ観察対象に照明する場合には、図２７に示すように、白色光の照明により得られる第１画像信号に対して通常観察画像用画像処理を施すことによって、表示用画像を得る。

一方、紫色光Ｖの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、解析結果Ｖを得る。同様にして、緑色光Ｇの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、解析結果Ｇを得る。また、赤色光Ｒの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、解析結果Ｒを得る。これら解析結果Ｖ、Ｇ、Ｒは、赤色光Ｒに関する解析処理が完了した後、一まとめにした解析結果Ｔとして、表示用画像に表示される。なお、解析結果Ｖ、Ｇ、Ｒは、それぞれ単独で表示用画像に表示してもよく、また、解析結果Ｖ、Ｇ、Ｒのうち少なくとも２つ組み合わせて得られる解析結果を、表示用画像に表示してもよい。

なお、解析処理としては、例えば、血管の形状情報を抽出する血管抽出処理、抽出した血管の形状情報に基づいて、血管に関する指標値を算出する指標値算出処理、及び、算出した指標値を表示用画像に重畳表示するための重畳表示制御処理が含まれる。解析処理の結果が表示された解析結果付き表示用画像は、表示制御部６６に入力される。

上記第１及び第２実施形態において、画像取得部５３、明るさ情報算出部５４、ＤＳＰ５６、ノイズ除去部５８、通常観察画像処理部６２第１特殊観察画像処理部６３、第２特殊観察画像処理部６４、静止画保存メモリ６７、静止画関連処理部６８、表示制御部６６、表示期間設定部６６ａ、静止画関連処理部６８、特定の画像処理部８０、特殊観察画像処理部１０２、マルチ観察画像処理部１０４など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

なお、本発明は、内視鏡システムの他、カプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ モード切替ＳＷ
１３ｂ フリーズ処理操作部材
１３ｃ 保存処理操作部材
１４ 光源装置
１６ プロセッサ装置
１８ ディスプレイ
１９ ユーザーインターフェース
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２１ 光源用プロセッサ
２３ 光路結合部
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４８ 撮像センサ
５０ ＣＤＳ／ＡＧＣ回路
５２ Ａ／Ｄ変換器
５３ 画像取得部
５４ 明るさ情報算出部
５６ ＤＳＰ
５８ ノイズ除去部
５９ 中央制御部
６０ 信号切替部
６２ 通常観察画像処理部
６３ 第１特殊観察画像処理部
６４ 第２特殊観察画像処理部
６６ 表示制御部
６７ 静止画保存メモリ
６８ 静止画関連処理部
８０ 画像処理部
８０ａ スライドバー
８０ｂ スライドバー
８１ａ スライダ
８１ｂ スライダ
１００ 内視鏡システム
１０２ 特殊観察画像処理部
１０４ マルチ観察画像処理部

Claims (15)

1. 第１観察画像、又は、前記第１観察画像と異なる第２観察画像を表示するディスプレイと、
   前記第１観察画像の静止画又は前記第２観察画像の静止画を取得するためのフリーズ処理を行うフリーズ処理操作部材と、
   画像処理用プロセッサとを備え、
   前記画像処理用プロセッサは、
   動画表示期間において、前記第１観察画像と前記第２観察画像とを動画切替周期で自動的に切り替えて前記ディスプレイに表示し、
   前記フリーズ処理によって開始する静止画表示期間において、前記第１観察画像の静止画及び前記第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、前記第１観察画像の静止画に対応する第１保存候補画像と前記第２観察画像の静止画に対応する第２保存候補画像とを選択し、且つ、前記第１保存候補画像と前記第２保存候補画像とを静止画切替周期で自動的に切り替えて前記ディスプレイに表示し、
   前記静止画切替周期は前記動画切替周期よりも大きくし、
   前記静止画切替周期＞前記動画切替周期の関係を維持されるように、ユーザーインターフェースを用いて、前記動画切替周期と前記静止画切替周期の少なくとも一方を設定し、
   前記第１観察画像と前記第２観察画像は、同一の観察対象に関するものである内視鏡システム。
2. 前記画像処理用プロセッサは、
   前記静止画セットに含まれる第１観察画像の静止画のうち、最もブレが少ないブレ最小の第１観察画像の静止画を、前記第１保存候補画像として選択し、且つ、前記静止画セットに含まれる第２観察画像の静止画のうち、ブレ最小の第１観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第２観察画像の静止画を、前記第２保存候補画像として選択する請求項１記載の内視鏡システム。
3. 前記画像処理用プロセッサは、前記ブレ最小の第１観察画像の静止画と前記位置ずれ最小の第２観察画像の静止画とを位置合わせする位置合わせ処理を行う請求項２記載の内視鏡システム。
4. 前記画像処理用プロセッサは、
   前記静止画セットに含まれる第２観察画像の静止画のうち、最もブレが少ないブレ最小の第２観察画像の静止画を、前記第２保存候補画像として選択し、且つ、前記静止画セットに含まれる第１観察画像の静止画のうち、ブレ最小の第２観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第１観察画像の静止画を、前記第１保存候補画像として選択する請求項１記載の内視鏡システム。
5. 前記画像処理用プロセッサは、前記位置ずれ最小の第１観察画像の静止画と前記ブレ最小の第２観察画像の静止画とを位置合わせする位置合わせ処理を行う請求項４記載の内視鏡システム。
6. 前記静止画切替周期は、前記第１保存候補画像と前記第２保存候補画像の切替表示の回数が１秒間で３回以下である請求項１ないし５いずれか１項記載の内視鏡システム。
7. 前記画像処理用プロセッサは、前記フリーズ処理を開始したタイミングで前記第１観察画像を前記ディスプレイに表示している場合には、前記静止画表示期間では、前記第１保存候補画像の静止画を前記ディスプレイに表示した後に、前記第１保存候補画像と前記第２保存候補画像とを静止画切替周期で自動的に切り替えて前記ディスプレイに表示する請求項１ないし６いずれか１項記載の内視鏡システム。
8. 前記フリーズ処理操作部材に加えて、前記第１保存候補画像と前記第２保存候補画像を静止画保存メモリに保存する静止画保存処理を行うための保存処理操作部材を備え、
   前記画像処理用プロセッサは、
   少なくとも前記フリーズ処理操作部材を操作した場合に前記フリーズ処理を実行し、前記フリーズ処理実行中に、前記保存処理操作部材を操作することにより、前記静止画保存処理を実行する請求項１ないし７いずれか１項記載の内視鏡システム。
9. 前記フリーズ処理操作部材の操作に従って開始するフリーズ設定時間内は、前記フリーズ処理操作部材の操作を解除した場合であっても、前記フリーズ処理が継続する請求項１ないし７いずれか１項記載の内視鏡システム。
10. 第１分光情報を有する第１照明光と、前記第１分光情報とことなる第２分光情報を有する第２照明光とを発する光源部と、
    光源用プロセッサとを有し、
    前記光源用プロセッサは、
    前記第１照明光と前記第２照明光とを自動的に切り替え、
    前記第１観察画像は、前記第１照明光により照明された観察対象を撮像することにより得られ、
    前記第２観察画像は、前記第２照明光により照明された観察対象を撮像することにより得られる請求項１ないし９いずれか１項記載の内視鏡システム。
11. 前記画像処理用プロセッサは、
    観察画像生成用画像を取得し、
    前記観察画像生成用画像の第１色信号を明るさ情報に割り当てて前記第１観察画像を生成し、前記観察画像生成用画像の第２色信号を明るさ情報に割り当てて前記第２観察画像を生成する請求項１ないし９いずれか１項記載の内視鏡システム。
12. 前記第１観察画像と前記第２観察画像とは、少なくとも背景粘膜の一部が同じ色調であり、
    前記第１観察画像が有する第１分光情報と前記第２観察画像が有する第２分光情報とは異なっている請求項１記載の内視鏡システム。
13. フリーズ処理操作部材の操作によって、前記第１保存候補画像と前記第２保存候補画像を前記静止画保存メモリに保存し、前記フリーズ処理操作部材が操作されない状態で、一定時間の前記静止画表示期間が終了すると、前記動画表示期間に復帰する請求項１ないし１２いずれか１項記載の内視鏡システム。
14. 第１観察画像、又は、前記第１観察画像と異なる第２観察画像を表示するディスプレイと、
    前記第１観察画像の静止画又は前記第２観察画像の静止画を取得するためのフリーズ処理を行うフリーズ処理操作部材と、
    画像処理用プロセッサとを備え、
    前記画像処理用プロセッサは、
    観察画像生成用画像を取得し、
    前記観察画像生成用画像の第１色信号を明るさ情報に割り当てた第１色信号画像、又は、前記観察画像生成用画像の第２色信号を明るさ情報に割り当てた第２色信号画像のいずれか一方を前記第１観察画像と、他方を前記第２観察画像として生成し、
    動画表示期間において、前記第１観察画像と前記第２観察画像とを動画切替周期で自動的に切り替えて前記ディスプレイに表示し、
    前記フリーズ処理によって開始する静止画表示期間において、前記第１観察画像の静止画及び前記第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、ブレ最小の前記第１観察画像の静止画に対応する第１保存候補画像と、前記第１保存候補画像と同じ前記観察画像生成用画像より生成された前記第２観察画像の静止画に対応する前記第２保存候補画像とを選択し、且つ、前記第１保存候補画像と前記第２保存候補画像とを静止画切替周期で自動的に切り替えて前記ディスプレイに表示し、
    前記静止画切替周期は前記動画切替周期よりも大きくし、
    前記静止画切替周期＞前記動画切替周期の関係を維持されるように、ユーザーインターフェースを用いて、前記動画切替周期と前記静止画切替周期の少なくとも一方を設定し、
    前記第１観察画像と前記第２観察画像は、同一の観察対象に関するものである内視鏡システム。
15. 第１観察画像、又は、前記第１観察画像と異なる第２観察画像を表示するディスプレイと、
    前記第１観察画像の静止画又は前記第２観察画像の静止画を取得するためのフリーズ処理を行うフリーズ処理操作部材と、
    画像処理用プロセッサとを備える内視鏡システムの作動方法において、
    前記画像処理用プロセッサは、
    動画表示期間において、前記第１観察画像と前記第２観察画像とを動画切替周期で自動的に切り替えて前記ディスプレイに表示し、
    前記フリーズ処理によって開始する静止画表示期間において、前記第１観察画像の静止画及び前記第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、前記第１観察画像の静止画に対応する第１保存候補画像と前記第２観察画像の静止画に対応する第２保存候補画像とを選択し、且つ、前記第１保存候補画像と前記第２保存候補画像とを静止画切替周期で自動的に切り替えて前記ディスプレイに表示し、
    前記静止画切替周期は前記動画切替周期よりも大きくし、
    前記静止画切替周期＞前記動画切替周期の関係を維持されるように、ユーザーインターフェースを用いて、前記動画切替周期と前記静止画切替周期の少なくとも一方を設定し、
    前記第１観察画像と前記第２観察画像は、同一の観察対象に関するものである内視鏡システムの作動方法。

Images