JP2020130553A - 内視鏡システム - Google Patents

Abstract

【課題】血液、胆汁、及び、脂肪など、分光吸収のピークが近接している複数の観察対象を識別可能に表示することができる内視鏡システムを提供する。【解決手段】第１ピーク波長範囲を有する第１照明光と、第１ピーク波長範囲と異なる第２ピーク波長を有する第２照明光とを自動的に切り替えて発光する。第１照明光の第１ピーク波長範囲に第１吸収ピークを持つ第１観察対象、及び、第２照明光の第２ピーク波長範囲に第２吸収ピークを持つ第２観察対象を、それぞれ合成表示画像にて識別可能にする識別処理を行う。【選択図】図９

Description

本発明は、複数種類の画像を切り替えて表示する内視鏡システムに関する。

近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像センサで撮像して得られるＲＧＢ画像信号に基づいて、観察対象の画像をモニタ上に表示する。

観察対象としては、血管に含まれる血液などの他、ビリルビンなどの胆汁、カルチノイドなどの脂肪などが含まれている。しかしながら、これら血液、胆汁、及び脂肪については、青色帯域において、それぞれ分光吸収のピークが近接している。そのため、血液、胆汁、及び、脂肪などが含まれる観察対象をＲＧＢのカラーの撮像センサで撮像した場合には、それら血液、胆汁、及び脂肪に関する成分は、いずれも撮像センサのＢ画素に含まれることになることから、血液、胆汁、及び、脂肪を区別し、それらを排他的に強調することが難しい。これに対して、特許文献１では、脂肪などを観察するために、分光手段等によって、脂肪の反射光を分光して撮像することが記載されている。また、特許文献２には、画像処理を用いて、血液と脂肪を分離することが記載されている。

国際公開２０１３／１１５３２３号 国際公開２０１６／１５１６７６号

上記のように、血液、胆汁、及び、脂肪を観察する場合には、それぞれの分光吸収のピークに対応するピーク波長を持つ複数の照明光を切り替えて照明することで、それら血液、胆汁、及び、脂肪を区別が可能となる。そして、このような複数の照明光の切り替え照明の下で得られた画像に基づいて、血液、胆汁、及び、脂肪をモニタ識別可能に表示することが求められている。

本発明は、血液、胆汁、及び、脂肪など、分光吸収のピークが近接している複数の観察対象を識別可能に表示することができる内視鏡システムを提供することを目的とする。

本発明の内視鏡システムは、第１ピーク波長範囲を有する第１照明光と、第１ピーク波長範囲と異なる第２ピーク波長を有する第２照明光とを発光する光源部と、第１照明光と第２照明光とを、それぞれ少なくとも１フレーム以上の発光期間にて自動的に切り替えて発光する光源制御部と、第１ピーク波長範囲、及び第２ピーク波長範囲に対応する波長域の光をそれぞれ透過させる特定色のカラーフィルタが設けられた特定画素を有するカラーの撮像センサと、第１照明光によって照明された観察対象を撮像センサによって撮像して得られる第１画像信号と、第２照明光によって照明された観察対象を撮像センサによって撮像して得られる第２画像信号を取得する画像取得部と、第１画像信号及び第２画像信号を合成して合成表示画像を生成する場合において、第１照明光の第１ピーク波長範囲に第１吸収ピークを持つ第１観察対象、及び、第２照明光の第２ピーク波長範囲に第２吸収ピークを持つ第２観察対象を、それぞれ合成表示画像にて識別可能にする識別処理を行う合成表示画像処理部とを備える。

第１観察対象の第１吸収ピークに関する成分は、第１画像信号の特定色信号に含まれ、第２観察対象の第２吸収ピークに関する成分は、第２画像信号の特定色信号に含まれ、識別処理は、第１画像信号の特定色信号と第２画像信号の特定色信号との信号値を比較処理によって比較し、比較処理の結果を用いて、第１観察対象と第２観察対象を合成表示画像において識別可能に表示する第１識別処理が含まれることが好ましい。第１識別処理では、第１画像信号の特定色信号を合成表示画像にて表示することが好ましい。第１識別処理では、第２画像信号の特定色信号を合成表示画像にて表示することが好ましい。第１識別処理では、第１画像信号の特定色信号及び第２画像信号の特定色信号のうち信号値が小さいほうを合成表示画像にて表示し、信号値が大きいほうを合成表示画像にて表示しないことが好ましい。第１識別処理では、第１画像信号の特定色信号及び第２画像信号の特定色信号のうち信号値が大きいほうを合成表示画像にて表示し、信号値が小さいほうを合成表示画像にて表示しないことが好ましい。

第１観察対象の第１吸収ピークに関する成分は、第１画像信号の特定色信号に含まれ、第２観察対象の第２吸収ピークに関する成分は、第２画像信号の特定色信号に含まれ、識別処理は、第１画像信号の特定色信号及び第２画像信号の特定色信号に基づく識別用演算処理を行い、識別用演算処理の結果を用いて、第１観察対象と第２観察対象を合成表示画像において識別可能に表示する第２識別処理が含まれることが好ましい。第２識別処理では、第１画像信号の特定色信号及び第２画像信号の特定色信号の信号値の平均値から、第１画像信号の特定色信号及び第２画像信号の特定色信号の信号値の差分値の絶対値を差し引いた演算値を求め、演算値を用いて、合成表示画像を表示することが好ましい。

特定画素は、特定色のカラーフィルタとして、Ｂフィルタが設けられたＢ画素であることが好ましい。第１ピーク波長範囲は４００ｎｍ以上４３０ｎｍ以下であり、第２ピーク波長範囲は４３０ｎｍ以上５００ｎｍ以下であることが好ましい。第１吸収ピークは、４１０ｎｍを含む波長範囲に含まれ、第２吸収ピークは、４４０ｎｍ又は４５０ｎｍを含む波長範囲に含まれることが好ましい。第１観察対象は血液であり、第２観察対象は胆汁又は脂肪であることが好ましい。

本発明の内視鏡システムは、第１ピーク波長範囲を有する第１照明光と、第１ピーク波長範囲と異なる第２ピーク波長を有する第２照明光とを発光する光源部と、第１照明光と第２照明光とを、それぞれ少なくとも１フレーム以上の発光期間にて自動的に切り替えて発光する光源制御部と、第１ピーク波長範囲、及び第２ピーク波長範囲に対応する波長域の光をそれぞれ透過させる特定色のカラーフィルタが設けられた特定画素を有するカラーの撮像センサと、第１照明光によって照明された観察対象を撮像センサによって撮像して得られる第１画像信号と、第２照明光によって照明された観察対象を撮像センサによって撮像して得られる第２画像信号を取得する画像取得部と、第１照明光の第１ピーク波長範囲に第１吸収ピークを持つ第１観察対象と、第２照明光の第２ピーク波長範囲に第２吸収ピークを持つ第２観察対象とを表示部にて識別可能に表示するために、第１画像信号に基づく第１表示画像と第２画像信号に基づく第２表示画像とをそれぞれ一定の間隔で交互に前記表示部にて表示する。

本発明によれば、血液、胆汁、及び、脂肪など、分光吸収のピークが近接している複数の観察対象を識別可能に表示することができる。

第１実施形態の内視鏡システムの外観図である。 第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示すグラフである。 紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒを含む第１照明光の発光スペクトルを示すグラフである。 ヘモグロビンの光吸収特性を示すグラフである。 青色光Ｂ、緑色光Ｇ及び赤色光Ｒを含む第２照明光の発光スペクトルを示すグラフである。 カルチノイドの光吸収特性を示すグラフである。 ビリルビンの光吸収特性を示すグラフである。 第１照明光の発光期間と第２照明光の発光期間を示す説明図である。 発光期間設定メニューを示す説明図である。 撮像センサに設けられたＢフィルタ、Ｇフィルタ、及びＲフィルタの分光透過特性を示すグラフである。 第１識別処理を示す説明図である。 比較処理を示す説明図である。 第２識別処理を示す説明図である。 識別用演算処理を示す説明図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含み、紫色光Ｖの光強度が青色光Ｂの光強度よりも大きい第１照明光の発光スペクトルを示すグラフである。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含み、青色光Ｂの光強度が紫色光Ｖの光強度よりも大きい第２照明光の発光スペクトルを示すグラフである。 第２実施形態の内視鏡システムの機能を示すブロック図である。 第１表示画像と第２表示画像の切り替え表示を示す説明図である。

［第１実施形態］
図１に示すように、第１実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、ユーザーインターフェース１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。なお、ユーザーインターフェース１９は図示したキーボードの他、マウスなどが含まれる。

また、操作部１２ｂには、アングルノブ１２ｅの他、モード切替ＳＷ１３ａ、静止画取得指示部１３ｂが設けられている。モード切替ＳＷ（Switch）１３ａは、通常光観察モードと、合成表示モードとの切替操作に用いられる。通常光観察モードは、通常画像をモニタ１８上に表示するモードである。合成表示モードは、青色帯域において光の吸収特性が似ている第１観察対象（例えば、血液）と第２観察対象（例えば、胆汁、脂肪）を識別可能に表示する合成表示画像をモニタ１８に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替ＳＷ１３ａの他に、フットスイッチを用いてもよい。

プロセッサ装置１６は、モニタ１８及びユーザーインターフェース１９と電気的に接続される。モニタ１８は、画像情報等を出力表示する。ユーザーインターフェース１９は、機能設定等の入力操作を受け付けるUI（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。

図２に示すように、光源装置１４は、光源部２０と、光源制御部２１と、光路結合部２３とを有している。光源部２０は、V-LED（Violet Light Emitting Diode）２０ａ、B-LED（Blue Light Emitting Diode）２０ｂ、G-LED（Green Light Emitting Diode）２０ｃ、R-LED（Red Light Emitting Diode）２０ｄを有している。光源制御部２１は、ＬＥＤ２０a〜２０ｄの駆動を制御する。光路結合部２３は、４色のLED２０a〜２０ｄから発せられる４色の光の光路を結合する。光路結合部２３で結合された光は、挿入部１２a内に挿通されたライトガイド４１及び照明レンズ４５を介して、被検体内に照射される。なお、LEDの代わりに、LD（Laser Diode）を用いてもよい。

図３に示すように、V-LED２０ａは、中心波長４０５±１０nm、波長範囲３８０〜４２０nmの紫色光Ｖを発生する。B-LED２０ｂは、中心波長４６０±１０nm、波長範囲４２０〜５００nmの青色光Ｂを発生する。G-LED２０ｃは、波長範囲が４８０〜６００nmに及ぶ緑色光Ｇを発生する。R-LED２０ｄは、中心波長６２０〜６３０nmで、波長範囲が６００〜６５０nmに及ぶ赤色光Ｒを発生する。

光源制御部２１は、V-LED２０ａ、B-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄを制御する。また、光源制御部２１は、通常光観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。

また、光源制御部２１は、合成表示モードに設定されている場合には、第１観察対象を照明するための第１照明光と、第２観察対象を照明するための第２照明光とをそれぞれ１フレーム以上の発光期間にて発光し、且つ、第１照明光と第２照明光とを自動的に切り替えて発光する制御を行う。第１照明光は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となるように発光を行う。

第１照明光は、血液などの第１観察対象を画像上で強調するために、図４に示すように、紫色光Ｖがピーク波長を持つことが好ましい。このように、紫色光Ｖがピーク波長を持つことにより、第１照明光の第１ピーク波長範囲ＲＰ１に、血液などのヘモグロビンの吸収ピークλｘ（図５参照）などの第１吸収ピークが含まれる。これにより、第１照明光によって、血液などの第１観察対象が強調される。また、第１照明光は、Ｂｓ１を「０」とし、その他のＶｓ１、Ｇｓ１、Ｒｓ１＞０とすることが好ましい。ここで、第１ピーク波長範囲ＲＰ１は、４００ｎｍ以上４３０ｎｍ以下であることが好ましい。また、第１吸収ピークは、４１０ｎｍを含む波長範囲に含まれることが好ましく、または、４１０ｎｍ付近であることが好ましい。なお、ヘモグロビンには、青色帯域の他に、緑色帯域において光の吸収ピーク波長を有する。

なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。

第２照明光は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となるように発光を行う。第２照明光は、胆汁又は脂肪などの第２観察対象を画像上で強調するために、図６に示すように、青色光Ｂがピーク波長を持つことが好ましい。このように、青色光Ｂがピーク波長を持つことにより、第２照明光の第２ピーク波長範囲ＲＰ２に、脂肪に含まれるカルチノイドの吸収ピークλｙ（図７参照）及び胆汁に含まれるビリルビンの吸収ピークλｚ（図８参照）などの第２吸収ピークが含まれる。これにより、第２照明光によって、胆汁又は脂肪などの第２観察対象が強調される。また、第２照明光は、Ｖｓ２を「０」とし、その他のＢｓ１、Ｇｓ１、Ｒｓ１＞０とすることが好ましい。ここで、第２ピーク波長範囲ＲＰ１は、４３０ｎｍ以上５００ｎｍ以下であることが好ましい。また、第２吸収ピークは、４４０ｎｍ又は４５０ｎｍを含む波長範囲に含まれることが好ましく、または、４４０ｎｍ又は４５０ｎｍ付近であることが好ましい。

また、光源制御部２１は、合成表示モードの場合には、第１照明光に含まれる緑色光Ｇ及び赤色光Ｒの光強度比（Ｇｓ１、Ｒｓ１）と第２照明光に含まれる緑色光Ｇ及び赤色光Ｒの光強度比（Ｇｓ２、Ｒｓ２）とは同じに設定することが好ましい。これにより、第１照明光を照明した場合に得られる第１表示画像と第２照明光を照明した場合に得られる第２表示画像における背景粘膜の色味が一致するようになる。なお、背景粘膜とは、観察対象のうち、血管や腺管構造など構造物として認識又は撮像される領域を含まない領域をいう。

また、光源制御部２１は、プロセッサ装置１６の明るさ情報算出部５４から送られる明るさ情報に基づいて、各ＬＥＤ２０ａ〜２０ｄから発せられる照明光の発光量を制御する。また、光源制御部２１は、例えば、第１照明光の発光期間を２フレームとし、第２照明光の発光期間を３フレームとした場合には、図９に示すように、第１照明光が２フレーム続けて発光した後に、第２照明光が３フレーム続けて発光される。

なお、「フレーム」とは、観察対象を撮像する撮像センサ４８を制御するための単位をいい、例えば、「１フレーム」とは、観察対象からの光で撮像センサ４８を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間が定められている。

第１照明光の発光期間と第２照明光の発光期間は、光源制御部２１に接続された発光期間設定部２４によって、適宜変更が可能である。ユーザーインターフェース１９の操作により、発光期間の変更操作を受け付けると、発光期間設定部２４は、図１０に示す発光期間設定メニューをモニタ１８上に表示する。第１照明光の発光期間は、例えば、２フレームから１０フレームの間で変更可能である。各発光期間については、スライドバー２６ａ上に割り当てられている。

第１照明光の発光期間を変更する場合には、ユーザーインターフェース１９を操作して、スライドバー２６ａ上の変更したい発光期間を示す位置にスライダ２７ａを合わせることで、第１の照明光の発光期間が変更される。第２照明光の発光期間についても、ユーザーインターフェース１９を操作して、スライドバー２６ｂ（例えば、２フレームから１０フレームの発光期間が割り当てられている）上の変更したい発光期間を示す位置にスライダ２７ｂを合わせることで、第２の照明光の発光期間が変更される。

図２に示すように、ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６及び撮像センサ４８を有している。観察対象からの反射光は、対物レンズ４６を介して、撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の反射像が結像される。

撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ４８は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサ、即ち、Ｒフィルタが設けられたＲ画素、Ｇフィルタが設けられたＧ画素、Ｂフィルタが設けられたＢ画素（特定画素）を備えた、いわゆるＲＧＢ撮像センサである。なお、Ｂ画素は、合成表示モードにおいて、第１照明光の第１ピーク波長範囲と第２照明光のピーク波長範囲に対応する波長域の光を透過させるため、Ｂ画素から出力される信号には、第１観察対象の成分と第２観察対象の成分の両方が含まれる。

通常光で照明された観察対象を撮像センサ４８にて撮像することにより、通常光用画像信号が得られる。通常光用画像信号には、Ｂ画素から出力される通常光用青色信号、Ｇ画素から出力される通常光用緑色信号、及び、Ｒ画素から出力される通常光用赤色信号が含まれる。第１照明光で照明された観察対象を撮像センサ４８にて撮像することにより、第１画像信号が得られる。第１画像信号には、Ｂ画素から出力される第１青色信号Ｂ１、Ｇ画素から出力される第１緑色信号Ｇ１、及び、Ｒ画素から出力される第１赤色信号Ｒ１が含まれる。第２照明光で照明された観察対象を撮像センサ４８にて撮像することにより、第２画像信号が得られる。第２画像信号には、Ｂ画素から出力される第２青色信号Ｂ２、Ｇ画素から出力される第２緑色信号Ｇ２、及び、Ｒ画素から出力される第２赤色信号Ｒ２が含まれる。

図１１に示すように、Ｂフィルタ４８ｂは、紫色帯域の光、青色帯域の光、及び緑色帯域の光のうち短波側の光を透過させる。Ｇフィルタ４８ｇは、緑色帯域の光、青色帯域の光の長波側の光、及び赤色帯域の光の短波側の光を透過させる。Ｒフィルタ４８ｒは、赤色帯域の光、緑色帯域の短波側の光を透過させる。したがって、撮像センサ４８のうち、Ｂ画素は紫色光Ｖ及び青色光Ｂに感度を有し、Ｇ画素は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒに感度を有し、Ｒ画素は緑色光Ｇ及び赤色光Ｒに感度を有している。

なお、撮像センサ４８としては、ＲＧＢのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部２１は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。

図２に示すように、撮像センサ４８から出力される画像信号は、ＣＤＳ／ＡＧＣ回路５０に送信される。ＣＤＳ／ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。

プロセッサ装置１６は、画像取得部５３と、明るさ情報算出部５４と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、信号切替部６０と、通常観察画像処理部６２と、合成表示画像処理部６３と、表示制御部６６と、静止画保存部６７と、静止画保存制御部６８とを備えている。

画像取得部５３は、内視鏡１２において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡１２からのデジタルのカラー画像信号が画像取得部５３に入力される。カラー画像信号は、撮像センサ４８のＲ画素から出力される赤色信号と、撮像センサ４８のＧ画素から出力される緑色信号と、撮像センサ４８のＢ画素から出力される青色信号とから構成される。明るさ情報算出部５４は、画像取得部５３から入力される画像信号に基づいて、観察対象の明るさを示す明るさ情報を算出する。算出した明るさ情報は光源制御部２１に送られ、照明光の発光量の制御に用いられる。

ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理（等方化処理、同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素が各色の信号を有するようになる。

ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施された画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部６０に送信される。

信号切替部６０は、モード切替ＳＷ１３ａにより、通常光観察モードにセットされている場合には、通常光の照明及び撮像で得られた通常光用画像信号を通常観察画像処理部６２に送信する。合成表示モードにセットされている場合には、第１照明光の照明及び撮像で得られた第１画像信号、及び、第２照明光の照明及び撮像で得られた第２画像信号を合成表示画像処理部６３に送信する。

通常観察画像処理部６２は、通常光用画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常観察画像処理部６２では、通常画像用の画像処理を行うために、通常用画像信号に対して掛け合わされる通常画像用パラメータが設けられている。通常画像用の画像処理が施されたＲＧＢ画像信号は、通常画像として、通常観察画像処理部６２から表示制御部６６に入力される。

合成表示画像処理部６３は、第１画像信号及び第２画像信号を合成して、１フレームの合成表示画像を生成する。合成表示画像においては、血液などの第１観察対象と、胆汁又は脂肪などの第２観察対象とがそれぞれ識別可能に表示されている。合成表示画像の生成方法等の詳細については、後述する。生成された合成表示画像は、合成表示画像処理部６３から表示制御部６６に入力される。

表示制御部６６は、通常観察画像処理部６２、又は、合成表示画像処理部６３から入力された通常画像、又は、合成表示画像を、モニタ１８で表示可能な画像として表示するための制御を行う。表示制御部６６による制御によって、各観察モードに応じた画像が表示される。通常光観察モードの場合には、通常画像がモニタ１８に表示される。また、合成表示モードの場合には、合成表示画像がモニタ１８に表示される。

静止画保存制御部６８は、静止画取得指示部１３ｂの指示に従って、その静止画取得指示のタイミングで得られた画像を静止画として静止画保存部６７に保存する制御を行う。通常光観察モードの場合であれば、静止画取得指示のタイミングで得られた通常画像を静止画として静止画保存部６７に保存する。合成表示モードの場合であれば、静止画取得指示のタイミングで得られた合成表示画像を静止画として静止画保存部６７に保存する。

次に、合成表示画像の生成方法等の詳細について説明する。合成表示画像処理部６３では、第１観察対象と第２観察対象とをそれぞれ合成表示画像にて識別可能に表示するための識別処理が行われる。識別処理は、第１画像信号の特定色信号と第２画像信号の特定色信号との信号値を比較処理によって比較し、比較処理の結果を用いて、第１観察対象と第２観察対象とを合成表示画像において識別可能に表示する第１識別処理が含まれる。

具体的には、第１識別処理では、図１２に示すように、第１青色信号Ｂ１、第１緑色信号Ｇ１、第１赤色信号Ｒ１、第２青色信号Ｂ２、第２緑色信号Ｇ２、及び第２赤色信号Ｒ２に基づいて、合成表示画像を生成する。ここで、第１観察対象である血液の第１吸収ピークに関する成分は、紫色光Ｖの反射光成分に多く含まれていることから、第１画像信号のうち第１青色信号Ｂ１（特定色信号）に含まれている。また、第２観察対象である胆汁又は脂肪の第２吸収ピークに関する成分は、青色光Ｂの反射光成分に多く含まれていることから、第２画像信号のうち第２青色信号Ｂ２（特定色信号）に含まれている。

そのため、図１３に示すように、第１観察対象を撮像した場合には、第１青色信号Ｂ１の信号値が第２青色信号Ｂ２の信号値よりも小さくなる。これに対して、第２観察対象を撮像した場合には、第２青色信号Ｂ２の信号値が第１青色信号Ｂ１の信号値よりも小さくなる。以上の関係を利用して、比較処理として、第１青色信号Ｂ１の信号値と第２青色信号Ｂ２の信号値とを比較する。そして、比較処理の結果として、合成表示画像のＢ画像として、信号値が小さいほうの信号を合成表示画像上で表示させ、信号値が大きいほうの信号を合成表示画像上では表示しない。これにより、１つの合成表示画像上において、第１観察対象と第２観察対象をそれぞれ選択的に表示することが可能となる。即ち、合成表示画像上で第１観察対象と第２観察対象を識別して表示することが可能となる。

なお、第１照明光と第２照明光において緑色光と赤色光の光量比はほぼ同じように設定していることから、第１緑色信号Ｇ１の信号値と第２緑色信号Ｇ２の信号値とはほぼ同じであり、また、第１赤色信号Ｒ１の信号値と第２赤色信号Ｒ２の信号値ともほぼ同じである。これは、第１照明光をカラーチャート（例えば、マクベス）に照明して撮像した場合と、第２照明光をカラーチャートに照明して撮像した場合とで、カラーチャートの画像の色はそれぞれほぼ一致する（照明光の光量だけでなく、ホワイトバランスも調整していることが前提）。したがって、合成表示画像のＧ画像については、第１緑色信号Ｇ１の信号値と第２緑色信号Ｇ２の信号値の平均値で表示することが好ましい。また、合成表示画像のＲ画像については、第１赤色信号Ｒ１の信号値と第２赤色信号Ｒ２の信号値の平均値で表示することが好ましい。

また、第１識別処理においては、合成表示画像のＢ画像として、第１青色信号Ｂ１及び第２青色信号Ｂ２のうち、信号値が小さいほうの信号を合成表示画像上で表示させ、信号値が大きいほうの信号を合成表示画像上では表示しないことにより、第１観察対象（例えば、血液）と第２観察対象（例えば、胆汁又は脂肪）の両方を強調しているが、その他の処理を行ってもよい。例えば、合成表示画像のＢ画像として、第１青色信号Ｂ１を表示し、第２青色信号Ｂ２を表示しないことにより、第１観察対象のみを強調するようにしてもよい。また、合成表示画像のＢ画像として、第２青色信号Ｂ２を表示し、第１青色信号Ｂ１を表示しないことにより、第２観察対象のみを強調するようにしてもよい。また、合成表示画像のＢ画像として、第１青色信号Ｂ１及び第２青色信号Ｂ２のうち、信号値が大きいほうの信号を合成表示画像上で表示させ、信号値が小さいほうの信号を合成表示画像上では表示しないことにより、第１観察対象（例えば、血液）と第２観察対象（例えば、胆汁又は脂肪）の両方の表示を抑制（例えば、見えにくくする）するようにしてもよい。

また、識別処理は、第１画像信号の特定色信号及び第２画像信号の特定色信号に基づく識別用演算処理を行い、識別用演算処理の結果を用いて、第１観察対象と第２観察対象を合成表示画像において識別可能に表示する第２識別処理が含まれる。具体的には、具体的には、第１識別処理では、図１４に示すように、第１青色信号Ｂ１、第１緑色信号Ｇ１、第１赤色信号Ｒ１、第２青色信号Ｂ２、第２緑色信号Ｇ２、及び第２赤色信号Ｒ２に基づいて、合成表示画像を生成する。

そして、上記したように、第１観察対象を撮像した場合と第２観察対象を撮像した場合とで、第１青色信号Ｂ１の信号値と第２青色信号Ｂ２の信号値の関係性は変化することを利用して、識別用演算処理を行う。識別用演算処理では、図１５に示すように、第１青色信号Ｂ１の信号値と第２青色信号Ｂ２の信号値の平均値ＡｖｅＢを求め、且つ、第１青色信号Ｂ１の信号値と第２青色信号Ｂ２の信号値の差分値の絶対値ΔＢを求める。そして、合成表示画像のＢ画像については、ＡｖｅＢからΔＢを差し引いた演算値に従って表示を行う。これにより、１つの合成表示画像上において、第１観察対象と第２観察対象をそれぞれ選択的に表示することが可能となる。即ち、合成表示画像上で第１観察対象と第２観察対象を識別して表示することが可能となる。加えて、演算値は、第１青色信号Ｂ１の信号値又は第２青色信号Ｂ２の信号値よりも小さくなるので、第１観察対象と第２観察対象の区別がより明確になって表示される。

なお、上記実施形態では、第１照明光には紫色光Ｖ、緑色光Ｇ、赤色光Ｒを含めているが、図１６に示すように、第１照明光に青色光Ｂを加えて、第１照明光に紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含むようにしてもよい。ただし、この場合には、紫色光Ｖの光強度を青色光Ｂの光強度よりも大きくする。例えば、紫色光Ｖの光強度Ｖｓ１と青色光Ｂの光強度Ｂｓ１との比率を「９：１」とすることが好ましい。

また、第２照明光には青色光Ｂ、緑色光Ｇ、赤色光Ｒを含めているが、図１７に示すように、第２照明光に紫色光Ｖを加えて、第２照明光に紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含むようにしてもよい。ただし、この場合には、青色光Ｂの光強度を紫色光Ｖの光強度よりも大きくする。例えば、紫色光Ｖの光強度Ｖｓ２と青色光Ｂの光強度Ｂｓ２との比率を「１：９」とすることが好ましい。なお、上記のように、第１照明光及び第２照明光にそれぞれ紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含める場合には、第１照明光に含まれる緑色光及び赤色光の光強度比と第２照明光に含まれる緑色光及び赤色光の光強度比とは同じにした状態において、第１照明光に含まれる紫色光の強度比と第２照明光に含まれる紫色光の強度比とを異ならせ、第１照明光に含まれる青色光の強度比と第２照明光に含まれる青色光の強度比とを異ならせることが好ましい。

［第２実施形態］
第１実施形態では、１つの合成表示画像において、第１観察対象と第２観察対象とを識別して表示しているが、第２実施形態では、複数の表示画像を切り替えて表示することによって、第１観察対象と第２観察対象を識別可能に表示する。第２実施形態の内視鏡システム１００においては、図１８に示すように、合成表示画像処理部６３に代えて、第１表示画像処理部１０２、及び第２表示画像処理部１０４が設けられている。その他については、第１実施形態の内視鏡システム１０と同様である。

第２実施形態の内視鏡システム１００では、第１実施形態の合成表示モードに代えて、マルチ観察モードが設けられている。内視鏡システム１００では、マルチ観察モードにセットされている場合には、第１照明光の照明及び撮像で得られた第１画像信号は第１表示画像処理部１０２に送信され、第２照明光の照明及び撮像で得られた第２画像信号は第２表示画像処理部１０４に送信される。第１表示画像処理部１０２では、第１画像信号に対して第１表示画像用の画像処理を施して、第１表示画像を出力する。第２表示画像処理部１０４では、第２画像信号に対して第２表示画像用の画像処理を施して、第２表示画像を出力する。

そして、マルチ観察モードの場合には、表示制御部６６は、第１照明光の発光期間と第２照明光の発光期間に合わせて、第１表示画像と第２表示画像を切り替えてモニタ１８に表示する。即ち、第１照明光の発光期間が２フレームで、第２照明光の発光期間が３フレームである場合には、図１９に示すように、第１表示画像が２フレーム続けて表示され、且つ、第２表示画像が３フレーム続けて表示される。これにより、血液などの第１観察対象と胆汁又は脂肪などの第２観察対象が交互にモニタ１８に表示されるため、第１観察対象と第２観察対象とを識別可能に表示される。

上記第１及び第２実施形態において、画像取得部５３、明るさ情報算出部５４、ＤＳＰ５６、ノイズ除去部５８、通常観察画像処理部６２、合成表示画像処理部６３、静止画保存部６７、表示制御部６６、静止画保存制御部６８、第１表示画像処理部１０２、及び、第２表示画像処理部１０４など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、ＧＰＵ（Graphical Processing Unit）各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、ＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

なお、本発明は、第１〜第３実施形態のような内視鏡システムや第４実施形態のようなカプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ モード切替ＳＷ
１３ｂ 静止画取得指示部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ユーザーインターフェース
２０ 光源部
２０ａ Ｖ−ＬＥＤ（Ｖｉｏｌｅｔ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２０ｂ Ｂ−ＬＥＤ（Ｂｌｕｅ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２０ｃ Ｇ−ＬＥＤ（Ｇｒｅｅｎ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２０ｄ Ｒ−ＬＥＤ（Ｒｅｄ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
２１ 光源制御部
２３ 光路結合部
２４ 発光期間設定部
２６ａ スライドバー
２６ｂ スライドバー
２７ａ スライダ
２７ｂ スライダ
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４８ 撮像センサ
４８ｂ Ｂフィルタ
４８ｇ Ｇフィルタ
４８ｒ Ｒフィルタ
５０ Ａ／Ｄ回路
５３ 画像取得部
５４ 明るさ情報算出部
５６ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
５８ ノイズ除去部
６０ 信号切替部
６２ 通常観察画像処理部
６３ 合成表示画像生成部
６６ 表示制御部
６７ 静止画保存部
６８ 静止画保存制御部
１００ 内視鏡システム
１０２ 第１表示画像処理部
１０４ 第２表示画像処理部
ＲＰ１ 第１ピーク波長範囲
ＲＰ２ 第２ピーク波長範囲
λ１ ヘモグロビンの吸収ピーク
λ２ カルチノイドの吸収ピーク
λ３ ビリルビンの吸収ピーク

Claims (12)

1. 第１ピーク波長範囲を有する第１照明光と、前記第１ピーク波長範囲と異なる第２ピーク波長を有する第２照明光とを発光する光源部と、
   前記第１照明光と前記第２照明光とを、それぞれ少なくとも１フレーム以上の発光期間にて自動的に切り替えて発光する光源制御部と、
   前記第１ピーク波長範囲、及び前記第２ピーク波長範囲に対応する波長域の光をそれぞれ透過させる特定色のカラーフィルタが設けられた特定画素を有するカラーの撮像センサと、
   前記第１照明光によって照明された観察対象を前記撮像センサによって撮像して得られる第１画像信号と、前記第２照明光によって照明された観察対象を前記撮像センサによって撮像して得られる第２画像信号を取得する画像取得部と、
   前記第１画像信号及び第２画像信号を合成して合成表示画像を生成する場合において、前記第１照明光の第１ピーク波長範囲に第１吸収ピークを持つ第１観察対象、及び、前記第２照明光の第２ピーク波長範囲に第２吸収ピークを持つ第２観察対象を、それぞれ前記合成表示画像にて識別可能にする識別処理を行う合成表示画像処理部とを備える内視鏡システム。
2. 前記第１観察対象の前記第１吸収ピークに関する成分は、前記第１画像信号のうち前記特定画素から出力される前記第１画像信号の特定色信号に含まれ、前記第２観察対象の前記第２吸収ピークに関する成分は、前記第２画像信号のうち前記特定画素から出力される第２画像信号の特定色信号に含まれ、
   前記識別処理は、前記第１画像信号の特定色信号と前記第２画像信号の特定色信号との信号値を比較処理によって比較し、前記比較処理の結果を用いて、前記第１観察対象と前記第２観察対象を前記合成表示画像において識別可能に表示する第１識別処理が含まれる請求項１記載の内視鏡システム。
3. 前記第１識別処理では、前記第１画像信号の特定色信号を前記合成表示画像にて表示する請求項２記載の内視鏡システム。
4. 前記第１識別処理では、前記第２画像信号の特定色信号を前記合成表示画像にて表示する請求項２記載の内視鏡システム。
5. 前記第１識別処理では、前記第１画像信号の特定色信号及び前記第２画像信号の特定色信号のうち信号値が小さいほうを前記合成表示画像にて表示し、信号値が大きいほうを前記合成表示画像にて表示しない請求項２記載の内視鏡システム。
6. 前記第１識別処理では、前記第１画像信号の特定色信号及び前記第２画像信号の特定色信号のうち信号値が大きいほうを前記合成表示画像にて表示し、信号値が小さいを前記合成表示画像にて表示しない請求項２記載の内視鏡システム。
7. 前記第１観察対象の前記第１吸収ピークに関する成分は、前記第１画像信号のうち前記特定画素から出力される前記第１画像信号の特定色信号に含まれ、前記第２観察対象の前記第２吸収ピークに関する成分は、前記第２画像信号のうち前記特定画素から出力される第２画像信号の特定色信号に含まれ、
   前記識別処理は、前記第１画像信号の特定色信号及び前記第２画像信号の特定色信号に基づく識別用演算処理を行い、前記識別用演算処理の結果を用いて、前記第１観察対象と前記第２観察対象を前記合成表示画像において識別可能に表示する第２識別処理が含まれる請求項１記載の内視鏡システム。
8. 前記特定画素は、前記特定色のカラーフィルタとして、Ｂフィルタが設けられたＢ画素である請求項１ないし７いずれか１項記載の内視鏡システム。
9. 前記第１ピーク波長範囲は４００ｎｍ以上４３０ｎｍ以下であり、前記第２ピーク波長範囲は４３０ｎｍ以上５００ｎｍ以下である請求項１ないし８いずれか１項記載の内視鏡システム。
10. 前記第１吸収ピークは、４１０ｎｍを含む波長範囲に含まれ、前記第２吸収ピークは、４４０ｎｍ又は４５０ｎｍを含む波長範囲に含まれる請求項１ないし９いずれか１項記載の内視鏡システム。
11. 前記第１観察対象は血液であり、前記第２観察対象は胆汁又は脂肪である請求項１ないし１０いずれか１項記載の内視鏡システム。
12. 第１ピーク波長範囲を有する第１照明光と、前記第１ピーク波長範囲と異なる第２ピーク波長を有する第２照明光とを発光する光源部と、
    前記第１照明光と前記第２照明光とを、それぞれ少なくとも１フレーム以上の発光期間にて自動的に切り替えて発光する光源制御部と、
    前記第１ピーク波長範囲、及び前記第２ピーク波長範囲に対応する波長域の光をそれぞれ透過させる特定色のカラーフィルタが設けられた特定画素を有するカラーの撮像センサと、
    前記第１照明光によって照明された観察対象を前記撮像センサによって撮像して得られる第１画像信号と、前記第２照明光によって照明された観察対象を前記撮像センサによって撮像して得られる第２画像信号を取得する画像取得部と、
    前記第１照明光の第１ピーク波長範囲に第１吸収ピークを持つ第１観察対象と、前記第２照明光の第２ピーク波長範囲に第２吸収ピークを持つ第２観察対象とを表示部にて識別可能に表示するために、前記第１画像信号に基づく第１表示画像と前記第２画像信号に基づく第２表示画像とをそれぞれ一定の間隔で交互に前記表示部にて表示する表示制御部とを備える内視鏡システム。
    

Images