JPWO2020054255A1 - 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法 - Google Patents

Abstract

画像から検出対象が検出された場合に自動的に照明光（観察モード）を切り替えることで、術者による切り替え操作の負担を低減することができる内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法を提供する。内視鏡スコープにより第１照明光（白色光）を使用する第１観察モードにて被検体の画像を順次撮像する。順次撮像された画像から検出対象が継続的に検出されたか否かを判定し、検出対象が継続的に検出と判定されると、第２照明光（特殊光）を発光させる第２観察モードに自動的に切り替える。第２観察モードに切り替えた後、一定時間が経過すると、第２観察モードから第１観察モードに自動的に切り替える。

Description

本発明は内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法に係り、特にユーザによる内視鏡スコープの操作を軽減する技術に関する。

一般的な内視鏡装置は、内視鏡スコープの挿入部の先端から照明光を照射し、被観察対象を撮像素子により撮像して画像情報を取得するが、このとき照明光は白色光（通常光）だけでなく、白色光とは異なるスペクトルの特殊光を使用することが知られている（特許文献１、２）。

特許文献１に記載の内視鏡装置は、内視鏡スコープの挿入部の先端に触子部を有し、触子部を生体表面に押し当て、生体表面の特徴量を検出し、検出された特徴量に応じて白色光を使用する通常光観察モードと、特殊光を使用する特殊光観察モードとの間で自動的に観察モード（照明光）を切り替えるようにしている。

特許文献２に記載の内視鏡装置は、狭帯域光の光量を広帯域光の光量よりも増加させた第１照明モードと、狭帯域光の光量と広帯域光の光量とがほぼ等しくなる第２照明モードと、狭帯域光の光量を広帯域光の光量よりも減少させた第３照明モードとを有し、被観察部位の種類を判別し、判別した被観察部位の種類に応じて自動的に照明モードを切り替え、これにより術者の手間を軽減するようにしている。

また、近年においては、画像解析によって画像に含まれる病変を検出する、病変を種別ごとに分類する等の認識を行い、報知することで検査を支援することが知られている。

認識のための画像解析においては、深層学習（Deep Learning）をはじめとする画像の機械学習により高精度な自動認識が可能となっている（例えば、非特許文献１）。

特開２０１２−１６０号公報 特開２０１４−１６６５９０号公報

A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS, 2012

特許文献１に記載の発明は、内視鏡スコープの挿入部の先端の触子部を生体表面に押し当て生体表面を陥没させ、その生体表面の陥没領域の大きさが閾値を超えると、観察モードを自動的に特殊光観察モードに切り替えるが、術者が、触子部を生体表面に押し当てる（触診を行う）必要がある。

特許文献２に記載の発明は、観察部位（例えば、食道、噴門、胃）の種類に応じて、食道の特殊光観察に適した照明光を用いる第１照明モードと、噴門の特殊光観察に適した照明光を用いる第２照明モードと、胃の特殊光観察に適した照明光を用いる第３照明モードとを自動的に切り替えるが、一回の内視鏡検査において、種類の異なる複数の観察部位を観察する場合に限られる。

本発明はこのような事情に鑑みてなされたもので、画像から検出対象が検出された場合に自動的に照明光（観察モード）を切り替えることで、術者による切り替え操作の負担を低減することができる内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る内視鏡装置は、第１観察モード及び第２観察モードにそれぞれ対応する第１照明光及び第２照明光を発光する光源部と、第１照明光又は第２照明光が照射された被写体を撮像する撮像部と、撮像部により順次撮像された画像から検出対象を検出する検出器と、検出器が検出対象を継続的に検出しているか否かを判定する継続検出判定部と、第１観察モードと第２観察モードとを切り替える観察モード切替部と、を備え、観察モード切替部は、第１観察モードが使用されている状態において、継続検出判定部により検出対象が継続的に検出されていると判定されると、第２観察モードに自動的に切り替える。

本発明の一の態様によれば、第１観察モードにより第１照明光下で撮像された画像から継続的に検出対象が検出されると、第２照明光下で撮像する第２観察モードに自動的に切り替えるようにしたため、検出対象の詳細な観察に適した第２照明光下で検出対象を撮像することができ、かつ術者による観察モードの切り替え操作の負担を低減することができる。

本発明の他の態様に係る内視鏡装置において、撮像部により撮像された画像の特定領域の変化量を算出する変化量算出部と、変化量算出部により算出された変化量が閾値以内か否かを判定する変化量判定部と、を備え、観察モード切替部は、第１観察モードが使用されている状態において、継続検出判定部により検出対象が継続的に検出されていると判定され、かつ変化量判定部により変化量が閾値以内と判定されると、第２観察モードに自動的に切り替えることが好ましい。変化量が閾値以内の場合には、画像がほぼ静止（術者が検出対象を注視）していると考えられるため、検出対象の詳細な観察に適した第２観察モードに切り替える。

本発明の更に他の態様に係る内視鏡装置において、特定領域は、撮像部により撮像された画像の全体領域であることが好ましい。

本発明の更に他の態様に係る内視鏡装置において、特定領域は、撮像部により撮像された画像の中心領域であることが好ましい。

本発明の更に他の態様に係る内視鏡装置において、特定領域は、検出器からの検出情報を元に算出される検出対象に対応する領域であることが好ましい。

本発明の更に他の態様に係る内視鏡装置において、変化量算出部により算出される変化量は、特定領域の位置の変化量であることが好ましい。

本発明の更に他の態様に係る内視鏡装置において、変化量算出部により算出される変化量は、特定領域のサイズの変化量であることが好ましい。

本発明の更に他の態様に係る内視鏡装置において、観察モード切替部は、第２観察モードに切り替えた後、一定時間経過後に第１観察モードに切り替えることが好ましい。一定時間経過後には、第２観察モードによる検出対象の観察が終了するためである。

本発明の更に他の態様に係る内視鏡装置において、観察モード切替部は、第２観察モードに切り替えた後、継続検出判定部により検出対象が継続的に検出されていないと判定されると、第１観察モードに切り替えることが好ましい。第２観察モードにより観察すべき検出対象が存在しないからである。

本発明の更に他の態様に係る内視鏡装置において、観察モード切替部は、第２観察モードに切り替えた後、変化量判定部により変化量が閾値よりも大きいと判定されると、第１観察モードに切り替えることが好ましい。変化量が閾値よりも大きい場合には、画像が変化しており、術者が検出対象に注視していないと考えられるため、第１観察モードに切り替える。

本発明の更に他の態様に係る内視鏡装置において、観察モード切替部は、第２観察モードに切り替えた後、静止画の撮像が行われると、第１観察モードに切り替えることが好ましい。

本発明の更に他の態様に係る内視鏡装置において、継続検出判定部は、検出器が、検出器の検出間隔よりも長い一定の時間範囲内で検出対象を連続して検出する場合、検出対象を継続的に検出していると判定することが好ましい。

本発明の更に他の態様に係る内視鏡装置において、継続検出判定部は、検出器が、検出器の検出間隔よりも長い一定の時間範囲内で検出対象を閾値以上の割合で検出する場合、検出対象を継続的に検出していると判定することが好ましい。

本発明の更に他の態様に係る内視鏡装置において、第１観察モードは、第１照明光として通常光を使用する通常光観察モードであり、第２観察モードは、第２照明光として特殊光を使用する特殊光観察モードであることが好ましい。

本発明の更に他の態様に係る内視鏡装置において、第１観察モードは、第１照明光として第１特殊光を使用する第１特殊光観察モードであり、第２観察モードは、第２照明光として第１特殊光とは異なる第２特殊光を使用する第２特殊光観察モードであることが好ましい。

本発明の更に他の態様に係る内視鏡プロセッサは、第１観察モード及び第２観察モードにそれぞれ対応する第１照明光及び第２照明光を発光する光源部と、第１照明光又は第２照明光が照射された被写体を撮像する撮像部から、被写体を示す画像を順次取得する画像取得部と、順次取得した画像から検出対象を検出する検出器と、検出器が検出対象を継続的に検出しているか否かを判定する継続検出判定部と、第１観察モードと第２観察モードとを切り替える観察モード切替部と、を備え、観察モード切替部は、第１観察モードが使用されている状態において、継続検出判定部により検出対象が継続的に検出されていると判定されると、第２観察モードに自動的に切り替える。

更に他の態様に係る発明は、第１観察モード及び第２観察モードを有する内視鏡装置の操作方法であって、光源部から第１観察モードに対応する第１照明光を発光させるステップと、撮像部が、第１照明光が照射された被写体を撮像するステップと、検出器が、撮像部により順次撮像された画像から検出対象を検出するステップと、継続検出判定部が、検出器が検出対象を継続的に検出しているか否かを判定するステップと、観察モード切替部が、第１観察モードと第２観察モードとを切り替えるステップであって、第１観察モードが使用されている状態において、判定するステップにより検出対象が継続的に検出されていると判定されると、第２観察モードに自動的に切り替えるステップと、第２観察モードに切り替えられると、光源部から第２観察モードに対応する第２照明光を発光するステップと、撮像部が、第２照明光が照射された被写体を撮像するステップと、を含む。

本発明によれば、第１観察モードにより第１照明光下で撮像された画像から継続的に検出対象が検出されると、第２照明光下で撮像する第２観察モードに自動的に切り替えるようにしたため、検出対象の詳細な観察に適した第２照明光下で検出対象を撮像することができ、かつ術者による観察モードの切り替え操作の負担を低減することができる。

図１は、本発明に係る内視鏡装置１０の外観を示す斜視図である。 図２は、内視鏡装置１０の電気的構成を示すブロック図である。 図３は、検出器１５を構成する学習モデルの一つである畳み込みニューラルネットワークの代表的な構成例を示す模式図である。 図４は、本発明に係る内視鏡装置を構成する内視鏡プロセッサの第１実施形態を示す要部ブロック図である。 図５は、第１観察モードとしてＷＬを使用した通常光観察モードとし、第２観察モードとしてＢＬＩ用の特殊光を使用した特殊光観察モードとした場合の観察モードの自動切替えを示す概念図である。 図６は、本発明に係る内視鏡装置を構成する内視鏡プロセッサの第２実施形態を示す要部ブロック図である。 図７は、本発明に係る内視鏡装置を構成する内視鏡プロセッサの第３実施形態を示す要部ブロック図である。 図８は、内視鏡スコープ１１により順次撮像される入力画像（フレーム）と、入力画像から検出される検出対象の検出結果と、検出対象の中心座標の変化量と、検出対象のサイズ（面積）の変化量とを示す図である。 図９は、第１観察モードとしてＢＬＩ用の特殊光を使用した第１特殊光観察モードとし、第２観察モードとしてＬＣＩ用の特殊光を使用した第２特殊光観察モードとした場合の観察モードの自動切替えを示す概念図である。 図１０は、本発明に係る内視鏡装置の操作方法の実施形態を示すフローチャートである。

以下、添付図面に従って本発明に係る内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法の好ましい実施形態について説明する。

［内視鏡装置の全体構成］
図１は、本発明に係る内視鏡装置１０の外観を示す斜視図である。

図１に示すように内視鏡装置１０は、主として被検体内の観察対象を撮像する内視鏡スコープ（ここでは軟性内視鏡）１１と、光源装置（光源部）１２と、内視鏡プロセッサ１３と、液晶モニタ等の表示器１４と、検出器１５とから構成されている。

光源装置１２は、通常光画像の撮像用の白色光（第１照明光）、及び白色光とは異なるスペクトルの特殊光（第２照明光）の各種の観察光を内視鏡スコープ１１へ供給する。

内視鏡プロセッサ１３は、内視鏡スコープ１１により得られた画像信号に基づいて表示用／記録用の通常光画像、特殊光画像、又は観察用画像の画像データを生成する画像処理機能、光源装置１２を制御する機能、通常画像又は観察用画像、及び検出器１５による検出結果を表示器１４に表示させる機能等を有する。

尚、検出器１５の詳細は後述するが、内視鏡プロセッサ１３を内視鏡画像を受け付け、内視鏡画像から検出対象（病変、手術痕、処置痕など）の位置検出や病変の種類の鑑別等を行う部分である。また、本例の内視鏡プロセッサ１３と光源装置１２とは別体に構成され、電気的に接続されているが、内視鏡プロセッサ１３に光源装置１２が内蔵されていてもよい。同様に、内視鏡プロセッサ１３に検出器１５が内蔵されていてもよい。

表示器１４は、内視鏡プロセッサ１３から入力される表示用の画像データに基づき通常画像、特殊光画像又は観察用画像、及び検出器１５による認識結果を表示する。

内視鏡スコープ１１は、被検体内に挿入される可撓性の挿入部１６と、挿入部１６の基端部に連設され、内視鏡スコープ１１の把持及び挿入部１６の操作に用いられる手元操作部１７と、手元操作部１７を光源装置１２及び内視鏡プロセッサ１３に接続するユニバーサルコード１８と、を備えている。

挿入部１６の先端である挿入部先端１６ａには、照明レンズ４２、対物レンズ４４、撮像素子４５などが内蔵されている（図２参照）。挿入部先端１６ａの後端には、湾曲自在な湾曲部１６ｂが連設されている。また、湾曲部１６ｂの後端には、可撓性を有する可撓管部１６ｃが連設されている。

手元操作部１７には、アングルノブ２１、操作ボタン２２、及び鉗子入口２３などが設けられている。アングルノブ２１は、湾曲部１６ｂの湾曲方向及び湾曲量を調整する際に回転操作される。操作ボタン２２は、送気・送水や吸引等の各種の操作に用いられる。鉗子入口２３は、挿入部１６内の鉗子チャンネルに連通している。また、手元操作部１７には、各種の設定を行う内視鏡操作部４６（図２参照）等が設けられている。

ユニバーサルコード１８には、送気・送水チャンネル、信号ケーブル、及びライトガイドなどが組み込まれている。ユニバーサルコード１８の先端部には、光源装置１２に接続されるコネクタ部２５ａと、内視鏡プロセッサ１３に接続されるコネクタ部２５ｂとが設けられている。これにより、コネクタ部２５ａを介して光源装置１２から内視鏡スコープ１１に観察光が供給され、コネクタ部２５ｂを介して内視鏡スコープ１１により得られた画像信号が内視鏡プロセッサ１３に入力される。

尚、光源装置１２には、電源ボタン、光源を点灯させる点灯ボタン、及び明るさ調節ボタン等の光源操作部１２ａが設けられ、また、内視鏡プロセッサ１３には、電源ボタン、図示しないマウス等のポインティングデバイスからの入力を受け付ける入力部を含むプロセッサ操作部１３ａが設けられている。

［内視鏡装置の電気的構成］
図２は、内視鏡装置１０の電気的構成を示すブロック図である。

図２に示すように内視鏡スコープ１１は、大別してライトガイド４０と、照明レンズ４２と、対物レンズ４４と、撮像素子４５と、内視鏡操作部４６と、内視鏡制御部４７と、ＲＯＭ（Read Only Memory）４８とを有している。

ライトガイド４０は、大口径光ファイバ、バンドルファイバなどが用いられる。ライトガイド４０は、その入射端がコネクタ部２５ａを介して光源装置１２に挿入されており、その出射端が挿入部１６を通って挿入部先端１６ａ内に設けられた照明レンズ４２に対向している。光源装置１２からライトガイド４０に供給された照明光は、照明レンズ４２を通して観察対象に照射される。そして、観察対象で反射及び／又は散乱した照明光は、対物レンズ４４に入射する。

対物レンズ４４は、入射した照明光の反射光又は散乱光（即ち、観察対象の光学像）を撮像素子４５の撮像面に結像させる。

撮像素子４５は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子であり、対物レンズ４４よりも奥側の位置で対物レンズ４４に相対的に位置決め固定されている。撮像素子４５の撮像面には、光学像を光電変換する複数の光電変換素子（フォトダイオード）により構成される複数の画素が２次元配列されている。また、本例の撮像素子４５の複数の画素の入射面側には、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置され、これによりＲ画素、Ｇ画素、Ｂ画素が構成されている。尚、ＲＧＢのカラーフィルタのフィルタ配列は、ベイヤ配列が一般的であるが、これに限らない。

撮像素子４５は、対物レンズ４４により結像される光学像を電気的な画像信号に変換して内視鏡プロセッサ１３に出力する。

尚、撮像素子４５がＣＭＯＳ型である場合には、Ａ／Ｄ(Analog/Digital)変換器が内蔵されており、撮像素子４５から内視鏡プロセッサ１３に対してデジタルの画像信号が直接出力される。また、撮像素子４５がＣＣＤ型である場合には、撮像素子４５から出力される画像信号は、図示しないＡ／Ｄ変換器等でデジタルな画像信号に変換された後、内視鏡プロセッサ１３に出力される。

内視鏡操作部４６は、図示しない静止画撮影ボタン、手動にて観察モードを切り替えるモード切替えボタンが配置され、モード変更ボタンからの切り替え信号は内視鏡制御部４７に入力される。尚、モード切替えボタンは、押下動作の度に照明光の種類（観察モード）を切り替える操作部であり、後述するように自動的に観察モードを切り替える「ＡＵＴＯ」モードを含む。また、モード切替えボタンは、内視鏡プロセッサ１３のプロセッサ操作部１３ａに設けられていてもよい。

内視鏡制御部４７は、内視鏡操作部４６での操作に応じてＲＯＭ４８等から読み出した各種プログラムやデータを逐次実行し、主として撮像素子４５の駆動を制御する。例えば、白色光（通常光）を照明光とする通常光観察モードの場合、内視鏡制御部４７は、撮像素子４５のＲ画素、Ｇ画素及びＢ画素の信号を読み出すように撮像素子４５を制御し、白色光とは異なるスペクトルの特殊光を照明光とする特殊光観察モードであって、特定の特殊光画像を取得するために観察光としてＶ−ＬＥＤ３２ａから紫色光が発光される場合、又はＢ−ＬＥＤ３２ｂから青色光が発光される場合には、これらの紫色光、青色光の波長帯域に分光感度を有する撮像素子４５のＢ画素の信号のみを読み出し、あるいはＲ画素、Ｇ画素及びＢ画素の３つの色画素のうちのいずれか１つの色画素、又は２つの色画素を読み出すように撮像素子４５を制御する。

また、内視鏡制御部４７は、内視鏡プロセッサ１３のプロセッサ制御部６１との間で通信を行い、内視鏡操作部４６での操作情報及びＲＯＭ４８に記憶されている内視鏡スコープ１１の種類を識別するための識別情報等を内視鏡プロセッサ１３に送信する。

光源装置１２は、光源制御部３１及び光源ユニット３２を有している。光源制御部３１は、光源ユニット３２の制御と、内視鏡プロセッサ１３のプロセッサ制御部６１との間で通信を行い、各種情報の遣り取りを行う。

光源ユニット３２は、例えば複数の半導体光源を有している。本実施形態では、光源ユニット３２は、Ｖ−ＬＥＤ（Violet Light Emitting Diode）３２ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）３２ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）３２ｃ、及びＲ−ＬＥＤ（Red Light Emitting Diode）３２ｄの４色のＬＥＤを有する。Ｖ−ＬＥＤ３２ａ、Ｂ−ＬＥＤ３２ｂ、Ｇ−ＬＥＤ３２ｃ、及びＲ−ＬＥＤ３２ｄは、例えば、４１０ｎｍ、４５０ｎｍ、５３０ｎｍ、６１５ｎｍにそれぞれピーク波長を持つ観察光であり、紫色（Ｖ）光、青色（Ｂ）光、緑色（Ｇ）光、及び赤色（Ｒ）光を発光する半導体光源である。

光源制御部３１は、通常光観察モード、特殊光観察モード等の観察モードに応じて、光源ユニット３２の４つのＬＥＤの点灯や消灯、点灯時の発光量等を、ＬＥＤ毎に個別に制御する。通常光観察モードの場合、光源制御部３１は、Ｖ−ＬＥＤ３２ａ、Ｂ−ＬＥＤ３２ｂ、Ｇ−ＬＥＤ３２ｃ、及びＲ−ＬＥＤ３２ｄを全て点灯させる。このため、通常光観察モードでは、Ｖ光、Ｂ光、Ｇ光、及びＲ光を含む白色光が照明光として用いられる。

一方、特殊光観察モードの場合、光源制御部３１は、Ｖ−ＬＥＤ３２ａ、Ｂ−ＬＥＤ３２ｂ、Ｇ−ＬＥＤ３２ｃ、及びＲ−ＬＥＤ３２ｄのうちのいずれか１つの光源、又は適宜組み合わせた複数の光源を点灯させ、又は複数の光源を点灯させる場合に各光源の発光量（光量比）を制御した特殊光が照明光として用いられ、これにより被写体の深度の異なる複数の層の画像の撮像を可能にする。

本例の第１観察モードの場合、通常光画像用の白色光（ＷＬ：White Light）を発光し、第２観察モードの場合、特殊光画像（ＢＬＩ（Blue Light Imaging or Blue LASER Imaging）、ＬＣＩ（Linked Color Imaging）、又はＮＢＩ(Narrow Band Imaging)）用の特殊光を発光する。

ＢＬＩ用の照明光は、表層血管での吸収率が高いＶ光の比率が高く、中層血管での吸収率が高いＧ光の比率を抑えた照明光であり、被写体の粘膜表層の血管や構造の強調に適した画像（ＢＬＩ）の生成に適している。

ＬＣＩ用の照明光は、Ｖ光の比率がＷＬ用の観察光に比べて高く、ＷＬ用の観察光と比べて微細な色調変化を捉えるのに適した照明光であり、Ｒ成分の信号も利用して粘膜付近の色を中心に、赤味を帯びている色はより赤く、白っぽい色はより白くなるような色強調処理が行われた画像（ＬＣＩ）の生成に適している。

また、ＮＢＩの照明光は、照射する照明光の波長の範囲を狭くすることで、照射される面の細かな変化を強調した画像（ＮＢＩ）の生成に適している。

各ＬＥＤ３２ａ〜３２ｄが発する各色の光は、ダイクロイックミラーやレンズ等で形成される光路結合部、及び絞り機構（図示せず）を介して内視鏡スコープ１１内に挿通されたライトガイド４０に入射される。

尚、光源装置１２の観察光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域にピークを有する光（特殊光）、或いはこれらの組み合わせなど、観察目的に応じた各種の波長帯域の光が選択される。

特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。

特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。

特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。

内視鏡プロセッサ１３は、プロセッサ操作部１３ａ、プロセッサ制御部６１、ＲＯＭ６２、デジタル信号処理回路（ＤＳＰ：Digital Signal Processor）６３、画像処理部６５、表示制御部６６、及び記憶部６７等を有している。

プロセッサ操作部１３ａは、電源ボタン、マウスにより表示器１４の画面上で指示される座標位置及びクリック（実行指示）等の入力を受け付ける入力部等を含む。

プロセッサ制御部６１は、プロセッサ操作部１３ａでの操作情報、及び内視鏡制御部４７を介して受信した内視鏡操作部４６での操作情報に応じてＲＯＭ６２から必要なプログラムやデータを読み出し、逐次処理することで内視鏡プロセッサ１３の各部を制御するとともに、光源装置１２を制御する。尚、プロセッサ制御部６１は、図示しないインターフェースを介して接続されたキーボード等の他の外部機器から必要な指示入力を受け付けるようにしてもよい。

内視鏡スコープ１１（撮像素子４５）から出力される動画の各フレームの画像データを取得する画像取得部の一形態として機能するＤＳＰ６３は、プロセッサ制御部６１の制御の下、内視鏡スコープ１１から入力される動画の１フレーム分の画像データに対し、欠陥補正処理、オフセット処理、ホワイトバランス補正、ガンマ補正、及びデモザイク処理（「同時化処理」ともいう）等の各種の信号処理を行い、１フレーム分の画像データを生成する。

画像処理部６５は、ＤＳＰ６３から画像データを入力し、入力した画像データに対して、必要に応じて色変換処理、色彩強調処理、及び構造強調処理等の画像処理を施し、観察対象が写った内視鏡画像を示す画像データを生成する。色変換処理は、画像データに対して３×３のマトリックス処理、階調変換処理、及び３次元ルックアップテーブル処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像データに対して、例えば血管と粘膜との色味に差をつける方向に色彩を強調する処理である。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像データに対して行う。

画像処理部６５により処理された動画の各フレームの画像データは、静止画又は動画の撮影指示があると、撮影指示された静止画又は動画として記憶部６７に記録される。

表示制御部６６は、画像処理部６５から入力する画像データに基づいて通常光画像又は特殊光画像を表示器１４に表示させるための表示用データを生成し、生成した表示用データを表示器１４に出力し、表示器１４に表示画像（内視鏡スコープ１１により撮像された動画等）を表示させる。

また、表示制御部６６は、検出器１５から画像処理部６５を介して入力する認識結果、又は検出器１５から入力する認識結果を表示器１４に表示させる。

表示制御部６６は、検出器１５により注目領域が検出された場合、その注目領域を示す指標を、表示器１４に表示された画像上に重畳して表示させる。例えば、表示画像における注目領域の色を変えるなどの強調表示や、マーカの表示、バウンディングボックスの表示が、指標として考えられる。

また、表示制御部６６は、検出器１５による検出対象の検出結果に基づいて、検出対象の有無を表す情報を表示器１４に表示された画像と重ならないように表示させることができる。検出対象の有無を表す情報は、例えば、内視鏡画像の枠の色を、検出対象が検出された場合と検出対象が検出されない場合とで変えたり、「検出対象有り！」のテキストを内視鏡画像とは異なる表示領域に表示させる態様が考えられる。

更に、表示制御部６６は、検出器１５により病変に関する鑑別が実行された場合、その鑑別結果を表示器１４に表示させる。鑑別結果の表示方法は、例えば、表示器１４の表示画像上に鑑別結果を表すテキストの表示などが考えられる。テキストの表示は、表示画像上でなくてもよく、表示画像との対応関係が分かりさえすれば、特に限定されない。

［検出器１５］
次に、本発明に係る検出器１５について説明する。

検出器１５は、撮像部（内視鏡スコープ１１）により順次撮像された画像から病変等の検出対象を検出する部分であり、内視鏡プロセッサ１３による画像処理後の画像を順次受け付ける。本例の第１観察モードの場合には、通常光画像（ＷＬ画像）を検出用の画像として受け付け、第２観察モードの場合には、特殊光画像（ＢＬＩ、ＣＬＩ、又はＮＢＩ）を検出用の画像として受け付ける。

図３は、検出器１５を構成する学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の代表的な構成例を示す模式図である。

ＣＮＮ１５は、例えば、内視鏡画像に写っている検出対象（病変、手術痕、処置痕など）の位置検出や病変の種類を鑑別する学習モデルであり、複数のレイヤー構造を有し、複数の重みパラメータを保持している。ＣＮＮ１５は、重みパラメータが最適値に設定されることで、学習済みモデルとなり検出器として機能する。

図３に示すようにＣＮＮ１５は、入力層１５Ａと、複数の畳み込み層及び複数のプーリング層を有する中間層１５Ｂと、出力層１５Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。

本例のＣＮＮ１５は、内視鏡画像に写っている検出対象の位置を認識するセグメンテーションを行う学習モデルであり、ＣＮＮの一種である全層畳み込みネットワーク（ＦＣＮ：Fully Convolution Network）が適用され、内視鏡画像に写っている検出対象の位置をピクセル単位もしくは、いくつかのピクセルをまとめた大きさのピクセルで検出対象の有無を判定するもの、検出対象の中心の座標値、検出対象を囲う矩形の４つの座標値等を出力するものが考えられる。

入力層１５Ａには、検出用の１フレームの画像が入力される。

中間層１５Ｂは、入力層１５Ａから入力した画像から特徴を抽出する部分である。中間層１５Ｂにおける畳み込み層は、画像や前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小（又は拡大）して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。尚、中間層１５Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれ得る。

出力層１５Ｃは、中間層１５Ｂにより抽出された特徴に基づき内視鏡画像に写っている検出対象の位置検出や病変の種類を分類（鑑別）する検出結果を出力する部分である。

また、このＣＮＮ１５は、学習用の画像セットと画像セットに対する正解データとの多数のセットにより学習されたものであり、ＣＮＮ１５の各畳み込み層に適用されるフィルタの係数やオフセット値が、学習用のデータセットにより最適値に設定されている。ここで、正解データとは、内視鏡画像に対して医師が指定した検出対象や鑑別結果であることが好ましい。

また、本例のＣＮＮ１５は、内視鏡画像に写っている検出対象の位置を認識するものであるが、検出器（ＣＮＮ）は、これに限らず、病変に関する鑑別を実行して鑑別結果を出力するものでもよい。例えば、検出器は、内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力したり、３つのスコアから明確に分類できる場合には、分類結果を出力するものでもよい。また、このような鑑別結果を出力するＣＮＮの場合、全層畳み込みネットワーク（ＦＣＮ）の代わりに、中間層の最後の１層又は複数の層として全結合層を有するものが好ましい。

更に、検出器１５は、通常光画像を入力する場合には通常光画像を使用して学習した学習モデルを使用し、特殊光画像を入力する場合には特殊光画像を使用して学習した学習モデルを適用することが好ましい。

［第１実施形態］
図４は、本発明に係る内視鏡装置を構成する内視鏡プロセッサの第１実施形態を示す要部ブロック図である。

図４に示す第１実施形態の内視鏡プロセッサ１３は、プロセッサ制御部６１−１を備えている。

プロセッサ制御部６１−１は、内視鏡プロセッサ１３の各部を統括制御する部分であるが、第１実施形態のプロセッサ制御部６１−１は、更に継続検出判定部７０及び観察モード切替部７２を備えている。

継続検出判定部７０は、検出器１５から検出結果を入力し、入力する検出結果に基づいて、検出器１５が検出対象を継続的に検出しているか否かを判定する。１フレーム（画像）から検出対象が検出されたか否かの判定は、例えば、検出器１５の出力が、ピクセル単位もしくは、いくつかのピクセルをまとめた大きさのピクセルで検出対象の有無を判定した出力を行う場合は、検出対象があるピクセルの存在の有無により行い、検出対象の中心の座標値や検出対象を囲う矩形の４つの座標値を出力する場合は、座標値の出力の有無により行うことができる。

そして、継続検出判定部７０は、検出器１５が、検出器１５の検出間隔（動画の１フレームの周期、又は複数のフレームの周期）よりも長い一定の時間範囲内で検出対象を連続して検出する場合、検出対象を継続的に検出していると判定することができる。

ここで、継続的に検出対象が検出されているか否かは、検出器１５の検出結果を順次保存し、現在の検出結果及び最新の過去の検出結果を参照して判定を行うことが考えられる。

また、継続検出判定部７０は、検出器１５が、検出器１５の検出間隔よりも長い一定の時間範囲内で検出対象を、検出間隔ごとに毎回検出する場合に限らず、検出対象を閾値以上の割合で検出する場合も、検出対象を継続的に検出していると判定することが好ましい。

例えば、検出器１５が、動画の１フレームの周期で（フレーム毎に）検出対象を検出する場合、順次入力された最新の過去の６０フレーム（１秒間）の検出結果を参照することが考えられる。また、継続的の判定は、例えば、過去の６０フレームを参照する場合で、６０フレーム全てで検出対象が検出されている場合だけでなく、例えば、１から３フレーム置きに検出対象が検出されている場合でも継続的に検出対象が検出されていると判定しても良い。

観察モード切替部７２は、第１観察モードと第２観察モードとを切り替える部分であり、第１観察モードが使用されている状態において、継続検出判定部７０により検出対象が継続的に検出されていると判定されると、第１観察モードから第２観察モードに自動的に切り替える。

本例では、第１観察モードは、ＷＬ（通常光）を発光して観察する通常光観察モードであり、第２観察モードは、特殊光画像（ＢＬＩ、ＬＣＩ、又はＮＢＩ）用の特殊光を発光して観察する特殊光観察モードである。

したがって、観察モード切替部７２は、光源装置１２に対して、第１観察モードから第２観察モードに切り替える指令を出力し、又はＷＬの発光から特殊光の発光に切り替える指令を出力することで、第１観察モードから第２観察モードに自動的に切り替える。

観察モード切替部７２は、第２観察モードに切り替えた後、一定時間経過（例えば数秒）後に第１観察モードに切り替える。また、観察モード切替部７２は、第２観察モードに切り替えた後、継続検出判定部７０により検出対象が継続的に検出されていないと判定されると、第１観察モードに切り替えるようにしてもよい。

図５は、第１観察モードとしてＷＬを使用した通常光観察モードとし、第２観察モードとしてＢＬＩ用の特殊光を使用した特殊光観察モードとした場合の観察モードの自動切替えを示す概念図である。

図５に示すように、通常光観察モードにより順次撮像された通常光画像（ＷＬ画像）から検出対象が継続して検出されると、観察モード切替部７２により通常光観察モードから特殊光観察モードへの切り替えが自動的に行われ、特殊光観察モードにより特殊光画像（ＢＬＩ）の撮像が行われる。そして、第２観察モードに切り替えられた後、一定時間経過すると、観察モード切替部７２により再び通常光観察モードに切り替えられる。

これにより、通常光観察モードが使用されている状態において、順次撮像された画像から検出対象が継続して検出されると、自動的に通常光観察モードから特殊光観察モードに切り替えられるため、検出対象の詳細な観察に適した特殊光下で検出対象を撮像することができ、術者による観察モードの切り替え操作の負担を低減することができる。

［第２実施形態］
図６は、本発明に係る内視鏡装置を構成する内視鏡プロセッサの第２実施形態を示す要部ブロック図である。尚、図６において、図４に示した第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図６に示す第２実施形態の内視鏡プロセッサ１３は、プロセッサ制御部６１−２を備えている。

プロセッサ制御部６１−２は、図４に示したプロセッサ制御部６１−１と比較して、主として変化量算出部７３及び変化量判定部７４が追加されている点で相違する。

変化量算出部７３は、画像処理部６５により処理された動画の各フレームの画像データを順次入力し、順次入力する画像データに基づいて内視鏡スコープ１１により撮像された画像の特定領域の変化量を計算する。

ここで、画像の特定領域は、撮像された画像の全体領域とすることができる。また、特定領域の変化量は、連続して撮像される画像のサイズの変化量、あるいは位置の変化量とすることができる。

変化量判定部７４は、変化量算出部７３により算出された変化量が閾値以内か否かを判定する。

例えば、内視鏡挿入部を体腔から引き抜きながら観察する場合、観察中の画像は変化し、一方、引き抜きを一時停止すると、観察中の画像は静止する。したがって、変化量に対する閾値は、連続する画像間の特定領域のサイズの変化量、あるいは位置の変化量が、内視鏡挿入部の移動に伴って変化したか否かの判断基準として設定される値とすることができる。

観察モード切替部７２は、通常光観察モードが使用されている状態において、継続検出判定部７０により検出対象が継続的に検出されていると判定され、かつ変化量判定部７４により画像の変化量が閾値以内と判定されると、通常光観察モードから特殊光観察モードに自動的に切り替える。

また、観察モード切替部７２は、特殊光観察モードに切り替えた後、変化量判定部７４により画像の変化量が閾値よりも大きいと判定されると、特殊光観察モードから通常光観察モードに切り替える。

第２実施形態によれば、通常光観察モードが使用されている状態において、順次撮像された画像から検出対象が継続して検出され、かつ変化量判定部７４により特定領域の変化量が小さいと判定される場合（変化量が閾値以内と判定される場合）には、内視鏡挿入部がほぼ静止している（術者が検出対象を注視している）と考えられるため、通常光観察モードから特殊光観察モードに自動的に切り替える。

一方、順次撮像された画像から検出対象が継続して検出されていても、変化量判定部７４により特定領域の変化量が大きいと判定される場合（変化量が閾値よりも大きいと判定される場合）には、内視鏡挿入部が移動している（例えば、内視鏡挿入部を体腔から引き抜きながら観察している）と考えられるため、通常光観察モードから特殊光観察モードへの切り替えは行わない。

尚、特定領域は、撮像された画像の全体領域に限らず、例えば、撮像された画像の中心領域でもよい。

［第３実施形態］
図７は、本発明に係る内視鏡装置を構成する内視鏡プロセッサの第３実施形態を示す要部ブロック図である。尚、図７において、図６に示した第２実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図７に示す第３実施形態の内視鏡プロセッサ１３は、プロセッサ制御部６１−３を備えている。

プロセッサ制御部６１−３は、図６に示したプロセッサ制御部６１−２と比較して、主として変化量算出部７５による変化量の判定対象、及び変化量判定部７６における変化量の判定内容が相違する。

変化量算出部７５は、検出器１５により検出された検出対象の検出情報を順次入力し、順次入力する検出対象の検出情報に基づいて検出対象の変化量を計算する。即ち、変化量算出部７５は、検出器１５からの検出情報を元に算出される検出対象を特定領域とし、その検出対象に対応する領域（特定領域）の変化量を計算する。

ここで、変化量算出部７５により計算される検出対象の変化量は、連続して検出される検出対象の位置の変化量とすることができる。

検出器１５による検出情報が、例えば検出対象（病変領域）の中心座標である場合（検出結果がピクセル単位での病変の有無であっても、矩形の座標であっても中心座標は計算できる）、現在の座標と前フレームの座標を比較し、変化量を計算する。

変化量判定部７６は、変化量算出部７５により計算された検出対象の変化量が閾値以内か否かを判定する。例えば、継続的に検出器１５が検出対象を検出し、その検出対象の中心座標の変化量が、３２ピクセル以内であれば、変化量判定部７６は、検出対象の変化量が閾値以内と判定することができる。

観察モード切替部７２は、通常光観察モードが使用されている状態において、継続検出判定部７０により検出対象が継続的に検出されていると判定され、かつ変化量判定部７６により検出対象の変化量が閾値以内と判定されると、通常光観察モードから特殊光観察モードに自動的に切り替える。

また、観察モード切替部７２は、特殊光観察モードに切り替えた後、変化量判定部７６により検出対象の変化量が閾値よりも大きいと判定されると、特殊光観察モードから通常光観察モードに切り替える。

尚、検出対象の変化量は、検出対象の位置（中心座標）の変化量に限らず、検出対象のサイズの変化量でもよい。例えば、検出器１５による検出結果が、例えば、検出対象（病変領域）を囲う矩形の４つの座標値であった場合は、現在の矩形の面積と前フレームの矩形の面積を比較し、変化量を計算する。例えば、継続的に検出器１５が検出対象を検出し、面積の変化が、前フレームに対して８０％以内であれば、検出対象の変化量は閾値以内とすることができる。

図８は、内視鏡スコープ１１により順次撮像される入力画像（フレーム）と、入力画像から検出される検出対象の検出結果と、検出対象の中心座標の変化量と、検出対象のサイズ（面積）の変化量とを示す図である。

図８において、時刻ｔ_０のフレームは現在フレームであり、時刻ｔ_−１〜時刻ｔ_−５の各フレームは、過去フレームである。

検出器１５は、入力するフレームから検出対象の検出を行う。図８において、時刻ｔ_−４のフレームでは、検出対象が検出されず、他の時刻のフレームでは検出対象が検出されている。

図８において、前後のフレームの検出対象の中心座標の変化量は、ベクトル（矢印）で示されており、前後のフレームの検出対象の面積の変化量は、三日月状の領域で示されている。尚、前後のフレームの検出対象の変化量には、後フレームには存在するが、前フレームには存在しない検出領域と、後フレームには存在しないが、前フレームには存在する検出領域とがある。

図７に示した変化量算出部７５は、ベクトルで示されている検出対象の中心座標の変化量を計算し、又は検出対象の面積の変化量である三日月状の領域の面積を計算する。変化量判定部７６は、変化量算出部７５により計算された検出対象の中心座標の変化量、又は検出対象の面積の変化量が閾値以内か否かを判定する。

尚、時刻ｔ_−４のフレームでは、検出対象が検出されず、他の時刻のフレームでは検出対象が検出されているため、継続検出判定部７０は、検出対象を継続的に検出していると判定することができる。

［観察モードの切替えの他の実施形態］
上記の実施形態では、第１観察モードを通常光観察モードとし、第２観察モードとして特殊光観察モードとしたが、本発明はこれに限定されない。例えば、第１観察モードを第１特殊光観察モードとし、第２観察モードを第２特殊光観察モードとすることができる。

図９は、第１観察モードとしてＢＬＩ用の特殊光を使用した第１特殊光観察モードとし、第２観察モードとしてＬＣＩ用の特殊光を使用した第２特殊光観察モードとした場合の観察モードの自動切替えを示す概念図である。

図９に示すように、第１特殊光観察モードにより順次撮像された第１特殊光画像（ＢＬＩ）から検出対象が継続して検出されると、観察モード切替部７２により第１特殊光観察モードから第２特殊光観察モードへの切り替えが自動的に行われ、第２特殊光観察モードにより第２特殊光画像（ＬＣＩ）の撮像が行われる。そして、第２特殊光観察モードに切り替えられた後、一定時間経過すると、観察モード切替部７２により再び第１特殊光観察モードに切り替えられる。

これにより、第１特殊光観察モードが使用されている状態において、順次撮像された画像から検出対象が継続して検出されると、自動的に第１特殊光観察モードから第２特殊光観察モードに切り替えられるため、ＢＬＩとは異なる特徴を有するＬＣＩの検出対象を撮像することができ、術者による観察モードの切り替え操作の負担を低減することができる。

［内視鏡装置の操作方法］
図１０は、本発明に係る内視鏡装置の操作方法の実施形態を示すフローチャートであり、図２に示した内視鏡装置１０の各部の処理手順に関して示している。

図１０において、まず、第１観察モードに設定され、プロセッサ制御部６１により制御される光源装置１２は、第１照明光として白色光を発光する（ステップＳ１０）。内視鏡スコープ１１は、白色光（ＷＬ）により照明された被写体の画像（ＷＬ画像）を順次撮像する（ステップＳ１２）。

検出器１５は、内視鏡スコープ１１により撮像されたＷＬ画像から検出対象を検出する（ステップＳ１４）。

継続検出判定部７０（図４）は、検出器１５により検出対象が継続的に検出されたか否かを判定し（ステップＳ１６）、検出対象が継続的に検出されていないと判定されると（「No」の場合）、ステップＳ１０に戻り、ステップＳ１０からステップＳ１６の処理を繰り返す。

一方、検出対象が継続的に検出されていると判定されると（「Yes」の場合）、ステップＳ１８に遷移させる。即ち、観察モード切替部７２は、第１観察モードが使用されている状態において、検出対象が継続的に検出されている判定されると、第２照明光（特殊光）を発光させる第２観察モードに切り替える。

ステップＳ１８では、光源装置１２から特殊光が発光される。内視鏡スコープ１１は、特殊光により照明された被写体の画像（特殊光画像）を順次撮像する（ステップＳ２０）。

プロセッサ制御部６１は、第２観察モードに切り替えた後、一定時間が経過したか否かを判別し（ステップＳ２２）、一定時間が経過していないと判別されると（「No」の場合）、ステップＳ１８に遷移し、特殊光画像の撮像が継続して行われる。

一方、一定時間が経過したと判別されると（「Yes」の場合）、ステップＳ１０に遷移させる。これにより、第２観察モードから第１観察モードに戻り、再びＷＬ画像の撮像が行われる。

［その他］
本実施形態では、第１観察モードから第２観察モードに自動的に切り替えられた後、第２観察モードでの撮像が一定時間経過した場合、又は検出対象が継続的に検出されない場合に、再び第１観察モードに切り替えるようにしたが、これに限らず、第１観察モードから第２観察モードに自動的に切り替えられた後、静止画撮影ボタンの操作により静止画の撮像及び記録が行われると、第１観察モードに切り替えるようにしてもよい。

また、第１観察モードから第２観察モードに自動的に切り替えられると、自動的に静止画の撮影及び記録を行った後、第１観察モードに切り替えるようにしてもよい。これによれば、観察モードを自動的に切り替えることができ、かつ静止画の撮像も自動的に行うことができ、術者による内視鏡スコープの操作を更に軽減することができる。尚、この場合、第２観察モードにおいて、静止画の撮像が行われたことを表示器１４等により報知することが好ましい。

また、本実施形態では、それぞれ異なる照明光（ＷＬ、ＢＬＩ、ＬＣＩ、及びＮＢＩ用の照明光）に対応する観察モードについて説明したが、観察モードは、これらの照明光に対応するものに限定されない。また、これらの２種類以上の観察モードのうちのいずれを第１観察モード及び第２観察モードにするかは、適宜設定することが可能である。

また、本実施形態では、内視鏡スコープ１１、光源装置１２、内視鏡プロセッサ１３、及び検出器１５を含む内視鏡装置１０について説明したが、本発明は、内視鏡装置１０に限らず、内視鏡スコープ１１を構成要件としない内視鏡プロセッサ１３により構成されるものでもよい。この場合、内視鏡プロセッサ１３と光源装置１２と検出器１５とは一体化されたものでもよいし、別体のものでもよい。

更に、それぞれ異なる照明光は、４色のＬＥＤから発光されるものに限らず、例えば、中心波長４４５ｎｍの青色レーザ光を発する青色レーザダイオードと、中心波長４０５ｎｍの青紫色レーザ光を発する青紫色レーザダイオードとを発光源とし、これらの青色レーザダイオード、及び青紫色レーザダイオードのレーザ光を、ＹＡＧ（Yttrium Aluminum Garnet）系の蛍光体に照射して発光されるものでもよい。この蛍光体に青色レーザ光が照射されることで、蛍光体が励起され広帯域の蛍光が発せられ、また、一部の青色レーザ光は、そのまま蛍光体を透過する。青紫色レーザ光は、蛍光体を励起させることなく透過する。したがって、青色レーザ光と青紫色レーザ光との強度を調整することで、ＷＬ用の照明光、ＢＬＩ用の照明光、及びＬＣＩ用の照明光を照射することができ、また、青紫色レーザ光のみを発光させると、中心波長が４０５ｎｍの観察光を照射することができる。

更にまた、本発明は、カラー撮像素子である撮像素子４５の代わりに、カラーフィルタを有さないモノクロの撮像素子を備えた内視鏡スコープ（撮像部）を備えた内視鏡装置にも適用できる。モノクロの撮像素子によりカラーの内視鏡画像である通常光画像や特殊光画像を取得する場合、それぞれ異なる色の照明光により被検体を順次照明し、照明光毎に画像を撮像する（面順次方式で撮像する）。

例えば、光源ユニット３２から異なる色の照明光（Ｒ光、Ｇ光、Ｂ光、又はＶ光）を順次発光することで、モノクロの撮像素子によりＲ光、Ｇ光、Ｂ光、又はＶ光に対応した色のＲ画像、Ｇ画像、Ｂ画像、又はＶ画像が面順次方式で撮像される。

内視鏡プロセッサは、面順次方式で撮像された１又は複数の画像（Ｒ画像、Ｇ画像、Ｂ画像、又はＶ画像）から第１観察モード又は第２観察モードに応じた画像（例えば、ＷＬ画像、ＢＬＩ、ＬＣＩ、ＮＢＩ等）を生成することができる。観察モードに応じたＷＬ画像、ＢＬＩ、ＬＣＩ又はＮＢＩ等の画像は、面順次方式で撮像された複数の画像の合成比率を調整することで生成することができる。本発明は、面順次方式で撮像され、観察モードに応じて観察モードに対応する画像を生成する場合も、光源部から観察モードに応じた照明光が発光され、その照明光が照射された被写体の画像として含むものとする。

また、検出器１５は、ＣＮＮに限らず、例えばＤＢＮ（Deep Belief Network）、ＳＶＭ（Support Vector Machine）などのＣＮＮ以外の機械学習モデルでもよく、要は画像から検出対象を検出できるものであれば如何なるものでもよい。

更に、内視鏡プロセッサ１３及び／又は検出器１５のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 内視鏡装置
１１ 内視鏡スコープ
１２ 光源装置
１２ａ 光源操作部
１３ 内視鏡プロセッサ
１３ａ プロセッサ操作部
１４ 表示器
１５ 検出器
１５Ａ 入力層
１５Ｂ 中間層
１５Ｃ 出力層
１６ 挿入部
１６ａ 挿入部先端
１６ｂ 湾曲部
１６ｃ 可撓管部
１７ 手元操作部
１８ ユニバーサルコード
２１ アングルノブ
２２ 操作ボタン
２３ 鉗子入口
２５ａ、２５ｂ コネクタ部
３１ 光源制御部
３２ 光源ユニット
３２ａ Ｖ−ＬＥＤ
３２ｂ Ｂ−ＬＥＤ
３２ｃ Ｇ−ＬＥＤ
３２ｄ Ｒ−ＬＥＤ
４０ ライトガイド
４２ 照明レンズ
４４ 対物レンズ
４５ 撮像素子
４６ 内視鏡操作部
４７ 内視鏡制御部
４８ ＲＯＭ
６１、６１−１、６１−２、６１−３ プロセッサ制御部
６２ ＲＯＭ
６５ 画像処理部
６６ 表示制御部
６７ 記憶部
７０ 継続検出判定部
７２ 観察モード切替部
７３、７５ 変化量算出部
７４、７６ 変化量判定部
Ｓ１０〜Ｓ２２ ステップ

本発明は内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法に係り、特にユーザによる内視鏡スコープの操作の負担を軽減する技術に関する。

本発明の一の態様によれば、第１観察モードにより第１照明光下で撮像された画像から継続的に検出対象が検出されると、第１観察モードを第２照明光下で撮像する第２観察モードに自動的に切り替えるようにしたため、検出対象の詳細な観察に適した第２照明光下で検出対象を撮像することができ、かつ術者による観察モードの切り替え操作の負担を低減することができる。

内視鏡プロセッサ１３は、内視鏡スコープ１１により得られた画像信号に基づいて表示用／記録用の通常光画像、特殊光画像、又は観察用画像の画像データを生成する画像処理機能、光源装置１２を制御する機能、通常光画像又は観察用画像、及び検出器１５による検出結果を表示器１４に表示させる機能等を有する。

尚、検出器１５の詳細は後述するが、内視鏡プロセッサ１３から内視鏡画像を受け付け、内視鏡画像から検出対象（病変、手術痕、処置痕など）の位置検出や病変の種類の鑑別等を行う部分である。また、本例の内視鏡プロセッサ１３と光源装置１２とは別体に構成され、電気的に接続されているが、内視鏡プロセッサ１３に光源装置１２が内蔵されていてもよい。同様に、内視鏡プロセッサ１３に検出器１５が内蔵されていてもよい。

表示器１４は、内視鏡プロセッサ１３から入力される表示用の画像データに基づき通常光画像、特殊光画像又は観察用画像、及び検出器１５による認識結果を表示する。

内視鏡操作部４６は、図示しない静止画撮影ボタン、手動にて観察モードを切り替えるモード切替えボタンが配置され、モード切替えボタンからの切り替え信号は内視鏡制御部４７に入力される。尚、モード切替えボタンは、押下動作の度に照明光の種類（観察モード）を切り替える操作部であり、後述するように自動的に観察モードを切り替える「ＡＵＴＯ」モードを含む。また、モード切替えボタンは、内視鏡プロセッサ１３のプロセッサ操作部１３ａに設けられていてもよい。

また、ＮＢＩ用の照明光は、照射する照明光の波長の範囲を狭くすることで、照射される面の細かな変化を強調した画像（ＮＢＩ）の生成に適している。

本例のＣＮＮ１５は、内視鏡画像に写っている検出対象の位置を認識するセグメンテーションを行う学習モデルであり、ＣＮＮの一種である全層畳み込みネットワーク（ＦＣＮ：Fully Convolutional Network）が適用され、全層畳み込みネットワークには、内視鏡画像に写っている検出対象の位置をピクセル単位もしくは、いくつかのピクセルをまとめた大きさのピクセルで検出対象の有無を判定するもの、検出対象の中心の座標値、検出対象を囲う矩形の４つの座標値等を出力するものが考えられる。

継続検出判定部７０は、検出器１５から検出結果を入力し、入力する検出結果に基づいて、検出器１５が検出対象を継続的に検出しているか否かを判定する。１フレーム（画像）から検出対象が検出されたか否かの判定は、例えば、検出器１５が、ピクセル単位もしくは、いくつかのピクセルをまとめた大きさのピクセルで検出対象の有無を判定した結果を出力する場合は、検出対象があるピクセルの存在の有無により行い、検出対象の中心の座標値や検出対象を囲う矩形の４つの座標値を出力する場合は、座標値の出力の有無により行うことができる。

例えば、検出器１５が、動画の１フレームの周期で（フレーム毎に）検出対象を検出する場合、順次入力された最新の過去の６０フレーム（１秒間）の検出結果を参照することが考えられる。また、継続的検出の判定は、例えば、過去の６０フレームを参照する場合で、６０フレーム全てで検出対象が検出されている場合だけでなく、例えば、１から３フレーム置きに検出対象が検出されている場合でも継続的に検出対象が検出されていると判定しても良い。

図５に示すように、通常光観察モードにより順次撮像された通常光画像（ＷＬ画像）から検出対象が継続して検出されると、観察モード切替部７２により通常光観察モードから特殊光観察モードへの切り替えが自動的に行われ、特殊光観察モードにより特殊光画像（ＢＬＩ）の撮像が行われる。そして、特殊光観察モードに切り替えられた後、一定時間経過すると、観察モード切替部７２により再び通常光観察モードに切り替えられる。

例えば、内視鏡挿入部を体腔から引き抜きながら観察する場合、観察中の画像は変化し、一方、引き抜きを一時停止すると、観察中の画像は静止する。したがって、変化量に対する閾値は、連続する画像間の特定領域のサイズ、あるいは位置が、内視鏡挿入部の移動に伴って変化したか否かの判断基準として設定される値とすることができる。

観察モード切替部７２は、通常光観察モードが使用されている状態において、継続検出判定部７０により検出対象が継続的に検出されていると判定され、かつ変化量判定部７４により画像の特定領域の変化量が閾値以内と判定されると、通常光観察モードから特殊光観察モードに自動的に切り替える。

また、観察モード切替部７２は、特殊光観察モードに切り替えた後、変化量判定部７４により画像の特定領域の変化量が閾値よりも大きいと判定されると、特殊光観察モードから通常光観察モードに切り替える。

検出器１５による検出情報が、例えば検出対象（病変領域）の中心座標である場合（検出結果がピクセル単位での病変の有無であっても、矩形の座標であっても中心座標は計算できる）、現在のフレームの座標と前フレームの座標を比較し、変化量を計算する。

尚、検出対象の変化量は、検出対象の位置（中心座標）の変化量に限らず、検出対象のサイズの変化量でもよい。例えば、検出器１５による検出結果が、例えば、検出対象（病変領域）を囲う矩形の４つの座標値であった場合は、現在のフレームの矩形の面積と前フレームの矩形の面積を比較し、変化量を計算する。例えば、継続的に検出器１５が検出対象を検出し、面積の変化が、前フレームに対して８０％以内であれば、検出対象の変化量は閾値以内とすることができる。

図８において、前後のフレームの検出対象の中心座標の変化量は、ベクトル（矢印）で示されており、前後のフレームの検出対象の面積の変化量は、三日月状の領域で示されている。尚、前後のフレームの検出対象の変化量には、後フレームには検出対象が存在するが、前フレームには検出対象が存在しない検出領域と、後フレームには検出対象が存在しないが、前フレームには検出対象が存在する検出領域とがある。

［その他］
本実施形態では、第１観察モードから第２観察モードに自動的に切り替えられた後、第２観察モードでの撮像が一定時間続いた場合、又は検出対象が継続的に検出されない場合に、再び第１観察モードに切り替えるようにしたが、これに限らず、第１観察モードから第２観察モードに自動的に切り替えられた後、静止画撮影ボタンの操作により静止画の撮像及び記録が行われると、第１観察モードに切り替えるようにしてもよい。

また、第１観察モードから第２観察モードに自動的に切り替えられると、自動的に静止画の撮影及び記録を行った後、第１観察モードに切り替えるようにしてもよい。これによれば、観察モードを自動的に切り替えることができ、かつ静止画の撮像も自動的に行うことができ、術者による内視鏡スコープの操作の負担を更に軽減することができる。尚、この場合、第２観察モードにおいて、静止画の撮像が行われたことを表示器１４等により報知することが好ましい。

Claims (17)

1. 第１観察モード及び第２観察モードにそれぞれ対応する第１照明光及び第２照明光を発光する光源部と、
   前記第１照明光又は前記第２照明光が照射された被写体を撮像する撮像部と、
   前記撮像部により順次撮像された画像から検出対象を検出する検出器と、
   前記検出器が前記検出対象を継続的に検出しているか否かを判定する継続検出判定部と、
   前記第１観察モードと前記第２観察モードとを切り替える観察モード切替部と、を備え、
   前記観察モード切替部は、前記第１観察モードが使用されている状態において、前記継続検出判定部により前記検出対象が継続的に検出されていると判定されると、前記第２観察モードに自動的に切り替える内視鏡装置。
2. 前記撮像部により撮像された画像の特定領域の変化量を算出する変化量算出部と、
   前記変化量算出部により算出された前記変化量が閾値以内か否かを判定する変化量判定部と、を備え、
   前記観察モード切替部は、前記第１観察モードが使用されている状態において、前記継続検出判定部により前記検出対象が継続的に検出されていると判定され、かつ前記変化量判定部により前記変化量が閾値以内と判定されると、前記第２観察モードに自動的に切り替える請求項１に記載の内視鏡装置。
3. 前記特定領域は、前記撮像部により撮像された画像の全体領域である請求項２に記載の内視鏡装置。
4. 前記特定領域は、前記撮像部により撮像された画像の中心領域である請求項２に記載の内視鏡装置。
5. 前記特定領域は、前記検出器からの検出情報を元に算出される前記検出対象に対応する領域である請求項２に記載の内視鏡装置。
6. 前記変化量算出部により算出される前記変化量は、前記特定領域の位置の変化量である請求項２から５のいずれか１項に記載の内視鏡装置。
7. 前記変化量算出部により算出される前記変化量は、前記特定領域のサイズの変化量である請求項２から５のいずれか１項に記載の内視鏡装置。
8. 前記観察モード切替部は、前記第２観察モードに切り替えた後、一定時間経過後に前記第１観察モードに切り替える請求項１から７のいずれか１項に記載の内視鏡装置。
9. 前記観察モード切替部は、前記第２観察モードに切り替えた後、前記継続検出判定部により前記検出対象が継続的に検出されていないと判定されると、前記第１観察モードに切り替える請求項１から７のいずれか１項に記載の内視鏡装置。
10. 前記観察モード切替部は、前記第２観察モードに切り替えた後、前記変化量判定部により前記変化量が閾値よりも大きいと判定されると、前記第１観察モードに切り替える請求項２から７のいずれか１項に記載の内視鏡装置。
11. 前記観察モード切替部は、前記第２観察モードに切り替えた後、静止画の撮像が行われると、前記第１観察モードに切り替える請求項２から７のいずれか１項に記載の内視鏡装置。
12. 前記継続検出判定部は、前記検出器が、当該検出器の検出間隔よりも長い一定の時間範囲内で前記検出対象を連続して検出する場合、前記検出対象を継続的に検出していると判定する請求項１から１１のいずれか１項に記載の内視鏡装置。
13. 前記継続検出判定部は、前記検出器が、当該検出器の検出間隔よりも長い一定の時間範囲内で前記検出対象を閾値以上の割合で検出する場合、前記検出対象を継続的に検出していると判定する請求項１から１２のいずれか１項に記載の内視鏡装置。
14. 前記第１観察モードは、前記第１照明光として通常光を使用する通常光観察モードであり、前記第２観察モードは、前記第２照明光として特殊光を使用する特殊光観察モードである請求項１から１３のいずれか１項に記載の内視鏡装置。
15. 前記第１観察モードは、前記第１照明光として第１特殊光を使用する第１特殊光観察モードであり、前記第２観察モードは、前記第２照明光として前記第１特殊光とは異なる第２特殊光を使用する第２特殊光観察モードである請求項１から１３のいずれか１項に記載の内視鏡装置。
16. 第１観察モード及び第２観察モードにそれぞれ対応する第１照明光及び第２照明光を発光する光源部と、
    前記第１照明光又は前記第２照明光が照射された被写体を撮像する撮像部から、前記被写体を示す画像を順次取得する画像取得部と、
    前記順次取得した画像から検出対象を検出する検出器と、
    前記検出器が前記検出対象を継続的に検出しているか否かを判定する継続検出判定部と、
    前記第１観察モードと前記第２観察モードとを切り替える観察モード切替部と、を備え、
    前記観察モード切替部は、前記第１観察モードが使用されている状態において、前記継続検出判定部により前記検出対象が継続的に検出されていると判定されると、前記第２観察モードに自動的に切り替える内視鏡プロセッサ。
17. 第１観察モード及び第２観察モードを有する内視鏡装置の操作方法であって、
    光源部から前記第１観察モードに対応する第１照明光を発光させるステップと、
    撮像部が、前記第１照明光が照射された被写体を撮像するステップと、
    検出器が、前記撮像部により順次撮像された画像から検出対象を検出するステップと、
    継続検出判定部が、前記検出器が前記検出対象を継続的に検出しているか否かを判定するステップと、
    観察モード切替部が、前記第１観察モードと前記第２観察モードとを切り替えるステップであって、前記第１観察モードが使用されている状態において、前記判定するステップにより前記検出対象が継続的に検出されていると判定されると、前記第２観察モードに自動的に切り替えるステップと、
    前記第２観察モードに切り替えられると、前記光源部から前記第２観察モードに対応する第２照明光を発光するステップと、
    前記撮像部が、前記第２照明光が照射された被写体を撮像するステップと、
    を含む内視鏡装置の操作方法。

Images