JP7447281B2 - プロセッサ装置、プロセッサ装置の作動方法 - Google Patents

Description

本発明は、内視鏡が撮像した内視鏡画像を取得するプロセッサ装置、プロセッサ装置の作動方法に関する。

光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムが広く知られている。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、内視鏡画像を取得する。内視鏡画像は、ディスプレイに表示されるなどして診断等に使用される。

また、内視鏡システムの中には、白色光（通常光）を観察対象に照射して、観察用の内視鏡画像（通常画像）を撮像する通常撮像と、通常光とは発光スペクトルの異なる特殊光を観察対象に照射して、生体情報取得用の内視鏡画像（特殊画像）を撮像する特殊撮像とを行なうものもある。例えば、下記特許文献１には、特殊光としてＩＣＧ（インドシアニングリーン）の励起光を照射して、内視鏡画像として蛍光画像を取得する例が記載されている。

また、下記特許文献１では、通常画像と特殊画像とを録画して共通の画面内に表示する構成が記載されている。こうすることで、例えば、観察中に注目すべき領域を検出した場合に、録画された画像を再生、巻き戻し等しながら、詳細に観察することが可能である。

特開２０１９－０９８００８号公報

しかしながら、上記特許文献１記載の装置では、必要な情報が得られない場合があった。つまり、内視鏡システムを用いた内視鏡検査では、検査の大半の時間が通常画像を観察しながら行われるため、特殊画像の撮像頻度が通常画像と比較して低く設定されている。このため、所望の情報を得るための特殊画像が存在しない場合がある。このような問題を防止するために、特殊画像の撮像頻度を高く設定するといったことも考えられるが、この場合、通常画像の撮像頻度が低下してしまうので、通常画像が見難く、検査に悪影響を及ぼしてしまう。

本発明は、上記背景を鑑みてなされたものであり、検査への悪影響を抑えながら、必要な情報をより確実に得ることが可能な、プロセッサ装置、プロセッサ装置の作動方法を提供することを目的とする。

上記目的を達成するために、本発明のプロセッサ装置は、内視鏡から出力された内視鏡画像をディスプレイに表示する通常観察モードと、内視鏡画像をディスプレイに表示するとともに、内視鏡画像を動画像として記録し、再生指示に基づいて記録した動画像をディスプレイに再生表示する詳細観察モードと、を含む複数種類の観察モードの切り替えを行うプロセッサ装置において、撮像制御用プロセッサが、通常光を観察対象に照射して、内視鏡画像として通常画像を撮像する通常撮像と、通常光とは発光スペクトルの異なる特殊光を観察対象に照射して、内視鏡画像として特殊画像を撮像する特殊撮像と、を行い、通常画像の撮像頻度と特殊画像の撮像頻度とを、観察モードの種類に応じて切り替える。

詳細観察モードでは、通常観察モードに対して、通常画像の撮像頻度を低下させてもよい。

詳細観察モードでは、通常観察モードに対して、特殊画像の撮像頻度を増加させてもよい。

特殊光には、発光スペクトルが互いに異なる、複数種類の特殊光が含まれ、特殊画像には、複数種類の特殊光に対応する複数種類の特殊画像が含まれ、詳細観察モードでは、通常観察モードに対して、複数種類の特殊画像のうちの一部の特殊画像について、通常観察モードよりも撮像頻度を増加させてもよい。

詳細観察モードでは、一部の特殊画像とは別の一部の特殊画像については、通常観察モードよりも撮像頻度を低下させてもよい。

特殊画像を用いて、観察対象の生体情報を表示する生体情報画像を生成し、生成した生体情報画像を、ディスプレイに表示してもよい。

生体情報画像は、血中ヘモグロビンの酸素飽和度を示す酸素飽和度画像であってもよい。

生体情報画像は、特定深さの血管を示す血管画像であってもよい。

生体情報画像は、特殊画像に設定された複数の範囲の各々について、各々の範囲の色差を拡張する色差拡張画像であってもよい。

また、上記目的を達成するために、本発明のプロセッサ装置の作動方法は、内視鏡から出力された内視鏡画像をディスプレイに表示する通常観察モードと、内視鏡画像をディスプレイに表示するとともに、内視鏡画像を動画像として記録し、再生指示に基づいて記録した動画像をディスプレイに再生表示する詳細観察モードと、を含む複数種類の観察モードの切り替えを行うプロセッサ装置の作動方法において、撮像制御用プロセッサが、通常光を観察対象に照射して、内視鏡画像として通常画像を撮像する通常撮像と、通常光とは発光スペクトルの異なる特殊光を観察対象に照射して、内視鏡画像として特殊画像を撮像する特殊撮像と、を行い、通常画像の撮像頻度と特殊画像の撮像頻度とを、観察モードの種類に応じて切り替える。

本発明によれば、通常画像が見易く、また、詳細な観察を行なう場合には特殊画像が見易いプロセッサ装置、プロセッサ装置の作動方法を提供できる。

内視鏡システムを簡略化した模式図である。 内視鏡システムの機能を示すブロック図である。 内視鏡画像が表示される流れを示すフローチャートである。 内視鏡画像が録画及び再生される流れを示すフローチャートである。 通常観察モードにおける撮像制御を示す説明図である。 詳細観察モードにおける撮像制御を示す説明図である。

図１において、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、ＵＩ（User InterFace、ユーザーインターフェース）１９とを有する。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

また、操作部１２ｂには、観察モードの切り替え操作に用いる観察モード切替スイッチ１２ｆと、処置具に係る手技支援情報の提示に用いる手技支援情報提示スイッチ１２ｇと、観察対象の静止画の取得指示に用いられる静止画像取得指示スイッチ１２ｈと、ズームレンズ４３の操作に用いられるズーム操作部１２ｉとが設けられている。内視鏡システム１０では、観察モードとして、通常観察モードと、通常観察モードよりも詳細な観察を行うための詳細観察モードとが設けられており、モード切替スイッチ１２ｆを操作することで、観察モードの切り替えが行われる。

光源装置１４は、観察対象を照明するための照明光を発する光源部２０（図２参照）を備えている。光源部２０からの照明光は、ライトガイド２５（図２参照）により導光されて先端部１２ｄから観察対象へ向けて照射される。光源部２０からの照明光により照明された観察対象は、先端部１２ｄに内蔵された撮像センサ４４（図２参照）により撮像される。

プロセッサ装置１６は、ディスプレイ１８及びＵＩ１９と電気的に接続される。ディスプレイ１８は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。ＵＩ１９は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。なお、プロセッサ装置１６には、外付けのメモリ（図示しない）を接続してもよい。

図２において、光源装置１４は、前述した光源部２０を備えている。光源部２０は、プロセッサ装置１６の光源制御部２１に接続されており、光源部２０が発する照明光の発光スペクトル並びに発光タイミングは、光源制御部２１により制御される。

本実施形態において、光源部２０は、発光スペクトルが互いに異なる通常光と特殊光とを発光する。通常光は、例えば、白色光である。白色光は、例えば、波長帯域３８０～４２０ｎｍの紫色光、波長帯域４２０～５００ｎｍの青色光、波長帯域４８０～６００ｎｍの緑色光、波長帯域６００～６５０ｎｍの赤色光、を含む。通常光を観察対象に照射して撮像された内視鏡画像（通常画像）は、ディスプレイ１８に表示される。

特殊光は、１種類であってもよいし複数種類であってもよいが、本実施形態では、６種類の特殊光を設定している（図５参照）。これらの特殊光には、例えば、血中ヘモグロビンの吸収係数が高い紫色光（ピーク波長４００ｎｍ～４２０ｎｍ）の発光量が、通常光よりも大きくされたものが含まれる。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、表層の血管構造や腺管構造を示す血管画像（生体情報画像）の生成に用いられる。

また、特殊光には、例えば、前述した紫色光のみを発光するものが含まれる。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、前述の場合（紫色光の発光量を通常光よりも大きくした場合）と比較して、より表層の血管構造や腺管構造を示す血管画像（生体情報画像）の生成に用いられる。

さらに、特殊光には、例えば、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある青紫色光（ピーク波長４７０ｎｍ～４８０ｎｍ）を発光するものが含まれる。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、血中ヘモグロビンの酸素飽和度を示す酸素飽和度画像（生体情報画像）の生成に用いられる。

また、特殊光には、例えば、前述した紫色光及び青紫光、並びに、赤色光（ピーク波長６２０ｎｍ～６３０ｎｍ）の発光量が、通常光よりも大きくされたものが含まれる。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、病変部と病変部以外の範囲との色差を拡張した色差拡張画像（生体情報画像）の生成に用いられる。なお、特殊光の種類、及び、各特殊光を照射して撮像された内視鏡画像（特殊画像）を用いて生成する生体情報画像の種類は、上記に限定されず適宜変更できる。

光源部２０からの照明光は、ミラーやレンズなどで構成される光路結合部２３を介して、前述したライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、ズームレンズ４３、撮像センサ４４を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４２及びズームレンズ４３を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。ズームレンズ４３は観察対象を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。

撮像センサ４４は、カラーセンサであり、本実施形態では、Ｂ（ブルー）カラーフィルタを有するＢ画素、Ｇ（グリーン）カラーフィルタを有するＧ画素、及び、Ｒ（レッド）カラーフィルタを有するＲ画素の３種類の画素を備えた原色系のカラーセンサを用いている。このような撮像センサ４４としては、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像センサ等を用いることができる。

撮像センサ４４は、プロセッサ装置１６の撮像センサ制御部４５により制御される。撮像センサ制御部４５は、所定サイクルで（本実施形態では、毎秒６０回）、撮像（撮像センサ４４の信号読み出し）を行う。そして、この撮像に伴い、撮像センサ４４から画像信号が出力される。本実施形態では、毎秒６０フレーム（枚）分の画像信号が出力される。

なお、ＲＧＢの原色のカラーフィルタを設けた原色系の撮像センサ４４の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを有する補色系の撮像センサを用いてもよい。補色系の撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いてもよい。

ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。

プロセッサ装置１６は、本発明の撮像制御用プロセッサを構成する中央制御部６８を備えている。中央制御部６８は、メモリ６９に格納されたプログラム命令を実行させるためのハードウェア資源であり、プロセッサ装置１６の各部を駆動制御してプログラム命令を実行させる。プログラム命令の実行に伴う中央制御部６８の駆動制御により、プロセッサ装置１６は、撮像制御部５０、ＤＳＰ（Digital Signal Processor）５２、ノイズ低減部５４、画像処理部５８、表示制御部６０、として機能する。

撮像制御部５０には、前述した光源制御部２１及び撮像センサ制御部４５が設けられている。撮像制御部５０は、光源制御部２１を介して光源部２０を制御して観察対象を照明するとともに、撮像センサ制御部４５を介して撮像センサ４４を制御して観察対象を撮像する（撮像センサ４４から信号読み出しを行う）。そして、この撮像により撮像センサ４４から出力された内視鏡画像を取得する。

撮像制御部５０は、通常光を観察対象に照射して撮像する通常撮像を行い、通常画像を取得する。また、撮影制御部５０は、特殊光を観察態様に照射して撮像する特殊撮像を行い、特殊画像を取得する。特殊撮像は、特殊光の種類毎に行われる。前述のように、本実施形態では、６種類の特殊光が設けられているため、６種類の特殊光のそれぞれについて特殊撮像が行われ、６種類の特殊画像が取得される（図５参照）。なお、本実施形態において、通常画像及び特殊画像といった内視鏡画像は、撮像センサ４４のＢ画素、Ｇ画素、Ｒ画素から出力される青色信号（Ｂ画像信号）、緑色信号（Ｇ画像信号）、赤色信号（Ｒ画像信号）から構成されるカラー画像である。

撮像制御部５０が取得した内視鏡画像は、ＤＳＰ５２に送信される。ＤＳＰ５２は、受信した内視鏡画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。

欠陥補正処理では、撮像センサ４４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲイン係数を乗じることにより内視鏡画像の信号レベルを整える。なお、内視鏡画像は、撮像センサ４４としてモノクロセンサを用いる場合には、特定の色の光の発光毎にモノクロセンサで撮像し、モノクロセンサから出力される複数色のモノクロ画像とすることが好ましい。

ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。その後、ガンマ変換処理によって、内視鏡画像の明るさや彩度が整えられる。マトリクス処理後の内視鏡画像には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後の内視鏡画像にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５４に出力する。

ノイズ低減部５４は、ＤＳＰ５６でデモザイク処理等を施した内視鏡画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した内視鏡画像は、画像処理部５８に入力される。本実施形態では、内視鏡画像として、通常光を照射して撮像した通常画像と、特殊光Ｓを照射して撮像した特殊画像とが画像処理部５８に入力される。

画像処理部５８は、通常観察モード画層処理部６２と、詳細観察モード画像処理部６４と、ストレージデバイス６６と、を備えている。通常観察モード画像処理部６２は、前述した観察モードが通常観察モードである場合に作動する。他方、詳細観察モード画像処理部６４は、観察モードが詳細観察モードである場合に作動する。ストレージデバイス６６は、詳細観察モード画像処理部６４による内視鏡画像の録画に用いられる。

図３に示すように、通常観察モード画像処理部６２は、ノイズ低減部５４から通常画像が入力された場合（ノイズ低減部５４から通常画像が入力された内視鏡画像が特殊画像でなかった場合）、通常画像を表示制御部６０に入力する。表示制御部６０は、ディスプレイ１８の表示制御を行うものであり、通常画像は、表示制御部６０において表示用の映像信号に変換されてディスプレイ１８に表示される。

また、通常観察モード画像処理部６２は、ノイズ低減部５４から特殊画像が入力された場合、特殊画像を単独で用いて、または、特殊画像と通常画像とを用いて観察対象の生体情報を示す生体情報画像を生成する。生体情報画像は、前述した血管画像、酸素飽和度画像、色差拡張画像などであり、特殊画像に対して解析処理を行なうことにより生成される。通常観察モード画像処理部６２は、生成した生体情報画像を表示制御部６０に入力する。生体情報画像は、表示制御部６０において表示用の映像信号に変換されてディスプレイ１８に表示される。生体情報画像は、観察用画像に重畳させて、または、観察用画像に並べて表示される。

なお、通常画像、特殊画像、または生体情報画像に対して、認識処理を行ってもよい。認識処理には、病変部などの注目領域を検出する検出処理と、病変部の種類やステージ（程度）を鑑別する鑑別処理とが含まれる。また、鑑別処理には、注目領域に対して行なう処理と、認識処理を行なう画像全体に対して行う処理とが含まれる。

認識処理では、例えば、内視鏡画像を複数の小領域に分割し、分割した内視鏡画像から画像的な特徴量を算出する。そして、検出処理では、算出した特徴量に基づき、各小領域が病変部であるか否かを判断し、同じ種類と特定されたひとかたまりの領域を１つの病変部として抽出し、抽出した病変部を含む領域を注目領域として検出する。また、鑑別処理では、検出された注目領域について、注目領域内の特徴量と、注目領域の態様（位置、大きさ、形状など）と、に基づいて病変部の種類及び／または病変部の程度（ステージ）が判断される。上述した認識処理（検出処理、鑑別処理）における判断は、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムによって行われることが好ましい。

詳細観察モード画像処理部６４は、通常観察モード画像処理部６２と同様に、通常画像及び特殊画像から生成した生体情報画像を表示制御部６０に出力してディスプレイ１８に表示させる（図３参照）。

また、図４に示すように、詳細観察モード画像処理部６４は、通常画像及び特殊画像を、動画像としてエンコード（符号化）し、ストレージデバイス６６に記憶させる（録画する）。そして、再生、巻き戻し等の指示に基づいて、記憶した（録画した）動画像をストレージデバイス６６から読み出してデコード（復号化）する。デコードされた通常画像は、表示制御部６０を介してディスプレイ１８に表示される。他方、デコードされた特殊画像は、解析処理が行われて生体情報画像が生成され、生体情報画像が表示制御部６０を介してディスプレイ１８に表示される。なお、詳細観察モードにおいても、通常画像、特殊画像、または生体情報画像に対して、認識処理を行うことができる。認識処理は、録画前の画像に対して行なってもよいし、録画した画像を再生する際に行ってもよい。

このように、詳細観察モードでは、通常画像及び特殊画像を録画し、通常画像や特殊画像を用いて生成された生体情報画像を再生、巻き戻し等しながら、より詳細な観察が可能である。しかし、一般に、特殊画像のフレームレート（撮像頻度）は、通常画像のフレームレートよりも低く設定されており、通常画像のフレーム数と比較して特殊画像のフレーム数が少ないので、特殊画像が存在せずに所望の情報を得られない（所望の生体情報画像が生成できない）といった問題がある。また、このような問題を防止するために特殊画像のフレームレートを高くすると、通常画像のフレームレートが低下してしまうので、通常画像の観察において悪影響がでてしまう。

このため、本発明では、前述した撮像制御部５０が、観察モードに応じて、通常画像と特殊画像のフレームレートを切り替えている。以下、図５、図６を用いて、観察モードと、通常画像と特殊画像のフレームレートの関係について、具体的な説明を行なう。

なお、以下の説明では、特殊光として６種類の特殊光を用いる場合について説明を行なう。また以下の説明では、通常光を「通常光Ｎ、または単にＮ」と称し、６種類の特殊光を「特殊光Ｓ１～Ｓ６、または単にＳ１～Ｓ６」と称する。さらに、以下の説明では、通常画像、すなわち、通常光Ｎを照射して撮像した内視鏡画像を「通常画像ＮＰ、または単にＮＰ」と称する。また、特殊光Ｓ１を照射して撮像した内視鏡画像を「特殊画像ＳＰ１、または単にＳＰ１」、特殊光Ｓ２を照射して撮像した内視鏡画像を「特殊画像ＳＰ２、または単にＳＰ２」、特殊光Ｓ３を照射して撮像した内視鏡画像を「特殊画像ＳＰ３、または単にＳＰ３」、特殊光Ｓ４を照射して撮像した内視鏡画像を「特殊画像ＳＰ４、または単にＳＰ４」、特殊光Ｓ５を照射して撮像した内視鏡画像を「特殊画像ＳＰ５、または単にＳＰ５」、特殊光Ｓ６を照射して撮像した内視鏡画像を「特殊画像ＳＰ６、または単にＳＰ６」と称する。

図５に示すように、観察モードが通常観察モードである場合、撮影制御部５０は、通常光Ｎ及び特殊光Ｓ１～Ｓ６を、「Ｎ、Ｎ、Ｎ、Ｎ、Ｎ、Ｓ１、Ｎ、Ｎ、Ｎ、Ｎ、Ｎ、Ｓ２、Ｎ、Ｎ、Ｎ、Ｎ、Ｎ、Ｓ３、Ｎ、Ｎ、Ｎ、Ｎ、Ｎ、Ｓ４、Ｎ、Ｎ、Ｎ、Ｎ、Ｎ、Ｓ５、Ｎ、Ｎ、Ｎ、Ｎ、Ｎ、Ｓ６」の順番で照射し、各照明光の照射に合わせて撮像を行なう。各照明光の照射期間は、１／６０（秒）であり、撮像は、毎秒６０回行われる。これにより、「ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＳＰ１、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＳＰ２、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＳＰ３、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＳＰ４、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＳＰ５、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＮＰ、ＳＰ６」の順番で内視鏡画像（通常画像Ｎ及び特殊画像ＳＰ１～ＳＰ６）が撮像される。

このように、通常観察モードでは、通常画像の撮像頻度が高い（１秒あたり５０回）。このため、通常画像の動きが滑らかで観察し易い。特に、通常観察モードでは、カメラ（挿入部１２ａの先端部１２ｄ）の位置及び／または向きを変化させながら、病変等の疑いのある部位（より詳細に観察すべき部位）の抽出（拾い上げ）を行なうといった作業を、通常画像を観察しながら行なう。このため、本例のように、通常観察モードにおいて通常画像の撮像頻度を高く設定して観察し易くすることが効果的である。

一方、図６に示すように、観察モードが詳細観察モードである場合、撮像制御部５０は、通常光Ｎ及び特殊光Ｓ１～Ｓ３を「Ｎ、Ｓ１、Ｎ、Ｓ２、Ｎ、Ｓ３」の順番で照射し、各照明光の照射に合わせて撮像を行なう。この場合も前述した通常観察モードの場合と同様に、各照明光の照射期間は、１／６０（秒）であり、撮像は、毎秒６０回行われる。これにより、「ＮＰ、ＳＰ１、ＮＰ、ＳＰ２、ＮＰ、ＳＰ３」の順番で内視鏡画像（通常画像Ｎ及び特殊画像ＳＰ１～ＳＰ３）が撮像される。

このように、詳細観察モードでは、通常画像ＮＰの撮像頻度が通常観察モードと比較して低下する（１秒あたり５０回から３０回に低下する）。しかし、詳細観察モードは、通常観察モードにおいて抽出（拾い上げ）した部位についてより詳細に観察するためのモードであり、カメラ（挿入部１２ａの先端部１２ｄ）の位置及び／または向きの変化は通常モードと比較して少ない。このため、撮像頻度の低下による悪影響を受け難い。

また、詳細観察モードでは、特殊画像ＳＰ１～ＳＰ６のトータルとしての撮像頻度が通常観察モードと比較して増加している。具体的には、特殊画像ＳＰ１～ＳＰ６のトータルとしての撮像頻度は、通常観察モードにおいては１秒あたり１０回であるのに対し、詳細観察モードにおいては１秒あたり３０回に増加している。より具体的には、特殊画像ＳＰ１～ＳＰ３の撮像頻度が１秒あたり３／５回から１０回に増加しており、特殊画像ＳＰ４～ＳＰ６の撮像頻度が１秒あたり３／５回から０回に低下しているものの、トータルとしては、特殊画像の撮像頻度が１秒あたり１０回から３０回に増加している。

つまり、本実施形態では、特殊光には、発光スペクトルが互いに異なる、複数種類の特殊光（本実施形態では、特殊光Ｓ１～Ｓ６）が含まれ、特殊画像には、複数種類の特殊光に対応する複数種類の特殊画像（本実施形態では、特殊ＳＰ１～ＳＰ６）が含まれ、詳細観察モードでは、通常観察モードに対して、複数種類の特殊画像のうちの一部の特殊画像（本実施形態ではＳＰ１～ＳＰ３）について、通常観察モードよりも撮像頻度を増加させている。

一方、本実施形態では、詳細観察モードでは、前述した一部の特殊画像（本実施形態ではＳＰ１～ＳＰ３）とは別の一部の特殊画像（本実施形態ではＳＰ３～ＳＰ６）については、通常観察モードよりも撮像頻度を低下させているが、特殊画像ＳＰ１～ＳＰ６のトータルとしては、通常観察モードよりも撮像頻度を増加させている。

このように、詳細観察モードにおいては、特殊画像（本実施形態では、特殊画像ＳＰ１～ＳＰ３）の撮像頻度が通常モードよりも増加している。このため、詳細観察モードにおいては、これら特殊画像及びこれら特殊画像を用いて生成された生体情報画像の動きが滑らかで観察し易い。また、確認したい画像が存在せずに必要な情報が得られないといったことがない。前述のように、詳細観察モードは、通常観察モードにおいて抽出（拾い上げ）した部位を詳細に観察するためのモードであり、詳細観察モードでは、通常画像ＮＰのみならず特殊画像や特殊画像を用いて生成された生体情報画像を観察しながら詳細な観察が行われる。このため、本例のように、詳細観察モードにおいて特殊画像の撮像頻度を高く設定することが効果的である。特に、詳細観察モードでは、リアルタイムに得られた内視鏡画像だけでなく録画された内視鏡画像も参照されるため、特殊画像の撮像頻度を高く設定することで、より確実に必要な情報を得ることができる。

なお、上記実施形態では、特殊光として、特殊光Ｓ１～Ｓ６の６種類を設け、特殊画像として特殊画像ＳＰ１～ＳＰ６が撮像される例で説明をしたが、特殊光及び特殊画像の種類は５種類以下であってもよいし、７種類以上であってもよい。

また、上記実施形態では、詳細観察モードでは通常観察モードに対して、特殊画像ＳＰ１～ＳＰ３の撮像頻度を増加させる例で説明をしたが、撮像頻度を増加させる特殊画像の種類及び／または数、並びに、撮影頻度の増加率は自由に設定できる。例えば、特殊画像ＳＰ１～ＳＰ６のうち１種類のみ撮像頻度を増加させてもよい。また、特殊画像ＳＰ１～ＳＰ６の全ての撮像頻度を増加させてもよい。さらに、特殊画像ＳＰ１については撮像頻度を１０倍に増加させ、特殊画像ＳＰ２については撮像頻度を５倍に増加させるといったように、撮像頻度の増加率を特殊画像毎に個別に設定してもよい。

さらに、上記実施形態では、詳細観察モードでは通常観察モードに対して、特殊画像ＳＰ４～ＳＰ６の撮像頻度を低下させる例で説明をしたが、撮像頻度を低下させる特殊画像の種類及び／または数、並びに、撮影頻度の低下率は自由に設定できる。また、撮影頻度を低下させる特殊画像を廃止してもよい。また、撮像頻度を変化（増加または低下）させる特殊画像の種類及び／または数、並びに撮影頻度の変化率（増加率または低下率）をユーザーが指定してもよい。

上記実施形態において、光源制御部２１、撮像センサ制御部４５、撮像制御部５０、ＤＰＳ５２、ノイズ低減部５４、画像処理部５８、通常観察モード画像処理部６２、詳細観察モード画像処理部６４、中央制御部６８、等の各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｆ モード切替スイッチ
１２ｇ 手技支援情報提示スイッチ
１２ｈ 静止画取得指示部
１２ｉ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ ディスプレイ
１９ ＵＩ
２０ 光源部
２１ 光源制御部
２３ 光路結合部
２５ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
４２ 対物レンズ
４３ ズームレンズ
４４ 撮像センサ
４５ 撮像センサ制御部
４６ ＣＤＳ／ＡＧＣ回路
４８ Ａ／Ｄコンバータ
５０ 撮像制御部
５２ ＤＳＰ
５４ ノイズ低減部
５８ 画像処理部
６０ 表示制御部
６２ 通常観察モード画像処理部
６４ 詳細観察モード画像処理部
６６ ストレージデバイス
６８ 中央制御部
６９ メモリ
Ｎ 通常光
ＮＰ 通常画像
Ｓ１～Ｓ６ 特殊光
ＳＰ１～ＳＰ６ 特殊画像

Claims (10)

1. 内視鏡から出力された内視鏡画像をディスプレイに表示する通常観察モードと、前記内視鏡画像を前記ディスプレイに表示するとともに、前記内視鏡画像を動画像として記録し、再生指示に基づいて記録した動画像を前記ディスプレイに再生表示する詳細観察モードと、を含む複数種類の観察モードの切り替えを行うプロセッサ装置において、
   撮像制御用プロセッサが、
   通常光を観察対象に照射して、前記内視鏡画像として通常画像を撮像する通常撮像と、前記通常光とは発光スペクトルの異なる特殊光を観察対象に照射して、前記内視鏡画像として特殊画像を撮像する特殊撮像と、を行い、
   前記通常画像の撮像頻度と前記特殊画像の撮像頻度とを、前記観察モードの種類に応じて切り替える、プロセッサ装置。
2. 前記詳細観察モードでは、前記通常観察モードに対して、前記通常画像の撮像頻度を低下させる、請求項１に記載のプロセッサ装置。
3. 前記詳細観察モードでは、前記通常観察モードに対して、前記特殊画像の撮像頻度を増加させる、請求項１または２に記載のプロセッサ装置。
4. 前記特殊光には、発光スペクトルが互いに異なる、複数種類の特殊光が含まれ、
   前記特殊画像には、前記複数種類の特殊光に対応する複数種類の特殊画像が含まれ、
   前記詳細観察モードでは、前記通常観察モードに対して、前記複数種類の特殊画像のうちの一部の特殊画像について、前記通常観察モードよりも撮像頻度を増加させる、請求項３に記載のプロセッサ装置。
5. 前記詳細観察モードでは、前記一部の特殊画像とは別の一部の特殊画像については、前記通常観察モードよりも撮像頻度を低下させる、請求項４に記載のプロセッサ装置。
6. 前記特殊画像を用いて、前記観察対象の生体情報を表示する生体情報画像を生成し、
   生成した生体情報画像を、前記ディスプレイに表示する、請求項１から５のいずれか１項に記載のプロセッサ装置。
7. 前記生体情報画像は、血中ヘモグロビンの酸素飽和度を示す酸素飽和度画像である、請求項６に記載のプロセッサ装置。
8. 前記生体情報画像は、特定深さの血管を示す血管画像である、請求項６または７に記載のプロセッサ装置。
9. 前記生体情報画像は、前記特殊画像に設定された複数の範囲の各々について、各々の範囲の色差を拡張する色差拡張画像である、請求項６から８のいずれか１項に記載のプロセッサ装置。
10. 内視鏡から出力された内視鏡画像をディスプレイに表示する通常観察モードと、前記内視鏡画像を前記ディスプレイに表示するとともに、前記内視鏡画像を動画像として記録し、再生指示に基づいて記録した動画像を前記ディスプレイに再生表示する詳細観察モードと、を含む複数種類の観察モードの切り替えを行うプロセッサ装置の作動方法において、
    撮像制御用プロセッサが、
    通常光の照明を制御し、前記内視鏡画像として通常画像を撮像する通常撮像と、前記通常光とは発光スペクトルの異なる特殊光の照明を制御し、前記内視鏡画像として特殊画像を撮像する特殊撮像と、を行い、
    前記通常画像の撮像頻度と前記特殊画像の撮像頻度とを、前記観察モードの種類に応じて切り替える、プロセッサ装置の作動方法。

Images