JP2023018543A - 内視鏡システム及びその作動方法 - Google Patents

Abstract

【課題】複数種類の内視鏡画像を取得する場合に、画質の低下を抑えた内視鏡画像を表示することができる内視鏡システム及びその作動方法を提供する。【解決手段】内視鏡システムは、複数の照明光のそれぞれを予め設定した順で前記被写体に照射し、複数の照明光に含まれる第１照明光を照射する第１期間に、予め設定した第１撮像フレームレートに従って被写体を撮影し、第１期間に撮影した第１画像を取得し、取得した第１画像に基づいて、第１撮像フレームレートより高い第１表示フレームレートに従って表示用第１画像を生成し、表示用第１画像をディスプレイに表示する。【選択図】図１４

Description

本発明は、複数種類の内視鏡画像を表示可能である内視鏡システム及びその作動方法に関する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、画像強調内視鏡又は画像強調観察（ＩＥＥ、ｉｍａｇｅ ｅｎｈａｎｃｅｄ ｅｎｄｏｓｃｏｐｙ）と称される方法により、被写体である観察対象を内視鏡で撮影して得た画像（以下、内視鏡画像という）を用いて、観察対象の表面構造、病変又は生体情報等を強調して表示し、医師が観察対象を診断するための診断支援情報を得ることが行われている。

ＩＥＥには、観察対象を撮像して得た内視鏡画像をデジタル画像処理して用いる方法、又は、観察対象を特定の照明光により照明して撮像した内視鏡画像を用いる方法等により、各種類の内視鏡画像とする方法が知られている。例えば、医師が特定の種類の内視鏡画像を選択することにより、観察対象において血管が密集する領域、又は酸素飽和度が低い領域等の生体情報を判定し、これらの領域を強調してディスプレイ等に表示する。このような表示は、医師が観察対象を診断するための診断支援情報として有用である。

酸素飽和度画像を生成するために必要な第１撮像信号と第２撮像信号との２種類の画像信号を取得する際に、照明光の消灯期間を設けながらも、通常観察画像となる第１撮像信号の読み出し時間より第２撮像信号の読み出し時間を短縮することにより、通常観察画像の輝度及び解像度の低下並びにフレームレートの低下を抑え、通常観察画像を用いる酸素飽和度画像の輝度及び解像度の低下並びにフレームレートの低下も抑える内視鏡システム等が知られている（特許文献１）。

国際公開第２０１５／１３６９６３号

複数種類の照明光のそれぞれを照射することにより複数種類の内視鏡画像を取得する場合、単一の照明光を照射する際と比較して、撮影のフレームレートが同じであるとすると、各種類それぞれの内視鏡画像の撮影のフレームレートは減少する。特許文献１の場合のように、撮影した内視鏡画像のうち、特定の１種類の内視鏡画像に基づいて表示を行う場合は、これ以外の内視鏡画像については画素を選択して読み出しを行う等により読み出し時間を短縮し、表示する内視鏡画像についてはフレームレートを高めることができる。しかしながら、求めるＩＥＥの内容によっては、２種類以上の複数種類の内視鏡画像について、フレームレートの低下又は選択した画素の読み出し等に起因する画質の低下を抑えて表示又は画像解析等を行いたい場合が生じうる。

本発明は、複数種類の内視鏡画像を取得する場合に、画質の低下を抑えた内視鏡画像を表示することができる内視鏡システム及びその作動方法を提供することを目的とする。

本発明の内視鏡システムは、撮像部を有する内視鏡と、互いに異なるスペクトルを有する複数の照明光のそれぞれを被写体に照射する光源部と、プロセッサを有するプロセッサ装置とを備え、プロセッサは、第１観察モードにおいて、複数の照明光のそれぞれを予め設定した順で被写体に照射するよう、光源部を制御し、複数の照明光に含まれる第１照明光を照射する第１期間に、予め設定した第１撮像フレームレートに従って被写体を撮影するよう、撮像部を制御し、撮像部が第１期間に撮影した第１画像を取得し、第１画像に基づいて、第１撮像フレームレートより高い第１表示フレームレートに従って表示用第１画像を生成し、表示用第１画像をディスプレイに表示する制御を行う。

表示用第１画像は、第１画像を変更しない画像を含むことが好ましい。

プロセッサは、第１観察モードにおいて、複数の照明光に含まれる第２照明光を照射する第２期間に、予め設定した第２撮像フレームレートに従って被写体を撮影するよう、撮像部を制御し、撮像部が第２期間に撮影した第２画像を取得することが好ましい。

プロセッサは、第２画像をディスプレイに表示する制御を行うことが好ましい。

プロセッサは、複数の照明光のそれぞれからなるパターンを繰り返して被写体に照射するよう、光源部を制御することが好ましい。

プロセッサは、第１照明光と第２照明光とからなるパターンを繰り返して第１照明光又は第２照明光を被写体に照射するよう、光源部を制御することが好ましい。

プロセッサは、複数の照明光のそれぞれを間欠的に照射するよう、光源部を制御することが好ましい。

プロセッサは、撮像部が撮像を行う撮像期間と撮像して得られる画像信号を読み出す読出期間とからなる１フレームの期間において、撮像期間を読出期間より長い期間とするよう、撮像部を制御することが好ましい。

プロセッサは、撮像期間内に複数の照明光のいずれかの消灯と照射とをそれぞれ少なくとも１回ずつ行うよう、光源部を制御することが好ましい。

プロセッサは、複数の照明光のいずれかの照射を行う照射期間を変更して照明光の照射を行うよう、光源部を制御することが好ましい。

プロセッサは、変更した照射期間に基づいて露光期間を変更するよう、撮像部を制御することが好ましい。

プロセッサは、光源部が１回の照射において照射する照明光の発光量を制御することが好ましい。

発光量は、光源部が照明光の照射を行う照射期間と照明光の単位時間における発光量である瞬間発光量とにより算出することが好ましい。

プロセッサは、第１観察モードと互いに切り替え可能である第２観察モードにおいて、複数の照明光に含まれる第３照明光を被写体に照射するよう、光源部を制御し、第３照明光が照射される第３期間に、予め設定した第３撮像フレームレートに従って被写体を撮影するよう、撮像部を制御し、撮像部が第３期間に撮影した第３画像を取得し、第３画像をディスプレイに表示する場合、第３撮像フレームレート以下である第３表示フレームレートに従って表示用第３画像を生成することが好ましい。

本発明の内視鏡システムの作動方法は、撮像部を有する内視鏡と、互いに異なるスペクトルを有する複数の照明光のそれぞれを被写体に照射する光源部と、プロセッサを有するプロセッサ装置とを備える内視鏡システムの作動方法であって、プロセッサが、第１観察モードにおいて、複数の照明光のそれぞれを予め設定した順で被写体に照射するよう、光源部を制御するステップと、複数の照明光に含まれる第１照明光を照射する第１期間に、予め設定した第１撮像フレームレートに従って被写体を撮影するよう、撮像部を制御するステップと、撮像部が第１期間に撮影した第１画像を取得するステップと、第１画像に基づいて、第１撮像フレームレートより高い第１表示フレームレートに従って表示用第１画像を生成するステップと、表示用第１画像をディスプレイに表示する制御を行うステップとを備える。

本発明によれば、複数種類の内視鏡画像を取得する場合に、画質の低下を抑えた内視鏡画像を表示することができる。

内視鏡システムの概略図である。 内視鏡システムの機能を示すブロック図である。 光源部が含む４色のＬＥＤを説明する説明図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。 第２照明光のスペクトルを示すグラフである。 照明光と撮影とのパターンの一例を説明する説明図である。 撮像センサの構成を示す説明図である。 カラーフィルタの光透過率を示すグラフである。 フレームレート制御部の機能を示すブロック図である。 色差拡張処理について説明する説明図である。 表示制御部の機能を示すブロック図である。 撮影フレーム、補間フレーム、及び表示フレームについて説明する説明図である。 移動検出部を備える内視鏡システムの機能を示すブロック図である。 第１画像及び色差拡張処理を行っている第２画像を表示するディスプレイの画像図である。 第１画像、疑似カラー処理を行っている第２画像、及び画像解析結果を表示するディスプレイの画像図である。 第１画像及び疑似カラー処理を行っている第２画像を表示するディスプレイの画像図である。 第１観察モードにおける内視鏡システムの動作の一連の流れを示すフローチャートである。 第１観察モードにおける撮像センサと照明光との関係を説明する説明図である。 第２観察モードにおける撮像センサと照明光との関係を説明する説明図である。

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、ディスプレイ１５と、キーボード１６とを有する。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。各種接続は、有線に限らず無線であってもよく、また、ネットワークを介したものでもよい。

内視鏡１２は、観察対象を有する被検者の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、撮像部である撮像センサ４５を備え、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。挿入部１２ａから先端部１２ｄにわたって、処置具などを挿通するための鉗子チャンネル（図示しない）を設けている。処置具は、鉗子口１２ｈから鉗子チャンネル内に挿入する。また、送気、送水、又は吸引も、鉗子口１２ｈから行われる。

操作部１２ｂは、アングルノブ１２ｅの他、撮像倍率を変更するためのズーム操作部１２ｆと、観察モードの切替操作に用いるモード切替スイッチ１２ｇと、静止画像を取得するためのフリーズスイッチ１２ｉとを有する。なお、観察モードの切替操作、ズーム操作、又は静止画取得操作は、モード切替スイッチ１２ｇ、ズーム操作部１２ｆ、又はフリーズスイッチの他、キーボード１６、又はフットスイッチ（図示しない）等を用いた操作としてもよい。

内視鏡システム１０は、第１観察モードと第２観察モードとを備える。第１観察モードでは複数種類の内視鏡画像を取得し、そのうち１種類又は２種類以上の内視鏡画像をディスプレイ１５に表示する。第２観察モードは、１種類の内視鏡画像を取得する観察モードであり、取得した１種類の内視鏡画像をディスプレイ１５に表示する。

内視鏡画像の種類は、照明光の種類及び／又は画像処理の内容等により区別される。照明光の種類は、照明光のスペクトル（分光特性）により区別される。したがって、撮影の際の照明光のスペクトルが互いに異なる場合、撮影された内視鏡画像は互いに異なる種類である。

本実施形態では、第１観察モードでは、第１照明光を用いて観察対象を撮影した第１画像と、第２照明光を用いて観察対象を撮影した第２画像とを取得する。第２観察モードでは、第３照明光を用いて観察対象を撮影した第３画像を取得する。

第１観察モードでは、第１照明光として、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの内視鏡画像である通常画像（第１画像）と、白色光とは異なる特定のスペクトルを有する照明光である特殊光（第２照明光）を発して観察対象を撮影した特殊画像（第２画像）との、２種類の画像を取得し、例えば、２種類の画像を並べてディスプレイ１５に表示する。第２観察モードでは、第３照明光として、白色光を用いた通常画像（第３画像）を取得し、通常画像（第３画像）をディスプレイ１５に表示する。第１照明光と第３照明光、又は、第２照明光と第３照明光とは、同一であっても異なっていても良い。本実施形態では、第１照明光と第３照明光とは同一の白色光としている。

本実施形態では、第２画像は、第２照明光を発して観察対象を撮影した特殊画像に対し色差拡張処理を行って得られる色差拡張処理画像である。第２画像としては、他に、白色光とは異なる特定のスペクトルを有する照明光である特殊光を発して観察対象を撮影した内視鏡画像に対し、色差拡張処理を行わずに得られる特殊画像、又は、疑似カラー処理を行って得られる疑似カラー処理画像を用いてもよい。色差拡張処理又は疑似カラー処理については、後述する。

プロセッサ装置１４は、プロセッサを有し、ディスプレイ１５及びキーボード１６と電気的に接続される。ディスプレイ１５は、内視鏡により取得される内視鏡画像及び／又は各種情報等を表示する。キーボード１６は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１４には、画像又は画像情報等を保存する外付けのストレージ（図示しない）を接続してもよい。

図２に示すように、光源装置１３は、観察対象に照射する照明光を発し、光源部２０と、光源部２０を制御する光源用プロセッサ２１とを備える。光源用プロセッサ２１は、プロセッサ装置１４の中央制御部５１により制御される。

光源部２０は、例えば、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザダイオードと蛍光体との組み合わせ、又はキセノンランプやハロゲン光源で構成する。そして、互いに異なるスペクトルを有する複数の照明光のそれぞれを観察対象に照射する。また、光源部２０には、ＬＥＤ等が発光した光の波長帯域を調整するための光学フィルタ等が含まれる。光源用プロセッサ２１は、各ＬＥＤ等のオン／オフや、各ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源用プロセッサ２１は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

図３に示すように、本実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。

図４に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４１０±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。

光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は第１観察モードに設定した場合であって通常画像の取得の際、及び、第２観察モードに設定されている場合には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせがＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる第１照明光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。第１照明光は、白色光である。

光源用プロセッサ２１は、第１観察モードに設定されている場合であって特殊画像の取得の際には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせがＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。特殊光は、例えば、第２照明光である。第２照明光は、表層血管を強調する内視鏡画像が得られるものであることが好ましい。そのため、第２照明光は、紫色光Ｖの光強度を青色光Ｂの光強度よりも大きくすることが好ましい。例えば、図５に示すように、紫色光Ｖの光強度Ｖｓ１と青色光Ｂの光強度Ｂｓ１との比率を「４：１」とする。

なお、本明細書において、光強度比の組み合わせは、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つ又は２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせが１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有し、光強度比の組み合わせの１つである。

以上のように、第１照明光と第２照明光とにおいて発せられる、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度比の組み合わせ、すなわち照明光の種類は、互いに異なる。したがって、第１照明光と第２照明光とでは、互いに異なるスペクトルを有する。光源用プロセッサ２１は、複数の照明光のそれぞれからなるパターンを繰り返し、複数の照明光のそれぞれを予め設定した順で観察対象に照射するように、各ＬＥＤ２０ａ～２０ｄを制御する。

本実施形態では、第１観察モードでは、第１照明光と第２照明光といった、種類が互いに異なる照明光を自動で切り替えて発し、第２観察モードでは、第１照明光を連続して発する。第１照明光と第２照明光とを自動で切り替えて発する場合は、例えば、第１照明光を続けて発光する第１期間と、第２照明光を続けて発光する第２期間とを交互に繰り返す。より詳しくは、第１照明光を発光する第１期間を予め設定したフレーム数で行った後に、第２照明光を発光する第２期間を予め設定したフレーム数で行う。その後再び第１期間となり、第１期間と第２期間とからなるパターンを繰り返す。なお、３種類以上の照明光を切り替えて発してもよい。この場合も２種類の照明光の場合と同様に、予め設定した順で、それぞれの照明光において予め設定したフレーム数の期間で照明光を発光し、このパターンを繰り返す。なお、照明光のパターンは、同じ種類の照明光を２回以上用いるパターンであってもよく、用いる照明光には制限はない。

なお、「フレーム」とは、観察対象を撮像する撮像センサ４５（図２参照）を制御するための単位をいい、「１フレーム」とは、観察対象からの光で撮像を行って撮像センサ４５を露光する撮像期間と画像信号を読み出す読出期間とを少なくとも含む期間をいう。１フレームにつき、撮影された１枚の内視鏡画像が対応する。本実施形態においては、撮影の単位である「フレーム」に対応して第１期間、第２期間、又は第３期間等の各種期間がそれぞれ定められる。なお、第１、第２、又は第３等の各種期間は、それぞれいずれかと同じフレーム数であっても、互いに異なるフレーム数であってもよく、制限なく設定することができる。

図６に示すように、本実施形態では、第１照明光Ｌ１の第１期間を２フレーム（２ＦＬ）で照射し、その後、第２照明光Ｌ２の第２期間を１フレーム（１ＦＬ）で照射する。この第１照明光Ｌ１と第２照明光Ｌ２との組み合わせをパターンＰ１とし、パターンＰ１を繰り返す。

各ＬＥＤ２０ａ～２０ｅが発する光は、ミラーやレンズなどで構成される光路結合部（図示せず）を介して、ライトガイド４１に入射される。ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１３及びプロセッサ装置１４を接続するコード）に内蔵されている。ライトガイド４１は、光路結合部からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４２を有しており、ライトガイド４１によって伝搬した照明光は照明レンズ４２を介して観察対象に照射される。撮像光学系３０ｂは、撮像駆動部３６、対物レンズ４３、ズームレンズ４４、及び撮像センサ４５を有している。観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ４３及びズームレンズ４４を介して撮像センサ４５に入射する。これにより、撮像センサ４５に観察対象の像が結像する。ズームレンズ４４は、ズーム操作部１２ｆを操作することでテレ端とワイド端との間で自在に移動し、撮像センサ４５に結像する観察対象を拡大又は縮小する。

撮像センサ４５は、カラー撮像素子であり、観察対象の光像を撮像して画像信号を出力する。本実施形態では、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが採用される。図７に示すように、撮像センサ４５の撮像面４５ａには、光電変換により画素信号を生成する複数の画素３８が形成されている。画素３８は、行方向（Ｘ方向）及び列方向（Ｙ方向）にマトリクス状に２次元配列されている。

撮像センサ４５の光入射側には、カラーフィルタアレイ３９が設けられている。カラーフィルタアレイ３９は、青色（Ｂ）フィルタ３９ａと、緑色（Ｇ）フィルタ３９ｂと、赤色（Ｒ）フィルタ３９ｃとを有している。これらのフィルタのうちいずれか１つが各画素３８上に配置されている。カラーフィルタアレイ３９の色配列は、ベイヤー配列であり、Ｇフィルタ３９ｂが市松状に１画素おきに配置され、残りの画素上に、Ｂフィルタ３９ａとＲフィルタ３９ｃとがそれぞれ正方格子状となるように配置されている。

以下、Ｂフィルタ３９ａが配置された画素３８をＢ画素と称し、Ｇフィルタ３９ｂが配置された画素３８をＧ画素と称し、Ｒフィルタ３９ｃが配置された画素３８をＲ画素と称する。偶数（０，２，４，・・・，Ｎ－１）の各画素行には、Ｂ画素とＧ画素とが交互に配置されている。奇数（１，３，５，・・・，Ｎ）の各画素行には、Ｇ画素とＲ画素とが交互に配置されている。ここで、Ｎは正の整数であり、画素行とは、行方向に並んだ１行分の画素３８を指している。画素列とは、列方向に並んだ１列分の画素３８を指している。

カラーフィルタアレイ３９は、図８に示す分光特性を有する。Ｂフィルタ３９ａは、例えば３８０ｎｍ～５６０ｎｍの波長帯域に対して高い光透過率を有している。Ｇフィルタ３９ｂは、例えば４５０ｎｍ～６３０ｎｍの波長帯域に対して高い光透過率を有している。Ｒフィルタ３９ｃは、例えば５８０ｎｍ～７６０ｎｍの波長帯域に対して高い光透過率を有している。

撮像センサ４５は、撮像駆動部３６により駆動され、照明光により照明された観察対象からの戻り光を、カラーフィルタアレイ３９を介して複数の画素３８により受光して画像信号を出力する。撮像センサ４５は、画像信号として、Ｂ画素信号、Ｇ画素信号、及びＲ画素信号からなるＢＧＲ画像信号を出力する。

本実施形態では、撮像センサ４５として、ＣＭＯＳイメージセンサを用いるが、ＣＭＯＳイメージセンサは、一般に、ローリングシャッタ方式で撮像動作を行う。ローリングシャッタ方式では、撮像センサ４５は、「順次読み出し方式」により信号読み出しが実行される。順次読み出し方式では、全画素３８について、先頭画素行「０」から最終画素行「Ｎ」まで、１画素行ずつ順に信号読み出しが行われる。

撮像センサ４５は、リセット方式として、「順次リセット方式」及び「一括リセット方式」が実行可能である。順次リセット方式では、先頭画素行「０」から最終画素行「Ｎ」まで、１画素行ずつ順にリセットが行われる。一括リセット方式では、全画素行が一括して同時にリセットされる。本実施形態では、順次リセット方式によりリセットが行われる。

本実施形態では、撮像センサ４５として、ローリングシャッタ方式のＣＭＯＳイメージセンサを用いているが、これに限られず、グローバルシャッタ方式のＣＭＯＳイメージセンサを用いても良い。さらに、撮像センサ４５として、ＣＭＯＳイメージセンサに代えて、ＣＣＤ（Charge Coupled Device）イメージセンサを用いても良い。

なお、原色のカラーフィルタが設けられた撮像センサ４５の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力される。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４５と同様のＲＧＢ画像信号を得ることができる。また、撮像センサ４５の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

撮像センサ４５は、撮像駆動部３６を介して、中央制御部５１（図２参照）によって駆動制御される。中央制御部５１は、撮像センサ４５の駆動に同期して光源用プロセッサ２１を通して光源部２０の発光を制御する。白色光である第１照明光Ｌ１で照明された観察対象を撮影するように撮像センサ４５を制御することにより、撮像センサ４５のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。同様に、特殊光である第２照明光Ｌ２で照明された観察対象を撮影するように撮像センサ４５を制御することにより、撮像センサ４５のＢ画素からＢｓ画像信号が出力され、Ｇ画素からＧｓ画像信号が出力され、Ｒ画素からＲｓ画像信号が出力される。

中央制御部５１は、フレームレート制御部６３（図２参照）を備える。フレームレートは、単位時間あたりのフレーム数を示し、単位はｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）が用いられる。フレームレート制御部６３は、内視鏡画像を撮影する際の撮影フレームレート、又は、内視鏡画像を表示する際の表示フレームレートといったフレームレートを制御する。フレームレート制御部６３については、後述する。

ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４５から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４７により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号は、プロセッサ装置１４に入力される。

プロセッサ装置１４では、撮像制御、又は画像処理等の処理に関するプログラムがプログラム用メモリ（図示しない）に格納されている。プロセッサ装置１４においては、プロセッサ等によって構成される中央制御部５１により、プログラム用メモリ内のプログラムが動作することによって、中央制御部５１と、画像取得部５２と、ＤＳＰ（Digital Signal Processor）５３と、ノイズ低減部５４と、メモリ５５と、画像処理部５６と、表示制御部５７と、映像信号生成部５８との機能が実現される。また、中央制御部５１は、内視鏡１２および光源装置１３からの情報を受信し、受信した情報に基づいて、プロセッサ装置１４の各部の制御の他、内視鏡１２又は光源装置１３の制御を行う。また、キーボード１６からの指示などの情報も受信する。

図９に示すように、中央制御部５１が備えるフレームレート制御部６３は、フレームレート調整部７１と、撮影フレームレート制御部７２と、表示フレームレート制御部７３とを備える。

フレームレート調整部７１は、撮影フレームレートと表示フレームレートとについて、予め設定した条件を満たすように調整する。撮影フレームレートと表示フレームレートとに関する条件は、取得する内視鏡画像の種類に応じて設定する。したがって、内視鏡画像を取得する際の照明光の種類に応じて、撮影フレームレートと表示フレームレートとに関する条件が設定される。

フレームレート調整部７１は、第１観察モードにおいて、第１照明光Ｌ１を照射する第１期間では、第１撮影フレームレートに従って観察対象を撮影するよう撮影フレームレート制御部７２に指示を送り、得られた第１画像をディスプレイ１５に表示する際には、第１表示フレームレートに従って第１画像を表示するよう表示フレームレート制御部７３に指示を送る。

また、フレームレート調整部７１は、第１観察モードにおいて、第２照明光Ｌ２を照射する第２期間では、第２撮影フレームレートに従って観察対象を撮影するよう撮影フレームレート制御部７２に指示を送り、得られた第２画像をディスプレイ１５に表示する際には、第２表示フレームレートに従って第２画像を表示するよう表示フレームレート制御部７３に指示を送る。

フレームレート調整部７１には、取得する第１画像に関する条件として、第１撮影フレームレートより第１表示フレームレートが高いとの条件が予め設定される。したがって、フレームレート調整部７１は、予め設定した第１撮影フレームレートと、第１撮影フレームレートより高い第１表示フレームレートとにより、撮影フレームレート制御部７２と、表示フレームレート制御部７３とに、それぞれ指示を送る。

また、取得する第２画像に関する条件として、第２撮影フレームレートと第２表示フレームレートとは同じであるとの条件が予め設定される。したがって、フレームレート調整部７１は、予め設定した第２撮影フレームレートと同じ第２表示フレームレートとにより、撮影フレームレート制御部７２と、表示フレームレート制御部７３とに、それぞれ指示を送る。

撮影フレームレート制御部７２は、フレームレート調整部７１から送られた第１撮影フレームレートに関する指示に基づいて、撮影のフレームレートを調整する。撮影フレームレート制御部７２は、第１観察モードにおいて、第１照明光Ｌ１を照射する第１期間では、第１撮影フレームレートに従って観察対象を撮影するよう撮像センサ４５等を制御する。表示フレームレート制御部７３の動作に関しては、後述する。

画像取得部５２は、内視鏡１２から入力される内視鏡画像のデジタル画像信号を取得する。画像取得部５２は、各照明光により照明された観察対象を撮影した画像信号をフレーム毎に取得する。

取得した画像信号はＤＳＰ５３に送信される。ＤＳＰ５３は、受信した画像信号に対して色補正処理等のデジタル信号処理を行う。ノイズ低減部５４は、ＤＳＰ５３で色補正処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、メモリ５５に記憶する。

画像処理部５６は、メモリ５５からノイズ低減後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。画像処理部５６は、通常画像処理部６１と特殊画像処理部６２とを備える。

通常画像処理部６１は、第１観察モード及び第２観察モードでは、入力した１フレーム分のノイズ低減後の通常画像用の画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などの通常画像用の画像処理を施す。通常画像用の画像処理が施された画像信号は、通常画像として、表示制御部５７に入力する。

特殊画像処理部６２は、第１観察モードでは、入力した１フレーム分のノイズ低減後の特殊画像の画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などのそれぞれ特殊画像用の画像処理を施す。特殊画像用の画像処理が施された画像信号は、特殊画像として、表示制御部５７に入力する。

画像処理部５６が生成する内視鏡画像は、通常画像又は特殊画像であり、色変換処理、色彩強調処理、及び構造強調処理の内容は、内視鏡画像の種類によって異なる。通常画像の場合、画像処理部５６は、観察対象が自然な色合いになる上記各種信号処理を施して通常画像を生成する。特殊画像の場合、画像処理部５６は、例えば、観察対象の血管を強調する各種信号処理等を施して特殊画像を生成する。

ここで、第２画像が、第２照明光Ｌ２を発して観察対象を撮影した内視鏡画像に対し色差拡張処理を行って得られる色差拡張処理画像である場合の、色差拡張処理について説明する。色差拡張処理では、まず、Ｂｓ画像信号とＧｓ画像信号との比を表す第１信号比（Ｂｓ／Ｇｓ）、及び、Ｒｓ画像信号とＧｓ画像信号との比を表す第２信号比（Ｇｓ／Ｒｓ）を算出する。そして、第１信号比及び第２信号比に基づいて、複数の観察対象範囲の間の色差を拡張する色差拡張処理を行い、また、色差拡張処理後の第１信号比及び第２信号比に基づいて、色差拡張画像を生成する。色差拡張処理は、色彩強調処理の１種である。色差拡張画像が、第２画像となる。

色差拡張処理については、図１０に示すように、第１信号比（Ｂｓ／Ｇｓ）及び第２信号比（Ｇｓ／Ｒｓ）からなる二次元空間で複数の観察対象範囲の間の距離を拡張することが好ましい。具体的には、二次元空間において、複数の観察対象範囲のうち第１範囲（円で囲んだ１により示す）の位置を色差拡張処理前後で維持した状態で、第１範囲と第２範囲（円で囲んだ２により示す）との距離、第１範囲と第３範囲（円で囲んだ３により示す）との距離、及び、第１範囲と第４範囲（円で囲んだ４により示す）との距離を拡張することが好ましい。色差拡張処理は、第１信号比及び第２信号比を極座標変換した上で、動径と角度を調整する方法により行うことが好ましい。なお、第１範囲は病変などが存在しない正常部で、第２～第４範囲は、病変等が存在する可能性がある異常部であることが好ましい。色差拡張処理により、色差拡張処理前の二次元空間での範囲Ｅ１から、色差拡張処理後では範囲Ｅ２へと広げられるため、色差が強調され、例えば、異常部と正常部との色の差が強調された画像となる。この画像を第２画像とすることが好ましい。

また、第２画像が、第２照明光Ｌ２を発して観察対象を撮影した内視鏡画像に対し疑似カラー処理を行って得られる疑似カラー処理画像である場合の、疑似カラー処理について説明する。疑似カラー処理は、Ｂｓ画像信号を表示用のＢチャンネルとＧチャンネルとに割当、Ｇｓ画像信号を表示ようのＲチャンネルに割り当てる処理である。この疑似カラー処理により、表層血管など特定深さの血管又は構造が強調された画像が得られる。この画像を第２画像としてもよい。

表示制御部５７は、画像処理部５６が生成した内視鏡画像を受信し、中央制御部５１の制御に従って、ディスプレイ１５に表示するための制御を行なう。図１１に示すように、表示制御部５７は、表示用画像生成部７４を備える。表示用画像は、ディスプレイ１５に表示するための画像であり、表示用画像生成部７４は、画像処理部５６が生成した内視鏡画像から、表示用画像を生成する。

表示制御部５７は、表示用画像を表示する際のフレームレートについては、中央制御部５１が備えるフレームレート調整部７１の指示に従う。表示制御部５７は、フレームレート調整部７１の指示に従い表示用画像を生成することにより、内視鏡画像をディスプレイ１５に表示するための制御を行う。

フレームレート調整部７１の指示は、内視鏡画像の種類毎になされる。したがって、特定の種類の内視鏡画像において、フレームレート調整部７１からの指示が、例えば、撮影のフレームレートと表示のフレームレートとが異なるレートであり、必要がある場合は、表示制御部５７は、表示用画像生成部７４が生成する表示用画像の数を調整することにより、フレームレート調整部７１の指示に従って、ディスプレイ１５に表示する画像の制御を行う。

フレームレート調整部７１の特定の種類の内視鏡画像に対する指示は、具体的には、次の３つの場合が挙げられる。第１に、フレームレート調整部７１からの指示において、表示フレームレートが撮影フレームレートと同じ場合である。この場合、表示用画像生成部７４は、撮影された内視鏡画像をそのまま表示用画像として生成する。第２に、フレームレート調整部７１からの指示において、表示フレームレートが撮影フレームレートより低い場合である。この場合、表示用画像生成部７４は、表示フレームレートに合うように、撮影して得られた内視鏡画像から選択した内視鏡画像を表示用画像として生成する。第３に、フレームレート調整部７１からの指示において、表示フレームレートが撮影フレームレートより高い場合である。この場合、表示用画像生成部７４は、撮影された内視鏡画像をそのまま表示用画像として生成し、かつ、撮影された内視鏡画像に基づいて表示用画像を新たに生成し、これらをあわせて表示用画像とする。

本実施形態において、フレームレート調整部７１は、第１画像については、表示フレームレートが撮影フレームレートより高いとの条件を表示制御部５７に送る。また、第２画像については、撮影はするが表示はしない、すなわち、撮像フレームレートが０ｆｐｓより高い特定の撮像フレームレートであり、表示フレームレートが０ｆｐｓであるとの条件を表示制御部５７に送る。この場合、表示用画像生成部７４は、撮影された第１画像に基づいて第１表示用画像を新たに生成するために、例えば、撮影した過去の第１画像に基づいてフレーム補間を行う。

フレーム補間では、撮影された過去の内視鏡画像に基づいて生成した内視鏡画像を補間フレームとする。補間フレームを生成する方法は場合により選択することができる。例えば、撮影された内視鏡画像を用いて、加算平均方式で行う方法、移動ベクトル方式で行う方法、又は、複製方式により行う方法等が挙げられる。補間フレームを元の撮影した内視鏡画像のフレームと合わせて用いることにより、表示する内視鏡画像のフレーム数を増加させて、撮影フレームレートより表示フレームレートが高いとの条件を満足することができる。

加算平均方式で行う方法では、例えば、撮影した過去の内視鏡画像を複数用いて新たに生成した画像を表示用画像とする際に、用いる内視鏡画像それぞれについて画像信号値の平均値を算出し、これらの平均値を用いる内視鏡画像の数により加算平均して得られる値に基づいて表示用画像を生成し、これを補間フレームとすることができる。加算平均は、単純に平均する単純平均を意味するが、場合により、いずれかの内視鏡画像について重み付けを行った上で平均する加重平均を用いてもよい。加重の比率は、予め設定することができる。また、２枚の内視鏡画像を用いるのに限らず、３枚以上の内視鏡画像を用いて加算平均を行い、表示用画像を生成してもよい。

本実施形態では、フレームレート調整部７１の指示では、第１画像に対し、第１画像の撮像フレームレートである第１撮像フレームレートを３０ｆｐｓとし、第１画像の表示フレームレートである第１表示フレームレートを６０ｆｐｓとする。また、フレームレート調整部７１の指示では、第２画像に対し、第２画像の撮像フレームレートである第２撮像フレームレートを１５ｆｐｓとし、第２画像の表示フレームレートである第２表示フレームレートを０とする。なお、第１照明光Ｌ１と第２照明光Ｌ２とは、２フレームと１フレームとで照射するパターンＰ１を繰り返し（図６）、第１画像と第２画像との撮像フレームレート及び表示フレームレートも、上記の指示の値のフレームレートを繰り返す。

図１２に示すように、撮像フレームは、第１期間に第１照明光Ｌ１により第１画像８１を２フレーム撮影し、続く第２期間に第２照明光Ｌ２により第２画像８２を１フレーム撮影する。そして、この組み合わせのパターンＰ１を繰り返す。撮影フレーム、補間フレーム、及び表示フレームの欄に記載した第１画像８１、補間フレーム８３、及び第２画像８２に付した番号は、撮影時刻の順に１から９までを付したものである。第２画像８２には、網掛けを付す。補間フレームには、第２画像８２と異なる網掛けを付す。

図１２の撮影フレームの欄に示すように、フレームレート調整部７１は、第１画像８１については、撮影フレームレートを３０ｆｐｓ、かつ、表示フレームレートを６０ｆｐｓとの条件とし、第２画像８２については、撮影フレームレートを１５ｆｐｓ、かつ、表示フレームレートは０ｆｐｓとの条件としている。したがって、補間フレームの欄に示すように、表示用画像生成部７４は、撮影した第１画像８１に基づいて、３０ｆｐｓの割合で新たな表示用画像を補間フレーム８３として生成する。そして、表示フレームの欄に示すように、撮影した第１画像８１と補間フレーム８３とを合わせて６０ｆｐｓとし、これらをディスプレイ１５に表示する。以上のとおり、表示フレームはすべて第１画像８１に基づく画像である。したがって、表示用第１画像は、第１画像８１を変更しない画像と、第１画像８１を変更した補間フレーム８３とを含む。

本実施形態では、補間フレーム８３は、加算平均方法により生成する。「１＋２」と記された補間フレーム８３は、１番の第１画像８１と２番の第１画像８１との、２つの第１画像８１を用いた加算平均により生成された補間フレーム８３であることを示す。１番の第１画像８１と２番の第１画像８１とは、５０：５０の割合で画像信号の加算平均をとっっているが、比率はこれに限らない。補間フレーム８３を表示する際、表示フレームとしては、補間フレーム８３は、時系列として、補間フレーム８３を生成するために用いた第１画像８１と第１画像８１との間に配置する。移動ベクトル方式、又は複製方式等においても、補間フレーム８３を同様に配置して表示することができる。以上のとおり、第１撮像フレームレートより高い第１表示フレームレートに従って、第１画像８１の表示用画像である第１表示用画像を生成し、第１撮像フレームレートと第１表示フレームレートとの条件を満たすことができる。

移動ベクトル方式で行う方法では、例えば、撮影した過去の内視鏡画像を複数用いて新たに生成した画像を表示用画像とする際に、用いる内視鏡画像それぞれについて画像信号値の平均値を算出し、これらのそれぞれの内視鏡画像に基づいて算出される移動ベクトルを参照した上で、用いる内視鏡を加重平均して得られる値に基づいて表示用画像を生成し、これを補間フレームとすることができる。

図１３に示すように、移動ベクトル方式で行う場合は、プロセッサ装置１４は、移動検出部８４を備える。移動検出部８４は、移動ベクトルを内視鏡画像に基づいて算出する他、ジャイロセンサー等の物理的手法により、撮像センサ４５と観察対象との相対的な動きを検出してもよい。また、移動ベクトルを内視鏡画像に基づいて算出する場合は、内視鏡画像に写る形状、血管、病変、もしくは切り口等の構造物、又は、処置具等のランドマークに基づいて算出してもよい。

複製方式で行う方法では、撮影した過去の内視鏡画像を複製して表示用画像を生成し、これを補間フレームとすることができる。複製する内視鏡画像は、直前に撮影された内視鏡画像でもよいし、直前以外の過去に撮影された内視鏡画像を用いてもよい。なお、加算平均方法において、直前の２枚の内視鏡画像を用いる際に、比率を１００：０にした場合は、２つ前に撮影された内視鏡画像を複製方式により補間フレームを生成することと同じとなり、０：１００にした場合は、直前に撮影された１枚の内視鏡画像を複製方式により補間フレームを生成することと同じとなる。また、複製する内視鏡画像は、条件とされている撮影フレームレートと表示フレームレートとの関係に応じて、１つの補間フレームを複製して生成してもよいし、２枚以上の補間フレームを複製して生成してもよい。

以上のような方法により、表示用画像生成部７４がフレームレート調整部７１の指示に従い表示用画像を生成することにより、表示フレームレートを調整することができる。なお、表示用画像生成部７４が表示用画像として補間フレーム８３を生成する際に用いる過去の内視鏡画像は、補間フレーム８３を生成するタイミングの直前のフレームの１枚又は２枚以上とすることができるが、場合により、３枚以上であってもよい。また、補間フレーム８３の生成の直前に撮影された連続した２枚等ではなく、時間的に離れた過去に撮影された内視鏡画像であってもよい。

表示制御部５７において生成された表示用画像は、映像信号生成部５８において、ディスプレイ１５に表示するための映像信号に生成されて、ディスプレイ１５に送られる。ディスプレイ１５は、映像信号生成部５８から送られた表示用画像を表示する。

第１観察モードにおける表示用画像の表示方法としては、第１画像８１に基づく表示用画像と第２画像８２に基づく表示用画像との２種類の内視鏡画像を表示する場合、同じディスプレイ１５に表示してもよいし、例えば、別のディスプレイにそれぞれを表示してもよい。また、第１画像８１に基づく表示用画像は、撮影フレームレートより表示フレームレートが高い状態に調整されていることから、滑らかに表示されるため、第２画像８２に基づく表示用画像の表示面積と比較して、大きな表示面積により表示する等のように、第１画像８１と第２画像８２とで表示面積を異ならせて表示してもよい。

図１４に示すように、第１観察モードにおいて、第１画像８１及び第２画像８２として色差拡張処理を行った第２画像８２ａを表示する場合は、ディスプレイ１５の大きい面積の領域に第１画像８１を表示し、小さい面積の領域に第２画像８２ａを表示する。第１画像８１は、白色光により自然な色合いの画像であるため、例えば、検査を行う医師が見慣れた画像である。したがって、第１画像８１の第１表示フレームレートが第１撮影フレームレートよりも高いとの条件に調整されているため、滑らかで見やすく、大きい面積の領域に表示した場合でも違和感なく見ることができる。なお、図１４においては、第１画像８１及び第２画像８２ａに写る観察対象は、発赤９２を有している。

第２画像８２ａは、特殊光及び色彩強調表示処理により表層血管等の構造が強調されて表示される画像であるため、血管が密集する病変等が強調されて表示される。したがって、第２画像８２ａを比較的小さい面積の領域に表示した場合であっても、病変等が強調されて表示されるため、第１画像８１と並べて表示することにより、病変等の見逃しを防ぐことができる。

第１観察モードにおいて、第１画像８１を表示し、疑似カラー処理を行った第２画像８２ｂを表示してもよい。第２画像８２ｂを表示する場合は、さらに、第２画像８２ｂを用いた画像解析結果画面９１を表示してもよい。

図１５に示すように、例えば、第１観察モードにおいて、第１画像８１をディスプレイ１５の大きい面積の領域に表示し、小さい面積の領域に疑似カラー処理を行った第２画像８２ｂと、第２画像８２ｂを用いた画像解析結果画面９１とを表示する。第２画像８２ｂが含む発赤９２は、ＡＩ（artificial intelligence）を用いた画像解析、及び／又は、酸素飽和度もしくは距離の測定等の物理量測定のための画像解析等がなされ、その結果は、例えば病変領域９３として、画像解析結果画面９１により示される。したがって、医師は、白色光を用いて表示フレームレートが調整された見やすい第１画像８１により観察を進めながら、発赤９２が、例えば、腫瘍性のものであるか非腫瘍性のものであるかの診断に関する情報を画像解析結果画面９１により即時に得ながら診断を行うことができる。また、画像解析が行われる画像は、取得したいずれの種類の内視鏡画像であってもよく、例えば、第１画像、第２画像、及び／又は第３画像のいずれか１つ以上とすることができる。この際、画像解析は、同時に行っても良いし、異なる画像解析部によりそれぞれ並行して行ってもよい。また、画像解析は、プロセッサ装置１４以外の装置を用いて行うことができる。このように、各種の画像解析に応じて適切な種類の内視鏡画像を取得して、それぞれの画像解析に用いることができるため、画像解析の精度を向上させる事ができる。

なお、図１６に示すように、第１観察モードにおいて、第１画像８１をディスプレイ１５の大きい面積の領域に表示し、小さい面積の領域に疑似カラー処理を行った第２画像８２ｂのみを表示してもよい。また、第１観察モードにおいて、第１画像８１を表示し、第２画像８２を表示しない場合は、ディスプレイ１５の大きい面積の領域の第１画像８１を表示し、小さい面積の領域に何も表示しなくてもよいし、第２画像８２以外の画像を表示してもよい。また、第１画像８１を小さい面積の領域に表示し、第２画像８２を大きい面積の領域に表示してもよい。なお、第２画像８２は、第２画像を総称し、第２画像８２ａ及び第２画像８２ｂを含む。

次に、本実施形態の内視鏡システムの第１観察モードにおける動作の一連の流れについて、図１７に示すフローチャートに沿って説明する。第１観察モードでの内視鏡検査を始め、各種フレームレートを設定する（ステップＳＴ１１０）。第１観察モードで設定するフレームレートは、第１画像８１の第１撮影フレームレート及び第１表示フレームレート、並びに、第２画像８２の第２撮影フレームレート及び第２表示フレームレートである。各種フレームレートを設定した後、第１観察モードでの観察を開始する（ステップＳＴ１２０）。照明光はパターンＰ１により観察対象に照射されるため、最初に第１画像８１を取得する。第１画像８１は、第１撮影フレームレートに従って取得される（ステップＳＴ１３０）。

次に第２画像８２が第２撮影フレームレートに従って取得される（ステップＳＴ１４０）。第１画像８１が取得された後に、第１表示フレームレートに従って、第１表示用画像が生成される（ステップＳＴ１５０）。第２画像８２を表示する場合は（ステップＳＴ１６０でＹ）、第２表示フレームレートに従って、第２表示用画像を生成する（ステップＳＴ１７０）。次に、生成した第１表示用画像及び第２表示用画像をディスプレイ１５に表示する。第２画像８２を表示しない場合は（ステップＳＴ１６０でＮ）、第１表示用画像を表示する。

内視鏡システム１０は、上記のように構成したことから、２種類の内視鏡画像を取得した場合でも、第１画像８１は表示フレームを調整することにより、表示の際には画質の低下が抑えられ、かつ、第２画像８２では画素の間引き等することがない高品質の画像を同時に得ることができる。これは、２種類以上の内視鏡画像を取得した場合にも適用でき、目的に応じて複数種類の内視鏡画像を取得し、それぞれの内視鏡画像を個々の目的に合わせた画質により取得することができる。これにより、画質の低下を抑えた２種類以上の内視鏡画像を表示することが可能となり、特別な手間を要することなく、医師が検査において取得した照明光等が異なる複数の内視鏡画像を用いて、画像解析結果を複数取得しながら検査を進めることができる。したがって、医師は、診断に有益な複数の画像解析結果を診断支援情報として同時に得ながら、高画質の内視鏡画像により診断を進めることができる。

なお、撮像センサ４５は、順次読み出し方式により信号読出しを実行し、かつ、順次リセット方式によりリセットを行う、ローリングシャッタ方式により撮像動作を行う撮像センサ４５であるが、ローリングシャッタ方式による上記撮像動作において、照明光を照射する期間である照射期間を調整することにより露光期間を調整した、疑似グローバルシャッタ方式により撮像動作を行ってもよい。

この場合、光源部２０の制御により、複数の照明光のそれぞれを間欠的に照射してもよい。間欠的に照射するとは、照射期間の前後に消灯期間を設けるように照射することをいう。好ましくは、１フレームの期間に、照射期間が少なくとも１回含まれるように照射する。したがって、好ましくは、１フレームの期間に、照射期間と消灯期間とが、それぞれ少なくとも１回ずつ含まれる。

図１８に示すように、疑似グローバルシャッタ方式として、照明光は、照射期間Ｃ２の期間で照射し、その後、消灯期間Ｂ２の期間で消灯し、これを繰り返す。撮像センサ４５においては、照射期間Ｃ２と同じ期間である露光期間Ｃ１において露光し、その後、照明光が消灯される消灯期間Ｂ２と同じ期間である読出期間Ｂ１の期間で読み出す。なお、図１８では、時間の経過にしたがって画素行が順に読み出される順次読み出し方式であることを、斜めの線により示している。

照明光は、撮像センサの露光期間Ｃ１に合わせ、照射期間Ｃ２において間欠的に照射する。図１８において、撮像センサ４５のラインにおいて、照明光により露光される領域を、模式的に網掛けで示す。このような疑似グローバルシャッタ方式を採用することにより、照明光が切り替わった際に、混色等の問題が生じないため好ましい。撮像期間Ａ１は、露光期間Ｃ１と読出期間Ｂ１とを含む期間であり、１フレームの期間である。

なお、撮像センサ４５が撮像を行う撮像期間Ａ１と、撮像して得られる画像信号を読み出す読出期間Ｂ１の期間とでは、撮像期間Ａ１は読出期間Ｂ１より長い期間となる。これにより、１フレームの中に、撮像センサ４５の全ラインを露光する露光期間を設けることができる。

例えば、撮像期間Ａ１は、１／４５ｓｅｃ（秒）とすることができる。また、露光期間Ｃ１及び読出期間Ｂ１は、それぞれ１／９０ｓｅｃとすることができる。したがって、この場合の撮影フレームレートは、４５ｆｐｓであるといえる。

なお、光源部２０は、複数の照明光のいずれかの照射を行う照射期間Ｃ２を変更して照明光の照射を行ってもよい。例えば、照明光を間欠的に照射する際の照射期間Ｃ２は、１／９０ｓｅｃ、１／２００ｓｅｃ、又は１／４００ｓｅｃからユーザが選択する。

この場合、変更した照射期間Ｃ２に基づいて、露光期間Ｃ１を変更してもよい。すなわち、シャッタースピードは、照射期間Ｃ２により制御することができる。照明光の照射期間Ｃ２により制御したシャッタースピードは、例えば、１／９０ｓｅｃ、１／２００ｓｅｃ、又は１／４００ｓｅｃとすることができる。

本実施形態では、第１照明光と第２照明光とを切り替えて発光し（図６参照）、第１照明光Ｌ１において２フレーム続けて撮影し、第２照明光Ｌ２に切り替えて１フレーム撮影するパターンＰ１を繰り返す。したがって、４５ｆｐｓのうち、３０ｆｐｓにおいて、第１照明光Ｌ１による第１画像８１を取得し、１５ｆｐｓにおいて、第２照明光Ｌ２による第２画像８２を取得する。

また、発光量は、光源部２０が照明光の照射を行う照射期間Ｃ２と、照明光の単位時間における発光量である瞬間発光量Ｄ１とからなる発光積分量により算出することができる。したがって、光源部２０が１回の照明光の照射において照射する照明光の発光量は、制御することができる。

また、発光量は、ＡＰＣ（Ａｕｔｏｍａｔｉｃ Ｐｏｗｅｒ Ｃｏｎｔｒｏｌ）により制御することができ、この場合も同様にして、発光量を、光源部２０が照明光の照射を行う照射期間Ｃ２と、照明光の単位時間における発光量である瞬間発光量Ｄ１とからなる発光積分量により算出でき、照明光の照射期間Ｃ２及び／又は瞬間発光量Ｄ１とにより、制御することができる。なお、瞬間発光量Ｄ１を取得するために、光量計等（図示せず）を用いてもよい。

なお、上記したように、内視鏡システム１０は、第１観察モードと互いに切り替え可能である第２観察モードを備えることができる。第２観察モードでは、照明光の切り替えを行わず、同じ照明光において観察対象を観察する。第２観察モードでは、複数の照明光に含まれる第３照明光を観察対象に照射し、第３照明光が照射される第３期間に、予め設定した第３撮像フレームレートに従って観察対象を撮影するよう、撮像センサ４５が制御される。撮像センサ４５は、第３期間に撮影した第３画像を取得する。なお、第３画像をディスプレイに表示する場合、第３撮像フレームレート以下である第３表示フレームレートに従って第３画像を表示することが好ましい。なお、第３撮像フレームレートは、第３照明光の照射中に撮像するフレームレートであり、第３表示フレームレートは、第３画像をディスプレイ１５に表示する際のフレームレートである。

第２観察モードでは、第３撮像フレームレート以下である第３表示フレームレートにしたがって第３画像を表示するため、補間フレームを生成しない。したがって、第２観察モードでは、表示用画像を生成しない。

また、第２観察モードにおいて、撮像センサ４５は、ローリングシャッター方式により撮像動作を行う。図１９に示すように、ローリングシャッタ方式として、照明光は、常時照射する。撮像センサ４５においては、常時露光し、時間の経過にしたがって画素行を順に読み出す。最初の画素行から最後の画素行までが露光後読出しを完了するまでの期間Ａ２が１フレームである。例えば、撮像期間Ａ２は、１／６０ｓｅｃとすることができる。したがって、この場合の撮影フレームレートは、６０ｆｐｓである。

なお、第２観察モードでは、撮像センサ４５は、上記のようなローリングシャッタ方式により撮像動作を行うため、撮像センサ４５が撮像を行う撮像期間Ａ２は、露光期間と、撮像して得られる画像信号を読み出す読出期間をあわせた期間となり、１フレームの期間となる。本実施形態では、撮像期間Ａ２である１フレームの期間は、１／６０ｓｅｃである。

また、第２観察モードでは、照明光は常時点灯するため、光量は、照明光の発光量Ｄ２により制御することができる。なお、第１観察モードと同様に、発光量Ｄ２は、ＡＰＣにより制御することができ、この場合も同様にして、光量を照明光の発光量Ｄ２により制御することができる。また、シャッタースピードは、撮像センサ４５の撮像期間Ａ２により制御することができる。

本実施形態では、第２観察モードでは、第３照明光による第３撮像フレームレートは、例えば、６０ｆｐｓとすることができる。第３表示フレームレートは、第３撮像フレームレート以下であり、例えば、６０ｆｐｓ、５０ｆｐｓ、又は５９．９４ｆｐｓとすることができる。

なお、上記実施形態では、内視鏡画像の処理を行う場合に対して本発明の適用を行っているが、内視鏡画像以外の医療画像を処理するプロセッサ装置、医療画像処理装置、又は医療画像処理システム等に対しても本発明の適用は可能である。

なお、本実施形態では、第１観察モードでは、第１画像及び第２画像の２種類の画像を取得したが、３種類以上の画像を取得してもよい。また、第１観察モードでは、第２画像に対してＡＩを用いた画像解析により腫瘍と非腫瘍とを鑑別し、その結果をディスプレイ１５に表示したが、取得した複数の種類の画像のいずれを用いて画像解析を行ってもよく、補間フレーム等の生成した画像に対して画像解析を行ってもよい。すなわち、第１画像、第１画像に基づいた補間フレーム、及び第２画像との３種類の内視鏡画像のうち、１つ又は２つ以上について、画像解析を行ってもよい。

以上のように、取得した複数の種類の画像のうち、１つ又は２つ以上の種類の内視鏡画像において、画像情報に基づく解析、例えば、ＡＩによる診断支援情報等の取得、又は、酸素飽和度、もしくは被写体における距離の測定等の物理量測定情報の取得等を行ってもよい。画像解析に用いる内視鏡画像としては、画像解析の種類に応じて、良好な解析結果が取得できる内視鏡画像の種類を選択して用いることができる。この場合、複数の解析は、同時に行っても良いし、並行して行ってもよい。

例えば、第１観察モードにおいて、通常画像である第１画像、特殊画像である第２画像、及び第２画像とは異なる特殊画像である第３画像を取得し、第１画像と第２画像とを用いて解析を行うことにより被写体の酸素飽和度を算出し、第２画像を用いて別の解析を行うことにより被写体が有する病変の検出を行い、第３画像を用いてさらにまた別の解析を行うことにより検出した病変の悪性度に関する診断情報を取得することができる。このように、複数の種類の内視鏡画像を用いて、それぞれ異なる画像解析処理を行うことにより、内視鏡による観察中に、複数の診断情報を自動的に得ることが可能である。

また、解析は、プロセッサ装置１４において行ってもよいし、別の装置を用いて行ってもよい。例えば、複数の解析を行う場合は、プロセッサ装置１４に接続する画像処理装置（図示せず）において解析を行ってもよい。解析結果は、画像処理装置にディスプレイ１５を接続し、画像処理装置が解析結果をディスプレイ１５に表示する制御を行ってもよい。この場合、ディスプレイ１５に表示する第１画像８１、第２画像８２、及び／又は補間フレーム８３等の内視鏡画像は、プロセッサ装置１４から画像処理装置に送り、画像処理装置がこれらの画像と解析結果とをディスプレイ１５に表示する制御を行ってもよい。

なお、内視鏡画像及び／又は解析結果等を表示する場合、複数のディスプレイ１５に表示してもよいし、タブレット等（図示せず）の小型携帯端末装置に表示してもよい。表示の際は、表示する装置に応じて、画面のレイアウト等を予め設定することができる。

上記実施形態において、プロセッサ装置１４に含まれる中央制御部５１、画像取得部５２、ＤＳＰ５３、ノイズ低減部５４、画像処理部５６、表示制御部５７、及び映像信号生成部５８といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ ズーム操作部
１２ｇ モード切替スイッチ
１２ｈ 鉗子口
１２ｉ フリーズスイッチ
１３ 光源装置
１４ プロセッサ装置
１５ ディスプレイ
１６ キーボード
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２１ 光源用プロセッサ
３０ａ 照明光学系
３０ｂ 撮像光学系
３６ 撮像駆動部
３８ 画素
３９ カラーフィルタアレイ
３９ａ 青色フィルタ
３９ｂ 緑色フィルタ
３９ｃ 赤色フィルタ
４１ ライトガイド
４２ 照明レンズ
４３ 対物レンズ
４４ ズームレンズ
４５ 撮像センサ
４５ａ 撮像面
４６ ＣＤＳ／ＡＧＣ回路
４７ Ａ／Ｄコンバータ
５１ 中央制御部
５２ 画像取得部
５３ ＤＳＰ
５４ ノイズ低減部
５５ メモリ
５６ 画像処理部
５７ 表示制御部
５８ 映像信号生成部
６１ 通常画像処理部
６２ 特殊画像処理部
６３ フレームレート制御部
７１ フレームレート調整部
７２ 撮影フレームレート制御部
７３ 表示フレームレート制御部
７４ 表示用画像生成部
８１ 第１画像
８２、８２ａ、８２ｂ 第２画像
８３ 補間フレーム
８４ 移動検出部
９１ 画像解析結果画面
９２ 発赤
９３ 病変領域
Ａ１、Ａ２ 撮像期間
Ｂ１ 読出期間
Ｂ２ 消灯期間
Ｃ１ 露光期間
Ｃ２ 照射期間
Ｄ１ 瞬間発光量
Ｄ２ 発行量
Ｅ１、Ｅ２ 範囲
Ｌ１ 第１照明光
Ｌ２ 第２照明光
Ｐ１ パターン
Ｘ 行方向
Ｙ 列方向
ＳＴ１１０～ＳＴ１８０ ステップ

Claims (15)

1. 撮像部を有する内視鏡と、
   互いに異なるスペクトルを有する複数の照明光のそれぞれを被写体に照射する光源部と、
   プロセッサを有するプロセッサ装置とを備え、
   前記プロセッサは、第１観察モードにおいて、
   複数の前記照明光のそれぞれを予め設定した順で前記被写体に照射するよう、前記光源部を制御し、
   複数の前記照明光に含まれる第１照明光を照射する第１期間に、予め設定した第１撮像フレームレートに従って前記被写体を撮影するよう、前記撮像部を制御し、
   前記撮像部が前記第１期間に撮影した第１画像を取得し、
   前記第１画像に基づいて、前記第１撮像フレームレートより高い第１表示フレームレートに従って表示用第１画像を生成し、
   前記表示用第１画像をディスプレイに表示する制御を行う内視鏡システム。
2. 前記表示用第１画像は、前記第１画像を変更しない画像を含む請求項１に記載の内視鏡システム。
3. 前記プロセッサは、前記第１観察モードにおいて、
   複数の前記照明光に含まれる第２照明光を照射する第２期間に、予め設定した第２撮像フレームレートに従って前記被写体を撮影するよう、前記撮像部を制御し、
   前記撮像部が前記第２期間に撮影した第２画像を取得する請求項１又は２に記載の内視鏡システム。
4. 前記プロセッサは、前記第２画像を前記ディスプレイに表示する制御を行う請求項３に記載の内視鏡システム。
5. 前記プロセッサは、複数の前記照明光のそれぞれからなるパターンを繰り返して前記被写体に照射するよう、前記光源部を制御する請求項１ないし４のいずれか１項に記載の内視鏡システム。
6. 前記プロセッサは、前記第１照明光と前記第２照明光とからなるパターンを繰り返して前記第１照明光又は前記第２照明光を前記被写体に照射するよう、前記光源部を制御する請求項４に記載の内視鏡システム。
7. 前記プロセッサは、複数の前記照明光のそれぞれを間欠的に照射するよう、前記光源部を制御する請求項１ないし６のいずれか１項に記載の内視鏡システム。
8. 前記プロセッサは、前記撮像部が撮像を行う撮像期間と撮像して得られる画像信号を読み出す読出期間とからなる１フレームの期間において、前記撮像期間を前記読出期間より長い期間とするよう、前記撮像部を制御する請求項１ないし７のいずれか１項に記載の内視鏡システム。
9. 前記プロセッサは、前記撮像期間内に複数の前記照明光のいずれかの消灯と照射とをそれぞれ少なくとも１回ずつ行うよう、前記光源部を制御する請求項８に記載の内視鏡システム。
10. 前記プロセッサは、複数の前記照明光のいずれかの照射を行う照射期間を変更して前記照明光の照射を行うよう、前記光源部を制御する請求項９に記載の内視鏡システム。
11. 前記プロセッサは、変更した前記照射期間に基づいて前記露光期間を変更するよう、前記撮像部を制御する請求項１０に記載の内視鏡システム。
12. 前記プロセッサは、前記光源部が１回の照射において照射する前記照明光の発光量を制御する請求項１ないし１１のいずれか１項に記載の内視鏡システム。
13. 前記発光量は、前記光源部が前記照明光の照射を行う照射期間と前記照明光の単位時間における発光量である瞬間発光量とにより算出する請求項１２に記載の内視鏡システム。
14. 前記プロセッサは、前記第１観察モードと互いに切り替え可能である第２観察モードにおいて、
    複数の前記照明光に含まれる第３照明光を前記被写体に照射するよう、前記光源部を制御し、
    前記第３照明光が照射される第３期間に、予め設定した第３撮像フレームレートに従って前記被写体を撮影するよう、前記撮像部を制御し、
    前記撮像部が前記第３期間に撮影した第３画像を取得し、
    前記第３画像をディスプレイに表示する場合、前記第３撮像フレームレート以下である第３表示フレームレートに従って表示用第３画像を生成する請求項１ないし１３のいずれか１項に記載の内視鏡システム。
15. 撮像部を有する内視鏡と、
    互いに異なるスペクトルを有する複数の照明光のそれぞれを被写体に照射する光源部と、
    プロセッサを有するプロセッサ装置とを備える内視鏡システムの作動方法であって、
    前記プロセッサが、第１観察モードにおいて、
    複数の前記照明光のそれぞれを予め設定した順で前記被写体に照射するよう、前記光源部を制御するステップと、
    複数の前記照明光に含まれる第１照明光を照射する第１期間に、予め設定した第１撮像フレームレートに従って前記被写体を撮影するよう、前記撮像部を制御するステップと、
    前記撮像部が前記第１期間に撮影した第１画像を取得するステップと、
    前記第１画像に基づいて、前記第１撮像フレームレートより高い第１表示フレームレートに従って表示用第１画像を生成するステップと、
    前記表示用第１画像をディスプレイに表示する制御を行うステップとを備える内視鏡システムの作動方法。
    

Images