JP6956805B2

JP6956805B2 - 内視鏡システム、内視鏡システムの制御方法

Info

Publication number: JP6956805B2
Application number: JP2019560825A
Authority: JP
Inventors: 溝口　正和; 俊明渡邉; 竹腰　聡; 青野　進
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2017-12-22
Filing date: 2018-10-15
Publication date: 2021-11-02
Anticipated expiration: 2038-10-15
Also published as: US11805977B2; WO2019123796A1; JPWO2019123796A1; US20200315439A1

Description

本発明の実施形態は、内視鏡システム、内視鏡システムの制御方法に関し、特に、蛍光観察に用いられる内視鏡システム、内視鏡システムの制御方法に関する。

従来、医療分野において、ＩＣＧなどの蛍光薬剤を被検体に投与した後に、励起光を照射し、投与した薬剤から発せられる薬剤蛍光を撮像することで、血管やリンパ管の特定や血流の確認を行う蛍光観察が広く行われている。

薬剤蛍光によって得られる信号は微弱であるため、蛍光画像は不鮮明な画像になってしまう。そこで、鮮明な画像を得るために、蛍光画像と白色光画像とを時分割で取得して、重畳した合成画像を表示させる内視鏡システムが提案されている（例えば、日本国特開２０１２−１５７５５９号公報参照）。

しかしながら、上述の提案においては、白色光画像のフレームレートが通常の二分の一になってしまう。このため、白色光画像の連続性が失われてしまい、重畳画像を動画表示すると、滑らかさが損なわれカクカクとした不自然な動きとなってしまう、という問題があった。

そこで、本発明は、蛍光観察において、白色光画像と蛍光画像とを重畳して映像表示する場合に、滑らかで自然な動きの映像を実現することができる、内視鏡システム、内視鏡システムの制御方法を提供することを目的とする。

本発明の一態様の内視鏡システムは、所定のタイミングでクロックを生成するクロック制御部と、前記クロックに同期して、白色光と励起光とを時分割で照射する照明部と、前記照明部の照射タイミングに基づき撮像を行う撮像部と、前記白色光を照射するタイミングで前記撮像部により得られた信号に基づき白色光画像を生成する白色光画像生成部と、前記励起光を照射するタイミングで前記撮像部により得られた信号に基づき蛍光画像を生成する蛍光画像生成部と、前記白色光画像生成部により生成された前記白色光画像、及び前記蛍光画像生成部により生成された前記蛍光画像を重畳して重畳画像を生成する画像重畳部と、を有し、前記白色光画像生成部は、前記クロック制御部により生成される前記クロックに基づき、１番目のクロックで第１の白色光画像を、３番目のクロックで第２の白色光画像を、４番目のクロックで第３の白色光画像を、それぞれ生成し、前記蛍光画像生成部は、前記クロック制御部により生成される前記クロックに基づき、２番目のクロックで第１の蛍光画像を生成し、前記画像重畳部は、前記クロック制御部により生成される前記クロックに基づき、前記４番目のクロックで前記第２の白色光画像と前記第１の蛍光画像とを重畳し、５番目のクロックで前記第３の白色光画像と前記第１の蛍光画像とを重畳する。
本発明の一態様の内視鏡システムの制御方法は、所定のタイミングでクロックを生成するクロック制御ステップと、前記クロックに同期して、白色光と励起光とを時分割で照射する照明ステップと、前記照明ステップの照射タイミングに基づき撮像を行う撮像ステップと、前記白色光を照射するタイミングで前記撮像ステップにより得られた信号に基づき白色光画像を生成する白色光画像生成ステップと、前記励起光を照射するタイミングで前記撮像ステップにより得られた信号に基づき蛍光画像を生成する蛍光画像生成ステップと、前記白色光画像生成ステップにより生成された前記白色光画像、及び前記蛍光画像生成ステップにより生成された前記蛍光画像を重畳して重畳画像を生成する画像重畳ステップと、を有し、前記白色光画像生成ステップは、前記クロック制御ステップにより生成される前記クロックに基づき、１番目のクロックで第１の白色光画像を、３番目のクロックで第２の白色光画像を、４番目のクロックで第３の白色光画像を、それぞれ生成し、前記蛍光画像生成ステップは、前記クロック制御ステップにより生成される前記クロックに基づき、２番目のクロックで第１の蛍光画像を生成し、前記画像重畳ステップは、前記クロック制御ステップにより生成される前記クロックに基づき、前記４番目のクロックで前記第２の白色光画像と前記第１の蛍光画像とを重畳し、５番目のクロックで前記第３の白色光画像と前記第１の蛍光画像とを重畳する。

本発明の実施形態に係わる内視鏡システムの全体構成の一例を説明するブロック図。第１の実施形態に係わる白色光画像と蛍光画像の撮像タイミングの一例を説明するタイミングチャート。本発明の実施形態に係わる内視鏡システムの全体構成の別の一例を説明するブロック図。第２の実施形態に係わる白色光画像と蛍光画像の撮像タイミングの一例を説明するタイミングチャート。第３の実施形態に係わる白色光画像と蛍光画像の撮像タイミングの一例を説明するタイミングチャート。本発明の第４の実施形態に係わる内視鏡システムの全体構成の一例を説明するブロック図。

以下、図面を参照して実施形態を説明する。

（第１の実施形態）
図１は、本発明の実施形態に係わる内視鏡システムの全体構成の一例を説明するブロック図である。

内視鏡システム１は、例えば、図１に示すように、被検体の体腔内に挿入されるとともに、当該体腔内に存在する生体組織等の被写体を撮像して撮像信号を出力するように構成された内視鏡２と、当該被写体に照射される光を内視鏡２に供給するように構成された光源装置３と、内視鏡２から出力される撮像信号に対して種々の処理を施すことにより観察画像を生成して出力するように構成されたプロセッサ４と、プロセッサ４から出力される観察画像を画面上に表示するように構成された表示装置５と、を有している。

内視鏡２は、例えば、図１に示すように、被検体の体腔内に挿入可能な細長形状に形成された挿入部２１と、挿入部２１の基端側に設けられた操作部２２と、を有して構成されている。また、内視鏡２は、ライトガイドケーブル２７を介し、光源装置３に対して着脱可能な構成を具備している。また、内視鏡２は、操作部２２から延設された信号ケーブル２８を介し、プロセッサ４に対して着脱可能な構成を具備している。

挿入部２１及びライトガイドケーブル２７の内部には、光源装置３から供給される光を伝送するためのライトガイド１１が挿通されている。

ライトガイド１１の出射端部は、図１に示すように、挿入部２１の先端部における照明レンズ１２の近傍に配置されている。また、ライトガイド１１の入射端部は、図１に示すように、ライトガイドケーブル２７を介して内視鏡２に接続されている光源装置３における集光レンズ３２の近傍に配置されている。

挿入部２１の先端部には、ライトガイド１１により伝送された光を外部へ出射するための照明レンズ１２と、外部から入射される光を受光するための対物レンズ１３と、が設けられている。また、挿入部２１の先端部には、撮像素子１４と、対物レンズ１３から撮像素子１４に至るまでの光路上に配置された励起光カットフィルタ１５と、が設けられている。

撮像素子１４は、例えば、原色系または補色系のカラーフィルタを撮像面に取り付けたカラーＣＭＯＳイメージセンサを具備し、プロセッサ４から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子１４は、励起光カットフィルタ１５を透過した光を撮像して撮像信号を生成するとともに、当該生成した撮像信号をプロセッサ４へ出力するように構成されている。

励起光カットフィルタ１５は、例えば、対物レンズ１３を経て出射される光に含まれる各波長帯域のうち、励起光ＥＸＡ（後述）と同じ波長帯域を遮断するとともに、励起光ＥＸＡと異なる波長帯域を透過させるような光学特性を具備して形成されている。すなわち、励起光カットフィルタ１５は、励起光ＥＸＡの照射に応じて蛍光薬剤から発せられる蛍光ＦＬＡ（後述）を透過させるような光学特性を具備して形成されている。

すなわち、本実施形態の撮像部は、撮像素子１４と、励起光カットフィルタ１５と、を有して構成されている。

操作部２２は、挿入部２１の基端側に設けられているとともに、術者等のユーザが把持可能な形状を具備して形成されている。また、操作部２２には、例えば、ユーザの操作に応じた種々の指示をプロセッサ４に対して行うことが可能な１つ以上のスイッチであるスコープスイッチ（不図示）が設けられている。

照明部としての光源装置３は、例えば、図１に示すように、発光部３１と、集光レンズ３２と、光源駆動部３３と、を有して構成されている。

発光部３１は、白色光源５１と、励起光源５２と、ダイクロイックミラー５３と、を有して構成されている。

白色光源５１は、例えば、キセノンランプ、白色ＬＥＤ、または、赤色、緑色及び青色の３色のＬＥＤのいずれかを具備して構成されている。また、白色光源５１は、光源駆動部３３から出力される光源駆動信号に応じ、例えば、赤色域、緑色域及び青色域の各波長帯域を含む光である白色光ＷＬＡを発生するように構成されている。なお、本実施形態においては、白色光源５１の代わりに、例えば、少なくとも青色域から近赤外域までの波長帯域を具備する光である広帯域光を発するランプを具備して構成された広帯域光源と、当該広帯域光に含まれる各波長帯域のうちの白色光ＷＬＡの波長帯域と同じ波長帯域を透過させつつ他の波長帯域を遮断するような光学特性を具備する光学フィルタと、が光源装置３に設けられていてもよい。

励起光源５２は、例えば、ＬＤ（レーザダイオード）を具備して構成されている。また、励起光源５２は、光源駆動部３３から出力される光源駆動信号に応じ、例えば、被検体に投与される所定の蛍光薬剤の励起波長を含む狭帯域な光である励起光ＥＸＡを発生するように構成されている。なお、以降においては、特に言及の無い限り、被検体に投与される蛍光薬剤がＩＣＧ（インドシアニングリーン）であり、励起光ＥＸＡがＩＣＧの励起波長を含む狭帯域な近赤外光であり、かつ、励起光ＥＸＡよりも長波長側の波長帯域に属する近赤外光である蛍光ＦＬＡがＩＣＧから発せられるものとして説明を行う。

ダイクロイックミラー５３は、例えば、白色光源５１から発せられる白色光ＷＬＡを透過させて集光レンズ３２側へ出射するとともに、励起光源５２から発せられる励起光ＥＸＡを反射して集光レンズ３２側へ出射するような光学特性を具備して構成されている。

すなわち、発光部３１は、光源駆動部３３から出力される駆動信号に応じて白色光源５１を発光させることにより、白色光ＷＬＡを発生することができるように構成されている。また、発光部３１は、光源駆動部３３から出力される駆動信号に応じて励起光源５２を発光させることにより、励起光ＥＸＡを発生することができるように構成されている。また、発光部３１は、白色光ＷＬＡ及び励起光ＥＸＡを集光レンズ３２へ出射することができるように構成されている。

集光レンズ３２は、発光部３１から出射される光を集光してライトガイド１１の入射端部へ出射するように構成されている。

光源駆動部３３は、プロセッサ４から出力される制御信号に基づき、白色光源５１及び励起光源５２を駆動させるための光源駆動信号を生成して発光部３１へ出力するように構成されている。

すなわち、光源装置３は、被検体に投与される蛍光薬剤を励起させるための励起光ＥＸＡと、当該被検体の体腔内を照明するための照明光である白色光ＷＬＡと、を発することができるように構成されている。

プロセッサ４は、例えば、図１に示すように、撮像素子駆動部４１と、画像読み出し部４２と、白色光画像生成部４３と、蛍光画像生成部４４と、重畳画像生成部４５と、ＴＶ信号変換部４６と、クロック制御部４８と、を有して構成されている。なお、本実施形態によれば、例えば、プロセッサ４の各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。

撮像素子駆動部４１は、クロック制御部４８から出力される制御信号に基づき、撮像素子１４を駆動させるための撮像素子駆動信号を生成して出力するように構成されている。

画像読み出し部４２は、クロック制御部４８から出力される制御信号に基づき、内視鏡２から出力される撮像信号の出力先を白色光画像生成部４３または蛍光画像生成部４４のいずれかに設定するための動作を行うように構成されている。

白色光画像生成部４３は、画像読み出し部４２を経て出力される撮像信号に基づいて白色光画像ＷＩＡを生成するとともに、当該生成した白色光画像ＷＩＡを重畳画像生成部４５へ出力するように構成されている。すなわち、白色光画像生成部４３は、撮像素子１４により撮像された白色光ＷＬＡの反射光に応じた画像である白色光画像ＷＩＡを生成するように構成されている。

蛍光画像生成部４４は、画像読み出し部４２を経て出力される撮像信号に基づいて蛍光画像ＦＩＡを生成するとともに、当該生成した蛍光画像ＦＩＡを重畳画像生成部４５へ出力するように構成されている。すなわち、蛍光画像生成部４４は、撮像素子１４により撮像された蛍光ＦＬＡに応じた画像である蛍光画像ＦＩＡを生成するように構成されている。

画像重畳部としての重畳画像生成部４５は、クロック制御部４８から出力される制御信号に応じた動作を行うことができるように構成されている。また、重畳画像生成部４５は、白色光画像生成部４３から出力される白色光画像ＷＩＡと、蛍光画像生成部４４から出力される蛍光画像ＦＩＡと、を重畳するための処理を行うことにより重畳画像ＳＩＡを生成し、当該生成した重畳画像ＳＩＡをＴＶ信号変換部４６へ出力するように構成されている。

信号変換部としてのＴＶ信号変換部４６は、クロック制御部４８から出力される制御信号に基づき、重畳画像生成部４５から入力される重畳画像ＳＩＡを、表示装置５で表示可能な方式の映像信号に変換する。

クロック生成部、及びクロック制御部としてのクロック制御部４８は、発光部３１における白色光ＷＬＡ及び励起光ＥＸＡの発生タイミングと、撮像素子１４における撮像動作と、プロセッサ４に入力される撮像信号の出力先と、を同期させるための制御信号を生成して光源駆動部３３、撮像素子駆動部４１及び画像読み出し部４２へそれぞれ出力するように構成されている。また、クロック制御部４８は、表示装置５に出力する映像信号の出力動作を制御するための制御信号を、ＴＶ信号変換部４６に出力する。なお、全ての制御信号のタイミングは、表示装置５に出力する映像信号のフレームまたはフィールドの生成タイミングに基づき、調整される。

次に、本実施形態の内視鏡システム１の動作等について説明する。なお、以降においては、被検体の体腔内に存在する所望の被写体の蛍光観察が行われる前に、当該所望の被写体にＩＣＧ（蛍光薬剤）が予め投与されているものとして説明を進める。また、以降においては、簡単のため、白色光ＷＬＡが照射された被写体を撮像して得られる白色光画像ＷＩＡを観察画像として表示装置５に表示させるような観察手法である、白色光観察に関する説明を省略するものとする。

まず、ユーザは、内視鏡システム１の各部を接続して電源を投入した後、例えば、蛍光観察開始スイッチ（不図示）を操作することにより、被写体の蛍光観察を開始させるための指示をクロック制御部４８に対して行う。また、ユーザは、挿入部２１を被検体の体腔内に挿入してゆくことにより、当該体腔内に存在する所望の被写体の近傍に挿入部２１の先端部を配置する。

クロック制御部４８は、プロセッサ４の電源が投入されると、映像信号の出力タイミングを制御する制御信号を生成して、ＴＶ信号変換部４６へ出力する。また、蛍光観察開始スイッチからの指示を検知した際に、発光部３１における白色光ＷＬＡ及び励起光ＥＸＡの発生タイミングと、撮像素子１４における撮像動作と、プロセッサ４に入力される撮像信号の出力先と、を同期させるための制御信号を、映像信号の出力タイミングを制御する制御信号のタイミングに基づき生成して光源駆動部３３、撮像素子駆動部４１及び画像読み出し部４２へそれぞれ出力する。

図２は、第１の実施形態に係わる白色光画像と蛍光画像の撮像タイミングの一例を説明するタイミングチャートである。図２に示すように、本実施形態においては、白色光画像ＷＩＡの撮像タイミングと、蛍光画像ＦＩＡの撮像タイミングと、映像信号となる重畳画像ＳＩＡの生成タイミングとは、全て同じクロックで生成されている。

ここで、重畳画像ＳＩＡの生成タイミングのうち、８〜９割程度を白色光画像ＷＩＡの生成に用い、１割〜２割程度を蛍光画像ＦＩＡの生成に用いる。すなわち、重畳画像ＳＩＡの生成タイミングで、５回〜９回程度、白色光画像ＷＩＡを連続して生成した後、蛍光画像ＦＩＡを１回生成する。例えば、図２に示すように、白色光画像ＷＩＡを５画像連続して生成した後に蛍光画像ＦＩＡを１回生成する周期を繰り返して、重畳画像ＳＩＡを生成する場合を考える。この場合、蛍光画像ＦＩＡのフレームレートは、重畳画像ＳＩＡのフレームレートの六分の一になる。しかしながら、白色光画像ＷＩＡは、重畳画像ＳＩＡが７フレーム生成される毎に１フレーム分の欠落があるものの、連続して撮像する６フレーム分は、重畳画像ＳＩＡと同じレートで取得することができる。よって、白色光画像ＷＩＡと蛍光画像ＦＩＡとを交互に（時分割に）生成する場合に比べ、白色光画像ＷＩＡのフレームレートが上がるので、より自然で滑らかな動きの映像を生成することができる。

なお、重畳画像ＳＩＡは、直前に撮像された白色光画像ＷＩＡと蛍光画像ＦＩＡとを重畳して生成される。例えば、１番目のクロックで白色光画像ｈ１、２番目のクロックで蛍光画像ｆ１、３番目〜７番目のクロックで白色光画像ｈ２〜ｈ６、８番目のクロックで蛍光画像ｆ２、９番目、１０番目のクロックで白色光画像ｈ７、７８を生成する場合、重畳画像ＦＩＡは、次のように生成される。すなわち、３番目のクロックでは、１番目のクロックで生成された白色光画像ｈ１と、２番目のクロックで生成された蛍光画像ｆ１とを重畳する。４番目のクロックでは３番目のクロックで生成された白色光画像ｈ２と、２番目のクロックで生成された蛍光画像とを重畳する。５番目のクロックでは、４番目のクロックで生成された白色光画像ｈ３と、２番目のクロックで生成された蛍光画像ｆ１とを重畳する。

具体的には、クロック制御部４８は、例えば、ローリングシャッタ方式の撮像動作を撮像素子１４に行わせるための制御信号を生成して撮像素子駆動部４１へ出力する。また、クロック制御部４８は、例えば、ローリングシャッタ方式の撮像動作において撮像素子１４の全ラインで読み出しが行われない期間であるブランキング期間毎に、光量ＡＬ１の白色光ＷＬＡ及び当該光量ＡＬ１の励起光ＥＸＡを上記のタイミングで発生させるための制御信号を生成して光源駆動部３３へ出力する。すなわち、白色光ＷＬＡを予め設定された回数（例えば、５回）連続して発生させる都度、励起光ＥＸＡを１回発生させるように、制御信号を生成して光源駆動部３３へ出力する。

また、クロック制御部４８は、例えば、白色光ＷＬＡの発生時にプロセッサ４に入力される撮像信号の出力先を白色光画像生成部４３に設定するとともに、励起光ＥＸＡの発生時にプロセッサ４に入力される撮像信号の出力先を蛍光画像生成部４４に設定するための制御信号を生成して画像読み出し部４２へ出力する。

そして、前述のようなクロック制御部４８の制御によれば、例えば、撮像素子１４の１番目のブランキング期間、３番目〜７番目のブランキング期間、９、１０番目のブランキング期間において白色光ＷＬＡが被写体に照射され、当該被写体から発生する戻り光である白色光ＷＬＡの反射光が撮像素子１４により撮像され、撮像素子１４により生成された撮像信号が画像読み出し部４２を経て白色光画像生成部４３へ出力され、当該撮像信号に基づいて生成された白色光画像ＷＩＡが重畳画像生成部４５及びＴＶ信号変換部４６の各々へ出力される。

また、前述のようなクロック制御部４８の制御によれば、例えば、前述の１番目、３〜７番目、…ブランキング期間とは異なる撮像素子１４のブランキング期間、すなわち、２番目、８番目、…と、６回のブランキング期間に対して１回のタイミングにおいて励起光ＥＸＡが被写体に照射され、当該被写体から発生する戻り光に含まれる蛍光ＦＬＡが撮像素子１４により撮像され、撮像素子１４により生成された撮像信号が画像読み出し部４２を経て蛍光画像生成部４４へ出力され、当該撮像信号に基づいて生成された蛍光画像ＦＩＡが重畳画像生成部４５へ出力される。

重畳画像生成部４５は、白色光画像生成部４３から出力される白色光画像ＷＩＡと、蛍光画像生成部４４から出力される蛍光画像ＦＩＡと、を重畳するための処理を行うことにより重畳画像ＳＩＡを生成し、当該生成した重畳画像ＳＩＡをＴＶ信号変換部４６へ出力する。すなわち、このような重畳画像生成部４５の動作によれば、内視鏡２により撮像された被写体における蛍光ＦＬＡの発生箇所が緑色で示されるような重畳画像ＳＩＡが混合ＴＶ信号変換部４６へ出力される。

ＴＶ信号変換部４６は、クロック制御部４８から出力される制御信号に基づき、重畳画像生成部４５から出力される重畳画像ＳＩＡを、観察画像として表示装置５へ出力する。

以上に述べたように、本実施形態の内視鏡システム１によれば、蛍光画像ＦＩＡはあらかじめ設定されたフレーム数（例えば、６フレーム）ごとに１回取得し、白色光画像ＷＩＡは、蛍光画像ＦＩＡを取得する間の連続したフレーム（例えば、連続した５フレーム）で取得する。従って、白色光画像ＷＩＡに含まれる生体組織の凹凸等の構造を示す情報を極力連続的に更新しつつ、重畳画像ＳＩＡに含まれる蛍光ＦＬＡの発生箇所を示す情報を付与した観察画像を表示装置５に表示させることができる。そのため、本実施形態によれば、生体組織から発せられる蛍光を観察する際に、滑らかで自然な動きの映像を実現することができる。

なお、本実施形態によれば、内視鏡システム１の構成を適宜変形することにより、ＩＣＧ以外の他の蛍光薬剤に対応させるようにしてもよい。

具体的には、例えば、被検体に投与される蛍光薬剤がフルオレセインである場合には、フルオレセインの励起波長を含む狭帯域な青色光が励起光ＥＸＢとして励起光源５２から発せられ、白色光ＷＬＡを透過させつつ励起光ＥＸＢを反射するようなハーフミラーがダイクロイックミラー５３の代わりに設けられ、励起光ＥＸＢと同じ波長帯域の光が励起光カットフィルタ１５において遮断され、かつ、励起光ＥＸＢの照射に応じてフルオレセインから発せられる緑色光である蛍光ＦＬＢを含む可視域の光が励起光カットフィルタ１５を透過するようにすればよい。

また、蛍光画像ＦＩＡを取得するタイミングは、予め設定されたタイミング（例えば、連続する６フレーム毎に１フレーム）に固定されず、例えば、ユーザが外部から自由に設定できるようにしたり、蛍光画像ＦＩＡの輝度に応じて動的に調整したりするようにしてもよい。

図３は、本発明の実施形態に係わる内視鏡システムの全体構成の別の一例を説明するブロック図である。例えば図３に示すように、図１の構成に加え、プロセッサ４に、ユーザから蛍光画像の取得タイミングを設定可能とする入力Ｉ／Ｆ４７、蛍光画像生成部４４で生成された蛍光画像ＦＩＡの輝度を測定する輝度測定部４９、蛍光画像ＦＩＡを取得するタイミングを設定する蛍光レート制御部５０を更に設ける。

入力Ｉ／Ｆ４７において、ユーザが蛍光取得のタイミングを設定する場合、設定されたタイミングは蛍光レート制御部５０に出力される。蛍光レート制御部５０は入力されたタイミングで蛍光画像ＦＩＡを取得し、その間のフレームは連続して白色光画像ＷＩＡを取得するように、クロック制御部４８に対して制御信号を出力する。

また、蛍光画像ＦＩＡの輝度に応じて蛍光取得のタイミングを動的に変更する場合、蛍光画像生成部４４で生成された蛍光画像ＦＩＡの輝度を輝度測定部４９で測定し、測定結果を蛍光レート制御部５０へ出力する。蛍光レート制御部５０には、入力された輝度が、予め設定された基準輝度よりも低い場合、蛍光画像ＦＩＡの取得レートを上げるよう、クロック制御部４８に制御信号を出力する。

クロック制御部４８は入力されたタイミングに従って、撮像素子駆動部４１、画像読み出し部４２、光源駆動部３３、ＴＶ信号読み出し部４８に対して、制御信号を出力する。

このように、蛍光画像ＦＩＡの取得レートを動的に変更することで、滑らかで自然な動きを確保しつつ、蛍光ＦＬＡの発生箇所がより観察しやすい映像を実現することができる。

（第２の実施形態）
上述した第１の実施形態においては、白色光画像ＷＩＡと蛍光画像ＦＩＡを取得するための撮像信号の生成クロックは、表示装置５に表示する映像信号の出力クロックと同じクロックで取得していた。これに対し、本実施形態においては、白色光画像ＷＩＡと蛍光画像ＦＩＡの取得レート（撮像素子１４のクロック）を、表示装置５に表示する映像信号を生成するタイミングより速いタイミングのクロックを用いて生成する点が異なっている。

本実施形態の内視鏡システム１の構成は、図１を用いて説明した、第１の実施形態の内視鏡システムと同様であるため、同一の構成要素については同じ符号を付して説明を省略する。以下、第１の実施形態の内視鏡システム１と異なる、動作部分について説明する。

図４は、第２の実施形態に係わる白色光画像と蛍光画像の撮像タイミングの一例を説明するタイミングチャートである。図４に示すように、本実施形態においては、白色光画像ＷＩＡの撮像タイミングと蛍光画像ＦＩＡの撮像タイミングは同じクロックであるが、映像信号となる重畳画像ＳＩＡの生成タイミングとは、異なるクロックで生成されている。そして、撮像タイミングは、重畳画像ＳＩＡの生成タイミングよりも速いクロックで生成されている。例えば、図４に示す例においては、撮像信号の生成クロックは、重畳画像ＳＩＡの生成クロック、すなわち、映像信号の出力クロックの約１．３倍のクロックを用いている。

これは、映像信号を３フレーム出力する間に、４フレーム分撮像するタイミングである。この４回の撮像タイミングのうち、３回を白色光画像ＷＩＡの撮像に割り当て、残りの１回で蛍光画像ＦＩＡの撮像を行う。すなわち、重畳画像ＳＩＡを３フレーム生成する間に、白色光画像ＷＩＡも３フレーム分取得することができる。従って、白色光画像ＷＩＡのフレームレートの低下がないので、自然で滑らかな動きの映像を生成することができる。

なお、直前に撮像された白色光画像ＷＩＡと蛍光画像ＦＩＡとを重畳して、重畳画像ＳＩＡを生成するのは、図２を用いて説明した第１の実施の形態の場合と同様である。

このように、本実施形態の内視鏡システム１によれば、撮像信号の生成クロックを、映像信号の出力クロックのｎ倍（ｎは１より大きい小数、または整数）にし、白色光画像ＷＩＡには、単位時間のクロック数が映像信号のクロック数と同数になるようにクロックを割り当て、蛍光画像ＦＩＡには、残りのクロックを割り当てる。従って、蛍光画像ＦＩＡを取得しつつ、白色光画像ＷＩＡのフレームレートを映像信号のフレームレートと同じレートにすることができるので、白色光画像ＷＩＡの連続性を確保することができ、生体組織から発せられる蛍光を観察する際に、滑らかで自然な動きの映像を実現することができる。

なお、本実施形態においても、図３に示すような構成の内視鏡システム１を用い、入力Ｉ／Ｆ４７により撮像信号の生成クロックのレート、すなわち、映像信号の出力クロックの何倍にするかを、ユーザにより手動で設定できるようにしてもよい。また、蛍光画像ＦＩＡにおける輝度に応じて、同レートを自動的に変更できるようにしてもよい。この場合、蛍光レート制御部５０には、入力された輝度が、予め設定された基準輝度よりも低い場合、撮像信号の生成クロックのレートを上げるよう、クロック制御部４８に制御信号を出力する。撮像信号の生成レートを上げることにより、白色光画像ＷＩＡの生成レートを下げることなく、蛍光画像ＦＩＡの生成レートを上昇させることができるので、重畳画像ＳＩＡにおいて、蛍光ＦＬＡの発生箇所をより鮮明に表示せることができる。

（第３の実施形態）
上述した第１、第２の実施形態においては、白色光画像ＷＩＡと蛍光画像ＦＩＡを取得するにあたり、撮像素子１４から１画素ずつ撮像信号を読み出し出力していた。これに対し、本実施形態においては、白色光画像ＷＩＡ、蛍光画像ＦＩＡ共に、撮像素子１４から撮像信号を出力する際に、ビニングによって複数の画素情報をまとめて出力する点が異なっている。

図５は、第３の実施形態に係わる白色光画像と蛍光画像の撮像タイミングの一例を説明するタイミングチャートである。図５は、撮像素子１４から２画素分の画素情報をまとめて出力する場合について示している。２画素分の情報をまとめて出力することで、１フレーム分の撮像信号の出力時間が半分になる。すなわち、１画素ずつ読み出す場合に比べて、フレームレートを２倍にすることができる。

従って、白色光画像ＷＩＡと蛍光画像ＦＩＡとを時分割で切り替えて生成する場合にも、重畳画像ＳＩＡのフレームレートと、白色光画像ＷＩＡのフレームレートを等しくすることができるので、自然で滑らかな動きの映像を生成することができる。

なお、ビニングによってまとめて出力する画素数は２画素に限定されない。例えば、２×２＝４画素など、より多くの画素をまとめて出力することで、白色光画像ＷＩＡと蛍光画像ＦＩＡのフレームレートを更にあげることも可能である。

（第４の実施形態）
上述した第１〜第３の実施形態においては、クロック制御部４８が、発光部３１における白色光ＷＬＡ及び励起光ＥＸＡの発生タイミングと、撮像素子１４における撮像動作と、プロセッサ４に入力される撮像信号の出力先と、を同期させるための制御信号を、映像信号の出力タイミングを制御する制御信号のタイミングに基づき生成して光源駆動部３３、撮像素子駆動部４１及び画像読み出し部４２へそれぞれ出力していた。これに対し、本実施形態においては、映像信号の出力タイミングを制御する制御信号と、白色光画像ＷＩＡや蛍光画像ＦＩＡの生成タイミングを制御する制御信号とを、独立して生成する点が異なっている。

図６は、本発明の第４の実施形態に係わる内視鏡システムの全体構成の一例を説明するブロック図である。図６に示す内視鏡システム１の構成は、フレームメモリ６１と、ＴＶクロック制御部６２とがプロセッサ４に設けられている点を除き、図１を用いて説明した第１の実施形態の内視鏡システムと同様であるため、同一の構成要素については同じ符号を付して説明を省略する。

フレームメモリ６１は、重畳画像生成部４５から出力された重畳画像ＳＩＡを格納する。ＴＶクロック制御部６２は、表示装置５に表示可能な映像信号の入力仕様に応じて、映像信号の出力タイミング生成し、制御信号としてＴＶ信号変換部４６に出力する。

ＴＶ信号変換部４６は、ＴＶクロック制御部６２から入力された制御信号に従って、フレームメモリ６１から所定のタイミングで重畳画像ＳＩＡを取得し、表示装置５に出力する。

このような構成にすることで、白色光画像ＷＩＡと蛍光画像ＦＩＡの生成タイミングを、映像信号の出力タイミングに応じて調整する必要がなくなる。すなわち、それまでに使用していた表示装置とは映像信号の入力仕様の異なる表示装置５がプロセッサ４に接続された場合にも、白色光画像ＷＩＡと蛍光画像ＦＩＡの生成タイミングを再調整する必要がなくなり、操作性が向上する。また、白色光画像ＷＩＡと蛍光画像ＦＩＡとの生成タイミングは、第１の実施形態、第２の実施形態、第３の実施形態、の各実施形態で示した方法のいずれかを用いることで、生体組織から発せられる蛍光を観察する際に、滑らかで自然な動きの映像を実現することができる。

なお、映像信号の出力タイミングは、ＴＶクロック制御部６２で行うのではなく、クロック制御部４８において、白色光画像ＷＩＡと蛍光画像ＦＩＡの生成タイミングと独立して非同期に行うような構成にしてもよい。

本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

本出願は、２０１７年１２月２２日に日本国に出願された特願２０１７−２４７０１２号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims

所定のタイミングでクロックを生成するクロック制御部と、
前記クロックに同期して、白色光と励起光とを時分割で照射する照明部と、
前記照明部の照射タイミングに基づき撮像を行う撮像部と、
前記白色光を照射するタイミングで前記撮像部により得られた信号に基づき白色光画像を生成する白色光画像生成部と、
前記励起光を照射するタイミングで前記撮像部により得られた信号に基づき蛍光画像を生成する蛍光画像生成部と、
前記白色光画像生成部により生成された前記白色光画像、及び前記蛍光画像生成部により生成された前記蛍光画像を重畳して重畳画像を生成する画像重畳部と、
を有し、
前記白色光画像生成部は、前記クロック制御部により生成される前記クロックに基づき、
１番目のクロックで第１の白色光画像を、
３番目のクロックで第２の白色光画像を、
４番目のクロックで第３の白色光画像を、それぞれ生成し、
前記蛍光画像生成部は、前記クロック制御部により生成される前記クロックに基づき、
２番目のクロックで第１の蛍光画像を生成し、
前記画像重畳部は、前記クロック制御部により生成される前記クロックに基づき、
前記４番目のクロックで前記第２の白色光画像と前記第１の蛍光画像とを重畳し、
５番目のクロックで前記第３の白色光画像と前記第１の蛍光画像とを重畳する、
ことを特徴とする内視鏡システム。
前記画像重畳部は、前記クロック制御部により生成される前記クロックに基づき、前記３番目のクロックで前記第１の白色光画像と前記第１の蛍光画像とを重畳することを特徴とする請求項１に記載の内視鏡システム。
前記蛍光画像生成部が前記２番目のクロックで前記第１の蛍光画像を生成した後に、
前記白色光画像生成部は、前記クロック制御部により生成される前記クロックに基づき連続して白色光画像を生成し、
前記蛍光画像生成部は、前記白色光画像の連続しての生成が予め設定された回数に達したら、次のクロックで第２の蛍光画像を生成し、
前記画像重畳部は、
前記第２の蛍光画像の生成タイミングで、前記予め設定された回数に達した時点の白色光画像と前記第１の蛍光画像とを重畳し、
前記第２の蛍光画像の生成タイミングの次のクロックで、前記予め設定された回数に達した時点の白色光画像と前記第２の蛍光画像とを重畳する、
ことを特徴とする請求項２に記載の内視鏡システム。
前記画像重畳部により生成される前記重畳画像を所定の表示装置に表示するための映像信号に変換する信号変換部をさらに有し、
前記信号変換部は、前記クロック制御部により生成される別のクロックに基づき単位時間あたりに所定数のフレームを出力するように制御され、
前記白色光画像生成部と前記蛍光画像生成部は、前記クロック制御部により生成されるクロックであって前記信号変換部に供給される前記別のクロックより速い前記クロックに基づき動作し、
前記白色光画像生成部は、前記単位時間あたりに出力される前記映像信号のフレーム数と同じ数の白色光画像を取得し、
前記蛍光画像生成部は、前記単位時間内で前記映像信号のフレーム数と同数の前記白色光画像を取得して余ったクロック数に応じて蛍光画像を取得し、
前記画像重畳部は、前記信号変換部に供給される前記別のクロックと同じクロックで前記白色光画像と前記蛍光画像とを重畳する、
ことを特徴とする請求項２に記載の内視鏡システム。
前記蛍光画像生成部が前記２番目のクロックで前記第１の蛍光画像を生成した後に、
前記白色光画像生成部は、前記クロック制御部により生成される前記クロックに基づき連続して白色光画像を生成し、
前記蛍光画像生成部は、前記白色光画像の連続しての生成が予め設定された回数に達したら、次のクロックで第２の蛍光画像を生成し、
前記画像重畳部は、
前記第２の蛍光画像の生成タイミングで、前記予め設定された回数に達した時点の白色光画像と前記第１の蛍光画像とを重畳し、
前記第２の蛍光画像の生成タイミングの次のクロックで、前記予め設定された回数に達した時点の白色光画像と前記第２の蛍光画像とを重畳する、
ことを特徴とする請求項１に記載の内視鏡システム。
前記画像重畳部により生成される前記重畳画像を所定の表示装置に表示するための映像信号に変換する信号変換部をさらに有し、
前記信号変換部は、前記クロック制御部により生成される別のクロックに基づき単位時間あたりに所定数のフレームを出力するように制御され、
前記白色光画像生成部と前記蛍光画像生成部は、前記クロック制御部により生成されるクロックであって前記信号変換部に供給される前記別のクロックより速い前記クロックに基づき動作し、
前記白色光画像生成部は、前記単位時間あたりに出力される前記映像信号のフレーム数と同じ数の白色光画像を取得し、
前記蛍光画像生成部は、前記単位時間内で前記映像信号のフレーム数と同数の前記白色光画像を取得して余ったクロック数に応じて蛍光画像を取得し、
前記画像重畳部は、前記信号変換部に供給される前記別のクロックと同じクロックで前記白色光画像と前記蛍光画像とを重畳する、
ことを特徴とする請求項１に記載の内視鏡システム。
所定のタイミングでクロックを生成するクロック制御ステップと、
前記クロックに同期して、白色光と励起光とを時分割で照射する照明ステップと、
前記照明ステップの照射タイミングに基づき撮像を行う撮像ステップと、
前記白色光を照射するタイミングで前記撮像ステップにより得られた信号に基づき白色光画像を生成する白色光画像生成ステップと、
前記励起光を照射するタイミングで前記撮像ステップにより得られた信号に基づき蛍光画像を生成する蛍光画像生成ステップと、
前記白色光画像生成ステップにより生成された前記白色光画像、及び前記蛍光画像生成ステップにより生成された前記蛍光画像を重畳して重畳画像を生成する画像重畳ステップと、
を有し、
前記白色光画像生成ステップは、前記クロック制御ステップにより生成される前記クロックに基づき、
１番目のクロックで第１の白色光画像を、
３番目のクロックで第２の白色光画像を、
４番目のクロックで第３の白色光画像を、それぞれ生成し、
前記蛍光画像生成ステップは、前記クロック制御ステップにより生成される前記クロックに基づき、
２番目のクロックで第１の蛍光画像を生成し、
前記画像重畳ステップは、前記クロック制御ステップにより生成される前記クロックに基づき、
前記４番目のクロックで前記第２の白色光画像と前記第１の蛍光画像とを重畳し、
５番目のクロックで前記第３の白色光画像と前記第１の蛍光画像とを重畳する、
ことを特徴とする内視鏡システムの制御方法。
前記画像重畳ステップは、前記クロック制御ステップにより生成される前記クロックに基づき、前記３番目のクロックで前記第１の白色光画像と前記第１の蛍光画像とを重畳することを特徴とする請求項７に記載の内視鏡システムの制御方法。
前記蛍光画像生成ステップにおいて前記２番目のクロックで前記第１の蛍光画像を生成した後に、
前記白色光画像生成ステップにおいて、前記クロック制御ステップにより生成される前記クロックに基づき連続して白色光画像を生成し、
前記蛍光画像生成ステップにおいて、前記白色光画像の連続しての生成が予め設定された回数に達したら、次のクロックで第２の蛍光画像を生成し、
前記画像重畳ステップは、
前記第２の蛍光画像の生成タイミングで、前記予め設定された回数に達した時点の白色光画像と前記第１の蛍光画像とを重畳し、
前記第２の蛍光画像の生成タイミングの次のクロックで、前記予め設定された回数に達した時点の白色光画像と前記第２の蛍光画像とを重畳する、
ことを特徴とする請求項８に記載の内視鏡システムの制御方法。
前記画像重畳ステップにより生成される前記重畳画像を所定の表示装置に表示するための映像信号に変換する信号変換ステップをさらに有し、
前記信号変換ステップは、前記クロック制御ステップにより生成される別のクロックに基づき単位時間あたりに所定数のフレームを出力するように制御され、
前記白色光画像生成ステップと前記蛍光画像生成ステップは、前記クロック制御ステップにより生成されるクロックであって前記信号変換ステップにおける前記別のクロックより速い前記クロックに基づき動作し、
前記白色光画像生成ステップは、前記単位時間あたりに出力される前記映像信号のフレーム数と同じ数の白色光画像を取得し、
前記蛍光画像生成ステップは、前記単位時間内で前記映像信号のフレーム数と同数の前記白色光画像を取得して余ったクロック数に応じて蛍光画像を取得し、
前記画像重畳ステップは、前記信号変換ステップにおける前記別のクロックと同じクロックで前記白色光画像と前記蛍光画像とを重畳する、
ことを特徴とする請求項８に記載の内視鏡システムの制御方法。
前記蛍光画像生成ステップにおいて前記２番目のクロックで前記第１の蛍光画像を生成した後に、
前記白色光画像生成ステップにおいて、前記クロック制御ステップにより生成される前記クロックに基づき連続して白色光画像を生成し、
前記蛍光画像生成ステップにおいて、前記白色光画像の連続しての生成が予め設定された回数に達したら、次のクロックで第２の蛍光画像を生成し、
前記画像重畳ステップは、
前記第２の蛍光画像の生成タイミングで、前記予め設定された回数に達した時点の白色光画像と前記第１の蛍光画像とを重畳し、
前記第２の蛍光画像の生成タイミングの次のクロックで、前記予め設定された回数に達した時点の白色光画像と前記第２の蛍光画像とを重畳する、
ことを特徴とする請求項７に記載の内視鏡システムの制御方法。
前記画像重畳ステップにより生成される前記重畳画像を所定の表示装置に表示するための映像信号に変換する信号変換ステップをさらに有し、
前記信号変換ステップは、前記クロック制御ステップにより生成される別のクロックに基づき単位時間あたりに所定数のフレームを出力するように制御され、
前記白色光画像生成ステップと前記蛍光画像生成ステップは、前記クロック制御ステップにより生成されるクロックであって前記信号変換ステップにおける前記別のクロックより速い前記クロックに基づき動作し、
前記白色光画像生成ステップは、前記単位時間あたりに出力される前記映像信号のフレーム数と同じ数の白色光画像を取得し、
前記蛍光画像生成ステップは、前記単位時間内で前記映像信号のフレーム数と同数の前記白色光画像を取得して余ったクロック数に応じて蛍光画像を取得し、
前記画像重畳ステップは、前記信号変換ステップにおける前記別のクロックと同じクロックで前記白色光画像と前記蛍光画像とを重畳する、
ことを特徴とする請求項７に記載の内視鏡システムの制御方法。