JP6978604B2 - 内視鏡装置、内視鏡装置の作動方法及びプログラム - Google Patents

Description

本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。

診断支援機能を搭載した内視鏡装置が知られている。診断支援の一例として、ＡＩ（Artificial Intelligence）により画像から病変部を抽出し、その病変部を提示する機能が提案されている。例えば特許文献１には、観察対象物の血管情報に基づいた診断支援パラメータを算出する内視鏡用画像処理装置が提案されている。特許文献１では、特殊光画像から血管情報を抽出し、その特殊光画像を観察者に提示することで診断を支援する。また特許文献２には、特殊光画像から取得した血管パターンと、予め記憶しておいた血管パターンとをマッチングし、その結果に基づいて診断支援を行う手法が開示されている。特許文献２では、マッチングの結果が一致していた場合には、撮像又は観察のモード変更を促す表示をする。

また内視鏡装置における照明光制御の一例として、調光制御が知られている。調光制御では、表示画像の明るさに基づいて照明光の明るさを制御することで、表示画像を適切な明るさに調整する。例えば特許文献３には、撮像画像に対して注目領域を設定し、その注目領域の画像に基づいて照明光の光量を調光制御する手法が開示されている。特許文献３では、撮像画像は表示部に表示される。即ち、表示画像の明るさが調光制御されている。

特開２０１６−１４４６２６号公報 特開２０１２−１５２２７９号公報 特開２０１２−２４５１６１号公報

ＡＩ等を用いた診断支援を行う場合において、その診断支援に適した画像と、表示画像に適した画像とは、必ずしも一致しないという課題がある。例えば、診断支援に適した照明光制御と、表示画像に適した照明光制御とは、必ずしも一致しない。例えば、従来の調光制御では、表示画像を適切な明るさに調整するために調光制御が行われている。このため、その照明制御によって得られた画像を診断支援に用いた場合に、その画像の明るさが診断支援に適しているとは限らない。

本発明の一態様は、被写体を撮像する撮像部と、前記被写体に対する照明光として表示用照明光及び支援用照明光を射出する光源部と、前記照明光を制御する照明光制御回路と、前記表示用照明光に基づいて得られる画像信号から表示画像を生成し、前記支援用照明光に基づいて得られる画像信号から支援用画像を生成する第１処理回路と、を含み、前記第１処理回路は、前記表示画像を表示部へ出力すると共に、前記支援用画像を第２処理回路へ出力し、前記照明光制御回路は、前記支援用画像から前記第２処理回路が抽出した診断支援情報に基づいて、前記支援用照明光を制御する内視鏡装置に関係する。

また本発明の他の態様は、被写体を撮像する撮像部と、前記撮像部からの画像信号に基づいて表示画像及び支援用画像を取得する第１処理回路と、第２処理回路と、を含み、前記第１処理回路は、前記表示画像を表示部へ出力すると共に、前記支援用画像を前記第２処理回路へ出力し、前記第２処理回路は、前記支援用画像から診断支援情報を抽出し、前記診断支援情報に基づいて前記支援用画像に対してゲイン調整を行う内視鏡装置に関係する。

また本発明の更に他の態様は、被写体を撮像する撮像部と、前記被写体に対して、互いに光量が異なる第１〜第ｋの照明光（ｋは２以上の整数）を射出する光源部と、前記撮像部からの画像信号に基づいて、前記第１〜第ｋの照明光に対応する第１〜第ｋの候補画像を取得する第１処理回路と、第２処理回路と、を含み、前記第１処理回路は、前記第１〜第ｋの候補画像に基づいて表示画像を生成すると共に、前記第１〜第ｋの候補画像を前記第２処理回路へ出力し、前記第２処理回路は、前記第１〜第ｋの候補画像から選択した画像に基づいて診断支援情報を抽出し、前記診断支援情報に基づいて前記第１〜第ｋの候補画像から画像を再選択する内視鏡装置に関係する。

また本発明の更に他の態様は、被写体を撮像する撮像部と、前記被写体に対する照明光を射出する光源部と、前記照明光を制御する照明光制御回路と、第１処理回路と、を含み、前記照明光制御回路は、第１期間において、第１照明光を前記光源部から射出させ、前記第１処理回路は、前記第１照明光に基づいて得られる画像信号から第１画像を生成し、前記照明光制御回路は、前記第１画像から第２処理回路が抽出した診断支援情報に基づいて、第２期間において第２照明光を前記光源部から射出させ、前記第１処理回路は、前記第２照明光に基づいて得られる画像信号から第２画像を生成し、前記第２画像に基づいて前記第２処理回路が再抽出した前記診断支援情報を、取得し、再抽出された前記診断支援情報に基づく画像処理を、表示画像に対して行う内視鏡装置に関係する。

また本発明の更に他の態様は、被写体を撮像し、前記被写体に対して表示用照明光及び支援用照明光を射出し、前記表示用照明光に基づいて得られる画像信号から表示画像を生成し、前記支援用照明光に基づいて得られる画像信号から支援用画像を生成し、前記表示画像を表示部へ出力し、前記支援用画像から抽出された診断支援情報に基づいて、前記支援用照明光を制御する内視鏡装置の作動方法に関係する。

内視鏡装置の構成例。 光源が射出するレーザ光の例。 第１実施形態における照明光制御を説明する図。 第１実施形態における発光シーケンスの例。 第２実施形態における内視鏡装置の動作を示すフローチャート。 第２実施形態における発光シーケンスの例。 第３実施形態における内視鏡装置の動作を示すフローチャート。 第３実施形態における発光シーケンスの例。 第５実施形態における発光シーケンスの第１例。 第５実施形態における発光シーケンスの第２例 内視鏡システムの構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．内視鏡装置
図１は、内視鏡装置１０の構成例である。以下では消化器用の医療用内視鏡を例に説明するが、本発明の適用対象はこれに限定されない。即ち、本明細書で言う内視鏡とは、様々な観察対象物の凹部内面を観察するための挿入部を備える機器一般を言うものとする。例えば、内視鏡とは、生体の診察に用いる医療用内視鏡、又は工業用内視鏡である。

図１の内視鏡装置１０は、制御装置１００とスコープ部２００と表示部３００と入力部６００とを含む。なお、制御装置１００を本体部とも呼ぶ。またスコープ部２００をスコープ、撮像部、撮像装置とも呼ぶ。また表示部３００をディスプレイ、表示装置とも呼ぶ。また入力部６００を入力装置、操作装置とも呼ぶ。

まず、内視鏡装置１０の構成について説明する。

スコープ部２００は、挿入部２１０と操作部２２０と接続ケーブル２３０とコネクタ２４０とにより構成されている。挿入部２１０は、可撓性を有しており、生体の体腔内に挿入可能である。生体の体腔は、本実施形態における被写体である。被写体は観察対象又は観察対象物とも呼ぶ。なお図１では被写体の図示を省略している。医師等の作業者は、操作部２２０を把持すると共に、操作部２２０を用いて内視鏡装置１０を操作する。接続ケーブル２３０は、制御装置１００とスコープ部２００を接続するケーブルであり、可撓性を有する。コネクタ２４０は、接続ケーブル２３０の一端に設けられており、制御装置１００とスコープ部２００を着脱可能にする。

挿入部２１０の先端には、照明光を被写体に向けて射出する２個の照明レンズ２１１、２１２と、被写体の表面から反射又は散乱された照明光を受光することで画像を撮像する撮像ユニット２１３と、が配置されている。

スコープ部２００には導光路２１４が設けられている。制御装置１００に光源部１４０が設けられており、導光路２１４は、光源部１４０から射出される照明光を照明レンズ２１１、２１２まで導光する。導光路２１４は光ファイバ束であり、その光ファイバ束は、コネクタ２４０から、接続ケーブル２３０、操作部２２０内を経由して、照明レンズ２１１、２１２まで延びている。導光路２１４は、コネクタ２４０側では一本に束ねられており、挿入部２１０内で二股に分岐して、２つの照明レンズ２１１、２１２と光学的に接続されている。

照明レンズ２１１、２１２は、光ファイバ束により導光された照明光を所望の放射角となるように広げる。照明レンズ２１１、２１２の各々は、単数または複数のレンズにより構成された照明光学系である。

撮像ユニット２１３は、撮像光学系と撮像素子を有している。本実施形態では、撮像素子はＣＭＯＳ型イメージャであり、そのイメージャには、ベイヤ型に配列されたＲＧＢカラーフィルタが搭載されている。即ち、撮像素子はＲ画素、Ｇ画素、Ｂ画素を有する原色フィルタ型の撮像素子である。

また、スコープ部２００には画像信号線２１５が設けられており、撮像ユニット２１３が撮像した画像の画像信号を制御装置１００まで伝送する。画像信号線２１５は、挿入部２１０、操作部２２０、接続ケーブル２３０内に配置されており、コネクタ２４０を介して制御装置１００へ電気的に接続されている。なお、画像信号線２１５は、光通信用の光ファイバ等であってもよい。

制御装置１００は、照明光を射出する光源部１４０と、照明光の光量及び発光タイミング等を制御する照明光制御回路１５０と、撮像ユニット２１３からの画像信号に対して画像処理を行う第１処理回路１１０と、第１処理回路１１０が出力する画像に基づいて診断支援情報を生成する第２処理回路１２０と、を含む。なお、光源部１４０を光源装置とも呼ぶ。また第１処理回路１１０を画像処理回路とも呼ぶ。

例えば、第１処理回路１１０及び第２処理回路１２０、照明光制御回路１５０の各回路は、個別の集積回路装置により実現される。例えば、各回路はプロセッサ或いはＡＳＩＣ（Application Specific Integrated Circuit）等である。回路がプロセッサにより実現される場合、その回路の動作を記述したプログラムをプロセッサが実行することで、その回路の動作が実現される。プログラムは、例えば、図示しないメモリに記憶されている。なお、第１処理回路１１０及び第２処理回路１２０、照明光制御回路１５０のうち任意の２つの回路又は３つ全部の回路が１つの集積回路装置に集積されてもよい。

光源部１４０は、複数の光源ＬＤａ〜ＬＤｅと、光源ＬＤａ〜ＬＤｅを駆動する駆動回路ＤＲａ〜ＤＲｅと、光源ＬＤａ〜ＬＤｅが射出する光を合波する光合波光学系１４１と、を含む。

光源ＬＤａ〜ＬＤｅの各々は、半導体レーザ素子である。この場合、照明光はレーザ光である。或いは、光源ＬＤａ〜ＬＤｅの各々は、ＬＥＤ（Light Emitting Diode）であってもよい。例えば、波長帯域が数１０ｎｍ程度の狭帯域光を射出するＬＥＤを採用できる。但し、照明光は狭帯域光に限定されず、例えば表示画像の視認性、或いは支援情報の抽出手法に合わせて適切な帯域の照明光を採用すればよい。なお、以下では光源ＬＤａ〜ＬＤｅの各々が半導体レーザ素子である場合を例に説明する。

図２は、光源ＬＤａ〜ＬＤｅが射出するレーザ光の例である。図２に示すように、光源ＬＤａは、波長λａ＝４０５ｎｍの青紫レーザ光を射出する。光源ＬＤｂは、波長λｂ＝４４５ｎｍの青色レーザ光を射出する。光源ＬＤｃは、波長λｃ＝５３２ｎｍの緑色レーザ光を射出する。光源ＬＤｄは、波長λｄ＝６００ｎｍのオレンジ色レーザ光を射出する。光源ＬＤｅは、波長λｅ＝６３５ｎｍの赤色レーザ光を射出する。図２では、各光源が射出する光量が同程度となっているが、各光源が射出する光量は照明光制御回路１５０により制御される。

図１に示すように、駆動回路ＤＲａは光源ＬＤａと、駆動回路ＤＲｂは光源ＬＤｂと、駆動回路ＤＲｃは光源ＬＤｃと、駆動回路ＤＲｄは光源ＬＤｄと、駆動回路ＤＲｅは光源ＬＤｅと、それぞれ電気的に接続されている。光源ＬＤａ〜ＬＤｅは、駆動回路ＤＲａ〜ＤＲｅから供給される電力によりレーザ光を発振する。

駆動回路ＤＲａ〜ＤＲｅは、照明光制御回路１５０と電気的に接続されている。照明光制御回路１５０は、駆動回路ＤＲａ〜ＤＲｅのそれぞれにレーザ光の光量及び発光タイミング等の制御信号を送信することで、光源ＬＤａ〜ＬＤｅを制御する。これにより光源ＬＤａ〜ＬＤｅは、互いに独立したレーザ光量や発光タイミングでレーザ光を射出することが出来る。すなわち、光源ＬＤａ〜ＬＤｅの各々を独立に、発振及び消灯できる。

光源ＬＤａ〜ＬＤｅから射出されたレーザ光は、光合波光学系１４１に入射する。一般的に用いられている合波光学技術を光合波光学系１４１に適用できる。例えば、光合波光学系１４１は、複数のダイクロイックミラー等を組み合わせた空間光学系、又は、複数の光ファイバの端面を一本の光ファイバの端面と対峙するように接続した光コンバイナ等である。

光源ＬＤａ〜ＬＤｅから射出されたレーザ光は、光合波光学系１４１で合波される。その合波されたレーザ光は、ひとつの射出端から、コネクタ２４０に設けられた導光路２１４の入射端に向けて射出される。光導波路の入射端に入射したレーザ光は、導光路２１４により挿入部２１０先端の照明レンズ２１１、２１２まで導光され、照明レンズ２１１、２１２により所望の放射角へ広げられ、被写体に向けて照射される。

照明光制御回路１５０は、駆動回路ＤＲａ〜ＤＲｅを経由して光源ＬＤａ〜ＬＤｅを独立に、或いは光源ＬＤａ〜ＬＤｅを連動させて、光量を制御する。本実施形態における各レーザ光の発光タイミングは後述する。

第１処理回路１１０は、撮像ユニット２１３から画像信号線２１５を経由して伝送された画像信号に基づいて、種々の画像処理を行う。具体的には、第１処理回路１１０は、画像信号から表示画像を生成し、その表示画像を表示部３００へ出力する。また第１処理回路１１０は、画像信号から支援用画像を生成し、その支援用画像を第２処理回路１２０へ出力する。また第１処理回路１１０は、第２処理回路１２０から診断支援情報を受信し、その診断支援情報に対応した表示情報を表示画像へ付加し、その表示画像を表示部３００へ送信する。この表示画像に付加された表示情報を、以下では支援表示情報と呼ぶ。例えば、支援表示情報は、注目部位の位置又は境界を示す情報であり、例えば注目部位に付された枠線又はハイライト又は矢印などである。或いは、支援表示情報は、注目部位の種類又は状態を示す情報であり、例えば、その種類又は状態を表す文字などである。

第２処理回路１２０は診断支援部１２１を含む。診断支援部１２１は例えばＡＩである。即ち、診断支援部１２１は、入力された支援用画像からＡＩ処理により診断支援情報を抽出し、その診断支援情報を第１処理回路１１０へ送信する。ＡＩ処理としては、種々の画像認識手法又は機械学習手法を採用できる。機械学習は、学習結果に基づいて種々の推論を行う処理である。代表的なＡＩとしてニューラルネットワークがあるが、これに限定されず、本実施形態におけるＡＩとして既知の様々な機械学習の手法を採用できる。

コネクタ２４０は、画像信号線２１５と、導光路２１４と、撮像ユニット２１３に電力を供給する図示しない電力線とを、電気的又は光学的に制御装置１００へ着脱可能にする。そのほか、制御装置１００とスコープ部２００とを着脱可能な内視鏡装置のコネクタに搭載されている一般的な機能が、コネクタ２４０に搭載されている。例えば、コネクタ２４０は、送気に用いるパイプ、又は送水に用いるパイプ等を含んでもよい。また、コネクタ２４０は、スコープ部２００の情報をスコープ部２００と制御装置１００との間で通信するための信号線を含んでもよい。スコープ部２００の情報は、例えば撮像素子の種類、或いは光量の上限値等である。またコネクタ２４０は、スコープ部２００が搭載する電気回路への給電を行うための電力線を含んでもよい。またコネクタ２４０は、スコープ部２００が搭載する電気回路と、制御装置１００との間で信号を入出力するための信号線を含んでもよい。

表示部３００は、第１処理回路１１０により画像処理された被写体の画像を表示する。表示部３００は、一般に用いられている種々の表示デバイスであり、例えば液晶モニタ等である。表示部３００と制御装置１００とは電気配線により電気的に接続されている。第１処理回路１１０が出力した画像信号は、この電気配線により表示部３００に伝送される。

次に、内視鏡装置１０の基本的な動作を説明する。なお、一般的な内視鏡と共通する動作については説明を省略し、本発明に関連する特徴部を中心に説明する。

診断支援部１２１は、画像の中に注目部位が存在するか否かを解析する。診断支援部１２１が注目部位を検出した場合、その注目部位に関する情報を画像から抽出し、その情報を診断支援情報として第１処理回路１１０と照明光制御回路１５０へ出力する。照明光制御回路１５０へ出力される診断支援情報は、照明光を最適な明るさ又は波長、光量比にするために必要な情報である。例えば、診断支援情報は、画像における注目部位の位置、およびその位置の画像の明るさを示す情報である。照明光制御回路１５０は、その注目部位の位置における画像の明るさに基づいて照明光の光量を調整することで、注目部位の位置における画像の明るさを適切な明るさに調整する。画像の明るさは例えば画像の輝度である。適切な明るさとは、診断支援部１２１が注目部位に関する情報を抽出するという目的において適切な明るさという意味である。即ち、必ずしも人間にとって見やすい調光を行うとは限らない。

診断支援情報に基づいて制御された照明光が被写体を照明し、その被写体を撮像ユニット２１３が撮影する。診断支援部１２１は、その画像信号から得られた支援用画像に基づいて診断支援情報を再抽出する。即ち、照明光が制御される前の抽出処理において注目部位が抽出されているが、診断支援部１２１は、その注目部位に関する診断支援情報を、照明光が制御された後の支援用画像から再抽出する。照明光が制御された後の支援用画像において、注目部位の支援情報に関連する情報が増えている。例えば、血管のコントラストが上がったり、画像の解像度が上がったりする。これにより、注目部位に関する診断支援情報として、より精度が高い情報を再抽出できる。

診断支援情報を抽出するための支援用画像と、表示部３００に表示するための表示画像とは、異なる画像である。この場合、表示画像に対する照明光制御と、支援用画像に対する照明光制御とは、異なっている。例えば、表示画像の全体が適切な明るさとなるように、表示画像に対する調光制御を行いつつ、支援用画像における注目部位の明るさが適切な明るさとなるように、支援用画像に対する調光制御を行う。

ここで、支援用画像は、表示部３００に表示されない画像である。即ち、支援用画像は、表示画像とは別に診断支援用に取得された画像であればよく、支援用画像と表示画像とが異なる種類又は異なる組み合わせである場合に限らず、支援用画像と表示画像とが同じ種類又は同じ組み合わせの画像であってもよい。例えば、図４において後述する例では、Ｂ画像及びＧ画像、Ａ画像、Ｒ画像から表示画像が生成され、Ｖ画像及びＧ画像が支援用画像として用いられる。この場合、表示画像と支援用画像は、異なる組み合わせになっている。或いは、他の一例として、表示画像と支援用画像が共に白色光画像であってもよい。この場合、表示画像と支援用画像は同じ種類の画像であるが、表示用の白色光画像と、支援用の白色光画像とが別々に用意される。そして、表示用の白色光画像に対する照明光制御と、支援用の白色光画像に対する照明光制御とが、独立に行われる。

なお、以上では照明光制御回路１５０が診断支援情報に基づいて照明光を制御する場合を説明したが、本発明の適用対象はこれに限定されない。例えば、第１処理回路１１０が、診断支援情報に基づいて、どの波長において撮影された画像を支援用画像として第２処理回路１２０へ出力するかを決めてもよい。或いは、第１処理回路１１０が、診断支援情報に基づいて支援用画像をゲイン処理することで、注目部位の位置における画像の明るさを適切な明るさに調整してもよい。そして、その調整後の支援用画像を第２処理回路１２０へ出力してもよい。或いは、照明光制御回路１５０が診断支援情報に基づいて行う照明光制御と、第１処理回路１１０が診断支援情報に基づいて行う画像制御とを、組み合わせてもよい。

以上の実施形態によれば、内視鏡装置１０は、撮像部と照明光制御回路１５０と第１処理回路１１０とを含む。撮像部は、被写体を撮像する。光源部１４０は、被写体に対する照明光として表示用照明光及び支援用照明光を射出する。照明光制御回路１５０は、照明光を制御する。第１処理回路１１０は、表示用照明光により得られる画像信号に基づいて表示画像を取得し、支援用照明光により得られる画像信号に基づいて支援用画像を取得する。第１処理回路１１０は、表示画像を表示部３００へ出力すると共に、支援用画像を第２処理回路１２０へ出力する。照明光制御回路１５０は、診断支援情報を取得する。診断支援情報は、支援用画像から第２処理回路１２０が抽出したものである。照明光制御回路１５０は、診断支援情報に基づいて支援用照明光を制御する。

図１において、撮像部は撮像ユニット２１３に対応する。なお、図１では内視鏡装置１０が第２処理回路１２０を含む場合を例に説明したが、図１１において後述するように、内視鏡装置１０の外部に第２処理回路１２０を設けてもよい。即ち、内視鏡装置１０が第２処理回路１２０を内蔵しない場合にも本発明を適用できる。

本実施形態によれば、診断支援情報に基づいて照明光制御がフィードバック制御される。これにより、診断支援情報を抽出するために適切な照明光によって画像を撮影できる。そして、その画像に基づいて診断支援情報を再抽出することで、より精度が高い診断支援情報を抽出できる。また、本実施形態によれば、診断支援情報に基づいて支援用照明光が制御され、その支援用照明光により支援用画像が撮影される。即ち、表示画像に対する照明光制御と、支援用画像に対する照明光制御とを、分けることができる。これにより、表示の品質に影響を与えることなく、支援用画像に対する適切な照明光制御を実現できる。

例えば、従来技術による内視鏡装置では一般に、画面全体の明るさを考慮して照明光の明るさが設定される。具体的には、観察領域の現在の照明光の画像の明るさ平均測光や中央重点測光などさまざまな測光モードがあり、これに応じて照明光の明るさが設定される。ＡＩ等により支援情報を抽出する場合、このような画像を元に注目部位を抽出するため、注目部位の位置によっては調光が必ずしも適切でない場合があった。このため、注目部位の抽出精度や、注目部位の分類の精度が低い可能性がある。本実施形態によれば、診断支援情報を抽出するために適切な明るさの画像が得られるので、注目部位を精度よく分類できる。なお、照明光制御は調光制御だけでなく、照明光の波長又は光量比の制御であってもよい。

また本実施形態では、第１処理回路１１０は、診断支援情報に基づく画像処理を、表示画像に対して行い、その画像処理後の表示画像を表示部３００へ出力する。

このようにすれば、支援用画像から抽出された診断支援情報に基づいて、その診断支援情報に対応した支援表示情報を作業者へ提供できる。このとき、表示画像に対しては、観察に最適な照明光制御が行われており、その表示画像とは別に取得される支援用画像に対しては、ＡＩ処理に最適な照明光制御が行われている。即ち、本実施形態によれば、作業者が見やすい明るさの画像に対して、精度の高い支援表示情報を付加することができる。

また本実施形態では、照明光制御回路１５０は、表示画像に基づいて、表示用照明光の光量を制御する。

本実施形態によれば、表示画像に対する照明光制御と、支援用画像に対する照明光制御とが、独立に行われる。上述したように、表示の品質に影響を与えることなく、支援用画像に対する適切な照明光制御を実現できる。

２．第１実施形態
図３は、第１実施形態における照明光制御を説明する図である。

第１実施形態では、内視鏡装置１０は、照明光の光量を調整することで、注目部位の画像の明るさを適切な明るさにする。これにより、特殊な画像処理を行う必要が無いため、システムに特別な部材を追加する必要が無い。

図３には、観察対象の一例として大腸を示す。図３の左図に示すように、腸管の奥側に注目部位があったとする。このように、体腔の奥側に注目部位が発見されたとき、画像において注目部位は暗い画像となっている。このような場合、その注目部位に関する診断支援情報を十分に得られない可能性がある。即ち、ＡＩ等が画像を解析したとき、ＡＩ等が注目部位を検出することはできたが、その注目部位の画像が暗いためにＡＩ等が注目部位の詳細を判断できない。例えば、注目部位が病変部である場合、その病変部の詳細な分類、又は病変部の詳細な状態等を、ＡＩ等が判断できない。図３の右図に示すように、本実施形態の内視鏡装置１０は、注目部位が最適な明るさとなるように、照明光の光量をアップし、その照明光により再び被写体を撮影する。そして、内視鏡装置１０は、光量アップ後の画像に基づいてＡＩ等が注目部位を再抽出することで、注目部位が病変部か否か、或いは病変部としての詳細な分類を判断できる。なお、図３の右図において、画像の周辺部が明るくなっている。しかし、前回の解析において、その領域には注目部位が検出されていないため、診断支援情報を抽出するという目的においては大きな問題にはならない。

なお、本実施形態では、注目部位の画像の明るさが最適となるように、画像の明るさから逆算して光量を設定したが、本発明の適用対象はこれに限定されない。たとえば、病変部の露出が最適になるような病変部重点測光モードにより光量を最適化し、その光量において画像を再取得してもよい。

図４は、第１実施形態における発光シーケンスの例である。図４において、横軸は時間である。縦方向において上から順に光源ＬＤａ、ＬＤｂ、ＬＤｃ、ＬＤｄ、ＬＤｅの順に発光及び消灯のタイミングを記載している。Ｔ１、Ｔ２等はタイミングを示す。以下、「タイミング」を省略してＴ１、Ｔ２等と記載する。

図４に示すように、Ｔ１からＴ１’までを１周期として光源ＬＤａ〜ＬＤｅを発光させる。このとき、撮像素子は、撮像動作を２回行う。即ち、１周期に撮像フレームが２フレーム含まれる。

Ｔ１からＴ２までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤｂ、ＬＤｃ、ＬＤｅを発光させる。撮像素子は、原色型フィルタを有するＲＧＢ撮像素子である。このため、光源ＬＤｂからの青色光はＢ画素により検出され、その結果、Ｂ画像として出力される。同様に、光源ＬＤｃからの緑色光はＧ画素により検出され、Ｇ画像として出力される。光源ＬＤｅからの赤色光はＲ画素により検出され、Ｒ画像として出力される。これらの画像情報は、全ての光源ＬＤａ〜ＬＤｅが消灯している読み出し期間において撮像素子から出力される。

次にＴ１からＴ２までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ、ＬＤｃ、ＬＤｄを発光させる。光源ＬＤａからの紫色光はＢ画素により検出され、その結果、Ｖ画像として出力される。同様に、光源ＬＤｃからの緑色光はＧ画素により検出され、Ｇ画像として出力される。光源ＬＤｄからのオレンジ色光はＲ画素により検出され、その結果、Ａ画像として出力される。これらの画像情報は、読み出し期間において撮像素子から出力される。

第１処理回路１１０は、Ｔ１からＴ２の間に撮像されたＢ画像及びＧ画像、Ｒ画像と、Ｔ２からＴ１’の間に撮像されたＡ画像とから、表示画像を生成する。具体的には、第１処理回路１１０は、Ｒ画像とＡ画像を合成した画像を表示画像のＲチャンネルとし、Ｂ画像を表示画像のＢチャンネルとし、Ｇ画像を表示画像のＧチャンネルとする。また第１処理回路１１０は、Ｔ２からＴ１’の間に撮像されたＶ画像及びＧ画像を支援用画像として診断支援部１２１へ出力する。或いは、そのＶ画像及びＧ画像を合成した画像を、支援用画像として診断支援部１２１へ出力してもよい。

本実施形態の内視鏡装置１０は、上記の１周期における動作を連続的に繰り返す。調光制御については、以下のような動作を繰り返す。

照明光制御回路１５０は、Ｔ１’からＴ２’の間に発光する光源ＬＤｂ、ＬＤｃ、ＬＤｅと、Ｔ２’からＴ１”の間に発光する光源ＬＤｄとを、Ｔ１からＴ１’の間に取得された表示画像の明るさに基づいて調光制御する。即ち、１フレーム前の表示画像に基づいて、現在フレームにおける調光制御を行う。この調光制御を表示用調光制御又は第１調光制御とも呼ぶ。

また照明光制御回路１５０は、Ｔ２’からＴ１”の間に発光する光源ＬＤａ、ＬＤｃを、Ｔ２からＴ１’の間に取得された支援用画像、及び、その支援用画像から抽出された診断支援情報に基づいて調光制御する。即ち、１フレーム前の支援用画像及び診断支援情報に基づいて、現在フレームにおける調光制御を行う。この調光制御を支援用調光制御又は第２調光制御とも呼ぶ。

表示用調光制御と支援用調光制御は、独立した制御である。例えば、図４に示すように、Ｔ２’からＴ１”の間に発光する光源ＬＤａ、ＬＤｃの光量は、Ｔ２からＴ１’の間に発光する光源ＬＤａ、ＬＤｃの光量よりも小さい。これは、支援用調光制御の結果である。一方、Ｔ１’からＴ２’の間に発光する光源ＬＤｂ、ＬＤｃ、ＬＤｅの光量は、Ｔ１からＴ２の間に発光する光源ＬＤｂ、ＬＤｃ、ＬＤｅの光量と同じである。また、Ｔ２’からＴ１”の間に発光する光源ＬＤｄの光量は、Ｔ２からＴ１’の間に発光する光源ＬＤｄの光量と同じである。これは、表示用調光制御において、光量を維持する判断が行われた結果である。

以上の実施形態によれば、照明光制御回路１５０は、第１期間において、第１支援用照明光を光源部１４０から射出させる。第１処理回路１１０は、第１支援用照明光により得られる画像信号に基づいて第１支援用画像を取得する。照明光制御回路１５０は、第１支援用画像に基づいて第２処理回路１２０が抽出した診断支援情報を、取得する。照明光制御回路１５０は、第２期間において、診断支援情報に基づいて第２支援用照明光を光源部１４０から射出させる。第１処理回路１１０は、第２支援用照明光により得られる画像信号に基づいて第２支援用画像を取得する。第１処理回路１１０は、第２支援用画像に基づいて第２処理回路１２０が再抽出した診断支援情報を、取得する。

図４の例では、第１期間は、Ｔ２からＴ１’までの期間ＰＳである。第２期間は、Ｔ２’からＴ１”までの期間ＰＳ’である。第１支援用照明光は、期間ＰＳにおいて光源ＬＤａ、ＬＤｃが射出する光である。第２支援用照明光は、期間ＰＳ’において光源ＬＤａ、ＬＤｃが射出する光である。

本実施形態によれば、第１支援用照明光によって撮影された第１支援用画像に基づいて診断支援情報が抽出され、その診断支援情報に基づいて第２支援用照明光が制御される。そして、その第２支援用照明光によって撮影された第２支援用画像に基づいて診断支援情報が再抽出される。これにより、表示画像に対する照明光制御とは別のフィードバック制御において、診断支援情報に基づいて支援用照明光をフィードバック制御できる。

また本実施形態では、内視鏡装置１０は第２処理回路１２０を含む。第２処理回路１２０は、第１支援用画像に基づいて注目部位の情報を診断支援情報として抽出し、その注目部位の情報及び第２支援用画像に基づいて、注目部位に関する診断支援情報を再抽出する。

本実施形態によれば、注目部位が検出された場合において、その注目部位に関する、より詳細な診断支援情報を再抽出できる。このとき、診断支援情報に基づいてフィードバック制御された照明光によって支援用画像が撮影され、その支援用画像に基づいて再抽出が行われる。即ち、照明光が調整される前に検出された注目領域について、最適な照明光に調整された後に再び解析を行うことで、その注目領域に関する診断支援情報の精度を向上できる。

また本実施形態では、診断支援情報は、被写体に含まれる注目部位の情報を含む。照明光制御回路１５０は、支援用画像における注目部位の画像の明るさに基づいて、支援用照明光の光量を制御する。具体的には、診断支援情報は、注目部位の位置情報、及び注目部位の画像の明るさ情報を、注目部位の情報として含む。照明光制御回路１５０は、診断支援情報に基づいて、支援用照明光の光量を制御する。なお、注目部位の位置情報、及び注目部位の画像の明るさ情報が照明光制御回路１５０に入力される場合に限定されない。例えば、注目部位の画像の明るさ情報が照明光制御回路１５０に入力されなくてもよい。この場合、照明光制御回路１５０は、注目部位の位置情報に基づいて、支援用画像における注目部位の画像を取得し、その注目部位の画像の明るさ情報に基づいて、支援用照明光の光量を制御してもよい。

本実施形態によれば、診断支援情報に基づいて、画像における注目部位の明るさがフィードバック制御される。即ち、検出された注目部位における画像の明るさを適切な明るさに制御できる。そして、その適切な明るさとなった注目部位の画像に基づいて、その注目部位に関する診断支援情報を再抽出できる。

また本実施形態では、照明光制御回路１５０は、照明光の光量を制御することで、画像における所定領域の輝度値を目標値に近づける制御を行う。所定領域は、注目部位を含む領域である。

また本実施形態では、照明光制御回路１５０は、所定領域における輝度値とそれ以外の領域における輝度値とに重み付けを行い、その重み付けされた輝度値に基づいて照明光の光量目標を設定する。

また本実施形態では、所定領域の輝度値、又は重み付けされた輝度値と、目標値との差分に基づいて、照明光の光量目標を設定する。

また本実施形態では、内視鏡装置１０が複数の観察モードを有してもよい。複数の観察モードは、例えば、通常光観察モード及びＮＢＩ（Narrow Band Imaging）観察モード、ＲＢＩ（Red Band Imaging）観察モードである。第１処理回路１１０は、各観察モードにおける画像を取得する。通常光観察モードにおける画像は、例えばＢ画像及びＧ画像、Ａ画像、Ｒ画像を合成した白色光画像である。ＮＢＩ観察モードにおける画像は、Ｖ画像及びＧ画像を合成したＮＢＩ画像である。ＲＢＩ観察モードにおける画像は、Ｇ画像及びＡ画像、Ｒ画像を合成したＲＢＩ画像である。第１処理回路１１０は、白色光画像及びＮＢＩ画像、ＲＢＩ画像から表示画像と支援用画像を選択する。例えば、第１処理回路１１０は、作業者が設定した観察モードに対応した画像を表示画像として選択し、それ以外の画像を支援用画像として選択する。

３．第２実施形態
第２実施形態では、撮像した画像に対してゲイン処理が行われ、そのゲイン処理後の画像から診断支援情報が抽出される。ゲイン処理は、ゲインアップ、又はゲインダウンである。ゲインアップは増感現像とも呼ぶ。またゲインダウンは減感現像とも呼ぶ。このようにすることで、再び画像を取得しなおすこと無く注目部位の明るさが最適化された画像を構築することが可能となる。

図５は、第２実施形態における内視鏡装置１０の動作を示すフローチャートである。

ステップＳ２１に示すように、まず撮像ユニット２１３が画像を取得する。次に、ステップＳ２２に示すように、第１処理回路１１０が標準画像処理により画像を現像し、その画像を診断支援部１２１へ出力する。標準画像処理は、一般的な現像処理のことであり、例えば表示画像を生成するための現像処理である。第１処理回路１１０は、現像後の画像を表示部３００へ出力し、表示部３００は、その画像を表示する。

次に、ステップＳ２３に示すように、診断支援部１２１が画像から注目部位を抽出する。即ち、診断支援部１２１が画像内に注目部位があるか否かを判断し、注目部位がある場合には、その注目部位に関する診断支援情報を抽出する。

次にステップＳ２４に示すように、第２処理回路１２０が、診断支援部１２１により注目領域が検出されたか否かの情報を取得する。画像内に注目部位がない場合には、ステップＳ２１に戻る。画像内に注目部位がある場合には、ステップＳ２５に示すように、第２処理回路１２０は、画像における注目部位の明るさが適切か否かを判断する。

ステップＳ２５において注目部位の明るさが適切な場合、ステップＳ２６に示すように、診断支援部１２１が画像から注目部位を再抽出すると共に、注目部位を詳細分類する。ステップＳ２６が実行された後、ステップＳ１２に戻る。

ステップＳ２５において注目部位の明るさが適切でなかった場合、ステップＳ２７に示すように、第２処理回路１２０が画像をゲイン処理する。第２処理回路１２０は、注目部位の明るさが適切な明るさより暗いと判断した場合、画像をゲインアップする。一方、第２処理回路１２０は、注目部位の明るさが適切な明るさより明るいと判断した場合、画像をゲインダウンする。例えば、ステップＳ２２における標準画像処理のゲインを基準として、ゲインアップは、その基準よりゲインを高くすることであり、ゲインダウンは、その基準よりゲインを低くすることである。ゲイン処理後の画像は診断支援部１２１へ入力される。

次に、ステップＳ２８に示すように、診断支援部１２１は、ゲイン処理後の画像から注目部位を再抽出すると共に、注目部位を詳細分類する。ステップＳ２８が実行された後、ステップＳ１２に戻る。

図６は、第２実施形態における発光シーケンスの例である。

Ｔ１からＴ２までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤｂ、ＬＤｃ、ＬＤｅを発光させる。次にＴ２からＴ１’までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ、ＬＤｄを発光させる。図４と同様にして、Ｖ画像及びＢ画像、Ｇ画像、Ａ画像、Ｒ画像が得られる。第１処理回路１１０は、これら５つの画像から任意の画像を選択し、その画像から表示画像を生成する。どのような表示画像を生成するかは、例えば観察モードにより設定される。内視鏡装置１０は、上記の１周期における動作を連続的に繰り返す。

第２実施形態では、ゲイン処理後の画像が診断支援部１２１へ入力されるので、支援用の調光制御は行われない。即ち、照明光制御回路１５０は、光源ＬＤａ〜ＬＤｅに対して表示用の調光制御を行う。即ち、Ｖ画像及びＢ画像、Ｇ画像、Ａ画像、Ｒ画像の明るさは、表示用の調光制御によって制御されている。第１処理回路１１０は、これらの画像に対してゲイン処理を行い、そのゲイン処理後の画像を診断支援部１２１へ出力する。第１処理回路１１０は、上記５つの画像のうち任意の１又は複数の画像を支援用画像として選択する。このとき、第１処理回路１１０は、支援用画像として選択した画像に対してゲイン処理を行い、そのゲイン処理後の画像を診断支援部１２１へ出力する。

なお、図６では光源ＬＤａ〜ＬＤｅを２つの撮像フレームに分けて発光させているが、これに限定されず、光源ＬＤａ〜ＬＤｅを１つの撮像フレームにおいて発光させてもよい。この場合、発光シーケンスの１周期は１つの撮像フレームとなる。また、光源ＬＤａ、ＬＤｂが射出する光はＢ画素により検出され、光源ＬＤｃが射出する光はＧ画素により検出され、光源ＬＤｄ、ＬＤｅが射出する光はＲ画素により検出される。これにより白色光画像が得られる。

以上の実施形態によれば、第１処理回路１１０は、表示画像を表示部へ出力すると共に、支援用画像を第２処理回路１２０へ出力する。第２処理回路１２０は、支援用画像から診断支援情報を抽出し、その診断支援情報に基づいて支援用画像に対してゲイン調整を行う。

また本実施形態では、第２処理回路１２０は、ゲイン調整された支援用画像に基づいて診断支援情報を再抽出する。第１処理回路１１０は、第２処理回路１２０により再抽出された診断支援情報に基づく画像処理を、表示画像に対して行う。

本実施形態によれば、診断支援情報に基づいて支援用画像がゲイン処理されることで、支援用画像の明るさがフィードバック制御される。これにより、診断支援情報を抽出するために適切な明るさの画像を取得できる。そして、その画像に基づいて診断支援情報を再抽出することで、より精度が高い診断支援情報を抽出できる。また、このフィードバック制御は、表示画像に対する調光制御とは独立した制御となっている。これにより、作業者が見やすい明るさの画像に対して、精度の高い支援表示情報を付加することができる。また、フィードバック制御を第２処理回路１２０が行うので、従来の調光システム等を変更する必要がない。

４．第３実施形態
第３実施形態では、内視鏡装置１０は、注目部位が抽出されたとき、表示する画像と表示する画像の合間に、注目部位の明るさが最適となるような画像を取得する。これにより、注目部位の明るさが最適な画像に基づいて注目部位の再抽出を行うことができると共に、その影響を受けることなく自然な明るさの表示画像を作業者へ提供できる。

図７は、第３実施形態における内視鏡装置１０の動作を示すフローチャートである。ステップＳ１〜Ｓ６は、図５のステップＳ２１〜Ｓ２６と同じであるため、その説明を省略する。

ステップＳ５において注目部位の明るさが適切でなかった場合、ステップＳ７に示すように、照明光制御回路１５０が照明光を発光させ、第１処理回路１１０が支援用画像を取得する。第１処理回路１１０は、取得した支援用画像を診断支援部１２１へ出力する。ここでの照明光は、表示画像を取得するための照明光とは別個に射出されるものである。即ち、支援用画像は表示されない画像である。第２処理回路１２０が、注目部位の明るさが適切な明るさより暗いと判断した場合、照明光制御回路１５０は、照明光の光量を増加させる。一方、第２処理回路１２０が、注目部位の明るさが適切な明るさより明るいと判断した場合、照明光制御回路１５０は、照明光の光量を減少させる。例えば、ステップＳ１において画像を取得する際の光量を基準として、照明光制御回路１５０は、その基準よりも光量を増加又は減少させる。

次に、ステップＳ８に示すように、診断支援部１２１が支援用画像から注目部位を再抽出すると共に、注目部位を詳細分類する。次に、ステップＳ９に示すように、照明光制御回路１５０が照明光を発光させ、第１処理回路１１０が表示画像を取得する。第１処理回路１１０は、取得した表示画像を表示部３００へ出力する。ここでの照明光は、表示画像を取得するための照明光である。また、第１処理回路１１０は、ステップＳ２と同様に標準画像処理により画像を現像する。

次に、ステップＳ１０に示すように、第１処理回路１１０が、観察を継続するか否かを判断する。例えば、第１処理回路１１０は、作業者が操作部２２０又は入力部６００から入力した情報に基づいて、観察を継続するか否かを判断する。観察が継続されない場合、処理を終了する。観察が継続される場合、ステップＳ７に戻る。

以上のように、内視鏡装置１０は、画像における注目部位の明るさが適切でなかった場合、表示画像と支援用画像とを交互に取得する。

図８は、第３実施形態における発光シーケンスの例である。

Ｔ１からＴ２までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ〜ＬＤｅを発光させる。光源ＬＤａ、ＬＤｂが射出する光はＢ画素により検出され、光源ＬＤｃが射出する光はＧ画素により検出され、光源ＬＤｄ、ＬＤｅが射出する光はＲ画素により検出される。これにより白色光画像が得られ、この白色光画像が表示部３００に表示される。図７のステップＳ５において、白色光画像における注目部位の明るさが適切と判断された場合、Ｔ２からＴ１’まで、照明光制御回路１５０は光源ＬＤａ〜ＬＤｅを消灯させる。

Ｔ１’からＴ２’までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ〜ＬＤｅを発光させる。これにより白色光画像が得られ、この白色光画像が表示部３００に表示される。図７のステップＳ５において、白色光画像における注目部位の明るさが適切でないと判断された場合、Ｔ２’からＴ１”まで、照明光制御回路１５０は光源ＬＤａ〜ＬＤｅを発光させる。このときの光量は、支援用画像を取得するための光量である。第１処理回路１１０は、取得した支援用画像を診断支援部１２１へ出力する。以後、図７のステップＳ１０において観察を継続しないと判断されるまで、Ｔ１’からＴ１”の間の動作と同じ動作を繰り返す。

なお、図８では、ステップＳ７〜Ｓ１０を実行する際に、動画の表示レートを変更せず、撮像のフレームレートを倍速にしている。動画の表示レートは、動画の更新レート、即ち、表示画像を撮像するレートである。この例では、動画の動きを、より滑らかにできる。但し、ステップＳ７〜Ｓ１０を実行する際に、撮像のフレームレートを変更せず、画像の表示レートを半分にしてもよい。この例では、撮像及び照明光制御のシステムをシンプルにできる。

以上の実施形態によれば、内視鏡装置１０は、被写体を撮像する撮像部と、被写体に対する照明光を射出する光源部１４０と、照明光を制御する照明光制御回路１５０と、第１処理回路１１０と、を含む。照明光制御回路１５０は、第１期間において、第１照明光を光源部１４０から射出させる。第１処理回路１１０は、第１照明光に基づいて得られる画像信号から第１画像を生成する。照明光制御回路１５０は、第１画像から第２処理回路が抽出した診断支援情報に基づいて、第２期間において第２照明光を光源部１４０から射出させる。第１処理回路１１０は、第２照明光に基づいて得られる画像信号から第２画像を生成する。第１処理回路１１０は、第２画像に基づいて第２処理回路１２０が再抽出した診断支援情報を、取得する。第１処理回路１１０は、その再抽出された診断支援情報に基づく画像処理を、表示画像に対して行う。

図８において、第１期間は、Ｔ１’からＴ２’までの期間である。第２期間は、Ｔ２’からＴ１”までの期間である。第１照明光は、Ｔ１’からＴ２’までの期間において光源ＬＤａ〜ＬＤｅが射出する光である。第２照明光は、Ｔ２’からＴ１”までの期間において光源ＬＤａ〜ＬＤｅが射出する光である。

本実施形態によれば、診断支援情報に基づいて照明光制御がフィードバック制御される。これにより、診断支援情報を抽出するために適切な照明光によって画像を撮影できる。そして、その画像に基づいて診断支援情報を再抽出することで、より精度が高い診断支援情報を抽出できる。

また本実施形態では、第１処理回路１１０は、第１画像を表示画像として表示部３００へ出力する。

即ち、第２画像は表示画像とは別に取得される画像であり、第２画像は表示されない画像である。これにより、支援用画像に対する照明光制御が、表示画像に対する照明光制御とは独立したものとなる。支援用画像に対する照明光制御が独立することで、表示の品質に影響を与えることなく、支援用画像に対する適切な照明光制御を実現できる。なお、本実施形態では、観察を継続するか否かを第１処理回路１１０が判断する例を示したが、これに限らない。照明光制御回路１５０が観察を継続するか否かを判断しても良いし、また、観察を継続するか否かを判断する観察継続要否判断部等を別途設けてもよい。

５．第４実施形態
第４実施形態では、内視鏡装置１０は、撮像時に、異なる明るさの画像を順次取得しておく。内視鏡装置１０は、注目部位が抽出されたとき、注目部位の明るさが最適な又は最適に近い画像を抽出し、その画像に基づいて注目部位の再抽出又は詳細分類等を行う。これにより、システムの基本動作を変更することなく、注目部位が抽出されたときに診断支援部１２１が動作を変更すればよいので、動作がシンプル且つ高速になる。

具体的には、照明光制御回路１５０が第１〜第ｋの光量で光源ＬＤａ〜ＬＤｅを発光させ、撮像ユニット２１３が、各光量において被写体を撮像する。ｋは２以上の整数である。第１処理回路１１０は、第１〜第ｋの光量に対応した第１〜第ｋの候補画像を取得する。通常の観察モードで設定された画像の明るさを中心値とすると、第１〜第ｋの候補画像は、中心値の画像と、中心値の画像よりも暗い１又は複数の画像と、中心値の画像よりも明るい１又は複数の画像と、を含む。なお、中心値よりも明るい画像の明るさと、中心値よりも暗い画像の明るさとを、通常の観察モードで設定された画像の明部又は暗部の明るさに基づいて、設定しても良い。或いは、中心値よりも明るい画像の明るさと、中心値よりも暗い画像の明るさとを、規定値により設定しても良い。規定値は、例えば臓器の観察部位に基づいて変更されてもよい。

第１処理回路１１０は、中心値の画像を表示画像として表示部３００へ出力する。また、第１処理回路１１０は、第１〜第ｋの候補画像を診断支援部１２１へ出力する。診断支援部１２１は、中心値の画像から診断支援情報を抽出する。診断支援部１２１は、中心値の画像から注目部位を検出した場合、その注目部位の明るさが適切な画像を第１〜第ｋの候補画像から選択する。診断支援部１２１は、選択した画像に基づいて、注目部位に関する診断支援情報を再抽出する。

以上の実施形態によれば、光源部１４０は、互いに光量が異なる第１〜第ｋの照明光を被写体に射出する。第１処理回路１１０は、撮像部からの画像信号に基づいて、第１〜第ｋの照明光に対応する第１〜第ｋの候補画像を取得する。第１処理回路１１０は、第１〜第ｋの候補画像に基づいて表示画像を生成すると共に、第１〜第ｋの候補画像を第２処理回路１２０へ出力する。第２処理回路１２０は、第１〜第ｋの候補画像から選択した画像に基づいて診断支援情報を抽出する。そして、第２処理回路１２０は、診断支援情報に基づいて第１〜第ｋの候補画像から画像を再選択する。

また本実施形態では、第２処理回路１２０は、再選択された画像に基づいて診断支援情報を再抽出する。第１処理回路１１０は、第２処理回路１２０により再抽出された診断支援情報に基づく画像処理を、表示画像に対して行う。

本実施形態によれば、複数の候補画像のうち、いずれの画像を選択するかが、診断支援情報に基づいてフィードバック制御される。これにより、診断支援情報を抽出するために適切な明るさの画像を取得できる。そして、その画像に基づいて診断支援情報を再抽出することで、より精度が高い診断支援情報を抽出できる。また、このフィードバック制御は、表示画像に対する調光制御とは独立した制御となっている。これにより、作業者が見やすい明るさの画像に対して、精度の高い支援表示情報を付加することができる。また、フィードバック制御を第２処理回路１２０が行うので、従来の調光システム等を変更する必要がない。

また本実施形態では、光源部１４０は、互いに色が異なる第１〜第ｍの光を射出する。このとき、光源部１４０は、第１〜第ｍの光のうち全部の光量を異ならせて第１〜第ｋの照明光を射出してもよいし、第１〜第ｍの光のうち一部の光量を異ならせて第１〜第ｋの照明光を射出してもよい。例えば、診断支援部１２１がＶ画像及びＧ画像から診断支援情報を抽出する場合、照明光制御回路１５０が、光源ＬＤａ、ＬＤｃの光量を異ならせてもよい。

６．第５実施形態
第５実施形態では、内視鏡装置１０は、抽出された病変部に応じて照明光の波長又は光量比を切り替える。これにより、診断支援情報の確度が向上することが期待される。

被写体が生体である場合、注目部位の種類と、その観察に適した照明光の波長又は光量比との関係が知られている。本実施形態では、内視鏡装置１０は、注目部位の種類に応じて照明光の波長又は光量比を自動的に切り替える。

例えば、診断支援部１２１が、画像から癌の疑いを検出した場合、照明光制御回路１５０は、波長はヘモグロビンの吸収特性に合わせて紫色光と緑色光を光源部１４０から射出させる。照明光制御回路１５０は、紫色光の光量：緑色光の光量を１０：１〜２：１程度に変更する。即ち、照明光制御回路１５０は、紫色光の光量が高い光量比に変更する。これにより、血管のコントラストが向上した画像が得られ、ＡＩにより抽出される癌の種類又は進行度、浸潤度等の情報の確からしさが向上する。

例えば、ＩＣＧ（インドシアニングリーン）を静脈注射した場合、照明光制御回路１５０は、近赤外光を光源部１４０から射出させる。この場合、光源部１４０は、近赤外光を発生する光源を更に含んでいる。近赤外光は、８００ｎｍ±２０ｎｍ程度の波長を有する。撮像素子は、照明光よりやや長波長側の赤外光の画像を取得する。これにより照明光により励起されＩＣＧから発せられる蛍光の画像を得ることが可能となり、ＡＩにより抽出される病変部の領域又は境界等の確度が向上する。

また例えば、照明光制御回路１５０は、注目部位に存在する特徴物質に応じて照明光の波長又は光量比を制御してもよい。例えば特徴物質はヘモグロビン又はカロテン、ＩＣＧ等である。

また例えば、がんの疑いがある場合、照明光をＮＢＩ等の特殊光モードに切り替える。これにより、特殊光画像を得ることが可能になり、病変部の分類の確度が向上すると共に、ＮＢＩ画像等による機械学習の結果プログラムを用いることが可能となる。

照明光を調整前の照明光と調整後の照明光を交互に照明することも好適である。このとき、表示画像も調整後の画像に置きかえてもかまわないし、表示画像は調整前の画像のままとしてもよい。前者では注目部位の視認性を向上した画像を表示できる。後者では観察途中で画像が変化することが無いので見やすい。

図９は、第５実施形態における発光シーケンスの第１例である。Ｔ１からＴ２までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ〜ＬＤｅを発光させる。これにより白色光画像が得られ、この白色光画像が表示部３００に表示される。Ｔ２からＴ１’までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ、ＬＤｃを発光させる。例えばＬＤａの光量：ＬＤｃの光量は１：１である。これにより支援用画像が得られ、診断支援部１２１は、この支援用画像から診断支援情報を抽出し、その診断支援情報を照明光制御回路１５０へ出力する。このとき、癌の疑いがあることを示す診断支援情報が得られたとする。

Ｔ１’からＴ２’までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ〜ＬＤｅを発光させる。これにより白色光画像が得られ、この白色光画像が表示部３００に表示される。Ｔ２’からＴ１”までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ、ＬＤｃを発光させる。ＬＤａの光量：ＬＤｃの光量は１０：１〜２：１である。これにより支援用画像が得られ、診断支援部１２１は、この支援用画像から、注目部位に関する診断支援情報を再抽出する。

図１０は、第５実施形態における発光シーケンスの第２例である。Ｔ１からＴ２までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ〜ＬＤｅを発光させる。これにより白色光画像が得られ、この白色光画像が表示部３００に表示される。Ｔ２からＴ１’までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ、ＬＤｃを発光させる。これにより支援用画像が得られ、診断支援部１２１は、この支援用画像から診断支援情報を抽出し、その診断支援情報を照明光制御回路１５０へ出力する。このとき、注目部位が病変部であることを示す診断支援情報が得られたとする。また、その病変部を解析するために適切な光は、例えばオレンジ色光であるとする。

Ｔ１’からＴ２’までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ〜ＬＤｅを発光させる。これにより白色光画像が得られ、この白色光画像が表示部３００に表示される。Ｔ２’からＴ１”までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤｄを発光させる。これにより支援用画像が得られ、診断支援部１２１は、この支援用画像から、注目部位に関する診断支援情報を再抽出する。

以上の実施形態によれば、照明光制御回路１５０は、支援用照明光の光量及び波長、光量比のうち少なくとも１つを、診断支援情報に基づいて制御する。なお、光量を制御する例は第１実施形態に記載されている。照明光制御回路１５０は、光量及び波長、光量比のいずれか１つのみを制御してもよいし、光量及び波長、光量比のうちいずれか２つを制御してもよいし、光量及び波長、光量比の全部を制御してもよい。

本実施形態によれば、診断支援情報に基づいて照明光の光量及び波長、光量比のうち少なくとも１つがフィードバック制御されることで、診断支援情報を再抽出するために最適な照明光を得ることができる。

また本実施形態では、光源部１４０は、互いに色が異なる第１〜第ｍの光を照明光として射出する。ｍは２以上の整数である。照明光制御回路１５０は、光量を制御する場合、第１〜第ｍの光のうち支援用照明光である光の光量を、診断支援情報に基づいて制御する。照明光制御回路１５０は、波長を制御する場合、診断支援情報に基づいて、第１〜第ｍの光から１又は複数の光を支援用照明光として選択する。照明光制御回路１５０は、光量比を制御する場合、第１〜第ｍの光のうち支援用照明光である複数の光の間の光量比を、診断支援情報に基づいて制御する。

図１の構成例ではｍ＝５であり、第１〜第ｍの光は、光源ＬＤａ〜ＬＤｅが射出する５つの光である。例えば図４において、支援用照明光は、Ｔ２からＴ１’までの間に光源ＬＤａ、ＬＤｃが射出する光である。照明光制御回路１５０は、診断支援情報に基づいて、これらの光の光量を制御する。或いは図１０において、Ｔ２’からＴ１”までの間における支援用照明光は、光源ＬＤｄが射出する光である。照明光制御回路１５０は、診断支援情報に基づいて、この光を選択する。或いは、図９において、Ｔ２’からＴ１”までの間における支援用照明光は、光源ＬＤａ、ＬＤｃが射出する光である。照明光制御回路１５０は、診断支援情報に基づいて、これらの光の光量比を制御する。

本実施形態によれば、互いに色が異なる第１〜第ｍの光を照明光としたことで、各光を独立に制御することができる。各光を独立に制御することで、照明光の光量及び波長、光量比の少なくとも１つを制御することができる。

また本実施形態では、診断支援情報は、被写体に含まれる注目部位の種類情報を含む。照明光制御回路１５０は、その種類情報に基づいて、支援用照明光の波長又は光量又は光量比を制御する。注目部位の種類とは、例えば病変又は出血、炎症等である。或いは、注目部位が病変である場合には、注目部位の種類とは病変の種類であり、例えばポリープ又は癌などである。

上述したように、注目部位の種類と、その観察に適した照明光の波長又は光量比との関係が知られている。本実施形態によれば、注目部位の種類に応じて適切な照明光の波長又は光量比を選択できる。或いは、注目部位の種類に応じて適切な照明光の光量を選択できる。そして、その適切な照明光の波長又は光量又は光量比により撮影された画像に基づいて、注目部位に関する診断支援情報を再抽出できる。

７．診断支援部及び診断支援手法の詳細
以下、診断支援部１２１が行う処理について説明する。なお、以下では支援用画像がＶ画像及びＧ画像である場合を例に説明するが、支援用画像はこれに限定されない。

診断支援部１２１は、血管をコントラスト良く表示できるＶ画像及びＧ画像に基づいて、ＡＩ処理により診断支援情報を生成する。本実施形態では、ヘモグロビン、すなわち血管をコントラスト良く検出できる波長の画像を選定しているので、血管のパターン又は分布などに基づいて診断支援情報が生成される。例えば、注目部位として癌を想定できる。

ＡＩ処理には、Ｖ画像とＧ画像が個々の画像として入力される。即ち、診断支援部１２１は、Ｖ画像とＧ画像のそれぞれから注目部位を抽出し、注目部位が存在していた場合には、その注目部位についての診断支援情報を生成する。診断支援部１２１は、注目部位が抽出された場合、その位置及び輪郭などを図示しないメモリに記憶させる。診断支援部１２１は、Ｖ画像とＧ画像のそれぞれについて、この情報をメモリに記憶させる。診断支援部１２１は、抽出された注目部位が癌か否かを推定し、注目部位が癌である場合には、その癌の進行度又はステージレベルなどを推定する。診断支援部１２１は、これらの推定結果を診断支援情報として出力する。診断支援情報の生成手法としては、一般に利用されている、または利用可能なＡＩ技術を用いることができる。機械学習を用いる場合の教師データの準備や選定などについては、公知となっているさまざまな技術を利用することが可能である。なお、Ｖ画像とＧ画像の合成画像が、ＡＩ処理へ入力されてもよい。

診断支援情報としては、例えば以下の情報を想定できる。以下に説明する情報のうち１つの情報、又は複数の情報を組み合わせたものを、診断支援情報として採用できる。
（１）場所に関する情報：注目部位の位置、及び形状、輪郭。輪郭は、癌と正常細胞を分けるデマルケーションラインなどである。
（２）形態に関する情報：注目部位が凸型であるか、平坦であるか、凹型であるか。又は、注目部位が有茎型か否かなど。
（３）状態に関する情報：注目部位が分散しているか、一箇所であるか。注目部位が分散している場合には、注目部位の密集度又は、個々の注目部位が有するサイズなど
（４）その他の情報：出血の有無、又は治療の痕、手術の痕、ピロリ菌除去の有無など。

以上（１）〜（４）の情報そのものを診断支援情報としてもよいし、それらを総合的に評価して判断した情報を診断支援情報としてもよい。例えば（５）、（６）を診断支援情報としてもよい。
（５）医学的特徴に関する情報：注目部位が癌か否か。注目部位が癌である場合には、癌が良性であるか悪性であるか、又は癌がステージＩ〜ＩＶのいずれに属するか。
（６）処置に関する情報：注目部位に適した処置手法、又は注目部位に適した手術手法、注目部位に適した投薬に関する情報など。

例えば、上記（１）〜（６）の情報と画像情報とを対応付けたデータを教師データとして用いることで、ＡＩ処理のアウトプットとして上記（１）〜（６）の情報を得ることができる。

或いは、診断支援部１２１がＡＩ処理を第１処理として行い、その後段の第２処理を更に行ってもよい。この場合、ＡＩ処理には、上記（１）〜（４）の情報と画像情報とを対応付けたデータを教師データとして用いる。ＡＩ処理は、アウトプットとして上記（１）〜（４）の情報を出力する。第２処理は、ＡＩ処理が出力する上記（１）〜（４）の情報に基づいて、上記（５）、（６）の情報を生成する。第２処理は、例えば、（１）〜（４）の情報に基づいてドクターが実施する方法に倣って作成したプログラムにより実現される。

第１〜第５の実施形態において説明したように、診断支援部１２１は、調光等により再取得された画像に基づいて診断支援情報を再抽出する。例えば、診断支援部１２１は、第１段階の解析において、画像内に注目部位が存在するか否かを判断し、その注目部位の位置情報を診断支援情報として抽出する。診断支援部１２１は、その診断支援情報に基づいて再取得された画像に基づいて、第２段階の解析を行う。診断支援部１２１は、第２段階の解析において、上記（１）〜（６）の情報を抽出し、その診断支援情報を第１処理回路１１０へ出力する。

次に、診断支援情報を作業者へ提示する手法について説明する。

第１処理回路１１０は、診断支援情報に基づいて表示画像を画像処理することで、診断支援情報に対応する支援表示情報を表示させる。

例えば、第１処理回路１１０は、位置又は輪郭に関する診断支援情報に基づいて、その位置又は輪郭を示す支援表示情報を表示画像にスーパーインポーズする。例えば第１実施形態では、６枚の画像が略同時に取得されている。各画像は略同一の位置及びアングルの画像となっている。このため、ある画像から抽出した注目部位の位置及び輪郭の情報は、それ以外の画像においても略同一の位置及び輪郭を示す。従って、各画像の位置関係を計算し、注目部位の位置が同じになるように演算するなどの手法は省くことができる。もちろん、一般に知られている技術により画像間の位置情報を演算することで、位置及び輪郭が同一部位を示すように位置決めしてもよい。

位置及び輪郭以外の情報は、表示部３００の画面において、被写体画像が表示される領域の領域に表示されてもよい。或いは、その情報は被写体画像にスーパーインポーズされてもよい。その他、一般に知られているさまざまな表意方式を採用できる。

８．内視鏡システム
図１では、内視鏡装置１０が第２処理回路１２０を含むが、第２処理回路１２０は内視鏡装置１０の外部に設けられてもよい。以下、この場合におけるシステム構成例を説明する。

図１１は、内視鏡システムの構成例である。内視鏡システムは、内視鏡装置１０と処理装置４００とを含む。図１１では、内視鏡装置１０とは別に設けられた処理装置４００が第２処理回路１２０を含んでいる。処理装置４００は、例えばＰＣ又はサーバ等の情報処理装置である。また、処理装置４００は１つの情報処理装置に限定されず、例えばネットワークに接続されたクラウド処理システムであってもよい。

内視鏡装置１０の制御装置１００は、画像及び診断支援情報を通信するための図示しないインターフェースを有する。このインターフェースとしては種々の装置間インターフェースを採用できる。例えば、インターフェースは、ＵＳＢ又はＬＡＮ等の有線通信インターフェースであってもよいし、或いは無線ＬＡＮ等の無線通信インターフェースであってもよい。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０ 内視鏡装置、１００ 制御装置、１１０ 第１処理回路、１２０ 第２処理回路、１２１ 診断支援部、１４０ 光源部、１４１ 光合波光学系、１５０ 照明光制御回路、２００ スコープ部、２１０ 挿入部、２１１ 照明レンズ、２１２ 照明レンズ、２１３ 撮像ユニット、２１４ 導光路、２１５ 画像信号線、２２０ 操作部、２３０ 接続ケーブル、２４０ コネクタ、３００ 表示部、４００ 処理装置、６００ 入力部、ＤＲａ〜ＤＲｅ 駆動回路、ＬＤａ〜ＬＤｅ 光源、ＰＳ 第１期間、ＰＳ' 第２期間

Claims (12)

1. 被写体を撮像する撮像部と、
   前記被写体に対する照明光として表示用照明光及び支援用照明光を射出する光源部と、
   前記照明光を制御する照明光制御回路と、
   前記表示用照明光に基づいて得られる画像信号から表示画像を生成し、前記支援用照明光に基づいて得られる画像信号から支援用画像を生成する第１処理回路と、
   前記支援用画像に基づいて、診断支援情報を抽出する第２処理回路と、
   を含み、
   前記照明光制御回路は、第１期間において、第１支援用照明光を前記光源部から射出させ、
   前記第１処理回路は、前記第１支援用照明光により得られる画像信号に基づいて第１支援用画像を取得し、
   前記第２処理回路は、前記第１支援用画像に基づいて、調光制御に用いられる第１診断支援情報を抽出し、
   前記照明光制御回路は、第２期間において、前記第１診断支援情報に基づく前記調光制御がされた第２支援用照明光を前記光源部から射出させ、
   前記第１処理回路は、前記第２支援用照明光により得られる画像信号に基づいて第２支援用画像を取得し、
   前記第２処理回路は、前記第２支援用画像に基づいて支援表示情報としての第２診断支援情報を取得し、
   前記第１処理回路は、前記第２診断支援情報に基づく画像処理を前記表示画像に対して行い、画像処理後の前記表示画像を表示部へ出力することを特徴とする内視鏡装置。
2. 請求項１において、
   前記第２処理回路は、
   前記第１支援用画像に基づいて注目部位の情報を前記第１診断支援情報として抽出し、前記注目部位の情報及び前記第２支援用画像に基づいて、前記注目部位に関する前記第２診断支援情報を抽出することを特徴とする内視鏡装置。
3. 請求項１において、
   前記照明光制御回路は、
   前記第２支援用照明光の光量及び波長、光量比のうち少なくとも１つを、前記第１診断支援情報に基づいて制御することを特徴とする内視鏡装置。
4. 請求項３において、
   前記光源部は、
   前記照明光として、互いに色が異なる第１〜第ｍの光（ｍは２以上の整数）を射出し、
   前記照明光制御回路は、
   前記光量を制御する場合、前記第１〜第ｍの光のうち前記第２支援用照明光である光の光量を、前記第１診断支援情報に基づいて制御し、
   前記波長を制御する場合、前記第１診断支援情報に基づいて、前記第１〜第ｍの光から１又は複数の光を前記第２支援用照明光として選択し、
   前記光量比を制御する場合、前記第１〜第ｍの光のうち前記第２支援用照明光である複数の光の間の光量比を、前記第１診断支援情報に基づいて制御することを特徴とする内視鏡装置。
5. 請求項１において、
   前記第１診断支援情報は、前記被写体に含まれる注目部位の情報を含み、
   前記照明光制御回路は、
   前記第１支援用画像における前記注目部位の画像の明るさ情報に基づいて、前記第２支援用照明光の光量を制御することを特徴とする内視鏡装置。
6. 請求項５において、
   前記第１診断支援情報は、前記注目部位の位置情報、及び前記注目部位の画像の明るさ情報を、前記注目部位の情報として含み、
   前記照明光制御回路は、
   前記第１診断支援情報に基づいて、前記第２支援用照明光の光量を制御することを特徴とする内視鏡装置。
7. 請求項１において、
   前記第１診断支援情報は、前記被写体に含まれる注目部位の種類情報を含み、
   前記照明光制御回路は、
   前記種類情報に基づいて、前記第２支援用照明光の波長又は光量又は光量比を制御することを特徴とする内視鏡装置。
8. 請求項１において、
   前記照明光制御回路は、
   前記表示画像に基づいて、前記表示用照明光の光量を制御することを特徴とする内視鏡装置。
9. 被写体を撮像する撮像部と、
   前記被写体に対して、互いに光量が異なる第１〜第ｋの照明光（ｋは２以上の整数）を射出する光源部と、
   前記撮像部からの画像信号に基づいて、前記第１〜第ｋの照明光に対応する第１〜第ｋの候補画像を取得する第１処理回路と、
   第２処理回路と、
   を含み、
   前記第１処理回路は、
   前記第１〜第ｋの候補画像に基づいて表示画像を生成すると共に、前記第１〜第ｋの候補画像を前記第２処理回路へ出力し、
   前記第２処理回路は、
   前記第１〜第ｋの候補画像から選択した画像に基づいて診断支援情報を抽出し、前記診断支援情報に基づいて前記第１〜第ｋの候補画像から画像を再選択することを特徴とする内視鏡装置。
10. 請求項９において、
    前記第２処理回路は、
    前記再選択された画像に基づいて前記診断支援情報を再抽出し、
    前記第１処理回路は、
    前記第２処理回路により再抽出された前記診断支援情報に基づく画像処理を、前記表示画像に対して行うことを特徴とする内視鏡装置。
11. 被写体を撮像し、
    前記被写体に対する照明光として表示用照明光及び支援用照明光を射出し、
    前記照明光を制御し、
    前記表示用照明光に基づいて得られる画像信号から表示画像を生成し、前記支援用照明光に基づいて得られる画像信号から支援用画像を生成し、
    前記支援用画像に基づいて、診断支援情報を抽出し、
    第１期間において、第１支援用照明光を射出させ、
    前記第１支援用照明光により得られる画像信号に基づいて第１支援用画像を取得し、
    前記第１支援用画像に基づいて調光制御に用いられる第１診断支援情報を抽出し、
    第２期間において、前記第１診断支援情報に基づく調光制御がされた第２支援用照明光を射出させ、
    前記第２支援用照明光により得られる画像信号に基づいて第２支援用画像を取得し、
    前記第２支援用画像に基づいて支援表示情報としての第２診断支援情報を取得し、
    前記第２診断支援情報に基づく画像処理を前記表示画像に対して行い、画像処理後の前記表示画像を出力する、
    ことを特徴とする内視鏡装置の作動方法。
12. 被写体を撮像することと、
    前記被写体に対する照明光として表示用照明光及び支援用照明光を射出することと、
    前記照明光を制御することと、
    前記表示用照明光に基づいて得られる画像信号から表示画像を生成し、前記支援用照明光に基づいて得られる画像信号から支援用画像を生成することと、
    前記支援用画像に基づいて、診断支援情報を抽出することと、
    第１期間において、第１支援用照明光を射出させることと、
    前記第１支援用照明光により得られる画像信号に基づいて第１支援用画像を取得することと、
    前記第１支援用画像に基づいて調光制御に用いられる第１診断支援情報を抽出することと、
    第２期間において、前記第１診断支援情報に基づく調光制御がされた第２支援用照明光を射出させることと、
    前記第２支援用照明光により得られる画像信号に基づいて第２支援用画像を取得することと、
    前記第２支援用画像に基づいて支援表示情報としての第２診断支援情報を取得することと、
    前記第２診断支援情報に基づく画像処理を前記表示画像に対して行い、画像処理後の前記表示画像を出力することと、
    をコンピュータに実行させるプログラム。
    

Images