JP6967602B2 - 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム - Google Patents

Description

本発明は、検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラムに関する。

ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、病理標本を取り込むバーチャルスライドスキャナ、又は内視鏡装置等の医療機器の発達により、デジタル化された高精細の医用画像が大量に取得可能となっている。

近年では、医用画像を保存するＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ）の普及が進み、これらの画像が医師の診断所見とともに順次格納されている。このような、医用画像のデジタル化、症例の蓄積が進むにつれ、例えば特許文献１−３に記載されているように、コンピュータを用いて病変の検出又は識別を行うことが可能になってきている。

特許文献１には、医用画像上でユーザが関心領域を指定すると、その関心領域内の画像に対し詳細な解析が実行され、解析結果が表示されるシステムが記載されている。

特許文献２には、医用画像から病変候補領域を抽出し、抽出した病変候補領域に対し、機械学習によって生成された認識モデルによって病変の識別を行うシステムが記載されている。

特許文献３には、内視鏡によって撮像された撮像画像を解析して病変部位を検出し、検出した病変部位を撮像画像に重ねて表示するシステムが記載されている。このシステムでは、撮像画像上の観察者が注目している領域のみに限定して上記の解析を行うことが可能とされている。

特開２０１４−９４１５７号公報 特開２００５−３４２１１号公報 特開２００１−２５８８２０号公報

上述した医療機器のうち内視鏡装置を用いた検査においては、内視鏡の挿入部を被検者の体内に挿入した状態にて、表示装置に表示される撮像画像を確認しながら、病変部位の有無の判断と病変部位の切除等を行う必要がある。このため、内視鏡装置を用いた検査では、コンピュータを用いた病変の検出又は識別の処理を、検査中にリアルタイムに行う必要がある。

こういったリアルタイム処理は、コンピュータの処理負荷が大きい。特許文献１−２には、医用画像の特定の領域に限定して解析を実行する技術が記載されているが、検査等によって保存済みの画像データを検査後に解析することを想定しており、リアルタイムで病変を検出したり識別を行ったりする場合については想定していない。

特許文献３には、内視鏡を用いた検査時において、撮像画像上の注目されている領域に限定して解析を行うことが記載されている。しかし、この領域をどのようにして選択すべきか考慮されていない。

内視鏡は両手を利用して操作する必要があり、検査時において、操作者は両手が塞がった状態となる。このため、リアルタイムに表示される撮像画像において、コンピュータによる病変の検出又は識別の処理が必要とされている領域をどのように判断するかが、検査の精度と効率を確保する上で重要になる。

本発明は、上記事情に鑑みてなされたものであり、内視鏡を用いた検査の精度と効率を両立させることのできる検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラムを提供することを目的とする。

本発明の検査支援装置は、内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出部と、上記撮像画像データから病変部位を検出する検出処理、及び、上記検出処理で検出した上記病変部位の種類又は性質を見分ける識別処理を行う処理部と、上記処理部による上記検出処理及び識別処理の結果を上記表示装置に表示させる表示制御部と、を備え、上記処理部は、上記視線検出部によって検出された視線に基づいて、上記撮像画像データの注目領域と、上記注目領域を除く領域である非注目領域とを判定し、上記注目領域の上記撮像画像データ、及び、上記非注目領域の上記撮像画像データに対して上記検出処理を実行した後の上記識別処理を、上記注目領域の上記撮像画像データ、及び、上記非注目領域の上記撮像画像データの一方に対してのみ実行する、ものである。
また、本発明の検査支援装置は、内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出部と、上記撮像画像データから病変部位を検出する検出処理、及び、上記検出処理で検出した上記病変部位の種類又は性質を見分ける識別処理を行う処理部と、上記処理部による上記検出処理及び識別処理の結果を上記表示装置に表示させる表示制御部と、を備え、上記処理部は、上記視線検出部によって検出された視線に基づいて、上記撮像画像データの注目領域と、上記注目領域を除く領域である非注目領域とを判定し、上記注目領域に対する上記識別処理の性能を上記非注目領域に対する上記識別処理の性能よりも高くする、ものである。

本発明の内視鏡装置は、上記検査支援装置と、上記内視鏡と、を備えるものである。

本発明の内視鏡装置の作動方法は、撮像画像データ取得部と、視線検出部と、処理部と、表示制御部と、を備える内視鏡装置の作動方法であって、前記撮像画像データ取得部が、内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、前記視線検出部が、前記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出ステップと、前記処理部が、前記視線検出ステップによって検出された視線に基づいて、前記撮像画像データの注目領域と、前記注目領域を除く領域である非注目領域とを判定する領域判定ステップと、前記処理部が、前記注目領域及び非注目領域の前記撮像画像データから病変部位を検出する検出処理ステップと、前記処理部が、前記検出処理ステップで検出された前記病変部位の種類又は性質を見分ける識別処理ステップと、前記表示制御部が、前記検出処理ステップ及び識別処理ステップの処理の結果を前記表示装置に表示する表示制御ステップと、を備え、前記処理部が、前記識別処理ステップの処理を、前記注目領域の前記撮像画像データ、及び、前記非注目領域の前記撮像画像データの一方に対してのみ実行するものである。

本発明の検査支援プログラムは、内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出ステップと、上記視線検出ステップによって検出された視線に基づいて、上記撮像画像データの注目領域と、上記注目領域を除く領域である非注目領域とを判定する領域判定ステップと、上記注目領域及び非注目領域の上記撮像画像データから病変部位を検出する検出処理ステップと、上記検出処理ステップで検出された上記病変部位の種類又は性質を見分ける識別処理ステップと、上記検出処理ステップ及び識別処理ステップの処理の結果を上記表示装置に表示する表示制御ステップと、をコンピュータに実行させるためのプログラムであり、上記識別処理ステップの処理を、上記注目領域の上記撮像画像データ、及び、上記非注目領域の上記撮像画像データの一方に対してのみ実行するものである。

本発明によれば、内視鏡を用いた検査の精度と効率を両立させることのできる検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラムを提供することができる。

本発明の一実施形態である内視鏡装置１００の概略構成を示す図である。 図１に示す内視鏡装置１００の内部構成を示す模式図である。 図２に示す制御装置４のシステム制御部４４の機能ブロックを示す図である。 図３に示すシステム制御部４４における処理部４４Ｃの動作を説明するための図である。 図３に示すシステム制御部４４における表示制御部４４Ｄの制御によって表示装置７に表示される画像の一例を示す図である。 図４に示すシステム制御部４４の動作を説明するためのフローチャートである。 図４に示すシステム制御部４４の動作の第一の変形例を説明するためのフローチャートである。 図７に示すステップＳ４ａにて表示装置７に表示される画像の一例を示す図である。 図４に示すシステム制御部４４の動作の第二の変形例を説明するためのフローチャートである。 図９に示すステップＳ４ｂにて表示装置７に表示される画像の一例を示す図である。 図４に示すシステム制御部４４の動作の第三の変形例を説明するためのフローチャートである。 図４に示すシステム制御部４４の動作の第四の変形例を説明するためのフローチャートである。 図４に示すシステム制御部４４の動作の第五の変形例を説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態である内視鏡装置１００の概略構成を示す図である。

図１に示すように、内視鏡装置１００は、内視鏡１と、この内視鏡１が接続される制御装置４及び光源装置５からなる本体部２と、を備える。

制御装置４には、内視鏡１によって被検体内を撮像して得られる撮像画像等を表示する表示装置７と、表示装置７の近傍に設置された撮像装置８と、制御装置４に対して各種情報を入力するためのインタフェースである入力部６と、が接続されている。制御装置４は、内視鏡１、光源装置５、表示装置７、及び撮像装置８を制御する。

表示装置７は、表示画素が二次元状に配列された表示面を有し、この表示面の各表示画素に、画像データを構成する画素データが描画されることで、この画像データに基づく画像の表示が行われる。

撮像装置８は、表示装置７の表示面に表示された画像を観察する観察者の視線を検出するために設けられており、この表示面の前方を撮像可能に配置されている。撮像装置８によって被写体を撮像して得られる視線検出用画像データは、制御装置４に伝送される。

内視鏡１は、一方向に延びる管状部材であって被検体内に挿入される挿入部１０と、挿入部１０の基端部に設けられ、観察モード切替操作、撮影記録操作、鉗子操作、送気送水操作、及び吸引操作等を行うための操作部材が設けられた操作部１１と、操作部１１に隣接して設けられたアングルノブ１２と、内視鏡１を光源装置５と制御装置４にそれぞれ着脱自在に接続するコネクタ部１３Ａ，１３Ｂを含むユニバーサルコード１３と、を備える。

なお、図１では省略されているが、操作部１１及び挿入部１０の内部には、細胞又はポリープ等の生体組織を採取するための鉗子を挿入する鉗子孔、送気及び送水用のチャンネル、吸引用のチャンネル等の各種のチャンネルが設けられる。

挿入部１０は、可撓性を有する軟性部１０Ａと、軟性部１０Ａの先端に設けられた湾曲部１０Ｂと、湾曲部１０Ｂの先端に設けられた硬質の先端部１０Ｃとから構成される。

湾曲部１０Ｂは、アングルノブ１２の回動操作により湾曲自在に構成されている。この湾曲部１０Ｂは、内視鏡１が使用される被検体の部位等に応じて、任意の方向及び任意の角度に湾曲でき、先端部１０Ｃを所望の方向に向けることができる。

図２は、図１に示す内視鏡装置１００の内部構成を示す模式図である。

光源装置５は、光源制御部５１と、光源部５２と、を備える。

光源部５２は、被写体に照射するための照明光を発生させるものである。光源部５２から出射された照明光は、ユニバーサルコード１３に内蔵されたライトガイド５３に入射し、挿入部１０の先端部１０Ｃに設けられた照明用レンズ５０を通って被写体に照射される。

光源部５２としては、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源（例えば青色光を出射する青色光源）を含む複数の光源等が用いられる。先端部１０Ｃの先端面には、光源部５２から出射させる光の種類に合わせて照明用レンズ５０が複数設けられていてもよい。

光源制御部５１は、制御装置４のシステム制御部４４と接続されている。光源制御部５１は、システム制御部４４からの指令に基づいて光源部５２を制御する。

内視鏡１の先端部１０Ｃには、対物レンズ２１及びレンズ群２２を含む撮像光学系と、この撮像光学系を通して被写体を撮像する撮像素子２３と、アナログデジタル変換回路（ＡＤＣ）２４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）等のメモリ２５と、通信インタフェース（Ｉ／Ｆ）２６と、撮像制御部２７と、光源部５２から出射された照明光を照明用レンズ５０に導くためのライトガイド５３と、が設けられている。

ライトガイド５３は、先端部１０Ｃからユニバーサルコード１３のコネクタ部１３Ａまで延びている。ユニバーサルコード１３のコネクタ部１３Ａが光源装置５に接続された状態で、光源装置５の光源部５２から出射される照明光がライトガイド５３に入射可能な状態となる。

撮像素子２３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等が用いられる。

撮像素子２３は、複数の画素が二次元状に配置された受光面を有し、上記の撮像光学系によってこの受光面に結像された光学像を各画素において電気信号（撮像信号）に変換し、ＡＤＣ２４に出力する。撮像素子２３は、例えば原色又は補色等のカラーフィルタを搭載するものが用いられる。撮像素子２３の受光面の各画素から出力される撮像信号の集合を撮像画像信号という。

なお、光源部５２として、白色光源から出射される白色光を複数色のカラーフィルタによって時分割で分光して照明光を生成するものを用いる場合には、撮像素子２３はカラーフィルタを搭載していないものを用いてもよい。

撮像素子２３は、対物レンズ２１の光軸Ａｘに対して受光面が垂直となる状態で先端部１０Ｃに配置されていてもよいし、対物レンズ２１の光軸Ａｘに対して受光面が平行となる状態で先端部１０Ｃに配置されていてもよい。

内視鏡１に設けられる撮像光学系は、撮像素子２３と対物レンズ２１との間における被写体からの光の光路上にあるレンズ、プリズム等の光学部材（上記のレンズ群２２を含む）と、対物レンズ２１と、によって構成される。撮像光学系は、対物レンズ２１のみで構成される場合もある。

ＡＤＣ２４は、撮像素子２３から出力された撮像信号を所定のビット数のデジタル信号に変換する。

メモリ２５は、ＡＤＣ２４でデジタル変換された撮像信号を一時的に記録する。

通信Ｉ／Ｆ２６は、制御装置４の通信インタフェース（Ｉ／Ｆ）４１と接続される。通信Ｉ／Ｆ２６は、メモリ２５に記録された撮像信号を、ユニバーサルコード１３内の信号線を通して制御装置４に伝送する。

撮像制御部２７は、通信Ｉ／Ｆ２６を介して制御装置４のシステム制御部４４と接続されている。撮像制御部２７は、通信Ｉ／Ｆ２６で受信されるシステム制御部４４からの指令に基づいて、撮像素子２３、ＡＤＣ２４、及びメモリ２５を制御する。

制御装置４は、ユニバーサルコード１３によって内視鏡１の通信Ｉ／Ｆ２６と接続される通信Ｉ／Ｆ４１と、信号処理部４２と、表示コントローラ４３と、システム制御部４４と、記録媒体４５と、を備える。

通信Ｉ／Ｆ４１は、内視鏡１の通信Ｉ／Ｆ２６から伝送されてきた撮像信号を受信して信号処理部４２に伝達する。

信号処理部４２は、通信Ｉ／Ｆ４１から受けた撮像信号を一時記録するメモリを内蔵しており、メモリに記録された撮像信号の集合である撮像画像信号を処理（デモザイク処理又はガンマ補正処理等の画像処理）して、後述する認識処理が可能な形式の撮像画像データを生成する。信号処理部４２によって生成された撮像画像データは、ハードディスク又はフラッシュメモリ等の記録媒体４５に記録される。

表示コントローラ４３は、信号処理部４２によって生成された撮像画像データに基づく撮像画像を表示装置７に表示させる。信号処理部４２によって生成された撮像画像データを構成する各画素データの座標は、表示装置７の表示面を構成するいずれかの表示画素の座標と対応付けて管理されている。

システム制御部４４は、制御装置４の各部を制御すると共に、内視鏡１の撮像制御部２７と光源装置５の光源制御部５１とに指令を送り、内視鏡装置１００の全体を統括制御する。

システム制御部４４は、撮像制御部２７を介して撮像素子２３の制御を行う。また、システム制御部４４は、光源制御部５１を介して光源部５２の制御を行う。

システム制御部４４は、プログラムを実行して処理を行う各種のプロセッサと、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含む。

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

システム制御部４４は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

図３は、図２に示す制御装置４のシステム制御部４４の機能ブロックを示す図である。

システム制御部４４のプロセッサは、システム制御部４４に内蔵されるＲＯＭに格納された検査支援プログラムを実行することにより、撮像画像データ取得部４４Ａ、視線検出部４４Ｂ、処理部４４Ｃ、及び表示制御部４４Ｄを備える検査支援装置として機能する。

撮像画像データ取得部４４Ａは、撮像素子２３によって被検体内を撮像して得られた撮像信号を信号処理部４２によって処理して得られた撮像画像データを順次取得する。

視線検出部４４Ｂは、撮像装置８から伝送されてくる視線検出用画像データを取得し、この視線検出用画像データに含まれる人の両眼の画像に基づいて、表示装置７に向けられている観察者（内視鏡１の操作者）の視線を検出する。視線検出部４４Ｂは、表示装置７の表示面において視線が交わる座標の情報を、視線検出結果として出力する。

処理部４４Ｃは、撮像画像データ取得部４４Ａによって取得された撮像画像データに対し、この撮像画像データからの病変部位の検出とその検出された病変部位の識別とを行うための処理である認識処理を行う。この認識処理のうち、病変部位の検出のための処理を検出処理と言い、病変部位の識別のための処理を識別処理という。

病変部位の検出とは、悪性腫瘍又は良性腫瘍等の病変と疑われる部位（病変候補領域）を撮像画像データの中から見つけ出すことをいう。

病変部位の識別とは、検出処理によって検出された病変部位が悪性であるのか、良性であるのか、悪性であればどのような病気であるのか、その病気の進行度合いはどれくらいか、といったように、検出された病変部位の種類又は性質等を見分けることをいう。

上記の検出処理と識別処理は、それぞれ、機械学習又は深層学習等によって決められた特徴量抽出のためのパラメータ及び階層構造を持つ画像認識モデル（例えば、ニューラルネットワーク又はサポートベクターマシン等）によって行われる。

処理部４４Ｃは、視線検出部４４Ｂによって検出された視線に基づいて、撮像画像データに対して行う上記の認識処理の内容を制御する。

表示制御部４４Ｄは、表示コントローラ４３に指令を出して、記録媒体４５に記録された撮像画像データに基づく撮像画像をライブビュー画像として表示装置７に表示させる制御と、処理部４４Ｃによる上記の認識処理の結果を表示装置７に表示させる制御と、を行う。

図４は、図３に示すシステム制御部４４における処理部４４Ｃの動作を説明するための図である。図４には、撮像画像データ取得部４４Ａにより取得された撮像画像データＩＭが示されている。図４に示す撮像画像データＩＭには、病変部位Ｐ１〜Ｐ３が含まれている。

処理部４４Ｃは、視線検出部４４Ｂから出力された表示装置７の表示面における操作者の視線と交わる表示画素の座標の情報から、撮像画像データ取得部４４Ａにより取得された撮像画像データＩＭにおいて注目されている領域（以下、注目領域）を判定する。

例えば、処理部４４Ｃは、図４に示すように、撮像画像データＩＭを、分割領域ＡＲ１、分割領域ＡＲ２、分割領域ＡＲ３、及び分割領域ＡＲ４の計４つの領域に分割する。

処理部４４Ｃは、視線検出部４４Ｂから出力された表示画素の座標から、この座標に対応する撮像画像データＩＭの画素データを特定する処理を一定期間繰り返し行う。そして、処理部４４Ｃは、分割領域ＡＲ１〜ＡＲ４のうち、この一定期間において特定された画素データを最も多く含む分割領域を注目領域として判定する。

処理部４４Ｃは、このようにして判定した撮像画像データＩＭの注目領域に対してのみ上記の画像認識モデルを用いた認識処理を実行し、撮像画像データＩＭにおけるこの注目領域を除く領域（以下、非注目領域という）に対しては、上記の認識処理を非実行とする。

図４において、分割領域ＡＲ４が注目領域として判定された場合を例にする。この場合には、分割領域ＡＲ４内の画素データが画像認識モデルに入力されて認識処理が実行され、分割領域ＡＲ１〜ＡＲ３内の画素データについては認識処理が行われない。

分割領域ＡＲ４内の画素データが画像認識モデルに入力されて認識処理が行われると、この認識処理によって、分割領域ＡＲ４に含まれる病変部位Ｐ１が検出され、更に、その病変部位Ｐ１の識別が行われる。

表示制御部４４Ｄは、処理部４４Ｃによって病変部位Ｐ１が検出され、且つ病変部位Ｐ１の識別結果が得られると、図５に示すように、撮像画像データＩＭに基づく撮像画像ｉｍにおいて、病変部位Ｐ１の部分を強調表示させる（図５の例では太枠で囲んで強調）と共に、撮像画像ｉｍと共に識別結果（図５の例では、“癌、ｓｔａｇｅ ２”の文字）を表示させる。

一方、分割領域ＡＲ１〜ＡＲ３については認識処理が行われない。そのため、図５に示すように、病変部位Ｐ２，Ｐ３については強調表示されたり、識別結果が表示されたりすることはない。

このように、処理部４４Ｃは、視線検出部４４Ｂによって検出された視線に基づいて、撮像画像データのどの領域に対して認識処理を行うべきかを決定する。

以上のように構成された内視鏡装置１００の動作についてフローチャートを参照して説明する。

図６は、図４に示すシステム制御部４４の動作を説明するためのフローチャートである。

操作部１１の操作によって撮像素子２３による動画の撮像が開始されると、撮像素子２３から撮像画像信号が出力され、この撮像画像信号が処理されて、動画の１フレーム分の撮像画像データが順次生成され、記録媒体４５に記録される。また、この生成された撮像画像データに基づく撮像画像がライブビュー画像として表示装置７に順次表示される。更に、視線検出部４４Ｂによって操作者の視線の検出処理が開始される。

この動画の撮像が開始されると、撮像画像データ取得部４４Ａは、信号処理部４２によって生成された撮像画像データを取得する（ステップＳ１）。

次に、処理部４４Ｃは、視線検出部４４Ｂによって検出された操作者の視線に基づいて、ステップＳ１で取得された撮像画像データにおける注目領域を判定する（ステップＳ２）。

次に、処理部４４Ｃは、判定した注目領域のみに対して上記の認識処理（検出処理と識別処理）を実行する（ステップＳ３）。

ステップＳ３の認識処理が終わると、表示制御部４４Ｄの制御により、検出処理の結果である検出結果と、識別処理の結果である識別結果とが、図５に例示したように、撮像画像と共に、表示装置７に表示される（ステップＳ４）。

ステップＳ４の後、撮像素子２３による撮像の終了指示が行われて検査が終了されると（ステップＳ５：ＹＥＳ）、システム制御部４４は処理を終了する。一方、検査が継続されていれば（ステップＳ５：ＮＯ）、ステップＳ１に処理が戻り、以降の処理が繰り返される。

以上のように、内視鏡装置１００によれば、内視鏡１を操作する操作者の視線が集まっている注目領域に限定して認識処理が行われる。操作者は、両手が塞がっている状況であっても、撮像画像に対して視線を向ける位置を変えるだけで、注目している部位における検出結果と識別結果を得ることができ、検査を効率的かつ精度よく行うことができる。

また、内視鏡装置１００によれば、認識処理を行う範囲を狭くすることができる。このため、病変部位の検出と病変部位の識別を、内視鏡検査時にリアルタイムに行う場合に、システム制御部４４の処理負荷を軽減することができる。このように、処理負荷の軽減が可能になるため、認識処理に用いる画像認識モデルとして、病変部位の検出精度又は識別精度がより高いものを用いることもでき、内視鏡検査の精度向上を図ることができる。

図７は、図４に示すシステム制御部４４の動作の第一の変形例を説明するためのフローチャートである。

図７に示すフローチャートは、ステップＳ３がステップＳ３ａ及びステップＳ３ｂに変更され、ステップＳ４がステップＳ４ａに変更された点を除いては、図６と同じである。図７において、図６と同じ処理には同一符号を付して説明を省略する。

処理部４４Ｃは、ステップＳ２において注目領域を判定すると、撮像画像データにおけるその注目領域と、その注目領域を除く領域である非注目領域とのそれぞれに対し、同一の画像認識モデルによる検出処理を行って、病変部位の検出を行う。つまり、ステップＳ３ａにおいては、撮像画像データの全体に対して病変部位の検出処理が行われる（ステップＳ３ａ）。

ステップＳ３ａの処理によって病変部位が検出された後、処理部４４Ｃは、ステップＳ２にて判定した注目領域のみに対して識別処理を行う（ステップＳ３ｂ）。

ステップＳ３ｂの後、表示制御部４４Ｄは、ステップＳ３ａの検出処理の結果と、ステップＳ３ｂの識別処理の結果を、撮像画像と併せて、表示装置７に表示させる（ステップＳ４ａ）。ステップＳ４ａの後はステップＳ５に移行する。

図８は、図７に示すステップＳ４ａにて表示装置７に表示される画像の一例を示す図である。図８に示すように、撮像画像ｉｍ上の病変部位Ｐ１〜Ｐ３については、病変部位の検出結果として強調表示がなされている。そして、操作者の視線が向けられている病変部位Ｐ１についてのみ、識別結果が表示されている。

このように、図７に示す第一の変形例においては、システム制御部４４の処理部４４Ｃが、検出処理については撮像画像データの全体に対して行い、識別処理については注目領域のみに対して行う。

このように、操作者が注目している領域においては、病変部位がどこにあるのかと、その病変部位の識別結果とが表示されるため、その後の処置の判断に役立てることができる。

また、操作者が注目していない領域においても、病変部位が存在する場合にはそれが明示される。このため、病変部位が見逃されてしまう可能性を減らすことができ、検査の精度を向上させることができる。

また、識別処理については、注目領域に対してのみ行われることで、システム制御部４４の処理負荷を軽減したり、精度の高い識別処理を採用することによって検査精度を向上させたりすることができる。

この第一の変形例では、図８に示す状態において、例えば操作者が病変部位Ｐ２の識別結果を知りたい場合には、視線を病変部位Ｐ１から病変部位Ｐ２に向けることで、その識別結果を表示させることができる。このように、必要なときにのみ識別結果が表示されることで、検査を効率的に行うことが可能になる。

図９は、図４に示すシステム制御部４４の動作の第二の変形例を説明するためのフローチャートである。

図９に示すフローチャートは、ステップＳ３がステップＳ３ｃに変更され、ステップＳ４がステップＳ４ｂに変更された点を除いては、図６と同じである。図９において、図６と同じ処理には同一符号を付して説明を省略する。

処理部４４Ｃは、ステップＳ２において注目領域を判定すると、撮像画像データにおけるその注目領域と、その注目領域を除く領域である非注目領域とのそれぞれに対し、異なる性能によって認識処理を行う（ステップＳ３ｃ）。

つまり、ステップＳ３ｃにおいては、処理部４４Ｃが、撮像画像データの注目領域と非注目領域とで認識処理の内容（画像認識モデルの構成又はパラメータの少なくとも一方）を異ならせている。

具体的には、処理部４４Ｃは、注目領域に対する認識処理の内容を、その認識処理の性能が、非注目領域に対する認識処理の性能よりも高くなるものに制御する。

例えば検出処理であれば、画像認識モデルが解析することのできる画像データの解像度が高いほど、検出処理の性能は高い。または、画像認識モデルの階層数が多いほど、検出処理の性能は高い。

また、識別処理であれば、画像認識モデルが結果として出力することのできる情報の種類が多いほど、識別処理の性能は高い。または、画像認識モデルの階層数が多いほど、識別処理の性能は高い。或いは、画像認識モデルが解析することのできる画像データの解像度が高いほど、識別処理の性能は高い。

ステップＳ３ｃの後、表示制御部４４Ｄは、ステップＳ３ｃの認識処理の結果を撮像画像と併せて表示装置７に表示させる（ステップＳ４ｂ）。ステップＳ４ｂの後はステップＳ５に移行する。

図１０は、図９に示すステップＳ４ｂにて表示装置７に表示される画像の一例を示す図である。

図１０に示すように、撮像画像ｉｍ上の病変部位Ｐ１〜Ｐ３については、これらの検出結果として強調表示がなされている。そして、操作者の視線が向けられている病変部位Ｐ１については、識別結果として腫瘍の種類（癌）の他に、癌のステージの情報が表示されている。一方、操作者の視線が向けられていない病変部位Ｐ２、Ｐ３については、腫瘍の種類のみが表示されている。

このように、操作者の視線が向けられている撮像画像の領域に対しては相対的に高い性能の認識処理が行われることで、検査を効率よく進めることができる。また、操作者の視線が向けられていない撮像画像の領域に対しても、相対的に低い性能の認識処理が行われることで、病変部位の見逃しを防いだり、検査効率を向上させたりすることができる。

図１１は、図４に示すシステム制御部４４の動作の第三の変形例を説明するためのフローチャートである。

図１１に示すフローチャートは、ステップＳ３がステップＳ３１に変更され、ステップＳ４がステップＳ４１に変更された点を除いては、図６と同じである。図１１において、図６と同じ処理には同一符号を付して説明を省略する。

処理部４４Ｃは、ステップＳ２において注目領域を判定すると、撮像画像データにおけるその注目領域を除く領域である非注目領域のみに対して識別処理を行う（ステップＳ３１）。

ステップＳ３１の後、表示制御部４４Ｄは、ステップＳ３１の認識処理の結果を、撮像画像と併せて、表示装置７に表示させる（ステップＳ４１）。ステップＳ４１の後はステップＳ５に移行する。

この第三の変形例では、操作者が注目していない撮像画像の領域に対してのみ認識処理が行われてその結果が表示される。操作者は熟練した医師であることが多い。このため、操作者によって目視されている撮像画像の領域については、操作者の経験によって、病変の検出と病変の識別が高い精度にて行われていると考えることができる。

そこで、第三の変形例のように、視線が向けられていない領域についてのみ識別処理を行うことで、操作者の経験では検出できないような病変部位の見逃しを防ぐことができ、検査の精度を高めることができる。また、第三の変形例によれば、識別処理が行われる範囲が狭くなるため、識別処理の精度を高めたり、システム制御部４４の処理負荷を軽減したりすることが可能となる。

図１２は、図４に示すシステム制御部４４の動作の第四の変形例を説明するためのフローチャートである。

図１２に示すフローチャートは、ステップＳ３ｂがステップＳ３２に変更され、ステップＳ４ａがステップＳ４２に変更された点を除いては、図７と同じである。図１２において、図７と同じ処理には同一符号を付して説明を省略する。

ステップＳ３ａの処理によって病変部位が検出された後、処理部４４Ｃは、ステップＳ２にて判定した注目領域を除く領域である非注目領域のみに対して識別処理を行う（ステップＳ３２）。

ステップＳ３２の後、表示制御部４４Ｄは、ステップＳ３ａの検出処理の結果と、ステップＳ３２の識別処理の結果とを撮像画像と併せて表示装置７に表示させる（ステップＳ４２）。

第四の変形例によれば、操作者が注目していない領域においては、病変部位がどこにあるのかと、その病変部位の識別結果とが表示される。このため、その後の処置の判断に役立てることができる。

また、操作者が注目している領域においても、病変部位が存在する場合にはそれが明示される。このため、病変部位が見逃されてしまう可能性を減らすことができ、検査の精度を向上させることができる。

また、識別処理については、非注目領域に対してのみ行われることで、システム制御部４４の処理負荷を軽減したり、精度の高い識別処理を採用することによって検査精度を向上させたりすることができる。

図１３は、図４に示すシステム制御部４４の動作の第五の変形例を説明するためのフローチャートである。

図１３に示すフローチャートは、ステップＳ３ｃがステップＳ３３に変更された点と、ステップＳ４ｂがステップＳ４３に変更された点を除いては、図９と同じである。図１３において、図９と同じ処理には同一符号を付して説明を省略する。

処理部４４Ｃは、ステップＳ２において注目領域を判定すると、撮像画像データにおけるその注目領域と、その注目領域を除く領域である非注目領域とのそれぞれに対し、異なる性能によって認識処理を行う（ステップＳ３３）。

つまり、ステップＳ３３においては、処理部４４Ｃが、撮像画像データの注目領域と非注目領域とで認識処理の内容（画像認識モデルの構成又はパラメータの少なくとも一方）を異ならせている。

具体的には、処理部４４Ｃは、非注目領域に対する認識処理の内容を、その認識処理の性能が、注目領域に対する認識処理の性能よりも高くなるものに制御する。

ステップＳ３３の後、表示制御部４４Ｄは、ステップＳ３３の認識処理の結果を、撮像画像と併せて、表示装置７に表示させる（ステップＳ４３）。ステップＳ４３の後はステップＳ５に移行する。

第五の変形例によれば、操作者の視線が向けられていない撮像画像の領域に対しては相対的に高い性能の認識処理が行われるため、病変部位の見逃しを効率的に防ぐことができ、検査を効率よく進めることができる。また、操作者の視線が向けられている撮像画像の領域に対しても、相対的に低い性能の認識処理が行われることで、病変部位の見逃しを防いだり、検査効率を向上させたりすることができる。

図７と図１２にて説明した変形例以外の構成においては、処理部４４Ｃが行う認識処理として、識別処理は必須ではない。処理部４４Ｃが検出処理のみを行う場合であっても、システム制御部４４の処理負荷を軽減したり、検出処理の精度を向上させたり、検査効率を向上させたり、等といった効果を得ることができる。

以上の説明では、撮像装置８によって被写体を撮像することで得られる画像データに基づいて操作者の視線を検出するものとしているが、視線を検出する方法はこれに限らず、周知の様々な方法を採用することができる。例えば、操作者が装着するメガネ型のウエアラブル端末に搭載された加速度センサの検出情報に基づいて視線を検出することもできる。

以上説明してきたように、本明細書には以下の事項が開示されている。

（１） 内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出部と、上記撮像画像データからの病変部位の検出と上記検出された上記病変部位の識別とのうちの少なくとも上記検出を行うための処理を上記撮像画像データに行う処理部と、上記処理部による上記処理の結果を上記表示装置に表示させる表示制御部と、を備え、上記処理部は、上記視線検出部によって検出された視線に基づいて、上記撮像画像データに対する上記処理の内容を制御する検査支援装置。

（２） （１）記載の検査支援装置であって、上記処理部は、上記視線検出部によって検出された視線に基づいて、上記撮像画像データにおいて注目されている注目領域を判定し、上記撮像画像データにおける上記注目領域を除く領域である非注目領域に対しては上記処理を非実行とし、上記注目領域に対してのみ上記処理を実行する検査支援装置。

（３） （１）記載の検査支援装置であって、上記処理部は、上記撮像画像データの全体に対して上記病変部位の検出を行うための上記処理を行い、上記視線検出部によって検出された視線に基づいて、上記撮像画像データにおいて注目されている注目領域を判定し、上記病変部位の識別を行うための上記処理を上記注目領域に対してのみ行う検査支援装置。

（４） （１）記載の検査支援装置であって、上記処理部は、上記視線検出部によって検出された視線に基づいて、上記撮像画像データにおいて注目されている注目領域を判定し、上記撮像画像データの全体に対して上記処理を実行し、上記撮像画像データにおける上記注目領域に対する上記処理の内容と、上記撮像画像データにおける上記注目領域を除く領域である非注目領域に対する上記処理の内容と、を異ならせる検査支援装置。

（５） （４）記載の検査支援装置であって、上記処理部は、上記注目領域に対する上記処理の内容を、その処理の性能が上記非注目領域に対する上記処理の性能よりも高くなるものに制御する検査支援装置。

（６） （１）記載の検査支援装置であって、上記処理部は、上記視線検出部によって検出された視線に基づいて、上記撮像画像データにおいて注目されている注目領域を判定し、上記注目領域に対しては上記処理を非実行とし、上記撮像画像データにおける上記注目領域を除く領域である非注目領域に対してのみ上記処理を実行する検査支援装置。

（７） （１）記載の検査支援装置であって、上記処理部は、上記視線検出部によって検出された視線に基づいて、上記撮像画像データにおいて注目されている注目領域を判定し、上記撮像画像データの全体に対して上記病変部位の検出を行うための上記処理を行い、上記病変部位の識別を行うための上記処理を、上記撮像画像データにおける上記注目領域を除く領域である非注目領域に対してのみ行う検査支援装置。

（８） （４）記載の検査支援装置であって、上記処理部は、上記非注目領域に対する上記処理の内容を、その処理の性能が、上記注目領域に対する上記処理の性能よりも高くなるものに制御する検査支援装置。

（９） （１）〜（８）のいずれか１つに記載の検査支援装置と、上記内視鏡と、を備える内視鏡装置。

（１０） 内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出ステップと、上記撮像画像データからの病変部位の検出と上記検出された上記病変部位の識別とのうちの少なくとも上記検出を行うための処理を上記撮像画像データに行う処理ステップと、上記処理ステップによる上記処理の結果を上記表示装置に表示させる表示制御ステップと、を備え、上記処理ステップでは、上記視線検出ステップによって検出された視線に基づいて、上記撮像画像データに対する上記処理の内容を制御する検査支援方法。

（１１） 内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出ステップと、上記撮像画像データからの病変部位の検出と上記検出された上記病変部位の識別とのうちの少なくとも上記検出を行うための処理を上記撮像画像データに行う処理ステップと、上記処理ステップによる上記処理の結果を上記表示装置に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムであり、上記処理ステップでは、上記視線検出ステップによって検出された視線に基づいて、上記撮像画像データに対する上記処理の内容を制御する検査支援プログラム。

本発明によれば、内視鏡を用いた検査の精度と効率を両立させることのできる検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラムを提供することができる。

１００ 内視鏡装置
１ 内視鏡
２ 本体部
１０ 挿入部
１０Ａ 軟性部
１０Ｂ 湾曲部
１０Ｃ 先端部
１１ 操作部
１２ アングルノブ
１３ ユニバーサルコード
１３Ａ、１３Ｂ コネクタ部
６ 入力部
７ 表示装置
８ 撮像装置
２１ 対物レンズ
Ａｘ 光軸
２２ レンズ群
２３ 撮像素子
２４ ＡＤＣ
２５ メモリ
２６ 通信インタフェース
２７ 撮像制御部
４ 制御装置
４１ 通信インタフェース
４２ 信号処理部
４３ 表示コントローラ
４４ システム制御部
４４Ａ 撮像画像データ取得部
４４Ｂ 視線検出部
４４Ｃ 処理部
４４Ｄ 表示制御部
４５ 記録媒体
５ 光源装置
５０ 照明用レンズ
５１ 光源制御部
５２ 光源部
５３ ライトガイド
ＩＭ 撮像画像データ
ｉｍ 撮像画像
ＡＲ１、ＡＲ２、ＡＲ３、ＡＲ４ 分割領域
Ｐ１，Ｐ２，Ｐ３ 病変部位

Claims (8)

1. 内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得部と、
   前記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出部と、
   前記撮像画像データから病変部位を検出する検出処理、及び、前記検出処理で検出した前記病変部位の種類又は性質を見分ける識別処理を行う処理部と、
   前記処理部による前記検出処理及び識別処理の結果を前記表示装置に表示させる表示制御部と、を備え、
   前記処理部は、
   前記視線検出部によって検出された視線に基づいて、前記撮像画像データの注目領域と、前記注目領域を除く領域である非注目領域とを判定し、
   前記注目領域の前記撮像画像データ、及び、前記非注目領域の前記撮像画像データに対して前記検出処理を実行した後の前記識別処理を、前記注目領域の前記撮像画像データ、及び、前記非注目領域の前記撮像画像データの一方に対してのみ実行する、
   検査支援装置。
2. 内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得部と、
   前記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出部と、
   前記撮像画像データから病変部位を検出する検出処理、及び、前記検出処理で検出した前記病変部位の種類又は性質を見分ける識別処理を行う処理部と、
   前記処理部による前記検出処理及び識別処理の結果を前記表示装置に表示させる表示制御部と、を備え、
   前記処理部は、
   前記視線検出部によって検出された視線に基づいて、前記撮像画像データの注目領域と、前記注目領域を除く領域である非注目領域とを判定し、
   前記注目領域に対する前記識別処理の性能を前記非注目領域に対する前記識別処理の性能よりも高くする、
   検査支援装置。
3. 請求項１記載の検査支援装置であって、
   前記処理部は、前記撮像画像データの全体に対して前記検出処理を行い、前記注目領域の前記撮像画像データに対してのみ前記識別処理を行う検査支援装置。
4. 請求項１記載の検査支援装置であって、
   前記処理部は、前記撮像画像データの全体に対して前記検出処理を行い、前記非注目領域の前記撮像画像データに対してのみ前記識別処理を行う検査支援装置。
5. 請求項１〜４のいずれか１項記載の検査支援装置であって、
   前記処理部は、前記表示装置の表示画面を、複数の表示画素が含まれる領域に分割し、複数の分割領域の中から、前記視線検出部によって検出された視線に基づいて、注目されている分割領域である前記注目領域と、前記注目領域を除く分割領域である前記非注目領域とを判定する検査支援装置。
6. 請求項１〜５のいずれか１項記載の検査支援装置と、
   前記内視鏡と、を備える内視鏡装置。
7. 撮像画像データ取得部と、視線検出部と、処理部と、表示制御部と、を備える内視鏡装置の作動方法であって、
   前記撮像画像データ取得部が、内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、
   前記視線検出部が、前記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出ステップと、
   前記処理部が、前記視線検出ステップによって検出された視線に基づいて、前記撮像画像データの注目領域と、前記注目領域を除く領域である非注目領域とを判定する領域判定ステップと、
   前記処理部が、前記注目領域及び非注目領域の前記撮像画像データから病変部位を検出する検出処理ステップと、
   前記処理部が、前記検出処理ステップで検出された前記病変部位の種類又は性質を見分ける識別処理ステップと、
   前記表示制御部が、前記検出処理ステップ及び識別処理ステップの処理の結果を前記表示装置に表示する表示制御ステップと、
   を備え、
   前記処理部が、前記識別処理ステップの処理を、前記注目領域の前記撮像画像データ、及び、前記非注目領域の前記撮像画像データの一方に対してのみ実行する内視鏡装置の作動方法。
8. 内視鏡によって被検体内を撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、
   前記撮像画像データに基づく撮像画像を表示する表示装置に向けられている視線を検出する視線検出ステップと、
   前記視線検出ステップによって検出された視線に基づいて、前記撮像画像データの注目領域と、前記注目領域を除く領域である非注目領域とを判定する領域判定ステップと、
   前記注目領域及び非注目領域の前記撮像画像データから病変部位を検出する検出処理ステップと、
   前記検出処理ステップで検出された前記病変部位の種類又は性質を見分ける識別処理ステップと、
   前記検出処理ステップ及び識別処理ステップの処理の結果を前記表示装置に表示する表示制御ステップと、
   をコンピュータに実行させるためのプログラムであり、
   前記識別処理ステップの処理を、前記注目領域の前記撮像画像データ、及び、前記非注目領域の前記撮像画像データの一方に対してのみ実行する検査支援プログラム。

Images