WO2018235185A1

WO2018235185A1 - 挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置

Info

Publication number: WO2018235185A1
Application number: PCT/JP2017/022830
Authority: WO
Inventors: 博一西村
Original assignee: オリンパス株式会社
Priority date: 2017-06-21
Filing date: 2017-06-21
Publication date: 2018-12-27
Also published as: US20200138269A1; CN110769737B; CN110769737A

Abstract

本発明の一実施形態は、内視鏡の挿入状況に応じて的確な支援情報、すなわち補助情報を提示する挿入支援装置（１００）を提供する。挿入支援装置は、時系列的に生成された複数の内視鏡画像が入力される画像入力部（１１２）と、複数の内視鏡画像に基づいて内視鏡挿入における状況を判定する状況判定部（１１３）と、状況判定部による判定結果に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも１つの補助情報を提示するための補助情報提示部（１１４）とを有している。また、挿入支援方法、及び挿入支援装置を含む内視鏡装置（１）が提供される。

Description

挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置

　本発明は、内視鏡の挿入を支援する挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置に関する。

　大腸内視鏡挿入において、挿入支援を行うためのシステムや方法が提案されている。例えば、日本国特許第４８８５３８８号及び日本国特許第５６８７５８３号は、内視鏡画像の解析により管腔方向を内視鏡挿入方向として検出する内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置を開示している。特に、日本国特許第５６８７５８３号は、検出した内視鏡挿入方向を表示する表示部を備えた内視鏡挿入方向検出装置を開示している。

　例えば、日本国特許第４８５５９０２号は、挿入状態の最新の解析データと過去の解析データとから算出した表示期間制御値に基づいて、挿入操作を支援するための挿入補助情報を表示部に表示させるか否かを判定する表示制御部を備えたシステムを開示している。

　例えば、日本国特許第４８５５９１２号は、大腸の過伸展などを検出して挿入部のスムーズな挿入操作を行うことができる内視鏡挿入形状解析システムを開示している。

　上述のシステムや方法は、大腸内視鏡挿入手技において生じる種々の困難事象に対し、個々の問題に対処する支援情報を提供することが可能となっている。しかしながら、内視鏡検査全体においていつどのような問題が生じ、術者がどのような支援情報を必要としているかについては考慮されていない。

　大腸内視鏡挿入手技に対する支援システムは、例えば熟練医が非熟練医の状況を観察しながら適切な助言を与えるごとく、適切なタイミングで問題の種類を検出し、適切な支援情報を提供することが望ましい。したがって、支援システムにおいては、非熟練医がどのような状況にあるかを認識し、その状況が問題であれば適切な支援情報を選択して提供することが必要となる。

　そこで、本発明は、内視鏡の挿入状況に応じて的確な支援情報を提示する挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置を提供することを目的とする。

　本発明の一実施形態によれば、時系列的に生成された複数の内視鏡画像を入力する画像入力部と、入力された前記複数の内視鏡画像に基づいて内視鏡挿入における状況を判定する状況判定部と、前記状況判定部による判定結果に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも１つの補助情報を提示するための補助情報提示部と、を具備する挿入支援装置が提供される。

　本発明の他の実施形態によれば、時系列的に生成された複数の内視鏡画像を入力することと、入力された前記複数の内視鏡画像に基づいて内視鏡挿入における状況を判定することと、前記状況判定部による判定結果に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも１つの補助情報を提示することと、を含む挿入支援方法が提供される。

　本発明のさらなる実施形態によれば、上述の挿入支援装置と、能動的に湾曲される湾曲部と、前記湾曲部の基端側に連結され、受動的に湾曲される可撓管部とを備えた挿入部とを有する内視鏡と、を具備する内視鏡装置が提供される。

　本発明によれば、内視鏡の挿入状況に応じて的確な支援情報を提示する挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置を提供することができる。

図１は、本発明の一実施形態による内視鏡装置の一例を示すブロック図である。図２は、本発明の一実施形態による内視鏡及び挿入形状観測装置の一例を示す図である。図３は、挿入部のループ形成パターンの一例を示す図である。図４は、挿入支援フローの一例を示す図である。図５は、挿入状況と挿入困難判断と補助情報の一例を示す図である。図６は、non-loop法による挿入の一例を示す図である。

　以下、本発明の実施形態について図面を参照して説明する。以下では、大腸内視鏡を含む内視鏡装置を例に挙げて説明する。

　図１は、本発明の一実施形態における内視鏡装置１の一例を示すブロック図である。内視鏡装置１は、ここでは大腸内視鏡である内視鏡１０と、挿入形状観測装置２０と、光源装置３０と、内視鏡制御装置４０と、入力装置５０と、表示装置６０と、挿入支援制御装置１００とを有している。

　図２は、内視鏡１０及び挿入形状観測装置２０の一例を示す図である。内視鏡１０は、被挿入体（ここでは大腸）に挿入される管状の挿入部１１と、挿入部１１の基端側に設けられた操作部１５とを有している。挿入部１１は、先端硬質部１２と、先端硬質部１２の基端側に連結された湾曲部１３と、湾曲部１３の基端側に連結された可撓管部１４とを有している。先端硬質部１２は、不図示の照明レンズ及び対物レンズ、図１に示される撮像素子１９等を含む。湾曲部１３は、操作部１５の操作により湾曲する部分であり、その湾曲形状を能動的に変更可能である。可撓管部１４は、可撓性を有する細長い管状部分であり、受動的に湾曲する。操作部１５には、湾曲部１３の湾曲操作のために用いられるアングルノブ１６と、送気・送水・吸引操作を含む各種操作のために用いられる１以上のボタン１７とが設けられている。術者がアングルノブ１６を操作することにより、湾曲部１３は任意の方向に湾曲する。また、操作部１５には、内視鏡制御装置４０の設定により内視鏡画像の静止・記録、フォーカス切り替えなどの機能が割り当てられる１以上のスイッチ１８が設けられている。

　内視鏡１０は、光源装置３０に接続されている。光源装置３０は、レーザ光源、ＬＥＤ光源、キセノンランプ、ハロゲンランプなどの光源を含む。光源装置３０は、内視鏡１０の照明レンズに照明光を供給する機能を有している。また、光源装置３０は、内視鏡１０を介して体腔内に送気・送水をする機能を有してよい。光源装置３０は、例えば、内視鏡１０に空気を供給するための送気用ポンプを含む。術者は、内視鏡１０の操作部１５のボタン１７を操作することにより、内視鏡先端のノズル（図示されない）から送気したり、内視鏡１０に接続された送水タンクを加圧して内視鏡先端のノズルから送水したりする。

　内視鏡装置１は、挿入形状観測装置２０を含む。図１並びに図２には、一例として、磁気センサタイプの挿入形状観測装置２０が示される。挿入形状観測装置２０は、例えば観測装置本体２４に、制御部２１と、受信部２２と、送信部２３とを含む。また、内視鏡１０の挿入部１１に設けられた複数のソースコイル２５及び観測装置本体２４とは別体のアンテナ２６も挿入形状観測装置２０を構成している。

　図２に示されるように、挿入部１１には、複数のソースコイル２５が設けられている。ソースコイル２５は、磁界を発生する磁界発生素子である。各ソースコイル２５は、挿入部１１の長手方向（軸方向）にわたる湾曲形状の検出のために、長手方向に間隔を空けて湾曲部１３及び可撓管部１４に配置されている。なお、図２にはソースコイル２５が挿入部１１に予め組み込まれた形態が示されているが、ソースコイルが内蔵されたプローブが挿入部１１内を長手方向に延びたチャンネル内に挿通されてもよい。また、可撓管部１４全体又はその一部にのみソースコイル２５が配置されてもよい。

　アンテナ２６は、ソースコイル２５が発生した磁界を検出するように構成されている。アンテナ２６は、観測装置本体２４及び内視鏡１０とは別体であり、不図示のスタンド等により、内視鏡１０の挿入部１１が挿入される被挿入体の周囲に配置されている。

　挿入形状観測装置２０の制御部２１は、挿入形状観測装置２０における各種演算等の実行や表示装置６０の表示制御をする制御回路である。受信部２２は、アンテナ２６から磁界検出信号を受信する受信回路である。送信部２３は、ソースコイル２５に駆動信号を送出する送信回路である。特に、制御部２１は、アンテナ２６からの磁界検出信号に基づいて位置推定アルゴリズムによる演算処理を行う。

　なお、挿入形状観測装置２０は、これに限定されない。挿入形状観測装置２０は、挿入部１１の湾曲状態を検出可能なものであればよく、例えば、光ファイバなどの導光部材を伝搬する光量（光強度）の変化あるいは光学特性の変化を利用したセンシング（ファイバセンサ）、電磁波を利用したセンシング（電磁センサ）、超音波を利用したセンシング（超音波センサ）、歪みを利用したセンシング（歪みセンサ）あるいはＸ線吸収材料を利用したセンシングのいずれか１つ又はこれらの組合せによって構成されてよい。

　内視鏡１０の可撓管部１４には、それが設けられた箇所における可撓管部１４の曲げ剛性を部分的に変更可能な可撓管特性変更部７０が設けられている。可撓管特性変更部７０は、例えば、内視鏡制御装置４０からそれに印加される電圧に応じてその硬度が変化する剛性可変アクチュエータであってよい。なお、図２では、１つの可撓管特性変更部７０が示されているが、可撓管特性変更部７０の数はこれに限定されない。すなわち、可撓管部１４の長手方向にわたって配置された複数の可撓管特性変更部７０が設けられてもよい。

　内視鏡制御装置４０は、制御部４１と、駆動部４２と、画像処理部４３とを含む。また、挿入支援制御装置１００は、挿入状態入力部１１１と、画像入力部１１２と、状況判定部１１３と、補助情報提示部１１４とを含む。内視鏡制御装置４０及び挿入支援制御装置１００は、ＣＰＵなどのプロセッサで構成されてよい。すなわち、内視鏡制御装置４０及び挿入支援制御装置１００は、の上述の各部は、ＣＰＵなどのプロセッサで構成されてよい。この場合、例えば、プロセッサを各部として機能させるための各種プログラムを不図示の内部メモリあるいは外部メモリに準備しておき、そのプログラムをプロセッサが実行することで、プロセッサが制御装置４０、１００の各部としての機能を実施する。あるいは、制御装置４０、１００の各部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などを含むハードウエア回路によって構成されてよい。

　本実施形態では、挿入支援制御装置１００の上述の各部、すなわち、挿入状態入力部１１１と、画像入力部１１２と、状況判定部１１３と、補助情報提示部１１４とは、内視鏡ビデオ画像プロセッサである内視鏡制御装置４０とは別体の挿入支援制御装置１００に含まれている。しかしながら、これに限定されない。すなわち、挿入支援制御装置１００の上述の各部として機能するプロセッサあるいはハードウエア回路は、各部としての機能を実施可能である限り、１つの筐体に含まれてもよいし、複数の筐体に含まれてもよい。もちろん、内視鏡制御装置４０に含まれてもよい。

　内視鏡制御装置４０において、制御部４１は、内視鏡１０の各種動作を制御する制御回路である。また、駆動部４２は、内視鏡１０の撮像素子１９を駆動する信号を送出する駆動回路である。また、画像処理部４３は、撮像素子１９で光信号から変換された電気信号をビデオ信号に変換処理する画像信号処理回路である。なお、制御部４１は、光源装置３０の調光制御もする。

　挿入支援制御装置１００において、挿入状態入力部１１１には、挿入形状観測装置２０から、挿入部１１の挿入状態としてその湾曲形状情報（湾曲角度、湾曲量、曲率あるいは曲率半径など）が入力される。画像入力部１１２には、内視鏡制御装置４０から内視鏡画像情報が入力される。状況判定部１１３は、挿入状態入力部１１１及び画像入力部１１２からの情報に基づいて、挿入部１１の挿入状況を判定する。補助情報提示部１１４は、状況判定部１１３による判定に基づいて、挿入補助情報を生成して表示装置６０に表示させる。

　入力装置５０は、キーボードなどの一般的な入力用機器である。入力装置５０には、内視鏡装置１を動作させるための各種指令などが入力される。入力装置５０は、内視鏡制御装置４０に設けられた操作パネルあるいは表示画面に表示されたタッチパネルであってもよい。なお、図示されないが、挿入形状観測装置２０の観測装置本体２４及び挿入支援制御装置１００にも、操作パネルやタッチパネルなどの入力部が設けられている。

　表示装置６０は、液晶ディスプレイなどの一般的なモニタである。表示装置６０は、内視鏡制御装置４０の制御部４１による表示制御により、画像処理部４３で画像処理された内視鏡画像を表示する。また、表示装置６０は、挿入形状観測装置２０の制御部２１による表示制御により、挿入形状観測装置２０からの湾曲形状情報に基づいて、挿入部１１の湾曲形状に関する３次元画像や文字情報などを表示してよい。また、表示装置６０は、挿入支援制御装置１００による表示制御により、挿入支援制御装置１００の補助情報提示部１１４で生成された挿入補助情報を表示する。なお、内視鏡画像が表示される表示装置、湾曲形状などが表示される表示装置、及び挿入補助情報が表示される表示装置は、同じであってもよいし別々であってもよい。すなわち、表示装置６０とは異なる表示装置に挿入補助情報が表示されてもよい。

　次に、内視鏡装置１の一般的な大腸内視鏡挿入動作について説明する。　
　内視鏡装置１において、内視鏡１０の挿入部１１は、術者により肛門から直腸、結腸へと挿入される。内視鏡１０は、先端硬質部１２の撮像素子１９により腸管内の被写体からの光を電気信号に変換する。そして、電気信号が内視鏡制御装置４０に伝達される。内視鏡制御装置４０の画像処理部４３は、その電気信号を取得して、取得した電気信号をビデオ信号に変換処理する。そして、制御部４１が、ビデオ信号に基づく内視鏡画像を表示装置６０に表示させる。

　挿入中、挿入形状観測装置２０の制御部２１が、送信部２３からソースコイル２５にそれぞれ異なる周波数の駆動信号を供給させる。これにより、各ソースコイル２５はその周囲に微弱な交流磁界を生成する。すなわち、各ソースコイル２５からその位置に関する情報が出力される。アンテナ２６は、ソースコイル２５が発生した磁界を検出して、その検出信号を受信部２２に送出する。制御部２１は、受信部２２で受信した磁界検出信号に基づいて各ソースコイル２５の位置座標を算出し、算出した位置座標に対応した挿入部１１の例えば３次元画像を生成して表示装置６０に表示させる。

　大腸内視鏡挿入手技は難易度が高く、習得に時間がかかる。例えば、挿入部先端の盲腸到達率が９０％を超えるまでに術者は１０００症例の経験を要するとされる。また、手技の教育においては一般的に非熟練医の検査に熟練医（あるいは指導医）が立会い、個別に指導をする必要がある。非熟練医は内視鏡検査に時間を要し、時には患者に苦痛を与えることもある。また、熟練医に対する時間的な拘束が必要となる。さらには、指導が可能な熟練医が必ずしも在籍していない病院も多々ある。

　また、大腸内視鏡挿入においては、種々の挿入困難事象が生じる。例えば、術者は、挿入すべき管腔方向を見失うと管腔方向を再度見つけることが必要になるが、非熟練医にとってこれは容易ではない。また、体腔内に挿入した挿入部１１に撓みや種々のループ形成が生じることにより、術者が手元側から挿入部１１を押し込んでも挿入部先端が進まない、あるいは挿入部１１から腸壁に力が加わって伸展させることにより患者に疼痛を感じさせることがある。例えば、Ｓ状結腸は腹部内に固定されていない可動腸管であるため、特に、その屈曲部であるＳ状結腸頂上部（いわゆるＳ－ｔｏｐ）に挿入部１１から力が加わって過伸展されると、患者に苦痛を与える可能性がある。

　このような状況では、挿入部１１の撓みの解消やループ形状の解除（例えば“スコープの直線化”と呼ばれる）が有効である。しかしながら、非熟練医である術者が状況を的確に判断して適切なタイミングで適切な操作を行うことは難しい。

　例えば、大腸内視鏡挿入手技において、挿入部１１の腸管を畳み込みながら同心円状に短縮・直線化して挿入していく手法が知られている。この手法は、Right turn shorteningと称される。なお、軸保持短縮法、Hooking the foldも同様の手法である。この手法において、挿入部１１は、直腸からＳ－ｔｏｐまでは直線的に進められ、Ｓ－ｔｏｐを越えて折り返すときにステッキ形状となる。ステッキ形状のときの挿入部１１の直線的な部分を回転軸と称する。Right turn shorteningでは、挿入部１１を手元側に引き抜く操作と回転軸を右回りに捻る操作とを組み合わせてＳ－ｔｏｐを短縮していき、Ｓ状結腸を畳み込みながら直線化していく。

　図３に示されるように、挿入時の腸管２００、例えばＳ状結腸におけるループ形成パターンには、αループ、Ｎループ、γループ等がある。Ｓ状結腸を上述のRight turn shorteningで挿入していくために基本となるのは、右回転軸のＮループである。この状態から、挿入部先端が左回転軸へと流れるとαループが形成され、右回転軸へと流れるとγループ（逆αループ）が形成される。αループ及びγループが形成されても、Right turn shorteningによりループ形成を解除してＳ状結腸を畳み込みながら挿入を進めていくことが可能である。また、Ｎループが反転した裏Ｎループが形成されることもある。この状態から、挿入部先端が左回転軸へと流れると裏γループが形成され、右回転軸へと流れると裏αループが形成される。裏ループの場合には、挿入部１１を手元側に引き抜く操作と回転軸を左回りに捻る操作とを組み合わせることでループ形成を解除する。したがって、裏ループの場合には、Left turn & Right turn shortening、すなわち、左回りの回転でループ形成解除をした後、右回りの回転でＳ状結腸を畳み込みながら挿入を進めていくこととなる。

　このように、大腸内視鏡挿入手技はループ形成パターンに応じて異なる。また、Ｓ状結腸のみならず、横行結腸等の異なる部位にループが生じることもある。このため、大腸内視鏡挿入手技は多様である。このような背景において、非熟練医に対する大腸内視鏡挿入手技習得に要する時間の短縮、効率化、及びより安全な内視鏡検査の実現が望まれている。これに関して、本実施形態では、挿入支援制御装置１００による挿入支援を提供する。

　以下、本実施形態による内視鏡挿入支援の一例について説明する。図４は、本実施形態による挿入支援フローの一例を示す図である。

　ステップＳ１０１において、挿入支援制御装置１００は、挿入支援を終了するか否か、すなわち、挿入支援終了指示が入力されたか否かを判定する。挿入支援の終了は、例えば挿入部先端の盲腸到達に基づく終了指示（外部からの入力）に基づいて判定される。術者は、内視鏡１０で取得した内視鏡画像、挿入形状観測装置２０で取得した挿入部１１の湾曲形状、あるいは術者の手の感覚などに基づいて、挿入支援を終了したい場合に挿入支援制御装置１００の不図示の入力部などから終了指示を入力してよい。挿入支援を終了すると判定された場合（Ｙｅｓ）には、処理は終了する。挿入支援を終了しないと判定された場合（Ｎｏ）には、処理はステップＳ１０２に進む。

　ステップＳ１０２において、挿入部１１の挿入状況に関する状況判定が行われる。挿入支援制御装置１００の画像入力部１１２には、内視鏡制御装置４０から、時系列的に生成された複数の内視鏡画像が入力される。例えば、内視鏡１０は、３０ｆｐｓで内視鏡画像を撮像し、その内視鏡画像が内視鏡制御装置４０から画像入力部１１２に入力される。もちろん、入力される内視鏡画像はこれに限定されるものではなく、サンプリングにより１秒間に３０フレームよりも少なくしてもよい。入力された画像は、画像入力部１１２又は状況判定部１１３内の、又は、挿入支援制御装置１００に設けた不図示の内部メモリ（あるいは外部メモリ）に所定数、例えば３００フレーム以上保存される。状況判定部１１３は、画像入力部１１２に入力され保存された内視鏡画像に基づいて、内視鏡挿入における状況判定を実行する。例えば、状況判定部１１３は、現時点から前１０秒分、すなわち３００フレームの画像を用いて状況判定を行う。

　また、挿入支援制御装置１００の挿入状態入力部１１１には、挿入形状観測装置２０から、内視鏡１０の挿入状態に関する情報が入力されてよい。状況判定部１１３は、画像入力部１１２に入力され保存された内視鏡画像に加えて、挿入状態入力部１１１に入力された挿入状態に関する情報に基づいて、内視鏡挿入における状況判定を実行してよい。

　例えば、大腸内視鏡検査の（観察、処置・治療等の他の行為を除く）挿入手技においては、図５の左の列に示されるような状況が生じうる。状況判定部１１３は、内視鏡画像、あるいは内視鏡画像及び挿入状態に関する情報に基づいて、どの状況が生じているかを判定する。例えば、状況判定部１１３は、上述の３００フレームの内視鏡画像に基づいて、内視鏡挿入における状況判定を実行する。

　１）大きな問題なく挿入中　
　状況判定部１１３は、画像入力部１１２に入力された複数の内視鏡画像（撮像シーン）が所定時間にわたって継続的に変化していることを検出したとき、挿入部１１が大きな問題なく挿入されていると判定する（判定結果１）。これは、挿入部１１が腸管をスムーズに進行している状況である。あるいは、状況判定部１１３は、これに加えて、内視鏡１０の挿入状態に関する情報から、挿入部１１の挿入形状や挿入長が所定時間にわたって継続的に変化していることを検出したときも、判定結果１としてよい。

　２）管腔等の進行方向が見えているが視野が変わらない　
　状況判定部１１３は、画像入力部１１２に入力された複数の内視鏡画像に管腔等の進行方向が見えているものの画像の変化が微小である（挿入部先端の向きが多少変わった程度）、もしくは画像がほとんど変化していないことを検出したとき、管腔等の進行方向が見えているが視野が変わらないと判定する（判定結果２）。あるいは、状況判定部１１３は、内視鏡１０の挿入状態に関する情報から、挿入部１１の手元側の操作（押し込み操作又は引き抜き操作）に対して挿入部１１の先端側の変化（移動量）が小さいことを検出したときも、判定結果２としてよい。手元側の押し込み操作又は引抜き操作に対して挿入部１１の先端側の変化が小さい場合、挿入部１１が撓んでいる、あるいは、ループが形成されていることが考えられる。また、状況判定部１１３は、内視鏡１０の挿入状態に関する情報から、撓み箇所自体あるいはループ自体を検出したときも、判定結果２としてよい。

　３）過剰に近接した状態が続いている　
　状況判定部１１３は、画像入力部１１２に入力された複数の内視鏡画像が粘膜過近接あるいは赤玉状態のままで所定時間（例えば１０秒）経過していることを検出したとき、すなわち、例えば上述の３００フレームの画像が赤玉状態であることを検出したとき、過剰に近接した状態が続いていると判定する（判定結果３）。なお、赤玉状態とは、挿入部先端が粘膜に接触していて粘膜下層の血流により画像全体が赤っぽい色になる状態のことである。

　４）同じ範囲（シーン）の進行／退行を繰り返している　
　状況判定部１１３は、画像入力部１１２に入力された時系列的な複数の内視鏡画像において、時刻ｔと略同一の画像が時刻ｔ＋αに撮像されたことを検出したとき、同じ範囲（シーン）の進行／退行を繰り返していると判定する（判定結果４）。これは、挿入部１１が抜け等により時刻ｔの位置や状況に戻ってしまっている状態である。例えば、あるシーンが過去Ｎフレーム内に撮像された画像とほぼ一致する場合に、状況判定部１１３は、判定結果４であると判定する。

　５）腸管のつぶれにより管腔等の進行方向が見えておらず視野も変わらない　
　状況判定部１１３は、画像入力部１１２に入力された複数の内視鏡画像において腸管のつぶれを認識し、かつ画像の変化が微小である（挿入部先端の向きが多少変わった程度）、もしくは画像がほとんど変化していないことを検出したとき、腸管のつぶれにより管腔等の進行方向が見えておらず視野も変わらないと判定する（判定結果５）。

　６）その他（判定不能、挿入支援対象外等）　
　上記判定結果１～５のいずれにも当てはまらない場合、状況判定部１１３は、判定結果６と判定する。これは、判定不能、あるいは挿入支援対象外等であるときに当てはまる。

　このように、判定結果１～６のうち、判定結果１、２は、画像入力部１１２に入力された内視鏡画像に基づいた判定結果、挿入状態入力部１１１に入力された挿入状態に関する情報に基づいた判定結果、あるいはこれらの組合せによる判定結果であってよく、また、判定結果３～６は、画像入力部１１２に入力された内視鏡画像に基づいた判定結果である。状況判定に挿入状態に関する情報も用いることにより、より高精度の認識が可能となる。

　内視鏡画像に基づいた上述の状況判定に関して、状況判定部１１３による状況判定には、例えば、各内視鏡画像間の相関に基づく変化量の検出、各画像のシーン認識、あるいはこれらの組合せ技術が利用可能である。状況判定部１１３は、同じシーンの連続、繰り返し、管腔や襞等の重要構造の有無等を認識することにより、状況判定を行う。

　また、状況判定部１１３は、例えば、Recurrent Neural Network、３Ｄ－ＣＮＮ等のディープニューラルネットワーク技術を用いた学習結果の利用をしてよい。これにより、各内視鏡画像間の相関に基づく変化量の検出、各画像のシーン認識などの内容を学習により認識することが可能となる。状況判定部１１３は、例えば、Recurrent Neural Network等を用いた複数のフレーム画像に対する状況認識（動作認識の応用）を用いる。状況判定部１１３は、複数のフレーム（例えば、３０フレーム×５秒＝１５０フレーム、あるいは、数フレーム間隔でサンプリングしてもよい）の画像列と、状況をカテゴリとした学習による認識（判定結果１～５のカテゴリ化）とを用いて判定を行ってよい。これは、例えば、Noriki Nishida, Hideki Nakayama, "Multimodal gesture recognition using multi-stream recurrent neural network", Pacific-Rim Symposium on Image and Video Technology (PSIVT), 2015、あるいは、神谷龍司らによるConvolutional-Recurrent Neural Network による自己運動識別、画像センシングシンポジウム、２０１６に開示される技術であってよい。

　このように、ステップＳ１０２において、状況判定部１１３は、画像入力部１１２に入力された、時系列的に生成された複数の内視鏡画像に基づいて、あるいはこれと挿入状態入力部１１１に入力された挿入状態に関する情報とに基づいて、内視鏡挿入における状況が上記判定結果１～６のいずれであるかを判定する。

　続くステップＳ１０３において、状況判定部１１３は、ステップＳ１０２による状況判定結果（判定結果１～６）に基づいて、挿入困難な状況に直面しているか、すなわち、術者に補助情報を提示すべきか否かを判定する。図５の中央の列には、ステップＳ１０３における挿入困難の判定結果（Ｙｅｓ／Ｎｏ）が示されている。判定結果１である場合には、大きな問題なく挿入できているため、挿入困難状況ではない。また、判定結果６である場合も同様に挿入困難状況ではないとする。したがって、判定結果１）、６）の場合には、状況判定部１１３は、ステップＳ１０３において挿入困難状況ではない（Ｎｏ）と判定し、ステップＳ１０１に戻る。判定結果２～５のいずれかである場合には、状況判定部１１３は、このまま挿入を続けても内視鏡１０の挿入部１１がうまく挿入されない挿入困難状況であると判定し（Ｙｅｓ）、ステップＳ１０４に進む。

　ステップＳ１０４において、補助情報提示部１１４は、ステップＳ１０２における状況判定結果に対応する補助情報を生成する。補助情報提示部１１４は、例えば、状況判定部１１３の判定結果に対して提示する情報（例えば、文字情報、画像情報、あるいはこれらの組合せ）を対応付けたデータベースを備え、判定結果に基づく提示情報を選択する。すなわち、補助情報提示部１１４は、状況判定部１１３による判定結果に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも１つの補助情報を提示する。そして、ステップＳ１０５において、補助情報提示部１１４は、生成した補助情報を表示装置６０に表示させる。

　本実施形態では、判定結果２～５は、大腸内視鏡挿入操作において何らかの問題が生じており、術者が何らの支援なしにこのまま挿入を続けるのは難しいと考えられる状況である。判定結果２～５の各々について、代表的な問題及びそれらの解決に有効となる補助情報、すなわち支援情報を以下に説明する。この支援情報は、例えば、大腸内視鏡検査の経験豊富な術者が挿入困難状況に直面したときに経験に基づいて行う操作に対応するものである。図５の右の列には、判定結果２～５における補助情報の一例が示されている。

　判定結果２における補助情報　
　管腔等の進行方向が見えているが視野が変わらない場合には、術者が挿入部１１を手元側から押し込む操作をしても挿入部先端にその押し込み力が伝達されない状況が考えられる。したがって、補助情報提示部１１４は、例えば、可撓管特性変更部７０により可撓管部１４の曲げ剛性を高くするように、剛性変更操作を促す補助情報を生成する。可撓管部１４の曲げ剛性を高くすると、可撓管部１４が撓みにくくなるため、術者が挿入部１１を手元側から押し込む力が挿入部先端に伝達されやすくなる。したがって、挿入部先端が進みやすくなる。

　あるいは、補助情報提示部１１４は、スコープの直線化を促す補助情報を生成する。スコープの直線化を促す補助情報とは、術者が挿入部１１を手元側から引き戻すＰＵＬＬ操作、あるいは、図３を参照して説明したようなループ解除操作であってよい。このような補助情報により、挿入部１１を手元側から押し込むＰＵＳＨ操作を行っていた術者は、押し込み操作を引き戻し操作やループ解除操作に切り替える。これにより、挿入状況を改善することができる。

　また、管腔等の進行方向が見えていても挿入部先端を管腔方向にうまく向けられていない状況が考えられるため、補助情報提示部１１４は、湾曲部１３にアングルをかける方向あるいは挿入部１１を捻る方向を導出し、導出した方向を補助情報とする。このような補助情報により、術者は、導出された方向に湾曲部１３にアングルをかけるか挿入部１１を手元側から捻る。これにより、挿入状況を改善することができる。

　判定結果３における補助情報　
　挿入部先端が粘膜面に対して過剰に近接している場合には、熟練医は、経験に基づいて、挿入部１１を手元側から一旦引き戻すＰＵＬＬ操作をすることにより挿入部先端と粘膜面との距離をとり、操作部１５のアングルノブ１６を操作することによる湾曲部１３のアングル操作、あるいは挿入部１１を手元側から右回り（時計回り）に捻る操作により管腔方向を探す。一方、非熟練医は、挿入済みの挿入部１１が抜けてくることを恐れ、適切な引き戻し操作ができないことがある。実際には多少の抜けが生じても、一度挿入できた部位までは大腸の形状も挿入部１１に合わせて比較的整っていることから再挿入は容易であることが多い。したがって、判定結果３の場合には、支援情報として、挿入部１１を引き戻すＰＵＬＬ操作を明確に促すことが有用となる。補助情報提示部１１４は、ＰＵＬＬ操作を促す補助情報を生成する。このような補助情報に基づいて術者がＰＵＬＬ操作を行うことにより、挿入状況を改善することができる。

　図６に示されるように、大腸内視鏡挿入法の１つとして、例えば、挿入部１１のループを形成せず、腸管２００を撓ませずに挿入部１１を進めるNon-loop法が知られている。この手法では、挿入部１１を手元側から右回りに捻ることで挿入部１１の屈曲部分１１ａが腸管にトルクを伝達する。そして、挿入部１１を手元側に少し引き抜くことでクランク状に屈曲した腸管の走行を変えながら、粘膜にぶつかることなく湾曲部１３のアングルを解除する。そして、腸管が回転してきたら、挿入部１１が抜けないようにアングルを解除していくと、腸管を直線化することが可能である。判定結果３の場合には、補助情報提示部１１４は、例えば、このようなNon-loop法による挿入を円滑に進めるための補助情報を提示してよい。

　判定結果４における補助情報　
　同じ範囲（シーン）の進行／退行を繰り返している場合には、判定結果２と同様に、挿入部１１を手元側から押し込んだ力が挿入部先端に十分に伝達されないことが考えられる。したがって、曲げ剛性変更やスコープの直線化を促すことが有用である。補助情報提示部１１４は、例えば、可撓管特性変更部７０により可撓管部１４の曲げ剛性を高くするように、剛性変更操作を促す補助情報を生成する。これにより、可撓管部１４が撓みにくくなり、術者が挿入部１１を手元側から押し込む力が挿入部先端に伝達されて挿入部先端が進みやすくなる。あるいは、補助情報提示部１１４は、スコープの直線化（引き戻し操作やループ解除操作等）を促す補助情報を生成する。このような補助情報に基づいて術者が操作を行うことにより、挿入状況が改善される。

　例えば、上述のようなRight turn shorteningによる挿入において、腸管を短縮・直線化するための操作を実施しつつうまくいかず同様の同じ範囲（シーン）の進行／退行が繰り返されていることがある。これもまた、判定結果４に該当する。この場合には、補助情報提示部１１４は、例えば、挿入部１１をより深く挿入してから腸管を短縮・直線化するための操作を試みることを促す補助情報を生成する、あるいは、短縮・直線化の操作をあきらめてＰＵＳＨ操作による挿入に切り替えることを促す補助情報を生成する。このような補助情報に基づいて術者が操作を行うことにより、挿入状況が改善される。

　判定結果５における補助情報　
　管腔がつぶれている状況では、内視鏡１０への送気（又は送水）により管腔を適度に広げる操作が必要となる場合がある。一方で、過剰な送気により腸管を膨張させると以後の挿入がさらに難しくなってしまうことが知られている。したがって、送気により管腔を広げることを促すとともに、適切な送気量に達して管腔が認識可能となった時点で送気中止することが望ましい。

　そこで、判定結果５の場合には、補助情報提示部１１４は、例えば、送気により管腔を広げて、その後、適切な送気量に達し管腔が認識可能となった時点で送気を中止することを促す補助情報を生成する。このような補助情報に基づいて術者が操作を行うことにより、管腔のつぶれた状況が改善される。また、管腔が拡がって挿入部１１が通過した後は余剰となった空気の脱気を促すことも有用である。補助情報提示部１１４は、通過後の脱気を促す補助情報を生成してよい。これにより、管腔のつぶれた状況が改善された後により挿入が進めやすい状況とすることが可能である。

　判定結果５で顕著であるように、各判定結果２～５において補助情報提示部１１４によって生成あるいは選択される補助情報は、１つに限られない。補助情報提示部１１４は、複数の補助情報を生成あるいは選択してよい。複数の補助情報は、表示装置６０に同時に提示されてもよいし、順次提示されてもよい。

　ステップＳ１０５の後、ステップＳ１０１に戻り、挿入支援制御装置１００は、挿入支援終了か否かを判定する。挿入支援を終了すると判定された場合（Ｙｅｓ）には、処理は終了する。挿入支援を終了しないと判定された場合（Ｎｏ）には、処理はステップＳ１０２以下を繰り返す。

　以上説明したように、本実施形態では、補助情報提示部１１４は、状況判定部１１３による判定結果に基づいて、大腸内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも１つの補助情報を提示する。大腸内視鏡挿入手技には、腸管の屈曲形状に沿って主にＰＵＳＨ操作で挿入部先端を進めていく手法（いわゆるループ挿入法）、あるいは、挿入部の長手軸を保持しながら腸管を短縮して挿入する手法（いわゆる軸保持短縮法、上述のRight turn shorteningはこの手法の部類である）などがあるが、本実施形態では、補助情報提示部１１４は、挿入状況の判定結果に応じて、これら手技に関連付けて用意された複数の補助情報の中から適切な補助情報を選択して提示することが可能である。

　本実施形態によれば、内視鏡挿入において術者が困難な状況に直面した際に、困難の内容に応じた支援情報を適時提示することが可能となる。したがって、指導医がいない状況下においてもそれに準じた支援情報を術者に提供することで、よりスムーズな内視鏡検査の実施及び内視鏡挿入への熟練に対する補助効果を得ることができる。

　特に、大腸内視鏡挿入において、Ｓ状結腸などの可動腸管は容易に動き、また、Ｓ－ｔｏｐなどの屈曲部を有するため、経験の少ない術者は挿入困難状況に陥りやすい。これに対して、本実施形態では、大腸内視鏡挿入において想定される種々の困難事象及びその対処方法を互いに関連付け、支援情報として補助情報提示部１１４のデータベースに予め用意しているため、想定される困難事象が生じた際に適時の補助や支援を提供することが可能である。適切な補助や支援を受けて術者が大腸内視鏡検査を行うことにより、挿入部１１から腸管に過度の力が加わることによる患者の苦痛の低減、あるいは、検査時間の短縮が実現される。

　なお、状況判定部１１３は、画像入力部１１２に入力された時系列的な複数の内視鏡画像に基づいた判定、これと挿入状態入力部１１１に入力された挿入状態に関する情報とに基づいた判定の他、挿入部１１のＰＵＳＨ操作又はＰＵＬＬ操作による移動量を検出するセンサ、挿入部１１の右回り又は左回りの回転量を検出するセンサ、あるいはアングルノブ１６のアングル操作による湾曲部１３の湾曲量を検出するセンサ、挿入部１１に加わった力量を検出するセンサなどの各種センサが検出した検出情報を利用して状況判定を行ってもよい。これにより、より高精度な状況判定が可能となり、的確な支援情報を提供することが可能となる。

　例えば、挿入部１１の長手方向に沿って、挿入部１１が外部（例えば腸管）から受ける力量を検出する複数のセンサが配置されている場合には、状況判定部１１３は、内視鏡画像情報に加えて、各センサが検出した力量を判定に使用することが可能である。このような判定により、判定結果２（管腔等の進行方向が見えているが視野が変わらない）の場合において、これがループ形成によるものであるか否かをより正確に判定することができる。

　また、補助情報提示部１１４により提示される補助情報は、視覚的なものに限らず、不図示のスピーカー等により発せられる音声など聴覚的な補助情報、あるいは視覚的な補助情報と聴覚的な補助情報との組合せであってよい。

　また、状況判定部１１３が判定する状況は、挿入に難儀する状態に限らない。状況判定部１１３は、例えば、速すぎる押し込み操作やアングル操作等を上述のセンサ等により検出して判定してもよい。この場合、補助情報提示部１１４により提示される補助情報は、そのような操作を抑制させるための情報である。

　なお、ここまで、大腸内視鏡を含む内視鏡装置を挙げて説明してきたが、本発明は、これに限定されない。大腸内視鏡以外の下部消化管内視鏡、あるいは上部消化管内視鏡においても本発明の概念が適用可能である。また、本発明の概念は、医療用の内視鏡を備えた内視鏡装置以外の内視鏡装置、あるいは可撓管挿入装置にも適用可能である。

　なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出されうる。

Claims

　時系列的に生成された複数の内視鏡画像が入力される画像入力部と、
　入力された前記複数の内視鏡画像に基づいて内視鏡挿入における状況を判定する状況判定部と、
　前記状況判定部による判定結果に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも１つの補助情報を提示するための補助情報提示部と、
　を具備する挿入支援装置。
　前記状況判定部は、前記複数の内視鏡画像における画像の変化情報に基づいて内視鏡挿入における状況を判定する、請求項１に記載の挿入支援装置。
　前記複数の内視鏡画像は、大腸内視鏡検査により生成された内視鏡画像であり、
　前記状況判定部は、前記大腸内視鏡検査における挿入状況を判定する、請求項１又は２に記載の挿入支援装置。
　前記状況判定部による判定結果は、内視鏡挿入において挿入困難事象が生じているか否かの判定結果を含み、
　前記補助情報提示部は、前記状況判定部が挿入困難事象が生じていると判定したときに前記挿入困難事象に対応した少なくとも１つの補助情報を提示する、請求項１乃至３のいずれか１に記載の挿入支援装置。
　前記補助情報提示部は、前記補助情報として少なくとも内視鏡の操作に関する情報と内視鏡を挿入すべき方向に関する情報との少なくとも一方を提示する、請求項１乃至４のいずれか１項に記載の挿入支援装置。
　内視鏡の挿入状態に関する情報が入力される挿入状態入力部をさらに具備し、
　前記補助情報提示部は、前記複数の内視鏡画像に加えて、前記挿入状態に関する情報に基づいて内視鏡挿入における状況を判定する、請求項１乃至５のいずれか１項に記載の挿入支援装置。
　前記挿入状態に関する情報は、内視鏡の挿入部の挿入形状に関する情報と内視鏡の挿入部の挿入長に関する情報との少なくとも一方を含む、請求項６に記載の挿入支援装置。
　前記状況判定部が、進行方向が見えているが視野が変わらないと判定したとき、前記補助情報提示部は、前記補助情報として、内視鏡の挿入部の剛性変更操作、直線化操作、アングル操作あるいは捻り操作を促す提示をする、請求項１乃至７のいずれか１項に記載の挿入支援装置。
　前記状況判定部が、過剰に近接した状態が続いていると判定したとき、前記補助情報提示部は、前記補助情報として、内視鏡の挿入部の引き戻し操作、アングル操作あるいは捻り操作を促す提示をする、請求項１乃至７のいずれか１項に記載の挿入支援装置。
　前記状況判定部が、同じ範囲の進行と後退とを繰り返していると判定したとき、前記補助情報提示部は、前記補助情報として、内視鏡の挿入部の剛性変更操作、直線化操作、アングル操作あるいは捻り操作を促す提示をする、請求項１乃至７のいずれか１項に記載の挿入支援装置。
　前記状況判定部が、管腔の進行方向が見えておらず視野も変わらないと判定したとき、前記補助情報提示部は、前記補助情報として、内視鏡の送気操作あるいは脱気操作を促す提示をする、請求項１乃至７のいずれか１項に記載の挿入支援装置。
　時系列的に生成された複数の内視鏡画像を入力することと、
　入力された前記複数の内視鏡画像に基づいて内視鏡挿入における状況を判定することと、
　前記状況の判定に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも１つの補助情報を提示することと、
　を含む挿入支援方法。
　請求項１乃至１１のいずれか１に記載の挿入支援装置と、
　能動的に湾曲される湾曲部と、前記湾曲部の基端側に連結され、受動的に湾曲される可撓管部とを備えた挿入部とを有する内視鏡と、
　を具備する内視鏡装置。