JP2004358095A

JP2004358095A - Apparatus and method for analyzing endoscope inserting form

Info

Publication number: JP2004358095A
Application number: JP2003162844A
Authority: JP
Inventors: Katsumi Hirakawa; 克己平川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-06-06
Filing date: 2003-06-06
Publication date: 2004-12-24
Anticipated expiration: 2023-06-06
Also published as: JP4274854B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an endoscopic image processor capable of giving a warning and indicating shape information, an inserting process, and operating instructions of an insertion part in accordance with its inserting motion if an insertion part forms a loop in a subject's body or a test area of the subject's body extends on an endoscopy. <P>SOLUTION: An apparatus for analyzing endoscopic inserting shape comprises an electronic endoscope 12 having an insertion part to be inserted into a body cavity, a shape monitoring device 3 to monitor and detect a shape of the electronic endoscope insertion part, and a PC15 to memorize a plurality of shapes of the endoscope insertion part detected by the shape monitoring device 3, which includes and an information providing means to provide shape information of the endoscope insertion part in response to the result obtained by the shape analyzing means for analyzing the endoscope insertion part on the basis of the plurality of memorized shapes. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、内視鏡挿入部の体腔内での挿入形状を解析して、その挿入形状情報を画像表示することで内視鏡の挿入操作性を向上させる内視鏡挿入形状解析装置に関する。
【０００２】
【従来の技術】
一般に電子内視鏡は、先端に電子撮像素子を設けた細長で可撓性を有する挿入部を有し、この挿入部を被検体である体腔内の管腔に外部から挿入し、挿入部先端の電子撮像素子で撮像生成した画像信号を基にモニタ画面に再生される画像から管腔内を観察したり、及び挿入部に設けられた鉗子チャンネルから挿入された処置用鉗子で生体組織の採取や治療処置を行うようになっている。
【０００３】
ところで、体腔内の管腔は、例えば、大腸や小腸等のように曲がった管腔内に内視鏡を挿入観察する際に、内視鏡挿入部が管腔のどの位置まで挿入されているか、あるいは内視鏡挿入部がどのような形状になっているか判明すると、内視鏡による観察処置の操作性が向上する。
【０００４】
このため内視鏡の挿入部が管腔内に挿入された位置や、挿入形状等を被検体である人体に無害で、いかなる管腔でも使用できる内視鏡の形状検出装置が提案されている。
【０００５】
例えば、複数の第１のコイルからなるソースコイルと、このソースコイルの複数の第１のコイルからの磁界を検出する複数の第２のコイルからなるセンスコイルと、前記ソースコイルまたはセンスコイルのいずれか一方を体腔内に挿入される内視鏡の挿入部に配置し、前記センスコイルで検出したソースコイルの磁界に基づいて、内視鏡挿入部の形状を推定する形状推定手段とを有する内視鏡形状検出装置において、前記形状推定手段で推定した挿入部形状からループ形状を検出し、そのループ形状が検出されると警告を発生する内視鏡形状検出装置がある（例えば、特許文献１参照）。
【０００６】
【特許文献１】
特開２０００−１７５８６１号公報（カラム００１１乃至カラム００４９、図１乃至図１０）。
【０００７】
【発明が解決しようとする課題】
従来、内視鏡による被検体の検査における術者の意識は、主に管腔の観察部位を撮像生成した内視鏡画像に集中し、必要に応じて内視鏡挿入部の形状検出装置で生成表示される挿入部形状画像を見るというスタイルが一般的である。
【０００８】
この内視鏡検査において、挿入部の形状がループを形成した際に、そのループが形成されたことを検出して警告を発して術者に注意を促す内視鏡挿入支援機能を有する内視鏡形状検出装置が上記特許文献１に提案されている。
【０００９】
更に、挿入性を向上すべく、実際に挿入される内視鏡挿入部の動きに応じた情報提供を行ったり、内視鏡の挿入方法や操作指示等を示す情報提供を行うことが望まれている。
【００１０】
本発明は、このような要望に鑑みてなされたもので、内視鏡挿入部の形状を解析し、内視鏡の挿入性向上につながる情報の提供を行うことができる内視鏡挿入形状解析装置を提供することを目的としている。
【００１１】
【課題を解決するための手段】
本発明の内視鏡挿入形状解析装置は、体腔内に挿入する挿入部を有する内視鏡と、前記内視鏡挿入部の形状を検出する形状検出手段と、前記形状検出手段で検出した内視鏡挿入部の形状を複数記憶する形状記憶手段と、前記形状記憶手段に記憶された複数の内視鏡挿入部の形状を基に、内視鏡挿入部の形状を解析する形状解析手段と、前記形状解析手段による解析の結果に応じて、内視鏡挿入部の形状に関する情報を提供する情報提供手段と、を備えたことを特徴とする。
【００１２】
本発明の内視鏡挿入形状解析装置は、体腔内に挿入する挿入部を有する内視鏡と、前記内視鏡挿入部の形状を検出する形状検出手段と、前記形状検出手段で検出された内視鏡挿入部の形状を解析する形状解析手段と、前記形状解析手段による解析の結果に応じて、内視鏡操作の情報を提供する情報提供手段と、を備えたことを特徴とする。
【００１３】
本発明の内視鏡挿入形状解析方法は、体腔内に挿入する挿入部を有する内視鏡と、前記内視鏡挿入部の形状を検出する形状検出ステップと、前記形状検出ステップで検出された内視鏡挿入部の形状を複数記憶する形状記憶ステップと、前記形状記憶ステップで記憶された複数の内視鏡の挿入部の形状を基に、内視鏡挿入部の形状を解析する形状解析ステップと、前記形状解析ステップによる解析の結果に応じて、内視鏡挿入部の形状に関する情報を提供する情報提供ステップと、を備えたことを特徴とする。
【００１４】
本発明の内視鏡挿入形状解析方法は、体腔内に挿入する挿入部を有する内視鏡と、前記内視鏡挿入部の形状を検出する形状検出ステップと、前記形状検出ステップで検出された内視鏡挿入部の形状を解析する形状解析ステップと、前記形状解析ステップによる解析の結果に応じて、内視鏡操作の情報を提供する情報提供ステップと、を備えたことを特徴とする。
【００１５】
本発明の内視鏡挿入形状解析装置及び内視鏡挿入形状解析方法は、内視鏡挿入部の挿入形状を解析した際に、解析結果の関連情報を表示することで、医師である術者による内視鏡挿入形状の正確な把握と、操作情報提供ができ、内視鏡による検査の効率が向上すると共に、患者に与える不快感を大幅に低減できる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明に係る内視鏡挿入形状解析装置の第１の実施形態について図１乃至図６を用いて説明する。
【００１７】
図１は本発明に係る内視鏡挿入形状解析を行う画像処理装置を用いた電子内視鏡システムの全体構成を示すブロック図、図２は本発明に係る電子内視鏡システムの画像処理装置における挿入位置座標系を説明する説明図、図３は本発明に係る電子内視鏡システムの内視鏡挿入形状観測装置で生成される挿入位置検出データのデータ構造を説明する説明図、図４は本発明に係る電子内視鏡システムの画像処理装置の第１の実施形態である内視鏡画像や挿入形状データ等の処理作用を説明するフローチャート、図５は本発明に係る電子内視鏡システムの画像処理装置の第１の実施形態である被検体の伸展検出作用を説明するフローチャート、図６は本発明に係る電子内規鏡システムの画像処理装置において、内視鏡検査時にディスプレイに表示される表示画面を説明する説明図である。
【００１８】
最初に本発明の第１の実施形態に係る内視鏡挿入形状を解析する画像処理装置を用いた電子内視鏡システム１を図１を用いて説明する。
【００１９】
電子内視鏡システム１は、内視鏡装置２と、内視鏡挿入形状観測装置３、及び画像処理装置４から構成されている。
【００２０】
内視鏡装置２は、電子内視鏡１２、ビデオプロセッサ１０、光源装置１１、及び観察モニタ１４からなっている。
【００２１】
電子内視鏡１２は、図示していないが、被検体である体腔の管腔内に挿入される細長の挿入部先端に電子撮像素子が設けられ、その電子撮像素子を駆動制御して管腔内の観察部位の撮像映像信号を生成出力させると共に、挿入部内に設けたライトガイドにより管腔内の観察部位を照明する観察光が照射されるようになっている。
【００２２】
更に、電子内視鏡１２の挿入部の先端部分には、湾曲部が設けられ、挿入部基端に設けられた操作部から湾曲操作可能になっている。
【００２３】
更にまた、電子内視鏡１２の操作部には、レリーズスイツチ１２ａが設けられ、かつ、ビデオプロセッサ１０との間で電子撮像素子を駆動制御したり、撮像生成された撮像映像信号を送受信するケーブルと、光源装置１１からの観察光をライトガイドに導くライトガイドケーブル等が設けられている。
【００２４】
また、電子内視鏡１２は、図示していないが、管腔での挿入部の挿入位置や形状を検出するための検出機能が設けられている。この挿入の位置や形状検出機能は、図示していない、内視鏡の挿入部に所定の間隔で設けられた複数のソースコイルと、内視鏡挿入形状観測装置３に設けられた複数のセンスコイルを有するセンスコイルユニット１９からなっている。
【００２５】
ビデオプロセッサ１０は、前記電子内視鏡１２の電子撮像素子を駆動制御すると共に、電子撮像素子で光電変換して撮像生成された動画の映像信号を所定の信号処理を行い、輝度信号や色信号からなるＹ／Ｃ信号、またはＲＧＢ信号等を生成する。
【００２６】
このビデオプロセッサ１０で生成された輝度信号と色信号からなるＹ／Ｃ信号またはＲＧＢ信号は、観察モニタ１４と、画像処理装置１５へと直接出力されるようになっている。
【００２７】
また、前記レリーズスイッチ１２ａが操作されると、撮像画像の静止画像の出力指示が可能となっている。
【００２８】
なお、ビデオプロセッサ１０には、図示していないが、内視鏡検査に関する検査情報を入力する機能を有している。
【００２９】
光源装置１１は、照明光源であるランプと、そのランプの点灯回路等からなり、ランプ点灯時に投射された照明光を前記電子内視鏡１２のライトガイドヘと供給し、挿入部先端から管腔の観察部位へと投射される。
【００３０】
観察モニタ１４は、前記ビデオプロセッサ１０で生成されたＹ／Ｃ信号またはＲＧＢ信号等を基に内視鏡画像を表示するものである。
【００３１】
内視鏡挿入形状観測装置３は、内視鏡装置２の周辺装置であり、電子内視鏡１２に設けられたソースコイルからの磁界を検出するセンスコイルユニット１９と、このセンスコイルユニット１９によって検出された磁界に基づいて内視鏡挿入部の形状を推定する形状処理装置１３と、この形状処理装置１３によって推定された内視鏡挿入部の形状を表示するモニタ（ディスプレイ）１３ｂからなっている。
【００３２】
形状処理装置１３は、ソースコイルを駆動する駆動信号を電子内視鏡１２に出力してソースコイルに磁界を発生させ、この磁界を検出するセンスコイルユニット１９からの検出信号に基づいて、各ソースコイルの位置座標データの算出や、その算出された位置座標データから内視鏡挿入部の形状を推定している。また、推定した内視鏡挿入部の形状をモニタ１３ｂに表示するための挿入部形状画像信号を生成すると共に、画像処理装置４に出力する内視鏡挿入部の形状を示す３次元座標情報、及び形状表示属性等の挿入形状データを生成するように構成されている。
【００３３】
なお、この内視鏡挿入形状観測装置３は、形状処理装置１３で処理生成されてモニタ１３ｂに表示される挿入部形状画像の回転角、拡大縮小率等の形状表示属性を、図示していない操作パネルからの指示入力により、変更可能となっている。
【００３４】
前記形状処理装置１３で生成された挿入形状データは、画像処理装置４へ出力可能となっている。
【００３５】
なお、この内視鏡挿入形状観測装置３は、内視鏡検査中、挿入形状データを連続的に画像処理装置４へ出力すると共に、前記電子内視鏡１２に設けられているレリーズスイツチ１２ａの操作時の挿入形状データのみを出力させることもできる。
【００３６】
画像処理装置４は、パーソナルコンピュータ（以下、単にＰＣと称する）１５と、このＰＣ１５に各種指示入力するためのマウス１６とキーボード１７と、及びＰＣ１５で処理された各種情報データや画像情報を再生表示するディスプレイ１８からなっている。
【００３７】
更に、ＰＣ１５には、前記内視鏡挿入形状観測装置３の形状処理装置１３の通信ポート１３ａから出力される挿入形状データを取り込む通信ポート１５ａ、前記内視鏡装置２のビデオプロセッサ１０の通信ポート１０ａから出力される内視鏡検査情報を取り込む通信ポート１５ｂと、及び前記内視鏡２のビデオプロセッサ１０で生成された動画映像信号を所定の圧縮画像データに変換する動画像入力ボード１５ｃを有している。
【００３８】
つまり、画像処理装置４の動画像入力ボード１５ｃには、前記ビデオプロセッサ１０で生成された動画像の映像信号が入力されて、その動画像の映像信号を所定の圧縮動画映像信号データ、例えば、ＭＪＰＥＧ形式の圧縮画像データに変換して、ＰＣ１５の図示していない記録装置に保存される。
【００３９】
なお、一般的には、内視鏡検査開始前には、ビデオプロセッサ１０から、内視鏡検査に関連する検査情報が入力され、その入力された検査情報データを基に観察モニタ１４に文字や数字の形式で表示されると共に、その検査情報データは、通信ポート１０ａから通信ポート１５ｂを介して、画像処理装置４に送信記録することも可能である。
【００４０】
なお、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コード、及び検査日時などである。
【００４１】
つまり、画像処理装置４は、必要に応じてビデオプロセッサ１０と接続して、ビデオプロセッサ１０からの各種情報データを受信保存するようになっている。
【００４２】
このような構成の電子内視鏡システム１における内視鏡挿入形状観測装置３における挿入形状データの生成について図２と図３を用いて説明する。
【００４３】
内視鏡挿入形状観測装置３は、前記電子内視鏡１２の電子撮像素子で撮像生成される撮像映像信号の１フレーム毎に電子内視鏡１２の挿入部に内蔵されたＭ個のソースコイルの３次元座標を含む挿入形状データを生成する。この挿入形状データを基に挿入部形状画像を生成して、ディスプレイ１３ｂに表示すると共に、挿入形状データは画像処理装置４に出力供給する。
【００４４】
この内視鏡挿入形状観測装置３で検出するソースコイルの座標系は、図２に示すように、電子内視鏡１２の挿入部に挿入形状推定のためのＭ個のソースコイルが内蔵されており、第ｊフレームの挿入部先端から数えてｉ番目（ただし、ｉ＝０、１、…、Ｍ−１）のソースコイルの３次元座標（Ｘ^ｊ _ｉ，Ｙ^ｊ _ｉ，Ｚ^ｊ _ｉ）を表すようになっている。
【００４５】
この内視鏡挿入形状観測装置３で検出したソースコイルの座標系を示す挿入形状データの構造は、図３に示すように、１つのフレームに関係するデータが１つのパケットとして送信される。１つのパケット内には、挿入形状データの取得作成時刻、表示属性情報、付属情報、ソースコイル座標等のデータからなっている。このソースコイル座標データは、電子内視鏡１２の挿入部に内蔵されているソースコイルの３次元座標が挿入部先端から挿入部の基端に設けられている操作部側に向かって順に並んで配置されるようになっている。尚、内視鏡挿入形状観測装置３の検出範囲外のソースコイルの座標は、所定の定数が設定されるようになっているものとする。
【００４６】
次に、前記画像処理装置４における前記内視鏡装置２のビデオプロセッサ１０からの検査情報と内視鏡画像、及び前記内視鏡挿入形状観測装置３の形状処理装置１３からの挿入形状データの取得記録処理作用、並びに被検体である大腸の伸展検出について、図４乃至図６を用いて説明する。
【００４７】
この処理動作は、画像処理装置４に設けられた検査用アプリケーションをＰＣ１５に展開駆動させることで実現する。
【００４８】
内視鏡検査を始めるにあたり、ビデオプロセッサ１０では検査情報を入力し、画像処理装置４のＰＣ１５では検査用アプリケーションが起動される。この検査用アプリケーションを起動されるとディスプレイ１８には、図６に示す検査ウィンドウ１００と内視鏡画像ウィンドウ１０５が表示されるようになっている。
【００４９】
この画像処理装置４のＰＣ１５に検査用アプリケーションが展開駆動し、前記ディスプレィ１８に検査ウィンドウ１００が表示されると、ＰＣ１５はステップＳ１で、ビデオプロセッサ１０からの検査情報及び内視鏡画像データ、内視鏡挿入形状観測装置３の形状処理装置１３からの挿入形状データを受信保存するモードに設定される。
【００５０】
次に、ＰＣ１５はステップＳ２で、術者がマウス１６またはキーボード１７を操作して、前記検査ウィンドウ１００に表示された検査開始ボタン（図中ＳｔａｒｔＥｘａｍ．と表記）１０１がオン操作されたかどうか判断する。検査開始ボタン１０１がオン操作されるまで待機し、オン操作されるとステップＳ３以降が実行される。
【００５１】
ＰＣ１５はステップＳ３で、通信ポート１５ａを開き、内視鏡挿入形状観測装置３の形状処理装置１３との通信を開始し、ステップＳ４で、通信ポート１５ｂを開き、ビデオプロセッサ１０との通信を開始する。
【００５２】
ＰＣ１５はステップＳ５で、ビデオプロセッサ１０に対して、検査情報の取得コマンドを通信ポート１５ｂからビデオプロセッサ１０の通信ポート１０ａに送信し、この検査情報取得コマンドを受信したビデオプロセッサ１０は、検査情報をＰＣ１５へと送信する。
【００５３】
このステップＳ５でビデオプロセッサ１０から送信され検査情報をＰＣ１５は、ステップＳ６で図示していない記録装置に記録保存する。
【００５４】
次に、ＰＣ１５はステップＳ７で、通信ポート１５ａから形状処理装置１３の通信ポート１３ａに対して挿入形状データの取得コマンドを送信し、その挿入形状データ取得コマンドを受信した形状処理装置１３は、挿入形状データの送信出力を開始する。この送信は、ＰＣ１５と形状処理装置１３の間の通信が終了し、通信ポート１５ａが閉じられるまで続けられる。
【００５５】
ＰＣ１５はステップＳ８で、前記ステップＳ７で形状処理装置１３から送信出力された挿入形状データを受信し、前記ステップＳ６で記録保存した検査情報と関連づけて、ＰＣ１５に設けられている図示していないハードディスクにファイル記録保存する（以下、挿入形状ファイルと称する）。
【００５６】
次に、ＰＣ１５はステップＳ９で、動画像入力ボード１５ｃに前記ビデオプロセッサ１０から入力された動画映像信号をＭＪＰＥＧ形式の圧縮画像データに変換して、前記ステップＳ６で記録保存した検査情報と関連付けて、ＰＣ１５の図示していないハードディスクにファイル記録保存する（以下、画像ファイルと称する）と共に、前記動画像入力ボード１５ｃに入力されている動画像を図６に示す内視鏡画像ウィンドウ１０５の内視鏡画像領域１０６に表示させる。
【００５７】
次に、ＰＣ１５はステップＳ１０で、図５に示すステップＳ２１以降の警告処理が実行されて、この警告処理が終了すると、ＰＣ１５はステップＳ１１で、検査ウィンドウ１００の検査終了ボタン（図中ＥｎｄＥｘａｍ．と表記）１０２が操作されたか判断し、検査終了ボタン１０２が操作されていないと判定されると前記ステップＳ８に戻り、検査終了ボタン１０２が操作されたと判定されると、ステップＳ１２で、通信ポート１５ａ、１５ｂを閉じて形状処理装置１３とビデオプロセッサ１０との情報データの通信を終了させる。
【００５８】
前記ステップＳ１０の警告処理について、図５を用いて説明する。このステップＳ１０の警告処理は、被検体である大腸の伸展検出処理である。前記電子内視鏡１２の挿入部先端がほぼ停止した状態で、内視鏡挿入部の大腸内での挿人長が伸びていれば大腸が伸展していると考えられるために、内視鏡挿入部の挿人長検出により大腸伸展を検出するものである。
【００５９】
前記ＰＣ１５はステップＳ２１で、前記ステップＳ８で取得記録した現時点のフレームの挿入形状データの前のフレームにおける挿入形状データが取得されているか判定し、前フレームの挿入形状データが取得されてないと判定されると、ステップＳ１１以降の処理に移行する。
【００６０】
前記ステップＳ２１で、前フレームの挿入形状データが取得されていると判定されると、ＰＣ１５はステップＳ２２で、前フレームと現時点フレームの挿入形状データから、電子内視鏡１２の挿入部先端の移動量ｄｉｆを数式１から算出する。
【００６１】
【数１】

この数式１により算出される移動量ｄｉｆは、挿入部の先端からｍ個のデータのみを使用している。この移動量ｄｉｆの算出は、数式１に限定されるものではなく、たとえばユークリッド距離を用いてもよい。
【００６２】
前記ステップＳ２２において数式１で算出した移動量ｄｉｆである挿入部先端の移動距離は、ステップＳ２３で所定の閾値と比較され、移動量ｄｉｆである移動距離が所定の閾値より大きいと挿入部先端は挿入移動中と判定してステップＳ１１以降の処理に移行し、閾値よりも小さいと挿入部先端は停止状態と判定されて、ステップＳ２４以降が実行される。
【００６３】
ＰＣ１５はステップＳ２４で、挿入形状観測装置３の形状処理装置１３で検知している現時点のフレームの電子内視鏡１２の挿入部の長さを求める。この電子内視鏡１２の挿入部の長さは、例えば、形状処理装置１３で生成する挿入形状データの有効なソースコイル座標データ数を基に内視鏡挿入部の長さを算出する。
【００６４】
次に、ＰＣ１５はステップＳ２５で、前記ステップＳ２４で算出した現時点のフレームの挿入部の長さと、この現時点のフレームの前のフレームの内視鏡挿入部の長さとを比較する。このステップＳ２５の比較の結果、現フレームの内視鏡挿入部の長さが前フレームの内視鏡挿入部の長さよりも長いと挿入部は挿入移動中と判定してステップＳ１１以降の処理に移行し、現フレームの内視鏡挿入部の長さが前フレームの内視鏡挿入部の長さよりも短いと挿入部は停止もしくは引き抜き状態と判定されて、ステップＳ２６以降が実行される。
【００６５】
ＰＣ１５は前記ステップＳ２５で前フレーム時の挿入部の長さよりも現フレームの挿入部の長さが短いことは、大腸の伸展が生じていないと判定し、ステップＳ２６において、内視鏡の挿入部先端が停止し、かつ、現フレームの内視鏡挿入部の長さが前フレーム時の長さの方が長いことが所定のフレーム数続いたかどうか判定する。
【００６６】
このステップＳ２６で、前記電子内視鏡の挿入部先端が停止状態で、前フレームの挿入部の長さの増加状態が所定のフレーム数続いていないと大腸伸展は生じていないと判定されて、前記ステップＳ１１以降の処理が実行され、前記電子内視鏡の挿入部先端が停止状態で、挿入部の長さの増加状態が所定のフレーム数継続すると大腸伸展が生じたと判定されて、ステップＳ２７が実行される。
【００６７】
ＰＣ１５はステップＳ２７で、大腸の伸展が生じたことを警告するための警告信号を生成して、内視鏡挿入部の形状に関する情報の提供として、警告音を発生したり、図６の検査ウィンドウ１００の警告表示部１１０に警告メッセージを表示させる。尚、警告表示は文字だけでなく、警告図形表示部１１１へのアイコン等の図形表示や、あるいは警告表示を点滅表示させる。
【００６８】
以上説明したように、本発明の画像処理装置は、現フレームと前フレームの複数の挿入形状データにより、実際に挿入されている内視鏡挿入部の動きに応じて内視鏡挿入部の形状に関する情報を提供することができ、観察部位である大腸等の伸展も素早く容易に検出判定して術者に対して速やかに警告認知させることができる。
【００６９】
なお、この画像処理装置４では、挿入形状観測装置３からの挿入形状データを基に、大腸の伸展を検出警告についてのみ説明したが、内視鏡画像と挿入形状データの閲覧を可能とするビューアを用意し、指定した挿入形状データに対して大腸の伸展を検出することも可能である。
【００７０】
次に、電子内視鏡システム１の原｜像処理装置４の第２の実施形態を図７乃至図８を用いて説明する。
【００７１】
この第２の実施形態の電子内視鏡システム１の構成は、前述した第１の実施形態と同様で、かつ、画像処理装置４における内視鏡装置２と内視鏡挿入形状観測装置３からの内視鏡画像や挿入形状データの処理方法は、基本的に同じである。
【００７２】
この第２の実施形態で前述した第１の実施形態との相違は、画像処理装置４によるステップＳ１０の警告処理の処理方法が異なり、このステップＳ１０における第２の実施形態の警告処理は、図７に示すステップＳ４１以降の処理が実行される。
【００７３】
前記ＰＣ１５はステップＳ４１で、前記ステップＳ８で取得記録した現時点のフレームの挿入形状データの前のフレームにおける挿入形状データが取得されているか判定し、前フレームの挿入形状データが取得されてないと判定されると、ステップＳ１１以降の処理に移行する。
【００７４】
前記ステップＳ４１で、前フレームの挿入形状データが取得されていると判定されると、ＰＣ１５はステップＳ４２で、前フレームと現時点フレームの挿入形状データから、電子内視鏡１２の挿入部先端の移動量ｄｉｆ１を数式２から算出する。
【００７５】
【数２】

この数式２により算出される移動量ｄｉｆ１は、挿入部の先端からｍ１個のデータのみを使用している。この移動量ｄｉｆ１の算出は、数式２に限定されるものではなく、たとえばユークリッド距離を用いてもよい。
【００７６】
前記ステップＳ４２で数式２で算出した移動量ｄｉｆ１である挿入部先端の移動距離は、ステップＳ４３で所定の閾値と比較され、移動量ｄｉｆ１である移動距離が所定の閾値より大きいと挿入部先端は挿入移動中と判定してステップＳ１１以降の処理に移行し、閾値よりも小さいと挿入部先端は停止状態と判定されて、ステップＳ４４以降が実行される。
【００７７】
ＰＣ１５はステップＳ４４で、前記ステップＳ４２と同様に、前フレームと現時点フレームの挿入形状データから、電子内視鏡１２の挿入部の操作部側からの移動量ｄｉｆ２を数式３から算出する。
【００７８】
【数３】

このステップＳ４４で数式３で算出した移動量ｄｉｆ２である挿入部の操作部側の移動距離は、ステップＳ４５で所定の閾値と比較され、移動量ｄｉｆ２である移動距離が所定の閾値より小さいと挿入部の操作部側は停止中と判定してステップＳ１１以降の処理に移行し、閾値よりも大きいと挿入部の操作部側は移動中と判定されて、ステップＳ４６以降が実行される。
【００７９】
次に、ＰＣ１５はステップＳ４６で、数式４により図８に示すように、現フレームである第ｊフレームと前フレームである第ｊ−１フレームの第ｉ番目のコイル座標を使って挿入部先端の移動の向きと、前フレームである第ｊ−１フレームの第ｉ番目と第ｉ十１番目のコイル座標により挿入部の向きの成す角度Ａｎｇ^ｊ _１を求める。
【００８０】
【数４】

すなわち、図８において（Ｘ^ｊ−１ _ｉ，Ｙ^ｊ−１ _ｉ，Ｚ^ｊ−１ _ｉ）と（Ｘ^ｊ−１ _ｉ−１，Ｙ^ｊ−１ _ｉ−１，Ｚ^ｊ−１ _ｉ−１）が成すベクトルＶｅｃ２の向きが挿入部の向き、（Ｘ^ｊ−１ _ｉ，Ｙ^ｊ−１ _ｉ，Ｚ^ｊ−１ _ｉ）と（Ｘ^ｊ _ｉ，Ｙ^ｊ _ｉ，Ｚ^ｊ _ｉ）が成すベクトルＶｅｃ１の向きが挿入部先端の移動の向きを表す。ここで、ｉはあらかじめ与えているコイル番号を用いる。
【００８１】
次に、ＰＣ１５はステップＳ４７で、前記ステップＳ４６で求めた角度Ａｎｇ^ｊ _１を所定の閾値と比較して電子内視鏡１２の挿入部が挿入部の向きに挿入されているかを判断する。この挿入部の先端の移動方向と、挿入部先端の方向との成す角Ａｎｇ^ｊ _１が、所定の閾値より小さい場合は、術者が電子内視鏡１２の挿入操作を行っている判断して、ステップＳ４８以降が実行され、所定の閾値よりも大きい場合は、電子内視鏡１２の挿入操作が行われていないと判断して前記ステップＳ１１以降の処理に移行する。
【００８２】
前記ステップＳ４７で電子内視鏡１２の挿入操作が行われていると判断されると、ＰＣ１５はステップＳ４８で、電子内視鏡１２の挿入操作を行っている状態が所定のフレーム数続いているかどうかを判断し、所定フレーム数続いていないと判断されると、前記ステップＳ１１以降の処理の移行し、所定フレーム数続いていると判断されると大腸の伸展が起きていると判定されて、ステップＳ４９で、内視鏡挿入部の形状に関する情報の提供として警告を発生させる。警告方法は、たとえば、ＰＣ１５により警告音を発生させたり、図６に示す検査ウィンドウの警告表示部１１０に警告メッセージを表示させるなどが考えられる。また、警告表示は、文字だけでなく、アイコンなどの図形でもよく、かつ、それら文字図形を点滅表示させてもよい。
【００８３】
これにより、被検体である患者の違和感の原因となる可能性がある大腸の伸展の検出が容易となる。
【００８４】
なお、画像処理装置４で、挿入形状観測装置３からの挿入形状データを受信する際に、大腸の伸展を検出警告についてのみ説明したが、内視鏡画像と挿入形状データの閲覧を可能とするビューアを用意し、指定した挿入形状データに対して大腸の伸展を検出することも可能である。
【００８５】
次に、本発明に係る電子内視鏡システムの画像処理装置の第３の実施形態を図９乃至図１０を用いて説明する。
【００８６】
この第３の実施形態の電子内視鏡システム１の構成は、前述した第１の実施形態と同様で、かつ、画像処理装置４における内視鏡装置２と内視鏡挿入形状観測装置３からの内視鏡画像や挿入形状データの処理方法は、基本的に同じである。
【００８７】
この第３の実施形態の前述した第１の実施形態との相違は、電子内視鏡１２の挿入部先端にある角度（アングル）を与えた状態で挿入操作を行った場合の検出処理である。内視鏡挿入部先端にアングルを与えた状態で内視鏡挿入部の挿入方向を観察せずに内視鏡の挿入操作されると、被検体の患者に不快感を与えることになる。この内視鏡挿入先端にアングルを与えた状態での挿入操作を警告するものである。
【００８８】
この内視鏡挿入部先端にアングルを与えた状態での挿入操作の検出は、前述の第１の実施形態と同様に画像処理装置４で設けられる検査アプリケーションとして実現される。この検査アプリケーションがＰＣ１５に起動されると、ディスプレイ１８には図６に示す検査ウィンドウ１００が表示されるが、この検査アプリケーションの動作は、前記ステップＳ１〜Ｓ１２の動作と同じである。ただし、ステップＳ１０で実行する警告処理が図９に示すステップＳ６１以降の処理となる。
【００８９】
前記ＰＣ１５はステップＳ６１で、前記ステップＳ８で取得記録した現時点のフレームの挿入形状データの前のフレームにおける挿入形状データが取得されているか判定し、前フレームの挿入形状データが取得されてないと判定されると、ステップＳ１１以降の処理に移行する。
【００９０】
前記ステップＳ６１で、前フレームの挿入形状データが取得されていると判定されると、ＰＣ１５はステップＳ６２で、前フレームと現時点フレームの挿入形状データから、電子内視鏡１２の挿入部先端の角度Ａｎｇ^ｊ _１を求める。この角度Ａｎｇ^ｊ _１は、数式５により図１０に示すように、内視鏡挿入部先端からｍ個のソースコイルの座標のうち連続した３点を順に選択して角度Ａｎｇ^ｊ _１を求める。なお、Ｖｅｃ３とＶｅｃ４の始点をそろえて考えた角度が大きい方が挿入部先端の屈曲が大きい。
【００９１】
【数５】

次に、ＰＣ１５はステップＳ６３で、前記ステップＳ６２で複数求めた角度Ａｎｇ^ｊ _１を所定の閾値と比較して、その角度Ａｎｇ^ｊ _１のうち所定の閾値よりも大きい値のものがあれば、内視鏡挿入部先端にアングルが与えられていると判断されて、ステップＳ６４以降が実行され、所定閾値よりも大きい角度Ａｎｇ^ｊ _１の値を示すものがないと判断されると前記ステップＳ１１以降の処理に移行する。
【００９２】
前記ステップＳ６３で所定の閾値よりも大きい値を示す角度Ａｎｇ^ｊ _１が存在し、内視鏡挿入部先端にアングルが与えられていると判断されると、ＰＣ１５はステップＳ６４で、挿入形状観測装置３の形状処理装置１３で検知している現時点のフレームの電子内視鏡１２の挿入部の長さを求める。この電子内視鏡１２の挿入部の長さは、例えば、形状処理装置１３で生成する挿入形状データの有効なソースコイル座標データ数を基に内視鏡挿入部の長さを算出する。
【００９３】
次に、ＰＣ１５はステップＳ６５で、前記ステップＳ６４で算出した現時点のフレームの挿入部の長さと、この現時点のフレームの前のフレームの内視鏡挿入部の長さとを比較する。このステップＳ６５の比較の結果、現フレームの内視鏡挿入部の長さが前フレームの内視鏡挿入部の長さよりも長いと挿入部は器官の奥へ挿入移動中と判定してステップＳ６６以降の処理に移行し、現フレームの内視鏡挿入部の長さが前フレームの内視鏡挿入部の長さよりも短いと挿入部は停止もしくは挿入部引き抜き状態と判定されて、ステップＳ１１以降が実行される。
【００９４】
ＰＣ１５は前記ステップＳ６６で、内視鏡挿入部の長さ増加が所定のフレーム数続いたかどうか判定する。
【００９５】
このステップＳ６６で、挿入部の長さの増加状態が所定のフレーム数続いていないと判定されると、前記ステップＳ１１以降の処理に移行し、所定フレーム続いていると判定されると、ステップＳ６７で、内視鏡挿入部先端にアングルを与えた状態で挿入していることを警告するための警告信号を生成して、内視鏡挿入部の形状に関する情報の提供をして警告音を発生したり、図６の検査ウィンドウ１００の警告表示部１１０に警告メッセージを表示させる。尚、警告表示は文字だけでなく、アイコン等の図形表示や、あるいは点滅表示させる。
【００９６】
これにより、現フレームと前フレームの複数の挿入形状データにより、実際に挿入されている内視鏡挿入部の動きに応じて内視鏡挿入部の形状に関する情報を提供することができ、患者の不快感の要因となる内視鏡挿入部先端にアングルを与えた状態での挿入操作を検出警告することが可能となる。また、アングルを与えた状態の挿入操作警告は、画像と形状データの閲覧を可能とするビューアを用意し、指定した挿入形状データに対して同様の警告することも可能である。
【００９７】
次に、本発明に係る内視鏡挿入形状解析装置の第４の実施形態を図１１乃至図１２を用いて説明する。
【００９８】
この第４の実施形態の電子内視鏡システム１の構成は、前述した第１の実施形態と同様で、かつ、画像処理装置４における内視鏡装置２と内視鏡挿入形状観測装置３からの内視鏡画像や挿入形状データの処理方法も基本的に同じである。
【００９９】
この第４の実施形態は、前述した第３の実施形態とは、異なる電子内視鏡１２の挿入部先端に異なるアングルを与えた状態で挿入操作を行った場合の検出処理である。
【０１００】
この内視鏡挿入部先端にアングルを与えた状態での挿入操作の検出は、前述の第３の実施形態と同様に画像処理装置４で設けられる検査アプリケーションとして実現される。この検査アプリケーションがＰＣ１５に起動されると、ディスプレイ１８には図６に示す検査ウィンドウ１００が表示されるが、この検査アプリケーションの動作は、前記ステップＳ１〜Ｓ１２の動作は同じである。ただし、ステップＳ１０で実行する処理が図１１に示すステップＳ８１以降の処理となる。
【０１０１】
前記ＰＣ１５はステップＳ８１で、前記ステップＳ８で取得記録した現時点のフレームの挿入形状データの前のフレームにおける挿入形状データが取得されているか判定し、前フレームの挿入形状データが取得されてないと判定されると、ステップＳ１１以降の処理に移行する。
【０１０２】
前記ステップＳ８１で、前フレームの挿入形状データが取得されていると判定されると、ＰＣ１５はステップＳ８２で、前フレームと現時点フレームの挿入形状データから、電子内視鏡１２の挿入部先端の角度Ａｎｇ^ｊ _１を数式５により図１０に示すように内視鏡挿入部先端からｍ個のソースコイルの座標のうち連続した３点を順に選択して角度Ａｎｇ^ｊ _１を求める。
【０１０３】
次に、ＰＣ１５はステップＳ８３で、前記ステップＳ８２で複数求めた角度Ａｎｇ^ｊ _１を所定の閾値と比較して、その角度Ａｎｇ^ｊ _１のうち所定の閾値よりも大きい値のものがあれば、内視鏡挿入部先端にアングルが与えられていると判断されて、ステップＳ８４以降が実行され、所定閾値よりも大きい角度Ａｎｇ^ｊ _１の値を示すものがないと判断されると前記ステップＳ１１以降の処理に移行する。
【０１０４】
前記ステップＳ８３で所定の閾値よりも大きい値を示す角度Ａｎｇ^ｊ _１が存在し、内視鏡挿入部先端にアングルが与えられていると判断されると、ＰＣ１５はステップＳ８４で、前フレームと現時点フレームの挿入形状データから、電子内視鏡１２の挿入部の操作部の移動の向きと、挿入部操作部側の向きの成す角度を数式４により図８に示すように、現フレームである第ｊフレームと前フレームである第ｊ−１フレームの第ｉ番目のコイル座標を使って挿入部操作部の移動の向きと、前フレームである第ｊ−１フレームの第ｉ番目と第ｉ十１番目のコイル座標により挿入部操作部の向きの成す角度Ａｎｇ^ｊ _１を求める。
【０１０５】
すなわち、図８において（Ｘ^ｊ−１ _ｉ，Ｙ^ｊ−１ _ｉ，Ｚ^ｊ−１ _ｉ）と（Ｘ^ｊ−１ _ｉ−１，Ｙ^ｊ−１ _ｉ−１，Ｚ^ｊ−１ _ｉ−１）が成すベクトルＶｅｃ２の向きが挿入部の向き、（Ｘ^ｊ−１ _ｉ，Ｙ^ｊ−１ _ｉ，Ｚ^ｊ−１ _ｉ）と（Ｘ^ｊ _ｉ，Ｙ^ｊ _ｉ，Ｚ^ｊ _ｉ）が成すベクトルＶｅｃ１の向きが挿入部先端の移動の向きを表す。ここで、ｉはあらかじめ与えているコイル番号を用いる。
【０１０６】
次に、ＰＣ１５はステップＳ８５で、前記ステップＳ８４で求めた角度Ａｎｇ^ｊ _１から電子内視鏡１２の挿入部の操作部が挿入されているか所定の閾値と比較して判断する。この挿入部操作部の移動方向と、挿入部操作部の移動方向との成す角Ａｎｇ^ｊ _１が、所定の閾値より小さい場合は、術者が電子内視鏡１２の挿入部の操作部を挿入操作を行っている判断して、ステップＳ８６以降が実行され、所定の閾値よりも大きい場合は、電子内視鏡１２の挿入部操作部の挿入操作が行われていないと判断して前記ステップＳ１１以降の処理に移行する。
【０１０７】
前記ステップＳ８５で、電子内視鏡１２の挿入部操作部が挿入操作されていると判断されると、ＰＣ１５はステップＳ８６で、数式４により図８に示すように現フレームである第ｊフレームと前フレームである第ｊ−１フレームの第ｉ番目のコイル座標を使って挿入部先端の移動の向きを、前フレームである第ｊ−１フレームの第１番目と第ｉ十１番目のコイル座標により挿入部の向きの成す角度Ａｎｇ^ｊ _１を求める。
【０１０８】
すなわち、図８において（Ｘ^ｊ−１ _ｉ，Ｙ^ｊ−１ _ｉ，Ｚ^ｊ−１ _ｉ）と（Ｘ^ｊ−１ _ｉ−１，Ｙ^ｊ−１ _ｉ−１，Ｚ^ｊ−１ _ｉ−１）が成すベクトルＶｅｃ２の向きが挿入部の向き、（Ｘ^ｊ−１ _ｉ，Ｙ^ｊ−１ _ｉ，Ｚ^ｊ−１ _ｉ）と（Ｘ^ｊ _ｉ，Ｙ^ｊ _ｉ，Ｚ^ｊ _ｉ）が成すベクトルＶｅｃ１の向きが挿入部先端の移動の向きを表す。ここで、ｉはあらかじめ与えているコイル番号を用いる。
【０１０９】
次に、ＰＣ１５はステップＳ８７で、前記ステップＳ８６で求めた角度Ａｎｇ^ｊ _１から電子内視鏡１２の挿入部先端が観察方向と異なる別の方向へ挿入されているかを判断する。この挿入部先端の移動方向の判断は、挿入部先端の方向との成す角Ａｎｇ^ｊ _１が、所定の閾値より大きい場合は、内視鏡の挿入部先端が観察方向と異なる方向に挿入されていると判断する。このステップＳ８７で、内視鏡の挿入部先端が観察方向と異なる方向に挿入されていると判断されるとステップＳ８８以降が実行され、内視鏡の挿入先端が観察方向に挿入されていると判断されると前記ステップＳ１１以降の処理に移行する。
【０１１０】
前記ステップＳ８７で内視鏡の挿入部先端が観察方向と異なる方向に挿入されていると判断されると、ＰＣ１５はステップＳ８８で、観察方向と異なる別の方向への挿入操作が所定のフレーム数続いているどうかを判断し、所定フレーム数続いていないと判断されると、前記ステップＳ１１以降の処理に移行し、所定フレーム数続いていると判断されると内視鏡の操作部が挿入操作され挿入部先端にアングルを与えた状態で挿入操作していると判定されて、ステップＳ８９で、警告を発生させる。警告方法は、たとえば、ＰＣ１５により警告音を発生させたり、図６に示す検査ウィンドウ１００の警告表示部１１０に警告メッセージを表示させるなどが考えられる。また、警告表示は、文字だけでなく、アイコンなどの図形でもよく、かつ、それら文字図形を点滅表示させてもよい。
【０１１１】
これにより、被検体である患者の違和感の原因となるアングルを与えた状態での挿入の検出が容易となる。
【０１１２】
なお、画像処理装置４で、挿入形状観測装置３からの挿入形状データを受信する際に、挿入部先端にアングルを与えた状態の挿入を検出警告についてのみ説明したが、内視鏡画像と挿入形状データの閲覧を可能とするビューアを用意し、指定した挿入形状データに対して同様な警告をすることも可能である。
【０１１３】
次に、本発明に係る内視鏡挿入形状解析装置の第５の実施形態を図１２乃至図１８を用いて説明する。
【０１１４】
この第５の実施形態の電子内視鏡システム１の構成は、前述した第１の実施形態と同様で、かつ、画像処理装置４における内視鏡装置２と内視鏡挿入形状観測装置３からの内視鏡画像や挿入形状データの処理方法は、基本的と同じである。
【０１１５】
この第５の実施形態は、例えば、大腸内視鏡において、内視鏡の挿入部を大腸に挿入していく過程でループを形成することがある。このループは、その形状によりαループ、Ｎループ、γループ等と称せられている。
【０１１６】
このようなループにより被検体である患者に与える違和感を軽減したり、挿入部の挿人性を向上する目的のため、内視鏡挿入部のループを解除して直線化させる操作が行われる。
【０１１７】
このような内視鏡挿入部の挿入操作時にループが形成された際に、そのループ状態を認識表示すると共に、内視鏡挿入部の直線化操作方法を表示することにより、内視鏡挿入部の挿入性の向上と内視鏡検査の時間の短縮化、及び患者の不快感軽減を図るものである。
【０１１８】
この内視鏡挿入部先端に形成されたループの検出は、前述の第１の実施形態と同様に画像処理装置４で設けられる検査アプリケーションとして実現される。この検査アプリケーションがＰＣ１５に起動されると、ディスプレイ１８には図６に示す検査ウィンドウ１００が表示されるが、この検査アプリケーションの動作は、前記ステップＳ１〜Ｓ１２の動作は同じである。ただし、ステップＳ１０で実行する処理が図１２に示すステップＳ１０１以降の処理となる。
【０１１９】
ここで、この第５の実施形態で内視鏡挿入部のループ状態を認識し、直線化させるための内視鏡操作を行う例として、（１）ループが時計、または反時計まわりであるか。ループの回転の向きは、内視鏡挿入部の先端から操作部側に沿った向きと考える。（２）内視鏡挿入部のループ形成部分の先端側と操作部側のどちらが視点側にあるか。の２つを用いる。
【０１２０】
尚、内視鏡挿入形状は、曲線と考えることができるため、ループの認識、回転の向きの判定には、曲線の特徴抽出技術が使用できる。
【０１２１】
そのために、この実施形態の説明においては、簡単のため挿入形状をＸ，Ｙ軸に投影した２次元曲線で考え、例えば、Ｐ形フーリエ記述子を使用する。Ｐ形フーリエ記述子は、電子情報通信学会論文誌Ｖｏｌ．ｊ６７−ＡＮｏ．３に詳述されている。
【０１２２】
この手法は、まず曲線をＶｎ個（Ｖｎは分割数で正数）の線分で分割し、その線分の端点を複素表示して、各点での全曲率関数を定義し、全曲率関数をフーリエ変換して得られたパワースペクトルを曲線の特徴としている。
【０１２３】
また、時計回り及び反時計回りの円状のループ形状のＰ形フーリエ記述子による特徴をあらかじめ記憶しておき、それぞれの形状のパワースペクトルをＣｑ（ｋ）、（ｋ＝０、…、Ｖｎ−１）とする。ｑ＝０は時計回り、ｑ＝１は反時計回りとする。
【０１２４】
ＰＣ１５はステップＳ１０１で、ループ形成候補を決定する。円状のループを形成している場合は、ソースコイルとソースコイルが接近しているため、２つのソースコイルの距離が所定の閾値より小さい部分をループ形成候補とする。
【０１２５】
次に、ＰＣ１５はステップＳ１０２で、ループ形成候補の曲線をＶｎ個の線分に分割し、Ｐ形フーリエ記述子によりパワースペクトルＣ（ｋ）、（ｋ＝０、…、Ｖｎ−１）を求める。Ｖｎ個の線分の端点を挿入部先端側から（Ｐｘ０，Ｐｙ０，Ｐｚ０）、…、（ＰｘＶｎ，ＰｙＶｎ，ＰｚＶｎ）とする。Ｐ形フーリエ記述子では、ｘｙ成分のみを用いる。
【０１２６】
次に、ＰＣ１５はステップＳ１０３で、パワースペクトルＣｑ（ｋ）とパワースペクトルＣ（ｋ）のユークリッド距離を求める。このステップＳ１０３で求められたユークリッド距離は、ステップＳ１０４で、所定の閾値と比較され、求められたユークリッド距離が閾値よりも小さい場合は、ループを形成していると判断される。このループ判断において、Ｃ０（ｋ）とＣ１（ｋ）の両方が閾値より小さければ、小さい方への回転方向と判断する。ループがない場合は、前記ステップＳ１１以降の処理に移行する。
【０１２７】
前記ステップＳ１０４でループがあると判断されると、ＰＣ１５はステップＳ１０５において、（ＰｘＶｎ，ＰｙＶｎ，ＰｚＶｎ）、（ＰｘＶｎ−１，ＰｙＶｎ−１，ＰｚＶｎ−１）、（ＰｘＶｎ−２，ＰｙＶｎ−２，ＰｚＶｎ−２）を用いてループが形成されている平面Ｓを決定する。次に、ステップＳ１０６で、前記平面Ｓの法線ベクトルを求め、内視鏡挿入部を観察する向きを示す視線ベクトルと成す角θを求める。次に、ステップＳ１０７で、挿入部先端側の（Ｐｘ０、Ｐｙ０、Ｐｚ０）の座標を平面Ｓの式に代入して、平面Ｓに対して視点側にあるのか、または視点と反対側にあるのか決定する。
【０１２８】
この平面Ｓの視点側にあるのか、または視点と反対側にあるのかの判断方法は、（１）角θが９０度より大きく、代入結果が正であれば視点側（図１３参照）、（２）角θが９０度より大きく、代入結果が負であれば視点と反対側（図１３参照）、（３）角θが９０度以下であり、代入結果が正であれば視点と反対側（図１４参照）、（４）角θが９０度以下であり、代入結果が負であれば視点側（図１４参照）となる。
【０１２９】
前記ステップＳ１０７のループの方向と挿入部先端と平面Ｓとの関係からステップＳ１０８で、内視鏡の操作方法、つまりループ解除方法を決定する。このループ解除方法の判断基準の例は、次の通りである。
【０１３０】
（１）反時計回りで先端部が視点と反対側の場合、時計回りに内視鏡を回転操作する（図１５参照）、（２）時計回りで先端部が視点側の場合、時計回りに内視鏡を回転操作する（図１６参照）、（３）時計回りで先端部が視点と反対側の場合、反時計回りに内視鏡を回転操作する（図１７参照）、（４）反時計回りで先端部が視点側の場合、反時計回りに内視鏡を回転操作する（図１８参照）。
【０１３１】
次に、ＰＣ１５はステップＳ１０９で、前記ステップＳ１０８で設定されたループ解除方法を内視鏡操作の情報（操作を促す情報）の提供として前記検査ウィンドウ１００の操作方法表示部１１１に表示させる。
【０１３２】
なお、この操作方法表示部１１１の表示は、図６に示すように、矢印などで時計回りや反時計回りに内視鏡回転操作を示す図形やアイコン、または操作説明言葉で表示したり、あるいは、音声による指示を用いることもできる。
【０１３３】
また、画像処理装置４で、挿入形状観測装置３からの挿入形状データを受信する際の解除操作表示を示したが、内視鏡画像と挿入形状データの閲覧を可能とするビューアを用意し、指定した挿入形状データに対して同様な表示を行うことも可能である。
【０１３４】
このように、挿入形状を認識し、ループの状態を認識表示し、その挿入操作の提示により、内視鏡の挿人性向上と内視鏡検査の時間の短縮化、及び患者に与える苦痛軽減となる。
【０１３５】
なお、前記した第１乃至第５の実施形態を実現させる画像処理装置４は、電子内視鏡システム１を構成する１つの機能としたり、もしくは内視鏡挿入形状観測装置３に搭載しても良い。または、前記挿入形状観測装置３、および電子内視鏡システム１を構成する統合した機能とすることもできる。
【０１３６】
さらに、前述の第１と乃至第５の実施形態では、内視鏡挿入部の形状を推定する機構としては、磁気を発生するソースコイル群と磁気を検出するセンスコイル群のうち、いずれか一方を内視鏡挿入部に搭載し、センスコイル群により検出した磁気により形状を推定する例を用いて説明したが、例えば、曲げることにより伝送損失が生じる光ファイバを利用し、この光ファイバを内視鏡挿入部に設けて、光ファイバを透過する光量の変化に応じて挿入部の曲げを検出する方法や、フレキシブル基板に特殊インクを塗布し、基板の曲げに比例して抵抗値が変化する特性を利用する等のその他の検出方法を用いても良い。
【０１３７】
［付記］
以上詳述した本発明の実施形態によれば、以下のごとき構成を得ることができる。
【０１３８】
（付記１）体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出手段と、
前記形状検出手段で検出した内視鏡挿入部の形状を複数記憶する形状記憶手段と、
前記形状記憶手段に記憶された複数の内視鏡挿入部の形状を基に、内視鏡挿入部の形状を解析する形状解析手段と、
前記形状解析手段による解析の結果に応じて、内視鏡挿入部の形状に関する情報を提供する情報提供手段と、
を備えたことを特徴とする内視鏡挿入形状解析装置。
【０１３９】
（付記２）体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出手段と、
前記形状検出手段で検出された内視鏡挿入部の形状を解析する形状解析手段と、
前記形状解析手段による解析の結果に応じて、内視鏡操作の情報を提供する情報提供手段と、
を備えたことを特徴とする内視鏡挿入形状解析装置。
【０１４０】
（付記３）体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出ステップと、
前記形状検出ステップで検出され，た内視鏡挿入部の形状を複数記憶する形状記憶ステップと、
前記形状記憶ステップで記憶され，た複数の内視鏡の挿入部の形状を基に、内視鏡挿入部の形状を解析する形状解析ステップと、
前記形状解析ステップによる解析の結果に応じて、内視鏡挿入部の形状に関する情報を提供する情報提供ステップと、
を備えたことを特徴とする内視鏡挿入形状解析方法。
【０１４１】
（付記４）体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出ステップと、
前記形状検出ステップで検出された内視鏡挿入部の形状を解析する形状解析ステップと、
前記形状解析ステップによる解析の結果に応じて、内視鏡操作の情報を提供する情報提供ステップと、
を備えたことを特徴とする内視鏡挿入形状解析方法。
【０１４２】
（付記５）前記形状検出手段は磁界を発生する複数の磁界発生手段と、前記磁界発生手段の磁界を検出する複数の磁界検出手段と、前記磁界発生手段又は磁界検出手段を挿入部に配置し、
前記磁界検出手段の検出結果に基づいて、挿入部の形状を推定する形状推定手段と、からなることを特徴とする付記１又は付記２のいずれかに記載の内視鏡挿入形状解析装置。
【０１４３】
（付記６）前記形状検出手段は、挿入部の特定部分の物理量を検出する手段を複数配置し、前記検出された物理量の結果と配置位置に基づいて挿入部の形状を推定する形状推定手段と、からなることを特徴とする付記１又は付記２のいずれかに内視鏡挿入形状解析装置。
【０１４４】
（付記７）前記挿入部の特定部分の物理量を検出する手段は、複数の歪みを検出するセンサからなることを特徴とする付記６の内視鏡挿入形状解析装置。
【０１４５】
（付記８）前記挿入部の特定部分の物理量を検出する手段は、複数の圧力を検出するセンサからなることを特徴とする付記６の内視鏡挿入形状解析装置。
【０１４６】
（付記９）前記挿入部の特定部分の物理量を検出する手段は、複数の変位を検出するセンサからなることを特徴とする付記項６の内視鏡挿入形状解析装置。
【０１４７】
（付記１０）前記形状解析手段は、前記挿入部の特定部分の移動量を算出する手段と、前記挿入部の特定部分の移動量から挿入部の状態を推定する手段と、からなることを特徴とする付記１の内視鏡挿入形状解析装置。
【０１４８】
（付記１１）前記形状解析手段は、挿入部のループ形状を検出する手段からなることを特徴とする付記２の内視鏡挿入形状解析装置。
【０１４９】
（付記１２）前記情報提供手段は、前記解析手段の結果の情報を表示装置に表示することを特徴とする付記１に記載の内視鏡挿入形状解析装置。
【０１５０】
（付記１３）前記情報提供手段は、前記解析手段の結果の情報を音又は音声によって提示することを特徴とする付記１又は付記１２のいずれかに記載の内視鏡挿入形状解析装置。
【０１５１】
（付記１４）前記操作情報提供手段は、前記解析手段の結果に応じてループ解除の方法の情報を提供することを特徴とする付記２の内視鏡挿入形状解析装置。
【０１５２】
（付記１５）前記操作情報提供手段は、前記解析手段の結果に応じて内視鏡操作の情報を表示装置に表示することを特徴とする付記２又は付記項１４の内視鏡挿入形状解析装置。
【０１５３】
（付記１６）前記操作情報提供手段は、前記解析手段の結果に応じて内視鏡操作の情報を音又は音声によって提示することを特徴とする付記２、付記１４又は付記１５のいずれかに記載の内視鏡挿入形状解析装置。
【０１５４】
（付記１７）前記表示装置に表示する情報が文字及び／又は図形であることを特徴とする付記１２又は付記１５のいずれかに記載の内視鏡挿入形状解析装置。
【０１５５】
【発明の効果】
本発明の内視鏡挿入形状解析装置及び内視鏡挿入形状解析方法は、内視鏡挿入部の挿入形状を解析した際に、内視鏡の挿入性向上につながる情報の提供を行うことができ、内視鏡検査時間の短縮と患者への不快感の軽減が可能となる効果を有している。
【図面の簡単な説明】
【図１】本発明に係る内視鏡挿入形状解析を行う画像処理装置を用いた電子内視鏡システムの全体構成を示すブロック図。
【図２】本発明に係る電子内視鏡システムの画像処理装置における挿入位置座標系を説明する説明図。
【図３】本発明に係る電子内視鏡システムの内視鏡挿入形状観測装置で生成される挿入位置検出データのデータ構造を説明する説明図。
【図４】本発明に係る電子内視鏡システムの画像処理装置の第１の実施形態である内視鏡画像や挿入形状データ等の処理作用を説明するフローチャート。
【図５】本発明に係る電子内視鏡システムの画像処理装置の第１の実施形態である被検体の伸展検出作用を説明するフローチャート。
【図６】本発明に係る電子内視鏡システムの画像処理装置において、内視鏡検査時にディスプレイに表示される表示画面を説明する説明図。
【図７】本発明に係る電子内視鏡システムの画像処理装置の第２の実施形態における内視鏡先端部のアングル検出作用を説明するフローチャート。
【図８】本発明に係る電子内視鏡システムの画像処理装置の第２の実施形態における内視鏡挿入部の向きと挿入部移動向きのなす角を説明する説明図。
【図９】本発明に係る電子内視鏡システムの画像処理装置の第３の実施形態における内視鏡先端部のアングル検出及び警告作用を説明するフローチャート。
【図１０】本発明に係る電子内視鏡システムの画像処理装置の第３の実施形態における内視鏡先端部のアングル検出を説明する説明図。
【図１１】本発明に係る電子内視鏡システムの画像処理装置の第４の実施形態における内視鏡先端部のアングル検出及び警告作用を説明するフローチャート。
【図１２】本発明に係る電子内視鏡システムの画像処理装置の第５の実施形態における内視鏡挿入部のループ検出及びループ解除方法表示作用を説明するフローチャート。
【図１３】本発明に係る電子内視鏡システムの画像処理装置の第５の実施形態における内視鏡挿入部のループの状態を説明する説明図。
【図１４】本発明に係る電子内視鏡システムの画像処理装置の第５の実施形態における内視鏡挿入部のループの状態を説明する説明図。
【図１５】本発明に係る電子内視鏡システムの画像処理装置の第５の実施形態における内視鏡挿入部のループ解除方法を説明する説明図。
【図１６】本発明に係る電子内視鏡システムの画像処理装置の第５の実施形態における内視鏡挿入部のループ解除方法を説明する説明図。
【図１７】本発明に係る電子内視鏡システムの画像処理装置の第５の実施形態における内視鏡挿入部のループ解除方法を説明する説明図。
【図１８】本発明に係る電子内視鏡システムの画像処理装置の第５の実施形態における内視鏡挿入部のループ解除方法を説明する説明図。
【符号の説明】
１…電子内視鏡システム
２…内視鏡装置
３…内視鏡挿入形状観測装置
４…画像処理装置
１０…ビデオプロセッサ
１１…光源装置
１２…電子内視鏡
１３…形状処理装置
１４…観察モニタ
１５…パーソナルコンピュータ（ＰＣ）
１６…マウス
１７…キーボード
１８…ディスプレイ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an endoscope insertion shape analysis apparatus that analyzes an insertion shape of an endoscope insertion section in a body cavity and displays the insertion shape information as an image to improve the operability of inserting the endoscope.
[0002]
[Prior art]
In general, an electronic endoscope has an elongated and flexible insertion portion provided with an electronic imaging element at the tip, and this insertion portion is inserted from the outside into a lumen in a body cavity which is a subject, and the insertion portion has a distal end. Observing the inside of a lumen from an image reproduced on a monitor screen based on an image signal generated and generated by the electronic imaging device, and collecting a living tissue with a treatment forceps inserted from a forceps channel provided in an insertion portion And therapeutic treatments.
[0003]
By the way, when inserting and observing an endoscope in a curved lumen such as a large intestine or a small intestine, the position of the endoscope insertion portion is inserted into the lumen of the lumen. Or, if it becomes clear what shape the endoscope insertion portion has, the operability of the observation treatment by the endoscope will be improved.
[0004]
For this reason, there has been proposed an endoscope shape detection device that can use any lumen without harming the position at which the insertion portion of the endoscope is inserted into the lumen, the insertion shape, and the like to a human body as a subject. .
[0005]
For example, a source coil composed of a plurality of first coils, a sense coil composed of a plurality of second coils for detecting magnetic fields from the plurality of first coils of the source coil, and any one of the source coil and the sense coil And a shape estimating means for estimating the shape of the endoscope insertion portion based on the magnetic field of the source coil detected by the sense coil. There is an endoscope shape detecting device that detects a loop shape from the insertion portion shape estimated by the shape estimating means and generates a warning when the loop shape is detected. reference).
[0006]
[Patent Document 1]
JP-A-2000-175861 (columns 0011 to 0049, FIGS. 1 to 10).
[0007]
[Problems to be solved by the invention]
Conventionally, the operator's consciousness in the examination of a subject by an endoscope is mainly focused on an endoscope image generated by imaging a site to be observed in a lumen, and a shape detection device of an endoscope insertion unit is used as necessary. In general, a style in which an insertion part shape image generated and displayed is viewed.
[0008]
In this endoscopy, when the shape of the insertion portion forms a loop, an endoscope having an endoscope insertion support function that detects that the loop has been formed, issues a warning, and alerts the operator. A mirror shape detecting device has been proposed in Patent Document 1 mentioned above.
[0009]
Further, in order to improve the insertability, it is desired to provide information according to the movement of the endoscope insertion portion to be actually inserted, or to provide information indicating an endoscope insertion method, an operation instruction, and the like. ing.
[0010]
The present invention has been made in view of such a demand, and analyzes an endoscope insertion section shape, and provides an endoscope insertion shape analysis capable of providing information leading to an improvement in endoscope insertability. It is intended to provide a device.
[0011]
[Means for Solving the Problems]
An endoscope insertion shape analyzing apparatus according to the present invention includes an endoscope having an insertion portion to be inserted into a body cavity, a shape detection means for detecting a shape of the endoscope insertion portion, and an inner shape detected by the shape detection means. Shape storage means for storing a plurality of shapes of the endoscope insertion portion, and shape analysis means for analyzing the shape of the endoscope insertion portion based on the shapes of the plurality of endoscope insertion portions stored in the shape storage means. And information providing means for providing information on the shape of the endoscope insertion section in accordance with the result of the analysis by the shape analyzing means.
[0012]
An endoscope insertion shape analysis device of the present invention includes an endoscope having an insertion portion to be inserted into a body cavity, shape detection means for detecting the shape of the endoscope insertion portion, and detection by the shape detection means. It is characterized by comprising a shape analyzing means for analyzing a shape of the endoscope insertion portion, and an information providing means for providing information on an endoscope operation in accordance with a result of the analysis by the shape analyzing means.
[0013]
An endoscope insertion shape analysis method according to the present invention includes an endoscope having an insertion portion to be inserted into a body cavity, a shape detection step of detecting a shape of the endoscope insertion portion, and a shape detection step. A shape storage step of storing a plurality of shapes of the endoscope insertion section; and a shape analysis for analyzing a shape of the endoscope insertion section based on the shapes of the plurality of endoscope insertion sections stored in the shape storage step. And an information providing step of providing information on the shape of the endoscope insertion section in accordance with a result of the analysis by the shape analysis step.
[0014]
An endoscope insertion shape analysis method according to the present invention includes an endoscope having an insertion portion to be inserted into a body cavity, a shape detection step of detecting a shape of the endoscope insertion portion, and a shape detection step. It is characterized by comprising a shape analyzing step of analyzing the shape of the endoscope insertion section, and an information providing step of providing information on an endoscope operation in accordance with a result of the analysis by the shape analyzing step.
[0015]
An endoscope insertion shape analysis apparatus and an endoscope insertion shape analysis method of the present invention are configured to display relevant information of an analysis result when an insertion shape of an endoscope insertion portion is analyzed, thereby providing an operator as a doctor. Can accurately grasp the insertion shape of the endoscope and provide operation information, thereby improving the efficiency of the examination with the endoscope and greatly reducing discomfort to the patient.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. A first embodiment of the endoscope insertion shape analyzing apparatus according to the present invention will be described with reference to FIGS.
[0017]
FIG. 1 is a block diagram showing the overall configuration of an electronic endoscope system using an image processing device for performing an endoscope insertion shape analysis according to the present invention, and FIG. 2 is an image processing device of the electronic endoscope system according to the present invention. FIG. 3 is an explanatory diagram illustrating an insertion position coordinate system in FIG. 3, and FIG. 3 is an explanatory diagram illustrating a data structure of insertion position detection data generated by the endoscope insertion shape observation device of the electronic endoscope system according to the present invention. 5 is a flowchart for explaining a processing operation of an endoscope image, insertion shape data, and the like according to the first embodiment of the image processing device of the electronic endoscope system according to the present invention, and FIG. 5 is an electronic endoscope according to the present invention. FIG. 6 is a flowchart for explaining an extension detection operation of a subject, which is the first embodiment of the image processing apparatus of the system. FIG. 6 is an image processing apparatus of the electronic endoscope system according to the present invention. It is an explanatory view illustrating a display screen that.
[0018]
First, an electronic endoscope system 1 using an image processing device for analyzing an endoscope insertion shape according to a first embodiment of the present invention will be described with reference to FIG.
[0019]
The electronic endoscope system 1 includes an endoscope device 2, an endoscope insertion shape observation device 3, and an image processing device 4.
[0020]
The endoscope device 2 includes an electronic endoscope 12, a video processor 10, a light source device 11, and an observation monitor 14.
[0021]
Although not shown, the electronic endoscope 12 is provided with an electronic image pickup device at a distal end of an elongated insertion portion to be inserted into a lumen of a body cavity which is a subject. In addition to generating and outputting an imaged video signal of the observation site in the inside, observation light for illuminating the observation site in the lumen is irradiated by a light guide provided in the insertion portion.
[0022]
Further, a bending portion is provided at a distal end portion of the insertion portion of the electronic endoscope 12, and a bending operation can be performed from an operation portion provided at a base end of the insertion portion.
[0023]
Furthermore, a release switch 12a is provided on the operation unit of the electronic endoscope 12, and a cable for controlling the drive of an electronic image pickup device with the video processor 10 and transmitting / receiving an image pickup image signal generated and imaged. And a light guide cable or the like for guiding observation light from the light source device 11 to the light guide.
[0024]
Although not shown, the electronic endoscope 12 is provided with a detection function for detecting the insertion position and the shape of the insertion section in the lumen. This insertion position and shape detection function are not shown, and a plurality of source coils provided at predetermined intervals in an insertion portion of the endoscope and a plurality of sense coils provided in the endoscope insertion shape observation device 3 are provided. It comprises a sense coil unit 19 having coils.
[0025]
The video processor 10 controls the driving of the electronic image pickup device of the electronic endoscope 12 and performs predetermined signal processing on a video signal of a moving image captured and generated by photoelectric conversion by the electronic image pickup device to generate a luminance signal and a color signal. , Or an RGB signal or the like.
[0026]
The Y / C signal or the RGB signal including the luminance signal and the chrominance signal generated by the video processor 10 is directly output to the observation monitor 14 and the image processing device 15.
[0027]
When the release switch 12a is operated, an instruction to output a still image of a captured image is possible.
[0028]
Although not shown, the video processor 10 has a function of inputting examination information relating to endoscopy.
[0029]
The light source device 11 includes a lamp as an illumination light source, a lighting circuit of the lamp, and the like, supplies illumination light projected when the lamp is turned on to the light guide of the electronic endoscope 12, and supplies a light from the distal end of the insertion portion to the lumen. Is projected to the observation site.
[0030]
The observation monitor 14 displays an endoscope image based on the Y / C signal or the RGB signal generated by the video processor 10.
[0031]
The endoscope insertion shape observation device 3 is a peripheral device of the endoscope device 2, and includes a sense coil unit 19 that detects a magnetic field from a source coil provided in the electronic endoscope 12, and a sense coil unit 19. A shape processing device 13 for estimating the shape of the endoscope insertion portion based on the detected magnetic field, and a monitor (display) 13b for displaying the shape of the endoscope insertion portion estimated by the shape processing device 13 I have.
[0032]
The shape processing device 13 outputs a drive signal for driving the source coil to the electronic endoscope 12 to generate a magnetic field in the source coil, and based on the detection signal from the sense coil unit 19 for detecting the magnetic field, The position coordinate data of the coil is calculated, and the shape of the endoscope insertion section is estimated from the calculated position coordinate data. In addition, it generates an insertion portion shape image signal for displaying the estimated shape of the endoscope insertion portion on the monitor 13b, and outputs three-dimensional coordinate information indicating the shape of the endoscope insertion portion to be output to the image processing device 4. And insert shape data such as a shape display attribute are generated.
[0033]
Note that the endoscope insertion shape observation device 3 does not show shape display attributes such as a rotation angle and an enlargement / reduction ratio of an insertion portion shape image which is generated by the shape processing device 13 and displayed on the monitor 13b. It can be changed by inputting an instruction from the operation panel.
[0034]
The inserted shape data generated by the shape processing device 13 can be output to the image processing device 4.
[0035]
The endoscope insertion shape observation device 3 continuously outputs the insertion shape data to the image processing device 4 during the endoscopic examination, and simultaneously operates the release switch 12 a provided in the electronic endoscope 12. It is also possible to output only the insertion shape data at the time of operation.
[0036]
The image processing apparatus 4 reproduces and displays a personal computer (hereinafter, simply referred to as a PC) 15, a mouse 16 and a keyboard 17 for inputting various instructions to the PC 15, and various information data and image information processed by the PC 15. Display 18.
[0037]
Further, the PC 15 has a communication port 15a for taking in the insertion shape data output from the communication port 13a of the shape processing device 13 of the endoscope insertion shape observation device 3, and a communication port of the video processor 10 of the endoscope device 2. A communication port 15b for receiving endoscopic inspection information output from the endoscope 10a; and a moving image input board 15c for converting a moving image signal generated by the video processor 10 of the endoscope 2 into predetermined compressed image data. are doing.
[0038]
That is, the video signal of the moving image generated by the video processor 10 is input to the moving image input board 15c of the image processing device 4, and the video signal of the moving image is converted into predetermined compressed moving image video signal data, for example, The image data is converted into MJPEG format compressed image data and stored in a recording device (not shown) of the PC 15.
[0039]
Generally, before the endoscope examination is started, examination information related to the endoscope examination is input from the video processor 10, and characters or characters are input to the observation monitor 14 based on the inputted examination information data. In addition to being displayed in the form of numbers, the inspection information data can be transmitted and recorded to the image processing apparatus 4 from the communication port 10a through the communication port 15b.
[0040]
The test information includes, for example, the patient's name, date of birth, gender, age, patient code, test date and time, and the like.
[0041]
That is, the image processing device 4 is connected to the video processor 10 as necessary, and receives and stores various information data from the video processor 10.
[0042]
Generation of insertion shape data in the endoscope insertion shape observation device 3 in the electronic endoscope system 1 having such a configuration will be described with reference to FIGS. 2 and 3.
[0043]
The endoscope insertion shape observation device 3 includes M source coils incorporated in the insertion portion of the electronic endoscope 12 for each frame of an imaged video signal generated by the electronic imaging device of the electronic endoscope 12. Is generated. Based on the insert shape data, an insert shape image is generated and displayed on the display 13b, and the insert shape data is output and supplied to the image processing device 4.
[0044]
As shown in FIG. 2, the coordinate system of the source coil detected by the endoscope insertion shape observation device 3 is such that M insertion coils for the insertion shape estimation are built in the insertion portion of the electronic endoscope 12. And the three-dimensional coordinates (X) of the i-th source coil (i = 0, 1,.^j _i, Y^j _i, Z^j _i).
[0045]
In the structure of the insertion shape data indicating the coordinate system of the source coil detected by the endoscope insertion shape observation device 3, as shown in FIG. 3, data relating to one frame is transmitted as one packet. One packet includes data such as the acquisition time of insertion shape data, display attribute information, attached information, and source coil coordinates. In the source coil coordinate data, the three-dimensional coordinates of the source coil built in the insertion section of the electronic endoscope 12 are arranged in order from the tip of the insertion section to the operation section provided at the base end of the insertion section. It is to be arranged. It is assumed that the coordinates of the source coil outside the detection range of the endoscope insertion shape observation device 3 are set to predetermined constants.
[0046]
Next, the inspection information and the endoscope image from the video processor 10 of the endoscope device 2 in the image processing device 4 and the insertion shape data from the shape processing device 13 of the endoscope insertion shape observation device 3 are output. The acquisition recording processing operation and the detection of the extension of the large intestine as the subject will be described with reference to FIGS.
[0047]
This processing operation is realized by developing and driving the inspection application provided in the image processing apparatus 4 on the PC 15.
[0048]
When starting the endoscopic examination, the video processor 10 inputs examination information, and the PC 15 of the image processing apparatus 4 starts an examination application. When the examination application is started, the examination window 100 and the endoscope image window 105 shown in FIG. 6 are displayed on the display 18.
[0049]
When the inspection application is developed and driven on the PC 15 of the image processing apparatus 4 and the inspection window 100 is displayed on the display 18, the PC 15 determines in step S1 the inspection information and the endoscope image data from the video processor 10 The mode is set to receive and store the insertion shape data from the shape processing device 13 of the endoscope insertion shape observation device 3.
[0050]
Next, in step S2, the PC 15 determines whether or not the operator operates the mouse 16 or the keyboard 17 to turn on the examination start button (noted as Start Exam.) 101 displayed in the examination window 100. I do. The process waits until the inspection start button 101 is turned on, and when it is turned on, step S3 and subsequent steps are executed.
[0051]
In step S3, the PC 15 opens the communication port 15a and starts communication with the shape processing device 13 of the endoscope insertion shape observation device 3, and in step S4 opens the communication port 15b and starts communication with the video processor 10. I do.
[0052]
In step S5, the PC 15 transmits a test information acquisition command to the video processor 10 from the communication port 15b to the communication port 10a of the video processor 10, and the video processor 10 that has received the test information acquisition command transmits the test information to the video processor 10. Send it to PC15.
[0053]
In step S5, the PC 15 records the inspection information transmitted from the video processor 10 in a recording device (not shown) in step S6.
[0054]
Next, in step S7, the PC 15 transmits an insertion shape data acquisition command from the communication port 15a to the communication port 13a of the shape processing device 13, and the shape processing device 13, which has received the insertion shape data acquisition command, The transmission output of the shape data is started. This transmission is continued until the communication between the PC 15 and the shape processing device 13 ends and the communication port 15a is closed.
[0055]
In step S8, the PC 15 receives the inserted shape data transmitted and output from the shape processing device 13 in step S7 and associates the inserted shape data with the inspection information recorded and stored in step S6. (Hereinafter, referred to as an insertion shape file).
[0056]
Next, in step S9, the PC 15 converts the moving image video signal input from the video processor 10 to the moving image input board 15c into compressed image data in MJPEG format, and associates it with the inspection information recorded and stored in step S6. A file is stored in a hard disk (not shown) of the PC 15 (hereinafter, referred to as an image file), and the moving image input to the moving image input board 15c is viewed in an endoscope image window 105 shown in FIG. It is displayed in the mirror image area 106.
[0057]
Next, in step S10, the PC 15 executes a warning process after step S21 shown in FIG. 5, and when this warning process ends, in step S11, the PC 15 issues an inspection end button (End Exam. It is determined whether or not the inspection end button 102 has been operated. If it is determined that the inspection end button 102 has not been operated, the process returns to step S8. If it is determined that the inspection end button 102 has been operated, the communication port 15a and 15b are closed to terminate the communication of information data between the shape processing device 13 and the video processor 10.
[0058]
The warning process in step S10 will be described with reference to FIG. The warning process in step S10 is an extension detection process of the large intestine, which is the subject. If the insertion length of the insertion portion of the endoscope in the large intestine is extended while the distal end of the insertion portion of the electronic endoscope 12 is almost stopped, it is considered that the large intestine is extended. The extension of the large intestine is detected by detecting the insertion length of the insertion portion.
[0059]
In step S21, the PC 15 determines whether or not the insertion shape data of the frame preceding the insertion shape data of the current frame acquired and recorded in step S8 has been acquired, and determines that the insertion shape data of the previous frame has not been acquired. Then, the processing shifts to the processing after step S11.
[0060]
If it is determined in step S21 that the insertion shape data of the previous frame has been acquired, the PC 15 moves the insertion end of the electronic endoscope 12 from the insertion shape data of the previous frame and the current frame in step S22. The quantity dif is calculated from Equation 1.
[0061]
(Equation 1)

The movement amount dif calculated by Expression 1 uses only m pieces of data from the tip of the insertion section. The calculation of the movement amount dif is not limited to Expression 1, and for example, the Euclidean distance may be used.
[0062]
The moving distance of the distal end of the insertion portion, which is the moving amount dif calculated by Expression 1 in step S22, is compared with a predetermined threshold in step S23. If the moving distance of the moving amount dif is larger than the predetermined threshold, the distal end of the insertion portion is If it is determined that the insertion movement is being performed, the process proceeds to step S11 and the subsequent steps. If it is smaller than the threshold value, the distal end of the insertion portion is determined to be in the stopped state, and the steps after step S24 are executed.
[0063]
In step S24, the PC 15 obtains the length of the insertion portion of the electronic endoscope 12 of the current frame detected by the shape processing device 13 of the insertion shape observation device 3. The length of the insertion portion of the electronic endoscope 12 is calculated, for example, based on the number of valid source coil coordinate data of the insertion shape data generated by the shape processing device 13.
[0064]
Next, in step S25, the PC 15 compares the length of the insertion portion of the current frame calculated in step S24 with the length of the endoscope insertion portion of the frame before the current frame. As a result of the comparison in step S25, if the length of the endoscope insertion portion of the current frame is longer than the length of the endoscope insertion portion of the previous frame, the insertion portion is determined to be in the insertion movement, and the process proceeds to step S11 and subsequent steps. When the transition is made and the length of the endoscope insertion portion of the current frame is shorter than the length of the endoscope insertion portion of the previous frame, the insertion portion is determined to be in the stopped or pulled-out state, and step S26 and subsequent steps are executed.
[0065]
The PC 15 determines in step S25 that the length of the insertion portion of the current frame is shorter than the length of the insertion portion in the previous frame, and that extension of the large intestine has not occurred. In step S26, the insertion portion of the endoscope is determined. It is determined whether the end is stopped and the length of the endoscope insertion portion of the current frame is longer than that of the previous frame for a predetermined number of frames.
[0066]
In this step S26, when the distal end of the insertion portion of the electronic endoscope is in a stopped state, it is determined that the colon extension has not occurred unless the increase state of the length of the insertion portion of the previous frame continues for a predetermined number of frames. When the process of step S11 and subsequent steps is executed, and the insertion portion of the electronic endoscope is in a stopped state, and the length of the insertion portion continues to increase by a predetermined number of frames, it is determined that extension of the large intestine has occurred. Is executed.
[0067]
In step S27, the PC 15 generates a warning signal to warn that extension of the large intestine has occurred, and generates a warning sound to provide information on the shape of the endoscope insertion portion, and generates an alarm window, A warning message is displayed on the warning display unit 110 of the control unit 100. The warning display is not only characters, but also a graphic display such as an icon on the warning graphic display unit 111 or a blinking display of the warning display.
[0068]
As described above, the image processing apparatus of the present invention uses the plurality of insertion shape data of the current frame and the previous frame to change the shape of the endoscope insertion section according to the movement of the endoscope insertion section that is actually inserted. Information can be provided, and the extension of the observation site, such as the large intestine, can be quickly and easily detected and determined, and the operator can be quickly alerted and recognized.
[0069]
In the image processing device 4, only the warning of detection of the extension of the large intestine has been described based on the insertion shape data from the insertion shape observation device 3, but a viewer that allows browsing of the endoscope image and the insertion shape data is described. It is also possible to detect the extension of the large intestine with respect to the specified insertion shape data.
[0070]
Next, a second embodiment of the original / image processing apparatus 4 of the electronic endoscope system 1 will be described with reference to FIGS.
[0071]
The configuration of the electronic endoscope system 1 of the second embodiment is the same as that of the above-described first embodiment, and is different from the endoscope device 2 and the endoscope insertion shape observation device 3 in the image processing device 4. Are basically the same.
[0072]
The difference between the second embodiment and the first embodiment described above is that the processing method of the warning process in step S10 by the image processing device 4 is different. The processing after step S41 shown in FIG. 7 is executed.
[0073]
In step S41, the PC 15 determines whether the insertion shape data of the frame preceding the insertion shape data of the current frame acquired and recorded in step S8 has been acquired, and determines that the insertion shape data of the previous frame has not been acquired. Then, the processing shifts to the processing after step S11.
[0074]
If it is determined in step S41 that the insertion shape data of the previous frame has been acquired, the PC 15 moves the insertion end of the electronic endoscope 12 from the insertion shape data of the previous frame and the current frame in step S42. The quantity dif1 is calculated from Equation 2.
[0075]
(Equation 2)

The movement amount dif1 calculated by Expression 2 uses only m1 data from the tip of the insertion portion. The calculation of the movement amount dif1 is not limited to Expression 2, but may be, for example, a Euclidean distance.
[0076]
The moving distance of the distal end of the insertion portion, which is the moving amount dif1 calculated in step S42, is compared with a predetermined threshold value in step S43. If the moving distance of the moving amount dif1 is larger than the predetermined threshold value, If it is determined that the insertion movement is being performed, the process proceeds to step S11 and the subsequent steps. If it is smaller than the threshold value, the distal end of the insertion portion is determined to be in the stopped state, and the steps after step S44 are executed.
[0077]
In step S44, the PC 15 calculates the amount of movement dif2 of the insertion unit of the electronic endoscope 12 from the operation unit side from Equation 3 based on the insertion shape data of the previous frame and the current frame, as in step S42.
[0078]
(Equation 3)

The movement distance of the insertion unit on the operation unit side, which is the movement amount dif2 calculated by Expression 3 in step S44, is compared with a predetermined threshold value in step S45. If the movement distance that is the movement amount dif2 is smaller than the predetermined threshold value, the insertion is performed. The operation unit side of the unit is determined to be stopped, and the process proceeds to step S11 and subsequent steps. If the operation unit side of the insertion unit is larger than the threshold value, the operation unit side of the insertion unit is determined to be moving, and step S46 and subsequent steps are executed.
[0079]
Next, in step S46, the PC 15 uses the ith coil coordinate of the j-th frame as the current frame and the j-th frame as the previous frame as shown in FIG. Angle Ang formed by the direction of the insertion portion based on the direction of the movement and the coordinates of the i-th and i-th eleventh coils of the j-1 frame which is the previous frame.^j ₁Ask for.
[0080]
(Equation 4)

That is, (X^j-1 _i, Y^j-1 _i, Z^j-1 _i) And (X^j-1 _i-1, Y^j-1 _i-1, Z^j-1 _i-1) Is the direction of the insertion portion, and (X)^j-1 _i, Y^j-1 _i, Z^j-1 _i) And (X^j _i, Y^j _i, Z^j _i) Indicates the direction of movement of the distal end of the insertion portion. Here, the coil number given in advance is used for i.
[0081]
Next, in step S47, the PC 15 determines the angle Ang determined in step S46.^j ₁Is compared with a predetermined threshold value to determine whether the insertion section of the electronic endoscope 12 is inserted in the direction of the insertion section. Angle Ang between the moving direction of the tip of the insertion portion and the direction of the tip of the insertion portion^j ₁Is smaller than the predetermined threshold value, it is determined that the operator is performing the insertion operation of the electronic endoscope 12, and steps S48 and subsequent steps are executed. It is determined that the insertion operation has not been performed, and the processing shifts to the processing after step S11.
[0082]
If it is determined in step S47 that the insertion operation of the electronic endoscope 12 has been performed, the PC 15 determines in step S48 whether the state of performing the insertion operation of the electronic endoscope 12 continues for a predetermined number of frames. If it is determined that the predetermined number of frames has not been continued, the process proceeds to the processing after step S11. If it is determined that the predetermined number of frames has been continued, it is determined that the large intestine has expanded, In step S49, a warning is issued as provision of information on the shape of the endoscope insertion section. As the warning method, for example, a warning sound may be generated by the PC 15 or a warning message may be displayed on the warning display unit 110 of the inspection window shown in FIG. The warning display may be not only characters but also figures such as icons, and the character figures may be displayed by blinking.
[0083]
Thereby, it becomes easy to detect extension of the large intestine which may cause discomfort to the patient who is the subject.
[0084]
In addition, when the image processing device 4 receives the insertion shape data from the insertion shape observation device 3, only the detection and warning of the extension of the large intestine has been described. However, it is possible to view the endoscope image and the insertion shape data. It is also possible to prepare a viewer and detect extension of the large intestine with respect to the specified insertion shape data.
[0085]
Next, a third embodiment of the image processing apparatus of the electronic endoscope system according to the present invention will be described with reference to FIGS.
[0086]
The configuration of the electronic endoscope system 1 according to the third embodiment is the same as that of the above-described first embodiment, and is different from the endoscope device 2 and the endoscope insertion shape observation device 3 in the image processing device 4. Are basically the same.
[0087]
The difference of the third embodiment from the first embodiment described above is the detection processing when the insertion operation is performed in a state where a certain angle (angle) is given to the distal end of the insertion section of the electronic endoscope 12. . If the insertion operation of the endoscope is performed without observing the insertion direction of the endoscope insertion portion in a state where the end of the endoscope insertion portion is provided with an angle, the patient of the subject will be uncomfortable. This is to warn of an insertion operation in a state where an angle is given to the endoscope insertion tip.
[0088]
The detection of the insertion operation in a state where the end of the endoscope insertion portion is given an angle is realized as an inspection application provided in the image processing device 4 as in the first embodiment. When the inspection application is activated on the PC 15, an inspection window 100 shown in FIG. 6 is displayed on the display 18, and the operation of the inspection application is the same as the operation in steps S1 to S12. However, the warning process executed in step S10 is the process after step S61 shown in FIG.
[0089]
In step S61, the PC 15 determines whether or not the insertion shape data of the frame before the insertion shape data of the current frame acquired and recorded in step S8 has been acquired, and determines that the insertion shape data of the previous frame has not been acquired. Then, the processing shifts to the processing after step S11.
[0090]
If it is determined in step S61 that the insertion shape data of the previous frame has been acquired, the PC 15 determines in step S62 the angle of the tip of the insertion portion of the electronic endoscope 12 from the insertion shape data of the previous frame and the current frame. Ang^j ₁Ask for. This angle Ang^j ₁As shown in FIG. 10, three consecutive points of the coordinates of the m source coils from the distal end of the endoscope insertion portion are sequentially selected from the end of the endoscope insertion portion by Expression 5 to obtain the angle Ang.^j ₁Ask for. It should be noted that the larger the angle considered when the starting points of Vec3 and Vec4 are aligned, the greater the bending of the distal end of the insertion portion.
[0091]
(Equation 5)

Next, in step S63, the PC 15 determines the angles Ang determined in step S62.^j ₁Is compared with a predetermined threshold value to determine the angle Ang.^j ₁If any of the values is larger than the predetermined threshold, it is determined that the end of the endoscope insertion portion is angled, and the steps after step S64 are executed, and the angle Ang larger than the predetermined threshold is determined.^j ₁If it is determined that there is no value indicating the value of (i), the processing shifts to the processing after step S11.
[0092]
Angle Ang indicating a value larger than a predetermined threshold value in step S63^j ₁Exists, and it is determined that the angle is given to the distal end of the endoscope insertion portion, the PC 15 determines in step S64 that the electronic frame of the current frame detected by the shape processing device 13 of the insertion shape observation device 3 The length of the insertion portion of the endoscope 12 is obtained. The length of the insertion portion of the electronic endoscope 12 is calculated, for example, based on the number of valid source coil coordinate data of the insertion shape data generated by the shape processing device 13.
[0093]
Next, in step S65, the PC 15 compares the length of the insertion portion of the current frame calculated in step S64 with the length of the endoscope insertion portion of the frame before the current frame. As a result of the comparison in step S65, if the length of the endoscope insertion portion of the current frame is longer than the length of the endoscope insertion portion of the previous frame, it is determined that the insertion portion is being inserted and moved deeper into the organ, and step S66 If the length of the endoscope insertion portion of the current frame is shorter than the length of the endoscope insertion portion of the previous frame, the insertion portion is determined to be stopped or the insertion portion is pulled out, and the process proceeds to step S11 and thereafter. Is executed.
[0094]
In step S66, the PC 15 determines whether the increase in the length of the endoscope insertion portion has continued for a predetermined number of frames.
[0095]
If it is determined in step S66 that the state of increase in the length of the insertion portion has not continued for the predetermined number of frames, the process proceeds to step S11 and the subsequent steps. Generates a warning signal to warn that the endoscope insertion section is inserted with an angle given to the tip, provides information on the shape of the endoscope insertion section, and generates a warning sound Or a warning message is displayed on the warning display section 110 of the inspection window 100 in FIG. The warning display is not only characters but also a graphic display such as an icon or blinking display.
[0096]
With this, it is possible to provide information on the shape of the endoscope insertion section according to the movement of the endoscope insertion section that is actually inserted, based on the plurality of insertion shape data of the current frame and the previous frame, and It is possible to detect and warn an insertion operation in a state where an angle is given to the distal end of the endoscope insertion portion, which causes discomfort. In addition, as for the insertion operation warning in a state where the angle is given, it is also possible to prepare a viewer that allows browsing of the image and the shape data, and perform the same warning for the specified insertion shape data.
[0097]
Next, a fourth embodiment of the endoscope insertion shape analyzing apparatus according to the present invention will be described with reference to FIGS.
[0098]
The configuration of the electronic endoscope system 1 according to the fourth embodiment is the same as that of the above-described first embodiment, and is different from the endoscope device 2 and the endoscope insertion shape observation device 3 in the image processing device 4. Is basically the same as the method of processing the endoscope image and the insertion shape data.
[0099]
The fourth embodiment is a detection process in a case where an insertion operation is performed in a state where different angles are given to the distal end of the insertion section of the different electronic endoscope 12 than the third embodiment described above.
[0100]
The detection of the insertion operation in a state where the end of the endoscope insertion section is given an angle is realized as an inspection application provided in the image processing device 4 as in the third embodiment. When this inspection application is activated on the PC 15, an inspection window 100 shown in FIG. 6 is displayed on the display 18, and the operation of this inspection application is the same as that in steps S1 to S12. However, the processing executed in step S10 is the processing after step S81 shown in FIG.
[0101]
In step S81, the PC 15 determines whether the insertion shape data in the frame preceding the insertion shape data of the current frame acquired and recorded in step S8 has been acquired, and determines that the insertion shape data of the previous frame has not been acquired. Then, the processing shifts to the processing after step S11.
[0102]
If it is determined in step S81 that the insertion shape data of the previous frame has been acquired, the PC 15 determines in step S82 the angle of the tip of the insertion portion of the electronic endoscope 12 from the insertion shape data of the previous frame and the current frame. Ang^j ₁As shown in FIG. 10, three consecutive points are sequentially selected from the coordinates of the m source coils from the distal end of the endoscope insertion portion by using Expression 5, and an angle Ang is selected.^j ₁Ask for.
[0103]
Next, in step S83, the PC 15 determines the angles Ang obtained in step S82.^j ₁Is compared with a predetermined threshold value to determine the angle Ang.^j ₁If any of the values is larger than the predetermined threshold, it is determined that the angle is given to the distal end of the endoscope insertion section, and the steps from step S84 are executed, and the angle Ang larger than the predetermined threshold is executed.^j ₁If it is determined that there is no value indicating the value of (i), the processing shifts to the processing after step S11.
[0104]
Angle Ang indicating a value larger than a predetermined threshold value in step S83^j ₁Exists, and it is determined that the end of the endoscope insertion section is angled, the PC 15 determines in step S84 the operation of the insertion section of the electronic endoscope 12 from the insertion shape data of the previous frame and the current frame. As shown in FIG. 8 according to Equation 4, the direction of the movement of the unit and the direction of the direction of the insertion unit operation unit side are the i-th of the j-th frame which is the current frame and the j-1 frame which is the previous frame. Angle Ang formed by the direction of movement of the insertion unit operation unit using the coil coordinates and the direction of the insertion unit operation unit based on the i-th and i-th eleventh coil coordinates of the j-1 frame, which is the previous frame.^j ₁Ask for.
[0105]
That is, (X^j-1 _i, Y^j-1 _i, Z^j-1 _i) And (X^j-1 _i-1, Y^j-1 _i-1, Z^j-1 _i-1) Is the direction of the insertion portion, and (X)^j-1 _i, Y^j-1 _i, Z^j-1 _i) And (X^j _i, Y^j _i, Z^j _i) Indicates the direction of movement of the distal end of the insertion portion. Here, the coil number given in advance is used for i.
[0106]
Next, in step S85, the PC 15 determines the angle Ang determined in step S84.^j ₁It is determined whether the operation unit of the insertion unit of the electronic endoscope 12 has been inserted from a predetermined threshold value. Angle Ang between the movement direction of the insertion section operation section and the movement direction of the insertion section operation section^j ₁Is smaller than the predetermined threshold, it is determined that the operator is performing an insertion operation on the operation unit of the insertion unit of the electronic endoscope 12, and steps S86 and subsequent steps are executed. Then, it is determined that the insertion operation of the insertion section operation section of the electronic endoscope 12 has not been performed, and the processing shifts to the processing after step S11.
[0107]
If it is determined in step S85 that the insertion section operation section of the electronic endoscope 12 is being inserted, the PC 15 determines in step S86 that the current frame is the j-th frame as shown in FIG. The movement direction of the tip of the insertion portion is determined by using the i-th coil coordinate of the j-1 frame which is the previous frame, and the first and i-th eleventh coil coordinates of the j-1 frame which is the previous frame. Angle Ang formed by the direction of the insertion portion^j ₁Ask for.
[0108]
That is, (X^j-1 _i, Y^j-1 _i, Z^j-1 _i) And (X^j-1 _i-1, Y^j-1 _i-1, Z^j-1 _i-1) Is the direction of the insertion portion, and (X)^j-1 _i, Y^j-1 _i, Z^j-1 _i) And (X^j _i, Y^j _i, Z^j _i) Indicates the direction of movement of the distal end of the insertion portion. Here, the coil number given in advance is used for i.
[0109]
Next, in step S87, the PC 15 determines the angle Ang obtained in step S86.^j ₁Then, it is determined whether the distal end of the insertion section of the electronic endoscope 12 is inserted in another direction different from the observation direction. The determination of the direction of movement of the distal end of the insertion portion is based on the angle Ang with the direction of the distal end of the insertion portion.^j ₁Is larger than the predetermined threshold, it is determined that the distal end of the insertion section of the endoscope is inserted in a direction different from the observation direction. If it is determined in this step S87 that the end of the insertion portion of the endoscope is inserted in a direction different from the observation direction, steps S88 and subsequent steps are executed, and it is determined that the insertion end of the endoscope is inserted in the observation direction. If it is determined, the process proceeds to the processing after step S11.
[0110]
If it is determined in step S87 that the distal end of the insertion portion of the endoscope is inserted in a direction different from the observation direction, the PC 15 determines in step S88 that the insertion operation in another direction different from the observation direction is performed for a predetermined number of frames. It is determined whether or not the operation has continued for a predetermined number of frames. If it is determined that the operation has not continued for a predetermined number of frames, the process proceeds to step S11 and the subsequent steps. Then, it is determined that the insertion operation is being performed in a state where an angle is given to the distal end of the insertion portion, and a warning is generated in step S89. As the warning method, for example, a warning sound may be generated by the PC 15 or a warning message may be displayed on the warning display unit 110 of the inspection window 100 shown in FIG. The warning display may be not only characters but also figures such as icons, and the character figures may be displayed by blinking.
[0111]
Thereby, it becomes easy to detect insertion in a state where an angle that causes discomfort of the patient as a subject is given.
[0112]
In addition, when the image processing device 4 receives the insertion shape data from the insertion shape observation device 3, only the insertion warning in which an angle is given to the distal end of the insertion portion has been described with respect to the detection warning. It is also possible to prepare a viewer that allows browsing of the shape data, and issue a similar warning to the specified inserted shape data.
[0113]
Next, a fifth embodiment of the endoscope insertion shape analyzing apparatus according to the present invention will be described with reference to FIGS.
[0114]
The configuration of the electronic endoscope system 1 of the fifth embodiment is the same as that of the above-described first embodiment, and is different from the endoscope device 2 and the endoscope insertion shape observation device 3 in the image processing device 4. The processing method of the endoscope image and the insertion shape data is basically the same.
[0115]
In the fifth embodiment, for example, in a large intestine endoscope, a loop may be formed in the process of inserting the insertion portion of the endoscope into the large intestine. This loop is called an α loop, an N loop, a γ loop, or the like depending on its shape.
[0116]
For the purpose of reducing the discomfort given to the patient who is the subject by such a loop and improving the insertion property of the insertion section, an operation of releasing the loop of the endoscope insertion section and performing linearization is performed.
[0117]
When a loop is formed during the insertion operation of the endoscope insertion section, the loop state is recognized and displayed, and the method of linearizing the endoscope insertion section is displayed. The purpose of the present invention is to improve the insertability of the medical device, shorten the time required for endoscopy, and reduce the discomfort of the patient.
[0118]
The detection of the loop formed at the end of the endoscope insertion section is realized as an inspection application provided in the image processing device 4 as in the first embodiment. When this inspection application is activated on the PC 15, an inspection window 100 shown in FIG. 6 is displayed on the display 18, and the operation of this inspection application is the same as that in steps S1 to S12. However, the processing executed in step S10 is the processing after step S101 shown in FIG.
[0119]
Here, as an example of recognizing the loop state of the endoscope insertion section and performing the endoscope operation for linearizing in the fifth embodiment, (1) whether the loop is clockwise or counterclockwise . The direction of rotation of the loop is considered to be the direction along the operation unit side from the distal end of the endoscope insertion unit. (2) Which of the loop-forming portion of the endoscope insertion portion, the distal end side and the operation portion side is closer to the viewpoint side? Are used.
[0120]
In addition, since the endoscope insertion shape can be considered as a curve, a curve feature extraction technique can be used for loop recognition and rotation direction determination.
[0121]
Therefore, in the description of this embodiment, for simplicity, the inserted shape is considered as a two-dimensional curve projected on the X and Y axes, and, for example, a P-type Fourier descriptor is used. The P-type Fourier descriptor is described in IEICE Transactions Vol. j67-A No. 3 is detailed.
[0122]
In this method, first, a curve is divided into Vn (Vn is a positive number of segments) line segments, end points of the line segments are displayed in a complex form, a total curvature function at each point is defined, and a total curvature function is defined. Is a characteristic of the curve obtained by performing Fourier transform on.
[0123]
Also, the characteristics of the clockwise and counterclockwise circular loop-shaped P-type Fourier descriptors are stored in advance, and the power spectrum of each shape is represented by Cq (k), (k = 0,..., Vn− 1). q = 0 is clockwise, and q = 1 is counterclockwise.
[0124]
In step S101, the PC 15 determines a loop formation candidate. When a circular loop is formed, since the source coil is close to the source coil, a portion where the distance between the two source coils is smaller than a predetermined threshold is set as a loop formation candidate.
[0125]
Next, in step S102, the PC 15 divides the loop forming candidate curve into Vn line segments, and obtains power spectra C (k), (k = 0,..., Vn-1) using the P-type Fourier descriptor. . The end points of the Vn line segments are (Px0, Py0, Pz0),..., (PxVn, PyVn, PzVn) from the tip end side of the insertion portion. In the P-type Fourier descriptor, only the xy components are used.
[0126]
Next, in step S103, the PC 15 obtains a Euclidean distance between the power spectrum Cq (k) and the power spectrum C (k). The Euclidean distance obtained in step S103 is compared with a predetermined threshold value in step S104. If the obtained Euclidean distance is smaller than the threshold value, it is determined that a loop is formed. In this loop determination, if both C0 (k) and C1 (k) are smaller than the threshold value, it is determined that the rotation direction is smaller. If there is no loop, the processing shifts to the processing after step S11.
[0127]
If it is determined in step S104 that there is a loop, the PC 15 determines in step S105 (PxVn, PyVn, PzVn), (PxVn-1, PyVn-1, PzVn-1), (PxVn-2, PyVn-2, The plane S on which the loop is formed is determined using PzVn-2). Next, in step S106, a normal vector of the plane S is obtained, and an angle θ formed with a visual line vector indicating a direction in which the endoscope insertion portion is observed is obtained. Next, in step S107, the coordinates of (Px0, Py0, Pz0) on the distal end side of the insertion portion are substituted into the equation of the plane S, and is it located on the viewpoint side or on the opposite side to the plane S? decide.
[0128]
The method of determining whether the plane S is on the viewpoint side or the opposite side to the viewpoint is as follows: (1) If the angle θ is greater than 90 degrees and the substitution result is positive, the viewpoint side (see FIG. 13); 2) When the angle θ is larger than 90 degrees and the substitution result is negative, the opposite side to the viewpoint (see FIG. 13); (3) When the angle θ is 90 degrees or less and the substitution result is positive, the opposite side to the viewpoint. (See FIG. 14), (4) If the angle θ is 90 degrees or less and the result of the substitution is negative, it is on the viewpoint side (see FIG. 14).
[0129]
In step S108, the operation method of the endoscope, that is, the loop release method is determined based on the relationship between the loop direction, the insertion portion tip, and the plane S in step S107. An example of the criterion of the loop release method is as follows.
[0130]
(1) If the tip is counterclockwise and the tip is on the opposite side to the viewpoint, rotate the endoscope clockwise (see FIG. 15). (2) If the tip is clockwise and the tip is on the viewpoint, rotate clockwise. Rotate the endoscope (see FIG. 16). (3) If the tip is clockwise and the tip is on the opposite side to the viewpoint, rotate the endoscope counterclockwise (see FIG. 17). When the distal end is clockwise, the endoscope is rotated counterclockwise (see FIG. 18).
[0131]
Next, in step S109, the PC 15 displays the loop release method set in step S108 on the operation method display unit 111 of the examination window 100 as provision of endoscope operation information (information for prompting operation).
[0132]
As shown in FIG. 6, the display of the operation method display unit 111 is displayed as a figure or an icon indicating the endoscope rotation operation clockwise or counterclockwise with an arrow or the like, or an operation explanatory word, or Alternatively, a voice instruction may be used.
[0133]
In the image processing device 4, the release operation display when receiving the insertion shape data from the insertion shape observation device 3 has been described. However, a viewer capable of browsing the endoscope image and the insertion shape data is prepared. Similar display can be performed for the specified insertion shape data.
[0134]
As described above, the insertion shape is recognized, the state of the loop is recognized and displayed, and the insertion operation is presented, thereby improving the insertion performance of the endoscope and shortening the time of the endoscopic examination, and reducing the pain given to the patient. Become.
[0135]
Note that the image processing device 4 for realizing the above-described first to fifth embodiments may be one of the functions constituting the electronic endoscope system 1 or may be mounted on the endoscope insertion shape observation device 3. good. Alternatively, an integrated function of the insertion shape observation device 3 and the electronic endoscope system 1 may be provided.
[0136]
Further, in the above-described first to fifth embodiments, the mechanism for estimating the shape of the endoscope insertion section includes one of a source coil group for generating magnetism and a sense coil group for detecting magnetism. Was described in the example of mounting on the endoscope insertion part and estimating the shape by the magnetism detected by the sense coil group.However, for example, using an optical fiber that causes transmission loss due to bending, this optical fiber is Provided in the endoscope insertion section, a method of detecting bending of the insertion section according to the change in the amount of light transmitted through the optical fiber, or applying special ink to a flexible board, and the resistance value changes in proportion to the bending of the board Other detection methods such as utilizing characteristics may be used.
[0137]
[Appendix]
According to the embodiment of the present invention described in detail above, the following configuration can be obtained.
[0138]
(Supplementary Note 1) An endoscope having an insertion portion to be inserted into a body cavity,
Shape detection means for detecting the shape of the endoscope insertion portion,
Shape storage means for storing a plurality of shapes of the endoscope insertion portion detected by the shape detection means,
Based on the shape of the plurality of endoscope insertion sections stored in the shape storage means, shape analysis means for analyzing the shape of the endoscope insertion section,
Information providing means for providing information on the shape of the endoscope insertion portion, according to the result of the analysis by the shape analysis means,
An endoscope insertion shape analyzing apparatus comprising:
[0139]
(Supplementary Note 2) An endoscope having an insertion portion to be inserted into a body cavity,
Shape detection means for detecting the shape of the endoscope insertion portion,
Shape analysis means for analyzing the shape of the endoscope insertion portion detected by the shape detection means,
Information providing means for providing information on the endoscope operation, according to the result of the analysis by the shape analysis means,
An endoscope insertion shape analyzing apparatus comprising:
[0140]
(Supplementary Note 3) An endoscope having an insertion portion to be inserted into a body cavity,
A shape detection step of detecting the shape of the endoscope insertion unit,
A shape storing step of storing a plurality of shapes of the endoscope insertion portion detected in the shape detecting step;
A shape analysis step of analyzing the shape of the endoscope insertion portion based on the shapes of the insertion portions of the plurality of endoscopes stored in the shape storage step;
According to the result of the analysis by the shape analysis step, an information providing step of providing information on the shape of the endoscope insertion portion,
An endoscope insertion shape analysis method characterized by comprising:
[0141]
(Supplementary Note 4) An endoscope having an insertion portion to be inserted into a body cavity,
A shape detection step of detecting the shape of the endoscope insertion unit,
A shape analysis step of analyzing the shape of the endoscope insertion section detected in the shape detection step,
An information providing step of providing information on an endoscope operation according to a result of the analysis by the shape analysis step,
An endoscope insertion shape analysis method characterized by comprising:
[0142]
(Supplementary Note 5) The shape detecting means includes a plurality of magnetic field generating means for generating a magnetic field, a plurality of magnetic field detecting means for detecting a magnetic field of the magnetic field generating means, and the magnetic field generating means or the magnetic field detecting means arranged in an insertion portion. ,
3. The endoscope insertion shape analysis device according to claim 1, further comprising: a shape estimation unit configured to estimate a shape of the insertion portion based on a detection result of the magnetic field detection unit.
[0143]
(Supplementary Note 6) The shape detection means includes a plurality of means for detecting a physical quantity of a specific portion of the insertion portion, and a shape estimation means for estimating a shape of the insertion portion based on a result of the detected physical quantity and an arrangement position. The endoscope insertion shape analyzing apparatus according to any one of appendix 1 and appendix 2, characterized by comprising:
[0144]
(Supplementary note 7) The endoscope insertion shape analyzing apparatus according to supplementary note 6, wherein the means for detecting the physical quantity of the specific portion of the insertion portion includes a sensor that detects a plurality of distortions.
[0145]
(Supplementary Note 8) The endoscope insertion shape analyzing apparatus according to supplementary note 6, wherein the means for detecting the physical quantity of the specific portion of the insertion section includes a sensor that detects a plurality of pressures.
[0146]
(Supplementary Note 9) The endoscope insertion shape analyzing apparatus according to Supplementary Note 6, wherein the means for detecting the physical quantity of the specific portion of the insertion portion includes a sensor that detects a plurality of displacements.
[0147]
(Supplementary Note 10) The shape analysis means includes: means for calculating a movement amount of a specific portion of the insertion portion; and means for estimating a state of the insertion portion from a movement amount of the specific portion of the insertion portion. 2. The endoscope insertion shape analysis device according to attachment 1, wherein
[0148]
(Supplementary Note 11) The endoscope insertion shape analyzing apparatus according to supplementary note 2, wherein the shape analysis unit includes a unit that detects a loop shape of the insertion unit.
[0149]
(Supplementary Note 12) The endoscope insertion shape analyzing apparatus according to supplementary note 1, wherein the information providing unit displays information on a result of the analysis unit on a display device.
[0150]
(Supplementary Note 13) The endoscope insertion shape analyzing apparatus according to any one of

Supplementary note

1 or 12, wherein the information providing unit presents information of a result of the analysis unit by sound or voice.
[0151]
(Supplementary note 14) The endoscope insertion shape analyzing apparatus according to supplementary note 2, wherein the operation information providing unit provides information on a loop release method according to a result of the analysis unit.
[0152]
(Supplementary note 15) The endoscope insertion shape analyzing apparatus according to

Supplementary note

2 or 14, wherein the operation information providing unit displays information on an endoscope operation on a display device according to a result of the analysis unit. .
[0153]
(Supplementary note 16) The supplementary note 2, Supplementary note 14, or Supplementary note 15, wherein the operation information providing unit presents information on the endoscope operation by sound or voice according to the result of the analysis unit. Endoscope insertion shape analyzer.
[0154]
(Supplementary Note 17) The endoscope insertion shape analyzing apparatus according to any one of Supplementary note 12 and Supplementary note 15, wherein the information displayed on the display device is a character and / or a graphic.
[0155]
【The invention's effect】
The endoscope insertion shape analysis device and the endoscope insertion shape analysis method of the present invention can provide information that leads to an improvement in endoscope insertability when analyzing the insertion shape of the endoscope insertion section. This has the effect of shortening the endoscopy time and reducing discomfort to the patient.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of an electronic endoscope system using an image processing device for performing an endoscope insertion shape analysis according to the present invention.
FIG. 2 is an explanatory diagram illustrating an insertion position coordinate system in the image processing device of the electronic endoscope system according to the present invention.
FIG. 3 is an explanatory diagram illustrating a data structure of insertion position detection data generated by the endoscope insertion shape observation device of the electronic endoscope system according to the present invention.
FIG. 4 is a flowchart illustrating the processing operation of an endoscope image, insertion shape data, and the like, which is the first embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 5 is a flowchart illustrating an extension detection operation of the subject, which is the first embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 6 is an explanatory diagram illustrating a display screen displayed on a display at the time of endoscopic examination in the image processing device of the electronic endoscope system according to the present invention.
FIG. 7 is a flowchart illustrating an angle detection operation of an endoscope tip in the second embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 8 is an explanatory diagram illustrating an angle between a direction of an endoscope insertion unit and a movement direction of the insertion unit in a second embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 9 is a flowchart for explaining an angle detection and a warning operation of an endoscope distal end portion in the third embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 10 is an explanatory diagram illustrating angle detection of a distal end portion of an endoscope in a third embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 11 is a flowchart illustrating an angle detection and a warning operation of an endoscope distal end portion in a fourth embodiment of the image processing apparatus of the electronic endoscope system according to the present invention.
FIG. 12 is a flowchart illustrating a loop detection and loop release method display operation of an endoscope insertion unit in a fifth embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 13 is an explanatory diagram illustrating a state of a loop of an endoscope insertion unit in a fifth embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 14 is an explanatory diagram illustrating a state of a loop of an endoscope insertion unit in a fifth embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 15 is an explanatory diagram illustrating a method of releasing a loop of an endoscope insertion unit in a fifth embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 16 is an explanatory diagram illustrating a method of releasing a loop of an endoscope insertion unit in a fifth embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 17 is an explanatory diagram illustrating a method of releasing a loop of an endoscope insertion unit in a fifth embodiment of the image processing device of the electronic endoscope system according to the present invention.
FIG. 18 is an explanatory diagram illustrating a method of releasing a loop of an endoscope insertion unit in a fifth embodiment of the image processing device of the electronic endoscope system according to the present invention.
[Explanation of symbols]
1. Electronic endoscope system
2. Endoscope device
3: Endoscope insertion shape observation device
4: Image processing device
10 Video processor
11 Light source device
12 ... Electronic endoscope
13. Shape processing device
14. Observation monitor
15. Personal computer (PC)
16 ... Mouse
17 ... Keyboard
18 ... Display

Claims

体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出手段と、
前記形状検出手段で検出した内視鏡挿入部の形状を複数記憶する形状記憶手段と、
前記形状記憶手段に記憶された複数の内視鏡挿入部の形状を基に、内視鏡挿入部の形状を解析する形状解析手段と、
前記形状解析手段による解析の結果に応じて、内視鏡挿入部の形状に関する情報を提供する情報提供手段と、
を備えたことを特徴とする内視鏡挿入形状解析装置。An endoscope having an insertion portion to be inserted into a body cavity,
Shape detection means for detecting the shape of the endoscope insertion portion,
Shape storage means for storing a plurality of shapes of the endoscope insertion portion detected by the shape detection means,
Based on the shape of the plurality of endoscope insertion sections stored in the shape storage means, a shape analysis means for analyzing the shape of the endoscope insertion section,
Information providing means for providing information on the shape of the endoscope insertion portion, according to the result of the analysis by the shape analysis means,
An endoscope insertion shape analyzing apparatus comprising:

体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出手段と、
前記形状検出手段で検出された内視鏡挿入部の形状を解析する形状解析手段と、
前記形状解析手段による解析の結果に応じて、内視鏡操作の情報を提供する情報提供手段と、
を備えたことを特徴とする内視鏡挿入形状解析装置。An endoscope having an insertion portion to be inserted into a body cavity,
Shape detection means for detecting the shape of the endoscope insertion portion,
Shape analysis means for analyzing the shape of the endoscope insertion portion detected by the shape detection means,
Information providing means for providing information on the endoscope operation, according to the result of the analysis by the shape analysis means,
An endoscope insertion shape analyzing apparatus comprising:

体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出ステップと、
前記形状検出ステップで検出された内視鏡挿入部の形状を複数記憶する形状記憶ステップと、
前記形状記憶ステップで記憶された複数の内視鏡の挿入部の形状を基に、内視鏡挿入部の形状を解析する形状解析ステップと、
前記形状解析ステップによる解析の結果に応じて、内視鏡挿入部の形状に関する情報を提供する情報提供ステップと、
を備えたことを特徴とする内視鏡挿入形状解析方法。An endoscope having an insertion portion to be inserted into a body cavity,
A shape detection step of detecting the shape of the endoscope insertion unit,
A shape storage step of storing a plurality of shapes of the endoscope insertion portion detected in the shape detection step,
Based on the shapes of the plurality of endoscope insertion sections stored in the shape storage step, a shape analysis step of analyzing the shape of the endoscope insertion section,
According to the result of the analysis by the shape analysis step, an information providing step of providing information on the shape of the endoscope insertion portion,
An endoscope insertion shape analysis method characterized by comprising:

体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出ステップと、
前記形状検出ステップで検出された内視鏡挿入部の形状を解析する形状解析ステップと、
前記形状解析ステップによる解析の結果に応じて、内視鏡操作の情報を提供する情報提供ステップと、
を備えたことを特徴とする内視鏡挿入形状解析方法。An endoscope having an insertion portion to be inserted into a body cavity,
A shape detection step of detecting the shape of the endoscope insertion unit,
A shape analysis step of analyzing the shape of the endoscope insertion section detected in the shape detection step,
An information providing step of providing information on an endoscope operation according to a result of the analysis by the shape analysis step,
An endoscope insertion shape analysis method characterized by comprising: