JP4009639B2 - 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム - Google Patents
内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム Download PDFInfo
- Publication number
- JP4009639B2 JP4009639B2 JP2004524322A JP2004524322A JP4009639B2 JP 4009639 B2 JP4009639 B2 JP 4009639B2 JP 2004524322 A JP2004524322 A JP 2004524322A JP 2004524322 A JP2004524322 A JP 2004524322A JP 4009639 B2 JP4009639 B2 JP 4009639B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- endoscope
- dimensional
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2676—Bronchoscopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pulmonology (AREA)
- Otolaryngology (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Eye Examination Apparatus (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、特に例えば気管支等のような体内の管路への内視鏡挿入をナビゲーションする内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法及び内視鏡用画像表示プログラムに関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内に３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部の生検針で組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
図３１に示す気管支５００のように、多段階の分岐を有する体内の管路では、異常部の所在が分支の末端に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば日本特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記日本特開２０００−１３５２１５号公報の装置による目的部位へのナビゲーションでは、気管支内視鏡が撮像したライブの内視鏡像を表示すると共に、気管支の分岐での仮想的な内視像を表示し挿入先を案内しているのではあるが、上述したように気管支は多段階の分岐を有するばかりでなく、分岐での各画像は複数の分岐先経路を持つ類似の画像となるため、単に仮想的な内視像を表示するだけでは、ライブの内視鏡像の実際の分岐位置と異なる分岐位置の仮想の内視像が表示されても、術者が正しい分岐位置での仮想の内視像と誤認する可能性があり、このような誤認は気管支内視鏡の目的部位へのナビゲーションに重大な支障を及ぼすといった問題がある。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、実際の分岐位置に対応した案内画像により、内視鏡を目的部位に確実にナビゲーションすることのできる内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラムを提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明の第１の内視鏡装置は、内視鏡により撮像された被検体内の体腔路の内視鏡画像を生成する内視鏡画像生成手段と、被検体の３次元領域の画像データに基づき前記被検体内の体腔路の３次元画像を生成する３次元画像生成手段と、前記内視鏡の挿入経路を案内するための内視鏡の挿入地点から前記被検体の目的部位到達地点までのルートを算出するルート指示手段と、前記ルート指示手段による算出結果に基づき、設定したルートに沿った前記体腔路の３次元画像を縮小した縮小画像を生成する３次元縮小画像生成手段と、前記体腔路の所定箇所における内視鏡画像および当該箇所における３次元画像と共に、前記所定箇所に対して進行方向前後の複数の体腔路内箇所に係る３次元縮小画像を、前記３次元縮小画像生成手段において生成した３次元縮小画像のうちから選択してナビゲーション画像を生成する画像処理部を有するナビゲーション画像生成手段と、前記体腔路の所定箇所における内視鏡画像、当該箇所における３次元画像および前記画像処理部において選択された３次元縮小画像を同時にモニタ表示させる画像表示制御手段と、を具備したことを特徴とする。
【０００９】
本発明の内視鏡装置のナビゲーション方法は、内視鏡により撮像された被検体内の体腔路の内視鏡画像を生成する内視鏡画像生成手順と、被検体の３次元領域の画像データに基づき前記被検体内の体腔路の３次元画像を生成する３次元画像生成手順と、前記内視鏡の挿入経路を案内するための内視鏡の挿入地点から前記被検体の目的部位到達地点までのルートを算出するルート指示手順と、前記ルート指示手順による算出結果に基づき、設定したルートに沿った前記体腔路の３次元画像を縮小した縮小画像を生成する３次元縮小画像生成手順と、前記体腔路の所定箇所における内視鏡画像および当該箇所における３次元画像と共に、前記所定箇所に対して進行方向前後の複数の体腔路内箇所に係る３次元縮小画像を、前記３次元縮小画像生成手順において生成した３次元縮小画像のうちから選択してナビゲーション画像を生成する画像処理手順を有するナビゲーション画像生成手順と、前記体腔路の所定箇所における内視鏡画像、当該箇所における３次元画像および前記画像処理手順において選択された３次元縮小画像を同時にモニタ表示させる画像表示制御手順と、を有したことを特徴とする。
【００１０】
本発明の第１の内視鏡用画像の表示方法は、内視鏡により撮像された被検体の管路の画像データを入力する内視鏡画像データ入力ステップと、前記被検体の３次元データに基づいて管路を示す第１の被検体画像データを生成する第１の被検体画像データ生成ステップと、前記被検体内の３次元データに基づいて管路を示す第２の被検体画像データを生成する第２の被検体画像データ生成ステップと、前記内視鏡画像データに基づいて前記内視鏡画像を表示する内視鏡画像表示ステップと、前記第１の被検体画像データに基づいて前記第１の被検体画像を表示する第１の被検体画像表示ステップと、前記第２の被検体画像データに基づいて前記第２の被検体画像を表示する第２の被検体画像表示ステップと、を有することを特徴とする。
【００１１】
本発明の内視鏡用画像表示プログラムは、内視鏡により撮像された被検体の管路の画像データを入力する内視鏡画像データ入力ステップと、前記被検体の３次元データに基づいて管路を示す第１の被検体画像データを生成する第１の被検体画像データ生成ステップと、前記被検体内の３次元データに基づいて管路を示す第２の被検体画像データを生成する第２の被検体画像データ生成ステップと、前記内視鏡画像データに基づいて前記内視鏡画像を表示する内視鏡画像表示ステップと、前記第１の被検体画像データに基づいて前記第１の被検体画像を表示する第１の被検体画像表示ステップと、前記第２の被検体画像データに基づいて前記第２の被検体画像を表示する第２の被検体画像表示ステップと、を有することを特徴とする。
【００１２】
本発明の第２の内視鏡用画像の表示方法は、内視鏡により撮像された被検体の管路の画像データを入力する内視鏡画像データ入力ステップと、前記被検体の３次元データに基づいて管路を示す第１の被検体画像データを生成する第１の被検体画像データ生成ステップと、前記被検体内の３次元データに基づいて管路を示す第２の被検体画像データを生成する第２の被検体画像データ生成ステップと、前記内視鏡画像データ入力ステップで入力された前記内視鏡画像データに基づく内視鏡画像と前記第１の被検体画像データ生成ステップで生成された第１の被検体画像と前記第２の被検体画像データ生成ステップで生成された第２の被検体画像とを表示する表示ステップと、を有することを特徴とする。
【００１３】
本発明の第２の内視鏡装置は、複数の分岐からなる体腔路を備えた被検体の３次元領域の画像データに対して、前記画像データの所望の画像に目的点を設定する目的点設定手段と、前記目的点設定手段で設定された目標点に至る前記体腔路のルートを前記画像データから抽出するルート抽出手段と、前記ルート抽出手段で抽出した前記体腔路の仮想画像を生成する仮想画像生成手段と、前記仮想内視鏡画像に基づいて、前記被検体内の体腔路が分岐する分岐点での分岐点画像を抽出する分岐点画像抽出手段と、前記ルートの順序に従って前記分岐点画像の縮小画像を生成する縮小画像生成手段と、前記縮小画像と前記仮想画像とを有するナビゲーション画像を生成する画像処理手段と、前記ナビゲーション画像を表示手段に表示可能とする画像表示制御手段と、を具備したことを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１６】
図１ないし図３０は本発明の一実施の形態に係わり、図１は内視鏡装置の構成を示す構成図、図２は図１の入力部の構成を示す構成図、図３は図１の気管支鏡ナビゲーション装置によるナビゲーションデータの生成処理の流れを示すフローチャート、図４は図３の処理で展開されるルート設定画面を示す第１の図、図５は図３の処理で展開されるルート設定画面を示す第２の図、図６は図３のルート設定処理の流れを示すフローチャート、図７は図６の処理で展開されるルート設定画面を示す第１の図、図８は図６の処理で展開されるルート設定画面を示す第２の図、図９は図６の処理で展開されるルート設定画面を示す第３の図、図１０は図１の気管支鏡ナビゲーション装置によるルート探索の変形例を説明する図、図１１は図１の気管支鏡ナビゲーション装置によるナビゲーション処理の流れを示す第１のフローチャート、図１２は図１１の処理で展開されるナビゲーション画面を示す第１の図、図１３は図１１の処理で展開されるナビゲーション画面を示す第２の図、図１４は図１１の処理で展開されるナビゲーション画面を示す第３の図、図１５は図１１の処理で展開されるナビゲーション画面を示す第４の図、図１６は図１１の処理で展開されるナビゲーション画面を示す第５の図、図１７は図１の気管支鏡ナビゲーション装置によるナビゲーション処理の流れを示す第２のフローチャート、図１８は図１７の処理で展開されるナビゲーション画面を示す第１の図、図１９は図１７の処理で表示される動画を説明する図、図２０は図１７の処理で展開されるナビゲーション画面を示す第２の図、図２１は図１７の処理で展開されるナビゲーション画面を示す第３の図、図２２は図１７の処理で展開されるナビゲーション画面を示す第３の図、図２３は図１４のナビゲーション画面の第１の変形例を示す図、図２４は図１４のナビゲーション画面の第２の変形例を示す図、図２５は図１４のナビゲーション画面の第３の変形例を示す図、図２６は図１４のナビゲーション画面の第４の変形例を示す図、図２７は図１４のナビゲーション画面の第５の変形例を示す図、図２８は図１４のナビゲーション画面の第６の変形例を示す図、図２９は図１４のナビゲーション画面の第７の変形例を示す図、図３０は図１４のナビゲーション画面の第８の変形例を示す図である。
【００１７】
図１に示すように、本実施の形態の内視鏡装置１は、患者体内の気管支に挿入し気管支内を撮像し気管支末端の患部組織を生検する気管支鏡２と、気管支鏡２の挿入部の患者体内への挿入量を検出する、例えばエンコーダ等から構成される挿入量検出装置３と、気管支鏡２の手元側に設けられた複数のスイッチをフィルム状に形成したフレキシブルシートからなる入力部４と、ＣＴ画像データに基づき気管支内部の仮想の内視鏡像（以下、ＶＢＳ像と記す）を生成すると共に気管支鏡２からの撮像信号、挿入量検出装置３からの検出信号及び入力部４からの入力信号に基づき、気管支鏡２により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像を合成してモニタ５に表示し気管支鏡２の気管支へのナビゲーションを行う気管支鏡ナビゲーション装置６とを備えて構成される。
【００１８】
なお、前記入力部４は、気管支鏡２の手元側に設けられるとしたが、フットスイッチにより構成してもよい。
【００１９】
気管支鏡ナビゲーション装置６は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支鏡２の気管支へのナビゲーションルート（以下、単にルートと記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支鏡２からの撮像信号、挿入量検出装置３からの検出信号及び入力部４からの入力信号を入力し、ライブ画像、ＶＢＳ画像及び複数のサムネイルＶＢＳ画像からなる後述するナビゲーション画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成したナビゲーション画面をモニタ５に表示させる画像表示制御部１８と、ルート設定部１４に対して設定情報を入力するキーボード及びポインティングデバイスからなる設定情報入力部１９とから構成される。
【００２０】
なお、ＣＴ画像データ格納部１２及びＶＢＳ画像格納部１６は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。
【００２１】
入力部４は、図２に示すように、ナビゲーション画面に表示する気管支の分岐点毎のＶＢＳ画像の更新を指示する次ＶＢＳスイッチであるＳＷ１と、ＶＢＳ画像を自動回転させライブ画像の向きに対応させる指示を行う画像回転自動スイッチであるＳＷ２と、ＶＢＳ画像を所定回転角づつ回転させライブ画像の向きに対応させる指示を行う画像回転手動スイッチであるＳＷ３と、ライブ画像の静止画像の取り込みを指示するフリーズスイッチであるＳＷ４とから構成される。
【００２２】
このように構成された本実施の形態の作用について説明する。
【００２３】
図３に示すように、気管支鏡２による観察・処置に先立ち、気管支鏡ナビゲーション装置６は、ステップＳ１でＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者の３次元画像データを取り込み、ステップＳ２で取り込んだ３次元画像データをＣＴ画像データ格納部１２に格納する。
【００２４】
ステップＳ３でルート設定部１４により、図４に示すようなルート設定画面２１をモニタ５に表示させ、ルート設定画面２１上の患者情報タグ画面２２で患者情報を選択する。この選択により、ステップＳ４で選択された患者の例えば３つの異なる多断面像からなるＭＰＲ画像が生成され、ステップＳ５でこのＭＰＲ画像２３がルート設定画面２１に表示される。
【００２５】
なお、患者情報タグ画面２２での患者情報の選択は、設定情報入力部１９により患者を識別する患者ＩＤを入力することで行われる。
【００２６】
次に、ステップＳ６でルート設定画面２１上のルート設定タグ２４（図４参照）を設定情報入力部１９により選択すると、図５に示すようなルート設定タグ画面２５がルート設定画面２１に表示され、後述するルート設定処理を行い、気管支での気管支鏡２の挿入ナビゲーションのルートを設定する。
【００２７】
挿入ナビゲーションのルートが設定されると、ステップＳ７でＶＢＳ画像生成部１５により設定した全ルートの連続したＶＢＳ画像をフレーム単位で生成し、ステップＳ８で生成したＶＢＳ画像をＶＢＳ画像格納部１６に格納する。
【００２８】
本実施の形態の気管支鏡ナビゲーション装置６では、例えば後述するように２つのナビゲーション方法で気管支での気管支鏡２の挿入をナビゲーションすることができるので、この方法をモード１及びモード２として、ステップＳ９で設定情報入力部１９によりモード（ナビゲーションモード）をルート設定部１４に設定する。このナビゲーションモードの情報はルート設定部１４を介して画像処理部１７にも送信され、モード情報がそれぞれに記憶される。
【００２９】
上記のステップＳ１〜Ｓ９の処理により、気管支鏡２による観察・処置時の気管支鏡ナビゲーション装置６によるナビゲーションの準備が完了する。
【００３０】
ここで、上記ステップＳ６のルート設定処理を図６を用いて説明する。
【００３１】
図６に示すように、ステップＳ６のルート設定処理では、設定情報入力部１９を操作することで、図５に示したルート設定タグ画面２５上のルート探索ボタンをクリックすると、ステップＳ１１で図７に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２１上に表示され、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に始点が設定されると共に、図８に示すようなルートの終点の入力を促す終点入力指示ウインドウ３２がルート設定画面２１上に表示さる。
【００３２】
そこで、ステップＳ１２で始点の設定と同様に、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に終点が設定される。
【００３３】
始点と終点が設定されると、ステップＳ１３でルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４ではステップＳ１３では、始点から終点に至る気管支内のルートの第１候補を探索する。
【００３４】
そして、ルート設定部１４はルート設定画面２１上において、図９に示すように、ステップＳ１４で探索されたルートをＭＰＲ画像２３に重畳して表示すると共に、ルートの確定等の入力を促すルート確定ウインドウ３３を表示する。
【００３５】
ルート確定ウインドウ３３には、探索したルートの確定を指示するルート確定ボタン４１と、次候補のルートの探索を指示する次候補探索ボタン４２と、始点及び終点を再設定し直すルート再設定ボタン４３と、ルート探索処理をキャンセルするキャンセルボタン４４とを備えている。
【００３６】
ステップＳ１５で次候補探索ボタン４２がクリックされたかどうか判断し、クリックされたならばステップＳ１６で次候補のルートを自動探索してステップＳ１７に進み、クリックされない場合にはステップＳ１８に進む。ステップＳ１７では次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。
【００３７】
ステップＳ１８では、ルート再設定ボタン４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ１９に進む。
【００３８】
ステップＳ１９では、ルート確定ボタン４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１５に戻り、クリックされたならばステップＳ２０に進み、ステップＳ２０でルート及びルート内の各分岐点の位置情報を決定して図６のステップＳ７に戻る。
【００３９】
ステップＳ２０でルート内の各分岐点の３次元の位置情報が決定されると、始点１０１から終点１０２に至るまでの挿入経路における分岐の順番を、各分岐点のＶＢＳ画像データに付して、ステップＳ８によりＶＢＳ画像格納部１６に格納する。従って分岐点を示す各ＶＢＳ画像データは分岐部の仮想画像と、分岐部の３次元位置情報と、選択された挿入経路における分岐の順番を有している。
【００４０】
なお、ＭＰＲ画像を使ったルート探索処理について述べたが、図１０に示すようなボリュームレンダリング（Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｎｉｑｕｅ）画像１００を用いて、始点１０１及び終点１０２を指定してルート探索を行うようにしてもよい。
【００４１】
このようにしてルート設定がなされた気管支鏡ナビゲーション装置６による気管支鏡２による観察・処置時の挿入のナビゲーションについて説明する。なお、以下では、ルートの分岐点が１０カ所の場合を例に説明する。
【００４２】
図１１に示すように、気管支鏡ナビゲーション装置６によるナビゲーションを開始すると、ステップＳ２１でモニタ５に図１２に示すようなナビゲーション画面５１を表示する。
【００４３】
このナビゲーション画面５１は、気管支鏡２からのライブ画像を表示する内視鏡ライブ画像表示エリア５２と、ＶＢＳ画像を表示するＶＢＳ画像表示エリア５３と、ルートの全ての分岐点でのＶＢＳ画像を縮小して分岐サムネイルＶＢＳ画像として表示する分岐サムネイルＶＢＳ画像エリア５４とからなり、気管支鏡２の挿入前であるステップＳ２１では、内視鏡ライブ画像表示エリア５２にはライブ画像は表示されないが、ＶＢＳ画像表示エリア５３にはルートの最初の分岐点のＶＢＳ画像５３ａが表示され、分岐サムネイルＶＢＳ画像エリア５４には全ての分岐点での分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）が表示される。
【００４４】
なお、ＶＢＳ画像５３ａにはルートに進む経路穴にマーカ５５を重畳して表示している。また、ＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像５３ａと同じ分岐サムネイルＶＢＳ画像の枠が太枠あるいはカラー表示され、他の分岐サムネイルＶＢＳ画像と識別可能となっており、術者はＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像がどの分岐の画像かを容易に認識できるようになっている。このステップＳ２１の段階では分岐サムネイルＶＢＳ画像５４（ａ）の枠が太枠あるいはカラー表示される。
【００４５】
そして、ステップＳ２２で気管支鏡２の気管支内への挿入を開始すると、図１３に示すように、ステップＳ２３でナビゲーション画面５１には内視鏡ライブ画像表示エリア５２に気管支鏡２からのライブ画像５２ａが表示される。尚、図１３においてもＶＢＳ画像表示エリア５３にはルートの最初の分岐点のＶＢＳ画像５３ａが表示され、分岐サムネイルＶＢＳ画像エリア５４には全ての分岐点での分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）が表示され、分岐サムネイルＶＢＳ画像５４（ａ）の枠が太枠あるいはカラー表示される。
【００４６】
次に、ステップＳ２４でライブ画像を受信した画像処理部１７において、ナビゲーションモードがモード１かどうか判断する。
【００４７】
以下、まず、ナビゲーションモードがモード１の場合の気管支鏡ナビゲーション装置６のナビゲーション処理について説明する。
【００４８】
まず、気管支鏡２の先端が最初（第１）の分岐点に到達すると、術者はフリーズスイッチであるＳＷ４を押下するかどうか判断する。術者はＶＢＳ画像表示エリア５３のＶＢＳ画像５３ａとライブ画像５２ａを目視するだけでマーカ５５が示す経路穴をライブ画像５２ａ上で見いだせる場合はそのまま挿入を続行するが、ライブ画像５２ａ上でマーカ５５が示す経路穴を見つけるのが困難な場合にはフリーズスイッチであるＳＷ４を押下する。
【００４９】
そこで、ステップＳ２５でフリーズスイッチであるＳＷ４がＯＮされたかどうか判断し、ＯＮされたならばステップＳ２６でライブ画像５２ａの静止画像を取り込み、該静止画像と最初の分岐点のＶＢＳ画像５３ａとが公知の画像処理によって類似度が比較され、ＯＮされないならばステップＳ２７に進む。
【００５０】
なお、ステップＳ２６において、所定値以下の類似度の場合には設定したルート以外のルートに挿入された（あるいは異なる分岐点のＶＢＳ画像と比較している）と判断し警告を表示する（図示せず）。
【００５１】
ステップＳ２６にて、所定値を超える類似度でライブ画像５２ａの静止画像とＶＢＳ画像５３ａとが類似していると判断すると、両画像が同一の分岐点での画像であるとし、術者が画像回転自動スイッチであるＳＷ２あるいは画像回転手動スイッチであるＳＷ３を操作することで、ＶＢＳ画像５３ａを回転させ、ライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを一致させた後、ステップＳ２７に進む。
【００５２】
なお、画像回転自動スイッチであるＳＷ２を術者が押下すると、例えばパターン認識処理によりライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを自動的に一致させる。また、画像回転手動スイッチであるＳＷ３を術者が押下すると、所定角度だけＶＢＳ画像５３ａを回転させ、術者がＳＷ３の押下を繰り返すことで手動にてライブ画像５２ａとＶＢＳ画像５３ａとを一致させる。
【００５３】
このようにしてライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを一致させると、術者はマーカ５５が示す経路穴をライブ画像５２ａ上で容易に見いだせるので、マーカ５５の指示に従って挿入を続行する。
【００５４】
ステップＳ２７では、次ＶＢＳスイッチであるＳＷ１が術者によって押下されたかどうか判断し、押下されない場合にはステップＳ２５に戻り、ＳＷ１が術者によって押下された場合には、ステップＳ２８でＶＢＳ画像表示エリア５３に次（第２）の分岐サムネイルＶＢＳ画像（ｂ）のＶＢＳ画像５３ａを表示する。このとき第２の分岐サムネイルＶＢＳ画像５４（ｂ）の枠が太枠あるいはカラー表示され、分岐サムネイルＶＢＳ画像５４（ａ）の枠は他の分岐サムネイルＶＢＳ画像の枠表示になる。
【００５５】
そして、ステップＳ２９で病変部に達したか（すなわち、ナビゲーションの終点に達したか）どうかを判断し、病変部に到達した場合は処理を終了し、病変部に到達していない場合にはステップＳ２５に戻り、病変部に到達するまで、ステップＳ２５〜Ｓ２９の処理を繰り返す。
【００５６】
上記ステップＳ２５〜Ｓ２９の処理の具体例をナビゲーション画面５１を用いて説明する。図１４に示すように、例えば第８の分岐点に到達した場合のナビゲーションにおいては、ＶＢＳ画像表示エリア５３には第８の分岐サムネイルＶＢＳ画像５４（ｈ）のＶＢＳ画像５３ａが表示され、内視鏡ライブ画像表示エリア５２には第８の分岐点近傍のライブ画像５２ａが表示される。このとき分岐サムネイルＶＢＳ画像５４（ｈ）の枠のみが太枠あるいはカラー表示され、術者に第８の分岐点におけるナビゲーションであることを認識させる。
【００５７】
この状態で術者がフリーズスイッチであるＳＷ４を押下（ステップＳ２５）すると、ライブ画像の静止画像が取り込まれ、例えば術者が画像回転自動スイッチであるＳＷ２を押下すると、図１５に示すように、ＶＢＳ画像５３ａを回転させ、ライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを一致させる（ステップＳ２６）。
【００５８】
次に術者が挿入先の経路穴を認識し、次ＶＢＳスイッチであるＳＷ１を押下（ステップＳ２７）すると、図１６に示すように、ＶＢＳ画像表示エリア５３には第９の分岐サムネイルＶＢＳ画像５４（ｉ）のＶＢＳ画像５３ａが表示され、分岐サムネイルＶＢＳ画像５４（ｉ）の枠のみが太枠あるいはカラー表示され、術者に次のナビゲーションの位置が第９の分岐点であることを認識させ（ステップＳ２８）、病変部（すなわち、ナビゲーションの終点）に到達するまで（ステップＳ２９）同様なナビゲーションは行われる。
【００５９】
次に、ナビゲーションモードがモード２の場合の気管支鏡ナビゲーション装置６のナビゲーション処理について説明する。
【００６０】
図１１のステップＳ２４でライブ画像を受信した画像処理部１７において、ナビゲーションモードがモード１でない、すなわちモード２と判断すると、図１７のステップＳ４１に処理が移行する。
【００６１】
モード２のナビゲーションモードは、気管支への挿入術に習熟している術者が利用するモードであって、ナビゲーションは期待するが、ほとんどの分岐点での挿入先の経路穴を熟知している場合には、モード１のように所定位置までの各分岐点でのナビゲーションを必要としないモードである。
【００６２】
しかし、モード１の場合は各分岐点に達する毎に次ＶＢＳスイッチであるＳＷ１を押下するので、ライブ画像の分岐点位置とＶＢＳ画像の分岐点位置を同一とすることが可能であるが、所定位置までの各分岐点でのナビゲーションを必要としないで挿入を続行し、ある位置における分岐点でのナビゲーションを期待する場合、ナビゲーションしたい分岐点位置の分岐サムネイルＶＢＳ画像を見つけることが難しくなる。
【００６３】
そこで、モード２のナビゲーションモードでは、気管支鏡の挿入部の挿入量に基づいてナビゲーションしたい分岐点位置の分岐サムネイルＶＢＳ画像を検索し、ＶＢＳ画像５３ａをＶＢＳ画像表示エリア５３に表示させ、ナビゲーションを可能とする。
【００６４】
すなわち、モード２のナビゲーションモードにおいては、術者はナビゲーションを必要としない場合は、ライブ画像をモニタしながら気管支鏡２の挿入を続行するが、ナビゲーションを必要とする分岐点に気管支鏡２の先端が到達した場合、術者はフリーズスイッチであるＳＷ４を押下する。
【００６５】
モード２での気管支鏡ナビゲーション装置６のナビゲーション処理は、図１７に示すように、ステップＳ４１でフリーズスイッチであるＳＷ４が押下されるのを待ち、ＳＷ４が押下されると、図１８に示すように、ステップＳ４２で内視鏡ライブ画像表示エリア５２のライブ画像５２ａにフリーズスイッチであるＳＷ４が押下された時点での静止画像の縮小画像６０が重畳されて表示される。
【００６６】
なお、図１８においては、フリーズスイッチであるＳＷ４が押下された時点が第８の分岐点であって、この時点までナビゲーションを必要としていない場合でフリーズスイッチであるＳＷ４がこの時点で初めて押下された状態の図であって、ＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像５３ａは、第１の分岐サムネイルＶＢＳ画像５４（ａ）のＶＢＳ画像となっている。
【００６７】
そして、ステップＳ４３で挿入量検出装置３により気管支鏡２の挿入部の患者体内への挿入量を検出し、ステップＳ４４で検出した挿入量に基づき気管支鏡２の先端位置及びその近傍の分岐点を算出する。
【００６８】
ステップＳ４５では、算出した分岐点を基準に１つ手前の分岐点から１つ後の分岐点までのＶＢＳ画像を動画にてＶＢＳ画像表示エリア５３に表示する。また算出した分岐点の分岐サムネイルＶＢＳ画像のみ枠が太枠あるいはカラー表示される。
【００６９】
図１９は、図１８における第８の分岐点を基準に第７の分岐点から第９の分岐点までのＶＢＳ画像の動画表示の様子を示し、図２０は動画表示の開始時点の第７の分岐点のＶＢＳ画像５３ａがＶＢＳ画像表示エリア５３に表示されたナビゲーション画面５１を示し、図２１は動画表示の終了時点の第９の分岐点のＶＢＳ画像５３ａがＶＢＳ画像表示エリア５３に表示されたナビゲーション画面５１を示している。
【００７０】
なお、図２０及び図２１に示すように、ＶＢＳ画像表示エリア５３に動画表示される領域を示す、分岐サムネイルＶＢＳ画像エリア５４に表示されている分岐サムネイルＶＢＳ画像の下に動画領域バー７１が表示される。図２０及び図２１の場合は、第７の分岐点の分岐サムネイルＶＢＳ画像５４（ｇ）から第９の分岐点の分岐サムネイルＶＢＳ画像５４（ｉ）の下に動画領域バー７１が表示されている表示例を示し、このとき、算出した分岐点の分岐サムネイルＶＢＳ画像５４（ｈ）のみ枠が太枠あるいはカラー表示される。
【００７１】
これにより術者は現在の挿入部の先端位置がどの分岐点位置にあるかどうかが認識できるので、術者は近傍の分岐点のライブ画像を見いだすように挿入を前後させ、内視鏡ライブ画像表示エリア５２のライブ画像５２ａを分岐点のライブ画像５２ａを得る。
【００７２】
このようにしてナビゲーションを必要とする位置でのライブ画像５２ａを得ると、ステップＳ４６でフリーズスイッチであるＳＷ４がＯＮされるのを待ち、ＯＮされたならば、ステップＳ４７でライブ画像５２ａの静止画像を取り込み算出した分岐点のＶＢＳ画像５３ａをＶＢＳ画像表示エリア５３に表示し、ステップＳ４８においてライブ画像５２ａの静止画像と算出した分岐点のＶＢＳ画像５３ａとの類似度を公知の画像処理によって比較し、モード１と同様な処理を行う。
【００７３】
なお、図２１の状態でフリーズスイッチであるＳＷ４がＯＮされると、図２２に示すように、算出した分岐点の分岐サムネイルＶＢＳ画像５４（ｈ）のＶＢＳ画像５３ａをＶＢＳ画像表示エリア５３に表示すると共に、分岐サムネイルＶＢＳ画像５４（ｈ）のみ枠が太枠あるいはカラー表示される。
【００７４】
なお、ステップＳ４８においては、モード１と同様に、所定値以下の類似度の場合には設定したルート以外のルートに挿入された（あるいは異なる分岐点のＶＢＳ画像と比較している）と判断し警告を表示する（図示せず）。
【００７５】
また、ステップＳ４８では、モード１同様に、所定値を超える類似度でライブ画像５２ａの静止画像とＶＢＳ画像５３ａとが類似していると判断すると、両画像が同一の分岐点での画像であるとし、術者が画像回転自動スイッチであるＳＷ２あるいは画像回転手動スイッチであるＳＷ３を操作することで、ＶＢＳ画像５３ａを回転させ、ライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを一致させた後、ステップＳ４９に進む。
【００７６】
このようにしてライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを一致させると、術者はマーカ５５が示す経路穴をライブ画像５２ａ上で容易に見いだせるので、マーカ５５の指示に従って挿入を続行する。
【００７７】
そして、ステップＳ４９で病変部に達したか（すなわち、ナビゲーションの終点に達したか）どうかを判断し、病変部に到達した場合は処理を終了し、病変部に到達していない場合にはステップＳ４１に戻り、病変部に到達するまで、ステップＳ４１〜Ｓ４９の処理を繰り返す。
【００７８】
なお、ステップＳ４５で算出した分岐点を基準に１つ手前の分岐点から１つ後の分岐点までのＶＢＳ画像を動画にてＶＢＳ画像表示エリア５３に表示するとしたが、これに限らず、例えば算出した分岐点を基準に２つ手前の分岐点から２つ後の分岐点までのＶＢＳ画像を動画にてＶＢＳ画像表示エリア５３に表示するようにしてもよい。
【００７９】
このように本実施の形態では、モード１のナビゲーションにおいては、分岐サムネイルＶＢＳ画像エリア５４に全ての分岐点の分岐サムネイルＶＢＳ画像を表示すると共に、ライブ画像５２ａと比較しているＶＢＳ画像５３ａに対応する分岐サムネイルＶＢＳ画像枠を太枠あるいはカラー表示するので、ライブ画像５２ａがどの分岐点の画像かを容易に認識できる。
【００８０】
また、モード２のナビゲーションにおいては、ナビゲーションが必要なときに対象となる分岐点のＶＢＳ画像５３ａを簡単に探索し、ライブ画像５２ａ近傍のＶＢＳ画像５３ａを動画にて表示するので、ライブ画像５２ａがどの分岐点の画像かを容易に認識できる。
【００８１】
さらにモード１及び２のナビゲーションにおいては、ライブ画像５２ａとＶＢＳ画像５３ａの比較において、画像処理にて両画像の類似度を算出し、所定値以下の類似度の場合、警告を行うので術者が誤認した分岐点での挿入続行を中断でき、容易に適切な分岐点位置に気管支鏡２の先端を位置させる処置を行うことが可能となる。
【００８２】
なお、ナビゲーション画面５１において、ＶＢＳ画像５３ａに対応する分岐サムネイルＶＢＳ画像エリア５４の分岐サムネイルＶＢＳ画像の枠を太枠あるいはカラー表示するとしたが、図２３に示すように、ＶＢＳ画像５３ａに対応する分岐サムネイルＶＢＳ画像を拡大して、且つ拡大した分岐サムネイルＶＢＳ画像の枠を太枠あるいはカラー表示するようにしてもよい。図２３では分岐点が９個の場合において、第７の分岐サムネイルＶＢＳ画像のＶＢＳ画像５３ａが表示された状態を示している。
【００８３】
また、ナビゲーション画面５１においては分岐サムネイルＶＢＳ画像を１列表示としたが、分岐点が多い場合には図２４に示すように、２列以上にわたって分岐サムネイルＶＢＳ画像を表示するようにしてもよい。また、図２５に示すように、分岐サムネイルＶＢＳ画像エリア５４をスクロール可能なフレーム構成することで、複数の分岐サムネイルＶＢＳ画像をスクロールさせて表示するようにしてもよい。
【００８４】
さらに、ナビゲーション画面５１においてＶＢＳ画像５３ａにはルートに進む経路穴にマーカ５５を重畳して表示するとしたが、これに限らず、例えば図２６に示すように、ＶＢＳ画像５３ａ上のルートに進む経路穴の輪郭を強調表示したり経路穴内をカラー表示してもよい。
【００８５】
さらにまた、図２７に示すように、ナビゲーション画面５１においてＶＢＳ画像５３ａ上に、患者の姿勢に応じた上下方向（重力方向）を表示させてもよい。なお図２８に示すようにライブ画像５２ａ上に表示してもよい。
【００８６】
また、図２９に示すように、ＶＢＳ画像５３ａ上に挿入先にある生検対象の組織の位置をマーカ８１にて表示し、現在位置から生検対象の組織の位置までの距離や生検対象の組織の大きさ等をＶＢＳ画像５３ａ上に表示するようにしてよい。またマーカ８１ではなく図３０に示すように、組織の大きさや形状を模した組織像８２をＶＢＳ画像５３ａ上に表示するようにしてもよい。
【００８７】
したがって、本実施の形態によれば、実際の分岐位置に対応した案内画像により、内視鏡を目的部位に確実にナビゲーションすることができる。
【００８８】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００８９】
以上のように、本発明にかかる内視鏡装置は、体内の管路への内視鏡挿入をナビゲーションする内視鏡装置として、また、気管支等のような体内の管路への気管支内視鏡挿入をナビゲーションする内視鏡装置として、さらに、多段階の分岐点を有する管路への内視鏡挿入をナビゲーションする工業用内視鏡装置等として有用であり、特に目的部位が気管支等のような多段階の分岐点を有する体内の管路内の末端にある場合に気管支内視鏡先端部を確実にナビケーションするのに適している。
【００９０】
【発明の効果】
以上説明したように本発明によれば、実際の分岐位置に対応した案内画像により、内視鏡を目的部位に確実にナビゲーションすることのできるという効果を有する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る内視鏡装置の構成を示す構成図である。
【図２】図１の入力部の構成を示す構成図である。
【図３】図１の気管支鏡ナビゲーション装置によるナビゲーションデータの生成処理の流れを示すフローチャートである。
【図４】図３の処理で展開されるルート設定画面を示す第１の図である。
【図５】図３の処理で展開されるルート設定画面を示す第２の図である。
【図６】図３のルート設定処理の流れを示すフローチャートである。
【図７】図６の処理で展開されるルート設定画面を示す第１の図である。
【図８】図６の処理で展開されるルート設定画面を示す第２の図である。
【図９】図６の処理で展開されるルート設定画面を示す第３の図である。
【図１０】図１の気管支鏡ナビゲーション装置によるルート探索の変形例を説明する図である。
【図１１】図１の気管支鏡ナビゲーション装置によるナビゲーション処理の流れを示す第１のフローチャートである。
【図１２】図１１の処理で展開されるナビゲーション画面を示す第１の図である。
【図１３】図１１の処理で展開されるナビゲーション画面を示す第２の図である。
【図１４】図１１の処理で展開されるナビゲーション画面を示す第３の図である。
【図１５】図１１の処理で展開されるナビゲーション画面を示す第４の図である。
【図１６】図１１の処理で展開されるナビゲーション画面を示す第５の図である。
【図１７】図１の気管支鏡ナビゲーション装置によるナビゲーション処理の流れを示す第２のフローチャートである。
【図１８】図１７の処理で展開されるナビゲーション画面を示す第１の図である。
【図１９】図１７の処理で表示される動画を説明する図である。
【図２０】図１７の処理で展開されるナビゲーション画面を示す第２の図である。
【図２１】図１７の処理で展開されるナビゲーション画面を示す第３の図である。
【図２２】図１７の処理で展開されるナビゲーション画面を示す第４の図である。
【図２３】図１４のナビゲーション画面の第１の変形例を示す図である。
【図２４】図１４のナビゲーション画面の第２の変形例を示す図である。
【図２５】図１４のナビゲーション画面の第３の変形例を示す図である。
【図２６】図１４のナビゲーション画面の第４の変形例を示す図である。
【図２７】図１４のナビゲーション画面の第５の変形例を示す図である。
【図２８】図１４のナビゲーション画面の第６の変形例を示す図である。
【図２９】図１４のナビゲーション画面の第７の変形例を示す図である。
【図３０】図１４のナビゲーション画面の第８の変形例を示す図である。
【図３１】気管支の構造を示す図である。
【符号の説明】
１・・・内視鏡装置
２・・・気管支鏡
３・・・挿入量検出装置
４・・・入力部
５・・・モニタ
６・・・気管支鏡ナビゲーション装置
１１・・・ＣＴ画像データ取り込み部
１２・・・ＣＴ画像データ格納部
１３・・・ＭＰＲ画像生成部
１４・・・ルート設定部
１５・・・ＶＢＳ画像生成部
１６・・・ＶＢＳ画像格納部
１７・・・画像処理部
１８・・・画像表示制御部
１９・・・設定情報入力部
【発明の属する技術分野】
本発明は、特に例えば気管支等のような体内の管路への内視鏡挿入をナビゲーションする内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法及び内視鏡用画像表示プログラムに関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内に３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部の生検針で組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
図３１に示す気管支５００のように、多段階の分岐を有する体内の管路では、異常部の所在が分支の末端に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば日本特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記日本特開２０００−１３５２１５号公報の装置による目的部位へのナビゲーションでは、気管支内視鏡が撮像したライブの内視鏡像を表示すると共に、気管支の分岐での仮想的な内視像を表示し挿入先を案内しているのではあるが、上述したように気管支は多段階の分岐を有するばかりでなく、分岐での各画像は複数の分岐先経路を持つ類似の画像となるため、単に仮想的な内視像を表示するだけでは、ライブの内視鏡像の実際の分岐位置と異なる分岐位置の仮想の内視像が表示されても、術者が正しい分岐位置での仮想の内視像と誤認する可能性があり、このような誤認は気管支内視鏡の目的部位へのナビゲーションに重大な支障を及ぼすといった問題がある。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、実際の分岐位置に対応した案内画像により、内視鏡を目的部位に確実にナビゲーションすることのできる内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラムを提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明の第１の内視鏡装置は、内視鏡により撮像された被検体内の体腔路の内視鏡画像を生成する内視鏡画像生成手段と、被検体の３次元領域の画像データに基づき前記被検体内の体腔路の３次元画像を生成する３次元画像生成手段と、前記内視鏡の挿入経路を案内するための内視鏡の挿入地点から前記被検体の目的部位到達地点までのルートを算出するルート指示手段と、前記ルート指示手段による算出結果に基づき、設定したルートに沿った前記体腔路の３次元画像を縮小した縮小画像を生成する３次元縮小画像生成手段と、前記体腔路の所定箇所における内視鏡画像および当該箇所における３次元画像と共に、前記所定箇所に対して進行方向前後の複数の体腔路内箇所に係る３次元縮小画像を、前記３次元縮小画像生成手段において生成した３次元縮小画像のうちから選択してナビゲーション画像を生成する画像処理部を有するナビゲーション画像生成手段と、前記体腔路の所定箇所における内視鏡画像、当該箇所における３次元画像および前記画像処理部において選択された３次元縮小画像を同時にモニタ表示させる画像表示制御手段と、を具備したことを特徴とする。
【０００９】
本発明の内視鏡装置のナビゲーション方法は、内視鏡により撮像された被検体内の体腔路の内視鏡画像を生成する内視鏡画像生成手順と、被検体の３次元領域の画像データに基づき前記被検体内の体腔路の３次元画像を生成する３次元画像生成手順と、前記内視鏡の挿入経路を案内するための内視鏡の挿入地点から前記被検体の目的部位到達地点までのルートを算出するルート指示手順と、前記ルート指示手順による算出結果に基づき、設定したルートに沿った前記体腔路の３次元画像を縮小した縮小画像を生成する３次元縮小画像生成手順と、前記体腔路の所定箇所における内視鏡画像および当該箇所における３次元画像と共に、前記所定箇所に対して進行方向前後の複数の体腔路内箇所に係る３次元縮小画像を、前記３次元縮小画像生成手順において生成した３次元縮小画像のうちから選択してナビゲーション画像を生成する画像処理手順を有するナビゲーション画像生成手順と、前記体腔路の所定箇所における内視鏡画像、当該箇所における３次元画像および前記画像処理手順において選択された３次元縮小画像を同時にモニタ表示させる画像表示制御手順と、を有したことを特徴とする。
【００１０】
本発明の第１の内視鏡用画像の表示方法は、内視鏡により撮像された被検体の管路の画像データを入力する内視鏡画像データ入力ステップと、前記被検体の３次元データに基づいて管路を示す第１の被検体画像データを生成する第１の被検体画像データ生成ステップと、前記被検体内の３次元データに基づいて管路を示す第２の被検体画像データを生成する第２の被検体画像データ生成ステップと、前記内視鏡画像データに基づいて前記内視鏡画像を表示する内視鏡画像表示ステップと、前記第１の被検体画像データに基づいて前記第１の被検体画像を表示する第１の被検体画像表示ステップと、前記第２の被検体画像データに基づいて前記第２の被検体画像を表示する第２の被検体画像表示ステップと、を有することを特徴とする。
【００１１】
本発明の内視鏡用画像表示プログラムは、内視鏡により撮像された被検体の管路の画像データを入力する内視鏡画像データ入力ステップと、前記被検体の３次元データに基づいて管路を示す第１の被検体画像データを生成する第１の被検体画像データ生成ステップと、前記被検体内の３次元データに基づいて管路を示す第２の被検体画像データを生成する第２の被検体画像データ生成ステップと、前記内視鏡画像データに基づいて前記内視鏡画像を表示する内視鏡画像表示ステップと、前記第１の被検体画像データに基づいて前記第１の被検体画像を表示する第１の被検体画像表示ステップと、前記第２の被検体画像データに基づいて前記第２の被検体画像を表示する第２の被検体画像表示ステップと、を有することを特徴とする。
【００１２】
本発明の第２の内視鏡用画像の表示方法は、内視鏡により撮像された被検体の管路の画像データを入力する内視鏡画像データ入力ステップと、前記被検体の３次元データに基づいて管路を示す第１の被検体画像データを生成する第１の被検体画像データ生成ステップと、前記被検体内の３次元データに基づいて管路を示す第２の被検体画像データを生成する第２の被検体画像データ生成ステップと、前記内視鏡画像データ入力ステップで入力された前記内視鏡画像データに基づく内視鏡画像と前記第１の被検体画像データ生成ステップで生成された第１の被検体画像と前記第２の被検体画像データ生成ステップで生成された第２の被検体画像とを表示する表示ステップと、を有することを特徴とする。
【００１３】
本発明の第２の内視鏡装置は、複数の分岐からなる体腔路を備えた被検体の３次元領域の画像データに対して、前記画像データの所望の画像に目的点を設定する目的点設定手段と、前記目的点設定手段で設定された目標点に至る前記体腔路のルートを前記画像データから抽出するルート抽出手段と、前記ルート抽出手段で抽出した前記体腔路の仮想画像を生成する仮想画像生成手段と、前記仮想内視鏡画像に基づいて、前記被検体内の体腔路が分岐する分岐点での分岐点画像を抽出する分岐点画像抽出手段と、前記ルートの順序に従って前記分岐点画像の縮小画像を生成する縮小画像生成手段と、前記縮小画像と前記仮想画像とを有するナビゲーション画像を生成する画像処理手段と、前記ナビゲーション画像を表示手段に表示可能とする画像表示制御手段と、を具備したことを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１６】
図１ないし図３０は本発明の一実施の形態に係わり、図１は内視鏡装置の構成を示す構成図、図２は図１の入力部の構成を示す構成図、図３は図１の気管支鏡ナビゲーション装置によるナビゲーションデータの生成処理の流れを示すフローチャート、図４は図３の処理で展開されるルート設定画面を示す第１の図、図５は図３の処理で展開されるルート設定画面を示す第２の図、図６は図３のルート設定処理の流れを示すフローチャート、図７は図６の処理で展開されるルート設定画面を示す第１の図、図８は図６の処理で展開されるルート設定画面を示す第２の図、図９は図６の処理で展開されるルート設定画面を示す第３の図、図１０は図１の気管支鏡ナビゲーション装置によるルート探索の変形例を説明する図、図１１は図１の気管支鏡ナビゲーション装置によるナビゲーション処理の流れを示す第１のフローチャート、図１２は図１１の処理で展開されるナビゲーション画面を示す第１の図、図１３は図１１の処理で展開されるナビゲーション画面を示す第２の図、図１４は図１１の処理で展開されるナビゲーション画面を示す第３の図、図１５は図１１の処理で展開されるナビゲーション画面を示す第４の図、図１６は図１１の処理で展開されるナビゲーション画面を示す第５の図、図１７は図１の気管支鏡ナビゲーション装置によるナビゲーション処理の流れを示す第２のフローチャート、図１８は図１７の処理で展開されるナビゲーション画面を示す第１の図、図１９は図１７の処理で表示される動画を説明する図、図２０は図１７の処理で展開されるナビゲーション画面を示す第２の図、図２１は図１７の処理で展開されるナビゲーション画面を示す第３の図、図２２は図１７の処理で展開されるナビゲーション画面を示す第３の図、図２３は図１４のナビゲーション画面の第１の変形例を示す図、図２４は図１４のナビゲーション画面の第２の変形例を示す図、図２５は図１４のナビゲーション画面の第３の変形例を示す図、図２６は図１４のナビゲーション画面の第４の変形例を示す図、図２７は図１４のナビゲーション画面の第５の変形例を示す図、図２８は図１４のナビゲーション画面の第６の変形例を示す図、図２９は図１４のナビゲーション画面の第７の変形例を示す図、図３０は図１４のナビゲーション画面の第８の変形例を示す図である。
【００１７】
図１に示すように、本実施の形態の内視鏡装置１は、患者体内の気管支に挿入し気管支内を撮像し気管支末端の患部組織を生検する気管支鏡２と、気管支鏡２の挿入部の患者体内への挿入量を検出する、例えばエンコーダ等から構成される挿入量検出装置３と、気管支鏡２の手元側に設けられた複数のスイッチをフィルム状に形成したフレキシブルシートからなる入力部４と、ＣＴ画像データに基づき気管支内部の仮想の内視鏡像（以下、ＶＢＳ像と記す）を生成すると共に気管支鏡２からの撮像信号、挿入量検出装置３からの検出信号及び入力部４からの入力信号に基づき、気管支鏡２により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像を合成してモニタ５に表示し気管支鏡２の気管支へのナビゲーションを行う気管支鏡ナビゲーション装置６とを備えて構成される。
【００１８】
なお、前記入力部４は、気管支鏡２の手元側に設けられるとしたが、フットスイッチにより構成してもよい。
【００１９】
気管支鏡ナビゲーション装置６は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支鏡２の気管支へのナビゲーションルート（以下、単にルートと記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支鏡２からの撮像信号、挿入量検出装置３からの検出信号及び入力部４からの入力信号を入力し、ライブ画像、ＶＢＳ画像及び複数のサムネイルＶＢＳ画像からなる後述するナビゲーション画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成したナビゲーション画面をモニタ５に表示させる画像表示制御部１８と、ルート設定部１４に対して設定情報を入力するキーボード及びポインティングデバイスからなる設定情報入力部１９とから構成される。
【００２０】
なお、ＣＴ画像データ格納部１２及びＶＢＳ画像格納部１６は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。
【００２１】
入力部４は、図２に示すように、ナビゲーション画面に表示する気管支の分岐点毎のＶＢＳ画像の更新を指示する次ＶＢＳスイッチであるＳＷ１と、ＶＢＳ画像を自動回転させライブ画像の向きに対応させる指示を行う画像回転自動スイッチであるＳＷ２と、ＶＢＳ画像を所定回転角づつ回転させライブ画像の向きに対応させる指示を行う画像回転手動スイッチであるＳＷ３と、ライブ画像の静止画像の取り込みを指示するフリーズスイッチであるＳＷ４とから構成される。
【００２２】
このように構成された本実施の形態の作用について説明する。
【００２３】
図３に示すように、気管支鏡２による観察・処置に先立ち、気管支鏡ナビゲーション装置６は、ステップＳ１でＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者の３次元画像データを取り込み、ステップＳ２で取り込んだ３次元画像データをＣＴ画像データ格納部１２に格納する。
【００２４】
ステップＳ３でルート設定部１４により、図４に示すようなルート設定画面２１をモニタ５に表示させ、ルート設定画面２１上の患者情報タグ画面２２で患者情報を選択する。この選択により、ステップＳ４で選択された患者の例えば３つの異なる多断面像からなるＭＰＲ画像が生成され、ステップＳ５でこのＭＰＲ画像２３がルート設定画面２１に表示される。
【００２５】
なお、患者情報タグ画面２２での患者情報の選択は、設定情報入力部１９により患者を識別する患者ＩＤを入力することで行われる。
【００２６】
次に、ステップＳ６でルート設定画面２１上のルート設定タグ２４（図４参照）を設定情報入力部１９により選択すると、図５に示すようなルート設定タグ画面２５がルート設定画面２１に表示され、後述するルート設定処理を行い、気管支での気管支鏡２の挿入ナビゲーションのルートを設定する。
【００２７】
挿入ナビゲーションのルートが設定されると、ステップＳ７でＶＢＳ画像生成部１５により設定した全ルートの連続したＶＢＳ画像をフレーム単位で生成し、ステップＳ８で生成したＶＢＳ画像をＶＢＳ画像格納部１６に格納する。
【００２８】
本実施の形態の気管支鏡ナビゲーション装置６では、例えば後述するように２つのナビゲーション方法で気管支での気管支鏡２の挿入をナビゲーションすることができるので、この方法をモード１及びモード２として、ステップＳ９で設定情報入力部１９によりモード（ナビゲーションモード）をルート設定部１４に設定する。このナビゲーションモードの情報はルート設定部１４を介して画像処理部１７にも送信され、モード情報がそれぞれに記憶される。
【００２９】
上記のステップＳ１〜Ｓ９の処理により、気管支鏡２による観察・処置時の気管支鏡ナビゲーション装置６によるナビゲーションの準備が完了する。
【００３０】
ここで、上記ステップＳ６のルート設定処理を図６を用いて説明する。
【００３１】
図６に示すように、ステップＳ６のルート設定処理では、設定情報入力部１９を操作することで、図５に示したルート設定タグ画面２５上のルート探索ボタンをクリックすると、ステップＳ１１で図７に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２１上に表示され、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に始点が設定されると共に、図８に示すようなルートの終点の入力を促す終点入力指示ウインドウ３２がルート設定画面２１上に表示さる。
【００３２】
そこで、ステップＳ１２で始点の設定と同様に、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に終点が設定される。
【００３３】
始点と終点が設定されると、ステップＳ１３でルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４ではステップＳ１３では、始点から終点に至る気管支内のルートの第１候補を探索する。
【００３４】
そして、ルート設定部１４はルート設定画面２１上において、図９に示すように、ステップＳ１４で探索されたルートをＭＰＲ画像２３に重畳して表示すると共に、ルートの確定等の入力を促すルート確定ウインドウ３３を表示する。
【００３５】
ルート確定ウインドウ３３には、探索したルートの確定を指示するルート確定ボタン４１と、次候補のルートの探索を指示する次候補探索ボタン４２と、始点及び終点を再設定し直すルート再設定ボタン４３と、ルート探索処理をキャンセルするキャンセルボタン４４とを備えている。
【００３６】
ステップＳ１５で次候補探索ボタン４２がクリックされたかどうか判断し、クリックされたならばステップＳ１６で次候補のルートを自動探索してステップＳ１７に進み、クリックされない場合にはステップＳ１８に進む。ステップＳ１７では次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。
【００３７】
ステップＳ１８では、ルート再設定ボタン４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ１９に進む。
【００３８】
ステップＳ１９では、ルート確定ボタン４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１５に戻り、クリックされたならばステップＳ２０に進み、ステップＳ２０でルート及びルート内の各分岐点の位置情報を決定して図６のステップＳ７に戻る。
【００３９】
ステップＳ２０でルート内の各分岐点の３次元の位置情報が決定されると、始点１０１から終点１０２に至るまでの挿入経路における分岐の順番を、各分岐点のＶＢＳ画像データに付して、ステップＳ８によりＶＢＳ画像格納部１６に格納する。従って分岐点を示す各ＶＢＳ画像データは分岐部の仮想画像と、分岐部の３次元位置情報と、選択された挿入経路における分岐の順番を有している。
【００４０】
なお、ＭＰＲ画像を使ったルート探索処理について述べたが、図１０に示すようなボリュームレンダリング（Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｎｉｑｕｅ）画像１００を用いて、始点１０１及び終点１０２を指定してルート探索を行うようにしてもよい。
【００４１】
このようにしてルート設定がなされた気管支鏡ナビゲーション装置６による気管支鏡２による観察・処置時の挿入のナビゲーションについて説明する。なお、以下では、ルートの分岐点が１０カ所の場合を例に説明する。
【００４２】
図１１に示すように、気管支鏡ナビゲーション装置６によるナビゲーションを開始すると、ステップＳ２１でモニタ５に図１２に示すようなナビゲーション画面５１を表示する。
【００４３】
このナビゲーション画面５１は、気管支鏡２からのライブ画像を表示する内視鏡ライブ画像表示エリア５２と、ＶＢＳ画像を表示するＶＢＳ画像表示エリア５３と、ルートの全ての分岐点でのＶＢＳ画像を縮小して分岐サムネイルＶＢＳ画像として表示する分岐サムネイルＶＢＳ画像エリア５４とからなり、気管支鏡２の挿入前であるステップＳ２１では、内視鏡ライブ画像表示エリア５２にはライブ画像は表示されないが、ＶＢＳ画像表示エリア５３にはルートの最初の分岐点のＶＢＳ画像５３ａが表示され、分岐サムネイルＶＢＳ画像エリア５４には全ての分岐点での分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）が表示される。
【００４４】
なお、ＶＢＳ画像５３ａにはルートに進む経路穴にマーカ５５を重畳して表示している。また、ＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像５３ａと同じ分岐サムネイルＶＢＳ画像の枠が太枠あるいはカラー表示され、他の分岐サムネイルＶＢＳ画像と識別可能となっており、術者はＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像がどの分岐の画像かを容易に認識できるようになっている。このステップＳ２１の段階では分岐サムネイルＶＢＳ画像５４（ａ）の枠が太枠あるいはカラー表示される。
【００４５】
そして、ステップＳ２２で気管支鏡２の気管支内への挿入を開始すると、図１３に示すように、ステップＳ２３でナビゲーション画面５１には内視鏡ライブ画像表示エリア５２に気管支鏡２からのライブ画像５２ａが表示される。尚、図１３においてもＶＢＳ画像表示エリア５３にはルートの最初の分岐点のＶＢＳ画像５３ａが表示され、分岐サムネイルＶＢＳ画像エリア５４には全ての分岐点での分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）が表示され、分岐サムネイルＶＢＳ画像５４（ａ）の枠が太枠あるいはカラー表示される。
【００４６】
次に、ステップＳ２４でライブ画像を受信した画像処理部１７において、ナビゲーションモードがモード１かどうか判断する。
【００４７】
以下、まず、ナビゲーションモードがモード１の場合の気管支鏡ナビゲーション装置６のナビゲーション処理について説明する。
【００４８】
まず、気管支鏡２の先端が最初（第１）の分岐点に到達すると、術者はフリーズスイッチであるＳＷ４を押下するかどうか判断する。術者はＶＢＳ画像表示エリア５３のＶＢＳ画像５３ａとライブ画像５２ａを目視するだけでマーカ５５が示す経路穴をライブ画像５２ａ上で見いだせる場合はそのまま挿入を続行するが、ライブ画像５２ａ上でマーカ５５が示す経路穴を見つけるのが困難な場合にはフリーズスイッチであるＳＷ４を押下する。
【００４９】
そこで、ステップＳ２５でフリーズスイッチであるＳＷ４がＯＮされたかどうか判断し、ＯＮされたならばステップＳ２６でライブ画像５２ａの静止画像を取り込み、該静止画像と最初の分岐点のＶＢＳ画像５３ａとが公知の画像処理によって類似度が比較され、ＯＮされないならばステップＳ２７に進む。
【００５０】
なお、ステップＳ２６において、所定値以下の類似度の場合には設定したルート以外のルートに挿入された（あるいは異なる分岐点のＶＢＳ画像と比較している）と判断し警告を表示する（図示せず）。
【００５１】
ステップＳ２６にて、所定値を超える類似度でライブ画像５２ａの静止画像とＶＢＳ画像５３ａとが類似していると判断すると、両画像が同一の分岐点での画像であるとし、術者が画像回転自動スイッチであるＳＷ２あるいは画像回転手動スイッチであるＳＷ３を操作することで、ＶＢＳ画像５３ａを回転させ、ライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを一致させた後、ステップＳ２７に進む。
【００５２】
なお、画像回転自動スイッチであるＳＷ２を術者が押下すると、例えばパターン認識処理によりライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを自動的に一致させる。また、画像回転手動スイッチであるＳＷ３を術者が押下すると、所定角度だけＶＢＳ画像５３ａを回転させ、術者がＳＷ３の押下を繰り返すことで手動にてライブ画像５２ａとＶＢＳ画像５３ａとを一致させる。
【００５３】
このようにしてライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを一致させると、術者はマーカ５５が示す経路穴をライブ画像５２ａ上で容易に見いだせるので、マーカ５５の指示に従って挿入を続行する。
【００５４】
ステップＳ２７では、次ＶＢＳスイッチであるＳＷ１が術者によって押下されたかどうか判断し、押下されない場合にはステップＳ２５に戻り、ＳＷ１が術者によって押下された場合には、ステップＳ２８でＶＢＳ画像表示エリア５３に次（第２）の分岐サムネイルＶＢＳ画像（ｂ）のＶＢＳ画像５３ａを表示する。このとき第２の分岐サムネイルＶＢＳ画像５４（ｂ）の枠が太枠あるいはカラー表示され、分岐サムネイルＶＢＳ画像５４（ａ）の枠は他の分岐サムネイルＶＢＳ画像の枠表示になる。
【００５５】
そして、ステップＳ２９で病変部に達したか（すなわち、ナビゲーションの終点に達したか）どうかを判断し、病変部に到達した場合は処理を終了し、病変部に到達していない場合にはステップＳ２５に戻り、病変部に到達するまで、ステップＳ２５〜Ｓ２９の処理を繰り返す。
【００５６】
上記ステップＳ２５〜Ｓ２９の処理の具体例をナビゲーション画面５１を用いて説明する。図１４に示すように、例えば第８の分岐点に到達した場合のナビゲーションにおいては、ＶＢＳ画像表示エリア５３には第８の分岐サムネイルＶＢＳ画像５４（ｈ）のＶＢＳ画像５３ａが表示され、内視鏡ライブ画像表示エリア５２には第８の分岐点近傍のライブ画像５２ａが表示される。このとき分岐サムネイルＶＢＳ画像５４（ｈ）の枠のみが太枠あるいはカラー表示され、術者に第８の分岐点におけるナビゲーションであることを認識させる。
【００５７】
この状態で術者がフリーズスイッチであるＳＷ４を押下（ステップＳ２５）すると、ライブ画像の静止画像が取り込まれ、例えば術者が画像回転自動スイッチであるＳＷ２を押下すると、図１５に示すように、ＶＢＳ画像５３ａを回転させ、ライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを一致させる（ステップＳ２６）。
【００５８】
次に術者が挿入先の経路穴を認識し、次ＶＢＳスイッチであるＳＷ１を押下（ステップＳ２７）すると、図１６に示すように、ＶＢＳ画像表示エリア５３には第９の分岐サムネイルＶＢＳ画像５４（ｉ）のＶＢＳ画像５３ａが表示され、分岐サムネイルＶＢＳ画像５４（ｉ）の枠のみが太枠あるいはカラー表示され、術者に次のナビゲーションの位置が第９の分岐点であることを認識させ（ステップＳ２８）、病変部（すなわち、ナビゲーションの終点）に到達するまで（ステップＳ２９）同様なナビゲーションは行われる。
【００５９】
次に、ナビゲーションモードがモード２の場合の気管支鏡ナビゲーション装置６のナビゲーション処理について説明する。
【００６０】
図１１のステップＳ２４でライブ画像を受信した画像処理部１７において、ナビゲーションモードがモード１でない、すなわちモード２と判断すると、図１７のステップＳ４１に処理が移行する。
【００６１】
モード２のナビゲーションモードは、気管支への挿入術に習熟している術者が利用するモードであって、ナビゲーションは期待するが、ほとんどの分岐点での挿入先の経路穴を熟知している場合には、モード１のように所定位置までの各分岐点でのナビゲーションを必要としないモードである。
【００６２】
しかし、モード１の場合は各分岐点に達する毎に次ＶＢＳスイッチであるＳＷ１を押下するので、ライブ画像の分岐点位置とＶＢＳ画像の分岐点位置を同一とすることが可能であるが、所定位置までの各分岐点でのナビゲーションを必要としないで挿入を続行し、ある位置における分岐点でのナビゲーションを期待する場合、ナビゲーションしたい分岐点位置の分岐サムネイルＶＢＳ画像を見つけることが難しくなる。
【００６３】
そこで、モード２のナビゲーションモードでは、気管支鏡の挿入部の挿入量に基づいてナビゲーションしたい分岐点位置の分岐サムネイルＶＢＳ画像を検索し、ＶＢＳ画像５３ａをＶＢＳ画像表示エリア５３に表示させ、ナビゲーションを可能とする。
【００６４】
すなわち、モード２のナビゲーションモードにおいては、術者はナビゲーションを必要としない場合は、ライブ画像をモニタしながら気管支鏡２の挿入を続行するが、ナビゲーションを必要とする分岐点に気管支鏡２の先端が到達した場合、術者はフリーズスイッチであるＳＷ４を押下する。
【００６５】
モード２での気管支鏡ナビゲーション装置６のナビゲーション処理は、図１７に示すように、ステップＳ４１でフリーズスイッチであるＳＷ４が押下されるのを待ち、ＳＷ４が押下されると、図１８に示すように、ステップＳ４２で内視鏡ライブ画像表示エリア５２のライブ画像５２ａにフリーズスイッチであるＳＷ４が押下された時点での静止画像の縮小画像６０が重畳されて表示される。
【００６６】
なお、図１８においては、フリーズスイッチであるＳＷ４が押下された時点が第８の分岐点であって、この時点までナビゲーションを必要としていない場合でフリーズスイッチであるＳＷ４がこの時点で初めて押下された状態の図であって、ＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像５３ａは、第１の分岐サムネイルＶＢＳ画像５４（ａ）のＶＢＳ画像となっている。
【００６７】
そして、ステップＳ４３で挿入量検出装置３により気管支鏡２の挿入部の患者体内への挿入量を検出し、ステップＳ４４で検出した挿入量に基づき気管支鏡２の先端位置及びその近傍の分岐点を算出する。
【００６８】
ステップＳ４５では、算出した分岐点を基準に１つ手前の分岐点から１つ後の分岐点までのＶＢＳ画像を動画にてＶＢＳ画像表示エリア５３に表示する。また算出した分岐点の分岐サムネイルＶＢＳ画像のみ枠が太枠あるいはカラー表示される。
【００６９】
図１９は、図１８における第８の分岐点を基準に第７の分岐点から第９の分岐点までのＶＢＳ画像の動画表示の様子を示し、図２０は動画表示の開始時点の第７の分岐点のＶＢＳ画像５３ａがＶＢＳ画像表示エリア５３に表示されたナビゲーション画面５１を示し、図２１は動画表示の終了時点の第９の分岐点のＶＢＳ画像５３ａがＶＢＳ画像表示エリア５３に表示されたナビゲーション画面５１を示している。
【００７０】
なお、図２０及び図２１に示すように、ＶＢＳ画像表示エリア５３に動画表示される領域を示す、分岐サムネイルＶＢＳ画像エリア５４に表示されている分岐サムネイルＶＢＳ画像の下に動画領域バー７１が表示される。図２０及び図２１の場合は、第７の分岐点の分岐サムネイルＶＢＳ画像５４（ｇ）から第９の分岐点の分岐サムネイルＶＢＳ画像５４（ｉ）の下に動画領域バー７１が表示されている表示例を示し、このとき、算出した分岐点の分岐サムネイルＶＢＳ画像５４（ｈ）のみ枠が太枠あるいはカラー表示される。
【００７１】
これにより術者は現在の挿入部の先端位置がどの分岐点位置にあるかどうかが認識できるので、術者は近傍の分岐点のライブ画像を見いだすように挿入を前後させ、内視鏡ライブ画像表示エリア５２のライブ画像５２ａを分岐点のライブ画像５２ａを得る。
【００７２】
このようにしてナビゲーションを必要とする位置でのライブ画像５２ａを得ると、ステップＳ４６でフリーズスイッチであるＳＷ４がＯＮされるのを待ち、ＯＮされたならば、ステップＳ４７でライブ画像５２ａの静止画像を取り込み算出した分岐点のＶＢＳ画像５３ａをＶＢＳ画像表示エリア５３に表示し、ステップＳ４８においてライブ画像５２ａの静止画像と算出した分岐点のＶＢＳ画像５３ａとの類似度を公知の画像処理によって比較し、モード１と同様な処理を行う。
【００７３】
なお、図２１の状態でフリーズスイッチであるＳＷ４がＯＮされると、図２２に示すように、算出した分岐点の分岐サムネイルＶＢＳ画像５４（ｈ）のＶＢＳ画像５３ａをＶＢＳ画像表示エリア５３に表示すると共に、分岐サムネイルＶＢＳ画像５４（ｈ）のみ枠が太枠あるいはカラー表示される。
【００７４】
なお、ステップＳ４８においては、モード１と同様に、所定値以下の類似度の場合には設定したルート以外のルートに挿入された（あるいは異なる分岐点のＶＢＳ画像と比較している）と判断し警告を表示する（図示せず）。
【００７５】
また、ステップＳ４８では、モード１同様に、所定値を超える類似度でライブ画像５２ａの静止画像とＶＢＳ画像５３ａとが類似していると判断すると、両画像が同一の分岐点での画像であるとし、術者が画像回転自動スイッチであるＳＷ２あるいは画像回転手動スイッチであるＳＷ３を操作することで、ＶＢＳ画像５３ａを回転させ、ライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを一致させた後、ステップＳ４９に進む。
【００７６】
このようにしてライブ画像５２ａの静止画像とＶＢＳ画像５３ａとを一致させると、術者はマーカ５５が示す経路穴をライブ画像５２ａ上で容易に見いだせるので、マーカ５５の指示に従って挿入を続行する。
【００７７】
そして、ステップＳ４９で病変部に達したか（すなわち、ナビゲーションの終点に達したか）どうかを判断し、病変部に到達した場合は処理を終了し、病変部に到達していない場合にはステップＳ４１に戻り、病変部に到達するまで、ステップＳ４１〜Ｓ４９の処理を繰り返す。
【００７８】
なお、ステップＳ４５で算出した分岐点を基準に１つ手前の分岐点から１つ後の分岐点までのＶＢＳ画像を動画にてＶＢＳ画像表示エリア５３に表示するとしたが、これに限らず、例えば算出した分岐点を基準に２つ手前の分岐点から２つ後の分岐点までのＶＢＳ画像を動画にてＶＢＳ画像表示エリア５３に表示するようにしてもよい。
【００７９】
このように本実施の形態では、モード１のナビゲーションにおいては、分岐サムネイルＶＢＳ画像エリア５４に全ての分岐点の分岐サムネイルＶＢＳ画像を表示すると共に、ライブ画像５２ａと比較しているＶＢＳ画像５３ａに対応する分岐サムネイルＶＢＳ画像枠を太枠あるいはカラー表示するので、ライブ画像５２ａがどの分岐点の画像かを容易に認識できる。
【００８０】
また、モード２のナビゲーションにおいては、ナビゲーションが必要なときに対象となる分岐点のＶＢＳ画像５３ａを簡単に探索し、ライブ画像５２ａ近傍のＶＢＳ画像５３ａを動画にて表示するので、ライブ画像５２ａがどの分岐点の画像かを容易に認識できる。
【００８１】
さらにモード１及び２のナビゲーションにおいては、ライブ画像５２ａとＶＢＳ画像５３ａの比較において、画像処理にて両画像の類似度を算出し、所定値以下の類似度の場合、警告を行うので術者が誤認した分岐点での挿入続行を中断でき、容易に適切な分岐点位置に気管支鏡２の先端を位置させる処置を行うことが可能となる。
【００８２】
なお、ナビゲーション画面５１において、ＶＢＳ画像５３ａに対応する分岐サムネイルＶＢＳ画像エリア５４の分岐サムネイルＶＢＳ画像の枠を太枠あるいはカラー表示するとしたが、図２３に示すように、ＶＢＳ画像５３ａに対応する分岐サムネイルＶＢＳ画像を拡大して、且つ拡大した分岐サムネイルＶＢＳ画像の枠を太枠あるいはカラー表示するようにしてもよい。図２３では分岐点が９個の場合において、第７の分岐サムネイルＶＢＳ画像のＶＢＳ画像５３ａが表示された状態を示している。
【００８３】
また、ナビゲーション画面５１においては分岐サムネイルＶＢＳ画像を１列表示としたが、分岐点が多い場合には図２４に示すように、２列以上にわたって分岐サムネイルＶＢＳ画像を表示するようにしてもよい。また、図２５に示すように、分岐サムネイルＶＢＳ画像エリア５４をスクロール可能なフレーム構成することで、複数の分岐サムネイルＶＢＳ画像をスクロールさせて表示するようにしてもよい。
【００８４】
さらに、ナビゲーション画面５１においてＶＢＳ画像５３ａにはルートに進む経路穴にマーカ５５を重畳して表示するとしたが、これに限らず、例えば図２６に示すように、ＶＢＳ画像５３ａ上のルートに進む経路穴の輪郭を強調表示したり経路穴内をカラー表示してもよい。
【００８５】
さらにまた、図２７に示すように、ナビゲーション画面５１においてＶＢＳ画像５３ａ上に、患者の姿勢に応じた上下方向（重力方向）を表示させてもよい。なお図２８に示すようにライブ画像５２ａ上に表示してもよい。
【００８６】
また、図２９に示すように、ＶＢＳ画像５３ａ上に挿入先にある生検対象の組織の位置をマーカ８１にて表示し、現在位置から生検対象の組織の位置までの距離や生検対象の組織の大きさ等をＶＢＳ画像５３ａ上に表示するようにしてよい。またマーカ８１ではなく図３０に示すように、組織の大きさや形状を模した組織像８２をＶＢＳ画像５３ａ上に表示するようにしてもよい。
【００８７】
したがって、本実施の形態によれば、実際の分岐位置に対応した案内画像により、内視鏡を目的部位に確実にナビゲーションすることができる。
【００８８】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００８９】
以上のように、本発明にかかる内視鏡装置は、体内の管路への内視鏡挿入をナビゲーションする内視鏡装置として、また、気管支等のような体内の管路への気管支内視鏡挿入をナビゲーションする内視鏡装置として、さらに、多段階の分岐点を有する管路への内視鏡挿入をナビゲーションする工業用内視鏡装置等として有用であり、特に目的部位が気管支等のような多段階の分岐点を有する体内の管路内の末端にある場合に気管支内視鏡先端部を確実にナビケーションするのに適している。
【００９０】
【発明の効果】
以上説明したように本発明によれば、実際の分岐位置に対応した案内画像により、内視鏡を目的部位に確実にナビゲーションすることのできるという効果を有する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る内視鏡装置の構成を示す構成図である。
【図２】図１の入力部の構成を示す構成図である。
【図３】図１の気管支鏡ナビゲーション装置によるナビゲーションデータの生成処理の流れを示すフローチャートである。
【図４】図３の処理で展開されるルート設定画面を示す第１の図である。
【図５】図３の処理で展開されるルート設定画面を示す第２の図である。
【図６】図３のルート設定処理の流れを示すフローチャートである。
【図７】図６の処理で展開されるルート設定画面を示す第１の図である。
【図８】図６の処理で展開されるルート設定画面を示す第２の図である。
【図９】図６の処理で展開されるルート設定画面を示す第３の図である。
【図１０】図１の気管支鏡ナビゲーション装置によるルート探索の変形例を説明する図である。
【図１１】図１の気管支鏡ナビゲーション装置によるナビゲーション処理の流れを示す第１のフローチャートである。
【図１２】図１１の処理で展開されるナビゲーション画面を示す第１の図である。
【図１３】図１１の処理で展開されるナビゲーション画面を示す第２の図である。
【図１４】図１１の処理で展開されるナビゲーション画面を示す第３の図である。
【図１５】図１１の処理で展開されるナビゲーション画面を示す第４の図である。
【図１６】図１１の処理で展開されるナビゲーション画面を示す第５の図である。
【図１７】図１の気管支鏡ナビゲーション装置によるナビゲーション処理の流れを示す第２のフローチャートである。
【図１８】図１７の処理で展開されるナビゲーション画面を示す第１の図である。
【図１９】図１７の処理で表示される動画を説明する図である。
【図２０】図１７の処理で展開されるナビゲーション画面を示す第２の図である。
【図２１】図１７の処理で展開されるナビゲーション画面を示す第３の図である。
【図２２】図１７の処理で展開されるナビゲーション画面を示す第４の図である。
【図２３】図１４のナビゲーション画面の第１の変形例を示す図である。
【図２４】図１４のナビゲーション画面の第２の変形例を示す図である。
【図２５】図１４のナビゲーション画面の第３の変形例を示す図である。
【図２６】図１４のナビゲーション画面の第４の変形例を示す図である。
【図２７】図１４のナビゲーション画面の第５の変形例を示す図である。
【図２８】図１４のナビゲーション画面の第６の変形例を示す図である。
【図２９】図１４のナビゲーション画面の第７の変形例を示す図である。
【図３０】図１４のナビゲーション画面の第８の変形例を示す図である。
【図３１】気管支の構造を示す図である。
【符号の説明】
１・・・内視鏡装置
２・・・気管支鏡
３・・・挿入量検出装置
４・・・入力部
５・・・モニタ
６・・・気管支鏡ナビゲーション装置
１１・・・ＣＴ画像データ取り込み部
１２・・・ＣＴ画像データ格納部
１３・・・ＭＰＲ画像生成部
１４・・・ルート設定部
１５・・・ＶＢＳ画像生成部
１６・・・ＶＢＳ画像格納部
１７・・・画像処理部
１８・・・画像表示制御部
１９・・・設定情報入力部
Claims (24)
- 内視鏡により撮像された被検体内の体腔路の内視鏡画像を生成する内視鏡画像生成手段と、
被検体の３次元領域の画像データに基づき前記被検体内の体腔路の３次元画像を生成する３次元画像生成手段と、
前記内視鏡の挿入経路を案内するための内視鏡の挿入地点から前記被検体の目的部位到達地点までのルートを算出するルート指示手段と、
前記ルート指示手段による算出結果に基づき、設定したルートに沿った前記体腔路の３次元画像を縮小した縮小画像を生成する３次元縮小画像生成手段と、
前記体腔路の所定箇所における内視鏡画像および当該箇所における３次元画像と共に、前記所定箇所に対して進行方向前後の複数の体腔路内箇所に係る３次元縮小画像を、前記３次元縮小画像生成手段において生成した３次元縮小画像のうちから選択してナビゲーション画像を生成する画像処理部を有するナビゲーション画像生成手段と、
前記体腔路の所定箇所における内視鏡画像、当該箇所における３次元画像および前記画像処理部において選択された３次元縮小画像を同時にモニタ表示させる画像表示制御手段と、
を具備したことを特徴とする内視鏡装置。 - 前記ルート指示手段は、前記内視鏡の挿入地点から前記被検体の目的部位到達地点までのルートを、複数算出可能とすることを特徴とする請求項１に記載の内視鏡装置。
- 前記ナビゲーション画像生成手段は、前記被検体の３次元領域の画像データに基づき前記被検体内の体腔路の多画面再構築画像を生成する多画面再構築画像生成手段を有し、前記ルート指示手段は、前記多画面再構築画像生成手段により生成された前記多画面再構築画像に基づいて前記ルートを算出することを特徴とする請求項１または２に記載の内視鏡装置。
- 前記３次元画像は、前記被検体の３次元領域の画像データであるＣＴ画像データに基づき生成された前記被検体内の体腔路の仮想的なＶＢＳ画像であることを特徴とした請求項１乃至３のいずれか一項に記載の内視鏡装置。
- 前記多画面再構築画像は、前記ＣＴ画像データに基づき生成された前記被検体内の体腔路のＭＰＲ画像であることを特徴とする請求項１乃至４のいずれか一項に記載の内視鏡装置。
- 前記画像処理部は、前記ルート指示手段からの算出結果に基づき、前記多画面再構築画像生成手段により生成された前記ＭＰＲ画像を用いて前記３次元画像の縮小画像を選択することを特徴とする請求項５に記載の内視鏡装置。
- 前記画像処理部は、前記ルート指示部により設定されたルートの連続した前記ＶＢＳ画像をフレーム単位で生成することを特徴とする請求項４に記載の内視鏡装置。
- 前記ＣＴ画像データを取り込む取り込み部と、この取り込み部によって取り込まれた前記ＣＴ画像データを格納する第１の格納部と、前記ＶＢＳ画像に基づく画像データを格納する第２の格納部と、を有して構成されたことを特徴とする請求項４に記載の内視鏡装置。
- 内視鏡の挿入量を算出する挿入量算出手段を有し、前記画像表示制御手段は、前記挿入量算出手段による挿入量算出結果に基づき、前記内視鏡画像を表示させることを特徴とする請求項１乃至８のいずれか一項に記載の内視鏡装置。
- 前記ルート指示手段及び前記画像表示制御手段に操作指示を与える操作入力手段を設けたことを特徴とする請求項１乃至９のいずれか一項に記載の内視鏡装置。
- 前記画像表示制御手段は、モニタ表示された前記３次元画像を回転表示させることを特徴とする請求項１乃至１０のいずれか一項に記載の内視鏡装置。
- 内視鏡により撮像された被検体内の体腔路の内視鏡画像を生成する内視鏡画像生成手順と、
被検体の３次元領域の画像データに基づき前記被検体内の体腔路の３次元画像を生成する３次元画像生成手順と、
前記内視鏡の挿入経路を案内するための内視鏡の挿入地点から前記被検体の目的部位到達地点までのルートを算出するルート指示手順と、
前記ルート指示手順による算出結果に基づき、設定したルートに沿った前記体腔路の３次元画像を縮小した縮小画像を生成する３次元縮小画像生成手順と、
前記体腔路の所定箇所における内視鏡画像および当該箇所における３次元画像と共に、前記所定箇所に対して進行方向前後の複数の体腔路内箇所に係る３次元縮小画像を、前記３次元縮小画像生成手順において生成した３次元縮小画像のうちから選択してナビゲーション画像を生成する画像処理手順を有するナビゲーション画像生成手順と、
前記体腔路の所定箇所における内視鏡画像、当該箇所における３次元画像および前記画像処理手順において選択された３次元縮小画像を同時にモニタ表示させる画像表示制御手順と、
を有したことを特徴とする内視鏡装置のナビゲーション方法。 - 内視鏡により撮像された被検体の管路の画像データを入力する内視鏡画像データ入力ステップと、
前記被検体の３次元データに基づいて管路を示す第１の被検体画像データを生成する第１の被検体画像データ生成ステップと、
前記被検体内の３次元データに基づいて管路を示す第２の被検体画像データを生成する第２の被検体画像データ生成ステップと、
前記内視鏡画像データに基づいて前記内視鏡画像を表示する内視鏡画像表示ステップと、
前記第１の被検体画像データに基づいて前記第１の被検体画像を表示する第１の被検体画像表示ステップと、
前記第２の被検体画像データに基づいて前記第２の被検体画像を表示する第２の被検体画像表示ステップと、
を有することを特徴とする内視鏡用画像の表示方法。 - 前記被検体の３次元データは、気管支のデータであることを特徴とする請求項１３に記載の内視鏡用画像表示方法。
- 前記第１の被検体画像生成ステップは、前記気管支の分岐部の画像を生成することを特徴とする請求項１４に記載の内視鏡用画像の表示方法。
- 前記第２の被検体画像生成ステップは、複数の異なる前記気管支の分岐部の画像を生成し、前記第２の被検体画像表示ステップで複数の異なる前記気管支の分岐部の画像を表示することを特徴とする請求項１４に記載の内視鏡用画像の表示方法。
- 前記第２の被検体画像表示ステップで表示される前記気管支の分岐部の少なくとも一部は前記内視鏡の挿入経路順に並んで表示されていることを特徴とする請求項１６に記載の内視鏡用画像の表示方法。
- 内視鏡により撮像された被検体の管路の画像データを入力する内視鏡画像データ入力ステップと、
前記被検体の３次元データに基づいて管路を示す第１の被検体画像データを生成する第１の被検体画像データ生成ステップと、
前記被検体内の３次元データに基づいて管路を示す第２の被検体画像データを生成する第２の被検体画像データ生成ステップと、
前記内視鏡画像データに基づいて前記内視鏡画像を表示する内視鏡画像表示ステップと、
前記第１の被検体画像データに基づいて前記第１の被検体画像を表示する第１の被検体画像表示ステップと、
前記第２の被検体画像データに基づいて前記第２の被検体画像を表示する第２の被検体画像表示ステップと、
を有することを特徴とする内視鏡用画像表示プログラム。 - 前記被検体の３次元データは、気管支のデータであることを特徴とする請求項１８に記載の内視鏡用画像表示プログラム。
- 前記第１の被検体画像生成ステップでは前記気管支の分岐部の画像を生成することを特徴とする請求項１９に記載の内視鏡用画像表示プログラム。
- 前記第２の被検体画像生成ステップでは複数の異なる前記気管支の分岐部の画像を生成し、前記第２の被検体画像表示ステップで複数の異なる前記気管支の分岐部の画像を表示することを特徴とする請求項１９に記載の内視鏡用画像表示プログラム。
- 前記第２の被検体画像表示ステップで表示される前記気管支の分岐部の少なくとも一部は前記内視鏡の挿入経路順に並んで表示されていることを特徴とする請求項２１に記載の内視鏡用画像表示プログラム。
- 内視鏡により撮像された被検体の管路の画像データを入力する内視鏡画像データ入力ステップと、
前記被検体の３次元データに基づいて管路を示す第１の被検体画像データを生成する第１の被検体画像データ生成ステップと、
前記被検体内の３次元データに基づいて管路を示す第２の被検体画像データを生成する第２の被検体画像データ生成ステップと、
前記内視鏡画像データ入力ステップで入力された前記内視鏡画像データに基づく内視鏡画像と前記第１の被検体画像データ生成ステップで生成された第１の被検体画像と前記第２の被検体画像データ生成ステップで生成された第２の被検体画像とを表示する表示ステップと、
を有することを特徴とする内視鏡用画像の表示方法。 - 複数の分岐からなる体腔路を備えた被検体の３次元領域の画像データに対して、前記画像データの所望の画像に目的点を設定する目的点設定手段と、
前記目的点設定手段で設定された目標点に至る前記体腔路のルートを前記画像データから抽出するルート抽出手段と、
前記ルート抽出手段で抽出した前記体腔路の仮想画像を生成する仮想画像生成手段と、
前記仮想内視鏡画像に基づいて、前記被検体内の体腔路が分岐する分岐点での分岐点画像を抽出する分岐点画像抽出手段と、
前記ルートの順序に従って前記分岐点画像の縮小画像を生成する縮小画像生成手段と、
前記縮小画像と前記仮想画像とを有するナビゲーション画像を生成する画像処理手段と、
前記ナビゲーション画像を表示手段に表示可能とする画像表示制御手段と、
を具備したことを特徴とする内視鏡装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002223618 | 2002-07-31 | ||
| JP2002223618 | 2002-07-31 | ||
| PCT/JP2003/009733 WO2004010857A1 (ja) | 2002-07-31 | 2003-07-31 | 内視鏡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2004010857A1 JPWO2004010857A1 (ja) | 2005-11-24 |
| JP4009639B2 true JP4009639B2 (ja) | 2007-11-21 |
Family
ID=31184975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004524322A Expired - Lifetime JP4009639B2 (ja) | 2002-07-31 | 2003-07-31 | 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US7641609B2 (ja) |
| EP (1) | EP1466552B1 (ja) |
| JP (1) | JP4009639B2 (ja) |
| CN (1) | CN100364479C (ja) |
| AT (1) | ATE349944T1 (ja) |
| DE (1) | DE60310877T8 (ja) |
| WO (1) | WO2004010857A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016098665A1 (ja) * | 2014-12-15 | 2016-06-23 | オリンパス株式会社 | 医療機器システム、医療機器システムの作動方法 |
Families Citing this family (131)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7555333B2 (en) * | 2000-06-19 | 2009-06-30 | University Of Washington | Integrated optical scanning image acquisition and display |
| US7998062B2 (en) | 2004-03-29 | 2011-08-16 | Superdimension, Ltd. | Endoscope structures and techniques for navigating to a target in branched structure |
| ES2387026T3 (es) * | 2003-09-15 | 2012-09-11 | Super Dimension Ltd. | Dispositivo de fijación envolvente para utilizarse con broncoscopios |
| EP2316328B1 (en) * | 2003-09-15 | 2012-05-09 | Super Dimension Ltd. | Wrap-around holding device for use with bronchoscopes |
| JP4573517B2 (ja) * | 2003-10-29 | 2010-11-04 | オリンパス株式会社 | 挿入支援システム |
| EP2245983A3 (en) | 2003-10-31 | 2013-12-25 | Olympus Corporation | Insertion support system |
| JP3847744B2 (ja) | 2003-11-04 | 2006-11-22 | オリンパス株式会社 | 挿入支援システム |
| US7901348B2 (en) | 2003-12-12 | 2011-03-08 | University Of Washington | Catheterscope 3D guidance and interface system |
| US8764725B2 (en) * | 2004-02-09 | 2014-07-01 | Covidien Lp | Directional anchoring mechanism, method and applications thereof |
| US20050182319A1 (en) | 2004-02-17 | 2005-08-18 | Glossop Neil D. | Method and apparatus for registration, verification, and referencing of internal organs |
| KR100615881B1 (ko) * | 2004-06-21 | 2006-08-25 | 한국과학기술연구원 | 캡슐형 내시경 조종 시스템 |
| US7517314B2 (en) | 2004-10-14 | 2009-04-14 | Karl Storz Development Corp. | Endoscopic imaging with indication of gravity direction |
| US7722565B2 (en) | 2004-11-05 | 2010-05-25 | Traxtal, Inc. | Access system |
| US7811224B2 (en) * | 2004-11-09 | 2010-10-12 | Karl Storz Development Corp. | Method for dealing with singularities in gravity referenced endoscopic imaging |
| US7805269B2 (en) | 2004-11-12 | 2010-09-28 | Philips Electronics Ltd | Device and method for ensuring the accuracy of a tracking device in a volume |
| US7751868B2 (en) | 2004-11-12 | 2010-07-06 | Philips Electronics Ltd | Integrated skin-mounted multifunction device for use in image-guided surgery |
| EP1838378B1 (en) * | 2005-01-18 | 2017-03-22 | Philips Electronics LTD | Apparatus for guiding an instrument to a target in the lung |
| WO2006076789A1 (en) * | 2005-01-24 | 2006-07-27 | Claron Technology Inc. | A bronchoscopy navigation system and method |
| US7221522B2 (en) | 2005-01-28 | 2007-05-22 | Karl Storz Development Corp. | Optical system for variable direction of view instrument |
| US7662090B2 (en) * | 2005-02-07 | 2010-02-16 | Olympus Corporation | Endoscope system |
| US7967742B2 (en) * | 2005-02-14 | 2011-06-28 | Karl Storz Imaging, Inc. | Method for using variable direction of view endoscopy in conjunction with image guided surgical systems |
| US7530948B2 (en) * | 2005-02-28 | 2009-05-12 | University Of Washington | Tethered capsule endoscope for Barrett's Esophagus screening |
| JP4776954B2 (ja) * | 2005-03-17 | 2011-09-21 | オリンパス株式会社 | 内視鏡挿入支援装置 |
| US9289267B2 (en) * | 2005-06-14 | 2016-03-22 | Siemens Medical Solutions Usa, Inc. | Method and apparatus for minimally invasive surgery using endoscopes |
| CA2612603C (en) | 2005-06-21 | 2015-05-19 | Traxtal Inc. | Device and method for a trackable ultrasound |
| WO2007002079A2 (en) | 2005-06-21 | 2007-01-04 | Traxtal Inc. | System, method and apparatus for navigated therapy and diagnosis |
| WO2007011968A2 (en) | 2005-07-18 | 2007-01-25 | Seattle Genetics, Inc. | Beta-glucuronide-linker drug conjugates |
| US20070066881A1 (en) | 2005-09-13 | 2007-03-22 | Edwards Jerome R | Apparatus and method for image guided accuracy verification |
| WO2007033206A2 (en) | 2005-09-13 | 2007-03-22 | Veran Medical Technologies, Inc. | Apparatus and method for image guided accuracy verification |
| DE102005045602B4 (de) * | 2005-09-23 | 2017-07-13 | Siemens Healthcare Gmbh | Verfahren zum Unterstützen eines interventionellen medizinischen Eingriffs |
| JP2009516568A (ja) | 2005-11-23 | 2009-04-23 | ユニヴァーシティ オブ ワシントン | 中断される走査共振を使用する可変順次フレーミングを用いたビームの走査 |
| US7547277B2 (en) * | 2005-12-15 | 2009-06-16 | Microvision, Inc. | Method and apparatus for calibrating an endoscope system |
| EP1991314A2 (en) * | 2006-03-03 | 2008-11-19 | University of Washington | Multi-cladding optical fiber scanner |
| DE602006015913D1 (de) * | 2006-04-10 | 2010-09-16 | Storz Karl Dev Corp | Endoskopische Bildgebung mit Anzeige der Gravitationsrichtung |
| WO2007129493A1 (ja) | 2006-05-02 | 2007-11-15 | National University Corporation Nagoya University | 医療画像観察支援装置 |
| US20080058629A1 (en) * | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
| US20080086051A1 (en) * | 2006-09-20 | 2008-04-10 | Ethicon Endo-Surgery, Inc. | System, storage medium for a computer program, and method for displaying medical images |
| US20080132834A1 (en) * | 2006-12-04 | 2008-06-05 | University Of Washington | Flexible endoscope tip bending mechanism using optical fibers as tension members |
| US8672836B2 (en) * | 2007-01-31 | 2014-03-18 | The Penn State Research Foundation | Method and apparatus for continuous guidance of endoscopy |
| US8457718B2 (en) * | 2007-03-21 | 2013-06-04 | Ethicon Endo-Surgery, Inc. | Recognizing a real world fiducial in a patient image data |
| US20080319307A1 (en) * | 2007-06-19 | 2008-12-25 | Ethicon Endo-Surgery, Inc. | Method for medical imaging using fluorescent nanoparticles |
| US8155728B2 (en) * | 2007-08-22 | 2012-04-10 | Ethicon Endo-Surgery, Inc. | Medical system, method, and storage medium concerning a natural orifice transluminal medical procedure |
| US20080221388A1 (en) * | 2007-03-09 | 2008-09-11 | University Of Washington | Side viewing optical fiber endoscope |
| US20080221434A1 (en) * | 2007-03-09 | 2008-09-11 | Voegele James W | Displaying an internal image of a body lumen of a patient |
| US20080234544A1 (en) * | 2007-03-20 | 2008-09-25 | Ethicon Endo-Sugery, Inc. | Displaying images interior and exterior to a body lumen of a patient |
| US8081810B2 (en) * | 2007-03-22 | 2011-12-20 | Ethicon Endo-Surgery, Inc. | Recognizing a real world fiducial in image data of a patient |
| US8840566B2 (en) | 2007-04-02 | 2014-09-23 | University Of Washington | Catheter with imaging capability acts as guidewire for cannula tools |
| US20080243030A1 (en) * | 2007-04-02 | 2008-10-02 | University Of Washington | Multifunction cannula tools |
| WO2008137710A1 (en) * | 2007-05-03 | 2008-11-13 | University Of Washington | High resolution optical coherence tomography based imaging for intraluminal and interstitial use implemented with a reduced form factor |
| JP2008301968A (ja) * | 2007-06-06 | 2008-12-18 | Olympus Medical Systems Corp | 内視鏡画像処理装置 |
| US8905920B2 (en) | 2007-09-27 | 2014-12-09 | Covidien Lp | Bronchoscope adapter and method |
| ATE546755T1 (de) * | 2007-10-30 | 2012-03-15 | Olympus Corp | Endoskopvorrichtung |
| US20090137893A1 (en) * | 2007-11-27 | 2009-05-28 | University Of Washington | Adding imaging capability to distal tips of medical tools, catheters, and conduits |
| EP2213220B9 (en) * | 2007-11-29 | 2013-08-21 | Olympus Medical Systems Corp. | Endoscope system |
| EP2633811B1 (en) | 2008-02-12 | 2015-09-16 | Covidien LP | Controlled perspective guidance method |
| JP5291955B2 (ja) * | 2008-03-10 | 2013-09-18 | 富士フイルム株式会社 | 内視鏡検査システム |
| US9575140B2 (en) * | 2008-04-03 | 2017-02-21 | Covidien Lp | Magnetic interference detection system and method |
| US8473032B2 (en) | 2008-06-03 | 2013-06-25 | Superdimension, Ltd. | Feature-based registration method |
| US8218847B2 (en) | 2008-06-06 | 2012-07-10 | Superdimension, Ltd. | Hybrid registration method |
| US8932207B2 (en) | 2008-07-10 | 2015-01-13 | Covidien Lp | Integrated multi-functional endoscopic tool |
| US20100121139A1 (en) | 2008-11-12 | 2010-05-13 | Ouyang Xiaolong | Minimally Invasive Imaging Systems |
| US20110009694A1 (en) * | 2009-07-10 | 2011-01-13 | Schultz Eric E | Hand-held minimally dimensioned diagnostic device having integrated distal end visualization |
| WO2010055817A1 (ja) * | 2008-11-13 | 2010-05-20 | 株式会社 日立メディコ | 画像処理装置及び画像処理方法 |
| DE102009010263B4 (de) * | 2009-02-24 | 2011-01-20 | Reiner Kunz | Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung |
| US8337397B2 (en) | 2009-03-26 | 2012-12-25 | Intuitive Surgical Operations, Inc. | Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient |
| US10004387B2 (en) * | 2009-03-26 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Method and system for assisting an operator in endoscopic navigation |
| US20120027260A1 (en) * | 2009-04-03 | 2012-02-02 | Koninklijke Philips Electronics N.V. | Associating a sensor position with an image position |
| US8611984B2 (en) * | 2009-04-08 | 2013-12-17 | Covidien Lp | Locatable catheter |
| US9658760B2 (en) * | 2009-05-07 | 2017-05-23 | Creative Technology Ltd. | Methods for searching digital files on a user interface |
| WO2010128411A1 (en) * | 2009-05-08 | 2010-11-11 | Koninklijke Philips Electronics, N.V. | Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps |
| JP5322794B2 (ja) * | 2009-06-16 | 2013-10-23 | 株式会社東芝 | 内視鏡検査支援システム |
| RU2544807C2 (ru) * | 2009-06-29 | 2015-03-20 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для отслеживания при медицинской процедуре |
| CN102596003B (zh) * | 2009-09-17 | 2015-04-01 | 博琅科医疗器械有限公司 | 使用内窥镜判定气道直径的*** |
| US9962229B2 (en) * | 2009-10-12 | 2018-05-08 | Corindus, Inc. | System and method for navigating a guide wire |
| JP5457841B2 (ja) * | 2010-01-07 | 2014-04-02 | 株式会社東芝 | 医用画像処理装置、及び医用画像処理プログラム |
| JP2013517909A (ja) * | 2010-01-28 | 2013-05-20 | ザ ペン ステイト リサーチ ファンデーション | 気管支鏡検査法ガイダンスに適用される画像ベースのグローバル登録 |
| WO2011102012A1 (ja) * | 2010-02-22 | 2011-08-25 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
| JP5362636B2 (ja) * | 2010-03-31 | 2013-12-11 | 富士フイルム株式会社 | 医療用送気システム |
| WO2011159834A1 (en) | 2010-06-15 | 2011-12-22 | Superdimension, Ltd. | Locatable expandable working channel and method |
| US8591401B2 (en) * | 2010-08-18 | 2013-11-26 | Olympus Corporation | Endoscope apparatus displaying information indicating gravity direction on screen |
| WO2012024686A2 (en) | 2010-08-20 | 2012-02-23 | Veran Medical Technologies, Inc. | Apparatus and method for four dimensional soft tissue navigation |
| US9560953B2 (en) | 2010-09-20 | 2017-02-07 | Endochoice, Inc. | Operational interface in a multi-viewing element endoscope |
| US20120130171A1 (en) * | 2010-11-18 | 2012-05-24 | C2Cure Inc. | Endoscope guidance based on image matching |
| CN103068294B (zh) * | 2011-01-24 | 2015-06-24 | 奥林巴斯医疗株式会社 | 医疗设备 |
| EP2670292A4 (en) * | 2011-02-04 | 2015-02-25 | Penn State Res Found | GLOBAL AND SEMIGLOBAL REGISTRATION FOR PICTURE-BASED BRONCHOSCOPE LEADERSHIP |
| US9020229B2 (en) | 2011-05-13 | 2015-04-28 | Broncus Medical, Inc. | Surgical assistance planning method using lung motion analysis |
| EP2649929B1 (en) * | 2011-05-17 | 2015-07-01 | Olympus Medical Systems Corp. | Medical apparatus, method for controlling marker display in a medical image, and medical processor |
| JP2014209930A (ja) * | 2011-08-31 | 2014-11-13 | テルモ株式会社 | 呼吸域用ナビゲーションシステム |
| JP5977497B2 (ja) * | 2011-09-22 | 2016-08-24 | オリンパス株式会社 | 内視鏡装置、作動方法およびプログラム |
| US9138165B2 (en) | 2012-02-22 | 2015-09-22 | Veran Medical Technologies, Inc. | Systems, methods and devices for forming respiratory-gated point cloud for four dimensional soft tissue navigation |
| CN103561628B (zh) * | 2012-03-06 | 2016-08-17 | 奥林巴斯株式会社 | 内窥镜*** |
| US20130250081A1 (en) * | 2012-03-21 | 2013-09-26 | Covidien Lp | System and method for determining camera angles by using virtual planes derived from actual images |
| WO2013173227A1 (en) * | 2012-05-14 | 2013-11-21 | Intuitive Surgical Operations | Systems and methods for registration of a medical device using a reduced search space |
| US10039473B2 (en) | 2012-05-14 | 2018-08-07 | Intuitive Surgical Operations, Inc. | Systems and methods for navigation based on ordered sensor records |
| CN103764041B (zh) * | 2012-08-08 | 2015-12-09 | 株式会社东芝 | 医用图像诊断装置、图像处理装置以及图像处理方法 |
| JP6233913B2 (ja) * | 2013-01-07 | 2017-11-22 | 晃 竹林 | 内視鏡向けナビゲーション装置 |
| US10499794B2 (en) | 2013-05-09 | 2019-12-10 | Endochoice, Inc. | Operational interface in a multi-viewing element endoscope |
| EP4324382A3 (en) * | 2013-05-09 | 2024-04-24 | EndoChoice, Inc. | Operational interface in a multi-viewing elements endoscope |
| CN105074728B (zh) | 2013-08-09 | 2019-06-25 | 堃博生物科技（上海）有限公司 | 胸部荧光透视影像及相应的肋骨和脊椎三维影像数据配准 |
| US10342579B2 (en) | 2014-01-13 | 2019-07-09 | Trice Medical, Inc. | Fully integrated, disposable tissue visualization device |
| US11547446B2 (en) | 2014-01-13 | 2023-01-10 | Trice Medical, Inc. | Fully integrated, disposable tissue visualization device |
| US9370295B2 (en) | 2014-01-13 | 2016-06-21 | Trice Medical, Inc. | Fully integrated, disposable tissue visualization device |
| US20150305612A1 (en) | 2014-04-23 | 2015-10-29 | Mark Hunter | Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter |
| US20150305650A1 (en) | 2014-04-23 | 2015-10-29 | Mark Hunter | Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue |
| US10952593B2 (en) | 2014-06-10 | 2021-03-23 | Covidien Lp | Bronchoscope adapter |
| US11188285B2 (en) * | 2014-07-02 | 2021-11-30 | Covidien Lp | Intelligent display |
| WO2016090270A1 (en) * | 2014-12-05 | 2016-06-09 | Corindus, Inc. | System and method for navigating a guide wire |
| US10401611B2 (en) | 2015-04-27 | 2019-09-03 | Endochoice, Inc. | Endoscope with integrated measurement of distance to objects of interest |
| US10426555B2 (en) | 2015-06-03 | 2019-10-01 | Covidien Lp | Medical instrument with sensor for use in a system and method for electromagnetic navigation |
| EP3560412B1 (en) | 2015-08-11 | 2020-11-18 | Trice Medical, Inc. | Fully integrated disposable tissue visualization device |
| JP6594133B2 (ja) * | 2015-09-16 | 2019-10-23 | 富士フイルム株式会社 | 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム |
| US11123149B2 (en) * | 2015-10-09 | 2021-09-21 | Covidien Lp | Methods of using an angled endoscope for visualizing a body cavity with robotic surgical systems |
| US10478254B2 (en) | 2016-05-16 | 2019-11-19 | Covidien Lp | System and method to access lung tissue |
| JP6608111B2 (ja) * | 2016-09-28 | 2019-11-20 | 富士フイルム株式会社 | 医用画像保存再生装置および方法並びにプログラム |
| US10418705B2 (en) | 2016-10-28 | 2019-09-17 | Covidien Lp | Electromagnetic navigation antenna assembly and electromagnetic navigation system including the same |
| US10638952B2 (en) | 2016-10-28 | 2020-05-05 | Covidien Lp | Methods, systems, and computer-readable media for calibrating an electromagnetic navigation system |
| US10792106B2 (en) | 2016-10-28 | 2020-10-06 | Covidien Lp | System for calibrating an electromagnetic navigation system |
| US10722311B2 (en) | 2016-10-28 | 2020-07-28 | Covidien Lp | System and method for identifying a location and/or an orientation of an electromagnetic sensor based on a map |
| US10446931B2 (en) | 2016-10-28 | 2019-10-15 | Covidien Lp | Electromagnetic navigation antenna assembly and electromagnetic navigation system including the same |
| US10615500B2 (en) | 2016-10-28 | 2020-04-07 | Covidien Lp | System and method for designing electromagnetic navigation antenna assemblies |
| US10517505B2 (en) | 2016-10-28 | 2019-12-31 | Covidien Lp | Systems, methods, and computer-readable media for optimizing an electromagnetic navigation system |
| US10751126B2 (en) | 2016-10-28 | 2020-08-25 | Covidien Lp | System and method for generating a map for electromagnetic navigation |
| WO2018179986A1 (ja) * | 2017-03-30 | 2018-10-04 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
| JPWO2019078237A1 (ja) * | 2017-10-18 | 2020-10-22 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 |
| US11219489B2 (en) | 2017-10-31 | 2022-01-11 | Covidien Lp | Devices and systems for providing sensors in parallel with medical tools |
| EP3773235B1 (en) | 2018-03-29 | 2023-07-19 | Trice Medical, Inc. | Fully integrated endoscope with biopsy capabilities |
| CN110742690A (zh) * | 2019-09-12 | 2020-02-04 | 东南大学苏州医疗器械研究院 | 一种用于配置内窥镜的方法及终端设备 |
| CN111415564B (zh) * | 2020-03-02 | 2022-03-18 | 武汉大学 | 基于人工智能的胰腺超声内镜检查导航方法及*** |
| US20210378759A1 (en) * | 2020-06-03 | 2021-12-09 | Covidien Lp | Surgical tool navigation using sensor fusion |
| JP2023167710A (ja) | 2022-05-12 | 2023-11-24 | 富士フイルム株式会社 | 情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラム |
| CN117221177B (zh) * | 2023-11-08 | 2024-01-09 | 湖南省华芯医疗器械有限公司 | 图像传输延迟监测方法及*** |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5417210A (en) * | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
| US5526812A (en) * | 1993-06-21 | 1996-06-18 | General Electric Company | Display system for enhancing visualization of body structures during medical procedures |
| DE69531994T2 (de) * | 1994-09-15 | 2004-07-22 | OEC Medical Systems, Inc., Boston | System zur positionserfassung mittels einer an einem patientenkopf angebrachten referenzeinheit zur anwendung im medizinischen gebiet |
| US5765561A (en) * | 1994-10-07 | 1998-06-16 | Medical Media Systems | Video-based surgical targeting system |
| US6151404A (en) * | 1995-06-01 | 2000-11-21 | Medical Media Systems | Anatomical visualization system |
| US6702736B2 (en) * | 1995-07-24 | 2004-03-09 | David T. Chen | Anatomical visualization system |
| US6346940B1 (en) * | 1997-02-27 | 2002-02-12 | Kabushiki Kaisha Toshiba | Virtualized endoscope system |
| US7954056B2 (en) * | 1997-12-22 | 2011-05-31 | Ricoh Company, Ltd. | Television-based visualization and navigation interface |
| JP2000135215A (ja) * | 1998-10-30 | 2000-05-16 | Ge Yokogawa Medical Systems Ltd | 管路案内方法および装置並びに放射線断層撮影装置 |
| US6602185B1 (en) * | 1999-02-18 | 2003-08-05 | Olympus Optical Co., Ltd. | Remote surgery support system |
| JP3850217B2 (ja) * | 2000-12-27 | 2006-11-29 | オリンパス株式会社 | 気管支用内視鏡位置検出装置 |
| US6961908B2 (en) * | 2001-12-05 | 2005-11-01 | International Business Machines Corporation | System and method for navigating graphical images |
-
2003
- 2003-07-31 EP EP03771449A patent/EP1466552B1/en not_active Expired - Lifetime
- 2003-07-31 CN CNB038020335A patent/CN100364479C/zh not_active Expired - Lifetime
- 2003-07-31 JP JP2004524322A patent/JP4009639B2/ja not_active Expired - Lifetime
- 2003-07-31 US US10/498,155 patent/US7641609B2/en active Active
- 2003-07-31 DE DE60310877T patent/DE60310877T8/de active Active
- 2003-07-31 AT AT03771449T patent/ATE349944T1/de not_active IP Right Cessation
- 2003-07-31 WO PCT/JP2003/009733 patent/WO2004010857A1/ja active IP Right Grant
-
2007
- 2007-02-05 US US11/702,337 patent/US20070142705A1/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016098665A1 (ja) * | 2014-12-15 | 2016-06-23 | オリンパス株式会社 | 医療機器システム、医療機器システムの作動方法 |
| US10694929B2 (en) | 2014-12-15 | 2020-06-30 | Olympus Corporation | Medical equipment system and operation method of medical equipment system |
Also Published As
| Publication number | Publication date |
|---|---|
| US20070142705A1 (en) | 2007-06-21 |
| DE60310877T2 (de) | 2007-05-24 |
| US7641609B2 (en) | 2010-01-05 |
| JPWO2004010857A1 (ja) | 2005-11-24 |
| EP1466552B1 (en) | 2007-01-03 |
| CN100364479C (zh) | 2008-01-30 |
| DE60310877T8 (de) | 2007-09-13 |
| DE60310877D1 (de) | 2007-02-15 |
| EP1466552A4 (en) | 2005-10-05 |
| US20050020878A1 (en) | 2005-01-27 |
| WO2004010857A1 (ja) | 2004-02-05 |
| ATE349944T1 (de) | 2007-01-15 |
| CN1612708A (zh) | 2005-05-04 |
| EP1466552A1 (en) | 2004-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4009639B2 (ja) | 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム | |
| JP3820244B2 (ja) | 挿入支援システム | |
| JP3930423B2 (ja) | 内視鏡装置 | |
| JP4343723B2 (ja) | 挿入支援システム | |
| JP4922107B2 (ja) | 内視鏡装置 | |
| JP3847744B2 (ja) | 挿入支援システム | |
| WO2005041761A1 (ja) | 挿入支援システム | |
| WO2012068194A2 (en) | Endoscope guidance based on image matching | |
| JP4022114B2 (ja) | 内視鏡装置 | |
| JPWO2011062035A1 (ja) | 生検支援システム | |
| JP4323288B2 (ja) | 挿入支援システム | |
| JP4776954B2 (ja) | 内視鏡挿入支援装置 | |
| JP5123615B2 (ja) | 内視鏡挿入支援装置 | |
| JP4022192B2 (ja) | 挿入支援システム | |
| JP4445792B2 (ja) | 挿入支援システム | |
| JP4160487B2 (ja) | 挿入支援システム | |
| JP4546064B2 (ja) | 挿入シミュレーション装置 | |
| JP4575143B2 (ja) | 挿入支援システム | |
| JP4573517B2 (ja) | 挿入支援システム | |
| JP4354353B2 (ja) | 挿入支援システム | |
| JP2005013358A (ja) | 挿入支援システム | |
| JP4190454B2 (ja) | 挿入支援装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041006 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070416 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070903 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4009639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |